JP2021531688A - データ処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

データ処理方法及び装置、電子機器並びに記憶媒体 Download PDF

Info

Publication number
JP2021531688A
JP2021531688A JP2021500448A JP2021500448A JP2021531688A JP 2021531688 A JP2021531688 A JP 2021531688A JP 2021500448 A JP2021500448 A JP 2021500448A JP 2021500448 A JP2021500448 A JP 2021500448A JP 2021531688 A JP2021531688 A JP 2021531688A
Authority
JP
Japan
Prior art keywords
pixel
data
coding
dimensional video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021500448A
Other languages
English (en)
Other versions
JP7105358B2 (ja
JP7105358B6 (ja
Inventor
シア、ヤン
チャン、タオ
タン、カイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of JP2021531688A publication Critical patent/JP2021531688A/ja
Publication of JP7105358B2 publication Critical patent/JP7105358B2/ja
Application granted granted Critical
Publication of JP7105358B6 publication Critical patent/JP7105358B6/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示はデータ処理方法及び装置、電子機器並びに記憶媒体を提供する。前記データ処理方法は、端末に適用され、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることと、モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信することであって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、ことと、を含み、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。

Description

本願は、情報技術分野に関するが、これに限定されず、特にデータ処理方法及び装置、電子機器並びに記憶媒体に関する。
一枚の画像について、一般的には、画素値で、画素の色、階調、輝度などの種々の情報を個々に表す必要がある。一般的には、同様な情報量、画像及び/又はビデオの伝送ために消費される帯域幅が大きい。従って、幾つかの画像伝送シーンで、画像を連続的に伝送すると、大量の帯域幅を消費するという問題及び/又は伝送遅延が大きいという問題が存在することがある。
本願の実施例は、データ処理方法及び装置、電子機器並びに記憶媒体を提供する。
本願の実施例でデータ処理方法であって、端末に適用され、前記データ処理方法は、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることと、
モバイルエッジコンピューティング(MEC:Mobile Edge Computing)サーバに前記画素符号化データを送信することであって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、ことと、を含み、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び/又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
上記技術的解決手段によれば、前記データ処理方法は、
所定の情報に基づいて画素符号化方式を選択することであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む、ことを更に含み、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含む。
上記技術的解決手段によれば、選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを含む。
上記技術的解決手段によれば、前記N*M個の画素は、隣接して分布する。
又は、前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
上記技術的解決手段によれば、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
上記技術的解決手段によれば、前記データ処理方法は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信することを更に含む。
上記技術的解決手段によれば、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含む。
データ処理方法であって、モバイルエッジコンピューティング(MEC)サーバに適用され、前記データ処理方法は、
端末から送信された画素符号化データを受信することと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元することであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、ことと、を含む。
上記技術的解決手段によれば、前記画素符号化データに基づいて、三次元ビデオデータ的画素値を復元することは、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも1つを含む。
上記技術的解決手段によれば、前記データ処理方法は、
前記画素符号化データの画素符号化方式を決定することを更に含み、
前記画素符号化データに基づいて三次元ビデオデータを復元することは、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含む。
上記技術的解決手段によれば、前記画素符号化の画素符号化方式を決定することは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定することと、
前記端末と画素符号化パラメータをやり取りすることであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、ことと、のうちの少なくとも1つを含む。
上記技術的解決手段によれば、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることは、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、N*M個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも1つを含む。
上記技術的解決手段によれば、前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元することは、
前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得ることを含む。
上記技術的解決手段によれば、前記データ処理方法は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
データ処理装置であって、端末に適用され、前記データ処理装置は、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュールと、
モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュールと、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。
上記技術的解決手段によれば、前記符号化モジュールは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び/又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
上記技術的解決手段によれば、前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成される。
上記技術的解決手段によれば、前記データ処理装置は、
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む、選択モジュールを更に備え、
前記符号化モジュールは具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
上記技術的解決手段によれば、前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを実行するように構成される。
上記技術的解決手段によれば、前記N*M個の画素は、隣接して分布する。
又は、前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
上記技術的解決手段によれば、前記符号化モジュールは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
上記技術的解決手段によれば、前記データ処理装置は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信するように構成される更新モジュールを更に備える。
上記技術的解決手段によれば、前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成される。
データ処理装置であって、モバイルエッジコンピューティング(MEC)サーバに適用され、前記データ処理装置は、
端末から送信された画素符号化データを受信するように構成される受信モジュールと、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュールであって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、復元モジュールと、を備える。
上記技術的解決手段によれば、前記復元モジュールは、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも1つを備える。
上記技術的解決手段によれば、前記データ処理装置は、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
上記技術的解決手段によれば、前記決定モジュールは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第1決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第2決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第2決定サブモジュールと、のうちの少なくとも1つを備える。
上記技術的解決手段によれば、前記復元モジュールは具体的には、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、N*M個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも1つを実行するように構成される。
上記技術的解決手段によれば、前記復元モジュールは具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成される。
上記技術的解決手段によれば、前記データ処理装置は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュールを更に備える。
コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体には、プロセッサにより実行される時、前記プロセッサに、前記いずれかの端末に適用されるデータ処理方法の工程を実現させるか又は前記いずれかのMECサーバに適用されるデータ処理方法の工程を実現させるためのコンピュータ命令が記憶される。
電子機器であって、前記電子機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで実行可能なコンピュータ命令と、を備え、前記プロセッサは、前記コンピュータ命令を実行して、前記いずれかの端末に適用されるデータ処理方法の工程を実現させるか又は前記いずれかのMECサーバに適用されるデータ処理方法の工程を実現する。
本願の実施例で提供されるデータ処理方法、装置、電子樹機器及び記憶媒体によれば、端末は、三次元ビデオデータの画素値を直接的に伝送することなく、画素値を画素符号化した後、画素符号化データを伝送する。伝送される画素符号化データのデータ量は、画素値の直接伝送によるデータ量より小さいため、伝送に必要な帯域幅及び遅延を減少させる。したがって、伝送データ量が少なく、必要な帯域幅が小さく、伝送遅延が小さいという特徴を有する。
本願の実施例によるデータ伝送方法を適用するシステムアーキテクチャを示す概略図である。 本願の実施例によるデータ処理方法を示すフローチャートである。 本願の実施例によるもう1つのデータ処理方法を示すフローチャートである。 本願の実施例によるまた1つのデータ処理方法を示すフローチャートである。 本願の実施例によるデータ処理装置の構造を示す概略図である。 本願の実施例によるもう1つのデータ処理装置の構造を示す概略図である。 本願の実施例による電子機器の構造を示す概略図である。
本願の実施例の技術的解決手段を詳しく説明する前に、まず、本願の実施例のデータ処理方法を適用するシステムアーキテクチャを簡単に説明する。本願の実施例のデータ処理方法は、三次元ビデオデータに関わるサービスに適用される。該サービスは、例えば、三次元ビデオデータ共有サービス又は三次元ビデオデータに基づいたライブストリーミングサービスなどである。このような場合、三次元ビデオデータのデータ量が大きいため、伝送される深度データ及び二次元ビデオデータをそれぞれ伝送する過程において、高い技術的サポートを必要とする。従って、移動体通信ネットワーが高いデータ伝送レート及び安定したデータ伝送環境を有することが求められている。
図1は、本願の実施例によるデータ伝送方法を適用するシステムアーキテクチャを示す概略図である。図1に示すように、システムは、端末、基地局、MECサーバ、サービス処理MECサーバ、コアネットワーク及びインターネット(Internet)等を備えてもよい。MECサーバとサービス処理MECサーバは、コアネットワークを介して高速チャネルを確立し、データ同期を実現させる。
図1に示す2つの端末同士のインタラクションの適用シーンを例として、MECサーバAは、端末A(送信側)に近接するように配置されるMECサーバであり、コアネットワークAは、端末Aの所在する領域のコアネットワークである。なお、MECサーバBは、端末B(受信側)に近接するように配置されるMECサーバであり、コアネットワークBは、端末Bの所在する領域のコアネットワークである。MECサーバA及びMECサーバBは、それぞれコアネットワークA及びコアネットワークBを介してサービス処理MECサーバと高速チャネルを確立し、データ同期を実現させることができる。
ここで、端末Aから送信された三次元ビデオデータがMECサーバAに伝送された後、MECサーバAは、コアネットワークAを経由してデータをサービス処理MECサーバに同期させる。更に、MECサーバBは、サービス処理MECサーバから、端末Aにより送信された三次元ビデオデータを取得し、端末Bに送信してレンダリングする。
ここで、端末Bと端末Aが同一のMECサーバにより伝送を実現させる場合、端末Bと端末Aは、直接的に1つのMECサーバにより、三次元ビデオデータの伝送を実現させ、サービス処理MECサーバを必要としない。このような方式は、ローカルバックホール方式と呼ばれる。具体的には、端末Bと端末AがMECサーバAにより三次元ビデオデータの伝送を実現させるとすれば、端末Aから送信された三次元ビデオデータがMECサーバAに伝送された後、MECサーバAにより、三次元ビデオデータを端末Bに送信してレンダリングする。
ここで、端末は、ネットワーク状況、端末自体の設定状況又は自体に設定されたアルゴリズムに基づいて、4Gネットワークにアクセスした進化型基地局(eNB)又は5Gネットワークにアクセスした次世代の進化型基地局(gNB)を選択することで、eNBを、長期進化(Long Term Evolution:LTE)アクセスネットワークを介してMECサーバと接続させ、gNBを、次世代のアクセスネットワーク(NG−RAN)を介してMECサーバと接続させることができる。
ここで、MECサーバは、端末又はデータソースに近接するネットワークエッジ側に配置される。端末に近接するか又はデータソースに近接することは、論理的位置で端末に近接するか又はデータソースに近接するだけでなく、地理的位置で端末に近接するか又はデータソースに近接することを指す。従来の移動体通信ネットワークにおける主なサービス処理MECサーバが若干の大都市に配置されることとは異なっており、MECサーバは、1つの都市に複数配置されてもよい。例えば、1つのオフィスビルにユーザが多い場合、該オフィスビルの近傍に1つのMECサーバを配置してもよい。
ここで、MECサーバは、ネットワーク融合、コンピューティング、記憶、適用コア能力を持つエッジコンピューティングゲートウェイとして、エッジコンピューティングのために、デバイスドメイン、ネットワークドメイン、データドメイン及びアプリケーションドメインを含むプラットフォームサポートを提供する。それは、種々のスマート機器及びセンサに接続され、スマート接続及びデータ処理サービスを近傍で提供する。様々なアプリケーション及びデータをMECサーバで処理し、リアルタイムなサービス、スマートサービス、データ集約及び相互操作、セキュリティ及びプライバシー保護などのようなクリティカルなスマートサービスを実現させ、サービスのスマート決定効率を効果的に向上させる。
図2に示すように、本実施例は、データ処理方法を提供する。前記データ処理方法は、端末に適用され、以下を含む。
工程201において、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得る。
工程203において、モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信し、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる。
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。
本実施例で提供されるデータ処理方法は、端末に適用される。該端末は、例えば、携帯電話、タブレット又はウェアラブル機器、又は固定した画像モニタなどのような様々な端末であってもよい。前記端末は、固定型端末及び/又は携帯型端末であってもよい。
幾つかの実施例において、前記三次元ビデオデータは、二次元画像及び深度画像を含む。ここで、前記二次元画像に色画素が含まれる。前記色画素の画素値は、色値である。例えば、前記色値は、赤/緑/青(RGB)値又は輝度/色度/濃度(YUV)値である。
前記深度画像は、深度画素を含み、前記深度画素の画素値は、深度値である。ここで、前記深度値は、収集対象と画像収集モジュールとの空間距離を表す。前記三次元ビデオデータ及び深度画像により、三次元画像空間内で、三次元画像を構築することができる。
幾つかの実施例において、前記二次元画像の画像寸法は、深度画像の画像寸法と一致する。例えば、前記二次元画像及び深度画像に含まれる画素はいずれもW*H個である。Wは、第1方向で含まれる画素の数を表し、Hは、第2方向で含まれる画素の数を表す。W及びHは、いずれも正整数である。
幾つかの実施例において、前記二次元画像及び前記深度画像は、同一の時刻で収集された2つの画像であってもよい。データ量を減少させるために、前記二次元画像の画像寸法と前記深度画像の画像寸法は、所定の関係を満たす。例えば、深度画像に含まれる画素は、W*H個であり、深度画像に含まれる画素は、(W/a)*(H/b)個である。このように、1つの深度画素は、a*b個の色画素に対応する。三次元ビデオを構築する時、1つの深度画素の画素値に基づいてa*b個の隣接する色画素の画素値を適用することができる。例えば、(W/a)*(H/b)は、(W/2)*(H/2)に等しい。このように、1つの深度画素は、4個の色画素に対応する。三次元ビデオを構築する時、1つの深度画素の画素値に基づいて4個の隣接する色画素の画素値を適用することができる。これにより、深度画像の画像データ量を減少させる。1つの物体に隣接する小さな領域内の凹凸感がほぼ一致するため、深度画像の画像寸法は、前記二次元画像の画像寸法より小さくても、精度の高い三次元ビデオの復元及び構築を実現させることもできる。それと同時に、端末とMECサーバとでやり取りされるデータ量及び/又はMECサーバにより処理されるデータ量を減少させることができる。幾つかの実施例において、生成される画像の寸法が前記二次元画像の寸法より小さい場合、下記方式のうちの少なくとも1つを利用することができる。
1つの方式は、前記深度画像の画像寸法を直接的に利用して前記深度画像を収集することである。
もう1つの方式は、前記二次元画像の画像寸法を利用して元深度画像を収集し、深度画像の画像寸法に基づいて、隣接するa*b個の画素の画素値に応じて前記深度画像を生成することである。例えば、隣接するa*b個の画素値の平均値又は中間値に応じて前記深度画像を生成する。
本実施例において、センシングデータから変換された画素値に対する1回目の符号化を行う。本実施例において、画素値に対して2回目の符号化を行う。ここの2回目の符号化は、前記画素符号化である。前記画素符号化を完了した後、前記画素符号化データを得る。
幾つかの実施例において、前記画素値に対して画素符号化を行った後に生成された前記画素符号化データは、画素値自体ではない画素値コードを含んでもよい。従って、受信側は、画素符号化データを受信した後、直接的に画素符号化データに基づいて画像を表示するか又は読み出すことができない。画像を正常に表示するか又は読み出すために、画素値自体を復元する必要がある。
幾つかの実施例において、前記1回目の符号化は、多くの画像収集モジュール自体により実行された符号化であってもよい。例えば、画像収集モジュールが光線収集によりメモリに直接的に記憶したものは、前記センシングデータ変換を行った画素値であり、つまり、前記1回目の符号化を行ったデータである。
前記画素符号化を行った後に得られた画素符号化データをMECサーバに伝送し、MECサーバによる三次元ビデオの生成に用いる。本実施例において、更なる画素符号化を行った後に得られた第2データ量は、符号化を行う前の第1データ量より小さいため、三次元ビデオデータ伝送のデータ量を減少させる。これにより、データ量により消費される帯域幅及び大量のデータに必要な伝送遅延を減少させる。伝送されるデータ量が小さく、消費される帯域幅が小さく、伝送遅延が小さいという特徴を有する。従って、MECサーバが受信したデータの遅延が小さく、三次元ビデオデータを迅速かつ正確に復元し、三次元ビデオを構築することができる。
幾つかの実施例において、三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
及び/又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含む。
幾つかの実施例において、画素値を符号化する場合、三次元ビデオデータにおける色画素の色画素値のみに対して色符号化を行い、色符号化データを得ることができる。
別の幾つかの実施例において、画素値を符号化する場合、三次元ビデオデータにおける深度値画素値のみに対して深度値符号化を行い、更に符号化された深度値符号化データを得ることができる。
色符号化であろうが深度値符号化であろうが、更に符号化を行うことで、MECサーバに伝送されるデータ量を減少させることができる。
別の幾つかの実施例において、工程201における画素符号化は、色符号化及び深度値符号化を同時に行うことであってもよい。
工程201は、
前記三次元ビデオデータにおける画素値を画素符号化マッピング関係における画素値と照合することと、
照合結果に基づいて、前記画素符号化データを得ることと、を含んでもよい。例えば、1つ又は複数の三次元ビデオデータにおける画素値A1を画素符号化マッピング関係における全ての画素値と照合する。画素符号化マッピング関係における画素値と合致した画素値A1が存在すれば、画素値A1に対応する、画素符号化マッピング関係における画素符号化データを前記画素値A1の画素符号化結果とする。
前記照合結果は、下記を含む。
照合結果は、照合に成功したことを表す。前記照合に成功したことは、照合結果が同一の条件又は類似した条件を満たすことを表すことを含む。
照合結果は、照合に失敗したことを表す。つまり、前記照合結果は、同一の条件及び/又は類似した条件を満たさないことを表す。
同一の条件を満たすと、現在収集された三次元ビデオデータにおける画素値は、前記画素符号化マッピング関係にあることを表す。
類似した条件を満たすと、現在収集された三次元ビデオデータにおける画素値は、記画素符号化マッピング関係にある画素値と類似することを表す。
幾つかの実施例において、現在の需要に応じて、照合に成功するために、同一の条件を満たす必要があるか、それとも類似した条件を満たす必要があるかを決定することができる。
幾つかの実施例において、走査された現在収集した三次元ビデオデータにおけるN*M個の画素の画素値と前記画素符号化マッピング関係における所定のN*M個の画素の画素値との類似度が、例えば70%、80%、90%又は85%のような所定の類似度閾値より大きいと、現在走査されたN*M個の画素の画素符号化データと画素符号化マッピング関係におけるN*M個の画素が画素符号化の類似した条件を満たすと認められ、画素符号化マッピング関係におけるN*M個の画素の画素符号化データを直接的に、現在走査されたN*M個の画素の画素値の色符号化データとすることができる。
別の幾つかの実施例において、走査された現在収集した三次元ビデオデータにおけるN*M個の画素の画素値と前記画素符号化マッピング関係における所定のN*M個の画素の画素値との類似度が、例えば70%、80%、90%又は85%のような所定の類似度閾値より大きいと、更に、走査されたN*M個の画素の画素値のうち、画素符号化マッピング関係におけるN*M個の画素の画素値と異なる1つ又は複数の画素の画素値を抽出し、抽出された画素値と画素符号化マッピング関係におけるN*M個の画素の画素値との画素値差分を算出する。画素値差分が所定の差分範囲内であれば、現在走査されたN*M個の画素の画素符号化データと画素符号化マッピング関係におけるN*M個の画素が画素符号化の類似した条件を満たすと認められ、画素符号化マッピング関係におけるN*M個の画素の画素符号化データを直接的に、現在走査されたN*M個の画素の画素値の色符号化データとすることができる。そうでなければ、走査されたN*M個の画素の画素符号化データと画素符号化マッピング関係におけるN*M個の画素が画素符号化の類似した条件を満たしないと認められる。例えば、画素値差分が所定の差分範囲内である場合、
画素値差分は、2つの画素値が色近似値のような近似値であることを表す。画素値差分が2つの色が反対色であることを表すと、前記所定の差分範囲内ではないと認められる。2つの深度画素の深度差分は、2つの深度値差分が所定の深度値又は深度比以上であることを表すと、前記所定の差分範囲内ではないと認められる。そうでなければ、前記所定の差分範囲内であると認められる。
別の幾つかの実施例において、前記符号化マッピング関係が符号化マッピング関数であれば、前記画素値を前記符号化マッピング関数に入力すると、画素符号化データが自動的に出力される。例えば、サンプル画像における色値をフィッティングすることで、前記符号化マッピング関数を決定する。従って、各画素値又は一組の画素値を前記符号化マッピング関数に入力すると、前記画素符号化データを自動的に得ることができる。照合により前記画素符号化データを決定する必要がない。
要するに、工程201において、前記画素符号化データの決定方式は、種々であり、具体的に実現させる時、いずれか1つの方式に限定されない。
幾つかの実施例において、前記工程201は、
前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含む。
幾つかの実施例において、前記端末及び前記MECサーバは、いずれも前記画素符号化マッピング関係を予め了解することができる。例えば、MECサーバ及び端末にいずれも、画素符号化マッピングテーブルが予め記憶されている。
幾つかの実施例において、前記端末とMECサーバとの間で、前記画素符号化マッピング関係について予め合意がなされている。
前記画素符号化マッピング関係は、
前記画素符号化マッピングテーブル、
複数の離散した画素符号化マッピング値対、及び
画素値と画素符号化データとの関数表現式、のうちの少なくとも1つを含んでもよい。
要するに、前記画素符号化マッピング関係の表現式は種々であり、上記いずれか1つに限定されない。
幾つかの実施例において、図3に示すように、前記方法は以下を更に含む。
工程200において、所定の情報に基づいて画素符号化方式を選択し、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む。
前記工程201は、選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含む。
例えば、ネットワーク伝送状況情報は、現在の利用可能な帯域幅が、前記画素値の直接伝送に必要な帯域幅より大きいことを表すと、前記画素符号化を行わなくてもよい。
また例えば、前記ネットワーク伝送状況情報は、現在の利用可能な帯域幅が、前記画素値の直接伝送に必要な帯域幅より小さいことを表すと、現在の利用可能な帯域幅に基づいて、画素符号化されたデータ量が前記現在の利用可能な帯域幅以下である画素符号化方式を選択する。
また例えば、異なる画素符号化方式を用いると、端末による符号化に必要な演算量及びMECサーバによる復元に必要な演算量はいずれも異なる。
本実施例において、更に、端末の負荷状況情報及び/又はMECサーバの負荷状況情報に基づいて、適切な画素符号化方式を選択する。
前記負荷状況情報は、現在の負荷率、現在の負荷量、最大負荷率及び最大負荷量のうちの少なくとも1つを含んでもよい。
現在の負荷率が高いか又は現在の負荷量が大きいと、符号化又は復号の演算量が小さい画素符号化方式を優先して選択する。そうでなければ、任意に選択するか又はネットワーク伝送状況情報等の他の参照要因に応じて選択する。
幾つかの実施例において、選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、
単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを含む。
本実施例において、単一の画素符号化を行う場合、1つの画素値は、1つの画素符号化データに対応する。例えば、1つの三次元ビデオデータの画像にS個の画素が含まれると、単一の画素符号化を行った後、S個の第1カテゴリの符号化データを得る。データ量を減少させるために、1つの第1カテゴリの符号化データにより占有されるビット数は、画素値自体により占有されるビット数より少ない。例えば、1つの画素値が32個のビット又は16個のビットを占有し、第1カテゴリの符号化データは、8個のビット又は10個のビットのみを占有する。これにより、各単一の画素伝送に必要なビット数が減少したため、必要なデータ量を全体的に減少させる。
幾つかの実施例において、組み合わせた画素符号化方式を用いることができる。
組み合わせた画素符号化方式は、複数の画素に対して同時に画素符号化を行うことを指す。
例えば、隣接する1つの画素行列に対して同時に符号化を行う。又は、行列又は非行列に応じて配列された複数の画素に対して同時に画素符号化を行う。
幾つかの実施例において、3*3又は4*4個の画素からなる画素行列に対して符号化を行う。幾つかの実施例において、前記N*Mは、1フレームの前記三次元画像データに含まれる画素で割り切れる。
幾つかの場合に、画像収集を行う時、これらの隣接する画素の深度値及び/又は色情報は、相対的に決まったものである。これらの色組み合わせ又は深度組み合わせについて、前記画素符号化マッピング関係において、所定の符号化値を生成する。従って、後続で前記画素符号化を行う時、対応する三次元ビデオデータフレームにおける色画素値又は深度画素値を走査することで、特定の色組み合わせ及び/又は深度組み合わせを含むかどうかを決定する。これにより、対応する符号化値に変換し、前記画素符号化データを得る。
幾つかの実施例において、現在の需要に応じて、前記単一の画素符号化及び組み合わせた画素符号化を混用することができる。
前記画素符号化データを伝送すると同時に、又は前記画素符号化データを伝送する前に、選択された符号化方式を事前通知することができる。選択された符号化方式は、前記単一の画素符号化方式、組み合わせた画素符号化方式、単一の画素符号化方式と組み合わせた画素符号化方式を混用した混用画素符号化方式であってもよい。
前記N*M個の画素は、隣接して分布する。
前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
N*M個の画素が隣接して分布すると、N*M個の画素行列を形成する。
任意選択的に、N*M個の画素が所定の間隔空け方式に応じて、間隔を空けて分布する。例えば、N*M個の画素に属する2つの画素は、例えば、1つ又は複数の画素のような所定個の画素の間隔を空けて分布してもよい。
幾つかの実施例において、前記N*Mは、動的に決定されてもよく、静的に設定されてもよい。
例えば、三次元画像データフレームにおける画像を第1領域及び第2領域に分ける。第1領域において、単一の画素符号化を用いる。第2領域において、組み合わせた画素符号化を用いる。
また例えば、三次元画像フレームにおける画像の第1領域の画素値を直接的にMECサーバに伝送し、第2領域において、単一の画素符号化及び/又は組み合わせた画素符号化を行う。
これにより、伝送データ量と画像品質との間で良好なバランスが取られる。
幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含む。
1つの三次元ビデオデータフレームの画像データの画素符号化マッピング関係は、事前決定されたものであってもよい。別の幾つかの場合に、決定されていないものであってもよいか又は経時的に変動したものであってもよい。
1つのストリーマの的三次元ライブストリーミングビデオを例として、該ストリーマが、子の前に三次元ビデオライブストリーミングに関与したことがあれば、該ストリーマが所持する端末又はMECサーバに、該ストリーマの顔部の符号化マッピング関係が記憶されていることがある。該ストリーマの顔部に修飾が突然に追加されるか又はメイクパーツが変動した場合、顔部の少なくとも鮮やかな色調の画像が変動した可能性がある。この場合、上記画素マッピング関係は、前記画素符号化マッピング関係に存在しないことがある。
別の幾つかの実施例において、前記データ処理方法は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信することを更に含む。
本実施例において、符号化マッピング関係の決定を容易にするために、本格的なライブストリーミング前の対話握手又はコミッショニング段階で、ターゲット対象の1つ又は複数の三次元ビデオデータを収集する。これらの三次元ビデオデータの画素値走査により、ターゲット対象に対応する画素マッピング関係が確立されているかどうかを判定する。又は、画素マッピング関係の更新を必要とするかどうかを判定する。三次元マッピング関係の更新を必要とすれば、前記三次元マッピング関係を更新する。更新を必要としなければ、三次元ビデオデータの本格的なやり取りに入る。
幾つかの実施例において、前記工程201は、
前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含んでもよい。
例えば、1つの顔を例として、顔の肌色及び顔部の起伏は、いずれも最大値及び最小値を有する。これにより、画像収集モジュールにより収集された二次元画像及び/又は深度画像はいずれも特定の色画素値又は深度画素値区間内に集中する。画像収集器の最大画素値及び最小画素値を殆どカバーしない。16ビットの色チャネルに対応する512個の考えられる画素値のうち、有効に利用できるものは、200個程度である可能性があり、延いては100個程度である可能性がある。
前記画素値の順序付けにより、現在、幾つかの画素値が生成したかを了解することができる。例えば、P個生成した場合、logPに対してビットの切り上げを行うことで、全ての画素の画素符号化を完了し、logPの切り上げによって得られた数の画素符号化データを得る。従って、必要なデータ量を大幅に低減させることができる。
1つのターゲット対象(例えば、様々なタイプのストリーマ、特定のタイプのシーンはビデオに出現することが多い)の場合、画素値の上記統計数に応じて順序付けを行い、前記画素符号化マッピング関係を生成する。又は、前記画素符号化マッピング関係を更新し、符号化ビデオ関係の決定及び生成を完了する。
幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることは、
単一の符号化マッピング方式を用いると、前記三次元ビデオデータの画素値に基づいて、所定の順付け方式に応じて順序付けを行い、前記三次元ビデオデータの画素値番号を得ることと、
前記画素値と前記画素値番号とのマッピング関係を確立することと、を含んでもよい。
例えば、前記画素値番号は、
色値の順序付けにより形成された色値番号、
深度値の順序付けにより形成された深度値番号のうちの少なくとも1つを含む。
また幾つかの実施例において、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることは、
前記現在の符号化マッピング方式が組み合わせた符号化マッピング方式であると、前記要求精度及び/又はターゲットシーンなどの参照要因に応じて、組み合わせた符号化マッピング方式のN*Mの値を決定することであって、N及びMの値は、正整数であることと、
三次元ビデオデータの画素値に基づいて、N*M個の画素の画素値を組み合わせとして順序付けし、前記三次元ビデオデータの画素組み合わせ番号を得ることと、
前記画素値と前記画素組み合わせ番号とのマッピング関係を確立することと、を更に含んでもよい。
本実施例において、要求精度に基づいて、前記N*Mを決定することができる。Nは、1つの画素組み合わせに対応する行数であり、Mは、1つの画素組み合わせに対応する列数である。又は、Nは、1つの画素組み合わせに対応する列数であり、Nは、1つの画素組み合わせに対応する行数である。
幾つかの実施例において、前記画素組み合わせ番号は、
色値組み合わせの順序付けにより形成された色値組み合わせ番号、
深度値組み合わせの順序付けにより形成された深度値組み合わせ番号のうちの少なくとも1つを含む。
従って、幾つかの実施例において、サンプル三次元ビデオデータの画素値に基づいて、N*M個の画素の画素値を組み合わせとして順序付けを行い、前記三次元ビデオデータの画素組み合わせ番号を得ることは、
三次元ビデオデータにおける色画素の色値に基づいて、N*M個の画素の色値を組み合わせとして順序付けを行い、三次元ビデオデータの色値組み合わせ番号を得ることを含んでもよい。例えば、順序付けを行う場合、走査された色値組み合わせの時間順に応じて順序付けを行うか又は走査された色値組み合わせの出現頻度に応じて順序付けを行い、前記色値組み合わせ番号を得る。
幾つかの実施例において、異なるターゲット対象について得られた前記画素符号化マッピング関係が異なることがあるため、データは、前記画素符号化マッピング関係が漏洩されることなく、安全性が高いという特徴を有する、従って、他人は、伝送過程において画素符号化された画素符号化データをキャプチャしても、前記三次元ビデオデータを正常に復号できず、伝送の安全性が高いという特徴を有する。
統計数に応じて順序付けを行うと、画素値出現頻度の高い画素符号化値番号は、上位にランキングされる。従って、後続で、サンプル三次元ビデオデータと同一のターゲットシーン及び収集対象にある三次元ビデオデータを利用して符号化する時、画素値照合の回数を減少させ、画素符号化の効率を向上させることができる。
図4に示すように、本実施例は、データ処理方法を提供する。前記データ処理方法は、モバイルエッジコンピューティング(MEC)サーバに適用され、以下を含む。
工程301において、端末から送信された画素符号化データを受信する。
工程303において、前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元し、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。
本実施例において、直接的に受信されたものは、画素値ではなく、画素符号化データである。MECサーバは、画素符号化データを受信した後、三次元ビデオデータの画素値を復元する必要もある。
MECサーバにより受信された画素符号化データは、画素値の直接受信のデータ量より小さいため、消費される帯域幅は、より小さい。
幾つかの実施例において、前記工程303は、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも1つを含む。
本実施例において、色符号化データに基づいて、色画素値を復元し、深度値符号化データに基づいて、深度値画素値を復元する。
幾つかの実施例において、前記データ処理方法は、以下を更に含む。
工程302において、前記画素符号化データの画素符号化方式を決定する。例えば、前記画素符号化方式は、単一の符号化方式及び/又は組み合わせた符号化方式を含んでもよい。
前記工程303は、
前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含んでもよい。
幾つかの実施例において、前記工程302の方式は、種々であり、以下、幾つかの任意選択的な方式を提供する。
任意選択的な方式1において、前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定する。
任意選択的な方式2において、前記端末と画素符号化パラメータをやり取りする。前記画素符号化パラメータは少なくとも画素符号化方式を含む
幾つかの実施例において、前記画素符号化パラメータは前記画素符号化方式を含む。別の幾つかの実施例において、前記画素符号化パラメータは、
組み合わせた符号化方式のN*Mの値、
単一の符号化方式及び/又は組み合わせた符号化方式の1つの画素符号化データにより占用されるビット数、
符号化マッピング関係を更に含んでもよい。
幾つかの実施例において、前記MECサーバは、端末から前記マッピング符号化パラメータを受信しなくてもよい。例えば、1つのストリーマが所持する端末は、ライブストリーミングに用いられることが多い。ライブストリーミングにより、前記三次元ビデオデータを生成する。MECサーバは、それが特定の端末からの画素符号化データであることを発見すると、デフォルト画素符号化パラメータを利用して前記画素値の復元を行う。ここのデフォルト画素符号化パラメータは、デフォルト符号化方式及び/又は画素符号化関係を含んでもよい。
幾つかの実施例において、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることは、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、N*M個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも1つを含む。
幾つかの実施例において、前記工程302は、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得ることを含んでもよい。
幾つかの実施例において、前記データ処理方法は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信することを更に含む。
前記画素符号化マッピング関係のやり取りにより、画素符号化マッピング関係を端末とMECサーバにおいて同期させる。
図5に示すように、本実施例は、データ処理装置を更に提供する。前記データ処理装置は、端末に適用され、
三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュール401と、
モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信するように構成される送信モジュールであって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュール402と、を備え、
画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい。
幾つかの実施例において、前記符号化モジュール401及び送信モジュール402は、プログラムモジュールであってもよく、コンピュータによる実行可能なコードに対応し、該コンピュータによる実行可能なコードが実行された後、前記画素符号化データ及び三次元ビデオデータの送信を実現させることができる。
別の幾つかの実施例において、前記符号化モジュール401及び送信モジュール402は、ハードウェアモジュールとプログラムモジュールとの組み合わせであってもよく、例えば、複雑なプログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。
また幾つかの実施例において、前記符号化モジュール401及び送信モジュール402は、ハードウェアモジュールに対応してもよく、例えば、前記符号化モジュール401及び送信モジュール402は、特定用途向け集積回路であってもよい。
幾つかの実施例において、前記符号化モジュール401は、
前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
及び/又は、
前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備える。
幾つかの実施例において、前記符号化モジュール401は具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成される。
幾つかの実施例において、前記データ処理装置は、
所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む、選択モジュールを更に備え、
前記符号化モジュール401は具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成される。
幾つかの実施例において、前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを実行するように構成される。
幾つかの実施例において、前記N*M個の画素は、隣接して分布する。
又は、前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布する。
幾つかの実施例において、前記符号化モジュール401は、
前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備える。
幾つかの実施例において、前記データ処理装置は、
前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信するように構成される更新モジュールを更に備える。
幾つかの実施例において、前記符号化モジュール401は具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成される。
図6に示すように、本実施例は、データ処理装置を提供する。前記データ処理装置は、モバイルエッジコンピューティング(MEC)サーバに適用され、
端末から送信された画素符号化データを受信するように構成される受信モジュール501と、
前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール502であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、復元モジュール502と、を備える。
幾つかの実施例において、前記受信モジュール501及び復元モジュール502は、プログラムモジュールであってもよく、コンピュータによる実行可能なコードに対応し、該コンピュータによる実行可能なコードが実行された後、前記画素符号化データ及び三次元ビデオデータの送信を実現させることができる。
別の幾つかの実施例において、前記受信モジュール501及び復元モジュール502は、ハードウェアモジュールとプログラムモジュールとの組み合わせであってもよく、例えば、複雑なプログラマブルアレイ又はフィールドプログラマブルアレイであってもよい。
また幾つかの実施例において、前記受信モジュール501及び復元モジュール502は、ハードウェアモジュールに対応してもよく、例えば、前記受信モジュール及び復元モジュールは、特定用途向け集積回路であってもよい。
幾つかの実施例において、前記復元モジュール502は、
前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも1つを備える。
幾つかの実施例において、前記データ処理装置は、
前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
前記復元モジュール502は具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成される。
幾つかの実施例において、前記決定モジュールは、
前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第1決定サブモジュールと、
前記端末と画素符号化パラメータをやり取りするように構成される第2決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第2決定サブモジュールと、のうちの少なくとも1つを備える。
幾つかの実施例において、前記復元モジュール502は具体的には、
単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
組み合わせた画素符号化方式に基づいて、N*M個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも1つを実行するように構成される。
幾つかの実施例において、前記復元モジュール502は具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成される。
幾つかの実施例において、前記データ処理装置は、
前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュール501を更に備える。
本実施例は、コンピュータ記憶媒体を提供する。前記コンピュータ記憶媒体にコンピュータ命令が記憶されており、該命令がプロセッサにより実行される時、端末又はMECサーバに適用されるデータ処理方法の工程を実現させる。例えば、図2から図4に示す方法のうちの1つ又は複数を実現させる。
図7に示すように、本実施例は、電子機器700を提供する。前記電子機器は、メモリ702と、プロセッサ704と、メモリ702に記憶されてプロセッサ704で実行可能なコンピュータ命令と、を備え、前記プロセッサ704が前記命令を実行する時、端末又はMECサーバに適用されるデータ処理方法の工程を実現させる。例えば、図2から図4に示す方法のうちの1つ又は複数を実現させる。
幾つかの実施例において、前記電子機器は、通信インタフェース706を更に備え、該通信インタフェース706は、他の機器との情報やり取りを行うように構成される。例えば、前記電子機器700が端末であると、該通信インタフェースは少なくとも、MECサーバと情報やり取りを行うことができる。前記電子機器がMECサーバであると、該通信インタフェース706は少なくとも、端末との情報やり取りを行うことができる。
以下、上記任意の実施例を参照しながら、具体的な例を提供する。
一般的な色に対して順番に応じて番号を付け、携帯電話により赤緑青(RGB)データを収集した後、画像の各画素のRGBデータを操作する。RGBデータが色シーケンスに含まれば、RGBデータの代わりに色番号を用いる。具体的には、画像の各画素のRGBデータを走査し、画像の全ての画素のRGBデータを統計し、続いて、RGBに対して順序付けを行って番号を付け、各画素のRGBの代わりに番号を用いる。続いて、画素及び統計したRGBデータをパケット化してアップロードする。MECサーバ及び携帯電話側は、マッピングテーブルを保存する。RGBデータが伝送される時、画素を水平走査する。画素がマッピングテーブルに含まれなければ、マッピング(例えば、画素RGB−フラグA[16ビット]or[32ビット]or[8ビット])を新規構築し、マッピングテーブルに保存すると共に、RGBデータを16ビットの色番号に置き換える。走査した後、マッピングテーブルにおける変動した項目及びRGBデータをアップロードする。又は、単一の画素の符号化をNxN個の画素の一括した符号化までに拡張する。
本願で提供される幾つかの実施例において、開示される装置及び方法は、他の方式によって実現できることを理解すべきである。例えば、以上に記載した装置の実施例はただ例示的なもので、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。例えば、複数のユニット又は組立体を組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかのインタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。
分離部材として説明した上記ユニットは、物理的に別個のものであってもよいし、そうでなくてもよい。ユニットとして示された部材は、物理的ユニットであってもよいし、そうでなくてもよい。即ち、同一の位置に位置してもよいし、複数のネットワークに分布してもよい。実際の需要に応じてそのうちの一部又は全てのユニットにより本実施例の方策の目的を実現することができる。
また、本願の各実施例における各機能ユニットは一つの第2処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、2つ以上のユニットが一つのユニットに集積されてもよい。上記集積したユニットはハードウェアとして実現してもよく、ハードウェアとソフトウェア機能ユニットとを組み合わせて実現してもよい。
上記各方法に係る実施例の全部又は一部のステップはプログラム命令に係るハードウェアにより実現され、前記プログラムはコンピュータ読み取り可能な記憶媒体に記憶され、該プログラムが実行される時、上記方法の実施例におけるステップを実行し、前記記憶媒体は、携帯型記憶装置、ROM、RAM、磁気ディスク又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含むことは、当業者であれば理解すべきである。
又は、本願の上記集積したユニットがソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよい。このような理解のもと、本願の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、コンピュータ機器(パーソナルコンピュータ、MECサーバ又はネットワーク装置など)に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、携帯型記憶装置、ROM、RAM、磁気ディスク、又は光ディスクなど、プログラムコードを記憶可能な各種の媒体を含む。
本願の実施例に記載の技術的解決手段は、矛盾しない限り、任意に組み合わせられてもよいことに留意されたい。
以上は本願の具体的な実施形態に過ぎず、本願の保護の範囲はそれらに制限されるものではなく、当業者が本発明に開示された技術範囲内で容易に想到しうる変更や置換はいずれも、本発明の保護範囲内に含まれるべきである。

Claims (30)

  1. 端末に適用されるデータ処理方法であって、
    三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ること(201)と、
    モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信すること(203)であって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、こと(203)と、を含み、
    画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、前記データ処理方法。
  2. 前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
    前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得ること、
    及び/又は、
    前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得ることを含むことを特徴とする
    請求項1に記載のデータ処理方法。
  3. 前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
    前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することを含むことを特徴とする
    請求項1又は2に記載のデータ処理方法。
  4. 前記データ処理方法は、
    所定の情報に基づいて画素符号化方式を選択することであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む、ことを更に含み、
    前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
    選択された前記画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることを含むことを特徴とする
    請求項3に記載のデータ処理方法。
  5. 前記選択された画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得ることは、
    単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、
    組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを含むことを特徴とする
    請求項4に記載のデータ処理方法。
  6. 前記N*M個の画素は、隣接して分布し、又は、
    前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布することを特徴とする
    請求項5に記載のデータ処理方法。
  7. 前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定することは、
    前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリすることと、
    前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定することと、を含むことを特徴とする
    請求項3に記載のデータ処理方法。
  8. 前記データ処理方法は、
    前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信することを更に含むことを特徴とする
    請求項7に記載のデータ処理方法。
  9. 前記三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得ることは、
    前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得ることを含むことを特徴とする
    請求項1に記載のデータ処理方法。
  10. モバイルエッジコンピューティング(MEC)サーバに適用されるデータ処理方法であって、
    端末から送信された画素符号化データを受信すること(301)と、
    前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元すること(303)であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、こと(303)と、を含む、前記データ処理方法。
  11. 前記画素符号化データに基づいて、三次元ビデオデータ的画素値を復元することは、
    前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元することと、
    前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元することと、のうちの少なくとも1つを含むことを特徴とする
    請求項10に記載のデータ処理方法。
  12. 前記データ処理方法は、
    前記画素符号化データの画素符号化方式を決定することを更に含み、
    前記画素符号化データに基づいて三次元ビデオデータを復元することは、
    前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得ることを含むことを特徴とする
    請求項10又は11に記載のデータ処理方法。
  13. 端末に適用されるデータ処理装置であって、
    三次元ビデオデータの画素値に基づいて画素符号化を行い、画素符号化データを得るように構成される符号化モジュール(401)と、
    モバイルエッジコンピューティング(MEC)サーバに前記画素符号化データを送信するように構成される送信モジュール(402)であって、前記画素符号化データは、前記MECサーバによる前記三次元ビデオデータの復元に用いられる、送信モジュール(402)と、を備え、
    画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、前記データ処理装置。
  14. 前記符号化モジュールは、
    前記三次元ビデオデータの色画素値に基づいて色符号化を行い、色符号化データを得るように構成される色符号化サブモジュール、
    及び/又は、
    前記三次元ビデオデータ的深度値画素値に基づいて深度値符号化を行い、深度値符号化データを得るように構成される深度値符号化サブモジュールを備えることを特徴とする
    請求項13に記載のデータ処理装置。
  15. 前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データを決定するように構成されることを特徴とする
    請求項13又は14に記載のデータ処理装置。
  16. 前記データ処理装置は、
    所定の情報に基づいて画素符号化方式を選択するように構成される選択モジュールであって、前記所定の情報は、ネットワーク伝送状況情報、前記端末の負荷状況情報及び前記MECサーバの負荷状況情報のうちの少なくとも1つを含む、選択モジュールを更に備え、
    前記符号化モジュールは具体的には、画素符号化方式に基づいて、前記画素値に対して画素符号化を行い、前記画素符号化データを得るように構成されることを特徴とする
    請求項15に記載のデータ処理装置。
  17. 前記符号化モジュールは少なくとも、単一の画素符号化方式に基づいて、前記三次元ビデオデータの単一の画素の画素値に対して単一の画素符号化を行い、第1カテゴリの符号化データを得ることであって、前記第1カテゴリの符号化データにより占有されるビット数は、前記画素値により占有されるビット数より少ない、ことと、組み合わせた画素符号化方式に基づいて、前記三次元ビデオデータのN*M個の画素の画素値に対して組み合わせ画素符号化を行い、第2カテゴリの画素符号化データを得ることであって、前記N及び前記Mは、いずれも正整数である、ことと、のうちの少なくとも1つを実行するように構成されることを特徴とする
    請求項16に記載のデータ処理装置。
  18. 前記N*M個の画素は、隣接して分布し、又は、
    前記N*M個の画素は、所定の間隔空け方式に応じて、間隔を空けて分布することを特徴とする
    請求項17に記載のデータ処理装置。
  19. 前記符号化モジュールは、
    前記三次元ビデオデータの画素値に基づいて、前記画素符号化マッピング関係をクエリするように構成されるクエリサブモジュールと、
    前記画素値が前記画素符号化マッピング関係にあることに応答して、前記画素値に対応する画素符号化値に基づいて、前記画素符号化データを決定するように構成される決定サブモジュールと、を備えることを特徴とする
    請求項15に記載のデータ処理装置。
  20. 前記データ処理装置は、
    前記画素値が前記画素符号化マッピング関係にないことに応答して、前記画素値に基づいて前記画素符号化マッピング関係を更新し、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を前記MECサーバに送信するように構成される更新モジュールを更に備えることを特徴とする
    請求項19に記載のデータ処理装置。
  21. 前記符号化モジュールは具体的には、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式で順序付けを行い、前記三次元ビデオデータの画素値番号を得るように構成されることを特徴とする
    請求項13に記載のデータ処理装置。
  22. 前記画素符号化マッピング関係は、
    画素符号化マッピングテーブル、
    複数の離散した画素符号化マッピング値対、及び
    画素値と画素符号化データとの関数表現式、のうちの少なくとも1つを含むことを特徴とする
    請求項15に記載のデータ処理装置。
  23. 前記プロセッサは、
    単一の符号化マッピング方式を用いることに応答して、前記三次元ビデオデータの画素値に基づいて、所定の順序付け方式に応じて順序付けを行い、前記三次元ビデオデータの画素値番号を得て、
    前記画素値と前記画素値番号とのマッピング関係を確立するように構成されることを特徴とする
    請求項21に記載のデータ処理装置。
  24. モバイルエッジコンピューティング(MEC)サーバに適用されるデータ処理装置であって、
    端末から送信された画素符号化データを受信するように構成される受信モジュール(501)と、
    前記画素符号化データに基づいて、三次元ビデオデータの画素値を復元するように構成される復元モジュール(502)であって、画素符号化を行う前の前記三次元ビデオデータのデータ量は、第1データ量であり、画素符号化を行った後の前記三次元ビデオデータのデータ量は、第2データ量であり、前記第1データ量は、前記第2データ量より大きい、復元モジュール(502)と、を備える、前記データ処理装置。
  25. 前記復元モジュールは、
    前記画素符号化データの色符号化データに基づいて、前記三次元ビデオデータの色画素値を復元するように構成される色復元サブモジュールと、
    前記画素符号化データの深度値符号化データに基づいて、前記三次元ビデオデータの深度値画素値を復元するように構成される深度値復元サブモジュールと、のうちの少なくとも1つを備えることを特徴とする
    請求項24に記載のデータ処理装置。
  26. 前記データ処理装置は、
    前記画素符号化データの画素符号化方式を決定するように構成される決定モジュールを更に備え、
    前記復元モジュールは具体的には、前記画素符号化方式に基づいて、前記画素符号化データに対して画素復号を行い、前記三次元ビデオデータの画素値を得るように構成されることを特徴とする
    請求項24又は25に記載のデータ処理装置。
  27. 前記決定モジュールは、
    前記三次元ビデオデータに含まれる画素の数を決定し、前記画素符号化データのデータ数を決定し、前記画素の数及び前記データ数に基づいて、前記画素符号化方式を決定するように構成される第1決定サブモジュールと、
    前記端末と画素符号化パラメータをやり取りするように構成される第2決定サブモジュールであって、前記画素符号化パラメータは少なくとも画素符号化方式を含む、第2決定サブモジュールと、のうちの少なくとも1つを備えることを特徴とする
    請求項26に記載のデータ処理装置。
  28. 前記復元モジュールは具体的には、
    単一の画素符号化方式に基づいて、単一の画素の前記画素符号化データに対して復号を行い、三次元ビデオデータの画素値を復元することと、
    組み合わせた画素符号化方式に基づいて、N*M個の画素の前記画素符号化データに対して復号を行い、前記三次元ビデオデータの画素値を復元することと、のうちの少なくとも1つを実行するように構成されることを特徴とする
    請求項26に記載のデータ処理装置。
  29. 前記復元モジュールは具体的には、前記画素符号化データに基づいて、画素符号化マッピング関係をクエリし、前記画素符号化データに対応する画素値を得るように構成されることを特徴とする
    請求項24又は25に記載のデータ処理装置。
  30. 前記データ処理装置は、
    前記画素符号化データに基づいて三次元ビデオデータの画素値を復元する前に、前記端末から送信された、更新された画素符号化マッピング関係又は前記画素符号化マッピング関係の更新部分を受信するように構成される受信モジュールを更に備えることを特徴とする
    請求項29に記載のデータ処理装置。
JP2021500448A 2018-09-30 2019-09-18 データ処理方法及び装置、電子機器並びに記憶媒体 Active JP7105358B6 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811162342.8 2018-09-30
CN201811162342.8A CN109257609B (zh) 2018-09-30 2018-09-30 数据处理方法及装置、电子设备及存储介质
PCT/CN2019/106501 WO2020063422A1 (en) 2018-09-30 2019-09-18 Methods and devices for data processing, electronic device

Publications (3)

Publication Number Publication Date
JP2021531688A true JP2021531688A (ja) 2021-11-18
JP7105358B2 JP7105358B2 (ja) 2022-07-22
JP7105358B6 JP7105358B6 (ja) 2022-09-30

Family

ID=65045321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500448A Active JP7105358B6 (ja) 2018-09-30 2019-09-18 データ処理方法及び装置、電子機器並びに記憶媒体

Country Status (8)

Country Link
US (1) US20200107030A1 (ja)
EP (1) EP3629578A1 (ja)
JP (1) JP7105358B6 (ja)
KR (1) KR102521595B1 (ja)
CN (1) CN109257609B (ja)
AU (1) AU2019345715B2 (ja)
BR (1) BR112021001137A2 (ja)
WO (1) WO2020063422A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112672132B (zh) 2018-09-30 2023-12-26 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109257609B (zh) * 2018-09-30 2021-04-23 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN116724004A (zh) 2021-02-15 2023-09-08 株式会社Lg化学 正极活性材料用前体及其制备方法
CN113900800B (zh) * 2021-09-17 2022-08-19 中标慧安信息技术股份有限公司 一种边缘计算系统的分配方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005297A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Panorama based 3d video coding
WO2014165784A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Determining palette indices in palette-based video coding
JP2018085606A (ja) * 2016-11-22 2018-05-31 ソニー株式会社 基地局及び端末装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010510558A (ja) * 2006-10-11 2010-04-02 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 三次元グラフィックスのデータの作成
KR101365329B1 (ko) * 2009-11-23 2014-03-14 제너럴 인스트루먼트 코포레이션 비디오 시퀀스로의 추가 채널로서의 깊이 코딩
CN102223541B (zh) * 2011-07-14 2013-07-03 北京工业大学 一种混合图像的编码方法
WO2013039363A2 (ko) * 2011-09-16 2013-03-21 한국전자통신연구원 영상 부호화/복호화 방법 및 그 장치
US20140009576A1 (en) * 2012-07-05 2014-01-09 Alcatel-Lucent Usa Inc. Method and apparatus for compressing, encoding and streaming graphics
EP3059968A4 (en) * 2013-10-18 2017-05-31 LG Electronics Inc. Method and apparatus for decoding multi-view video
US10341632B2 (en) * 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
CN105611274B (zh) * 2016-01-08 2017-07-18 湖南拓视觉信息技术有限公司 一种三维图像数据的传输方法、装置及三维成像系统
CN106507107B (zh) * 2016-12-08 2019-07-05 北京数码视讯科技股份有限公司 数据的处理方法和装置
CN108235007B (zh) * 2016-12-12 2023-06-27 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
CN108521436B (zh) * 2018-02-01 2020-11-17 上海交通大学 基于终端计算存储的移动虚拟现实传输方法及系统
CN108512651B (zh) * 2018-03-19 2020-05-19 网御安全技术(深圳)有限公司 一种人工智能图像辨识攻击防御方法、系统及存储介质
CN108600168A (zh) * 2018-03-19 2018-09-28 网御安全技术(深圳)有限公司 一种用于人工智能图像辨识攻击的安全编码方法及系统
CN108495112B (zh) * 2018-05-10 2020-12-22 Oppo广东移动通信有限公司 数据传输方法及终端、计算机存储介质
CN108600728A (zh) * 2018-05-10 2018-09-28 Oppo广东移动通信有限公司 一种数据传输方法及终端、计算机存储介质
CN108566554A (zh) * 2018-05-11 2018-09-21 北京奇艺世纪科技有限公司 一种vr全景视频处理方法、系统及电子设备
CN112672132B (zh) * 2018-09-30 2023-12-26 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109274976B (zh) * 2018-09-30 2021-07-20 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质
CN109257609B (zh) * 2018-09-30 2021-04-23 Oppo广东移动通信有限公司 数据处理方法及装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014005297A1 (en) * 2012-07-04 2014-01-09 Intel Corporation Panorama based 3d video coding
WO2014165784A1 (en) * 2013-04-05 2014-10-09 Qualcomm Incorporated Determining palette indices in palette-based video coding
JP2018085606A (ja) * 2016-11-22 2018-05-31 ソニー株式会社 基地局及び端末装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FABRIZIO LAMBERTI, AND ANDREA SANNA: "A Streaming-Based Solution for Remote Visualization of 3D Graphics on Mobile Devices", IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS, vol. 13, no. 2, JPN6022009880, March 2007 (2007-03-01), pages 247 - 260, XP011157909, ISSN: 0004728081 *
MICHAEL SCHNEIDER, JASON RAMBACH, AND DIDIER STRICKER: "Augmented Reality based on Edge Computing using the example of Remote Live Support", 2017 IEEE INTERNATIONAL CONFERENCE ON INDUSTRIAL TECHNOLOGY (ICIT), JPN6022009882, March 2017 (2017-03-01), pages 1277 - 1282, XP033091243, ISSN: 0004728079, DOI: 10.1109/ICIT.2017.7915547 *
QUANXIN ZHAO, ET AL.: "Mobile Edge Decoding for Saving Energy and Improving Experience", 2017 IEEE INTERNATIONAL CONFERENCE ON INTERNET OF THINGS (ITHINGS) AND IEEE GREEN COMPUTING AND COMM, JPN6022009881, June 2017 (2017-06-01), pages 475 - 482, XP033312216, ISSN: 0004728080, DOI: 10.1109/iThings-GreenCom-CPSCom-SmartData.2017.76 *

Also Published As

Publication number Publication date
CN109257609A (zh) 2019-01-22
US20200107030A1 (en) 2020-04-02
BR112021001137A2 (pt) 2021-04-20
JP7105358B2 (ja) 2022-07-22
WO2020063422A1 (en) 2020-04-02
KR20210020103A (ko) 2021-02-23
AU2019345715B2 (en) 2022-06-02
JP7105358B6 (ja) 2022-09-30
KR102521595B1 (ko) 2023-04-12
AU2019345715A1 (en) 2021-01-28
EP3629578A1 (en) 2020-04-01
CN109257609B (zh) 2021-04-23

Similar Documents

Publication Publication Date Title
JP2021531688A (ja) データ処理方法及び装置、電子機器並びに記憶媒体
CN109151436B (zh) 数据处理方法及装置、电子设备及存储介质
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
CN109274976B (zh) 数据处理方法及装置、电子设备及存储介质
CN108495112B (zh) 数据传输方法及终端、计算机存储介质
CN103281539A (zh) 一种图像编、解码处理的方法、装置及终端
CN107027033B (zh) 一种用于使用贴片拷贝的视频编解码方法
JP7451576B2 (ja) ポイントクラウドデータ処理方法及び装置
WO2016172994A1 (zh) 图像编码、解码方法及装置
US8958642B2 (en) Method and device for image processing by image division
JP6959367B2 (ja) デュアルデブロッキングフィルタ閾値
WO2020063171A1 (zh) 数据传输方法、终端、服务器和存储介质
CN113435515B (zh) 图片识别方法和装置、存储介质及电子设备
CN109309839B (zh) 数据处理方法及装置、电子设备及存储介质
CN109389674B (zh) 数据处理方法及装置、mec服务器及存储介质
CN109389675B (zh) 数据处理方法及装置、终端及存储介质
WO2023024842A1 (zh) 点云编解码方法、装置、设备及存储介质
WO2020063172A1 (zh) 数据处理方法、终端、服务器和存储介质
CN118301357A (en) Pixel chromaticity prediction method and device, electronic equipment and storage medium
CN105812823A (zh) Hevc中帧内预测的参考像素替换方法与装置
JP2023532094A (ja) 暗黙的モデルを伴うインターイントラ予測
CN116847094A (zh) 图像处理方法、装置、系统及存储介质
Ge et al. E-LETTER

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220711

R150 Certificate of patent or registration of utility model

Ref document number: 7105358

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150