JP2019534606A - ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 - Google Patents
ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 Download PDFInfo
- Publication number
- JP2019534606A JP2019534606A JP2019514812A JP2019514812A JP2019534606A JP 2019534606 A JP2019534606 A JP 2019534606A JP 2019514812 A JP2019514812 A JP 2019514812A JP 2019514812 A JP2019514812 A JP 2019514812A JP 2019534606 A JP2019534606 A JP 2019534606A
- Authority
- JP
- Japan
- Prior art keywords
- parameters
- representing
- scene
- pixel
- optical device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000003287 optical effect Effects 0.000 claims description 88
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 17
- 239000013598 vector Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012856 packing Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/15—Processing image signals for colour aspects of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
- H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置。本発明は、場面を表す点群の再構築に関する。点群データは、膨大な量の記憶空間を占め、格納を厄介にして処理の効率を悪くする。この目的のため、センサー上にマッピングされる、センサーの異なる画素によって検知された光線を表すパラメータを含む場面を表す信号を符号化するための方法が提案される。第2のセットの符号化されたパラメータは、センサーの異なる画素によって検知された光線を表すパラメータからライトフィールドコンテンツを再構築するために使用され、深さを表す第3のセットのパラメータ、前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点、および色データを表す第4のセットのパラメータが、受信側上で点群を再構築するために使用される。【選択図】図9
Description
本発明は、データおよびメタデータのセットの送信に関し、より詳細には、場面を表す点群の再構築を可能にするデータの送信に関する。
点群は、コンピュータグラフィックにおいて3D(3次元)場面を表すための良く知られている方法である。場面を点群として表すことは、この場面の異なる観点を見るのに役立つ。点群において、3D空間内の座標(x,y,z)の各点はRGB値に対応する。しかし、場面は、強い連続性のない、空間内の点の集合としてのみ表される。
点群を表しているデータを圧縮することは、容易なタスクではない。実際に、点群に属している全ての点は、標準的なビデオにおけるように単純な矩形に配置されていないので、これらのデータを符号化する方法は簡単ではない。
さらに、点群表現は、膨大な量の記憶空間を占め、格納を厄介にして処理効率を悪くする。
本発明は前述を念頭に置いて考案されている。
本発明の第1の態様によれば、光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法が提供され、前記方法は、前記光学デバイスのセンサーの少なくとも1つの画素に対して、
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を符号化することを含み:
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を符号化することを含み:
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
本発明の一態様に従った符号化方法に従って送信されるパラメータは、受信装置によって送信および処理されることと意図して場面を取得するために使用される光学系とは無関係である。
本発明の一態様に従った方法では、光学系のセンサーの異なる画素によって検知される光線を表すパラメータ、すなわち、第1のセットのパラメータのパラメータは、センサー上にマッピングされる。従って、これらのパラメータは、ピクチャと見なすことができる。例えば、光学系の画素によって検知される光線が4つのパラメータによって表現される場合、光学系のセンサーの画素によって検知される光線を表すパラメータは4つのピクチャにグループ化される。
かかるピクチャは、MPEG−4 part 10 AVC(h264とも呼ばれる)、h265/HEVCまたはそれらの後継になりそうなh266などの、ビデオ標準に従って符号化および送信でき、また結合されたビデオビットストリームで送信できる。第2の符号化セットは、付加拡張情報(SEI)メッセージを使用して符号化され得る。本発明の一実施形態に従った方法で定義されるフォーマットは、データの強力な圧縮が、強い誤差(無損失符号化)または限られた量の誤差(ロッシー符号化)を取り込むことなく、送信されるのを可能にする。
本発明の一態様に従った方法は、光学デバイスによって直接取得されたデータに制限されない。これらのデータは、所与の場面記述のためにコンピュータによって完全に、または部分的にシミュレートされるコンピュータグラフィックス画像(CGI)であり得る。別のデータ源は、変更されている後生成データ(post−produced data)、例えば、光学デバイスまたはCGIから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびCGIデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。
かかる符号化方法は、前記場面を表す点群を再構築するためにコンパクトフォーマットでデータを符号化するのを可能にする。
符号化方法の一態様によれば、第1のセットのパラメータの少なくとも1つのパラメータは、前記光線の座標と、光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、第2のセットのパラメータの少なくとも1つのパラメータは、適合平面の座標を表す。
計算された距離の異なる値間の較差は、通常、座標の異なる値間の較差よりも低いので、光線の座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を符号化すると、送信されるデータを圧縮するのを可能にする。
符号化方法の一態様によれば、第1のセットのパラメータの少なくとも1つのパラメータは、
‐前記画素によって検知された光線を表す値と、センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素がセンサーの行の第1の画素である場合、前記画素によって検知された光線を表す値と、前記画素が属する行に先行する行の第1の画素によって検知された光線を表す値との間の差
を表す。
‐前記画素によって検知された光線を表す値と、センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素がセンサーの行の第1の画素である場合、前記画素によって検知された光線を表す値と、前記画素が属する行に先行する行の第1の画素によって検知された光線を表す値との間の差
を表す。
光線を表す値は、その光線を表す座標または、その座標と、センサーの異なる画素によって検知された複数の光線の座標のセットに適合する平面との間の距離のいずれかであり得る。
これは、送信されるパラメータの異なる値間の較差を削減することによりデータの圧縮を可能にする。
符号化方法の一態様によれば、第1のセットのパラメータのパラメータを符号化するために独立したコーデックが使用される。
符号化方法の一態様によれば、第2のセットのパラメータが、第1のセットのパラメータの最後の送信以後に、第1のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第2のセットのパラメータだけが送信される。
これは、復号装置に送信されるデータの量を削減するのを可能にする。
本発明の別の目的は、光学デバイスから取得された場面を表す信号を符号化するための装置に関し、前記装置は、前記光学デバイスのセンサーの少なくとも1つ画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を符号化するように構成されたプロセッサを含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである。
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を符号化するように構成されたプロセッサを含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである。
本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための方法に関し、前記方法は:
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・復号された第1のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号すること、
‐復号された第1のセットのパラメータ、復号された第2のセットのパラメータ、復号された第3のセットのパラメータおよび復号された第4のセットのパラメータに基づいて前記点群を再構築すること
を含む。
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・復号された第1のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号すること、
‐復号された第1のセットのパラメータ、復号された第2のセットのパラメータ、復号された第3のセットのパラメータおよび復号された第4のセットのパラメータに基づいて前記点群を再構築すること
を含む。
本発明の一態様によれば、前記点群を再構築することは、
‐センサーの少なくとも1つの画素に対して:
・前記光線の、前記場面の少なくとも1つの物体との交点に対応する点の3次元空間内の位置、
・前記点がそれに沿って光学デバイスによって見られる視野角、
を計算すること、
‐前記計算された点に、センサーの前記画素によって検知された色データを表すパラメータを関連付けること
を含む。
‐センサーの少なくとも1つの画素に対して:
・前記光線の、前記場面の少なくとも1つの物体との交点に対応する点の3次元空間内の位置、
・前記点がそれに沿って光学デバイスによって見られる視野角、
を計算すること、
‐前記計算された点に、センサーの前記画素によって検知された色データを表すパラメータを関連付けること
を含む。
本発明の別の態様は、光学デバイスから取得された場面を表す点群を再構築するための装置に関し、前記装置は:
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・復号された第1のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号すること、
‐復号された第1のセットのパラメータ、復号された第2のセットのパラメータ、復号された第3のセットのパラメータおよび復号された第4のセットのパラメータに基づいて前記点群を再構築すること
を行うように構成されたプロセッサを含む。
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・復号された第1のセットのパラメータからライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号すること、
‐復号された第1のセットのパラメータ、復号された第2のセットのパラメータ、復号された第3のセットのパラメータおよび復号された第4のセットのパラメータに基づいて前記点群を再構築すること
を行うように構成されたプロセッサを含む。
本発明の別の態様は、光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号に関し、前記信号は、前記光学デバイスのセンサーの少なくとも1つの画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を含む、メッセージを伝達し、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を含む、メッセージを伝達し、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
本発明の別の目的は、光学デバイスから取得された場面を表すデータを含むデジタルファイルであり、前記データは、前記光学デバイスのセンサーの少なくとも1つの画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
‐前記画素によって検知された光線を表す第1のセットのパラメータ、
‐第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータ、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためである。
本発明の要素によって実装されるいくつかのプロセスは、コンピュータ実装され得る。その結果、かかる要素は、完全にハードウェア実施形態、完全にソフトウェア実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、かかる要素は、媒体内に具現化されたコンピュータ利用可能プログラムコードを有する任意の有形的表現媒体で具現化されたコンピュータプログラム製品の形を取り得る。
本発明の要素はソフトウェアで実装できるので、本発明は、プログラマブル装置への提供のためにコンピュータ可読コードとして任意の適切なキャリア媒体上で具現化できる。有形的キャリア媒体は、フロッピィディスク、CD−ROM、ハードディスクドライブ、磁気テープ装置またはソリッドステートメモリ装置および同様のもの、などの記憶媒体を含み得る。一時的キャリア媒体は、電気信号、電子信号、光信号、音響信号、磁気信号または電磁信号、例えば、マイクロ波もしくはRF信号、などの信号を含み得る。
ここで、本発明の態様を、ほんの一例として、以下の図を参照して、説明する:
マップ、
マップまたは
マップを表す。
マップ、
マップまたは
マップを表す。
当業者によって理解されるように、本原理の態様は、システム、方法またはコンピュータ可読媒体として具現化できる。それに応じて、本原理の態様は、完全にハードウェア実施形態、完全にソフトウェア実施形態、(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)または全て一般に、本明細書で「回路」、「モジュール」もしくは「システム」と呼ばれ得るソフトウェアおよびハードウェアの態様を組み合わせた実施形態の形を取り得る。さらに、本原理の態様は、コンピュータ可読記憶媒体の形を取り得る。1つ以上のコンピュータ可読記憶媒体(複数可)の任意の組合せが利用され得る。
本発明の実施形態は、場面を表す点群を再構築するためのライトフィールドデータのフォーマット化に依存する。かかる点群は、再フォーカシング、視点の変更などの、さらなる処理適用のために使用される。提供されるフォーマット化は、ライトフィールドデータおよび点群を、受信側上で処理するために、それの適切で容易な再構築を可能にする。提供されるフォーマットの利点は、それが、ライトフィールドデータを取得するために使用される装置に依存しないこと、およびそれが場面をコンパクトなフォーマットで表す点群の再構築のために必要な全てのデータの送信を可能にすることである。
図1は、本発明の一実施形態に従った、ライトフィールドカメラ装置のブロック図である。ライトフィールドカメラは、開口部/シャッター102、主(対物)レンズ101、マイクロレンズアレイ110および光センサーアレイを含む。いくつかの実施形態では、ライトフィールドカメラは、物体または場面のライトフィールド画像を捕捉するために作動されるシャッターレリーズを含む。
光センサーアレイ120は、ライトフィールドデータフォーマット化モジュール150によるライトフィールドデータフォーマットの生成のため、および/またはライトフィールドデータプロセッサ155による処理のために、LFデータ取得モジュール140によって取得されるライトフィールド画像データを提供する。ライトフィールドデータは、取得後および処理後に、メモリ190内に生データフォーマットで、多視点画像(sub aperture image)もしくはフォーカルスタックとして、または本発明の実施形態に従ったライトフィールドデータフォーマットで、格納され得る。
図解例では、ライトフィールドデータフォーマット化モジュール150およびライトフィールドデータプロセッサ155は、ライトフィールドカメラ100内に配置されるか、またはそれに組み込まれる。本発明の他の実施形態では、ライトフィールドデータフォーマット化モジュール150および/またはライトフィールドデータプロセッサ155は、ライトフィールド捕捉カメラ外部の別個の構成要素内に提供され得る。別個の構成要素は、ライトフィールド画像捕捉装置に関してローカルまたはリモートであり得る。ライトフィールド画像データをフォーマット化モジュール150またはライトフィールドデータプロセッサ155に送信するために任意の適切な有線または無線プロトコルが使用され得;例えば、ライトフィールドデータプロセッサは、捕捉されたライトフィールド画像データおよび/または他のデータを、インターネット、セルラーデータネットワーク、WiFiネットワーク、Bluetooth(登録商標)通信プロトコル、および/または任意の他の適切な手段を介して転送し得ることが理解されるであろう。
ライトフィールドデータフォーマット化モジュール150は、本発明の実施形態に従って、取得されたライトフィールドを表すデータを生成するように構成される。ライトフィールドデータフォーマット化モジュール150は、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。
ライトフィールドデータプロセッサ155は、例えば、本発明の実施形態に従って、フォーマット化されたデータおよびメタデータを生成するために、LFデータ取得モジュール140から直接受信した生のライトフィールド画像データに関して操作するように構成される。例えば、捕捉された場面の静止画像、2Dビデオストリーム、および同様のものなどの出力データが生成され得る。ライトフィールドデータプロセッサは、ソフトウェア、ハードウェアまたはそれらの組合せで実装され得る。
少なくとも1つの実施形態では、ライトフィールドカメラ100は、コントローラ170によってカメラ100の動作を制御するためにユーザーがユーザー入力を提供するのを可能にするためのユーザーインタフェース160も含み得る。カメラの制御は、シャッター速度などのカメラの光学パラメータの制御、または調整可能ライトフィールドカメラの場合には、マイクロレンズアレイと光センサーとの間の相対距離、もしくは対物レンズとマイクロレンズアレイとの間の相対距離の制御の1つ以上を含み得る。いくつかの実施形態では、ライトフィールドカメラの光学素子間の相対距離は、手動で調整可能であり得る。カメラの制御は、カメラの他のライトフィールドデータ取得パラメータ、ライトフィールドデータフォーマット化パラメータまたはライトフィールド処理パラメータの制御も含み得る。ユーザーインタフェース160は、タッチスクリーン、ボタン、キーボード、ポインティングデバイス、および/または同様のものなどの、任意の適切なユーザー入力装置(複数可)を含み得る。このように、ユーザーインタフェースによって受信された入力は、データフォーマット化を制御するためにLFデータフォーマット化モジュール150を、取得されたライトフィールドデータの処理を制御するためにLFデータプロセッサ155を、およびライトフィールドカメラ100を制御するためにコントローラ170を、制御ならびに/または構成するために使用できる。
ライトフィールドカメラは、1つ以上の交換式または充電式電池などの、電源180を含む。ライトフィールドカメラは、捕捉されたライトフィールドデータおよび/もしくは処理されたライトフィールドデータまたは本発明の実施形態の方法を実装するためのソフトウェアなどの他のデータを格納するためのメモリ190を含む。メモリは、外部および/または内部メモリを含むことができる。少なくとも1つの実施形態では、メモリはカメラ100から離れた装置および/または位置で提供できる。一実施形態では、メモリは、メモリスティックなどの、取外し可能/交換可能な記憶装置を含む。
ライトフィールドカメラは、捕捉前にカメラの前の場面を表示するため、ならびに/または以前に捕捉および/もしくはレンダリングした画像を表示するために、ディスプレイユニット165(例えば、LCD画面)も含み得る。画面165は、1つ以上のメニューまたは他の情報をユーザーに表示するためにも使用され得る。ライトフィールドカメラは、ファイアーワイヤもしくはユニバーサルシリアルバス(USB)インタフェース、またはインターネット、セルラーデータネットワーク、WiFiネットワーク、Bluetooth(登録商標)通信プロトコル、および/もしくは任意の他の適切な手段を介したデータ通信のための有線もしくは無線通信インタフェースなどの、1つ以上のI/Oインタフェース195をさらに含み得る。I/Oインタフェース195は、本発明の実施形態に従いLFデータフォーマット化モジュールによって生成されたライトフィールド表現データ、および生のライトフィールドデータまたはLFデータプロセッサ155によって処理されたデータなどのライトフィールドデータ、などのデータを、レンダリング適用のために、コンピュータシステムまたはディスプレイユニットなどの外部装置に、および外部装置から、転送するために使用され得る。
図2は、ライトフィールドデータフォーマット化モジュール250およびライトフィールドデータプロセッサ253の潜在的な実施態様の特定の実施形態を例示するブロック図である。
回路200は、メモリ290、メモリコントローラ245および1つ以上の処理装置(CPU(複数可))を含む処理回路240を含む。1つ以上の処理装置240は、メモリ290内に格納された様々なソフトウェアプログラムおよび/または命令セットを実行して、ライトフィールドデータフォーマット化およびライトフィールドデータ処理を含む様々な機能を実行するように構成される。メモリ内に格納されたソフトウェア構成要素は、本発明の実施形態に従って取得された光データを表すデータを生成するためのデータフォーマット化モジュール(または命令セット)250、および本発明の実施形態に従ってライトフィールドデータを処理するためのライトフィールドデータ処理モジュール(または命令セット)255を含む。他のモジュールは、全般的なシステムタスク(例えば、電源管理、メモリ管理)を制御するため、および装置200の様々なハードウェアとソフトウェア構成要素との間の通信を容易にするためのオペレーティングシステムモジュール251、ならびにI/Oインタフェースポートを介して他の装置との通信を制御および管理するためのインタフェースモジュール252などの、ライトフィールドカメラ装置の利用のためにメモリ内に含まれ得る。
本発明の実施形態は、カメラのセンサーの画素によって検知されたか、もしくはコンピュータ生成場面システムによってシミュレートされた光線およびそれらの空間内での配向に基づくか、またはより一般的には、光学デバイスのセンサーの、ライトフィールドデータの表現に依存している。実際に、別のライトフィールドデータ源は、変更されている後生成データ、例えば、光学デバイスまたはCGIから取得されたカラーグレードされたライトフィールドデータであり得る。現在では、光学取得装置を使用して取得されたデータ、およびCGIデータの両方の混合であるデータを有することも、映画産業では一般的である。センサーの画素がコンピュータ生成場面システムによってシミュレートでき、延長線上で考えると、センサー全体が前記システムによってシミュレートできることが理解される。これ以降、「センサーの画素」または「センサー」への言及は、光学取得装置に取り付けられた物理的物体またはコンピュータ生成場面システムによって取得されたシミュレートされたエンティティのいずれかであり得ることを理解されたい。
取得システムのタイプが何であれ、前記取得システムのセンサーの画素に対して、取得システム外部の空間内の、少なくとも線形光軌道、または光線が対応することが分かっていれば、3次元(または3D)空間内の光線を表すデータが計算される。
第1の実施形態で、図3は、相互に平行に配置されて、それぞれ既知の深さz1およびz2に位置付けられた、パラメータ化のために使用される2つの基準面P1およびP2を通過する光線を例示する。z方向、または深さ方向は、ライトフィールドデータを取得するために使用された光学デバイスの光軸の方向に対応する。
光線は、交点(x1,y1)において深さz1で第1の基準面P1と交差し、交点(x2,y2)において深さz2で第2の基準面P2と交差する。このように、z1およびz2を所与として、光線は4つの座標(x1,y1,x2,y2)によって識別できる。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための一対の基準面P1、P2によってパラメータ化でき、各光線は4D光線空間内の点(x1,y1,x2,y2)∈R4として表現される。
図4で示された第2の実施形態では、光線は、既知の深さz3に位置する基準面P3と光線の交点によってパラメータ化される。光線は、交点(x3,y3)において深さz3で基準面P3と交差する。空間内で光線の方向を提供する、正規化ベクトルVは、次の座標:
を有しており、
が正であると仮定されて、vxおよびvyが分かっていれば再計算できるので、ベクトルはその2つの最初の座標(vx,vy)によってのみ記述できる。
を有しており、
が正であると仮定されて、vxおよびvyが分かっていれば再計算できるので、ベクトルはその2つの最初の座標(vx,vy)によってのみ記述できる。
この第2の実施形態によれば、光線は、4つの座標(x3,y3,vx,vy)によって識別され得る。ライトフィールドは従って、本明細書でパラメータ化平面とも呼ばれる、パラメータ化のための基準面P3によってパラメータ化でき、各光線は4D光線空間内の点(x3,y3,vx,vy)∈R4として表現される。
4D光線空間内で光線を表すパラメータは、ライトフィールドデータフォーマット化モジュール150によって計算される。図5は、本発明の一実施形態に従い、カメラ100によって取得されたライトフィールドデータをフォーマット化するための方法のステップを例示するフローチャートである。この方法は、ライトフィールドデータフォーマット化モジュール150によって実行される。
ライトフィールド取得システムがピンホールモデルを使用して較正される場合、基本的な投影モデルは、歪みなしで、次の式によって与えられ:
式中、
・fは、カメラ100の主レンズの焦点距離であり、
・cuおよびcvは、カメラ100の光軸とセンサーの交点の座標であり、
・(Xc,Yc,Zc,1)Tは、カメラによって検知された空間内の点のカメラ座標系内の位置であり、
・(u,v,1)Tは、その座標がカメラ座標系内の(Xc,Yc,Zc,1)Tである点のカメラのセンサー上への投影の、センサー座標系における、座標である。
式中、
・fは、カメラ100の主レンズの焦点距離であり、
・cuおよびcvは、カメラ100の光軸とセンサーの交点の座標であり、
・(Xc,Yc,Zc,1)Tは、カメラによって検知された空間内の点のカメラ座標系内の位置であり、
・(u,v,1)Tは、その座標がカメラ座標系内の(Xc,Yc,Zc,1)Tである点のカメラのセンサー上への投影の、センサー座標系における、座標である。
ステップ501で、ライトフィールドデータフォーマット化モジュール150は、その座標が、センサー座標系内の(u,v,1)Tであるセンサーの画素によって検知される空間内の光線の方向を表すベクトルVの座標を計算する。センサー座標系で、ベクトルVの座標は:
である。
である。
ピンホールモデルでは、その座標が(u,v,1)Tである画素によって検知された光線の、ピンホールから座標Z1に位置して、センサー面と平行な平面との交点の座標は:
であり、ステップ502の間に計算される。
であり、ステップ502の間に計算される。
いくつかの取得、すなわち、異なるタイプのカメラによるライトフィールドデータの取得が混合される場合、単一の座標系が使用される。この状況では、点およびベクトルの座標の修正は、それに応じて変更されるべきである。
本発明の一実施形態によれば、カメラのセンサーの画素によって検知されて、ステップ501および502の間に計算された光線を定義する座標のセットがマップに再グループ化される。別の実施形態では、光線は、光線の伝搬をシミュレートするコンピュータ生成場面システムによって直接計算される。
本発明の一実施形態では、これらのマップは受信側に送信される場面のカラーマップおよび深さマップと関連付けられる。従ってこの実施形態では、カメラのセンサーの各画素(u,v)に対して、所与の画素によって検知された光線に関連する深さデータを表すパラメータおよび同じ所与の画素によって検知された同じ光線に関連する色データを表すパラメータならびに光線がパラメータ化のための一対の基準面P1、P2によってパラメータ化される場合は(x1,y1,x2,y2)、または光線が正規化ベクトルによってパラメータ化される場合は(x3,y3,vx,vy)のいずれかに対応する浮動小数点値の4つ組(X1 X2 X3 X4)が対応する。以下の説明では、浮動小数点値の4つ組(X1 X2 X3 X4)は:
によって与えられる。
によって与えられる。
別の実施形態では、取得システムはピンホールモデルを使用して較正されず、その結果として、2つの平面によるパラメータ化はモデルから再計算されない。代わりに、2つの平面によるパラメータ化は、カメラの較正動作中に測定される必要がある。これは、例えば、カメラの主レンズとセンサーとの間にマイクロレンズアレイが含まれるピンホールカメラの場合であり得る。
さらに別の実施形態では、これらのマップは、コンピュータ生成場面システムによって直接シミュレートされるか、または取得されたデータから後生成される。
カメラのセンサーの画素によって検知された光線は浮動小数点の4つ組(X1 X2 X3 X4)によって表されるので、これら4つのパラメータをパラメータの4つのマップ、例えば、カメラのセンサーの画素によって検知された各光線のパラメータX1を含む第1のマップ、カメラのセンサーの画素によって検知された各光線のパラメータX2を含む第2のマップ、カメラのセンサーの画素によって検知された各光線のパラメータX3を含む第3のマップおよびカメラのセンサーの画素によって検知された各光線のパラメータX4を含む第4のマップ、に入れることが可能である。Xiマップと呼ばれる、前述の4つのマップの各々は、取得されたライトフィールド画像自体と同じサイズをもつが、浮動小数点コンテンツを有する。
隣接した画素によって検知された光線を表して光線の集合を配列するパラメータ間の強い相関、およびその結果として、それらを表すパラメータを考慮に入れるいくつかの適応後、これらの4つのマップはビデオデータ用と同様のツールを使用して圧縮できる。
浮動小数点(X1 X2 X3 X4)の値を圧縮し、結果として送信されるXiマップのサイズを削減するために、ライトフィールドデータフォーマット化モジュール150は、ステップ503で、各Xiマップに対して、Xiマップ内に含まれる前記パラメータXiの値に適合する平面の式を計算する。パラメータXiに対する適合平面の式は:
によって与えられ、式中、uおよびvは、カメラのセンサーの所与の画素の座標である。
によって与えられ、式中、uおよびvは、カメラのセンサーの所与の画素の座標である。
次いで、ステップ506で、以前のパラメータXiの値
は、パラメータ
の値が0〜2N−1(両端値を含む)の範囲になるように計算され得、Nは、送信されるライトフィールドデータを符号化するために使用されることを意図した符号器の容量に対応する選択されたビット数である。パラメータ
の値は:
によって与えられる。
は、パラメータ
の値が0〜2N−1(両端値を含む)の範囲になるように計算され得、Nは、送信されるライトフィールドデータを符号化するために使用されることを意図した符号器の容量に対応する選択されたビット数である。パラメータ
の値は:
によって与えられる。
ステップ507で、ライトフィールドデータフォーマット化モジュール150は、カメラのセンサーの画素によって検知された光線を表すパラメータ(X1 X2 X3 X4)の各々に対応する、4つのマップ、
マップ、
マップ、
マップおよび
マップを生成する。
マップ、
マップ、
マップおよび
マップを生成する。
ステップ508で、ライトフィールドデータフォーマット化モジュール150は、SEI(付加拡張情報)メッセージのコンテンツを生成する。SEIメッセージの前記コンテンツは、元の
マップを取得するために、受信側上での逆計算(reciprocal computation)中に使用されることを意図した次の固定パラメータ
を含む。これら4つのパラメータは、SEIメッセージで伝達されるメタデータと考えられ、その内容は次の表によって与えられる:
マップを取得するために、受信側上での逆計算(reciprocal computation)中に使用されることを意図した次の固定パラメータ
を含む。これら4つのパラメータは、SEIメッセージで伝達されるメタデータと考えられ、その内容は次の表によって与えられる:
図6は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す信号を符号化するための方法のステップを例示するフローチャートである。この方法は、例えば、ライトフィールドデータプロセッサモジュール155によって実行される。
ステップ601で、ライトフィールドデータプロセッサモジュール155は、ステップ507中に、ライトフィールドデータフォーマット化モジュール150によって生成された4つの
マップを取得する。4つの
マップは、メッセージ内に埋め込まれるか、またはメモリなどから取得され得る。
マップを取得する。4つの
マップは、メッセージ内に埋め込まれるか、またはメモリなどから取得され得る。
ステップ603で、ライトフィールドデータプロセッサモジュール155は、ライトフィールドコンテンツに関連した場面の物体の深さ情報を含む深さマップを取得する。深さマップは、カメラのセンサーの各画素に対する深さ情報を含む。深さマップは、別の装置から受信されるか、またはメモリなどから取得され得る。
センサーの画素に関連した深さ情報は、例えば、前記画素によって検知された光線の、前記場面の少なくとも1つの物体との交点の光学デバイスの光軸に沿った位置である。
かかる深さマップは、例えば、カメラ間視差推定によって計算され、次いで、複数のカメラを含む実施形態における較正データのおかげで、深さに変換され得る。深さマップが特定の較正で各カメラと位置合わせされる、深さセンサーがシステム内にあり得る。
関連付けられた深さデータが、モノクロフォーマットで格納されて、ビデオコーダ(MPEG−4 AVC、HEVC、h266、...)または画像コーダ(JPEG、JPEG2000、MJEG)で符号化され得る。いくつかのセンサーが存在する場合、色データおよび深さデータは、3DHEVC(マルチビュー符号化+深さ)コーデックを使用して一緒に符号化できる。
深さ情報は、z方向に2つの異なる基準を有し得、前記z方向は、場面を取得するために使用される光学デバイスの光軸の方向に対応する。深さ情報は、平面z1の位置に、または世界座標系に関連して定義されているかどうかであり得る。前記情報は、メタデータメッセージ内に定義される:
ステップ604で、ライトフィールドデータプロセッサモジュール155は、例えば、ライトフィールドコンテンツに関連した場面の物体のRGB情報を含む、カラーマップを取得する。カラーマップは、カメラのセンサーの各画素に対する色情報を含む。カラーマップは、別の装置から受信されるか、またはメモリなどから取得され得る。
ステップ605で、
マップ、カラーマップ、深さマップおよびSEIメッセージは、3D(3次元)空間内の点の形式のライトフィールドコンテンツを、前記点の配向に関連した情報、すなわち、その点がセンサーの画素によって検知される視点、と一緒にレンダリングするために、これらのデータが処理される受信側に少なくとも送信される。
マップ、カラーマップ、深さマップおよびSEIメッセージは、3D(3次元)空間内の点の形式のライトフィールドコンテンツを、前記点の配向に関連した情報、すなわち、その点がセンサーの画素によって検知される視点、と一緒にレンダリングするために、これらのデータが処理される受信側に少なくとも送信される。
例えば、
座標(0,0)の画素に関連したパラメータXiの値を所与として、ライトフィールドデータフォーマット化モジュール150は、ステップ601で、座標(1,0)の画素に関連したパラメータXiの値
と、座標(0,0)の画素に関連したパラメータXiの値
との間の差
を計算する:
座標(0,0)の画素に関連したパラメータXiの値を所与として、ライトフィールドデータフォーマット化モジュール150は、ステップ601で、座標(1,0)の画素に関連したパラメータXiの値
と、座標(0,0)の画素に関連したパラメータXiの値
との間の差
を計算する:
より一般的に、ステップ701中に、ライトフィールドデータフォーマット化モジュール150は、センサーの所与の画素に関連したパラメータXiの値と、光学系のセンサーの行内の所与の画素に先行する別の画素に関連したパラメータXiの、またはコンピュータ生成場面システムの、値との間の差を計算する:
所与の画素がセンサーの行の第1の画素である場合、ライトフィールドデータフォーマット化モジュール150は、所与の画素に関連したパラメータXiの値と、所与の画素が属する行に先行する行の第1の画素に関連したパラメータXiの値との間の差を計算する:
ステップ702で、ステップ602中に生成された、
マップ、カラーマップ、深さマップおよびSEIメッセージは、ライトフィールドコンテンツをレンダリングするためにこれらのデータが処理される受信側に少なくとも送信される。
マップ、カラーマップ、深さマップおよびSEIメッセージは、ライトフィールドコンテンツをレンダリングするためにこれらのデータが処理される受信側に少なくとも送信される。
第2の実施形態では、
マップ、
マップまたは
マップは、超低空間周波数を有する値を含むので、
マップの両方の次元において空間ダウンサンプリングを実行し、次いで、前記
マップの送信されたサンプル間で線形補間を行うことにより受信側上で完全な
マップを回復することが可能である。
マップ、
マップまたは
マップは、超低空間周波数を有する値を含むので、
マップの両方の次元において空間ダウンサンプリングを実行し、次いで、前記
マップの送信されたサンプル間で線形補間を行うことにより受信側上で完全な
マップを回復することが可能である。
例えば、マップのサイズを、N_行*M_列からN_行/2*M_列/2に削減できる場合。受信時にマップは元のサイズに拡張でき;生じた穴は補間方法(または所謂アップサンプリングプロセス)によって充填できる。単純な双線形補間が一般に十分である。
第4の実施形態では、
マップ、
マップまたは
マップは、図9に示されるような単一画像にグループ化され得る。この目標に到達するために、一方法は、第2の実施形態におけるように、サブサンプリング方法を使用して、マップのサイズを1/2に減らすこと、次いで、
マップ、
マップまたは
マップを、カラーマップと同じサイズをもつ画像の各象限に結合することから成る。この方法は、いくつかのフレームを単一フレームにパックするので、通常、「フレームパッキング」と命名される。復号器がフレームを適切に解凍できるように、フレームパッキングが実行されている方法を信号通知するために、例えば、SEIメッセージ内で、十分なメタデータが送信されるべきである。単一フレームにパックされたマップは次いで、例えば、h265/HEVCなどであるが、それらに制限されず、単一のモノクロコーデックを使用して送信できる。
マップ、
マップまたは
マップは、図9に示されるような単一画像にグループ化され得る。この目標に到達するために、一方法は、第2の実施形態におけるように、サブサンプリング方法を使用して、マップのサイズを1/2に減らすこと、次いで、
マップ、
マップまたは
マップを、カラーマップと同じサイズをもつ画像の各象限に結合することから成る。この方法は、いくつかのフレームを単一フレームにパックするので、通常、「フレームパッキング」と命名される。復号器がフレームを適切に解凍できるように、フレームパッキングが実行されている方法を信号通知するために、例えば、SEIメッセージ内で、十分なメタデータが送信されるべきである。単一フレームにパックされたマップは次いで、例えば、h265/HEVCなどであるが、それらに制限されず、単一のモノクロコーデックを使用して送信できる。
いくつかのカメラがリグ(rig)を形成するためにグループ化される場合、単一の世界座標系およびすべてのカメラに共通な2つのパラメータ化平面を定義する方が良くて、より一貫性がある。次いで、記述メッセージ(例えば、SEI)は、表2に示すように、各カメラに対して、共通の情報(表現タイプ、z1およびz2)+4つのマップ(
マップ、
マップまたは
の記述パラメータを含むことができる。
マップ、
マップまたは
の記述パラメータを含むことができる。
その場合、
マップ、
マップまたは
マップは、例えば、MPEGマルチビュービデオ符号化(MVC)またはMPEGマルチビュー高性能ビデオ符号化(MV−HEVC)などの、構成のマルチビュー態様を考慮に入れるモノクロコーデックを使用して、受信側に送信され得る。
マップ、
マップまたは
マップは、例えば、MPEGマルチビュービデオ符号化(MVC)またはMPEGマルチビュー高性能ビデオ符号化(MV−HEVC)などの、構成のマルチビュー態様を考慮に入れるモノクロコーデックを使用して、受信側に送信され得る。
第5の実施形態では、
マップ、
マップまたは
マップの修正は、ある期間、無効であり、これらの
マップ、
マップまたは
はスキップされるとマークを付けられて、受信側に送信されない。この場合、SEIメッセージは、
マップ、
マップまたは
に関して、それらの最後の送信以降、変更が行われていないことを受信側に示すフラグを含む。かかるSEIメッセージの内容が表3に示されている。
マップ、
マップの修正は、ある期間、無効であり、これらの
マップ、
はスキップされるとマークを付けられて、受信側に送信されない。この場合、SEIメッセージは、
マップ、
マップまたは
に関して、それらの最後の送信以降、変更が行われていないことを受信側に示すフラグを含む。かかるSEIメッセージの内容が表3に示されている。
第6の実施形態では、
マップ、
マップまたは
で表される、取得システムパラメータの修正は、時間内にゆっくりと変更されるので、それらを、カラーマップのフレームレートよりも遅いフレームレートで受信側に送信することは価値がある。
マップ、
マップまたは
の送信頻度は、少なくともIDRフレームのものでなければならない。
マップ、
マップまたは
で表される、取得システムパラメータの修正は、時間内にゆっくりと変更されるので、それらを、カラーマップのフレームレートよりも遅いフレームレートで受信側に送信することは価値がある。
マップ、
マップまたは
の送信頻度は、少なくともIDRフレームのものでなければならない。
第7の実施形態では、カラーマップはYUVまたはRGBフォーマットを使用し、例えば、MPEG−4 AVC、h265/HEVC、もしくはh266などのビデオコーダ、またはJPEG、JPEG2000、MJEGなどの画像コーダで符号化される。ライトフィールドコンテンツを取得するためにいくつかのカメラが使用される場合、カラーマップは、MV−HEVCコーデックを使用して相対的に符号化され得る。
図10は、光学デバイスのセンサーの画素によって検知された光線Rを表し、前記光線Rは、本発明の一実施形態に従い、光学デバイスから取得された場面の点群を再構築するために使用される2つの基準面P1およびP2を通過する。光線Rは、前記場面の物体Oと交差する。zcamによって示す方向は、光学デバイスの光軸の方向に対応する。
図11は、本開示の一実施形態に従い、場面を表す点群を再構築するための装置の例を示す概略ブロック図である。
装置1100は、プロセッサ1101、記憶装置1102、入力装置1103、ディスプレイ装置1104、およびバス1106によって接続されるインタフェースユニット1105を含む。言うまでもなく、コンピュータ装置1100の構成要素は、バス接続以外の接続によって接続され得る。
プロセッサ1101は、装置1100の動作を制御する。記憶装置1102は、プロセッサ1101によって実行される少なくとも1つのプログラム、ならびにライトフィールドカメラによって捕捉および提供された4Dライトフィールド画像のデータ、プロセッサ1101によって実行される計算によって使用されるパラメータ、プロセッサ1101によって実行された計算の中間データなどを含む、様々なデータを格納する。プロセッサ1101は、任意の既知で適切なハードウェア、またはソフトウェア、またはハードウェアおよびソフトウェアの組合せによって形成され得る。例えば、プロセッサ1101は、処理回路などの、専用ハードウェアによって、またはそのメモリ内に格納されたプログラムを実行するCPU(中央処理装置)などのプログラマブル処理装置によって形成され得る。
記憶装置1102は、任意の適切なストレージ、またはプログラム、データ、もしくは同様のものをコンピュータ可読方法で格納可能な手段によって形成され得る。記憶装置1102の例は、半導体メモリ装置、ならびに読取りおよび書込みユニットにロードされる磁気、光学、または光磁気記録媒体などの、持続性コンピュータ可読記憶媒体を含む。プログラムは、図12を参照して説明するように、本開示の一実施形態に従い、プロセッサ1101に場面を表す点群を再構築させる。
入力装置1103は、キーボード、ユーザーによりコマンドを入力するために使用される、マウスなどのポインティングデバイスによって形成され得る。出力装置1104は、例えば、グラフィカルユーザーインタフェース(GUI)、本開示の一実施形態に従って生成された点群を表示するためのディスプレイ装置によって形成され得る。入力装置1103および出力装置1104は、例えば、タッチスクリーンパネルによって一体的に形成され得る。
インタフェースユニット1105は、装置1100と外部装置との間のインタフェースを提供する。インタフェースユニット1105は、ケーブルまたは無線通信を介して外部装置と通信可能であり得る。一実施形態では、外部装置はライトフィールドカメラであり得る。この場合、ライトフィールドカメラによって捕捉された4Dライトフィールド画像のデータは、ライトフィールドカメラから、インタフェースユニット1105を通して装置1100に入力でき、次いで、記憶装置1102に格納できる。
この実施形態では、装置1100は、ライトフィールドカメラから分離されていて、それらは、ケーブルまたは無線通信を経由して相互に通信可能であるとして模範的に説明されているが、装置1100は、かかるライトフィールドカメラと統合できることに留意すべきである。この後者の場合、装置1100は、例えば、ライトフィールドカメラを埋め込んだタブレットまたはスマートフォンなどの、携帯機器であり得る。
図12は、本発明の一実施形態に従い、光学デバイスから取得された場面を表す点群を再構築するための方法のステップを例示するフローチャートである。この方法は、例えば、装置1100のプロセッサ1101によって実行される。
ステップ1202で、プロセッサ1101は、場面の物体を表す3D(3次元)空間内の点をセンサーの各画素に対して再構築するために、
マップ、カラーマップ、深さマップ、およびSEIメッセージ内に含まれる固定パラメータ
を処理し、前記点はセンサーの前記画素によって検知される。
マップ、カラーマップ、深さマップ、およびSEIメッセージ内に含まれる固定パラメータ
を処理し、前記点はセンサーの前記画素によって検知される。
実際に、その深さzpが分かれば、3D空間内で点Pの座標xpおよびypを見つけることが可能である。この場合、4つのパラメータX1、X2、X3、X4は、検討される画素によって検知された光線の、2つのパラメータ化平面P1およびP2との交点の2つの点を定義できるようにする。
点Pは、図9に示すような2つのパラメータ化平面P1およびP2との交点のこれら2つの点によって定義される光線に属し、装置1100によって受信された深さマップ内の画素に関連した深さ値である深さz=zpに位置する。
を取得するための式は従って、
すなわち
を取得するための式は従って、
すなわち
点Pは、所与の視野角下で光学デバイスによって見られる。
マップおよび固定パラメータ
はライトフィールドデータであるため、点Pがカメラによって見られる視野角を定義するベクトル
を計算することが可能である。
マップおよび固定パラメータ
はライトフィールドデータであるため、点Pがカメラによって見られる視野角を定義するベクトル
を計算することが可能である。
ステップ1201〜1203は、光学デバイスから取得された場面を表す点群を生成するために、光学デバイスのセンサーの全ての画素に対して実行される。
所与の場面の全ての画素に対して計算された点Pの集合は点群と呼ばれる。点ごとに視野角と関連付けられた点群は「有向(oriented)」点群と呼ばれる。点群を構成する点の前記配向は、カメラのセンサーの画素によって検知された光線を表すパラメータ(X1 X2 X3 X4)の各々に対応する、4つのマップ、
マップ、
マップ、
マップおよび
マップ、のおかげで取得される。
マップ、
マップ、
マップおよび
マップ、のおかげで取得される。
その相対位置が較正されているいくつかのカメラによって場面が見られる場合、同じ点Pに対して、異なるカメラと関連付けられた異なる視野角および色を入手することが可能である。それは、場面に関してより多くの情報をもたらして、例えば、光源位置および/または材料の反射特性の抽出を支援できる。言うまでもなく、2つの異なるカメラによって取得されたデータの再投影は、同じ点Pにぴったりとは一致しないであろう。所与の位置の周辺への近接は、この範囲内の2つの再投影は、空間内の同じ点に関連すると考えると定義される。
本発明は上で特定の実施形態を参照して説明されているが、本発明は特定の実施形態に制限されず、本発明の範囲内に含まれる修正は当業者には明らかであろう。
さらに多くの修正および変形が、ほんの一例として提供されて、添付のクレームによってのみ決定される本発明の範囲を制限することを意図していない、前述の例示的な実施形態を参照すれば、当業者には思い付くであろう。具体的には、異なる実施形態からの異なる特徴が、適切な場合には、置き換えられ得る。
Claims (13)
- 光学デバイスから取得された場面を表す信号を符号化するためのコンピュータ実装方法であって、前記方法は、前記光学デバイスのセンサーの少なくとも1つの画素に対して、
‐前記画素によって検知された光線を表す第1のセットのパラメータと、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータと、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータと
を符号化することを含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に、前記場面を表す点群を再構築するためのものである、
コンピュータ実装方法。 - 前記第1のセットのパラメータの少なくとも1つのパラメータは、前記光線の座標と、前記光学系の複数の画素によって検知された複数の光線の座標のセットに適合する平面との間の距離を表し、前記第2のセットのパラメータの少なくとも1つのパラメータは、前記適合平面の座標を表す、請求項1に記載の方法。
- 前記第1のセットのパラメータの少なくとも1つのパラメータが、
‐前記画素によって検知された前記光線を表す値と、前記センサーの行において前記画素に先行する別の画素によって検知された光線を表す値との間の差、または
‐前記画素が前記センサーの行の第1の画素である場合、前記画素によって検知された前記光線を表す値と、前記画素が属する前記行に先行する行の第1の画素によって検知された光線を表す値との間の差
を表す、請求項1に記載の方法。 - 前記第1のセットのパラメータの前記パラメータを符号化するために独立したコーデックが使用される、請求項1から3のいずれかに記載の方法。
- 前記第2のセットのパラメータが、前記第1のセットのパラメータの最後の送信以後に、前記第1のセットのパラメータが変化していないことを示すパラメータを含む場合、前記第2のセットのパラメータだけが送信される、請求項1から4のいずれかに記載の方法。
- 光学デバイスから取得された場面を表す信号を符号化するための装置であって、前記装置は、前記光学デバイスのセンサーの少なくとも1つ画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータと、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータと、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータと
を符号化するように構成されたプロセッサを含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
装置。 - 光学デバイスから取得された場面を表す点群を再構築するためのコンピュータ実装方法であって、前記方法は:
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・前記復号された第1のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号することと、
‐前記復号された第1のセットのパラメータ、前記復号された第2のセットのパラメータ、前記復号された第3のセットのパラメータおよび前記復号された第4のセットのパラメータに基づいて前記点群を再構築することと
を含む、コンピュータ実装方法。 - 前記点群を再構築することは、
‐前記センサーの少なくとも1つの画素に対して:
・前記光線の、前記場面の少なくとも1つの物体との前記交点に対応する点の3次元空間内の位置と、
・前記点がそれに沿って前記光学デバイスによって見られる視野角と
を計算することと、
‐前記計算された点に、前記センサーの前記画素によって検知された前記色データを表す前記パラメータを関連付けることと
を含む、請求項7に記載の方法。 - 光学デバイスから取得された場面を表す点群を再構築するための装置であって、前記装置は:
‐次を含む信号:
・前記光学デバイスのセンサーの少なくとも1つの画素によって検知された光線を表す第1のセットのパラメータ、
・前記復号された第1のセットのパラメータから前記ライトフィールドコンテンツを再構築するために使用されることを意図した第2のセットのパラメータ、
・前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータ、
・前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータ
を復号することと、
‐前記復号された第1のセットのパラメータ、前記復号された第2のセットのパラメータ、前記復号された第3のセットのパラメータおよび前記復号された第4のセットのパラメータに基づいて前記点群を再構築することと
を行うように構成されたプロセッサを含む、
装置。 - 光学デバイスから取得された場面を表す信号を符号化するために装置によって送信される信号であって、前記信号は、前記光学デバイスのセンサーの少なくとも1つの画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータと、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータと、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータと
を含む、メッセージを伝達し、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
信号。 - 光学デバイスから取得された場面を表すデータを含むデジタルファイルであって、前記データは、前記光学デバイスのセンサーの少なくとも1つの画素に対して:
‐前記画素によって検知された光線を表す第1のセットのパラメータと、
‐前記第1のセットのパラメータから前記光線を再構築するために使用されることを意図した第2のセットのパラメータと、
‐前記第1のセットのパラメータによって表される前記光線の、前記場面の少なくとも1つの物体との交点の前記光学デバイスの光軸に沿った位置を表す第3のセットのパラメータと、
‐前記画素によって検知された前記場面の前記物体の色データを表す第4のセットのパラメータと
を含み、
前記第3のセットのパラメータは、前記第4のセットのパラメータおよび前記再構築された光線と一緒に前記場面を表す点群を再構築するためのものである、
デジタルファイル。 - コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項1から5のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。
- コンピュータプログラムであって、前記プログラムがプロセッサによって実行される場合に請求項7から8のいずれかに記載の前記方法の前記実装のためのプログラムコード命令を含むことを特徴とする、コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP16306193.0 | 2016-09-19 | ||
EP16306193 | 2016-09-19 | ||
EP16306287.0 | 2016-09-30 | ||
EP16306287.0A EP3301926A1 (en) | 2016-09-30 | 2016-09-30 | A method and a device for reconstructing a point cloud representative of a scene using light-field data |
PCT/EP2017/073077 WO2018050725A1 (en) | 2016-09-19 | 2017-09-14 | A method and a device for reconstructing a point cloud representative of a scene using light-field data |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019534606A true JP2019534606A (ja) | 2019-11-28 |
JP2019534606A5 JP2019534606A5 (ja) | 2020-10-15 |
Family
ID=59856540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019514812A Withdrawn JP2019534606A (ja) | 2016-09-19 | 2017-09-14 | ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20190387211A1 (ja) |
EP (1) | EP3516873A1 (ja) |
JP (1) | JP2019534606A (ja) |
KR (1) | KR20190052089A (ja) |
CN (1) | CN109792528A (ja) |
WO (1) | WO2018050725A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10897269B2 (en) | 2017-09-14 | 2021-01-19 | Apple Inc. | Hierarchical point cloud compression |
US10861196B2 (en) | 2017-09-14 | 2020-12-08 | Apple Inc. | Point cloud compression |
US11818401B2 (en) | 2017-09-14 | 2023-11-14 | Apple Inc. | Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables |
US11113845B2 (en) | 2017-09-18 | 2021-09-07 | Apple Inc. | Point cloud compression using non-cubic projections and masks |
US10909725B2 (en) | 2017-09-18 | 2021-02-02 | Apple Inc. | Point cloud compression |
US10607373B2 (en) | 2017-11-22 | 2020-03-31 | Apple Inc. | Point cloud compression with closed-loop color conversion |
US11010928B2 (en) | 2018-04-10 | 2021-05-18 | Apple Inc. | Adaptive distance based point cloud compression |
US10909726B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Point cloud compression |
US10909727B2 (en) | 2018-04-10 | 2021-02-02 | Apple Inc. | Hierarchical point cloud compression with smoothing |
US10939129B2 (en) | 2018-04-10 | 2021-03-02 | Apple Inc. | Point cloud compression |
US10867414B2 (en) | 2018-04-10 | 2020-12-15 | Apple Inc. | Point cloud attribute transfer algorithm |
KR102537946B1 (ko) * | 2018-04-17 | 2023-05-31 | 삼성전자주식회사 | 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치 |
US11017566B1 (en) | 2018-07-02 | 2021-05-25 | Apple Inc. | Point cloud compression with adaptive filtering |
US11202098B2 (en) | 2018-07-05 | 2021-12-14 | Apple Inc. | Point cloud compression with multi-resolution video encoding |
CN110708529B (zh) * | 2018-07-09 | 2020-08-14 | 上海交通大学 | 动态点云投影压缩方法、系统、装置及介质 |
US11012713B2 (en) | 2018-07-12 | 2021-05-18 | Apple Inc. | Bit stream structure for compressed point cloud data |
US11367224B2 (en) | 2018-10-02 | 2022-06-21 | Apple Inc. | Occupancy map block-to-patch information compression |
US11430155B2 (en) | 2018-10-05 | 2022-08-30 | Apple Inc. | Quantized depths for projection point cloud compression |
EP3671628A1 (en) * | 2018-12-18 | 2020-06-24 | InterDigital CE Patent Holdings | A method and a device for obtaining data representative of a scene from a plurality of three-dimensional (3d) points representing said scene |
US11057564B2 (en) | 2019-03-28 | 2021-07-06 | Apple Inc. | Multiple layer flexure for supporting a moving image sensor |
WO2020256244A1 (ko) * | 2019-06-21 | 2020-12-24 | 엘지전자 주식회사 | 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법 |
US11711544B2 (en) | 2019-07-02 | 2023-07-25 | Apple Inc. | Point cloud compression with supplemental information messages |
US11627314B2 (en) | 2019-09-27 | 2023-04-11 | Apple Inc. | Video-based point cloud compression with non-normative smoothing |
US11562507B2 (en) | 2019-09-27 | 2023-01-24 | Apple Inc. | Point cloud compression using video encoding with time consistent patches |
US11538196B2 (en) | 2019-10-02 | 2022-12-27 | Apple Inc. | Predictive coding for point cloud compression |
US11895307B2 (en) | 2019-10-04 | 2024-02-06 | Apple Inc. | Block-based predictive coding for point cloud compression |
US11798196B2 (en) | 2020-01-08 | 2023-10-24 | Apple Inc. | Video-based point cloud compression with predicted patches |
US11475605B2 (en) | 2020-01-09 | 2022-10-18 | Apple Inc. | Geometry encoding of duplicate points |
US11615557B2 (en) | 2020-06-24 | 2023-03-28 | Apple Inc. | Point cloud compression using octrees with slicing |
US11620768B2 (en) | 2020-06-24 | 2023-04-04 | Apple Inc. | Point cloud geometry compression using octrees with multiple scan orders |
KR20220001312A (ko) * | 2020-06-29 | 2022-01-05 | 삼성전자주식회사 | 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치 |
CN116210219A (zh) * | 2020-07-21 | 2023-06-02 | Oppo广东移动通信有限公司 | 光场图像的处理方法、编码器、解码器及存储介质 |
US11948338B1 (en) | 2021-03-29 | 2024-04-02 | Apple Inc. | 3D volumetric content encoding using 2D videos and simplified 3D meshes |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE9700384D0 (sv) * | 1997-02-04 | 1997-02-04 | Biacore Ab | Analytical method and apparatus |
JPH11353496A (ja) * | 1998-06-10 | 1999-12-24 | Ken Nishimura | 光線追跡のための交点探索装置 |
DE60227374D1 (de) * | 2001-07-12 | 2008-08-14 | Do Labs | Verfahren und System zur Bereitstellung formatierter Informationen für Bildverarbeitungsvorrichtungen |
JP2005339313A (ja) * | 2004-05-28 | 2005-12-08 | Toshiba Corp | 画像提示方法及び装置 |
EP2084491A2 (en) * | 2006-11-21 | 2009-08-05 | Mantisvision Ltd. | 3d geometric modeling and 3d video content creation |
AT504582B1 (de) * | 2006-11-23 | 2008-12-15 | Arc Austrian Res Centers Gmbh | Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor |
EP2294555A1 (en) * | 2008-07-10 | 2011-03-16 | C-True Ltd. | Three dimensional mesh modeling |
KR101608970B1 (ko) * | 2009-11-27 | 2016-04-05 | 삼성전자주식회사 | 광 필드 데이터를 이용한 영상 처리 장치 및 방법 |
US8983449B1 (en) * | 2011-09-26 | 2015-03-17 | Klone Mobile, LLC | End user controlled temporary mobile phone service device swapping system and method |
GB201208088D0 (en) * | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
CN103856777A (zh) * | 2012-12-04 | 2014-06-11 | 中山大学深圳研究院 | 一种基于光场渲染的视频编解码方法 |
EP2992357A4 (en) * | 2013-04-29 | 2017-01-18 | Nokia Technologies OY | A method and apparatus for fusing distance data from a distance sensing camera with an image |
EP2976878B1 (en) * | 2014-03-03 | 2018-12-05 | Photoneo S.R.O | Method and apparatus for superpixel modulation |
DE102014005181A1 (de) * | 2014-04-03 | 2015-10-08 | Astrium Gmbh | Positions- und Lagebestimmung von Objekten |
CN104469343B (zh) * | 2014-11-26 | 2017-02-01 | 北京智谷技术服务有限公司 | 光场显示控制方法和装置、光场显示设备 |
US20170353711A1 (en) * | 2016-06-04 | 2017-12-07 | Shape Labs Inc. | System for capturing a textured 3d scan of a human body |
EP3261347A1 (en) * | 2016-06-22 | 2017-12-27 | Thomson Licensing | A method and a device for encoding a signal representative of a light-field content |
CN107662869B (zh) * | 2016-07-29 | 2021-06-29 | 奥的斯电梯公司 | 用于乘客运送装置的大数据分析处理系统和方法 |
-
2017
- 2017-09-14 JP JP2019514812A patent/JP2019534606A/ja not_active Withdrawn
- 2017-09-14 US US16/334,147 patent/US20190387211A1/en not_active Abandoned
- 2017-09-14 EP EP17765191.6A patent/EP3516873A1/en not_active Withdrawn
- 2017-09-14 CN CN201780057373.4A patent/CN109792528A/zh active Pending
- 2017-09-14 WO PCT/EP2017/073077 patent/WO2018050725A1/en unknown
- 2017-09-14 KR KR1020197010888A patent/KR20190052089A/ko not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
KR20190052089A (ko) | 2019-05-15 |
CN109792528A (zh) | 2019-05-21 |
EP3516873A1 (en) | 2019-07-31 |
US20190387211A1 (en) | 2019-12-19 |
WO2018050725A1 (en) | 2018-03-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019534606A (ja) | ライトフィールドデータを使用して場面を表す点群を再構築するための方法および装置 | |
US10587857B2 (en) | Method and apparatus having video decoding function with syntax element parsing for obtaining rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format | |
JP2017530626A (ja) | ビデオコード化のための同時ローカライゼーション及びマッピング | |
US11968349B2 (en) | Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content | |
EP3301926A1 (en) | A method and a device for reconstructing a point cloud representative of a scene using light-field data | |
CN113906761A (zh) | 利用修补补片对3d场景进行编码和渲染的方法和装置 | |
KR102505130B1 (ko) | 명시야 컨텐츠를 표현하는 신호를 인코딩하기 위한 방법 및 디바이스 | |
EP3729805A1 (en) | Method for encoding and decoding volumetric video data | |
TW202126036A (zh) | 具有輔助修補之容積視訊 | |
WO2022193875A1 (zh) | 多视角视频的处理方法、装置、设备及存储介质 | |
US20220345681A1 (en) | Method and apparatus for encoding, transmitting and decoding volumetric video | |
US20230379495A1 (en) | A method and apparatus for encoding mpi-based volumetric video | |
WO2020185529A1 (en) | A method and apparatus for encoding and decoding volumetric video | |
EP2839437A1 (en) | View synthesis using low resolution depth maps | |
TWI817273B (zh) | 即時多視像視訊轉換方法和系統 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200907 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200907 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20201116 |