JP2015207831A - 画像符号化装置及びその制御方法 - Google Patents
画像符号化装置及びその制御方法 Download PDFInfo
- Publication number
- JP2015207831A JP2015207831A JP2014085885A JP2014085885A JP2015207831A JP 2015207831 A JP2015207831 A JP 2015207831A JP 2014085885 A JP2014085885 A JP 2014085885A JP 2014085885 A JP2014085885 A JP 2014085885A JP 2015207831 A JP2015207831 A JP 2015207831A
- Authority
- JP
- Japan
- Prior art keywords
- image
- component
- light field
- data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 95
- 238000003384 imaging method Methods 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 62
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000010365 information processing Effects 0.000 description 29
- 230000008859 change Effects 0.000 description 18
- 230000004044 response Effects 0.000 description 15
- 238000000354 decomposition reaction Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 4
- 239000000203 mixture Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
ライトフィールド撮像手段で撮像したN個(Nは2以上の整数)の視点画像を符号化する画像符号化装置であって、
前記N個の視点画像内の、互いに対応するN個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、所定の焦点位置に合焦した画像を生成する第1の生成手段と、
前記N個の視点画像における対応画素の値を前記1の生成手段で生成された画素の値から導出するための、N−1種類の差分値を生成する第2の生成手段と、
前記第1の生成手段で生成された画像、並びに、前記第2の生成手段で生成したN−1種類の差分値で構成される差分情報を符号化する符号化手段とを有する。
第1の実施形態は、プレノプティックカメラにより取得されたライトフィールドデータを符号化する画像符号化装置、並びに、ユーザリクエストに応じて圧縮ライトフィールドデータの部分データを復号し、画像データを出力する画像復号装置に適用される。以下、本第1の実施形態における画像符号化装置について説明する。
L(低周波成分)=(Xa+Xb)/2 …(1)
H(高周波成分)=(Xa―Xb)/2 …(2)
上記において、Xa,Xbは1次元方向に隣接する2つの画素を示している。実施形態では、上記式(1)、(2)を2×2個の2次元に配列させた対応画素903a乃至903dに拡張することになるので、水平方向、垂直方向にそれぞれについてHaarウェーブレット変換を行う。
R成分 =(a+b+c+d)/4 …(3)
d1成分=((a+c)―(b+d))/4 …(4)
d2成分=((a+b)−(c+d))/4 …(5)
d3成分=((a+d)−(b+c))/4 …(6)
上記において「R成分」は、色成分の「R」ではなく、リフォーカス画像の画素(3つの色成分の平均値で構成される)を意味する。2次元のウェーブレット変換によって、4つの成分が生成されるので、便宜的に「成分」と表現していることに注意されたい。
処理1:ユーザからのリクエストが、合焦位置の変更を行わないリフォーカス処理であった場合:
この場合、R成分の符号データを復号対象の部分符号化データとして選択する。他の成分d1、d2、d3の符号化データは非復号対象となる。
処理2:ユーザからのリクエストが、合焦位置の変更を行うリフォーカス処理であった場合:
R成分、d1成分、d2成分、d3成分の各符号データを復号対象の部分符号データとして選択する。
処理3::ユーザからのリクエストがステレオ立体視である場合:
この場合、水平方向の異なる2視点位置の2枚の画像を生成しなければならない。換言すれば、垂直方向の視差は無視して良い。そのため、R成分、d1成分の符号データを復号対象の部分符号データとして選択する。
処理4:ユーザからのリクエストが、裸眼立体視である場合:
この場合、R成分、d1成分、d2成分、d3成分の符号データを部分符号データとして選択する。また視点が水平方向のみの場合、R成分、d1成分の符号データを部分符号データとして選択する。
処理5:ユーザからのリクエストがデプス推定であり、水平方向の視差を推定する場合:
この場合、R成分、d1成分の符号データを復号対象の部分符号データとして選択する。
処理6:ユーザからのリクエストがデプス推定であり、垂直方向の視差を推定する場合:
この場合、R成分、d2成分の符号データを復号対象の部分符号データとして選択する。また、垂直方向の視差推定は、身長推定など垂直方向の視差量が有効な場合に用いる。
a=L+H …(7)
b=L―H …(8)
上式(7)、(8)は1次元に対するものである。実施形態では、2次元における4画素の視点間ウェーブレット逆変換であるので、その変換式は、上式(7)、(8)の代わりに、次式(9)乃至(13)となる。
a=R成分+d1成分+d2成分+d3成分 …(9)
b=R成分−d1成分+d2成分−d3成分 …(10)
c=R成分+d1成分−d2成分−d3成分 …(11)
d=R成分−d1成分−d2成分+d3成分 …(12)
上記の結果、ライトフィールドデータ(4視点の画像)が復元されることになる。ここで、ユーザのリクエストに対する圧縮ライトフィールドデータに対する、LF復号部206による部分復号処理と出力部208の出力よりについて、図10(c)を用いて説明する。
この場合、R成分が符号データのみが復号対象の部分符号データとして選択される。よって、LF復号部206はR成分の符号化データのみを復号することになる。復号結果は、数式(3)に示すように「視差0のリフォーカス画像」でもあるので、出力部208はLF復号部206の復号結果をそのまま出力することになる。
R成分、d1成分、d2成分、d3成分の全部分符号データが復号対象として選択される。従って、LF復号部206は、R成分、d1成分、d2成分、d3成分を復号する。LF復号部206は、更に、復号したR成分、d1成分、d2成分、d3成分の対応画素に対して、式(9)乃至(12)の視点間ウェーブレット逆変換を行うことで、視点a、b、c、dの4つの画像(ライトフィールドデータ)を生成する。画像処理部207は、その視点a,b,c,dの画像から、ユーザが指定した合焦位置のリフォーカス画像を生成する。出力部208は画像処理部207が生成したリフォーカス画像を出力することになる。なお、リフォーカス画像の生成法は、ステップS804で説明したのと同様である。
このとき、復号対象として選択されるのはR成分、d1成分の部分符号データとなり、d2成分、d3成分の部分符号化データは復号対象とはならない。よって、d2、d3の成分の値が0であるものとみなして、視点間ウェーブレット逆変換を行えば良い。視点a、b、c、dの画像が生成される。このとき、視点a、cの画像は互いに同一となり、視点b、dの画像は互いに同一となる。つまり、現実には、LF復号部206は、式(9)、(10)による視点a,bの画像のみを生成すれば良く、式(11)、(12)は演算しなくてよい。なお、視点c、dの画像を生成して出力しても構わない。
R成分、d1成分、d2成分、d3成分の全部分符号データが復号対象として選択される。従って、LF復号部206は、これら全部分符号化データを復号する。また、LF復号部206は、更に、式(9)乃至(12)の演算を行い、視点a,b,c,dの画像を得る。
R成分、d1成分の符号データが復号対象の部分符号データとして選択される。つまり、復号処理は、処理3と同じで良い。一方、画像処理部207は、復号して得られた水平軸の視差がある2つの画像のステレオマッチング処理によりデプスマップを生成し、出力部208は、それを出力する。もちろん、視点c、dからデプスマップを生成しても同じことである。
R成分、d2成分の部分符号データが復号対象として選択される。よって、LF復号部206は、R成分、d2成分の復号処理を行う。このときd1成分、d3成分の値を0にセットする。R成分、d1成分、d2成分、d3成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点a、b、c、dの画像が取得される。このときの視点a、bの画像は同一となり、視点c、dの画像は同一となる。図7(a)を用いて説明すると、視点a、bの画像は、仮想レンズ601の領域aと領域bを合わせた領域を通過した光線により生成した画像となる。また視点c、dの画像は、仮想レンズ601の領域cと領域dを合わせた領域を通過した光線により生成した画像となる。即ち生成した画像a、cは、撮像時の画像a、cとは異なり、光量が多くノイズの少ない垂直方向の視差推定に適した画像となる。
i).リクエストが合焦位置の変更を行うリフォーカス画像の場合
この場合、復号する部分符号化データは、全部分符号化データが選択され、LF復号部318で復号される。
ii).リクエストがデプス推定であり、水平方向の視差を推定する場合
この場合、復号する部分符号化データは、R成分、d1成分の部分符号化データが選択され、LF復号部318で復号される。
iii).リクエストがデプス推定であり、垂直方向の視差を推定する場合
この場合、復号する部分符号化データは、R成分、d2成分の部分符号化データが選択され、LF復号部318で復号される。
iv).リクエストが合焦位置の変更を行わないリフォーカス処理である場合
この場合、R成分の符号データが出力部321に出力される。
v).リクエストがステレオ立体視である場合
R成分、d1成分の符号データが部分符号データとして選択され、出力部321に出力する。
vi).リクエストが裸眼立体視である場合
R成分、d1成分、d2成分、d3成分の符号データが部分符号データとして選択され、出力部321に出力される。なお、視点が水平方向のみの場合には、R成分、d1成分の符号データが部分符号データが選択され、出力部321に出力される。
i).リクエストが合焦位置の変更を行うリフォーカス処理である場合:
画像処理部319は、復号して得られた視点a、b、c、dの4つの画像(ライトフィールドデータ)から、ユーザが指定した合焦位置のリフォーカス画像を生成する。すなわち、視差Nのリフォーカス画像を生成する。
ii).リクエストがデプス推定であり、水平方向の視差を推定する場合:
LF画像復号部318は水平軸に沿って視差がある2つの画像を生成することになるので、画像処理部319はステレオマッチング処理によりデプスマップを生成し、そのデプスマップデータを画像データとして出力する。
iii).リクエストがデプス推定であり、垂直方向の視差を推定する場合:
LF画像復号部318は垂直軸に沿って視差がある2つの画像を生成することになるので、画像処理部319はステレオマッチング処理によりデプスマップを生成し、そのデプスマップデータを画像データとして出力する。
i).合焦位置の変更を行うリフォーカス処理のリクエストに対する応答の場合:
この場合、画像復号部306は復号して得られた画像を「視差Nのリフォーカス画像」として出力部309に出力する(ステップS1211)。ここで復号処理は、従来のJPEG、JPEG2000、PNGなどの復号処理と同じである。
ii).デプス推定であり、水平郷校の視差を推定するリクエストに対する応答の場合:
この場合、画像復号部306は復号して得られた画像が、「デプスマップ」であるものとして出力部309に出力する。
iii).デプス推定であり、垂直方向の視差を推定するリクエストに対する応答の場合:
この場合、画像復号部306は復号して得られた画像が、「デプスマップ」であるものとして出力部309に出力する。
iv).合焦位置の変更を行わないリフォーカス画像のリクエストに対する応答の場合:
この場合、受信した符号データはR成分の部分符号データとなる。LF復号部307は「視差0のリフォーカス画像」を復号することになる。
v).ステレオ立体視のリクエストに対する応答の場合:
受信した符号化データはR成分、d1成分の部分符号データである。それゆえ、d2、d3は0であるものとみなしし、視点a、b、c、dの画像を生成する。
vi).裸眼立体視のリクエストに対する応答の場合:
この場合、受信した符号化データは、R成分、d1成分、d2成分、d3成分の符号データである。よって、LF復号部307はこれら全てを復号し、視点a、b、c、dの画像データを生成する。
・合焦位置の変更を行わないリフォーカス処理の要求に対する応答の場合:
生成された「視差0のリフォーカス画像」を出力部309に出力する。
・ステレオ立体視のリクエストに対する応答の場合:
生成された視点a、b、c、dの画像から視点a、bの画像を選択してステレオ画像として出力部309に出力する。もちろん視点c、dを選択しても構わない。
・裸眼立体視のリクエストに対する応答の場合:
生成された視点a、b、c、dの画像データから裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。自由視点画像合成に係る処理は既に説明したのと同じで良いので、ここでの説明は省略する。
第1の実施形態では、プレノプティックカメラにより取得されたライトフィールドRAWデータを、デモザイク処理してライトフィールドデータを生成し、それを符号化する画像符号化装置を説明した。また、ユーザリクエストに応じて圧縮ライトフィールドデータの部分データを復号し、画像データを出力する画像復号装置について説明した。
i).リクエストがリフォーカス処理であり、かつ、合焦位置の変更を行わない場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分(リフォーカス成分)の符号データを部分符号データとして選択する。
ii).リクエストがリフォーカス処理であり、かつ、合焦位置の変更を行う場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分、d2成分、d3成分の符号データを部分符号データとして選択する。
iii).リクエストがステレオ立体視である場合
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分の符号データを部分符号データとして選択する。
iv).リクエストが裸眼立体視である場合
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分、d2成分、d3成分の符号データを部分符号データとして選択する。また視点が水平方向のみの場合、R成分、d1成分の符号データを部分符号データとして選択する。
i).リクエストが、合焦位置の変更を行わないリフォーカス処理であった場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分の符号データが部分符号データとして選択される。色成分毎のR成分を復号することで、「視差0のリフォーカス画像」のRAWデータが生成される。出力部1507に「視差0のリフォーカス画像」のRAWデータを出力する。
ii).リクエストが、合焦位置の変更を行うリフォーカス処理であった場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分、d2成分、d3成分の符号データが部分符号データとして選択される。色成分毎のR成分、d1成分、d2成分、d3成分を復号し、視点間ウェーブレット逆変換を行うことで、視点a、b、c、dのRAWデータが生成される。そして、出力部1507に視点a、b、c、dのRAWデータを出力する。
iii).リクエストがステレオ立体視である場合
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分の符号データが部分符号データとして選択される。色成分毎のR成分、d1成分を復号する。また、d2成分、d3成分の値を0にセットする。色成分毎のR成分、d1成分、d2成分、d3成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点a、b、c、dのRAWデータが生成される。このとき、視点a、cの画像は同一となる。また、視点b、dの画像も同一となる。図7(a)を用いて説明すると、視点a、cの画像は、仮想レンズ601の領域aと領域cを合わせた領域を通過した光線により生成した画像となる。また視点b、dの画像は、仮想レンズ601の領域bと領域dを合わせた領域を通過した光線により生成した画像となる。即ち生成した画像a、bは、撮像時の画像a、bとは異なり、光量が多くノイズの少ないステレオ立体視に適した画像となる。出力部1507に視点a、bのRAWデータを出力する。もちろん視点c、dのRAWデータでも構わない。
iv).リクエストが裸眼立体視である場合
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d1成分、d2成分、d3成分の符号データが部分符号データとして選択される。色成分毎のR成分、d1成分、d2成分、d3成分を復号し、視点間ウェーブレット逆変換を行うことで、視点a、b、c、dのRAWデータが生成される。出力部1507に視点a、b、c、dのRAWデータを出力する。また視点が水平方向のみの場合、R成分、d1成分の符号データが部分符号データとして選択される。この場合の復号処理は、上記のiiiの処理と同様のため、ここでの説明は割愛する。そして、出力部1507に視点a、bのRAWデータを出力する。もちろん、視点c、dのRAWデータでも構わない。
第1の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直2分割×水平2分割の場合のライトフィールドデータの画像符号化装置、画像復号装置について説明した。第3の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直1分割×水平2分割のときのライトフィールドデータの画像符号化装置、画像復号装置について説明する。
R成分 =(a+b)/2 (数式13)
d成分 =(a―b)/2 (数式14)
ここで、R成分はリフォーカス成分であり、色のRではない点に注意されたい。
i).リクエストが、合焦位置の変更を行わないリフォーカスの場合:
R成分の符号データを部分符号データとして選択する。つまり、d成分の符号化データは選択しない。
ii).リクエストが、合焦位置の変更を行うリフォーカスの場合、又は、
iii),リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合、又は、
v).リクエストがデプス推定である場合、
R成分、d成分の符号データを部分符号データとして選択する。
a=R成分+d成分 …(15)
b=R成分−d成分 …(16)
i).リクエストが、合焦位置の変更を行わないリフォーカス処理の場合:
R成分の符号データが部分符号データとして選択される。R成分を復号することで、数式(13)に示すように「視差0のリフォーカス画像」が生成される。
ii).リクエストが、合焦位置の変更を行うリフォーカスの場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合、又は
v).リクエストがデプス推定である場足:
R成分、d成分の符号データが部分符号データとして選択される。R成分、d成分を復号し、R成分、d成分の対応画素に対して、視点間ウェーブレット逆変換を行うことで、視点a、bの画像が生成される。
i).リクエストが、合焦位置の変更を行わないリフォーカスの場合:
生成された「視差0のリフォーカス画像」を出力する。
ii).リクエストがステレオ立体視である場合:
生成された視点a、bの画像をステレオ画像として出力する。
i).リクエストが、合焦位置の変更を行うリフォーカスの場合:
生成された視点a、bの画像から「視差Nのリフォーカス画像」(Nは整数)を生成し、「視差Nのリフォーカス画像」を出力する。
ii).リクエストが裸眼立体視である場合:
生成された視点a、bの画像から裸眼立体ディスプレイの視点数に応じた視点を自由視点画像合成する。例えば水平方向に8視点の裸眼立体ディスプレイの場合、視点a、bの画像を選択し、視点a、bの間の6視点を自由視点画像合成で生成し、水平方向に8視点の画像データを出力する。ここでは、自由視点画像合成の方法については説明を割愛する。
iii).リクエストがデプス推定である場合
生成された視点a、bの画像をステレオ画像としてステレオマッチングによりデプスマップを生成し。それを画像データとして出力する。ここでは、ステレオマッチングの方法については説明を割愛する。
第2の実施形態では、プレノプティックカメラの光線情報の分割数が、垂直2分割×水平2分割のときのライトフィールドRAWデータの画像符号化装置、画像復号装置について説明した。
i).リクエストが、合焦位置の変更を行わないときリフォーカス処理である場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分の符号データを部分符号データとして選択する。
ii).リクエストが合焦位置の変更を行うリフォーカス処理の場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d成分の符号データを部分符号データとして選択する。
i).リクエストが、合焦位置の変更を行わないリフォーカス処理の場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分の符号データが部分符号データとして選択される。色成分毎のR成分を復号することで、「視差0のリフォーカス画像」のRAWデータが生成される。出力部1507に「視差0のリフォーカス画像」のRAWデータを出力する。
ii).リクエストが、合焦位置の変更を行うリフォーカス処理の場合、又は、
iii).リクエストがステレオ立体視である場合、又は、
iv).リクエストが裸眼立体視である場合:
色成分毎(R0成分、G0成分、G1成分、B0成分)のR成分、d成分の符号データが部分符号データとして選択される。色成分毎のR成分、d成分を復号し、視点間ウェーブレット逆変換を行うことで、視点a、bのRAWデータが生成される。出力部1507に視点a、bのRAWデータを出力する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- ライトフィールド撮像手段で撮像したN個(Nは2以上の整数)の視点画像を符号化する画像符号化装置であって、
前記N個の視点画像内の、互いに対応するN個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、所定の焦点位置に合焦した画像を生成する第1の生成手段と、
前記N個の視点画像における対応画素の値を前記1の生成手段で生成された画素の値から導出するための、N−1種類の差分値を生成する第2の生成手段と、
前記第1の生成手段で生成された画像、並びに、前記第2の生成手段で生成したN−1種類の差分値で構成される差分情報を符号化する符号化手段と
を有することを特徴とする画像符号化装置。 - 前記第1、第2の生成手段は、Haarウェーブレット変換を用いて生成することを特徴とする請求項1に記載の画像符号化装置。
- 前記第1の生成手段は、ユーザから指定された合焦位置に基づき、前記N個の視点画像内における前記対応画素となる画素の位置を決定する手段を含むことを特徴とする請求項1又は2に記載の画像符号化装置。
- 前記符号化手段は、前記第1の生成手段で生成された画像から生成した符号化データ、前記第2の生成手段で生成したN−1種類の差分情報から生成したN−1個の符号化データそれぞれの格納位置を示す表す情報を、ファイルヘッダに格納したファイルを生成することを特徴とする請求項1乃至3のいずれか1項に記載の画像符号化装置。
- 前記ライトフィールド撮像手段で撮像した、デモザイク処理する前の、ライトフィールドRAWデータを入力する入力手段と、
該入力手段で入力したライトフィールドRAWデータから、各視点の画像を生成するデモザイク手段と
を更に有することを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。 - 前記ライトフィールド撮像手段で撮像した、デモザイク処理を行う前の、ライトフィールドRAWデータを入力する入力手段と、
前記ライトフィールド撮像手段が有するカラーフィルタごとのセンサがベイヤ配列である場合には、各カラーフィルタごとに、それぞれのセンサが検出した値を画素の値とする画像を生成する画像生成手段を更に有し、
前記第1の生成手段、前記第2の生成手段は、前記画像生成手段で生成した各カラーフィルタそれぞれの画像を処理の対象とすることを特徴とする請求項1乃至4のいずれか1項に記載の画像符号化装置。 - 前記符号化手段は、前記第1の生成手段が生成した画像、並びに、前記第2の生成手段が生成したN−1個の差分情報それぞれを、空間周波数変換してエントロピー符号化することを特徴とする請求項1乃至6のいずれか1項に記載の画像符号化装置。
- コンピュータが読み込み実行することで、前記コンピュータに、請求項1乃至7のいずれか1項に記載の画像符号化装置の各手段として機能させるためのプログラム。
- 請求項8に記載のプログラムを格納したコンピュータが読み取り可能な記憶媒体。
- ライトフィールド撮像手段で撮像したN個(Nは2以上の整数)の視点画像を符号化する画像符号化装置の制御方法であって、
第1の生成手段が、前記N個の視点画像内の、互いに対応するN個の対応画素の値の平均値を算出し、当該平均値を画素の値として有する、所定の焦点位置に合焦した画像を生成する第1の生成工程と、
第2の生成手段が、前記N個の視点画像における対応画素の値を前記第1の生成工程で生成された画素の値から導出するための、N−1種類の差分値を生成する第2の生成工程と、
符号化手段が、前記1の生成工程で生成された画像、並びに、前記第2の生成工程で生成したN−1種類の差分値で構成される差分情報を符号化する符号化工程と
を有することを特徴とする画像符号化装置の制御方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014085885A JP6463900B2 (ja) | 2014-04-17 | 2014-04-17 | 画像符号化装置及びその制御方法 |
PCT/JP2015/060689 WO2015159745A1 (en) | 2014-04-17 | 2015-03-31 | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
EP15780416.2A EP3132609B1 (en) | 2014-04-17 | 2015-03-31 | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
US15/126,326 US10122988B2 (en) | 2014-04-17 | 2015-03-31 | Image encoding apparatus, image decoding apparatus, methods of controlling the same, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014085885A JP6463900B2 (ja) | 2014-04-17 | 2014-04-17 | 画像符号化装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015207831A true JP2015207831A (ja) | 2015-11-19 |
JP2015207831A5 JP2015207831A5 (ja) | 2017-06-01 |
JP6463900B2 JP6463900B2 (ja) | 2019-02-06 |
Family
ID=54323956
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014085885A Active JP6463900B2 (ja) | 2014-04-17 | 2014-04-17 | 画像符号化装置及びその制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10122988B2 (ja) |
EP (1) | EP3132609B1 (ja) |
JP (1) | JP6463900B2 (ja) |
WO (1) | WO2015159745A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087860A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019087997A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019087859A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6626257B2 (ja) * | 2015-03-03 | 2019-12-25 | キヤノン株式会社 | 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体 |
CA3214444A1 (en) | 2016-04-12 | 2017-10-19 | Quidient, Llc | Quotidian scene reconstruction engine |
WO2018088212A1 (ja) * | 2016-11-08 | 2018-05-17 | ソニー株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
WO2019213450A1 (en) | 2018-05-02 | 2019-11-07 | Quidient, Llc | A codec for processing scenes of almost unlimited detail |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080193026A1 (en) * | 2007-02-09 | 2008-08-14 | Kenichi Horie | Decoding method, decoding apparatus, storage medium in which decoding program is stored, and electronic camera |
JP2012231377A (ja) * | 2011-04-27 | 2012-11-22 | Olympus Corp | 撮像装置及び画像生成方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6757429B2 (en) * | 2001-02-21 | 2004-06-29 | Boly Media Communications Inc. | Method of compressing digital images |
JP4451181B2 (ja) | 2004-03-26 | 2010-04-14 | オリンパス株式会社 | 画像圧縮方法及び画像圧縮装置 |
KR100732961B1 (ko) | 2005-04-01 | 2007-06-27 | 경희대학교 산학협력단 | 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치 |
RU2434361C2 (ru) * | 2006-10-30 | 2011-11-20 | Ниппон Телеграф Энд Телефон Корпорейшн | Способ генерации предсказанной опорной информации, способы кодирования и декодирования видео, устройства для этого, программы для этого и носитель данных, хранящий эти программы |
JP5984493B2 (ja) * | 2011-06-24 | 2016-09-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
JP2013050531A (ja) * | 2011-08-30 | 2013-03-14 | Olympus Corp | 撮像装置及びフォーカス制御方法 |
JP6064040B2 (ja) * | 2012-05-09 | 2017-01-18 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
ES2907510T3 (es) | 2012-05-14 | 2022-04-25 | V Nova Int Ltd | Descomposición de datos residuales durante la codificación, decodificación y reconstrucción de señales en una jerarquía escalonada |
-
2014
- 2014-04-17 JP JP2014085885A patent/JP6463900B2/ja active Active
-
2015
- 2015-03-31 EP EP15780416.2A patent/EP3132609B1/en active Active
- 2015-03-31 WO PCT/JP2015/060689 patent/WO2015159745A1/en active Application Filing
- 2015-03-31 US US15/126,326 patent/US10122988B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080193026A1 (en) * | 2007-02-09 | 2008-08-14 | Kenichi Horie | Decoding method, decoding apparatus, storage medium in which decoding program is stored, and electronic camera |
JP2012231377A (ja) * | 2011-04-27 | 2012-11-22 | Olympus Corp | 撮像装置及び画像生成方法 |
Non-Patent Citations (1)
Title |
---|
BERND GIROD,CHUO-LING CHANG,PRASHANT RAMANATHAN,XIAOQING ZHU: "LIGHTFIELD COMPRESSION USING DISPARITY-COMPENSATED LIFTING", MULTIMEDIA ANDEXPO,2003.ICME '03.PROCEEDINGS.2003 INTERNATIONAL CONFERENCE ON, vol. Volume1, JPN6018013529, 9 July 2003 (2003-07-09), US, pages 373 - 376 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019087860A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019087997A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP2019087859A (ja) * | 2017-11-06 | 2019-06-06 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7041494B2 (ja) | 2017-11-06 | 2022-03-24 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7079080B2 (ja) | 2017-11-06 | 2022-06-01 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
JP7181759B2 (ja) | 2017-11-06 | 2022-12-01 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20170085858A1 (en) | 2017-03-23 |
WO2015159745A1 (en) | 2015-10-22 |
US10122988B2 (en) | 2018-11-06 |
EP3132609A4 (en) | 2018-05-16 |
EP3132609A1 (en) | 2017-02-22 |
EP3132609B1 (en) | 2024-05-08 |
JP6463900B2 (ja) | 2019-02-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6463900B2 (ja) | 画像符号化装置及びその制御方法 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
US9076267B2 (en) | Image coding device, integrated circuit thereof, and image coding method | |
JP5749595B2 (ja) | 画像伝送方法、画像伝送装置、画像受信装置及び画像受信プログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
US9269163B2 (en) | Method and apparatus for compressing or decompressing light field images | |
WO2014083949A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
CN105190688A (zh) | 用于查看图像的方法和装置 | |
RU2690757C1 (ru) | Система синтеза промежуточных видов светового поля и способ ее функционирования | |
JP7105062B2 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
US20170148151A1 (en) | Apparatus and method for measuring quality of holographic image | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
JP2015171097A (ja) | 画像処理装置及びその制御方法 | |
JP2013128260A (ja) | 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法 | |
JP4815004B2 (ja) | 多視点画像符号化装置 | |
JP5895587B2 (ja) | 画像記録装置、画像記録方法、画像再生装置および画像再生方法 | |
JP7389565B2 (ja) | 符号化装置、復号装置、及びプログラム | |
JP6626257B2 (ja) | 画像表示装置、撮像装置、画像表示方法、プログラム、記憶媒体 | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
JP5744642B2 (ja) | 画像処理装置および画像処理方法、プログラム。 | |
JP2012018621A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2019087997A (ja) | 画像処理装置および画像処理方法 | |
JP7417388B2 (ja) | 符号化装置、復号装置、及びプログラム | |
CN113259636B (zh) | 用于对图像去马赛克的方法、装置以及电子设备、介质 | |
JP2021044659A (ja) | 符号化装置、復号装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170411 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190107 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6463900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |