JP2008022421A - 多視点画像圧縮符号化方法、装置及びプログラム - Google Patents
多視点画像圧縮符号化方法、装置及びプログラム Download PDFInfo
- Publication number
- JP2008022421A JP2008022421A JP2006193840A JP2006193840A JP2008022421A JP 2008022421 A JP2008022421 A JP 2008022421A JP 2006193840 A JP2006193840 A JP 2006193840A JP 2006193840 A JP2006193840 A JP 2006193840A JP 2008022421 A JP2008022421 A JP 2008022421A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- block
- depth distance
- arbitrary point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【解決手段】カメラの光軸が、2つのカメラを通る同一平面に対して垂直となるように同一の回転変換を加える。任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトルnとを任意に決定し、t及びZに基づく視差ベクトルで移動させ、t、Z及びnに基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせる。Z及びnを任意に変更しながら、第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索する。第1のブロックと第2のブロックとの予測誤差を導出し且つ符号化し、奥行き距離Z及び単位法線ベクトルnも符号化する。
【選択図】図8
Description
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換する第1のステップと、
被写体上の任意点を決定する第2のステップと、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する第3のステップと、
第1の画像について任意点を含む第1のブロックを選択する第4のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出する第5のステップと、
第1のブロックを、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせる第6のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第5及び第6のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第7のステップと、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第8のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第9のステップと
を有することを特徴とする。
第8のステップは、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像は符号化対象ピクチャであり、第2の画像は参照ピクチャである
ことも好ましい。
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換する第1のステップと、
被写体上の任意点を決定する第2のステップと、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する第3のステップと、
第2の画像について任意点を含む第2のブロックを選択する第4のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出する第5のステップと、
第1の画像を、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせる第6のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第5及び第6のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第7のステップと、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第8のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第9のステップと
を有することを特徴とする。
第8のステップは、MPEGの予測誤差符号化方式を用いており、
第1の画像は参照ピクチャであり、第2の画像は符号化対象ピクチャである
ことも好ましい。
第1の画像の第1のブロック以外の部分について被写体上の任意点を更に決定し、第2から第7のステップを繰り返し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことも好ましい。
第1のステップについて、回転変換を表す行列は、以下のものであり、
回転変換の結果、新たな奥行き距離ZR及び新たな単位法線ベクトル(nRx,nRy,nRz)と、任意の視点の新たな相対的位置(tRx,tRy,0)及び新たな画像座標(xR’,yR’)が得られたとし、
第6のステップについて、視差ベクトルは、以下のものであり、
第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、第1のステップの前段にあって、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するステップを有することも好ましい。
3つ以上のカメラが配置された場合であっても、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)は一定であって、
第7のステップにおいて、1つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する
ことも好ましい。
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、該任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1のブロックを、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像は符号化対象ピクチャであり、第2の画像は参照ピクチャである
ことも好ましい。
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1の画像を、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする。
予測誤差符号化手段は、MPEGの予測誤差符号化方式を用いており、
第1の画像は参照ピクチャであり、第2の画像は符号化対象ピクチャである
ことも好ましい。
任意点選択手段は、第1の画像の第1のブロック以外の部分について被写体上の任意点を更に決定し、
任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことも好ましい。
カメラ座標系座標変換手段について、回転変換を表す行列は、以下のものであり、
回転変換の結果、新たな奥行き距離ZR及び新たな単位法線ベクトル(nRx,nRy,nRz)と、任意の視点の新たな相対的位置(tRx,tRy,0)及び新たな画像座標(xR’,yR’)が得られたとし、
ブロックマッチング手段は、視差ベクトルを以下のものとし、
第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換することも好ましい。
3つ以上のカメラが配置された場合であっても、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)は一定であって、
第7のステップにおいて、1つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する
ことも好ましい。
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1のブロックを、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
任意点を、回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、任意点を、回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、回転変換を加えた同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1の画像を、回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする。
θ=π/2:座標軸の角度
u0、v0:画像中心
M=M’+t 式(2)
M:カメラCにおける被写体の任意点Pのカメラ座標系座標
M’:カメラC’における被写体の任意点Pのカメラ座標系座標
nTM’=d 式(5)
n(|n|=1):カメラC’のカメラ座標系における平面の法線ベクトル
x:任意点PのカメラCにおける正規化画像座標
x’:任意点PのカメラC’における正規化画像座標
MR=MR’+tR 式(20)
MR:回転変換後のカメラCにおける被写体の任意点Pのカメラ座標系座標
MR’:回転変換後のカメラC’における被写体の任意点Pのカメラ座標系座標
nR TMR’=d 式(23)
∴nR TMR’/d=1 式(24)
sR’=ZR’=ZR 式(41)
が導かれる。
d=ZR(nRxxR’+nRyyR’+nRz) 式(31)
X=(1−dx)(1−dy)A+dx(1−dy)B+(1−dy)dyC+dxdyD
(S905)任意点を、回転変換を加えた符号化対象ピクチャに射影した第1の画像座標(x,y)と、該任意点を、回転変換を加えた参照ピクチャに射影した第2の画像座標(x',y')とを導出する。ここで、任意点の画像座標は、正規化画像座標である。
(S906)符号化対象ピクチャについて任意点を含む第1のブロックを選択する。
(S908)任意点の奥行き距離Zを任意に決定する。
(S909)被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)を任意に決定する。
(S913)奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を、符号化データに付加する。
2 多視点画像圧縮符号化装置
201 位置情報取得部
202 画像取得部
203 カメラ座標系座標変換部
204 任意点選択部
205 正規化画像座標導出部
206 ブロック選択部
207 ブロックマッチング部
208 パラメータ決定部
209 マッチング制御部
210 ブロック制御部
211 予測誤差符号化部
212 パラメータ付加部
3 被写体
Claims (18)
- 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化方法であって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換する第1のステップと、
被写体上の任意点を決定する第2のステップと、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、前記任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する第3のステップと、
第1の画像について任意点を含む第1のブロックを選択する第4のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZR’と単位法線ベクトル(nRx,nRy,nRz)を導出する第5のステップと、
第1のブロックを、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせる第6のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第5及び第6のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第7のステップと、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第8のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第9のステップと
を有することを特徴とする多視点画像圧縮符号化方法。 - 第8のステップは、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像は符号化対象ピクチャであり、第2の画像は参照ピクチャである
ことを特徴とする請求項1に記載の多視点画像圧縮符号化方法。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化方法であって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換する第1のステップと、
被写体上の任意点を決定する第2のステップと、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、前記任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する第3のステップと、
第2の画像について任意点を含む第2のブロックを選択する第4のステップと、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出する第5のステップと、
第1の画像を、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせる第6のステップと、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、第5及び第6のステップを繰り返し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する第7のステップと、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する第8のステップと、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加する第9のステップと
を有することを特徴とする多視点画像圧縮符号化方法。 - 第8のステップは、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像は参照ピクチャであり、第2の画像は符号化対象ピクチャである
ことを特徴とする請求項3に記載の多視点画像圧縮符号化方法。 - 第1の画像の第1のブロック以外の部分について被写体上の任意点を更に決定し、第2から第7のステップを繰り返し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項1から4のいずれか1項に記載の多視点画像圧縮符号化方法。 - 第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、第1のステップの前段にあって、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するステップを有する
ことを特徴とする請求項1から6のいずれか1項に記載の多視点画像圧縮符号化方法。 - 3つ以上のカメラが配置された場合であっても、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)は一定であって、
第7のステップにおいて、1つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する
ことを特徴とする請求項1から7のいずれか1項に記載の多視点画像圧縮符号化方法。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化装置であって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、該任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1のブロックを、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。 - 前記予測誤差符号化手段は、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像は符号化対象ピクチャであり、第2の画像は参照ピクチャである
ことを特徴とする請求項9に記載の多視点画像圧縮符号化装置。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いた多視点画像圧縮符号化装置であって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、前記任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1の画像を、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
を有することを特徴とする多視点画像圧縮符号化装置。 - 予測誤差符号化手段は、MPEG(Moving Picture Experts Group)の予測誤差符号化方式を用いており、
第1の画像は参照ピクチャであり、第2の画像は符号化対象ピクチャである
ことを特徴とする請求項11に記載の多視点画像圧縮符号化装置。 - 前記任意点選択手段は、第1の画像の第1のブロック以外の部分について被写体上の任意点を更に決定し、
前記任意点について、画像座標算出手段と、パラメータ決定手段と、ブロックマッチング手段と、マッチング制御手段と、視差補償手段と、多視点画像圧縮符号化手段とを繰り返すブロック制御手段を更に有し、
最終的に、第1の画像及び第2の画像の全ての部分を圧縮符号化する
ことを特徴とする請求項9から12のいずれか1項に記載の多視点画像圧縮符号化装置。 - 第1のカメラ及び/又は第2のカメラの光軸がZ軸に平行でない場合に、
第1のカメラと第2のカメラの光軸がZ軸に平行となるように、カメラ内部パラメータを用いて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換する
ことを特徴とする請求項9から14のいずれか1項に記載の多視点画像圧縮符号化装置。 - 3つ以上のカメラが配置された場合であっても、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)は一定であって、
第7のステップにおいて、1つのベースカメラのブロックに対する他のカメラのブロックとの予測誤差を算出し、該予測誤差の総和が最小となる奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出する
ことを特徴とする請求項9から15のいずれか1項に記載の多視点画像圧縮符号化装置。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、前記任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第1の画像について任意点を含む第1のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1のブロックを、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。 - 光軸をZ軸に平行とする第1のカメラ及び第2のカメラが、第1の相対的位置(tx,ty,tz)(ただし、tz≠0)で配置されており、被写体を撮影した第1のカメラの第1の画像と第2のカメラの第2の画像とを用いて、多視点画像を圧縮符号化するようにコンピュータを機能させる多視点画像圧縮符号化プログラムであって、
第1のカメラ及び第2のカメラの光軸が第1のカメラと第2のカメラを通る同一平面に対して垂直となるように、カメラ内部パラメータを用いて、第1のカメラ及び第2のカメラに同一の回転変換を加えて、第1のカメラのカメラ座標系座標及び第2のカメラのカメラ座標系座標を変換するカメラ座標系座標変換手段と、
被写体上の任意点を決定する任意点選択手段と、
前記任意点を、前記回転変換を加えた第1のカメラの第1の画像に射影した第1の画像座標(xR,yR)と、前記任意点を、前記回転変換を加えた第2のカメラの第2の画像に射影した第2の画像座標(xR’,yR’)とを導出する画像座標算出手段と、
第2の画像について任意点を含む第2のブロックを選択するブロック選択手段と、
任意点の奥行き距離Zと、被写体の表面の任意点における単位法線ベクトル(nx,ny,nz)とを任意に決定し、前記回転変換を加えた前記同一平面に対する奥行き距離ZRと単位法線ベクトル(nRx,nRy,nRz)を導出するパラメータ決定手段と、
第1の画像を、前記回転変換を加えた第2の相対的位置(tRx,tRy,0)及び奥行き距離ZRに基づく視差ベクトルで移動させ、第1の画像座標(xR,yR)を原点として、第2の相対的位置(tRx,tRy,0)、奥行き距離ZR、単位法線ベクトル(nRx,nRy,nRz)及び第2の画像座標(xR’,yR’)に基づく一次変換行列で変形させて、第2の画像の第2のブロックにマッチングさせるブロックマッチング手段と、
奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を任意に変更しながら、パラメータ決定手段及びブロックマッチング手段を繰り返し制御し、移動させ且つ変形させた第1の画像の第1のブロックに最も類似する第2の画像の第2のブロックを探索し、奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を導出するマッチング制御手段と、
移動させ且つ変形させた第1の画像の第1のブロックと最も類似する第2の画像の第2のブロックとの予測誤差を導出し且つ符号化する予測誤差符号化手段と、
導出された奥行き距離Z及び単位法線ベクトル(nx,ny,nz)を符号化データに付加するパラメータ付加手段と
してコンピュータを機能させることを特徴とする多視点画像圧縮符号化プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006193840A JP4605716B2 (ja) | 2006-07-14 | 2006-07-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006193840A JP4605716B2 (ja) | 2006-07-14 | 2006-07-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008022421A true JP2008022421A (ja) | 2008-01-31 |
JP4605716B2 JP4605716B2 (ja) | 2011-01-05 |
Family
ID=39078034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006193840A Expired - Fee Related JP4605716B2 (ja) | 2006-07-14 | 2006-07-14 | 多視点画像圧縮符号化方法、装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4605716B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172634A1 (ja) * | 2011-06-13 | 2012-12-20 | 株式会社東芝 | 画像符号化装置、画像復号化装置、方法およびプログラム |
KR101373604B1 (ko) | 2013-02-15 | 2014-03-12 | 전자부품연구원 | 다중 교정 기법을 이용한 카메라 교정 방법 및 이를 적용한 영상 시스템 |
JPWO2012172634A1 (ja) * | 2011-06-13 | 2015-02-23 | 株式会社東芝 | 画像符号化装置、画像復号化装置、方法およびプログラム |
WO2017082078A1 (ja) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104885450B (zh) * | 2012-12-27 | 2017-09-08 | 日本电信电话株式会社 | 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序 |
KR101767005B1 (ko) | 2016-05-26 | 2017-08-09 | 성균관대학교산학협력단 | 표면정합을 이용한 영상정합방법 및 영상정합장치 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02100591A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像符号化方法 |
JPH07218251A (ja) * | 1994-02-04 | 1995-08-18 | Matsushita Electric Ind Co Ltd | ステレオ画像計測方法およびステレオ画像計測装置 |
WO2005053321A1 (en) * | 2003-11-26 | 2005-06-09 | Mitsubishi Denki Kabushiki Kaisha | System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras |
-
2006
- 2006-07-14 JP JP2006193840A patent/JP4605716B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02100591A (ja) * | 1988-10-07 | 1990-04-12 | Nippon Telegr & Teleph Corp <Ntt> | ステレオ画像符号化方法 |
JPH07218251A (ja) * | 1994-02-04 | 1995-08-18 | Matsushita Electric Ind Co Ltd | ステレオ画像計測方法およびステレオ画像計測装置 |
WO2005053321A1 (en) * | 2003-11-26 | 2005-06-09 | Mitsubishi Denki Kabushiki Kaisha | System for encoding plurality of videos acquired of moving object in scene by plurality of fixed cameras |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012172634A1 (ja) * | 2011-06-13 | 2012-12-20 | 株式会社東芝 | 画像符号化装置、画像復号化装置、方法およびプログラム |
JPWO2012172634A1 (ja) * | 2011-06-13 | 2015-02-23 | 株式会社東芝 | 画像符号化装置、画像復号化装置、方法およびプログラム |
KR101373604B1 (ko) | 2013-02-15 | 2014-03-12 | 전자부품연구원 | 다중 교정 기법을 이용한 카메라 교정 방법 및 이를 적용한 영상 시스템 |
WO2017082078A1 (ja) * | 2015-11-11 | 2017-05-18 | ソニー株式会社 | 画像処理装置および画像処理方法 |
CN108243629A (zh) * | 2015-11-11 | 2018-07-03 | 索尼公司 | 图像处理设备和图像处理方法 |
US11290698B2 (en) | 2015-11-11 | 2022-03-29 | Sony Corporation | Image processing apparatus and image processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4605716B2 (ja) | 2011-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4605715B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
KR102516992B1 (ko) | 부호화 장치 및 부호화 방법, 복호 장치 및 복호 방법 | |
US8351685B2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
US8441518B2 (en) | Imaging apparatus, imaging control method, and recording medium | |
JP6984416B2 (ja) | 画像処理装置および画像処理方法 | |
WO2017082079A1 (ja) | 画像処理装置および画像処理方法 | |
JP4605716B2 (ja) | 多視点画像圧縮符号化方法、装置及びプログラム | |
EP2061005A2 (en) | Device and method for estimating depth map, and method for generating intermediate image and method for encoding multi-view video using the same | |
WO2009097714A1 (zh) | 多视角视频图像深度搜索方法及深度估计方法 | |
JP7168077B2 (ja) | 3次元計測システム及び3次元計測方法 | |
WO2019124248A1 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
JP2004362572A (ja) | 較正された多視点画像シーケンスの圧縮のための動き推定 | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
JP4775903B2 (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
JP4944046B2 (ja) | 映像符号化方法,復号方法,符号化装置,復号装置,それらのプログラムおよびコンピュータ読み取り可能な記録媒体 | |
WO2017134770A1 (ja) | 映像同期装置 | |
JP2014116012A (ja) | 画像間の色転送を行う方法および装置 | |
KR20120093751A (ko) | 정면시점 영상합성을 통한 시선 맞춤 장치 및 방법 | |
KR101233399B1 (ko) | 다시점 깊이 영상 생성 방법 및 장치 | |
JP4660463B2 (ja) | ステレオ画像符号化装置 | |
JP2013196160A (ja) | 多視点画像を用いた自由視点画像生成方法、装置及びプログラム | |
JP6071142B2 (ja) | 画像変換装置 | |
KR20140081561A (ko) | 스테레오 카메라를 이용한 깊이 정보 추출 장치 | |
JP6168601B2 (ja) | 画像変換装置 | |
JP4825260B2 (ja) | 三次元的動き検出装置、三次元的動き検出方法及び三次元的動き検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100804 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100914 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101001 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101001 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |