JP2012004623A - 多視点画像符号化装置 - Google Patents
多視点画像符号化装置 Download PDFInfo
- Publication number
- JP2012004623A JP2012004623A JP2010134885A JP2010134885A JP2012004623A JP 2012004623 A JP2012004623 A JP 2012004623A JP 2010134885 A JP2010134885 A JP 2010134885A JP 2010134885 A JP2010134885 A JP 2010134885A JP 2012004623 A JP2012004623 A JP 2012004623A
- Authority
- JP
- Japan
- Prior art keywords
- information
- viewpoint image
- viewpoint
- actual distance
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 32
- 230000035945 sensitivity Effects 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 abstract description 13
- 238000000034 method Methods 0.000 description 51
- 230000000694 effects Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 101100116390 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ded1 gene Proteins 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008825 perceptual sensitivity Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Processing (AREA)
Abstract
【課題】多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減する。
【解決手段】多視点画像符号化装置100は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出部101と、出力された変換情報に基づいて視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換部102とを備える。所定の閾値は、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。
【選択図】図1
【解決手段】多視点画像符号化装置100は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出部101と、出力された変換情報に基づいて視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換部102とを備える。所定の閾値は、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。
【選択図】図1
Description
本発明は、多視点画像の処理技術に関するもので、特に視点画像の符号化処理における処理負荷の低減に関するものである。
複数の視点に対応する画像を利用することにより、従来の単一視点画像だけでは得られない、より臨場感の高い映像表現が可能になる。複数視点画像の代表的な利用例として、立体画像表示技術と任意視点画像表示技術がある。立体画像表示技術は、表示する画像自体は平面画像すなわち二次元情報でありながら、図8のように、観察者の左眼と右眼に対して視差のある画像301,302を観察させるように与えることにより、脳内で知覚される映像303が擬似的に実際の三次元物体・三次元空間の観察時と同様の立体感を与えるものである。
また、任意視点画像表示技術は、図9のように、複数の視点から撮影された画像データ401v〜403vと、カメラと被写体間の距離情報401d〜403dなどを利用し、撮影していない視点からの画像404v,405v等を生成することによって、観察者の好みの位置すなわち任意の視点からの画像を観察可能にするものである。
このように、任意視点画像の生成・表示技術は、撮影していない視点を含め、観察者の好みの位置からの画像を観察可能にするものである。任意視点画像生成のためには、映像内の各被写体の奥行き情報が必要となる。例えば、奥行き情報を用いない場合、ある視点からは見える領域Aが、別の視点から見ると物体Bの後ろに隠れて見えなくなるが、そのような関係を任意の視点全てにおいて再現するためには、無限の数の視点画像を用意する必要がある。しかし、奥行き情報があれば、少ない視点画像で、任意視点の画像を再現することが可能となる。
例えば、非特許文献1には、任意視点画像の生成技術の基本となる3DWarpingに関し、その基本手法をベースにしつつ、さらに高品質な任意視点画像の生成を行うための方法が開示されている。
このような任意視点画像の生成技術は、前述の立体画像表示に対しても臨場感の向上や改善に応用することが出来る。例えば、図10のように2つのカメラ501,502で被写体504,505を撮影した立体表示用の画像データ501v,502vがあったとする。しかし、カメラの間隔506が人の左右眼の距離(65mm前後と言われている)より離れすぎているため、立体画像として観察した場合に不自然な画像になるか、あるいは全く立体画像として知覚できない画像になってしまう。
このようなケースに、前述の任意視点画像生成技術を適用して、カメラ位置501から人の左右眼の距離507に相当する仮想視点位置503における画像503vを生成することにより、画像501vと503vを用いて、適正な立体画像として観察することが可能になる。
逆に、2つのカメラ501,502の間隔が狭すぎる場合には、撮影された画像501v,502vはほとんど立体感の得られない立体画像になってしまうが、このようなケースも同様に、いずれかの視点から左右眼の距離に相当する仮想視点を設定し、その仮想視点における画像を生成することにより、充分な立体感が得られる立体画像として観察することが可能になる。さらに、以上の原理を応用して、任意視点からの立体画像を観察することや、任意視点における立体画像観察時に立体感を調整することが可能である。
上述のように、複数の視点画像および対応する奥行き画像を利用することにより、画像表示システムの表現機能を向上させることができる。しかし一方で、奥行き画像データを必要とするため、その分、記録・伝送時の符号量が増えるという問題が生じる。この問題を解決するため、多視点画像の符号化復号装置においては、各種の工夫がなされている。
例えば、特許文献1では、奥行き情報を伝送する際に、視覚の奥行き変化に対する時間及び空間周波数特性に従い、知覚感度の高い周波数成分に対して優先的に伝送量を割り当てるように奥行き値を符号化する技術が開示されている。奥行き情報は、通常、輝度値のみで構成される画像データとして表現され、通常の画像と同様の符号化方法により情報量を圧縮することができる。この特許文献1に記載の方法によれば、奥行き情報の情報量を圧縮する際に、ヒトの奥行き知覚の感度に着目して符号量を割り当てることによって、奥行き情報の品質すなわち奥行き情報を利用して生成される仮想視点画像の品質を保ちつつ、符号量の削減を可能にしている。
森、他:奥行き画像を用いた3D warpingによる自由視点画像生成、電子情報通信学会総合大会 情報・システム講演論文集2、D−11−7、2008年
金、他:視点・視対象間距離と色彩変化の関係、日本建築学会計画系論文集 第475号、209−215頁、1995年
しかしながら、特許文献1に記載の方法に従う場合、奥行き情報を符号化するためには、一旦、奥行き情報の時間周波数特性および空間周波数特性を分析する必要があり、そのまま符号化する方法に比べて処理量が増加し、処理時間の遅延を招く。特に、時間周波数特性を得るためには、複数のフレームにわたって奥行き情報を分析する必要があり、必ず処理に数フレーム以上の遅延が生じることになる。すなわち、リアルタイムに符号化・復号するようなアプリケーションには適用できないという問題が生じる。
さらに、この方法における伝送情報量の削減は、輝度情報のみで構成されている奥行き情報のみに有効であり、輝度情報と2つの色差情報で構成されている視点画像の情報量は変化しないため、伝送情報量全体における情報量の削減効果は決して高いとは言えない。
本発明は、上述のごとき実情に鑑みてなされたものであり、多視点画像の処理システムにおいて、視点画像と対応する奥行き情報とを圧縮符号化する際に、画像品質を保ちつつ、少ない処理負荷で、視点画像の符号化・伝送における情報量を効率よく削減すること、を目的とする。
上記課題を解決するために、本発明の第1の技術手段は、複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴としたものである。
第2の技術手段は、第1の技術手段において、前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴としたものである。
第3の技術手段は、第1又は第2の技術手段において、前記実距離算出手段は、前記奥行き情報の1フレーム毎に、1フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴としたものである。
第4の技術手段は、第1〜第3のいずれか1の技術手段において、前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴としたものである。
上記構成を備えることにより、本発明の多視点画像符号化装置は、次の効果を奏する。すなわち、多視点画像を圧縮符号化する際に、被写体の視点から被写体までの実距離が人間の色弁別感度に与える影響を考慮し、少なくとも奥行き情報及び撮影条件情報から、視点画像の色差の階調数を変換するための変換情報を求め、その変換情報に基づき視点画像の情報(符号)量を削減することができる。従って、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。また、この変換情報は1フレーム単位で算出が完結する処理であるため、処理による遅延を少なくすることができる。
以下、添付図面を参照しながら、本発明の多視点画像符号化装置に係る好適な実施の形態について説明する。
図1は、本発明の一実施形態に係る多視点画像符号化装置の構成例を示すブロック図で、図中、100は多視点画像符号化装置を示す。この多視点画像符号化装置100は、実距離算出部101、視点画像変換部102、視点画像符号化部103、奥行き情報符号化部104、及び多重化部105を備え、複数の視点画像、視点画像に対応する奥行き情報、及び撮影条件情報を入力として、符号化処理を施して情報量を削減するための装置である。
実距離算出部101は、本発明の実距離算出手段に相当し、少なくとも奥行き情報と撮影条件情報とが入力される。実距離算出部101は、入力された奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と所定の閾値とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。
ここで、所定の閾値とは、被写体の視点から被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値である。すなわち、被写体の視点から被写体までの実距離を変化させながら、視点画像の画素または小領域の色差(彩度)及び輝度の変化の様子を実測し、実測した色差及び輝度の値と、人間の色弁別感度との関係に基づいて決定される値である。この所定の閾値の決め方の具体例については後述する。
視点画像変換部102は、本発明の視点画像変換手段に相当し、輝度情報Y及び色差情報CbCrで構成される複数の視点画像と、実距離算出部101から変換情報とが入力され、この変換情報に基づいて視点画像を構成する色差情報CbCrの階調数を変換する。
視点画像符号化部103は、本発明の視点画像符号化手段に相当し、視点画像変換部102により変換済みの視点画像を所定の符号化方式に基づいて圧縮符号化する。この符号化方式としては、入力が静止画像であれば、JPEG(Joint Photographic Experts Group)やJPEG2000などの方式が適用され、また、動画像であれば、MPEG(Moving Picture Experts Group)−2、MPEG−4、MPEG−4AVC/H.264などの方式が適用できる。
奥行き情報符号化部104は、本発明の奥行き情報符号化手段に相当し、奥行き情報を所定の符号化方式に基づいて符号化する。多重化部105は、本発明の多重化手段に相当し、上記により符号化された視点画像と奥行き情報とを多重化し、符号化データとして装置外部に出力する。また、多重化部105は、視点画像の撮影時のカメラ配置など、撮影条件情報も併せて符号化データとして多重化する。
このように、本発明による多視点画像符号化装置100は、被写体の視点から被写体までの実距離が所定の閾値以上である場合に、視点画像を構成する色差情報の階調数を削減するようにしたものである。これにより、視点画像における、特に人間の主観的な画像品質を保ちつつ、かつ、符号化・伝送における情報量を効率よく削減することができる。
以下、実距離算出部101及び視点画像変換部102の各処理について具体的に説明する。まず、実距離算出部101に入力される奥行き情報は、例えば、図2(A)のような視点画像に対して、各画素に対応する被写体の視点からの距離に応じた数値が与えられ、図2(B)のような輝度画像として表される。一般に、奥行き情報は、カメラ位置から視点画像上の物体がどのくらい離れているか(実際には近い程大きい値になるよう変換してある)を示しており、各カメラによって、各画素に対する奥行き値、最大奥行き値(最も近い)、最小奥行き値(最も遠い)が定義されている。
奥行き情報の生成方法としては、例えば、赤外線、超音波、あるいは、赤外線と超音波の両方を使った距離計測装置による方法や、ソフトウェアによる方法がある。赤外線を使った方法では、出射した光線が戻ってくるまでの時間を用いて距離を計測する。また、ソフトウェアによる方法には、左右の視点画像の各画素をマッチングした際の画素ずれから距離を算出する方法などがある。本発明は、奥行き情報の生成方法を限定するものではなく、従来公知の方法に基づく奥行き情報の生成方法を適宜適用することができる。
通常、視点画像は各画素8ビットの輝度情報(Y)と、同様に各画素8ビットの2種類の色差情報(Cb、Cr)とで構成され、奥行き情報は各画素8ビットの輝度情報で構成される。実距離算出部101には撮影条件情報も入力され、図2(B)のような奥行き情報の各画素や小領域に対応する被写体の視点から被写体までの実際の距離を算出する。なお、撮影条件情報には、少なくとも、カメラの位置や方向等に関する情報が含まれ、例えば、前述の図10におけるカメラ501とカメラ502間の距離、各カメラの撮影方向(角度)、カメラの焦点距離などが含まれる。このカメラ間距離やカメラの撮影方向は、実空間上の座標値等で表現され、実際のカメラの距離や角度を知ることができる。
ここで、奥行き情報は、一般に量子化されたデジタルデータで表現されていて、距離の相対値が、例えば256階調値で記述される。実距離算出部101による実距離算出の方法には、大きく分けて3通りある。第1の方法として、多視点画像符号化装置100の前段で奥行き情報を算出する過程において実距離を計測あるいは算出しているため、この実距離情報を撮影条件情報に含めて、奥行き情報と共に実距離算出部101に入力する。これにより、実距離算出部101は、入力された撮影条件情報から実距離を求めることができる。
第2の方法として、撮影条件情報に実距離情報を含まない場合、奥行き情報から実距離を算出するが、この際、上述のカメラ間距離、カメラ焦点距離等に基づいて算出される所定のパラメータ(後述のパラメータa,b)が必要となるため、このパラメータa,bを撮影条件情報に含めて、奥行き情報と共に実距離算出部101に入力する。これについて以下の図3に基づいて具体的に説明する。
図3は、実距離算出部101による実距離算出方法の一例について説明するための図である。本例では、2つのカメラCL,CR、被写体S1が配置されているものとする。そして、2つのカメラCL,CRの焦点距離をf、カメラCL,CR間の距離をB、カメラCL,CR(被写体S1の視点)から被写体S1までの実距離をD1とすると、図中のdL、dRは以下の式で幾何学的に算出される。なお、実距離D1は、カメラCL,CR(被写体S1の視点)を結ぶ線と被写体S1との最短距離を示す。
dL=f×s/D1 …式(1)
dR=f×(B−s)/D1 …式(2)
dL=f×s/D1 …式(1)
dR=f×(B−s)/D1 …式(2)
一方、物体認識や形状認識等により、カメラCLとカメラCRの各視点画像から算出可能な視差d1は、d1=dL+dRとなる。そうすると、上記の式(1)、(2)より、
d1=dL+dR=f×s/D1+f×(B−s)/D1=f×B/D1 …式(3)
となる。そして、この式(3)を、
D1=f×B/d1 …式(4)
と書き換えれば、被写体S1の視点から被写体S1までの実距離D1は、視点画像上の視差d1と、カメラ焦点距離fと、カメラ間距離Bとにより表わすことができる。
d1=dL+dR=f×s/D1+f×(B−s)/D1=f×B/D1 …式(3)
となる。そして、この式(3)を、
D1=f×B/d1 …式(4)
と書き換えれば、被写体S1の視点から被写体S1までの実距離D1は、視点画像上の視差d1と、カメラ焦点距離fと、カメラ間距離Bとにより表わすことができる。
また、実距離D1に対応する奥行き値(例えば、0〜255)は、入力される奥行き情報で与えられている数値であり、これを例えばdep1とすれば、この値は、実距離D1と1対1に対応する数値であるため、最も単純には、例えば、
D1=a×dep1+b …式(5)
但し、aは傾きを示すパラメータ、bは切片を示すパラメータ
といった一次式で表現することができる。
D1=a×dep1+b …式(5)
但し、aは傾きを示すパラメータ、bは切片を示すパラメータ
といった一次式で表現することができる。
上記の計算を、奥行き値の異なる別の被写体S2に対しても同様に実行すると、実距離D2と奥行き値dep2との関係を、
D2=a×dep2+b …式(6)
と表現することができる。
D2=a×dep2+b …式(6)
と表現することができる。
そして、被写体S2、実距離D2における視差をd2とすると、上記式(4)と同様に、
D2=f×B/d2 …式(7)
と表され、上記式(5)、(6)の傾きa及び切片bと、カメラ間距離Bとの関係は、上記式(4)〜(7)より、
a=(D1−D2)/(dep1−dep2)
=f×B×(1/d1−1/d2)/(dep1−dep2) …式(8)
b=(dep1×D2−dep2×D1)/(dep1−dep2)
=f×B×(dep1/d2−dep2/d1)/(dep1−dep2)…式(9)
となる。
D2=f×B/d2 …式(7)
と表され、上記式(5)、(6)の傾きa及び切片bと、カメラ間距離Bとの関係は、上記式(4)〜(7)より、
a=(D1−D2)/(dep1−dep2)
=f×B×(1/d1−1/d2)/(dep1−dep2) …式(8)
b=(dep1×D2−dep2×D1)/(dep1−dep2)
=f×B×(dep1/d2−dep2/d1)/(dep1−dep2)…式(9)
となる。
ここで、撮影条件情報として、予め傾きaと切片bをパラメータとして記述している場合には、実距離算出部101における処理のうち、物体認識等を用いて視差d1、d2を算出するプロセスが不要となるため、高速に処理を行うことができる。この方法の場合、奥行き情報及び撮影条件情報が実距離算出部101に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式(5)、(6)により求めることができる。
また、第3の方法として、撮影条件情報として、傾きaと切片bをパラメータとして記述していない場合には、物体認識等を用いて視差d1、d2を算出する必要があるため、実距離算出部101に視点画像を入力する必要がある。すなわち、奥行き情報、撮影条件情報、及び視点画像が実距離算出部101に入力され、これらの情報により実距離を求めることができる。具体的には、上記の式(4),(7)、あるいは、上記の式(5)、(6),(8),(9)により求めることができる。
そして、実距離算出部101は、上記より求めた実距離D1,D2(以下、実距離Dで代表する)を、後述する所定の閾値と比較して、実距離Dが閾値より小さい場合は、色差の階調数削減は行わないため、輝度Yと2種類の色差Cb、Crをいずれも8ビットとした変換情報を視点画像変換部102へ出力し、一方、実距離Dが閾値より大きい場合は、色差の階調数削減を行うため、例えば、色差Cbだけを7ビットにして、輝度Y及び色差Crを8ビットとした変換情報を視点画像変換部102へ出力する。なお、色差Crだけを7ビットにしてもよく、色差Cb,Crの両方を7ビットにしてもよい。
この際、実距離算出部101は、奥行き情報の1フレーム毎に、1フレーム内の画素または小領域毎に対応する変換情報を出力する。つまり、変換情報の算出処理は1フレーム単位で完了するため、処理による遅延を小さくすることができる。
視点画像変換部102では、実距離算出部101から入力された変換情報に基づいて、奥行き情報に対応する視点画像に対して、その視点画像を構成する画素または小領域毎に色差の階調数(ビット数)を変換し、変換後の視点画像のビット数と画素情報を、視点画像符号化部103へ出力する。
ここで、非特許文献2に基づいて、被写体の視点から被写体までの実距離が輝度Yや色差Cb、Crに及ぼす影響について説明する。この非特許文献2では、被写体として山のある点を決めて固定しておき、その点からの距離のみが変わるように、観察場所(カメラ位置)を1km毎に12kmまで変えたときの、色情報(R、G、B)を実測している。
この実測情報に基づいて、実距離(1〜12km)の変化に対して、彩度と色座標(国際照明委員会CIEが策定したCIEL*a*b*色空間におけるa*,b*)の変化の様子を算出しグラフ化したものを図4、図5にそれぞれ示す。また、さらに、この実測情報より、視点画像として使われることの多い輝度情報(Y)と色差情報(Cb、Cr)も算出し、それぞれの実距離(1〜12km)に対する変化の一例を図6に示す。
また、これら彩度や色座標といった画像情報(画素値)と、人間の眼の色弁別感度との関係に関しては、一般に、彩度に対しては、高いほど感度が低くなり、色座標によって決まる色相に対しては、彩度に対する感度低下の程度が異なることが知られている。
従って、上記に基づいて、実距離と人間の眼の色弁別感度との関係を導出すると、図4より、5km付近までは実距離が大きくなると共に彩度も高くなっているが、5km付近を超えると彩度はほぼ一定になっている。また、図5より、やはり5km付近までは色座標(色相)が変化しているが、5km付近を超えるとほぼ一定になっているため、5km付近までは感度低下の程度が変化しつつ感度の低下が進み、5km付近を超えると感度はほぼ一定になることがわかる。
図6は、被写体の視点から被写体までの実距離に対する輝度情報(Y)と色差情報(Cb,Cr)の変化の様子の一例を示した図である。これによれば、輝度情報(Y)は、1〜12kmまでなだらかな変化を示しているのに対して、色差情報(Cb,Cr)は、Cb,Crとも、5km付近で値が飽和して、実距離がさらに大きくなっても、その変化がほとんどなくなっている。これらのことより、実距離との比較に用いる所定の閾値を例えば「5km」と決定する。すなわち、この「5km」は、被写体の視点から被写体までの実距離と、人間の眼の色弁別感度との関係に基づいて決定される値である。
そして、実距離算出部101は、少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から被写体までの実距離を算出し、算出した実距離と「5km」とを比較し、比較結果に基づいて、視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する。つまり、実距離算出部101は、実距離が「5km」以上である場合、視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力する。図6より、実距離が「5km」以上では、輝度Yについてはなだらかな変化を表現するために階調数を8ビットに保持するが、色差Cb,Crについては変化がないため階調数を削減したとしても、人間の色弁別感度が低下するため画質に与える影響は少ないと考えられる。一方、実距離が「5km」未満の場合は、輝度Y、色差Cb,Crとも階調数を8ビットのまま保持することで画質を劣化させないようにする。
上記について、前述の図2(B)に示した奥行き情報の画像例で説明すると、「5km」という閾値によって、図7に示すように、奥行き情報の画像内が2つの小領域201、202に分割することができる。小領域201は、視点画像の輝度Y、色差Cb,Cr共に階調数を8ビットに保持する領域であり、小領域202は、視点画像の色差Cb,Crの少なくとも一方の階調数を例えば7ビットに削減する領域となる。この奥行き情報に基づいて、小領域毎の階調数(ビット数)情報を変換情報として出力する。なお、画素毎あるいは小領域毎にビット数が変動するため、このビット数を保存しておく必要がある。画素単位の場合、画素毎に対応する階調(ビット)数を保存しておく。このため、処理速度や情報量削減には若干不利となるが、より高画質を保持することができる。また、小領域単位の場合、各小領域の形状を領域情報として管理し、これにより小領域毎にビット数を保存しておく。このため、画素単位の場合とは逆に、処理速度や情報量削減には有利となるが、画質面では不利となる。画素単位の制御とするか、小領域単位の制御とするかは、オプションとして選択可能な構成にしておくとよい。
ここで、本発明の場合、奥行き情報の情報量は削減せずに、視点画像の情報量を削減するのに対して、前述の特許文献1に記載の技術の場合、視点画像の情報量を削減せずに、奥行き情報の情報量を削減するため、特許文献1に記載の技術と比較して、情報量の削減効果が高くなる。なぜなら、奥行き情報は輝度値のみのモノクロ画像であるのに対して、視点画像は輝度値と色差値とからなるカラー画像である。このカラー画像をYCbCrで考えると、視点画像は奥行き情報の3倍の情報量となる。このうちCb,Crについて情報量の削減が可能であるため、輝度値のみを削減する場合と比べ、同じ階調数であれば、削減対象の情報量は2倍となる。つまり、視点画像(YCbCr)と奥行き情報(Y)とを合わせた情報量を例えば100(Y,Cb,Cr,Yをそれぞれ25)と仮定すると、特許文献1に記載の技術の場合、削減対象となるのは奥行き情報Yの25、本発明の場合、削減対象となるのは色差情報Cb,Crの50となる。
また、これまで多視点画像符号化装置について説明したが、多視点画像符号化装置で符号化された符号化データを復号する多視点画像復号装置の形態としてもよいことは言うまでもない。この多視点画像復号装置は、多視点画像符号化装置の符号化処理と逆の復号処理を行うように構成されるものであるが、図示による説明は省略するものとする。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。
100…多視点画像符号化装置、101…実距離算出部、102…視点画像変換部、103…視点画像符号化部、104…奥行き情報符号化部、105…多重化部、201,202…小領域。
Claims (4)
- 複数の視点画像および対応する奥行き情報を符号化する多視点画像符号化装置であって、
少なくとも奥行き情報及び撮影条件情報に基づいて、被写体の視点から該被写体までの実距離を算出し、該算出した実距離と所定の閾値とを比較し、比較結果に基づいて、前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換するための変換情報を出力する実距離算出手段と、
該出力された変換情報に基づいて前記視点画像を構成する画素または小領域毎に色差情報の階調数を変換する視点画像変換手段とを備え、
前記所定の閾値は、被写体の視点から該被写体までの実距離と、人間の色弁別感度との関係に基づいて決定される値であることを特徴とする多視点画像符号化装置。 - 前記実距離算出手段は、前記実距離が所定の閾値以上である場合、前記視点画像を構成する画素または小領域毎に色差情報の階調数を削減するための変換情報を出力することを特徴とする請求項1に記載の多視点画像符号化装置。
- 前記実距離算出手段は、前記奥行き情報の1フレーム毎に、1フレーム内の画素または小領域毎に対応する変換情報を出力することを特徴とする請求項1又は2に記載の多視点画像符号化装置。
- 前記視点画像変換手段により色差情報の階調数が変換された視点画像の符号化を行う視点画像符号化手段と、前記奥行き情報の符号化を行う奥行き情報符号化手段と、前記視点画像符号化手段で符号化された視点画像と前記奥行き情報符号化手段で符号化された奥行き情報とを多重化し、符号化データとして出力する多重化手段とを更に備えたことを特徴とする請求項1〜3のいずれか1項に記載の多視点画像符号化装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134885A JP4764516B1 (ja) | 2010-06-14 | 2010-06-14 | 多視点画像符号化装置 |
PCT/JP2011/060034 WO2011158562A1 (ja) | 2010-06-14 | 2011-04-25 | 多視点画像符号化装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010134885A JP4764516B1 (ja) | 2010-06-14 | 2010-06-14 | 多視点画像符号化装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4764516B1 JP4764516B1 (ja) | 2011-09-07 |
JP2012004623A true JP2012004623A (ja) | 2012-01-05 |
Family
ID=44693545
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010134885A Expired - Fee Related JP4764516B1 (ja) | 2010-06-14 | 2010-06-14 | 多視点画像符号化装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4764516B1 (ja) |
WO (1) | WO2011158562A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017217238A1 (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114466174B (zh) * | 2022-01-21 | 2023-04-28 | 南方科技大学 | 一种多视点3d图像编码方法、设备、系统和存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61293094A (ja) * | 1985-06-20 | 1986-12-23 | Clarion Co Ltd | 立体テレビジヨン装置 |
JPH10126778A (ja) * | 1996-10-21 | 1998-05-15 | Fuji Photo Film Co Ltd | 画像圧縮方法および装置 |
JP2001285895A (ja) * | 2000-03-30 | 2001-10-12 | Sanyo Electric Co Ltd | 画像データ符号化装置及びその方法 |
JP2008505522A (ja) * | 2004-07-02 | 2008-02-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ処理 |
JP2008193530A (ja) * | 2007-02-06 | 2008-08-21 | Canon Inc | 画像記録装置、画像記録方法、及びプログラム |
-
2010
- 2010-06-14 JP JP2010134885A patent/JP4764516B1/ja not_active Expired - Fee Related
-
2011
- 2011-04-25 WO PCT/JP2011/060034 patent/WO2011158562A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS61293094A (ja) * | 1985-06-20 | 1986-12-23 | Clarion Co Ltd | 立体テレビジヨン装置 |
JPH10126778A (ja) * | 1996-10-21 | 1998-05-15 | Fuji Photo Film Co Ltd | 画像圧縮方法および装置 |
JP2001285895A (ja) * | 2000-03-30 | 2001-10-12 | Sanyo Electric Co Ltd | 画像データ符号化装置及びその方法 |
JP2008505522A (ja) * | 2004-07-02 | 2008-02-21 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ処理 |
JP2008193530A (ja) * | 2007-02-06 | 2008-08-21 | Canon Inc | 画像記録装置、画像記録方法、及びプログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017217238A1 (ja) * | 2016-06-15 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、および撮像装置 |
US10582122B2 (en) | 2016-06-15 | 2020-03-03 | Sony Corporation | Image processing apparatus, image processing method, and image pickup apparatus |
Also Published As
Publication number | Publication date |
---|---|
WO2011158562A1 (ja) | 2011-12-22 |
JP4764516B1 (ja) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5763184B2 (ja) | 3次元画像に対する視差の算出 | |
US8116557B2 (en) | 3D image processing apparatus and method | |
JP6027034B2 (ja) | 立体映像エラー改善方法及び装置 | |
US7027659B1 (en) | Method and apparatus for generating video images | |
US9451232B2 (en) | Representation and coding of multi-view images using tapestry encoding | |
WO2013094635A1 (ja) | 画像処理装置、撮像装置および表示装置 | |
JP7105062B2 (ja) | 画像処理装置、コンテンツ処理装置、コンテンツ処理システム、および画像処理方法 | |
JP2013527646A5 (ja) | ||
TW201424406A (zh) | 多視點圖像編碼方法及多視點圖像解碼方法 | |
KR20120074925A (ko) | 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템 | |
JP2015528649A (ja) | 3dシーンの1以上のビデオを処理する方法 | |
JP6445026B2 (ja) | 3dビデオコーディングにおけるカメラパラメータ処理方法および装置 | |
JP2008505522A (ja) | ビデオ処理 | |
WO2012133286A1 (ja) | 立体画像生成装置及び立体画像生成方法 | |
JP4764516B1 (ja) | 多視点画像符号化装置 | |
US20130120530A1 (en) | Image processing apparatus and method and program | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP5881005B2 (ja) | 画像処理装置、画像撮像装置、画像表示装置、画像処理方法およびプログラム | |
JP2011228821A (ja) | 多視点画像符号化装置 | |
JP7393931B2 (ja) | 画像符号化装置およびそのプログラム、ならびに、画像復号装置およびそのプログラム | |
KR100864859B1 (ko) | 적응적 비트율 제어 장치 및 그 방법과, 그를 이용한 3차원입체 영상 부호화 시스템 | |
KR101648673B1 (ko) | 360° vr 영상 콘텐츠제작을 위한 유손실 이미지 복원 및 컨버팅 방법 | |
JP4860763B2 (ja) | 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体 | |
EP4246988A1 (en) | Image synthesis | |
JP2023543048A (ja) | マルチビュー映像を符号化及び復号する方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |