JP2011166606A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents
画像処理装置、および画像処理方法、並びにプログラム Download PDFInfo
- Publication number
- JP2011166606A JP2011166606A JP2010029239A JP2010029239A JP2011166606A JP 2011166606 A JP2011166606 A JP 2011166606A JP 2010029239 A JP2010029239 A JP 2010029239A JP 2010029239 A JP2010029239 A JP 2010029239A JP 2011166606 A JP2011166606 A JP 2011166606A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- conversion
- processing
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 397
- 238000000034 method Methods 0.000 title claims abstract description 170
- 238000006243 chemical reaction Methods 0.000 claims abstract description 299
- 230000008569 process Effects 0.000 claims description 152
- 230000004069 differentiation Effects 0.000 claims description 110
- 230000015572 biosynthetic process Effects 0.000 claims description 46
- 238000003786 synthesis reaction Methods 0.000 claims description 46
- 230000009466 transformation Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 24
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 238000003672 processing method Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 6
- 230000009467 reduction Effects 0.000 abstract description 18
- 238000001914 filtration Methods 0.000 abstract 1
- 230000008859 change Effects 0.000 description 45
- 230000000694 effects Effects 0.000 description 23
- 239000000203 mixture Substances 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 230000004256 retinal image Effects 0.000 description 5
- 230000003321 amplification Effects 0.000 description 4
- 238000003199 nucleic acid amplification method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Architecture (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
Abstract
【解決手段】左眼提示用の左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、右眼提示用の右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有する。各画像変換部は、例えば入力画像に対して逆特性の係数列の微分フィルタ係数を適用した微分信号を生成し、該微分信号またはこの微分信号の非線形信号を原画像信号に加算する合成処理により視差を制御した変換信号を生成する。本処理により視差範囲の縮小または拡大等の処理が実現される。
【選択図】図1
Description
このように、従来から、視差を持つ画像の提示による立体視の実現方法については、様々な手法が提案されている。
この特許文献1に開示された方法は、ディスパリティの平均値を用いて画像全体を水平にシフトすることで、観察者が見やすい視差範囲に設定する画像変換方法である。
立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置にある。
(a)左画像の対応点が右画像の対応点よりも左に位置する、
(b)左画像の対応点が右画像の対応点よりも右に位置する、
上記(a),(b)いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する。
画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法にある。
画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラムにある。
A.実施例1:表示部の表示面より奥側に設定された視差範囲の縮小処理例
B.実施例2:表示部の表示面より奥側に設定された視差範囲の拡大処理例
C.実施例3:表示部の表示面より手前側に設定された視差範囲の制御(縮小/拡大)処理例
D.実施例4:表示部の表示面の前後に設定された視差範囲の制御処理例
E.実施例5:簡易なディスパリティマップを利用した視差制御を行う実施例
F.実施例6:シフト態様の制御用の信号を入力可能とした構成を有する実施例
図1以下を参照して本発明の実施例1について説明する。
第1の実施例は、立体画像(3次元画像)を構成する左右の画像(左眼用画像と右眼用画像)の像のずれ(網膜像差等や表示部における左画像と右画像の表示位置間距離)に相当するディスパリティの値を各画素に対応付けたディスパリティマップを利用することなく視差制御を可能とした実施例である。
本実施例は、ディスパリティマップを生成することなく、3次元画像を構成する左右の画像(左眼用画像と右眼用画像)の視差範囲の縮小処理や拡大処理等の視差制御を実行する画像処理装置を実現するものである。
あるいは、左画像出力部115と右画像出力部125は、記録メディアに対する記録処理を実行する記録部に接続され、視差調整左画像(L1)50と視差調整右画像(R1)60の記録メディアに対する記録処理が行われる。あるいは通信部を介して外部装置に送信する構成としてもよい。
左画像入力部111は、3次元画像表示に適用するために予め生成された左画像(L1)10を入力する。
左画像微分器112は、左画像変換部110に入力された左画像10から画像特徴量を抽出する。具体的には、左画像10から輝度信号を取り出し、輝度信号に対する微分信号(HL)を生成する。左画像微分器112は、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向3タップの線形1次微分フィルタなどを用いる。
図2には、
(a)入力信号
(b)微分信号
これらの各信号の例を示している。
図2(b)は、図2(a)の入力画像信号を微分処理した画像であり、例えば左画像微分器112の生成する輝度微分信号(HL)である。
なお、実施例では輝度信号を処理データとした例について説明するが、輝度信号ではなく色信号(RGB等)を処理対象データとして利用してもよい。
図3は、左画像非線形変換部113において実行する非線形変換処理の一例を示している。横軸が、左画像微分器112から出力される微分信号(輝度微分信号)の輝度値である。縦軸が、左画像非線形変換部113における非線形変換処理後の出力輝度値を示している。
f(x)=xγ
上記式に示されるような指数関数を用いる。γは予め設定した係数であり、様々な値に設定可能である。
また、左画像非線形変換部113における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。
左画像合成部114は、入力画像である左画像10と、この左画像10から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した非線形変換信号を適用して視差調整左画像50を生成する処理を行う。生成した視差調整左画像50は、左画像出力部115を介して出力され、例えば表示部に表示される。
(a)入力信号(L1)
(b)微分信号(HL)
(c)合成画像信号(=視差調整左画像信号(L2))
これらの各信号を示している。
ライン位置(x1)からライン位置(x2)までの領域Pにおいて、輝度が次第に高くなる変化を示し、ライン位置(x2)〜(x3)において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置(x3)からライン位置(x4)までの領域Qにおいて、輝度が次第に低くなる変化を示している。
なお、左画像微分器112において利用される微分フィルタ係数は、図4(b)に示すように、
1,0,−1
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素(n)の微分信号(In')を、
画素(n)の前(左)の画素(n−1)の画素値(本例では輝度)=(I(n−1))と、
画素(n)の後(右)の画素(n+1)の画素値(本例では輝度)=(I(n+1))、
を適用して以下のように算出することを意味する。
In'=(I(n−1))−(I(n+1))
この場合も、左画像合成部114における合成処理結果としての(c)合成画像信号(=視差調整左画像信号(L2))は、図4に示すと同様、P,Qの輝度変化部分が、(a)入力信号(L1)に対して右側に移動した位相変化(シフト)した信号となる。
すなわち、右画像変換部120は、右画像(R1)20を入力する右画像入力部121、右画像20の微分処理を行う右画像微分処理部122、右画像20の微分信号を非線形変換する右非線形変換部123、右画像20と非線形変換された微分信号を合成する右画像合成部124、変換後の視差調整右画像(R2)60を出力する右画像出力部125から構成される。
ただし、右画像20の微分処理を行う右画像微分処理部122において適用する微分フィルタの係数が異なる。
右画像微分処理部122において適用する微分フィルタの係数は、左画像変換部110の左画像微分処理部112において適用する微分フィルタの係数を反転した系列、すなわち逆パターンの系列となる。
図5に示す信号例は、先に左画像変換部110の信号例として説明した図4に対応する。
(a)入力信号(R1)
(b)微分信号(HR)
(c)合成画像信号(=視差調整右画像信号(R2))
これらの各信号を示している。
ライン位置(x1)からライン位置(x2)までの領域Pにおいて、輝度が次第に高くなる変化を示し、ライン位置(x2)〜(x3)において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置(x3)からライン位置(x4)までの領域Qにおいて、輝度が次第に低くなる変化を示している。
なお、右画像微分器122において利用される微分フィルタ係数は、前述したように、左画像微分器112において利用される微分フィルタ係数を反転した係数列から構成される。すなわち、図5(b)に示すように、
−1,0,1
上記系列の微分フィルタ係数を持つ微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素(n)の微分信号(In')を、
画素(n)の前(左)の画素(n−1)の画素値(本例では輝度)=(I(n−1))と、
画素(n)の後(右)の画素(n+1)の画素値(本例では輝度)=(I(n+1))、
を適用して以下のように算出することを意味する。
In'=−(I(n−1))+(I(n+1))
この場合も、右画像合成部124における合成処理結果としての(c)合成画像信号(=視差調整右画像信号(R2))は、図5に示すと同様、P,Qの輝度変化部分が、(a)入力信号(R1)に対して左側に移動、すなわち左方向に位相変化(シフト)した信号となる。
図6には、上から、
(L1)入力左画像信号
(L2)出力左画像信号(視差調整左画像信号)
(R1)入力右画像信号
(R2)出力右画像信号(視差調整左画像信号)
これらの信号パターンを示している。これらは、図4、図5を参照して説明した信号パターンに対応する。
(L1)入力左画像信号
(R1)入力右画像信号
これらの1組の画像信号であり、これらは、3次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図6において、輝度変化部分[P]の中央部分の(L1)入力左画像信号の表示位置と、(R1)入力右画像信号の表示位置にはずれが設定されている。この表示位置ずれによって視差が生ずる。
入力画像(L1),(R1)の輝度変化部分[P]の中央部分のディスパリティは、
(L1)入力左画像信号の点(p1)と、
(R1)入力右画像信号の点(p2)と、
これらの各点間の距離[V1]として設定されている。
(L2)出力左画像信号(視差調整左画像信号)の点(p3)と、
(R2)出力右画像信号(視差調整左画像信号)の点(p4)と、
これらの各点間の距離[V2]がディスパリティとなる。
入力画像の組のディスパリティV1、
出力画像(視差調整画像信号)のディスパリティV2、
このように異なる値となる。
本例では、
V2<V1
であり、出力画像におけるディスパリティが、入力画像のディスパリティに比較して減少している。このディスパリティの減少より、視差が抑制される。
この効果は、各画像の位相変化(シフト)による効果として得られるものである。
(a)入力画像の視差範囲S1
(b)視差調整画像の視差範囲S2
これらの2つの視差範囲を示している。なお、3次元画像を構成する左画像と右画像(左眼用画像と右眼用画像)には、様々な被写体距離(カメラからの距離)を持つ被写体が含まれ、左画像と右画像には被写体距離に応じた様々な視差が設定される。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
B左画像とB右画像、
C左画像とC右画像、
これらの各画像の表示画面210上の表示位置が異なっている。
これは、ユーザの左眼201によって観察される3次元画像用の左画像における被写体B,Cの表示位置と、ユーザの右眼202によって観察される3次元画像用の右画像における被写体B,Cの表示位置とが異なる位置であることを意味する。
具体的には、被写体Bは、観察者の左眼201と表示画面210上のB左画像の表示位置を結ぶ直線と、観察者の右眼202と表示画面210上のB右画像の表示位置を結ぶ直線との交点である空間上の点222に位置するように観察される。
また、被写体Cは、観察者の左眼201と表示画面210上のC左画像の表示位置を結ぶ直線と、観察者の右眼202と表示画面210上のC右画像の表示位置を結ぶ直線との交点である空間上の点223に位置するように観察される。
被写体Aはディスパリティ=0である。
被写体Aは、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体Aの位置は表示画面210上の位置221となる。
被写体Bは、左画像と右画像の表示画面210上の距離がDBであり、ディスパリティがDBとなる。
観察者が実感する被写体Bの位置は観察者から表示画面210より遠い位置222となる。
なお、DB<DCである。
被写体Cは、左画像と右画像の表示画面210上の距離がDCであり、ディスパリティがDCとなる。
観察者が実感する被写体Cの位置は観察者から表示画面210より遠く、さらに被写体Bより遠い位置223となる。
被写体A2,B2,C2は、図7(a)のA,B,Cと同じ被写体であるが、前述した変換処理によって画像信号の位相変化に基づく画像シフトが発生し、観察者によって観察される被写体位置が変化する。
被写体A2は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体A2の位置は表示画面210上の位置231となる。
被写体B2は、左画像と右画像の表示画面210上の距離がDB2であり、ディスパリティがDB2となる。
観察者が実感する被写体B2の位置は観察者から表示画面210より遠い位置232となる。
ただし、観察者が実感する被写体B2の位置は、図7(a)に示す変換前の入力画像における被写体位置Bより観察者から近い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
なお、DB2<DC2である。
被写体C2は、左画像と右画像の表示画面210上の距離がDC2であり、ディスパリティがDC2となる。
観察者が実感する被写体C2の位置は観察者から表示画面210より遠く、さらに被写体B2より遠い位置233となる。
ただし、観察者が実感する被写体C2の位置は、図7(a)に示す変換前の入力画像における被写体位置Cより観察者に近い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
ディスパリティは、DCからDC2に小さくなる。
なお、
(DC−DC2)>(DB−DB2)
であり、奥の被写体のほうが、ディスパリティの減少幅が大きくなる。
変換前の入力画像の視差範囲S1(A〜C)は、変換後の出力画像(視差調整画像)の視差範囲S2(A2〜C2)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲S2(A2〜C2)は、入力画像の視差範囲S1(A〜C)より縮小される。
すなわち、左画像微分処理部113で、図4(b)に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
また、右画像微分処理部123で、図5(b)に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図7(a)の視差範囲S1から図7(b)に示す視差範囲S2のように視差範囲を縮小することができる。
図7に示す例では、一番手前のA点で焦点があっており、A点でのディスパリティ(DAとする)の変化はほとんど発生しない。画像は被写体が奥に行く(A→B→C)に従って焦点から遠ざかることによりボケが大きくなると考えられる。
この場合、被写体A,B,Cの、
画像変換前のディスパリティをDA,DB,DCとし、
画像変換後のディスパリティをDA2,DB2,DC2とすると、
ディスパリティの変化幅は、
(DC2−DC)>(DB2−DB)>(DA2−DA)≒0
このような設定となる。
図8〜図11には、入力信号と、微分信号、および出力信号の各ラインを示している。各ラインは、画像信号の1つの水平ラインの一部に相当する。縦軸が輝度、横軸が水平方向の画素位置である。
入力信号は、画像処理装置100に入力する左画像(L1)10または右画像(R1)20を構成する1つの水平ラインの輝度を示すラインである。
微分信号は、画像処理装置100の微分器(左画像微分器112または右画像微分器122)における微分処理によって生成される信号である。
出力信号は、画像処理装置100の合成部(左画像合成部114または右画像合成部124)における合成処理によって生成される信号である。
(1)図8:画像を構成する高周波領域に対する微分フィルタ係数[1,0,−1]による微分(本実施例では左画像微分器112)処理を適用した場合の処理例(右方向シフト)
(2)図9:画像を構成する高周波領域に対する微分フィルタ係数[−1,0,1]による微分(本実施例では右画像微分器122)処理を適用した場合の処理例(左方向シフト)
(3a)図10(a):画像を構成する低周波領域に対する微分フィルタ係数[1,0,−1]による微分(本実施例では左画像微分器112)処理を適用した場合の処理例(右方向シフト)
(3b)図10(b):画像を構成する低周波領域に対する微分フィルタ係数[−1,0,1]による微分(本実施例では右画像微分器122)処理を適用した場合の処理例(左方向シフト)
(4a)図11(a):画像を構成する低周波領域に対する微分フィルタ係数[1,0,−1]による微分(本実施例では左画像微分器112)処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例(右方向シフト)
(4b)図11(b):画像を構成する低周波領域に対する微分フィルタ係数[−1,0,1]による微分(本実施例では右画像微分器122)処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例(左方向シフト)
入力信号(a)に対する微分処理により微分信号(b)が生成され、入力信号と微分信号との合成処理によって出力信号(c)が生成される。
図から理解されるように、出力信号(c)は入力信号(a)に対して右方向にシフトする。
入力信号(a)に対する微分処理により微分信号(b)が生成され、入力信号と微分信号との合成処理によって出力信号(c)が生成される。
図から理解されるように、出力信号(c)は入力信号(a)に対して左方向にシフトする。
図から理解されるように、出力信号(c)は入力信号(a)に対して右方向にシフトする。
図10(b)は、画像を構成する低周波領域に対する微分フィルタ係数[−1,0,1]による微分(本実施例では右画像微分器122)処理を適用した場合の処理例を示している。
図から理解されるように、出力信号(c)は入力信号(a)に対して左方向にシフトする。
図から理解されるように、出力信号(c)は入力信号(a)に対して右方向にシフトする。
図11(b)は、画像を構成する低周波領域に対する微分フィルタ係数[−1,0,1]による微分(本実施例では右画像微分器122)処理と、さらに微分信号に対する非線形変換による増幅を行った場合の処理例を示している。
図から理解されるように、出力信号(c)は入力信号(a)に対して左方向にシフトする。
すなわち、この非線形変換部113,123の変換処理態様の設定に応じて、低周波領域と高周波領域のシフト量の差を大きくする、あるいは小さくするといった制御が実現される。
次に、本発明の画像処理装置の実施例2について説明する。
実施例2の画像処理装置は、実施例1において説明した図1に示す画像処理装置100と同じ構成を有する。
ただし、左画像変換部110の左画像微分器112で適用する微分フィルタと、右画像変換部120の右画像微分器122で適用する微分フィルタとを、実施例1の場合と入れ替えた構成である。
この微分フィルタの変更により、左画像と右画像の画像シフト方向が逆方向となる。この結果、実施例1では視差範囲の縮小処理を行ったが、本実施例では視差範囲を拡大する処理が行われる。
(L1)入力左画像信号
(L2)出力左画像信号(視差調整左画像信号)
(R1)入力右画像信号
(R2)出力右画像信号(視差調整左画像信号)
これらの信号パターンを示している。
(L1)入力左画像信号
(R1)入力右画像信号
これらの1組の画像信号であり、これらは、3次元画像表示用の信号であり、予め視差が設定されている。
すなわち、例えば、図12において、輝度変化部分[P]の中央部分の(L1)入力左画像信号の表示位置と、(R1)入力右画像信号の表示位置にはずれ(ディスパリティ)が設定されている。この表示位置ずれによって視差が生ずる。
(L1)入力左画像信号の点(p1)と、
(R1)入力右画像信号の点(p2)と、
これらの各点間の距離[V1]として設定されている。
(L2)出力左画像信号(視差調整左画像信号)の点(p5)と、
(R2)出力右画像信号(視差調整左画像信号)の点(p6)と、
これらの各点間の距離[V3]がディスパリティとなる。
−1,0,1
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例1では、右画像変換部120の右画像微分器122で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素(n)の微分データ(In')を、
画素(n)の前(左)の画素(n−1)の画素値(本例では輝度)=(I(n−1))と、
画素(n)の後(右)の画素(n+1)の画素値(本例では輝度)=(I(n+1))、
を適用して以下のように算出することを意味する。
In'=−(I(n−1))+(I(n+1))
1,0,−1
上記系列の微分フィルタ係数を持つ微分フィルタである。
すなわち、前述の実施例1では、左画像変換部110の左画像微分器112で適した微分フィルタである。
上記系列の微分フィルタ係数を持つフィルタによる微分処理は、
水平ラインの画素(n)の微分データ(In')を、
画素(n)の前(左)の画素(n−1)の画素値(本例では輝度)=(I(n−1))と、
画素(n)の後(右)の画素(n+1)の画素値(本例では輝度)=(I(n+1))、
を適用して以下のように算出することを意味する。
In'=(I(n−1))−(I(n+1))
なお、非線形変換処理については省略して説明しているが、非線形変換処理を行った場合もシフト方向は同様の設定となる。
入力画像の組のディスパリティV1、
出力画像(視差調整画像信号)のディスパリティV3、
このように異なる値となる。
本実施例では、
V1<V3
であり、出力画像におけるディスパリティV3は、入力画像のディスパリティV1に比較して増加している。このディスパリティの増加より、視差が増幅される。
この効果は、各画像のシフトによる効果として得られるものである。
(a)入力画像の視差範囲S1
(b)視差調整画像の視差範囲S3
なお、図13(a),(b)は、先の実施例1の図7と同様、観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
図13(a)は視差調整前の入力画像に対応する図であり、図7(a)と同じ図である。図13(a)において、
被写体Aは、ディスパリティ=0、
被写体Bは、ディスパリティ=DB、
被写体Cは、ディスパリティ=DC、
である。
0<DB<DC
であり、ユーザの実感する被写体の観察位置は、Aがディスプレイ上、Bはディスプレイより奥(観察者から遠い)、CはBよりさらに遠い位置となる。
観察者の観察する視差範囲は、最も手前の表示画面位置のA点から、最も遠い被写体観察位置であるC点までの幅[S1]になる。
被写体A3,B3,C3は、図13(a)のA,B,Cと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
被写体A3は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体A3の位置は表示画面210上の位置241となる。
被写体B3は、左画像と右画像の表示画面210上の距離がDB3であり、ディスパリティがDB3となる。
観察者が実感する被写体B3の位置は観察者から表示画面210より遠い位置242となる。
ただし、観察者が実感する被写体B3の位置は、図13(a)に示す変換前の入力画像における被写体位置Bより観察者から遠い(表示画面210からも遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
なお、DB3<DC3である。
被写体C3は、左画像と右画像の表示画面210上の距離がDC3であり、ディスパリティがDC3となる。
観察者が実感する被写体C3の位置は観察者から表示画面210より遠く、さらに被写体B2より遠い位置243となる。
ただし、観察者が実感する被写体C3の位置は、図13(a)に示す変換前の入力画像における被写体位置Cより観察者から遠い(表示画面210からも遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
すなわち、B点は左画像位置が左方向に少し移動し、右画像位置が右方向に少し移動することにより、ディスパリティが大きくなる。すなわち、ディスパリティは、DBからDB3に大きくなる。
ディスパリティは、DCからDC3に大きくなる。
なお、
(DC3−DC)>(DB3−DB)
であり、奥の被写体のほうが、ディスパリティの拡大幅が大きくなる。
変換前の入力画像の視差範囲S1(A〜C)は、変換後の出力画像(視差調整画像)の視差範囲S3(A3〜C3)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲S3(A3〜C3)は、入力画像の視差範囲S1(A〜C)より拡大される。
すなわち、左画像微分処理部113で、図12(L2)に示す係数により微分を行い、微分信号を左画像に加算、または微分信号を非線形処理後に左画像に加算することにより、合焦位置から離れた被写体では入力画像に対して左方向に画像がずれる。
また、右画像微分処理部123で、図12(R2)に示す係数により微分を行い、微分信号を右画像に加算、または微分信号を非線形処理後に右画像に加算することにより、合焦位置から離れた被写体では入力画像に対して右方向に画像がずれる。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図13(a)の視差範囲S1から図13(b)に示す視差範囲S3のように視差範囲を拡大することができる。
図13に示す状況では、一番手前のA点で焦点があっており、奥に行くに従って被写体ボケが大きくなると考えると、A点はディスパリティがほとんど変化しない。
この場合、被写体A,B,Cの、
画像変換前のディスパリティをDA,DB,DCとし、
画像変換後のディスパリティをDA3,DB3,DC3とすると、
ディスパリティの変化幅は、
(DC3−DC)>(DB3−DB)>(DA3−DA)≒0
このような設定となる。
実施例1と実施例2では、画像処理装置に対して入力する3次元表示用の画像、すなわち、左画像(L1)10と右画像(R1)20の視差設定が表示部の表示面から奥側、すなわち観察者から遠い位置に設定される画像である場合の処理例を説明した。すなわち、
実施例1では表示部の表示面より奥側に設定された視差範囲の縮小、
実施例2では表示部の表示面より奥側に設定された視差範囲の拡大、
これらの処理例について説明した、
以下、実施例3として、視差制御を行なう入力画像が表示面より手前側(観察者方向)に被写体の観察位置が設定される3次元画像である場合の処理例を説明する。
実施例3(a)では表示部の表示面より手前に設定された視差範囲の縮小、
実施例3(b)では表示部の表示面より手前に設定された視差範囲の拡大、
これらの処理例について、順次説明する。
なお、本実施例3は実施例1で説明した図1の画像処理装置100と同一の構成によって実現される。
まず、表示部の表示面より手前に設定された視差範囲の縮小処理例について、図14を参照して説明する。
図14には、以下の各図を示している。
(a)入力画像の視差範囲S1
(b)視差調整画像の視差範囲S4
なお、図14(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
図14(a)は視差調整前の入力画像に対応する図である。
図14(a)において、
被写体Eは、ディスパリティ=DE=0、
被写体Fは、ディスパリティ=DF、
被写体Gは、ディスパリティ=DG、
である。各ディスパリティの大きさは、
DG>DF>DE≒0
上記のような関係にある。
観察者の観察する視差範囲は、最も遠い表示画面位置のE点から、最も近い被写体観察位置であるG点までの幅[S1]になる。
本実施例では、その交点が表示画面210より手前(観察者に近い方向)に設定されるように、左画像と右画像の各被写体の画像(E〜G右画像とE〜G左画像)が設定されている。
このような設定の3次元画像である場合、図14(a)に示すように、観察者は、各被写体を表示画面210より近い位置に実感することになる。
被写体E4,F4,G4は、図14(a)のE,F,Gと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
被写体E4は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体E4の位置は表示画面210上の位置となる。
被写体F4は、左画像と右画像の表示画面210上の距離がDF4であり、ディスパリティがDF4となる。
観察者が実感する被写体F4の位置は表示画面210から手前、すなわち観察者側の位置F4となる。
ただし、観察者が実感する被写体F4の位置は、図14(a)に示す変換前の入力画像における被写体位置Fより観察者から遠い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
なお、DF4<DG4である。
被写体G4は、左画像と右画像の表示画面210上の距離がDG4であり、ディスパリティがDG4となる。
観察者が実感する被写体G4の位置は表示画面210から手前、すなわち観察者側の位置G4となる。
ただし、観察者が実感する被写体G4の位置は、図14(a)に示す変換前の入力画像における被写体位置Gより観察者から遠い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
具体的には、図12を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については左方向へのシフト処理、
右画像(R1)20については右方向へのシフト処理、
これらの画像シフト処理が実行される。
ディスパリティは、DGからDG4に小さくなる。
なお、
(DG−DG4)>(DF−DF4)
であり、手前(表示画面210から遠い)の被写体のほうが、ディスパリティの縮小幅が大きくなる。
変換前の入力画像の視差範囲S1(E〜G)は、変換後の出力画像(視差調整画像)の視差範囲S4(E4〜G4)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲S4(E4〜G4)は、入力画像の視差範囲S1(E〜G)より縮小される。
本実施例3(a)では、左画像微分器112において、実施例2と同様、図12(L2)に示す微分フィルタ係数、すなわち、
[−1,0,1]
この微分フィルタ係数を適用した微分処理が実行され、図12(L1),(L2)に示すように左画像は左方向へシフトされる。
また、右画像微分器122において、図12(R2)に示す微分フィルタ係数、すなわち、
[1,0,−1]
この微分フィルタ係数を適用した微分処理が実行され、図12(R1),(R2)に示すように右画像は右方向へシフトされる。
また、右画像微分処理部123で、図12(R2)に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して小さくなり、図14(a)の視差範囲S1から図14(b)に示す視差範囲S4のように視差範囲を縮小することができる。
次に、表示部の表示面より手前に設定された視差範囲の拡大処理例について、図15を参照して説明する。
図15には、以下の各図を示している。
(a)入力画像の視差範囲S1
(b)視差調整画像の視差範囲S4
なお、図15(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
図15(a)は視差調整前の入力画像に対応する図であり、図14(a)に示す図と同じである。
図15(a)において、
被写体Eは、ディスパリティ=DE=0、
被写体Fは、ディスパリティ=DF、
被写体Gは、ディスパリティ=DG、
である。各ディスパリティの大きさは、
DG>DF>DE≒0
上記のような関係にある。
図15(a)に示す入力画像の視差範囲は、最も遠い表示画面位置のE点から、最も近い被写体観察位置であるG点までの幅[S1]になる。
被写体E5,F5,G5は、図15(a)のE,F,Gと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
被写体E5は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体E5の位置は表示画面210上の位置となる。
被写体F5は、左画像と右画像の表示画面210上の距離がDF5であり、ディスパリティがDF5となる。
観察者が実感する被写体F5の位置は表示画面210から手前、すなわち観察者側の位置F5となる。
ただし、観察者が実感する被写体F5の位置は、図15(a)に示す変換前の入力画像における被写体位置Fより観察者に近い(表示画面210から遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
なお、DF5<DG5である。
被写体G5は、左画像と右画像の表示画面210上の距離がDG5であり、ディスパリティがDG5となる。
観察者が実感する被写体G5の位置は表示画面210から手前、すなわち観察者側の位置G5となる。
ただし、観察者が実感する被写体G5の位置は、図15(a)に示す変換前の入力画像における被写体位置Gより観察者に近い(表示画面210から遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
具体的には、図6を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については右方向へのシフト処理、
右画像(R1)20については左方向へのシフト処理、
これらの画像シフト処理が実行される。
なお、
(DG5−DG)>(DF5−DF)
であり、手前(表示画面210から遠い)の被写体のほうが、ディスパリティの拡大幅が大きくなる。
変換前の入力画像の視差範囲S1(E〜G)は、変換後の出力画像(視差調整画像)の視差範囲S5(E5〜G5)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲S5(E5〜G5)は、入力画像の視差範囲S1(E〜G)より拡大される。
本実施例3(b)では、先に説明した実施例1と同様の微分処理が行われ、図6を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については左方向へのシフト処理、
右画像(R1)20については右方向へのシフト処理、
これらの画像シフト処理が実行される。
[1,0,−1]
この微分フィルタ係数を適用した微分処理が実行され、図6(L1),(L2)に示すように左画像は右方向へシフトされる。
また、右画像微分器122において、図6(R2)に示す微分フィルタ係数、すなわち、
[−1,0,1]
この微分フィルタ係数を適用した微分処理が実行され、図6(R1),(R2)に示すように右画像は左方向へシフトされる。
また、右画像微分処理部123で、図6(R2)に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティは、入力画像に対して大きくなり、図15(a)の視差範囲S1から図15(b)に示す視差範囲S5のように視差範囲を拡大することができる。
次に、表示部の表示面の前後に視差範囲を設定した画像を入力した場合の視差制御処理例について説明する。
実施例1,2では、表示面の奥に視差範囲が設定された画像に対する処理例を説明し、実施例3では表示面の手前に視差範囲の設定された画像に対する処理例を説明した。このように視差範囲の設定は、左画像と右画像における被写体位置を変更することで様々な態様に設定できる。従って、表示部の表示面の前後に視差範囲を設定した画像も生成できる。以下では、このような表示部の表示面の前後に視差範囲を設定した画像を入力して視差制御を行なう構成例について説明する。
なお、本実施例4は実施例1で説明した図1の画像処理装置100と同一の構成によって実現される。
(a)左画像を右方向にシフトし、右画像を左方向にシフトする処理例
(b)左画像を左方向にシフトし、右画像を右方向にシフトする処理例
これらの処理例について、順次説明する。
まず、図16を参照して、画像処理装置100に入力する左画像(L1)10を右方向にシフトし、右画像(R1)20を左方向にシフトする処理例について説明する。
本処理例は、先の実施例1において説明した図6に示す処理に対応する処理を実行する。
すなわち、
左画像(L1)10については右方向へのシフト処理、
右画像(R1)20については左方向へのシフト処理、
これらの画像シフト処理が実行される。
[1,0,−1]
この微分フィルタ係数を適用した微分処理が実行され、図6(L1),(L2)に示すように左画像は右方向へシフトされる。
また、右画像微分器122において、図6(R2)に示す微分フィルタ係数、すなわち、
[−1,0,1]
この微分フィルタ係数を適用した微分処理が実行され、図6(R1),(R2)に示すように右画像は左方向へシフトされる。
図16には、以下の各図を示している。
(a)入力画像の視差範囲T1
(b)視差調整画像の視差範囲T5
なお、図16(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者(ユーザ)が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
本実施例では、その交点が表示画面210の前後に設定されるように、左画像と右画像の各被写体の画像(H〜J右画像とH〜J左画像)が設定されている。
被写体Hが表示画面210上に観察され、
被写体Iが表示画面210の手前(観察者側)に観察され、
被写体Jが表示画面210の奥側に観察される設定となった入力画像である。
図16(a)は視差調整前の入力画像に対応する図である。
図16(a)において、
被写体Hは、ディスパリティ=DH=0、
被写体Iは、ディスパリティ=DI、
被写体Jは、ディスパリティ=DJ、
ここで、被写体Iのディスパリティは、被写体Iの像が表示画面210の手前に観察される設定であり、被写体Jのディスパリティは、被写体Jの像が表示画面210の奥に観察される設定である。
左画像における被写体Iの画像(I左画像)は表示画面210の右側、
右像における被写体Iの画像(I右画像)は表示画面210の左側に設定されている。
これに対して、
左画像における被写体Jの画像(J左画像)は表示画面210の左側、
右像における被写体Jの画像(J右画像)は表示画面210の右側に設定されている。
このような設定により、被写体Iが表示画面210の手前(観察者側)に観察され、被写体Jが表示画面210の奥側に観察される。
図16(b)は、本実施例4(a)に従って、図1に示す画像処理装置100において変換された画像、すなわち例えば視差調整左画像(L2)50と、視差調整右画像(R2)60とによって表示される画像の観察状況を示している。
被写体H6,I6,J6は、図16(a)のH,I,Jと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
被写体H6は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体H6の位置は表示画面210上の位置となる。
被写体I6は、左画像と右画像の表示画面210上の距離がDI6であり、ディスパリティがDI6となる。
観察者が実感する被写体I6の位置は表示画面210から手前、すなわち観察者側の位置I6となる。
ただし、観察者が実感する被写体I6の位置は、図16(a)に示す変換前の入力画像における被写体位置Iより観察者に近い(表示画面210から遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
被写体J6は、左画像と右画像の表示画面210上の距離がDJ6であり、ディスパリティがDJ6となる。
観察者が実感する被写体J6の位置は表示画面210の奥、すなわち観察者から最も遠い位置J6となる。
ただし、観察者が実感する被写体J6の位置は、図16(a)に示す変換前の入力画像における被写体位置Jより観察者に近い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
具体的には、図6を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については右方向へのシフト処理、
右画像(R1)20については左方向へのシフト処理、
これらの画像シフト処理が実行される。
左画像のI位置(図16(a)I左画像)が右方向に移動して図16(b)I6左画像位置となり、右画像のI位置(図16(a)I右画像)が左方向に移動して図16(b)I6右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、DIからDI6に大きくなる。
左画像のJ位置(図16(a)J左画像)が右方向に移動して図16(b)J6左画像位置となり、右画像のJ位置(図16(a)J右画像)が左方向に移動して図16(b)J6右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、DJからDJ6に小さくなる。
表示画面210の手前に観察される被写体Iではディスパリティが大きく変更され、より手前に観察されることになる。
一方、表示画面210の奥に観察される被写体Jではディスパリティが小さく変更され、この場合も変換前より手前に観察されることになる。
変換前の入力画像の視差範囲T1(I〜J)は、変換後の出力画像(視差調整画像)の視差範囲T6(I6〜J6)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲T6(I6〜J6)は、入力画像の視差範囲T1(I〜J)を全体として観察者側に近づけるように制御される。
本実施例4(a)では、前述したように、先に説明した実施例1と同様の微分処理が行われ、図6を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については右方向へのシフト処理、
右画像(R1)20については左方向へのシフト処理、
これらの画像シフト処理が実行される。
また、右画像微分処理部123で、図6(R2)に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して左方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図16(a),(b)に示すように変更され、図16(a)の視差範囲T1から図16(b)に示す視差範囲T6のように視差範囲を全体としてより観察者側に近づけることができる。
次に、図17を参照して、画像処理装置100に入力する左画像(L1)10を左方向にシフトし、右画像(R1)20を右方向にシフトする処理例について説明する。
本処理例は、先の実施例2において説明した図12に示す処理に対応する処理を実行する。
すなわち、
左画像(L1)10については左方向へのシフト処理、
右画像(R1)20については右方向へのシフト処理、
これらの画像シフト処理が実行される。
[−1,0,1]
この微分フィルタ係数を適用した微分処理が実行され、図12(L1),(L2)に示すように左画像は左方向へシフトされる。
また、右画像微分器122において、図12(R2)に示す微分フィルタ係数、すなわち、
[1,0,−1]
この微分フィルタ係数を適用した微分処理が実行され、図6(R1),(R2)に示すように右画像は右方向へシフトされる。
図17には、以下の各図を示している。
(a)入力画像の視差範囲T1
(b)視差調整画像の視差範囲T5
なお、図17(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者(ユーザ)が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
具体的には、
被写体Hが表示画面210上に観察され、
被写体Iが表示画面210の手前(観察者側)に観察され、
被写体Jが表示画面210の奥側に観察される設定となった入力画像である。
図17(a)において、
被写体Hは、ディスパリティ=DH=0、
被写体Iは、ディスパリティ=DI、
被写体Jは、ディスパリティ=DJ、
ここで、被写体Iのディスパリティは、被写体Iの像が表示画面210の手前に観察される設定であり、被写体Jのディスパリティは、被写体Jの像が表示画面210の奥に観察される設定である。
図17(b)は、本実施例4(b)に従って、図1に示す画像処理装置100において変換された画像、すなわち例えば視差調整左画像(L2)50と、視差調整右画像(R2)60とによって表示される画像の観察状況を示している。
被写体H7,I7,J7は、図17(a)のH,I,Jと同じ被写体であるが、前述した変換処理により画像シフトが実行されているため観察者によって観察される被写体位置が変化する。
被写体H7は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体H7の位置は表示画面210上の位置となる。
被写体I7は、左画像と右画像の表示画面210上の距離がDI7であり、ディスパリティがDI7となる。
観察者が実感する被写体I7の位置は表示画面210から手前、すなわち観察者側の位置I7となる。
ただし、観察者が実感する被写体I7の位置は、図17(a)に示す変換前の入力画像における被写体位置Iより観察者から遠い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
被写体J7は、左画像と右画像の表示画面210上の距離がDJ7であり、ディスパリティがDJ7となる。
観察者が実感する被写体J7の位置は表示画面210の奥、すなわち観察者から最も遠い位置J7となる。
ただし、観察者が実感する被写体J7の位置は、図17(a)に示す変換前の入力画像における被写体位置Jより観察者から遠い(表示画面210からも遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
具体的には、図12を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については左方向へのシフト処理、
右画像(R1)20については右方向へのシフト処理、
これらの画像シフト処理が実行される。
左画像のI位置(図17(a)I左画像)が左方向に移動して図17(b)I7左画像位置となり、右画像のI位置(図17(a)I右画像)が右方向に移動して図17(b)I7右画像位置となる。これにより、ディスパリティが小さくなる。すなわち、ディスパリティは、DIからDI7に小さくなる。
左画像のJ位置(図17(a)J左画像)が左方向に移動して図17(b)J7左画像位置となり、右画像のJ位置(図17(a)J右画像)が右方向に移動して図17(b)J7右画像位置となる。これにより、ディスパリティが大きくなる。すなわち、ディスパリティは、DJからDJ7に大きくなる。
表示画面210の手前に観察される被写体Iではディスパリティが小さく変更され、観察者から遠い位置、すなわち表示画面210に近い位置に観察されることになる。
一方、表示画面210の奥に観察される被写体Jではディスパリティが大きく変更され、この場合も変換前より、観察者からより遠い位置に観察されることになる。
変換前の入力画像の視差範囲T1(I〜J)は、変換後の出力画像(視差調整画像)の視差範囲T7(I7〜J7)に変化する。
すなわち、この例では、出力画像(視差調整画像)の視差範囲T7(I7〜J7)は、入力画像の視差範囲T1(I〜J)を全体として観察者から遠ざけるように制御される。
本実施例4(b)では、前述したように、先に説明した実施例2と同様の微分処理が行われ、図12を参照して説明したと同様の画像シフト処理が実行される。すなわち、
左画像(L1)10については左方向へのシフト処理、
右画像(R1)20については右方向へのシフト処理、
これらの画像シフト処理が実行される。
また、右画像微分処理部123で、図12(R2)に示す係数により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力画像に対して右方向に画像がずれた変換画像が生成される。
この結果、左画像と右画像の間のディスパリティが図17(a),(b)に示すように変更され、図17(a)の視差範囲T1から図17(b)に示す視差範囲T7のように視差範囲を全体としてより観察者から遠ざけることができる。
次に、簡易的なディスパリティマップを利用した実施例について説明する。
次に、実施例5として、簡易なディスパリティマップを利用して視差制御を実行する画像処理装置の構成と処理例について説明する。
以下に説明する実施例は、簡易的なディスパリティマップを生成することにより、視差範囲の制御をより的確に行うことが可能な画像変換装置を実現する。
右画像変換部120は、右画像(R1)20を入力する右画像入力部121、右画像20の微分処理を行う右画像微分処理部122、右画像20の微分信号を非線形変換する右非線形変換部123、右画像20と非線形変換された微分信号を合成する右画像合成部124、変換後の視差調整右画像(R2)60を出力する右画像出力部125から構成される。
この左画像変換部110と右画像変換部120は、先に実施例1〜4において説明した処理と同様の処理を実行する。
(a)左画像の対応点が右画像の対応点よりも左に位置する。
(b)左画像の対応点が右画像の対応点よりも右に位置する。
この2つのパターンのいずれであるかを判定する。
(a)の場合は、先に実施例4において説明した図17(a)を参照して説明すると、被写体Jの左画像と右画像の対応関係となる。
すなわち、左画像の対応点(J左画像)は、右画像の対応点(J右画像)よりも左に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より奥側(観察者から遠い位置)となる。
(b)の場合は、先に実施例4において説明した図17(a)を参照して説明すると、被写体Iの左画像と右画像の対応関係となる。
すなわち、左画像の対応点(I左画像)は、右画像の対応点(I右画像)よりも右に位置する。
なお、このような設定の場合、その被写体の観察される位置は、表示画面より手前側(観察者に近い位置)となる。
(a)左画像の対応点が右画像の対応点よりも左に位置する。
この場合のディスパリティを正のディスパリティとする。
(b)左画像の対応点が右画像の対応点よりも右に位置する。
この場合のディスパリティを負のディスパリティとする。
正のディスパリティの場合は、被写体の観察される位置は、表示画面より奥側(観察者から遠い位置)となる。
負のディスパリティの場合は、被写体の観察される位置は、表示画面より手前側(観察者に近い位置)となる。
すなわち、
(1)左画像を右方向にシフトし、右画像を左方向にシフトする処理(図6)、
(2)左画像を左方向にシフトし、右画像を右方向にシフトする処理(図12)、
これらのいずれかの処理をディスパリティマップの対象画素位置での極性に応じて切り換えて実行する。
実施例5(a)視差範囲を縮小する実施例
実施例5(b)視差範囲を拡大する実施例
まず、図19を参照して、ディスパリティの極性判定情報を適用して視差範囲を縮小する処理を行う実施例について説明する。
(a)入力画像の視差範囲U1
(b)視差調整画像の視差範囲U8
なお、図19(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者(ユーザ)が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
被写体Kが表示画面210上に観察され、
被写体Lが表示画面210の手前(観察者側)に観察され、
被写体Mが表示画面210の奥側に観察される設定となった入力画像である。
図19(a)において、
被写体Kは、ディスパリティ=DH=0、
被写体Lは、ディスパリティ=DL(ディスパリティ極性=負(−))、
被写体Mは、ディスパリティ=DM(ディスパリティ極性=正(+))、
ここで、被写体Lのディスパリティは極性が負であり、被写体Lの像が表示画面210の手前に観察される設定であり、被写体Mのディスパリティは極性が正であり、被写体Mの像が表示画面210の奥に観察される設定である。
視差範囲は、被写体L〜Mの観察位置に相当する視差範囲[U1]となる。
被写体K8,L8,M8は、図19(a)のK,L,Mと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
被写体K8は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体K8の位置は表示画面210上の位置となる。
被写体L8は、左画像と右画像の表示画面210上の距離がDL8であり、ディスパリティがDL8となる。
観察者が実感する被写体L8の位置は表示画面210から手前、すなわち観察者側の位置L8となる。
ただし、観察者が実感する被写体L8の位置は、図19(a)に示す変換前の入力画像における被写体位置Lより観察者から遠い(表示画面210に近い)位置に設定される。これは画像のシフト処理の結果である。
前述したように、被写体Lは、ディスパリティ=DL(ディスパリティ極性=負(−))である。すなわち、左画像の対応点(L左画像)は、右画像の対応点(L右画像)よりも右に位置する。
このようにディスパリティ極性=負(−)の画素位置(画素またはブロック)についての変換処理は、本実施例5(a)では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理(図12参照)」を実行する。
また、右画像微分処理部123では、図12(R2)に示す係数[1,0,−1]により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
観察者が実感する被写体M8の位置は表示画面210より奥の位置M8となる。
ただし、観察者が実感する被写体M8の位置は、図19(a)に示す変換前の入力画像における被写体位置Mより観察者から近い(表示画面210に近い)位置に設定される。これは前述の画像のシフト処理の結果である。
前述したように、被写体Mは、ディスパリティ=DM(ディスパリティ極性=正(+))である。すなわち、左画像の対応点(M左画像)は、右画像の対応点(M右画像)よりも左に位置する。
このようにディスパリティ極性=正(+)の画素位置(画素またはブロック)についての変換処理は、本実施例5(a)では、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理(図6参照)」を実行する。
また、右画像微分処理部123では、図6(R2)に示す係数[−1,0,1]により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
変換後の視差範囲[U8]は、変換前の画像による視差範囲[U1]に比較して、表示画面の前後とも表示画面210に近づき、縮小された視差範囲となる。
次に、図20を参照して、ディスパリティの極性判定情報を適用して視差範囲を拡大する処理を行う実施例について説明する。
(a)入力画像の視差範囲U1
(b)視差調整画像の視差範囲U9
なお、図20(a),(b)には、さらに観察者(ユーザ)の左眼201、右眼202と、3次元画像表示を実行中の表示部の表示画面210を示している。
表示画面210上には、被写体距離に応じた様々な視差を持つ画像が提示される。
本実施例では、観察者(ユーザ)が被写体の位置を表示画面の前後に実感される設定とした画像を入力画像としている。
被写体Kが表示画面210上に観察され、
被写体Lが表示画面210の手前(観察者側)に観察され、
被写体Mが表示画面210の奥側に観察される設定となった入力画像である。
図20(a)において、
被写体Kは、ディスパリティ=DH=0、
被写体Lは、ディスパリティ=DL(ディスパリティ極性=負(−))、
被写体Mは、ディスパリティ=DM(ディスパリティ極性=正(+))、
ここで、被写体Lのディスパリティは極性が負であり、被写体Lの像が表示画面210の手前に観察される設定であり、被写体Mのディスパリティは極性が正であり、被写体Mの像が表示画面210の奥に観察される設定である。
視差範囲は、被写体L〜Mの観察位置に相当する視差範囲[U1]となる。
被写体K9,L9,M9は、図20(a)のK,L,Mと同じ被写体であるが、前述したディスパリティ極性に応じた画像シフトを伴う画像変換処理が実行されているため観察者によって観察される被写体位置が変化する。
被写体K9は、左画像と右画像が表示画面210上の同じ位置に表示されており、ディスパリティが0となる。
観察者が実感する被写体K9の位置は表示画面210上の位置となる。
被写体L9は、左画像と右画像の表示画面210上の距離がDL9であり、ディスパリティがDL9となる。
観察者が実感する被写体L9の位置は表示画面210から手前、すなわち観察者側の位置L9となる。
ただし、観察者が実感する被写体L9の位置は、図20(a)に示す変換前の入力画像における被写体位置Lより観察者に近い(表示画面210から遠い)位置に設定される。これは画像のシフト処理の結果である。
前述したように、被写体Lは、ディスパリティ=DL(ディスパリティ極性=負(−))である。すなわち、左画像の対応点(L左画像)は、右画像の対応点(L右画像)よりも右に位置する。
このようにディスパリティ極性=負(−)の画素位置(画素またはブロック)についての変換処理は、本実施例5(b)では、先の実施例5(a)とは異なり、
「左画像を右方向にシフトし、右画像を左方向にシフトする処理(図6参照)」を実行する。
また、右画像微分処理部123では、図6(R2)に示す係数[−1,0,1]により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して左方向に画像がずれた変換画像を生成する。
観察者が実感する被写体M9の位置は表示画面210より奥の位置M9となる。
ただし、観察者が実感する被写体M9の位置は、図20(a)に示す変換前の入力画像における被写体位置Mより観察者から遠い(表示画面210から遠い)位置に設定される。これは前述の画像のシフト処理の結果である。
前述したように、被写体Mは、ディスパリティ=DM(ディスパリティ極性=正(+))である。すなわち、左画像の対応点(M左画像)は、右画像の対応点(M右画像)よりも左に位置する。
このようにディスパリティ極性=正(+)の画素位置(画素またはブロック)についての変換処理は、本実施例5(b)では、
「左画像を左方向にシフトし、右画像を右方向にシフトする処理(図12参照)」を実行する。
また、右画像微分処理部123では、図12(R2)に示す係数[1,0,−1]により微分を行い、微分信号、または微分信号を非線形処理後に右画像に加算する合成処理により、入力右画像に対して右方向に画像がずれた変換画像を生成する。
変換後の視差範囲[U9]は、変換前の画像による視差範囲[U1]に比較して、表示画面の前後とも表示画面210から遠ざかり、拡大された視差範囲となる。
次に、シフト態様の制御のための制御信号を入力可能とした構成を有する実施例について図21〜23を参照して説明する。
上述の実施例では、図1に示す構成において、左画像微分器112と右画像微分器122において適用する微分フィルタ係数について、図6や図12を参照して説明したように、[−1,0,1]と[1,0,−1]の組み合わせを利用する構成としている。
実施例1では、図6に従った微分フィルタ係数の設定(左画像微分器:[1,0,−1]、右画像微分器[−1,0,1])として、左画像を右方向にシフト、右画像を左方向にシフトする設定。
実施例2では図12に従った設定(左画像微分器:[−1,0,1]、右画像微分器[1,0,−1])として、左画像を左方向にシフト、右画像を右方向にシフトする設定。
実施例3(a)では図12に従った設定、
実施例3(b)では図6に従った設定、
実施例4(a)では図6に従った設定、
実施例4(b)では図12に従った設定、
実施例5(a)では図12に従った設定、
実施例5(b)では図6に従った設定、
このように、各実施例において、各微分器において適用する微分フィルタ係数を設定している。
この微分フィルタ係数の設定態様に応じて、画像のシフト方向の制御が可能となる。
また、微分フィルタ係数は、[−1,0,1],[1,0,−1]のような組み合わせに限らず、[−2,0,2],[2,0,−2]、さらには、[−1,−0.5,0,0.5,1],[1,0.5,0,−0.5,−1]の組み合わせ、あるいは一次微分フィルタ以外の2次元フィルタを適用するといった様々な設定が可能であり、この様な微分フィルタ係数の変更により、シフト態様を変更することが可能となる。
前述したように、この変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
図21に示す画像処理装置400は、図1に示す画像処理装置100に制御信号入力部401を追加した構成を有する。その他の構成は、図1に示す構成と同一である。
この左画像変換部110と右画像変換部120は、先に実施例1〜4において説明した処理と同様の処理を実行する。
左画像微分器112は、フィルタ選択部421、微分フィルタ適用部422を有する。
例えばこのような構成により、様々な微分フィルタ係数を適用した微分処理が実現される。
なお、図22は左画像微分器112の構成例として説明したが、右画像微分器122も同様の構成を有し、様々な微分フィルタ係数を適用した微分処理が実現される。
左画像非線形変換部113と、右画像非線形変換部123に入力される制御信号は、微分信号の変換処理態様を制御する信号である。先に説明した実施例では、例えば図3に示すパターンに従った非線形変換処理を実行する構成として説明したが、本実施例では、制御信号によって、変換パターンを様々な態様に制御可能な構成としている。制御信号は、例えば入力(In)に対して適用する関数Fとして設定可能である。
この制御信号としての関数Fによって、
出力Out=F(In)が決定される。
このように変換パターンを調整することで、シフト態様を制御できる。具体的には、例えば焦点のあった領域とボケ領域とのシフト比率などを変更する制御が可能となる。
なお、変換処理は非線形に限らず線形変換とする設定としてもよい。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や3次元画像の設定を実現することが可能となる。
左画像変換部110、右画像変換部120、視差検出部301の構成および実行する処理は先に実施例5において説明したとほぼ同様である。
ただし、図23に示す画像処理装置500は、左画像微分器112と右画像微分器122において適用する微分態様を制御するための制御信号、および、左画像非線形変換部113と、右画像非線形変換部123に変換処理の制御信号を入力可能な構成である。
例えば変換後の画像を表示部に表示させて、表示画像をユーザが観察しながら制御信号を変更するといった処理により、ユーザの好みの視差範囲の設定や3次元画像の設定を実現することが可能となる。
20 右画像(R1画像)
50 視差調整左画像(L2画像)
60 視差調整右画像(R2画像)
100 画像処理装置
110 左画像変換部
111 左画像入力部
112 左画像微分処理部
113 左非線形変換部
114 左画像合成部
115 左画像出力部
120 右画像変換部
121 右画像入力部
122 右画像微分処理部
123 右非線形変換部
124 右画像合成部
125 右画像出力部
300 画像処理装置
301 視差検出部
400 画像処理装置
401 制御信号入力部
421 フィルタ選択部
422 微分フィルタ適用部
500 画像処理装置
501 制御信号入力部
Claims (12)
- 立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換部と、
立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換部を有し、
前記左画像変換部、および右画像変換部は、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成する画像処理装置。 - 前記左画像変換部は、
前記特徴量として前記左画像の画像信号の微分信号を生成する左画像微分器と、
前記左画像の微分信号、または該微分信号の変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成する左画像合成部を有し、
前記右画像変換部は、
前記特徴量として前記右画像の画像信号の微分信号を生成する右画像微分器と、
前記右画像の微分信号、または該微分信号の変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する右画像合成部を有する請求項1に記載の画像処理装置。 - 前記左画像変換部は、
前記前記左画像の微分信号の非線形変換処理を実行する左画像非線形変換部を有し、前記左画像合成部は、前記左画像非線形変換部の生成した変換信号を前記左画像信号に加算する合成処理を実行して前記左画像変換画像を生成し、
前記右画像変換部は、
前記前記右画像の微分信号の非線形変換処理を実行する右画像非線形変換部を有し、前記右画像合成部は、前記右画像非線形変換部の生成した変換信号を前記右画像信号に加算する合成処理を実行して前記右画像変換画像を生成する請求項2に記載の画像処理装置。 - 前記左画像微分器と前記右画像微分器は、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項2または3に記載の画像処理装置。
- 前記左画像微分器と前記右画像微分器は、同一の微分態様による微分処理を実行し、
前記左画像合成部と前記右画像合成部のいずれか一方は、各画像の微分信号または該微分信号の変換信号を入力画像信号に加算し、他方が入力画像信号から減算する処理を行う請求項2または3に記載の画像処理装置。 - 前記左画像微分器と前記右画像微分器は、入力画像信号の輝度信号の微分処理を実行する請求項2〜5いずれかに記載の画像処理装置。
- 前記画像処理装置は、さらに、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置を解析して視差情報を生成する視差検出部を有し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成する前記視差情報に応じて、微分処理態様を変更して微分処理を実行する請求項2〜6いずれかに記載の画像処理装置。 - 前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像における同一被写体部に相当する対応点の配置が、
(a)左画像の対応点が右画像の対応点よりも左に位置する、
(b)左画像の対応点が右画像の対応点よりも右に位置する、
上記(a),(b)いずれの設定にあるかを示すディスパリティ極性情報を生成し、
前記左画像微分器と前記右画像微分器は、前記視差検出部の生成するディスパリティ極性情報に応じて、逆パターンの微分フィルタ係数列を有する一次微分フィルタを適用した微分処理を実行する請求項7に記載の画像処理装置。 - 前記視差検出部は、
画像処理装置に入力する前記左画像と前記右画像の縮小画像または間引き画像を適用して視差情報を生成する請求項7または8に記載の画像処理装置。 - 前記画像処理装置は、さらに、
前記左画像微分器と前記右画像微分器の微分処理態様、または前記左画像非線形変換部と前記右画像非線形変換部における変換処理態様の少なくともいずれかを変更制御するための制御信号を入力する制御信号入力部を有する請求項3〜9いずれかに記載の画像処理装置。 - 画像処理装置において実行する画像処理方法であり、
左画像変換部が、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成する左画像変換ステップと、
右画像変換部が、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成する右画像変換ステップを有し、
前記左画像変換ステップ、および右画像変換ステップは、各入力画像の画像信号の特徴量を抽出し、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成するステップである画像処理方法。 - 画像処理装置において画像処理を実行させるプログラムであり、
左画像変換部に、立体画像表示に適用する左眼提示用の左画像を入力し、左画像の画像信号を右方向または左方向に位相変化させて左画像変換画像を生成させる左画像変換ステップと、
右画像変換部に、立体画像表示に適用する右眼提示用の右画像を入力し、右画像の画像信号を左方向または右方向に位相変化させて右画像変換画像を生成させる右画像変換ステップを実行させ、
前記左画像変換ステップ、および右画像変換ステップにおいて、各入力画像の画像信号の特徴量を抽出させ、抽出特徴量を適用した画像変換処理により、前記左画像変換画像、および前記右画像変換画像を生成させるプログラム。
Priority Applications (8)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010029239A JP5521608B2 (ja) | 2010-02-12 | 2010-02-12 | 画像処理装置、および画像処理方法、並びにプログラム |
RU2012133463/08A RU2012133463A (ru) | 2010-02-12 | 2011-01-05 | Устройство обработки изображений, способ обработки изображений и программа |
US13/576,987 US9088774B2 (en) | 2010-02-12 | 2011-01-05 | Image processing apparatus, image processing method and program |
BR112012019677A BR112012019677A2 (pt) | 2010-02-12 | 2011-01-05 | aparelho e método de processamento de imagem, e, programa para fazer com que um aparelho de processamento de imagem excute processamento de imagem |
PCT/JP2011/050042 WO2011099314A1 (ja) | 2010-02-12 | 2011-01-05 | 画像処理装置、および画像処理方法、並びにプログラム |
EP20110742063 EP2536159A4 (en) | 2010-02-12 | 2011-01-05 | IMAGE PROCESSING DEVICE, IMAGE PROCESSING PROCESS AND CORRESPONDING PROGRAM |
EP16166620.1A EP3079360A1 (en) | 2010-02-12 | 2011-01-05 | Image processing apparatus, image processing method, and program |
CN201180008412.4A CN102742285B (zh) | 2010-02-12 | 2011-01-05 | 图像处理设备和图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010029239A JP5521608B2 (ja) | 2010-02-12 | 2010-02-12 | 画像処理装置、および画像処理方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011166606A true JP2011166606A (ja) | 2011-08-25 |
JP5521608B2 JP5521608B2 (ja) | 2014-06-18 |
Family
ID=44367600
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010029239A Expired - Fee Related JP5521608B2 (ja) | 2010-02-12 | 2010-02-12 | 画像処理装置、および画像処理方法、並びにプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US9088774B2 (ja) |
EP (2) | EP2536159A4 (ja) |
JP (1) | JP5521608B2 (ja) |
CN (1) | CN102742285B (ja) |
BR (1) | BR112012019677A2 (ja) |
RU (1) | RU2012133463A (ja) |
WO (1) | WO2011099314A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013115532A (ja) * | 2011-11-28 | 2013-06-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2016152023A (ja) * | 2015-02-19 | 2016-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2016178678A (ja) * | 2016-05-20 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2020035481A (ja) * | 2019-11-14 | 2020-03-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5879713B2 (ja) * | 2010-12-09 | 2016-03-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
CN103037236A (zh) * | 2011-08-22 | 2013-04-10 | 联发科技股份有限公司 | 图像处理方法以及装置 |
JP7143092B2 (ja) * | 2018-03-12 | 2022-09-28 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用画像処理装置、医療用観察装置、および画像処理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
EP2152011A2 (en) * | 2008-08-06 | 2010-02-10 | Sony Corporation | Image processing apparatus, image processing method, and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3089306B2 (ja) | 1993-08-26 | 2000-09-18 | 松下電器産業株式会社 | 立体画像撮像及び表示装置 |
JP4535954B2 (ja) * | 2005-04-18 | 2010-09-01 | 日本電信電話株式会社 | 2眼式立体表示装置およびプログラム |
-
2010
- 2010-02-12 JP JP2010029239A patent/JP5521608B2/ja not_active Expired - Fee Related
-
2011
- 2011-01-05 US US13/576,987 patent/US9088774B2/en not_active Expired - Fee Related
- 2011-01-05 WO PCT/JP2011/050042 patent/WO2011099314A1/ja active Application Filing
- 2011-01-05 CN CN201180008412.4A patent/CN102742285B/zh not_active Expired - Fee Related
- 2011-01-05 EP EP20110742063 patent/EP2536159A4/en not_active Withdrawn
- 2011-01-05 EP EP16166620.1A patent/EP3079360A1/en not_active Withdrawn
- 2011-01-05 RU RU2012133463/08A patent/RU2012133463A/ru unknown
- 2011-01-05 BR BR112012019677A patent/BR112012019677A2/pt not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09322199A (ja) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
EP2152011A2 (en) * | 2008-08-06 | 2010-02-10 | Sony Corporation | Image processing apparatus, image processing method, and program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013115532A (ja) * | 2011-11-28 | 2013-06-10 | Sony Corp | 画像処理装置および方法、記録媒体、並びに、プログラム |
US9392257B2 (en) | 2011-11-28 | 2016-07-12 | Sony Corporation | Image processing device and method, recording medium, and program |
US10424049B2 (en) | 2011-11-28 | 2019-09-24 | Sony Corporation | Image processing device, method, and recording medium |
JP2016152023A (ja) * | 2015-02-19 | 2016-08-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2016178678A (ja) * | 2016-05-20 | 2016-10-06 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
JP2020035481A (ja) * | 2019-11-14 | 2020-03-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9088774B2 (en) | 2015-07-21 |
US20130010059A1 (en) | 2013-01-10 |
EP3079360A1 (en) | 2016-10-12 |
EP2536159A4 (en) | 2014-06-11 |
CN102742285B (zh) | 2015-06-17 |
CN102742285A (zh) | 2012-10-17 |
RU2012133463A (ru) | 2014-02-10 |
WO2011099314A1 (ja) | 2011-08-18 |
EP2536159A1 (en) | 2012-12-19 |
BR112012019677A2 (pt) | 2016-05-03 |
JP5521608B2 (ja) | 2014-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5521608B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
KR101185870B1 (ko) | 3d 입체 영상 처리 장치 및 방법 | |
JP5521913B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP5347717B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
KR101856805B1 (ko) | 화상 처리 장치 및 화상 처리 방법, 및 프로그램 | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
JP2011124935A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2012138787A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
CN102256143A (zh) | 视频处理装置及方法 | |
JP2012120057A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP2014042238A (ja) | 3dビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP2011176822A (ja) | 画像処理装置、立体表示装置及び画像処理方法 | |
Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system | |
KR101939243B1 (ko) | 입체 깊이 조정 및 초점 조정 | |
WO2012018001A1 (ja) | 映像処理装置、表示装置及び映像処理方法 | |
JP5794335B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
Jurk et al. | Advanced Video Processing for Future Autostereoscopic 3D Displays | |
JP2011009972A (ja) | 立体映像表示装置および立体映像表示方法 | |
Lateef | USING ANAGLYPH 3D TECHNOLOGY FOR VIDEO PRODUCTION WITH HIGH RESOLUTION BASED ON SUPER-RESOLUTION | |
WO2012090813A1 (ja) | 画像処理装置及び画像処理システム | |
WO2013073369A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、画像表示装置、および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140324 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5521608 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |