JP2011205346A - 画像処理装置および画像処理装置の制御方法 - Google Patents

画像処理装置および画像処理装置の制御方法 Download PDF

Info

Publication number
JP2011205346A
JP2011205346A JP2010069926A JP2010069926A JP2011205346A JP 2011205346 A JP2011205346 A JP 2011205346A JP 2010069926 A JP2010069926 A JP 2010069926A JP 2010069926 A JP2010069926 A JP 2010069926A JP 2011205346 A JP2011205346 A JP 2011205346A
Authority
JP
Japan
Prior art keywords
image
interpolation
line
shift amount
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010069926A
Other languages
English (en)
Other versions
JP5489809B2 (ja
JP2011205346A5 (ja
Inventor
Shuki Ando
宗棋 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010069926A priority Critical patent/JP5489809B2/ja
Publication of JP2011205346A publication Critical patent/JP2011205346A/ja
Publication of JP2011205346A5 publication Critical patent/JP2011205346A5/ja
Application granted granted Critical
Publication of JP5489809B2 publication Critical patent/JP5489809B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】画像のライン間を精度良く補間することのできる画像処理装置および画像処理装置の制御方法を提供する。
【解決手段】本発明の画像処理装置は、同一対象を異なる視点から撮影した第1画像と第2画像を用いて、前記第1画像のライン間を補間する画像処理装置であって、前記第1画像と前記第2画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出手段と、前記算出手段の算出結果に基づいて、前記第1画像のライン間に補間ラインを生成する生成手段と、を有し、前記生成手段は、補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する2画像間補間処理を実行することを特徴とする。
【選択図】図2

Description

本発明は、画像処理装置および画像処理装置の制御方法に関する。
従来、インタレース映像をプログレッシブ映像へ変換する技術は走査線補間技術として知られている。また、特許文献1には、立体映像を構成する2つの映像(インタレース映像;右目用映像と左目用映像)からプログレッシブ映像を生成する技術が開示されている。具体的には、特許文献1に開示の技術では、右目用映像と左目用映像とは互いに相補的な関係にある。そして、右目用映像の補間ライン(プログレッシブ映像を生成するために右目用映像に対して生成されるライン)の上下ラインと、左目用映像の上記補間ラインに相当するラインの映像信号を用いて、該補間ラインを生成する。
立体映像において、右目用映像と左目用映像とは非常に類似している(相関性が高い)が、それらの映像間には物体の奥行きに応じた視差が存在する。
上述した走査線補間技術はインタレース方式の右目用映像と左目用映像のそれぞれに対して適用可能であるが、それらの映像間の相関性を有効に利用することはできない。そのため、上述した走査線補間技術では高画質なプログレッシブ映像を生成することができない(画像のライン間を精度良く補間することができない)。
また、右目用映像と左目用映像とが互いに相補的な関係にあるとは限らない。右目用映像と左目用映像とが互いに相補的な関係にあったとしても、右目用映像の補間ラインに相当する左目用映像のラインの映像が必ずしも補間ラインの位置に対応する映像とは限らない。そのため、特許文献1の技術では、高画質なプログレッシブ映像を生成できないことや、プログレッシブ映像自体を生成できないことがある。
特開2002−135805号公報
本発明は、画像のライン間を精度良く補間することのできる画像処理装置および画像処理装置の制御方法を提供することを目的とする。
本発明の画像処理装置は、同一対象を異なる視点から撮影した第1画像と第2画像を用いて、前記第1画像のライン間を補間する画像処理装置であって、前記第1画像と前記第2画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出手段と、前記算出手段の算出結果に基づいて、前記第1画像のライン間に補間ラインを生成する生成手段と、を有し、前記生成手段は、補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する2画像間補間処理を実行することを特徴とする。
本発明の画像処理装置の制御方法は、同一対象を異なる視点から撮影した第1画像と第2画像を用いて、前記第1画像のライン間を補間する画像処理装置の制御方法であって、前記第1画像と前記第2画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出ステップと、前記算出ステップでの算出結果に基づいて、前記第1画像のライン間に補間ラインを生成する生成ステップと、を有し、前記生成ステップでは、補間ラインの生成
位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する2画像間補間処理を実行することを特徴とする。
本発明によれば、画像のライン間を精度良く補間することができる。
実施例1に係る立体映像表示システムの構成図。 本実施例に係るIP変換部の構成図。 動き検出方法の概念図。 左フィールド内補間画像の生成方法の概念図。 左フィールド間補間画像の生成方法の概念図。 本実施例に係る左右比較部の構成図。 実施例1に係る左右比較部の処理の流れを示すフローチャート。 注目ブロック領域の選択の概念図。 探索ベクトルと探索ブロックの概念図。 視差限界の概念図。 実施例1に係るオフセット検出部の構成図。 2画像間補間処理の概念図。 実施例2に係る立体映像表示システムの構成図。 実施例2に係る立体映像表示システムの動作タイミングの概念図。 実施例3に係る立体映像表示システムの構成図。 実施例3に係る立体映像表示システムの動作タイミングの概念図。 実施例4に係る映像コンテンツ作成システムの概念図。
以下、本実施形態に係る画像処理装置及びその制御方法について説明する。本実施形態に係る画像処理装置は、同一対象を異なる視点から撮影した第1画像と第2画像を用いて、第1画像のライン間を補間する。
<実施例1>
(構成)
図1に本実施例に係る立体映像表示システムの構成を示す。
再生機1は光ディスクや磁気ディスクなどに記録された映像を再生する再生装置等を備える。再生機1は、同一対象を異なる視点から撮影した2つの映像(左入力映像(左目用の映像)と右入力映像(右目用の映像))から成る立体映像を再生し、左入力画像(信号)S1と右入力画像(信号)S2を出力する。左入力画像S1(第1画像)と右入力画像S2(第2画像)は、それぞれ、インタレース映像である左入力映像、右入力映像の1つのフィールドである。
IP変換部2は本実施例に係る画像処理装置である。IP変換部2は、左入力映像と右入力映像をそれぞれプログレッシブ映像に変換する。具体的には、左入力画像S1のライン間に補間ラインを生成することにより、左入力画像S1を左出力画像S15に変換する。右入力画像S2も同様に右出力画像S25に変換する。
立体表示機3は、左出力画像S15と右出力画像S25を取得して、立体映像を表示する。
次に、IP変換部2の構成を図2に示す。
左動き検出部11は、左入力画像S1の動きを検出する(動き検出手段)。具体的には、左入力画像S1(左注目フィールド)の前後のフィールドを用いて左入力画像S1にお
ける補間画素(補間ラインを構成する画素)の生成位置毎の動きの有無を検出する。そして、検出結果として左動き検出信号S11を出力する。
左フィールド内補間画像生成部12、左フィールド間補間画像生成部13、左右間補間画像生成部14、及び、左画素選択部15は、本発明の生成手段を構成する。
左フィールド内補間画像生成部12は、左入力画像S1に対し、フィールド内補間処理を実行する。具体的には、左入力画像S1における補間ラインの生成位置の上下のラインから補間ラインを生成し、生成した補間ラインで構成される左フィールド内補間画像S12を出力する。
左フィールド間補間画像生成部13は、左入力画像S1に対し、フィールド間補間処理を実行する。具体的には、左入力画像S1の前後のフィールドから左入力画像S1の補間ラインを生成し、生成した補間ラインで構成される左フィールド間補間画像S13を出力する。
左右間補間画像生成部14は、後述する左視差S41と上下オフセットS43を参照して、左入力画像S1と右入力画像S2から左入力画像S1の補間ラインを生成し、生成した補間ラインで構成される左右間補間画像S14を出力する。
左画素選択部15は、画素位置毎に、左動き検出信号S11と左視差S41に応じて、左入力画像S1、左フィールド内補間画像S12、左フィールド間補間画像S13、左右間補間画像S14のいずれかの画素を選択する。それにより、左出力画像S15を生成し出力する。
右動き検出部21は、右入力画像S2(右注目フィールド)の前後のフィールドを用いて右入力画像S2における補間画素の生成位置毎の動きの有無を検出する。そして、検出結果として右動き検出信号S21を出力する。
右フィールド内補間画像生成部22は、右入力画像S2における補間ラインの生成位置の上下のラインから補間ラインを生成し、生成した補間ラインで構成される右フィールド内補間画像S22を出力する。
右フィールド間補間画像生成部23は、右入力画像S2の前後のフィールドから右入力画像S2の補間ラインを生成し、生成した補間ラインで構成される右フィールド間補間画像S23を出力する。
右左間補間画像生成部24は、後述する右視差S42と上下オフセットS43を参照して、左入力画像S1と右入力画像S2から右入力画像S2の補間ラインを生成し、生成した補間ラインで構成される右左間補間画像S24を出力する。
右画素選択部25は、右動き検出信号S21と右視差S42に応じて、右入力画像S2、右フィールド内補間画像S22、右フィールド間補間画像S23、右左間補間画像S24のいずれかの画素を選択して右出力画像S25を出力する。
左右比較部30とオフセット検出部40は、本発明の算出手段を構成する。
左右比較部30は左入力画像S1と右入力画像S2を比較し、比較結果として左右ベクトルS31と右左ベクトルS32を出力する。本実施例では、左右比較部30は、左入力画像S1を複数の分割領域(ブロック)に分割し、分割領域毎に左右ベクトルS31を検出する。また、左入力画像S1と同様に右入力画像S2を複数の分割領域に分割し、分割領域毎に右左ベクトルS32を検出する。
オフセット検出部40は左右ベクトルS31と右左ベクトルS32を解析して左右画像間の垂直方向のずれ量を算出し、上下オフセットS43、左視差S41、右視差S42を出力する。
(動き検出方法)
次に、左動き検出部11における動き検出方法の具体例を説明する。動き検出方法の概
念図を図3に示す。図3において、n1,n2,・・・,nXは左入力画像S1(左注目フィールド)の画素である。a1,a2,・・・,aXは左入力画像S1の1つ後のフィールドの画素である。b1,b2,・・・,bXは左入力画像S1の1つ前のフィールドの画素である。m1は、画素a1,b1の位置と等しい左入力画像S1内の位置(補間画素の生成位置)に対する動き情報である。動き情報m1は以下のように算出される(eは所定の閾値)。
|a1−b1|≦eであれば、m1=0(動きなし)
|a1−b1|>eであれば、m1=1(動きあり)
画素a2,・・・aX(画素b2,・・・,bX)の位置と等しい左注目フィールド内の各位置に対する動き情報m2,・・・,mXも同様に算出される。そして、それらの算出結果が左動き検出信号S11として出力される。
右動き検出部21における動き検出方法も同様である。
(フィールド内補間画像の生成方法)
次に、左フィールド内補間画像生成部12における左フィールド内補間画像の生成方法の具体例を説明する。生成方法の概念図を図4に示す。c1,c2,・・・,cXは補間により生成すべき画素(補間画素)である。左フィールド内補間画像生成部12は、上下に隣接する画素の平均値を補間画素の値とする。ただし、左補間画素の生成位置が最上位ラインもしくは最下位ライン上の位置のように上側もしくは下側に画素が存在しない位置である場合には、存在する一方の画素の値をそのまま補間画素の値とする。すなわち、図4の場合には、
c1=n1
cK=(n1+nK)/2
となる。全ての補間画素の値を算出することにより、それら補間画素から成る左フィールド内補間画像S12が生成される。
右フィールド内補間画像生成部22における右フィールド内補間画像の生成方法も同様である。
(フィールド間補間画像の生成方法)
次に、左フィールド間補間画像生成部13における左フィールド間補間画像の生成方法の具体例を説明する。生成方法の概念図を図5に示す。d1,d2,・・・,dXは補間画素である。左フィールド間補間画像生成部13は、補間画素の値を以下のように算出する。
d1=(a1+b1)/2
補間画素d2,・・・,dXの値も同様に算出することにより、それら補間画素から成る左フィールド間補間画像S13が生成される。
右フィールド間補間画像生成部23における右フィールド間補間画像の生成方法も同様である。
(比較方法)
次に、左右比較部30における左入力画像と右入力画像の比較方法の具体例を説明する。左右比較部30の構成図を図6に示す。
左画像蓄積部111は、左入力画像S1を不図示のフレームメモリに蓄積する。また、左注目ブロック読出しアドレスS1110に応じて左注目ブロック画素S1111をフレームメモリから読み出して出力する。左探索ブロック読出しアドレスS1112に応じて左探索ブロック画素S1113をフレームメモリから読み出して出力する。
左注目ブロック抽出部112は、注目ブロック領域S130に基づいて左注目ブロックを順に選択し、選択したブロックの左注目ブロック読出しアドレスS1110を生成する。そして、左画像蓄積部111から左注目ブロック画素S1111を読み出し、左注目ブロックS112を出力する。
左右ブロック比較部113は、左注目ブロックS112と右探索ブロックS124を比較して左右ブロック一致度S113を出力する。一致度の算出方法の詳細は後述する。
左探索ブロック抽出部114は、左探索ベクトルS131に応じて左探索ブロック読出しアドレスS1112を生成する。そして、左画像蓄積部111から左探索ブロック画素S1113を読み出し、左探索ブロックS114を出力する。
左ベクトル選択部115は、各右探索ベクトルS132の左右ブロック一致度S113を検査し、最も一致度の高かった右探索ベクトルを左右ベクトルS31として出力する。
右画像蓄積部121は、右入力画像S2を不図示のフレームメモリに蓄積する。また、右注目ブロック読出しアドレスS1210に応じて右注目ブロック画素S1211をフレームメモリから読み出して出力する。右探索ブロック読出しアドレスS1212に応じて右探索ブロック画素S1213をフレームメモリから読み出して出力する。
右注目ブロック抽出部122は、注目ブロック領域S130に基づいて右注目ブロックを順に選択し、選択したブロックの右注目ブロック読出しアドレスS1210を生成する。そして、右画像蓄積部121から右注目ブロック画素S1211を読み出し、右注目ブロックS122を出力する。
右左ブロック比較部123は、右注目ブロックS122と左探索ブロックS114を比較して右左ブロック一致度S123を出力する。一致度の算出方法の詳細は後述する。
右探索ブロック抽出部124は、右探索ベクトルS132に応じて右探索ブロック読出しアドレスS1212を生成する。そして、右画像蓄積部121から右探索ブロック画素S1213を読み出し、右探索ブロックS124を出力する。
右ベクトル選択部125は、各左探索ベクトルS131の右左ブロック一致度S123を検査し、最も一致度の高かった左探索ベクトルを右左ベクトルS32として出力する。
ベクトル発生部130は、注目ブロック領域S130、左探索ベクトルS131、右探索ベクトルS132を順に発生して出力する。発生方法の詳細は後述する。
また、左右比較部30は不図示の制御部によって各部の動作および信号の流れが制御される。左右比較部30における処理(左右比較処理)の流れの一例を示すフローチャートを図7に示す。
ステップP301では画像の蓄積が行われる。左入力画像S1は左画像蓄積部111、右入力画像S2は右画像蓄積部121によりフレームメモリへ蓄積される。なお、フレームメモリは左画像蓄積部111と右画像蓄積部121とで個別に設けられていてもよいし、左画像蓄積部111と右画像蓄積部121とで共通のフレームメモリであってもよい。
ステップP302では注目ブロック領域S130の選択を行う。注目ブロック領域の選択の概念図を図8に示す。IP変換部2で扱う全画像領域81を複数のブロック領域に分割し、各ブロック領域を順に注目ブロック領域82(注目ブロック領域S130)として選択する。本実施例ではブロック領域のサイズを8×8画素とする。すなわち、注目ブロック領域(注目するブロックの領域)として最初に対角座標(0,0),(7,7)の領域が選択され、次のステップP303へ移る。そして、制御ループが戻って次に注目ブロック領域を選択するときには、対角座標(8,0),(15,7)の領域が選択される。同様に順に選択を続け
、全画像領域81に右端に達したら、次に下の段、すなわち対角座標(0,8),(7,15)の領
域が選択される。以下同様にして順に全画像領域81の全ての領域が選択される。
ステップP303では注目ブロックの抽出を行う。左注目ブロック抽出部112は、左入力画像S1の画素のうち、選択された注目ブロック領域S130内の画素(左注目ブロック画素S1111)を読出す左注目ブロック読出しアドレスS1110を生成する。左画像蓄積部111は、左注目ブロック読出しアドレスS1110に従い、左注目ブロック画素S1111をフレームメモリから読み出す。左注目ブロック抽出部112は、読み出
された画素を再構成して左注目ブロックS112(左入力画像S1のうち、選択された注目ブロック領域の画像)を生成する。
右注目ブロック抽出部122においても同様の動作が行われる。
ステップP304では探索ベクトルの発生を行う。探索ベクトルと探索ブロックの概念図を図9に示す。探索領域83は左探索ベクトルS131、右探索ベクトルS132をそれぞれ独立に設定する。
以下、ステップP304の処理について具体的に説明する。
立体映像の左右視差(左入力画像S1と右入力画像S2の水平方向の視差)は、観察者の左右の目が寄る方向(画面より手前に飛び出す方向)に大きくすることは可能であるが、その逆方向の視差を大きくすることはできない。それは、人間の目が一般的に並行よりも離れた視線を作ることができないことに起因する。この視差の限界を視差限界という。
視差限界の概念図を図10に示す。図10の例において、観察者の左眼95aは、立体映像装置96の不図示の仕組みにより、左眼用の画像において手前に飛び出すオブジェクト91aと左眼用の画面において奥に引っ込むオブジェクト93aを選択的に観察する。観察者の右目95bも同様に、右眼用の画像において手前に飛び出すオブジェクト91bと右眼用の画面において奥に引っ込むオブジェクト93bを選択的に観察する。観察者は画面より手前に飛び出すオブジェクト91a、91b間に存在する左右視差92によって、画面より手前に飛び出すオブジェクトの虚像91cを認識する。同様に、画面よりも奥に引っ込むオブジェクト93a、93b間に存在する左右視差94によって、画面よりも奥に引っ込むオブジェクトの虚像93cを認識する。
図10より、画面より手前に飛び出すオブジェクトの左右視差92は大きくしても虚像を構成できることがわかる。一方、画面よりも奥に引っ込むオブジェクトの左右視差94は、表示される画面上において人間の目の間隔(約5cm以下)に制限しないと虚像を構成することができないことがわかる。
このことから、注目ブロックに対応するブロックを探索するための探索範囲は、左右非対称にすることができる。すなわち、右入力画像から左注目ブロックに対応するブロックを探索する範囲は、注目点(例えば、注目ブロックの位置)から左へ大きく、右へ小さくすることができる。左入力画像から右注目ブロックを探索する範囲は注目点から左へ小さく右へ大きくすることができる。こうすることで注目ブロックに対応するブロックの探索効率を向上することが可能となる。具体例として、本実施例では、表示領域(画面)の横幅が100cm、水平方向の画素数が2000画素、垂直方向の画素数が1000画素の表示装置に立体映像が表示されるものとする。この場合、水平方向の画素ピッチは0.5mm/画素であり、人間の目の間隔を5cmとすると、画面よりも奥に引っ込むオブジェクト間の視差限界は100画素に相当する。画面よりも手前に飛び出すオブジェクト間の視差限界は特に存在しないが、通常は目の疲労を考慮して立体映像作成時に視差限界が考慮される。この値は再生する立体映像の内容や再生環境によって適宜設定するべきである。本実施例では画面よりも手前に飛び出すオブジェクト間の視差限界を水平表示幅の30%、すなわち600画素とする。また、立体映像の左右映像間において上下(垂直方向)の視差は基本的に存在しない。しかし、撮影環境の設定で完全に上下のずれを0にすることは難しく、ある程度のずれは存在してしまう。本実施例では上下のずれは垂直表示幅の1%以内、すなわち10画素の範囲で存在するとする。この値も再生する立体映像の内容に応じて適宜設定されるべきである。よって、本実施例では右入力画像から左注目ブロックを探索する右探索ベクトルS132の探索範囲は注目点を中心として、左方向に600画素、右方向に100画素、上方向に5画素、下方向に5画素の範囲とする。また、左入力画像から右注目ブロックを探索する左探索ベクトルS131の探索範囲は左100画素、右600画素、上5画素、下5画素とする。
探索ブロックを指し示す探索ベクトル84(左探索ベクトル、右探索ベクトル)は探索領域83の範囲内を、半画素づつずらしながら順に発生される。すなわち、注目点の座標を(0,0)とすると、最初に、左探索ベクトルS131(-100,-5)と、右探索ベクトルS132(-600,-5)が発生されて次のステップP305へ移る。次に制御ループが戻った時は左
探索ベクトルS131(-99.5,-5)と右探索ベクトルS132(-599.5,-5)が発生される。
以下同様に、{左探索ベクトル,右探索ベクトル}={(-99,-5),(-599,-5)},{(-98.5,-5),(-598.5,-5)},・・・と順に発生される。そして、探索領域の右端{(600,-5),(100,-5)}に達したら、次は下に半画素ずらして{(-100,-4.5),(-600,-4.5)},{(-99.5,-4.5),(-599.5,-4.5)},・・・,{(600,5),(100,5)}と順に発生される。このよう
に、探索領域全てについて左探索ベクトルS131と右探索ベクトルS132を発生する。
ステップP305では探索ベクトルに基づく探索ブロックの選択を行う。左探索ブロック抽出部114は、注目ブロック領域S130と左探索ベクトルS131に基づいて不図示の左探索ブロック領域(左探索ブロックの領域)を算出する。具体的には、注目ブロック領域S130の対角座標が(x1,y1),(x2,y2)、左探索ベクトルS131が(lvx,lvy)で
あるとき、左探索ブロック領域の対角座標(lx1,iy1),(lx2,ly2)は、
lx1=x1+lvx
ly1=y1+lvy
lx2=x2+lvx
ly2=y2+lvy
と算出される。
右探索ブロック抽出部124においても同様に右探索ブロック領域が算出される。
ステップP306では探索ブロック領域に基づいて探索ブロックの抽出を行う。左探索ブロック抽出部114は、左入力画像S1のうち、算出された左探索ブロック領域内の画素(左探索ブロック画素S1113)を読み出す左探索ブロック読出しアドレスS1112を生成する。左探索ブロック領域の対角座標の水平方向成分や垂直方向成分が整数でない場合は、左探索ブロック領域内の画素の他に、左探索ブロック領域のその方向(座標値が整数でない方向)に隣接する全ての画素を読み出す。例えば、左探索ブロック領域が対角座標を(10.5,0.5),(17.5,7.5)とする8×8画素の領域であった場合、対角座標を(10,0),(18,8)とする領域内の9×9画素を読み出すアドレスを生成する。左画像蓄積部111は、左探索ブロック読出しアドレスS1112に従い、左探索ブロック画素S1113をフレームメモリから読み出す。左探索ブロック抽出部114は、読み出された左探索ブロック画素S1113を再構成して左探索ブロックS114(左入力画像S1のうち、算出された左探索ブロック領域内の画像)を生成する。左探索ブロック領域の対角座標の水平方向成分や垂直方向成分が整数でない場合は、左探索ブロックを構成する画素の値はそれに隣接する画素の値の平均値とする。例えば、左探索ブロック領域(10.5,0.5),(17.5,7.5)のときに読み出された領域(10,0),(18,8)内の画素値をp(10,0)〜p(18,8)とすると、左探索ブロックS114を構成する8×8の画素値q(0,0)〜q(7,7)は、
q(0,0)={p(10,0)+p(11,0)+p(10,1)+p(11,1)}/4
q(0,1)={p(10,1)+p(11,1)+p(10,2)+p(11,2)}/4
・・・(以下同様)・・・
q(7,7)={p(17,7)+p(18,7)+p(17,8)+p(18,8)}/4
と算出される。
右探索ブロック抽出部においても同様の動作が行われる。
ステップP307では注目ブロックと探索ブロックの比較が行われる。左右ブロック比較部113は、左注目ブロックS112と右探索ブロックS124のブロックマッチングを行って左右ブロック一致度S113を算出する。左注目ブロックS112を構成する8
×8の画素値をt(0,0)〜t(7,7)、右探索ブロックS124を構成する8×8の画素値をu(0,0)〜u(7,7)とすると、左右ブロック一致度S113(SAD)は、
SAD=Σ|t(x,y)−u(x,y)|
と算出される。SADの値は小さいほど、両ブロックがよく一致していることを示す。
右左ブロック比較部123においても同様にして右左ブロック一致度S123が算出される。
ステップP308では探索ベクトルのうちブロック一致度が最小となるベクトルの選択を行う。左ベクトル選択部は、入力された左右ブロック一致度S113と一時保持した一致度とを比較する。入力された方の一致度の値が小さければ(すなわち、注目ブロックと探索ブロックとがよりよく一致していれば)、一時保持した一致度とベクトルを入力された左右ブロック一致度S113と右探索ベクトルS132に置き換える。このような比較、置き換えを繰り返すことで左右ブロック一致度S113が最小となる右探索ベクトルS132(即ち、左注目ブロックS112と最もよく一致する右探索ブロックS124を示す右探索ベクトルS132)が選択される。
右ベクトル選択部においても同様に右左ブロック一致度S123が最小となる左探索ベクトルS131が選択される。
ステップP309では探索の終了判断を行う。ベクトル発生部130における探索ベクトルの発生がすべて終了していればステップP310へ進む。まだ探索が終了していなければステップP304へ戻り、引き続き探索を行う。
ステップP310ではブロック一致度が最小となるベクトルの出力を行う。左ベクトル選択部115は一時保持したベクトルを左右ベクトルS31として出力する。右ベクトル選択部125も同様に一時保持したベクトルを右左ベクトルS32として出力する。
ステップP311では1画面分の終了判定を行う。全ての注目ブロックが選択されて1画面分の左右比較がすべて終了したら、左右比較部30における左右比較処理を終了する。まだ終了していなければステップP302へ戻り、引き続き左右比較処理を行う。
(オフセット検出方法)
次に、オフセット検出部40における視差の分離とオフセット検出方法の詳細を説明する。オフセット検出部40の構成図を図11に示す。
ベクトル分離部140は、左右ベクトルS31を成分分離して、水平方向成分を左原視差S141、垂直方向成分を左上下差S143(垂直方向のずれ量)として出力する。また、右左ベクトルS32を同様に分離して、水平方向成分を右原視差S142、垂直方向成分を右上下差S144(垂直方向のずれ量)として出力する。
符号反転部144は、右上下差S144の符号を反転して反転右上下差S145を出力する。
フィルタ143は、左上下差S143と反転右上下差S145を不図示のメモリに蓄積する。そして、左入力画像S1の注目ブロックとその周囲のブロックのそれぞれに対する左上下差を不図示のメモリから読み出す。また、右入力画像S2のブロックのうち、注目ブロックと位置が同じブロックとその周囲のブロックのそれぞれに対する反転右上下差を不図示のメモリから読み出す。そして、読み出した計18箇所の上下差にフィルタリングを施すことにより、それらの代表値を算出(決定)する。例えば、代表値として、メディアン(中間値)、平均値、最大値、最小値などを算出する。そして、代表値を上下オフセットS43として出力する。
一般に、注目ブロックの上下差と周囲のブロックの上下差はほぼ等しくなる。そのため、算出された上下差が正しければ、該上下差はフィルタリングにより得られた代表値とほぼ一致するはずである。
そこで、左検査部141は、ブロック毎に上下オフセットS43と左上下差S143を比較し、一致すれば左原視差S141を左視差S41として出力する。一致しなければ、左上下差(左右ベクトル)は誤りであると判断し、左視差S41として「ベクトル無し」を出力する。なお、上下オフセットS43と左上下差S143は完全に一致していなくてもよい。上下オフセットS43と左上下差S143の差が所定の値以下の場合に、それらが一致しているとみなしてもよい。
右検査部142は上下オフセットS43と反転右上下差S145を比較し、一致すれば右原視差S142を右視差S42に出力する。一致しなければ、右上下差(右左ベクトル)は誤りであると判断し、右視差S42として「ベクトル無し」を出力する。
このように、上下差にフィルタリングを施すことによってベクトル(左右ベクトルS31、右左ベクトルS32)の誤検出による画像の乱れを抑制することが可能となる。具体的には、注目ブロック領域S130に対する左右ベクトルS31と右左ベクトルS32は常に反転した関係になるとは限らない。しかし、同一個所に対する垂直方向のずれ量は左右画像間で同じになる。本実施例では、左右それぞれの画像から得られた左右ベクトルS31と右左ベクトルS32から垂直方向成分を分離して更にフィルタリングすることで、上下オフセットS43を安定して抽出することが可能となる。
(補間画像生成方法)
次に、左右間補間画像生成部14における補間画像生成方法(2画像間補間処理)の詳細について説明する。左右間補間画像生成部14は上下オフセットS43(左上下差S143)の値によって3種類の補間方法を使い分ける。なお、右左間補間画像生成部24における2画像間補間処理も同様の考え方を適用すればよいため、説明は省略する。但し、右上下差S144ではなく上下オフセットS43が右左間補間画像生成部24に入力される場合、右左間補間画像生成部24は上下オフセットS43を符号を反転して用いる。
まず、上下オフセットS43の値が整数ライン分でかつ奇数であった場合の補間方法について説明する。この場合における補間方法の概念図を図12(A),(B)に示す。図12(A)は左入力画像S1を示す。図12(B)は右入力画像S2を表す。白部は入力されたラインを示す。斜線部は飛び越し走査によって飛び越された、補間が必要なライン(存在しないライン)を示す。Xは生成する補間画素である。丸印は、補間画素Xの生成位置に対しベクトル(上下オフセットS43と左視差S41)が指し示した位置である。
上下オフセットS43が奇数の場合には、右入力画像S2において、左入力画像S1の補間ラインの生成位置から上下オフセットS43の分だけずれた位置にラインが存在する。そのような場合には、右入力画像S2における該ラインを用いて補間ラインを生成する。具体的には、左視差と上下オフセットが指し示した丸印の位置に、右入力画像S2の画素bが存在するため、補間画素Xの値として画素bの値を用いる。
次に、上下オフセットS43の値が整数ライン分でかつ偶数であった場合の補間方法について説明する。この場合における補間方法の概念図を図12(C),(D)に示す。図12(C)は左入力画像S1を示す。図12(D)は右入力画像S2を表す。wは補間画素Xの上のラインに位置する画素、yは補間画素Xの下のラインに位置する画素である。その他の図画の意味は図12(A),(B)と同様である。
上下オフセットS43が偶数の場合には、右入力画像S2において、左入力画像S1の補間ラインの生成位置から上下オフセットS43の分だけずれた位置にラインが存在しない。そのような場合には、左入力画像S1における該補間ラインの生成位置の上下のラインを用いて補間ラインを生成する。具体的には、左視差と上下オフセットが指し示した丸印の位置に右入力画像S2の画素が存在しないため、補間画素Xの値として、
X=(w+y)/2
で算出される値を用いる。
次に、上下オフセットS43の値が整数ライン分でなかった場合の補間方法について説明する。この場合における補間方法の概念図を図12(E),(F)に示す。図12(E)は左入力画像S1を示す。図12(F)は右入力画像S2を表す。bは左視差と上下オフセットが指し示した位置の上のラインの画素、cは左視差と上下オフセットが指し示した位置の下のラインの画素である。その他の図画の意味は図12(A)〜(D)と同様である。
このような場合には、補間ラインの生成位置に対し、左入力画像S1における該生成位置の上下のライン、及び、右入力画像S2における該生成位置から上下オフセットの分だけずれた位置の上下のラインを用いて、補間ラインを生成する。具体的には、上下オフセットが整数ライン分でない場合には、左視差と上下オフセットが指し示した位置(1画素分の領域)の一部に右入力画像S2の画素bが存在する。そのため、補間画素Xの値として、左入力画像S1の線形補間から求めた値と右入力画像S2の線形補間から求めた値の平均値を用いる。例えば、左視差と上下オフセットが指し示した領域の半分に画素bが重なっている場合(視差とオフセットが指し示した位置から画素bまでの距離と画素cまでの距離が1:3である場合)には、補間画素Xの値として、
X={(w+y)/2+(3b/4+c/4)}/2
で算出される値を用いる。
(画素選択方法)
次に左画素選択部15における画素選択方法(ライン補間処理)の詳細について説明する。
左入力画像S1に元から含まれていて補間の必要がない画素はそのまま選択される。
補間が必要な画素の選択方法は以下の通りである。
左動き検出信号S11の判定が“動きなし”であった位置に対しては、補間画素として左フィールド間補間画像S13の画素が選択される。
左動き検出信号S11の判定が“動きあり”で、かつ左視差S41が存在している位置に対しては、補間画素として左右間補間画像S14の画素が選択される。
左動き検出信号S11の判定が“動きあり”で、かつ左視差S41が存在しない位置に対しては、補間画素として左フィールド内補間画像S12の画素が選択される。
即ち、補間ラインを生成する際に、画像の動きのない領域内にはフィールド間補間処理により補間画素を生成し、画像の動きのある領域内には2画像間補間処理により補間画素を生成する。更に、画像の動きのある領域内であって、且つ、算出されたずれ量(左上下差)が誤りであると判断された分割領域内(ブロック内)には、フィールド内補間処理により補間画素を生成する。
それにより、左出力画像S15の各画素が選択されて出力される。
なお、ライン補間に伴う画素クロックの変動や各補間処理に伴う処理遅れ時間については、不図示のラインメモリまたはフレームメモリを用いて適宜調整を行う。
なお、右画素選択部25における画素選択方法も同様である。
従来の動き適応型走査線補間処理では、画像の動きのある領域(動画領域)の補間画素の値は上下ラインの平均となるため、垂直方向の解像度が低下してしまう。一方、本実施例によれば、第1画像のライン間を補間する際に、該第1画像と対となる第2画像のラインを用いて補間ラインが生成される。それにより、従来に比べて動画領域の垂直方向の解像度が向上されたプログレッシブ映像を得ることができる。更に、本実施例によれば、第1画像に補間ラインを生成する際に、第1画像と第2画像の垂直方向のずれ量を考慮して、用いる第2画像のラインが選択される。そのため、第1画像のライン間を精度良く補間することができる(補間ラインに対応するラインとして誤ったラインを選択することを抑制できる)。
また、本実施例の構成によれば、立体映像を構成する2つの映像をそれぞれ高画質なプ
ログレッシブ映像に変換できるため、高画質なプログレッシブ方式の立体映像を得ることができる。
また、本実施例によれば、上記対となる画像から補間ラインの生成位置に対応するライン(高画質化のためのライン)が見つからなかった場合には、従来のライン補間処理と同等の動作が行われる。そのため、従来のライン補間処理と比べ、常に同等以上の画質を得ることが可能である。
また、本実施例では、ブロック毎に、そのブロックの上下オフセットを用いて補間ラインを生成することにより、画面内に一様でないオフセットが存在する場合にも対応することができる。例えば、ブロック単位で補間ラインを生成することにより、第1画像に対し第2画像が傾いた画像である場合や、第1画像に対し第2画像が拡大/縮小された画像である場合などにも対応することが可能となる。
なお、3つ以上の映像から構成されるインテグラル方式の立体映像についても、そのうちから2つの映像(通常は隣り合う視点の映像)を取り出すことで、本発明によるライン間の補間を実施することも可能である。
なお、対象とする画像は立体映像を構成する映像のフィールドに限らない。例えば、映像ではなく1枚の画像であってもよい。対を成す2つ以上の画像が相関性のある画像(同一対象を異なる視点から撮影した画像)であればよい。
なお、本実施例では、左入力画像S1と右入力画像S2(第1画像と第2画像)の両方のライン間を補間する構成としたが、一方の画像のライン間を補間する構成であってもよい。その場合には、補間の対象となる画像が第1画像となる。
なお、本実施例では、第1映像と第2映像の両方がインタレース映像である場合について説明したが、第2映像はプログレッシブ映像であってもよい。
なお、本実施例では、補間画素の生成位置毎に画像の動きを検出する構成としたが、動き検出の方法はこれに限らない。例えば、ブロックマッチング法などを用いて、所定の大きさの領域毎に動きの有無を検出してもよい。
なお、左右ベクトルや右左ベクトルが、第2画像の水平方向に隣接する画素間を指し示す場合には、該水平方向に隣接する画素を用いて補間画素を生成してもよい。
なお、各補間処理は、上述した方法に限らない。例えば、図5において、左フィールド間補間画像生成部13は、画素a1や画素b1の値を補間画素d1の値としてもよい。
なお、本実施例では、分割領域毎に垂直方向のずれを算出する構成としたが、全画像領域に対して1つのずれ量を算出する構成であってもよい。そのような構成であっても、従来に比べより高精度なライン間補間処理を実現できる。
なお、本実施例では、算出された垂直方向のずれが誤り否かを判断する構成としたが、そのような判断を行わずとも、従来に比べより高精度なライン間補間処理を実現できる。また、そのような判断に用いる代表値の決定方法は、上述した方法に限らない。例えば、代表値を決定する際に、第2画像に対して算出されたずれ量は含めなくてもよい。
<実施例2>
実施例1では再生機1から左右独立した映像ストリーム(左入力映像と右入力映像)が出力される構成であった。本発明は、放送等で用いられているサイドバイサイド方式の立体映像(1つの映像ストリームの左右に左入力映像と右入力映像を左右に並べた立体映像)に対しても実施することができる。
実施例2に係る立体映像表示システムの構成図を図13に示す。
放送受信機4はサイドバイサイド方式による放送を受信してサイドバイサイド立体映像S4を出力する。
左ラインバッファ5は、サイドバイサイド立体映像S4を入力して、ラインの左半分の画素をメモリに書き込む。読出し側ではメモリに書かれた画素を読み出して左入力画像S1を出力する。
右ラインバッファ6は、サイドバイサイド立体映像S4を入力して、ラインの右半分の
画素をメモリに書き込む。読出し側ではメモリに書かれた画素を読み出して右入力画像S2を出力する。
IP変換部2は実施例1と同様のライン補間処理を行う。
また、以上の動作タイミングの制御は不図示の制御部が行う。この動作タイミングの概念図を図14に示す。図中、1Hは1ラインを走査する期間を表し、Filx1(x1は1以上
の整数)はx番目のフィールドを表す。oddはそのフィールドが奇数番目のラインのみを有すること(oddフィールドであること)を表し、evenはそのフィールドが偶数番目のライ
ンのみを有すること(evenフィールドであること)を表す。Linex2(x2は1以上の整数)はx2番目のラインを表し、Left,Rightはそのラインがそれぞれ左入力画像、右入力画像
のラインであることを表す。
このようにして、サイドバイサイド方式立体映像についても本発明を実施することが可能である。
<実施例3>
本発明は、フィールドシーケンシャル方式の立体映像に対しても実施することができる。フィールドシーケンシャル方式は、左入力映像のフィールドと右入力映像のフィールとを交互に繰り返す方式である。
実施例3に係る立体映像表示システムの構成図を図15に示す。
不図示の映像入力部から入力されたフィールドシーケンシャル立体映像S5はフレームメモリ7に蓄えられる。不図示の制御手段は入力された映像信号のフィールドを並び替えて左入力画像S1および右入力画像S2を出力する。このときの動作タイミングの概念図を図16(A)に示す。
IP変換部2は実施例1と同様のライン補間処理を行う。
また、フィールド格納順序が異なるフィールドシーケンシャル方式の立体映像についても同様にフレームメモリでの並び替えを用いることによって本発明を実施することが可能である。フィールド格納順序が異なる場合の動作タイミングの概念図を図16(B)に示す。このフィールド格納順序の場合は、左入力画像S1としては常にoddフィールド、右
入力画像S2のフィールドとしては常にevenフィールドの状態で入力される。
この場合は、実施例1に説明した状況と比較してオフセットが1ずれていると考えて動作を修正する。具体的には、左右間補間画像生成部14は、上下オフセットS43の値が整数ライン分でかつ偶数であった場合に、右入力画像のラインを用いた補間を行う。また、上下オフセットS43の値が整数でかつ奇数であった場合には、左入力画像のラインを用いて補間ラインを生成する。右左間補間画像生成部24の動作も同様に修正する。
また、この場合には、フィールド間補間処理を行うことができないため、左画素選択部15は、“動きなし”の位置に対して、左右間補間画像S14の画素を選択する。右画素選択部25の動作も同様に修正する。
このようにして、フィールドシーケンシャル方式の立体映像についても本発明を実施することが可能である。
<実施例4>
以上説明した実施例では入力された立体映像に自然に存在する上下オフセットを検出するものとしたが、映像コンテンツの上下オフセットを予め厳密に調整しておくことでさらに高精度な走査線補間を行うことも可能である。
実施例4における映像コンテンツ作成システムの概念図を図17に示す。図中、Lx3(x3は1以上の整数)はプログレッシブ方式の左入力画像のラインを表し、Rx4(x4は1以上の整数)はプログレッシブ方式の右入力画像のラインを表す。ODDは、プログレッシブ方
式の左入力画像、右入力画像からインタレース化により作成された奇数番目のラインのみを有する画像を表す。EVENは、プログレッシブ方式の左入力画像、右入力画像からインタレース化により作成された奇数番目のラインのみを有する画像を表す。Fx5(x5は1以上
の整数)は、その画像がインタレース化された左入力映像、右入力映像のx5番目のフィールドであることを表す。なお、図17では、簡単のため、プログレッシブ方式の左入力画像と右入力画像が6つのラインで構成されている例を示しているが、これに限定するものではない(ライン数はいくつでもよい)。
本実施例では、左入力映像と右入力映像を作成するステレオ撮像機に対して、上下オフセットが出ないように予め光軸のアライメントを行っておく。また、本実施例では、この撮像機において、プログレッシブ方式の立体映像(プログレッシブ方式の左入力映像と右入力映像)が作成されるものとする。そして、一方の映像(本実施例では左入力映像)に対しては通常のインタレース化を行い、他方の映像(右入力映像)に対しては1ライン分の上下オフセットをつけたオフセットインタレース化を行う。さらに、映像コンテンツ(インタレース化された立体映像)に左入力画像S1と右入力画像S2の間の垂直方向のずれ量を表すメタデータを付加する。本実施例では、1ライン分の上下オフセットの存在を示すメタデータ「上下オフセット=1」が付加される。
IP変換部ではメタデータを用いて高精度なライン補間処理を行う。具体的には、左右比較部43において、メタデータが表すずれ量(上下オフセット)が用いられる。上記実施例と同じ機能や信号については同じ符号を付し、説明は省略する。
不図示のメタデータ取得部より取得したメタデータS3は左右比較部43に入力される。ベクトル発生部413は、探索ベクトルを発生する際に、垂直方向成分の値を予め取得したメタデータによる上下オフセットの値に限定する。
本実施例の構成によれば、安定した左右の視差の探索が可能となる(左右ベクトルS31、右左ベクトルS32の誤検出を抑制できる)。また探索範囲が狭くなるので本発明を実施するためのハードウェア規模を小さくすることが可能となる。
また、常に1ラインずれた理想的な上下オフセットが得られるため、左右間補間画像生成部14は、常に右入力画像の画素を用いた補間を行うことができる(右左間補間画像生成部24も同様に、常に左入力画像の画素を用いた補間を行うことができる)。それにより、ライン補間処理の結果(例えば、プログレッシブ映像)をより高画質化することができる。
なお、立体映像の上下オフセットが1ライン程度残存した状態でも、通常の立体映像再生システムにおいて特に違和感無く再生することができる。そのため、本実施例の映像コンテンツ作成システムで作成された立体映像コンテンツは通常の立体映像再生システムにおいても何ら不具合は無く再生することができる。
なお、本実施例では、ステレオ撮像機に対して、上下オフセットが出ないように予め光軸のアライメントを行っておくものとしたが、ステレオ撮像機の光軸を厳密に1ラインずらしておいてもよい。それにより、1ライン分の上下オフセットを得ることができる。また、その場合には、ステレオ撮像機で作成された左入力映像と右入力映像の両方に対して通常のインタレース化を行えばよい。
また、ステレオ撮像機の光軸が厳密に合わせられていない場合には、上下オフセットが1ライン分になるように、左入力映像と右入力映像を画像処理により調整してもよい。
12 左フィールド内補間画像生成部
13 左フィールド間補間画像生成部
14 左右間補間画像生成部
15 左画素選択部
30 左右比較部
40 オフセット検出部

Claims (9)

  1. 同一対象を異なる視点から撮影した第1画像と第2画像を用いて、前記第1画像のライン間を補間する画像処理装置であって、
    前記第1画像と前記第2画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出手段と、
    前記算出手段の算出結果に基づいて、前記第1画像のライン間に補間ラインを生成する生成手段と、
    を有し、
    前記生成手段は、補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する2画像間補間処理を実行する
    ことを特徴とする画像処理装置。
  2. 前記算出手段は、前記第1画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
    前記生成手段は、分割領域毎に補間ラインを生成する
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記2画像間補間処理は、
    補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在する場合には、前記第2画像における該ラインを用いて補間ラインを生成し、
    補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置にラインが存在しない場合には、前記第1画像における該生成位置の上下のラインを用いて補間ラインを生成する
    処理である
    ことを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記2画像間補間処理は、更に、
    補間ラインの生成位置に対し、前記ずれ量が整数ライン分でない場合には、前記第1画像における該生成位置の上下のライン、及び、前記第2画像における該生成位置から前記ずれ量の分だけずれた位置の上下のラインを用いて、補間ラインを生成する
    処理である
    ことを特徴とする請求項3に記載の画像処理装置。
  5. 前記第1画像は、インタレース映像の1つのフィールドであり、
    前記画像処理装置は、画像の動きを検出する動き検出手段を更に有し、
    前記生成手段は、補間ラインを生成する際に、画像の動きのない領域内にはフィールド間補間処理により補間画素を生成し、画像の動きのある領域内には前記2画像間補間処理により補間画素を生成する
    ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
  6. 前記算出手段は、
    前記第1画像を複数の分割領域に分割し、分割領域毎に前記ずれ量を算出し、
    注目する分割領域に対するずれ量と、前記注目する分割領域とその周囲の分割領域のそれぞれに対するずれ量の代表値とを比較することにより、前記注目する分割領域に対するずれ量が誤りか否かを判断し、
    前記生成手段は、補間ラインを生成する際に、画像の動きのある領域内であって、且つ、算出されたずれ量が誤りであると判断された分割領域内には、フィールド内補間処理に
    より補間画素を生成する
    ことを特徴とする請求項5に記載の画像処理装置。
  7. 前記算出手段は、
    前記第1画像と同様に前記第2画像を複数の分割領域に分割し、前記第2画像の分割領域毎に前記ずれ量を更に算出し、
    前記第2画像の分割領域のうち、前記注目する分割領域と位置が同じ分割領域とその周囲の分割領域に対するずれ量の符号を反転したものを更に含めて、前記代表値を決定することを特徴とする請求項6に記載の画像処理装置。
  8. 前記第1画像と前記第2画像の間の垂直方向のずれ量を表すメタデータを取得する取得手段を更に有し、
    前記算出手段は、前記メタデータが表すずれ量を用いる
    ことを特徴とする請求項1〜7のいずれか1項に記載の画像処理装置。
  9. 同一対象を異なる視点から撮影した第1画像と第2画像を用いて、前記第1画像のライン間を補間する画像処理装置の制御方法であって、
    前記第1画像と前記第2画像を比較し、それらの画像間の垂直方向のずれ量を算出する算出ステップと、
    前記算出ステップでの算出結果に基づいて、前記第1画像のライン間に補間ラインを生成する生成ステップと、
    を有し、
    前記生成ステップでは、補間ラインの生成位置に対し、前記第2画像において該生成位置から前記ずれ量の分だけずれた位置に存在するラインを用いて補間ラインを生成する2画像間補間処理を実行する
    ことを特徴とする画像処理装置の制御方法。
JP2010069926A 2010-03-25 2010-03-25 画像処理装置および画像処理装置の制御方法 Expired - Fee Related JP5489809B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010069926A JP5489809B2 (ja) 2010-03-25 2010-03-25 画像処理装置および画像処理装置の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010069926A JP5489809B2 (ja) 2010-03-25 2010-03-25 画像処理装置および画像処理装置の制御方法

Publications (3)

Publication Number Publication Date
JP2011205346A true JP2011205346A (ja) 2011-10-13
JP2011205346A5 JP2011205346A5 (ja) 2013-05-02
JP5489809B2 JP5489809B2 (ja) 2014-05-14

Family

ID=44881524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010069926A Expired - Fee Related JP5489809B2 (ja) 2010-03-25 2010-03-25 画像処理装置および画像処理装置の制御方法

Country Status (1)

Country Link
JP (1) JP5489809B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108295A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP2014187601A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269025A (ja) * 1993-03-16 1994-09-22 Fujitsu Ltd 多眼式立体映像の符号化方式
JPH089342A (ja) * 1994-06-16 1996-01-12 Mitsubishi Electric Corp ハイビジョン受像機
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH1013860A (ja) * 1996-04-26 1998-01-16 Victor Co Of Japan Ltd 立体画像補間装置及びその方法
JP2000156846A (ja) * 1998-11-19 2000-06-06 Victor Co Of Japan Ltd 動画像フォーマット変換装置及びその方法
JP2002135805A (ja) * 2000-10-20 2002-05-10 Nippon Television Network Corp 立体映像信号生成方法及び伝送方法と、そのシステム
JP2003296740A (ja) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd オブジェクト監視方法及びオブジェクト監視カメラ装置
JP2006115246A (ja) * 2004-10-15 2006-04-27 Canon Inc 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
JP2006128842A (ja) * 2004-10-27 2006-05-18 Texnai:Kk 立体映像信号生成装置
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06269025A (ja) * 1993-03-16 1994-09-22 Fujitsu Ltd 多眼式立体映像の符号化方式
JPH089342A (ja) * 1994-06-16 1996-01-12 Mitsubishi Electric Corp ハイビジョン受像機
JPH089421A (ja) * 1994-06-20 1996-01-12 Sanyo Electric Co Ltd 立体映像装置
JPH1013860A (ja) * 1996-04-26 1998-01-16 Victor Co Of Japan Ltd 立体画像補間装置及びその方法
JP2000156846A (ja) * 1998-11-19 2000-06-06 Victor Co Of Japan Ltd 動画像フォーマット変換装置及びその方法
JP2002135805A (ja) * 2000-10-20 2002-05-10 Nippon Television Network Corp 立体映像信号生成方法及び伝送方法と、そのシステム
JP2003296740A (ja) * 2002-04-08 2003-10-17 Victor Co Of Japan Ltd オブジェクト監視方法及びオブジェクト監視カメラ装置
JP2006115246A (ja) * 2004-10-15 2006-04-27 Canon Inc 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
JP2006128842A (ja) * 2004-10-27 2006-05-18 Texnai:Kk 立体映像信号生成装置
JP2009003507A (ja) * 2007-06-19 2009-01-08 Victor Co Of Japan Ltd 画像処理方法、画像処理装置及び画像処理プログラム
JP2010049607A (ja) * 2008-08-25 2010-03-04 Mitsubishi Electric Corp コンテンツ再生装置および方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108295A1 (ja) * 2012-01-20 2013-07-25 パナソニック株式会社 映像信号処理装置及び映像信号処理方法
JP2014187601A (ja) * 2013-03-25 2014-10-02 Sony Corp 画像処理装置、画像処理方法、及び、プログラム

Also Published As

Publication number Publication date
JP5489809B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5127633B2 (ja) コンテンツ再生装置および方法
JP5529870B2 (ja) 二次元/三次元再生モード決定方法、二次元/三次元再生モード決定装置及び記憶媒体
JP4438795B2 (ja) 映像変換装置、映像表示装置、映像変換方法
JP2004159294A (ja) フレーム補間方法およびこのフレーム補間方法を用いた装置
JP2012531797A (ja) 自動三次元ビデオフォーマット変換方法及びその装置
JP2010062695A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2010034704A (ja) 再生装置及び再生方法
JP2009288780A (ja) 撮像装置
JP2009244502A (ja) 画像処理装置、画像表示装置、撮像装置及び画像処理方法
US8941718B2 (en) 3D video processing apparatus and 3D video processing method
JP5454569B2 (ja) 立体映像データ処理装置および立体映像データ処理方法
JP5424926B2 (ja) 映像処理装置、映像処理方法
JP2010081330A (ja) 立体画像表示における信号処理方法及び装置
JP5489809B2 (ja) 画像処理装置および画像処理装置の制御方法
JP2006109488A (ja) フィールド選択が可能な映像処理装置及びその方法
JP2009200985A (ja) 映像処理装置
US8330799B2 (en) Image output apparatus and image output method
US20150002624A1 (en) Video signal processing device and video signal processing method
JP2007129400A (ja) フィルムモード検出装置及び映像表示装置
JP5123643B2 (ja) 映像処理装置
JP2007288483A (ja) 画像変換装置
JP5700998B2 (ja) 立体映像表示装置及びその制御方法
WO2011114745A1 (ja) 映像再生装置
US8902286B2 (en) Method and apparatus for detecting motion vector, and method and apparatus for processing image signal
US20110285819A1 (en) Video signal processing apparatus and video signal processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130314

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131031

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140225

LAPS Cancellation because of no payment of annual fees