JP2000261828A - 立体映像生成方法 - Google Patents
立体映像生成方法Info
- Publication number
- JP2000261828A JP2000261828A JP11056891A JP5689199A JP2000261828A JP 2000261828 A JP2000261828 A JP 2000261828A JP 11056891 A JP11056891 A JP 11056891A JP 5689199 A JP5689199 A JP 5689199A JP 2000261828 A JP2000261828 A JP 2000261828A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- image
- video signal
- background
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【課題】撮影条件、画像内の各被写体像の運動、被写体
像の変形など未知パラメータが複数存在する2次元映像
信号を、3次元映像信号に変換する場合、簡単な手段に
より被写体像の奥行き情報を的確に得る。 【解決手段】2次元映像信号を背景領域像とそれ以外の
領域の像の信号に分離し、2次元映像の動きベクトルと
前記背景領域像の動きベクトルとから、背景領域像の代
表動きベクトルを算出し、前記2次元映像の動きベクト
ルから前記代表動きベクトルを減算することで相対動き
ベクトルを算出し、前記相対動きベクトルを用いて前記
2次元映像信号の映像の奥行き情報を推定し、この推定
により得られた奥行き情報を立体映像信号を生成するた
めに用いるものである。
像の変形など未知パラメータが複数存在する2次元映像
信号を、3次元映像信号に変換する場合、簡単な手段に
より被写体像の奥行き情報を的確に得る。 【解決手段】2次元映像信号を背景領域像とそれ以外の
領域の像の信号に分離し、2次元映像の動きベクトルと
前記背景領域像の動きベクトルとから、背景領域像の代
表動きベクトルを算出し、前記2次元映像の動きベクト
ルから前記代表動きベクトルを減算することで相対動き
ベクトルを算出し、前記相対動きベクトルを用いて前記
2次元映像信号の映像の奥行き情報を推定し、この推定
により得られた奥行き情報を立体映像信号を生成するた
めに用いるものである。
Description
【0001】
【発明の属する技術分野】この発明は、2次元映像信号
を用いて立体映像信号を再生する立体映像生成方法に関
するもので、特に2次元映像から奥行きを推定して立体
映像を得る場合、奥行き推定の情報となる動きベクトル
の算出方法に注目したものである。
を用いて立体映像信号を再生する立体映像生成方法に関
するもので、特に2次元映像から奥行きを推定して立体
映像を得る場合、奥行き推定の情報となる動きベクトル
の算出方法に注目したものである。
【0002】
【従来の技術】現在民生用の立体ディスプレイの開発が
進む一方で民生用の立体映像用ソフトの量は少なく、立
体映像を表示するためには新規に立体映像を制作する必
要がある。
進む一方で民生用の立体映像用ソフトの量は少なく、立
体映像を表示するためには新規に立体映像を制作する必
要がある。
【0003】そこで従来の2次元映像の資産を活かす方
法として、従来の2次元映像を立体映像に変換する方法
が提案されている。2次元映像を立体映像に変換する立
体映像生成装置については、例えば特開平8−1495
17号に開示されている。この文献に示された構成によ
ると、現フレームの映像を一方の眼に呈示し、所定フレ
ーム遅延した映像を他方の眼に呈示する方法である。2
次元動映像上で被写体が水平方向に移動している場合、
この移動分が視差となり立体的に知覚される。しかし、
この方法では、被写体の水平方向の移動量のみしか奥行
きに反映されない。またフィールド遅延により視差情報
を生成しているために、複数の被写体が互いに異なる方
向で移動しているときその被写体の奥行きを再現できな
い。
法として、従来の2次元映像を立体映像に変換する方法
が提案されている。2次元映像を立体映像に変換する立
体映像生成装置については、例えば特開平8−1495
17号に開示されている。この文献に示された構成によ
ると、現フレームの映像を一方の眼に呈示し、所定フレ
ーム遅延した映像を他方の眼に呈示する方法である。2
次元動映像上で被写体が水平方向に移動している場合、
この移動分が視差となり立体的に知覚される。しかし、
この方法では、被写体の水平方向の移動量のみしか奥行
きに反映されない。またフィールド遅延により視差情報
を生成しているために、複数の被写体が互いに異なる方
向で移動しているときその被写体の奥行きを再現できな
い。
【0004】
【発明が解決しようとする課題】上記したように、従来
の立体映像生成方法であると、複数の被写体が互いに異
なる方向へ移動しているような像の場合、その被写体の
奥行きを再現できないと言う問題がある。
の立体映像生成方法であると、複数の被写体が互いに異
なる方向へ移動しているような像の場合、その被写体の
奥行きを再現できないと言う問題がある。
【0005】そこでこの発明は、撮影条件、画像内の各
被写体像の運動、被写体像の変形など未知パラメータが
複数存在する2次元映像信号を、3次元映像信号に変換
する場合、簡単な手段により被写体像の奥行き情報を的
確に得ることができるようにした立体映像生成方法を提
供することを目的とするものである。
被写体像の運動、被写体像の変形など未知パラメータが
複数存在する2次元映像信号を、3次元映像信号に変換
する場合、簡単な手段により被写体像の奥行き情報を的
確に得ることができるようにした立体映像生成方法を提
供することを目的とするものである。
【0006】
【課題を解決するための手段】この発明は、上記の目的
を達成するために、2次元映像信号から立体映像信号を
生成する方法において、2次元映像信号を用いて映像の
動きベクトルを検出し、前記2次元映像信号を背景領域
像とそれ以外の領域の像の信号に分割し、前記動きベク
トルと前記背景領域像の信号とから、背景領域像の代表
動きベクトルを算出し、前記動きベクトルから前記代表
動きベクトルを減算することで相対動きベクトルを算出
し、前記相対動きベクトルを用いて前記2次元映像信号
の映像の奥行き情報を推定し、この推定により得られた
奥行き情報を立体映像信号を生成するために用いること
を特徴とする。
を達成するために、2次元映像信号から立体映像信号を
生成する方法において、2次元映像信号を用いて映像の
動きベクトルを検出し、前記2次元映像信号を背景領域
像とそれ以外の領域の像の信号に分割し、前記動きベク
トルと前記背景領域像の信号とから、背景領域像の代表
動きベクトルを算出し、前記動きベクトルから前記代表
動きベクトルを減算することで相対動きベクトルを算出
し、前記相対動きベクトルを用いて前記2次元映像信号
の映像の奥行き情報を推定し、この推定により得られた
奥行き情報を立体映像信号を生成するために用いること
を特徴とする。
【0007】上記の手段により奥行き情報の算出が容易
でしかも正確に得られるようになり、良好な立体映像を
生成することができる。
でしかも正確に得られるようになり、良好な立体映像を
生成することができる。
【0008】
【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して説明する。
面を参照して説明する。
【0009】図1はこの発明の一実施の形態であり、2
次元映像信号は、2次元映像信号復号部102に入力さ
れる。2次元映像信号復号部102は、例えば圧縮のた
めに符号化されている映像信号を復号する復号部であ
る。
次元映像信号は、2次元映像信号復号部102に入力さ
れる。2次元映像信号復号部102は、例えば圧縮のた
めに符号化されている映像信号を復号する復号部であ
る。
【0010】2次元映像信号復号部102で復号された
復号映像信号は、動きベクトル検出部103、背景領域
抽出部104、視差画像生成部108に入力される。動
きベクトル検出部103は、例えばMPEG方式で行わ
れるように基準フレームを一定の大きさの矩形状のマク
ロブロックに分割し、前後フレームの対応ブロックとの
比較を行うブロックマッチングの手法により行われる。
復号映像信号は、動きベクトル検出部103、背景領域
抽出部104、視差画像生成部108に入力される。動
きベクトル検出部103は、例えばMPEG方式で行わ
れるように基準フレームを一定の大きさの矩形状のマク
ロブロックに分割し、前後フレームの対応ブロックとの
比較を行うブロックマッチングの手法により行われる。
【0011】背景領域抽出部104は、背景領域像の信
号を抽出するもので、ここで抽出された背景領域像の信
号は、背景ベクトル算出部105に入力される。この背
景ベクトル算出部105には、先の動きベクトル検出部
103からの動きベクトルも供給されている。これによ
り背景動きベクトル算出部105においては、同一方向
の動きベクトルを検出し、信頼度の低い動きベクトルを
除去し、背景ベクトルの平均を算出する。
号を抽出するもので、ここで抽出された背景領域像の信
号は、背景ベクトル算出部105に入力される。この背
景ベクトル算出部105には、先の動きベクトル検出部
103からの動きベクトルも供給されている。これによ
り背景動きベクトル算出部105においては、同一方向
の動きベクトルを検出し、信頼度の低い動きベクトルを
除去し、背景ベクトルの平均を算出する。
【0012】ここで得られた背景ベクトルは、相対動き
ベクトル算出部106に入力される。この相対動きベク
トル算出部106では、被写体像の動きベクトルから背
景動きベクトルを減算することにより、被写体像の相対
動きベクトルを算出することができる。この相対動きベ
クトルは、奥行き推定部107に入力される。
ベクトル算出部106に入力される。この相対動きベク
トル算出部106では、被写体像の動きベクトルから背
景動きベクトルを減算することにより、被写体像の相対
動きベクトルを算出することができる。この相対動きベ
クトルは、奥行き推定部107に入力される。
【0013】奥行き推定部107では、相対動きベクト
ルに基づき被写体の奥行きを推定し、奥行き情報を得
る。つまり、相対動きベクトルのスカラー量を得て、ス
カラー量の大きい方を手前、小さい方を奥として推定
し、この推定情報を得る。
ルに基づき被写体の奥行きを推定し、奥行き情報を得
る。つまり、相対動きベクトルのスカラー量を得て、ス
カラー量の大きい方を手前、小さい方を奥として推定
し、この推定情報を得る。
【0014】この奥行き情報は、視差画像生成部108
に入力される。視差画像生成部108では、奥行き情報
に基づいて復号された2次元映像信号を立体映像信号に
変換する。視差画像生成部108では、例えば右眼用映
像信号としては、2次元映像信号復号部103からの2
次元映像信号をそのまま用いる。そして2次元映像信号
から、左眼用映像信号を生成する場合に、推定された奥
行き情報に従って画素を水平方向へずらすことにより、
視差情報を含む画像を生成する。このように生成された
左眼用映像信号と右眼用映像信号とは表示部109に与
えられる。
に入力される。視差画像生成部108では、奥行き情報
に基づいて復号された2次元映像信号を立体映像信号に
変換する。視差画像生成部108では、例えば右眼用映
像信号としては、2次元映像信号復号部103からの2
次元映像信号をそのまま用いる。そして2次元映像信号
から、左眼用映像信号を生成する場合に、推定された奥
行き情報に従って画素を水平方向へずらすことにより、
視差情報を含む画像を生成する。このように生成された
左眼用映像信号と右眼用映像信号とは表示部109に与
えられる。
【0015】図2は、上記の装置の各部の動作を模式的
に示したものである。201は、復号された2次元映像
信号、202は、動きベクトルの検出の様子、203は
背景領域像の抽出の様子を示している。さらに204
は、背景ベクトルの算出、205は相対動きベクトルの
算出、206は奥行き推定の様子を示している。また2
07、208は左眼用映像信号、右眼用映像信号の様子
を示している。
に示したものである。201は、復号された2次元映像
信号、202は、動きベクトルの検出の様子、203は
背景領域像の抽出の様子を示している。さらに204
は、背景ベクトルの算出、205は相対動きベクトルの
算出、206は奥行き推定の様子を示している。また2
07、208は左眼用映像信号、右眼用映像信号の様子
を示している。
【0016】以下、各部の構成を更に詳しく説明する。
【0017】図3、図4、図5は、動きベクトル検出部
103の動作を説明するための図である。動きベクトル
を求める方法としては種々の方法が可能である。
103の動作を説明するための図である。動きベクトル
を求める方法としては種々の方法が可能である。
【0018】図3に示すように、例えば、MPEG方式
で行われるように基準フレーム301を一定の大きさの
矩形状のマクロブロックに分割し、前後フレーム302
のブロックとの比較を行うものである。これは、ブロッ
クマッチング手法と言われる。即ち、基準フレーム30
1に対して前方あるいは後方のフレーム302のブロッ
ク間の画素レベルの比較を行うものである。対応するブ
ロック位置がずれている場合には、動きがあったことで
ある。
で行われるように基準フレーム301を一定の大きさの
矩形状のマクロブロックに分割し、前後フレーム302
のブロックとの比較を行うものである。これは、ブロッ
クマッチング手法と言われる。即ち、基準フレーム30
1に対して前方あるいは後方のフレーム302のブロッ
ク間の画素レベルの比較を行うものである。対応するブ
ロック位置がずれている場合には、動きがあったことで
ある。
【0019】図4の例は、基準フレーム401と前方或
いは後方フレーム402の対応ブロックの例にあるよう
に、回転や拡大、縮小などを考慮したアフィン変換を取
り入れた例である。つまり、ブロックの切り出しを行う
場合に被写体像の変形に応じて切り出しを行い、対応ブ
ロック間の画素レベルの比較を行う。これにより正確に
動きベクトルを検出できる。
いは後方フレーム402の対応ブロックの例にあるよう
に、回転や拡大、縮小などを考慮したアフィン変換を取
り入れた例である。つまり、ブロックの切り出しを行う
場合に被写体像の変形に応じて切り出しを行い、対応ブ
ロック間の画素レベルの比較を行う。これにより正確に
動きベクトルを検出できる。
【0020】図5は、被写体像の形状によりその輪郭付
近での動きベクトルの精度が低下するので、この精度を
向上するための方法を示している。そこで被写体像の輪
郭を検出し、輪郭形状とマクロブロック形状とを一致さ
せて、ブロック間の画素レベルの比較を行い動きベクト
ルを検出する。
近での動きベクトルの精度が低下するので、この精度を
向上するための方法を示している。そこで被写体像の輪
郭を検出し、輪郭形状とマクロブロック形状とを一致さ
せて、ブロック間の画素レベルの比較を行い動きベクト
ルを検出する。
【0021】求める動きベクトルの画素間隔に付いて
は、全画素毎にマッチングを行い、全画素の動きベクト
ルを求めてもよいし、一定間隔でマッチングを行い代表
の動きベクトルを求め、その間の画素は内挿演算により
求めるようにしてもよい。さらには、画像内を被写体像
の形状に沿って領域分割を行い、その領域の代表動きベ
クトルを求め、領域内の画素は代表動きベクトルで置き
換えてもよい。
は、全画素毎にマッチングを行い、全画素の動きベクト
ルを求めてもよいし、一定間隔でマッチングを行い代表
の動きベクトルを求め、その間の画素は内挿演算により
求めるようにしてもよい。さらには、画像内を被写体像
の形状に沿って領域分割を行い、その領域の代表動きベ
クトルを求め、領域内の画素は代表動きベクトルで置き
換えてもよい。
【0022】次に背景領域抽出部104について説明す
る。
る。
【0023】背景領域像を抽出する第1の方法として
は、2次元映像のもつコントラストを利用する。一般に
2次元映像を撮影するときは、被写体が手前にあり、そ
の被写体にピントを合わせて撮影することが多い。この
とき被写体の背景部分はピントがずれているため、背景
は被写体に比べてコントラストが低い。また空気透視の
効果により背景はコントラストが低い場合が多い。そこ
で、コントラストが低い領域を背景像として抽出する。
は、2次元映像のもつコントラストを利用する。一般に
2次元映像を撮影するときは、被写体が手前にあり、そ
の被写体にピントを合わせて撮影することが多い。この
とき被写体の背景部分はピントがずれているため、背景
は被写体に比べてコントラストが低い。また空気透視の
効果により背景はコントラストが低い場合が多い。そこ
で、コントラストが低い領域を背景像として抽出する。
【0024】図6(A)には、背景領域抽出部104の
構成例を示し、図6(B)にはその動作説明図を示して
いる。2次元映像は、コントラスト算出部601におい
て例えば次のようにコントラストが計算される。このコ
ントラストは、対象画素とこの画素に隣接する8つの画
素との間の輝度値の差分を取り、その総和を対象とする
画素の輝度値で除算して正規化する。閾値処理部602
では、求めたコントラストに対して閾値処理を施し、コ
ントラストが閾値以下の領域を背景領域であるものとし
て背景領域情報を出力する。
構成例を示し、図6(B)にはその動作説明図を示して
いる。2次元映像は、コントラスト算出部601におい
て例えば次のようにコントラストが計算される。このコ
ントラストは、対象画素とこの画素に隣接する8つの画
素との間の輝度値の差分を取り、その総和を対象とする
画素の輝度値で除算して正規化する。閾値処理部602
では、求めたコントラストに対して閾値処理を施し、コ
ントラストが閾値以下の領域を背景領域であるものとし
て背景領域情報を出力する。
【0025】図7(A),図7(B)は、背景領域を画
面の上方或いは画面の周囲(位置情報に基づき)に自動
的に設定する例を示している。このような場合は、映像
を見ながらユーザがマニュアルにより設定するようにし
てもよい。
面の上方或いは画面の周囲(位置情報に基づき)に自動
的に設定する例を示している。このような場合は、映像
を見ながらユーザがマニュアルにより設定するようにし
てもよい。
【0026】図8(A)には,画素の持つ色情報を利用
して背景を特定する方法の例を示している。背景領域抽
出部104には、背景領域平均特徴量算出部1001が
設けられている。この背景領域平均特徴量算出部100
1は、背景領域の平均特徴量を算出している。例えば2
次元座標が上方一定範囲内に位置する画素の色情報R,
G,Bのそれぞれの平均値(Rave,Gave,Ba
ve)を算出する。この算出結果は、領域統合部100
2に入力される。領域統合部1002では、平均値(R
ave,Gave,Bave)を用いて、背景領域を特
定する。各画素のR,G,B値と平均値(Rave,G
ave,Bave)を比較し、その差分の自乗和が閾値
以下の画素を背景領域として選択する。ここで求めた背
景領域から再度平均値(Rave,Gave,Bav
e)を求め、再度背景領域の選択を行ってもよい。つま
り反復して背景領域の選択処理を行ってもよい。
して背景を特定する方法の例を示している。背景領域抽
出部104には、背景領域平均特徴量算出部1001が
設けられている。この背景領域平均特徴量算出部100
1は、背景領域の平均特徴量を算出している。例えば2
次元座標が上方一定範囲内に位置する画素の色情報R,
G,Bのそれぞれの平均値(Rave,Gave,Ba
ve)を算出する。この算出結果は、領域統合部100
2に入力される。領域統合部1002では、平均値(R
ave,Gave,Bave)を用いて、背景領域を特
定する。各画素のR,G,B値と平均値(Rave,G
ave,Bave)を比較し、その差分の自乗和が閾値
以下の画素を背景領域として選択する。ここで求めた背
景領域から再度平均値(Rave,Gave,Bav
e)を求め、再度背景領域の選択を行ってもよい。つま
り反復して背景領域の選択処理を行ってもよい。
【0027】また平均値特徴量としては、色情報のみを
用いるのではなく、2次元座標位置情報を組み合わせて
用いてもよい。
用いるのではなく、2次元座標位置情報を組み合わせて
用いてもよい。
【0028】背景領域の抽出方法として、3つの方法を
用いたがいずれを用いても良いし、組み合わせて用いて
もよい。
用いたがいずれを用いても良いし、組み合わせて用いて
もよい。
【0029】次に背景ベクトル算出部105の動作につ
いて説明する。
いて説明する。
【0030】図9(A)には、背景ベクトル算出部10
5の構成例を示している。誤推定動きベクトル除去部1
201と、背景ベクトル平均演算部1202で構成され
ている。誤推定動きベクトル除去部1201では、動き
ベクトル情報と背景領域情報とを用いて、誤動きベクト
ルを除去され、修正された動きベクトルを得る。この動
きベクトルと背景領域情報は、背景ベクトル平均演算部
1202に入力される。これにより背景ベクトル平均演
算部1202は、奥行き情報を生成する。つまり背景ベ
クトル算出部105は、背景領域上の動きベクトルの平
均を算出し、これを背景領域での代表ベクトル(背景ベ
クトル)として出力する。
5の構成例を示している。誤推定動きベクトル除去部1
201と、背景ベクトル平均演算部1202で構成され
ている。誤推定動きベクトル除去部1201では、動き
ベクトル情報と背景領域情報とを用いて、誤動きベクト
ルを除去され、修正された動きベクトルを得る。この動
きベクトルと背景領域情報は、背景ベクトル平均演算部
1202に入力される。これにより背景ベクトル平均演
算部1202は、奥行き情報を生成する。つまり背景ベ
クトル算出部105は、背景領域上の動きベクトルの平
均を算出し、これを背景領域での代表ベクトル(背景ベ
クトル)として出力する。
【0031】背景領域に関しては、コントラストが低い
可能性が高いことから、マッチングにより動きベクトル
を求めた場合には背景領域での動きベクトルは誤推定が
多いことが予想される。このために動きベクトルの信頼
度を参照して信頼度が低いものは背景ベクトルの演算に
使用しないようにする。例えば動きベクトルの空間的な
相関を取り、相関の低いものは誤推定の動きベクトルと
して背景ベクトルの演算には使用しない。これを実現す
る回路が誤推定動きベクトル除去部1201である。
可能性が高いことから、マッチングにより動きベクトル
を求めた場合には背景領域での動きベクトルは誤推定が
多いことが予想される。このために動きベクトルの信頼
度を参照して信頼度が低いものは背景ベクトルの演算に
使用しないようにする。例えば動きベクトルの空間的な
相関を取り、相関の低いものは誤推定の動きベクトルと
して背景ベクトルの演算には使用しない。これを実現す
る回路が誤推定動きベクトル除去部1201である。
【0032】図9(B)の映像1203には背景領域の
動きベクトルが示されており、誤動きベクトルが含まれ
た様子を示している。次の映像1204では誤動きベク
トルが除去された様子を示している。これにより背景ベ
クトルが得られる。
動きベクトルが示されており、誤動きベクトルが含まれ
た様子を示している。次の映像1204では誤動きベク
トルが除去された様子を示している。これにより背景ベ
クトルが得られる。
【0033】図10は、相対動きベクトル算出部106
の動作を説明するために示した図である。相対動きベク
トル算出部106では動きベクトル検出部103で求め
られた動きベクトル1301から背景動きベクトル13
02を減算することで相対動きベクトル1303を得て
いる。
の動作を説明するために示した図である。相対動きベク
トル算出部106では動きベクトル検出部103で求め
られた動きベクトル1301から背景動きベクトル13
02を減算することで相対動きベクトル1303を得て
いる。
【0034】次に奥行き推定部107の動作について説
明する。
明する。
【0035】図11(A)に示すように,奥行き推定部
107は、スカラー演算部1401と奥行き変換部14
02により構成される。スカラー演算部1401は、相
対動きベクトルのスカラー量を算出する。次にこのスカ
ラー量は、奥行き変換部1402に入力されて奥行き情
報に変換される。このときの特性は、例えば図14
(B)に示すような特性である。ここではスカラー量が
大きいほど奥行きは手前であると判断する。
107は、スカラー演算部1401と奥行き変換部14
02により構成される。スカラー演算部1401は、相
対動きベクトルのスカラー量を算出する。次にこのスカ
ラー量は、奥行き変換部1402に入力されて奥行き情
報に変換される。このときの特性は、例えば図14
(B)に示すような特性である。ここではスカラー量が
大きいほど奥行きは手前であると判断する。
【0036】図12は奥行き推定部107の他の例であ
る。ここでは、相対動きベクトルと背景領域内動きベク
トルの信頼度情報を用いるようにしている。背景領域内
動きベクトルの信頼度情報は、背景領域の信頼度の高い
動きベクトルであり、例えば、背景ベクトル算出部10
5において求められたものである。例えば、背景ベクト
ル算出部105において背景ベクトルを得るが、この奥
行き情報を再度用いて、誤推定動きベクトルの除去を再
度行い、背景ベクトル平均演算を行い更に信頼度の高い
背景ベクトルを得る。相対動きベクトルを用いてスカラ
ー演算を行い、次にスカラー量を奥行き変換部1402
に供給するまでは、図11に示した例と同じである。
る。ここでは、相対動きベクトルと背景領域内動きベク
トルの信頼度情報を用いるようにしている。背景領域内
動きベクトルの信頼度情報は、背景領域の信頼度の高い
動きベクトルであり、例えば、背景ベクトル算出部10
5において求められたものである。例えば、背景ベクト
ル算出部105において背景ベクトルを得るが、この奥
行き情報を再度用いて、誤推定動きベクトルの除去を再
度行い、背景ベクトル平均演算を行い更に信頼度の高い
背景ベクトルを得る。相対動きベクトルを用いてスカラ
ー演算を行い、次にスカラー量を奥行き変換部1402
に供給するまでは、図11に示した例と同じである。
【0037】この図12の例では、奥行き変換部140
2で得られた1次奥行き情報が、背景領域奥行き平均算
出部1601に入力される。この背景領域奥行き平均算
出部1601には、背景領域内動きベクトルの信頼度情
報も入力されている。ここで背景領域奥行き平均算出部
1601は、背景領域の奥行きの平均値を求めて、奥行
き修正部1602に供給する。平均値を求める領域は、
背景領域であるという信頼度の高い領域である。奥行き
修正部1602では、信頼度の低い背景領域の部分に対
しては、背景領域の奥行きの平均値(背景領域奥行き平
均算出部1601からの値)に置き換える。その他は、
奥行き変換部1402からの1次奥行き情報を選択して
出力する。
2で得られた1次奥行き情報が、背景領域奥行き平均算
出部1601に入力される。この背景領域奥行き平均算
出部1601には、背景領域内動きベクトルの信頼度情
報も入力されている。ここで背景領域奥行き平均算出部
1601は、背景領域の奥行きの平均値を求めて、奥行
き修正部1602に供給する。平均値を求める領域は、
背景領域であるという信頼度の高い領域である。奥行き
修正部1602では、信頼度の低い背景領域の部分に対
しては、背景領域の奥行きの平均値(背景領域奥行き平
均算出部1601からの値)に置き換える。その他は、
奥行き変換部1402からの1次奥行き情報を選択して
出力する。
【0038】なお、この発明はこの方法に限定される必
要はない。背景領域としての信頼度の低い部分に対し
て、背景領域の奥行きの平均値を割り当てるのではな
く、隣接する信頼度の高い相対動きベクトルにより求め
た奥行き情報から、線形補間により信頼度の低いと見ら
れる背景領域の奥行き情報を生成してもよい。
要はない。背景領域としての信頼度の低い部分に対し
て、背景領域の奥行きの平均値を割り当てるのではな
く、隣接する信頼度の高い相対動きベクトルにより求め
た奥行き情報から、線形補間により信頼度の低いと見ら
れる背景領域の奥行き情報を生成してもよい。
【0039】図13には、更に別の奥行き推定部107
の構成例を示している。相対動きベクトルは、スカラー
演算部1401、ベクトル誤推定判定部1702に入力
される。また2次元映像信号が領域分割部1701に入
力される。
の構成例を示している。相対動きベクトルは、スカラー
演算部1401、ベクトル誤推定判定部1702に入力
される。また2次元映像信号が領域分割部1701に入
力される。
【0040】領域分割部1701では、2次元映像信号
の色、位置情報を用いて領域分割を行う。領域分割の一
例は、図13(B)に示すように例えば同一色で近接領
域を分割し、かつ同一色の中でコントラストの相違で分
割する。ベクトル誤推定判定部1702では、例えば相
対動きベクトルの近傍画素間の相関を取り、その相関が
高いか低いかに応じて相対動きベクトルの信頼度とす
る。この際、領域分割形状にしたがって同一領域内での
み相関をとることにより、被写体の境界付近での動きベ
クトルの信頼度が誤って低く判定されるのを防ぐ。相関
が低いベクトルの場合には、誤り推定と判定される。こ
の誤り推定判定結果は、誤推定部分補間演算部1703
に入力される。誤推定部分補間演算部1703は、奥行
き変換部1402からの奥行き情報と、領域分割部17
01からの分割領域の情報と、先の誤り推定判定結果が
入力される。
の色、位置情報を用いて領域分割を行う。領域分割の一
例は、図13(B)に示すように例えば同一色で近接領
域を分割し、かつ同一色の中でコントラストの相違で分
割する。ベクトル誤推定判定部1702では、例えば相
対動きベクトルの近傍画素間の相関を取り、その相関が
高いか低いかに応じて相対動きベクトルの信頼度とす
る。この際、領域分割形状にしたがって同一領域内での
み相関をとることにより、被写体の境界付近での動きベ
クトルの信頼度が誤って低く判定されるのを防ぐ。相関
が低いベクトルの場合には、誤り推定と判定される。こ
の誤り推定判定結果は、誤推定部分補間演算部1703
に入力される。誤推定部分補間演算部1703は、奥行
き変換部1402からの奥行き情報と、領域分割部17
01からの分割領域の情報と、先の誤り推定判定結果が
入力される。
【0041】この誤推定部分補間演算部1703では、
誤り推定と判定された部分の奥行きを、誤推定部分補間
演算部1703で同一領域内の奥行きからの補間演算に
よって求める。そしてこの補間演算で求めた奥行き情報
を奥行き修正部1704を介して出力するようにしてい
る。これにより、信頼度の低い相対動きベクトルの存在
する領域に関しては、誤推定部分補間演算部1703で
求めた奥行き情報に置き換えられて、最終的な奥行き情
報が出力される。
誤り推定と判定された部分の奥行きを、誤推定部分補間
演算部1703で同一領域内の奥行きからの補間演算に
よって求める。そしてこの補間演算で求めた奥行き情報
を奥行き修正部1704を介して出力するようにしてい
る。これにより、信頼度の低い相対動きベクトルの存在
する領域に関しては、誤推定部分補間演算部1703で
求めた奥行き情報に置き換えられて、最終的な奥行き情
報が出力される。
【0042】なお上記の方法では、領域分割部1701
により領域分割を行っているが、予め領域分割情報が既
知である場合には、それを用いても良い。
により領域分割を行っているが、予め領域分割情報が既
知である場合には、それを用いても良い。
【0043】次に視差画像生成部108の動作について
説明する。
説明する。
【0044】ここでは例えば推定された奥行き情報に従
って、画素を水平方向へずらすことにより視差を持つ画
像を生成する。図14には、視差画像生成部108の動
作原理を示している。1901は2次元映像であり、1
902が推定された奥行き情報である。この奥行き情報
は、領域1905が手前、領域1906が奥であると判
定している。この奥行き情報に従って生成しが画像が視
差映像1903である。領域1905の映像が視差相当
分水平方向へ移動している。
って、画素を水平方向へずらすことにより視差を持つ画
像を生成する。図14には、視差画像生成部108の動
作原理を示している。1901は2次元映像であり、1
902が推定された奥行き情報である。この奥行き情報
は、領域1905が手前、領域1906が奥であると判
定している。この奥行き情報に従って生成しが画像が視
差映像1903である。領域1905の映像が視差相当
分水平方向へ移動している。
【0045】上記のように、撮影条件や被写体に未知の
パラメータが多く含まれる2次元映像から奥行きを推定
する場合、2次元映像から各領域あるいは各画素の動き
ベクトルを求め、各動きベクトルから背景領域の代表動
きベクトルを減算した相対動きベクトルをもとに、各領
域あるいは各画素の奥行きを推定する。そして推定した
奥行き情報に従って視差映像を生成する。
パラメータが多く含まれる2次元映像から奥行きを推定
する場合、2次元映像から各領域あるいは各画素の動き
ベクトルを求め、各動きベクトルから背景領域の代表動
きベクトルを減算した相対動きベクトルをもとに、各領
域あるいは各画素の奥行きを推定する。そして推定した
奥行き情報に従って視差映像を生成する。
【0046】
【発明の効果】以上説明したようにこの発明によれば、
撮影条件、画像内の各被写体像の運動、被写体像の変形
など未知パラメータが複数存在する2次元映像信号を、
3次元映像信号に変換する場合、簡単な手段により被写
体像の奥行き情報を的確に得ることができる。この結
果、簡易な演算により2次元映像信号から立体映像信号
を生成することが可能となる。
撮影条件、画像内の各被写体像の運動、被写体像の変形
など未知パラメータが複数存在する2次元映像信号を、
3次元映像信号に変換する場合、簡単な手段により被写
体像の奥行き情報を的確に得ることができる。この結
果、簡易な演算により2次元映像信号から立体映像信号
を生成することが可能となる。
【図1】 この発明の一実施の形態を説明するために示
した立体映像生成装置の構成図。
した立体映像生成装置の構成図。
【図2】 図2の装置の動作を説明するために示した
図。
図。
【図3】 動きベクトルの検出例を示す図。
【図4】 同じく動きベクトルの他の検出例を示す図。
【図5】 同じく動きベクトルの更に他の検出例を示す
図。
図。
【図6】 背景領域抽出部の具体的構成例と動作説明
図。
図。
【図7】 同じく背景領域抽出部の他の具体的構成例と
動作説明図。
動作説明図。
【図8】 同じく背景領域抽出部の更に他の具体的構成
例と動作説明図。
例と動作説明図。
【図9】 背景ベクトル算出部の具体的構成例と動作説
明図。
明図。
【図10】 相対動きベクトルの検出例を示す図。
【図11】 奥行き推定部の具体的構成例と動作説明
図。
図。
【図12】 奥行き推定部の他の具体的構成例を示す
図。
図。
【図13】 奥行き推定部の更に他の具体的構成例を示
す図。
す図。
【図14】 視差画像生成部の動作原理を説明するため
に示した図。
に示した図。
102…2次元映像信号復号部、103…動きベクトル
検出部、104…背景領域抽出部、105…背景ベクト
ル算出部、106…相対動きベクトル算出部、107…
奥行き推定部、108…視差画像生成部、109…表示
部。
検出部、104…背景領域抽出部、105…背景ベクト
ル算出部、106…相対動きベクトル算出部、107…
奥行き推定部、108…視差画像生成部、109…表示
部。
Claims (4)
- 【請求項1】 2次元映像信号から立体映像信号を生成
する方法において、 前記2次元映像信号を用いて映像の動きベクトルを検出
し、 前記2次元映像信号を背景領域像とそれ以外の領域の像
の信号に分離し、 前記動きベクトルと前記背景領域像の信号とから、背景
領域像の代表動きベクトルを算出し、 前記動きベクトルから前記代表動きベクトルを減算する
ことで相対動きベクトルを算出し、 前記相対動きベクトルを用いて前記2次元映像信号の映
像の奥行き情報を推定し、この推定により得られた奥行
き情報を立体映像信号を生成するために用いることを特
徴とする立体映像生成方法。 - 【請求項2】 前記背景領域像の信号を分離する場合、
前記2次元映像信号のコントラスト、あるいは2次元座
標の少なくともいずれか1つの要素を用いて分離閾値を
得ることを特徴とする請求項1記載の立体映像生成方
法。 - 【請求項3】 前記相対動きベクトルから前記奥行き情
報を推定する方法は、相対動きベクトルの大きさが大き
いほど、奥行き方向の手前であると判断する方法である
ことを特徴とする請求項1記載の立体映像生成方法。 - 【請求項4】 前記相対動きベクトルから前記奥行きを
推定する方法は、前記相対動きベクトルを得た画像領域
の周辺の画像領域における他の相対動きベクトルから推
定された奥行き情報で補間する方法も含むことを特徴と
する請求項1記載の立体映像生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11056891A JP2000261828A (ja) | 1999-03-04 | 1999-03-04 | 立体映像生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11056891A JP2000261828A (ja) | 1999-03-04 | 1999-03-04 | 立体映像生成方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2000261828A true JP2000261828A (ja) | 2000-09-22 |
Family
ID=13040067
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP11056891A Pending JP2000261828A (ja) | 1999-03-04 | 1999-03-04 | 立体映像生成方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2000261828A (ja) |
Cited By (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015576A (ja) * | 2006-07-03 | 2008-01-24 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックス合成方法及び装置 |
WO2008102473A1 (ja) * | 2007-02-20 | 2008-08-28 | Kabushiki Kaisha Toshiba | 顔認証装置および顔認証方法 |
JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2010063083A (ja) * | 2008-08-06 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2010514318A (ja) * | 2006-12-19 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 2次元ビデオの3次元ビデオへの変換方法及びシステム |
JP2010136371A (ja) * | 2008-12-04 | 2010-06-17 | Samsung Electronics Co Ltd | 深さ推定装置および方法、および3dビデオ変換装置および方法 |
JP2010532036A (ja) * | 2007-07-03 | 2010-09-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの計算 |
WO2011030399A1 (ja) * | 2009-09-08 | 2011-03-17 | 株式会社 東芝 | 画像処理方法及び装置 |
JP2011124935A (ja) * | 2009-12-14 | 2011-06-23 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011216076A (ja) * | 2011-02-07 | 2011-10-27 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
JP2012015744A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 奥行き信号生成装置及び方法 |
WO2011155697A3 (ko) * | 2010-06-08 | 2012-02-02 | 에스케이텔레콤 주식회사 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
JP2012023635A (ja) * | 2010-07-15 | 2012-02-02 | Toshiba Corp | 電子機器及び画像処理方法 |
JP4892098B1 (ja) * | 2010-12-14 | 2012-03-07 | 株式会社東芝 | 立体映像表示装置及び方法 |
JP2012047829A (ja) * | 2010-08-24 | 2012-03-08 | Toshiba Corp | 立体映像表示装置及び立体映像用眼鏡 |
JP2012080348A (ja) * | 2010-10-01 | 2012-04-19 | Toshiba Corp | 多視差画像受信装置 |
JP2012109788A (ja) * | 2010-11-17 | 2012-06-07 | Konica Minolta Holdings Inc | 画像処理装置および視差情報生成装置 |
EP2469870A2 (en) | 2010-12-27 | 2012-06-27 | Sony Corporation | Image processing device, image processing method, and program |
JP2012134655A (ja) * | 2010-12-20 | 2012-07-12 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
WO2012098974A1 (ja) * | 2011-01-19 | 2012-07-26 | シャープ株式会社 | 画像処理装置および方法、画像表示装置および方法 |
WO2012098972A1 (ja) * | 2011-01-19 | 2012-07-26 | シャープ株式会社 | 画像処理装置および方法、画像表示装置および方法 |
JP2012157028A (ja) * | 2012-03-09 | 2012-08-16 | Toshiba Corp | 立体映像表示装置及び方法 |
JP2012186652A (ja) * | 2011-03-04 | 2012-09-27 | Toshiba Corp | 電子機器、画像処理方法及び画像処理プログラム |
JP2012213188A (ja) * | 2012-05-29 | 2012-11-01 | Toshiba Corp | 映像信号処理装置および処理方法ならびに映像表示装置 |
JP2012227724A (ja) * | 2011-04-19 | 2012-11-15 | Toshiba Corp | 再生装置、再生方法、およびプログラム |
WO2013125768A1 (ko) * | 2012-02-21 | 2013-08-29 | 중앙대학교 산학협력단 | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법 |
US8532410B2 (en) | 2008-04-25 | 2013-09-10 | Thomson Licensing | Multi-view video coding with disparity estimation based on depth information |
JP2013242854A (ja) * | 2012-04-17 | 2013-12-05 | Panasonic Corp | 視差算出装置及び視差算出方法 |
WO2013186881A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
WO2013186882A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
KR101371369B1 (ko) | 2012-04-24 | 2014-03-12 | 중앙대학교 산학협력단 | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 |
JP2014239436A (ja) * | 2013-06-06 | 2014-12-18 | ソニー株式会社 | 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置 |
JP2015073292A (ja) * | 2009-06-16 | 2015-04-16 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 2次元映像の3次元映像への変換装置および方法 |
CN104683784A (zh) * | 2015-02-04 | 2015-06-03 | 长春理工大学 | 一种基于图像错切变换的全自动2d转3d视频方法 |
US9262839B2 (en) | 2013-07-10 | 2016-02-16 | Sony Corporation | Image processing device and image processing method |
US9483836B2 (en) | 2011-02-28 | 2016-11-01 | Sony Corporation | Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content |
JP2017092983A (ja) * | 2017-01-25 | 2017-05-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP2017523671A (ja) * | 2014-06-10 | 2017-08-17 | ビッタニメイト インコーポレイテッド | 立体視ビデオズーミング、並びにビデオにおける前景及び背景の検出 |
JP2017525197A (ja) * | 2014-06-10 | 2017-08-31 | ビッタニメイト インコーポレイテッド | 立体視ビデオ生成 |
US9774840B2 (en) | 2010-12-14 | 2017-09-26 | Kabushiki Kaisha Toshiba | Stereoscopic video signal processing apparatus and method thereof |
US10021290B2 (en) | 2012-05-17 | 2018-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
JP2019219940A (ja) * | 2018-06-20 | 2019-12-26 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102562048B1 (ko) * | 2022-11-07 | 2023-08-01 | 김남웅 | 3축 이미지 처리방식을 기반으로 한 멀티 필라멘트 사 검수시스템 및 이 검수시스템을 이용한 고품질 필라멘트 사 제조방법 |
-
1999
- 1999-03-04 JP JP11056891A patent/JP2000261828A/ja active Pending
Cited By (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008015576A (ja) * | 2006-07-03 | 2008-01-24 | Mitsubishi Precision Co Ltd | 3次元コンピュータグラフィックス合成方法及び装置 |
JP2010514318A (ja) * | 2006-12-19 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 2次元ビデオの3次元ビデオへの変換方法及びシステム |
WO2008102473A1 (ja) * | 2007-02-20 | 2008-08-28 | Kabushiki Kaisha Toshiba | 顔認証装置および顔認証方法 |
JP2010532036A (ja) * | 2007-07-03 | 2010-09-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行きマップの計算 |
JP2009134693A (ja) * | 2007-10-30 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
JP2013077307A (ja) * | 2007-10-30 | 2013-04-25 | Canon Inc | 画像処理装置、画像処理方法 |
US8532410B2 (en) | 2008-04-25 | 2013-09-10 | Thomson Licensing | Multi-view video coding with disparity estimation based on depth information |
JP2010063083A (ja) * | 2008-08-06 | 2010-03-18 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US8860784B2 (en) | 2008-08-06 | 2014-10-14 | Sony Corporation | Image processing apparatus, image processing method, and program |
US9137512B2 (en) | 2008-12-04 | 2015-09-15 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating depth, and method and apparatus for converting 2D video to 3D video |
CN101754040A (zh) * | 2008-12-04 | 2010-06-23 | 三星电子株式会社 | 用于估计深度和将2d视频转换为3d视频的方法和设备 |
JP2010136371A (ja) * | 2008-12-04 | 2010-06-17 | Samsung Electronics Co Ltd | 深さ推定装置および方法、および3dビデオ変換装置および方法 |
JP2015073292A (ja) * | 2009-06-16 | 2015-04-16 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 2次元映像の3次元映像への変換装置および方法 |
US8289376B2 (en) | 2009-09-08 | 2012-10-16 | Kabushiki Kaisha Toshiba | Image processing method and apparatus |
JP4892113B2 (ja) * | 2009-09-08 | 2012-03-07 | 株式会社東芝 | 画像処理方法及び装置 |
WO2011030399A1 (ja) * | 2009-09-08 | 2011-03-17 | 株式会社 東芝 | 画像処理方法及び装置 |
JP2011124935A (ja) * | 2009-12-14 | 2011-06-23 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US8866884B2 (en) | 2009-12-14 | 2014-10-21 | Sony Corporation | Image processing apparatus, image processing method and program |
WO2011155697A3 (ko) * | 2010-06-08 | 2012-02-02 | 에스케이텔레콤 주식회사 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
JP2012015744A (ja) * | 2010-06-30 | 2012-01-19 | Toshiba Corp | 奥行き信号生成装置及び方法 |
US8805020B2 (en) | 2010-06-30 | 2014-08-12 | Kabushiki Kaisha Toshiba | Apparatus and method for generating depth signal |
JP2012023635A (ja) * | 2010-07-15 | 2012-02-02 | Toshiba Corp | 電子機器及び画像処理方法 |
US8416288B2 (en) | 2010-07-15 | 2013-04-09 | Kabushiki Kaisha Toshiba | Electronic apparatus and image processing method |
JP2012047829A (ja) * | 2010-08-24 | 2012-03-08 | Toshiba Corp | 立体映像表示装置及び立体映像用眼鏡 |
JP2012080348A (ja) * | 2010-10-01 | 2012-04-19 | Toshiba Corp | 多視差画像受信装置 |
JP2012109788A (ja) * | 2010-11-17 | 2012-06-07 | Konica Minolta Holdings Inc | 画像処理装置および視差情報生成装置 |
US9774840B2 (en) | 2010-12-14 | 2017-09-26 | Kabushiki Kaisha Toshiba | Stereoscopic video signal processing apparatus and method thereof |
JP4892098B1 (ja) * | 2010-12-14 | 2012-03-07 | 株式会社東芝 | 立体映像表示装置及び方法 |
US8305426B2 (en) | 2010-12-14 | 2012-11-06 | Kabushiki Kaisha Toshiba | Stereoscopic video display apparatus and method therefor |
JP2012134655A (ja) * | 2010-12-20 | 2012-07-12 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
EP2469870A2 (en) | 2010-12-27 | 2012-06-27 | Sony Corporation | Image processing device, image processing method, and program |
US9277202B2 (en) | 2011-01-19 | 2016-03-01 | Sharp Kabushiki Kaisha | Image processing device, image processing method, image display apparatus, and image display method |
WO2012098972A1 (ja) * | 2011-01-19 | 2012-07-26 | シャープ株式会社 | 画像処理装置および方法、画像表示装置および方法 |
WO2012098974A1 (ja) * | 2011-01-19 | 2012-07-26 | シャープ株式会社 | 画像処理装置および方法、画像表示装置および方法 |
JP2011216076A (ja) * | 2011-02-07 | 2011-10-27 | Toshiba Corp | 画像処理装置、画像処理方法および画像表示装置 |
US9483836B2 (en) | 2011-02-28 | 2016-11-01 | Sony Corporation | Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content |
JP2012186652A (ja) * | 2011-03-04 | 2012-09-27 | Toshiba Corp | 電子機器、画像処理方法及び画像処理プログラム |
JP2012227724A (ja) * | 2011-04-19 | 2012-11-15 | Toshiba Corp | 再生装置、再生方法、およびプログラム |
WO2013125768A1 (ko) * | 2012-02-21 | 2013-08-29 | 중앙대학교 산학협력단 | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출 및 깊이 정보 추정장치 및 방법 |
JP2012157028A (ja) * | 2012-03-09 | 2012-08-16 | Toshiba Corp | 立体映像表示装置及び方法 |
JP2013242854A (ja) * | 2012-04-17 | 2013-12-05 | Panasonic Corp | 視差算出装置及び視差算出方法 |
KR101371369B1 (ko) | 2012-04-24 | 2014-03-12 | 중앙대학교 산학협력단 | 다중 컬러 필터 조리개를 구비한 촬상 장치에 의해 촬영된 영상의 자동 객체 검출장치 및 방법 |
US10021290B2 (en) | 2012-05-17 | 2018-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
JP2012213188A (ja) * | 2012-05-29 | 2012-11-01 | Toshiba Corp | 映像信号処理装置および処理方法ならびに映像表示装置 |
WO2013186882A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
WO2013186881A1 (ja) * | 2012-06-13 | 2013-12-19 | 株式会社エム・ソフト | 立体視画像生成方法および立体視画像生成システム |
JP2014239436A (ja) * | 2013-06-06 | 2014-12-18 | ソニー株式会社 | 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置 |
US9262839B2 (en) | 2013-07-10 | 2016-02-16 | Sony Corporation | Image processing device and image processing method |
JP2017523671A (ja) * | 2014-06-10 | 2017-08-17 | ビッタニメイト インコーポレイテッド | 立体視ビデオズーミング、並びにビデオにおける前景及び背景の検出 |
JP2017525197A (ja) * | 2014-06-10 | 2017-08-31 | ビッタニメイト インコーポレイテッド | 立体視ビデオ生成 |
CN104683784A (zh) * | 2015-02-04 | 2015-06-03 | 长春理工大学 | 一种基于图像错切变换的全自动2d转3d视频方法 |
JP2017092983A (ja) * | 2017-01-25 | 2017-05-25 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム、および撮像装置 |
JP2019219940A (ja) * | 2018-06-20 | 2019-12-26 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP7192259B2 (ja) | 2018-06-20 | 2022-12-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR102562048B1 (ko) * | 2022-11-07 | 2023-08-01 | 김남웅 | 3축 이미지 처리방식을 기반으로 한 멀티 필라멘트 사 검수시스템 및 이 검수시스템을 이용한 고품질 필라멘트 사 제조방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000261828A (ja) | 立体映像生成方法 | |
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
US9485495B2 (en) | Autofocus for stereo images | |
CN101422047B (zh) | 图像边界处的运动估计方法及显示设备 | |
US7936950B2 (en) | Apparatus for creating interpolation frame | |
KR100720722B1 (ko) | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 | |
EP2706504A2 (en) | An apparatus, a method and a computer program for image processing | |
WO2010024479A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
KR100888081B1 (ko) | 2차원 영상 신호의 3차원 영상 신호로의 변환 절차 및 변환장치 | |
US8861837B2 (en) | Detecting stereoscopic images | |
JP2020506484A (ja) | 画像特性マップを処理するための方法及び装置 | |
WO2008152951A1 (en) | Method of and apparatus for frame rate conversion | |
JP2005528708A (ja) | 現動きベクトルを推定するユニット及び方法 | |
US20130051657A1 (en) | Method and apparatus for determining a similarity or dissimilarity measure | |
JP2000253422A (ja) | 2次元映像からの立体映像生成方法 | |
JP2009533887A (ja) | 動きベクトル場修正装置及び方法 | |
JP2005528709A (ja) | 現動きベクトルを推定するユニット及び方法 | |
EP2525324B1 (en) | Method and apparatus for generating a depth map and 3d video | |
KR101050135B1 (ko) | 광류 정보를 이용한 중간 영상 생성 방법 | |
JP2004356747A (ja) | 画像のマッチング方法および装置 | |
WO2015158570A1 (en) | System, method for computing depth from video | |
US9113142B2 (en) | Method and device for providing temporally consistent disparity estimations | |
US20120062699A1 (en) | Detecting stereoscopic images | |
EP3418975A1 (en) | Depth estimation for an image | |
EP2237559B1 (en) | Background motion estimate based halo reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |