JP2012222736A - 画像処理装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2012222736A JP2012222736A JP2011089179A JP2011089179A JP2012222736A JP 2012222736 A JP2012222736 A JP 2012222736A JP 2011089179 A JP2011089179 A JP 2011089179A JP 2011089179 A JP2011089179 A JP 2011089179A JP 2012222736 A JP2012222736 A JP 2012222736A
- Authority
- JP
- Japan
- Prior art keywords
- viewpoint
- image
- optimal
- unit
- detection unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】3D画像の最適な構図を検出することができるようにする。
【解決手段】最適視点検出部は、3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する。本技術は、例えば、3D画像を撮影する撮影装置に適用することができる。
【選択図】図1
【解決手段】最適視点検出部は、3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する。本技術は、例えば、3D画像を撮影する撮影装置に適用することができる。
【選択図】図1
Description
本技術は、画像処理装置、画像処理方法、およびプログラムに関し、特に、3D画像の最適な構図を検出することができるようにした画像処理装置、画像処理方法、およびプログラムに関する。
近年、3D画像の撮影、編集、表示に関する技術が数多く考案されている。
一方、撮影構図を推薦する技術としては、2D画像の撮影時に、ユーザにより選択された主要被写体の画像の特徴に応じて撮影構図を選択し、表示する技術がある(例えば、特許文献1参照)。この技術により、人物を含む複数の被写体が存在する場合であっても、より好ましい撮影構図をユーザに提示することができる。
また、撮影構図を推定する技術としては、被写体の奥行き値を利用して2D画像の撮影構図を推定する技術がある(例えば、特許文献2参照)。この技術は、2D画像から検出した奥行き値のうちの、2D画像の上部領域からなるオープンスカイ領域の奥行き値の重み付け平均値と、左右の側面領域からなるポートレート領域の奥行き値の重み付け平均値に基づいて、撮影構図を特定する技術である。
しかしながら、被写体の奥行方向の位置などの3D画像特有の特徴を考慮して、3D画像の最適な構図、即ち最適な2視点を検出する技術は考案されていない。
本技術は、このような状況に鑑みてなされたものであり、3D画像の最適な構図を検出することができようにするものである。
本技術の一側面の画像処理装置は、3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出部を備える画像処理装置である。
本技術の一側面の画像処理方法およびプログラムは、本技術の一側面の画像処理装置に対応する。
本技術の一側面においては、3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点が最適な視点として検出される。
本技術の一側面によれば、3D画像の最適な構図を検出することができる。
<第1実施の形態>
[画像処理装置の第1実施の形態の構成例]
図1は、本技術を適用した画像処理装置の第1実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第1実施の形態の構成例]
図1は、本技術を適用した画像処理装置の第1実施の形態としての撮影装置の構成例を示すブロック図である。
図1の撮影装置10は、撮影部11、最適視点検出部12、最適構図案内部13、および表示部14により構成され、最適な2視点の3D画像を撮影可能な位置に撮影部11を案内する。
具体的には、撮影装置10の撮影部11は、3以上の視点である多視点のフレーム単位のカラー画像を2視点ずつ撮影する。また、撮影部11は、撮影時に、所定の視点のフレーム単位のカラー画像に対応する視差画像を取得する。
なお、視差画像は、Disparity Mapとも呼ばれ、対応する視点のカラー画像の各画素と、その画素に対応する、基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値からなる画像である。この視差画像は、3D画像の奥行方向の位置や、撮影部11と被写体との間の距離を表すDepth Mapから変換可能な画像である。撮影部11は、例えば、撮影時に測距センサ等により検出されたDepth Mapやユーザにより作成されたDepth Mapを視差画像に変換することにより、視差画像を取得する。なお、撮影部11により取得される視差画像の視点数は、多視点画像の視点数と同一であってもよいし、異なっていてもよい。
撮影部11は、多視点のフレーム単位のカラー画像を多視点画像として最適視点検出部12に供給するとともに、視差画像を最適視点検出部12に供給する。また、撮影部11は、現在の撮影部11の位置に対応する2視点の位置を表す視点位置情報を、最適構図案内部13に供給する。
最適視点検出部12は、撮影部11から供給される多視点画像と視差画像を用いて、多視点画像の視点の中から、表示時に最適な3D画像の2視点を最適視点として選択する。具体的には、最適視点検出部12は、多視点画像の特徴を視点ごとに抽出する。また、最適視点検出部12は、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部12は、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの1視点(以下、最適1視点という)とし、最適1視点と、最適1視点と所定の距離だけ離れた1視点の2視点を最適視点とする。最適視点検出部12は、最適視点を最適構図案内部13に供給する。
最適構図案内部13は、最適視点検出部12から供給される最適視点と、撮影部11から供給される視点位置情報とに基づいて、視点位置情報が表す2視点の位置から最適視点までの距離を移動量として算出する。最適構図案内部13は、算出された移動量に基づいて、最適視点の3D画像を撮影可能な位置に撮影部11を案内するための案内視点情報を生成し、表示部14に供給する。
表示部14は、最適構図案内部13から供給される案内視点情報を表示する。例えば、表示部14は、案内視点情報としての「少し右に寄って下さい」等のメッセージを表示する。
[撮影装置の処理の説明]
図2は、図1の撮影装置10の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像と視差画像が最適視点検出部12に入力されたとき、開始される。
図2は、図1の撮影装置10の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像と視差画像が最適視点検出部12に入力されたとき、開始される。
図2のステップS11において、撮影装置10の最適視点検出部12は、多視点画像の視点のうちの、まだ注目視点とされていない1つの視点を注目視点とする。
ステップS12において、最適視点検出部12は、多視点画像のうちの注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部12は、注目視点のカラー画像に対して物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行う。
なお、物体認識処理とは、例えば、Support Vector Machine、Boosting、Neural Network等のアルゴリズムにしたがう処理であり、この物体認識処理により、主要な被写体となり得る人や物の画像が、カラー画像の特徴として抽出される。
また、セグメンテーションとは、例えば、Mean Shift、Graph Cut等のアルゴリズムにしたがう、各画素を1以上の領域に分類する処理である。このセグメンテーションにより、地面、水面、空、構造物等の領域がカラー画像の特徴として抽出される。3視点の多視点画像のセグメンテーション結果の例を、図3A乃至図3Cに示す。図3A乃至図3Cの例では、各視点のカラー画像のセグメンテーション結果として、6個の領域31乃至36が抽出されている。
また、水平線や消失点等の幾何情報の検出処理は、例えば、各種のエッジ検出フィルタを用いた処理や、Hough変換等のアルゴリズムにしたがう処理である。この水平線や消失点等の幾何情報の検出処理により、カラー画像の地平線や水平線、消失点、構造物の輪郭等が特徴として抽出される。図3A乃至図3Cに示したセグメンテーション結果に対応する3視点の多視点画像の消失点の検出処理結果の例を、図4A乃至図4Cに示す。図4A乃至図4Cの例では、各視点のカラー画像の検出処理結果として、消失点41が抽出されている。
ステップS13において、最適視点検出部12は、注目視点の視差画像が入力されているかどうかを判定する。ステップS13で注目視点の視差画像が入力されていないと判定された場合、処理はステップS14に進む。
ステップS14において、最適視点検出部12は、入力されている視差画像から注目視点の視差画像を生成し、処理をステップS15に進める。
一方、ステップS13で注目視点の視差画像が入力されている判定された場合、処理はステップS15に進む。
ステップS15において、最適視点検出部12は、ステップS12で抽出された注目視点のカラー画像の特徴と注目視点の視差画像を用いて評価値を算出する評価値算出処理を行う。この評価値算出処理の詳細は、後述する図5乃至図8を参照して説明する。
ステップS16において、最適視点検出部12は、注目視点が最初の注目視点であるかどうかを判定する。ステップS16で注目視点が最初の注目視点であると判定された場合、ステップS17において、最適視点検出部12は、注目視点を最適1視点の候補とし、処理をステップS20に進める。
一方、ステップS16で注目視点が最初の注目視点ではないと判定された場合、ステップS18において、最適視点検出部12は、注目視点の評価値が最適1視点の候補の評価値より小さいかどうかを判定する。
ステップS18で注目視点の評価値が最適1視点の候補の評価値より小さいと判定された場合、ステップS19において、最適視点検出部12は、最適1視点の候補を注目視点に変更する。
一方、ステップS18で注目視点の評価値が最適1視点の候補の評価値より小さくはないと判定された場合、ステップS19の処理はスキップされ、処理はステップS20に進む。
ステップS20において、最適視点検出部12は、多視点画像の全ての視点を注目視点としたかどうかを判定する。ステップS20で多視点画像の全ての視点をまだ注目視点としていないと判定された場合、処理はステップS11に戻り、全ての視点が注目視点とされるまで、ステップS11乃至S20の処理が繰り返される。
一方、ステップS20で多視点画像の全ての視点を注目視点としたと判定された場合、最適視点検出部12は、最適1視点の候補を最適1視点とし、処理をステップS21に進める。
ステップS21において、最適視点検出部12は、最適1視点と、その最適1視点に対応する、最適1視点と所定の距離だけ離れた1視点の2視点を最適視点として、最適構図案内部13に出力する。
ステップS22において、最適構図案内部13は、最適視点検出部12から供給される最適視点と、撮影部11から供給される視点位置情報とに基づいて、視点位置情報が表す2視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部13は、算出された移動量に基づいて案内視点情報を生成し、表示部14に供給する。
ステップS23において、表示部14は、最適構図案内部13から供給される案内視点情報を表示し、処理を終了する。
図5は、図2のステップS15の評価値算出処理の第1の例の詳細を説明するフローチャートである。なお、図5の評価値算出処理は、図2のステップS12で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
図5のステップS41において、最適視点検出部12は、図2のステップS12でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積S、重心の座標(x,y)、および視差値の平均値zを求める。
例えば、図3Aの領域31乃至36が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部12は、図3Aの領域31乃至36と図6Aに示す注目視点の視差画像に基づいて、図3Aの領域31乃至36それぞれの面積S、重心の座標(x,y)、および視差の平均値zを求める。同様に、図3Bの領域31乃至36が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部12は、図3Bの領域31乃至36と図6Bに示す注目視点の視差画像に基づいて、図3Bの領域31乃至36それぞれの面積S、重心の座標(x,y)、および視差の平均値zを求める。また、図3Cの領域31乃至36が注目視点のカラー画像の特徴として抽出される場合、最適視点検出部12は、図3Cの領域31乃至36と図6Cに示す注目視点の視差画像に基づいて、図3Cの領域31乃至36それぞれの面積S、重心の座標(x,y)、および視差の平均値zを求める。
ステップS42において、最適視点検出部12は、ステップS41で求められた各領域の視差値の平均値zに基づいて、最も手前側の領域と最も奥側の領域を検出する。
例えば、図3Aの領域31乃至36が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図6Aに示した画像である場合、最適視点検出部12は、最も手前側の領域として領域35を検出する。また、最適視点検出部12は、最も奥側の領域として領域31および領域33を検出する。
この場合のように、最も奥側の領域の数が複数である場合、最適視点検出部12は、例えば、重心の座標(x,y)が画面の中央に近い方の領域33を選択する。なお、最適視点検出部12は、複数の最も奥側の領域のうちのいずれか一方を選択するのではなく、両方の領域を連結することもできる。最も手前側の領域の数が複数である場合も同様である。
ステップS43において、最適視点検出部12は、最も手前側の領域の面積Sが所定値より大きいかどうかを判定する。ステップS43で最も手前側の領域の面積Sが所定値より大きいと判定された場合、ステップS44において、最適視点検出部12は、最も手前側の領域を主要な被写体の領域とする。
ステップS45において、最適視点検出部12は、主要な被写体の領域とされた最も手前側の領域の重心の座標(x,y)と、画面中央の座標(xc,yc)に基づいて、座標(x,y)と座標(xc,yc)の距離が小さいほど小さくなるように、評価値を算出する。その結果、主要な被写体の領域とされた最も手前側の領域が画面中央の近くに存在するカラー画像に対応する視点が、最適1視点とされる。例えば、図3A乃至図3Cの領域31乃至36が3視点の多視点画像の特徴として抽出され、その多視点画像の視差画像が図6A乃至図6Cに示した画像である場合、画面中央に比較的近い図3Cの領域35を特徴とするカラー画像に対応する視点が最適1視点とされる。
一方、ステップS43で最も手前側の領域の面積Sが所定値より大きくはないと判定された場合、ステップS46において、最適視点検出部12は、評価値を所定値とする。
図7は、図2のステップS15の評価値算出処理の第2の例の詳細を説明するフローチャートである。なお、図7の評価値算出処理は、図2のステップS12で注目視点のカラー画像に対してセグメンテーションが行われた場合の評価値算出処理である。
図7のステップS61において、最適視点検出部12は、図2のステップS12でセグメンテーションの結果抽出される特徴としての領域と注目視点の視差画像とに基づいて、各領域の面積S、重心の座標(x,y)、および視差値の平均値zを求める。
ステップS62において、最適視点検出部12は、ステップS61で求められた各領域の視差値の平均値zと重心の座標(x,y)に基づいて、最も奥側の領域に隣接する左右の領域を検出する。例えば、図3Aの領域31乃至36が注目視点のカラー画像の特徴として抽出され、注目視点の視差画像が図6Aに示した画像である場合、最適視点検出部12は、図5のステップ42の処理と同様に、最も奥側の領域として領域33を検出する。そして、最適視点検出部12は、領域33の重心の座標(x,y)の左側の最も近い重心の座標(x,y)に対応する領域32を、最も奥側の領域に隣接する左の領域として検出する。また、最適視点検出部12は、領域33の重心の座標(x,y)の右側の最も近い重心の座標(x,y)に対応する領域34を、最も奥側の領域に隣接する右の領域として検出する。
ステップS63において、最適視点検出部12は、ステップS62で検出された左右の領域の面積Sの比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、最も奥側の領域の左右の領域の面積Sの比が予め設定された所定値に最も近いカラー画像に対応する視点が、最適1視点とされる。
図8は、図2のステップS15の評価値算出処理の第3の例の詳細を説明するフローチャートである。なお、図8の評価値算出処理は、図2のステップS12で注目視点のカラー画像に対して消失点の検出処理が行われた場合の評価値算出処理である。
図8のステップS71において、最適視点検出部12は、図2のステップS12で消失点の検出処理の結果抽出される特徴としての消失点と、注目視点の視差画像とに基づいて、消失点の左側の画素の視差値の平均値と、消失点の右側の画素の視差値の平均値の比を求める。
例えば、図4Aに示した消失点41が抽出される場合、最適視点検出部12は、その消失点41の位置(xd,yd)を検出する。そして、最適視点検出部12は、消失点41の位置(xd,yd)と図6Aに示した注目視点の視差画像に基づいて、消失点41の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比を求める。
ステップS72において、最適視点検出部12は、ステップS71で検出された視差値の平均値の比に基づいて、その比が予め設定された所定値に近いほど小さくなるように、評価値を算出する。その結果、消失点の左側の画素の視差値の平均値と右側の画素の視差値の平均値の比が所定値に近いカラー画像に対応する視点が、最適1視点とされる。
以上のように、撮影装置10は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち3D画像の最適な構図を検出することができる。従って、撮影装置10は、最適視点に基づいて案内視点情報を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される撮影構図での撮影をユーザに推薦することができる。
<第2実施の形態>
[画像処理装置の第2実施の形態の構成例]
図9は、本技術を適用した画像処理装置の第2実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
[画像処理装置の第2実施の形態の構成例]
図9は、本技術を適用した画像処理装置の第2実施の形態としてのコンテンツ編集装置の構成例を示すブロック図である。
図9に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図9のコンテンツ編集装置50の構成は、主に、撮影部11が設けられない点、記録部51、再生部52、および入力部55が新たに設けられている点、最適構図案内部13、表示部14の代わりに最適構図推薦部53、表示部54が設けられている点が図1の構成と異なる。図9のコンテンツ編集装置50は、記録部51に記録されている多視点画像と視差画像を再生し、最適視点を検出する。
具体的には、コンテンツ編集装置50の記録部51には、多視点画像と視差画像が記録されている。
再生部52は、入力部55から供給される最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から2視点の3D画像への変換の指示に応じて、記録部51に記録されている多視点画像と視差画像を読み出し、最適視点検出部12に供給する。また、再生部52は、入力部55から供給される多視点画像から2視点の3D画像への変換の指示に応じて、記録部51から読み出された多視点画像を最適構図推薦部53に供給する。
最適構図推薦部53は、出力部として機能し、入力部55から供給される最適視点の推薦の指示に応じて、最適視点検出部12により選択される最適視点に基づいて、最適視点を推薦するための推薦視点情報を生成し、表示部54に供給する。また、最適構図推薦部53は、入力部55から供給される最適視点の記録の指示に応じて、記録部51に最適視点を供給し、記録部51に記録されている多視点画像に対応付けて記録させる。
さらに、最適構図推薦部53は、入力部55から供給される多視点画像から2視点の3D画像への変換の指示に応じて、再生部52から供給される多視点画像のうちの最適視点のカラー画像を、変換後の2視点の3D画像として記録部51に供給し、記録させる。なお、このとき、最適視点検出部12で最適視点の検出に用いられた最適視点の視差画像が、最適視点のカラー画像とともに記録部51に記録されるようにしてもよい。
表示部54は、最適構図推薦部53から供給される推薦視点情報を表示する。これにより、ポストプロダクション等を行うユーザが、最適視点を認識することができる。
なお、推薦視点情報としては、最適視点を表す情報であってもよいし、最適視点のうちの1視点のカラー画像や最適視点の両方のカラー画像であってもよい。また、表示部54には、推薦視点情報としての最適視点を表す情報とともに、多視点画像が表示されるようにしてもよい。
入力部55は、ユーザによる操作を受け付ける。入力部55は、受け付けられた操作に応じて、最適視点の推薦の指示、最適視点の記録の指示、および多視点画像から2視点の3D画像への変換の指示などを再生部52と最適構図推薦部53に供給する。
以上のように、コンテンツ編集装置50は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち3D画像の最適な構図を検出することができる。従って、コンテンツ編集装置50は、最適視点に基づいて、推薦視点情報を表示したり、最適視点を記録したりすることにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図をユーザに推薦することができる。また、コンテンツ編集装置50は、最適視点に基づいて最適視点のカラー画像からなる3D画像を生成することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の3D画像をユーザに提供することができる。
<第3実施の形態>
[画像処理装置の第3実施の形態の構成例]
図10は、本技術を適用した画像処理装置の第3実施の形態としての表示制御装置の構成例を示すブロック図である。
[画像処理装置の第3実施の形態の構成例]
図10は、本技術を適用した画像処理装置の第3実施の形態としての表示制御装置の構成例を示すブロック図である。
図10に示す構成のうち、図9の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図10の表示制御装置70の構成は、主に、最適構図推薦部53、表示部54の代わりに、最適構図表示制御部71、表示部72が設けられている点、および、入力部55が設けられない点が図9の構成と異なる。図10の表示制御装置70は、最適視点のカラー画像を、表示部72の略正面から鑑賞可能なように表示させる。
具体的には、表示制御装置70の最適構図表示制御部71は、最適視点検出部12により選択される最適視点に基づいて、再生部52により再生された多視点画像を表示するための表示情報を生成する。具体的には、最適構図表示制御部71は、多視点画像のうちの最適視点のカラー画像を表示部72の正面に位置するユーザから鑑賞可能なように表示するための表示情報を生成する。最適構図表示制御部71は、生成された表示情報を表示部72に供給する。
表示部72は、最適構図表示制御部71から供給される表示情報に基づいて、多視点の画像を、視点ごとに鑑賞可能な位置が異なるように表示する。これにより、表示部72の略正面に位置するユーザは、最適視点のカラー画像を視点ごとに左右の各目で鑑賞することができ、その結果、3D視聴用のメガネを装着せずに3D画像を見ることができる。
なお、表示部72で表示可能なカラー画像の視点数は3以上でなくてもよい。表示部72で表示可能なカラー画像の視点数が1である場合、表示部72は、最適視点のうちの1視点のカラー画像を表示する。また、表示部72で表示可能なカラー画像の視点数が2である場合、表示部72は、最適視点のカラー画像のみを表示する。
また、図10の表示制御装置70は、記録部51に記録されている多視点画像を表示したが、テレビジョン放送等により送信されてくる多視点画像を表示するようにしてもよい。この場合、例えば、視差画像も多視点画像とともに送信されてくる。
さらに、図10の最適構図表示制御部71は、図11に示すように構成することもできる。
図11の最適構図表示制御部71は、視聴状態検出部91と表示位置調整部92により構成され、ユーザの視聴環境に応じて最適視点のカラー画像の表示位置を変更する。
具体的には、最適構図表示制御部71の視聴状態検出部91は、図示せぬカメラ等を内蔵し、図10の表示部72による表示を鑑賞するユーザの画像を取得する。視聴状態検出部91は、ユーザの画像を解析し、ユーザの人数、位置、顔の向き、および視線の方向の少なくとも1つを、ユーザの視聴状態として検出する。視聴状態検出部91は、検出された視聴状態を表す視聴情報を生成し、表示位置調整部92に供給する。
表示位置調整部92は、視聴状態検出部91から供給される視聴情報に基づいて、最適視点のカラー画像の鑑賞可能位置を決定する。例えば、表示位置調整部92は、より多くのユーザが存在する位置を鑑賞可能位置に決定する。また、表示位置調整部92は、より多くのユーザの視線の方向に対応する鑑賞位置を鑑賞可能位置に決定する。
表示位置調整部92は、多視点画像のうちの最適視点のカラー画像を、決定された鑑賞可能位置にいるユーザから鑑賞可能なように表示するための表示情報を生成し、表示部72に供給する。
以上のように、表示制御装置70は、多視点のカラー画像と多視点の視差画像を用いて、多視点のうちの最適視点を検出するので、視差等を考慮して、最適視点、即ち3D画像の最適な構図を検出することができる。従って、表示制御装置70は、最適視点に基づいて多視点画像を表示することにより、被写体と背景との奥行き方向の距離感や、被写体の立体感等が最適であると推測される構図の3D画像をユーザに推薦して表示することができる。
<第4実施の形態>
[画像処理装置の第4実施の形態の構成例]
図12は、本技術を適用した画像処理装置の第4実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第4実施の形態の構成例]
図12は、本技術を適用した画像処理装置の第4実施の形態としての撮影装置の構成例を示すブロック図である。
図12に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図12の撮影装置110の構成は、主に、最適視点検出部12の代わりに最適視点検出部111が設けられている点、および、新たに記憶部112が設けられている点が図1の構成と異なる。図12の撮影装置110は、多視点画像、視差画像、および最適視点事前情報に基づいて、最適視点を検出する。
なお、最適視点事前情報とは、ユーザの意図する構図で撮影された2視点の3D画像と視差画像を用いて予め学習によりモデル化された、カラー画像の特徴と視差画像の関係を表す情報である。最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部111で行われる、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
また、ユーザの意図する構図で撮影された2視点の3D画像としては、より奥行き感が得られる3D画像、眼への負担を軽減することができる3D画像、フレーミングの技法において推奨される構図で撮影された3D画像などを用いることができる。
撮影装置110の最適視点検出部111は、撮影部11から供給される多視点画像および視差画像、並びに記憶部112から読み出された最適視点事前情報を用いて、多視点画像の視点の中から最適視点を選択する。
具体的には、最適視点検出部111は、図1の最適視点検出部12と同様に、多視点画像に対して、視点ごとに、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部111は、視点ごとに、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。最適視点検出部111は、図1の最適視点検出部12と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適1視点とし、最適1視点と、最適1視点と所定の距離だけ離れた1視点の2視点を最適視点とする。最適視点検出部111は、最適視点検出部12と同様に、最適視点を最適構図案内部13に供給する。
記憶部112は、最適視点事前情報を記憶する。
[撮影装置の処理の説明]
図13は、図12の撮影装置110の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像と視差画像が最適視点検出部111に入力されたとき、開始される。
図13は、図12の撮影装置110の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像と視差画像が最適視点検出部111に入力されたとき、開始される。
図13のステップS111乃至S114の処理は、図2のステップS11乃至S14の処理と同様であるので、説明は省略する。
ステップS115において、最適視点検出部111は、注目視点のカラー画像の特徴および視差画像並びに記憶部112から読み出された最適視点事前情報に基づいて、評価値を算出する。具体的には、最適視点検出部111は、注目視点のカラー画像の特徴と視差画像の関係が、最適視点事前情報が表す関係に近似しているほど小さくなるように、評価値を算出する。
ステップS116乃至S123の処理は、図2のステップS16乃至S23の処理と同様であるので、説明は省略する。
なお、図示は省略するが、図9のコンテンツ編集装置50や図10の表示制御装置70においても、最適視点検出部12の代わりに図12の最適視点検出部111を設け、新たに記憶部112を設けることができる。
<第5実施の形態>
[画像処理装置の第5実施の形態の構成例]
図14は、本技術を適用した画像処理装置の第5実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第5実施の形態の構成例]
図14は、本技術を適用した画像処理装置の第5実施の形態としての撮影装置の構成例を示すブロック図である。
図14に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図14の撮影装置130の構成は、主に、新たに動きベクトル検出部131が設けられている点、および、最適視点検出部12の代わりに最適視点検出部132が設けられている点が図1の構成と異なる。図14の撮影装置130は、多視点画像の動きベクトルを検出し、その動きベクトル、多視点画像、および視差画像に基づいて、最適視点を検出する。
具体的には、撮影装置130の動きベクトル検出部131は、撮影部11により取得されるフレーム単位の多視点画像のフレーム間の動きベクトルを検出する。このとき、動きベクトル検出部131は、多視点画像を構成する全ての視点のカラー画像の動きベクトルを検出してもよいし、所定の視点のカラー画像の動きベクトルのみを検出するようにしてもよい。動きベクトル検出部131が所定の視点のカラー画像の動きベクトルのみを検出する場合には、最適視点検出部132が、その動きベクトルを用いて他の視点の動きベクトルを生成する。動きベクトル検出部131は、検出された動きベクトルを最適視点検出部132に供給する。
最適視点検出部132は、撮影部11から供給される多視点画像および視差画像、並びに動きベクトル検出部131から供給される動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
具体的には、最適視点検出部132は、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。なお、動きベクトルを用いたセグメンテーションの詳細は、例えば、Michael M. Chang, A. Murat Tekalp, M. Ibrahim Sezan, “Simultaneous motion estimation and segmentation”, Image Processing, IEEE Transactions on, 1997に記載されている。最適視点検出部132は、動きベクトルを用いて特徴を抽出することにより、より精度良く特徴を抽出することができる。
また、最適視点検出部132は、図1の最適視点検出部12と同様に、抽出された多視点画像の特徴と視差画像に基づいて、視点ごとに、多視点画像の評価値を算出する。そして、最適視点検出部132は、最適視点検出部12と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適1視点とし、最適1視点と、最適1視点と所定の距離だけ離れた1視点の2視点を最適視点とする。最適視点検出部132は、最適視点検出部12と同様に、最適視点を最適構図案内部13に供給する。
[撮影装置の処理の説明]
図15は、図14の撮影装置130の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像が動きベクトル検出部131と最適視点検出部132に入力され、視差画像が最適視点検出部132に入力されたとき、開始される。
図15は、図14の撮影装置130の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像が動きベクトル検出部131と最適視点検出部132に入力され、視差画像が最適視点検出部132に入力されたとき、開始される。
図15のステップS140において、撮影装置130の動きベクトル検出部131は、撮影部11から入力される多視点画像のフレーム間の動きベクトルを検出し、最適視点検出部132に供給する。
ステップS141において、最適視点検出部132は、多視点画像の視点のうちの、まだ注目視点とされていない1つの視点を注目視点とする。
ステップS142において、最適視点検出部132は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像の特徴を抽出する。具体的には、最適視点検出部132は、注目視点のカラー画像の動きベクトルを用いて、注目視点のカラー画像に対して、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、注目視点のカラー画像の特徴を抽出する。
ステップS143乃至S153の処理は、図2のステップS13乃至S23の処理と同様であるので、説明は省略する。
なお、図14の撮影装置130は、動きベクトルを用いてカラー画像の特徴を抽出したが、動きベクトルを評価値の算出に用いるようにしてもよい。この場合、例えば、動きベクトルが大きく、視差値がより手前側の位置に対応する値である領域が、画面中央に近いほど小さくなるように評価値が算出される。
また、図示は省略するが、図9のコンテンツ編集装置50や図10の表示制御装置70においても、最適視点検出部12の代わりに図14の最適視点検出部132を設け、新たに動きベクトル検出部131を設けることができる。
<第6実施の形態>
[画像処理装置の第6実施の形態の構成例]
図16は、本技術を適用した画像処理装置の第6実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第6実施の形態の構成例]
図16は、本技術を適用した画像処理装置の第6実施の形態としての撮影装置の構成例を示すブロック図である。
図16に示す構成のうち、図1、図12、および図14の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図16の撮影装置150は、最適視点検出部12の代わりに最適視点検出部151が設けられ、図12の記憶部112と図14の動きベクトル検出部131が設けられている点が図1の構成と異なる。即ち、図16の撮影装置150は、図1の撮影装置10、図12の撮影装置110、および図14の撮影装置130を組み合わせたものである。
具体的には、撮影装置150の最適視点検出部151は、撮影部11からの多視点画像および視差画像、記憶部112からの最適視点事前情報、並びに動きベクトル検出部131からの動きベクトルを用いて、多視点画像の視点の中から最適視点を選択する。
より詳細には、最適視点検出部151は、図14の最適視点検出部132と同様に、多視点画像に対して、視点ごとに、動きベクトルを用いて、物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等を行い、特徴を抽出する。そして、最適視点検出部151は、図12の最適視点検出部111と同様に、抽出された特徴と視差画像の関係と、最適視点事前情報が表す関係とを比較することにより、評価値を算出する。なお、この最適視点事前情報で視差画像との関係が表されるカラー画像の特徴は、最適視点検出部151で行われる、動きベクトルを用いた物体認識処理、セグメンテーション、水平線や消失点等の幾何情報の検出処理等と同様の処理により抽出されたものである。
最適視点検出部151は、図1の最適視点検出部12と同様に、多視点画像のうちの評価値が最小となるカラー画像に対応する視点を最適視点のうちの最適1視点とし、最適1視点と、最適1視点と所定の距離だけ離れた1視点の2視点を最適視点とする。最適視点検出部151は、最適視点検出部12と同様に、最適視点を最適構図案内部13に供給する。
[撮影装置の処理の説明]
図17は、図16の撮影装置150の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像が動きベクトル検出部131と最適視点検出部151に入力され、視差画像が最適視点検出部151に入力されたとき、開始される。
図17は、図16の撮影装置150の最適構図案内処理のフローチャートである。この最適構図案内処理は、例えば、撮影部11から多視点画像が動きベクトル検出部131と最適視点検出部151に入力され、視差画像が最適視点検出部151に入力されたとき、開始される。
図17のステップS160乃至S164の処理は、図15のステップS140乃至S144の処理と同様であるので、説明は省略する。
ステップS165乃至S173の処理は、図13のS115乃至S123の処理と同様であるので、説明は省略する。
なお、図16の撮影装置150は、動きベクトルを用いてセグメンテーションを行うことによりカラー画像の特徴として領域を抽出するのではなく、セグメンテーションにより抽出される各領域の代表の動きベクトルをカラー画像の特徴として抽出するようにしてもよい。この場合、最適視点事前情報で視差画像との関係が表されるカラー画像の特徴も、セグメンテーションにより抽出される各領域の代表の動きベクトルとなる。
また、図示は省略するが、図9のコンテンツ編集装置50や図10の表示制御装置70においても、最適視点検出部12の代わりに図16の最適視点検出部151を設け、新たに記憶部112と動きベクトル検出部131を設けることができる。
<第7実施の形態>
[画像処理装置の第7実施の形態の構成例]
図18は、本技術を適用した画像処理装置の第7実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第7実施の形態の構成例]
図18は、本技術を適用した画像処理装置の第7実施の形態としての撮影装置の構成例を示すブロック図である。
図18に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図18の撮影装置170は、新たに時間方向安定化処理部171が設けられている点が図1の構成と異なる。撮影装置170は、検出された最適視点を時間方向に安定化させる。
具体的には、撮影装置170の時間方向安定化処理部171は、最適視点検出部12により選択された最適視点のうちの最適1視点に対して安定化処理を行う。より詳細には、時間方向安定化処理部171は、最適1視点に付与される視点に固有のIDの重み付け平均値を求める。なお、各視点に付与されるIDは、隣接する視点のIDが連続する整数となるように付与される。
時間方向安定化処理部171は、求められた重み付け平均値に近似する整数がIDとして付与された最適1視点を、時間方向安定化処理後の最適1視点とする。そして、時間方向安定化処理部171は、時間方向安定化処理後の最適1視点と、その最適1視点と所定の距離だけ離れた1視点の2視点を、時間方向安定化処理後の最適視点とする。そして、時間方向安定化処理部171は、時間方向安定化処理後の最適視点を最適構図案内部13に供給する。
なお、ここでは、時間方向安定化処理部171が、最適視点のうちの最適1視点に対してのみ安定化処理を行うものとするが、最適視点の両視点に対して安定化処理を行うようにしてもよい。
[撮影装置の処理の説明]
図19は、図18の撮影装置170の最適構図案内処理を説明するフローチャートである。この最適構図案内処理は、例えば、所定数フレームごとに行われる。
図19は、図18の撮影装置170の最適構図案内処理を説明するフローチャートである。この最適構図案内処理は、例えば、所定数フレームごとに行われる。
図19のステップS181において、撮影装置170の最適視点検出部12は、撮影部11から1フレーム分の多視点画像と視差画像を取得する。
ステップS182において、最適視点検出部12は、取得された1時刻分の多視点画像と視差画像を用いて最適視点を選択し、出力する。具体的には、最適視点検出部12は、図2のステップS11乃至S21の処理を行う。
ステップS183において、時間方向安定化処理部171は、ステップS182で出力された最適視点のうちの最適1視点のIDを所定の重み付け係数で重み付けする。
ステップS184において、時間方向安定化処理部171は、ステップS183で重み付けされた最適1視点のIDと、前回のステップS185で保持された積算値と加算することにより、最適1視点のIDを積算し、積算値を求める。なお、まだステップS185の処理が行われておらず、積算値が保持されていない場合には、ステップS183で重み付けされた最適1視点のIDをそのまま積算値とする。
ステップS185において、時間方向安定化処理部171は、ステップS184で求められた積算値を保持する。
ステップS186において、時間方向安定化処理部171は、所定数フレーム分の重み付けされた最適1視点のIDを積算したかどうかを判定する。ステップS186でまだ所定数フレーム分の最適1視点を積算していないと判定された場合、処理はステップS181に戻り、所定数フレーム分の重み付けされた最適1視点のIDが積算されるまで、ステップS181乃至S186の処理が行われる。
一方、ステップS186で所定数フレーム分の重み付けされた最適1視点のIDを積算したと判定された場合、処理はステップS187に進む。ステップS187において、時間方向安定化処理部171は、保持されている積算値の平均値に近似する整数がIDとして付与される視点と、その視点と所定の距離だけ離れた1視点の2視点を、時間方向安定化処理後の最適視点に決定する。時間方向安定化処理部171は、保持している積算値をクリアし、時間方向安定化処理後の最適視点を最適構図案内部13に供給する。
ステップS188において、最適構図案内部13は、時間方向安定化処理部171から供給される最適視点と、撮影部11から供給される視点位置情報とに基づいて、視点位置情報が表す2視点の位置から最適視点までの距離を移動量として算出する。そして、最適構図案内部13は、算出された移動量に基づいて案内視点情報を生成し、表示部14に供給する。
ステップS189において、表示部14は、図2のステップS23の処理と同様に、最適構図案内部13から供給される案内視点情報を表示し、処理を終了する。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、および図16の撮影装置150においても、時間方向安定化処理部171を設けることができる。
図20は、図12の撮影装置110に時間方向安定化処理部171が設けられた撮影装置190の構成例を示すブロック図であり、図21は、図14の撮影装置130に時間方向安定化処理部171が設けられた撮影装置200の構成例を示すブロック図である。また、図22は、図16の撮影装置150に時間方向安定化処理部171が設けられた撮影装置210の構成例を示すブロック図である。
<第8実施の形態>
[画像処理装置の第8実施の形態の構成例]
図23は、本技術を適用した画像処理装置の第8実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第8実施の形態の構成例]
図23は、本技術を適用した画像処理装置の第8実施の形態としての撮影装置の構成例を示すブロック図である。
図23に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図23の撮影装置220は、撮影部11の代わりに撮影部221が設けられている点、および、新たに視差検出部222が設けられている点が図1の構成と異なる。撮影装置220は、多視点画像から視差画像を生成する。
具体的には、撮影装置220の撮影部221は、図1の撮影部11と同様に、3以上の視点である多視点のフレーム単位のカラー画像を2視点ずつ撮影し、多視点のカラー画像を多視点画像として最適視点検出部12と視差検出部222に供給する。また、撮影部221は、撮影部11と同様に、現在の撮影部11の位置に対応する2視点の位置を表す視点位置情報を、最適構図案内部13に供給する。
視差検出部222は、撮影部221から供給される多視点画像から、所定の視点の視差画像を生成する。具体的には、視差検出部222は、多視点画像のうちの基点となる視点のカラー画像と、基点以外の所定の視点のカラー画像を用いて、視点ごとにブロックマッチング等を行う。これにより、視差検出部222は、基点以外の所定の視点のカラー画像の各画素に対応する基点となる視点のカラー画像の画素を検出する。そして、視差検出部222は、基点以外の所定の視点のカラー画像の各画素と、その画素に対応する基点となる視点のカラー画像の画素の画面上の位置の水平方向の距離を表す視差値を求め、その視差値から視差画像を生成する。視差検出部222は、生成された視差画像を最適視点検出部12に供給する。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、および図16の撮影装置150においても、撮影部11の代わりに撮影部221を設け、新たに視差検出部222を設けることができる。
図24は、図12の撮影装置110において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置230の構成例を示すブロック図である。図25は、図14の撮影装置130において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置240の構成例を示すブロック図である。また、図26は、図16の撮影装置150において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置250の構成例を示すブロック図である。
また、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、図22の撮影装置210においても、撮影部11の代わりに撮影部221を設け、新たに視差検出部222を設けることができる。
図27は、図18の撮影装置170において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置260の構成例を示すブロック図である。図28は、図20の撮影装置190において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置270の構成例を示すブロック図である。
また、図29は、図21の撮影装置200において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置280の構成例を示すブロック図である。さらに、図30は、図22の撮影装置210において、撮影部11の代わりに撮影部221が設けられ、新たに視差検出部222が設けられた撮影装置290の構成例を示すブロック図である。
<第9実施の形態>
[画像処理装置の第9実施の形態の構成例]
図31は、本技術を適用した画像処理装置の第9実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第9実施の形態の構成例]
図31は、本技術を適用した画像処理装置の第9実施の形態としての撮影装置の構成例を示すブロック図である。
図31に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図31の撮影装置300は、撮影部11、最適構図案内部13の代わりに、撮影部301、最適構図案内部303が設けられている点、および、新たに画像変換部302が設けられている点が図1の構成と異なる。撮影装置300は、所定の1視点のカラー画像を撮影し、その1視点のカラー画像から多視点画像を生成する。
具体的には、撮影部301は、所定の1視点のフレーム単位のカラー画像を撮影する。また、撮影部301は、撮影時に、所定の1視点のカラー画像に対応する視差画像を取得する。撮影部301は、所定の1視点のカラー画像を1視点画像として画像変換部302に供給するとともに、所定の1視点の視差画像を最適視点検出部12に供給する。また、撮影部301は、現在の撮影部301の位置に対応する1視点の位置を表す1視点位置情報を、最適構図案内部303に供給する。
画像変換部302は、撮影部301から供給される1視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部302は、生成された多視点画像を最適視点検出部12に供給する。
最適構図案内部303は、最適視点検出部12から供給される最適視点と、撮影部301から供給される1視点位置情報とに基づいて、視点位置情報が表す1視点の位置から最適視点のそれぞれまでの移動量を算出する。最適構図案内部303は、算出された移動量に基づいて、最適視点のそれぞれの3D画像が撮影可能な位置に撮影部301を案内するための案内視点情報を生成し、表示部14に供給する。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部301を設け、最適構図案内部13の代わりに最適構図案内部303を設け、新たに画像変換部302を設けることができる。
[画像変換部の第1の構成例]
図32は、図31の画像変換部302の第1の構成例を示すブロック図である。
図32は、図31の画像変換部302の第1の構成例を示すブロック図である。
図32の画像変換部302は、2D/3D変換部311と2視点/多視点変換部312により構成される。
画像変換部302の2D/3D変換部311は、撮影部301から供給される1視点画像を、生成する2視点の3D画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、2視点の3D画像を生成する。2D/3D変換部311は、生成された2視点の3D画像を2視点画像として2視点/多視点変換部312に供給する。
2視点/多視点変換部312は、2D/3D変換部311から供給される2視点画像のいずれか一方を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。2視点/多視点変換部312は、生成された多視点画像を最適視点検出部12(図31)に供給する。
[画像変換部の第2の構成例]
図33は、図31の画像変換部302の第2の構成例を示すブロック図である。
図33は、図31の画像変換部302の第2の構成例を示すブロック図である。
図33の画像変換部302は、1視点/多視点変換部321により構成される。
画像変換部302の1視点/多視点変換部321は、撮影部301から供給される1視点画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。1視点/多視点変換部321は、生成された多視点画像を最適視点検出部12(図31)に供給する。
<第10実施の形態>
[画像処理装置の第10実施の形態の構成例]
図34は、本技術を適用した画像処理装置の第10実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第10実施の形態の構成例]
図34は、本技術を適用した画像処理装置の第10実施の形態としての撮影装置の構成例を示すブロック図である。
図34に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図34の撮影装置340は、撮影部11の代わりに撮影部341が設けられている点、および、新たに画像変換部342が設けられている点が図1の構成と異なる。撮影装置340は、所定の2視点のカラー画像を撮影し、その2視点のカラー画像から多視点画像を生成する。
具体的には、撮影装置340の撮影部341は、所定の2視点のフレーム単位のカラー画像を撮影する。また、撮影部341は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部341は、所定の2視点のカラー画像を2視点画像として画像変換部342に供給するとともに、所定の視点の視差画像を最適視点検出部12に供給する。また、撮影部341は、図1の撮影部11と同様に、視点位置情報を最適構図案内部13に供給する。
画像変換部342は、撮影部341から供給される2視点画像のうちのいずれか一方のカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトすることにより、多視点画像を生成する。画像変換部342は、生成された多視点画像を最適視点検出部12に供給する。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部341を設け、新たに画像変換部342を設けることができる。
<第11実施の形態>
[画像処理装置の第11実施の形態の構成例]
図35は、本技術を適用した画像処理装置の第11実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第11実施の形態の構成例]
図35は、本技術を適用した画像処理装置の第11実施の形態としての撮影装置の構成例を示すブロック図である。
図35に示す構成のうち、図1の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図35の撮影装置360は、撮影部11の代わりに撮影部361が設けられている点、および、新たに画像変換部362が設けられている点が図1の構成と異なる。撮影装置360は、多視点のカラー画像を撮影し、その多視点のカラー画像からより多い視点の多視点画像を生成する。
具体的には、撮影装置360の撮影部361は、多視点のフレーム単位のカラー画像を撮影する。また、撮影部361は、撮影時に、所定の視点のカラー画像に対応する視差画像を取得する。撮影部361は、多視点のカラー画像を画像変換部362に供給するとともに、所定の視点の視差画像を最適視点検出部12に供給する。また、撮影部361は、図1の撮影部11と同様に、視点位置情報を最適構図案内部13に供給する。
画像変換部362は、撮影部361から供給される多視点のカラー画像のうちの1つのカラー画像を、生成する多視点画像の視点ごとに、その視点に対応する距離だけ水平方向にシフトする。これにより、画像変換部362は、多視点のカラー画像より多い視点の多視点画像を生成する。画像変換部362は、生成された多視点画像を最適視点検出部12に供給する。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部361を設け、新たに画像変換部362を設けることができる。
<第12実施の形態>
[画像処理装置の第12実施の形態の構成例]
図36は、本技術を適用した画像処理装置の第12実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第12実施の形態の構成例]
図36は、本技術を適用した画像処理装置の第12実施の形態としての撮影装置の構成例を示すブロック図である。
図36に示す構成のうち、図31の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図36の撮影装置370は、撮影部301の代わりに撮影部371が設けられている点、および、新たに視差検出部372が設けられている点が図31の構成と異なる。撮影装置370は、1視点画像に対応する画像から視差画像を生成する。
具体的には、撮影部371は、所定の1視点のカラー画像を撮影し、1視点画像として画像変換部302に供給する。また、撮影部371は、図31の撮影部301と同様に、1視点位置情報を、最適構図案内部303に供給する。
視差検出部372は、画像変換部302で得られる1視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部12に供給する。
具体的には、画像変換部302の構成が、図32で示した構成である場合、視差検出部372は、以下のようにして視差画像を生成することができる。
例えば、視差検出部372は、図37に示すように、画像変換部302に入力される1視点画像を取得し、その1視点画像の視点の視差画像を生成することができる。具体的には、視差検出部372は、1視点画像のボケ度合い、動き量の大きさ、被写体の大きさ等により、1視点画像の各画素の視差値を検出して視差画像を生成する。例えば、1視点画像のボケ度合いが大きい画素は、奥行方向の位置が奥側であると判断されて視差値が決定され、動き量が大きい画素は、奥行方向の位置が手前側であると判断されて視差値が決定される。
また、視差検出部372は、図38に示すように、2D/3D変換部311における各画素のシフト量を表す画像等の中間画像を取得し、1視点画像の視点または2視点画像の2視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。
また、視差検出部372は、図39に示すように、2D/3D変換部311から出力される2視点画像を取得し、2視点画像の2視点のうちの一方の視点を基準とした所定の視点の視差画像を生成することができる。また、視差検出部372は、図40に示すように、2視点/多視点変換部312における各画素のシフト量を表す画像等の中間画像を取得し、2視点画像の2視点または多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。
また、視差検出部372は、図41に示すように、2視点/多視点変換部312から出力される多視点画像を取得し、多視点画像の多視点のうちの1つの視点を基準とした所定の視点の視差画像を生成することができる。
また、画像変換部302の構成が、図33で示した構成である場合、視差検出部372は、以下のようにして視差画像を生成することができる。
例えば、視差検出部372は、図42に示すように、1視点/多視点変換部321に入力される1視点画像を取得し、その1視点画像の視点の視差画像を生成することができる。また、視差検出部372は、図43に示すように、1視点/多視点変換部321における各画素のシフト量を表す画像等の中間画像を取得し、1視点画像の視点または多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部372は、図44に示すように、1視点/多視点変換部321から出力される多視点画像を取得し、多視点画像の多視点のうちの1つの視点を基準とした所定の視点の視差画像を生成することができる。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部371を設け、新たに画像変換部302と視差検出部372を設けることができる。
<第13実施の形態>
[画像処理装置の第13実施の形態の構成例]
図45は、本技術を適用した画像処理装置の第13実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第13実施の形態の構成例]
図45は、本技術を適用した画像処理装置の第13実施の形態としての撮影装置の構成例を示すブロック図である。
図45に示す構成のうち、図34の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図45の撮影装置390は、撮影部341の代わりに撮影部391が設けられている点、および、新たに視差検出部392が設けられている点が図34の構成と異なる。撮影装置390は、2視点画像に対応する画像から視差画像を生成する。
具体的には、撮影部391は、所定の2視点のカラー画像を撮影し、2視点画像として画像変換部342に供給する。また、撮影部391は、視点位置情報を最適構図案内部13に供給する。
視差検出部392は、画像変換部342で得られる2視点画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部12に供給する。
具体的には、視差検出部392は、画像変換部342に入力される2視点画像を取得し、その2視点画像の2視点のうちの一方の視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部392は、画像変換部342における各画素のシフト量を表す画像等の中間画像を取得し、2視点画像の2視点または多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部392は、画像変換部342から出力される多視点画像を取得し、その多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部391を設け、新たに画像変換部342と視差検出部392を設けることができる。
<第14実施の形態>
[画像処理装置の第14実施の形態の構成例]
図46は、本技術を適用した画像処理装置の第14実施の形態としての撮影装置の構成例を示すブロック図である。
[画像処理装置の第14実施の形態の構成例]
図46は、本技術を適用した画像処理装置の第14実施の形態としての撮影装置の構成例を示すブロック図である。
図46に示す構成のうち、図35の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図46の撮影装置410は、撮影部361の代わりに撮影部411が設けられている点、および、新たに視差検出部412が設けられている点が図35の構成と異なる。撮影装置410は、多視点のカラー画像に対応する画像から視差画像を生成する。
具体的には、撮影部411は、多視点のカラー画像を撮影して画像変換部362に供給する。また、撮影部411は、視点位置情報を最適構図案内部13に供給する。
視差検出部412は、画像変換部362で得られる多視点のカラー画像に対応する画像から、所定の視点の視差画像を生成し、最適視点検出部12に供給する。
具体的には、視差検出部412は、画像変換部362に入力される多視点のカラー画像を取得し、その多視点のカラー画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。また、視差検出部412は、画像変換部362における各画素のシフト量を表す画像等の中間画像を取得し、多視点のカラー画像の多視点または多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。さらに、視差検出部412は、画像変換部362から出力される多視点画像を取得し、その多視点画像の多視点のうちの1つの視点を基点とした所定の視点の視差画像を生成することができる。
なお、図示は省略するが、図9のコンテンツ編集装置50、図10の表示制御装置70、図12の撮影装置110、図14の撮影装置130、図16の撮影装置150、図18の撮影装置170、図20の撮影装置190、図21の撮影装置200、および図22の撮影装置210においても、撮影部11の代わりに撮影部411を設け、新たに画像変換部362と視差検出部412を設けることができる。
なお、本技術を適用した画像処理装置の一実施の形態としての撮影装置は、デジタルカメラやカムコーダ、業務用ビデオカメラ、Webカメラ、携帯電話やゲーム機器、自動車等に搭載されたカメラ、レンズアレイとイメージセンサを組み合わせた装置等に適用することができる。
また、本技術を適用した画像処理装置の一実施の形態としてのコンテンツ編集装置は、3D画像用の編集アプリケーションを実行するパーソナルコンピュータ、DVD(Digital Versatile Disc)レコーダ、BD(Blu-Ray(登録商標) Disc)レコーダ、DVDプレイヤ、BDプレイヤ、ゲーム機器、ポストプロダクション用のコンテンツ編集機等に適用することができる。
さらに、本技術を適用した画像処理装置の一実施の形態としての表示制御装置は、テレビジョン受像機、パーソナルコンピュータ、デジタルカメラ、カムコーダ、携帯電話、音楽プレイヤ、電子ペーパ、車載用機器、ゲーム機器等に適用することができる。
また、多視点画像の特徴は、多視点画像に対して、物体認識処理、セグメンテーション、および水平線や消失点等の幾何情報の検出処理のうちの2以上を行うことにより抽出されるようにしてもよい。
さらに、上述した最適構図案内処理では、注目視点のカラー画像と視差画像に基づいて最適1視点が選択され、その最適1視点から最適視点が決定されたが、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像により構成される3D画像に基づいて、最適視点を選択するようにしてもよい。この場合、注目視点と、その注目視点と所定の距離だけ離れた視点のカラー画像を用いて、注目視点に対応する3D画像のDepth Mapが生成され、注目視点の視差画像の代わりに用いられる。即ち、注目視点に対応する3D画像とDepth Mapを用いて最適視点が選択される。これにより、より最適な2視点を最適視点として選択することができる。
また、上述した多視点は、水平方向に並ぶ3以上の視点であっても、垂直方向に並ぶ3以上の視点であってもよい。
[本技術を適用したコンピュータの説明]
次に、上述した一連の処理の少なくとも一部は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
次に、上述した一連の処理の少なくとも一部は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図47は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としての記憶部508やROM(Read Only Memory)502に予め記録しておくことができる。
あるいはまた、プログラムは、リムーバブルメディア511に格納(記録)しておくことができる。このようなリムーバブルメディア511は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア511としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
なお、プログラムは、上述したようなリムーバブルメディア511からドライブ510を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部508にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
コンピュータは、CPU(Central Processing Unit)501を内蔵しており、CPU501には、バス504を介して、入出力インタフェース505が接続されている。
CPU501は、入出力インタフェース505を介して、ユーザによって、入力部506が操作等されることにより指令が入力されると、それに従って、ROM502に格納されているプログラムを実行する。あるいは、CPU501は、記憶部508に格納されたプログラムを、RAM(Random Access Memory)503にロードして実行する。
これにより、CPU501は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU501は、その処理結果を、必要に応じて、例えば、入出力インタフェース505を介して、出力部507から出力、あるいは、通信部509から送信、さらには、記憶部508に記録等させる。
なお、入力部506は、キーボードや、マウス、マイク等で構成される。また、出力部507は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含む。
また、プログラムは、1のコンピュータ(プロセッサ)により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は、以下のような構成もとることができる。
(1)
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
(2)
前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(1)に記載の画像処理装置。
(3)
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
前記(2)に記載の画像処理装置。
(4)
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
前記(2)に記載の画像処理装置。
(5)
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
前記(4)に記載の画像処理装置。
(6)
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
前記(5)に記載の画像処理装置。
(7)
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
前記(2)に記載の画像処理装置。
(8)
前記最適視点検出部は、前記視差画像内の前記消失点で分割される2つの領域の視差値に基づいて、前記最適な視点を検出する
前記(7)に記載の画像処理装置。
(9)
前記最適視点検出部は、前記3以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
前記(2)に記載の画像処理装置。
(10)
前記最適視点検出部は、前記3以上の視点の画像の動きベクトル、前記3以上の視点の画像、および前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(10)に記載の画像処理装置。
(12)
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
前記(1)乃至(11)のいずれかに記載の画像処理装置。
(13)
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
前記(1)乃至(12)のいずれかに記載の画像処理装置。
(14)
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
前記(1)乃至(13)のいずれかに記載の画像処理装置。
(15)
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
前記(1)乃至(14)のいずれかに記載の画像処理装置。
(16)
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
前記(15)に記載の画像処理装置。
(17)
画像処理装置が、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
(18)
画像処理を、コンピュータに行わせるプログラムにおいて、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
(1)
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。
(2)
前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(1)に記載の画像処理装置。
(3)
前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
前記(2)に記載の画像処理装置。
(4)
前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
前記(2)に記載の画像処理装置。
(5)
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
前記(4)に記載の画像処理装置。
(6)
前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
前記(5)に記載の画像処理装置。
(7)
前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
前記(2)に記載の画像処理装置。
(8)
前記最適視点検出部は、前記視差画像内の前記消失点で分割される2つの領域の視差値に基づいて、前記最適な視点を検出する
前記(7)に記載の画像処理装置。
(9)
前記最適視点検出部は、前記3以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
前記(2)に記載の画像処理装置。
(10)
前記最適視点検出部は、前記3以上の視点の画像の動きベクトル、前記3以上の視点の画像、および前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11)
前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
前記(10)に記載の画像処理装置。
(12)
前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
前記(1)乃至(11)のいずれかに記載の画像処理装置。
(13)
前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
前記(1)乃至(12)のいずれかに記載の画像処理装置。
(14)
前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
前記(1)乃至(13)のいずれかに記載の画像処理装置。
(15)
前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
前記(1)乃至(14)のいずれかに記載の画像処理装置。
(16)
ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
前記(15)に記載の画像処理装置。
(17)
画像処理装置が、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。
(18)
画像処理を、コンピュータに行わせるプログラムにおいて、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
10 撮影装置, 11 撮影部, 12 最適視点検出部, 13 最適構図案内部, 50 コンテンツ編集装置, 53 最適構図推薦部, 70 表示制御装置, 72 表示部, 91 視聴状態検出部
Claims (18)
- 3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出部
を備える画像処理装置。 - 前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項1に記載の画像処理装置。 - 前記最適視点検出部は、前記画像に対して物体認識処理を行うことにより、前記画像の特徴として所定の物体の画像を抽出する
請求項2に記載の画像処理装置。 - 前記最適視点検出部は、前記画像に対してセグメンテーションを行うことにより、前記画像の特徴として所定の領域を抽出する
請求項2に記載の画像処理装置。 - 前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値に基づいて、前記最適な視点を検出する
請求項4に記載の画像処理装置。 - 前記最適視点検出部は、前記視差画像内の前記所定の領域の視差値、並びに、前記所定の領域の面積および位置に基づいて、前記最適な視点を検出する
請求項5に記載の画像処理装置。 - 前記最適視点検出部は、前記画像に対して幾何情報の検出処理を行うことにより、前記画像の特徴として消失点を抽出する
請求項2に記載の画像処理装置。 - 前記最適視点検出部は、前記視差画像内の前記消失点で分割される2つの領域の視差値に基づいて、前記最適な視点を検出する
請求項7に記載の画像処理装置。 - 前記最適視点検出部は、前記3以上の視点の視点ごとの前記画像の特徴と前記視差画像の関係と、予め学習された所定の画像の特徴と視差画像の関係とを比較することにより、前記最適な視点を検出する
請求項2に記載の画像処理装置。 - 前記最適視点検出部は、前記3以上の視点の画像の動きベクトル、前記3以上の視点の画像、および前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項1に記載の画像処理装置。 - 前記最適視点検出部は、前記3以上の視点の視点ごとに、その視点の前記画像の前記動きベクトルを用いて、その画像の特徴を抽出し、その特徴と前記3以上の視点の視差画像を用いて、前記最適な視点を検出する
請求項10に記載の画像処理装置。 - 前記最適視点検出部により検出された前記最適な視点を時間方向に安定化させる時間方向安定化処理部
をさらに備える
請求項1に記載の画像処理装置。 - 前記画像を撮影する撮影部と、
前記最適視点検出部により検出された前記最適な視点の画像を撮影可能な位置に前記撮影部を案内するための案内視点情報を生成する案内部と
をさらに備える
請求項1に記載の画像処理装置。 - 前記最適視点検出部により検出された前記最適な視点を出力する出力部
をさらに備える
請求項1に記載の画像処理装置。 - 前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる表示制御部
をさらに備える
請求項1に記載の画像処理装置。 - ユーザの視聴状態を検出する視聴状態検出部
をさらに備え、
前記表示制御部は、前記視聴状態検出部により検出された前記視聴状態に基づいて、前記最適視点検出部により検出された前記最適な視点の前記画像を表示させる
請求項15に記載の画像処理装置。 - 画像処理装置が、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含む画像処理方法。 - 画像処理を、コンピュータに行わせるプログラムにおいて、
3以上の視点の画像と前記3以上の視点の視差画像を用いて、前記3以上の視点のうちの所定の2視点を最適な視点として検出する最適視点検出ステップ
を含むプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011089179A JP2012222736A (ja) | 2011-04-13 | 2011-04-13 | 画像処理装置、画像処理方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011089179A JP2012222736A (ja) | 2011-04-13 | 2011-04-13 | 画像処理装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012222736A true JP2012222736A (ja) | 2012-11-12 |
Family
ID=47273750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011089179A Withdrawn JP2012222736A (ja) | 2011-04-13 | 2011-04-13 | 画像処理装置、画像処理方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012222736A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101556992B1 (ko) * | 2014-03-13 | 2015-10-05 | 손우람 | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 |
JP2015204062A (ja) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム |
-
2011
- 2011-04-13 JP JP2011089179A patent/JP2012222736A/ja not_active Withdrawn
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101556992B1 (ko) * | 2014-03-13 | 2015-10-05 | 손우람 | 얼굴 성형 시뮬레이션을 이용한 3차원 스캔 시스템 |
JP2015204062A (ja) * | 2014-04-16 | 2015-11-16 | 株式会社デンソー | ドライブレコーダ及びドライブレコーダにおける加速度補正プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109615703B (zh) | 增强现实的图像展示方法、装置及设备 | |
US9300947B2 (en) | Producing 3D images from captured 2D video | |
JP5969537B2 (ja) | 視覚的関心に基づいた2次元映像の3次元映像変換器および変換方法 | |
JP4903240B2 (ja) | 映像処理装置、映像処理方法及びコンピュータプログラム | |
JP4762994B2 (ja) | 視差マップ | |
Feng et al. | Object-based 2D-to-3D video conversion for effective stereoscopic content generation in 3D-TV applications | |
JP4516536B2 (ja) | 動画生成装置、動画生成方法、及びプログラム | |
WO2012153447A1 (ja) | 画像処理装置、映像処理方法、プログラム、集積回路 | |
US20120182400A1 (en) | Image processing apparatus and method, and program | |
US20120242780A1 (en) | Image processing apparatus and method, and program | |
JP2013042301A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6610535B2 (ja) | 画像処理装置および画像処理方法 | |
KR102082300B1 (ko) | 삼차원 영상 생성 또는 재생을 위한 장치 및 방법 | |
JP2009251141A (ja) | 立体画像表示装置 | |
JP4892113B2 (ja) | 画像処理方法及び装置 | |
KR20120012874A (ko) | 외삽 뷰 생성을 위한 장치 및 방법 | |
JP2013172446A (ja) | 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法 | |
JP2010114597A (ja) | 動きベクトル検出装置、その処理方法およびプログラム | |
JP2014035597A (ja) | 画像処理装置、コンピュータプログラム、記録媒体及び画像処理方法 | |
KR101797035B1 (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 | |
JP2015527804A (ja) | 多視点映像の視差情報を利用して、映像の動きを推定する方法及びその装置 | |
JP4617883B2 (ja) | 画像処理装置および方法、プログラム並びに記録媒体 | |
US9113153B2 (en) | Determining a stereo image from video | |
JP2012222736A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US8917316B2 (en) | Photographing equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140701 |