JP2011119810A - 映像処理装置および映像処理方法 - Google Patents

Abstract

【課題】原映像データである立体映像データと大きさの異なる加工立体映像データを生成した場合においても、立体映像データを表示するときと同様に立体感を適切に知覚させる。
【解決手段】映像処理装置１００は、撮像時に、両眼視差による立体映像を知覚させるための立体映像データ１６０中の被写体１７４と背景１７６とを分離し、さらにそれぞれの撮像ユニット１１０との距離を導出しておき、立体映像データ１６０のサイズを変更して加工立体映像データ１９０を生成する際には、被写体と背景の距離に基づいて加工立体映像データ１９０の被写体もしくは背景のいずれか一方または両方の視差を変更する。
【選択図】図１

Description

本発明は、両眼視差によって立体映像を知覚させるための映像処理装置および映像処理方法に関する。

近年、ディスプレイ上に、水平視差（両眼視差）を有する２つの映像を提示し、観察者に対してあたかも被写体が立体的に存在するように知覚させる映像処理装置が脚光を浴びている。かかる映像処理装置で用いられる２つの映像は、視点の異なる２つの撮像部で撮像された映像である。

このような２つの撮像部の光軸の間隔（基線長）は、観察者に立体映像を正しく知覚してもらうため人の眼の間隔に合わせて配置され、２つの撮像部の輻輳角も、その輻輳点が人の眼の焦点に合うように調整される。このとき、観察者の眼の間隔と異なる基線長や観察者の焦点と異なる輻輳点で撮像すると、再生時において、観察者は立体映像の結像位置に違和感を覚え、眼の疲労を感じることになる。

そこで、立体映像を撮像したときの基線長と、その再生時における観察者の眼の間隔が異なった場合においても、視認される画像の大きさが実際の大きさと同等に感じる違和感のない立体映像を得ることが可能な補間技術が開示されている（例えば、特許文献１）。また、眼の疲労を少なくし得る立体映像をユーザが知覚できるように輻輳点を制御する技術も開示されている（例えば、特許文献２）。

特開平８−１２６０３４号公報 特許３０８９３０６号公報

ところで、従来の２次元映像では、２次元映像の撮像状態や、再生開始位置を確認するため、２次元映像を縮小したサムネイルを表示することができた。そこで、立体映像を知覚させるための立体映像データを生成する場合においても、立体映像データの撮像状態を確認したり、その撮像状態に応じて撮像時の輻輳角を決めたりするためサムネイルを表示したいといった要望がある。

しかし、立体映像データを縮小したサムネイルを表示する、即ち、意図的に大きさの異なる立体映像を表示しようとすると、立体映像の大きさが変わった分、両眼視差が小さくなり、本来の立体感を観察者に正しく知覚させることができないといった問題が生じ得る。上述した特許文献１や特許文献２の技術は、撮像時と表示時とで同じ大きさの立体映像を提供することを前提としているので、かかる技術を採用したとしても、立体感の劣化を免れることはできない。

このような状況下では、立体映像データのサムネイルに基づいて撮像状態の確認や撮像した立体映像データの削除等の整理をする場合、特に立体感の有無によって削除や編集の採否を判断する場合、サムネイルのみではその立体感を正しく把握することができず、結局、元の立体映像を確認してから取捨の選択をしなければならなかった。

本発明は、このような課題に鑑み、原映像データである立体映像データと大きさの異なる加工立体映像データを生成した場合においても、立体映像データを表示するときと同様に立体感を適切に知覚させることが可能な、映像処理装置および映像処理方法を提供することを目的としている。

上記課題を解決するために、本発明の映像処理装置は、それぞれの光軸が略平行または撮像方向で交わり、両眼視差による立体映像を知覚させるための立体映像データを生成する２つの撮像部を有する撮像ユニットと、２つの撮像部による立体映像データの生成と並行して、撮像ユニットと撮像対象との距離を取得し、取得した撮像ユニットと撮像対象との距離に基づいて、立体映像データ中の任意の被写体と立体映像データ中の被写体以外の領域である背景とを分離して、立体映像データ中の被写体の占有領域を示す被写体領域情報と、立体映像データ中の背景の占有領域を示す背景領域情報と、を生成する領域情報生成部と、被写体と２つの撮像部との距離を示す被写体距離情報と、背景と２つの撮像部との距離を示す背景距離情報とを導出する距離導出部と、立体映像データと、被写体領域情報と、背景領域情報と、被写体距離情報と、背景距離情報と、を関連づけて保持するデータ保持部と、観察者の眼間距離を示す眼間距離情報と、観察者と立体表示部との距離を示す視聴予定距離情報とを取得する距離取得部と、データ保持部に保持された立体映像データのサイズを変更して加工立体映像データを生成すると共に、データ保持部に保持された被写体領域情報と、背景領域情報と、被写体距離情報と、背景距離情報と、距離取得部が取得した眼間距離情報と、視聴予定距離情報とに基づき、加工立体映像データの被写体もしくは背景のいずれか一方または両方の視差を変更する映像生成部と、生成された加工立体映像データを立体表示部に表示する表示制御部と、を備えていることを特徴とする。

データ保持部は、輻輳点までの距離を示す輻輳点距離情報も立体映像データに関連づけて保持し、映像生成部は、輻輳点を基準にして、被写体もしくは背景のいずれか一方または両方の視差を変更してもよい。

上記課題を解決するために、本発明の他の映像処理装置は、それぞれの光軸が略平行または撮像方向で交わり、両眼視差による立体映像を知覚させるための立体映像データを生成する２つの撮像部を有する撮像ユニットと、２つの撮像部による立体映像データの生成と並行して、撮像ユニットと撮像対象との距離を取得し、取得した撮像ユニットと撮像対象との距離に基づいて、立体映像データ中の任意の被写体と立体映像データ中の被写体以外の領域である背景とを分離して、立体映像データ中の被写体の占有領域を示す被写体領域情報と、立体映像データ中の背景の占有領域を示す背景領域情報と、を生成する領域情報生成部と、立体映像データと、被写体領域情報と、背景領域情報と、を関連づけて保持するデータ保持部と、データ保持部に保持された立体映像データのサイズを変更して加工立体映像データを生成すると共に、データ保持部に保持された被写体領域情報と、背景領域情報と、サイズの変更比率とに基づき、加工立体映像データの被写体もしくは背景のいずれか一方または両方の視差を変更する映像生成部と、生成された加工立体映像データを立体表示部に表示する表示制御部と、を備えていることを特徴とする。

映像生成部は、被写体の視差を背景と独立して変更した場合に欠落する背景の部分映像を他の背景の映像で補正してもよい。

映像処理装置は、被写体の視差を変更することによって被写体の映像が映像枠からはみ出す場合、映像枠からはみ出ないように視差を再設定する視差再設定部をさらに備えてもよい。

上記課題を解決するために、本発明の映像処理方法は、それぞれの光軸が略平行または撮像方向で交わる２つの撮像部を用いて両眼視差による立体映像を知覚させるための立体映像データを生成し、２つの撮像部を有する撮像ユニットと撮像対象との距離を取得し、取得した撮像ユニットと撮像対象との距離に基づいて、立体映像データ中の任意の被写体と立体映像データ中の被写体以外の領域である背景とを分離して、立体映像データ中の被写体の占有領域を示す被写体領域情報と、立体映像データ中の背景の占有領域を示す背景領域情報と、を生成し、被写体と２つの撮像部との距離を示す被写体距離情報と、背景と２つの撮像部との距離を示す背景距離情報とを導出し、観察者の眼間距離を示す眼間距離情報と、観察者と立体表示部との距離を示す視聴予定距離情報とを取得し、立体映像データのサイズを変更して加工立体映像データを生成すると共に、被写体領域情報と、背景領域情報と、被写体距離情報と、背景距離情報と、眼間距離情報と、視聴予定距離情報とに基づき、加工立体映像データの被写体もしくは背景のいずれか一方または両方の視差を変更し、生成した加工立体映像データを立体表示部に表示することを特徴とする。

上記課題を解決するために、本発明の他の映像処理方法は、それぞれの光軸が略平行または撮像方向で交わる２つの撮像部を用いて両眼視差による立体映像を知覚させるための立体映像データを生成し、２つの撮像部を有する撮像ユニットと撮像対象との距離を取得し、取得した撮像ユニットと撮像対象との距離に基づいて、立体映像データ中の任意の被写体と立体映像データ中の被写体以外の領域である背景とを分離して、立体映像データ中の被写体の占有領域を示す被写体領域情報と、立体映像データ中の背景の占有領域を示す背景領域情報と、を生成し、立体映像データのサイズを変更して加工立体映像データを生成すると共に、被写体領域情報と、背景領域情報と、サイズの変更比率とに基づき、加工立体映像データの被写体もしくは背景のいずれか一方または両方の視差を変更し、生成した加工立体映像データを立体表示部に表示することを特徴とする。

以上説明したように本発明は、原映像データである立体映像データと大きさの異なる加工立体映像データを生成した場合においても、立体映像データを表示するときと同様に立体感を適切に知覚させることを可能にする。したがって観察者は、加工立体映像データを通じて、実際の立体映像データの立体感を鮮明に実感することができる。

第１の実施形態における映像処理装置の概略的な機能を示した機能ブロック図である。 第１の実施形態における映像処理装置の一例を示した外観図である。 第１の実施形態におけるサイドバイサイド方式の立体映像データを説明するための説明図である。 第１の実施形態における被写体と背景とを定義するための説明図である。 第１の実施形態における眼間距離情報や視聴予定距離情報の取得動作を説明するための説明図である。 第１の実施形態における立体映像データの大きさを変更したときの結像位置を説明するための説明図である。 第１の実施形態における映像生成部の視差変更処理について説明した説明図である。 第１の実施形態における映像生成部の視差変更処理の他の例について説明した説明図である。 第１の実施形態における映像生成部の視差変更処理のさらに他の例について説明した説明図である。 第１の実施形態における映像生成部の補正動作を説明するための説明図である。 第１の実施形態における映像生成部の他の補正動作を説明するための説明図である。 第１の実施形態における映像生成部の視差変更処理のさらに他の例について説明した説明図である。 第１の実施形態における立体映像表示方法の全体的な流れを示したフローチャートである。 第２の実施形態における映像処理装置の概略的な機能を示した機能ブロック図である。 第２の実施形態における立体映像表示方法の全体的な流れを示したフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

立体映像を知覚させるための立体映像データを生成する場合においても、立体映像データの撮像状態を確認したり、その撮像状態に応じて撮像時の輻輳角を決めたりするため、立体映像データの大きさを意図的に異ならせたサムネイル等の加工立体映像データを表示したいといった要望がある。本実施形態の映像処理装置では、このような加工立体映像データを生成した場合においても、立体映像データを表示するときと同様に立体感を適切に（正しく）知覚させることを目的とする。以下、かかる映像処理装置の構成を説明し、その後で映像処理方法の処理の流れを詳述する。

（第１の実施形態：映像処理装置１００）
図１は、映像処理装置１００の概略的な機能を示した機能ブロック図であり、図２は、映像処理装置１００の一例を示した外観図である。図１に示すように、映像処理装置１００は、撮像ユニット１１０と、距離測定部１１２と、映像処理部１１４と、データ保持部１１６と、操作部１１８と、立体表示部１２０と、映像圧縮部１２２と、外部出力部１２４と、中央制御部１２６とを含んで構成される。ここでは、映像処理装置１００としてビデオカメラを挙げているが、デジタルスチルカメラ等、撮像が可能な様々な電子機器を採用することができる。

撮像ユニット１１０は、図２に示すように、それぞれの光軸１０４ａ、１０４ｂが略平行または撮像方向で交わり、撮像者が映像処理装置１００の本体１０２を水平に把持した際に、その光軸１０４ａ、１０４ｂが同じ水平位置となるように配置される２つの撮像部１１０ａ、１１０ｂで構成される。撮像ユニット１１０では、それぞれの撮像部１１０ａ、１１０ｂにおいて撮像された、観察者の左眼に知覚させるための左眼用映像データと観察者の右眼に知覚させるための右眼用映像データとを併合し、両眼視差によって立体映像を知覚させるための立体映像データを生成する。立体映像データは、動画および静止画のいずれでも形成可能である。

撮像時において、観察者が立体映像を知覚するときの観察状態を踏まえ、撮像ユニット１１０は、被写体を基準にした左眼と右眼とがなす角である輻輳角を最適な角度に設定する。その設定された輻輳角から導出可能な輻輳点までの距離を示す輻輳点距離情報を、立体映像データの映像サイズと共にデータ保持部１１６に保持する。

また、立体映像を知覚させるための立体映像データは、左眼用映像データと右眼用映像データの物理的配置または時間的配置の違いによってサイドバイサイド方式、トップアンドボトム方式等、様々な方式によって形成される。以下では、代表的にサイドバイサイド方式を通じて説明を行うが、他の方式を用いても本実施形態を実施可能なのは言うまでもない。

図３は、サイドバイサイド方式の立体映像データ１６０を説明するための説明図である。サイドバイサイド方式の立体映像データ１６０は、有効映像の左半分または右半分の一方に左眼用映像データ１６２を、他方に右眼用映像データ１６４を並べて構成される。なお、有効映像とは映像全体から非表示領域（ブランク期間）を除いた映像のことである。そして、後述する表示制御部１４４によって、左眼用映像データ１６２（図３（ｂ）中「Ｌ」で示す）および右眼用映像データ１６４（図３（ｂ）中「Ｒ」で示す）を隔行で（１ラインおきに）配置し直すラインシーケンシャル処理が施されると、図３（ｂ）に示すような立体表示データ１６６が生成され、観察者は、後述する立体表示部１２０を通じて左右視差による立体映像を知覚することが可能となる。

距離測定部１１２は、光切断法に基づいて光の反射に費やす時間（ＴＯＦ：Time Of Flight）を測定し、撮像ユニット１１０と撮像範囲内に存在する撮像対象との距離を、例えば、画素単位で測定する。

映像処理部１１４は、撮像ユニット１１０で生成された立体映像データ１６０に対して、Ｒ（Red）Ｇ（Green）Ｂ（Blue）処理（γ補正や色補正）、エンハンス処理、ノイズ低減処理などの映像信号処理を行う。所定の映像信号処理が行なわれた立体映像データ１６０は、データ保持部１１６に一時的に保持される。

データ保持部１１６は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等で構成され、立体映像データ１６０や、後述する被写体領域情報、背景領域情報、被写体距離情報、背景距離情報等の情報を一時的に保持する。このような各情報は立体映像データ１６０のヘッダ情報やメタ情報として関連づけられる。

操作部１１８は、レリーズスイッチを含む操作キー、十字キー、ジョイスティック、後述する立体表示部１２０の表示面に配されたタッチパネル等のスイッチから構成され、撮像者の操作入力を受け付ける。

立体表示部（ビューファインダ）１２０は、液晶ディスプレイ、有機ＥＬ(Electro Luminescence)ディスプレイ等で構成され、例えば偏光特性が隔行で（１ライン毎に）異なるように形成される。そして、後述する表示制御部１４４によってラインシーケンシャル処理が施された、図３（ｂ）に示す立体表示データ１６６を表示する。撮像者は、撮像時において、このような立体表示部１２０を通じて立体表示データ１６６を立体的に知覚し、その知覚した立体映像に基づいて操作部１１８を操作することで、被写体を所望する位置および占有面積で捉えることが可能となる。

ここでは、立体表示部１２０として、ラインシーケンシャル方式が採用されているので、立体表示データ１６６に含まれる被写体や背景は、交差視（交差法）および平行視（平行法）のいずれの立体表示も可能であり、視差によっては、立体表示部１２０の表示面より手前側または奥側のいずれの位置にも被写体や背景を結像させることができる。

また、立体表示部１２０は、表示方式として、ラインシーケンシャル方式に限られず、例えば、左眼用映像と右眼用映像とを１フレーム毎に交互に表示し電子シャッター式眼鏡を通じて視認させるフレームシーケンシャル方式、レンティキュラレンズを介して右眼用映像と左眼用映像それぞれの光の進行方向を制御するレンティキュラー方式等を用いてもよい。

映像圧縮部１２２は、中央制御部１２６の制御指令により、データ保持部１１６に保持された立体映像データ１６０を、Ｍ−ＪＰＥＧ（モーションJPEG）やＭＰＥＧ（Moving Picture Experts Group）−２、Ｈ．２６４などの所定の符号化方式で符号化した符号データとし、任意の記録媒体１６８に記録する。任意の記録媒体１６８としては、ＤＶＤ（Digital Versatile Disk）やＢＤ（Blu-ray Disc）といった光ディスク媒体や、ＲＡＭ、ＥＥＰＲＯＭ、不揮発性ＲＡＭ、フラッシュメモリ、ＨＤＤ等の媒体を適用することができる。

外部出力部１２４は、後述する表示制御部１４４によってラインシーケンシャル処理が施された、図３（ｂ）に示す立体表示データ１６６を、例えば、映像処理装置１００に接続された表示装置１７０に出力する。表示装置１７０は、立体表示部１２０同様、液晶ディスプレイ、有機ＥＬディスプレイ等で構成され、例えば、偏光特性が１ライン毎に異なるように形成される。外部出力部１３４は、このような１ライン毎に偏光が異なっている表示装置１７０に対して、ラインシーケンシャル処理が施された立体表示データ１６６を出力することができる。

中央制御部１２６は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路により、映像処理装置１００全体を管理および制御する。また、本実施形態において、中央制御部１２６は、被写体指定部１３０、領域情報生成部１３２、距離導出部１３４、距離取得部１３６、映像生成部１３８、視差再設定部１４０、報知部１４２、表示制御部１４４としても機能する。

被写体指定部１３０は、操作部１１８としての例えばタッチパネルの操作入力を通じて撮像者により指示される、被写体としての認識を所望する立体映像データ１６０中の撮像対象を指定する。また、被写体指定部１３０は、そのような撮像対象を、例えば映像全体に対して相対移動している等の条件に基づいて自動的に指定することもできる。

領域情報生成部１３２は、撮像ユニット１１０の２つの撮像部１１０ａ、１１０ｂによる立体映像データ１６０の生成と並行して、撮像ユニット１１０と、撮像範囲内に存在する撮像対象との距離を取得し、取得した撮像ユニット１１０と撮像対象との距離に基づいて、立体映像データ１６０中の任意の被写体と、立体映像データ１６０中の被写体以外の領域である背景とを分離して、立体映像データ１６０中の被写体の占有領域を示す被写体領域情報と、立体映像データ１６０中の背景の占有領域を示す背景領域情報と、を生成する。

具体的に、領域情報生成部１３２は、距離測定部１１２に、立体映像データ１６０の撮像対象と撮像ユニット１１０との距離を画素毎に測定させる。そして、領域情報生成部１３２は、被写体指定部１３０で指定された撮像対象に基づいて被写体を特定、グループ化し、他の映像から分離する。

図４は、被写体１７４と背景１７６とを定義するための説明図である。ここでは説明の便宜上、立体映像データ１６０の左眼用映像データ１６２を挙げて説明する。図４中央に示したように、被写体指定部１３０を通じて撮像対象の一部１７２が指定されると、領域情報生成部１３２は、その撮像対象の一部１７２を構成する画素群の撮像ユニット１１０との距離を特定し、その画素群とほぼ等距離（所定範囲内）にあるすべての画素を被写体１７４としてグループ化する。

被写体１７４のグループ化は以下の手順で行われる。まず、領域情報生成部１３２は、立体映像データ１６０の左眼用映像データ１６２と右眼用映像データ１６４それぞれについてライン毎に順次画素の距離を読み出し、図４の如く、例えば第１ラインを水平右方向に読み出しているときに、指定した被写体の一部１７２を構成する画素の撮像ユニット１１０との距離、例えば１０ｍを中心とした所定の距離範囲内（不感帯）、例えば±１ｍ内に、他の画素Ａの距離が相当する場合、その画素Ａを当該ラインにおける被写体１７４の開始画素としてラインに関連づけて保持する。

そして、被写体１７４と見なせる所定の距離範囲から逸脱すると、逸脱した画素の一つ手前の画素Ｂを終了画素としてラインに関連づけて保持する。こうして全ラインにおける開始画素と終了画素とが導出されると、その被写体１７４の左眼用映像データ１６２および右眼用映像データ１６４中の占有領域を示す被写体領域情報を生成し、データ保持部１１６に保持する。

このとき、図４の第２ラインのように一つの被写体１７４に関して、開始画素（画素Ｃおよび画素Ｅ）および終了画素（画素Ｄおよび画素Ｆ）が複数存在する場合はその数分だけ保持する。また、開始画素および終了画素の数が多くなり上限値に達すると、開始画素と終了画素との距離が大きい方を優先したり、被写体１７４として特定された撮像対象の一部１７２との距離が近い方を優先したりして、その数を制限する。

そして、領域情報生成部１３２は、立体映像データ１６０中において被写体１７４として特定されていない領域、即ち、被写体１７４を特定するための開始画素から終了画素までの画素に含まれない、被写体１７４周りの領域すべてを背景１７６としてグループ化する。例えば、第１ラインに関して説明すると、画素Ａから画素Ｂまでを除く、当該左眼用映像データ１６２のライン左端の画素Ｇから画素Ａまで、および画素Ｂからライン右端の画素Ｌまでが背景１７６に相当する。そして、領域情報生成部１３２は、左眼用映像データ１６２（立体映像データ１６０）中の背景１７６の占有領域を示す背景領域情報も生成し、データ保持部１１６に保持させる。

このような被写体１７４や背景１７６を特定するのは以下の理由に基づく。つまり、撮像ユニット１１０や映像処理部１１４によって単純に生成された立体映像データ１６０のみでは、事後的にその立体映像データ１６０を解析して被写体１７４や背景１７６の距離を特定するのは非常に困難であり、特定精度も低くなる。ここでは、領域情報生成部１３２によって撮像の際に、被写体１７４と背景１７６とを分離し、それを立体映像データ１６０に関連づけておくことで、事後的に立体映像データ１６０中の被写体１７４や背景１７６を容易に特定することができ、また、その特定精度の向上を図ることが可能となる。

被写体１７４や背景１７６は、いずれも一方が基準（基準面）となった場合には、他方が一方を基準として飛び出したり引っ込んだりすることで立体感を形成する。尚、立体映像データ１６０の表示位置にあたる上述した輻輳点は、基準にはなり得るが理論上そこには何らの映像も存在しないので立体感を形成する対象とはならない。また、以下では、理解を容易にするため、図４の如く被写体１７４が１の場合（すべての被写体１７４を一体的に扱う場合も含む）を説明するが、被写体指定部１３０で被写体１７４が複数指定されると、その指定された数だけ被写体１７４をそれぞれ独立して取り扱うことも可能である。

距離導出部１３４は、領域情報生成部１３２で被写体１７４を特定する際に参照した各画素の撮像ユニット１１０との距離を用いて、被写体１７４と撮像ユニット１１０との距離を示す被写体距離情報を導出する。同様に、領域情報生成部１３２で背景１７６を特定する際に参照した各画素の撮像ユニット１１０との距離を用いて、背景１７６と撮像ユニット１１０との距離を示す背景距離情報とを導出する。

このとき、被写体距離情報や背景距離情報は被写体１７４や背景１７６に対応した数あれば（ここでは一つずつあれば）足りるので、距離導出部１３４で参照された被写体１７４や背景１７６を構成するすべての画素の撮像ユニット１１０との距離の平均値や代表値を用いることとする。ただし、被写体１７４が複数特定されている場合、被写体距離情報も複数となる。このとき、背景距離情報が無限遠等、上限値を越えている場合、現実性のある所定の値に置換するか、その旨を示すフラグを立てて後段の処理に移行する。

距離取得部１３６は、観察者の眼間距離を示す眼間距離情報や、観察者と立体表示部１２０との距離を示す視聴予定距離情報を、操作部１１８を通じて、または予め設定されたデフォルト値を参照して取得する。

図５は、眼間距離情報や視聴予定距離情報の取得動作を説明するための説明図である。撮像者は、図５に示す設定画面１７８において、操作部１１８としての立体表示部１２０の表示面に配されたタッチパネルや各操作キーを通じて、「眼間距離」や「視聴予定距離」に並置されたテキストボックス１８０に眼間距離である「６」ｃｍや、視聴予定距離である「１５」ｃｍを入力する。

距離取得部１３６によって眼間距離情報や視聴予定距離情報を取得する構成により、観察者（撮像者）は、以下で生成される加工立体映像データの立体感を適切に知覚することができる。

映像生成部１３８は、データ保持部１１６に保持された立体映像データ１６０のサイズを変更して加工立体映像データを生成すると共に、その加工立体映像データの被写体１７４もしくは背景１７６のいずれか一方または両方の視差を変更する。

具体的に、映像生成部１３８は、データ保持部１１６に保持された立体映像データ１６０とその立体映像データ１６０の映像サイズを読み出し、それを拡大または縮小して予めサイズが定められた加工立体映像データに変更する。例えば、加工立体映像データとしてサムネイルが形成される場合、映像生成部１３８は、立体映像データ１６０を、縦横比を維持してサムネイルの所定のサイズに縮小する。

図６は、立体映像データ１６０の大きさを変更したときの結像位置を説明するための説明図である。図６（ａ）のように左眼用映像データ１６２に被写体１７４ａと背景１７６ａとが配され、右眼用映像データ１６４に被写体１７４ｂと背景１７６ｂとが配されている場合、左眼１８２と左眼用映像データ１６２の被写体１７４ａや背景１７６ａとを結ぶ直線と、右眼１８４と右眼用映像データ１６４の被写体１７４ｂや背景１７６ｂとを結ぶ直線とが交差する点で両者の映像が結像され（被写体１７４は結像位置１８６で、背景１７６は表示面と等しい結像位置１８８で結像され）、観察者は、立体映像を知覚することができる。

例えば、被写体１７４の結像位置１８６の立体表示部１２０（輻輳点）からの距離Ｋ、即ち、立体表示部１２０から飛び出して見える距離Ｋは、左眼用映像データ１６２と右眼用映像データ１６４での被写体１７４の視差をＨ、観察者の眼間距離をＩ、観察者と立体表示部１２０との視聴予定距離（輻輳点距離）をＪとすると、下記の数式１で表される。
Ｋ＝（Ｈ／（Ｈ＋Ｉ））×Ｊ …（数式1）
したがって、視差Ｈ＝１ｃｍ、眼間距離Ｉ＝６ｃｍ、視聴予定距離Ｊ＝１５ｃｍとすると、立体表示部１２０からの距離Ｋ＝１／７×１５＝２．１４ｃｍとなり、被写体１７４は２．１４ｃｍ飛び出して見えることとなる。

このとき、立体表示部１２０から飛び出して見える距離Ｋが視聴予定距離Ｊに近づきすぎると、観察者の眼に負担がかかり疲れやすくなるので、撮像ユニット１１０では、距離Ｋが視聴予定距離Ｊに近づかないように輻輳角を制御している。

ここで、図６（ｂ）に示すように、映像生成部１３８が、立体映像データ１６０を、サイズの変更比率１／１０で縮小して加工立体映像データ１９０を生成した場合、立体表示部１２０に表示された立体映像データ１６０の視差Ｈ’は、縮小前の視差Ｈである１ｃｍから０．１ｃｍへと短くなるので、視差Ｈ’以外を同一の条件として数式１を計算すると、立体表示部１２０からの距離Ｋ’は、０．２５ｃｍとなる。これは、本来２．１４ｃｍ立体表示部１２０から手前に飛び出して見えるべき被写体１７４が０．２５ｃｍ手前にしか飛び出して見えず、立体感が損なわれてしまうことを示している。

このような事象は、立体表示部１２０の手前側に被写体１７４等を結像する場合に限られず、立体表示部１２０の奥側に結像する場合にも生じ得る。即ち、本来、奥に引っ込んで見えるべき被写体１７４が立体表示部１２０の近くまで寄った位置で結像し、やはり立体感が損なわれることとなる。

そこで、映像生成部１３８は、データ保持部１１６に保持された被写体領域情報と、背景領域情報と、被写体距離情報と、背景距離情報と、距離取得部１３６が取得した眼間距離情報Ｉと、視聴予定距離情報Ｊとに基づき、サイズを変更した加工立体映像データ１９０の被写体１７４もしくは背景１７６のいずれか一方または両方の視差を変更する。

図７は、映像生成部１３８の視差変更処理について説明した説明図である。ここでは、説明の便宜上、被写体１７４の視差を変更する例を挙げて説明する。映像生成部１３８は、まず、被写体距離情報と背景距離情報とから、その差分距離を導出し、それを立体表示部１２０から飛び出して見える距離Ｋとする。

元となる立体映像データ１６０と同等の立体感を出すための加工立体映像データ１９０の被写体１７４の視差Ｈは、数式１を変形した数式２から求められる。
Ｈ＝（Ｋ／（Ｊ−Ｋ））×Ｉ …（数式２）
したがって、距離取得部１３６が取得した眼間距離情報Ｉおよび視聴予定距離情報Ｊと、上述した立体表示部１２０から飛び出して見える距離Ｋとを代入することで、必要な視差Ｈが求まる。

映像生成部１３８は、このように導出された視差Ｈを当該立体表示部１２０の映像サイズに換算し直した換算値を求め、加工立体映像データ１９０における被写体１７４の視差を広げる方向に換算値分変更する。かかる事象では交差視を要するので、具体的に、加工立体映像データ１９０の左眼用映像データ１９２における被写体１７４ａを右方向に移動、もしくは、加工立体映像データ１９０の右眼用映像データ１９４における被写体１７４ｂを左方向に移動のいずれか一方または両方を実行する。このうち図７では、矢印で示したように被写体１７４ｂを左方向に移動する例を挙げている。ここで、映像生成部１３８は、データ保持部１１６に保持された被写体領域情報と、背景領域情報とに基づいて、移動する被写体１７４ｂを背景１７６から分離する。

また、当該立体表示部１２０の表示面の物理的なサイズが把握できる場合、その表示面の物理的なサイズも立体映像データ１６０の映像サイズと共に考慮して上記の換算値を求めることで、映像サイズのみならず、立体表示部１２０の表示面の物理的なサイズが異なる場合であっても、適切な立体感を得ることが可能となる。

このように視差が変更された被写体１７４は、背景１７６に対して視差Ｈを有し、それがサイズの小さな加工立体映像データ１９０であっても、図７に示すように、立体映像データ１６０と同等の距離Ｋで飛び出して見え、立体表示部１２０に対する相対的な結像位置１８６が維持されることとなる。

図８は、映像生成部１３８の視差変更処理の他の例について説明した説明図である。図７では、背景１７６を基準として被写体１７４の視差を変更する例を挙げたが、ここでは、被写体１７４を基準として背景１７６の視差を変更する例を挙げて説明する。映像生成部１３８は、まず、被写体距離情報と背景距離情報とから、その差分距離を導出し、それを立体表示部１２０より引っ込んで見える距離Ｋとする。

そして図７同様に、映像生成部１３８は、数式２を用いて視差Ｈを導出し、導出された視差Ｈを当該立体表示部１２０の映像サイズに換算し直した換算値を求め、加工立体映像データ１９０における、今度は背景１７６の視差を、図７の場合同様に広げる方向に換算値分変更する。この場合、平行視を要するので、具体的に、左眼用映像データ１９２における被写体１７４ａを左方向に移動、もしくは、右眼用映像データ１９４における被写体１７４ｂを右方向に移動のいずれか一方または両方を実行する。このうち図８では、矢印で示したように被写体１７４ｂを右方向に移動する例を挙げている。

このように視差が変更された背景１７６は、被写体１７４に対して視差Ｈを有し、それがサイズの小さな加工立体映像データ１９０の映像であっても、立体映像データ１６０と同等の距離Ｋで引っ込んで見え、立体表示部１２０に対する相対的な結像位置が維持されることとなる。

また、撮像ユニット１１０の２つの撮像部１１０ａ、１１０ｂそれぞれの光軸１０４ａ、１０４ｂが撮像方向で交わる場合、即ち、輻輳角（輻輳点）を有する場合、データ保持部１１６は、撮像ユニット１１０から輻輳点までの距離を示す輻輳点距離情報も立体映像データ１６０に関連づけて保持しており、このとき、映像生成部１３８は、被写体１７４または背景１７６を基準にするのみならず、輻輳点を基準にして、被写体１７４もしくは背景１７６のいずれか一方または両方の視差を変更することもできる。このように輻輳点を基準にするか、上述したように被写体１７４または背景１７６を基準にするかは、例えば、操作部１１８を通じて撮像者に選択させることができる。

図９は、映像生成部１３８の視差変更処理のさらに他の例について説明した説明図である。図９（ａ）では、輻輳点１９６が、被写体１７４や背景１７６の後方（遠く）に設定されており、結像位置の関係は、撮像者側から、被写体１７４、背景１７６、輻輳点１９６といった順になる。また、表示時には、輻輳点１９６の位置は、立体表示部１２０の表示面の位置となる。

このとき、映像生成部１３８は、まず、被写体距離情報と背景距離情報と輻輳点距離情報とから、輻輳点１９６に対する被写体１７４と背景１７６との相対距離を導出して、それぞれ立体表示部１２０から飛び出して見える距離とし、数式２を用いて、被写体１７４および背景１７６それぞれの視差を求める。

映像生成部１３８は、このように導出されたそれぞれの視差に基づいて、図７同様、例えば、加工立体映像データ１９０の右眼用映像データ１９４の被写体１７４ｂおよび背景１７６ｂを左方向にそれぞれ視差分移動する。ここでも、被写体１７４ｂと背景１７６ｂとは、データ保持部１１６に保持された被写体領域情報と、背景領域情報とによって分離される。

こうして視差が変更された被写体１７４および背景１７６は、輻輳点１９６に対して視差が広がり、それがサイズの小さな加工立体映像データ１９０の映像であっても、立体映像データ１６０と同等の距離で飛び出して見え、立体表示部１２０に対する相対的な結像位置が維持されることとなる。

また、図９（ｂ）では、輻輳点１９６が、被写体１７４と背景１７６の間に設定されており、結像位置の関係は、撮像者側から、被写体１７４、輻輳点１９６、背景１７６といった順になる。

このとき、映像生成部１３８は、まず、被写体距離情報と背景距離情報と輻輳点距離情報とから、輻輳点１９６に対する被写体１７４と背景１７６との相対距離を導出して、被写体１７４が飛び出して見える距離と背景１７６が引っ込んで見える距離とし、数式２を用いて、被写体１７４および背景１７６それぞれの視差を求める。

映像生成部１３８は、このように導出されたそれぞれの視差に基づいて、右眼用映像データ１９４の被写体１７４ｂを左方向に、背景１７６ｂを右方向にそれぞれ視差分移動する。

こうして、輻輳点１９６に対して視差が広がり、それがサイズの小さな加工立体映像データ１９０の映像であっても、立体映像データ１６０と同等の距離で被写体１７４は飛び出して見え、背景１７６は引っ込んで見える。

さらに、図９（ｃ）では、輻輳点１９６が、被写体１７４と背景１７６の前方（近く）に設定されており、結像位置の関係は、撮像者側から、輻輳点１９６、被写体１７４、背景１７６といった順になる。

このとき、映像生成部１３８は、まず、被写体距離情報と背景距離情報と輻輳点距離情報とから、輻輳点１９６に対する被写体１７４と背景１７６との相対距離を導出して、それぞれ引っ込んで見える距離とし、数式２を用いて、被写体１７４および背景１７６それぞれの視差を求める。

映像生成部１３８は、このように導出されたそれぞれの視差に基づいて、右眼用映像データ１９４の被写体１７４ｂおよび背景１７６ｂを右方向にそれぞれ視差分移動する。

こうして視差が変更された被写体１７４および背景１７６は、輻輳点１９６に対して視差が広がり、それがサイズの小さな加工立体映像データ１９０の映像であっても、立体映像データ１６０と同等の距離で引っ込んで見える。

以上説明した映像生成部１３８の視差変更処理では、例えば、被写体１７４の視差を広げるため、左眼用映像データ１９２もしくは右眼用映像データ１９４のいずれか一方または両方の被写体１７４を移動している。また、被写体１７４のみを移動するため、データ保持部１１６に保持された被写体領域情報と、背景領域情報とによって被写体１７４と背景１７６とを分離している。したがって、映像生成部１３８は、例えば、左眼用映像データ１９２内で分離された被写体１７４を切り出して、その切り出した被写体映像を視差Ｈ分だけ水平方向に移動してまた背景１７６に重畳している。

ここで、被写体領域情報と、背景領域情報とが存在しない場合、ＰｒｅｗｉｔｔフィルタやＳｏｂｅｌフィルタ等において線、エッジ検出を行い、顔画像等予め決められたパターン画像とのマッチング処理を行なうことで被写体１７４を切り出すこともできる。しかし、かかるフィルタを用いて、一度平面化された映像から被写体１７４を分離することができたとしても、その正確な距離を把握する術がないので、立体感の劣化を免れることはできない。

また、映像生成部１３８は、被写体１７４単位で視差を変更した場合に欠落する背景の部分映像を、他の背景の映像、例えば、加工立体映像データ１９０の他方の映像データの映像や、時系列で所定数前方のフレームや所定数後方のフレームの映像データで補正する。

図１０は、映像生成部１３８の補正動作を説明するための説明図である。ここでは、加工立体映像データ１９０の左眼用映像データ１９２および右眼用映像データ１９４において被写体１７４の相対的位置が重ならない場合を説明する。このような状況下で、映像生成部１３８が右眼用映像データ１９４における被写体１７４ｂのみを切り出して視差を変更する場合、即ち、図１０（ａ）のように分離された被写体１７４ｂを左方向に移動した場合、被写体１７４ｂ移動後の背景１７６には欠落（空白）部分１９８が生じる。

左眼用映像データ１９２と右眼用映像データ１９４とで映像データに対する被写体１７４の位置が重ならない場合、図１０（ｂ）に示すように、右眼用映像データ１９４における移動前の被写体１７４ｂの相対位置に相当する左眼用映像データ１９２の部分２００には背景１７６が撮像されているはずなので、右眼用映像データ１９４における被写体１７４ｂ移動後の背景の欠落部分１９８を、それに相当する左眼用映像データ１９２の部分２００で補間する。例えば、背景１７６が基準となって被写体１７４の視差を変更する場合、背景１７６は視差を有していないので、左眼用映像データ１９２の部分２００と右眼用映像データ１９４の欠落部分１９８とに本来存在すべき背景１７６の映像はほぼ等しくなる。したがって、欠落部分１９８を他方の眼用の映像データの部分２００の映像で補間することで、違和感のないほぼシームレスな映像を生成できる。

図１１は、映像生成部１３８の他の補正動作を説明するための説明図である。ここでは、加工立体映像データ１９０の左眼用映像データ１９２および右眼用映像データ１９４において被写体１７４の相対的位置が重なる場合を説明する。ここで、映像生成部１３８が右眼用映像データ１９４における被写体１７４のみを切り出して視差を設ける場合、図１０の場合同様、被写体１７４移動後の背景１７６には欠落部分１９８が生じる。

図１１（ａ）のように、左眼用映像データ１９２と右眼用映像データ１９４とで映像データに対する被写体１７４の相対位置が重なっている場合、右眼用映像データ１９４における移動前の被写体１７４ｂの位置に相当する左眼用映像データ１９２の位置には被写体１７４ａが配されているので、そこから右眼用映像データ１９４における被写体１７４ｂ移動後の背景の欠落部分１９８を取り出すわけにいかない。

そこで、同一の視点における他の時刻、即ち、図１１（ｂ）で示すように、右眼用映像データ１９４の他のフレーム２０２の背景の欠落部分１９８に相当する部分２００で欠落部分１９８を補間する。このとき、時間差のあるフレーム同士がパン、ズームされていなければ、背景１７６は視差を有していないので、異なるフレームにおいて相対的位置が等しい背景１７６の映像はほぼ等しくなる。したがって、欠落部分１９８を他のフレーム２０２の部分２００の映像で補間することで、違和感のないほぼシームレスな映像を生成できる。

しかし、上述した処理を用いても背景１７６の欠落を完全に補完できない場合があり得る。そのような場合、被写体１７４と背景１７６とに一体的に視差を施してもよい。

図１２は、映像生成部１３８の視差変更処理のさらに他の例について説明した説明図である。被写体１７４と背景１７６との相対距離がその絶対距離に対して短い場合や、被写体１７４または背景１７６の視差の変更量が加工立体映像データ１９０に対してさほど大きくない場合には、被写体１７４と背景１７６とに独立して視差を付けても実益がない。したがって、映像生成部１３８は、被写体１７４と背景１７６とを分離せず、図１２に示すように、右眼用映像データ１９４の被写体１７４ｂと背景１７６ｂとを左方向に一体的に視差分移動させる。かかる移動によって生じる背景１７６の欠落部分１９８は、上述した補間処理に準じて他の映像から補間する。こうして、被写体１７４と背景１７６とが一体的に立体感を創出することができる。

本実施形態において、映像生成部１３８は、立体映像データ１６０の映像サイズを縮小する、例えばサムネイルについて説明しているが、かかる場合に限られず、立体映像データ１６０の映像サイズを拡大する場合にも本実施形態を適用することができる。映像サイズを拡大する場合、何ら加工しないと視差が増え、意図に反し立体感が強調されすぎてしまい、違和感や眼の疲労を招いてしまう。

映像生成部１３８は、立体映像データ１６０の映像サイズを拡大して加工立体映像データ１９０を生成すると共に、その加工立体映像データ１９０中の被写体１７４や背景１７６を上述したような処理を通じて視差を狭める方向に変更し、観察者に立体感を適切に知覚させることが可能となる。

また、上述した実施形態では、映像生成部１３８が、立体映像データ１６０中における、例えば、撮像開始点の１フレームを静止画の加工立体映像データ１９０として加工する例を挙げたが、他の特定のタイミングのフレームを加工立体映像データ１９０として加工してもよいし、立体映像データ１６０の複数フレーム、例えば動画に対して加工立体映像データ１９０を生成することもできる。

視差再設定部１４０は、映像生成部１３８が被写体１７４の視差を変更することによって被写体１７４の映像が映像枠からはみ出す場合、映像枠からはみ出ないように視差を再設定する。本実施形態では、適切な視差により原映像データである立体映像データ１６０の立体感を維持することを目的としている。しかし、例えば、加工立体映像データ１９０が立体映像データ１６０を縮小したものだとすると、小さな映像領域でその大きな視差を表現しなければならなくなる。そうすると、導出された視差によっては被写体１７４の一部が加工立体映像データ１９０の映像枠からはみ出す場合が生じ得る。

当該映像処理装置１００においては、被写体１７４の映像が左眼用映像データ１９２および右眼用映像データ１９４の両方に存在してはじめて立体映像として知覚されるため、加工立体映像データ１９０の映像枠からはみ出した被写体１７４は立体映像を構成しないことになる。そこで、視差再設定部１４０は、映像生成部１３８が、立体映像が知覚されなくなるまで視差を広げるのを制限し、加工立体映像データ１９０の映像枠内にその視差が収まるように視差を再設定している。こうして、被写体１７４が部分的に欠落するのを回避しつつ、最大限立体感を知覚させることが可能となる。

また、視差再設定部１４０は、視差を制限するのみならず、視差の変更を左眼用映像データ１９２および右眼用映像データ１９４の両方で分担して被写体１７４の欠落を防止することもできる。この場合、左眼用映像データ１９２または右眼用映像データ１９４の一方でのみ視差を変更する場合に比べ、映像枠からはみ出すまでに約２倍の余裕があるので視差を制限することなく被写体１７４を枠内に収めることが可能となる。

報知部１４２は、視差の変更量である（被写体１７４の結像位置１８６の立体表示部１２０からの距離Ｋ／視聴予定距離Ｊ）が所定閾値、例えば１／５を超えると、即ち、視差の変更量が大きくなると、その旨を、立体表示部１２０を通じて所定の態様、例えばＯＳＤ（on-screen display）や加工立体映像データ１９０の枠のマーキング等で報知する。かかる構成により、観察者は、立体表示部１２０に表示された加工立体映像データ１９０が本実施形態による視差変更処理を過剰に受けていることを視覚的に把握することができる。

また、報知部１４２は、視差の変更量が大きい旨のみならず、視差の変更量自体をその変更量が把握できる態様で報知する。例えば、報知部１４２は、視差の変更量を、具体的な数値や、バー表示、色の変化等を通じて明示的に示す。かかる構成により、観察者は、観察対象の加工立体映像データ１９０にどの程度視差がついているのか具体的に把握することができる。

表示制御部１４４は、映像生成部１３８が生成した、または視差再設定部１４０によって視差が再設定された加工立体映像データ１９０を、報知部１４２による視差の変更量に関する表示と共に立体表示部１２０に表示する。このとき、表示制御部１４４は、立体表示部１２０の表示形式に合わせて、加工立体映像データ１９０の左眼用映像データ１９２と右眼用映像データ１９４とを併合し、例えば、ラインシーケンシャル方式、フレームシーケンシャル方式等の立体表示データ１６６を生成している。

以上説明した映像処理装置１００により、原映像データである立体映像データ１６０と大きさの異なる加工立体映像データ１９０を生成した場合においても、立体映像データ１６０を表示するときと同様に立体感を適切に知覚させることが可能となる。したがって、観察者は、強調された加工立体映像データ１９０を通じて、実際の立体映像データ１６０の立体感を鮮明に実感することができる。

（映像処理方法）
次に、上述した映像処理装置１００を用いて、両眼視差による立体映像を表示する映像処理方法を具体的に説明する。

図１３は、立体映像表示方法の全体的な流れを示したフローチャートである。現在の状態が撮像モードであれば（Ｓ３００のＹＥＳ）、映像処理装置１００の撮像ユニット１１０における２つの撮像部１１０ａ、１１０ｂは立体映像データを生成する（Ｓ３０２）。

このとき撮像者が、その立体映像データ１６０中の被写体１７４の指定を所望している場合（Ｓ３０４のＹＥＳ）、被写体指定部１３０は、操作部１１８であるタッチパネルを通じて撮像者により指示される立体映像データ１６０中の撮像対象を被写体１７４の一部１７２として指定する（Ｓ３０６）。このようにして被写体１７４が指定されると（Ｓ３０８のＹＥＳ）、領域情報生成部１３２は、距離測定部１１２に、撮像ユニット１１０と立体映像データ１６０の撮像対象との距離を画素毎に測定させて、撮像ユニット１０と撮影対象との距離を取得し、立体映像データ１６０中の任意の被写体１７４と背景１７６とを分離して、被写体領域情報と背景領域情報とを生成し（Ｓ３１０）、距離導出部１３４は、被写体距離情報と背景距離情報とを導出する（Ｓ３１２）。撮像モードでは、このような立体映像データ１６０の生成と各情報の生成、導出を繰り返す。

撮像者が撮像モードを終了し（Ｓ３００のＮＯ）、現在の状態を撮像した立体映像データ１６０の確認モード、即ち、加工立体映像データ１９０の生成処理に移行すると（Ｓ３１４のＹＥＳ）、距離取得部１３６は、操作部１１８を通じて、眼間距離情報と視聴予定距離情報とを取得し（Ｓ３１６）、映像生成部１３８は、立体映像データ１６０のサイズを変更した加工立体映像データ１９０を生成し（Ｓ３１８）、上述した被写体領域情報と、背景領域情報と、被写体距離情報と、背景距離情報と、眼間距離情報と、視聴予定距離情報とに基づき、立体映像データ１６０の被写体１７４もしくは背景１７６のいずれか一方または両方の視差を変更する（Ｓ３２０）。

ここで、視差再設定部１４０は、被写体１７４の視差を変更することによって被写体１７４の映像が加工立体映像データ１９０の映像枠からはみ出すか否か判断し（Ｓ３２２）、映像枠からはみ出すようであれば（Ｓ３２２のＹＥＳ）、被写体１７４の映像が加工立体映像データ１９０の映像枠からはみ出ないように視差を再設定する（Ｓ３２４）。また、報知部１４２は、視差の変更量Ｋ／Ｊが所定閾値を超えているか否か判断し（Ｓ３２６）、所定閾値を超えていれば（Ｓ３２６のＹＥＳ）、その旨を、立体表示部１２０を通じて所定の態様で報知する（Ｓ３２８）。そして、表示制御部１４４は、生成された加工立体映像データ１９０を立体表示部１２０に表示する（Ｓ３３０）。

かかる映像処理方法を用いることで、原映像データである立体映像データ１６０と大きさの異なる加工立体映像データ１９０を生成した場合においても、立体映像データ１６０を表示するときと同様に立体感を適切に知覚させることが可能となる。したがって、観察者は、強調された加工立体映像データ１９０を通じて、実際の立体映像データ１６０の立体感を鮮明に実感することができる。

（第２の実施形態：映像処理装置４００）
上述した第１の実施形態では、被写体距離情報、背景距離情報、輻輳点距離情報、眼間距離情報および視聴予定距離情報を取得し、数式２を用いて、加工立体映像データ１９０の変更すべき視差Ｈを導出した。本実施形態では、加工立体映像データ１９０へのサイズの変更比率が把握できる場合において、そのサイズの変更比率を用いて加工立体映像データ１９０の変更すべき視差Ｈを導出する。

図１４は、映像処理装置４００の概略的な機能を示した機能ブロック図である。図１４に示すように、映像処理装置４００は、撮像ユニット１１０と、距離測定部１１２と、映像処理部１１４と、データ保持部１１６と、操作部１１８と、立体表示部１２０と、映像圧縮部１２２と、外部出力部１２４と、中央制御部４２６とを含んで構成される。また、中央制御部４２６は、被写体指定部１３０、領域情報生成部１３２、映像生成部４３８、視差再設定部１４０、報知部１４２、表示制御部１４４としても機能する。

第１の実施形態における構成要素として既に述べた撮像ユニット１１０と、距離測定部１１２と、映像処理部１１４と、データ保持部１１６と、操作部１１８と、立体表示部１２０と、映像圧縮部１２２と、外部出力部１２４と、被写体指定部１３０と、領域情報生成部１３２と、視差再設定部１４０と、報知部１４２と、表示制御部１４４とは、実質的に機能が同一なので重複説明を省略し、ここでは、構成が相違する中央制御部４２６の映像生成部４３８を主に説明する。

映像生成部４３８は、データ保持部１１６に保持された立体映像データ１６０のサイズを変更して加工立体映像データ１９０を生成すると共に、その加工立体映像データ１９０の被写体１７４もしくは背景１７６のいずれか一方または両方の視差を変更する。

具体的に、映像生成部４３８は、データ保持部１１６に保持された立体映像データ１６０とその立体映像データ１６０の映像サイズを読み出し、それを拡大または縮小して予めサイズが定められた加工立体映像データ１９０に変更する。例えば、加工立体映像データ１９０としてサムネイルが形成される場合、映像生成部４３８は、立体映像データ１６０を、縦横比を維持してサムネイルの所定のサイズに縮小する。

そして、図６を用いて説明したように、例えば、被写体１７４の結像位置１８６の立体表示部１２０（輻輳点）からの距離Ｋ、即ち、立体表示部１２０から飛び出して見える距離Ｋは、左眼用映像データ１６２と右眼用映像データ１６４での被写体１７４の視差をＨ、観察者の眼間距離をＩ、観察者と立体表示部１２０との視聴予定距離（輻輳点距離）をＪとすると、上述した数式１（Ｋ＝（Ｈ／（Ｈ＋Ｉ））×Ｊ）で表される。このとき、加工立体映像データ１９０の生成により、映像サイズがサイズの変更比率α倍になると、加工立体映像データ１９０において飛び出して見える距離Ｋ’は数式３で表される。
Ｋ’＝（Ｈ’／（Ｈ’＋Ｉ））×Ｊ＝（αＨ／（αＨ＋Ｉ））×Ｊ…（数式３）
したがって、立体感が損なわれることとなる。

ここで、上記サイズの変更比率αが把握されている場合、数式３におけるＨ’＝αＨの要素に、サイズの変更比率αの逆数、即ち１／αを乗算することでＨ’は立体映像データ１６０の視差Ｈとなる。そうすると飛び出して見える距離Ｋ’も原映像データである立体映像データ１６０の飛び出して見える距離Ｋと等しくなる。例えば、図６を用いて説明したように、眼間距離Ｉ＝６ｃｍ、視聴予定距離Ｊ＝１５ｃｍの条件で、視差Ｈ’が０．１ｃｍになっている場合に、この０．１ｃｍにサイズの変更比率１／１０の逆数である１０を乗ずると視差Ｈが１ｃｍとなり、立体表示部１２０から飛び出して見える距離Ｋも本来の２．１４ｃｍとなる。

映像生成部４３８は、このように導出された視差Ｈを当該立体表示部１２０の映像サイズに換算し直した換算値を求め、加工立体映像データ１９０における被写体１７４の視差を広げる方向に換算値分変更する。ここで、映像生成部４３８は、データ保持部１１６に保持された被写体領域情報と、背景領域情報とに基づいて、移動する被写体１７４を背景１７６から分離する。

また、この理論は、交差視および平行視のいずれにおいても、視差を広げる方向に移動させれば適用できる。即ち、輻輳点の前後どちらにあるかに拘わらず被写体１７４や背景１７６の立体感を容易に復元することが可能となる。

（映像処理方法）
次に、上述した映像処理装置４００を用いて、両眼視差による立体映像を表示する映像処理方法を具体的に説明する。

図１５は、立体映像表示方法の全体的な流れを示したフローチャートである。ここでも、第１の実施形態において既に説明した処理については、同一の符号を付すことによってその詳細な説明を省略し、相違する処理を主に説明する。

撮像者が撮像モードを終了し（Ｓ３００のＮＯ）、現在の状態を撮像した立体映像データ１６０の確認モード、即ち、加工立体映像データ１９０の生成処理に移行すると（Ｓ３１４のＹＥＳ）、映像生成部４３８は、立体映像データ１６０のサイズを変更した加工立体映像データ１９０を生成し（Ｓ３１８）、データ保持部１１６に保持された被写体領域情報と、背景領域情報と、サイズの変更比率αとに基づき、立体映像データ１６０の被写体もしくは背景のいずれか一方または両方の視差を変更する（Ｓ５２０）。

そして、第１の実施形態同様、視差再設定部１４０や報知部１４２によって、視差の再設定処理（Ｓ３２４）や報知処理（Ｓ３２８）が実行された後、表示制御部１４４は、生成された加工立体映像データ１９０を立体表示部１２０に表示する（Ｓ３３０）。

かかる映像処理方法を用いることで、原映像データである立体映像データ１６０と大きさの異なる加工立体映像データ１９０を生成した場合においても、立体映像データ１６０を表示するときと同様に立体感を適切に知覚させることが可能となる。したがって、観察者は、強調された加工立体映像データ１９０を通じて、実際の立体映像データ１６０の立体感を鮮明に実感することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の映像処理方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、両眼視差によって立体映像を知覚させるための映像処理装置および映像処理方法に利用することができる。

１００、４００ …映像処理装置
１０４ａ、１０４ｂ …光軸
１１０ａ、１１０ｂ …撮像部
１１２ …距離測定部
１１６ …データ保持部
１２０ …立体表示部
１３２ …領域情報生成部
１３４ …距離導出部
１３６ …距離取得部
１３８、４３８ …映像生成部
１４０ …視差再設定部
１４２ …報知部
１６０ …立体映像データ
１７４ …被写体
１７６ …背景
１９０ …加工立体映像データ
１９６ …輻輳点

Claims (7)

1. それぞれの光軸が略平行または撮像方向で交わり、両眼視差による立体映像を知覚させるための立体映像データを生成する２つの撮像部を有する撮像ユニットと、
   前記２つの撮像部による前記立体映像データの生成と並行して、前記撮像ユニットと撮像対象との距離を取得し、取得した前記撮像ユニットと撮像対象との距離に基づいて、前記立体映像データ中の任意の被写体と前記立体映像データ中の前記被写体以外の領域である背景とを分離して、前記立体映像データ中の前記被写体の占有領域を示す被写体領域情報と、前記立体映像データ中の前記背景の占有領域を示す背景領域情報と、を生成する領域情報生成部と、
   前記被写体と前記２つの撮像部との距離を示す被写体距離情報と、前記背景と前記２つの撮像部との距離を示す背景距離情報とを導出する距離導出部と、
   前記立体映像データと、前記被写体領域情報と、前記背景領域情報と、前記被写体距離情報と、前記背景距離情報と、を関連づけて保持するデータ保持部と、
   観察者の眼間距離を示す眼間距離情報と、前記観察者と立体表示部との距離を示す視聴予定距離情報とを取得する距離取得部と、
   前記データ保持部に保持された前記立体映像データのサイズを変更して加工立体映像データを生成すると共に、前記データ保持部に保持された前記被写体領域情報と、前記背景領域情報と、前記被写体距離情報と、前記背景距離情報と、前記距離取得部が取得した前記眼間距離情報と、前記視聴予定距離情報とに基づき、前記加工立体映像データの前記被写体もしくは前記背景のいずれか一方または両方の視差を変更する映像生成部と、
   生成された前記加工立体映像データを立体表示部に表示する表示制御部と、
   を備えていることを特徴とする映像処理装置。
2. 前記データ保持部は、輻輳点までの距離を示す輻輳点距離情報も前記立体映像データに関連づけて保持し、
   前記映像生成部は、前記輻輳点を基準にして、前記被写体もしくは前記背景のいずれか一方または両方の視差を変更することを特徴とする請求項１に記載の映像処理装置。
3. それぞれの光軸が略平行または撮像方向で交わり、両眼視差による立体映像を知覚させるための立体映像データを生成する２つの撮像部を有する撮像ユニットと、
   前記２つの撮像部による前記立体映像データの生成と並行して、前記撮像ユニットと撮像対象との距離を取得し、取得した前記撮像ユニットと撮像対象との距離に基づいて、前記立体映像データ中の任意の被写体と前記立体映像データ中の前記被写体以外の領域である背景とを分離して、前記立体映像データ中の前記被写体の占有領域を示す被写体領域情報と、前記立体映像データ中の前記背景の占有領域を示す背景領域情報と、を生成する領域情報生成部と、
   前記立体映像データと、前記被写体領域情報と、前記背景領域情報と、を関連づけて保持するデータ保持部と、
   前記データ保持部に保持された前記立体映像データのサイズを変更して加工立体映像データを生成すると共に、前記データ保持部に保持された前記被写体領域情報と、前記背景領域情報と、前記サイズの変更比率とに基づき、前記加工立体映像データの前記被写体もしくは前記背景のいずれか一方または両方の視差を変更する映像生成部と、
   生成された前記加工立体映像データを立体表示部に表示する表示制御部と、
   を備えていることを特徴とする映像処理装置。
4. 前記映像生成部は、前記被写体の視差を前記背景と独立して変更した場合に欠落する背景の部分映像を他の背景の映像で補正することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
5. 前記被写体の視差を変更することによって前記被写体の映像が映像枠からはみ出す場合、前記映像枠からはみ出ないように視差を再設定する視差再設定部をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
6. それぞれの光軸が略平行または撮像方向で交わる２つの撮像部を用いて両眼視差による立体映像を知覚させるための立体映像データを生成し、
   前記２つの撮像部を有する撮像ユニットと撮像対象との距離を取得し、取得した前記撮像ユニットと撮像対象との距離に基づいて、前記立体映像データ中の任意の被写体と前記立体映像データ中の前記被写体以外の領域である背景とを分離して、前記立体映像データ中の前記被写体の占有領域を示す被写体領域情報と、前記立体映像データ中の前記背景の占有領域を示す背景領域情報と、を生成し、
   前記被写体と前記２つの撮像部との距離を示す被写体距離情報と、前記背景と前記２つの撮像部との距離を示す背景距離情報とを導出し、
   観察者の眼間距離を示す眼間距離情報と、前記観察者と立体表示部との距離を示す視聴予定距離情報とを取得し、
   前記立体映像データのサイズを変更して加工立体映像データを生成すると共に、前記被写体領域情報と、前記背景領域情報と、前記被写体距離情報と、前記背景距離情報と、前記眼間距離情報と、前記視聴予定距離情報とに基づき、前記加工立体映像データの前記被写体もしくは前記背景のいずれか一方または両方の視差を変更し、
   生成した前記加工立体映像データを立体表示部に表示することを特徴とする映像処理方法。
7. それぞれの光軸が略平行または撮像方向で交わる２つの撮像部を用いて両眼視差による立体映像を知覚させるための立体映像データを生成し、
   前記２つの撮像部を有する撮像ユニットと撮像対象との距離を取得し、取得した前記撮像ユニットと撮像対象との距離に基づいて、前記立体映像データ中の任意の被写体と前記立体映像データ中の前記被写体以外の領域である背景とを分離して、前記立体映像データ中の前記被写体の占有領域を示す被写体領域情報と、前記立体映像データ中の前記背景の占有領域を示す背景領域情報と、を生成し、
   前記立体映像データのサイズを変更して加工立体映像データを生成すると共に、前記被写体領域情報と、前記背景領域情報と、前記サイズの変更比率とに基づき、前記加工立体映像データの前記被写体もしくは前記背景のいずれか一方または両方の視差を変更し、
   生成した前記加工立体映像データを立体表示部に表示することを特徴とする映像処理方法。

Images