JP2012156680A

JP2012156680A - ３ｄ画像処理装置

Info

Publication number: JP2012156680A
Application number: JP2011012813A
Authority: JP
Inventors: Mitsumasa Adachi; 光将安立; Kentaro Suzuki; 健太郎鈴木; Atsushi Moriwaki; 淳森脇
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2011-01-25
Filing date: 2011-01-25
Publication date: 2012-08-16
Also published as: CN102625121A; US20120263372A1

Abstract

【課題】３Ｄ画像にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される３Ｄ画像の各エリア毎の視差に応じて調整する３Ｄ画像処理装置を提供する。
【解決手段】視差算出部１２１は、第一及び第二の画像中の被写体画像の視差を算出し、視差存在エリア特定部１２２は、出力される３Ｄ画像を複数のエリアに分割し、視差算出部１２１が算出した視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する。視差存在エリアが分割した前記エリアの少なくとも一つにオブジェクト画像を重畳する場合に、視差決定部１２３は、オブジェクト画像を重畳するエリアにあると特定された視差に基づいてそのオブジェクト画像の視差を決定し、オブジェクト画像重畳部１２４は、その決定された視差を有するように第一及び第二の画像にオブジェクト画像を重畳する。
【選択図】図１

Description

本発明は３Ｄ画像処理装置に関し、より詳細には、３Ｄ画像内のエリア毎の視差に応じて、その３Ｄ画像に重畳するオブジェクト画像を適切に表示する３Ｄ画像処理装置に関する。

近年、水平方向に視差を有する２つの画像が左眼用画像及び右眼用画像として同一ディスプレイ上に表示され、観察者が左眼用画像を左眼で、右眼用画像を右眼でそれぞれ独立して観察することで、ディスプレイ上に表示された被写体があたかも立体的に存在するかのように知覚できる３Ｄ画像に関する技術の開発が盛んに行われている。

３Ｄ画像の表示及び観察方式としては、互いに直交する直線偏光を有する左眼用画像及び右眼用画像がディスプレイ上に重ねて表示され、観察者が偏光フィルタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式がよく知られている。
また、左眼用画像及び右眼用画像それぞれが交互にディスプレイ上に表示され、観察者が左右の視界が交互に遮蔽される液晶シャッタの付いた眼鏡を用いて左眼で左眼用画像を、右眼で右眼用画像をそれぞれ独立して観察する方式等もよく知られている。

これらの３Ｄ画像に関する技術では、観察者から見て３Ｄ画像中の被写体画像が、表示面に対しどの程度前方に飛び出しているように知覚されるか、又は表示面に対しどの程度後方に引っ込んでいるように知覚されるかは、左眼用画像と右眼用画像との間の水平方向の視差によって決定される。

ここで、３Ｄ画像においても通常の２Ｄ画像と同様に、例えば時刻を示す文字画像、機器の各種設定を視覚的に示す図形画像、或はその各種設定をユーザが選択するためのメニュー画像等を重畳して表示することがある。その際、３Ｄ画像中の被写体の前方への飛び出し度合い又は後方への引っ込み度合いと、上記文字画像等の前方への飛び出し度合い又は後方への引き込み度合いとの間に大きな差がある場合、その二つの画像の立体感の差は観察者に大きな負担をかけ、眼精疲労や画像酔いの原因となることが指摘されている。
例えば、一部の被写体画像は前方に大きく飛び出しているにもかかわらず、その被写体近辺に表示される文字画像が後方に大きく引っ込んで表示されるような場合である。

そこで、３Ｄ画像の表示において、観察者に負担をかけずに文字画像等を重畳して表示する技術が盛んに開発されている。
例えば、特許文献１には、３Ｄ画像上に翻訳の字幕画像を重畳して表示する際に、その字幕画像が常に最大深度値を有するよう（最も後方に引っ込んだ位置で知覚されるよう）に調整する技術が開示されている。
また、特許文献２には、左眼用画像と右眼用画像の立体度を算出し、その算出された立体度に基づきメニュー画像の前方への飛び出し度合い、又は後方への引っ込み度合いを決定し、そのメニュー画像を決定された立体度を有するように重畳して表示する技術が開示されている。

特表２０１０−５２１７３８号公報特開２０１０−１３０４９５号公報

しかし、特許文献１に記載の技術では、字幕画像は、常に後方に最も引っ込んだ状態で知覚されることから、３Ｄ画像中に、字幕画像と同じ引っ込み度合いを有する被写体画像の他に飛び出し度合いの大きな被写体が含まれていた場合に、字幕画像とその飛び出した被写体画像との間で知覚される立体感の差が大きく、観察者に大きな負担を掛ける可能性があることが推察される。
また、特許文献２に記載の技術では、メニュー画像を立体的に表示することはできるものの、表示する画像内における、そのメニュー画像を表示するエリアと立体度の算出に使用された被写体画像（或は字幕又はテロップ画像）を表示するエリアとの関係を考慮していない。従って、例えばメニュー画像が表示面に対し前方に大きく飛び出しているにもかかわらず、立体度の算出に使用されなかった被写体画像がメニュー画像の近辺で大きく後方に引っ込んでいる場合等は、上記特許文献１と同様に観察者に大きな負担を掛ける可能性があることが推察される。

本発明はこのような問題に鑑みてなされたものであり、３Ｄ画像に文字画像、図形画像、或は文字と図形の組み合わされたメニュー画像等（以下、これらの画像を「オブジェクト画像」という）を重畳して表示する場合に、これらオブジェクト画像等の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される３Ｄ画像の各エリアの視差に応じて調整する３Ｄ画像処理装置を提供することを目的とする。

前記目的を達成するために、本発明は、第一の画像と第二の画像とを記録する記録部（１３３）と、前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部（１２５）と、前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部（１２１）と、前記第一の画像と前記第二の画像とで形成される３Ｄ画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部（１２２）と、前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部（１２３）と、前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部（１２４）と、前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を３Ｄ画像として出力する出力部（１３９）と
を備えることを特徴とする３Ｄ画像処理装置を提供する。

前記視差決定部（１２３）は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定するようにしてもよい。

前記視差決定部（１２３）は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェするようにしてもよい。

前記視差存在エリア特定部（１２２）は、前記３Ｄ画像を水平又は垂直方向に少なくとも２つのエリアに分割するようにしてもよい。

本発明によれば、３Ｄ画像にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される３Ｄ画像の各エリア毎の視差に応じて調整することができる。

本発明の実施形態に係る撮像装置１の構成を示す図である。撮像装置１の液晶モニタ１４０の構成を示す図である。撮像装置１が表示するオブジェクト画像の例を説明する図である。左右眼画像それぞれにおける被写体画像又はオブジェクト画像の表示位置と立体感との関係を示す概念図である。撮像装置１による３Ｄ画像へのオブジェクト画像の重畳処理について説明するフローチャートである。撮像装置１の視差算出部１２１による左眼用画像及び右眼用画像の視差の算出を説明するための図である。３Ｄ画像を垂直方向に２つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。３Ｄ画像を水平方向に２つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。３Ｄ画像を水平方向に２つのエリアに分割した場合に、左右両方のエリアに含まれる差分ベクトルを説明する概念図である。３Ｄ画像を水平方向及び垂直方向に４つのエリアに分割した場合の、差分ベクトルの含まれるエリアを特定する処理を説明するための図である。最大差分ベクトルの特定を説明するための概念図である。最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図である。最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図である。

以下に図面を参照しながら、本発明に係る３Ｄ画像処理装置の好適な実施形態を説明する。
なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素に関し同一の符号を付すことにより重複説明を省略し、本発明に直接関係のない要素は図示を省略する。

図１は、本発明の実施形態に係る撮像装置（デジタルビデオカメラ）１の内部構成の例を示すブロック図である。撮像装置１は動画及び静止画を撮影することができる。
なお、本実施形態に係る撮像装置では二つの撮像部を有し、それぞれの光軸のなす輻輳角を調整できる構成としているが、両光軸が平行となるように固定され輻輳角を調整できない撮像装置においても本発明は採用できる。また、本発明は、デジタルスチルカメラをはじめ、携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistant）等、撮影が可能なその他の電子機器においても採用することができる。

ＣＰＵ１２０は、撮影、表示、記録等の撮像装置１全体の動作を統括制御する。また、ＣＰＵ１２０は、操作部１４２からの入力に基づき所定の制御プログラムに従って各部を制御する。

撮像装置１には、左右一対の左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００が、人の眼の間隔より少し短い所定の間隔（例えば６．２５ｃｍ）離れて設置されている。左眼用画像撮像部Ｌ１００及び右眼用画像撮像部Ｒ１００は、それぞれズームレンズＬ１０１及びＲ１０１、フォーカスレンズＬ１０２及びＲ１０２、絞りＬ１０３及びＲ１０３、並びに固体撮像素子Ｌ１０４及びＲ１０４を備える。

ズームレンズＬ１０１及びＲ１０１は、図示しないズームアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。フォーカスレンズＬ１０２及びＲ１０２は、図示しないフォーカスアクチュエータによって光軸ＡＬ１００及びＡＲ１００に沿って移動する。絞りＬ１０３及びＲ１０３は、図示しない絞りアクチュエータに駆動されて動作する。

左眼用画像撮像部Ｌ１００及び右眼用撮像部Ｒ１００は輻輳角アクチュエータＬ１０９及びＲ１０９とそれぞれ接続されており、輻輳角アクチュエータＬ１０９及びＲ１０９はＣＰＵ１２０から指令を受けて、両撮像部を駆動し、光軸ＡＬ１００とＡＲ１００とのなす輻輳角を調整する。

ＲＯＭ１３１はバス１３０を介してＣＰＵ１２０に接続されており、ＣＰＵ１２０が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュＲＯＭ１３２は、ユーザの設定情報等、撮像装置１の動作に関する各種設定情報を格納している。例えば、撮像装置１には静止画撮影のための静止画撮影モードと動画撮影のための動画撮影モードの２種類の撮影モードを備えており、フラッシュＲＯＭ１３２はこれらのモードに関する各種設定情報を記録している。ＳＤＲＡＭ１３３は、ＣＰＵ１２０の演算作業領域として使用されるとともに、画像データの一時記憶領域としても使用される。ＶＲＡＭ１３４は、表示用の画像データの一時記憶領域として使用される。

撮影装置１を用いた３Ｄ画像の撮影は以下の手順で行われる。左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４がそれぞれ、左眼用画像撮像部Ｌ１００と右眼用撮像部Ｒ１００とを通過した光を光電変換して、左右それぞれの被写体のアナログ撮像信号を生成する。アナログ信号処理部Ｌ１０５及びＲ１０５が両アナログ撮像信号を増幅した後、Ａ／Ｄ変換器Ｌ１０６及びＲ１０６がその増幅された信号をデジタルデータに変換する。画像入力コントローラＬ１０７及びＲ１０７は、Ａ／Ｄ変換機Ｌ１０６及びＲ１０６から出力されたデジタルデータを取り込んで、ＳＤＲＡＭ１３３に格納する。

デジタル信号処理部Ｌ１０８及びＲ１０８は、ＣＰＵ１２０からの指令に基づき、ＳＤＲＡＭ１３３に格納されたデジタルデータを取り込み、所定の信号処理を施して輝度信号と色差信号とからなる信号を生成する。デジタル信号処理部Ｌ１０８及びＲ１０８はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、ＲＧＢ補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。

圧縮・伸張処理部１３５、メディア制御部１３６、カードＩ／Ｆ１３７及び入出力Ｉ／Ｆ１３９はデータバス１３０に接続されている。

圧縮・伸張処理部１３５は、ＣＰＵ１２０からの指令に従い、ＳＤＲＡＭ１３３に格納されたデータに所定形式の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１２０からの指令に従い、カード型記録媒体１３８に入力された圧縮画像データに所定形式の伸張処理を施し、非圧縮画像データを生成する。
なお、本実施の形態の撮像装置１では、静止画に対してはＪＰＥＧ規格に準拠した圧縮方式が、動画に対してはＭＰＥＧ２規格やＡＶＣ／Ｈ．２６４規格に準拠した圧縮方式が採用される。

メディア制御部１３６は、ＣＰＵ１２０からの指令に従い、カードＩ／Ｆ１３７を通じてカード型記録媒体１３８に対するデータの書き込み、またはカード型記録媒体１３８からのデータの読み出しを制御する。

視差算出部１２１、視差存在エリア特定部１２２、視差決定部１２３、オブジェクト画像重畳部１２４、及びオブジェクト画像記録部１２５はそれぞれＣＰＵ１２０と接続されており、後述する３Ｄ画像へのオブジェクト画像の重畳処理を行う。

オブジェクト画像記録部１２５には撮影画像等に重畳する各種オブジェクト画像データとその重畳位置が予め記録されている。例えば静止画撮影モード又は動画撮影モードを視覚的に示すための図形データや、撮像装置１の備える図示しない電池の残量を視覚的に示す図形データ等とそれらに関する２Ｄ表示又は３Ｄ表示の別に応じて予め定められた重畳位置に関する情報が記録されている。

液晶モニタ１４０、スピーカ１４１、操作部１４２及び入出力端子１４３は入出力Ｉ／Ｆ１３９に接続されている。

図２は、３Ｄ画像を表示可能な液晶モニタ１４０の構造の例を説明するための図である。図２においては、撮像装置１の通常の使用姿勢における液晶モニタ１４０に対して、水平方向をＸ軸、垂直方向をＹ軸、及び液晶モニタ１４０の直交
方向をＺ軸として以下を説明する。
液晶モニタ１４０と観察者の左眼ＬＥ２０及び右眼ＲＥ２０の間には、レンチキュラ・レンズＬＬ２０が設置されている。このレンチキュラ・レンズＬＬ２０は、複数の円筒状凸レンズを図２のＸ軸方向に連ねることで構成されている。

液晶モニタ１４０に表示される３Ｄ画像の表示領域は、左眼用短冊画像表示領域Ｌと右眼用短冊画像表示領域Ｒとから構成されている。左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒは、それぞれ図２のＺ軸方向に細長い短冊形状をしており、Ｘ軸方向に交互に配置されている。
レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の所定の観察点を基準として、それぞれ一組の左眼用短冊画像表示領域Ｌ及び右眼用短冊画像表示領域Ｒを含む各短冊集合画像領域に対応した位置に形成される。

そして、レンチキュラ・レンズＬＬ２０を構成する各凸レンズは、観察者の左眼ＬＥ２０には液晶モニタ１４０の左眼用短冊画像表示領域Ｌに表示された左眼用短冊画像が入射され、観察者の右眼ＲＥ２０には液晶モニタ１４０の右眼用短冊画像表示領域Ｒに表示された右眼用短冊画像が入射されるように、その曲率等が設定される。

従って、観察者の左眼は左眼用短冊画像のみを、右眼は右眼用短冊画像のみを観察することになり、撮像装置１によって撮影している画像を、液晶モニタ１４０を通じて３Ｄ画像として知覚することができる。

なお、３Ｄ画像の表示のための液晶モニタ１４０の構造として、図２に基づきレンチキュラ方式を用いた場合の例を説明したが、本発明はレンチキュラ方式には限定されず、視差バリア方式や光方向制御方式等、３Ｄ画像表示のための別方式を採用することもできる。
液晶モニタ１４０は、撮影画像を３Ｄで表示するだけでなく、左眼用画像又は右眼用画像のいずれか一方を２Ｄで表示することもできる。また、左右眼画像の両方をいわゆるサイド・バイ・サイド方式で、二つ並べて２Ｄで表示することもできる。

操作部１４２は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ１４０上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置１への操作入力を受け付ける。
入出力端子１４３は、図示しないテレビモニタやＰＣ（Personal Computer）等に接続される。

次に、図３に、撮像装置１が撮影画像ＰＧ３０を、液晶モニタ１４０にスルー画像又は録画中の画像として表示する際に、この撮影画像Ｐ３０に重畳して表示するオブジェクト画像の例を示す。
なお、図３では左眼用撮像系Ｌ１００又は右眼用撮像系Ｒ１００の何れか一方で取得された撮影画像ＰＧ３０を２Ｄ画像として液晶モニタ１４１に表示する場合を例に挙げ、各オブジェクト画像について説明するが、３Ｄ画像を表示する際も同様の画像が使用される。

撮像装置１は、上述した通り動画を撮影する動画モードと静止画を撮影する静止画モードを備えており、ＯＧ３１は、撮影が動画モードで行われていることを示すオブジェクト画像である。ＯＧ３２は、図１には図示しない電池の残量をユーザに知らせるオブジェクト画像である。また、ＯＧ３３は、ユーザが操作部１４２の図示しない録画ボタンを押し、撮像装置１が撮影を開始している旨をユーザに知らせるオブジェクト画像である。そして、ＯＧ３４は、録画が継続されている時間をユーザに知らせるためのオブジェクト画像である。

これらのオブジェクト画像ＯＧ３１〜ＯＧ３４は、オブジェクト画像記録部１２５に記録されており、液晶モニタ１４０に表示される画像が２Ｄであるか、３Ｄであるかに応じて、２Ｄ又は３Ｄで表示されることになる。
なお、図３において示した各種オブジェクト画像ＯＧ３１〜ＯＧ３４及びその重畳位置は、撮像装置１が表示することができるオブジェクト画像の例示であり、その他の画像を任意の位置に表示することもできることは言うまでもない。

次に図４を参照して、液晶モニタ１４０又は入出力端子を介して接続される外部モニタに表示される左眼用画像中及び右眼用画像中の被写体画像又はオブジェクト画像に関し、左眼用画像と右眼用画像との間の視差と、モニタの表示面に対する前方への飛び出し又は後方への引っ込み等の関係を説明する。

図４において、液晶モニタ１４０又は入出力端子１４３を介して接続される外部モニタの表示面をＤＰ４０、観察者と表示面ＤＰ４０の距離をＤとし、観察者の左眼ＬＥ４０と右眼ＲＥ４０の距離をＥとする。

図４（ａ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像等の表示位置をＬ_f、右眼用画像中の被写体画像等の表示位置をＲ_fとすると、観察者が左眼ＬＥ４０でＬ_f、右眼ＲＥ４０でＲ_fを観察した場合、両被写体画像等はＰ_fの位置で結像する。これにより３Ｄ画像では、観察者からは被写体画像等が表示面ＤＰ４０に対して前方に飛び出しているかのように知覚されることになる。

このとき、像Ｌ_fとＲ_fの視差をＶ_fとすると、表示面ＤＰ４０から結像位置Ｐ_fまでの距離Ｚ_fは以下の式（１）の通りとなる。

（Ｅ＋Ｖ_f）Ｚ_f＝Ｄ・Ｖ_f ・・・（１）

図４（ｂ）において、表示面ＤＰ４０上における被写体画像等の左眼画像中の表示位置と、右眼画像中の表示位置が同一となった場合、被写体画像等は表示面Ｄ４０上のＰ_cで結像する。これにより３Ｄ画像では、観察者は被写体等が表示面ＤＰ４０上に表示されているかのように知覚することになる。

図４（ｃ）において、表示面ＤＰ４０上の左眼用画像中の被写体画像等の表示位置をＬ_b、右眼用画像中の被写体画像等の位置をＲ_bとすると、観察者が左眼ＬＥ４０でＬ_b、右眼ＲＥ４０でＲ_bを観察した場合、被写体画像等はＰ_bの位置で結像する。これにより３Ｄ画像では、観察者からは被写体画像等が表示面ＤＰ８０に対して後方に引っ込んでいるかのように知覚されることになる。

このとき、像Ｌ_bとＲ_bの視差をＶ_fとすると、表示面ＤＰ４０から結像位置までの距離Ｚ_fは以下の式（２）の通りとなる。

（Ｅ−Ｖ_b）Ｚ_b＝Ｄ・Ｖ_b ・・・（２）

以上のように、３Ｄ画像表示においては、左眼用画像及び右眼用画像のそれぞれにおける被写体画像又はオブジェクト画像の間の視差が、その前方への飛び出し度合い又は後方への引っ込み度合いに影響を与えることがわかる。

＜オブジェクト画像の重畳処理＞
次に、撮像装置１による３Ｄ画像へのオブジェクト画像の重畳処理について、フローチャートを参照して説明する。
図５は撮像装置１が、複数に分割された３Ｄ画像の各エリア毎に、被写体画像の前方への飛び出し又は後方への引っ込み等を特定し、その特定に基づいてオブジェクト画像を重畳する処理を説明するためのフローチャートである。

本処理は、ユーザが操作部１４２の図示しない録画ボタンを押したとき、図１のＣＰＵ１２０の統括制御によりプログラムに従い実行される。また、ユーザが撮像装置１の電源を入れ、操作部１４２の図示しないボタン等を使用して撮影モードを選択したとき、或は録画ボタンを半押しにしたときに取得されるスルー画像に対して本処理を開始するようにしてもよい。

上述の通り、左眼用の固体撮像素子Ｌ１０４及び右眼用の固体撮像素子Ｒ１０４を介して、左眼用撮影画像データ及び右眼用撮影画像データがそれぞれＳＤＲＡＭ１３３に一時記録される（ステップＳ１０１）。

次に視差算出部１２１が、ステップＳ１０１で一時記録された左眼用撮影画像データ及び右眼用撮影画像データの間の視差を算出する（ステップＳ１０２）。
この視差の算出には、様々な既存のアルゴリズムを適用することができるが、例えば、ＭＰＥＧにおける同一の被写体がフレーム間でどれだけ動いたかを特定する、いわゆる動きベクトルを算出するアルゴリズムを応用した手法が考えられる。

動画圧縮技術であるＭＰＥＧにおいては、ブロックマッチングに基づいて動きベクトルを検出するアルゴリズムが用いられる。ここで、動きベクトルとは２つのフレームデータ間における同一被写体の変位をベクトルで表したものである。
現在のフレームデータと過去のフレームデータとを比較し、同一の大きさで最も類似したブロックをそれぞれから抽出し、両者の位置関係から動きベクトルを算出する。

視差算出部１２１は、上記動きベクトル算出のアルゴリズムを利用して、左眼用撮影画像データ及び右眼用撮影画像データにおける同一被写体画像データを特定し、その同一被写体画像データについて、点対点、画素対画素で対応する点を左眼用撮影画像データ及び右眼用撮影画像データから抽出し、それらの差分ベクトルを左眼用画像及び右眼用画像における被写体画像の視差として算出する。

より詳細には、図６に示すように、視差算出部１２１は、左眼用撮影画像ＬＰ６０中の被写体画像ＬＳ６１及びＬＳ６２と同一の被写体として右眼用画像ＲＰ６０中の被写体画像ＲＳ６１及びＲＳ６２を特定する。次に、視差算出部１２１は、左眼用撮影画像中ＬＰ６０中の被写体画像ＬＳ６１から基準点ＬＭ６１、被写体画像ＬＰ６２から基準点ＬＭ６２を抽出する。そして、視差算出部１２１は、右眼用撮影画像ＲＰ６０から、基準点ＬＭ６１に対応する対応点ＲＭ６１、及び基準点ＬＭ６２に対応する対応点ＲＭ６２を抽出し、基準点ＬＭ６１と対応点ＲＭ６１との間の差分ベクトルＶ６１、及び基準点ＬＭ６２と対応点ＲＭ６２との間の差分ベクトルＶ６２をそれぞれの被写体画像の視差として算出する。
なお、視差算出部は右眼用撮影画像から基準点を、左眼用撮影画像から対応点を抽出し、差分ベクトルを算出することもできる。

ステップＳ１０２で、左眼用撮影画像及び右眼用撮影画像中の被写体の差分ベクトルが算出されると、次に視差存在エリア特定部１２２が、その差分ベクトルが３Ｄ画像を分割した複数のエリアのうち、どのエリアに含まれるのかを特定する（ステップＳ１０３）。
ここで、３Ｄ画像の複数のエリアへの分割には、垂直方向に２つのエリアに分割する場合、水平方向に２つのエリアに分割する場合、又は水平方向及び垂直方向に分割し計４つのエリアに分割する場合が例として考えられる。撮像装置１では、表示するオブジェクト画像の数や位置に応じて、これら３種類のエリアの分割方法を切り換えて使用することになる。以下に、それぞれの場合において、差分ベクトルが含まれるエリアを特定する処理について述べる。

＜垂直方向に２つのエリアに分割して特定する処理＞
視差存在エリア特定部１２２は、図７に示すように左眼用撮影画像ＬＰ６０及び右眼用撮影画像ＲＰ６０をそれぞれＨＬ１及びＨＬ２で垂直方向に仕切られる上下二つのエリアにそれぞれ分割する。
上下の各エリアの面積の比率は、予めＲＯＭ１３１に記録されているものを用いることができる。例えば、上側のエリアと下側のエリアの比率が５：５、すなわちＬ１とＬ２、及びＬ３とＬ４の比率がともに５：５となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部１４２の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎、或は表示するオブジェクト画像の数に応じて可変としてもよい。

図７に示す例では、左眼用撮影画像ＬＰ６０における被写体画像ＬＳ６１の基準点ＬＭ６１と、右眼用撮影画像ＲＰ６０における被写体画像ＲＳ６１の対応点ＲＭ６１との間の差分ベクトルＶ６１は３Ｄ画像中の下側のエリア内に存在すると特定される。また、左眼用撮影画像ＬＰ６０の被写体画像ＬＳ６２の基準点ＬＭ６２と、右眼用撮影画像ＲＰ６０の被写体画像ＲＳ６２の対応点ＲＭ６２との間の差分ベクトルＶ６２は３Ｄ画像中の上側のエリア内に存在すると特定される。

＜水平方向に２つのエリアに分割して特定する処理＞
視差存在エリア特定部１２２は、図８に示すように左眼用撮影画像ＬＰ６０及び右眼用撮影画像ＲＰ６０をそれぞれＶＬ１及びＶＬ２で水平方向に仕切られる左右二つのエリアにそれぞれ分割する。
左右の各エリアの面積の比率は、予めＲＯＭ１３１に記録されているものを用いることができる。例えば、左側のエリアと右側のエリアの比率が５：５、すなわちＬ５とＬ６、及びＬ７とＬ８の比率がともに５：５となるような比率を予め記録されているものとして使用する。一方で、この割合は、ユーザが操作部１４２の図示しないボタン等を使用して任意に変更できるようにしてもよいし、撮影状況に応じて予め設定されている各種撮影モード毎等によって可変としてもよいのは上記垂直方向のエリアに分割する場合と同様である。

図８に示す例では、左眼用撮影画像ＬＰ６０における被写体画像ＬＳ６１の基準点ＬＭ６１と、右眼用撮影画像ＲＰ６０における被写体画像ＲＳ６１の対応点ＲＭ６１との間の差分ベクトルＶ６１は３Ｄ画像中の左側のエリア内に存在すると特定される。また、左眼用撮影画像ＬＰ６０の被写体画像ＬＳ６２の基準点ＬＭ６２と、右眼用撮影画像ＲＰ６０の被写体画像ＲＳ６２の対応点ＲＭ６２との間の差分ベクトルＶ６２は３Ｄ画像中の右側のエリア内に存在すると特定される。

なお、左眼用撮影画像と右眼用撮影画像との間の差分ベクトルは水平方向のベクトルであることから、水平方向にエリアを分割した場合は、差分ベクトルが左右両方のエリアに含まれることがある。この場合は、各エリアに含まれる差分ベクトルの大きさに応じて、その差分ベクトルが何れのエリアに含まれるものとするかが決定される。

図９に、差分ベクトルが左右両方のエリアに含まれる場合について説明するための概念図を示す。３Ｄ画像Ｐ９０は、ＶＬ３で水平方向に、左側エリアＬＡ９０及び右側エリアＲＡ９０の２つのエリアに分割される。
ここで、差分ベクトルＶ９１の大きさをｖａ９１とし、そのうち左側エリアＬＡ９０に含まれる大きさをｌｖａ９１、右側エリアＲＡ９０に含まれる大きさをｒｖａ９１とすると、ｌｖａ９１とｒｖａ９１は以下の関係となる。

ｌｖａ９１＞ｒｖａ９１

この場合、視差存在エリア特定部１２２は、差分ベクトルＶ９１は左側エリアＬＡ９０に含まれるものと特定する。

差分ベクトルＶ９２の大きさをｖａ９２とし、そのうち左側エリアＬＡ９０に含まれる大きさをｌｖａ９２、右側エリアＲＡ９０に含まれる大きさをｒｖａ９２とすると、ｌｖａ９２とｒｖａ９２は以下の関係となる。

ｌｖａ９２＜ｒｖａ９２

この場合、視差存在エリア特定部１２２は、差分ベクトルＶ９２は右側エリアＲＡ９０に含まれるものと特定する。

差分ベクトルＶ９３の大きさをｖａ９３とし、そのうち左側エリアＬＡ９０に含まれる大きさをｌｖａ９３、右側エリアＲＡ９０に含まれる大きさをｒｖａ９３とすると、ｌｖａ９３とｒｖａ９３が以下の関係となった場合は、差分ベクトルＶ９３は、左側エリアＬＡ９０と右側エリアＲＡ９０の何れにも含まれるものとして、特定される。

ｌｖａ９２＝ｒｖａ９２

なお、上記に限らず、操作部１４２によるユーザの設定、又は撮影モードや表示するオブジェクト画像の種類や数に応じて、左右の２つのエリアに含まれる差分ベクトルに関しては、その両方の領域に含まれているものと特定してもよい。

＜水平方向及び垂直方向の４つのエリアに分割して特定する処理＞
視差存在エリア特定部１２２は、図１０に示すように左眼用撮影画像ＬＰ６０及び右眼用撮影画像ＲＰ６０をそれぞれＨＬ４及びＨＬ５で水平方向に、ＶＬ３及びＶＬ４で垂直方向に仕切り、上下左右の計４つのエリアにそれぞれ分割する。
このエリア分割の割合は、上述の水平方向のエリアの分割又は垂直方向のエリアの分割と同様に、予めＲＯＭ１３１に記録されているものを用いる、或はユーザが操作部１４２の図示しないボタン等を使用して任意に変更できるようにする。

図１０に示す例では、左眼用撮影画像ＬＰ６０における被写体画像ＬＳ６１の基準点ＬＭ６１と、右眼用撮影画像ＲＰ６０における被写体画像ＲＳ６１の対応点ＲＭ６１との間の差分ベクトルＶ６１は３Ｄ画像中の左下側のエリア内に存在すると特定される。また、左眼用撮影画像ＬＰ６０の被写体画像ＬＳ６２の基準点ＬＭ６２と、右眼用撮影画像ＲＰ６０の被写体画像ＲＳ６２の対応点ＲＭ６２との間の差分ベクトルＶ６２は３Ｄ画像中の右上側のエリア内に存在すると特定される。

なお、差分ベクトルが左右のエリアにまたがって含まれることがある点は、上述の左右のエリア分割で述べたのと同様である。従って、その場合は同様に、差分ベクトルの大きさに応じて、その差分ベクトルがどのエリアに含まれるのかを決定する。

ステップＳ１０３で各差分ベクトルの存在するエリアが特定されると、視差決定部１２３が、左眼用画像及び右眼用画像のそれぞれに重畳するオブジェクト画像間の視差を決定する（ステップＳ１０４）。このオブジェクト画像間の視差の決定の処理は、具体的には以下のように行われる。

視差決定部１２３は、まず、上記ステップＳ１０３で差分ベクトルが特定されたエリア毎に、そのエリアに含まれる差分ベクトルの大きさが最も大きい差分ベクトル（以下、「最大差分ベクトル」という。）を特定する。図１１にこの最大差分ベクトルの特定を説明するための概念図を示す。
図１１では、３Ｄ画像Ｐ１１０が水平方向及び垂直方向に４つのエリア、Ａ１０１、Ａ１０２、Ａ１０３、及びＡ１０４に分割された場合の、左上側のエリアＡ１０１を例に説明するが、他の３つのエリアでも同様の処理が行われ、また３Ｄ画像が水平方向又は垂直方向の２つのエリアに分割された場合の各エリアについても同様の処理が行われる。

図１１に示すように、差分ベクトルＶ１０１、差分ベクトルＶ１０２、及び差分ベクトルＶ１０３の大きさは、以下の関係となっている。

│Ｖ１０１│＞│Ｖ１０２│＞│Ｖ１０３│

この場合、視差決定部１２３は、差分ベクトルＶ１０１を、エリアＡ１００に含まれる最大差分ベクトルとして特定する。

エリア内の最大差分ベクトルが特定されると、視差決定部１２３は特定された最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きなのか、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きなのか、或はゼロなのかに応じて、以下に詳述する処理を行う。

最大差分ベクトルの向きが、左眼用撮影画像中の基準点から右眼用撮影画像中の対応点への向きであった場合（以下、この場合の最大差分ベクトルを「飛び出しベクトル」という。）、表示面における基準点及び対応点の位置は、上述の図３（ａ）で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し前方に飛び出しているかのように知覚される位置に結像する関係となる。
この場合、視差決定部１２３は重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き、同じ大きさの差分ベクトルとして決定する。

以上のようにオブジェクト画像の視差を決定することで、３Ｄ画像中で前方に飛び出している被写体の近傍に表示されるオブジェクト画像は、その被写体と同程度前方に飛び出しているかのように知覚されることとなり、観察者の負担を軽減することができる。

最大差分ベクトルの向きが、右眼用撮影画像中の対応点から左眼用撮影画像中の基準点への向きであった場合（以下、この場合の最大差分ベクトルを「引っ込みベクトル」という。）、上述の図４（ｃ）で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて表示面に対し後方に引っ込んでいるかのように知覚される位置に結像する関係となる。
この場合、視差決定部１２３は、ユーザの好みに応じて、重畳するオブジェクト画像の視差を、特定された最大差分ベクトルと同じ向き及び大きさの差分ベクトルとする、或は差分ベクトルをゼロとする。なお、このユーザの好みは、操作部１４２の図示しないボタン等を使用して、事前に設定されるものとする。

３Ｄ画像において、表示面に対し後方に引っ込んでいるかのように知覚される像の観察は、前方に飛び出しているかのように知覚される像の観察よりも、観察者に与える付加が大きいとされている。人間の両目はある程度内側に寄せることはできるが、外側に開くことはできないためである（「人に優しい３Ｄ普及のための３ＤＣ安全ガイドライン」３Ｄコンソーシアム安全ガイドライン部会発行２０１０年４月２０日改訂版）。

以上のように、後方に引っ込んでいる被写体画像の近辺に表示されるオブジェクト画像については、同程度後方に引っ込ませるか、立体感をつけず表示面上に表示するかを、ユーザが任意に選択することができるようにすることで、後方に引っ込んだ画像に基づく観察者の負担を軽減することができる。

最大差分ベクトルが、ゼロであった場合、表示面における基準点及び対応点の位置は、上述の図４（ｂ）で説明した関係となる。すなわち、それら基準点及び対応点を有する被写体の像は、観察者からみて丁度表示面上に知覚される位置に結像する関係となる。
この場合、視差決定部１２３は重畳するオブジェクト画像の視差をゼロ、すなわち差分ベクトルがゼロとなるように決定する。

以上のようにオブジェクト画像の視差を決定することで、３Ｄ画像中で丁度画面上で近くされる被写体の近傍に表示されるオブジェクト画像は、同じく丁度画面上にあるかのように知覚されることとなり、観察者の負担を軽減することができる。

ステップＳ１０４で、各エリアにオブジェクト画像を重畳する際の、そのオブジェクト画像の視差が決定されると、オブジェクト画像重畳部１２４はオブジェクト画像記録部１２５に記録されたオブジェクト画像を、この算出された視差に基づいて左眼用撮影画像及び右眼用撮影画像それぞれに重畳する（ステップＳ１０５）。このオブジェクト画像の重畳は、ステップＳ１０４で特定された最大差分ベクトルが、飛び出しベクトルなのか、引っ込みベクトルなのか、又はゼロなのかに応じて、以下のように行われる。

＜特定された最大差分ベクトルが飛び出しベクトルであった場合＞
図１２に、ステップＳ１０４で特定された最大差分ベクトルが飛び出しベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。

図１２（ａ）は、オブジェクト画像ＯＧ１２０を重畳する位置としてオブジェクト画像記録部１２５に予め記録された位置にオブジェクト画像ＯＧ１２０を重畳する場合の例を示す図である。なお、オブジェクト画像記録部１２５は、オブジェクト画像の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録している。
図１２（ｂ）はオブジェクト画像重畳部１２４がオブジェクト画像ＬＯＧ１２０を左眼用撮影画像ＬＧ１２０に付与する場合の例を示す図であり、図１２（ｃ）はオブジェクト画像重畳部１２４がオブジェクト画像ＲＯＧ１２０を右眼用撮影画像ＲＧ１２０に付与する場合の例を示す図である。

図１２（ｂ）に示すように、ステップＳ１０４で特定された最大差分ベクトルの大きさを│Ｖ１２０│とすると、オブジェクト画像重畳部１２４は、左眼用撮影画像ＬＧ１２０ではオブジェクト画像ＬＯＧ１２０を│Ｖ１２０│／２の大きさだけ、右側にずらして重畳する。そして、図１２０（ｃ）に示すように、オブジェクト画像重畳部１２４は、右眼用撮影画像ＲＧ１２０ではオブジェクト画像ＲＯＧ１２０を│Ｖ１２０│／２の大きさだけ、左側にずらして重畳する。以上のようにすることで、オブジェクト画像ＬＯＧ１２０とオブジェクト画像ＲＯＧ１２０とは最大差分ベクトルと同じ大きさ│Ｖ１２０│を有する視差とすることができる。

＜特定された最大差分ベクトルが引っ込みベクトルであった場合＞
図１３に、ステップＳ１０４で特定された最大差分ベクトルが引っ込みベクトルであった場合のオブジェクト画像の付与を説明するための図を示す。

図１３（ａ）は、オブジェクト画像ＯＧ１３０を重畳する位置としてオブジェクト画像記録部１２５に予め記録された位置にオブジェクト画像ＯＧ１３０を重畳する場合の例を示す図である。なお、オブジェクト画像記録部１２５は、オブジェクト画像ＯＧ１３０の重畳位置として、左眼用撮影画像及び右眼用撮影画像何れに対しても同じ位置を記録しているのは上述の飛び出しベクトルの場合と同様である。
図１３（ｂ）はオブジェクト画像重畳部１２４がオブジェクト画像ＬＯＧ１３０を左眼用撮影画像ＬＧ１３０に付与する場合の例を示す図であり、図１３（ｃ）はオブジェクト画像重畳部１２４がオブジェクト画像ＲＯＧ１３０を右眼用撮影画像ＲＧ１３０に付与する場合の例を示す図である。

ユーザが操作部１４２の図示しないボタン等により、オブジェクト画像の視差を最大差分ベクトルと同じにすることを選択していた場合、図１３（ｂ）に示すように、ステップＳ１０４で特定された最大差分ベクトルの大きさを│Ｖ１３０│とすると、オブジェクト画像重畳部１２４は、左眼用撮影画像ＬＧ１３０ではオブジェクト画像ＬＯＧ１３０を│Ｖ１３０│／２の大きさだけ、左側にずらして重畳する。そして、図１３（ｃ）に示すように、右眼用撮影画像ＲＧ１３０ではオブジェクト画像重畳部１２４は、オブジェクト画像ＲＯＧ１３０を│Ｖ１３０│／２の大きさだけ、右側にずらして重畳する。以上のようにすることで、オブジェクト画像ＬＯＧ１３０とオブジェクト画像ＲＯＧ１３０とは最大差分ベクトルと同じ大きさ│Ｖ１３０│を有する視差とすることができる。

ユーザが操作部１４２の図示しないボタン等により、オブジェクト画像の視差をゼロとすることを選択していた場合は、オブジェクト画像重畳部１２４は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部１２６が予め記録している位置にオブジェクト画像ＬＯＧ１３０及びＲＯＧ１３０を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。

＜特定された最大差分ベクトルがゼロであった場合＞
ステップＳ１０４で特定された最大差分ベクトルがゼロであった場合、オブジェクト画像重畳部１２４は、左眼用撮影画像及び右眼用撮影画像のそれぞれに対し、オブジェクト画像記録部１２５が予め記録している位置にオブジェクト画像を付与する。これにより、オブジェクト画像は左眼用撮影画像及び右眼用撮影画像の同じ位置に付されることとなり、オブジェクト画像は丁度表示面上にあるかのように知覚されることとなる。

以上に述べたオブジェクト画像の付与が各エリア毎に行われるため、表示面に対して前方に飛び出しているかのように知覚される被写体画像の近辺に表示されるオブジェクト画像は、同じく表示面に対して前方に飛び出しているかのように知覚されることとなる。表示面に対して後方に引っ込んでいるかのように知覚される被写体画像又は丁度表示面上にあるかのように知覚される被写体画像の近辺にあるオブジェクト画像についても同様に、それぞれ表示面に対して後方に引っ込んでいるかのように、又は丁度表示面にあるかのように知覚されることとなる。

図５に戻り、ユーザが操作部１４２の図示しない録画ボタンを離す、撮像装置１の電源を切る等すると本処理は終了する。

以上の通り、撮像装置１によれば、３Ｄで表示される撮影画像等にオブジェクト画像を重畳して表示する場合に、そのオブジェクト画像の前方への飛び出し度合いや後方への引っ込み度合いを、これらが重畳される３Ｄ画像の各エリア毎の視差に応じて調整することができる。従って、オブジェクト画像とその近辺に表示される被写体画像との間で知覚される立体感の落差を抑制することができ、観察者に負担を掛けずにオブジェクト画像を３Ｄで表示することができる。

なお、上記の例では最大差分ベクトルが飛び出しベクトルであった場合、引っ込みベクトルであった場合、及びゼロであった場合のそれぞれに応じて、重畳するオブジェクト画像の視差に異なる処理を施したが、撮像装置１は、各エリア内の飛び出しベクトルの中で最も大きな差分ベクトルと同じ視差を有するようにオブジェクト画像を重畳するようにしてもよい。このようにすることで、撮像装置１は、エリア毎の視差を考慮しつつ、常にオブジェクト画像を飛び出しているかのように知覚できるものとすることができる。

以上の通り、図１に記載した撮像装置１を例として本発明の実施形態を説明したが、本発明に係る画像処理装置の実施形態として撮像装置に限定されるわけではなく、据置き型の記録装置のように撮像機能を有していない機器おいても撮像データの記録や再生の際に同様の処理が可能であることは言うまでもない。

１撮像装置
１２１視差算出部
１２２視差存在エリア特定部
１２３視差決定部
１２４オブジェクト画像重畳部
１２５オブジェクト画像記録部
１３３ＳＤＲＡＭ
１３７カードＩ／Ｆ
１３８カード型記録媒体
１３９入出力Ｉ／Ｆ
１４０液晶モニタ

Claims

第一の画像と第二の画像とを記録する記録部と、
前記第一の画像と前記第二の画像のそれぞれに重畳するオブジェクト画像を記録するオブジェクト画像記録部と、
前記第一の画像中の被写体画像と前記第二の画像中の被写体画像との間の視差を算出する視差算出部と、
前記第一の画像と前記第二の画像とで形成される３Ｄ画像を複数のエリアに分割し、前記視差算出部が算出した前記視差が、その分割された複数のエリアのうちのどのエリアに存在するのかを特定する視差存在エリア特定部と、
前記視差存在エリアが分割した前記エリアの少なくとも一つに前記オブジェクト画像を重畳する場合に、前記オブジェクト画像を重畳するエリアにあると特定された前記視差に基づいてその重畳するオブジェクト画像の視差を決定する視差決定部と、
前記視差決定部が決定した前記視差を有するように前記第一の画像及び前記第二の画像に前記オブジェクト画像を重畳するオブジェクト画像重畳部と、
前記オブジェクト画像が重畳された前記第一の画像及び前記第二の画像を３Ｄ画像として出力する出力部と
を備えることを特徴とする３Ｄ画像処理装置。
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差と同一の視差を有するようにそのオブジェクト画像の視差を決定することを特徴とする請求項１に記載の３Ｄ画像処理装置。
前記視差決定部は、前記オブジェクト画像を重畳するエリアにあると特定された前記視差のうち、最も大きい視差が前記被写体画像を前方に飛び出しているかのように知覚させるものである場合は、その算出された視差と同一の視差を有するようにそのオブジェクト画像の視差を決定し、最も大きい視差が前記被写体画像を後方に引っ込んでいるかのように知覚させるものである場合は、その算出された視差と同一の視差を有するように、又は視差がゼロとなるようにそのオブジェクト画像の視差を決定することを特徴とする請求項１に記載の３Ｄ画像処理装置。
前記視差存在エリア特定部は、前記３Ｄ画像を水平又は垂直方向に少なくとも２つのエリアに分割することを特徴とする請求項１〜３の何れか一項に記載の３Ｄ画像処理装置。