JP2016024335A - 立体撮像装置 - Google Patents

Abstract

【課題】立体映像においてインデックス画面を一覧表示する場合でも違和感なく立体視できる立体撮像装置を提供すること。【解決手段】左右の撮像光学系と、前記左右の撮像光学系の間隔または輻輳角を変更する制御手段と、前記左右の撮像光学系により取得した映像から両眼視差を検出する手段と、撮影した映像から代表画像を生成する手段と、前記両眼視差の目標値を有し、前記代表画像に用いる映像の両眼視差が、前記目標値になるように、前記撮像光学系の間隔または輻輳角を調整することを特徴とする。【選択図】図２

Description

本発明は、立体撮像装置において、インデックス画面等の複数シーンを一覧表示する画面における立体感調整に関するものである。

近年、映画等が立体（以降、３Ｄと表記）映像で提供されることが増えてきており、それらの立体映像に対応した家庭用のテレビの普及が始まっている。立体映像表示はステレオ視の原理を利用しており、左眼及び右眼用の映像を準備し、各々の映像を水平方向に相対的にシフトし、相対位置の異なる左眼用の映像及び右眼用の映像を表示する。画面からの飛び出し量（立体感）は、前記相対位置の差によって制御する。この相対位置の差を両眼視差とする。

ユーザーは左眼用の映像と右眼用の映像の視差を知覚し、視差量に応じた立体感のある映像を見ることができる。

これに対して、立体映像の鑑賞時に自然な立体感を実現するための立体撮像装置として、輻輳制御を自動化して撮影者の負担を軽減し、自然な立体映像を撮影する装置が提案されている（特許文献１）。

特開２００１−０１６６１９号公報

上記従来技術では、鑑賞時の画面サイズ、視認距離を入力すると、撮像装置の撮像パラメータから複数の撮像光学系に最適な輻輳距離を算出して、制御するものである。撮影者が鑑賞時の条件を設定することにより、装置は自然な立体感が得られるように自動で輻輳を制御するので、自然な立体映像を簡便に撮影することができるようになる。

しかしながら上記従来技術では、動画の立体映像を一覧表示するインデックス画面において、各映像の立体感のばらつきによる視認性の低下については対応出来ていない。図６に立体映像のインデックス画面を模式的に示す。インデックス画面６０１において各シーンの映像は、両眼視差に基づいた、異なる飛び出し量で観察者に知覚される。従って、観察者は飛び出し量がばらばらの立体インデックス画面から、所望のシーンを選択するような場合、操作の妨げになることがある。

本発明は、上記の問題点に鑑み、立体映像においてインデックス画面を一覧表示する場合でも違和感なく立体視できる立体撮像装置を提供することを目的とする。

本発明に係る立体撮像装置は、左右の撮像光学系と、前記左右の撮像光学系の間隔または輻輳角を変更する制御手段と、
前記左右の撮像光学系により取得した映像から両眼視差を検出する手段と、撮影した映像から代表画像を生成する手段と、前記両眼視差の目標値を有し、前記代表画像に用いる映像の両眼視差が、前記目標値になるように、前記撮像光学系の間隔または輻輳角を調整することを特徴とする。

本発明によれば、立体映像のインデックス画面において、各シーンの映像の立体感が大きく変動することによる違和感を低減し、立体映像の各シーンを一覧表示する際の視認性が向上し、それにより操作性も向上する。

本発明に係る立体撮像装置の外観概略図。 本発明に係る第１の立体撮像装置のブロック図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る立体撮像装置の構成及び両眼視差を説明する図。 本発明に係る第１の実施例のフローチャート。 本発明の装置が解決しようとする課題を説明する図。 本発明に係る装置の動作を説明する図。 本発明に係る第２の実施例のフローチャート。 本発明に係る装置の動作を説明する図。 本発明に係る装置の両眼視差検出を説明する図。 本発明に係る第２の実施例のフローチャート。 本発明に係る第２の立体撮像装置のブロック図。 本発明に係るインデックス画面の概略図。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

（実施例１）
図１に本発明の撮像装置の一例としての３Dデジタルカメラの外観図を示す。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。

モードダイアル６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブルとデジタルカメラ１００とのコネクタである。操作部７０はユーザーからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。

コントローラーホイール７３は操作部７０に含まれる回転操作可能な操作部材である。７２は電源スイッチであり、電源オン、電源オフを切り替える。記録媒体は２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。

図２は、本実施形態による３Dデジタルカメラ１００の構成例を示すブロック図である。図２において、１２０Rは右側の撮像光学系であり、１２０Lは左側の撮像光学系である。１２０Rにおいて１０３Rはズーム及びフォーカスレンズを含む撮影レンズ、１０１Rは絞り機能を備えるシャッター、２２Rは光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。

２３RはＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３Rは、撮像部２２Rから出力されるアナログ信号をデジタル信号に変換するために用いられる。１０２Rはバリアであり、３Dデジタルカメラ１００の、撮影レンズ１０３Rを含む撮像部を覆うことにより、撮影レンズ１０３R、シャッター１０１R、撮像部２２Rを含む撮像系の汚れや破損を防止する。１２０Lは、１２０Rと同様の構成及び機能であるので説明を省略する。

２４は画像処理部であり、Ａ／Ｄ変換器２３R及び２３Lからのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、測距制御を行う。

これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

Ａ／Ｄ変換器２３R及び２３Lからの出力データは、画像処理部２４及びメモリ制御部１５を介して、メモリ３２に直接書き込まれる。メモリ３２は、撮像部２２R及び２２Lによって得られ、Ａ／Ｄ変換器２３R及び２３Lによりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。

Ａ／Ｄ変換器２３R及び２３Lによって一度Ａ／Ｄ変換しデジタル化された信号は、画像処理部２４で所定の信号処理を施した後にメモリ３２に蓄積される。前記メモリ３２に蓄積されたデジタル信号をＤ／Ａ変換部１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダ（スルー画像表示）として機能する。尚、表示部２８として立体表示に対応した表示手段を用いることも可能である。この際には画像処理部２４において立体表示に対応した表示用データを生成してメモリ３２に書き込み、Ｄ／Ａ変換器１３を介して表示部２８に表示する。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

５０はシステム制御部であり、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６１、第２シャッタースイッチ６２、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。

第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６２は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０は３Dデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。

なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

上述した３Dデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

顔検出機能について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。

そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ５２に記憶する。

以上のように撮像光学系を介して得られた画像データあるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

次に、３Dデジタルカメラ１００による立体感の調整方法について説明する。図４ａ、図４ｂ、図４ｃは３Dデジタルカメラによる立体撮影と視差を説明する模式図である。図４ａの図４（Ａ）は被写体４５０をレンズ間隔Ｌで撮影したときの配置を示す図である。本実施例の３Ｄデジタルカメラ１００においては、レンズ間隔Ｌを制御することにより視差を調整する。従って光軸４５４Ｒ及び４５４Ｌは傾けないで撮影を行う。

被写体４５０はレンズ１０３Ｒ及び１０３Ｌを介して撮像面４５３Ｒ及び４５３Ｌに結像し、図４ａの図４（Ｂ）に示すように左右の撮影画像４５５Ｒ及び４５５Ｌが生成される。被写体４５０の被写体像４５６Ｒ及び４５６Ｌが左右の画像に含まれている。この左右の画像４５５Ｒ及び４５５Ｌを左右の眼で独立に観察することにより、被写体像４５６Ｒ及び４５６Ｌは画面に対して前後に飛び出したように立体的に知覚される。

ここで知覚される立体感は、左右の被写体像４５６Ｒ及び４５６Ｌの視差に起因する。視差は各画像の左上隅を基準にした被写体像４５６Ｒ及び４５６Ｌの中心までの水平距離ＸＬ１及びＸＲ１の差異ｄ１＝ＸＬ１−ＸＲ１とする。立体視の際には、視差が大きい程、画面に対して前後に飛び出す量が大きく知覚される。

図４ｂの図４（Ｃ）は、レンズ間隔Ｌが図４（Ａ）と同じで、被写体４５０までの距離が近くなった場合の配置である。図４ｂの図４（Ｄ）は、取得した撮影画像及び被写体像である。図４（Ｃ）のように被写体距離が近くなると、視差ｄ２（＝ＸＬ２−ＸＲ２）は前記の視差ｄ１に対して大きくなる。従って立体視した際の飛び出し量は、図４（Ａ）に比べて大きくなる。

本発明の装置では、被写体距離に応じてレンズ間隔を調整する。これにより被写体までの距離が変動しても、被写体の立体感をほぼ同等に保つことができる。

図４ｃの図４（Ｅ）は、図４（Ａ）と同等の視差になるように調整したときの配置である。被写体４５０までの距離は、図４（Ｃ）と同様である。本発明の装置では、直前のシーン、例えば図４（Ａ）の視差ｄ１を保持し、次のシーンを撮影する際に図４ｃの図４（Ｆ）の視差ｄ３（＝ＸＬ３−ＸＲ３）がｄ１と同じ値になるように、被写体距離に応じてレンズ間隔Ｌ１を制御する。図４（E）ではレンズ間隔Ｌ１を、図４（Ａ）のレンズ間隔Ｌより狭くすることにより視差ｄ３が視差ｄ１と同等になっている。

ここで、視差の算出について図１０を用いて説明する。図１０（Ａ）は、前述の顔検出機能により検出された顔枠９５０Ｌ及び９５０Ｒを図示したものである。本発明の装置では、右画像の顔枠９５０Ｒの画像を基準に、システム制御部５０において左画像との間で相関演算を行い、最も相関値の高い領域を顔枠９５０Ｒに対応する顔領域として、顔枠９５０Ｌを表示する。そして、画像の左上隅を基準に顔枠９５０Ｒと顔枠９５０Ｌとの水平方向の位置の差異を視差量として算出する。

また図１０（Ｂ）に示すように左右の画像の対応する合焦領域９５１Ｒ及び９５１Ｌの間の水平方向の位置の差異から視差量を算出することもできる。左右の合焦領域の対応関係は、前記顔枠の場合と同様に相関演算またはパターンマッチング等の公知の技術を用いれば良い。

次に、本実施例の装置における立体撮影映像のシーン一覧画面の概略を図１３に示す。図１３は立体インデックス画面を表示する際の概略を示しており、図１３（Ａ）は左眼用の画面であり、図１３（Ｂ）は右眼用の画面である。図１３では、各シーンを表す代表画像として、各シーンに最初に人物が登場したフレームの映像を左右の撮影映像から抽出して表示している。尚、人物の検出方式は公知の技術を用いるものとして、ここでは説明を省略する。

前述の図４で説明したように、左右の映像にはレンズ間隔、被写体距離、焦点距離等の撮影パラメータに応じて視差が生じている。従って図１３の左右の画面（Ａ）及び（Ｂ）の各シーンの代表画にも両眼視差によるズレが起こっている。この視差が各シーンの代表画毎に異なった値であると、飛び出し量がばらばらで視認性が低下する。

本実施例の装置では上記図１３の代表画の視差を調整することで視認性を向上する。図５のフローチャート及び図７により本実施例に係る３Ｄデジタルカメラ１００の動作について説明する。

図５のＳ５０１で電源スイッチ７２により電源オンされると、Ｓ５０２ではモード切替スイッチ６０を監視して、システム制御部５０が記録モードに移行したかを判断する。Ｓ５０２で記録モードに移行されたらＳ５０３でレンズ間隔Ｌを初期状態にするためにシステム制御部５０がレンズ間隔調整部２５を制御する。

Ｓ５０４では、代表画像に用いる最初に顔領域が検出された映像に対する顔領域の目標視差を設定する。目標視差として、予め保持している所定値を与えても良いし、ユーザーが操作部を介して設定しても良い。ユーザーが設定する場合には、視差量を画素値として設定する方法や表示部２８が立体表示対応の場合であればマーカーを立体視しながら視差量を調整しても良い。Ｓ５０４で目標視差を設定したら、次にＳ５０５に移行する。

Ｓ５０５では、顔領域が撮影映像に存在するか否かの検出を開始する。Ｓ５０５以降では記録モードから他のモードに以降するか、あるいは操作部を介して顔検出をＯＦＦにしない限り、顔検出動作を継続するものとする。Ｓ５０６ではシステム制御部５０において測距を開始する。測距は、前述の中央１点ＡＦや顔ＡＦに応じて測距領域を設定し、領域内の被写体までの距離を算出し視差検出を行う。ここで、視差検出は、図１０で示したように顔領域及び合焦領域の画像を用いてシステム制御部５０が算出する。

Ｓ５０７ではシャッターボタン６１を操作することにより記録開始が指示されたかをシステム制御部５０が監視する。Ｓ５０７において記録が開始されるとＳ５０８に移行してシステム制御部５０は、撮影映像中に顔領域が存在するか否かを検出する。Ｓ５０８で顔領域が検出されるとＳ５０９に移行する。

Ｓ５０９では、Ｓ５０８で検出した顔領域の映像の視差情報に基づいてレンズ間隔を制御する。図４を例に説明する。Ｓ５０４で設定された目標視差を図４（Ｂ）のｄ１とし、Ｓ５０９で検出された視差が図４（Ｄ）のｄ２と仮定する。ここで、システム制御部５０はΔｄ＝ｄ２−ｄ１を算出して、Δｄをレンズ間隔の水平移動量に変換して、図２のレンズ間隔調整部２５を制御してレンズ間隔を図４（Ｅ）のＬ１に変更する。

レンズ間隔の変更は所定の速度で実行するものとする。但し、急にレンズ間隔を変更すると鑑賞時に立体感が急激に変化して違和感が生じることが想定されるので、前記視差の差分Δｄあるいは変更するレンズ間隔の量に応じて時定数を設定してレンズ間隔を変更するようにしても良い。

また、インデックス画面表示のときの代表画が、レンズ間隔を変更中の映像から抽出されないように最初に顔領域が検出されたフレームから所定フレーム経過後の映像から代表画を生成するように制御する。あるいは、レンズ間隔の変更が完了した時点が明確になるように管理情報を撮影映像と共に記録することも可能である。インデックス画面表示の際には、上記管理情報を参照して代表画を生成する。

Ｓ５１０では、レンズ間隔を変更後、所定時間が経過したかを判断する。所定時間経過したらＳ５１１に移行する。Ｓ５１１では、予め設定されている初期のレンズ間隔Ｌになるように移動を開始する。システム制御部５０は、レンズ間隔調整部２５に制御信号を出力して、所定の時定数でレンズ間隔がＬになるまで制御を行う。尚、時定数はＳ５１０で移動を開始する時点のレンズ間隔と所定のレンズ間隔Ｌの差に応じて適応的に設定することができる。

Ｓ５１２ではシャッターボタン６１を操作することにより記録停止が指示されたかをシステム制御部５０が監視する。Ｓ５１２で記録停止が指示されると、システム制御部５０は記録を停止するし、Ｓ５１３で記録動作を終了する。

図７を用いて本実施例の３Ｄデジタルカメラ１００のレンズ間隔制御と視差の関係を示す。図７（Ａ）は撮影時のレンズ間隔を模式的に示した図である。縦軸は図４のレンズ間隔を表し、横軸は時間を表す。シーン１撮影時間は撮影後半部を示しており、レンズ間隔は定常値Lに設定されている。

時刻Ｔ１でシーン２撮影が開始され、時刻Ｔ２で顔領域が検出されると、図５に示すようにＳ５１０で顔領域の映像の両眼視差が目標視差ｄ１になるようにレンズ間隔を制御する。そして、目標視差を維持しながら所定時間が経過すると、時刻Ｔ３より所定の時定数で初期状態のレンズ間隔Ｌに移動する。

図７（Ｂ）は、図７（Ａ）と同じ時間軸における視差の状態を表すものである。時刻Ｔ２から時刻Ｔ３では、顔領域が移動しても視差は目標視差ｄ１近傍に保持された状態になる。

図１１にインデックス画面モードの際の動作フローを示す。Ｓ５５０で動作を開始し、Ｓ５５１でインデックス画面モードに移行する。Ｓ５５２では記録媒体に記録されている各シーンの管理情報を取得する。管理情報は、各シーンの映像データファイルの中に保持されていても良いし、個別のファイルとして保持されていても良い。システム制御部５０は、Ｓ５５３で取得した管理情報から各シーンで顔領域が検出されている映像フレームを取得する。次にＳ５５４で、最初に顔領域が検出された左及び右の映像フレームを検出し、不図示の符号化処理部において復号化を行う。復号化された左右の映像は、シーンの代表画像としてメモリ３２に保持される。Ｓ５５５ではメモリ３２に保持されている復号化された左右の映像を、画像処理部２４においてリサイズ処理等を行い、メモリ３２内の画面表示用のメモリ領域に描画する。そして、メモリ制御部１５及びＤ／Ａ変換器１３を介して表示部２８に表示される。Ｓ５５６で、インデックス画面に表示する代表画像の枚数分の処理が完了したかを判断する。未完了の場合には、Ｓ５５３に移行して、一連の動作を繰り返す。完了した場合には、Ｓ５５７に移行してインデックス画面表示動作を終了する。
尚、ここでは表示部２８は立体表示に対応した表示部である。立体表示の方式については、公知の技術を用いるものとして説明は省略する。

以上本実施に係る立体撮像装置では、インデックス画面表示の際の代表画を生成する映像フレームの顔領域の視差をもとにレンズ間隔を制御することで、インデックス画面に代表画を一覧表示したときに、各代表画の立体感が大きく変動するのを抑制することができる。

（実施例２）
本実施例に係る第２の立体撮像装置について以下で説明する。図１２は、本発明に係る第２の実施例の３Ｄデジタルカメラ１８０のブロック図である。本実施例の特長は、撮像光学系１２０Ｒ及び１２０Ｌの輻輳角を変更する輻輳角調整部２６である。その他の図２と同じ番号及び記号を付するブロックは実施例１と同様であるので説明を省略する。輻輳角と視差の関係について図３ａ、図３ｂ、図３ｃを用いて説明する。さらに、本実施例の装置では、視差を調整する手順に特長がある。調整手順の説明は図８及び図９に示す。

図３ａ、図３ｂ、図３ｃは、本実施例に係る装置の輻輳角と視差についての概略図である。図３ａの図３（Ａ）において、各々の撮像光学系は視点OL及び視点ORを中心に回転するものとする。輻輳角θは、図３（Ａ）に示すように図面の水平方向をＸ軸、垂直方向をＺ軸としたときに、Ｚ軸と各撮像光学系の光軸の成す角度として定義する。

本実施例の装置では、左右の撮像光学系の輻輳角は対称に制御され、図３（Ａ）では各光軸３５４Ｒ及び３５４ＬとＺ軸の成す角は−θと＋θとなる。この状態で、被写体３５０を撮影して、各々の撮像面３５３Ｒ及び３５３Ｌを介して得られた画像を図３ａの図３（Ｂ）に示す。図３（Ｂ）で被写体像３５６Ｒは、撮像面３５３Ｒを介して得られた被写体３５０の被写体像で、３５６Ｌは、撮像面３５３Ｌを介して得られた被写体３５０の被写体像である。図３（Ｂ）の視差をｄ５とすると、図４で説明したようにｄ５（＝ＸＬ１−ＸＲ１）により算出される。

図３ｂの図３（Ｃ）は、被写体３５０の被写体距離が近くなったときの配置で、輻輳角は図３（Ａ）と同様にθである。図３ｂの図３（Ｄ）は、撮影画像の概略で、被写体３５０の視差をｄ６とするとｄ６（＝ＸＬ２−ＸＲ２）により算出される。同様に図３ｃの図３（Ｅ）は、被写体３５０の位置は図３（Ｃ）と同じで、輻輳角をθ１に変更したものである。図３ｃの図３（Ｆ）は、撮影画像の概略で、被写体３５０の視差をｄ７とすると、ｄ７（＝ＸＬ３−ＸＲ３）により算出される。

図３（Ｅ）では、輻輳角調整部２６をシステム制御部５０により制御することで輻輳角をθからθ１に変更している。その結果、被写体３５０の位置が近くなっても視差ｄ７＝ｄ５となり、図３（Ａ）と同じ立体感で知覚される。図３（Ａ）を前回撮影停止時の配置、図３（Ｅ）を今回の撮影開始時の配置と仮定すると、輻輳角を制御することにより、シーン切り替わり時の立体感を同等に調整可能であることがわかる。

次に図８のフローチャートにより、視差の調整手順を説明する。本実施例の装置では、記録停止時及び記録開始時に所定の視差になるように輻輳角を制御する。Ｓ８０１で動作を開始し、Ｓ８０２で記録モードであるか、再生モード等の記録モード以外であるかをシステム制御部５０で判断する。記録モードの場合、Ｓ８０３に移行して目標視差を設定する。目標視差は、任意に設定可能であるし、予め保持している値でも良い。

Ｓ８０４で測距を開始する。測距領域等は実施例１と同様であるので省略する。Ｓ８０５で図１０に示すように所定領域の映像を基に視差検出を開始する。Ｓ８０６では、検出した視差を用いて輻輳角調整部２６をシステム制御部５０が制御する。目標視差に対して検出された視差が大きい場合には、図３に示すように図３（Ｃ）の輻輳角θから図３（Ｅ）の輻輳角θ１に輻輳角を大きくする方向に制御する。逆に目標視差に対して検出された視差が小さい場合には、輻輳角が小さくなる方向に制御する。Ｓ８０６では逐次輻輳角を制御することにより、視差が目標視差の近傍に維持される。

Ｓ８０７では操作部から記録開始が指示されたかを監視する。記録開始が指示されると、Ｓ８０８で時間取得し、Ｓ８０９で記録開始からの経過時間を算出する。所定時間経過した場合にはＳ８１０に移行し、所定時間経過していない場合にはＳ８０８で時間取得を行い、Ｓ８０９での経過時間の監視を継続する。

Ｓ８１０では、輻輳角を定常値に移動する。移動は予め定められた時定数に従って実行する。Ｓ８１１では、輻輳角の移動が完了したかを判断する。輻輳角を不図示のステッピングモータ等で変更するような場合には、移動前の輻輳角から定常値までに必要なパルス数を算出し、パルス数のカウンタが所定値に到達した場合に移動完了と判断する。また、輻輳角を検出する手段を装着して、直接輻輳角を読み取って移動完了を判断しても良い。

Ｓ８１２では、定常状態の輻輳角で撮影を行う。Ｓ８１３では、操作部を介して記録停止が指示されたかを判断し、停止が指示されると記録を停止する。そして、Ｓ８１４で処理を終了する。

図９に本実施例の装置における輻輳角制御の概略を示す。図９において、縦軸は輻輳角、横軸は撮影時間を表す。各シーン撮影時に定常状態では、輻輳角θに制御されている。シーン１の撮影停止後は、次の撮影開始時に目標視差になるように輻輳角が制御された状態になる。従って、記録停止中も記録モードであれば目標視差を維持するように輻輳角が制御されている。そしてシーン２の撮影が開始されて所定時間経過後に、定常撮影の輻輳角θに向けて制御が開始され、所定の時定数で輻輳角θに到達する。

以上のように、各シーンにおいて撮影開始時の映像の視差が所定の値となるように撮像装置の輻輳角を制御するので、各シーンの撮影開始時の立体感を同程度に調整することができる。また、撮影開始時近傍の映像からインデックス画面の代表画を生成するような装置では、インデックス画面の代表画の立体間が同程度に知覚されるので、視認性が向上する。

１３ Ｄ／A変換部、１５ メモリ制御部、２４ 画像処理部、２５ レンズ間隔調整部、２６ 輻輳角調整部、２８ 表示部、３０ 電源部、３２ メモリ、５０ システム制御部、６１ シャッターボタン、６０ モードダイヤル、７０ 操作部、７２ 電源スイッチ、７３ コントローラーホイール、１００ ３Dデジタルカメラ、１１２ コネクタ、１２０R，１２０L 撮像光学系、２００ 記録媒体、２０１ 記録媒体スロット、２０２ 蓋

Claims (10)

1. 左右の撮像光学系と、
   前記左右の撮像光学系の間隔または輻輳角を変更する制御手段と、
   前記左右の撮像光学系により取得した映像から両眼視差を検出する手段と、
   を有する立体撮像装置であって、
   前記両眼視差の目標値を有し、
   前記代表画像に用いる映像の両眼視差が、前記目標値になるように、前記撮像光学系の間隔または輻輳角を調整することを特徴とする立体撮像装置。
2. 前記両眼視差を顔検出領域または合焦領域の映像を用いて検出することを特徴とする請求項１に記載の立体撮像装置。
3. 前記代表画像を、各撮影シーン映像の先頭近傍の映像から生成することを特徴とする請求項１に記載の立体撮像装置。
4. 前記代表画像を、各撮影シーン映像の顔領域が検出された映像から生成することを特徴とする請求項１に記載の立体撮像装置。
5. 初期状態の前記撮像光学系の間隔または輻輳角を設定する手段と、を有し、定常撮影状態においては、前記初期状態の間隔または輻輳角になるように制御することを特徴とする請求項１に記載の立体撮像装置。
6. 左右の撮像光学系と、
   前記左右の撮像光学系の間隔または輻輳角を変更する制御手段と、
   前記左右の撮像光学系により取得した映像から両眼視差を検出する手段と、
   前記両眼視差の目標値を有し、撮影開始時近傍の映像の前記両眼視差が前記目標値となるように、前記撮像光学系の間隔または輻輳角を調整することを特徴とする立体撮像装置。
7. 前記両眼視差を顔検出領域または合焦領域の映像を用いて検出することを特徴とする請求項６に記載の立体撮像装置。
8. 前記代表画像を、各撮影シーン映像の先頭近傍の映像から生成することを特徴とする請求項６に記載の立体撮像装置。
9. 前記代表画像を、各撮影シーン映像の顔領域が検出された映像から生成することを特徴とする請求項６に記載の立体撮像装置。
10. 初期状態の前記撮像光学系の間隔または輻輳角を設定する手段と、を有し、定常撮影状態においては、前記初期状態の間隔または輻輳角になるように制御することを特徴とする請求項６に記載の立体撮像装置。