JP2014183376A - 立体撮像装置、立体撮像装置の制御方法、プログラム - Google Patents

Abstract

【課題】３Ｄ画像において、シーンが切り替わる際に、鑑賞者が違和感なく立体視できる立体撮像装置を提供する。
【解決手段】３Ｄデジタルカメラ１００は、左右の撮像光学系２０１Ｒ，２０１Ｌと、左右の撮像光学系２０１Ｒ，２０１Ｌにより取得した映像から両眼視差量を検出する検出手段と、撮影停止時の両眼視差量を保持するメモリ２１４と、メモリ２１４が保持する両眼視差量に基づいて、撮影開始時の左右の撮像光学系２０１Ｒ，２０１Ｌの間隔または輻輳角を調整する制御手段とを有する。
【選択図】図２

Description

本発明は、立体撮像装置、立体撮像装置の制御方法、プログラムに関する。特には、立体撮像装置において、撮影シーンの切り替わりの際の立体感の調整に関する。

近年、映画等が立体（以降、３Ｄと表記する）映像で提供されることが増えてきており、それらの３Ｄ映像に対応した家庭用のテレビの普及が始まっている。
３Ｄ映像表示は、ステレオ視の原理を利用している。具体的には、左眼用と右眼用の映像を準備し、各々の映像を水平方向に相対的にシフトさせ、相対位置の異なる左眼用の映像と右眼用の映像を表示する。画面からの飛び出し量（立体感）は、前記相対位置の差によって制御する。この相対位置の差を両眼視差とする。
ユーザーは、左眼用の映像と右眼用の映像の両眼視差を知覚し、両眼視差量に応じた立体感のある映像を見ることができる。
また、３Ｄ映像の鑑賞時に自然な立体感を実現するための立体撮像装置として、輻輳制御を自動化して撮影者の負担を軽減し、自然な立体映像を撮影する装置が提案されている（特許文献１参照）。

特開２００１−０１６６１９号公報

上記特許文献１に記載の構成は、撮影者が鑑賞時の画面サイズと視認距離を入力すると、撮像装置の撮像パラメータから最適な輻輳位置を算出して制御するものである。撮影者が鑑賞時の条件を設定することにより、装置は自然な立体感が得られるように自動で輻輳を制御するので、自然な立体映像を簡便に撮影することができる。
ところで、動画の３Ｄ映像を鑑賞する際にシーン間の切り替わり時で立体感が不連続になることにより、鑑賞者が違和感を持つことがある。具体的には、たとえば、図１６に示すように、３Ｄ映像が画面から少し飛び出した位置に知覚されるシーンから、大きく飛び出した位置に知覚されるシーンに切り替わると、飛び出し量が大きく変動する。この変動は、鑑賞者が立体感を視認する際の妨げとなる。
上記特許文献１に記載の構成では、動画の３Ｄ映像を鑑賞する際にシーン間の切り替わり時で立体感が不連続になることによる違和感について対応出来ていない。

本発明は上記の問題点に鑑み、３Ｄ映像のシーンが切り替わる際に違和感なく立体視できる立体撮像装置、立体撮像装置の制御方法、プログラムを提供することを目的とする。

本発明は、左右の撮像光学系と、前記左右の撮像光学系により取得した画像から両眼視差を検出する検出手段と、撮影停止時の前記両眼視差を保持する保持手段と、
前記保持手段が保持する両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整する制御手段と、を有することを特徴とする。

本発明によれば、立体映像のシーン間の切り替わり時で立体感が大きく変動することによる違和感を低減できる。

本発明の第１の実施形態にかかる３Ｄデジタルカメラの外観概略図である。 本発明の第１の実施形態にかかる３Ｄデジタルカメラのブロック図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 本発明の第１の実施形態にかかる３Ｄデジタルカメラの両眼視差量の検出を説明する図である。 本発明の第１の実施形態にかかる処理のフローチャートである。 本発明の第１の実施形態にかかる３Ｄデジタルカメラの動作を説明する図である。 本発明の第２の実施形態にかかる３Ｄデジタルカメラの動作を説明する図である。 本発明の第３の実施形態にかかる３Ｄデジタルカメラのブロック図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 ３Ｄデジタルカメラの両眼視差量を説明する図である。 本発明の第３実施形態にかかる処理のフローチャートである。 本発明の第３実施形態にかかる３Ｄデジタルカメラの動作を説明する図である。 従来の問題を説明する図である。

以下、図面を参照しながら、本発明の好適な実施の形態を説明する。なお、本発明の実施形態の説明においては、立体撮像装置として３Ｄデジタルカメラを示す。

（第１の実施形態）
図１は、本発明の第１の実施形態にかかる立体撮像装置の一例としての３Ｄデジタルカメラ１００の外観模式図である。
表示部１０１は、画像や各種情報を表示する。表示部１０１は、液晶表示パネルなどが適用される。
操作部１０５は、操作者からの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材を含む。コントローラホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材である。電源スイッチ１０７は、操作者が３Ｄデジタルカメラ１００の電源オン／電源オフの切り替え操作に用いる操作部材である。シャッターボタン１０２は、操作者が３Ｄデジタルカメラ１００に撮影指示を入力するための操作部材である。モード切替スイッチ１０３は、３Ｄデジタルカメラ１００の動作モードなど、各種モードを切り替えるための操作部材である。
コネクタ１０４には、外部機器（たとえばＰＣなど）と信号などを送受信可能するための接続ケーブル１１１を接続できる。
記録媒体スロット１０９は、記録媒体１０８を着脱自在に格納できるスロットである。記録媒体１０８は、メモリカードやハードディスク等の記録媒体が適用される。３Ｄデジタルカメラ１００は、記録媒体スロット１０９に格納された記録媒体１０８との通信が可能である。
蓋１１０は、記録媒体スロット１０９を開閉自在に覆う。

図２は、本実施形態にかかる３Ｄデジタルカメラ１００の構成例を示す機能ブロック図である。
図２に示すように、３Ｄデジタルカメラ１００は、右側の撮像光学系２０１Ｒと、左側の撮像光学系２０１Ｌとを含む。右側の撮像光学系２０１Ｒと左側の撮像光学系２０１Ｌは、それぞれ、バリア２０３Ｒ，２０３Ｌと、撮像レンズ２０４Ｒ，２０４Ｌと、シャッター２０５Ｒ，２０５Ｌと、撮像部２０６Ｒ，２０６Ｌと、Ａ／Ｄ変換器２０７Ｒ，２０７Ｌとを含む。
撮像レンズ２０４Ｒ，２０４Ｌは、ズーム及びフォーカスレンズを含む。シャッター２０５Ｒ，２０５Ｌは絞り機能を備える。撮像部２０６Ｒ，２０６Ｌは、撮像レンズ２０４Ｒ，２０４Ｌとシャッター２０５Ｒ，２０５Ｌを通じて入射した被写体の光学像を、アナログ電気信号に変換する。撮像部２０６Ｒ，２０６Ｌは、たとえばＣＣＤやＣＭＯＳ素子等で構成される。Ａ／Ｄ変換器２０７Ｒ，２０７Ｌは、アナログ電気信号をデジタル信号に変換する。特に、Ａ／Ｄ変換器２０７Ｒ，２０７Ｌは、撮像部２０６Ｒ，２０６Ｌが出力する映像データであるアナログ電気信号をデジタル電気信号に変換するために用いられる。バリア２０３Ｒ，２０３Ｌは、３Ｄデジタルカメラ１００の撮像レンズ２０４Ｒ，２０４Ｌを含む左右の撮像光学系２０１Ｒ，２０１Ｌを覆う。これにより、撮像レンズ２０４Ｒ，２０４Ｌ、シャッター２０５Ｒ，２０５Ｌ、撮像部２０６Ｒ，２０６Ｌを含む左右の撮像光学系２０１Ｒ，２０１Ｌの汚れや破損が防止される。

画像処理部２１０は、Ａ／Ｄ変換器２０７Ｒ，２０７Ｌからの映像データ、またはメモリ制御部２１１からの映像データに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２１０は、撮像した映像データを用いて所定の演算処理を実行する。そして、システム制御部２１３は、得られた演算結果に基づいて露光制御や測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理や、ＡＥ（自動露出）処理や、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部２１０は、更に、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行なう。

Ａ／Ｄ変換器２０７Ｒ，２０７Ｌからの映像データは、画像処理部２１０及びメモリ制御部２１１を介して、メモリ２１４に直接書き込まれる。メモリ２１４は、撮像部２０６Ｒ，２０６Ｌによって得られＡ／Ｄ変換器２０７Ｒ，２０７Ｌによりデジタル信号に変換された映像データや、表示部１０１に表示するための映像データを格納する。メモリ２１４は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ２１４は、映像表示用のメモリ（ビデオメモリ）を兼ねている。

Ｄ／Ａ変換器２１２は、メモリ２１４に格納されている画像表示用の映像データをアナログ信号に変換して表示部１０１に送信する。こうして、メモリ２１４に書き込まれた表示用の映像データは、Ｄ／Ａ変換器２１２を介して表示部１０１により表示される。表示部１０１は、Ｄ／Ａ変換器２１２からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２０７Ｒ，２０７Ｌによってデジタル信号に変換された映像データは、画像処理部２１０で所定の処理を施した後にメモリ２１４に蓄積される。メモリ２１４に蓄積された映像データをＤ／Ａ変換器２１２においてアナログ変換し、表示部１０１に逐次転送して表示することで、電子ビューファインダ（スルー画像表示）として機能する。なお、表示部１０１として、３Ｄ表示に対応した表示手段を用いることも可能である。この際には、画像処理部２１０は立体表示に対応した表示用データを生成してメモリ２１４に書き込む。表示用データはＤ／Ａ変換器２１２を介して表示部１０１に入力される。表示部１０１は入力された表示用の映像データを表示する。

不揮発性メモリ２１５は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ２１５には、システム制御部２１３の動作用の定数やプログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部２１３は、３Ｄデジタルカメラ１００の全体を制御する。前述した不揮発性メモリ２１５に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ２１７は、ＲＡＭが用いられる。システム制御部２１３は、システムメモリ２１７に、動作用の定数、変数、不揮発性メモリ２１５から読み出したプログラム等を展開する。また、システム制御部２１３は、メモリ２１４、Ｄ／Ａ変換器２１２、表示部１０１等を制御することにより表示制御も行う。

システムタイマー２１６は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ１０３、第１シャッタースイッチ２１９、第２シャッタースイッチ２２０は、操作部１０５に含まれる操作部材であり、操作者がシステム制御部２１３に各種の動作指示を入力するために用いられる。
モード切替スイッチ１０３は、操作者による操作に応じて、システム制御部２１３の動作モードを、静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
第１シャッタースイッチ２１９は、３Ｄデジタルカメラ１００に設けられたシャッターボタン１０２の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生させる。システム制御部２１３は、第１シャッタースイッチ信号ＳＷ１をトリガーとして、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作を開始する。
第２シャッタースイッチ２２０は、シャッターボタン１０２の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生させる。システム制御部２１３は、第２シャッタースイッチ信号ＳＷ２をトリガーとして、撮像部２０６Ｒ，２０６Ｌからの信号読み出しから記録媒体１０８に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作者が表示部１０１に表示される種々の機能アイコンを選択操作すると、システム制御部２１３は、操作部１０５の各操作部材に対して、場面ごとに適宜機能を割り当てる。これにより、操作部１０５の各操作部材は、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、システム制御部２１３は各種の設定可能なメニュー画面を表示部１０１に表示する。操作者は、表示部１０１に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール１０６は、操作部１０５に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。操作者がコントローラホイール１０６を回転操作すると、コントローラホイール１０６は操作量に応じて電気的なパルス信号を発生させる。システム制御部２１３は、このパルス信号に基づいて３Ｄデジタルカメラ１００の各部を制御する。また、システム制御部２１３は、このパルス信号によって、コントローラホイール１０６が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール１０６は、回転操作が検出できる操作部材であればどのようなものでもよい。例えば、操作者の回転操作に応じてコントローラホイール１０６自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール１０６自体は回転せず、コントローラホイール１０６上での操作者の指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部２１８は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。そして、電源制御部２１８は、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部２１８は、その検出結果及びシステム制御部２１３の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電力を必要な期間、記録媒体１０８を含む各部へ供給する。

電源部２２２は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。
インターフェース（Ｉ／Ｆ）２２１は、メモリカードやハードディスク等の記録媒体１０８と通信を行う。
記録媒体１０８は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

本実施形態にかかる３Ｄデジタルカメラ１００は、中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行う方式である。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行う方式である。

ここで、顔検出機能について説明する。システム制御部２１３は、顔検出対象の映像データを画像処理部２１０に送信する。画像処理部２１０は、システム制御部２１３の制御下で、当該映像データに水平方向バンドパスフィルタと垂直方向バンドパスフィルタを作用させる。映像データにこれら水平方向及び垂直方向のバンドパスフィルタを作用させることにより、システム制御部２１３は、映像データのエッジ成分を検出することができる。
次いで、システム制御部２１３は、検出したエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。次いで、システム制御部２１３は、抽出した目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。次いで、システム制御部２１３は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部２１３は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ２１４に記憶する。
以上のように、システム制御部２１３は、撮像光学系２０１Ｒ，２０１Ｌを介して得られた画像データや再生表示される映像データを画像解析して、映像データの特徴量を抽出して被写体情報を検出できる。本実施形態では、被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。

なお、システム制御部２１３は、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化する処理である。顔ＦＥとは検出された顔を中心にフラッシュの調光をする処理である。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化する処理である。

次に、３Ｄデジタルカメラ１００による立体感の調整方法について説明する。
図３は、３Ｄデジタルカメラ１００による立体撮影と両眼視差を説明する模式図である。図３（ａ）は、左右の撮像光学系２０１Ｒ，２０１Ｌの光軸３０１Ｒ，３０１Ｌの間隔（以下、レンズ間隔と記す）がＬの場合における被写体３００と左右の撮像光学系２０１Ｒ，２０１Ｌの関係を示す模式図である。本実施形態にかかる３Ｄデジタルカメラ１００においては、システム制御部２１３は、レンズ間隔Ｌを制御することにより両眼視差量を調整する。すなわち、３Ｄデジタルカメラ１００は、左右の撮像光学系２０１Ｒ，２０１Ｌの光軸３０１Ｒ，３０１Ｌを傾けないで撮影を行う。

被写体３００は、撮像レンズ２０４Ｒ，２０４Ｌを介して撮像面３０２Ｒ，３０２Ｌに結像する。これにより、図３（ｂ）に示すように、右画像３０３Ｒと左画像３０３Ｌが生成される。被写体３００の被写体像３０４Ｒ，３０４Ｌが右画像３０３Ｒと左画像３０３Ｌに含まれている。鑑賞者は、この右画像３０３Ｒと左画像３０３Ｌを左右の眼で独立に観察する。そうすると、鑑賞者には、被写体像３０４Ｒ，３０４Ｌは画面に対して前後に飛び出したように立体的に知覚される。
ここで知覚される立体感は、左右の被写体像３０４Ｒ，３０４Ｌの両眼視差に起因する。両眼視差量は各画像の左上隅を基準にした被写体像３０４Ｒ，３０４Ｌの中心までの水平距離ＸＬ１，ＸＲ１の差ｄ１＝ＸＬ１−ＸＲ１とする。立体視の際には、両眼視差量が大きい程、画面に対して前後に飛び出す量が大きく知覚される。

図４（ａ）は、レンズ間隔Ｌが図３（ａ）と同じで、被写体３００までの距離が近くなった場合の配置である。図４（ｂ）は、取得した撮影画像および被写体像を模式的に示す。図４（ａ）のように被写体距離が近くなると、両眼視差量ｄ２（＝ＸＬ２−ＸＲ２）は、前記の両眼視差量ｄ１に対して大きくなる。従って立体視した際の飛び出し量は、図３（ａ）に比べて大きくなる。

本実施形態にかかる３Ｄデジタルカメラ１００では、立体視している場合のシーンの切り替わりの際に立体感が大きく変動することを抑制するために、被写体距離に応じてレンズ間隔を調整する。これにより直前のシーンの最終フレームの立体感（視差）と、これから撮影するシーンの先頭の立体感を同等にすることができる。

図５（ａ）は、図３（ａ）と同等の両眼視差量になるように調整したときの配置である。被写体３００までの距離は、図４（ａ）と同様である。本実施形態にかかる３Ｄデジタルカメラ１００では、システム制御部２１３は、直前のシーン、例えば図３（ａ）の両眼視差量ｄ１を保持する。そして、システム制御部２１３は、次のシーンを撮影する際に図５（ｂ）の両眼視差量ｄ３（＝ＸＬ３−ＸＲ３）がｄ１と同じ値になるように、被写体距離に応じてレンズ間隔Ｌ１を制御する。図５（ａ）ではレンズ間隔Ｌ１を、図３（ａ）のレンズ間隔Ｌより狭くすることにより両眼視差量ｄ３が両眼視差量ｄ１と同等になっている。

ここで、両眼視差量の算出について図６を用いて説明する。図６（ａ）は、前述の顔検出機能により検出された顔検出領域６００Ｒ，６００Ｌを図示したものである。システム制御部２１３は、右画像６０２Ｒの顔検出領域６００Ｒの画像を基準として、左画像６０２Ｌとの間で相関演算を行う。そして、システム制御部２１３は、最も相関値の高い領域を顔検出領域６００Ｒに対応する顔領域として、顔検出領域６００Ｌを表示する。そして、システム制御部２１３は、画像の左上隅を基準に顔検出領域６００Ｒと顔検出領域６００Ｌとの水平方向の位置の差を算出し、算出した差を両眼視差量とする。

また図６（ｂ）に示すように、システム制御部２１３は、右画像６０２Ｒの合焦領域６０１Ｒとこれに対応する左画像６０３Ｌの合焦領域６０１Ｌとの水平方向の位置の差から両眼視差量を算出することもできる。左右の合焦領域６０１Ｒ，６０１Ｌの対応関係は、前記顔検出領域６００Ｒ，６００Ｌの場合と同様に相関演算またはパターンマッチング等の公知の技術を用いて判定すれば良い。合焦領域６０１Ｒ，６０１Ｌは、システム制御部２１３がＡＦに用いる領域である。

次に、図７のフローチャート及び図８を用いて、本実施形態にかかる３Ｄデジタルカメラ１００の動作について説明する。図７に示すフローチャートを実行するためのコンピュータプログラムは、不揮発性メモリ２１５に格納されている。システム制御部２１３がこのコンピュータプログラムを読み出して実行することにより、図７に示す処理が実現する。
Ｓ７０１では、システム制御部２１３は、操作者による電源スイッチ１０７への電源オン操作を検出すると、この処理を開始する。
Ｓ７０２では、システム制御部２１３は、モード切替スイッチ１０３への操作を監視し、記録モードに移行する操作が行われたか否かを判断する。記録モードに移行する操作が行われた場合には、操作が行われるまで待機する。記録モードに移行する操作が行われた場合には、システム制御部２１３は、動作モードを記録モードに遷移させ、Ｓ７０３に進む。
Ｓ７０３では、システム制御部２１３は、前回撮影停止時の視差情報の有無を判断する。前回撮影停止時の視差情報（両眼視差量）は、システム制御部２１３が管理しており、不揮発性メモリ２１５に保持されている。
視差情報が保持されている場合にはＳ７０４に進む。Ｓ７０４では、システム制御部２１３は、保持している視差情報（両眼視差量）を目標両眼視差量として設定する。
Ｓ７０３で視差情報が保持されていないと判断した場合には、目標両眼視差量を設定しないでＳ７０５に移行する。
Ｓ７０５では、システム制御部２１３は、測距を開始する。システム制御部２１３は、前述の中央１点ＡＦや顔ＡＦに応じて測距領域を設定し、領域内の被写体までの距離を算出する。
Ｓ７０６では、システム制御部２１３は、両眼視差量検出を行う。図６で示したように、システム制御部２１３が、顔領域または合焦領域の画像を用いて両眼視差量を算出する。

Ｓ７０７では、システム制御部２１３は、両眼視差情報に基づいてレンズ間隔を制御する。
ここで、レンズ間隔の制御について、図３〜図５を例に説明する。Ｓ７０４で設定された目標両眼視差量を図３（ｂ）のｄ１とし、Ｓ７０６で検出された両眼視差量が図５（ｂ）のｄ２と仮定する。ここで、システム制御部２１３は、Δｄ＝ｄ２−ｄ１を算出して、Δｄをレンズ間隔の水平移動量に変換して、図２のレンズ間隔調整部２２３を制御してレンズ間隔を図５（ａ）のＬ１に変更（調整）する。上記両眼視差量検出とそれに基づいたレンズ間隔の制御は、逐次動作する。

Ｓ７０８では、システム制御部２１３は、記録開始の指示（シャッターボタン１０２への操作）があったかを監視する。尚、システム制御部２１３は、記録開始の監視中も前記レンズ間隔の制御を継続している。このため、被写体が動いていても両眼視差量は目標両眼視差量近傍に追従している。記録開始の指示があった場合にはＳ７０９に進む。
Ｓ７０９では、システム制御部２１３は、システムタイマー２１６から、記録開始からの経過時間ｔを取得する。
Ｓ７１０では、システム制御部２１３は、経過時間ｔが予め設定した所定の時間を経過したかを判定する。経過していない場合は、Ｓ７０９に移行して経過時間ｔの取得を行う。Ｓ７１０で所定時間経過したことを検出すると、Ｓ７１１に移行する。
Ｓ７１１では、システム制御部２１３は、予め設定されている所定のレンズ間隔Ｌになるように、左右の撮像光学系２０１Ｒ，２０１Ｌの移動を開始する。具体的には、システム制御部２１３は、レンズ間隔調整部２２３に制御信号を出力して、所定の時定数でレンズ間隔がＬになるまで制御を行う。尚、時定数はＳ７１１で移動を開始する時点のレンズ間隔と所定のレンズ間隔Ｌの差に応じて適応的に設定することができる。ここで所定の時定数は、移動を開始する時点のレンズ間隔と所定のレンズ間隔Ｌの差をＬＤとして、ＬＤに係数ｋを乗算した時間（移動時間）ＬＤ×ｋで移動を完了するように設定する。尚、モードを設定することにより、常に固定の時間ＴＤで移動を完了するようにしても良い。
Ｓ７１２では、システム制御部２１３は、レンズ間隔が所定の値Ｌに到達したかを判定する。レンズ間隔が所定値に到達したら、システム制御部２１３はレンズ間隔調整部２２３への制御を停止して、Ｓ７１３に移行する。
Ｓ７１３では、システム制御部２１３は、通常の定常撮影状態に移行する。定常撮影状態では、レンズ間隔Ｌを固定して撮影を行う。このため被写体距離に応じて両眼視差量が変動する。
Ｓ７１４では、システム制御部２１３は、記録停止の指示（シャッターボタン１０２への記録停止の操作）があったか否かを判定する。Ｓ７１４で記録停止が指示されると、Ｓ７１５に進む。
Ｓ７１５では、システム制御部２１３は記録を停止すると共に、停止時点の視差情報（両眼視差量）をメモリ２１４または不揮発性メモリ２１５に保持する。
Ｓ７１６では、システム制御部２１３は、記録動作を終了する。

尚、本実施形態においては、Ｓ７１１で所定時間経過後にレンズ間隔を制御して、定常撮影状態のレンズ間隔Ｌに移動させているが、この構成に限定されない。たとえば、システム制御部２１３は、定常撮影状態のレンズ間隔に移動しないで撮影開始時のレンズ間隔に固定したまま撮影を継続するように制御してもよい。

ここで、図８を用いて、本実施形態にかかる３Ｄデジタルカメラ１００のレンズ間隔制御と両眼視差量の関係を説明する。図８（ａ）は、撮影時のレンズ間隔を模式的に示した図である。縦軸はレンズ間隔（図３参照）を表し、横軸は時間を表す。シーン１撮影時間は撮影後半部を示しており、レンズ間隔は定常値Ｌに設定されている。
システム制御部２１３は、操作者の指示によって時刻Ｔ１で記録停止すると、視差情報（記録停止時の両眼視差量）を保持する（図５のＳ７１５）。記録モードの際には、システム制御部２１３は、記録停止期間中も前記保持されている視差情報を目標両眼視差量として、被写体距離に応じてレンズ間隔が逐次制御する。
システム制御部２１３は、操作者の指示によって時刻Ｔ２でシーン２撮影を開始する。そして、システム制御部２１３は、撮影開始から所定時間の経過後の時刻Ｔ３より、所定の時定数で定常撮影状態のレンズ間隔Ｌに移動させる。ここで所定の時定数は、移動を開始する時点のレンズ間隔と定常撮影状態のレンズ間隔Ｌの差をＬＤとして、ＬＤに係数ｋを乗算した時間（移動時間）ＬＤ×ｋで移動を完了するように設定する。尚、モードを設定することにより、常に固定の時間ＴＤで移動を完了するようにしても良い。
図８（ｂ）は、図８（ａ）と同じ時間軸のときの視差の状態を表すものである。時刻Ｔ１から時刻Ｔ３では、被写体が移動しても両眼視差量は目標両眼視差量の近傍に保持された状態になる。

以上、第１の実施形態にかかる３Ｄデジタルカメラ１００によれば、前回の撮影停止時の両眼視差量をもとに、その後の撮影開始時のレンズ間隔を制御する。これにより、再生時のシーン切り替わり付近の立体感が大きく変動するのを抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態にかかる３Ｄデジタルカメラ１００について以下で説明する。なお、第１の実施形態と共通の構成については、説明を省略する。
第２の実施形態においては、３Ｄデジタルカメラ１００は、前回の撮影停止時の両眼視差量を基準として、撮影開始時の両眼視差量と前回の撮影停止時の両眼視差量の差分が所定の範囲を超えたときのみレンズ間隔の調整を実行する。

図９を用いて、第２の実施形態にかかる３Ｄデジタルカメラ１００の動作を説明する。
図９（ａ）は、撮影時のレンズ間隔の状態を示したもので、縦軸はレンズ間隔、横軸は時間を表す。図９（ｂ）は、撮影時の視差の状態を示したもので、縦軸は両眼視差量、横軸は時間を表す。
本実施形態にかかる３Ｄデジタルカメラ１００では、図９（ｂ）に示すように、前回のシーン１の撮影停止時の両眼視差量ｄｔを基準として、両眼視差量の所定範囲としてレンジＲを設定する。システム制御部２１３は、記録モードのときには前述のように両眼視差量の算出を実行しており、算出した両眼視差量が前記レンジＲ（所定範囲）を超えたときにのみレンズ間隔の制御を行う。レンジＲは、立体感が大きく変動しないように適宜設定されるものであり、特に限定されるものではない。
図９（ｂ）では、時刻Ｔ４から時刻Ｔ５及び時刻Ｔ６から時刻Ｔ７の期間で両眼視差量がレンジＲを超えている。
システム制御部２１３は、両眼視差量がレンジＲを超えているかを検出して、レンジＲを越えている期間、レンズ間隔調整部２２３を介して、図９（ａ）に示すようにレンズ間隔を制御（調整）する。これにより、撮影開始時の両眼視差量は前回撮影停止時の両眼視差量ｄｔに対してレンジＲの範囲内（所定範囲内）に収めることができる。したがって、再生時のシーンの切り替わり時において立体感の変動を抑制することができる。

また、撮影の際にシーンの切り替わりで画面遷移時のエフェクト（遷移効果）を設定する機能が搭載されている場合、システム制御部２１３は、遷移効果が設定されたときのみレンズ間隔の調整を行なってもよい。遷移効果としてフェードイン、フェードアウト、ワイプ等の公知のものを用いることができる。これにより、フェードインしながら次にシーンが表示される際に、両眼視差量が大きく変動して遷移効果による演出効果が低下するのを防ぐことができる。

また、撮影時に各シーンの撮影時間を所定時間に制限して撮影する動作モードが搭載されている撮像装置がある。撮像装置は、例えば前記所定時間が４秒間に設定されている状態で撮影すると、各シーンの撮影を４秒で停止する。再生時に各シーンは４秒単位で切り替わっていくので、両眼視差量が大きく変動すると立体視の際に違和感が生じる。従って、システム制御部２１３は、各シーンの撮影時間が所定時間以下に制限される動作モードにおいてのみ、レンズ間隔の調整を行うように制御してもよい。

さらに、３Ｄデジタルカメラ１００が、遷移効果を設定する機能と、影時に各シーンの撮影時間を所定時間に制限して撮影する動作モードとを備える構成であってもよい。システム制御部２１３は、操作者による操作部１０５への撮影条件設定の操作に応じて、撮影条件設定を行う（撮影条件設定手段）。すなわち、システム制御部２１３は、操作者による撮影条件設定の操作に応じて、前記機能を使用しまたは使用せず、前記動作モードで動作し動作しない。
そして、システム制御部２１３は、撮影条件が遷移効果を設定する機能を使用するように設定されている場合には、遷移効果による演出効果が低下しないようにレンズ間隔を調整する。また、システム制御部２１３は、前記動作モードで動作している場合には、レンズ間隔を調整する制御を行う。
このように、システム制御部２１３は、遷移効果を使用する場合、または撮影時間を制限する動作モードで動作している場合の少なくとも一方である場合には、レンズ間隔を調整する制御を行う。

（第３の実施形態）
本発明の第３の実施形態にかかる３Ｄデジタルカメラ１０００について以下で説明する。
図１０は、本発明の第３の実施形態にかかる３Ｄデジタルカメラ１０００のブロック図である。なお、第１の実施形態と共通の構成には同じ符号を付し、説明は省略する。第３の実施形態にかかる３Ｄデジタルカメラ１０００は、第１の実施形態のレンズ間隔調整部２２３に代えて、輻輳角調整部１００１を有する構成に特徴を有する。輻輳角調整部１００１は、システム制御部２１３の制御にしたがって、左右の撮像光学系２０１Ｒ，２０１Ｌの輻輳角を変更する。その他は、第１の実施形態と共通の構成が適用できる（図２参照）。

輻輳角と視差との関係について、図１１〜図１３を用いて説明する。図１１〜図１３は、本実施形態にかかる３Ｄデジタルカメラ１０００の輻輳角と視差についての概略図である。図１１（ａ）において、左右の撮像光学系２０１Ｒ，２０１Ｌの光軸１１０１Ｒ，１１０１Ｌは、視点ＯＬ及び視点ＯＲを中心に回転するものとする。輻輳角θは、図１１（ａ）に示すように図面の水平方向をＸ軸、垂直方向をＺ軸としたときに、Ｚ軸と各撮像光学系の光軸の成す角度として定義する。本実施形態にかかる３Ｄデジタルカメラ１０００では、システム制御部２１３は、左右の撮像光学系２０１Ｒ，２０１Ｌの光軸１１０１Ｒ，１１０１Ｌの輻輳角が対称になるように制御する。したがって、図１１（ａ）では、右の光軸１１０１Ｒと左の光軸１１０１ＬとがＺ軸と成す角は、それぞれ−θと＋θとなる。
この状態で、被写体１１００を撮影して、左右の撮像面１１０２Ｒ，１１０２Ｌを介して得られた画像を図１１（ｂ）に示す。図１１（ｂ）で右画像１１０３Ｒの被写体像１１０４Ｒは、撮像面１１０２Ｒを介して得られた被写体１１００の被写体像である。左画像１１０３Ｌの被写体像１１０４Ｌは、撮像面１１０２Ｌを介して得られた被写体１１００の被写体像である。
図１１（ｂ）の両眼視差量をｄ５とすると、図４で説明したようにｄ５＝ＸＬ１−ＸＲ１により算出される。

図１２（ａ）は、図１１に比較して被写体１１００の被写体距離が近くなったときの配置を模式的に示す図である。輻輳角は図１１（ａ）と同様にθである。図１２（ｂ）は、この状態で撮影される右画像１２０３Ｒと左画像１２０３Ｌの概略を示す図である。被写体１１００の両眼視差量をｄ６とすると、ｄ６＝ＸＬ２−ＸＲ２により算出される。
図１３（ａ）は、被写体１１００の位置は図１２（ａ）と同じで、輻輳角をθ１に変更したものである。図１３（ｂ）は、左右の撮影画像１３０３Ｒ，１３０３Ｌの概略を示す図である。被写体１１００の両眼視差量をｄ７とすると、ｄ７＝ＸＬ３−ＸＲ３により算出される。
図１３（ａ）は、輻輳角をθ（図１２（ａ）参照）からθ１に変更した状態を示す模式図である。システム制御部２１３は、輻輳角調整部１００１を介して輻輳角をθからθ１に変更する。その結果、被写体１１００の位置が近くなっても両眼視差量ｄ７＝ｄ５となり、図１１（ａ）と同じ立体感で知覚される。
図１１（ａ）を前回撮影停止時の配置、図１３（ａ）を今回の撮影開始時の配置とすると、輻輳角を制御することにより、シーン切り替わり時の立体感を同等に調整可能であることがわかる。

次に、図１４のフローチャートを用いて、第３の実施形態にかかる輻輳角の調整方法を説明する。第３の実施形態にかかる３Ｄデジタルカメラ１０００においては、システム制御部２１３は、記録停止時とその後の記録開始時に所定の両眼視差量になるように輻輳角を制御する。
Ｓ１４０１では、システム制御部２１３は、処理を開始する。
Ｓ１４０２では、システム制御部２１３は、記録モードであるか、再生モード等の記録モード以外であるかを判定する。記録モードの場合、Ｓ１４０３に移行する。
Ｓ１４０３では、システム制御部２１３は、目標両眼視差量を設定する。目標両眼視差量は、任意に設定可能である。
Ｓ１４０４では、システム制御部２１３は、測距を開始する。測距領域等は第１の実施形態と同様であるので省略する。
Ｓ１４０５では、システム制御部２１３は、映像の所定領域（顔検出領域または合焦領域）を基に両眼視差量の検出を開始する。
Ｓ１４０６では、システム制御部２１３は、検出した両眼視差量を用いて輻輳角調整部１００１を制御する。目標両眼視差量に対して検出された両眼視差量が大きい場合には、システム制御部２１３は、図１１〜図１３輻輳角θ（図１２（ａ）参照）から輻輳角θ１（図１３（ａ）参照）に輻輳角を大きくする方向に制御する。逆に目標両眼視差量に対して検出された両眼視差量が小さい場合には、システム制御部２１３は、輻輳角が小さくなる方向に制御する。
Ｓ１４０６では、システム制御部２１３は、輻輳角調整部１００１を介して逐次輻輳角を制御することにより、両眼視差量を目標両眼視差量の近傍に維持する。

Ｓ１４０７では、システム制御部２１３は、操作部１０５から記録開始が指示されたかを監視する。記録開始が指示されると、Ｓ１４０８に進む。
Ｓ１４０８では、システム制御部２１３は、システムタイマー２１６から時間を取得する。
Ｓ１４０９では、記録開始からの経過時間を算出し、算出した経過時間が所定時間を経過したかを判定する。所定時間経過した場合にはＳ１４１０に移行し、所定時間経過していない場合にはＳ１４０８に戻り、Ｓ１４０９での経過時間の監視を継続する。
Ｓ１４１０では、システム制御部２１３は、輻輳角調整部１００１を介して輻輳角が定常値になるように制御する。この際、左右の撮像光学系２０１Ｒ，２０１Ｌの移動には、予め定められた時定数を用いる。ここで予め定められた時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をｄθとしてｄθに係数ｋを乗算した時間（移動時間）ｄθ×ｋで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
Ｓ１４１１では、システム制御部２１３は、輻輳角の変更（調整）が完了したかを判断する。輻輳角を不図示のステッピングモータ等で変更するような場合には、システム制御部２１３は、移動前の輻輳角から定常値までに必要なパルス数を算出し、パルス数のカウンタが所定値に到達した場合に移動完了と判断する。また、３Ｄデジタルカメラ１０００が、輻輳角を検出する手段を有していてもよい。この場合には、システム制御部２１３は、この手段を用いて読み取って輻輳角に基づいて変更完了を判断する。

Ｓ１４１２では、システム制御部２１３は、定常撮影状態の輻輳角で撮影を行う。定常撮影状態では、輻輳角を所定の定常値に固定して撮影を行う。
Ｓ１４１３では、システム制御部２１３は、操作部１０５を介して記録停止が指示されたかを判断する。記録停止が指示されると、Ｓ１４１４に進む。
Ｓ１４１４では、システム制御部２１３は、逐次検出している両眼視差量が、Ｓ１４０３で設定した目標両眼視差量になるように輻輳角の変更を行う。尚、この変更は、所定の時定数で行うものとする。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をｄθとしてｄθに係数ｋを乗算した時間（移動時間）ｄθ×ｋで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
Ｓ１４１５では、システム制御部２１３は、輻輳角の変更が完了したかを判断する。変更が完了すると、システム制御部２１３は、被写体の移動に追従して目標両眼視差量を維持するように輻輳角を制御する状態となる。
Ｓ１４１６では、システム制御部２１３は記録を停止する。
Ｓ１４１７では、システム制御部２１３は処理を終了する。

図１５は、本実施形態にかかる３Ｄデジタルカメラ１０００の輻輳角制御の概略を示す。図１５において、縦軸は輻輳角、横軸は撮影時間を表す。各シーン撮影時に、定常撮影状態である場合には、システム制御部２１３は、輻輳角が定常値θを維持するように（定常値θに固定されるように）制御する。シーン１を撮影中に、時刻Ｔ８で記録停止操作が実行されると、システム制御部２１３は、被写体距離に応じて両眼視差量が目標両眼視差量になるように輻輳角の制御を開始する。前記のとおり、輻輳角の変更は、所定の時定数で行う。そして、輻輳角の制御が完了すると記録を停止する。よって、記録停止時には目標両眼視差量を維持した状態になる。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をｄθとしてｄθに係数ｋを乗算した時間（移動時間）ｄθ×ｋで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
記録モードで動作している場合には、システム制御部２１３は、記録停止中も目標両眼視差量を維持するように輻輳角を制御する。そして、システム制御部２１３は、操作者に指示に応じてシーン２の撮影を開始してから所定時間経過後に、定常撮影状態の輻輳角（定常値θ）となるように制御を開始する。このため、輻輳角は、所定の時定数で定常値θに到達する。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をｄθとしてｄθに係数ｋを乗算した時間（移動時間）ｄθ×ｋで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。

以上説明したように、本実施形態によれば、輻輳角を制御してシーン切り替わり時の両眼視差量を所定の値に保持する。このため、シーンつなぎ目でも立体感の連続性が保持されることになり、鑑賞者は安定した立体視を行うことができる。

本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するコンピュータ読取り可能なプログラム（ソフトウェア）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム及びプログラムを記憶した記録媒体は本発明を構成することになる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
たとえば、上述した実施形態においては、立体撮像装置として３Ｄデジタルカメラを示したが、本発明が適用できる立体撮像装置は３Ｄデジタルカメラに限定されない。要は、左右の撮像光学系を有し、立体撮影（３Ｄ撮影）ができる装置であれば、種類を問わずに適用できる。

１００：３Ｄデジタルカメラ、１０１：表示部、１０２：シャッターボタン、１０４：コネクタ、１０３：モードダイヤル、１０５：操作部、１０６：コントローラホイール、１０７：電源スイッチ、１０８：記録媒体、１０９：記録媒体スロット、１１０：蓋、２０１Ｒ，２０１Ｌ：左右の撮像光学系、２１０：画像処理部、２１１：メモリ制御部、２１２：Ｄ／Ａ変換器、２１３：システム制御部、２１４：メモリ、２２２：電源部、２２３：レンズ間隔調整部、１００１：輻輳角調整部

Claims (10)

1. 左右の撮像光学系と、
   前記左右の撮像光学系により取得した画像から両眼視差を検出する検出手段と、
   撮影停止時の前記両眼視差を保持する保持手段と、
   前記保持手段が保持する両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整する制御手段と、
   を有することを特徴とする立体撮像装置。
2. 前記制御手段は、前回の撮影停止時における両眼視差と撮影開始時の両眼視差とが同じになるように、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項１に記載の立体撮像装置。
3. 前記制御手段は、撮影停止時および撮影開始時の両眼視差が予め設定された所定範囲内となるように、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項１に記載の立体撮像装置。
4. 前記制御手段は、撮影停止時の前記両眼視差に対してその後の撮影開始時の両眼視差量が所定範囲を超えた場合のみ、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項１に記載の立体撮像装置。
5. 撮影時にシーンの切り替わりにおける遷移効果と各シーンの撮影時間の少なくとも一方を撮影条件として設定する撮影条件設定手段をさらに有し、
   前記制御手段は、前記撮影条件設定手段が設定した撮影条件に応じて、前記撮像光学系の間隔または輻輳角を調整することを特徴とする請求項１に記載の立体撮像装置。
6. 前記制御手段は、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を、前記左右の撮像光学系の間隔または輻輳角を所定の値に固定して撮影する定常撮影状態に、所定の時定数で変更することを特徴とする請求項１に記載の立体撮像装置。
7. 前記所定の時定数は、前記撮影開始時の前記左右の撮像光学系の間隔または前記輻輳角と、定常撮影状態の前記間隔または前記輻輳角との差に応じて設定される移動時間であることを特徴とする請求項６に記載の立体撮像装置。
8. 前記制御手段は、前記両眼視差を顔検出領域または合焦領域の画像を用いて検出することを特徴とする請求項１に記載の立体撮像装置。
9. 左右の撮像光学系を有する立体撮像装置の制御方法であって、
   前記左右の撮像光学系により取得した画像から両眼視差を検出する検出ステップと、
   撮影停止時の前記両眼視差を保持する保持ステップと、
   前記保持ステップにおいて保持した両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整するステップと、
   を有することを特徴とする立体撮像装置の制御方法。
10. コンピュータを、請求項１から７のいずれか１項に記載の立体撮像装置の各手段として機能させることを特徴とするコンピュータ読取り可能なプログラム。

Images