JP2014183376A - 立体撮像装置、立体撮像装置の制御方法、プログラム - Google Patents

立体撮像装置、立体撮像装置の制御方法、プログラム Download PDF

Info

Publication number
JP2014183376A
JP2014183376A JP2013055305A JP2013055305A JP2014183376A JP 2014183376 A JP2014183376 A JP 2014183376A JP 2013055305 A JP2013055305 A JP 2013055305A JP 2013055305 A JP2013055305 A JP 2013055305A JP 2014183376 A JP2014183376 A JP 2014183376A
Authority
JP
Japan
Prior art keywords
binocular parallax
shooting
control unit
convergence angle
optical systems
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013055305A
Other languages
English (en)
Inventor
Tatsushi Katayama
達嗣 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013055305A priority Critical patent/JP2014183376A/ja
Publication of JP2014183376A publication Critical patent/JP2014183376A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

【課題】3D画像において、シーンが切り替わる際に、鑑賞者が違和感なく立体視できる立体撮像装置を提供する。
【解決手段】3Dデジタルカメラ100は、左右の撮像光学系201R,201Lと、左右の撮像光学系201R,201Lにより取得した映像から両眼視差量を検出する検出手段と、撮影停止時の両眼視差量を保持するメモリ214と、メモリ214が保持する両眼視差量に基づいて、撮影開始時の左右の撮像光学系201R,201Lの間隔または輻輳角を調整する制御手段とを有する。
【選択図】図2

Description

本発明は、立体撮像装置、立体撮像装置の制御方法、プログラムに関する。特には、立体撮像装置において、撮影シーンの切り替わりの際の立体感の調整に関する。
近年、映画等が立体(以降、3Dと表記する)映像で提供されることが増えてきており、それらの3D映像に対応した家庭用のテレビの普及が始まっている。
3D映像表示は、ステレオ視の原理を利用している。具体的には、左眼用と右眼用の映像を準備し、各々の映像を水平方向に相対的にシフトさせ、相対位置の異なる左眼用の映像と右眼用の映像を表示する。画面からの飛び出し量(立体感)は、前記相対位置の差によって制御する。この相対位置の差を両眼視差とする。
ユーザーは、左眼用の映像と右眼用の映像の両眼視差を知覚し、両眼視差量に応じた立体感のある映像を見ることができる。
また、3D映像の鑑賞時に自然な立体感を実現するための立体撮像装置として、輻輳制御を自動化して撮影者の負担を軽減し、自然な立体映像を撮影する装置が提案されている(特許文献1参照)。
特開2001−016619号公報
上記特許文献1に記載の構成は、撮影者が鑑賞時の画面サイズと視認距離を入力すると、撮像装置の撮像パラメータから最適な輻輳位置を算出して制御するものである。撮影者が鑑賞時の条件を設定することにより、装置は自然な立体感が得られるように自動で輻輳を制御するので、自然な立体映像を簡便に撮影することができる。
ところで、動画の3D映像を鑑賞する際にシーン間の切り替わり時で立体感が不連続になることにより、鑑賞者が違和感を持つことがある。具体的には、たとえば、図16に示すように、3D映像が画面から少し飛び出した位置に知覚されるシーンから、大きく飛び出した位置に知覚されるシーンに切り替わると、飛び出し量が大きく変動する。この変動は、鑑賞者が立体感を視認する際の妨げとなる。
上記特許文献1に記載の構成では、動画の3D映像を鑑賞する際にシーン間の切り替わり時で立体感が不連続になることによる違和感について対応出来ていない。
本発明は上記の問題点に鑑み、3D映像のシーンが切り替わる際に違和感なく立体視できる立体撮像装置、立体撮像装置の制御方法、プログラムを提供することを目的とする。
本発明は、左右の撮像光学系と、前記左右の撮像光学系により取得した画像から両眼視差を検出する検出手段と、撮影停止時の前記両眼視差を保持する保持手段と、
前記保持手段が保持する両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整する制御手段と、を有することを特徴とする。
本発明によれば、立体映像のシーン間の切り替わり時で立体感が大きく変動することによる違和感を低減できる。
本発明の第1の実施形態にかかる3Dデジタルカメラの外観概略図である。 本発明の第1の実施形態にかかる3Dデジタルカメラのブロック図である。 3Dデジタルカメラの両眼視差量を説明する図である。 3Dデジタルカメラの両眼視差量を説明する図である。 3Dデジタルカメラの両眼視差量を説明する図である。 本発明の第1の実施形態にかかる3Dデジタルカメラの両眼視差量の検出を説明する図である。 本発明の第1の実施形態にかかる処理のフローチャートである。 本発明の第1の実施形態にかかる3Dデジタルカメラの動作を説明する図である。 本発明の第2の実施形態にかかる3Dデジタルカメラの動作を説明する図である。 本発明の第3の実施形態にかかる3Dデジタルカメラのブロック図である。 3Dデジタルカメラの両眼視差量を説明する図である。 3Dデジタルカメラの両眼視差量を説明する図である。 3Dデジタルカメラの両眼視差量を説明する図である。 本発明の第3実施形態にかかる処理のフローチャートである。 本発明の第3実施形態にかかる3Dデジタルカメラの動作を説明する図である。 従来の問題を説明する図である。
以下、図面を参照しながら、本発明の好適な実施の形態を説明する。なお、本発明の実施形態の説明においては、立体撮像装置として3Dデジタルカメラを示す。
(第1の実施形態)
図1は、本発明の第1の実施形態にかかる立体撮像装置の一例としての3Dデジタルカメラ100の外観模式図である。
表示部101は、画像や各種情報を表示する。表示部101は、液晶表示パネルなどが適用される。
操作部105は、操作者からの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材を含む。コントローラホイール106は、操作部105に含まれる回転操作可能な操作部材である。電源スイッチ107は、操作者が3Dデジタルカメラ100の電源オン/電源オフの切り替え操作に用いる操作部材である。シャッターボタン102は、操作者が3Dデジタルカメラ100に撮影指示を入力するための操作部材である。モード切替スイッチ103は、3Dデジタルカメラ100の動作モードなど、各種モードを切り替えるための操作部材である。
コネクタ104には、外部機器(たとえばPCなど)と信号などを送受信可能するための接続ケーブル111を接続できる。
記録媒体スロット109は、記録媒体108を着脱自在に格納できるスロットである。記録媒体108は、メモリカードやハードディスク等の記録媒体が適用される。3Dデジタルカメラ100は、記録媒体スロット109に格納された記録媒体108との通信が可能である。
蓋110は、記録媒体スロット109を開閉自在に覆う。
図2は、本実施形態にかかる3Dデジタルカメラ100の構成例を示す機能ブロック図である。
図2に示すように、3Dデジタルカメラ100は、右側の撮像光学系201Rと、左側の撮像光学系201Lとを含む。右側の撮像光学系201Rと左側の撮像光学系201Lは、それぞれ、バリア203R,203Lと、撮像レンズ204R,204Lと、シャッター205R,205Lと、撮像部206R,206Lと、A/D変換器207R,207Lとを含む。
撮像レンズ204R,204Lは、ズーム及びフォーカスレンズを含む。シャッター205R,205Lは絞り機能を備える。撮像部206R,206Lは、撮像レンズ204R,204Lとシャッター205R,205Lを通じて入射した被写体の光学像を、アナログ電気信号に変換する。撮像部206R,206Lは、たとえばCCDやCMOS素子等で構成される。A/D変換器207R,207Lは、アナログ電気信号をデジタル信号に変換する。特に、A/D変換器207R,207Lは、撮像部206R,206Lが出力する映像データであるアナログ電気信号をデジタル電気信号に変換するために用いられる。バリア203R,203Lは、3Dデジタルカメラ100の撮像レンズ204R,204Lを含む左右の撮像光学系201R,201Lを覆う。これにより、撮像レンズ204R,204L、シャッター205R,205L、撮像部206R,206Lを含む左右の撮像光学系201R,201Lの汚れや破損が防止される。
画像処理部210は、A/D変換器207R,207Lからの映像データ、またはメモリ制御部211からの映像データに対し、所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部210は、撮像した映像データを用いて所定の演算処理を実行する。そして、システム制御部213は、得られた演算結果に基づいて露光制御や測距制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理や、AE(自動露出)処理や、EF(フラッシュプリ発光)処理が行われる。画像処理部210は、更に、撮像した映像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行なう。
A/D変換器207R,207Lからの映像データは、画像処理部210及びメモリ制御部211を介して、メモリ214に直接書き込まれる。メモリ214は、撮像部206R,206Lによって得られA/D変換器207R,207Lによりデジタル信号に変換された映像データや、表示部101に表示するための映像データを格納する。メモリ214は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ214は、映像表示用のメモリ(ビデオメモリ)を兼ねている。
D/A変換器212は、メモリ214に格納されている画像表示用の映像データをアナログ信号に変換して表示部101に送信する。こうして、メモリ214に書き込まれた表示用の映像データは、D/A変換器212を介して表示部101により表示される。表示部101は、D/A変換器212からのアナログ信号に応じた表示を行う。A/D変換器207R,207Lによってデジタル信号に変換された映像データは、画像処理部210で所定の処理を施した後にメモリ214に蓄積される。メモリ214に蓄積された映像データをD/A変換器212においてアナログ変換し、表示部101に逐次転送して表示することで、電子ビューファインダ(スルー画像表示)として機能する。なお、表示部101として、3D表示に対応した表示手段を用いることも可能である。この際には、画像処理部210は立体表示に対応した表示用データを生成してメモリ214に書き込む。表示用データはD/A変換器212を介して表示部101に入力される。表示部101は入力された表示用の映像データを表示する。
不揮発性メモリ215は、電気的に消去・記録可能なメモリであり、例えばEEPROM等が用いられる。不揮発性メモリ215には、システム制御部213の動作用の定数やプログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部213は、3Dデジタルカメラ100の全体を制御する。前述した不揮発性メモリ215に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。システムメモリ217は、RAMが用いられる。システム制御部213は、システムメモリ217に、動作用の定数、変数、不揮発性メモリ215から読み出したプログラム等を展開する。また、システム制御部213は、メモリ214、D/A変換器212、表示部101等を制御することにより表示制御も行う。
システムタイマー216は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ103、第1シャッタースイッチ219、第2シャッタースイッチ220は、操作部105に含まれる操作部材であり、操作者がシステム制御部213に各種の動作指示を入力するために用いられる。
モード切替スイッチ103は、操作者による操作に応じて、システム制御部213の動作モードを、静止画記録モード、動画記録モード、再生モード等のいずれかに切り替える。
第1シャッタースイッチ219は、3Dデジタルカメラ100に設けられたシャッターボタン102の操作途中、いわゆる半押し(撮影準備指示)でONとなり第1シャッタースイッチ信号SW1を発生させる。システム制御部213は、第1シャッタースイッチ信号SW1をトリガーとして、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作を開始する。
第2シャッタースイッチ220は、シャッターボタン102の操作完了、いわゆる全押し(撮影指示)でONとなり、第2シャッタースイッチ信号SW2を発生させる。システム制御部213は、第2シャッタースイッチ信号SW2をトリガーとして、撮像部206R,206Lからの信号読み出しから記録媒体108に画像データを書き込むまでの一連の撮影処理の動作を開始する。
操作者が表示部101に表示される種々の機能アイコンを選択操作すると、システム制御部213は、操作部105の各操作部材に対して、場面ごとに適宜機能を割り当てる。これにより、操作部105の各操作部材は、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると、システム制御部213は各種の設定可能なメニュー画面を表示部101に表示する。操作者は、表示部101に表示されたメニュー画面と、4方向ボタンやSETボタンとを用いて直感的に各種設定を行うことができる。
コントローラホイール106は、操作部105に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。操作者がコントローラホイール106を回転操作すると、コントローラホイール106は操作量に応じて電気的なパルス信号を発生させる。システム制御部213は、このパルス信号に基づいて3Dデジタルカメラ100の各部を制御する。また、システム制御部213は、このパルス信号によって、コントローラホイール106が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール106は、回転操作が検出できる操作部材であればどのようなものでもよい。例えば、操作者の回転操作に応じてコントローラホイール106自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール106自体は回転せず、コントローラホイール106上での操作者の指の回転動作などを検出するものであってもよい(いわゆる、タッチホイール)。
電源制御部218は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成される。そして、電源制御部218は、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部218は、その検出結果及びシステム制御部213の指示に基づいてDC−DCコンバータを制御し、必要な電力を必要な期間、記録媒体108を含む各部へ供給する。
電源部222は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Li電池等の二次電池、ACアダプター等からなる。
インターフェース(I/F)221は、メモリカードやハードディスク等の記録媒体108と通信を行う。
記録媒体108は、メモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
本実施形態にかかる3Dデジタルカメラ100は、中央1点AFや顔AFを用いた撮影が可能である。中央1点AFとは撮影画面内の中央位置1点に対してAFを行う方式である。顔AFとは顔検出機能によって検出された撮影画面内の顔に対してAFを行う方式である。
ここで、顔検出機能について説明する。システム制御部213は、顔検出対象の映像データを画像処理部210に送信する。画像処理部210は、システム制御部213の制御下で、当該映像データに水平方向バンドパスフィルタと垂直方向バンドパスフィルタを作用させる。映像データにこれら水平方向及び垂直方向のバンドパスフィルタを作用させることにより、システム制御部213は、映像データのエッジ成分を検出することができる。
次いで、システム制御部213は、検出したエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。次いで、システム制御部213は、抽出した目の候補群の中から、予め設定された条件(例えば2つの目の距離、傾き等)を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。次いで、システム制御部213は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ(鼻、口、耳)を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部213は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をメモリ214に記憶する。
以上のように、システム制御部213は、撮像光学系201R,201Lを介して得られた画像データや再生表示される映像データを画像解析して、映像データの特徴量を抽出して被写体情報を検出できる。本実施形態では、被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。
なお、システム制御部213は、顔AFと同時に顔AE,顔FE、顔WBを行うことができる。顔AEとは検出された顔の明るさに合わせて、画面全体の露出を最適化する処理である。顔FEとは検出された顔を中心にフラッシュの調光をする処理である。顔WBとは、検出された顔の色に合わせて画面全体のWBを最適化する処理である。
次に、3Dデジタルカメラ100による立体感の調整方法について説明する。
図3は、3Dデジタルカメラ100による立体撮影と両眼視差を説明する模式図である。図3(a)は、左右の撮像光学系201R,201Lの光軸301R,301Lの間隔(以下、レンズ間隔と記す)がLの場合における被写体300と左右の撮像光学系201R,201Lの関係を示す模式図である。本実施形態にかかる3Dデジタルカメラ100においては、システム制御部213は、レンズ間隔Lを制御することにより両眼視差量を調整する。すなわち、3Dデジタルカメラ100は、左右の撮像光学系201R,201Lの光軸301R,301Lを傾けないで撮影を行う。
被写体300は、撮像レンズ204R,204Lを介して撮像面302R,302Lに結像する。これにより、図3(b)に示すように、右画像303Rと左画像303Lが生成される。被写体300の被写体像304R,304Lが右画像303Rと左画像303Lに含まれている。鑑賞者は、この右画像303Rと左画像303Lを左右の眼で独立に観察する。そうすると、鑑賞者には、被写体像304R,304Lは画面に対して前後に飛び出したように立体的に知覚される。
ここで知覚される立体感は、左右の被写体像304R,304Lの両眼視差に起因する。両眼視差量は各画像の左上隅を基準にした被写体像304R,304Lの中心までの水平距離XL1,XR1の差d1=XL1−XR1とする。立体視の際には、両眼視差量が大きい程、画面に対して前後に飛び出す量が大きく知覚される。
図4(a)は、レンズ間隔Lが図3(a)と同じで、被写体300までの距離が近くなった場合の配置である。図4(b)は、取得した撮影画像および被写体像を模式的に示す。図4(a)のように被写体距離が近くなると、両眼視差量d2(=XL2−XR2)は、前記の両眼視差量d1に対して大きくなる。従って立体視した際の飛び出し量は、図3(a)に比べて大きくなる。
本実施形態にかかる3Dデジタルカメラ100では、立体視している場合のシーンの切り替わりの際に立体感が大きく変動することを抑制するために、被写体距離に応じてレンズ間隔を調整する。これにより直前のシーンの最終フレームの立体感(視差)と、これから撮影するシーンの先頭の立体感を同等にすることができる。
図5(a)は、図3(a)と同等の両眼視差量になるように調整したときの配置である。被写体300までの距離は、図4(a)と同様である。本実施形態にかかる3Dデジタルカメラ100では、システム制御部213は、直前のシーン、例えば図3(a)の両眼視差量d1を保持する。そして、システム制御部213は、次のシーンを撮影する際に図5(b)の両眼視差量d3(=XL3−XR3)がd1と同じ値になるように、被写体距離に応じてレンズ間隔L1を制御する。図5(a)ではレンズ間隔L1を、図3(a)のレンズ間隔Lより狭くすることにより両眼視差量d3が両眼視差量d1と同等になっている。
ここで、両眼視差量の算出について図6を用いて説明する。図6(a)は、前述の顔検出機能により検出された顔検出領域600R,600Lを図示したものである。システム制御部213は、右画像602Rの顔検出領域600Rの画像を基準として、左画像602Lとの間で相関演算を行う。そして、システム制御部213は、最も相関値の高い領域を顔検出領域600Rに対応する顔領域として、顔検出領域600Lを表示する。そして、システム制御部213は、画像の左上隅を基準に顔検出領域600Rと顔検出領域600Lとの水平方向の位置の差を算出し、算出した差を両眼視差量とする。
また図6(b)に示すように、システム制御部213は、右画像602Rの合焦領域601Rとこれに対応する左画像603Lの合焦領域601Lとの水平方向の位置の差から両眼視差量を算出することもできる。左右の合焦領域601R,601Lの対応関係は、前記顔検出領域600R,600Lの場合と同様に相関演算またはパターンマッチング等の公知の技術を用いて判定すれば良い。合焦領域601R,601Lは、システム制御部213がAFに用いる領域である。
次に、図7のフローチャート及び図8を用いて、本実施形態にかかる3Dデジタルカメラ100の動作について説明する。図7に示すフローチャートを実行するためのコンピュータプログラムは、不揮発性メモリ215に格納されている。システム制御部213がこのコンピュータプログラムを読み出して実行することにより、図7に示す処理が実現する。
S701では、システム制御部213は、操作者による電源スイッチ107への電源オン操作を検出すると、この処理を開始する。
S702では、システム制御部213は、モード切替スイッチ103への操作を監視し、記録モードに移行する操作が行われたか否かを判断する。記録モードに移行する操作が行われた場合には、操作が行われるまで待機する。記録モードに移行する操作が行われた場合には、システム制御部213は、動作モードを記録モードに遷移させ、S703に進む。
S703では、システム制御部213は、前回撮影停止時の視差情報の有無を判断する。前回撮影停止時の視差情報(両眼視差量)は、システム制御部213が管理しており、不揮発性メモリ215に保持されている。
視差情報が保持されている場合にはS704に進む。S704では、システム制御部213は、保持している視差情報(両眼視差量)を目標両眼視差量として設定する。
S703で視差情報が保持されていないと判断した場合には、目標両眼視差量を設定しないでS705に移行する。
S705では、システム制御部213は、測距を開始する。システム制御部213は、前述の中央1点AFや顔AFに応じて測距領域を設定し、領域内の被写体までの距離を算出する。
S706では、システム制御部213は、両眼視差量検出を行う。図6で示したように、システム制御部213が、顔領域または合焦領域の画像を用いて両眼視差量を算出する。
S707では、システム制御部213は、両眼視差情報に基づいてレンズ間隔を制御する。
ここで、レンズ間隔の制御について、図3〜図5を例に説明する。S704で設定された目標両眼視差量を図3(b)のd1とし、S706で検出された両眼視差量が図5(b)のd2と仮定する。ここで、システム制御部213は、Δd=d2−d1を算出して、Δdをレンズ間隔の水平移動量に変換して、図2のレンズ間隔調整部223を制御してレンズ間隔を図5(a)のL1に変更(調整)する。上記両眼視差量検出とそれに基づいたレンズ間隔の制御は、逐次動作する。
S708では、システム制御部213は、記録開始の指示(シャッターボタン102への操作)があったかを監視する。尚、システム制御部213は、記録開始の監視中も前記レンズ間隔の制御を継続している。このため、被写体が動いていても両眼視差量は目標両眼視差量近傍に追従している。記録開始の指示があった場合にはS709に進む。
S709では、システム制御部213は、システムタイマー216から、記録開始からの経過時間tを取得する。
S710では、システム制御部213は、経過時間tが予め設定した所定の時間を経過したかを判定する。経過していない場合は、S709に移行して経過時間tの取得を行う。S710で所定時間経過したことを検出すると、S711に移行する。
S711では、システム制御部213は、予め設定されている所定のレンズ間隔Lになるように、左右の撮像光学系201R,201Lの移動を開始する。具体的には、システム制御部213は、レンズ間隔調整部223に制御信号を出力して、所定の時定数でレンズ間隔がLになるまで制御を行う。尚、時定数はS711で移動を開始する時点のレンズ間隔と所定のレンズ間隔Lの差に応じて適応的に設定することができる。ここで所定の時定数は、移動を開始する時点のレンズ間隔と所定のレンズ間隔Lの差をLDとして、LDに係数kを乗算した時間(移動時間)LD×kで移動を完了するように設定する。尚、モードを設定することにより、常に固定の時間TDで移動を完了するようにしても良い。
S712では、システム制御部213は、レンズ間隔が所定の値Lに到達したかを判定する。レンズ間隔が所定値に到達したら、システム制御部213はレンズ間隔調整部223への制御を停止して、S713に移行する。
S713では、システム制御部213は、通常の定常撮影状態に移行する。定常撮影状態では、レンズ間隔Lを固定して撮影を行う。このため被写体距離に応じて両眼視差量が変動する。
S714では、システム制御部213は、記録停止の指示(シャッターボタン102への記録停止の操作)があったか否かを判定する。S714で記録停止が指示されると、S715に進む。
S715では、システム制御部213は記録を停止すると共に、停止時点の視差情報(両眼視差量)をメモリ214または不揮発性メモリ215に保持する。
S716では、システム制御部213は、記録動作を終了する。
尚、本実施形態においては、S711で所定時間経過後にレンズ間隔を制御して、定常撮影状態のレンズ間隔Lに移動させているが、この構成に限定されない。たとえば、システム制御部213は、定常撮影状態のレンズ間隔に移動しないで撮影開始時のレンズ間隔に固定したまま撮影を継続するように制御してもよい。
ここで、図8を用いて、本実施形態にかかる3Dデジタルカメラ100のレンズ間隔制御と両眼視差量の関係を説明する。図8(a)は、撮影時のレンズ間隔を模式的に示した図である。縦軸はレンズ間隔(図3参照)を表し、横軸は時間を表す。シーン1撮影時間は撮影後半部を示しており、レンズ間隔は定常値Lに設定されている。
システム制御部213は、操作者の指示によって時刻T1で記録停止すると、視差情報(記録停止時の両眼視差量)を保持する(図5のS715)。記録モードの際には、システム制御部213は、記録停止期間中も前記保持されている視差情報を目標両眼視差量として、被写体距離に応じてレンズ間隔が逐次制御する。
システム制御部213は、操作者の指示によって時刻T2でシーン2撮影を開始する。そして、システム制御部213は、撮影開始から所定時間の経過後の時刻T3より、所定の時定数で定常撮影状態のレンズ間隔Lに移動させる。ここで所定の時定数は、移動を開始する時点のレンズ間隔と定常撮影状態のレンズ間隔Lの差をLDとして、LDに係数kを乗算した時間(移動時間)LD×kで移動を完了するように設定する。尚、モードを設定することにより、常に固定の時間TDで移動を完了するようにしても良い。
図8(b)は、図8(a)と同じ時間軸のときの視差の状態を表すものである。時刻T1から時刻T3では、被写体が移動しても両眼視差量は目標両眼視差量の近傍に保持された状態になる。
以上、第1の実施形態にかかる3Dデジタルカメラ100によれば、前回の撮影停止時の両眼視差量をもとに、その後の撮影開始時のレンズ間隔を制御する。これにより、再生時のシーン切り替わり付近の立体感が大きく変動するのを抑制することができる。
(第2の実施形態)
次に、本発明の第2の実施形態にかかる3Dデジタルカメラ100について以下で説明する。なお、第1の実施形態と共通の構成については、説明を省略する。
第2の実施形態においては、3Dデジタルカメラ100は、前回の撮影停止時の両眼視差量を基準として、撮影開始時の両眼視差量と前回の撮影停止時の両眼視差量の差分が所定の範囲を超えたときのみレンズ間隔の調整を実行する。
図9を用いて、第2の実施形態にかかる3Dデジタルカメラ100の動作を説明する。
図9(a)は、撮影時のレンズ間隔の状態を示したもので、縦軸はレンズ間隔、横軸は時間を表す。図9(b)は、撮影時の視差の状態を示したもので、縦軸は両眼視差量、横軸は時間を表す。
本実施形態にかかる3Dデジタルカメラ100では、図9(b)に示すように、前回のシーン1の撮影停止時の両眼視差量dtを基準として、両眼視差量の所定範囲としてレンジRを設定する。システム制御部213は、記録モードのときには前述のように両眼視差量の算出を実行しており、算出した両眼視差量が前記レンジR(所定範囲)を超えたときにのみレンズ間隔の制御を行う。レンジRは、立体感が大きく変動しないように適宜設定されるものであり、特に限定されるものではない。
図9(b)では、時刻T4から時刻T5及び時刻T6から時刻T7の期間で両眼視差量がレンジRを超えている。
システム制御部213は、両眼視差量がレンジRを超えているかを検出して、レンジRを越えている期間、レンズ間隔調整部223を介して、図9(a)に示すようにレンズ間隔を制御(調整)する。これにより、撮影開始時の両眼視差量は前回撮影停止時の両眼視差量dtに対してレンジRの範囲内(所定範囲内)に収めることができる。したがって、再生時のシーンの切り替わり時において立体感の変動を抑制することができる。
また、撮影の際にシーンの切り替わりで画面遷移時のエフェクト(遷移効果)を設定する機能が搭載されている場合、システム制御部213は、遷移効果が設定されたときのみレンズ間隔の調整を行なってもよい。遷移効果としてフェードイン、フェードアウト、ワイプ等の公知のものを用いることができる。これにより、フェードインしながら次にシーンが表示される際に、両眼視差量が大きく変動して遷移効果による演出効果が低下するのを防ぐことができる。
また、撮影時に各シーンの撮影時間を所定時間に制限して撮影する動作モードが搭載されている撮像装置がある。撮像装置は、例えば前記所定時間が4秒間に設定されている状態で撮影すると、各シーンの撮影を4秒で停止する。再生時に各シーンは4秒単位で切り替わっていくので、両眼視差量が大きく変動すると立体視の際に違和感が生じる。従って、システム制御部213は、各シーンの撮影時間が所定時間以下に制限される動作モードにおいてのみ、レンズ間隔の調整を行うように制御してもよい。
さらに、3Dデジタルカメラ100が、遷移効果を設定する機能と、影時に各シーンの撮影時間を所定時間に制限して撮影する動作モードとを備える構成であってもよい。システム制御部213は、操作者による操作部105への撮影条件設定の操作に応じて、撮影条件設定を行う(撮影条件設定手段)。すなわち、システム制御部213は、操作者による撮影条件設定の操作に応じて、前記機能を使用しまたは使用せず、前記動作モードで動作し動作しない。
そして、システム制御部213は、撮影条件が遷移効果を設定する機能を使用するように設定されている場合には、遷移効果による演出効果が低下しないようにレンズ間隔を調整する。また、システム制御部213は、前記動作モードで動作している場合には、レンズ間隔を調整する制御を行う。
このように、システム制御部213は、遷移効果を使用する場合、または撮影時間を制限する動作モードで動作している場合の少なくとも一方である場合には、レンズ間隔を調整する制御を行う。
(第3の実施形態)
本発明の第3の実施形態にかかる3Dデジタルカメラ1000について以下で説明する。
図10は、本発明の第3の実施形態にかかる3Dデジタルカメラ1000のブロック図である。なお、第1の実施形態と共通の構成には同じ符号を付し、説明は省略する。第3の実施形態にかかる3Dデジタルカメラ1000は、第1の実施形態のレンズ間隔調整部223に代えて、輻輳角調整部1001を有する構成に特徴を有する。輻輳角調整部1001は、システム制御部213の制御にしたがって、左右の撮像光学系201R,201Lの輻輳角を変更する。その他は、第1の実施形態と共通の構成が適用できる(図2参照)。
輻輳角と視差との関係について、図11〜図13を用いて説明する。図11〜図13は、本実施形態にかかる3Dデジタルカメラ1000の輻輳角と視差についての概略図である。図11(a)において、左右の撮像光学系201R,201Lの光軸1101R,1101Lは、視点OL及び視点ORを中心に回転するものとする。輻輳角θは、図11(a)に示すように図面の水平方向をX軸、垂直方向をZ軸としたときに、Z軸と各撮像光学系の光軸の成す角度として定義する。本実施形態にかかる3Dデジタルカメラ1000では、システム制御部213は、左右の撮像光学系201R,201Lの光軸1101R,1101Lの輻輳角が対称になるように制御する。したがって、図11(a)では、右の光軸1101Rと左の光軸1101LとがZ軸と成す角は、それぞれ−θと+θとなる。
この状態で、被写体1100を撮影して、左右の撮像面1102R,1102Lを介して得られた画像を図11(b)に示す。図11(b)で右画像1103Rの被写体像1104Rは、撮像面1102Rを介して得られた被写体1100の被写体像である。左画像1103Lの被写体像1104Lは、撮像面1102Lを介して得られた被写体1100の被写体像である。
図11(b)の両眼視差量をd5とすると、図4で説明したようにd5=XL1−XR1により算出される。
図12(a)は、図11に比較して被写体1100の被写体距離が近くなったときの配置を模式的に示す図である。輻輳角は図11(a)と同様にθである。図12(b)は、この状態で撮影される右画像1203Rと左画像1203Lの概略を示す図である。被写体1100の両眼視差量をd6とすると、d6=XL2−XR2により算出される。
図13(a)は、被写体1100の位置は図12(a)と同じで、輻輳角をθ1に変更したものである。図13(b)は、左右の撮影画像1303R,1303Lの概略を示す図である。被写体1100の両眼視差量をd7とすると、d7=XL3−XR3により算出される。
図13(a)は、輻輳角をθ(図12(a)参照)からθ1に変更した状態を示す模式図である。システム制御部213は、輻輳角調整部1001を介して輻輳角をθからθ1に変更する。その結果、被写体1100の位置が近くなっても両眼視差量d7=d5となり、図11(a)と同じ立体感で知覚される。
図11(a)を前回撮影停止時の配置、図13(a)を今回の撮影開始時の配置とすると、輻輳角を制御することにより、シーン切り替わり時の立体感を同等に調整可能であることがわかる。
次に、図14のフローチャートを用いて、第3の実施形態にかかる輻輳角の調整方法を説明する。第3の実施形態にかかる3Dデジタルカメラ1000においては、システム制御部213は、記録停止時とその後の記録開始時に所定の両眼視差量になるように輻輳角を制御する。
S1401では、システム制御部213は、処理を開始する。
S1402では、システム制御部213は、記録モードであるか、再生モード等の記録モード以外であるかを判定する。記録モードの場合、S1403に移行する。
S1403では、システム制御部213は、目標両眼視差量を設定する。目標両眼視差量は、任意に設定可能である。
S1404では、システム制御部213は、測距を開始する。測距領域等は第1の実施形態と同様であるので省略する。
S1405では、システム制御部213は、映像の所定領域(顔検出領域または合焦領域)を基に両眼視差量の検出を開始する。
S1406では、システム制御部213は、検出した両眼視差量を用いて輻輳角調整部1001を制御する。目標両眼視差量に対して検出された両眼視差量が大きい場合には、システム制御部213は、図11〜図13輻輳角θ(図12(a)参照)から輻輳角θ1(図13(a)参照)に輻輳角を大きくする方向に制御する。逆に目標両眼視差量に対して検出された両眼視差量が小さい場合には、システム制御部213は、輻輳角が小さくなる方向に制御する。
S1406では、システム制御部213は、輻輳角調整部1001を介して逐次輻輳角を制御することにより、両眼視差量を目標両眼視差量の近傍に維持する。
S1407では、システム制御部213は、操作部105から記録開始が指示されたかを監視する。記録開始が指示されると、S1408に進む。
S1408では、システム制御部213は、システムタイマー216から時間を取得する。
S1409では、記録開始からの経過時間を算出し、算出した経過時間が所定時間を経過したかを判定する。所定時間経過した場合にはS1410に移行し、所定時間経過していない場合にはS1408に戻り、S1409での経過時間の監視を継続する。
S1410では、システム制御部213は、輻輳角調整部1001を介して輻輳角が定常値になるように制御する。この際、左右の撮像光学系201R,201Lの移動には、予め定められた時定数を用いる。ここで予め定められた時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をdθとしてdθに係数kを乗算した時間(移動時間)dθ×kで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
S1411では、システム制御部213は、輻輳角の変更(調整)が完了したかを判断する。輻輳角を不図示のステッピングモータ等で変更するような場合には、システム制御部213は、移動前の輻輳角から定常値までに必要なパルス数を算出し、パルス数のカウンタが所定値に到達した場合に移動完了と判断する。また、3Dデジタルカメラ1000が、輻輳角を検出する手段を有していてもよい。この場合には、システム制御部213は、この手段を用いて読み取って輻輳角に基づいて変更完了を判断する。
S1412では、システム制御部213は、定常撮影状態の輻輳角で撮影を行う。定常撮影状態では、輻輳角を所定の定常値に固定して撮影を行う。
S1413では、システム制御部213は、操作部105を介して記録停止が指示されたかを判断する。記録停止が指示されると、S1414に進む。
S1414では、システム制御部213は、逐次検出している両眼視差量が、S1403で設定した目標両眼視差量になるように輻輳角の変更を行う。尚、この変更は、所定の時定数で行うものとする。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をdθとしてdθに係数kを乗算した時間(移動時間)dθ×kで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
S1415では、システム制御部213は、輻輳角の変更が完了したかを判断する。変更が完了すると、システム制御部213は、被写体の移動に追従して目標両眼視差量を維持するように輻輳角を制御する状態となる。
S1416では、システム制御部213は記録を停止する。
S1417では、システム制御部213は処理を終了する。
図15は、本実施形態にかかる3Dデジタルカメラ1000の輻輳角制御の概略を示す。図15において、縦軸は輻輳角、横軸は撮影時間を表す。各シーン撮影時に、定常撮影状態である場合には、システム制御部213は、輻輳角が定常値θを維持するように(定常値θに固定されるように)制御する。シーン1を撮影中に、時刻T8で記録停止操作が実行されると、システム制御部213は、被写体距離に応じて両眼視差量が目標両眼視差量になるように輻輳角の制御を開始する。前記のとおり、輻輳角の変更は、所定の時定数で行う。そして、輻輳角の制御が完了すると記録を停止する。よって、記録停止時には目標両眼視差量を維持した状態になる。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をdθとしてdθに係数kを乗算した時間(移動時間)dθ×kで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
記録モードで動作している場合には、システム制御部213は、記録停止中も目標両眼視差量を維持するように輻輳角を制御する。そして、システム制御部213は、操作者に指示に応じてシーン2の撮影を開始してから所定時間経過後に、定常撮影状態の輻輳角(定常値θ)となるように制御を開始する。このため、輻輳角は、所定の時定数で定常値θに到達する。ここで所定の時定数は、移動を開始する時点の輻輳角と定常値の輻輳角との差をdθとしてdθに係数kを乗算した時間(移動時間)dθ×kで移動を完了するように設定される。尚、モードを設定することにより、常に固定の時間で移動を完了するようにしても良い。
以上説明したように、本実施形態によれば、輻輳角を制御してシーン切り替わり時の両眼視差量を所定の値に保持する。このため、シーンつなぎ目でも立体感の連続性が保持されることになり、鑑賞者は安定した立体視を行うことができる。
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するコンピュータ読取り可能なプログラム(ソフトウェア)を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム及びプログラムを記憶した記録媒体は本発明を構成することになる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
たとえば、上述した実施形態においては、立体撮像装置として3Dデジタルカメラを示したが、本発明が適用できる立体撮像装置は3Dデジタルカメラに限定されない。要は、左右の撮像光学系を有し、立体撮影(3D撮影)ができる装置であれば、種類を問わずに適用できる。
100:3Dデジタルカメラ、101:表示部、102:シャッターボタン、104:コネクタ、103:モードダイヤル、105:操作部、106:コントローラホイール、107:電源スイッチ、108:記録媒体、109:記録媒体スロット、110:蓋、201R,201L:左右の撮像光学系、210:画像処理部、211:メモリ制御部、212:D/A変換器、213:システム制御部、214:メモリ、222:電源部、223:レンズ間隔調整部、1001:輻輳角調整部

Claims (10)

  1. 左右の撮像光学系と、
    前記左右の撮像光学系により取得した画像から両眼視差を検出する検出手段と、
    撮影停止時の前記両眼視差を保持する保持手段と、
    前記保持手段が保持する両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整する制御手段と、
    を有することを特徴とする立体撮像装置。
  2. 前記制御手段は、前回の撮影停止時における両眼視差と撮影開始時の両眼視差とが同じになるように、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項1に記載の立体撮像装置。
  3. 前記制御手段は、撮影停止時および撮影開始時の両眼視差が予め設定された所定範囲内となるように、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項1に記載の立体撮像装置。
  4. 前記制御手段は、撮影停止時の前記両眼視差に対してその後の撮影開始時の両眼視差量が所定範囲を超えた場合のみ、前記左右の撮像光学系の間隔または輻輳角を調整することを特徴とする請求項1に記載の立体撮像装置。
  5. 撮影時にシーンの切り替わりにおける遷移効果と各シーンの撮影時間の少なくとも一方を撮影条件として設定する撮影条件設定手段をさらに有し、
    前記制御手段は、前記撮影条件設定手段が設定した撮影条件に応じて、前記撮像光学系の間隔または輻輳角を調整することを特徴とする請求項1に記載の立体撮像装置。
  6. 前記制御手段は、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を、前記左右の撮像光学系の間隔または輻輳角を所定の値に固定して撮影する定常撮影状態に、所定の時定数で変更することを特徴とする請求項1に記載の立体撮像装置。
  7. 前記所定の時定数は、前記撮影開始時の前記左右の撮像光学系の間隔または前記輻輳角と、定常撮影状態の前記間隔または前記輻輳角との差に応じて設定される移動時間であることを特徴とする請求項6に記載の立体撮像装置。
  8. 前記制御手段は、前記両眼視差を顔検出領域または合焦領域の画像を用いて検出することを特徴とする請求項1に記載の立体撮像装置。
  9. 左右の撮像光学系を有する立体撮像装置の制御方法であって、
    前記左右の撮像光学系により取得した画像から両眼視差を検出する検出ステップと、
    撮影停止時の前記両眼視差を保持する保持ステップと、
    前記保持ステップにおいて保持した両眼視差に基づいて、撮影開始時の前記左右の撮像光学系の間隔または輻輳角を調整するステップと、
    を有することを特徴とする立体撮像装置の制御方法。
  10. コンピュータを、請求項1から7のいずれか1項に記載の立体撮像装置の各手段として機能させることを特徴とするコンピュータ読取り可能なプログラム。
JP2013055305A 2013-03-18 2013-03-18 立体撮像装置、立体撮像装置の制御方法、プログラム Pending JP2014183376A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013055305A JP2014183376A (ja) 2013-03-18 2013-03-18 立体撮像装置、立体撮像装置の制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013055305A JP2014183376A (ja) 2013-03-18 2013-03-18 立体撮像装置、立体撮像装置の制御方法、プログラム

Publications (1)

Publication Number Publication Date
JP2014183376A true JP2014183376A (ja) 2014-09-29

Family

ID=51701726

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013055305A Pending JP2014183376A (ja) 2013-03-18 2013-03-18 立体撮像装置、立体撮像装置の制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP2014183376A (ja)

Similar Documents

Publication Publication Date Title
US8599245B2 (en) Image processing apparatus, camera, and image processing method
CN102959969B (zh) 单眼立体摄像装置
US20120154547A1 (en) Imaging device, control method thereof, and program
US9807296B2 (en) Image capturing apparatus and auto focus control method therefor
US9819857B2 (en) Electronic apparatus, control method for the same, and image capturing apparatus
CN102135722B (zh) 摄像机结构、摄像机系统和方法
JP5550791B2 (ja) 画像処理装置、撮像装置及び視差量調整方法
GB2523456A (en) Electronic apparatus and control method thereof
US20130107014A1 (en) Image processing device, method, and recording medium thereof
US10388035B2 (en) Image processing apparatus, image processing method, and storage medium
JPWO2011162209A1 (ja) 画像出力装置、方法およびプログラム
CN103782234A (zh) 立体图像捕捉设备和方法
JP5580486B2 (ja) 画像出力装置、方法およびプログラム
US8947426B2 (en) Display control apparatus and display control method
JP5366693B2 (ja) 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
JP2014183376A (ja) 立体撮像装置、立体撮像装置の制御方法、プログラム
JP2018067802A (ja) 撮像制御装置、撮像装置の制御方法及びプログラム
JP2018031981A (ja) 撮像装置及びその制御方法
JP2016024335A (ja) 立体撮像装置
US20240089424A1 (en) Electronic apparatus, and control method for electronic apparatus
JP2018107560A (ja) 撮像装置
JP5638941B2 (ja) 撮像装置および撮像プログラム
JP2012134873A (ja) 撮像装置および撮像プログラム
JP6971709B2 (ja) 撮像装置およびその制御方法
JP2023157521A (ja) 電子機器、電子機器の制御方法、プログラム、および記憶媒体