JP2013092768A - 立体撮影装置 - Google Patents

立体撮影装置 Download PDF

Info

Publication number
JP2013092768A
JP2013092768A JP2012221465A JP2012221465A JP2013092768A JP 2013092768 A JP2013092768 A JP 2013092768A JP 2012221465 A JP2012221465 A JP 2012221465A JP 2012221465 A JP2012221465 A JP 2012221465A JP 2013092768 A JP2013092768 A JP 2013092768A
Authority
JP
Japan
Prior art keywords
distance
range
stereoscopic
subject
intersection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012221465A
Other languages
English (en)
Inventor
Junji Shigeta
潤二 重田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012221465A priority Critical patent/JP2013092768A/ja
Publication of JP2013092768A publication Critical patent/JP2013092768A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】 立体視可能範囲において、被写体の動きに対応して、立体視映像の飛び出し量が滑らかに変化するように、複数の条件を考慮して輻輳角を制御する立体撮影装置を提供する。
【解決手段】 立体撮影装置は、視差を有して配置された2つの光学系と、該2つの光学系からの被写体の映像をそれぞれ撮像する撮影手段と、該2つの光学系の光軸の方向を変更し、該2つの光学系から該2つの光学系の光軸が交差する位置までの交差距離を変更する輻輳角駆動手段と、被写体距離に関する被写体距離情報を検出する被写体距離検出手段と、前記被写体距離及び撮影条件から、立体視可能な融像限界範囲内の交差距離を演算する交差距離制御手段と、該被写体距離と、前記交差距離が該融像限界範囲に収めるための追従遅れ量とを基に、該交差距離を該追従遅れ量だけ遅らせて該被写体距離に追従させるよう輻輳角駆動手段を制御する輻輳角制御手段と、を備えることを特徴とする。
【選択図】 図1

Description

本発明は、立体撮影装置に関し、特に輻輳角の制御に関するものである。
従来から、立体撮影時に左右のレンズの光軸角度(輻輳角と記す)を変化させ、撮影する立体映像の立体感を調節する手法が知られている。
しかし、立体映像を撮影中に輻輳角を変化させると、不自然な立体映像となり、撮影者や視聴者に違和感を与える映像となることがある。さらに、輻輳角の変化が急激であると、撮影者や視聴者の立体視が追い付かず、不快感を与える映像となってしまう。
この問題を解決するために、例えば以下のような先行技術文献が開示されている。
特許文献1では、被写体までの距離を測距し、その値に基づいて自動的に合焦動作と輻輳角制御を行う立体撮影装置において、合焦動作を手動に切り替えた時に、合焦動作が自動の場合より輻輳角の駆動速度を速くする立体撮影装置が開示されている。ここで、合焦動作を手動に切り替えた時の輻輳角の駆動速度も、撮影者に不快感を与えない程度の駆動速度とすることが記載されている。これにより、合焦と輻輳点(左右のレンズの光軸が交わる点)が一致し、違和感を与えない映像を撮影することができる。さらに、撮影者に不快感を与えるような駆動速度では駆動しないため、不快感を与える映像となることもない。
また、特許文献2では、被写体までの距離を測距し、その値に基づいて輻輳角制御を行う立体撮影装置において、今回の測距値と前回の測距値の変化が所定値以上の時は、輻輳角の駆動速度を通常よりも遅くする立体撮影装置が開示されている。これにより、特許文献1と同様に、合焦と輻輳点が一致し、違和感を与えない映像を撮影することができ、また輻輳角を大きく変化させる必要がある場合は、撮影者、視聴者に不快感を与えないように、変化の速度を遅くしている。
特開2001−16614号公報 特開2001−16615号公報
しかしながら、上述の特許文献には、輻輳角の駆動を撮影者や鑑賞者に不快感を与えない程度の駆動速度とすることが記載されているが、具体的にどのような速度かは記載されていない。更には立体視可能範囲において、被写体の動きに対応して、立体視映像の飛び出し量が滑らかに変化するように、輻輳角を制御する事について記載されていない。
また、快適な立体視を行う為にはおおよそ以下の事を考慮する必要がある。一つ目は、左目と右目との視差による立体視として認識する融像限界であり、個人差があるが、視差角が±2°以内が望ましいとされている。ここで融像限界と視差角と輻輳角について説明する。人間は、水平方向に約6cm離れて位置する2つの目を持っている。そのため、被写体の空間配置によっては、両目其々の網膜に結像する像は、わずかな違いが生じる。この像のズレを視差と呼ぶ。ここで両目の視線が交わる交差が作り出す角度を輻輳角と呼び、立体映像を表示するスクリーン面で視線が交わる時の輻輳角と、立体視している見かけ上の立体像位置に視線が交わる時の輻輳角との差を視差角と呼ぶ。視差角がある範囲内であれば、両目の像を一つの像と認識し(融像)、視差角がある範囲を超えると、別々の像として認識する(二重像)。この融像と二重像の境が融像限界である。この融像限界となる視差角が平均的に±2°となり、視差角が±2°以内になるように立体映像を撮影する必要がある。二つ目は、立体視を快適に行える為の適正視差範囲であり、個人差があるが、視差角±1°以内が望ましいとされている。三つ目は、立体視した画像が、実際より小さく、実際より近くにあるよう、認識される現象である箱庭効果。四つ目は、対象と背景の間の奥行きは知覚されるが,対象それ自体の立体構造は知覚されず,平面のように感じられる書き割り効果。しかし、上述の特許文献には、複数の条件を考慮し、輻輳角を制御する事について記載されていない。
そこで、本発明の目的は、立体視可能範囲において、被写体の動きに対応して、立体視映像の飛び出し量が滑らかに変化するように、複数の条件を考慮して輻輳角を制御する立体撮影装置を提供することである。
上記目的を達成するために、本発明の立体撮影装置は、視差を有して配置された2つの光学系と、該2つの光学系からの被写体の映像をそれぞれ撮像する撮影手段と、該2つの光学系の光軸の方向を変更し、該2つの光学系から該2つの光学系の光軸が交差する位置までの交差距離を変更する輻輳角駆動手段と、被写体距離に関する情報である被写体距離情報を検出する被写体距離検出手段と、前記被写体距離及び撮影条件から、立体視可能な範囲である融像限界範囲内の交差距離を演算する交差距離制御手段と、該被写体距離と、前記交差距離が該融像限界範囲に収まるように設定された追従遅れ量とを基に、該交差距離を該追従遅れ量だけ遅らせて該被写体距離に追従させるように輻輳角駆動手段を制御する輻輳角制御手段と、を備えることを特徴とする。
本発明によれば、立体視可能範囲において、被写体の動きに対応して、立体視映像の飛び出し量が滑らかに変化するように、複数の条件を考慮して輻輳角を制御する立体撮影装置を提供することができる。
第1の実施例の構成ブロック図 撮影条件を示す図 片側の撮像装置での光軸と撮影映像の関係図 立体撮像装置での光軸と撮影映像の関係図 光軸と撮影ズレ量の関係を示す図 視聴条件を示す図 画面サイズによる映像ズレ量を示す図 目標交差距離算出のフローチャート図 被写体距離と交差距離の追従グラフ 追従オフセットを考慮した被写体距離と交差距離の追従グラフ 第2の実施例の構成ブロック図
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
以下、図1を用いて、本発明の第1の実施例である立体撮影装置を説明する。
図1は、実施例1の構成ブロック図である。図1において、光軸可変手段11L、11Rはそれぞれ左目用、右目用の撮影映像の光軸を変化させる光軸可変手段であって同じ構成を有する。
光軸とは、撮像素子の中心に対して垂直に入射する光線の光路、或いは撮像素子の中心に入射する光束のうち絞りの中心を通る光線の光路、のことを指している。具体的には、左目用の光学系の光軸とは、図1において左目用の光学系101L、102Lを介して左目用の撮像素子103Lの中心に対して垂直に入射する光線の光路、或いはその撮像素子103Lに入射する光束のうち絞りの中心を通る光線の光路である。右目用の光学系の光軸についても同様に、右目用の光学系101R、102Rを介して右目用の撮像素子103Rの中心に対して垂直に入射する光線の光路、或いはその撮像素子103Rに入射する光束のうち絞りの中心を通る光線の光路である。
左目用、右目用の光学系は、それぞれ、対物レンズ101L、101R及びシフトレンズ102L、102Rを含む。対物レンズ101L、101Rはそれぞれ左目用、右目用撮影映像の光を取り込む為の対物レンズであり、シフトレンズ102L、102Rは光軸を変化させる為のシフトレンズである。撮像素子103L、103Rはそれぞれ左目用、右目用の映像を撮像する為の撮像素子であって、輻輳角を変更するための輻輳角駆動手段としての役割を果たす。光軸駆動制御部104L、104Rはそれぞれシフトレンズ102L、102Rを駆動制御する為の光軸駆動制御部である。
シフトレンズ位置検出部105L、105Rはそれぞれシフトレンズ102L、102Rの現在位置を検出する位置検出部であり、たとえばホール素子である。シフトレンズ駆動部106L、106Rはそれぞれシフトレンズ102L、102Rを駆動する為の駆動手段であり、たとえばボイスコイルモータである。
輻輳角制御部107は、光軸可変手段11L、11Rを使用して輻輳角を制御する輻輳角制御手段である。交差距離制御部108は、光軸可変手段11L、11Rの光軸の交点と対物レンズ101L、101Rとの距離である交差距離を演算する交差距離制御手段である。被写体距離検出部109は、対物レンズ101L、101Rと被写体との距離を算出する為の被写体距離検出手段である。撮影条件検出部110は、撮影条件を検出する撮影条件検出手段である。撮影条件については後述する。
視聴条件設定部111は、視聴条件を設定する視聴条件設定手段であり、たとえば設定表示部とスイッチにより構成される。視聴条件については後述する。追従遅れ量設定部112は、被写体距離に対しての交差距離の追従遅れ量を設定する追従遅れ量設定手段であり、たとえば設定表示部とスイッチにより構成される。追従オフセット量設定部113は被写体距離と交差距離の追従オフセット量を設定する追従オフセット量設定手段であり、たとえば設定表示部とスイッチにより構成される。なお、本明細書において、被写体距離とは、左右の撮像装置の、対物レンズ101Lと101Rを結ぶ線のから被写体までの距離である。
被写体距離検出部109は被写体距離情報を検出し、交差距離制御部108に出力する。ここで被写体距離情報は、フォーカス位置により算出される。また、別途測距手段を持ち、被写体の測距情報を基に被写体距離情報を算出しても良い。また、オートフォーカス手段を持ち、オートフォーカスでの合焦位置から被写体距離情報を算出しても良い。
撮影条件検出部110は撮影条件情報を検出し、交差距離制御部108に出力する。ここで撮影条件については後述する。視聴条件設定部111は設定された視聴条件情報を、交差距離制御部108に出力する。ここで視聴条件については後述する。追従遅れ量設定部112は設定された追従遅れ量を、交差距離制御部108に出力する。ここで追従遅れ量は、被写体距離に交差距離を追従させる時に使用する被写体距離と交差距離の差に対してかけられるローパスフィルター(LPF)の係数である。被写体距離に対しての交差距離の追従制御に関しては後述する。追従オフセット量設定部113は、設定された被写体距離と交差距離との追従オフセット量を交差距離制御部108に出力する。追従オフセット量については後述する。
交差距離制御部108は入力された、撮影条件情報、視聴条件情報、追従遅れ量、追従オフセット量から、単位時間毎の交差距離の目標位置である目標交差距離を演算し、輻輳角制御部107に出力する。目標交差距離の算出方法については後述する。輻輳角制御部107は、目標交差距離を輻輳角目標位置に変換する。ここで目標交差距離から目標輻輳角位置の変換方向については後述する。輻輳角制御部107は更に、目標輻輳角位置を基にシフトレンズ102L及び102Rの駆動位置であるシフトレンズ駆動位置L及びシフトレンズ駆動位置Rを算出し、光軸駆動制御部104L及び104Rに出力する。シフトレンズ駆動位置L及びシフトレンズ駆動位置Rの算出方法については後述する。
光軸駆動制御部104L及び104Rはそれぞれシフトレンズ駆動位置L及びシフトレンズ駆動位置Rの位置にシフトレンズ102L及び102Rが駆動するように駆動制御を行なう。具体的にはシフトレンズ位置検出部105L及び105Rから出力されたシフトレンズ102L及び102Rの位置と前記シフトレンズ駆動位置L及びシフトレンズ駆動位置Rの位置が一致するようにシフトレンズ駆動部106L及び106Rに駆動指令を出力する。
対物レンズ101Lから入射した光はシフトレンズ102Lを通り、撮像素子103L上で結像し、撮像信号ILとして出力される。対物レンズ101Rから入射した光はシフトレンズ102Rを通り、撮像素子103R上で結像し、撮像信号IRとして出力される。
以上により交差距離制御部108で演算された交差距離となる撮像映像が出力される。
次に立体映像の撮影について説明する。
撮像信号IL及び撮像信号IRは、対物レンズ101Lと対物レンズ101Rとの距離である基線長a、交差距離c、により被写体距離に応じて水平方向に所定の撮像ズレ量ΔIを持つ撮像信号Iとなる。この撮像信号ILの映像を左目で、撮像信号IRの映像を右目で視聴者が視認することにより、撮像ズレ量ΔIに応じた距離に虚像が存在すると認識する。
まず交差距離cと光軸VL、VRと基線長aの関係について説明する。
図2は対物レンズ101L,101R、交差距離c、基線長a、光軸VL、光軸VR、輻輳点p、輻輳角θの関係を示した図である。
ここで光軸VLは撮像素子103Lに結像する光の光軸であり、光軸VRは撮像素子103Rに結像する光の光軸である。
基線長aは、撮像装置での光軸の間隔であり、具体的には対物レンズ101Lの中心と対物レンズ101Rの中心との距離である。
輻輳点pは、光軸VL、VRが交わる点である。
輻輳角θは、輻輳点pで交わる光軸VL、VRの成す角度である。
交差距離cは、左右の撮像装置の、対物レンズ101Lと101Rを結ぶ線から輻輳点pまでの距離である。
基線長a、輻輳角θ、交差距離cの関係は式(1)が示す関係となる。
tan(θ/ 2) = (a / 2) / c …(1)
次に光軸VL及び光軸VRの変化による撮像信号IL及び撮像信号IRの変化について説明する。以下光軸VLと撮像信号ILの関係について説明するが、光軸VRと撮像信号IRの関係についても同等である。
図3は、シフトレンズ102Lを動かした際に、光軸VLと、撮影される撮像信号ILとの関係を示したものである。ここで、シフトレンズ102Lは、光軸VLが対物レンズ101L,101Rが配置されている方向に移動するように、駆動するものとする。
光軸VL1、VL2、VL3はそれぞれ、シフトレンズ102Lを変化させたときの光軸VLであり、変化量dは、光軸VLの成す角の変化量である。ここで、被写体Xが光軸と交わるように輻輳を調節したときの光軸VLが光軸VL1であり、光軸VL1から右側に変化量dだけ駆動させたときの光軸を光軸VL2、光軸VL2からさらに右側に変化量dだけ駆動させたときの光軸を光軸VL3としている。
また、被写体Xは撮影する被写体であり、被写体XL1、XL2、XL3はそれぞれ、光軸VLが光軸VL1、光軸VL2、光軸VL3の時の、撮像信号ILの被写体Xの位置を示したものである。
また、撮像シフト量Idは、交差距離の制御により、光軸角を変化量dだけ変化させたときの、撮像信号IL上(撮像素子103L上)での被写体のシフト量である。
被写体距離mxは被写体Xと対物レンズ101Lとの距離である。
つまり、光軸角の変化量dが一定である場合、撮影映像上での被写体の撮像シフト量Idは等しくなる。
図4は、図3と同様の内容を、撮像信号IL及び撮像信号IRの両方に対して示したものである。
光軸VR1、光軸VR2、光軸VR3はぞれぞれ光軸VL1、光軸VL2、光軸VL3の時の光軸VRの位置を示している。ここで光軸VRは光軸VLと同角度分、対物レンズ101Lの方向に駆動し、常に輻輳点pが対物レンズ101L、101Rの中心軸上に存在するように制御される。
したがって、図4の(a)のように、光軸VLが光軸VL1、光軸VL2、光軸VL3に変化するに従い、光軸VRは光軸VR1、光軸VR2、光軸VR3と変化する。更に図4の(bL)のように撮像信号IL上の被写体Xが被写体XL1、被写体XL2、被写体XL3と変化するに従い、図4の(bR)のように撮像信号IR上の被写体Xが被写体XR1、被写体XR2、被写体XR3と変化する。ここで、撮像信号IR上の被写体XL1、被写体XL2、被写体XL3は、撮像信号IL上の被写体XL1、被写体XL2、被写体XL3とは相反する方向に、同じ撮像シフト量分変化した位置となる。
図5は、図4のときの撮像信号IL及び映像信号Rを重ね合わせた時の撮像信号LRを示した図である。ここで(a)、(b)、(c)はそれぞれ、光軸VL1、VL2、VL3のときの撮像信号LRを示している。図5(a)では、輻輳点pと被写体Xの位置が一致しているため、左右の映像のズレ量ΔVはゼロであり、被写体像が一致する。図5(b)では、被写体XL2及び被写体XR2が、それぞれ被写体XL1,被写体XR1の位置から撮像シフト量Idだけ変化しているため、撮像された映像上での左右の撮像ズレ量ΔIは撮像シフト量Id×2となる。図5(c)では、被写体XL3及び被写体XR3が、それぞれ映像シフト被写体XL1,被写体XR1の位置から撮像シフト量Id×2だけ変化しているため、撮像された映像上での左右の映像ズレ量ΔVはId×4となる。
以上により、交差距離c及び被写体距離mxに応じて水平方向に所定の撮像ズレ量ΔIを持つ撮像信号Iを撮影する事が出来る。
次に撮像信号Iを映像信号Vとして表示し、その映像信号Vを視聴した時の立体虚像xについて説明する。
図6は、視聴時の、映像表示部であるスクリーンと視聴者との関係を示したものである。両眼視差iは、視聴者の右目と左目の間の距離である。映像ズレ量ΔVは、立体虚像xの右目用映像と左目用映像とのスクリーン上での映像の位置のズレ量である。視聴距離mは、視聴者とスクリーン面との距離である。輻輳角Exは立体虚像xに対しての輻輳角であり、輻輳角Esはスクリーン面に対しての輻輳角である。
立体虚像xは、左目とスクリーン上の左目用映像を結ぶ線と、右目とスクリーン上の右目用映像を結ぶ線が交わる点であり、視聴者はこの立体虚像xの位置に被写体があると錯覚する。飛び出し量nは、スクリーンから立体虚像xまでの距離に相当するものであり、以下の(2)式で求められる。
n=(ΔV/(i+ΔV))×m …(2)
両眼の瞳孔距離iは一定であると近似することができるので、(2)式より、飛び出し量nは視聴距離mと映像ズレ量ΔVによって変化することがわかる。同じ映像(図6の撮像ズレ量ΔIの映像)を表示した場合であっても、表示された画面上での映像ズレ量ΔVは画面サイズにより異なる。小さい画面に図6の映像を映した場合の映像ズレ量ΔV1(図7(a))は、大きい画面に同じ図6の映像を映した場合の映像ズレ量ΔV2(図7(b))よりも小さい。よって、視聴者によって認識される飛び出し量nは、撮影された立体映像が同一のものでも、視聴距離mと画面サイズによって変化する。
以上により、飛び出し量nは映像ズレ量ΔV及び視聴距離mにより決定し、映像ズレ量ΔVは撮像ズレ量ΔI及び画面サイズ又は撮像映像Iの表示拡大率(視聴映像の拡大率)により決定する。
以下に撮影条件について説明する。
立体虚像xの飛び出し量nは(2)式より映像ズレ量ΔVに依存する。更に映像ズレ量ΔVは撮像ズレ量ΔI及び画面サイズに依存する。
従って、撮影時において飛び出し量nに影響を与えるものは撮像ズレ量ΔIとなる。撮像ズレ量ΔIは輻輳角θ又は交差距離cと被写体距離mx及び画角に影響される為、撮影時に飛び出し量nに対して影響を与えるパラメータは輻輳角θ又は交差距離cと被写体距離mx及び画角となる。更に撮影対象となる主被写体以外にもピントの合った被写体に対しても、視聴者は立体虚像を認識してしまうため、ピントの合う範囲となる被写界深度も考慮する必要がある。
具体的には被写界深度の範囲内にある被写体距離の範囲の全ての被写体距離に対して、交差距離cとの追従誤差Δmが最長となる場合を想定し、交差距離cすなわち左右のレンズの光軸の方向を制御する。また、被写界深度外の被写体に対しても立体虚像xを認識してしまう事があるので、実際には被写界深度の範囲内にある被写体距離の範囲に、あらかじめ定められた距離範囲を付加した範囲で、被写体距離と交差距離cとの差が最も長くなる被写体距離mxを決定する。
更に被写体距離Xmの所定時間内の変化量を記録し、前記所定時間内の変化量から被写体距離Xmの変化予測範囲を予想しても良い。この場合、被写体距離Xmの変化予測範囲で被写体距離と交差距離cとの差が最も長くなる被写体距離mxを決定する。
交差距離制御部108は上記撮影条件から導き出された、撮影ズレ量ΔIが一定範囲内に収まるような交差距離を演算する。一般的には輻輳角Exと輻輳角Esとの差が±2°以内が立体視可能な範囲つまり融像限界範囲となる。従って輻輳角Exと輻輳角Esとの差が±2°以内に収まるような交差距離cを演算する。
以下に視聴条件について説明する。
立体虚像xの飛び出し量nは(2)式より両眼の瞳孔距離i、視聴距離m、映像ズレ量ΔVに依存する。映像ズレ量ΔVは画面サイズ又は映像拡大率に比例する為、飛び出し量nに影響を与える視聴条件は、両眼の瞳孔距離i、視聴距離m、画面サイズ又は映像拡大率となる。
交差距離制御部108は上記撮影条件と視聴条件から導き出された、撮影ズレ量ΔIが一定範囲内に収まるように制御を行う。一般的には輻輳角Exと輻輳角Esとの差が±2°以内が立体視可能な範囲つまり融像限界範囲となる。従って輻輳角Exと輻輳角Esとの差が±2°以内に収まるように交差距離cを制御する。
以下に被写体距離mxに対しての交差距離cの追従制御について説明する。
図8は交差距離制御部108での単位時間当たりの目標交差距離c’を算出する過程を示したフローチャートである。
S101で処理を開始し、S102に進む。
S102で現在の追従誤差Δmcを(3)式により算出する。
Δmc = Xm - c … (3)
ここで、Xmは被写体距離、cは交差距離であり、交差距離cは前回の目標交差距離c’と同じ値である。
S102で現在の追従誤差Δmcを算出すると、S103に進む。
S103で追従誤差Δmcに対して行う追従LPF係数を決定する。
LPFの係数は追従遅れ量設定部112からの設定値(追従遅れ量)により決定される。更に追従誤差Δmcが交差距離制御部108で演算される融像限界範囲を超える場合には、追従性を向上させるような係数に切り替えても良い。具体的には追従LPF係数は追従遅れ量設定部112からの設定値により、カットオフ周波数が高周波となるように追従LPF係数が決定される。
S103で追従LPF係数を算出するとS104に進む。
S104で目標交差距離c’を算出する。
目標交差距離c’はS102で算出された追従誤差Δmcに対してS103で決定した追従LPF係数に基づきデジタルフィルタ演算を行い、出力された値に前回の目標交差距離c’を加算した値を目標交差距離c’として算出する。
ここで、追従LPF係数が変化した時は、デジタルフィルタ演算結果の不整合を防止する為に、デジタルフィルタを一度初期化しても良い
S104で目標交差距離c’を算出するとS105に進む。
S105で、S104で算出された目標交差距離c’を輻輳角制御部107に出力し、S106に進む。
S106で処理を終了する。
ここで、S102で交差距離cを前回の目標交差距離c’としていたが、シフトレンズ位置検出部105L及び105Rより算出されたシフトレンズ102L及び102Rの位置から、交差距離cを算出しても良い。
以上により図9に示す通り、被写体距離Xmに対して一定の遅れをもたせて、交差距離cが被写体距離Xmに追従する。更に追従誤差Δmが融像限界範囲外になる場合、又は近づく場合に追従性を向上させる事により、追従誤差Δmが融像限界範囲内に収まるように制御される。
また、飛び出し量、又は、飛び出し量と飛び出し量のある状態での経過時間である飛び出し継続時間から、飛び出し量、又は、飛び出し量と飛び出し継続時間が所定の範囲内となるように交差距離の範囲である立体視適正範囲を決定する手段(立体視適正範囲決定手段)を備え、立体視適正範囲を満たすように、交差距離を被写体距離に追従させるように制御してもよい。これにより、飛び出し量と飛び出し継続時間に対して、許容範囲を設定することにより、飛び出し量が融像限界範囲外になってしまう場合を含む映像であっても、飛び出し量が融像限界範囲外となる継続時間で制約することにより、視聴者に違和感、疲れ等を感じさせにくい、適正な立体映像を撮影することができる。
また、過去一定時間内の被写体距離Xmの変化から、被写体距離Xmの変化範囲を算出する手段を持ち、飛び出し量が融像限界範囲外とならないように追従LPF係数を決定しても良い。この場合、交差距離cと被写体距離Xmの変化範囲から、追尾誤差Δmが最大となりうる最大追尾誤差を算出し、最大追尾誤差の大きさが大きいほど、追従性を向上させるような追従LPF係数を設定する方法でも良い。つまり、過去の一定時間内の被写体距離の変化(交差距離に対する相対的な変化)、或いは融像限界範囲に対する被写体距離の変化に基づいて最大追尾誤差(追従遅れ量、追従誤差量)を決定し、追従誤差量を決定し、これに基づいて追従動作を行っても良い。これにより、被写体の動きに最適化された融像限界範囲及び立体視適正範囲を考慮した撮影を行う事が出来る。
以下に追従オフセット量について説明する。
融像限界範囲は輻輳角Exと輻輳角Esとの差に影響するが、立体虚像xがスクリーンより手前側と奥側で、同じ距離の飛び出し量nの場合、スクリーンより奥側の方が、飛び出し量nに対しての輻輳角Exの変化が少ない。従って、融像限界範囲は、立体虚像xがスクリーンより手前側より奥側の方が、融像限界範囲が広い範囲となる。つまり被写体距離Xmが交差距離cよりも遠い時の方が、融像限界範囲を広い範囲にする事が出来る。
従って、被写体距離Xmに対して、交差距離cを追従する場合、被写体距離Xmより追従オフセット量Δmo分、至近側にオフセットを持たせて追従制御を行う方が、制御のタイムラグ等を考慮すると融像限界範囲内に抑えやすい制御となる。
図10は図9の示す制御に対して、追従オフセット量Δmo分シフトさせた位置に交差距離coを設定し、目標交差距離c’を交差距離coとした場合の追従制御の様子を示した図である。
実際にはS104で算出した目標交差距離c’に追従オフセット量設定部113により出力された追従オフセット量Δmoを加算した値を目標交差距離c’として、輻輳角制御部107に出力する。
以上により、追従オフセット量設定部113の設定した追従オフセット量Δmoに依存した飛び出し量nとなる映像を撮影する事が出来る。
以下に目標交差距離から輻輳角目標位置の変換方法について説明する。
輻輳角θは(1)式に交差距離cを目標交差距離c’に置き換えることにより算出される。また演算処理時間を短くする為に、(1)式により導き出された目標交差距離c’と輻輳角θとの関係データを不揮発メモリに保存し、前記関係データから輻輳角θを算出しても良い。
以下にシフトレンズ駆動位置L及びシフトレンズ駆動位置Rの算出方法について説明する。
図2が示す通り、光軸VL及び光軸VRと輻輳角θの関係は、光軸VL及び光軸VRがそれぞれ、θ/2の角度内側となる位置となる。
従ってシフトレンズ駆動位置L及びシフトレンズ駆動位置Rは、それぞれ光軸VL及び光軸VRがθ/2の角度内側となる位置となる。
輻輳角制御部107はシフトレンズ駆動位置L及びシフトレンズ駆動位置Rと光軸VL及び光軸VRの角度の演算式を基にシフトレンズ駆動位置L及びシフトレンズ駆動位置Rを算出する。
また演算処理時間を短くする為に、シフトレンズ駆動位置と光軸の角度との関係データを不揮発メモリに保存し、前記関係データからシフトレンズ駆動位置を算出しても良い。
更に目標交差距離c’とシフトレンズ駆動位置L及びシフトレンズ駆動位置Rとの関係データ不揮発メモリに保存し、前記関係データと目標交差距離c’からシフトレンズ駆動位置を算出しても良い。
以上により、撮影条件、視聴条件、被写体距離、追従遅れ量、追従オフセット量から、撮影者が設定した条件に従い、自動的に撮影者が意図した被写体の動きに対して滑らかな飛び出し量をもつ立体映像を撮影する事が出来る。
次に、図11を用いて、本発明の第2の実施例である立体撮影装置を説明する。
図11は本実施例の構成ブロック図であり、図1と同様の構成のものは同符号を付す。
交差距離範囲設定部1101は、交差距離の範囲を設定する。適正拡大範囲設定部1102は、立体虚像xの視認上の大きさと実際の撮影した被写体の大きさとの拡大率の範囲である適正拡大範囲を設定する。適正圧縮範囲設定部1103は立体虚像xの視認上の奥行き幅と実際の撮影した被写体の奥行き幅との圧縮率の範囲である適正圧縮範囲を設定する。立体適正範囲設定部1104は、輻輳角Exと輻輳角Esとの差が、快適に視聴者が立体視出来る範囲となるように輻輳角Exと輻輳角Esとの差である立体視適正範囲を設定する。適正拡大範囲設定部1102、適正圧縮範囲設定部1103、立体適正範囲設定部1104はそれぞれ、設定表示ディスプレイとスイッチにより構成される。
以下に実施例2の動作について説明する。
適正拡大範囲設定部1102は交差距離範囲設定部1101に適正拡大範囲を出力する。交差距離範囲設定部1101は適正拡大範囲を基に適正拡大交差距離範囲を算出する。適正拡大交差距離範囲については後述する。
適正圧縮範囲設定部1103は交差距離範囲設定部1101に適正圧縮範囲を出力する。交差距離範囲設定部1101は適正圧縮範囲を基に適正圧縮交差距離範囲を算出する。適正圧縮交差距離範囲については後述する。
立体適正範囲設定部1104は交差距離範囲設定部1101に立体視適正範囲を出力する。交差距離範囲設定部1101は立体適正範囲を基に立体適正交差距離範囲を算出する。
交差距離範囲設定部1101は、適正拡大範囲、適正圧縮範囲、立体視適正範囲から、適正拡大範囲、適正圧縮範囲、立体視適正範囲の全てを満足する最終交差距離範囲を算出し、交差距離制御部108に出力する。交差距離制御部108は目標交差距離c’が最終交差距離範囲内に収まるように目標交差距離c’を再度演算し、輻輳角制御部107に出力する。
以下に適正拡大交差距離範囲の算出方法について説明する。
図6に示すとおり、視聴者は、(2)式で求められる飛び出し量nの位置に立体虚像xが存在すると錯覚を起こす。しかし、立体虚像xの映像はスクリーン面上の映像であるため、飛び出し量nの分だけ視聴者に近づいたと錯覚しても、実際に左右の眼で見ているスクリーン上の映像自体は変わらない。従って、同じ画角で撮影された同じ被写体距離mx離れた被写体を撮影した場合、交差距離の変化により、飛び出し量nが大きくなって虚像の位置がスクリーンより手前になるほど、視聴者は縮小された立体虚像xとして認識する。言い換えると、スクリーンより手前側の虚像は縮小された像として、スクリーンより奥側の虚像は拡大された像として、視聴者に認識されることになる。
従って、飛び出し量nをある一定範囲内に抑える事により、立体虚像xの拡大率が変化する範囲を視聴者が視聴したときに違和感なく視聴できる範囲(以後、縦横拡縮適正範囲と記載する)に抑えることが出来る。ここで、拡大率は、スクリーンより手前側(視聴者側)の虚像に対する縮小(拡大率<1)の場合、スクリーンより奥側の虚像に対する拡大(拡大率>1)の場合、を含むものとする。
具体的には、(2)式及び撮影中の被写体までの距離である交差距離等の撮影条件、視聴者からスクリーンまでの距離(視聴距離)等の視聴条件から、立体虚像xの視認上の拡大率を算出する。算出される拡大率は飛び出し量nに比例した値となる。交差距離範囲設定部1101は、被写体の実物の大きさに対する立体虚像xの視認上の拡大率を適正拡大範囲設定部(適正拡大範囲設定手段)1102により設定された適正拡大範囲内とすることができる、交差距離cの範囲を適正拡大交差距離範囲として算出する。
以下に適正圧縮交差距離範囲の算出方法について説明する。
図6に示すとおり、(2)式で求められる飛び出し量nの位置に立体虚像xが存在すると錯覚を起こす。また立体虚像xの奥行きも飛び出し量nに依存する。従って、交差距離cが視聴距離mより長い時に、立体虚像xの奥行きのない虚像として、視聴者に視認される。また、逆に交差距離cが視聴距離mより短い時に、立体虚像xの奥行きが広げられた虚像として視聴者に視認される。
以上により、(2)式及び被写体までの距離である交差距離等の撮影条件、視聴者からスクリーンまでの距離(視聴距離)等の視聴条件から、立体虚像xの視認上の立体虚像xの奥行き圧縮率を算出する。実際には、交差距離と視聴距離の比により、圧縮率が算出される。交差距離範囲設定部1101は、被写体の実物の大きさに対する立体虚像xの視認上の奥行き圧縮率を適正圧縮範囲設定部(適正圧縮範囲設定手段)1103により設定された適正圧縮範囲内とすることができる、交差距離cの範囲を適正圧縮交差距離範囲として算出する。
交差距離範囲設定部1101は、最終交差距離範囲を、適正拡大交差距離範囲、適正圧縮交差距離範囲、立体適正交差距離範囲の全ての交差距離範囲を満足する範囲として算出する。或いは、それぞれの交差距離範囲に優先度や、有効/無効の切り替えを設定する手段(交差距離範囲選択設定手段)を設け、該設定手段による設定によって最終交差距離範囲を決定しても良い。
以上により、違和感のある立体映像や視聴者に疲労を与える立体映像を撮影する事無く、自動的に撮影者が意図した飛び出し量をもつ立体映像を撮影する事が出来る。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
11L、11R 光軸可変手段
107 輻輳角制御部(輻輳角制御手段)
108 交差距離制御部(交差距離制御手段)
109 被写体距離検出部(被写体距離検出手段)
110 撮影条件検出部(撮影条件検出手段)

Claims (14)

  1. 視差を有して配置された2つの光学系と、
    該2つの光学系からの被写体の映像をそれぞれ撮像する撮影手段と、
    該2つの光学系の光軸の方向を変更し、該2つの光学系から該2つの光学系の光軸が交差する位置までの交差距離を変更する輻輳角駆動手段と、
    被写体距離に関する情報である被写体距離情報を検出する被写体距離検出手段と、
    前記被写体距離及び撮影条件から、立体視可能な範囲である融像限界範囲内の交差距離を演算する交差距離制御手段と、
    該被写体距離と、前記交差距離が該融像限界範囲に収まるように設定された追従遅れ量とを基に、該交差距離を該追従遅れ量だけ遅らせて該被写体距離に追従させるように輻輳角駆動手段を制御する輻輳角制御手段と、
    を備える
    ことを特徴とする立体撮影装置。
  2. 撮影された立体映像を視聴者が視聴する視聴条件を設定する視聴条件設定手段を有し、
    前記被写体距離、撮影条件、及び、該視聴条件から、立体視可能な範囲である融像限界範囲内の交差距離を演算する交差距離制御手段を有し、
    前記輻輳角制御手段は、前記被写体距離と、前記交差距離が該融像限界範囲に収まるように設定された前記追従遅れ量とを基に、前記交差距離を前記被写体距離に追従させるように前記輻輳角駆動手段を制御する、
    ことを特徴とする請求項1に記載の立体撮影装置。
  3. 前記撮影条件は、少なくとも、基線長、画角、被写界深度のいずれかを含むことを特徴とする請求項2に記載の立体撮影装置。
  4. 前記視聴条件は、少なくとも、視聴者の瞳孔距離、立体映像を表示する表示部と視聴者との距離である視聴距離、視聴映像の拡大率、のいずれかを含むことを特徴とする請求項2又は3に記載の立体撮影装置。
  5. 前記追従遅れ量を設定する追従遅れ量設定手段を有する、ことを特徴とする請求項1乃至4のいずれか1項に記載の立体撮影装置。
  6. 前記追従遅れ量は、少なくとも、前記撮影条件、前記視聴条件のいずれかの条件を基に決定されることを特徴とする請求項5に記載の立体撮影装置。
  7. 前記追従遅れ量は、前記交差距離を前記被写体距離に追従させるように前記輻輳角制御手段が前記輻輳角駆動手段を制御するときに、前記被写体距離と前記交差距離の差に対してかけるローパスフィルターの係数であることを特徴とする請求項1乃至6のいずれか1項に記載の立体撮影装置。
  8. 前記輻輳角制御手段は、前記被写体距離に対して所定の差である追従オフセット量を有して前記交差距離を前記被写体距離に追従させるよう前記輻輳角駆動手段を制御する、ことを特徴とする請求項1乃至7のいずれか1項に記載の立体撮影装置。
  9. 前記追従オフセット量を設定する追従オフセット量設定手段を有する、ことを特徴とする請求項8に記載の立体撮影装置。
  10. 前記追従オフセット量は、少なくとも、前記撮影条件、前記視聴条件のいずれかの条件をもとに決定されることを特徴とする請求項8または9に記載の立体撮影装置。
  11. 前記被写体距離、前記交差距離、前記撮影条件及び撮影された立体映像を視聴者が視聴する視聴条件から、視認上の立体虚像の拡大率を算出する手段と、
    該視認上の立体虚像の拡大率を所定の範囲内とするための、前記交差距離の範囲である適正拡大交差距離範囲を設定する適正拡大範囲設定手段を有し、
    前記輻輳角制御手段は、該適正拡大交差距離範囲を満たすように、前記交差距離を前記被写体距離に追従させるよう前記輻輳角駆動手段を制御する、
    ことを特徴とする請求項3乃至10のいずれか1項に記載の立体撮影装置。
  12. 前記被写体距離、前記交差距離、前記撮影条件及び撮影された立体映像を視聴者が視聴するときの視聴条件から、視認上の立体映像の奥行き方向の圧縮率を算出する手段と、
    該圧縮率を所定の範囲内とするための、前記交差距離の範囲である適正圧縮交差距離範囲を設定する適正圧縮範囲設定手段を有し、
    前記輻輳角制御手段は、前記適正圧縮交差距離範囲を満たすように、前記交差距離を前記被写体距離に追従させるよう前記輻輳角駆動手段を制御する、
    ことを特徴とする請求項3乃至10のいずれか1項に記載の立体撮影装置。
  13. 前記被写体距離、前記交差距離、前記撮影条件及び視聴条件から視認上の立体虚像と映像表示部との距離である飛び出し量を算出する手段と、
    該飛び出し量、又は、該飛び出し量と飛び出し継続時間から、該飛び出し量、又は、該飛び出し量と該飛び出し継続時間が所定の範囲内となるように前記交差距離の範囲である立体視適正範囲を決定する立体視適正範囲決定手段を有し、
    前記輻輳角制御手段は、該立体視適正範囲を基に、該交差距離を前記被写体距離に追従させるよう前記輻輳角駆動手段を制御する、
    ことを特徴とする請求項3乃至10のいずれか1項に記載の立体撮影装置。
  14. 前記被写体距離、前記交差距離、前記撮影条件及び撮影された立体映像を視聴者が視聴する視聴条件から、視認上の立体虚像の拡大率を算出する手段と、
    該視認上の立体虚像の拡大率を所定の範囲内とするための、前記交差距離の範囲である適正拡大交差距離範囲を設定する適正拡大範囲設定手段と、
    前記被写体距離、前記交差距離、前記撮影条件及び撮影された立体映像を視聴者が視聴するときの視聴条件から、視認上の立体映像の奥行き方向の圧縮率を算出する手段と、
    該圧縮率を所定の範囲内とするための、前記交差距離の範囲である適正圧縮交差距離範囲を設定する適正圧縮範囲設定手段と、
    前記被写体距離、前記交差距離、前記撮影条件及び視聴条件から視認上の立体虚像と映像表示部との距離である飛び出し量を算出する手段と、
    該飛び出し量、又は、該飛び出し量と飛び出し継続時間から、該飛び出し量、又は、該飛び出し量と該飛び出し継続時間が所定の範囲内となるように前記交差距離の範囲である立体視適正範囲を決定する立体視適正範囲決定手段と、
    前記適正拡大交差距離範囲、前記適正圧縮交差距離範囲、前記立体視適正範囲の優先度や有効と無効の切り替えを設定する交差距離範囲選択設定手段とを有し、
    該交差距離範囲選択設定手段での設定に基づき、前記適正拡大交差距離範囲、前記適正圧縮交差距離範囲、前記立体視適正範囲から交差距離範囲を設定する交差距離範囲設定手段を有し、
    前記輻輳角制御手段は、前記交差距離範囲を基に、前記交差距離を前記被写体距離に追従させるよう前記輻輳角駆動手段を制御する、
    ことを特徴とする請求項3乃至10のいずれか1項に記載の立体撮影装置。
JP2012221465A 2011-10-03 2012-10-03 立体撮影装置 Pending JP2013092768A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012221465A JP2013092768A (ja) 2011-10-03 2012-10-03 立体撮影装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011219528 2011-10-03
JP2011219528 2011-10-03
JP2012221465A JP2013092768A (ja) 2011-10-03 2012-10-03 立体撮影装置

Publications (1)

Publication Number Publication Date
JP2013092768A true JP2013092768A (ja) 2013-05-16

Family

ID=47992214

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012221465A Pending JP2013092768A (ja) 2011-10-03 2012-10-03 立体撮影装置

Country Status (2)

Country Link
US (1) US20130083170A1 (ja)
JP (1) JP2013092768A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108271014B (zh) * 2016-12-29 2020-04-03 深圳超多维科技有限公司 检测设备与方法、立体显示设备跟踪效果评价系统及方法
CN108616737B (zh) * 2016-12-29 2020-02-04 深圳超多维科技有限公司 检测设备与方法、医疗显示设备跟踪效果评价系统及方法
CN113554872B (zh) * 2021-07-19 2022-09-20 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6762794B1 (en) * 1997-12-03 2004-07-13 Canon Kabushiki Kaisha Image pick-up apparatus for stereoscope
JP4709101B2 (ja) * 2006-09-01 2011-06-22 キヤノン株式会社 自動追尾カメラ装置
US8406619B2 (en) * 2009-03-23 2013-03-26 Vincent Pace & James Cameron Stereo camera with automatic control of interocular distance
US8564648B2 (en) * 2009-09-07 2013-10-22 Panasonic Corporation Image signal processing apparatus, image signal processing method, recording medium, and integrated circuit
US9188849B2 (en) * 2010-03-05 2015-11-17 Panasonic Intellectual Property Management Co., Ltd. 3D imaging device and 3D imaging method
US9313390B2 (en) * 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device

Also Published As

Publication number Publication date
US20130083170A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
US8401380B2 (en) Stereo camera with preset modes
US9699440B2 (en) Image processing device, image processing method, non-transitory tangible medium having image processing program, and image-pickup device
US10659763B2 (en) Stereo camera system with wide and narrow interocular distance cameras
JP5432365B2 (ja) 立体撮像装置および立体撮像方法
WO2012029301A1 (ja) 撮影装置、再生装置、および画像処理方法
WO2012101917A1 (ja) 画像処理装置、撮像装置、再生装置および画像処理方法
JP5444452B2 (ja) 立体撮像装置および立体撮像方法
US10234675B2 (en) Stereoscopic imaging apparatus
JP5491617B2 (ja) 立体撮像装置、および立体撮像方法
US20140218472A1 (en) Stereoscopic image display device and displaying method thereof
JP2013092768A (ja) 立体撮影装置
KR101873161B1 (ko) 컨버전스 매칭을 이용한 개인용 3차원 영상 제공 방법 및 장치
JP2013057698A (ja) 鏡筒アダプタ、レンズ鏡筒およびそれを用いた撮像装置
JPH08191462A (ja) 立体映像再生装置および立体撮影装置
JP2015094831A (ja) 立体撮像装置およびその制御方法、制御プログラム
US11119300B2 (en) Stereo microscope with single objective
KR101026686B1 (ko) 인터랙티브 입체 영상처리 시스템 및 방법, 그리고 인터랙티브 입체 영상처리장치
US8503874B2 (en) Apparatus for imaging three-dimensional image
JP6063662B2 (ja) 撮像装置及び撮像方法
WO2013015217A1 (ja) 立体画像処理装置および立体画像処理方法
TWI477885B (zh) 三維成像系統及方法
AU2011235264A1 (en) Stereo camera with preset modes
JP2016033566A (ja) 立体撮影装置
JP2011164504A (ja) レンズ鏡筒およびそれを用いた撮像装置

Legal Events

Date Code Title Description
RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20130701