JP2016208204A - 画像撮影方法および画像撮影装置、プログラム - Google Patents

Abstract

【課題】手持ち撮影時でも置きピンと同様の手順で自動撮影位置を決定して自動撮影する機能を実現する。
【解決手段】撮影装置が、自動撮影領域までの距離を指定する距離指定手段と、撮影装置から自動撮影領域への向きを指定する方向指定手段を備える撮影装置であって、前記距離指定手段、前記方向指定手段の順で自動撮影領域を指定した後、前記自動撮影領域の方向から撮影装置の方向への相対角度を取得する相対角度取得手段と、前記相対角度から算出される自動撮影領域の方向に存在する物体への距離を得る距離取得手段と、前記物体への距離が前記距離と略一致した場合に自動撮影を実行する撮影手段とを備えることを特徴とする。
【選択図】図４

Description

本発明は、フォーカシング操作の操作性を向上させるための画像撮影方法、および画像撮影装置、プログラムに関する。

カメラを用いて移動する被写体を撮影する際のテクニックとして、置きピンと呼ばれる手法が知られている。置きピンとは、被写体の通過予想位置にピントを合わせた状態で被写体の通過を待ち、被写体の通過をトリガにして撮影を実行する撮影法である。特に、被写体の移動ルートを予測しやすいカーレースやトラック競技、鉄道車両の撮影などによく用いられている。

このような撮影法では、被写体の移動速度が速い場合に撮影タイミングを合わせるのが難しいため、撮影を自動化する方法が提案されている。

特許文献１には、線路形状に応じた画角・ピント・絞りなどのカメラ設定を自動的に行い、列車を適切に撮影する方法が述べられている。

また、特許文献２には、被写体を検出する識別マーカを保持させて、その位置を電動雲台で追尾することで自動撮影する方法が提案されている。

特開平０５−３３０４２５号公報 特開平０７−１１１６１１号公報

しかしながら、このように被写体の向きや距離を考慮する自動撮影システムでは撮影用カメラが固定されているのが前提となっており、手持ち撮影が考慮されていないという問題がある。小型カメラによる撮影の大半は手持ち撮影であり、三脚などを用いてカメラを固定するシチュエーションは少ない。また、状況によっては三脚や一脚の使用が制限されている場合もある。

本発明は、上記課題を解決するためになされたものであり、手持ち撮影時でも置きピンと同様の手順で自動撮影位置を決定して自動撮影する機能を実現することを目的とする。

上記の目的を達成するために、本発明に係る撮影装置は、自動撮影領域までの距離を指定する距離指定手段と、撮影装置から自動撮影領域への向きを指定する方向指定手段を備える撮影装置であって、前記距離指定手段、前記方向指定手段の順で自動撮影領域を指定した後、前記自動撮影領域の方向から撮影装置の方向への相対角度を取得する相対角度取得手段と、前記相対角度から算出される自動撮影領域の方向に存在する物体への距離を得る距離取得手段と、前記物体への距離が前記距離と略一致した場合に自動撮影を実行する撮影手段とを備えることを特徴とする。

本発明の撮影装置によれば、簡便な方法で移動被写体を適切に撮影することが可能となる。

実施例１における多視点撮影装置の外観を示す図である。 実施例１における多視点撮影装置の詳細構成を示した図である。 実施例１における多視点撮影装置を構成するカメラユニットの配置例である。 実施例１における自動撮影処理の流れを示すフローチャートである。 リフォーカス処理の流れを示すフローチャートである。 リフォーカス処理における仮想絞りパラメータを説明する図である。 プレーンスイープ法による距離推定処理を説明する図である。 プレーンスイープ法による距離推定処理の流れを示すフローチャートである。 実施例１におけるオブジェクト存在判定処理の流れを示すフローチャートである。 実施例１におけるオブジェクト存在判定処理の概要を示す図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

本発明による多眼方式の多視点撮影装置（以後、単に多眼カメラ）について述べる。本発明による多眼カメラは、通常シーンの撮影モードに加え、自動撮影モードを備える。自動撮影モードに設定された場合、後述する手順で被写体の予想通過位置を設定し、その位置を被写体が通過した場合に自動的に撮影を実行する。以後、この予想通過位置のことを、自動撮影領域と呼ぶ。

まず、多眼カメラの基本構成について述べる。図１は本実施形態に係る多眼デジタルカメラの概観を示す斜視図であり、図１（ａ）は正面、図１（ｂ）は背面の概観を示している。

図１において、多眼カメラ本体１００の正面には、カメラユニット１０１を複数配置したカメラアレイが設けられており、同時に複数視点の撮影画像を得ることができる。多眼カメラ本体１００の上部には、撮影開始を指示するためのレリーズボタン１０６が設けられている。多眼カメラを構成するカメラユニット１０１は撮影レンズ１０２、光学フィルタ１０３、撮像センサ１０４、周辺回路１０５で構成される。多眼カメラ本体１００の側面には、外部記録媒体（例えば、半導体メモリカード）を挿入するためのカードスロット１１３が設けられている。

多眼カメラ本体１００の背面には画像表示装置１０７、十字配置スイッチ１０８、電源ボタン１０９、メニューボタン１１０、決定ボタン１１１、キャンセルボタン１１２が設けられている。本実施形態では光学ファインダを設けていないので、フレーミング操作（ピントや構図の確認）は、画像表示装置１０７を用いて行う。画像表示装置１０７でライブビュー画像を確認しながら撮影を行うので、このフレーミングやフォーカシングの操作を行っている間は、画像表示装置１０７は電子ファインダとして機能する。

画像表示装置１０７には、撮影範囲をリアルタイムに表示するライブビュー表示を行う他、メニューボタン１１０を押下した場合にはカメラ設定メニューを表示する。カメラ設定メニューを表示した状態でメニューボタン１１０を押下した場合には、ライブビュー状態に戻る。また、画像表示装置１０７はタッチパネル２０９を備えており、ライブビュー中に撮影者が指定した位置をフォーカスエリアとして設定する。

メニューボタン１１０によって表示されるカメラ設定メニューでは、まず項目を選択し、選択された項目の状態を決定ボタン１１１で変更するか、キャンセルボタン１１２で変更せずに項目の選択に戻る。カメラ設定メニューで変更できる項目には、置きピン撮影モードや通常モードなどの撮影モード、ファイル出力形式の他、各カメラユニットが撮影時に使用する絞り値や、シャッタースピードなどを指定できる。本実施例では絞り値、シャッタースピード、撮影距離やズーム位置については、カメラアレイを構成する各カメラユニットに対して全て同じ設定にするものとするが、個別に設定しても良いことは言うまでもない。

本実施例におけるデジタルカメラでは、各カメラユニットの撮影画像をそのまま保存するか、フォーカシング操作時に指定した仮想撮影距離、仮想絞りパラメータにしたがってリフォーカス処理した出力画像を保存するか、その両方を保存するかを選択可能である。カメラユニットによる撮影画像を保存した場合、撮影後に被写界深度やピントをある程度調整できる。リフォーカス処理画像を保存することで、従来のデジタルカメラと同様の使い勝手のカメラを実現することができる。ピント面の調整可能範囲は、撮影時の各カメラユニットの実際の絞り値やカメラから被写体までの撮影距離に依存する。例えば本実施例における多眼カメラでは、撮影距離３ｍの場合、前後１０ｃｍ程度調整可能であるとする。仮想撮影距離、仮想絞りパラメータやリフォーカス処理の詳細については後述する。

図２は本実施形態の多眼カメラの回路構成を示すブロック図である。図２において、マイクロコンピュータ２００は、カメラユニット１０１が出力する画像データの処理や、ＬＣＤモニタ装置２０８の表示制御、タッチパネル２０９からの入力データ取得、各カメラユニットの電源制御指示をはじめ、カメラ全体の動作を制御する。

スイッチ（ＳＷ１）２０５は、レリーズボタン１０６（図１参照）の半押し状態でオンになり、スイッチ（ＳＷ１）２０５がオンすると本実施形態の多眼カメラは撮影準備状態になる。スイッチ（ＳＷ２）２０６は、レリーズボタン１０６が最後まで押された状態（全押し状態）でオンし、スイッチ（ＳＷ２）２０６がオンすると多眼カメラは静止画撮影を開始する。撮影準備状態時に決定された露光時間が経過した後、多眼カメラは静止画撮影を終了する。

図１に示したように、カメラユニット１０１は、撮影レンズ１０２、光学フィルタ１０３、撮像センサ１０４と周辺回路１０５で構成される。周辺回路１０５には、撮像装置制御回路２０１、画像処理回路２０２を含む。撮影装置制御回路２０１は、レンズ制御やシャッター制御などを行う。例えばレンズ制御として、撮影レンズ１０２との通信および撮影距離変更時の撮影レンズ１０２の駆動制御や絞り羽の駆動制御などを行う。また、シャッター制御によって、撮像素子１０４に対して適正な露光を行う。撮像装置１０４で得た画像データは画像処理回路２０２によって処理され、距離推定処理や画像合成処理などを行うためのバッファメモリ２０３へ伝送される。画像処理２０４は、バッファメモリ２０３に格納された画像データを用いて出力形式に応じた画像を生成する。

ＬＣＤモニタ２０８とバックライト照明２０７、タッチパネル２０９は、画像表示装置１０５を構成している。記録装置２１０は、例えばカードスロット１１１によってカメラ本体に着脱可能な半導体メモリカードや、外部端子（不図示）によって接続されるハードディスクドライブなどである。

図３は本実施例による多眼カメラのカメラユニット配置例である。矩形は多眼カメラを構成するカメラユニットで、矩形の並びは多眼カメラを正面から見た時のカメラユニットの配置を表している。カメラユニットの配置には、図３に示した（ａ）、（ｂ）のような様々なパターンが考えられるが、本実施例では（ａ）の配置を取る。図３中に示した矩形のうち、グレーで図示した中央のカメラユニットを以後、センターカメラユニットと呼ぶ。

(自動撮影モード)
図４は本発明による自動撮影処理の流れを示すフローチャートである。

まずステップＳ４０１で、自動撮影領域までの距離を決定する。撮影したい距離とほぼ同じ距離にある物体をファインダ視野の中央に合わせてスイッチ（ＳＷ１）２０５をオンすると、これをトリガにして測距を実施して、自動撮影領域までの距離とする。測距処理の詳細については後述する。

次にステップＳ４０２で、自動撮影領域の方向を決定する。ステップＳ４０１でスイッチ（ＳＷ１）２０５をオンした状態のまま、ファインダ中心を自動撮影領域の中心まで移動してスイッチ（ＳＷ１）２０５をオフすることで、自動撮影領域の方向を決定する。スイッチ（ＳＷ１）２０５をオフした時点でカメラが向いている方向を自動撮影領域の方向とする。本実施例では、スイッチ（ＳＷ１）２０５のオフで自動撮影領域の方向を決定したが、全押し状態で決定しても良いことは言うまでもない。なお、自動撮影領域の方向を決定した段階で、自動撮影領域の方向とカメラの方向との相対姿勢の取得を開始する（ステップＳ４０３）。本実施例では、カメラの相対姿勢は、自動撮影領域の方向からの相対角度であるとする。カメラの相対姿勢に、３次元空間上での位置や回転角度（いわゆる６軸位置）を含んでも良いことは言うまでもない。

ステップＳ４０４で、自動撮影状態を解除するかどうかの判定を行う。スイッチ（ＳＷ１）２０５が操作されるか、電源ボタン１０９、メニューボタン１１０、決定ボタン１１１、キャンセルボタン１１２のいずれかのボタンがオンされるか、タッチパネル２０９への入力があった場合、自動撮影状態を解除する。

ステップＳ４０５で、自動撮影領域の方向に対する距離推定処理を実行して被写体が存在するかどうかを判断し（ステップＳ４０６、オブジェクト存在判定処理）、存在する場合にはステップＳ４０７で撮影を実行する。

最後に、ステップＳ４０８でカメラの相対姿勢の取得を停止した後、自動撮影処理を終了する。

なお、自動撮影領域の距離や方向について、ファインダ中心とシャッターボタン（スイッチ（ＳＷ１）２０５，スイッチ（ＳＷ２）２０６）を用いて指定したが、これらをタッチパネル操作により指定しても構わない。例えば、ステップＳ４０１では、ファインダ像中のオブジェクトをタッチすることで、そのオブジェクトまでの距離を自動撮影距離とすることも考えられる。また、ステップＳ４０２では、ファインダ像中に自動撮影領域が含まれる状態で、その位置をタッチすることで決定しても良い。このような指定方法を行った場合、ファインダ像に距離を指定するためのオブジェクトと自動撮影領域が含まれている場合には、距離、方向を決定するための２箇所をタッチするだけで自動撮影領域を指定することが可能になる。

以下、本発明による多眼カメラを実現するためのリフォーカス処理、距離推定処理、対応座標点算出処理、およびオブジェクト存在判定処理の詳細について述べる。

（リフォーカス処理）
リフォーカス処理とは、多視点画像を合成し、撮影時とは異なる撮影距離や被写界深度の画像を生成する処理である。具体的には、被写界深度を決定するための仮想絞りパラメータ、撮影距離に相当する仮想撮影距離と撮像装置情報に基づいて、各多視点撮影画像をシフトした後重み付け加算して出力画像を得る。以下、図５に示すフローチャートを用いてリフォーカス処理の詳細を説明する。

まず、仮想絞りパラメータに基づいて各カメラユニットの撮影画像に対する重み係数を算出する（ステップＳ５０１）。本実施例では、各撮影画像に対する重み係数をガウス関数に従って決定する（図６）。この場合、被写界深度はガウス関数を決定する標準偏差の値によって決まる。被写界深度は、標準偏差が小さいほど深くなり、標準偏差が大きいほど浅くなる。

次に各カメラユニットによる撮影画像のシフト量を、仮想撮影距離に基づいて算出する（ステップＳ５０２）。仮想撮影距離をｄとした場合の対象画像Ｉｍの水平方向のシフト量△ｉ（ｍ、ｄ）および垂直方向のシフト量△ｊ（ｍ、ｄ）は以下の式で表される。

ここで、Ｗ、Ｈはそれぞれ画像の水平方向、垂直方向の画像サイズ、θｗはカメラユニットの水平視野角、θｈはカメラユニットの垂直視野角である。また、（ｓｍ，ｔｍ）は図５中のｘｙ平面上における対象カメラユニットＰｍの座標、（ｓ‘，ｔ’）はｘｙ平面上におけるセンターカメラユニットの撮像位置Ｐｃの座標である。

最後に、ステップＳ５０２で算出したシフト量に応じてずらした画像を、ステップＳ５０１で算出した重み係数をかけて合成する（ステップＳ５０３）。出力画像をＨとした場合、合成処理は次式で表される。

ここでｗｍは、カメラユニットｍによる撮影画像Ｉｍに対する重み係数である。

以上で説明したような処理を行うことで、各カメラユニットの撮影画像を、仮想撮影距離ｄに近いほど像のずれが少なくなるように画像を重ね合わせて合成できる。このような処理により、仮想撮影距離ｄにピントが合った画像を得ることができる。同様に、仮想絞りパラメータに応じて重み係数を決定することで、アウトフォーカス部分のぼけ量をコントロールすることができる。

以上で述べたリフォーカス処理は、各カメラユニットで得られる撮影画像がパンフォーカス画像であることを前提としている。しかしながら、レンズ性能に対して撮像センサの解像度が高い場合には、期待したようなパンフォーカス画像は得られない。また、パンフォーカス画像を得ようとすると光学絞り径を小さくするために露光時間が長くなり、手ぶれを生じやすくなるという問題もある。一方各カメラユニットで得た画像の被写界深度が浅い場合には、仮想撮影距離や仮想絞り値を撮影時と大きく異なる値に設定しても適切なリフォーカス処理画像を得ることは出来ない。

したがって、多眼カメラの筐体サイズを小さくしたい場合には特に、各カメラユニットに適切な絞りと撮影距離を設定して撮影を実行する必要がある。そのため、本実施例における多眼カメラは、フォーカシングのための機構を備える。本実施例では、通常のカメラに搭載されているコントラスト検出ＡＦ（オートフォーカス）処理と、複数のカメラユニットの撮影画像を用いて特定距離にオブジェクトが存在するかどうかを判定するオブジェクト存在判定処理の２種類のフォーカス判定機構を備える。前者は、センターカメラユニットで得られる撮影画像のみを用いてフォーカス制御を行う。そのため、従来のカメラと同様の操作感でフォーカス操作やフレーミング操作ができる。一方後者は、複数のカメラユニットを駆動するために消費電力が大きいものの、撮影距離を高精度に取得できる。

コントラスト検出ＡＦ処理は、撮影レンズを駆動して注目領域のコントラストが最も高くなる距離を探索し、その距離を撮影距離に設定する方式である。一方、オブジェクト存在判定処理は、プレーンスイープ法による距離推定処理の考え方に基づいて、指定された距離にオブジェクトが存在するかどうかを判定する。以下、プレーンスイープ法による距離推定処理と、各カメラユニットの対応画素を算出する対応座標算出処理について述べた後、オブジェクト存在判定処理の詳細について述べる。

（距離推定処理）
プレーンスイープ法による距離推定処理について、図７を用いて説明する。まず、仮想視点画像を構成する画素ｉを選択する（ステップＳ８０１）。本実施例では、仮想カメラ視点は、センターカメラユニットと同じ位置に設定する。次に、仮想カメラから画素ｉへの方向ベクトルを算出する。この方向ベクトルを含む直線を設定し（ステップＳ８０２）、この直線上の探索範囲を決定する（ステップＳ８０３）。この探索範囲について、例えば仮想カメラからの至近位置から無限遠方向へ、順に被写体距離を探索する。

具体的には、探索範囲を設定した直線上に仮の被写体距離となる点Ｆを配置し（ステップＳ８０４）、実際の撮影画像群からこの点Ｆに対応する画素を全て取得する（ステップＳ８０５）。仮の被写体距離とは、点Ｆを含む仮想ピント面と仮想カメラとの距離である。ここで、例えば図７（ｂ）のように仮想カメラの撮影範囲を６台のカメラでカバーしている場合、６枚の撮影画像からそれぞれ１画素ずつ合計６画素、点Ｆに対応する画素を取得する。点Ｆに対応する画素位置の算出処理（以後、対応座標点算出処理）については後述する。

このようにして得た画素群を用いて、点Ｆで指定した位置にオブジェクトが存在するかどうかを判断する。オブジェクトが存在するかどうかは、画素群のうち一定割合以上の画素が略一致するかどうかで判断できる。略一致しているかどうかは例えば、画素の特徴量の分散を用いて判定することが考えられる。まず、探索範囲全域について点Ｆを変化させた場合、仮の被写体距離毎の分散値を算出する（ステップＳ８０６、Ｓ８０７、Ｓ８１０）。次に、算出した分散のうち、最も分散が低くなる場合の点Ｆ_ｍｉｎに被写体が存在すると判断し、この時の被写体距離を画素ｉの被写体距離として採用する（ステップＳ８０８）。このような処理を、仮想視点画像の全ての画素に対して適用することで、画素毎の被写体距離情報を得ることができる（ステップＳ８０９）。

（対応座標算出処理）
カメラユニットや仮想カメラでの撮影画像上での点Ｆに対応する座標の算出方法について、図７（ｃ）を用いて説明する。図中のカメラＡは、例えば図７（ｂ）におけるカメラユニットＰや、仮想カメラに対応する。カメラＡによる撮影領域は、カメラＡを頂点、水平画角をθ_Ｈ、水平画角をθ_Ｖとなる四角錘をした空間となる。この空間においてカメラＡからの撮影距離を１とした平面を撮影領域投影面とする。

まず、実空間をマッピングした座標系において、カメラＡの位置ベクトルをＸ_Ｃ、カメラＡから撮影領域投影面の中心ＣへのベクトルをＸ_Ｖとする。撮影領域投影面の上方向をＸ_ＶＶ，右方向をＸ_ＶＨとする。ここで、Ｘ_ＶＶ、Ｘ_ＶＨは単位ベクトルとする。また、点Ｆに対応する、撮影領域投影面上での座標を点Ｐとする。点Ｐの位置ベクトルpは、次式で表すことが出来る。

ここで、

とする。なお、ｔは転置行列を示す。このカメラによる撮影画像の水平画素数をＮ_Ｈ、垂直画素数をＮ_Ｖ、画像の左上を原点とし、右方向をＸ成分の正の方向、下方向をＹ成分の正の方向とすると、撮影画像上での点Pに対応する画素の座標（ p_x, p_y ）は、次式で表すことができる。

ここで、p = ( p₀, p₁, p₂)とする。

以上で述べたような式を用いて、各カメラユニットおよび仮想カメラの撮影画像上での点Ｆに対応する画素の座標を計算できる。

（オブジェクト存在判定処理）
ステップＳ８０６〜８０９を用いて説明したように、空間上のある領域にオブジェクトが存在するかどうかは、各カメラユニットの撮影画像上での対応画素群の画素値が略一致したかどうかで判定可能である。本実施例における自動撮影領域の実行判定処理の流れを、図９に示す。

まずステップＳ９０１で、自動撮影領域に含まれる点Ｆの位置を決定する。点ＦはステップＳ４０２で決定した方向からカメラの方向への相対角度θｒ、および自動撮影領域までの距離Ｓを用いて決定する（図１０）。

次に、ステップＳ９０２で、各カメラユニットの撮影画像上における点Ｆの対応点を算出する。対応点は、対応座標算出処理によって行う。ここで、センターカメラユニットは全画素読み出しを行い、その他のカメラユニットは点Ｆに対応する画素とその近傍画素のみを撮像センサから読み出すことで、大幅な消費電力削減を実現できる。センターカメラユニットを全画素読み出しするのは、画像表示装置１０７にファインダ像に相当する映像を表示する必要があるためである。したがって、ファインダ像の表示が必要ない場合には、センターカメラユニットについても読み出し画素を制限しても良い。

最後にステップＳ９０３で、対応点の色が略一致したかどうかを判定する（以後、略一致判定）。本実施例における略一致判定は例えば、距離推定処理で説明したように画素の特徴量の分散値で判定する。予め定めた値よりも分散が小さい場合は自動撮影領域にオブジェクトが存在し、そうでない場合は存在しないと判定する。略一致判定は、Ｋ−ｍｅａｎｓ法を用いて行うことも出来る。例えば、カメラ台数の１／３程度の数のクラスタを初期クラスタとして画素値のクラスタリングを実行し、収束状態での最大クラスタに属する画素数の割合に基づいて略一致したかどうかを判定することが考えられる。

以上で説明したように、カメラを用いて自動撮影領域までの距離、方向、構図を順に決定して自動撮影を実行することで、撮影者の意図に沿った適切な撮影画像を得ることが可能になる。また、多眼カメラを利用して自動撮影の実行判定を行うことで、消費電力を削減できる。

２００ マイクロコンピュータ

Claims (2)

1. 自動撮影領域までの距離を指定する距離指定手段と、
   撮影装置から自動撮影領域への向きを指定する方向指定手段
   を備える撮影装置であって、
   前記距離指定手段、前記方向指定手段の順で自動撮影領域を指定した後、前記自動撮影領域の方向から撮影装置の方向への相対角度を取得する相対角度取得手段と、
   前記相対角度から算出される自動撮影領域の方向に存在する物体への距離を得る距離取得手段と、
   前記物体への距離が前記距離と一致した場合に自動撮影を実行する撮影手段
   を備えることを特徴とする撮影装置。
2. 前記撮影装置は複数の撮影ユニットで構成され、
   前記撮影手段は、各撮影ユニットで得られる撮影画像のうち、前記自動撮影領域までの距離、および各撮影ユニットと自動撮影領域の方向の相対角度に応じて決定した小領域の色情報に基づいて、物体への距離が前記距離に一致したかどうかを判定することを特徴とする請求項１に記載の撮影装置。