JP2017215500A - 画像処理装置、撮像装置、画像処理システム、画像処理装置の制御方法及びプログラム - Google Patents

Abstract

【課題】画角の異なる複数の光学系が存在する場合においても、適切な合焦状態を保てる撮影装置を提供する。【解決手段】撮像装置１００は、複数の異なる焦点距離の光学系で撮像された画像を取得する取得手段と、画像から被写体を検出する被写体検出部１０７ａと、焦点位置の調節の制御を行うＡＦ制御部１０７ｂと、を有する。ＡＦ制御部１０７ｂは、被写体が検出されなかった画像を撮像した第１の光学系の焦点位置を、前記被写体が検出された画像を撮像した第２の光学系の焦点位置に基づいて決定する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像処理システム、画像処理装置の制御方法及びプログラムに関する。

近年、撮像装置の高性能化、多機能化に伴い、複数の光学系を有する多眼の撮像装置が提案されており、複数の撮像素子のピント制御方法についても多くの提案がなされている。例えば、特許文献１では、多眼カメラにおいてフォーカスブラケット撮影を行う際に、光学系ごとにフォーカスサーチ範囲を設定するとともに、光学系ごとにピント調整を行う方法が開示されている。特許文献２では、２眼の立体撮影装置において、一方の光学系でピント調整を行い、この情報と補正情報に基づいて他方の光学系のピント調整を行う装置が開示されている。

特開２０１３−３０９６２号公報 特開平８−２４２４６８号公報

しかしながら、特許文献１または特許文献２の技術では、狭い画角を持つ光学系のピント調整が適切に行えない場合があり、画角の異なる複数の光学系が存在する場合にはそのまま適用できない。

本発明は、画角の異なる複数の光学系が存在する場合においても、適切な合焦状態を保てる撮影装置を提供することを目的とする。

上記課題を解決するために、本発明は、複数の異なる焦点距離の光学系で撮像された画像を取得する取得手段と、前記画像から被写体を検出する検出手段と、焦点位置の調節の制御を行う制御手段と、を有し、前記制御手段は、前記被写体が検出されなかった画像を撮像した第１の光学系の焦点位置を、前記被写体が検出された画像を撮像した第２の光学系の焦点位置に基づいて決定する。

本発明によれば、画角の異なる複数の光学系が存在する場合においても、適切な合焦状態を保てる撮影装置を提供することができる。

多眼撮影装置の構成を示す図である。 画角の異なる光学系の取得画像と被写体位置の関係を示す図である。 処理の流れ、処理システム及び焦点調節を説明する図である。 第２実施形態の処理の流れ示すフローチャートである。

（第１実施形態）
図１は、第１実施形態に係る撮像装置の構成を示す図である。図１（Ａ）は、第１実施形態における撮像装置１００の外観図である。多焦点撮像装置である撮像装置１００の前面には、複数の光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが配置されている。スイッチ１０６ａは、操作部の１つで自動復帰型の押しボタンスイッチである。スイッチ１０６ａは指などで操作され、軽く押し込むことでスイッチＳ１がＯＮとなり、奥まで押し込むことでスイッチＳ２がＯＮとなる。押し込む指を離すと押し込む前の状態へと復帰し、スイッチＳ１、スイッチＳ２のそれぞれはＯＦＦとなる。スイッチＳ１のＯＮにより、焦点や明るさの調整を行い、スイッチＳ２のＯＮにより、静止画の撮像や動画撮影の開始と終了を行う。

図１（Ｂ）は、撮像装置１００のシステム構成を示すブロック図である。光学系１０１ａ、１０１ｂ、１０１ｃは結像光学系であり、複数の結像光学系は結像光学系群を構成する。結像光学系１０１ａ、１０１ｂ、１０１ｃの画角は、互いに異なっている。なお、画角は後述する撮像素子のサイズと結像光学系の焦点距離によって決まる。同じサイズの撮像素子を用いた場合は、光学系の焦点距離は少なくとも２つ以上存在するように構成されている。

撮像素子１０２ａ、１０２ｂ、１０２ｃは、光学系１０１ａ、１０１ｂ、１０１ｃのそれぞれに導かれる光線を光電変換する複数の画素を有する撮像素子である。図１（Ａ）には４つの光学系１０１ａ、１０１ｂ、１０１ｃ、１０１ｄが例示されており、図１（Ｂ）にはそのうち３つの光学系１０１ａ、１０１ｂ、１０１ｃまでの構成を記載し、光学系１０１ｄの記載を省略した。なお、撮像素子が備える光学系の数はこれに限定されず、画角の異なる光学系が２つ以上存在すればよい。

フォーカスレンズ１０９ａ、１０９ｂ、１０９ｃは、それぞれ光学系１０１ａ、１０１ｂ、１０１ｃに含まれたフォーカスレンズである。レンズ駆動部１０３は、フォーカスレンズ１０９ａ、１０９ｂ、１０９ｃを個別にまたは連動して駆動し、被写体へと焦点を合わせるフォーカス駆動などのレンズ駆動を行う。画像処理部１０４は、複数の撮像素子からの信号を処理して出力画像を生成する画像処理部である。画像表示部１０５は、生成された画像を表示する。操作部１０６は、ユーザーの指示を受け付けるための複数の操作手段を有し、前述したスイッチ１０６ａなどを含む。

制御部１０７は、カメラシステム全体の制御を行うカメラシステム制御部である。制御部１０７は、被写体検出部１０７ａとＡＦ制御部１０７ｂを有する。被写体検出部１０７ａは、光学系から得られた信号をもとに被写体検知を行う。ＡＦ制御部１０７ｂは、被写体検出部１０７ａの検出結果に基づいて、適当なフォーカスレンズ制御方法を決め、レンズ駆動部１０３へと指示を送り、フォーカスレンズの駆動の制御を行う。メモリ部１０８は、取得した画像を記憶する記憶部である。

図２及び図３を用いて、ＡＦ制御部１０７ｂの動作と第１のＡＦモード、第２のＡＦモードについて説明する。ＡＦはＡｕｔｏ Ｆｏｃｕｓの略であり、自動焦点検出の意味で用いている。図２は、画角の異なる光学系の取得画像と被写体位置の関係を示す図である。図２（Ａ）及び図２（Ｂ）は、相対的に画角の狭い光学系にも主被写体が写っている様子を示す図である。図２（Ｃ）及び図２（Ｄ）は、相対的に画角の広い光学系には主被写体が写っているが、画角の狭い光学系には主被写体が写っていない様子を示す図である。図２（Ｅ）は、図２（Ａ）及び図２（Ｂ）に示した状態を上から観察した様子を模式的に表した図である。図２（Ｆ）は、図２（Ｃ）及び図２（Ｄ）に示した状態を上から観察した様子を模式的に表した図である。

図２（Ａ）〜図２（Ｄ）において、撮影範囲１１１ａは相対的に広い画角を持つ光学系の撮影範囲を、撮影範囲１１１ｂは相対的に狭い画角を持つ光学系の撮影範囲を示している。図２（Ａ）〜図２（Ｆ）において、主被写体１２１は主被写体を、背景被写体１２２は背景被写体を示している。図２（Ｅ）及び図２（Ｆ）において、撮影範囲１３０ａを示す実線は、相対的に広い画角を持つ光学系の撮影範囲を示しており、撮影範囲１３０ａは撮影範囲１１１ａに対応している。撮影範囲１３０ｂを示す実線は、相対的に狭い画角を持つ光学系の撮影範囲を示しており、撮影範囲１３０ｂは撮影範囲１１１ｂに対応している。

まず、図２（Ａ）及び図２（Ｂ）に示す場面について説明する。このときの主被写体１２１と撮像装置１００の関係を図示したのが、図２（Ｅ）である。相対的に広い画角を持つ光学系の撮影範囲１３０ａ及び相対的に狭い画角を持つ光学系の撮影範囲１３０ｂの両方の内側に、主被写体１２１が存在している。ＡＦを行う場合、まず、被写体検出部１０７ａによって被写体の検出が行われる。具体的には、相対的に広い画角を持つ光学系の信号をもとに公知の被写体検知技術を利用して、被写体の検知を行う。図２（Ａ）及び図２（Ｂ）に示す場面では、いずれの光学系にも主被写体１２１が写っている。そこで、ＡＦ制御部１０７ｂは複数の光学系が個別に焦点調節を行うように指示する。

このように、複数の光学系が個別に焦点調節を行うモードが、第１のＡＦモードである。第１のＡＦモードでは、個別の光学系においてそれぞれの光学系の収差などを加味してより正確な焦点調節が可能となる。例えば、図２（Ａ）及び図２（Ｂ）のそれぞれにおいて、主被写体１２１を含むように測距枠（ＡＦ処理のための用いる領域）を設定し、個別に位相差ＡＦやコントラストＡＦなどを行えばよい。

次に、図２（Ｃ）及び図２（Ｄ）に示す場面について説明する。このときの主被写体１２１と撮像装置１００の関係を図示したのが、図２（Ｆ）である。主被写体１２１が、相対的に広い画角を持つ光学系の撮影範囲１３０ａの内側、かつ、相対的に狭い画角を持つ光学系の撮影範囲１３０ｂの外側にあたる領域に存在していることが分かる。また、図２（Ｆ）の破断線は、距離のスケールが異なることを示しており、背景被写体１２２は主被写体１２１とは異なる距離（例えば、無限遠）にあることを示している。このような状況は、自由な構図をユーザーが選択した場合に発生する可能性がある。

このように、主被写体１２１が広い画角を持つ光学系の撮影範囲には含まれているが、狭い画角を持つ光学系の撮影範囲には含まれていない状況でも、ＡＦを行う場合、まず、被写体検出部１０７ａによって被写体の検出が行われる。図２（Ｃ）及び（Ｄ）に示す場面では、相対的に画角の広い光学系には主被写体１２１が写っているが、画角の狭い光学系には主被写体１２１が写っていない。個別に焦点調節を行った場合は、相対的に画角の広い光学系は主被写体１２１に焦点が合うが、画角の狭い光学系は主被写体１２１が存在する面に焦点調節がなされず、背景被写体１２２に焦点が合ってしまう。そこで、ＡＦ制御部１０７ｂは、まず相対的に画角の広い光学系（被写体が検出された画像を撮像した第２の光学系）において焦点調節を行う。そして、相対的に画角の広い光学系の焦点位置に基づいて相対的に画角の狭い光学系（被写体が検出されなかった画像を撮像した第１の光学系）における焦点調節するように指示を行う。

このように、複数の光学系が連動して焦点調節を行うモードが、第２のＡＦモードである。第２のＡＦモードで焦点調節し、撮像を行うと、異なる画角の光学系から得られた画像を合成処理する際に、同じ（非常に近い）焦点状態での画像を用いることが可能なことから、高品位な合成画像を出力可能となる。例えば、図２（Ｃ）において、主被写体１２１を含むように測距枠を設定して個別に位相差ＡＦやコントラストＡＦなどを行い、図２（Ｄ）においてはＡＦを用いず、図２（Ｃ）から求めた焦点位置を参照して焦点調節すればよい。第２のＡＦモードで焦点調節をすることで、相対的に画角の狭い光学系は背景被写体１２２に焦点を合わせることなく、主被写体１２１が存在する面に焦点調節がなされる。

図３を用いて、処理の流れと光学系の焦点調節が行われる位置について説明する。図３（Ａ）は、本実施形態の焦点調節の流れを示すフローチャートである。図３（Ｂ）は、情報処理装置を含めた撮影システムを示す図である。図３（Ｃ）は、主被写体が相対的に画角の広い光学系には写っているが画角の狭い光学系には写っていない場合において、第２のＡＦモードを用いない場合の焦点位置を示した図である。図３（Ｄ）は、主被写体が相対的に画角の広い光学系には写っているが画角の狭い光学系には写っていない場合において、第２のＡＦモードを用いた場合の焦点位置を示した図である。

図３（Ａ）を用いて、処理の流れを説明する。ステップＳ１００は、動作の開始を示す。例えば、スイッチ１０６ａが軽く押し込まれ、スイッチＳ１がＯＮとなったときに動作が開始される。ステップＳ１１０では、被写体検知を行う。具体的には、制御部１０７内に設けられた被写体検出部１０７ａが、被写体が存在する領域を判断する。図２の説明でも述べたとおり、相対的に広い画角を持つ光学系からの出力信号をもとに、公知の被写体検知技術を利用して被写体を検知する。また、このとき被写体検出を行う画像を、最も広い画角を有する焦点距離の最も短い光学系で撮像した画像において行うようにしてもよい。

ステップＳ１２０において、ＡＦ制御部１０７ｂは、主被写体が相対的に狭い画角の光学系にも写っているか否か判定する。主被写体が相対的に狭い画角の光学系にも写っている場合にはステップＳ１３０に進み、第１のＡＦモードでのＡＦが行われる。主被写体が相対的に狭い画角の光学系には写っていない場合にはステップＳ１４０に進み、第２のＡＦモードでのＡＦが行われる。

ステップＳ１３０では、第１のＡＦモードで焦点調節が行われるため、複数の光学系が個別に焦点調節を行う。ステップＳ１４０では、第２のＡＦモードで焦点調節が行われるため、相対的に広い画角の光学系のＡＦの結果に基づいて、相対的に狭い光学系の焦点調節を行う。設計上被写体の距離とフォーカスレンズの停止位置は１：１に対応するので、相対的に広い画角の光学系のフォーカスレンズの停止位置から被写体距離を推定し、同じ距離の被写体に焦点が合うように相対的に狭い画角の光学系の焦点調節を行う。このとき、第２のＡＦモードにおいて、まず、最も広い画角を有する焦点距離の最も短い光学系で焦点調節を行い、この焦点調節の結果に基づいて他の焦点距離の光学系の焦点位置を決定するようにしてもよい。
ステップＳ１５０は、ＡＦ動作の停止を示すステップである。

図３（Ｂ）は、画像処理システムのイメージを示した図である。撮像装置１００は、画像処理装置である情報処理装置２００に接続されている。撮像装置１００では、異なる画角の光学系から取得した画像データをそのまま個別に記録する。そして、画角の異なる各光学系から取得した画像データを情報処理装置２００に送信し、情報処理装置２００において画像の合成を行う。なお、図３（Ｂ）に示したように撮像装置と情報処理装置を個別の装置で実現するのではなく、一つの撮像装置に画像処理装置の機能を備えるようにしてもよい。

ここで、異なる画角の光学系から得られた画像に行う画像処理について述べる。画像処理においては、少なくとも露光時間が重複するように取得された複数の画像を合成する処理を行う。画像を合成する場合に、例えば、異なる焦点距離の光学系１０１ａ、１０１ｂ、１０１ｃの画像を利用してズームレンズのような画像を提示する処理や、複数のセンサの信号を利用してノイズを低減する処理等を施す。ノイズを低減する処理とは、複数の撮像素子からの信号を加算平均することで平滑化してノイズを低減する技術である。

図３（Ｃ）は、第２のＡＦモードを用いない場合の各光学系の焦点位置を模式的に示した図である。図２（Ｃ）及び図２（Ｄ）に示すように、相対的に狭い画角の光学系には主被写体が写っておらず、例えば無限遠にある背景被写体１２２のみが捉えられているとする。第１のＡＦモードを用いた場合、相対的に狭い画角の光学系の焦点は無限遠である破線３０１の位置に設定される。一方で、相対的に広い画角の光学系は主被写体１２１に焦点が合い、破線３０２の位置に焦点面が形成される。

焦点が無限遠である破線３０１の位置に設定されるため、相対的に狭い画角の光学系では背景被写体１２２はくっきりと撮像される。一方で、相対的に広い画角の光学系では、より撮像装置１００に近い破線３０２の位置に焦点が設定されるため、背景被写体１２２はぼけて撮影される。異なる画角の光学系から得られた画像を合成処理する際に、ボケ状態を調整するなどの余分な処理を減らし、オクルージョン部の処理が自然になされるという効果が得られるため、同じ被写体は同じボケ状態で取得されていることが望ましい。

図３（Ｄ）は、第２のＡＦモードを用いた場合の各光学系の焦点位置を模式的に示した図である。図３（Ｃ）と同じく、相対的に狭い画角の光学系には主被写体が写っておらず、例えば無限遠にある背景被写体１２２のみが捉えられているとする。第２のＡＦモードでは、まず、相対的に広い画角の光学系で焦点調節を行い、主被写体１２１に焦点が合うよう破線３０３で示した位置に相対的に広い画角の光学系の焦点面が形成される。そして、相対的に狭い画角の光学系でも、相対的に広い画角の光学系と同じ破線３０３で示した位置に焦点が合うように焦点面が形成される。この場合、相対的に狭い画角の光学系で撮像した背景被写体１２２も、相対的に広い画角の光学系で撮像した背景被写体１２２も、同じボケ状態で取得することができる。

以上説明したように、本実施形態の撮像装置は、焦点を個別に調節する第１のＡＦモードと、画角が相対的に広い光学系の情報をもとに画角の狭い光学系の焦点位置を決定する第２のＡＦモードを備えている。そのため、場面（被写体検出結果）に応じてこれらを適切に切り替えることで、焦点精度を維持しつつ画像合成に適した画像を取得することができる。

（第２実施形態）
図４は、第２実施形態処理の流れを示すフローチャートである。第２実施形態においては、第１のＡＦモードで焦点調節を行った結果を用いて、第２のＡＦモードにおける頂点調節の際に、光学系間のキャリブレーションを行い、焦点調節の精度をより高める。図４において図３（Ａ）と同じ処理を施すステップには、同じ番号を付した。ここでは第１実施形態との違いについてのみ説明する。

図４では、第１のＡＦモードであるステップＳ１３０の後にステップＳ２１０が設けられ、第２のＡＦモードであるステップＳ１４０の後にステップＳ２２０が設けられている。ステップＳ２１０では、第１のＡＦモードにおいて同一の被写体に合焦した場合における、相対的に広い画角の光学系と相対的に狭い画角の光学系のフォーカスレンズの位置情報（停止位置の情報）を記録する。記録は、例えば、フォーカスレンズの位置情報のテーブルを生成し、それを記録する。そして、ステップＳ２２０において、ステップＳ２１０で生成したフォーカスレンズの位置情報のテーブルを参照して、相対的に狭い画角の光学系のフォーカスレンズ位置を決定する。

図３（Ａ）の例では、第２のＡＦモードの際に設計的に求められた値を用いてフォーカスレンズの停止位置を決定していたが、設計値を利用した焦点調節では製品の製造誤差等の影響が生じてしまう。そのため、ステップＳ２１０で同じ距離の被写体に焦点を合わせたときの相対的に広い画角の光学系と相対的に狭い画角の光学系のフォーカスレンズ停止位置の対応関係を記録し、これをステップＳ２２０で利用するのである。フィールドで校正された値を参照できるので、製品の製造誤差を吸収して高精度な焦点調節が可能となる。

図４では、さらにステップＳ２１０とステップＳ２２０の後に、ステップＳ２３０が設けられている。ステップＳ２３０は、出力用画像を生成するステップである。複数の光学系から得られる画像を合成して１つの出力画像を生成する画像処理手段を、外部の画像処理装置ではなく撮像装置１００内の画像処理部１０４に設けた例である。撮像装置１００内で異なる画角の光学系から得られた画像に対して画像処理が施されたのちに、出力画像がメモリ部１０８に記録される。撮像装置１００の内部に画像処理装置を備えたことで、撮像装置１００のみで様々な効果の画像を得ることが可能となる。

以上説明したように、本実施形態の撮像装置は、焦点を個別に調節する第１のＡＦモードと、画角が相対的に広い光学系の情報をもとに画角の狭い光学系の焦点位置を決定する第２のＡＦモードを備えている。そのため、場面（被写体検出結果）に応じてこれらを適切に切り替えることで、焦点精度を維持しつつ画像合成に適した画像を取得することができる。また、第２のＡＦモードにおいて、相対的に広い画角の光学系と相対的に狭い画角の光学系のフォーカスレンズ停止位置の対応関係に関する情報に基づき画角の狭い光学系の焦点位置を決定することで、焦点精度をより高めることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０４ 画像処理部
１０７ カメラシステム制御部
１０７ａ 被写体検出部
１０７ｂ ＡＦ制御部

Claims (9)

1. 複数の異なる焦点距離の光学系で撮像された画像を取得する取得手段と、
   前記画像から被写体を検出する検出手段と、
   焦点位置の調節の制御を行う制御手段と、を有し、
   前記制御手段は、前記被写体が検出されなかった画像を撮像した第１の光学系の焦点位置を、前記被写体が検出された画像を撮像した第２の光学系の焦点位置に基づいて決定する
   ことを特徴とする画像処理装置。
2. 前記検出手段は、前記異なる焦点距離のうち、最も短い焦点距離の光学系で撮像された画像から被写体を検出し、
   前記制御手段は、該被写体が前記最も短い焦点距離の他の焦点距離の光学系で撮像された画像で検出されたか判定し、前記第１の光学系を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記被写体が前記複数の異なる焦点距離の光学系で撮像された全ての画像で検出された場合、各光学系がそれぞれ前記被写体に合焦するよう焦点位置の調節の制御を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記第１の光学系の焦点位置を、前記第２の光学系の焦点位置に基づいて決定する場合に、前記複数の異なる焦点距離の光学系が同一の被写体に合焦した場合における、各光学系が有するフォーカスレンズの位置情報の対応関係を示す情報に従って該光学系の焦点位置を決定することを特徴とする請求項１乃至３のうちいずれか１項に記載の画像処理装置。
5. 前記複数の異なる焦点距離の光学系で撮像された画像を合成する合成手段をさらに有することを特徴とする請求項１乃至４のうちいずれか１項に記載の画像処理装置。
6. 複数の異なる焦点距離の光学系と、
   前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
   請求項１乃至５のうちいずれか１項に記載の画像処理装置と、を有する撮像装置。
7. 複数の異なる焦点距離の光学系と、
   前記複数の光学系のそれぞれに対応して設けられた複数の撮像素子と、
   請求項１乃至４のうちいずれか１項に記載の画像処理装置と、を有する撮像装置と、
   前記複数の異なる焦点距離の光学系で撮像された画像を合成する合成手段を有する情報処理装置と、を備えることを特徴とする画像処理システム。
8. 複数の異なる焦点距離の光学系で撮像された画像を取得する取得工程と、
   前記画像から被写体を検出する検出工程と、
   焦点位置の調節の制御を行う制御工程と、を有し、
   前記制御工程では、前記被写体が検出されなかった画像を撮像した第１の光学系の焦点位置を、前記被写体が検出された画像を撮像した第２の光学系の焦点位置に基づいて決定する
   ことを特徴とする画像処理装置の制御方法。
9. コンピュータを請求項１乃至５のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。

Images