JP2016177215A

JP2016177215A - 撮像装置

Info

Publication number: JP2016177215A
Application number: JP2015058932A
Authority: JP
Inventors: 朋和石原; Tomokazu Ishihara; 慎一郎廣岡; Shinichiro Hirooka; 中出　真弓; Mayumi Nakade; 真弓中出
Original assignee: Hitachi Industry and Control Solutions Co Ltd
Current assignee: Hitachi Industry and Control Solutions Co Ltd
Priority date: 2015-03-23
Filing date: 2015-03-23
Publication date: 2016-10-06

Abstract

【課題】可視光と赤外光の両方が含まれるシーンを撮影する場合であっても、どの波長に合焦するべきかを自動で判断して、所望の波長に合焦させることができる撮像装置を提供する。【解決手段】レンズ群１０１と、レンズ群１０１を光軸方向に移動させるレンズ駆動部１０２と、第１の波長帯と第２の波長帯に感度を持つイメージセンサ１０３と、イメージセンサ１０３の出力信号から第１の波長帯のエッジ量の積分値である第１の検波値を出力する第１の検波部１０５と、イメージセンサの出力信号から第２の波長帯のエッジ量の積分値である第２の検波値を出力する第２の検波部１０６と、第１の検波値１０５と第２の検波値１０６を所定の合成比率で合成して、オートフォーカス検波値を出力する検波値合成部１０７と、該オートフォーカス検波値に応じてレンズ駆動部１０２を制御するオートフォーカス制御部１０８と、を有する。【選択図】図１

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、例えば特許文献１がある。該公報には、「焦点位置調整装置およびカメラにおいて、簡素な構成により焦点位置調整時間を短縮することができるようにする」という課題を「焦点位置調整装置１１０は、被写体からの光を結像するレンズ１ａと、被写体の像を、少なくとも２つの異なる波長または波長帯域の光を撮像面で光電変換して、少なくとも可視領域画像信号２００ａ、赤外領域画像信号２０１ａを生成する撮像素子２および撮像制御部３と、撮像面に対して、レンズ１ａを光軸に沿う方向に移動させる焦点位置移動機構５と、生成された可視領域画像信号２００ａ、赤外領域画像信号２０１ａに基づいて、それぞれの波長または波長帯域での合焦状態を評価する合焦状態評価部と、合焦状態評価部の評価結果に基づいて、焦点位置移動機構５を駆動する移動制御部とを備える」ことで解決すると記載されている。

特開２０１０−２３０７７６

特許文献１では、例えば赤外光がオートフォーカス（ＡｕｔｏＦｏｃｕｓ，ＡＦ）の補助光として一時的に用いられているが、例えば最終的に撮影するシーンの中に可視光と赤外光の両方が光源として含まれるようなものに関しては考慮されていない。このようなシーンにおいては、最終的に可視光で合焦させるのが必ずしも良いとは限らず、どの波長に合焦すべきかを撮像装置が自動で選択できないことが課題となっていた。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。例えば、請求項１に記載の発明では、レンズ群と、レンズ群を光軸方向に移動させるレンズ駆動部と、第１の波長帯と第２の波長帯に感度を持つイメージセンサと、イメージセンサの出力信号から第１の波長帯のエッジ量の積分値である第１の検波値を出力する第１の検波部と、イメージセンサの出力信号から第２の波長帯のエッジ量の積分値である第２の検波値を出力する第２の検波部と、第１の検波値と第２の検波値を所定の合成比率で合成して、オートフォーカス検波値を出力する検波値合成部と、オートフォーカス検波値に応じてレンズ駆動部を制御するオートフォーカス制御部と、を備える構成とする。

可視光と赤外光の両方が含まれるシーンを撮影する場合であっても、どの波長に合焦するべきかを判断して、所望の波長に合焦させることができるという効果がある。

撮像装置の構成図（実施例１）撮像装置の構成図（実施例２）撮像装置の構成図（実施例３）撮像装置の構成図（実施例４）積算範囲の説明図（実施例４）積算範囲の説明図（実施例５）撮像装置の構成図（実施例６）

以下、本発明の実施形態を図面を用いて説明する。

図１は、本発明の実施例１の撮像装置１００を示す構成図である。
撮像装置１００は、本発明にかかる撮像装置である。撮像装置１００は、レンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、光学フィルタ着脱機構１０９、光学フィルタ制御部１１０、合成比率算出部１１１より構成される。

レンズ群１０１は、被写体から来る光を結像させるためのレンズの一式である。
レンズ駆動部１０２は、レンズ群１０１を光軸方向に移動させてズーム倍率及び焦点距離を調整することができる。

イメージセンサ１０３は、被写体から来る光を光電変換してＲＡＷ信号を出力する。イメージセンサ１０３は、複数の画素から構成され、各画素は、特定の波長帯の光を透過する特性の光学カラーフィルタと、光電変換素子から構成されている。イメージセンサ１０３は、各画素で光電変換された信号（以下、ＲＡＷ信号）を出力する。

映像信号処理部１０４は、ＲＡＷ信号を映像信号に変換する一連の処理を行い、一連の処理には、例えば、黒レベル減算処理、デモザイク処理、マトリクス処理、ホワイトバランス補正処理、ノイズ除去処理、エッジ強調処理、ガンマ補正処理などが含まれる。映像信号は、例えば輝度信号と色差信号で構成される。

波長１検波部１０５は、ＲＡＷ信号を元に、可視光（４００〜７００ｎｍ）（波長１）の波長感度特性をもつ波長１信号を計算し、波長１信号に含まれるエッジの量を空間方向に積分した波長１検波値を出力する。
波長２検波部１０６は、ＲＡＷ信号を元に、赤外光（７００〜１０００ｎｍ）（波長２）の波長感度特性をもつ波長２信号を計算し、波長２信号に含まれるエッジの量を空間方向に積分した波長２検波値を出力する。

検波値合成部１０７は、波長１検波部１０５の出力と、波長２検波部１０６の出力を、合成比率算出部１１１が出力する合成比率信号ｋ１に応じて合成する。波長１検波部１０５による波長１検波値の計算、波長２検波部１０６による波長２検波値の計算、検波値合成部１０７によるＡＦ検波値の計算は、例えば数１〜数３により表される。

ただし、数１〜数３において、ｘ、ｙは画像中の座標、Ｍ、Ｎは画像の大きさ、ｅｄｇｅ（Ｉ（ｘ，ｙ））は信号Ｉ（ｘ，ｙ）に含まれるエッジ成分を算出する関数、ｋ１は０から１の範囲の値をとる合成比率信号である。

検波値合成部１０７は、波長１信号と波長２信号に含まれるエッジの量をそれぞれ空間方向に積分した情報を組合せて、合焦状態を示す指標となるＡＦ検波値を計算する。波長１信号と波長２信号では、レンズ群１０１で発生する色収差のために合焦点が異なるため、検波値合成部１０７は、例えば数３のように、合成比率信号ｋ１を入力の一つとし、合成比率信号ｋ１を大きく設定することで可視光（４００〜７００ｎｍ）の波長によりよく合焦するように、合成比率信号ｋ１を小さく設定することで赤外光（７００〜１０００ｎｍ）の波長によりよく合焦するように調整が可能である。これにより、可視光と赤外光の両方が含まれるシーンを撮影する場合であっても、所望の波長に合焦させることができるという効果が得られる。

ＡＦ制御部１０８は、ＡＦ検波値によって合焦状態を判定して、例えば山登り法などの探索アルゴリズムに基づいて、レンズ駆動部１０２を制御して合焦させる。

光学フィルタ制御部１１０は、光学フィルタ着脱機構１０９による特定の波長の光を反射または吸収する光学フィルタの着脱を制御する。本実施例では、赤外光（７００〜１０００ｎｍ）を吸収する光学フィルタを用いることとする。

合成比率算出部１１１は、光学フィルタ制御部１１０による光学フィルタ着脱制御状態によって、合成比率信号ｋ１を出力する。光学フィルタに赤外光（７００〜１０００ｎｍ）のみを吸収するフィルタを使用する場合には、光学フィルタが有りの場合には合成比率信号ｋ１の値を１に設定することで可視光のみに合焦するように制御する。昼間は光学フィルタを装着することで、可視光のみに合焦して人の目で見たものと同様な自然な映像を得ることができ、夜間は光学フィルタをはずすことで、可視光から赤外光までの広い範囲の所望の波長に合焦でき、光学フィルタ有りと比べて高い感度を持つ映像を得ることができる。

次に、イメージセンサ１０３、映像信号処理部１０４に関して補足説明する。例えばイメージセンサ１０３は、４種類の画素で構成され、それぞれの画素の波長感度特性が、４００〜５００ｎｍ（Ｂ：可視光の青）・５００〜６００ｎｍ（Ｇ：可視光の緑）・６００〜７００ｎｍ（Ｒ：可視光の赤）・７００〜１０００ｎｍ（Ｉｒ：赤外光）となるように調整されている。映像信号処理部１０４が各画素フィルタを混合して輝度を生成することで可視光と赤外光の両方に感度を持たせることができる。また、イメージセンサ１０３に入力された信号から可視光（４００〜７００ｎｍ）の波長のみを取り出してＲ，Ｇ，Ｂの各色を生成することでカラーの映像信号を生成することができる。このようにして、可視光と赤外光の両方に感度を持ち、かつカラーの映像信号を出力することができるカメラを構成することができる。

なお、本実施例では波長１信号が感度を有する波長１を可視光（４００〜７００ｎｍ）、波長２信号が感度を有する波長２を赤外光（７００〜１０００ｎｍ）としたが、この組合せに限定されるものではない。例えば波長１または波長２のいずれかが他の不可視光、すなわち紫外光や１０００ｎｍ以上の遠赤外光であっても同様の効果を得ることが可能である。また、波長１信号が可視光と赤外光の両方に波長感度特性を有する構成や、あるいは波長２信号が可視光と赤外光の両方に波長感度特性を有する構成であっても構わない。例えば、イメージセンサ１０３が４種類の画素で構成され、それぞれの画素の波長感度特性が、ＢとＩｒ、ＧとＩｒ、ＲとＩｒ、Ｉｒとなるように調整されている場合に、波長１検波部１０５はＢとＩｒ、ＧとＩｒ、ＲとＩｒの波長感度特性の画素を用いてエッジの量を空間方向に積分したものを波長１検波値とし、波長２検波部１０６はＩｒの波長感度特性の画素を用いてエッジの量を空間方向に積分したものを波長２検波値とすれば、少ない計算量で可視光から赤外光までの広い範囲の所望の波長に合焦することが可能である。

図２は、本発明の実施例２の撮像装置２００を示す構成図である。
撮像装置２００は、本発明にかかる撮像装置である。撮像装置２００は、レンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、光源２１０、光源制御部２１１、合成比率算出部２１２より構成される。

図２のレンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、は、図１（実施例１）のものと同じ構成である。

光源２１０は、赤外光を照射して被写体を照らす光源である。光源制御信号に基づいて、照射状態ＯＮまたはＯＦＦに制御される。光源制御部２１１は、光源制御信号を光源２１０と、合成比率算出部２１２に出力する。合成比率算出部２１２は、光源制御信号に基づき、合成比率信号を計算し、検波値合成部１０７に出力する。

合成比率算出部２１２において、光源２１０がＯＮの場合には赤外光が多く検出されるため、合成比率算出部２１２は合成比率信号ｋ１の値を大きく設定して赤外光の波長により良く合焦するように検波値合成部１０７の合成比率の制御を行う。また、光源２１０がＯＦＦの場合には、合成比率算出部２１２は実施例１と同様に光学フィルタ制御部１１０による光学フィルタ着脱制御状態に従い合成比率信号ｋ１を出力する。この動作により、光源の状態に応じて、適切な波長に合焦させることができるという効果が得られる。

図３は、本発明の実施例３の撮像装置３００を示す構成図である。
撮像装置３００は、本発明にかかる撮像装置である。撮像装置３００は、レンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、時計部３１０、合成比率算出部３１１より構成される。

図３のレンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、は、図１（実施例１）のものと同じ構成である。

時計部３１０は、時刻を示す時刻信号を合成比率算出部３１１に出力する。合成比率算出部３１１は、時刻信号に基づき、可視光の波長が多い時間帯である日の出の時刻から日没の時刻の間はｋ１の値を大きく設定し、それ以外の可視光の波長が少ない時間帯ではｋ１の値を小さく設定する。上記の構成により、時刻に応じて、適切な波長に合焦させることができるという効果が得られる。

図４は、本発明の実施例４の撮像装置４００を示す構成図である。
撮像装置４００は、本発明にかかる撮像装置である。撮像装置４００は、レンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、波長１光量積算部４１１、波長２光量積算部４１２、合成比率算出部４１３より構成される。

図４のレンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、は、図１（実施例１）のものと同じ構成である。

波長１光量積算部４１１は、ＲＡＷ信号を元に、波長１信号の信号量を空間方向に積分した波長１光量積算値を出力する。波長２光量積算部４１２は、ＲＡＷ信号を元に、波長２信号の信号量を空間方向に積分した波長２光量積算値を出力する。

波長１光量積算部４１１と波長２光量積算部４１２は、あらかじめ決定されたもしくは外部から設定可能なそれぞれ所望の光量積算範囲にて演算を行う。合成比率算出部４１３は、波長１光量積算部４１１から出力される波長１光量積算値と、波長２光量積算部４１２から出力される波長２光量積算値に応じて、合成比率信号を計算し、検波値合成部１０７に出力する。

波長１光量積算部４１１による波長１積算値の計算、波長２光量積算部４１２による波長２積算値の計算、合成比率算出部４１３による合成比率の計算は、次の数４〜数６により表される。

図５は波長１光量積算部４１１及び波長２光量積算部４１２における光量を積算する範囲の説明図である。
画面全体５００は、ＲＡＷ画像の空間全体を示す。画面全体５００内で、波長１及び波長２の光量は、均一ではないとする。５１０は波長１信号の信号レベルが高い範囲、５１２は波長２信号の信号レベルが高い範囲をそれぞれ示している。被写体５１４は波長１の信号レベルが高い範囲内に配置されている。

光量積算範囲５１６は、図４の波長１光量積算部４１１及び波長２光量積算部４１２における光量を積算する光量積算範囲を示す。光量積算範囲５１６内では、波長１の信号量が比較的高く、波長２信号の信号量が比較的低い範囲となるようにとなっている。このような場合には、数４〜数６に従って、合成比率信号ｋ１は１．０に近い値となる。その結果、検波値合成部１０７において、波長１を主に含むＡＦ検波値が出力され、波長１を主に用いた合焦を行うことができる。

本実施例の手法により、波長ごとの光量の比率に応じて、適切な波長で合焦させることができ、図５のように、領域によって波長の異なるシーンにおいても、所望の被写体５１４に合焦できるようになる。

図４を用いて、本発明の実施例５を実施例４と動作が異なる部分のみを説明する。
波長１光量積算部４１１と波長２光量積算部４１２は、空間全体を示す画面全体５００を光量積算範囲として演算を行う。

検波値合成部１０７の動作を図６を用いて説明する。積算範囲６００は、ＲＡＷ画像の空間全体を示している。積算範囲６００内で、波長１及び波長２の光量は、均一ではないとする。６１０は波長１信号の信号レベルが高い範囲、６１１は波長２信号の信号レベルが高い範囲、６１２は波長１と波長２の光量が同レベルの範囲、６１３は被写体をそれぞれ示している。

検波値合成部１０７は、波長１光量積算部４１１と波長２光量積算部４１２の出力から、波長２光量積算部４１２の出力値の方が波長１光量積算部４１１より大きい場合には、図６のように波長２の光量が多い範囲が広いと判断し、合成比率ｋ１を光量積算値１／光量積算値２のように演算して０に近づけるように制御する。光量積算値１／光量積算値２の比率と所定の閾値を比較して、閾値以上のときにはｋ１＝１．０、閾値未満のときにはｋ１＝０．０となるような式として、より急峻にｋ１の値を変えることもできる
本実施例の手法により、画面全体の波長ごとの光量の比率に応じて、適切な波長で合焦させることができ、図６のように、領域によって波長が異なりその領域の広さも異なるシーンにおいても、所望の被写体７１３に合焦できるようになる。

図７は、本発明の実施例６の撮像装置７００を示す構成図である。
撮像装置７００は、本発明にかかる撮像装置である。撮像装置７００は、レンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、波長１光量積算部４１１、波長２光量積算部４１２、合成比率算出部４１３、画像認識部７１１より構成される。

図７のレンズ群１０１、レンズ駆動部１０２、イメージセンサ１０３、映像信号処理部１０４、波長１検波部１０５、波長２検波部１０６、検波値合成部１０７、ＡＦ制御部１０８、波長１光量積算部４１１、波長２光量積算部４１２、合成比率算出部４１３は、図１（実施例１）および図４（実施例４）のものと同じ構成である。

画像認識部７１１は、映像信号処理部１０４から出力される画像から、所望の被写体が画面全体のどの位置にあるかを認識し、認識位置信号を出力する。合成比率算出部４１３は、認識位置信号と波長１光量積算部４１１と波長２光量積算部４１２で積算している光量積算範囲から、所望の被写体がある領域において多い波長の検波値を検波値合成部１０７が多く合成するように、合成比率ｋ１を決定する。

また、合成比率算出部４１３は、認識位置信号から波長１光量積算部４１１と波長２光量積算部４１２の光量積算範囲を所望の被写体がある位置と設定し、波長１光量積算部４１１と波長２光量積算部４１２の出力値の大きいほうの波長の検波値を多く合成するように合成比率ｋ１を決定してもよい。

本実施例の手法により、所望の被写体のある領域の波長の光量の比率に応じて、適切な波長で合焦させることができ、所望の被写体６１３に合焦できるようになる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００：撮像装置、１０１：レンズ群、１０２：レンズ駆動部、１０３：イメージセンサ、１０４：映像信号処理部、１０５：波長１検波部、１０６：波長２検波部、１０７：検波値合成部、１０８：ＡＦ制御部、１０９：光学フィルタ着脱機構、１１０：光学フィルタ制御部、１１１：合成比率算出部、２００：撮像装置、２１０：光源、２１１：光源制御部、２１２：合成比率算出部、３００：撮像装置、３１０：時計、３１１：合成比率算出部、４００：撮像装置、４１１：波長１光量積算部、４１２：波長２光量積算部、４１３：合成比率算出部、５００：積算範囲、５１０：波長１の光量が多い範囲、５１２：波長２の光量が多い範囲、５１４：被写体、５１６：光量積算範囲、６００：積算範囲、６１０：波長１の光量が多いエリア、６１１：波長２の光量が多いエリア、６１２：波長１と波長２の光量が同程度のエリア、６１３：被写体、７００：撮像装置、７１１：画像認識部

Claims

レンズ群と、
前記レンズ群を光軸方向に移動させるレンズ駆動部と、
少なくとも第１の波長帯に感度を持つ画素と、少なくとも第２の波長帯に感度を持つ画素とを有するイメージセンサと、
前記イメージセンサの出力信号から第１の波長帯のエッジ量の積分値である第１の検波値を出力する第１の検波部と、
前記イメージセンサの出力信号から第２の波長帯のエッジ量の積分値である第２の検波値を出力する第２の検波部と、
前記第１の検波値と前記第２の検波値を所定の合成比率で合成して、オートフォーカス検波値を出力する検波値合成部と、
前記オートフォーカス検波値に応じて前記レンズ駆動部を制御するオートフォーカス制御部と、
を有する撮像装置。
レンズ群と、
前記レンズ群を光軸方向に移動させるレンズ駆動部と、
少なくとも第１の波長帯と第２の波長帯に感度を持つイメージセンサと、
前記イメージセンサの出力する第１の波長帯の信号と、前記イメージセンサの出力する第２の波長帯の信号と、を所定の合成比率で合成する信号合成部と、
前記信号合成部が出力する信号のエッジ量からオートフォーカス検波値を出力する合成波長検波部と、
前記オートフォーカス検波値に応じて前記レンズ駆動部を制御するオートフォーカス制御部と、
を有する撮像装置。
請求項１乃至２に記載の撮像装置であり、
所定の波長帯をカットする光学フィルタの着脱機構を有し、
前記光学フィルタの装着状態と非装着状態とで、前記所定の合成比率が異なることを特徴とする撮像装置。
請求項１乃至２に記載の撮像装置であり、
光源を有し、
前記光源の入状態と切状態とで、前記所定の合成比率が異なることを特徴とする撮像装置。
請求項１乃至２に記載の撮像装置であり、
時刻情報を出力する時計部を有し、
前記所定の合成比率が、前記時刻情報の示す時刻によって異なることを特徴とする撮像装置。
請求項１乃至２に記載の撮像装置であり、
前記所定の合成比率は、前記イメージセンサの出力する第１の波長帯の信号を積算した第１の光量積算信号と、前記イメージセンサの出力する第２の波長帯の信号を積算した第２の光量積算信号とに応じて制御されることを特徴とする撮像装置。
請求項１乃至２に記載の撮像装置であり、
前記所定の合成比率は、前記イメージセンサの出力する信号において、第１の波長帯の光量の多い領域の面積と、該所定の領域内において第２の波長帯の光量が多い領域の面積に応じて制御されることを特徴とする撮像装置。
請求項６に記載の撮像装置であり、
前記所定の被写体を認識する画像認識部を有し、
前記積算は、前記画像認識部によって認識された認識領域内の積算とすることを特徴とする撮像装置。
請求項７に記載の撮像装置であり、
前記所定の被写体を認識する画像認識部を有し、
前記面積は、前記画像認識部によって認識された検波領域内の積算によって算出することを特徴とする撮像装置。
請求項１乃至９に記載の撮像装置であり、
前記第１の波長帯は可視光であり、前記第２の波長帯は赤外光であることを特徴とする撮像装置。
請求項１乃至９に記載の撮像装置であり、
前記第１の波長帯は可視光と赤外光であり、前記第２の波長帯は赤外光であることを特徴とする撮像装置。
請求項１乃至９に記載の撮像装置であり、
前記第１の波長帯は可視光であり、前記第２の波長帯は可視光と赤外光であることを特徴とする撮像装置。