JP2019197948A

JP2019197948A - 撮像装置およびその制御方法

Info

Publication number: JP2019197948A
Application number: JP2018089322A
Authority: JP
Inventors: 小野　光洋; Mitsuhiro Ono; 光洋小野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-05-07
Filing date: 2018-05-07
Publication date: 2019-11-14

Abstract

【課題】視認性を向上した可視光画像と非可視光画像の合成画像を生成する撮像装置を提供すること。【解決手段】撮像装置１００は、可視光による撮像を行い、可視光画像を取得する可視光撮像部２０１と、非可視光による撮像を行い、非可視光画像を取得する非可視光撮像部２０２と、可視光画像の色情報に応じて可視光画像と非可視光画像の合成比率を決定する色判定部２０３と、色判定部２０３が決定した合成比率で可視光画像と非可視光画像を合成して合成画像を生成する合成部２０６と、を備える。【選択図】図２

Description

本発明は、撮像装置およびその制御方法に関する。

低照度下でのカラー画像撮像のため、可視光による撮像で得られた画像と非可視光による撮像で得られた画像を合成し、合成画像を生成する撮像装置がある。非可視光は、例えば赤外光（赤外線）であり、非可視光による撮像では可視光では撮像できない特徴を撮像することができる。一方、可視光による撮像では色情報を取得することができる。合成画像は、非可視光画像の必要な情報と可視光画像の色情報が残った画像となる。特許文献１は、可視光信号と赤外光信号を合成する際に、可視光画像上で赤外光画像に重畳する領域と重畳しない領域とを設定し、可視光画像と赤外光画像の重畳を領域によって制御する撮像装置を開示している。

特許第４６１５５３６号公報

しかしながら、特許文献１に開示されている領域によって合成の比率を異ならせる方法では、所望の合成画像を得られない場合がある。例えば、自動車のヘッドライトのフレアにより明るくなったナンバープレートと信号や車体などの状況を確認できる画像を取得したい場合、ナンバープレートの部分は赤外光で撮像した画像を、道路状況は可視光で撮像した画像を使用する必要がある。しかし、画像内の領域によって可視光画像と赤外光画像の比率を変える方法では、画面上を様々な方向に移動する自動車のナンバープレートの部分と赤外光画像の比率の高い領域とを重ねることは容易ではなく、所望の画像を得られない恐れがある。

本発明は、視認性を向上した可視光画像と非可視光画像の合成画像を生成する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の撮像装置は、可視光による撮像を行い、可視光画像を取得する可視光の撮像部と、非可視光による撮像を行い、非可視光画像を取得する非可視光の撮像部と、前記可視光画像の色情報に応じて前記可視光画像と前記非可視光画像の合成比率を決定する判定部と、前記判定部が決定した合成比率で前記可視光画像と前記非可視光画像を合成して合成画像を生成する合成部と、を備える。

本発明によれば、視認性を向上した可視光画像と非可視光画像の合成画像を生成する撮像装置を提供することができる。

撮像装置の構成を示す図である。画像処理回路の処理の流れを説明する図である。合成比率を設定するテーブルを説明する図である。可視光の彩度と合成比率の変換テーブルを説明する図である。

（実施例１）
本実施例では、交通監視においてヘッドライトをつけた自動車のナンバープレートを撮像する例について説明する。薄暮時や夜間などにヘッドライトを点灯した自動車を前方から可視光で撮像した場合、ヘッドライトによるフレアの影響によってナンバープレートの文字の視認性が著しく落ちる。一方、赤外光で撮像した場合は、ヘッドライトによるフレアが低減しナンバープレートの文字の視認性が向上する。また、赤外光照明を点灯して赤外光撮像を行うと、さらにナンバープレートの視認性は向上する。このように、夜間等にナンバープレートの視認性を高くするには、赤外光による撮像が有効である。

ナンバープレート以外の領域は、ヘッドライト、ウィンカー、ブレーキランプなどの点灯状態、信号機の色、自動車の色など、色の情報が必要となる。可視光で撮像した場合は色情報が得られるが、赤外光で撮像した場合は十分な色情報が得られない。そのため、ナンバープレート以外の領域の色情報を得るためには、可視光による撮像が有効である。本実施例では、自動車のナンバープレート部分を赤外光画像、ナンバープレート以外の領域を可視光画像とするために、赤外光画像（非可視光画像）と可視光画像の合成画像を生成する。

本実施例における撮像装置１００の全体の構成について、図１を用いて説明する。図１は、撮像装置１００の構成を示す図である。撮像装置１００は、対物レンズ１、絞り２、フォーカスレンズ３、撮像レンズ４、ダイクロイックミラー５、可視光画像用の撮像素子６、赤外光画像用の撮像素子７、画像処理回路８、制御回路９および画像記録媒体１１を備える。また、撮像装置１００には、表示装置１０が接続されている。なお、本実施例では、撮像装置の本体部とレンズ装置が一体となっている撮像装置の例について説明するが、レンズ装置が本体部に対して着脱可能な撮像装置であってもよい。なお、撮像装置１００は、静止画と動画像の撮像が可能である。

対物レンズ１、撮像絞り２、フォーカスレンズ３および撮像レンズ４が、光軸Ｏ１上に、順次に配列されている。ダイクロイックミラー５は、撮像レンズ４の後方に配置されている。ダイクロイックミラー５は、入射した光を波長分離し、可視光を透過して赤外光を反射する。透過した可視光成分は、ダイクロイックミラー５の後方に配置された可視光画像用の撮像素子６で光電変換される。一方、ダイクロイックミラー５で反射された赤外光成分は、光軸Ｏ２を通り、赤外光画像用の撮像素子７で光電変換される。なお、撮像素子６および撮像素子７は略共役な位置に配置されているが、赤外光画像用の撮像素子７は、波長差による合焦位置のずれを吸収するために、撮像素子６に比べ、光路上後方にずれて配置されている。

画像処理回路８は、撮像素子６および撮像素子７により読み出された撮像信号に対し、色収差補正、ホワイトバランス調整、デモザイク処理等の画像処理を施し、可視光画像と赤外光画像を生成する。さらに、画像処理回路８は、可視光画像と赤外光画像を合成し、合成画像を生成する。制御回路９は、撮像装置１００のシステム全体の制御を行う。さらに、制御回路９は、画像処理回路８で生成された合成画像を、表示装置１０に映出し、画像記録媒体１１に記録する。また、制御回路９は、不図示の外部機器に合成画像を転送するようにしてもよい。さらに、撮像装置１００は、制御回路９を介して不図示の外部機器から遠隔操作が可能な構成であってもよい。

さらに、撮像装置１００は、不図示の赤外光を照射する光源部を備えていてもよい。光源部は、例えば、赤外光を発するＬＥＤ光源である。そして、撮像装置１００は、光源部から照射された赤外光の反射光を撮像し、赤外光画像を取得する。以上の構成により、撮像装置１００は、撮像素子６および撮像素子７を用いて、ほぼ同一の画角で、可視波長を画像化した可視画像と赤外波長を画像化した赤外画像を同時に撮像することができる。そして、撮像装置１００は、可視光画像と赤外光画像を合成した合成画像を生成することができる。なお、本実施例では非可視光の例として赤外光を用いて説明するが、これに限られるものではなく、例えば、紫外光、近赤外光などでもよい。

次に、画像処理回路８について図２を用いて説明する。図２は、画像処理回路８の処理の流れを説明する図である。画像処理回路８は、可視光撮像部２０１、可視光画像処理部２０２、色判定部２０３、赤外光撮像部２０４、赤外光画像処理部２０５、合成部２０６および画像出力部２０７を備える。

可視光画像用の撮像素子６から出力された可視光の信号は、可視光撮像部２０１でＲＧＢ信号に画像化され、可視光画像処理部２０２へ出力される。可視光画像処理部２０２は、ＲＧＢ信号に対し、レンズによる色収差の補正、アパーチャー補正、周辺光量の補正などの補正処理や、ホワイトバランス調整などの画像処理を行い、処理後のＲＧＢ信号を色判定部２０３および合成部２０６に出力する。色判定部２０３は、ＲＧＢ信号の色の判定を行い、判定結果に応じて可視光画像と赤外光画像の合成比率を表す合成比率αを合成部２０６へ出力する。

赤外光画像用の撮像素子７から出力された赤外光の信号は、赤外光撮像部２０４でモノクロの画像として輝度信号ＩＲに画像化され、赤外光画像処理部２０５へ出力される。赤外光画像処理部２０５は、輝度信号ＩＲに対し、補正処理および画像処理を行い、処理後の赤外画像信号ＩＲを合成部２０６へ出力する。

合成部２０６は、色判定部２０３の出力である合成比率αに基づいて、可視光画像処理部２０２から出力された可視画像のＲＧＢ信号と赤外光画像処理部２０５から出力された赤外画像の輝度信号ＩＲを合成し、合成画像を生成する。そして、合成部２０６は生成した合成画像を画像出力部２０７に出力する。なお、合成画像は色の情報を含むＲＧＢ信号である。

可視光画像用の撮像素子６と赤外光画像用の撮像素子７の画素数（解像度）が同じ場合は、同じ撮像位置に対応する画素ごとに合成処理を行えばよい。可視光画像用の撮像素子６と赤外光画像用の撮像素子７の画素数が異なる場合は、適宜画素値をバッファリングして画素数の少ない撮像素子から来る画素の信号を遅延させることで、同じ撮像位置に対応する画素で合成するようにすればよい。

次に、色判定部２０３の処理について説明する。色判定処理は、可視光画像の色情報に応じて、合成時の可視光画像と赤外光画像の合成比率αを決定する処理である。本実施例では、色判定部２０３に入力されるＲＧＢ信号に基づいて３次元のルックアップテーブル（以下、テーブルという）を参照し、テーブル中の合成比率αを求めることで色判定処理を実現する。

図３は、合成比率を設定するテーブルを説明する図である。テーブルはルックアップテーブルであり、色情報である可視光画像の画素値（Ｒ，Ｇ，Ｂ）の組み合わせと、画素値（Ｒ，Ｇ，Ｂ）に対応付けられた合成比率αが設定されている。テーブルの入力となる可視光画像の画素値（Ｒ，Ｇ，Ｂ）は、例えば、８ビット、グリッド数はＲ，Ｇ，Ｂそれぞれ１７グリッド、輝度１６刻みで値を持つ０〜２５５の画素値とする。色判定部２０３に入力される可視光画像のＲＧＢ値がテーブルのＲＧＢ値と一致していない場合には、その近傍のグリッドからから四面体補間等の補間処理を行って、画素値（Ｒ，Ｇ，Ｂ）を求めればよい。テーブルの出力値である合成比率αは合成時の可視光画像の比率を示しており、０〜１で表される。合成比率αの値が０に近いほど赤外光画像の重みが大きくなり、逆に値が１に近いほど可視光画像の重みが大きくなる。

テーブルでは、信号やブレーキランプ、ウィンカーなど交差点監視において重要視される色領域の出力が大きくなるように合成比率αが設定されている。例えば、図３の（Ｒ，Ｇ，Ｂ）＝（０，０，０）は、黒近傍に影響を与える色領域であり、その出力値αは０が設定され、可視光画像の比率が小さくなる。緑色の信号が再現される色領域の（Ｒ，Ｇ，Ｂ）＝（０，２４０，２２４）では、出力値αとして１が設定され、可視光画像の比率が大きくなる。

このように本実施例では、信号やブレーキランプ、ウィンカーなど交差点監視において重要視される色領域には、１もしくは１に近い値を設定し、それ以外の領域には、０もしくは０に近い値を設定する。合成比率を上記のように設定することで、１に近い値が設定されている信号やブレーキランプ、ウィンカーに近い色は、可視光画像が合成時に優先され、色を残すことができる。一方、０に近い値が設定されている領域は、赤外光画像が優先される。なお、テーブルを複数用意し、撮影状況に応じて、ユーザにより色判定処理で使用するテーブルを切り替えるようにしてもよい。なお、本実施形態では可視光画像と赤外光画像の合成比率αを決定するのに、ルックアップテーブルを用いたがこれに限られるものではなく、可視光画像の色情報から合成比率αを決定できればどのような方法を用いてもよい。

次に、合成部２０６の処理について説明する。合成部２０６では、色判定部２０３が決定した合成比率αに基づいて画素ごとに可視光画像と赤外光画像の合成を行い、合成画像を生成する。ここで、合成画像のＲＧＢ信号の計算方法について説明する。可視光画像処理部２０２から入力されるＲＧＢ信号を、Ｒ^ＩＮ、Ｇ^ＩＮ、Ｂ^ＩＮとし、赤外光画像処理部２０５より入力される赤外画像をＩＲとする。そして、生成する合成画像のＲＧＢ信号を、Ｒ^ＯＵＴ、Ｇ^ＯＵＴ、Ｂ^ＯＵＴとする。

まず、Ｒ^ＩＮ、Ｇ^ＩＮ、Ｂ^ＩＮを、輝度と色差系の色空間からなるＹＣｂＣｒ空間へ色空間変換する。次に、輝度信号Ｙにおいては、可視光輝度と赤外光輝度を合成比率αに基づいて合成する。色差信号ＣｂおよびＣｒにおいては、赤外光の色差成分は０になるため、式を簡略化できる。色変換後の各信号値をＹ^ＩＮ，Ｃｂ^ＩＮ，Ｃｒ^ＩＮとし、合成後の各信号値をＹ^out，Ｃｂ^out，Ｃｒ^outとした場合、下記の（式１）により計算される。

Ｙ^out ＝α×Ｙ^IN ＋（１−α）×ＩＲ
Ｃｂ^out ＝α×Ｃｂ^IN ・・・（式１）
Ｃｒ^out ＝α×Ｃｒ^IN

そして、合成部２０６は、算出したＹ^out，Ｃｂ^out，Ｃｒ^outをＲＧＢ空間（Ｒ^ＯＵＴ、Ｇ^ＯＵＴ、Ｂ^ＯＵＴ）へ色空間変換し、合成画像を生成する。生成した合成画像は画像出力部２０７へ出力される。なお、夜間のヘッドライトのハレーションの影響の少ない晴れた日の昼間は常に可視光画像で監視を行えばよい。そのため、撮像装置１００に不図示の可視光の照度を計測する計測部を備える。色判定部２０３は、照度計の出力に応じて昼間と判断できる場合にはα値を常に１に設定し、可視光による撮像画像で交通監視を実現するようにしてもよい。

以上のように本実施例によると、自動車のナンバープレートの領域では赤外光画像が選択された、あるいは、赤外光画像の合成比率が大きく設定された合成画像を生成することができる。そのため、フレアにより可視光画像では認識することが困難であったナンバープレート部分を赤外光画像で合成することでナンバー部分の視認性が向上する。同時に、自動車の色、信号、標識などの部分については、可視光画像で色を残すことが可能となる。

また、色に応じて画素ごとに合成比率を決定して合成を行うため、被写体となる道路の状況やカメラの取り付け角度などの状況には左右されず、適切な合成画像を生成することができる。さらに、従来の画面領域ごとに合成比率を決定する方法では、撮像装置１００をパンチルト方向に駆動可能な雲台で駆動させる場合や自動車などに乗せて道路を撮像する場合など、撮影位置や方向が変更する場合には適切な合成画像を生成することができなかった。また、ズームレンズを組み合わせたズーム動作などによって被写体の撮像位置が変化する場合も、適切な合成画像を生成することができなかった。一方、本実施例によると、撮像装置１００を駆動させ撮像する方向を変更しても、可視光画像の画素値に基づいて画素ごとに合成比率を決定して合成を行うため、適切な合成画像を生成することができる。

また、魚眼レンズや全方位レンズのようにセンサへの射影方式が異なるレンズの場合、被写体となる自動車や信号の形状が撮像位置によって歪むこととなる。被写体が歪んでいる場合は、従来行われてきた被写体を認識して可視光画像と赤外光画像の合成比率を変える方法は実現が困難になる。本実施例においては、色に応じて画素ごとに可視光画像と赤外光画像の合成比率を変えるために、魚眼レンズや全方向を撮像可能な全方位レンズといった被写体が歪む光学系を用いても、安定的に合成が可能となる。

また、本実施例は交通監視の場合を例に説明したがこれに限られるものではなく、可視光画像の色情報に応じて可視光画像と赤外光画像の合成比率を決定して合成画像を生成する撮像装置に適用可能である。その場合、用途に応じた色ごとに合成比率を決定するテーブルを設定すればよい。

（実施例２）
実施例１においては、色判定部２０３における合成比率αを決定する処理において画素値を入力値とするルックアップテーブルを用いたが、本実施例では、可視光画像の彩度に応じて可視光画像と赤外光画像の合成比率を決定する。以下では、実施例１との差異である、色判定部２０３における合成比率αを決定する処理について説明し、実施例１と共通の部分の説明については省略する。

色判定部２０３は、可視光画像処理部２０２から入力された可視光画像のＲＧＢの信号に基づいて、彩度Ｓを求める。彩度Ｓは、下記の（式２）により求められる。ここで、ＭＡＸ（Ｒ，Ｇ，Ｂ）は、Ｒ，Ｇ，Ｂの信号値（画素値）のうちの最大値を示し、ｍｉｎ（Ｒ，Ｇ，Ｂ）は最小値を示す。

Ｓ＝（ＭＡＸ（Ｒ，Ｇ，Ｂ）−ｍｉｎ（Ｒ，Ｇ，Ｂ））／ＭＡＸ（Ｒ，Ｇ，Ｂ）
・・・（式２）

あるいは、（式１）に示したＣｂ^ＩＮとＣｒ^ＩＮを用いて、これらＣｂ^ＩＮの二乗とＣｒ^ＩＮの二乗の和の平方根から彩度Ｓを求めてもよい。次に、彩度Ｓから合成比率αへの変換を行う。彩度Ｓから合成比率αへの変換は、１次元の変換テーブル（例えば、ルックアップテーブル）を用いて行う図４は、可視光画像の彩度Ｓと合成比率αの変換テーブルを説明する図である。図４では、横軸が彩度Ｓ、縦軸が合成比率αを示している。彩度Ｓが高くなるほど合成比率αの値が１に近くなる。そのため、彩度Ｓの高い画素ほど可視光画像の比率が高くなる。

実施例１では、信号など既知の色について色情報を保持するため可視光画像の比率を高くし、それ以外の色領域では赤外光画像の比率を高くした。一方、本実施例では、既知の色以外でも設定した彩度以上の色領域を可視光画像で合成し、彩度の低い領域では赤外光画像の比率を高くして合成する。ハレーションの影響により可視光で視認できないナンバープレートの領域の彩度は低くなるため、本実施例によっても、ナンバープレートの領域は、赤外光画像の比率が高い状態で合成することができる。さらに、本実施例では、既知の色以外でも設定した彩度以上の色領域を可視光画像で合成するため、実施例１のように予め可視光を重視して合成する色領域を設定した３次元のルックアップテーブル等を用意する必要がない。

以上のように本実施例によると、フレアの影響を低減してナンバープレートの文字を視認性が高く、かつ、信号の色や車の色といった可視の色情報を損なうことのない、可視光画像と赤外光画像の合成画像を生成することができる。なお、本実施例は交通監視の場合を例に説明したがこれに限られるものではなく、可視光画像の彩度に応じて可視光画像と赤外光画像の合成比率を決定して合成画像を生成する撮像装置に適用可能である。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

８画像処理回路
２０１可視光撮像部
２０４赤外光撮像部
２０３色判定部
２０６合成部

Claims

可視光による撮像を行い、可視光画像を取得する可視光の撮像部と、
非可視光による撮像を行い、非可視光画像を取得する非可視光の撮像部と、
前記可視光画像の色情報に応じて前記可視光画像と前記非可視光画像の合成比率を決定する判定部と、
前記判定部が決定した合成比率で前記可視光画像と前記非可視光画像を合成して合成画像を生成する合成部と、を備える
ことを特徴とする撮像装置。
前記判定部は、前記可視光画像の画素値に応じて前記合成比率を決定することを特徴とする請求項１に記載の撮像装置。
前記判定部は、前記画素値と前記合成比率を対応付けたテーブルを保持し、前記テーブルを参照して前記合成比率を決定することを特徴とする請求項２に記載の撮像装置。
前記判定部は、前記可視光画像の彩度に応じて前記合成比率を決定することを特徴とする請求項１に記載の撮像装置。
前記判定部は、画素ごとに前記合成比率を決定することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
前記非可視光は赤外光であることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
非可視光を照射する光源部をさらに備え、
前記非可視光の撮像部は、前記光源部から照射した前記非可視光の反射光を撮像することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
可視光の照度を計測する計測部をさらに備え、
前記判定部は、前記色情報および前記照度に応じて、前記合成比率を決定することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
前記撮像装置は、魚眼レンズもしくは全方向を撮像可能な光学系を有することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
撮像装置の制御方法であって、
可視光による撮像を行い、可視光画像を取得する工程と、
非可視光による撮像を行い、非可視光画像を取得する工程と、
前記可視光画像の色情報に応じて前記可視光画像と前記非可視光画像の合成比率を決定する工程と、
前記合成比率で前記可視光画像と前記非可視光画像を合成して合成画像を生成する工程と、を有する
ことを特徴とする制御方法。