JP2013162339A

JP2013162339A - 撮像装置

Info

Publication number: JP2013162339A
Application number: JP2012022922A
Authority: JP
Inventors: Akihito Nishizawa; 明仁西澤
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2012-02-06
Filing date: 2012-02-06
Publication date: 2013-08-19
Also published as: WO2013118337A1

Abstract

【課題】監視カメラや車載カメラをはじめとする撮像装置では、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。暗くなり可視光領域の信号が少なくなった状態で色を付ける場合にも、Ｓ／Ｎの良好な映像を得るようにする。
【解決手段】可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成すると共に、被写体の明るさを判定し、判定結果に応じて生成する輝度信号における近赤外光画素信号が占める割合を制御し、前記輝度信号に応じて特定の色や形状及び物体の色を強調又は置換して、色信号を生成する。
【選択図】図１

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、特許文献１がある。該公報の要約には、課題として「撮像装置における色覚補正のための赤外線除去フィルタを具備することなく良好な色再現性を実現する。」と記載され、解決手段として「赤、緑、青の光を抽出する第１、第２、第３のカラーフィルタ、及び近赤外領域の光のみを抽出する第４のカラーフィルタとを有し、それぞれのカラーフィルタの分光透過率に対応した第１乃至第４の信号（Ｒ１ｂ、Ｇｂ、Ｂｂ、Ｒ２ｂ）を出力する色信号生成手段（５）と、第１乃至第４の信号から、赤、緑、青の色信号（Ｒｅ、Ｇｅ、Ｂｅ）を生成する信号処理手段（４）とを備える。信号処理手段（４）は、色信号生成手段（５）が有する近赤外領域での応答特性を補正する分光感度補正手段（８）を備える。」と記載されている。

また、本技術分野の別の背景技術として、特許文献２がある。該公報の要約には、課題として「従来、カラー画像は可視光画素信号のみに基づいて生成しているため、夜間時などでは撮像素子の感度が不足し、良好なカラー画像を取得することができない。」と記載され、解決手段として「複数の画素が可視光および近赤外光の波長領域に感度をもつ撮像素子２を備え、得られる可視光画素信号と近赤外光画素信号から輝度信号と色信号を生成する撮像装置であって、可視光・近赤外光優勢判定部４ｃを追加し、可視光画素信号と近赤外光画素信号の大きさ関係を判定し、その判定結果に応じてＹＣ処理部４ａを制御することにより輝度信号の生成方法を切り替える。昼時には輝度信号も色信号も可視光画素信号を使って生成し、夜など可視光が少ない場合には輝度信号は近赤外光画素信号を使って生成する。さらに暗い場合には、画素混合または長時間露光を行った可視光画素信号を使って色信号を生成する。結果として、良好なカラー撮影を行い、使用者の視認性を高めることができる。」と記載されている。

特開２００５−３４１４７０号公報特開２０１０−９３４７２号公報

撮像装置の主な用途として、監視カメラや車載カメラがある。共に、暗くなっても目的の被写体を鮮明に撮影したいという要求が強い。この課題に対しては、可視光領域の光だけではなく近赤外領域の活用による改善方法が前記特許文献に記載されている。また、近赤外領域の活用により色の再現性が損なわれることから近赤外領域での色信号の応答性の補正方法も記載されている。しかし、暗くなり可視光領域の信号が少なくなった状態で色信号を生成する場合、原理的に可視光領域の少ない信号を増幅する必要があるため雑音が多くＳ／Ｎの悪い映像となってしまうことに関しては考慮されていなかった。
そこで、本発明は、近赤外領域を活用しながらＳ／Ｎ劣化を抑圧できる撮像装置を提供することを目的としている。

上記目的を解決するために、特許請求の範囲に記載の構成を採用する。

本発明によれば、夕暮れ時になり撮影環境が暗くなっても、Ｓ／Ｎ劣化を抑圧し視認性の良いカラー映像を実現する撮像装置を提供することができる。

一実施例における撮像装置の第１のブロック図である。一実施例における撮像装置の第２のブロック図である。一実施例における撮像装置の第３のブロック図である。一実施例における撮像装置の第４のブロック図である。一実施例における分光特性を示す図である。一実施例におけるＩＲ成分除去回路の回路図である。一実施例における置換回路の第１の回路図である。一実施例における明るさに係る制御特性を示す図である。一実施例における色抽出結果に係る制御特性を示す図である。一実施例における置換回路の第２の回路図である。一実施例における乗算結果に係る制御特性を示す図である。一実施例における置換回路の第３の回路図である。

以下、本発明の実施形態について図面を用いて説明する。

図１は、一実施例における撮像装置の第１のブロック図である。本実施例は、撮像素子１０、内挿同時化回路１１、輝度マトリックス回路１２１とIR成分調整回路１２２とガンマ調整回路１２３からなる輝度信号生成回路１２、比較回路１６、特定色抽出回路１５、IR成分除去回路１３１とWB調整回路１３２とガンマ調整回路１３３とマトリックス回路１３４からなる色信号生成回路１３、置換回路１８から構成され、撮像素子１０を構成する光電変換素子の上部に赤と近赤外成分を通過させる“R＋IR”フィルタと、緑と近赤外成分を通過させる“G＋IR”フィルタと、近赤外成分を通過させる“IR”フィルタと、青と近赤外成分を通過させる“B＋IR”フィルタとを市松状に配置し、４種類のカラー信号を得る構成となっている。

図５は、一実施例における分光特性を示す図である。該４種類のフィルタは、図５の分光特性の（a）撮像素子の分光感度記載のように、“R＋IR”フィルタ、“G＋IR”フィルタ、“IR”フィルタ及び“B＋IR”フィルタの各々に関して１０４、１０３、１０５、１０２のような波長に関して感度を持つフィルタである。本実施例では、上記のフィルタ構成としたが、可視光成分と近赤外成分を分離可能であり、カラーの映像を作れるフィルタであれば上記構成以外でも良い。例えば、近赤外のIRフィルタの代わりに青から近赤外の全領域に感度を持つフィルタで構わないし、“R”フィルタ、“G”フィルタ、“IR”フィルタ及び“B”フィルタでも構わない。

本実施例では、色フィルタ１０１で４色に分離された光を撮像素子１０で光電変換し、内挿同時化回路１１に送り、該内挿同時化回路１１に於いて、該撮像素子１０の全ての画素位置に対して、“R＋IR”、“G＋IR”、“IR”及び“B＋IR”の信号を内挿処理により生成している。内挿処理により生成した該“R＋IR”、“G＋IR”、及び“B＋IR”の信号は、輝度マトリックス回路１２１に送られ、該輝度マトリックス回路１２１に於いて、所定の割合で混合し比較回路１６、IR成分調整回路１２２及び特定色抽出回路１５に送り、また、内挿同時化回路１１で生成した前記“IR”信号は、比較回路１６及びIR成分調整回路１２２に送られている。
IR成分調整回路１２２は、輝度マトリックス回路１２１で生成した近赤外成分を含む輝度信号と近赤外のみの信号を比較回路１６で比較した結果に応じて、該近赤外成分を含む輝度信号の該近赤外成分を制御しガンマ調整回路１２３に送り、ガンマ特性を補正し出力端子１２４に輝度信号として出力している。

図６は、一実施例におけるＩＲ成分除去回路１３１の回路図である。内挿処理により生成した“R＋IR”、“G＋IR”、“IR”及び“B＋IR”の信号は、IR成分除去回路１３１に送られ、図６記載の減算処理を施し、該“R＋IR”、“G＋IR”、及び“B＋IR”の各信号から近赤外成分を除去し、図５の（ｂ）に示すIR成分除去後の分光感度の１３７、１３６、１３５記載の特性を持つ“R信号”、“G信号”、及び“B信号”を生成している。該IR成分除去回路１３１で生成した“R信号”、“G信号”、及び“B信号”をWB(White Balance)調整回路１３２に送り、光源の特性に応じて該“R信号”、“G信号”、及び“B信号”の信号利得を各々制御し、特定色抽出回路１５とガンマ調整回路１３３に送る。ガンマ調整回路１３３でガンマ補正を行いマトリックス回路１３４に送り、ガンマ補正された“R信号”、“G信号”、及び“B信号”から色差信号“R−Y”及び“B−Y”を生成して置換回路１８に送っている。置換回路１８では比較回路１６と特定色抽出回路１５からの出力に応じて、入力された該色差信号“R−Y”及び“B−Y”の一部分を別の信号に置換又は強調して色信号として出力端子１８６に出力している。

本実施例では、IR成分調整回路１２２で、明るさに応じて前記近赤外成分を含む輝度信号の該近赤外成分を制御する為、明るい場合は可視光領域の信号のみから輝度信号を生成し、暗くなるに従って、徐々に近赤外領域の信号も使い輝度信号を作るように動作する。このため、撮影環境が暗くなってもある程度の明るさの輝度信号を作ることができる。また、色信号生成回路１３の出力すなわちマトリックス回路１３４の出力１８４は、IR成分除去回路１３１で近赤外領域の信号を除去し、色信号として意味がある可視光領域の信号のみで生成される為、近赤外領域の信号による色再現性の劣化を起こすことがない。次に、置換回路１８の一実施例を図７、図１０、図１２を用いて説明する。

図７は、一実施例における置換回路１８の第１の回路図である。加算回路１８８、減算回路１８７、乗算回路１８６及び１８９から構成され、比較回路１６の出力信号１８１と特定色抽出回路１５の出力信号１８２を乗算回路１８９で乗算し、また、予め設定しておいた所定の信号レベルである設定値Ｌ２からマトリックス回路１３４の出力信号１８４を減算回路１８７で減算し、前記乗算回路１８９の乗算結果と該減算回路１８７の減算結果を乗算回路１８６で乗算し、該乗算回路１８６の出力とマトリックス回路１３４の出力信号１８４を加算回路１８８で加算して、出力信号１８５を出力している。

図８は、一実施例における明るさに係る制御特性を示す図である。
図９は、一実施例における色抽出結果に係る制御特性を示す図である。
図８と図９は、比較回路１６の出力信号１８１及び特定色抽出回路１５の出力信号１８２の特性の一例を示す。なお、図示しないが前記Ｌ２は、例えばマイクロコンピュータなどの制御手段や所定の回路などから与えられるものである。

図８の特性は、暗くなるに従って出力信号１８１の出力値が大きくなり、図９の特性は指定した特定色に近いほど出力信号１８２の出力数値が大きくなる。置換回路１８の出力１８５は、マトリックス回路１３４の出力信号１８４と設定値Ｌ２を所定の割合で混合した出力となるため、暗くなるほど、かつ、指定した特定色に近いほど、出力１８５では信号１８４よりも設定値Ｌ２の値の方が支配的となるように、置換回路１８が動作する。このため、暗くなるに従い、標識やテールランプや信号等をはじめとする目的の被写体部分の色が事前に設定されたＳ／Ｎの良い信号に少しずつ置換されるため、暗くなってもＳ／Ｎ劣化を抑えて色を付けることができ、Ｓ／Ｎの良い色で目的の被写体部分を映し出すことができる。

暗くなり可視光の成分が減り、近赤外の成分を多く使い、映像を作る場合に於いては、近赤外成分より一定の信号レベルの輝度信号が得られるものの、可視光の成分のみから作られる色は信号量が減り、全体として色が薄い映像になる。この場合においても、標識やテールランプや信号等の目的の被写体部分のみ明るい時と同様或いは非常に近い色合い及び色の濃さでＳ／Ｎを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。また、注目すべき目的の被写体部分以外は、非常に薄い色付或いは白黒である為、特に、注目すべき目的の被写体部分を強調して映し出すことができる。

図１０は、一実施例における置換回路１８の第２の回路図である。信号強調回路２００、乗算回路２０２から構成され、比較回路１６の出力信号１８１と特定色抽出回路１５の出力信号１８２を乗算回路２０２で乗算し、該乗算回路２０２の乗算結果２０１に応じて、マトリックス回路１３４の出力信号１８４の信号利得を上げる信号強調を信号強調回路２００で施すように動作する。比較回路１６の出力信号１８１と特定色抽出回路１５の出力信号１８２の特性は図７の実施例と同様で良い。
図１１は、一実施例における乗算結果２０１に係る制御特性を示す図であり、信号強調回路２００における制御特性を示す。信号強調回路２００は、該制御特性のように乗算結果２０１の信号が小さい時と大きい時に信号強調量を少なくし、乗算結果２０１の信号が中央近傍で信号強調量を多くするように動作する。

本実施例では、明るい時とごく暗い時には信号強調回路２００により色信号の強調を抑え、その間の薄暗い場合にのみ特定色抽出回路１５の結果に応じて特定の色の部分における色信号の利得を上げるように動作する。このため、薄暗い場合に標識やテールランプや信号等の目的の被写体部分のみ色信号の利得を上げ信号を強調することができる。明るく可視光成分が十分にあり良好な色再現が得られる場合と暗すぎて可視光成分がほとんど取れない場合は、色信号の強調を抑えるためＳ／Ｎ劣化を抑えることができる。このように薄暗い環境下で標識やテールランプや信号等の目的の被写体部分のみ、明るい時と同様或いは近い色合い及び色の濃さでＳ／Ｎを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。事故が発生しやすい夕暮れ時や夜間の繁華街で注意すべき被写体の見落としを防止し、自動車事故の防止に非常に有効である。

図１２は、一実施例における置換回路１８の第３の回路図である。マトリックス回路１３４の出力信号１８４に対して信号強調回路２１０で事前に全ての入力信号に対して色を濃くする強調処理を施した信号に、図７における設定値Ｌ２の部分を置換した構成となっている。本実施例では、比較回路１６の出力１８１と特定色抽出回路１５の出力１８２の結果に応じて、マトリックス回路１３４の出力信号１８４と信号強調回路２１０の出力信号の差信号に対する利得を上げ、色を濃くした信号とマトリックス回路１３４の出力信号１８４を所定の割合で混合するように、置換回路１８が動作する。従って、暗くなるほど、かつ、指定した特定色に近いほど出力に占める利得を上げて色を濃くした信号の割合が多くなり、標識やテールランプや信号等の目的の被写体部分のみ色信号の利得を上げ信号を強調する。このため、Ｓ／Ｎの劣化を抑えつつ、標識やテールランプや信号等の目的の被写体部分のみ明るい時と同様或いは近い色合い及び色の濃さでＳ／Ｎを良く映すことができるので、自動車を運転している人に目立つ形で注目すべき被写体をカラー映像で提供することが可能となる。

事故が発生しやすい夕暮れ時や夜間の繁華街で注意すべき被写体を明るい時と同様或いは非常に近い色合い及び色の濃さでＳ／Ｎを良く映すことができるので自動車事故の防止に非常に有効である。ドライバーへの映像の表示部は、ドライバーの前方視界の一部、例えば、フロントガラスの一部やダッシュボード付近に設置することで、自動車事故の防止に一層高い効果を持たせることが可能になる。

図２は、一実施例における撮像装置の第２のブロック図である。本実施例は、図１の一実施例に於いて、特定色抽出回路１５を特定形状抽出回路１７に変えた一例であり、図1の場合は暗くなると特定の色の部分が予め用意された色データに置換されたり、或いは、該特定の色の部分における信号利得が制御されるように動作するが、本実施例では、暗くなると特定の形状の部分が予め用意された色データに置換されたり、或いは、前記特定の形状の部分における信号利得が制御されるように動作する。例えば、特定の形状とは、標識や信号等であり、車を運転するドライバーが特に注意すべきものである。この様にすることにより、夕暮れ時や夜間の繁華街に於いて、特定の形状の物をカラーでＳ／Ｎを良く映すことができるので自動車事故の防止に非常に有効である。ドライバーへの映像の表示部は、ドライバーの前方視界の一部、例えば、フロントガラスの一部やダッシュボード付近に設置することで、自動車事故の防止に一層高い効果を持たせることが可能になる。本実施例は、特定の形状を有する物体の色を強調するので標識等の見落しによる事故を防止する効果がある。

図３は、一実施例における撮像装置の第３のブロック図である。本実施例は、図１の一実施例に於いて、特定色抽出回路１５を、特定色抽出回路１５と特定形状抽出回路１７と、該特定色抽出回路１５と該特定形状抽出回路１７の出力から特定の被写体を判断する特定被写体抽出回路１９に変えた例である。図１の場合は暗くなると特定の色の部分が予め用意された色データに置換されたり、或いは、前記特定の色の部分における信号利得が制御されるように動作するが、本実施例では、実施例1と比較し、さらに特定の色の部分と特定の形状の部分が抽出され、その結果から特定被写体を抽出し前記特定被写体の部分が暗くなると予め用意された色データに置換されたり、或いは、前記特定被写体の部分の信号利得が制御されるように動作する。本実施例は、図1及び図２の実施例と本質的に同等の効果が得られる。

特に、本実施例では、色と形状の双方から被写体を判断して色を置換し、或いは、強調する部分を判断している為、単に色だけ、形状だけの判断と比べ、置換し、或いは強調する部分を誤る誤検出を軽減する効果がある。尚、置換する色データは、実際の物と同一の色であっても良く、強調する為に別の色にしても良い。本実施例は、特定の被写体を判断して強調するので標識や信号のみだけではなく、人間や特定の移動物体等も見落すことなく、色を置換し、或いは強調することができるので、見落としによる事故を防止する効果がある。

図４は、一実施例における撮像装置の第４のブロック図である。本実施例は、図１の実施例に於いて、比較回路１６の比較信号を変えた例である。図１、図２及び図３は、“Ｒ＋ＩＲ”、“Ｇ＋ＩＲ”、“Ｂ＋ＩＲ”を所定の割合で混合した信号と“ＩＲ”信号とを比較して明るさを判断しているが、本実施例では、図示しないが例えばマイクロコンピュータなどの制御手段や回路などから設定される設定値Ｌ１と“Ｒ＋ＩＲ”、“Ｇ＋ＩＲ”、“Ｂ＋ＩＲ”を所定の割合で混合した信号とを比較して明るさを判断する例である。ＩＲ成分を含まない“Ｒ”、“Ｇ”、“Ｂ”を所定の割合で混合した信号と設定値Ｌ１とを比較し、或いは、ＩＲ成分を含まない“Ｒ”、“Ｇ”、“Ｂ”を所定の割合で混合した信号と“ＩＲ”信号とを比較して、明るさを判断しても良い。本実施例は、図１の実施例と本質的に等しく同等の効果が得られる。また、図２、図３の実施例と組み合わせても同等の効果が得られる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置換することが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成を追加し、削除し、或いは置換することが可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０：撮像素子、１１：内挿同時化回路、１２：輝度信号生成回路、１３：色信号生成回路、１５：特定色抽出回路、１６：比較回路、１７：特定形状抽出回路、１８：置換回路、１９：特定被写体抽出回路、１２１：輝度マトリックス回路、１２２：ＩＲ成分調整回路、１２３：ガンマ調整回路、１３１：ＩＲ成分除去回路、１３２：ＷＢ調整回路、１３３：ガンマ調整回路、１３４：マトリックス回路。

Claims

物体を撮像する撮像装置であって、
可視光および近赤外光の双方の波長領域において前記物体を撮像可能な複数の光電変換素子を有する撮像素子と、
当該撮像素子から供給された可視光画素信号、又は、可視光画素信号と近赤外光画素信号に基づき明るさを判定する比較判定部と、
当該比較判定部における判定結果に基づき前記撮像素子から供給された前記可視光画素信号と前記近赤外光画素信号から輝度信号を生成して出力する輝度信号生成部と、
前記撮像素子から供給された可視光画素信号と前記近赤外光画素信号から色信号を生成する色信号生成部と、
当該色信号生成部で生成された色信号から前記物体の特定の色を抽出する特定色抽出部と、
前記比較判定部における前記判定結果と前記特定色抽出部における前記特定の色の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する置換／強調部
を有することを特徴とする撮像装置。
物体を撮像する撮像装置であって、
可視光および近赤外光の双方の波長領域において前記物体を撮像可能な複数の光電変換素子を有する撮像素子と、
当該撮像素子から供給された可視光画素信号、又は、可視光画素信号と近赤外光画素信号に基づき明るさを判定する比較判定部と、
当該比較判定部における判定結果に基づき前記撮像素子から供給された前記可視光画素信号と前記近赤外光画素信号から輝度信号を生成して出力する輝度信号生成部と、
前記撮像素子から供給された可視光画素信号と前記近赤外光画素信号から色信号を生成する色信号生成部と、
当該色信号生成部で生成された色信号、又は／及び、前記輝度信号生成部で生成された輝度信号から前記物体の特定の形状を抽出する特定形状抽出部と、
前記比較判定部における前記判定結果と前記特定形状抽出部における前記特定形状の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する置換／強調部
を有することを特徴とする撮像装置。
請求項２に記載の撮像装置において、
前記色信号生成部で生成された色信号から前記物体の特定の色を抽出する特定色抽出部を有し、
前記置換／強調部は、前記比較判定部における前記判定結果、前記特定色抽出部における前記特定の色の検出結果と前記特定形状抽出部における前記特定形状の検出結果に基づき前記色信号生成部で生成された色信号を所定値に係る値と置換し、又は前記色信号を強調して出力する
ことを特徴とする撮像装置。
請求項１に記載の撮像装置において、前記比較判定部は、前記可視光画素信号と近赤外光画素信号の大小関係から明るさを判定することを特徴とする撮像装置。
請求項２に記載の撮像装置において、前記比較判定部は、前記可視光画素信号と近赤外光画素信号の大小関係から明るさを判定することを特徴とする撮像装置。
請求項１に記載の撮像装置において、前記比較判定部は、前記可視光画素信号の大きさを所定値と比較して明るさを判定することを特徴とする撮像装置。
請求項２に記載の撮像装置において、前記比較判定部は、前記可視光画素信号の大きさを所定値と比較して明るさを判定することを特徴とする撮像装置。
請求項１に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスに投影する投影部を設けたことを特徴とする撮像装置。
請求項２に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスに投影する投影部を設けたことを特徴とする撮像装置。
請求項１に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスと運転者との間に表示する表示部を設けたことを特徴とする撮像装置。
請求項２に記載の撮像装置において、当該撮像装置が車両に搭載された際に撮像した映像を当該車両のフロントガラスと運転者との間に表示する表示部を設けたことを特徴とする撮像装置。