JP2014150471A

JP2014150471A - 撮像装置

Info

Publication number: JP2014150471A
Application number: JP2013019070A
Authority: JP
Inventors: Daisuke Yoshida; 大輔吉田; Akihito Nishizawa; 明仁西澤; Yuichi Nonaka; 雄一野中; Ken Kisanuki; 健木佐貫; Tomokazu Ishihara; 朋和石原
Original assignee: Hitachi Consumer Electronics Co Ltd
Current assignee: Hitachi Consumer Electronics Co Ltd
Priority date: 2013-02-04
Filing date: 2013-02-04
Publication date: 2014-08-21

Abstract

【課題】照度が低い夜間においても、感度やS/Nの良い輝度信号と、飽和部分での色付きを軽減した色信号を生成し、視認性良い撮像装置を提供する。
【解決手段】本発明では、赤外カットフィルタを外して、可視光領域ばかりでなく赤外光領域までの光に感度を有する撮像素子を用いて、フレーム毎に輝度信号用の露光制御と色信号用の露光制御を切り替え、輝度信号用の露光制御では、所望被写体が適正露光となるように制御せしめ、色信号用の可視画像の露光制御では、飽和面積が少なくなるように制御せしめる。輝度信号は、加算処理で生成するため、感度やS/Nの良い画像となり、色信号は、飽和面積が少ない画素間の演算となるため、飽和部分での色付きを軽減することが可能となる。
【選択図】図１

Description

本発明は、撮像装置に関する。

本技術分野の背景技術として、特開２０１０−９８３５８号公報（特許文献１）がある。該公報には、「撮像素子に可視光領域の波長を透過するカラーフィルタ（例えば青、緑、赤など）を配置した画素と、近赤外光領域の波長を透過するカラーフィルタを配置した画素が混在するようなイメージセンサを用いて、昼間は可視光領域の画素を使って画像処理を行い、輝度成分と色成分を計算し、夜間など可視光が比較的に小さい場合には近赤外光領域の画素を使って輝度成分を生成すると共に、可視光領域の画素に対して、フレーム内でノイズ低減フィルタを施すか、あるいはフレーム間で加算平均をとることにより、可視光領域の画素レベルを大きくした後に、この情報を基に色成分を計算することでカラー撮影を行う。」と記載されている。

特開２０１０−９８３５８号公報

上記のようなシステムにおいては、照度が高い昼間だけでなく、照度が低い夜間でも感度が高く、視認性の良い信号処理ができることが好ましい。前記特許文献１では、赤外カットフィルタを外して、可視光領域ばかりでなく赤外光領域までの光に感度を有する撮像素子を用いているため、照度が低い夜間でも感度が高く、視認性の良い信号処理を提供するが、色信号は一般的にマトリクス演算により生成されるため、画素が飽和した際には、飽和した部分に実際とは異なる色が付くという問題があった。

本発明は、上記課題を解決し、飽和部分での色付きを軽減した撮像装置を提供するものである。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば次のとおりである。
（１）被写体を撮像する撮像装置であって、撮像部と、前記撮像部から出力される画像信号を処理して輝度信号と色信号を生成する第一の信号処理部と、前記第一の信号処理部から出力された輝度信号及び色信号を蓄積するメモリと、前記メモリから読み出された輝度信号及び色信号を処理して出力映像信号を生成する第二の信号処理部と、制御処理部と、を有し、前記制御処理部は、フレーム毎に互いに異なる第一の露光制御と第二の露光制御とを交互に切り替えて行うように制御し、前記出力映像信号は、前記第一の露光制御により得られた第一の輝度信号と、前記第二の露光制御により得られた第二の輝度信号と色信号と、に基づいて生成されたものであることを特徴とする撮像装置である。
（２）（１）記載の撮像装置であって、前記第一の信号処理部は、前記撮像部から出力される画像信号を処理して評価データも生成し、前記制御処理部は、前記評価データの値が所定の値に近づくような前記第一の露光制御を行う第一のフレーム期間と、飽和画素が発生しないような第二の露光制御を行う前記第二のフレーム期間を交互にもつように制御し、前記第一の信号処理部は、前記第一のフレーム期間においては前記第一の輝度信号を生成して前記メモリに蓄積し、前記第二のフレーム期間においては前記第二の輝度信号及び前記色信号を生成して前記メモリに蓄積し、前記第二の信号処理部は、前記第一の輝度信号と前記第二の輝度信号と前記第二の色信号とを読み出し、信号処理を施して前記出力映像信号を生成することを特徴とする撮像装置である。

本発明によれば、飽和部分での色付きを低減した撮像装置を提供することができる。

本発明に係る撮像装置の第一の実施例の全体構成概略図である。撮像素子の画素配置の一例を示す図である。撮像素子の分光特性の一例を示す図である。後段信号処理部１０４の動作を説明するための図である。本発明に係る撮像装置の第二の実施例の全体構成概略図である。本発明に係る撮像装置の第三の実施例の全体構成概略図である。本発明に係る撮像装置の第四の実施例の全体構成概略図である。

以下、本発明の実施形態について図面を用いて説明する。

図１は、本発明に係る撮像装置の第一の実施例の全体構成概略図である。本実施例に係る撮像装置は、撮像部１０１と、前段信号処理部１０２と、画像メモリ１０３と、後段信号処理部１０４と、制御処理部１０５とを適宜用いて構成される。

撮像部１０１は、撮像レンズを介して撮像素子に入射した被写体画像を、画素ごとにA/D変換してRAW画像データとして出力する。ここで、撮像素子の画素配列は例えば、図２のようなベイヤ構造になっており、例えば赤(R)、緑(G)、青(B)、赤外(I)の画素からなっており、左上の画素から右方向に順次走査して、１ラインの操作が終わると下のラインの走査を繰り返し、順次、RAW画像データとして出力する。撮像部１０１の撮像素子において、ベイヤを成す各色の分光特性は、例えば図３のようになっているものとする。

一般的なカラー撮像装置では、撮像素子の分光特性と人間の眼の分光特性が異なるために、赤外カットフィルタを用いて人間の眼の分光特性に近づけているが、本実施例では、照度が低い夜間における視認性を高めるために、赤外カットフィルタを付けずに700nm以上の波長のいわゆる赤外領域の光までも光電変換する。

次に、前段信号処理部１０２は、撮像部１０１から出力されるRAW画像データを２次元フィルタなどのデモザイキングや赤(R)、緑(G)、青(B)、赤外(I)のマトリクス処理により、輝度信号(Y)と色信号(C)を生成して、輝度信号(Y)と色信号(C)のデータと画素位置に対応するアドレスを順次、画像メモリ１０３に出力する。また、前段信号処理部１０２は、生成した輝度信号(Y)と色信号(C)に画面位置の範囲や信号レベルの範囲などで抜き出した信号を積分などして、それぞれ、露光制御用の測光データ（平均値、ピーク値、ヒストグラムなど）、ホワイトバランス用の測光データ、として制御処理部１０５に出力する。

制御処理部１０５は、撮像装置の各種状態を制御するマイクロコンピュータである。前段信号処理部１０２からの露光制御用の測光データと内部の基準値とを比較して、測光データが基準値よりも大きい場合には、「明るい」と判断して、撮像部１０１のシャッタスピードを早く（蓄積時間を短く）したり、信号ゲインを小さくしたり、不図示の絞りを閉じたりし、逆に、測光データが基準値よりも小さい場合には、「暗い」と判断して、撮像部１０１のシャッタスピードを遅く（蓄積時間を長く）したり、信号ゲインを大きくしたり、不図示の絞りを開けたりして、測光データが基準値と等しくなるように自動露光制御をおこなう。

また、制御処理部１０５は、前段信号処理部１０２からのホワイトバランス用の測光データと内部の基準値と、黒体放射曲線を比較して、色温度が高いと判断した場合には、前段信号処理部１０２の係数を操作して、青(B)ゲインを小さくたり、赤(R)ゲインを大きしたりする。逆に、色温度が低いと判断した場合には、前段信号処理部１０２の係数を操作して、青(B)ゲインを大きくしたり、赤(R)ゲインを小さくしたりして、測光データが基準値と等しくなるように自動ホワイトバランス制御をおこなう。なお、赤(R)、青(B)のゲインと一緒に緑(G)のゲインを操作しても良い。

ここで、制御処理部１０５の動作について、さらに詳細に説明する。制御処理部１０５は、前段信号処理部１０２の係数と上記した自動露光制御や自動ホワイトバランス制御において、フレーム毎に、自動露光制御の方法と露光目標を切り替える。また、自動ホワイトバランスは、２フレームに１回の、色信号を生成するフレームのみの制御とする。例えば、第一のフレームでは、輝度信号を生成し、第二のフレームでは色信号を生成するように交互に制御する。

前段信号処理部１０２のマトリクス処理の係数が例えば、

の、ように構成し、左辺について、Yは輝度信号、YLは露光制御やホワイトバランス用の輝度信号、r、g、bは、それぞれ色信号の赤、緑、青で、右辺について、R、G、B、Iはそれぞれ撮像素子１０１からの赤(R)、緑(G)、青(B)、赤外(I)の出力であり、また、5*4の行列の中は、それぞれ、Y、YL、r、g、bに対するR、G、B、Iの係数、Ar、Ag、Abは、それぞれ、r、g、bのゲインを意味するものとする。

制御処理部１０５は、第一のフレームでは、例えば、Yr=Yg=Yb=Yi=YLr=YLg=YLb=YLi=0.25、Rr=Gg=Bb=Rg=Rb=Gr=Gb=Br=Bg=Ri=Gi=Bi=Ar=Ag=Ab=0と設定して、前段信号処理部１０２に輝度信号と露光制御用の輝度信号を生成せしめる。また、自動露光制御については、例えば、平均値とヒストグラムを用いて、適宜、露光制御の基準値を設定して、例えば画面中央付近の所望被写体が適正露光となるように制御せしめる。色信号は生成しないため、自動ホワイトバランス制御に関しては何もしない。

また、第二のフレームでは、制御処理部１０５は、例えば、Yr=Yg=Yb=0.33、Yi=-0.33、YLr=YLg=YLb=YLi=0.25、Rr=Gg=Bb=1、Rg=Rb=Gr=Gb=Br=Bg=0、Ri=-0.55、Gi=-0.35、Bi=-0.25と設定して、前段信号処理部１０２に露光制御用の輝度信号と色信号とを生成せしめる。また、自動露光制御については、例えば、ピーク値を用いて、露光制御の基準値を定格信号レベル相当に設定して、画面中の最高レベルが定格信号レベルとなるように制御せしめる。さらに、本フレームで作成した色情報を元に、上記した自動ホワイトバランス制御を施す。なお、r、g、bのゲインは例えばRr、Gg、Bb、の各係数を操作することで制御をする。

これらの動作により、前段信号処理部１０２から画像メモリ１０３に蓄えられる画像は、第一のフレームでは、所望被写体が適正露光となった輝度のみの画像となり、第二のフレームでは、飽和画素の無い色及び輝度の画像となる。

次に、図４を用いて、画像メモリ１０３以降の動作について説明する。
図４は、後段信号処理部１０４の動作を説明するための図である。後段信号処理部１０４では、画像メモリ１０３に対して、第一のフレームで生成した輝度信号(Y1)、第二のフレームで生成した輝度信号(Y2)と色信号(C)の読み出しアドレスを、順次走査して与え、例えば図４のような組み合わせで、輝度信号(Y1およびY2)と色信号(C)のデータを、画像メモリ１０３から順次読み出し、Y1とY2のいずれかを選択するセレクタもしくは両者を所望の比率で混合するアルファブレンディングなどによる輝度信号生成処理、γ処理、フォーマット変換（RGB→YUVやRGB→YPbPr）を施した後に、映像信号をエンコードして映像信号として出力する。

以上のように、本実施例に係る撮像装置では、可視光領域ばかりでなく赤外光領域までの光に感度を有する撮像素子を用いているため、照度が低い夜間でも感度が高く、所望被写体が適正露光となった輝度信号と、飽和画素の無い色信号の画像を生成することができる。このため、照度が低い夜間においても、感度やS/Nの良い輝度信号と、飽和部分での色付きを無くした色信号を生成し、視認性良い撮像装置を提供することが可能である。

図５は、本発明に係る撮像装置の第二の実施例の全体構成概略図である。本実施例に係る撮像装置は、第一の実施例と同様、撮像部１０１と、前段信号処理部１０２と、画像メモリ１０３と、後段信号処理部１０４と、を適宜備えて構成されるが、赤外光源を発光する光源制御部５０１と、制御処理部１０５の動作のほかに光源制御部５０１の制御も行う制御処理部１０６と、を備える点が相違する。なお、図５では、図１と同じ動作をする構成については、図１と同じ番号を付し、第一の実施例と重複する内容は適宜説明を省略する。

本実施例では、制御処理部１０６は、赤外光源を発光する光源制御部５０１を制御して、第一のフレームの期間中だけ赤外光源を発光させることで、上記第一の実施例の構成により得られる効果に加え、照度が低い夜間においても、より感度やS/Nの良い輝度信号を得ることが可能となる。

図６は、本発明に係る撮像装置の第三の実施例の全体構成概略図である。本実施例に係る撮像装置は、第一の実施例と同様、撮像部１０１と、前段信号処理部１０２と、画像メモリ１０３と、後段信号処理部１０４と、を適宜備えて構成されるが、可視光源を発光する光源制御部６０１と、制御処理部１０５の動作のほかに光源制御部６０１の制御も行う制御処理部１０７と、を備える点が相違する。ここで、本実施例における可視光源を発光する光源制御部６０１とは、可視光領域のほか、赤外光領域の光も発光するものである。なお、図６では、図１と同じ動作をする構成については、図１と同じ番号を付し、第一の実施例と重複する内容は適宜説明を省略する。

本実施例では、制御処理部１０７は、光源制御部６０１を制御して常時赤外光源を発光させることで、上記第一の実施例の構成により得られる効果に加え、照度が低い夜間においても、より感度やS/Nの良い輝度信号を得ることが可能となる。

図７は、本発明に係る撮像装置の第四の実施例の全体構成概略図である。本実施例に係る撮像装置は、第一の実施例と同様、撮像部１０１と、前段信号処理部１０２と、画像メモリ１０３と、後段信号処理部１０４と、を適宜備えて構成されるが、可視光源と赤外光源とを発光する光源制御部７０１と、制御処理部１０５の動作のほかに光源制御部７０１の制御も行う制御処理部１０８と、を備える点が相違する。ここで、本実施例における光源制御部７０１の発光する可視光源とは、可視光領域の光を発光し、赤外光領域の光は可視光領域の光に対して微弱又は発光しないものとする。なお、図７では、図１と同じ動作をする構成については、図１と同じ番号を付し、第一の実施例と重複する内容は適宜説明を省略する。

本実施例では、制御処理部１０８は、光源制御部７０１を制御して、第一のフレームの期間中だけ赤外光源を発光させ、第二のフレームの期間中だけ可視光源を発光させることができ、上記第一の実施例の構成により得られる効果に加え、照度が低い夜間においても、より感度やS/Nの良い輝度信号を得ることが可能となる。

以上のように、各実施例で示した撮像装置の構成によれば、フレーム毎に輝度信号用の露光制御と色信号用の露光制御を切り替え、輝度信号用の露光制御では、所望被写体が適正露光となるように制御せしめ、色信号用の可視画像の露光制御では、飽和面積が少なくなるように制御することが可能となる。また、輝度信号は、加算処理で生成するため、感度やS/Nの良い画像となり、色信号は、飽和面積が少ない画素間の演算となるため、飽和部分での色付きを軽減することが可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、具体的な変形例としては、例えば、上記した各実施例では、水平・垂直に2*2画素の周期的な色フィルタ配置を例にして説明したが、2*2の配列に限らず、2*4の配列の撮像素子であっても、ハニカム構造のような特殊な配列の撮像素子であってもよく、他の色フィルタ配置の場合であっても同様にして適用可能である。また、上記した各実施例では、前段信号処理部１０２や後段信号処理部１０４の切り分けをγ処理として説明したが、切り分けの位置を変えても適用可能である。さらに、前段信号処理部１０２や後段信号処理部１０４の処理内容をカメラ信号処理の主要な要素のみを用いて説明したが、他の機能や、同様な処理を間に含めても構わない。また、マトリクスの係数の設定や、自動露光制御方法、自動ホワイトバランス制御方法などは、上記実施例に記載されたものに限らず、他の方法を用いてもよい。さらに、可視光源や、赤外光源の特性について、規定するものでなく、さまざまな特性の光源についても適用可能である。

また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０１撮像素子
１０２前段信号処理部
１０３画像メモリ
１０４後段信号処理部
１０５制御部
１０６制御部
５０１光源制御部
１０７制御部
６０１光源制御部
１０８制御部
７０１光源制御部

Claims

被写体を撮像する撮像装置であって、
撮像部と、
前記撮像部から出力される画像信号を処理して輝度信号と色信号を生成する第一の信号処理部と、
前記第一の信号処理部から出力された輝度信号及び色信号を蓄積するメモリと、
前記メモリから読み出された輝度信号及び色信号を処理して出力映像信号を生成する第二の信号処理部と、
制御処理部と、
を有し、
前記制御処理部は、フレーム毎に互いに異なる第一の露光制御と第二の露光制御とを交互に切り替えて行うように制御し、
前記出力映像信号は、前記第一の露光制御により得られた第一の輝度信号と、前記第二の露光制御により得られた第二の輝度信号と色信号と、に基づいて生成されたものであることを特徴とする撮像装置。
請求項１記載の撮像装置であって、
前記第一の信号処理部は、前記撮像部から出力される画像信号を処理して評価データも生成し、
前記制御処理部は、前記評価データの値が所定の値に近づくような前記第一の露光制御を行う第一のフレーム期間と、飽和画素が発生しないような第二の露光制御を行う前記第二のフレーム期間を交互にもつように制御し、
前記第一の信号処理部は、前記第一のフレーム期間においては前記第一の輝度信号を生成して前記メモリに蓄積し、前記第二のフレーム期間においては前記第二の輝度信号及び前記色信号を生成して前記メモリに蓄積し、
前記第二の信号処理部は、前記第一の輝度信号と前記第二の輝度信号と前記第二の色信号とを読み出し、信号処理を施して前記出力映像信号を生成することを特徴とする撮像装置。
請求項１又は２記載の撮像装置であって、
さらに、赤外光を発光する赤外光源を有し、
前記制御処理部は、前記赤外光源が前記第一のフレーム期間だけ赤外光を発光するように制御することを特徴とする撮像装置。
請求項１又は２記載の撮像装置であって、
さらに、可視光を発光する可視光源を有し、
前記制御処理部は、前記可視光源が常時可視光を発光するよう制御することを特徴とする撮像装置。
請求項１又は２記載の撮像装置であって、
可視光を発光する可視光源と、赤外光を発光する赤外光源を有し、
前記制御処理部は、前記赤外光源が第一のフレーム期間だけ赤外光を発光せしめ、前記第二のフレーム期間の間だけ可視光を発光するように制御することを特徴とする撮像装置。