JP2021027516A - 撮像装置および撮像装置の制御方法 - Google Patents

Abstract

【課題】照度が著しく低い環境下で、合成画像の色再現性を向上させることができるようにする。【解決手段】撮像装置は、光学像の可視光成分を基に可視光画像を生成する第１の撮像部（１０６，１１１）と、前記光学像の赤外光成分を基に赤外光画像を生成する第２の撮像部（１０９，１１２）と、前記可視光画像と前記赤外光画像を合成する合成部（１１４）とを有し、前記第１の撮像部は、各々が光を電荷に変換する複数の光電変換部を有し、前記第１の撮像部は、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成する。【選択図】図１

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

可視光での撮像と赤外光での撮像を行うために、１つの光学系に対して可視光を受光する可視光センサと、赤外光を受光する赤外光センサとを設ける撮像装置が知られている（特許文献１参照)。この撮像装置は、赤外光照明を備え、可視光センサが出力する画像データと、赤外光センサが出力する画像データを合成することで、照度が低い環境下でもカラーでかつ低ノイズの画像を取得することができる。

特開２０１７−１５６４６４号公報

しかしながら、その撮像装置は、照度が著しく低い環境下では、合成画像の色再現性が確保できない課題がある。

本発明の目的は、照度が著しく低い環境下で、合成画像の色再現性を向上させることができるようにすることである。

本発明の一観点によれば、撮像装置は、光学像の可視光成分を基に可視光画像を生成する第１の撮像部と、前記光学像の赤外光成分を基に赤外光画像を生成する第２の撮像部と、前記可視光画像と前記赤外光画像を合成する合成部とを有し、前記第１の撮像部は、各々が光を電荷に変換する複数の光電変換部を有し、前記第１の撮像部は、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成する。

本発明によれば、照度が著しく低い環境下で、合成画像の色再現性を向上させることができる。

撮像システムの機能構成例を示すブロック図である。 撮像システムのハードウェア構成例を示すブロック図である。 撮像素子の構成例を示す図である。 画素部の構成例を示す回路図である。 撮像素子の制御方法を示すタイミングチャートである。 撮像装置の制御方法を説明するための図である。 撮像装置の制御方法を示すフローチャートである。 撮像装置のモード毎の出力を示す図である。

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

図１は、本実施形態による撮像システム１００の機能構成例を示すブロック図である。撮像システム１００は、撮像装置１０１と、ネットワーク１０２と、クライアント装置１０３とを有する。

ネットワーク１０２は、撮像装置１０１とクライアント装置１０３とを接続する。ネットワーク１０２は、複数のルータ、スイッチ、およびケーブル等を有する。ネットワーク１０２は、撮像装置１０１およびクライアント装置１０３間の通信を行うことができるものであれば、その通信規格、規模、および構成は限定されない。ネットワーク１０２は、例えば、インターネット、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等である。

クライアント装置１０３は、例えば、パーソナルコンピュータ（ＰＣ）、サーバ装置、またはタブレット装置等の情報処理装置である。クライアント装置１０３は、撮像装置１０１の制御に関するコマンドを撮像装置１０１に出力する。撮像装置１０１は、それらのコマンドに対するレスポンスや画像をクライアント装置１０３に出力する。

撮像装置１０１は、例えば、ネットワークカメラ等の撮像装置である。撮像装置１０１は、可視光画像と赤外光画像を撮像可能であり、ネットワーク１０２を介して、クライアント装置１０３と通信可能である。撮像装置１０１は、レンズ部１０４、波長分離部１０５、撮像素子１０６、撮像素子１０９、画像処理部１１１、画像処理部１１２、画像サイズ変更部１１３、合成部１１４、ネットワーク処理部１１５、および赤外光照射部１１６を有する。

赤外光照射部１１６は、赤外光を照射することができる。なお、赤外光照射部１１６は、省略可能である。レンズ部１０４は、被写体から入射する光を結像する光学レンズである。波長分離部１０５は、レンズ部１０４により結像された光学像を可視光成分と赤外光成分に分離する。例えば、波長分離部１０５は、レンズ部１０４により結像された光学像に含まれる波長４００ｎｍ以上〜７００ｎｍ未満の可視光成分と波長７００ｎｍ以上の赤外光成分を分離する。

撮像素子１０６は、各々の画素毎に設けられた光電変換部１０７と、画素加算部１０８を有する。光電変換部１０７は、波長分離部１０５を通過した可視光成分を電気信号へ変換する。画素加算部１０８は、光電変換部１０７により変換された電気信号を加算または平均化する。画素加算部１０８は、アナログの電気信号を加算または平均化するのが好ましい。

式（１）は、画素加算部１０８が加算しない場合の１画素の電気信号のＳ／Ｎを示す。式（２）は、画素加算部１０８が４画素の電気信号を加算した電気信号のＳ／Ｎを示す。ここで、Ｉは撮像素子１０６が出力する電気信号の平均値である。σ_SNは、撮像素子１０６の光ショットノイズである。σ_DRNは、撮像素子１０６のダークランダムノイズである。式（２）のＳ／Ｎは、式（１）のＳ／Ｎに対して、向上している。

撮像素子１０９は、各々の画素毎に設けられた光電変換部１１０を有する。光電変換部１１０は、波長分離部１０５を通過した赤外光成分を電気信号へ変換する。撮像素子１０６は、被写体の光学像の可視光成分に基づく画像信号を生成する。撮像素子１０９は、被写体の光学像の赤外光成分に基づく画像信号を生成する。撮像素子１０６および撮像素子１０９は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、またはＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ等である。

画像処理部１１１は、撮像素子１０６により生成された画像信号に対して現像処理を施し、可視光画像を生成する。撮像素子１０６と画像処理部１１１は、撮像部であり、被写体の光学像の可視光成分を基に可視光画像を生成する。

画像処理部１１２は、撮像素子１０９により生成された画像信号に対して現像処理を施し、赤外光画像を生成する。撮像素子１０９と画像処理部１１２は、撮像部であり、被写体の光学像の赤外光成分を基に赤外光画像を生成する。

画像サイズ変更部１１３は、画像処理部１１１により生成された可視光画像の画像サイズを、画像処理部１１２により生成された赤外光画像と同じサイズに変更する。合成部１１４は、画像サイズ変更部１１３により画像サイズが変更された可視光画像と、画像処理部１１２により生成された赤外光画像とを、例えば、式（３）に基づき合成し、合成画像を生成する。

Ｙ_s＝αＹ_v＋βＹ_i
Ｃｂ_s＝αＣｂ_v ・・・（３）
Ｃｒ_s＝αＣｒ_v

ここで、Ｙ_s、Ｃｂ_sおよびＣｒ_sは、それぞれ、合成画像の輝度信号、青の色差信号、および赤の色差信号である。Ｙ_v、Ｃｂ_vおよびＣｒ_vは、それぞれ、可視光画像の輝度信号、青の色差信号、および赤の色差信号である。Ｙ_iは、赤外光画像の輝度信号である。αおよびβは、係数を示す。

合成画像の色差信号Ｃｂ_sおよびＣｒ_sは、可視光画像の色差信号Ｃｂ_vおよびＣｒ_vで決定されるため、可視光画像のＳ／Ｎが高いほど色再現性が高い。画素加算部１０８は、加算又は平均化により、可視光画像のＳ／Ｎを向上させ、色再現性を向上させることができる。

ここで、画素加算部１０８は、加算または平均化により、出力する可視光画像の解像度が低下する。画素加算部１０８が出力する可視光画像は、画像処理部１１２が出力する赤外光画像に対して、画像の先鋭度が小さくなる場合がある。ただし、人間の目は、輝度信号に比べ、色彩信号に対して鈍感であるため、色成分を含む可視光画像の解像度を一度落としても、その影響が小さい。

ネットワーク処理部１１５は、ネットワーク１０２を介して、クライアント装置１０３からのコマンドに対するレスポンスや合成画像などをクライアント装置１０３へ出力する。なお、撮像装置１０１は、赤外光照射部１１６を設けることにより、合成画像の出力値が高くなり、赤外光照射部１１６を設けない場合に比べて、合成画像のＳ／Ｎの向上の効果がある。

図２は、撮像システム１００のハードウェア構成例を示すブロック図である。撮像システム１００は、撮像装置１０１と、ネットワーク１０２と、クライアント装置１０３とを有する。

撮像装置１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、撮像部２０４、およびネットワーク処理部２０５を有する。ＣＰＵ２０１は、ＲＯＭ２０２に記憶されているプログラムを読み出し、そのプログラムを実行することにより、図１の撮像装置１０１の機能を実現する。ＲＡＭ２０３は、ＣＰＵ２０１の主メモリ、およびワークエリア等の一時記憶領域として用いられる。ＲＯＭ２０２は、ブートプログラム等を記憶する。撮像部２０４は、図１のレンズ部１０４と、波長分離部１０５と、撮像素子１０６と、撮像素子１０９と、赤外光照射部１１６に対応する。ネットワーク処理部２０５は、図１のネットワーク処理部１１５に対応する。

クライアント装置１０３は、ＣＰＵ２１０、ＲＯＭ２１１、ＲＡＭ２１２、ネットワーク処理部２１３、入力部２１４、表示部２１５、および記憶部２１６を有する。ＣＰＵ２１０は、ＲＯＭ２１１に記憶されているプログラムを読み出し、そのプログラムを実行することにより処理を行う。ＲＯＭ２１１は、ブートプログラム等を記憶する。ＲＡＭ２１２は、ＣＰＵ２１０の主メモリ、およびワークエリア等の一時記憶領域として用いられる。ネットワーク処理部２１３は、ネットワーク１０２を介して、撮像装置１０１の制御に関するコマンドを撮像装置１０１に出力し、撮像装置１０１から出力された合成画像を入力する。入力部２１４は、キーボード等であり、情報の入力を行う。表示部２１５は、ディスプレイ等の表示媒体であり、撮像装置１０１によって生成された合成画像を表示する。なお、入力部２１４および表示部２１５は、クライアント装置１０３とは、独立した装置であってもよいし、クライアント装置１０３に含まれていてもよい。記憶部２１６は、例えば、ハードディスクやメモリカード等の記憶媒体であり、撮像装置１０１から出力された合成画像を記憶する。

図３は、図１の撮像素子１０６の構成例を示すブロック図である。撮像素子１０６は、画素部３０１、水平走査回路３０２、垂直走査回路３０３、相関二重サンプリング部（ＣＤＳ部）３０４、アナログデジタル変換部（ＡＤＣ部）３０５、および出力部３０６を有する。

画素部３０１は、２次元行列状に配列された複数の画素を有し、各画素の画素信号を生成する。各画素は、図１の光電変換部１０７を有する。また、画素部３０１は、図１の画素加算部１０８を有する。画素部３０１は、画素上にカラーフィルタが配置されている。カラーフィルタの配列は、例えばベイヤ配列であるが、それに限定されない。垂直走査回路３０３は、画素部３０１の複数の画素の行を順に選択する。画素加算部１０８は、同時に選択された画素の画素信号を加算または平均化する。画素部３０１は、加算または平均化された画素信号をＣＤＳ部３０４に出力する。

ＣＤＳ部３０４は、列順次で、画素部３０１から入力した画素信号に対して、相関二重サンプリングを行い、画素信号のノイズを低減する。ＡＤＣ部３０５は、ＣＤＳ部３０４の出力信号をアナログからデジタルに変換し、デジタルの画素信号を保持する。水平走査回路３０２は、ＡＤＣ部３０５に保持されている各列のデジタルの画素信号を順に出力部３０６に出力する。出力部３０６は、各画素の画素信号を、画像信号として画像処理部１１１に出力する。

なお、画素加算部１０８は、ＡＤＣ部３０５と出力部３０６の間に設けてもよい。画素加算部１０８は、画素部３０１に設ける場合には、アナログ信号の加算を行い、ＡＤＣ部３０５と出力部３０６の間に設ける場合には、デジタル信号の加算を行う。また、撮像素子１０６は、ＡＤＣ部３０５を省略し、アナログの画像信号を出力してもよい。

図１の撮像素子１０９は、図３の撮像素子１０６と同様の構成を有する。ただし、撮像素子１０９は、画素加算部１０８とカラーフィルタを設けてもよいし、設けなくてもよい。

図４は、図３の画素部３０１の一部の構成例を示す回路図である。画素部３０１は、２次元状に配列された複数の図４の回路を有する。

光電変換部４０１〜４０８は、例えばフォトダイオードであり、カラーフィルタを透過した光を電荷に変換する。光電変換部４０１および４０５は、赤色のカラーフィルタを透過した光を電荷に変換する。光電変換部４０３および４０７は、それぞれ、光電変換部４０１および４０５の右隣に配置され、緑色のカラーフィルタを透過した光を電荷に変換する。

光電変換部４０４および４０８は、青色のカラーフィルタを透過した光を電荷に変換する。光電変換部４０２および４０６は、それぞれ、光電変換部４０４および４０８の左隣に配置され、緑色のカラーフィルタを透過した光を電荷に変換する。

転送スイッチ４１１は、転送信号φＴＸ＿Ｒ１に応じて、光電変換部４０１により変換された電荷をフローティングディフュージョン部（ＦＤ部）４２１に転送する。転送スイッチ４１２は、転送信号φＴＸ＿Ｇｂ１に応じて、光電変換部４０２により変換された電荷をＦＤ部４２１に転送する。

転送スイッチ４１３は、転送信号φＴＸ＿Ｇｒ１に応じて、光電変換部４０３により変換された電荷をＦＤ部４２１に転送する。転送スイッチ４１４は、転送信号φＴＸ＿Ｂ１に応じて、光電変換部４０４により変換された電荷をＦＤ部４２１に転送する。

転送スイッチ４１５は、転送信号φＴＸ＿Ｒ２に応じて、光電変換部４０５により変換された電荷をＦＤ部４２１に転送する。転送スイッチ４１６は、転送信号φＴＸ＿Ｇｂ２に応じて、光電変換部４０６により変換された電荷をＦＤ部４２１に転送する。

転送スイッチ４１７は、転送信号φＴＸ＿Ｇｒ２に応じて、光電変換部４０７により変換された電荷をＦＤ部４２１に転送する。転送スイッチ４１８は、転送信号φＴＸ＿Ｂ２に応じて、光電変換部４０８により変換された電荷をＦＤ部４２１に転送する。

転送スイッチ４１１〜４１８は、図１の画素加算部１０８に対応する。転送スイッチ４１１〜４１８は、それぞれ、同色のカラーフィルタの光電変換部４０１〜４０８の電荷を同時にＦＤ部４２１に転送する。すると、ＦＤ部４２１では、同色のカラーフィルタの光電変換部の電荷が混合（加算）される。

例えば、転送スイッチ４１１および４１５は、それぞれ、赤色のカラーフィルタの光電変換部４０１および４０５の電荷を同時にＦＤ部４２１に転送する。ＦＤ部４２１では、赤色のカラーフィルタの光電変換部４０１および４０５の電荷が混合（加算）される。なお、転送スイッチ４１１〜４１８は、加算を行わない場合には、時系列で順に転送する。

リセットスイッチ４２０は、リセット信号φＲＳＴに応じて、光電変換部４０１〜４０８に蓄積された電荷と、ＦＤ部４２１に蓄積された電荷をリセットする。増幅部４２２は、ＦＤ部４２１に蓄積されている電荷量の電圧を増幅する。選択スイッチ４２３は、選択信号φＳＥＬに応じて、増幅部４２２により増幅された電圧を、画素信号として、信号線４２４を介して図３のＣＤＳ部３０４に出力する。

なお、画素部３０１は、１個のＦＤ部４２１に対して、８個の光電変換部４０１〜４０８を設ける例を示したが、これに限定されない。画素部３０１は、１個のＦＤ部４２１に対して、９個以上の光電変換部を設けてもよい。

画素部３０１は、色毎（赤色、緑色（Ｇｒ）、青色、緑色（Ｇｂ）毎）に、同色のカラーフィルタの同じ数の光電変換部の電荷に基づく信号を加算する。画素部３０１は、赤色のカラーフィルタの光電変換部４０１および４０５の電荷に基づく信号を加算する。また、画素部３０１は、緑色のカラーフィルタの光電変換部４０３および４０７の電荷に基づく信号を加算する。また、画素部３０１は、青色のカラーフィルタの光電変換部４０４および４０８の電荷に基づく信号を加算する。また、画素部３０１は、緑色のカラーフィルタの光電変換部４０２および４０６の電荷に基づく信号を加算する。この場合、光電変換部の縦の数と、光電変換部の横の数は、偶数であることの好ましい。

また、画素加算部１０８がＡＤＣ部３０５と出力部３０６の間に設けられる場合、画素部３０１は、１個の光電変換部に対して、１個のＦＤ部を設けてもよい。

図５（ａ）は、撮像素子１０９の制御方法を示すタイミングチャートである。撮像素子１０９は、光電変換部４０１および４０５の電荷を個別に転送する。

時刻ｔ５０１の前では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をハイレベルにし、転送信号φＴＸ＿Ｒ２をローレベルにし、リセット信号φＲＳＴをハイレベルにし、選択信号φＳＥＬをハイレベルにする。すると、転送スイッチ４１１とリセットスイッチ４２０と選択スイッチ４２３がオンになる。リセットスイッチ４２０は、光電変換部４０１に蓄積されている電荷と、ＦＤ部４２１に蓄積されている電荷をリセットする。

次に、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をローレベルにし、転送信号φＴＸ＿Ｒ２をハイレベルにし、リセット信号φＲＳＴをハイレベルにし、選択信号φＳＥＬをハイレベルにする。すると、転送スイッチ４１５とリセットスイッチ４２０と選択スイッチ４２３がオンになる。リセットスイッチ４２０は、光電変換部４０５に蓄積されている電荷と、ＦＤ部４２１に蓄積されている電荷をリセットする。転送スイッチ４１１がオフになり、光電変換部４０１は、リセットが解除され、光電変換による電荷の蓄積を開始する。

時刻ｔ５０１では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ２をローレベルにし、選択信号φＳＥＬをハイレベルにする。すると、転送スイッチ４１５と選択スイッチ４２３がオフになる。光電変換部４０５は、リセットが解除され、光電変換による電荷の蓄積を開始する。

時刻ｔ５０２では、垂直走査回路３０３は、選択信号φＳＥＬをハイレベルにする。すると、選択スイッチ４２３がオンになる。増幅部４２２は、ＦＤ部４２１のリセットに基づくＮ信号をＣＤＳ部３０４に出力する。

時刻ｔ５０３では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をハイレベルにし、リセット信号φＲＳＴをローレベルにする。すると、転送スイッチ４１１がオンになり、リセットスイッチ４２０がオフになる。転送スイッチ４１１は、光電変換部４０１に蓄積されている電荷をＦＤ部４２１に転送する。増幅部４２２は、ＦＤ部４２１に蓄積されている電荷量に基づくＳ１信号をＣＤＳ部３０４に出力する。ＣＤＳ部３０４は、Ｓ１信号とＮ信号との差分を画素信号としてＡＤＣ部３０５に出力する。

時刻ｔ５０４では、垂直走査回路３０３は、リセット信号φＲＳＴをハイレベルにする。すると、リセットスイッチ４２０は、オンになり、光電変換部４０１に蓄積されている電荷をリセットする。

時刻ｔ５０５では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をローレベルにし、転送信号φＴＸ＿Ｒ２をハイレベルにし、リセット信号φＲＳＴをローレベルにする。すると、転送スイッチ４１１とリセットスイッチ４２０がオフになり、転送スイッチ４１５がオンになる。転送スイッチ４１１がオフになると、光電変換部４０１は、光電変換された電荷の蓄積を開始する。リセットスイッチ４２０は、光電変換部４０１およびＦＤ部４２１のリセットを解除する。転送スイッチ４１５は、光電変換部４０５に蓄積されている電荷をＦＤ部４２１に転送する。増幅部４２２は、ＦＤ部４２１に蓄積されている電荷量に基づくＳ２信号をＣＤＳ部３０４に出力する。ＣＤＳ部３０４は、Ｓ２信号とＮ信号との差分を画素信号としてＡＤＣ部３０５に出力する。

時刻ｔ５０６では、垂直走査回路３０３は、リセット信号φＲＳＴをハイレベルにする。すると、リセットスイッチ４２０は、オンになり、光電変換部４０５およびＦＤ部４２１に蓄積されている電荷をリセットする。

時刻ｔ５０７では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ２をローレベルにし、選択信号φＳＥＬをローレベルにする。すると、転送スイッチ４１５と選択スイッチ４２３がオフになる。光電変換部４０５は、リセットが解除され、光電変換された電荷の蓄積を開始する。時刻ｔ５０７以降は、時刻ｔ５０２〜ｔ５０７の処理を繰り返す。

以上、赤色のカラーフィルタの光電変換部４０１および４０５の例を説明したが、他の色の光電変換部の処理も同様である。撮像素子１０９は、すべての光電変換部の電荷を個別に転送し、全画素の赤外光画像を生成する。

図５（ｂ）は、撮像素子１０６の制御方法を示すタイミングチャートである。撮像素子１０６は、光電変換部４０１および４０５の電荷を加算する。

時刻ｔ５１１の前では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をハイレベルにし、転送信号φＴＸ＿Ｒ２をハイレベルにし、リセット信号φＲＳＴをハイレベルにし、選択信号φＳＥＬをハイレベルにする。すると、転送スイッチ４１１と転送スイッチ４１５とリセットスイッチ４２０と選択スイッチ４２３がオンになる。リセットスイッチ４２０は、光電変換部４０１と光電変換部４０５とＦＤ部４２１に蓄積されている電荷をリセットする。

時刻ｔ５１１では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１と転送信号φＴＸ＿Ｒ２と選択信号φＳＥＬをローレベルにする。すると、転送スイッチ４１１と転送スイッチ４１５と選択スイッチ４２３がオフになる。光電変換部４０１および４０５は、それぞれ、リセットが解除され、光電変換された電荷の蓄積を開始する。

時刻ｔ５１２では、垂直走査回路３０３は、選択信号φＳＥＬをハイレベルにする。すると、選択スイッチ４２３がオンになる。増幅部４２２は、ＦＤ部４２１のリセットに基づくＮ信号をＣＤＳ部３０４に出力する。

時刻ｔ５１３では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をハイレベルにし、転送信号φＴＸ＿Ｒ２をハイレベルにし、リセット信号φＲＳＴをローレベルにする。すると、転送スイッチ４１１および４１５がオンになり、リセットスイッチ４２０がオフになる。転送スイッチ４１１は、光電変換部４０１に蓄積されている電荷をＦＤ部４２１に転送する。転送スイッチ４１５は、光電変換部４０５に蓄積されている電荷をＦＤ部４２１に転送する。ＦＤ部４２１は、光電変換部４０１により変換された電荷と、光電変換部４０５により変換された電荷を混合（加算）する。増幅部４２２は、ＦＤ部４２１に蓄積されている電荷量に基づくＳ信号をＣＤＳ部３０４に出力する。ＣＤＳ部３０４は、Ｓ信号とＮ信号との差分を画素信号としてＡＤＣ部３０５に出力する。

時刻ｔ５１４では、垂直走査回路３０３は、リセット信号φＲＳＴをハイレベルにする。すると、リセットスイッチ４２０は、オンになり、光電変換部４０１および４０５に蓄積されている電荷をリセットする。

時刻ｔ５１５では、垂直走査回路３０３は、転送信号φＴＸ＿Ｒ１をローレベルにし、転送信号φＴＸ＿Ｒ２をローレベルにし、選択信号φＳＥＬをローレベルにする。すると、転送スイッチ４１１と転送スイッチ４１５と選択スイッチ４２３がオフになる。光電変換部４０１および４０５は、それぞれ、リセットが解除され、光電変換された電荷の蓄積を開始する。時刻ｔ５１５以降は、時刻ｔ５１１〜ｔ５１５の処理を繰り返す。

以上、赤色のカラーフィルタの光電変換部４０１および４０５の例を説明したが、他の色の光電変換部の処理も同様である。撮像素子１０６は、光電変換部の電荷を加算し、画素数が少ない可視光画像を生成する。

画素加算部１０８は、ＡＤＣ部３０５と出力部３０６の間に設けることができる。その場合、画素加算部１０８は、式（４）により、光電変換部４０１の電荷に基づくデジタル画素信号Ｒ１と、光電変換部４０４の電荷に基づくデジタル画素信号Ｒ２を加算し、加算後のデジタル画素信号Ｒ１’を出力する。
Ｒ１’＝Ｒ１＋Ｒ２ ・・・(４)

図６は、撮像装置１０１の制御方法を説明するための図である。撮像素子１０６および画像処理部１１１は、低解像度の可視光画像６０１を生成する。撮像素子１０９および画像処理部１１２は、高解像度の赤外光画像６０２を生成する。可視光画像６０１の画像サイズは、赤外光画像６０２の画像サイズより小さい。赤外光画像６０２は、色成分を持たないが、赤外光成分を感度とする画像であるため、可視光画像６０１に比べて、Ｓ／Ｎが大きい。

画像サイズ変更部１１３は、可視光画像６０１の画像サイズを変更し、赤外光画像６０２と同じ画像サイズの可視光画像６０３を生成する。合成部１１４は、可視光画像６０３と赤外光画像６０２を合成し、合成画像６０４を生成する。合成画像６０４は、色成分を有し、かつ、Ｓ／Ｎの大きい画像である。また、画素加算部１０８の加算または平均化により、可視光画像６０１のＳ／Ｎが向上し、合成画像６０４のＳ／Ｎも向上する。

図７は、撮像装置１０１の制御方法を示すフローチャートである。撮像素子１０６は、通常モードと加算モードとを有する。加算モードでは、撮像素子１０６は、上記のように、画素加算部１０８が加算または平均化を行う。通常モードでは、撮像素子１０６は、画素加算部１０８が加算または平均化を行わない。図７は、撮像素子１０６が加算モードである場合の処理を示す。

まず、ステップＳ７０１では、撮像素子１０６および画像処理部１１１は、可視光画像を生成する。

次に、ステップＳ７０２では、画像処理部１１１は、可視光画像の任意の領域内の画素信号の平均値（可視光画像の平均値）が、閾値Ｔ１以上であるか否かを判定する。画像処理部１１１は、画素信号の平均値が閾値Ｔ１以上である場合には、ステップＳ７０３に進み、画素信号の平均値が閾値Ｔ１以上でない場合には、ステップＳ７０４に進む。

ステップＳ７０４では、画像処理部１１１は、可視光画像の任意の領域内の画素信号の平均値が、閾値Ｔ２以下であるか否かを判定する。閾値Ｔ２は、閾値Ｔ１より小さい。画像処理部１１１は、画素信号の平均値が閾値Ｔ２以下である場合には、ステップＳ７０５に進み、画素信号の平均値が閾値Ｔ２以下でない場合には、図７のフローチャートの処理を終了する。

ステップＳ７０３では、画素加算部１０８は、電荷を加算する光電変換部の数を、現状の数に対して減らし、図７のフローチャートの処理を終了する。なお、減らす数は、限定されない。

ステップＳ７０５では、画素加算部１０８は、電荷を加算する光電変換部の数を、現状の数に対して増やし、図７のフローチャートの処理を終了する。なお、増やす数は、限定されない。

以上のように、撮像素子１０６と画像処理部１１１は、可視光画像の平均値に応じて、上記の加算または平均化する信号の数を変更する。例えば、撮像素子１０６と画像処理部１１１は、可視光画像の平均値が閾値Ｔ２以下である場合には、上記の加算または平均化する信号の数を増やす。また、撮像素子１０６と画像処理部１１１は、可視光画像の平均値が閾値Ｔ１以上である場合には、上記の加算または平均化する信号の数を減らす。

なお、ステップ７０２およびＳ７０４では、画像処理部１１１は、画素信号の平均値を基に判定したが、これに限定されない。画像処理部１１１は、可視光画像のＳ／Ｎ、または、赤外光画像の画素信号の平均値に対する可視光画像の画素信号の平均値の比を基に、判定してもよい。

例えば、ステップＳ７０２では、画像処理部１１１は、可視光画像のＳ／Ｎが閾値Ｔ１ａ以上である場合には、ステップＳ７０３に進み、可視光画像のＳ／Ｎが閾値Ｔ１ａ以上でない場合には、ステップＳ７０４に進む。ステップＳ７０４では、画像処理部１１１は、可視光画像のＳ／Ｎが閾値Ｔ２ａ以下である場合には、ステップＳ７０５に進み、可視光画像のＳ／Ｎが閾値Ｔ２ａ以下でない場合には、図７のフローチャートの処理を終了する。閾値Ｔ２ａは、閾値Ｔ１ａより小さい。

また、ステップＳ７０２では、画像処理部１１１は、赤外光画像の画素信号の平均値に対する可視光画像の画素信号の平均値の比が閾値Ｔ１ｂ以上である場合には、ステップＳ７０３に進む。また、画像処理部１１１は、赤外光画像の画素信号の平均値に対する可視光画像の画素信号の平均値の比が閾値Ｔ１ｂ以上でない場合には、ステップＳ７０４に進む。ステップＳ７０４では、画像処理部１１１は、赤外光画像の画素信号の平均値に対する可視光画像の画素信号の平均値の比が閾値Ｔ２ｂ以下である場合には、ステップＳ７０５に進む。また、画像処理部１１１は、赤外光画像の画素信号の平均値に対する可視光画像の画素信号の平均値の比が閾値Ｔ２ｂ以下でない場合には、図７のフローチャートの処理を終了する。閾値Ｔ２ｂは、閾値Ｔ１ｂより小さい。

図８は、撮像装置１０１の通常モードおよび加算モードの制御方法を説明するためのグラフである。横軸は時刻を示し、縦軸は可視光画像の任意の領域内の画素信号の平均値（可視光画像の平均値）を示す。

状態８０１〜８０３は、撮像装置１０１が通常モードである場合の可視光画像の平均値を示す。通常モードは、画素加算部１０８が加算しないモードである。状態８０１および８０４〜８０７は、撮像装置１０１が加算モードである場合の可視光画像の平均値を示す。加算モードは、画素加算部１０８が加算するモードである。

図８は、環境照度が時刻の経過と共に低下している場合を示す。また、画素加算部１０８が電荷を加算する光電変換部の数の上限は、４個である。また、画素加算部１０８が電荷を加算する光電変換部の数の初期値は、０個である。閾値Ｔ１は、閾値Ｔ２より大きい。

まず、通常モードについて説明する。時刻ｔ８１１〜ｔ８１２では、状態８０１に示すように、撮像素子１０６および画像処理部１１１は、画素加算部１０８の加算を行わず、可視光画像を生成する。この可視光画像は、赤外光画像に対して、サイズが同じである。次に、時刻ｔ８１２以降でも、状態８０２および８０３に示すように、撮像素子１０６および画像処理部１１１は、画素加算部１０８の加算を行わず、可視光画像を生成する。状態８０１〜８０３では、環境照度が時間の経過と共に低下しているため、可視光画像の平均値も時間の経過と共に低下している。

次に、加算モードについて説明する。画素加算部１０８が電荷を加算する光電変換部の数の初期値は、０個である。時刻ｔ８１１〜ｔ８１２では、状態８０１に示すように、撮像素子１０６および画像処理部１１１は、可視光画像の平均値が閾値Ｔ２より大きいので、画素加算部１０８の加算を行わず、可視光画像を生成する。可視光画像の平均値が閾値Ｔ２より大きい場合には、画素加算部１０８が加算を行わなくても、画像処理部１１１は十分な色成分を取得できる。

次に、時刻ｔ８１２では、状態８０４に示すように、画素加算部１０８は、可視光画像の平均値が閾値Ｔ２以下になるので、電荷を加算する光電変換部の数を０個から２個に増加する。画素加算部１０８は、２個の光電変換部の電荷を加算するので、可視光画像の平均値が増加する。その後、状態８０５に示すように、環境照度が低下するので、可視光画像の平均値も低下する。

次に、時刻ｔ８１３では、状態８０６に示すように、画素加算部１０８は、可視光画像の平均値が閾値Ｔ２以下になるので、電荷を加算する光電変換部の数を２個から４個に増加する。画素加算部１０８は、４個の光電変換部の電荷を加算するので、可視光画像の平均値が増加する。その後、状態８０７に示すように、環境照度が低下するので、可視光画像の平均値も低下する。

時刻ｔ８１４では、可視光画像の平均値が閾値Ｔ２以下になる。しかし、画素加算部１０８が電荷を加算する光電変換部の数が上限に達しているので、画素加算部１０８は、電荷を加算する光電変換部の数をこれ以上増加できない。画素加算部１０８は、４個の光電変換部の電荷の加算を継続する。

なお、画素加算部１０８が加算の代わりに平均化を行うことができる。その場合、画素加算部１０８は、複数の光電変換部の電荷を平均化し、その平均化した電荷に基づく信号を増幅する。増幅は、アナログ信号の増幅でも、デジタル信号の増幅でもよい。

以上のように、撮像素子１０６と画像処理部１１１は、可視光画像の平均値が閾値Ｔ２以下である場合には、複数の光電変換部のうちの２個以上の光電変換部の電荷または電荷に基づく信号を加算または平均化することにより可視光画像を生成する。また、撮像素子１０６と画像処理部１１１は、可視光画像の平均値が閾値Ｔ２以下でない場合には、複数の光電変換部のうちの２個以上の光電変換部の電荷または電荷に基づく信号を加算も平均化もせずに可視光画像を生成する。

撮像装置１０１は、照度が著しく低い環境下で、加算または平均化により、合成画像の色再現性を向上させることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０６ 撮像素子、１０８ 画素加算部、１０９ 撮像素子、１１１，１１２ 画像処理部、１１３ 画像サイズ変更部、１１４ 合成部

Claims (23)

1. 光学像の可視光成分を基に可視光画像を生成する第１の撮像部と、
   前記光学像の赤外光成分を基に赤外光画像を生成する第２の撮像部と、
   前記可視光画像と前記赤外光画像を合成する合成部とを有し、
   前記第１の撮像部は、各々が光を電荷に変換する複数の光電変換部を有し、
   前記第１の撮像部は、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成することを特徴とする撮像装置。
2. 前記第１の撮像部は、前記可視光画像に応じて、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成、または、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記第１の撮像部は、前記可視光画像の第１の領域内の画素信号の平均値に応じて、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成、または、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項２に記載の撮像装置。
4. 前記第１の撮像部は、前記可視光画像の第１の領域内の画素信号の平均値が第１の閾値以下である場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成し、前記可視光画像の第１の領域内の画素信号の平均値が前記第１の閾値以下でない場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項３に記載の撮像装置。
5. 前記第１の撮像部は、前記可視光画像のＳ／Ｎに応じて、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成、または、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項１または２に記載の撮像装置。
6. 前記第１の撮像部は、前記可視光画像のＳ／Ｎが第１の閾値以下である場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成し、前記可視光画像のＳ／Ｎが前記第１の閾値以下でない場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項５に記載の撮像装置。
7. 前記第１の撮像部は、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比に応じて、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成、または、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項１または２に記載の撮像装置。
8. 前記第１の撮像部は、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比が第１の閾値以下である場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成し、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比が前記第１の閾値以下でない場合には、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算も平均化もせずに前記可視光画像を生成することを特徴とする請求項７に記載の撮像装置。
9. 前記第１の撮像部は、前記可視光画像に応じて、前記加算または平均化する信号の数を変更することを特徴とする請求項１に記載の撮像装置。
10. 前記第１の撮像部は、前記可視光画像の第１の領域内の画素信号の平均値に応じて、前記加算または平均化する信号の数を変更することを特徴とする請求項９に記載の撮像装置。
11. 前記第１の撮像部は、前記可視光画像の第１の領域内の画素信号の平均値が第１の閾値以下である場合には、前記加算または平均化する信号の数を増やすことを特徴とする請求項１０に記載の撮像装置。
12. 前記第１の撮像部は、前記可視光画像の第１の領域内の画素信号の平均値が第２の閾値以上である場合には、前記加算または平均化する信号の数を減らすことを特徴とする請求項１０または１１に記載の撮像装置。
13. 前記第１の撮像部は、前記可視光画像のＳ／Ｎに応じて、前記加算または平均化する信号の数を変更することを特徴とする請求項９に記載の撮像装置。
14. 前記第１の撮像部は、前記可視光画像のＳ／Ｎが第１の閾値以下である場合には、前記加算または平均化する信号の数を増やすことを特徴とする請求項１３に記載の撮像装置。
15. 前記第１の撮像部は、前記可視光画像のＳ／Ｎが第２の閾値以上である場合には、前記加算または平均化する信号の数を減らすことを特徴とする請求項１３または１４に記載の撮像装置。
16. 前記第１の撮像部は、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比に応じて、前記加算または平均化する信号の数を変更することを特徴とする請求項９に記載の撮像装置。
17. 前記第１の撮像部は、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比が第１の閾値以下である場合には、前記加算または平均化する信号の数を増やすことを特徴とする請求項１６に記載の撮像装置。
18. 前記第１の撮像部は、前記赤外光画像の画素信号の平均値に対する前記可視光画像の画素信号の平均値の比が第２の閾値以上である場合には、前記加算または平均化する信号の数を減らすことを特徴とする請求項１６または１７に記載の撮像装置。
19. 前記第１の撮像部により生成された可視光画像のサイズを変更する変更部をさらに有し、
    前記合成部は、前記変更部により変更された可視光画像と前記赤外光画像を合成することを特徴とする請求項１〜１８のいずれか１項に記載の撮像装置。
20. 前記第１の撮像部は、前記２個以上の光電変換部の電荷を加算または平均化することを特徴とする請求項１〜１９のいずれか１項に記載の撮像装置。
21. 前記第１の撮像部は、前記２個以上の光電変換部の電荷に基づくデジタル信号を加算または平均化することを特徴とする請求項１〜１９のいずれか１項に記載の撮像装置。
22. 赤外光を照射する照射部をさらに有することを特徴とする請求項１〜２１のいずれか１項に記載の撮像装置。
23. 第１の撮像部により、光学像の可視光成分を基に可視光画像を生成するステップと、
    第２の撮像部により、前記光学像の赤外光成分を基に赤外光画像を生成するステップと、
    合成部により、前記可視光画像と前記赤外光画像を合成するステップとを有し、
    前記第１の撮像部は、各々が光を電荷に変換する複数の光電変換部を有し、
    前記第１の撮像部は、前記複数の光電変換部のうちの２個以上の光電変換部の電荷または前記電荷に基づく信号を加算または平均化することにより前記可視光画像を生成することを特徴とする撮像装置の制御方法。

Images