JP2022114260A - 画像形成装置 - Google Patents

Abstract

【課題】カラー画像を形成する画素を減らすことなく可視光および赤外光を用いて画像を形成できる画像形成装置を提供する。【解決手段】画像形成装置１０において、赤外光を出射する光源１１は、光源制御部１７によって点灯制御される。光源１１がオン状態のときに画素に蓄積する電荷は、光源１１が出射した赤外光の影響と太陽光の影響を含む。光源１１がオフ状態のときに画素に蓄積する電荷は、光源１１が出射した赤外光の影響はなく太陽光の影響のみ含む。画像形成部１８は、光源１１がオフのときに、太陽光に起因した電荷を用いて、対象領域の画像を全画素から形成する。画像形成部１８は、光源１１がオンのときの電荷と、光源１１がオフのときの電荷との差分電荷量によって、太陽光に起因しない、赤外光に起因した画像を形成する。【選択図】図１

Description

この明細書における開示は、画像を形成する画像形成装置に関する。

従来、昼夜兼用で使用可能なカメラを構成するため、カラーフィルタを、ＲＧＢのフィルタと、赤外領域に感度を有する赤外フィルタ（ＩＲフィルタ）とを有する構成としている。ＲＧＢのフィルタによって、昼間は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の光の３原色を取得し、赤外フィルタによって、夜間は、赤外光を取得している（たとえば特許文献１参照）。

特開２００５－００６０６６号公報

従来のカラーフィルタの構成では、ＲＢＧのフィルタに加えてＩＲフィルタが必要であるので、カラー画像を形成するための画素が減少するという問題がある。

そこで、開示される目的は前述の問題点を鑑みてなされたものであり、カラー画像を形成するための画素の減少を抑制しつつ、可視光および赤外光を用いて画像を形成することができる画像形成装置を提供することを目的とする。

本開示は前述の目的を達成するために以下の技術的手段を採用する。

ここに開示された画像形成装置は、対象領域からの可視光を含む環境光と、可視光より波長が長い赤外光のみを受光する複数の画素を有する撮像部（１２）と、対象領域に赤外光を出射する光源（１１）と、光源の点灯状態を制御する光源制御部（１７）と、対象領域の画像を形成する画像形成部（１８）と、を含み、画素は、受光した光を電荷に変換する光電変換素子と、変換した電荷を蓄積するレジスタと、を備え、画像形成部は、光源が点灯しているオン状態のときに各画素が蓄積した電荷と、光源が消灯しているオフ状態のときに各画素が蓄積した電荷との差を用いて、光源に起因する電荷量である差分電荷量を求め、画素の電荷量と差分電荷量を用いて画像を形成する画像形成装置である。

このような画像形成装置に従えば、赤外光を出射する光源が、光源制御部によって点灯制御される。光源がオン状態のときに画素に蓄積する電荷は、光源が出射した赤外光の影響と太陽光などの環境光の影響を含む。これに対して、光源がオフ状態のときに画素に蓄積する電荷は、光源が出射した赤外光の影響はなく環境光の影響のみである。したがって、光源がオフのときの電荷量によって、光源に影響されない環境光の電荷を全画素から求めることができる。これによって光源がオフのときは環境光に起因した電荷を用いて、対象領域のカラー画像を形成することができる。また差分電荷量によって、環境光に起因しない、赤外光に起因した赤外線画像を形成することができる。これによって画素の減少を抑制しつつ、環境光および赤外光を用いて画像を形成することができる。

なお、前述の各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

画像形成装置１０を示すブロック図 光源のスペクトルを示す図 太陽光のスペクトルを示す図 カラーフィルタのスペクトルとバンドパスフィルタの透過領域を示す図 画像形成処理を示すフローチャート 発光シーケンスを示すタイミングチャート

以下、図面を参照しながら本開示を実施するための形態を、複数の形態を用いて説明する。各実施形態で先行する実施形態で説明している事項に対応している部分には同一の参照符を付すか、または先行の参照符号に一文字追加し、重複する説明を略する場合がある。また各実施形態にて構成の一部を説明している場合、構成の他の部分は、先行して説明している実施形態と同様とする。各実施形態で具体的に説明している部分の組合せばかりではなく、特に組合せに支障が生じなければ、実施形態同士を部分的に組合せることも可能である。

（第１実施形態）
本開示の第１実施形態に関して、図１～図６を用いて説明する。画像形成装置１０は、対象領域の画像を形成する。画像形成装置１０は、たとえば車両に搭載されて、運転者の顔の画像を撮像して、運転者の状態をモニタリングするドライバステータスモニタ（ＤＳＭ：Driver Status Monitor）に用いられる。ＤＳＭは、運転者の顔画像に基づいて運手者の状態を逐次検出する装置である。

ＤＳＭは、たとえば顔画像から、視線および目の開き具合を検出する。そして、目の開き具合から運転者が眠気を催しているか否かを判定して、眠気を催しているようであれば、アラーム等を作動させて運転者を覚醒させる、あるいは、ブレーキ装置を作動させて減速させる、更には強制停止させる、等の安全運転支援を行う。

画像形成装置１０は、図１に示すように、光源１１、撮像部１２およびコントローラ１３を含んで構成される。光源１１は、顔画像を撮像するために運転者の顔に向けて、赤外線の光を出射する。赤外線の光は、可視光線の赤色より波長が長く、電波より波長の短い電磁波のことである。赤外線の光には、近赤外線の光も含む。光源１１は、コントローラ１３によって、例えば、露光時間、光源強度等が制御される。これによって、撮像時の露出レベルが調整されるようになっている。

図２は、光源１１が出射する赤外光のスペクトルを示す。光源１１は、図２に示すように、本実施形態では波長９５０ｎｍが強度の中心とする赤外光を出射する。したがって光源１１による赤外照明は、近赤外の帯域に強いスペクトルを持つ。これに対して図３は、太陽光のスペクトルを示す。太陽光は、赤外光も含む広い範囲の波長の光であることがわかる。

撮像部１２は、対象領域が運転者の顔である顔画像を撮像する。撮像部１２は、運転者の顔と対向するように、例えば、ステアリングコラムの上部、コンビネーションメータ、あるいは、フロントウインド上部等に装着されている。

撮像部１２は、対象領域からの光のうち可視光と、可視光より波長が長い赤外光とを受光する複数の画素を有する。撮像部１２は、イメージセンサ１４、レンズ１５およびバンドパスフィルタ１６を含んで構成される。レンズ１５は、イメージセンサ１４の運転者側に設けられて、太陽光および光源１１から出射された光が運転者の顔によって反射された光をイメージセンサ１４に向けて集光、すなわち結像形成させる。

バンドパスフィルタ（ＢＰＦ）１６は、太陽や外部照明等の外乱による影響を軽減するために、特定の波長の光のみを通す特性を持った光学フィルタである。バンドパスフィルタ１６は、レンズ１５の前面、あるいはレンズ１５とイメージセンサ１４との間に設置されている。本実施形態のバンドパスフィルタ１６は、図４で台形にて示すように、可視光と、光源１１が出射する赤外光の部分の光とを透過する。したがってバンドパスフィルタ１６は、２種類の波長帯の光を透過する。

イメージセンサ１４は、レンズ１５による結像を電気信号に変換して、運転者の顔画像として撮像する撮像素子である。イメージセンサ１４は、コントローラ１３によって、例えば、ゲイン等が制御されるようになっている。これによって、撮像時の露出レベルが調整されるようになっている。イメージセンサ１４は、顔画像を撮像するにあたって、例えば、１秒間に３０フレームの撮像データを連続的に取得していくようになっている。

イメージセンサ１４は、格子状に画素が平面配列された構成である。各画素は、光電変換素子、レジスタおよびカラーフィルタを備えている。光電変換素子は、たとえばフォトダイオードであり、光電変換素子に照射された光の量に応じた電荷が発生する。レジスタは、光電変換素子が変換した電荷を一時的に蓄積する。レジスタにはコンデンサを用いる。

複数の画素は、それぞれ光の三原色である赤色、緑色および青色のうち何れかのカラーフィルタが設けられる。各カラーフィルタは、赤色に高い感度を有するＲフィルタ、緑色に高い感度を有するＧフィルタ、青色の高い感度を有するＢフィルタの何れかである。これらのカラーフィルタは、ＲＧＢベイヤーカラーフィルタ配列に従って配されている。以下、Ｒフィルタが設けられた画素をＲ画素、Ｇフィルタが設けられた画素をＧ画素、Ｂフィルタが設けられた画素をＢ画素と言うことがある。

Ｒ画素、Ｇ画素およびＢ画素のフィルタ特性は、図４に示すように、それぞれの色の可視光に加え、近赤外の帯域も透過可能である等の特徴を持つ。また図４では、比較のためにＩＲ画素のスペクトルも示している。ＩＲ画素は、既存の近赤外光の強度を検出するための画素である。したがってＩＲ画素は、近赤外光を透過する性能を有する。

コントローラ１３は、記憶媒体に記憶されているプログラムを実行し、各部を制御する。コントローラ１３は、少なくともひとつの演算処理装置（ＣＰＵ）と、プログラムとデータとを記憶する記憶媒体とを有する。コントローラ１３は、たとえばコンピュータによって読み取り可能な記憶媒体を備えるマイクロコンピュータによって実現される。記憶媒体は、コンピュータによって読み取り可能なプログラムおよびデータを非一時的に格納する非遷移的実体的記憶媒体である。記憶媒体は、半導体メモリまたは磁気ディスクなどによって実現される。

コントローラ１３は、イメージセンサ１４から出力されるデータに対してＩＳＰ（Image Signal Processing）と呼ばれる画像処理を行う。ＩＳＰでは、レンズ１５など光学系の補正処理や、イメージセンサ１４のばらつきなどから生じるキズ補正など、画素単位での処理が中心に行う。コントローラ１３は、補正後のＹＵＶデータと補正前のＲＡＷデータを他の装置へ出力する。ＹＵＶデータは、たとえば進運転支援（ＡＤＡＳ：Advanced Driver-Assistance Systems）のＥＣＵへ出力され、ＲＡＷデータは、たとえば車内インフォテインメント向けに出力される。

コントローラ１３は、顔画像を撮像する際に必要とされる条件となるように、光源１１およびイメージセンサ１４を制御する。コントローラ１３は、光源１１を制御する光源制御部１７、および画像を形成する画像形成部１８を機能ブロックとして有している。

光源制御部１７は、光源１１の点灯状態を制御する。光源制御部１７は、撮像において、オン状態のオン画像を撮像する際には、光源１１をオンに制御し、オフ状態のオフ画像を撮像する際には、光源１１をオフに制御する。

画像形成部１８は、イメージセンサ１４から出力される顔画像のデータを取得する。画像形成部１８は、取得した顔画像のデータをフレームメモリに出力する。フレームメモリは、画像形成部１８から出力された顔画像のデータを記憶すると共に、他の装置へ出力する。

次に、具体的な光源１１の点灯制御および画像形成部１８の画像形成処理に関して説明する。イメージセンサ１４は、後述するように、光源１１がオンのオン状態と、光源１１がオフのオフ状態とが交互に連続するようにして、顔画像を撮像する。

たとえば昼間かつ光源１１がオンのオン状態では、太陽光および光源１１による赤外照明の双方の照明が存在するので、イメージセンサ１４のＲＧＢ画素には太陽光および光源１１の両方の波長の電荷が蓄積される。

一方、昼間かつ光源１１がオフのオフ状態では、光源１１がオフなので、イメージセンサ１４のＲＧＢ画素には太陽光のみの電荷が蓄積される。本実施形態では、オン状態とオフ状態の２種の蓄積パターンを意図的に作るように光源１１を点灯制御し、露光時間をコントロールする。その動作シーケンスの中で、オン状態とオフ状態の電荷の差分を取得することで、Ｒ画素、Ｇ画素およびＢ画素の全画素から、光源１１に起因する蓄積電荷を取得し、フル解像度でのＩＲ画像を出力可能とする。また、光源１１に起因する蓄積電荷であるＩＲ成分を全画素から引き算することで、より綺麗なカラー画像を取得することができる。このようにオン状態とオフ状態とを交互に繰り返すシーケンスにより、カラー画像とフル画素のＩＲ画像を同一イメージセンサ１４から取得可能となる。

次に、図５のフローチャートを用いて画像形成部１８の画像形成処理に関して説明する。図５に示す処理は、画像形成装置１０に電源投入状態において１フレーム毎に繰り返し実行される。

ステップＳ１では、光源１１がオン状態の電荷を各画素から取得し、ステップＳ２に移る。ステップＳ２では、光源１１がオフ状態の電荷を各画素から取得し、ステップＳ３に移る。ステップＳ１およびステップＳ２の処理は、図６に示すように、１フレームに２回露光することで実施される。

図６では、時刻ｔ１から時刻ｔ７までが１フレームである。時刻ｔ１で１フレームが開始されると、光源１１がオンとなり、その後、時刻ｔ２にて露光がオンとなる。そして時刻ｔ３にて露光がオフとなり、露光がオフ後の時刻ｔ４にて光源１１がオフとなる。したがって最初の露光では、光源１１がオン状態の電荷が取得される。そして時刻ｔ５から２度目の露光がオンとなる。そして時刻ｔ６にて露光がオフとなり、その後、時刻ｔ７にて１フレームが終了する。したがって２番目の露光では、光源１１がオフ状態の電荷が取得される。

ステップＳ３では、オン状態のときに各画素が蓄積した電荷と、オフ状態のときに各画素が蓄積した電荷との差を用いて、光源１１に起因する電荷量である差分電荷量を求め、ステップＳ４に移る。

各画素には、光源１１がオンのときは、バンドパスフィルタ１６およびカラーフィルタを光源１１からの赤外光と太陽光とが透過した光が入射する。また各画素には、光源１１がオフのときは、バンドパスフィルタ１６およびカラーフィルタを太陽光が透過した光が入射する。したがって光源１１がオフのときは、光源１１からの赤外光の光は各画素に入射しない。これによって光源１１がオンのときの電荷から、光源１１がオフのときの電荷を減算すると、光源１１の赤外光のみに起因する電荷を算出することができる。

ステップＳ４では、ステップＳ３で求めた差分電荷量を用いて、赤外線画像（ＩＲ画像）を形成し、ステップＳ５に移る。前述したように差分電荷量は、光源１１に起因する電荷量であるので、いわゆる赤外線画像素子が検出した電荷と同等のものである。したがってＩＲ画像を形成することができる。

ステップＳ５では、光源１１がオフ状態のときの電荷を用いて、カラー画像を形成し、本フローを終了する。光源１１がオフ状態のときの電荷は、太陽光に起因した電荷となる。したがって各カラーフィルタに応じた電荷を用いて、カラー画像を形成することができる。

このように光源１１の発光シーケンスとして、フレーム毎にＯＮ／ＯＦＦを繰り返す制御を実施する。光源１１をオン、すなわち赤外照明ＯＮのフレームにおいては、赤外照明と同期した露光制御をすることで太陽光＋赤外照明光をＲ画素、Ｇ画素およびＢ画素に取り込み、その後に光源１１をオフ、すなわち赤外照明をＯＦＦにすることで太陽光のみをＲ画素、Ｇ画素およびＢ画素に取り込む。この時系列的に異なる２種の画像差分を取得することで、Ｒ画素、Ｇ画素およびＢ画素から、太陽光の除去された光源１１の情報のみをフルピクセルサイズで取得が可能となる。したがって全画素から、光源１１の赤外照明成分のみを抽出したＩＲ画像の生成が可能となる。

以上説明したように本実施形態の画像形成装置１０は、赤外光を出射する光源１１が、光源制御部１７によって点灯制御される。光源１１がオン状態のときに画素に蓄積する電荷は、光源１１が出射した赤外光の影響と太陽光の影響を含む。これに対して、光源１１がオフ状態のときに画素に蓄積する電荷は、光源１１が出射した赤外光の影響はなく太陽光の影響のみ含む。したがって、光源１１がオフのときの電荷量によって、光源１１に影響されない太陽光の電荷を全画素から求めることができる。画像形成部１８は、光源１１がオフのときは太陽光に起因した電荷を用いて、対象領域の画像を形成することができる。また画像形成部１８は、差分電荷量によって、太陽光に起因しない、赤外光に起因した画像を形成することができる。これによって画素の減少を抑制しつつ、太陽光および赤外光を用いて画像を形成することができる。

また本実施形態では、複数の画素は、それぞれ光の三原色である赤色、緑色および青色のうち何れかのカラーフィルタが設けられる。そして画像形成部１８は、光源制御部１７が求めた差分電荷量と、各画素のカラーフィルタの色と、各画素が蓄積した電荷量を用いて対象領域の画像を形成する。これによってカラー画像とＩＲ画像とを、全ての画素を用いて形成することができるので、高解像度を実現することができる。

既存の画像形成装置では、カラー画像とＩＲ画像の双方の映像を扱う際、ＲＧＢ－ＩＲイメージャを用いることがあるが、ＲＧＢ－ＩＲイメージャの画素構成として、ＩＲ向けのピクセルは全画素の１／４程度であり、ＩＲ画像出力の際に画素サイズが１／４になってしまうという課題があった。

これに対して本実施形態では、前述したように光源１１の点灯制御によって、太陽光の影響を除去、すなわち外乱を除去し、最大解像度でＩＲ画像を出力することができる。光源１１のオンオフで、ＩＲ画像とカラー画像と交互に出力することで、同一のイメージセンサ１４を用いてフル画素サイズのカラー画像とＩＲ画像を出力することができる。換言すると、全画素から赤外波長のみを抽出可能となるので、すべての画素を画像処理に活用可能となり、認識性能の向上することができる。

（第２実施形態）
次に、本開示の第２実施形態に関して説明する。本実施形態時では、光源１１の発光シーケンスが前述の第１実施形態と異なり、発光シーケンスを変更することで、太陽光と光源１１の照明強度の差分を吸収する点に特徴を有する。

光源制御部１７は、１フレームにおけるオン状態を複数回にわたって点灯し、１フレームにおけるオフ状態を複数回にわたって消灯する。１フレームは、所定の制御期間に相当する。

画像形成部１８は、光源制御部１７と同期して、各フレームにおける画素の電荷量を取得する。そして、オン状態のオン回数、すなわちフレーム数における総電荷量と、オフ状態のオフ回数、すなわちフレーム数における総電荷量との差を求め、その差がゼロに近くなるように、オン回数とオフ回数とを調節する。

具体的には、光源１１ＯＮ時のフレームをｎ回取得、また光源１１ＯＦＦ時のフレームをｍ回取得し、次式（１）を満たすようにオン回数ｎとオフ回数ｍとを調節する。
Ｅｏｎ×ｎ－Ｅｏｆｆ×ｍ＝０ …（１）
ここで、Ｅｏｎは、光源１１ＯＮ時の電荷量であり、Ｅｏｆｆは、光源１１ＯＦＦ時の電荷量である。これによって双方のフレームに生じる光強度の差分をキャンセルすると同時にＳ／Ｎを改善することができる。

さらに具体的には、光源１１ＯＮ時の太陽光の明るさと光源１１ＯＦＦ時の太陽光の明るさを比較し、後者が前者の１／２となった場合は、正しく太陽光をキャンセルするため、ｎ＝１，ｍ＝２とする。これによって太陽光の影響を除去することができる。

画像形成部１８は、光強度の差分をキャンセルできる回数による、各画素の累積の総電荷量を用いて、カラー画像およびＩＲ画像を形成する。これによってＳ／Ｎが改善された画像を形成することができる。

（その他の実施形態）
以上、本開示の好ましい実施形態について説明したが、本開示は前述した実施形態に何ら制限されることなく、本開示の主旨を逸脱しない範囲において種々変形して実施することが可能である。

前述の実施形態の構造は、あくまで例示であって、本開示の範囲はこれらの記載の範囲に限定されるものではない。本開示の範囲は、特許請求の範囲の記載によって示され、さらに特許請求の範囲の記載と均等の意味及び範囲内での全ての変更を含むものである。

前述の第１実施形態では、画像形成装置１０は、ドライバステータスモニタに用いられているが、このような用途に限るものではない。画像形成装置１０は、カラー画像とＩＲ画像との両方が必要な装置に用いることができ、たとえば防犯カメラに搭載されてもよい。

前述の第１実施形態では、光源１１は１つであったが、光源１１は１つに限るものではない。たとえば光源１１は、複数設けられ、各光源１１は、赤外光の波長であって、互いに異なる波長帯を有するように構成してもよい。そして光源制御部１７は、各光源１１のいずれか１つのみが点灯するように点灯状態を制御する。これによって差分電荷量を求めることで、異なる赤外光に起因する電荷量がわかる。したがって複数の差分電荷量を用いて、より外乱の影響を除去することができる。また複数の光源１１毎とＩＲ画像を形成することができる。複数の異なるＩＲ画像を形成することができるので、たとえば一方では撮像が困難な環境であっても、他方では撮像できる場合があるので、より画像の使用用途を拡大することができる。

前述の第１実施形態において、コントローラ１３によって実現されていた機能は、前述のものとは異なるハードウェアおよびソフトウェア、またはこれらの組み合わせによって実現してもよい。コントローラ１３は、たとえば他の制御装置と通信し、他の制御装置が処理の一部または全部を実行してもよい。コントローラ１３が電子回路によって実現される場合、それは多数の論理回路を含むデジタル回路、またはアナログ回路によって実現することができる。

前述の第１実施形態では、画像形成装置１０は車両で用いられているが、車両に搭載された状態に限定されるものではなく、少なくとも一部が車両に搭載されていなくてもよい。

前述の第１実施形態では、太陽光を一例としているが、太陽光に限るものではない。たとえば室内照明など、可視光を含む環境光であればよい。

１０…画像形成装置 １１…光源 １２…撮像部 １３…コントローラ
１４…イメージセンサ １５…レンズ １６…バンドパスフィルタ
１７…光源制御部 １８…画像形成部

Claims (4)

1. 対象領域からの可視光を含む環境光と、可視光より波長が長い赤外光のみを受光する複数の画素を有する撮像部（１２）と、
   前記対象領域に赤外光を出射する光源（１１）と、
   前記光源の点灯状態を制御する光源制御部（１７）と、
   前記対象領域の画像を形成する画像形成部（１８）と、を含み、
   前記画素は、受光した光を電荷に変換する光電変換素子と、変換した電荷を蓄積するレジスタと、を備え、
   前記画像形成部は、
   前記光源が点灯しているオン状態のときに各前記画素が蓄積した電荷と、前記光源が消灯しているオフ状態のときに各前記画素が蓄積した電荷との差を用いて、前記光源に起因する電荷量である差分電荷量を求め、
   前記画素の電荷量と前記差分電荷量を用いて画像を形成する画像形成装置。
2. 複数の前記画素は、それぞれ光の三原色である赤色、緑色および青色のうち何れかのカラーフィルタが設けられ、
   前記画像形成部は、求めた前記差分電荷量と、各前記画素が蓄積した電荷量を用いて前記対象領域の画像を形成する請求項１に記載の画像形成装置。
3. 前記光源制御部は、所定の制御期間の前記オン状態を複数回にわたって実施し、前記制御期間の前記オフ状態を複数回にわたって実施し、
   前記画像形成部は、
   前記光源制御部と同期して、各前記制御期間における前記画素の電荷量を取得し、
   前記オン状態のオン回数における総電荷量と、前記オフ状態のオフ回数における総電荷量との差を求め、その差がゼロに近くなるように、前記オン回数と前記オフ回数とを調節する請求項１または２に記載の画像形成装置。
4. 前記光源は、複数設けられ、
   各前記光源は、赤外光の波長であって、互いに異なる波長帯を有し、
   前記光源制御部は、各前記光源のいずれか１つのみが点灯するように点灯状態を制御する請求項１～３のいずれか１つに記載の画像形成装置。

Images