JP2022021532A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】画質劣化を抑制し、センサ機能の中断を抑制する画像処理装置等を提供する。【解決手段】画像処理装置１００において、第１補正部１２１は、赤外線撮像素子から取得した撮像データに対して、第１補正テーブルに基づく補正を行い、第１補正データを出力する。第２補正部１２２は、シャッタが閉じられた状態における撮像データに対して第２補正テーブルを生成し、第２補正テーブルに基づく第２補正データを出力する。飽和領域検出部１４０は、撮像データに飽和領域が存在することを検出する。シャッタ制御部１５０は、飽和領域の検出結果に基づいてシャッタの閉制御を行う。異常画素検出部１２３は、シャッタを閉じた状態において取得された撮像データに異常画素が含まれるか否かを検出する。選択部１２４は、異常画素検出部による検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する。【選択図】図１

Description

本発明は画像処理装置、画像処理方法およびプログラムに関する。

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると撮像素子として用いられているマイクロボロメータが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。

例えば、特許文献１に記載の遠赤外線撮像装置は、遠赤外線検知画素により検知されている遠赤外線の量が、第１の量以上であるか否かを判定し、検知されている遠赤外線の量が第１の量以上である遠赤外線検知画素がある場合には、シャッタを閉鎖する。一方、シャッタを閉鎖した後、検知されている遠赤外線の量が、第１の量以下である第２の量未満であるか否かを遠赤外線検知画素ごとに判定し、全ての遠赤外線検知画素について検知されている遠赤外線の量が第２の量未満である場合には、シャッタを開放する。

特開２００９－００５１２０号公報

上述の赤外線撮像装置は、物体検出の分解能を向上させるために、ダイナミックレンジを狭めて使用される。このような場合には、マイクロボロメータが異常を起こさない温度範囲であっても、検出信号が飽和する。そのため、赤外線撮像装置は、マイクロボロメータを保護するために過度にシャッタを閉じてしまう虞がある。シャッタが閉じられている期間は物体検出の機能が使用できない。ところでマイクロボロメータは、温度検出の精度の劣化を抑えるために、キャリブレーション（撮像データの補正）が行われる。キャリブレーションの一般的な方法の１つは、黒体であるメカニカルなシャッタを閉じた状態でマイクロボロメータの出力を調整するもの（いわゆるメカニカルシャッタ補正）である。メカニカルシャッタ補正は、定期的あるいは断続的にシャッタを閉じる処理を含む。そのため、シャッタが閉じられている間は物体の温度検出ができない。キャリブレーションのもう１つの方法は、シャッタを用いず、予め設定されたアルゴリズムにより出力を調整するもの（いわゆるシャッタレス補正）である。シャッタレス補正は、キャリブレーションのためにシャッタを閉じる必要はないが、マイクロボロメータに太陽光が入射した場合には、太陽光を受けた部分の出力が異常値となる。マイクロボロメータに異常値が生じた場合、修復には長い時間がかかる。そのため、異常値を出力している部分では正常に物体の温度を検出することができない。マイクロボロメータを用いた画像処理装置等においては、上述のような課題を有している。

本発明はこのような課題を解決するためになされたものであって、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供するものである。

本発明にかかる画像処理装置は、第１補正部、第２補正部、飽和領域検出部、シャッタ制御部、異常画素検出部および選択部を有する。第１補正部は、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する。第２補正部は、シャッタが閉じられた状態における撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する。飽和領域検出部は、撮像データに飽和領域が存在することを検出する。シャッタ制御部は、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的あるいは断続的に第２補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出部は、シャッタを閉じた状態において取得された撮像データにおける第１補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択部は、異常画素検出部による検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する。

本発明にかかる画像処理方法は、第１補正ステップ、第２補正ステップ、飽和領域検出ステップ、シャッタ制御ステップ、異常画素検出ステップおよび選択ステップを有する。第１補正ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する。第２補正ステップは、シャッタが閉じられた状態における撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する。飽和領域検出ステップは、撮像データに飽和領域が存在することを検出する。シャッタ制御ステップは、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的に第２補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出ステップは、シャッタを閉じた状態において取得された撮像データにおける第１補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択ステップは、異常画素検出ステップにおける検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する。

本発明にかかるプログラムは、以下の画像処理方法をコンピュータに実行させる。画像処理方法は、第１補正ステップ、第２補正ステップ、飽和領域検出ステップ、シャッタ制御ステップ、異常画素検出ステップおよび選択ステップを有する。第１補正ステップは、移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する。第２補正ステップは、シャッタが閉じられた状態における撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する。飽和領域検出ステップは、撮像データに飽和領域が存在することを検出する。シャッタ制御ステップは、飽和領域の検出結果に基づいて赤外線撮像素子を保護するため、定期的に第２補正テーブルを較正するためのシャッタの閉制御を行う。異常画素検出ステップは、シャッタを閉じた状態において取得された撮像データにおける第１補正データに予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。選択ステップは、異常画素検出ステップにおける検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する。

本発明によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。

実施の形態１にかかる画像処理装置のブロック図である。 実施の形態１にかかる画像処理装置のフローチャートである。 第１補正部が有する第１補正基準データの例を示す図である。 画像処理装置の処理の第１例を示す図である。 画像処理装置の処理の第２例を示す図である。 実施の形態２にかかる画像処理装置のブロック図である。 実施の形態２にかかる画像処理装置のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置のブロック図である。図１に示す画像処理装置１００は、自動車の周辺の熱画像を撮像してモニタに表示する熱画像表示システム１０の構成要素である。熱画像表示システム１０は主な構成として、画像処理装置１００、マイクロボロメータ９００、シャッタ９０１およびモニタ９０２を有している。

以下に、画像処理装置１００について説明する。画像処理装置１００は、例えばＣＰＵ（Central Processing Unit）やＭＣＵ（Micro Controller Unit）などの演算装置を有している。また画像処理装置１００は、上記演算装置に加えて、フラッシュメモリもしくはＤＲＡＭ（Dynamic Random Access Memory）のような不揮発性もしくは揮発性のメモリ、およびその他の電気回路により構成された制御基板を少なくとも有している。画像処理装置１００は、これらの演算装置などにプログラムが組み込まれており、ソフトウェアまたはハードウェアの組み合わせにより以下に示す機能を実現する。

画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像の撮像データを取得して、取得した撮像データに予め設定された処理を施す。画像処理装置１００は予め設定された処理を施した撮像データをモニタ９０２に出力する。画像処理装置１００は主な構成として、欠陥画素補正部１１０、画素不均一補正部１２０、ＡＧＣ処理部１３０（AGC=Auto-Gain-Control）、飽和領域検出部１４０およびシャッタ制御部１５０を有している。画像処理装置１００は、マイクロボロメータ９００が撮像した熱画像に基づき人物などを認識する認識処理部を備えていてもよい。

欠陥画素補正部１１０は、マイクロボロメータ９００から撮像データを受け取り、撮像データに含まれる欠陥画素によるデータを補正する。欠陥画素補正部１１０は例えば、シャッタを閉じた状態で欠陥画素の座標を検出し、検出した欠陥画素の座標を記憶しておく。さらに欠陥画素補正部１１０は、記憶した欠陥画素のデータを、隣接する画素のデータから補間データを生成することにより補正する。欠陥画素補正部１１０は、補正した撮像データを、画素不均一補正部１２０および飽和領域検出部１４０のそれぞれに供給する。

画素不均一補正部１２０は、欠陥画素補正部１１０から受け取った撮像データにおける画素の不均一状態を補正し、補正した撮像データをＡＧＣ処理部１３０に供給する。画素不均一補正部１２０は主な構成として、第１補正部１２１、第２補正部１２２、異常画素検出部１２３および選択部１２４を有している。

第１補正部１２１は、欠陥画素補正部１１０から受け取った撮像データに対して補正を行い、補正した撮像データである第１補正データを異常画素検出部１２３および選択部１２４に供給する。第１補正部１２１が行う補正は、いわゆるシャッタレス補正である。すなわち第１補正部１２１は、予め設定された第１補正テーブルおよびゲイン補正テーブルに基づいて撮像データを補正して第１補正データを生成する。なおシャッタレス補正の具体例について、後述する。

第２補正部は、シャッタ９０１が閉じられた状態における前記撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルおよび予め設定されたゲイン補正テーブルにより補正した撮像データである第２補正データを選択部１２４に供給する。第２補正部１２２が行う補正は、いわゆるメカニカルシャッタ補正である。

上述のゲイン補正テーブルは、撮像データのゲインを補正するために予め設定された補正テーブルである。ゲイン補正テーブルは、例えば、２点間調整（two point correction）、線形補間、最小二乗法、非線形補間などにより生成される。

上記機能を実現するため、第２補正部１２２は、第２補正テーブルを較正する条件を監視する。較正条件は、予め設定されたものであって、例えば、マイクロボロメータ近傍の温度が所定の範囲を超えた場合である。また補正条件の別の例は、直近にメカニカルシャッタ補正を行った時刻から予め設定された期間が経過した場合である。マイクロボロメータの出力は、時間の経過と共にドリフトし、検出精度が低下する虞がある。そのため、メカニカルシャッタ補正を行う条件を満たした場合に、第２補正部１２２は、シャッタ制御部１５０に対してシャッタを閉じる指示を出す。

シャッタが閉じられた状態における撮像データを取得すると、第２補正部１２２は、シャッタが閉じられた状態における撮像データの輝度値から第２補正テーブルを更新する。そして第２補正部１２２は、較正した第２補正テーブルおよびゲイン補正テーブルを使って、撮像データを補正する。なお、第２補正テーブルは、例えば、撮像データおよびゲイン補正テーブルに応じて第２補正テーブルを較正する。

異常画素検出部１２３は、シャッタ９０１が閉じた状態における第１補正データを受け取り、受け取った第１補正データに、予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する。また異常画素検出部１２３は、検出の結果に関する信号を選択部１２４に供給する。

ここで、異常画素とは、例えば、シャッタ９０１が閉じた状態における撮影データにおいて、予め設定された閾値を超える輝度値を示す画素である。予め設定された閾値を超える輝度値とは、例えば０から１６３８３までの１６３８４階調で輝度値が示される場合の１００以上の値などである。シャッタ９０１が閉じた状態における撮影データは、黒体であるシャッタを撮像しているため、異常がない場合には、第１補正データの隣接画素における輝度値の差はゼロないしゼロに近い値となる。しかし、マイクロボロメータに太陽光が入射した場合、太陽光を受けた画素の画素データは異常状態となり、異常状態の画素の輝度値と異常状態ではない画素の輝度値の差はゼロないしゼロに近い値をとらない状態となる。この場合太陽光を受けた画素の画素データは、所定の輝度値にオフセットがかかった値を示す。

画素データが異常状態になる場合について説明する。マイクロボロメータ９００が太陽を撮像した場合には、太陽を撮像した領域の画素の輝度値は上限に達して飽和した状態となる。一般に、マイクロボロメータ９００はダイナミックレンジの上限が、例えば２００度で設計されている。この場合、ダイナミックレンジの設定を上限である２００度に設定しても、太陽を撮像した画素は飽和する。このとき、太陽を撮像した撮像素子は、正しく信号を出力できない異常状態となる。また異常状態となった撮像素子は、シャッタを閉じることにより太陽光から保護された後も、正常状態に復帰するのに時間を要することが知られている。

異常画素検出部１２３に設定される予め設定された閾値は、例えば上述の所定の輝度値を示す画素が画像全体の平均値の５％以上差があることなどと設定されていてもよい。異常画素検出部１２３は、検出の結果に関する信号として、上述のように設定された条件において、異常画素が含まれるか否かを示す信号を生成する。

なお、異常画素検出部１２３は、シャッタ制御部１５０からシャッタ９０１の開閉状態についての情報を受け取る。そのため、異常画素検出部１２３は、第１補正部１２１から供給される撮像データのそれぞれについて、シャッタ９０１が開状態であったか、閉状態であったかを認識できる。なお、撮影データは、シャッタ９０１が開状態において生成されたものか、あるいはシャッタ９０１が閉状態において生成されたものかを示す情報を含んでいてもよい。その場合、異常画素検出部１２３は、第１補正部１２１から受け取った撮影データのそれぞれについて、撮影データに含まれる情報からシャッタ９０１の開閉状態を検出できる。

選択部１２４は、第１補正部１２１からシャッタレス補正が施された撮影データを受け取るとともに、第２補正部１２２からメカニカルシャッタ補正が施された撮影データを受け取る。さらに選択部１２４は、異常画素検出部１２３から異常画素の検出結果に関する信号を受け取る。選択部１２４は、異常画素検出部１２３から受け取った検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して、選択した撮影データをＡＧＣ処理部１３０に出力する。

また選択部１２４は、シャッタ９０１を閉じた状態で撮像された撮像データにおいて第１補正データに含まれる異常画素の数が閾値を超えているか否かに応じて第１補正データまたは第２補正データを選択するものであってもよい。この場合、選択部１２４は、複数の異常画素が互いに隣接し、且つ、隣接している異常画素の数が閾値を超えているか否かに応じて第１補正データまたは第２補正データを選択するものであってもよい。

上記構成により、選択部１２４は、シャッタ９０１が閉じた状態における第１補正データに予め設定された条件の異常画素が検出された場合には、第２補正データを選択する。一方、選択部１２４は、シャッタ９０１が閉じた状態における第１補正データに予め設定された条件の異常画素が検出されていない場合には、第１補正データを選択する。

ＡＧＣ処理部１３０は、画素不均一補正部１２０から撮像データを受け取り、撮像データのコントラストを調整する。ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、モニタ９０２に熱画像を表示する際に、ユーザにとって見やすい画像を生成する。また、ＡＧＣ処理部１３０は、撮像データのコントラストを調整することにより、熱画像に対して物体認識処理を行う際に、認識処理に適切な熱画像を出力することができる。ＡＧＣ処理部１３０は、撮像データに対して、例えば、コントラスト制限適応ヒストグラム均等化などのヒストグラム均等化手法などを用いる。

飽和領域検出部１４０は、欠陥画素補正部１１０から撮像データを受け取り、受け取った撮像データから飽和領域検出を行う。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから１６３８３までの１４ビットで表現されている場合に、輝度レベルが１６３８３の値を有する座標の画素を飽和画素という。

飽和領域検出部１４０は、例えば隣接する４個以上の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部１４０は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断する。飽和領域検出部１４０は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、シャッタ制御部１５０に供給する。

シャッタ制御部１５０は、飽和領域の検出結果に応じてシャッタの閉制御またはシャッタの開制御を行う。例えば、シャッタ制御部１５０は、飽和領域検出部１４０が飽和領域を検出した場合に、赤外線撮像素子を保護するためシャッタを閉じる。より具体的には、シャッタ制御部１５０は、飽和領域検出部１４０に接続し、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受ける。シャッタ制御部１５０は、飽和領域検出部１４０からシャッタ９０１を閉じる指示を受けると、この指示に応じてシャッタ９０１を閉じる。

またシャッタ制御部１５０は、画素不均一補正部１２０からシャッタ９０１を閉じる指示を受けた場合に、かかる指示に応じてシャッタ９０１を閉じる。またシャッタ制御部１５０は、画素不均一補正部１２０からシャッタ９０１を開く指示を受けた場合に、かかる指示に応じてシャッタ９０１を開く。シャッタ制御部１５０は、シャッタの開閉状態に関する信号を画素不均一補正部１２０に供給する。

またシャッタ制御部１５０は、選択部１２４が第１補正データを選択しており、且つ、シャッタ９０１の閉制御を指示する信号を受け取った場合にはシャッタ９０１の閉制御を行う。さらにシャッタ制御部１５０は、選択部１２４が第２補正データを選択しており、且つ、シャッタ９０１の閉制御を指示する信号を受け取った場合にはシャッタ９０１の閉制御を抑制する。

以上、画像処理装置１００について説明した。次に、画像処理装置１００に接続している各構成について概要を説明する。

マイクロボロメータ９００は、赤外線撮像素子の一実施態様である。マイクロボロメータ９００は、マトリクス状に配置された赤外線検出素子で構成されており、赤外線検出素子が遠赤外線を検出する。また、マイクロボロメータ９００は、検出した遠赤外線を光電変換して撮像データを生成し、生成した撮像データを、画像処理装置１００の欠陥画素補正部１１０に供給する。

マイクロボロメータ９００は、移動体の周辺の熱画像を撮像するように、移動体に設置されている。例えば移動体が自動車である場合、自動車の進行方向を撮影可能するために、マイクロボロメータ９００は自動車の前方を向いて設置されている。ただし、マイクロボロメータ９００は、他の方向を向くように設置されていてもよい。

シャッタ９０１は、マイクロボロメータ９００に外光が入射するのを許容したり抑制したりする。シャッタ９０１はシャッタ制御部１５０によりその動作が制御されている。シャッタ９０１が開いている場合、シャッタ９０１は外光を通過させてマイクロボロメータ９００に受光させる。シャッタ９０１が閉じている場合、シャッタ９０１は外光を遮断してマイクロボロメータ９００を外光から保護する。また、シャッタ９０１は、マイクロボロメータ９００における第２補正テーブルの較正を行う機能を備えている。

モニタ９０２は、ユーザに情報を提示できるように設置された表示装置であって、例えば液晶パネルまたは有機ＥＬ（Electro Luminescence）パネル等を含む。モニタ９０２は、画像処理装置１００のＡＧＣ処理部１３０に接続し、ＡＧＣ処理部１３０から撮像データを受け取り、受け取った撮像データを表示する。モニタ９０２には、撮像データに加えて認識した人物を示す画像を含めて表示してもよい。

次に図２を参照して、画像処理装置１００が実行する処理について説明する。図２は、実施の形態１にかかる画像処理装置のフローチャートである。図２に示すフローチャートは、画像処理装置１００がマイクロボロメータ９００から撮像データを受け取ると開始される。

まず、画像処理装置１００は、マイクロボロメータ９００から撮像データを受け取ると、飽和領域検出部１４０が飽和領域の検出を開始する（ステップＳ１０）。次に、画像処理装置１００は、撮像データに飽和領域を検出したか否かを判断する（ステップＳ１１）。

撮像データに飽和領域を検出したと判断した場合（ステップＳ１１：ＹＥＳ）、画像処理装置１００は、シャッタ９０１を閉じる（ステップＳ１２）。そして画像処理装置１００はステップＳ１６に進む。一方、撮像データに飽和領域を検出したと判断しない場合（ステップＳ１１：ＮＯ）、画像処理装置１００は、ステップＳ１３に進む。

ステップＳ１３において、画像処理装置１００は、画素不均一補正部１２０が第２補正データ（メカニカルシャッタ補正のデータ）を出力中であるか否かを判断する（ステップＳ１３）。画素不均一補正部１２０が第２補正データを出力中であると判断する場合（ステップＳ１３：ＹＥＳ）、画像処理装置１００は、ステップＳ１４に進む。画素不均一補正部１２０が第１補正データを出力中の場合、画像処理装置１００は、画素不均一補正部１２０が第２補正データを出力中であると判断しない（ステップＳ１３：ＮＯ）。この場合、画像処理装置１００は、ステップＳ１１に戻る。

ステップＳ１４において、画像処理装置１００の第２補正部１２２は、キャリブレーションが必要か否かを判断する（ステップＳ１４）。第２補正部１２２は、第２補正テーブルを較正する条件が満たされている場合に、キャリブレーションが必要と判断する（ステップＳ１４：ＹＥＳ）。この場合、第２補正部１２２はシャッタ制御部１５０に対してシャッタ９０１を閉じることを指示する信号を供給する。そして、シャッタ制御部１５０はシャッタ９０１を閉じる（ステップＳ１５）。さらに画像処理装置１００はステップＳ１６に進む。一方、第２補正部１２２は、メカニカルシャッタ補正を行う条件が満たされていない場合には、キャリブレーションが必要と判断しない（ステップＳ１４：ＮＯ）。この場合、画像処理装置１００は、ステップＳ１１に戻る。

ステップＳ１６において、画像処理装置１００は、第１補正データ（シャッタレス補正が施された撮影データ）に異常画素を検出したか否かを判断する（ステップＳ１６）。より具体的には画像処理装置１００の選択部１２４は、異常画素検出部１２３から受け取った信号が、異常画素を検出したことを示すものであるか否かを判断する。第１補正データに異常画素を検出したと判断した場合（ステップＳ１６：ＹＥＳ）、画像処理装置１００は、第２補正テーブルの較正を行う（ステップＳ１７）。そして、画像処理装置１００はステップＳ１８に進む。一方、第１補正データに異常画素を検出したと判断しない場合（ステップＳ１６：ＮＯ）、画像処理装置１００はステップＳ２０に進む。

ステップＳ１８に進んだ画像処理装置１００は、異常画素を含む第１補正データを出力せず、第２補正データ（メカニカルシャッタ補正による撮像データ）を出力するように設定されている。すなわち選択部１２４は、第２補正データを選択し、選択した第２補正データをＡＧＣ処理部１３０に出力する（ステップＳ１８）。そして画像処理装置１００は、ステップＳ１９に進む。

ステップＳ２０に進んだ画像処理装置１００は、異常画素を含まない第１補正データを出力するように設定されている。すなわち選択部１２４は、第１補正データを選択し、選択した第１補正データをＡＧＣ処理部１３０に出力する（ステップＳ２０）。そして画像処理装置１００は、ステップＳ１９に進む。

ステップＳ１９において、画像処理装置１００のシャッタ制御部１５０は、画素不均一補正部１２０からの指示を受けてシャッタを開く（ステップＳ１９）。そして画像処理装置１００は、ステップＳ１１に戻る。ステップＳ１１に戻った画像処理装置１００は、上述の処理を繰り返す。

次に、図３を参照して、第１補正部１２１が行うシャッタレス補正の例について説明する。図３は、第１補正部１２１が有する第１補正基準データの例を示す図である。図３に示すグラフは縦軸がマイクロボロメータの輝度値を示し、横軸がマイクロボロメータの輝度値に対応する環境温度を示す。また図３のグラフには３本の画素線がプロットされている。これら３本の線は、それぞれマイクロボロメータの環境温度に対する出力画素値の関係を示すものである。実線により示されている線は、マイクロボロメータの撮像画像内の平均輝度値と環境温度との関係を示している。一点鎖線および破線により示されている線は、マイクロボロメータの、ある画素に対する輝度値と環境温度との関係を示している。

図３に示すグラフにおいて、画像処理装置１００は、例えば、温度ＲＴがＴ１の場合に、平均輝度値Ｂ１を基準として、各画素のオフセット値を算出したものを補正テーブル１として保存する。また、画像処理装置１００は、温度ＲＴがＴ２の場合には、輝度値Ｂ２を基準として、各画素のオフセット値を算出したものを補正テーブル２として保存する。また画像処理装置１００は、温度ＲＴがＴ３の場合に、輝度値Ｂ３を基準として、各画素のオフセット値を算出したものを補正テーブル３として保存する。補正テーブル１と２の間、補正テーブル２と３の間のデータは、直線近似やスプライン近似などによる補間処理によって補われる。第１補正部１２１は、マイクロボロメータ周辺の温度ＲＴを監視するとともに、温度ＲＴに応じて最適な補正テーブルを設定する。これにより、第１補正部１２１は、シャッタを閉じることなく、撮像データの補正を行うことができる。

ただし、上述の輝度値と環境温度との関係は、マイクロボロメータに太陽光を受けた場合を除く。太陽光を受けた場合、マイクロボロメータは、太陽光を受けた画素の輝度値が異常値となる。この場合、上述の補正テーブルによって撮像データを適切に補正することができない。画像処理装置１００は、このようなシャッタレス補正の特性を考慮し、異常画素を含む場合にはシャッタレス補正による撮像データに代えて、メカニカルシャッタ補正による撮像データの出力を行う。

なお、図３では理解容易のために３本の線を示したが、実際にはマイクロボロメータの画素数分だけ線を有している。また図３に示した線は直線であったが、画素の特性の線は折れ線や曲線に相当するものであってもよい。また、上述の補正テーブルは、より細かく補正テーブルを持ってもよいし、少なくても良い。また、図３に示したグラフは第１補正部の原理を説明するための例示である。

次に、画像処理装置１００の処理について具体例と共に説明する。図４は、画像処理装置の処理の第１例を示す図である。図４は、上から、熱画像Ａ１１、熱画像Ａ１２および熱画像Ａ１３を含む。熱画像Ａ１１は、画像処理装置１００がマイクロボロメータ９００から受け取った撮像データに含まれる画像の例である。熱画像Ａ１１は、熱画像表示システム１０を搭載した車両の進行方向を撮像したものである。熱画像Ａ１１は、他車両Ｄ１１の画像を含む。また他車両Ｄ１１にはマフラーＤ１２が含まれる。また熱画像Ａ１１は、他車両Ｄ１１に加えて、画面の左上に太陽Ｄ１３の画像を含む。

熱画像Ａ１１は、物体が放射する電磁波を検出するため、熱の高い部分は明るく表示される。そのため、熱画像Ａ１１では、他車両Ｄ１１が相対的に景色の画像よりも明るく表示されている。また他車両Ｄ１１の中でも特に温度の高いマフラーＤ１２は白く表示されている。また太陽Ｄ１３も温度が高いため、白く表示されている。熱画像Ａ１１において白く表示されているマフラーＤ１２および太陽Ｄ１３の輝度は飽和状態となっている。熱画像Ａ１１に飽和領域を含むため、画像処理装置１００はシャッタ９０１を閉じる。

熱画像Ａ１１の下に示された熱画像Ａ１２は、シャッタ９０１を閉じた状態において取得された撮影データにかかる熱画像である。熱画像Ａ１２は、異常画素群Ｄ２３を含む。異常画素群Ｄ２３は、熱画像Ａ１１において示した太陽Ｄ１３を撮像したために生じたものである。異常画素群Ｄ２３は、予め設定された第１補正テーブルに基づいて補正を行うため、第１補正データにおいても補正されない。そのため画像処理装置１００は、異常画素群Ｄ２３を含む熱画像Ａ１２に対して、第２補正データを出力することを選択する。

熱画像Ａ１２の下に示された熱画像Ａ１３は、熱画像Ａ１２を第２補正部１２２が補正した状態である。すなわち熱画像Ａ１３は、異常画素を含む撮像データの第２補正データにかかるものである。第２補正テーブルは異常画素を含む撮像データに対して補正テーブルを生成するため、熱画像Ａ１３は、補正された画素群Ｄ３３を含む。補正された画素群Ｄ３３は、第２補正により白色から濃いグレーに変化している。

このように、画像処理装置１００は、撮像データに異常画素を含む場合に、第２補正データを選択して出力する。これにより画像処理装置１００は、異常画素による画質劣化を抑制できる。

次に、図５を参照して、画像処理装置１００の処理の別の例について説明する。図５は、画像処理装置の処理の第２例を示す図である。図５は、上から、熱画像Ａ１４および熱画像Ａ１５を含む。熱画像Ａ１４は、画像処理装置１００がマイクロボロメータ９００から受け取った撮像データに含まれる画像の例である。熱画像Ａ１４は、熱画像表示システム１０を搭載した車両の進行方向を撮像したものである。熱画像Ａ１４は、他車両Ｄ１１の画像を含む。また他車両Ｄ１１にはマフラーＤ１２が含まれる。なお、熱画像Ａ１４は、太陽の画像を含まない点が、図４に示した熱画像Ａ１１と異なる。

熱画像Ａ１４は、他車両Ｄ１１の中でも特に温度の高いマフラーＤ１２は白く表示されている。すなわち熱画像Ａ１４において白く表示されているマフラーＤ１２の輝度は飽和状態となっている。熱画像Ａ１４に飽和領域を含むため、画像処理装置１００はシャッタ９０１を閉じる。

熱画像Ａ１４の下に示された熱画像Ａ１５は、シャッタ９０１を閉じた状態において取得された撮影データにかかる熱画像である。熱画像Ａ１５は、異常画素群を含まない。そのため画像処理装置１００は、熱画像Ａ１４に対して、第１補正データを出力することを選択する。

このように、画像処理装置１００は、撮像データに異常画素を含まない場合には、第１補正データを選択して出力する。画像処理装置１００は、第１補正データを出力している間は、第２補正部の第２補正データにかかる第２補正テーブルを更新しない。換言すると、画像処理装置１００は、第１補正データを出力している間は、第２補正データを更新するための動作としてのシャッタ９０１を閉じる動作を行わない。これにより画像処理装置１００は、センサ機能の中断を抑制できる。

以上、実施の形態１について説明した。実施の形態１にかかる画像処理装置１００は、第１補正と第２補正とを平行して実行しつつ、異常画素を含まない場合には第１補正データを出力し、異常画素を含む場合には第２補正データを出力する。また画像処理装置１００は、第１補正データを出力している間は、第２補正テーブルを更新するためのシャッタ９０１を閉じる動作を行わない。すなわち実施の形態１によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２にかかる画像処理装置は、マイクロボロメータのダイナミックレンジを制御する点が、実施の形態１画像処理装置と異なる。図６は、実施の形態２にかかる画像処理装置のブロック図である。

図６に示す熱画像表示システム１０は、画像処理装置１００に代えて画像処理装置２００を有している。画像処理装置２００は、主な構成として、ダイナミックレンジ制御部１７０を有する点が、画像処理装置１００と異なる。

ダイナミックレンジ制御部１７０は、飽和領域検出部１４０と連携し、飽和領域の検出結果に応じてマイクロボロメータのダイナミックレンジを第１温度範囲または第１温度範囲より少なくとも上限値側の温度が高い第２温度範囲に設定する。ダイナミックレンジ制御部１７０は、飽和領域検出部１４０に接続し、飽和領域を検出したことを示す信号を受け取る。またダイナミックレンジ制御部１７０は、マイクロボロメータ９００に接続し、ダイナミックレンジの設定を指示する信号を供給する。なお、本実施の形態におけるダイナミックレンジは、「シーンダイナミックレンジ」と言い換えてもよい。

より具体的には、ダイナミックレンジ制御部１７０は、例えばダイナミックレンジの設定が第１温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出した場合に、ダイナミックレンジの設定を第１温度範囲から第２温度範囲に変更する。またダイナミックレンジ制御部１７０は、例えばダイナミックレンジの設定が第２温度範囲となっている場合において、飽和領域検出部１４０が飽和領域を検出しない場合に、ダイナミックレンジの設定を第２温度範囲から第１温度範囲に変更する。

なお、ダイナミックレンジ制御部１７０がダイナミックレンジを第１温度範囲および第２温度範囲に設定する処理を行う場合、ダイナミックレンジ制御部１７０は、例えば、マイクロボロメータ９００のインテグレーションタイムの設定を変更する。インテグレーションタイムの設定を変更することにより、マイクロボロメータ９００は露光時間を変更する。インテグレーションタイムが相対的に短くなると、マイクロボロメータ９００が出力する信号のダイナミックレンジが相対的に広くなる。すなわち、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１７０は、マイクロボロメータ９００に対してインテグレーションタイムを短くする指示を送る。

なお、ダイナミックレンジの指示はインテグレーションタイムに代えて、ゲインの設定であってもよい。ゲインの設定の場合において、ダイナミックレンジを第１温度範囲から第２温度範囲に変更する場合、ダイナミックレンジ制御部１７０は、マイクロボロメータ９００に対してゲインを下げる指示を送る。

本実施の形態における飽和領域検出部１４０は、ダイナミックレンジ制御部１７０からダイナミックレンジの設定に関する情報を取得する。ダイナミックレンジの設定に関する情報には、マイクロボロメータ９００に設定されているダイナミックレンジの設定が第１温度範囲か第２温度範囲かを示す情報が含まれる。第１温度範囲は、例えばマイクロボロメータにより検出する温度の範囲が１０度から５０度となるように設定された範囲である。第２温度範囲は、第１温度範囲よりも上限値が高く設定された範囲であって、例えばマイクロボロメータにより検出する温度の範囲が１０度から２００度となるように設定された範囲である。飽和領域検出部１４０は、ダイナミックレンジの設定が第２温度範囲の場合において、取得した撮像データに上述の飽和領域を検出した場合には、シャッタ制御部１５０にシャッタを閉じることを指示する信号を供給する。

次に、図７を参照して、画像処理装置２００が行う処理について説明する。図７は、実施の形態２にかかる画像処理装置のフローチャートである。図７に示すフローチャートは、ステップＳ１１の後からステップＳ１６の前までの処理が、実施の形態１にかかるフローチャートと異なる。以下に、実施の形態１にかかるフローチャートと異なる点を中心に説明する。なお、説明の便宜上、以降の説明においてダイナミックレンジ制御部１７０が設定する第１温度範囲をＤＲ１と称し、第２温度範囲をＤＲ２と称する。

ステップＳ１１において飽和領域を検出すると（ステップＳ１１：ＹＥＳ）、画像処理装置２００は、ダイナミックレンジ制御部１７０がダイナミックレンジの設定を第１温度範囲（ＤＲ１）から第２温度範囲（ＤＲ２）に変更する（ステップＳ２１）。そして画像処理装置２００の飽和領域検出部１４０は、ＤＲ２に変更された撮像データに飽和領域を検出したか否かを判断する（ステップＳ２２）。

ＤＲ２における撮像データに飽和領域を検出したと判断した場合（ステップＳ２２：ＹＥＳ）、画像処理装置２００は、シャッタ９０１を閉じる（ステップＳ２４）、さらにダイナミックレンジの設定をＤＲ２からＤＲ１に変更し（ステップＳ２５）、ステップＳ１６に進む。一方、ＤＲ２における撮像データに飽和領域を検出したと判断しない場合（ステップＳ２２：ＮＯ）、画像処理装置１００は、ダイナミックの設定をＤＲ２からＤＲ１に変更し（ステップＳ２３）、さらにステップＳ１３に進む。以降の処理は、実施の形態１にかかるフローチャートと同様である。

以上、実施の形態２について説明した。上述の構成により、画像処理装置２００は、ダイナミックレンジの設定が第１温度範囲の場合にはシャッタを閉じる制御をおこなわず、ダイナミックレンジの設定を第１温度範囲から第２温度範囲に変更する。そして第２温度範囲に設定されたマイクロボロメータから取得した撮像データに対して飽和領域を検出した場合、画像処理装置２００はシャッタ９０１を閉じる制御を行う。そのため、画像処理装置２００は、飽和領域を検出した場合におけるシャッタを閉じる動作を抑制できる。そのため、画像処理装置２００は、センサ機能の中断を抑制できる。よって、実施の形態２によれば、画質劣化を抑制し、かつ、センサ機能の中断を抑制する画像処理装置等を提供することができる。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、画像処理装置は、自動車に限らず、バイク、船、飛行機、移動ロボット、ドローンなどの移動体に適用可能である。

１０ 熱画像表示システム
１００ 画像処理装置
１１０ 欠陥画素補正部
１２０ 画素不均一補正部
１２１ 第１補正部
１２２ 第２補正部
１２３ 異常画素検出部
１２４ 選択部
１３０ ＡＧＣ処理部
１４０ 飽和領域検出部
１５０ シャッタ制御部
１７０ ダイナミックレンジ制御部
２００ 画像処理装置
２１０ 検出範囲設定部
９００ マイクロボロメータ
９０１ シャッタ
９０２ モニタ
Ａ１１、Ａ１２、Ａ１３、Ａ１４ 熱画像
Ｄ１１ 他車両
Ｄ１２ マフラー
Ｄ１３ 太陽

Claims (5)

1. 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する第１補正部と、
   シャッタが閉じられた状態における前記撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する第２補正部と、
   前記撮像データに飽和領域が存在することを検出する飽和領域検出部と、
   前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御部と、
   前記シャッタを閉じた状態において取得された前記撮像データにおいて前記第１補正データに含まれる予め設定された閾値を超える輝度値の画素にかかる異常画素が含まれるか否かを検出する異常画素検出部と、
   前記異常画素検出部による検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する選択部と、を備える
   画像処理装置。
2. 前記選択部は、前記シャッタを閉じた状態で撮像された前記撮像データにおいて前記第１補正データに含まれる前記異常画素の輝度値が閾値を超えているか否かに応じて第１補正データまたは前記第２補正データを選択する、
   請求項１に記載の画像処理装置。
3. 前記第２補正部は、予め設定された較正条件に基づいて前記シャッタの閉制御を指示する信号を前記シャッタ制御部に供給し、
   前記シャッタ制御部は、前記選択部が前記第１補正データを選択しており、且つ、前記シャッタの閉制御を指示する信号を受け取った場合には前記シャッタの閉制御を行い、前記選択部が前記第２補正データを選択しており、且つ、前記シャッタの閉制御を指示する信号を受け取った場合には前記シャッタの閉制御を抑制する
   請求項１または２に記載の画像処理装置。
4. 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する第１補正ステップと、
   シャッタが閉じられた状態における前記撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する第２補正ステップと、
   前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
   前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御ステップと、
   前記シャッタを閉じた状態において取得された前記撮像データに予め設定された閾値を超える輝度値の画素である異常画素が含まれるか否かを検出する異常画素検出ステップと、
   前記異常画素検出ステップにおける検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する選択ステップと、を備える
   画像処理方法。
5. 移動体の周辺の熱画像を撮像する赤外線撮像素子から取得した撮像データに対して、予め設定された第１補正テーブルに基づいて、補正を行うとともに補正した第１補正データを出力する第１補正ステップと、
   シャッタが閉じられた状態における前記撮像データに対して第２補正テーブルを生成し、生成した第２補正テーブルに基づいて補正した第２補正データを出力する第２補正ステップと、
   前記撮像データに飽和領域が存在することを検出する飽和領域検出ステップと、
   前記飽和領域の検出結果に基づいて前記赤外線撮像素子を保護するためのシャッタの閉制御を行うシャッタ制御ステップと、
   前記シャッタを閉じた状態において取得された前記撮像データに予め設定された閾値を超える輝度値の画素である異常画素が含まれるか否かを検出する異常画素検出ステップと、
   前記異常画素検出ステップにおける検出の結果に応じて、第１補正データまたは第２補正データのいずかを選択して出力する選択ステップと、を備える
   画像処理方法を、コンピュータに実行させる
   プログラム。

Images