JP2023004185A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】所望の物体の温度帯域の階調を好適に設定する画像処理装置等を提供する。【解決手段】画像処理装置１１において、画像データ取得部１６０は赤外線カメラから熱画像データを取得する。画像処理部１７０は、複数の第１ローカル領域と第２ローカル領域とを含むローカル領域を熱画像に対して設定し、ローカル領域の度数分布を演算し、熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定する。画像処理部１７０は、度数分布のうち予め設定された閾値を超過する超過データを度数分布に再分配した再分配データを生成し、再分配データからローカルトーンカーブを生成し、複数のローカルトーンカーブを合成してブレンドトーンカーブを生成する。そして画像処理部１７０は、ローカル領域に対応する画素に対してブレンドトーンカーブを適用することにより変換画像データを生成する。画像データ出力部１９０は、変換画像データを出力する。【選択図】図３

Description

本発明は画像処理装置、画像処理方法およびプログラムに関する。

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。このような物体検出システムは、人や動物といった物体の熱を好適に検出することが望まれる。そのため、画像のダイナミックレンジや画素値の階調を改善するための技術が併せて開発されている。

例えば、所定のセンサから取得した環境データに応じて画像のヒストグラムを変換する技術が公開されている（特許文献１）。

また例えば、画像内の地平線の位置に基づいて空に対応し得る画像内の領域を識別し、識別した空の領域における放射照度レベルの分布を分析して、空の領域に起因するダイナミックレンジを決定する技術が公開されている（特許文献２）。

米国特許第０８０７７９９５号明細書 米国特許第０９８１９８８０号明細書

しかしながら、空のような低温の領域や、自動車のエンジンなどのような高温の領域が画像に含まれる場合には、これらの影響を抑制することが困難になる場合がある。熱画像のダイナミックレンジが適切ではない場合、熱画像に基づいた物体の認識における認識率が低下してしまうこともある。

本発明は、このような課題を解決するためになされたものであって、所望の物体の温度帯域の階調を好適に設定する画像処理装置等を提供するものである。

本発明にかかる画像処理装置は、画像データ取得部、画像処理部および画像データ出力部を有している。画像データ取得部は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像処理部は、熱画像データから変換画像データを生成する。画像データ出力部は、変換画像データを出力する。画像処理部は、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。画像処理部は、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。上記画像処理部は、熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定する。画像処理部は、度数分布のうち予め設定された度数の閾値を超過する超過データを分配比率に基づいて度数分布に再分配した再分配データを生成する。画像処理部は、再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成する。画像処理部は、第１ローカル領域に対応した第１ローカルトーンカーブおよび第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成する。画像処理部は、ローカル領域に対応する画素に対してブレンドトーンカーブを適用することにより変換画像データを生成する。

本発明にかかる画像処理方法は、コンピュータが以下のステップを実行する。コンピュータは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。コンピュータは、熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定する。コンピュータは、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。コンピュータは、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。コンピュータは、度数分布のうち予め設定された度数の閾値を超過する超過データを分配比率に基づいて度数分布に再分配した再分配データを生成する。コンピュータは、再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成する。コンピュータは、第１ローカル領域に対応した第１ローカルトーンカーブおよび第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成する。コンピュータは、ローカル領域に対応する画素に対してブレンドトーンカーブを適用することにより変換画像データを生成する。コンピュータは、変換画像データを出力する。

本発明に係るプログラムは、コンピュータに以下の画像処理方法を実行させる。画像処理方法は、コンピュータが以下のステップを実行する。コンピュータは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。コンピュータは、熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定する。コンピュータは、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。コンピュータは、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。コンピュータは、度数分布のうち予め設定された度数の閾値を超過する超過データを分配比率に基づいて度数分布に再分配した再分配データを生成する。コンピュータは、再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成する。コンピュータは、第１ローカル領域に対応した第１ローカルトーンカーブおよび第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成する。コンピュータは、ローカル領域に対応する画素に対してブレンドトーンカーブを適用することにより変換画像データを生成する。コンピュータは、変換画像データを出力する。

本発明によれば、所望の物体の温度帯域の階調を好適に設定する画像処理装置、画像処理方法およびプログラムを提供することができる。

実施の形態１にかかる画像処理装置を搭載した車両の構成図である。 赤外線カメラの構成図である。 実施の形態１にかかる画像処理装置のブロック図である。 実施の形態１にかかる画像処理部のブロック図である。 実施の形態１にかかる画像処理方法のフローチャートである。 実施の形態１にかかるローカル領域の例を示す図である。 超過データを生成する処理の例を示す図である。 分配比率の第１の例を示す図である。 再分配データおよびローカルトーンカーブを生成する処理の例を示す図である。 ブレンドトーンカーブの例を示す図である。 分配比率の第２の例を示す図である。 実施の形態２にかかる画像処理方法のフローチャートである。 熱画像データの度数分布図である。 単位領域の例を示す図である。 実施の形態２にかかるローカル領域の例を示す図である。 実施の形態２にかかるローカルトーンカーブとブレンドトーンカーブの例を示す図である。 実施の形態２にかかる画像処理装置が行う画像処理の具体例を示す図である。 実施の形態２の変形例にかかる画像処理方法のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置を搭載した車両の構成図である。本実施の形態にかかる画像処理装置は、車両に設けられた赤外線カメラから熱画像を受け取り、所定の処理を施したうえで、受け取った熱画像をディスプレイに表示させる。また本実施の形態にかかる画像処理装置は、赤外線カメラから受け取った熱画像から所定の物体を検出する機能も有する。例えば画像処理装置は、車両の前方に存在する動物や人物を検出すると、運転者に対して警告を行う。そのため、画像処理装置は、所定の物体を検出することを目的として、熱画像を処理する。図１に示す車両９０は、赤外線カメラ１０、画像処理装置１１、ディスプレイ１２およびＥＣＵ１３を含む。

赤外線カメラ１０は、車両９０の周辺を撮像するように車両９０に設けられている。赤外線カメラ１０は例えば車両９０の前方に固定され、車両９０の前方を撮像する。赤外線カメラ１０は画像処理装置１１と通信可能に接続し、画像処理装置１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、画像処理装置１１に対して、赤外線カメラ１０が撮像した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。

画像処理装置１１は、車両９０の任意の場所に固定され、赤外線カメラ１０およびディスプレイ１２のそれぞれと通信可能に接続している。画像処理装置１１は、赤外線カメラ１０が生成した画像データを取得し、取得した画像データをディスプレイ１２に出力して表示させる。また画像処理装置１１は、ＥＣＵ１３から所定の情報（車両情報）を受け取り、受け取った車両情報に応じて動作する。例えば画像処理装置１１は、ＥＣＵ１３からヘッドライトが点灯したことを示す車両情報を受け取ると、この情報に連動して赤外線カメラ１０による撮像を開始する。すなわち、本実施の形態にかかる画像処理装置１１は、夜間やトンネル内など、車両９０がヘッドライトを点灯させるような暗所において、赤外線カメラ１０のシャッタ１０３を開き、赤外線センサ１０４から画像データの取得を行う。

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、車両９０において運転者が視認可能な位置に設けられている。ディスプレイ１２は、画像処理装置１１を介して赤外線カメラ１０が撮像した画像を表示する。

ＥＣＵ１３（Electronic Control Unit）は、車両の所定の機能に関するデータを有し、この機能を制御する。例えばＥＣＵ１３は、車両９０のヘッドライトの点灯および消灯を制御するものである。この場合、ＥＣＵ１３は、ヘッドライドが点灯したことを示す車両情報を、画像処理装置１１に供給し得る。なお、ＥＣＵ１３は上述の情報に変えて、例えば車両９０が有する照度センサの信号を画像処理装置１１に供給してもよい。ＥＣＵ１３はその他に予め設定された情報を画像処理装置１１に供給し得る。またＥＣＵ１３は、画像処理装置１１から所定の情報を受け取ってもよい。また例えばＥＣＵ１３は、画像処理装置１１から警告信号を受け取ると、受け取った警告信号に従って、車両９０が有するスピーカや表示装置を利用して、運転者に対して警告を行うための音声を発したり、表示を行ったりしてもよい。

上述の構成により、画像処理装置１１は、赤外線カメラ１０が撮像した画像に対して所定の処理を施し、かかる画像を運転者が視認可能な態様によりディスプレイ１２に表示させる。これにより、画像処理装置１１は、車両９０の周辺の物体を運転者に認識させることができる。

次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、シャッタ１０３、赤外線センサ１０４およびカメラ制御回路１０５を有している。

筐体１０１は、赤外線カメラ１０の各構成を収容し、車両９０に固定される。対物レンズ１０２は、赤外線カメラ１０が撮像する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。シャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。

シャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、シャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、シャッタ１０３は、赤外線センサ１０４から見て黒体であり、シャッタ１０３を閉じた状態で、赤外線センサ１０４のキャリブレーションを行う。

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成され、対物レンズ１０２を介して入射する赤外光を受け、感熱素子の各々の抵抗値変化によって画像データを生成する。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

なお、赤外線センサ１０４は、所定の強さより強い太陽光を所定期間以上受けると、太陽光を受けた範囲の素子の出力が飽和する。また、太陽光を受けた範囲の素子の温度が規定値以上に上昇するため、素子の不可逆な変形や特性の変化などの異常状態が生じる。そのため、赤外線カメラ１０は、赤外線センサ１０４を直射日光から保護するために、シャッタ１０３を有する。

また、赤外線センサ１０４のダイナミックレンジは、歩行者等の物体を検出するための分解能が比較的に高くなるように設定されている。そのため、赤外線センサ１０４は、異常を起こさない温度範囲であっても、検出信号が飽和するように設定されている。

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、シャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は画像処理装置１１と通信可能に接続し、画像処理装置１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をしない場合にはシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をする場合にはシャッタ１０３が開いた状態となるよう制御する。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成した画像データを、画像処理装置１１に供給する。

またカメラ制御回路１０５は、所定の条件下、シャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でシャッタ１０３を一時的に閉じる場合や、キャリブレーションを行う場合である。この場合、例えばカメラ制御回路１０５は、画像処理装置１１からシャッタ１０３を一時的に閉じる指示を受ける。

次に、図３を参照して、画像処理装置１１について説明する。図３は、実施の形態１にかかる画像処理装置のブロック図である。画像処理装置１１は主な構成として、通信ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御回路１５０、画像データ取得部１６０、画像処理部１７０、画像認識部１８０および画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜、通信可能に接続されている。

通信ＩＦ１２０は、赤外線カメラ１０を制御するための通信回線のインタフェースである。通信ＩＦ１２０は画像処理装置１１が赤外線カメラ１０を制御するための制御信号を、赤外線カメラ１０に供給する。また通信ＩＦ１２０は、ＥＣＵ１３から車両情報を取得するためのインタフェースでもある。通信ＩＦ１２０は、ＥＣＵ１３から車両情報を取得すると、取得した車両情報を、適宜、画像処理装置１１の構成に供給する。また通信ＩＦ１２０は、ＥＣＵ１３に対して所定の信号を出力するためのインタフェースであってもよい。例えば通信ＩＦ１２０は、運転者に対して所定の警告を行うための信号をＥＣＵ１３に供給してもよい。

ＲＯＭ１３０（ＲＯＭ（Read Only Memory））は、予め設定された情報またはデータを記憶する不揮発性のメモリである。ＲＯＭ１３０は、例えば画像処理装置１１が本実施の形態にかかる機能を実現するためのプログラムを予め記憶している。

ＲＡＭ１４０（ＲＡＭ（Random Access Memory））は、画像処理装置１１が一時的にデータを展開できる記憶領域を有する揮発性のメモリである。ＲＡＭ１４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、システム制御回路１５０等に付随するレジスタを含んでもよい。ＲＡＭ１４０は、ＲＯＭ１３０が記憶するプログラムを展開して実行する領域を含む。またＲＡＭ１４０は、例えば赤外線カメラ１０から供給された画像データを処理する場合等に利用され得る。

システム制御回路１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの演算装置を含む。システム制御回路１５０は、画像処理装置１１が本実施の形態にかかる機能を発揮するためのプログラムを実行する。プログラムは、例えばＲＯＭ１３０に格納されたソフトウェアとして構成されてもよい。またプログラムは、ソフトウェアとハードウェアとの組み合わせにより構成されてもよい。システム制御回路１５０は、画像処理装置１１が有する各構成から所定の信号を受け取るとともに、受け取った信号に応じて、各構成に対して所定の指示等を出力する。システム制御回路１５０は機能ブロックとして、判断部１５１および指示部１５２を含む。

判断部１５１は、画像処理装置１１から取得した画像データにかかる熱画像に対して所定の判断をする。例えば判断部１５１は、熱画像に歩行者等の物体が含まれる場合に、警告を発するか否かについての判断をする。また例えば判断部１５１は、赤外線カメラ１０のシャッタ１０３の開閉についての判断をしてもよい。判断部１５１は、これらの判断の結果を指示部１５２に供給する。

指示部１５２は、画像処理装置１１の各構成に対して種々の指示をする。指示部１５２は、判断部１５１から判断の結果に関する情報を受け取り、受け取った情報に応じて、各構成に対して指示をする。例えば指示部１５２は、判断部１５１から警告を発することを判断する信号を受け取った場合、通信ＩＦ１２０を介してＥＣＵ１３に警告をすることを示す信号を出力してもよい。また指示部１５２は、通信ＩＦ１２０を介して赤外線カメラ１０に対してシャッタ１０３の開閉に関する指示を出力してもよい。

画像データ取得部１６０は、赤外線カメラ１０から熱画像にかかるデータである熱画像データ（入力熱画像データ）を取得するインタフェースである。画像データ取得部１６０は例えば赤外線カメラ１０から定期的に画像データを取得する。例えば画像データ取得部１６０は、１フレームの画像を、１５分の１秒毎に受け取る。画像データ取得部１６０は画像データを受け取ると、受け取った画像データを画像処理部１７０に供給する。

画像処理部１７０は、例えばＧＰＵ（Graphics Processing Unit）を含む画像処理回路である。画像処理部１７０は、ＦＰＧＡ（field-programmable gate array）やＤＳＰ（Digital Signal Processor）を含む処理回路であってもよい。画像処理部１７０は、ＲＡＭ１４０と連携して、熱画像データに対して所定の処理を施し、変換画像データを生成する。なお、画像処理部１７０の詳細は、後述する。

画像認識部１８０は、画像処理部１７０から画像データを受け取り、受け取った画像データから、車両や人物等の所定の物体にかかる物体画像を検出する。より具体的には例えば、画像認識部１８０は、所定の物体画像を検出するための認識辞書を有し、認識辞書のデータを参照して、物体画像を検出する。画像認識部１８０は、所定の物体画像を検出すると、検出した物体画像の位置や大きさに関する情報を生成し、生成した情報をシステム制御回路１５０に供給する。

画像データ出力部１９０は、画像処理部１７０が処理した画像データ（変換画像データ）を、ディスプレイ１２に出力するためのインタフェースである。画像データ出力部１９０が出力する画像データはディスプレイ１２の仕様に対応したデータフォーマットにしたがって出力される。このデータフォーマットは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Visual Interface）等である。

次に、図４を参照して、画像処理部１７０について説明する。図４は、実施の形態１にかかる画像処理部１７０のブロック図である。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２、および画像変換処理部１７３を有する。

欠陥画素補正部１７１は、赤外線センサ１０４の欠陥画素を予め記憶し、記憶した欠陥画素の画素値を、周辺の画素の画素値から補間する処理（補間処理）を施す。欠陥画素補正部１７１は、画像データ取得部１６０を介して、赤外線カメラ１０から入力熱画像データを受け取り、受け取った画像データに対して、上述の補間処理を施す。欠陥画素補正部１７１は補間処理を施した画像データを、ＮＵＣ部１７２に供給する。

ＮＵＣ部１７２は、入力された光に対して出力する画素値のばらつきを抑制するための較正処理であるＮＵＣ（Non-Uniformity Correction）を行う。ＮＵＣ部１７２は、赤外線センサ１０４のそれぞれの画素が有する特性に対応したゲインとオフセット値の設定を予め有している。ＮＵＣ部１７２は、欠陥画素補正部１７１から受け取った画像データに対して、予め有しているこの設定にしたがい、画像データのそれぞれの画素値を較正する。

画像変換処理部１７３は、ＮＵＣ部１７２から較正された画像データを受け取り、受け取った画像データに対して所定の処理を施して変換画像データを生成する。変換画像データは、ＮＵＣ部１７２から受け取った画像データのコントラストまたは分解能を改善したものである。画像データのコントラストまたは分解能を改善することにより、画像処理装置１１は、物体の認識率の低下を抑制できる。画像変換処理部１７３は、変換画像データを生成すると、生成した変換画像データを、画像認識部１８０および画像データ出力部１９０へ供給する。

また画像処理部１７０は、上述の機能に加え、受け取った画像データを解析し、解析した結果である画像解析データを出力しうる。例えば画像処理部１７０は、受け取った画像データのコントラストを算出し、算出した結果をシステム制御回路１５０に供給してもよい。またこの場合にシステム制御回路１５０は、画像データのコントラストが予め設定された閾値を下回る場合に、画像のコントラストを改善するための機能を発揮するよう画像処理部１７０に指示してもよい。

なお、画像処理部１７０は、上述の各構成間の画像データの受け渡しをする場合、あるいは各構成における画像処理をする際に、ＲＡＭ１４０との間で画像データのやり取りをしてもよい。あるいは画像処理部１７０は、上述の処理の流れに沿った機能を、ＲＡＭ１４０に格納した画像データに対して実現してもよい。

次に、図５を参照して、画像処理装置１１が実行する変換画像データを生成する処理について説明する。図５は、実施の形態１にかかる画像処理方法のフローチャートである。図５に示すフローチャートは、例えば、画像処理装置１１による赤外線カメラ１０を用いた撮像が開始されることによって開始され、赤外線カメラ１０を用いた撮像が行われている期間、繰り返し実行される。

まず、画像処理装置１１の画像データ取得部１６０は、赤外線カメラ１０から熱画像データを取得する（ステップＳ１０）。画像データ取得部１６０は、熱画像データを取得すると、取得した熱画像データを画像処理部１７０に供給する。

次に、画像処理部１７０は、熱画像データを受け取ると、複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定する（ステップＳ１１）。

次に、画像処理部１７０は、第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布（ヒストグラム）を演算する（ステップＳ１２）。

次に、画像処理部１７０は、熱画像全体の画素値分布を示す画素値データに基づいて、それぞれの画素値に対する分配比率を設定する（ステップＳ１３）。具体的には例えば画像処理部１７０は、画素値データの中心値を演算し、演算した中心値から分配比率を設定する。中心値は例えば、画素値データの度数分布における中央値である。また中心値は、最小画素値と最大画素値とから算出された平均値であってもよい。また画像処理部１７０は、コントラストを向上させたい画素値域の分配比率を高く、コントラストを抑えたい画素値域の分配比率を低く設定する。そのため、分配比率は、画像処理装置１１において検出対象である人間や動物等の温度に対しての分解能が向上し、空のような低温や自動車のエンジンやマフラーのような高温に対しての分解能が抑えられるように設定される。

次に、画像処理部１７０は、度数分布のうち予め設定された度数の閾値を超過する超過データを前記度数分布に再分配した再分配データを生成する（ステップＳ１４）。なお、画像処理部１７０は、第１ローカル領域に適用する第１閾値と、第２ローカル領域に適用する第２閾値とを、それぞれ独立して設定する。すなわち第１閾値と第２閾値とは同じでもよいし、異なっていてもよい。

次に、画像処理部１７０は、再分配データからローカルトーンカーブを生成する（ステップＳ１５）。具体的には、画像処理部１７０は、再分配データの度数を、低い画素値から順次高い画素値に向かって累積加算することによりローカルトーンカーブを生成する。

次に、画像処理部１７０は、ブレンドトーンカーブを生成する（ステップＳ１６）。具体的には、画像処理部１７０は、第１ローカル領域に対応した第１ローカルトーンカーブおよび第２ローカル領域に対応した第２ローカルトーンカーブを予め設定された重みづけ係数を用いて合成する。なお、画像処理部１７０は、生成したブレンドトーンカーブを、熱画像データの画素値の最大値と最小値との幅により正規化する。

次に、画像処理部１７０は、それぞれのローカル領域に対応する画素に対してブレンドトーンカーブを適用することにより、変換画像データを生成する（ステップＳ１７）。このとき画像処理部１７０は、例えば次に示す式（１）により処理を行う。

ここで、iは、ブレンドトーンカーブを適用する画素の最小画素値から最大画素値までの値を取り得る。またＢＴ_１は、ブレンドトーンカーブの値である。ＬＴ_１は、第１ローカル領域におけるローカルトーンカーブ（第１ローカルトーンカーブ）の値である。Ｗ１は、第１ローカルトーンカーブに対する重みづけ係数である。ＬＴ_２は、第２ローカル領域におけるローカルトーンカーブ（第２ローカルトーンカーブ）の値である。Ｗ２は、第２ローカルトーンカーブに対する重みづけ係数である。またＦ１はオフセット値であって、所定の定数である。

次に、画像データ出力部１９０は、変換画像データを出力する（ステップＳ１８）。画像データ出力部１９０が変換画像データを出力すると、画像処理装置１１は、一連の処理を終了する。なお、画像処理装置１１は、新たな熱画像データが供給されると、再びステップＳ１０から上述の処理を実行する。

以上、画像処理装置１１が実行する画像処理方法について説明した。上述の情報を実行することにより、画像処理装置１１は、所望の温度にかかる画素値域の分解能を向上させる。

次に、図６を参照して、ローカル領域の具体例を説明する。図６は、実施の形態１にかかるローカル領域の例を示す図である。図６には、熱画像Ｄ１１が示されている。また熱画像Ｄ１１は、左上を原点として、右側にＨ方向が設定され、下側にＶ方向が設定されている。以降の説明において、熱画像Ｄ１１内のＨ方向およびＶ方向の座標を、カッコにより（ｈ，ｖ）のように示す。

画像処理部１７０は、熱画像Ｄ１１に対して、複数の第１ローカル領域Ｒ１および第２ローカル領域Ｒ２を設定している。例えば画像処理部１７０は、画像Ｄ１１の座標（０，０）に対応する位置において、第１ローカル領域Ｒ１（０，０）を設定している。また画像処理部１７０が互いに隣接するように、任意の位置（ｈ，ｖ）における第１ローカル領域Ｒ１（ｈ，ｖ）を設定している。すなわち図において二点鎖線により示すように、第１ローカル領域Ｒ１（ｈ，ｖ）の右側には第１ローカル領域Ｒ１（ｈ＋１，ｖ）が隣接して設定され、第１ローカル領域Ｒ１（ｈ，ｖ）の下側には第１ローカル領域Ｒ１（ｈ，ｖ＋１）が隣接して設定されている。このようにして、画像処理部１７０は、熱画像Ｄ１１の右下における第１ローカル領域Ｒ１（ｍ－１，ｎ－１）まで、Ｈ方向にｍ個、Ｖ方向にｎ個の第１ローカル領域Ｒ１を設定している。

また画像処理部１７０は、上述の第１ローカル領域Ｒ１のそれぞれに対応した第２ローカル領域Ｒ２（ｈ，ｖ）を設定している。座標（ｈ、ｖ）に対応した第２ローカル領域Ｒ２（ｈ，ｖ）は、第１ローカル領域Ｒ１（ｈ，ｖ）を含み第１ローカル領域Ｒ１（ｈ，ｖ）より大きい矩形の領域である。なお、第２ローカル領域Ｒ２は、図における座標（０，０）および座標（ｍ，ｎ）において示すように、熱画像Ｄ１１の外縁部においては、熱画像Ｄ１１の外側にはみ出る場合がある。この場合、第２ローカル領域Ｒ２の大きさは、熱画像Ｄ１１の大きさに従いカットされる。

画像処理部１７０は、このように、座標（ｈ，ｖ）に対応したローカル領域として、第１ローカル領域Ｒ１（ｈ，ｖ）および第２ローカル領域Ｒ２（ｈ，ｖ）を設定する。そして、画像処理部１７０は、設定したそれぞれのローカル領域におけるローカルトーンカーブおよびブレンドトーンカーブを生成する。

次に、図７を参照して、ローカルトーンカーブの具体例について説明する。図７は、超過データを生成する処理の例を示す図である。図７には、上側にデータＤ１２が示されており、下側にデータＤ１３が示されている。

図７の上側に示されているデータＤ１２は、所定のローカル領域における度数分布である。画像処理装置１１において、画像処理部１７０の画像変換処理部１７３は、ＮＵＣ部１７２から受け取った熱画像データからローカル領域を設定し、設定したローカル領域に対して、データＤ１２に示すような度数分布を演算する。データＤ１２は、横軸が画素値を示し、縦軸が画素値に対応する度数である。データＤ１２に示す度数分布は、中央部に度数のピークを有するカーブにより示されている。

図７の下側に示されているデータＤ１３は、度数分布に対して所定の閾値を超過する超過データＤ１３１にハッチングを施して示したものである。画像変換処理部１７３は、予め設定された閾値を超過する超過データＤ１３１を再分配するために、超過データＤ１３１を抽出し、超過データＤ１３１の度数を度数分布に対して所定の分配比率にしたがって再分配する。

次に、図８を参照して、分配比率について説明する。図８は、分配比率の第１の例を示す図である。図８には、画素値と分配比率との関係を示すグラフＥ１０が示されている。グラフＥ１０は、横軸が画素値を示し、縦軸が分配比率を示している。またグラフＥ１０には、曲線Ｅ１０１がプロットされている。曲線Ｅ１０１は、横軸に示す画素値が中心値の位置をピークとして、左右になだらかに下がる曲線である。このように、分配比率は、中心値をピークとして、中心値から離れる程に分配比率が低下するように設定される。

より具体的には、例えば、図８における第１画素値Ｅ１２１は、中心値との差が第１差Ｅ１１１である。図８における第２画素値Ｅ１２２は、中心値との差が第１差より大きい第２差Ｅ１１２である。このとき、第１画素値Ｅ１２１に対応する第１分配比率Ｅ１３１は、第２画素値Ｅ１２２に対応する第２分配比率Ｅ１３２より高くなるように、設定される。なお、曲線Ｅ１０１の最小値と最大値は、一定の値ではなく、ローカル領域における値により変動する。

このような構成により、画像処理装置１１は、中心値およびその近傍における画素値に対して比較的に多くのデータを配分し、中心値およびその近傍における画像の表現をより豊かなものとする。これにより、画像処理装置１１は、中心値およびその近傍における画像のコントラストを向上させ、対象物体の検出に対する分解能を向上させる。

次に、図９を参照して、画像処理部１７０が生成する再分配データとローカルトーンカーブについて説明する。図９は、再分配データおよびローカルトーンカーブを生成する処理の例を示す図である。

図９の上側に示されているデータＤ１４は、再分配データである。画像変換処理部１７３は、超過データＤ１３１に対応する度数を、熱画像データの最小値から最大値までの間の画素値分布を示す画画素値データに対して分配する。図に示す例において、画像変換処理部１７３は、超過データＤ１３１をデータＤ１４１のように、中央部分がピークとなる曲線に沿って分配することにより再分配データＤ１４２を生成している。

図９の下側に示されているデータＤ１５は、ローカルトーンカーブを示すデータである。データＤ１５は、データＤ１４において生成された再分配データを画素値の最小値から最大値に亘り順次累積させた累積度数分布である。画像変換処理部１７３は、第１ローカル領域Ｒ１（ｈ，ｖ）および第２ローカル領域Ｒ２（ｈ，ｖ）におけるローカルトーンカーブを上述の手順により生成する。

次に、図１０を参照して、ブレンドトーンカーブについて説明する。図１０は、ブレンドトーンカーブの例を示す図である。図１０には、第１ローカルトーンカーブＤ１６、第２ローカルトーンカーブＤ１７およびブレンドトーンカーブＤ１８が示されている。

第１ローカルトーンカーブＤ１６は、熱画像データの所定の位置における第１ローカル領域のローカルトーンカーブである。第２ローカルトーンカーブＤ１７は、第１ローカルトーンカーブＤ１６に対応した第２ローカルトーンカーブである。すなわち第２ローカルトーンカーブＤ１７にかかる第２ローカル領域は、第１ローカルトーンカーブＤ１６にかかる第１ローカル領域を含む。

ブレンドトーンカーブＤ１８は、上述の式（１）により第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブとを合成して生成されたものである。また、ブレンドトーンカーブＤ１８は、第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブＤ１７とを合成したのちに、熱画像データの最大画素値を使って正規化されたものとなっている。すなわちブレンドトーンカーブＤ１８は、横軸が入力画素値であって、縦軸が出力画素値という関係が成立する。これにより、画像変換処理部１７３は、ブレンドトーンカーブＤ１８に対応するそれぞれの画素位置において、画像変換データを生成する。

次に、図１１を参照して、分配比率の別の例について説明する。図１１は、分配比率の第２の例を示す図である。図１１には、画素値と分配比率との関係を示すグラフＥ２０が示されている。グラフＥ２０は、横軸が画素値を示し、縦軸が分配比率を示している。またグラフＥ２０には、折れ線Ｅ２０１がプロットされている。折れ線Ｅ２０１は、中心値の近傍の画素値をピークとして、左右に折れ曲がりながら下がる折れ線である。このように、分配比率は、中心値をピークとして、中心値から離れる程に分配比率が低下するように設定される。

より具体的には、例えば、図１１における第１画素値Ｅ２２１は、中心値との差が第１差Ｅ２１１である。図８における第２画素値Ｅ２２２は、中心値との差が第１差より大きい第２差Ｅ２１２である。このとき、第１画素値Ｅ２２１に対応する第１分配比率Ｅ２３１は、第２画素値Ｅ２２２に対応する第２分配比率Ｅ２３２より高くなるように、設定される。

以上、実施の形態１について説明した。上述の通り、画像処理装置１１は、第１ローカル領域と第２ローカル領域とのそれぞれのローカルトーンカーブを生成し、これらの重みづけを設定したうえで合成する。またその際に、画像処理装置１１は、中心値をピークとした分配比率を設定し、これを度数分布に適用する。これにより画像処理装置１１は、熱画像における所望の温度に対する分解能を向上させることができる。よって、実施の形態１によれば、所望の物体の温度帯域の階調を好適に設定する画像処理装置、画像処理方法およびプログラムを提供することができる。また、所望の物体の温度領域の階調を好適に設定することで、熱画像に基づく物体の認識率を向上させることができる。

なお、上述の画像処理装置１１は、第１ローカル領域と第２ローカル領域との２種類のローカル領域を設定したが、ローカル領域の設定はこれに限られない。すなわち画像処理装置１１は、複数の大きさが異なるローカル領域を設定する。この際に、画像処理装置１１は、３種類以上の大きさの異なるローカル領域を設定し、ブレンドトーンカーブを生成する場合に、これら３種類以上の領域に対応したローカルトーンカーブを合成してもよい。

また画像変換処理部１７３が設定する分配比率は、中心値をピークとするのに代え、中心値から所定の画素値の差に離れた画素値をピークとしてもよい。また上述の図８および図１１に示す分配比率は、中心値を基準として左右対称形状として例示したが、分配比率は、中心値を基準とした左右対称形状に限られない。

＜実施の形態２＞
次に、実施の形態２について説明する。図１２は、実施の形態２にかかる画像処理方法のフローチャートである。図１２に示すフローチャートは、画像変換処理部１７３が主に行う処理について示したものである。

まず、画像変換処理部１７３は、ＮＵＣ部１７２から較正された熱画像データを取得する（ステップＳ１０１）。

次に、画像変換処理部１７３は、熱画像データの度数分布を演算する（ステップＳ１０２）。ここで、本実施の形態にかかる画像変換処理部１７３は、熱画像データが有する画素値が例えば１６ビット程度であった場合に、下位２ビット～４ビット程度をまとめて１つのビン（階級ともいう）とした度数分布を演算する。これにより画像処理装置１１は、実施的な計算精度の低下を抑えつつ、画像変換にかかる処理時間を短縮できる。

次に、画像変換処理部１７３は、熱画像データのレンジ計算を行う（ステップＳ１０３）。レンジ計算において、画像変換処理部１７３は、度数分布における低温側の最小画素値および高温側の最大画素値を設定する。さらに画像変換処理部１７３は、中心画素値を設定する。そして画像変換処理部１７３は、最大画素値と中心画素値との差である第１画素範囲を算出する。同様に画像変換処理部１７３は、中心画素値と最小画素値との差である第２画素範囲を算出する。そして画像変換処理部１７３は、第１画素範囲と第２画素範囲とを比較して、大きい方の画素範囲を、小さいほうの画素範囲に適用して画像全体の画素範囲を設定する。なお、画像変換処理部１７３は、ここで設定した中心値を、後述するステップＳ１１１、ステップＳ１２１およびステップＳ１３１における分配比率の設定に利用する。

図１３を参照して、レンジ計算の例について説明する。図１３は、熱画像データの度数分布図である。図１３に示すデータＤ２２は、熱画像データの一例について示している。データＤ２２において、画像変換処理部１７３は、度数の上下数パーセント（例えば１パーセント）を切り捨てた後のビンを最小画素値（MIN）および最大画素値（MAX）にそれぞれ設定している。このような処理をすることにより、画像処理装置１１は、エラーなど画像データに大きく外れたデータが存在している場合に、これを排除してデータを処理できる。また画像変換処理部１７３は、中心値を併せて設定する。中心値は、度数分布の中央値（MEDIAN）や、平均値が選択されうる。データＤ２２に示す例の場合、画像変換処理部１７３は中央値を中心値として設定している。

データＤ２２に示す画像データは、ＭＡＸとＭＥＤＩＡＮとの差である第１画素範囲Ｒ１１の方が、ＭＥＤＩＡＮとＭＩＮとの差である第２画素範囲Ｒ１２より大きい。そこで画像変換処理部１７３は、低温側の画素値の範囲を、ＭＥＤＩＡＮから第１画素範囲Ｒ１１離れているＭＩＮ２に設定する。このように、画素範囲を設定することにより、画像処理装置１１は、変換後のコントラストを向上させる。

上述のように、画像処理装置１１は、画素値データの最大画素値と最小画素値とをそれぞれ検出する。そして画像処理装置１１は、最大画素値と中心画素値との差である第１画素範囲と、中心画素値と最小画素値との差である第２画素範囲とのうち、比較的に大きい側の差を、比較的に小さい側に適用する。さらに画像処理装置１１は、このようにして拡大した画素値範囲を更新画素範囲として設定する。また画像処理装置１１は、この更新画素範囲を用いて分配比率を設定する。

図１２に戻り説明を続ける。画像変換処理部１７３は、レンジ制限を行う（ステップＳ１０４）。レンジ制限において、画像変換処理部１７３は、設定した最小画素値と最大画素値の範囲の外に存在するデータを、最小画素値または最大画素値のいずれか近い側のビンに設定変更する。図１０に示す例の場合、度数分布におけるＭＩＮ２を下回るデータが存在する場合、画像変換処理部１７３は、このデータをＭＩＮ２に対応するビンに配置する。同様に、度数分布におけるＭＡＸを上回るデータが存在する場合、画像変換処理部１７３は、このデータをＭＡＸに対応するビンに配置する。

次に、画像変換処理部１７３は、単位領域に分割する（ステップＳ１０５）。単位領域とは、ローカルトーンカーブを生成するローカル領域を構成するための要素となる領域である。すなわち、画像変換処理部１７３は、ローカル領域を単位領域の集合としてそれぞれ設定する。熱画像を単位領域に分割しておくことにより、画像処理装置１１は異なる大きさの複数のローカル領域に関する処理を効率よく行う。

図１４を参照して、画像変換処理部１７３が生成する単位領域について説明する。図１４は、単位領域の例を示す図である。図１４には、熱画像Ｄ２３および単位領域Ｕ１０が示されている。

熱画像Ｄ２３は、画像変換処理部１７３が受け取った入力熱画像データにかかる熱画像である。図１４に示す例において、画像変換処理部１７３は、熱画像Ｄ２３を横方向に６４分割し、縦方向に４８分割する。単位領域Ｕ１０は、熱画像Ｄ２３が上述のように分割された場合の１つの領域である。図１４に示す熱画像Ｄ２３は左上を原点として水平方向（Ｈ軸方向）に６４の単位領域Ｕ１０が設定され、垂直方向（Ｖ軸方向）に４８の単位領域Ｕ１０が設定されている。図１４において、熱画像Ｄ２３の左上においてハッチングにより示されているのが、１つの単位領域Ｕ１０である。

画像変換処理部１７３は、左上を原点の座標（０，０）とし、右下を座標（６４，４８）とした場合に、任意の座標（ｈ，ｖ）において単位領域Ｕ１０（ｈ，ｖ）を設定する。画像変換処理部１７３は、このように熱画像Ｄ２３を６４×４８分割することにより、３０７２の単位領域Ｕ１０を設定する。また例えば熱画像Ｄ２３がＱＶＧＡ（Quarter Video Graphics Array）であって、３２０×２４０ピクセルの画素数構成を有する場合、単位領域は５×５ピクセルである。

図１２に戻り説明を続ける。次に、画像変換処理部１７３は、単位領域の度数分布である単位度数分布を演算する（ステップＳ１０６）。すなわち図１４に示す例の場合、画像変換処理部１７３は、３０７２の単位領域について、それぞれの度数分布を演算する。なお、このとき、画像変換処理部１７３は、単位度数分布が上述のレンジ制限の範囲になるように演算する。

次に、画像変換処理部１７３は、第１ローカル領域を設定する（ステップＳ１１０）。また画像変換処理部１７３は、第２ローカル領域を設定する（ステップＳ１２０）。さらに画像変換処理部１７３は、第３ローカル領域を設定する（ステップＳ１３０）。

図１５を参照して、ローカル領域について説明する。図１５は、実施の形態２にかかるローカル領域の例を示す図である。図１５には、５×５の単位領域Ｕ１０およびこれに重畳して、第１ローカル領域Ｕ１１、第２ローカル領域Ｕ１２および第３ローカル領域Ｕ１３が示されている。

第１ローカル領域Ｕ１１は、１つの単位領域Ｕ１０により構成される。図に示す第１ローカル領域Ｕ１１は、５×５に配置されている単位領域Ｕ１０の中心に位置する座標（ｈ，ｖ）の単位領域Ｕ１０に対応している。第２ローカル領域Ｕ１２は、３×３の単位領域Ｕ１０により構成される。第２ローカル領域Ｕ１２は、５×５に配置されている単位領域Ｕ１０の中心部の単位領域Ｕ１０（ｈ，ｖ）に対応しており、第１ローカル領域Ｕ１１（ｈ，ｖ）を含む。また第３ローカル領域Ｕ１３は、５×５の単位領域Ｕ１０により構成される。第３ローカル領域Ｕ１３は、中心部に第１ローカル領域Ｕ１１（ｈ，ｖ）および第２ローカル領域Ｕ１２（ｈ，ｖ）を含む。すなわち第３ローカル領域Ｕ１３は座標（ｈ，ｖ）に対応している。

画像変換処理部１７３は、上述の第１ローカル領域、第２ローカル領域および第３ローカル領域を設定する処理において、ローカル領域のそれぞれにかかる度数分布を演算する。このとき画像変換処理部１７３は、単位度数分布を利用する。すなわち、ローカル領域のそれぞれにかかる度数分布を算出する場合に、画像変換処理部１７３は、ローカル領域のそれぞれが有する単位領域における単位度数分布を合算する。これにより、画像変換処理部１７３はローカル領域ごとの度数分布を効率よく演算できる。

図１２に戻り説明を続ける。画像変換処理部１７３は、それぞれのローカル領域に対して分配比率を設定する（ステップＳ１１１、ステップＳ１２１およびステップＳ１３１）。より具体的には、画像変換処理部１７３は、ステップＳ１０３で設定した中心値を利用して、中心値または中心値を含む画素値領域をピークとして、中心値から離れる程に低下する分配率を設定する。なお、ここで設定される分配率は、ローカル領域ごとに個別に設定される。

次に、画像変換処理部１７３は、それぞれのローカル領域に対して再分配データを生成する（ステップＳ１１２、ステップＳ１２２およびステップＳ１３２）。なお、再分配データを生成する際に設定する超過データにかかる閾値の値は、それぞれのローカル領域に対して個別に設定され得る。

次に、画像変換処理部１７３は、第１ローカル領域に対応する第１ローカルトーンカーブを生成する（ステップＳ１１３）。また画像変換処理部１７３は、第２ローカル領域に対応する第２ローカルトーンカーブを生成する（ステップＳ１２３）。同様に、画像変換処理部１７３は、第３ローカル領域に対応する第３ローカルトーンカーブを生成する（ステップＳ１３３）。なお、上述の再分配データを生成する処理およびそれぞれのローカル領域に対応するローカルトーンカーブを生成する処理は、並行して行われてもよいし、順次行われてもよい。なお、画像変換処理部１７３は、生成したローカルトーンカーブのそれぞれを、それぞれの領域における全度数により除算して正規化をする。

次に、画像変換処理部１７３は、生成したローカルトーンカーブを合成してブレンドトーンカーブを生成する（ステップＳ１４０）。画像変換処理部１７３は、以下の式（２）が成立するようにブレンドトーンカーブを生成する。

ここで、ＢＴ_２はブレンドトーンカーブを示し、ＬＴaは第１ローカルトーンカーブを示し、ＬＴｂは第２ローカルトーンカーブを示し、ＬＴｃは第３ローカルトーンカーブを示す。またＷａは第１ローカルトーンカーブに対する重みづけ係数を示す。Ｗｂは第２ローカルトーンカーブに対する重みづけ係数を示す。Ｗｃは第３ローカルトーンカーブに対する重みづけ係数を示す。Ｆ２は所定のオフセット値を示す。またiは、入力画素値であり、レンジ制限により設定された画素値の最小値から最大値までを取り得る。

図１６に、ローカルトーンカーブとブレンドトーンカーブの例を示す。図１６は、実施の形態２にかかるローカルトーンカーブとブレンドトーンカーブの例を示す図である。図１６に示すグラフには、第１ローカルトーンカーブ、第２ローカルトーンカーブ、第３ローカルトーンカーブおよびブレンドトーンカーブが重畳されている。図に示すように、それぞれのローカルトーンカーブは、ローカル領域の大きさに応じて、それぞれの傾斜を有している。ブレンドトーンカーブは、画像処理装置１１が所望の機能を発揮できるように重みづけ係数およびオフセットが設定されている。

例えば図１６の例において、低い画素値域におけるローカルトーンカーブの傾きはそれぞれ急峻であり、且つ、異なる画素値域（すなわち異なる温度帯域）に存在している。一方、低い画素値域におけるブレンドトーンカーブの傾きは比較的に緩やかなカーブにより構成されている。このように、画像処理装置１１は、ローカル領域ごとに有するトーンカーブの特徴を合成することにより、大きさの異なるローカル領域に生じるコントラストのばらつきを抑制し、且つ、検出対象の物体が有する温度帯域のコントラストを拡げている。

再び図１２に戻り説明を続ける。画像変換処理部１７３は、生成したブレンドトーンカーブを用いて、熱画像データのトーン変換を行う（ステップＳ１４１）。なお、上述の通り、画像変換処理部１７３は、熱画像データの度数分布を演算する際に、下位２ビット～４ビット程度をまとめて１つのビンとした度数分布を演算し、処理を行った。換言すると、画像変換処理部１７３は、ローカル領域におけるそれぞれの画素が互いに数ビットずつ離間するように指定画素を抽出し、抽出した指定画素に対してブレンドトーンカーブを適用したことと同様の処理を行ったこととなる。そのため、以降の処理において、入力熱画像データにおける全ての画素に対応するための処理を行う。

次に、画像変換処理部１７３は、画像データ補間処理を行う（ステップＳ１４２）。具体的には、画像変換処理部１７３は、このステップＳ１４１において設定した指定画素の間に存在する画素における画素値を、周辺の指定画素における変換後の画素値を利用して補間する。補間の手法は、例えばバイリニア補間である。これにより画像変換処理部１７３は、熱画像データの全ての画素に対するトーン変換を行う。すなわち画像変換処理部１７３は入力熱画像データを変換した変換画像データを生成する。

次に、画像変換処理部１７３は、生成した変換画像データを、出力する（ステップＳ１５０）。画像処理部１７０は画像変換処理部１７３が出力した変換画像データを例えば画像認識部１８０に供給する。これにより画像処理装置１１は、変換画像データを用いて物体の検出を行う。また画像処理部１７０は、画像変換処理部１７３が出力した変換画像データを、ディスプレイ１２に表示させるための処理を適宜行う。例えば画像処理部１７０は、変換画像データに対してガンマ補正を行い、ガンマ補正を行った画像データを、画像データ出力部１９０を介してディスプレイ１２に供給する。画像変換処理部１７３は、変換画像データを出力すると、一連の処理を終了する。

以上、実施の形態２にかかる画像処理方法について説明した。上述の方法により、画像処理装置１１は、輻射熱の影響を低減した画像データを使って物体の検出を行うことができる。なお、ステップＳ１４１およびステップＳ１４２において説明したように、指定画素を抽出して処理することにより、画像処理装置１１は、画像のコントラストを改善するとともに、画像処理の処理速度を向上させることができる。

次に、図１７を参照して、画像処理装置１１が行う画像処理の具体例を説明する。図１７は、画像処理装置１１が行う画像処理の具体例を示す図である。図１７は、ブレンドトーンカーブＦ２００、入力熱画像Ｆ２１１および変換画像Ｆ２１２を含む。ブレンドトーンカーブＦ２００は、画像処理装置１１が入力熱画像Ｆ２１１から生成したものである。画像処理装置１１は、ブレンドトーンカーブＦ２００により、入力熱画像Ｆ２１０を、変換画像Ｆ２２０に変換する。

入力熱画像Ｆ２１０は、赤外線カメラ１０が撮像した熱画像であって、左側にオートバイの画像を含む。オートバイの画像はエンジンやマフラーといった高温の物体にかかる高温画像領域Ｆ２１１を含む。また、入力熱画像Ｆ２１０は、右側に歩行者の画像を含む歩行者画像領域Ｆ２１２を含む。

ブレンドトーンカーブＦ２００は、高温画像領域Ｆ２１１に対応する高温域の物体に対応する第１入力範囲Ｆ２０１を、第１出力範囲Ｆ２０３に変換する。ブレンドトーンカーブＦ２００は、高温域の傾斜が４５度より小さい。また変換後の第１出力範囲Ｆ２０３は、変換前の第１入力範囲Ｆ２０１より狭い。すなわち、ブレンドトーンカーブＦ２００は、第１入力範囲Ｆ２０１の帯域を狭めるように入力熱画像を変換する。

またブレンドトーンカーブＦ２００は、歩行者画像領域Ｆ２１２に対応する温度の物体に対応する第２入力範囲Ｆ２０２を、第２出力範囲Ｆ２０４に変換する。ブレンドトーンカーブＦ２００は、この温域の傾斜が４５度より大きい。また変換後の第２出力範囲Ｆ２０４は、変換前の第２入力範囲Ｆ２０２より広い。すなわち、ブレンドトーンカーブＦ２００は、歩行者画像領域Ｆ２１２に対応する第２入力範囲Ｆ２０２の帯域を広げるように入力熱画像を変換する。

変換画像Ｆ２２０は、画像処理装置１１が入力熱画像Ｆ２１０を変換して生成した変換画像である。変換画像Ｆ２２０は、入力熱画像Ｆ２１０における高温画像領域Ｆ２１１に対応する高温画像領域Ｆ２２１を有する。変換前の高温画像領域Ｆ２１１と、変換後の高温画像領域Ｆ２２１と、を比較すると、変換後の高温画像領域Ｆ２２１は画像の階調が低下して、マフラーの画像の詳細が判別できない状態となっている。

変換画像Ｆ２２０は、入力熱画像Ｆ２１０における歩行者画像領域Ｆ２１２に対応する歩行者画像領域Ｆ２２２を有する。変換前の歩行者画像領域Ｆ２１２と、変換後の歩行者画像領域Ｆ２２２と、を比較すると、変換後の歩行者画像領域Ｆ２２２は画像の階調が増加して、歩行者や道路の画像の詳細が判別できる状態となっている。

上述のように、画像処理装置１１は、再分配比率を設定する際に、検出する物体の温度に対応する画素値域に再分配比率のピークを設定し、高温域や低温域に対応する画素値域に対する再分配比率を低下させる。それにより、上述の具体例に示すように、画像処理装置１１は、歩行者等の検出対象となる物体の画像の階調を拡大させることができる。これにより画像処理装置１１は、所望の物体の検出精度を向上させることができる。

次に、実施の形態２の変形例について説明する。図１８は、実施の形態２の変形例にかかる画像処理方法のフローチャートである。図１８に示すフローチャートは、ステップＳ１４０とステップＳ１５０の間の処理が、図１２に示すフローチャートと異なる。

図１８のステップＳ１４０において、ブレンドトーンカーブを生成した後に、画像変換処理部１７３は、トーンカーブ補間を行う（ステップＳ１４３）。上述の通り、画像変換処理部１７３は、熱画像データの度数分布を演算する際に、下位２ビット～４ビット程度をまとめて１つのビンとした度数分布を演算し、処理を行った。そのため、ステップＳ１４０におけるブレンドトーンカーブは、熱画像データの全ての画素には対応していない。そこで、画像変換処理部１７３は、指定画素の間に存在する画素におけるトーンカーブを、周辺の指定画素におけるブレンドトーンカーブから補間することにより生成する。補間の具体的な方法は、例えばバイリニア補間である。トーンカーブ補間を行うことにより、画像変換処理部１７３は、熱画像データの全ての画素に対応したトーンカーブを生成する。

次に、画像変換処理部１７３は、生成したトーンカーブを用いて、熱画像データをトーン変換する（ステップＳ１４４）。画像変換処理部１７３は、熱画像データの全ての画素に対して、入力画素値を変換して出力画素値を算出する処理を行う。これにより画像変換処理部１７３は、変換画像データを生成する。

以上、実施の形態２について説明した。実施の形態２によれば、所望の物体の温度帯域の階調を好適に設定する画像処理装置、画像処理方法およびプログラムを提供することができる。また、所望の物体の温度領域の階調を好適に設定することで、熱画像に基づく物体の認識率を向上させることができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 赤外線カメラ
１１ 画像処理装置
１２ ディスプレイ
１３ ＥＣＵ
９０ 車両
１０１ 筐体
１０２ 対物レンズ
１０３ シャッタ
１０４ 赤外線センサ
１０５ カメラ制御回路
１１０ バス
１２０ 通信ＩＦ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ システム制御回路
１５１ 判断部
１５２ 指示部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 画像変換処理部
１８０ 画像認識部
１９０ 画像データ出力部

Claims (5)

1. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得部と、
   前記熱画像データから変換画像データを生成する画像処理部と、
   前記変換画像データを出力する出力部と、を備え、
   前記画像処理部は、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定し、
   前記度数分布のうち予め設定された度数の閾値を超過する超過データを前記分配比率に基づいて前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成し、
   前記第１ローカル領域に対応した第１ローカルトーンカーブおよび前記第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成し、
   前記ローカル領域に対応する画素に対して前記ブレンドトーンカーブを適用することにより前記変換画像データを生成する、
   画像処理装置。
2. 前記画像処理部は、
   前記画素値データの中心画素値を決定し、
   前記中心画素値から第１差を有する第１画素値における第１分配比率が、前記第１差より大きい第２差を有する第２画素値における第２分配比率より高くなるように、前記分配比率を設定する、
   請求項１に記載の画像処理装置。
3. 前記画像処理部は、
   前記画素値データの最大画素値と最小画素値とをそれぞれ検出し、
   前記最大画素値と前記中心画素値との差である第１画素範囲と、前記中心画素値と前記最小画素値との差である第２画素範囲とのうち、比較的に大きい側の差を、比較的に小さい側に適用して更新画素範囲を設定し、
   前記更新画素範囲を用いて前記分配比率を設定する、
   請求項２に記載の画像処理装置。
4. コンピュータが、
   車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得し、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定し、
   前記度数分布のうち予め設定された度数の閾値を超過する超過データを前記分配比率に基づいて前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成し、
   前記第１ローカル領域に対応した第１ローカルトーンカーブおよび前記第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成し、
   前記ローカル領域に対応する画素に対して前記ブレンドトーンカーブを適用することにより変換画像データを生成し、
   前記変換画像データを出力する、
   画像処理方法。
5. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得し、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記熱画像の画素値データに基づいて、それぞれの画素値に対する分配比率を設定し、
   前記度数分布のうち予め設定された度数の閾値を超過する超過データを前記分配比率に基づいて前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算してローカルトーンカーブを生成し、
   前記第１ローカル領域に対応した第１ローカルトーンカーブおよび前記第２ローカル領域に対応した第２ローカルトーンカーブの各々に対して予め設定された重みづけ係数を用いて合成してブレンドトーンカーブを生成し、
   前記ローカル領域に対応する画素に対して前記ブレンドトーンカーブを適用することにより変換画像データを生成し、
   前記変換画像データを出力する、
   画像処理方法を、コンピュータに実行させる
   プログラム。

Images