JP2023004188A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】処理量の増加を抑制しつつ、物体の検出能力を向上させた画像処理装置等を提供する。【解決手段】画像処理装置１１において、画像データ取得部１６０は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像処理部１７０は、複数の第１および第２ローカル領域を熱画像に対して設定する。画像処理装置は、第１および第２ローカル領域の画素値に関する度数分布を演算し、予め設定された閾値を超過する超過データを度数分布に再分配する。画像処理装置は、再分配データを累積加算して第１および第２ローカルトーンカーブを生成する。画像処理装置は、第１ローカルトーンカーブと第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成し、ローカル領域に対して第１および第２ブレンドトーンカーブを適用することにより遠方用および近傍用変換画像データを生成する。【選択図】図３

Description

本発明は画像処理装置、画像処理方法およびプログラムに関する。

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。物体検出システムは、赤外線カメラが撮像した熱画像から、様々な位置や距離の物体を精度良く検出することが期待される。そこで、赤外線カメラが撮像した対象物を認識するための技術として、鮮鋭化、階調補正およびノイズ除去などの様々な画像処理が行われることが知られている。また物体の検出精度の低下を抑制するための技術が併せて開発されている。

例えば、赤外線カメラに生じる迷光によるノイズに関する迷光マップを予め生成し、生成した迷光マップにより、熱画像の較正を行う技術が公開されている（特許文献１）。

また例えば、赤外線センサが生成した熱画像から、高周波域、中間周波域および低周波域それぞれの信号を抽出し、個別に平均化処理をした後にこれらを統合する技術が公開されている（特許文献２）。

米国特許第０９９７９９０３号明細書 米国特許第０８５１５１９６号明細書

しかしながら、赤外線カメラにとって比較的に遠方に存在する物体を検出するための画像処理を行うと、比較的に近くに存在する物体の一部分が際立つ効果をもたらし、検出性能が低下する。一方、比較的に近くに存在する物体に最適化した画像処理を行うと、比較的に遠方に存在する物体の画像はぼやけた状態となり、物体の特徴が薄れ、検出性能が低下する。また遠方の物体を検出するのに適した画像と近傍の物体を検出するのに適した画像とをそれぞれ生成すれば検出性能を高めることができるが、画像処理の負荷が倍になるし、中間距離の物体を検出するための画像処理を行うと更に必要な処理量が増えていく。

本発明は、このような課題を解決するためになされたものであって、処理量の増加を抑制しつつ、物体の検出能力を向上させた画像処理装置等を提供するものである。

本発明にかかる画像処理装置は、画像データ取得部、判断部、画像処理部および画像データ出力部を有している。画像データ取得部は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。画像処理部は、熱画像データから遠方用変換画像データおよび近傍用変換画像データをそれぞれ出力可能に生成する。上記画像処理部は、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。画像処理装置は、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。画像処理装置は、度数分布のうち予め設定された閾値を超過する超過データを度数分布に再分配した再分配データを生成する。画像処理装置は、再分配データを低い画素値から高い画素値に向かって累積加算して第１ローカル領域にかかる第１ローカルトーンカーブと第２ローカル領域にかかる第２ローカルトーンカーブとを生成する。画像処理装置は、第１ローカルトーンカーブと第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成する。画像処理装置は、ローカル領域に対して第１ブレンドトーンカーブを適用することにより遠方用変換画像データを生成するとともに、ローカル領域に対して第２ブレンドトーンカーブを適用することにより近傍用変換画像データを生成する。

本発明にかかる画像処理方法は、コンピュータが以下のステップを実行する。コンピュータは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。コンピュータは、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。コンピュータは、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。コンピュータは、度数分布のうち予め設定された閾値を超過する超過データを度数分布に再分配した再分配データを生成する。コンピュータは、再分配データを低い画素値から高い画素値に向かって累積加算して第１ローカル領域にかかる第１ローカルトーンカーブと第２ローカル領域にかかる第２ローカルトーンカーブとを生成する。コンピュータは、第１ローカルトーンカーブと第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成する。コンピュータは、ローカル領域に対して第１ブレンドトーンカーブを適用することにより遠方用変換画像データを出力可能に生成するとともに、ローカル領域に対して第２ブレンドトーンカーブを適用することにより近傍用変換画像データを出力可能に生成する。

本発明に係るプログラムは、コンピュータに以下の画像処理方法を実行させる。画像処理方法は、コンピュータが以下のステップを実行する。コンピュータは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。コンピュータは、複数の第１ローカル領域と、第１ローカル領域を含み第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を熱画像に対して設定する。コンピュータは、第１ローカル領域および第２ローカル領域を構成する画素の画素値に関する度数分布を演算する。コンピュータは、度数分布のうち予め設定された閾値を超過する超過データを度数分布に再分配した再分配データを生成する。コンピュータは、再分配データを低い画素値から高い画素値に向かって累積加算して第１ローカル領域にかかる第１ローカルトーンカーブと第２ローカル領域にかかる第２ローカルトーンカーブとを生成する。コンピュータは、第１ローカルトーンカーブと第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成する。コンピュータは、ローカル領域に対して第１ブレンドトーンカーブを適用することにより遠方用変換画像データを出力可能に生成するとともに、ローカル領域に対して第２ブレンドトーンカーブを適用することにより近傍用変換画像データを出力可能に生成する。

本発明によれば、処理量の増加を抑制しつつ、物体の検出能力を向上させた画像処理装置、画像処理方法およびプログラムを提供することができる。

実施の形態１にかかる画像処理装置を搭載した車両の構成図である。 赤外線カメラの構成図である。 実施の形態１にかかる画像処理装置のブロック図である。 実施の形態１にかかる画像処理部のブロック図である。 実施の形態１にかかる画像処理方法におけるフローチャートである。 画像処理方法における重みづけ設定方法を示す第１のフローチャートである。 画像処理方法における重みづけ設定方法を示す第２のフローチャートである。 実施の形態１にかかるローカル領域の例を示す図である。 ローカルトーンカーブを生成する処理の例を示す図である。 分配比率の第１の例を示す図である。 再分配データおよびローカルトーンカーブを生成する処理の例を示す図である。 ブレンドトーンカーブの例を示す図である。 分配比率の第２の例を示す図である。 実施の形態２にかかる画像処理方法のフローチャートである。 熱画像データの度数分布図である。 単位領域の例を示す図である。 実施の形態２にかかるローカル領域の例を示す図である。 実施の形態２にかかるローカルトーンカーブとブレンドトーンカーブの例を示す図である。 ローカルトーンカーブとブレンドトーンカーブとの関係を示す図である。 実施の形態２の変形例にかかる画像処理方法のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる画像処理装置を搭載した車両の構成図である。本実施の形態にかかる画像処理装置は、車両に設けられた赤外線カメラから熱画像を受け取り、所定の処理を施したうえで、受け取った熱画像をディスプレイに表示させる。

このとき、画像処理装置１１は、熱画像データから変換画像データをディスプレイに出力可能に生成する。変換画像データは、遠方用変換画像データおよび近傍用変換画像データを含む。遠方用変換画像データは、車両９０の前方に存在する物体のうち、比較的に遠方に存在する物体の画像の認識率を向上させる目的において生成される。近傍用変換画像データは、車両９０の前方に存在する物体のうち、比較的に近傍に存在する物体の画像の認識率を向上させる目的において生成される。

また本実施の形態にかかる画像処理装置は、赤外線カメラから受け取った熱画像から所定の物体を検出する機能も有する。例えば画像処理装置は、車両の前方に存在する動物や人物を検出すると、運転者に対して警告を行う。そのため、画像処理装置は、所定の物体を検出することを目的として、熱画像を処理する。図１に示す車両９０は、赤外線カメラ１０、画像処理装置１１、ディスプレイ１２およびＥＣＵ１３を含む。

赤外線カメラ１０は、車両９０の周辺を撮像するように車両９０に設けられている。赤外線カメラ１０は例えば車両９０の前方に固定され、車両９０の前方を撮像する。赤外線カメラ１０は画像処理装置１１と通信可能に接続し、画像処理装置１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、画像処理装置１１に対して、赤外線カメラ１０が撮像した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。

画像処理装置１１は、車両９０の任意の場所に固定され、赤外線カメラ１０およびディスプレイ１２のそれぞれと通信可能に接続している。画像処理装置１１は、赤外線カメラ１０が生成した画像データを取得し、取得した画像データをディスプレイ１２に出力して表示させる。また画像処理装置１１は、ＥＣＵ１３から所定の情報（車両情報）を受け取り、受け取った車両情報に応じて動作する。例えば画像処理装置１１は、ＥＣＵ１３からヘッドライトが点灯したことを示す車両情報を受け取ると、この情報に連動して赤外線カメラ１０による撮像を開始する。すなわち、本実施の形態にかかる画像処理装置１１は、夜間やトンネル内など、車両９０がヘッドライトを点灯させるような暗所において、赤外線カメラ１０のシャッタ１０３を開き、赤外線センサ１０４から画像データの取得を行う。

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、車両９０において運転者が視認可能な位置に設けられている。ディスプレイ１２は、画像処理装置１１を介して赤外線カメラ１０が撮像した画像を表示する。

ＥＣＵ１３（Electronic Control Unit）は、車両の所定の機能に関するデータを有し、この機能を制御する。例えばＥＣＵ１３は、車両９０のヘッドライトの点灯および消灯を制御するものである。この場合、ＥＣＵ１３は、ヘッドライドが点灯したことを示す車両情報を、画像処理装置１１に供給し得る。なお、ＥＣＵ１３は上述の情報に変えて、例えば車両９０が有する照度センサの信号を画像処理装置１１に供給してもよい。

またＥＣＵ１３は、車両９０のワイパーの動作を制御するものであってもよい。この場合に、ＥＣＵ１３は、赤外線カメラ１０が撮像する熱画像のコントラストに紐づく情報として、ワイパーの動作を示す車両情報を画像処理装置１１に提供してもよい。ＥＣＵ１３は、熱画像のコントラストに紐づく情報として、車両９０が有する湿度センサ、雨滴センサ等が生成する信号や、これらのセンサが検出した雨や霧に関する情報を車両情報として画像処理装置１１に提供してもよい。ＥＣＵ１３は、上述の情報の他に、車両９０が有する通信装置を介して車両９０の外部から取得した所定の情報を、車両情報として画像処理装置１１に提供してもよい。

またＥＣＵ１３は、画像処理装置１１から所定の情報を受け取ってもよい。また例えばＥＣＵ１３は、画像処理装置１１から警告信号を受け取ると、受け取った警告信号に従って、車両９０が有するスピーカや表示装置を利用して、運転者に対して警告を行うための音声を発したり、表示を行ったりしてもよい。

上述の構成により、画像処理装置１１は、赤外線カメラ１０が撮像した画像に対して所定の処理を施し、かかる画像を運転者が視認可能な態様によりディスプレイ１２に表示させる。これにより、画像処理装置１１は、車両９０の周辺の物体を運転者に認識させることができる。

次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、シャッタ１０３、赤外線センサ１０４およびカメラ制御回路１０５を有している。

筐体１０１は、赤外線カメラ１０の各構成を収容し、車両９０に固定される。対物レンズ１０２は、赤外線カメラ１０が撮像する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。シャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。

シャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、シャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、シャッタ１０３は、赤外線センサ１０４から見て黒体であり、シャッタ１０３を閉じた状態で、赤外線センサ１０４のキャリブレーションを行う。

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成され、対物レンズ１０２を介して入射する赤外光を受け、感熱素子の各々の抵抗値変化によって画像データを生成する。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

なお、赤外線センサ１０４は、所定の強さより強い太陽光を所定期間以上受けると、太陽光を受けた範囲の素子の出力が飽和する。また、太陽光を受けた範囲の素子の温度が規定値以上に上昇するため、素子の不可逆な変形や特性の変化などの異常状態が生じる。そのため、赤外線カメラ１０は、赤外線センサ１０４を直射日光から保護するために、シャッタ１０３を有する。

また、赤外線センサ１０４のダイナミックレンジは、歩行者等の物体を検出するための分解能が比較的に高くなるように設定されている。そのため、赤外線センサ１０４は、異常を起こさない温度範囲であっても、検出信号が飽和するように設定されている。

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、シャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は画像処理装置１１と通信可能に接続し、画像処理装置１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をしない場合にはシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をする場合にはシャッタ１０３が開いた状態となるよう制御する。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成した画像データを、画像処理装置１１に供給する。

またカメラ制御回路１０５は、所定の条件下、シャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でシャッタ１０３を一時的に閉じる場合や、キャリブレーションを行う場合である。この場合、例えばカメラ制御回路１０５は、画像処理装置１１からシャッタ１０３を一時的に閉じる指示を受ける。

次に、図３を参照して、画像処理装置１１について説明する。図３は、実施の形態１にかかる画像処理装置のブロック図である。画像処理装置１１は主な構成として、通信ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御回路１５０、画像データ取得部１６０、画像処理部１７０、画像認識部１８０および画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜、通信可能に接続されている。

通信ＩＦ１２０は、赤外線カメラ１０を制御するための通信回線のインタフェースである。通信ＩＦ１２０は画像処理装置１１が赤外線カメラ１０を制御するための制御信号を、赤外線カメラ１０に供給する。

また通信ＩＦ１２０は、車両情報取得部１２１を含む。車両情報取得部１２１は、ＥＣＵ１３から車両情報を取得するためのインタフェースである。通信ＩＦ１２０が有する車両情報取得部１２１は、ＥＣＵ１３から車両情報を取得すると、取得した車両情報を、適宜、画像処理装置１１の構成に供給する。車両情報取得部１２１は、赤外線カメラ１０が撮像する熱画像のコントラストに紐付く情報として、車両９０の周辺の湿度に関連する情報を車両情報として取得し得る。より具体的には、車両情報は、例えば車両９０が有する雨滴センサが検出した雨に関する情報や、湿度センサが検出した霧に関する情報であってもよい。また車両情報は、ワイパーの動作に関する情報であってもよい。また車両情報は、フォグランプの点灯を示す信号であってもよい。

また通信ＩＦ１２０が取得する車両情報は、車両動作情報を含みうる。車両動作情報は、車両９０の動作に関する情報であって、例えば車両９０の走行速度や角速度である。車両情報取得部１２１は、上述のような車両情報を取得すると、取得した車両情報をシステム制御回路１５０に供給する。

また通信ＩＦ１２０は、ＥＣＵ１３に対して所定の信号を出力するためのインタフェースであってもよい。例えば通信ＩＦ１２０は、運転者に対して所定の警告を行うための信号をＥＣＵ１３に供給してもよい。

ＲＯＭ１３０（ＲＯＭ（Read Only Memory））は、予め設定された情報またはデータを記憶する不揮発性のメモリである。ＲＯＭ１３０は、例えば画像処理装置１１が本実施の形態にかかる機能を実現するためのプログラムを予め記憶している。

ＲＡＭ１４０（ＲＡＭ（Random Access Memory））は、画像処理装置１１が一時的にデータを展開できる記憶領域を有する揮発性のメモリである。ＲＡＭ１４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、システム制御回路１５０等に付随するレジスタを含んでもよい。ＲＡＭ１４０は、ＲＯＭ１３０が記憶するプログラムを展開して実行する領域を含む。またＲＡＭ１４０は、例えば赤外線カメラ１０から供給された画像データを処理する場合等に利用され得る。

システム制御回路１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの演算装置を含む。システム制御回路１５０は、画像処理装置１１が本実施の形態にかかる機能を発揮するためのプログラムを実行する。プログラムは、例えばＲＯＭ１３０に格納されたソフトウェアとして構成されてもよい。またプログラムは、ソフトウェアとハードウェアとの組み合わせにより構成されてもよい。システム制御回路１５０は、画像処理装置１１が有する各構成から所定の信号を受け取るとともに、受け取った信号に応じて、各構成に対して所定の指示等を出力する。システム制御回路１５０は機能ブロックとして、判断部１５１および指示部１５２を含む。

判断部１５１は、画像処理装置１１から取得した画像データにかかる熱画像に対して所定の判断をする。例えば判断部１５１は、熱画像に歩行者等の物体が含まれる場合に、警告を発するか否かについての判断をする。また例えば判断部１５１は、赤外線カメラ１０のシャッタ１０３の開閉についての判断をしてもよい。

また判断部１５１は、画像処理部１７０から画像解析データを受け取る。判断部１５１は受け取った画像解析データに含まれる熱画像のコントラストに紐づく情報を取得し、取得した情報から、熱画像のコントラスト低下を抑制する処理を行うか否かの判断をする。

熱画像のコントラストに紐づく情報は、例えば画像処理部１７０が演算する熱画像の画素値（輝度値）の差であってもよい。以降の説明において、熱画像の画素値の差をコントラスト値と称する。熱画像のコントラスト値は、熱画像全体の輝度情報から算出されるものであってもよいし、熱画像全体から抽出された一部の領域についての値であってもよい。

コントラスト低下を抑制する処理は、例えば熱画像の鮮鋭化である。コントラスト低下を抑制することにより、画像処理装置１１は、熱画像のぼやけたトーンを抑え、物体の検出精度の向上を図ることができる。例えば、車両９０が雨天や霧が発生している状況下を走行する場合、赤外線カメラ１０が撮像する熱画像は画像全体がぼやけたトーンとなる。このような場合に、画像処理装置１１は、熱画像データに対して鮮鋭化する処理を施した変換画像を生成する。

なお判断部１５１は、熱画像のコントラストに紐づく情報として、車両情報を利用してもよい。例えば判断部１５１は、車両情報取得部１２１を介して、車両９０のワイパーの動作に関する情報を取得してもよい。また例えば判断部１５１は、車両情報取得部１２１から、車両９０の周辺の湿度に関する情報を取得し、雨天または霧の発生を示す情報を取得してもよい。また判断部１５１は、車両情報取得部１２１から車両９０の移動速度または車両９０の角速度に関する情報を取得してもよい。判断部１５１は、これらの情報から行った判断の結果を指示部１５２に供給する。

指示部１５２は、画像処理装置１１の各構成に対して種々の指示をする。指示部１５２は、判断部１５１から判断の結果に関する情報を受け取り、受け取った情報に応じて、各構成に対して指示をする。例えば指示部１５２は、判断部１５１から警告を発することを判断する信号を受け取った場合、通信ＩＦ１２０を介してＥＣＵ１３に警告をすることを示す信号を出力してもよい。また指示部１５２は、通信ＩＦ１２０を介して赤外線カメラ１０に対してシャッタ１０３の開閉に関する指示を出力してもよい。また指示部１５２は、判断部１５１がコントラスト低下を抑制する処理を行うことを判断した場合には、画像処理部１７０に対して所定の画像データを生成するための指示をする信号を供給する。

画像データ取得部１６０は、赤外線カメラ１０から熱画像にかかるデータである熱画像データ（入力熱画像データ）を取得するインタフェースである。画像データ取得部１６０は例えば赤外線カメラ１０から定期的に画像データを取得する。例えば画像データ取得部１６０は、１フレームの画像を、１５分の１秒毎に受け取る。画像データ取得部１６０は画像データを受け取ると、受け取った画像データを画像処理部１７０に供給する。

画像処理部１７０は、例えばＧＰＵ（Graphics Processing Unit）を含む画像処理回路である。画像処理部１７０は、ＦＰＧＡ（field-programmable gate array）やＤＳＰ（Digital Signal Processor）を含む処理回路であってもよい。画像処理部１７０は、ＲＡＭ１４０と連携して、熱画像データに対して所定の処理を施し、変換画像データを出力可能に生成する。変換画像データは、遠方用変換画像データおよび近傍用変換画像データを含む。なお、画像処理部１７０の詳細は、後述する。

画像認識部１８０は、画像処理部１７０から画像データを受け取り、受け取った画像データから、車両や人物等の所定の物体にかかる物体画像を検出する。より具体的には例えば、画像認識部１８０は、所定の物体画像を検出するための認識辞書を有し、認識辞書のデータを参照して、物体画像を検出する。画像認識部１８０は、所定の物体画像を検出すると、検出した物体画像の位置や大きさに関する情報を生成し、生成した情報をシステム制御回路１５０に供給する。

画像データ出力部１９０は、画像処理部１７０が処理した画像データ（変換画像データ）を、ディスプレイ１２に出力するためのインタフェースである。画像データ出力部１９０が出力する画像データはディスプレイ１２の仕様に対応したデータフォーマットにしたがって出力される。このデータフォーマットは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Visual Interface）等である。

なお、画像データ出力部１９０は、画像処理部１７０が生成した変換画像データを出力する。画像データ出力部１９０が出力する変換画像データには、遠方用変換画像データと近傍用変換画像データとを含みうる。この場合、出力する変換画像データは、遠方用変換画像データであってもよいし、近傍用変換画像データであってもよいし、その両方であってもよい。画像データ出力部１９０は、上述の変換画像データに対してさらにガンマ補正等が施された画像データを出力してもよい。

次に、図４を参照して、画像処理部１７０について説明する。図４は、実施の形態１にかかる画像処理部１７０のブロック図である。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２、画像変換処理部１７３および画像解析部１７５を有する。

欠陥画素補正部１７１は、赤外線センサ１０４の欠陥画素を予め記憶し、記憶した欠陥画素の画素値を、周辺の画素の画素値から補間する処理（補間処理）を施す。欠陥画素補正部１７１は、画像データ取得部１６０を介して、赤外線カメラ１０から入力熱画像データを受け取り、受け取った画像データに対して、上述の補間処理を施す。欠陥画素補正部１７１は補間処理を施した画像データを、ＮＵＣ部１７２に供給する。

ＮＵＣ部１７２は、入力された光に対して出力する画素値のばらつきを抑制するための較正処理であるＮＵＣ（Non-Uniformity Correction）を行う。ＮＵＣ部１７２は、赤外線センサ１０４のそれぞれの画素が有する特性に対応したゲインとオフセット値の設定を予め有している。ＮＵＣ部１７２は、欠陥画素補正部１７１から受け取った画像データに対して、予め有しているこの設定にしたがい、画像データのそれぞれの画素値を較正する。

画像変換処理部１７３は、ＮＵＣ部１７２から較正された画像データを受け取り、受け取った画像データに対して所定の処理を施して変換画像データを生成する。変換画像データは、ＮＵＣ部１７２から受け取った画像データのコントラストまたは分解能を改善したものである。画像データのコントラストまたは分解能を改善することにより、画像処理装置１１は、物体の認識率の低下を抑制できる。画像変換処理部１７３は、変換画像データを生成すると、生成した変換画像データを、画像認識部１８０および画像データ出力部１９０へ供給する。

画像解析部１７５は、ＮＵＣ部１７２から受け取った画像データを解析し、解析結果である画像解析データを出力する。より具体的には、画像解析部１７５は例えば、受け取った画像データにかかる画像のコントラストを算出し、算出した結果をシステム制御回路１５０に供給する。

なお、画像処理部１７０は、上述の各構成間の画像データの受け渡しをする場合、あるいは各構成における画像処理をする際に、ＲＡＭ１４０との間で画像データのやり取りをしてもよい。あるいは画像処理部１７０は、上述の処理の流れに沿った機能を、ＲＡＭ１４０に格納した画像データに対して実現してもよい。

次に、図５を参照して、画像処理装置１１が実行する変換画像データを生成する処理について説明する。図５は、実施の形態１にかかる画像処理方法の第２のフローチャートである。図５に示すフローチャートは、例えば、画像処理装置１１による赤外線カメラ１０を用いた撮像が開始されることによって開始される。またこの処理は、赤外線カメラ１０を用いた撮像が行われている期間、繰り返し実行される。

まず、画像処理装置１１の画像データ取得部１６０は、赤外線カメラ１０から熱画像データを取得する（ステップＳ１０）。画像データ取得部１６０は、熱画像データを取得すると、取得した熱画像データを画像処理部１７０に供給する。

次に、画像処理部１７０は、熱画像データを受け取ると、複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定する（ステップＳ１１）。

次に、画像処理部１７０は、第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布（ヒストグラム）を演算する（ステップＳ１２）。

次に、画像処理部１７０は、熱画像の画素値データから、それぞれの画素値に対する分配比率を設定する（ステップＳ１３）。具体的には例えば画像処理部１７０は、熱画像データの中心値を演算し、演算した中心値から分配比率を設定する。中心値は例えば、熱画像データの度数分布における中央値である。また中心値は、最小画素値と最大画素値とから算出された平均値であってもよい。また画像処理部１７０は、コントラストを向上させたい画素値域の分配比率を高く、コントラストを抑えたい画素値域の分配比率を低く設定する。そのため、分配比率は、画像処理装置１１において検出対象である人間や動物等の温度に対しての分解能が向上し、空のような低温や自動車のエンジンやマフラーのような高温に対しての分解能が抑えられるように設定される。

次に、画像処理部１７０は、度数分布のうち予め設定された度数の閾値を超過する超過データを前記度数分布に再分配した再分配データを生成する（ステップＳ１４）。なお、画像処理部１７０は、第１ローカル領域に適用する第１閾値と、第２ローカル領域に適用する第２閾値とを、それぞれ独立して設定する。すなわち第１閾値と第２閾値とは同じでもよいし、異なっていてもよい。

次に、画像処理部１７０は、再分配データからローカルトーンカーブを生成する（ステップＳ１５）。具体的には、画像処理部１７０は、再分配データの度数を、低い画素値から順次高い画素値に向かって累積加算することによりローカルトーンカーブを生成する。

次に、画像処理部１７０は、第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成する（ステップＳ１６）。具体的には、画像処理部１７０は、第１ローカル領域に対応した第１ローカルトーンカーブおよび第２ローカル領域に対応した第２ローカルトーンカーブに対して２種類の異なる重みづけ係数を用いて２種類のブレンドトーンカーブを合成する。これにより、画像処理部１７０は、遠方用変換画像データを生成するために用いる第１ブレンドトーンカーブと、近傍用変換画像データを生成するために用いる第２ブレンドトーンカーブと、を生成する。なお、画像処理部１７０は、生成したブレンドトーンカーブを、熱画像データの画素値の最大値と最小値との幅により正規化する。

上述の処理において、画像処理部１７０は、例えば次に示す式（１）および式（２）により変換画像データを生成する。

ここで、iは、ブレンドトーンカーブを適用する画素の最小画素値から最大画素値までの値を取り得る。ＢＴ_１１（ｉ）は、第１ブレンドトーンカーブの値である。ＬＴ_１（ｉ）は、第１ローカル領域におけるローカルトーンカーブ（第１ローカルトーンカーブ）の値である。Ｗ１１は、第１ブレンドトーンカーブを生成する場合における第１ローカルトーンカーブに対する重みづけ係数である。ＬＴ_２は、第２ローカル領域におけるローカルトーンカーブ（第２ローカルトーンカーブ）の値である。Ｗ２１は、第１ブレンドトーンカーブを生成する場合における第２ローカルトーンカーブに対する重みづけ係数である。またＦ１１は第１ブレンドトーンカーブを生成する場合におけるオフセット値であって、所定の定数である。

またＢＴ_１２（ｉ）は、第２ブレンドトーンカーブの値である。Ｗ１２は、第２ブレンドトーンカーブを生成する場合における第１ローカルトーンカーブに対する重みづけ係数である。Ｗ２２は、第２ブレンドトーンカーブを生成する場合における第２ローカルトーンカーブに対する重みづけ係数である。またＦ１２は第１ブレンドトーンカーブを生成する場合におけるオフセット値である。

なお、上述の式において、重みづけ係数Ｗ１１、Ｗ１２、Ｗ２１およびＷ２２は、それぞれ一定の値に限られない。重みづけ係数Ｗ１１、Ｗ１２、Ｗ２１、Ｗ２２は、所定の条件に応じて設定され得る。オフセット値Ｆ１１およびＦ１２も、所定の条件に応じて設定されてもよい。

なお、遠方用変換画像データは、近傍用変換画像データと比較して、より遠方の物体に対するコントラストが高くなるように設定される。すなわち、上記式（１）の重みづけ係数Ｗ１１は、式（２）の重みづけ係数Ｗ１２より大きい値に設定される。なお、重みづけ係数は、負の値に設定されてもよい。例えば第１ローカル領域より大きい第２ローカル領域のトーンカーブの重みづけを負の値にすることにより、画像処理装置１１は、比較的に広い範囲に亘り生じる、ぼやけたトーンを低減させることができる。

次に、画像処理部１７０は、それぞれのローカル領域に対応する画素に対して第１および第２ブレンドトーンカーブを適用する。これにより、画像処理部１７０は、遠方用変換画像データと近傍用変換画像データとを生成し（ステップＳ１７）、一連の処理を終了する。

なお、画像処理部１７０は上述の変換画像データを出力可能に生成する。例えば画像処理部１７０は、生成した変換画像データを、画像認識部１８０に供給する。また画像処理部１７０は、変換画像データを、画像データ出力部１９０に供給してもよい。

以上、画像処理装置１１が実行する画像処理方法について説明した。上述の情報を実行することにより、画像処理装置１１は、処理量の増加を抑制しつつ、物体の検出能力を向上させることができる。

次に、図６を参照して、ブレンドトーンカーブを生成する際の重みづけ係数を決定する処理について説明する。図６は、画像処理方法における重みづけ設定方法を示す第１のフローチャートである。以下に示すフローチャートは、上述の画像処理方法を実行する際に、システム制御回路１５０が実行する処理である。

まず、システム制御回路１５０は、車両情報取得部１２１を介して湿度情報を取得する（ステップＳ５１）。湿度情報は、車両９０の周辺の湿度を検出する湿度センサから取得した湿度に関する情報を含む。

次に、システム制御回路１５０の判断部１５１は、取得した情報に含まれる湿度Ｈｍｄが、予め設定された閾値湿度Ｈｔｈ以上か否かを判断する（ステップＳ５２）。湿度Ｈｍｄが、閾値湿度Ｈｔｈ以上と判断する場合（ステップＳ５２：ＹＥＳ）、システム制御回路１５０は、第１ローカルトーンカーブの重みづけを、湿度Ｈｍｄが閾値湿度Ｈｔｈ未満の場合における第１ローカルトーンカーブの重みづけよりも大きく設定することを判断して（ステップＳ５３）処理を終了する。

一方、湿度Ｈｍｄが、閾値湿度Ｈｔｈ以上と判断しない場合（ステップＳ５２：ＮＯ）、システム制御回路１５０は、第１ローカルトーンカーブの重みづけを、湿度Ｈｍｄが閾値湿度Ｈｔｈ未満の場合における第１ローカルトーンカーブの重みづけよりも小さく設定することを判断して（ステップＳ５４）処理を終了する。

上述の処理により、画像処理装置１１は、車両９０の周辺が雨天の場合や、霧が発生している場合に、遠方の物体の認識精度が低下するのを抑制できる。

次に、図７を参照して、ブレンドトーンカーブを生成する際の重みづけ係数を決定する処理の別の例について説明する。図７は、画像処理方法における重みづけ設定方法を示す第２のフローチャートである。

まず、システム制御回路１５０は、車両情報取得部１２１を介して車両動作情報を取得する（ステップＳ６１）。車両動作情報は、車両９０が搭載するジャイロセンサ等が測定した車両９０の直進速度を含む。

次に、システム制御回路１５０の判断部１５１は、取得した情報に含まれる直進速度である速度Ｓｐｄが、予め設定された閾値速度Ｓｔｈ以上か否かを判断する（ステップＳ６２）。速度Ｓｐｄが、閾値速度Ｓｔｈ以上と判断する場合（ステップＳ６２：ＹＥＳ）、システム制御回路１５０は、第１ローカルトーンカーブの重みづけを、速度Ｓｐｄが閾値速度Ｓｔｈ未満の場合における第１ローカルトーンカーブの重みづけよりも大きく設定することを判断して（ステップＳ６３）処理を終了する。

一方、速度Ｓｐｄが、閾値速度Ｓｔｈ以上と判断しない場合（ステップＳ６２：ＮＯ）、システム制御回路１５０は、第１ローカルトーンカーブの重みづけを、速度Ｓｐｄが閾値速度Ｓｔｈ未満の場合における第１ローカルトーンカーブの重みづけよりも小さく設定することを判断して（ステップＳ６４）処理を終了する。

上述の処理により、画像処理装置１１は、車両９０の走行速度が比較的に早い場合に、比較的に遠方の物体の認識精度が低下するのを抑制できる。なお、上述の処理は、速度Ｓｐｄに代えて、車両９０の角速度であってもよい。角速度に応じて第１ローカルトーンカーブの重みづけを設定することにより、画像処理装置１１は、比較的に速い角速度により旋回している場合の、比較的に遠方の物体の認識精度が低下するのを抑制できる。

なお、図６および図７に示したフローチャートにおける処理は、排他的なものではない。すなわち、画像処理装置１１は、図６の処理および図７の処理を併せて実行してもよい。

また画像処理装置１１は、上述の処理の他に、以下の処理を実行してもよい。システム制御回路１５０は、熱画像データのコントラストに紐づく情報を取得する。次に、システム制御回路１５０の判断部１５１は、取得した情報から、コントラストが低下しているか否かを判断する。具体的には、判断部１５１はコントラスト値と予め設定された閾値とを比較し、コントラスト値が閾値未満の場合にはコントラストが低下していると判断する。この場合、判断部１５１は、第１ローカルトーンカーブの重みづけを、コントラストが低下していると判断しない場合における第１ローカルトーンカーブの重みづけよりも大きく設定することを判断する。

なお、上述した重みづけ係数を設定する処理において、閾値は１つに限られない。すなわち判断部１５１は、取得した情報と複数の閾値とを比較し、比較の結果に応じて重みづけ係数を設定してもよい。

次に、図８を参照して、ローカル領域の具体例を説明する。図８は、実施の形態１にかかるローカル領域の例を示す図である。図８には、熱画像Ｄ１１が示されている。また熱画像Ｄ１１は、左上を原点として、右側にＨ方向が設定され、下側にＶ方向が設定されている。以降の説明において、熱画像Ｄ１１内のＨ方向およびＶ方向の座標を、カッコにより（ｈ，ｖ）のように示す。

画像処理部１７０は、熱画像Ｄ１１に対して、複数の第１ローカル領域Ｒ１および第２ローカル領域Ｒ２を設定している。例えば画像処理部１７０は、画像Ｄ１１の座標（０，０）に対応する位置において、第１ローカル領域Ｒ１（０，０）を設定している。また画像処理部１７０が互いに隣接するように、任意の位置（ｈ，ｖ）における第１ローカル領域Ｒ１（ｈ，ｖ）を設定している。すなわち図において二点鎖線により示すように、第１ローカル領域Ｒ１（ｈ，ｖ）の右側には第１ローカル領域Ｒ１（ｈ＋１，ｖ）が隣接して設定され、第１ローカル領域Ｒ１（ｈ，ｖ）の下側には第１ローカル領域Ｒ１（ｈ，ｖ＋１）が隣接して設定されている。このようにして、画像処理部１７０は、熱画像Ｄ１１の右下における第１ローカル領域Ｒ１（ｍ－１，ｎ－１）まで、Ｈ方向にｍ個、Ｖ方向にｎ個の第１ローカル領域Ｒ１を設定している。

また画像処理部１７０は、上述の第１ローカル領域Ｒ１のそれぞれに対応した第２ローカル領域Ｒ２（ｈ，ｖ）を設定している。座標（ｈ、ｖ）に対応した第２ローカル領域Ｒ２（ｈ，ｖ）は、第１ローカル領域Ｒ１（ｈ，ｖ）を含み第１ローカル領域Ｒ１（ｈ，ｖ）より大きい矩形の領域である。なお、第２ローカル領域Ｒ２は、図における座標（０，０）および座標（ｍ，ｎ）において示すように、熱画像Ｄ１１の外縁部においては、熱画像Ｄ１１の外側にはみ出る場合がある。この場合、第２ローカル領域Ｒ２の大きさは、熱画像Ｄ１１の大きさに従いカットされる。

画像処理部１７０は、このように、座標（ｈ，ｖ）に対応したローカル領域として、第１ローカル領域Ｒ１（ｈ，ｖ）および第２ローカル領域Ｒ２（ｈ，ｖ）を設定する。そして、画像処理部１７０は、設定したそれぞれのローカル領域におけるローカルトーンカーブおよびブレンドトーンカーブを生成する。

次に、図９を参照して、ローカルトーンカーブの具体例について説明する。図９は、超過データを生成する処理の例を示す図である。図９には、上側にデータＤ１２が示されており、下側にデータＤ１３が示されている。

図９の上側に示されているデータＤ１２は、所定のローカル領域における度数分布である。画像処理装置１１において、画像処理部１７０の画像変換処理部１７３は、ＮＵＣ部１７２から受け取った熱画像データからローカル領域を設定し、設定したローカル領域に対して、データＤ１２に示すような度数分布を演算する。データＤ１２は、横軸が画素値を示し、縦軸が画素値に対応する度数である。データＤ１２に示す度数分布は、中央部に度数のピークを有するカーブにより示されている。

図９の下側に示されているデータＤ１３は、度数分布に対して所定の閾値を超過する超過データＤ１３１にハッチングを施して示したものである。画像変換処理部１７３は、予め設定された閾値を超過する超過データＤ１３１を再分配するために、超過データＤ１３１を抽出し、超過データＤ１３１の度数を度数分布に対して所定の分配比率にしたがって再分配する。

次に、図１０を参照して、分配比率について説明する。図１０は、分配比率の第１の例を示す図である。図１０には、画素値と分配比率との関係を示すグラフＥ１０が示されている。グラフＥ１０は、横軸が画素値を示し、縦軸が分配比率を示している。またグラフＥ１０には、曲線Ｅ１０１がプロットされている。曲線Ｅ１０１は、横軸に示す画素値が中心値の位置をピークとして、左右になだらかに下がる曲線である。このように、分配比率は、中心値をピークとして、中心値から離れる程に分配比率が低下するように設定される。

より具体的には、例えば、図１０における第１画素値Ｅ１２１は、中心値との差が第１差Ｅ１１１である。図１０における第２画素値Ｅ１２２は、中心値との差が第１差より大きい第２差Ｅ１１２である。このとき、第１画素値Ｅ１２１に対応する第１分配比率Ｅ１３１は、第２画素値Ｅ１２２に対応する第２分配比率Ｅ１３２より高くなるように、設定される。なお、曲線Ｅ１０１の最小値と最大値は、一定の値ではなく、ローカル領域における値により変動する。

このような構成により、画像処理装置１１は、中心値およびその近傍における画素値に対して比較的に多くのデータを配分し、中心値およびその近傍における画像の表現をより豊かなものとする。これにより、画像処理装置１１は、中心値およびその近傍における画像のコントラストを向上させ、対象物体の検出に対する分解能を向上させる。

次に、図１１を参照して、画像処理部１７０が生成する再分配データとローカルトーンカーブについて説明する。図１１は、再分配データおよびローカルトーンカーブを生成する処理の例を示す図である。

図１１の上側に示されているデータＤ１４は、再分配データである。画像変換処理部１７３は、超過データＤ１３１に対応する度数を、熱画像データの最小値から最大値までの間の画素値データに対して分配する。図に示す例において、画像変換処理部１７３は、超過データＤ１３１をデータＤ１４１のように、中央部分がピークとなる曲線に沿って分配することにより再分配データＤ１４２を生成している。

図１１の下側に示されているデータＤ１５は、ローカルトーンカーブを示すデータである。データＤ１５は、データＤ１４において生成された再分配データを画素値の最小値から最大値に亘り順次累積させた累積度数分布である。画像変換処理部１７３は、第１ローカル領域Ｒ１（ｈ，ｖ）および第２ローカル領域Ｒ２（ｈ，ｖ）におけるローカルトーンカーブを上述の手順により生成する。

次に、図１２を参照して、ブレンドトーンカーブについて説明する。図１２は、ブレンドトーンカーブの例を示す図である。図１２には、第１ローカルトーンカーブＤ１６、第２ローカルトーンカーブＤ１７、第１ブレンドトーンカーブＤ１８１および第２ブレンドトーンカーブＤ１８２が示されている。

第１ローカルトーンカーブＤ１６は、熱画像データの所定の位置における第１ローカル領域のローカルトーンカーブである。第２ローカルトーンカーブＤ１７は、第１ローカルトーンカーブＤ１６に対応した第２ローカルトーンカーブである。すなわち第２ローカルトーンカーブＤ１７にかかる第２ローカル領域は、第１ローカルトーンカーブＤ１６にかかる第１ローカル領域を含む。

第１ブレンドトーンカーブＤ１８１は、上述の式（１）により第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブとを合成して生成されたものである。また、第１ブレンドトーンカーブＤ１８１は、第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブＤ１７とを合成したのちに、熱画像データの最大画素値を使って正規化されたものとなっている。すなわち第１ブレンドトーンカーブＤ１８１は、横軸が入力画素値であって、縦軸が出力画素値という関係が成立する。これにより、画像変換処理部１７３は、第１ブレンドトーンカーブＤ１８１に対応するそれぞれの画素位置において、遠方用変換画像データを生成する。

同様に、第２ブレンドトーンカーブＤ１８２は、上述の式（２）により第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブとを合成して生成されたものである。また、第２ブレンドトーンカーブＤ１８２は、第１ローカルトーンカーブＤ１６と第２ローカルトーンカーブＤ１７とを合成したのちに、熱画像データの最大画素値を使って正規化されたものとなっている。これにより、画像変換処理部１７３は、第２ブレンドトーンカーブＤ１８２に対応するそれぞれの画素位置において、近傍用変換画像データを生成する。

次に、図１３を参照して、分配比率の別の例について説明する。図１３は、分配比率の第２の例を示す図である。図１３には、画素値と分配比率との関係を示すグラフＥ２０が示されている。グラフＥ２０は、横軸が画素値を示し、縦軸が分配比率を示している。またグラフＥ２０には、折れ線Ｅ２０１がプロットされている。折れ線Ｅ２０１は、中心値の近傍の画素値をピークとして、左右に折れ曲がりながら下がる折れ線である。このように、分配比率は、中心値をピークとして、中心値から離れる程に分配比率が低下するように設定される。

より具体的には、例えば、図１３における第１画素値Ｅ２２１は、中心値との差が第１差Ｅ２１１である。図１３における第２画素値Ｅ２２２は、中心値との差が第１差より大きい第２差Ｅ２１２である。このとき、第１画素値Ｅ２２１に対応する第１分配比率Ｅ２３１は、第２画素値Ｅ２２２に対応する第２分配比率Ｅ２３２より高くなるように、設定される。

以上、実施の形態１について説明した。上述の通り、画像処理装置１１は、第１ローカル領域と第２ローカル領域とのそれぞれのローカルトーンカーブを生成し、これらの重みづけを設定したうえで遠方用変換画像データと近傍用変換画像データとを合成する。これにより、画像処理装置１１は、比較的に遠方に存在する物体を認識するのに好適な画像データと、比較的に近傍に存在する物体を認識するのに好適な画像データとをそれぞれ生成する。また画像処理装置１１は、遠方用または近傍用の画像データを生成する際の重みづけ係数を、所定の状況に応じて設定する。これにより、画像処理装置１１は、物体の認識率の低下を抑制できる。よって、実施の形態１によれば、処理量の増加を抑制しつつ、物体の検出能力を向上させた画像処理装置、画像処理方法およびプログラムを提供することができる。

なお、上述の画像処理装置１１は、第１ローカル領域と第２ローカル領域との２種類のローカル領域を設定したが、ローカル領域の設定はこれに限られない。すなわち画像処理装置１１は、複数の大きさが異なるローカル領域を設定する。この際に、画像処理装置１１は、３種類以上の大きさの異なるローカル領域を設定し、ブレンドトーンカーブを生成する場合に、これら３種類以上の領域に対応したローカルトーンカーブを合成してもよい。

＜実施の形態２＞
次に、実施の形態２について説明する。図１４は、実施の形態２にかかる画像処理方法のフローチャートである。図１４に示すフローチャートは、画像変換処理部１７３が主に行う処理について示したものである。図１４に示すフローチャートは、例えば、赤外線カメラ１０から画像処理装置１１に入力熱画像データが供給され、且つ、指示部１５２から重みづけ係数を設定する信号を受け取ると開始される。

まず、画像変換処理部１７３は、ＮＵＣ部１７２から較正された熱画像データを取得する（ステップＳ１０１）。

次に、画像変換処理部１７３は、熱画像データの度数分布を演算する（ステップＳ１０２）。ここで、本実施の形態にかかる画像変換処理部１７３は、熱画像データが有する画素値が例えば１６ビット程度であった場合に、下位２ビット～４ビット程度をまとめて１つのビン（階級ともいう）とした度数分布を演算する。これにより画像処理装置１１は、実施的な計算精度の低下を抑えつつ、画像変換にかかる処理時間を短縮できる。

次に、画像変換処理部１７３は、熱画像データのレンジ計算を行う（ステップＳ１０３）。レンジ計算において、画像変換処理部１７３は、度数分布における低温側の最小画素値および高温側の最大画素値を設定する。さらに画像変換処理部１７３は、中心画素値を設定する。そして画像変換処理部１７３は、最大画素値と中心画素値との差である第１画素範囲を算出する。同様に画像変換処理部１７３は、中心画素値と最小画素値との差である第２画素範囲を算出する。そして画像変換処理部１７３は、第１画素範囲と第２画素範囲とを比較して、大きい方の画素範囲を、小さいほうの画素範囲に適用して画像全体の画素範囲を設定する。

図１５を参照して、レンジ計算の例について説明する。図１５は、熱画像データの度数分布図である。図１５に示すデータＤ２２は、熱画像データの一例について示している。データＤ２２において、画像変換処理部１７３は、度数の上下数パーセント（例えば１パーセント）を切り捨てた後のビンを最小画素値（MIN）および最大画素値（MAX）にそれぞれ設定している。このような処理をすることにより、画像処理装置１１は、エラーなど画像データに大きく外れたデータが存在している場合に、これを排除してデータを処理できる。また画像変換処理部１７３は、中心値を併せて設定する。中心値は、度数分布の中央値（MEDIAN）や、平均値が選択されうる。データＤ２２に示す例の場合、画像変換処理部１７３は中央値を中心値として設定している。

データＤ２２に示す画像データは、ＭＡＸとＭＥＤＩＡＮとの差である第１画素範囲Ｒ１１の方が、ＭＥＤＩＡＮとＭＩＮとの差である第２画素範囲Ｒ１２より大きい。そこで画像変換処理部１７３は、低温側の画素値の範囲を、ＭＥＤＩＡＮから第１画素範囲Ｒ１１離れているＭＩＮ２に設定する。このように、画素範囲を設定することにより、画像処理装置１１は、変換後のコントラストを向上させる。

図１４に戻り説明を続ける。画像変換処理部１７３は、レンジ制限を行う（ステップＳ１０４）。レンジ制限において、画像変換処理部１７３は、設定した最小画素値と最大画素値の範囲の外に存在するデータを、最小画素値または最大画素値のいずれか近い側のビンに設定変更する。図１５に示す例の場合、度数分布におけるＭＩＮ２を下回るデータが存在する場合、画像変換処理部１７３は、このデータをＭＩＮ２に対応するビンに配置する。同様に、度数分布におけるＭＡＸを上回るデータが存在する場合、画像変換処理部１７３は、このデータをＭＡＸに対応するビンに配置する。

次に、画像変換処理部１７３は、単位領域に分割する（ステップＳ１０５）。単位領域とは、ローカルトーンカーブを生成するローカル領域を構成するための要素となる領域である。すなわち、画像変換処理部１７３は、ローカル領域を単位領域の集合としてそれぞれ設定する。熱画像を単位領域に分割しておくことにより、画像処理装置１１は異なる大きさの複数のローカル領域に関する処理を効率よく行う。

図１６を参照して、画像変換処理部１７３が生成する単位領域について説明する。図１６は、単位領域の例を示す図である。図１６には、熱画像Ｄ２３および単位領域Ｕ１０が示されている。

熱画像Ｄ２３は、画像変換処理部１７３が受け取った入力熱画像データにかかる熱画像である。図１６に示す例において、画像変換処理部１７３は、熱画像Ｄ２３を横方向に６４分割し、縦方向に４８分割する。単位領域Ｕ１０は、熱画像Ｄ２３が上述のように分割された場合の１つの領域である。図１６に示す熱画像Ｄ２３は左上を原点として水平方向（Ｈ軸方向）に６４の単位領域Ｕ１０が設定され、垂直方向（Ｖ軸方向）に４８の単位領域Ｕ１０が設定されている。図１６において、熱画像Ｄ２３の左上においてハッチングにより示されているのが、１つの単位領域Ｕ１０である。

画像変換処理部１７３は、左上を原点の座標（０，０）とし、右下を座標（６３，４７）とした場合に、任意の座標（ｈ，ｖ）において単位領域Ｕ１０（ｈ，ｖ）を設定する。画像変換処理部１７３は、このように熱画像Ｄ２３を６４×４８分割することにより、３０７２の単位領域Ｕ１０を設定する。また例えば熱画像Ｄ２３がＱＶＧＡ（Quarter Video Graphics Array）であって、３２０×２４０ピクセルの画素数構成を有する場合、単位領域は５×５ピクセルである。

図１４に戻り説明を続ける。次に、画像変換処理部１７３は、単位領域の度数分布である単位度数分布を演算する（ステップＳ１０６）。すなわち図１６に示す例の場合、画像変換処理部１７３は、３０７２の単位領域について、それぞれの度数分布を演算する。なお、このとき、画像変換処理部１７３は、単位度数分布が上述のレンジ制限の範囲になるように演算する。

次に、画像変換処理部１７３は、第１ローカル領域を設定する（ステップＳ１１０）。また画像変換処理部１７３は、第２ローカル領域を設定する（ステップＳ１２０）。さらに画像変換処理部１７３は、第３ローカル領域を設定する（ステップＳ１３０）。

図１７を参照して、ローカル領域について説明する。図１７は、実施の形態２にかかるローカル領域の例を示す図である。図１２には、５×５の単位領域Ｕ１０およびこれに重畳して、第１ローカル領域Ｕ１１、第２ローカル領域Ｕ１２および第３ローカル領域Ｕ１３が示されている。

第１ローカル領域Ｕ１１は、１つの単位領域Ｕ１０により構成される。図に示す第１ローカル領域Ｕ１１は、５×５に配置されている単位領域Ｕ１０の中心に位置する座標（ｈ，ｖ）の単位領域Ｕ１０に対応している。第２ローカル領域Ｕ１２は、３×３の単位領域Ｕ１０により構成される。第２ローカル領域Ｕ１２は、５×５に配置されている単位領域Ｕ１０の中心部の単位領域Ｕ１０（ｈ，ｖ）に対応しており、第１ローカル領域Ｕ１１（ｈ，ｖ）を含む。また第３ローカル領域Ｕ１３は、５×５の単位領域Ｕ１０により構成される。第３ローカル領域Ｕ１３は、中心部に第１ローカル領域Ｕ１１（ｈ，ｖ）および第２ローカル領域Ｕ１２（ｈ，ｖ）を含む。すなわち第３ローカル領域Ｕ１３は座標（ｈ，ｖ）に対応している。

画像変換処理部１７３は、上述の第１ローカル領域、第２ローカル領域および第３ローカル領域を設定する処理において、ローカル領域のそれぞれにかかる度数分布を演算する。このとき画像変換処理部１７３は、単位度数分布を利用する。すなわち、ローカル領域のそれぞれにかかる度数分布を算出する場合に、画像変換処理部１７３は、ローカル領域のそれぞれが有する単位領域における単位度数分布を合算する。これにより、画像変換処理部１７３はローカル領域ごとの度数分布を効率よく演算できる。

図１４に戻り説明を続ける。画像変換処理部１７３は、それぞれのローカル領域に対して分配比率を設定する（ステップＳ１１１、ステップＳ１２１およびステップＳ１３１）。より具体的には、画像変換処理部１７３は、ステップＳ１０３で設定した中心値を利用して、中心値または中心値を含む画素値領域をピークとして、中心値から離れる程に低下する分配率を設定する。なお、ここで設定される分配率は、ローカル領域ごとに個別に設定される。

次に、画像変換処理部１７３は、それぞれのローカル領域に対して再分配データを生成する（ステップＳ１１２、ステップＳ１２２およびステップＳ１３２）。なお、再分配データを生成する際に設定する超過データにかかる閾値の値は、それぞれのローカル領域に対して個別に設定され得る。

次に、画像変換処理部１７３は、第１ローカル領域に対応する第１ローカルトーンカーブを生成する（ステップＳ１１３）。また画像変換処理部１７３は、第２ローカル領域に対応する第２ローカルトーンカーブを生成する（ステップＳ１２３）。同様に、画像変換処理部１７３は、第３ローカル領域に対応する第３ローカルトーンカーブを生成する（ステップＳ１３３）。なお、上述の再分配データを生成する処理およびそれぞれのローカル領域に対応するローカルトーンカーブを生成する処理は、並行して行われてもよいし、順次行われてもよい。なお、画像変換処理部１７３は、生成したローカルトーンカーブのそれぞれを、それぞれの領域における全度数により除算して正規化をする。

次に、画像変換処理部１７３は、生成したローカルトーンカーブを合成してブレンドトーンカーブを生成する（ステップＳ１４０）。画像変換処理部１７３は、以下の式が成立するように第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成する。

ここで、iは、入力画素値であり、レンジ制限により設定された画素値の最小値から最大値までを取り得る。ＢＴ_２１（ｉ）は第１ブレンドトーンカーブを示し、ＬＴa（ｉ）は第１ローカルトーンカーブを示し、ＬＴｂ（ｉ）は第２ローカルトーンカーブを示し、ＬＴｃ（ｉ）は第３ローカルトーンカーブを示す。またＷａ１は第１ローカルトーンカーブに対する重みづけ係数を示す。Ｗｂ１は第２ローカルトーンカーブに対する重みづけ係数を示す。Ｗｃ１は第３ローカルトーンカーブに対する重みづけ係数を示す。Ｆ２１は所定のオフセット値を示す。

式（４）においてＢＴ_２２（ｉ）は第２ブレンドトーンカーブを示す。Ｗａ１は第１ローカルトーンカーブに対する重みづけ係数を示す。Ｗｂ１は第２ローカルトーンカーブに対する重みづけ係数を示す。Ｗｃ１は第３ローカルトーンカーブに対する重みづけ係数を示す。Ｆ２１は所定のオフセット値を示す。

図１８を参照して、上記式（３）および式（４）の概念について説明する。図１８は、実施の形態２にかかるローカルトーンカーブとブレンドトーンカーブの関係を示す図である。図１８は、式（３）および式（４）に対応するそれぞれの項と、演算の流れが示されている。

まず、第１ローカルトーンカーブＬＴa（i）は、重みづけ係数Ｗa１と掛け合わされる（ステップＳ２１１）。次に、第２ローカルトーンカーブＬＴｂ（i）は、重みづけ係数Ｗb１と掛け合わされる（ステップＳ２１２）。さらに、第３ローカルトーンカーブＬＴｃ（i）は、重みづけ係数Ｗｃ１と掛け合わされる（ステップＳ２１３）。そして、これら３項と、オフセット値Ｆ２１とが合算され（ステップＳ２１４）、第１ブレンドトーンカーブＢＴ_２１（i）が算出される。

次に、第１ローカルトーンカーブＬＴa（i）は、重みづけ係数Ｗa２と掛け合わされる（ステップＳ２２１）。次に、第２ローカルトーンカーブＬＴｂ（i）は、重みづけ係数Ｗb２と掛け合わされる（ステップＳ２２２）。さらに、第３ローカルトーンカーブＬＴｃ（i）は、重みづけ係数Ｗｃ２と掛け合わされる（ステップＳ２２３）。そして、これら３項と、オフセット値Ｆ２２とが合算され（ステップＳ２２４）、第２ブレンドトーンカーブＢＴ_２２（i）が算出される。

図１９に、ローカルトーンカーブとブレンドトーンカーブの例を示す。図１９は、実施の形態２にかかるローカルトーンカーブとブレンドトーンカーブの例を示す図である。図１９に示すグラフには、第１ローカルトーンカーブ、第２ローカルトーンカーブ、第３ローカルトーンカーブ、第１ブレンドトーンカーブおよび第２ブレンドトーンカーブが重畳されている。図に示すように、それぞれのローカルトーンカーブは、ローカル領域の大きさに応じて、それぞれの傾斜を有している。ブレンドトーンカーブは、画像処理装置１１が所望の機能を発揮できるように重みづけ係数およびオフセットが設定されている。

図１４に戻り説明を続ける。画像変換処理部１７３は、生成したブレンドトーンカーブを用いて、熱画像データのトーン変換を行う（ステップＳ１４１）。この処理により、画像変換処理部１７３は、１の熱画像データから、遠方用変換画像データと近傍用変換画像データとを生成する。

なお、上述の通り、画像変換処理部１７３は、熱画像データの度数分布を演算する際に、下位２ビット～４ビット程度をまとめて１つのビンとした度数分布を演算し、処理を行った。換言すると、画像変換処理部１７３は、ローカル領域におけるそれぞれの画素が互いに数ビットずつ離間するように指定画素を抽出し、抽出した指定画素に対してブレンドトーンカーブを適用したことと同様の処理を行ったこととなる。そのため、以降の処理において、入力熱画像データにおける全ての画素に対応するための処理を行う。

次に、画像変換処理部１７３は、遠方用変換画像データおよび近傍用変換画像データのそれぞれに対して画像データ補間処理を行う（ステップＳ１４２）。具体的には、画像変換処理部１７３は、このステップＳ１４１において設定した指定画素の間に存在する画素における画素値を、周辺の指定画素における変換後の画素値を利用して補間する。補間の手法は、例えばバイリニア補間である。これにより画像変換処理部１７３は、熱画像データの全ての画素に対するトーン変換を行う。すなわち画像変換処理部１７３は入力熱画像データを変換した変換画像データを生成する。

次に、画像変換処理部１７３は、生成した変換画像データを、出力する（ステップＳ１５０）。画像処理部１７０は画像変換処理部１７３が出力した変換画像データを例えば画像認識部１８０に供給する。これにより画像処理装置１１は、変換画像データを用いて物体の検出を行う。また画像処理部１７０は、画像変換処理部１７３が出力した変換画像データを、ディスプレイ１２に表示させるための処理を適宜行う。例えば画像処理部１７０は、変換画像データに対してガンマ補正を行い、ガンマ補正を行った画像データを、画像データ出力部１９０を介してディスプレイ１２に供給する。画像変換処理部１７３は、変換画像データを出力すると、一連の処理を終了する。

以上、実施の形態２にかかる画像処理方法について説明した。上述の方法により、画像処理装置１１は、簡易な処理により遠方用変換画像データと近傍用変換画像データとを生成し、好適に物体を認識する。なお、ステップＳ１４１およびステップＳ１４２において説明したように、指定画素を抽出して処理することにより、画像処理装置１１は、画像のコントラストを改善するとともに、画像処理の処理速度を向上させることができる。

次に、実施の形態２の変形例について説明する。図２０は、実施の形態２の変形例にかかる画像処理方法のフローチャートである。図２０に示すフローチャートは、ステップＳ１４０とステップＳ１５０の間の処理が、図１４に示すフローチャートと異なる。

ステップＳ１４０において、ブレンドトーンカーブを生成した後に、画像変換処理部１７３は、トーンカーブ補間を行う（ステップＳ１４３）。上述の通り、画像変換処理部１７３は、熱画像データの度数分布を演算する際に、下位２ビット～４ビット程度をまとめて１つのビンとした度数分布を演算し、処理を行った。そのため、ステップＳ１４０におけるブレンドトーンカーブは、熱画像データの全ての画素には対応していない。そこで、画像変換処理部１７３は、指定画素の間に存在する画素におけるトーンカーブを、周辺の指定画素におけるブレンドトーンカーブから補間することにより生成する。補間の具体的な方法は、例えばバイリニア補間である。トーンカーブ補間を行うことにより、画像変換処理部１７３は、熱画像データの全ての画素に対応したトーンカーブを生成する。

次に、画像変換処理部１７３は、生成したトーンカーブを用いて、熱画像データをトーン変換する（ステップＳ１４４）。画像変換処理部１７３は、熱画像データの全ての画素に対して、入力画素値を変換して出力画素値を算出する処理を行う。この処理により、画像変換処理部１７３は、１の熱画像データから、遠方用変換画像データと近傍用変換画像データとを生成する。

以上、実施の形態２について説明した。実施の形態２によれば、処理量の増加を抑制しつつ、物体の検出能力を向上させた画像処理装置、画像処理方法およびプログラムを提供することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 赤外線カメラ
１１ 画像処理装置
１２ ディスプレイ
１３ ＥＣＵ
９０ 車両
１０１ 筐体
１０２ 対物レンズ
１０３ シャッタ
１０４ 赤外線センサ
１０５ カメラ制御回路
１１０ バス
１２０ 通信ＩＦ
１２１ 車両情報取得部
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ システム制御回路
１５１ 判断部
１５２ 指示部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 画像変換処理部
１７５ 画像解析部
１８０ 画像認識部
１９０ 画像データ出力部

Claims (5)

1. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得部と、
   前記熱画像データから遠方用変換画像データおよび近傍用変換画像データをそれぞれ出力可能に生成する画像処理部と、を備え、
   前記画像処理部は、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記度数分布のうち予め設定された閾値を超過する超過データを前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算して前記第１ローカル領域にかかる第１ローカルトーンカーブと前記第２ローカル領域にかかる第２ローカルトーンカーブとを生成し、
   前記第１ローカルトーンカーブと前記第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成し、
   前記ローカル領域に対して前記第１ブレンドトーンカーブを適用することにより前記遠方用変換画像データを生成するとともに、前記ローカル領域に対して前記第２ブレンドトーンカーブを適用することにより前記近傍用変換画像データを生成する、
   画像処理装置。
2. 前記車両の周辺の湿度を検出する湿度センサから湿度情報を取得し、前記湿度が予め設定された閾値湿度以上の場合における前記第１ローカルトーンカーブの重みづけを、前記湿度が前記閾値湿度未満の場合における前記第１ローカルトーンカーブの重みづけよりも大きく設定することを判断する判断部をさらに備える、
   請求項１に記載の画像処理装置。
3. 前記車両の直進速度または角速度の少なくともいずれか一方を含む車両動作情報を取得し、前記直進速度または前記角速度が予め設定された閾値速度以上の場合における前記第１ローカルトーンカーブの重みづけを、
   前記直進速度または前記角速度が前記閾値速度未満の場合における前記第１ローカルトーンカーブの重みづけよりも大きく設定することを判断する判断部をさらに備える、
   請求項１または２に記載の画像処理装置。
4. コンピュータが、
   車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得し、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記度数分布のうち予め設定された度数の閾値を超過する超過データを前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算して前記第１ローカル領域にかかる第１ローカルトーンカーブと前記第２ローカル領域にかかる第２ローカルトーンカーブとを生成し、
   前記第１ローカルトーンカーブと前記第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成し、
   前記ローカル領域に対して前記第１ブレンドトーンカーブを適用することにより遠方用変換画像データを出力可能に生成するとともに、前記ローカル領域に対して前記第２ブレンドトーンカーブを適用することにより近傍用変換画像データを出力可能に生成する、
   画像処理方法。
5. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得し、
   複数の第１ローカル領域と、前記第１ローカル領域を含み前記第１ローカル領域より大きい領域である複数の第２ローカル領域と、を含むローカル領域を前記熱画像に対して設定し、
   前記第１ローカル領域および前記第２ローカル領域を構成する画素の画素値に関する度数分布を演算し、
   前記度数分布のうち予め設定された閾値を超過する超過データを前記度数分布に再分配した再分配データを生成し、
   前記再分配データを低い画素値から高い画素値に向かって累積加算して前記第１ローカル領域にかかる第１ローカルトーンカーブと前記第２ローカル領域にかかる第２ローカルトーンカーブとを生成し、
   前記第１ローカルトーンカーブと前記第２ローカルトーンカーブとを合成して第１ブレンドトーンカーブおよび第２ブレンドトーンカーブを生成し、
   前記ローカル領域に対して前記第１ブレンドトーンカーブを適用することにより遠方用変換画像データを出力可能に生成するとともに、前記ローカル領域に対して前記第２ブレンドトーンカーブを適用することにより近傍用変換画像データを出力可能に生成する、
   画像処理方法を、コンピュータに実行させる
   プログラム。

Images