JP2023074749A - 制御システムおよび制御方法 - Google Patents

Abstract

【課題】赤外線センサを好適に較正して画像の劣化を抑制する制御システム等を提供する。【解決手段】制御システム１１において、画像データ取得部１６０は、赤外線センサから熱画像データを取得する。統計データ生成部１７４は、熱画像データから画素値の統計データを生成する。較正制御部１５１は、赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における熱画像データのセンサ出力値に対して環境温度に基づいて較正を制御する。画像データ出力部１９０は、較正を行った熱画像にかかる画像データを出力する。また較正制御部１５１は、上記統計データに含まれる画素値が予め設定された上限値または下限値を含む場合に、予め設定されたシフト量に基づいてシフト調整された調整値に対して行う較正を制御する。【選択図】図３

Description

本発明は制御システムおよび制御方法に関する。

障害物や歩行者等の物体を検出する目的で赤外線カメラを車両等の移動体に利用した製品が多く開発されている。このような赤外線カメラに用いられるマイクロボロメータ等の赤外線センサは、環境温度の変化等の影響を受けて特性が変化する。そのため、赤外線カメラの出力信号を適宜較正することにより、所定の精度を保つ工夫がなされている。

例えば、撮像素子へ入光させる開口を開閉するシャッタの表面温度を計測し、計測した表面温度と基準温度との差に基づいて撮像素子ごとのオフセット補正値を補正する技術が開示されている（特許文献１、特許文献２）。

また、撮像素子ごとに所定の温度に対する出力値を補正するオフセット補正値及び撮像素子ごとの所定の温度変化率に対する出力値の差異を補正するゲイン補正値を記憶し、シャッタの表面を撮影した画像データに基づいて、記憶してある撮像素子ごとのオフセット補正値を更新する技術が開示されている（特許文献３）。

特開２００７－１７４１１３号公報 特開２００７－２０１８０７号公報 特開２００７－３３６２８８号公報

ところで、上述の赤外線カメラは、障害物や歩行者等の検出精度を高めるために測定可能な温度の範囲が例えば摂氏１０度から摂氏５０度程度が設定される。しかしながら、赤外線カメラはこの測定可能な範囲より低い環境温度や高い環境温度に晒される場合がある。このような環境下において赤外線センサの較正を行った場合には、較正が正しく行われないおそれがある。

本発明は、このような課題を解決するためになされたものであって、赤外線センサを好適に較正して画像の劣化を抑制する制御システム等を提供するものである。

本発明にかかる制御システムは、画像データ取得部、統計データ生成部、較正制御部および画像データ出力部を有している。画像データ取得部は、熱画像を撮影するための赤外線センサから熱画像にかかるセンサ出力値を含む熱画像データを取得する。統計データ生成部は、前記熱画像データから前記センサ出力値にかかる画素値の統計データを生成する。較正制御部は、赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における熱画像データのセンサ出力値に対して環境温度に基づいて較正を制御する。画像データ出力部は、較正を行った熱画像にかかる画像データを出力する。また較正制御部は、上記統計データに含まれる画素値が予め設定された上限値または下限値を含む場合に、センサ出力値に対して予め設定されたシフト量に基づいてシフト調整を行い、このシフト調整を行った調整値に対して行う較正を制御する。

本発明に係る制御方法は、コンピュータが画像データ取得ステップ、較正制御ステップおよび画像データ出力ステップを実行する。画像データ取得ステップは、熱画像を撮影するための赤外線センサから熱画像にかかるセンサ出力値を含む熱画像データを取得する。統計データ生成ステップは、前記熱画像データから前記センサ出力値にかかる画素値の統計データを生成する。較正制御ステップは、赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における熱画像データのセンサ出力値に対して環境温度に基づいて較正を制御する。画像データ出力ステップは、較正を行った熱画像にかかる画像データを出力する。また、較正制御ステップは、上記統計データに含まれる画素値が予め設定された上限値または下限値を含む場合に、センサ出力値に対して予め設定されたシフト量に基づいてシフト調整を行い、このシフト調整を行った調整値に対して行う較正を制御する。

本発明によれば、赤外線センサを好適に較正して画像の劣化を抑制する制御システム等を提供することができる。

実施の形態１にかかる制御システムを搭載した車両の構成図である。 赤外線カメラの構成図である。 実施の形態１にかかる制御システムのブロック図である。 実施の形態１にかかる画像処理部のブロック図である。 実施の形態１にかかる制御方法のフローチャートである。 制御システムにおける環境温度と画素値との関係の例を示す図である。 実施の形態２にかかる制御システムのブロック図である。 実施の形態２にかかる制御方法のフローチャートである。 実施の形態２にかかる調整情報の例を示す図である。 実施の形態３にかかる制御方法のフローチャートである。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる制御システムを搭載した車両の構成図である。本実施の形態にかかる制御システムは、車両に設けられた赤外線カメラを制御する。図１に示す車両９０は、赤外線カメラ１０、制御システム１１およびディスプレイ１２を含む。

赤外線カメラ１０は、車両９０の周辺を撮影するように車両９０に設けられている。赤外線カメラ１０は例えば車両９０の前方に固定され、車両９０の前方を撮影する。赤外線カメラ１０は制御システム１１と通信可能に接続し、制御システム１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、制御システム１１に対して、赤外線カメラ１０が撮影した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。

制御システム１１は、車両９０の任意の場所に固定され、赤外線カメラ１０およびディスプレイ１２のそれぞれと通信可能に接続している。制御システム１１は、赤外線カメラ１０を制御して、赤外線カメラ１０が生成した画像データを取得し、取得した画像データをディスプレイ１２に表示させる。

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、車両９０において運転者が視認可能な位置に設けられている。ディスプレイ１２は、制御システム１１を介して赤外線カメラ１０が撮影した画像を表示する。

上述の構成により、制御システム１１は、赤外線カメラ１０が撮影した画像を運転者が視認可能な態様によりディスプレイ１２に表示させる。これにより、制御システム１１は、車両９０の周辺の物体を運転者に認識させることができる。

次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、シャッタ１０３、赤外線センサ１０４、カメラ制御回路１０５および温度センサ１０６を有している。

筐体１０１は、赤外線カメラ１０の各構成を収容し、車両９０に固定される。対物レンズ１０２は、赤外線カメラ１０が撮影する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。シャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。遮光性の板材は、例えば黒塗装された金属または黒アルマイト加工されたアルミニウム等である。

シャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、シャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、シャッタ１０３は、赤外線センサ１０４から見て熱的に均一な黒体であり、シャッタ１０３を閉じた状態で、赤外線センサ１０４の較正（キャリブレーション）を行う。

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成され、対物レンズ１０２を介して入射する赤外光を受け、感熱素子の各々の抵抗値変化によって画像データを生成する。すなわち赤外線センサ１０４が生成する画像データにはアレイ状に配置された感熱素子の出力値が含まれる。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

また本開示における赤外線センサ１０４は、制御システム１１からシフト調整の指示を受けると、予め設定されたシフト量を加味したセンサ出力値を出力するように設定されている。また本開示における赤外線センサ１０４は、制御システム１１からシフト調整の介助の指示を受けると、上述のシフト調整を解除したセンサ出力値を出力する。

なお、赤外線センサ１０４は、所定の強さより強い太陽光を所定期間以上受けると、太陽光を受けた範囲の素子の出力が飽和し、素子の不可逆な変形や特性の変化などの異常状態が生じる。そのため、赤外線カメラ１０は、上述の較正をする目的に加えて、赤外線センサ１０４を直射日光から保護することも目的として、シャッタ１０３を有する。

なお、赤外線センサ１０４のセンサ出力値をディスプレイ１２に表示するために設定される画素値のダイナミックレンジは、歩行者等の物体を好適に認識できるように分解能が設定されている。そのため、赤外線センサ１０４は、上述の異常状態を起こさない温度範囲であっても、検出信号である画素値が飽和する場合がある。

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、シャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は制御システム１１と通信可能に接続し、制御システム１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮影をしない場合にはシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮影をする場合にはシャッタ１０３が開いた状態となるよう制御する。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成したセンサ出力値を含む画像データを、制御システム１１に供給する。

またカメラ制御回路１０５は、所定の条件下、シャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でシャッタ１０３を一時的に閉じる場合や、較正を行う場合である。この場合、例えばカメラ制御回路１０５は、制御システム１１からシャッタ１０３を一時的に閉じる指示を受ける。またカメラ制御回路１０５は、較正を行うためにシャッタ１０３を閉じた場合には、閉じた状態のシャッタ１０３を撮影した熱画像（シャッタ画像とも称される）にかかる熱画像データを制御システム１１に供給する。

カメラ制御回路１０５は温度センサ１０６と通信可能に接続し、温度センサ１０６から赤外線カメラ１０内部の温度に関する測定データを受け取る。またカメラ制御回路１０５は温度センサ１０６から受け取った測定データを制御システム１１に供給する。

温度センサ１０６は赤外線カメラ１０内部に設置され、赤外線カメラ１０の温度を測定し、測定データをカメラ制御回路１０５に供給する。温度センサ１０６は赤外線センサ１０４の近傍に設置されているのが好ましい。

次に、図３を参照して、制御システム１１について説明する。図３は、実施の形態１にかかる制御システムのブロック図である。制御システム１１は主な構成として、制御ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御回路１５０、画像データ取得部１６０、画像処理部１７０および画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜通信可能に接続されている。

制御ＩＦ１２０は、赤外線カメラ１０を制御するための通信回線のインタフェースである。制御ＩＦ１２０は制御システム１１が赤外線カメラ１０を制御するための制御信号を、赤外線カメラ１０に供給する。

ＲＯＭ１３０（ＲＯＭ（Read Only Memory））は、予め設定された情報またはデータを記憶する不揮発性のメモリである。ＲＯＭ１３０は、例えば制御システム１１が本実施の形態にかかる機能を実現するためのプログラムを予め記憶している。

ＲＡＭ１４０（ＲＡＭ（Random Access Memory））は、制御システム１１が一時的にデータを展開できる記憶領域を有する揮発性のメモリである。ＲＡＭ１４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、システム制御回路１５０等に付随するレジスタを含んでもよい。ＲＡＭ１４０は、ＲＯＭ１３０が記憶するプログラムを展開して実行する領域を含む。またＲＡＭ１４０は、例えば赤外線カメラ１０から供給された画像データを処理する場合等に利用され得る。

システム制御回路１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの演算装置を含み、制御システム１１が有する各構成を制御する。またシステム制御回路１５０は、赤外線カメラ１０またはディスプレイ１２に対しても、所定の指示を出力する。すなわちシステム制御回路１５０は、制御システム１１が有する各構成から所定の信号を受け、受け取った信号から所定の判断や演算等を行う。あるいはシステム制御回路１５０は、各構成から受け取った信号から所定の判断や演算等を行った結果を、各構成に対して出力する。システム制御回路１５０は機能ブロックとして、較正制御部１５１を含む。

較正制御部１５１は、赤外線センサ１０４の較正処理に関する制御を行う。より具体的には例えば、較正制御部１５１は、シャッタ１０３が閉じられた状態、すなわち赤外線センサ１０４に入射する光を遮蔽した状態においてシャッタ画像の熱画像データにおけるセンサ出力値に対しての較正を制御する。このとき較正制御部１５１は、温度センサ１０６から取得した環境温度に関するデータを利用して較正を制御する。

また較正制御部１５１は、センサ出力値にかかる画素値が予め設定された上限値または下限値を含む場合に、センサ出力値に対してシフト調整を行う。シフト調整は、センサ出力値に対して予め設定されたシフト量を加算又は減算する処理である。シフト量は、シフト調整を行うために設定された値である。較正制御部１５１は、このシフト調整を行った調整値に対して行う較正を制御する。

さらに、較正制御部１５１は、上述の調整値に対して較正を行った後に、センサ出力値に対して行ったシフト調整を解除する。すなわち較正制御部１５１は、較正処理の際にシフト調整を行った場合には、較正処理が完了すると、シフト調整を解除し、解除をした熱画像にかかる画像データが画像データ出力部１９０に供給されるように制御する。

画像データ取得部１６０は、赤外線カメラ１０から熱画像にかかるデータである熱画像データ（入力熱画像データ）を取得するインタフェースである。画像データ取得部１６０は例えば赤外線カメラ１０から定期的に画像データを取得する。例えば画像データ取得部１６０は、１フレームの画像を、１５分の１秒毎に受け取る。画像データ取得部１６０は画像データを受け取ると、受け取った画像データを画像処理部１７０に供給する。

画像処理部１７０は、例えばＧＰＵ（Graphics Processing Unit）を含む画像処理回路である。画像処理部１７０は、ＲＡＭ１４０と連携して、熱画像データに対して所定の処理を施す。画像処理部１７０の詳細は、後述する。

画像データ出力部１９０は、画像処理部１７０が処理した画像データ（出力熱画像データ）を、ディスプレイ１２に出力するためのインタフェースである。画像データ出力部１９０が出力する画像データはディスプレイ１２の仕様に対応したデータフォーマットにしたがって出力される。このデータフォーマットは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Visual Interface）等である。画像データ出力部１９０は、較正を行った熱画像にかかる画像データを出力する。なお、画像データ出力部１９０は、シャッタ画像にかかる画像データを出力しないように設定されていてもよい。

次に、図４を参照して、画像処理部１７０について説明する。図４は、実施の形態１にかかる画像処理部１７０のブロック図である。画像処理部１７０はＲＡＭ１４０およびシステム制御回路１５０と連携して所定の処理を実行する。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２、較正処理部１７３、統計データ取得部１７４および飽和領域検出部１７５を有する。

欠陥画素補正部１７１は、赤外線センサ１０４の欠陥画素を予め記憶し、記憶した欠陥画素の画素値を、周辺の画素の画素値から補間する処理（補間処理）を施す。欠陥画素補正部１７１は、画像データ取得部１６０を介して、赤外線カメラ１０から入力熱画像データを受け取り、受け取った画像データに対して、上述の補間処理を施す。欠陥画素補正部１７１は補間処理を施した画像データを、ＮＵＣ部１７２、較正処理部１７３および統計データ取得部１７４に供給する。

ＮＵＣ部１７２は、入力された光に対して出力する画素値のばらつきを抑制するための補正処理であるＮＵＣ（Non-Uniformity Correction）を行う。ＮＵＣ部１７２は、赤外線センサ１０４のそれぞれの画素が有する特性に対応したゲインとオフセット値の設定を予め有している。ＮＵＣ部１７２は、欠陥画素補正部１７１から受け取った画像データに対して、予め有しているこの設定にしたがい、赤外線カメラ１０が撮影する画像におけるそれぞれの画素値を補正する。すなわち制御システム１１は欠陥画素補正部１７１およびＮＵＣ部１７２を介することにより赤外線カメラ１０が撮影する画像の画質を向上させている。

またＮＵＣ部１７２は、制御システム１１がシャッタ画像に対する較正処理を行った後は、較正処理により生成されたオフセット較正データを利用し、熱画像データの画質の劣化を抑制する。より具体的にはＮＵＣ部１７２は、ＲＡＭ１４０がオフセット較正データを記憶している場合には、このデータを用いてオフセット補正を行う。ＮＵＣ部１７２はＲＡＭ１４０が記憶するオフセット較正データが更新されると、更新されたオフセット較正データを利用する。

較正処理部１７３は、シャッタ画像を用いてＮＵＣ部１７２が行う補正処理の内のオフセット処理を較正する機能を担っている。較正処理部１７３は、欠陥画素補正部１７１から欠陥画素の補間が施されたシャッタ画像の画像データを受け取り、受け取った画像データに対して所定の較正処理を行う。較正処理部１７３は、較正処理を行うことにより、ＮＵＣ部１７２が施すオフセット処理を較正するためのオフセット較正データを出力し、ＲＡＭ１４０に記憶させる。

統計データ生成部１７４は、欠陥画素補正部１７１から欠陥画素の補間が施された画像データを受け取り、受け取った画像データにおけるそれぞれの画素に対する画素値を集計し、統計データを生成する。統計データ生成部１７４は例えば、受け取った画像データにおけるデータ出力値の最大値、最小値または平均値（フレーム平均値とも称する）を算出して統計データを生成する。統計データには、画像データのうち、データ出力値の最大値に関するデータが少なくとも含まれる。統計データ取得部１７４は、統計データを生成すると、生成した統計データを飽和領域検出部１７５に供給する。

飽和領域検出部１７５は、統計データ生成部１７４から統計データを受け取り、受け取った統計データから、飽和領域を検出する。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素値が上限値となった状態の画素をいう。例えば、撮影データの各画素の輝度レベルがゼロから１６３８３までの１４ビットで表現されている場合に、輝度レベルが１６３８３の値を有する座標の画素を飽和画素という。なお、ここで示した飽和画素の定義は一例であって、飽和画素は上述の定義に限定されない。

飽和領域検出部１７５は、１個の飽和画素に対して飽和領域であると判断してもよいし、例えば隣接する４個の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断してもよい。あるいは飽和領域検出部１７５は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断してもよい。

飽和領域検出部１７５は、受け取った撮影データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を含む統計データを、システム制御回路１５０に出力する。この統計データは、センサ出力値を含んでいてもよい。また統計データは、飽和領域と判定された画素の位置に関するデータが含まれてもよい。また飽和領域検出部１７５は、画像データから飽和画素が検出されたと判断しない場合には、飽和画素が存在しなかったことを示す信号を、システム制御回路１５０に出力する。

次に、図５を参照して、制御システム１１が実行する処理について説明する。図５は、実施の形態１にかかる制御方法のフローチャートである。このフローチャートは、較正制御部１５１の処理を示すものである。このフローチャートは例えば、赤外線カメラ１０を用いた撮影が開始された後に、赤外線センサ１０４の較正を実行するタイミングにおいて繰り返し実行される。

なお、以下のフローチャートにおいて示されている処理は、較正制御部１５１が指示することにより赤外線カメラ１０または制御システム１１の各構成が実行する処理を含む。しかし、本開示において、較正制御部１５１が他の構成に実行させる処理の主体を、システム制御回路１５０または較正制御部１５１と表現する場合がある。

まず、システム制御回路１５０の較正制御部１５１は、赤外線センサ１０４の較正を開始するために、シャッタ１０３を閉じるための指示信号を赤外線カメラ１０に供給する（ステップＳ１０）。赤外線カメラ１０はシステム制御回路１５０からの指示を受け取ると、シャッタ１０３を閉じる。また赤外線カメラ１０は、閉じられたシャッタ１０３を撮影したシャッタ画像にかかる熱画像データを制御システム１１に供給する。

制御システム１１は赤外線カメラ１０からシャッタ画像の熱画像データを受け取り、このシャッタ画像の統計データを生成する。そして較正制御部１５１は、画像処理部１７０から統計データを取得する（ステップＳ１１）。

次に、較正制御部１５１は、統計データを読み取り、シャッタ１０３を撮影した熱画像データに飽和領域を検出したか否かを判定する（ステップＳ１２）。シャッタ１０３を撮影した熱画像データに飽和領域を検出したと判定しない場合（ステップＳ１２：ＮＯ）、較正制御部１５１は、ステップＳ１４に進む。シャッタ１０３を撮影した熱画像データに飽和領域を検出したと判定する場合（ステップＳ１２：ＹＥＳ）、較正制御部１５１は、ステップＳ１３に進む。

ステップＳ１３において、較正制御部１５１は、センサ出力値に対して予め設定されたシフト量に基づいてシフト調整を行う（ステップＳ１３）。より具体的には較正制御部１５１は、赤外線カメラ１０に対して所定のシフト量によるシフト調整をしたセンサ出力値を出力するよう指示する。較正制御部１５１は、シフト調整に関する制御を行うと、ステップＳ１４に進む。

ステップＳ１４において、較正制御部１５１は、シャッタ画像に対する較正処理を制御する（ステップＳ１４）。ここで、較正処理部１７３は、赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における熱画像データのセンサ出力値に対して環境温度を参照して較正を行う。較正処理において、較正処理部１７３は、シャッタ画像にかかる画素値から赤外線センサ１０４の素子ごとのオフセット較正値を算出する。

次に、較正制御部１５１は、較正にかかる熱画像データがシフト調整を行ったものであるか否かを判定する（ステップＳ１５）。較正にかかる熱画像データがシフト調整を行ったものであると判定しない場合（ステップＳ１５：ＮＯ）、較正制御部１５１はステップＳ１７に進む。較正にかかる熱画像データがシフト調整を行ったものであると判定する場合（ステップＳ１５：ＹＥＳ）、較正制御部１５１はステップＳ１６に進む。

ステップＳ１６において、較正制御部１５１は、シフト調整を解除し（ステップＳ１６）、ステップＳ１７に進む。より詳細には較正制御部１５１は赤外線カメラ１０に対してシフト調整を解除する指示信号を供給する。

ステップＳ１７において、較正制御部１５１はシャッタ１０３を開く制御を行う（ステップＳ１７）。より具体的には、較正制御部１５１は、赤外線カメラ１０に対してシャッタを開くための指示信号を供給する。そしてその後、較正制御部１５１は赤外線センサ１０４の較正に関する一連の処理を終了する。

以上、実施の形態１において較正制御部１５１が実行する処理について説明した。上述の処理を含む制御システム１１の制御方法により、制御システム１１は、高温環境により赤外線センサ１０４のセンサ出力値が上限を超える場合であっても、赤外線センサを好適に較正して画像の劣化を抑制する。

次に、図６を参照して、赤外線センサ１０４の特性について説明する。図６は、制御システム１１における環境温度と画素値との関係の例を示すグラフである。図６に示すグラフＧ１の横軸は、赤外線センサ１０４の環境温度である。赤外線センサ１０４は例えば環境温度としてマイナス４０℃から８０℃の間で使用されることが想定される。そのためグラフＧ１の横軸はマイナス４０から８０までの温度が設定されている。グラフＧ１の縦軸は、赤外線センサ１０４が生成する熱画像データの画素値である。制御システム１１はセンサ出力値を、例えば輝度レベルがゼロから１６３８３までの１４ビットの画素値として処理する。このような例の場合、縦軸に示す画素値の上限値Ｐ１は１６３８３である。

グラフＧ１には左右方向に延びる４本の曲線Ａ１１～Ａ１４が示されている。グラフＧ１の最下部に二点鎖線によりプロットされている曲線Ａ１１は、赤外線センサ１０４が１０℃の黒体炉を撮影した場合に取り得る最小の画素値である。曲線Ａ１１は－４０℃付近では縦軸の中間値付近にプロットされていた値が、８０℃付近では画素値の下方にプロットされている。

グラフＧ１の最上部に二点鎖線によりプロットされている曲線Ａ１４は、赤外線センサ１０４が５０℃の黒体炉を撮影した場合に取り得る最大の画素値である。曲線Ａ１４は－４０℃付近では中間値付近にプロットされていた値が徐々に高くなり、８０℃付近では画素値の上限値であるＰ１のやや下方にプロットされている。

上述の曲線Ａ１１および曲線Ａ１４に示すように、赤外線センサ１０４は、－４０℃から８０℃までの範囲の環境温度において、１０℃から５０℃までの温度を検出できるように設定されている。また曲線Ａ１１～曲線Ａ１４に示すように、赤外線センサ１０４は比較的に高温域においては画素値のばらつきが大きくなる。制御システム１１は例えば環境温度４０℃において画素値５０００から１４０００の範囲を用いて、所望の測定温度範囲である１０℃から５０℃までの温度を検出する。このときの所望の測定温度範囲（１０℃～５０℃）を検出するための画素値の範囲を、測定画素値域と称する。制御システム１１は測定画素値域が上限値Ｐ１を超えないように設定されている。なお、測定画素値域は、シーンダイナミックレンジと称されてもよい。

またグラフＧ１においてＡ１１の上方に破線によりプロットされている曲線Ａ１２は、１０℃の黒体炉を撮影したときの画像全体の画素にかかる平均の画素値を示している。曲線Ａ１２と曲線Ａ１４との間において実線により示されている曲線Ａ１３は、５０℃の黒体炉を撮影したときの画像全体の画素にかかる平均の画素値を示している。

制御システム１１はＮＵＣ部１７２において予め設定されたゲインとオフセット量にしたがってセンサ出力値が補正されているが、赤外線センサ１０４の特性は環境温度の変化の影響などにより変化する。そこで制御システム１１はシャッタ１０３を撮影した熱画像を用いて較正処理を行う。較正処理部１７３が行う較正処理において、赤外線センサ１０４の画素値は、例えば上述の曲線Ａ１２ないし曲線Ａ１３に沿った値となるように較正される。

上述のように設定された赤外線センサ１０４において、例えば環境温度が７０℃のときに、シャッタ１０３の温度が７０℃を超えている場合がある。このような状況下で制御システム１１が較正を行うと、シャッタ１０３を撮影した熱画像のセンサ出力値が高くなり、これに伴っていくつかの画素における画素値が飽和状態となる場合がある。このような場合には、シャッタ１０３を撮影した熱画像の画素値を較正する処理が正しく行われない場合がある。

そこで、本実施の形態に係る制御システム１１は、上限を示す画素値の存在を検出した場合には、シフト調整を行うことにより、例えば画素値が上限値Ｐ１を下回るようにセンサ出力値を調整する。より好ましくは、制御システム１１は、センサ出力値が曲線Ａ１４を下回るようにセンサ出力値をシフト調整する。そして制御システム１１は、シフト調整したセンサ出力値にかかる画素値を利用して較正を行い、較正後にシフト調整を解除する。このような処理を行うことにより、制御システム１１はシャッタ１０３を撮影した熱画像において飽和状態となっている画素に対して好適に較正処理を行うことができる。

なお、本実施の形態にかかる技術は、上述のような上限値に関する処理を、予め設定された下限値に対して適用してもよい。すなわち制御システム１１は、シャッタ１０３を撮影した熱画像にかかるセンサ出力値に対応する画素値が予め設定された下限値（例えばゼロ）を示す場合に、センサ出力値をシフト調整して、画素値が下限値を上回るように処理を行ってもよい。またこの場合も、制御システム１１は、シフト調整した値を用いて較正処理を行い、較正処理が終了した後にシフト調整を解除する。

以上、実施の形態１について説明した。実施の形態１にかかる制御システム１１は、上述の形態に限られない。シフト調整を行う際に、赤外線カメラ１０に代えて、制御システム１１がセンサ出力値に対してシフト調整を行った調整値を生成する機能を有していても良い。

制御システム１１は、画像認識部を有していてもよい、画像認識部は例えば、画像データ取得部１６０から熱画像データを受け取り、受け取った熱画像データにかかる熱画像から他車両、歩行者、動物または障害物などの画像を検出する。制御システム１１は、上述のような較正処理を実行することにより、画像認識部が行う認識精度の低下を抑制できる。

なお、上述の赤外線センサ１０４は、サーマルセンサ、または、ボロメータと言い換えてもよい。上述の制御システム１１は、赤外線カメラ１０およびディスプレイ１２の少なくともいずれか一方を含む構成であってもよい。

以上、実施の形態１について説明した。実施の形態１によれば、赤外線センサを好適に較正して画像の劣化を抑制する制御システム等を提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２は、制御システムが調整情報を予め記憶している点が、実施の形態１と異なる。調整情報は、環境温度に応じて設定されたシフト量に関する情報である。制御システム１１は、例えばＲＯＭ１３０に調整情報を記憶することができる。

図７は、実施の形態２にかかる調整情報の例を示す図である。図７には表Ｔ１が示されている。表１は、環境温度の範囲と、それに対応するシフト量とが示されている。シフト量は、制御システム２１がシフト調整を行う際に、赤外線センサ１０４が出力するセンサ出力値に対して加算または減算させる量である。

具体的には例えば、－４０℃から＋４０℃の範囲に対応するシフト量がＢ１１であると表Ｔ１には示されている。同様に、表Ｔ１には、＋４０℃から＋５０℃の範囲に対応するシフト量がＢ１２、＋５０℃から＋６０℃の範囲に対応するシフト量がＢ１３であると示されている。さらに表Ｔ１には、＋６０℃から＋７０℃の範囲に対応するシフト量がＢ１４、＋７０℃から＋８０℃の範囲に対応するシフト量がＢ１５であると示されている。

本実施の形態にかかる制御システム１１は、較正処理を行う際に、温度センサ１０６から環境温度を取得している。また制御システム１１は、シフト調整をする際に、上述の調整情報を参照する。すなわち、制御システム１１の較正制御部１５１は、調整情報を参照することにより、環境温度に応じたシフト量を用いてシフト調整を行うことを制御する。

次に、図８を参照して実施の形態２にかかる制御方法について説明する。図８は、実施の形態２にかかる制御方法のフローチャートである。図８に示すフローチャートは、ステップＳ１３に代えてステップＳ２１を有する点が、図５に示したフローチャートと異なる。

図８のフローチャートのステップＳ１２において、較正制御部１５１は、統計データから、シャッタ１０３を撮影した熱画像データに飽和領域を検出したか否かを判定する。そしてシャッタ１０３を撮影した熱画像データに飽和領域を検出したと判定する場合（ステップＳ１２：ＹＥＳ）、較正制御部１５１は、ステップＳ２１に進む。

ステップＳ２１において、較正制御部１５１は、調整情報を読み取り、読み取った調整情報を参照してシフト調整を行う。このとき較正制御部１５１は取得している環境情報に対応するシフト量を用いてシフト調整を行う。較正制御部１５１はシフト調整を行うと、ステップＳ１４に進む。以降の処理は、図５のフローチャートと同様である。

以上、実施の形態２について説明した。実施の形態２にかかる制御システム１１は上述の調整情報を予め記憶しており、これを参照してシフト調整を行う。これにより制御システム１１はシフト調整を伴う較正処理を効率よく実行できる。すなわち実施の形態２によれば、赤外線センサを効率よく好適に較正して画像の劣化を抑制する制御システム等を提供することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。図９は、実施の形態３にかかる制御システムのブロック図である。図９に示す制御システム２１は、ＮＶＲＡＭ１８０（Non-Volatile RAM）をさらに有している点が、上述の実施の形態にかかる制御システム１１と異なる。

ＮＶＲＡＭ１８０は書き換え可能な不揮発性メモリであって、例えばフラッシュメモリやＥＰＲＯＭ（Erasable Programmable Read Only Memory）等の記憶装置を含む。ＮＶＲＡＭ１８０は、書き換え可能な状態で調整情報を記憶している。

本実施の形態にかかる較正制御部１５１は、この調整情報に基づいてシフト調整を行うことを制御する。また較正制御部１５１は、予め設定されたシフト量にしたがってシフト調整した後になお、センサ出力値にかかる画素値が上限値または下限値を含む場合には、シフト調整を追加して行う。追加して行うシフト調整において、較正制御部１５１は、以下の制御を行う。すなわち較正制御部１５１は、シャッタを撮影した熱画像にかかる画素値のフレーム平均値と、環境温度における測定画素値域の中心値と、に基づいて追加シフト量を決定する。そして較正制御部１５１は、決定した追加シフト量によりシフト調整を行うことを制御する。

また較正制御部１５１は、上述の追加シフト量によりシフト調整を行った場合には、ＮＶＲＡＭ１８０に記憶している調整情報に含まれるシフト量を更新する更新処理を行うことを制御する。

図１０を参照して実施の形態３にかかる制御システム２１の処理について説明する。図１０は、実施の形態３にかかる制御方法のフローチャートである。図１０に示すフローチャートは、ステップＳ１３とステップＳ１４との間にステップＳ３１とステップＳ３２が追加されている点が、図５に示したフローチャートと異なる。

ステップＳ１３の後、較正制御部１５１はシフト調整をした後のセンサ出力値がなお、飽和領域を有するか否かを判定する（ステップＳ３１）。シフト調整をした後のセンサ出力値がなお、飽和領域を有すると判定しない場合（ステップＳ３１：ＮＯ）、較正制御部１５１はステップＳ１４に進む。一方、シフト調整をした後のセンサ出力値がなお、飽和領域を有すると判定する場合（ステップＳ３１：ＹＥＳ）、較正制御部１５１はステップＳ３２に進む。

ステップＳ３２において、較正制御部１５１は、追加シフト量によるシフト調整を行う（ステップＳ３２）。追加シフト量によるシフト調整を行った後に、較正制御部１５１は、ステップＳ１４に進む。

以上、制御システム２１が実行する処理について説明した。なお、較正制御部１５１は、ステップＳ３２の処理を行った後に、追加シフト量に関するデータを調整情報に反映させて、調整情報を更新する処理を行ってもよい。これにより、制御システム２１は、赤外線センサ１０４の経年変化等により必要となった追加シフト量を記憶し、以降の処理を比較的に高速に行うことができる。

以上、実施の形態３について説明した。実施の形態３によれば、赤外線センサを好適に較正して画像の劣化を抑制する制御システム等を提供することができる。

なお上述のプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術を含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 赤外線カメラ
１１ 制御システム
１２ ディスプレイ
２１ 制御システム
９０ 車両
１０１ 筐体
１０２ 対物レンズ
１０３ シャッタ
１０４ 赤外線センサ
１０５ カメラ制御回路
１０６ 温度センサ
１１０ バス
１２０ 制御ＩＦ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ システム制御回路
１５１ 較正制御部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 較正処理部
１７４ 統計データ生成部
１７５ 飽和領域検出部
１８０ ＮＶＲＡＭ
１９０ 画像データ出力部

Claims (6)

1. 熱画像を撮影するための赤外線センサから前記熱画像にかかるセンサ出力値を含む熱画像データを取得する画像データ取得部と、
   前記熱画像データから前記センサ出力値にかかる画素値の統計データを生成する統計データ生成部と、
   前記赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における前記熱画像データの前記センサ出力値に対して環境温度に基づいて較正を制御する較正制御部と、
   前記較正を行った前記熱画像にかかる画像データを出力する画像データ出力部と、
   を備え、
   前記較正制御部は、前記統計データに含まれる前記画素値が予め設定された上限値または下限値を含む場合に、前記センサ出力値に対して予め設定されたシフト量によるシフト調整を行い、前記シフト調整を行った調整値に対して行う前記較正を制御する、
   制御システム。
2. 前記較正制御部は、前記調整値に対して前記較正を行った後に、前記センサ出力値に対する前記シフト調整を解除する、
   請求項１に記載の制御システム。
3. 前記環境温度に応じて設定された前記シフト量に関する情報である調整情報を記憶する記憶部をさらに備え、
   前記較正制御部は、前記調整情報に基づいて前記シフト調整を行うことを制御する、
   請求項１または２に記載の制御システム。
4. 前記較正制御部は、前記調整値にかかる前記画素値が前記上限値または前記下限値を含む場合に、前記シャッタが閉じられた状態における前記熱画像にかかる前記画素値のフレーム平均値と、前記環境温度における測定画素値域の中心値と、に基づいて追加シフト量を決定し、決定した前記追加シフト量に基づいて前記シフト調整を行うことを制御する、
   請求項１から３のいずれか一項に記載の制御システム。
5. 前記較正制御部は、前記追加シフト量に基づいて、予め設定された前記シフト量を更新する更新処理を行うことを制御する、
   請求項４に記載の制御システム。
6. 熱画像を撮影するための赤外線センサから前記熱画像にかかるセンサ出力値を含む熱画像データを取得する画像データ取得ステップと、
   前記熱画像データから前記センサ出力値にかかる画素値の統計データを生成する統計データ生成ステップと、
   前記赤外線センサに入射する光を遮蔽するシャッタが閉じられた状態における前記熱画像データの前記センサ出力値に対して環境温度に基づいて較正を制御する較正制御ステップと、
   前記較正を行った前記熱画像にかかる画像データを出力する画像データ出力ステップと、
   をコンピュータが実行する制御方法であって、
   前記較正制御ステップは、前記統計データに含まれる前記画素値が予め設定された上限値または下限値を含む場合に、前記センサ出力値に対して予め設定されたシフト量に基づいてシフト調整を行い、前記シフト調整を行った調整値に対して行う前記較正を制御する、
   制御方法。

Images