JP2007226726A

JP2007226726A - 熱画像処理装置

Info

Publication number: JP2007226726A
Application number: JP2006050032A
Authority: JP
Inventors: Yoshiyuki Hatakeyama; 善幸畠山; Hiroki Okamura; 宏樹岡村
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2006-02-27
Filing date: 2006-02-27
Publication date: 2007-09-06

Abstract

【課題】姿勢が変化しうる被写体の被測定部位における熱分布を精度良く評価することができる熱画像処理装置の提供を目的とする。
【解決手段】本発明による熱画像処理装置１０は、姿勢が変化しうる被写体の被測定部位を第1位置から捉え、該被測定部位の熱分布を表す熱画像を生成する熱画像撮像カメラ１４と、同被写体の被測定部位を第２位置から撮像して可視画像を生成する可視画像撮像カメラ１６とを備え、可視画像に含まれる被写体の被測定部位の所定領域の位置を表す情報を用いて、前記第１位置及び第２位置の相対関係に基づいて、熱画像に含まれる同被測定部位の所定領域の位置を特定することを特徴とする。
【選択図】図５

Description

本発明は、被写体の被測定部位の熱分布を表す熱画像を適切に処理する熱画像処理装置に関する。

従来から、少なくとも乗員の顔面部を含む車内の温度分布を面で検出する分布型赤外線センサと、車内座席における乗員の有無を検出する乗員有無検出手段と、乗員の体格を検出する体格検出手段と、を備えた乗員の顔面検知装置であって、前記分布型赤外線センサによる面の温度分布に対して温度しきい値により画像を切り出すようにして少なくとも乗員の顔面部の位置・面積の判定を行う判定手段と、前記体格検出手段による乗員の体格から乗員の顔面の面積を推定し、前記面の温度分布上の顔面面積に相当する面積しきい値を算出する顔面積算出手段を設け、前記面積しきい値に判定する乗員の顔面部の面積を近づけるよう判定手段が用いる温度しきい値を補正する補正手段を設けた、ことを特徴とする乗員の顔面検知装置が知られている（例えば、特許文献１参照）。
特開２００５−９８８８６号公報

しかしながら、赤外線センサ等のような熱画像を生成する熱画像撮像カメラを用いて、被写体の被測定部位の熱分布を評価する場合、熱画像だけでは被写体の被測定部位の姿勢を正確に把握できない場合がある。特に、被写体の被測定部位の姿勢が測定毎に一定でなく変化しうる状況下で、熱画像撮像カメラにより被写体の被測定部位の熱分布を評価する場合には、被写体の被測定部位の姿勢が適切に把握できないと、当該熱分布の評価を精度良く行えないという問題がある。

そこで、本発明は、姿勢が変化しうる被写体の被測定部位における熱分布を精度良く評価することができる熱画像処理装置の提供を目的とする。

上記目的を達成するため、第１の発明に係る熱画像処理装置は、姿勢が変化しうる被写体の被測定部位を第1位置から捉え、該被測定部位の熱分布を表す熱画像を生成する熱画像撮像カメラと、
同被写体の被測定部位を第２位置から撮像して可視画像を生成する可視画像撮像カメラとを備え、
可視画像に含まれる被写体の被測定部位の所定領域の位置を表す情報を用いて、前記第１位置及び第２位置の相対関係に基づいて、熱画像に含まれる同被測定部位の所定領域の位置を特定することを特徴とする。

第２の発明は、第１の発明に係る熱画像処理装置において、前記熱画像における特定された被測定部位の所定領域の熱分布に基づいて、被写体の覚醒状態を推定する覚醒度推定手段を備えることを特徴とする。これにより、姿勢が変化しうる被写体の被測定部位における熱分布を適切に評価できるので、被写体の覚醒状態を高精度に推定することができる。

第３の発明に係る熱画像処理装置において、姿勢が変化しうる被写体の被測定部位の熱分布を表す熱画像を生成する熱画像撮像カメラと、
同被写体の被測定部位の姿勢を表す情報を取得する姿勢情報取得手段と、
前記取得した姿勢情報を用いて、熱画像に含まれる同被写体の被測定部位の所定領域を特定することを特徴とする。

第４の発明は、第３の発明に係る熱画像処理装置において、
前記取得した姿勢情報を用いて、熱画像に含まれる同被写体の被測定部位の姿勢を、所定姿勢に変換する姿勢変換処理手段と、
前記被写体の被測定部位の姿勢が変換された熱画像に基づいて、被写体の覚醒状態を推定する覚醒度推定手段とを備えることを特徴とする。これにより、姿勢が変化しうる被写体の被測定部位における熱分布を適切に評価できるので、被写体の覚醒状態を高精度に推定することができる。

第５の発明は、第４の発明に係る熱画像処理装置において、
前記覚醒度推定手段は、前記変換後の熱画像内に初めて現れる撮像されていない被測定部位の所定領域の一部に対して、所定の熱分布の推定値を充填して前記推定処理を行うことを特徴とする。姿勢によっては撮像不能（熱画像生成不能）となる被写体の被測定部位における熱分布を適切に評価できるので、被写体の覚醒状態を高精度に推定することができる。

本発明によれば、姿勢が変化しうる被写体の被測定部位における熱分布を精度良く評価することができる熱画像処理装置が得られる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。以下の各実施例では、熱画像処理装置が車両に搭載され、被写体が車両の運転者である場合について説明する。但し、本発明は、車両以外のアプリケーションにおいても適用可能である。

図１は、本発明の実施例１による熱画像処理装置の要部を示すシステム構成図である。本実施例の熱画像処理装置１０は、例えばマイクロコンピューターにより構成され、以下で説明する画像処理を行うＣＰＵ，以下で説明する推定処理に必要な画像処理ロジック（プログラム）やデータが記憶される各種メモリ等を備える。

熱画像処理装置１０には、適切なバスを介して、赤外線カメラ（サーモグラフィ）１４及び可視カメラ１６が接続される。熱画像処理装置１０には、それぞれのカメラ１４，１６により取得される各画像が入力される。尚、それぞれのカメラ１４，１６より入力される各画像は、同一の時刻で撮像された画像同士の同期が適切に取られる。

赤外線カメラ１４は、被写体（本例では、運転者）から出ている赤外線放射エネルギーを検出し、検出した赤外線放射エネルギーを見かけの温度に変換して、被写体の被撮像部位の温度分布を表す熱画像を取得する。赤外線カメラ１４としては、例えば０．０１度程度またはそれ以上の分解能で温度を測定できるものであってよい。本例の赤外線カメラ１４は、被写体である運転者の顔部の熱画像を生成する。解析対象領域は、顔の全体又は特定領域であってよく、特定領域としては、好ましくは、被写体の覚醒度（眠気、集中度、疲労度合い等）の推定に適した温度変化が現れやすい顔の鼻部や目の周辺部であってよい。本例の解析対象領域は、顔の鼻部及び目の周辺部とする。

可視カメラ１６は、ＣＣＤ(charge-coupled device)やＣＭＯＳ(complementary metal oxide semiconductor)のような適切な撮像素子に備え、被写体（本例では、運転者）からの反射光を電気的信号に変換して、被写体の像を表す可視画像を生成する。

赤外線カメラ１４及び可視カメラ１６は、図２に示すように、同一の被写体を撮像するように配置される。例えば、被写体である運転者に対しては、赤外線カメラ１４及び可視カメラ１６は、車室内のインストルメントパネルの上部やバックミラー等に適切な取付具を介して固定されてよい。赤外線カメラ１４は、好ましくは、被写体の解析対象領域を広範囲で捕捉するように配置されるが、赤外線カメラ１４及び可視カメラ１６は共に、運転者の視界を妨げることのないよう制約された位置に配置される。赤外線カメラ１４及び可視カメラ１６は、同一の被写体を撮像できる限り、必ずしも隣接した位置に配置される必要はない。また、可視カメラ１６は、ミラーを介して被写体を撮像するように配置されていてもよい。尚、図２に示す例では、赤外線カメラ１４及び可視カメラ１６は共に、被写体の顔部を左斜め前方から撮像するように配置されている。

赤外線カメラ１４から得られる熱画像及び可視カメラ１６から得られる可視画像の相対的な座標関係は、所定の変換式により変換可能とされる。この所定の変換式は、赤外線カメラ１４及び可視カメラ１６の位置及び姿勢（光軸）がそれぞれ固定である場合には、既知である２つのカメラ１４，１６の位置関係及び姿勢関係により導出される。一方、赤外線カメラ１４及び可視カメラ１６の位置及び姿勢（光軸）が可変である場合には、それぞれの位置及び姿勢は、適切な計測器で計測し、当該計測結果に基づいて変換式が生成されてよい。この種の計測器としては、例えばマーカーを用いたトラッキング装置が挙げられる。この場合、赤外線カメラ１４及び可視カメラ１６の双方にトラッキング用のマーカーを予め付与しておき、トラッキング装置により２つのマーカー間の３次元位置を測定することで、赤外線カメラ１４及び可視カメラ１６の相対的な位置関係及び姿勢関係が算出される。

図３は、本実施例による熱画像処理装置１０の主要機能及び処理流れを表す機能ブロック図である。図４は、各処理に対応したデータの流れ及び画像を概念的に示す図である。

本実施例の熱画像処理装置１０は、計測座標間変換処理部３２と、解析対象領域特定部３６とを備える。

計測座標間変換処理部３２は、赤外線カメラ１４及び可視カメラ１６からなる２つの測定系間の相対的な座標関係を導出する。具体的には、赤外線カメラ１４の計測系座標（例えば、カメラ座標）と可視カメラ１６の計測系座標（例えば、カメラ座標）との相対関係、及び、赤外線カメラ１４により取得される熱画像及び可視カメラ１６により取得される可視画像のそれぞれの拡大縮小率が導出される。これにより、２つの測定系により独立に取得される２つの画像の関係が把握可能となる。一般的に、２つの座標の相対的な位置関係は、並進移動と回転移動と拡大縮小率で表される。従って、本例では、並進移動と回転移動と拡大縮小率を表す変換行列ωが導出される。尚、２つの測定系間の相対的な座標関係等が固定の場合には、計測座標間変換処理部３２に代えて、メモリ内にそれらの既知の情報（例えば固定値の成分からなる変換行列ω）が保持されてよい。

計測座標間変換処理部３２は、変換行列ωに基づいて、熱画像の座標系を、可視画像の座標系に合致するように変換する。これにより、図４に示すように、可視画像における被写体の顔部の姿勢が、熱画像における被写体の顔部の姿勢が整合される。以下、このようにして座標変換された熱画像を、「座標変換熱画像」ともいう。即ち、座標変換熱画像を表す信号Ｂ１は、赤外線カメラ１４により撮像された熱画像を表す信号Ｂに基づいて、変換式Ｂ１＝ω・Ｂにより生成される。

解析対象領域特定部３６は、可視画像における顔部の解析対象領域に対応する領域を特定し、当該領域の座標に対応する座標変換熱画像内の領域を、解析対象領域として決定する。このようにして座標変換熱画像の解析対象領域が決定されると、その解析対象領域内の温度分布に基づいて、被写体の状態として例えば被写体の覚醒度が推定される。覚醒度の推定方法は、多様であり任意であるが、例えば解析対象領域内の各画素の表す温度を解析対象領域内の全画素に亘って累計し、その平均値又は中央値等を導出して被写体の覚醒度を推定してもよいし、或いは、被写体が所定作業を行う際の温度変化（各測定時間での上記の平均値又は中央値等の変化態様）に基づいて、被写体の覚醒度を推定してもよい。尚、可視画像における顔部の鼻部や目の領域の特定方法は、多様であり任意の方法が用いられてよい。例えば、エッジ処理後、顔部の各パーツのマッチング処理により特定されてよい。

このように、本実施例によれば、可視カメラ１６と赤外線カメラ１４の相対的な座標関係を用いて、可視カメラ１６により捕捉される可視画像に基づき、赤外線カメラ１４の熱画像に含まれる被写体の被測定部位（本例では顔部）の領域を特定するので、熱画像内の解析対象領域を精度良く特定することができる。これにより、例えば被写体の被測定部位の姿勢が測定毎に一定でなく動的に変化しうる状況下（例えば、運転者の顔の姿勢が動的に変化しうる運転中）においても、熱画像内の被測定部位の姿勢の変化に対応することができ、その結果、熱画像内の解析対象領域内の温度分布を精度良く評価することができる。

尚、本実施例では、可視カメラ１６の撮像方向に一致するように、赤外線カメラ１４の熱画像の座標系を変換しているが、可視カメラ１６の撮像方向に対して所定角度をなす方向に、可視カメラ１６の可視画像及び赤外線カメラ１４の熱画像の双方の撮像方向が合致するように、双方の画像像を座標変換してもよい。また、座標変換時に、例えば可視カメラ１６のレンズの歪等が補正されてもよい。

図５は、実施例２による熱画像処理装置の主要機能及び処理流れを表す機能ブロック図である。実施例２は、上述の実施例１に対して、赤外線カメラ１４の熱画像内における顔部の姿勢が所定の姿勢（本例では正面を向く姿勢）となるように、熱画像を更に座標変換（回転変換）する点が主に異なる。以下、上述の実施例１と異なる実施例２特有の構成について重点的に説明する。

本実施例の熱画像処理装置１０は、計測座標間変換処理部３２と、姿勢検出処理部３４と、解析対象領域特定部３６とを備える。計測座標間変換処理部３２の機能については、上述の実施例１と同一であってよい。

姿勢検出処理部３４は、可視カメラ１６から得られる可視画像に基づいて、被写体の姿勢を検出する。姿勢検出処理部３４は、顔の姿勢である顔向き方向を表す行列θ（以下、「姿勢方向変換行列θ」という）を出力する。顔向き方向は、例えば顔が正面を向いたときの方向を基準として相対的に表現されてよい。

可視画像に基づく被写体（顔部）の向きの検出方法について、多様であり、任意の適切な方法が用いられてよい。例えば、特開２００４−２５９０４３号広報に記載された検出方法が利用されてもよい。この方法では、可視カメラ１６をステレオカメラで構成し、一方のカメラを基準カメラとして、該基準カメラ対して例えば正面を向いた顔を両カメラで撮像し、撮像した画像のエッジ画像から初期エッジ画像を作成し、この初期エッジ画像から、仮想カメラで撮像した状態の仮想画像を作成しておく。姿勢検出の際には、姿勢検出処理部３４において、可視カメラ１６（ステレオカメラ）で撮像された画像のエッジ画像と、仮想画像との一致度を比較し、その一致度に基づいて仮想画像を撮像する仮想カメラの仮想位置を求め、基準カメラの位置と仮想位置との関係に基づいて、顔向き方向を検出する。或いは、特開２００３−１５８１６号広報に記載された検出方法が利用されてもよい。この方法では、ユーザの目が開いているかどうかが検出されるので、姿勢検出におけるエラーが防止される。

計測座標間変換処理部３２は、図６（Ａ）に示すように、変換行列ωに基づいて、熱画像の座標系を、可視画像の座標系に合致するように変換し、更に、図６（Ｂ）に示すように、姿勢方向変換行列θに基づいて、熱画像の座標系を、熱画像に含まれる被測定部位（本例では顔部）の姿勢が所定の姿勢（本例では、正面を向く姿勢）となるように変換する。以下、このようにして座標変換された熱画像を、「姿勢変換熱画像」ともいう。即ち、姿勢変換熱画像を表す信号Ｂ２は、赤外線カメラ１４により撮像された熱画像を表す信号Ｂに基づいて、変換式Ｂ２＝ω・θ^−１・Ｂにより生成される。

解析対象領域特定部３６は、姿勢変換熱画像内における所定領域を、解析対象領域として決定する。尚、本例では、上述の如く常に正面を向く姿勢の姿勢変換熱画像が生成されるので、姿勢変換熱画像内の解析対象領域は、予め所定領域として設定しておいてもよい。この場合、被写体毎に所定領域の位置やサイズが適合されてもよい。或いは、上述の実施例と同様、可視画像における解析対象領域に対応する領域との対応関係に基づいて、姿勢変換熱画像内の解析対象領域が決定されてもよい。このようにして姿勢変換熱画像の解析対象領域が決定されると、その領域内の温度分布に基づいて、被写体の状態として例えば被写体の覚醒度が推定される。

このように、本実施例によれば、可視カメラ１６により捕捉される可視画像に基づいて、被写体の被測定部位（本例では顔部）の姿勢を把握し、当該把握した姿勢に基づいて、赤外線カメラ１４の熱画像に含まれる被写体の被測定部位（本例では顔部）の姿勢を把握するので、熱画像内の解析対象領域を精度良く特定することができる。これにより、例えば被写体の被測定部位の姿勢が測定毎に一定でなく動的に変化しうる状況下においても、熱画像内の被測定部位の姿勢の変化に対応することができ、その結果、熱画像内の解析対象領域内の温度分布を精度良く評価することができる。特に、本実施例によれば、被写体の姿勢に依存して、可視画像における被写体の解析対象領域と、座標変換熱画像（図６（Ａ）参照）における解析対象領域との対応関係が明確でない場合であっても、姿勢変換熱画像を生成することで、所望の解析対象領域を精度良く特定することができる。

ここで、再度図６（Ｂ）を参照するに、本実施例では、被写体の顔部が左斜め方向から撮像されたように座標変換された座標変換画像（或いは、被写体の顔部に対して左斜め方向から撮像された熱画像）が、被写体の顔部に対して正面方向から撮像されたような熱画像に変換されている。この場合、実際には赤外線カメラ１４が正面方向から被写体の顔部を撮像しているわけではないので、被写体の顔部の一部の領域（例えば解析対象領域である右側の鼻部）の熱画像は存在しない。これに対して、本実施例では、図６（Ｂ）に示すように、実際には存在しない解析対象領域の一部の熱画像は、解析対象領域の対称性を考慮して適切に補充される。具体的には、本例のように解析対象領域である右側の鼻部の熱画像は、実測により得られた左側の熱画像を用いて補填される。これにより、被写体の姿勢に依存して、必要なサイズで解析対象領域の熱画像が得られない場合であっても、適切な熱分布を表す熱画像が補填されるので、良好な解析精度を維持することができる。尚、熱画像の補充は、被写体の対称性の他、既存の計測データベースを用いて実現することも可能である。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、解析対象領域は、被写体の集中度や眠気度合いと関連の高い自律神経系の活動を反映する部位であれば、例えば手のひらや足の裏などのような、顔部以外の部位であってもよいし、これらの任意の組み合わせであってもよい。また、解析対象領域は、自律神経系の活動を反映する部位を含む限り、その他の自律神経系の活動を反映しない或いは反映の少ない部位を部分的に含んでもよい。

また、上述の実施例では、被験者に対する物理的及び精神的な負担の少ない可視カメラ１６により被写体の姿勢を検出しているが、被験者の被測定部位に幾つかのマーカーを付与して、当該マーカーの３次元位置に基づいて被験者の被測定部位の姿勢を検出することも可能である。

本発明の実施例１による熱画像処理装置の要部を示すシステム構成図である。赤外線カメラ１４及び可視カメラ１６の配置状態を概念的に示す図である。実施例１による熱画像処理装置の主要機能及び処理流れを表す機能ブロック図である。可視画像と座標変換熱画像を概念的に示す図である。実施例２による熱画像処理装置の主要機能及び処理流れを表す機能ブロック図である。姿勢変換熱画像の生成方法を概念的に示す図である。

符号の説明

１０熱画像処理装置
１４赤外線カメラ
１６可視カメラ
３２計測座標間変換処理部
３４姿勢検出処理部
３６解析対象領域特定部

Claims

姿勢が変化しうる被写体の被測定部位を第1位置から捉え、該被測定部位の熱分布を表す熱画像を生成する熱画像撮像カメラと、
同被写体の被測定部位を第２位置から撮像して可視画像を生成する可視画像撮像カメラとを備え、
可視画像に含まれる被写体の被測定部位の所定領域の位置を表す情報を用いて、前記第１位置及び第２位置の相対関係に基づいて、熱画像に含まれる同被測定部位の所定領域の位置を特定することを特徴とする、熱画像処理装置。
前記熱画像における特定された被測定部位の所定領域の熱分布に基づいて、被写体の覚醒状態を推定する覚醒度推定手段を備える、請求項１に記載の熱画像処理装置。
姿勢が変化しうる被写体の被測定部位の熱分布を表す熱画像を生成する熱画像撮像カメラと、
同被写体の被測定部位の姿勢を表す情報を取得する姿勢情報取得手段と、
前記取得した姿勢情報を用いて、熱画像に含まれる同被写体の被測定部位の所定領域を特定することを特徴とする、熱画像処理装置。
前記取得した姿勢情報を用いて、熱画像に含まれる同被写体の被測定部位の姿勢を、所定姿勢に変換する姿勢変換処理手段と、
前記被写体の被測定部位の姿勢が変換された熱画像に基づいて、被写体の覚醒状態を推定する覚醒度推定手段とを備える、請求項３に記載の熱画像処理装置。
前記覚醒度推定手段は、前記変換後の熱画像内に初めて現れる撮像されていない被測定部位の所定領域の一部に対して、所定の熱分布の推定値を充填して前記推定処理を行う、請求項４に記載の熱画像処理装置。