JP2010036762A - 行動推定装置、プログラム - Google Patents

Abstract

【課題】行動推定装置において、使用者が実行している特定行動を検出するまでに要する時間を短縮可能とすること。
【解決手段】画像処理プロセッサが実行する行動推定処理では、撮影装置で撮影した撮影画像を取得し（Ｓ１１０）、熱源カメラからの熱源画像を取得して（Ｓ１３０）、撮影画像に写り込んだ運転者の全特徴点を抽出する（Ｓ１５０）。そして、熱源画像に対して、持込品検出用テンプレートそれぞれを照合して、車室内に存在する持込品を検出し、その持込品についての存在物体情報を生成する（Ｓ２３０）。さらに、特定行動の実行時に持込品を使用しない基本パターンと、車室内に存在する持込品を用いて実行可能な特定行動に対応する行動推定モデルとに、検出特徴点と照合する行動推定モデルを絞り込む（Ｓ２５０）。その絞り込まれた行動推定モデルと、検出特徴点とを照合することで、推定行動を検出している（Ｓ２７０）。
【選択図】図２

Description

本発明は、移動体に搭載され、乗員が実行する行動を推定する行動推定装置、及びプログラムに関する。

従来より、車両に搭載され、車両の乗員が実行する行動を推定する行動推定装置が知られている（特許文献１参照）。
この特許文献１に記載の行動推定装置は、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像（以下、撮影画像とする）に基づき、運転中の運転者が実行すると危険な行動（以下、特定行動とする）の一つである携帯電話の使用の有無（以下、この携帯電話を使用する行動を電話使用行動とする）を判定する画像処理装置とを備えている。そして、この画像処理装置では、電話使用行動中の運転者の手が位置する可能性の高い領域である規定領域を撮影画像中の顔面の周囲に設定し、その規定領域内に、撮影画像中の手が設定時間以上位置し続けていれば、運転者が電話使用行動を実行中であるものと判定している。

ところで、特定行動としては、電話使用行動の他に、ステアリングから手を離してエアコンディショナーやナビゲーション装置を操作する行動、または、ステアリングから手を離して肩や腕を回す行動などが考えられる。

しかしながら、特許文献１に記載の行動推定装置では、撮影画像中の手の位置から電話使用行動が実行されているか否かを判定しているに過ぎないため、この電話使用行動以外の特定行動（以下、一般特定行動とする）を運転者が実行していたとしても、警報を発する等の車両を安全に走行させるための安全制御を実行することができなかった。

これに対して、本願発明者は、特定行動の実行時に得られる特徴点（例えば、人物の手首や肘）の軌跡をモデル化した行動推定モデルを、全ての特定行動について用意し、これら特定行動毎に用意された行動推定モデルそれぞれと、撮影画像から検出した特徴点の軌跡とを照合し、その適合度合いに応じて、運転者が実行している特定行動を検出する画像処理装置を備えたものを提案している（特願２００７−２０３１１１号）。

なお、本願発明者が提案した装置（以下、従来行動推定装置とする）では、特徴点の軌跡が最も一致する行動推定モデルに対応する特定行動を、運転者が実行しているものとして検出している。
特開２００５−２０５９４３号公報

ところで、従来行動推定装置において、当該従来行動推定装置の使用者がどの特定行動を実行しているのかを検出するために、撮影画像から検出した検出特徴点の軌跡を、予め生成されている全ての行動推定モデルと照合する必要があった。

したがって、従来行動推定装置では、検出特徴点の軌跡と照合する行動推定モデルの数が膨大なものとなり、使用者が実行している特定行動を検出するまでに時間を要するという問題があった。

そこで、本発明は、行動推定装置において、使用者が実行している特定行動を検出するまでに要する時間を短縮可能とすることを目的とする。

上記目的を達成するためになされた本発明は、移動体に搭載され、乗員の行動を推定する行動推定装置である。
そして、本発明の行動推定装置では、撮影画像取得手段が、乗員が撮影された撮影画像を繰り返し取得し、乗員の身体上に予め設定された少なくとも一つのポイントを特徴点とし、特徴点検出手段が、その撮影画像が取得される毎に、取得した撮影画像に写り込んだ人物の特徴点の位置である検出特徴点を検出する。

また、乗員が実行する可能性のある行動それぞれを特定行動とし、行動推定モデル格納手段が、各特定行動毎に予め生成され、特定行動を実行する時の特徴点の位置からなる行動推定モデルを、その特定行動時に使用する物体それぞれに関する情報である使用物体情報と対応付けて格納している。

さらに、物体情報取得手段が、移動体内に存在する可能性のある物体それぞれに関する情報である存在物体情報を取得し、その取得した存在物体情報それぞれに基づいて、モデル抽出手段が、行動推定モデル格納手段に格納された行動推定モデルの中から、乗員が実行可能な特定行動に対応する行動推定モデルを抽出すると共に、推定行動検出手段が、特徴点検出手段で検出された検出特徴点を、モデル抽出手段で抽出された行動推定モデルそれぞれと照合し、最も適合率の高い行動推定モデルに対応する特定行動を推定行動として検出する。

つまり、本発明の行動推定装置では、全ての行動推定モデルの中から、存在物体情報に基づいて絞り込まれた行動推定モデルのみと、撮影画像から検出した検出特徴点を照合することにより、乗員が実行している可能性が最も高い行動（即ち、推定行動）を検出する。

したがって、本発明の行動推定装置によれば、存在物体情報に応じて、乗員が実行可能な特定行動に対応する行動推定モデルのみに絞り込まれているため、従来の行動推定装置に比べて、検出特徴点を照合する行動推定モデルの数が削減され、使用者が実行している特定行動を検出するまでに要する時間を短縮することができる。

しかも、本発明の行動推定装置によれば、乗員が実行可能な特定行動を絞り込んだ上で、推定行動を検出しているため、推定行動の検出精度を向上させることができる。
特に、存在物体情報それぞれ、及び使用物体情報それぞれに、少なくとも一つの項目が含まれている場合、本発明の行動推定装置におけるモデル抽出手段は、請求項２に記載のように、規定項目が存在物体情報と一致する使用物体情報と対応付けられた行動推定モデルを抽出するように構成されていることが望ましい。

このように構成された本発明の行動推定装置では、規定項目が存在物体情報と不一致である使用物体情報と対応付けられた行動推定モデル、即ち、使用者が実行する可能性の無い特定行動に対応する行動推定モデルを、検出特徴点の軌跡と照合する対象（以下、照合対象とする）から除外する。

つまり、本発明の行動推定装置によれば、使用者が実行する可能性がより高い特定行動に対応する行動推定モデルのみを抽出するため、乗員が実行している特定行動を他の特定行動として認識する等の誤検出を低減できる。

そして、本発明の行動推定装置において、規定項目は、請求項３に記載のように、物体の有無、物体の種類、物体が存在する位置、物体の軌跡のうち、少なくとも一つであっても良い。

例えば、物体の種類を規定項目とした場合、特定行動に使用される可能性のある物体（以下、使用物体とする）と同じ種類の物体が移動体内に存在していなければ、その種類の使用物体を用いた特定行動が乗員に実行される可能性が無いものとして、該当する種類の使用物体（即ち、移動体内に存在しない物体）についての使用物体情報と対応付けられた行動推定モデルを照合対象から除外する。

これにより、本発明の行動推定装置によれば、乗員に実行される可能性がより高い特定行動に対応した行動推定モデルに照合対象を絞り込むため、乗員が実行している特定行動を他の特定行動として認識する等の誤検出をより確実に低減できる。

さらに、物体が存在する位置（以下、物体位置とする）を規定項目とした場合、使用物体と同じ種類の物体が移動体内に存在していたとしても、その物体位置が使用物体情報中に表された物体位置から規定距離以上離れていれば、その使用物体を用いた特定行動が乗員に実行される可能性が低いものとして、該当する物体位置についての使用物体情報と対応付けられた（即ち、乗員に実行される可能性が低い特定行動についての）行動推定モデルを照合対象から除外する。

これにより、本発明の行動推定装置によれば、検出特徴点の軌跡と照合する行動推定モデルの数を低減でき、特定行動を検出するまでに要する時間をより短縮することができる。

ところで、移動体内の乗員が実行する行動は、必ずしも物体を用いる行動に限るものではなく、物体を用いない行動（例えば、ステアリングからシフトレバーへの手を移動させる行動や、肩を回す行動等）を実行することもある。

このため、使用物体情報それぞれに、対応する特定行動に物体を用いるか否かが含まれている場合、本発明の行動推定装置におけるモデル抽出手段は、請求項４に記載のように、存在物体情報の内容に拘わらず、物体を用いないことを表す使用物体情報と対応付けられた行動推定モデルを常に抽出するように構成されていることが望ましい。

このように構成された行動推定装置によれば、移動体内に物体が存在するか否かに拘わらず実行される可能性のある特定行動（即ち、物体を使用する必要のない特定行動）に対応する行動推定モデルを抽出するため、推定行動の検出精度が低下することを防止することができる。

なお、本発明の行動推定装置は、請求項５に記載のように、存在物体検出手段が、移動体内における物体の有無を検出し、その検出の結果、物体が存在する場合、物体位置検出手段が、各物体の位置を検出すると共に、存在物体情報生成手段が、存在物体検出手段、及び物体位置検出手段での検出結果に基づいて、存在物体情報を生成するように構成されていても良い。

ただし、このように本発明の行動推定装置が構成されている場合、物体情報取得手段は、存在物体情報生成手段で生成された存在物体情報を取得するように構成されている必要がある。

さらに、上述したように（請求項５に記載のように）構成された行動推定装置が、請求項６に記載のように、熱源画像取得手段により、移動体内の温度分布が写り込んだ熱源画像を取得するように構成されている場合、物体検出手段、及び物体位置検出手段それぞれは、物体の種類毎に予め生成された物体モデルを、取得した熱源画像と照合することにより、物体の有無、及び物体の位置を検出するように構成されていることが望ましい。

ただし、ここで言う熱源画像とは、物体から放射される赤外線量の分布（即ち、温度分布）が投影された画像であり、例えば、近赤外画像や、遠赤外画像などである。
さらに、本発明の行動推定装置は、請求項７に記載のように、安全制御手段が、推定行動検出手段で検出された推定行動に応じて、移動体が安全に操縦されるための安全制御を実行するように構成されていても良い。

このように構成された本発明の行動推定装置によれば、乗員が実行している特定行動を早期に検出するため、従来行動推定装置に比べて、安全制御の開始までに要する時間を短縮することができる。この結果、本発明の行動推定装置によれば、移動体をより安全に操縦させることができる。

そして、特定行動のうち、乗員が実行すると移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とした場合、本発明の行動推定装置における安全制御手段は、請求項８に記載のように、推定行動が危険行動であれば、その危険行動を中止すべき旨を報知することを安全制御として実行するように構成されていることが望ましい。

このように構成された本発明の行動推定装置によれば、危険行動を中止するように促すため、移動体をより安全に操縦させることができる。
なお、本発明は、請求項９に記載のように、請求項１ないし請求項８のいずれかに記載の行動推定装置を構成する各手段として、コンピュータを機能させるためのプログラムとしてなされたものであっても良い。

このような本発明のプログラムによれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用され、自動車に搭載された行動推定システムの概略構成を示したブロック図である。なお、以下では、行動推定システム１が搭載された車両を自車両と称す。

この行動推定システム１は、自車両の運転者が実行する可能性のある予め規定された複数の行動（以下、これらの複数の行動をまとめて特定行動群と称し、この特定行動群のうちの各行動を特定行動と称す）の中から、自車両の乗員が実行している可能性が最も高い特定行動（以下、推定行動とする）を検出し、検出結果に応じて、自車両を安全に走行させるための安全制御を実行するものである。
〈全体構成〉
これを実現するために、行動推定システム１は、少なくとも運転者を被写体とした画像（以下、撮影画像とする）を撮影する撮影装置１５と、車室内の温度分布を表す熱源画像を取得する熱源カメラ１６と、自車両に搭載された複数の装置からなる制御対象装置群２０と、撮影装置１５で撮影した撮影画像、及び熱源カメラ１６で取得した熱源画像を画像処理することで推定行動を検出し、その検出した推定行動に従って制御対象装置群２０を制御する画像処理プロセッサ１０とを備えている。

このうち、撮影装置１５は、予め規定された時間間隔で撮影した撮影画像を画像処理プロセッサ１０に繰り返し出力するように構成された周知のデジタルカメラである。その撮影装置１５は、図８に示すように、少なくとも運転席に着座している運転者の上半身（即ち、運転者の頭部、両腕、両手、及び胴体等）、助手席のシート（助手席に人物が着座していれば、その人物）、及びインストルメントパネルの周辺（例えば、ステアリング、シフトレバー、コンソールボックスなど）が撮影画像に収められるように、車室内へとレンズを向けた上で、自車両の天板（または、フロントガラス）に突設されたルームミラーの付け根付近に配置されている。

次に、熱源カメラ１６は、物体から放射される赤外線の量に従って、熱源画像を生成して取得する、いわゆるサーモグラフィーであり、予め規定された時間間隔で熱源画像を生成して画像処理プロセッサ１０に出力するように構成されている。その熱源カメラ１６は、少なくとも運転席に着座している運転者（即ち、運転者の頭部、両腕、両手、及び胴体等）、助手席のシート、及びインストルメントパネル周辺の物体が熱源画像として収められるように、撮影装置１５のレンズとは異なる角度で車室内へとレンズを向けた上で、自車両の天板（または、フロントガラス）に配置されている。

つまり、撮影装置１５及び熱源カメラ１６は、それぞれの配置位置が異なるものの、同一の物体が両画像内に納められる（即ち、被写体となる）ように、予め規定された位置関係にて配置されている。

また、制御対象装置群２０は、周知の経路案内等を行うナビゲーション装置２１と、自車両に搭載された空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２と、自車両に備えられたシートベルトを巻き取るシートベルト巻上装置２３と、ブレーキ機構にて発生する制動力を制御するブレーキ制御装置２４と、パワートレイン機構にて出力する駆動力を制御するパワートレイン制御装置２５とを備えている。

ナビゲーション装置２１は、自車両の現在位置を検出する現在位置検出器と、地図データを格納する地図データ格納部と、音声を出力するスピーカと、画像を表示するモニタと、使用者からの指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ナビ指示入力部とする）と、周知のマイクロコンピュータを中心に構成され、ナビ指示入力部を介して入力された指示に従って、周知の現在位置表示処理、経路設定処理、経路案内処理等を実行すると共に、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御する制御装置とを少なくとも備えている。

また、空調制御装置２２は、使用者の指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ＡＣ指示入力部とする）を少なくとも備え、そのＡＣ指示入力部を介して入力された指示に従って、空気調和装置を制御すると共に、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。

さらに、シートベルト巻上装置２３は、画像処理プロセッサ１０からの制御指令に従って、運転席側のシートベルトを巻き取り、シートベルトの拘束力を増加させるように構成されている。

また、ブレーキ制御装置２４は、画像処理プロセッサ１０からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。

そして、パワートレイン制御装置２５は、画像処理プロセッサ１０からの制御指令に従って、内燃機関のスロットル開度を調整するスロットルアクチュエータや、トランスミッションの出力トルクを調整するトランスミッション制御装置を制御するように構成されている。

〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
画像処理プロセッサ１０は、処理プログラム等を記憶するＲＯＭ１０ａと、データを一時的に格納するＲＡＭ１０ｂと、ＲＯＭ１０ａまたはＲＡＭ１０ｂに格納された処理プログラムに従って各種処理を実行するＣＰＵ１０ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。

このうち、ＲＯＭ１０ａには、熱源カメラ１６で取得した熱源画像に基づいて、特定行動群の中から、運転者が実行している可能性の高い特定行動を絞り込み、その絞り込んだ特定行動の中から推定行動を検出し、その検出結果に応じて、安全制御を行う行動推定処理をＣＰＵ１０ｃに実行させるための処理プログラムが格納されている。

さらに、ＲＯＭ１０ａには、行動推定処理を実行する時に参照される（即ち、行動推定処理の実行に必要な）特徴点リストと、物体検出用テンプレートと、行動推定モデル群とが格納されている。

このうち、特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の身体上に設定された特徴点を検出するためのものであり、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。

そして、腕部リストには、図６に示すように、人体の右肩（図中、ｄ１），左肩（ｄ４），右ひじ（ｄ２），左ひじ（ｄ５），右手首（ｄ３），左手首（ｄ６）が特徴点として少なくとも設定されている。

さらに、頭部リストには、図７（Ａ）に示すように、顔面の鼻（ｆ１）を検出し、その鼻を中心とした顔面領域を抽出するための顔面検出テンプレートと、図７（Ｂ）に示すように、顔面の右目頭（図中，ｆｒ３），左目頭（ｆｌ３），右目尻（ｆｒ２），左目尻（ｆｌ２），右口角（ｆｒ４），左口角（ｆｌ４），右耳珠点（ｆｒ５），左耳珠点（ｆｌ５）が特徴点として少なくとも設定された顔面特徴点検出テンプレートとが含まれている。
〈物体検出用テンプレート〉
次に、物体検出用テンプレートについて説明する。

この物体検出用テンプレートは、車室内に存在し、かつ自車両の乗員によって車室内に持ち込まれた物体（以下、持込品とする）を、熱源画像を用いて検出するためのものである。

そして、各物体検出テンプレートは、持込品が存在する可能性のある熱源画像上での領域（以下、物体存在候補領域とする）を特定するための候補領域テンプレートと、車室内に存在する持込品を検出するための持込品検出用テンプレートとから構成されている。

このうち、候補領域テンプレートは、各物体存在候補領域の大きさ及び位置（例えば、領域の端部の座標等）を、熱源カメラ１６の設置位置に基づいて予め規定したものである。なお、本実施形態における物体存在候補領域としては、助手席のシート上、自車両に搭載されているドリンクホルダー、携帯電話ホルダー、灰皿が少なくとも設定されている。

一方、持込品検出用テンプレートは、持込品の種類毎に予め規定したものであり、その持込品の種類に応じた形状、大きさに加えて、その持込品の（即ち、形状内での）温度分布が含まれている。

なお、本実施形態における持込品として、携帯電話、たばこ、缶やペットボトル、瓶に注入されたドリンク等がある。
〈行動推定モデル群〉
次に、行動推定モデル群について説明する。

ここで、図１３，１４は、行動推定モデル、及び後述する使用物体情報を例示した説明図である。
この行動推定モデル群は、撮影画像から検出した特徴点（以下、検出特徴点とする）の位置に基づいて、推定行動を検出するために用いるものであり、特定行動毎に予め設定された行動推定モデルからなる。

そして、行動推定モデルそれぞれは、各特定行動を開始した時の各特徴点の位置（即ち、開始位置）と、その特定行動を終了した時の各特徴点の位置（即ち、終端位置）と、開始位置から終端位置への（即ち、その特定行動を実行中の）各特徴点の移動経路（即ち、特徴点軌跡）とを備えている。

また、行動推定モデルそれぞれには、その行動推定モデルに対応する特定行動（以下、対応特定行動とする）の実行時に使用する物体（即ち、持込品）それぞれに関する情報である使用物体情報が対応付けられている。

この使用物体情報は、対応特定行動に持込品を使用する必要があるか否かを表す使用有無情報と、使用有無情報が持込品を使用することを表す場合に付帯される持込品使用時情報とからなる。

そして、持込品使用時情報には、各対応特定行動に使用する持込品の種類を表す使用物種類と、その持込品が存在する可能性のある領域（即ち、位置）を表す使用物位置と、対応特定行動の実行時に持込品が移動する軌跡を表す持込品軌跡とが備えられている。

ところで、本実施形態における特定行動としては、自車両に搭載された操作機器群のうちの一つを運転者が継続して操作している行動（以下、操作継続行動とする）や、１つの操作機器から他の操作機器へと運転者が手等を移動させる行動（以下、遷移行動とする）がある。

そして、本実施形態における操作機器としては、ルームミラーや、助手席のシート、空気調和装置の吹き出し口（いわゆる左右のブロワ）、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバー、物品を収納するためのグローブボックス、コンソールボックスが少なくとも設定されている。

つまり、操作継続行動についての行動推定モデルでは、一つの操作機器が開始位置及び終端位置として設定され、遷移行動についての行動推定モデルでは、１つの操作機器が開始位置として、他の操作機器が終端位置として設定されている。したがって、操作継続行動及び遷移行動についての行動推定モデルは、開始位置と終了位置との組合せ分だけ存在する。

そして、操作継続行動、及び遷移行動についての行動推定モデルそれぞれと対応付けられた使用物体情報中の使用有無情報は、操作継続行動、もしくは遷移行動の実行時に持込品の使用が無いことを表すものとされている。

また、本実施形態における特定行動としては、運転者が持込品を操作する行動（以下、持込品操作行動とする）や、運転者が自身の身体部位に触れる行動（以下、タッチ行動とする）がある。

このうち、持込品操作行動としては、図１０に示すように、左右いずれかの手で携帯電話を保持し、その携帯電話を左右いずれかの耳にあてがい、運転者が通話するまでの一連の行動（以下、電話使用行動とする）がある。このほか、持込品操作行動としては、図１１（Ａ）に示すように、左右いずれかの手でドリンクを保持し、そのドリンクを口にあてがい、運転者が飲み物を飲むまでの一連の行動（以下、飲食行動とする）や、図１１（Ｂ）に示すように、左右いずれかの手でたばこを保持し、そのたばこを口にあてがい、運転者が喫煙するまでの一連の行動（以下、喫煙行動とする）がある。

つまり、持込品操作行動についての行動推定モデルでは、開始位置及び終端位置として、操作機器、物体存在候補領域、特徴点のいずれか一つが設定されている。
そして、持込品操作行動についての行動推定モデルそれぞれと対応付けられた使用物体情報では、持込品を使用することを表すものとして使用有無情報が設定され、使用物種類、使用物位置、持込品軌跡が対応特定行動で使用される持込品に応じたものとして持込品使用時情報が設定されている。

さらに、タッチ行動としては、図１２に示すように、左右いずれかの手で左右いずれかの耳に触れるまでの一連の行動や、左右いずれかの手で左右いずれかの肩、上腕、前腕をマッサージするまでの一連の行動（以下、これらをマッサージ行動とする）、左右いずれかの肩や腕を回すまでの一連の行動がある。

つまり、タッチ行動についての行動推定モデルでは、開始位置及び終端位置として、特徴点のいずれか一つが設定されている。そして、タッチ行動についての行動推定モデルそれぞれと対応付けられた使用物体情報中の使用有無情報は、タッチ行動の実行時に持込品の使用が無いことを表すものとされている。
〈行動推定処理〉
次に、ＣＰＵ１０ｃが実行する行動推定処理について説明する。

ここで、図２は、行動推定処理の処理手順を示したフローチャートである。
この行動推定処理は、画像処理プロセッサ１０が起動されると（本実施形態では、イグニッションスイッチがオンされた時）、起動されるものである。

そして、図２に示すように、行動推定処理が起動されると、まずＳ１１０では、撮影装置１５で撮影した撮影画像を取得する。続く、Ｓ１３０では、熱源カメラ１６からの熱源画像を取得する。

そして、Ｓ１５０では、Ｓ１１０で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全特徴点を抽出し、抽出した全特徴点をＲＡＭ１０ｂの所定領域に格納する。以下、抽出した特徴点を検出特徴点と称す。

ただし、所定領域は、Ｓ１５０で抽出した全特徴点を、最新のものから少なくとも過去数サイクル分、即ち、全特徴点を所定数Ｎ（Ｎは自然数、ここでは、３０とする）だけ格納可能なように設定されている。

なお、この特徴点を抽出する処理については、腕部リストに設定された特徴点を抽出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点を抽出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。

続く、Ｓ１７０では、ＲＯＭ１０ａに格納されている候補領域テンプレートを読み出す。すなわち、Ｓ１７０では、全ての物体存在候補領域を読み出す。
そして、Ｓ１９０では、撮影装置１５及び熱源カメラ１６それぞれの配置位置に基づいて、Ｓ１５０で抽出した全検出特徴点のうち、予め規定された規定点を熱源画像上での座標系に変換する。なお、以下では、撮影画像上での座標系から熱源画像上での座標系に変換された規定点を変換特徴点と称す。

具体的に、Ｓ１９０にて行われる撮影画像での座標系から熱源画像での座標系への変換は、３次元空間に存在する一つの地点を互いに異なる位置に配置した２つの平面に投影した時の位置関係に基づく周知のエピポーラ拘束を用いて行う。このエピポーラ拘束を用いることで、撮影画像上の座標系では、一つの点であった特徴点が、変換特徴点では、奥行きを有した線分として表される。

さらに、Ｓ２００では、Ｓ１９０にて変換した各変換特徴点を中心に、その変換特徴点から予め規定された範囲内である領域（以下、特徴点領域）を、持込品が存在する可能性のある領域として特定する。

ただし、本実施形態では、規定点として、左右の手首（ｄ３，ｄ６）、左右の耳珠点（ｆｒ５，ｆｌ５）、左右の口角（ｆｒ４、ｆｌ４）を規定し、特徴点領域として、図９に示すように、左右の手首それぞれを中心とした手首領域、左右の耳珠点それぞれを中心とした耳珠点領域、左右の口角をまとめた口領域を特定している。

さらに、Ｓ２１０では、熱源画像上において持込品を探索すべき領域（以下、探索領域とする）をＲＡＭ１０ｂに記憶し、Ｓ２３０へと進む。
具体的に、本実施形態では、探索領域として、全ての物体存在候補領域と、Ｓ２００で特定した全特徴点領域とを設定する。ただし、物体存在候補領域と特徴点領域とが重複する場合や、特徴点領域同士が重複する場合、それらの重複する領域を少なくとも含むように、より大きな領域を探索領域の一つとして設定する。

そして、Ｓ２３０では、熱源画像上の各探索領域に、持込品検出用テンプレートを照合して、車室内に実際に存在している持込品を検出し、その検出された持込品に関する情報（以下、存在物体情報とする）を生成する存在物体情報生成処理を実行する。

続く、Ｓ２５０では、Ｓ２３０で生成した存在物体情報に基づいて、ＲＯＭ１０ａに格納されている全行動推定モデルの中で、運転者が実行可能な特定行動に対応付けられた行動推定モデルを抽出するモデル絞込処理を実行する。

さらに、Ｓ２７０では、Ｓ１５０にて抽出した検出特徴点と、Ｓ２５０にて抽出された行動推定モデルそれぞれとを照合し、推定行動を検出する推定行動検出処理を実行する。
続くＳ２９０では、Ｓ２７０の推定行動検出処理で検出した推定行動に応じて、自車両を安全に走行させるための安全制御処理を実行する。

具体的に、本実施形態の安全制御処理では、Ｓ２７０の推定行動検出処理で検出した推定行動が、予め規定された特定行動である危険行動であれば、現在実行している行動（即ち、危険行動）を中止すべき旨を、ナビゲーション装置２１のスピーカーから音声にて出力し、ナビゲーション装置２１のモニタに表示させる。

なお、本実施形態における危険行動は、自車両の運転に危険を及ぼす可能性のある特定行動であり、具体的には、電話使用行動や、飲食行動、助手席のシートを操作する操作継続行動及び遷移行動、ルームミラーを操作する操作継続行動及び遷移行動、グローブボックスを操作する操作継続行動及び遷移行動、コンソールボックスを操作する操作継続行動及び遷移行動などが規定されている。

そして、その後、Ｓ１１０へと戻り、自車両の内燃機関が停止されるまで、Ｓ１１０からＳ２９０を繰り返す。
〈存在物体情報生成処理〉
次に、行動推定処理のＳ２３０にて実行される存在物体情報生成処理について説明する。

ここで、図３は、存在物体情報生成処理の処理手順を示したフローチャートである。
図３に示すように、存在物体情報生成処理は、行動推定処理のＳ２３０にて起動されると、まず、Ｓ２３１０では、先のＳ２１０にてＲＡＭ１０ｂに記憶された探索領域を読み出し、その読み出した探索領域を先のＳ１３０で取得した熱源画像上に設定する。

続く、Ｓ２３２０では、ＲＯＭ１０ａに格納されている全持込品検出用テンプレートの中から、一つを読み込み、Ｓ２３３０へと進む。ただし、今サイクルの存在物体情報生成処理において、Ｓ２３２０へと２回目以降に進んだ場合には、ＲＯＭ１０ａに格納されている全持込品検出用テンプレートの中から、未だに読み込まれていないものを一つ読み込み、Ｓ２３３０へと進む。

そして、Ｓ２３３０では、Ｓ２３１０で設定された全探索領域のうちの一つに、Ｓ２３２０で読み込んだ持込品検出用テンプレートを照合することで、一つの探索領域内に存在する持込品を検出する。ただし、今サイクルの存在物体情報生成処理において、Ｓ２３３０へと２回目以降に進んだ場合には、Ｓ２３２０で読み込んだ持込品検出用テンプレートが未だに照合されていない探索領域に対して、Ｓ２３２０で読み込んだ持込品検出用テンプレートを照合する。

具体的に、本実施形態では、探索領域内の画素の分布（即ち、温度分布）と、持込品検出テンプレートで表された温度分布とを比較し、その温度分布の一致度合いが、予め設定された適合率以上となる画素の分布が探索領域内に存在していれば、その照合した持込品検出用テンプレートに対応する持込品が車室内に存在するものとして検出している。

続くＳ２３４０では、Ｓ２３３０にて持込品が検出されたか否かを判定し、判定の結果、持込品が検出されていれば、Ｓ２３５０へと進む。
そのＳ２３５０では、Ｓ２３３０で検出された持込品についての情報である存在物体情報を生成して、その後、Ｓ２３６０へと進む。

なお、存在物体情報は、Ｓ２３３０にて検出された持込品毎に生成されるものであり、検出された持込品の種類（以下、物体種類とする）、その持込品が検出された領域名（以下、物体存在領域とする）、その持込品が検出された位置（すなわち、座標、以下、物体存在座標とする）が少なくとも含まれている。

具体的に、本実施形態では、Ｓ２３３０にて用いた持込品検出用テンプレートに対応する持込品の種類をそのまま物体種類とし、Ｓ２３３０にて持込品検出用テンプレートとの照合の対象とした探索領域をそのまま物体存在領域とする。すなわち、Ｓ２３３０にて照合した持込品検出用テンプレートが携帯電話についてのものであれば、携帯電話を物体種類とし、その携帯電話が検出された探索領域が左耳珠領域であれば、物体存在領域を左耳珠点周辺領域としている。

一方、Ｓ２３４０での判定の結果、Ｓ２３３０にて持込品が検出されなければ、即ち、持込品検出用テンプレートの照合対象とした探索領域内に持込品が存在していなければ、Ｓ２３５０を実行することなく、Ｓ２３６０へと進む。

そして、Ｓ２３６０では、Ｓ２３２０で読み込んだ持込品検出用テンプレートを全探索領域に対して照合したか否かを判定し、判定の結果、持込品検出用テンプレートの照合を全探索領域に対して実行していなければ、Ｓ２３３０へと戻る。

そして、Ｓ２３３０へと戻ると、Ｓ２３２０で読み込んだ持込品検出用テンプレートを、未だ照合していない探索領域に対して照合する（即ち、Ｓ２３２０〜Ｓ２３６０を繰り返し実行する）。

一方、Ｓ２３６０での判定の結果、持込品検出用テンプレートの照合を全探索領域に対して実行していれば、Ｓ２３２０で読み込んだ持込品検出用テンプレートに対応付けられた持込品が、車室内に存在しているか否かの判定が終了したものとして、Ｓ２３７０へと進む。

そのＳ２３７０では、ＲＯＭ１０ａに格納されている全持込品検出用テンプレートを全探索領域に対して照合したか否かを判定し、判定の結果、全持込品検出用テンプレートの照合が終了していなければ、Ｓ２３２０へと戻る。

そして、Ｓ２３２０へと戻ると、ＲＯＭ１０ａに格納されている全持込品検出用テンプレートの中から、未だ読み込まれていないものを一つ読み込み、Ｓ２３３０からＳ２３６０を繰り返し実行する。

一方、Ｓ２３７０での判定の結果、全持込品検出用テンプレートの照合が終了していれば、本存在物体情報生成処理を終了して、行動推定処理のＳ２５０へと戻る。
つまり、本実施形態の存在物体情報生成処理では、熱源画像に対して、持込品検出用テンプレートそれぞれを照合して、その持込品検出用テンプレートにおける温度分布との一致度合いが設定閾値以上となる画素の分布が存在すれば、車室内に持込品が存在するものとして、その持込品についての存在物体情報を生成する。
〈モデル絞込処理〉
次に、行動推定処理のＳ２５０にて実行されるモデル絞込処理について説明する。

ここで、図４は、モデル絞込処理の処理手順を示したフローチャートである。
図４に示すように、モデル絞込処理は、起動されると、Ｓ２５１０では、ＲＯＭ１０ａに記憶されている全行動推定モデルの中から、基本パターンとして予め規定された複数の行動推定モデルを、検出特徴点と照合する対象である照合対象モデルとして読み込む。

具体的に、本実施形態における基本パターンとしては、特定行動の実行時に持込品の使用が無いことを表す使用有無情報を有した使用物体情報と対応付けられた行動推定モデルが設定されている。すなわち、操作継続行動、遷移行動、タッチ行動を検出するための行動推定モデルが、基本パターンとして設定されている。

続くＳ２５２０では、先の存在物体情報生成処理にて、存在物体情報を一つでも生成したか否かを判定し、判定の結果、一つでも存在物体情報を生成していれば、Ｓ２５３０へと進む。

そのＳ２５３０では、ＲＯＭ１０ａに格納されている全行動推定モデルの中から、予め規定された規定条件を満たす行動推定モデルを抽出して、Ｓ２５４０へと進む。
具体的に、本実施形態では、先の存在物体情報生成処理にて生成された存在物体情報と、使用物体情報とを対比し、その対比の結果、物体種類及び物体存在領域の両方と一致する使用物種類、及び使用物位置が持込品使用時情報に含まれている使用物体情報と対応付けられた行動推定モデルを、規定条件を満たすものとしている。

つまり、Ｓ２５３０では、ＲＯＭ１０ａに格納されている行動推定モデルの中から、存在物体情報中の物体種類、及び物体存在領域に応じて、運転者が実行可能な特定行動についての行動推定モデルのみを抽出している。

また、Ｓ２５５０では、Ｓ２５３０にて抽出した行動推定モデルを照合対象モデルとして、基本パターンに追加し、その後、Ｓ２５６０へと進む。
なお、Ｓ２５２０での判定の結果、存在物体情報が一つも生成されていない場合には、基本パターンとして設定されている行動推定モデルに対応する特定行動のみを運転者が実行可能であるものとして、Ｓ２５３０及びＳ２５５０を実行すること無く、Ｓ２５６０へと進む。

そのＳ２５６０では、このＳ２５６０へと進んだ時点で、照合対象モデルとして読み込んでいる行動推定モデルを、推定行動検出処理で検出特徴点と実際に照合するモデルとして確定する。

具体的に、本実施形態では、ＲＡＭ１０ｂに予め用意された抽出リストに、照合対象モデルとして読み込んだ各行動推定モデルを登録する。
そして、その後、本モデル絞込処理を終了し、行動推定処理のＳ２７０（推定行動検出処理）へと戻る。

つまり、本実施形態のモデル絞込処理では、特定行動の実行時に持込品を使用しない基本パターンと、車室内に存在する持込品を用いて乗員が実行可能な特定行動に対応する行動推定モデルとに、推定行動検出処理にて検出特徴点と照合する行動推定モデルを絞り込む。
〈推定行動検出処理〉
次に、行動推定処理のＳ２７０にて実行される推定行動検出処理について説明する。

ここで、図５は、推定行動検出処理の処理手順を示したフローチャートである。
図５に示すように、推定行動検出処理は、起動されると、まず、Ｓ２７１０にて、ＲＡＭ１０ｂの所定領域に格納されている全特徴点を読み出し、各特徴点の軌跡（以下、実動作軌跡とする）を特定する。さらに、先の存在物体情報生成処理にて存在物体情報が生成されていれば、物体存在座標に基づいて、運転者が特定行動を実行することによって持込品が移動した軌跡（以下、物体軌跡とする）を導出する。そして、その後、Ｓ２７２０へと進む。

そして、Ｓ２７２０では、抽出リストに登録されている全行動推定モデルの中から、一つの行動推定モデルを読み込む。この時、読み込んだ行動推定モデルと対応する使用物体情報に持込品使用時情報が含まれていれば、その持込品使用時情報中の持込品軌跡も読み込む。そして、その後、Ｓ２７３０へと進む。

さらに、Ｓ２７３０では、Ｓ２７２０で読み込んだ行動推定モデル中の特徴点軌跡と、Ｓ２７１０で特定された実動作軌跡とのなす角（以下、判定角度と称す）を算出する。この時、Ｓ２７１０で物体軌跡が導出され、かつＳ２７２０で持込品軌跡が読み込まれていれば、物体軌跡と持込品軌跡とのなす角（以下、持込品軌跡角度とする）も算出する。そして、その後、Ｓ２７４０へと進む。

また、Ｓ２７４０では、Ｓ２７２０にて読み込まれていない行動推定モデルが抽出リストに存在しているか否かを判定し、判定の結果、読み込まれていない行動推定モデルが抽出リストに存在していれば、Ｓ２７２０へと戻る。

ただし、今サイクルの推定行動検出処理において、Ｓ２７２０へと２回目以降に進んだ場合には、判定角度の算出に未だ用いていない行動推定モデルを抽出リストから読み込む。

一方、Ｓ２７４０での判定の結果、読み込まれていない行動推定モデルが抽出リストに存在しなければ、即ち、抽出リストに登録されている全行動推定モデルを用いて判定角度を算出していれば、Ｓ２７５０へと進む。そのＳ２７５０では、全判定角度の中から、最小の角度である最小判定角度を特定する。

続く、Ｓ２７６０では、最小判定角度が、予め設定された設定閾値未満であるか否かを判定し、判定の結果、最小判定角度が設定閾値以上であれば、運転者が実行している行動が、行動推定モデルと対応付けられた特定行動以外であるものとして、Ｓ２７７０へと進む。

そのＳ２７７０では、特定行動毎に予め用意されている特定行動フラグを全てローレベルに設定し、Ｓ２７９０へと進む。
一方、Ｓ２７６０での判定の結果、最小判定角度が設定閾値未満であれば、最小判定角度を算出するために用いた行動推定モデルと対応付けられた特定行動を、運転者が実行している可能性が最も高い特定行動であるものとして、Ｓ２７８０へと進む。

以下では、最小判定角度を算出するために用いた行動推定モデルと対応付けられた特定行動を、推定行動候補とする。ただし、Ｓ２７３０にて持込品軌跡角度が算出されている場合、最小判定角度が設定閾値未満であることに加えて、最小判定角度と同時に算出された持込品軌跡角度が予め規定された規定閾値未満であれば、最小判定角度を算出するために用いた行動推定モデルと対応付けられた特定行動を、推定行動候補とする。

そのＳ２７８０では、推定行動候補についての特定行動フラグをハイレベルに設定して、Ｓ２７９０へと進む。
そのＳ２７９０では、推定行動候補が確実に実行されている行動であるか否かを判定し、判定の結果、推定行動候補が確実に実行されていれば、その推定行動候補を推定行動として確定する推定行動確定処理を実行する。

具体的に、本実施形態の推定行動確定処理では、ハイレベルである特定行動フラグに従って、予め規定された数サイクル連続して、同一の特定行動である推定行動候補が検出されたか否かを判定し、判定の結果、数サイクル連続して同一の特定行動である推定行動候補が検出された場合に、その推定行動候補が確実に実行されているものと判定している。

そして、その後、行動推定処理のＳ１４０へと戻る。
つまり、本実施形態の推定行動検出処理では、抽出リストに登録されている行動推定モデルの特徴点軌跡それぞれと、実動作軌跡とのなす判定角度のうち、最小判定角度が設定閾値未満であれば、最小判定角度を求めるために用いた行動推定モデルに対応する特定行動を推定行動候補としている。そして、推定行動候補が、数サイクル連続して同一である場合に、その推定行動候補を推定行動として検出している。

以上、説明したように、本実施形態の行動推定処理では、熱源画像を画像処理することことで生成した存在物体情報に基づいて、ＲＯＭ１０ａに格納されている全行動推定モデルの中から、運転者が実行可能な特定行動に対応する行動推定モデルを照合対象モデルとして絞り込んでいる。そして、絞り込まれた行動推定モデルと、撮影画像から検出した検出特徴点とを照合することで、推定行動を検出している。
［実施形態の効果］
これにより、本実施形態の行動推定システム１では、存在物体情報に応じて、乗員が実行可能な特定行動に対応する行動推定モデルのみに照合対象モデルを絞り込んでいるため、従来の行動推定装置に比べて、検出特徴点を照合する行動推定モデルの数が削減され、運転者が実行している特定行動を検出するまでに要する時間を短縮することができる。

また、本実施形態の行動推定システム１によれば、車室内に存在する持込品の種類、及び位置に基づいて、乗員が実行可能な特定行動を絞り込んだ上で、推定行動を検出しているため、運転者が実行している特定行動を他の特定行動として認識する等の誤検出を低減できる。

しかも、本実施形態の行動推定システム１では、持込品が車室内に存在しているか否かにに拘わらず、運転者が実行する可能性のある特定行動（即ち、持込品を使用する必要のない特定行動）に対応する行動推定モデルを抽出しているため、推定行動の検出精度が低下することを防止することができる。

そして、本実施形態の行動推定システム１によれば、存在物体情報が生成可能であれば、実動作軌跡を特徴点軌跡と照合することに加えて、物体軌跡を持込品軌跡と照合することで、推定行動を検出しているため、推定行動の検出精度をより向上させることができる。

なお、本実施形態の行動推定システム１によれば、運転者が実行している特定行動を早期に検出するため、従来行動推定装置に比べて、安全制御の開始までに要する時間を短縮することができる。

特に、行動推定システム１によれば、推定行動が危険行動である場合に、危険行動を中止するように促すため、自車両をより安全に操縦させることができる。
これらの結果、行動推定システム１によれば、自車両の安全な走行を実現することができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限るものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することができる。

例えば、上記実施形態では、車室内に存在する持込品の種類、及び位置を検出するために、熱源カメラ１６にて生成した熱源画像を用いていたが、車室内に存在する持込品の種類、及び位置を検出する方法は、これに限るものではない。

この熱源カメラ１６にて生成した熱源画像を用いることなく車室内に存在する持込品の種類、及び位置を検出する方法としては、カラー画像の色を解析する方法や、車室内に存在する物体の水分含有量を求める方法が考えられる。

ただし、前者の方法であれば、熱源カメラ１６に換えて、カラー画像を撮影可能な撮影装置が自車両に搭載されている必要がある。また、後者の方法であれば、車室内に電波を照射し、反射波を解析して水分含有量を求めるレーダ分析装置が自車両に搭載されている必要がある。

ところで、上記実施形態のモデル絞込処理におけるＳ２５３０では、車室内に存在する持込品を用いて乗員が実行可能な特定行動（以下、持込品使用行動とする）に対応する行動推定モデルを絞り込むための規定条件として、物体種類及び物体存在領域の両方と一致する使用物種類、及び使用物位置が持込品使用時情報に含まれていることとしていたが、規定条件は、これに限るものではない。

規定条件としては、例えば、物体種類と使用物種類とのみが一致することでも良いし、持込品の使用があることを表す使用有無情報が含まれていることでも良い。
また、上記実施形態のモデル絞込処理では、操作継続行動、遷移行動、タッチ行動を検出するための行動推定モデルを、基本パターンとしていたが、基本パターンは、これに限るものではなく、例えば、操作継続行動、遷移行動を検出するための行動推定モデルだけでも良いし、操作継続行動、遷移行動、タッチ行動のうちの一部の特定行動を検出するための行動推定モデルだけでも良い。

さらには、上記実施形態のモデル絞込処理では、持込品使用行動に対応する行動推定モデルを、基本パターンに加えて、照合対象モデルとしていたが、照合対象モデルは、これに限るものではなく、持込品使用行動に対応する行動推定モデルだけを照合対象モデルとしても良い。

また、上記実施形態の推定行動検出処理では、存在物体情報生成処理にて存在物体情報を生成可能であれば、実動作軌跡を特徴点軌跡と照合することに加えて、物体軌跡を持込品軌跡と照合することで、推定行動を検出していたが、推定行動の検出は、これに限るものではなく、存在物体情報生成処理にて存在物体情報を生成可能であるか否かに拘わらず、実動作軌跡を特徴点軌跡と照合することのみによって実行されてもよい。

ところで、上記実施形態では、開始位置、終端位置、特徴点軌跡からなるものとして行動推定モデルを構成していたが、行動推定モデルの構成は、これに限るものではない。
例えば、車載機器や、持込品を操作する操作行動を検出するための行動推定モデルであれば、操作行動を実行した運転者の各特徴点が帰着する位置（以下、目標地点とする）と、操作行動を実行したとみなせる運転者の各特徴点が位置する領域（以下、帰着領域とする）と、その操作行動を実行しようとする運転者の各特徴点が通過する領域（以下、通過領域とする）と、その操作行動を実行しようとする運転者の各特徴点が通過領域内を通過する時の方向の範囲（以下、検出許容範囲とする）とから構成されていても良い。

また、肩回し行動や、腕回し行動等を検出するための行動推定モデルであれば、その特定行動を実行中である運転者の連続的に変化する各特徴点が位置する複数の地点（以下、特定点とする）と、各特定点毎に設けられ、それぞれの特定点を中心に、特定行動を実行中である運転者の各特徴点が位置する可能性のある領域（以下、許容領域とする）とから構成されていても良い。

このように行動推定モデルが構成されている場合、各検出特徴点の位置が、帰着領域（もしくは、通過領域）や、許容領域内であるか否か、及び各検出特徴点の動きベクトルが検出許容範囲内であるか否かに基づいて、推定行動を検出する必要がある。

なお、上記実施形態の行動推定処理におけるＳ１９０では、撮影画像上の検出特徴点を、熱源画像上の変換特徴点へと変換するためにエピポーラ拘束を用いたが、この変換は、エピポーラ拘束を用いた方法に限るものではない。例えば、撮影装置１５の配置位置と、熱源カメラ１６の配置位置とに基づく対応関係を表すテーブルを用いて変換を行っても良い。つまり、３次元空間に存在する一つの地点を互いに異なる位置に配置した２つの平面に投影した時の位置関係に基づいて変換されれば、どのような方法であっても良い。

また、上記実施形態における安全制御処理では、ナビゲーション装置２１のスピーカや、モニタを用いて、運転者に警告を発していたが、安全制御処理の処理内容は、これに限るものではない。

例えば、ＣＰＵ１０ｃが空調制御装置２２に制御指令を出力して、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行しても良いし、ＣＰＵ１０ｃがシートベルト巻上装置２３に制御指令を出力して、シートベルト巻上装置２３がシートベルトの拘束力を増加させるようにしても良い。さらには、ＣＰＵ１０ｃがブレーキ制御装置２４に制御指令を出力して、ブレーキ制御装置２４が自車両の制動力を増加させるようにしても良いし、ＣＰＵ１０ｃがパワートレイン制御装置２５に制御指令を出力して、パワートレイン制御装置２５が自車両を減速させるようにしても良いし、それらを任意で組合わせても良い。

つまり、安全制御処理では、推定行動が危険行動である場合に、その危険行動を実行することが危険であることを運転者に認識させ、自車両が安全に運転されるように制御するのであれば、どのような処理を行っても良い。

そして、上記実施形態における安全制御処理では、推定行動が危険行動である場合にのみ、安全制御を実行していたが、安全制御は、推定行動が危険行動であるか否かに拘わらず実行しても良い。この場合、推定行動検出処理にて検出された推定行動の内容に応じて、制御内容が変更されることが望ましい。

なお、上記実施形態において、行動推定システム１は、自動車に搭載されていたが、行動推定システム１が搭載されるものは、自動車に限るものではなく、例えば、航空機や船舶、電車などの移動体に、行動推定システム１が搭載されていても良い。

そして、上記実施形態の行動推定システム１では、推定行動の検出対象となる人物は、運転者であったが、推定行動の検出対象となる人物は、これに限るものではなく、助手席に着座した人物であっても良い。
［本発明と実施形態との対応］
上記実施形態の行動推定処理におけるＳ１１０を実行することで得られる機能が、本発明の撮影画像取得手段に相当し、行動推定処理のＳ１５０を実行することで得られる機能が、本発明の特徴点検出手段に相当し、画像処理プロセッサ１０のＲＯＭ１０ａが、本発明の行動推定モデル格納手段に相当する。

そして、上記実施形態の存在物体情報生成処理を実行することで得られる機能が、本発明の物体情報取得手段に相当し、モデル絞込処理を実行することで得られる機能が、本発明のモデル抽出手段に相当し、推定行動検出処理を実行することで得られる機能が、本発明の推定行動検出手段に相当する。

さらに、上記実施形態の存在物体情報生成処理におけるＳ２３３０を実行することで得られる機能が、本発明の存在物体検出手段及び物体位置検出手段に相当し、存在物体情報生成処理のＳ２３５０を実行することで得られる機能が、本発明の存在物体情報生成手段に相当する。

また、上記実施形態の行動推定処理におけるＳ１３０を実行することで得られる機能が、本発明の熱源画像取得手段に相当し、行動推定処理のＳ２９０を実行することで得られる機能が、本発明の安全制御手段に相当する。

本発明が適用された行動推定システムの概略構成を示すブロック図である。 行動推定処理の処理手順を示したフローチャートである。 存在物体情報生成処理の処理手順を示したフローチャートである。 モデル絞込処理の処理手順を示したフローチャートである。 推定行動検出処理の処理手順を示したフローチャートである。 腕部に設定された特徴点を例示した説明図である。 顔面に設定された特徴点を例示した説明図である。 撮影画像について例示した説明図である。 特徴点領域について例示した説明図である。 特定行動のうち、電話使用行動について例示した説明図である。 特定行動のうち、飲食行動、及び喫煙行動について例示した説明図である。 特定行動のうち、タッチ行動について例示した説明図である。 行動推定モデル、及び使用物体情報について例示した説明図である。 行動推定モデル、及び使用物体情報について例示した説明図である。

符号の説明

１…行動推定システム １０…画像処理プロセッサ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…撮影装置 ２０…制御対象装置群 ２１…ナビゲーション装置 ２２…空調制御装置 ２３…シートベルト巻上装置 ２４…ブレーキ制御装置 ２５…パワートレイン制御装置

Claims (9)

1. 移動体に搭載され、乗員の行動を推定する行動推定装置であって、
   乗員が撮影された撮影画像を繰り返し取得する撮影画像取得手段と、
   乗員の身体上に予め設定された少なくとも一つのポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点の位置である検出特徴点を検出する特徴点検出手段と、
   前記乗員が実行する可能性のある行動それぞれを特定行動とし、各特定行動毎に予め生成され、前記特定行動を実行する時の前記特徴点の位置からなる行動推定モデルを、その特定行動時に使用する物体それぞれに関する情報である使用物体情報と対応付けて格納する行動推定モデル格納手段と、
   前記移動体内に存在する可能性のある物体それぞれに関する情報である存在物体情報を取得する物体情報取得手段と、
   前記物体情報取得手段で取得された存在物体情報それぞれに基づいて、前記行動推定モデル格納手段に格納された行動推定モデルの中から、前記乗員が実行可能な特定行動に対応する行動推定モデルを抽出するモデル抽出手段と、
   前記特徴点検出手段で検出された検出特徴点を、前記モデル抽出手段で抽出された行動推定モデルそれぞれと照合し、最も適合率の高い前記行動推定モデルに対応する特定行動を推定行動として検出する推定行動検出手段と
   を備えることを特徴とする行動推定装置。
2. 前記存在物体情報それぞれ、及び前記使用物体情報それぞれには、少なくとも一つの項目が含まれており、
   前記モデル抽出手段は、
   規定された項目である規定項目が前記存在物体情報と一致する前記使用物体情報と対応付けられた前記行動推定モデルを抽出することを特徴とする請求項１に記載の行動推定装置。
3. 前記規定項目は、
   前記物体の有無、前記物体の種類、前記物体が存在する位置、前記物体の軌跡のうち、少なくとも一つであることを特徴とする請求項２に記載の行動推定装置。
4. 前記使用物体情報それぞれには、前記特定行動に物体を用いるか否かが含まれており、
   前記モデル抽出手段は、
   前記存在物体情報の内容に拘わらず、前記物体を用いないことを表す前記使用物体情報と対応付けられた前記行動推定モデルを常に抽出することを特徴とする請求項１ないし請求項３のいずれかに記載の行動推定装置。
5. 前記移動体内における物体の有無を検出する存在物体検出手段と、
   前記物体検出手段で検出の結果、前記物体が存在する場合、各物体の位置を検出する物体位置検出手段と、
   前記存在物体検出手段、及び前記物体位置検出手段での検出結果に基づいて、前記存在物体情報を生成する存在物体情報生成手段と
   を備え、
   前記物体情報取得手段は、
   前記存在物体情報生成手段で生成された存在物体情報を取得することを特徴とする請求項１ないし請求項５のいずれかに記載の行動推定装置。
6. 前記移動体内の温度分布が写り込んだ熱源画像を取得する熱源画像取得手段を備え、
   前記物体検出手段、及び前記物体位置検出手段それぞれは、
   前記物体の種類毎に予め生成された物体モデルを、前記熱源画像取得手段で取得した熱源画像と照合することにより、前記物体の有無、及び前記物体の位置を検出することを特徴とする請求項５に記載の行動推定装置。
7. 前記推定行動検出手段で検出された推定行動に応じて、移動体が安全に操縦されるための安全制御を実行する安全制御手段
   を備えることを特徴とする請求項１ないし請求項６のいずれかに記載の行動推定装置。
8. 前記特定行動のうち、乗員が実行すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
   前記安全制御手段は、
   前記推定行動検出手段で検出された推定行動が前記危険行動であれば、その危険行動を中止すべき旨を報知することを前記安全制御として実行することを特徴とする請求項７に記載の行動推定装置。
9. コンピュータを、請求項１ないし請求項８のいずれかに記載の行動推定装置を構成する各手段として機能させるためのプログラム。