JP2009069975A - 行動推定装置 - Google Patents

Abstract

【課題】特定行動をとっていることを検出可能な行動推定装置の提供。
【解決手段】行動推定装置にて実行される行動推定処理では、撮影画像から特徴点を抽出し（Ｓ１２０）、その抽出した特徴点と、行動推定モデルとを比較し、特徴点が許容範囲内に位置していれば、運転者が特定行動（例えば、肩回し行動）をとっている可能性があるものと仮判定するモデル照合処理を実行する（Ｓ１３０）。さらに、モデル照合処理で判定された仮判定の結果、規定閾値以上連続して、特徴点が許容範囲内に位置していれば、特定行動をとっていることが確からしいものと判定する行動認定処理を実行し（Ｓ１４０）、運転者が特定行動をとっていることが確からしいと確認された場合（Ｓ１５０：ＹＥＳ）、疲労低減処理を実行する（Ｓ１６０）。
【選択図】図４

Description

本発明は、画像に写り込んだ人物の行動を推定する行動推定装置に関する。

従来より、車両に搭載され、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像（以下、撮影画像とする）に基づき、運転中の運転者がとると危険な行動（以下、危険行動とする）である携帯電話を使用する行動（以下、電話使用行動とする）をとっているか否かを判定する画像処理装置とを備えた行動推定装置が知られている（例えば、特許文献１参照）。

この特許文献１に記載の行動推定装置では、撮影画像中の顔面の周辺に予め規定された規定領域内に、撮影画像中の手が予め設定された設定時間以上位置し続けた場合に、運転者が電話使用行動をとっているものと判定している。
特開２００５−２０５９４３号公報

ところで、危険行動としては、電話使用行動の他に、ステアリングから手を離して肩をまわす肩回し行動や腕をまわす腕回し行動等（以下、特定行動とする）が挙げられる。
しかしながら、特許文献１に記載の行動推定装置では、運転者が特定行動を行っているか否かを判定することができず、例えば、運転者が特定行動をとった時に警報を発する等、車両を安全に走行させるための処理を実行することができなかった。

つまり、特許文献１に記載の行動推定装置では、肩回し行動や、腕回し行動のように、人物の身体上に予め規定された特徴点（手首や肘等）が、その特徴点とは異なる特徴点（肩等）を中心に繰り返し移動する特定行動を、運転者がとっていることを検出できないという問題があった。

そこで、本発明は、特定行動をとっていることを検出可能な行動推定装置を提供することを目的とする。

上記目的を達成するためになされた本発明の行動推定装置は、撮影画像取得手段が、人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得し、特徴点検出手段が、人物の身体上に予め設定されたポイントを特徴点として、撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する。

そして、予め規定された特徴点がその特徴点とは別に規定された特徴点を中心に繰り返し移動する行動を特定行動とし、特定行動をとった人物の連続的に変化する特徴点が位置する複数の地点を帰着点とし、帰着点毎に設けられ、特定行動をとった人物の特徴点が位置する可能性のある領域を許容領域として、モデル格納手段が、帰着点、及び許容領域からなる行動推定モデルを格納しており、さらに、行動推定手段が、特徴点検出手段にて検出される検出特徴点が、モデル格納手段に格納された行動推定モデルの許容領域内に、予め規定された規定時間内に、予め規定された規定回数以上位置した認定状態である場合、撮影画像に写り込んだ人物が特定行動をとっているものと推定する。

このような本発明の行動推定装置によれば、撮影画像に写り込んだ人物が特定行動をとっていることを検出することができる。
なお、ここで言う特定行動とは、肩をまわす肩回し行動や、腕をまわす腕回し行動、腰を左右にひねる腰回し行動等を表すものである。

また、本発明の行動推定装置における行動推定手段は、請求項２に記載のように、規定回数以上連続して、検出特徴点が許容領域内に位置した場合、認定状態とするように構成されていることが望ましい。

このように構成された本発明の行動推定装置によれば、撮影画像に写り込んだ人物が特定行動をとっていることの検出精度を向上させることができる。
さらに、本発明の行動推定装置は、請求項３に記載のように、行動推定手段にて特定行動をとっているものと推定された場合、疲労低減手段が、撮影画像に写り込んだ人物の疲労を低減するための疲労低減制御を実行するように構成されていることが望ましい。

このように構成された行動推定装置によれば、特定行動をとっている人物の疲労度が通常時よりも高くなっているものとして、疲労低減制御を実行するため、その人物の疲労度を低減させることができる。

特に、このように構成された本発明の行動推定装置を車両に搭載し、撮影画像に運転者を収めるようにした場合には、より安全な運転を運転者にさせることができる。
本発明の行動推定装置における疲労低減手段が実行する疲労低減制御は、請求項４に記載のように、現在位置を検出し、検出された現在位置周辺に位置する施設の情報を取得して、その取得した情報を報知可能な（即ち、周知の）ナビゲーション装置から、撮影画像に写り込んだ人物が休憩可能な休憩施設の情報を報知させることでも良いし、請求項５に記載のように、少なくとも冷房機能を有した空気調和装置から、撮影画像に写り込んだ人物に冷風を吹きかけることでも良い。

前者のような疲労低減制御を実行する行動推定装置によれば、撮影画像に写り込んだ人物に休息をとるように促すことで、その人物により安全な行動をとらせることができる。
なお、ここで言う休憩施設とは、サービスエリアや、パーキングエリア、道の駅等の施設の他に、ショッピングセンターや、公園等の撮影画像に写り込んだ人物が休憩をとることが可能な施設を示すものとする。

また、後者のような疲労低減制御を実行する行動推定装置によれば、撮影画像に写り込んだ人物に冷風を吹きかけることで、その人物の疲労度を低減させることができ、より安全な行動をとらせることができる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用され、車両に搭載された行動推定装置の概略構成を示したブロック図である。なお、以下では、行動推定装置１が搭載された車両を搭載車両と称す。
〈全体構成〉
行動推定装置１は、搭載車両の乗員を撮影する撮影装置１５と、周知の経路案内等を行うことに加えて、警報を発するナビゲーション装置２１と、車両に搭載された空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２と、撮影装置１５で撮影された画像（以下、撮影画像とする）を画像処理することにより、搭載車両の乗員の行動を推定し、その推定結果に従って、ナビゲーション装置２１や空調制御装置２２を制御する画像処理プロセッサ１０とを備えている。

撮影装置１５は、車室内へとレンズを向けた上で、搭載車両の天板（または、フロントガラス）に突設されたルームミラーの付け根付近に配置された周知のデジタルカメラであり、撮影画像を画像処理プロセッサ１０に順次出力するように構成されている。なお、撮影装置１５にて撮影される画像は、図２に示すように、運転席に着座している運転者の上半身（即ち、運転者の頭部、両腕、両手、及び胴体等）が少なくとも収められたものとなるようにされている。

ナビゲーション装置２１は、搭載車両の現在位置を検出する現在位置検出器と、地図データを格納する格納部と、音声を出力するスピーカと、画像を表示するモニタと、現在位置検出器、格納部、スピーカ、及びモニタを制御する制御装置とを少なくとも備えている。なお、制御装置は、ＲＯＭ，ＲＡＭ，ＣＰＵからなる周知のマイクロコンピュータを中心に構成され、周知の現在位置表示処理、経路設定処理、経路案内処理等を実行するように構成されている。

また、空調制御装置２２は、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。
〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。

画像処理プロセッサ１０は、処理プログラム等を格納するＲＯＭ１０ａと、データを一時的に格納するＲＡＭ１０ｂと、ＲＯＭ１０ａまたはＲＡＭ１０ｂに格納された処理プログラムに従って各種処理を実行するＣＰＵ１０ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。

そして、ＲＯＭ１０ａには、撮影装置１５で撮影された撮影画像を順次画像処理することにより、運転者が予め規定された特定行動をとったか否かを判定し、その判定の結果、運転者が特定行動をとった場合、空調制御装置２２に制御指令を出力する行動推定処理を実行するための処理プログラムが格納されている。

さらに、ＲＯＭ１０ａには、行動推定処理を実行するときに参照される特徴点リストと、行動推定モデル群とが格納されている。
このうち、特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の腕部に設定された特徴点を検出するためのものであり、特徴点リストには、図３に示すように、人体の右肩（図中、ｄ１），左肩（ｄ４），右ひじ（ｄ２），左ひじ（ｄ５），右手首（ｄ３），左手首（ｄ６）が特徴点として少なくとも設定されている。
〈行動推定モデルについて〉
また、行動推定モデル群は、撮影画像から検出された特徴点（以下、検出特徴点とする）の移動に従って、撮影画像に写り込んだ人物が予め規定された特定行動をとっているのか否かを判定するために、検出対象とする特定行動毎に予め設定された複数の行動推定モデルからなる。

なお、本実施形態では、具体的に、検出対象とする特定行動として、右肩を回す行動と、左肩を回す行動とが規定されている（以下、これらの肩を回す行動を肩回し行動と称す）。

そして、各行動推定モデルには、肩回し行動をとった人物の連続的に変化する特徴点が位置する複数の地点である帰着点と、帰着点を中心として帰着点毎に設けられ、肩回し行動をとった人物の特徴点が位置する可能性のある領域である許容領域とが設定されている。ただし、本実施形態における特徴点の座標、帰着点、及び許容領域は、人体の右肩，もしくは左肩を原点とした相対座標系によって表されている。

そして、本実施形態では、各行動推定モデルの帰着点、許容領域を設定するために、以下の手順が踏まれる。
ここで、図７は、行動推定モデルを作成する時の手順を示した説明図であり、図８は、帰着点、及び許容領域の設定手順を説明するための説明図である。

まず、複数（例えば、統計学上、信頼できる数が望ましい）の被験者（図７中、Ａ〜Ｍ）に、複数回（図７中、１〜３）肩回し行動をとらせ、被験者らが肩回し行動をとっている様子を撮影画像に収める。そして、それらの撮影画像の中から、各被験者が腕を挙げてから（以下、開始姿勢とする）、腕が同じ地点に戻るまで（即ち、開始姿勢と同じ姿勢、以下、終端姿勢とする））の様子（即ち、肩を１回まわした様子）が時刻順に連続的に収められたものを被験者毎、並びに一回の肩回し行動である１試行毎に抽出する。

さらに、被験者毎に抽出された肩回し１回分（即ち、試行毎）の撮影画像から、それらの撮影画像に写り込んだ被験者の特徴点を抽出し、全時刻での特徴点座標を全被験者の全試行分求める。以下、１時刻における特徴点座標をサンプルとも称す。

すると、図７に示すように、各被験者によって、肩を回す速度が異なることや、被験者が同じであっても試行毎に肩を回す速度が異なることから、開始姿勢から終端姿勢までを収めた撮影画像の枚数が異なり、求められるサンプル数（Ｎ_Xi（ただし、Ｘは被験者を、ｉは試行回数を表すものであり、図７中では、Ｎ_A1，Ｎ_A2，Ｎ_A3…Ｎ_M1，Ｎ_M2，Ｎ_M3が該当する）が異なることになる。例えば、被験者Ａは、被験者Ｍに比べて、サンプル数が少なくなる（図７に例示したものでは、Ｎ_Ai＞Ｎ_Mi，ｉ＝１〜３）可能性があり、被験者Ｍの第Ｉ試行と第Ｊ試行（ただし、Ｉ，Ｊは自然数（図７に例示したものでは、１〜３））のサンプル数が異なる（図７に例示したものでは、Ｎ_M1≠Ｎ_M2≠Ｎ_M3）可能性もある。

しかし、サンプル数が少なかったとしても、求められた特徴点座標間を特徴点が通過していることは明らかであるため、サンプル数が最も多い試行と同数となるように、求められた特徴点座標間を通過したであろう特徴点座標を、周知の補間処理に従って求め、サンプル数が少ない試行の特徴点座標を増加させる（図７に示す例では、補間処理を実行後のサンプル数ＬがＮ_A3に統一される（図中、Ｌ＝Ｎ_A3））。

そして、補間処理によってサンプル数が同数となった特徴点座標集合（即ち、撮影画像から検出された特徴点座標に基づき、補間処理によって再標本化した特徴点座標の集まり）において、ほぼ同じ時刻に位置していると考えられる（即ち、開始姿勢から同じサンプル数だけ進んでいる）特徴点座標を、全被験者の全試行に渡って抽出しグルーピングする（以下、グルーピングされることで形成される特徴点座標の集合を座標群とする）。ここで、各座標群を形成する特徴点座標を抽出した位置をそれぞれ、再標本化時刻位置とする。

さらに、各再標本化時刻位置にて抽出された全ての特徴点座標（即ち、各再標本化時刻位置で座標群を構成する全ての特徴点座標）を平均した平均座標を求め、その平均座標を帰着点として設定する。そして、求められた帰着点と、各再標本化時刻位置にて抽出された全ての特徴点座標（即ち、各再標本化時刻位置で座標群を構成する全ての特徴点座標）との距離（以下、検出距離とする）を算出し、それらの算出された全ての検出距離から標準偏差を求める。この後、求められた標準偏差の３倍を半径（以下、許容距離とする）とした領域（２次元平面であれば円、３次元空間であれば球）を許容領域として設定する。

つまり、許容領域は、図８に示すように、帰着点を中心に複数の特徴点座標が含まれるような大きさに設定されることになり、帰着点と、許容距離とによって表される。
以上説明したように、１つの行動推定モデルは、標本座標分の帰着点と、それら帰着点を中心とした許容領域（以下では、標本座標毎に設定されたそれぞれの帰着点と許容領域とをテンプレートと称す。）とから構成されることになり、それらの帰着点（または、許容領域）の軌跡によって閉じられた曲線が表されることになる。

つまり、画像処理プロセッサ１０は、撮影画像から検出される特徴点と、各行動推定モデルとを比較することで行動推定処理を実行可能に構成されている。
〈行動推定処理について〉
次に、画像処理プロセッサ１０が実行する行動推定処理について説明する。

ここで、図４は、行動推定処理の処理手順を示したフローチャートである。
この行動推定処理は、画像処理プロセッサ１０が起動されると（本実施形態では、イグニッションキーがＯＮにされると、画像処理プロセッサ１０は起動するものとする）実行されるものである。そして、行動推定処理が実行されると、まず、Ｓ１１０では、撮影装置１５で撮影した撮影画像を取得する。続く、Ｓ１２０では、Ｓ１１０で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全ての特徴点を抽出する。

なお、この特徴点を抽出する処理については、例えば、特開２００３−１０９０１５号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。
さらに、Ｓ１３０では、Ｓ１２０にて抽出した特徴点と、ＲＯＭ１０ｂに格納された行動推定モデルとを比較し、運転者が肩回し行動をとっているか否かを判定するモデル照合処理を実行する。

続く、Ｓ１４０では、Ｓ１３０のモデル照合処理での判定結果が確かなものであるか否かを確認する行動認定処理を実行する。つまり、この行動認定処理では、モデル照合処理で判定され、運転者が肩回し行動をとっていることが確かであるか否かを判定する。

そして、Ｓ１５０では、Ｓ１４０における行動認定処理での判定の結果、肩回し行動をとっていることが確かであることが確認された場合、Ｓ１６０へと進む。具体的に、本実施形態のＳ１５０では、後述する確定行動フラグがハイレベルであれば、肩回し行動をとっていることが確かであるものとする。

そのＳ１６０では、運転者が疲労を感じているものとして、運転者の疲労を低減するための疲労低減処理を実行し、その後、Ｓ１１０へと戻る。具体的に、本実施形態の疲労低減処理では、空調制御装置２２に制御指令を出力し、制御指令を受信した空調制御装置２２は、運転者に対して冷気を吹きかけるように空気調和装置を制御する。

一方、先のＳ１５０にて、肩回し行動をとっていることが確かではないことが確認された場合、Ｓ１１０へと戻る。
〈モデル照合処理について〉
次に、行動推定処理のＳ１３０で実行されるモデル照合処理について説明する。

ここで、図５は、モデル照合処理の処理手順を示したフローチャートである。
この図５に示すように、モデル照合処理は、行動推定処理のＳ１３０で起動されると、まず、Ｓ２１０では、ＲＯＭ１０ａに格納されている行動推定モデル群から一つの行動推定モデル（即ち、右肩を回す行動が規定されたものか、左肩を回す行動が規定されたもののいずれか）を読み出す。

続く、Ｓ２２０では、先のＳ１２０で抽出した特徴点を、人体の右肩（もしくは左肩）を原点とした相対座標系上の座標に変換する（以下では、変換後の特徴点を相対特徴点とする）。ただし、原点とする座標（即ち、右肩か左肩か）は、Ｓ２１０で読み出された行動推定モデルに規定された行動に従って、右肩を回す行動であれば右肩、左肩を回す行動であれば左肩に決定される。

具体的に、本実施形態では、手首、もしくは肘の座標から肩の座標を減じることにより相対特徴点が求められる。
さらに、Ｓ２３０では、Ｓ２２０で求めた相対特徴点と、Ｓ２１０で読み出された行動推定モデルに含まれている全ての帰着点との距離（以下、判定距離とする）を算出する。

続くＳ２４０では、Ｓ２３０で算出した全判定距離の中から最も距離が短い最短判定距離を抽出し、その最短判定距離を算出するために用いられた帰着点を中心として設定された許容領域の許容距離を読み出して、Ｓ２５０へと進む。

そして、Ｓ２５０では、Ｓ２４０で読み出した許容距離と、最短判定距離とを比較し、比較の結果、最短判定距離が許容距離以下であれば、Ｓ２８０へと進む。
そのＳ２８０では、運転者が肩回し行動をとっている可能性があることを示す特定行動フラグをハイレベルとする。ただし、特定行動フラグは、行動推定モデル毎、即ち、右肩を回す行動と左肩を回す行動とのそれぞれに予め用意されている。

つまり、Ｓ２８０では、運転者が肩回し行動をとっている可能性があることを、Ｓ２８０以降の処理（即ち、行動認定処理）にて識別可能なようにする。
その後、今回取得された撮影画像に対する処理（以下、今サイクルとする）でのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。

一方、Ｓ２５０での比較の結果、最短判定距離が許容距離よりも長ければ、Ｓ２６０へと進む。
そのＳ２６０では、ＲＯＭ１０ａに格納されている全ての行動推定モデルを適用して、Ｓ２１０からＳ２３０までの処理を実行したか否か、即ち、右肩を回す肩回し行動、左肩を回す肩回し行動のいずれか一方を検出するための行動推定モデルが未適用であるか否かを判定する。そして、判定の結果、全ての行動推定モデルを適用して処理を実行していないものと判定された場合、Ｓ２１０へと戻り、未だ適用されていない行動推定モデルを読み出し、その後Ｓ２２０からＳ２５０の処理を実行する。

なお、Ｓ２６０での判定の結果、全ての行動推定モデルを適用して処理を終了したものと判定された場合、運転者が肩回し行動をとっていないことを示すように、全ての特定行動フラグをローレベルとし、その後、今サイクルでのモデル照合処理を終了して、行動推定処理のＳ１４０（即ち、行動認定処理）へと進む。

つまり、モデル照合処理では、相対特徴点が許容範囲内に位置していれば、運転者が肩回し行動をとっている可能性があるものと仮判定して、特定行動フラグをハイレベルとし、相対特徴点が許容範囲外に位置していれば、運転者が肩回し行動をとっていないものと仮判定して、特定行動フラグをローレベルとする。
〈行動認定処理について〉
次に、行動推定処理のＳ１４０で実行される行動認定処理について説明する。

ここで、図６は、行動認定処理の処理手順を示したフローチャートである。
この行動認定処理は、行動推定処理のＳ１４０で実行されると、まず、Ｓ４１０では、特定行動フラグがハイレベルであるか否かを判定する。そして、判定の結果、特定行動フラグがハイレベルであれば、Ｓ４１５へと進む。つまり、今サイクルでのモデル照合処理におけるＳ２６０にて、全特定行動フラグのうち、いずれか一つがハイレベルとされれば、Ｓ４１５へと進む。

そのＳ４１５では、今サイクルでハイレベルとされた特定行動フラグが、前回取得された撮影画像に対する処理（以下、前サイクルとする）でもハイレベルとされているか否か、もしくは前サイクルでは全ての特定行動フラグがローレベルであるか否かを判定し、その結果、いずれか一方が満たされているものと判定されれば、Ｓ４２０へと進む。

そのＳ４２０では、特定行動カウンタを一つ増加して、Ｓ４３０へと進む。
続くＳ４３０では、特定行動カウンタが予め規定された規定閾値以上であるか否かを判定する。なお、本実施形態における規定閾値は、例えば、０．５秒間の間に撮影される撮影画像の枚数であるものとする。つまり、Ｓ４３０では、予め規定された数サイクル連続して、最短判定距離が許容距離以下であるか否かを判定する。

そして、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値以上である場合、即ち、数サイクル連続して、最短判定距離が許容距離以下である場合、Ｓ４４０へと進む。
そのＳ４４０では、規定時間連続して、運転者が肩回し行動をとっている、即ち、肩回し行動を運転者が確実にとっているものとして、確定行動フラグをハイレベルとする。なお、確定行動フラグは、行動推定モデル毎、即ち、左右の肩回し行動のそれぞれに予め用意されたものであり、ハイレベルであれば、その特定行動を運転者がとっていることを示し、ローレベルであれば、その特定行動を運転者がとっていないことを示す。

そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
一方、Ｓ４１０での判定の結果、特定行動フラグがローレベルである場合、もしくはＳ４１５での判定の結果、いずれも満たされていない（即ち、今サイクルでハイレベルとされた特定行動フラグとは異なる特定行動フラグのみがハイレベルである）場合には、Ｓ４５０へと進み、そのＳ４５０では、特定行動カウンタを全て初期値（即ち、０）とする。そして、Ｓ４６０へと進む。

また、Ｓ４３０での判定の結果、特定行動カウンタが規定閾値未満である場合、即ち、規定時間、運転者が肩回し行動をとっていない場合にも、Ｓ４６０へと進む。
そのＳ４６０では、肩回し行動を運転者がとっていないものとして、確定行動フラグをローレベルとする。

そして、その後、今サイクルでの行動認定処理を終了し、行動推定処理のＳ１５０へと進む。
つまり、行動認定処理では、予め規定された数サイクル連続して、同一の特定行動フラグがハイレベルであれば、運転者が肩回し行動をとっていることが確からしいものと認定して、確定行動フラグをハイレベルとする。
〈動作例について〉
次に、行動推定装置１の動作例について説明する。

ここで、図９は、運転者が左肩を回している肩回し行動をとり、開始姿勢から終端姿勢へと遷移していく様子と、運転者が肩回し行動をとっている時の特徴点が遷移していく様子を示した説明図である。

なお、以下では、図９に示すように、運転者が肩回し行動をとるために開始姿勢（図中、（Ａ））となってから、中間姿勢（図中、（Ｂ），（Ｃ），（Ｄ））を経て、終端姿勢（図中，（Ａ））となるまでの様子を連続的に収めた撮影画像を順次取得可能な状態で行動推定処理を実行したものとして説明する。

行動推定処理では、図９（Ａ）に示すような開始姿勢が収められた撮影画像を取得すると、その撮影画像から求められる相対特徴点が、複数あるテンプレートのうち、一つのテンプレートにおける許容領域内に位置している（即ち、図９に示すような許容領域の内側に相対特徴点が位置している）ことを認識する。このため、行動推定装置１は、運転者が肩回し行動をとっているものと仮判定し、次の撮影画像を取得する。

そして、図９（Ｂ），（Ｃ），（Ｄ）に示すような中間姿勢が連続して収められた撮影画像を行動推定装置１が取得すると、行動推定処理では、開始姿勢が収められた撮影画像を取得した時と同様に、相対特徴点が、複数あるテンプレートのうち、一つのテンプレートにおける許容領域内に位置していることを認識する。即ち、図９（Ｂ），（Ｃ），（Ｄ）に示すような各許容領域の内側に相対特徴点が位置しているため、運転者が肩回し行動をとっているものと仮判定する。

さらに、行動推定処理では、規定閾値以上連続して、最短判定距離が許容距離以下であるもの（即ち、運転者が肩回し行動をとっている）と判定した場合、運転者が肩回し行動をとっていることが確からしいものと認定する。

これにより、行動推定装置１は、運転者が肩回し行動をとっていることを確定し、運転者の疲労を低減すべく、疲労低減処理を実行する。
［実施形態の効果］
以上説明したように、本実施形態の行動推定装置１によれば、撮影画像から抽出された特徴点と、予め設定された行動推定モデルとを比較することにより、撮影画像に写り込んだ人物（即ち、運転者）が肩回し行動をとっていることを検出することができる。

そして、行動推定装置１では、運転者が肩回し行動をとっていることが検出された場合には、疲労度が通常時よりも高くなっているものとして、疲労低減制御を実行し、運転者に冷風を吹きかけるため、運転者の疲労度を低減させることができる。この結果、より安全な運転を運転者にさせることができる。

また、上記実施形態の行動推定装置１によれば、行動認定処理にて、予め規定された数サイクル連続して、最短判定距離が許容距離以下であるものと判定された場合に、肩回し行動がとられていることが確からしいものと認定するため、１サイクル（より正確には、規定閾値未満）だけ偶発的に肩回し行動がとられていることが検出された時に、疲労低減処理が実行されることを防止できる。つまり、行動推定装置１によれば、誤って肩回し行動をとっているものと認定して、疲労低減処理が実行されることで、運転者らに不快感を与えることを防止できる。
［その他の効果］
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することが可能である。

例えば、上記実施形態の行動推定装置１においては、行動推定処理のＳ１６０で実行される疲労低減処理にて、空調制御装置２２に制御指令を出力して、運転者に対して、冷風を吹きかけるように制御したが、疲労低減処理にて実行される制御は、これに限るものではなく、ナビゲーション装置２１に制御指令を出力し、搭載車両周辺に位置し、運転者が休憩可能な休憩施設の情報（例えば、休憩施設の位置や、その休憩施設が有している設備の内容）を報知させても良い。

このような場合であっても、運転者に休憩をとるように促すことで、上記実施形態の行動推定装置１と同様に、より安全な運転を運転者に行わせることができる。
また、上記実施形態の行動推定装置１においては、行動推定処理のＳ１６０にて、運転者の疲労を低減するための疲労低減処理を実行したが、Ｓ１６０にて実行される処理は、これに限るものではなく、例えば、警報を発する等の処理でも良い。

なお、上記実施形態では、肩回し行動をとっているか否かを判定する対象の人物として、搭載車両の運転者を撮影画像に収めたが、判定の対象として撮影画像に収められる人物は、運転者に限るものではなく、例えば、搭載車両の助手席に着座している人物であっても良いし、その他の人物でも良い。

また、上記実施形態では、肩回し行動を検出対象の特定行動としたが、検出対象の特定行動は、これに限るものではなく、例えば、運転者が前腕を挙げてから（開始姿勢）、前腕が同じ地点に戻るまで（終端姿勢）の腕回し行動（即ち、肘を支点として、前腕を回す行動）や、中立の姿勢（開始姿勢）から体を左（もしくは、右）によじり、よじりきってから、体を右（もしくは、左）によじり、よじりきってから中立の姿勢に戻す（終端姿勢）腰回し行動（即ち、腰を支点に両肩を左右に回す行動）を、検出対象の特定行動としても良い。

ただし、前者の腕回し行動を検出対象の特定行動とする場合には、腕回し行動によって手首が移動する時の帰着点、及び許容領域が、肘を原点とした相対座標系によって表された行動推定モデルがＲＯＭ１０ａに格納されている必要がある。また、後者の腰回し行動を検出対象の特定行動とする場合には、腰回し行動によって左右の肩が移動する時の帰着点、及び許容領域が、左右の肩の中点を原点とした相対座標系によって表された行動推定モデルがＲＯＭ１０ａに格納されている必要がある。

さらには、上記実施形態では、行動推定装置１を車両に搭載して使用したが、行動推定装置は、車両に搭載されていなくともよく、例えば、航空機や、船舶に搭載されていても良いし、これらの移動体に搭載されること無く使用されても良い。

行動推定装置の概略構成を示したブロック図である。 撮影画像の一例である。 腕部に設定された特徴点を例示した説明図である。 行動推定処理の処理手順を示すフローチャートである。 モデル照合処理の処理手順を示すフローチャートである。 行動認定処理の処理手順を示すフローチャートである。 行動推定モデルの作成手順を説明するための説明図である。 帰着点、及び許容領域を説明するための説明図である。 行動推定装置の動作例を説明するための説明図である。

符号の説明

１…行動推定装置 １０…画像処理プロセッサ １０ａ…ＲＯＭ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…撮影装置 ２１…ナビゲーション装置 ２２…空調制御装置

Claims (5)

1. 人物が撮影された撮影画像を、その撮影画像が撮影される毎に取得する撮影画像取得手段と、
   人物の身体上に予め設定されたポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ人物の特徴点である検出特徴点を検出する特徴点検出手段と、
   予め規定された特徴点がその特徴点とは別に規定された特徴点を中心に繰り返し移動する行動を特定行動とし、前記特定行動をとった人物の連続的に変化する特徴点が位置する複数の地点を帰着点とし、前記帰着点毎に設けられ、前記特定行動をとった人物の特徴点が位置する可能性のある領域を許容領域として、前記帰着点、及び前記許容領域からなる行動推定モデルを格納するモデル格納手段と、
   前記特徴点検出手段にて検出される検出特徴点が、前記モデル格納手段に格納された行動推定モデルの許容領域内に、予め規定された規定時間内に、予め規定された規定回数以上位置した認定状態である場合、前記撮影画像に写り込んだ人物が前記特定行動をとっているものと推定する行動推定手段と
   を備えることを特徴とする行動推定装置。
2. 前記行動推定手段は、
   前記規定回数以上連続して、前記検出特徴点が前記許容領域内に位置した場合、前記認定状態とすることを特徴とする請求項１に記載の行動推定装置。
3. 前記行動推定手段にて特定行動をとっているものと推定された場合、前記撮影画像に写り込んだ人物の疲労を低減するための疲労低減制御を実行する疲労低減手段を備えることを特徴とする請求項１または請求項２に記載の行動推定装置。
4. 前記疲労低減手段は、
   現在位置を検出し、検出された現在位置周辺に位置する施設の情報を取得して、その取得した情報を報知可能なナビゲーション装置に対して、前記撮影画像に写り込んだ人物が休憩可能な休憩施設の情報を報知させるように制御指令を出力することを、前記疲労度低減制御として実行することを特徴とする請求項３に記載の行動推定装置。
5. 前記疲労低減手段は、
   少なくとも冷房機能を有した空気調和装置の制御装置に対して、前記撮影画像に写り込んだ人物に冷風を吹きかけるように制御指令を出力することを、前記疲労度低減制御として実行することを特徴とする請求項３または請求項４に記載の行動推定装置。