JP2010044493A - 行動推定装置、プログラム - Google Patents

Abstract

【課題】本発明は、行動推定装置において、誤検出である場合に安全制御の実行を低減可能とすること。
【解決手段】行動推定システムでは、推定行動検出処理を実行することにより、撮影画像から検出した検出特徴点を行動推定モデルそれぞれと照合し、一致度合いが最も高い行動推定モデルに対応する特定行動を推定行動として検出する（Ｓ１３０）。そして、画像処理プロセッサに入力される操作信号（即ち、確定行動の検出結果）、及び推定行動の検出結果に基づいて、モデル信頼度算出処理により算出されたモデル信頼度が規定閾値よりも低ければ（Ｓ１５０：ＮＯ）、推定行動検出処理での安全制御処理の実行を禁止する（Ｓ１８０：ＮＯ）。つまり、行動推定システムでは、自車両の運転者に対して行動推定モデルが合致しなければ、即ち、モデル信頼度が低いほど、安全制御処理の実行を制限している。
【選択図】図２

Description

本発明は、移動体の乗員が実行する行動を推定する行動推定装置、及びその行動推定装置を構成する各手段としてコンピュータを機能させるためのプログラムに関する。

従来より、車両に搭載され、車両の乗員が実行する行動を推定する行動推定装置が知られている（特許文献１参照）。
この特許文献１に記載の行動推定装置は、運転者を含む画像を撮影する撮影装置と、撮影装置で撮影された画像（以下、撮影画像とする）に基づき、運転中の運転者が実行すると危険な行動（以下、特定行動とする）の一つである携帯電話の使用の有無（以下、この携帯電話を使用する行動を電話使用行動とする）を判定する画像処理装置とを備えている。そして、この画像処理装置では、電話使用行動中の運転者の手が位置する可能性の高い領域である規定領域を撮影画像中の顔面の周辺に設定し、その規定領域に、撮影画像中の手が設定時間以上位置し続ける場合に、電話使用行動を運転者が実行中であるものと判定している。

ところで、特定行動としては、電話使用行動の他に、ステアリングから手を離してエアコンディショナーやナビゲーション装置を操作する行動、または、ステアリングから手を離して肩や腕を回す行動などが考えられる。

しかしながら、特許文献１に記載の行動推定装置では、撮影画像中の手の位置から電話使用行動が実行されているか否かを判定しているに過ぎないため、電話使用行動以外の特定行動（以下、一般特定行動）を運転者が実行していたとしても、警報を発する等の車両を安全に走行させるための安全制御を実行することができなかった。

これに対し、本願発明者は、特定行動の実行時に得られる特徴点（例えば、人物の手首や、肘）の軌跡をモデル化した行動推定モデルを、全ての特定行動について用意し、これらの行動推定モデルそれぞれと、撮影画像から検出した特徴点の軌跡とを照合し、その適合度合いに応じて、運転者が実行している特定行動を検出する画像処理装置を備えた行動推定装置を提案している（特願２００７−２０３１１１号）。

なお、本願発明者が提案した装置（以下、従来行動推定装置とする）では、特定行動を運転者が実行していることを検出すると、安全制御を実行するようになされている。
特開２００５−２０５９４３号公報

ところで、行動推定モデルは、通常、大多数の人物に合致するように作成されるものの、特定行動の実行の仕方には個人差がある。このため、中には、行動推定モデルが合致しない人物がおり、このような人物が特定行動を実行しても、その特定行動を正しく検出できない、例えば、実行している行動を他の特定行動として認識したり、特定行動を実行していないにもかかわらず、実行しているものとして認識する等の誤検出の可能性があった。

しかし、従来行動推定装置では、このように特定行動を誤検出したとしても、安全制御を実行してしまうため、その安全制御が不必要なものとなり、使用者に煩わしさを感じさせてしまうという問題があった。

つまり、従来行動推定装置では、誤検出であるにも拘わらず安全制御を実行してしまうという問題があった。
そこで、本発明は、行動推定装置において、誤検出である場合に安全制御の実行を低減可能とすることを目的とする。

上記目的を達成するためになされた本発明は、移動体に搭載され、乗員の行動を推定する行動推定装置である。
そして、本発明の行動推定装置は、撮影画像取得手段が、乗員が撮影された撮影画像を繰り返し取得し、特徴点検出手段が、撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ乗員の特徴点の位置である検出特徴点を検出する。ただし、特徴点とは、乗員の身体上に予め設定された少なくとも一つのポイント（例えば、手首、肘、肩）である。

さらに、行動推定モデル格納手段が、乗員が実行する可能性のある特定行動毎に予め生成され、その特定行動を実行する時の特徴点の軌跡からなる行動推定モデルを格納すると共に、推定行動検出手段が、検出特徴点の軌跡を行動推定モデルそれぞれと照合し、最も適合率の高い行動推定モデルに対応する特定行動を推定行動として検出して、その検出された推定行動に応じて、安全制御手段が、移動体が安全に操縦されるようにするための安全制御を実行する。

また、確定行動検出手段が、特定行動の中で予め規定された少なくとも一つの特定行動である確定行動候補の中で、乗員が確実に実施した特定行動である確定行動を検出し、信頼度導出手段が、確定行動検出手段及び推定行動検出手段での検出結果に基づいて、行動推定モデル格納手段に格納されている行動推定モデルの乗員に対する適合度合いを表すモデル信頼度を導出すると共に、安全制御制限手段が、モデル信頼度が低いほど、安全制御手段での安全制御の実行に制限を加える。

つまり、このように構成された本発明の行動推定装置では、行動推定装置を使用している乗員に対して行動推定モデルが合致しなければ、即ち、モデル信頼度が低いほど、安全制御の実行を制限する。

このため、本発明の行動推定装置によれば、検出される推定行動が誤検出であるにも拘わらず安全制御が実行されることを低減できる。したがって、本発明の行動推定装置によれば、不必要な安全制御が実行されることで、当該行動推定装置の使用者（即ち、乗員）に煩わしさを感じさせてしまうことを抑制できる。

この結果、本発明の行動推定装置によれば、移動体の操縦に集中させることができ、移動体をより安全に移動させることができる。
また、移動体内に搭載された操作機器を操作する行動を確定行動候補とした場合、本発明の行動推定装置における確定行動検出手段は、請求項２に記載のように、操作機器が操作されたことを表す操作信号を、操作信号取得手段が取得すると共に、その取得した操作信号から確定行動を検出するように構成されていることが望ましい。

なお、移動体として自動車を想定した場合、ステアリングや、シフトレバー、グローブボックス、コンソールボックス、ナビゲーション装置、空調装置などが操作機器として考えられる。

さらに、本発明の行動推定装置における安全制御制限手段は、請求項３に記載のように、モデル信頼度が規定値未満あれば、安全制御手段による安全制御の実行を禁止するように構成されていても良い。

このように構成された本発明の行動推定装置によれば、推定行動を誤検出する頻度が高ければ、安全制御の実行そのものを禁止するため、乗員に煩わしさを感じさせることをより確実に低減できる。

ところで、本発明の行動推定装置における信頼度導出手段は、請求項４に記載のように、確定行動が検出された期間である確定行動検出期間と、推定行動検出手段にて、確定行動と同一の特定行動を推定行動として検出した期間である推定行動検出期間との割合を、モデル信頼度として導出するように構成されていても良い。

つまり、本発明の行動推定装置において、モデル信頼度とは、確定行動と推定行動との一致期間の割合であることが望ましい。ただし、モデル信頼度は、これに限るものではなく、連続する一定期間内において、同一である特定行動を確定行動及び推定行動の両方として検出した頻度（例えば、回数の比）であっても良い。

なお、モデル信頼度を、確定行動と推定行動との一致期間の割合とした場合、本発明の行動推定装置における信頼度導出手段は、請求項５に記載のように、確定行動検出期間内に、確定行動と同一の特定行動を推定行動として検出した期間を、推定行動検出期間とするように構成されていることが望ましい。

このように構成された行動推定装置において、請求項２に記載の操作機器の操作（以下、操作行動とする）を確定行動として検出すれば、確定行動として検出可能な特定行動に対応する行動推定モデルのモデル信頼度は、操作行動の検出期間（即ち、確定行動検出期間）にて、その操作行動と同じ特定行動を推定行動として検出した期間（即ち、推定行動検出期間）を除したもの（即ち、モデル信頼度＝推定行動検出期間÷確定行動検出期間）であっても良い。

なお、ここでいう確定行動検出期間、及び推定行動検出期間は、確定行動や推定行動を検出していた時間（時刻）の他に、それらの行動を検出した回数を含むものである。
また、本発明の行動推定装置における信頼度算出手段は、請求項４、５に記載のようにモデル信頼度を導出する場合、そのモデル信頼度を、全行動推定モデルに対して共通するものとして導出しても良いし、請求項６に記載のように、確定行動として検出可能な特定行動に対応する行動推定モデルのみについてのもの（即ち、確定行動信頼度）として導出しても良い。

さらに、本発明の行動推定装置における信頼度導出手段は、請求項７に記載のように、モデル信頼度を、確定行動候補以外の特定行動に対応する行動推定モデルに対するもの（即ち、非確定行動信頼度）として導出するように構成されていても良い。

ただし、このように（請求項７に記載のように）構成された信頼度導出手段では、確定行動信頼度と非確定行動信頼度との予め求められた対応関係に基づいて、確定行動信頼度を用いて、非確定行動信頼度を算出するように構成されている必要がある。

また、本発明の行動推定装置における信頼度導出手段は、請求項８に記載のように、特定行動毎にそれぞれに対応する行動推定モデルのモデル信頼度を導出するように構成されていても良い。

このように構成された本発明の行動推定装置では、各特定行動毎にそれぞれに対応する行動推定モデルのモデル信頼度を導出するため、対応するモデル信頼度が低い特定行動を推定行動（以下、低信頼度行動とする）として検出した場合にのみ、安全制御の実行を制限し、低信頼度行動以外の特定行動を推定行動として検出した場合には、安全制御を実行する。

このため、本発明の行動推定装置によれば、乗員が実行した特定行動が誤検出された場合に、安全制御が実行されることをより確実に防止できると共に、乗員が実行した特定行動が正しく検出された場合には、安全制御を確実に実行することができる。

また、特定行動のうち、乗員が実行すると移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とした場合、本発明の行動推定装置における安全制御手段は、請求項９に記載のように、推定行動が危険行動であれば、その危険行動を中止すべき旨を報知することを安全制御として実行するように構成されていることが望ましい。

このように構成された本発明の行動推定装置によれば、危険行動を中止するように促すため、移動体をより安全に操縦させることができる。
なお、本発明は、請求項１０に記載のように、請求項１ないし請求項９のいずれかに記載された行動推定装置を構成する各手段として、コンピュータを機能させるためのプログラムとしてなされたものであっても良い。

このようなプログラムであれば、例えば、ＤＶＤ−ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク等のコンピュータ読み取り可能な記録媒体に記録し、必要に応じてコンピュータにロードさせて起動することにより用いることができる。

以下に本発明の実施形態を図面と共に説明する。
図１は、本発明が適用され、自動車に搭載された行動推定システムの概略構成を示したブロック図である。なお、以下では、行動推定システム１が搭載された車両を自車両と称す。

この行動推定システム１は、自車両の運転者が実行する可能性のある予め規定された複数の行動（以下、これらの複数の行動をまとめて特定行動群と称し、この特定行動群のうちの各行動を特定行動と称す）の中から、自車両の乗員が実行している可能性が最も高い特定行動（以下、推定行動とする）を検出し、検出結果に応じて、自車両を安全に走行させるための安全制御を実行するものである。

ただし、本実施形態においては、特定行動として、自車両に搭載された操作機器群の中から一つの操作機器を運転者が操作する（もしくは、操作しようとする）車載機器操作行動や、自車両に持ち込まれた物品を使用している（もしくは、使用しようとする）持込品操作行動、特定の部位が繰り返し動かされる繰返行動等が規定されている。
〈全体構成〉
これを実現するために、行動推定システム１は、少なくとも運転者を被写体とした画像（以下、撮影画像とする）を撮影する撮影装置１５と、自車両に搭載された複数の装置からなる制御対象装置群２０と、撮影装置１５での撮影画像を画像処理することで推定行動を検出し、その検出した推定行動に従って制御対象装置群２０を制御する画像処理プロセッサ１０とを備えている。

このうち、撮影装置１５は、予め規定された時間間隔で撮影した撮影画像を画像処理プロセッサ１０に繰り返し出力するように構成された周知のデジタルカメラである。その撮影装置１５は、少なくとも運転席に着座している運転者の上半身（即ち、運転者の頭部、両腕、両手、及び胴体等）、助手席のシート（乗員が着座していれば、その乗員の上半身）、及び操作機器群が撮影画像に収められるように、車室内へとレンズを向けた上で、自車両の天板（または、フロントガラス）に突設されたルームミラーの付け根付近に配置されている。

また、制御対象装置群２０は、周知の経路案内等を行うナビゲーション装置２１と、自車両に搭載された空気調和装置（いわゆるエアコンディショナー）を制御する空調制御装置２２と、自車両に備えられたシートベルトを巻き取るシートベルト巻上装置２３と、ブレーキ機構にて発生する制動力を制御するブレーキ制御装置２４と、パワートレイン機構にて出力する駆動力を制御するパワートレイン制御装置２５とを備えている。

ナビゲーション装置２１は、自車両の現在位置を検出する現在位置検出器と、地図データを格納する地図データ格納部と、音声を出力するスピーカと、画像を表示するモニタと、使用者からの指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ナビ指示入力部とする）と、周知のマイクロコンピュータを中心に構成され、ナビ指示入力部を介して入力された指示に従って、周知の現在位置表示処理、経路設定処理、経路案内処理等を実行すると共に、画像処理プロセッサ１０からの制御指令に従って、スピーカ、及びモニタを制御する制御装置とを少なくとも備えている。

また、空調制御装置２２は、使用者の指示を入力するための指示入力部（例えば、メカニカルなボタンやタッチパネル、以下、ＡＣ指示入力部とする）を少なくとも備え、そのＡＣ指示入力部を介して入力された指示に従って、空気調和装置を制御すると共に、画像処理プロセッサ１０からの制御指令に従って、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行するように構成されている。

さらに、シートベルト巻上装置２３は、画像処理プロセッサ１０からの制御指令に従って、運転席側のシートベルトを巻き取り、シートベルトの拘束力を増加させるように構成されている。

さらに、ブレーキ制御装置２４は、画像処理プロセッサ１０からの制御指令に従って、ブレーキ油圧回路に備えられた増圧制御弁・減圧制御弁を開閉するブレーキアクチュエータを制御するように構成されている。

そして、パワートレイン制御装置２５は、画像処理プロセッサ１０からの制御指令に従って、内燃機関のスロットル開度を調整するスロットルアクチュエータや、トランスミッションの出力トルクを調整するトランスミッション制御装置を制御するように構成されている。

〈画像処理プロセッサについて〉
次に、画像処理プロセッサについて説明する。
画像処理プロセッサ１０は、処理プログラム等を記憶すると共に、電源が切断されたとしても、記憶内容を保持可能であり、さらに、記憶内容を書き換え可能なメモリ（例えば、フラッシュメモリ、以下、単にメモリととする）１０ａと、データを一時的に格納するＲＡＭ１０ｂと、メモリ１０ａまたはＲＡＭ１０ｂに格納された処理プログラムに従って各種処理を実行するＣＰＵ１０ｃとを少なくとも有した周知のマイクロコンピュータを中心に構成されている。

そして、画像処理プロセッサ１０は、操作機器群の中から規定された操作機器（以下、規定操作機器とする）が操作されていることを検出するように構成されている。
ただし、本実施形態における操作機器群には、自車両に備えられているルームミラーや、助手席のシート、空気調和装置の吹き出し口（いわゆる左右のブロワ）、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバー、物品を収納するためのグローブボックス（以下、ＧＢとする）、コンソールボックス（以下、ＣＢとする）が少なくとも設定されている。このうち、ナビ指示入力部、ＡＣ指示入力部、ステアリング、シフトレバー、ＧＢ、ＣＢが規定操作機器として設定されている。

したがって、操作機器群（ステアリング、シフトレバー）が操作されていることを検出するために、本実施形態の画像処理プロセッサ１０には、図１に示すように、ステアリングが操作されたことを検出するためのステアリング操作検知センサ３１と、シフトレバーが操作されたことを検出するためのシフトレバー操作検知センサ３２とが接続されている。

そして、ステアリング操作検知センサ３１は、ステアリングにおいて左右の手それぞれで把持される部位それぞれに埋め込まれた電極を検出電極として、ステアリングが把持されている時に操作信号（以下、ステアリング操作信号とする）を画像処理プロセッサ１０に出力する。また、シフトレバー操作検知センサ３２は、シフトレバーにおいて把持される部位に埋め込まれた電極を検出電極として、シフトレバーが把持されている時に操作信号（以下、レバー操作信号とする）が画像処理プロセッサ１０に出力する。

これらセンサ３１，３２からの操作信号に従って、画像処理プロセッサ１０は、ステアリング操作信号が入力されている場合、運転者がステアリングを操作中であることを検出し、レバー操作信号が入力されている場合、運転者がシフトレバーを操作中であることを検出する。

また、規定操作機器（ＧＢ、ＣＢ）が操作されていることを検出するために、本実施形態の画像処理プロセッサ１０には、図１に示すように、ＧＢの開閉を検知するＧＢ開閉検知センサ３３と、ＣＢの開閉を検知するＣＢ開閉検知センサ３４とが接続されている。これらセンサ３３，３４からの操作信号（即ち、各センサ３３，３４からの電気信号）に従って、画像処理プロセッサ１０は、ＧＢが開かれている場合、ＧＢが操作中であることを検出し、ＣＢが開かれている場合、ＣＢが操作中であることを検出する。なお、ここでいうＧＢ開閉検知センサ３３、及びＣＢ開閉検知センサ３４は、ＧＢ，ＣＢ内それぞれに取り付けられた電灯を点灯するために、ＧＢまたはＣＢが開かれると通電するスイッチ等、ＧＢまたはＣＢの開閉を直接的に検知するものが望ましい。

さらに、本実施形態の画像処理プロセッサ１０は、ナビ指示入力部、及びＡＣ指示入力部を介した指示が入力されるように構成されている。これにより、画像処理プロセッサ１０は、ナビ指示入力部を介した指示を操作信号（以下、ナビ操作信号とする）として受け付けた場合、運転者がナビゲーション装置２１を操作中であることを検出し、ＡＣ指示入力部を介した指示を操作信号（以下、ＡＣ操作信号とする）として受け付けた場合、運転者が空気調和装置を操作中であることを検出する。
〈メモリに記憶されたプログラムなどについて〉
次に、メモリ１０ａに格納されている処理プログラム等について説明する。

このメモリ１０ａには、撮影装置１５からの撮影画像を順次画像処理することにより、特定行動群の中から推定行動を検出して、安全制御を行う行動推定処理をＣＰＵ１０ｃに実行させるための処理プログラムが格納されている。

さらに、メモリ１０ａには、行動推定処理を実行するときに参照される（即ち、行動推定処理の実行に必要な）特徴点リストと、行動推定モデル群とが格納されている。
このうち、特徴点リストは、撮影画像に写り込んだ運転者から、予め人物の身体上に設定された特徴点を検出するためのものであり、人体の腕部に設定された特徴点を検出するための腕部リストと、人体の頭部（より正確には顔面）に設定された特徴点を検出するための頭部リストとを少なくとも備えている。

そして、腕部リストには、図５に示すように、人体の右肩（図中、ｄ１），左肩（ｄ４），右ひじ（ｄ２），左ひじ（ｄ５），右手首（ｄ３），左手首（ｄ６）が特徴点として少なくとも設定されている。

さらに、頭部リストには、図６（Ａ）に示すように、顔面の鼻（ｆ１）を検出し、その鼻を中心とした顔面領域を抽出するための顔面検出テンプレートと、図６（Ｂ）に示すように、顔面の右目頭（図中，ｆｒ３），左目頭（ｆｌ３），右目尻（ｆｒ２），左目尻（ｆｌ２），右口角（ｆｒ４），左口角（ｆｌ４），右耳珠点（ｆｒ５），左耳珠点（ｆｌ５）が特徴点として少なくとも設定された顔面特徴点検出テンプレートとが含まれている。
〈行動推定モデル群について〉
次に、行動推定モデル群について説明する。

メモリ１０ａに格納された行動推定モデル群は、撮影画像から検出した特徴点（以下、検出特徴点とする）の位置に基づいて、推定行動を検出するためのものであり、車載機器操作行動推定モデル群と、持込品操作行動推定モデル群と、繰返行動推定モデル群とから構成されている。ただし、行動推定モデル群は、特定行動毎に予め設定された行動推定モデルからなる。

このうち、車載機器操作行動推定モデル群は、操作機器（即ち、操作機器群のうちの１つ）を運転者が継続して操作している行動（以下、操作継続行動とする）を推定行動として検出するための行動推定モデル（以下、操作継続行動推定モデルとする）と、１つの操作機器から他の操作機器へと運転者が手等を移動させる行動（以下、遷移行動とする）を推定行動として検出するための行動推定モデル（以下、遷移行動推定モデル）とを備えている。

そして、操作継続行動推定モデルそれぞれは、操作機器の操作中に停留する各特徴点の位置を、各操作機器毎にモデル化したものである。そして、遷移行動推定モデルそれぞれは、移動を開始した時の各特徴点の位置（即ち、開始位置）と、移動を終了した時の各特徴点の位置（即ち、終了位置）と、開始位置から終了位置への各特徴点の移動経路（即ち、軌跡）とを、開始位置及び終了位置の組合せ毎にモデル化したものである。

また、持込品操作行動推定モデル群は、各持込品操作行動毎に設定された行動推定モデル（以下、持込品操作行動推定モデルとする）からなる。そして、各持込品操作行動推定モデルは、持込品操作行動を実行した運転者の各特徴点が帰着する位置（以下、目標地点とする）と、持込品操作行動を実行したとみなせる運転者の各特徴点が位置する領域（以下、帰着領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過する領域（以下、通過領域とする）と、その持込品操作行動を実行しようとする運転者の各特徴点が通過領域内を通過する時の方向の範囲（以下、検出許容範囲とする）とが設定されている。

なお、本実施形態における持込品操作行動としては、左右いずれかの耳に左右いずれかの手で物（例えば、携帯電話等）をあてがう行動（以下、電話使用行動とする）、左右いずれかの手で口に物（例えば、煙草や、飲食物）をあてがう行動（以下、飲食行動とする）が規定されている。さらに、持込品操作行動としては、左右いずれかの手で左右いずれかの肩をマッサージする行動、左右いずれかの手で左右いずれかの上腕をマッサージする行動、左右いずれかの手で左右いずれかの前腕をマッサージする行動（以下、これらをマッサージ行動とする）が規定されている。

また、繰返行動推定モデル群は、各繰返行動毎に設定された行動推定モデル（以下、繰返行動推定モデルとする）からなる。そして、各繰返行動推定モデルは、繰返行動を実行中である運転者の連続的に変化する各特徴点が位置する複数の地点（以下、特定点とする）と、各特定点毎に設けられ、それぞれの特定点を中心に、繰返行動を実行中である運転者の各特徴点が位置する可能性のある領域（以下、許容領域とする）とが設定されている。

なお、本実施形態における繰返行動としては、左右いずれかの肩を回す肩回し行動、左右いずれかの腕を回す腕回し行動等が規定されている。
ところで、メモリ１０ａには、メモリ１０ａに格納されている各行動推定モデルの運転者に対する適合度合いを表すモデル信頼度を算出する信頼度算出処理をＣＰＵ１０ｃが実行するための処理プログラムが格納されている。

つまり、画像処理プロセッサ１０は、撮影画像から検出した特徴点を、行動推定モデルと照合することで推定行動を検出すると共に、行動推定モデルの運転者に対する適合度合いを表すモデル信頼度を算出する。
〈行動推定処理〉
次に、ＣＰＵ１０ｃが実行する行動推定処理について説明する。

ここで、図２は、行動推定処理の処理手順を説明するためのフローチャートである。
この行動推定処理は、画像処理プロセッサ１０が起動されると（本実施形態では、イグニッション信号がオンされた時）、実行が開始されるものである。

そして、図２に示すように、行動推定処理が開始されると、まずＳ１１０では、撮影装置１５で撮影した撮影画像を取得する。続く、Ｓ１２０では、Ｓ１１０で取得した撮影画像に特徴点リストを照合することで、撮影画像に写り込んだ運転者の全特徴点を抽出し、抽出した全特徴点をＲＡＭ１０ｂの所定領域に格納する。

ただし、所定領域は、Ｓ１２０で抽出した全特徴点を、最新のものから少なくとも所定数Ｎ（Ｎは自然数、ここでは、３０とする）格納可能なように設定されている。
なお、この特徴点を抽出する処理については、腕部リストに設定された特徴点を抽出するのであれば、例えば、特開２００３−１０９０１５号に、頭部リストに設定された特徴点を抽出するのであれば、例えば、特開平０９−２７００１０号に記載のように周知の技術であるため、ここでの詳しい説明は省略する。

さらに、Ｓ１３０では、Ｓ１２０にて抽出した特徴点と、メモリ１０ａに格納されている行動推定モデルそれぞれとを照合し、推定行動を検出する推定行動検出処理を実行する。

続く、Ｓ１４０では、Ｓ１３０の推定行動検出処理で検出した推定行動と、その推定行動を検出した時刻とを対応付けた推定行動情報を生成し、その推定行動情報をＲＡＭ１０ｂの予め規定された規定領域に格納する。

すなわち、本実施形態では、図７に示すように、特定行動それぞれ（即ち、行動内容）について示したテーブルをＲＡＭ１０ｂに用意し、Ｓ１３０（即ち、推定行動検出処理）で推定行動を検出した時刻を、そのテーブルの該当する特定行動に書き込むことによって、推定行動情報を生成、格納する。したがって、本実施形態における推定行動情報は、少なくとも、運転者が実行したであろう特定行動それぞれ（即ち、検出した推定行動それぞれ）の開始時刻、及び終了時刻が示されたものとなる。

そして、Ｓ１４５では、信頼度算出処理（詳しくは、後述）で算出され、ＲＡＭ１０ｂに格納されているモデル信頼度の中から、Ｓ１３０の推定行動検出処理で検出した推定行動に対応する行動推定モデル（以下、該当モデルとする）のモデル信頼度を取得する。

続く、Ｓ１５０では、Ｓ１４５で取得した該当モデルのモデル信頼度が、予め規定された規定閾値以上であるか否かを判定し、判定の結果、該当モデルのモデル信頼度が規定閾値未満であれば、即ち、自車両を運転している運転者に該当モデルが適合していなければ、Ｓ１６０へと進む。

そのＳ１６０では、安全制御実行フラグをローレベルに設定して、Ｓ１８０へと進む。
一方、Ｓ１５０での判定の結果、該当モデルのモデル信頼度が規定閾値以上であれば、即ち、自車両を運転している運転者に該当モデルが適合していれば、Ｓ１７０へと進む。

そのＳ１７０では、安全制御実行フラグをハイレベルに設定して、Ｓ１８０へと進む。
なお、安全制御実行フラグは、後述する安全制御処理の実行を許可するか否かを決定するためのフラグであり、ハイレベルであれば安全制御処理の実行を許可し、ローレベルであれば安全制御処理の実行を禁止するものである。

そして、Ｓ１８０では、安全制御実行フラグがハイレベルであるか否かを判定し、判定の結果、安全制御実行フラグがローレベルであれば、Ｓ１１０へと戻り、安全制御実行フラグがハイレベルであれば、Ｓ１９０へと進む。

そのＳ１９０では、Ｓ１３０の推定行動検出処理で検出した推定行動に応じて、自車両を安全に走行させるための安全制御処理を実行する。
具体的に、本実施形態の安全制御処理では、Ｓ１３０の推定行動検出処理で検出した推定行動が、予め規定された特定行動である危険行動であれば、現在実行している行動（即ち、危険行動）を中止すべき旨を、ナビゲーション装置２１のスピーカーから音声にて出力し、ナビゲーション装置２１のモニタに表示させる。

なお、本実施形態における危険行動は、自車両の運転に危険を及ぼす可能性のある特定行動であり、具体的には、電話使用行動や、飲食行動、助手席のシートを操作する操作行動、ルームミラーを操作する操作行動、ＧＢを操作する操作行動、ＣＢを操作する操作行動などが規定されている。

そして、その後、Ｓ１１０へと戻り、Ｓ１１０からＳ１９０を繰り返す。
〈推定行動検出処理〉
次に、行動推定処理のＳ１３０にて実行される推定行動検出処理について説明する。

ここで、図３は、推定行動検出処理の処理手順を示したフローチャートである。
図３に示すように、推定行動検出処理は、実行されると、まず、Ｓ５１０にて、車載機器操作行動モデル群、持込品操作行動モデル群、繰返行動モデル群の中から、検出特徴点と照合する行動モデル群（以下、照合対象とする）を一つ選択する。

本実施形態では、推定行動検出処理が起動された直後であれば、車載機器操作行動モデル群を選択し、次に、Ｓ５１０へと進んだ場合、持込品操作行動モデル群を選択し、その後、Ｓ５１０へと進んだ場合、繰返行動モデル群を選択するようになされている。

続くＳ５２０では、Ｓ５１０にて選択された照合対象が、車載機器操作行動モデル群、持込品操作行動モデル群、繰返行動モデル群のいずれであるかを判定する。
そして、Ｓ５２０での判定の結果、車載機器操作行動モデル群であれば、Ｓ５４０へと進む。

そのＳ５４０では、車載機器操作行動モデル群の行動推定モデルそれぞれに、検出特徴点を照合して、予め規定された第一規定条件を満たす行動推定モデルに対応する特定行動を推定行動候補として検出する車載機器操作行動モデル照合処理を実行する。

具体的に、本実施形態の車載機器操作行動モデル照合処理では、検出特徴点の軌跡と、各行動推定モデル中の軌跡とのなす角度（以下、判定角度とする）のうち、最も小さい角度が予め規定された規定角度以下である行動推定モデルを、第一規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の車載機器操作行動モデル照合処理では、判定角度が、予め規定された規定角度よりも大きい角度となる行動推定モデルに対応する特定行動を、推定行動候補から除外している。

Ｓ５２０での判定の結果、Ｓ５１０にて選択された照合対象が、持込品操作行動モデル群であれば、Ｓ５６０へと進む。
そのＳ５６０では、持込品操作行動モデル群の行動推定モデルそれぞれに、検出特徴点を照合して、予め規定された第二規定条件を満たす行動推定モデルに対応する持込品操作行動を推定行動候補として検出する持込品操作行動モデル照合処理を実行する。

具体的に、本実施形態の持込品操作行動モデル照合処理では、検出特徴点が移動する移動方向と、検出特徴点から帰着点へと向かう行動方向とのなす角度（行動角度θ）が、検出許容範囲内である行動推定モデルを抽出する。そして、その抽出した行動推定モデルの中から、帰着点を原点とした相対座標に変換した検出特徴点（以下、相対特徴点とする）が、帰着領域もしくは通過領域内であり、かつ帰着点に最も近い行動推定モデルを、第二規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の持込品操作行動モデル照合処理では、行動角度θが検出許容範囲外である行動推定モデルや、相対特徴点が、帰着領域外もしくは通過領域外である行動推定モデルに対応する持込品操作行動を推定行動候補から除外している。

Ｓ５２０での判定の結果、Ｓ５１０にて選択された照合対象が、繰返行動モデル群であれば、Ｓ５８０へと進む。
そのＳ５８０では、繰返行動モデル群の行動推定モデルそれぞれに、検出特徴点を照合して、予め規定された第三規定条件を満たす行動推定モデルに対応する繰返行動を推定行動候補として検出する繰返行動モデル照合処理を実行する。

具体的に、本実施形態の繰返行動モデル照合処理では、各行動推定モデルに対応する相対座標に変換した検出特徴点（以下、変換特徴点とする）が、各行動推定モデル中の許容領域内であり、かつ変換特徴点から各行動推定モデル中の特定点までの全距離のうち、最短のものが最も短い行動推定モデルを、第三規定条件を満たす（即ち、一致度合いが最も高い）ものとしている。ただし、本実施形態の繰返行動モデル照合処理では、変換特徴点が行動推定モデル中の許容領域外に位置していれば、その行動推定モデルに対応する繰返行動を推定行動候補から除外している。

続く、Ｓ６００では、Ｓ５１０にて、車載機器操作行動モデル群、持込品操作行動モデル群、繰返行動モデル群の全てを選択したか否かを判定し、判定の結果、全てを選択していなければ、Ｓ５１０へと戻る。一方、判定の結果、全てを選択していれば、Ｓ６２０へと進む。

そのＳ６２０では、車載機器操作行動モデル照合処理、持込品操作行動モデル照合処理、繰返行動モデル照合処理で検出された推定行動候補の中から、推定行動を検出する推定行動確定処理を実行する。

具体的に、本実施形態の推定行動確定処理では、予め規定された数サイクル連続して、同一である特定行動を推定行動候補として検出した場合に、その推定行動候補を推定行動として検出するようにされている。

そして、その後、行動推定処理のＳ１４０へと戻る。
つまり、本実施形態の推定行動検出処理では、撮影画像から検出した検出特徴点を、行動推定モデルそれぞれと照合し、一致度合いが最も高い行動推定モデルに対応する特定行動を推定行動として検出している。
〈信頼度算出処理〉
次に、ＣＰＵ１０ｃが実行する信頼度算出処理について説明する。

ここで、図４は、信頼度算出処理の処理手順を示したフローチャートである。
この信頼度算出処理は、画像処理プロセッサ１０が起動されると（本実施形態では、イグニッション信号がオンされた時）、実行が開始されるものである。

そして、図４に示すように、信頼度算出処理が開始されると、まずＳ３１０では、規定操作機器からの操作信号が入力されているか否かを判定する。そして、判定の結果、操作信号が入力されていなければ、操作信号が入力されるまで待機し、操作信号が入力されていれば、Ｓ３２０へと進む。

そのＳ３２０では、入力されている操作信号に基づいて、規定操作機器に対する操作継続行動または遷移行動の中で、確実に運転者が実行中である操作継続行動、または遷移行動を確定行動として特定する。

すなわち、本実施形態では、ステアリング操作信号が入力されている場合、ステアリングを操作中であることを確定行動として検出し、レバー操作信号が入力されている場合、シフトレバーを操作中であることを確定行動として検出する。さらに、ＧＢ開閉検知センサからの操作信号が入力されている場合、ＧＢを操作中であることを確定行動として検出し、ＣＢ開閉検知センサ３４からの操作信号が入力されている場合、ＣＢを操作中であることを確定行動として検出する。また、ナビ操作信号が入力されている場合、ナビゲーション装置２１を操作中であることを確定行動として検出し、ＡＣ操作信号が入力されている場合、空気調和装置を操作中であることを確定行動として検出する。

また、本実施形態では、一つの操作信号が入力された後、規定時間（例えば、３秒）以内に、他の操作信号が入力された場合、互いに異なる操作機器間の遷移行動を確定行動として検出する。

例えば、ステアリング操作信号が入力された後、規定時間以内にレバー操作信号が入力された場合、ステアリングからシフトレバーへの遷移行動を確定行動として検出し、ステアリング操作信号が入力された後、規定時間以内にナビ操作信号が入力された場合、ステアリングからナビゲーション装置２１への遷移行動を確定行動として検出する。

そして、Ｓ３３０では、Ｓ３２０で特定した確定行動を、その確定行動を特定した時刻と対応付けた確定行動情報を生成し、その生成した確定行動情報をＲＡＭ１０ｂの予め設定された設定領域に格納する。

すなわち、本実施形態では、図８に示すように、規定操作機器に対する操作継続行動それぞれ、及び互いに異なる規定操作機器間の遷移行動それぞれ（即ち、操作継続行動及び遷移行動それぞれの行動内容）について示したテーブルをＲＡＭ１０ｂに用意し、各操作継続行動、または各遷移行動を確定行動として検出した時刻を、そのテーブルの該当する特定行動（即ち、操作継続行動、遷移行動）に記憶することによって、確定行動情報を生成、格納する。

したがって、本実施形態における確定行動情報は、運転者が確実に実行した規定操作機器に対する操作継続行動それぞれ、または規定操作機器間での遷移行動の開始時刻、及び終了時刻が少なくとも示されたものとなる。

続くＳ３５０では、予め設定された設定条件を満たしたか否かを判定する。具体的に、本実施形態では、予め規定された規定数以上の確定行動情報が設定領域に格納されるように予め設定された設定時間が、Ｓ３５０で前回肯定判定されてから経過したことが、設定条件として設定されている。

なお、このＳ３５０での判定の結果、設定条件を満たしていなければ、即ち、否定判定であれば、Ｓ３１０へと戻り、設定条件を満たしていれば、即ち、肯定判定であれば、Ｓ３６０へと進む。

そのＳ３６０では、ＲＡＭ１０ｂの規定領域に格納された推定行動情報と、ＲＡＭ１０ｂの設定領域に格納された確定行動情報とに基づいて、確定行動として検出可能な推定行動の検出に用いる行動推定モデルのモデル信頼度（以下、確定モデル信頼度とする）を算出する。

具体的に、本実施形態では、確定行動情報中の確定行動それぞれが検出された各期間を確定行動検出期間として設定し、その確定行動検出期間内に、確定行動と行動内容の一致する特定行動が推定行動として検出された各期間を推定行動検出期間として設定する。そして、一つの確定行動について、全推定行動検出期間を全確定行動検出期間で除することで、確定モデル信頼度を算出する（即ち、確定モデル信頼度＝推定行動検出期間÷確定行動検出期間）。

つまり、Ｓ３６０では、確定行動毎に、その確定行動が検出された期間と、その確定行動と一致する特定行動が推定行動として検出された期間との割合を確定モデル信頼度として算出する。

続くＳ３７０では、推定行動情報及び確定行動情報に基づいて、確定行動として検出不可能な推定行動に対応する行動推定モデルのモデル信頼度（以下、推定モデル信頼度とする）を算出する。

具体的に、本実施形態では、予め行った実験（例えば、多数の被験者に全特定行動を実行させ、行動推定モデルそれぞれのモデル信頼度を求める実験）により、確定行動として検出不可能な特定行動それぞれに対応する行動モデルのモデル信頼度それぞれと、確定モデル信頼度との対応関係を求める。そして、その予め求められた対応関係に基づき、先のＳ３６０で求めた確定モデル信頼度を用いて、確定行動として検出不可能な特定行動それぞれに対応する行動モデルの推定モデル信頼度を算出する。

なお、ここでいう対応関係とは、重回帰式等の関数として求められたものでも良いし、マップとして求められたものでも良く、これらのように対応関係が求められていれば、Ｓ３６０で求めた確定モデル信頼度を対応関係に代入するだけで、推定モデル信頼度を求めることができる。

続く、Ｓ３８０では、行動推定処理で用いるためにＲＡＭ１０ｂに格納されている各モデル信頼度を、Ｓ３５０，及びＳ３６０で算出されたモデル信頼度（即ち、確定モデル信頼度それぞれ、及び推定モデル信頼度それぞれ）に更新する。ただし、本モデル信頼度算出処理が起動されてから最初にＳ３８０へと進んだ場合には、Ｓ３５０及びＳ３６０で算出されたモデル信頼度をＲＡＭ１０ｂに格納する。

そして、その後、Ｓ３１０へと戻る。
つまり、本実施形態のモデル信頼度算出処理では、規定数以上の確定行動情報が設定領域に格納された場合、その規定数以上の確定行動の検出結果と、行動推定処理での推定行動の検出結果とに基づいて、行動推定モデルそれぞれの運転者に対する適合度合いをモデル信頼度として算出している。

以上説明したように、本実施形態の行動推定システム１では、推定行動検出処理を実行することにより、撮影画像から検出した検出特徴点を、行動推定モデルそれぞれと照合し、一致度合いが最も高い行動推定モデルに対応する特定行動を推定行動として検出している。

一方、モデル信頼度算出処理を実行することにより、画像処理プロセッサ１０に入力される操作信号に基づいて確定行動を検出すると共に、その確定行動についての確定行動情報を生成する。そして、規定数以上の確定行動情報が格納された場合、その規定数以上の確定行動の検出結果と、行動推定処理での推定行動の検出結果とに基づいて、モデル信頼度を算出している。

そして、そのモデル信頼度が規定閾値よりも低ければ、本実施形態の行動推定システム１では、推定行動検出処理での安全制御処理の実行を禁止する。
つまり、本実施形態の行動推定システム１では、当該行動推定システム１を使用している運転者に対して行動推定モデルが合致しなければ、即ち、モデル信頼度が低いほど、安全制御処理の実行を制限している。
［実施形態の効果］
したがって、本実施形態の行動推定システム１によれば、検出される推定行動が、運転者が実行している特定行動とは異なることや、運転者が実行していないのに実行しているものとして検出する等の誤検出であるにも拘わらず、安全制御処理が実行されることを低減できる。

特に、本実施形態の行動推定システム１によれば、モデル信頼度が規定閾値以下であれば、安全制御処理の実行そのものを禁止するため、誤検出であるにも拘わらず安全制御処理が実行されることをより確実に低減できる。

また、本実施形態の行動推定システム１では、行動推定モデル毎にモデル信頼度を算出しているため、検出される推定行動毎に誤検出の可能性が判定されることになる。
このため、本実施形態の行動推定システム１によれば、乗員が実行した特定行動が推定行動として誤検出された場合に、安全制御が実行されることをより確実に防止できると共に、乗員が実行した特定行動が推定行動として正しく検出された場合には、安全制御を確実に実行することができる。

これらのことから、レンタカーのように不特定多数の人物が運転者として操縦するような自動車に搭載された本実施形態の行動推定システム１によれば、不必要な報知が実行されることで、それらの不特定多数の運転者に煩わしさを感じさせてしまうことを抑制できる。

しかも、行動推定システム１によれば、不必要な安全制御が実行されることを低減できるため、運転者を自車両の運転に集中させることができ、この結果、より安全な自車両の走行を実現できる。

特に、本実施形態の行動推定システム１によれば、推定行動として検出した特定行動が危険行動であれば、危険行動を中止するように促すため、自車両をより安全に操縦させることができる。
［その他の実施形態］
以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において様々な態様にて実施することができる。

例えば、上記実施形態の信頼度算出処理では、規定操作機器から画像処理プロセッサ１０に入力される操作信号によって確定行動を検出していたが、確定行動の検出方法は、これに限るものではなく、撮影装置１５とは異なる位置に配置された撮影装置で撮影した撮影画像や、撮影装置１５とは異なる種類の撮影装置により撮影した撮影画像それぞれを画像処理することで検出される特定行動に基づいて、確定行動を検出しても良いし、運転者らに、実際に実行している行動の内容（即ち、確定行動の内容）を入力させるようにしても良い。

なお、撮影装置１５とは異なる種類の撮影装置としては、赤外線カメラや、距離画像を撮影するカメラなどを用いることが望ましい。
また、上記実施形態における安全制御処理では、ナビゲーション装置２１のスピーカや、モニタを用いて、運転者に警告を発していたが、上記実施形態の処理に限るものではない。

例えば、ＣＰＵ１０ｃが空調制御装置２２に制御指令を出力して、空気調和装置から運転者に冷風を吹き付ける冷風送気制御を実行しても良いし、ＣＰＵ１０ｃがシートベルト巻上装置２３に制御指令を出力して、シートベルト巻上装置２３がシートベルトの拘束力を増加させるようにしても良い。さらには、ＣＰＵ１０ｃがブレーキ制御装置２４に制御指令を出力して、ブレーキ制御装置２４が自車両の制動力を増加させるようにしても良いし、ＣＰＵ１０ｃがパワートレイン制御装置２５に制御指令を出力して、パワートレイン制御装置２５が搭載車両を減速させるようにしても良いし、それらを任意で組合わせても良い。

つまり、安全制御処理では、推定行動が危険行動である場合に、その危険行動を実行することが危険であることを運転者に認識させ、自車両が安全に運転されるように制御するのであれば、どのような処理を行っても良い。

そして、上記実施形態における安全制御処理では、推定行動が危険行動である場合にのみ、安全制御を実行していたが、安全制御は、推定行動が危険行動であるか否かに拘わらず実行しても良い。

また、上記実施形態における安全制御処理では、モデル信頼度が規定閾値以上である場合に、一つの処理内容を実行していたが、安全制御の実行条件が満たされた場合には、条件内で、実行される内容が変更されるようになされていても良い。例えば、モデル信頼度の大きさが小さいほど、実行可能な処理の内容が制限されるようにされていることが望ましい。

ところで、上記実施形態における信頼度算出処理では、確定行動が検出された期間と、その確定行動と一致する特定行動が推定行動として検出された期間との割合を確定モデル信頼度として算出したが、確定モデル信頼度の算出方法は、これに限るものではない。

例えば、確定行動が検出された回数と、その確定行動と一致する特定行動を推定行動として検出した回数との割合であっても良いし、その他の算出方法であっても良い。
また、上記実施形態における信頼度算出処理では、行動推定モデル毎にモデル信頼度を算出していたが、モデル信頼度は、全行動推定モデルに一つのみ算出、即ち、運転者毎に算出しても良い。

つまり、モデル信頼度は、運転者に対する行動推定モデルの適合度合いを表すものであれば、どのような方法で算出されていても良い。
また、上記実施形態におけるモデル信頼度算出処理は、画像処理プロセッサ１０が起動されると、行動推定処理と並行して起動されていたが、モデル信頼度算出処理の起動タイミングは、これに限るものではない。

例えば、モデル信頼度算出処理は、行動推定処理のＳ１４０が実行された直後に起動されても良い。この場合、行動推定処理のＳ１４５に換えて実行されることが望ましい。また、この場合、モデル信頼度算出処理は、Ｓ３１０にて否定判定された場合には、Ｓ３５０へと移行し、Ｓ３５０にて否定判定された場合やＳ３８０が終了した場合には、行動推定処理へと戻るようになされている必要がある。

なお、上記実施形態において、行動推定システム１は、自動車に搭載されていたが、行動推定システム１が搭載されるものは、自動車に限るものではなく、例えば、航空機や船舶、電車などの移動体に、行動推定システム１が搭載されていても良い。

そして、上記実施形態の行動推定システム１では、推定行動の検出対象の人物は、運転者であったが、これに限るものではなく、助手席に着座した人物であっても良い。
［本発明と実施形態との対応］
上記実施形態の行動推定処理におけるＳ１１０を実行することで得られる機能が、本発明の撮影画像取得手段に相当し、行動推定処理におけるＳ１２０を実行することで得られる機能が、本発明の特徴点検出手段に相当する。

また、上記実施形態の行動推定システム１におけるメモリ１０ａが、本発明の行動推定モデル格納手段に相当し、上記実施形態の行動推定処理におけるＳ１３０を実行することで得られる機能が、本発明の推定行動検出手段に相当し、行動推定処理におけるＳ１９０を実行することで得られる機能が、本発明の安全制御手段に相当する。

さらに、上記実施形態の信頼度算出処理におけるＳ３２０を実行することで得られる機能が、本発明の確定行動検出手段に相当し、信頼度算出処理におけるＳ３６０，Ｓ３７０を実行することで得られる機能が、信頼度導出手段に相当する。

行動推定システムの概略構成を示したブロック図である。 行動推定処理の処理手順を示したフローチャートである。 推定行動検出処理の処理手順を示したフローチャートである。 信頼度算出処理の処理手順を示したフローチャートである。 腕部に設定された特徴点を例示した説明図である。 顔面に設定された特徴点を例示した説明図である。 推定行動の検出結果を時間毎に示した説明図である。 確定行動の検出結果を時間毎に示した説明図である。

符号の説明

１…行動推定システム １０…画像処理プロセッサ １０ａ…メモリ １０ｂ…ＲＡＭ １０ｃ…ＣＰＵ １５…撮影装置 ２０…制御対象装置群 ２１…ナビゲーション装置 ２２…空調制御装置 ２３…シートベルト巻上装置 ２４…ブレーキ制御装置 ２５…パワートレイン制御装置 ３１…ステアリング操作検知センサ ３２…シフトレバー操作検知センサ ３３…ＧＢ開閉検知センサ ３４…ＣＢ開閉検知センサ

Claims (10)

1. 移動体に搭載され、乗員の行動を推定する行動推定装置であって、
   乗員が撮影された撮影画像を繰り返し取得する撮影画像取得手段と、
   乗員の身体上に予め設定された少なくとも一つのポイントを特徴点とし、前記撮影画像取得手段で撮影画像が取得される毎に、その撮影画像に写り込んだ乗員の特徴点の位置である検出特徴点を検出する特徴点検出手段と、
   前記乗員が実行する可能性のある行動を特定行動とし、各特定行動毎に予め生成され、その特定行動を実行する時の前記特徴点の位置からなる行動推定モデルを格納する行動推定モデル格納手段と、
   前記特徴点検出手段で検出された検出特徴点を、前記行動推定モデル格納手段に格納された行動推定モデルそれぞれと照合し、最も適合率の高い前記行動推定モデルに対応する特定行動を推定行動として検出する推定行動検出手段と、
   前記推定行動検出手段で検出された推定行動に応じて、前記移動体が安全に操縦されるようにするための安全制御を実行する安全制御手段と、
   前記特定行動の中で予め規定された少なくとも一つの特定行動を確定行動候補とし、それらの確定行動候補の中で、前記乗員が確実に実施した特定行動である確定行動を検出する確定行動検出手段と、
   前記確定行動検出手段、及び前記推定行動検出手段での検出結果に基づいて、前記行動推定モデル格納手段に格納された行動推定モデルの前記乗員に対する適合度合いを表すモデル信頼度を導出する信頼度導出手段と、
   前記信頼度導出手段で導出されたモデル信頼度が低いほど、前記安全制御手段での安全制御の実行に制限を加える安全制御制限手段と
   を備えることを特徴とする行動推定装置。
2. 前記確定行動候補には、前記移動体内に搭載され予め規定された操作機器を操作する行動が含まれ、
   前記確定行動検出手段は、
   前記操作機器が操作されたことを表す操作信号を取得する操作信号取得手段を備え、
   前記操作信号取得手段で取得された操作信号から前記確定行動を検出することを特徴とする請求項１に記載の行動推定装置。
3. 前記安全制御制限手段は、
   前記信頼度導出手段で導出されたモデル信頼度が予め規定された規定値未満あれば、前記安全制御手段による安全制御の実行を禁止することを特徴とする請求項１または請求項２に記載の行動推定装置。
4. 前記信頼度導出手段は、
   前記確定行動検出手段で確定行動が検出された期間である確定行動検出期間と、前記推定行動検出手段にて、その確定行動と同一の特定行動である前記推定行動が検出された期間である推定行動検出期間との割合を、前記モデル信頼度として導出することを特徴とする請求項１ないし請求項３のいずれかに記載の行動推定装置。
5. 前記信頼度導出手段は、
   前記推定行動検出期間を、前記確定行動検出期間内に、前記確定行動と同一の特定行動を前記推定行動として検出した期間とすることを特徴とする請求項４に記載の行動推定装置。
6. 前記信頼度導出手段は、
   前記確定行動検出手段で確定行動として検出可能な特定行動に対応する行動推定モデルの前記モデル信頼度である確定行動信頼度を導出することを特徴とする請求項１ないし請求項５のいずれかに記載の行動推定装置。
7. 前記信頼度導出手段は、
   前記確定行動候補以外の特定行動に対応する行動推定モデルの前記モデル信頼度を非確定行動信頼度とし、前記確定行動信頼度と前記非確定行動信頼度との予め求められた対応関係に基づいて、前記確定行動信頼度を用いて、前記非確定行動信頼度を算出することを特徴とする請求項６に記載の行動推定装置。
8. 前記信頼度導出手段は、
   前記特定行動毎にそれぞれに対応する行動推定モデルの前記モデル信頼度を導出することを特徴とする請求項１ないし請求項７のいずれかに記載の行動推定装置。
9. 前記特定行動のうち、乗員が実行すると前記移動体の操縦に悪影響を及ぼす可能性のある行動を危険行動とし、
   前記安全制御手段は、
   前記推定行動検出手段で検出された推定行動が前記危険行動であれば、その危険行動を中止すべき旨を報知することを前記安全制御として実行することを特徴とする請求項１ないし請求項８のいずれかに記載の行動推定装置。
10. コンピュータを、請求項１ないし請求項９のいずれかに記載の行動推定装置を構成する各手段として機能させることを特徴とするプログラム。