JP2010165223A - 操作推定装置およびプログラム - Google Patents

Abstract

【課題】操作者の操作内容の推定のための演算量と、誤推定の頻度を低減
【解決手段】操作対象１１〜１７と操作対象を運転者とを含む画像（以下、操作画像という）を繰り返し取得して、運転者の姿勢を表す人体特徴点を特定する。またセンサ群３が、操作対象１１〜１７の中から、運転者が操作している操作対象を検出する。そしてセンサ群３による検出結果に基づき、運転者が操作している又は直前に操作していた操作対象（以下、最終操作対象という）を特定する。さらに、操作対象を操作する運転者が辿ると推定される姿勢軌跡をその操作内容毎にモデル化してなる複数の遷移推定モデルの中から、最終操作対象を起点とした推定姿勢軌跡をモデル化したモデルを選択し、操作画像毎に特定された人体特徴点を用いて求められる運転者の姿勢軌跡と、選択された遷移推定モデルとを照合し、運転者の操作内容を推定する。
【選択図】図１

Description

本発明は、操作者が実施しようとしている操作内容を推定するための操作推定装置およびプログラムに関する。

近年、ビデオ映像を利用して人間の姿勢を推定する技術が提案されている。具体的には、画像中における人間が撮影されている領域について、身体を模擬的に表現してなる身体モデルを画像中の人間の姿勢に合わせて重ね合わせ、その身体モデルにおける人体特徴点（肩、肘、手首など）の位置（座標）を特定することにより、人間の姿勢を推定する技術である（例えば、特許文献１を参照）。

しかし特許文献１に記載の技術では、人間の姿勢を推定することはできても、その人間が何らかの操作対象を操作しようとしているか否か、および、どの操作対象を操作しようとしているのかを推定することはできなかった。

例えば、車両を運転する運転者がステアリングやナビゲーション装置などの車載機器を操作する動作を行う場合に、特許文献１に記載の技術では、運転者の姿勢を推定することができるが、運転者がステアリングやナビゲーション装置などを操作しようとしているということまで推定することができない。

そこで、操作対象を操作する操作者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、撮影した画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡（実姿勢軌跡）とを照合し、遷移推定モデルでモデル化された推定姿勢軌跡のうち、実姿勢軌跡との近似度が所定のしきい値以上となる推定姿勢軌跡が、操作者が実施しようとしている操作内容であると推定する技術が提案されている（例えば、特許文献２を参照）。なお、上記の操作内容とは、例えば、運転者がステアリングを握っている状態からナビゲーション装置を操作する状態に遷移することや、運転者がエアコンを操作している状態からステアリングを握る状態に遷移すること等である。

特開２００３−１０９０１５号公報 特開２００８−１４０２６８号公報

しかしながら、上記特許文献２に記載の技術では、予め用意されている全ての遷移推定モデルと、運転者の実姿勢軌跡とを照合する。すなわち、運転者の現時点の姿勢では行うことができない操作内容をモデル化した遷移推定モデルについても実姿勢軌跡との照合を行う。例えば、運転者がナビゲーション装置を操作している状態において、「ステアリングからシフトレバーへ遷移する行動」や「ステアリングからエアコンへ遷移する行動」を操作内容の候補として照合を行う。このため、運転者が操作する操作対象の数の増加に伴って、照合のための演算量が膨大になるという問題があった。なぜならば、遷移推定モデルの数は、運転者が操作する操作対象の組合せの数だけ必要であり、操作対象の数の増加に対して指数関数的に増大するからである。

また、予め用意されている全ての遷移推定モデルと運転者の実姿勢軌跡とを照合するため、運転者の現時点の姿勢では行うことができない操作内容を、運転者が実施しようとしている操作内容であると推定してしまうおそれがある。

本発明は、こうした問題に鑑みてなされたものであり、操作者が実施しようとしている操作内容を推定する場合に、推定のための演算量と、誤推定の頻度を低減することができる技術を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の操作推定装置では、まず画像取得手段が、複数の操作対象と操作対象を操作可能な位置に存在する操作者とを含む画像である操作画像を繰り返し取得し、そして人体特徴点特定手段が、画像取得手段により取得された操作画像を用いて、操作者の姿勢を表す所定の人体特徴点を特定する。また推定モデル記憶手段が、操作対象を操作する操作者が辿ると推定される姿勢軌跡である推定姿勢軌跡をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶するとともに、操作検出手段が、複数の操作対象の中から、操作者が操作している操作対象である操作中操作対象を検出する。

そして操作対象特定手段が、操作検出手段による検出結果に基づいて、操作者が操作している又は操作者が直前に操作していた操作対象である最終操作対象を特定する。

さらにモデル選択手段が、推定モデル記憶手段が記憶する複数の遷移推定モデルの中から、操作対象特定手段が特定した最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する。その後に操作推定手段が、人体特徴点特定手段により操作画像毎に特定された人体特徴点を用いて求められる操作者の姿勢軌跡である実姿勢軌跡と、モデル選択手段により選択された遷移推定モデルとを照合し、この照合結果に基づいて、操作者の操作内容を推定する。

このように構成された操作推定装置によれば、複数の遷移推定モデルの中から、最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより操作者の操作内容を推定することができる。このため、推定モデル記憶手段が記憶する遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。これにより、操作推定手段が推定処理を行うための演算量を低減することができる。なお、この低減効果は、操作対象の数が多くなるほど大きい。

また操作対象特定手段が、操作者が操作している又は操作者が直前に操作していた操作対象（最終操作対象）を特定し、この最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを用いて照合を行うので、操作対象特定手段が特定した最終操作対象以外を起点とした操作内容を操作者が実施していると推定することがない。すなわち、操作対象特定手段が特定した操作対象を操作者が操作している状態を起点とした操作内容を操作者が実施する場合に、操作者が操作している操作対象以外を起点とした操作内容を操作者が実施していると推定することがない。このため、操作者の現時点の姿勢では行うことができない操作内容を、操作者の操作内容であると推定しまう可能性を低減することができる。つまり、誤推定の頻度を低減することができる。

なお上記の操作推定手段は、具体的には、特許文献２に記載されている手法を用いて推定を行うようにしてもよい。すなわち、推定姿勢軌跡をモデル化した遷移推定モデルと、上記の実姿勢軌跡とを照合し、最も近似度が高い推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定する手法である。

また上記の人体特徴点特定手段は、具体的には、特許文献１に記載されている手法を用いて特定を行うようにしてもよい。すなわち、画像中の操作者に対応する領域に、身体を模擬的に表現してなる身体モデルを、その操作者の姿勢に合わせて重ね合わせ、その身体モデルにおける１以上の人体特徴点の位置それぞれを特定する手法である。

また、上記の操作対象特定手段は、具体的には、以下の手法を用いて特定を行うようにしてもよい。すなわち、まず、操作検出手段が操作中操作対象を検出している最中には、この操作中操作対象を最終操作対象として特定する。つまり、この時に特定した最終操作対象は、上記の「操作者が操作している操作対象」に相当する。その後、操作検出手段が操作中操作対象を検出しなくなってから所定時間が経過するまでは、操作検出手段が操作中操作対象を検出しなくなるまで検出していた操作中操作対象を最終操作対象として特定する。つまり、この時に特定した最終操作対象は、上記の「操作者が直前に操作していた操作対象に相当する。また、上記の「操作者が直前に操作していた操作対象」における「直前」とは、「操作検出手段が操作中操作対象を検出しなくなってから所定時間が経過するまで」のことをいう。

また請求項１に記載の操作推定装置において、請求項２に記載のように、モデル選択手段は、操作対象特定手段が最終操作対象を特定することができない場合には、操作検出手段の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択するようにしてもよい。

このように構成された操作推定装置によれば、複数の遷移推定モデルの中から、操作検出手段の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより操作者の操作内容を推定することができる。このため、推定モデル記憶手段が記憶する遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。これにより、操作推定手段が推定処理を行うための演算量を低減することができる。

また、操作検出手段の検出対象となっている操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルが除外されているので、操作検出手段の検出対象となっている操作対象を起点とした操作内容を操作者が実施していると推定することがない。すなわち、操作検出手段の検出対象となっていない操作対象を操作者が操作している状態を起点とした操作内容を操作者が実施する場合に、操作検出手段の検出対象となっている操作対象を起点とした操作内容を操作者が実施していると推定することがない。このため、操作者の現時点の姿勢では行うことができない操作内容を、操作者の操作内容であると推定しまう可能性を低減することができる。つまり、誤推定の頻度を低減することができる。

また請求項２に記載の操作推定装置において、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定するため、すなわち、操作対象特定手段が最終操作対象を特定することができないとするために、請求項３に記載のように、操作対象特定手段は、操作検出手段が操作中操作対象を検出していない状態が予め設定された所定判定時間継続した場合に、最終操作対象を特定することができないとするようにしてもよい。

つまり、操作検出手段が操作中操作対象を検出していない状態が所定判定時間継続した場合には、操作検出手段の検出対象となっていない操作対象を操作者が操作していると看做している。

このように構成された操作推定装置によれば、操作検出手段が操作中操作対象を検出していない状態が継続している時間を計測するという簡便な方法により、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定することができる。

また請求項２に記載の操作推定装置において、操作検出手段の検出対象となっていない操作対象を操作者が操作していると特定するために、請求項４に記載のように、動作変化量算出手段が、人体特徴点特定手段により操作画像毎に特定された人体特徴点の変化に基づいて、操作者による動作の単位時間当たりの変化量である動作変化量を算出するとともに、操作判断手段が、動作変化量算出手段による算出された動作変化量に基づいて、操作者が操作対象を操作しているか否かを判断し、操作対象特定手段が、操作者が操作対象を操作していると操作判断手段が判断し、且つ、操作検出手段が操作中操作対象を検出していない場合に、最終操作対象を特定することができないとするようにしてもよい。

なお、上記の操作判断手段は、具体的には、以下の手法を用いて判断を行うようにしてもよい。すなわち、動作変化量が予め設定された第１判定変化量を超え、その後に、動作変化量が第１判定変化量より小さく設定された第２判定変化量以下になった場合に、操作者が操作対象を操作していると判断する手法である。

これは、操作者が或る操作対象を触れているときには上記の動作変化量が小さく、その後、この操作対象から他の操作対象に触れようとするときには動作変化量が大きくなり、さらにその後、この他の操作対象に触れると再び動作変化量が小さくなる（動作変化量がほぼ０になる）という考えに基づく。

このように構成された操作推定装置によれば、操作者の実際の動作に基づいて、操作者が操作対象を操作しているか否かを判断できるので、請求項３に記載の手法と比較して、この判断の精度を向上させることができる。

例えば、請求項３に記載の手法では、所定判定時間の長さによっては、操作者が或る操作対象から他の操作対象に触れようとして動作している最中に所定判定時間が経過してしまうことが考えられる。したがって、所定判定時間の長さによっては、操作者が他の操作対象に触れていないにもかかわらず、操作検出手段の検出対象となっていない操作対象を操作者が操作していると判断してしまう頻度が多くなる。

一方、請求項４に記載の手法では、所定判定時間の長さに関係なく、動作変化量が小さくなったときに、操作者が他の操作対象に触れていると判断する。このため、操作者が或る操作対象から他の操作対象に触れようとして動作している最中に、操作検出手段の検出対象となっていない操作対象を操作者が操作していると判断してしまう頻度が少なくなる。

また、請求項５に記載のプログラムは、請求項１〜請求項４の何れかに記載の操作推定装置の各手段としてコンピュータを機能させるためのプログラムである。

このプログラムにより制御されるコンピュータは、請求項１〜請求項４の何れかに記載の操作推定装置の一部を構成することができる。

なお、上述した各プログラムは、各種記録媒体や通信回線を介して、クライアント、サーバ、及びこれを利用するユーザに提供されるものである。

操作支援システム１の全体構成を示すブロック図である。 車両室内、及びカメラにより撮影された車両室内を示す図である。 人体特徴点特定処理を示すフローチャートである。 運転者が各操作対象を操作している様子を示す画像である。 人体特徴点の位置を示す図である。 操作推定処理を示すフローチャートである。 操作状態監視処理を示すフローチャートである。 操作状態リスト４３ｂを示す図である。 第１実施形態の推定モデル選択処理を示すフローチャートである。 遷移推定モデルの選択方法を示す図である。 ステアリング１３からナビゲーション装置１１へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。 第１実施形態の、ステアリング１３から、センサがない操作対象へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。 第２実施形態の推定モデル選択処理を示すフローチャートである。 第２実施形態の、ステアリング１３から、センサがない操作対象へ遷移する場合の遷移推定モデル選択手順を説明するタイムチャートである。

（第１実施形態）
以下に本発明の第１実施形態を図面とともに説明する。

図１は本発明が適用された操作支援システム１の全体構成を示すブロック図である。

操作支援システム１は、車両に搭載されており、図１に示すように、車両の運転席及びその周辺を連続して撮影するカメラ２と、車両室内に設定された複数の操作対象が操作されたか否かを検出する複数のセンサ（近接センサ、タッチセンサ、スイッチなど）からなるセンサ群３と、カメラ２による撮影画像とセンサ群３による検出結果とに基づいて運転者の操作を推定する操作推定装置４と、操作推定装置４の推定結果を用いて各種制御を行う車載装置群５とを備えている。

なお本実施形態において、車両室内に設定された複数の操作対象は、図２（ａ）に示すように、ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、コンソールボックス１５、グローブボックス１６、及びバックミラー１７である。

これらのうちカメラ２は、車両室内におけるバックミラー１７上部の領域１７ａにおいて、少なくとも車両の運転者、及び車両室内において運転者が操作しうる操作対象全てを撮影できる位置に取り付けられている。そしてカメラ２は、撮影した画像（図２（ｂ）を参照）を随時、操作推定装置４へ出力する。

またセンサ群３は、図１に示すように、ナビゲーション装置１１が操作されたか否かを検出するナビゲーション装置センサ３１と、エアコン１２が操作されたか否かを検出するエアコンセンサ３２と、ステアリング１３が操作されたか否かを検出するステアリングセンサ３３と、シフトレバー１４が操作されたか否かを検出するシフトレバーセンサ３４と、コンソールボックス１５が操作されたか否かを検出するコンソールボックスセンサ３５とから構成される。そして各センサ３１〜３５は、その検出結果を示す情報を、センサから操作推定装置４へと至る通信路（例えば車両内ネットワーク）を介して操作推定装置４へ送信する。なおセンサ群３は、車載機器の操作を検知するために付加された近接センサ、タッチセンサ、スイッチ等のセンサだけでなく、ナビゲーション装置１１のタッチパネルやエアコン１２の設定ボタンのように車載機器に組み込まれているセンサでもよい。

また操作推定装置４は、ＣＰＵ４１，ＲＯＭ４２，ＲＡＭ４３，Ｉ／Ｏ（不図示）及びこれらの構成を接続するバスライン（不図示）などからなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ４２及びＲＡＭ４３に記憶されたプログラムに基づいて各種処理を実行する。

また車載装置群５は、操作推定装置４の推定結果に基づいて車両制御のタイミングや強弱を調整するＡＣＣ（Adaptive Cruise Control）装置５１、ブレーキ装置５２、及び変速装置５３と、操作推定装置４の推定結果に基づいて振動などで運転者に刺激を与えるシートベルト装置５４及びステアリング装置５５と、操作推定装置４の推定結果に基づいて走行中の運転者からの利用を制限するナビゲーション装置１１などから構成される。

このように構成された操作支援システム１において、操作推定装置４は、後述の人体特徴点特定処理、操作推定処理、操作状態監視処理、及び推定モデル選択処理をそれぞれ独立に実行する。

まず、操作推定装置４が実行する人体特徴点特定処理の手順を図３を用いて説明する。図３は人体特徴点特定処理を示すフローチャートである。この人体特徴点特定処理は、操作推定装置４が起動（電源オン）している間に繰り返し実行される処理である。

この人体特徴点特定処理が実行されると、操作推定装置４は、まずＳ１０にて、カメラ２から入力される画像を取得する。ここでは、例えば、図４（ａ）〜（ｇ）に示すように、運転者が各操作対象を操作している様子を示す画像が取得される。

そしてＳ２０にて、Ｓ１０で取得された画像に基づいて、この画像中の運転者における１以上の人体特徴点を特定する。

ここでは、カメラ２から入力される画像中の運転者に対応する領域に、人体を模擬的に表現してなる身体モデルを、その運転者の姿勢に合わせて重ね合わせ、その画像中から、身体モデルにおける基準となる座標それぞれを、その画像中の運転者における人体特徴点として特定する。ここで、「身体モデルにおける基準となる座標」とは、図５のｄ１〜ｄ６に示すように、例えば、両肩、両肘、及び両手首などの中心位置の座標である。以降、１つの画像から特定される１以上の人体特徴点を単に「人体特徴点」という。なお、このような身体モデルの重ね合わせについては、特開２００３−１０９０１５号に記載された技術を利用するとよい。

さらにＳ３０にて、Ｓ２０にて特定された人体特徴点を、操作推定装置４のＲＡＭ４３に設けられた人体特徴点リスト４３ａに登録する。そして、人体特徴点特定処理を一旦終了する。

この人体特徴点リスト４３ａは、所定数Ｎ（Ｎは整数）の人体特徴点が先入れ先出し方式で登録されるリストである。つまり、この人体特徴点リスト４３ａは、人体特徴点特定処理が一定回数繰り返された以降、人体特徴点として常に最新のものから所定数Ｎだけ前までのものが登録された状態となる。なお、この人体特徴点リスト４３ａには、運転者が特定の姿勢をとっている場合における人体特徴点として想定される人体特徴点を、初期値として登録しておくようにしてもよい。

次に、操作推定装置４が実行する操作推定処理の手順を、図６を用いて説明する。図６は操作推定処理を示すフローチャートである。この操作推定処理は、操作推定装置４が起動（電源オン）している間に繰り返し実行される処理である。

この操作推定処理が実行されると、操作推定装置４は、まずＳ１１０にて、人体特徴点リスト４３ａに登録されている全ての人体特徴点を読み出す。その後Ｓ１２０にて、読み出した人体特徴点それぞれに基づいて運転者の姿勢軌跡を特定する。具体的には、Ｓ１１０にて読み出された各人体特徴点を、主成分分析により表現される固有空間に投影し、こうして投影した固有空間上での座標の軌跡を運転者による実際の姿勢軌跡（以降、実姿勢軌跡という）として特定する。

またＳ１３０にて、後述の推定モデル選択処理で選択された遷移推定モデルを取得する。なお遷移推定モデルは、或る操作対象を操作していた状態から別の操作対象の操作へと移行する操作内容を実施している運転者が辿ると推定される姿勢軌跡（以降、推定姿勢軌跡という）をモデル化したものである。姿勢軌跡としては例えば、ステアリング１３を握っている姿勢から、ナビゲーション装置１１を操作しようとしてナビゲーション装置１１に指が接触する姿勢までの軌跡が挙げられる。また遷移推定モデルは、それぞれの操作内容に対応するものが操作推定装置４のＲＡＭ４３に記憶される。

そしてＳ１４０にて、Ｓ１２０にて特定された実姿勢軌跡における座標ｐ０１〜ｐ０ｎ（ｎ≧１）毎に、その座標と、Ｓ１３０にて取得された各遷移推定モデル１〜ｘ（ｘ＞１）にて示される推定姿勢軌跡における座標ｐ１１〜ｐ１ｍ，ｐ２１〜ｐ２ｍ，…，ｐｘ１〜ｐｘｍ（ｍ≧１）それぞれとの角度θを算出する。なお、「座標ｐ０１〜ｐ０ｎ」及び「座標ｐ１１〜ｐ１ｍ，ｐ２１〜ｐ２ｍ，…，ｐｘ１〜ｐｘｍ」は、上記の固有空間上の座標である。

これにより、実姿勢軌跡における座標それぞれに対応する複数の角度群（ｐ０１［θ１１〜θｘｍ］，ｐ０２［θ１１〜θｘｍ］，…，ｐ０ｎ［θ１１〜θｘｍ］）が算出される。なお、上記の角度θは、両座標をＰ１，Ｐ２として、式（１）に基づいて算出されるものである。

ｃｏｓθ＝Ｐ１・Ｐ２／（｜Ｐ１｜・｜Ｐ２｜） ・・・（１）
ここで、式（１）中の「Ｐ１・Ｐ２」は、座標Ｐ１と座標Ｐ２の内積値である。

次にＳ１５０にて、Ｓ１４０にて算出された座標毎の角度群それぞれについて、その角度群の中で最も小さい角度と、この最小角度に対応する遷移推定モデルとを特定する。

その後Ｓ１６０にて、Ｓ１５０にて特定された最小角度の全てが、予め設定された推定判定値（本実施形態では、例えば２０度）未満であるか否かを判断する。ここで、特定された最小角度の全てが推定判定値未満である場合には（Ｓ１６０：ＹＥＳ）、Ｓ１７０にて、Ｓ１５０にて特定された遷移推定モデルが全て同一であるか否かを判断する。

ここで、特定された遷移推定モデルが全て同一である場合には（Ｓ１７０：ＹＥＳ）、Ｓ１８０にて、Ｓ１５０にて特定された遷移推定モデルに対応する操作内容を運転者が行っていると推定し、操作推定処理を一旦終了する。

一方、Ｓ１５０にて特定された遷移推定モデルが全て同一ではない場合には（Ｓ１７０：ＮＯ）、Ｓ１９０に移行する。

またＳ１６０にて、特定された最小角度のなかで推定判定値以上となるものがある場合には（Ｓ１６０：ＮＯ）、Ｓ１９０に移行する。

そしてＳ１９０に移行すると、運転者の操作内容に該当する遷移推定モデルがない、つまり、遷移推定モデルに対応する操作を運転者が行っていないと推定し、操作推定処理を一旦終了する。

次に、操作推定装置４が実行する操作状態監視処理の手順を、図７を用いて説明する。図７は操作状態監視処理を示すフローチャートである。この操作状態監視処理は、操作推定装置４が起動（電源オン）している間に繰り返し実行される処理である。

この操作状態監視処理が実行されると、操作推定装置４は、まずＳ３１０にて、車両室内に設定された複数の操作対象が操作されたか否かを示す情報（以下、操作検出情報という）をセンサ群３から取得する。

その後Ｓ３２０にて、取得した操作検出情報に基づいて、操作推定装置４のＲＡＭ４３に設けられた操作状態リスト４３ｂの内容を書き換え、操作状態監視処理を一旦終了する。

この操作状態リスト４３ｂは、図８に示すように、ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、及びコンソールボックス１５のそれぞれが操作されている最中であるか否かを記録する操作記憶領域ＬＡ１〜ＬＡ５と、運転者が操作している最中または直前に操作していた操作対象を示す情報を記憶する操作対象記憶領域ＬＢとから構成される。なお、操作記憶領域ＬＡ１〜ＬＡ５をまとめて操作記憶領域ＬＡという。

そしてＳ３２０では、取得した操作検出情報に基づいて、操作記憶領域ＬＡ１〜ＬＡ５の中から、運転者が操作している最中である操作対象に対応する操作記憶領域ＬＡに、「オン」を示す情報を書き込む一方、運転者が操作していない操作対象に対応する操作記憶領域ＬＡに、「オフ」を示す情報を書き込む。

なお図８に示す操作状態リスト４３ｂでは、操作記憶領域ＬＡ１に「オン」が書き込まれ、操作記憶領域ＬＡ２〜ＬＡ５に「オフ」が書き込まれている。すなわち、図８に示す操作状態リスト４３ｂは、運転者がナビゲーション装置１１を操作中であるとともにエアコン１２、ステアリング１３、シフトレバー１４、及びコンソールボックス１５を操作していないことを示している。

さらにＳ３２０では、或る操作記憶領域ＬＡにおいて「オン」が書き込まれると、「オン」が書き込まれた時点で、「オン」が書き込まれた操作記憶領域ＬＡに対応した操作対象を示す情報を操作対象記憶領域ＬＢに書き込む。以下、操作対象記憶領域ＬＢに書き込まれている情報を操作対象記憶情報という。

なお図８に示す操作状態リスト４３ｂでは、操作記憶領域ＬＡ１に「オン」が書き込まれているので、ナビゲーション装置１１であることを示す情報が操作対象記憶領域ＬＢに書き込まれている。

またＳ３２０において、運転者が操作している最中である操作対象がない場合には、操作記憶領域ＬＡ１〜５には全て「オフ」が書き込まれ、操作記憶領域ＬＢには直前の操作対象が保持される。

次に、操作推定装置４が実行する推定モデル選択処理の手順を、図９を用いて説明する。図９は推定モデル選択処理を示すフローチャートである。この推定モデル選択処理は、操作推定装置４が起動（電源オン）している間に繰り返し実行される処理である。

この推定モデル選択処理が実行されると、操作推定装置４は、まずＳ４１０にて、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜ＬＡ５の中で、「オン」から「オフ」に変更にされたものがあるか否かを判断する。

ここで、「オン」から「オフ」に変更された操作記憶領域ＬＡがある場合には（Ｓ４１０：ＹＥＳ）、Ｓ４２０にて、操作推定装置４のＲＡＭ４３に設けられた操作継続判定タイマＴＭ１のインクリメントを開始し、Ｓ４３０に移行する。

なお操作継続判定タイマＴＭ１は、例えば１ｍｓごとにインクリメントするタイマであり、インクリメントが開始されると、その値が０からインクリメントする。また操作継続判定タイマＴＭ１は、ある時点でインクリメントが中止されると、その時点でその値が０となるように設定されている。

一方Ｓ４１０にて、「オン」から「オフ」に変更された操作記憶領域ＬＡがない場合には（Ｓ４１０：ＮＯ）、Ｓ４３０に移行する。

そしてＳ４３０に移行すると、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜ＬＡ５の中で、「オフ」から「オン」に変更にされたものがあるか否かを判断する。ここで、「オフ」から「オン」に変更された操作記憶領域ＬＡがある場合には（Ｓ４３０：ＹＥＳ）、Ｓ４４０にて、操作継続判定タイマＴＭ１のインクリメントを中止させ、Ｓ４５０に移行する。これにより、操作継続判定タイマＴＭ１がインクリメントを中止するとともに、その値が０になる。

一方Ｓ４３０にて、「オフ」から「オン」に変更された操作記憶領域ＬＡがない場合には（Ｓ４３０：ＮＯ）、Ｓ４５０に移行する。

そしてＳ４５０に移行すると、操作継続判定タイマＴＭ１の値（以下、操作継続判定タイマ値という）が予め設定された操作継続判定値ＪＴ（本実施形態では例えば５ｓに相当する値）以上であるか否かを判断する。

ここで、操作継続判定タイマ値が操作継続判定値ＪＴ以上である場合には（Ｓ４５０：ＹＥＳ）、Ｓ４６０にて、操作状態リスト４３ｂの操作対象記憶領域ＬＢに書き込まれている操作対象記憶情報を消去し、Ｓ４７０に移行する。

一方、操作継続判定タイマ値が操作継続判定値ＪＴ未満である場合には（Ｓ４５０：ＮＯ）、Ｓ４７０にて、操作状態リスト４３ｂの操作対象記憶領域ＬＢに操作対象記憶情報が書き込まれているか否かを判断する。ここで、操作対象記憶情報が書き込まれている場合には（Ｓ４７０：ＹＥＳ）、Ｓ４８０にて、操作対象記憶情報に応じた操作対象を起点とした遷移推定モデル（以下、通常時推定モデルともいう）を選択する。

詳細には、操作対象記憶領域ＬＢに書き込まれている操作対象記憶情報が、ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、及びコンソールボックス１５である場合にはそれぞれ、ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、及びコンソールボックス１５を起点とした遷移推定モデルを選択する（図１０の列Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５を参照）。そして、遷移推定モデルの選択が終了すると、推定モデル選択処理を一旦終了する。

一方Ｓ４７０にて、操作対象記憶情報が書き込まれていない場合には（Ｓ４７０：ＮＯ）、Ｓ４９０にて、操作されたか否かをセンサ群３が検出することができない操作対象を起点とした遷移推定モデル（以下、例外時推定モデルともいう）を選択する。詳細には、本実施形態では、車両室内に設定された操作対象（ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、コンソールボックス１５、グローブボックス１６、バックミラー１７）のうち、センサ群３が操作を検出することができないものはグローブボックス１６及びバックミラー１７である。したがって、グローブボックス１６及びバックミラー１７を起点とした遷移推定モデルを選択する（図１０の列Ｒ６を参照）。そして、遷移推定モデルの選択が終了すると、推定モデル選択処理を一旦終了する。

このように構成された操作支援システム１において、遷移推定モデルを選択する手順を図１１，１２を用いて説明する。

図１１は、ステアリング１３を操作している状態からナビゲーション装置１１を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。また図１２は、ステアリング１３を操作している状態から、センサ群３が検出することができない操作対象を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。

まず図１１に示すように、運転者がステアリング１３を操作しているときには（指示Ｃ０１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ３（ステアリング）は「オン」であり（指示Ｃ０２を参照）、操作記憶領域ＬＡ１（ナビゲーション装置）は「オフ」であり（指示Ｃ０３を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ０４を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ０５を参照）。なお、このときの操作継続判定タイマ値は０である（指示Ｃ０６を参照）。

そして、運転者がステアリング１３から手を離し（時刻ｔ１を参照）、ステアリング１３を操作している状態から、ナビゲーション装置１１を操作する状態へ遷移する途中では（指示Ｃ１１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ３（ステアリング）は「オフ」であり（指示Ｃ１２を参照）、操作記憶領域ＬＡ１（ナビゲーション装置）は「オフ」であり（指示Ｃ１３を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ１４を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ１５を参照）。なお、運転者がステアリング１３から手を離した時点（時刻ｔ１）で、操作継続判定タイマＴＭ１がインクリメントを開始し、時間の経過とともに操作継続判定タイマ値が増加する（指示Ｃ１６を参照）。

そして、運転者がステアリング１３から手を離してから、操作継続判定値ＪＴに相当する時間が経過する前に（時刻ｔ２を参照）、運転者がナビゲーション装置１１を操作する状態となると（指示Ｃ２１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ３（ステアリング）は「オフ」であり（指示Ｃ２２を参照）、操作記憶領域ＬＡ１（ナビゲーション装置）は「オン」になり（指示Ｃ２３を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ナビゲーション装置」になる（指示Ｃ２４を参照）。このため、ナビゲーション装置１１を起点とした遷移推定モデルが選択される（指示Ｃ２５を参照）。なお、運転者がナビゲーション装置１１を操作する状態になった時点（時刻ｔ２）で、操作継続判定タイマＴＭ１がインクリメントを中止し、操作継続判定タイマ値が０になる（指示Ｃ２６を参照）。

次に図１２に示すように、運転者がステアリング１３を操作しているときには（指示Ｃ３１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ３（ステアリング）は「オン」であり（指示Ｃ３２を参照）、操作記憶領域ＬＡ１，２，４，５は「オフ」であり（指示Ｃ３３〜Ｃ３６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ３７を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ３８を参照）。なお、このときの操作継続判定タイマ値は０である（指示Ｃ３９を参照）。

そして、運転者がステアリング１３から手を離し（時刻ｔ１１を参照）、ステアリング１３を操作している状態から、センサ群３が検出することができない操作対象を操作する状態へ遷移する途中では（指示Ｃ４１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜５は「オフ」であり（指示Ｃ４２〜Ｃ４６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ４７を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ４８を参照）。なお、運転者がステアリング１３から手を離した時点（時刻ｔ１１）で、操作継続判定タイマＴＭ１がインクリメントを開始し、時間の経過とともに操作継続判定タイマ値が増加する（指示Ｃ４９を参照）。

そして、運転者がステアリング１３から手を離してから、操作継続判定値ＪＴに相当する時間が経過した時点で（時刻ｔ１２を参照）、センサ群３が操作対象を検出することができないため（指示Ｃ５１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜５は「オフ」であり（指示Ｃ５２〜Ｃ５６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「なし」になる（指示Ｃ５７を参照）。このため、例外時推定モデルが選択される（指示Ｃ５８を参照）。なお、操作継続判定値ＪＴに相当する時間が経過しても（時刻ｔ１２）、操作継続判定タイマＴＭ１はインクリメントを継続し、時間の経過とともに操作継続判定タイマ値が増加する（指示Ｃ５９を参照）。

このように構成された操作支援システム１では、まず、複数の操作対象（すなわち、ナビゲーション装置１１、エアコン１２、ステアリング１３、シフトレバー１４、コンソールボックス１５、グローブボックス１６、バックミラー１７）と操作対象を操作可能な位置に存在する運転者とを含む画像（以下、操作画像という）を繰り返し取得し（Ｓ１０）、そして、取得された操作画像を用いて、運転者の姿勢を表す人体特徴点を特定する（Ｓ２０）。また操作推定装置４のＲＡＭ４３が、操作対象を操作する運転者が辿ると推定される姿勢軌跡（推定姿勢軌跡）をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶するとともに、センサ群３が、複数の操作対象の中から、運転者が操作している操作対象（以下、操作中操作対象という）を検出する。

そして、センサ群３による検出結果に基づいて、運転者が操作している又は運転者が直前に操作していた操作対象（以下、最終操作対象ともいう）を特定する（Ｓ３２０，Ｓ４１０〜Ｓ４６０）。

さらに、複数の遷移推定モデルの中から、特定された最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する（Ｓ４８０）。その後に、操作画像毎に特定された人体特徴点を用いて求められる運転者の姿勢軌跡（実姿勢軌跡）と、選択された遷移推定モデルとを照合し、この照合結果に基づいて、運転者の操作内容を推定する（Ｓ１１０〜Ｓ１９０）。

このように構成された操作支援システム１によれば、複数の遷移推定モデルの中から、最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより運転者の操作内容を推定することができる。このため、記憶された遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。これにより、運転者の操作内容を推定する処理を行うための演算量を低減することができる。なお、この低減効果は、操作対象の数が多くなるほど大きい。

また、運転者が操作している又は運転者が直前に操作していた操作対象（最終操作対象）を特定し、この最終操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを用いて照合を行うので、特定された最終操作対象以外を起点とした操作内容を運転者が実施していると推定することがない。すなわち、特定された操作対象を運転者が操作している状態を起点とした操作内容を運転者が実施する場合に、運転者が操作している操作対象以外を起点とした操作内容を運転者が実施していると推定することがない。このため、運転者の現時点の姿勢では行うことができない操作内容を、運転者の操作内容であると推定しまう可能性を低減することができる。つまり、誤推定の頻度を低減することができる。

また、最終操作対象を特定することができない場合には（Ｓ４７０：ＮＯ）、センサ群３の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択する（Ｓ４９０）。

これにより、複数の遷移推定モデルの中から、センサ群３の検出対象となっていない操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルを選択し、この選択した遷移推定モデルと、実姿勢軌跡とを照合することにより運転者の操作内容を推定することができる。このため、記憶された遷移推定モデルの全てと実姿勢軌跡とを照合する場合と比較して、照合に用いられる遷移推定モデルの数を低減することができる。これにより、運転者の操作内容を推定する処理を行うための演算量を低減することができる。

また、操作検出手段の検出対象となっている操作対象を起点とした推定姿勢軌跡をモデル化した遷移推定モデルが除外されているので、センサ群３の検出対象となっている操作対象を起点とした操作内容を運転者が実施していると推定することがない。すなわち、センサ群３の検出対象となっていない操作対象を運転者が操作している状態を起点とした操作内容を運転者が実施する場合に、センサ群３の検出対象となっている操作対象を起点とした操作内容を運転者が実施していると推定することがない。このため、運転者の現時点の姿勢では行うことができない操作内容を、運転者の操作内容であると推定しまう可能性を低減することができる。つまり、誤推定の頻度を低減することができる。

また、センサ群３の検出対象となっていない操作対象を運転者が操作していると特定するため、すなわち、最終操作対象を特定することができないとするために、運転者が操作している操作対象（以下、操作中操作対象ともいう）をセンサ群３が検出していない状態が操作継続判定値ＪＴに相当する時間継続した場合に、最終操作対象を特定することができないとする（Ｓ４５０，Ｓ４６０）。

つまり、センサ群３が操作中操作対象を検出していない状態が操作継続判定値ＪＴに相当する時間継続した場合には、センサ群３の検出対象となっていない操作対象を運転者が操作していると看做している。

これにより、センサ群３が操作中操作対象を検出していない状態が継続している時間を計測するという簡便な方法によって、センサ群３の検出対象となっていない操作対象を運転者が操作していると特定することができる。

以上説明した実施形態において、カメラ２及びＳ１０の処理は本発明における画像取得手段、Ｓ２０の処理は本発明における人体特徴点特定手段、ＲＡＭ４３は本発明における推定モデル記憶手段、センサ群３は本発明における操作検出手段、Ｓ３２０及びＳ４１０〜Ｓ４６０の処理は本発明における操作対象特定手段、Ｓ４８０及びＳ４９０の処理は本発明におけるモデル選択手段、Ｓ１１０〜Ｓ１９０の処理は本発明における操作推定手段、操作継続判定値ＪＴに相当する時間は本発明における所定判定時間である。

（第２実施形態）
以下に本発明の第２実施形態を説明する。なお、第２実施形態では、第１実施形態と異なる部分のみを説明する。

第２実施形態の操作支援システム１は、推定モデル選択処理が変更された点以外は第１実施形態と同じである。

第２実施形態の推定モデル選択処理の手順を図１３を用いて説明する。図１３は第２実施形態の推定モデル選択処理を示すフローチャートである。

第２実施形態の推定モデル選択処理が実行されると、操作推定装置４は、まずＳ６１０にて、人体特徴点リスト４３ａに登録された人体特徴点の時間変化に基づいて、人体特徴点の移動速度ＶＰを算出する。さらにＳ６２０にて、人体特徴点の移動速度ＶＰが、予め設定された動作中判定値ＪＶ１以上であるか否かを判断する。すなわち、運転者が或る操作対象を操作していた状態から別の操作対象の操作へと移行する動作（以下、移行動作ともいう）を行っているか否かを判断する。

ここで、人体特徴点の移動速度ＶＰが動作中判定値ＪＶ１未満である場合には（Ｓ６２０：ＮＯ）、移行動作を行っていないと判断し、Ｓ６４０に移行する。一方、人体特徴点の移動速度ＶＰが動作中判定値ＪＶ１以上である場合には（Ｓ６２０：ＹＥＳ）、移行動作を行っていると判断し、Ｓ６３０にて、操作推定装置４のＲＡＭ４３に設けられた動作中指示フラグＦ１をセットして、Ｓ６４０に移行する。

そしてＳ６４０に移行すると、動作中指示フラグＦ１がセットされているか否かを判断する。ここで、動作中指示フラグＦ１がクリアされている場合には（Ｓ６４０：ＮＯ）、Ｓ６８０に移行する。一方、動作中指示フラグＦ１がセットされている場合には（Ｓ６４０：ＹＥＳ）、Ｓ６５０にて、人体特徴点の移動速度ＶＰが、動作中判定値ＪＶ１より小さく設定されている動作終了判定値ＪＶ２未満であるか否かを判断する。すなわち、上記の移行動作が終了したか否かを判断する。

ここで、人体特徴点の移動速度ＶＰが動作終了判定値ＪＶ２以上である場合には（Ｓ６５０：ＮＯ）、移行動作中であると判断し、Ｓ６８０に移行する。一方、人体特徴点の移動速度ＶＰが動作終了判定値未満である場合には（Ｓ６５０：ＹＥＳ）、移行動作が終了したと判断し、Ｓ６６０にて、動作中指示フラグＦ１をクリアするとともに、Ｓ６７０にて、操作状態リスト４３ｂの操作対象記憶領域ＬＢに書き込まれている操作対象記憶情報を消去して、Ｓ６８０に移行する。

そしてＳ６８０に移行すると、操作状態リスト４３ｂの操作対象記憶領域ＬＢに操作対象記憶情報が書き込まれているか否かを判断する。ここで、操作対象記憶情報が書き込まれている場合には（Ｓ６８０：ＹＥＳ）、Ｓ６９０にて、操作対象記憶情報に応じた操作対象を起点とした遷移推定モデル（通常時推定モデル）を選択し、推定モデル選択処理を一旦終了する。

一方、操作対象記憶情報が書き込まれていない場合には（Ｓ６８０：ＮＯ）、Ｓ７００にて、操作されたか否かをセンサ群３が検出することができない操作対象を起点とした遷移推定モデル（例外時推定モデル）を選択し、推定モデル選択処理を一旦終了する。

なお、操作状態リスト４３ｂの操作対象記憶領域ＬＢに書き込まれている操作対象記憶情報は、操作状態監視処理により書き込みが行われ、推定モデル選択処理により消去される。このため、推定モデル選択処理のＳ６８０で操作対象記憶情報を参照する際に、操作状態監視処理を行い、最新の操作対象記憶情報を参照することとしてもよい。

このように構成された操作支援システム１において、遷移推定モデルを選択する手順を図１４を用いて説明する。

図１４は、ステアリング１３を操作している状態から、センサ群３が検出することができない操作対象を操作する状態へ遷移する場合の遷移推定モデルを選択する手順を説明するためのタイムチャートである。

図１４に示すように、運転者がステアリング１３を操作しているときには（指示Ｃ６１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ３（ステアリング）は「オン」であり（指示Ｃ６２を参照）、操作記憶領域ＬＡ１，２，４，５は「オフ」であり（指示Ｃ６３〜Ｃ６６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ６７を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ６８を参照）。なお、このときの人体特徴点移動速度ＶＰは略０である（指示Ｃ６９を参照）。

そして、運転者がステアリング１３から手を離し（時刻ｔ２１を参照）、ステアリング１３を操作している状態から、センサ群３が検出することができない操作対象を操作する状態へ遷移する途中では（指示Ｃ７１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜５は「オフ」であり（指示Ｃ７２〜Ｃ７６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ７７を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ７８を参照）。なお、このときの人体特徴点移動速度ＶＰは徐々に大きくなり、動作中判定値ＪＶ１を超える（時刻ｔ２２を参照）。

そして、センサ群３が検出することができない操作対象に運転者の手が到達すると（時刻ｔ２３を参照）、センサ群３が操作対象を検出することができないため（指示Ｃ８１を参照）、操作状態リスト４３ｂの操作記憶領域ＬＡ１〜５は「オフ」であり（指示Ｃ８２〜Ｃ８６を参照）、操作対象記憶領域ＬＢの操作対象記憶情報は「ステアリング」である（指示Ｃ８７を参照）。このため、ステアリング１３を起点とした遷移推定モデルが選択される（指示Ｃ８８を参照）。

なお、このときの人体特徴点移動速度ＶＰは徐々に小さくなり、動作終了判定値ＪＶ２未満となる（時刻ｔ２４を参照）。これにより、操作対象記憶領域ＬＢの操作対象記憶情報は「なし」になる（指示Ｃ９７を参照）。このため、例外時推定モデルが選択される（指示Ｃ９８を参照）。

このように構成された操作支援システム１では、操作画像毎に特定された人体特徴点の変化に基づいて、人体特徴点移動速度ＶＰを算出するとともに（Ｓ６１０）、人体特徴点移動速度ＶＰに基づいて、運転者が操作対象を操作しているか否かを判断し（Ｓ６２０〜Ｓ６５０）、運転者が操作対象を操作していると判断し（Ｓ６４０，Ｓ６５０：ＹＥＳ）、且つ、センサ群３が操作中操作対象を検出していない場合に（Ｓ６８０：ＮＯ）、最終操作対象を特定することができないとする。

このように構成された操作支援システム１によれば、運転者の実際の動作に基づいて、運転者が操作対象を操作しているか否かを判断できるので、第１実施形態に記載の手法と比較して、この判断の精度を向上させることができる。

例えば、第１実施形態に記載の手法では、操作継続判定値ＪＴに相当する時間の長さによっては、運転者が或る操作対象から他の操作対象に触れようとして動作している最中に操作継続判定値ＪＴに相当する時間が経過してしまうことが考えられる。したがって、操作継続判定値ＪＴに相当する時間の長さによっては、運転者が他の操作対象に触れていないにもかかわらず、センサ群３の検出対象となっていない操作対象を運転者が操作していると判断してしまう頻度が多くなる。

一方、第２実施形態に記載の手法では、操作継続判定値ＪＴに相当する時間の長さに関係なく、人体特徴点移動速度ＶＰが小さくなったときに、運転者が他の操作対象に触れていると判断する。このため、運転者が或る操作対象から他の操作対象に触れようとして動作している最中に、センサ群３の検出対象となっていない操作対象を運転者が操作していると判断してしまう頻度が少なくなる。

以上説明した実施形態において、Ｓ６１０の処理は本発明における動作変化量算出手段、Ｓ６２０〜Ｓ６５０の処理は本発明における操作判断手段である。
以上、本発明の一実施例について説明したが、本発明は上記実施例に限定されるものではなく、本発明の技術的範囲に属する限り種々の形態を採ることができる。

例えば上記実施形態においては、センサ群３の検出結果に基づいて最終操作対象を特定するものを示した。しかし、取得された操作画像を用いて運転者の姿勢を推定し、この推定結果に基づいて最終操作対象を特定するようにしてもよい。これにより、上記の操作中操作対象を検出するための手段を省略することができる。

また、センサ群３の検出結果と、運転者の姿勢の上記推定結果との両方に基づいて最終操作対象を特定するようにしてもよい。

また、センサ群３の検出結果に基づいて、センサ群３の検出対象となっている最終操作対象を特定するとともに、運転者の姿勢の上記推定結果に基づいて、センサ群３の検出対象となっていない最終操作対象を特定するようにしてもよい。

また上記実施形態においては、操作継続判定値ＪＴが１つであるものを示したが、操作対象毎に異なる操作継続判定値を設定するようにしてもよい。また、操作継続判定値ＪＴは、複数の操作対象の平均値であってもよいし、中央値や、９５％をカバーする上限値としてもよい。

１…操作支援システム、２…カメラ、３…センサ群、４…操作推定装置、５…車載装置群、１１…ナビゲーション装置、１２…エアコン、１３…ステアリング、１４…シフトレバー、１５…コンソールボックス、１６…グローブボックス、１７…バックミラー、３１…ナビゲーション装置センサ、３２…エアコンセンサ、３３…ステアリングセンサ、３４…シフトレバーセンサ、３５…コンソールボックスセンサ、４１…ＣＰＵ、４２…ＲＯＭ、４３…ＲＡＭ、４３ａ…人体特徴点リスト、４３ｂ…操作状態リスト、５１…ＡＣＣ装置、５２…ブレーキ装置、５３…変速装置、５４…シートベルト装置、５５…ステアリング装置

Claims (5)

1. 複数の操作対象と該操作対象を操作可能な位置に存在する操作者とを含む画像である操作画像を繰り返し取得する画像取得手段と、
   前記画像取得手段により取得された前記操作画像を用いて、前記操作者の姿勢を表す所定の人体特徴点を特定する人体特徴点特定手段と、
   前記操作対象を操作する操作者が辿ると推定される姿勢軌跡である推定姿勢軌跡をその操作内容毎にモデル化してなる複数の遷移推定モデルを記憶する推定モデル記憶手段と、
   複数の前記操作対象の中から、前記操作者が操作している前記操作対象である操作中操作対象を検出する操作検出手段と、
   前記操作検出手段による検出結果に基づいて、前記操作者が操作している又は前記操作者が直前に操作していた前記操作対象である最終操作対象を特定する操作対象特定手段と、
   前記推定モデル記憶手段が記憶する複数の前記遷移推定モデルの中から、前記操作対象特定手段が特定した前記最終操作対象を起点とした前記推定姿勢軌跡をモデル化した前記遷移推定モデルを選択するモデル選択手段と、
   前記人体特徴点特定手段により前記操作画像毎に特定された前記人体特徴点を用いて求められる前記操作者の姿勢軌跡である実姿勢軌跡と、前記モデル選択手段により選択された前記遷移推定モデルとを照合し、この照合結果に基づいて、前記操作者の前記操作内容を推定する操作推定手段と
   を備えることを特徴とする操作推定装置。
2. 前記モデル選択手段は、
   前記操作対象特定手段が前記最終操作対象を特定することができない場合には、前記操作検出手段の検出対象となっていない前記操作対象を起点とした前記推定姿勢軌跡をモデル化した前記遷移推定モデルを選択する
   ことを特徴とする請求項１に記載の操作推定装置。
3. 前記操作対象特定手段は、
   前記操作検出手段が前記操作中操作対象を検出していない状態が予め設定された所定判定時間継続した場合に、前記最終操作対象を特定することができないとする
   ことを特徴とする請求項２に記載の操作推定装置。
4. 前記人体特徴点特定手段により前記操作画像毎に特定された前記人体特徴点の変化に基づいて、前記操作者による動作の単位時間当たりの変化量である動作変化量を算出する動作変化量算出手段と、
   前記動作変化量算出手段による算出された前記動作変化量に基づいて、前記操作者が前記操作対象を操作しているか否かを判断する操作判断手段とを備え、
   前記操作対象特定手段は、
   前記操作者が前記操作対象を操作していると前記操作判断手段が判断し、且つ、前記操作検出手段が前記操作中操作対象を検出していない場合に、前記最終操作対象を特定することができないとする
   ことを特徴とする請求項２に記載の操作推定装置。
5. 請求項１〜請求項４の何れかに記載の操作推定装置の前記各手段としてコンピュータを機能させるためのプログラム。