JP2014058268A - 動作予測装置及びそれを用いた入力装置 - Google Patents

Abstract

【目的】 操作体の動作予測をして従来に比べて操作性を向上させた動作予測装置及びそれを用いた入力装置を提供することを目的としている。
【解決手段】 本実施形態における動作予測装置２８は、画像情報を取得するためのＣＣＤカメラ（撮像素子）１１と、画像情報に基づいて操作体の動作予測を行う制御部２９と、を有しており、制御部２９では、領域規制部２３にて画像情報により動作検出領域を特定し、算出部２４で例えば操作体の重心の移動ベクトルを算出して、動作検出領域内に進入した操作体の移動軌跡を追従し、動作予測部２６では移動軌跡に基づいて操作体の動作予測を行うことを特徴とするものである。
【選択図】図２

Description

本発明は、操作体（例えば手）に対する動作予測が可能な動作予測装置及び、動作予測装置を車両に用いた入力装置に関する。

下記特許文献１には、カーナビゲーション装置に関する発明が開示されている。特許文献１におけるカーナビゲーション装置は、車内に設置されたカメラや、カメラの撮影画像に基づいて操作者が運転者か助手席の乗員かを識別する画像判別手段を備えている。そして、自動車が走行状態で操作者が運転者であると識別されたとき操作を無効にするように制御されている。

特許文献１によれば、撮影画像内に腕が映し出されたとき、腕領域の形状等をもとに操作者が運転者か助手席の乗員かを識別している。

特開２００５−２７４４０９号公報

特許文献１に記載された発明によれば、操作パネルからのキー入力が検出されたか否かを検出し、このキー入力をトリガーにして、その操作者が運転者か助手席の乗員かの判定をカメラ画像に映し出された腕領域の形状等から判別している。

このように特許文献１に記載された発明では、操作パネルに対する操作性は従来と変わりがない。すなわち、例えば操作者が助手席の乗員であれば、従来と同様に操作パネルにタッチして入力を行うものであり、従来よりも良好な操作性や迅速な操作性を得ようとするものではない。

また、特許文献１に記載された発明では、操作者が運転者であるときに操作を無効にする制御を、キー入力をトリガーとして行っているため、操作を無効にするか否かの判断が遅れやすく、安全性に支障をきたす恐れがあった。

また特許文献１では、操作を無効にするにも、まずキー入力が必要とされるので操作に無駄が生じていた。

そこで本発明は上記従来の課題を解決するものであり、特に、操作体の動作予測をして従来に比べて操作性を向上させた動作予測装置及びそれを用いた入力装置を提供することを目的としている。

本発明における動作予測装置は、画像情報を取得するための撮像素子と、前記画像情報に基づいて操作体の動作予測を行う制御部と、を有しており、
前記制御部では、前記画像情報により特定された動作検出領域内に進入した前記操作体の移動軌跡を追従し、前記移動軌跡に基づいて前記動作予測を行うことを特徴とするものである。

このように本発明では、撮像素子により撮像された画像情報により動作検出領域を特定し、その動作検出領域内にて移動する操作体の移動軌跡を追従可能な制御部を備えている。そして本発明では、操作体の移動軌跡に基づいて動作予測を可能としている。したがって例えば操作パネルに対して入力操作を行う手前の位置で、操作パネルに対してどのような入力操作が行われるかの動作予測を行うことが可能であり、従来とは違った操作性や迅速な操作性、快適な操作性を得ることが可能である。

また、本発明における動作予測装置を車両用として用いた場合に、安全性を従来に比べて高めることができる。

また本発明では、操作体の動作予測を行い、それをもとに入力操作制御を行うことが可能であり、特許文献１記載の発明のようにキー入力をトリガーとして入力操作制御を行うものでなく、動作の無駄を従来に比べて省くことができる。

本発明では、前記制御部では、前記操作体の重心を算出し、前記重心の移動ベクトルを前記操作体の移動軌跡として追従することが好ましい。これにより、操作体に対する移動軌跡の追従及び移動軌跡に基づく動作予測を容易にかつスムースに得ることができる。

また本発明では、前記動作検出領域内にて撮像された前記操作体のうち、手の部分を推定して、前記手の移動軌跡を追従することが好ましい。動作検出領域内には、手だけでなく腕の部分も映し出されるが、手の部分だけを切り出して、手の移動軌跡を見ることで、移動軌跡の算出を容易にでき、制御部に対する算出負担を低減でき、また、動作予測が行いやすくなる。

また本発明では、前記手の推定は、前記操作体の輪郭を検出するステップ、前記輪郭から各箇所のサイズを求めて、決められた値以上の領域を有効領域とするステップ、前記有効領域内において前記輪郭が外接する領域を検出し、前記外接する領域の縦長さが閾値以下であるか否かを判定するステップを有して行われることが好ましい。この際、前記外接する領域の縦長さが閾値以下であるとき、前記有効領域の中心を手の重心と規定することが好ましい。また、前記外接する領域の縦長さが閾値以上であるとき、前記外接する領域の縦長さを制限して手推定領域を規定した状態で再度、前記有効領域の判定を行うことが好ましい。これにより手の推定を適切に行うことが可能である。

また本発明では、前記制御部では、前記操作体の移動軌跡を、前記動作検出領域内への進入位置から追従することが好ましい。すなわち操作体が動作検出領域を構成する複数の辺（境界）のいずれかの位置から動作検出領域内に進入したかを見ることで、操作者の特定等が行いやすくなる。

また本発明では、前記動作検出領域内は複数の区画に分割されており、前記制御部では、前記操作体の移動軌跡が、所定の前記区画内に進入したことに基づいて前記動作予測を実行することが好ましい。このように本発明では、操作体の移動軌跡を追従しながら、操作体がある所定の区画内に進入したことに基づいて動作予測を実行することで、動作予測に対する制御部への負担を軽減でき、また動作予測の精度を上げることができる。

また本発明における入力装置は、上記に記載された動作予測装置と、前記操作体により入力操作される操作パネルと、を有し、
前記動作予測装置及び前記操作パネルは車両内に設けられており、
少なくとも前記操作パネルの前方が撮像されるように前記撮像素子が配置されており、
前記制御部では、前記操作体の動作予測に基づいて、前記操作パネルに対する操作補助を行うことを特徴とするものである。

このように本発明の入力装置によれば、操作者が操作パネルを入力操作するより手前の位置で、操作体の動作予測を行い、動作予測に基づいて操作パネルに対する操作補助を行うことができる。これにより、快適な操作性及び安全性を向上させることができる。

また本発明では、前記制御部では、前記操作体の前記動作検出領域内への進入位置に基づいて、前記操作パネルに対する操作者が、運転者か、前記運転者以外の乗員かを識別可能とされることが好ましい。本発明では、操作体の移動軌跡を動作検出領域内への進入位置から追従することで、操作者が運転者か、運転者以外の乗員かを容易にかつ適切に識別することができる。

本発明の動作予測装置及びそれを用いた入力装置によれば、従来とは違った操作性や迅速な操作性、快適な操作性を得ることが可能である。また、車両用として用いた場合に、安全性を従来に比べて高めることができる。

また本発明では、操作体の動作予測を行い、それをもとに入力操作制御を行うことが可能であり、特許文献１記載の発明のようにキー入力をトリガーとして入力操作制御を行うものでなく、動作の無駄を従来に比べて省くことができる。

図１は、本実施形態における入力装置を装備した車両内の部分模式図である。 図２は、本実施形態における入力装置のブロック図である。 図３は、ＣＣＤカメラ（撮像素子）にて撮像された画像を示す模式図である。 図４（ａ）は、撮像素子、操作パネル、及び、撮像素子により撮像される画像範囲を側面から表した模式図であり、図４（ｂ）は、撮像素子、操作パネル、及び、撮像素子により撮像される画像範囲を正面から表した模式図である。 図５は、手の部分を推定するステップを示す模式図である。 図６（ａ）は、ＣＣＤカメラ（撮像素子）の画像情報の取り込みから操作パネルに対する操作補助の実行までのステップを説明するためのフローチャート図である。 図６（ｂ）は、特に手の部分を推定するステップを示すフローチャート図である。 図７は、ＣＣＤカメラの画像情報により特定された動作検出領域内での運転者の操作体（手）の移動軌跡を説明するための模式図である。 図８は、図７に示される操作体（手）の移動軌跡を追従した際、操作体が操作パネルに近い第１の区画内に進入したことを説明するための模式図である。 図９は、運転者の操作体（手）が、直接、操作パネルに近い第１の区画内に進入したことを説明するための模式図である。 図１０は、操作パネルの入力操作面を示す模式図である。 図１１（ａ）は、操作パネルに対する操作補助の一形態を示すものであり、操作体の動作予測に基づいて操作体の入力操作が予定されたアイコンを拡大表示した状態を示す模式図である。 図１１（ｂ）は、図１１（ａ）の変形例であり、図１１（ａ）とは異なった形態としてアイコンを拡大表示した状態を示す模式図である。 図１２は、操作パネルに対する操作補助の一形態を示すものであり、操作体の動作予測に基づいて操作体の入力操作が予定されたアイコンが点灯した状態を示す模式図である。 図１３は、操作パネルに対する操作補助の一形態を示すものであり、操作体の動作予測に基づいて操作体の入力操作が予定されたアイコン上にカーソル表示が重なった状態を示す模式図である。 図１４は、操作パネルに対する操作補助の一形態を示すものであり、操作体の動作予測に基づいて操作体の入力操作が予定されたアイコン以外のアイコンがグレーアウト表示とされた状態を示す模式図である。 図１５は、操作パネルに対する操作補助の一形態を示すものであり、操作パネル上のすべてのアイコンがグレーアウト表示とされた状態を示す模式図である。 図１６は、ＣＣＤカメラの画像情報により特定された動作検出領域内での助手席の乗員（操作者）の操作体（手）の移動軌跡を説明するための模式図である。 図１７は、ＣＣＤカメラの画像情報により特定された動作検出領域内での後部座席の乗員（操作者）の操作体（手）の移動軌跡を説明するための模式図である。 図１８は、図８とは異なる運転者の操作体（手）の移動軌跡を追従した模式図を示す。 運転者と助手席の乗員の双方の操作体（手）が動作検出領域内に進入した状態を示す模式図である。 図２０は、指の位置を推定するためのアルゴリズムを説明するための模式図である。

図１は、本実施形態における入力装置を装備した車両内の部分模式図、図２は、本実施形態における入力装置のブロック図、図３は、ＣＣＤカメラ（撮像素子）にて撮像された画像を示す模式図、図４（ａ）は、撮像素子、操作パネル、及び、撮像素子により撮像される画像範囲を側面から見た模式図であり、図４（ｂ）は、撮像素子、操作パネル、及び、撮像素子により撮像される画像範囲を正面から見た模式図である。

図１は、車両の車内前列付近を示している。図１の車両は左ハンドルであるが、右ハンドルにも本実施形態の入力装置を適用できる。

図１に示すように車内の天井１０には、ＣＣＤカメラ（撮像素子）１１が取り付けられている。図１では、ＣＣＤカメラ１１をバックミラー１２付近に配置している。ただしＣＣＤカメラ１１による画像が少なくとも操作パネル１８の前方を映し出したものであれば、ＣＣＤカメラ１１の設置位置を特に限定するものではない。また、ＣＣＤカメラ１１としているが、赤外線を検知可能なカメラを用いることで夜間でも操作体の動作を検知可能とできる。

図１に示すようにセンターコンソール１３には、運転席１４と助手席１５との間の位置に配置されたシフト操作体１６を備える中央操作部１７や、操作パネル１８が配置されている。

操作パネル１８は、例えば静電容量式タッチパネルであり、カーナビゲーション装置における地図表示や、音楽再生画面等を表示できる。そして操作者は操作パネル１８の画面を直接、指等により入力操作することが可能とされている。

図４（ａ）に示すように天井１０に取り付けられたＣＣＤカメラ１１は、少なくとも操作パネル１８の前方が撮像される位置に取り付けられる。ここで操作パネル１８の前方とは、操作パネル１８の画面１８ａに対して直交する方向１８ｂであって指等により操作パネル１８を入力操作する側の空間領域１８ｃを指す。

図４（ａ）（ｂ）に示す符号１１ａは、ＣＣＤカメラ１１の中心軸（光軸）を示し、撮像範囲をＲで示した。

図４（ａ）に示すように撮像範囲Ｒを横（側面側）から見ると、撮像範囲Ｒには操作パネル１８及び操作パネル１８の前方に位置する空間領域１８ｃが映し出されている。また図４（ｂ）に示すように、撮像範囲Ｒを正面からみると、撮像範囲Ｒの幅（映し出される画像情報の最も広い幅）Ｔ１は、操作パネル１８の幅Ｔ２よりも広くなっている。

図２に示すように、本実施形態における入力装置２０は、ＣＣＤカメラ（撮像素子）１１と、操作パネル１８と、制御部２１とを有して構成される。

図２に示すように、制御部２１には、画像情報検出部２２、領域規制部２３、算出部２４、動作予測部２５及び操作補助機能部２６が含まれている。

ここで図２では制御部２１を一つにまとめて図示したが、例えば制御部２１が複数存在し、図２に示す画像情報検出部２２、領域規制部２３、算出部２４、動作予測部２５及び操作補助機能部２６が複数の制御部に分けて組み込まれていてもよい。

すなわち画像情報検出部２２、領域規制部２３、算出部２４、動作予測部２５及び操作補助機能部２６を制御部にどのように組み込むかについては適宜選択できる。

なお図２に示すＣＣＤカメラ（撮像素子）１１と、画像情報検出部２２、領域規制部２３、算出部２４及び動作予測部２５を備える制御部２９とで動作予測装置２８が構成されている。この動作予測装置２８を車両内に組み込み、操作パネル１８との間で信号の送受信を可能とした車両システムが、入力装置２０を構成している。

画像情報検出部２２は、ＣＣＤカメラ１１にて撮像された画像情報を取得する。ここで画像情報とは撮影により得られた画像の電子情報である。図３は、ＣＣＤカメラ１１にて撮像された画像３４を示している。図３に示すように画像３４には、操作パネル１８と、操作パネル１８の前方の空間領域１８ｃとが映し出されている。操作パネル１８の前方にはシフト操作体１６等が配置された中央操作部１７が映っている。また、図３の画像３４には、操作パネル１８及び中央操作部１７の左右両側の領域３５，３６も映っている。左側の領域３５は運転席側の領域であり、右側の領域３６は助手席側の領域である。図３では、左右両側の領域３５，３６に映し出された画像を省略している。なおＣＣＤカメラ１１の種類や画素数等については特に限定されない。

図２に示す領域規制部２３は、ＣＣＤカメラ１１にて取得された画像情報により、操作体の移動軌跡の追従及び動作予測に用いる領域を特定する。

図３に示す画像３４のうち操作パネル１８から前方に位置する画像中央領域を動作検出領域３０として特定する。すなわち動作検出領域３０は、複数の辺３０ａ〜３０ｄに囲まれた領域であり、左右両側の領域３５，３６が動作検出領域３０から外されている。図３に示す動作検出領域３０と、その左右両側の領域３５，３６との境界（辺）３０ａ，３０ｂが点線で示されている。また、図３では辺３０ｃ，３０ｄが画像３４の前後方向における端の部分となっているが、前記辺３０ｃ，３０ｄを画像３４の内側に配置してもよい。

図３に示す画像３４全体を動作検出領域３０とすることもできる。ただし、かかる場合、操作体の移動軌跡の追従や動作予測に費やす計算量が増えてしまい動作予測の遅延や装置の短寿命に繋がり、また多大な計算を可能とするには生産コストの増大にも繋がる。よって、画像３４全体を使うのではなく、限られた範囲を動作検出領域３０として用いることが好適である。

また図３に示す形態では、動作検出領域３０を２つの区画３１，３２に分割している。区画３１と区画３２との境界３３が一点鎖線で示されている。動作検出領域３０を複数の区画に分割するに際し、どのように分割するかは任意に決定することができる。２つよりも多い区画に分割することも可能である。また区画３１は操作パネル１８に近い側で、操作体の動作予測及び操作パネル１８に対する操作補助の実行には、区画３１内での操作体の動作状態が重要であるため、区画３１内をより細かく区切り、操作補助の実行タイミングをきめ細かく決めることができる。

なお以下では、区画３１を第１の区画と称し、区画３２を第２の区画と称することとする。図３に示すように、第１の区画３１は、画像内に操作パネル１８を含み、第２の区画３２よりも操作パネル１８に近い側の領域となっている。

図２に示す算出部２４は、動作検出領域３０内での操作体の移動軌跡を算出する部分である。算出方法を特に限定するものではないが、例えば、次のような方法で操作体の移動軌跡を算出することができる。

図５（ａ）では、腕４０と手４１との輪郭４２の情報を検出している。輪郭４２をとらえるには、ＣＣＤカメラ１１により撮像された画像を計算量削減のためサイズを縮小し、その後、認識処理を行うため白黒の画像に変換する処理を行う。この際、詳細な画像を用いることで操作体の認識を精度良く行えるが、本実施形態においてはサイズを縮小していることで計算量を削減し、素早い処理が行えるようにしている。その後、画像を白黒に変換した後は、輝度の変化を元に操作体を検出する。また、赤外線検知カメラを用いた場合は画像の白黒変換処理は不要となる。その後、例えば前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出する。この際、ノイズの影響を減らすために動きベクトルを２×２画素で平均化する。そしてこの動きベクトルが所定以上のベクトル長（移動量）であったときに、図５（ａ）に示すように、動作検出領域３０内に現れる腕４０から手４１に至る輪郭４２を操作体として検出する。

次に図５（ａ）に示すように画像の縦長さ（Ｙ１−Ｙ２）を制限して、図５（ｂ）に示すように画像を切り出して手４１の領域を推定する。この時、輪郭４２から操作体の各箇所のサイズを計算し、決められた値以上の領域を有効領域とする。ここで下限を定めている理由は、一般的に手は腕よりも幅が広いことを利用して、腕を除外するためである。また、上限を設けていない理由は、動作検出領域３０内に身体も撮像された場合、かなりの面積で動きベクトルが発生するため、上限を設けると検出できない場合があるからである。そして、有効領域内において輪郭４２を外接する領域を検出する。例えば、図５（ｂ）では、全輪郭４２を構成するＸＹ座標を調べ、Ｘ座標の最小、最大値を求めて図５（ｃ）に示すように有効領域の幅（Ｘ方向の長さ）を縮める。このようにして輪郭４２に外接する最小矩形領域４３を検出し、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以下であるかを判別する。所定閾値以下であった場合にはこの有効領域内において重心Ｇの算出を行う。

また、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以上であった場合には腕が前記下限のサイズ縦長さをＹ１側から所定距離の範囲で制限し、画像を切り出す（図５（ｄ））。更に切り出された画像において輪郭４２に外接する最小矩形領域４４を検出し、この最小矩形領域４４を全方向に数画素分拡大した領域を手推定領域とする。拡大した領域を手推定領域とすることで、輪郭４２の検出処理過程において意図せずに除外されてしまった手４１の領域を再度認識させることが可能となる。この手推定領域において再度前述した有効領域の判定を行う。所定の閾値以下となった場合には有効領域の中心を手４１の重心Ｇとして規定する。重心Ｇの算出方法は上記に限定するものではなく、従来から存在するアルゴリズムによっても求めることができる。ただし、車両の走行中に行う操作体の動作予測であるので、素早い重心Ｇの算出が必要であり、算出された重心Ｇの位置がきわめて高精度であることを要しない。特に重心Ｇと定義された位置の動きベクトルを連続的に算出できることが重要である。この動きベクトルを用いることで、例えば周囲の照明の状況が逐次変わるような状況下のように、操作体である手の形状が把握し難い場合においても、確実に動作予測を行うことが可能となる。また、上記したように処理においては輪郭４２の情報と輪郭４２に外接する領域情報の２つを用いることで手と腕の区別を確実に行うことが可能である。

上記した動きベクトルを検出している間中、移動体（ここでは手４１）の重心Ｇの移動ベクトルを算出し、重心Ｇの移動ベクトルを移動体の移動軌跡として得ることができる。

図２に示す動作予測部２５は、操作体の移動軌跡に基づいて操作体がこの後、どの位置に達するかを予測する。例えば操作体の移動軌跡が操作パネル１８に対して真っ直ぐに向かっているのか、あるいは、移動軌跡が操作パネル１８に対して斜めに傾いているのかによって、このままいけば、操作体が操作パネル１８の画面１８ａ上のどのあたりに到達するのかを予測する。

図２に示す操作補助機能部２６は、操作体の動作予測に基づいて、操作パネル１８に対する操作補助を行うものである。本実施形態における「操作補助」とは、良好な操作性や高い安全性を確保可能なように入力操作や入力操作位置の表示形態等を制御・調整することを指す。操作補助の具体例は後述する。

以下、図６（ａ）のフローチャートを用いて、画像情報の取り込みから操作補助の実行までのステップについて説明する。

まず図６（ａ）に示すステップＳＴ１では、ＣＣＤカメラ１１の画像情報を図２に示す画像情報検出部２２により取り込む。そしてステップＳＴ２では、図２に示す領域規制部２３により画像情報から動作検出領域３０を特定し、さらに動作検出領域３０内を複数の区画３１，３２に分割する（図５参照）。

図３に示す画像３４全体を動作検出領域３０として規定することもできる。ただし算出量（計算量）の削減のために、少なくとも操作パネル１８の前方の領域を動作検出領域３０として特定すればよい。

続いて図６（ａ）に示すステップＳＴ３では、図２に示す算出部２４により、動きベクトルの検出を行う。なお動きベクトルの検出については、図６（ａ）に示すステップＳＴ３のみに示したが、前のフレームと今のフレームとの間で常に動きベクトルの有無を検出している。

図６（ａ）に示すステップＳＴ４では、図５で示したように操作体（手）を特定して、操作体（手）の重心Ｇを図２に示す算出部２４により算出する。

本実施形態では図５で示したように手の部分を操作体として用いているが、手の部分を推定し、手の重心Ｇを求めるまでのフローチャートを図６（ｂ）に示す。

図６（ｂ）では、図６（ａ）に示したＣＣＤカメラ１１による画像を取り込んだ後、ステップＳＴ１０で画像サイズを縮小し、その後、ステップＳＴ１１で認識処理を行うため白黒の画像に変換する処理を行う。続いて、ステップＳＴ１２では、例えば前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出する。なおこの動きベクトルの検出については図６（ａ）のステップＳＴ３にも示されている。なお、図６（ｂ）では、動きステップが検出されたものとして次のステップＳＴ１３に移行する。

ステップＳＴ１３では、動きベクトルを２×２画素で平均化する。例えばこの時点で８０×６０ブロックとなる。

次にステップＳＴ１４では、各ブロックごとにベクトル長さ（移動量）を計算する。そしてベクトル長さが決められた値よりも大きい場合に、有効な動きをするブロックと判定する。

続いて、図５（ａ）に示したように操作体の輪郭４２を検出する（ステップＳＴ１５）。

次に、ステップＳＴ１６では、輪郭４２から操作体の各箇所のサイズを計算し、決められた値以上の領域を有効領域とする。有効領域内において輪郭４２を外接する領域を検出する。図５（ｂ）で説明したように、例えば、全輪郭４２を構成するＸＹ座標を調べ、Ｘ座標の最小、最大値を求めて図５（ｃ）に示すように有効領域の幅（Ｘ方向の長さ）を縮める。

このようにして輪郭４２に外接する最小矩形領域４３を検出し、ステップＳＴ１７では、最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以下であるかを判別する。所定閾値以下であった場合には、ステップＳＴ１８に示すように、この有効領域内において重心Ｇの算出を行う。

また、ステップＳＴ１７において最小矩形領域４３（有効領域）の縦長さ（Ｙ１−Ｙ２）が所定閾値以上であった場合には、腕の前記下限のサイズ縦長さをＹ１側から所定距離の範囲で制限し、画像を切り出す（図５（ｄ）参照）。そしてステップＳＴ１９に示すように、切り出された画像において輪郭４２に外接する最小矩形領域４３を検出し、この最小矩形領域４３を全方向に数画素分拡大した領域を手推定領域とする。

そして、上記した手推定領域において、ステップＳＴ２０〜ステップＳＴ２２では、ステップＳＴ１４〜ステップＳＴ１６と同様のステップを実行したのち、ステップＳＴ１９で、有効領域の中心を手４１の重心Ｇとして規定する。

以上のようにして、操作体（手）の重心Ｇを算出したのち、図６（ａ）に示すステップＳＴ５では、操作体（手）の移動軌跡を追従する。ここでは移動軌跡の追従を重心Ｇの移動ベクトルにより求めることができる。追従とは、動作検出領域３０内に進入した手の動きを追い続ける状態を指す。上記のように手の重心Ｇの移動ベクトルにより移動軌跡の追従を可能とするが、重心Ｇの取得は、例えば、前フレームと今のフレームとを使用しオプティカルフローを計算して動きベクトルを検出した際に行うため、重心Ｇの取得間に時間的な間隔を有しているが、このような重心Ｇの取得間の時間的な間隔も含めて本実施形態における追従に該当する。

また、操作体の移動軌跡の追従は、操作体が動作検出領域３０に進入したと検出されたときから開始されることが好ましいが、しばらく時間を置いた後に、例えば操作体が、第１の区画３１と第２の区画３２との境界３３付近に到達したと判断された後から、操作体の移動軌跡の追従を開始してもよいし、移動軌跡の追従の開始時期については任意に決定できる。なお以下の実施形態では操作体が動作検出領域３０内に進入したと判断された時点で、移動軌跡の追従を開始している。

図７は、今、運転者が操作パネル１８を操作しようとして手４１を操作パネル１８の方向に向けて伸ばした状態を示している。

図７に示す矢印Ｌ１は、動作検出領域３０内における手４１の移動軌跡（以下、移動軌跡Ｌ１と称する）を示している。

図７に示すように手４１の移動軌跡Ｌ１は動作検出領域３０を構成する複数の区画３１，３２のうち操作パネル１８から遠い側の第２の区画３２内を第１の区画３１の方向に向けて移動している。

図６（ａ）に示すステップＳＴ６では、移動軌跡Ｌ１が、操作パネル１８に近い第１の区画３１内に進入したか否かを検出する。移動軌跡Ｌ１が第１の区画３１内に進入していない場合には、ステップＳＴ５に戻り、手４１の移動軌跡Ｌ１を図６（ａ）に示すステップＳＴ３〜ステップＳＴ５のルーチンにより追従し続ける。このように図６（ａ）では図示していないが、ステップＳＴ５に戻った後も、動作予測中では常にステップＳＴ３〜ステップＳＴ５のルーチンが作用している。

図８に示すように手４１の移動軌跡Ｌ１が第２の区画３２から操作パネル１８に近い第１の区画３１内に進入すると、図６（ａ）に示すステップＳＴ６を満たしてステップＳＴ７に移行する。なお移動軌跡Ｌ１が第１の区画３１内に進入したか否かは図２に示す算出部２４にて検出することができる。あるいは、移動軌跡Ｌ１が第１の区画３１内に進入したか否かを判定する判定部を算出部２４とは別に制御部２１内に設けることもできる。

図６（ａ）に示すステップＳＴ７では、移動軌跡Ｌ１に基づいて手（操作体）４１の動作予測を実行する。すなわち第１の区画３１から第１の区画３１に至る移動軌跡Ｌ１により、このままの移動軌跡が維持されれば、手４１が、動作検出領域３０のどのあたりに達するか（操作パネル１８の画面１８ａのどの辺りに到達するか）を図２に示す動作予測部２５にて予測する。また、動作検出領域３０内に存在するシフト操作体１６等の操作部材の位置にあわせて区画を更に細分化することで、シフト操作体１６を操作しようとしていると予測した場合にはシフト操作体１６を別途設けられる照光手段によって照光するなど、多様な対応が可能となる。

なお図８では、手４１の移動軌跡Ｌ１が、動作検出領域３０の第２の区画３２から第１の区画３１に移動しているが、例えば図９に示すように、手４１の移動軌跡Ｌ２が動作検出領域３０の第２の区画３２を通らずに、直接、第１の区画３１内に進入する状態であってもよい。

図１０は、操作パネル１８の画面１８ａを示している。図１０に示すように画面１８ａの下方には、操作パネル１８の高さ方向（Ｚ１−Ｚ２）に対して直交する横方向（Ｘ１−Ｘ２）に複数のアイコンＡ１〜Ａ８が配列されている。各アイコンＡ１〜Ａ８の上方部分がカーナビゲーション装置における地図表示や音楽再生表示がなされる部分である。

なお図１０に示すアイコンＡ１〜Ａ８の配列と違って、アイコンＡ１〜Ａ８が例えば高さ方向（Ｚ１−Ｚ２）に配列されている構成、あるいは、アイコンの一部が横方向に配列され、残りのアイコンが高さ方向に配列されている構成等にもできる。

ただし高さ方向にアイコンが配列された構成では、図８や図９に示すように手４１の移動軌跡Ｌ１，Ｌ２が第１の区画３１に進入した際、あるいは図７のように移動軌跡Ｌ２が第２の区画３２内に位置する段階において、手４１がどの高さ位置にあるかを検出することが必要とされる。ここで操作体の高さ位置の算出方法を限定するものではないが、例えば、図５（ｃ）（ｄ）で手４１の輪郭４２が入る最小矩形領域４３，４４の大きさに基づいて手４１の高さ位置を推測することができる。すなわち図３に示すようにＣＣＤカメラ１１で映し出された画像３４は、平面であり、平面情報しか得られないため手４１の高さ位置を知るには、最小矩形領域４３，４４の面積が大きくなるほど手４１が上方に位置する（ＣＣＤカメラ１１に近づく）として検出することができる。この際、手４１の基準の大きさ（例えば操作パネル１８の中心を操作した際の手４１の大きさ）に対して面積変化により高さ位置を算出するために、基準の大きさを測定するための初期設定を行う。これにより手４１の移動軌跡がどの程度の高さ位置にあるかを推測することができる。

さて今、手４１（操作体）の移動軌跡に基づいて、図１０に示すアイコンＡ１への入力操作が予測されたとする。するとその動作予測情報は操作補助機能部２６に送られて、図６（ａ）に示すステップＳＴ８で操作者を確認したのち、図６（ａ）のステップＳＴ９に示すように操作パネル１８に対する操作補助を実行する。例えば図１１（ａ）に示すように、指で画面１８ａを触れる前に、入力操作が予測されるアイコンＡを拡大表示する。これは動作予測により入力操作が予測されたアイコンＡ１への強調表示の一形態である。

また図１１（ｂ）は、手４１（操作体）の移動軌跡に基づいて、図１０に示すアイコンＡ２への入力操作が予測された場合、アイコンＡ２とともに、その付近（アイコンＡ２の両側）に位置するアイコンＡ１，Ａ３を拡大表示し、残りのアイコンＡ４〜Ａ８を画面から消去することもできる。このように動作予測先を中心とした隣接した複数のアイコンのみを拡大する構造により、より大きく拡大表示が可能となり、誤操作を抑制できる。特に走行中に運転者が入力操作しようと予測される複数のアイコンの部分だけを表示かつ拡大することで、車両が揺れても、誤って隣のアイコンを押してしまうなどの操作ミスを抑制できる。

また本実施形態では、図１１以外に、図１２に示すようにアイコンＡ１を点灯や点滅させたり、図１３に示すようにアイコンＡ１上に、カーソル表示５０やその他の表示を重ねてアイコンＡ１が選択されていることを示したり、あるいは図１４に示すように、アイコンＡ１以外のアイコンＡ２〜Ａ８をグレーアウト表示にして、アイコンＡ１だけが入力可能であることを強調表示することができる。

図６（ａ）に示すようにステップＳＴ８で操作者を確認しているが、例えば操作者が運転者であると識別されたとき、図１５に示すように、走行中の安全性を高めるための操作補助の一形態として、操作パネル１８の画面１８ａ上のすべてのアイコンＡ１〜Ａ８をグレーアウト表示することも可能である。図１５に示す形態では、例えば車両速度センサ（図示せず）から車両の走行速度を求め、走行速度が所定以上であり、操作者が運転者であると認識された場合、図１５に示すようにすべてのアイコンＡ１〜Ａ８をグレーアウト表示するように制御することができる。

制御部２１にて、操作者が運転者であるか、運転者以外の乗員であるか否かは、動作検出領域３０と、その左右両側の領域３５，３６との境界（辺）３０ａ，３０ｂ上の進入位置から移動軌跡Ｌ１を追従することで、容易にかつ適切に判別することができる。

すなわち図７に示すように、動作検出領域３０と運転席側である左側の領域３５との境界３０ａから手４１が動作検出領域３０内に進入したことを検出することで、手４１は運転者のものである（図１に示す形態では左ハンドルのため）と識別できる。

図１６に示すように手６０の移動軌跡Ｌ４が動作検出領域３０と助手席側である右側の領域３６との境界３０ｂから動作検出領域３０内に延びている場合、手６０は助手席の乗員のものであると識別できる。

あるいは図１７に示すように、移動軌跡Ｌ５が動作検出領域３０のうち、操作パネル１８から最も離れた辺３０ｄの位置から動作検出領域３０内に進入している場合、操作者は後部座席の乗員であると識別することができる。

本実施形態では、操作体の移動軌跡を追従することで、例えば図１８に示すように運転者が腕を助手席のほうに回しながら操作パネル１８に対する操作を行おうとしても、図１８に示すように手４１（操作体）の移動軌跡Ｌ６を追従することで、操作者が運転者であると識別することができる。

本実施形態では、操作者が運転者か、運転者以外の乗員であるかによって、入力操作機能が異なるように制御してもよい。例えば、助手席の乗員が操作者である場合、図１１から図１４に示したアイコンＡ１に対する強調表示を実行し、運転者が操作者である場合、図１５で示したすべてのアイコンＡ１〜Ａ８をグレーアウト表示するように制御することができる。これにより走行中の安全性を高めることができる。なお後部座席の乗員が操作者であると識別された場合には、例えば運転者が操作者である場合と同様に、すべてのアイコンＡ１〜Ａ８をグレーアウト表示することで安全性を高めることができる。このように操作パネル１８の操作位置に対する強調表示を、操作者が助手席の乗員であると判別された場合にのみ実行するようにしてもよい。

図６（ａ）に示すステップＳＴ８で操作者が運転者であると識別された場合、操作者が助手席の乗員である場合に比べて入力操作を制限するとしたほうが、安全性を高めるうえで好適である。例えば上記したように車両が所定以上の速度で走行している場合には、すべてのアイコンをグレーアウト表示にして入力操作が無効となるように制御することが考えられる。

また、図１１に示すようにアイコンＡ１を拡大表示する場合でも、運転者が操作者である場合、助手席の乗員が操作者である場合に比べてアイコンＡ１をより拡大表示することで快適な操作性と安全性を高めることができる。かかる構成も、操作者が運転者か、運転者以外の乗員であるかによって、入力操作機能が異なるように制御した例である。

図１９に示すように、動作検出領域３０の第１の区画３１内に、運転者の手４１の移動軌跡Ｌ７と、助手席の乗員の手６０の移動軌跡Ｌ８の双方が検出された場合、助手席の乗員の動作予測を優先して操作補助を実行することが走行中の安全性を高めるうえで好適である。

操作パネル１８に対する操作補助には、例えば、操作体の動作予測に基づいて、操作パネル１８にタッチしなくても自動的に入力がオン状態になったりオフ状態になったりする形態も含まれる。

また図１１〜図１４に示したように入力操作が予測されたアイコンＡ１に対して強調表示した後、手４１がさらに操作パネル１８に近づいたら、指がアイコンＡ１上に触れるより前にアイコンＡ１の入力操作を確定することができる。

また本実施形態では、強調表示するものとしてアイコンを例に挙げたが、アイコン以外の表示体であってもよいし、予測される操作位置に対して強調表示等されるものであってもよい。

図２０は、指の検出方法を示している。まず図５（ｂ）での手４１の輪郭４２の座標を求め、図２０に示すようにもっともＹ１方向に位置する点Ｂ１〜Ｂ５をリストアップする。Ｙ１方向は操作パネル１８方向を指しているから、もっともＹ１方向に位置する点Ｂ１〜Ｂ５は指の先端であると推測される。これらの点Ｂ１〜Ｂ５の中で最もＸ１側の点Ｂ１と最もＸ２側の点Ｂ５を求める。そして、点Ｂ１と点Ｂ５の中間の座標（ここでは点Ｂ３の位置）を指位置と推定する。本実施形態では操作体を指とし、指の移動軌跡を追従することで、動作予測を行うように制御することも可能である。指の移動軌跡を用いることで、より詳細な動作予測を行うことが可能となる。
また左手と右手との判別、手の表裏の判別等を行えるようにしてもよい。

また操作体が動作検出領域３０内にて停止状態にあっても、停止状態を重心ベクトル等により随時取得することで、あるいは、停止状態での重心Ｇを所定時間保持することで、その後、操作体が移動を開始してもすぐさま操作体の移動軌跡を追従することができる。

本実施形態における動作予測装置２８（図２参照）によれば、ＣＣＤカメラ（撮像素子）１１により撮像された画像情報により動作検出領域３０を特定し、その動作検出領域３０内にて移動する操作体の移動軌跡を追従可能な制御部２９を備えている。そして本実施形態では、操作体の移動軌跡に基づいて動作予測を可能としている。したがって動作予測装置２８を車両内に組み込み、操作パネル１８とともに入力装置２０を構成した場合、操作パネル１８に対して入力操作が行われる手前の位置で、操作パネル１８に対する動作予測を行うことが可能であり、従来とは違った操作性や迅速な操作性、快適な操作性を得ることが可能である。また走行中の安全性を従来に比べて高めることができる。

また本実施形態では、操作体の動作予測を行う構成であり、特許文献１記載の発明のようにキー入力をトリガーとして入力操作制御を行うものでなく、動作の無駄を従来に比べて省くことができる。

本実施形態では、例えば、操作体の重心Ｇを算出し、重心Ｇの移動ベクトルを前記操作体の移動軌跡として追従しているが、これにより、操作体に対する移動軌跡の追従及び移動軌跡に基づく動作予測を容易にかつスムースに得ることができる。

また本実施形態では、図５に示すように、動作検出領域内には、手４１だけでなく腕４０の部分も映し出されるが、手４１の部分だけを切り出して、手４１の移動軌跡を見ることで、移動軌跡の算出を容易にでき、制御部に対する算出負担を低減でき、また、動作予測が行いやすくなる。

また本実施形態では、操作体の移動軌跡を、動作検出領域３０内への進入位置から追従している。すなわち操作体が動作検出領域３０を構成する複数の辺３０ａ〜３０ｄのいずれかの位置から動作検出領域内に進入したかを見ることで、操作者の特定が行いやすくなる。

また本実施形態では、動作検出領域３０内は複数の区画３１，３２に分割されており、操作体の移動軌跡が、操作パネル１８に近い第１の区画３１内に進入したことに基づいて動作予測を実行している。このように本実施形態では、操作体の移動軌跡を追従しながら、操作体がある所定の区画内に進入したことに基づいて動作予測を実行することで、動作予測実行に対する制御部への負担を軽減でき、また動作予測の精度を上げることができる。

図２に示す動作予測装置２８を車両内に組み込んで操作パネル１８とともに入力装置２０を構成する以外に適用することもできる。

Ａ１〜Ａ８ アイコン
Ｇ 重心
Ｌ１〜Ｌ８ 移動軌跡
Ｒ 撮像範囲
１１ ＣＣＤカメラ
１８ 操作パネル
２０ 入力装置
２１，２９ 制御部
２２ 画像情報検出部
２３ 領域規制部
２４ 算出部
２５ 動作予測部
２６ 操作補助機能部
２８ 動作予測装置
３０ 動作検出領域
３１，３２ 区画
３４ 画像
４１，６０ 手
４２ 輪郭

Claims (10)

1. 画像情報を取得するための撮像素子と、前記画像情報に基づいて操作体の動作予測を行う制御部と、を有しており、
   前記制御部では、前記画像情報により特定された動作検出領域内に進入した前記操作体の移動軌跡を追従し、前記移動軌跡に基づいて前記動作予測を行うことを特徴とする動作予測装置。
2. 前記制御部では、前記操作体の重心を算出し、前記重心の移動ベクトルを前記操作体の移動軌跡として追従する請求項１記載の動作予測装置。
3. 前記動作検出領域内にて撮像された前記操作体のうち、手の部分を推定して、前記手の移動軌跡を追従する請求項１または２に記載の動作予測装置。
4. 前記手の推定は、前記操作体の輪郭を検出するステップ、前記輪郭から各箇所のサイズを求めて、決められた値以上の領域を有効領域とするステップ、前記有効領域内において前記輪郭が外接する領域を検出し、前記外接する領域の縦長さが閾値以下であるか否かを判定するステップを有して行われる請求項３記載の動作予測装置。
5. 前記外接する領域の縦長さが閾値以下であるとき、前記有効領域の中心を手の重心と規定する請求項４記載の動作予測装置。
6. 前記外接する領域の縦長さが閾値以上であるとき、前記外接する領域の縦長さを制限して手推定領域を規定した状態で再度、前記有効領域の判定を行う請求項４又は５に記載の動作予測装置。
7. 前記制御部では、前記操作体の移動軌跡を、前記動作検出領域内への進入位置から追従する請求項１ないし６のいずれか１項に記載の動作予測装置。
8. 前記動作検出領域内は複数の区画に分割されており、前記制御部では、前記操作体の移動軌跡が、所定の前記区画内に進入したことに基づいて前記動作予測を実行する請求項１ないし７のいずれか１項に記載の動作予測装置。
9. 請求項１ないし８のいずれか１項に記載された動作予測装置と、前記操作体により入力操作される操作パネルと、を有し、
   前記動作予測装置及び前記操作パネルは車両内に設けられており、
   少なくとも前記操作パネルの前方が撮像されるように前記撮像素子が配置されており、
   前記制御部では、前記操作体の動作予測に基づいて、前記操作パネルに対する操作補助を行うことを特徴とする入力装置。
10. 前記制御部では、前記操作体の前記動作検出領域内への進入位置に基づいて、前記操作パネルに対する操作者が、運転者か、前記運転者以外の乗員かを識別可能とされる請求項９記載の車両用の入力装置。