JP2013218391A - 操作入力装置、操作入力方法、及び、操作入力プログラム - Google Patents

Abstract

【課題】車両の運転に影響を与えることなく、単純なアクションにより入力が可能な操作入力装置を提供する。
【解決手段】操作入力装置は、車両などの移動体に搭載される装置に対して操作入力を行う。移動体に搭載される装置は、例えばカーナビゲーション装置やスマートフォンなどがあげられる。カメラは運転席付近の画像を撮影し、その撮影画像から、操作物の状態が検出される。操作物は、例えば運転者の手、指などがあげられる。好適な例では、操作物の状態は、操作物の形状、姿勢、位置、動きのうちの少なくとも１つを含む。そして、予め決定されたルールに従い、操作物の状態の変化に基づいて、使用者が意図する操作が判定される。そして、決定された操作に基づいて、移動体に搭載される装置が動作する。
【選択図】図１

Description

本発明は、カメラで撮影した画像中における操作物の状態の変化を利用して、装置に対する操作を入力する手法に関する。

装置に対して操作入力を行うインターフェースとして各種の手法が提案されている。

特許文献１は、空中において指のような操作物を検出し、その検出領域での位置と、表示面での位置を対応付け、表示面に対する位置入力ができるようにしている。具体的には、ディスプレイ面に対応させる空間を設定し、赤外線走査により、その空間に入れられた指示物を検知する。その検出位置とディスプレイ面上の位置を対応付けたり（その位置にカーソル表示をする）、その位置での操作を受け付けたりする（奥行き方向に操作物を押し込む操作を検出）。また、それらのカーソル移動や押し込む操作により、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）に表示したメニューを操作する例を示している。

特許文献２は、操作者がタッチパネルを触ると、その様子が画面に表示される点を特徴としている。具体的には、操作面を有し、操作面に接触したユーザの手領域を検出し、その領域に基づいて手形状モデルを変形させる。たとえば、操作面に指先が２箇所触れているとすれば、その時の手全体の姿勢が「チョキ」のようなもので、どの位置・向きであるかを推定する。接触領域情報と、変形させた手形状モデルから生成した画像を表示部に表示したり、接触領域情報から、ユーザ操作を検出したりする。

特許文献３は、ＨＵＤに表示された虚像を選択するために、視線あるいは、目や手の検出を利用するものであり、虚像に対して直接、見たり、指差したりすることで選択が可能である。具体的には、ＨＵＤで表示された虚像の中からいずれかを選択するために、操作者の視線検出を行い、視線上、あるいはその近傍の虚像を選択することを述べている。これにより、注視により対象を選択することができる。あるいは、操作者の目と、手（指）を検出し、それらを結ぶ線によって、虚像を選択することも述べている。

特許文献４は、車両のハンドルを利用した操作入力装置を記載している。具体的には、ハンドルのリング部に所定間隔で圧力センサを複数配置し、リング部を握る指の配置を検出できるようにする。車載機器などを操作するメニューを表示し、ハンドル上の指の位置などに応じてメニューを選択できるようにする。

特許文献５は、車両のステアリングホイールを利用した操作入力装置を記載している。具体的には、ステアリングホイールの車両前側に表示装置を設け、ステアリングホイールと表示装置の間にタッチリングを設ける。表示装置には複数の選択肢を表示し、タッチリングは、表示装置の選択肢に略相似状に複数の操作領域を設定する。操作者の、タッチリングへの指の接触位置から、いずれの操作領域に該当しているかを判定し、選択操作を決定する。タッチリングは、ステアリングホイールの形状に沿った略円弧状で、操作者の視線上で、表示装置の画面上の選択肢と重畳される位置に設置されている。さらに、ステアリングホイールと表示装置を重ねて設置し、ステアリングホイール上での選択領域と重なるように、選択肢を表示することも述べている。

特開平８−２０２４８０号公報 特許第４３５１５９９号公報 特開２００５−１３８７５５号公報 特開２００３−０９５０３８号公報 特開２００６−１１７１６９号公報

特許文献１及び３に記載の手法は、空中で操作するため操作を安定させることが難しく、操作者が疲労するという問題があり、また、操作のために気をとられる危険がある。特許文献２は、扱いやすさの点で工夫されているとはいえ、画面上で対象を選択するなどの操作が必要であり、操作に負担がある。

一方、特許文献４及び５は車両のステアリングを利用するものであるが、ステアリング付近にセンサやタッチリングを設け、利用者による入力を検出する構成となっている。このため、利用者はセンサが検出できる程度の力／圧力で入力を行う必要があり、その力によりステアリングが回転してしまうなどの不具合が生じる可能性がある。

本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、車両の運転に影響を与えることなく、単純なアクションにより入力が可能な操作入力装置を提供することを目的とする。

請求項１に記載の発明は、移動体に搭載される装置に対して操作入力を行う操作入力装置であって、前記移動体の運転席付近を撮影するカメラと、前記カメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段と、を備えることを特徴とする。

請求項１０に記載の発明は、移動体に搭載される装置に対して操作入力を行う操作入力装置によって実行される操作入力方法であって、前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出工程と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定工程と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御工程と、を備えることを特徴とする。

請求項１１に記載の発明は、コンピュータを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段、として前記コンピュータを機能させることを特徴とする。

本発明の操作入力装置を適用したナビゲーション装置の構成を示す。 カメラの設置状態を模式的に示す。 カメラによる撮影画像及び操作領域の例を示す。 周辺施設検索サービスにおける操作入力の例を示す。 案内ルート情報表示サービスにおける操作入力の例を示す。 地図上からの選択サービスにおける操作入力の例を示す。 地図上からの選択サービスにおける操作入力の他の例を示す。 実施例における操作入力処理のフローチャートである。

本発明の好適な実施形態では、移動体に搭載される装置に対して操作入力を行う操作入力装置は、前記移動体の運転席付近を撮影するカメラと、前記カメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段と、を備える。

上記の操作入力装置は、車両などの移動体に搭載される装置に対して操作入力を行う。移動体に搭載される装置は、例えばカーナビゲーション装置やスマートフォンなどがあげられる。カメラは運転席付近の画像を撮影し、その撮影画像から、操作物の状態が検出される。操作物は、例えば運転者の手、指などがあげられる。好適な例では、操作物の状態は、操作物の形状、姿勢、位置、動きのうちの少なくとも１つを含む。そして、予め決定されたルールに従い、操作物の状態の変化に基づいて、使用者が意図する操作が判定される。そして、決定された操作に基づいて、移動体に搭載される装置が動作する。

上記の操作入力装置の一態様では、前記検出手段は、前記撮影画像に含まれる実体物に基づいて予め決定された操作領域に対する前記操作物の状態を検出し、前記操作判定手段は、前記操作領域における前記操作物の状態の変化に基づいて、前記使用者が意図する操作を判定する。この態様では、実態物に基づいて決定された操作領域を基準にして操作物の状態が検出される。好適な例では、移動体は車両であり、実体物は当該車両のダッシュボード、ステアリング、レバーのうちの少なくとも１つを含む。

上記の操作入力装置の他の一態様では、前記装置制御手段は、入力された複数の属性に基づいて前記移動体に搭載される装置を動作させ、前記操作判定手段は、各属性について、当該属性を選択する選択操作と、前記選択操作により選択された属性を決定する決定操作とを判定する。この態様では、選択操作と決定操作の組み合わせにより、複数の属性が決定され、その属性に基づいて操作が判定される。好適な例では、選択操作及び決定操作は、１次元的なジェスチャ操作である。

上記の操作入力装置の１つの例では、前記操作判定手段は、前記操作物による一方向への入力をある属性の選択操作と判定し、前記操作物による前記一方向とは逆方向への入力を当該属性の決定操作と判定する。他の例では、前記操作判定手段は、前記操作物によるある種類の操作を選択操作と判定し、前記ある種類の操作と異なる種類の操作への切り替えを決定操作と判定する。

上記の操作入力装置の他の一態様では、前記実体物には特定の位置に目印が設けられており、前記実体物自体が動いている間は、前記操作判定手段は操作の判定を行わない。この態様では、実体物が動いている間は、移動体の運転などが行われている可能性があるので、操作の判定を行わない。

本発明の他の好適な実施形態では、移動体に搭載される装置に対して操作入力を行う操作入力装置によって実行される操作入力方法は、前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出工程と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定工程と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御工程と、を備えることを特徴とする。この方法によっても、カメラの撮影範囲内で操作物の状態の変化を利用して操作入力が可能となる。

本発明の他の好適な実施形態は、コンピュータを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段、として前記コンピュータを機能させる。このプログラムをコンピュータ上で実行することにより、上記の操作入力装置を実現することができる。このプログラムは、記憶媒体に記憶して取り扱うことができる。

以下、図面を参照して本発明の好適な実施例について説明する。なお、以下の実施例は、本発明の操作入力装置をカーナビゲーション装置（以下、単に「ナビゲーション装置」と呼ぶ。）に適用したものである。

[装置構成]
図１は、本発明の操作入力装置を適用したナビゲーション装置の構成を示す。ナビゲーション装置は、カメラ１０と、操作検出部２０と、操作判定部２２と、表示装置２４と、サービス部２６とを備える。

カメラ１０は、使用者（自動車の運転者）が、運転操作する手元の周辺を撮影する位置に固定して設置される。図２にカメラ１０の設置状態を模式的に示す。図２（Ａ）は、運転者が運転席１４に座ってハンドル１２を握っている状態を側方から見た図であり、図２（Ｂ）は運転者が運転席１４に座っていない状態を車両の上方から見た図である。

カメラ１０の設置場所は、運転席１４の頭上の正面前方のサンバイザーの付近とする。これにより、カメラ１０は、運転席付近のダッシュボード１１、ハンドル（ステアリング）１２、左右のレバー１６（図１を参照）などを含む領域を撮影し、その撮影画像を操作検出部２０へ出力する。車両の運転中、運転者はハンドル１２を操作するため、運転者の手や指なども撮影画像に含まれることになる。

本実施例では、カメラ１０は、距離計測カメラ等の特殊なものではなく、通常のカメラとする。ただし、カメラ１０には通常は設けられていることが多い赤外線カットフィルタを設けない。また、カメラ１０の近傍に補助光の赤外線照射装置を設けて、夜間はハンドル１２の付近に赤外線を照射する。これにより、夜間でも使用者の手元周辺をカメラ１０で撮影できるようにする。
なお、カメラ１０としては、距離計測用カメラや、通常カメラをステレオで利用してもよい。その場合には、奥行き方向への距離などを取得できるため、立体的な操作が可能になるなどの利点がある。

表示装置２４は、使用者に情報を提示するためのものであり、使用者の前方の見やすく、運転の妨げとならない位置に設置される。表示装置２４は、例えばＨＵＤとしてもよく、通常の液晶ディスプレイとしてもよい。表示装置２４の設置位置は、使用者が無理なく見ることができる位置であれば、特定の場所に限定されない。

操作検出部２０は、カメラ１０で撮影した撮影画像を解析し、操作を行う手などの操作物を検出する部分である。後述するように、本実施例では、使用者の手や指などの動作をカメラ１０で撮影し、それを分析することによりナビゲーション装置に対する操作入力を行う。操作入力に使用される、使用者の手、指などを「操作物」と呼ぶ。また、操作入力時に手や指などを用いて行われる動作、即ち、操作物の状態の変化を「ジェスチャ」とも呼ぶ。操作検出部２０は１次元的なジェスチャ操作を検出する。また、「操作物の状態」とは、操作物の形状、姿勢、位置、動きなどを指す。

操作物の状態の検出は、あらかじめ決められた「操作領域」を基準にして行う。「操作領域」とは、カメラ１０による撮影画像中で、実物体をよりどころとして予め設定された領域である。ここで、「実体物」とは、車両の運転席付近に存在する物体であり、ダッシュボード１１、ハンドル１２、レバー１６などを含む。

カメラ１０による撮影画像の例を図３（Ａ）に示し、その場合の操作領域の例を図３（Ｂ）に示す。図３（Ｂ）の例では、ハンドル１２の上側の部分が操作領域１に設定され、ダッシュボード１４の上部が操作領域２に設定され、左右のレバー１６がそれぞれ操作領域３ａ、３ｂに設定されている。

操作領域の設定は、前処理として事前に行われる。例えば、運転者がいない状態で図３（Ａ）に示すような車両のハンドル１２の付近の画像を撮影し、画像認識処理によりハンドル１２、レバー１６などに対応する形状を検出して、その領域を操作領域に設定することができる。また、撮影画像を使用者に提示し、使用者が撮影画像中のダッシュボード１１、ハンドル１２、レバー１６などの特定の領域を指定し、その領域を操作領域に設定するようにしてもよい。

操作検出部２０による操作物の検出は、たとえば次のような項目に対して行う。
・操作領域を触っている指の本数
・操作領域に対する指や手の位置、向き
・操作領域付近における「親指と人差し指などで丸を作っている」等の特殊な形状
・上記のような検出を連続して行うことにより検出される、操作領域に対する手や指の移動の軌跡
操作検出部２０による操作物の検出は以下のように行われる。まず、例えば、図３（Ａ）に示すような、操作物が存在しない状態であらかじめ取得した撮影画像（以下、「基準画像」とも呼ぶ。）と、操作物が存在する状態の撮影画像とを画像処理により比較し、基準画像に対して、輝度値や輝度値勾配パターンなどが異なる領域を抽出する。次に、抽出された領域中に含まれ、操作物（手や指）と類似した形状を有する部分を操作物と推定する。次に、その操作物の操作領域に対する位置関係、操作物の移動の有無、移動の方向などを検出する。そして、操作検出部２０は、これらの検出結果を操作制御部２２に出力する。

なお、操作領域のよりどころとなる実物体に対して、操作物の検出、判定をしやすくするため、あるいは操作者が操作をする際の目印とするために細工を行ってもよい。たとえば、次のようなものである。
・ハンドル表面を、赤外線（補助光）を反射しない素材で覆う。
・ハンドル表面に、操作者に目印となるような突起部、あるいは、見た目や手触りが異なる部分を設ける。
・ハンドル表面の目印を、発光物や反射素材のような、映像による検出の手がかりとなるような素材で作る。

また、上記のような目印を利用して、たとえばハンドルが定位置からずれている（回転している）ことを検出し、ハンドルが回転している間は、運転操作中であると推定して操作検出部２０による操作物の検出を行わないようにしてもよい。

また、ハンドルにつけた目印を基準として、操作物検出の位置を扱うようにしてもよい。たとえば、目印の真上に指がある場合に、画面の中央を指差しているように対応付ける、といったものである。

操作判定部２２は、操作検出部２２が検出した操作物の状態から、操作のための解釈を行う部分である。具体的に、操作判定部２２は、たとえば、次のような項目を判定する。
・操作領域（たとえばハンドル）上の特定の場所を、特定の手形状（たとえば、指１本を立てた状態、指２本を立てた状態）で、新たに触ったこと、触っていた状態から手を離したこと、触っている状態が継続していること。さらに、そのような特定の手形状の状態を判定した場合に、たとえば、指を１本立てた時の指の向き、指を２本立てた時の指の間の角度といった特徴値を算出する。
・操作領域上の特定の場所で、特定のアクション（たとえば「たたくアクション」、すなわちハンドルを一度触ってすぐ離れるアクション）をしたこと。
・操作領域上を、指を指して触りながら、なぞる動作をしたこと。さらに、そのときのなぞった範囲、方向、速度なども算出する。

そして、操作判定部２２は、これらの判定結果を、サービス部２６に出力する。

サービス部２６は、使用者に対して、ナビゲーション装置としてのサービスを提供する。ここでは、例えば「道案内」、「地図表示」、「周辺施設検索」といった機能を「サービス」と呼ぶ。

サービス部２６は、各サービスに対して使用者が操作を行うためのユーザインタフェースを備える。それは、メニュー機構を備え、操作判定部２２が解釈した操作によってメニュー操作（画面からの選択、画面遷移など）を行い、メニュー操作の結果から、サービスの動作を制御する。

[サービスの例]
以下に、具体的なサービスと、その場合の操作入力の例を説明する。

（周辺施設検索）
周辺施設検索は、車両がナビゲーション装置の道案内に従って走行しているときに利用できる。

周辺施設検索は、自車の現在位置から、その先の案内ルートに沿って存在する施設の情報を使用者にメニューで提示する。メニューでは、施設の種類ごとに、案内ルート上での順序で施設を並べて提示する。また、各施設の簡単な情報も表示する。メニューを操作し、使用者が施設を選択すると、その施設を案内ルート中の立ち寄り地として設定することができる。

たとえば、施設の種類には「コンビニ」、「ガソリンスタンド」、「駐車場」、「トイレ」といったものがある。そして、それぞれの種類に対して、たとえば「コンビニ」であれば、現在位置から目的地へ向かう案内ルートに沿って、近いほうから数軒のコンビニの情報を提示する。提示される情報は、店名、営業時間、駐車場の収容台数、トイレやＡＴＭの有無などである。コンビニ以外の種類の施設に関しても同様である。自車の走行にしたがって、この情報は更新される。

次に、周辺施設検索の操作入力について詳しく説明する。以下に説明する周辺施設検索の操作入力において、使用者の操作は２つの属性を選択し、決定することにより行われる。第１の属性は施設の種類であり、第２の属性は施設自体である。まず、使用者は、施設の種類が複数表示された中から施設の種類を１つ選択し決定する。この操作を「第１属性の入力」と呼ぶ。本例では、予め決定されたルールにより、複数の施設の種類から１つを選択する操作は「操作領域１を指２本で左側にこするジェスチャ」とする。なお、このジェスチャは、メニュー起動のためにハンドル上部を触った状態で指をハンドルから離すことなく行うものとする。また、こうして選択中の移設の種類を決定する操作は「操作領域１を指２本で右側にこする（つまり、こする方向を逆にする）ジェスチャ」とする。上記の選択操作及び決定操作により、第１属性の入力が完了する。なお、「操作領域」は図３（Ａ）に示すものと同様とする。

第１属性の入力が完了し、施設の種類が１つ決定されると、決定された施設の種類に含まれる複数の施設が案内ルート順に表示装置２４の画面に表示される。使用者は、表示された複数の施設の中から１つの施設を選択する。複数の施設から１つの施設を選択する操作は「操作領域１を指２本で左右にこするジェスチャ」とする。また、選択中の施設を決定する操作は「操作領域１を指１本で触るジェスチャ」とする。上記の選択操作及び決定操作により、第２属性の入力が完了する。

以下、図４を参照して、周辺施設検索における操作を説明する。図４は、左側に使用者による操作イメージを示し、右側に表示装置２４の画面イメージを示している。

まず、操作を開始する前提として、サービス部２６が「道案内」のサービスを実行し、表示装置２４の画面に案内ルートを表示しているものとする。図４には図示していないが、表示装置２４の画面では、出発地から目的地に向かって地図上にルートが引かれ、ルート上に存在する自車の周辺地図が表示され、その上に自車の現在位置が表示される。

ここで、ナビゲーション装置は、使用者による周辺施設検索メニューを起動する操作を検出すると、周辺施設検索メニューを起動し、施設の種類を選択する画面を表示する。図４に示すように、表示装置２４の画面には、周辺施設の種類を示す施設種類アイコン（「コンビニ」、「ガソリンスタンド」、「駐車場」）を横に並べたメニューが表示される。なお、施設種類アイコンがやや円弧状に並んでいるのは、ハンドル１２上でこすって操作することを暗示するためである。

次に、ナビゲーション装置は、施設の種類を選択する操作を受け付ける。これは、第１属性の選択操作に相当する。具体的に、使用者が「操作領域１を指２本で左側にこするジェスチャ」を行うと、画面に表示された施設種類アイコンが左に移動する。表示装置２４の画面では、画面中央にカーソル３１があり、カーソル３１が重なっている施設種類アイコンが「選択中」となる。

施設の種類を選択する操作の受け付け中に、もし使用者の手が操作領域１から外されれば、直ちに又は数秒の時間をおいて、ナビゲーション装置は周辺施設検索メニューを終了して道案内の通常表示に戻る。

一方、施設の種類を選択する操作の受け付け中に、施設の種類を決定する操作として、「操作領域１を指２本で右側にこするジェスチャ」を検出すると、ナビゲーション装置は、施設の種類をその時点で「選択中」であるものに決定する。これは、第１属性の決定操作に相当する。そして、ナビゲーション装置は、その種類に含まれる複数の施設の中から１つの施設を選択するための画面、即ち第２属性入力のための画面に移行する。

施設を選択するための画面では、図４に示すように、複数の施設アイコンを横に並べたメニューが画面に表示される。なお、図４の例では、施設の種類として「コンビニ」が決定されたため、複数のコンビニのアイコンが並べて表示されている。また、第１属性の入力で選択したものが何であるかが分かるように、第１属性として決定された施設の種類名（即ち「コンビニ」）も表示される。

次に、ナビゲーション装置は、施設を選択する操作を受け付ける。これは、第２属性の選択操作に相当する。具体的に、使用者が「操作領域１を指２本で左右にこするジェスチャ」を行うと、画面に表示された施設アイコンが左右に動く。画面中央にカーソル３１があり、そこに重なったものが「選択中」となる。

施設を選択する操作の受け付け中に、施設を決定する操作として「操作領域１を指１本で触るジェスチャ」を検出すると、ナビゲーション装置は、施設をそのときに「選択中」のものに決定する。これは、第２属性の決定操作に相当する。これにより、第１属性、第２属性の両方が決定したので、使用者による施設の選択が完了したことになる。よって、サービス部２６は道案内サービスにおいてその施設を立ち寄り地に設定する。

このように、上記の例では、ハンドル上部を指２本でさわってこする操作を基本とし、こする方向を反転させることにより次の属性の選択に移行する。第１属性の決定操作を「こする方向を逆にする」のではなく、第２属性の入力時のように「指１本で触る」という全く別のジェスチャにすることもできる。それにより、第１属性を「左側にしか」選択操作ができないという制約が解消される。但し、この例では、第１属性の決定操作は簡単に済ませられるべきと思われることから、操作を連続的に行えることを重視して、第１属性の決定動作を「こする方向を逆にする」ものとした。なお、第２属性の選択操作を行う際は、使用者は施設情報を見比べたいであろうと思われるため、左右両方向に第２属性の選択操作ができるようにし、第２属性の決定操作は「指１本で触る」という連続性を損なう形の決定操作とした。

なお、上記の例では「前に戻る」ための操作を用意していない。たとえば、第１属性の入力から第２属性の入力に移行した直後に、第１属性の選択操作を誤ったことに使用者が気づいた場合でも、使用者は第１属性の選択に戻ることができない。よって、使用者は、ハンドル１２から一旦手を外して周辺施設検索メニューを終了させ、再び周辺施設検索メニューを起動して第１属性の選択操作からをやり直すことになる。しかしながら、本例では、メニューの起動や第１属性の決定操作から第２属性の選択操作への移行はスムーズにできるため、特に「前の選択に戻る」ためのジェスチャを設ける必要はないと考えられる。これにより、インターフェースを簡素にすることができる。

（案内ルート情報表示）
案内ルート情報表示は、ナビゲーション装置の道案内に従って走行しているときに利用できる。具体的には、自車の現在位置から、その先の案内ルートに沿った地図情報（交差点のレーン情報なども含む）や、案内ルート情報（曲がる交差点がどこであるか）、ライブ情報（道路の渋滞情報、他の利用者が投稿した情報など）を、使用者に地図上で提示する。メニューを操作し、使用者が情報を選択すると、その情報を詳細表示したりすることができる。

前述の周辺施設検索の場合と同様に、地図上に、案内ルートに沿って、その地点に関連付けられた様々な種類の情報が存在しているものとする。この例では、地図上で、第１属性の入力として、情報を見たい地点を選択し、次に第２属性の入力として、その地点周辺の情報の中から１つを選択する、という操作を考える。たとえば、地図を見ながら「数キロ先に渋滞があり、その手前にコンビニが何軒かある」ことを知り、次に、立ち寄るコンビニを選ぶために、店の詳しい情報を見る、といった状況である。

図５を参照して、案内ルート情報表示の動作を説明する。図５は、左側に使用者による操作イメージを示し、右側に表示装置２４の画面イメージを示している。

具体的な操作としては、図５に示すように、使用者はまず地図をスクロールさせ、地図上に簡易表示される情報を見ながら、詳しい情報を知りたい地点を選択し、次に、その地点周辺の情報を選択する、という形になる。

本例では、操作領域１（ハンドル１２）と操作領域２（ダッシュボード１１）を使用する。また、第１属性の入力として、地図上の情報を見たい地点を選択する選択操作は「操作領域１を指２本で左右にこするジェスチャ」とし、選択した地点を決定する決定操作は「操作領域１に触れている指を離し、操作領域２を指２本で触るジェスチャ」とする。また、第２属性の入力として、選択した地点周辺の情報を選択する選択操作は「操作領域２で指２本を左右にこするジェスチャ」とし、選択した情報を決定する決定操作は「操作領域２を指１本で触るジェスチャ」とする。

図５に示すように、通常時は、表示装置２４は、地図上にルートが描かれた道案内画像を表示している。案内ルート情報表示を起動する操作を検出すると、ナビゲーション装置は、第１属性の選択操作として地点の選択状態に移行する。

第１属性の選択操作の受け付け状態では、ナビゲーション装置は、表示装置２４の画面上で案内ルートに沿って地図を１次元的にスクロール表示する。地図をスクロールさせて地点を選択する操作として、使用者が操作領域１を指２本で左にこすると、画面に表示された地図が案内ルートに沿って進行方向（目的地の方向）にスクロールする。この場合、あたかも自車が先に進むように地図の向きを変えながらスクロールしてもよいし、現在位置との位置関係が分かりやすいように地図の向きを変えずにスクロールしてもよい。また、使用者が操作領域１を指２本で右にこすれば、地図は後方（自車がこれまで走行してきた方向）にスクロールする。さらに、使用者が操作領域１に触れている２本指の間隔を広げると地図を詳細表示とし、２本指の間隔を狭くすると、地図を広域表示としてもよい。また、指を広げている時と、狭めている時で、指の移動に対してスクロール幅を変えるようにしてもよい。

地点の選択操作の受け付け時に、使用者が操作領域１から手を離すと、ナビゲーション装置は案内ルート情報表示メニューを終了して道案内サービスの通常画面に戻る。ただし、上記の「周辺施設検索」とは異なり、２本指を操作領域１から離しても、すぐには通常表示に戻らず、第１属性の決定操作を検出するか、操作領域１から一定時間以上指を離した状態が継続したことを検出するまで、第１属性の決定操作を継続して受け付ける。

次に、地点を決定する操作として「操作領域１に触れている指を離し、操作領域２を指２本で触るジェスチャ」を検出すると、ナビゲーション装置は、そのときに表示している地点（画面中央）を選択し、第２属性の入力に移行する。

第２属性の入力状態では、表示装置２４の画面には、先に選択した地点周辺の情報が複数の情報アイコンとして表示されている。カーソル３１と重なっている情報アイコンが選択中となっている。情報を選択する選択操作として、使用者が「操作領域２で指２本を左右にこする」ジェスチャを行うと、ナビゲーション装置は、複数の情報アイコンを左右に移動させる。次に、情報を決定する決定操作として、使用者が「操作領域２を指１本で触る」ジェスチャを行うと、ナビゲーション装置は、使用者に提示する情報をそのときに選択中となっている情報に決定する。こうして、第１属性として地点が選択、決定され、第２属性としてその地点周辺の情報が選択、決定される。

こうして、１つの情報が決定されると、ナビゲーション装置は、その情報に対してアクションを起こす。アクションは、情報の種類によって決められている。情報の種類としては、たとえば店舗や施設の情報、曲がる交差点や渋滞情報など道路に関する情報、他のユーザによってサーバに登録された、その地点の写真、などがある。ここでは、店舗や施設の情報が選択、決定されれば、そこが立ち寄り地に設定される。また、道路情報が選択、決定されればそれが詳細表示され、写真が選択、決定されれば、その写真が表示される。こうして、案内ルート情報表示は終了する。

（地図上からの選択）
これは、２次元的に表示された地図の上から、任意の地点・あるいは地図上に配置されたアイテムを選択可能とするサービスである。ここでは、表示装置２４の画面に表示された地図をｘｙの平面として考え、第１属性をｙ値、第２属性をｘ値とする。使用者の操作は、まず、第１属性の入力として地図上でｙ軸上の位置を選択し、次に第２属性の入力として地図上でｘ軸上の位置を選択する。

本例では、第１属性の選択操作としてｙ値を選択する操作を「操作領域１を指２本で左側にこするジェスチャ」とし、第１属性の決定操作を「操作領域１に触れている２本指を右側に動かすジェスチャ」とする。また、第２属性の選択操作としてｘ値を選択する操作を「操作領域１を指２本で右側にこするジェスチャ」とし、第２属性の決定操作を「操作領域１を指１本で触れるジェスチャ」とする。

図６を参照して、地図上からの選択の動作を説明する。図６は、左側に使用者による操作イメージを示し、右側に表示装置２４の画面イメージを示している。

まず、第１属性を選択し、第１属性を決定したら第２属性の選択に移行し、第２属性を決定することにより１つの地点を決定するという流れは、上記の例と同様である。

通常時は、ナビゲーション装置は、表示装置２４の画面において、地図上にルートが描かれた案内ルートを表示している。地図上からの選択サービスを起動する操作を検出すると、ナビゲーション装置は第１属性（ｙ値）の入力受け付け状態に移行する。

第１属性の選択操作として、「操作領域１を指２本で左側にこするジェスチャ」が検出されると、ナビゲーション装置は、ｙ値を画面下方向に変動させる。画面には、現在選択中のｙ値を表す横長のカーソル３２が表示されていて、ずらす操作に応じてカーソルが下に移動する。利用者が操作領域１に触れている２本指の間隔を広げると、地図を広域表示とし、２本指の間隔を狭くすると、地図を詳細表示としてもよい。また、指の間隔を広げた時と狭めた時で、指の移動に対するスクロール幅を変えてもよい。

第１属性を決定する操作として、「操作領域１に触れている２本指を右側に動かすジェスチャ」を検出すると、ナビゲーション装置は、ｙ値をそのときにカーソルが表示されているｙ値に決定し、第２属性の入力に移行する。

第２属性を入力する状態では、画面には、先に選択したｙ値に相当する位置にカーソル３２が表示されている。使用者は、そのカーソル３２上で小さなカーソル３３を移動させてｘ値を設定する。具体的には、使用者は、第２属性の選択操作として「操作領域１を指２本で右側にこするジェスチャ」を行う。これを検出すると、ナビゲーション装置は、ｘ値を画面右方向に変動させる。そして、第２属性の決定操作として、「操作領域１を指１本で触れるジェスチャ」が検出されると、ナビゲーション装置は、最終的にカーソル３３の地点を選択する。

なお、上記、ｙ値、ｘ値の２つの属性値を順次入力する前に、地図をスクロールさせるステップを入れてもよい。つまり、第１属性として「地図の表示位置（案内ルート上の１次元）」を選択決定し、第２属性として「選んだ表示位置の中でのｙ値」を選択、決定し、第３属性として「ｘ値」を選択、決定してもよい。

この場合の動作は次のようになる。図７に示すように、通常の道案内サービスの画面表示の状態から、たとえば使用者が操作領域１を指２本で触ると地図上からの選択サービスが起動し、指２本を左に動かすことにより、地図が現在位置を中心とした状態から、案内ルートに沿って前方（目的地方向）にスクロールしていく。ルートの向きによって地図を回転させたり、指の幅を広げたりすることにより縮尺が変更できたりすることは、上記の例と同様である。

次に、第２属性に移行する操作により、第２属性（選んだ表示位置の中でのｙ値)の選択に移行する。その操作は、「操作領域１で指２本を右に動かす」というものである。以降、指２本を右に動かす操作でｙ値を決定し、指２本を左に動かす操作で、第３属性であるｘ値を決定する。もちろん、左右の動作が逆であってもかまわない。

なお、これらの例では、第１属性の入力から第２属性の入力への移行、及び、第２属性の入力から第３属性の入力への移行のスムーズさを重視して、ある属性の選択操作は一方向にしかできず、逆方向に動いたら次の属性の選択操作に移行するという構成にしている。しかし、各属性をじっくり選ぶことを重視する場合は、先の例のように、別な操作領域を利用することによって操作する属性を移行させるようにしてもよい。あるいは、操作領域１に触れる指の本数を変える等のジェスチャを検出した場合に、次の属性の入力に移行するようにしてもよい。

なお、２次元の地図上からｘ値・ｙ値を選択するときのカーソルの動きは、連続的なものに限らず、たとえば、地図上に配置されたアイコンに合わせて、離散的に動くようにしてもよい。

[操作入力処理]
次に、本実施例による操作入力処理について説明する。図８は、操作入力処理のフローチャートである。なお、この処理は、コンピュータを備えるナビゲーション装置が、予め用意されたプログラムを実行し、図１に示す操作検出部２０、操作判定部２２、サービス部２６などとして機能することにより実現される。なお、この処理は、前述の周辺施設検索サービス、案内ルート情報表示サービス及び地図上からの選択サービスなどにおける処理を一般化したものである。

まず、ナビゲーション装置は、道案内サービスを実行する（ステップＳ１０）。即ち、ナビゲーション装置は、使用者が設定した目的地までの案内ルートを算出し、表示装置２４に表示された地図上に案内ルートを示すなどして、道案内を行う。

次に、ナビゲーション装置は、使用者によりメニュー起動の操作が行われたか否かを判定する（ステップＳ１１）。なお、各メニュー起動の操作は予め決定されており、使用者の指、手などの操作物の状態変化に対応付けられている。ナビゲーション装置は、操作領域における操作物の状態の変化を検出し、検出された操作物の状態の変化が、予め決定されたメニュー起動の操作であるか否かを判定する。メニュー起動の操作が検出された場合（ステップＳ１１；Ｙｅｓ）、ナビゲーション装置はそのメニューを起動する（ステップＳ１２）。この際、ナビゲーション装置は、属性のカウンタ「ｎ」を１にセットする。

次に、ナビゲーション装置は第ｎ属性の選択操作を受け付け（ステップＳ１３）、メニュー操作の終了条件が具備されたか否かを判定する（ステップＳ１４）。メニュー操作の終了条件とは、例えば、第１及び第２の属性が決定されたこと、などであり、サービスの内容に応じて予め決定されている。

メニュー操作の終了条件が具備された場合（ステップＳ１４；Ｙｅｓ）、処理はステップＳ２０へ進む。一方、メニュー操作の終了条件が具備されていない場合（ステップＳ１４；Ｎｏ）、ナビゲーション装置は第ｎ属性の決定操作が検出されたか否かを判定する（ステップＳ１５）。第ｎ属性の決定操作が検出されない場合（ステップＳ１５；Ｎｏ）、処理はステップＳ１３へ戻る。一方、第ｎ属性の決定操作が検出された場合（ステップＳ１５；Ｙｅｓ）、ナビゲーション装置は第ｎ属性を決定し（ステップＳ１６）、必要な全ての属性が決定されたか否かを判定する（ステップＳ１７）。

全ての属性が決定されていない場合（ステップＳ１７；Ｎｏ）、ナビゲーション装置は属性のカウンタ「ｎ」を１増加し（ステップＳ１８）、ステップＳ１３へ戻る。こうして、対象となっているサービスに必要な全ての属性が決定されるまで、第ｎ属性の選択操作及び決定操作が繰り返される。

一方、全ての属性が決定された場合（ステップＳ１７；Ｙｅｓ）、ナビゲーション装置のサービス部２６は対応するサービスを実行する（ステップＳ１９）。そのサービスが終了すると、ナビゲーション装置は、道案内サービスの通常動作状態に復帰し（ステップＳ２０）、処理は終了する。

[実施例の特徴]
上記のように、本実施例では、複数の属性をもつ対象からの選択を行うにあたり、１次元的な選択操作と決定操作により、第１属性の入力、第２属性の入力、...と連続的に操作を行う。具体的には、選択操作の入力方向を逆にすることや、複数の操作領域の間を移動すること、操作物である手の形状を変えること、などを決定操作とし、入力属性の間を移行することとした。

これにより、第ｎ属性の入力から第（ｎ＋１）属性の入力への移行は、指を動かす方向や操作領域の使い分けなどにより、簡単に行うことが可能である。また、操作の開始、終了、中断などは、操作領域に手を入れる、操作領域から手を外すなどにより簡単にできるようにしている。さらに、「手順を戻る」操作を排除している。これらにより、インターフェース全体が簡素なものとなっている。

また、操作の入力にはジェスチャを用い、ジェスチャは実物体を基準に設定した操作領域に基づいて検出されることとした。即ち、複数の属性をもつ対象からの選択を行うための選択操作及び決定操作はいずれも１次元的なジェスチャ操作とされる。これにより、使用者は、空中で操作する必要がなく操作を安定して行うことができる、目標とするものがあることから位置入力をしやすい、操作領域のスケールの自由度が高いため広い範囲を設定することができ、こまごまとした操作を行う必要がない、などの利点がある。

[変形例]
上記の実施例において、表示装置２４の設置位置は特に制限しないが、操作領域との間で位置あわせを行ってもよい。たとえば、ＨＵＤのコンバイナ（ＨＵＤではなく、通常の液晶ディスプレイを使うならディスプレイそのもの）と、カメラとの位置関係を予め取得しておく。即ち、カメラに映る範囲に表示装置２４を設置し、カメラの画像内における表示装置２４の位置を検出しておく。こうすれば、たとえば、使用者が操作領域内の特定の位置を指差すようなジェスチャをした場合に、表示装置の表示領域中のどの部分を指差しているかを決定することができる。よって、使用者は表示装置に表示物を直接又は間接に指差したりする操作が可能となる。

産業上の利用分野

本発明は、ナビゲーション装置、スマートフォン、カーＡＶ機器、カーエアコン、ドアロック装置、その他の車載装置など、移動体に搭載される装置の操作入力に利用することができる。

１０ カメラ
１１ ダッシュボード
１２ ハンドル（ステアリング）
１６ レバー
２０ 操作検出部
２２ 操作判定部
２４ 表示装置
２６ サービス部

Claims (12)

1. 移動体に搭載される装置に対して操作入力を行う操作入力装置であって、
   前記移動体の運転席付近を撮影するカメラと、
   前記カメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、
   予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、
   決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段と、を備えることを特徴とする操作入力装置。
2. 前記操作物の状態は、前記操作物の形状、姿勢、位置、動きのうちの少なくとも１つを含むことを特徴とする請求項１に記載の操作入力装置。
3. 前記検出手段は、前記撮影画像に含まれる実体物に基づいて予め決定された操作領域に対する前記操作物の状態を検出し、
   前記操作判定手段は、前記操作領域における前記操作物の状態の変化に基づいて、前記使用者が意図する操作を判定することを特徴とする請求項１又は２に記載の操作入力装置。
4. 前記移動体は車両であり、前記実体物は当該車両のダッシュボード、ステアリング、レバーのうちの少なくとも１つを含むことを特徴とする請求項３に記載の操作入力装置。
5. 前記装置制御手段は、入力された複数の属性に基づいて前記移動体に搭載される装置を動作させ、
   前記操作判定手段は、各属性について、当該属性を選択する選択操作と、前記選択操作により選択された属性を決定する決定操作とを判定することを特徴とする請求項１乃至４のいずれか一項に記載の操作入力装置。
6. 前記選択操作及び前記決定操作は、１次元的なジェスチャ操作であることを特徴とする請求項５に記載の操作入力装置。
7. 前記操作判定手段は、前記操作物による一方向への入力をある属性の選択操作と判定し、前記操作物による前記一方向とは逆方向への入力を当該属性の決定操作と判定することを特徴とする請求項５に記載の操作入力装置。
8. 前記操作判定手段は、前記操作物によるある種類の操作を選択操作と判定し、前記ある種類の操作と異なる種類の操作への切り替えを決定操作と判定することを特徴とする請求項５に記載の操作入力装置。
9. 前記実物体には特定の位置に目印が設けられており、前記実物体自体が動いている間は、前記操作判定手段は操作の判定を行わないことを特徴とする請求項１乃至８のいずれか一項に記載の操作入力装置。
10. 移動体に搭載される装置に対して操作入力を行う操作入力装置によって実行される操作入力方法であって、
    前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出工程と、
    予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定工程と、
    決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御工程と、を備えることを特徴とする操作入力方法。
11. コンピュータを備え、移動体に搭載される装置に対して操作入力を行う操作入力装置により実行される操作入力プログラムであって、
    前記移動体の運転席付近を撮影するカメラにより撮影された撮影画像から、操作物の状態を検出する検出手段と、
    予め決定されたルールに従い、前記操作物の状態の変化に基づいて、使用者が意図する操作を判定する操作判定手段と、
    決定された操作に基づいて、前記移動体に搭載される装置を動作させる装置制御手段、として前記コンピュータを機能させることを特徴とする操作入力プログラム。
12. 請求項１１に記載の操作入力プログラムを記憶した記憶媒体。