JP2014179097A - ポインティングによる情報クエリ - Google Patents

Abstract

【課題】ユーザが車両の操作中にクエリ検索操作が素早く行える方法、システムを提供する。
【解決手段】第一の入力装置２１０を用いて、ユーザの指のオブジェクトまたはアイテムへのポインティングを検知し、第二入力装置２２０を用いて、前記オブジェクトまたはアイテムの選択のユーザによる指示を受け取る。前記第一の入力装置２１０により手の画像を撮像し、該画像を処理して、ポインティングする指の指先の位置に対応する表示装置上の位置を判定する。前記指の位置に対応するオブジェクトまたはアイテムは、前記第二の入力装置２２０が所定のユーザ入力を受け取った後に選択される。
【選択図】図２

Description

発明者

キクオ・フジムラ
ヴィクター・ントヒン
ベザド・ダリウシュ

関連出願とのクロスリファレンス

本開示は、２０１３年３月１３日に出願された米国仮特許出願第６１／７８０，０２３号の３５Ｕ．Ｓ．Ｃ．１１９（ｅ）に基づく優先権を主張するものであり、その出願の内容が、全体として本出願に組み入れられる。

本開示は、ユーザの指先の動きを追尾することによる車両内での情報クエリに関する。

車両の運転者は、車両内で、通常は、主に指や手を介してスイッチ、画面、キーパッド、その他の入力機構を使って装置を操作する。このような入力機構は、例えば、ナビゲーションシステム、エンターテインメントシステム、気候システム、電話システムの操作に利用することができる。また、ヘッドアップ・ディスプレイ（ＨＵＤ）は、このようなシステムと連動して、車両のウィンドシールド上で情報を提示するために利用される。ＨＵＤは、ユーザが視線を道路から車両のダッシュボードやコンソールに移すことなく、種々の有用な情報を提示することができる。

車両内で、装置に対して所望の命令を発するために、入力機構に対して複雑な一連の操作を行わなければならないことがある。このような操作には、運転者は、一方の手で車両のハンドルを操作し、その間、他方の手で入力機構を操作することが必要になる。しかしながら、運転者にとっては、両手をハンドルに据え、入力装置を合間合間に短時間片手で操作することが好ましい。操作の複雑さによっては、運転者が望むように操作を実行できるまで、入力装置の操作を何回も試みる必要が生じる。

さらに、車両の速度によって、運転者が素早く入力することが必要になることがある。例えば、運転者が、高速道路上で付近のレストランを探している場合に、高速道路の出口を通過する前に、運転者には、ナビゲーションシステムでクエリ検索するために限られた時間しかない、ということがある。その出口を通過するまでにクエリ検索と応答がなされない場合は、次の出口に近いレストランをクエリ検索し直さなければならなくなる。ユーザが車両の操作に注力している最中にも、しばしば、このようなクエリ検索操作が行われる。これによって、注意を向ける時間が短くなり、手の可動性が低くなるために不正確な入力となる可能性が高まる。

注意を向ける時間と手の可動性に限りがあるために、運転者は、不正確なユーザ入力を行うことになりうる。このようなユーザ入力は、結果として、後続の修復措置において、もともと意図しない操作と時間の浪費を強いられることとなる。

実施形態は、指し示す（以下、「ポインティング」ともいう）指の指先の位置を判定するための、ユーサの手を含む深度画像の処理と、前記指先の位置に対応する表示装置上の位置または領域に示されたオブジェクトまたはアイテムに関連づけられた操作を実行するための選択信号の入力装置による受け取りに関する。車両内に配置された深度カメラは、ユーザの手を撮像し、その深度画像を生成する。撮像された深度画像を処理することによって、前記指し示す指の指先の位置を判定する。選択信号は、前記入力装置から受け取られ、前記指先の位置に対応する表示装置上の位置または領域に示されたアイテムまたはオブジェクトが選択されたことが示される。前記アイテムまたはオブジェクトに関連づけられた操作は、前記選択信号の受け取り後に実行される。

一実施形態においては、指先の位置を、手の骨格構造を生成することにより判定する。前記手の骨格構造は、複数の線分を含み、各線分は手の異なる部分を示す。

一実施形態においては、前記入力装置は、ユーザからの発声による命令を受け取るマイクロフォンを有する。選択信号は、発声による命令について発言認識を行うことによって生成される。

一実施形態においては、前記入力装置は、ボタンまたはスイッチを有し、選択信号は前記入力装置が操作されたことを示す。

一実施形態においては、操作の結果が表示装置に表示される。

一実施形態においては、前記表示装置は、複数の領域に分割さており、各領域は、各々の水平方向の位置に基づいて異なる水平方向の幅を有する。

一実施形態においては、前記表示装置は、人工的なグラフィック要素を車両のウィンドシールド上に投影する立体ヘッドアップディスプレイ（ＨＵＤ）装置である。

一実施形態においては、指先の位置に対応する表示装置上の位置または領域を、第一のマッピングによって前記指先にマッピングされた複数の仮想エリアの中から、一つの仮想エリアを特定することによって判定する。

一実施形態においては、指先の位置に対応する表示装置上の位置または領域を、前記特定された仮想エリアに相当する表示装置上の位置または領域を第二のマッピングによって特定することによってさらに判定する。

一実施形態においては、前記複数の仮想エリアの各々は、半円の等角部の平面上への投影に沿って分割されている。

本明細書に記載された特徴と効果は、すべてを含んでいなく、特に、多くのさらなる特徴と効果が、図面、明細書、請求の範囲を参照すれば、当業者には明らかになるであろう。さらに、本明細書に使用されている表現は、主に読みやすさと教示のために選定されたものであり、必ずしも本主題の輪郭を示したり境界を示すために選定されたものではない点に留意すべきである。

本開示による教示は、添付図面と関連した以下の詳細な説明を参照すれば、容易に理解することができる。

一実施形態による、撮像装置とヘッドアップ表示装置を備える例示的な車両の側面図である。

一実施形態による、図１Ａの例示的な車両の上面図である。

一実施形態による、例示的な命令処理システムのブロック図である。

一実施形態による、前記命令処理システムの例示的な画像処理モジュールのブロック図である。

一実施形態による、ユーザ命令を処理する例示的な方法のフローチャートである。

一実施形態による、ヘッドアップ表示（ＨＵＤ）画像を投影され、ユーザによって見られる例示的なウィンドシールドの見え方を説明する図である。

一実施形態による、指の回転角度に基づき水平方向に分割された例示的な各セルを説明する図である。

一実施形態による、指の回転角度の、水平方向に分割された各セルへのマッピングを説明する図である。 一実施形態による、ポインティング装置を情報クエリシステムの操作に利用する例示的な命令システムを説明する図である。

図面を参照して、好ましい実施形態を以下に説明する。なお、同一の参照番号は、同一の、または機能的に同様の要素を示す。

本明細書中の「一実施形態」との記載は、実施形態に結びつけて記載された個々の特徴、構成、特性は、少なくとも一つの実施形態に含まれることを意味する。また、本明細書中の様々な箇所に記載された「一実施形態における」との表現は、必ずしも同一の実施形態を意味するものではない。

以下における詳細な説明には、コンピュータメモリ中のデータビット上での動作のアルゴリズムおよびシンボル表現の意味で記載されている箇所がある。これらのアルゴリズム的な記載と表現は、データ処理分野における当業者によって、その業務における内容を、同分野の他の当業者に、最も効率的に伝達するために用いられている。ここで、また、一般的に、アルゴリズムは、所望の結果に導くステップ（命令）の一貫性のあるシーケンスと考えられる。これらのステップは、物理量を伴う物理的操作を要求するステップである。必ずしもそうではないが、通常は、これらの量は、電気的、磁気的、または、光学的信号の形をとり、格納、伝送、結合、比較、その他の操作が可能である。場合によっては、主に共通に使うために、これらの信号をビット、値、エレメント、シンボル、文字、ターム、数字、等として表現するのが好都合である。さらに、場合によっては、物理量の物理的操作を要するステップの所定の構成を、一般性を損なわずに、モジュールまたはコード装置として言及することも好都合である。

しかしながら、これらすべての、および同様の表現は、適切な物理量と関連付けられるべきであり、これらの物理量に適用される単に便宜的な呼び方である。以下の検討から明らかなように、特に他のように記載ない限りは、明細書を通じて、「処理」、「演算」、「計算」、「判定」、「表示」、「決定」、等の表現を使用した考察は、コンピュータシステムのメモリ、レジスタ、あるいは、その他の情報格納、伝送、表示装置内の物理（電子）量として表現されるデータを操作および変換するコンピュータシステムあるいは同様の電子的計算装置におけるアクションまたは処理を意味すると解釈されるところである。

実施形態のある側面は、アルゴリズムの形式でここに記載されるプロセスのステップや命令を含む。プロセスのステップや命令はソフトウェア、ファームウェア、または、ハードウェアを組み込むことも可能で、ソフトウェアに組み込まれた場合は、様々なオペレーティングシステムにより使用される異なるプラットフォーム上にダウンロードされて動作させることも可能であることに留意するべきである。

実施形態は、ここでの動作を実行する装置にも関する。この装置は、必要とされる目的で特別に製作してもよく、あるいは、選択的に動作される、または、コンピュータ内に格納されたコンピュータプログラムによって再構成される汎用コンピュータによって構成してもよい。このようなコンピュータプログラムは、コンピュタ読取可能な記憶媒体、例えば、限定されないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ，光磁気ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ，ＥＥＰＲＯＭ、磁気または光学カード、特定用途向け集積回路 （ＡＳＩＣ）、あるいは、電子命令格納に適した各種媒体、に格納でき、各々はコンピュータシステムバスに接続される。さらに、本明細書で言及するコンピュータは、シングルプロセッサを有してもよく、あるいは、計算上の互換性を高めるためのマルチプロセッサ設計を採用したアーキテクチュアに基づいてもよい。

ここに提案されたアルゴリズムと表示は、本質的に、いかなる特定のコンピュータまたはその他の装置に関するものではない。各種の汎用システムも、ここにおける教示に従ったプログラムで使用できる。あるいは、方法における必要なステップを実行するために、より特化した装置を構築するのが好都合であると判明することもありうる。これら各種のシステムに要求される構成は、以下の記載から明らかになるであろう。さらに、実施形態は、いかなる特定のプログラミング言語も参照せずに記載されている。ここに記載された教示を実現するために様々なプログラミング言語が使用でき、ここに記載された具体的な表現の以下のいかなる言及も、実施可能であることと最良の形態を開示するために提示されていると解釈されるところである。

さらに、本明細書で使用されている表現は、主に読みやすさと教示目的で選択されており、本主題の輪郭を示したり境界を示すために選定されたものではない。従って、本開示は、限定はしないが、後記の請求項に記載された範囲の説明を意図している。

実施形態は、表示装置（例えば、ヘッドアップ表示装置）中のオブジェクトあるいはアイテムを介したナビゲーションに関し、前記表示装置はユーザの指（例えば、人さし指）のオブジェクトあるいはアイテムへのポインティングを検知するために第一の入力装置（例えばカメラ）を使用し、また、ユーザの前記オブジェクトあるいはアイテムの選択の指示を受け取るために第二の入力装置（例えばマイクロフォン）を使用する。手の画像が第一の入力装置によって撮像され、ポインティングする指の指先の位置に対応する表示装置上の位置を判定するために処理される。指先の位置に対応するオブジェクトまたはアイテムは、第二の入力装置からの所定のユーザ入力を第二の入力装置が受け取った後に選択される。

ここに使用される「ユーザ」という表現は、車両の運転者とともに車両の搭乗者を含む。ユーザは、ともかく車両内で一または複数の装置をコントロールしようとする者である。

ここに使用される「ポインティングする指」とは、ポインティングによって表示装置上の位置を示すために使われるユーザの指を意味する。ポインティング指は伸ばされ、他の指は折曲げられているか、何か（例えばハンドル）を握っている。ポインティングする指は、通常は人差し指であるが、他の指もポインティングする指として使用できる。
指先検知機構を備えた車両の概要

図１Ａおよび１Ｂは、命令処理システムを備える一実施形態による車両１００を説明する図である。前記命令処理システムは、他の構成要素とともに、撮像装置１２０とヘッドアップ表示（ＨＵＤ）システム１３０とを含む。前記命令処理システムは、車両１００の他の構成要素（例えばワイヤレス通信システム）に接続されて、様々なオペレーションを実行する。前記命令処理システムは、ユーザの指によってポインティングされた表示装置上の位置または領域を検知する。

撮像装置１２０は、ユーザ（運転者または同乗者）を撮像し、その画像をさらなる処理のために画像処理モジュール２１４に送る。撮像装置１２０は、ユーザの方に向けて配置され、少なくともユーザの右手か左手を含むユーザの正面画像を生成する。一実施形態において、撮像装置１２０は、カメラからユーザの体の異なる部位までの距離を検知する深度カメラである。撮像された画像は、グレースケール画像であり、より明るい画素は、ユーザの撮像装置１２０により近い部位を示し、より暗い画素は、ユーザのあるいは背景の物体の撮像装置１２０からより離れた部分を示す。

ＨＵＤシステム１３０は、グラフィック要素を車両１００のウィンドシールド上に投影し、ユーザは、車外の実物体に重ねて投影された画像を見ることができる。グラフィック要素とは、例えば、アイコン、テキストボックス、広告、矢印、線要素である。ユーザは、これらのグラフィック要素の一部、または、すべてを所定のオペレーションのために選択できる。

一実施形態においては、ＨＵＤシステム１３０は、ユーザがウィンドシールドの反対側、すなわち車両の外側に存在するものと知覚する実物体上に、グラフィック要素を投影することによって拡張現実感（ＡＲ）を具現化する。グラフィック要素が、実物体の上に置かれるか、実物体と混ぜ合わせられることによって、ユーザがそれらのグラフィック要素を実物体の一部であると知覚する。３次元立体ＨＵＤを使うと、グラフィック要素の焦点を実世界の実物体とマッチングすることによって、グラフィック要素と実世界の実物体をより現実的に混ぜ合わせることができる。ＡＲを使ってウィンドシールド上示された画像の例を図５を参照して、以下に詳細に説明する。

前記命令処理システムは、図１Ａおよび１Ｂに示されていない他の構成要素を含みうる。例えば、前記命令処理システムは、車両１００のダッシュボードまたは他の箇所に設置された計算装置を含み、撮像装置１２０によって撮像された画像をさらに処理することもできる。

実施形態は、表示装置として主にＨＵＤの使用する場合を引用して記載されているが、他の実施形態において、液晶ディスプレイ（ＬＣＤ）、その他の表示装置を使用することもできる。このような実施形態において、前記命令処理システムは、このような表示装置内に表示される表示アイテムの選択に使用することもできる。
命令処理システムの例

図２は、一実施形態による命令処理システム２００を説明するブロック図である。命令処理システム２００によって、車両で実行すべき情報クエリオペレーションのユーザによる操作と選択が可能である。命令処理システム２００は、他の構成要素とともに、撮像装置２１０、画像処理モジュール２１４、入力装置２２０、選択検知モジュール２２４、情報クエリシステム２４０、および、ＨＵＤシステム１３０を有する。図に図示されていないが、命令処理システム２００は、合成音声を生成するために追加の入力装置のような他の構成要素を有することもできる。

画像処理モジュール２１４は、ハードウェア、ファームウェア、ソフトウェア、または、それらの組み合わせであり、画像２１２を処理してユーザの指先の位置２１６を検知する。画像２１２は、深度画像である。画像処理モジュール２１４は、画像２１２をクロップしてユーザの手のあたりの画像２１２の領域を抽出し、画像２１２から手の骨格構造を生成する。

入力装置２２０は、ハードウェア、ファームウェア、ソフトウェア、または、それらの組み合わせであり、撮像とは別にユーザが使用する機構からの入力を受け取る。入力装置２２０は、発声による命令を検知するマイクロフォンである。あるいは、入力装置２２０は、車両のハンドルあるいはダッシュボードのような車両の容易に手の届く箇所に設けられたボタンやスイッチでもよい。指先の動きによって示された表示装置上の位置または領域がユーザがオペレーションの実行を意図する位置または領域であるとユーザが決定した後に、入力装置２２０は、オペレーションの選択を示すユーザ入力を受け取る。ユーザが入力した結果として、入力装置２２０によりセンサ信号２２２が生成される。

選択検知モジュール２２４はインターフェース装置であり、センサ信号２２２を受信し、指先の動きによって示された表示装置上の位置または領域がユーザがオペレーションの実行を意図する位置または領域であることを示す選択信号２２６を生成する。発声による命令を検知するために、マイクロフォンが入力装置２２０として使用される場合は、選択検知モジュール２２４は、発言認識システムの一部であってもよい。

情報クエリシステム２４０は、ハードウェア、ファームウェア、ソフトウェア、または、それらの組み合わせであり、ユーザ入力に基づいて、様々な情報クエリオペレーションを実行する。例示的な情報クエリシステム２４０は、他のシステムとともに、車載ナビゲーションシステム、エンターテインメントシステム、電話操作システム、車内温度調節システムを備えている。情報クエリシステム２４０は、このような機能の全体または一部を実行する複合システムでもよい。情報クエリシステム２４０は、さらに、クエリ情報２２８を外部のシステムに送信したり、外部のシステムから応答情報を受信してもよい。

情報クエリシステム２４０は、ユーザの指先の位置２１６と選択信号２２６を受信し、ユーザの所望するようにオペレーションを実行する。ユーザの指先の位置２１６と選択信号２２６に示されるようにオペレーションを実行後、情報クエリシステム２４０は、表示情報２４４をＨＵＤシステム１３０または他の表示装置に送り、ユーザに関連情報を提示する。

一または複数の実施形態において、入力装置２２０および選択検知モジュール２２４は、設けなくてもよい。代わりに、指の所定の動作（例えば、素早く２回動かせる動作）を行い、これを検知することによって、ＨＵＤシステム１３０上に示されたオブジェクトまたはアイテムの選択を示してもよい。
画像処理モジュールのアーキテクチュアの例

図３は、一実施形態による、画像処理モジュール２１４の構成要素を説明するブロック図である。画像処理モジュール２１４は、他の構成要素とともに、プロセッサ３１２、入力モジュール３２４、出力モジュール３２６、メモリ３４０、およびこれらの構成要素を接続するバス３３０を有する。画像処理モジュール２１４は、分離されたスタンドアローンの装置でも、あるいは、画像処理以外のオペレーションも行うより大きなシステムの一部でもよい。

プロセッサ３１２は、メモリ３４０に格納された命令を実行するハードウェア要素である。入力モジュール３２４は、撮像装置２１０から画像２１２を受け取るハードウェア要素である。入力モジュール３２４は、一またはそれ以上の画像２１２を仮に記憶するためのバッファを備える。出力モジュール３２６は、指先の位置２１６を情報クエリシステムに送るための構成要素である。これらの構成要素は、１つの集積回路（ＩＣ）チップまたは複数のＩＣチップのいずれでも具現化される。

メモリ３４０は、ソフトウェア要素を格納する持続性コンピュータ読取可能記憶媒体である。メモリ３４０に格納されたソフトウェア要素は、他の構成要素とともに、補正モジュール３４２、抽出モジュール３４６、骨格モジュール３５０、指先検知モジュール３５４、座標マッピングモジュール３５８を備える。さらに、メモリ３４０は、ユーザの手または指先の軌跡を追尾し記憶するトラッキングモジュールと画像２１２内のノイズを除去するフィルタリングモジュールのような他のモジュールも格納する。

補正モジュール３４２は、画像処理モジュール２１４を補正するユーザ入力を受け取り記憶するための命令を格納する。一または複数の実施形態において、補正は、ユーザに（ｉ）手を楽な姿勢でハンドル上に置き、（ｉｉ）手のひらをハンドルに置いた状態で、ポインティングする指（例えば人差し指）を右端、左端、底、上端の位置に移動する、ように指示して実行する。これら４点に対応する指先の位置は、表示装置（例えばＨＵＤウィンドシールド）上の位置または領域（すなわちセル）にマッピングされる。表示装置内で、指先と他の位置または領域の間の位置は、補間によってマッピングされる。

抽出モジュール３４６は、画像２１２をクロッピングしてユーザの手を示す画像２１２の領域を抽出する命令を格納する。ユーザの手はカメラに最も近い傾向があり、このため手を示す画像２１２の領域を画像の深度情報を使用することによって抽出できる。抽出の精度を高めるために、画素のクラスタの動きを経時的に追尾することができ、そのために、例えば米国特許第７，３０８，１１２号（２００７年１２月１１日発行、以下、「１１２特許」という）および米国特許第８，３５１，６４６号（２０１３年１月８日発行、以下、「６４６特許」という）に記載された技術を用いるが、その全体がここに参照され組み入れられている。

骨格モジュール３５０は抽出された画像中の手の骨格構造を生成する。骨格構造を生成するために用いられる多くの技術のうちの１つが、「１１２特許」の「Ｓｋｅｌｅｔｏｎ Ｇｅｎｅｒａｔｉｏｎ」（骨格生成）と題された節に記載されている。その骨格構造は、少なくともポインティングする指を示す線分を含み、さらに、ユーザの他の指を示す線分も含みうる。

指先検知モジュール３５４は、手の前記骨格構造に基づいて指先の位置を判定する。指先の位置を判定する一つの方法では、ポインティングする指を表す線分に沿って移動する円を用いて、指先の位置を判定する。別の一つの方法では、カメラに近い方の手の一つ、または複数の画素の位置を用いて、指先の位置と判定する。ポインティングする指が、カメラをポインティングしている場合は、骨格モジュール３５０は、ポインティングする指を精度よく表す線分を生成しない可能性があり、このため、骨格構造を用いずに、カメラに近い方の手の画素の点を、指先に相当するものとして選択する。指先検知モジュール３５４で判定された指先の位置は座標マッピングモジュール３５８に送られる。

座標マッピングモジュール３５８は、補正モジュール３４２中に生成されたマッピング情報と、指先検知モジュール３５４によって検知された指先の位置情報を処理して指先の位置に対応する表示装置内の座標を決定する。一実施形態においては、図５を参照して以下に詳細に説明するように、これらの座標は表示装置内の点または領域の座標に変換される。
指先の位置を用いて情報をクエリ検索する方法の例

図４は、一実施形態による、ユーザ命令を処理する方法のフローチャートである。先ず、ステップ４２０で、車両内のユーザのための補正がなされる。補正において、ユーザは両手をハンドルに据え、所定の方向を指でポインティングする。補正の結果、ユーザの指先の位置と表示装置上の位置または領域を対応づけたマッピングが確立する。

表示装置上の位置を、ステップ４３０で、ユーザのポインティングしている指の指先の位置を検知することによって判定する。ユーザの指先の位置は深度画像を処理することによって検知される。

ユーザの指先の位置に対応する前記位置または領域のアイテムまたはオブジェクトの選択は、ステップ４４０で、入力装置２２０から受け取られる。アイテムまたはオブジェクトの選択は、ポインタがアイテムまたはオブジェクト上に置かれた後、マウス上のボタンをクリックまたはダブルクリックするディスクトップまたはラップトップコンピュータにおける操作に相当する。

アイテムまたはオブジェクトの選択に基づいて、ステップ４５０で情報クエリシステム２４０によってオペレーションが実行される。このオペレーションには、例えば、ターゲットのアイテムまたはオブジェクトの情報の車載ナビゲーションシステムまたはエンターテインメントシステムからの検索、外部ソースからの遠隔測定データの収集、実行するアプリケーションの起動、電話呼の送信または受信、現在の走行セッションにおける数値データ（例えば、走行距離や速度）の検索を含む。オペレーションの結果は、表示装置上に表示される。

上記の実施形態は、指がポインティングする方向を検知するために、撮像された画像から生成された骨格を用いる場合を説明したが、骨格を用いずにポインティング方向を検知するために様々なスキームを用いることができる。
表示装置内のセル分割の例

図５は、一実施形態による、ＨＵＤ画像が投影されたウィンドシールド上にユーザが見るビュー８００を説明する図である。ビュー８００は、ウィンドシールドの外側の実際の物体とともに、ＨＵＤシステム１３０によってウィンドシールドに投影された人工的なグラフィック要素も含む。一実施形態において、拡張現実感（ＡＲ）が、実画像を人工的なグラフィック要素と混ぜ合わせることによって得られる。ユーザは、ポインティングする指（例えば、人差し指）を用いて、ウィンドシールドに示されたオブジェクトまたはアイテムを検索し選択する。

指の垂直方向移動の範囲は、水平方向移動と比較してより制約され、ＨＵＤ画像８００は、水平方向の解像度と比較してより低い垂直方向の解像度を有する。図５の例では、垂直方向の解像度は、１０領域（すなわちセル）であり、水平方向の解像度は、１７セルである。ユーザは、ポインティングする指を動かしてこれらのセルのうちの１つ（例えばセル８１０）を選択して所定のオペレーションを実行する。図５の例では、セル８１０が選択されている。結果として、セル８１０に示される画像の一部を有するビルディング８０４の情報８１４がＨＵＤウィンドシールド上に示される。

さらに、セルのサイズは、右あるいは左端の位置と比較して、中央の位置で大きい。最も右または左の端は、図６を参照して以下に説明するように、両端での指の動きが限られているため、より届きにくい。従って、ＨＵＤウィンドシールドの中央にあるセルがより広いエリアを占めるようにすることで、ユーザは、指の動きでセルの選択をより直観的にコントロールすることができる。各セルの垂直方向の高さは図８では同じであるが、指を上端と下端に届くように移動することが難しいために、各セルの高さを変えてもよい。

一または複数の実施形態において、セルが指先の位置にマッピングされる。これらの実施形態においては、画像処理モジュール２１４は、指先の現在の位置に対応するセルを特定する。他のオペレーション・モードでは、画像処理モジュール２１４は、指先の位置の中心の座標を生成する。

一実施形態において、指先の位置に対応するＨＵＤ画像８００上の位置を明るくして、ユーザに、関心のあるオブジェクトまたはアイテムを正しくポインティングしやすくする。

図６は、一実施形態による、指の回転角度に基づいた、セルの水平方向の分割を説明する図である。ポインティングする指は、可動範囲を制限されるが、特に他の指がハンドルを握っているときに制限される。図６の実施形態では、説明上８つのセルだけが図示されているが、実際には、表示装置の領域は、より高い解像度（例えば、水平方向の分割を３０セルに）で区分されている。

図６のＨＵＤ画像のセルは、表示装置の水平方向寸法を分割し、それによって、各セルは、（ｓｉｎｅ ｎｘθ − ｓｉｎｅ （ｎ−１）θ）に相当する幅を有する。ここで、ｎは、中央のセル（中央のセルのｎは０）から始まり、左右の端に向かって増加するセルのシーケンスである。すなわち、セルは、切断された半円の中心のまわりの等角区間の投影に対応する位置で分割されている。図６のようなセルの分割の結果、ポインティングする指を水平に動かすときに、選択操作のより直感的なコントロールが可能になる。

図５および図６に図示された表示装置の領域の水平方向の分割は、単に説明のためである。表示装置の領域の水平方向の分割には、様々な他の分割も可能である。例えば、表示装置の領域は、各セルが同一の水平方向の幅を有するように分割することもできる。

図７は、一実施形態による、指の回転角度の、水平方向に分割された各セルへのマッピングを説明する図である。図７に示す実施形態では、指の回転角度は、図６を参照した上記の場合と同様に、異なる幅を有する仮想コラム９１４のうちの１つにマッピングされる。具体的には、仮想コラムは、切断された半円の中心まわりの等角区間の投影に対応する位置で分割されている。

しかしながら、仮想コラム９１４は、水平方向に等しい間隔のセルを有するビュー画面８００に再度マッピングされている。すなわち、指の回転は、二重のマッピングによってセルにマッピングされており、一つは、指から仮想コラム９１４に、次に、仮想コラムからビュー画面８００へのマッピングである。このようにして、左右の最端に近いところでは、指の小さな回転により、ビュー画面８００の左端と右端での相対的に大きな水平方向の移動を生ぜしめる。指の回転を仮想コラムにマッピングし、次に仮想コラムをビュー画面８００のセルにマッピングする二重マッピングによって、ユーザは、より直感的に、指の回転によって選択操作を誘導し実行することができる。

一または複数の実施形態において、命令処理システム２００は、書き込みモードで動作し、指先の動きが追尾されるため、ユーザはポインティングする指を動かして数字またはシンボルを描くことができる。書き込みモードは、入力装置２２０で所定のユーザ入力を行うことによって起動する。指先が動かされるにつれて、指先の位置が追尾される。指先の軌跡が得られ、記憶されているパターンのセットと比較されて、指先の軌跡に対応する文字やシンボルが判定される。ノイズを除去して指の追尾をより確実にするために、フィルタ（例えば、バターワース・フィルタ）を用いることができる。

一または複数の実施形態において、命令処理システム２００は、車両以外の運輸装置にも使用される。命令処理システム２００は、例えば、航空機や自動二輪車に使用できる。

実施形態において、ポインティングする指の代わりに、ポインティング装置を用いて、車両１００のウィンドシールド上に示されたアイテムまたはオブジェクトをポインティングすることもできる。図８は、一実施形態による、ポインティング装置１０１０を情報クエリシステム２４０の操作に利用する命令システム１０００を説明する図である。ポインティング装置１０１０は、限定されないが、キー・フォブ、携帯電話、リモート・コントローラ、ペンなどの様々な携帯装置で具現化される。ポインティング装置は、ユーザによって保持され、ウィンドシールドに示されるオブジェクトまたはアイテムに向かってポインティングされる。ポインティング装置１０１０によってポインティングされたオブジェクトまたはアイテムを選択するために、所定の動作（例えば、ボタンの押圧）は、ポインティング装置上でも、他の装置上でも可能である。

ポインティング装置１０１０は、他の構成要素とともに、ポインティング装置のポインティング方向を感知するセンサ１０１６と有線または無線通信を介して情報クエリシステム２４０に信号１２２２を送信する通信モジュール１０１８を含む。センサ１０１６は、ポインティング装置１０１０の動きと向きを検知するための一または複数の加速度計、ジャイロスコープ、磁気計を有する慣性センサである。ポインティング装置１０１０は、センサ１０１６からセンサ信号を受信する回路１０２０を備え、センサ信号を処理してビュー画面８００の座標またはセルを示す。あるいは、センサ信号は、処理およびポインティング装置１０１０のポインティング方向の処理および検知のために情報クエリシステム２４０に送られる。一実施形態においては、センサと回路は、１つのユニットに統合される。例えば、ＷｉｌｌｉｓｔｏｎやＶｅｒｍｏｎｔのＬＯＲＤ ＭＩＣＲＯＳＴＡＩＮ ＳＥＮＳＩＮＧ ＳＹＳＴＥＭＳから調達される３ＤＭ方向センサを、センサと回路を備える１つのユニットとして使用できる。

一実施形態においては、ポインティング装置１０１０は、さらにウィンドシールドに向けて発光する光源を有する。光がウィンドシールドに当たると、光の点がウィンドシールド上に見られる。ウィンドシールド上に示された光によって、ユーザは、ポインティング装置１０１０がポインティングしているウィンドシールド上の位置を確認し、ポインティング装置１０１０の向きを調整することができ、それによって、ウィンドシールド上のオブジェクトまたはアイテムを選択することができる。

ポインティング装置１０１０の向きをウィンドシールド上の位置と合わせるために、補正が行われる。グローバル・ポジショニング・システム（ＧＰＳ）または磁気計からの情報を、ポインティング装置１０１０の向きを自動的に補正するために使用することができる。

システム１０００の情報クエリシステム２４０とＨＵＤシステム１３０のアーキテクチャと機能は、図２の命令処理システム２００の場合と略同様であるので、説明を簡潔とするために、その詳細な説明は、ここでは省略する。

以上、数通りの実施形態を記載したが、本開示の範囲内で様々な変更が可能である。

Claims (20)

1. 車両内に置かれた深度カメラによって、ユーザの手を含み、前記深度カメラからユーザの部位までの距離を表す画素を有する深度画像を撮像するステップと、
   撮像された前記深度画像を処理することによって、前記手のポインティングする指の指先の位置を判定するステップと、
   前記指先の位置に対応する表示装置上の位置または領域を判定するステップと、
   前記車両内の入力装置から受信したセンサ信号に基づいて、前記表示装置上の判定された前記位置または領域のアイテムまたはオブジェクトの選択を示す選択信号を受信するステップと、
   前記選択信号の受信に反応して、前記選択されたアイテムまたはオブジェクトに関連付けられたオペレーションを実行するステップと、を含むことを特徴とする方法。
2. 前記指先の前記位置を判定するステップは、複数の線分を含む前記手の骨格構造を生成することを含み、前記複数の線分の各々は、前記手の異なる部位を表すことを特徴とする請求項１に記載の方法。
3. 前記ポインティングする指先によって描かれた文字またはシンボルを認識するために、前記指先の前記位置を追尾するステップをさらに含む請求項１に記載の方法。
4. 前記入力装置が、前記ユーザからの発声による命令を受け取るマイクロフォンを有し、前記選択信号は、前記発声による命令の発言認識を実行ことによって生成されることを特徴とする請求項１に記載の方法。
5. 前記入力装置が、ボタンまたはスイッチを有し、前記選択信号が前記入力装置が操作されたことを示すことを特徴とする請求項１に記載の方法。
6. 前記オペレーションの結果を前記表示装置上に表示するステップをさらに含む請求項１に記載の方法。
7. 前記表示装置は、複数の領域に分割され、前記複数の領域は、各々の水平方向の位置に基づいて異なる水平方向の幅を有し、前記指先の複数の位置の各々が、前記複数の領域のうちの１つにマッピングされることを特徴とする請求項１に記載の方法。
8. 前記表示装置が、アイテムまたはオブジェクトに対応する人工的なグラフィック要素を前記車両のウィンドシールド上に投影する立体ヘッドアップ表示（ＨＵＤ）装置を有することを特徴とする請求項１に記載の方法。
9. 前記指先の前記位置に対応する前記表示装置上の前記位置または領域は、第一のマッピングによって前記指先にマッピングされた前記複数の仮想エリアの１つを特定することによって判定されることを特徴とする請求項１に記載の方法。
10. 前記指先の前記位置に対応する前記表示装置上の前記位置または領域は、前記特定された仮想エリアに対応する前記表示装置上の前記位置または領域を第二のマッピングによって特定することによって、さらに判定されることを特徴とする請求項９に記載の方法。
11. 前記複数の仮想エリアの各々は、半円の等角区間の平面上への投影であることを特徴とする請求項９に記載の方法。
12. 命令処理システムであって、
    車両内に置かれ、ユーザの手を含む深度画像を撮像するように構成され、それ自体から前記ユーザの部位までの距離を表す画素を有する深度カメラと、
    前記手のポインティングする指の指先の位置を、前記撮像された深度画像を処理することによって判定し、
    前記指先の前記位置に対応する表示装置上の位置または領域を判定する、ように構成された画像処理モジュールと、
    車両内の入力装置から受信されたセンサ信号に基づいて、前記表示装置上の前記判定された位置または領域のアイテムまたはオブジェクトの選択を示す選択信号を受信し、
    前記選択信号の受信に反応して、前記選択されたアイテムまたはオブジェクトに関連付けられたオペレーションを実行するように構成された情報クエリシステムと、
    を備えることを特徴とする命令処理システム。
13. 前記画像処理モジュールが、複数の線分を含む前記手の骨格構造を生成し、前記複数の各線分は前記手の異なる部位を表す、ように構成されていることを特徴とする請求項１２に記載のシステム。
14. 前記ポインティングする指先によって描かれた文字またはシンボルを認識するために、前記指先の前記位置を追尾することを特徴とする請求項１２に記載のシステム。
15. 前記入力装置によって受け取られた発声による命令の発言認識を実行するように構成された選択検知モジュールをさらに備えることを特徴とする請求項１２に記載のシステム。
16. さらに、前記オペレーションの結果を表示するように構成された前記表示装置を備えることを特徴とする請求項１２に記載のシステム。
17. 前記表示装置は、複数の領域に分割され、前記複数の領域は、各々の水平方向の位置に基づいて異なる水平方向の幅を有し、前記指先の複数の位置の各々が、前記複数の領域のうちの１つにマッピングされることを特徴とする請求項１２に記載のシステム。
18. 前記表示装置が、アイテムまたはオブジェクトに対応する人工的なグラフィック要素を前記車両のウィンドシールド上に投影する立体ヘッドアップ表示（ＨＵＤ）装置を有することを特徴とする請求項１２に記載のシステム。
19. 前記画像処理モジュールは、前記指先の前記位置に対応する前記表示装置上の前記位置または領域を、第一のマッピングによって前記指先にマッピングされた複数の仮想エリアの１つを特定することによって判定するように構成されたことを特徴とする請求項１２に記載のシステム。
20. 前記画像処理モジュールは、前記指先の前記位置に対応する前記表示装置上の前記位置または領域を、前記特定された仮想エリアに対応する前記表示装置上の前記位置または領域を第二のマッピングによって特定することによって、さらに判定するように構成されたことを特徴とする請求項１９に記載のシステム。

Images