JP2016038621A - 空間入力システム - Google Patents

Abstract

【課題】空間入力に対する入力結果を入力空間内に投影することができる空間入力システムを提供する。【解決手段】空間入力システム１０は、撮像装置１００と、車載装置２００と、プロジェクタ３００とを有する。撮像装置１００は、入力空間Ｒ１内の実物体の入力動作を撮像し、撮像された画像データを車載装置２００に送信する。車載装置は、送信された画像データを解析し、解析結果に基づき生成された映像情報をプロジェクタ３００に送信する。プロジェクタ３００は、空間入力に対する結果を投影空間Ｒ２内に投影する。【選択図】図２

Description

本発明は、３次元空間内の実物体の移動を認識する空間入力システムに関し、特に、ジェスチャー入力の結果を映像によりフィードバックする空間入力システムに関する。

車載装置には、キーボタン入力、タッチパネル入力、音声入力、ジェスチャー入力等、様々な入力インターフェイスが提供されている。近年では特に、運転時に車載装置を操作する場合の安全性を考慮し、運転者の注意を散漫させないような音声入力やジェスチャー入力が注目されている。

ジェスチャー入力は、ユーザーの手の動きを撮像装置で撮像し、予め決められた移動を認識することができたとき、ユーザーの入力操作が実行される。ジェスチャー入力は車載装置だけでなく、特許文献１に開示されるように、テレビジョン等の表示装置に対する入力制御にも使用されている。

特開２０１１−１６６３３２号公報

ジェスチャー入力は、操作が簡単である反面、入力したか否かのフィードバックが無いことが多く、ユーザーにとって、入力が行われたのか否かの判断が難しいものであった。例えば、特許文献１には、入力操作のフィードバックを表示画面に表示させることが記載されているが、車載装置のように、運転中に表示画面にフィードバック結果を表示することは、安全面を考慮すると好ましくない。

本発明は、このような従来の課題を解決するものであり、空間入力に対する入力結果を投影することができる空間入力システムを提供することを目的とする。

本発明に係る空間入力システムは、入力空間内の実物体の動作を撮像する撮像装置と、前記撮像装置からの撮像情報に基づき実物体の移動軌跡を解析する電子装置と、前記電子装置の解析結果に基づき映像を投影する出力装置を含むものであって、前記電子装置は、前記撮像情報を受信する受信手段と、前記撮像情報から前記実物体の移動軌跡を解析する軌跡解析手段と、前記軌跡解析手段により解析された移動軌跡に対応する映像情報を生成する生成手段と、前記映像情報を前記出力装置に送信する送信手段とを有し、前記出力装置は、前記映像情報を前記入力空間内に投影する投影手段を有する。

好ましくは前記空間入力システムはさらに、前記撮像情報から前記実物体の少なくとも１つの特徴点を抽出する抽出手段を含み、前記軌跡解析手段は、前記実物体の特徴点の移動軌跡を解析する。好ましくは前記生成手段は、前記軌跡解析手段が前記実物体の移動軌跡を解析できなかった場合に、前記映像情報の映像色を変更する。好ましくは前記電子装置はさらに、移動軌跡パターンを予め記憶する記憶手段と、前記軌跡解析手段により解析された前記実物体の移動軌跡と前記記憶手段に記憶された移動軌跡パターンを比較する比較手段と、前記比較手段の比較結果に基づき前記実物体の移動軌跡に対応する移動軌跡パターンを認識する認識手段とを有し、前記生成手段はさらに、前記認識手段により認識された前記移動軌跡パターンに対応する映像情報を生成する。好ましくは前記映像情報は、前記移動軌跡パターンに対応する図形または文字情報を含む。好ましくは前記認識手段は、前記入力空間内においてユーザーのジェスチャーを認識する。好ましくは前記生成手段は、前記認識手段が移動軌跡パターンを認識できなかった場合、前記映像情報の映像色を変更する。好ましくは前記撮像装置は、前記投影手段に用いられる投影光の波長と異なる帯域の波長で前記入力空間を撮像する。好ましくは前記電子装置はさらに、前記認識手段により認識された前記実物体の移動軌跡に基づき前記実物体の位置を予測する予測手段を有し、前記投影手段は、前記予測手段の予測結果に基づき前記映像情報を前記入力空間内に投影する。好ましくは前記電子装置は、車両に搭載された車載装置であり、前記撮像装置および前記投影手段は、前記車両の天井に設置される。好ましくは前記電子装置は、車両のセンターコンソールに表示装置を含み、前記撮像装置は、前記センターコンソール近傍の入力空間を撮像し、前記投影手段は、前記センターコンソール近傍の入力空間に映像情報を投影する。

本発明によれば、入力空間内の実物体の移動軌跡を解析し、解析結果に基づいた映像情報を入力空間内に投影するようにしたので、ユーザーは、入力が行われたか否かを容易に識別することができる。

本発明の実施例に係る空間入力システムの全体を表す俯瞰図である。 本発明の実施例に係る空間入力システムの斜視図である。 本発明の実施例に係る空間入力システムの構成を示すブロック図である。 本発明の実施例に係る記憶部に記憶される入力内容とジェスチャー動作軌跡との関係を示す図である。 本発明の実施例に係る空間入力制御プログラムの機能例を示すブロック図である。 本発明の実施例に係る特徴点抽出部の具体的な態様を示す例図である。 本発明の実施例に係る特徴点座標検出部の具体的な態様を示す例図である。 本発明の実施例に係る動作軌跡作成部の具体的な態様を示す例図である。 本発明の第１の実施例に係る空間入力システムの動作フローを示す図である。 本発明の第１の実施例に係るジェスチャー入力操作の具体的な動作を示す図である。 本発明の第１の実施例に係る時刻毎の特徴点の座標および動作軌跡を示す図である。 本発明の第１の実施例に係る動作軌跡比較の具体的な態様を示す図である。 本発明の第１の実施例に係る映像情報を示す例図である。 本発明の第１の実施例に係る映像情報の具体的な投影例を示す図である。 本発明の第２の実施例に係る空間入力制御プログラムの機能例を示すブロック図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。本発明の１つの好ましい態様では、空間入力システムは、車両に搭載された車載装置への入力システムとして利用される。但し、本発明は、必ずしも車載用の空間入力システムに限定されるものではない。

本発明の空間入力システムは、入力空間を撮像するための撮像装置を含み、撮像装置は、車内に設置された撮像カメラを含む。撮像カメラは、例えば、車両の天井などに設置され、車内の入力空間において手などの実物体の動作または移動を撮像する。さらに空間入力システムは、入力情報としての撮像情報を撮像装置から受け取る電子装置を含む。当該電子装置は、例えば、車内に備えられた車載装置である。電子装置は、特に制限されないが、種々の機能を包含することができ、撮像装置から送信される撮像情報を解析する機能の他に、そのような解析から得られた入力に応答して動作可能なナビゲーション機能、オーディオ・ビデオデータを再生する機能、テレビ・ラジオ放送を受信する機能などを備えることができる。さらに空間入力システムは、電子装置から送信される映像情報を出力する出力装置を含み、出力装置は、好ましくは、映像情報を投影するプロジェクタを含む。出力装置は、撮像装置が撮像する入力空間とほぼ一致する投影空間内に映像信号を投影し、入力された結果を投影情報としてユーザーに伝える。

次に、本発明の実施例に係る空間入力システムについて図面を参照して説明する。図１は、本発明の実施例に係る空間入力システムの具体的な全体構成を示す俯瞰図である。本実施例に係る空間入力システム１０は、入力空間Ｒ１を撮像する撮像装置１００と、撮像装置１００からの撮像情報を受け取る車載装置２００と、車載装置２００から送信される映像信号を投影するプロジェクタ３００とを含んで構成される。例えば、ユーザーＵは、運転席の運転者であり、入力空間Ｒ１の範囲内でジェスチャー動作を行うことで、車載装置２００への入力操作を行うことができる。

図２は、本発明の実施例に係る車内の空間入力システムの斜視図を示す図である。撮像装置１００は、車両の天井またはその他の位置に固定され、ユーザーＵの手Ｈの動作を感知する入力空間Ｒ１を形成する。入力空間Ｒ１は、好ましくは、運転者が運転をしながら、片方の手を容易に動かすことできる位置である（図２の場合、左手でハンドルを操作し、右手でジェスチャー入力が可能となる空間である）。例えば、車載装置２００のディスプレイ２５０がセンターコンソールに配置されるとき、入力空間Ｒ１は、運転席と助手席と間の空間、より好ましくはアームレストＡＲ上の空間であることができる。

プロジェクタ３００は、入力空間Ｒ１と重複する投影空間Ｒ２内に映像を投影する。好ましくは入力空間Ｒ１と投影空間Ｒ２は、ほぼ等しい空間であるが、入力空間Ｒ１よりも投影空間Ｒ２が大きくてもよいし、反対に小さくてもよい。本発明の実施例に係る空間入力システム１０は、入力空間Ｒ１内の手Ｈの動きを撮像装置１００で撮像し、車載装置２００で動きの解析等をした後、プロジェクタ３００が入力に対応する映像を投影する。それ故、ユーザーにとって、入力した結果を即座に認識できる位置に映像が投影されることが望ましく、例えば、ユーザーがアームレストＡＲ上の空間で入力を行ったならば、その空間に、入力結果を反映した映像を投影することが望ましい。

図３は、空間入力システム１０の構成例を示すブロック図である。撮像装置１００は、車内の入力空間Ｒ１を撮像する撮像部１１０、Ｄ／Ａ変換部１２０、制御部１３０、画像データ送信部１４０を含む。車載装置２００は、記憶部２１０、ナビゲーション部２２０、音声出力部２３０、入力部２４０、表示部２５０、マルチメディア再生部２６０、制御部２７０、入力インターフェイス２８０および外部インターフェイス２９０を含む。但し、図３に示す撮像装置１００、車載装置２００、プロジェクタ３００の構成は例示であり、これに限定されることを意図するものではない。以下、各部について詳細に説明する。

撮像部１１０は、車内上部に取り付けられた少なくとも１つの撮像カメラを含み、撮像カメラにより車内の入力空間Ｒ１を撮像する。撮像部１１０は、入力空間Ｒ１内にユーザーＵの手Ｈが進入したとき動作を開始するようにしてもよいし、あるいは、図示しない赤外線センサーなどにより入力空間Ｒ１内への物体の進入が検知されたことに応答して動作を開始するようにしてもよい。

Ｄ／Ａ変換部１２０は、撮像部１１０によって撮像された画像データをデジタルデータに変換する。制御部１３０は、撮像装置１００の各部を制御し、例えば、撮像部１１０の動作開始、撮像部１１０のチルト、撮像された画像データの送信等を制御する。画像データ送信部１４０は、撮像部１１０で撮像された画像データを車載装置２００に送信する。車載装置２００は、入力インターフェイス２８０を介して画像データを受け取る。

車載装置２００は、入力インターフェイス２８０を介して撮像装置１００とデータの送受を可能にする。データの送受は、有線または無線のいずれかを問わない。さらに車載装置２００は、出力インターフェイス２９０を介してプロジェクタ３００とデータの送受を可能にする。このデータの送受もまた、有線または無線のいずれであってもよい。

記憶部２１０は、種々のデータやプログラムなどを記憶することができる。さらに記憶部２１０は、マルチメディア再生部２６０で再生可能な映像データやオーディオデータを格納したり、ナビゲーション部２２０に必要な地図データ等を格納することができる。さらに好ましくは、記憶部２１０は、撮像装置１００から送信される画像データのデジタルデータを記憶したり、ジェスチャー入力を判定するために必要なデータを記憶することができる。図４は、ジェスチャー動作軌跡とこれに対応する入力内容を規定した判定テーブルである。同図に示すように、入力操作としての「早送り」、「再生」、「次へ」、「戻る」、「ナビ開始」、「ナビ停止」などが、予め決められたジェスチャー動作軌跡に割り当てられている。これらの入力操作は、マルチメディア再生部２６０、ナビゲーション部２２０などへの指示を与えるものとして規定されている。

ナビゲーション部２２０は、自車位置周辺の道路地図を案内したり、自車位置から目的地までの経路を探索し、これを案内したりする。自車位置は、ジャイロセンサや加速度センサなどの測定結果、および／またはＧＰＳ衛星からのＧＰＳ信号から算出される。

音声出力部２３０は、マルチメディア再生部２６０で再生されたオーディオデータや記憶部２１０に記憶されているオーディオデータ等を出力する。入力部２４０は、タッチパネルやボタンキーなど、車載装置２００を使用するユーザーが実行する機能を選択したり、ユーザーの音声を入力するマイク等を含むことができる。表示部２５０は、マルチメディア再生部２６０で再生されたビデオデータや、記憶部２１０に記憶されている地図データ等を表示する。マルチメディア再生部２６０は、ＣＤ、ＤＶＤ、メモリなどの外部媒体や記憶部２１０から読み出されたビデオデータやオーディオデータを再生したり、テレビ放送やラジオ放送で受信したビデオデータやオーディオデータを再生したりする。再生されたデータは、表示部２５０や音声出力部２３０から出力される。

制御部２７０は、マイクロプロセッサやマイクロコントローラ、ＲＯＭ／ＲＡＭ等を含み、例えば、プログラム等を実行することにより車載装置２００の各部を制御する。本実施例では、制御部２７０は、撮像装置１００から送信される画像データに基づき、ユーザーＵの手Ｈの空間入力を制御する空間入力制御プログラム４００を実行する。図５に、空間入力制御プログラム４００の機能的な構成を示す。

空間入力制御プログラム４００は、画像データ取得部４１０、特徴点抽出部４２０、特徴点座標検出部４３０、動作軌跡作成部４４０、動作軌跡比較部４５０、動作軌跡認識部４６０、映像情報生成部４７０、映像情報送信部４８０、および機能実行部４９０を含む。画像データ取得部４１０は、撮像装置１００が入力空間Ｒ１を撮像したデジタル化された画像データを取得する。画像データ取得部４２０で取得された画像データは、画像処理のために特徴点抽出部４２０等の各部へ供給される。

特徴点抽出部４２０は、画像データ取得部４１０が取得した画像データを解析し、当該画像データの中から特徴点を抽出する。特徴点は、特に限定されないが、例えば、ジェスチャー入力を判定するうえで、判定精度が高まるような部位が望ましい。本例では、ユーザーの手Ｈの指先を特徴点として抽出する。特徴点の抽出は、例えば、画像データの濃淡からエッジないし輪郭を抽出し、さらにその指先に対応する画素領域を抽出する。例えば、図６（Ａ）に示すような形でジェスチャー入力操作が行われたとき、特徴点抽出部４２０は、指先Ｈ１を特徴点として抽出する。また、図６（Ｂ）に示すような形でジェスチャー入力操作が行われたとき、複数の指先Ｈ２を特徴点として抽出してもよいし、いずれかの指先を特徴点として抽出してもよい。いずれの指先を抽出できない場合は、手Ｈの中心Ｈ３を特徴点としても良い。特徴点の抽出は、１フレームデータごとに抽出を行う。

特徴点座標検出部４３０は、特徴点抽出部４２０で抽出された特徴点の座標をフレーム毎に検出する。特徴点は、フレーム内のＸ、Ｙアドレスに対応するので、特徴点座標検出部４３０は、フレーム内のＸ、Ｙアドレスを検出する。図７に、座標検出の具体例を示す。ｔ１、ｔ２、ｔ３、ｔ４、ｔ５…ｔｎは、撮像装置１００から送信される各フレームであり、特徴点座標検出部４３０は、時刻ｔ１における特徴点Ｐ１の座標（Ｘ１、Ｙ１）、時刻ｔ２における特徴点Ｐ２の座標（Ｘ２、Ｙ２）、時刻ｔ３における特徴点Ｐ３の座標（Ｘ３、Ｙ３）、時刻ｔ４における特徴点Ｐ４の座標（Ｘ４、Ｙ４）、時刻ｔ５における特徴点Ｐ５の座標（Ｘ５、Ｙ５）・・・時刻ｔｎにおける特徴点Ｐｎの座標（Ｘｎ、Ｙｎ）をそれぞれ検出する。

動作軌跡作成部４４０は、特徴点座標検出部４３０から特徴点Ｐ１〜Ｐｎの座標情報を受け取り、これらの特徴点の座標を連結することで特徴点の動作軌跡（すなわち、ユーザーＵの手Ｈの動き）を作成する。図８は、図７の時刻ｔ１から時刻ｔｎの特徴点の座標を連結した特徴点の動作軌跡Ｌを例示している。

動作軌跡比較部４５０は、動作軌跡作成部４４０で得られた特徴点の動作軌跡Ｌと、記憶部２１０に記憶されているジェスチャー動作（図４参照）の軌跡パターンとを比較する。動作軌跡比較部４５０は、動作軌跡作成部４４０で作成された動作軌跡Ｌを軌跡パターンのサイズに合わせるため、作成された動作軌跡を必要に応じて正規化することが望ましい。

動作軌跡認識部４６０は、動作軌跡比較部４５０の比較結果をもとに、ユーザーＵのジェスチャー入力操作が図４のどの軌跡パターンに該当するのかを認識する。動作軌跡認識部４６０は、好ましくは、最も一致率の高い動作軌跡パターンを入力操作として認識する。さらに好ましくは、一致率がしきい値を越えない場合には、入力操作の認識が不可能と判定してもよい。

映像情報生成部４７０は、動作軌跡認識部４６０の認識結果に基づきプロジェクタ３００が投影する映像情報を生成する。好ましい第１の態様では、映像情報生成部４７０は、動作軌跡作成部４４０で作成されたユーザーＵの手Ｈの動作軌跡をそのまま投影する映像情報を生成する。また、第２の態様では、映像情報生成部４７０は、動作軌跡認識部４７０によって認識された動作軌跡パターン（図４に示すパターン）に対応する映像情報を生成する。例えば、動作軌跡認識部４６０で有効なジェスチャー入力を認識することができた場合は、認識されたジェスチャー動作の軌跡の映像情報を生成し、認識できなかった場合はユーザーＵの手Ｈの動作軌跡をそのまま投影する映像情報を生成するようにしても良い。さらに好ましくは、映像情報生成部４７０は、第１の態様による映像情報を生成するとき、動作軌跡の作成状況に応じた映像情報の色を変更することができる。例えば、ユーザー入力が入力空間Ｒ１を部分的に逸脱し、連続的な動作軌跡を作成することができなかったときには、映像情報の色を、通常のときと異なるようにすることができる。また、映像情報生成部４７０は、第２の態様による映像情報を生成するとき、図４に示す動作軌跡パターンが認識できなかった場合には、認識できたときと異なる色の映像情報を生成することができる。

映像情報送信部４８０は、映像情報生成部４７０で生成された映像情報をプロジェクタ３００に送信する。機能実行部４９０は、動作軌跡認識部４６０で認識されたジェスチャー動作の入力操作に基づき、各機能部を制御する。例えば、「早送り」が入力されたと認識した場合は、再生している音楽や映像を早送りし、「次へ」が入力されたと認識した場合は、表示部２５０に表示されている画面のページを変更させる等の制御を行うことができる。

再び図３を参照する。プロジェクタ３００は、車載装置２００の外部インターフェイス２９０を介して映像信号を取得する映像情報取得部３１０と、取得した投影情報を投影空間Ｒ２に投影する投影部３２０と、各部を制御する制御部３３０とを有する。投影部３２０は、公知の投影手法を利用することができ、液晶デバイスにより光を空間変調を行うプロジェクタ、あるいはディジタルミラーデバイスにより光を空間変調するプロジェクタを用いることができる。

次に、本発明の第１の実施例に係る空間入力システムの動作を図９のフローチャートを参照して説明する。ここでの説明は、図４で示す「早送り」のジェスチャーを入力するケースを想定する。先ず始めに、撮像装置１００は、ユーザーＵの手Ｈが入力空間Ｒ１内に進入したことを検知する（Ｓ１００）。この検知は、撮像装置１００の画像データのフレーム間の差分から行ってもよいし、あるいは物体の有無を検出するような物体検知センサを用いて行ってもよい。次に、ユーザーＵは、入力空間Ｒ１内において、手Ｈを「早送り」のジェスチャーに併せて移動させる。撮像装置１００は、このようなジェスチャーの動きを撮像し（Ｓ１０２）、撮像された画像データは、フレーム単位で車載装置へ送信される（Ｓ１０４）。なお、撮像装置１００は、フレーム間の差分から物体の動きが検出されなくなったとき、ジェスチャー入力が終了したと判定し、画像データの送信を停止するか、あるいは一定期間が経過したとき、または物体検知センサにより物体が検知されなくなったとき、画像データの送信を停止するようにしてもよい。

次に、車載装置２００は、撮像装置１００から送信されたフレーム単位の画像データを受信し（Ｓ１０６）、次に、画像データの解析を行い、指先Ｈ１である特徴点が特徴点抽出部４２０によって抽出され（Ｓ１０８）、次いで、特徴点座標検出部４３０によって特徴点の座標が検出される（Ｓ１１０）。特徴点の抽出および特徴点の座標検出は、撮像装置１００から送信されたすべてのフレーム分の画像データに対して行われる（Ｓ１１２）。受信した全ての画像データの特徴点の座標を検出したのち、動作軌跡作成部４４０は、座標情報に基づいてユーザーＵの手Ｈの動作軌跡を作成する（Ｓ１１４）。次に、動作軌跡比較部４５０によって、作成された動作軌跡と記憶部２１０に記憶されジェスチャー動作の軌跡パターンとが比較され（Ｓ１１６）、動作軌跡認識部４６０によってジェスチャー入力が認識される（Ｓ１１８）。次に、映像情報生成部４７０によって、認識されたジェスチャーを表す軌跡の映像情報が作成され（Ｓ１２０）、映像情報送信部４８０は、作成した映像情報をプロジェクタ３００に送信する（Ｓ１２２）。プロジェクタ３００は、車載装置２００から映像情報を受信し、映像情報に基づいた画像を投影空間Ｒ２に投影する（Ｓ１２４）。次に、機能実行部４９０は、認識されたジェスチャーが表す入力操作を実行する（Ｓ１２６）。

このように、ジェスチャーが認識されたとき、認識されたジェスチャーの投影画像を表示させることで、ユーザーは、自身が入力したジェスチャーがどのように認識されたのかを容易に理解することができる。

次に、本発明の第１の実施例に係るジェスチャー入力操作の具体的な動作を図１０に示す。第１の実施例では、「早送り」の入力操作を行うため、図４に記載された早送りのジェスチャーの軌跡を描くように、入力空間Ｒ１内で指先Ｈ１を移動させる。撮像装置１００は、時刻ｔ１〜ｔｎの期間、指先Ｈ１の移動を撮像し、この画像データを車載装置２００に送信する（Ｓ１０４に相当）。

図１１は、図１０に示す「早送り」のジェスチャーが入力された際の特徴点座標検出部４３０によって検出された時刻毎の特徴点（指先Ｈ１）の座標である。同図に示すように、時刻ｔ１〜ｔｎの全ての画像データに対して特徴点の座標が検出されると、各々の座標を連結し、指先Ｈ１の動作軌跡Ｌ１が作成される

図１１で示すような動作軌跡Ｌ１は、記憶部２１０に記憶されているジェスチャー動作の軌跡パターンと比較される。比較の方法は限定されないが、例えば、図１２に示すように、記憶部２１０に記憶されているジェスチャーのパターンＳ１〜Ｓ６と比較し、最も照合度合の大きなジェスチャーのパターンが認識される。第１の実施例の場合、入力された動作軌跡Ｌ１は、ジェスチャーパターンＳ１と最も一致する判定され、その結果、「早送り」が認識される。

次に、本発明の第１の実施例に係る映像情報について図を用いて説明する。図１３は、「早送り」が入力された時に生成される映像情報の例示である（Ｓ１２０に相当）。図１３（Ａ）は、動作軌跡作成部４４０で作成された動作軌跡、すなわち、手Ｈの動作軌跡Ｌ１をそのまま映像情報とするものであり、図１３（Ｂ）は、「早送り」の入力操作に対して認識されたジェスチャーの軌跡パターンＳ１を映像情報とするものである。図９に示すフローでは、図１３（Ｂ）に示す映像情報が投影される例を示したが、図１３（Ａ）に示す映像情報を投影するようにしてもよい。さらに、投影される画像は、図１３（Ａ）や図１３（Ｂ）のような軌跡図形に限らず、図１３（Ｃ）に示すような文字情報で入力の認識結果を投影したり、図１３（Ｄ）で示すような「早送り」を概念的に表す図形で入力の認識結果を投影するようにしてもよい。

次に、本発明の第１の実施例に係る投影部３１０の具体的な態様を図１４に示す。投影部３１０は、入力空間Ｒ１とほぼ同一の投影空間Ｒ２に対して、作成された映像情報を投影する。図１４（Ａ）は、図１３（Ａ）、（Ｂ）に示すような動作軌跡Ｌ１または軌跡パターンＳ１を投影した例であり、図１４（Ｂ）は、図１３（Ｃ）に示す文字情報を投影した例である。入力空間Ｒ１と投影空間Ｒ２はほぼ同一であるため、ジェスチャー入力を行う手Ｈは、必然的に投影空間Ｒ２の中に存在し、認識結果である画像を手Ｈの甲などに投影することができる。これにより、ユーザーは、即座に入力の認識結果を知ることができる。

上記実施例では、ジェスチャー入力が、例えば図４に示す軌跡パターンによって認識できたときに、ジェスチャー入力に対応する映像を投影するようにしたが、これに限らず、ユーザー自身がどのような入力を行ったのかを認識させる場合には、軌跡パターンによる認識を行うことなく、動作軌跡Ｌ１をそのまま投影させるようにしてもよい。その際、ジェスチャー入力が入力空間Ｒ１を逸脱した場合には、それが認識できるような映像を投影させ、ユーザーへの再入力を促すようにしてもよい。

さらに上記実施例では、入力空間Ｒ１と投影空間Ｒ２とを重複させる例を示したが、これに限らず、入力空間Ｒ１と投影空間Ｒ２とは全く異なる場所であってもよい。例えば、投影空間Ｒ２は、車両のフロントガラスであり、ここに認識結果の映像を表示させるようにしてもよい。

さらに入力空間Ｒ１と投影空間Ｒ２とが重複する場合、撮像装置１００は、プロジェクタ３００の投影画像とユーザー入力とを正確に識別することができなくなるおそれがある。これを解消するため、プロジェクタ３００の投影する映像の波長帯を、撮像装置１００が撮像する波長帯または車載装置２００が解析する画像の波長帯と異ならせるようにしてもよい。例えば、プロジェクタ３００が青色帯域の映像を表示させるとき、撮像装置１００または車載装置２００は、青色帯域以外の帯域の画像データを撮像したり、あるいは画像解析して特徴点を抽出するようにしてもよい。

また、投影部３１０で使用される投影用の光は、ユーザーＵに視覚的な認識を伝達する必要があるため、可視光領域の光を使用し、撮像装置１００は、赤外線を感知する赤外線カメラを用いてもよい。撮像装置１００の入力空間Ｒ１は赤外光で形成されるため、投影部３２０で使用される光とは帯域が分離される。なお、使用される光の種類は本実施例に記載の内容に限られるものではなく、撮像装置１００で使用される入力空間を形成するための光と、プロジェクタ３００で使用される投影用の光とが帯域分離する程度のものであれば良い。

次に、本発明に係る第２の実施例に係る空間入力システムについて説明する。本発明の第２の実施例は、ユーザーＵの手Ｈの位置を予測し、より正確に手Ｈの甲へ投影することができる空間入力システムである。本発明の第２の実施例に係る空間入力制御プログラム４００Ａの機能的な構成を図１５に示す。第２の実施例で使用される空間入力制御プログラム４００Ａには、第１の実施例で示した機能に加え、新たに動き予測部４３５が含まれる。

動き予測部４３５は、撮像装置１００から送信される画像データの特徴点抽出を行った後、抽出結果に基づき、Ｔ秒後の特徴点の位置を予測する。例えば、第１の実施例の図１１を用いると、ｔ１、ｔ２・・・ｔｎの各々の相対的な変化からＴ秒後の特徴点の位置を予測する。予測された位置は、座標情報としてプロジェクタ３００に送信され、プロジェクタ３００は、動き予測部４３５によって予測されたＴ秒後の特徴点の位置に基づき、投影位置を制御する。

図１０または図１１に示すようなジェスチャーが入力される場合を想定する。動作軌跡認識部４６０は、時刻ｔ１〜ｔ５の動作軌跡から軌跡パターンＳ１を認識することができる場合には、軌跡パターンＳ１から指先Ｈ１の動きを予測することができる。第２の実施例では、撮像装置１００から送信される画像データの一部によって軌跡パターンを認識できる場合には、軌跡パターンから動きを予測し、映像情報とともに動き予測情報をプロジェクタ３００に送信する。プロジェクタ３００は、動き予測情報に従い映像情報を投影することで、認識空間Ｒ２内のユーザーの手Ｈに映像を投影させることができる。

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。

１０：空間入力システム １００：撮像装置
１１０：撮像部 １２０：Ｄ／Ａ変換部
１３０：制御部 １４０：動画像データ送信部
２００：車載装置 ２１０：記憶部
２２０：ナビゲーション部 ２３０：音声出力部
２４０：入力部 ２５０：表示部
２６０：マルチメディア再生部 ２７０：制御部
３００：プロジェクタ ３１０：投影部
３３０：制御部
３４０：映像情報取得部 ４００：空間入力制御プログラム
４１０：画像データ取得部 ４２０：特徴点抽出部
４３０：特徴点座標検出部 ４４０：動作軌跡作成部
４５０：動作軌跡比較部 ４６０：動作軌跡認識部
４７０：映像情報生成部 ４８０：映像情報送信部
４９０：機能実行部 Ｈ：手
Ｈ１、Ｈ２：指先 Ｈ３：中心
Ｌ、Ｌ１：動作軌跡 Ｒ１：入力空間
Ｒ２：投影空間 Ｓ１〜Ｓ６：ジェスチャー軌跡パターン
Ｕ：ユーザー

Claims (11)

1. 入力空間内の実物体の動作を撮像する撮像装置と、前記撮像装置からの撮像情報に基づき実物体の移動軌跡を解析する電子装置と、前記電子装置の解析結果に基づき映像を投影する出力装置を含む空間入力システムであって、
   前記電子装置は、
   前記撮像情報を受信する受信手段と、
   前記撮像情報から前記実物体の移動軌跡を解析する軌跡解析手段と、
   前記軌跡解析手段により解析された移動軌跡に対応する映像情報を生成する生成手段と、
   前記映像情報を前記出力装置に送信する送信手段とを有し、
   前記出力装置は、
   前記映像情報を前記入力空間内に投影する投影手段を有する、空間入力システム。
2. 前記空間入力システムはさらに、前記撮像情報から前記実物体の少なくとも１つの特徴点を抽出する抽出手段を含み、
   前記軌跡解析手段は、前記実物体の特徴点の移動軌跡を解析する、請求項１に記載の空間入力システム。
3. 前記生成手段は、前記軌跡解析手段が前記実物体の移動軌跡を解析できなかった場合に、前記映像情報の映像色を変更する、請求項１または２に記載の空間入力システム。
4. 前記電子装置はさらに、移動軌跡パターンを予め記憶する記憶手段と、
   前記軌跡解析手段により解析された前記実物体の移動軌跡と前記記憶手段に記憶された移動軌跡パターンを比較する比較手段と、
   前記比較手段の比較結果に基づき前記実物体の移動軌跡に対応する移動軌跡パターンを認識する認識手段とを有し、
   前記生成手段はさらに、前記認識手段により認識された前記移動軌跡パターンに対応する映像情報を生成する、請求項１ないし３いずれか１つに記載の空間入力システム。
5. 前記映像情報は、前記移動軌跡パターンに対応する図形または文字情報を含む、請求項４に記載の空間入力システム。
6. 前記認識手段は、前記入力空間内においてユーザーのジェスチャーを認識する、請求項４または５に記載の空間入力システム。
7. 前記生成手段は、前記認識手段が移動軌跡パターンを認識できなかった場合、前記映像情報の映像色を変更する、請求項４ないし６いずれか１つに記載の空間入力システム。
8. 前記撮像装置は、前記投影手段に用いられる投影光の波長と異なる帯域の波長で前記入力空間を撮像する、請求項１ないし７いずれか１つに記載の空間入力システム。
9. 前記電子装置はさらに、前記認識手段により認識された前記実物体の移動軌跡に基づき前記実物体の位置を予測する予測手段を有し、前記投影手段は、前記予測手段の予測結果に基づき前記映像情報を前記入力空間内に投影する、請求項４ないし７いずれか１つに記載の空間入力システム。
10. 前記電子装置は、車両に搭載された車載装置であり、前記撮像装置および前記投影手段は、前記車両の天井に設置される、請求項１ないし９いずれか１つに記載の空間入力システム。
11. 前記電子装置は、車両のセンターコンソールに表示装置を含み、前記撮像装置は、前記センターコンソール近傍の入力空間を撮像し、前記投影手段は、前記センターコンソール近傍の入力空間に映像情報を投影する、請求項１０に記載の空間入力システム。
    

Images