JP2016053880A - 車載システム、情報処理方法、およびコンピュータプログラム - Google Patents

Abstract

【課題】直感的で簡易な操作により車外風景の画像データを取得し、該画像データの解析結果と推測された目的に基づき出力内容および出力を実行するハードウェアまたはソフトウェアを決定する車載システムを提供することを目的とする。【解決手段】車窓越しの車外風景の映像を撮影する車外撮像手段と、所定の動作を認識するジェスチャー認識手段と、動作が行われた位置を算出し、映像から画像を切り出して取得する画像取得手段と、取得された画像中の物体を認識する画像解析手段と、環境情報を用いて、認識された物体から目的を推測する目的推測手段と、推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、を備えることを特徴とする。【選択図】図２

Description

本発明は、風景を撮影して画像データを取得し、該画像データの解析結果と推測された目的に基づき出力内容および出力を実行するハードウェアまたはソフトウェアを決定する車載システム、情報処理方法、およびコンピュータプログラムに関する。

近年、自動車等の移動体に搭載される車載システムにおいて、モバイル機器との連携を可能とするものや、コネクテッド・カーと呼ばれる、自動車に通信機能を与えるものなどが登場し、その多機能化が進んでいる。こうした車載システムは、搭乗者に様々な情報や機能を提供することで、運転の補助や運転時の利便性の向上に寄与する。一方で、多機能化および情報量の増加により、搭乗者が行うべき操作が煩雑化し、目視負担も増大するという問題点も生じている。

例えば、搭乗者が走行中に実際に目にした様々な事物に対して、それに関連する情報を欲するという状況は多々考えられる。一例として、自動車で移動中の搭乗者が、遠くのランドマークや交通案内の標識を目にしてそこまでの経路を知りたいと考えた場合、一般的なナビゲーションシステムでは、ランドマークの名称や地名を入力または選択し、あるいは地図画像上で特定の地点を指定することによって、目的地を設定し、経路を表示させる必要がある。また、別の例として、街中に設置された商品や映画の広告や店舗の看板を見て、詳細な情報を知りたいと考えた場合、車載ディスプレイ上またはモバイル機器上でブラウザを起動し、商品名や映画のタイトル等を文字入力して検索を行うことなどが必要とされる。

従来機器において必要とされるこれらの操作は比較的煩雑であり、特に運転者が走行中に行う場合には危険も伴う。また、適切な地名が分からない場合や、地図上での適切な位置が把握できない場合、または正しい商品名等が不明な場合などに、所望の結果を得られない可能性もある。

このような問題点に鑑み、走行中の車内で搭乗者に情報や機能を提供する車載システムにおいては、より直感的でシンプルな操作により情報・機能を提供可能であることが望ましい。

直感的な操作方法の一つとして、システムや装置への入力を文字ではなく画像で行うという試みがある。例えば特許文献１においては、装置に入力された画像データを検索キーとして画像データベースから類似画像データを抽出し、これに対応付けて記憶されている地点特定情報と共に出力し、目的地設定に利用するナビゲーション装置が提案されている。

特開２００４−３３３２３３号公報

しかしながら、特許文献１のナビゲーション装置においては、装置に入力するための画像をデジタルカメラ等で撮影すること等により予め用意しておく必要があり、走行中に目にしたものを即座に検索に用いたい場合、行うべき操作は依然として煩雑なものとなってしまう。また、検索結果に対して搭乗者による絞り込みの操作が必要とされており、これが操作の煩雑さを増大させる一因となりうる。また、画像を入力して得られる情報・機能は、目的地としての地点情報と経路案内に限られており、搭乗者が必要とし得る幅広い情報の提供を可能とするものではない。

本発明は以上のような課題を解決するためになされたものであり、直感的で簡易な操作により車外風景の画像データを取得し、該画像データの解析結果と推測された目的に基づき出力内容および出力を実行するハードウェアまたはソフトウェアを決定する車載システムを提供することを目的とする。

上記課題を解決するために、本発明に係る車載システムは、任意のハードウェアまたはソフトウェアと通信および連携が可能な車載システムであって、車窓越しの車外風景の映像を撮影する車外撮像手段と、搭乗者の所定の動作を入力として認識するジェスチャー認識手段と、前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得手段と、前記取得された画像を解析して画像中の物体を認識する画像解析手段と、前記システムに蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測手段と、前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、を備えることを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、搭乗者を撮影する搭乗者撮像手段と、前記搭乗者撮像手段により得られる搭乗者の目の画像から搭乗者の視線方向を検出する視線方向検出手段と、を更に備え、前記画像取得手段は、前記検出された視線方向を参照して前記座標の補正を行うことを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、前記所定の動作が風景中の関心対象を囲むように前記車窓の付近の空中に指で円状または楕円状の図形を描く動作であり、前記画像取得手段は、前記円状または楕円状の図形によって画定される閉領域に対応する画像を前記映像から取得することを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、前記車窓が画像表示機能を有し、前記取得された画像を表示することが可能であり、前記表示された画像は搭乗者の操作により車窓上の任意の場所に動かして表示させることが可能であり、前記画像解析手段は、搭乗者による前記表示された画像に対する所定の操作に応じて画像の解析を開始することを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、前記画像解析手段が前記取得された画像に含まれる文字情報を認識する文字情報認識手段を備えることを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、前記環境情報が車内環境データ、車外環境データ、搭乗者プロフィールデータ、行動履歴データ、前記行動履歴に基づき推測された搭乗者の現在の感情に関するデータ、または前記車載システムと連携するハードウェアおよびソフトウェアに関するデータを含むことを特徴とする。

本発明の一実施形態によれば、本発明に係る車載システムは、前記出力内容に対する搭乗者の評価を入力可能な評価入力手段を更に備え、前記入力された評価を前記環境情報の一部として利用することを特徴とする。

本発明の一態様によれば、本発明に係る情報処理方法は、車窓越しの車外風景の映像を撮影する車外撮像工程と、搭乗者が前記車窓の付近で行う所定の動作を入力として認識するジェスチャー認識工程と、前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得工程と、前記取得された画像を解析して画像中の物体を認識する画像解析工程と、前記装置に蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測工程と、前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定工程と、前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力工程と、を含むことを特徴とする。

本発明の一態様によれば、本発明に係るコンピュータプログラムは、本発明に係る情報処理方法をコンピュータにより実行させることを特徴とする。

本発明によれば、走行中の車内において、搭乗者の簡易で直感的なジェスチャーにより車外の風景内の任意の事物の画像データを取得し、車載システムへの入力とすることができるため、画像データを入力として用いる際に要求される搭乗者の操作は非常に簡単なものとなり、搭乗者は直感的な操作によって即座に必要な情報・機能を得ることができる。

また、入力された画像の解析後、システムに蓄積された種々の環境情報に基づき搭乗者の目的が推測され、当該目的に適した出力が自動で選択実行されるため、画像の入力後に搭乗者に更なる操作が求められることもない。

上記の利点の結果、搭乗者は、直感的かつ簡単な操作により、車外風景中の関心のある事物の画像をハードウェアまたはソフトウェアに対する入力として用いることができ、推測された目的に応じた様々な結果を得ることができる。

本発明に係る車載システムのハードウェア構成の一例を示す図である。 本発明に係る車載システムのソフトウェア構成の一例を示す図である。 本発明に係る車載システムにおける、画像の解析を開始するまでの処理の流れを示すフローチャートである。 本発明に係る車載システムにおける、画像の解析からハードウェア／ソフトウェアへの入力が行われるまでの処理の流れを示すフローチャートである。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。 本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。

（実施例）
以下、本発明の車載システムの実施形態を、図面を参照しながら説明する。なお、以下に示す実施例は本発明の車載システムにおける好適な具体例であり、一般的な自動車の構造および構成に即した種々の限定を付している場合もあるが、本発明の技術範囲は、特に本発明を限定する記載がない限り、これらの態様に限定されるものではない。また、以下に示す実施形態における構成要素は、適宜、既存の構成要素等との置き換えが可能であり、かつ、他の既存の構成要素との組み合わせを含む様々なバリエーションが可能である。したがって、以下に示す実施形態の記載をもって、特許請求の範囲に記載された発明の内容を限定するものではない。

（ハードウェア構成）
図１は、本発明に係る車載システムのハードウェア構成の一例を示す図である。本実施例における車載システム１は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３．入力Ｉ／Ｆ１０４、出力Ｉ／Ｆ１０５、外部メモリＩ／Ｆ１０６、通信Ｉ／Ｆ１０７、およびハードウェアＩ／Ｆ１０８を備える。また、車載システム１は、タッチパネル１１１、センサー１１２、カメラ１１３、ディスプレイ１１４、外部メモリ１１５、ＮＩＣ１１６、ＮＦＣ１１７を備え、車内ＬＡＮを介して車載ハードウェア１２１と接続する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。ＮＩＣは、Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄの略称である。

ＣＰＵ１０１は、記憶部であるＲＯＭ１０３に記憶されているプログラムに従って、システムバスに接続される各デバイスを総括的に制御する。ＲＡＭ１０２は、ＣＰＵ１０１の主メモリ、ワークエリア等として機能すると共に、入力情報展開領域、環境データ格納領域としても用いられる。ＲＯＭ１０３は、各種プログラムおよびデータを格納している。

入力Ｉ／Ｆ１０４は、タッチパネル１１１、センサー１１２、カメラ１１３からの入力を制御する。タッチパネル１１１は、ユーザ操作における入力装置である。その他の入力装置として、キーボードやリモコン、ボタンデバイス等を備えていてもよい。また、後述するように、カメラ１１３は車内に設置される複数のカメラであり、その一部は、車窓越しに車外の風景を撮影可能な位置に設置されて、車窓および車外風景を撮影して画像データを取得する。本実施例において、これらのカメラは車両が有する全ての窓を撮影するのに必要な数だけ設置されるが、他の構成では、一部の車窓のみを撮影するのに必要な数だけ設置されてもよい。また、カメラ１１３の他の一部は、搭乗者を撮影可能な位置に設置され、搭乗者の視線方向の検出のために搭乗者の顔を撮影する。センサー１１２は、搭乗者の所定の動作（ジェスチャー）を認識するためのジェスチャー用センサー、位置データ取得のためのＧＰＳ受信機、方位データ取得のための地磁気センサーおよびジャイロスコープ、距離データ取得のための距離センサーを含む。ＧＰＳは、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍの略称である。

出力Ｉ／Ｆ１０５は、ディスプレイ１１４への画面表示を制御する。構成によっては、スピーカへの音声出力を制御するようにしてもよい。外部メモリＩ／Ｆ１０６は、例えばフラッシュメモリ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ）等の外部メモリ１１５とのアクセスを制御する。外部メモリ１１５は、保存または読み取り可能な記憶媒体として機能し、オペレーティングシステム（ＯＳ）、Ｗｅｂブラウザ、およびアプリケーションが記憶されている。アプリケーション、および各モジュール（ソフトウェア）のプログラムは外部メモリ１１５に記憶され、必要に応じてＲＡＭ１０２に読み出されてＣＰＵ１０１により実行される。これにより、アプリケーションまたは各モジュール（ソフトウェア）の機能を実現する。

通信Ｉ／Ｆ１０７は、ＮＩＣ１１６やＮＦＣ１１７の通信を制御している。ＮＩＣ１１６はネットワークとの接続Ｉ／Ｆである。ＮＩＣ１１６は、車載システム１のネットワークへの接続を可能とする。なお、他の構成例においては、携帯網などへの通信を制御して無線基地局とのネットワークに接続可能であってもよい。ＮＦＣ１１７は、非接触型の近距離通信ユニットとして機能する接続Ｉ／Ｆである。例えばＮＦＣ１１７は、スマートフォンとの接続を可能とし、ワイヤレス通信によるデータの送受信を制御する。ハードウェアＩ／Ｆ１０８は、車内ＬＡＮを介して車載ハードウェア１２１あるいはＥＣＵなどの車載ハードウェア制御ユニットと接続する。本実施例で説明する処理は、外部メモリ１１５に記録されたプログラムをＲＡＭ１０２にロードし、ＣＰＵ１０１が実行することによって実現される。なお、プログラムは、外部メモリ１１５以外にもＲＡＭ１０２やＲＯＭ１０３において記憶されてもよい。

（ソフトウェア構成）
図２は、本実施形態に係る車載システムが行う処理を表す機能ブロック図である。図２に示す各構成部は、図１に示した車載システム１のＣＰＵ１０１がＲＯＭ１０３または外部メモリ１１５に記憶されているプログラムをＲＡＭ１０２にロードし、ロードされたプログラムをＣＰＵ１０１が実行することで実現される。

車外撮像部２０１は、カメラ１１３を起動して、車窓越しに車外の風景を撮影し、撮影時刻とともに一時的に記憶する。ジェスチャー認識部２０２は、センサー１１２により搭乗者の所定の動作（ジェスチャー）を認識する。本実施例において、搭乗者の所定の動作とは、車窓付近の空中で、風景中の関心対象を囲むように円状または楕円状の図形を描くジェスチャーである。他の実施例において、四角図形や他の比較的簡単な多角形を描くジェスチャーを所定の動作とするように構成してもよい。ジェスチャー認識は、こうした搭乗者による簡易なジェスチャーを認識可能であればよく、任意の公知の手法を用いることが可能である。本実施例においては、カメラで撮影した搭乗者の手指の形状とそれらの動きに基づきジェスチャー認識を行うが、他の実施例において、例えば車窓の内表面に透明なタッチセンサを構成し、搭乗者が車窓に触れながら描いた図形を認識するようにしてもよい。

画像取得部２０５は、ジェスチャーが行われた位置を車窓上の座標データとして算出する。座標データの算出は、車外風景を撮影した映像に映りこんだ搭乗者の手の映像に基づき算出されてもよいし、別のカメラで撮影した搭乗者の手の映像に基づき算出されてもよい。あるいは、複数のカメラにより捉えられた搭乗者の手の映像に基づき算出されてもよい。本実施例においては、搭乗者の人差し指の先端部が描く軌跡を車窓上に投影して得られる一連の座標データを取得する。

搭乗者撮像部２０３は、カメラ１１３を起動して、搭乗者の顔を撮影し、撮影時刻とともに一時的に記憶する。視線方向検出部２０４は、搭乗者撮像部２０３が撮影した顔画像から眼球領域を特定し、任意の公知の手法を用いて、ジェスチャー開始時刻における搭乗者の視線方向を検出する。画像取得部２０５は、ジェスチャー位置座標の取得の際、カメラ１１３の設置位置および車窓までの距離、搭乗者の顔の位置および車窓までの距離、並びに特定された視線方向に関するデータを用いて、カメラ１１３と搭乗者の間の視差を推定し、取得した一連の座標に対する補正を行う。当該補正には任意の適切な方法を用いることが可能であるが、例えば、搭乗者が描く図形の大きさから関心対象までの大まかな距離を推定し、推定された距離に基づいて視差量を求め、視差量に基づき取得した一連の座標を特定方向にオフセットさせてもよい。なお、別の実施例において、搭乗者撮像部および視線方向検出部を省略することも可能であり、その場合、視差に基づく取得座標の補正は行われない。

さらに、画像取得部２０５は、車外風景を撮影した映像から、算出された補正後の座標に対応する領域の画像を切り出して取得する。ジェスチャーが行われた位置の座標に対応する画像を直接切り出すのではなく、上記補正後の座標に対応する画像を切り出すことにより、関心対象、すなわち搭乗者が切り取ることを意図した風景中の事物が切り出された画像中に含まれる可能性が上昇する。本実施例において、画像取得部２０５は、車外風景を撮影した映像から、搭乗者のジェスチャーが開始された時刻に対応するフレームの画像を抽出し、この画像から、算出された一連の座標データによって描かれる閉領域内の画像を切り出して取得する。なお、別の実施例においては、ジェスチャー位置を車窓上の一点の座標として取得し、この座標を中心とした一定範囲の画像を切り出すようにしてもよい。

画像表示部２０６は、切り出された画像をディスプレイ１１４に表示する。画像操作部２０７は、搭乗者による入力操作を受け付けて、表示されている画像をディスプレイ上の任意の位置に移動させ、また、搭乗者による特定の操作を受け付けて、後述する画像解析部２０８による画像の解析を開始させる。この特定の操作としては、例えば、タッチパネル１１１上に表示されている画像の特定位置へのドラッグ＆ドロップや、特定方向へのフリックであってよい。本実施例においては、ディスプレイ１１４およびタッチパネル１１１は、車窓内表面に設置された透過型のタッチパネルである。搭乗者は、例えば、車両前方の風景画像を切り出して、車両側面の車窓上のタッチパネルに表示させておくことが可能である。本実施例においては、搭乗者が切り出された画像にタッチし、下方向にフリック操作することで、画像の解析を開始する。なお、別の実施例において、例えばディスプレイ１１４上に、車載システム１と連携するハードウェアまたはソフトウェアを表すアイコンを表示するようにして、搭乗者が、例えばドラッグ＆ドロップ操作により、切り出された画像をいずれかのアイコン上に投げ込む操作を行うことで、後述する出力内容を実行するハードウェアまたはソフトウェアを搭乗者が指定できるようにしてもよい。また、別の実施形態では、搭乗者による操作を介さずに、切り出された画像の解析を自動的に開始するようにしてもよい。

画像解析部２０８は、任意の公知の画像解析技術を用いて、切り出された画像中の物体を認識する。用いられる解析手法は、公知の物体認識技術、シーン解析技術などであってよく、画像データベース２０９またはインターネットにアクセスして行う類似画像検索技術であってもよい。また、車両の現在位置および方位に関する情報を呼び出して、画像中の物体の位置の推定することにより、物体の特定に利用することも可能である。また、画像解析部２０８は文字情報認識部を含み、画像中の文字情報を解析して読み取る。

目的推測部２１０は、画像中に含まれる物体または文字に基づき、搭乗者の目的を推測する。目的の推測は任意の公知の予測モデルを用いて行われ、その際、環境情報管理部２１１によって環境情報データベース２１２に収集・蓄積された種々の環境情報が手掛かりとして用いられる。本実施例において、蓄積される環境情報としては、車両内部の情報（例えば、ガソリン残量、室温、時刻など）、車両外部の情報（例えば、天気、気温、現在位置、路面状況など）、搭乗者のプロフィール情報（性別、年齢、趣味、好物など）、行動履歴（訪問頻度が高い場所、生活サイクル、直近の行動、直近の操作など）、行動履歴から推測される搭乗者の現在の感情、または車両システム１がアクセス可能な車載ハードウェア、車両システム１にインストールされたソフトウェアなどのシステム情報が想定されるが、これらに限定されることはない。これらの環境情報は、車載システム１に備えられたセンサー２１３や各種の入力装置、車載システム１と連携するモバイル機器、またはインターネットアクセスを介して収集される。

出力決定部２１４は、推測された目的に基づき、画像入力に対する出力の内容と、それを実行するハードウェアまたはソフトウェアを決定する。この決定は、例えば、目的として想定される種々のアクション（「経路検索」「情報検索」「運転制御」「メール送信」など）と、各ハードウェア・ソフトウェアとを予め適切に紐付けておくことにより実現され得る。入力部２１５は、決定された出力内容の実行に必要な入力情報を、出力実行するハードウェアまたはソフトウェアに入力する。

評価入力部２１６は、搭乗者の画像入力に対して実行された出力に対する搭乗者からの評価を受け付ける。搭乗者からの評価は、出力内容に対する搭乗者の満足度を示すことが可能な任意の形式で行われるものであってよい。例えば、タッチパネル上で満足度を示す数値を入力または選択させるようにしてもよいし、タッチパネル上に、出力内容が搭乗者の望むものではない場合に、それをシステムに伝えるための仮想ボタンやアイコンを表示してもよい。あるいは、不図示のマイクにより、搭乗者が音声で評価を入力するようにしてもよい。入力された評価は、環境情報管理部２１１によって環境情報データベース２１２に記憶され、以降の目的推測の際に参照され得る。

本実施形態において、車載システム１は、車載ハードウェアＩ／Ｆ１０８を介して車両の制御系ハードウェアと連携可能である。例えば、入力された画像が制限速度を示す標識を示していると判断されると、搭乗者の目的は制限速度を遵守することであるとの推測が行われ、当該制限速度を車両の最高速度とするようにエンジン制御を行うことが可能である。また、本実施形態において、車載システム１には、ナビゲーションソフトウェア、インターネットブラウザ、メールソフトなどのアプリケーションソフトウェアがインストールされており、これらのソフトウェアとの連携が可能である。例えば、入力された画像が特定のランドマークを示していると判断されると、搭乗者の目的は当該ランドマークを目的地とした経路情報であるとの推測が行われ、ナビゲーションソフトウェアを起動してこれらの情報を搭乗者に提供する。また、例えば、入力された画像が商品の広告看板を示していると判断されると、搭乗者の目的は当該商品の詳細情報であるとの推測が行われ、ブラウザを起動してこれらの情報を搭乗者に提供する。なお、目的として想定されるアクションとハードウェアまたはソフトウェアとの紐付けをより詳細に設定することにより、上述の例の他にも様々なハードウェア・ソフトウェアによる出力を実行することが可能である。また、同一の画像を入力した場合に必ず同一の出力内容となるとは限らず、例えば、入力画像がランドマークを示していると判断された場合であっても、既に他の目的地がナビゲーションソフトウェアに設定されている場合にはブラウザを起動して詳細情報を提供したり、当該ランドマークへの訪問が〈例えば搭乗者の勤務地として設定されている場合のように〉生活サイクルの一部に組み込まれている場合はスケジュール管理ソフトを起動してその日のスケジュールを表示するなど、そのときの状況や搭乗者によって様々な出力内容が実行され得る。

（本車載システムの処理のフローチャート）
図３および図４は、本実施例に係る車載システム１の処理の流れを示したフローチャートである。図３は、車載システム１の起動から画像の解析を開始するまでの流れを示す。車載システム１の起動後、ステップ３００において、車外撮像部２０１による車外風景の撮影が開始される。搭乗者が車外の風景中の特定の事物に関心を持ち、特定のジェスチャー、すなわち、車窓付近の空中で風景中の関心対象を囲むように円状または楕円状の図形を描くジェスチャーを行うと、ステップ３０２でジェスチャー認識部２０２が当該ジェスチャーが行われたことを認識し、ステップ３０４で画像取得部２０５が当該ジェスチャーが行われた位置を車窓上の座標として算出し取得する。本実施例では、画像取得部２０５は、搭乗者の人差し指の先端部が描く軌跡を車窓上に投影して得られる一連の座標データを取得する。

ステップ３０４に引き続き、またはステップ３０４と並行して、ステップ３０６で視線方向検出部２０４がジェスチャー開始時刻における搭乗者の視線方向を検出する。ステップ３０８では、ステップ３０４で画像取得部２０５が取得した一連の座標を、ステップ３０６で検出された搭乗者の視線方向に基づき補正する。続いて、ステップ３１０において、画像取得部２０５は、補正後の一連の座標に対応する領域の画像を、ステップ３００で撮影開始された車外風景の映像から切り出して取得する。具体的には、車外風景を撮影した映像からジェスチャー開始時刻に対応するフレームの画像を抽出し、この画像から、上記補正後の一連の座標によって画定される閉領域内部の画像を切り出して取得する。

続いて、ステップ３１２において、画像表示部２０６により、切り出された画像がディスプレイ１１４上に表示される。ステップ３１４において、表示された画像は、搭乗者による操作により、ディスプレイ１１４上を自由に移動可能である。ここで、搭乗者による特定の操作、すなわち本実施形態においては画像の下方向へのフリック操作が行われると、ステップ３１６で画像の解析が開始される。

図４は、本実施例に係る車載システム１における、画像の解析開始から入力情報の入力までの処理の流れを示す。図３のステップ３１６に引き続き、図４のステップ４０２において、画像解析部２０８により、ステップ３１０で取得された画像中の物体認識が行われる。さらに、当該画像中に文字情報が含まれる場合、ステップ４０４において、画像中の文字情報が解析され読み取られる。

切り取られた画像の物体認識が完了すると、ステップ４０６において、認識された物体または文字に基づき、搭乗者の目的が推測される。このステップでは、蓄積された種々の環境情報を参照することにより、搭乗者が上記画像を切り出して車載システム１に入力することでどのような情報・機能を要求しているのか、ということが推測される。続いて、ステップ４０８で推測された目的に基づき出力内容が決定され、ステップ４１０で当該出力内容を実行するハードウェア／ソフトウェアが決定される。なお、ステップ４０８とステップ４１０の実装にあたっては、両ステップを一体的に実行してもよい。その後、ステップ４１２において、入力部２１５が、決定されたハードウェアまたはソフトウェアに対して、出力の実行に必要な入力情報を入力する。

ステップ４１２の入力を受けて、ステップ４１４において、車載システム１と連携するハードウェアまたはソフトウェアは、入力情報を処理して適切な情報または機能を出力として搭乗者に提供する。その後、ステップ４１６において、搭乗者による出力に対する評価の入力が受け付けられる。ステップ４１８において、上記評価は、上記出力が搭乗者の要求に適合するものであったかどうかの指標として、入力および出力の情報とともに記憶される。

図５〜図７は、本発明に係る車載システムを搭載する自動車における風景画像切り取りの操作を説明する図である。図５は、運転中の車内から前方の車窓を通して見える風景を表している。カメラ５０１は、車外風景または搭乗者を撮影するためのカメラ１１３の設置例であり、この他にも、前方または側方の車外風景を撮影するための不図示のカメラが適切な位置に複数設置される。搭乗者には、前方の車窓を通してランドマーク５０２、イベント５０３、速度規制標識５０４、道路案内標識５０５、先行車両５０６が見えている。

図６において、搭乗者はランドマーク５０２に興味を持ち、搭乗者の手６０１により、車窓の近くの空中で、ランドマーク５０２を囲むような軌跡６０２を描く。なお、図６に示すとおり、搭乗者は必ずしも綺麗で正確な円または楕円を描く必要はなく、軌跡６０２のように閉領域を形成しない不完全な楕円形を描いた場合であっても、画像取得処理の段階で適切に補完された閉領域の画像を切り出すことが可能である。

図７は、軌跡６０２に基づき一定領域の画像が切り出されたあとの車内の状態を表す。この実施例において、車窓の内表面上に透過型のタッチパネルが設置されており、切り出された画像７０１がタッチパネル上に表示されている。搭乗者は画像７０１をタッチパネル上の任意の場所に動かして表示させておくことが可能である。また、例えば画像７０１を下方向にフリック操作することにより、本車載システムに画像の解析を開始させることが可能である。本車載システムは、解析により画像７０１に含まれる物体がランドマークＡであることを特定し、例えば、搭乗者の目的はランドマークＡまでの経路案内であると判断してナビゲーションソフトウェアに適切な入力を行う。ナビゲーションソフトウェアは、当該入力を受けて、ランドマークＡまでの経路案内を実行する。

図５〜７においては、ランドマーク５０２の画像を切り出して経路案内を提供する例を説明したが、本車載システムと連携するハードウェアまたはソフトウェア、ならびに目的推測の精度によっては、他にも様々な画像入力とそれに対する出力が可能である。想定される入力‐出力の例としては、例えばイベント５０３の画像を切り出して入力することで、メールソフトを起動して当該切り出した画像を添付したメールを送信することが可能である。また、速度規制標識５０４の画像を切り出して入力することで、車両の最高速度を設定することが可能である。また、道路案内標識５０５の画像を切り出して入力することで、ブラウザソフトウェアを起動して目的地の観光情報を提供することが可能である。また、先行車両５０６の画像を切り出して入力することで、先行車両５０６を追従するように自動運転の設定を行うことが可能である。

以上、本実施形態によれば、走行中の車内において、搭乗者の簡易で直感的なジェスチャーにより車外の風景内の任意の事物の画像データを取得し、車載システムまたは装置への入力とすることができるため、画像データを入力として用いる際に要求される搭乗者の操作は非常に簡単なものとなり、搭乗者は直感的な操作によって即座に必要な情報・機能を得ることができる。また、入力された画像の解析後、システムまたは装置に蓄積された種々の情報に基づき搭乗者の目的が推測され、当該目的に適した出力が自動で選択実行されるため、画像の入力後に搭乗者に更なる操作が求められることもない。こうした利点の結果、搭乗者は、直感的かつ簡単な操作により、車外風景中の関心のある事物の画像をハードウェアまたはソフトウェアに対する入力として用いることができ、推測された目的に応じた様々な結果を得ることができる。

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されるものではない。本発明の目的は、上述の実施例の機能を実現するプログラムコード（コンピュータプログラム）を格納した記憶媒体をシステムあるいは装置に供給し、供給されたシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施例の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、上述した実施形態では、コンピュータがプログラムを実行することにより、各処理部として機能するものとしたが、処理の一部または全部を専用の電子回路（ハードウェア）で構成するようにしても構わない。本発明は、説明された特定の実施例に限定されるものではなく、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。

２０１ 車外撮像部
２０２ ジェスチャー認識部
２０３ 搭乗者撮像部
２０４ 視線方向検出部
２０５ 画像取得部
２０６ 画像表示部
２０７ 画像操作部
２０８ 画像解析部
２０９ 画像データベース
２１０ 目的推測部
２１１ 環境情報管理部
２１２ 環境情報データベース
２１３ センサー
２１４ 出力決定部
２１５ 入力部
２１６ 評価入力部
５０１ カメラ
５０２ ランドマーク
５０３ イベント
５０４ 速度規制標識
５０５ 道路案内標識
５０６ 先行車両
６０１ 搭乗者の手
６０２ 軌跡
７０１ 画像

Claims (9)

1. 任意のハードウェアまたはソフトウェアと通信および連携が可能な車載システムであって、
   車窓越しの車外風景の映像を撮影する車外撮像手段と、
   搭乗者の所定の動作を入力として認識するジェスチャー認識手段と、
   前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得手段と、
   前記取得された画像を解析して画像中の物体を認識する画像解析手段と、
   前記システムに蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測手段と、
   前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定手段と、
   前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力手段と、
   を備えることを特徴とする車載システム。
2. 搭乗者を撮影する搭乗者撮像手段と、
   前記搭乗者撮像手段により得られる搭乗者の目の画像から搭乗者の視線方向を検出する視線方向検出手段と、を更に備え、
   前記画像取得手段は、前記検出された視線方向を参照して前記座標の補正を行う、請求項１に記載の車載システム。
3. 前記所定の動作が、風景中の関心対象を囲むように前記車窓の付近の空中に指で円状または楕円状の図形を描く動作であり、
   前記画像取得手段は、前記円状または楕円状の図形によって画定される閉領域に対応する画像を前記映像から取得する、請求項１に記載の車載システム。
4. 前記車窓が画像表示機能を有し、前記取得された画像を表示することが可能であり、
   前記表示された画像は搭乗者の操作により車窓上の任意の場所に動かして表示させることが可能であり、
   前記画像解析手段は、搭乗者による前記表示された画像に対する所定の操作に応じて画像の解析を開始する、請求項１に記載の車載システム。
5. 前記画像解析手段は、前記取得された画像に含まれる文字情報を認識する文字情報認識手段を備える、請求項１に記載の車載システム。
6. 前記環境情報が、車内環境データ、車外環境データ、搭乗者プロフィールデータ、行動履歴データ、前記行動履歴に基づき推測された搭乗者の現在の感情に関するデータ、または前記車載システムと連携するハードウェアおよびソフトウェアに関するデータを含む、請求項１に記載の車載システム。
7. 前記出力内容に対する搭乗者の評価を入力可能な評価入力手段を更に備え、
   前記入力された評価を前記環境情報の一部として利用する、請求項１に記載の車載システム。
8. 車窓越しの車外風景の映像を撮影する車外撮像工程と、
   搭乗者が前記車窓の付近で行う所定の動作を入力として認識するジェスチャー認識工程と、
   前記動作が行われた位置を前記車窓上の座標として算出し、前記映像から、前記座標に対応する領域の画像を切り出して取得する画像取得工程と、
   前記取得された画像を解析して画像中の物体を認識する画像解析工程と、
   前記装置に蓄積された環境情報を用いて、前記認識された物体から前記搭乗者の目的を推測する目的推測工程と、
   前記推測された目的に基づき、出力内容とそれを実行するハードウェアまたはソフトウェアを決定する出力決定工程と、
   前記出力内容の実行に必要な入力情報を前記ハードウェアまたはソフトウェアに入力する入力工程と、
   を含むことを特徴とする情報処理方法。
9. 請求項８に記載の方法をコンピュータにより実行させることを特徴とするコンピュータプログラム。

Images