JP2017223666A - 乗員の監視に基づく情報獲得システム - Google Patents

乗員の監視に基づく情報獲得システム Download PDF

Info

Publication number
JP2017223666A
JP2017223666A JP2017107382A JP2017107382A JP2017223666A JP 2017223666 A JP2017223666 A JP 2017223666A JP 2017107382 A JP2017107382 A JP 2017107382A JP 2017107382 A JP2017107382 A JP 2017107382A JP 2017223666 A JP2017223666 A JP 2017223666A
Authority
JP
Japan
Prior art keywords
occupant
poi
information
vehicle
potential
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017107382A
Other languages
English (en)
Inventor
エー.シュルツ ジェイソン
A Schulz Jason
エー.シュルツ ジェイソン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Sales USA Inc
Original Assignee
Toyota Motor Sales USA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Sales USA Inc filed Critical Toyota Motor Sales USA Inc
Publication of JP2017223666A publication Critical patent/JP2017223666A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • B60K35/10
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0132Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value
    • B60R21/01332Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value by frequency or waveform analysis
    • B60R21/01338Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to vehicle motion parameters, e.g. to vehicle longitudinal or transversal deceleration or speed value by frequency or waveform analysis using vector analysis
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512Passenger detection systems
    • B60R21/0153Passenger detection systems using field detection presence sensors
    • B60R21/01538Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3644Landmark guidance, e.g. using POIs or conspicuous other objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • B60K2360/146
    • B60K2360/148
    • B60K2360/334
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3664Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

【課題】乗り物の乗員に対して、乗員が関心を持つ車両周辺の地点(POI)に関する情報を提示するシステムを提供する。
【解決手段】乗り物100には、乗員205の声を認識する声認識装置220、前記乗員205のジェスチャを特定するジェスチャ認識装置225、前記乗員205の視線方向を検出するアイトラッカー250等、更に乗り物100の位置情報を取得する衛星測位システム(GPS)を備える。声認識装置220、ジェスチャ認識装置225、アイトラッカー250による乗員の関心方向と、GPSに基づく位置情報により、乗員が関心を持つPOI110を特定する。乗り物100の照会入力システム215は、特定されたPOI110に関する名前、住所、説明、営業時間、連絡先の詳細等の情報を乗員205に提示する。
【選択図】図2

Description

本明細書に記載される主題は、概して、情報を取得して乗り物(vehicle)の乗員に提供するためのシステムに関し、特に、関心地点(POI)についての情報を取得して乗り物の乗員に提供するためのシステムに関する。
現代の乗り物には、斯かる乗り物の乗員に情報を提供する多くのシステムが存在する。例えば、多くの乗り物は、車速、燃料レベル及び走行距離のような乗り物パラメータを監視するシステムを含む。長年に亘って、乗り物製造業者は、全地球測位衛星(GPS)モジュール及びビデオメディアプレーヤのような、関連する情報を乗員に提供する他のシステムを搭載してきた。これら進歩によって、乗員の運転経験が改善されてきた。特に、乗員は、特定の場所へのマップ及び運転方向を提供するためにGPSモジュールを頼りにすることができる。GPSモジュールは、レストラン、ガソリンスタンド及び病院の名前及び場所のような所定のPOIについての情報の予めプログラムされた断片(tidbits)も提供してもよい。有用であるが、これらシステムのためのユーザインタフェースの多くは扱いにくく、乗り物の乗員は、乗員の興味を引く場所についての情報を得ることが困難であると感じることがある。この欠点は、乗り物が運転されている間に乗員がその場所についての情報を取得したい場合により顕著である。
上述したように、製造業者は、乗り物の乗員に様々なタイプの情報を提供すべく、乗り物にGPSモジュールのようなシステムを実装してきた。これらシステムは、有用であるが、関心地点(POI)、特に、GPSモジュール内に予めプログラムされていないPOIについて不十分な情報を提供し、使いづらい。本明細書に提示されるように、情報獲得システムは、自動化されたプロセスを通して乗り物の乗員が特定のPOIについての情報を知ることを補助することができる。
この特徴を支持するために、システムは、乗り物の乗員から入力を受信するように構成された照会入力システムを含むことができ、入力はPOIについての照会に関する。システムは、POIに対する潜在的な(potential)乗員ベクトルを決定するように構成された乗員監視システムも含むことができ、さらに位置決定システムを含むことができる。位置決定システムは、潜在的な乗員ベクトルに基づいてPOIに直接関連付けられる位置情報を取得するように構成される。加えて、システムは処理装置を含むことができ、処理装置は、POIについての照会に関する入力を照会入力システムから受信し、潜在的な乗員ベクトルに基づいてPOIに直接関連付けられた位置情報を位置決定システムから受信するように構成される。また、処理装置は、POIについての照会に関する入力の受信と、POIに直接関連付けられた位置情報の受信とに応答してPOIを特定し、照会に応じたPOIに関連付けられた情報を取得するように構成される。
乗り物のための別の情報獲得システムが、本明細書において提示され、乗り物の外部に位置するPOIについて乗員から照会を受信するように構成された入力照会装置を含むことができる。また、システムは、一つ以上の追跡装置と、位置決定装置と、表示装置とを含む。追跡装置は、POIに対する潜在的な乗員ベクトルを決定するために乗り物の乗員の少なくとも一つの測定可能な方向特性を監視するように構成される。加えて、位置決定装置はPOIの位置情報を取得するように構成され、表示装置は、照会に応じたPOIについての情報を表示するように構成される。照会に応じた情報は、POIに対して決定された潜在的な乗員ベクトルとPOIの位置情報とから生じる。
乗り物の外部にあるPOIについての情報を取得するための方法も本明細書に記載される。この方法は、POIについての乗り物の乗員からの照会を検出するステップと、照会に応答して乗員の一つ以上の方向特性を決定するステップとを含むことができる。方向特性に基づいて、潜在的な乗員ベクトルがPOIに対して決定される。潜在的な乗員ベクトルに基づいて、POIの位置情報が取得され、POIの位置情報に基づいてPOIが特定される。この方法は、照会に応じたPOIについての情報を乗員に提供するステップも含むことができる。
図1は、運転操作中の乗り物の例である。 図2は、図1の乗り物の一部である客室の例である。 図3は、情報獲得システムのいくつかの構成要素を示すブロック図の例である。 図4は、関心地点(POI)についての情報を取得するための方法の例である。 図5は、いくつかのPOI及び潜在的な乗員ベクトルを示す環境の例である。 図6は、POIを特定するのに使用されるいくつかのシステムのブロック図の例である。
乗り物には、車速及び燃料レベルのような乗り物についての情報を乗り物の乗員に提供するいくつかのシステムが存在する。長年に亘って、GPSモジュール及びエンターテインメントシステムのようなよりインタラクティブなシステムがより多くの量の情報を提供すべく乗り物に組み込まれてきた。特に、GPSモジュールは、所定の予めプログラムされた関心地点(POI)についての重要度が低い情報を提供する。幾分有用ではあるが、これら装置は、特に乗り物が運転されている間に乗員がPOIについての情報を得たい場合、操作が困難である。
この問題に対処するための情報獲得システムが本明細書において提示される。例として、情報獲得システムは照会入力システムを含み、照会入力システムは乗り物の乗員からの入力を受信するように構成され、入力はPOIについての照会に関する。システムは、POIに対する潜在的な乗員ベクトルを決定するように構成された乗員監視システムも含むことができ、さらに位置決定システムを含むことができる。位置決定システムは、潜在的な乗員ベクトルに基づいてPOIに直接関連付けられる位置情報を取得するように構成される。
加えて、システムは処理装置を含み、処理装置は、POIについての照会に関する入力を照会入力システムから受信し、潜在的な乗員ベクトルに基づいてPOIに直接関連付けられた位置情報を位置決定システムから受信するように構成される。処理装置は、POIについての照会に関する入力とPOIに直接関連付けられる位置情報との受信に応答してPOIを特定し、照会に応じたPOIに関連付けられた情報を取得するように構成されてもよい。
したがって、乗り物の乗員は、乗り物の外部にあるPOIについての情報を自動で要求して受信することができる。乗り物のシステムは、POIを自動的に特定し、乗員の代わりにPOIについての関連する情報を取り込むことができ、このことによって散漫運転の危険性を低減することができる。POIに関する任意のマテリアルを含むことができるこの情報は、乗員が知覚可能な任意の数の形態で、例えば視覚的にヘッドアップディスプレイを通して、乗員に提示される。
本明細書において詳細な実施形態が開示されるが、開示された実施形態は例示としてのみ意図されていることが理解されたい。このため、本明細書に開示された特定の構造的な詳細及び機能的な詳細は、限定として解釈されるべきではなく、単に特許請求の範囲の根拠として、事実上任意の適切な詳細構造で本明細書における態様を様々に用いることができることを当業者に教示するための代表的な根拠として解釈されるべきである。さらに、本明細書において用いられる用語及び語句は、限定することを意図するものでなく、むしろ可能な実施例の理解可能な説明を提供することを意図している。様々な実施形態が図1〜図6に示されるが、これら実施形態は、示される構造又は用途に限定されない。
図面の簡潔さ及び明瞭さのために、必要に応じて、対応する要素又は類似の要素を指し示すために種々の図面間で参照番号が繰り返されていることが理解されるだろう。加えて、本明細書に記載された実施形態の完全な理解を提供するために、多数の特定の詳細が説明される。しかしながら、当業者は、本明細書に記載された実施形態がこれら特定の詳細なしに実施されうることを理解するだろう。
以下、本明細書において適用可能ないくつかの定義が提示される。用語「乗り物」は、人間、動物、機械、貨物又は他の物体に輸送を提供する輸送機関として定義される。「センサ」は、光、温度、動作、速度、放射線、圧力等のような一つ以上の刺激に敏感であり且つ刺激に比例し又は刺激に関するいくつかの信号を提供する構成要素又は構成要素群として定義される。「トラッカー」又は「追跡装置」は、生理学的現象又は生理学的現象によって引き起こされる任意の環境変化のような一つ以上の乗員又は個人に関連付けられた一つ以上の現象の変動を監視して検出するように構成される構成要素又は構成要素群として定義される。「処理装置」は、命令を実行するように構成され又は実行のための命令がプログラムされた(又は命令を実行するように構成され且つ実行のための命令がプログラムされた)ハードウェアコンポーネント又はハードウェアコンポーネント群として定義され、例えばシングルプロセッサ、マルチコアプロセッサ及びコプロセッサを含む。用語「通信スタック」は、有線接続、無線接続又は両方を通した通信信号の交換を支援し、さもなければ容易にするように構成される一つ以上の構成要素として定義される。「ドッキングインタフェース」は、無線接続、有線接続又は両方を通して携帯可能なコンピュータデバイスに通信可能に結合するように構成される物理インタフェースとして定義される。「データベース」は、(操作に必要な場合には支援ソフトフェア又はファイルシステムと共に)アクセスのために整理されたデータの集合を記憶するように構成されるハードウェアメモリ構造として定義される。
「乗員」は、乗り物によって輸送され又は輸送可能な人、動物又は機械として定義される。用語「関心地点」(POI)は、感覚又はセンサとの相互作用を通して乗員によって知覚可能であり且つその乗員又は別の乗員による興味の対象であり又は最終的にその乗員又は別の乗員による興味の対象となりうる人工構造物又は天然物として定義される。語句「POIを特定する」は、乗員にとって関心のあるPOIを確実に又は潜在的に特定することとして定義される。
用語「位置情報」は、物体の物理的位置を特定する情報として定義される。位置情報は物体の高度を含んでも含まなくてもよく、位置情報の例は所在地住所又は地理座標系の一つ以上の値を含む。用途「ベクトル」は、少なくとも乗員の焦点の方向を含み、場合によっては乗員に関連付けられた大きさを含む、乗員に関連付けられた量として定義される。乗員に関連付けられた大きさの例は、乗員(又は乗員が乗っている乗り物)がPOIに対して動いている割合、又は乗員(又は乗員が乗っている乗り物)の上昇度である。用語「潜在的な乗員ベクトル」は、乗員に関連付けられた一つ以上の可能なベクトルとして定義される。「測定可能な特性」又は「測定可能な方向特性」は、対象についての焦点、関心又は注意の方向を決定し又は決定するのを助けるための、その対象に関連付けられた測定可能な因子である。追加の定義が本明細書の残りを通して提示される。
図1を参照して、運転操作中の乗り物100の例が示される。この例では乗り物100は自動車であるが、乗り物100は、オートバイ、全地形対応車(ATV)、スノーモービル、船、航空機、自転車、馬車、機関車又は他の鉄道車両、ゴーカート、ゴルフカート、又はいくつかの他の機械化された輸送形態若しくは生物学的な輸送形態であってもよい。いくつかの場合、乗り物100は、自律型の乗り物であり、又は一つ以上のコンピュータシステムが人間の運転手からの最小の入力で又は入力なしで移動ルートに沿って乗り物100を誘導し且つ/又は操作するのに使用される乗り物であってもよい。乗り物100が自律運転可能である場合、乗り物100は、手動モード、又は人間の運転手が移動ルートに沿って乗り物の誘導及び/又は操作のほとんどを制御するモードに切り替わるように構成されてもよい。
この場合、乗り物100は道路又は幹線道路のような表面105に沿って移動するが、表面105は、乗り物への通路を支持し且つ提供することができる任意の表面又は材料であってもよい。非限定的な例には、道路、駐車場、幹線道路、州間道路、滑走路、オフロードエリア、水路又は鉄道が含まれる。乗り物100の外部にある表面105に沿った又は表面105から少し離れた任意の数の関心地点(POI)110が存在し、関心地点(POI)110は、乗り物100の一人以上の乗員(ここでは図示せず)にとって関心のある任意の構造体(人工物又は天然物)である。
多くの場合、POIは、特にマップ(紙又はデジタル)又は他の参照材料に対して予め定められた位置を有する固定物であるが、本明細書の目的のために、必ずしも静止物に限定されない。すなわち、POIは、その位置がGPSベースのデジタルマップのような任意の数の適切な測位サービスによって決定又は更新可能である限り、移動可能な物体であってもよい。POIの複数の例が存在し、そのいつくかは以下のようにリストアップされる。建物;橋;道路;発電所;アンテナ及び他のネットワーク機器;道(trail);公園;乗り物若しくは他の機械化された物体;歴史的モニュメント、場所若しくはマーカー;山(又はその範囲);水域;近隣、村若しくは都市全体;空港;又は港湾。このリストは網羅的ではなく、多くの他の物体がPOIであってもよい。
乗り物100の乗客又は運転手である乗り物100の乗員が特定のPOIについての追加情報を知りたいことがある。以下に説明するように、乗員は自動化プロセスを開始することができ、自動化プロセスは、POIを特定し、POIについての関連情報を読み出し、有用な態様で乗員に情報を提示する。このプロセス及びこのプロセスを促進するためのいくつかの例示的な構造的な構成要素についての更なる詳細が以下に提示される。
図2を参照すると、図1の乗り物100の一部である客室200の例が示される。この例では、乗員205は客室200内に示され、乗員205は乗り物100を運転しているが、本明細書の目的のために乗員205は乗客であってもよい。ここで提示された視界は、乗員205の視界と同様であり、乗り物100のフロントガラス210の方に向けられている。図面に見られるように、乗員205が見ることができるいくつかのPOI110が存在する。
一つの構成では、客室200は照会入力システム215(又はシステム215)を含み、照会入力システム215は、POI110について多くを知ることに向けられた入力のような乗員205からの様々な形態の入力を検出して処理するための電気回路及びソフトウェアの任意の適切な組合せを含むことができる。例として、システム215は声認識装置220を含むことができ、声認識装置220は、コマンドを表す、乗員205によって生成された声又は他の音声を検出するように構成される。多くの場合、コマンドは、特定のPOI110についての情報を得ることに向けられた照会であるが、声認識装置220は多数の他のコマンドを処理するように構成されてもよい。
別の例として、システム215はジェスチャ認識装置225を含み、ジェスチャ認識装置225は、乗員205(又は何人かの他の乗員)からのジェスチャを特定して処理するための電気回路及びソフトウェアの任意の適切な組合せを含むことができる。例えば、ジェスチャ認識装置225は、POI110についてのより多くの情報のための探索を開始するのに使用される、乗員205によって示された手又は顔のジェスチャを検出して特定することができる。一つの実施形態では、ジェスチャ認識装置225は、客室200のいくつかの部分に固定され、乗員205は任意の関連するジェスチャを装置225に向ける。別の例として、ジェスチャ認識装置225の少なくとも一部が携帯可能であり、このことは、乗員205が、POI110についての探索を開始するために、予め定められた態様で、例えば装置225を前後に動かすことによって装置225を操作できることを意味する。この例では、ジェスチャ認識装置225は、無線で又は有線接続を通して客室200のインタフェース(ここでは図示せず)に通信可能に結合される。
客室200は位置決定システム230(又はシステム230)も含み、位置決定システム230の一部は、一つ以上の表示装置240に示されるユーザインタフェース235を含む。一つの構成では、システム230は、乗り物100の位置情報と、POI110に直接関連付けられる位置情報とを取得する電気回路及びソフトウェアの任意の適切な組合せを含む。語句「POIに直接関連付けられる位置情報」は、POIの位置情報として定義され、POIについての照会が発せられた乗り物の位置情報とは別のものである。例として、システム230は、米国の全地球測位システム(GPS)のような衛星測位システムに基づく。位置情報は、GPS座標のような衛星測位システムから導き出される座標を含むことができる。
POI110の特定を補助するために、客室200には乗員監視システム245(又はシステム245)が備えられている。特に、システム245は、POI110に対する潜在的な乗員ベクトルを決定するために乗員205の一つ以上の測定可能な特性又は方向特性を監視するように構成される任意の数及びタイプの追跡装置又はトラッカーを含むことができる。これら特性を監視することによって、システム245は乗員205についての関心又は焦点の方向を決定することができる。追跡装置に加えて、システム245は、追跡装置によって集められたデータを受信して処理する支援ソフトフェア及び電気回路を含む。関心の方向が決定されると、関心の方向がPOI110の特定を補助するのに使用され、そのプロセスが以下により完全に記載される。
測定可能な特性の監視を可能とするために、システム245は、例えば、一つ以上のアイトラッカー250、一つ以上のボディトラッカー255及び一つ以上の音声トラッカー260を含むことができる。アイトラッカー250は乗員205の眼の動き又は視線(gaze)を追跡するように構成され、一方、ボディトラッカー255は、乗員205の頭部又は腕のような乗員205の一つ以上の身体部分の位置を監視するように設計される。さらに、音声トラッカー260は、乗員205によって直接(又は間接的に)生成される音声、例えば呼吸音を検出するように構成される。
一つ以上の圧力トラッカー265及び一つ以上の呼吸トラッカー270のような追加のトラッカーがシステム245の一部であってもよい。特に、圧力トラッカー265は、乗員205の動き又は位置変更(repositioning)に基づく所定の位置における圧力の変化を検出するように構成される。例として、圧力トラッカー265は、客室200のシート267に埋め込まれ、圧力トラッカー265の破線の輪郭によって表される。呼吸トラッカー270は、乗員205の顔が集中している方向を示す一つ以上のガスの濃度を検出するように構成される。便宜上、乗員監視システム245の一部である上記にリストアップされたトラッカーの各々は、本明細書において、まとめてトラッカー又は追跡装置と称される。本明細書を通じてこれら用語が使用される文脈は、明記される場合を除いて、ここに列挙されたトラッカーの各々に適用されるべきである。例えば、一節(passage)が客室200の所定の位置にトラッカーが配置されることを示す場合、この配置は、本明細書において列挙された全てのトラッカーに適用される。さらに、乗員監視システム245は、上記にリストアップされた全ての又は少数のトラッカーを含み、本明細書において明示的に列挙されていない他のトラッカーを有してもよい。これらトラッカーについての追加情報が以下に提示される。
一つの構成では、トラッカーは、乗員205がフロントガラス210に向いているとき、乗員205の顔に向かってトラッカー(又はトラッカーの少なくとも大部分)が向けられるように客室200内に配置される。例として、トラッカーの少なくともいくつかは、乗り物100の以下の構成要素、ダッシュボード、サンバイザー、客室200の天井若しくは支柱、バックミラー若しくはサイドミラー、ステアリングホイール又は一つ以上のシートの一つ以上に組み込まれてもよい。これら例は網羅的ではなく、斯かる位置が乗員のいくつかの特性を監視するために有用であれば、トラッカーを支持することができる乗り物の他の適切な位置が存在する。
乗り物の乗員に関連付けられた一つ以上の測定可能な特性を監視するように構成された追跡装置のいくつかの例が上記に提示された。測定可能な特性の例が以下のようにリストアップされる。眼の位置及び眼の動き;頭の位置及び頭の動き;声の方向及び声の大きさのような音声伝播の方向及び大きさ;乗員による呼吸によって生み出される変動のような空気圧の差;シート圧力(その変動を含む);及び乗員によって吐き出される二酸化炭素のような一つ以上のガスの濃度。特性のこのリストは網羅的ではなく、本明細書において、乗員に関連付けられた他の測定可能な特性が使用されてもよい。
前述したように、客室200は一つ以上の表示装置240を含む。表示装置240は、客室200内に配置され、表示される任意の情報を乗員205が見るのを可能とする。一つの実施形態では、表示装置240は、インダッシュディスプレイ(in-dash display)若しくはヘッドアップディスプレイ(HUD)であり、又は両方のタイプを含むことができる。当該技術分野において知られているように、HUDは、乗員205が画像を見るのにフロントガラス210から目を離す必要がないような態様で画像280を投影することができる。別の構成では、客室200は、一つ以上のスピーカー285と、携帯可能なコンピュータデバイス295にドッキングするように構成された一つ以上のドッキングインタフェース290とを含む。
POI110についての情報が得られると、この情報は任意の適切な態様で乗員205に提示される。例えば、情報は、表示装置240に表示され、HUDの場合には画像280を通して表示される。別の例として、POI110についての情報は、スピーカー285を通して放送される音声形態であってもよい。更に別の例では、POI110についての情報は携帯可能なコンピュータデバイス295に配信される。特に、例えばスマートフォン又はタブレットである携帯可能なコンピュータデバイス295はドッキングインタフェース290にドッキングされる。この結合は有線接続を通して行われ又は無線で実現される。いずれの場合にも、POI110について得られた情報はドッキングインタフェース290を通して携帯可能なコンピュータデバイス295に送信される。携帯可能なコンピュータデバイス295がそれにインストールされた一つ以上のアプリケーションを有するので、コンピュータデバイス295に送信された情報はこれらアプリケ-ションによって使用される。この特徴の例が以下に提示される。
別の実施形態では、乗員監視システム245は、乗り物100の外部にある画像を捕捉するように構成された一つ以上のカメラ297を含むことができる。カメラ297は、乗り物100の外側に配置され、例えば乗り物100のフレームの一部に取り付けられる。代替的に、カメラは客室200の内側に配置されてもよく、この場合、カメラは、乗り物100の外部環境の実質的に遮られていない視界を有する。この設定では、カメラ297は、フロントガラス210の窓のフレームに取り付けられ、乗り物100の外側に向かって向けられる。別の代替例として、乗り物100には、客室200の内側及び外側の両方に配設されたカメラ297が備えられていてもよい。
カメラ297の数及び位置に関わらず、カメラ297の少なくともいくつかは多くの方向に旋回することができてもよい。この場合、これらカメラ297はいくつかの外的な要因に従って旋回されてもよい。例えば、カメラ297は、特定のPOI110について乗員監視システム245によって実現される潜在的な乗員ベクトルに基づいて旋回される。すなわち、カメラ297は、乗員205が特定のPOI110に注意を向けるときに基本的に乗員205を追跡するように構成され、カメラ297は、このPOI110に対応する乗り物100の外部の画像を捕捉する。後で説明されるように、この特徴は、POI110の特定を助けるための追加の解決策として役立つ。
一人のみの乗員(乗員205)が図2における客室200に示され、本明細書における説明の多くがこの個人の乗員205に焦点を当てているが、本明細書に提示される実施形態はこれに限定されない。具体的には、任意の数の乗員が乗り物100によって輸送され、乗員のいずれか一人が、本明細書に提示されたシステムを利用してPOI110についての情報を得てもよい。これら乗員を収容するために、上述されたシステム及び装置は、乗員が照会を開始することを可能とし、乗員の関連する特性が監視されてPOI110に関する情報と共に提示されることを可能とするように客室200の様々な位置に配置される。例えば、多数の追跡装置が、客室200の後部シート領域(図示せず)に設置されてもよく、例えば客室200の前部シートの背部に埋め込まれる。別の例として、一つ以上の表示装置240又はドッキングインタフェース290は、後部シート領域に位置付けられ、この区域に座った乗員が、本明細書において記載されたシステム及びプロセスによって提供される利点を実現することを可能とする。
別の構成では、乗員の組合せはPOI110についての情報を取得するために協力して働く。例えば、POI110に関する情報についての照会が客室200の第一の乗員によって開始されるが、POI110の特定は第二の乗員の測定可能な特性に基づいてもよい。加えて、特定されたPOI110についての情報の提示は乗り物100内の任意の数の乗員に提供されてもよい。この特徴に従った他の適切な組合せがPOI110についての情報を得るために適用可能である。
図3を参照して、情報獲得システム300のブロック図の例が示される。情報獲得システム300(又はシステム300)は、図1及び図2を参照して説明された構成要素の少なくともいくつかを代表し且つ構成要素の少なくともいくつかを含むが、システム300は必ずしもこれら構成要素に限定されない。図3に関連付けられた説明は、図1及び図2の議論において提示された構成要素及びプロセスのいくつかを詳述するが、ここの追加の説明は、限定することを意味していない。
一つの構成では、情報獲得システム300は、アプリケーション層305、オペレーティングシステム(OS)310、一つ以上のライブラリ315、カーネル320、ハードウェア層325及びデータベース層330を含むことができる。アプリケーション層305は任意の数のアプリケーション335を含み、アプリケーション335は、乗員がシステム300と対話してシステム300によって提供される任意の数のタスク又は特徴を実行することを可能とするインタフェースとして機能する。例えば、乗員は、乗員がPOI110についての照会を開始し、客室200の温度設定を調整し、又はGPSベースのシステムに関連付けられたデジタルマップにアクセスすることを可能とすべく、アプリケーション335を起動する。オプションとして、アプリケーション335は表示装置240に表示され又はHUDからの画像280であり、乗員は、表示装置240又は画像280を通してアプリケーションを選択することによってアプリケーションを起動してもよい。
OS310は、情報獲得システム300並びに乗り物100の様々な他のシステムのデータ交換及びプロセス間通信の全体的なマネジメント及び円滑化(facilitation)に関与する。システムライブラリであってもなくてもよいライブラリ315は、アプリケーション335及びシステム300の他の構成要素及びプロセスに関する追加の機能を提供する。カーネル320はハードウェア層325のための抽象化層として機能することができるが、いくつかの場合、カーネルはシステム300に必須ではない。他の抽象化層も、システム300の下位レベルとアプリケーション335との相互作用を支援して促進するシステム300の一部であってもよいが、これらはここでは図示されない。
ハードウェア層325は、本明細書に記載されたプロセスを促進する様々な構成要素を含む。例えば、ハードウェア層325は、照会入力システム215、位置決定システム230、乗員監視システム245、中央処理装置340、一つ以上の通信スタック345、表示装置240、スピーカー285、ドッキングインタフェース290及び一つ以上のメモリユニット350を含む。
上記に説明されたように、照会入力システム215は、POI110についての情報を得るためのプロセスを開始するために乗員又は別の装置からの合図(cue)を受信して特定するように構成される。この例では、照会入力システム215は声認識装置220及びジェスチャ認識装置225を含むことができるが、他の装置がシステム215の一部であってもよい。代替例として、システム215は必ずしも声認識装置220及びジェスチャ認識装置225の両方を含む必要はない。いずれにしても、声認識装置220は、照会プロセスを作動させる(trigger)ように設計された音声信号を検出するように構成される。例として、音声信号は、声信号又は乗員によって生成される他のノイズであり、別の例として、乗員の制御下の音のような機械によって生成される音であってもよい。機械によって生成される音声信号の場合、音声信号は人間の聴覚の周波数範囲外であってもよい。参照音声信号はデジタル化されてデータベース355に記憶され、声認識装置220によって捕捉された音声信号は、デジタル化され、照会を特定するためにこれら参照信号に対してマッピングされる。
ジェスチャ認識装置225は、乗員によって行われたジェスチャを検出して特定するように構成される。ジェスチャは、人間の可視的な身体行為及び/又は身体の動きがメッセージを伝えるのに使用される非言語コミュニケーションの形態であってもよいが、非言語コミュニケーションを補うために言語コミュニケーションが使用されてもよい。例として、ジェスチャは、手、指、腕、顔、眼、口、又は乗員の身体の他の部分の動きを含む。オプションとして、ジェスチャ認識装置225は、機械によって生み出されるジェスチャも検出して特定するように設計されてもよい。例えば、ジェスチャ認識装置225は、照会のためのトリガとして機能する所定の光パターン又は周波数を検出して特定するように構成されてもよい。一つの実施形態では、ジェスチャ認識装置225は、ジェスチャを検出するための一つ以上のカメラを含む。カメラはジェスチャ認識装置225の内部にあり、又はジェスチャ認識装置225は、その外部にあるカメラ、例えばカメラ297(図2参照)のいくつか、特に客室200の内側に配置されたカメラ297のいずれかを使用する。ジェスチャとして作用することができるトリガに関わらず、一組のデジタル参照信号がデータベース355の一つの一部であってもよく、ジェスチャ認識装置225は、受信されたジェスチャをこの参照ジェスチャの組に対してマッピングしてもよい。
乗員が照会入力システム215で行為を開始するいくつかの方法がある。例えば、乗員は、POI110についての照会を開始するために、予め定められた声コマンド(voice command)を単に告げ又は予め定められたジェスチャを行う。別の例として、乗員は、システム215を通して照会を開始するために、表示装置240に表示され又はHUDの画像280を通して表示されるアプリケーション335を選択してもよい。乗員がシステム215に入力を提供する更に他の方法が存在する。例えば、システム215は、乗員が入力を提供することを可能とするために、キーパッド、ボタン、ジョイスティック、マウス、トラックボール、マイクロホン及び/又はこれらの組合せを含むことができる。
前述したように、位置決定システム230は、位置情報、特にPOI110の位置情報を得るように設計される。一つの構成では、位置決定システム230(システム230)はGPSユニット360及び方向付けシステム(orientation system)365を含むことができるが、システム230は、必ずしもGPSユニット360及び方向付けシステム365の両方を含む必要はなく、位置情報を決定するための他の装置を含むことができる。
GPSユニット360は、乗り物100及びその他の関連する物体の位置を決定するために、衛星ベースの通信スタックである通信スタック345の一つから入力を受信する。GPSユニット360は、乗り物100及び/又はPOI110の位置に応じて、データベース355の一つからの任意の数のデジタルマップにアクセスしてもよい。方向付けシステム365は乗り物100の向きの数値(readings)を決定して提供するように構成される。このデータは、POI110に関して潜在的な乗員ベクトルを決定するのに有用である。具体的には、POI110の特定は、例えば乗り物100が丘陵地帯を走行中に上向き又は下向きに傾いたとき、乗り物100の位置によって影響されうる。例として、方向付けシステム365は、乗り物100の向きの変化を検出する加速度計、ジャイロスコープ及び/又は他の同様なセンサを含むことができる。
本明細書において使用されうる衛星測位システムの他の例は、ロシアのグロナスシステム、ヨーロッパのガリレオシステム、中国の北斗(Beidou)システム、衛星システムの組合せから衛星を使用する任意のシステム、又は計画されている中国のCOMPASSシステム及びインドの地域航法衛星システムを含む将来開発される任意の衛星システムを含む。加えて、位置決定システム230は、乗り物100又はPOI110の位置を決定するために、他のシステム(例えばレーザベースの位置特定システム、慣性支援GPS、無線信号の三角測量若しくはマルチラテレーション(multi-lateration)、及び/又はカメラベースの位置特定)を使用することができる。
一つの構成では、位置決定システム230がデータベース355からアクセスできるデジタルマップは、様々な現実のPOI110に対応する参照マーカーを含むように設計される。例えば、POI110となる建物又はランドマークは、デジタルマップ又はデジタルマップの一部に埋め込まれた対応するデジタル参照マーカーを有してもよい。参照マーカーは、それが対応するPOI110についてのデータ、例えば、POI110の物理座標又は他の位置情報、POI110の名前及び住所、POI110の説明(例えばPOI100に付随する任意の歴史的又は建築的意義又はそこで実施されるビジネスの性質)、営業時間、連絡先の詳細(電話番号、Eメールアドレス等)、POI110の画像又はビデオ、乗り物100の現在位置からPOI110までの距離、又は乗り物100の現在位置からPOI110までの推定走行時間を含む。他のタイプの情報も参照マーカーに含まれてもよく、追加情報が別のデータベース355に記憶され又は外部サーバ(図示せず)から読み出されてもよい。さらに、デジタルマップ又はデジタルマップの一部に埋め込まれているものとして記載されているが、参照マーカーは、物理的領域の任意の適切なデジタル表現の一部であり又は物理的領域の任意の適切なデジタル表現に関連付けられてもよく、参照マーカーは事実上任意のタイプ及び数のPOI110のために生成されてもよい。
参照マーカーは、照会が開始されると、POI110の特定を補助する。特に、潜在的な乗員ベクトルが計算されると、(必要であれば)潜在的な乗員ベクトルの外挿(extrapolation)が行われ、この外挿は一つ以上の参照マーカーをもたらす。位置決定システム230又はいくつかの他の装置若しくはシステムがこの外挿を行ってもよい。外挿の焦点を狭くするために、このプロセスのために選択されたデジタルマップは、乗り物100の位置が関心のあるPOI110の妥当な(reasonable)距離内にあるとき、乗り物100の現在位置に基づいてもよい。対応する参照マーカーが特定されると、POI110に対応する参照マーカーの一部であるPOI110についての情報が返される(returned)。このプロセスの追加情報が以下に提示される。
一つの実施形態では、位置決定システム230は、乗り物100の全体的な作動に関する乗り物100の一つ以上のシステムから入力を受信する。例えば、位置決定システム230は、乗り物100の現在の速度、燃料タンクに残された燃料の量、及び/又はその量に基づく電流範囲を受信する。この情報は乗り物100の作動システム又は作動センター(図示せず)から来る。当然のことながら、位置決定システム230は乗り物100のその他の構成要素又はシステムから他の適切なタイプの情報を受信してもよい。この情報は、POI110についての参照マーカーを特定するのに有用である。
上記に説明したように、乗員監視システム245は乗員の所定の特性を監視して測定するために様々な追跡装置及び他の同様な機器を含む。例として、システム245は、アイトラッカー250、ボディトラッカー255、音声トラッカー260、圧力トラッカー265、呼吸トラッカー270又はカメラ297の任意の組合せを含む。システム245の一部であるトラッカー又はセンサの量及び数はこの特定のリストに限定されず、乗員の関心の方向を決定し又は乗員の関心の方向の決定を補助することができる他の構成要素が本明細書において用いられてもよい。
アイトラッカー245は乗員の一つ以上の眼の位置、動き又は視線を監視するように設計される。加えて、アイトラッカー245のための解決策として機能するいくつかの技術が存在する。例えば、アイトラッカー245には一つ以上の光源(図示せず)及び光学センサ(図示せず)が備えられていてもよく、光学追跡法が使用されてもよい。この例では、光源は乗員の眼の方向に光を発し、光学センサは乗員の眼から反射された光を受光する。その後、光学センサは、反射された光をデジタルデータに変換し、変換されたデジタルデータは、受光された反射の変動に基づいて眼の動きを抽出するために分析される。角膜、瞳孔の中心、水晶体又は網膜のような眼の任意の部分が追跡の焦点となりうる。乗員の気が散ることを制限するために、光源は赤外光を発してもよい。
別の構成では、コンタクトレンズに埋め込まれたミラー又は磁界センサを有するコンタクトレンズが乗員の眼の上に設置され、乗員の眼が動くときにこれらレンズから数値が読み取られる。更に別の例では、一つ以上の電極が乗員の眼の周りに配置される。乗員の眼が安定した電位場として機能するので、電位の変動を測定することによって眼の動きが検出される。この例は、薄暗い環境において、又は乗員がサングラス若しくは眼の追跡を妨げる他の物体、例えば薄いベールを着用している場合に有用である。実際、一つの事例では、追跡プロセスを可能とするために、干渉物体内、例えば一対のサングラスのフレーム内に電極を埋め込んでもよい。このコンセプトは、乗員がモータバイク又はオフロード車を運転している場合のように乗員がヘルメットを着用している場合にも適用可能である。
ボディトラッカー255は乗員の一つ以上の身体部分の位置を監視するように構成される。例えば、ボディトラッカー255は、乗員に向かって配置される一つ以上のカメラ(図示せず)を含み、これらカメラは乗員の(顔の特徴を含む)頭部又は肩のような乗員の身体部分の参照画像を捕捉する。参照画像は、乗員の鼻孔又は口のような身体部分の所定の特徴点に適用されるデジタルタグを含む。その後、参照画像はデータベース355の一つに記憶される。作動されると、ボディトラッカー255のカメラは、デジタルタグが付された特徴点も有する乗員の関連する身体部分の一つ以上の画像を捕捉する。その後、ボディトラッカー255は、例えばタグ付けされた特徴点をマッチングさせて特徴点間の距離及び/又は角度を決定することによって、捕捉された画像を参照画像と時系列で比較することができる。その後、ボディトラッカー255は、その情報を使用して、追跡された身体部分の位置座標を決定することができる。オプションとして、一つ以上のセンサが、乗員に、例えば乗員が着用した衣類の一片に取り付けられてもよい。これらセンサは、ボディトラッカー255と通信して、乗員の身体部分の位置を決定するのに使用されるデータを提供する。
乗員の一つ以上の身体部分の位置を監視するために他の機構が使用されてもよい。例えば、ボディトラッカー255は一つ以上の音響発生器(図示せず)及び音響変換器(図示せず)を含んでもよく、音響発生器は、監視された身体部分から反射して音響変換器によって捕捉される音波を発する。その後、音響変換器は受信した音波を電気信号に変換し、この電気信号は身体部分の位置を決定するために処理される。この構成において使用される音波は人間(又は動物)の聴覚の範囲外であってもよい。別の例として、ボディトラッカー255は熱探知カメラ(thermal imagers)を含んでもよく、熱探知カメラは乗員の熱画像の分析を通して身体部分の位置を検出する。
音声トラッカー260は、乗員に起因する様々な音を検出するように構成され、その後、検出された音に基づいて乗員の潜在的な向き又は位置を決定することができる。これら音は、例えば発話(speech)、呼吸又は咳を通して乗員によって直接生成されるが、斯かる音は乗員によって間接的に生み出されてもよい。間接的な音の例には、乗員が移動するときに乗員の衣類又は乗員を支持するシートから生み出されるノイズが含まれる。
一つの実施形態では、音声トラッカー260は、音を捕捉するための一つ以上のマイクロホン(図示せず)を含むことができる。「マイクロホン」は、音波を捕捉して電気信号に変換することができる任意の装置、構成要素及び/又はシステムとして定義される。マイクロホンは、マイクロホンにおける乗員からの音の受信のタイミングの差を検出することができるように客室200の至るところに配置される。例えば、乗員の口の位置に基づいて、乗員によって出された発話は第二のマイクロホンに到達する前に第一のマイクロホンに到達する。このタイミング差は、乗員の方向特性の根拠として機能し、乗員の潜在的な位置を生成するのに使用される。乗員の位置を決定することを助けるために、様々なマイクロホンから受信された音声の大きさを比較してもよい。例えば、より弱い信号に対してより強い信号を受信することは、乗員が、より大きな振幅を有する信号を受信するマイクロホンに近いことを示す。
一つの特定の例では、音声トラッカー260は発話音を優先してもよい。なぜならば、これら音は、乗員の口から直接出され、発話音が生成されたときに乗員が向いている方向の良好な指標を提供するからである。より多くの数のマイクロホンを用いることによって音声トラッカー260の粒度(granularity)を増大させることができる。加えて、マイクロホンの配列がこの構成の一部であってもよい。別の例では、音声トラッカー260のマイクロホンはこれらの位置が固定されていてもよく、又はマイクロホンの位置又は向きは調整可能であってもよい。
圧力トラッカー265は、圧力値を決定し、又は乗員に起因する圧力値の変化を検出するように構成され、これら変化は乗員の位置又は向きの決定を助けるのに使用される。例えば、圧力トラッカー265は任意の数の圧力センサ(図示せず)を含み、これらセンサは、客室200の所定の構成要素に組み込まれ、乗員からの圧力変化を検出する。より具体的な例として、一つ以上の圧力センサは、乗員が位置しているシートに組み込まれる。乗員が視界をPOI110に集中させるように移動するとき、圧力センサは、乗員の身体によって生成された圧力の変動を測定する。別の例として、一つ以上の圧力センサが、乗員の動きによって引き起こされる大気圧の微妙な変化を検出してもよい。圧力センサは、客室200の他の構成要素内に埋め込まれて、乗員の動きによって引き起こされる圧力変動の検出を補助してもよい。例には、ステアリングホイール、乗り物100の床、床の上に配置されうるフロアマット、又はアームレストが含まれる。
圧力トラッカー265は、これら様々な圧力測定値を種々の圧力センサから受信し、乗員の潜在的な位置又は向きを生成することができる。一つの実施形態では、乗員は最初に休止位置(resting position)に座り、参照圧力が測定されてデータベース355の一つに記憶される。圧力測定値が受信されると、圧力トラッカー265はこれら測定値を参照値と比較して乗員の位置の決定を補助する。
一つの構成では、呼吸トラッカー270は客室200内の一つ以上のガスの濃度を検出するように構成される。例えば、呼吸トラッカー270は、客室200にいる間に乗員によって吐き出される二酸化炭素の濃度を検出する一つ以上のガスセンサ(図示せず)を含むことができる。ガスセンサは、乗員から吐き出される二酸化炭素を検出すべく、客室200の至るところに位置付けられる。作動中、乗員がPOI110の方に顔を向けた場合、乗員は一つ以上のガスセンサの概して近傍において二酸化炭素を吐き出している。その後、乗員の顔に最も近いガスセンサが乗員の呼吸からの二酸化炭素の濃度の増加を検出する。二酸化炭素濃度の増加をどのガスセンサが報告しているかに基づいて、呼吸トラッカー270は乗員の潜在的な位置又は向きを決定することができる。
一つの構成では、乗員監視システム245は、乗員の測定された特性についてのデータを収集して提供するために、本明細書に記載された例又は乗員の位置を決定するのに使用されうる他のものを含むトラッカーの任意の適切な組合せを頼りにする。すなわち、システム245は必ずしも上述の全てのトラッカーを含む必要はなく、単一のトラッカー又は共通タイプの一組のトラッカーがここで使用されてもよい。さらに、本明細書において示されていない他のトラッカーがシステム245に組み込まれてもよい。乗員監視システム245が測定された特性のデータを受信すると、システム245は一つ以上の潜在的な乗員ベクトルを生成することができる。位置決定システム230と同様に、乗員監視システム245は、乗り物100の速度又は向きのような乗り物100の作動についてのデータを受信して、潜在的な乗員ベクトルの生成を補助する。潜在的な乗員ベクトルは、乗員がどの位置又はどのPOI110に注意を向けているかについての指標を提供する。一つの実施形態では、システム245は位置決定システム230に潜在的な乗員ベクトルを提供し、その後、位置決定システム230は、POIに直接関連付けられた位置情報を取得することができる。その後、このデータは、以下により完全に説明されるように、POI110の特定を容易にするのに使用される。代替的に、乗員監視システム245は、このデータを位置決定システム230に送信することなく、潜在的な乗員ベクトルを別の構成要素又はシステムに転送してもよい。
ハードウェア層325の他の構成要素のいくつかを参照すると、表示装置240は、乗員とのインタラクション(interaction)を可能とするタッチスクリーンを含んでもよい。加えて、関連するPOI110のために得られる情報は表示装置240に表示されてもよい。表示装置240は、アプリケーション335、一つ以上のユーザインタフェース235(図2参照)、GPSユニット360に関連付けられたデジタルマップ、及び乗り物100のシステムを制御し又は操作するのに使用されうるその他の要素も提示してもよい。前述したように、表示装置240はHUDであってもよく、HUDは表示装置240の一部であってもよい。表示されるいずれかの情報又は乗員が対話する任意の要素を、HUDによって投影された画像280(図2参照)に表示することができる。例えば、乗員の指又は工具から電場において生み出される外乱に基づくインタラクションを示すことができる一つ以上の電場の使用を通して、画像280との非接触のインタラクションを可能とする様々な技術をここでは使用することができる。
スピーカー285は、情報獲得システム300が取得したPOI110についての情報を放送するのに使用されてもよい。この出力は、取得された情報の表示装置240を介した表示を補い又は表示の代わりであってもよい。用語「スピーカー」は、人間に聞こえるか否かに関わらず、音声信号の入力に応答して音を生み出す一つ以上の装置、構成要素又はシステムとして定義される。スピーカー285は、POI110についての情報を提供することに加えて、乗り物100の他の機能に関する音、例えばGPSユニット360からの可聴の指示又はステレオシステム(図示せず)からの音楽を放送してもよい。
ハードウェア層325は任意の数の通信スタック345を含み、通信スタック345の各々は特定の周波数(若しくは周波数範囲)及び/又は特定の通信プロトコルに従って通信を行うように構成される。例えば、通信スタック345の一つは、GPSユニット360を支援するのに使用されうる衛星通信のために構成されてもよい。別の例として、通信スタック345の一つは、ブルートゥース(登録商標)、近距離無線通信(NFC)又はWi−Fi(登録商標)通信、携帯可能なコンピュータデバイス295(図2参照)との無線通信を可能とする比較的短距離用のプロトコル、及び乗り物100の作動に関連付けられた他の通信機器のために設計される。別の通信スタック345はセルラーネットワーク(図示せず)を介した無線通信を容易にするように設定され、セルラーネットワークはユーザが音声電話を行い且つ斯かる広域ネットワークに亘ってデータ交換を行うことを可能とする。乗員は、コンピュータデバイス295がドッキングインタフェース290にドッキングされ又は短距離通信スタック345の一つにドッキングされたとき、携帯可能なコンピュータデバイス295を通して広域ネットワーク通信を行ってもよい。本明細書に記載されたこれら特定の例に情報獲得システム300が限定されないので、通信の他のプロトコル及びタイプが一つ以上の通信スタック345によって支援されてもよい。
上記のように、ドッキングインタフェース290は、例えば有線接続又は無線接続を通して、携帯可能なコンピュータデバイス295(又は他の適切な装置)を受け入れるように構成される。いずれの場合も、ドッキングインタフェース290は、携帯可能なコンピュータデバイス295と通信して携帯可能なコンピュータデバイス295と任意の適切な通信ネットワーク又は通信機器との間の通信を容易にすべく、一つ以上の通信スタック345を利用する。この特徴によって、POI110について得られた情報が携帯可能なコンピュータデバイス295に転送されることが可能となる。その後、携帯可能なコンピュータデバイス295にインストールされた様々なアプリケーション、例えばコンタクトアプリケーション(contacts application)、ブラウザー、マップアプリケーション又はダイヤラーが、受信された情報を使用する。ドッキングインタフェース290は、音楽及び連絡先(contacts)を含む、携帯可能なコンピュータデバイス295に記憶されたデータが乗り物100の任意の適切なシステムに転送されて乗り物100の任意の適切なシステムによって使用されることも可能とする。
中央処理装置340は、情報獲得システム300を含む乗り物100の任意の数のシステムから入力を受信するように構成され、受信されたデータを処理するプログラム又は他の命令を実行することができる。加えて、中央処理装置340は、他のリソースから追加のデータを要求してもよく、情報獲得システム300又は乗り物100の他のシステムに出力を提供することができる。
例えば、中央処理装置340は、POI110についての照会に関する入力(例えば声コマンド又はジェスチャ)を照会入力システム215から受信し、位置決定システム230からPOI110の位置情報(又は他のデータ)も受信することができる。いくつかの場合、乗員監視システム245(又はいくつかの他の適切な構成要素若しくはシステム)は、位置決定システム230から位置情報を読み出し、中央処理装置340に位置情報を提供することができる。代替的に、乗員監視システム245は中央処理装置340に潜在的な乗員ベクトルを提供してもよく、その後、中央処理装置340は潜在的な乗員ベクトルを位置決定システム230に転送してもよい。それに応答して、その後、位置決定システム230はPOI110についての位置情報を中央処理装置340に送信してもよい。別の代替例として、中央処理装置340は、位置決定システム230及び/又は乗員監視システム245から生データを受信するように構成され、そうでなければこれらシステム230、245によって実行される処理を実行することができる。例えば、中央処理装置340は、乗員監視システム245から様々な入力を受信し、潜在的な乗員ベクトルを生成することができる。別の例として、中央処理装置340は、乗り物100の位置を受信し、関連するデジタルマップにアクセスすることができ、POI110に関連付けられた適切な参照マーカーを特定すべく潜在的な乗員ベクトルの外挿を実行することができる。
一つの構成では、中央処理装置340は位置決定システム230から複数の組の位置情報を受信してもよい。この場合、種々の組の位置情報は、複数の候補又は潜在的なPOI110を表すデータである。すなわち、乗員の測定された特性に基づいて、いくつかの異なる潜在的なPOI110が存在しうる。しかしながら、これらの一つのみが、乗員が焦点を合わしている実際のPOI110である。別の例として、乗員は同時に又は短い時間内に複数のPOIに興味を示すことがあり、情報が複数のPOI110について読み出される必要がある。
照会及び受信された位置情報に基づいて一つ以上のPOI110が特定されると、中央処理装置340は、特定されたPOI110についての情報を取得することができる。例えば、マッピングデータが索引化されてデータベース355の一つに記憶され、中央処理装置340はこのデータベース355にアクセスして位置情報を提供することができる。位置情報は関連するデータベース355に対してマッピングされ、中央処理装置340は、位置情報に関連付けられたデータをデータベース355から取り出すことができる。複数の組の位置情報がデータベース355に対してマッピングされる場合、中央処理装置340は、複数の組の位置情報に関連付けられたデータの集合を読み出す。中央処理装置340によって読み出されたデータはPOI情報と称される。
データベース355からのPOI情報はPOI110についての任意の関連するデータを含む。例が以下に提示される。別のオプションとして、中央処理装置340は、POI110の正体を認識すると、特定されたPOIについての追加情報のために一つ以上の他のリソースにアクセスしてもよい。これらリソースは、乗り物100に対してローカルな追加のデータベース(図示せず)であり、又は乗り物100に対してリモートのサーバ又はサービスである。例えば、中央処理装置340は、広域無線通信を扱うような通信スタック345の一つを通して、POI110についての情報の要求を送信してもよい。この要求は、POI110についての追加情報を提供することができる一つ以上のサーバに最終的に配信される。ローカルデータの要求又はリモートデータの要求の場合、中央処理装置340は、ローカルデータベース355から得たPOI110についての識別情報、例えば名前、住所又は位置座標を提供する。
中央処理装置340がPOI110についての情報を取得すると、中央処理装置340は、表示装置240、スピーカー285、又は乗員がPOI110についての情報を認識することを可能とするその他の装置若しくはシステムに信号を送ることができる。それに応答して、POI110についての情報が表示装置240を通して表示され又はスピーカー285を介して放送される。一つの構成では、中央処理装置340は、POI110についての情報を乗員に提示することに関与するユーザインタフェース要素に要求して、提示された情報に関する乗員からのフィードバックを要求してもよい。この特徴によって、特定されたPOI110が実際に乗員の関心を集めたPOI110であるという確認を乗員が提供することが可能となる。中央処理装置340は、複数の潜在的なPOI110が乗員に提示された場合、このプロセスの反復処理を実行することができる。斯かる場合、乗員は、正確な又は実際のPOI110についての情報が提示されるまで、潜在的なPOI110の一つ以上の提示を拒絶する。
任意の適切なアーキテクチャ又は設計が中央処理装置340のために使用される。例えば、中央処理装置340は一つ以上の汎用処理装置及び/又は一つ以上の専用処理装置が実装され、そのいずれもシングルコアアーキテクチャ又はマルチコアアーキテクチャを含んでもよい。適切な処理装置の例には、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ(DSP)、及びソフトウェアを実行することができる他の電気回路が含まれる。適切な処理装置の更なる例には、限定されるものではないが、中央処理ユニット(CPU)、アレイプロセッサ、ベクトルプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ、特定用途向け集積回路(ASIC)及びプログラマブル論理回路が含まれる。中央処理装置340は、プログラムコードに含まれる命令を実行するように構成された少なくとも一つのハードウェア回路(例えば集積回路)を含むことができる。
複数の中央処理装置340が存在する構成では、斯かる処理装置は互いに独立して動作することができ、又は一つ以上の処理装置は互いに組み合わされて動作することができる。一つ以上の構成では、中央処理装置340は情報獲得システム300又は乗り物100のメインの処理装置である。処理装置についてのこの説明は、照会入力システム215、位置決定システム230又は乗員監視システム245及びこれらの任意の関連する構成要素のような本明細書において記載された任意のシステム又は構成要素の一部であるその他の処理装置に適用されてもよい。
メモリユニット350は、任意の数のユニットであり、データを保存するためのメモリタイプである。例として、メモリユニット350は、情報獲得システム300の構成要素、装置及びシステムのいずれかがこれらの機能を実行することを可能とする命令及び他のプログラムを記憶する。例として、メモリユニット350は揮発性メモリ及び/又は不揮発性メモリを含むことができる。適切なデータ記憶装置の例は、RAM(ランダムアクセスメモリ)、フラッシュメモリ、ROM(読み出し専用メモリ)、PROM(プログラム可能読み出し専用メモリ)、EPROM(消去可能プログラム可能読み出し専用メモリ)、EEPROM(電気消去可能プログラム可能読み出し専用メモリ)レジスタ、磁気ディスク、光ディスク、ハードドライブ若しくはその他の適切な記憶媒体、又はこれらの任意の組合せを含む。メモリユニット350は中央処理装置340の構成要素であり、又はメモリユニット350は、中央処理装置340(及びその他の適切な装置)に通信可能に接続され、これらによって使用される。メモリユニット350に関して本明細書に提示されるこれら例及び原理はデータベース層330のいずれかのデータベース355にも適用される。
上記のように、本明細書に記載された装置の多くは、受信された入力を、データベース355の一つに記憶された参照データに対してマッピングする。マッピングされると、比較を行う装置は、受信された入力が記憶された参照データと一致するかを判定する。用語「一致」又は「一致する」は、受信された入力及びいくつかの参照データが等しいことを意味する。しかしながら、受信された入力の変動に適応するために、いくつかの実施形態では、用語「一致」又は「一致する」は、受信された入力といくつかの参照データがほぼ等しい、例えば予め定められた確率(例えば少なくとも約85%、少なくとも約90%、少なくとも約95%又はそれ以上)又は信頼水準以内であることも意味する。
また、理解されるように、情報獲得システム300は様々なタイプ及び数のカメラを含んでもよい。「カメラ」は、画像又は光を捕捉し又は記録することができる任意の装置、構成要素及び/又はシステムとして定義される。この場合、カメラは、光の変動を検出するように単純に設計されたセンサを含むことができる。画像はカラー若しくはグレースケール又は両方であり、光は人間の眼に可視又は不可視である。カメラの画像捕捉素子(含まれる場合)は、例えばエリアアレイセンサ、電荷結合素子(CCD)センサ、相補型金属酸化膜半導体(CMOS)センサ、リニアアレイセンサ、CCD(モノクロ)を含む任意の適切なタイプの画像捕捉装置である。一つの実施形態では、システム300の一つ以上のカメラは、画像を捕捉するとき、その倍率を調整する能力(すなわちズームイン又はズームアウト)を含む。例として、これらカメラは、カメラの焦点が合わせられる物体、例えばジェスチャを行い又は身体を所定の方向に傾ける乗員をより良く捕捉するようにカメラの倍率を自動的に調整する。さらに、カメラは、固定された位置にあり、又はカメラの焦点が合わされた対象の動きを考慮すべく旋回可能である。
乗り物100のシステム、装置、要素及び/又は構成要素の様々な例が説明されてきたが、以下、POIについての情報を取得するための様々な方法又はプロセスが示される。図4を参照して、斯かる情報を取得するための方法400が示される。図4に示された方法400が図1〜図3に関連して上述された実施形態に適用可能であるが、方法400が他の適切なシステム及び構成を用いて実行可能であることが理解されたい。さらに、方法400はここに示されない他のステップを含んでもよく、実際、方法400は、図4に示される全てのステップを含むことに限定されない。方法400の一部としてここに示されるステップはこの特定の順序に限定されない。実際、いくつかのステップは示されたものとは異なる順序で実行され、且つ/又は示されたステップの少なくともいくつかは同時に起こりうる。
ステップ405において、POIについての照会が乗り物の乗員から検出される。ステップ410において、照会に応答して、乗員の一つ以上の方向特性が検出される。ステップ415に示されるように、方向特性に基づいて、POIに対する潜在的な乗員ベクトルが決定される。ステップ420に示されるように、潜在的な乗員ベクトルに基づいてPOIの位置情報が取得される。ステップ425において、位置情報に基づいて、POIが特定されて提示される。ステップ430において、特定されたPOIについてのフィードバックが乗員から受信され、決定ブロック435において、POIが適切に特定されたかについての判定が行われる。もしそうでないなら、ステップ440に示されるように、次のPOIが特定されて提示され、方法400が決定ブロック435において再開する。POIが適切に特定された場合、方法400は、POIについての情報が取得されるステップ445において再開する。ステップ450において、POIについて取得された情報が乗員に提示される。
例えば、図1〜図3を参照して、乗員はPOI110に関心を持つ。いくつかの場合、このPOI110は、乗員が関心を示す実際のPOI110であるため、対象の(intended)POI110と称される。この関心を考慮すると、乗員は対象のPOI110について情報を得ることを望むことがある。照会を開始するために、乗員は表示装置240から関連するアプリケーション335を選択し、このことによってユーザインタフェース(図示せず)が現れる。乗員は、このユーザインタフェースを通して選択を行い、例えば照会を開始する方法を選択する。この例では、乗員は、ユーザインタフェースからオプションを選択して、声認識装置220を作動させる声コマンドを提供する。この時点において、乗員は、声コマンドを発声し、声認識装置220にコマンドを受信して処理するように指示することができる。別の例として、乗員は、ジェスチャ認識装置225を用いて同様のプロセスを開始するいくつかのジェスチャを行う。代替の構成では、乗員は、アプリケーション335の起動を避け、単に声コマンドを発し又はジェスチャを実行することができる。
照会が受信されると、照会入力システム215が中央処理装置340に信号を送り、順に中央処理装置340が乗員監視システム245に信号を送ることができる。その後、乗員監視システム245は、乗員の一つ以上の測定可能な特定を通して乗員を追跡するステップをとる。この例では、システム245は、アイトラッカー250に信号を送って乗員の眼の動き及び位置又は焦点を監視し、ボディトラッカー255に信号を送って乗員の頭部の位置を決定する。当然のことながら、乗員の位置の決定を支援するために他のトラッカーが使用されてもよい。例えば、音声トラッカー260は、呼吸音又は乗員から出る発話を検出し、捕捉された音の方向及び/又は大きさに基づいて乗員の位置を決定する。加えて、呼吸トラッカー270は、乗員によって吐き出された二酸化炭素の濃度の増加を検出し、このデータを使用して乗員の位置を決定することができる。別の例として、圧力トラッカー265は、乗員が座るシート267における圧力変動を検出し、このデータを処理して乗員の位置を決定することができる。
一つの実施形態では、乗員の特性を測定するために使用されるトラッカーは、予め定められた時間、そのようにしてもよい。この時間の間、トラッカーは、それぞれの特性を連続的に又は定期的に測定し、それに応じて乗員の位置の決定を調整することができる。例えば、乗り物100が動き続けている間に乗員の眼が対象のPOI110に焦点を合わせているとき、アイトラッカー250は、予め定められた時間の間、対応する眼の動き又は眼の焦点の変化を検出する。同様に、ボディトラッカー255は、予め定められた時間の間、乗員の頭部を監視し続ける。この時間の間に乗員の頭部が動いた場合、例えば乗り物100が動き続けているときに乗員が対象のPOI110に焦点を合わせたままにすべく乗員の頭を回転させたとき、ボディトラッカー255は乗員の頭部の位置の決定を更新する。トラッカーのために確保された時間の量は、各トラッカー又はいくつかのトラッカーについて同一であり、又は各トラッカー又はいくつかのトラッカーについて異なる。さらに、時間のこの予め定められた量はトラッカーの作動を改善するように調整されてもよい。別の構成では、監視のために確保された時間の量は無作為である。
乗員の特性を測定して乗員の位置を決定するのに使用される組合せ又は技術に関わらず、乗員監視システム245は、トラッカーによって受信されたデータを処理して潜在的な乗員ベクトルを生成する。例えば、図5を参照して、いくつかの潜在的な乗員ベクトル505を示す環境500の例が示される。また、環境500には、乗員の焦点の対象である二つの別個のPOI110、対象のPOI110又はPOI1110と、乗員の関心がないかもしれない別のPOI110又はPOI2110とが示される。この例では、乗員は、二つの異なるPOI110に対して矢印の方向に進む乗り物100内にいる。
乗員監視システム245は、関連するトラッカー、この場合には例えばアイトラッカー250及びボディトラッカー255からデータを受信する。最初に又はT1において、乗員監視システム245は、アイトラッカー250及びヘッドトラッカー255から受信されたデータを処理し、第1の潜在的な乗員ベクトル505又はベクトル1を生成する。必要であれば、乗り物100の速度、方向付けシステム365からの入力、例えば乗り物100が現在上り坂を進んでいる場合の乗り物100の上昇度を含む他のデータがベクトル1を算出するのに使用されてもよい。ベクトル1が生成されると、乗員監視システム245又は中央処理装置340は、潜在的な乗員ベクトル505に関連付けられたデータを位置決定システム230に提供する。その後、位置決定システム230は、データベース355の一つに記憶された一つ以上のデジタルマップ又は周辺領域の他の描写に対して潜在的な乗員ベクトル505の値を参照する。前述されたように、乗り物100の位置が対象のPOI1110の妥当な距離内にあるとき、選択されるデジタルマップは乗り物100の位置に基づく。
例として、時刻T1において、位置決定システム230は、ベクトル1の原点として乗り物100の現在位置を使用し、読み出されたデジタルマップに対してベクトル1をプロットすることができる。その後、位置決定システム230は、ベクトル1を外挿して、対象のPOI1110に対応するデジタルマップの参照マーカーを特定する。必要に応じて、外挿は、乗り物100の速度又は乗り物100の上昇度のような様々な要因も考慮する。
いくつかの場合、複数の外挿が行われ、このことは、参照マーカーの正確な特定を確実にすることを助けることができる。例えば、その後の時刻T2において、第2の潜在的な乗員ベクトル505又はベクトル2が、生成され、関連するデジタルマップに対してプロットされる。この場合について、乗り物100の動きを考慮して変化した乗り物100の現在位置がベクトル2の原点を確立するのに使用される。ベクトル2の外挿が行われ、対象のPOI1110に対応する参照マーカーが特定されるべきである。第1の外挿と同様に、乗り物100の速度及び方向のような所定の要因が考慮される。
特定プロセスに割り当てられた時間の量に亘って、たった一回を含む任意の数の外挿が行われる。さらに、乗り物100の速度が、ここで実行される計算の数に関与してもしなくてもよい。例えば、乗り物100が停止している場合には一回のプロット及び外挿が行われ、一方、乗り物100が動いている場合には複数のプロット及び外挿が実行される。同様に、デジタルマップにおける所与の関心領域についての参照マーカーの数がプロット及び外挿の数の要因であってもなくてもよい。例えば、デジタルマップの所定の関心領域における多数の参照マーカーについて、対象のPOI1101に対応する参照マーカーのより正確な特定を確実にすべく、追加のプロット及び外挿が実行される。
いくつかの場合、外挿を実行することは必須ではない。例えば、潜在的な乗員ベクトル505が、関連するデジタルマップに対してプロットされるとき、対象のPOI110に対応する参照マーカーが、潜在的な乗員ベクトル505の直接経路内、カバー領域内又は範囲内である。参照マーカーが、プロットされた潜在的な乗員ベクトル505の直接経路内、カバー領域内又は範囲内である場合でも、対象のPOI110に対応する参照マーカーであるかもしれない他の参照マーカーを特定すべく、それでもなお外挿が行われてもよい。加えて、外挿は、外挿から特定される最初の参照マーカーを超えて延長される。この延長によって、対象のPOI110に対応する参照マーカーであるかもしれない他の参照マーカーがもたらされる。
位置決定システム230が一つ以上の参照マーカーを特定すると、システム230は、参照マーカーの一部であるデータを中央処理装置340に転送する。上記に説明したように、このデータは、参照マーカーが対応するPOI110の存在に関連するもの、例えば、位置情報(座標又は物理アドレス)、画像、名前、建物の説明、建物に居住する企業の説明、POI110への方向、又はPOI110までの移動時間及び移動距離である。中央処理装置340は、このデータを読み出すことができ、任意の適切な態様で、例えば表示装置240上に又はスピーカー285を通してこのデータを放送することによって、このデータを乗員に提示することができる。乗員への情報の提示は、表示装置240がHUDを提供する場合、画像280を通して行われてもよい。
別の例では、中央処理装置340は、特定されたPOI110についての追加情報、例えば、画像、ビデオ、POI110の企業の運営に関連付けられた格付け、POI110のオーナー、居住者若しくは貸借人、推定市場価値又は連絡先を取得してもよい。中央処理装置340は、データベース355の一つのようなローカルストア、又は乗り物100に対してリモートのサーバ又はサービスからこの情報を得ることができる。特に、中央処理装置340は、通信スタック345の一つを通して要求を送信して、リモートのリソースから追加情報にアクセスする。この要求は、その割り当てられたセルラーネットワークを通して情報にアクセすることができる携帯可能なコンピュータデバイス295によって容易にされてもよい。この追加情報も任意の適切な態様で乗員に提示される。
特定されたPOI110についての情報が乗員に提示されると、特定されたPOI110の正確さについてのフィードバックを提供する機会が乗員に与えられてもよい。例えば、乗員は、表示装置240上でユーザインタフェース(UI)要素を選択し、又は特定されたPOI110の選択を確認する語句を声に出す。乗員監視システム245のいずれかのトラッカーを通して又は乗り物100のその他の構成要素又はシステムを介して乗員がフィードバックを提供することを含む他の方法がPOI110の選択の正確さを確認するのに使用されてもよい。例には、乗員が肯定的に(又は否定的に)頷き又はいくつかの他のジェスチャを行うことが含まれる。
POI110についてのデータの提示の効率を高めるために、乗員からのフィードバックを受信する前にPOI110の画像及び名前のようなPOI110についての概要が最初に提示されてもよい。乗員が選択を確認すると、中央処理装置340は、POI110についての追加情報を提示し又は乗員が斯かるデータへのアクセスを望んでいるかを尋ねるメッセージを表示するように表示装置240(又は他の構成要素)に指示することができる。
一つの実施形態では、複数の潜在的な又は候補(特定された)POI110が乗員に提示され、乗員は、その後、対象のPOI110を選択する。例えば、いくつかの候補参照マーカーが特定され、対応するPOI110についてのデータが収集されて中央処理装置340に送信される。その後、中央処理装置340は候補POI110の各々又は少なくともいくつかの画像の集合を生み出し、表示装置240はこの画像の集合を乗員に示す。表示装置240は、これら画像を、例えば画像のテーブルを通して同時に表示し、又は最も可能性が高い候補POI110が最初に示されるような順序で表示する。乗員が候補POI110の一つ(又はそれよりも多く)を選択すると、選択されたPOI110についての情報が乗員に提示される。
特定のPOI110が対象のPOI110ではないことを示すフィードバックを乗員が提供した場合又は乗員が全くフィードバックを提供しなかった場合、追加の候補POI110についての情報が乗員に提示される。提示された候補POI110が対象のPOI110であることを示す選択を乗員が行うまで、他の候補POI110の提示が続く。乗員が潜在的なPOI110又は候補POI110を選択しない場合、潜在的な乗員ベクトル505の追加のプロットが行われ、又は他の参照マーカーが上記の説明に従って特定されて処理される。
オプションとして、乗員は、POI110についての情報の少なくともいくつかを携帯可能なコンピュータデバイス295のような別の装置に転送することを望んでもよい。例えば、携帯可能なコンピュータデバイス295にインストールされたコンタクトアプリケーションは、POI110についてのコンタクトリスト(contact listing)を作成し、取得された情報のいくつかを新しいコンタクトリストに組み込む。別の例として、マップアプリケーションはPOI110の位置にマーカーを設定し、乗員は、マップアプリケーションを起動した後、後でマーカーにアクセスすることができる。一つの構成では、乗員は、POI110についての取得された情報を、アプリケーション、又は携帯可能なコンピュータデバイス295のいくつかの他の構成要素若しくはサービスに組み込ませる声コマンドを発する。
いくつかの状況では、情報獲得システム300の一つ以上の構成要素又はシステムは故障し又はそうでなければ利用不可能となりうる。例えば、信号の受信が建物又は乗り物100の近く若しくは上方の他の障害物によって遮断されるので、位置決定システム230のGPSユニット360が利用不可能となりうる。この状況は、プロットプロセス及び外挿プロセス又は参照マーカーの利用可能性のような位置決定システム230の他の特徴も動作不能にすることがある。構成要素又はシステムが利用不可能であることが検出されると、継続的なパフォーマンスを可能とすべく、代わりのステップがとられる。
例として、位置決定システム230の少なくともいくつかの部分が利用不可能である場合、乗員監視システム245はカメラ297の起動を合図する。前述したように、カメラ297は、乗員が特定のPOI110に注意を向けるときに基本的に乗員を追跡するように構成され、カメラ297は、このPOI110に対応する乗り物の外側の画像を捕捉する。捕捉された画像は、カメラ297の焦点が乗員と実質的に同一の方向に合わされている場合、潜在的な乗員ベクトルに基づく。その後、中央処理装置340又は別の構成要素若しくはシステムは、捕捉された画像を、データベース355の一つ又は他のいくつかのローカル若しくはリモートの記憶装置に記憶された一つ以上の参照画像に対してマッピングすることができる。例として、参照画像は、衛星画像、航空写真、陸上写真及び地理情報システムのような種々のソースからの様々な画像の重ね合わせによって構成される仮想マップの一部である。参照画像は、参照画像の一部である所定のPOI110についてのデータも含み、データの性質は、位置決定システム230の参照マーカーに関して上に提示されたものと同様である。参照画像の一部であるPOI110は参照POI110と称される。例として、参照画像に関連付けられたデータは参照POI110についての位置情報を含む。捕捉された画像との比較のための参照画像の選択は、乗り物100の最後に知られた位置に基づいて行われる。
一致が検出されると、中央処理装置340は参照画像から一つ以上の候補(参照)POI110を特定する。この時点で、前述されたものと同様の態様で、候補POI110が乗員に提示される。乗員が対象のPOI110として候補POI110を選択した後、対象のPOI110についての追加情報が乗員に提示される。
他のシステム又は構成要素の故障又は他のシステム又は構成要素が利用不可能であることを補償すべく、他の適切な代替の構成が実現されてもよい。図6を参照すると、代替のハードウェア層325の一部を示す実施形態600が示される。この代替のハードウェア層325は、図3に示されたハードウェア層325を補う。ここにも示されるように、代替のハードウェア層325は、データベース層330の一つ以上のデータベース355に通信可能に結合される。
一つの例では、代替のハードウェア層325は、レーダーユニット605、レーダーアンテナ又はレーダーアレイ610、ソナーユニット615、ソナー送信機/受信機620、距離計625及びレーザ630を含む。これら構成要素は乗り物100の任意の適切な位置に配置され、いくつかの場合、これら構成要素の焦点が合わされる方向は、乗員監視システム245によって決定される乗員が向いている方向に従う。
レーダーユニット605は、レーダーアンテナ610が発する電波を生成し且つその反射を補足するように構成される。デジタル信号処理を通して、レーダーユニット610は、レーダーアンテナ610によって補足される反射から情報を抽出することができる。抽出された情報に基づいて、レーダーユニット610は、電波を反射した乗り物100を囲む一つ以上の物体のデジタル署名(digital signature)を構築する。データベース355の一つは、レーダー又はいくつかの他の物体検出方法を使用するマッピングサービスから作り出された多数の参照デジタル署名を記憶する。参照デジタル署名は一つ以上のPOI110に対応し、対応するPOI110についてのデータが参照デジタル署名にタグ付けされる。生成されたデジタル署名は、一つ以上の潜在的な一致が特定されるまで参照デジタル署名に対してマッピングされる。また、生成されたデジタル署名との比較のために選択される参照デジタル署名は乗り物100の現在位置に基づく。その後、特定された参照デジタル署名にタグ付けされたデータが、前述の例に従って読み出されて乗員に提示される。
同様の原理を通して、ソナーユニット615は、ソナー送信機/受信機620によって送信される音波を生成するように構成され、ソナー送信機/受信機620は、所定範囲内の物体から音波が跳ね返るときに音波の反射を補足することができる。ソナーユニット615は、反射された音波を処理して、音波を反射した物体のデジタル署名を生成するように構成されてもよい。その後、生成された署名は、一つ以上の一致が特定されるまで、一組の参照デジタル署名に対してマッピングされる。その後、特定されたデジタル署名についてのデータが、読み出され、潜在的な又は候補POI110として乗員に提示される。
一つの構成では、レーダーユニット605及びソナーユニット615は、乗員監視システム245又はシステム245のいくつかの構成要素がダウンした場合に使用される。すなわち、ここに提示されたもののような物体検出システムは、乗員監視システム245が利用不可能である場合にPOI110の特定を助けるべく、乗り物を囲む領域の掃引範囲(sweeping coverage)を提供する。しかしながら、斯かる物体検出システムは、乗員監視システム245が実際に利用不可能である場合のように、POI110を特定する機能を補い又は確認するのに使用されてもよい。
一つの実施形態では、距離計625は、レーザビームを生成して特定の方向にレーザビームを向けるようにレーザ630に信号を送る。この方向は、乗員監視システム245によって作り出された潜在的な乗員ベクトルによって確立された方向である。距離計625は、関連する物体に反射されてレーザ630に戻されたビームを処理し、乗り物100と物体との間の距離を決定することができる。乗り物100の現在位置が知られている場合、距離計625(又はいくつかの他の構成要素又はシステム)は、乗り物100の現在位置と、乗員監視システム245によって確立された方向と、乗り物100とビームを反射させた物体との間の距離とをデータベース355の一つにおけるデジタルマップに対してプロットすることができる。前述と同様に、参照マーカーが特定され、特定された参照マーカーに関連付けられたデータが、読み出され、特定されたPOI110として乗員に提示される。距離計625の使用は、例えば特定されたPOI110に関する位置決定システム230の所見を確認するなど位置決定システム230を補う。しかしながら、別の例では、位置決定システム230が潜在的な乗員ベクトルを外挿することができない場合又はそうでなければ参照マーカーを適切に特定できない場合、距離計625は代替手段として機能する。物体を検出し又は物体に関連付けられたパラメータを決定するのに使用される他のシステムが、本明細書においてリストアップされた例以外の情報獲得システム300に組み込まれてもよい。
本明細書に記載された構成が、本明細書において述べられた一つ以上のことを含む非常に多くの利点を提供できることが理解されるだろう。例えば、本明細書に記載された構成によって、自動化された原理で乗員がPOIについての情報を得ることが可能となる。本明細書に記載された構成は、POIについての照会に関する入力を乗員が提供することを可能とする。本明細書に記載された構成は、乗員の任意の数の測定可能な特性を監視して、乗員が焦点を合わせる方向を特定することを助け、その焦点の対象であるPOIについての位置情報を取得することができる。本明細書に記載された構成は、POIの特定を可能とし、任意の適切な数及びタイプのリソースからPOIについての情報を読み出すことを促進することができる。本明細書に記載された構成は、取得された情報が任意の適切な形態で乗員に提示されることも可能とする。
図面におけるフローチャート及びブロック図は、様々な実施形態に係るシステム、方法及びコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性及び動作を示す。これに関連して、フローチャート又はブロック図における各ブロックは、特定の論理機能を実装するための一つ以上の実行可能な命令を含むモジュール、セグメント、又はコードの一部を表す。いくつかの代替の実装では、ブロックに記された機能は、図面に記された順序以外で生じてもよいことにも留意されたい。例えば、連続して示された二つのブロックが実際には実質的に同時に実行されてもよく、又は関連する機能性に応じてブロックが時々逆の順序で実行されてもよい。
上述されたシステム、構成要素及び/又はプロセスは、ハードウェア又はハードウェアとソフトウェアとの組合せで実現され、一つの処理システムにおける集中方式で、又は種々の要素がいくつかの相互接続された処理システムに分散された分配方式で実現される。任意の種類の処理システム、又は本明細書に記載された方法を実行するために適合された他の器具が適する。ハードウェアとソフトウェアとの典型的な組合せは、コンピュータ使用可能なプログラムコードを有する処理システムであり、このプログラムコードは、ロードされて実行されると、処理システムが本明細書に記載された方法を実行するように処理システムを制御する。コンピュータ可読記憶媒体、例えば、本明細書に記載された方法及びプロセスを実行するために機械によって実行可能な命令のプログラムを実体的に具現化する、機械によって読み取り可能なコンピュータプログラム製品又は他のデータプログラム記憶装置にシステム、構成要素及び/又はプロセスを埋め込むこともできる。これら要素を、本明細書に記載された方法の実施を可能とする全ての特徴を含み且つ処理システムにロードされるとこれら方法を実行することができるアプリケーション製品に埋め込むこともできる。
さらに、本明細書に記載された構成は、一つ以上のコンピュータ可読媒体に埋め込まれたコンピュータプログラム製品の形態をとってもよく、一つ以上のコンピュータ可読媒体は、これに埋め込まれ、例えば記憶されたコンピュータ可読プログラムコードを有する。一つ以上のコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ可読媒体はコンピュータ可読信号媒体又はコンピュータ可読記憶媒体である。語句「コンピュータ可読記憶媒体」は非一時的記憶媒体を意味する。コンピュータ可読記憶媒体は、例えば、電子的な、磁気的な、光学的な、電磁気の、赤外線の又は半導体のシステム、器具若しくは装置又はこれらの任意の適切な組合せであるが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例(網羅的でないリスト)は、ポータブルフロッピーディスク、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、リードオンリーメモリ(ROM)、イレーサブルプログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、ポータブルコンパクトディスクリードオンリーメモリ(CD−ROM)、デジタル多用途ディスク(DVD)、光学記憶装置、磁気記憶装置又はこれらの任意の適切な組合せを含む。この明細書の文脈において、コンピュータ可読記憶媒体は、命令実行システム、器具又は装置によって使用され、又は命令実行システム、器具又は装置に関連するプログラムを含み又は記憶することができる任意の有形媒体である。
コンピュータ可読媒体上に具現化されたプログラムコードは、無線、有線、光ファイバ、ケーブル、RF等又はこれらの任意の適切な組合せを含むがこれらに限定されない任意の適切な媒体を使用して送信される。本構成の態様のための動作を実行するためのコンピュータプログラムコードは、Java(登録商標)、Smalltalk、C++又はこれらの均等物のようなオブジェクト指向プログラミング言語と、「C」プログラミング言語又は同様のプログラミング言語のような従来の手続き型プログラミング言語とを含む一つ以上のプログラミング言語の任意の組合せで書かれる。プログラムコードは、ユーザのコンピュータ上で完全に実行され、ユーザのコンピュータ上で部分的に実行され、スタンドアローンのソフトウェアパッケージとして実行され、ユーザのコンピュータ上で部分的に且つリモートコンピュータ上で部分的に実行され、又はリモートコンピュータ若しくはサーバ上で完全に実行される。後者の場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)又は広域ネットワーク(WAN)を含む任意のタイプのネットワークを通してユーザのコンピュータに接続され、又は外部のコンピュータへの接続が(例えばインターネットサービスプロバイダを使用するインターネットを通して)行われる。
本明細書において使用されるような用語「一つの」は一つ又は一つよりも多くとして定義される。本明細書において使用されるような用語「複数の」は二つ又は二つよりも多くとして定義される。本明細書において使用されるような用語「別の」は少なくとも第二又は第三以上として定義される。本明細書において使用されるような用語「含む」及び/又は「有する」は備える(すなわちオープンな言語)として定義される。本明細書において使用されるような語句「・・・及び・・・の少なくとも一つ」は、関連付けられ且つリストアップされた一つ以上の項目の任意且つ全ての可能な組合せを表し且つ包含する。例として、語句「A、B及びCの少なくとも一つ」は、Aのみ、Bのみ、Cのみ又はこれらの任意の組合せ(例えばAB、AC、BC又はABC)を含む。
本明細書における態様は、これらの思想又は特性から逸脱することなく、他の態様で具現化されうる。したがって、本発明の範囲を指し示すとき、前述の明細書よりもむしろ以下の特許請求の範囲を参照すべきである。

Claims (20)

  1. 乗り物の乗員からの入力を受信するように構成された照会入力システムであって、前記入力が関心地点(POI)についての照会に関する、照会入力システムと、
    POIに対する潜在的な乗員ベクトルを決定するように構成された乗員監視システムと、
    前記潜在的な乗員ベクトルに基づいてPOIに直接関連付けられる位置情報を取得するように構成された位置決定システムと、
    POIについての照会に関する入力を前記照会入力システムから受信し、前記潜在的な乗員ベクトルに基づいてPOIに直接関連付けられる前記位置情報を前記位置決定システムから受信し、POIについての照会に関する入力の受信と前記潜在的な乗員ベクトルに基づいてPOIに直接関連付けられる前記位置情報の受信とに応答してPOIを特定し、前記照会に応じたPOIに関連付けられた情報を取得するように構成された処理装置と
    を備える、情報獲得システム。
  2. 前記乗員監視システムは、前記潜在的な乗員ベクトルに基づく方向において前記乗り物の外部の画像を捕捉するように構成された一つ以上のカメラを含む、請求項1に記載のシステム。
  3. 前記処理装置は、さらに、前記カメラからの捕捉画像とデータベースの記憶された参照画像とを比較して、POIに直接関連付けられる代替の位置情報を決定するように構成される、請求項2に記載のシステム。
  4. 前記乗員監視システムは、一つ以上の測定可能な特性を通して前記乗員を追跡してPOIに対する前記潜在的な乗員ベクトルを決定するように構成された一つ以上の追跡装置を含む、請求項1に記載のシステム。
  5. 前記追跡装置は、アイトラッカー、ボディトラッカー、音声トラッカー、圧力トラッカー又は呼吸トラッカーであり、前記測定可能な特性は、眼の位置、眼の動き、頭の位置、頭の動き、音声伝播の方向、音声の大きさ、空気圧の差、シート圧力、又は一つ以上のガスの濃度を含む、請求項4に記載のシステム。
  6. 前記照会入力システムは声認識装置又はジェスチャ認識装置を含む、請求項1に記載のシステム。
  7. 表示装置を更に備え、前記処理装置は、さらに、前記照会に応じたPOIに関連付けられた前記情報を表示するように前記表示装置に信号を送ることによって該情報を提供するように構成され、表示される情報は、POIの住所、POIへの方向、POIまでの推定移動時間、POIの格付け、POIの商標名若しくは商号、POIのオーナー、居住者若しくは貸借人、POIの推定市場価値、又はPOIの連絡先を含む、請求項1に記載のシステム。
  8. 前記表示装置はヘッドアップディスプレイ装置又はインダッシュディスプレイ装置である、請求項7に記載のシステム。
  9. 一つ以上の携帯可能なコンピュータデバイスと通信信号を交換するように構成された通信スタックを更に備え、前記処理装置は、さらに、前記照会に応じた前記情報を前記通信スタックを介して前記携帯可能なコンピュータデバイスに向けるように構成される、請求項1に記載のシステム。
  10. 乗り物についての情報獲得システムであって、
    前記乗り物の外部に位置する関心地点(POI)について乗員から照会を受信するように構成された入力照会装置と、
    POIに対する潜在的な乗員ベクトルを決定するために前記乗り物の乗員の少なくとも一つの測定可能な方向特性を監視するように構成された一つ以上の追跡装置と、
    POIの位置情報を取得するように構成された位置決定装置と、
    前記照会に応じたPOIについての情報を表示するように構成された表示装置であって、前記照会に応じた前記情報は、POIに対して決定された前記潜在的な乗員ベクトルと、POIの位置情報とから生じる、表示装置と
    を備える、情報獲得システム。
  11. ドッキングインタフェースを更に備え、該ドッキングインタフェースは、携帯可能なコンピュータデバイスとの接続を確立し、該携帯可能なコンピュータデバイスにインストールされた一つ以上のアプリケーションによって前記照会に応じた前記情報が使用されることを可能とすべく、前記照会に応じた前記情報の少なくとも一部を前記携帯可能なコンピュータデバイスに転送するように構成される、請求項10に記載のシステム。
  12. 前記追跡装置の一つはアイトラッカーであり、前記追跡装置の別の一つはヘッドトラッカーであり、前記乗員の測定可能な方向特性の一つは前記乗員の眼の位置であり、前記乗員の測定可能な方向特性の別の一つは前記乗員の頭部の位置である、請求項10に記載のシステム。
  13. 前記潜在的な乗員ベクトルは、少なくとも、前記乗員の焦点が合わせられた方向を含む、請求項10に記載のシステム。
  14. 乗り物の外部にある関心地点(POI)についての情報を取得する方法であって、
    POIについての照会を前記乗り物の乗員から検出するステップと、
    前記照会に応答して前記乗員の一つ以上の方向特性を決定するステップと、
    前記方向特性に基づいてPOIに対する潜在的な乗員ベクトルを決定するステップと、
    前記潜在的な乗員ベクトルに基づいてPOIの位置情報を取得するステップと、
    POIの前記位置情報に基づいてPOIを特定するステップと、
    前記照会に応じたPOIについての情報を前記乗員に提供するステップと
    を含む、方法。
  15. POIを特定するステップは、
    一つ以上の潜在的なPOIを特定するステップと、
    前記乗員からのフィードバックを受信して前記一つ以上の潜在的なPOIからPOIを選択するステップと
    を含む、請求項14に記載の方法。
  16. 一つ以上のデータベース又はサービスにアクセスして前記照会に応じたPOIについての情報を得るステップを更に含み、前記データベース又はサービスは前記乗り物に対してローカルであり又は該乗り物の外部にある、請求項14に記載の方法。
  17. POIの前記位置情報が利用不可能であることを検出するステップと、
    POIの前記位置情報が利用不可能であることの検出に応答して、前記潜在的な乗員ベクトルに基づいて前記乗り物の周辺領域の一つ以上の画像を得るステップと、
    前記乗り物の周辺領域の画像と一つ以上のデータベースの参照画像とを比較してPOIの代替の位置情報を決定するステップと
    を更に含む、請求項14に記載の方法。
  18. 一つ以上のアプリケーションがインストールされた携帯可能なコンピュータデバイスの通信結合を検出するステップを更に含み、前記照会に応じたPOIについての情報を前記乗員に提供するステップは、前記アプリケーションによる使用のためにPOIについての情報の少なくとも一部を前記コンピュータデバイスに送信するステップを含む、請求項14に記載の方法。
  19. POIについての照会を前記乗員から検出するステップは、前記照会に応じたPOIについての情報を提供するステップを起動するように設計された、前記乗員からの声コマンドを受信するステップを含む、請求項14に記載の方法。
  20. 前記乗員の一つ以上の方向特性を決定するステップは、前記乗員の眼の位置、前記乗員の頭の位置又は前記乗員の声の方向を監視するステップを含む、請求項14に記載の方法。
JP2017107382A 2016-06-03 2017-05-31 乗員の監視に基づく情報獲得システム Pending JP2017223666A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/173,594 US20170350718A1 (en) 2016-06-03 2016-06-03 Information-attainment system based on monitoring an occupant
US15/173,594 2016-06-03

Publications (1)

Publication Number Publication Date
JP2017223666A true JP2017223666A (ja) 2017-12-21

Family

ID=59077808

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017107382A Pending JP2017223666A (ja) 2016-06-03 2017-05-31 乗員の監視に基づく情報獲得システム

Country Status (4)

Country Link
US (1) US20170350718A1 (ja)
EP (1) EP3252432A1 (ja)
JP (1) JP2017223666A (ja)
KR (1) KR20170137636A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140238A (ja) * 2019-02-26 2020-09-03 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
US11458841B2 (en) 2020-03-17 2022-10-04 Honda Motor Co., Ltd. Display control apparatus, display control method, and computer-readable storage medium storing program
JP7483781B2 (ja) 2021-05-31 2024-05-15 阿波▲羅▼智▲聯▼(北京)科技有限公司 情報をプッシュするための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106200905B (zh) * 2016-06-27 2019-03-29 联想(北京)有限公司 信息处理方法及电子设备
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6582328B2 (ja) * 2017-06-20 2019-10-02 本田技研工業株式会社 情報出力システム、情報出力方法、及びプログラム
CN108230445B (zh) * 2017-12-31 2022-02-11 广州都市圈网络科技有限公司 一种三维仿真地图实体热区属性信息的获取方法及装置
RU188071U1 (ru) * 2018-12-19 2019-03-28 Открытое Акционерное Общество "Российские Железные Дороги" Устройство контроля расстояний до объектов железнодорожной инфраструктуры
DE102019204054A1 (de) * 2019-03-25 2020-10-01 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Sprachdialogs in Gebärdensprache bei einem Sprachdialog-System für ein Fahrzeug
DE102019204542A1 (de) 2019-04-01 2020-10-01 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Interaktion mit einem Umgebungsobjekt im Umfeld eines Fahrzeugs
DE102019113592A1 (de) * 2019-05-22 2020-11-26 Valeo Schalter Und Sensoren Gmbh Fahrzeugbenutzerassistent der basiert ist auf einer Analyse einer Aufmerksamkeitszone
FR3096330B1 (fr) * 2019-05-24 2021-06-18 Valeo Comfort & Driving Assistance Procédé d’affichage en réalité augmentée d’informations destinées à un individu et système embarqué associé
DE102019209545A1 (de) * 2019-06-28 2020-12-31 Zf Friedrichshafen Ag Bestimmen eines Objekts in einer Umgebung eines Kraftfahrzeugs
US20210049625A1 (en) * 2019-08-16 2021-02-18 Toyota Motor North America, Inc. System and method for using vehicle data for future vehicle designs
US11449065B2 (en) * 2019-09-03 2022-09-20 Honda Motor Co., Ltd. System and method for controlling an autonomous carriage based on user intentions
CN115768664A (zh) * 2020-04-28 2023-03-07 沃伊亚影像有限公司 用于对车辆舱室进行监控的系统和方法
US20220194385A1 (en) * 2020-12-18 2022-06-23 Intel Corporation Systems, devices, and methods involving driving systems
DE102021130155A1 (de) 2021-11-18 2023-05-25 Cariad Se Verfahren und System zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung des Kraftfahrzeugs
DE102021214603A1 (de) 2021-12-17 2023-06-22 Volkswagen Aktiengesellschaft Fahrzeug mit einer Bedieneinrichtung und einer Anzeigeeinrichtung und Verfahren zum Bedienen einer Fahrzeugeinrichtung eines Fahrzeugs

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100964153B1 (ko) * 2006-11-22 2010-06-17 엘지전자 주식회사 태양전지의 제조방법 및 그에 의해 제조되는 태양전지
US20100274480A1 (en) * 2009-04-27 2010-10-28 Gm Global Technology Operations, Inc. Gesture actuated point of interest information systems and methods
KR101685980B1 (ko) * 2010-07-30 2016-12-13 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR101686721B1 (ko) * 2012-03-08 2016-12-14 제이에프이 스틸 가부시키가이샤 내해수 스테인리스 클래드강
DE102012013503B4 (de) * 2012-07-06 2014-10-09 Audi Ag Verfahren und Steuerungssystem zum Betreiben eines Kraftwagens
DE102012219280A1 (de) * 2012-10-23 2014-04-24 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren
JP5791121B2 (ja) * 2013-03-08 2015-10-07 Necソリューションイノベータ株式会社 コスト算出装置、コスト算出方法、及びプログラム
US8818716B1 (en) * 2013-03-15 2014-08-26 Honda Motor Co., Ltd. System and method for gesture-based point of interest search
US9280202B2 (en) * 2013-05-10 2016-03-08 Magna Electronics Inc. Vehicle vision system
US10936050B2 (en) * 2014-06-16 2021-03-02 Honda Motor Co., Ltd. Systems and methods for user indication recognition
KR101685020B1 (ko) * 2014-07-10 2016-12-12 삼성디스플레이 주식회사 디스플레이 장치 및 이의 제조 방법
CA2976344A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020140238A (ja) * 2019-02-26 2020-09-03 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
JP7183864B2 (ja) 2019-02-26 2022-12-06 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
US11458841B2 (en) 2020-03-17 2022-10-04 Honda Motor Co., Ltd. Display control apparatus, display control method, and computer-readable storage medium storing program
JP7483781B2 (ja) 2021-05-31 2024-05-15 阿波▲羅▼智▲聯▼(北京)科技有限公司 情報をプッシュするための方法、装置、電子機器、コンピュータ可読記憶媒体及びコンピュータプログラム

Also Published As

Publication number Publication date
KR20170137636A (ko) 2017-12-13
US20170350718A1 (en) 2017-12-07
EP3252432A1 (en) 2017-12-06

Similar Documents

Publication Publication Date Title
JP2017223666A (ja) 乗員の監視に基づく情報獲得システム
EP2891954B1 (en) User-directed personal information assistant
US10553113B2 (en) Method and system for vehicle location
US20130030811A1 (en) Natural query interface for connected car
WO2014024606A1 (ja) 情報処理装置と情報処理方法および情報処理システム
CN110431378B (zh) 相对于自主车辆和乘客的位置信令
EP2198413A1 (en) Obtaining information by tracking a user
US11790783B2 (en) Pedestrian device, vehicle-mounted device, mobile body guidance system, and mobile body guidance method
JP2006084461A (ja) 画像取得システム
JP7250547B2 (ja) エージェントシステム、情報処理装置、情報処理方法、およびプログラム
US20210293567A1 (en) System And Method To Identify Points Of Interest From Within Autonomous Vehicles
WO2017056777A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
US10847159B1 (en) Presenting location related information and implementing a task based on gaze, gesture, and voice detection
US20230111327A1 (en) Techniques for finding and accessing vehicles
US11904893B2 (en) Operating a vehicle
US20230054224A1 (en) Information processing device, information processing method, and non-transitory computer readable storage medium
JP2006267249A (ja) 車両用情報表示システム
US11423778B2 (en) Device and method for controlling the output of driver information and for maintaining the attention of a driver of an automated vehicle
US20200262071A1 (en) Mobile robot for recognizing queue and operating method of mobile robot
JP2019152953A (ja) 視覚支援装置
US20210158290A1 (en) System for delivery of a shipment at a vehicle
JP6306985B2 (ja) 情報処理システム、情報処理方法及びプログラム
US20210089983A1 (en) Vehicle ride-sharing assist system
WO2017056774A1 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2023136194A (ja) 情報処理装置、移動体、それらの制御方法、プログラム、及び記憶媒体