JP2017198647A - 自律走行車においてメディアコンテンツを提示するためのシステム及び方法 - Google Patents

自律走行車においてメディアコンテンツを提示するためのシステム及び方法 Download PDF

Info

Publication number
JP2017198647A
JP2017198647A JP2016230434A JP2016230434A JP2017198647A JP 2017198647 A JP2017198647 A JP 2017198647A JP 2016230434 A JP2016230434 A JP 2016230434A JP 2016230434 A JP2016230434 A JP 2016230434A JP 2017198647 A JP2017198647 A JP 2017198647A
Authority
JP
Japan
Prior art keywords
image
autonomous vehicle
content item
content
physical object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016230434A
Other languages
English (en)
Other versions
JP6456901B2 (ja
Inventor
リユン リー
Liyun Li
リユン リー
シャオシャン リウ
Shaoshan Liu
シャオシャン リウ
シャン ウー
Shuang Wu
シャン ウー
ペン ジェームズ
James Peng
ペン ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu USA LLC
Original Assignee
Baidu USA LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu USA LLC filed Critical Baidu USA LLC
Publication of JP2017198647A publication Critical patent/JP2017198647A/ja
Application granted granted Critical
Publication of JP6456901B2 publication Critical patent/JP6456901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/214—Specialised server platform, e.g. server located in an airplane, hotel, hospital
    • H04N21/2143—Specialised server platform, e.g. server located in an airplane, hotel, hospital located in a single building, e.g. hotel, hospital or museum
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/92—Driver displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)

Abstract

【課題】自律走行車でのコンテンツの選択及び提示に関し、自律走行車が走行する外部の状況に基づきメディアコンテンツを選択してインタラクティブに表示する方法を提供する。【解決手段】自律走行車に装着される画像センサーによりキャプチャされた自律走行車の外部の物理対象の第１画像を受信する。前記物理対象に関連する一つ又は複数のキーワードを導出するように、第１画像に対して画像認識を実行する。前記一つ又は複数のキーワードに基づいて、一つ又は複数のコンテンツアイテムのリストを認識する。第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを第１画像に加える。自律走行車内の表示装置には、第２画像を表示する。【選択図】図５

Description

本出願の実施形態は全体的に自律走行車におけるコンテンツ選択及び提示に関する。より具体的に、本出願の実施形態は自律走行車において外部物理ビューが拡張されたメディアコンテンツを選択してインタラクティブに表示することに関する。
自律走行車とは、自律モードにある車両となるように配置されることができるものを指し、前記自律モードで車両は運転者からの入力が極めて少ない又はない場合にナビゲーションして環境を通過する。自律走行車内部の旅行シーンはコンテンツ配信の独特の機会となる。自律走行車に乗って旅行する人は運転に注目したり周囲の交通に気を配ったりする必要がなく、より多くの時間がかかってメディアコンテンツを楽しむ。
従来のコンテンツ配信方法、例えばコンテンツ表示及びコンテンツ捜索は、完全に自律走行車のユニークな旅行シーンを利用することができない。まず、自律走行車には一般的に画像認識コンポーネントが配置され、前記画像認識コンポーネントは、自律走行車が対象（例えば標識及び障害物）を認識することに役立つ。このような動的認識する視覚対象は自律走行車の運転シーンに対して固有である。ところが、通常のコンテンツ配信には容易に使用されることができない。なお、自律走行車においてコンテンツをレンダリングする形式は本質的にコンテンツ表示又はコンテンツ捜索と異なり、コンテンツ表示又はコンテンツ捜索においてユーザはある予め定義された画面領域とインタラクティブすること注目する。
従来の試みは如何にルートに沿ってコンテンツを選択するかに焦点を当てて、特にコンテンツ配信システム（当該コンテンツ配信システムは無人運転の体験に用いられるようにカスタマイズされる）を確立することを目的とすることがない。例えば興味のあるポイント（ＰＯＩ）の情報を使用してコンテンツを選択することに関わらず、従来の提案は自律走行車のユニークな情報、例えばビデオカメラでキャプチャされた画像及びセンサーの入力を特に利用しない。従来の方法（例えばコンテンツ表示及びコンテンツ捜索）及びそのレンダリング形式は自律走行車における旅行環境向けに設計されるものではない。したがって、従来の形式で自律走行車内の乗客にコンテンツを配信するシーンで、それらの効果が最適ではない。
一つの様態において、自律走行車にコンテンツを提示するためのコンピュータ実現方法を提供し、この方法は、自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
他の一つの様態において、非一時的な機械可読媒体を提供し、この非一時的な機械可読媒体の中に記憶される指令を有し、前記指令はプロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサにさせて、前記操作は、自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
さらに、他の一つの様態において、データ処理システムを提供し、このデータ処理システムは、プロセッサと、前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサに実行させるメモリと、を備え、前記操作は、
自律走行車の外部の物理対象の第１画像を受信するステップと、前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる。
本出願の実施形態は、図面の各図に例として非限定的に示され、図面における同一符号は、類似の構成要素を示す。
本出願の一実施形態に係る一つ又は複数の自律走行車のブロック図を示し、前記一つ又は複数の自律走行車におけるそれぞれはコンテンツ提示装置を含む。 本出願の一実施形態に係る自律走行車用の、コンテンツをレンダリングする処理フローを示す図である。 本出願の一実施形態に係る画像処理モジュールを示すブロック図である。 本出願の一実施形態に係るコンテンツ選択エンジンを示すブロック図である。 本出願の一実施形態に係るコンテンツ提示モジュールを示すブロック図である。 本出願の一実施形態に係るコンテンツアイテムを選択して提示する過程を示すフローチャートである。 本出願の一実施形態に係るコンテンツアイテムを選択且つ提示する過程を示すフローチャートである。 一実施形態の車載コンテンツ提示装置を示すブロック図である。
以下、説明の詳細を参照しながら、本出願の様々な実施形態および方法を説明し、図面は、前記様々な実施形態を示す。以下の説明および図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本出願の実施形態に対する簡単な説明を提供するために、周知または従来技術の詳細について説明していない。
本明細書では「一つの実施形態」または「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造または特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。
本出願の実施形態は以下の方式によって通常のシステムの制限を克服し、好ましくは、自律走行車外部の物理対象に関連するコンテンツアイテムをリアルタイムに選択して、且つ搭乗者に対する物理対象のビューを拡張するように車両の搭乗者に前記コンテンツアイテムを提示する。
一実施形態において、車載装置は画像処理モジュール、コンテンツ選択エンジン、コンテンツレンダリングモジュール及びコンテンツ提示モジュールを備える。画像処理モジュールは、前記画像から外部物理対象を認識するように、車両に取り付けられるビデオカメラから画像を受信して且つ画像認識過程を実行する。画像処理モジュールは続いて認識された物理対象に関連する一つ又は複数のキーワード又は興味のあるポイント（ＰＯＩ）を確定する。コンテンツ選択エンジンは前記キーワードに基づいて一つ又は複数のコンテンツアイテムを捜索且つ認識する。続いてこれらのコンテンツアイテムをランキングして且つコンテンツ選択エンジンはランキングされたコンテンツアイテムの中の少なくとも１つを選択して提示する。コンテンツレンダリングモジュールは例えば選択されたコンテンツアイテムを画像に加えて拡張された画像を生成することによってレンダリングする。コンテンツ提示モジュールは車両の搭乗者に選択されたコンテンツアイテムを提示し、前記コンテンツアイテムは物理対象のビューに対する位置で搭乗者が物理対象に対するビューを拡張する。
拡張画像になるように、選択されたコンテンツアイテムを画像に重ね合わせる。次に、表示装置に拡張された画像を表示する。表示装置は車両の通常の窓として表現するように配置されてもよい。ユーザは表示装置を見る際に、物理対象は、ユーザが通常の窓を介して物理対象を見ているように、仮想現実方式で表示される。表示装置はリアルタイムに拡張現実（ＡＲ）環境と類似するまたは拡張現実（ＡＲ）環境を模擬する拡張画像ストリーム（例えば、拡張ビデオ）を表示することができる。表示装置は、搭乗者が以下の方式でコンテンツアイテムに応答できるように、インタラクション用のタッチパネルを含んでよもく、即ち、全てのコンテンツアイテムを視聴すること、コンテンツアイテムが推薦する動作を取ること、およびコンテンツアイテムが提供する選択肢から選択したりすぐコンテンツアイテムを放棄したりすることである。
一実施形態において、自律走行車の外部にある物理対象の第１画像を受信して、前記第１画像は自律走行車に装着される画像センサーによりキャプチャされた。第１画像はビデオカメラによりリアルタイムにキャプチャされた、行っているビデオストリームの一部であってもよい。物理対象に関連する一つ又は複数のキーワードを導出するように、第１画像に対して画像認識を実行する。前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識する。第２画像を生成するように、コンテンツアイテムリストから選ばれた第１コンテンツアイテムを第１画像に加える。自律走行車内の表示装置において第２画像が表示される。
図１Ａは本出願の一実施形態に係る一つ又は複数の自律走行車を示すブロック図であり、前記一つ又は複数の自律走行車の中のそれぞれはコンテンツ提示装置を備える。図１ＡではＮ個の自律走行車の中の２つ、即ち１０６及び１０６Ｎを示すが、より少ない又はより多くの自律走行車も適用する。説明の目的のために、主として自律走行車１０６を参照する。自律走行車は、無人自動車、自動運転車又はロボット自動車とも呼ばれ、人間の入力がないか又は最も少ない人間の入力のみが必要である場合に環境を感知してナビゲーションを行うことができる車両である。自律走行車はセンサーシステム１３０を使用して周囲環境を検知し、前記センサーシステム１３０はレーダー、ＬＩＤＡＲ（レーダー原理に基づく距離測定であるが、レーザーからの光を使用する）、ＧＰＳ、測距方法（動的センサーデータを使用して時間に従った位置変化を使用する）及びコンピュータビジョン（例えば、様々な機械学習とパターン認識ソフトウェアを含むビデオカメラ）を備えてよい。
自律走行車１０６に取り付けられるコンテンツ提示装置１０８は車載コンテンツ提示装置であり、吸引力がある方式で自律走行車１０６の搭乗者にコンテンツアイテムを提示することができる。搭乗者は自律走行車の乗客又は車両の自動運転機能の制御を担当する「運転者」であってもよい。コンテンツ提示装置１０８（コンテンツ配信システム又はモジュールとも呼ばれる）は画像処理モジュール１１０、コンテンツ選択エンジン１１２、コンテンツレンダリングモジュール１１３及びコンテンツ提示モジュール１１４を備える。画像処理モジュール１１０は自律走行車１０６に取り付けられるビデオカメラによりキャプチャされた車両の周囲環境の画像を受信し、前記画像における物理対象を認識し、且つ前記物理対象に関連する一つ又は複数のキーワードを抽出するように配置される。コンテンツ選択エンジン１１２はコンテンツ記憶装置１２０に記憶される使用可能なコンテンツアイテムからコンテンツ提示モジュール１１４によって搭乗者に提示される一つ又は複数のコンテンツアイテムを選択する。コンテンツレンダリングモジュール１１３は例えば以下のように前記コンテンツをレンダリングして、コンテンツデータベース１４０から選ばれたコンテンツアイテムを画像処理モジュール１１０により処理された画像に加える。本出願の各種の実施形態によれば、コンテンツ提示モジュール１１４は前記コンテンツアイテムを搭乗者に提示する。以下、図２、図３及び図４を参照してコンテンツ提示装置１０８のこれらのコンポーネントの中のそれぞれをより詳しく説明する。
画像はビデオカメラによりリアルタイムにキャプチャされた、行っているビデオストリームの一部であってもよい。表示装置はリアルタイムに拡張現実（ＡＲ）環境と類似するまたは拡張現実（ＡＲ）環境を模擬する拡張画像ストリーム（例えば、拡張ビデオ）を表示することができる。強化現実（ＡＲ）は物理的な現実世界環境に対して即時で直接又は間接に表示し、前記環境の要素はコンピュータにより生成された感覚入力（例えば音声、ビデオ、図形又はＧＰＳデータ）で加えられる（又は補充される）。これは媒介現実と呼ばれるより一般的な概念に関し、コンピュータによって現実ビューを修正（ひいては拡張ばかりか減少される可能性がある）する。したがって、前記技術は個人が現在に現実に対する感知を強化することによって役割を果たす。これに比べて、仮想現実は仮想世界で現実世界を取り替える。拡張は一般的にリアルタイムで且つ環境要素を有するセマンティックコンテキストにあるもの、例えば試合中にＴＶに表示されるスポーツのスコアである。先進なＡＲ技術（例えば、コンピュータビジョンと対象認識を追加する）によって、ユーザ周囲の現実世界の情報がインタラクティブで且つデジタル操作可能になる。環境及びその対象に関する情報が現実世界に覆われる。このような情報は仮想的又は現実的であってよく、例えばその他の感知又は測定された現実情報を見て、例えば、それらは空間における実際の位置に正確に位置合わせするように覆われる電磁無線電波である。
一つ又は複数の自律走行車はネットワーク１０４を介してサーバ１０２に接続される。ネットワーク１０４はいずれかのタイプの移動ネットワーク又は無線ネットワーク、例えば、無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネット、衛星訪問ネットワーク、いずれかのセルラー訪問ネットワーク（例えば様々な２Ｇ、３Ｇ及び４Ｇセルラーネットワーク）等の広域ネットワーク（ＷＡＮ）、又はそのいずれかの組み合わせであってもよい。
サーバ１０２は、コンテンツアイテムを記憶するためのコンテンツ記憶装置１２０と、異なるユーザのユーザプロファイルを記憶するためのユーザプロファイル記憶装置１２２と、を備える。それぞれサーバ１０２のコンテンツ記憶装置１２０とユーザプロファイル記憶装置からコンテンツデータベース１４０と自律走行車に乗るユーザのユーザプロファイル１３２をアップロードすることができる。サーバ１０２は更にプロセッサとプロセッサにより実行されたデータと指令を記憶するためのメモリを少なくとも含むが、両方とも図１Ａで示されていない。自律走行車１０６と１０６Ｎのそれぞれは、コンテンツアイテムとユーザプロファイルを検索するように、サーバ１０２に通信する。ユーザプロファイルを最も新しく保持するように、自律走行車１０６と１０６Ｎとはサーバ１０２に更新コンテンツ（例えば、ユーザインタラクティブ）を送信することができる。例えば、収集しているユーザインタラクティブを周期的に分析して且つ関連するユーザプロファイルをコンパイルしたり更新したりするように、サーバ１０２はプロファイルコンパイラ（図示せず）を呼び出すことができる。一実施形態において、ユーザプロファイルは自律走行車１０６にローカルに記憶され又は高速にキャッシュされる。これは、自律走行車１０６は必ずしもサーバ１０２に対するネットワークアクセス権限を常に有するとは限らない可能性があるので、自律走行車１０６に対して、ユーザプロファイルをそのローカル記憶装置にロードするのは有利である。
コンテンツ記憶装置１２０とユーザプロファイル記憶装置１２２は様々な形式でデータを記憶及び整理することができる。データは不揮発性記憶装置（例えば、持続的記憶装置、例えばハードディスク）にある通常ファイルとして記憶されることができる。代わりに、データはサーバ１０２のメモリのみに存在でき、システム起動中にサーバ１０２により他の位置から検索して前記メモリにロードする。データも一つ又は複数のデータベースに記憶されることができ、例えばＳＱＬ（構造化照会言語）（前記ＳＱＬは特定のデータベース管理システムによりサポートされる）を使用するアプリケーションによって複雑なデータクエリーをサポートする。当業者はほとんどの場合にどのような形式を選択してコンテンツ記憶装置１２０とユーザプロファイル記憶装置１２２にデータを記憶及び整理することが分かる。
コンテンツ記憶装置１２０に記憶されるコンテンツアイテムの例示は情報媒体又はテキストコンテンツ、娯楽用の短いメディアクリップ、ニュースアイテム、サブスクリプションに基づくいずれかのコンテンツアイテムなどを含むが、これらに制限されない。一実施形態において、少なくともいくつかのコンテンツアイテムはインタラクティブに提示されることができ、これによって、コンテンツアイテムの視聴者は前記コンテンツアイテムに応答することを可能にする。視聴者からのこのような応答は、例えば、完全にコンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムをそれに転送するように電話番号又は電子メールアドレスを提供する応答、視聴者が将来にその他の類似するコンテンツアイテムを受信することにどれくらい興味あるかを指示する評価を提供する応答、及びいかなる理由で前記コンテンツアイテムを削除する応答などを含む。
ユーザプロファイルに含まれた情報は、ユーザの、過去のユーザが受信したいコンテンツアイテムに関する行動モード及び／又は好み、搭乗者の統計情報などを含むことができるが、これらに制限されない。ユーザがインタラクティブした履歴（例えば、履歴ログ）は続いてコンテンツ選択に用いられることができ、ユーザのインタラクティブ履歴はデータ収集システム（図面せず）により収集されることができる。
説明のみを目的として図１Ａに示したような配置を記述することを、注意すべきである。その他の実現方式が存在してもよい。他の実施形態によれば、ある操作は自律走行車１０６ではなく、サーバ１０２に実行されてもよい。例えば、画像処理モジュール１１０及び／又はコンテンツ選択エンジン１１２はサーバ１０２に保存されてもよい。自律走行車１０６は、その中で処理及び認識を行うように、簡単にキャプチャされた画像をサーバ１０２に伝送してもよい。サーバ１０２にコンテンツアイテムリストを認識してもよい。選択されたコンテンツアイテムは、加えられるように、自律走行車１０６に返送されてもよい。代わりに、コンテンツレンダリングモジュール１１３もサーバ１０２に保存されてもよく、選択されたコンテンツアイテムを画像に加えて且つ拡張画像を自律走行車１０６に返送して提示することに供する。その他の配置が存在してもよい。
図１Ｂは本出願の一実施形態に係る自律走行車用のコンテンツをレンダリングする処理フローを示す図である。過程１８０は図１Ａの自律走行車１０６により実行されることができる。図１Ｂを参照して、自律走行車のセンサーシステム１３０（例えば、一つ又は複数のビデオカメラ）は物理対象１８２の画像１８４をキャプチャする。物理対象１８２は沿道の建物、標識（例えば、対象の普及、説明）であってもよい。ビデオカメラは通常の車両の通常の窓が所在する位置に取り付けられることができる。したがって、画像１８４はユーザの角度から窓を通して車両外部を見るビュー（このような配置は拡張仮想現実環境とも呼ばれる）を表示することができる。自律走行車において、窓が存在しない可能性がある。逆に、「窓」は表示装置（即ち車窓状に成型したフラット又は曲がった画面表示装置）により表示又は代替されることができる。表示装置は一つ又は複数の適切なビデオカメラによってリアルタイムで動的にキャプチャされた画像又は画像ストリーム（例えば、ビデオ）を表示し、ユーザが透明な窓を通して実際の物理コンテンツを見る又は視聴することと同様である。各「窓」（例えば、表示装置）に対して、相応な表示チャンネルが存在してリアルタイムに表示しようとするコンテンツをストリーム送信し、前記コンテンツはコンテンツ提示装置１０８を少なくとも備える拡張現実システムにより集中的に処理されることができる。
再び図１Ｂを参照して、画像１８４は画像処理モジュール１１０により処理され、一つ又は複数のキーワード又は興味のあるポイント（ＰＯＩ）１９２を導出するように、画像処理モジュール１１０は画像１８４に対して画像認識を実行する。例えば、導出されたキーワードはキャプチャされた画像（例えば、キーワード付きの標識又はキーワード付きの標識を有する建物）に含まれることができる。代わりに、キーワードは画像１８４のコンテンツに基づいて導出されてもよい（例えば、セマンティクスで画像のコンテンツに関連する）。画像処理モジュール１１０は画像により表示されたコンテンツの種類を確定するように、画像のコンテンツを分析する。
キーワード１９２に基づいて、コンテンツアイテムリストを認識するように、コンテンツ選択モジュール又はエンジン１１２はコンテンツデータベース１４０において捜索する。ランキングアルゴリズムに基づいてコンテンツアイテムをランキングすることができる。ユーザのユーザプロファイル（例えば、ユーザの前のインタラクティブ履歴）及びその他の情報（例えば、位置及びルート情報、リアルタイム交通情報、前記ルート沿道の興味のあるポイント）に基づいてコンテンツアイテムのランキングを確定することができる。続いて、コンテンツアイテムの候補オプションリストからコンテンツアイテム１８６を選択する。コンテンツレンダリングモジュール１１３は拡張画像１８８を生成するように、コンテンツアイテム１８６を合併するか又は画像１８４に加える。例えば、コンテンツアイテム１８６を画像１８４に重ね合わせることができる。コンテンツアイテム１８６はテキスト又は他の画像であってもよい。続いてコンテンツ提示モジュール１１４によって表示装置１９０に拡張画像１８８を提示する。
図２は本出願の一実施形態に係る画像処理モジュールを示すブロック図である。図２では、画像処理モジュール２１０は画像認識モジュール２１２と画像分析モジュール２１４を備える。画像処理モジュール２１０は、車両周囲環境の画像を受信して且つ前記画像に関連する一つ又は複数のキーワードを確定するように配置される。より具体的に、画像処理モジュール２１０は車両に取り付けられるビデオカメラ２０２（センサーシステム１３０の一部として）から画像を受信して且つ前記画像から外部物理対象を認識する。画像処理モジュール２１０は続いて認識された物理対象に関連する一つ又は複数のキーワード又はＰＯＩを確定する。画像を前記画像に関連する一つ又は複数のキーワードに変換することは自動画像注釈、自動画像マーク又は言語インデックスと呼ばれる。これはコンピュータシステムによりコンピュータビジョン技術を使用して自動的にデジタル画像のためにメタデータ（例えばキーワード）を指定する過程である。コンピュータビジョン、人工知能、機械学習又はパターン認識分野における当業者は如何にこれらの技術を使用してこのような機能を実現することが分かる。
画像認識モジュール２１２は、自律走行車の一つ又は複数のビデオカメラから画像を受信して且つ前記画像から物理対象を認識するように配置される。例えば、画像における物理対象は映画館、ショッピングセンター又は販売情報を有する高速道路看板であってもよい。一実施形態において、画像認識モジュール２１２は自律走行車がルートに沿って運転する際に連続的に操作する。
画像分析モジュール２１４は、物理対象に関連する一つ又は複数のキーワードを確定するように、物理対象を分析するように配置される。画像処理モジュール２１０は続いて前記キーワードをコンテンツ選択エンジン１１２に提供してこれらのキーワードに基づいてコンテンツアイテムを選択するようにする。画像は１つ以上の認識された物理対象を含む際に、画像分析モジュール２１４は、各物理対象を単独に分析してそれらに関連するキーワードを確定することができる。
図３は本出願の一実施形態に係るコンテンツ選択エンジンを示すブロック図である。コンテンツ選択エンジン３１２はコンテンツマッピングモジュール３０２、コンテンツ検索モジュール３０４及びコンテンツアイテムランキングモジュール３０６を備える。コンテンツ選択エンジン３１２は複数の要素（例えば以下でより詳しく検討するようなもの）に基づいて画像処理モジュール１１０が提供したキーワードに関連するコンテンツアイテムを選択し、車両の搭乗者に提示するようにする。
コンテンツマッピングモジュール３０２は画像処理モジュール１１０が提供したキーワードに関連する一つ又は複数のコンテンツアイテムをマッチングする。例えば、コンテンツマッピングモジュール３０２はインデックスの検索を実行することができる。前記インデックスは数多くのマッピングエントリーを含み、各マッピングエントリーはキーワードを一つ又は複数の画像を認識する一つ又は複数の画像識別子（ＩＤ）にマッピングする。前記インデックスは先に例えばサーバ１０２にコンパイルされて自律走行車にダウンロードされるものであってもよい。一実施形態において、各候補コンテンツアイテムは前記コンテンツアイテムのある面を特徴付ける一つ又は複数のキーワードに関連する。各コンテンツアイテムに用いられるこのような情報は捜索インデックスとして記憶され、インデックスキーはキーワードであって、インデックスに組み込まれたアイテムはコンテンツアイテムである。コンテンツマッピングモジュール３０２はコンテンツ検索モジュール３０４にマッチングされたコンテンツアイテムの標識情報を提供することができる。
コンテンツ検索モジュール３０４はマッチングされたコンテンツアイテムの標識情報を使用してネットワーク１０４によってサーバ１０２からそれらのコンテンツアイテムを検索する。一実施形態において、コンテンツ提示装置１０８はすべての候補コンテンツアイテムのローカルコピーを記憶することを選択することができる。他の実施形態において、コンテンツ提示装置１０８はマッチングされたコンテンツアイテムを検索すると同時に、特に自律走行車１０６は無料ＷＩ−ＦＩネットワークに接続してネットワーク１０４に接続する際にマッチングしないが、類似するコンテンツアイテムを検索する。各候補コンテンツアイテムはコンテンツアイテムに関するいくつかの基本情報（例えば、マッチングされたキーワード「映画館」である場合に、新しい映画コンテンツアイテム（例えば、トレーラー）に関する伝記情報）を提供するメタデータに関連する。
一実施形態において、コンテンツアイテムランキングモジュール３０６はそれぞれの検索されたコンテンツアイテムのメタデータ及び搭乗者の過去の行動パターン及び／又は好みに基づいて検索されたコンテンツアイテムをランキングする。そのためには、コンテンツアイテムランキングモジュール３０６は更にサーバ１０２から搭乗者のユーザプロファイルを検索して、前記ユーザプロファイルは搭乗者の過去の行動パターン及び／又は好み情報（例えば、前記ユーザ又はその他のユーザに類似する以前のインタラクティブ履歴）を含む。代わりに、搭乗者は彼又は彼女自身のユーザプロファイルを自律走行車１０６に記憶することができる。なお又は代わりに、検索されたコンテンツアイテムのランキングは更に一つ又は複数の他の個人の過去の行動パターン及び／又は好みに基づいて行うことができる。一実施形態において、検索されたコンテンツアイテムのランキングは搭乗者及び／又は一つ又は複数の他の個人の人口統計情報に基づいて行うことができる。一般的に、ユーザ又は搭乗者がユーザ情報とルート情報（例えば、開始位置と目的地）を入力する際に、例えば中央サーバ１０２又はローカル記憶装置からユーザのユーザプロファイルを取得することができる。一実施形態において、検索されたコンテンツアイテムのランキングは車両コンテキスト情報に基づいて行うことができる。前記車両コンテキスト情報は現在時間、車両位置、ルート、現在交通及び車両状態を含むが、これらに制限されない。
ランキングスコアの計算はコンテンツに基づく方式、協力に基づく方式又は混合方式であってもよい。コンテンツに基づくランキング方法はコンテンツアイテムの叙述とユーザ好みのプロファイルに基づく。コンテンツに基づくランキングにおいて、このユーザが好きなアイテムタイプを指示するように、キーワードを使用してコンテンツアイテムを叙述して且つユーザプロファイルを確立する。言い換えると、これらのアルゴリズムはユーザが過去に好きなアイテムに類似するアイテムに有利であるランキングを実行することを試す。協力ランキングは複数のユーザの間の協力に関し、且つ一般的に、１)現在のユーザ（例えば、選択されたコンテンツアイテムを見ようとする搭乗者）と同じ評価パターンを有するユーザを探すステップと、２)ステップ１)で探したそれらの同好の士のランキングスコアを使用して現在ユーザ用の予測スコアを計算するステップと、含む。混合方式は、コンテンツに基づくランキングと協力に基づくランキングを結合して且ついくつかの場合により有効である可能性がある。
図４は本出願の一実施形態に係るコンテンツ提示モジュールを示すブロック図である。図４において、コンテンツ提示モジュール４１６は搭乗者にコンテンツアイテムを表示するための表示装置４１４を備える。一実施形態において、表示装置４１４はコンテンツアイテムをテキスト、画像又はビデオコンテンツに表示するように操作されることができる。表示装置４１４は提示されたコンテンツアイテムに車両搭乗者が応答するための一つ又は複数の入力装置４２０を備える。なお又は代わりに、コンテンツ提示モジュール４１６は表示装置４１４の一部ではない一つ又は複数の入力装置４２２を備えてよい。
入力装置によって、表示装置４１４は搭乗者にインタラクティブコンテンツアイテムの配信をサポートする。このような提示はインタラクティブであり、原因は、例えば、前記コンテンツアイテムは１つ以上の階段を含んでよく、次の階段においてどれを表示するかは搭乗者が入力装置４２０又は４２２を使用して行った応答次第である。搭乗者の応答は、前記コンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムにより提供されたオプションから前記コンテンツアイテムを選択する応答、又は直ちに前記コンテンツアイテムを削除する応答を含むが、これらに制限されない。一般的に、前記応答は搭乗者が前記コンテンツアイテムを見る興味があるか否か及び／又は前記コンテンツアイテムを見ることにどれくらい興味あるかを指示することができ、且つそれから搭乗者はその他の類似するコンテンツアイテムの応答を予測することができる。一実施形態において、前記搭乗者用のユーザプロファイルを確立したり従来のユーザプロファイルを改善したりするように、搭乗者のそれぞれの応答を記録する。サーバ１０２は前記応答を合併して且つ対応的にユーザプロファイルを更新するように、コンテンツ提示装置１０８は定期的にサーバ１０２に応答情報を送信するように配置される。
一実施形態において、表示装置は搭乗者に対して透明であるので、搭乗者にとして、物理対象が表示装置を通して見える。表示装置に表示されたコンテンツアイテムの位置は搭乗者の角度から見る物理対象が表示装置での投影に近接する。したがって、搭乗者は座る際にわずかに移動すると、表示装置に表示されたコンテンツアイテムも搭乗者が物理対象を見ることに伴って移動する。
一実施形態において、表示装置４１４は、車両のフロントガラス、一つ又は複数の車窓、車両のムーンルーフ又はそれらのいずれかの組み合わせの部材の中の一部又はそれらの中に嵌め込まれるものである。以上のように、自律走行車において、物理の窓が存在しない可能性がある。逆に、「窓」は表示装置（即ち窓形状に成型したフラット又は曲がった画面表示装置）により表示されたり代替されたりすることができる。表示装置は一つ又は複数の適切なビデオカメラによってリアルタイムで動的にキャプチャされた画像又は画像ストリーム（例えば、ビデオ）を表示し、ユーザは透明な窓を介して実際の物理コンテンツを見る又は視聴することと同様である。各「窓」（例えば、表示装置）に対して、相応な表示チャンネルが存在してリアルタイムに表示しようとするコンテンツをストリーム送信し、前記コンテンツはコンテンツ提示装置１０８を少なくとも備える拡張現実システムにより集中的に処理されることができる。
一実施形態において、表示装置４１４はヘッドアップディスプレイであり、前記ヘッドアップディスプレイはコンテンツアイテムを提示して搭乗者（特に従来の車両における運転者）が眼光を通常の見る点から移る必要がない透明なディスプレイである。ヘッドアップディスプレイは更に、視聴者の目が光学的に近い計器を見た後に改めてフォーカスして外部を見る必要がない利点を有す。
図５は本出願の一実施形態に係るコンテンツアイテムを選択し且つ提示する過程を示すフローチャートである。過程５００は処理ロジックにより実行されることができ、前記処理ロジックはハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体に含まれる）又はその組み合わせを含む。例えば、過程５００はコンテンツ提示装置１０８により実行されることができる。
図５を参照して、ブロック５０２でにおいて、処理ロジックは車両の周囲環境の画像を受信して且つ前記画像に関連する一つ又は複数のキーワードを確定する。前記画像は車両のビデオカメラによりキャプチャされることができる。処理ロジックは前記画像における物理対象を認識して且つ前記物理対象に関連する一つ又は複数のキーワードを確定する。
ブロック５０４において、処理ロジックは前記キーワードに基づいてコンテンツデータベースからコンテンツアイテム候補オプションリストを認識する。各候補コンテンツアイテムは一つ又は複数のキーワードに関連し、且つマッチングはインデックスを捜索することによって行われ、インデックスキーはキーワードであっり、インデックスに組み込まれるアイテムはコンテンツアイテムである。ブロック５０６において、処理ロジックは各候補コンテンツアイテムのメタデータ及び搭乗者の過去の行動パターン及び／又は好みに基づいて検索されたコンテンツアイテムをランキングする。搭乗者の過去の行動パターン及び／又は好みはサーバにおける搭乗者のユーザプロファイルをアクセスすることによって得られる。
ブロック５０８において、拡張画像を生成するように、処理ロジックは例えばコンテンツアイテムを画像に加えることによって画像とコンテンツアイテムを合併する。ブロック５１０において、処理ロジックは搭乗者に前記コンテンツアイテムを提示して、前記コンテンツアイテムは物理対象のビューに対する位置に物理対象に対する搭乗者のビューを拡張する。処理ロジックは表示装置に前記コンテンツアイテムを表示して、前記表示装置は搭乗者に対して透明である。一実施形態において、前記透明な表示装置はヘッドアップディスプレイである。
図６は本出願の他の実施形態に係るコンテンツアイテムを選択及び提示する過程を示すフローチャートである。過程６００は処理ロジックにより実行されることができ、前記処理ロジックはハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的なコンピュータ可読媒体に含まれる）又はその組み合わせを含む。例えば、過程６００はコンテンツ提示装置１０８により実行されることができる。
図６を参照して、ブロック６０２において、処理ロジックは車両周囲環境の画像を受信して前記画像に関連する一つ又は複数のキーワードを確定する。前記画像は車両のビデオカメラによりキャプチャされることができる。処理ロジックは前記画像における物理対象を認識して且つ前記物理対象に関連する一つ又は複数のキーワードを確定する。ブロック６０４において、処理ロジックは各候補コンテンツアイテムのメタデータ、搭乗者の過去の行動パターン及び／又は好み、及び一つ又は複数のその他の個人の過去の行動パターン及び／又は好みに基づいて前記キーワードに関連するコンテンツアイテムを選択する。搭乗者と一つ又は複数のその他の個人の過去の行動パターン及び／又は好みはサーバにおけるそれらのユーザプロファイルをアクセスすることによって得られることができる。
続いて、ブロック６０６において、処理ロジックはインタラクティブ表示装置に搭乗者に前記コンテンツアイテムを表示する。インタラクティブ表示装置は搭乗者がコンテンツアイテムへの応答を受信でき、前記応答はコンテンツアイテムに対する搭乗者の興味を指示することができる。ブロック６０８において、処理ロジックは搭乗者からの前記コンテンツアイテムへの応答を受信する。一実施形態において、このような応答は、前記コンテンツアイテムの視聴を完成する応答、前記コンテンツアイテムにより提案された動作を取る応答、前記コンテンツアイテムにより提供されたオプションから前記コンテンツアイテムを選択する応答、又は前記コンテンツアイテムを直ちに削除する応答を含むが、これらに制限されない。続いて、ブロック６１０において、搭乗者の応答を合併するように、処理ロジックは搭乗者の応答を記録して且つ搭乗者のユーザプロファイルを更新する。これらの更新は前記搭乗者用のユーザプロファイルの確立又は従来のユーザプロファイルの改善に対して有用である。
上記自律走行車は、車両走行環境に関連する情報を検出するための１つまたは複数のセンサを含むセンサシステムを備えてもよい。前記車両およびそれに関連するコントローラは、検出された情報を用いてナビゲーションして前記環境を通過できる。前記センサシステムは、１つまたは複数のカメラ、マイクロホン、全地球測位システム（ＧＰＳ）、慣性計測ユニット（ＩＭＵ）、レーダーシステムおよび/または光検出および距離測定（ＬＩＤＡＲ）システムを備えてもよい。
ＧＰＳシステムは、自律走行車の地理的位置を推定できる。ＧＰＳシステムは、送受信機を備えてもよく、前記送受信機は、自律走行車の位置に関連する情報を提供するように動作できる。ＩＭＵユニットは、慣性加速度に基づいて自律走行車の位置および方位変化を感知できる。レーダーユニットは、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、感知対象以外に、レーダーユニットはさらに対象の速度および/または前進方向を感知できる。ＬＩＤＡＲユニットは、レーザで自律走行車が位置する環境における対象を感知してもよい。他のシステムの構成要素以外に、ＬＩＤＡＲユニットはさらに１つまたは複数のレーザ光源、レーザスキャナーおよび１つまたは複数の検出器を備えてもよい。カメラは、自律走行車の周辺環境の画像をキャプチャするための１つまたは複数の装置を備えてもよい。カメラはスチルカメラまたはビデオカメラであってもよい。カメラは、カメラが取り付けられたプラットフォームを回転および/または傾斜させるように機械的に移動してもよい。マイクロホンは、自律走行車の周辺環境から音声をキャプチャするように構成されてもよい。
自律走行車は、自律走行車環境における対象および/または特徴を識別するように１つまたは複数のカメラによりキャプチャされた画像を処理して分析するためのコンピュータビジョンシステムをさらに備えてもよい。前記対象は、交通信号、車道境界、他の車両、通行人および/または障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオ追跡および他のコンピュータビジョン技術を用いてもよい。いくつかの実施形態において、コンピュータビジョンシステムは、環境地図の描画、対象追跡、対象速度の推定等を行うことができる。
自律走行車は、自律走行車の走行経路を決定するためのナビゲーションシステムをさらに備えてもよい。例えば、ナビゲーションシステムは、自律走行車が大体最終目的地に到着する車道経路に沿って前進するとともに、感知した障害物を基本的に回避するように一連の速度および所定の前進方向を決定してもよい。目的地はユーザインタフェースによるユーザ入力に基づいて設定されてもよい。ナビゲーションシステムは自律走行車が走行していると同時に走行経路を動的に更新してもよい。ナビゲーションシステムは、ＧＰＳシステムおよび１つまたは複数の地図からのデータを合併して自律走行車用の走行経路を決定する。
自律走行車は、自律走行車環境における潜在的障害物を識別し、評価し且つ回避して、または他の方式で迂回するための衝突防止システムをさらに備えてもよい。例えば、衝突防止システムは、制御システムにおける１つまたは複数のサブシステムが旋回動作、方向転換動作、ブレーキ動作等を行うように操作することによって自律走行車のナビゲーション中の変更を実現してもよい。衝突防止システムは、周囲の交通モード、道路状況等に基づいて実現可能な障害物回避動作を自動的に決定してもよい。衝突防止システムは、他のセンサシステムにより自律走行車が旋回して入る隣接領域に位置する車両、建築障害物等を検出した場合に旋回動作を行わないように構成されてもよい。衝突防止システムは、利用可能で自律走行車の搭乗者の安全性を最大化する動作を自動的に選択してもよい。衝突防止装置は、自律走行車の車室に最小の加速度をもたらすように、予測した回避動作を選択してもよい。
自律走行車は、その周辺環境内に位置する外部システム（例えば装置、センサ、他の車両等）および/またはコントローラ、サーバ等との通信を可能にする無線通信システムをさらに備えてもよく、前記外部システムおよび/またはコントローラ、サーバ等は、車両の周辺環境に関連する有用な情報、例えば交通情報、天気情報等を提供できる。例えば、無線通信システムは、直接的にまたは通信ネットワークによって１つまたは複数の装置と無線で通信できる。無線通信システムは、任意のセルラ通信ネットワークまたは無線ＬＡＮ（ＷＬＡＮ）、例えばＷｉＦｉを用いてもよい。無線通信システムは、例えば赤外リンク、ブルートゥース等を用いて装置と直接的に通信できる。
なお、上記の構成要素（例えば、画像処理モジュール１１０、コンテンツ選択エンジン１１２、コンテンツ提示モジュール１１４等）の一部または全部は、ソフトウェア、ハードウェアまたはそれらの組合せにより実現できる。例えば、このような構成要素は、永久記憶装置にインストールされ且つ記憶されたソフトウェアとして実現でき、前記ソフトウェアは、プロセッサ（図示せず）でメモリにおいてロードされ且つ実行されることにより、本出願の全体にわたって説明されるプロセスまたは操作を実行する。あるいは、このような構成要素は専用ハードウェア（例えば集積回路（例えば、専用集積回路またはＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされまたは組み込まれた実行可能なコードとして実現されてもよく、前記実行可能なコードは対応するドライバーおよび/またはオペレーティングシステムによってアプリケーションからアクセスできる。また、このような構成要素は、プロセッサまたはプロセッサコアにおける特定ハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つまたは複数の特定命令によってアクセスされる命令セットの一部となる。
図７は、本出願の一実施形態と組み合わせて使用される車載コンテンツ提示用システムを例示的に示すブロック図である。例えば、システム７００は、上記プロセスまたは方法のいずれかを実行する上記任意のデータ処理システム（例えば、図１Aのコンテンツ提示装置１０８またはサーバ１０２）を示してもよい。システム７００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置または回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボードまたはアドインカード）、または他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現できる。
さらに、システム７００は、コンピュータシステムの多数の構成要素の詳細ビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素を要してもよいことを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム７００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータまたはハブ、無線アクセスポイント（ＡＰ）またはリピーター、セットトップボックス、またはそれらの組合せを示してもよい。また、単一の機器またはシステムのみを示したが、用語「機器」または「システム」は、さらに、独立または共同で１つ（または複数）の命令セットを実行することにより本明細書に説明される任意の１種または複数種の方法を実行する機器またはシステムの任意のセットを含むことを理解すべきである。
一実施形態において、システム７００は、バスまたは相互接続部材７１０によって接続されたプロセッサ７０１、メモリ７０３および装置７０５〜７０８を備える。プロセッサ７０１は、単一のプロセッサコアまたは複数のプロセッサコアを含む単一のプロセッサまたは複数のプロセッサを備えてもよい。プロセッサ７０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つまたは複数の汎用プロセッサであってもよい。より具体的には、プロセッサ７０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実現するプロセッサ、または命令セットの組合せを実現するプロセッサであってもよい。プロセッサ７０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラまたはベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つまたは複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。
プロセッサ７０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニットおよび中央ハブとして機能できる。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現できる。プロセッサ７０１は、命令を実行することにより本明細書に説明される操作およびステップを実行するための命令を実行ように構成される。また、システム７００は、選択可能なグラフィックサブシステム（表示コントローラおよび／または表示装置）７０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム（表示コントローラおよび／または表示装置）７０４は、表示コントローラ、グラフィックプロセッサおよび/または表示装置をさらに備えてもよい。
プロセッサ７０１は、メモリ７０３と通信してもよく、メモリ７０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ７０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）または他のタイプの記憶装置のような１つまたは複数の揮発性記憶（またはメモリ）装置を備えてもよい。メモリ７０３は、プロセッサ７０１または任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、入力出力基本システムまたはＢＩＯＳ）および/またはアプリケーションの実行可能なコードおよび/またはデータはメモリ７０３にロードされてもよく、プロセッサ７０１により実行される。オペレーティングシステムは、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ(R)/ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ(R)、Ｕｎｉｘ(R)または他のリアルタイムまたは組み込みオペレーティングシステム（例えばＶｘＷｏｒｋｓ）のような任意のタイプのオペレーティングシステムであってもよい。
システム７００は、Ｉ/Ｏ装置、例えば装置７０５〜７０８をさらに備えてもよく、ネットワークインターフェース装置７０５、選択可能な入力装置７０６および他の選択可能なＩ/Ｏ装置７０７を備える。ネットワークインターフェース装置７０５は、無線送受信機および/またはネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）または他の無線周波数（ＲＦ）送受信機またはそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。
入力装置７０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置７０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）および/またはキーボード（例えば、物理キーボードまたはタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置７０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーンおよびタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外および表面音波の技術を含むが、それらに限定されない）のいずれか、およびタッチスクリーンの１つまたは複数の接触点を決定するための他の近接センサアレイまたは他の素子を用いてそのタッチ点および移動または断続を検出できる。
Ｉ/Ｏ装置７０７は音声装置を備えてもよい。音声装置は、スピーカおよび/またはマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録および/または電話機能のような音声サポートの機能を促進する。他のＩ/Ｏ装置７０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ−ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）またはそれらの組合せをさらに備えてもよい。装置７０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真およびビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材７１０に接続されてもよく、キーボードまたは熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム７００の特定配置または設計により決められる。
データ、アプリケーション、１つまたは複数のオペレーティングシステム等のような情報の永久記憶を提供するために、大容量記憶装置（図示せず）は、プロセッサ７０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現し且つシステムの応答能力を向上させるために、このような大容量記憶装置は、ソリッドステート装置（ＳＳＤ）によって実現できる。なお、他の実施形態において、大容量記憶装置は、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態および他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現できる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ７０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムの基本入力/出力ソフトウェア（ＢＩＯＳ）および他のファームウェアを備える。
記憶装置７０８は、任意の１種または複数種の本明細書に記載の方法または機能を体現する１つまたは複数の命令セットまたはソフトウェア（例えば、モジュール、ユニットおよび/またはロジック７２８）が記憶されるコンピュータアクセス可能な記憶媒体７０９（機械可読記憶媒体またはコンピュータ可読媒体とも呼ばれる）を備えてもよい。モジュール/ユニット/ロジック７２８は、上記した検索エンジン、エンコーダ、インタラクションログ記録モジュールのような上記構成要素のいずれかを示してもよい。モジュール/ユニット/ロジック７２８は、さらにデータ処理システム７００により実行される期間にメモリ７０３内および/またはプロセッサ７０１内に完全または少なくとも部分的に存在してもよく、ここで、メモリ７０３およびプロセッサ７０１も、機器アクセス可能な記憶媒体を構成する。モジュール/ユニット/ロジック７２８は、さらにネットワークによってネットワークインターフェース装置７０５を経由して送受信されてもよい。
コンピュータ可読記憶媒体７０９は、以上に説明されたいくつかのソフトウェア機能を永続的に記憶してもよい。コンピュータ可読記憶媒体７０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つまたは複数の命令セットが記憶される単一の媒体または複数の媒体（例えば、集中型または分散型データベース、および/または関連するキャッシュおよびサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶またはコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行され且つ前記機器に本出願の任意の１種または複数種の方法を実行させる。したがって、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリおよび光学媒体と磁気媒体または任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。
本明細書に記載のモジュール/ユニット/ロジック７２８、構成要素および他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、またはハードウェアコンポーネント（例えばＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰまたは類似装置）の機能に統合されてもよい。さらに、モジュール/ユニット/ロジック７２８は、ハードウェア装置内のファームウェアまたは機能回路として実現されてもよい。また、モジュール/ユニット/ロジック７２８は、ハードウェア装置およびソフトウェアコンポーネントの任意の組合せで実現されてもよい。
なお、システム７００は、データ処理システムの各種の構成要素を有するように示されているが、任意の具体的な構造または構成要素の相互接続方式を限定するものではないことに注意すべき、それは、このような詳細が本出願の実施形態に密接な関係がないためである。また、より少ない構成要素またはより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバおよび/または他のデータ処理システムは、本出願の実施形態と共に使用されてもよい。
上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズムおよび記号表現で示される。これらのアルゴリズムの説明および表現は、データ処理分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した操作列（sequence of operations）と考えられる。これらの操作とは、物理量に対して物理的操作を行う必要となるステップを指す。
ただし、これらの全ておよび類似の用語は、いずれも適切な物理量に関連付けられ、且つただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステムまたは類似の電子計算装置の動作および処理であり、前記コンピュータシステムまたは電子計算装置は、コンピュータシステムのレジスタおよびメモリに物理（例えば、電子）量としてデータを示し、且つ前記データをコンピュータシステムメモリまたはレジスタまたは他のこのような情報メモリ、伝送または表示装置内において類似に物理量として示される他のデータに変換する。
本出願の実施形態は、さらに本明細書における操作を実行するための装置に関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。
上記図面に示されるプロセスまたは方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、または両方の組合せを含む処理ロジックにより実行されてもよい。前記プロセスまたは方法は、本明細書において特定の順序に応じて説明されるが、説明された操作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの操作は、順番ではなく並行に実行されてもよい。
本出願の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本出願の実施形態の教示を実現できることを理解すべきである。
以上の明細書では、本出願の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本出願のより広い趣旨および範囲を逸脱しない限り、様々な変形が可能である。したがって、限定的なものではなく例示的なものとして本明細書および図面を理解すべきである。

Claims (24)

  1. 自律走行車の外部の物理対象の第１画像を受信するステップと、
    前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、
    前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
    第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
    前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
    ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
    ことを特徴とする自律走行車にコンテンツを提示するためのコンピュータ実現方法。
  2. 前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
    ことを特徴とする請求項１に記載の方法。
  3. 前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
    ことを特徴とする請求項１に記載の方法。
  4. 前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
    ことを特徴とする請求項３に記載の方法。
  5. 前記物理対象は、前記表示装置において前記ユーザの角度から現れた仮想対象として表示される
    ことを特徴とする請求項４に記載の方法。
  6. 前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
    ことを特徴とする請求項１に記載の方法。
  7. 前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
    ことを特徴とする請求項６に記載の方法。
  8. 前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
    前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップと、を更に含んでおり、
    ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
    ことを特徴とする請求項１に記載の方法。
  9. 非一時的な機械可読媒体であって、その中に記憶される指令を有し、前記指令はプロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサにさせて、前記操作は、
    自律走行車の外部の物理対象の第１画像を受信するステップと、
    前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、
    前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
    第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
    前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
    ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
    ことを特徴とする非一時的な機械可読媒体。
  10. 前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
    ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
  11. 前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
    ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
  12. 前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
    ことを特徴とする請求項１１に記載の非一時的な機械可読媒体。
  13. 前記物理対象は前記表示装置には前記ユーザの角度から現れた仮想対象として表示される
    ことを特徴とする請求項１２に記載の非一時的な機械可読媒体。
  14. 前記操作は前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
    ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
  15. 前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
    ことを特徴とする請求項１４に記載の非一時的な機械可読媒体。
  16. 前記操作は、
    前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
    前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップと、を更に含んでおり、
    ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
    ことを特徴とする請求項９に記載の非一時的な機械可読媒体。
  17. データ処理システムであって、
    プロセッサと、
    前記プロセッサに接続され、指令を記憶することに用いられ、前記指令は前記プロセッサにより実行される際に、自律走行車においてコンテンツを提示する操作を前記プロセッサに実行させるメモリと、を備え、前記操作は、
    自律走行車の外部の物理対象の第１画像を受信するステップと、
    前記物理対象に関連する一つ又は複数のキーワードを導出するように、前記第１画像に対して画像認識を実行するステップと、
    前記一つ又は複数のキーワードに基づいて一つ又は複数のコンテンツアイテムのリストを認識するステップと、
    第２画像を生成するように、前記コンテンツアイテムリストから選ばれた第１コンテンツアイテムを前記第１画像に加えるステップと、
    前記自律走行車内の表示装置には前記第２画像を表示するステップと、を含んでおり、
    ここで、前記第１画像は前記自律走行車に装着される画像センサーによりキャプチャされる
    ことを特徴とするデータ処理システム。
  18. 前記第２画像は前記物理対象の前記第１画像及び前記第１画像に重ね合わせる前記第１コンテンツアイテムを含む
    ことを特徴とする請求項１７に記載のシステム。
  19. 前記表示装置は、前記自律走行車のユーザと前記物理対象との間の仮想窓として表現されるように配置及び位置決めされる
    ことを特徴とする請求項１７に記載のシステム。
  20. 前記第２画像は、前記ユーザが前記仮想窓を介して前記物理対象を直接見ているように、仮想現実方式で表示される
    ことを特徴とする請求項１９に記載のシステム。
  21. 前記物理対象は前記表示装置には前記ユーザの角度から現れた仮想対象として表示される
    ことを特徴とする請求項２０に記載のシステム。
  22. 前記操作は前記ユーザのユーザプロファイルに基づいて前記コンテンツアイテムリストをランキングするステップを更に含み、ここで、前記第１コンテンツアイテムが前記ランキングに基づいて選択される
    ことを特徴とする請求項１７に記載のシステム。
  23. 前記表示装置は前記第２画像と行ったユーザインタラクティブを受信するように、タッチスクリーンを備え、且つ前記ユーザインタラクティブが前記ユーザプロファイルの更新に用いられる
    ことを特徴とする請求項２２に記載のシステム。
  24. 前記操作は、
    前記自律走行車の運転ルートに沿う位置とルート情報を取得するステップと、
    前記位置とルート情報に基づいて興味のあるポイント（ＰＯＩ）を取得するステップ、を更に含んでおり、
    ここで、前記コンテンツアイテムリストが前記ＰＯＩに基づいて認識される
    ことを特徴とする請求項１７に記載のシステム。
JP2016230434A 2016-04-26 2016-11-28 自律走行車においてメディアコンテンツを提示するためのシステム及び方法 Active JP6456901B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/139,079 US10323952B2 (en) 2016-04-26 2016-04-26 System and method for presenting media contents in autonomous vehicles
US15/139,079 2016-04-26

Publications (2)

Publication Number Publication Date
JP2017198647A true JP2017198647A (ja) 2017-11-02
JP6456901B2 JP6456901B2 (ja) 2019-01-23

Family

ID=57482173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016230434A Active JP6456901B2 (ja) 2016-04-26 2016-11-28 自律走行車においてメディアコンテンツを提示するためのシステム及び方法

Country Status (5)

Country Link
US (1) US10323952B2 (ja)
EP (1) EP3240258B1 (ja)
JP (1) JP6456901B2 (ja)
KR (2) KR20170122092A (ja)
CN (1) CN107315988B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027104A (ja) * 2018-08-13 2020-02-20 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車のユーザプライバシー保護のための設計
KR20200040817A (ko) * 2017-12-19 2020-04-20 니혼온쿄엔지니어링 가부시키가이샤 항공기 운항 실적 정보의 수집 장치

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6143869B2 (ja) * 2013-07-31 2017-06-07 日立マクセル株式会社 携帯端末および映像表示装置
US10779055B2 (en) * 2016-02-12 2020-09-15 Rovi Guides, Inc. Systems and methods for recording broadcast programs that will be missed due to travel delays
US20170349184A1 (en) * 2016-06-06 2017-12-07 GM Global Technology Operations LLC Speech-based group interactions in autonomous vehicles
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
WO2018009552A1 (en) 2016-07-05 2018-01-11 Nauto Global Limited System and method for image analysis
EP3497405B1 (en) 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) * 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
WO2018053175A1 (en) * 2016-09-14 2018-03-22 Nauto Global Limited Systems and methods for near-crash determination
EP3535646A4 (en) 2016-11-07 2020-08-12 Nauto, Inc. SYSTEM AND METHOD FOR DETERMINING DRIVER DISTRACTION
US10929462B2 (en) * 2017-02-02 2021-02-23 Futurewei Technologies, Inc. Object recognition in autonomous vehicles
US10453150B2 (en) 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
JP6881242B2 (ja) * 2017-11-02 2021-06-02 トヨタ自動車株式会社 移動体及び広告提供方法
KR102434580B1 (ko) * 2017-11-09 2022-08-22 삼성전자주식회사 가상 경로를 디스플레이하는 방법 및 장치
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
US10303045B1 (en) * 2017-12-20 2019-05-28 Micron Technology, Inc. Control of display device for autonomous vehicle
WO2019132930A1 (en) * 2017-12-28 2019-07-04 Intel Corporation System and method for simulation of autonomous vehicles
CN108389160A (zh) * 2017-12-29 2018-08-10 中兴智能交通股份有限公司 一种虚拟现实技术的交通仿真方法和装置
US10963706B2 (en) * 2018-01-13 2021-03-30 Toyota Jidosha Kabushiki Kaisha Distributable representation learning for associating observations from multiple vehicles
EP3743788A1 (en) * 2018-01-22 2020-12-02 Apple Inc. Method and device for presenting synthesized reality content in association with recognized objects
US10123078B1 (en) 2018-02-02 2018-11-06 Rovi Guides, Inc. Methods and systems for selecting a media content item for presentation during a trip
EP3759700B1 (en) 2018-02-27 2023-03-15 Nauto, Inc. Method for determining driving policy
DE102018003130A1 (de) * 2018-04-17 2019-10-17 Psa Automobiles Sa Erprobung eines Fahrzeugs mit simulierten Verkehrsteilnehmern
KR102617120B1 (ko) * 2018-07-10 2023-12-27 삼성전자주식회사 차량의 글래스 윈도우 상에 멀티미디어 컨텐트를 디스플레이하는 방법 및 시스템
KR102095333B1 (ko) * 2018-07-24 2020-04-01 인하대학교 산학협력단 증강현실 기반 실차 테스트 방법 및 시스템
US10900723B2 (en) * 2018-09-17 2021-01-26 Pony Ai Inc. Cover for creating circular airflows inside an enclosure
DE102018218256A1 (de) 2018-10-25 2020-04-30 Volkswagen Aktiengesellschaft Verfahren zur Bereitstellung eines Rückzugsraumes zur zeitweiligen Erholung einer Person, Fahrzeug zur Verwendung bei dem Verfahren, sowie portables Gerät zur Verwendung bei dem Verfahren
KR102148704B1 (ko) 2018-11-02 2020-08-27 경희대학교 산학협력단 Mec 환경에서 자율 주행을 위한 딥러닝 기반 캐싱 시스템 및 방법
US20220224963A1 (en) * 2018-12-07 2022-07-14 Warner Bros. Entertainment Inc. Trip-configurable content
WO2020163801A1 (en) * 2019-02-08 2020-08-13 Warner Bros. Entertainment Inc. Intra-vehicle games
US11027650B2 (en) 2019-11-07 2021-06-08 Nio Usa, Inc. Method and apparatus for improving operation of a motor vehicle
CN111026937B (zh) * 2019-11-13 2021-02-19 百度在线网络技术（北京）有限公司 提取poi名称的方法、装置、设备和计算机存储介质
US11760370B2 (en) * 2019-12-31 2023-09-19 Gm Cruise Holdings Llc Augmented reality notification system
KR102266138B1 (ko) 2020-06-17 2021-06-17 (주)인티그리트 통합 멀티미디어 제공 시스템 및 방법, 이를 이용한 자율 주행 장치
KR20210158443A (ko) 2020-06-23 2021-12-31 인포뱅크 주식회사 자율주행 차량내 탑승객 선호 콘텐츠 표시 장치 및 방법
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014784A (ja) * 2003-06-26 2005-01-20 Hitachi Ltd 映像情報配信表示システム、並びに鉄道列車
JP2007040844A (ja) * 2005-08-03 2007-02-15 Mitsubishi Electric Corp 車載ナビゲーション装置
JP2010028492A (ja) * 2008-07-21 2010-02-04 Denso Corp 撮影情報閲覧システム
WO2014006688A1 (ja) * 2012-07-03 2014-01-09 三菱電機株式会社 ナビゲーション装置
JP2015064282A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 車両用案内表示装置及び方法
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法
US9076040B1 (en) * 2008-01-31 2015-07-07 Google Inc. Inferring locations from an image

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324453B1 (en) * 1998-12-31 2001-11-27 Automotive Technologies International, Inc. Methods for determining the identification and position of and monitoring objects in a vehicle
JPH09305107A (ja) * 1996-05-17 1997-11-28 Sony Corp ナビゲーション装置
JPH10100737A (ja) * 1996-09-27 1998-04-21 Honda Motor Co Ltd 自動運転車
JP3822546B2 (ja) * 2002-09-05 2006-09-20 株式会社東芝 移動体用コンテンツ提供システム
CN1696926A (zh) * 2004-05-15 2005-11-16 鸿富锦精密工业（深圳）有限公司 Mac地址自动分配系统及方法
GB2424091A (en) * 2005-03-11 2006-09-13 Alamy Ltd Ranking of images in the results of a search
JP4446188B2 (ja) * 2005-07-19 2010-04-07 ソニー株式会社 情報処理装置および方法、並びにプログラム
KR101219933B1 (ko) * 2010-09-13 2013-01-08 현대자동차주식회사 증강현실을 이용한 차량 내 디바이스 제어 시스템 및 그 방법
EP2450667B1 (en) * 2010-11-09 2016-11-02 Harman Becker Automotive Systems GmbH Vision system and method of analyzing an image
KR101338818B1 (ko) 2010-11-29 2013-12-06 주식회사 팬택 이동 단말기 및 이를 이용한 정보 표시 방법
US20130030074A1 (en) * 2011-07-26 2013-01-31 Basf Se Process for the continuous production of polyetherols
US20130083061A1 (en) * 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
JP2013101450A (ja) * 2011-11-08 2013-05-23 Sony Corp 情報処理装置及び方法、並びにプログラム
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
KR101329102B1 (ko) * 2012-02-28 2013-11-14 주식회사 케이쓰리아이 레이아웃 기술자와 이미지 특징점을 이용한 실시간 증강현실 이미지 검색시스템
US9096128B2 (en) * 2013-01-14 2015-08-04 Intel Corporation Creating a sensory experience in a vehicle
KR20140127527A (ko) 2013-04-25 2014-11-04 삼성전자주식회사 디스플레이장치 및 디스플레이장치를 이용한 추천정보 제공 방법
WO2015094371A1 (en) * 2013-12-20 2015-06-25 Intel Corporation Systems and methods for augmented reality in a head-up display
US20160335578A1 (en) * 2014-01-17 2016-11-17 Hitachi, Ltd Program for creating work assistance data
US20150321606A1 (en) 2014-05-09 2015-11-12 HJ Laboratories, LLC Adaptive conveyance operating system
KR102322027B1 (ko) * 2014-05-15 2021-11-08 삼성전자주식회사 개인화 정보 제공 시스템 및 그 방법
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
US20160022150A1 (en) * 2014-07-24 2016-01-28 Canon Kabushiki Kaisha Photoacoustic apparatus
KR102178892B1 (ko) * 2014-09-15 2020-11-13 삼성전자주식회사 정보 제공 방법 및 그 전자 장치
US9649979B2 (en) * 2015-01-29 2017-05-16 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle operation in view-obstructed environments
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
US20150348112A1 (en) 2015-08-12 2015-12-03 Madhusoodhan Ramanujam Providing Advertisements to Autonomous Vehicles

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005014784A (ja) * 2003-06-26 2005-01-20 Hitachi Ltd 映像情報配信表示システム、並びに鉄道列車
JP2007040844A (ja) * 2005-08-03 2007-02-15 Mitsubishi Electric Corp 車載ナビゲーション装置
US9076040B1 (en) * 2008-01-31 2015-07-07 Google Inc. Inferring locations from an image
JP2010028492A (ja) * 2008-07-21 2010-02-04 Denso Corp 撮影情報閲覧システム
WO2014006688A1 (ja) * 2012-07-03 2014-01-09 三菱電機株式会社 ナビゲーション装置
JP2015064282A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 車両用案内表示装置及び方法
JP2015087268A (ja) * 2013-10-31 2015-05-07 日産自動車株式会社 車両用走行案内装置および方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200040817A (ko) * 2017-12-19 2020-04-20 니혼온쿄엔지니어링 가부시키가이샤 항공기 운항 실적 정보의 수집 장치
KR102425801B1 (ko) * 2017-12-19 2022-07-28 니혼온쿄엔지니어링 가부시키가이샤 항공기 운항 실적 정보의 수집 장치
US11450217B2 (en) 2017-12-19 2022-09-20 Nihon Onkyo Engineering Co., Ltd. Device for collecting aircraft operation history information
JP2020027104A (ja) * 2018-08-13 2020-02-20 バイドゥ ユーエスエイ エルエルシーＢａｉｄｕ ＵＳＡ ＬＬＣ 自動運転車のユーザプライバシー保護のための設計
US10916077B2 (en) 2018-08-13 2021-02-09 Baidu Usa Llc User privacy protection on autonomous driving vehicles
JP2021170016A (ja) * 2018-08-13 2021-10-28 バイドゥ ユーエスエイ エルエルシーBaidu USA LLC 自動運転車のユーザプライバシー保護のための設計
JP7158537B2 (ja) 2018-08-13 2022-10-21 バイドゥ ユーエスエイ エルエルシー 自動運転車のユーザプライバシー保護のための設計

Also Published As

Publication number Publication date
CN107315988A (zh) 2017-11-03
EP3240258B1 (en) 2019-01-09
US20170309072A1 (en) 2017-10-26
CN107315988B (zh) 2020-12-11
KR20170122092A (ko) 2017-11-03
EP3240258A1 (en) 2017-11-01
KR102043588B1 (ko) 2019-11-11
US10323952B2 (en) 2019-06-18
JP6456901B2 (ja) 2019-01-23
KR20190039915A (ko) 2019-04-16

Similar Documents

Publication Publication Date Title
JP6456901B2 (ja) 自律走行車においてメディアコンテンツを提示するためのシステム及び方法
JP6310531B2 (ja) 自律走行車において拡張仮想現実コンテンツを提供するシステム及び方法
JP6456902B2 (ja) リアルタイム交通情報に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP6494589B2 (ja) リアルタイムで動的に決定された感知に基づいて自律走行車においてコンテンツを提供するシステムおよび方法
JP6615840B2 (ja) 自律走行車の個人運転好みの認識方法及びシステム
CN107577227B (zh) 操作无人驾驶车辆的方法、装置和数据处理系统
CN108027243B (zh) 用于操作自动驾驶车辆的控制误差校正规划方法
JP2018531385A6 (ja) 自律走行車を運行させるための制御エラー補正計画方法
CN110998563B (zh) 用于对视场中兴趣点消除歧义的方法、设备和绘图系统
US11615327B2 (en) Artificial intelligence device for providing search service and method thereof

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181005

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20181023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181219

R150 Certificate of patent or registration of utility model

Ref document number: 6456901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250