CN107650795A - 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备 - Google Patents

基于车辆传感器数据呈现车载媒体内容的系统、方法和设备 Download PDF

Info

Publication number
CN107650795A
CN107650795A CN201710599281.0A CN201710599281A CN107650795A CN 107650795 A CN107650795 A CN 107650795A CN 201710599281 A CN201710599281 A CN 201710599281A CN 107650795 A CN107650795 A CN 107650795A
Authority
CN
China
Prior art keywords
content
vehicle
closed caption
noise level
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710599281.0A
Other languages
English (en)
Inventor
凯西·布赖恩·费尔德曼
玛德琳·J·吴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN107650795A publication Critical patent/CN107650795A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Traffic Control Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

一种用于在车辆中提供媒体内容的系统，包括内容部件、噪声部件和隐藏字幕部件。内容部件配置为从内容提供商接收内容，其中内容配置为由车辆的媒体系统呈现。噪声部件配置为确定车辆舱室内的噪声水平。隐藏字幕部件配置为响应于确定噪声水平超过阈值来触发内容的隐藏字幕的显示。

Description

基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
技术领域
本公开总体上涉及用于在车辆内呈现媒体的方法、系统和装置，并且更具体地涉及基于车辆的当前事件和环境的呈现媒体。
背景技术
机动车为商业、政府和私营企业提供了相当大部分的运输。目前正在开发和部署自主车辆和驾驶辅助系统以提供安全特征、减少所需的用户输入量、甚至完全消除用户参与。例如，一些驾驶辅助系统可以在没有用户输入的情况下将车辆从一个位置驾驶到另一个位置，或者可以向作为人类驾驶员的用户提供帮助。这些系统通常需要知道环境，例如通过传感器或无线网络通信获得的当前驾驶条件和/或诸如从本地或远程存储的地图数据可用的位置或道路信息。
发明内容
根据本发明，提供一种方法，包含：
从内容提供商接收内容，其中内容配置为由车辆的媒体系统来呈现；
确定车辆舱室内的噪声水平，其中确定噪声水平包含基于车辆的当前速度、当前发动机转速、附近车辆的存在或数量、车辆振动或当前天气条件中的一个或多个来确定估计的舱室噪声水平；
响应于确定噪声水平超过阈值，触发内容的隐藏字幕(closed captioning)的显示；和
将内容和内容的隐藏字幕呈现在车辆的媒体系统上。
根据本发明的一个实施例，触发内容的隐藏字幕的显示包含向内容提供商提供对隐藏字幕的请求和接收对应于内容的隐藏字幕信息。
根据本发明的一个实施例，方法进一步包含响应于确定噪声水平低于以下中的一个或多个来停用对内容的隐藏字幕的显示：
包含上述阈值的第一阈值；或者
第二阈值。
根据本发明的一个实施例，停用隐藏字幕的显示包含向内容提供商提供隐藏字幕终止的指示。
根据本发明的一个实施例，内容包含音频内容，方法进一步包含响应于噪声水平而修改呈现音频内容的声音水平。
根据本发明的一个实施例，确定噪声水平进一步包含基于以下中的一个或多个来确定噪声水平：
舱室内部的麦克风；或者
舱室外部的麦克风。
根据本发明的一个实施例，进一步包含确定用于显示视觉内容的抬头显示器上的一个或多个显示区域的可用性；
其中在抬头显示器上的一个或多个显示区域的可用区域中呈现隐藏字幕。
根据本发明，提供一种系统，包含：
媒体系统，媒体系统用于呈现音频或视觉内容中的一个或多个；
内容部件，内容部件配置为从内容提供商接收内容，其中内容配置为由车辆的媒体系统来呈现；
噪声部件，噪声部件配置为确定车辆的舱室内的噪声水平，其中确定噪声水平包含基于车辆的当前速度、当前发动机转速、附近车辆的存在或数量、车辆振动或当前天气条件中的一个或多个来确定估计的舱室噪声水平；和
隐藏字幕部件，隐藏字幕部件配置为响应于确定噪声水平超过阈值，触发内容的隐藏字幕的显示。
根据本发明的一个实施例，隐藏字幕部件配置为通过向内容提供商提供对隐藏字幕的请求和接收对应于内容的隐藏字幕信息来触发内容的隐藏字幕的显示。
根据本发明的一个实施例，隐藏字幕部件进一步配置为响应于确定噪声水平低于以下中的一个或多个来停用内容的隐藏字幕的显示：
包含上述阈值的第一阈值；或者
第二阈值。
根据本发明的一个实施例，隐藏字幕部件配置为通过向内容提供商提供停止隐藏字幕的请求来停用隐藏字幕的显示。
根据本发明的一个实施例，内容包括音频内容，该系统进一步包含配置为响应于噪声水平来修改呈现音频内容的声音水平的声音水平部件。
根据本发明的一个实施例，系统进一步包含以下中的一个或多个：
舱室内部的麦克风；或者
舱室外部的麦克风；
并且其中噪声部件进一步配置为基于舱室内部的麦克风或者舱室外部的麦克风中的一个或多个来确定噪声水平。
根据本发明的一个实施例，系统进一步包含配置为确定用于显示视觉内容的抬头显示器上的一个或多个显示区域的可用性的车辆信息部件；
其中媒体系统在抬头显示器上的所述一个或多个显示区域的可用区域中呈现隐藏字幕。
根据本发明，提供一种存储指令的非暂时性计算机可读存储介质，指令在由一个或多个处理器执行时使处理器执行以下操作：
从内容提供商接收内容，其中内容配置为由车辆的媒体系统来呈现；
确定车辆的舱室内的噪音水平，其中确定噪声水平包含基于车辆的当前速度、当前发动机转速、附近车辆的存在或数量、车辆振动或当前天气条件中的一个或多个来确定估计的舱室噪声水平；
响应于确定噪声水平超过阈值，触发内容的隐藏字幕的显示；和
将内容和内容的隐藏字幕呈现在车辆的媒体系统上。
根据本发明的一个实施例，指令使处理器通过向内容提供商提供对隐藏字幕的请求和接收对应于内容的隐藏字幕信息，来触发对内容的隐藏字幕的显示。
根据本发明的一个实施例，指令进一步使得处理器响应于确定噪声水平低于以下中的一个或多个来停用对内容的隐藏字幕的显示：
包含上述阈值的第一阈值；或者
第二阈值。
根据本发明的一个实施例，指令使处理器通过向内容提供商提供停止显示隐藏字幕的指示来停用隐藏字幕的显示。
根据本发明的一个实施例，指令使处理器响应于噪声水平来修改呈现音频内容的声音水平。
根据本发明的一个实施例，指令进一步使得一个或多个处理器来确定用于显示视觉内容的抬头显示器上的一个或多个显示区域的可用性；
其中在抬头显示器上的一个或多个显示区域的可用区域中呈现隐藏字幕。
附图说明
参考以下附图描述了本公开的非限制性和非穷尽性实施方式，其中除非另有说明，相同的附图标记表示各种视图中的相似部分。考虑以下描述和附图将更好地理解本公开的优点，其中：
图1是示出根据一个实施方式的包括自动驾驶/辅助系统和媒体场景部件的车辆控制系统的实施方式的示意性框图；
图2示出了根据一个实施方式的从车辆舱室通过挡风玻璃的视图；
图3示出了根据一个实施方式的用于划分窗或其他显示区域的逻辑网格；
图4示出了根据一个实施方式的分割成具有显示内容的逻辑网格的视图；
图5示出了根据一个实施方式的分割成逻辑网格的另一视图；
图6是示出根据一个实施方式的用于在车辆中提供内容的方法的示意性通信流程图；
图7是示出根据一个实施方式的媒体场景部件的示例部件的示意性框图；
图8是示出根据一个实施方式的用于在车辆中提供媒体内容的方法的示意性流程图；和
图9是示出根据一个实施方式的用于为车辆中的媒体内容提供隐藏字幕的方法的示意性流程图。
具体实施方式
随着车辆变得更加智能并且提供自动或辅助驾驶特征，可能在驾驶期间消耗更多量的视觉或音频介质。特别是在自动驾驶条件下，驾驶员预计会有更多的空闲时间，其中娱乐可能是引人注目的参与来源。
申请人已经认识到，车辆提供了一种独特的环境，其中用于实现讲故事和主动乘客参与的新技术的机会是可能的。申请人提供使用传感器数据为车辆乘客提供沉浸式场景的系统、方法和设备。在一个实施例中，来自车辆传感器的传感器数据被用于考虑实时事件、对象和条件，并且提供增强的讲故事环境。可以使用包括显示和音频设备的媒体系统来显示已经基于实时事件、对象和条件进行了修改或改编的音频和/或视觉内容。视觉内容可能会显示在车辆内的窗、显示器或其他表面上。
根据一个实施例，用于在车辆内提供媒体的系统包括用于呈现音频或视觉内容中的一个或多个的媒体系统。该系统包括一个或多个车辆传感器。车辆传感器可以包括由自动驾驶系统或驾驶员辅助系统使用的相同的传感器。系统还可以包括车辆信息部件、场景状态部件和内容部件。车辆信息部件配置为基于来自一个或多个车辆传感器的传感器数据来生成关于车辆的环境或状态的车辆信息。场景状态部件配置为向内容提供商提供车辆信息。内容部件配置为从内容提供商接收内容，其中内容配置为基于车辆信息由车辆的媒体系统来呈现。内容提供商还将内容提供给车辆的媒体系统以进行呈现。
根据另一个实施例，用于在车辆内提供媒体的系统包括用于呈现音频或视觉内容中的一个或多个的媒体系统。系统还可以包括内容部件、噪声部件和隐藏字幕部件。内容部件配置为从内容提供商接收内容，其中内容配置为由车辆的媒体系统来呈现。噪声部件配置为确定车辆舱室内的噪声水平。隐藏字幕部件配置为响应于确定噪声水平超过阈值来触发内容的隐藏字幕的显示。
在一个实施例中，为内容提供商提供应用程序接口(API)以与车辆的媒体系统交互。例如，诸如DVD(数字视盘)播放器、移动计算设备或其他内容源的内容提供商可以与API交互以提供要在车辆环境中显示的内容。视觉内容可以显示在诸如挡风玻璃、窗、月亮天窗或者任何其它镜像或反射表面的表面上。在一个实施例中，内容可以显示在车辆的内部的壁面、顶板或其他部分上。音频内容可以在一个或多个扬声器上播放。内容提供商可以不仅提供用于播放的数据，而且还可以接收关于要显示内容的车辆的当前环境、事件或条件的数据。这允许内容制作者和内容提供商在更广泛的约束条件下运行，以开发人员友好的方式来讲述他们的故事。具体地，内容可以响应于来自传感器的数据或从传感器导出的数据而被修改。因此，至少一些实施例回收/再利用已经用于车辆的感知和控制导航的数据以提供娱乐或其他内容。
在一个实施例中，车辆能够经由应用接口将实时信息传送到内容提供商。因此，故事的制作可以提供用于向乘客展示故事内容的替代场景和情景。在增强现实观察中，为内容的制作者提供一系列特定的抽象传感器数据，生产者可以准备多个场景，以便在各种实时条件下讲述故事。因此，如何呈现内容可以根据传感器数据或者抽象的车辆信息而改变。在一个实施例中，可用场景模板和对象变量基于车辆传感器数据来确定，并从车辆提供给内容制作者。内容提供商基于由内容制作者确定和/或编码进内容或程序的规则，在任何特定的实时环境中来选择为乘客准备场景的方式。
可用于确定可用模板或车辆信息的示例传感器数据包括来自摄像机、光检测和测距(LIDAR)系统、雷达系统、定位系统、惯性测量单元、雨量传感器、环境光传感器、时钟等的数据。然后可以处理来自这些传感器的传感器数据以生成车辆信息。车辆信息可以指示关于车辆的事件、环境等的信息。车辆信息可以包括在确定要显示/呈现什么类型的内容以及在哪里/如何呈现内容时对内容提供商和/或媒体系统有用的抽象信息。在一个实施例中，还可以提供车辆信息的置信水平。基于该信息，内容提供商可以作出决定以确定哪些空间是可用的以及如何最佳地显示它。例如，内容提供商可以选择将最适合当前条件的可用空间的内容。
现在参考附图，图1示出了可用于自动或辅助驾驶和/或背景相关内容呈现的示例车辆控制系统100。车辆控制系统100包括可用于自动化或控制车辆的操作或者向人类驾驶员提供帮助的自动驾驶/辅助系统102。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、加速、灯、警报、驾驶员通知、无线电或任何其他辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能提供对驾驶(例如，转向、加速或制动)的任何控制，但是可以提供通知和警报以辅助驾驶者安全行驶。
车辆控制系统100还包括用于检测附近对象的存在或者确定母车辆(例如，包括车辆控制系统100的车辆)的位置的一个或多个传感器系统/设备。例如，车辆控制系统100可以包括一个或多个雷达系统106、一个或多个LIDAR系统108、一个或多个摄像机系统110、全球定位系统(GPS)112和/或一个或多个超声系统114。车辆控制系统100可以包括用于存储对于导航和安全的相关或有用数据(例如地图数据、驾驶历史或其他数据)的数据存储器116。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其他通信系统进行无线通信的收发机118。自动驾驶/辅助系统102可以使用来自一个或多个传感器的数据来确定如何控制车辆，并且还可以使用该数据来确定如何为一个或多个车辆乘客和/或驾驶员显示视觉或音频内容。
车辆控制系统100可以包括车辆控制致动器120，其用于控制诸如电动马达、开关或其它致动器的车辆的驾驶的各个方面，以控制制动、加速、转向等。车辆控制系统100还可以包括一个或多个显示器122、扬声器124或其他设备，使得可以向人类驾驶员或乘客提供通知或媒体内容。车辆控制系统100还可以包括舱室、发动机舱或车辆的其他位置中的麦克风126，其用于检测车辆内部或周围的声音。麦克风126可用于检测驾驶员或乘客的语音命令。显示器122可以包括可以由车辆的驾驶员或乘客看到的抬头显示器、仪表板显示器或指示器、显示屏幕或任何其它视觉指示器。投影显示器可用于在车辆中的窗(例如挡风玻璃、侧窗、后窗和/或天窗)或者任何其它反射表面上显示图像。扬声器124可以包括车辆的音响系统的一个或多个扬声器，或者可以包括专用于驾驶员通知或娱乐的扬声器。
在一个实施例中，自动驾驶/辅助系统102配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120以驾驶通过道路、停车场、车道或其他位置上的路径。例如，自动驾驶/辅助系统102可以基于由部件106-118中的任一个提供的信息或感知数据来确定路径。传感器系统/设备106-110和114可用于获得实时传感器数据，使得自动驾驶/辅助系统102可以辅助驾驶员或实时驾驶车辆。
传感器数据或其他数据也可用于提供沉浸式娱乐或其他媒体体验。例如，由自动驾驶/辅助系统102使用的数据可以由媒体场景部件104重新使用，以提供响应于车辆的当前环境或条件的内容。在一个实施例中，媒体场景部件104提供接收对于车辆信息(包括关于车辆的当前环境或条件的信息)的请求并且提供该车辆信息(包括关于车辆的当前环境或条件的信息)的API。例如，API可以由内容提供商系统或程序访问。内容提供商系统或程序可以基于车辆信息来确定要呈现的内容以及如何为用户呈现内容。例如，内容可以包括基于在驾驶期间伴随车辆发生的事件的分支故事情节等。
在一个实施例中，媒体场景部件104可以确定可用于确定如何选择或呈现内容的参数或其他信息的值。传感器数据可用于确定与车辆的乘客或驾驶员的视平线的位置相对应的显示器上的位置。例如，视平线的位置可用于显示似乎发生在视野上或视野以上的增强现实内容。传感器数据可用于确定用于可用显示区域的长宽比。例如，长宽比可以确定显示什么内容和/或如何显示该内容。传感器数据可用于确定相对于显示器的可用空间的位置。例如，可用空间的位置可以对应于从乘客的角度看没有对象的窗或挡风玻璃的区域，使得可以在该区域中清楚地显示图像。传感器数据可用于确定车辆周围存在的对象的类型。例如，乘客视野内的对象可以用作增强现实显示中的内容的一部分。传感器数据可用于执行深度映射。例如，到其他对象的距离可能有助于确定在何处可以显示数据，而不会妨碍车辆附近的对象。传感器数据可以用于确定天气条件，例如确定是否存在任何降水、风的存在等。传感器数据可用于确定车辆的当前地理位置。传感器数据可用于确定内容指南，例如可以显示数据的位置的限制、应该通过什么亮度显示内容以使乘客的眼睛可见和舒适等。传感器数据可用于确定车辆的当前速度或速率，其可以用于控制如何以及在何处显示内容。传感器数据可用于确定到达目的地之前的行驶时间。例如，驾驶时间可以用于确定在乘客需要离开车辆之前可以显示和/或完成哪些内容。
应当理解的是，图1的实施例仅以示例的方式给出。在不脱离本公开的范围的情况下，其它实施例可以包括更少的或附加的部件。另外，所示的部件可以组合或包括在其他部件中而不限于此。
现在参考图2，示出了从车辆舱室内通过挡风玻璃202的视图。在一个实施例中，投影仪可以用于在挡风玻璃上显示内容以供乘客或驾驶员观看。例如，可以形成从挡风玻璃202的玻璃投射或反射图像的抬头显示器，以显示图像、数据、视频或其他类型的视觉内容。在一个实施例中，视频、电影或其他运动内容可以显示在挡风玻璃上用于娱乐或信息的目的。在自动驾驶期间，整个挡风玻璃202可用于电影和/或交互式内容。例如，当不需要用户输入来驾驶车辆时，坐在驾驶员座椅上的人可以自由地消费媒体内容，并且可能不需要对道路的清晰的视野。在一个实施例中，当人类驾驶车辆时，可以在不阻挡驾驶员视野的区域中显示内容。如果车辆处于自主控制并且需要返回到人类控制，则内容的显示可以移动到挡风玻璃202的边缘或者不阻挡驾驶员视野的区域，然后将控制转移到驾驶员。
在驾驶车辆期间，车辆传感器可以收集包括关于车辆本身以及关于环境的信息的车辆信息。关于车辆本身的信息可以包括诸如速度、位置、发动机每分钟转数RPM、惯性或加速度测量值、噪声水平等的信息。关于环境的信息可以包括图像、LIDAR数据、雷达数据、超声数据、光水平或者关于车辆环境的其他数据。例如，可以获得在一个或多个方向上的车辆周围环境的图像。传感器数据可以包括由车辆或自主驾驶/辅助系统获取的任何数据，例如由自主驾驶/辅助系统用于在驾驶期间作出决定的信息。该数据也可以用于控制在车辆中显示什么类型的内容和/或如何显示该内容。在一个实施例中，可以处理或分析传感器数据以生成可用于确定在何处以及如何呈现音频或视觉内容的特定参数。例如，基于由摄像机拍摄的图像，媒体场景部件104可以标识视野204的位置。媒体场景部件104还可以确定挡风玻璃202上对应于视野204的区域。基于视野204相对于挡风玻璃202的位置，内容提供商能够显示位于视野204中或者位于视野204上方的图像或内容。例如，可以显示增强现实内容，使得它“位于”视野204上或给出在视野204上移动或交互的对象的外观。在一个实施例中，媒体场景部件104不做出关于如何显示内容的决定，而是提供车辆信息，使得内容提供商可以基于在一组预定义的规则来选择或者确定如何显示内容。在一个实施例中，媒体场景部件104可以提供关于车辆周围的区域的任何其他信息或允许内容提供商提供增强现实或者其他沉浸式内容的其他信息。例如，可以获得关于检测到的对象的信息、用于显示内容的可用空间或其他数据，并将其提供给内容提供商。在一个实施例中，媒体场景部件104可以确定显示区域或显示器(例如在挡风玻璃202内)内的内容应该显示或不应该显示的区域。
图3是示出了窗、显示器或其他显示区域如何在逻辑上划分为网格300的示意图。例如，图2的挡风玻璃202可以在逻辑上被划分为多个部分302。基于网格300，媒体场景部件104可以识别网格300内的适合或者不适合某些类型的内容的区域。然后，媒体场景部件104可以向内容提供商提供关于某些类型的内容是否应当理想地在某些部分中显示的指示。例如，每个部分可以被分配一个置信度值，以确定它是否对应于关于显示器的可用空间。例如，可用空间的位置可以对应于从乘客的角度看没有物体的窗或挡风玻璃的区域，使得可以在该区域中清楚地显示图像。也可以为部分302分配一个标签，该标签指示该部分中存在什么类型的对象。当邻近部分具有相似的值或标签时，内容提供商可能能够将它们视为单个更大的部分。因此，网格300的每个部分302中呈现的内容或者可以在网格300的每个部分302中显示的内容的指示可以不仅指示可以显示内容的地方，而且还可以指示用于该区域的长宽比(长度与高度比)。
图4示出了通过使用网格300在逻辑上划分的窗或挡风玻璃的视图。在右侧，存在一些树402，并且在顶部中部附近存在一些云404。媒体场景部件104可以将树402检测并识别为树以及将云检测并识别为云404，并且向内容提供商提供其存在、对象类型和位置的指示。媒体场景部件104还可以指示在视图的左侧有更多的可用空间。基于该信息，内容提供商可以生成用于在挡风玻璃或窗上显示的视觉内容406(用虚线示出以区分真实世界的内容)。由于其了解其他对象的位置，内容提供商可以生成似乎适合于视图的逼真的增强现实或虚拟现实内容。例如，内容406表示在真实世界云404和计算机生成的一盆黄金的图像之间延伸的计算机生成的彩虹的图像。在一个实施例中，可以以增强现实方式显示全部故事或描绘，使得存储器中的事件似乎发生在车辆周围的环境中。
图5示出了通过窗或挡风玻璃的另一视图500。使用对象检测和图像处理，媒体场景部件104可以识别对应于可用空间或天空的第一区域502(由图的右上方的粗体矩形部分表示)。媒体场景部件104还可以识别与车辆的可用空间或引擎盖区域对应的第二区域504(也由图中底部的粗体矩形部分表示)。例如，当需要时，隐藏字幕文本506可以显示在第二区域504中。媒体场景部件104可以识别这些区域并且针对视图500的每个部分馈送用于向内容提供商指示它们是否对应于可用空间的值的矩阵。可以生成多个不同的矩阵(包括在视图/环境中标识哪些区域包括道路、其他车辆或其他类型的对象的矩阵)并将其提供给内容提供商。
在一个实施例中，图4和图5的视图可以表示车辆的乘客或驾驶员在车辆内经历的视图。例如，图1的摄像机系统110可以包括位于车辆上或车辆内的摄像机，并且摄像机可以用于近似估算或预测车辆内的人类将经历的视图。因此，视图可以允许内容提供商在窗或挡风玻璃的区域内显示内容，使得内容看起来适合于人的视野。
图6是示出了用于基于车辆传感器数据提供媒体内容的方法600的示意性通信流程图。方法600可以由媒体场景部件104和内容提供商602执行。
方法600开始，并且媒体场景部件104在604接收来自一个或多个车辆传感器的传感器数据。传感器数据可以包括由自动驾驶/辅助系统102使用以控制车辆驾驶或向人类驾驶员提供帮助的相同或类似的传感器数据。使用传感器数据，媒体场景部件104在606执行对象识别和/或可用空间检测。例如，媒体场景部件104可以识别对象类型和/或确定没有附近对象的显示区域(例如，窗的区域)。
基于检测到的对象或可用空间的区域，媒体场景部件104在608可以选择或生成可用的场景配置文件。场景配置文件可以包括已经被通用化以潜在地适合各种驾驶条件或环境的显示模板。场景配置文件可以指示可以显示内容的显示器或窗的区域、可用显示区域的大小和长宽比、当前照明条件、周围环境中存在的对象的类型、视野位置、舱室内噪声水平等。在一个实施例中，场景配置文件可以基于传感器数据构造，并且可以包括基于传感器数据由车辆控制系统100确定的参数列表。场景模板中的示例信息可以包括关于视平线的信息、可用显示区域的长宽比、相对于显示器的可用空间的位置、存在于车辆周围的对象的类型和位置、到对象或表面的距离、天气条件、车辆的当前地理位置、内容指南、照明条件、车辆的当前速度或速率、一天中的时间、到达目的地之前的行驶时间等中的一个或多个。
在610，媒体场景部件104将包括场景配置文件信息的车辆信息发送到内容提供商602。媒体场景部件104可以经由API将数据发送到内容提供商。例如，内容提供商602可以经由API请求数据，或者可以订阅车辆信息或场景配置文件信息中的实时更新。基于车辆信息，内容提供商602在612选择内容进行显示或重放。例如，内容提供商602在612可以选择最适合车辆信息/场景配置文件的内容。内容提供商602可以包括提供功能或讲故事的多种不同内容类型。例如，可以使用不同的大小、位置或事件以多种不同的方式提供相同的功能或故事。基于车辆信息，内容提供商可以从可用内容中选择以匹配当前场景配置文件。此外，内容提供商602在614可以确定内容输出选项。例如，内容提供商602可以确定如何显示内容的一个或多个具体细节。示例细节可以包括在可用显示区域内的内容的亮度、位置或移动、噪声水平、隐藏字幕的存在等。
在确定内容和内容输出选项之后，内容提供商602在616向媒体场景部件104提供内容。媒体场景部件104在618向媒体系统提供内容以进行呈现或重放。媒体场景部件104和内容提供商602可以经由媒体场景部件104提供的API进行通信。媒体场景部件104与内容提供商602之间的消息或数据的物理传输可以通过无线或有线连接进行。在一个实施例中，内容可以被流传输到媒体场景部件104。在流传输期间，媒体场景部件104可以为场景或车辆信息中的改变提供实时更新。内容提供商602可以处理更新的数据以选择或修改被输出的内容。
图7是示出了媒体场景部件104的示例部件的框图。在所描绘的实施例中，媒体场景部件104包括传感器数据部件702、车辆信息部件704、场景状态部件706、隐藏字幕部件708、声音水平部件710和内容部件712。车辆信息部件704可以包括可用空间部件714和噪声部件716。部件702-716仅以说明的方式给出，并且可以不是全部包括在所有实施例中。事实上，一些实施例可以仅包括部件702-716中的一个或两个或更多个的任何组合。部件702-716中的一些可以位于媒体场景部件104的外部，例如在通过网络与媒体场景部件104通信的计算设备内。
传感器数据部件702配置为从一个或多个车辆传感器接收传感器数据。传感器数据可以包括来自摄像机、LIDAR系统、雷达系统、定位系统、加速度计、雨量传感器或环境光传感器中的一个或多个的数据。
车辆信息部件704配置为确定用于提供给内容提供商的车辆信息。车辆信息部件704可以基于来自一个或多个车辆传感器的传感器数据生成关于车辆的环境或状态的车辆信息。在一个实施例中，车辆信息部件704配置为确定用于显示视觉内容的一个或多个显示区域的可用性或优先级。例如，车辆信息部件704可以生成或确定与本文所讨论的当前场景、车辆状态、环境信息、事件信息等相关的任何数据。在一个实施例中，车辆信息部件704配置为生成包含以下中的一个或多个的车辆信息：当前天气条件；车辆的当前位置；车辆的当前速度；在车辆的舱室或车辆的行驶环境中的光水平。在一个实施例中，车辆信息部件704确定估计的路线时间或估计到达时间。车辆信息部件704可以包括用于包括车辆信息和/或场景配置文件信息的可用空间部件714和噪声部件716。
可用空间部件714配置为确定车辆周围的可用空间的区域。例如，可用空间部件714可以检测到没有树、建筑物或其他对象或结构的区域。例如，可用空间可以对应于只有天空、云或只有非常遥远的对象的区域。在一个实施例中，可用空间可以包括非常少的对比度或光谱信息的位置。例如，可用空间可以包括可以显示内容而不会被隐藏或难以看到的任何区域。可以基于图像、LIDAR、雷达或其他传感器数据来确定可用空间位置。
在一个实施例中，可用空间部件714执行对象检测。例如，可用空间部件714可以检测摄像机、LIDAR系统或雷达系统的视场内的对象的存在、位置和/或类型。在一个实施例中，可用空间部件可以确定每个对象的标签或类别以包括在场景配置文件中。可用空间部件714还可以确定对应于对象(或不存在对象)的窗或显示器上的位置。在一个实施例中，可用空间部件714可以确定用于人类乘客或驾驶员的视野的显示上的位置。例如，可用空间部件714可以确定乘客或驾驶员在显示器上看到视野、对象或可用空间的视野、可用空间、对象等的位置。
噪声部件716配置为确定车辆舱室内的噪声水平。在一个实施例中，噪声部件716可以使用车辆舱室内部或外部的麦克风通过直接采样噪声水平来确定噪声水平。例如，噪声部件716可以确定噪声的分贝数和/或频率内容。在另一实施例中，噪声部件716可以间接地确定或估计舱室噪声。例如，可以处理传感器数据以估计当前噪声水平。可用于估计或推断噪声水平的示例传感器数据或其他细节包括车辆的当前速度(例如，用于轮胎、风和/或发动机噪声)、当前发动机RPM(例如，发动机和/或齿轮噪声)、附近车辆的存在或数量(例如来自其他车辆的噪音)、车辆振动(例如由于路面)和/或天气条件(风、雨和/或轮胎噪声)。
在一个实施例中，基于由车辆信息部件704(包括可用空间部件714和噪声部件716)确定的数据，车辆信息部件704可以生成场景配置文件。场景配置文件可以包括本文讨论的任何信息和/或可以对应于内容提供商如何优选地显示数据。场景模板可以包括在当前情况下可以最好地显示什么类型的场景的细节和/或指示。示例场景类型可以包括：存在大量移动和动作并且可能需要访问显示器或窗的大区域的动作场景；可以显示大量人或对象的群体场景；以仅需要显示器的一部分的足够低的细节和分辨率显示对象的中等场景；可以仅需要小的显示区域来显示文本或其他图形内容的文本或图形场景；和/或其中需要场景的特写细节并且其中可能需要显示屏幕的全部或大部分的特写场景。
可以周期性地生成车辆信息和/或场景模板信息，以允许频繁或实时场景修改以适应变化的场景或车辆条件。例如，当前场景可以每一秒被修改和/或生成，以提供与车辆的当前条件一致的内容流和内容的不同显示。
场景状态部件706配置为向内容提供商提供车辆信息(包括场景配置文件)。例如，场景状态部件706可以向内容提供商提供由车辆信息部件704确定的任何数据。提供给内容提供商的车辆信息可以包括用于显示内容的一个或多个显示区域的可用性(例如和任何相关联的优先级)的指示。例如，显示区域可以包括显示器的逻辑网格内的部分。
隐藏字幕部件708配置为确定是否应与任何显示的内容一起显示隐藏字幕。例如，隐藏字幕部件708可以比较由噪声部件716确定的舱室噪声水平，以确定是否应显示隐藏字幕。响应于确定舱室噪声水平超过阈值，隐藏字幕部件708可以触发内容的隐藏字幕的显示。隐藏字幕部件708可以通过向内容提供商提供关于隐藏字幕的请求并接收对应于该内容的隐藏字幕信息来触发内容的隐藏字幕的显示。响应于确定噪声水平已经下降到低于阈值，隐藏字幕部件708还可以停用隐藏字幕的显示。隐藏字幕部件708可以使用第一阈值来触发隐藏字幕的显示，并且可以使用第二较低阈值来停用隐藏字幕的显示。隐藏字幕部件708可以通过向内容提供商发送指示来指示内容提供商可以停止或终止隐藏字幕。
声音水平部件710配置为响应于噪声水平来修改用于呈现音频内容的声音水平。例如，随着噪声水平的增加，声音水平部件710可以增加音频内容的声音水平。类似地，当噪声水平降低时，声音水平部件710可以降低音频内容的声音水平。然而，声音水平部件710可以将音频内容的声音水平保持在最小和最大噪声水平内，以避免损害听力和/或维持驾驶员或乘客仍然可以听到内容的声音水平。
内容部件712配置为从内容提供商接收内容。可以基于由车辆信息部件704生成的信息来特定地格式化或修改从内容提供商接收的内容。内容部件712还可以将接收到的内容提供给媒体系统以进行重放或呈现。例如，媒体系统可以包括配置为在车辆的一个或多个透明或反射表面上显示视觉内容的显示器。内容部件712可以向媒体系统提供内容以在车辆上的窗、挡风玻璃或其他表面或显示器上显示。
现在参考图8，示出了用于在车辆中呈现媒体内容的方法800的示意性流程图。方法800可以由媒体场景部件104(诸如图1、6或7的媒体场景部件104)来执行。
方法800开始，并且在802，车辆信息部件704基于来自一个或多个车辆传感器的传感器数据来生成关于车辆的环境或状态的车辆信息。在804，场景状态部件706将车辆信息提供给内容提供商。车辆信息可以包括用于车辆的当前条件/环境的场景配置文件。在806，内容部件712从内容提供商接收内容，其中内容配置为基于车辆信息由车辆的媒体系统来呈现。在808，内容部件712或媒体系统呈现内容。例如，在808，内容部件712可以通过向媒体系统提供用于呈现/重放的内容来呈现内容。在一个实施例中，在804提供车辆信息以及在806接收内容可以经由API在媒体场景部件104和内容提供商之间执行。
图9是用于在车辆中呈现媒体内容的方法900的示意性流程图。方法900可以由媒体场景部件104(诸如图1、6或7的媒体场景部件104)来执行。
方法900开始并且在902，内容部件712从内容提供商接收内容，其中内容配置为由车辆的媒体系统来呈现。在904，噪声部件716确定车辆舱室内的噪声水平。在906，隐藏字幕部件708响应于确定噪声水平超过阈值来触发内容的隐藏字幕的显示。在908，内容部件712或媒体系统在车辆的媒体系统上呈现该内容。
示例
以下示例涉及另外的实施例。
示例1是一种包括基于来自一个或多个车辆传感器的传感器数据生成关于车辆的环境或状态的车辆信息的方法。该方法包括向内容提供商提供车辆信息。该方法包括从内容提供商接收内容，其中内容配置为基于车辆信息由车辆的媒体系统来呈现。该方法还包括将内容呈现在车辆的媒体系统上。
在示例2中，示例1的媒体系统包括显示在车辆的一个或多个透明或反射表面上的显示器。
在示例3中，生成如示例1-2中任一项所述的车辆信息包括针对用于显示视觉内容的一个或多个显示区域确定可用性或优先级，以及向内容提供商提供一个或多个显示区域的可用性或优先级的指示。
在示例4中，示例3的从内容提供商接收内容，包括接收用于在一个或多个显示区域内显示的内容。
在示例5中，用于如示例3-4中任一项所述的一个或多个显示区域的可用性或优先级的指示包括显示器的逻辑网格内的一个或多个位置的指示。
在示例6中，生成如示例1-5中任一项所述的车辆信息包括以下中的一个或多个：确定与人类乘客或驾驶员的视野相对应的窗上的位置；以及检测与可用空间相对应的显示区域。
在示例7中，生成如示例1-6中任一项所述的车辆信息包括以下中的一个或多个：确定可显示内容的显示区域的长宽比；以及指示用于要显示的内容的大小或位置的要求的信息。
在示例8中，生成如示例1-7中任一项所述的车辆信息包括以下中的一个或多个：检测车辆的传感器的范围内的对象；以及确定与车辆的乘客或驾驶员的视线内的车辆外部的对象的距离。
在示例9中，生成如示例1-8中任一项所述的车辆信息包括确定以下中的一个或多个：当前天气条件；车辆的当前位置；车辆的当前速度；以及车辆的舱室内或者车辆的驾驶环境内的光水平。
在示例10中，生成如示例1-9中任一项所述的车辆信息包括确定估计的路线时间或估计的到达时间。
示例11是一种包括从内容提供商接收内容的方法，其中内容配置为由车辆的媒体系统来呈现。该方法包括确定车辆舱室内的噪声水平。该方法包括响应于确定噪声水平超过阈值来触发该内容的隐藏字幕的显示。该方法还包括将内容呈现在车辆的媒体系统上。
在示例12中，触发如示例11所述的内容的隐藏字幕的显示包括向内容提供商提供关于隐藏字幕的请求并接收对应于内容的隐藏字幕信息。
在示例13中，示例11-12中的任一项的方法进一步包括响应于确定噪声水平低于以下中的一个或多个来停用该内容的隐藏字幕的显示：包括上述阈值的第一阈值；或者第二阈值。
在示例14中，禁用如示例13中所述的隐藏字幕的显示包括向内容提供商提供隐藏字幕终止或停止的指示。
在示例15中，示例11-14中任一项中的内容包括音频内容；该方法还包括响应于噪声水平来修改用于呈现音频内容的声音水平。
在示例16中，确定如示例11-15中任一项所述噪声水平包括基于以下中的一个或多个来确定噪声水平：舱室内部的麦克风；或者舱室外部的麦克风。
在示例17中，确定如示例11-16中任一项所述的噪声水平包括：基于以下中的一个或多个来确定估计的舱室噪声水平：车辆的当前速度；当前发动机每分钟转数(RPM)；附近车辆的存在或数量；车辆振动；或者天气条件。
示例18是包括用于实施示例1-17中任一项所述方法的手段的系统或设备。
在上述公开中，已经参考了构成其一部分的附图，并且其中通过说明可以实践本公开的具体实施方式示出了附图。应当理解的是，在不脱离本公开的范围的情况下，可以利用其他实施方式并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的参考表明所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不必需包括特定特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，应当认为，结合其他实施例改变这样的特征、结构或特性是在本领域技术人员的知识范围内，无论是否有明确描述。
如本文所使用的，“自主车辆”可以是完全独立于人类驾驶员进行运行或操作的车辆；或者可以是在某些情况下独立于人类驾驶员进行运行或操作的车辆，而在其他情况下，人类驾驶员可能能够操作车辆；或者可以是主要由人类驾驶员操作但在自动驾驶/辅助系统的辅助下的车辆。
本文公开的系统、设备和方法的实施方式可以包含或利用包括诸如本文所讨论的一个或多个处理器和系统存储器的计算机硬件的专用或通用计算机。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(设备)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包含至少两种截然不同的计算机可读介质：计算机存储介质(设备)和传输介质。
计算机存储介质(设备)包括RAM(随机存取存储器)、ROM(只读存储器)、EEPROM(电可擦除可编程只读存储器)、CD-ROM、固态驱动器(“SSD”)(例如，基于RAM)、闪存、相变存储器(“PCM”)、其他存储器类型、其他光盘存储器、磁盘存储器或其他磁存储设备、或可用于以计算机可执行指令或数据结构的形式存储所需程序代码并且可以由通用或专用计算机访问的任何其他介质。
本文公开的设备、系统和方法的实施方式可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子设备之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线、无线、或者硬连线或无线的任何组合)传送或提供给计算机时，计算机将连接适当地视为传输介质。传输介质可以包括网络和/或数据链路，网络和/或数据链路可以用于以计算机可执行指令或数据结构的形式携带所需的程序代码装置，并且其可以由通用或专用计算机访问。以上的组合也应包括在计算机可读介质的范围内。
计算机可执行指令包含例如在处理器执行时使通用计算机、专用计算机或专用处理设备执行某一功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令、甚至是源代码。尽管主题已经以结构特征和/或方法动作特有的语言描述，但是应当理解的是，所附权利要求中限定的主题不一定限于上述描述的特征或动作。相反，所描述的特征和动作被公开为实现权利要求的示例形式。
本领域技术人员将理解的是，本公开可以在具有许多类型的计算机系统结构的网络计算环境中实施，计算机系统结构包括：内置车辆计算机、个人计算机、台式计算机、便携式计算机、消息处理器、手持设备、多处理器系统、基于微处理器或可编程消费电子产品、网络PC(个人计算机)、小型计算机、大型计算机、移动电话、PDA(掌上电脑)、平板电脑、寻呼机、路由器、交换机、各种存储设备等。本公开还可以在分布式系统环境中实现，其中通过网络连接(通过硬连线数据链路、无线数据链路、或者通过硬连线和无线数据链路的任何组合)，本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储设备中。
此外，在适当的情况下，本文所描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(ASIC)可以编程为执行本文的一个或多个系统和程序。在整个描述和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称引用。本文档不旨在区分名称而非功能不同的部件。
应当注意的是，上述传感器实施例可以包含计算机硬件、软件、固件或它们的任何组合，以执行它们功能的至少一部分。例如，传感器可以包括配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例设备在本文中是为了说明的目的而提供的，并且不旨在是限制性的。本公开的实施例可以在相关领域的技术人员已知的更多类型的设备中实现。
本公开的至少一些实施例已针对包含存储在任何计算机可用介质上的逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理设备中执行时，这样的软件使得设备如本文进行操作。
虽然上面已经描述了本公开的各种实施例，但是应当理解的是，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。本公开并非旨在穷举或将本公开限制为所公开的精确形式。根据上述教导，许多修改和变化是可能的。此外，应当注意的是，可以以期望形成本公开的附加混合实施方式的任何组合来使用上述替代实施方式中的任何一个或全部。
此外，虽然已经描述和示出了本公开的具体实施方式，但是本公开不限于如此描述和示出的部件的具体形式或布置。本公开的范围由所附权利要求、本文和不同申请中提交的任何将来的权利要求及其等同物来限定。

Claims (15)

1.一种方法，包含：
从内容提供商接收内容，其中所述内容配置为由车辆的媒体系统来呈现；
确定车辆舱室内的噪声水平；
响应于确定所述噪声水平超过阈值，触发所述内容的隐藏字幕的显示；和
将所述内容呈现在所述车辆的所述媒体系统上。
2.根据权利要求1所述的方法，其中触发所述内容的所述隐藏字幕的显示包含向所述内容提供商提供对所述隐藏字幕的请求和接收对应于所述内容的隐藏字幕信息。
3.根据权利要求1所述的方法，进一步包含响应于确定所述噪声水平低于以下中的一个或多个来停用对所述内容的所述隐藏字幕的显示：
包含所述阈值的第一阈值；或者
第二阈值。
4.根据权利要求3所述的方法，其中停用所述隐藏字幕的显示包含向所述内容提供者提供终止所述隐藏字幕的指示。
5.根据权利要求1所述的方法，包含以下一项或多项：
所述内容包含音频内容，所述方法进一步包含响应于所述噪声水平而修改用于呈现所述音频内容的声音水平；
确定所述噪声水平包含基于以下中的一个或多个来确定所述噪声水平：所述舱室内部的麦克风；或者所述舱室外部的麦克风；或
确定所述噪声水平包含基于以下中的一个或多个来确定估计的舱室噪声水平：所述车辆的当前速度；当前发动机每分钟转数(RPM)；附近车辆的存在或数量；车辆振动；或者天气条件。
6.一种系统，包含：
媒体系统，所述媒体系统用于呈现音频或视觉内容中的一个或多个；
内容部件，所述内容部件配置为从内容提供商接收内容，其中所述内容配置为由车辆的所述媒体系统来呈现；
噪声部件，所述噪声部件配置为确定所述车辆的舱室内的噪声水平；和
隐藏字幕部件，所述隐藏字幕部件配置为响应于确定所述噪声水平超过阈值，触发所述内容的隐藏字幕的显示。
7.根据权利要求6所述的系统，其中所述隐藏字幕部件配置为通过向所述内容提供商提供对所述隐藏字幕的请求和接收对应于所述内容的隐藏字幕信息来触发所述内容的所述隐藏字幕的显示。
8.根据权利要求6所述的系统，其中所述隐藏字幕部件进一步配置为响应于确定所述噪声水平低于以下中的一个或多个来停用所述内容的所述隐藏字幕的显示：
包含所述阈值的第一阈值；或者
第二阈值。
9.根据权利要求8所述的方法，其中所述隐藏字幕部件配置为通过向所述内容提供商提供停止所述隐藏字幕的请求来停用所述隐藏字幕的显示。
10.根据权利要求6所述的系统，其中所述系统包含以下的一项或者多项：
所述内容包括音频内容，所述系统进一步包含配置为响应于所述噪声水平来修改呈现所述音频内容的声音水平的声音水平部件；
所述系统进一步包含以下中的一个或多个：所述舱室内部的麦克风、或者所述舱室外部的麦克风；并且其中所述噪声部件配置为基于所述舱室内部的所述麦克风或者所述舱室外部的所述麦克风中的一个或多个来确定所述噪声水平；或
所述噪声部件配置为通过基于以下中的一个或多个确定估计的舱室噪声水平来确定所述噪声水平：所述车辆的当前速度；当前发动机每分钟转数(RPM)；附近车辆的存在或数量；车辆振动；或者天气条件。
11.一种存储指令的计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述处理器执行以下操作：
从内容提供商接收内容，其中所述内容配置为由车辆的媒体系统来呈现；
确定所述车辆的舱室内的噪音水平；
响应于确定所述噪声水平超过阈值，触发所述内容的隐藏字幕的显示；和
将所述内容呈现在所述车辆的所述媒体系统上。
12.根据权利要求11所述的计算机可读存储介质，其中所述指令使所述处理器通过向所述内容提供商提供对所述隐藏字幕的请求和接收对应于所述内容的隐藏字幕信息，来触发对所述内容的所述隐藏字幕的显示。
13.根据权利要求11所述的计算机可读存储介质，其中所述指令进一步使得所述处理器响应于确定所述噪声水平低于以下中的一个或多个来停用对所述内容的所述隐藏字幕的显示：
包含所述阈值的第一阈值；或者
第二阈值。
14.根据权利要求13所述的计算机可读存储介质，其中所述指令使所述处理器通过向所述内容提供商提供停止显示所述隐藏字幕的指示来停用所述隐藏字幕的显示。
15.根据权利要求11所述的计算机可读存储介质，其中所述指令使所述处理器进行以下的一项或多项：
响应于所述噪声水平来修改呈现所述音频内容的声音水平；或
通过基于以下中的一个或多个确定估计的舱室噪声水平来确定所述噪声水平：所述车辆的当前速度；当前发动机每分钟转数(RPM)；附近车辆的存在或数量；车辆振动；或者天气条件。
CN201710599281.0A 2016-07-25 2017-07-21 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备 Pending CN107650795A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/219,104 US10205890B2 (en) 2016-07-25 2016-07-25 Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data
US15/219,104 2016-07-25

Publications (1)

Publication Number Publication Date
CN107650795A true CN107650795A (zh) 2018-02-02

Family

ID=59771697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710599281.0A Pending CN107650795A (zh) 2016-07-25 2017-07-21 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备

Country Status (6)

Country Link
US (1) US10205890B2 (zh)
CN (1) CN107650795A (zh)
DE (1) DE102017116712A1 (zh)
GB (1) GB2553905A (zh)
MX (1) MX2017009436A (zh)
RU (1) RU2017126370A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164181A (zh) * 2018-02-13 2019-08-23 阿里巴巴集团控股有限公司 一种车辆事故检测、预警方法、设备和系统
US20190310636A1 (en) * 2018-04-09 2019-10-10 SafeAl, Inc. Dynamically controlling sensor behavior
CN112041214A (zh) * 2018-04-30 2020-12-04 奥迪股份公司 用于运行机动车的方法和控制设备
CN112585563A (zh) * 2018-08-14 2021-03-30 奥迪股份公司 在机动车中运行移动便携式输出设备的方法、背景处理装置、移动输出设备和机动车
CN113450750A (zh) * 2020-03-26 2021-09-28 北京钛方科技有限责任公司 一种噪声控制方法及装置
US11625036B2 (en) 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
US11835962B2 (en) 2018-04-09 2023-12-05 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4270972A3 (en) * 2016-12-06 2024-01-03 Gurule, Donn M. Systems and methods for a chronological-based search engine
WO2018112789A1 (en) * 2016-12-21 2018-06-28 Arris Enterprises Llc Automatic activation of closed captioning for low volume periods
US20180254001A1 (en) * 2017-03-01 2018-09-06 Doron Koren Augmented reality advertising system with smart phone interoperability
US11284051B2 (en) * 2018-07-30 2022-03-22 Pony Ai Inc. Systems and methods for autonomous vehicle interactive content presentation
US11571622B2 (en) * 2020-08-12 2023-02-07 GM Global Technology Operations LLC In-vehicle gaming systems and methods

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5872852A (en) * 1995-09-21 1999-02-16 Dougherty; A. Michael Noise estimating system for use with audio reproduction equipment
US20060044479A1 (en) * 2004-08-27 2006-03-02 Lg Electronics Inc. Video apparatus and method for controlling the same
US20060069548A1 (en) * 2004-09-13 2006-03-30 Masaki Matsuura Audio output apparatus and audio and video output apparatus
CN1758025A (zh) * 2004-10-10 2006-04-12 佛山市顺德区瑞图万方科技有限公司 车载导航多媒体系统中心控制装置
US20070009109A1 (en) * 2005-05-09 2007-01-11 Tomohiko Ise Apparatus for estimating an amount of noise
TWM321561U (en) * 2007-03-20 2007-11-01 Jiun-Jung Ma Head-up display for car speed detection with global satellite positioning system
CN101589428A (zh) * 2006-12-28 2009-11-25 三菱电机株式会社 车载用声音识别装置
US20130165178A1 (en) * 2011-12-22 2013-06-27 Samsung Electronics Co., Ltd Apparatus and method for adjusting volume in a portable terminal
US20140295307A1 (en) * 2011-11-21 2014-10-02 Toyota Jidosha Kabushiki Kaisha Fuel cell system
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器
JP2015041197A (ja) * 2013-08-21 2015-03-02 三菱電機株式会社 表示制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050129252A1 (en) * 2003-12-12 2005-06-16 International Business Machines Corporation Audio presentations based on environmental context and user preferences
EP1816860A1 (en) * 2006-02-03 2007-08-08 Advanced Digital Broadcast S.A. Method and system for controlling of transfer of information contained in signal received by digital television receiver
US7920071B2 (en) 2006-05-26 2011-04-05 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method providing status and control of unmanned vehicles
US8041025B2 (en) * 2006-08-07 2011-10-18 International Business Machines Corporation Systems and arrangements for controlling modes of audio devices based on user selectable parameters
US20080125103A1 (en) 2006-11-27 2008-05-29 Motorola, Inc. Prioritizing and presenting service offerings within a mobile device based upon a data driven user context
US8317329B2 (en) 2009-04-02 2012-11-27 GM Global Technology Operations LLC Infotainment display on full-windshield head-up display
WO2011159093A2 (en) * 2010-06-14 2011-12-22 Samsung Electronics Co., Ltd. Hybrid delivery mechanism in a multimedia transmission system
US8924150B2 (en) 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
US20130083061A1 (en) 2011-09-30 2013-04-04 GM Global Technology Operations LLC Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers
US8941690B2 (en) 2011-12-09 2015-01-27 GM Global Technology Operations LLC Projected rear passenger entertainment system
US20140040016A1 (en) 2012-08-03 2014-02-06 Vanya Amla Real-time targeted dynamic advertising in moving vehicles
US10339711B2 (en) 2013-03-15 2019-07-02 Honda Motor Co., Ltd. System and method for providing augmented reality based directions based on verbal and gestural cues
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5872852A (en) * 1995-09-21 1999-02-16 Dougherty; A. Michael Noise estimating system for use with audio reproduction equipment
US20060044479A1 (en) * 2004-08-27 2006-03-02 Lg Electronics Inc. Video apparatus and method for controlling the same
US20060069548A1 (en) * 2004-09-13 2006-03-30 Masaki Matsuura Audio output apparatus and audio and video output apparatus
CN1758025A (zh) * 2004-10-10 2006-04-12 佛山市顺德区瑞图万方科技有限公司 车载导航多媒体系统中心控制装置
US20070009109A1 (en) * 2005-05-09 2007-01-11 Tomohiko Ise Apparatus for estimating an amount of noise
CN101589428A (zh) * 2006-12-28 2009-11-25 三菱电机株式会社 车载用声音识别装置
TWM321561U (en) * 2007-03-20 2007-11-01 Jiun-Jung Ma Head-up display for car speed detection with global satellite positioning system
US20140295307A1 (en) * 2011-11-21 2014-10-02 Toyota Jidosha Kabushiki Kaisha Fuel cell system
US20130165178A1 (en) * 2011-12-22 2013-06-27 Samsung Electronics Co., Ltd Apparatus and method for adjusting volume in a portable terminal
JP2015041197A (ja) * 2013-08-21 2015-03-02 三菱電機株式会社 表示制御装置
CN104260669A (zh) * 2014-09-17 2015-01-07 北京理工大学 一种智能汽车抬头显示器

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110164181A (zh) * 2018-02-13 2019-08-23 阿里巴巴集团控股有限公司 一种车辆事故检测、预警方法、设备和系统
US20190310636A1 (en) * 2018-04-09 2019-10-10 SafeAl, Inc. Dynamically controlling sensor behavior
US11561541B2 (en) * 2018-04-09 2023-01-24 SafeAI, Inc. Dynamically controlling sensor behavior
US11625036B2 (en) 2018-04-09 2023-04-11 SafeAl, Inc. User interface for presenting decisions
US11835962B2 (en) 2018-04-09 2023-12-05 SafeAI, Inc. Analysis of scenarios for controlling vehicle operations
CN112041214A (zh) * 2018-04-30 2020-12-04 奥迪股份公司 用于运行机动车的方法和控制设备
CN112041214B (zh) * 2018-04-30 2024-05-14 奥迪股份公司 用于运行机动车的方法和控制设备
CN112585563A (zh) * 2018-08-14 2021-03-30 奥迪股份公司 在机动车中运行移动便携式输出设备的方法、背景处理装置、移动输出设备和机动车
CN113450750A (zh) * 2020-03-26 2021-09-28 北京钛方科技有限责任公司 一种噪声控制方法及装置
CN113450750B (zh) * 2020-03-26 2023-04-28 北京钛方科技有限责任公司 一种噪声控制方法及装置

Also Published As

Publication number Publication date
RU2017126370A (ru) 2019-01-25
DE102017116712A1 (de) 2018-01-25
US10205890B2 (en) 2019-02-12
GB2553905A (en) 2018-03-21
US20180027189A1 (en) 2018-01-25
MX2017009436A (es) 2018-09-10
GB201711726D0 (en) 2017-09-06

Similar Documents

Publication Publication Date Title
CN107650795A (zh) 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
CN107650796A (zh) 基于车辆传感器数据呈现车载媒体内容的系统、方法和设备
CN106394553B (zh) 驾驶员辅助设备及其控制方法
US10585471B2 (en) Systems and methods to provide an interactive space based on predicted events
EP3330151A1 (en) Autonomous vehicle and operation method of same
EP2857886B1 (en) Display control apparatus, computer-implemented method, storage medium, and projection apparatus
CN113573946A (zh) 自主车辆的通信
CN107097793A (zh) 驾驶员辅助设备和具有该驾驶员辅助设备的车辆
CN107351763A (zh) 用于车辆的控制装置
WO2015136874A1 (ja) 表示制御装置、表示装置、表示制御プログラム、表示制御方法、及び記録媒体
CN111480194B (zh) 信息处理装置、信息处理方法、程序、显示系统和移动物体
CN109219551A (zh) 道路状况抬头显示器
JP7275058B2 (ja) エクスペリエンス提供システム、エクスペリエンス提供方法およびエクスペリエンス提供プログラム
WO2021079975A1 (ja) 表示システム、表示装置、表示方法、及び、移動装置
US11181386B2 (en) Navigation device, destination guiding system, and non-transitory recording medium
WO2020183893A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
JP5795386B2 (ja) 表示装置及び制御方法
JP2020080542A (ja) 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法
JP2013072778A (ja) 車両用画像表示装置
JP5687879B2 (ja) 情報処理装置、自動車、情報処理方法及びプログラム
US11538251B2 (en) Vehicle control and 3D environment experience with or without visualization based on 3D audio/visual sensors
JP7361486B2 (ja) 情報提示装置、情報提示方法、及びプログラム
CN110431604A (zh) 自主交通工具及其控制方法
WO2020008876A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2024042359A1 (ja) 情報処理方法及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180202