CN111654593B - 减少车载显示器的晕动病 - Google Patents

减少车载显示器的晕动病 Download PDF

Info

Publication number
CN111654593B
CN111654593B CN202010098973.9A CN202010098973A CN111654593B CN 111654593 B CN111654593 B CN 111654593B CN 202010098973 A CN202010098973 A CN 202010098973A CN 111654593 B CN111654593 B CN 111654593B
Authority
CN
China
Prior art keywords
road condition
motion model
condition information
computing system
predictive motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010098973.9A
Other languages
English (en)
Other versions
CN111654593A (zh
Inventor
S·戴维松
V·N·O·托勒松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volvo Car Corp
Original Assignee
Volvo Car Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volvo Car Corp filed Critical Volvo Car Corp
Publication of CN111654593A publication Critical patent/CN111654593A/zh
Application granted granted Critical
Publication of CN111654593B publication Critical patent/CN111654593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/50—Instruments characterised by their means of attachment to or integration in the vehicle
    • B60K35/53—Movable instruments, e.g. slidable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/85—Arrangements for transferring vehicle- or driver-related data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/175—Autonomous driving
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明的示例计算系统包括存储器和与该存储器通信的处理电路。存储器被构造为存储预测运动模型。处理电路被构造为接收路况信息，检测所接收的路况信息与预测运动模型的一部分之间的差异，并基于所接收的路况信息来更新预测运动模型以校正该差异。处理电路还被构造为控制与处理电路通信的一个或多个显示设备，以基于更新的预测运动模型来调整由一个或多个显示设备输出的视频数据。

Description

减少车载显示器的晕动病
背景技术
车辆越来越多地装备有用于各种目的的显示设备。例如，显示设备可以输出与车辆状况、当前或过去的出行有关的信息，或者可以用于娱乐目的。通常，显示器形成车辆的所谓“信息娱乐”系统的一部分。随着自动驾驶技术的发展，车厢中的集成显示技术可能会增加，因为乘客将不再受导航和车辆操作职责的困扰。集成到某些车辆中或将来可能集成到车辆中的显示设备的示例包括控制台屏幕、虚拟现实(VR)显示器、增强现实(augmentedreality，简称AR)显示器、车厢内监视器以及可以叠加在窗户、挡风玻璃上的显示器等。
发明内容
由于车辆运动的平稳性受到破坏，因此经常减少了乘客对这种显示器输出的视频数据的使用和享受。例如，由于车辆撞到道路上的颠簸或坑洼、急转弯和车辆平滑线性运动产生的其他异常而导致显示设备的抖动或其他微运动或宏运动，这可能使得乘客经受晕动病(motion sickness)的症状(例如晕车)。
本发明描述了一些系统构造和技术，这些系统构造和技术利用车辆的内置或售后传感器硬件来改善乘客在消费由车载显示器输出的视频数据方面的体验。已集成或可以集成到车辆中的传感器技术的示例包括LiDAR(光检测和测距)，雷达，摄像机(例如，静止或视频摄像机)，红外成像技术，加速度计，陀螺仪等。在许多情况下，一个或多个这些传感器中的一部分构成了自动驾驶基础设施和/或连接的车辆功能的一部分，随着车辆技术的发展，这些功能变得越来越普遍。
这样，在许多情况下，本发明的系统构造利用集成于汽车或在售后添加于汽车以实现自动驾驶或连接车辆的目的的传感器技术，以实施可能减轻乘客由于使用显示器所致的晕动病的措施。在各种示例中，本发明的系统使用由传感器生成的数据来生成用于即将到来时刻的运动预测模型。进而，根据所述运动预测模型，本发明的系统提前调整显示器的视频输出以补偿即将发生的微运动和/或宏运动。通过在这些运动发生时或恰好发生这些运动之前调节视频输出以补偿这些运动，本发明的系统在乘客对视频输出的视觉感知与乘客经历的物理运动之间保持至少某种程度的一致性，从而减轻或潜在地消除因在行驶中的车辆中观看视频而引起的晕动病的常见原因之一。
在一个示例中，本发明描述了一种方法，该方法包括通过处理电路将预测运动模型存储到存储器。该方法还包括由处理电路接收路况信息，以及由处理电路检测所接收的路况信息与预测运动模型的一部分之间的差异。该方法还包括由处理电路基于所接收的路况信息来更新预测运动模型以校正差异，以及由处理电路控制与该处理电路通信的一个或多个显示设备从而基于更新的预测运动模型调整视频数据输出。
在另一个示例中，本发明描述了一种计算系统，其包括存储器和与所述存储器通信的处理电路。存储器被构造为存储预测运动模型。处理电路被构造为接收路况信息，以检测所接收的路况信息与预测运动模型的一部分之间的差异，并基于所接收的路况信息来更新预测运动模型以校正该差异。处理电路还被构造为控制与处理电路通信的一个或多个显示设备，以基于更新的预测运动模型来调整由一个或多个显示设备输出的视频数据。
在另一个示例中，本发明描述了一种设备，所述设备包括用于存储预测运动模型的装置和用于接收路况信息的装置。所述设备还包括用于检测所接收的路况信息与预测运动模型的一部分之间的差异的装置，用于基于所接收的路况信息来更新预测运动模型以校正该差异的装置，以及用于控制一个或多个显示设备以基于更新的预测运动模型来调整一个或多个显示设备输出的视频数据的装置。
在另一个示例中，本发明描述了一种用指令编码的非暂时性计算机可读介质。所述指令在被执行时使计算系统的处理电路存储预测运动模型，接收路况信息，检测所接收的路况信息与所述预测运动模型的一部分之间的差异，基于接收到的路况信息更新所述预测运动以校正偏差，并基于更新的预测运动模型控制一个或多个显示设备以调整由一个或多个显示设备输出的视频数据。
在本发明中描述的该技术的系统提供了相对于当前可用技术的技术改进。作为一个示例，本发明的基于运动预测模型的补偿技术提高了视频输出的精度，尤其是在移动的车辆的内部从观看视频的移动有利位置的背景下。作为另一示例，本发明的系统可以通过利用当前导航的道路的先前收集的数据而不是生成新的运动预测模型来减少视频输出校正的一些示例中的计算资源使用。如果以前收集的数据是由同一车辆收集的，或者在基于众包的实现中从基于云的资源收集的，则可能在本地可用。
在附图和以下描述中阐明了本发明的一个或多个实施例的细节。通过说明书和附图以及权利要求书，本发明的其他特征、目的和优点将变得显而易见。
附图说明
图1是示出本发明技术的示例操作环境的概念图；
图2是示出本发明的示例系统的框图，其中服务器设备经由无线网络与多辆汽车通信；
图3A-3C是示出本发明的汽车驾驶室的不同示例的概念图；
图4是示出被构造为执行本发明技术的示例装置的框图；
图5是示出根据本发明一个示例的计算系统可执行的示例过程的流程图。
具体实施方式
图1是说明本发明的技术的示例操作环境的概念图。作为一个示例，本发明技术的操作环境是汽车10。在本发明的一个示例中，汽车10可以包括被构造为执行本发明基于运动预测模型的各种显示调整的组件。这样的技术减轻或消除了由汽车10的运动引起的晕动病，改变了用户观看由汽车10的车载显示设备输出的视频的用户体验。如图1所示，汽车10可以包括传感器硬件12和计算系统14。为了便于说明，在图1中示出了作为单个单元的传感器硬件12。然而，传感器硬件12可以结合本文描述的各种传感器中的一个或多个，包括一个或多个LiDAR检测器、雷达检测器、静态相机、运动图片相机、红外检测器、加速度计、陀螺仪和/或其他的任何组合。尽管参考汽车应用(如在汽车10中实现的)描述了本发明的系统，但是应当理解，本发明的系统也可以在其他上下文中实现。
汽车10可以是任何类型的乘用车。传感器硬件12可以包括在工厂制造时被集成到汽车10中的原始设备制造商(OEM)零件和/或作为工厂制造之后的修改添加于汽车10中的售后零件中的一者或两者。传感器硬件12可以安装到汽车10，或者可以集成在汽车10的结构例如保险杠、侧面、挡风玻璃等中或由汽车10的结构例如保险杠、侧面、挡风玻璃等承载。
汽车10还包括对计算系统14的访问或以其他方式可操作地访问计算系统14。计算系统14在本文中被描述为集成到汽车10中的车载计算系统。计算系统14可以包括各种组件，为便于说明，在图1中未单独标出。举例来说，计算系统14可包括处理电路和一个或一个以上的存储设备。计算系统14的处理电路的示例包括但不限于一个或多个数字信号处理器(DSP)，通用微处理器，专用集成电路(ASIC)，现场可编程逻辑阵列(FPGA)，固定功能电路，可编程处理电路，固定功能与可编程处理电路的各种组合，或其他等效集成电路或分立逻辑电路。计算系统14的处理电路可以是汽车10的中央处理单元(CPU)。计算系统10的某些组件可以是专用硬件例如集成和/或分立逻辑电路(discrete logic circuitry)，其提供特定功能并且可选地实现关于计算系统14的处理电路的并行处理能力。
计算系统14的处理电路可以执行各种类型的应用，例如各种与乘客体验相关的应用，包括气候控制接口应用、娱乐和/或信息娱乐应用、蜂窝电话接口(例如使用蓝牙
Figure BDA0002386265110000041
链路实现的)、股票跟踪器(stock trackers)、车辆功能接口应用程序、网络或目录浏览器或其他可在汽车10范围内增强乘客体验的应用程序。此外，计算系统14的处理电路还可处理从传感器硬件12接收的数据以实现汽车10的各种自动驾驶功能和/或联网车辆功能。
例如，计算系统14的处理电路可以使用从传感器硬件12接收的数据来向汽车10的驾驶员/乘客提供有关路况或速度的信息，和/或生成待存储和/或传递至汽车10的发动机部件的自动驾驶指令。计算系统14的处理电路还可以生成路况数据或车辆位置数据(例如GPS坐标)，以直接传输给其他车辆或基于云的管理系统，从而实现各种联网车辆功能。
计算系统14的存储设备可以机器可解译的格式存储用于执行所描述的一个或多个应用程序的指令以及翻译和涉及汽车10的发动机部件的指令。计算系统14的存储设备还可以存储在联网的或同步的车辆场景中将被传输到其他车辆或上传到服务器的信息。在各种示例中，计算系统14的存储设备可以包括供计算系统14的处理电路存储信息的命令缓冲器。
本文描述的存储设备可以包括，或者是汽车10的总存储器的一部分。计算系统14的存储设备可以包括一个或多个计算机可读存储介质。计算系统14可以结合的存储设备的示例包括但不限于随机存取存储器(RAM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他介质，其可用于以指令和/或数据结构形式承载或存储所期望的程序代码并且可以通过计算机或一个或多个处理器(例如，上述处理电路)访问。
在某些方面，计算系统14的存储设备可以存储使计算系统14的处理电路执行本发明中赋予处理电路的功能的指令。因此，存储设备中的至少一个可表示其上存储有指令的计算机可读存储介质，所述指令在被执行时使一个或多个处理器(例如，处理电路)执行各种功能。例如，存储装置中的至少一个是非暂时性存储介质。术语“非暂时性”表示存储介质没有体现在载波或传播的信号中。然而，术语“非暂时性”不应被解释为意味着存储设备是不可移动的或所存储的内容是静态的。作为一个示例，本文描述的至少一个存储设备可以从汽车10中移出，并移动到另一设备。作为另一示例，可以将基本上类似于一个或多个上述存储设备的存储器插入汽车10的一个或多个接收端口中。在某些示例中，非暂时性存储介质可以存储随时间变化的数据(例如，在RAM中)。
传感器硬件12可以包括被构造为发射激光脉冲的激光发射器，以实现基于LiDAR的功能。在这些示例中，传感器硬件12进一步包括接收器，以接收从传感器硬件12的LiDAR组件附近的物体反射的激光。为了实现基于LiDAR的检测，传感器硬件12通过用脉冲激光照射物体并且测量反射脉冲来测量到物体的距离。然后可以使用反射脉冲的返回时间和波长的差异来确定地形异常，例如道路曲率、海拔高度差等。
传感器硬件12可以包括全球定位传感器(GPS)或类似的传感器，以确定传感器和从反射的激光感测到的物体的物理位置。传感器硬件12可以进一步被构造为使用陀螺仪硬件、加速计硬件等来检测附加信息，例如速度、加速度、角速度、方向等。计算系统14还可以在计算系统14调用传感器硬件12的相机硬件以捕获图像数据的情况下实现图像处理能力。例如，计算系统14可以执行图像处理以确定在汽车10的路径前方的路况的异常。
计算系统14可以利用传感器硬件12(包括被集成或售后添加于汽车10以用于自动驾驶或联网车辆的目的的传感器技术中的一者或两者)以实施可能减轻乘客由于车载显示器的使用导致晕动病的措施。在各种示例中，计算系统14使用由传感器硬件12生成的数据来生成针对即将到来时刻的运动预测模型。计算系统14又可以使用运动预测模型来预先调整车载显示器的视频输出，从而根据运动预测模型补偿汽车10的车载显示器的即将来临的微运动和/或即将来临的宏运动(macro-movements)。通过在车载显示器的这些运动发生时或刚发生时调整视频输出以补偿这些运动，计算系统14可以在乘客对视频输出的视觉感知与乘客经历的实际运动之间保持至少某种程度的一致性，从而减轻或潜在地消除了由于在运动车辆(在这种情况下为汽车10)中观看视频导致的晕动病的常见原因之一。
根据本发明的系统构造，计算系统14可以使用从传感器硬件12接收到的数据来生成提供关于汽车10的当前行程的即将到来时刻的细节(或其近似预测)的运动预测模型。在一些情况下，例如当计算系统14在不利用过去收集的或众包的路况信息的情况下生成新的运动预测模型时，计算系统14可以在传感器硬件12的感测范围内生成运动预测模型。例如，计算系统14可以生成模型以反映从汽车10的当前位置到传感器硬件12的LiDAR、雷达或摄像机范围内的点的行驶状况。
计算系统14在生成运动预测模型中用作参数或自变量(argument)的另一个值是汽车10当前行驶的速度。尽管在此相对于速度的标量进行了描述，但是应当理解，在各种示例中，计算系统14也可以使用由一个或多个加速度计和/或包含在传感器硬件12中的陀螺仪测量的速度矢量、加速度的标量等。使用汽车10朝向检测到的路况行驶的速度，计算系统14可以生成运动预测模型以包括预测的时间长度直到检测到的路况引起汽车10的车载显示器的异常(例如，微运动或宏运动)。
基于运动预测模型预测的时间长度，在此之后汽车10会遇到路况的异常，并且基于将要遇到的路况的性质，计算系统14可以制定要实施的显示补偿措施。即，计算系统14可以确定调整视频数据以补偿异常的方式，使得从观看者的角度来看，视频数据不会移位。计算系统14还可以确定实施视频调整的时间。举例来说，如果计算系统14确定检测到的路况导致汽车10的运动中的向上颠簸(例如，可能由减速带引起)，则计算系统14可制定视频输出的运动从而在遇到路况异常汽车10向上颠簸前与观众的视线保持一致。作为一种情况，如果汽车10以36km/h(10m/s)的速度行驶并且传感器硬件12检测到10米外的坑洼，则汽车10的乘客在1秒后会遇到撞坑的震颤。通过以此方式补偿汽车10的运动中的异常，计算系统14实施本发明的技术以减少或消除与在汽车10中行驶时观看车载显示器相关的晕动病的一种可能原因。
根据本发明的各个方面，计算系统14可以使用机器学习的各方面来实现上述的预测模型生成技术。在各种示例中，计算系统14可以在本地实现机器学习(如以下关于图4所述)和/或可以使用从远程设备获得基于机器学习的信息(如以下关于图2所述)。在一些示例中，计算系统14可以基于各种因素来更新先前生成的或先前访问的预测运动模型，例如由传感器硬件12收集的信息是否与已经可用的运动模型一致，或者相对于视频输出实施的校正措施是否有效。例如，计算系统14可以从汽车10的一名或多名乘客那里得到用户反馈，这些反馈是由车载显示设备的视频输出是否引起晕动病或是否令乘客满意地补偿了震动或抖动。
在计算系统14在汽车10本地存储先前生成的或预加载的预测运动模型的示例中，计算系统14可以基于传感器硬件12最近收集的路况数据实施本发明的机器学习方面以更新(例如校正)本地存储的预测运动模型。在计算系统14从远程设备(例如基于云的服务器)获取预测运动模型的示例中，计算系统14可以向服务器传达更新(例如模型校正)。以这种方式，计算系统14可以被构造为(使用汽车10的身份认证)参与由基于云的服务器系统管理的基于众包的路况数据收集系统。
图2是示出本发明的示例系统20的框图，其中服务器设备22经由无线网络16与多个汽车10A-10N(“汽车10”)通信。图1的汽车10表示图2所示的汽车10中的任何一个。每辆汽车10包括各自的传感器硬件12A-12N(“传感器硬件12”)。图2的系统20表示以面向众包(crowdsourcing-oriented)的方式实现本发明技术的示例。服务器设备22相对于由交通区域18表示的离散物理区域促进了本发明技术的基于众包的实施方式。在图2中，服务器设备22可以表示用于基于路况的显示器调整以减轻晕动病的“基于云”系统的一部分或全部。即，服务器设备22被构造为接收和存储路况信息，并将信息的一部分传递给一个或多个汽车10。在一些示例中，服务器设备22还可以实施各种机器学习功能以调整或更新用于交通区域18的现有路况信息。可选地，服务器设备22还可以构造为实现机器学习功能以调整或更新任何汽车10的预测运动模型。
服务器设备22实施本发明的各个方面以收集或众包来自行进通过交通区域18的车辆的路况信息，并将路况和(可选地)运动预测模型信息传播给行进通过交通区域18的车辆。例如，服务器设备22使用通信单元24以通过无线网络16接收信息。将理解，通信单元24可以为服务器设备22配备到无线网络16的直接接口或传递接口。在通信单元24表示到无线网络16的直接接口的情况下，通信单元24可以包括各种无线通信硬件、可以是各种无线通信硬件或可以是各种无线通信硬件的一部分，包括但不限于
Figure BDA0002386265110000081
3G、4G、5G或
Figure BDA0002386265110000082
无线电(
Figure BDA0002386265110000083
radios)中的一种或多种。在通信单元24表示到无线网络16的传递接口(transitive interface)中的第一链路的情况下，通信单元24可以表示有线通信硬件、无线通信硬件(或其某种组合)，例如网络接口卡(例如，以太网卡和/或
Figure BDA0002386265110000091
加密狗)、USB硬件、光收发器、射频收发器、
Figure BDA0002386265110000092
3G、4G、5G或
Figure BDA0002386265110000093
无线电等等的任何一个或任何组合。无线网络16还可以使所示的设备能够与GPS和/或dGPS传递例如一个或多个汽车10的位置信息。
尽管将通信单元24图示为服务器设备22的单个独立组件，但是应当理解，在各种实施方式中，通信单元24可以形成无论是直接链接还是间接链接的多个组件。此外，通信单元24的各部分可以与服务器设备22的其他组件集成。无论如何，通信单元24表示使得服务器设备22能够出于通信目的重新格式化数据(例如，通过打包或解包)的网络硬件，并且通过无线网络16以各种格式发送信号和/或接收数据。
无线网络16可以包括互联网或其它公共网络的各个方面。虽然为了便于说明在图2中未明确示出，但是无线网络16可以合并网络架构，该网络架构包括将服务器设备22通信地链接到一个或多个汽车10的各种中间设备。此类设备的示例包括无线通信设备，例如蜂窝电话发射机和接收机、
Figure BDA0002386265110000094
无线电、GPS发射器等等。此外，将理解的是，尽管无线网络16使用无线的“最后一英里(last mile)”组件将数据传递到汽车10并从汽车10收集数据，但是无线网络16的某些方面也可以包含有形连接的设备，例如各种类型的中级路由器。
服务器设备22的通信单元24通信地耦联到服务器设备22的处理电路26。处理电路26可以形成于一个或多个微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、处理电路(包括固定功能电路和/或可编程处理电路)或其他等效的集成逻辑电路或分立逻辑电路中。如图2所示，处理电路26通信地耦联到服务器设备22的系统存储器32。
在一些示例中，系统存储器32被描述为计算机可读存储介质和/或被描述为一个或多个计算机可读存储设备。在一些示例中，系统存储器32可以包括临时存储器、可以是临时存储器或可以是临时存储器的一部分，这意味着系统存储器32的主要目的不是长期存储。在一些示例中，系统存储器32被描述为易失性存储器，这意味着当计算机关闭时，系统存储器32不保留存储的内容。易失性存储器的示例包括随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。
在一些示例中，系统存储器32用于存储程序指令以供处理电路26执行。在一个示例中，系统存储器32由在服务器设备22处实现的逻辑、软件或应用程序使用以在执行程序期间临时存储信息。在一些示例中，系统存储器32还包括一个或多个计算机可读存储介质。这样的计算机可读存储介质的示例可以包括非暂时性计算机可读存储介质以及各种计算机可读存储设备。系统存储器32可以被构造为存储比易失性存储器更多的信息量。系统存储器32可以进一步被构造为用于信息的长期存储。在一些示例中，系统存储器32包括非易失性存储元件。这样的非易失性存储元件的示例包括磁性硬盘，光盘，软盘，闪存或电可编程存储器(EPROM)或电可擦除可编程(EEPROM)存储器的形式。
汽车10表示被构造为使与车辆操作相关的一项或多项任务自动化的车辆。在某些示例中，汽车10能够使除了提供与目的地选择有关的输入之外与汽车操作相关的某些任务(如果不是全部)自动化。将理解的是，汽车10能够使各种任务自动化，尽管并非汽车10的每个车辆都可以始终实现每个功能的自动化。即，在某些情况下，一辆或多辆汽车10可以禁用某些任务的自动化，例如基于用户输入来促使一项或多项操作任务的这种禁用。
在下面的描述中，将汽车10假定为乘用车，尽管本发明内容的方面可以应用于能够运送一个或多个乘客并自主操作的任何类型的车辆，例如公共汽车、休闲车(RV)、半挂车、拖拉机或其他类型的农用设备、火车、摩托车、个人运输车辆等。每辆汽车10配备有通信逻辑和接口硬件，藉此每辆汽车10可以在无线网络16上发送和接收数据。每辆汽车10还配备有相应的传感器硬件12，这使得每辆汽车10能够确定相应汽车10周围的路况。
一辆或多辆汽车10可以收集交通区域18中的路况数据，并通过无线网络16将路况数据发送或“上传”到服务器设备22。例如，通信单元24可以从一个或多个汽车10接收数据包。通信单元24可以对数据包解压以获得数据包的相应有效载荷信息(payloadinformation)。进而，通信单元24可以将有效载荷转发到处理电路26。
处理电路26可以实现对从汽车10接收的数据包的有效载荷数据的进一步处理。例如，处理电路26可以确定特定的有效载荷是否适用于从交通区域18内或从其它交通区域18(服务器设备22被构造为相对于该交通区域存储路况信息)收集的道路数据。另外，处理电路26可以将解压的处理后的有效载荷的一部分存储到系统存储器32。更具体地说，处理电路26可以将处理后的有效载荷的选定部分存储到路况启发式缓冲器(heuristics buffer)34，该缓冲器在系统存储器32中实现。
服务器设备22的处理电路26实施本发明的各种技术以在交通区域18内收集和存储路况信息。继而，处理电路26可以调用通信单元24将路况启发式缓冲器中存储的路况数据中的一部分传输至一辆或多辆汽车10。也就是说，一辆或多辆汽车10可以从服务器设备22获得关于交通区域18的众包路况信息。例如，任何一辆汽车10可以获得由其他汽车10和/或同一汽车10和/或先前在交通区域18行驶的其他车辆上传的路况信息。
进而，通过无线网络16从服务器设备22获取路况数据的各个汽车10可以使用路况数据来执行本发明的车内显示调整措施。在这些示例中，一辆或多辆汽车10利用交通区域18的众包路况信息，从而减轻或有时消除了在旅途中使用相应的传感器硬件12收集路况数据的需要。在一些示例中，如果最新收集的路况数据与可从路况启发式缓冲器34获得的数据不一致，则汽车10可以通过上传更多最新的路况信息来调谐存储到路况启发式缓冲器34的路况数据。处理电路26可以基于最近从交通区域18接收到的路况数据来更新存储到路况启发式缓冲器34的信息。以这种方式，本发明的基于众包的技术使服务器设备22能够通过利用汽车10上传的数据来维护关于交通区域18的当前路况信息。
在一些示例中，服务器设备22可以执行生成关于汽车10的以上描述的显示调整的某些方面。处理电路26可以调用模型生成单元28，其可以使用一个或多个汽车10的位置信息(如使用GPS坐标确定)，以确定各个汽车10可以用来调整显示的视频数据以改善乘客的用户体验的路况位置。在这些示例中，服务器设备22可以在汽车10遇到交通区域18(或其部分)的路况之前向汽车10提供的这些路况的数据。进而，汽车10可以使用从服务器设备22接收到的路况数据来生成视频调整措施，以在遇到这些路况时实施或遇到这些路况之前实施。
以这种方式，服务器设备22可以利用存储到路况启发式缓冲器34的数据(例如，从过去的行程中收集的数据)来使汽车能够使用某些区域中已经可用的数据来生成运动预测模型。因此，本发明的系统构造的这些方面减少了汽车10的资源消耗，否则在每次行程的整个持续时间内动态模型生成将导致该资源消耗。模型生成单元28在图2中示出，使用虚线示出了服务器设备22的可选性质，该服务器设备22被构造为执行上述模型生成单元28所赋予的功能。模型生成单元28可以使用存储至路况启发式缓冲器34的最新信息来生成预测运动模型，从而利用本发明的基于众包和/或基于机器学习的方面。
图3A-3C是示出了汽车10的车厢30(分别称为车厢30A，30B和30C)的不同示例的概念图。图3A-3C每一个示出了一种其中计算系统14可以实现本发明的晕动病缓解(例如，基于机器学习或基于众包的晕动病缓解)技术的使用情形。例如，计算系统14或服务器设备22可以基于传感器硬件12接收到的数据来更新预测运动模型。而计算系统14(无论是基于本地更新的模型还是从服务器设备22接收到的更新的模型)可以为一个或多个车载显示器33A–33C提供视频数据调整。图3A–3C示出的车厢中没有乘客坐在车厢30中，其仅是为了便于说明。
图3A示出了其中车载显示器33A表示叠加在汽车10的车厢30A的挡风玻璃上的VR/AR的示例。在图3A的示例中，车载显示器33A呈现交通状况，例如汽车10正在行驶的当前行程的随后阶段的交通状况，例如铁路交叉口。在一些示例中，代替在挡风玻璃上的图示的VR/AR叠加(overlay)或除了在挡风玻璃上的图示的VR/AR叠加之外，VR/AR叠加可以在车厢30A的窗户上实现。
图3B示出了其中车载显示器33B表示汽车10的车厢30B的车厢内信息娱乐或娱乐系统的一部分的示例。如图3B所示，车载显示器33B呈现娱乐内容，例如电影或电视节目。
图3C示出了其中车载显示器33C表示由乘客(未示出)带入汽车10的车厢30C中的便携式设备的示例。在图3C的示例中，车载显示器33C呈现娱乐内容。在一些示例中，包括车载显示器33C的便携式设备(例如，平板计算机，智能电话等)可以经由诸如USB、
Figure BDA0002386265110000131
或其他的有线或无线方式与计算系统14通信。在图3A-3C中所示的任何场景中，计算系统14可以利用使用本发明的基于机器学习的技术生成的预测运动信息来调节由车载显示器30输出的图像或视频数据，以减轻或潜在地消除导致汽车10的乘客晕动病的刺激。
图4是示出被构造为执行本发明技术的示例装置的框图。特别地，图4更详细地示出了图1的计算系统14的一部分。再次，在一些示例中，计算系统14可以是汽车10的一部分。但是，在其他示例中，计算系统14可以是独立系统，或者可以被集成到其他设备中以用于可受益于姿势估算的其他应用中。将理解的是，在一些示例中，在上述图2的描述中归属于服务器设备22的各种功能可以由计算系统14来实现。同样，本发明的各种功能可以在汽车10处本地(例如，通过计算系统14)地实现或者远程(例如，通过图2的服务器设备22)地实现。
在图4的示例中，预测运动模型生成单元42包括预处理单元44，机器学习单元46和后处理单元52。预测运动模型生成单元42被构造为从传感器硬件12接收路况信息。处理单元44被构造为使非结构化原始输入(即，路况和/或汽车10行驶的速度)成为可由预测运动模型生成单元42和/或计算系统14的其他组件处理的结构化数据。
预处理单元44可以被构造为向机器学习单元46提供结构化数据。机器学习单元46可以实现各种形式的机器学习技术，包括但不限于人工神经网络、深度学习、支持向量机器技术、贝叶斯网络等。使用从预处理单元44获得的结构化数据，机器学习单元46可以针对预测模型48执行比较操作。如果机器学习单元46检测到从预处理单元44接收的任何结构化数据与反映在预测模型48中的路况之间存在差异，则机器学习单元46可以更新预测模型48的数据以合并交通区域18的最新路况信息。这样，机器学习单元46实现本发明的动态模型生成或模型更新操作以使用和共享交通区域18内过时路况的更新。
后处理单元52可获取预测模型48的更新版本，并将预测模型48的数据转换为最终输出。例如，后处理单元52可以被构造为将预测模型48转换成一种或多种机器可读格式。在各种示例中，预测运动模型生成单元42可将由后处理单元52生成的输出提供给一个或多个显示操作应用程序56。显示操作应用程序56可实施本发明的各种技术以调整舱内视频输出，从而补偿由于路况的偏差而引起的汽车10的抖动、震动或其他微/宏运动。
在一些示例中，一个或多个自动驾驶应用程序58可以使用从后处理单元52接收到的预测模型信息来基于路况确定要采取的自动驾驶动作。在图4中示出的自动驾驶应用程序58使用虚线边框来表示本发明的预测运动模型的使用不一定用于自动驾驶操作，并且实际上可以在具有自动驾驶能力的车辆和不具有自动驾驶能力的车辆中实施。
计算系统14包括与存储器64通信的处理电路62。处理电路62可以实现为固定功能处理电路、可编程处理电路或其任意组合。固定功能电路是指提供特定功能并预设可执行操作的电路。可编程处理电路是指可以编程以执行各种任务并在可以执行的操作中提供灵活功能的电路。例如，可编程处理电路可以表示执行软件或固件的硬件，该软件或固件使可编程电路以软件或固件的指令所定义的方式进行操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能处理电路执行的操作类型通常是不可变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程)，并且在一些示例中，一个或多个单元可以是集成电路。
处理电路62可以被构造为执行预测运动模型生成单元42中的一组指令以执行本发明的各种技术。定义预测运动模型生成单元42的指令可以存储在存储器64中。在一些示例中，可以通过有线或无线网络将定义预测运动模型生成单元42的指令下载到存储器64。
在一些示例中，存储器64可以是临时存储器，这意味着存储器64的主要目的不是长期存储。存储器64可以被构造用于作为易失性存储器的信息的短期存储，并且因此如果断电则不保留所存储的内容。易失性存储器的示例包括随机存取存储器(RAM)，动态随机存取存储器(DRAM)，静态随机存取存储器(SRAM)以及本领域已知的其他形式的易失性存储器。
存储器64可以包括一个或多个非暂时性计算机可读存储介质。存储器64可以被构造为存储通常比由易失性存储器存储的信息量更多的信息。存储器64可以进一步被构造用于作为非易失性存储器空间来长期存储信息，并且在通电/断电周期之后保留信息。非易失性存储器的示例包括磁性硬盘，光盘，闪存或电可编程存储器(EPROM)或电可擦除可编程存储器(EEPROM)的形式。存储器64可以存储程序指令(例如，预测运动模型42)和/或信息(例如，预测模型48)，其在被执行时使处理电路62执行本发明的技术。
处理电路62可以将预测模型48的最新版本存储到路况启发式存储器66中。在各种示例中，路况启发式存储器66可以位于汽车10内，或者可以是远程存储器，例如在图2的路况启发式缓冲器34的情况下。在任一情况下，处理电路62可以使用通信硬件例如通信总线(如果路况启发式存储器66位于汽车10内)，或在路况启发式存储器66位于远程位置的情况下使用网络接口(例如接口硬件)例如3G、4G、5G、
Figure BDA0002386265110000151
等等。
图5是示出根据本发明的一个示例的计算系统54可以执行的示例过程70的流程图。计算系统14的一个或多个处理器如处理电路62可以被构造为执行图5所示的技术。如上所述，在一些示例中，计算系统14可以是汽车10的一部分。在该示例中，汽车10可以被构造为使用由计算系统14产生的预测运动模型信息来调节车载显示器设备的视频输出。然而，本发明的技术不限于此。计算系统14可以被构造为执行图5用于自动驾驶决策等等的技术。
在本发明的一个示例中，计算系统14可以从传感器硬件12接收路况信息(72)。继而，计算系统14还可相对于汽车10的当前位置获得先前生成的预测运动模型(74)。在各种示例中，计算系统14可以从本地存储设备(例如存储器64)或从远程设备(例如从服务器设备22)获得预测运动模型。在各种示例中，计算系统14可以控制一个或多个与计算系统14的处理电路通信的显示设备(例如，一个或多个车载显示器33)以基于更新的预测运动模型来调整由一个或多个显示设备输出的视频数据。
继而，计算系统14可以检测来自传感器硬件12的路况信息与预测运动模型之间的差异(76)。例如，计算系统14可以调用机器学习单元46以执行用于检测差异的比较操作。例如通过调用机器学习单元46，计算系统14可以使用从传感器硬件12接收的路况信息来更新预测运动模型(78)。即，计算系统14可以响应于检测到的动态收集的路况信息与预测运动模型之间的差异来更新预测运动模型。
继而，计算系统14可以存储更新的预测运动模型(82)。在各种示例中，计算系统14可以将更新的预测运动模型本地存储(例如，存储到存储器64)或存储到远程位置(例如，通过将更新的预测运动模型传输到服务器设备22)。如图5所示，计算系统14可以以迭代的方式(从步骤82返回到步骤72)来实现过程70，例如通过在汽车10的旅途中的不同位置处迭代地执行过程70。
示例1：一种计算系统，其包括被构造为存储预测运动模型的存储器；与所述存储器通信的处理电路，所述处理电路被构造为：接收路况信息；检测所接收的路况信息与预测运动模型的一部分之间的差异；基于接收到的路况信息更新预测运动模型以校正差异；并且控制与处理电路通信的一个或多个显示设备，以基于更新的预测运动模型调整由一个或多个显示设备输出的视频数据。
示例2：示例1的计算系统，其中为了更新预测运动模型，处理电路被构造为实施机器学习。
示例3：示例1或示例2的计算系统，其中，为了控制一个或多个显示设备以调整视频数据，处理电路被构造为：确定一个或多个显示设备的物理运动的时间；并控制一个或多个显示设备从而在物理运动的时间处或之前调整视频数据输出。
示例4：示例1-3中任一示例的计算系统，其中，处理电路与传感器硬件通信，并且其中为了接收路况信息，处理电路被构造为从传感器硬件接收路况信息。
示例5：根据示例4的计算系统，其中，所接收的路况信息包括与和所述传感器硬件耦连的车辆的当前位置相关联的路况信息。
示例6：根据示例5的计算系统，其中，所接收的与车辆的当前位置相关联的路况信息指示车辆正在行驶的道路上的异常。
示例7：根据示例6的计算系统，其中，处理电路与一个或多个显示设备通信，并且其中，处理电路还被构造为控制一个或多个显示设备以调整由一个或多个显示设备输出的视频数据，以减少由于车辆行驶的道路异常导致一个或多个显示设备运动而引起的晕动病。
示例8：根据示例4-7中任何一个的计算系统，其中传感器硬件包括LiDAR设备，雷达设备，陀螺仪或加速度计中的一个或多个。
示例9：根据示例1-8中任一项所述的计算系统，其中，一个或多个显示设备包括以下一个或多个：车载信息娱乐系统的显示器，被构造为输出虚拟现实叠加(overlay)的显示设备，被构造为输出增强现实叠加的显示设备，或经由包括计算系统的车辆的接口硬件通信地耦联至计算系统的便携式设备。
示例10：一种仪器，包括：用于存储预测运动模型的装置；以及用于接收路况信息的装置；用于检测所接收的路况信息与预测运动模型的一部分之间差异的装置；用于基于所接收的路况信息来更新预测运动模型以校正差异的装置；用于控制一个或多个显示设备以基于更新的预测运动模型来调整由一个或多个显示设备输出的视频数据的装置。
示例11：一种方法，包括：通过处理电路将预测运动模型存储到存储器；通过处理电路接收路况信息；通过处理电路检测所接收的路况信息与预测运动模型的一部分之间的差异；通过处理电路基于所接收的路况信息来更新预测运动模型以校正差异；并且由处理电路控制与处理电路通信的一个或多个显示设备，以基于更新的预测运动模型来调整一个或多个显示设备输出的视频数据。
示例12：示例11的方法，其中更新预测运动模型包括由处理电路根据机器学习来更新预测运动模型。
示例13：示例11或示例12的方法，其中控制一个或多个显示设备以调整视频数据包括：通过处理电路确定一个或多个显示设备的物理运动时间；并由处理电路控制一个或多个显示设备以在物理运动时间处或之前调节输出的视频数据。
示例14：示例11-13中的任一个的方法，其中，所接收的路况信息包括与车辆的当前位置相关联的路况信息。
示例15：示例11-14中任一项的方法，其中，所接收的与车辆的当前位置相关联的路况信息指示车辆正在行驶的道路上的异常。
示例16：一种非暂时性计算机可读存储介质，其编码有指令，所述指令在被执行时使计算系统的处理电路能够：存储预测运动模型；接收路况信息；检测所接收的路况信息与预测运动模型的一部分之间的差异；基于接收到的路况信息更新预测运动模型以校正差异；并基于更新后的预测运动模型控制一个或多个显示设备以调整所述一个或多个显示设备输出的视频数据。
示例17：示例16的非暂时性计算机可读存储介质，其中在被执行时使处理电路更新预测运动模型的指令包括在被执行时使处理电路根据机器学习更新预测运动模型的指令。
示例18：示例16或示例17的非暂时性计算机可读存储介质，其中在被执行时使处理电路控制一个或多个显示设备以调整视频数据的指令包括如下指令：在被执行时使处理电路：确定一个或多个显示设备的物理运动的时间；并控制一个或多个显示设备在物理运动的时间处或之前调整视频数据输出。
示例19：根据示例16-18中的任一项所述的非暂时性计算机可读存储介质，其中，所接收的路况信息包括与车辆的当前位置相关联的路况信息。
示例20：根据示例19的非暂时性计算机可读存储介质，其中，所接收的与车辆的当前位置相关联的路况信息指示车辆在其上行驶的道路上的异常。
将认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全省略(例如，并非所有描述的动作或事件是实施该技术所必需的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。
在一个或多个示例中，可以硬件、软件、固件或其任何组合来实现所描述的功能。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或在计算机可读介质上传输，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或者通信介质，其包括例如根据通信协议来促进将计算机程序从一个地方转移到另一个地方的任何介质。以这种方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一台或多台计算机或一个或多个处理器访问以检索指令、代码和/或数据结构以实现本发明中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
作为示例而非限制，这样的计算机可读数据存储介质可以包括RAM，ROM，EEPROM，CD-ROM或其他光盘存储，磁盘存储或其他磁性存储设备，闪存或可以用于以指令或数据结构形式存储所需程序代码并且可以由计算机访问的任何其他介质。而且，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或无线技术(例如红外、无线电和微波)从网站、服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、DSL或诸如红外、无线电和微波之类的无线技术。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他瞬时介质，而是针对非瞬时的有形存储介质。上述的组合也应包括在计算机可读介质的范围内。
指令可以由一个或多个处理器执行，例如一个或多个数字信号处理器(DSP)，通用微处理器，专用集成电路(ASIC)，现场可编程门阵列(FPGA)，复杂的可编程逻辑设备(CPLD)或其他等效的集成或离散逻辑电路。因此，本文所使用的术语“处理器”可以指任何前述结构或适合于实施本文所述技术的任何其他结构。同样，该技术可以在一个或多个电路或逻辑元件中完全实现。
本发明的技术可以在包括集成电路(IC)或一组IC(例如，芯片组)的多种设备或装置中实现。在本发明中描述各种组件、模块或单元是强调经构造以执行所揭示技术的装置的功能方面，但不一定需要由不同硬件单元来实现。
已经描述了本发明的各种示例。这些和其他示例在所附权利要求的范围内。

Claims (17)

1.一种计算系统，包括：
存储器，被构造为存储预测运动模型；和
与所述存储器通信的处理电路，所述处理电路构造为：
接收路况信息；
检测所接收的路况信息与所述预测运动模型的一部分之间的差异；
基于接收到的路况信息更新所述预测运动模型以校正差异；
基于更新的预测运动模型来确定一个或多个显示设备的物理运动的时间；和
在所确定的所述物理运动的时间处或之前控制与所述处理电路通信的所述一个或多个显示设备，以调整由所述一个或多个显示设备输出的视频数据。
2.根据权利要求1所述的计算系统，其中，为了更新所述预测运动模型，所述处理电路被构造为实施机器学习。
3.根据权利要求1所述的计算系统，其中，所述处理电路与传感器硬件通信，并且其中，为了接收路况信息，所述处理电路被构造为从所述传感器硬件接收所述路况信息。
4.根据权利要求3所述的计算系统，其中，所接收的路况信息包括与和所述传感器硬件耦联的车辆的当前位置相关联的路况信息。
5.根据权利要求4所述的计算系统，其中，所接收的与车辆的当前位置相关联的路况信息指示所述车辆正在行驶的道路上的异常。
6.根据权利要求5所述的计算系统，其中，所述处理电路与一个或多个显示设备通信，并且其中，所述处理电路还被构造为控制所述一个或多个显示设备以调整由所述一个或多个显示设备输出的视频数据，从而减少由于车辆行驶的道路上的异常导致一个或多个显示设备运动而引起的晕动病。
7.根据权利要求3所述的计算系统，其中，所述传感器硬件包括LiDAR设备，雷达设备，陀螺仪或加速度计中的一个或多个。
8.根据权利要求1所述的计算系统，其中，所述一个或多个显示设备包括以下中的一个或多个：车载信息娱乐系统的显示器，被构造为输出虚拟现实叠加的显示设备，被构造为输出增强现实叠加的显示设备，或通过包含所述计算系统的车辆的接口硬件与所述计算系统通信耦联的便携式设备。
9.一种设备，包括：
用于存储预测运动模型的装置；
用于接收路况信息的装置；
用于检测所接收的路况信息与所述预测运动模型的一部分之间的差异的装置；
用于基于所接收的路况信息来更新所述预测运动模型以校正差异的装置；
用于基于更新的预测运动模型来确定一个或多个显示设备的物理运动的时间的装置；和
用于在所确定的所述物理运动的时间处或之前控制所述一个或多个显示设备以调整由所述一个或多个显示设备输出的视频数据的装置。
10.一种使用处理电路实施的方法，所述方法包括：
将预测运动模型存储到存储器；
检测所接收的路况信息与所述预测运动模型的一部分之间的差异；
基于接收到的路况信息更新所述预测运动模型以校正差异；
基于更新的预测运动模型来确定一个或多个显示设备的物理运动的时间；和
在所确定的所述物理运动的时间处或之前控制所述一个或多个显示设备以调整所述一个或多个显示设备输出的视频数据。
11.根据权利要求10所述的方法，其中，更新所述预测运动模型包括根据机器学习来更新所述预测运动模型。
12.根据权利要求10所述的方法，其中，所接收的路况信息包括与车辆的当前位置相关联的路况信息。
13.根据权利要求12所述的方法，其中，所接收的与车辆的当前位置相关联的路况信息指示在所述车辆正在行驶的道路上的异常。
14.一种非暂时性计算机可读存储介质，其编码有指令，所述指令在被执行时会使得计算系统的处理电路执行以下操作：
存储预测运动模型；
接收路况信息；
检测所接收的路况信息与所述预测运动模型的一部分之间的差异；
基于接收到的路况信息更新所述预测运动模型以校正差异；
基于更新的预测运动模型来确定一个或多个显示设备的物理运动的时间；和
在所确定的所述物理运动的时间处或之前控制所述一个或多个显示设备以调整所述一个或多个显示设备输出的视频数据。
15.根据权利要求14所述的非暂时性计算机可读存储介质，其中，在被执行时使所述处理电路更新所述预测运动模型的指令包括在被执行时使所述处理电路根据机器学习更新所述预测运动模型的指令。
16.根据权利要求14所述的非暂时性计算机可读存储介质，其中，所接收的路况信息包括与车辆的当前位置相关联的路况信息。
17.根据权利要求16所述的非暂时性计算机可读存储介质，其中，所接收的与车辆的当前位置相关联的路况信息指示在所述车辆正在行驶的道路上的异常。
CN202010098973.9A 2019-02-19 2020-02-18 减少车载显示器的晕动病 Active CN111654593B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/279,346 2019-02-19
US16/279,346 US10694078B1 (en) 2019-02-19 2019-02-19 Motion sickness reduction for in-vehicle displays

Publications (2)

Publication Number Publication Date
CN111654593A CN111654593A (zh) 2020-09-11
CN111654593B true CN111654593B (zh) 2022-09-16

Family

ID=69845016

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010098973.9A Active CN111654593B (zh) 2019-02-19 2020-02-18 减少车载显示器的晕动病

Country Status (3)

Country Link
US (1) US10694078B1 (zh)
EP (1) EP3699734A1 (zh)
CN (1) CN111654593B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114655141A (zh) * 2022-03-18 2022-06-24 蔚来汽车科技(安徽)有限公司 用于车辆的动态显示方法和装置
CN115167688B (zh) * 2022-09-07 2022-12-16 唯羲科技有限公司 一种基于ar眼镜的会议模拟系统及方法
TWI845208B (zh) * 2023-03-14 2024-06-11 財團法人工業技術研究院 提前預知之抗暈眩補償方法與系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530834A (zh) * 2016-12-29 2017-03-22 武汉七环电气股份有限公司 一种车辆行为管理系统及管理方法
CN107992200A (zh) * 2017-12-21 2018-05-04 江西爱驰亿维实业有限公司 车载显示屏的画面补偿方法、装置及电子设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL1019989C2 (nl) * 2002-02-18 2003-08-19 Tno Werkwijze ter preventie van bewegingsziekte, alsmede inrichting voor het detecteren en signaleren van potentieel ziekmakende bewegingen.
US7128705B2 (en) 2002-11-26 2006-10-31 Artis Llc Motion-coupled visual environment for prevention or reduction of motion sickness and simulator/virtual environment sickness
US8120717B2 (en) 2007-02-21 2012-02-21 Sharp Laboratories Of America, Inc. Methods and systems for display viewer motion compensation
WO2010118292A1 (en) 2009-04-09 2010-10-14 Dynavox Systems, Llc Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods
CN103186329B (zh) 2011-12-27 2017-08-18 富泰华工业（深圳）有限公司 电子设备及其触摸输入控制方法
US20130234929A1 (en) 2012-03-07 2013-09-12 Evernote Corporation Adapting mobile user interface to unfavorable usage conditions
WO2014100484A1 (en) 2012-12-19 2014-06-26 HeadsUp Technologies, Inc. Methods and systems for managing motion sickness
US9536353B2 (en) * 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9145129B2 (en) * 2013-10-24 2015-09-29 Ford Global Technologies, Llc Vehicle occupant comfort
US9818171B2 (en) 2015-03-26 2017-11-14 Lenovo (Singapore) Pte. Ltd. Device input and display stabilization
KR102096334B1 (ko) 2015-06-03 2020-04-02 클리어모션, 아이엔씨. 차체 모션 및 승객 경험을 제어하기 위한 방법 및 시스템
US10710608B2 (en) 2015-10-26 2020-07-14 Active Knowledge Ltd. Provide specific warnings to vehicle occupants before intense movements
JP2017116991A (ja) * 2015-12-21 2017-06-29 京セラ株式会社 携帯端末および車両
US10043316B2 (en) 2016-08-05 2018-08-07 Uber Technologies, Inc. Virtual reality experience for a vehicle
US10257582B2 (en) * 2017-03-17 2019-04-09 Sony Corporation Display control system and method to generate a virtual environment in a vehicle
US20190061655A1 (en) * 2017-08-23 2019-02-28 Alpine Electronics, Inc. Method and apparatus for motion sickness prevention

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530834A (zh) * 2016-12-29 2017-03-22 武汉七环电气股份有限公司 一种车辆行为管理系统及管理方法
CN107992200A (zh) * 2017-12-21 2018-05-04 江西爱驰亿维实业有限公司 车载显示屏的画面补偿方法、装置及电子设备

Also Published As

Publication number Publication date
EP3699734A1 (en) 2020-08-26
US10694078B1 (en) 2020-06-23
CN111654593A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111654593B (zh) 减少车载显示器的晕动病
CN108725446B (zh) 用于自主车辆的俯仰角补偿
CN110356327B (zh) 使用来自不同车辆的摄像头生成情况感知图的方法和装置
US20200293041A1 (en) Method and system for executing a composite behavior policy for an autonomous vehicle
US10406917B2 (en) Systems and methods for vehicle cruise control smoothness adaptation
US9261882B2 (en) Apparatus and method for sharing vehicle information
CN109552320B (zh) 车辆控制系统、车辆外置式电子控制单元、车辆控制方法及记录介质
KR102139426B1 (ko) 자율 주행 차량을 위한 차량 위치점 전달 방법
WO2018180097A1 (ja) サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
WO2018225596A1 (ja) 情報処理装置
JP7006453B2 (ja) 制御装置、プログラム、及び制御方法
CN111443327A (zh) 保持车辆位置准确
JP2020091523A (ja) 情報処理システム、プログラム、及び制御方法
US11754715B2 (en) Point cloud format optimized for LiDAR data storage based on device property
WO2018225067A1 (en) Fusion and calibration of sensor signals in a moving vehicle
CN114616158A (zh) 自动驾驶方法、装置和存储介质
US20240210939A1 (en) Camera image compression for autonomous driving vehicles
CN112660044A (zh) 用于稳定在车辆中的显示器的图像的系统
US20240291993A1 (en) Rule-based digitized image compression
US12086090B2 (en) Uniform virtual bus for system-to-system connectivity in an autonomous driving vehicle
US20240045027A1 (en) Adaptive lidar data processing for driverless vehicle
US20240071101A1 (en) Method and system for topology detection
JP7249138B2 (ja) 渋滞予測装置、渋滞予測システムおよび渋滞予測方法
WO2024152345A1 (en) Peripheral component interconnect express device reset for autonomous driving systems
CN116931849A (zh) 一种显示方法与电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant