CN112673619A - 抖动补偿装置和抖动补偿方法 - Google Patents

抖动补偿装置和抖动补偿方法 Download PDF

Info

Publication number
CN112673619A
CN112673619A CN201980058945.XA CN201980058945A CN112673619A CN 112673619 A CN112673619 A CN 112673619A CN 201980058945 A CN201980058945 A CN 201980058945A CN 112673619 A CN112673619 A CN 112673619A
Authority
CN
China
Prior art keywords
module
vehicle
data
sensor
accelerometer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980058945.XA
Other languages
English (en)
Inventor
维克托·尤里约维奇·斯多布尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Apstra LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apstra LLC filed Critical Apstra LLC
Publication of CN112673619A publication Critical patent/CN112673619A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instrument Panels (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及车辆，尤其涉及汽车，并且可用于补偿与投影显示器上的增强现实系统相关的车辆抖动。装置包括识别前置摄像头、陀螺仪传感器和加速计以及车辆传感器，其中，所述识别前置摄像头、所述陀螺仪传感器、所述加速计和所述车辆传感器与预测模块连接；所述陀螺仪传感器、所述加速计和所述车辆传感器还与定位模块连接；所述陀螺仪传感器和加速计还与抖动补偿模块连接；所述预测模块、所述定位模块、所述抖动补偿模块和所述车辆传感器与数据呈现模块连接；所述数据呈现模块与投影显示器连接。本发明用于汽车增强现实系统的抖动补偿。

Description

抖动补偿装置和抖动补偿方法
本发明涉及车辆，尤其涉及汽车，并且可以用于补偿和预测其抖动，以便显示增强的物体。
已知车辆的挡风玻璃显示单元在车辆内部的驾驶员视野中创建虚拟图像。显示单元包含发射单元以产生和发射图像信号，该图像信号被投影到驾驶员视野中的挡风玻璃上。驾驶员将投影的图像信号感知为虚拟图像。显示单元包含影响投影路径部分的至少一个可移动反射器。虚拟图像表示受到发射单元的受控运动的影响，同时受到发射图像的信号相对于反射镜中心位置处的图像信号的变化的影响。根据所识别的交通状况来执行发射块的移动[DE20151011616A1·2017-03-09]。
该已知单元用于显示虚拟物体，提供了用两种方法校正该显示的可能性，而不提供估计和预测所需校正的机制。因此，描述所述设备时未涉及所考虑的过程所需的单元，且其本身是具有所需特征(即图像补偿的可能性)的所述系统的一部分。
已知一种用于车辆的显示装置，其中，图像传感器被设计成在位于车辆中的表面上显示至少一种类型的增强物体。该显示装置包含补偿工具，通过该补偿工具，根据车辆的运动，为至少一种类型的显示的增强物体实现图像补偿机制[DE102016009506A1·2017-04-13]。
所描述的装置不包含高频抖动补偿单元和相应的频率分离机制来进行补偿。装置单元未进行级联，因此无法执行级联补偿过程，所述过程是本发明的关键要素之一，以便使用在频率、时延和精度方面最优的方法来补偿具有不同外观特性的抖动分量。此外，在已知装置中提出的单元的连接除了对不同频率的空间分量进行补偿之外，还不能精确地评估需要单独的补偿方法的时延。在熟知的设备中提出的方法建议在显示过程之前立即固定虚拟物体的位置，而所提出的方法预测物体在它们之间的相对位置以及相对于真实物体的相对位置的低频变化，以便均衡在显示设备(投影显示器)中出现的时延。
与所要求保护的发明最接近的是一种用于车辆的显示装置，其包含图像生成器，以在车辆内部的表面上显示至少一种类型的增强物体。至少一种类型的增强物体可以根据车辆的运动用补偿装置来调节，该补偿装置被设计成至少补偿车辆自身的运动。为此，补偿装置连接到识别装置，通过该识别装置可以至少检测车辆自我状态，并且车辆的运动可以由指定状态引起。所述补偿装置被设计成基于从所述识别装置接收的结果来修改对应于一种类型的增强物体的信息的至少一部分[DE102015007518A1·2016-02-25]。
所述熟知的装置包括两个单元：识别设备，以及用于显示具有补偿可能性的信息的设备。汽车中的识别设备具有从接收信号到其识别结果的高时延值，因此不可能使用所述设备来补偿抖动，而这是本发明的主题所达到的主要效果。由于缺少预测单元和高频补偿，因此不可能获得所期望投影显示效果。
准备关于车辆附近的环境的信息的方法是已知的，其中，车辆附近的真实环境物体进行直观显示，并且这些虚拟物体以增强现实的形式与真实物体叠加。根据车辆的当前运动曲线和/或车辆附近的至少一个真实物体的运动曲线，确定虚拟物体显示的时间[DE102016009506A1]。
该方法不包含陀螺仪和加速计抖动评估的最后阶段，其具有最高的频率和精度，并允许实现所述结果并提供这种抖动的频率分离以用于进一步补偿。
所述方法描述了与车辆和周围物体的运动相关的补偿，考虑了时延和预测，然而没有将所述过程与高频补偿的最后步骤进行连接。
该方法没有将所获得的结果分离成不同的频率。这是该提议的基本部分，它允许基于测试和实验的最佳补偿，从而揭示哪些抖动元素需要补偿，哪些抖动元素导致驾驶员的感知退化和注意力分散。
数据时延的主要来源没有被识别，因此所述系统难以实现。在缺乏数据时延的主要来源的情况下，也不可能分成不同的补偿频率，因为这类补偿频率在接收数据和传送数据时都取决于频率和时延。
在原型方法中，在显示之前的最短时间确定显示物体的相对位置。考虑到投影显示器上的时间，这种方法对于现有的设计技术(数字微镜器件(digital micromirrordevice，简称DMD))，甚至对于汽车和周围物体的低频预测运动，引入了至少20ms的附加时延，这也是原型的主要关注点。
本发明的基础是创建一种用于汽车增强现实系统的抖动补偿装置。该装置提供对增强物体的位置的复杂校正，这是由于驾驶员以零时延感知显示器上的图像；提供克服山丘或道路颠簸的补偿；提供车辆抖动的各种频率和幅度的补偿，这将使得将这些抖动与其它车辆抖动分离成为可能，以便区分它们的预测部分，并对剩余的抖动进行分类，以便对它们进行最优补偿。
本发明的第二个目的是创建一种用于汽车增强现实系统的抖动补偿的方法，其目的在于对增强物体的位置进行复杂的校正(这是由于驾驶员以零时延感知投影显示器上的图像，但数据被延迟)，并补偿车辆抖动的各种频率和振幅，以便将这些抖动与其他车辆位移分开，并分离其可预测部分。
为实现上述目标集，本发明公开了一种用于汽车增强现实系统的抖动补偿装置，包括：抖动补偿模块、识别前置摄像头、陀螺仪传感器、加速计和车辆传感器，其中，所述识别前置摄像头、陀螺仪传感器、加速计和车辆传感器与预测模块连接；所述陀螺仪传感器、加速计和车辆传感器还与定位模块连接；所述陀螺仪传感器和加速计还与抖动补偿模块连接；所述预测模块、定位模块、抖动补偿模块和车辆传感器与数据呈现模块连接；所述数据呈现模块与投影显示器连接。
此外，为实现上述目标集，本发明公开了一种用于汽车增强现实系统的抖动补偿装置，包括：抖动补偿模块、与识别模块连接的前置摄像头、陀螺仪传感器、加速计和车辆传感器，其中，所述识别模块、陀螺仪传感器、加速计和车辆传感器与预测模块连接；陀螺仪传感器、加速计和车辆传感器还与定位模块连接；所述陀螺仪传感器和加速计还与抖动补偿模块连接；所述预测模块、定位模块、抖动补偿模块和车辆传感器与数据呈现模块连接；所述数据呈现模块与投影显示器连接。
为实现上述第二目标集，本发明公开了一种用于汽车增强现实系统的抖动补偿方法，根据该方法描述了与车辆和周围物体的运动相联系的补偿，该方法考虑了时延和预测。根据本发明，将来自前置摄像头的识别结果以与进入前置摄像头的矩阵的光的时刻相关的相应频率和时延传递到预测模块中；陀螺仪传感器和加速计将数据传递到预测模块和定位模块；车辆传感器将各种频率和时间的数据传递到预测模块和定位模块；通过定位模块计算车辆的位置和旋转，以及它们在当前时刻的相对位移，并通过模块操作的累积时间将其与当前时刻相偏移，并将其传输到预测模块中；基于接收到的数据，分别预测静态和动态物体的位置，将来自陀螺仪传感器和加速计的数据传输到车辆抖动补偿模块中，在呈现和数据显示模块的操作期间对低频抖动进行预测，并将其余抖动与预测部分一起提供给数据呈现模块中以在投影显示器上可视化，同时在数据呈现模块中进行计算；在抖动补偿模块的工作期间，将上述部分或全部分量相加，并在呈现模块中进行全部校正后，对形成的图像进行校正，以补偿驾驶员眼睛的位移，将针对驾驶员的最终结果在投影显示器上可视化。
此外，为实现上述第二目标集，本发明公开了一种用于汽车增强现实系统的抖动补偿方法，根据该方法描述了与车辆和周围物体的运动相联系的补偿，该方法考虑了时延和预测。根据本发明，将来自前置摄像头的视频流传送到识别模块中，陀螺仪传感器和加速计以及车辆传感器将数据传送到识别模块中；在基于接收到的数据对周围物体进行识别的情况下，将识别结果传递到预测模块，陀螺仪传感器和加速计将数据传递到预测模块和定位模块，车辆传感器将各种频率和时延的数据传递到预测模块和定位模块，通过定位模块计算车辆的位置和旋转，以及它们在当前时刻的相对位移，并通过模块操作的累积时间将其与当前时刻相偏移，并将其传输到预测模块中；基于接收到的数据，分别预测静态和动态物体的位置，将来自陀螺仪传感器和加速计的数据传输到车辆抖动补偿模块中，在呈现和数据显示模块的操作期间对低频抖动进行预测，并将其余抖动与预测部分一起提供给数据呈现模块中以在投影显示器上可视化，同时在数据呈现模块中进行计算；在抖动补偿模块的工作期间，将上述部分或全部分量相加，并在呈现模块中进行全部校正后，对形成的图像进行校正，以补偿驾驶员眼睛的位移，将针对驾驶员的最终结果在投影显示器上可视化。
在现代汽车中，由具有更长的时延但具有更好的精度的较低频率的数据建立的级联方法，相对于更频繁和更快速但具有随时间累积误差的能力的那些方法，将所要求保护的装置与原型区分开。
该装置使用所有的数据，包括关于自我运动的数据，关于静态和动态物体的运动的数据，来自高频加速计和陀螺仪传感器的数据，以及来自预测模块的数据。与所熟知的类似物不同，不使用这些机制中的多于两种机制或在不考虑其互连的情况下使用它们，所提出的方法允许获得高质量的结果，从而对该类型的装置提出了很高的要求：
-在显示系统操作时间层级上的时延；
-消除误差在校正和预测中的累积；
-在获得数据之后尽快使用数据；
-以最大可用频率有效地使用数据；
-不同抖动特性使用不同抖动补偿策略的可能性。
车辆位置和角度的高频变化的有效补偿与自身运动的补偿以及其他物体在低于该补偿频率下的运动的补偿密不可分，在本发明中示出了这种联系，并且获得了结果，这是由于提出了从较低频率到较高频率的级联补偿方案。
与原型不同，本发明的方法允许基于测试和实验来建立最佳补偿，该测试和实验揭示了哪些振动元素需要被补偿，哪些仅导致驾驶员的不良感知和分心。
与在显示之前以最小时间确定显示物体的相对位置的原型相比，所要求保护的发明不具有这一缺点，因为位置确定考虑了具有与物理显示过程的时间相对应的时间提前的预测，也包括另外的低频抖动。
本发明通过图示来说明。
图1示出了一种车辆抖动补偿装置，其中，摄像头提供识别的物体；
图2示出了一种车辆抖动补偿装置，其中，摄像头提供视频流。
根据第一实施例的车辆抖动补偿装置包括：识别前置摄像头1，其提供识别物体；陀螺仪传感器和加速计2；以及车辆传感器3，其中，所述识别前置摄像头1、陀螺仪传感器和加速计2以及车辆传感器3与预测模块4连接；所述预测模块4用于预测自身运动和周围物体的运动；所述预测模块4计算车辆的相对位移和绝对位置，包括围绕三轴的旋转。所述陀螺仪传感器和加速计2以及车辆传感器3还与定位模块5连接；所述陀螺仪传感器和加速计2还与抖动补偿模块6连接，抖动补偿模块6基于陀螺仪传感器和加速计测量工作。所述预测模块4、定位模块5、抖动补偿模块6和车辆传感器3与数据呈现模块7连接，用于在投影显示器8上显示。所述数据呈现模块7与投影显示器8连接。
根据第二实施例的车辆抖动补偿装置包括：前置摄像头1，其提供视频流；陀螺仪传感器和加速计2；以及车辆传感器3(至少包括方向盘旋转和车辆速度)；所述前置摄像头1、陀螺仪传感器和加速计2以及车辆传感器3与识别模块9连接，用于通过视频流识别自身的运动以及周围的动态物体和静态物体。所述识别模块9、陀螺仪传感器和加速计2以及车辆传感器3与预测模块4连接。所述陀螺仪传感器和加速计2以及车辆传感器3还与识别模块5连接。所述陀螺仪传感器和加速计2还与抖动补偿模块6连接。所述预测模块4、定位模块5、抖动补偿模块6和车辆传感器3与数据呈现模块7连接，其中，所述数据呈现模块7与投影显示器8连接。
所述车辆抖动补偿装置的工作原理如下所述。
在第一实施例中，识别前置摄像头1将具有频率F1A和相对于光进入前置摄像头1的矩阵的时刻的时延的识别结果传送到预测模块4中。
在第二实施例中，前置摄像头1将具有频率F1B和相对于光进入前置摄像头1的矩阵的时刻的时延的视频流传送到识别模块9中。陀螺仪传感器和加速计2将具有频率F2和时延的数据传送到识别模块9中。车辆传感器3将具有各种频率和时延的数据传送到识别模块9。基于所接收的数据，识别模块9识别具有频率F1B的周围物体，并将具有频率F1B和相对于光进入前置摄像头1的矩阵的时刻的时延的识别结果传送到预测模块4中。
此外，对于两个实施例，该方法是类似的。所述陀螺仪传感器和加速计2将具有频率F2的数据传送到预测模块4，并且还将该数据传送到定位模块5。车辆传感器3将具有各种频率和时延的数据传送到预测模块4以及定位模块5。所述定位模块5计算车辆的位置及其相对位移，并以所需的可能变化的频率F4将其传输到预测模块4。
所述定位模块5通过模块操作4、7和8的累积时间来计算车辆的位置和旋转以及它们在该时刻的相对位移，并将它们以频率F4传送到数据呈现模块7中。
根据接收到的数据，预测模块4分别预测静态和动态物体的位置，将后者作为它们运动的预测非随机值从模型中减去，并从陀螺仪传感器和加速度计2中减去较高频率的数据，在相应的可用时间间隔内将它们集成在一起。预测发生的时间与结果预测时间相差模块7和9操作的累积时间。
车辆抖动补偿模块6从陀螺仪传感器和加速计2接收数据，并对用于呈现和显示数据时间间隔的模块7的操作的低抖动频率进行预测，并且将其余抖动作为与不同频率相对应的附加部分(与部分的预测部分相结合)提供给数据呈现模块7以便在投影显示器8上显示。
数据呈现模块7执行计算，将在抖动补偿模块6的操作周期上集成的部分或所有部分相加。
在当前检查的范围之外，在进行了模块7中所述的所有校正之后，将对所形成的图像进行校正以补偿驾驶员的眼睛位移。
通过所描述的级联方式估计的所有增强物体的最终预测位置，用于投影显示器8时间间隔的数据传输和可视化，并进行校正且呈现到投影显示器8中，以便驾驶员以车辆前方的虚拟场景的形式查看最终结果。基于所提出的系统，这些物体的运动与驾驶员视野中的真实物体的运动相对应。

Claims (4)

1.一种用于汽车增强现实系统的抖动补偿装置，包括抖动补偿模块，其特征在于，包括识别前置摄像头、陀螺仪传感器和加速计以及车辆传感器，其中，所述识别前置摄像头、所述陀螺仪传感器和加速计以及所述车辆传感器与预测模块连接；所述陀螺仪传感器和加速计以及传感器雷达还与定位模块连接；所述陀螺仪传感器和加速计还与抖动补偿模块连接；所述预测模块、所述定位模块、所述抖动补偿模块和所述车辆传感器与数据呈现模块连接；所述数据呈现模块与投影显示器连接。
2.一种用于汽车增强现实系统的抖动补偿装置，包括抖动补偿模块，其特征在于，包括与识别模块连接的前置摄像头、陀螺仪传感器、加速计和车辆传感器，其中，所述识别模块、所述陀螺仪传感器、所述加速计和所述车辆传感器与预测模块连接；所述陀螺仪传感器、所述加速计和所述车辆传感器还与定位模块连接；所述陀螺仪传感器和所述加速计还与抖动补偿模块连接；所述预测模块、所述定位模块、所述抖动补偿模块和所述车辆传感器与数据呈现模块连接；所述数据呈现模块与投影显示器连接。
3.一种用于汽车增强现实系统的抖动补偿方法，根据所述方法描述了与车辆和周围物体的运动相联系的补偿，所述方法考虑了时延和预测，其特征在于，将来自前置摄像头的识别结果以与进入前置摄像头的矩阵的光的时刻相关的相应频率和时延传递到预测模块中；陀螺仪传感器和加速计将数据传递到所述预测模块和定位模块；车辆传感器将各种频率和时延的数据传递到所述预测模块和所述定位模块；通过所述定位模块计算车辆的位置和旋转，以及它们在当前时刻的相对位移，并通过模块操作的累积时间将其与当前时刻相偏移，并将其传输到所述预测模块中；其中，基于接收到的数据，分别预测静态和动态物体的位置；将来自所述陀螺仪传感器和所述加速计的数据传输到车辆抖动补偿模块中，在呈现和数据显示模块的操作期间对低频抖动进行预测，并将其余抖动与预测部分一起提供给数据呈现模块以在投影显示器上可视化，同时在所述数据呈现模块中进行计算；在所述抖动补偿模块的工作期间，将上述部分或全部分量相加，并在所述呈现模块中进行全部校正后，对形成的图像进行校正，以补偿驾驶员眼睛的位移，将针对驾驶员的最终结果在所述投影显示器上可视化。
4.一种用于汽车增强现实系统的抖动补偿方法，根据所述方法描述了与车辆和周围物体的运动相联系的补偿，所述方法考虑了时延和预测，其特征在于，将来自前置摄像头的视频流传送到识别模块中，陀螺仪传感器和加速计以及车辆传感器将数据传送到所述识别模块中；在基于接收到的数据对周围物体进行识别的情况下，所述识别模块将预测结果传递到预测模块，所述陀螺仪传感器和所述加速计将数据传递到所述预测模块和定位模块，所述车辆传感器将各种频率和时延的数据传递到所述预测模块和所述定位模块，通过所述定位模块计算车辆的位置和旋转，以及它们在当前时刻的相对位移，并通过模块操作的累积时间将其与当前时刻相偏移，并将其传输到所述预测模块中，基于接收到的数据，所述预测模块分别预测静态和动态物体的位置；将来自所述陀螺仪传感器和加速计的数据传输到车辆抖动补偿模块中，在数据呈现和数据显示模块的操作期间对低频抖动进行预测，并将其余抖动与预测部分一起提供给数据呈现模块以在投影显示器上可视化，同时在所述数据呈现模块中进行计算；在所述抖动补偿模块的工作期间，将上述部分或全部分量相加，并在所述呈现模块中进行全部校正后，对形成的图像进行校正，以补偿驾驶员眼睛的位移，将针对驾驶员的最终结果在所述投影显示器上可视化。
CN201980058945.XA 2019-03-15 2019-12-28 抖动补偿装置和抖动补偿方法 Pending CN112673619A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
UAA201902561 2019-03-15
UAA201902561A UA120581C2 (uk) 2019-03-15 2019-03-15 Пристрій компенсації трясіння для систем доповненої реальності в автомобілі (варіанти) і спосіб компенсації трясіння (варіанти)
PCT/UA2019/000171 WO2020190248A1 (en) 2019-03-15 2019-12-28 Apparatus of shaking compensation and method of shaking compensation

Publications (1)

Publication Number Publication Date
CN112673619A true CN112673619A (zh) 2021-04-16

Family

ID=71116722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980058945.XA Pending CN112673619A (zh) 2019-03-15 2019-12-28 抖动补偿装置和抖动补偿方法

Country Status (8)

Country Link
US (1) US20210185232A1 (zh)
JP (1) JP7319367B2 (zh)
KR (1) KR102501257B1 (zh)
CN (1) CN112673619A (zh)
DE (1) DE112019004159T5 (zh)
GB (1) GB2588305B (zh)
UA (1) UA120581C2 (zh)
WO (1) WO2020190248A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7120982B2 (ja) * 2019-11-11 2022-08-17 株式会社Soken 表示制御装置
WO2023210288A1 (ja) * 2022-04-25 2023-11-02 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理システム
CN115134525B (zh) * 2022-06-27 2024-05-17 维沃移动通信有限公司 数据传输方法、惯性测量单元及光学防抖单元

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982746B1 (en) * 1998-02-24 2006-01-03 Canon Kabushiki Kaisha Apparatus and method for correcting shake by controlling sampling timing of shake signal
US20180096501A1 (en) * 2016-10-01 2018-04-05 Intel Corporation Technologies for motion-compensated virtual reality
WO2018159119A1 (ja) * 2017-02-28 2018-09-07 株式会社デンソー 表示制御装置及び表示制御方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3061642B1 (en) * 2013-10-22 2019-10-02 Nippon Seiki Co., Ltd. Vehicle information projection system, and projection device
JP2017013590A (ja) 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置
DE102015011616A1 (de) * 2015-09-04 2017-03-09 Audi Ag Virtual-Reality-System und Verfahren zum Betreiben eines Virtual-Reality-Systems
KR101756252B1 (ko) * 2015-11-09 2017-07-11 현대오트론 주식회사 헤드업 디스플레이의 표시 제어 장치 및 방법
KR20170055135A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 가상현실 단말기 및 그 제어방법
KR101826627B1 (ko) * 2015-12-02 2018-02-08 현대오트론 주식회사 헤드업 디스플레이를 이용한 안전 운전정보 표시장치 및 그 제어방법
DE102016009506A1 (de) * 2016-08-04 2017-04-13 Daimler Ag Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeuges
US10769831B2 (en) * 2016-08-29 2020-09-08 Maxell, Ltd. Head up display
JP6731644B2 (ja) 2017-03-31 2020-07-29 パナソニックＩｐマネジメント株式会社 表示位置補正装置、表示位置補正装置を備える表示装置、及び表示装置を備える移動体
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6982746B1 (en) * 1998-02-24 2006-01-03 Canon Kabushiki Kaisha Apparatus and method for correcting shake by controlling sampling timing of shake signal
US20180096501A1 (en) * 2016-10-01 2018-04-05 Intel Corporation Technologies for motion-compensated virtual reality
WO2018159119A1 (ja) * 2017-02-28 2018-09-07 株式会社デンソー 表示制御装置及び表示制御方法

Also Published As

Publication number Publication date
GB2588305A (en) 2021-04-21
DE112019004159T5 (de) 2021-05-20
JP2021533420A (ja) 2021-12-02
GB202017697D0 (en) 2020-12-23
KR20210011980A (ko) 2021-02-02
GB2588305B (en) 2023-05-17
UA120581C2 (uk) 2019-12-26
JP7319367B2 (ja) 2023-08-01
WO2020190248A1 (en) 2020-09-24
US20210185232A1 (en) 2021-06-17
KR102501257B1 (ko) 2023-02-17

Similar Documents

Publication Publication Date Title
CN112673619A (zh) 抖动补偿装置和抖动补偿方法
JP6780661B2 (ja) 画像処理装置および方法、プログラム、並びに画像処理システム
CN108621943B (zh) 用于在车辆电子显示器上动态显示图像的系统和方法
US9360668B2 (en) Dynamically calibrated head-up display
CN101611632B (zh) 车辆用周边监视装置及车辆用周边监视方法
EP3572834A1 (en) Distance measurement processing apparatus, distance measurement module, distance measurement processing method, and program
US10552695B1 (en) Driver monitoring system and method of operating the same
JP6990175B2 (ja) 車両の車両周辺部における覆い隠された領域を割り出すための方法と装置
WO2019039279A1 (ja) 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
KR102550382B1 (ko) 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체
JPWO2018193708A1 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
US20200010017A1 (en) Wide area surround view monitoring apparatus for vehicle and control method thereof
JP6350596B2 (ja) 表示システム
CN103502876A (zh) 用于校正车辆的投影装置的方法和设备
KR20110114485A (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP7006235B2 (ja) 表示制御装置、表示制御方法および車両
US10771711B2 (en) Imaging apparatus and imaging method for control of exposure amounts of images to calculate a characteristic amount of a subject
US20190197730A1 (en) Semiconductor device, imaging system, and program
WO2017212992A1 (ja) 物体距離検出装置
WO2019208080A1 (ja) 悪路判定装置、表示制御ユニット、及び悪路判定プログラム
JP7112255B2 (ja) 車両データの時刻同期装置及び方法
JP6873350B2 (ja) 表示制御装置及び表示制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220609

Address after: Connecticut, USA

Applicant after: HARMAN INTERNATIONAL INDUSTRIES, Inc.

Address before: 10A, felinga street, lower Flynn, Munich, Germany

Applicant before: Apstra LLC