CN115330922B - 数据处理方法、装置、车辆、可读存储介质与芯片 - Google Patents

数据处理方法、装置、车辆、可读存储介质与芯片 Download PDF

Info

Publication number
CN115330922B
CN115330922B CN202210956516.8A CN202210956516A CN115330922B CN 115330922 B CN115330922 B CN 115330922B CN 202210956516 A CN202210956516 A CN 202210956516A CN 115330922 B CN115330922 B CN 115330922B
Authority
CN
China
Prior art keywords
data
target
positioning data
timestamp
adjacent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210956516.8A
Other languages
English (en)
Other versions
CN115330922A (zh
Inventor
邱一鸣
毛华清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiaomi Automobile Technology Co Ltd
Original Assignee
Xiaomi Automobile Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiaomi Automobile Technology Co Ltd filed Critical Xiaomi Automobile Technology Co Ltd
Priority to CN202210956516.8A priority Critical patent/CN115330922B/zh
Publication of CN115330922A publication Critical patent/CN115330922A/zh
Application granted granted Critical
Publication of CN115330922B publication Critical patent/CN115330922B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0602—Systems characterised by the synchronising information used
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04J—MULTIPLEX COMMUNICATION
    • H04J3/00—Time-division multiplex systems
    • H04J3/02—Details
    • H04J3/06—Synchronising arrangements
    • H04J3/0635—Clock or time synchronisation in a network
    • H04J3/0638—Clock or time synchronisation among nodes; Internode synchronisation
    • H04J3/0647—Synchronisation among TDM nodes
    • H04J3/065—Synchronisation among TDM nodes using timestamps

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Navigation (AREA)

Abstract

本公开涉及一种数据处理方法、装置、车辆、可读存储介质与芯片，涉及车辆技术领域。所述方法包括：获取多个感知数据、每个该感知数据对应的第一时间戳，多个定位数据以及每个该定位数据对应的第二时间戳；对于该多个感知数据中的任一感知数据，确定与该感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；对该感知数据与该目标定位数据进行叠加，得到目标数据；对该目标数据进行渲染。使用本公开提出的数据处理方法，可以对同一时刻下或位于同一时刻周围的感知数据与目标定位数据进行合并，使得感知数据与目标定位数据的时间是对齐的，减少了时间不对齐所导致的在画面抖动的现象。

Description

数据处理方法、装置、车辆、可读存储介质与芯片
技术领域
本公开涉及车辆技术领域，尤其涉及一种数据处理方法、装置、车辆、可读存储介质与芯片。
背景技术
随着车辆技术的发展，市面上出现了自动驾驶车辆，自动驾驶指的是在不需要驾驶员驾驶操作的情况下，车辆也能够自动安全行驶。
相关技术中，自动驾驶车辆会将感知到的交通环境信息，通过人机交互界面呈现给驾驶者，从而给用户反馈车辆周围真实的交通环境，帮助用户辅助驾驶。
然而，由于不同硬件采集数据的频率不一致，导致所获取到的与感知物相关的感知数据与定位数据在时间上错开的现象，那么依据感知数据与定位数据在人机交互界面上渲染出的与感知物相关的画面会出现抖动的现象。
发明内容
为克服相关技术中存在的问题，本公开提供一种数据处理方法、装置、车辆、可读存储介质与芯片。
根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：
获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳；
对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；
对所述感知数据与所述目标定位数据进行叠加，得到目标数据；
对所述目标数据进行渲染。
可选地，所述对所述目标数据进行渲染包括：
根据相邻两个目标数据之间的感知时长，以及对所述目标数据进行渲染的渲染时长，确定插值间隔时长；
以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染。
可选地，所述目标数据包括感知物的位置，所述以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染，包括：
以所述插值间隔时长，在所述相邻两个位置之间插入至少一个插值，以对所述感知物的位置进行渲染。
可选地，所述至少一个插值通过以下步骤确定：
根据所述相邻两个位置之间的第一差值以及位于所述相邻两个位置之间的插值间隔时长的数量，确定递增值；
在所述相邻两个位置中的上一位置的基础上，依次叠加所述递增值，以得到所述至少一个插值。
可选地，所述相邻两个目标数据之间的感知时长通过以下步骤获取：
在预设范围内检测到所述感知物的情况下，将每帧目标数据持续的时长，作为所述相邻两个目标数据之间的感知时长。
可选地，所述确定与所述感知数据的第一时间戳相邻的第二时间戳对应的目标定位数据，包括：
确定与所述感知数据的第一时间戳相邻的第二时间戳对应的至少两个第一定位数据；
从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据。
可选地，所述从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据，包括：
分别确定所述至少两个第一定位数据的第二时间戳与所述第一时间戳之间的第二差值；
从所述至少两个第二差值中，确定出最小差值对应的第一定位数据，作为所述目标定位数据。
根据本公开实施例的第二方面，提供一种数据处理装置，所述装置包括：
获取模块，被配置为获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳；
目标定位数据确定模块，被配置为对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；
叠加模块，被配置为对所述感知数据与所述目标定位数据进行叠加，得到目标数据；
渲染模块，被配置为对所述目标数据进行渲染。
根据本公开实施例的第三方面，提供一种车辆，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行所述可执行指令时实现本公开实施例的第一方面提供的数据处理方法的步骤。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开实施例的第一方面提供的数据处理方法的步骤。
根据本公开实施例的第五方面，提供一种芯片，包括处理器和接口；所述处理器用于读取指令以执行本公开实施例的第一方面提供的数据处理方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：
首先，由于与第一时间戳相同的第二时间戳对应的目标定位数据，和位于第一时间戳下的感知数据是位于同一时刻下的，所以同一时刻下获取的感知数据与定位数据的时间是对齐的，对同一时刻下的感知数据与定位数据叠加后的目标数据进行渲染后，不会出现时间不对齐导致的画面抖动等现象；
其次，间隔时长较小的第二时间戳对应的目标定位数据，虽然与第一时间戳对应的感知数据不是同一时刻下的，但是二者的间隔时长较小，说明目标定位数据是在第一时间戳周围所获取到的数据，通常情况下，相邻多帧不同时间戳下的数据没有太大的区别，甚至没有区别，所以位于第一时间戳周围的目标定位数据，与第一时间戳这一时刻上的定位数据之间并没有太大区别，基于此，对第一时间戳周围的目标定位数据与第一时间戳上的感知数据叠加后的目标数据进行渲染后，在大多数情况下也不会出现画面抖动，减少了画面抖动的现象。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种数据处理方法的流程图。
图2是根据一示例性实施例示出的以30Hz的采集频率获取感知数据的示意图。
图3是根据一示例性实施例示出的以100Hz的采集频率获取定位数据的示意图。
图4是根据一示例性实施例示出的在人机交互界面上显示感知物的示意图。
图5是根据一示例性实施例示出的未插入插值之前的示意图。
图6是根据一示例性实施例示出的在位置A与位置B之间增加了插值间隔时长后的示意图。
图7是根据一示例性实施例示出的在位置A与位置B之间增加了递增值的示意图。
图8是根据一示例性实施例示出的一种数据处理装置的框图。
图9是一示例性实施例示出的一种车辆的功能框图示意图。
图10是一示例性实施例示出的一种装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
图1是根据一示例性实施例示出的一种数据处理方法的流程图，该方法可以运用在车辆中，具体包括以下步骤。
在步骤S11中，获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳。
本公开中，可以通过雷达与摄像头来持续探测感知物的多个感知数据；也可以通过GPS来持续获取感知物的多个定位数据。在这个过程中，雷达与GPS的数据采集频率不一致，摄像头与GPS的数据采集频率也不一致。
例如，在以30Hz(30Hz可以理解为1秒获取30帧感知数据)来获取感知物的感知数据，以100HZ(100Hz可以理解为1秒获取100帧定位数据)的频率来获取感知物的定位数据的情况下，多个感知数据对应的多个第一时间戳分别为0ms、30ms、60ms、90ms、120ms、150ms等，多个定位数据对应的第二时间戳分别为0ms、10ms、20ms、30ms、40ms、50ms、60ms等。
其中，感知物可以为车辆、机器人、人等移动物。感知数据包括感知物在以当前设备为中心绘制的坐标系中的坐标信息(例如可以为其余车辆在当前车辆的车体坐标系中的坐标)、感知物的标识(例如可以为其余车辆的设备id)、感知物的类型(例如可以为小轿车、大卡车等不同类型)、感知物的尺寸(例如车辆的长、宽与高等)、感知物的速度以及感知物的偏转角度(例如其余车辆相较于当前车辆的偏转角度)等；定位数据包括感知物在世界坐标系下的经纬度坐标与感知物的大地高等。
在步骤S12中，对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据。
相关技术中，需要对同一时刻的感知物的感知数据与定位数据进行叠加，才能模拟出感知物此时刻在人机交互界面上的感知物信息，感知物信息包括感知物的形状、位置、尺寸以及与当前车辆之间的距离等，当得到不同时刻下感知物的感知物信息之后，可以在人机交互界面上实时地显示感知物在不同时刻下的运动状态。而由于感知数据与定位数据的采集频率不一致，导致获取的两种数据有可能不是同一时刻下的数据，例如获取的感知数据是第30ms，而获取到的定位数据是第400ms的，若将未在同一时刻上的感知数据与定位数据进行叠加，所模拟出的感知物在人机交互界面上会存在抖动的现象，例如，感知物从(1，1，1)的位置瞬移至(2，2，2)，用户观看感知物时，则是感知物在人机交互界面的画面上抖动，或者感知物会在人机交互界面上突然出现或突然消失。
为了尽量使得感知物能够在人机交互界面上顺畅地运动，可以从多个定位数据中，确定与感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据。
例如，以30Hz的频率获取多个感知数据，多个感知数据对应的多个第一时间戳分别为0ms、30ms、60ms、90ms、120ms、150ms；以100Hz的频率获取多个定位数据，多个定位数据对应的第二时间戳分别为0ms、10ms、20ms、30ms、40ms、50ms、60ms、70ms、80ms的情况下，可以从多个定位数据中确定出与第一时间戳30ms相同的第二时间戳30ms对应的目标定位数据，也可以从多个定位数据中确定出与第一时间戳90ms相邻的第二时间戳80ms。
在这个过程中，由于采集感知数据的频率小于采集定位数据的频率，使得在获取到一个感知数据时，已经获取到多个定位数据，所以是从多个定位数据中确定与第一时间戳相同或相邻的目标定位数据。
且与第一时间戳相同的第二时间戳对应的目标定位数据，是与第一时间戳下的感知数据位于同一时刻下的定位数据，将位于同一时刻下的感知数据与定位数据进行叠加后得到的目标数据，进行渲染后得到的感知物的位置、尺寸以及距离等感知物信息均是准确的；与第一时间戳相邻的第二时间戳对应的目标定位数据，是与第一时间戳下的感知数据位于不同时刻下，但间隔时长较小的定位数据，将位于不同时刻下且间隔时长较小的感知数据与定位数据进行叠加后得到的目标数据，进行渲染后得到的感知物的位置、尺寸以及距离等感知物信息也是比较准确的。
其中，研究人员在确定目标定位数据的过程中，是先考虑到对于任一感知数据，确定与感知数据获取次数相同或相近的目标定位数据这一技术方案，但是该技术方案会导致获取的目标定位数据不准确，将不准确的目标定位数据与感知数据结合之后，仍然出现感知物抖动、感知物突然出现或感知物突然消失的现象。
原因在于：请参阅图2与图3所示，图2示出了第一时间戳与多个感知数据之间的对应关系，随着第一时间戳的增大，感知数据也在不断变化；图3示出了第二时间戳与多个定位数据之间的对应关系，随着第二时间戳的增大，定位数据也在不断变化，一个第二时间戳对应一个定位数据。
若考虑获取与感知数据获取次数相同的目标定位数据，由于感知数据的采集频率是30Hz，定位数据的采集频率是100Hz，导致获取一次感知数据时，已经获取到多帧定位数据，为了使得两者的获取次数相互匹配，所以在获取一次感知数据时，会间隔30ms来获取一次定位数据，例如第一次获取感知数据的位置是在30ms，第一次获取定位数据的位置是0ms位置的基础上增加30ms，即30ms所在的位置，可见采用获取次数相同的技术方案在理想状态下是可以实现准确获取定位数据的。
然而，在第一次获取感知数据是在第一时间戳为30ms的位置，第一次获取定位数据是在第二时间戳为30ms的位置，且获取定位数据时出现网络波动或延迟的情况下，第一次获取定位数据的时间则会延迟，假设延迟了50ms，第一次获取定位数据的时间可能会从30ms延迟至80ms，而80ms的第二时间戳对应的定位数据与原本所要获取的30ms的第二时间戳对应的定位数据之间相差较大，将第二时间戳为80ms对应的定位数据与第一时间戳为30ms对应的感知数据叠加后，所得到的目标数据自然是不准确的。
为了避免网络波动或延迟导致的目标定位数据不准确的问题，本公开提出获取与感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据，请参阅图2与图3所示，与第一时间戳为30ms对应的第二时间戳也为30ms，而30ms对应的定位数据是准确的第一次所需获取的定位数据，其不受网络波动或延迟而往后推延30ms。
其中，由于第一时间戳具有多个，那么得到的目标定位数据也具有多个，依据多个目标定位数据所渲染的感知物的画面有多帧，且每帧画面对应不同的第一时间戳，使得在人机交互界面上以不同的第一时间戳显示多帧具有感知物的画面，以动态地显示感知物的运动状态。
其中，可以先确定多个定位数据中是否有与第一时间戳相同的第二时间戳对应的目标定位数据，若存在，则将目标定位数据与感知数据进行叠加；若不存在，则再确定多个定位数据中是否有与第一时间戳相邻的第二时间戳对应的目标定位数据，再将目标定位数据与感知数据进行叠加。
在步骤S13中，对所述感知数据与所述目标定位数据进行叠加，得到目标数据。
本公开中，可以先获取到世界坐标系中的目标定位数据，将世界坐标系中的目标定位数据转换至地理信息系统坐标系(GCJ02，地理信息系统的坐标)中，再将地理信息系统坐标系中的目标定位数据转换至UTM(UTM，Universal Transverse Mercator GridSystem，通用横墨卡托格网系统))坐标系中；最后将UTM坐标系中的目标定位数据映射至虚拟世界的空间坐标系中。虚拟世界可以通过SR(Substitutional Reality，替代现实)、MR(Mixed Reality，混合现实)、VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)等设备产生。
也可以先获取到本公开的方法所运用到的设备，例如车辆、SR、MR、VR、AR等设备为中心，设定预设坐标系，例如车辆则是车体坐标系；先获取预设坐标系中的感知数据；再利用平移、转换、缩放的转换矩阵来对感知数据在预设坐标系中的坐标进行转换，得到感知数据在虚拟世界中的空间坐标。
在得到感知数据与目标定位数据在空间坐标系中的坐标之后，将两种同类型的数据进行相加，来得到目标数据。例如在感知数据与定位数据均为感知物的坐标信息的情况下，若感知数据中的坐标信息在虚拟世界中是(1，2，1)，定位数据中的坐标信息在虚拟世界中是(1，1，1)，将两种同类型的坐标信息相加后得到的(2，3，2)则是感知物在虚拟世界中的位置。
在步骤S14中，对所述目标数据进行渲染。
本公开中，在得到叠加后的目标数据之后，可以对目标数据进行渲染，来显示出感知物在虚拟世界中存在的画面，请参阅图4所示，以感知物为车辆举例，可以在人机交互界面中显示出当前车辆周围预设范围之内的其余感知物与当前车辆之间的距离、其余车辆的速度、其余车辆的类型以及其余车辆的尺寸等。
通过本公开提出的数据处理方法，可以从多个定位数据中，确定与感知数据的第一时间戳相邻或相同的第二时间戳对应的目标定位数据，对目标定位数据与感知数据叠加后的目标数据进行渲染后，在人机交互界面动态地显示感知物的运动状态。
在这个过程中，首先，由于与第一时间戳相同的第二时间戳对应的目标定位数据，和位于第一时间戳下的感知数据是位于同一时刻下的，所以同一时刻下获取的感知数据与定位数据的时间是对齐的，对同一时刻下的感知数据与定位数据叠加后的目标数据进行渲染后，不会出现时间不对齐导致的画面抖动等现象；
其次，间隔时长较小的第二时间戳对应的目标定位数据，虽然与第一时间戳对应的感知数据不是同一时刻下的，但是二者的间隔时长较小，说明目标定位数据是在第一时间戳周围所获取到的数据，通常情况下，相邻多帧不同时间戳下的数据没有太大的区别，甚至没有区别，所以位于第一时间戳周围的目标定位数据，与第一时间戳这一时刻上的定位数据之间并没有太大区别，基于此，对第一时间戳周围的目标定位数据与第一时间戳上的感知数据叠加后的目标数据进行渲染后，在大多数情况下也不会出现画面抖动，减少了画面抖动的现象。
在一种可能的实施方式中，在对目标数据进行渲染时，由于渲染频率与感知频率不一致，例如渲染频率大于感知频率的情况下，存在没有目标数据进行渲染的情况，此时人机交互界面上可能会出现感知物的画面卡顿，或感知物运行不流畅的情况，而这些情况影响了用户的视觉体验，也无法准确地辅助用户判断其余感知物的运动状态，为了使得渲染出的感知物的画面更加流畅，本公开还提出以下步骤：
在步骤S21中，根据相邻两个目标数据之间的感知时长，以及对所述目标数据进行渲染的渲染时长，确定插值间隔时长。
其中，插值间隔时长指的是插入至相邻两个目标数据之间，每插入一个插值所间隔的时长。
其中，渲染时长指的是渲染每帧目标数据所需要使用的时长，在确定渲染时长时，可以通过渲染频率来得到对目标数据进行渲染的渲染时长，具体而言，可以将渲染频率的倒数作为对每帧目标数据进行渲染的渲染时长。例如，在渲染频率为60Hz的情况下，对每帧目标数据进行渲染的渲染时长则是1/60。
在确定渲染时长时，不同的设备具有不同的渲染频率，例如设备性能较高，渲染时长较短，渲染频率较快；设备性能较低，则渲染时长较长，渲染频率较慢。且同一设备也可能具有不同的渲染频率，但是设备会输出当前时刻下的渲染频率，此时可以基于设备输出的渲染频率，将渲染频率的倒数作为渲染每帧目标数据所需使用的渲染时长。
其中，感知时长也可以理解为获取每帧目标数据或每帧感知数据所需要使用的时长，获取每帧感知数据所需要使用的时长可以通过相邻两个第一时间戳相减得到。由于目标定位数据是以第一时间戳来确定的，所以最终对目标定位数据与感知数据叠加后的目标数据也是按照第一时间戳的排列顺序来依次进行显示的，例如以30Hz的频率来得到多个目标数据，使得目标数据的感知时长与感知数据的感知时长相同。
在确定感知时长时，由于传感器受到外界环境的影响，对目标数据的感知频率有快有慢，所以无法依据感知频率来得到感知时长。此时可以通过计时器来确定两帧目标数据之间的感知时长，具体地，可以在当前设备的预设范围内检测到感知物的情况下，通过计时器来对每帧目标数据出现在预设范围内的时长进行计时，来得到每帧目标数据在预设范围内持续显示的时长，并将该时长作为相邻两个目标数据之间的感知时长。当每一帧目标数据在人机交互界面中被渲染完毕之后，计时器清零，再重新对下一帧目标数据的感知时长进行计时。
在确定了渲染时长与感知时长之后，最后将渲染时长除以感知时长，来得到在相邻两帧目标数据之间，每插入一个插值所间隔的插值间隔时长。
具体地，在渲染时长与感知时长之间的比值小于预设值(预设值例如为1)的情况下，表明感知频率小于渲染频率，此时会出现画面卡顿的现象。
例如，请参阅图5所示，位置A的第一时间戳为0ms，位置B的第一时间戳为1S，当感知频率小于渲染频率，设备需要将感知物从位置A渲染至位置B的过程中，由于位置A至位置B之间没有目标数据，所以设备会持续对感知物的位置A进行渲染，在获取到位置B之后再对位置B进行渲染，在画面上则显示出感知物位置A开始卡顿，卡顿持续1S后突然瞬移至位置B。
为了能够在画面上平滑地展示感知物的运动状态，在确定了插值间隔时长之后，需要以插值间隔时长来插入插值，避免出现卡顿的现象。
例如，请参阅图6所示，在得到的插值间隔时长为0.2的情况下，可以在位置A与位置B之间的第一时间戳为0与第一时间戳为1之间的间隔内，依次在0.2S、0.4S、0.6S、0.8S的时间戳上依次插入不同的插值，以使得设备在相邻两个位置之间，对不同的插值进行渲染，而不是持续对位置A进行渲染。
在步骤S22中，以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染。
本公开中，在目标数据为感知物的位置的情况下，可以以所述插值间隔时长，在所述相邻两个位置之间插入至少一个插值，以对所述感知物的位置进行渲染。且在至少一个插值的数量为两个以上的情况下，至少两个插值之间的数值各不相同。
具体地，可以根据相邻两个位置之间的第一差值以及位于相邻两个位置之间的插值间隔时长的数量，确定递增值；在相邻两个位置中的上一位置的基础上，依次叠加递增值，以得到至少一个插值。
例如，请参阅图7所示，在位置A的横坐标为2，位置B的横坐标为4，插值间隔时长为0.2，插值间隔时长的数量为5的情况下，可以将位置A与位置B二者的横坐标之间的第一差值2，除以插值间隔时长的数量5，来得到递增值0.4。
那么，则可以在0.2S、0.4S、0.6S、0.8S的时间戳上分别插入2.4、2.8、3.2、3.6的插值，如此设备在位置A的横坐标2与位置B的横坐标4之间，设备则可以依次对2、2.4、2.8、3.2、3.6、4这些目标数据与插值进行渲染，而不是持续对位置A进行渲染，渲染后在画面上也可以平滑地显示感知物沿着2、2.4、2.8、3.2、3.6、4的位置依次移动的运动状态，而非从位置A卡顿后瞬移至位置B，从而能够提高用户的视觉感受，进而更加准确地辅助用户安全驾驶。
在一种可能的实施方式中，在确定与第一时间戳相邻的第二时间戳对应的目标定位数据的过程中，由于目标定位数据的数量可能有一个，也可能有两个，也可能有三个等，所以为了确定最终的目标定位数据，本公开还包括以下步骤：
在步骤S31中，确定与所述感知数据的第一时间戳相邻的第二时间戳对应的至少两个第一定位数据。
其中，在确定出与感知数据的第一时间戳相邻的第二时间戳对应的第一定位数据的数量为一个的情况下，则将该第一定位数据作为目标定位数据。
在步骤S32中，从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据。
具体地，可以分别确定至少两个第一定位数据的第二时间戳与第一时间戳之间的第二差值；从至少两个第二差值中，确定出最小差值对应的第一定位数据，作为目标定位数据。
其中，第二差值为第一时间戳与第二时间戳之间差值的绝对值。
例如，在第一时间戳为50ms，与第一时间戳相邻的第二时间戳有49ms以及53ms这两个时间戳的情况下，则可以计算第一时间戳分别与两个第二时间戳之间的第二差值，得到两个第二差值分别为1与3，再从两个第二差值中确定出最小的第二差值1对应的第一定位数据，作为目标定位数据。
通过从至少两个插值中，确定最小差值对应的第一定位数据作为目标定位数据，可以使得得到的目标定位数据的第二时间戳是更加接近第一时间戳的，使得得到的感知数据与目标定位数据是更加靠近同一时刻的，那么依据更加靠近同一时刻的感知数据与目标定位数据所叠加得到的目标数据也是更加准确的。
图8是根据一示例性实施例示出的一种数据处理装置的框图。参照图8，该数据处理装置120包括：获取模块121、目标定位数据确定模块122、叠加模块123与渲染模块124。
获取模块121，被配置为获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳；
目标定位数据确定模块122，被配置为对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；
叠加模块123，被配置为对所述感知数据与所述目标定位数据进行叠加，得到目标数据；
渲染模块124，被配置为对所述目标数据进行渲染。
可选地，渲染模块124包括：
插值间隔时长确定模块，被配置为根据相邻两个目标数据之间的感知时长，以及对所述目标数据进行渲染的渲染时长，确定插值间隔时长；
第一渲染模块，被配置为以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染。
可选地，所述目标数据包括感知物的位置，第一渲染模块包括：
第二渲染模块，被配置为以所述插值间隔时长，在所述相邻两个位置之间插入至少一个插值，以对所述感知物的位置进行渲染。
可选地，数据处理装置120包括：
递增值确定模块，被配置为根据所述相邻两个位置之间的第一差值以及位于所述相邻两个位置之间的插值间隔时长的数量，确定递增值；
插值确定模块，被配置为在所述相邻两个位置中的上一位置的基础上，依次叠加所述递增值，以得到所述至少一个插值。
可选地，数据处理装置120包括：
感知时长确定模块，被配置为在预设范围内检测到所述感知物的情况下，将每帧目标数据持续的时长，作为所述相邻两个目标数据之间的感知时长。
可选地，目标定位数据确定模块122包括：
第一定位数据确定模块，被配置为确定与所述感知数据的第一时间戳相邻的第二时间戳对应的至少两个第一定位数据；
第一目标定位数据确定模块，被配置为从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据。
可选地，第一目标定位数据确定模块包括：
第二差值确定模块，被配置为分别确定所述至少两个第一定位数据的第二时间戳与所述第一时间戳之间的第二差值；
第二目标定位数据确定模块，被配置为从所述至少两个第二差值中，确定出最小差值对应的第一定位数据，作为所述目标定位数据。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的数据处理方法的步骤。
图9是根据一示例性实施例示出的一种车辆600的框图。例如，车辆600可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆600可以是自动驾驶车辆、半自动驾驶车辆或者非自动驾驶车辆。
参照图9，车辆600可包括各种子系统，例如，信息娱乐系统610、感知系统620、决策控制系统630、驱动系统640以及计算平台650。其中，车辆600还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆600的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统610可以包括通信系统，娱乐系统以及导航系统等。
感知系统620可以包括若干种传感器，用于感测车辆600周边的环境的信息。例如，感知系统620可包括全球定位系统(全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统)、惯性测量单元(inertial measurement unit，IMU)、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统630可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统640可以包括为车辆600提供动力运动的组件。在一个实施例中，驱动系统640可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆600的部分或所有功能受计算平台650控制。计算平台650可包括至少一个处理器651和存储器652，处理器651可以执行存储在存储器652中的指令653。
处理器651可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器(Graphic Process Unit，GPU)，现场可编程门阵列(Field ProgrammableGate Array，FPGA)、片上系统(System on Chip，SOC)、专用集成芯片(ApplicationSpecific Integrated Circuit，ASIC)或它们的组合。
存储器652可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
除了指令653以外，存储器652还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器652存储的数据可以被计算平台650使用。
在本公开实施例中，处理器651可以执行指令653，以完成上述的数据处理方法的全部或部分步骤。
图10是根据一示例性实施例示出的一种用于数据处理的装置1900的框图。例如，装置1900可以被提供为一服务器。参照图10，装置1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述数据处理方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理，一个有线或无线网络接口1950被配置为将装置1900连接到网络，和一个输入/输出接口1958。装置1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的数据处理方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (11)

1.一种数据处理方法，其特征在于，所述方法包括：
获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳；
对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；
对所述感知数据与所述目标定位数据进行叠加，得到目标数据；
对所述目标数据进行渲染。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标数据进行渲染包括：
根据相邻两个目标数据之间的感知时长，以及对所述目标数据进行渲染的渲染时长，确定插值间隔时长；
以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染。
3.根据权利要求2所述的方法，其特征在于，所述目标数据包括感知物的位置，所述以所述插值间隔时长，在所述相邻两个目标数据之间插入至少一个插值，以对所述目标数据进行渲染，包括：
以所述插值间隔时长，在所述相邻两个位置之间插入至少一个插值，以对所述感知物的位置进行渲染。
4.根据权利要求3所述的方法，其特征在于，所述至少一个插值通过以下步骤确定：
根据所述相邻两个位置之间的第一差值以及位于所述相邻两个位置之间的插值间隔时长的数量，确定递增值；
在所述相邻两个位置中的上一位置的基础上，依次叠加所述递增值，以得到所述至少一个插值。
5.根据权利要求2所述的方法，其特征在于，所述相邻两个目标数据之间的感知时长通过以下步骤获取：
在预设范围内检测到感知物的情况下，将每帧目标数据持续的时长，作为所述相邻两个目标数据之间的感知时长。
6.根据权利要求1所述的方法，其特征在于，所述确定与所述感知数据的第一时间戳相邻的第二时间戳对应的目标定位数据，包括：
确定与所述感知数据的第一时间戳相邻的第二时间戳对应的至少两个第一定位数据；
从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据。
7.根据权利要求6所述的方法，其特征在于，所述从所述至少两个第一定位数据中，根据所述第一定位数据的第二时间戳与所述感知数据的第一时间戳，确定所述目标定位数据，包括：
分别确定所述至少两个第一定位数据的第二时间戳与所述第一时间戳之间的第二差值；
从所述至少两个第二差值中，确定出最小差值对应的第一定位数据，作为所述目标定位数据。
8.一种数据处理装置，其特征在于，所述装置包括：
获取模块，被配置为获取多个感知数据、每个所述感知数据对应的第一时间戳，多个定位数据以及每个所述定位数据对应的第二时间戳；
目标定位数据确定模块，被配置为对于所述多个感知数据中的任一感知数据，确定与所述感知数据的第一时间戳相同或相邻的第二时间戳对应的目标定位数据；
叠加模块，被配置为对所述感知数据与所述目标定位数据进行叠加，得到目标数据；
渲染模块，被配置为对所述目标数据进行渲染。
9.一种车辆，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
执行所述可执行指令时实现所述权利要求1～7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1～7中任一项所述方法的步骤。
11.一种芯片，其特征在于，包括处理器和接口；所述处理器用于读取指令以执行权利要求1～7中任一项所述方法的步骤。
CN202210956516.8A 2022-08-10 2022-08-10 数据处理方法、装置、车辆、可读存储介质与芯片 Active CN115330922B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210956516.8A CN115330922B (zh) 2022-08-10 2022-08-10 数据处理方法、装置、车辆、可读存储介质与芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210956516.8A CN115330922B (zh) 2022-08-10 2022-08-10 数据处理方法、装置、车辆、可读存储介质与芯片

Publications (2)

Publication Number Publication Date
CN115330922A CN115330922A (zh) 2022-11-11
CN115330922B true CN115330922B (zh) 2023-08-15

Family

ID=83921150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210956516.8A Active CN115330922B (zh) 2022-08-10 2022-08-10 数据处理方法、装置、车辆、可读存储介质与芯片

Country Status (1)

Country Link
CN (1) CN115330922B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989840A (zh) * 2019-12-03 2020-04-10 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN111651441A (zh) * 2020-05-11 2020-09-11 北京小米移动软件有限公司 数据处理方法及装置、计算机存储介质
CN112558834A (zh) * 2020-12-23 2021-03-26 安徽中科美络信息技术有限公司 车管系统中人机交互界面上动态图标平滑显示方法及装置
CN113094564A (zh) * 2020-01-09 2021-07-09 浙江吉利汽车研究院有限公司 一种数据处理方法和装置
CN113379805A (zh) * 2021-08-12 2021-09-10 深圳市城市交通规划设计研究中心股份有限公司 一种交通节点的多信息资源融合处理方法
CN113978512A (zh) * 2021-11-03 2022-01-28 北京埃福瑞科技有限公司 轨道列车定位方法及装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813484B2 (en) * 2014-12-31 2017-11-07 Motorola Solutions, Inc. Method and apparatus analysis of event-related media
US10432988B2 (en) * 2016-04-15 2019-10-01 Ati Technologies Ulc Low latency wireless virtual reality systems and methods

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110989840A (zh) * 2019-12-03 2020-04-10 成都纵横自动化技术股份有限公司 数据处理方法、前端设备、后端设备及地理信息系统
CN113094564A (zh) * 2020-01-09 2021-07-09 浙江吉利汽车研究院有限公司 一种数据处理方法和装置
CN111651441A (zh) * 2020-05-11 2020-09-11 北京小米移动软件有限公司 数据处理方法及装置、计算机存储介质
CN112558834A (zh) * 2020-12-23 2021-03-26 安徽中科美络信息技术有限公司 车管系统中人机交互界面上动态图标平滑显示方法及装置
CN113379805A (zh) * 2021-08-12 2021-09-10 深圳市城市交通规划设计研究中心股份有限公司 一种交通节点的多信息资源融合处理方法
CN113978512A (zh) * 2021-11-03 2022-01-28 北京埃福瑞科技有限公司 轨道列车定位方法及装置

Also Published As

Publication number Publication date
CN115330922A (zh) 2022-11-11

Similar Documents

Publication Publication Date Title
CN109215433B (zh) 用于自动驾驶仿真的基于视觉的驾驶场景生成器
CN112204343B (zh) 高清晰地图数据的可视化
EP3967972A1 (en) Positioning method, apparatus, and device, and computer-readable storage medium
US20190304197A1 (en) Method of Ground Adjustment for In-Vehicle Augmented Reality Systems
EP2724896B1 (en) Parking assistance device
US11462112B2 (en) Multi-task perception network with applications to scene understanding and advanced driver-assistance system
US20130289875A1 (en) Navigation apparatus
EP3871935A1 (en) Parking space detection method and apparatus
CN113240813B (zh) 三维点云信息确定方法及装置
CN111127651A (zh) 基于高精度可视化技术的自动驾驶测试开发方法及装置
WO2021110412A1 (de) Anzeigeverfahren zur darstellung eines umgebungsmodells eines fahrzeugs, computerprogramm, steuergerät und fahrzeug
CN115330922B (zh) 数据处理方法、装置、车辆、可读存储介质与芯片
US20230273029A1 (en) Vision-based location and turn marker prediction
CN116136418A (zh) 导航引导信息生成方法、导航引导方法、程序产品和介质
US20230104858A1 (en) Image generation apparatus, image generation method, and non-transitory computer-readable medium
CN114511834A (zh) 一种确定提示信息的方法、装置、电子设备及存储介质
CN112770139A (zh) 车辆虚拟竞赛系统及方法
KR101324573B1 (ko) 사고지도를 생성하는 스마트 단말기 및 그 방법
EP4235584A1 (en) Image processing method and vehicle, and readable storage medium
CN112572423B (zh) 一种辅助泊车的方法和装置
CN116012474B (zh) 仿真测试图像生成、回注方法及系统、工控机、装置
US20230331238A1 (en) Layering method and apparatus for point cloud data, device, medium and vehicle
CN117246351A (zh) 自动泊车显示方法、装置、电子设备、存储介质及车辆
CN115661798B (zh) 确定目标区域的方法、装置、车辆及存储介质
US20240119857A1 (en) Systems and methods for training a scene simulator using real and simulated agent data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant