CN116027951A - 车辆采集数据的可视化方法、装置以及存储介质 - Google Patents
车辆采集数据的可视化方法、装置以及存储介质 Download PDFInfo
- Publication number
- CN116027951A CN116027951A CN202310328323.2A CN202310328323A CN116027951A CN 116027951 A CN116027951 A CN 116027951A CN 202310328323 A CN202310328323 A CN 202310328323A CN 116027951 A CN116027951 A CN 116027951A
- Authority
- CN
- China
- Prior art keywords
- point data
- coordinate point
- vehicle
- target
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007794 visualization technique Methods 0.000 title claims abstract description 6
- 238000012545 processing Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000013507 mapping Methods 0.000 claims abstract description 39
- 238000012937 correction Methods 0.000 claims description 11
- 239000012634 fragment Substances 0.000 claims description 11
- 238000012800 visualization Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 239000003086 colorant Substances 0.000 claims description 2
- 238000013480 data collection Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013079 data visualisation Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开涉及一种车辆采集数据的可视化方法、装置以及存储介质，所述方法包括：获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
Description
技术领域
本公开涉及自动驾驶技术领域，尤其涉及一种车辆采集数据的可视化方法、装置以及存储介质。
背景技术
目前，自动驾驶业务的可视化场景大部分是基于桌面端应用程序开发，并利用终端设备的中央处理器实现可视化展示。然而，当自动驾驶业务接入互联网需要利用浏览器进行可视化展示时，由于浏览器的资源有限，能够调度中央处理器的能力不足，而可视化展示需要执行的计算量巨大，从而导致浏览器的计算效率非常低，通过浏览器进行可视化展示时，用户需要等待的时间非常长。
发明内容
为克服相关技术中存在的问题，本公开提供一种车辆采集数据的可视化方法、装置以及存储介质。
根据本公开实施例的第一方面，提供一种车辆采集数据的可视化方法，应用于浏览器所属的终端设备中的图形处理器，所述方法包括：
获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过所述浏览器显示所述绘制结果。
可选地，所述根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据，包括：
根据所述外参，将所述三维坐标点数据从所述世界坐标系映射到相机坐标系中，得到相机坐标点数据；
根据所述内参，将所述相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
可选地，所述目标数据还包括所述相机的畸变参数，所述方法还包括：
根据所述畸变参数对所述相机坐标点数据进行畸变修正处理，得到畸变处理后的相机坐标点数据；
所述根据所述内参，将所述相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据，包括：
根据所述内参，将所述畸变处理后的相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
可选地，所述方法还包括：
将所述三维坐标点数据中的各坐标值转换到第二预设范围内，得到目标三维坐标点数据；
所述根据所述外参，将所述三维坐标点数据从所述世界坐标系映射到相机坐标系中，得到相机坐标点数据，包括：
根据所述外参，将所述目标三维坐标点数据从所述世界坐标系映射到所述相机坐标系中，得到所述相机坐标点数据。
可选地，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，包括：
通过网页图像库提供的接口，获取所述终端设备中的所述中央处理器发送的与所述车辆相关的所述目标数据。
可选地，所述对所述目标坐标点数据进行颜色绘制，得到绘制结果，包括：
调用网页图像库提供的片元着色器对所述目标坐标点数据进行所述颜色绘制，得到所述绘制结果，所述片元着色器是用于根据预先确定好的颜色信息进行所述颜色绘制的程序。
可选地，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，至，所述将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据的步骤是通过调用网页图像库提供的顶点着色器完成的，所述顶点着色器是用于执行前述步骤的程序。
根据本公开实施例的第二方面，提供一种车辆采集数据的可视化装置，所述装置包括：
获取模块，被配置为获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
映射模块，被配置为根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
第一转换模块，被配置为将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
绘制模块，被配置为对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
根据本公开实施例的第三方面，提供一种车辆采集数据的可视化装置，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现第一方面中任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果：通过将车辆的环境感知传感器采集的三维坐标点数据传入图形处理器，并利用图形处理器将三维坐标点数据转换成能够在终端设备的屏幕上显示的目标坐标点数据，以及对目标坐标点数据进行颜色绘制，通过浏览器显示绘制结果。由于图形处理器具备对坐标点数据进行批量运算的能力，因此能够实现对实际算法感知的三维坐标点数据进行实时反投计算，得到目标坐标点数据，极大地减少了运算时间，可以在运行阶段实时和车辆采集频率同步，极大提升了可视化展示的复用性和高效性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种车辆采集数据的可视化方法的流程图。
图2是根据一示例性实施例示出的一种车辆采集数据的可视化装置的框图。
图3是根据一示例性实施例示出的一种车辆的框图。
图4是根据一示例性实施例示出的一种用于车辆采集数据的可视化的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
正如背景技术所言，目前，自动驾驶业务的可视化场景大部分是基于桌面端应用程序开发，并利用终端设备的中央处理器实现可视化展示。示例地，自动驾驶业务的可视化场景可以包括：自动驾驶数据的流转、回放、标注、质检，以及算法标注数据与人工标注数据对比等。在前述可视化场景中，需要通过中央处理器对自动驾驶的车辆端采集的数据进行反投计算，得到反投点，再通过图形处理器将反投点进行可视化展示。其中，反投计算是指将世界坐标系中的坐标点转换到像素坐标系下，得到反投点，使反投点符合相机最终成像的结果。
由上述可知，相关技术中，自动驾驶数据的可视化展示中的反投计算过程都是中央处理器执行的，然而，当自动驾驶业务接入互联网需要利用浏览器进行可视化展示时，由于浏览器的资源有限，能够调度中央处理器的能力不足，而可视化展示需要执行的计算量巨大（例如，需要执行的反投计算的计算量巨大），且中央处理器对坐标点进行反投计算的过程是串行的，即逐点计算，从而导致浏览器的计算效率非常低，通过浏览器进行可视化展示时，用户需要等待的时间非常长。
图1是根据一示例性实施例示出的一种车辆采集数据的可视化方法的流程图，该方法可以应用于浏览器所属的终端设备中的图形处理器，终端设备可以包括笔记本电脑、计算机以及手机等。如图1所示，车辆采集数据的可视化方法可以包括以下步骤。
步骤110，获取终端设备中的中央处理器发送的与车辆相关的目标数据，目标数据包括车辆中的相机的内参和外参，以及车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，外参用于反映环境感知传感器与车辆之间的位置关系。
相机的内参是一组参数集合，来自相机出厂设定，相机的内参用于将坐标点从相机坐标系转换到像素坐标系中。相机的内参可以是指内参矩阵，例如，内参矩阵可以是，其中，和分别表示x方向和y方向上的焦距，和分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数和纵向像素数。
相机的外参是一组参数集合，用于把坐标点从世界坐标系转换到相机坐标系中，相机的外参可以是指外参矩阵，例如，外参矩阵可以是，其中，表示环境感知传感器与车辆之间的旋转参数，表示环境感知传感器与车辆之间的平移参数。
在一些实施例中，相机的外参可以是由车辆在相机安装到车辆后的标定测试得到的，该标定测试可以是自动测试。车辆得到相机的外参后可以发送给中央处理器，再由中央处理器发送给图形处理器。
在一些实施例中，环境感知传感器可以用于感知车辆行驶过程中周围的环境信息，例如，环境信息可以是车辆、行人、交通信号灯、交通标志物以及车辆所处的场景等。环境感知传感器可以包括视觉传感器、毫米波雷达、超声波雷达以及激光雷达等，视觉传感器可以是利用光学元件和成像装置获取外部环境图像信息的仪器。
在一些实施例中，三维坐标点数据是由环境感知传感器获取的，以车辆后轴中心为原点所构成的世界坐标系下的一组三维坐标点。
在一些实施例中，获取终端设备中的中央处理器发送的与车辆相关的目标数据，包括：通过网页图像库提供的接口，获取终端设备中的中央处理器发送的与车辆相关的目标数据。
在一些实施例中，中央处理器发送的与车辆相关的目标数据是以JavaScript的编程语言进行编写的。网页图像库（Web Graphics Library，WebGL）是一个负责图形处理的JavaScript接口，可以在任何的Web浏览器中渲染3D和2D图形。可以理解的，本公开的浏览器可以是Web浏览器。由此，通过网页图像库提供的接口获取目标数据，可以使得后续通过图形处理器计算得到目标坐标点数据，并通过浏览器显示绘制结果。
步骤120，根据内参和外参，将三维坐标点数据从世界坐标系映射到像素坐标系中，得到像素坐标点数据。
在一些实施例中，根据内参和外参，将三维坐标点数据从世界坐标系映射到像素坐标系中，得到像素坐标点数据，可以包括：根据外参，将三维坐标点数据从世界坐标系映射到相机坐标系中，得到相机坐标点数据；根据内参，将相机坐标点数据从相机坐标系映射到像素坐标系中，得到像素坐标点数据。
示例地，可以根据外参与三维坐标点数据的乘积，将三维坐标点数据从世界坐标系映射到相机坐标系中，得到相机坐标点数据；可以根据内参与相机坐标点数据的乘积，将相机坐标点数据从相机坐标系映射到像素坐标系中，得到像素坐标点数据。
在一些实施例中，目标数据还可以包括相机的畸变参数，所述方法还包括：根据畸变参数对相机坐标点数据进行畸变修正处理，得到畸变处理后的相机坐标点数据；根据内参，将相机坐标点数据从相机坐标系映射到像素坐标系中，得到像素坐标点数据，包括：根据内参，将畸变处理后的相机坐标点数据从相机坐标系映射到像素坐标系中，得到像素坐标点数据。
在一些实施例中，畸变参数可以是相机自带的参数，来自相机出厂设定，畸变参数可以包括径向畸变系数k1和k2，以及切向畸变系数p1以及p2。径向畸变的产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲，径向畸变可以包括桶形畸变和枕形畸变；切向畸变的产生原因是透镜不完全平行于图像平面。畸变修正处理可以包括径向畸变修正和切向畸变修正。关于根据径向畸变系数和切向畸变系数对相机坐标点数据进行畸变修正处理的具体细节，可以参见相关技术，在此不再赘述。
在一些实施例中，所述方法还包括：将三维坐标点数据中的各坐标值转换到第二预设范围内，得到目标三维坐标点数据；根据外参，将三维坐标点数据从世界坐标系映射到相机坐标系中，得到相机坐标点数据，包括：根据所述外参，将目标三维坐标点数据从世界坐标系映射到相机坐标系中，得到相机坐标点数据。
在一些实施例中，将三维坐标点数据中的各坐标值转换到第二预设范围内可以是对三维坐标点数据进行归一化处理的过程。第二预设范围可以根据实际需求具体确定，示例地，三维坐标点数据可以是矩阵形式，可以根据如下过程将三维坐标点数据中的各坐标值转换到第二预设范围内：根据三维坐标点数据构建的坐标矩阵中所有元素的平方和的算术平均根计算出F范数；通过将三维坐标点数据中的各坐标值除以F范数，将三维坐标点数据中的各坐标值转换到第二预设范围内。F范数可以表征坐标矩阵的长度。
结合上述实施例可知，本公开的方法可以包括以下步骤：根据外参，将目标三维坐标点数据从世界坐标系映射到相机坐标系中，得到相机坐标点数据；根据畸变参数对相机坐标点数据进行畸变修正处理，得到畸变处理后的相机坐标点数据。
示例地，假设某一目标三维坐标点映射得到的相机坐标点为（x,y,z），则可以根据如下公式（1）和（2）对该相机坐标点进行畸变修正处理：
（1）
（2）
其中，表示畸变处理后的相机坐标点中的x轴坐标值，表示畸变处理后的相机坐标点中的y轴坐标值，表示x偏移量归一化，表示y偏移量归一化，和是径向畸变系数，以及是切向畸变系数，和4是畸变修正处理的定义值，关于和的具体计算方法请参见下述相关描述，在此不再赘述。
=x/(z+xi)，其中，x是相机坐标点中的x轴坐标值，z是相机坐标点中的z轴坐标值，xi是内参中的主点信息，可以理解的，该主点信息可以根据相机内参得到。=y/(z+xi)，其中，y是相机坐标点中的y轴坐标值，z是相机坐标点中的z轴坐标值，xi是内参中的主点信息。=+，=。
步骤130，将像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据。
在一些实施例中，将像素坐标点数据中的各坐标值转换至第一预设范围内，可以是对像素坐标点数据进行归一化处理的过程，第一预设范围可以根据实际需求具体设置，例如，第一预设范围可以是[-1,1]，可以理解的，通过转换至第一预设范围内，各坐标值都被映射到[-1,1]之间。
在一些实施例中，目标坐标点数据可以是标准化设备（Normalized DeviceCoordinates, NDC）坐标点数据。在一些实施例中，可以将像素坐标点数据中的各坐标值除以剪辑坐标的w分量，将像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据。关于剪辑坐标的w分量可以是预先设置的。
步骤140，对目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示绘制结果。
本公开实施例通过将车辆的环境感知传感器采集的三维坐标点数据传入图形处理器，并利用图形处理器将三维坐标点数据转换成能够在终端设备的屏幕上显示的目标坐标点数据，以及对目标坐标点数据进行颜色绘制，通过浏览器显示绘制结果。由于图形处理器具备对坐标点数据进行批量运算的能力，因此能够实现对实际算法感知的三维坐标点数据进行实时反投计算，得到目标坐标点数据，极大地减少了运算时间，可以在运行阶段实时和车辆采集频率同步，极大提升了可视化展示的复用性和高效性。
在一些实施例中，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，至，所述将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据的步骤是通过调用网页图像库提供的顶点着色器完成的，顶点着色器是用于执行前述步骤的程序。可以理解的，即前述步骤110-步骤130是由顶点着色器完成的。
在一些实施例中，对目标坐标点数据进行颜色绘制，得到绘制结果，可以包括：调用网页图像库提供的片元着色器对目标坐标点数据进行颜色绘制，得到绘制结果，片元着色器是用于根据预先确定好的颜色信息进行颜色绘制的程序。片元着色器可以根据预先确定好的颜色信息，对目标坐标点数据进行颜色赋值，完成颜色绘制，得到绘制结果。
顶点着色器和片元着色器可以是运行在显卡中的指令和数据，在网页图像库中，顶点着色器和片元着色器是由着色器语言（OpenGL Shading Language，GLSL）编写的。通过顶点着色器和片元着色器，可以通过GLSL语言，将得到目标坐标点数据以及对目标坐标点数据进行颜色绘制的过程由图形处理器执行，且直接调用相关程序即可执行相关操作，可以提升在浏览器显示绘制结果的效率，即提升可视化展示的效率。
本公开通过网页图像库实现通过浏览器显示坐标点数据的绘制结果，即通过基于WebGL 的相机模拟设计方案和工程化实现，有效提升了运算效率，能够为自动驾驶业务接入互联网提供良好的可视化基础方案。
图2是根据一示例性实施例示出的一种车辆采集数据的可视化装置的框图，该车辆采集数据的可视化装置可以应用于浏览器所属的终端设备中的图形处理器。参照图2，该车辆采集数据的可视化装置200包括获取模块210，映射模块220，第一转换模块230以及绘制模块240。
获取模块210，被配置为获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
映射模块220，被配置为根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
第一转换模块230，被配置为将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
绘制模块240，被配置为对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
在一些实施例中，所述映射模块220进一步被配置为：
根据所述外参，将所述三维坐标点数据从所述世界坐标系映射到相机坐标系中，得到相机坐标点数据；
根据所述内参，将所述相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
在一些实施例中，所述目标数据还包括所述相机的畸变参数，所述装置还包括：
去畸变模块，被配置为根据所述畸变参数对所述相机坐标点数据进行畸变修正处理，得到畸变处理后的相机坐标点数据；
所述映射模块220进一步被配置为：
根据所述内参，将所述畸变处理后的相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
在一些实施例中，所述装置还包括：
第二转换模块，被配置为将所述三维坐标点数据中的各坐标值转换到第二预设范围内，得到目标三维坐标点数据；
所述映射模块220进一步被配置为：
根据所述外参，将所述目标三维坐标点数据从所述世界坐标系映射到所述相机坐标系中，得到所述相机坐标点数据。
在一些实施例中，所述获取模块210进一步被配置为：
通过网页图像库提供的接口，获取所述终端设备中的所述中央处理器发送的与所述车辆相关的所述目标数据。
在一些实施例中，所述绘制模块240进一步被配置为：
调用网页图像库提供的片元着色器对所述目标坐标点数据进行所述颜色绘制，得到所述绘制结果，所述片元着色器是用于根据预先确定好的颜色信息进行所述颜色绘制的程序。
在一些实施例中，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，至，所述将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据的步骤是通过调用网页图像库提供的顶点着色器完成的，所述顶点着色器是用于执行前述步骤的程序。
关于上述实施例中的车辆采集数据的可视化装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质，其上存储有计算机程序指令，该程序指令被处理器执行时实现本公开提供的车辆采集数据的可视化方法的步骤。
图3是根据一示例性实施例示出的一种车辆300的框图。例如，车辆300可以是混合动力车辆，也可以是非混合动力车辆、电动车辆、燃料电池车辆或者其他类型的车辆。车辆300可以是自动驾驶车辆或者半自动驾驶车辆。
参照图3，车辆300可包括各种子系统，例如，信息娱乐系统310、感知系统320、决策控制系统330、驱动系统340以及计算平台350。其中，车辆300还可以包括更多或更少的子系统，并且每个子系统都可包括多个部件。另外，车辆300的每个子系统之间和每个部件之间可以通过有线或者无线的方式实现互连。
在一些实施例中，信息娱乐系统310可以包括通信系统，娱乐系统以及导航系统等。
感知系统320可以包括若干种传感器，用于感测车辆300周边的环境的信息。例如，感知系统320可包括全球定位系统（全球定位系统可以是GPS系统，也可以是北斗系统或者其他定位系统）、惯性测量单元（inertial measurement unit，IMU）、激光雷达、毫米波雷达、超声雷达以及摄像装置。
决策控制系统330可以包括计算系统、整车控制器、转向系统、油门以及制动系统。
驱动系统340可以包括为车辆300提供动力运动的组件。在一个实施例中，驱动系统340可以包括引擎、能量源、传动系统和车轮。引擎可以是内燃机、电动机、空气压缩引擎中的一种或者多种的组合。引擎能够将能量源提供的能量转换成机械能量。
车辆300的部分或所有功能受计算平台350控制。计算平台350可包括至少一个处理器351和存储器352，处理器351可以执行存储在存储器352中的指令353。
处理器351可以是任何常规的处理器，诸如商业可获得的CPU。处理器还可以包括诸如图像处理器（Graphic Process Unit，GPU），现场可编程门阵列（Field ProgrammableGate Array，FPGA）、片上系统（System on Chip，SOC）、专用集成芯片（ApplicationSpecific Integrated Circuit，ASIC）或它们的组合。
存储器352可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
除了指令353以外，存储器352还可存储数据，例如道路地图，路线信息，车辆的位置、方向、速度等数据。存储器352存储的数据可以被计算平台350使用。
在本公开实施例中，处理器351可以执行指令353，以完成上述的车辆采集数据的可视化方法的全部或部分步骤。
图4是根据一示例性实施例示出的一种用于车辆采集数据的可视化的装置400的框图。例如，装置400可以被提供为一服务器。参照图4，装置400包括处理组件422，其进一步包括一个或多个处理器，以及由存储器432所代表的存储器资源，用于存储可由处理组件422的执行的指令，例如应用程序。存储器432中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件422被配置为执行指令，以执行上述车辆采集数据的可视化方法。
装置400还可以包括一个电源组件426被配置为执行装置400的电源管理，一个有线或无线网络接口450被配置为将装置400连接到网络，和一个输入/输出接口458。装置400可以操作基于存储在存储器432的操作系统，例如，Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的车辆采集数据的可视化方法的代码部分。
本领域技术人员在考虑说明书及实践本公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种车辆采集数据的可视化方法，其特征在于，应用于浏览器所属的终端设备中的图形处理器，所述方法包括：
获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过所述浏览器显示所述绘制结果。
2.根据权利要求1所述的方法，其特征在于，所述根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据，包括：
根据所述外参，将所述三维坐标点数据从所述世界坐标系映射到相机坐标系中，得到相机坐标点数据；
根据所述内参，将所述相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
3.根据权利要求2所述的方法，其特征在于，所述目标数据还包括所述相机的畸变参数，所述方法还包括：
根据所述畸变参数对所述相机坐标点数据进行畸变修正处理，得到畸变处理后的相机坐标点数据；
所述根据所述内参，将所述相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据，包括：
根据所述内参，将所述畸变处理后的相机坐标点数据从所述相机坐标系映射到所述像素坐标系中，得到所述像素坐标点数据。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述三维坐标点数据中的各坐标值转换到第二预设范围内，得到目标三维坐标点数据；
所述根据所述外参，将所述三维坐标点数据从所述世界坐标系映射到相机坐标系中，得到相机坐标点数据，包括：
根据所述外参，将所述目标三维坐标点数据从所述世界坐标系映射到所述相机坐标系中，得到所述相机坐标点数据。
5.根据权利要求1所述的方法，其特征在于，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，包括：
通过网页图像库提供的接口，获取所述终端设备中的所述中央处理器发送的与所述车辆相关的所述目标数据。
6.根据权利要求1所述的方法，其特征在于，所述对所述目标坐标点数据进行颜色绘制，得到绘制结果，包括：
调用网页图像库提供的片元着色器对所述目标坐标点数据进行所述颜色绘制，得到所述绘制结果，所述片元着色器是用于根据预先确定好的颜色信息进行所述颜色绘制的程序。
7.根据权利要求1所述的方法，其特征在于，所述获取所述终端设备中的中央处理器发送的与车辆相关的目标数据，至，所述将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据的步骤是通过调用网页图像库提供的顶点着色器完成的，所述顶点着色器是用于执行前述步骤的程序。
8.一种车辆采集数据的可视化装置，其特征在于，所述装置包括：
获取模块，被配置为获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
映射模块，被配置为根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
第一转换模块，被配置为将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
绘制模块，被配置为对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
9.一种车辆采集数据的可视化装置，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：
获取终端设备中的中央处理器发送的与车辆相关的目标数据，所述目标数据包括所述车辆中的相机的内参和外参，以及所述车辆的环境感知传感器采集的世界坐标系中的三维坐标点数据，所述外参用于反映所述环境感知传感器与所述车辆之间的位置关系；
根据所述内参和所述外参，将所述三维坐标点数据从所述世界坐标系映射到像素坐标系中，得到像素坐标点数据；
将所述像素坐标点数据中的各坐标值转换至第一预设范围内，得到目标坐标点数据；
对所述目标坐标点数据进行颜色绘制，得到绘制结果，并通过浏览器显示所述绘制结果。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328323.2A CN116027951B (zh) | 2023-03-29 | 2023-03-29 | 车辆采集数据的可视化方法、装置以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310328323.2A CN116027951B (zh) | 2023-03-29 | 2023-03-29 | 车辆采集数据的可视化方法、装置以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116027951A true CN116027951A (zh) | 2023-04-28 |
| CN116027951B CN116027951B (zh) | 2023-07-25 |
Family
ID=86089804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310328323.2A Active CN116027951B (zh) | 2023-03-29 | 2023-03-29 | 车辆采集数据的可视化方法、装置以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116027951B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245999A (zh) * | 2023-05-09 | 2023-06-09 | 小米汽车科技有限公司 | 文字渲染方法、装置、电子设备及可读存储介质 |
| CN117492758A (zh) * | 2024-01-03 | 2024-02-02 | 安徽中科星驰自动驾驶技术有限公司 | 一种基于WebGL的自动驾驶可视化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200394445A1 (en) * | 2019-06-14 | 2020-12-17 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle |
| CN113835703A (zh) * | 2021-09-27 | 2021-12-24 | 北京斯年智驾科技有限公司 | 一种web前端绘制自动驾驶监控可视化地图的方法 |
| CN114549595A (zh) * | 2022-03-21 | 2022-05-27 | 广州小鹏自动驾驶科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115100423A (zh) * | 2022-06-17 | 2022-09-23 | 四川省寰宇众恒科技有限公司 | 一种基于视图采集数据实现实时定位系统及方法 |
| CN115797467A (zh) * | 2023-02-02 | 2023-03-14 | 深圳市德驰微视技术有限公司 | 车辆相机标定结果检测方法、装置、设备及存储介质 |
-
2023
- 2023-03-29 CN CN202310328323.2A patent/CN116027951B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200394445A1 (en) * | 2019-06-14 | 2020-12-17 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method, apparatus, device and medium for calibrating pose relationship between vehicle sensor and vehicle |
| CN113835703A (zh) * | 2021-09-27 | 2021-12-24 | 北京斯年智驾科技有限公司 | 一种web前端绘制自动驾驶监控可视化地图的方法 |
| CN114549595A (zh) * | 2022-03-21 | 2022-05-27 | 广州小鹏自动驾驶科技有限公司 | 数据处理方法、装置、电子设备及存储介质 |
| CN115100423A (zh) * | 2022-06-17 | 2022-09-23 | 四川省寰宇众恒科技有限公司 | 一种基于视图采集数据实现实时定位系统及方法 |
| CN115797467A (zh) * | 2023-02-02 | 2023-03-14 | 深圳市德驰微视技术有限公司 | 车辆相机标定结果检测方法、装置、设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116245999A (zh) * | 2023-05-09 | 2023-06-09 | 小米汽车科技有限公司 | 文字渲染方法、装置、电子设备及可读存储介质 |
| CN117492758A (zh) * | 2024-01-03 | 2024-02-02 | 安徽中科星驰自动驾驶技术有限公司 | 一种基于WebGL的自动驾驶可视化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116027951B (zh) | 2023-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116027951B (zh) | 车辆采集数据的可视化方法、装置以及存储介质 | |
| CN109961522B (zh) | 图像投射方法、装置、设备和存储介质 | |
| CN108230235B (zh) | 一种视差图生成系统、方法及存储介质 | |
| CN111008660A (zh) | 语义地图的生成方法、装置、系统、存储介质及电子设备 | |
| CN113269168B (zh) | 障碍物数据处理方法、装置、电子设备和计算机可读介质 | |
| CN113315961B (zh) | 用于透明a柱图像块映射的方法及装置 | |
| CN113297958A (zh) | 一种自动化标注方法、装置、电子设备和存储介质 | |
| CN116630516B (zh) | 一种基于3d特性的2d渲染排序方法、装置、设备及介质 | |
| CN112348939A (zh) | 用于三维重建的纹理优化方法及装置 | |
| CN109883414B (zh) | 一种车辆导航方法、装置、电子设备及存储介质 | |
| CN109520513B (zh) | 一种三维地图绘制方法及装置 | |
| CN116645471A (zh) | 提取前景物体的建模方法、系统、设备及存储介质 | |
| CN109376653B (zh) | 用于定位车辆的方法、装置、设备和介质 | |
| WO2020093351A1 (en) | Systems and methods for identifying a road feature | |
| Oko et al. | Evaluation of image processing algorithms on vehicle safety system based on free-viewpoint image rendering | |
| CN114581621B (zh) | 地图数据处理方法、装置、电子设备和介质 | |
| CN114897968B (zh) | 车辆视野的确定方法、装置、计算机设备、存储介质 | |
| CN115438712B (zh) | 一种基于卷积神经网络与车路协同的感知融合方法、装置、设备及存储介质 | |
| CN116630436B (zh) | 相机外参修正方法、装置、电子设备和计算机可读介质 | |
| US11250275B2 (en) | Information processing system, program, and information processing method | |
| CN112435293B (zh) | 一种车道线的结构化参数表示确定方法及装置 | |
| CN115717896A (zh) | 高精度地图的补充优化方法及系统 | |
| CN116524464A (zh) | 一种障碍物检测误差修正方法及系统 | |
| CN115757447A (zh) | 一种基于双目视觉的高精度地图更新方法及装置 | |
| CN115471513A (zh) | 点云分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |