CN113516749A - 自动驾驶视觉传感器数据采集方法、装置、设备及介质 - Google Patents

自动驾驶视觉传感器数据采集方法、装置、设备及介质 Download PDF

Info

Publication number
CN113516749A
CN113516749A CN202111071234.1A CN202111071234A CN113516749A CN 113516749 A CN113516749 A CN 113516749A CN 202111071234 A CN202111071234 A CN 202111071234A CN 113516749 A CN113516749 A CN 113516749A
Authority
CN
China
Prior art keywords
path
point
road surface
vehicle
simulation environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111071234.1A
Other languages
English (en)
Other versions
CN113516749B (zh
Inventor
任女尔
程旭
赵洁
张聪聪
何绍清
于秋晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Original Assignee
China Automotive Technology and Research Center Co Ltd
Automotive Data of China Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Automotive Technology and Research Center Co Ltd, Automotive Data of China Tianjin Co Ltd filed Critical China Automotive Technology and Research Center Co Ltd
Priority to CN202111071234.1A priority Critical patent/CN113516749B/zh
Publication of CN113516749A publication Critical patent/CN113516749A/zh
Application granted granted Critical
Publication of CN113516749B publication Critical patent/CN113516749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/30—Polynomial surface description
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提出自动驾驶视觉传感器数据采集方法，包括以下步骤：根据真实场景建模，搭建初始仿真环境；设置仿真环境中测试车辆的行驶路径和速度；设置仿真环境的自然环境、交通流和标识牌及障碍物；测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。本发明实施例通过搭建仿真场景编辑平台，解决视觉传感器测试数据采集难，多样性少的痛点；以三维图形渲染为依托，采用射线追踪原理，通过用户点击鼠标来添加或插入路径关键点的方式拟合出测试车辆行驶路径，采用所见即所得的编辑方式，弱化了相对于其他传统行业软件的使用难度，进一步提高了测试效率。

Description

自动驾驶视觉传感器数据采集方法、装置、设备及介质
技术领域
本发明涉及自动驾驶领域，尤其涉及一种自动驾驶视觉传感器数据采集方法、装置、设备及介质。
背景技术
随着汽车产业的高速发展，自动驾驶技术的研究也得到了快速发展，对于自动驾驶系统功能的划分，可分为感知（环境感知与定位）、决策（智能规划与决策）、执行（控制执行）三大核心系统，其中感知系统算法的准确性对于后续的决策和执行过程起着决定性的作用。
目前，感知系统中视觉传感器测试数据多为人工采集，采用在现实环境中利用摄影、摄像器材拍摄视频的方式，采集过程耗时长，人力花费大，数据多样性有限，而且需要庞大的数据存储空间来保存采集数据，而感知系统测试需要的数据量和数据的多样性是远高于现有人工采集的数据。因此，这种人工数据采集方式对于视觉传感器测试来说存在很大的局限性，并且对于未来感知系统的升级优化也造成一定的阻碍和困扰。
发明内容
本发明实施例目的在于打造仿真场景编辑平台，解决视觉传感器测试数据采集难，多样性少的痛点，降低整体测试成本，并且可在更为安全的环境下更加快速的进行试验。在仿真场景内，可编辑车辆行驶路径，定义复杂交通流，放置道路标识牌，修改自然环境设置等操作来完成特定测试场景的搭建，其中包括日常难以遇到和采集的场景数据，为视觉传感器测试的多样性提供了强有力的数据支撑。
第一方面，本发明实施例提出一种自动驾驶视觉传感器数据采集方法，包括以下步骤：
根据真实场景建模，搭建初始仿真环境；
设置仿真环境中测试车辆的行驶路径和速度；
设置仿真环境的自然环境、交通流和标识牌及障碍物；
测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
优选的，在设置测试车辆的行驶路径时，先设置车辆路径关键点，再由车辆路径关键点拟合形成车辆的行驶路径。
优选的，用户通过执行添加、插入、删除、移动、清除路径关键点的操作来实现路径关键点的设置。
优选的，所述添加路径关键点的方法包括：利用射线追踪原理，根据获取的鼠标位置从屏幕向3D场景内路面发射射线并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标作为路径关键点。
优选的，所述插入路径关键点的方法包括：利用射线追踪原理，根据获取的鼠标位置从屏幕向3D场景内路面发射射线并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标；遍历现有路径中的路径关键点，找到距离所述路面碰撞点最近的路径关键点，用所述路面碰撞点和所述路径关键点的坐标求差并进行标准化，得到所述路径关键点到所述路面碰撞点的方向向量，将所述方向向量与所述路径关键点坐标切线向量进行点乘运算判断所述路面碰撞点的插入位置。
优选的，所述点乘运算判断所述路面碰撞点的插入位置的方法包括：如果点乘运算结果大于等于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点后方相邻路径关键点之间；如果点乘运算结果小于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点前方相邻路径关键点之间。
优选的，在用户通过执行添加、插入、删除、移动、清除路径关键点的操作之后，更新拟合车辆行驶路径。
第二方面，本发明实施例提出一种自动驾驶视觉传感器数据采集装置，包括：
建模模块，根据真实场景建模，搭建初始仿真环境；
测试车辆设置模块，设置仿真环境中测试车辆的行驶路径和速度；
仿真环境设置模块，设置仿真环境的自然环境、交通流和标识牌及障碍物；
测试及数据采集模块，测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
第三方面，本发明实施例提出一种电子设备，包括存储器、处理器及存储在所述存储器上并可由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现上述任意一项所述的方法。
第四方面，本发明实施例提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行上述任一项所述的方法。
本发明实施例与现有技术相比，具体有益效果如下：
本发明实施例实现了一种自动驾驶视觉传感器测试仿真方法、装置、设备及介质，其中包括主车、副车车辆行驶路径规划，道路标识牌、障碍物设置，仿真场景内自然环境的动态设置，车道线自定义设置，复杂交通流设置。本发明实施例取代了传统的人工采集数据的过程，可节省大量的人力物力时间成本，打破了人工可采集数据的多样性的局限（如极端天气场景、交通事故场景等），为视觉传感器测试提供了更多的难以采集和复现的场景搭建方法，可对视觉传感器感知算法进行更全面的测试；此外，本发明实施例可实时修改测试场景，能够对测试需求的变化以最快的速度响应。
本发明实施例以三维图形渲染为依托，采用射线追踪原理，通过用户点击鼠标来添加或插入路径关键点的方式拟合出测试车辆行驶路径，采用所见即所得的编辑方式，弱化了相对于其他传统行业软件的使用难度，进一步提高了测试效率。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的自动驾驶视觉传感器数据采集方法流程图；
图2为本发明实施例的添加、删除、移动路径关键点原理示意图；
图3为本发明实施例的射线追踪原理示意图；
图4为本发明实施例的插入路径关键点原理示意图；
图5为本发明实施例的车道线绘制原理示意图；
图6为本发明实施例的交通流示意图；
图7为本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行清楚、完整的描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
参照图1，本发明实施例的自动驾驶视觉传感器数据采集方法，包括：
步骤S100，根据真实场景建模，搭建初始仿真环境；
具体的，所述仿真场景为根据现实中的真实场景，通过3D建模技术按照1：1的比例进行建模制作，真实的将现实场景映射到虚拟的仿真环境中；所述真实场景包括车辆、视觉传感器和道路环境，所述视觉传感器按照其在真实车辆中的位置进行布置。
步骤S200，设置仿真环境中测试车辆的行驶路径和速度；
优选的，所述测试车辆包括主车和副车，所述主车数量为一台，所述副车数量为多台，具体副车数量可根据实际需要进行灵活设置。
参见图2，具体的，在设置测试车辆的行驶路径时，先设置车辆路径关键点，再由车辆路径关键点拟合形成车辆的行驶路径。
所述设置车辆路径关键点步骤中，用户通过执行添加、插入、删除、移动、清除路径关键点的操作来实现路径关键点的设置。
（1）添加路径关键点：利用射线追踪原理，根据获取的鼠标位置（在程序中为GetMousePositiononViewport—>DeprojectScreentoWorld）从屏幕向3D场景内路面发射射线（在程序中为LineTraceByChannel）并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标（在程序中为ImpactPoint）作为路径关键点。
通过上述添加路径关键点的步骤，实现用户对测试车辆行驶路径的自定义，通过鼠标移动，射线与路面一直有碰撞点产生，用户可以通过鼠标点击对应的位置来作为所需要的路径关键点。参考图2（1）示意，点击鼠标左键，获取鼠标与地面碰撞点P0，记录为关键点，移动鼠标获取碰撞点P1记录为关键点，并根据P0点与P1点生成贝塞尔曲线，移动鼠标获取碰撞点P2记录为关键点，并根据P1点与P2点生成贝塞尔曲线，两段贝塞尔曲线之间根据分段多项式公式，将连接处做曲线平滑计算。以此类推，完成车辆行驶路径的绘制。
为使得本发明实施例更加清楚，对“射线追踪”进行词语解释。“射线追踪”为3D虚拟仿真开发中的技术术语，首先说明一下3D场景显示原理，参照图3，camera为3D虚拟场景摄像机，标有“near”和“far”字样的平面中间的灰色区域称为视锥体，是camera渲染的区域范围，最终呈现在显示器屏幕的内容即为视锥体内所包括的模型从3D空间到2D平面（即显示屏幕）的映射。射线追踪是3D虚拟世界中一个点向一个方向发射的一条无终点的线，在发射轨迹中如果与其他3D模型发生碰撞时，则停止发射并产生一个碰撞点。本发明实施例主要使用屏幕射线，即存在一条射线来定义屏幕中鼠标光标位置映射在3D世界中的点。有关根据鼠标光标位置发射射线的详细实现原理如下所述，以3D场景摄像机所在位置点为射线发出的原点，因显示屏幕所显示范围为3D摄像机视锥体范围，因此鼠标光标在屏幕中的位置映射到3D相机视锥体近裁剪面后为近裁剪面中point的位置（参照图3），由此得出射线方向为从3D摄像机所在位置点到近裁剪面中point点的方向，根据得到的起始点和方向发射射线，当射线轨迹与3D场景内模型发生碰撞时得到射线的终点，这个点就是鼠标位置映射在3D世界中的点。
（2）插入路径关键点：利用射线追踪原理，根据获取的鼠标位置从屏幕向3D场景内路面发射射线并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标；遍历现有路径中的路径关键点，找到距离所述路面碰撞点最近的路径关键点（在程序中为FindInputKeyClosesttoWorldLocation），用所述路面碰撞点和所述路径关键点的坐标求差并进行标准化，得到所述路径关键点到所述路面碰撞点的方向向量，将所述方向向量与所述路径关键点坐标切线向量进行点乘运算来判断所述路面碰撞点的插入位置：如果点乘运算结果大于等于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点后方相邻路径关键点之间；如果运算结果小于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点前方相邻路径关键点之间。
参照图4对上述过程进行详细说明。现有路径中路径关键点序列为P0-P1-P2-P3-P4-P5-P6，其中V3为P3切线方向向量。设用户新选择的路面碰撞点为P11，通过遍历现有路径中的路径关键点，找到路径关键点P3为距离路面碰撞点P11最近的路径关键点，得到点P11到点P3的方向向量V11，将V3与V11进行点乘计算，V3与V11点乘计算结果大于0，根据计算结果将P11插入位置为P3后面，即获得新路径关键点序列为P0-P1-P2-P3-P11-P4-P5-P6。若用户新选择路径关键点为P12，通过遍历现有路径中的路径关键点，找到路径关键点P3为距离路面碰撞点P12最近的路径关键点，得到点P12到点P3的方向向量V12，将V3与V12进行点乘计算，V3与V12点乘计算结果小于0，根据计算结果将P12插入位置为P3前面，即新路径关键点序列为P0-P1-P2-P12-P3-P4-P5-P6。
通过所述插入路径关键点，可对已绘制路径做局部细微调整，避免因修改需要，对已绘制路径造成重新绘制的工作，提高路径编辑效率。
（3）删除路径关键点：点击想要删除的路径关键点，获取当前选择的关键点序号，将其从关键点序列中删除(程序中为RemoveSplinePoint)。参考图2（2）示意，当前路径为P0-P1-P2-P3-P4所构成曲线线段，删除P2点之后，新路径为P0-P1-P3-P4所构成曲线线段。
（4）移动路径关键点：点击想要移动的路径关键点，利用射线追踪，实时获取射线与地面碰撞点坐标，将所述想要移动的路径关键点位置移动到当前碰撞点坐标位置（在程序中为SetLocationatSplinePoint）。参考图2（3）示意，当前路径为P0-P1-P2-P3-P4所构成曲线线段，移动P1点至P11位置后（为便于说明，之后将P1点新位置记录为P11点），新路径为P0-P11-P2-P3-P4所构成曲线线段。
（5）清除路径关键点：删除当前所有路径关键点（在程序中为ClearSplinePoints）。
具体的，所述由车辆路径关键点拟合形成车辆的行驶路径的步骤中，将所有路径关键点拟合连接形成一段连续的曲线线段，即为车辆行驶路径。在用户通过执行添加、插入、删除、移动、清除路径关键点的操作之后，可更新拟合车辆行驶路径。
优选的，路径关键点拟合方法采用贝塞尔曲线（在程序中为AddSplinePoint）。贝塞尔曲线是一种通过数学计算公式去绘制平滑的曲线，由线段与节点组成。本发明实施例中采用三阶贝塞尔曲线，将路径关键点序列中的每两个相邻路径关键点计算得到贝塞尔曲线线段的分段。
通过限定相邻的两个分段在交接点位置的斜率相等和斜率的变化率相等，让所有分段曲线能够平滑顺畅地连接，由此形成的曲线作为车辆行驶路径轨迹。
具体的，所述设置仿真环境中测试车辆的速度包括匀速行驶和变速行驶。匀速行驶模式下只需设置一个速度值，测试车辆即可按照设定速度运行；变速行驶模式可对路径关键点单独设置速度，根据速度公式可计算出包含速度设置的关键点之间路径的加速度，从而计算出车辆行驶时的实时速度，实现车辆变速行驶模拟。
优选的，设置仿真环境中测试车辆的行驶路径和速度之后，可以将设置好的行驶路径和速度数据保存为.xml格式的本地文件；用户也可以通过加载预先保存的.xml格式本地文件，获得行驶路径和速度数据。
步骤S300，设置仿真环境的自然环境、交通流和标识牌及障碍物；
具体的，所述自然环境包括光线设置、天气设置和路面设置。
所述光线设置为通过改变直射光角度（在程序中为MapRangeUnclamped—>MakeRotator—>RotateVector—>SetWorldRotation）和天空盒材质颜色（在程序中为SunLight—>GetWorldRotation—>GetRotationXVector—>SetVectorParameterValue）来改变场景内物体的阴影角度和环境的明暗变化。其中，天空盒是特指3D虚拟场景中的一种模型，是为了构建出模拟真实场景的天空环境的模型。材质在此处为3D虚拟仿真开发术语，是赋予模型的具体呈现，3D模型本质是3D空间内一系列的点构成线面所形成的网格，需与材质结合才可呈现具象的物体模拟。
所述天气设置为通过设置三维引擎中的粒子发射量来控制降雨量和降雪量的大小（在程序中为ParticleSystem—>SetFloatParameter）。
所述路面设置包括路面颜色、车道线污损程度设置和车道线定义。所述路面颜色、车道线污损程度设置为获取路面、车道线物体的材质，设置材质中贴图明暗修改系数（在程序汇总为SetScalarParameterValue），来改变对应物体的颜色。
所述车道线定义为（参考图5示意）参考车辆行驶路径编辑原理，利用射线追踪，点击路面获取坐标点序列，连接形成贝塞尔曲线作为车道线的参考线。优选的，为便于区分车道线位置，车道线ID设置有正负之分，参考线右侧车道线ID为正数，左侧为负数。车道线样式通过修改车道线模型实现（在程序中为AddSplineMeshComponent—>SetStaticMesh），车道线颜色通过对模型的贴图与设置的RGB色值相乘得到（在程序中为Multiply ( Texture( RGB ) ，Color ( RGB ) )）。车道线位置设置方式为利用参考线中关键点的坐标（在程序中为GetLocationatSplinePoint）和其右向向量（在程序中为GetRightVectorarSplinePoint），通过标准化的右向向量与车道线ID的正负来确定车道线应该绘制的方向（在程序中为ID / Abs ( ID) * Normalize ( RightVector )），通过车道线到参考线的距离来确定车道线相对参考线的偏移距离(在程序中为Location +Direction * Width)，由此可计算得出车道线关键点相对于参考线关键点的位置。按照参考线中的所有关键点可计算得出车道线的所有关键点，用贝塞尔曲线连接这些关键点即可绘制对应的车道线。如图5示意，参考线为P0-P1-P2-P3-P4序列点构成的曲线线段，以P0点计算两侧车道线关键点为示例，V0为P0点的右向向量，d为两侧车道线到参考线的距离（即车道宽度），根据V0与d可得出计算左侧参考线关键点P10需移动的向量值V10，公式为V10 = V0 *（-1）* d，所以P10点坐标为P0与向量V10之和，公式为：P10 = P0 + V10。计算右侧车道线关键点P20需移动的向量值V20公式为：V20 = V0 *（1）* d，因此P20 = P0 + V20。同理可计算得出其他车道线关键点的坐标。
具体的，所述交通流设置（参考图6示意）为设置多台直线行驶的车辆，将所属车辆与测试区域绑定，当主车驶入所述测试区域时会触发主车的碰撞检测（OnComponentBeginOverlap）。
所述直线行驶车辆区别于副车，副车可根据主车行驶设置如加速、减速、切入、切出等复杂行驶变化，主要为主车提供车辆位置、车辆距离等测试数据；直线行驶车辆的设置目的是在某一区域创造复杂交通流的场景表现，为主车提供场景环境内车辆识别测试数据。所述测试区域为在路面划定的一个区域范围，作为直线行驶车辆开始行驶的触发条件，测试区域的数据和直线行驶的车辆数据可通过程序设置关联（即绑定），当主车驶入该区域后，与之关联的直线行驶车辆将开始按照设置路径行驶；优选的，直线行驶车辆的行驶路径通过射线追踪原理确定起点和终点，路径关键点设置实现原理同主副车行驶路径设置，通过射线追踪得到射线与路面碰撞点，点击鼠标左键设置为关键点，因路径为直线，故只需设置路径起点和终点两个关键点即可。
具体的，所述标识牌、障碍物设置的方法包括：在仿真环境中拖动标识牌或障碍物图标（在程序中为OnDragDetected）到三维场景中，生成与所述图标对应的三维标识牌或障碍物模型，利用射线追踪原理，获取射线与地面的碰撞点，移动鼠标光标至放置位置，点击鼠标左键即可放置模型（在程序中SetActorLocation），通过SetWorldRotation可设置标识牌或障碍物模型的旋转。此部分功能中拖动障碍物和标识牌到场景中和点击鼠标放置为操作方式，射线追踪为实现此功能所使用的开发技术。
步骤S400，测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
与上述任意实施例方法相对应的，本发明实施例另一方面提出一种自动驾驶视觉传感器数据采集装置，包括：
建模模块，根据真实场景建模，搭建初始仿真环境；
测试车辆设置模块，设置仿真环境中测试车辆的行驶路径和速度；
仿真环境设置模块，设置仿真环境的自然环境、交通流和标识牌及障碍物；
测试及数据采集模块，测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线 1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU（Central Processing Unit，中央处理器）、微处理器、应用专用集成电路（Application Specific Integrated Circuit，ASIC）、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM（Read Only Memory，只读存储器）、RAM（Random AccessMemory，随机存取存储器）、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入/输出模块可以作为组件配置在设备中（图中未示出），也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块（图中未示出），以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式（例如USB、网线等）实现通信，也可以通过无线方式（例如移动网络、WIFI、蓝牙等）实现通信。
总线1050包括一通路，在设备的各个组件（例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040）之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动的计算机可读介质，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
应该理解的是，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种自动驾驶视觉传感器数据采集方法，其特征在于，包括以下步骤：
根据真实场景建模，搭建初始仿真环境；
设置仿真环境中测试车辆的行驶路径和速度；
设置仿真环境的自然环境、交通流和标识牌及障碍物；
测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
2.根据权利要求1所述的方法，其特征在于，在设置测试车辆的行驶路径时，先设置车辆路径关键点，再由车辆路径关键点拟合形成车辆的行驶路径。
3.根据权利要求2所述的方法，其特征在于，用户通过执行添加、插入、删除、移动、清除路径关键点的操作来实现路径关键点的设置。
4.根据权利要求3所述的方法，其特征在于，所述添加路径关键点的方法包括：利用射线追踪原理，根据获取的鼠标位置从屏幕向3D场景内路面发射射线并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标作为路径关键点。
5.根据权利要求3所述的方法，其特征在于，所述插入路径关键点的方法包括：利用射线追踪原理，根据获取的鼠标位置从屏幕向3D场景内路面发射射线并在路面生成碰撞点，获取用户点击鼠标左键的操作来记录射线与路面碰撞点坐标；遍历现有路径中的路径关键点，找到距离所述路面碰撞点最近的路径关键点，用所述路面碰撞点和所述路径关键点的坐标求差并进行标准化，得到所述路径关键点到所述路面碰撞点的方向向量，将所述方向向量与所述路径关键点坐标切线向量进行点乘运算判断所述路面碰撞点的插入位置。
6.根据权利要求5所述的方法，其特征在于，所述点乘运算判断所述路面碰撞点的插入位置的方法包括：如果点乘运算结果大于等于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点后方相邻路径关键点之间；如果点乘运算结果小于0，则将所述路面碰撞点插在距离所述路面碰撞点最近路径关键点及最近路径关键点前方相邻路径关键点之间。
7.根据权利要求3所述的方法，其特征在于，在用户通过执行添加、插入、删除、移动、清除路径关键点的操作之后，更新拟合车辆行驶路径。
8.一种自动驾驶视觉传感器数据采集装置，其特征在于，包括：
建模模块，根据真实场景建模，搭建初始仿真环境；
测试车辆设置模块，设置仿真环境中测试车辆的行驶路径和速度；
仿真环境设置模块，设置仿真环境的自然环境、交通流和标识牌及障碍物；
测试及数据采集模块，测试车辆在设置后仿真环境中测试运行，采集视觉传感器测试数据。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并由所述处理器执行的计算机程序，所述处理器在执行所述计算机程序时实现根据权利要求1至7中任意一项所述的方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7中任一项所述的方法。
CN202111071234.1A 2021-09-14 2021-09-14 自动驾驶视觉传感器数据采集方法、装置、设备及介质 Active CN113516749B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111071234.1A CN113516749B (zh) 2021-09-14 2021-09-14 自动驾驶视觉传感器数据采集方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111071234.1A CN113516749B (zh) 2021-09-14 2021-09-14 自动驾驶视觉传感器数据采集方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN113516749A true CN113516749A (zh) 2021-10-19
CN113516749B CN113516749B (zh) 2021-12-17

Family

ID=78063255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111071234.1A Active CN113516749B (zh) 2021-09-14 2021-09-14 自动驾驶视觉传感器数据采集方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN113516749B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103529959A (zh) * 2013-01-21 2014-01-22 Tcl集团股份有限公司 基于关键点射线碰撞检测的框选方法、系统及电子设备
WO2018076855A1 (zh) * 2016-10-27 2018-05-03 蔚来汽车有限公司 车辆行驶窄道辅助系统
CN108519773A (zh) * 2018-03-07 2018-09-11 西安交通大学 一种结构化环境下无人驾驶车辆的路径规划方法
CN110427021A (zh) * 2018-05-01 2019-11-08 本田技研工业株式会社 用于生成自动驾驶车辆交叉路口导航指令的系统和方法
CN112307566A (zh) * 2020-11-12 2021-02-02 安徽江淮汽车集团股份有限公司 车辆仿真测试方法、装置、设备及存储介质
CN112417756A (zh) * 2020-11-13 2021-02-26 清华大学苏州汽车研究院（吴江） 一种自动驾驶算法的交互式仿真测试系统
US20210162991A1 (en) * 2018-06-20 2021-06-03 Robert Bosch Gmbh Method and driver assistance system for avoiding a collision of a vehicle with an obstacle
CN113032285A (zh) * 2021-05-24 2021-06-25 湖北亿咖通科技有限公司 一种高精地图测试方法、装置、电子设备及存储介质
CN113033029A (zh) * 2021-05-24 2021-06-25 湖北亿咖通科技有限公司 自动驾驶仿真方法、装置、电子设备及存储介质
CN113065257A (zh) * 2021-04-08 2021-07-02 中国第一汽车股份有限公司 一种测试实例的自动生成方法、装置、计算机设备及介质
CN113139642A (zh) * 2020-01-16 2021-07-20 辉达公司 在自主驾驶应用中使用神经网络执行故障检测
CN113188562A (zh) * 2021-07-01 2021-07-30 新石器慧通（北京）科技有限公司 可行驶区域的路径规划方法、装置、电子设备及存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103529959A (zh) * 2013-01-21 2014-01-22 Tcl集团股份有限公司 基于关键点射线碰撞检测的框选方法、系统及电子设备
WO2018076855A1 (zh) * 2016-10-27 2018-05-03 蔚来汽车有限公司 车辆行驶窄道辅助系统
CN108519773A (zh) * 2018-03-07 2018-09-11 西安交通大学 一种结构化环境下无人驾驶车辆的路径规划方法
CN110427021A (zh) * 2018-05-01 2019-11-08 本田技研工业株式会社 用于生成自动驾驶车辆交叉路口导航指令的系统和方法
US20210162991A1 (en) * 2018-06-20 2021-06-03 Robert Bosch Gmbh Method and driver assistance system for avoiding a collision of a vehicle with an obstacle
CN113139642A (zh) * 2020-01-16 2021-07-20 辉达公司 在自主驾驶应用中使用神经网络执行故障检测
CN112307566A (zh) * 2020-11-12 2021-02-02 安徽江淮汽车集团股份有限公司 车辆仿真测试方法、装置、设备及存储介质
CN112417756A (zh) * 2020-11-13 2021-02-26 清华大学苏州汽车研究院（吴江） 一种自动驾驶算法的交互式仿真测试系统
CN113065257A (zh) * 2021-04-08 2021-07-02 中国第一汽车股份有限公司 一种测试实例的自动生成方法、装置、计算机设备及介质
CN113032285A (zh) * 2021-05-24 2021-06-25 湖北亿咖通科技有限公司 一种高精地图测试方法、装置、电子设备及存储介质
CN113033029A (zh) * 2021-05-24 2021-06-25 湖北亿咖通科技有限公司 自动驾驶仿真方法、装置、电子设备及存储介质
CN113188562A (zh) * 2021-07-01 2021-07-30 新石器慧通（北京）科技有限公司 可行驶区域的路径规划方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113516749B (zh) 2021-12-17

Similar Documents

Publication Publication Date Title
US9865085B1 (en) Systems and methods for 3D modeling using skipping heuristics and fusing
KR101388133B1 (ko) 2차원 실사 영상으로부터 3차원 모델을 생성하는 방법 및장치
CN103292816B (zh) 电子地图生成方法、装置及路径规划方法、装置
CN113706713A (zh) 一种实景三维模型裁剪方法、装置及计算机设备
KR100915209B1 (ko) 엑스엠엘 기반의 입체 건물 입면 및 내부 자동 모델링 및내비게이션 시스템 및 그 방법
CN111402414A (zh) 一种点云地图构建方法、装置、设备和存储介质
CN111744199B (zh) 图像处理方法及装置、计算机可读存储介质、电子设备
CN110276293A (zh) 车道线检测方法、装置、电子设备及存储介质
CN107748639A (zh) 一种曲线的编辑方法、装置、设备和存储介质
CN114429528A (zh) 图像处理方法、装置、设备、计算机程序及存储介质
CN109859562A (zh) 数据生成方法、装置、服务器及存储介质
CN110990919A (zh) 城市轨道交通三维gis选线设计分析方法
KR20200136723A (ko) 가상 도시 모델을 이용하여 객체 인식을 위한 학습 데이터 생성 방법 및 장치
Rapson et al. Reducing the pain: A novel tool for efficient ground-truth labelling in images
Nan Easy3D: a lightweight, easy-to-use, and efficient C++ library for processing and rendering 3D data
CN111659123A (zh) 导航数据的处理方法及装置、存储介质、电子设备
CN112017262A (zh) 路面标识生成方法及装置、存储介质及电子设备
CN110389992B (zh) 导航矢量数据的可视化方法、装置、设备及存储介质
CN113516749B (zh) 自动驾驶视觉传感器数据采集方法、装置、设备及介质
CN116778129B (zh) 煤矿三维巷道页面的标注方法及装置
Wiemann et al. Automatic Map Creation For Environment Modelling In Robotic Simulators.
CN111881121A (zh) 一种自动驾驶数据填充方法和装置
CN111523161A (zh) 一种基于BIM和Unity3d的3D物联网可视化人机交互方法
US20220206676A1 (en) Modifying drawing characteristics of digital raster images utilizing stroke properties
CN115248629A (zh) 一种数据可视化界面管理方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant