CN113643431A - 一种用于视觉算法迭代优化的系统及方法 - Google Patents
一种用于视觉算法迭代优化的系统及方法 Download PDFInfo
- Publication number
- CN113643431A CN113643431A CN202110901682.3A CN202110901682A CN113643431A CN 113643431 A CN113643431 A CN 113643431A CN 202110901682 A CN202110901682 A CN 202110901682A CN 113643431 A CN113643431 A CN 113643431A
- Authority
- CN
- China
- Prior art keywords
- information
- module
- visual
- model
- labeling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 167
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 69
- 238000005457 optimization Methods 0.000 title claims abstract description 45
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000002372 labelling Methods 0.000 claims abstract description 107
- 238000012549 training Methods 0.000 claims abstract description 80
- 238000006243 chemical reaction Methods 0.000 claims abstract description 32
- 238000001514 detection method Methods 0.000 claims description 39
- 238000013135 deep learning Methods 0.000 claims description 7
- 238000011179 visual inspection Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims 1
- 230000015654 memory Effects 0.000 description 14
- 230000008569 process Effects 0.000 description 11
- 238000003860 storage Methods 0.000 description 7
- 230000006872 improvement Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Architecture (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请的目的是提供一种用于视觉算法迭代优化的系统及方法，该系统中每一数据采集模块用于采集所在车辆的行车数据；视觉地图模块用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；自标注模块用于在重建的三维场景中自动标注交通目标，得到标注信息；模型训练模型用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块。从而实现视觉算法的协同迭代优化，低成本高效率提升视觉算法性能。
Description
技术领域
本申请涉及无人驾驶领域，尤其涉及一种用于视觉算法迭代优化的系统及方法。
背景技术
现有无人驾驶系统多采用多传感器方案，即使用激光雷达、高性能导航设备、相机等多种传感器，该方案的成本较为昂贵。近些年，随着视觉算法的改进和芯片算力的提升，仅采用相机传感器的视觉方案成为可能。视觉方案相比多传感器方案具有成本更低：单个相机成本仅在百元级别；更易于部署：车载相机安装简单，量产安装方案成熟；数据更易于获取：图像数据获取快、帧率高、压缩算法成熟。并且摄像头能获得最为丰富的信息，相比激光雷达有其不可替代性，今后无论激光雷达等其他传感器如何发展，视觉相关算法的地位不会被替代，并且事实也证明在全球主流OEM的新车型上，摄像头也朝着数量越来越多，像素、帧率、动态响应越来越高的方向在发展。
现有的技术方案无法低成本高效率的提升视觉算法性能。现有的视觉建图技术在得到点云地图之后，需要人工从地图中标记出车道的拓扑结构和语义信息。当实际场景发生变化时，需要人工对地图进行更新和维护。这个过程中人力成本高、效率低。现有的2D到3D技术需要依赖其他高精度传感器来获得高精度相机位姿来完成场景三维重建，由于位姿精度有限，其场景重建性能无法满足自动标注需求。由于缺少自动标注信息，模型训练需要引入人工标注信息，然而图像仅有2D信息无法标注3D信息，因此现有技术仍需引入高成本激光雷达辅助目标标注。除此之外，现有的方案将各个视觉算法独立优化，低成本条件下的输入信息无法有效改善，其优化性能必然存在瓶颈。
发明内容
本申请的一个目的是提供一种用于视觉算法迭代优化的系统及方法，解决现有技术中无法低成本高效率的提升视觉算法性能的问题。
根据本申请的一个方面，提供了一种用于视觉算法迭代优化的系统，该系统包括：
至少一个数据采集模块、视觉地图模块、维度转换模块、自标注模块及模型训练模块；其中，
每一数据采集模块用于采集所在车辆的行车数据；
所述视觉地图模块用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；
所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；
所述自标注模块用于在重建的三维场景中自动标注交通目标，得到标注信息，并将标注信息发送至所述模型训练模块；
所述模型训练模型用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块，以完成视觉算法的迭代优化。
可选地，所述行车数据包括行车图像，所述视觉地图模块用于将当前场景内的所有车辆的行车图像在所述抽象点云地图中进行定位，得到当前场景内的所有车辆的位姿信息。
可选地，所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及所述视觉地图模块中的所述所有车辆的位姿信息重建三维场景，将重建得到的三维场景信息发送至所述自标注模块。
可选地，所述系统包括云端数据库，所述云端数据库用于接收由所述数据采集模块将采集到的行车数据压缩成数据流后传输的数据，并按照时间和车辆标识作为索引进行存储。
可选地，所述视觉地图模块用于从所述模型训练模块中获取视觉特征模型和语义识别模型，通过所述视觉特征模型对行车图像获取深度学习特征点和特征描述子信息，通过所述语义识别模型从行车图像上识别语义信息。
可选地，所述维度转换模块用于从所述视觉地图模块中获取位姿信息和语义信息，使用视觉深度模型从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测。
可选地，所述自标注模块用于接收所述维度转换模块传输的包含位姿信息、语义信息以及场景信息的新的行车数据，根据所述新的行车数据在所述三维场景中自动标注交通目标，得到标注信息，将所述标注信息添加至所述新的行车数据中后发送至所述模型训练模块中；
所述自标注模块用于从所述模型训练模块中获取最新的模型训练结果，根据所述最新的模型训练结果将当前视角内的检测结果标注到目标视角内。
可选地，所述模型训练模块用于根据接收到的包含所述标注信息的新的行车数据进行迭代训练所述视觉特征模型、所述视觉检测模型以及所述语义识别模型。
根据本申请另一个方面，还提供了一种用于视觉算法迭代优化的方法，该方法包括：
采集装有车载相机的车辆的行车数据，其中，所述行车数据包括行车图像；
根据当前场景内的所有车辆的行车数据构建抽象点云地图，并将所述行车图像分别输入至视觉特征模型以及语义识别模型中；
根据所述视觉特征模型的输出结果、所述语义识别模型输出的结果以及视觉检测模型对当前场景的深度信息进行检测；
根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及检测输出的深度信息进行重建三维场景，并得到场景信息；
根据所述语义信息以及场景信息在重建的三维场景中自动标注交通目标，得到标注信息；
根据所述标注信息迭代训练所述视觉特征模型、所述视觉检测模型以及所述语义识别模型。
可选地，根据所述视觉特征模型的输出结果、所述语义识别模型输出的结果以及视觉检测模型对当前场景的深度信息进行检测，包括：
根据所述视觉特征模型的输出结果和所述语义识别模型输出的结果确定当前场景内的所有车辆的位姿信息；
从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测，以完成视觉算法的迭代优化。
根据本申请再一个方面，还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如前述所述的方法。
与现有技术相比，本申请通过提供一种用于视觉算法迭代优化的系统，该系统包括：至少一个数据采集模块、视觉地图模块、维度转换模块、自标注模块及模型训练模块；其中，每一数据采集模块用于采集所在车辆的行车数据；所述视觉地图模块用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；所述自标注模块用于在重建的三维场景中自动标注交通目标，得到标注信息，并将标注信息发送至所述模型训练模块；所述模型训练模型用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块，以完成视觉算法的迭代优化。从而实现视觉算法的协同迭代优化，低成本高效率提升视觉算法性能。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1示出根据本申请的一个方面提供的一种用于视觉算法迭代优化的系统的结构示意图；
图2示出本申请一实施例中的一种稀疏点云地图示例；
图3示出本申请一实施例中的一种语义地图示例；
图4示出本申请一实施例中的一种视觉深度检测示例；
图5示出本申请一实施例的视觉算法自动化协同迭代优化的示意图；
图6示出根据本申请另一个方面提供的一种用于视觉算法迭代优化的方法流程示意图；
图7示出本申请一实施例中的视觉算法自动化协同迭代优化的过程。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本申请作进一步详细描述。
在本申请一个典型的配置中，终端、服务网络的设备和可信方均包括一个或多个处理器(例如中央处理器(Central Processing Unit，CPU))、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RandomAccess Memory，RAM)和/或非易失性内存等形式，如只读存储器(Read Only Memory，ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(Phase-Change RAM，PRAM)、静态随机存取存储器(Static Random Access Memory，SRAM)、动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能光盘(Digital Versatile Disk，DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
图1示出根据本申请的一个方面提供的一种用于视觉算法迭代优化的系统的结构示意图，该系统包括：至少一个数据采集模块11、视觉地图模块12、维度转换模块13、自标注模块14及模型训练模块15；其中，每一数据采集模块11用于采集所在车辆的行车数据；所述视觉地图模块12用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；所述维度转换模块13用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；所述自标注模块14用于在重建的三维场景中自动标注交通目标，得到标注信息，并将标注信息发送至所述模型训练模块；所述模型训练模型15用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块，以完成视觉算法的迭代优化。从而通过将各个视觉算法模块的输入输出相连，通过信息互补将独立的模块组成统一的闭环流水线，实现视觉算法的协同迭代优化，低成本高效率提升视觉算法性能。
具体地，每一数据采集模块11用于采集所在车辆的行车数据；在此，数据采集模块部署在任意一辆装有车载相机的车辆上，从而可以在单个或多个场景内同步或异步收集数据，随着车辆数量的增加，数据收集效率也越来越高，从而实现众包形式的数据采集。
具体地，所述视觉地图模块12用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；在此，视觉地图模块从数据采集模块中获取行车数据进行构建抽象点云地图，视觉建图算法包括但不限于SLAM算法、SFM算法等，抽象点云地图为一种由稀疏点云构成的三维地图，无人驾驶定位系统可以在该地图中确定车辆的位置和位姿信息；如图2所示的一种稀疏点云地图示例。建图过程可以通过众包形式完成：随着某一场景内驾驶员行车数据的逐渐增加，该场景的地图也将越来越充分，地图的精度也越来越高；建图过程结束后可得到视觉地图，由于视觉特征并不稠密，因此此时视觉地图表现为抽象点云地图，可用于无人驾驶系统的视觉定位与导航等功能。在构建出抽象点云地图后，确定当前场景内的所有车辆在抽象点云地图中的位姿信息。
具体地，所述维度转换模块13用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；在此，所述维度转换模块为二维到三维模块(2D到3D模块)，得到的抽象点云地图为二维图像信息，2D到3D模块从二维图像信息计算出三维点云信息，利用三维点云信息构建出稠密的三维场景，进行三维场景的重建，从而得到重建后的三维场景的场景信息。
具体地，所述自标注模块14用于在重建的三维场景中自动标注交通目标，得到标注信息，并将标注信息发送至所述模型训练模块；在此，使用自标注模块14综合使用由维度转换模块13传输过来的信息在三维场景中自动标注交通目标，其中交通目标包括车辆、行人、非机动车、锥形标等，并对路面、车道、标识、路沿等进行标注；均标注后，得到标注信息，将该标注信息添加到维度转换模块传输过来的信息中，将包含标注信息的新的信息传输至模型训练模块中。
具体地，所述模型训练模型15用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块，以完成视觉算法的迭代优化。在此，模型训练模块接收自标注模块传输的信息，该信息为通过上述各模块逐步添加了输出信息的行车数据，比如在自标注模块后是添加了标注信息，从而利用接收到的信息对上述各模块进行训练，并将迭代训练结果反馈至数据采集模块中，以优化数据采集模块。
在本申请一些实施例中，所述行车数据包括行车图像，所述视觉地图模块12用于将当前场景内的所有车辆的行车图像在所述抽象点云地图中进行定位，得到当前场景内的所有车辆的位姿信息。在此，行车数据包括车载相机获取的行车图像，以及车辆底盘信息，车辆底盘信息包括车速、方向盘转角等。数据采集模块在工作过程中能够对数据的有效性进行判断，例如判断图像是否正常、车辆底盘数据是否正常等，剔除存在问题的行车数据。在视觉地图模块中，构建出抽象点云地图后，视觉地图模块将行车图像在抽象点云地图中定位，得到图像信息对应的位姿信息，该图像信息即包括图像中所有车辆的信息，因此通过定位得到所有车辆的位姿信息；通过地图精度的提升提高位姿信息精度；根据位姿信息构建出行车数据的轨迹信息，在同一个场景内的众包轨迹信息可以得到大数据行车轨迹，可以用来分析该区域的驾驶路线拓扑结构，驾驶员驾驶习惯等。需要说明的是，上述使用视觉地图模块进行建地图仅为举例，还可以使用其他建图方式，比如使用激光雷达设计激光地图模块。
在本申请一些实施例中，所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及所述视觉地图模块中的所述所有车辆的位姿信息重建三维场景，将重建得到的三维场景信息发送至所述自标注模块。在此，2D到3D模块从抽象点云地图计算出三维点云信息，完成从2D到3D的转换过程，接着根据位姿信息及三维点云信息构建出稠密的三维场景，2D到3D模块在上一步输入的数据(视觉地图模块输入至维度转换模块的数据)中添加场景信息并发送给自标注模块。
在本申请一些实施例中，所述系统包括云端数据库，所述云端数据库用于接收由所述数据采集模块将采集到的行车数据压缩成数据流后传输的数据，并按照时间和车辆标识作为索引进行存储。在此，数据采集模块将采集到的数据压缩成数据流后传输至云端存储数据库，云端数据库中的数据按照时间和车辆标识索引，其中同一个时间段同一个车辆采集的数据分为一组。
在本申请一些实施例中，所述视觉地图模块用于从所述模型训练模块中获取视觉特征模型和语义识别模型，通过所述视觉特征模型对行车图像获取深度学习特征点和特征描述子信息，通过所述语义识别模型从行车图像上识别语义信息。在此，视觉地图模块中使用视觉特征模型以及语义识别模型，这些模型可以从模型训练模块中获取；视觉特征模型是一种检测图像特征点和特征描述子的算法模型，用于无人驾驶定位系统和感知系统，在视觉地图模块中可使用包括传统特征和深度学习特征在内的多种视觉特征，其中，传统特征是指使用传统视觉算法提取的特征，例如SIFI、SURF、ORB特征等，深度学习特征是指使用深度学习算法提取的特征，例如SuperPoint特征等；语义识别模型是一种从图像检测交通场景内语义标识信息的算法模型，该模型用于本申请实施例中的视觉建图模块，语义识别模型能够从当前行车图像上识别语义信息，包括车道线、道路边界、路面标识等信息；如图3所示的一种语义地图示例。结合图像的位姿信息，将这些语义信息按照位姿放置和拼接后可产生语义地图，该语义地图可用于无人驾驶的路径规划等功能。视觉地图模块在原始行车数据中添加位姿信息和语义信息并发送给2D到3D模块。
在本申请一些实施例中，所述维度转换模块用于从所述视觉地图模块中获取位姿信息和语义信息，使用视觉深度模型从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测。在此，2D到3D模块计算三维点云信息时，需要深度信息的辅助，令图像像素坐标为(u,v)，该像素的深度信息为d，该像素对应的三维点坐标为(x,y,z)，该像素对应的三维点坐标为(x,y,z)，相机焦距为(fx,fy)，相机光心为(cx,cy)，则坐标转换公式为：
在此可以采用传统视觉重建方法或深度学习方法从图像与位姿信息中获取深度信息，使用视觉检测模型对深度信息进行检测；如图4所示在对一地下停车场这一场景(图中上半部分)的视觉深度检测结果示例，下部的图是像素深度信息可视化结果，使用颜色来表示，比如M处可使用红色来代表最近(深度低)，N处可使用蓝色代表最远(深度高)。随着优化次数和数据量的增加，视觉深度模型对该场景的深度检测精度会不断提高。语义信息也可用来提升深度检测精度。当精度达到一定阈值后，输出视觉深度模型，该模型可以用于无人驾驶车辆场景探测系统。当面对某些特殊场景，例如亮度过低、或场景中光反射严重，视觉深度模型无法达到目标性能时，2D到3D模块可以接收外部输入的精度更高的深度信息用于三维点云计算，这个外部输入的信息还可以作为标注信息辅助训练视觉深度模型。需要说明的是，在2D到3D模块中，还可以使用其他方式进行三维重建，比如使用激光雷达获取深度信息并完成三维重建，或融合毫米波雷达与图像获取深度信息并完成三维重建。
在本申请一些实施例中，所述自标注模块用于接收所述维度转换模块传输的包含位姿信息、语义信息以及场景信息的新的行车数据，根据所述新的行车数据在所述三维场景中自动标注交通目标，得到标注信息，将所述标注信息添加至所述新的行车数据中后发送至所述模型训练模块中；所述自标注模块用于从所述模型训练模块中获取最新的模型训练结果，根据所述最新的模型训练结果将当前视角内的检测结果标注到目标视角内。在此，2D到3D模块在上一步输入的数据中添加场景信息并发送给自标注模块，自标注模块接收的信息是包括了位姿信息、语义信息以及场景信息的行车数据，综合使用图像、位姿、语义、场景等信息在三维场景中自动标注交通目标，包括车辆、行人、非机动车、锥形标等；还能够根据三维坐标标注路面、车道、标识、路沿等。标注出目标的三维坐标后，可根据公式转换到图像对应的二维像素坐标。令目标的三维坐标为(x,y,z)，其对应的图像像素坐标为(u,v)，相机焦距为(fx,fy)，则坐标转换公式为：
将目标边界点或区域内部点投影到图像得到目标在图像上的区域，组成标注信息。自标注模块可以从模型训练获取最新的模型训练结果，针对不同视角的图像完成检测后，可将一个视角内的检测结果标注到另一个视角内。通过多个视角之间的融合可以有效的提高正确标注数量，降低漏检，提升训练性能。自标注模块可以接收外部标注输入，用于处理特殊的检测目标，或自标注无法标注的目标等。自标注模块向上一步输入(维度转换模块向自标注模块的输入)中添加标注信息并发送给模型训练模块。
在本申请一些实施例中，所述模型训练模块用于根据接收到的包含所述标注信息的新的行车数据进行迭代训练所述视觉特征模型、所述视觉检测模型、所述视觉深度模型以及所述语义识别模型。在此，模型训练模块综合使用已有信息训练视觉特征模型、视觉深度模型、视觉检测模型与语义识别模型，其中，已有信息为上一模块的自标注模块传输至模型训练模块的数据，包括了添加标注信息的新的行车数据。模型训练模块还可根据图像和位姿信息训练拟人驾驶模型，该模型可以用来预测驾驶员行为、辅助设计拟人规划算法等。通过本申请所述的系统将原先独立的多个视觉算法模块组成闭环流水线，通过模块间的信息互补实现地图与模型的自动化生产；随着模块的性能提升，其输出将带动生产线上其他模块的性能提升，通过这种模块间协同实现视觉算法的自动化迭代优化。
在本申请一些实施例中，如图5所示的本申请一实施例的视觉算法自动化协同迭代优化的示意图，数据采集模块通过车载相机将采集到的数据传输至视觉地图模块中，在视觉地图模块中构建抽象点云地图以及语义地图，确定大数据行车轨迹，在构建地图时可以从模型训练模块中获取所需要的模型；视觉地图模块将得到的位姿信息和语义信息添加至行车数据中传输至2D到3D模块中，在该模块中利用视觉深度模型以及辅助的深度信息构建三维场景重建，将重建后的场景信息添加至视觉地图模块的输出信息中，传输至自标注模块中，从而自标注模块从模型训练模块中获取所需的模型对交通目标进行标注后将标注信息添加至2D到3D模块的输出信息中，传输至模型训练模块，在模型训练模块中对视觉特征模型、视觉检测模型、语义识别模型等等模型进行迭代优化，并将迭代优化结果传输至数据采集模块中。通过上述各模块构成的流水线，在迭代优化算法的同时，生产出用于无人驾驶系统的多种产品，可用于无人驾驶定位、感知、规划和控制系统，全面覆盖无人驾驶需求，足以构建整套无人驾驶系统。
其中，数据采集模块可通过事件触发的方式启动数据记录，从而有效的降低数据总量；可能的触发事件可包括以下任一种或任几种组合：当驾驶员接管无人驾驶车辆时，当无人驾驶系统异常退出时，当发生交通事故等。当事件发生时，数据采集模块可选择记录事件时刻前一段时间内的数据，并根据事件的具体情况将数据分类，类别可包括常规、重要、事故等。2D到3D模块可以接收外部输入的精度更高的深度信息用于三维点云计算；自标注模块可以接收外部标注输入，用于处理特殊的检测目标，或自标注无法标注的目标等；在开始训练之前，模型训练模块可以接收外部输入的预训练模型或上一次迭代优化后的模型。当训练后的模型性能提升超过阈值后，模型训练模块认为模型性能有明显提升，则输出新的模型。当训练后模型性能下降超过阈值后，该模块认为模型性能有明显下降，放弃这次训练，并通过反馈信号告知工作人员排查数据问题；其中，阈值可以取固定值，比如0.05，也可以取变化值，如从0.1到0.01，随模型实际性能线性或非线性变动。
图6示出根据本申请另一个方面提供的一种用于视觉算法迭代优化的方法流程示意图，该方法包括：步骤S11～步骤S16，其中，
在步骤S11中，采集装有车载相机的车辆的行车数据，其中，所述行车数据包括行车图像；在此，行车数据包括车载相机获取的行车图像，以及车辆底盘信息，车辆底盘信息包括车速、方向盘转角等。可以对采集到的数据的有效性进行判断，例如判断图像是否正常、车辆底盘数据是否正常等，剔除存在问题的行车数据。
在步骤S12中，根据当前场景内的所有车辆的行车数据构建抽象点云地图，并将所述行车图像分别输入至视觉特征模型以及语义识别模型中；在此，获取行车数据进行构建抽象点云地图，视觉建图算法包括但不限于SLAM算法、SFM算法等，抽象点云地图为一种由稀疏点云构成的三维地图，无人驾驶定位系统可以在该地图中确定车辆的位置和位姿信息；通过所述视觉特征模型对行车图像获取深度学习特征点和特征描述子信息，通过所述语义识别模型从行车图像上识别语义信息。
在步骤S13中，根据所述视觉特征模型的输出结果、所述语义识别模型输出的结果以及视觉检测模型对当前场景的深度信息进行检测；在此，语义识别模型能够从当前行车图像上识别语义信息，包括车道线、道路边界、路面标识等信息；获取位姿信息和语义信息，使用视觉深度模型从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测。
在步骤S14中，根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及检测输出的深度信息进行重建三维场景，并得到场景信息；在此，计算三维点云信息时，需要深度信息的辅助，获取位姿信息和语义信息，使用视觉深度模型从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测；从而利用检测输出的深度信息以及三维点云信息构建三维场景重建，得到场景信息。
在步骤S15中，根据所述语义信息以及场景信息在重建的三维场景中自动标注交通目标，得到标注信息；在此，综合使用图像、位姿、语义、场景等信息在三维场景中自动标注交通目标，包括车辆、行人、非机动车、锥形标等；还能够根据三维坐标标注路面、车道、标识、路沿等；从而通过自动标注得到标注信息。
在步骤S16中，根据所述标注信息迭代训练所述视觉特征模型、所述视觉检测模型以及所述语义识别模型。在此，综合使用包括了语义信息、位姿信息、标注信息的新的行车数据训练视觉算法，其中，视觉算法包括视觉特征模型、视觉深度模型、视觉检测模型与语义识别模型这些模型的算法，从而对各模型进行迭代优化。
在本申请一些实施例中，在步骤S13中，根据所述视觉特征模型的输出结果和所述语义识别模型输出的结果确定当前场景内的所有车辆的位姿信息；从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测，以完成视觉算法的迭代优化。在此，视觉特征模型是一种检测图像特征点和特征描述子的算法模型，用于无人驾驶定位系统和感知系统；语义识别模型是一种从图像检测交通场景内语义标识信息的算法模型，语义识别模型能够从当前行车图像上识别语义信息，包括车道线、道路边界、路面标识等信息；视觉检测模型是一种从图像中检测交通场景内车辆、行人等目标三维信息的算法模型，用于无人驾驶感知系统；获取深度信息时可以使用视觉深度模型，该模型是一种从图像中检测像素距离的算法模型，可探测未知场景或未知物体信息，用于无人驾驶感知系统以及三维场景重建；三维场景重新是使用稠密点云对局部交通场景的重建。随着数据增加，多算法协同迭代优化能够突破单算法的成本与性能瓶颈，持续不断地提升视觉算法性能。
图7示出本申请一实施例中的视觉算法自动化协同迭代优化的过程，在启动阶段，由于各个模块尚未充分优化，需要接收外部输入信息：外部输入深度信息可以训练视觉深度模型；外部输入人工标注信息可以辅助自标注模块；外部输入预训练模型可以加快模型训练过程。这个阶段中需要借助外部输入快速提高各模块性能。性能达到迭代要求后进入中间阶段。
在中间阶段，各个模块都得到了优化，但性能仍存在提升空间。此时，闭环流水线内的迭代正反馈稳定：即通过优化模块得到更好的输出，更好的输入又作为输入优化其他模块，如此不断循环迭代。这个阶段不需要人工操作，迭代优化自动化运行。训练过程中出现异常情况时，在本申请实施例中设计了反馈信号提示操作人员进行处理。当性能达到停止要求后进入停止阶段。
在停止阶段，各个模块都得到了充分优化，迭代过程中性能不再上升。此时，优化停止，等待新数据到来后再次进入中间阶段。
在视觉算法自动化协同迭代优化与生产流水线的中间阶段，在本申请实施例中设计了反馈信号，便于对迭代异常进行监视和处理。这些反馈信号和处理方法包括：2D到3D模块反馈信号与处理方法、模型训练模块反馈信号与处理方法；其中，2D到3D模块反馈信号与处理方法具体如下：当面对某些特殊情况时，例如亮度过低、场景内光反射严重等，视觉深度模型无法取得较好的训练性能，此时，2D到3D模块将会反馈训练性能低下信号，并跳过这组行车数据。当观察到此信号时，需要将这组行车数据取出，通过其他方式获取更加准确的深度信息，配合这组数据再次进入2D到3D模块。模型训练模块反馈信号与处理方法具体如下：当训练后的模型性能相比之前发生较大下降时，模型训练模块将反馈训练性能低下信号，并将这组行车数据从训练数据库中移除。当观察到此信号时，需要将这组行车数据取出，分析原因，调整后放回行车数据库。如有必要可以采用其他方式对这组数据进行标注，通过外部输入到自标注模块，配合这组数据再次参与优化迭代。
通过上述所述的系统及方法，可以达到成本更低、效率更高、性能更好以及产品多样化的目的。具体地，仅需要视觉传感器，单个车载相机的成本仅在百元级别，相比于其他传感器方案具有明显的成本优势。正常情况下，整个生产流程不需要人工参数，比已有方法更节省人力成本。中流水线的各个环节直接由数据驱动，不存在环节间的操作延迟。自动化迭代生产可以24小时不间断工作，当新行车数据出现时能够立刻用于算法优化迭代流程。通过多算法之间的信息互补实现协同迭代优化，单个算法的性能提升能够影响和促进其他算法的提升从而形成正反馈，低成本条件下能够实现更好的优化性能。
本申请实施例所述的系统及方法可以生产大数据行车轨迹、抽象点云地图、语义地图、视觉深度模型、三维场景重建、视觉检测模型、语义识别模型和拟人驾驶模型等。地图信息可用于无人驾驶定位和规划系统、模型信息可用于无人驾驶感知和控制系统，这些产品足以构建完成的自动驾驶系统。除了满足自动驾驶需求以及流水线模块信息互补之外，大数据行车轨迹还可以用来分析交通流和驾驶员行为习惯；三维场景重建可以帮助管理者进行空间分析和交通场景复现等。相比于已有方法，本申请的产出更加多样化，更具实用性。
此外，本申请实施例还提供了一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现前述一种用于视觉算法迭代优化的方法。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本申请的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本申请的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本申请的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (11)
1.一种用于视觉算法迭代优化的系统，其特征在于，所述系统包括：
至少一个数据采集模块、视觉地图模块、维度转换模块、自标注模块及模型训练模块；其中，
每一数据采集模块用于采集所在车辆的行车数据；
所述视觉地图模块用于根据当前场景内的所有车辆的行车数据构建抽象点云地图，并确定当前场景内的所有车辆的位姿信息；
所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，以进行重建三维场景；
所述自标注模块用于在重建的三维场景中自动标注交通目标，得到标注信息，并将标注信息发送至所述模型训练模块；
所述模型训练模型用于根据所述标注信息迭代训练所述视觉地图模块、维度转换模块及所述自标注模块，并将迭代训练结果反馈至当前场景对应的数据采集模块，以完成视觉算法的迭代优化。
2.根据权利要求1所述的系统，其特征在于，所述行车数据包括行车图像，所述视觉地图模块用于将当前场景内的所有车辆的行车图像在所述抽象点云地图中进行定位，得到当前场景内的所有车辆的位姿信息。
3.根据权利要求2所述的系统，其特征在于，所述维度转换模块用于根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及所述视觉地图模块中的所述所有车辆的位姿信息重建三维场景，将重建得到的三维场景信息发送至所述自标注模块。
4.根据权利要求1所述的系统，其特征在于，所述系统包括云端数据库，所述云端数据库用于接收由所述数据采集模块将采集到的行车数据压缩成数据流后传输的数据，并按照时间和车辆标识作为索引进行存储。
5.根据权利要求2所述的系统，其特征在于，所述视觉地图模块用于从所述模型训练模块中获取视觉特征模型和语义识别模型，通过所述视觉特征模型对行车图像获取深度学习特征点和特征描述子信息，通过所述语义识别模型从行车图像上识别语义信息。
6.根据权利要求5所述的系统，其特征在于，所述维度转换模块用于从所述视觉地图模块中获取位姿信息和语义信息，使用视觉深度模型从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测。
7.根据权利要求6所述的系统，其特征在于，所述自标注模块用于接收所述维度转换模块传输的包含位姿信息、语义信息以及场景信息的新的行车数据，根据所述新的行车数据在所述三维场景中自动标注交通目标，得到标注信息，将所述标注信息添加至所述新的行车数据中后发送至所述模型训练模块中；
所述自标注模块用于从所述模型训练模块中获取最新的模型训练结果，根据所述最新的模型训练结果将当前视角内的检测结果标注到目标视角内。
8.根据权利要求7所述的系统，其特征在于，所述模型训练模块用于根据接收到的包含所述标注信息的新的行车数据进行迭代训练所述视觉特征模型、所述视觉检测模型、所述视觉深度模型以及所述语义识别模型。
9.一种用于视觉算法迭代优化的方法，其特征在于，所述方法包括：
采集装有车载相机的车辆的行车数据，其中，所述行车数据包括行车图像；
根据当前场景内的所有车辆的行车数据构建抽象点云地图，并将所述行车图像分别输入至视觉特征模型以及语义识别模型中；
根据所述视觉特征模型的输出结果、所述语义识别模型输出的结果以及视觉检测模型对当前场景的深度信息进行检测；
根据所述抽象点云地图计算出对应的三维点云信息，根据所述三维点云信息以及检测输出的深度信息进行重建三维场景，并得到场景信息；
根据所述语义信息以及场景信息在重建的三维场景中自动标注交通目标，得到标注信息；
根据所述标注信息迭代训练所述视觉特征模型、所述视觉检测模型以及所述语义识别模型，以完成视觉算法的迭代优化。
10.根据权利要求9所述的方法，其特征在于，根据所述视觉特征模型的输出结果、所述语义识别模型输出的结果以及视觉检测模型对当前场景的深度信息进行检测，包括：
根据所述视觉特征模型的输出结果和所述语义识别模型输出的结果确定当前场景内的所有车辆的位姿信息；
从所述行车图像与所述位姿信息中获取所述当前场景的深度信息，根据视觉检测模型以及所述语义信息对所述深度信息进行检测。
11.一种计算机可读介质，其上存储有计算机可读指令，所述计算机可读指令可被处理器执行以实现如权利要求9或10所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110901682.3A CN113643431A (zh) | 2021-08-06 | 2021-08-06 | 一种用于视觉算法迭代优化的系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110901682.3A CN113643431A (zh) | 2021-08-06 | 2021-08-06 | 一种用于视觉算法迭代优化的系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113643431A true CN113643431A (zh) | 2021-11-12 |
Family
ID=78419938
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110901682.3A Pending CN113643431A (zh) | 2021-08-06 | 2021-08-06 | 一种用于视觉算法迭代优化的系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113643431A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
| CN116778101A (zh) * | 2023-06-26 | 2023-09-19 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
| CN117372632A (zh) * | 2023-12-08 | 2024-01-09 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
| WO2024152784A1 (zh) * | 2023-01-19 | 2024-07-25 | 北京图森智途科技有限公司 | 自动驾驶优化方法、系统和计算机可读存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
| CN109215487A (zh) * | 2018-08-24 | 2019-01-15 | 宽凳（北京）科技有限公司 | 一种基于深度学习的高精地图制作方法 |
| CN111160360A (zh) * | 2018-11-07 | 2020-05-15 | 北京四维图新科技股份有限公司 | 图像识别方法、装置及系统 |
| CN111814835A (zh) * | 2020-06-12 | 2020-10-23 | 理光软件研究所（北京）有限公司 | 计算机视觉模型的训练方法、装置、电子设备和存储介质 |
-
2021
- 2021-08-06 CN CN202110901682.3A patent/CN113643431A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018119889A1 (zh) * | 2016-12-29 | 2018-07-05 | 深圳前海达闼云端智能科技有限公司 | 三维场景定位方法和装置 |
| CN108447116A (zh) * | 2018-02-13 | 2018-08-24 | 中国传媒大学 | 基于视觉slam的三维场景重建方法和装置 |
| CN109215487A (zh) * | 2018-08-24 | 2019-01-15 | 宽凳（北京）科技有限公司 | 一种基于深度学习的高精地图制作方法 |
| CN111160360A (zh) * | 2018-11-07 | 2020-05-15 | 北京四维图新科技股份有限公司 | 图像识别方法、装置及系统 |
| CN111814835A (zh) * | 2020-06-12 | 2020-10-23 | 理光软件研究所（北京）有限公司 | 计算机视觉模型的训练方法、装置、电子设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| WENHAO ZONG: "Architecture Design and Implementation of an Autonomous Vehicle", IEEE ACCESS, 9 May 2018 (2018-05-09), pages 21956 - 21970 * |
| 林连庆;杨志刚;: "一种基于图像集合的三维重建方法", 电子世界, no. 12, 23 June 2016 (2016-06-23), pages 181 - 183 * |
| 龙霄潇等: "三维视觉前沿进展", 中国图象图形学报, 16 June 2021 (2021-06-16), pages 1389 - 1428 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114580575A (zh) * | 2022-04-29 | 2022-06-03 | 中智行(苏州)科技有限公司 | 一种自动驾驶视觉感知的可持续闭环链路的构建方法 |
| WO2024152784A1 (zh) * | 2023-01-19 | 2024-07-25 | 北京图森智途科技有限公司 | 自动驾驶优化方法、系统和计算机可读存储介质 |
| CN116778101A (zh) * | 2023-06-26 | 2023-09-19 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
| CN116778101B (zh) * | 2023-06-26 | 2024-04-09 | 北京道仪数慧科技有限公司 | 基于营运载具的地图生成方法及系统 |
| CN117372632A (zh) * | 2023-12-08 | 2024-01-09 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
| CN117372632B (zh) * | 2023-12-08 | 2024-04-19 | 魔视智能科技(武汉)有限公司 | 二维图像的标注方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109583415B (zh) | 一种基于激光雷达与摄像机融合的交通灯检测与识别方法 | |
| CN109829386B (zh) | 基于多源信息融合的智能车辆可通行区域检测方法 | |
| WO2022083402A1 (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| CN113643431A (zh) | 一种用于视觉算法迭代优化的系统及方法 | |
| CN112069856A (zh) | 地图生成方法、驾驶控制方法、装置、电子设备及系统 | |
| Zou et al. | Real-time full-stack traffic scene perception for autonomous driving with roadside cameras | |
| CN112753038B (zh) | 识别车辆变道趋势的方法和装置 | |
| CN108594244B (zh) | 基于立体视觉和激光雷达的障碍物识别迁移学习方法 | |
| CN111753639B (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| CN115164918B (zh) | 语义点云地图构建方法、装置及电子设备 | |
| Masihullah et al. | Attention based coupled framework for road and pothole segmentation | |
| CN114663852A (zh) | 车道线图的构建方法、装置、电子设备及可读存储介质 | |
| CN117576652B (zh) | 道路对象的识别方法、装置和存储介质及电子设备 | |
| DE102021132199A1 (de) | Bestimmen von Objektmobilitätsparametern unter Verwendung einer Objektsequenz | |
| CN114898314A (zh) | 驾驶场景的目标检测方法、装置、设备及存储介质 | |
| CN115705693A (zh) | 用于传感器数据的标注的方法、系统和存储介质 | |
| CN113988197B (zh) | 基于多相机、多激光雷达的联合标定及目标融合检测方法 | |
| CN110472508A (zh) | 基于深度学习和双目视觉的车道线测距方法 | |
| CN114241373A (zh) | 一种端到端的车辆行为检测方法、系统、设备及存储介质 | |
| US20240096109A1 (en) | Automatic lane marking extraction and classification from lidar scans | |
| US20220371606A1 (en) | Streaming object detection and segmentation with polar pillars | |
| CN110446106B (zh) | 一种前置摄像头文件的识别方法、电子设备及存储介质 | |
| Lee et al. | Semi-automatic framework for traffic landmark annotation | |
| Liu et al. | The Robust Semantic SLAM System for Texture‐Less Underground Parking Lot | |
| CN117593892B (zh) | 真值数据的获取方法和装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |