CN117058564B - 一种虚拟感知数据获取方法及长尾场景数据挖掘方法 - Google Patents
一种虚拟感知数据获取方法及长尾场景数据挖掘方法 Download PDFInfo
- Publication number
- CN117058564B CN117058564B CN202311308449.XA CN202311308449A CN117058564B CN 117058564 B CN117058564 B CN 117058564B CN 202311308449 A CN202311308449 A CN 202311308449A CN 117058564 B CN117058564 B CN 117058564B
- Authority
- CN
- China
- Prior art keywords
- scene
- data
- virtual
- real
- perception
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008447 perception Effects 0.000 title claims abstract description 120
- 238000007418 data mining Methods 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000012545 processing Methods 0.000 claims abstract description 7
- 230000003068 static effect Effects 0.000 claims description 67
- 238000012549 training Methods 0.000 claims description 29
- 238000004590 computer program Methods 0.000 claims description 12
- 238000009877 rendering Methods 0.000 claims description 9
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000015654 memory Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000005065 mining Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000001795 light effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及图像数据处理技术领域，具体提供一种虚拟感知数据获取方法及长尾场景数据挖掘方法，旨在解决现有大量场景类型仅有少量的真实数据的问题。为此目的，本发明的虚拟感知数据获取方法包括：获取真实长尾场景的真实感知数据，基于真实感知数据构建目标虚拟场景，利用虚拟传感器模型获取在目标虚拟场景的目标虚拟感知数据。该方法有利于扩充数据量以及保证数据的丰富度，解决了现有大量场景类型仅有少量的真实数据的问题。
Description
技术领域
本发明涉及图像数据处理技术领域，具体提供一种虚拟感知数据获取方法及长尾场景数据挖掘方法。
背景技术
现有技术中各种神经网络模型需要基于采集的真实数据进行训练，然而在现实场景中，不同场景类型的真实数据的出现频率遵循长尾分布，即少量场景类型具有大量的数据，但大量场景类型仅有少量的真实数据，该类型场景即为长尾场景。利用真实的长尾场景的数据进行数据挖掘模型训练时，因数据量较少，无法保证训练样本的丰富度，从而也影响数据挖掘模型的训练效果，得到的数据挖掘模型的数据挖掘效果较差。
发明内容
本发明旨在解决上述技术问题，即，解决现有大量场景类型仅有少量的真实数据的问题。
在第一方面，本发明提供了一种虚拟感知数据获取方法，其包括 ：
获取真实长尾场景的真实感知数据；所述真实感知数据包括真实点云图像数据和/或真实图像数据；
基于所述真实感知数据和预设条件构建目标虚拟场景；
利用虚拟传感器模型获取所述目标虚拟场景的目标虚拟感知数据。
在一些实施例中，所述获取真实长尾场景的真实感知数据包括：
获取传感器采集数据，所述传感器采集数据包括采集图像数据和/或采集点云数据；
基于感知模型从所述传感器采集数据中得到所述真实长尾场景的真实感知数据。
在一些实施例中，所述基于感知模型从所述传感器采集数据中得到所述真实长尾场景的真实感知数据，包括：
将所述传感器采集数据输入所述感知模型，得到感知结果；
将所述感知结果和预先标注标签进行对比，当对比不一致时将所述传感器采集数据确定为所述真实长尾场景的真实感知数据。
在一些实施例中，所述基于所述真实感知数据和预设条件构建目标虚拟场景，包括：
基于所述真实感知数据获取所述真实长尾场景的静态描述文件和动态描述文件；所述静态描述文件包括多种静态环境信息，所述动态描述文件包括多种动态环境信息；
基于所述预设条件，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息并基于选取的所述至少部分静态环境信息和所述至少部分动态环境信息随机生成所述目标虚拟场景。
在一些实施例中，基于所述预设条件，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息，包括：
基于所述目标虚拟场景的预设虚拟场景类别、预设静态环境类别和预设动态环境类别中的至少一者，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息。
在一些实施例中，随机生成所述目标虚拟场景之后，所述方法还包括：
利用渲染引擎对所述目标虚拟场景进行渲染。
在一些实施例中，所述利用虚拟传感器模型获取所述目标虚拟场景的目标虚拟感知数据，包括：
利用所述虚拟传感器模型获取所述目标虚拟场景的目标虚拟图像和/或目标虚拟点云数据。
在一些实施例中，所述利用所述虚拟传感器模型获取所述目标虚拟场景的目标虚拟图像和/或目标虚拟点云数据之后，所述方法还包括：
利用Sim2real模型 对目标虚拟图像和/或目标虚拟点云数据进行处理，得到最终的目标虚拟感知数据。
在第二方面，本发明提供了一种长尾场景数据挖掘方法，其包括：
获取待检测感知数据，所述待检测感知数据包括点云数据和/或图像数据；
利用训练好的长尾场景数据挖掘模型对所述待检测感知数据进行长尾场景数据挖掘，得到长尾场景数据；
其中所述长尾场景数据挖掘模型至少基于以下步骤进行训练：
利用上述任一项所述的虚拟感知数据获取方法获取目标虚拟感知数据；
利用所述目标虚拟感知数据对待训练的所述长尾场景数据挖掘模型进行训练，得到训练好的所述长尾场景数据挖掘模型。
在第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的虚拟感知数据获取方法或长尾场景数据挖掘方法。
在采用上述技术方案的情况下，本发明能够获取真实长尾场景的真实感知数据，基于真实感知数据构建目标虚拟场景，利用虚拟传感器模型获取在目标虚拟场景的目标虚拟感知数据。通过基于真实长尾场景的真实感知数据获取目标虚拟感知数据，有利于扩充数据量以及保证数据的丰富度，解决了现有大量场景类型仅有少量的真实数据的问题。
另外，本发明还可以利用训练好的长尾场景数据挖掘模型从待检测感知数据中挖掘到长尾场景数据，其中，长尾场景数据挖掘模型是至少基于以下步骤进行训练：利用目标虚拟感知数据对待训练的长尾场景数据挖掘模型进行训练，得到训练好的长尾场景数据挖掘模型。通过以目标虚拟感知数据作为长尾场景数据挖掘模型的训练数据，有利于扩充数据量以及保证数据的丰富度，避免因真实长尾场景的真实感知数据数量较少，影响长尾场景数据挖掘模型的训练效果，进而可有效提高对长尾场景数据的挖掘效果。
附图说明
下面结合附图来描述本发明的优选实施方式，附图中：
图1是本发明实施例提供的一种虚拟感知数据获取方法主要步骤流程示意图；
图2是本发明实施例提供的一种长尾场景数据挖掘方法的主要步骤流程示意图；
图3是本发明实施例提供的一种长尾场景数据挖掘模型的训练方法流程示意图；
图4是本发明实施例提供的步骤S31的具体实现方法流程示意图；
图5是本发明实施例提供的步骤S32的具体实现方法流程示意图；
图6是本发明另一实施例提供的长尾场景数据挖掘模型的训练方法流程示意图；
图7是本发明实施例提供的一种电子设备结构示意图。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
参见图1所示，图1是本发明实施例提供的一种虚拟感知数据获取方法的主要步骤流程示意图，其可以包括：
步骤S11：获取真实长尾场景的真实感知数据；真实感知数据包括真实点云图像数据和/或真实图像数据；
步骤S12：基于真实感知数据和预设条件构建目标虚拟场景；
步骤S13：利用虚拟传感器模型获取目标虚拟场景的目标虚拟感知数据。
通过基于真实长尾场景的真实感知数据获取目标虚拟感知数据，有利于扩充数据量以及保证数据的丰富度，解决了现有大量场景类型仅有少量的真实数据的问题。其中，步骤S11-S13可以采用和步骤S31-S33相同的方式实现，具体实现方式可参见下文中的描述。
在另一些实施例中，为了提高目标虚拟感知数据的可靠性和有效性，还可以对随机生成的目标虚拟场景进行渲染和/或利用Sim2real模型对目标虚拟图像和/或目标虚拟点云数据进行处理，得到最终的目标虚拟感知数据，具体实现方式可参见下文中S61-S65的描述。
参见图2所示，图2是本发明实施例提供的一种长尾场景数据挖掘方法的主要步骤流程示意图，其可以包括：
步骤S21：获取待检测感知数据，待检测感知数据包括点云数据和/或图像数据；
步骤S22：利用训练好的长尾场景数据挖掘模型对待检测感知数据进行长尾场景数据挖掘，得到长尾场景数据。
在一些实施例中，步骤S21可以具体为利用激光雷达获取点云数据和/或利用图像采集装置获取图像数据。
长尾场景数据挖掘模型可以用于对待检测感知数据进行检测或分类，以得到长尾场景数据。
在一些实施例中，步骤S22可以具体为将待检测感知数据输入训练好的长尾场景数据挖掘模型，得到长尾场景数据。
其中，参见图3所示，长尾场景数据挖掘模型可以基于以下步骤训练得到：
步骤S31：获取真实长尾场景的真实感知数据；
步骤S32：基于真实感知数据和预设条件构建目标虚拟场景；
步骤S33：利用虚拟传感器模型获取目标虚拟场景的目标虚拟感知数据；
步骤S34：利用目标虚拟感知数据对待训练的长尾场景数据挖掘模型进行训练，得到训练好的长尾场景数据挖掘模型。
在一些实施例中，参见图4所示，步骤S31可以通过以下步骤实现：
步骤S311：获取传感器采集数据，传感器采集数据包括采集图像数据和/或采集点云数据；
步骤S312：基于感知模型从传感器采集数据中得到真实长尾场景的真实感知数据。
其中，感知模型可以为已投入使用或设置于应用端的感知模型，用于从采集数据中得到真实长尾场景的真实感知数据。另外，感知模型也可以作为训练阶段的待训练的长尾场景数据挖掘模型。
在本发明实施例中，传感器采集数据可以包括采集图像数据和/或采集点云数据，相应的，感知模型可以包括基于图像数据的感知模型和/或基于点云数据的感知模型，真实感知数据可以包括真实点云图像数据和/或真实图像数据。
在一些实施例中，步骤S312可以具体为：
将传感器采集数据输入感知模型，得到感知结果；
将感知结果和预先标注标签进行对比，当对比不一致时将采集数据确定为真实长尾场景的真实感知数据。
作为示例，感知模型可以为基于图像的感知模型，用于识别图像中的障碍物，以障碍物的类别作为感知结果输出。当感知结果和图像中障碍物的预先标注标签不一致时，即可确定为感知模型未成功识别出障碍物，可将该图像作为真实长尾场景的真实感知数据。
在一些实施例中，参见图5所示，步骤S32可以具体为：
步骤S321：基于真实感知数据获取真实长尾场景的静态描述文件和动态描述文件；静态描述文件包括多种静态环境信息，动态描述文件包括多种动态环境信息；
步骤S322：基于预设条件，利用场景生成器从多种静态环境信息和多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息并基于选取的至少部分静态环境信息和至少部分动态环境信息随机生成目标虚拟场景。
在一些实施例中，目标虚拟场景可以为与真实长尾场景相同或不同的虚拟的长尾场景。
在一些实施例中，步骤S321中基于真实感知数据获取真实长尾场景的静态描述文件可以为：对真实感知数据进行静态环境信息抽取，并根据抽取得到的静态环境信息生成静态描述文件。
在一些实施例中，静态环境信息可以包括静态环境类别和/或位置信息，作为示例，静态环境类别可以包括道路、光照、天气和障碍物中的至少一种。
在一些实施例中，步骤S321中基于真实感知数据获取真实长尾场景的动态描述文件可以为：对真实感知数据进动态环境信息抽取，并根据抽取得到的动态环境信息生成动态描述文件。
在一些实施例中，动态环境信息可以包括动态环境类别、位置信息和运动状态中的至少一者，作为示例，动态环境类别可以包括交通参与者、行人和电动车中的至少一种。
在本发明实施例中，预设条件可以根据需求进行设置。在一些实施例中，预设条件可以为目标虚拟场景的预设虚拟场景类别、预设静态环境类别和预设动态环境类别中的至少一者。在其他实施例中，预设虚拟条件也可以为预设静态环境的位置、预设动态环境的运动状态和预设动态环境的位置中的至少一者。
当预设条件为目标虚拟场景的预设虚拟场景类别、预设静态环境类别和预设动态环境类别中的至少一者时，步骤S322可以具体为：
基于目标虚拟场景的预设虚拟场景类别、预设静态环境类别和预设动态环境类别中的至少一者，利用场景生成器从多种静态环境信息和多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息；以及，
利用场景生成器基于选取出的至少部分静态环境信息和至少部分动态环境信息随机生成目标虚拟场景。
在一些实施例中，基于目标虚拟场景的预设虚拟场景类别，可以确定与预设虚拟场景类别对应的至少一种静态环境信息和/或至少一种动态环境信息。作为示例，目标虚拟场景的预设虚拟场景类别为雨天驾驶场景时，可选取与雨天驾驶场景对应的静态环境信息，即静态环境类别为雨天的静态环境信息；以及，选取与雨天驾驶场景对应的动态环境信息，即动态环境类别为交通参与者的动态环境信息。进而可基于选取的静态环境信息和动态环境信息利用场景生成器仿真生成雨天驾驶场景。
在一些实施例中，基于目标虚拟场景的预设静态环境类别，可以确定与预设静态环境类别对应的至少一种静态环境信息。作为示例，预设静态环境类别为障碍物，可选取与障碍物对应的静态环境信息。另外，可以随机选取除障碍物之外的其他静态环境类别如车道和/或随机选取动态环境类别如交通参与者，以生成设置有与障碍物对应的虚拟障碍物的目标虚拟场景。
在一些实施例中，基于目标虚拟场景的预设动态环境类别可以确定与预设动态就类别对应的至少一种动态环境信息，进而利用场景生成器基于确定出的动态环境信息随机生成目标虚拟场景。
在一些实施例中，场景生成器可以针对选取的静态环境类别随机生成虚拟静态环境类别的位置和/或方向，以及，可以针对选取的动态环境类别随机生成虚拟动态环境类别的位置和/或方向，以虚拟静态环境类别以及其位置和/或方向生成虚拟静态描述文件，以虚拟动态环境类别及其位置和/或方向生成虚拟动态描述文件，场景生成器可以对虚拟静态描述文件和虚拟动态描述文件进行融合生成目标虚拟场景。作为示例，场景生成器可以针对选取的障碍物随机生成虚拟障碍物，进而可得到虚拟障碍物位置和/或方向随机的目标虚拟场景，从而可以得到多种类型的目标虚拟场景，增加目标虚拟场景的多样性。
需要说明的是，在另一些实施例中，步骤S32也可以具体为：基于预设条件从真实感知数据获取真实长尾场景的静态描述文件和动态描述文件；利用场景生成器从静态描述文件和动态描述文件中选取至少部分静态环境信息和至少部分动态环境信息并基于选取的至少部分静态环境信息和至少部分动态环境信息随机生成目标虚拟场景。
其中，可以基于预设条件从真实感知数据获取满足预设条件的静态环境信息和动态环境信息，并基于满足预设条件的静态环境信息和动态环境信息相应生成静态描述文件和动态描述文件。
在一些实施例中，步骤S33可以具体为：利用虚拟传感器模型获取目标虚拟场景的目标虚拟图像和/或目标虚拟点云数据。
其中，虚拟传感器可以是基于计算机技术领域中的仿真技术仿真得到的。在一些实施例中，虚拟传感器可以包括虚拟激光雷达和/或虚拟摄像头。当虚拟传感器为虚拟激光雷达时，虚拟激光雷达可以用于采集目标虚拟场景的目标虚拟点云数据。当虚拟传感器为虚拟摄像头时，虚拟摄像头可以用于采集目标虚拟场景的目标虚拟图像。
在一些实施例中，可以采用本技术领域的常规仿真技术仿真得到虚拟传感器，在进行虚拟传感器的仿真时，可以根据需求设定虚拟传感器的参数，作为示例，该参数可以包括设置位置和/或设置角度，以得到目标虚拟场景不同视角的目标虚拟感知数据。目标虚拟感知数据可以作为长尾场景数据挖掘模型的训练数据，通过获取目标虚拟场景不同视角的目标虚拟感知数据，有利于得到丰富、多样化的训练数据。
在一些实施例中，步骤S34可以具体为将目标虚拟感知数据输入待训练的长尾场景数据挖掘模型并对该模型进行训练，直至长尾场景数据挖掘模型收敛，得到训练好的长尾场景数据挖掘模型。
以上为本发明实施例提供的一种长尾场景数据挖掘模型的训练方法，该方法通过获取真实长尾场景的真实感知数据，基于真实感知数据构建目标虚拟场景，利用虚拟传感器模型获取在目标虚拟场景的目标虚拟感知数据；利用目标虚拟感知数据对待训练的长尾场景数据挖掘模型进行训练，得到训练好的长尾场景数据挖掘模型。通过基于真实长尾场景的真实感知数据获取目标虚拟感知数据，并以目标虚拟感知数据作为长尾场景数据挖掘模型的训练数据，有利于扩充数据量以及保证数据的丰富度，避免因真实长尾场景的真实感知数据数量较少，影响长尾场景数据挖掘模型的训练效果。进而，本发明实施例提供的长尾场景数据挖掘方法通过利用训练好的长尾场景数据挖掘模型从待检测感知数据中挖掘长尾场景数据，可有效提高对长尾场景数据的挖掘效果。
在另一些实施例中，为了提高目标虚拟感知数据的可靠性和有效性，还可以对随机生成的目标虚拟场景进行渲染和/或利用Sim2real模型对目标虚拟图像和/或目标虚拟点云数据进行处理，得到最终的目标虚拟感知数据，具体可参见下文中的描述。
参见图6所示，图6是本发明另一实施例提供的长尾场景数据挖掘模型的训练方法流程示意图，其可以包括：
步骤S61：获取真实长尾场景的真实感知数据；
步骤S62：基于真实感知数据和预设条件构建目标虚拟场景；
步骤S63：利用渲染引擎对目标虚拟场景进行渲染；
步骤S64：利用虚拟传感器模型获取渲染后的目标虚拟场景的目标虚拟感知数据；
步骤S65：利用Sim2real模型对目标虚拟感知数据进行处理，得到最终的目标虚拟感知数据；
步骤S66：利用最终的目标虚拟感知数据对待训练的长尾场景数据挖掘模型进行训练，得到训练好的长尾场景数据挖掘模型。
其中，步骤S61和S62可以采用和上述步骤S31和S32相同的方法实现，步骤S64可以通过将步骤S33中的目标虚拟场景适应性调整为渲染后的目标虚拟场景后，采用与步骤S33相同的方法实现，步骤S66可以通过将步骤S34中的目标虚拟感知数据适应性调整为最终的目标虚拟感知数据后，采用与步骤S34相同的方法实现。为了简要起见，在此不再赘述，具体可参见上文中的描述。
其中，渲染引擎可以尽可能地模拟真实世界的光影效果和物体细节，通过利用渲染引擎对目标虚拟场景进行渲染，有利于生成场景图像更加真实、逼真的目标虚拟场景。
在一些实施例中，目标虚拟感知数据可以包括目标虚拟图像和/或目标虚拟点云数据，Sim2real模型可以用于将目标虚拟图像和/或目标虚拟点云数据转换为接近真实世界的目标虚拟场景数据。
以上为本发明另一实施例提供的长尾场景数据挖掘模型的训练方法，其可以达到与图3对应实施例相同的有益效果，另外，通过对目标虚拟场景进行渲染以及对利用Sim2real模型对目标虚拟感知数据进行处理，有利于提高长尾场景数据挖掘模型训练的可靠性和有效性。进而，通过利用训练好的长尾场景数据挖掘模型进行长尾场景数据挖掘，可以进一步提高挖掘效果。
本领域技术人员能够理解的是，本申请实现上述实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。
本申请的另一方面，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例所述的长尾场景数据挖掘方法或长尾场景数据挖掘模型训练方法。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本申请实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
本申请的另一方面还提供了一种电子设备，其可以包括至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器中存储有计算机程序，计算机程序被至少一个处理器执行时实现上述任一实施例所述的长尾场景数据挖掘方法或长尾场景数据挖掘模型训练方法。
参见图7所示，图7中示例性的示出了存储器71和处理器72通过总线连接，且存储器71和处理器72均只设置有一个时的结构。
在另一些实施例中，电子设备可以包括多个存储器71和多个处理器72。而执行上述任意实施例的长尾场景数据挖掘方法或长尾场景数据挖掘模型训练方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器72加载并运行以执行上述方法实施例的长尾场景数据挖掘方法或长尾场景数据挖掘模型训练方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储器71中，每个处理器72可以被配置成用于执行一个或多个存储器71中的程序，以共同实现上述方法实施例的长尾场景数据挖掘方法或长尾场景数据挖掘模型训练方法。
本申请的另一方面，提供了一种驾驶设备，其可以包括驾驶设备本体以及如上所述的电子设备。
本申请各实施例中可能涉及的相关用户个人信息，均为严格按照法律法规的要求，遵循合法、正当、必要的原则，基于业务场景的合理目的，处理用户在使用产品/服务过程中主动提供或因使用产品/服务而产生的，以及经用户授权获取的个人信息。
本申请处理的用户个人信息会因具体产品/服务场景而有所不同，需以用户使用产品/服务的具体场景为准，可能会涉及用户的账号信息、设备信息、驾驶信息、车辆信息或其他相关信息。本申请会以高度的勤勉义务对待用户的个人信息及其处理。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (8)
1.一种长尾场景数据挖掘方法，其特征在于，所述方法应用于驾驶设备，包括：
获取待检测感知数据，所述待检测感知数据包括点云数据和/或图像数据；
利用训练好的长尾场景数据挖掘模型对所述待检测感知数据进行长尾场景数据挖掘，得到长尾场景数据；
其中所述长尾场景数据挖掘模型至少基于以下步骤进行训练：
获取真实驾驶长尾场景的真实感知数据；所述真实感知数据包括真实点云图像数据和/或真实图像数据；
基于所述真实感知数据和预设条件构建目标驾驶虚拟场景；
利用虚拟传感器模型获取所述目标驾驶虚拟场景的目标虚拟感知数据；
利用所述目标虚拟感知数据对待训练的所述长尾场景数据挖掘模型进行训练，得到训练好的所述长尾场景数据挖掘模型；其中，所述基于所述真实感知数据和预设条件构建目标驾驶虚拟场景，包括：
基于所述真实感知数据获取所述真实驾驶长尾场景的静态描述文件和动态描述文件；所述静态描述文件包括多种静态环境信息，所述动态描述文件包括多种动态环境信息；
基于所述预设条件，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息并基于选取的所述至少部分静态环境信息和所述至少部分动态环境信息随机生成所述目标驾驶虚拟场景；所述预设条件包括目标驾驶虚拟场景的预设虚拟场景类别、预设静态环境类别、预设动态环境类别、预设静态环境的位置、预设动态环境的运动状态和预设动态环境的位置中的至少一者。
2.根据权利要求1所述的方法，其特征在于，所述获取真实驾驶长尾场景的真实感知数据包括：
获取传感器采集数据，所述传感器采集数据包括采集图像数据和/或采集点云数据；
基于感知模型从所述传感器采集数据中得到所述真实驾驶长尾场景的真实感知数据。
3.根据权利要求2所述的方法，其特征在于，所述基于感知模型从所述传感器采集数据中得到所述真实驾驶长尾场景的真实感知数据，包括：
将所述传感器采集数据输入所述感知模型，得到感知结果；
将所述感知结果和预先标注标签进行对比，当对比不一致时将所述传感器采集数据确定为所述真实驾驶长尾场景的真实感知数据。
4.根据权利要求1所述的方法，其特征在于，基于所述预设条件，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息，包括：
基于所述目标驾驶虚拟场景的预设虚拟场景类别、预设静态环境类别和预设动态环境类别中的至少一者，利用场景生成器从所述多种静态环境信息和所述多种动态环境信息中选取至少部分静态环境信息和至少部分动态环境信息。
5.根据权利要求1所述的方法，其特征在于，随机生成所述目标驾驶虚拟场景之后，所述方法还包括：
利用渲染引擎对所述目标驾驶虚拟场景进行渲染。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述利用虚拟传感器模型获取所述目标驾驶虚拟场景的目标虚拟感知数据，包括：
利用所述虚拟传感器模型获取所述目标驾驶虚拟场景的目标虚拟图像和/或目标虚拟点云数据。
7.根据权利要求6所述的方法，其特征在于，所述利用所述虚拟传感器模型获取所述目标驾驶虚拟场景的目标虚拟图像和/或目标虚拟点云数据之后，所述方法还包括：
利用Sim2real模型对目标虚拟图像和/或目标虚拟点云数据进行处理，得到最终的目标驾驶虚拟感知数据。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的长尾场景数据挖掘方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308449.XA CN117058564B (zh) | 2023-10-11 | 2023-10-11 | 一种虚拟感知数据获取方法及长尾场景数据挖掘方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311308449.XA CN117058564B (zh) | 2023-10-11 | 2023-10-11 | 一种虚拟感知数据获取方法及长尾场景数据挖掘方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117058564A CN117058564A (zh) | 2023-11-14 |
| CN117058564B true CN117058564B (zh) | 2023-12-22 |
Family
ID=88667758
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311308449.XA Active CN117058564B (zh) | 2023-10-11 | 2023-10-11 | 一种虚拟感知数据获取方法及长尾场景数据挖掘方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117058564B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610172A (zh) * | 2021-08-13 | 2021-11-05 | 北京地平线信息技术有限公司 | 神经网络模型训练方法和装置、传感数据融合方法和装置 |
| CN115797910A (zh) * | 2022-11-28 | 2023-03-14 | 安徽蔚来智驾科技有限公司 | 一种长尾目标识别方法、计算机可读存储介质及车辆 |
| CN115830399A (zh) * | 2022-12-30 | 2023-03-21 | 广州沃芽科技有限公司 | 分类模型训练方法、装置、设备、存储介质和程序产品 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| WO2023137921A1 (zh) * | 2022-01-21 | 2023-07-27 | 平安科技（深圳）有限公司 | 基于人工智能的实例分割模型训练方法、装置、存储介质 |
| CN116630978A (zh) * | 2023-06-08 | 2023-08-22 | 中汽创智科技有限公司 | 长尾数据获取方法、装置、系统、设备和存储介质 |
-
2023
- 2023-10-11 CN CN202311308449.XA patent/CN117058564B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113610172A (zh) * | 2021-08-13 | 2021-11-05 | 北京地平线信息技术有限公司 | 神经网络模型训练方法和装置、传感数据融合方法和装置 |
| WO2023137921A1 (zh) * | 2022-01-21 | 2023-07-27 | 平安科技（深圳）有限公司 | 基于人工智能的实例分割模型训练方法、装置、存储介质 |
| CN115797910A (zh) * | 2022-11-28 | 2023-03-14 | 安徽蔚来智驾科技有限公司 | 一种长尾目标识别方法、计算机可读存储介质及车辆 |
| CN115830399A (zh) * | 2022-12-30 | 2023-03-21 | 广州沃芽科技有限公司 | 分类模型训练方法、装置、设备、存储介质和程序产品 |
| CN116484971A (zh) * | 2023-04-19 | 2023-07-25 | 重庆长安汽车股份有限公司 | 车辆的自动驾驶感知自学习方法、装置及电子设备 |
| CN116630978A (zh) * | 2023-06-08 | 2023-08-22 | 中汽创智科技有限公司 | 长尾数据获取方法、装置、系统、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| ObjectGAN:自动驾驶评估数据集构建;王鹏淇;孟令中;董乾;杨光;师源;薛云志;;测控技术(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117058564A (zh) | 2023-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10643106B2 (en) | System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models | |
| EP2491530B1 (de) | Bestimmung der pose einer kamera | |
| US11417130B2 (en) | System and method for facilitating graphic-recognition training of a recognition model | |
| Kiefer et al. | Leveraging synthetic data in object detection on unmanned aerial vehicles | |
| CN112199991B (zh) | 一种应用于车路协同路侧感知的仿真点云滤波方法和系统 | |
| CN112639846A (zh) | 一种训练深度学习模型的方法和装置 | |
| CN109783914B (zh) | 一种基于虚拟现实仿真的预处理动态建模方法及装置 | |
| CN110133443B (zh) | 基于平行视觉的输电线路部件检测方法、系统、装置 | |
| CN114429528A (zh) | 图像处理方法、装置、设备、计算机程序及存储介质 | |
| Jacob et al. | Arduino object follower with augmented reality | |
| Rothmeier et al. | Let it snow: On the synthesis of adverse weather image data | |
| CN109376664A (zh) | 机器学习训练方法、装置、服务器和介质 | |
| Xu et al. | Reliability of gan generated data to train and validate perception systems for autonomous vehicles | |
| CN114859754A (zh) | 一种抬头显示系统的仿真测试方法和仿真测试系统 | |
| Yebes et al. | Learning to automatically catch potholes in worldwide road scene images | |
| CN117058564B (zh) | 一种虚拟感知数据获取方法及长尾场景数据挖掘方法 | |
| Bu et al. | Carla simulated data for rare road object detection | |
| CN110705134A (zh) | 行驶测试方法、装置、设备及计算机可读存储介质 | |
| CN116776288A (zh) | 一种智能驾驶感知模型的优化方法、装置及存储介质 | |
| CN116071557A (zh) | 一种长尾目标检测方法、计算机可读存储介质及驾驶设备 | |
| Savkin et al. | Adversarial appearance learning in augmented cityscapes for pedestrian recognition in autonomous driving | |
| CN115857685A (zh) | 一种感知算法数据闭环方法及相关装置 | |
| CN112529116B (zh) | 场景元素融合处理方法、装置和设备及计算机存储介质 | |
| Zhuo et al. | A novel vehicle detection framework based on parallel vision | |
| CN111091581B (zh) | 基于生成对抗网络的行人轨迹模拟方法、装置和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20240129 Address after: 201805 room 2201, No. 888, Moyu South Road, Anting Town, Jiading District, Shanghai J Patentee after: Qishu Guanglun Technology (Shanghai) Co.,Ltd. Country or region after: China Address before: Room 5014-708, 5th floor, No. A36 Haidian Street, Haidian District, Beijing, 100044 Patentee before: Guanglun Intelligent (Beijing) Technology Co.,Ltd. Country or region before: China |
|
| TR01 | Transfer of patent right |