CN115311522A - 用于自动驾驶的目标检测方法及装置、电子设备及介质 - Google Patents
用于自动驾驶的目标检测方法及装置、电子设备及介质 Download PDFInfo
- Publication number
- CN115311522A CN115311522A CN202211244312.8A CN202211244312A CN115311522A CN 115311522 A CN115311522 A CN 115311522A CN 202211244312 A CN202211244312 A CN 202211244312A CN 115311522 A CN115311522 A CN 115311522A
- Authority
- CN
- China
- Prior art keywords
- image data
- target
- prediction
- resolution
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 227
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims description 84
- 230000015654 memory Effects 0.000 claims description 24
- 238000013507 mapping Methods 0.000 claims description 10
- 238000013136 deep learning model Methods 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 230000004308 accommodation Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供一种用于自动驾驶的目标检测方法及装置、电子设备及介质。用于自动驾驶的目标检测方法，包括：对车辆在行驶过程中图像数据进行第一目标检测处理，得到第一检测结果。若第一检测结果中的第一预测置信度小于第一置信度阈值，则根据位置信息，提取目标框在图像数据中的区域图像数据，并调节其图像分辨率，以得到目标图像数据。对目标图像数据进行第二目标检测处理，得到目标框内物体的第二检测结果。若第二检测结果中第二预测置信度大于或者等于第二置信度阈值，则将位置信息和第二预测类别作为目标框内物体的目标检测结果。通过本发明，有助于提高目标检测的识别精度，降低误检率，进而有助于提高驾驶安全性。
Description
技术领域
本发明涉及自动驾驶车辆技术领域，具体涉及一种用于自动驾驶的目标检测方法及装置、电子设备及介质。
背景技术
对于工程机械的高级别自动驾驶和自动作业等应用场景，基于图像的计算机视觉是自动驾驶的一个重要模块。由于景深、相机容纳能力等原因，通过相机采集的自动驾驶数据会存在相对于电子设备的近处的图像特征相对清晰，远处的图像特征相对模糊，并且远处的图像特征较为稀疏的情况。
因此，在该种情况下进行目标检测时，容易导致误检率较高，进而影响自动驾驶的安全性。
发明内容
因此，本发明要解决的技术问题在于克服现有技术中目标检测的误检率较高的缺陷，从而提供一种用于自动驾驶的目标检测方法及装置、电子设备及介质。
根据第一方面，本发明提供一种用于自动驾驶的目标检测方法，所述方法包括：
获取车辆在行驶过程中的图像数据；
对所述图像数据进行第一目标检测处理，得到第一检测结果，所述第一检测结果包括目标框在所述图像数据中的位置信息以及所述目标框内物体为第一预测类别的第一预测置信度；
若所述第一预测置信度小于第一置信度阈值，则根据所述位置信息，提取所述目标框在所述图像数据中的区域图像数据；
调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据；
对所述目标图像数据进行第二目标检测处理，得到所述目标框内物体的第二检测结果，所述第二检测结果包括所述目标框内物体的第二预测类别和所述第二预测类别的第二预测置信度；
若所述第二预测置信度大于或者等于第二置信度阈值，则将所述位置信息和第二预测类别作为所述目标框内物体的目标检测结果。
在该方式中，可以根据第一检测结果中第一检测置信度与第一置信度阈值之间的比较结果确定是否需要再次对目标框内物体进行目标检测，以降低误检测情况发生。并且，为提高第一检测置信度低的目标框的检测准确率，则提取其在图像数据中的区域图像数据，并提高其图像分辨率，以便对其进行第二目标检测处理时，能够提高第二检测结果的准确性，进而有助于提高目标检测的识别精度，降低误检率，从而有助于提高驾驶安全性。
结合第一方面，在第一方面的第一实施例中，所述调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据，包括：
将所述区域图像数据输入至预置的超分辨率模型，提取所述区域图像数据的图像特征；
基于所述区域图像数据的图像分辨率与目标分辨率之间的映射关系，重新构建所述图像特征，得到图像分辨率为所述目标分辨率的目标图像数据。
结合第一方面的第一实施例，在第一方面的第二实施例中，所述方法还包括：
获取训练图像数据集，每一个训练图像数据包括一个训练物体；
分别对每一个训练图像数据进行下采样处理，得到每一个训练图像数据对应的处理图像数据；
基于每一个训练图像数据以及每一个训练图像数据的处理图像数据，训练深度学习模型，得到所述超分辨率模型。
结合第一方面的第二实施例，在第一方面的第三实施例中，所述方法还包括：
获取所述车辆在行驶过程中的历史图像数据；
对所述历史图像数据进行第一目标检测处理，得到第三数量的检测结果，不同检测结果对应不同目标框，所述检测结果包括对应目标框在所述历史图像数据中的位置信息、对应目标框内物体的第三预测类别以及所述第三预测类别的第三预测置信度；
将第三预测置信度大于或者等于第三置信度阈值的物体作为待训练所述超分辨率模型的训练物体；
根据每一个训练物体的目标框在所述历史图像数据中的位置信息，提取每一个训练物体在所述历史图像数据中的区域图像数据，得到训练图像数据集。
在该方式中，无需人工标注，便可以直接对历史图像数据进行退化处理，进而有助于降低人工成本。并且，采用该种方式获取的训练图像数据，使得到的训练图像数据内干扰数据较少，进而有助于减少训练超分辨率模型的训练成本，从而有助于提高超分辨率模型的输出精度。进一步的，训练图像数据的图像分辨率与实际应用中区域图像数据的图像分辨率相同，进而采用该训练图像数据集训练超分辨率模型，也有助于降低在实际应用中调节图像分辨率的误差，从而有助于提高检测准确率。
结合第一方面，在第一方面的第四实施例中，所述方法还包括：
若所述第一预测置信度大于或者等于所述第一置信度阈值，则将所述第一检测结果作为所述目标框内物体的目标检测结果。
结合第一方面，在第一方面的第五实施例中，所述方法还包括：
根据所述位置信息，将所述目标检测结果映射至所述图像数据上，以得到所述图像数据的目标检测结果。
结合第一方面，在第一方面的第六实施例中，所述第一置信度阈值大于所述第二置信度阈值。
根据第二方面，本发明还提供一种用于自动驾驶的目标检测装置，所述装置包括：
第一获取单元，用于获取车辆在行驶过程中的图像数据；
第一检测单元，用于对所述图像数据进行第一目标检测处理，得到第一检测结果，所述第一检测结果包括目标框在所述图像数据中的位置信息以及所述目标框内物体为第一预测类别的第一预测置信度；
第一提取单元，用于若所述第一预测置信度小于第一置信度阈值，则根据所述位置信息，提取所述目标框在所述图像数据中的区域图像数据；
调节单元，用于调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据；
第二检测单元，用于对所述目标图像数据进行第二目标检测处理，得到所述目标框内物体的第二检测结果，所述第二检测结果包括所述目标框内物体的第二预测类别和所述第二预测类别的第二预测置信度；
第一结果确定单元，用于若所述第二预测置信度大于或者等于第二置信度阈值，则将所述位置信息和第二预测类别作为所述目标框内物体的目标检测结果。
根据第三方面，本发明实施方式还提供一种电子设备，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面及其可选实施方式中任一项的用于自动驾驶的目标检测方法。
根据第四方面，本发明实施方式还提供一种自动驾驶车辆，包括第三方面的电子设备。
根据第五方面，本发明实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行第一方面及其可选实施方式中任一项的用于自动驾驶的目标检测方法。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例提出的一种用于自动驾驶的目标检测方法的流程图。
图2是根据一示例性实施例提出的一种超分辨率模型训练方法的流程图。
图3是根据一示例性实施例提出的另一种用于自动驾驶的目标检测方法的流程图。
图4是根据一示例性实施例提出的一种用于自动驾驶的目标检测装置的结构框图。
图5是根据一示例性实施例提出的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，由于景深、相机容纳能力等原因，通过相机采集的自动驾驶数据会存在相对于电子设备的近处的图像特征相对清晰，远处的图像特征相对模糊，并且远处的图像特征较为稀疏的情况。
由于远处的可视区域相对较小且图像特征相对模糊，进而在该种情况下对图像数据进行目标检测时，容易导致远处部分受遮挡的物体或者小物体被漏识别或者误识别的情况发生，进而导致误检率较高，从而影响自动驾驶的安全性。
为解决上述问题，本发明实施例中提供一种用于自动驾驶的目标检测方法，用于电子设备中，需要说明的是，其执行主体可以是用于自动驾驶的目标检测装置，该装置可以通过软件、硬件或者软硬件结合的方式实现成为电子设备的部分或者全部，其中，该电子设备可以是部署在自卸车、矿卡、叉车、挖掘机等自动驾驶车辆的域控制器，也可以是云服务器。当电子设备搭载在自动驾驶车辆的域控制器时，该域控制器采集车辆对应当前驾驶场景的图像数据，进而控制自动驾驶车辆进行目标检测；当电子设备为云服务器时，云服务器可以与自动驾驶车辆进行通信，通过自动驾驶车辆设置的当前驾驶场景采集设备获取当前驾驶场景的图像数据，进而在云端进行目标检测，并将检测结果发送至自动驾驶车辆的控制器中，以便自动驾驶车辆的控制器能够根据得到的目标检测结果控制该自动驾驶车辆进行自动驾驶。
本发明提供的自动驾驶的目标检测方法，可以应用在矿区、港口、干线物流、园区、智能作业等应用场景中。本发明提供一种用于自动驾驶的目标检测方法，先对车辆在行驶过程中的图像数据进行第一目标检测处理，得到第一检测结果。其中，第一检测结果包括目标框在图像数据中的位置信息以及目标框内物体为第一预测类别的第一预测置信度。若第一预测置信度小于第一置信度阈值，则根据目标框的位置信息，从图像数据中提取该目标框在图像数据中的区域图像数据，并调节该区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据。对目标图像数据进行第二目标检测处理，以重新确定该目标框内物体的预测类别，进而得到第二检测结果。若第二检测结果内的第二预测置信度大于或者等于第二置信度阈值，则将位置信息和第二预测类别作为目标框内物体的目标检测结果，进而避免误检测的情况发生，降低误检率，从而有助于提高驾驶安全性。
图1是根据一示例性实施例提出的一种用于自动驾驶的目标检测方法的流程图。如图1所示，用于自动驾驶的目标检测方法包括如下步骤S101至步骤S106。
在步骤S101中，获取车辆在行驶过程中的图像数据。
在本发明实施例中，图像数据为车辆在行驶过程中通过车载图像获取装置实时采集得到的数据。例如：图像获取装置可以是摄像头。其中，该车辆可以是自动驾驶车辆。
在一例中，该图像数据为车辆行驶正前方区域内的图像数据。例如，正前方90度区域范围内的图像数据。
在步骤S102中，对图像数据进行第一目标检测处理，得到第一检测结果，第一检测结果包括目标框在图像数据中的位置信息以及目标框内物体为第一预测类别的第一预测置信度。
在本发明实施例中，可以通过预先训练的好的目标检测模型，对图像数据进行第一目标检测处理，以检测图像数据中是否存在待识别的物体。其中，预先训练好的目标检测模型中，包括待识别的至少一种预测类别以及每一种预测类别对应的图像特征。在本发明中，执行第一目标检测处理的目标检测模型可以是现有技术中任意一种具有推理能力的目标检测模型，因此，不再赘述目标检测模型的训练过程。
在进行目标检测时，可以基于目标检测模型内存储的图像特征对图像数据进行检测，若检测到图像数据中存在与预测类别对应的图像特征相似的物体时，则采用目标框标记该物体，并确定该目标框内物体的第一预测类别，以及该目标框内物体的类别为第一预测类别的第一预测置信度，进而得到第一检测结果。其中，第一检测结果包括目标框在图像数据中的位置信息以及目标框内物体为第一预测类别的第一预测置信度。第一预测置信度的置信度区间为[0,1]。在一例中，以目标检测模型为YOLO（You Only Look Once，你只需看一次）模型为例，得到的第一检测结果为[t_x、t_y，t_w，t_h和p_0]，其中，t_x、t_y，t_w，t_h为目标框的位置信息，t_x、t_y表示目标框的中心点坐标、t_w表示目标框的长、t_h表示目标框的宽，p_0表示目标框内物体为第一预测类别的第一预测置信度。在另一例中，物体可以包括行人、其他车辆、建筑物、树等。预测类别可以包括：人、车、植物或者建筑物等，可以根据实际需求进行设定，在本发明中不进行限制。
其中，YOLO模型是一种以深度神经网络为框架进行训练得到的能够对目标进行识别和定位的目标检测模型。
在步骤S103中，若第一预测置信度小于第一置信度阈值，则根据位置信息，提取目标框在图像数据中的区域图像数据。
在本发明实施例中，第一置信度阈值可以理解为是确定目标框内物体的预测类别为真实类别的最小置信度。若第一预测置信度小于第一置信度阈值，则表征第一检测结果存在疑义，该目标框内物体的真实类别可能不是第一预测类别，需要进行进一步检测。因此，为避免误检测的情况发生，则根据该目标框的位置信息，提取目标框在图像数据中的区域图像数据，以便进行进一步检测，进而减低误检测的情况发生，从而提高检测准确率。
在步骤S104中，调节区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据。
在本发明实施例中，为避免第一预测置信度低是因为区域图像数据的图像分辨率较低，目标框内物体的图像特征不清晰，进而导致产生误检测的情况，则调节区域图像数据的图像分辨率，以使区域图像数据的图像分辨率为目标分辨率，进而得到目标图像数据。其中，目标分辨率大于区域图像数据的图像分辨率，可以理解为是一种能够放大图像细节且可以清晰识别图像特征的分辨率。目标分辨率的具体数值可以根据实际需求自行定义，在本发明中不进行限定。
在步骤S105中，对目标图像数据进行第二目标检测处理，得到目标框内物体的第二检测结果，第二检测结果包括目标框内物体的第二预测类别和第二预测类别的第二预测置信度。
在本发明实施例中，第二检测结果包括目标框内物体的第二预测类别和第二预测类别的第二预测置信度。在一例中，对目标图像数据进行第二目标检测处理所采用的目标检测模型，可以与对图像数据进行第一目标检测处理所采用的目标检测模型为同一目标检测模型，进而有助于降低检测成本。并且，采用相同的目标检测模型进行检测，有助于降低检测误差。
在步骤S106中，若第二预测置信度大于或者等于第二置信度阈值，则将位置信息和第二预测类别作为目标框内物体的目标检测结果。
在本发明实施例中，第二置信度阈值可以理解为是在目标分辨率下确定物体的预测类别与真实类别相同的最小置信度。若第二预测置信度大于或者等于第二置信度阈值，则表征第二检测结果较为准确，因此，可以将第二预测类别作为该目标框内物体的真实类别，进而将位置信息和第二预测类别作为目标框内物体的目标检测结果。
在一示例中，若第二预测置信度小于第二置信度阈值，则可以确定该目标框内物体的真实类别不是第二预测类别。因此，为避免干扰目标检测结果，可以删除该目标框。在一例中，为进一步确定该目标框内物体的真实类别，则可以进一步调节目标图像数据的图像分辨率，以便得到图像分辨率更高的图像数据，进而采用目标检测模型对其进行目标检测，得到进一步的目标检测结果，从而提高检测准确率，降低误检率。在另一例中，还可以采用其他目标检测模型对目标图像数据进行目标检测，进而有助于明确目标框内物体的真实类别。
在另一示例中，由于目标分辨率大于图像数据的图像分辨率，因此，在设置第一置信度阈值和第二置信度阈值时，可以设置第一置信度阈值大于第二置信度阈值，进而在确定目标框内物体的目标检测结果时，可以降低检测成本。
通过上述实施例，可以根据第一检测结果中第一检测置信度与第一置信度阈值之间的比较结果确定是否需要再次对目标框内物体进行目标检测，以降低误检测情况发生。并且，为提高第一检测置信度低的目标框的检测准确率，则提取其在图像数据中的区域图像数据，并提高其图像分辨率，以便对其进行第二目标检测处理时，能够提高第二检测结果的准确性，进而有助于提高目标检测的识别精度，降低误检率，从而有助于提高驾驶安全性。
在一实施例中，若第一预测置信度大于或者等于第一置信度阈值，则表征第一检测结果较为准确，可以将第一预测类别作为目标框内物体的真实类别，进而可以将第一检测结果作为目标框内物体的目标检测结果。
在另一实施例中，同一图像数据中可以包括至少一个目标框。若图像数据中存在多个目标框，则不同目标框内物体可以是同一类别的物体，也可以是不同类别的物体。由于目标框内物体的目标检测结果是单独存储的数据，因此，为便于用户明确各目标框在图像数据中的位置以及各目标框内物体的类别，则根据各目标框的位置信息，将对应的目标检测结果映射至图像数据上，以得到图像数据的目标检测结果。即，根据图像数据的目标检测结果，用户可以直观的查看各目标框的标记位置，以及每一个目标框内物体的预测类别。在一例中，目标检测结果还包括第一预测置信度或者第二预测置信度，进而用户还可以根据图像数据的目标检测结果，明确目标框内物体为第一预测类别的第一预测置信度；或者目标框内物体为第二预测类别的第二预测置信度。
在又一实施例中，可以基于预置的超分辨率模型调节区域图像数据的图像分辨率。具体的，将区域图像数据输入至预置的超分辨率模型，提取区域图像数据的图像特征，进而基于区域图像数据的图像分辨率与目标分辨率之间的映射关系，重新构建图像特征，得到图像分辨率为目标分辨率的目标图像数据。
在一示例中，区域图像数据的图像分辨率与目标分辨率之间的映射关系，包括：分辨率与图像数据尺寸之间的对应关系，和目标分辨率对应的图像数据尺寸为原图像数据尺寸的指定倍数关系。基于区域图像数据的图像分辨率与目标分辨率之间的映射关系，重新构建图像特征的过程如下：根据区域图像数据的尺寸和指定倍数，可以确定目标图像数据的尺寸。根据分辨率与图像数据尺寸之间的对应关系，可以确定与目标图像数据的尺寸相对应的目标分辨率，进而根据目标图像数据的尺寸和目标分辨率，重新构建图像特征，得到图像分辨率为目标分辨率的目标图像数据。
以下实施例将具体说明超分辨率模型的训练过程。
在本发明中，获取训练图像数据集。其中，训练图像数据集内包括若干个训练图像数据，每一个训练图像数据包括一个训练物体，进而在进行训练时，能够减少其他物体的干扰，从而有助于节省训练时间，降低训练成本。分别对每一个训练图像数据进行下采样处理，得到每一个训练图像数据对应的处理图像数据，以达到调节训练图像数据的图像分辨率的目的，进而丰富训练样本。基于每一个训练图像数据以及每一个训练图像数据的处理图像数据，训练深度学习模型，得到能够生成特征数据更清晰、图像分辨率更高的超分辨率模型。
在一实施例中，训练图像数据集采用下述方式进行获取：
在车辆自动行驶的过程中，车载摄像头会自动收集大量的无标注的历史图像数据。因此，可以将其进行获取，以得到待进行训练的训练图像数据。
对历史图像数据进行第一目标检测处理，得到第三数量的检测结果。其中，第三数量为检测结果的总数量，历史图像数据的数量可以是若干个。不同检测结果对应不同目标框，检测结果包括对应目标框在历史图像数据中的位置信息、对应目标框内物体的第三预测类别以及第三预测类别的第三预测置信度。将第三预测置信度大于或者等于第三置信度阈值的物体作为待训练超分辨率模型的训练物体。其中，第三置信度阈值可以等同于第一置信度阈值。若第三预测置信度大于或者等于第三置信度阈值，则表征该物体的检测准确度更高，相对于其他物体，在历史图像数据中的轮廓边界更清晰，更容易被准确识别。例如：历史图像数据中，图像特征更清晰的近处大物体。
根据每一个训练物体的目标框在历史图像数据中的位置信息，提取每一个训练物体在历史图像数据中的区域图像数据，得到每一个训练物体对应的训练图像数据，进而得到训练图像数据集。
采用上述方式获取训练图像集，无需人工标注，便可以直接对历史图像数据进行退化处理，进而有助于降低人工成本。并且，采用该种方式获取的训练图像数据，使得到的训练图像数据内干扰数据较少，进而有助于减少训练超分辨率模型的训练成本，从而有助于提高超分辨率模型的输出精度。进一步的，训练图像数据的图像分辨率与实际应用中区域图像数据的图像分辨率相同，进而采用该训练图像数据集训练超分辨率模型，也有助于降低在实际应用中调节图像分辨率的误差，从而有助于提高检测准确率。
在一实施场景中，超分辨率模型的训练过程可以如图2所示。图2是根据一示例性实施例提出的一种超分辨率模型训练方法的流程图。
在步骤S201中，获取若干个历史图像数据。
在步骤S202中，分别对每一个历史图像数据进行第三目标检测处理，得到第三数量的检测结果。
在步骤S203中，根据各检测结果中第三检测置信度与第三检测阈值之间的比较结果，将第三检测置信度大于或者等于第三检测阈值的物体确定为待训练超分辨率模型的训练物体。
在步骤S204中，分别提取每一个训练物体的目标框在历史图像数据中的区域图像数据，得到训练图像数据集。
在步骤S205中，分别对每一个训练图像数据进行下采样处理，得到每一个训练图像数据对应的处理图像数据。
在步骤S206中，基于每一个训练图像数据以及每一个训练图像数据的处理图像数据，训练深度学习模型，得到超分辨率模型。
在另一实施场景中，针对图像数据进行目标检测的过程可以如图3所示。图3是根据一示例性实施例提出的另一种用于自动驾驶的目标检测方法的流程图。
在步骤S301中，获取车辆在行驶过程中的图像数据。
在步骤S302中，对图像数据进行第一目标检测处理，得到至少一个第一检测结果。
在本发明实施例中，第一检测结果包括目标框在图像数据中的位置信息、目标框内物体的第一预测类别，以及目标框内物体为第一预测类别的第一预测置信度。
在步骤S303中，分别比较每一个第一检测结果中第一预测置信度与第一置信度阈值的大小，得到至少一个比较结果。
在步骤S304中，若比较结果为第一预测置信度大于或者等于第一置信度阈值，则将第一检测结果作为对应目标框内物体的目标检测结果。
在步骤S305中，若比较结果为第一预测置信度小于第一置信度阈值，则根据对应目标框的位置信息，提取目标框在图像数据中的区域图像数据。
在步骤S306中，将区域图像数据输入至预置的超分辨率模型，以调节区域图像数据的图像分辨率，得到图像分辨率为目标分辨率的目标图像数据。
在步骤S307中，对目标图像数据进行第二目标检测处理，得到目标框内物体的第二检测结果。
在本发明实施例中，第二检测结果包括目标框内物体的第二预测类别和第二预测类别的第二预测置信度。
在步骤S308中，若第二预测置信度大于或者等于第二置信度阈值，则将位置信息、第二预测类别和第二预测类别的第二预测置信度作为目标框内物体的目标检测结果。
在步骤S309中，根据每一个目标框的位置信息，将其对应的目标检测结果映射至图像数据上，得到图像数据的目标检测结果。
通过上述实施例，能够增强目标检测的精确度，降低物体被误识别或者漏识别的情况发生，进而有助于降低误检率，从而有助于提高自动驾驶的安全性。
基于相同发明构思，本发明还提供一种用于自动驾驶的目标检测装置。
图4是根据一示例性实施例提出的一种用于自动驾驶的目标检测装置的结构框图。如图4所示，用于自动驾驶的目标检测装置包括第一获取单元401、第一检测单元402、第一提取单元403、调节单元404、第二检测单元405和第一结果确定单元406。
第一获取单元401，用于获取车辆在行驶过程中的图像数据；
第一检测单元402，用于对图像数据进行第一目标检测处理，得到第一检测结果，第一检测结果包括目标框在图像数据中的位置信息以及目标框内物体为第一预测类别的第一预测置信度；
第一提取单元403，用于若第一预测置信度小于第一置信度阈值，则根据位置信息，提取目标框在图像数据中的区域图像数据；
调节单元404，用于调节区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据；
第二检测单元405，用于对目标图像数据进行第二目标检测处理，得到目标框内物体的第二检测结果，第二检测结果包括目标框内物体的第二预测类别和第二预测类别的第二预测置信度；
第一结果确定单元406，用于若第二预测置信度大于或者等于第二置信度阈值，则将位置信息和第二预测类别作为目标框内物体的目标检测结果。
在一实施例中，调节单元404包括：特征提取单元，用于将区域图像数据输入至预置的超分辨率模型，提取区域图像数据的图像特征。调节子单元，用于基于区域图像数据的图像分辨率与目标分辨率之间的映射关系，重新构建图像特征，得到图像分辨率为目标分辨率的目标图像数据。
在另一实施例中，装置还包括：第二获取单元，用于获取训练图像数据集，每一个训练图像数据包括一个训练物体。处理单元，用于分别对每一个训练图像数据进行下采样处理，得到每一个训练图像数据对应的处理图像数据。训练单元，用于基于每一个训练图像数据以及每一个训练图像数据的处理图像数据，训练深度学习模型，得到超分辨率模型。
在又一实施例中，装置还包括：第三获取单元，用于获取车辆在行驶过程中的历史图像数据。第三检测单元，用于对历史图像数据进行第一目标检测处理，得到第三数量的检测结果，不同检测结果对应不同目标框，检测结果包括对应目标框在历史图像数据中的位置信息、对应目标框内物体的第三预测类别以及第三预测类别的第三预测置信度。筛选单元，用于将第三预测置信度大于或者等于第三置信度阈值的物体作为待训练所述超分辨率模型的训练物体。第二提取单元，用于根据每一个训练物体的目标框在历史图像数据中的位置信息，提取每一个训练物体在历史图像数据中的区域图像数据，得到训练图像数据集。
在又一实施例中，装置还包括：第二结果确定单元，用于若第一预测置信度大于或者等于第一置信度阈值，则将第一检测结果作为目标框内物体的目标检测结果。
在又一实施例中，装置还包括：映射单元，用于根据位置信息，将目标检测结果映射至图像数据上，以得到图像数据的目标检测结果。
在又一实施例中，第一置信度阈值大于第二置信度阈值。
上述用于自动驾驶的目标检测装置的具体限定以及有益效果可以参见上文中对于用于自动驾驶的目标检测方法的限定，在此不再赘述。上述各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
图5是根据一示例性实施例提出的一种电子设备的硬件结构示意图。该电子设备可以搭载在自动驾驶车辆上的域控制器，也可以是云服务器。如图5所示，该电子设备包括一个或多个处理器510以及存储器520，存储器520包括持久内存、易失内存和硬盘，图5中以一个处理器510为例。该设备还可以包括：输入装置530和输出装置540。
处理器510、存储器520、输入装置530和输出装置540可以通过总线或者其他方式连接，图5中以通过总线连接为例。
处理器510可以为中央处理器（Central Processing Unit，CPU）。处理器510还可以为其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器520作为一种非暂态计算机可读存储介质，包括持久内存、易失内存和硬盘，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本申请实施例中的业务管理方法对应的程序指令/模块。处理器510通过运行存储在存储器520中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述任意一种用于自动驾驶的目标检测方法。
存储器520可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据、需要使用的数据等。此外，存储器520可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器520可选包括相对于处理器510远程设置的存储器，这些远程存储器可以通过网络连接至数据处理装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置530可接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键信号输入。输出装置540可包括显示屏等显示设备。
一个或者多个模块存储在存储器520中，当被一个或者多个处理器510执行时，执行如图1-3所示的方法。
上述产品可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，具体可参见如图1-3所示的实施例中的相关描述。
基于相同发明构思，本发明还提供一种自动驾驶车辆，包括上述电子设备。
本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的认证方法。其中，存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）、随机存储记忆体（RandomAccess Memory，RAM）、快闪存储器（Flash Memory）、硬盘（Hard Disk Drive，缩写：HDD）或固态硬盘（Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (11)
1.一种用于自动驾驶的目标检测方法，其特征在于，所述方法包括：
获取车辆在行驶过程中的图像数据；
对所述图像数据进行第一目标检测处理，得到第一检测结果，所述第一检测结果包括目标框在所述图像数据中的位置信息以及所述目标框内物体为第一预测类别的第一预测置信度；
若所述第一预测置信度小于第一置信度阈值，则根据所述位置信息，提取所述目标框在所述图像数据中的区域图像数据；
调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据；
对所述目标图像数据进行第二目标检测处理，得到所述目标框内物体的第二检测结果，所述第二检测结果包括所述目标框内物体的第二预测类别和所述第二预测类别的第二预测置信度；
若所述第二预测置信度大于或者等于第二置信度阈值，则将所述位置信息和第二预测类别作为所述目标框内物体的目标检测结果。
2.根据权利要求1所述的方法，其特征在于，所述调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据，包括：
将所述区域图像数据输入至预置的超分辨率模型，提取所述区域图像数据的图像特征；
基于所述区域图像数据的图像分辨率与目标分辨率之间的映射关系，重新构建所述图像特征，得到图像分辨率为所述目标分辨率的目标图像数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取训练图像数据集，每一个训练图像数据包括一个训练物体；
分别对每一个训练图像数据进行下采样处理，得到每一个训练图像数据对应的处理图像数据；
基于每一个训练图像数据以及每一个训练图像数据的处理图像数据，训练深度学习模型，得到所述超分辨率模型。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取所述车辆在行驶过程中的历史图像数据；
对所述历史图像数据进行第一目标检测处理，得到第三数量的检测结果，不同检测结果对应不同目标框，所述检测结果包括对应目标框在所述历史图像数据中的位置信息、对应目标框内物体的第三预测类别以及所述第三预测类别的第三预测置信度；
将第三预测置信度大于或者等于第三置信度阈值的物体作为待训练所述超分辨率模型的训练物体；
根据每一个训练物体的目标框在所述历史图像数据中的位置信息，提取每一个训练物体在所述历史图像数据中的区域图像数据，得到训练图像数据集。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若所述第一预测置信度大于或者等于所述第一置信度阈值，则将所述第一检测结果作为所述目标框内物体的目标检测结果。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据所述位置信息，将所述目标检测结果映射至所述图像数据上，以得到所述图像数据的目标检测结果。
7.根据权利要求1所述的方法，其特征在于，所述第一置信度阈值大于所述第二置信度阈值。
8.一种用于自动驾驶的目标检测装置，其特征在于，所述装置包括：
第一获取单元，用于获取车辆在行驶过程中的图像数据；
第一检测单元，用于对所述图像数据进行第一目标检测处理，得到第一检测结果，所述第一检测结果包括目标框在所述图像数据中的位置信息以及所述目标框内物体为第一预测类别的第一预测置信度；
第一提取单元，用于若所述第一预测置信度小于第一置信度阈值，则根据所述位置信息，提取所述目标框在所述图像数据中的区域图像数据；
调节单元，用于调节所述区域图像数据的图像分辨率，以得到图像分辨率为目标分辨率的目标图像数据；
第二检测单元，用于对所述目标图像数据进行第二目标检测处理，得到所述目标框内物体的第二检测结果，所述第二检测结果包括所述目标框内物体的第二预测类别和所述第二预测类别的第二预测置信度；
第一结果确定单元，用于若所述第二预测置信度大于或者等于第二置信度阈值，则将所述位置信息和第二预测类别作为所述目标框内物体的目标检测结果。
9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-7中任一项所述的用于自动驾驶的目标检测方法。
10.一种自动驾驶车辆，其特征在于，包括权利要求9所述的电子设备。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的用于自动驾驶的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244312.8A CN115311522A (zh) | 2022-10-12 | 2022-10-12 | 用于自动驾驶的目标检测方法及装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211244312.8A CN115311522A (zh) | 2022-10-12 | 2022-10-12 | 用于自动驾驶的目标检测方法及装置、电子设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115311522A true CN115311522A (zh) | 2022-11-08 |
Family
ID=83867720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211244312.8A Pending CN115311522A (zh) | 2022-10-12 | 2022-10-12 | 用于自动驾驶的目标检测方法及装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115311522A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030439A (zh) * | 2023-03-30 | 2023-04-28 | 深圳海星智驾科技有限公司 | 一种目标识别方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110096993A (zh) * | 2019-04-28 | 2019-08-06 | 深兰科技（上海）有限公司 | 双目立体视觉的目标检测设备及方法 |
| CN111723723A (zh) * | 2020-06-16 | 2020-09-29 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像检测方法及装置 |
| CN111784624A (zh) * | 2019-04-02 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
-
2022
- 2022-10-12 CN CN202211244312.8A patent/CN115311522A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111784624A (zh) * | 2019-04-02 | 2020-10-16 | 北京沃东天骏信息技术有限公司 | 目标检测方法、装置、设备及计算机可读存储介质 |
| CN110096993A (zh) * | 2019-04-28 | 2019-08-06 | 深兰科技（上海）有限公司 | 双目立体视觉的目标检测设备及方法 |
| CN111723723A (zh) * | 2020-06-16 | 2020-09-29 | 东软睿驰汽车技术（沈阳）有限公司 | 一种图像检测方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116030439A (zh) * | 2023-03-30 | 2023-04-28 | 深圳海星智驾科技有限公司 | 一种目标识别方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111209780A (zh) | 车道线属性检测方法、装置、电子设备及可读存储介质 | |
| CN110276293B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN111435446A (zh) | 一种基于LeNet车牌识别方法及装置 | |
| KR20200095385A (ko) | 자동 주차 시스템 내의 시맨틱 세그먼테이션을 이용한 주차 영역을 검출하기 위한 방법 및 장치 | |
| CN114841910A (zh) | 车载镜头遮挡识别方法及装置 | |
| CN111444911B (zh) | 车牌识别模型的训练方法及装置、车牌识别方法及装置 | |
| CN114299457A (zh) | 积水深度检测方法及装置 | |
| CN115311522A (zh) | 用于自动驾驶的目标检测方法及装置、电子设备及介质 | |
| CN111191482B (zh) | 一种刹车灯识别方法、装置及电子设备 | |
| CN112509321A (zh) | 一种基于无人机的城市复杂交通情景的驾驶控制方法、系统及可读存储介质 | |
| CN111177878B (zh) | 衍生仿真场景筛选方法、装置和终端 | |
| CN116824152A (zh) | 基于点云的目标检测方法及装置、可读存储介质、终端 | |
| CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
| CN115063765A (zh) | 一种道路边界线确定方法、装置、设备及存储介质 | |
| CN114495049A (zh) | 识别车道线的方法和装置 | |
| CN110008838B (zh) | 基于改进拟合算法的车道线检测方法和系统 | |
| CN113609980A (zh) | 一种用于自动驾驶车辆的车道线感知方法及装置 | |
| CN112861701A (zh) | 违章停车识别方法、装置、电子设备以及计算机可读介质 | |
| CN110555344B (zh) | 车道线识别方法、装置、电子设备、存储介质 | |
| CN116434151B (zh) | 路面异物识别方法、装置、计算机设备及存储介质 | |
| CN113806361B (zh) | 电子监控设备与道路的关联方法、装置及存储介质 | |
| CN116381698B (zh) | 道路遗撒物的检测方法、装置及电子设备 | |
| CN116168366B (zh) | 点云数据生成方法、模型训练方法、目标检测方法和装置 | |
| CN111611942B (zh) | 一种透视自适应车道骨架提取建库的方法 | |
| CN117169919A (zh) | 目标检测结果的确定方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221108 |