CN116721397A - 目标检测方法、装置、电子设备和存储介质 - Google Patents
目标检测方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116721397A CN116721397A CN202310779203.4A CN202310779203A CN116721397A CN 116721397 A CN116721397 A CN 116721397A CN 202310779203 A CN202310779203 A CN 202310779203A CN 116721397 A CN116721397 A CN 116721397A
- Authority
- CN
- China
- Prior art keywords
- detection
- image
- sub
- confidence
- detection result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 340
- 238000003860 storage Methods 0.000 title claims abstract description 14
- 238000006243 chemical reaction Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims description 59
- 238000004891 communication Methods 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims 1
- 230000000694 effects Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 206010043417 Therapeutic response unexpected Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了目标检测方法、装置、电子设备和存储介质，该方法包括：通过第一检测模型对待检测图像进行目标检测，获得第一检测结果；若第一检测结果包括的第一检测框对应的置信度得分大于第一置信度阈值，则将第一检测框对应的检测结果输出；若第一检测框对应的置信度得分小于或等于第一置信度阈值且大于第二置信度阈值，则对待检测图像中位于第一检测框内的第一子图像进行域转换，获得第二子图像；通过第二检测模型对第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分；若第二检测结果对应的置信度得分大于第一置信度阈值，则将第二检测结果输出。本方案可以提升昏暗场景下的目标检测结果的精度。
Description
技术领域
本申请实施例涉及图像识别技术领域，尤其涉及一种目标检测方法、装置、电子设备和存储介质。
背景技术
近年来，汽车领域中自动驾驶技术发展迅速，目标检测作为自动驾驶技术的一种应用，对自动驾驶的安全性有着重要的影响。随着新能源汽车自动驾驶的爆发，提高目标检测的精度是每个汽车制造企业越来越迫切需要的技术。
目前，为了解决上述问题，常用的模型优化方法是通过提升数据集的丰富度，在原有数据的基础上，增加其他域或其他场景的数据集，带入模型进行训练，以增加模型的泛化性。
然而，提升数据集的丰富度意味着需要付出更高的标注成本。
发明内容
有鉴于此，本申请实施例提供了一种目标检测方法、装置、电子设备和存储介质，以至少解决上述部分问题。
根据本申请实施例的第一方面，提供了一种目标检测方法，包括：通过第一检测模型对待检测图像进行目标检测，获得第一检测结果，其中，所述第一检测结果包括至少一个第一检测框及相对应的置信度得分。对于所述第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值。若所述第一检测框对应的置信度得分大于所述第一置信度阈值，则将所述第一检测框对应的检测结果输出。若所述第一检测框对应的置信度得分小于或等于所述第一置信度阈值且大于第二置信度阈值，则对所述待检测图像中位于所述第一检测框内的第一子图像进行域转换，获得第二子图像，其中，所述第二置信度阈值小于所述第一置信度阈值。通过第二检测模型对所述第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分。若所述第二检测结果对应的置信度得分大于所述第一置信度阈值，则将所述第二检测结果输出。
根据本申请实施例的第二方面，提供了一种目标检测装置，包括：第一检测模块，用于通过第一检测模型对待检测图像进行目标检测，获得第一检测结果，其中，所述第一检测结果包括至少一个第一检测框及相对应的置信度得分。判断模块，用于对于所述第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值。第一输出模块，用于在所述第一检测框对应的置信度得分大于所述第一置信度阈值时，将所述第一检测框对应的检测结果输出。域转换模块，用于在所述第一检测框对应的置信度得分小于或等于所述第一置信度阈值且大于第二置信度阈值时，对所述待检测图像中位于所述第一检测框内的第一子图像进行域转换，获得第二子图像，其中，所述第二置信度阈值小于所述第一置信度阈值。第二检测模块，用于通过第二检测模型对所述第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分。第二输出模块，用于在所述第二检测结果对应的置信度得分大于所述第一置信度阈值时，将所述第二检测结果输出。
根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信。存储器用于存放至少一可执行指令，可执行指令使处理器执行如上述第一方面所述的目标检测方法对应的操作。
根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的目标检测方法。
由上述技术方案，通过第一检测模型对待检测图像进行目标检测得到第一检测结果，当第一检测结果中对应的检测框的置信度得分小于或等于设定的第一置信度阈值且大于第二置信度阈值时，将检测框内对应的图像区域裁剪出来输入域转换模型进行域转换，对转换后的图像通过第二检测模型进行目标检测，得到第二检测结果，如果第二检测结果对应的置信度得分大于第一置信度阈值，则输出检测结果，目标检测过程中通过两种检测模型进行目标检测，提升了目标检测结果的精度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的目标检测的流程图；
图2是本申请另一个实施例提供的目标检测的流程图；
图3是本申请一个实施例提供的目标检测装置的示意图；
图4是本申请一个实施例提供的电子设备的示意图。
具体实施方式
以下基于实施例对本申请进行描述，但是本申请并不仅限于这些实施例。在下文对本申请的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本申请。为了避免混淆本申请的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
目标检测方法
本申请实施例提供了一种目标检测方法，以下通过多个实施例对该目标检测方法进行详细说明。
图1是本申请一个实施例的目标检测方法的流程图。如图1所示，该目标检测方法包括如下步骤：
步骤S102：通过第一检测模型对待检测图像进行目标检测，获得第一检测结果。
其中，第一检测结果包括至少一个第一检测框及相对应的置信度得分。
第一检测模型使用的模型可以是yolox和yolov7模型，能够实现对自动驾驶场景下的目标进行检测的效果，此类2D检测模型通常在白天域场景下的检测效果比在黄昏域(黑夜域)下的检测效果更好。第一检测模型使用的模型也包括其他能达到类似效果的2D检测模型，本申请对此不作限制。
待检测图像可以是2D图片，也可以是从视频中截取的图片，本申请对图片的获取方式不作限定。
第一检测结果包括至少一个第一检测框及相对应的置信度得分，还可以包括例如图片名称、坐标、图片宽高等信息。
步骤S104：判断第一检测框对应的置信度得分是否大于第一置信度阈值，如果是，执行步骤S106，否则执行步骤S108。
第一检测框是指第一检测结果包括的至少部分检测框，对每一个第一检测框都要执行步骤S104。
第一置信度阈值代表高得分，其默认值为0.6，也可根据需求从0-1范围内进行灵活配置。
步骤S106：将第一检测框对应的检测结果输出，并结束当前流程。
第一检测框对应的置信度得分大于第一置信度阈值表明检测效果好，则将第一检测框对应的检测结果输出。
步骤S108：判断第一检测框对应的置信度得分是否大于第二置信度阈值，如果是，执行步骤S112，否则执行步骤S110。
步骤S110：舍弃第一检测框，并结束当前流程。
当第一检测框对应的置信度得分小于或等于第二置信度阈值时，表明检测效果不好，则舍弃该第一检测框，并结束当前流程。
步骤S112：对待检测图像中位于第一检测框内的第一子图像进行域转换，获得第二子图像。
第二置信度阈值代表低得分，第二置信度阈值小于第一置信度阈值，其默认值为0.1，也可根据需求从0-1范围内进行灵活配置。
当第一检测框对应的置信度得分小于或等于第一置信度阈值且大于第二置信度阈值时，表明检测效果一般，那么将位于第一检测框内的第一子图像裁剪出来，带入域转换模型，获得第二子图像。例如，第一子图像属于黄昏域，将其带入黄昏域转白天域的域转换模型，则生成白天域的第二子图像。
步骤S114：通过第二检测模型对第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分。
第二检测模型使用的模型可以是yolox和yolov7模型，也包括其他能达到类似效果的2D检测模型，本申请对此不作限制。
步骤S116：判断第二检测结果对应的置信度得分是否大于第一置信度阈值，如果是，执行步骤S118，否则执行步骤S120。
步骤S118：将第二检测结果输出，并结束当前流程。
第二检测结果对应的置信度得分大于第一置信度阈值表明，第一检测框内检测效果不好的目标区域经过域转换后进行再次检测的效果达到了目标阈值，则将检测得到的第二检测结果输出。
步骤S120：舍弃第二检测结果。
当第二检测结果对应的置信度得分小于或等于第一置信度阈值时，表明检测效果不好，则舍弃第二检测结果，并结束当前流程。
在本申请实施例中，通过第一检测模型对待检测图像进行目标检测得到第一检测结果，当第一检测结果中对应的检测框的置信度得分小于或等于设定的第一置信度阈值且大于第二置信度阈值时，将检测框内对应的图像区域裁剪出来输入域转换模型进行域转换，对转换后的图像通过第二检测模型进行目标检测，得到第二检测结果，如果第二检测结果对应的置信度得分大于第一置信度阈值，则输出检测结果，目标检测过程中通过两种检测模型进行目标检测，提升了目标检测结果的精度。
在一种可能的实现方式中，对于第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值的步骤具体包括：对至少一个第一检测框中对应置信度得分大于第二置信度阈值的第一检测框进行非极大值抑制处理，获得至少一个目标检测框。分别判断每个目标检测框对应的置信度得分是否大于第一置信度阈值。
对检测框进行非极大值抑制处理可以在判断第一检测框对应的置信度得分是否大于第一置信度阈值之前或之后进行，本申请对此不作限制。
在本申请实施例中，对第一检测框分别进行了判断该第一检测框对应的置信度得分是否大于第一置信度阈值和非极大值抑制处理，过滤掉了冗余的检测框，提升了目标检测的效率。
在一种可能的实现方式中，对待检测图像中位于第一检测框内的第一子图像进行域转换，获得第二子图像的具体步骤包括：将待检测图像中位于第一检测框内的第一子图像输入域转换模型，获得域转换模型输出的中间图像。通过鉴别器模型检测中间图像是否属于第二域。若中间图像属于第二域，则将中间图像确定为第二子图像。若中间图像不属于第二域，则将中间图像作为第一子图像输入域转换模型重复上述步骤，直至获得第一子图像对应的第二子图像。
同时可以设定一个阈值，当重复上述步骤的次数达到设定的阈值时，即使没有判断出中间图像属于第二域，也进行下一流程。
域转换模型用于将图像由第一域转换至第二域，目的是将效果差的图片域转换为效果好的图片域，例如黄昏域转白天域，黑夜域转白天域，雨天域转晴天域等。
在本申请实施例中，将待检测图像中的第一子图像进行域转换获得中间图像，通过鉴别器模型鉴别中间图像是否属于第二域来确定第二子图像，通过域转换模型优化了图像效果，提升了目标检测的精度。
在一种可能的实现方式中，以第一训练集包括的整张样本图像作为输入，训练获得第一检测模型。
第一训练集包括多张样本图像，多张样本图像必须包含第一域和第二域的场景。例如，多张样本图像中包含白天域和黄昏域的场景。
在本申请实施例中，以第一训练集包括的整张样本图像作为输入，训练获得第一检测模型，第一检测模型用来对图像全图进行目标检测。
在一种可能的实现方式中，以第一训练集中样本图像包括的子图像作为输入，训练获得第二检测模型。
第一训练集中至少部分样本图像包括至少一个子图像，至少部分子图像包括待识别目标的图像。例如检测目标是汽车，那么第一训练集中至少有部分样本图像包括至少一个包含汽车的子图像。
在本申请实施例中，第一训练集中样本图像包含待识别目标的图像，确保使用第一训练集训练模型得到的第二检测模型能够检测目标图像。
在一种可能的实现方式中，如图2所示，目标检测方法还包括如下步骤：
步骤S202：通过第一检测模型对第一训练集中的样本图像进行目标检测，获得第三检测结果。
第三检测结果至少包括一个第二检测框及相对应的置信度得分。
步骤S204：判断第二检测框对应的置信度得分是否大于第二置信度阈值，如果是，执行步骤S208，否则执行步骤S206。
第二检测框指第三检测结果包括的至少部分检测框，对每一个第二检测框执行步骤S204。
第二置信度阈值代表低得分，其默认值为0.1，也可根据需求从0-1范围内进行灵活配置。
步骤S206：舍弃第二检测框，并结束当前流程。
当第二检测框对应的置信度得分小于或等于第二置信度阈值时，表明检测效果不好，则舍弃该第二检测框，并结束当前流程。
步骤S208：若第二检测框对应的置信度得分大于第二置信度阈值，则将样本图像中位于该第二检测框内的图像确定为第三子图像。
当第二检测框对应的置信度得分大于第二置信度阈值时，表明检测效果在接受范围内，那么将样本图像中位于该第二检测框内的图像确定为第三子图像。
步骤S210：生成包括至少部分第三子图像的第二训练集。
获得的第三子图像中应包含检测模型对应的所有类别。
步骤S212：通过第二训练集训练获得域转换模型和鉴别器模型，并结束当前流程。
第二训练集包括第一域和第二域的样本，将第二训练集中样本图像输入域迁移模型CycleGAN模型中，训练得到一个第一域转第二域的模型，以及第二域的鉴别器模型。其中域迁移模型包括但不限于CycleGAN，也包含CycleGAN的其他变体。
在本申请实施例中，第二训练集中的样本图像是第一训练集中样本图像的部分区域而非整张图像，使用第二训练集训练模型的训练过程中能够排除不关注区域的冗余信息，提高了模型训练的效率。
在一种可能的实现方式中，生成包括至少部分第三子图像的第二训练集包括：从各第三子图像中抽取第一数量个对应置信度得分大于第一置信度阈值的第三子图像，作为第一子训练集。从各第三子图像中抽取第二数量个对应置信度得分大于第二置信度阈值、且小于或等于第一置信度阈值的第三子图像，作为第二子训练集。对第一子训练集和第二子训练集进行合并，获得第二训练集。
第一子训练集中对应第一域的第三子图像的数量，与对应第二域的第三子图像的数量相等。例如，从第一子训练集中选择1000张白天域的图像，选择1000张黄昏域的图像。
第二数量大于第一数量，第二子训练集中对应第一域的第三子图像的数量，与对应第二域的第三子图像的数量相等。例如，从第二子训练集中选择2000张白天域的图像，选择2000张黄昏域的图像。
在本申请实施例中，第一子训练集对应置信度得分大于第一置信度阈值的样本图像，第二子训练集对应置信度得分介于第一置信度阈值和第二置信度阈值之间的样本图像，第一置信度阈值大于第二置信度阈值，并且第二子训练集样本图像的数量大于第一子训练集样本图像数量，这样能够让域转换模型和鉴别器模型尽可能多地学习到较低得分样本图像对应的域迁移特征，提升了域转换模型的转换效果。
目标检测装置
图3是本申请一个实施例提供的目标检测装置的示意图，如图3所示，目标检测装置300可以包括：第一检测模块302、判断模块304、第一输出模块306、域转换模块308、第二检测模块310和第二输出模块312。
第一检测模块302，用于通过第一检测模型对待检测图像进行目标检测，获得第一检测结果，其中，第一检测结果包括至少一个第一检测框及相对应的置信度得分。
第一检测模型使用的模型可以是yolox和yolov7模型，能够实现对自动驾驶场景下的目标进行检测的效果，此类2D检测模型通常在白天域场景下的检测效果比在黄昏域(黑夜域)下的检测效果更好。第一检测模型使用的模型也包括其他能达到类似效果的2D检测模型，本申请对此不作限制。
待检测图像可以是2D图片，也可以是从视频中截取的图片，本申请对图片的获取方式不作限定。
第一检测结果包括至少一个第一检测框及相对应的置信度得分，还可以包括例如图片名称、坐标、图片宽高等信息。
判断模块304，用于对于第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值。
第一置信度阈值代表高得分，其默认值为0.6，也可根据需求从0-1范围内进行灵活配置。
第一输出模块306，用于在第一检测框对应的置信度得分大于第一置信度阈值时，将第一检测框对应的检测结果输出。
第一检测框对应的置信度得分大于第一置信度阈值表明检测效果好，则将对应的检测结果输出。
域转换模块308，用于在第一检测框对应的置信度得分小于或等于第一置信度阈值且大于第二置信度阈值时，对待检测图像中位于第一检测框内的第一子图像进行域转换，获得第二子图像，其中，第二置信度阈值小于第一置信度阈值。
第二置信度阈值代表低得分，第二置信度阈值小于第一置信度阈值，其默认值为0.1，也可根据需求从0-1范围内进行灵活配置。
当第一检测框对应的置信度得分小于或等于第二置信度阈值时，表明检测效果不好，则舍弃该第一检测框。
当第一检测框对应的置信度得分小于或等于第一置信度阈值且大于第二置信度阈值时，表明检测效果一般，那么将位于第一检测框内的第一子图像裁剪出来，带入域转换模型，获得第二子图像。例如，第一子图像属于黄昏域，将其带入黄昏域转白天域的域转换模型，则生成白天域的第二子图像。
第二检测模块310，用于通过第二检测模型对第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分。
第二检测模型使用的模型可以是yolox和yolov7模型，也包括其他能达到类似效果的2D检测模型，本申请对此不作限制。
第二输出模块312，用于在第二检测结果对应的置信度得分大于第一置信度阈值时，将第二检测结果输出。
第二检测结果对应的置信度得分大于第一置信度阈值表明，第一检测框内检测效果不好的目标区域经过域转换后进行再次检测的置信度得分达到了目标阈值，则将检测得到的第二检测结果输出。
在本申请实施例中，通过第一检测模型对待检测图像进行目标检测得到第一检测结果，当第一检测结果中对应的检测框的置信度得分小于或等于设定的第一置信度阈值且大于第二置信度阈值时，将检测框内对应的图像区域裁剪出来输入域转换模型进行域转换，对转换后的图像通过第二检测模型进行目标检测，得到第二检测结果，如果第二检测结果对应的置信度得分大于第一置信度阈值，则输出检测结果，目标检测过程中通过两种检测模型进行目标检测，提升了目标检测结果的精度。
电子设备
图4是本申请实施例提供的一种电子设备的示意性框图，本申请具体实施例并不对电子设备的具体实现做限定。如图4所示，该电子设备400可以包括：处理器(processor)402、通信接口(Communications Interface)404、存储器(memory)406、以及通信总线408。其中：
处理器402、通信接口404、以及存储器406通过通信总线408完成相互间的通信。
通信接口404，用于与其它电子设备或服务器进行通信。
处理器402，用于执行程序410，具体可以执行前述任一目标检测方法实施例中的相关步骤。
具体地，程序410可以包括程序代码，该程序代码包括计算机操作指令。
处理器402可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器406，用于存放程序410。存储器406可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序410具体可以用于使得处理器402执行前述任一实施例中的目标检测方法。
程序410中各步骤的具体实现可以参见前述任一目标检测方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。
本申请实施例的电子设备，通过第一检测模型对待检测图像进行目标检测得到第一检测结果，当第一检测结果中对应的检测框的置信度得分小于设定的第一置信度阈值时，将检测框内对应的图像区域裁剪出来输入域转换模型进行域转换，对转换后的图像通过第二检测模型进行目标检测，得到第二检测结果，如果第二检测结果对应的置信度得分大于第一置信度阈值，则输出检测结果，目标检测过程中通过两种检测模型进行目标检测，提升了目标检测结果的精度。
存储介质
本实施例中，提供了一种计算机可读存储介质，存储用于使一机器执行如本文的目标检测方法的指令。具体地，可以提供配有存储介质的系统或者装置，在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下，从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此程序代码和存储程序代码的存储介质构成了本申请的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上下载程序代码。
需要说明的是，在本申请的描述中，术语“第一”、“第二”仅用于方便描述不同的部件或名称，而不能理解为指示或暗示顺序关系、相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。
需要说明的是，虽然结合附图对本申请的具体实施例进行了详细的描述，但不应理解为对本申请的保护范围的限定。在权利要求书所描述的范围内，本领域技术人员不经创造性劳动即可作出的各种修改和变形仍属于本申请的保护范围。
本申请实施例的示例旨在简明地说明本申请实施例的技术特点，使得本领域技术人员能够直观了解本申请实施例的技术特点，并不作为本申请实施例的不当限定。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种目标检测方法，其特征在于，所述方法包括：
通过第一检测模型对待检测图像进行目标检测，获得第一检测结果，其中，所述第一检测结果包括至少一个第一检测框及相对应的置信度得分；
对于所述第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值；
若所述第一检测框对应的置信度得分大于所述第一置信度阈值，则将所述第一检测框对应的检测结果输出；
若所述第一检测框对应的置信度得分小于或等于所述第一置信度阈值且大于第二置信度阈值，则对所述待检测图像中位于所述第一检测框内的第一子图像进行域转换，获得第二子图像，其中，所述第二置信度阈值小于所述第一置信度阈值；
通过第二检测模型对所述第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分；
若所述第二检测结果对应的置信度得分大于所述第一置信度阈值，则将所述第二检测结果输出。
2.根据权利要求1所述的方法，其特征在于，所述对于所述第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值，包括：
对所述至少一个第一检测框中对应置信度得分大于所述第二置信度阈值的第一检测框进行非极大值抑制处理，获得至少一个目标检测框；
分别判断每个所述目标检测框对应的置信度得分是否大于所述第一置信度阈值。
3.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像中位于所述第一检测框内的第一子图像进行域转换，获得第二子图像，包括：
将所述待检测图像中位于所述第一检测框内的第一子图像输入域转换模型，获得所述域转换模型输出的中间图像，其中，所述域转换模型用于将图像由第一域转换至第二域；
通过鉴别器模型判断所述中间图像是否属于所述第二域；
若所述中间图像属于所述第二域，则将所述中间图像确定为所述第二子图像；
若所述中间图像不属于所述第二域，则将所述中间图像作为所述第一子图像输入所述域转换模型重复上述步骤，直至获得所述第一子图像对应的所述第二子图像。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
以第一训练集包括的整张样本图像作为输入，训练获得所述第一检测模型，其中，所述第一训练集包括多张样本图像。
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
以所述第一训练集中样本图像包括的子图像作为输入，训练获得所述第二检测模型，其中，所述第一训练集中至少部分样本图像包括至少一个所述子图像，至少部分所述子图像包括待识别目标的图像。
6.根据权利要求4所述的方法，其特征在于，所述方法还包括：
通过所述第一检测模型对所述第一训练集中的样本图像进行目标检测，获得第三检测结果，其中，所述第三检测结果至少包括一个第二检测框及相对应的置信度得分；
对于所述第三检测结果包括的至少部分所述第二检测框中的每一个所述第二检测框，判断该第二检测框对应的置信度得分是否大于所述第二置信度阈值；
若所述第二检测框对应的置信度得分大于所述第二置信度阈值，则将所述样本图像中位于该第二检测框内的图像确定为第三子图像；
生成包括至少部分所述第三子图像的第二训练集；
通过所述第二训练集训练获得所述域转换模型和所述鉴别器模型。
7.根据权利要求6所述的方法，其特征在于，所述生成包括至少部分所述第三子图像的第二训练集，包括：
从各所述第三子图像中抽取第一数量个对应置信度得分大于所述第一置信度阈值的所述第三子图像，作为第一子训练集，其中，所述第一子训练集中对应所述第一域的所述第三子图像的数量，与对应所述第二域的所述第三子图像的数量相等；
从各所述第三子图像中抽取第二数量个对应置信度得分大于所述第二置信度阈值、且小于或等于所述第一置信度阈值的所述第三子图像，作为第二子训练集，其中，所述第二数量大于所述第一数量，所述第二子训练集中对应所述第一域的所述第三子图像的数量，与对应所述第二域的所述第三子图像的数量相等；
对所述第一子训练集和所述第二子训练集进行合并，获得所述第二训练集。
8.一种目标检测装置，其特征在于，所述装置包括：
第一检测模块，用于通过第一检测模型对待检测图像进行目标检测，获得第一检测结果，其中，所述第一检测结果包括至少一个第一检测框及相对应的置信度得分；
判断模块，用于对于所述第一检测结果包括的至少部分第一检测框中的每一个第一检测框，判断该第一检测框对应的置信度得分是否大于第一置信度阈值；
第一输出模块，用于在所述第一检测框对应的置信度得分大于所述第一置信度阈值时，将所述第一检测框对应的检测结果输出；
域转换模块，用于在所述第一检测框对应的置信度得分小于或等于所述第一置信度阈值且大于第二置信度阈值时，对所述待检测图像中位于所述第一检测框内的第一子图像进行域转换，获得第二子图像，其中，所述第二置信度阈值小于所述第一置信度阈值；
第二检测模块，用于通过第二检测模型对所述第二子图像进行目标检测，获得第二检测结果及相对应的置信度得分；
第二输出模块，用于在所述第二检测结果对应的置信度得分大于所述第一置信度阈值时，将所述第二检测结果输出。
9.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；
存储器用于存放至少一可执行指令，可执行指令使处理器执行如权利要求1-7中任一项所述的目标检测方法对应的操作。
10.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的目标检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779203.4A CN116721397A (zh) | 2023-06-28 | 2023-06-28 | 目标检测方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310779203.4A CN116721397A (zh) | 2023-06-28 | 2023-06-28 | 目标检测方法、装置、电子设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116721397A true CN116721397A (zh) | 2023-09-08 |
Family
ID=87869645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310779203.4A Pending CN116721397A (zh) | 2023-06-28 | 2023-06-28 | 目标检测方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116721397A (zh) |
-
2023
- 2023-06-28 CN CN202310779203.4A patent/CN116721397A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111709420B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN111652218A (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN111681256B (zh) | 图像边缘检测方法、装置、计算机设备和可读存储介质 | |
| CN111932577B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN111275040B (zh) | 定位方法及装置、电子设备、计算机可读存储介质 | |
| CN111967545B (zh) | 文本检测方法、装置、电子设备及计算机存储介质 | |
| CN112200193B (zh) | 基于多属性融合的分布式车牌识别方法、系统、装置 | |
| CN111583180B (zh) | 一种图像的篡改识别方法、装置、计算机设备及存储介质 | |
| CN114359669A (zh) | 图片分析模型调整方法、装置以及计算机可读存储介质 | |
| CN111967449B (zh) | 文本检测方法、电子设备及计算机可读介质 | |
| CN112801923A (zh) | 文字处理方法、系统、可读存储介质及计算机设备 | |
| CN116721397A (zh) | 目标检测方法、装置、电子设备和存储介质 | |
| CN114267076B (zh) | 一种图像识别方法、装置、设备及存储介质 | |
| CN108171991A (zh) | 一种识别控制器及车牌识别系统 | |
| CN113963204A (zh) | 一种孪生网络目标跟踪系统及方法 | |
| CN115424250A (zh) | 一种车牌识别方法及装置 | |
| CN116543365B (zh) | 一种车道线识别方法、装置、电子设备及存储介质 | |
| CN116991964B (zh) | 区域用户绿电数据处理方法、系统及存储介质 | |
| CN112825141B (zh) | 识别文本的方法、装置、识别设备和存储介质 | |
| CN114882449B (zh) | 一种基于Car-Det网络模型的车辆检测方法及装置 | |
| CN112584117B (zh) | 一种白平衡调节方法、装置、设备及存储介质 | |
| CN113642500B (zh) | 一种基于多阶段域自适应的低照度目标检测方法 | |
| CN112991145B (zh) | 图像生成方法、系统、电子设备及机器可读存储介质 | |
| CN117710654A (zh) | 开放域目标检测方法、装置、电子设备及存储介质 | |
| CN115661565A (zh) | 一种基于混合域与协同训练跨域检测模型的自训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |