CN112036285B - 视觉目标检测方法、装置、设备及存储介质 - Google Patents
视觉目标检测方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN112036285B CN112036285B CN202010867854.5A CN202010867854A CN112036285B CN 112036285 B CN112036285 B CN 112036285B CN 202010867854 A CN202010867854 A CN 202010867854A CN 112036285 B CN112036285 B CN 112036285B
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- visual
- confirmation
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 170
- 238000001514 detection method Methods 0.000 title claims abstract description 141
- 238000003860 storage Methods 0.000 title claims abstract description 12
- 238000012790 confirmation Methods 0.000 claims abstract description 191
- 238000000034 method Methods 0.000 claims abstract description 38
- 238000013135 deep learning Methods 0.000 claims description 15
- 230000008447 perception Effects 0.000 abstract description 4
- 238000010200 validation analysis Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000894007 species Species 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Abstract
本发明公开了一种视觉目标检测方法、装置、设备及存储介质。该方法包括：获取待检测目标物对应的初始确认度指标；将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；根据所述目标确认度指标得到所述待检测目标物的目标检测结果。通过上述方式，获取用于描述目标物存在的确切程度的确认度指标，通过多帧视觉数据更新确认度指标，避免直接使用单帧的检测结果作为汽车感知的唯一数据，提高了目标检测的准确率，解决了的目标检测系统常出现错检、漏检的问题。
Description
技术领域
本发明涉及自动驾驶汽车技术领域，尤其涉及一种视觉目标检测方法、装置、设备及存储介质。
背景技术
随着科技的飞速发展，自动驾驶汽车的大规模部署已经成为了趋势，对于行驶过程中的目标物检测能力的要求越来越高。对于基于视觉的目标检测方法，随着深度学习算法的不断发展和优化，对于各类目标物检测的准确率大幅提高，但其精度仍然不足以直接部署使用。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种视觉目标检测方法、装置、设备及存储介质，旨在提高目标检测的准确率，解决目标检测系统在实际道路检测中常发生的错检以及漏检的问题。
为实现上述目的，本发明提供了一种视觉目标检测方法，所述方法包括以下步骤：
获取待检测目标物对应的初始确认度指标；
将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；
根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；
根据所述目标确认度指标得到所述待检测目标物的目标检测结果。
可选地，所述根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标，包括：
获取与所述待检测目标物的当前相对距离以及目标安全距离；
在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物；
在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据；
在所述待检测目标物连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
可选地，所述在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据之后，所述方法还包括：
在所述待检测目标物未连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为疑似目标物的目标确认度指标。
可选地，所述在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物之后，所述方法还包括：
在所述视觉数据中未检测到所述待检测目标物时，对所述初始确认度指标进行更新，得到标记为假目标物的目标确认度指标。
可选地，所述获取与所述待检测目标物的当前相对距离以及目标安全距离之后，所述方法还包括：
在所述当前相对距离小于或者等于所述目标安全距离时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
可选地，所述根据所述目标确认度指标得到所述待检测目标物的目标检测结果，包括：
获取所述视觉数据中所述待检测目标物的分类信息；
根据所述分类信息确定所述待检测目标物的目标置信度；
根据所述目标确认度指标与所述目标置信度得到所述待检测目标物的目标检测结果。
可选地，所述获取待检测目标物对应的初始确认度指标，包括：
通过深度学习网络获取待检测目标物对应的初始置信度；
在所述初始置信度大于或者等于预设置信度时，得到标记为确认目标物的初始确认度指标；
在所述初始置信度小于所述预设置信度时，得到标记为疑似目标物的初始确认度指标。
此外，为实现上述目的，本发明还提出一种视觉目标检测装置，所述视觉目标检测装置包括：
获取模块，用于获取待检测目标物对应的初始确认度指标；
追踪模块，用于将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；
更新模块，用于根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；
检测模块，用于根据所述目标确认度指标得到所述待检测目标物的目标检测结果。
此外，为实现上述目的，本发明还提出一种视觉目标检测设备，所述视觉目标检测设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉目标检测程序，所述视觉目标检测程序配置为实现如上文所述的视觉目标检测方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有视觉目标检测程序，所述视觉目标检测程序被处理器执行时实现如上文所述的视觉目标检测方法的步骤。
本发明通过获取待检测目标物对应的初始确认度指标；将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；根据所述目标确认度指标得到所述待检测目标物的目标检测结果。通过上述方式，获取用于描述目标物存在的确切程度的确认度指标，通过多帧视觉数据持续更新确认度指标，避免直接使用单帧的目标检测结果作为汽车感知的唯一数据，给予目标检测系统更加明确、有效的指导信息，提高了目标检测的准确率，解决了的目标检测系统常出现错检以及漏检的问题，提高自动驾驶汽车系统的稳定性和安全性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的视觉目标检测设备的结构示意图；
图2为本发明视觉目标检测方法第一实施例的流程示意图；
图3为本发明视觉目标检测方法第二实施例的流程示意图；
图4为本发明视觉目标检测方法第三实施例的流程示意图；
图5为本发明视觉目标检测装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的视觉目标检测设备结构示意图。
如图1所示，该视觉目标检测设备可以包括：处理器1001，例如中央处理器(Central Processing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对视觉目标检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视觉目标检测程序。
在图1所示的视觉目标检测设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明视觉目标检测设备中的处理器1001、存储器1005可以设置在视觉目标检测设备中，所述视觉目标检测设备通过处理器1001调用存储器1005中存储的视觉目标检测程序，并执行本发明实施例提供的视觉目标检测方法。
本发明实施例提供了一种视觉目标检测方法，参照图2，图2为本发明一种视觉目标检测方法第一实施例的流程示意图。
本实施例中，所述视觉目标检测方法包括以下步骤：
步骤S10：获取待检测目标物对应的初始确认度指标。
可理解的是，本实施例的执行主体是视觉目标检测设备，所述视觉目标检测设备可以是个人计算机或服务器等设备，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限制。在本实施例中，所述视觉目标检测设备安装在汽车上，用来检测汽车周围的目标物。
对于无人驾驶汽车来说，其检测的目标物分为以下几类：
(1)交通标志物类。主要有交通信号灯、交通指示牌以及交通障碍物灯。
(2)车和人等常见目标物类。无人驾驶汽车在道路上，周围的主要物体为机动车、非机动车和人等。
(3)其他目标物类。如小动物和垃圾等出现在周围环境的目标物。
需要说明的是，确认度指标(validation)用于描述目标物存在的确切程度，确认度指标包含三种状态：目标物的状态为“假目标物”，用确认度值“0”表示，即为系统的误判；目标物的状态为“疑似目标物”，用确认度值“1”表示；目标物的状态为“确认目标物”，用确认度值“2”表示。
具体地，步骤S10包括：通过深度学习网络获取待检测目标物对应的初始置信度；在所述初始置信度大于或者等于预设置信度时，得到标记为确认目标物的初始确认度指标；在所述初始置信度小于所述预设置信度时，得到标记为疑似目标物的初始确认度指标。
可理解的是，通过深度学习网络的方法步骤如下：
第一步：制作待检测目标物的数据集。采集所有需要检测的目标物的图像，并在图像中标注出其真实的类别和位置，从而制作出检测目标物的数据集。
第二步：使用设计的深度学习框架和网络对数据集进行训练。训练时，根据不同的需求和结果，对网络进行调参，从而获得更加良好的结果。
第三步：使用训练得到的权重进行目标检测。对无人驾驶汽车上摄像头采集的图片进行目标检测，获得检测结果，具体为图像坐标系下，目标物的分类名(class)、置信度(confidence)和目标框坐标(x,y,weight,height)。
在本实施例中，通过深度学习网络获取待检测目标物对应的初始置信度，在所述初始置信度大于或者等于0.9时，将确认度值初始化为“2”，得到标记为确认目标物的初始确认度指标，在所述初始置信度小于0.9时，将确认度值初始化为“1”，得到标记为疑似目标物的初始确认度指标。
可理解的是，在通过深度学习网络获取待检测目标物对应的初始置信度之前，还包括：判断待检测目标物是否第一次被检测到，如果待检测目标物是第一次被检测到，则执行通过深度学习网络获取待检测目标物对应的初始置信度的步骤。在待检测目标物不是第一次被检测到时，获取待检测目标物对应的历史置信度，将所述历史置信度作为初始置信度。本实施例中，待检测目标物为第一次检测到的目标物。
步骤S20：将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据。
具体地，在步骤S20之前，还包括：初始化预设目标追踪器。
可理解的是，设置目标追踪器，以通过算法对待检测目标物进行追踪，在后续预设帧数的视觉数据中定位待检测目标物，当获取到本帧中待检测目标物的基本信息，例如外观、位置以及运动的方向和速度，因此，在下一帧中，可以使用这些信息来预测下一帧中目标的位置，并对对象的预期位置进行小范围搜索，以准确定位目标。
步骤S30：根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标。
在本实施例中，获取与待检测目标物之间的当前相对距离和目标安全距离，以及在预设帧数的视觉数据中对待检测目标物进行检测，通过不同的情况对待检测目标物的确认度指标进行更新。包括以下四种情况：在当前相对距离小于或等于目标安全距离时，更新确认度指标为确认目标物；在当前相对距离大于目标安全距离，且连续帧数的视觉数据中均未检测到待检测目标物时，更新确认度指标为假目标物；在当前相对距离大于目标安全距离，且连续帧数的视觉数据中均检测到待检测目标物时，更新确认度指标为确认目标物；在当前相对距离大于目标安全距离，且待检测目标物未连续存在于视觉数据时，更新确认度指标为疑似目标物。通过连续多帧检测更新确认度指标信息，给予目标检测系统更加明确以及有效的指导信息。
步骤S40：根据所述目标确认度指标得到所述待检测目标物的目标检测结果。
需要说明的是，目标确认度指标为假目标物时，不考虑待检测目标物的其他信息，例如置信度，目标确认度指标为确认目标物时，根据预设帧数的视觉数据对待检测目标物的其他信息进行更新，根据更新后的确认度指标和其他信息确认目标检测结果。
例如，甲目标物在第一帧数据中的置信度为0.7，由于甲目标物的置信度小于预设置信度，将甲目标物对应的确认度值初始化为“1”，即初始确认度指标为疑似目标物，将初始确认度指标赋值给甲目标追踪器，得到n帧视觉数据，经分析，与甲目标物的距离大于目标安全距离，且甲目标物连续n帧都存在于视觉数据中，更新甲的确认度指标为确认目标物，获取连续n帧数据中的甲目标物的置信度，求平均值，以得到更新后的甲目标物的置信度为0.75，根据甲目标物的其他信息、确认度指标以及置信度得到甲目标检测结果。
本实施例通过获取待检测目标物对应的初始确认度指标；将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；根据所述目标确认度指标得到所述待检测目标物的目标检测结果。通过上述方式，获取用于描述目标物存在的确切程度的确认度指标，通过多帧视觉数据持续更新确认度指标，避免直接使用单帧的目标检测结果作为汽车感知的唯一数据，给予目标检测系统更加明确、有效的指导信息，提高了目标检测的准确率，解决了的目标检测系统常出现错检、漏检的问题，提高自动驾驶汽车系统的稳定性和安全性。
参考图3，图3为本发明视觉目标检测方法第二实施例的流程示意图。
基于上述第一实施例，本实施例视觉目标检测方法在所述步骤S30，包括：
步骤S301：获取与所述待检测目标物的当前相对距离以及目标安全距离。
可以理解的是，获取与待检测目标物的目标安全距离s，有很多的方法可以计算求得，在本实施例中，以一种基于碰撞最小安全距离的求解方法为例进行说明。根据汽车碰撞最小安全距离的相关要求，假设目标物静止的状态下，可用下面的公式计算得到最小安全距离s。
s＝v*Δt+0.5*a*t2
其中，s为最小安全距离，汽车行驶的速度为v，Δt为驾驶员由准备制动到开始制动所经历的时间，a为汽车制动的加速度，t为汽车制动时间。
具体地，本实施例视觉目标检测方法在所述步骤S301之后，还包括：
在所述当前相对距离小于或者等于所述目标安全距离时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
需要说明的是，在所述当前相对距离小于或者等于所述目标安全距离时，将确认度值更新为“2”，将待检测目标物的目标确认度指标确定为确认目标物。固定确认度值的数据，其值不再改变。
在具体实现中，将该目标追踪器的信息发送给决策系统，及时处理相关信息。当待检测目标物处于距车辆较近的位置时，系统将会把任何疑似目标物物体都当作确认目标物处理，以防止任何不安全事件的发生。当目标物处于距车辆较近的位置时，固定确认度的值后，直接将目标物信息输出给决策系统进行评估，不需要根据多帧数据继续更新确认度指标。
步骤S302：在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物。
具体地，本实施例视觉目标检测方法在所述步骤S302之后，还包括：
步骤S303：在所述视觉数据中未检测到所述待检测目标物时，对所述初始确认度指标进行更新，得到标记为假目标物的目标确认度指标。
需要说明的是，在所述视觉数据中未检测到所述待检测目标物时，将确认度值更新为“0”，将待检测目标物的目标确认度指标更新为假目标物。
在具体实现中，直接删除该目标物的追踪器，不再对该目标物进行追踪。当待检测目标物处于距车辆较远的位置时，系统将有充足的时间继续监控目标物的状态，可以持续更新其状态。当待检测目标物在预设帧数的视觉数据中都没有被检测到时，即认为该目标物是由于某些原因，系统误检导致的，因此将该目标物作为假目标物，并删除该目标物的追踪器，不再更新该目标物的状态和信息。如果该目标物确实存在并再次被系统检测到，也将以新的目标物重新进行追踪检测。
步骤S304：在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据。
具体地，本实施例视觉目标检测方法在所述步骤S304之后，还包括：
步骤S305：在所述待检测目标物未连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为疑似目标物的目标确认度指标。
需要说明的是，在所述视觉数据中检测到所述待检测目标物时，将确认度值更新为“1”，将待检测目标物的目标确认度指标更新为疑似目标物。
在具体实现中，追踪器更新下一帧待检测目标物信息。根据追踪器的信息，重新返回步骤S301进行检测更新。当待检测目标物处于车辆较远的位置时，系统将有充足的时间继续监控待检测目标物的状态，可以持续更新其状态。当待检测目标物在预设帧数的视觉数据中存在被检测到，但不是连续预设帧数都被检测到时，即存在某帧没有检测到待检测目标物的情况，即可认为该待检测目标物疑似存在，需要继续追踪它的状态以作最终确认。更新下一帧待检测目标物信息时，由于对该目标物的追踪器已经存在，不用对目标物的确认度指标进行初始化，追踪器确认度值依旧为“1”，然后继续判定安全距离和连续检测的结果，再次更新确认度的值，直到得到准确结果。
步骤S306：在所述待检测目标物连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
需要说明的是，在所述待检测目标物连续存在于所述视觉数据时，将确认度值更新为“2”，将待检测目标物的目标确认度指标更新为确认目标物。
在具体实现中，固定确认度值，不用再更新目标确认度指标。当目标物处于车辆较远的位置时，系统将有充足的时间继续监控目标物的状态，可以持续更新其状态。当待检测目标物在预设帧数的视觉数据中都被检测到，即认为该待检测目标物是确实存在的目标物，系统需要对该待检测目标物的信息进行处理，因此将确认度值设置为“2”。当系统判定该目标物是确实存在的目标物后，固定确认度值，不再更新目标确认度指标，后续的检测中，仅更新目标物的其他信息。其他信息包括：待检测目标物的分类名(class)、置信度(confidence)和目标框坐标(x,y,weight,height)。
本实施例通过对多帧视觉数据进行分析，更新待检测目标物的确认度指标，从而解决单帧图片检测中容易出现的漏检和误检等问题，通过不同的多帧检测结果，使用不同的策略去更新待检测目标物的确认度指标，不断更新对目标物的认知，提高了目标检测的准确率，解决了的目标检测系统常出现错检、漏检的问题，提高自动驾驶汽车系统的稳定性和安全性。
参考图4，图4为本发明一种视觉目标检测方法第三实施例的流程示意图。
基于上述第一实施例，本实施例视觉目标检测方法在所述步骤S40，包括：
步骤S401：获取所述视觉数据中所述待检测目标物的分类信息。
在本实施例中，以确认度指标更新为确认目标物的情况为例进行说明。
更新情况为：在当前相对距离大于目标安全距离时，遍历预设帧数的视觉数据，判断视觉数据中是否检测到待检测目标物，在视觉数据中检测到待检测目标物时，判断待检测目标物是否连续存在于视觉数据，在待检测目标物连续存在于视觉数据时，对初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
假设预设帧数为n帧，也就是待检测目标物在连续n帧都被检测到，获取待检测目标物在n帧数据中的分类信息(class)和置信度，判断待检测目标物在连续n帧数据中被检测到的分类信息是否为同一种。
步骤S402：根据所述分类信息确定所述待检测目标物的目标置信度。
需要说明的是，当待检测目标物在连续n帧数据中被检测到的分类信息为同一种时，将待检测目标物的置信度信息更新为n帧数据中待检测目标物的置信度的平均值。
待检测目标物在连续n帧都被检测到，并且都是同一种分类信息，将待检测目标物的置信度信息更新为n帧数据中待检测目标物的置信度的平均值的做法，可以降低检测过程中随机噪声的影响，使检测得到的置信度信息更加准确和稳定。
需要说明的是，当待检测目标物在连续n帧数据中被检测到的分类信息不为同一种时，即待检测目标物存在两种及两种以上的分类信息时，将待检测目标物的置信度更新为n帧数据中相同分类信息出现次数最多的分类信息对应的置信度的平均值，若出现相同次数的分类信息，则取分类信息对应的置信度较高的置信度作为最终得到的置信度。
待检测目标物在连续n帧都被检测到，并且不都是同一种分类信息，存在两种及两种以上的分类信息，因此需要将待检测目标物的置信度信息更新为n帧中相同分类信息出现次数最多的分类信息对应的置信度的平均值，避免随机性的误检导致分类错误。
步骤S403：根据所述目标确认度指标与所述目标置信度得到所述待检测目标物的目标检测结果。
本实施例通过对多帧视觉数据进行分析，根据多帧视觉数据中的分类信息更新待检测目标物的置信度，为目标检测结果提供更全面、更明确的检测信息，降低检测过程中随机噪声的影响，提高了目标检测的准确率，解决了的目标检测系统常出现错检、漏检的问题，提高自动驾驶汽车系统的稳定性和安全性。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有视觉目标检测程序，所述视觉目标检测程序被处理器执行时实现如上文所述的视觉目标检测方法的步骤。
参照图5，图5为本发明视觉目标检测装置第一实施例的结构框图。
如图5所示，本发明实施例提出的视觉目标检测装置包括：
获取模块10，用于获取待检测目标物对应的初始确认度指标。
对于无人驾驶汽车来说，其检测的目标物分为以下几类：
(1)交通标志物类。主要有交通信号灯、交通指示牌、交通障碍物灯。
(2)车、人等常见目标物类。无人驾驶汽车在道路上，周围的主要物体为机动车、非机动车和人等。
(3)其他目标物类。如小动物、垃圾等出现在周围环境的目标物。
需要说明的是，确认度指标(validation)用于描述目标物存在的确切程度，确认度指标包含三种状态：目标物的状态为“假目标物”，用确认度值“0”表示，即为系统的误判；目标物的状态为“疑似目标物”，用确认度值“1”表示；目标物的状态为“确认目标物”，用确认度值“2”表示。
具体地，获取模块10，还用于：通过深度学习网络获取待检测目标物对应的初始置信度；在所述初始置信度大于或者等于预设置信度时，得到标记为确认目标物的初始确认度指标；在所述初始置信度小于所述预设置信度时，得到标记为疑似目标物的初始确认度指标。
可理解的是，通过深度学习网络的方法步骤如下：
第一步：制作待检测目标物的数据集。采集所有需要检测的目标物的图像，并在图像中标注出其真实的类别和位置，从而制作出检测目标物的数据集。
第二步：使用设计的深度学习框架和网络对数据集进行训练。训练时，根据不同的需求和结果，对网络进行调参，从而获得更加良好的结果。
第三步：使用训练得到的权重进行目标检测。对无人驾驶汽车上摄像头采集的图片进行目标检测，获得检测结果，具体为图像坐标系下，目标物的分类名(class)、置信度(confidence)和目标框坐标(x,y,weight,height)。
在本实施例中，通过深度学习网络获取待检测目标物对应的初始置信度，在所述初始置信度大于或者等于0.9时，将确认度值初始化为“2”，得到标记为确认目标物的初始确认度指标，在所述初始置信度小于0.9时，将确认度值初始化为“1”，得到标记为疑似目标物的初始确认度指标。
可理解的是，在通过深度学习网络获取待检测目标物对应的初始置信度之前，还包括：判断待检测目标物是否第一次被检测到，如果待检测目标物是第一次被检测到，则执行通过深度学习网络获取待检测目标物对应的初始置信度的步骤。在待检测目标物不是第一次被检测到时，获取待检测目标物对应的历史置信度，将所述历史置信度作为初始置信度。本实施例中，待检测目标物为第一次检测到的目标物。
追踪模块20，用于将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据。
具体地，追踪模块20，还用于：初始化预设目标追踪器。
可理解的是，设置目标追踪器，以通过算法对待检测目标物进行追踪，在后续预设帧数的视觉数据中定位待检测目标物，当获取到本帧中待检测目标物的基本信息，例如外观、位置以及运动的方向和速度，因此，在下一帧中，可以使用这些信息来预测下一帧中目标的位置，并对对象的预期位置进行小范围搜索，以准确定位目标。
更新模块30，用于根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标。
在本实施例中，获取与待检测目标物之间的当前相对距离和目标安全距离，以及在预设帧数的视觉数据中对待检测目标物进行检测，通过不同的情况对待检测目标物的确认度指标进行更新。包括以下四种情况：在当前相对距离小于或等于目标安全距离时，更新确认度指标为确认目标物；在当前相对距离大于目标安全距离，且连续帧数的视觉数据中均未检测到待检测目标物时，更新确认度指标为假目标物；在当前相对距离大于目标安全距离，且连续帧数的视觉数据中均检测到待检测目标物时，更新确认度指标为确认目标物；在当前相对距离大于目标安全距离，且待检测目标物未连续存在于视觉数据时，更新确认度指标为疑似目标物。通过连续多帧检测更新确认度指标信息，给予目标检测系统更加明确、有效的指导信息。
检测模块40，用于根据所述目标确认度指标得到所述待检测目标物的目标检测结果。
需要说明的是，目标确认度指标为假目标物时，不考虑待检测目标物的其他信息，例如置信度，目标确认度指标为确认目标物时，根据预设帧数的视觉数据对待检测目标物的其他信息进行更新，根据更新后的确认度指标和其他信息确认目标检测结果。
例如，甲目标物在第一帧数据中的置信度为0.7，由于甲目标物的置信度小于预设置信度，将甲目标物对应的确认度值初始化为“1”，即初始确认度指标为疑似目标物，将初始确认度指标赋值给甲目标追踪器，得到n帧视觉数据，经分析，与甲目标物的距离大于目标安全距离，且甲目标物连续n帧都存在于视觉数据中，更新甲的确认度指标为确认目标物，获取连续n帧数据中的甲目标物的置信度，求平均值，以得到更新后的甲目标物的置信度为0.75，根据甲目标物的其他信息、确认度指标以及置信度得到甲目标检测结果。
应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。
本实施例通过获取待检测目标物对应的初始确认度指标；将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；根据所述目标确认度指标得到所述待检测目标物的目标检测结果。通过上述方式，获取用于描述目标物存在的确切程度的确认度指标，通过多帧视觉数据持续更新确认度指标，避免直接使用单帧的目标检测结果作为汽车感知的唯一数据，给予目标检测系统更加明确、有效的指导信息，提高了目标检测的准确率，解决了的目标检测系统常出现错检、漏检的问题，提高自动驾驶汽车系统的稳定性和安全性。
在一实施例中，所述更新模块30，还用于获取与所述待检测目标物的当前相对距离以及目标安全距离；
在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物；
在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据；
在所述待检测目标物连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
在一实施例中，所述更新模块30，还用于在所述待检测目标物未连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为疑似目标物的目标确认度指标。
在一实施例中，所述更新模块30，还用于在所述视觉数据中未检测到所述待检测目标物时，对所述初始确认度指标进行更新，得到标记为假目标物的目标确认度指标。
在一实施例中，所述更新模块30，还用于在所述当前相对距离小于或者等于所述目标安全距离时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
在一实施例中，所述检测模块40，还用于获取所述视觉数据中所述待检测目标物的分类信息；
根据所述分类信息确定所述待检测目标物的目标置信度；
根据所述目标确认度指标与所述目标置信度得到所述待检测目标物的目标检测结果。
需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。
另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的视觉目标检测方法，此处不再赘述。
此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种视觉目标检测方法，其特征在于，所述视觉目标检测方法包括：
获取待检测目标物对应的初始确认度指标；
将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；
根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；
根据所述目标确认度指标得到所述待检测目标物的目标检测结果；
其中，所述根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标，包括：
获取与所述待检测目标物的当前相对距离以及目标安全距离；
在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物；
在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据；
在所述待检测目标物连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
2.如权利要求1所述的视觉目标检测方法，其特征在于，所述在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据之后，所述方法还包括：
在所述待检测目标物未连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为疑似目标物的目标确认度指标。
3.如权利要求1所述的视觉目标检测方法，其特征在于，所述在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物之后，所述方法还包括：
在所述视觉数据中未检测到所述待检测目标物时，对所述初始确认度指标进行更新，得到标记为假目标物的目标确认度指标。
4.如权利要求1所述的视觉目标检测方法，其特征在于，所述获取与所述待检测目标物的当前相对距离以及目标安全距离之后，所述方法还包括：
在所述当前相对距离小于或者等于所述目标安全距离时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
5.如权利要求1至4中任一项所述的视觉目标检测方法，其特征在于，所述根据所述目标确认度指标得到所述待检测目标物的目标检测结果，包括：
获取所述视觉数据中所述待检测目标物的分类信息；
根据所述分类信息确定所述待检测目标物的目标置信度；
根据所述目标确认度指标与所述目标置信度得到所述待检测目标物的目标检测结果。
6.如权利要求1至4中任一项所述的视觉目标检测方法，其特征在于，所述获取待检测目标物对应的初始确认度指标，包括：
通过深度学习网络获取待检测目标物对应的初始置信度；
在所述初始置信度大于或者等于预设置信度时，得到标记为确认目标物的初始确认度指标；
在所述初始置信度小于所述预设置信度时，得到标记为疑似目标物的初始确认度指标。
7.一种视觉目标检测装置，其特征在于，所述视觉目标检测装置包括：
获取模块，用于获取待检测目标物对应的初始确认度指标；
追踪模块，用于将所述初始确认度指标赋值给预设目标追踪器，通过所述预设目标追踪器对所述待检测目标物进行追踪，以得到预设帧数的视觉数据；
更新模块，用于根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标；
检测模块，用于根据所述目标确认度指标得到所述待检测目标物的目标检测结果；
其中，所述根据所述预设帧数的视觉数据对所述初始确认度指标进行更新，得到目标确认度指标，包括：
获取与所述待检测目标物的当前相对距离以及目标安全距离；
在所述当前相对距离大于所述目标安全距离时，遍历所述预设帧数的视觉数据，判断所述视觉数据中是否检测到所述待检测目标物；
在所述视觉数据中检测到所述待检测目标物时，判断所述待检测目标物是否连续存在于所述视觉数据；
在所述待检测目标物连续存在于所述视觉数据时，对所述初始确认度指标进行更新，得到标记为确认目标物的目标确认度指标。
8.一种视觉目标检测设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视觉目标检测程序，所述视觉目标检测程序配置为实现如权利要求1至6中任一项所述的视觉目标检测方法的步骤。
9.一种存储介质，其特征在于，所述存储介质上存储有视觉目标检测程序，所述视觉目标检测程序被处理器执行时实现如权利要求1至6任一项所述的视觉目标检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010867854.5A CN112036285B (zh) | 2020-08-25 | 2020-08-25 | 视觉目标检测方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010867854.5A CN112036285B (zh) | 2020-08-25 | 2020-08-25 | 视觉目标检测方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112036285A CN112036285A (zh) | 2020-12-04 |
| CN112036285B true CN112036285B (zh) | 2024-04-09 |
Family
ID=73581361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010867854.5A Active CN112036285B (zh) | 2020-08-25 | 2020-08-25 | 视觉目标检测方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112036285B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01250878A (ja) * | 1988-03-31 | 1989-10-05 | Mitsubishi Electric Corp | 移動目標物検出方式 |
| CN103310206A (zh) * | 2013-07-06 | 2013-09-18 | 中国科学技术大学 | 一种基于多特征与多帧信息融合的助力车检测方法 |
| CN104866823A (zh) * | 2015-05-11 | 2015-08-26 | 重庆邮电大学 | 一种基于单目视觉的车辆检测与跟踪方法 |
| CN108932496A (zh) * | 2018-07-03 | 2018-12-04 | 北京佳格天地科技有限公司 | 区域内目标物的数量统计方法及装置 |
| CN109902610A (zh) * | 2019-02-22 | 2019-06-18 | 杭州飞步科技有限公司 | 交通标志识别方法和装置 |
| WO2020038091A1 (zh) * | 2018-08-22 | 2020-02-27 | 北京市商汤科技开发有限公司 | 智能驾驶控制方法与装置、电子设备、程序和介质 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
| CN110929620A (zh) * | 2019-11-15 | 2020-03-27 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置及存储装置 |
-
2020
- 2020-08-25 CN CN202010867854.5A patent/CN112036285B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01250878A (ja) * | 1988-03-31 | 1989-10-05 | Mitsubishi Electric Corp | 移動目標物検出方式 |
| CN103310206A (zh) * | 2013-07-06 | 2013-09-18 | 中国科学技术大学 | 一种基于多特征与多帧信息融合的助力车检测方法 |
| CN104866823A (zh) * | 2015-05-11 | 2015-08-26 | 重庆邮电大学 | 一种基于单目视觉的车辆检测与跟踪方法 |
| CN108932496A (zh) * | 2018-07-03 | 2018-12-04 | 北京佳格天地科技有限公司 | 区域内目标物的数量统计方法及装置 |
| WO2020038091A1 (zh) * | 2018-08-22 | 2020-02-27 | 北京市商汤科技开发有限公司 | 智能驾驶控制方法与装置、电子设备、程序和介质 |
| CN109902610A (zh) * | 2019-02-22 | 2019-06-18 | 杭州飞步科技有限公司 | 交通标志识别方法和装置 |
| CN110910422A (zh) * | 2019-11-13 | 2020-03-24 | 北京环境特性研究所 | 目标跟踪方法、装置、电子设备和可读存储介质 |
| CN110929620A (zh) * | 2019-11-15 | 2020-03-27 | 浙江大华技术股份有限公司 | 目标跟踪方法、装置及存储装置 |
Non-Patent Citations (3)
| Title |
|---|
| Behavioral Pedestrian Tracking Using a Camera and LiDAR Sensors on a Moving Vehicle;Martin Dimitrievski等;sensors;第19卷(第2期);全文 * |
| 基于视频的前车并线及碰撞预警算法研究;赵富强等;测控技术;第38卷(第9期);5-13、35 * |
| 车路视觉协同的高速公路防碰撞预警算法;蔡创新;高尚兵;周君;黄子赫;;中国图象图形学报(第08期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112036285A (zh) | 2020-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109782763B (zh) | 一种动态环境下的移动机器人路径规划方法 | |
| US20200209874A1 (en) | Combined virtual and real environment for autonomous vehicle planning and control testing | |
| US20200331476A1 (en) | Automatic lane change with minimum gap distance | |
| CN113044059A (zh) | 用于车辆的安全系统 | |
| US10843698B2 (en) | Information processing system, information processing device, information processing method, and non-transitory computer readable storage medium storing program | |
| CN111353522B (zh) | 用于确定车辆周围环境中的路标的方法和系统 | |
| CN110751012B (zh) | 目标检测评估方法、装置、电子设备及存储介质 | |
| CN112200830A (zh) | 一种目标跟踪方法及设备 | |
| US20220135027A1 (en) | Systems and methods for detecting a vulnerable road user in an environment of a vehicle | |
| CN112418711A (zh) | 车辆预期功能危害评估方法、设备、存储介质及装置 | |
| US11087224B2 (en) | Out-of-vehicle communication device, out-of-vehicle communication method, information processing device, and computer readable medium | |
| JP2012037980A (ja) | 移動物予測装置及びプログラム | |
| JP4664141B2 (ja) | 周辺他車通知装置 | |
| CN115004269A (zh) | 监视装置、监视方法及程序 | |
| CN113189989B (zh) | 车辆意图预测方法、装置、设备及存储介质 | |
| CN112078571B (zh) | 自动泊车方法、设备、存储介质及装置 | |
| CN112036285B (zh) | 视觉目标检测方法、装置、设备及存储介质 | |
| CN110426714A (zh) | 一种障碍物识别方法 | |
| US20200094823A1 (en) | Location prediction for dynamic objects | |
| CN113085872B (zh) | 驾驶行为评估方法、装置、设备及存储介质 | |
| CN115437366A (zh) | 障碍物追踪方法、装置、设备及计算机可读存储介质 | |
| CN114360056A (zh) | 开门预警方法、装置、设备及存储介质 | |
| CN114530057A (zh) | 一种车辆预警方法、装置、车辆及存储介质 | |
| CN112884220A (zh) | 基于关联规则的碰撞预测方法、装置、设备及存储介质 | |
| CN112405532B (zh) | 移动控制方法、装置及机器人 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |