CN111753663B - 目标检测方法及装置 - Google Patents
目标检测方法及装置 Download PDFInfo
- Publication number
- CN111753663B CN111753663B CN202010450865.3A CN202010450865A CN111753663B CN 111753663 B CN111753663 B CN 111753663B CN 202010450865 A CN202010450865 A CN 202010450865A CN 111753663 B CN111753663 B CN 111753663B
- Authority
- CN
- China
- Prior art keywords
- image
- detection target
- moment
- vehicle
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 431
- 238000000034 method Methods 0.000 claims abstract description 35
- 238000001914 filtration Methods 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 19
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请实施例公开了一种目标检测方法及装置，该方法包括：获取车辆的车载摄像头拍摄的视频图像包括的第一图像和第二图像。获取第二图像包括的每个检测目标在第二图像中的第一参考位置，将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，得到每个检测目标在第二时刻的输出位置。采用本申请实施例，可提高对检测目标的定位精度。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种目标检测方法及装置。
背景技术
随着社会的发展和科技的进步，人们对汽车驾驶的安全性要求越来越高。在车辆行驶过程中，当车辆驾驶者的视野盲区突然出现目标时，由于驾驶者不能及时做出应急操作，从而导致了惨剧发生。现有技术中，为提高驾驶的安全性，一些车主选择在汽车上安装了流媒体后视镜，其通过将摄像头拍摄的车后画面实时传输到流媒体后视镜上，使得车后方的视野一下扩大了2到3倍。或者，还有一些车主通过在汽车上安装车载环视系统，并采用车载处理器对得到的多路视频进行图像处理以得到图像中的目标，为驾驶员提供了车辆周边的目标存在情况，但是由于图像中光照以及噪声等因素引起的变化，现有技术所采用的目标检测方法定位精度不高，因此如何提高对检测目标的定位精度成为当前亟待解决的问题之一。
发明内容
本申请实施例提供了一种目标检测方法及装置，可提高对检测目标的定位精度，适用性高。
第一方面，本申请实施例提供了一种目标检测方法，该方法包括：
获取车辆的车载摄像头拍摄的视频图像，所述视频图像至少包括第一图像和第二图像，其中所述第一图像为第一时刻拍摄的图像，所述第二图像为第二时刻拍摄的图像，所述第一时刻与所述第二时刻之间间隔预设时间周期，且所述第一时刻早于所述第二时刻；
获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置，其中，所述第二车辆坐标系为第二时刻根据所述车辆的位置确定的坐标系；
获取所述第一时刻与所述第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在所述第一时刻的输出位置，根据所述第一车辆转角和每个检测目标在所述第一时刻的输出位置，确定出每个检测目标在所述第二车辆坐标系下对应的第二相对位置，其中，每个检测目标在所述第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，所述第一车辆坐标系为第一时刻根据所述车辆的位置确定的坐标系；
对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在所述第二时刻的输出位置，其中，每个检测目标在所述第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。
在本申请实施例中，通过获取第一相对位置和第二相对位置，并将第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置，可提高对检测目标的定位精度。
结合第一方面，在一种可能的实施方式中，所述获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，包括：
基于深度卷积神经网络模型，确定出所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一图像位置，以作为每个检测目标在所述第二图像中的第一参考位置，其中，所述深度卷积神经网络模型根据多张样本图像，以及每张样本图像中包括的预先标记的检测目标的图像位置训练得到。
在本申请实施例中，基于深度卷积神经网络模型确定第一图像位置，进而确定第一参考位置，可提高所确定的第一参考位置的准确性。
结合第一方面，在一种可能的实施方式中，所述获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，包括：
获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置，以作为每个检测目标在所述第二图像中的第一参考位置。
在本申请实施例中，根据光流跟踪法确定第二图像位置，进而确定第一参考位置，可提高所确定的第一参考位置的准确性。
结合第一方面，在一种可能的实施方式中，所述方法还包括：
获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置；
若任一第二图像位置与每个第一图像位置间的交并比皆小于预设交并比阈值，则确定所述任一第二图像位置对应的检测目标为新出现的检测目标，并将所述任一第二图像位置确定为所述新出现的检测目标在所述第二图像中的第一参考位置。
在本申请实施例，基于深度卷积神经网络模型确定第一图像中检测目标的第一图像位置、以及根据光流跟踪法确定第一图像中检测目标的第一图像位置，再根据每个检测目标对应的第一图像位置和第二图像位置间的交并比确定检测目标的第一参考位置，既提高了第一参考位置的准确性，且增大了检测目标的召回率。
结合第一方面，在一种可能的实施方式中，所述得到每个检测目标在所述第二时刻的输出位置之后，所述方法还包括：
根据每个检测目标在所述第二时刻的输出位置确定出每个检测目标与所述车辆之间的距离；
当任一检测目标与所述车辆之间的距离小于或者等于预设告警距离阈值时，则触发防撞预警信息。
在本申请实施例中，当检测目标与所述车辆之间的距离小于或者等于预设告警距离阈值，触发防撞预警信息可降低事故发生率，适用性强。
结合第一方面，在一种可能的实施方式中，所述方法还包括：
若所述第二图像中的任一检测目标为在所述第二图像中第一次出现的检测目标，则将所述任一检测目标在所述第二车辆坐标系下的第二相对位置确定为空。
结合第一方面，在一种可能的实施方式中，车辆坐标系为以所述车辆的后轴中心为原点，X轴平行于地面指向所述的车辆前方，Y轴指向驾驶员的右侧，Z轴通过所述车辆的后轴中心指向上方的坐标系。
第二方面，本申请实施例提供了一种目标检测装置，该装置包括：
图像获取模块，用于获取车辆的车载摄像头拍摄的视频图像，所述视频图像至少包括第一图像和第二图像，其中所述第一图像为第一时刻拍摄的图像，所述第二图像为第二时刻拍摄的图像，所述第一时刻与所述第二时刻之间间隔预设时间周期，且所述第一时刻早于所述第二时刻；
第一相对位置确定模块，用于获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置，其中，所述第二车辆坐标系为第二时刻根据所述车辆的位置确定的坐标系；
第二相对位置确定模块，用于获取所述第一时刻与所述第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在所述第一时刻的输出位置，根据所述第一车辆转角和每个检测目标在所述第一时刻的输出位置，确定出每个检测目标在所述第二车辆坐标系下对应的第二相对位置，其中，每个检测目标在所述第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，所述第一车辆坐标系为第一时刻根据所述车辆的位置确定的坐标系；
输出位置确定模块，用于对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在所述第二时刻的输出位置，其中，每个检测目标在所述第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。
结合第二方面，在一种可能的实施方式中，上述第一相对位置确定模块包括第一参考位置确定单元和相对位置转换单元，其中上述第一参考位置确定单元具体用于：
基于深度卷积神经网络模型，确定出所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一图像位置，以作为每个检测目标在所述第二图像中的第一参考位置，其中，所述深度卷积神经网络模型根据多张样本图像，以及每张样本图像中包括的预先标记的检测目标的图像位置训练得到。
结合第二方面，在一种可能的实施方式中，上述第一相对位置确定模块还包括第二参考位置确定单元，上述第二参考位置确定单元包括：
第一图像特征点确定子单元，用于获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
第一图像位置确定子单元，用于根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置，以作为每个检测目标在所述第二图像中的第一参考位置。
结合第二方面，在一种可能的实施方式中，上述第一相对位置确定模块还包括第三参考位置确定单元，上述第三参考位置确定单元包括：
第二图像特征点确定子单元，用于获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
第二图像位置确定子单元，用于根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置；
检测目标更新子单元，用于检测目标若任一第二图像位置与每个第一图像位置间的交并比皆小于预设交并比阈值，则确定所述任一第二图像位置对应的检测目标为新出现的检测目标，并将所述任一第二图像位置确定为所述新出现的检测目标在所述第二图像中的第一参考位置。
结合第二方面，在一种可能的实施方式中，上述装置还包括预警模块，上述预警模块包括：
距离检测单元，用于根据每个检测目标在所述第二时刻的输出位置确定出每个检测目标与所述车辆之间的距离；
告警触发单元，用于当任一检测目标与所述车辆之间的距离小于或者等于预设告警距离阈值时，则触发防撞预警信息。
结合第二方面，在一种可能的实施方式中，所述第二相对位置确定模块具体用于：
若所述第二图像中的任一检测目标为在所述第二图像中第一次出现的检测目标，则将所述任一检测目标在所述第二车辆坐标系下的第二相对位置确定为空。
结合第二方面，在一种可能的实施方式中，车辆坐标系为以所述车辆的后轴中心为原点，X轴平行于地面指向所述的车辆前方，Y轴指向驾驶员的右侧，Z轴通过所述车辆的后轴中心指向上方的坐标系。
第三方面，本申请实施例提供了一种终端设备，该终端设备包括处理器和存储器，该处理器和存储器相互连接。该存储器用于存储支持该终端设备执行上述第一方面和/或第一方面任一种可能的实现方式提供的方法的计算机程序，该计算机程序包括程序指令，该处理器被配置用于调用上述程序指令，执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令当被处理器执行时使该处理器执行上述第一方面和/或第一方面任一种可能的实施方式所提供的方法。
在本申请实施例中，通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像至少包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。采用本申请实施例，可提高对检测目标的定位精度，适用性高。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的目标检测方法的一流程示意图；
图1a是本申请实施例提供的车载摄像头的安装位置示意图；
图1b是本申请实施例提供的像素坐标系和图像坐标系的示意图；
图1c是本申请实施例的提供的第一参考位置的应用场景示意图；
图1d是本申请实施例提供的交并比的示意图；
图1e是本申请实施例提供的车辆坐标系的示意图；
图2是本申请实施例提供的目标检测方法的另一流程示意图；
图3是本申请实施例提供的目标检测装置的一结构示意图；
图4是本申请实施例提供的目标检测装置的另一结构示意图；
图5是本申请实施例提供的终端设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的目标检测方法，可广泛适用于能够进行图像处理的终端设备。其中，上述终端设备包括但不限于服务器、智能手机、平板电脑、笔记本电脑和台式计算机等，在此不做限制。为方便描述，下面将以终端设备为例进行说明。本申请实施例中的方法，通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像至少包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。采用本申请实施例，可提高对检测目标的定位精度，适用性高。
下面将结合图1至图5分别对本申请实施例提供的方法及相关装置分别进行详细说明。本申请实施例提供的方法中可包括用于获取视频图像中的第一图像和第二图像、获取第二图像中包括的每个检测目标在第二图像中的第一参考位置、根据第一参考位置确定第一相对位置、获取第一时刻与第二时刻间的第一车辆转角、获取第一图像包括的各检测目标在第一时刻的输出位置、基于第一车辆转角和第一时刻的输出位置确定检测目标的第二相对位置、根据第一相对位置和第二相对位置确定检测目标的输出位置等数据处理阶段。其中，上述各个数据处理阶段的实现方式可参见如下图1至图2所示的实现方式。
参见图1，图1为本申请实施例提供的目标检测方法的一流程示意图。本申请实施例提供的方法可以包括如下步骤S101至S104：
S101、获取车辆的车载摄像头拍摄的视频图像。
在一些可行的实施方式中，通过在车辆四周安装鱼眼相机或车载摄像头，可通过鱼眼相机或车载摄像头实时拍摄车辆四周的环境情况。如图1a所示，图1a是本申请实施例提供的车载摄像头的安装位置示意图。如图1a所示，可在车辆的前、后、左、右分别安装一个鱼眼相机或车载摄像头，以便于能够拍摄到车辆四周各个视角上的图像。进而，对从每个摄像头的视角所拍摄到的图像分别进行处理分析。为方便描述，以下本申请实施例皆以处理一个车载摄像头拍摄到的视频图像为例进行说明。具体地，通过获取拍摄到的视频图像，可对视频图像进行拆帧处理，以得到组成视频图像的多帧子图像。例如，可将视频图像以帧为单位进行截图，或者，将视频图像以秒为单位进行截图，即每秒对视频图像进行一次截图，以得到组成上述视频图像的多帧子图像。可以理解的是，组成上述视频图像的多帧子图像中至少可包括第一图像和第二图像，其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像。这里，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。
S102、获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。
在一些可行的实施方式中，通过获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，可将每个检测目标对应的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。应当理解的是，可通过预置的图像识别算法对第二图像的内容进行识别以得到第二图像中包括的至少一个检测目标对应的图像位置。这里，第一参考位置为检测目标在第二图像中的图像位置。例如，第一参考位置可以是检测目标在第二图像的像素坐标系下的图像位置。或者，第一参考位置也可以是检测目标在第二图像的图像坐标系下的图像位置。通常来说，像素坐标系u-v是以图像左上角为原点，建立的以像素为单位的直角坐标系。其中，像素坐标系的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。而图像坐标系x-y是以相机光轴与呈像平面的交点为原点，且x轴与像素坐标系中的u轴平行，y轴与像素坐标系中的v轴平行的坐标系。例如，请参加图1b，图1b是本申请实施例提供的像素坐标系和图像坐标系的示意图。如图1b所示，以图像左上角为原点O建立以像素为单位的像素坐标系u-v。其中，像素坐标系u-v的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。由于坐标位置(u，v)只代表像素的列数与行数，而像素在图像中的位置并没有用物理单位表示出来，所以，我们还要建立以物理单位(例如毫米)表示的图像坐标系x-y。其中，将相机光轴与图像平面的交点(一般位于图像平面的中心处，也称为图像的主点)定义为该图像坐标系的原点O’，且x轴与u轴平行，y轴与v轴平行，假设(u0，v0)代表O’在u-v坐标系下的坐标，dx与dy分别表示每个像素在横轴x和纵轴y上的物理尺寸，则图像中的每个像素在像素坐标系u-v中的坐标和在图像坐标系x-y中的坐标之间都存在如下的关系：
为便于理解，以下本申请实施例皆以第一参考位置为检测目标在像素坐标系下的图像位置为例进行说明。
应当理解的是，每个检测目标在图像中的图像位置可包括该检测目标的目标检测框的中心点的横纵坐标，以及上述目标检测框的宽度和高度。或者，每个检测目标在图像中的图像位置也可以包括该检测目标的目标检测框的左上角的横纵坐标，以及目标检测框的宽度和高度。例如，请参见图1c，图1c是本申请实施例的提供的第一参考位置的应用场景示意图。如图1c所示，假设第二图像中包括的检测目标为行人，其中，该检测目标在第二图像中的第一参考位置可表示为该检测目标的目标检测框的左上角的横纵坐标(u1,v1)，以及目标检测框的宽度w和高度h。
其中，上述预置的图像识别算法可包括模板匹配算法、特征匹配算法、区域候选网络(Regions with CNN features，R-CNN)算法、快速区域候选网络(Fast Regions withCNN features，Fast R-CNN)算法、基于深度神经网络的对象识别和定位(You Only LookOnce，YOLO)算法、单次多框检测器(Single Shot MultiBoxDetector，SSD)算法等，在此不做限制。其中，YOLO算法可包括YOLOv1版本算法、YOLOv2版本算法以及YOLOv3版本算法等。为方便理解，以下本申请实施中所提及的深度卷积神经网络模型皆以YOLO算法对应的深度卷积神经网络模型为例进行说明。
在一些可行的实施方式中，可基于深度卷积神经网络模型，确定出第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一图像位置，以作为每个检测目标在第二图像中的第一参考位置。其中，深度卷积神经网络模型为根据多张样本图像，以及每张样本图像中包括的预先标记的检测目标的图像位置和图像类别训练得到。换句话说，通过将第二图像输入上述训练好的深度卷积神经网络模型，可基于深度卷积神经网络模型输出上述第二图像中包括的检测目标的图像位置以及图像类别，进而可将输出的每个检测目标的图像位置确定为第一参考位置。
可选的，在一些可行的实施方式中，由于第一图像为第二图像的前一帧图像，因此还可以基于光流跟踪算法确定第二图像中包括的各检测目标在第二图像中的第一图像位置，以作为每个检测目标在所述第二图像中的第一参考位置。具体地，首先可通过将第一图像输入深度卷积神经网络模型，以得到深度卷积神经网络模型输出的第一图像中包括的各检测目标对应的图像位置以及图像类别。然后，获取第一图像中各检测目标的第一图像特征点，并对第一图像中的每个检测目标的第一图像特征点进行光流跟踪，以在第二图像中得到每个检测目标的第一图像特征点所对应的第二图像特征点。进而，根据每个检测目标在第二图像中的第二图像特征点，可确定出每个检测目标在第二图像中的第二图像位置，并将第二图像位置作为每个检测目标在第二图像中的第一参考位置。应当理解的是，第二图像中检测目标的图像特征点通常可以是检测目标图像中的轮廓点、角点、边缘点、暗区的亮点及亮区的暗点等，在此不做限制。
可选的，在一些可行的实施方式中，为了提高对检测目标的召回率，还可以先基于深度卷积神经网络模型，确定出第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一图像位置。然后，再将第一图像输入深度卷积神经网络模型，以得到深度卷积神经网络模型输出的第一图像中包括的各检测目标对应的图像位置以及图像类别。其中，通过获取第一图像中各检测目标的第一图像特征点，并对第一图像中每个检测目标的第一图像特征点进行光流跟踪，可在第二图像中得到每个检测目标的第一图像特征点所对应的第二图像特征点。进而，根据每个检测目标在第二图像中的第二图像特征点，可确定出每个检测目标在第二图像中的第二图像位置。其中，若任一第二图像位置与每个第一图像位置间的交并比(Intersection over Union，IOU)皆小于预设交并比阈值，则可将上述任一第二图像位置对应的检测目标确定为新出现的检测目标。进而将上述任一第二图像位置确定为新出现的检测目标在第二图像中的第一参考位置。也就是说，当某个第二图像位置与所有第一图像位置间的交并比皆小于预设交并比阈值时，即可确定该第二图像位置上的检测目标为第一次出现的检测目标，因此可将该第二图像位置确定为新出现的检测目标在第二图像中的第一参考位置。反之，当存在某个第二图像位置与某个第一图像位置间的交并比大于或者等于预设交并比阈值时，即可确定上述某个第二图像位置对应的检测目标与上述某个第一图像位置对应的检测目标为同一检测目标，因此可将第一图像位置或者第二图像位置中的任一个图像位置确定为该检测目标对应的第一参考位置。为便于理解，请参见图1d，图1d是本申请实施例提供的交并比的示意图。如图1d所示，假设将第二图像输入深度卷积神经网络模型后，所输出的第一图像位置为图像A所在的位置，基于光流跟踪算法确定出的第二图像位置为图像B所在的位置。因此，第一图像位置和第二图像位置间的交并比可表示为两个矩形框面积的交集和并集的比值。即：通常来说，预设交并比阈值可设置为0.3，或者也可以是其他值，具体根据实际应用场景确定，在此不做限制。
通常来说，车辆坐标系X-Y-Z为以车辆的后轴中心为原点，X轴平行于地面指向车辆的前方(或后方)，Y轴指向驾驶员的右侧(或左侧)，Z轴通过车辆的后轴中心指向上方的坐标系。例如，请参见图1e，图1e是本申请实施例提供的车辆坐标系的示意图。如图1e所示，车辆坐标系X-Y-Z为以车辆的后轴中心为原点O，X轴平行于地面指向车辆的前方，Y轴指向驾驶员的右侧，Z轴通过车辆的后轴中心指向上方的坐标系。不难理解的是，通过获取相机的内参和外参，可以使得像素坐标系、图像坐标系以及车辆坐标系下的坐标位置之间可相互转换，因此，本申请实施例可基于坐标转换将每个检测目标在第二图像中的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。
S103、获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。
在一些可行的实施方式中，通过获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，可根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置。这里，第一车辆坐标系为第一时刻根据车辆的位置所确定出的坐标系。具体地，通过获取第一图像中各检测目标在第一车辆坐标系下的坐标位置(即第一时刻的输出位置)，以及第一时刻与第二时刻之间上述车辆的车辆转角，即第一车辆转角，可根据航位推算(deadreckoning，DR)算法，确定出各检测目标在第二车辆坐标系下的坐标位置，即第二相对位置。应当理解的是，若第二图像中的任一检测目标为在第二图像中第一次出现的检测目标，则可将任一检测目标在第二车辆坐标系下的第二相对位置确定为空，即没有第二相对位置。也就是说，当第一图像中不包括该检测目标，但第二图像中包括该检测目标时，在进行卡尔曼滤波时，第二图像位置的输入为0。
S104、对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。
在一些可行的实施方式中，为提高对检测目标的定位精度，当基于上述步骤S102确定出每个检测目标在第二时刻对应的第一相对位置，以及基于上述步骤S103确定出各检测目标在第二时刻对应的第二相对位置后，可将每个检测目标对应的第一相对位置作为观测值，将第二相对位置作为推理值，以根据每个检测目标在第二时刻对应的第一相对位置和第二相对位置进行卡尔曼滤波，进而得到第二时刻时，每个检测目标最终的输出位置。
应当理解的是，若上述视频图像还包括第三图像，其中，第三图像为第三时刻拍摄的图像，第三时刻与第二时刻之间间隔预设时间周期，且第二时刻早于第三时刻。那么，假设第三图像中包括与第二图像中相同的检测目标，则通过获取第二时刻与第三时刻间的第二车辆转角，以及上述第二时刻时确定出的检测目标对应的输出位置，再结合DR算法，可确定出各检测目标在第三车辆坐标系下的坐标位置，以作为推理值。其中，第三车辆坐标系为第三时刻根据车辆的位置确定的坐标系。进一步地，通过将第三图像输入上述训练好的深度卷积神经网络模型，可基于深度卷积神经网络模型输出上述第三图像中包括的检测目标的图像位置以及图像类别，进而可将输出的每个检测目标的图像位置转换为第三车辆坐标系下每个检测目标对应的相对位置，以作为观测值。通过将观测值和推理值进行卡尔曼滤波，可得到该检测目标在第三时刻的输出位置。以此类推，可确定出上述视频图像中每帧图像中出现的检测目标。
在本申请实施例中，通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像至少包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。采用本申请实施例，可提高对检测目标的定位精度，适用性高。
参见图2，图2是本申请实施例提供的目标检测方法的另一流程示意图。本申请实施例提供的方法可通过如下步骤S201至S205提供的实现方式进行说明：
S201、获取车辆的车载摄像头拍摄的视频图像。
S202、获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。
S203、获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。
S204、对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。
其中，所述步骤S201至步骤S204的具体实现方式可以参见图1对应的实施例中对步骤S101至步骤S104的描述，这里不再进行赘述。
205、根据每个检测目标在第二时刻的输出位置确定出每个检测目标与车辆之间的距离，当任一检测目标与车辆之间的距离小于或者等于预设告警距离阈值时，则触发防撞预警信息。
在一些可行的实施方式中，当得到每个检测目标在第二时刻的输出位置后，即可根据每个检测目标在第二时刻的输出位置确定出每个检测目标与车辆之间的距离。其中，当任一检测目标与车辆之间的距离小于或者等于预设告警距离阈值时，则可触发防撞预警信息。例如，假设某个检测目标在第二时刻的输出位置为(6，8，0)，因此可确定该检测目标与车辆之间的距离假设预设告警距离阈值d0＝2，由于d＝10>d0＝2，因此可通过向驾驶者的终端发送告警短信或告警电话，或者车辆可自动发出鸣笛声，或者可通过点亮车辆上的警示灯等预警方式以提醒驾驶者与外界障碍物(即检测目标)距离过近。
在本申请实施例中，通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像至少包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。进一步地，根据每个检测目标在第二时刻的输出位置可确定出每个检测目标与车辆之间的距离。其中，当任一检测目标与车辆之间的距离小于或者等于预设告警距离阈值时，可触发防撞预警信息。采用本申请实施例，可提高对检测目标的定位精度，以及提高驾驶安全性，适用性高。
参见图3，图3是本申请实施例提供的目标检测装置的一结构示意图。本申请实施例提供的目标检测装置包括：
图像获取模块31，用于获取车辆的车载摄像头拍摄的视频图像，所述视频图像至少包括第一图像和第二图像，其中所述第一图像为第一时刻拍摄的图像，所述第二图像为第二时刻拍摄的图像，所述第一时刻与所述第二时刻之间间隔预设时间周期，且所述第一时刻早于所述第二时刻；
第一相对位置确定模块32，用于获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置，其中，所述第二车辆坐标系为第二时刻根据所述车辆的位置确定的坐标系；
第二相对位置确定模块33，用于获取所述第一时刻与所述第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在所述第一时刻的输出位置，根据所述第一车辆转角和每个检测目标在所述第一时刻的输出位置，确定出每个检测目标在所述第二车辆坐标系下对应的第二相对位置，其中，每个检测目标在所述第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，所述第一车辆坐标系为第一时刻根据所述车辆的位置确定的坐标系；
输出位置确定模块34，用于对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在所述第二时刻的输出位置，其中，每个检测目标在所述第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。
请一并参加图4，图4是本申请实施例提供的目标检测装置的另一结构示意图。其中：
在一些可行的实施方式中，上述第一相对位置确定模块32包括第一参考位置确定单元321和相对位置转换单元322，其中上述第一参考位置确定单元321具体用于：
基于深度卷积神经网络模型，确定出所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一图像位置，以作为每个检测目标在所述第二图像中的第一参考位置，其中，所述深度卷积神经网络模型根据多张样本图像，以及每张样本图像中包括的预先标记的检测目标的图像位置训练得到。
在一些可行的实施方式中，上述第一相对位置确定模块还包括第二参考位置确定单元323，上述第二参考位置确定单元323包括：
第一图像特征点确定子单元3231，用于获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
第一图像位置确定子单元3232，用于根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置，以作为每个检测目标在所述第二图像中的第一参考位置。
在一些可行的实施方式中，上述第一相对位置确定模块还包括第三参考位置确定单元324，上述第三参考位置确定单元324包括：
第二图像特征点确定子单元3241，用于获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
第二图像位置确定子单元3242，用于根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置；
检测目标更新子单元3243，用于检测目标若任一第二图像位置与每个第一图像位置间的交并比皆小于预设交并比阈值，则确定所述任一第二图像位置对应的检测目标为新出现的检测目标，并将所述任一第二图像位置确定为所述新出现的检测目标在所述第二图像中的第一参考位置。
在一些可行的实施方式中，上述装置还包括预警模块35，上述预警模块35包括：
距离检测单元351，用于根据每个检测目标在所述第二时刻的输出位置确定出每个检测目标与所述车辆之间的距离；
告警触发单元352，用于当任一检测目标与所述车辆之间的距离小于或者等于预设告警距离阈值时，则触发防撞预警信息。
在一些可行的实施方式中，所述第二相对位置确定模块33具体用于：
若所述第二图像中的任一检测目标为在所述第二图像中第一次出现的检测目标，则将所述任一检测目标在所述第二车辆坐标系下的第二相对位置确定为空。
在一些可行的实施方式中，车辆坐标系为以所述车辆的后轴中心为原点，X轴平行于地面指向所述的车辆前方，Y轴指向驾驶员的右侧的坐标系。
具体实现中，上述目标检测装置可通过其内置的各个功能模块执行如上述图1至图2中各个步骤所提供的实现方式。例如，上述图像获取模块31可用于执行上述各个步骤中获取视频图像，以及视频图像中包括的第一图像和第二图像等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述第一相对位置确定模块32可用于执行上述各个步骤中获取第二图像包括的每个检测目标在第二图像中的第一参考位置、将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置等相关步骤所描述的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述第二相对位置确定模块33可用于执行上述各个步骤中获取第一时刻与第二时刻间的第一车辆转角，获取第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和输出位置确定每个检测目标在第二车辆坐标系下对应的第二相对位置等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述输出位置确定模块34可用于执行上述各个步骤中对第一相对位置和第二相对位置进行卡尔曼滤波得到第二时刻的输出位置等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。上述预警模块35可用于执行上述各个步骤中根据第二时刻的输出位置确定每个检测目标与车辆之间的距离、基于距离进行防撞预警等实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
在本申请实施例中，目标检测装置通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像中包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。进一步地，根据每个检测目标在第二时刻的输出位置可确定出每个检测目标与车辆之间的距离，其中，当任一检测目标与车辆之间的距离小于或者等于预设告警距离阈值时，可触发防撞预警信息。采用本申请实施例，可提高对检测目标的定位精度，以及提高驾驶安全性，适用性高。
参见图5，图5是本申请实施例提供的终端设备的结构示意图。如图5所示，本实施例中的终端设备可以包括：一个或多个处理器401和存储器402。上述处理器401和存储器402通过总线403连接。存储器402用于存储计算机程序，该计算机程序包括程序指令，处理器401用于执行存储器402存储的程序指令。
应当理解，在一些可行的实施方式中，上述处理器401可以是中央处理单元(central processing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。该存储器402可以包括只读存储器和随机存取存储器，并向处理器401提供指令和数据。存储器402的一部分还可以包括非易失性随机存取存储器。例如，存储器402还可以存储设备类型的信息。
具体实现中，上述终端设备可通过其内置的各个功能模块执行如上述图1至图2中各个步骤所提供的实现方式，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
在本申请实施例中，终端设备通过获取车辆的车载摄像头拍摄的视频图像，可得到视频图像至少包括的第一图像和第二图像。其中第一图像为第一时刻拍摄的图像，第二图像为第二时刻拍摄的图像，第一时刻与第二时刻之间间隔预设时间周期，且第一时刻早于第二时刻。获取第二图像包括的至少一个检测目标中，每个检测目标在第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置。其中，第二车辆坐标系为第二时刻根据车辆的位置确定的坐标系。获取第一时刻与第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在第一时刻的输出位置，根据第一车辆转角和每个检测目标在第一时刻的输出位置，确定出每个检测目标在第二车辆坐标系下对应的第二相对位置。其中，每个检测目标在第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，第一车辆坐标系为第一时刻根据车辆的位置确定的坐标系。对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在第二时刻的输出位置。其中，每个检测目标在第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。进一步地，根据每个检测目标在第二时刻的输出位置可确定出每个检测目标与车辆之间的距离，其中，当任一检测目标与车辆之间的距离小于或者等于预设告警距离阈值时，可触发防撞预警信息。采用本申请实施例，可提高对检测目标的定位精度，以及提高驾驶安全性，适用性高。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序包括程序指令，该程序指令被处理器执行时实现图1至图2中各个步骤所提供的目标检测方法，具体可参见上述各个步骤所提供的实现方式，在此不再赘述。
上述计算机可读存储介质可以是前述任一实施例提供的目标检测装置或者上述终端设备的内部存储单元，例如电子设备的硬盘或内存。该计算机可读存储介质也可以是该电子设备的外部存储设备，例如该电子设备上配备的插接式硬盘，智能存储卡(smartmedia card,SMC)，安全数字(secure digital,SD)卡，闪存卡(flash card)等。进一步地，该计算机可读存储介质还可以既包括该电子设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该电子设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请的权利要求书和说明书及附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
Claims (10)
1.一种目标检测方法，其特征在于，所述方法包括：
获取车辆的车载摄像头拍摄的视频图像，所述视频图像至少包括第一图像和第二图像，其中所述第一图像为第一时刻拍摄的图像，所述第二图像为第二时刻拍摄的图像，所述第一时刻与所述第二时刻之间间隔预设时间周期，且所述第一时刻早于所述第二时刻；
获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置，其中，所述第二车辆坐标系为第二时刻根据所述车辆的位置确定的坐标系；
获取所述第一时刻与所述第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在所述第一时刻的输出位置，根据所述第一车辆转角和每个检测目标在所述第一时刻的输出位置，确定出每个检测目标在所述第二车辆坐标系下对应的第二相对位置，其中，每个检测目标在所述第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，所述第一车辆坐标系为第一时刻根据所述车辆的位置确定的坐标系；
对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在所述第二时刻的输出位置，其中，每个检测目标在所述第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。
2.根据权利要求1所述的方法，其特征在于，所述获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，包括：
基于深度卷积神经网络模型，确定出所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一图像位置，以作为每个检测目标在所述第二图像中的第一参考位置，其中，所述深度卷积神经网络模型根据多张样本图像，以及每张样本图像中包括的预先标记的检测目标的图像位置训练得到。
3.根据权利要求1所述的方法，其特征在于，所述获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，包括：
获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置，以作为每个检测目标在所述第二图像中的第一参考位置。
4.根据权利要求2所述的方法，其特征在于，所述获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，包括：
获取所述第一图像中各检测目标的第一图像特征点，对每个检测目标的第一图像特征点进行光流跟踪，以在所述第二图像中得到每个检测目标的第一图像特征点对应的第二图像特征点；
根据每个检测目标的第一图像特征点对应的第二图像特征点确定出每个检测目标在所述第二图像中的第二图像位置；
若任一第二图像位置与每个第一图像位置间的交并比皆小于预设交并比阈值，则确定所述任一第二图像位置对应的检测目标为新出现的检测目标，并将所述任一第二图像位置确定为所述新出现的检测目标在所述第二图像中的第一参考位置。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述得到每个检测目标在所述第二时刻的输出位置之后，所述方法还包括：
根据每个检测目标在所述第二时刻的输出位置确定出每个检测目标与所述车辆之间的距离；
当任一检测目标与所述车辆之间的距离小于或者等于预设告警距离阈值时，则触发防撞预警信息。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
若所述第二图像中的任一检测目标为在所述第二图像中第一次出现的检测目标，则将所述任一检测目标在所述第二车辆坐标系下的第二相对位置确定为空。
7.根据权利要求1-4任一项所述的方法，其特征在于，车辆坐标系为以所述车辆的后轴中心为原点，X轴平行于地面指向所述车辆的前方，Y轴指向驾驶员的右侧，Z轴通过所述车辆的后轴中心指向上方的坐标系。
8.一种目标检测装置，其特征在于，所述装置包括：
图像获取模块，用于获取车辆的车载摄像头拍摄的视频图像，所述视频图像至少包括第一图像和第二图像，其中所述第一图像为第一时刻拍摄的图像，所述第二图像为第二时刻拍摄的图像，所述第一时刻与所述第二时刻之间间隔预设时间周期，且所述第一时刻早于所述第二时刻；
第一相对位置确定模块，用于获取所述第二图像包括的至少一个检测目标中，每个检测目标在所述第二图像中的第一参考位置，并将每个检测目标的第一参考位置转换为第二车辆坐标系下每个检测目标对应的第一相对位置，其中，所述第二车辆坐标系为第二时刻根据所述车辆的位置确定的坐标系；
第二相对位置确定模块，用于获取所述第一时刻与所述第二时刻间的第一车辆转角，以及第一图像中包括的各检测目标在所述第一时刻的输出位置，根据所述第一车辆转角和每个检测目标在所述第一时刻的输出位置，确定出每个检测目标在所述第二车辆坐标系下对应的第二相对位置，其中，每个检测目标在所述第一时刻的输出位置为每个检测目标在第一车辆坐标系下的位置，所述第一车辆坐标系为第一时刻根据所述车辆的位置确定的坐标系；
输出位置确定模块，用于对每个检测目标对应的第一相对位置和第二相对位置进行卡尔曼滤波，以得到每个检测目标在所述第二时刻的输出位置，其中，每个检测目标在所述第二时刻的输出位置为每个检测目标在第二车辆坐标系下的位置。
9.一种终端设备，其特征在于，包括处理器和存储器，所述处理器和存储器相互连接；
所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450865.3A CN111753663B (zh) | 2020-05-25 | 2020-05-25 | 目标检测方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010450865.3A CN111753663B (zh) | 2020-05-25 | 2020-05-25 | 目标检测方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111753663A CN111753663A (zh) | 2020-10-09 |
| CN111753663B true CN111753663B (zh) | 2023-12-12 |
Family
ID=72674141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010450865.3A Active CN111753663B (zh) | 2020-05-25 | 2020-05-25 | 目标检测方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111753663B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112991401B (zh) * | 2021-01-20 | 2023-07-14 | 深兰科技（上海）有限公司 | 车辆运行轨迹追踪方法、装置、电子设备和存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014204548A1 (en) * | 2013-06-19 | 2014-12-24 | The Boeing Company | Systems and methods for tracking location of movable target object |
| CN109711274A (zh) * | 2018-12-05 | 2019-05-03 | 斑马网络技术有限公司 | 车辆检测方法、装置、设备和存储介质 |
| EP3566903A1 (en) * | 2018-05-09 | 2019-11-13 | Neusoft Corporation | Method and apparatus for vehicle position detection |
-
2020
- 2020-05-25 CN CN202010450865.3A patent/CN111753663B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014204548A1 (en) * | 2013-06-19 | 2014-12-24 | The Boeing Company | Systems and methods for tracking location of movable target object |
| EP3566903A1 (en) * | 2018-05-09 | 2019-11-13 | Neusoft Corporation | Method and apparatus for vehicle position detection |
| CN109711274A (zh) * | 2018-12-05 | 2019-05-03 | 斑马网络技术有限公司 | 车辆检测方法、装置、设备和存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 无人机视频运动目标实时检测及跟踪;董晶;傅丹;杨夏;;应用光学(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111753663A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112329552B (zh) | 基于汽车的障碍物检测方法及装置 | |
| CN106952303B (zh) | 车距检测方法、装置和系统 | |
| CN107392103B (zh) | 路面车道线的检测方法及装置、电子设备 | |
| DE102019112002A1 (de) | Systeme und verfahren zur automatischen detektion von anhängereigenschaften | |
| US11709282B2 (en) | Asset tracking systems | |
| US20190019042A1 (en) | Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium | |
| CN112163543A (zh) | 一种车辆违法占道的检测方法及系统 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN111178119A (zh) | 路口状态检测方法、装置、电子设备及车辆 | |
| CN111010545A (zh) | 车辆驾驶决策方法、系统、终端及存储介质 | |
| CN110659548A (zh) | 车辆及其目标检测方法、装置 | |
| CN115761668A (zh) | 摄像头的污渍识别方法、装置、车辆及存储介质 | |
| CN111753663B (zh) | 目标检测方法及装置 | |
| CN114782928A (zh) | 一种车位检测方法、装置、电子设备及存储介质 | |
| CN114240816A (zh) | 道路环境感知方法、装置、存储介质、电子设备及车辆 | |
| KR102625000B1 (ko) | 딥러닝 기반의 자동차 번호판 인식 방법 및 그 시스템 | |
| CN113569812A (zh) | 未知障碍物的识别方法、装置和电子设备 | |
| CN113994391B (zh) | 车辆通行提醒方法、装置及车载终端 | |
| US11676397B2 (en) | System and method for detecting an object collision | |
| WO2021084818A1 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
| US20220058416A1 (en) | Printed character recognition | |
| CN112183413B (zh) | 一种车位检测方法、装置、存储介质及车辆 | |
| CN117392634B (zh) | 车道线的获取方法、装置、存储介质及电子装置 | |
| US20230410661A1 (en) | Method for warning collision of vehicle, system, vehicle, and computer readable storage medium | |
| Saponara | Real-time color/shape-based traffic signs acquisition and recognition system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |