CN115187940A - 一种用于车辆的图像检测方法和装置 - Google Patents
一种用于车辆的图像检测方法和装置 Download PDFInfo
- Publication number
- CN115187940A CN115187940A CN202210649355.8A CN202210649355A CN115187940A CN 115187940 A CN115187940 A CN 115187940A CN 202210649355 A CN202210649355 A CN 202210649355A CN 115187940 A CN115187940 A CN 115187940A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- sliding
- regions
- detection window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 437
- 238000000605 extraction Methods 0.000 claims description 95
- 238000000034 method Methods 0.000 claims description 48
- 238000012545 processing Methods 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000000875 corresponding effect Effects 0.000 description 68
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种用于车辆的图像检测方法和装置,包括获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域;对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息;基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息,检测窗口尺寸信息指示滑动检测窗口的尺寸调整范围;基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。本申请自适应的动态调整检滑动检测窗口尺寸范围,提高车辆图像检测效率。
Description
技术领域
本申请涉及图像处理技术领域,尤其涉及一种用于车辆的图像检测方法和装置。
背景技术
伴随着城市化的进展和汽车的普及,交通事故量剧增,造成了大量的人员伤害和经济损失。如何保障车辆安全且快速的行驶,避免追尾等交通事故发生,成为汽车领域的重要课题。基于此,汽车主动安全的概念应运而生,车辆检测技术是汽车主动安全技术的热点研究之一。车辆检测技术是指利用图像传感手段对图像中的车辆搜寻和判定,获得图像中车辆的多种属性(如位置、速度、形状和外观)的过程。它是汽车主动安全领域,尤其是实现追尾预警(Forward Collision Warning,FCW)以及自动紧急刹车(Automatic EmergencyBraking,AEB)功能的关键技术之一。
目前,深度学习理论的不断丰富使得视觉车辆检测技术得到飞速的发展,但受限于其模型复杂及对硬件设备的要求较高,对一般车载嵌入式设备而言,基于Adaboost的车辆检测方法更为成熟。但是,由于算法耗时相对较长,使得车辆检测效率不足,导致无法满足产业化需求。因此,如何提高车辆检测的准确性、鲁棒性和实时性,提高车辆检测效率一直是亟待解决的问题。
发明内容:
针对现有技术的上述问题,本申请提供一种用于车辆的图像检测方法和装置,提高车辆检测的准确性、鲁棒性和实时性,提高车辆检测效率。
一方面,本申请提供了一种用于车辆的图像检测方法,所述方法包括:
获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;
基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域;
对所述感兴趣区域进行横向区域划分,得到所述待检测图像对应的多个感兴趣子区域和所述多个感兴趣子区域的区域尺寸信息;
基于所述多个感兴趣子区域的区域尺寸信息和所述相机标定参数确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息,所述检测窗口尺寸信息指示所述滑动检测窗口的尺寸调整范围;
基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果。
进一步地,基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果包括:
基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域,所述图像子区域的尺寸与所述滑动检测窗口的尺寸相同;
对所述多个图像子区域进行特征提取处理,得到所述多个图像子区域对应的多个目标图像特征;
基于目标对象检测模型对所述多个目标图像特征进行分类识别,得到所述图像检测结果。
进一步地,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
在对所述多个感兴趣子区域进行图像滑动提取的过程中,监测所述滑动检测窗口在所述待检测图像中的位置;
在监测到所述滑动检测窗口从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于所述当前感兴趣子区域对应的检测窗口尺寸信息对所述滑动检测窗口进行尺寸调整;
基于调整后的滑动检测窗口对所述当前感兴趣子区域进行图像滑动提取,得到所述多个图像子区域。
进一步地,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
基于所述检测窗口尺寸信息生成所述多个感兴趣子区域各自对应的滑动检测窗口;
基于各所述滑动检测窗口分别对所述多个感兴趣子区域进行并行图像滑动提取,得到所述多个图像子区域。
进一步地,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行迭代图像滑动提取,得到所述多个图像子区域;
其中,针对每一感兴趣子区域,在所述迭代图像滑动提取的不同迭代次数中,滑动检测窗口的尺寸互异。
进一步地,所述基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行迭代图像滑动提取,得到所述多个图像子区域包括:
针对每一感兴趣子区域,基于所述检测窗口尺寸信息的尺寸下限生成对应的初始滑动检测窗口;
基于所述初始滑动检测窗口对所述感兴趣子区域进行遍历图像滑动提取;
基于预设调整比例对所述初始滑动检测窗口进行尺寸更新,得到更新的初始滑动检测窗口;
基于所述更新的初始滑动检测窗口对所述感兴趣子区域进行更新遍历图像滑动提取;
交替执行上述尺寸更新和更新遍历图像滑动提取的步骤,至达到迭代结束条件,得到所述多个图像子区域。
进一步地,在对所述多个感兴趣子区域进行图像滑动提取的过程中,针对所述多个感兴趣子区域采用的窗口滑动步长不同,所述窗口滑动步长是基于所述感兴趣子区域的像素高度确定的。
进一步地,所述方法还包括:
对所述待检测图像进行检测线识别,得到目标检测线,所述目标检测线与所述待检测图像的横向方向相交;
基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域包括:
基于所述目标检测线、所述当前自车车辆速度和所述相机标定参数确定所述感兴趣区域。
进一步地,所述多个感兴趣子区域的区域尺寸信息包括感兴趣子区域的边界像素高度,所述根据所述多个感兴趣子区域的区域尺寸信息和所述拍摄俯仰角确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息包括:
根据预设对应关系确定所述相机标定参数对应的目标高度差,所述高度差指示标准图像与待检测图像间的图像像素高度差,所述预设对应关系表征所述相机标定参数中多个俯仰角与多个图像像素高度差间的对应关系;
根据所述感兴趣子区域的边界像素高度、所述相机标定参数、所述目标高度差和预设尺寸转换系数进行窗口尺寸计算,得到所述检测窗口尺寸信息。
另一方面,本申请提供了一种用于车辆的图像检测装置,所述装置包括:
第一获取模块:用于获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;
感兴趣区域确定模块:用于基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域;
感兴趣子区域获取模块:用于对所述感兴趣区域进行横向区域划分,得到所述待检测图像对应的多个感兴趣子区域和所述多个感兴趣子区域的区域尺寸信息;
检测窗口尺寸信息确定模块:用于基于所述多个感兴趣子区域的区域尺寸信息和所述相机标定参数确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息,所述检测窗口尺寸信息指示所述滑动检测窗口的尺寸调整范围;
滑动检测模块:用于基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果。
另一方面,本申请提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由所述处理器加载并执行以实现如上任意一项所述用于车辆的图像检测方法。
另一方面,本申请提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由处理器加载并执行以实现如上任意一项所述用于车辆的图像检测方法。
另一方面,本申请提供了一种车载终端,所述车载终端中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由处理器加载并执行以实现如上任意一项所述用于车辆的图像检测方法。
本申请提供的一种用于车辆的图像检测方法和装置具有如下技术效果:
本申请通过获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域;对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息;基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息,检测窗口尺寸信息指示滑动检测窗口的尺寸调整范围;基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。本申请通过将待检测图像划分为多个感兴趣子区域,每个感兴趣子区域设置特定的滑动检测窗口尺寸范围,自适应的动态调整检滑动检测窗口尺寸范围,滤除了滑动检测窗口的无效遍历次数,实现了车辆的实时检测和定位,极大地减少了搜索次数,提高了车辆图像检测的准确性、鲁棒性和实时性,同时提高车辆图像检测效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图2是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图3是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图4是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图5是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图6是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图;
图7是本申请实施例提供的一种滑动检测窗口的检测示意图;
图8是本申请实施例提供的一种滑动检测窗口的检测示意图;
图9是本申请实施例提供的一种Haar特征示意图;
图10是本申请实施例提供的一种滑动检测窗口的检测示意图;
图11是本申请实施例提供的一种用于车辆的图像检测装置的结构示意框图;
图12是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
本申请实施例公开了一种用于车辆的图像检测方法,提高了车辆检测的准确性、鲁棒性和实时性,提高了车辆检测效率。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
以下结合图1介绍本申请公开的用于车辆的图像检测方法,请参阅图1,图1是本申请实施例提供的一种用于车辆的图像检测方法的流程示意图,本申请提供了如实施例或流程图的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置、系统或设备产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图1所示,方法可以包括:
S101:获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数。
需要说明的是,待检测图像可以为在当前车辆自动驾驶的过程中,当前车辆的车载摄像装置获取的车辆前方图像,通过调整当前车辆的车载摄像装置的拍摄角度也可以获取当前车辆其他方向的图像,如当前车辆后方图像等。
在一些实施例中,目标时刻可以是当前时刻,也可以是上一时刻,或者任意时刻,在本申请中不做限定。
在一些实施中,待检测图像为车载摄像装置在目标时刻采集的图像,相应的,相机标定参数为当前车辆的车载摄像装置采集待检测图像时的相机参数,可通过预设参数标定方法获得,需要说明的是,标定技术主要为标定俯仰角、侧倾角、方向角和安装位置等参数,在一些实施例中,只进行俯仰角的标定,其他参数在安装时按照安装要求进行操作,为已知参数。相应的,相机标定参数可以包括但不限于拍摄俯仰角,拍摄俯仰角为当前车辆的车载摄像装置采集待检测图像时的俯仰角。预设参数标定方法可以包括以下步骤:
S201:获取车载摄像装置在安装位置采集的、本车前方预设视野范围的清晰图像。其中,车载摄像装置可以为CCD或CMOS摄像机等具备获取图像功能的设备,可设置于车辆前挡风玻璃上。车载摄像装置采集的车辆前方图像,记为图像A,并在图像A上建立图像像素坐标系。
S202:基于标定靶面进行俯仰角标定。
提供标定靶面,标定靶面距离车载摄像装置安装位置间的距离为L,在车载摄像装置的安装角度为0°(镜头水平)的情况下,俯仰角为0°。需要说明的是,标定靶面可以为带有标记功能的标定板。
标定靶面上标记有至少两条坐标系标定线,车载摄像装置采集包括标定靶面的标定图像;获取至少两条标定线间的标定物理距离和标定图像中的至少两条标定线间的标定像素距离;基于标定像素距离与标定物理距离间的比例关系,确定图像像素坐标系与实际世界坐标系的比例关系k。
进一步地,标定靶面上还设置有俯仰角标定线,俯仰角标定线可以为上述至少两条坐标系标定线中的任意一条,也可以标定靶面上的新增标定线。在俯仰角为0°时,车载摄像装置采集包括标定靶面的标准图像,标准图像中包括俯仰角标定线,获取标准图像中俯仰角标定线在图像像素坐标系中的第一高度为h1;在俯仰角为θ时,车载摄像装置采集包括标定靶面的参考图像,获取参考图像中目标标定线在图像像素坐标系中的第二高度为h2,根据第一高度、第二高度和图像像素坐标系与实际世界坐标系的比例关系确定拍摄俯仰角。
一个实施例中,拍摄俯仰角可以利用如下公式计算得到:
其中,δ表示畸变系数;θ表示车载摄像装置的拍摄俯仰角;k表示图像像素坐标系与实际世界坐标系的比例关系;Δh表示h1与h2的差值的绝对值,h1表示俯仰角为0°时标定靶面的目标标定线在图像像素坐标系中的高度,h2表示俯仰角为θ时标定靶面的目标标定线在图像像素坐标系中的高度,其中,设定车载摄像装置的安装角度为0°(镜头水平)的情况下,俯仰角为0°;L表示标定靶面距离车载摄像装置安装位置间的水平距离。
通过上述S201-S202,可以获得车载摄像装置的不同拍摄俯仰角与Δh间的预设对应关系。
S102:基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域。相机标定参数包括当前车辆的车载摄像装置采集待检测图像时的拍摄俯仰角。需要说明的是,当前自车车辆速度为获取待检测图像目标时刻对应的车辆当前车速;待检测图像的感兴趣区域表示滑动检测窗口对待检测图像实际检测的图像范围。
现有技术中,利用滑动检测窗口对待检测图像进行滑动检测以实现车辆检测,检测窗口的搜索次数过多是造成检测效率低下的一个重要原因。为了解决此技术问题,本申请中通过将本车车速以及安全距离列入考虑范围,将检测范围划分为感兴趣区域及非感兴趣区域,此感兴趣区域即为可能发生碰撞的区域,非感兴趣区域即为非碰撞区域,对有可能发生碰撞的区域进行了特定滑窗运算,非碰撞区域不进行滑窗检测,可以滤除滑动窗口的无效遍历次数,提高车辆检测算法的实时性并保证准确率。
具体的,感兴趣区域为感兴趣区域左、右边界线和感兴趣区域上、下边界线包围的区域,此区域内是当前车辆与前方车辆可能发生碰撞的区域。
S103:对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息。
一些实施例中,所述多个感兴趣子区域的数量与当前自车车辆速度正相关。
在一些实施例中,基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域包括:基于当前自车车辆速度和相机标定参数,在待检测图像中确定出感兴趣区域的边界线,进而基于边界线得到感兴趣区域。边界线可以包括感兴趣区域的上边界线、下边界线、左边界线和右边界线。
一个实施例中,可以基于下述公式确定感兴趣区域的上边界线和下边界线。具体的,以待检测图像左上角为图像像素坐标系的坐标原点,左上角向右为x正方向,左上角向下为y正方向,具体计算公式如下:
Rowdown=H
其中,Rowup为感兴趣区域的上边界线,Rowdown为感兴趣区域的下边界线,θ表示车载摄像装置的拍摄俯仰角;vel表示待检测图像对应的当前自车车辆速度(km/h);V0基于经验值确定,在一些情况下,V0取值为240。H表示待检测图像的图像像素高度;示例性的,待检测图像为640*480像素图像的情况下,上述H取值为480。
将图像的下边界线确定为感兴趣区域的下边界线,并基于上述公式计算得到感兴趣区域的上边界线,能够自适应调整感兴趣区域的边界,以得到当前自车车辆速度和拍摄俯仰角对应的最佳碰撞检测区域,在减小图像检测区域的同时,确保感兴趣区域能够覆盖必要检测区,提高检测效率,并避免区域漏检。
在一些实施例中,对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息可以包括:基于当前自车车辆速度确定感兴趣子区域的子区域数量,基于子区域数量,将感兴趣区域进行划分为依次纵向相接的子区域数量个感兴趣子区域,并得到各感兴趣子区域的区域尺寸信息,区域尺寸信息包括感兴趣子区域的上、下边界像素高度。具体的,各感兴趣子区域的纵向高度可以相同。
一个实施例中,可以基于下述公式确定子区域数量n:
其中,vel表示待检测图像对应的当前自车车辆速度;M为常数,可以基于经验值确定,在一些情况下,M为30。在当前自车车辆速度为60km/h的情况下采集待检测图像,利用如上公式计算得到感兴趣子区域个数n为3。
S104:基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息,不同感兴趣子区域对应的滑动检测窗口的尺寸互异,检测窗口尺寸信息指示滑动检测窗的尺寸调整范围。
在一些实施例中,请参考图2,多个感兴趣子区域的区域尺寸信息包括感兴趣子区域的边界像素高度,基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息包括:
S1041:根据预设对应关系确定相机标定参数对应的目标高度差,预设对应关系表征相机标定参数中多个拍摄俯仰角与多个图像像素高度差间的对应关系,图像像素高度差指示标准图像与待检测图像间的图像像素高度差。
实际应用中,预设对应关系可以是基于上述S201-S202得到的,拍摄俯仰角与图像像素高度差间一一对应,图像像素高度差等于前述的Δh。
S1042:根据感兴趣子区域的边界像素高度、相机标定参数、目标高度差和预设尺寸转换系数进行窗口尺寸计算,得到检测窗口尺寸信息。
预设尺寸转换系数是基于畸变系数、车宽、图像像素坐标系与相应的实际世界坐标系的比例关系得到的。一个实施例中,预设尺寸转换系数可基于如下公式获得:
i=δ×k×W;
其中,i为预设尺寸转换系数;δ为畸变系数;W为预设车宽,取值范围为1.6-1.8。
一个实施例中,感兴趣子区域的检测窗口尺寸信息可以利用如下公式计算得到:
其中,C为滑动检测窗口边长;θ为车载图像采集装置的拍摄俯仰角;k为图像像素坐标系与相应的实际世界坐标系的比例关系;hx为感兴趣区域中感兴趣子区域x的上边界或下边界在图像像素坐标系中的纵坐标值。需要说明的是,基于感兴趣子区域的上下边界的纵坐标值,得到该感兴趣子区域的滑动检测窗口的边长上限值C2和边长下限值C1,进而得到的检测窗口尺寸信息为[C1,C2]。具体地,将感兴趣子区域的下边界的纵坐标值带入的上述公式中即可得到该感兴趣子区域中滑动检测窗口的边长上限值C2,将感兴趣子区域的上边界的纵坐标值带入的上述公式中即可得到该感兴趣子区域中滑动检测窗口的边长下限值C1。
S105:基于检测窗口尺寸信息通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。
在一些实施例中,在对多个感兴趣子区域进行滑动检测过程中,针对多个感兴趣子区域采用不同的窗口滑动步长,窗口滑动步长是基于感兴趣子区域的区域像素高度确定的。具体地,不同的感兴趣子区域内的滑动检测窗口的滑动步长可以不同;感兴趣子区域越靠近待检测图像的底部,其对应的窗口滑动步长越大,反之,窗口滑动步长越小;或者基于感兴趣子区域距离检测图像底部的距离对感兴趣子区域进行区域分组,不同区域分组的窗口滑动步长不同,距离检测图像底部越近的区域分组,窗口滑动步长越大。例如,划分3个感兴趣子区域,靠近待检测图像底部的2个感兴趣子区域的滑动步长可以为2像素,远离待检测图像底部的1个感兴趣子区域的滑动步长可以为1像素。本申请针针对多个感兴趣子区域采用不同的窗口滑动步长,进一步减少了搜索次数,提高车辆检测效率。
本申请通过将待检测图像划分为多个感兴趣子区域,每个感兴趣子区域设置特定的滑动检测窗口尺寸范围,自适应的动态调整检滑动检测窗口尺寸范围,滤除了滑动检测窗口的无效遍历次数,实现了车辆的实时检测和定位,极大地减少了搜索次数,提高车辆图像检测效率,同时提高了车辆图像检测的准确性、鲁棒性和实时性。
在一些实施例中,请参考图3,步骤S105包括:
S301:基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行图像滑动提取,得到多个图像子区域,图像子区域的尺寸与滑动检测窗口的尺寸相同。
S302:对多个图像子区域进行特征提取处理,得到多个图像子区域对应的多个目标图像特征。具体地,请参考图9,目标图像特征可以为Haar特征。其中,Haar特征包括但不限于两矩形特征、三矩形特征、四矩形特征、垂直特征和倾斜特征中的至少一种。
S303:基于目标对象检测模型对多个目标图像特征进行分类识别,得到图像检测结果。
具体的,可以在滑动检测窗口进行图像遍历提取的过程中,对实时提取到的图像子区域进行特征提取处理,得到目标图像特征,并输入至目标对象检测模型,以分别对各图像子区域进行分类识别。其中,目标对象可以为本车周边的阻挡对象,阻挡对象可以包括但不限于车辆、行人和障碍物等。
在一些实施例中,在步骤S105之前,方法还包括:
S401:构建初始对象检测模型。
S402:获取样本集,样本集包括多个样本图像,样本图像为车辆图像或非车辆图像,标记车辆图像为正样本,非车辆图像为负样本,并对样本图像进行尺寸归一化处理,示例性的,尺寸归一化处理后的样本图像尺寸为24x24像素,样本集中的样本图像数量为n。
S403:对样本图像进行特征提取处理,得到样本图像特征。
具体地,对样本集中的任意一个样本Si用Haar特征进行表征,生成Haar特征向量Hi(i=1,2,...,n)。请参考图9,样本图像特征可以包括如图9所示的10类Haar特征中一种或几种的组合。具体的,不同类型、尺度和位置的Haar特征计算数值就构成了某一样本图像的多维Haar特征列向量Hi,(i=1,2,...,n)。
S404:以样本图像特征作为初始对象检测模型的输入,以样本图像的样本标签作为期望输出,对初始对象检测模型进行分类识别的迭代训练,得到目标对象检测模型。样本标签表征样本图像为正样本或负样本。
基于上述部分或全部实施方式,在一些实施例中,在图像滑动提取过程中,需对滑动检测窗口进行尺寸调整,相应的,请参考图4,步骤S301包括:
S3011:在对多个感兴趣子区域进行图像滑动提取的过程中,监测滑动检测窗口在待检测图像中的位置。
S3012:在监测到滑动检测窗口从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于当前感兴趣子区域对应的检测窗口尺寸信息对滑动检测窗口进行尺寸调整;
S3013:基于调整后的滑动检测窗口对当前感兴趣子区域进行图像滑动提取。
在一些实施中,在对多个感兴趣子区域进行图像滑动提取的过程中,监测滑动检测窗口的目标标记在待检测图像中的位置。在监测到滑动检测窗口的目标标记从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于当前感兴趣子区域对应的检测窗口尺寸信息对滑动检测窗口进行尺寸调整;基于调整后的滑动检测窗口对当前感兴趣子区域进行图像滑动提取。在另一些实施例中,可通过监测滑动检测窗口的其他信息,确定滑动检测窗口的位置,进而基于滑动检测窗口的位置对滑动检测窗口进行尺寸调整,目标标记可以例如为滑动检测窗口的顶点、底部框线或中点等能够表征滑动检测窗口位置的标记。
在另一些实施例中,请参考图5,步骤S301包括:
S3014:基于检测窗口尺寸信息生成多个感兴趣子区域各自对应的滑动检测窗口。
S3015:基于各滑动检测窗口分别对多个感兴趣子区域进行并行图像滑动提取,得到多个图像子区域。
具体的,基于多个滑动检测窗口同时对各滑动检测窗口对应的感兴趣子区域进行图像滑动提取;需要说明的是,该实施方式中的并行图像滑动提取与前一实施方式的区别在于,设置多个滑动检测窗口,通过多个滑动检测窗口对待检测图像的不同感兴趣子区域进行并行检测,一个实施例中,滑动检测窗口与感兴趣子区域一一对应设置。如此,多区域并行图像滑动提取,提高图像检测效率。
在另一些实施例中,步骤S301包括:
S3016:基于检测窗口尺寸信息通过滑动检测窗口对多个感兴趣子区域进行迭代图像滑动提取,得到多个图像子区域;其中,针对每一感兴趣子区域,在迭代图像滑动提取的不同迭代次数中,滑动检测窗口的尺寸互异。
进一步地,请参考图6,步骤S3016包括:
S30161:针对每一感兴趣子区域,基于检测窗口尺寸信息的尺寸下限生成对应的初始滑动检测窗口。需要说明的是,不同感兴趣子区域的检测窗口尺寸信息的尺寸下限互异。
具体地,检测窗口尺寸信息可以利用前述滑动检测窗口边长的计算公式得到。
S30162:基于初始滑动检测窗口对感兴趣子区域进行遍历图像滑动提取。
在一个具体的实施例中,请参考图7,S30162可以包括:将第一感兴趣子区域的左下角位置作为初始滑动检测窗口的起始图像滑动提取位置,以第一感兴趣子区域对应的检测窗口尺寸下限作为初始滑动检测窗口的第一边长,滑动检测窗口的图像滑动提取路径为沿待检测图像的由左至右方向,及由下至上方向移动;通过初始滑动检测窗口从起始图像滑动提取位置,以第一预设步长向右滑动,至初始滑动检测窗口接触到感兴趣区域的横向移动边界,横向移动边界为图像的右边界;通过第一初始滑动检测窗口自更新检测位置以预设步长向右滑动,至初始滑动检测窗口接触到感兴趣区域的横向移动边界,其中,更新检测位置与起始检测位置间的图像像素高度差为第二预设步长;重复执行上述由左至右、由下至上的图像滑动提取步骤,至初始滑动检测窗口的下边界移动至第二感兴趣子区域的下边界,将初始滑动检测窗口边长调整为第二感兴趣子区域对应的检测窗口尺寸下限,重复执行上述第一感兴趣子区域的图像滑动提取方法,直至完成所有感兴趣子区域的图像滑动提取,即完成待检测图像的一次遍历图像滑动提取。需要说明的是,第一预设步长和第二预设步长可以相同,第一预设步长和第二预设步长也可以不同。本申请通过设置从待检测图像的底部到待检测图像顶部的检测路径,优先检测距离较近的图像区域,确保检测效率的同时提高自动驾驶的安全性。
S30163:基于预设调整比例对初始滑动检测窗口进行尺寸更新,得到更新的初始滑动检测窗口;在一些实施例中,预设调整比例可以为1.1-1.3倍。
S30164:基于更新的初始滑动检测窗口对感兴趣子区域进行更新遍历图像滑动提取。
S30165:交替执行上述尺寸更新和更新遍历图像滑动提取的步骤,至达到迭代结束条件,得到多个图像子区域。
具体的,在完成一次待检测图像的遍历图像滑动提取后,基于预设调整比例增大初始滑动检测窗口的边长,以实现尺寸更新,进而进行更新遍历图像滑动提取,更新遍历图像滑动提取的方式与S30162中遍历图像滑动提取的方式相类似,在此不再赘述,重复上述尺寸更新和更新遍历图像滑动提取,至达到迭代结束条件。在一些实施例中,迭代结束条件可以为在滑动提取过程中,当前滑动检测窗口的边长大于等于当前检测的感兴趣子区域所对应的尺寸上限。
基于上述部分或全部实施方式,在一些实施例中,方法还包括感兴趣区域的左、右边界线的确定步骤,对待检测图像进行检测线识别,得到目标检测线,目标检测线与待检测图像的横向方向相交。
具体的,可以对图像进行车道线识别,进而基于识别的车道线确定目标检测线。一些实施例中,识别到车道线Line1和车道线Line2,基于车道线Line1和车道线Line2的坐标信息确定车道线Line1和车道线Line2间的车道线横向宽度,基于预设倍数、车道线Line1和车道线Line2确定第一目标检测线和第二目标检测线,第一目标检测线和第二目标检测线间的横向宽度为车道线横向宽度的预设倍数,例如1.3倍。
具体的,基于坐标信息可以确定Line1,Line2的表达式分别为y=k1x+b1和y=k2x+b2,则基于左侧车道线Line1确定第一目标检测线,基于右侧车道线Line2确定第二目标检测线。第一检测线lineleft的检测线方程为y=k3x+b3,第二检测线lineright的检测线方程为y=k4x+b4,k3可以等于k1,k4可以等于k2。
车辆检测主要针对于前方车辆碰撞但考虑到相邻车道车辆会有并入本车道的倾向,则首先获取车道线得到车道宽度区域,接着将车辆检测的横向感兴趣区域设置为1.3倍车道宽度区域作为横向感兴趣区域边界线,提高车辆检测效率。
相应的,上述步骤S102具体包括:基于目标检测线、当前自车车辆速度和拍摄俯仰角确定感兴趣区域。
在一些情况下,目标检测线与待检测图像的下边缘相交,相应的,感兴趣区域的横向边界(左边界线和/或右边界线)为目标检测线。在另一些情况下,目标检测线与待检测图像的左边缘和/或右边缘相交,感兴趣区域的横向边界为目标检测线,以及待检测图像的横向边界线中的目标段。请参考图10,图10中标注了目标段的所在区域,目标段为横向边界线与目标检测线的交点至待检测图像的下边界间的区段。
本申请通过目标检测线、当前自车车辆速度和拍摄俯仰角进一步确定感兴趣区域,感兴趣区域的横向边界为目标检测线,进一步缩小待检测图像的检测范围,减少了滑动检测框搜索次数,提高了车辆检测效率。
以下以实际应用场景介绍上述用于车辆的图像检测方法,请参考图8。
S1:获取待检测图像,以及待检测图像对应的当前自车车辆速度和拍摄俯仰角。
S2:对待检测图像进行检测线识别,得到目标检测线。
S3:基于目标检测线、当前自车车辆速度和拍摄俯仰角确定感兴趣区域。
S4:基于当前自车车辆速度对感兴趣区域进行区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息。
S5:基于多个感兴趣子区域的区域尺寸信息和拍摄俯仰角确定多个感兴趣子区域各自对应的检测窗口尺寸信息。
S6:基于检测窗口尺寸信息通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。
在一种实施方式中,步骤S6包括:
S7:基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行图像滑动提取,得到多个图像子区域,图像子区域的尺寸与滑动检测窗口的尺寸相同。
S8:对多个图像子区域进行特征提取处理,得到多个图像子区域对应的多个目标图像特征。
S9:基于目标对象检测模型对多个目标图像特征进行分类识别,得到图像检测结果。
在一种实施方式中,步骤S7包括:
S10:基于检测窗口尺寸信息通过滑动检测窗口对多个感兴趣子区域进行迭代图像滑动提取;针对每一感兴趣子区域,基于检测窗口尺寸信息的尺寸下限生成对应的初始滑动检测窗口。
S11:通过初始滑动检测窗口对感兴趣子区域进行遍历图像滑动提取。
S12:在对感兴趣子区域进行遍历图像滑动提取的过程中,监测滑动检测窗口的下边界在待检测图像中的位置。
S13:在监测到滑动检测窗口的下边界从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于当前感兴趣子区域对应的检测窗口尺寸信息对滑动检测窗口进行尺寸调整。
S14:基于调整后的滑动检测窗口对当前感兴趣子区域进行图像滑动提取。
其中,遍历图像滑动提取的步骤包括:将第一感兴趣子区域的左下角位置作为初始滑动检测窗口的起始图像滑动提取位置,以第一感兴趣子区域对应的检测窗口尺寸下限作为初始滑动检测窗口的第一边长,滑动检测窗口图像滑动提取路径为沿待检测图像的由左至右方向,及由下至上方向移动;通过初始滑动检测窗口从起始图像滑动提取位置,以第一预设步长向右滑动,至初始滑动检测窗口的右下定点抵达感兴趣区域中的目标检测线;通过第一初始滑动检测窗口自更新检测位置以预设步长向右滑动,至初始滑动检测窗口的右下定点抵达感兴趣区域中的目标检测线,其中,更新检测位置与起始检测位置间的图像像素高度差为第二预设步长;重复执行上述由左至右、由下至上的图像滑动提取步骤,至初始滑动检测窗口的下边界移动至第二感兴趣子区域的下边界,将初始滑动检测窗口边长调整为第二感兴趣子区域对应的检测窗口尺寸下限,重复执行上述第一感兴趣子区域的图像滑动提取方法,直至完成所有感兴趣子区域的图像滑动提取,即完成待检测图像的一次遍历图像滑动提取。需要说明的是,第一预设步长和第二预设步长可以相同,第一预设步长和第二预设步长也可以不同。本申请通过设置从待检测图像的底部到待检测图像顶部的检测路径,优先检测距离较近的图像区域,确保检测效率的同时提高自动驾驶的安全性。
S15:基于预设调整比例对初始滑动检测窗口进行尺寸更新,得到更新的初始滑动检测窗口;基于更新的初始滑动检测窗口对感兴趣子区域进行更新遍历图像滑动提取。
S16:交替执行上述尺寸更新和更新遍历图像滑动提取的步骤,至达到迭代更新的检测窗口尺寸超出检测窗口尺寸信息中的尺寸上限,得到多个图像子区域。
另一方面,本申请的实施例还提供了一种用于车辆的图像检测装置,以下结合图11介绍本申请实施例提供了一种用于车辆的图像检测装置,参照图11中所示,该装置可以包括:
第一获取模块11:用于获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;
感兴趣区域确定模块12:用于基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域;
感兴趣子区域获取模块13:用于对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息;
检测窗口尺寸信息确定模块14:用于基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息,检测窗口尺寸信息指示滑动检测窗口的尺寸调整范围;
滑动检测模块15:用于基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。
在一些实施例中,滑动检测模块15还包括:
图像提取模块:用于基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行图像滑动提取,得到多个图像子区域,图像子区域的尺寸与滑动检测窗口的尺寸相同;
特征处理模块:用于对多个图像子区域进行特征提取处理,得到多个图像子区域对应的多个目标图像特征;
识别模块:用于基于目标对象检测模型对多个目标图像特征进行分类识别,得到图像检测结果。
在一些实施例中,图像提取模块还包括:
滑动检测窗口位置监测模块:用于在对多个感兴趣子区域进行图像滑动提取的过程中,监测滑动检测窗口在待检测图像中的位置;
滑动检测窗口尺寸调整模块:用于在监测到滑动检测窗口从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于当前感兴趣子区域对应的检测窗口尺寸信息对滑动检测窗口进行尺寸调整;
第一控制模块:用于基于调整后的滑动检测窗口对当前感兴趣子区域进行图像滑动提取。
在一些实施例中,图像提取模块还包括:
滑动检测窗口生成模块:用于基于检测窗口尺寸信息生成多个感兴趣子区域各自对应的滑动检测窗口;
第二控制模块:用于通过各滑动检测窗口分别对多个感兴趣子区域进行并行图像滑动提取,得到多个图像子区域。
在一些实施例中,图像提取模块还包括:
迭代检测模块:用于基于检测窗口尺寸信息通过滑动检测窗口对多个感兴趣子区域进行迭代图像滑动提取,得到多个图像子区域;其中,针对每一感兴趣子区域,在迭代图像滑动提取的不同迭代次数中,滑动检测窗口的尺寸互异。
初始窗口生成模块:用于针对每一感兴趣子区域,基于检测窗口尺寸信息的尺寸下限生成对应的初始滑动检测窗口;
第三控制模块:用于基于初始滑动检测窗口对感兴趣子区域进行遍历图像滑动提取;
窗口更新模块:基于预设调整比例对初始滑动检测窗口进行尺寸更新,得到更新的初始滑动检测窗口;
遍历检测模块:用于基于更新的初始滑动检测窗口对感兴趣子区域进行更新遍历图像滑动提取;
执行模块:用于交替执行上述尺寸更新和更新遍历图像滑动提取的步骤,至达到迭代结束条件,得到多个图像子区域。
在一些实施例中,装置还包括:
目标检测线获取模块:用于对待检测图像进行检测线识别,得到目标检测线,目标检测线与待检测图像的横向方向相交。
感兴趣区域确定模块12:还用于基于目标检测线、当前自车车辆速度和相机标定参数确定感兴趣区域,感兴趣区域的横向边界为目标检测线。
目标高度差确定模块:用于根据预设对应关系确定相机标定参数对应的目标高度差,高度差指示标准图像与待检测图像间的图像像素高度差,预设对应关系表征相机标定参数中多个俯仰角与多个图像像素高度差间的对应关系。
窗口尺寸计算模块:用于根据感兴趣子区域的边界像素高度、相机标定参数、目标高度差和预设尺寸转换系数进行窗口尺寸计算,得到检测窗口尺寸信息。
关于上述实施例中的控制装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本申请中装置实施例与方法实施例基于相似的实施方式。
本申请的实施例还提供了一种电子设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由所述处理器加载并执行以实现如上所述的用于车辆的图像检测方法。
进一步地,图12示出了一种用于实现本申请实施例所提供用于车辆的图像检测方法的电子设备的硬件结构示意图,电子设备可以参与构成或包含本申请实施例所提供的装置。如图12所示,电子设备1可以包括一个或多个(图中采用902a、902b,……,902n来示出)处理器902(处理器902可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器904、以及用于通信功能的传输装置906。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图12所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,电子设备1还可包括比图12中所示更多或者更少的组件,或者具有与图12所示不同的配置。
应当注意到的是上述一个或多个处理器902和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到电子设备1(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器904可用于存储应用软件的软件程序以及模块,如本申请实施例中的方法对应的程序指令/数据存储装置,处理器902通过运行存储在存储器904内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种用于车辆的图像检测方法。存储器904可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器904可进一步包括相对于处理器902远程设置的存储器,这些远程存储器可以通过网络连接至电子设备1。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1的通信供应商提供的无线网络。在一个实例中,传输装置906包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置906可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与电子设备1(或移动设备)的用户界面进行交互。
本申请实施例中,存储器可用于存储软件程序以及模块,处理器通过运行存储在存储器的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、功能所需的应用程序等;存储数据区可存储根据设备的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。相应地,存储器还可以包括存储器控制器,以提供处理器对存储器的访问。
本申请的实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由处理器加载并执行以实现如上所述的用于车辆的图像检测方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本申请提供了一种车载终端,所述车载终端中存储有至少一条指令和至少一段程序,所述至少一条指令和所述至少一段程序由处理器加载并执行以实现如上中任意一项所述用于车辆的图像检测方法。
本申请提供的一种用于车辆的图像检测方法、装置、电子设备、计算机存储介质和车载终端具有如下技术效果:
本申请通过获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;基于当前自车车辆速度和相机标定参数确定待检测图像的感兴趣区域;对感兴趣区域进行横向区域划分,得到待检测图像对应的多个感兴趣子区域和多个感兴趣子区域的区域尺寸信息;基于多个感兴趣子区域的区域尺寸信息和相机标定参数确定多个感兴趣子区域各自对应的检测窗口尺寸信息,检测窗口尺寸信息指示滑动检测窗口的尺寸调整范围;基于检测窗口尺寸信息,通过滑动检测窗口对多个感兴趣子区域进行滑动检测,得到图像检测结果。本申请通过将待检测图像划分为多个感兴趣子区域,每个感兴趣子区域设置特定的滑动检测窗口尺寸范围,自适应的动态调整检滑动检测窗口尺寸范围,滤除了滑动检测窗口的无效遍历次数,实现了车辆的实时检测和定位,极大地减少了搜索次数,提高了车辆图像检测的准确性、鲁棒性和实时性,同时提高车辆图像检测效率。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,上述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种用于车辆的图像检测方法,其特征在于,所述方法包括:
获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;
基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域;
对所述感兴趣区域进行横向区域划分,得到所述待检测图像对应的多个感兴趣子区域和所述多个感兴趣子区域的区域尺寸信息;
基于所述多个感兴趣子区域的区域尺寸信息和所述相机标定参数确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息,所述检测窗口尺寸信息指示滑动检测窗口的尺寸调整范围;
基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果。
2.根据权利要求1所述的用于车辆的图像检测方法,其特征在于,基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果包括:
基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域,所述图像子区域的尺寸与所述滑动检测窗口的尺寸相同;
对所述多个图像子区域进行特征提取处理,得到所述多个图像子区域对应的多个目标图像特征;
基于目标对象检测模型对所述多个目标图像特征进行分类识别,得到所述图像检测结果。
3.根据权利要求2所述的用于车辆的图像检测方法,其特征在于,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
在对所述多个感兴趣子区域进行图像滑动提取的过程中,监测所述滑动检测窗口在所述待检测图像中的位置;
在监测到所述滑动检测窗口从前一感兴趣子区域移动至当前感兴趣子区域的情况下,基于所述当前感兴趣子区域对应的检测窗口尺寸信息对所述滑动检测窗口进行尺寸调整;
基于调整后的滑动检测窗口对所述当前感兴趣子区域进行图像滑动提取,得到所述多个图像子区域。
4.根据权利要求2所述的用于车辆的图像检测方法,其特征在于,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
基于所述检测窗口尺寸信息生成所述多个感兴趣子区域各自对应的滑动检测窗口;
基于各所述滑动检测窗口分别对所述多个感兴趣子区域进行并行图像滑动提取,得到所述多个图像子区域。
5.根据权利要求2-4中任一所述的用于车辆的图像检测方法,其特征在于,所述基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行图像滑动提取,得到多个图像子区域包括:
基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行迭代图像滑动提取,得到所述多个图像子区域;
其中,针对每一感兴趣子区域,在所述迭代图像滑动提取的不同迭代次数中,滑动检测窗口的尺寸互异。
6.根据权利要求5所述的用于车辆的图像检测方法,其特征在于,所述基于所述检测窗口尺寸信息通过所述滑动检测窗口对所述多个感兴趣子区域进行迭代图像滑动提取,得到所述多个图像子区域包括:
针对每一感兴趣子区域,基于所述检测窗口尺寸信息的尺寸下限生成对应的初始滑动检测窗口;
基于所述初始滑动检测窗口对所述感兴趣子区域进行遍历图像滑动提取;
基于预设调整比例对所述初始滑动检测窗口进行尺寸更新,得到更新的初始滑动检测窗口;
基于所述更新的初始滑动检测窗口对所述感兴趣子区域进行更新遍历图像滑动提取;
交替执行上述尺寸更新和更新遍历图像滑动提取的步骤,至达到迭代结束条件,得到所述多个图像子区域。
7.根据权利要求2所述的用于车辆的图像检测方法,其特征在于,在对所述多个感兴趣子区域进行图像滑动提取的过程中,针对所述多个感兴趣子区域采用的窗口滑动步长不同,所述窗口滑动步长是基于所述感兴趣子区域的像素高度确定的。
8.根据权利要求1-4或6-7中任一所述的用于车辆的图像检测方法,其特征在于,所述方法还包括:
对所述待检测图像进行检测线识别,得到目标检测线,所述目标检测线与所述待检测图像的横向方向相交;
基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域包括:
基于所述目标检测线、所述当前自车车辆速度和所述相机标定参数确定所述感兴趣区域。
9.根据权利要求1-4或6-7中任一所述的用于车辆的图像检测方法,其特征在于,所述多个感兴趣子区域的区域尺寸信息包括感兴趣子区域的边界像素高度,所述根据所述多个感兴趣子区域的区域尺寸信息和所述拍摄俯仰角确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息包括:
根据预设对应关系确定所述相机标定参数对应的目标高度差,所述高度差指示标准图像与待检测图像间的图像像素高度差,所述预设对应关系表征所述相机标定参数中多个俯仰角与多个图像像素高度差间的对应关系;
根据所述感兴趣子区域的边界像素高度、所述相机标定参数、所述目标高度差和预设尺寸转换系数进行窗口尺寸计算,得到所述检测窗口尺寸信息。
10.一种用于车辆的图像检测装置,其特征在于,所述装置包括:
第一获取模块:用于获取目标时刻的待检测图像,以及目标时刻对应的当前自车车辆速度和相机标定参数;
感兴趣区域确定模块:用于基于所述当前自车车辆速度和所述相机标定参数确定所述待检测图像的感兴趣区域;
感兴趣子区域获取模块:用于对所述感兴趣区域进行横向区域划分,得到所述待检测图像对应的多个感兴趣子区域和所述多个感兴趣子区域的区域尺寸信息;
检测窗口尺寸信息确定模块:用于基于所述多个感兴趣子区域的区域尺寸信息和所述相机标定参数确定所述多个感兴趣子区域各自对应的检测窗口尺寸信息,所述检测窗口尺寸信息指示所述滑动检测窗口的尺寸调整范围;
滑动检测模块:用于基于所述检测窗口尺寸信息,通过所述滑动检测窗口对所述多个感兴趣子区域进行滑动检测,得到图像检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649355.8A CN115187940A (zh) | 2022-06-09 | 2022-06-09 | 一种用于车辆的图像检测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210649355.8A CN115187940A (zh) | 2022-06-09 | 2022-06-09 | 一种用于车辆的图像检测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115187940A true CN115187940A (zh) | 2022-10-14 |
Family
ID=83512929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210649355.8A Pending CN115187940A (zh) | 2022-06-09 | 2022-06-09 | 一种用于车辆的图像检测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115187940A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385952A (zh) * | 2023-06-01 | 2023-07-04 | 华雁智能科技(集团)股份有限公司 | 配网线路小目标缺陷检测方法、装置、设备及存储介质 |
CN117094994A (zh) * | 2023-10-17 | 2023-11-21 | 苏州元脑智能科技有限公司 | 滑窗参数确定方法、图像识别方法及装置 |
-
2022
- 2022-06-09 CN CN202210649355.8A patent/CN115187940A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116385952A (zh) * | 2023-06-01 | 2023-07-04 | 华雁智能科技(集团)股份有限公司 | 配网线路小目标缺陷检测方法、装置、设备及存储介质 |
CN116385952B (zh) * | 2023-06-01 | 2023-09-01 | 华雁智能科技(集团)股份有限公司 | 配网线路小目标缺陷检测方法、装置、设备及存储介质 |
CN117094994A (zh) * | 2023-10-17 | 2023-11-21 | 苏州元脑智能科技有限公司 | 滑窗参数确定方法、图像识别方法及装置 |
CN117094994B (zh) * | 2023-10-17 | 2024-02-09 | 苏州元脑智能科技有限公司 | 滑窗参数确定方法、图像识别方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995188B2 (ja) | 車載カメラの姿勢推定方法、装置およびシステムならびに電子機器 | |
CN115187940A (zh) | 一种用于车辆的图像检测方法和装置 | |
CN108629292B (zh) | 弯曲车道线检测方法、装置及终端 | |
CN111856963B (zh) | 一种基于车载环视系统的泊车仿真方法及装置 | |
CN111491093B (zh) | 一种摄像头视场角的调整方法和装置 | |
CN110348332B (zh) | 一种交通视频场景下机非人多目标实时轨迹提取方法 | |
CN111376895B (zh) | 一种环视泊车感知方法、装置、自动泊车系统和车辆 | |
CN113421289B (zh) | 一种克服无人机拍摄扰动的高精度车辆轨迹数据提取方法 | |
CN111738033B (zh) | 基于平面分割的车辆行驶信息确定方法及装置、车载终端 | |
CN112528807B (zh) | 行驶轨迹的预测方法、装置、电子设备及存储介质 | |
CN112172797B (zh) | 泊车控制方法、装置、设备和存储介质 | |
CN110929655A (zh) | 一种行驶过程中车道线识别方法、终端设备及存储介质 | |
CN112365549B (zh) | 车载相机的姿态校正方法、装置和存储介质及电子装置 | |
CN111091023A (zh) | 一种车辆检测方法、装置及电子设备 | |
CN112598922A (zh) | 车位检测方法、装置、设备及存储介质 | |
JP2007316685A (ja) | 走路境界検出装置および走路境界検出方法 | |
CN111160132B (zh) | 障碍物所在车道的确定方法、装置、电子设备和存储介质 | |
Liu et al. | Effective road lane detection and tracking method using line segment detector | |
JP3319383B2 (ja) | 走行路認識装置 | |
CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 | |
KR102603945B1 (ko) | 차량 탑승 인원 감지 시스템 및 방법 | |
CN115953328B (zh) | 一种目标矫正方法、系统及电子设备 | |
CN112833915B (zh) | 传感器校正方法、装置、可移动载体及存储介质 | |
CN115661208B (zh) | 摄像头的姿态及污迹检测方法、装置及汽车 | |
CN114898325B (zh) | 一种车辆危险变道检测方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |