CN115937827B - 用于汽车紧急主动避险的监控视频处理方法 - Google Patents

用于汽车紧急主动避险的监控视频处理方法 Download PDF

Info

Publication number
CN115937827B
CN115937827B CN202310126010.9A CN202310126010A CN115937827B CN 115937827 B CN115937827 B CN 115937827B CN 202310126010 A CN202310126010 A CN 202310126010A CN 115937827 B CN115937827 B CN 115937827B
Authority
CN
China
Prior art keywords
pixel
point
pixel point
dynamic
dynamic target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310126010.9A
Other languages
English (en)
Other versions
CN115937827A (zh
Inventor
李远科
顾焰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lanjing Zhilian Technology Co ltd
Original Assignee
Shenzhen Lanjing Zhilian Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lanjing Zhilian Technology Co ltd filed Critical Shenzhen Lanjing Zhilian Technology Co ltd
Priority to CN202310126010.9A priority Critical patent/CN115937827B/zh
Publication of CN115937827A publication Critical patent/CN115937827A/zh
Application granted granted Critical
Publication of CN115937827B publication Critical patent/CN115937827B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Abstract

本发明涉及图像处理技术领域,提出了用于汽车紧急主动避险的监控视频处理方法,包括:获取监控视频得每帧静态图像并识别动态目标进行标记,获得每个动态目标的三维空间,得到每个像素点的第一图像特征,质心点为第二图像特征,令每个第一图像特征与第二图像特征的比值得到第一相似度;得到第三图像特征,由上述内容计算每个像素点的动态因子以及真实模糊度并以此得到关键值,根据像素点的关键值得到动态目标的运动轨迹;确定被遮挡动态目标的运动轨迹;根据动态目标的运动轨迹判断是否需要发出警告进行紧急避险。本发明获取的关键点可以提高获取的目标运动轨迹的准确性,且降低了计算量,加快了对汽车状态的识别速度。

Description

用于汽车紧急主动避险的监控视频处理方法
技术领域
本发明涉及图像处理技术领域,具体涉及用于汽车紧急主动避险的监控视频处理方法。
背景技术
汽车已经成为不可缺少的交通工具,随着科技发展,电车,油车,无人驾驶智能车等各类汽车层出不穷。行驶道路上的交通事故的发生概率逐渐增大,因此从源头避免交通事故的发生是提高出行安全的关键手段。
汽车安全分为主动安全和被动安全两个方面,主动安全是通过车辆主动的避险功能,车辆检测到危险信息后利用电子系统对乘客进行保护,被动安全是指发生交通事故后,车辆对乘客的保护,通常是利用安全气囊等固定装置完成的。因此提高车辆在紧急情况下主动避险的能力才能够最大程度保护乘客和司机的人身安全。汽车的主动避险的前提是检测到危险信息,当前汽车通过监控视频获取目标的运动状态,相对速度等相关信息。现阶段对监控视频的处理通常是对视频中的异常行为进行识别跟踪,报警信息的误报漏报比较多,因为监控视频的包含大量的无用数据,短时间内很难处理完成,将结果发送到车辆系统。
发明内容
本发明提供用于汽车紧急主动避险的监控视频处理方法,以解决现有的报警信息误报和漏报的问题,所采用的技术方案具体如下:
本发明一个实施例提供了用于汽车紧急主动避险的监控视频处理方法,该方法包括以下步骤:
利用车载摄像头获取监控视频,将监控视频拆分为帧,获得每帧静态图像;
根据每帧静态图像对特定目标进行标记,并识别动态目标;
获得每个动态目标的三维空间,对每个动态目标的每个像素点在三维空间中的三维图像特征记为第一图像特征,对动态目标的质心点获得质心点在三维空间中的三维图像特征记为第二图像特征,令每个第一图像特征与第二图像特征的比值作为动态目标每个像素点与质心点的特征相似度并记为第一相似度;
得到三维空间中每个像素点八邻域内每个像素点在三维空间中的三维图像特征记为第三图像特征,根据第三图像特征和第二图像特征比值得到第二相似度,根据每个动态目标的质心点将动态目标的三维空间划分为上半空间和下半空间,根据第一相似度、三维空间上半空间与第一图像特征相等像素点数量、第二相似度、三维空间下半空间与第三图像特征相等像素点数量得到每个像素点的动态因子;
获得每个动态目标的LAB空间,获得每个像素点的计算区域,根据每个像素点的计算区域、该像素点在LAB空间中的值以及该像素点根据质心点的对称点的计算区域和LAB空间中的值计算得到每个像素点的真实模糊度;
将每个像素点的动态因子和真实模糊度相乘得到每个像素点的关键值,根据每个像素点的关键值得到动态目标的关键点,根据动态目标的质心点和关键点确定每个动态目标的运动轨迹,将未被遮挡的动态目标称为第一动态目标;
对于同一个动态目标,根据当前帧图像与相邻帧图像轮廓差异判断动态目标是否被遮挡,并预测被遮挡动态目标的全部区域作为第二动态目标,获得第二动态目标的运动轨迹;
根据每个第一动态目标与第二动态目标的运动轨迹判断是否需要发出警告进行紧急避险。
优选的,所述获得每个动态目标的三维空间,对每个动态目标的每个像素点在三维空间中的三维图像特征记为第一图像特征的方法为:
利用神经辐射场技术对每个动态目标的平面图像进行三维重建,重建后的三维空间中每个点都包含其三维坐标和RGB值,每个动态目标的像素点在三维空间中存在3个平面,每个像素点在每个平面中获得一个对应的LBP值,在三个平面中获得三个LBP值,将三个LBP特征值相加得到每个像素点的第一图像特征值。
优选的,所述根据第三图像特征和第二图像特征比值得到第二相似度,根据第一相似度、三维空间上半空间与第一图像特征相等像素点数量、第二相似度、三维空间下半空间与第三图像特征相等像素点数量得到每个像素点的动态因子的方法为:
式中,表示第i个像素点的三维图像特征即第一图像特征,表示动态目标质心点的三维图像特征即第二图像特征,J表示像素点i八邻域像素点的数量,表示像素点i与质心点g的特征相似度,表示第i个像素点八邻域内第j个像素点与质心点的特征相似度,表示上半空间中与第i个像素点的第一图像特征相等的像素点数量,表示上半空间中与第i个像素点八邻域第j个像素点的第一图像特征相等的像素点数量,N表示质心上半空间中像素点的数量,表示第i个像素点的动态因子。
优选的,所述根据每个像素点的计算区域、该像素点在LAB空间中的值以及该像素点根据质心点的对称点的计算区域和LAB空间中的值计算得到每个像素点的真实模糊度的方法为:
以每个像素点o为中心得到一个预设大小的区域,该区域记为计算区域,该像素点记为像素点o,将计算区域从最中间分为左右两个区域,两个区域大小相等,两个区域分别记为左半区域和右半区域,将除了本动态目标以外的所有像素点都记为背景像素点,根据左半区域中在像素点o左侧且距离像素点o直线距离最近的背景像素点的LAB值、左半区域中每个像素点的LAB值以及中心像素点的LAB值得到中心像素点在左半区域的特征变量,根据右半区域中在像素点o右侧且距离像素点o直线距离最近的背景像素点的LAB值、右半区域中每个像素点的LAB值以及像素点o的LAB值得到像素点o在右半区域的特征变量,两个区域的特征变量相减得到像素点o的特征渐变量;
获得每个像素点o在其所在的动态目标质心点的对称点,获得该对称点的特征渐变量,令每个像素点o的特征渐变量与每个像素点o的对称点的特征渐变量的比值作为每个像素点o的真实模糊度。
优选的,所述根据左半区域中在像素点o左侧且距离像素点o直线距离最近的背景像素点的LAB值、左半区域中每个像素点的LAB值以及中心像素点的LAB值得到中心像素点在左半区域的特征变量的方法为:
式中,是计算区域的左半区域,是区域内像素点数量,x是指区域内的像素点x,q是距离像素点o直线距离最近的背景像素点且像素点q在像素点o左侧,分别是像素点x在LAB颜色空间分量的特征值,分别是像素点q在LAB颜色空间分量的特征值,分别是像素点o在颜色空间分量的特征值,是像素点o在区域内的特征变量。
优选的,所述根据每个第一动态目标与第二动态目标的运动轨迹判断是否需要发出警告进行紧急避险的方法为:
将第一动态目标和第二动态目标的运动轨迹统称第一运动轨迹,通过车载电子系统获取当前汽车的行驶轨迹,记为第二运动轨迹,根据两个轨迹走势得到两个轨迹曲线,计算轨迹曲线的交点和hausdorff距离,当存在交点或hausdorff距离小于安全距离时发出警告紧急避险。
本发明的有益效果是:本发明提出一种用于汽车紧急主动避险的监控视频处理方法,基于汽车行驶过程中获取的监控视频数据,判断汽车是否需要进行主动避险状态,针对传统获取动态目标轨迹计算量大的问题,根据动态目标在三维空间特征构建动态因子,动态因子根据对动态目标运动方向的影响程度能否覆盖进行关键点的筛选,降低了计算量,加快了对汽车状态的识别速度。其次针对动态目标被遮挡的情况,对被遮挡部分进行预测,提高了获取监控视频中动态目标运行轨迹的准确率。
本申请根据动态因子和真实模糊度获取关键点,其一方面通过关键点获取移动轨迹,可以有效、准确的表征动态目标的外轮廓关键点处的移动信息,可以避免目标运行时动态模糊现象所造成运动轨迹及方向存在较大误差的问题,另一方面,通过关键值筛选关键点还能减少计算量,提高计算实时性,进而可以实时进行汽车主动避险。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的一个实施例所提供用于汽车紧急主动避险的监控视频处理方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,其示出了本发明一个实施例提供的用于汽车紧急主动避险的监控视频处理方法流程图,该方法包括以下步骤:
步骤S001、使用汽车车载摄像头获得视频数据,并对视频数据进行预处理。
监控视频的处理目标是为了判断汽车是否处于危险情况下,如果监控视频中相近车辆处于异常驾驶行为,为了保证车载人员的安全,汽车的电子系统应该发出警报并进入主动避险的状态。在本发明中,利用车载摄像头获取监控视频,监控视频是由一系列静态图像组成的,为了获取周围车辆的状态信息,对监控视频的处理就是对每帧静态图像的处理,由于车辆行驶稳定性的影响或者自然环境的影响,摄像头接收的视频质量的清晰度难以达到要求。因此本发明分别对图像进行直方图均衡化和均值滤波处理,直方图均衡的作用在于改善图像亮度和对比度,均值滤波的作用在于消除汽车接收视频过程中的噪声干扰,实现提高监控视频中每帧图像质量的目的,直方图均衡化和均值滤波处理为公知技术,具体过程不再详细赘述。
步骤S002、获取视频数据中的动态目标,并构建动态目标所在区域的像素点的动态因子以及真实模糊度,并以此得到每个像素点的关键值,利用所有关键值得到未被遮挡时动态目标的运行轨迹。
在本发明中,利用车载摄像头获取汽车在行驶过程中的监控视频,从监控视频中识别动态目标,对动态目标的运动轨迹进行预测,如果动态目标的运动轨迹与汽车行驶轨迹存在重合的可能性,那么认为汽车应该进入紧急避险状态,避免交通事故的发生。因此需要将动态目标从监控视频中提取出来。
监控视频内容中主要分为静态物体和动态目标两类,在本发明中,监控视频中的动态目标主要分为两类,一是道路上行驶的汽车,二是道路上移动的行人。静态目标是指交通护栏,路标等静止不动的物体。由于本发明中利用车载摄像头获取监控视频,因此在获取动态目标的过程中,可能会将周围轻微移动的静态目标错误识别为动态目标。动态目标识别一般通过相邻两帧监控视频图像作差进行区分,但是帧差法的局限在于对于微弱运动难以识别,另一方面动态目标在运动过程中会产生一定的阴影,在后续计算动态目标的轨迹时阴影会产生的一定的干扰。在监控视频所有图像中,静态物体的特点相较于图像中的固定背景的空间位置是不变的,例如随着汽车移动,汽车的运动轨迹时刻在变化,但是路标的坐标是不变的。
因此本发明利用DeepSORT算法实现动态目标识别及追踪前,并为每个追踪到的动态目标分配ID,根据分配ID本实施例中将监控视频图像中动态目标分别标记为动态目标,目标至目标,DeepSORT算法为公知技术,具体追踪过程不再详细赘述,所述动态目标指汽车和行人。
动态目标在监控视频中表现出在连续帧内不停运动的特点,在监控视频中动态目标多是在三维空间内都处于运动的状态,因此获取多维的目标特征能够更精准的反映动态目标的运动轨迹,监控视频中每一帧图像是二维平面图像,想要获取动态目标在三维空间内的运动状态,需要对平面图像进行三维重建,三维重建采用神经辐射场(NERF)技术,具体过程不再详细赘述。最终得到一个三维场景,其每个点都包含其三维坐标和RGB值,本发明中利用根据每个点的RGB值计算相应的LBP值。
另一方面,动态目标在监控视频中的运动特点是运动方向可能不是统一的,例如处于异常驾驶状态的车辆,前后的转动方向可能是不同的,也就是说动态目标的运动方向也是计算运动轨迹时需要考虑的特征之一。其次,如果运动目标所在区域多个点对局部运动方向的影响是一致的,认为只需要保留关键点、质心点就可以获取动态目标的运动轨迹,这样最终提取的目标特征既包含了三维空间中的信息,又避免了特征维度过高和存在多个动态目标导致的计算量过大的问题。
基于上述分析,此处构建动态因子D,用于表征监控视频中动态目标所在区域中像素点对局部运动方向的影响程度,计算区域内任意像素点i的动态因子
式中,是像素点i在xy平面中对应的LBP特征值,是像素点i在平面xz中对应的LBP特征值,是像素点i在平面yz中对应的LBP特征值,计算像素点的LBP特征值为公知技术,具体过程在不再详细赘述。是像素点对应的三维图像特征,将动态目标的质心点g为原点做平行线将动态目标分为上半空间和下半空间,是当前帧动态目标质心点的三维特征,的计算过程与一致,是像素点i与质心点g的特征相似度,,j是指像素点i八邻域内第j个像素点,是像素点j与质心点g的特征相似度,J是像素点i八邻域内像素点的数量,N是质心上半空间中像素点的数量,是上半空间中与像素点i的三维图像特征相等的像素点的数量,是上半空间中与像素点j的三维图像特征相等的像素点的数量。
特征相似度反映了在上半空间内,像素点与质心点对应三维特征的相似程度,本发明利用相似程度的大小近似表征像素点i对质心点运动方向的影响程度,反映了像素点i在邻域内对质心运动方向影响程度,影响程度是通过像素点i的特征相似度与八邻域内像素点j的特征相似度差值进行表征,特征相似度差值越大,说明像素点i的三维图像特征值与像素点j的三维图像特征值差值越大,像素点i在图像中越显著,像素点i在八邻域内对动态目标质心的运动方向影响越大。反映了对上半空间内两个像素点对局部运动方向的贡献度是否一致,越大,说明在上半空间内,像素点i对动态目标的影响就越大,像素点j对动态目标的影响越小,因此的值越大,说明像素点i的影响程度能够覆盖像素点j的影响程度,即动态因子越大,像素点i对动态目标运动轨迹的影响程度越大,越应该利用像素点i获取具体的轨迹线。
动态目标移动时,获取动态目标的轨迹只需要结合动态目标的轮廓确定少数关键点就可以,例如表达汽车轮廓的边缘像素点和汽车的车轮对应的像素点,因此只需要对动态目标轮廓上的像素点进行准确筛选,获取其中的关键点。动态目标在监控视频内的移动过程中,会在相邻帧之间产生运动模糊,运动模糊是指物体在快速移动过程中造成明显的模糊拖动痕迹。而快速移动的汽车一般具有比较高概率的安全隐患,动态目标的动态模糊在监控视频图像中呈现出两边虚中间实的特点,因此通过每帧监控视频图像中动态目标中不同像素点对应运动模糊程度的高低,以便于获取出现动态模糊现象的动态目标准确的关键点。
基于上述分析,此处构建真实模糊度F,用于表征监控视频图像中动态目标中不同区域边缘像素点的运动模糊程度的高低,计算动态目标中像素点o的真实模糊度:
公式逻辑:真实模糊度为动态目标区域内像素点运动模糊的程度,由于动态模糊现象中,动态目标中间区域内像素点周围比较真实,虚化程度低,动态目标边缘区域内像素点周围虚化严重,真实程度较低,即像素点的真实模糊度越高,运动模糊程度越高。
式中,w称为计算区域,是以像素点o为中心所取预设大小窗口w的左半区域,是以像素点o为中心所取预设大小窗口的右半区域,预设大小经验值取7*7,关于像素点o中心对称。是区域内像素点数量,x是指区域内的像素点x,q是距离像素点o直线距离最近的背景像素点,背景像素点指的是除了本动态目标以外的像素点,且该像素点在像素点o左侧,此种选取像素点q的原因在于如果像素点o位于运动模糊程度高的区域,直线距离最近的背景像素点与像素点o的虚化程度接近,将此像素点的特征值用于计算可以得到更精准的特征变量。
分别是像素点x在LAB颜色空间分量的特征值,分别是像素点q在LAB颜色空间分量的特征值,分别是像素点o在颜色空间分量的特征值,是像素点o在区域内的特征变量。
y是区域内的像素点y,h是距离像素点o直线距离最近的背景像素点且该像素点在像素点o右侧,分别是像素点y在颜色空间分量的特征值,分别是像素点h在颜色空间分量的特征值,是区域内像素点数量,是像素点o在区域内的特征变量。
是像素点o的真实模糊度,是所取窗口w内像素点o的特征渐变量,的含义是从靠近动态目标区域到靠近背景区域的过渡中窗口w中像素点特征值与背景像素点特征值的渐变程度。是像素点o关于动态目标质心点中心对称的像素点,选取对称像素点作为的目的在于动态目标在运动模糊时是一个整体,位于同一动态目标区域内的两个对称点的差异能够反映出像素点o的位置信息,像素点o的位置越靠近动态目标边缘点,对称点越远离动态目标质心点,是像素点的特征渐变量。
真实模糊度反映了动态目标区域内像素点的运动模糊程度的高低,式中的值越大,说明在窗口左侧区域内像素点与点o的差异越大,的值越大,说明在窗口右侧区域内像素点与像素点o的差异越大,特征渐变量的值越大,说明像素点o周围分布像素点的差异越大,越有可能位于运动模糊程度虚化区域,真实模糊度的值越大,说明关于动态目标质心点对称两个像素点周围像素点的特征值差异越大,像素点运动模糊程度的差异越大,像素点o越有可能位于动态目标边缘区域运动模糊程度高的区域。真实模糊度的有益效果在于通过关于动态目标质心点对称的两个像素点的特征差异获取像素点的分布情况并进行计算,能够适用于各种轮廓外形的动态目标,无论动态目标轮廓大小都能获取精准的轮廓区域检测结果。
本实施例利用连续帧内动态关键点的移动轨迹近似表征动态目标的运动轨迹,根据上述步骤分别连续帧内动态目标的轮廓线,其方法为:对于每一帧动态目标轮廓信息获取动态目标的质心点坐标g,在动态目标轮廓中获取与质心点g和轮廓在同一水平线、垂直线上的像素点,将每个像素点的真实模糊度与动态因子相乘,作为每个像素点的关键值,然后选取4个方向上(质心点将水平线、垂直线分为4个线段)关键值最大值对应的像素点作为关键点,连接相邻帧该动态目标相同方向关键点及质心点得到对应动态目标的移动轨迹,利用移动轨迹的结果近似表征动态目标的运动轨迹。本申请根据动态因子和真实模糊度获取关键点,其一方面通过关键点获取移动轨迹,可以有效、准确的表征动态目标的外轮廓关键点处的移动信息,可以避免目标运行时动态模糊现象所造成运动轨迹及方向存在较大误差的问题,另一方面,通过关键值筛选关键点还能减少计算量,提高计算实时性,进而可以实时进行汽车主动避险。
步骤S003、对于被遮挡的动态目标预测其完整的动态目标,并得到其运动轨迹。
根据上述步骤,构建动态目标所在区域内像素点对应的关键值,利用关键值得到了无遮挡的动态目标的运动轨迹。但是监控视频中经常存在运动目标在下一帧视频中被遮挡的情况,此时无法获取像素点的三维空间特征,也就无法计算关键值。因此首先需要对被遮挡部分进行预测,进而获取其完整区域得到运动轨迹。
在利用DeepSORT获取本发明中汽车和行人两类动态目标后,利用边界跟踪技术获取每个动态目标的轮廓图像,利用傅里叶描述子获取每个动态目标的轮廓信息,如果存在N个动态目标,分别记为直到,其中是指动态目标k的傅里叶描述子。获取每一帧监控视频图像中的所有动态目标后,进一步的,获取其相邻帧的监控视频图像,利用相同的方式获取其中动态目标的轮廓信息,如果存在m个动态目标,分别记为直到,其中是指动态目标k的傅里叶描述子。根据动态目标被标记的标签,即ID,对比相邻帧中同一动态目标的轮廓信息,以动态目标k为例,比较的差异,傅里叶描述子是一个向量,利用余弦相似度的计算结果表征之间的差异,余弦相似度为公知技术,具体过程不再详细赘述,如果的值小于判断阈值V,本实施例中V取0.8,认为动态目标被遮挡,傅里叶描述子为公知技术,具体过程不再详细赘述。
根据上述步骤获取了每帧监控视频图像中存在被遮挡的动态目标,进一步的,利用语义分割网络获取被遮挡的动态目标的完整区域,本实施例中语义分割网络选择DeepLabV3+模型,将存在被遮挡动态目标的视频图像作为输入,语义分割网络训练为公知技术,具体过程不再详细赘述,需要说明的是,语义分割标注时即便该动态目标的区域被遮挡,也需要将被遮挡区域标注为动态目标区域。语义分割网络的输出是带有各个像素点类别的分割图像,像素点的类别分为动态目标区域、非动态目标区域两类,进而获取到动态目标的完整区域。
对于存在遮挡区域的动态目标,得到动态目标完整区域后,按照上述步骤S002的相同方法获取动态目标完整区域内像素点的关键值并且确定关键点,进而得到被遮挡动态目标的运动轨迹线,得到的完整区域为被遮挡的动态目标即第二动态目标。
至此,即可通过对当前视频图像进行实时的目标追踪及三维重建,进而对检测得到的动态目标进行像素点动态因子和真实模糊度的计算,然后得到动态目标准确的、有效的运动轨迹。
步骤S004、获取监控视频中动态目标的运动轨迹后,计算当前汽车行驶轨迹与动态目标的运动轨迹的距离,判断汽车是否需要发出警报,进入主动避险状态。
根据上述步骤分别获取监控视频中周围动态目标的运动轨迹,每个动态目标获取了5个关键点(包括质心点),因此相邻帧图像中5个关键点的运动轨迹对应动态目标的运动轨迹,记为轨迹,轨迹包含5条轨迹线,轨迹是由检测图像中获取的。在本发明中首先获取行驶车辆和行人的运动轨迹,同时由车载电子系统获取当前汽车的行驶轨迹,记为轨迹,判断动态目标运动轨迹与汽车行驶轨迹是否有可能存在交点,如果轨迹之间存在交点,认为汽车与监控视频中的动态目标有碰撞的可能性,此时车载电子系统应该迅速发出警报,进入紧急主动避险的状态,并通过指示灯警示动态目标,降低交通事故发生的概率,其中,轨迹与轨迹坐标系不同,需要进行坐标系转换,这里不再详细赘述,其为公知技术。
如果监控视频中的动态目标的运动轨迹与汽车的行驶轨迹没有交点,计算转换到世界坐标系后轨迹之间的hausdorff距离,hausdorff距离的有益效果在于它的输入是两个点集而不是单独的点,而运动轨迹包含大量的像素点,不仅能够准确计算两条直线轨迹的距离,而且能够适用于各种运动轨迹间隔距离的计算。进一步的,分别对比hausdorff距离与汽车安全距离的大小,所述安全距离包括紧急制动距离,汽车与运动目标之间的间隔距离,如果hausdorff距离超过了汽车规定的安全距离,认为汽车处于危险状态,车载电子系统应该迅速发出警报,汽车进入主动避险状态,保证汽车和乘客的安全。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.用于汽车紧急主动避险的监控视频处理方法,其特征在于,该方法包括以下步骤:
利用车载摄像头获取监控视频,将监控视频拆分为帧,获得每帧静态图像;
根据每帧静态图像对特定目标进行标记,并识别动态目标;
获得每个动态目标的三维空间,对每个动态目标的每个像素点在三维空间中的三维图像特征记为第一图像特征,对动态目标的质心点获得质心点在三维空间中的三维图像特征记为第二图像特征,令每个第一图像特征与第二图像特征的比值作为动态目标每个像素点与质心点的特征相似度并记为第一相似度;
得到三维空间中每个像素点八邻域内每个像素点在三维空间中的三维图像特征记为第三图像特征,根据第三图像特征和第二图像特征比值得到第二相似度,根据每个动态目标的质心点将动态目标的三维空间划分为上半空间和下半空间,根据第一相似度、三维空间上半空间与第一图像特征相等像素点数量、第二相似度、三维空间下半空间与第三图像特征相等像素点数量得到每个像素点的动态因子;
获得每个动态目标的LAB空间,获得每个像素点的计算区域,根据每个像素点的计算区域、各像素点在LAB空间中的值以及各像素点根据质心点的对称点的计算区域和LAB空间中的值计算得到每个像素点的真实模糊度;
将每个像素点的动态因子和真实模糊度相乘得到每个像素点的关键值,根据每个像素点的关键值得到动态目标的关键点,根据动态目标的质心点和关键点确定每个动态目标的运动轨迹,将未被遮挡的动态目标称为第一动态目标;
对于同一个动态目标,根据当前帧图像与相邻帧图像轮廓差异判断动态目标是否被遮挡,并预测被遮挡动态目标的全部区域作为第二动态目标,获得第二动态目标的运动轨迹;
根据每个第一动态目标与第二动态目标的运动轨迹判断是否需要发出警告进行紧急避险;
所述根据每个像素点的计算区域、各像素点在LAB空间中的值以及各像素点根据质心点的对称点的计算区域和LAB空间中的值计算得到每个像素点的真实模糊度的方法为:
以每个像素点o为中心得到一个预设大小的区域,该区域记为计算区域,计算区域对应的像素点记为像素点o,将计算区域从最中间分为左右两个区域,两个区域大小相等,两个区域分别记为左半区域和右半区域,将除了本动态目标以外的所有像素点都记为背景像素点,根据左半区域中在像素点o左侧且距离像素点o直线距离最近的背景像素点的LAB值、左半区域中每个像素点的LAB值以及中心像素点的LAB值得到中心像素点在左半区域的特征变量,根据右半区域中在像素点o右侧且距离像素点o直线距离最近的背景像素点的LAB值、右半区域中每个像素点的LAB值以及像素点o的LAB值得到像素点o在右半区域的特征变量,两个区域的特征变量相减得到像素点o的特征渐变量;
获得每个像素点o在其所在的动态目标质心点的对称点,获得该对称点的特征渐变量,令每个像素点o的特征渐变量与每个像素点o的对称点的特征渐变量的比值作为每个像素点o的真实模糊度。
2.根据权利要求1所述的用于汽车紧急主动避险的监控视频处理方法,其特征在于,所述获得每个动态目标的三维空间,对每个动态目标的每个像素点在三维空间中的三维图像特征记为第一图像特征的方法为:
利用神经辐射场技术对每个动态目标的平面图像进行三维重建,重建后的三维空间中每个点都包含其三维坐标和RGB值,每个动态目标的像素点在三维空间中存在3个平面,每个像素点在每个平面中获得一个对应的LBP值,在三个平面中获得三个LBP值,将三个LBP特征值相加得到每个像素点的第一图像特征值。
3.根据权利要求1所述的用于汽车紧急主动避险的监控视频处理方法,其特征在于,所述根据第三图像特征和第二图像特征比值得到第二相似度,根据第一相似度、三维空间上半空间与第一图像特征相等像素点数量、第二相似度、三维空间下半空间与第三图像特征相等像素点数量得到每个像素点的动态因子的方法为:
式中,表示第i个像素点的三维图像特征即第一图像特征,表示动态目标质心点的三维图像特征即第二图像特征,J表示像素点i八邻域像素点的数量,表示像素点i与质心点g的特征相似度,表示第i个像素点八邻域内第j个像素点与质心点的特征相似度,表示上半空间中与第i个像素点的第一图像特征相等的像素点数量,表示上半空间中与第i个像素点八邻域第j个像素点的第一图像特征相等的像素点数量,N表示质心上半空间中像素点的数量,表示第i个像素点的动态因子。
4.根据权利要求1所述的用于汽车紧急主动避险的监控视频处理方法,其特征在于,所述根据左半区域中在像素点o左侧且距离像素点o直线距离最近的背景像素点的LAB值、左半区域中每个像素点的LAB值以及中心像素点的LAB值得到中心像素点在左半区域的特征变量的方法为:
式中,是计算区域的左半区域,是区域内像素点数量,x是指区域内的像素点x,q是距离像素点o直线距离最近的背景像素点且像素点q在像素点o左侧,分别是像素点x在LAB颜色空间分量的特征值,分别是像素点q在LAB颜色空间分量的特征值,分别是像素点o在颜色空间分量的特征值,是像素点o在区域内的特征变量。
5.根据权利要求1所述的用于汽车紧急主动避险的监控视频处理方法,其特征在于,所述根据每个第一动态目标与第二动态目标的运动轨迹判断是否需要发出警告进行紧急避险的方法为:
将第一动态目标和第二动态目标的运动轨迹统称第一运动轨迹,通过车载电子系统获取当前汽车的行驶轨迹,记为第二运动轨迹,计算第一运动轨迹和第二运动轨迹的交点和hausdorff距离,当存在交点或hausdorff距离小于安全距离时发出警告紧急避险。
CN202310126010.9A 2023-02-17 2023-02-17 用于汽车紧急主动避险的监控视频处理方法 Active CN115937827B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310126010.9A CN115937827B (zh) 2023-02-17 2023-02-17 用于汽车紧急主动避险的监控视频处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310126010.9A CN115937827B (zh) 2023-02-17 2023-02-17 用于汽车紧急主动避险的监控视频处理方法

Publications (2)

Publication Number Publication Date
CN115937827A CN115937827A (zh) 2023-04-07
CN115937827B true CN115937827B (zh) 2023-05-09

Family

ID=85823797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310126010.9A Active CN115937827B (zh) 2023-02-17 2023-02-17 用于汽车紧急主动避险的监控视频处理方法

Country Status (1)

Country Link
CN (1) CN115937827B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095007B (zh) * 2023-10-20 2024-01-30 深圳市兴东泰电子有限公司 一种基于图像处理的pfa包胶飞杆卡座组装监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157696A (zh) * 2016-08-30 2016-11-23 浙江吉利控股集团有限公司 基于车‑车通信的自车主动避让系统和避让方法
CN113511134A (zh) * 2021-06-22 2021-10-19 华录智达科技股份有限公司 一种基于人工智能技术的公交车避险方法
CN113747388A (zh) * 2021-07-31 2021-12-03 重庆长安汽车股份有限公司 一种车辆的应急通信方法
CN115123291A (zh) * 2022-06-02 2022-09-30 东风柳州汽车有限公司 一种基于障碍物识别的行为预测方法及装置
CN115432009A (zh) * 2022-10-09 2022-12-06 海南大学 一种自动驾驶车辆轨迹跟踪控制系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106157696A (zh) * 2016-08-30 2016-11-23 浙江吉利控股集团有限公司 基于车‑车通信的自车主动避让系统和避让方法
CN113511134A (zh) * 2021-06-22 2021-10-19 华录智达科技股份有限公司 一种基于人工智能技术的公交车避险方法
CN113747388A (zh) * 2021-07-31 2021-12-03 重庆长安汽车股份有限公司 一种车辆的应急通信方法
CN115123291A (zh) * 2022-06-02 2022-09-30 东风柳州汽车有限公司 一种基于障碍物识别的行为预测方法及装置
CN115432009A (zh) * 2022-10-09 2022-12-06 海南大学 一种自动驾驶车辆轨迹跟踪控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种轨道式动态目标跟踪算法;卢莉萍;李翰山;张宏;南京航空航天大学学报(第04期);全文 *

Also Published As

Publication number Publication date
CN115937827A (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
EP3416134B1 (en) Surrounding environment recognition device for moving body
Rezaei et al. Robust vehicle detection and distance estimation under challenging lighting conditions
Jazayeri et al. Vehicle detection and tracking in car video based on motion model
JP3463858B2 (ja) 周辺監視装置及び方法
CN111461088B (zh) 一种基于图像处理与目标识别的轨道交通避障系统
CN107991671A (zh) 一种基于雷达数据和视频信号融合识别危险目标的方法
Chen et al. Nighttime brake-light detection by Nakagami imaging
CN107886034B (zh) 行车提醒方法、装置及车辆
CN110619674B (zh) 用于事故和警情场景还原的三维增强现实设备及方法
CN108830131B (zh) 基于深度学习的交通目标检测与测距方法
CN115937827B (zh) 用于汽车紧急主动避险的监控视频处理方法
CN114495064A (zh) 一种基于单目深度估计的车辆周围障碍物预警方法
Mammeri et al. Extending the detection range of vision-based vehicular instrumentation
CN113378751A (zh) 一种基于dbscan算法的交通目标识别方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN114694060B (zh) 一种道路抛洒物检测方法、电子设备及存储介质
Yang et al. On-road collision warning based on multiple FOE segmentation using a dashboard camera
Sharma et al. A much advanced and efficient lane detection algorithm for intelligent highway safety
CN114119955A (zh) 一种潜在危险目标检测方法及装置
Habib et al. Lane departure detection and transmission using Hough transform method
CN116453205A (zh) 一种营运车辆滞站揽客行为识别方法、装置及系统
Jaiswal et al. Comparative analysis of CCTV video image processing techniques and application: a survey
Ali et al. Real-time lane markings recognition based on seed-fill algorithm
Klammsteiner et al. Vision Based Stationary Railway Track Monitoring System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant