CN116168357A - 一种智能车的前景目标机器视觉提取系统及方法 - Google Patents

一种智能车的前景目标机器视觉提取系统及方法 Download PDF

Info

Publication number
CN116168357A
CN116168357A CN202211099238.5A CN202211099238A CN116168357A CN 116168357 A CN116168357 A CN 116168357A CN 202211099238 A CN202211099238 A CN 202211099238A CN 116168357 A CN116168357 A CN 116168357A
Authority
CN
China
Prior art keywords
homography
intelligent vehicle
foreground
target
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202211099238.5A
Other languages
English (en)
Inventor
杨宏图
胡元森
王秀梅
张红党
张凤娇
顾义兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Vocational Institute of Mechatronic Technology
Original Assignee
Changzhou Vocational Institute of Mechatronic Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Vocational Institute of Mechatronic Technology filed Critical Changzhou Vocational Institute of Mechatronic Technology
Priority to CN202211099238.5A priority Critical patent/CN116168357A/zh
Publication of CN116168357A publication Critical patent/CN116168357A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种智能车的前景目标机器视觉提取系统及方法，首先确定智能车多摄像机视野间的单应性，将单应变换矩阵拼接为一个完整的视频图像内容；然后进行智能车多摄像头信息融合方案设计；将目标一致性判别问题转换为全景视图构造问题；再进行智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，最终进行信息融合后前景提取；本发明在智能车的各种行驶工况下的结果均较为理想；基于机器视觉的智能车前景目标提取，能够给智能车的信息采集提供有效的预处理方法，视频前景检测提取可以应用于行人检测，障碍物躲避，车道线识别、自动泊车等诸多功能的预处理阶段，使得智能车所采集的信息更为快速精准。

Description

一种智能车的前景目标机器视觉提取系统及方法
技术领域
本发明属于汽车安全技术领域，具体地，涉及一种智能车的前景目标机器视觉提取系统及方法。
背景技术
随着汽车产业的发展,智能车将会越来越普及。智能车辆的控制系统包含信息采集感知模块、决策选择模块以及控制执行模块。其中，信息采集感知的方法主要包括：路面预埋线圈、毫米波雷达、激光雷达、DSRC、红外以及机器视觉等策略；路面预埋线圈要求在铺设道路之前就考虑设计，对于已有道路，很难升级改造。雷达形式多种多样，但都不能避免路面反射率造成结果误差的缺点，DSRC需要有着完善的路测设施，且对于通信的要求较高，目前推广普及成本高，代价大。而机器视觉则包含着大量有价值的道路信息，目前智能车研究的大趋势是利用机器视觉进行自主驾驶。此外，一般智能车都装有多个摄像头，这种多目视觉可以利用各个摄像头所采集到的信息的冗余来提高系统的鲁棒性，但是，多目视觉因其计算量大，存在一个图像实时匹配问题。而单目视觉抗干扰的能力较低，但是图像的实时匹配性比较强。
智能车是当今车辆的发展趋势，而机器视觉则是智能车必不可少的技术之一。对于智能车所采集到的图像、视频信息，增加预处理步骤可以显著减轻后期处理的工作量，从而改善机器视觉精度，提升智能车整体性能。而如何有效、快速抽取出视频中的前景目标和背景信息，是机器视觉技术中非常重要而基础的问题。
发明内容
为解决现有技术需要先将多个摄像头所采集的视频信息进行融合后，再进行前景检测的技术难题，本发明提出了一种智能车的前景目标机器视觉提取系统及方法。
本发明通过以下技术方案实现：
一种智能车的前景目标机器视觉提取方法：
所述方法具体包括以下步骤：
步骤1：确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
步骤2：根据步骤1确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
步骤3：智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
步骤4：信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。
进一步地，在步骤1中，
因为摄像机视野间具备单应性，将视频中的像素M(X,Y,Z)T在两个摄像机C1，C2内对应的点坐标值分别设为m1＝[x1,y1,1]T以及m2＝[x2,y2,1]T，则有一个3×3的单应变换矩阵H满足
Figure BDA0003838384040000021
其中
Figure BDA0003838384040000022
表示在相差了一个常数因子的情况下m2和Hm1二者是等价的，H是单应矩阵，(m1，m2)是两个摄像机C1，C2的对应点；
从式(1)可知，对于两个角度的摄像机所采集的数据内容，能够通过单应变换将单应变换矩阵H拼接为一个完整的视频图像内容；
不同角度摄像机的单应矩阵是相互关联的，即可得到不同摄像机间所对的单应矩阵：
令
Figure BDA0003838384040000023
并把它表示成向量：h＝(h1,h2,h3,h4,h5,h6,h7,h8)T，则可以通过公式(1)求解关于h的线性方程组：
(x1,y1,1,0,0,0-x2x1,-x2y1)h＝x2 (2)
(0,0,0,x1,y1,1,-y2x1,-y2y1)h＝y2 (3)
即通过不同角度摄像机，采集画面中至少4个对应点就可以线性的解出单应矩阵H。
进一步地，在步骤2中，
所述智能车多摄像机信息融合方案设计基于相对固定的背景和变化的运动目标，将目标物自由移动于两个摄像机视野间，在视野的重叠区域时目标经过，此时将目标在两个视频图像中的位置依次记录下来，获得对应点；
保证对应点位于同一平面内进行采集，选择为目标物较低的像素进行定位处理；
通过迭代运行，得到不同角度摄像机采集画面中的对应点；通过不共线的对应点来完成平面之间的相互转化。
进一步地，在步骤2中，
当多个摄像机处于场景中，首先选取基本坐标系，选择一个摄相机图像的坐标做基准，然后将其余相机的背景图像通过步骤1的单应变换映射到基准坐标系中，形成多相机多摄像机视频信息，最终通过拼合成全景视频背景。
进一步地，在步骤3中，
先建立背景图像的数学模型，然后将当前的输入帧与背景图像相减，并取其绝对值，得到相应的差分图像.
进一步地，在步骤3中，
视频上的各个背景像素点认为在一个特定的值周围波动，并且波动范围服从正态分布；建立每一个像素点的高斯模型如式(4)，完成单高斯模型的初始化；
Figure BDA0003838384040000031
其中ix,y是点(x,y)的像素值；μx,y是点(x,y)的高斯模型均值，δx,y是(x,y)的方差；P(ix,y)是(x,y)像素值为ix,y的概率；
如果点(x,y)的值稳定在某个范围，就判定为没有运动物体进入摄像机，当有物体进入使得点(x,y)的值像素值发生较大改变，背景均值μx,y就会产生偏离，在偏离超过一定阈值TP之后，系统识别该点为前景点。
一种智能车的前景目标机器视觉提取系统：
所述系统包括单应变换模块、智能车多摄像头信息融合模块、智能车静止工况前景检测高斯背景建模模块和前景提取模块；
单应变换模块，用于确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
智能车多摄像头信息融合模块，用于根据单应变换模块确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
智能车静止工况前景检测高斯背景建模模块，用于智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
前景提取模块，用于信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述方法的步骤。
一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述方法的步骤。
本发明有益效果
本发明在车辆行驶过程中，将智能车上装有大量的摄像头所采集的视频数据的融合处理，生成全景影像，保证在车辆是行驶过程中，所采集的视频数据的背景在移动、路况较差或者摄像头有颠簸等恶劣情况下，仍然能够正常工作。
本发明还实现了智能车静止工况下的前景检测，并且将智能车的多个摄像头进行了数据融合处理，使得智能车摄像头能够协同工作，并且在摄像头静止工况下将拼接后的全景视频中的前景检测识别出来，智能车在静止工况所实现的全景视频前景提取说明了前景提取这一技术在智能车领域应用的可行性。
本发明的方法经过验证，在智能车的各种行驶工况下的结果均较为理想；基于机器视觉的智能车前景目标提取，能够给智能车的信息采集提供有效的预处理方法，视频前景检测提取可以应用于行人检测，障碍物躲避，车道线识别、自动泊车等诸多功能的预处理阶段，使得智能车所采集的信息更为快速精准。
附图说明
图1为本发明所述的一种智能车前景目标机器视觉提取原理示意图；
图2为本发明所述的一种智能车前景目标机器视觉提取方法实施流程图；
图3为本发明所述的一种智能车前景目标机器视觉提取重叠区域有目标时的全景视图效果图，其中(a)为C1第201帧、(b)为C2第201帧、(c)为通全景视图；
图4为本发明的内部通讯结构，其中401为存储器、402为处理器、403为通信接口。
具体实施方式
下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
结合图1至图4。
一种智能车的前景目标机器视觉提取方法：
所述方法具体包括以下步骤：
步骤1：确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
步骤2：根据步骤1确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
步骤3：智能车静止工况前景检测高斯背景建模；建立(快速性和准确性较高)单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
步骤4：信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。跟踪的窗口位置也由此矩阵给出；这就需要窗口为目标区域最小的外接矩形，并且需要将目标区域的中心位置记录下来；
在信息融合后前景提取中，对于智能车静止时所采集的视频信息，相邻帧之间背景的变化很小，所以是不需要将每一帧的背景进行更新。
当多摄像机的融合背景数据和单相机的采集背景数据差别较大的条件下，前景和背景的融合结果将会显著恶化；此时需要对全景进行更新，更新策略定义为在单个相机的背景数据的流明均值和融合数据的流明均值差大于所设定阈值时，触发全景背景更新。
在步骤1中，
因为摄像机视野间具备单应性(摄像机成像的原理)，将视频中的像素M(X,Y,Z)T在两个摄像机C1，C2内对应的点坐标值分别设为m1＝[x1,y1,1]T以及m2＝[x2,y2,1]T，则有一个3×3的单应变换矩阵H满足
Figure BDA0003838384040000061
其中
Figure BDA0003838384040000062
表示在相差了一个常数因子的情况下m2和Hm1二者是等价的，H是单应矩阵，(m1，m2)是两个摄像机C1，C2的对应点；
从式(1)可知，对于两个角度的摄像机所采集的数据内容，能够通过单应变换将单应变换矩阵H拼接为一个完整的视频图像内容；
不同角度摄像机的单应矩阵是相互关联的，即可得到不同摄像机间所对的单应矩阵：
令
Figure BDA0003838384040000063
并把它表示成向量：h＝(h1,h2,h3,h4,h5,h6,h7,h8)T，则可以通过公式(1)求解关于h的线性方程组：
(x1,y1,1,0,0,0-x2x1,-x2y1)h＝x2 (2)
(0,0,0,x1,y1,1,-y2x1,-y2y1)h＝y2 (3)
即通过不同角度摄像机，采集画面中至少4个对应点就可以线性的解出单应矩阵H。
在步骤2中，
所述智能车多摄像机信息融合方案设计基于相对固定的背景和变化的运动目标，将目标物自由移动于两个摄像机视野间，在视野的重叠区域时目标经过，此时将目标在两个视频图像中的位置依次记录下来，获得对应点；
保证对应点位于同一平面内进行采集，选择为目标物较低的像素进行定位处理；
通过迭代运行，得到不同角度摄像机采集画面中的对应点；通过不共线的对应点来完成平面之间的相互转化。
当多个摄像机处于场景中，首先选取基本坐标系，选择一个摄相机图像的坐标做基准，然后将其余相机的背景图像通过步骤1的单应变换映射到基准坐标系中，形成多相机多摄像机视频信息，最终通过拼合成全景视频背景。
在步骤3中，
先建立背景图像的数学模型，然后将当前的输入帧与背景图像相减，并取其绝对值，得到相应的差分图像.
对于背景单一的路面工况，处理情形复杂度低，视频上的各个背景像素点认为在一个特定的值周围波动，并且波动范围服从正态分布；建立每一个像素点的高斯模型如式(4)，完成单高斯模型的初始化；
若初始化累计的帧数为N，在N帧之内运动目标从静止变为运动，该方法能有效的平均这种“伪背景”带来的影响。选择一定时间范围内的图像序列，计算每个像素点的像素值平均数和像素平均值的方差建立一个以μx,y和δx,y的高斯模型为初始背景模型；
Figure BDA0003838384040000071
其中ix,y是点(x,y)的像素值；μx,y是点(x,y)的高斯模型均值，δx,y是(x,y)的方差；P(ix,y)是(x,y)像素值为ix,y的概率；
如果点(x,y)的值稳定在某个范围，就判定为没有运动物体进入摄像机，当有物体进入使得点(x,y)的值像素值发生较大改变，较之前相比，背景均值μx,y就会产生偏离，在偏离超过一定阈值TP之后，系统识别该点为前景点。
一种智能车的前景目标机器视觉提取系统：
所述系统包括单应变换模块、智能车多摄像头信息融合模块、智能车静止工况前景检测高斯背景建模模块和前景提取模块；
单应变换模块，用于确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
智能车多摄像头信息融合模块，用于根据单应变换模块确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
智能车静止工况前景检测高斯背景建模模块，用于智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
前景提取模块，用于信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。
本发明在全景监视视图内进行目标跟踪具有许多优势，主要包括：当目标物同时出现在两个视野时，该目标物在重叠区域内的大小与形状几乎是相同的。所以不需要采取一致性判断，直接按照本发明上述的方法就可以把两个视野中的相同目标进行拼合处理。
所述图3(a)、(b)，当目标同时出现在C1，C2两个智能车摄像机视野范围内之后，可以把这两个目标分别映射到全景视图后的效果如图3(c)。由此可得，在全景视图中没有重复出现相同的目标物，进而可以满足前景提取的需求。
一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时实现上述方法的步骤。
一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述方法的步骤。
车辆还包括：
通信接口403，用于存储器401和处理器402之间的通信。
存储器401，用于存放可在处理器402上运行的计算机程序。
存储器401可能包含高速RAM存储器，也可能还包括非易失性存储器non-volatilememory，例如至少一个磁盘存储器。
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构Industry Standard Architecture，简称为ISA总线、外部设备互连PeripheralComponent，简称为PCI总线或扩展工业标准体系结构Extended Industry StandardArchitecture，简称为EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
处理器402可能是一个中央处理器Central Processing Unit，简称为CPU，或者是特定集成电路Application Specific Integrated Circuit，简称为ASIC，或者是被配置成实施本申请实施例的一个或多个集成电路。
以上对本发明所提出的一种智能车的前景目标机器视觉提取系统及方法，进行了详细介绍，对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种智能车的前景目标机器视觉提取方法，其特征在于：
所述方法具体包括以下步骤：
步骤1：确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
步骤2：根据步骤1确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
步骤3：智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
步骤4：信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。
2.根据权利要求1所述方法，其特征在于：在步骤1中，
因为摄像机视野间具备单应性，将视频中的像素M(X,Y,Z)T在两个摄像机C1，C2内对应的点坐标值分别设为m1＝[x1,y1,1]T以及m2＝[x2,y2,1]T，则有一个3×3的单应变换矩阵H满足
Figure QLYQS_1
其中
Figure QLYQS_2
表示在相差了一个常数因子的情况下m2和Hm1二者是等价的，H是单应矩阵，(m1，m2)是两个摄像机C1，C2的对应点；
从式(1)可知，对于两个角度的摄像机所采集的数据内容，能够通过单应变换将单应变换矩阵H拼接为一个完整的视频图像内容；
不同角度摄像机的单应矩阵是相互关联的，即可得到不同摄像机间所对的单应矩阵：
令
Figure QLYQS_3
并把它表示成向量：h＝(h1,h2,h3,h4,h5,h6,h7,h8)T，则可以通过公式(1)求解关于h的线性方程组：
(x1,y1,1,0,0,0-x2x1,-x2y1)h＝x2 (2)
(0,0,0,x1,y1,1,-y2x1,-y2y1)h＝y2 (3)
即通过不同角度摄像机，采集画面中至少4个对应点就可以线性的解出单应矩阵H。
3.根据权利要求1所述方法，其特征在于：在步骤2中，
所述智能车多摄像机信息融合方案设计基于相对固定的背景和变化的运动目标，将目标物自由移动于两个摄像机视野间，在视野的重叠区域时目标经过，此时将目标在两个视频图像中的位置依次记录下来，获得对应点；
保证对应点位于同一平面内进行采集，选择为目标物较低的像素进行定位处理；
通过迭代运行，得到不同角度摄像机采集画面中的对应点；通过不共线的对应点来完成平面之间的相互转化。
4.根据权利要求3所述方法，其特征在于：在步骤2中，
当多个摄像机处于场景中，首先选取基本坐标系，选择一个摄相机图像的坐标做基准，然后将其余相机的背景图像通过步骤1的单应变换映射到基准坐标系中，形成多相机多摄像机视频信息，最终通过拼合成全景视频背景。
5.根据权利要求3所述方法，其特征在于：在步骤3中，
先建立背景图像的数学模型，然后将当前的输入帧与背景图像相减，并取其绝对值，得到相应的差分图像。
6.根据权利要求4所述方法，其特征在于：在步骤3中，
视频上的各个背景像素点认为在一个特定的值周围波动，并且波动范围服从正态分布；建立每一个像素点的高斯模型如式(4)，完成单高斯模型的初始化；
Figure QLYQS_4
其中ix,y是点(x,y)的像素值；μx,y是点(x,y)的高斯模型均值，δx,y是(x,y)的方差；P(ix,y)是(x,y)像素值为ix,y的概率；
如果点(x,y)的值稳定在某个范围，就判定为没有运动物体进入摄像机，当有物体进入使得点(x,y)的值像素值发生较大改变，背景均值μx,y就会产生偏离，在偏离超过一定阈值TP之后，系统识别该点为前景点。
7.一种智能车的前景目标机器视觉提取系统，其特征在于：
所述系统包括单应变换模块、智能车多摄像头信息融合模块、智能车静止工况前景检测高斯背景建模模块和前景提取模块；
单应变换模块，用于确定智能车多摄像机视野间的单应性，根据单应性的映射关系，通过单应变换，将单应变换矩阵拼接为一个完整的视频图像内容；
智能车多摄像头信息融合模块，用于根据单应变换模块确定的摄像机视野间的单应性，进行智能车多摄像头信息融合方案设计；在不同角度摄像机的视野有重叠区域情况下，通过构造多摄像机视野的全景视频视图进行目标提取，将目标一致性判别问题转换为全景视图构造问题；
智能车静止工况前景检测高斯背景建模模块，用于智能车静止工况前景检测高斯背景建模；建立单高斯背景模型，然后用背景差分法提取前景目标，进而对前景进行提取；
前景提取模块，用于信息融合后前景提取；
将目标区域在全景视频前一帧图像的中心位置，到当前帧全景视频图像目标区域的中间位置的位移矩阵，作为前一帧到当前帧的位移矩阵。
8.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中所述方法的步骤。
9.一种计算机可读存储介质，用于存储计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至6中所述方法的步骤。
10.一种车辆，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现权利要求1至6中所述方法的步骤。
CN202211099238.5A 2022-09-08 2022-09-08 一种智能车的前景目标机器视觉提取系统及方法 Withdrawn CN116168357A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211099238.5A CN116168357A (zh) 2022-09-08 2022-09-08 一种智能车的前景目标机器视觉提取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211099238.5A CN116168357A (zh) 2022-09-08 2022-09-08 一种智能车的前景目标机器视觉提取系统及方法

Publications (1)

Publication Number Publication Date
CN116168357A true CN116168357A (zh) 2023-05-26

Family

ID=86417021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211099238.5A Withdrawn CN116168357A (zh) 2022-09-08 2022-09-08 一种智能车的前景目标机器视觉提取系统及方法

Country Status (1)

Country Link
CN (1) CN116168357A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015286A (zh) * 2024-04-09 2024-05-10 杭州像素元科技有限公司 通过背景分割进行收费站车道通行状态检测的方法及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015286A (zh) * 2024-04-09 2024-05-10 杭州像素元科技有限公司 通过背景分割进行收费站车道通行状态检测的方法及装置
CN118015286B (zh) * 2024-04-09 2024-06-11 杭州像素元科技有限公司 通过背景分割进行收费站车道通行状态检测的方法及装置

Similar Documents

Publication Publication Date Title
CN112348921B (zh) 一种基于视觉语义点云的建图方法及系统
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
US20230215187A1 (en) Target detection method based on monocular image
CN109741241B (zh) 鱼眼图像的处理方法、装置、设备和存储介质
CN114067001B (zh) 车载相机角度标定方法、终端及存储介质
CN113781562B (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN111738033B (zh) 基于平面分割的车辆行驶信息确定方法及装置、车载终端
CN111382722A (zh) 车牌图像优选方法、图像处理装置及具有存储功能的装置
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN114792416A (zh) 一种目标检测方法及装置
CN116012817A (zh) 基于双网络深度学习的实时全景车位检测方法、装置
CN112198878A (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN110197104B (zh) 基于车辆的测距方法及装置
CN116168357A (zh) 一种智能车的前景目标机器视觉提取系统及方法
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN117612138A (zh) 一种车位检测方法、装置、设备及存储介质
Yang Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method
CN116703979A (zh) 目标跟踪方法、装置、终端及存储介质
CN114863096B (zh) 室内停车场的语义地图构建及定位方法和装置
CN115965531A (zh) 模型训练方法及图像生成方法、装置、设备和存储介质
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN115240150A (zh) 基于单目相机的车道偏离预警方法、系统、设备及介质
CN113011212B (zh) 图像识别方法、装置及车辆
CN114120260A (zh) 可行驶区域识别方法及其系统、计算机设备、存储介质
CN111640071A (zh) 基于卷积神经网络修复帧差法获取全景前景目标的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20230526

WW01 Invention patent application withdrawn after publication