CN114820332A - 一种车载监控画面优化方法 - Google Patents

一种车载监控画面优化方法 Download PDF

Info

Publication number
CN114820332A
CN114820332A CN202110119108.2A CN202110119108A CN114820332A CN 114820332 A CN114820332 A CN 114820332A CN 202110119108 A CN202110119108 A CN 202110119108A CN 114820332 A CN114820332 A CN 114820332A
Authority
CN
China
Prior art keywords
preset
image
frame
feature point
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110119108.2A
Other languages
English (en)
Inventor
陈锐东
周鹏
覃朗
林积涵
覃云萍
王娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Automobile Group Co Ltd
Original Assignee
Guangzhou Automobile Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Automobile Group Co Ltd filed Critical Guangzhou Automobile Group Co Ltd
Priority to CN202110119108.2A priority Critical patent/CN114820332A/zh
Publication of CN114820332A publication Critical patent/CN114820332A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种车载监控画面优化方法，所述方法包括当车载监控系统处于开启状态时，判断车身是否处于抖动状态；当判定车身处于抖动状态时，获取多帧连续的第一图像，提取预设特征点并识别预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的；分别在模糊不清的每帧第一图像的预设特征点中提取第二特征点，并根据第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合，得到最优变换矩阵；根据最优变换矩阵、模糊不清的每帧第一图像的前一帧，对模糊不清的每帧第一图像进行运动补偿。通过本发明，解决了现有车身抖动致监控系统获取图像质量差的问题。

Description

一种车载监控画面优化方法
技术领域
本发明涉及车载监控技术领域，尤其涉及一种车载监控画面优化方法。
背景技术
汽车已成为现代社会一种主要的交通运输工具，行车记录仪即记录车辆行驶途中的影像及声音等相关资讯的仪器。安装行车记录仪后，能够记录汽车行驶全过程的视频图像和声音，可为交通事故提供证据，喜欢自驾游的人，还可以用它来记录征服艰难险阻的过程，开车时边走边录像，同时把时间、速度、所在位置都记录在录像里，相当“黑匣子”，也可在家用作DV拍摄生活乐趣，或者作为家用监控使用，平时还可以做停车监控，安装行车记录仪，视频资料不可以裁剪，如果裁剪，在责任事故发生后则无法提供帮助，也是为了防止现在社会那些不可避免的碰瓷行为，行车记录仪为人们的驾乘生活提供了极大的方便。
但是在实际的应用中，在特定的场景下，如过减速带、过坎、在道路不平整的状态下，车身抖动较大，监控系统摄取的影像画面会产生抖动，成像质量较低。
发明内容
本发明所要解决的技术问题在于，提供一种车载监控画面优化方法，用于解决现有车身抖动，导致车载监控系统获取图像质量差问题。
本发明提供的一种车载监控画面优化方法，所述方法包括：
步骤S11、当车载监控系统处于开启状态时，实时获取车身抖动状态信号；
步骤S12、根据所述车身抖动状态信号，判断车身是否处于抖动状态；
步骤S13、当判定所述车身处于抖动状态时，所述车载监控系统以预设第一帧率拍摄获取多帧连续的第一图像；
步骤S14、从所述第一图像中提取预设特征点并识别所述预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断所述景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的；
步骤S15、根据预设条件，分别在模糊不清的所述每帧第一图像的所述预设特征点中提取第二特征点，并根据所述第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合，根据所述特征点集合得到最优变换矩阵；
步骤S16、根据与所述特征点集合对应的最优变换矩阵、与所述特征点集合对应的模糊不清的每帧第一图像的前一帧第一图像，对所述与所述特征点集合对应的模糊不清的每帧第一图像进行运动补偿。
进一步地，所述从所述第一图像中提取预设特征点并识别所述预设特征点的景深具体包括：
对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，在所述每个被分隔区域的第一特征点中提取预设特征点并识别所述预设特征点的景深。
进一步地，所述对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，具体包括：
步骤S31、将每帧第一图像按照预设2n等分均匀划分成2n个被分隔区域，所述n为大于等于3的整数；
步骤S32、利用公式
Figure BDA0002921358420000021
计算每个被分隔区域的特征，所述Pi为第i个被分隔区域的特征，所述Ci为第i个被分隔区域中像素值为255的像素的个数，所述N*M为所述每帧第一图像的分辨率，所述i小于或者等于2n；
步骤S33、根据计算出的第i个被分隔区域的特征值，确定所述第i个被分隔区域的特征对应的像素点为第一特征点；
步骤S34、将每帧所述第一图像中每个被分隔区域的第一特征点分别进行归集，构成每帧第一图像的特征向量集。
进一步地，所述根据所述特征点集合得到最优变换矩阵具体包括：
在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵。
进一步地，所述在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵，具体包括：
步骤S61、从每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本；
步骤S62、根据所述三维空间样本、与所述三维空间样本在特征对象上一致的预训练的对应样本计算与所述特征点集合对应的变换矩阵，具体公式包括：
Figure BDA0002921358420000031
其中，所述M为与所述特征点集合对应的变换矩阵，i为预设第一数量加一，所述pi为所述三维空间样本的每一第二特征点的灰度值，所述qi为对应的所述预训练的对应样本的每一个像素点的灰度值；所述
Figure BDA0002921358420000032
为所述三维空间样本的所有第二特征点的灰度值之和除以第二特征点的个数，所述
Figure BDA0002921358420000033
为对应的所述预训练的对应样本的所有像素点的灰度值之和除以像素个数；
步骤S63、将所述特征点集合中的所有所述第二特征点所携带的灰度数据代入所述与所述特征点集合对应的变换矩阵中，统计匹配所述变换矩阵的所述第二特征点的个数；
步骤S64、利用所述匹配所述变换矩阵的所述第二特征点的个数除以与所述变换矩阵对应的所述特征点集合中所有所述第二特征点的个数得到比例值，比较所述比例值与所述预设比例阈值的大小，当所述比例值小于所述比例值阈值时，重复执行步骤S61、步骤S62、步骤S63和步骤S64直到所述比例值等于或者大于所述预设比例阈值，最后一次执行步骤S62得到的与所述特征点集合对应的变换矩阵为与所述特征点集合对应的最优变换矩阵。
进一步地，所述从所述第一图像中提取预设特征点并识别所述预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断所述景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的，具体包括：
步骤S41、将所述每帧第一图像的特征向量集输入已预训练的神经网络；
步骤S42、所述预训练的神经网络在每帧第一图像的所有第一特征点中搜索预设特征点并进行标记；
步骤S43、所述已预训练的神经网络识别所述预设特征点的景深并再次进行标记，提取每帧第一图像中景深最浅的预设特征点；
步骤S44、比较所述景深最浅的预设特征点的模糊数值与所述预设模糊阈值，并当所述景深最浅的预设特征点的模糊数值低于所述预设模糊阈值时，判定所述景深最浅的预设特征点归属的该帧第一图像是模糊不清的。
进一步地，所述步骤S15具体包括：
根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合。
进一步地，所述根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合具体包括：
步骤S51、分别以所述模糊不清的所述每帧第一图像的各个预设特征点为圆心，以预设半径长画圆；
步骤S52、在每个圆的路径上随机选取预设第二数量个像素点；
步骤S53、分别计算每个被选中的像素点的像素值与圆心的像素值的差值的绝对值；
步骤S54、在一个圆上，当所述差值的绝对值大于预设差值阈值的像素点个数大于预设第三数量时，确定所述圆心所在像素点为第二特征点；
步骤S55、将所述模糊不清的每帧第一图像中的第二特征点构建成与所述模糊不清的每帧第一图像对应的特征点集合。
进一步地，所述步骤S16具体包括：
步骤S71、选择模糊不清的每帧第一图像的前一帧第一图像为补偿的参考图像；
步骤S72、根据所述模糊不清的每帧第一图像与所述特征点集合对应关系，以及特征点集合与最优变换矩阵对应关系，选择与所述补偿的参考图像对应的最优变换矩阵；
步骤S73、将所述补偿的参考图像的齐次坐标和与所述补偿的参考图像对应的最优变换矩阵相乘得到补偿后的每帧第一图像的齐次坐标；
步骤S74、将所述补偿后的每帧第一图像通过双线性插值法将所述补偿后的每帧第一图像的齐次坐标中非整数的坐标转换成整数坐标，得到与所述模糊不清的每帧第一图像对应的运动补偿的每帧第一图像。
进一步地，所述步骤S13还包括：当判定所述车身未处于抖动状态时，向所述车载监控系统发送执行第二拍摄模式保持指令，以使得所述车载监控系统保持现有的预设第二帧率继续拍摄。
实施本发明，具有如下有益效果：
通过本发明，根据视频帧图像的特征点来定位特定的拍摄对象，并根据前后两张帧图像的角点特征的变化来确定特定拍摄对象的运动方向，得到当前视频帧图像和前一帧视频帧图像之间的运动信息。在当前视频帧图像中找到了特征点的位置，并且根据前一帧视频帧图像中特征点的位置，就可以使用这两组特征点来找到将前一帧视频帧图像映射到当前视频帧图像的图像变换，通过前一帧的参考补偿，可以获得更为平滑的运动轨迹；解决了现有因车身抖动，导致车载监控系统获取图像质量差的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的车载监控画面优化方法的流程图。
具体实施方式
本专利中，以下结合附图和实施例对该具体实施方式做进一步说明。
如图1所示，本发明实施例提供了车载监控画面优化方法，所述方法包括：
步骤S11、当车载监控系统处于开启状态时，实时获取车身抖动状态信号。
在本实施例中，可以先监测车载监控系统的工作状态，当车载监控系统处于开启状态时，然后实时获取车身抖动状态信号。
所述步骤S11具体包括：
步骤S21、当车载监控系统处于开启状态时，检测发动机发动行驶状态；
步骤S22、在检测到发动机发动行驶后，实时检测车身抖动状态，获取车身抖动状态信号。
需要说明的是，先检测到发动机发动行驶后，才开启对车身抖动状态的检测，节约电能和计算资源。
步骤S12、根据所述车身抖动状态信号，判断车身是否处于抖动状态。
在本实施例中，抖动达到一定抖动幅度，才能判定车身处于抖动状态，排除车身正常抖动的干扰。
步骤S13、当判定所述车身处于抖动状态时，向所述车载监控系统发送执行第一拍摄模式唤醒指令，以使得所述车载监控系统以预设第一帧率拍摄获取多帧连续的第一图像。
在本实施例中，判定所述车身处于抖动状态时，需要以10帧/秒的帧率拍摄获取多帧连续的第一图像；当判定所述车身未处于抖动状态时，向所述车载监控系统发送执行第二拍摄模式保持指令，以使得所述车载监控系统保持现有的预设第二帧率继续拍摄。
步骤S14、从所述第一图像中提取预设特征点并识别所述预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断所述景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的。
进一步地，所述从所述第一图像中提取预设特征点并识别所述预设特征点的景深具体包括：
对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，在所述每个被分隔区域的第一特征点中提取预设特征点并识别所述预设特征点的景深。
进一步地，所述对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，具体包括：
步骤S31、将每帧第一图像按照预设2n等分均匀划分成2n个被分隔区域，所述n为大于等于3的整数；
在本实施例中，n一般取4会有比较好的效果。
步骤S32、利用公式
Figure BDA0002921358420000071
计算每个被分隔区域的特征，所述Pi为第i个被分隔区域的特征，所述Ci为第i个被分隔区域中像素值为255的像素的个数，所述N*M为所述每帧第一图像的分辨率，所述i小于或者等于2n；
步骤S33、根据计算出的第i个被分隔区域的特征值，确定所述第i个被分隔区域的特征对应的像素点为第一特征点；
步骤S34、将每帧所述第一图像中每个被分隔区域的第一特征点分别进行归集，构成每帧第一图像的特征向量集。
进一步地，所述步骤S14具体包括：
步骤S41、将所述每帧第一图像的特征向量集输入已预训练的神经网络；
需要说明的是，已预训练的神经网络能够识别预设特征点，例如，预设特征点包括“人”、“机动车”和“动物”，在步骤S42中，已预训练的神经网络可以在第一特征点中将“人”、“机动车”和“动物”识别出来。
步骤S42、所述已预训练的神经网络在每帧第一图像的所有第一特征点中搜索预设特征点并进行标记；
步骤S43、所述已预训练的神经网络识别所述预设特征点的景深并再次进行标记，提取每帧第一图像中景深最浅的预设特征点；
步骤S44、比较所述景深最浅的预设特征点的模糊数值与所述预设模糊阈值，并当所述景深最浅的预设特征点的模糊数值低于所述预设模糊阈值时，判定所述景深最浅的预设特征点归属的该帧第一图像是模糊不清的。
在本实施例中，步骤S14的目的在于将模糊不清的第一图像全部识别出来，用于后续进行补偿处理。
其中，最浅景深平面和次级景深平面可基于ISAWO分割算法来实现同一副图像中不同对象所在景深平面的识别测定，通过融合、纹理、模糊值、透视大小、颜色信息等参数来进行景深平面的计算判别。
步骤S15、根据预设条件，分别在模糊不清的所述每帧第一图像的所述预设特征点中提取第二特征点，并根据所述第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合，根据所述特征点集合得到最优变换矩阵。
进一步地，所述步骤S15具体包括：
根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合。
更进一步地，所述根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合具体包括:
步骤S51、分别以所述模糊不清的所述每帧第一图像的各个预设特征点为圆心，以预设半径长画圆；
步骤S52、在每个圆的路径上随机选取预设第二数量个像素点；
步骤S53、分别计算每个被选中的像素点的像素值与圆心的像素值的差值的绝对值；
步骤S54、在一个圆上，当所述差值的绝对值大于预设差值阈值的像素点个数大于预设第三数量时，确定所述圆心所在像素点为第二特征点；
步骤S55、将所述模糊不清的每帧第一图像中的第二特征点构建成与所述模糊不清的每帧第一图像对应的特征点集合。
进一步地，所述根据所述特征点集合得到最优变换矩阵具体包括：
在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵。
具体地，所述在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵，具体包括：
步骤S61、从每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本；
步骤S62、根据所述三维空间样本、与所述三维空间样本在特征对象上一致的预训练的对应样本计算与所述特征点集合对应的变换矩阵，具体公式包括：
Figure BDA0002921358420000091
其中，所述M为与所述特征点集合对应的变换矩阵，i为预设第一数量加一，所述pi为所述三维空间样本的每一第二特征点的灰度值，所述qi为对应的所述预训练的对应样本的每一个像素点的灰度值；所述
Figure BDA0002921358420000092
为所述三维空间样本的所有第二特征点的灰度值之和除以第二特征点的个数，所述
Figure BDA0002921358420000093
为对应的所述预训练的对应样本的所有像素点的灰度值之和除以像素个数；
需要说明的是，例如特征对象包括“人”、“机动车”和“动物”，当三维空间样本为“人”这一对象时，预训练的对应样本也必须为“人”这一对象，三维空间样本和预训练的对应样本必须在该对象特征上保持一致。
步骤S63、将所述特征点集合中的所有所述第二特征点所携带的灰度数据代入所述与所述特征点集合对应的变换矩阵中，统计匹配所述变换矩阵的所述第二特征点的个数；
在本实施例中，匹配所述变换矩阵的第二特征点，允许有容差偏移量±0.05。
步骤S64、利用所述匹配所述变换矩阵的所述第二特征点的个数除以与所述变换矩阵对应的所述特征点集合中所有所述第二特征点的个数得到比例值，比较所述比例值与所述预设比例阈值的大小，当所述比例值小于所述比例值阈值时，重复执行步骤S61、步骤S62、步骤S63和步骤S64直到所述比例值等于或者大于所述预设比例阈值，最后一次执行步骤S62得到的与所述特征点集合对应的变换矩阵为与所述特征点集合对应的最优变换矩阵。
步骤S16、根据与所述特征点集合对应的最优变换矩阵、与所述特征点集合对应的模糊不清的每帧第一图像的前一帧第一图像，对所述与所述特征点集合对应的模糊不清的每帧第一图像进行运动补偿。
进一步地,步骤S16具体包括：
步骤S71、选择模糊不清的每帧第一图像的前一帧第一图像为补偿的参考图像；
步骤S72、根据所述模糊不清的每帧第一图像与所述特征点集合对应关系，以及特征点集合与最优变换矩阵对应关系，选择与所述补偿的参考图像对应的最优变换矩阵；
步骤S73、将所述补偿的参考图像的齐次坐标和与所述补偿的参考图像对应的最优变换矩阵相乘得到补偿后的每帧第一图像的齐次坐标；
实现步骤S73的公式具体为：
Figure BDA0002921358420000101
其中，补偿后的每帧第一图像的齐次坐标为(x’,y’,1)，所述补偿的参考图像的齐次坐标为(x,y,1)，所述M为与所述补偿的参考图像对应的最优变换矩阵。
步骤S74、将所述补偿后的每帧第一图像通过双线性插值法将所述补偿后的每帧第一图像的齐次坐标中非整数的坐标转换成整数坐标，得到与所述模糊不清的每帧第一图像对应的运动补偿的每帧第一图像。
在本实施例中，运动补偿的每帧第一图像就是在模糊不清的每帧第一图像进行运动补偿后得到。
实施本发明，具有如下有益效果：
通过本发明，根据视频帧图像的特征点来定位特定的拍摄对象，并根据前后两张帧图像的角点特征的变化来确定特定拍摄对象的运动方向，得到当前视频帧图像和前一帧视频帧图像之间的运动信息。在当前视频帧图像中找到了特征点的位置，并且根据前一帧视频帧图像中特征点的位置，就可以使用这两组特征点来找到将前一帧视频帧图像映射到当前视频帧图像的图像变换，通过前一帧的参考补偿，可以获得更为平滑的运动轨迹；解决了现有因车身抖动，导致车载监控系统获取图像质量差的问题。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种车载监控画面优化方法，其特征在于，所述方法包括：
步骤S11、当车载监控系统处于开启状态时，实时获取车身抖动状态信号；
步骤S12、根据所述车身抖动状态信号，判断车身是否处于抖动状态；
步骤S13、当判定所述车身处于抖动状态时，所述车载监控系统以预设第一帧率拍摄获取多帧连续的第一图像；
步骤S14、从所述第一图像中提取预设特征点并识别所述预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断所述景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的；
步骤S15、根据预设条件，分别在模糊不清的所述每帧第一图像的所述预设特征点中提取第二特征点，并根据所述第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合，根据所述特征点集合得到最优变换矩阵；
步骤S16、根据与所述特征点集合对应的最优变换矩阵、与所述特征点集合对应的模糊不清的每帧第一图像的前一帧第一图像，对所述与所述特征点集合对应的模糊不清的每帧第一图像进行运动补偿。
2.如权利要求1所述方法，其特征在于，所述从所述第一图像中提取预设特征点并识别所述预设特征点的景深具体包括：
对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，在所述每个被分隔区域的第一特征点中提取预设特征点并识别所述预设特征点的景深。
3.如权利要求2所述方法，其特征在于，所述对每帧所述第一图像进行二值化处理，分别得到每帧所述第一图像的特征向量集，所述特征向量集包括对应的一帧第一图像中每个被分隔区域的第一特征点，具体包括：
步骤S31、将每帧第一图像按照预设2n等分均匀划分成2n个被分隔区域，所述n为大于等于3的整数；
步骤S32、利用公式
Figure FDA0002921358410000011
计算每个被分隔区域的特征，所述Pi为第i个被分隔区域的特征，所述Ci为第i个被分隔区域中像素值为255的像素的个数，所述N*M为所述每帧第一图像的分辨率，所述i小于或者等于2n；
步骤S33、根据计算出的第i个被分隔区域的特征值，确定所述第i个被分隔区域的特征对应的像素点为第一特征点；
步骤S34、将每帧所述第一图像中每个被分隔区域的第一特征点分别进行归集，构成每帧第一图像的特征向量集。
4.如权利要求1所述方法，其特征在于，所述根据所述特征点集合得到最优变换矩阵具体包括：
在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵。
5.如权利要求4所述方法，其特征在于，所述在每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本，并根据所述三维空间样本计算与所述特征点集合对应的变换矩阵，根据每一所述特征点集合反复构建所述三维空间样本并计算与所述特征点集合对应的变换矩阵，直至匹配所述变换矩阵的所述第二特征点的个数与所述变换矩阵对应的特征点集合中所有所述第二特征点的个数的比例值超过预设比例阈值，将得到的与所述特征点集合对应的变换矩阵确定为与所述特征点集合对应的最优变换矩阵，具体包括：
步骤S61、从每一所述特征点集合中随机选取预设第一数量个位于最浅景深平面的第二特征点和一个位于次级景深平面的第二特征点构建与所述特征点集合对应的三维空间样本；
步骤S62、根据所述三维空间样本、与所述三维空间样本在特征对象上一致的预训练的对应样本计算与所述特征点集合对应的变换矩阵，具体公式包括：
Figure FDA0002921358410000031
其中，所述M为与所述特征点集合对应的变换矩阵，i为预设第一数量加一，所述pi为所述三维空间样本的每一第二特征点的灰度值，所述qi为对应的所述预训练的对应样本的每一个像素点的灰度值；所述
Figure FDA0002921358410000032
为所述三维空间样本的所有第二特征点的灰度值之和除以第二特征点的个数，所述
Figure FDA0002921358410000033
为对应的所述预训练的对应样本的所有像素点的灰度值之和除以像素个数；
步骤S63、将所述特征点集合中的所有所述第二特征点所携带的灰度数据代入所述与所述特征点集合对应的变换矩阵中，统计匹配所述变换矩阵的所述第二特征点的个数；
步骤S64、利用所述匹配所述变换矩阵的所述第二特征点的个数除以与所述变换矩阵对应的所述特征点集合中所有所述第二特征点的个数得到比例值，比较所述比例值与所述预设比例阈值的大小，当所述比例值小于所述比例值阈值时，重复执行步骤S61、步骤S62、步骤S63和步骤S64直到所述比例值等于或者大于所述预设比例阈值，最后一次执行步骤S62得到的与所述特征点集合对应的变换矩阵为与所述特征点集合对应的最优变换矩阵。
6.如权利要求1所述方法，其特征在于，所述从所述第一图像中提取预设特征点并识别所述预设特征点的景深，根据预设模糊阈值以及景深最浅的预设特征点的模糊数值判断所述景深最浅的预设特征点归属的该帧第一图像是否是模糊不清的，具体包括：
步骤S41、将所述每帧第一图像的特征向量集输入已预训练的神经网络；
步骤S42、所述已预训练的神经网络在每帧第一图像的所有第一特征点中搜索预设特征点并进行标记；
步骤S43、所述已预训练的神经网络识别所述预设特征点的景深并再次进行标记，提取每帧第一图像中景深最浅的预设特征点；
步骤S44、比较所述景深最浅的预设特征点的模糊数值与所述预设模糊阈值，并当所述景深最浅的预设特征点的模糊数值低于所述预设模糊阈值时，判定所述景深最浅的预设特征点归属的该帧第一图像是模糊不清的。
7.如权利要求1所述方法，其特征在于，所述步骤S15具体包括：
根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合。
8.如权利要求7所述方法，其特征在于，所述根据预设条件，利用FAST角点特征提取算法在模糊不清的所述每帧第一图像的所述预设特征点中分别提取对应的第二特征点，并根据所述对应的第二特征点分别构建与所述模糊不清的每帧第一图像对应的特征点集合具体包括：
步骤S51、分别以所述模糊不清的所述每帧第一图像的各个预设特征点为圆心，以预设半径长画圆；
步骤S52、在每个圆的路径上随机选取预设第二数量个像素点；
步骤S53、分别计算每个被选中的像素点的像素值与圆心的像素值的差值的绝对值；
步骤S54、在一个圆上，当所述差值的绝对值大于预设差值阈值的像素点个数大于预设第三数量时，确定所述圆心所在像素点为第二特征点；
步骤S55、将所述模糊不清的每帧第一图像中的第二特征点构建成与所述模糊不清的每帧第一图像对应的特征点集合。
9.如权利要求1所述方法，其特征在于，所述步骤S16具体包括：
步骤S71、选择模糊不清的每帧第一图像的前一帧第一图像为补偿的参考图像；
步骤S72、根据所述模糊不清的每帧第一图像与所述特征点集合对应关系，以及特征点集合与最优变换矩阵对应关系，选择与所述补偿的参考图像对应的最优变换矩阵；
步骤S73、将所述补偿的参考图像的齐次坐标和与所述补偿的参考图像对应的最优变换矩阵相乘得到补偿后的每帧第一图像的齐次坐标；
步骤S74、将所述补偿后的每帧第一图像通过双线性插值法将所述补偿后的每帧第一图像的齐次坐标中非整数的坐标转换成整数坐标，得到与所述模糊不清的每帧第一图像对应的运动补偿的每帧第一图像。
10.如权利要求1所述方法，其特征在于，所述步骤S13还包括：当判定所述车身未处于抖动状态时，向所述车载监控系统发送执行第二拍摄模式保持指令，以使得所述车载监控系统保持现有的预设第二帧率继续拍摄。
CN202110119108.2A 2021-01-28 2021-01-28 一种车载监控画面优化方法 Pending CN114820332A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110119108.2A CN114820332A (zh) 2021-01-28 2021-01-28 一种车载监控画面优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110119108.2A CN114820332A (zh) 2021-01-28 2021-01-28 一种车载监控画面优化方法

Publications (1)

Publication Number Publication Date
CN114820332A true CN114820332A (zh) 2022-07-29

Family

ID=82526970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110119108.2A Pending CN114820332A (zh) 2021-01-28 2021-01-28 一种车载监控画面优化方法

Country Status (1)

Country Link
CN (1) CN114820332A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN111209920A (zh) * 2020-01-06 2020-05-29 桂林电子科技大学 一种复杂动态背景下飞机检测方法
CN111461995A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 基于近似稠密光流法和基准帧更新的视频消旋方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105872370A (zh) * 2016-03-31 2016-08-17 深圳中兴力维技术有限公司 视频去抖动方法和装置
CN106851102A (zh) * 2017-02-24 2017-06-13 北京理工大学 一种基于捆绑测地线路径优化的视频稳像方法
CN111209920A (zh) * 2020-01-06 2020-05-29 桂林电子科技大学 一种复杂动态背景下飞机检测方法
CN111461995A (zh) * 2020-03-31 2020-07-28 武汉卓目科技有限公司 基于近似稠密光流法和基准帧更新的视频消旋方法及装置

Similar Documents

Publication Publication Date Title
CN109460709B (zh) 基于rgb和d信息融合的rtg视觉障碍物检测的方法
KR101935399B1 (ko) 심층 신경망 알고리즘 기반 광역 다중 객체 감시 시스템
CN112987759A (zh) 基于自动驾驶的图像处理方法、装置、设备及存储介质
CN110298300B (zh) 一种检测车辆违章压线的方法
CN107967806A (zh) 车辆套牌检测方法、装置、可读存储介质及电子设备
CN111860274B (zh) 基于头部朝向与上半身骨架特征的交警指挥手势识别方法
CN107665327B (zh) 一种车道线检测方法及装置
CN103824066A (zh) 一种基于视频流的车牌识别方法
CN105741559A (zh) 一种基于车道线模型的违法占用应急车道检测方法
JP2001216519A (ja) 交通監視装置
CN109117702B (zh) 目标车辆的检测与跟踪计数方法及系统
KR101756848B1 (ko) 불법 주정차 관리 시스템
CN111967396A (zh) 障碍物检测的处理方法、装置、设备及存储介质
CN108694387B (zh) 一种虚假车牌过滤方法及装置
CN101369312B (zh) 检测图像中交叉口的方法和设备
CN108921147B (zh) 一种基于动态纹理和变换域时空特征的黑烟车识别方法
CN112766046B (zh) 一种目标检测方法及相关装置
KR101911239B1 (ko) 불법 주정차 단속을 위한 채널 확대 운영 시스템
CN112070039B (zh) 一种基于哈希编码的车辆碰撞检测方法及系统
JP3914447B2 (ja) 画像式車両感知システム及び画像式車両感知方法
KR102506971B1 (ko) 딥러닝 기반의 후방 촬영을 통한 이륜자동차 번호판 인식 방법 및 시스템
CN105206060B (zh) 一种基于sift特征的车型识别装置及其方法
CN116152758A (zh) 一种智能实时事故检测及车辆跟踪方法
CN114820332A (zh) 一种车载监控画面优化方法
CN113378803B (zh) 一种道路交通事故检测方法、装置、计算机及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination