CN117011143A - 一种行车记录仪视频稳像方法及系统 - Google Patents
一种行车记录仪视频稳像方法及系统 Download PDFInfo
- Publication number
- CN117011143A CN117011143A CN202310999425.7A CN202310999425A CN117011143A CN 117011143 A CN117011143 A CN 117011143A CN 202310999425 A CN202310999425 A CN 202310999425A CN 117011143 A CN117011143 A CN 117011143A
- Authority
- CN
- China
- Prior art keywords
- image
- sampling
- corner
- target
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000087 stabilizing effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005070 sampling Methods 0.000 claims abstract description 139
- 230000004927 fusion Effects 0.000 claims abstract description 54
- 238000001514 detection method Methods 0.000 claims abstract description 47
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 25
- 238000003708 edge detection Methods 0.000 claims description 11
- 238000009499 grossing Methods 0.000 claims description 11
- 230000008030 elimination Effects 0.000 claims description 7
- 238000003379 elimination reaction Methods 0.000 claims description 7
- 238000013075 data extraction Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims 1
- 230000006872 improvement Effects 0.000 abstract description 3
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000006641 stabilisation Effects 0.000 description 4
- 238000011105 stabilization Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000005311 autocorrelation function Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种行车记录仪视频稳像方法及系统，涉及视频稳像技术领域，方法包括：连接目标行车记录仪，提取原始车载视频数据，对原始车载视频数据进行抽样处理，获取抽样图像帧数据，对抽样图像帧数据进行目标识别并分割，获取目标区域图像和背景区域图像，对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，根据目标角点信息和背景角点信息对抽样图像帧数据进行图像配准，根据图像配准结果，对抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
Description
技术领域
本发明涉及视频稳像技术领域，具体涉及一种行车记录仪视频稳像方法及系统。
背景技术
随着社会经济的高速发展以及人们对行车安全需求的不断提升，行车记录仪也在逐渐发展，图像拼接法是图像稳定中的重要组成部分，发挥着重要的作用。通过对传统行车记录仪中发现的问题进行分析，研究稳像中的图像拼接以及相应的角点检测匹配，总结传统行车记录仪中的问题，改进传统稳像方法，对于行车安全，执法记录具有非常重要的意义。
解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
发明内容
本申请提供了一种行车记录仪视频稳像方法及系统，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
鉴于上述问题，本申请提供了一种行车记录仪视频稳像方法及系统。
第一方面，本申请提供了一种行车记录仪视频稳像方法，所述方法包括：连接目标行车记录仪，提取原始车载视频数据；对原始车载视频数据进行抽样处理，获取抽样图像帧数据；对抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；根据目标角点信息和背景角点信息对抽样图像帧数据进行图像配准，获得图像配准结果；根据图像配准结果，对抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
第二方面，本申请提供了一种行车记录仪视频稳像系统，系统包括：数据提取模块：连接目标行车记录仪，提取原始车载视频数据；抽样处理模块：所述抽样处理模块用于对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据；目标识别模块：所述目标识别模块用于对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；角点检测模块：所述角点检测模块用于对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；图像配准模块：所述图像配准模块用于根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果；拼接融合模块：所述拼接融合模块用于根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
本申请实施例提供的一种行车记录仪视频稳像方法，连接目标行车记录仪，提取原始车载视频数据，对原始车载视频数据进行抽样处理，获取抽样图像帧数据，对抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像，对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，根据目标角点信息和背景角点信息对抽样图像帧数据进行图像配准，获得图像配准结果，根据图像配准结果，对抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
附图说明
图1为本申请提供了一种行车记录仪视频稳像方法流程示意图；
图2为本申请提供了一种行车记录仪视频稳像方法中根据识别结果进行目标区域分割流程示意图；
图3为本申请提供了一种行车记录仪视频稳像方法中对目标区域图像和背景区域图像进行角点检测流程示意图；
图4为本申请提供了一种行车记录仪视频稳像系统结构示意图。
附图标记说明：数据提取模块a，抽样处理模块b，目标识别模块c，角点检测模块d，图像配准模块e，拼接融合模块f。
具体实施方式
本申请通过提供一种行车记录仪视频稳像方法，连接目标行车记录仪，将原始车载视频数据提取出来，再对原始车载视频数据进行抽样处理，对得到的抽样图像帧数据进行目标识别，并对目标区域进行分割，再对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，根据信息对抽样图像帧数据进行图像配准，获得图像配准结果，根据得到的图像配准结果，对抽样图像帧数据进行图像拼接融合，最后通过融合结果来获得稳像视频，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
实施例一
如图1所示，本申请提供了一种行车记录仪视频稳像方法，方法包括：
步骤S100：连接目标行车记录仪，提取原始车载视频数据；
具体而言，行车记录仪是一种车辆在行驶过程中的视频采集设备，由目标行车记录仪采集的视频称为原始车载视频数据，原始车载视频数据没有经过任何的稳像处理。原始车载视频数据的提取为后续进行抽样处理提供数据基础。
步骤S200：对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据；
具体而言，由于原始车载视频数据过于庞大，且在相邻的两视频帧之间会出现大量的重复冗余的信息，对后续车载稳像处理的计算需求增大，会大大降低稳像算法运行效率。所以需对原始车载视频数据进行抽样处理，将其每隔一定帧数的视频帧进行抽样，相当于将原始车载视频数据进行一定比例的压缩，减小了算法计算的压力，提高整体运行的效率。
步骤S300：对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；
具体而言，对抽样图像帧数据的各区域边界进行识别，并在各区域边界进行标注，标注结果即为识别结果。对成分采用基于图像边缘特征的边缘分割法对该图像数据进行分割。根据识别结果，采用合适的边缘检测算子，对图像帧中的各区域边界进行提取，并对边界上的像素点进行标记，根据标记结果进行分割，获得目标区域图像和背景区域图像。目标区域图像为行人、机动车、电动车自行车等，背景区域图像为除目标区域外的背景区域，如马路、人行横道等。目标区域图像和背景区域图像获取为后续进行角点检测提供数据基础。
步骤S400：对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；
具体而言，角点检测是指获取图像特征的一种方法，属于计算机视觉领域，一般角点检测有Brisk角点检测，Fast角点检测和Harris角点检测等，角点检测广泛应用在模式识别、目标跟踪和图像配准等领域，在许多情况中也将其称为特征点检测。在本申请中包括但不限于以Harris角点检测作为方法。Harris角点检测算法通过建立图像滑动窗口在目标区域图像进行滑动，在滑动窗口中对灰度值变化较大的点进行寻找和标记，对灰度值变化最大的点进行标记提取，此点即为目标角点，所对应的信息即为目标角点信息；同理，Harris角点检测算法通过建立图像滑动窗口在背景区域图像进行滑动，得到的点为背景角点，所对应的信息为背景角点信息。相比于其他角点检测算法，Harris算法检测数量多，且检测准确度较高，基本不会出现明显误检角点。角点即为亮度变化剧烈的点，对角点进行检测分析，能够既保留图像重要特征又能大量减少信息的数据量，减小了计算压力，进而提高了整体效率，且目标角点信息和背景角点信息的获得，为后续抽样图像帧数据图像的配准提供数据基础。
步骤S500：根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果；
具体而言，图像配准是指对于同一对象在不同条件下如不同角度，不同图像采集设备或不同采集时间采集到的图像进行比较和融合。在抽样图像帧数据中随机抽取两张抽样帧，对两张抽样帧进行目标角点信息和背景角点信息提取，再将目标角点信息和背景角点信息中的角点像素块进行提取，将两张抽样帧的角点像素块进行图像配准，配准结果即为图像配准结果。即通过空间变换将两个抽样帧图像进行映射关系寻找，将两幅抽样帧图像之间的空间对应点一一对应起来，从而达到信息融合的目的。图像配准结果的获取，为后续对抽样图像帧数据进行图像拼接融合提供数据基础。
步骤S600：根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
具体而言，图像拼接融合是指在同一个场景中将多个重叠图像拼接为一个较大图像的方法，具体方式为，将两张待拼接的图像根据图像配准结果进行拼接位置识别，在拼接位置将两幅图像拼接融合，再对边界进行平滑处理，得到拼接图像，将拼接融合图像作为视频帧组合起来即为稳像视频。拼接融合后得到的视频更加稳定且视野更大分辨率更高，在更适合行车记录仪的使用场景。
进一步的，本申请通过提供一种行车记录仪视频稳像方法，连接目标行车记录仪，将原始车载视频数据提取出来，再对原始车载视频数据进行抽样处理，对得到的抽样图像帧数据进行目标识别，并对目标区域进行分割，再对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，根据信息对抽样图像帧数据进行图像配准，获得图像配准结果，根据得到的图像配准结果，对抽样图像帧数据进行图像拼接融合，最后通过融合结果来获得稳像视频，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
进一步而言，如图2所示，本申请步骤S300还包括：
步骤S310：利用边缘检测算子对所述抽样图像帧数据进行边缘检测，获取各个目标区域的区域边界；
步骤S320：对所述区域边界进行像素点标记；
步骤S330：根据像素点标记结果进行目标区域分割，获得所述目标区域图像和背景区域图像；
具体而言，边缘检测算子有微分算子，canny算子，LOG算子等，以微分算子中的Prewitt算子为例，在区域分割应用中，Prewitt算子具有良好的边缘信息，在寻找车辆车身的边缘信息上具有不俗的表现，在行人边缘识别信息上也有较好的表现。
对目标区域两个方向的模板与抽样图像帧数据进行邻域卷积，其中，一个方向对水平方向进行检测，一个对垂直方向上进行检测，得到边缘像素点的灰度值，并对灰度值进行标记，当上下左右相邻像素点的灰度值差达到灰度差阈值时，则对其进行分割，分割后得到目标区域图像和背景区域图像。采用Prewitt算子能够去掉部分伪边缘，减少边缘检测时产生的干扰，对噪声具有平滑作用，目标区域图像和背景区域图像获取为后续进行角点检测提供数据基础
进一步而言，如图3所示，本申请步骤S400还包括：
步骤S410：设置第一图像滑动窗口；
步骤S420：设置第一角点数量阈值；
步骤S430：以所述第一角点数量阈值作为约束条件，通过所述第一图像滑动窗口对所述目标区域图像和所述背景区域图像进行角点检测，获得所述目标角点信息和背景角点信息。
具体而言，建立可滑动的小图像窗口，得到第一图像滑动窗口，对阈值进行设定，确保角点检测个数不超过阈值，得到第一角点数量阈值，并将小窗口进行平移(u，v)，且产生的灰度变化自相关函数应满足以下公式：
其中，w(x,y)为窗口函数，I(x+u,y+v)为平移后的图像灰度值，I(x,y)为原图像灰度值，将平移后的图像灰度值进行泰勒展开，得到灰度变化自相关函数变化成式：
I(x+u,y+v)＝I(x,y)+Ixu+Iyv+O(u2,v2)
其中，O(u2,v2)为(u2,v2)的无穷小项，对于局部微小移动量(u2,v2)，忽略余项后可得到一个二项式函数表达式，表达式为：
其中，M为Harris矩阵，求解出Harris矩阵的特征值(λ1,λ2)，矩阵的值det(μ)和迹trace(μ)如下式：
det(μ)＝λ1λ2；
trace(μ)＝λ1+λ2；
角点响应函数表达式：
cornerness＝det(μ)-αgrace2(μ)；
其中，α为代数常量，其值大于0.04，小于0.06，根据前面设置的阈值控制角点检测的个数，确保得到的目标角点和背景角点数量不超过设定的第一角点数量阈值，当得到的值不超过阈值时，即为目标角点和背景角点，其所对应的信息即为目标角点信息和背景角点信息。对角点进行检测分析，能够既保留图像重要特征又能大量减少信息的数据量，减小了计算压力，进而提高了整体效率，且目标角点信息和背景角点信息的获得，为后续抽样图像帧数据图像的配准提供数据基础。
进一步而言，本申请步骤S500还包括：
步骤S510：根据所述抽样图像帧数据提取第一抽样图像帧和第二抽样图像帧；
步骤S520：根据所述目标角点信息和所述背景角点信息，提取所述第一抽样图像帧的第一角点像素块、所述第二抽样图像帧的第二角点像素块；
步骤S530：根据所述第一角点像素块、所述第二角点像素块进行图像粗配准，获得粗配准角点集合；
步骤S540：对所述粗配准角点集合进行匹配误差分析，根据分析结果对匹配误差进行消除，获得所述图像配准结果；
具体而言，对抽样图像帧数据进行提取，分别提取出两个抽样图像帧，为后续进行图像配准做准备，提取出的两个抽样图像帧分别为第一抽样图像帧和第二抽样图像帧，第一抽样图像帧和第二抽样图像帧不一定为连续的两帧抽样图像帧。根据目标角点信息和所述背景角点信息，对第一抽样图像帧的角点像素块进行提取，获得第一角点像素块，并对第二抽样图像帧的角点进行提取，获得第二角点像素块，将第一角点像素块、第二角点像素块按照NCC算法进行图像粗配准。NCC算法是一种基于图像灰度信息的匹配方法，能够降低光照对图像配准的影响，由于在行车记录仪的使用场景中，机动车道几乎很少有树木覆盖，经常受到强烈阳光的影响导致行车记录仪的图像采集出现过曝，模糊不清楚等问题，导致无法对行车影像进行正常记录，进而影响图像配准影响行车记录仪的稳像效果。所以采用NCC算法可以有效地减少强光对图像配准结果的影响。而且NCC最终结果在0和1之间，方便量化图像配准结果，只需要跟阈值进行对比便可判断配准结果，配准之后的结果即为粗配准角点集合，在NCC匹配之后还需要进行消除误匹配，将图像配准的误差进行消除，进一步提高图像配准的准确性。根据对角点进行重叠区域识别并对重叠区域以外的点进行分析和剔除，达到误差清除的目的。图像配准结果的获取，为后续对抽样图像帧数据进行图像拼接融合提供数据基础。
进一步而言，本申请步骤S540还包括：
步骤S541：根据所述粗配准角点集合进行重叠区域识别，并对所述重叠区域进行重叠角点融合剔除，获得融合角点集合；
步骤S542：根据所述融合角点集合，对所述重叠区域外的匹配点进行匹配误差分析，将误匹配点进行剔除，得到所述图像配准结果；
具体而言，对粗配准的角点集合进行重叠区域识别，即将两个抽样图像帧进行重叠比对，在同一位置的角点进行角点融合，融合后获得融合角点，融合角点集合即为正确图像配准的点，大量重叠角点聚集在一起形成重叠区域，共同构成融合角点集合，并提取融合点集合的特征。在重叠识别区域外的匹配点根据融合角点集合进行分析，将融合角点集合的融合特征对重叠区域外的匹配点进行比对，符合融合特征的匹配点为融合角，不具备融合特征的匹配点即为误匹配点，将误匹配点进行剔除，以上操作即为对粗配准角点集合进行匹配误差分析并对匹配误差进行消除，操作得到图像配准结果。图像配准结果的获取，为后续对抽样图像帧数据进行图像拼接融合提供数据基础。
进一步而言，本申请步骤S600还包括：
步骤S610：根据所述抽样图像帧数据提取第一待拼接图像和第二待拼接图像；
步骤S620：根据所述图像配准结果，对所述第一待拼接图像和所述第二待拼接图像进行拼接位置识别；
步骤S630：按照拼接位置识别结果，将所述第一待拼接图像和所述第二待拼接图像进行拼接融合，获得第一拼接结果；
步骤S640：对所述第一拼接结果进行边界平滑处理，获得第一拼接图像，组成所述稳像视频。
具体而言，在抽样图像帧数据中提取出两张需要拼接融合的图像，分别将其标记为第一待拼接图像和第二待拼接图像，基于图像配准结果，对第一待拼接图像和第二待拼接图像进行特征点提取，并对两张图像进行特征点匹配，特征点匹配表示将第一待拼接图像和第二待拼接图像之间相似的的地方进行对比匹配，并进行图像配准，分析得到两幅图像之间匹配对应的部分和关系，分析得到第一待拼接图像和第二待拼接图像的可拼接位置，并将可拼接位置进行识别和标记，根据拼接位置识别结果，将待拼接图像平移至另一幅待拼接图像的特定位置处，将第一待拼接图像和第二待拼接图像进行拼接融合，组成一张图像，即为第一拼接结果。
平滑处理也称为平滑滤波，在图像平滑处理上，一般采用简单的平均法进行，在本申请中，即为求相邻像素点的平均灰度值，平滑效果与领域大小有关，领域越大，平滑效果越好，但过大会导致边缘信息损失增大，使得图像更加模糊。平滑处理包括均值滤波、中值滤波、高斯滤波和双边滤波等，在这里以中值滤波为例进行说明，中值滤波是一种非线性的平滑技术，将边界上像素点的灰度值设置为该点某领域窗口内的所有像素点灰度值的中值，将中心像素的值用所有像素的中间值进行替换，中值滤波容易用硬件实现，且算法简单，能够不占用计算资源，从而大大提高整体效率。
进一步而言，本申请步骤S200还包括：
步骤S210：获取第一抽样步长；
步骤S220：根据所述第一抽样步长，对所述原始车载视频数据进行抽样处理，获得抽样处理结果；
步骤S230：对所述抽样处理结果进行图像角点检测配准，获得第一配准结果；
步骤S240：按照预设步长测试方案，对所述第一抽样步长进行调整，获得第二抽样步长，并获取所述第二抽样步长对应的第二配准结果；
步骤S250：以此类推，继续获取第N抽样步长的第N配准结果，N为大于1的整数。
步骤S260：对所述第一配准结果、第二配准结果、第N配准结果进行配准误差分析，根据分析结果获取最优抽样步长，以所述最优抽样步长对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据。
具体而言，抽样步长即为每隔固定数量帧就抽取一帧图像，将抽取的图像组合为新的视频，新的视频保留大量原视频的信息，但比原视频更小，且相邻的两视频帧之间重复冗余的信息减少，可分析的信息量增加，在减少大小的同时提高了整体运行效率。先将原始车载视频数据的抽样步长设定为1，获得结果为第一抽样步长。根据第一抽样步长对原始车载视频数据进行抽样处理，将得到的视频数据称为抽样处理结果。将抽样处理结果进行图像角点检测和配准，配准结果即为第一配准结果。对第一抽样步长进行调整，将抽样步长设定为2，即第二抽样步长，以此类推，将抽样步长每增加1进行图像角点检测匹配，一直获取至第N抽样步长的第N配准结果，N为大于1的整数，对第一配准结果、第二配准结果、第N配准结果进行配准误差分析，对比其结构相似度指数、峰值信噪比、匹配对数和误匹配对数。其中结构相似度指数越大越好，代表整体角点的配准程度；峰值信噪比越大越好，代表该角点配准差错的程度；匹配对数表示进行图像配准角点的总对数；误匹配对数为错误匹配的对数，值越小越好。分析配准结果，配准步长较小时，各项数值均无明显变化，当抽样步长过大时，匹配对数无明显增加，但误匹配对数明显上升，结构相似度和峰值信噪比明显减小，根据分析结果选取最优的抽样步长，根据最优抽样步长对原始车载视频数据进行抽样处理，获取抽样图像帧数据。
进一步的，本申请通过提供一种行车记录仪视频稳像方法，连接目标行车记录仪，将原始车载视频数据提取出来，再对原始车载视频数据进行抽样处理，对得到的抽样图像帧数据进行目标识别，并对目标区域进行分割，再对目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，根据信息对抽样图像帧数据进行图像配准，获得图像配准结果，根据得到的图像配准结果，对抽样图像帧数据进行图像拼接融合，最后通过融合结果来获得稳像视频，解决了现有技术中存在的图像拼接准确性和拼接效率低影响后续图像稳定的问题，实现了提高图像拼接准确性和效率进而提升视频稳像的能力。
实施例二
基于与前述实施例中一种行车记录仪视频稳像方法相同的发明构思，如图4所示，本申请提供了一种行车记录仪视频稳像系统，所述系统包括：
数据提取模块a：连接目标行车记录仪，提取原始车载视频数据
抽样处理模块b：所述抽样处理模块用于对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据；
目标识别模块c：所述目标识别模块用于对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；
角点检测模块d：所述角点检测模块用于对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；
图像配准模块e：所述图像配准模块用于根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果；
拼接融合模块f：所述拼接融合模块用于根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
进一步而言，所述系统还包括：
边缘检测模块：所述边缘检测模块用于利用边缘检测算子对所述抽样图像帧数据进行边缘检测，获取各个目标区域的区域边界；
像素点标记模块：所述像素点标记模块用于对所述区域边界进行像素点标记；
区域分割模块：所述区域分割模块用于根据像素点标记结果进行目标区域分割，获得所述目标区域图像和背景区域图像。
进一步而言，所述系统还包括：
滑动窗口模块：所述滑动窗口模块用于设置第一图像滑动窗口；
数量阈值模块：所述数量阈值模块用于设置第一角点数量阈值；
目标区域角点检测模块：所述目标区域角点检测模块用于以所述第一角点数量阈值作为约束条件，通过所述第一图像滑动窗口对所述目标区域图像和所述背景区域图像进行角点检测，获得所述目标角点信息和背景角点信息。
进一步而言，所述系统还包括：
图像帧抽取模块：所述图像帧抽取模块用于根据所述抽样图像帧数据提取第一抽样图像帧和第二抽样图像帧；
像素块提取模块：所述像素块提取模块用于根据所述目标角点信息和所述背景角点信息，提取所述第一抽样图像帧的第一角点像素块、所述第二抽样图像帧的第二角点像素块；
粗配准模块：所述粗配准模块用于根据所述第一角点像素块、所述第二角点像素块进行图像粗配准，获得粗配准角点集合；
误差消除模块：所述误差消除模块用于对所述粗配准角点集合进行匹配误差分析，根据分析结果对匹配误差进行消除，获得所述图像配准结果。
进一步而言，所述系统还包括：
融合剔除模块：所述融合剔除模块用于根据所述粗配准角点集合进行重叠区域识别，并对所述重叠区域进行重叠角点融合剔除，获得融合焦点集合；
配准结果获取模块：所述配准结果获取模块用于根据所述融合焦点集合，对所述重叠区域外的匹配点进行匹配误差分析，将误匹配点进行剔除，得到所述图像配准结果。
进一步而言，所述系统还包括：
拼接图像提取模块：所述拼接图像提取模块用于根据所述抽样图像帧数据提取第一待拼接图像和第二待拼接图像；
拼接位置识别模块：所述拼接位置识别模块用于根据所述图像配准结果，对所述第一待拼接图像和所述第二待拼接图像进行拼接位置识别；
第一拼接结果获取模块：所述第一拼接结果获取模块用于按照拼接位置识别结果，将所述第一待拼接图像和所述第二待拼接图像进行拼接融合，获得第一拼接结果；
稳像视频组成模块：所述稳像视频组成模块用于对所述第一拼接结果进行边界平滑处理，获得第一拼接图像，组成所述稳像视频。
进一步而言，所述系统还包括：
步长获取模块：所述步长获取模块用于获取第一抽样步长；
抽样处理模块：所述抽样处理模块用于根据所述第一抽样步长，对所述原始车载视频数据进行抽样处理，获得抽样处理结果；
角点检测配准模块：所述角点检测配准模块用于对所述抽样处理结果进行图像角点检测配准，获得第一配准结果；
第二配准结果获取模块：所述第二配准结果获取模块用于按照预设步长测试方案，对所述第一抽样步长进行调整，获得第二抽样步长，并获取所述第二抽样步长对应的第二配准结果；
第N配准结果获取模块：所述第N配准结果获取模块用于以此类推，继续获取第N抽样步长的第N配准结果，N为大于1的整数；
误差分析模块：所述误差分析模块用于对所述第一配准结果、第二配准结果、第N配准结果进行配准误差分析，根据分析结果获取最优抽样步长，以所述最优抽样步长对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据。
本说明书通过前述对一种行车记录仪视频稳像方法的详细描述，本领域技术人员可以清楚的知道本实施例中一种行车记录仪视频稳像方法及系统，对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种行车记录仪视频稳像方法，其特征在于，所述方法包括：
连接目标行车记录仪，提取原始车载视频数据；
对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据；
对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；
对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；
根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果；
根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
2.如权利要求1所述的方法，其特征在于，所述对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像，包括：
利用边缘检测算子对所述抽样图像帧数据进行边缘检测，获取各个目标区域的区域边界；
对所述区域边界进行像素点标记；
根据像素点标记结果进行目标区域分割，获得所述目标区域图像和背景区域图像。
3.如权利要求1所述的方法，其特征在于，对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息，包括：
设置第一图像滑动窗口；
设置第一角点数量阈值；
以所述第一角点数量阈值作为约束条件，通过所述第一图像滑动窗口对所述目标区域图像和所述背景区域图像进行角点检测，获得所述目标角点信息和背景角点信息。
4.如权利要求1所述的方法，其特征在于，所述根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果，包括：
根据所述抽样图像帧数据提取第一抽样图像帧和第二抽样图像帧；
根据所述目标角点信息和所述背景角点信息，提取所述第一抽样图像帧的第一角点像素块、所述第二抽样图像帧的第二角点像素块；
根据所述第一角点像素块、所述第二角点像素块进行图像粗配准，获得粗配准角点集合；
对所述粗配准角点集合进行匹配误差分析，根据分析结果对匹配误差进行消除，获得所述图像配准结果。
5.如权利要求4所述的方法，其特征在于，所述对所述粗配准角点集合进行匹配误差分析，根据分析结果对匹配误差进行消除，获得所述图像配准结果，包括：
根据所述粗配准角点集合进行重叠区域识别，并对所述重叠区域进行重叠角点融合剔除，获得融合焦点集合；
根据所述融合焦点集合，对所述重叠区域外的匹配点进行匹配误差分析，将误匹配点进行剔除，得到所述图像配准结果。
6.如权利要求1所述的方法，其特征在于，根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频，包括：
根据所述抽样图像帧数据提取第一待拼接图像和第二待拼接图像；
根据所述图像配准结果，对所述第一待拼接图像和所述第二待拼接图像进行拼接位置识别；
按照拼接位置识别结果，将所述第一待拼接图像和所述第二待拼接图像进行拼接融合，获得第一拼接结果；
对所述第一拼接结果进行边界平滑处理，获得第一拼接图像，组成所述稳像视频。
7.如权利要求1所述的方法，其特征在于，所述对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据，包括：
获取第一抽样步长；
根据所述第一抽样步长，对所述原始车载视频数据进行抽样处理，获得抽样处理结果；
对所述抽样处理结果进行图像角点检测配准，获得第一配准结果；
按照预设步长测试方案，对所述第一抽样步长进行调整，获得第二抽样步长，并获取所述第二抽样步长对应的第二配准结果；
以此类推，继续获取第N抽样步长的第N配准结果，N为大于1的整数；
对所述第一配准结果、第二配准结果、第N配准结果进行配准误差分析，根据分析结果获取最优抽样步长，以所述最优抽样步长对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据。
8.一种行车记录仪视频稳像系统，其特征在于，所述系统与图像采集装置通信连接，所述系统包括：
数据提取模块：连接目标行车记录仪，提取原始车载视频数据；
抽样处理模块：所述抽样处理模块用于对所述原始车载视频数据进行抽样处理，获取抽样图像帧数据；
目标识别模块：所述目标识别模块用于对所述抽样图像帧数据进行目标识别，根据识别结果进行目标区域分割，获取目标区域图像和背景区域图像；
角点检测模块：所述角点检测模块用于对所述目标区域图像和背景区域图像进行角点检测，得到目标角点信息和背景角点信息；
图像配准模块：所述图像配准模块用于根据所述目标角点信息和所述背景角点信息对所述抽样图像帧数据进行图像配准，获得图像配准结果；
拼接融合模块：所述拼接融合模块用于根据所述图像配准结果，对所述抽样图像帧数据进行图像拼接融合，根据图像拼接融合结果获得稳像视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310999425.7A CN117011143A (zh) | 2023-08-09 | 2023-08-09 | 一种行车记录仪视频稳像方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310999425.7A CN117011143A (zh) | 2023-08-09 | 2023-08-09 | 一种行车记录仪视频稳像方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117011143A true CN117011143A (zh) | 2023-11-07 |
Family
ID=88563273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310999425.7A Pending CN117011143A (zh) | 2023-08-09 | 2023-08-09 | 一种行车记录仪视频稳像方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117011143A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934574A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市智兴盛电子有限公司 | 行车记录仪图像优化方法、装置、设备及存储介质 |
-
2023
- 2023-08-09 CN CN202310999425.7A patent/CN117011143A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934574A (zh) * | 2024-03-22 | 2024-04-26 | 深圳市智兴盛电子有限公司 | 行车记录仪图像优化方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lee et al. | Robust lane detection and tracking for real-time applications | |
| CN109034047B (zh) | 一种车道线检测方法及装置 | |
| CN108549864B (zh) | 面向车载热成像行人检测的感兴趣区域过滤方法和装置 | |
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| WO2019196130A1 (zh) | 面向车载热成像行人检测的分类器训练方法和装置 | |
| CN111444778B (zh) | 一种车道线检测方法 | |
| CN110647850A (zh) | 一种基于逆透视原理的车道偏移自动测量方法 | |
| CN106980855B (zh) | 交通标志快速识别定位系统及方法 | |
| Kyo et al. | A robust vehicle detecting and tracking system for wet weather conditions using the IMAP-VISION image processing board | |
| CN111539980B (zh) | 一种基于可见光的多目标追踪方法 | |
| CN117011143A (zh) | 一种行车记录仪视频稳像方法及系统 | |
| CN108961262B (zh) | 一种复杂场景下的条码定位方法 | |
| JP3800785B2 (ja) | 白線認識装置 | |
| CN111027544A (zh) | 一种基于视觉显著性检测的mser车牌定位方法及系统 | |
| Wei et al. | Detection of lane line based on Robert operator | |
| CN110675442B (zh) | 一种结合目标识别技术的局部立体匹配方法及系统 | |
| CN107045630B (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| KR101620425B1 (ko) | 주변 환경 정보를 이용한 차선 인식 시스템 및 그 방법 | |
| CN112115778B (zh) | 一种在环仿真条件下车道线智能识别方法 | |
| CN109522851B (zh) | 基于非可见光成像的车辆行驶速度及车牌识别方法 | |
| CN110348363B (zh) | 基于多帧角度信息融合消除相似车辆干扰的车辆跟踪方法 | |
| CN110765940B (zh) | 目标对象统计方法和装置 | |
| CN108629226B (zh) | 一种基于图像分层技术的车辆检测方法及系统 | |
| Mol et al. | Text recognition using poisson filtering and edge enhanced maximally stable extremal regions | |
| Satish et al. | Edge assisted fast binarization scheme for improved vehicle license plate recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |