CN112969037B - 一种视频图像侧向融合拼接方法、电子设备及存储介质 - Google Patents

一种视频图像侧向融合拼接方法、电子设备及存储介质 Download PDF

Info

Publication number
CN112969037B
CN112969037B CN202110215382.XA CN202110215382A CN112969037B CN 112969037 B CN112969037 B CN 112969037B CN 202110215382 A CN202110215382 A CN 202110215382A CN 112969037 B CN112969037 B CN 112969037B
Authority
CN
China
Prior art keywords
image
moving object
displacement
video
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110215382.XA
Other languages
English (en)
Other versions
CN112969037A (zh
Inventor
郭杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sinoits Tech Co ltd
Original Assignee
Beijing Sinoits Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sinoits Tech Co ltd filed Critical Beijing Sinoits Tech Co ltd
Priority to CN202110215382.XA priority Critical patent/CN112969037B/zh
Publication of CN112969037A publication Critical patent/CN112969037A/zh
Application granted granted Critical
Publication of CN112969037B publication Critical patent/CN112969037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2622—Signal amplitude transition in the zone between image portions, e.g. soft edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及一种视频图像侧向融合拼接方法、电子设备及存储介质，所述拼接方法包括以下步骤：确定视频帧中移动物体的跟踪区域，并记录跟踪区域的位置坐标；使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中的移动物体在图像中的位移；获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像；重复上述步骤，直至获取所有相邻两帧中的移动物体的位移图像；将所有相邻两帧中的移动物体的位移图像拼接起来，形成一幅完整的移动物体的图像。该融合拼接技术采用纯视频流处理，不受移动物体移动速度变化的干扰，不需要外接设备获取移动物体速度等其他信息，其图像拼接准确度和性价比都更高。

Description

一种视频图像侧向融合拼接方法、电子设备及存储介质
技术领域
本申请涉及移动物体的视频图像拼接处理领域，尤其是涉及一种视频图像侧向融合拼接方法、电子设备及存储介质。
背景技术
为了对移动的物体如人、自行车、摩托车、汽车等本身的信息进行记录，可采用摄像头拍摄视频的方式来存储信息，但是通过视频记录信息，需要的较大的存储空间，而且还需要对存储的内容进行识别处理（大多都是冗余信息）。因此，鉴于视频存储的诸多缺点，通常采用图像拼接的方式来存储视频中移动物体的主要信息，可以大大节省存储和处理资源。
目前，通过视频图像拼接移动物体侧面（如车辆侧面车身）图像的方式有两种，第一种是通过线扫相机扫描，第二种是通过获取移动物体速度，计算移动物体在匀速下每帧图像上的位移进行拼接。
其中，对于第一种通过线扫相机扫描的方式进行图像融合的技术，主要是根据线扫相机的工作原理（相机传感器由一行或多行感光芯片构成，拍照时需要通过机械运动，形成相对运动，才能得到目标图像），将每一列像素点进行横向拼接。具体如图1所示：通过利用外部传感器获取移动物体速度（S）、获取摄像机帧数（fps）以及实际道路宽度和视频图像像素比（ρ），然后再采用以下公式计算出移动物体的每一帧在图像上移动了多少像素点（C）：C = (S/fps)*ρ；最后，如图2所示，将每帧图像，在同一位置截取的C个像素点宽度的图像进行融合拼接，得到移动物体侧面图像。
但是通过这种方式进行图像拼接，存在以下缺点：图像拼接效果比较依赖被拍摄物体的速度，当被拍摄物体的速度有变化时，图像就会出现明显的拉伸或压缩，同一物体细节可能会出现多次。
对于第二种通过获取移动物体速度，计算移动物体在匀速下每帧图像上的位移进行拼接的方式，该方法的缺点也是图像拼接效果也比较依赖移动物体速度，如果移动物体速度发生明显变化，图像拼接效果就不好，如图像会出现明显的拉伸或压缩，同一物体细节可能会出现多次，移动物体轮廓不清晰（比如在堵车或者在车辆会明显减速的高速出入口，如果采集到的视频数据中，车辆的速度发生明显变化，则图像融合拼接的效果就会非常不理想，图像会出现车身被拉长，车身轮廓不清晰，同一车身细节出现多次的问题）。
发明内容
为了解决现有技术中的图像拼接效果比较依赖被拍摄物体的速度，当被拍摄物体的速度有变化时，图像就会出现明显的拉伸或压缩，同一物体细节可能会出现多次的问题，本申请提供一种视频图像侧向融合拼接方法、电子设备及存储介质。
第一方面，本申请提供的一种视频图像侧向融合拼接方法，采用如下的技术方案：
一种视频图像侧向融合拼接方法，包括以下步骤：
确定视频帧中移动物体的跟踪区域，并记录跟踪区域的位置坐标；
使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中的移动物体在图像中的位移；
获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像；
重复上述步骤，直至获取所有相邻两帧中的移动物体的位移图像；
将所有相邻两帧中的移动物体的位移图像拼接起来，形成一幅完整的移动物体的图像。
通过采用上述技术方案，通过获取两个相邻的视频帧，并根据视频帧信息，通过跟踪算法，确定移动物体在每帧图像上位移的像素大小，通过截取每帧图像移动物体位移的特征数据，将侧面角度移动物体经过的视频，拼接融合成一张完整的移动物体侧面图像。该融合拼接技术采用纯视频流处理，不受移动物体移动速度变化的干扰（比如能够正常应对车辆在视频区域内停车、启动等操作），不需要外接设备获取移动物体速度等其他信息，也不限制移动物体在视频中经过的速度、摄像机采集视频的帧率、帧数以及高清摄像机的像素质量（完全可以根据用户需求灵活兼容高清摄像机或传统的模拟摄像机进行相应融合拼接功能；无需使用线扫相机（通常线扫相机价格在大几千甚至上万）），该方法运行时，占用的硬件资源较少，可在更多边缘设备上应用，其图像拼接准确度和性价比都更高。
优选的，所述的视频帧是通过利用1.44mm的鱼眼镜头进行视频图像采集获得的。本申请的技术方案配合1.44mm鱼眼镜头使用，通过对得到的视频进行鱼眼镜头畸变矫正，再进行移动物体融合拼接，可以得到更大的视场角，也可使摄像机设备距离移动物体更近，得到移动物体更多的细节。
优选的，所述方法还包括：对获取的视频帧图像进行畸变矫正。从而可以提高跟踪算法的准确率，使得拼接图像更圆滑，比例更正常。
优选的，采用相机内参矩阵和畸变矫正参数对获取的视频帧图像进行畸变矫正。从而只要确定镜头型号，内参矩阵和畸变矫正参数就会固定，因此在不同场景下都可以对视频帧图像进行自动畸变矫正。此方法相较于对图像畸变位置进行标注、直接进行矫正处理的方式，免去了在不同场景下都需要标注的问题，减少了每台设备的部署调试成本。
优选的，所述方法还包括：对获取的视频帧图像进行自适应均衡化（AHE）处理。通常室外环境受全天日照光线影响比较大，在一天中的不同时间，移动物体可能会出现亮度过亮或过暗的情况，对获取的视频帧图像进行自适应均衡化（AHE）处理后，可以自动均衡图片亮度，（相对于直方图均衡化处理）还可以对于图像曝光过度或曝光不足的进行修复，使移动物体细节更突出，尤其是室外作业时，此步骤可以大大提升跟踪算法的准确度。
优选的，所述的确定视频帧中移动物体的跟踪区域，包括以下步骤：
为第一张视频帧选择移动物体经过区域进行背景建模；
将后续接收到的视频帧均与背景建模的视频帧进行差值处理和二值化操作，确定出相应视频帧中移动物体的跟踪区域。
通过采用以上技术方案，进行动态设置物体跟踪区域，使得跟踪准确度大大提高。
优选的，所述的使用跟踪算法对所述跟踪区域进行跟踪，包括：
将跟踪区域中图像的轮廓提取出来，并过滤掉干扰特征（如背景、污渍等特征，以提高跟踪算法的准确度）；使用跟踪算法对所述的图像的轮廓进行跟踪。在极端天气下，摄像机镜头会出现挂水、挂雾、挂土等情况，通过采用上述技术方案，提取图像轮廓后，可以突出移动物体（如车身）细节，提高跟踪算法的准确度，并且在极端天气下，该算法仍然可以正常工作，提高了算法的鲁棒性。
优选的，使用canny算子提取跟踪区域中移动物体的轮廓。经过测试，使用canny算子提取跟踪区域中移动物体的轮廓后，跟踪的准确率最高。
优选的，所述的跟踪算法采用KCF算法或（官方训练好参数的）SiamFC算法。
通过采用以上技术方案，从而实现了在所有的非深度学习方法中，KCF算法最优，可以在满足速度实时性的前提下，保证准确率；在所有的深度学习算法中，SiamFC算法最优，执行时可以放到GPU上执行，节省CPU算力，同时能提供较好的准确率。
优选的，所述方法还包括：
将相邻两帧中的移动物体在图像中的位移通过棋盘格标定法进行映射，得到移动物体实际的位移s；
根据相机每秒采集的帧图像个数，获得相机采集相邻两帧图像的时间间隔t；
通过s/t获得移动物体的瞬时速度。
通过采用以上技术方案，从而可以根据移动物体视频获取到移动物体经过时的实时瞬时速度。
优选的，所述的获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像，包括：使用滑动平均值计算最终拼接需要的宽度：
Figure DEST_PATH_IMAGE001
；
其中，
Figure 392647DEST_PATH_IMAGE002
为此时计算得到的拼接宽度，其中
Figure DEST_PATH_IMAGE003
；
Figure 664753DEST_PATH_IMAGE004
为上一时刻通过滑动平 均值计算得到的拼接宽度，
Figure DEST_PATH_IMAGE005
为衰减率，为常数（通常设置为0.9）；
Figure 729661DEST_PATH_IMAGE006
为当前相邻两帧中移 动物体在图像上的位移。
通过使用滑动平均值计算最终拼接需要的宽度，从而可以削减移动物体加速或减速导致拼接图象出现的锯齿现象。
第二方面，本申请提供一种电子设备，采用如下的技术方案：
一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如前述任一种方法的计算机程序。
第三方面，本申请提供一种计算机可读存储介质，采用如下的技术方案：
一种计算机可读存储介质，存储有能够被处理器加载并执行如前述任一种方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：
本申请的方案中使用一台固定位置摄像机对移动物体进行侧面拍摄，通过获取两个相邻的视频帧，并根据视频帧信息，通过跟踪算法，确定移动物体在每帧图像上位移的像素大小，通过截取每帧图像移动物体位移的特征数据，将从侧面角度移动物体经过的视频，拼接融合成一张完整的移动物体侧面图像。该融合拼接技术采用纯视频流处理，不受移动物体移动速度变化的干扰（比如能够正常应对车辆在视频区域内停车、启动等操作），不需要外接设备获取移动物体速度等其他信息，也不限制移动物体在视频中经过的速度、摄像机采集视频的帧率、帧数以及高清摄像机的像素质量（完全可以根据用户需求灵活兼容高清摄像机或传统的模拟摄像机进行相应融合拼接功能），该方法运行时，占用的硬件资源较少，可在更多边缘设备上应用，其图像拼接准确度和性价比都更高。
附图说明
图1-图2为背景技术中的通过线扫相机扫描的方式进行图像融合的操作示意图。
图3为本申请的一种实施例中设定跟踪区域时，选择移动物体经过区域进行背景建模的示意图。
图4-图6为本申请的一种实施例中设定跟踪区域时，进行差值处理和二值化操作处理后的图像示意图。
图7为本申请的一种实施例中采用跟踪算法处理后的位移图像示意图。
图8是本申请的一种实施例的方法流程图。
图9是本申请的另一种实施例的方法流程图。
具体实施方式
以下结合附图1-9对本申请作进一步详细说明。
本申请实施例公开一种视频图像侧向融合拼接方法。参照图8，一种视频图像侧向融合拼接方法，包括以下步骤：
S1，确定视频帧中移动物体的跟踪区域，并记录跟踪区域的位置坐标；
S2，使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中的移动物体在图像中的位移；
S3，获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像（用作合成图像，这里所获取的对应的位移图像是针对全尺寸完整的图像上裁剪的对应宽度的图像）；
S4，重复步骤S1-S3，直至获取所有相邻两帧中的移动物体的位移图像；
S5，将所有相邻两帧中的移动物体的位移图像拼接起来，形成一幅完整的移动物体的图像。
上述的视频帧为固定位置的摄像机拍摄的移动物体侧面的视频帧。上述方法对于在镜头前水平移动的物体均有效，例如人、自行车、摩托车、汽车等。
可选的，所述的视频帧是通过利用1.44mm的鱼眼镜头进行视频图像采集获得的。也可采用普通的摄像机镜头进行视频图像的采集。
可选的，如图9所示，所述方法还包括：S01，对获取的视频帧图像进行畸变矫正。
具体的，可采用相机内参矩阵和畸变矫正参数对获取的视频帧图像进行畸变矫正。
还可以使用对图像进行手工标定参数的方式对获取的视频帧图像进行畸变矫正，确定图像如何进行拉伸变换，此方法需要至少标定40个左右的参数，而且在不同场景下需要分别标定。
可选的，如图9所示，所述方法还包括：S02，对获取的视频帧图像进行自适应均衡化（AHE）处理。（该步骤可设于“对获取的视频帧图像进行畸变矫正”的步骤之后，对获取的帧图像进行进一步优化，也可不依赖“对获取的视频帧图像进行畸变矫正”的步骤，单独对获取的帧图像进行优化）。
通常室外环境受全天日照光线影响比较大，在一天中的不同时间，移动物体可能会出现亮度过亮或过暗的情况，对获取的视频帧图像进行自适应均衡化（AHE）处理后，可以自动均衡图片亮度，（相对于直方图均衡化处理）还可以对于图像曝光过度或曝光不足的进行修复，使移动物体（如车身）细节更突出，尤其是室外作业时，此步骤可以大大提升跟踪算法的准确度。
可选的，步骤S1中所述的确定视频帧中移动物体的跟踪区域，包括以下步骤：
（动态进行检测，确定实际移动物体驶入位置，然后调整设定的ROI位置）
S11，为第一张视频帧选择移动物体经过区域进行背景建模；
S12，将后续接收到的视频帧均与背景建模的视频帧进行差值处理和二值化操作（公知算法），确定出相应视频帧中移动物体的跟踪区域（如果没有移动物体，使用默认跟踪区域（提前手动设置好））。
一般来讲，设定跟踪区域即ROI（region of interest），需要将这个区域完全划定到移动物体上，才可以保证跟踪的准确性。但是在不同的场景下，由于移动物体经过区域在镜头中的位置和移动物体在镜头中行驶的位置不同，所以很难直接设定一个区域，认为移动物体在经过摄像头时，设定的区域内全部为移动物体特征，而不包括地面或背景，因此使用上述方法，动态进行检测来确定实际移动物体驶入的位置，然后调整设定的ROI区域位置。
具体实施时，如图3所示，移动物体以汽车为例，拼接开始时，为第一张图像选择移动物体经过区域（即车道位置，对应图3中方框内的区域）进行背景建模，此时，可以认为第一张图像为一张只有道路没有移动物体（即汽车）的图像。如果道路上没有移动物体，则操作后的图像为纯黑图像；当移动物体驶入时，如图4-图6（图4中，kcf窗口为摄像机实际采集图像的窗口，sub窗口为对应的软件处理显示窗口）所示，（对应sub窗口部分）对实际采集的图像进行差值处理和二值化操作处理后的图像会将移动物体（即汽车）显示为白色，此时将白色区域设置成跟踪区域（即ROI区域）即可。同时根据图4-图6可知（以汽车举例），系统会根据汽车位置不同，自动设置不同位置、不同大小的ROI区域进行跟踪。而且根据图6可知，车头刚刚驶入视频拍摄范围，图像算法已经计算到车辆刚刚驶入，因此将ROI区域比例缩小了一倍，以提高跟踪算法的准确度。
可选的，步骤S2中所述的使用跟踪算法对所述跟踪区域进行跟踪，包括：
S21，将跟踪区域中图像的轮廓提取出来，并过滤掉干扰特征（如背景、污渍等特征，以提高跟踪算法的准确度）；
S22，使用跟踪算法对所述的图像的轮廓进行跟踪。
具体的，可使用canny算子提取跟踪区域中移动物体的轮廓（对canny算法提取的轮廓进行跟踪，准确率最高）。
还可以使用Sobel算子、Laplacian算子对本申请中跟踪区域中移动物体的轮廓进行提取。
可选的，所述的跟踪算法采用KCF算法或（官方训练好参数的）SiamFC算法。
所述的跟踪算法还可以采用CSRT算法（更准确，但速度非常慢）或 MOSSE算法（速度快，但准确率不如KCF）等。
具体实施时，移动物体以汽车举例，如图7所示，上面一张图中的方框为采用本申请中的方法步骤标定的跟踪区域（即ROI区域），放入跟踪算法进行初始化，下面一张图为通过跟踪算法跟踪后，在新图像中标记的之前设定的ROI区域，通过对比可以看到，移动物体（即汽车）在移动，移动位移为从后面的线位置到前面的线位置。
可选的，如图9所示，所述方法还包括：
S6，将相邻两帧中的移动物体在图像中的位移通过棋盘格标定法进行映射，得到移动物体实际的位移s；
S7，根据相机每秒采集的帧图像个数（如每秒采集30帧图像），获得相机采集相邻两帧图像的时间间隔t；
S8，通过s/t获得移动物体的瞬时速度。
可选的，步骤S3中所述的获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像，包括：使用滑动平均值计算最终拼接需要的宽度，从而确定相邻两帧中的移动物体在图像中的位移所对应的位移图像：
Figure 800516DEST_PATH_IMAGE001
；
其中，
Figure 823836DEST_PATH_IMAGE002
为此时计算得到的拼接宽度，其中
Figure 799882DEST_PATH_IMAGE003
；
Figure 917748DEST_PATH_IMAGE004
为上一时刻通过滑动平 均值计算得到的拼接宽度，
Figure 357957DEST_PATH_IMAGE005
为衰减率，为常数（通常设置为0.9）；
Figure 161965DEST_PATH_IMAGE006
为当前相邻两帧中移 动物体在图像上的位移。
使用滑动平均值的意义在于，相邻两帧图像检测到的位移宽度，为前N帧图像的平均值，N通常为5或10，如果采用30帧的相机，也就是使用150ms或300ms的移动物体平均位移来计算。通过使用滑动平均值计算最终拼接需要的宽度，可以削减移动物体加速或减速导致拼接图象出现的锯齿现象。
本申请实施例还公开一种电子设备。一种电子设备，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如上述任一种方法的计算机程序。
本申请实施例还公开一种计算机可读存储介质。一种计算机可读存储介质，存储有能够被处理器加载并执行如上述任一种方法的计算机程序。
以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (12)

1.一种视频图像侧向融合拼接方法，其特征在于，包括以下步骤：
确定视频帧中移动物体的跟踪区域，并记录跟踪区域的位置坐标；
使用跟踪算法对所述跟踪区域进行跟踪，获得相邻两帧中的移动物体在图像中的位移；
获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像；其中，所述的位移图像是针对全尺寸完整的图像上裁剪的对应宽度的图像；
重复上述步骤，直至获取所有相邻两帧中的移动物体的位移图像；
将所有相邻两帧中的移动物体的位移图像拼接起来，形成一幅完整的移动物体的图像；
其中，所述的获取所述相邻两帧中的移动物体在图像中的位移所对应的位移图像，包括：使用滑动平均值计算最终拼接需要的宽度：
vt＝βvt-1+(1-β)θt；
其中，vt为此时计算得到的拼接宽度，其中v0＝0；vt-1为上一时刻通过滑动平均值计算得到的拼接宽度，β为衰减率，为常数；θt为当前相邻两帧中移动物体在图像上的位移。
2.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于：所述的视频帧是通过利用1.44mm的鱼眼镜头进行视频图像采集获得的。
3.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于，所述方法还包括：对获取的视频帧图像进行畸变矫正。
4.根据权利要求3所述的视频图像侧向融合拼接方法，其特征在于，采用相机内参矩阵和畸变矫正参数对获取的视频帧图像进行畸变矫正。
5.根据权利要求1-4任一项所述的视频图像侧向融合拼接方法，其特征在于，所述方法还包括：对获取的视频帧图像进行自适应均衡化处理。
6.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于，所述的确定视频帧中移动物体的跟踪区域，包括以下步骤：
为第一张视频帧选择移动物体经过区域进行背景建模；
将后续接收到的视频帧均与背景建模的视频帧进行差值处理和二值化操作，确定出相应视频帧中移动物体的跟踪区域。
7.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于，所述的使用跟踪算法对所述跟踪区域进行跟踪，包括：
将跟踪区域中移动物体的轮廓提取出来，并过滤掉干扰特征；使用跟踪算法对所述的移动物体的轮廓进行跟踪。
8.根据权利要求7所述的视频图像侧向融合拼接方法，其特征在于，使用canny算子提取跟踪区域中移动物体的轮廓。
9.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于，所述的跟踪算法采用KCF算法或SiamFC算法。
10.根据权利要求1所述的视频图像侧向融合拼接方法，其特征在于，所述方法还包括：
将相邻两帧中的移动物体在图像中的位移通过棋盘格标定法进行映射，得到移动物体实际的位移s；
根据相机每秒采集的帧图像个数，获得相机采集相邻两帧图像的时间间隔t；
通过s/t获得移动物体的瞬时速度。
11.一种电子设备，其特征在于，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行如权利要求1至10中任一种方法的计算机程序。
12.一种计算机可读存储介质，其特征在于，存储有能够被处理器加载并执行如权利要求1至10中任一种方法的计算机程序。
CN202110215382.XA 2021-02-26 2021-02-26 一种视频图像侧向融合拼接方法、电子设备及存储介质 Active CN112969037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110215382.XA CN112969037B (zh) 2021-02-26 2021-02-26 一种视频图像侧向融合拼接方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110215382.XA CN112969037B (zh) 2021-02-26 2021-02-26 一种视频图像侧向融合拼接方法、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112969037A CN112969037A (zh) 2021-06-15
CN112969037B true CN112969037B (zh) 2022-03-15

Family

ID=76276143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110215382.XA Active CN112969037B (zh) 2021-02-26 2021-02-26 一种视频图像侧向融合拼接方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112969037B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115797164B (zh) * 2021-09-09 2023-12-12 同方威视技术股份有限公司 固定视场中的图像拼接方法、装置、系统
CN114089373B (zh) * 2022-01-20 2022-05-17 探维科技(北京)有限公司 基于图像融合激光的雷达系统扫描方法及装置
CN114723606A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种提升图像拼接质量的方法及系统
CN114723607A (zh) * 2022-03-21 2022-07-08 北京卓视智通科技有限责任公司 一种图像拼接方法及系统
CN114897686A (zh) * 2022-04-25 2022-08-12 深圳信路通智能技术有限公司 车辆图像的拼接方法、装置、计算机设备和存储介质
CN114757833B (zh) * 2022-06-15 2022-09-27 北京中瑞方兴科技有限公司 一种车辆侧面图像拼接方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1916538A3 (en) * 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
CN104243819B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 照片获取方法及装置
CN109118510A (zh) * 2018-08-10 2019-01-01 平安科技（深圳）有限公司 一种监控视频处理方法、装置及计算机可读介质
CN111950401B (zh) * 2020-07-28 2023-12-08 深圳数联天下智能科技有限公司 确定关键点区域位置的方法、图像处理系统、设备和介质

Also Published As

Publication number Publication date
CN112969037A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN112969037B (zh) 一种视频图像侧向融合拼接方法、电子设备及存储介质
CN109785291B (zh) 一种车道线自适应检测方法
US8532420B2 (en) Image processing apparatus, image processing method and storage medium storing image processing program
CN113298810B (zh) 结合图像增强和深度卷积神经网络的道线检测方法
CN108038416B (zh) 车道线检测方法及系统
US8189051B2 (en) Moving object detection apparatus and method by using optical flow analysis
EP3798975B1 (en) Method and apparatus for detecting subject, electronic device, and computer readable storage medium
EP3676796A1 (en) Systems and methods for correcting a high-definition map based on detection of obstructing objects
CN113658197B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US20140085473A1 (en) In-vehicle camera apparatus
CN112785534A (zh) 一种动态场景下去鬼影多曝光图像融合方法
CN109785354A (zh) 一种基于背景光照去除和联通区域的车位检测方法
JP6880252B2 (ja) 自動車両および自動車両の環境領域の少なくとも１つの合成俯瞰表示画像を生成する方法、カメラシステムおよび自動車両
CN113160053A (zh) 一种基于位姿信息的水下视频图像复原与拼接方法
CN113048951A (zh) 一种基于人工智能的测绘无人机抖动检测方法及系统
CN110378934B (zh) 主体检测方法、装置、电子设备和计算机可读存储介质
CN103632131B (zh) 用于提取对象的设备和方法
JP7315216B2 (ja) 補正距離算出装置、補正距離算出用プログラムおよび補正距離算出方法
US20210027439A1 (en) Orientation adjustment of objects in images
CN108010050A (zh) 一种基于自适应背景更新和选择性背景更新的前景检测方法
JP5822739B2 (ja) 画像処理装置、方法、及びプログラム
Buckel et al. Rb-dust-a reference-based dataset for vision-based dust removal
CN112767442A (zh) 一种基于顶视角的行人三维检测跟踪方法及系统
CN108174054B (zh) 一种全景移动侦测方法与装置
US10552970B2 (en) Efficient guide filter for depth refinement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant