CN108805082B - 一种视频融合方法、装置、设备及计算机可读存储介质 - Google Patents
一种视频融合方法、装置、设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108805082B CN108805082B CN201810606919.3A CN201810606919A CN108805082B CN 108805082 B CN108805082 B CN 108805082B CN 201810606919 A CN201810606919 A CN 201810606919A CN 108805082 B CN108805082 B CN 108805082B
- Authority
- CN
- China
- Prior art keywords
- video
- terahertz
- visible light
- mapping relation
- light video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 28
- 238000013507 mapping Methods 0.000 claims abstract description 105
- 230000004927 fusion Effects 0.000 claims abstract description 48
- 238000007689 inspection Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims abstract description 45
- 230000008859 change Effects 0.000 claims abstract description 25
- 230000008569 process Effects 0.000 claims abstract description 14
- 238000004364 calculation method Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 150000001875 compounds Chemical class 0.000 claims 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 239000000919 ceramic Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000002360 explosive Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229910052755 nonmetal Inorganic materials 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
- G01V8/00—Prospecting or detecting by optical means
- G01V8/10—Detecting, e.g. by using light barriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Geophysics (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明实施例公开了一种视频融合方法、装置、设备及计算机可读存储介质。其中，方法包括利用SIFT特征描述子分别提取采集太赫兹安检通道中通过目标的可见光视频和太赫兹视频的特征点；根据时空映射关系对太赫兹视频和可见光视频进行融合；时空映射关系的计算过程为根据可见光视频和太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定二者的时间映射关系；轨迹速度曲线为可见光视频和太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；根据二者采集设备的空间位置关系和时间映射关系，确定可见光视频和太赫兹视频的空间映射关系。本申请实现了可见光视频和太赫兹视频的实时融合，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
Description
技术领域
本发明实施例涉及安检技术领域，特别是涉及一种视频融合方法、装置、设备及计算机可读存储介质。
背景技术
安检系统作为社会治安管理中重要的一环，逐步应用在各个应用场景中，例如地铁、机场、博物馆或者各旅游景点。
太赫兹波为波长在30μm～3mm之间的远红外电磁辐射，可穿透纸张、塑料和布料等物质，利用太赫兹波作为信号源进行成像得到的太赫兹成像视频，可发现隐藏于人体衣物下的物品。由于太赫兹波电离能量很低，对人体不存在任何伤害，且太赫兹成像能检测金属物品以及非金属违禁品(如炸药、陶瓷刀、玻璃刀、毒品等)，使得太赫兹成像广泛应用于人体安检。
现有的太赫兹安检系统包括常规的可见光视频监控和太赫兹成像系统。安检操作流程中，当生物体通过太赫兹安检通道时，可见光视频监控对生物体进行可见光成像生成可见光视频，太赫兹成像系统生成的太赫兹视频。判图员通过监测太赫兹视频判断是否存在携带可疑违禁物品的人员，当存在携带可疑违禁品的人员通过时，通知前方的手检员进一步检查确定。
但是，基于太赫兹技术的人体安检成像的分辨率较低、视频帧率信噪比低、对比度差，细节表现不丰富，无法得知违禁品大小、形状、准确位置等信息，判图员只能向手检员提供简单的提示(例如违禁物品的大概范围)，当在安检人流量较大的时，判图员甚至无法确定携带可疑违禁品的具体人员，还需手检员依次对每个经过安检通过的手工触摸进行违禁物品的准确定位，安检效率较低。
鉴于此，如何准确定位可疑违禁品的位置，提高太赫兹安检系统的人体安检效率，是本领域技术人员亟待解决的问题。
发明内容
本发明实施例的目的是提供一种视频融合方法、装置、设备及计算机可读存储介质，通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
为解决上述技术问题，本发明实施例提供以下技术方案：
本发明实施例一方面提供了一种视频融合方法，应用于太赫兹安检系统，包括：
获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；
根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；
其中，所述时空映射关系的计算过程包括：
根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；
根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。
可选的，所述根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系包括：
所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述时间映射关系式：
`
t＝at+Δt；
式中，t为所述可见光视频中特征点的当前时间，t`为所述太赫兹视频中相对应特征点的当前时间，a为帧频比例系数，Δt为时间差；
Δt的计算方法为：
获取所述可见光视频中的拍摄物体在所述安检通道中运动时，预设特征点的第一外部轮廓变化曲线，并确定所述第一外部轮廓变化曲线中的峰值对应的第一时间；
获取所述太赫兹视频中的拍摄物体在所述安检通道中运动时，相对应特征点的第二外部轮廓变化曲线，确定所述第二外部轮廓变化曲线中的相应峰值对应的第二时间；
计算所述第一时间和所述第二时间的差，以作为所述时间差。
可选的，所述根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合包括：
按照预设频率计算当前的时间差Δt，并替代所述时间映射关系式中的时间差；利用替换后的时间映射关系式重新确定空间映射关系，以更新所述时空映射关系；
根据更新后的时空映射关系对所述太赫兹视频和所述可见光视频进行融合。
可选的，所述根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系包括：
所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述空间映射关系式：
`
HS(t)＝S(at+Δt)；
式中，S(t)为所述可见光视频中特征点的当前位置，S`(at+Δt)为所述太赫兹视频中相对应特征点的当前位置，H为空间映射参数，所述空间映射参数为3*3矩阵，通过求解多个满足所述空间关系式的特征点组成的线性方程组所得。
可选的，在所述获取安检通道的可见光视频和太赫兹视频之后，还包括：
判断所述太赫兹视频中是否存在违禁品图像；
若是，则执行后续操作，若否，则继续获取安检通道的可见光视频和太赫兹视频，直至所述太赫兹视频中存在违禁品图像。
可选的，所述太赫兹视频存在违禁品图像，所述根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合包括：
在所述太赫兹视频中定位所述违禁品图像的位置，并截取所述违禁品图像；
根据所述时空映射关系，将所述违禁品图像转化为可见光视频空间的目标置换图像；
利用所述目标置换图像置换所述可见光视频相对应位置，以完成所述太赫兹视频和所述可见光视频进行融合。
可选的，在所述利用所述目标置换图像置换所述可见光视频相对应位置之后，还包括：
在所述可见光视频中的呈现目标置换图像的位置设置提示框。
本发明实施例另一方面提供了一种视频融合装置，应用于太赫兹安检系统，包括：
视频资源获取模块，用于获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；
视频融合模块，用于根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；所述时空映射关系的计算过程包括：
根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；
根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。
本发明实施例还提供了一种视频融合设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述视频融合方法的步骤。
本发明实施例最后还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有视频融合程序，所述视频融合程序被处理器执行时实现如前任一项所述视频融合方法的步骤。
本发明实施例提供了一种视频融合方法，利用SIFT特征描述子分别提取采集太赫兹安检通道中通过目标的可见光视频和太赫兹视频的特征点；根据预先计算的时空映射关系，对太赫兹视频和可见光视频进行融合；其中，时空映射关系的计算过程包括：根据可见光视频和太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定可见光视频和太赫兹视频的时间映射关系；轨迹速度曲线为可见光视频和太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；根据可见光视频和太赫兹视频的采集设备的空间位置关系和时间映射关系，确定可见光视频和太赫兹视频的空间映射关系。
本申请提供的技术方案的优点在于，预先利用轨迹速度曲线计算太赫兹视频和可见光视频间的时间、空间的映射关系，然后根据已确定的时空映射关系对可见光视频和太赫兹视频进行快速配准，实现了可见光视频和太赫兹视频的实时融合，可准确定位可疑违禁品的位置，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的人体安检效率，满足安检系统实时监测的需求。
此外，本发明实施例还针对视频融合方法提供了相应的实现装置、设备及计算机可读存储介质，进一步使得所述方法更具有实用性，所述装置、设备及计算机可读存储介质具有相应的优点。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种视频融合方法的流程示意图；
图2为本发明实施例提供的另一种视频融合方法的流程示意图；
图3为本发明实施例提供的视频融合装置的一种具体实施方式结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
太赫兹成像不仅能检测金属物品也能检测非金属违禁品(如炸药、陶瓷刀、玻璃刀、毒品等)，这些特性使得太赫兹成像非常适合于进行人体安检。但太赫兹成像视频帧率信噪比低、对比度分辨率差，细节表现不丰富。而可见光成像分辨率高，目标成像后的文理边缘等细节丰富，但不能拍摄衣物里的危险品。
本申请的发明人经过研究发现，由于可见光和太赫兹视频的差异和局限性，仅靠单一类型图像难以满足实际安检需求。如果可利用可见光视频和太赫兹视频的信息互补性，通过视频融合技术，得到高质量、信息量更为全面的视频满足安检工作的需求。但是太赫兹视频与可见光视频融合的存在的问题：
首先二者视频质量不同：帧频不一致，太赫兹帧频只有可见光视频的三分之一左右，且太赫兹成像视频分辨率、信噪比低，对比度差；此外，由于拍摄方位和角度的不同、成像时延差异，且太赫兹对衣物等透明，导致两者形成的人体轮廓不同，视频内容也就不同。
鉴于此，本申请通过视频序列间的时空配准方法解决了上述融合问题，从而实现可见光视频和太赫兹视频实时相融合，满足安检工作的现实需求。
在介绍了本发明实施例的技术方案后，下面详细的说明本申请的各种非限制性实施方式。
首先参见图1，图1为本发明实施例提供的一种视频融合方法的流程示意图，本发明实施例可包括以下内容：
S101：获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取可见光视频和太赫兹视频的特征点。
S102：根据预先计算的时空映射关系，对太赫兹视频和可见光视频进行融合。
视频的融合，即为两个视频中的相对应的像素特征点的相互匹配过程，可利用SIFT特征描述子对两段视频分别提取线条、角点、轮廓等特征，当然，也可提取其他特征，本申请对此不作任何限定。
可见光视频中的任意一个特征点，其在时空坐标系中的坐标可为f＝(x，y，t)，可见光视频和太赫兹视频的时空映射关系为P＝[p时间，p空间]，那么经时空映射关系，该特征点在太赫兹视频中对应的特征点在时空坐标系下的坐标为f'＝(x'，y'，t')。所以在将两个视频进行融合时，需要确定二者之间的时空映射关系，时空映射关系的计算过程可包括：
根据可见光视频和太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定可见光视频和太赫兹视频的时间映射关系；轨迹速度曲线为可见光视频和太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；根据可见光视频和太赫兹视频的采集设备的空间位置关系和时间映射关系，确定可见光视频和太赫兹视频的空间映射关系。
帧频比例系数为可见光视频和太赫兹视频的帧频比，为已知参数。例如，太赫兹视频为10帧每秒，可见光视频30帧每秒，则帧频比例系数a＝10/30＝0.333。
可见光视频与太赫兹视频存在一个时间差，可用一维线性函数进行建模，即可见光视频的特征点和太赫兹视频相对应的特征点满足下述时间映射关系式：
`
t＝at+Δt；
式中，t为可见光视频中特征点的当前时间，t`为太赫兹视频中相对应特征点的当前时间，a为帧频比例系数，Δt为时间差；
其中，Δt的计算方法为：
获取可见光视频中的拍摄物体在安检通道中运动时，预设特征点的第一外部轮廓变化曲线，并确定第一外部轮廓变化曲线中的峰值对应的第一时间；
获取太赫兹视频中的拍摄物体在安检通道中运动时，相对应特征点的第二外部轮廓变化曲线，确定第二外部轮廓变化曲线中的相应峰值对应的第二时间；
计算第一时间和第二时间的差，以作为时间差。
举例来说，可录制测试人员走过太赫兹通道的视频(大约1秒)，由于太赫兹通道形状为“C”通道，视频中人员在走完整个通道时，会有两次转身。转身时视频中人体的关键特征点会有较大变化，定义轨迹速度来度量前后帧人体的关键特征点变化，处理整段视频就得到轨迹速度曲线，两次转身在曲线上反映就是两个尖峰，对于可见光视频，这两个尖峰对应的时间为t1、t2(t1＜t2)，对于太赫兹视频，这两个尖峰对应的时间为t3、t4(t3＜t4)，计算太赫兹视频和可见视频轨迹速度曲线尖峰处的时间差便可确定Δt(Δt＝|t1-t3|，或者Δt＝|t2-t4|)。在这种方式下，帧频比例系数还可根据上述曲面进行计算，即：
其中，轨迹速度的算法为可选取头、肩、手等几个关键点，计算其前后帧的位置。
由于监控摄像机和太赫兹成像仪的位置固定的，可见光视频和太赫兹视频的视频序列间的时空关系满足下述空间映射关系式：
HS(t)＝S`(at+Δt)；
式中，S(t)为可见光视频中特征点的当前位置，S`(at+Δt)为太赫兹视频中相对应特征点的当前位置，H为空间映射参数。
空间映射参数为待求的3*3矩阵，共9个未知参数，可通过求解多个满足空间关系式的特征点组成的线性方程组计算所得。
由于帧频比例系数和时间差在实际计算过程中存在误差，并且计算P时间时误差会累积，且P空间参数的计算基于P时间的计算，也会累加误差，为了提高视频融合的准确度，可周期性的更新参数Δt。更新方法同样可采用两条轨迹速度曲线尖峰差距进行估算，具体即为：
按照预设频率计算当前的时间差Δt，并替代时间映射关系式中的时间差；利用替换后的时间映射关系式重新确定空间映射关系，以更新时空映射关系；
根据更新后的时空映射关系对太赫兹视频和可见光视频进行融合。
在确定可见光视频和太赫兹视频的时空映射关系后，可以可见光视频为基础，通过映射关系确定相应特征点在太赫兹视频的时空位置，将二者进行融合，也可以太赫兹视频为基础，通过映射关系确定相应特征点在可见光视频的时空位置，将二者进行融合，这均不影响本申请的实现。
在可见光视频和太赫兹视频进行融合时，可将部分区域的太赫兹视频融合在可见光视频中，也可将全部太赫兹视频融合在可见光视频中，或者可将部分区域的可见光视频融合在太赫兹视频中，也可将全部可见光视频融合在太赫兹视频中，可根据具体的实际应用场景和实际需求进行确定，本申请对此不作任何限定。
在本发明实施例提供的技术方案中，预先利用轨迹速度曲线计算太赫兹视频和可见光视频间的时间、空间的映射关系，然后根据已确定的时空映射关系对可见光视频和太赫兹视频进行快速配准，实现了可见光视频和太赫兹视频的实时融合，可准确定位可疑违禁品的位置，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的人体安检效率，满足安检系统实时监测的需求。
基于上述实施例，本申请还提供了另外一个实施例，请参见图2，图2为本发明实施例提供的另一种视频融合方法的流程示意图，本发明实施例例如可应用于太赫兹安检系统，具体的可包括以下内容：
S201：获取安检通道的可见光视频和太赫兹视频。
S202：判断太赫兹视频中是否存在违禁品图像，若是，则执行S203，若否，则返回S201。
可利用Faster RCNN算法检测所述太赫兹视频中是否存在违禁品图像，当然，也可采用其他算法，这均不影响本申请的实现。
当太赫兹视频中不存在违禁品图像时，不对可见光视频和太赫兹视频进行融合，继续获取安检通道的可见光视频和太赫兹视频，直至太赫兹视频中存在违禁品图像。
S203：利用SIFT特征描述子分别提取可见光视频和太赫兹视频的特征点。
S204：在太赫兹视频中定位违禁品图像的位置，并截取违禁品图像。
S205：根据时空映射关系，将违禁品图像转化为可见光视频空间的目标置换图像。
S206：利用目标置换图像置换可见光视频相对应位置，以完成太赫兹视频和可见光视频进行融合。
举例来说，以可见光视频为基础，由确定时间映射关系找出对应的太赫兹视频图像，利用Faster RCNN检测是否有可疑违禁品，如果存在，则定位截取可疑违禁品图像，同时定位其位置，再由空间映射关系，把可疑违禁品图片变换成可见光视频空间图片，置换进入其在可见光视频中的位置，融合完成。
为了将融合的部分更加清楚明白向用户展示，可在融合区域增加提示信息，例如在可见光视频中的呈现目标置换图像的位置设置提示框，将融合区域用任何形状的框圈起来，进一步的，可设置对比度高的颜色作为提示框的颜色。
具体的与上述实施例S101相同或相类似的特征，可参见上述实施例的描述，此处不再赘述。
由上可知，本发明实施例通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
本发明实施例还针对视频融合方法提供了相应的实现装置，进一步使得所述方法更具有实用性。下面对本发明实施例提供的视频融合装置进行介绍，下文描述的视频融合装置与上文描述的视频融合方法可相互对应参照。
参见图3，图3为本发明实施例提供的视频融合装置在一种具体实施方式下的结构图，该装置可包括：
视频资源获取模块301，用于获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点。
视频融合模块302，用于根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；所述时空映射关系的计算过程包括：
根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；
根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。
可选的，在本实施例的一些实施方式中，所述视频融合模块302可以包括计算子模块，具体可包括：
可见光视频的特征点和太赫兹视频相对应的特征点满足下述时间映射关系式：
`
t＝at+Δt；
式中，t为可见光视频中特征点的当前时间，t`为太赫兹视频中相对应特征点的当前时间，a为帧频比例系数，Δt为时间差；
其中，Δt的计算方法为：
获取可见光视频中的拍摄物体在安检通道中运动时，预设特征点的第一外部轮廓变化曲线，并确定第一外部轮廓变化曲线中的峰值对应的第一时间；
获取太赫兹视频中的拍摄物体在安检通道中运动时，相对应特征点的第二外部轮廓变化曲线，确定第二外部轮廓变化曲线中的相应峰值对应的第二时间；
计算第一时间和第二时间的差，以作为时间差。
在一种具体的实施方式中，所述视频融合模块302还可包括：
更新子模块，用于按照预设频率计算当前的时间差Δt，并替代时间映射关系式中的时间差；利用替换后的时间映射关系式重新确定空间映射关系，以更新时空映射关系；根据更新后的时空映射关系对太赫兹视频和可见光视频进行融合。
所述视频融合模块302还可包括空间关系确定子模块，具体可为：可见光视频的特征点和太赫兹视频相对应的特征点满足下述空间映射关系式：
HS(t)＝S`(at+Δt)；
式中，S(t)为可见光视频中特征点的当前位置，S`(at+Δt)为太赫兹视频中相对应特征点的当前位置，H为空间映射参数，空间映射参数为3*3矩阵，通过求解多个满足空间关系式的特征点组成的线性方程组所得。
在另外一种具体实施方式中，所述装置还可以包括判断模块，用于判断太赫兹视频中是否存在违禁品图像；若是，则执行后续操作，若否，则继续获取安检通道的可见光视频和太赫兹视频，直至太赫兹视频中存在违禁品图像。
具体的，所述视频融合模块302还可包括：
截取子模块，用于在太赫兹视频中定位违禁品图像的位置，并截取违禁品图像；
置换子模块，用于根据时空映射关系，将违禁品图像转化为可见光视频空间的目标置换图像；
融合子模块，用于利用目标置换图像置换可见光视频相对应位置，以完成太赫兹视频和可见光视频进行融合。
本发明实施例所述视频融合装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
本发明实施例还提供了一种视频融合设备，具体可包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序以实现如上任意一实施例所述视频融合方法的步骤。
本发明实施例所述视频融合设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
本发明实施例还提供了一种计算机可读存储介质，存储有视频融合程序，所述视频融合程序被处理器执行时如上任意一实施例所述视频融合方法的步骤。
本发明实施例所述计算机可读存储介质的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
由上可知，本发明实施例通过对可见光视频和太赫兹视频进行实时融合，方便手检人员快速辨识目标人物及携带可疑违禁品藏匿的位置、大小、形状，提高太赫兹安检系统的安检效率，满足安检工作的现实需求。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的一种视频融合方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种视频融合方法，其特征在于，应用于太赫兹安检系统，包括：
获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；
根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；
其中，所述时空映射关系的计算过程包括：
根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；所述帧频比例系数为所述可见光视频和所述太赫兹视频的帧频比；
根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。
2.根据权利要求1所述的视频融合方法，其特征在于，所述根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系包括：
所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述时间映射关系式：
t`= at+△t；
式中，t为所述可见光视频中特征点的当前时间，t`为所述太赫兹视频中相对应特征点的当前时间，a为帧频比例系数，△t为时间差；
△t的计算方法为：
获取所述可见光视频中的拍摄物体在所述安检通道中运动时，预设特征点的第一外部轮廓变化曲线，并确定所述第一外部轮廓变化曲线中的峰值对应的第一时间；
获取所述太赫兹视频中的拍摄物体在所述安检通道中运动时，相对应特征点的第二外部轮廓变化曲线，确定所述第二外部轮廓变化曲线中的相应峰值对应的第二时间；
计算所述第一时间和所述第二时间的差，以作为所述时间差。
3.根据权利要求2所述的视频融合方法，其特征在于，所述根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合包括：
按照预设频率计算当前的时间差△t，并替代所述时间映射关系式中的时间差；利用替换后的时间映射关系式重新确定空间映射关系，以更新所述时空映射关系；
根据更新后的时空映射关系对所述太赫兹视频和所述可见光视频进行融合。
4.根据权利要求2所述的视频融合方法，其特征在于，所述根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系包括：
所述可见光视频的特征点和所述太赫兹视频相对应的特征点满足下述空间映射关系式：
HS(t)= S`( at+△t)；
式中，S(t)为所述可见光视频中特征点的当前位置，S`( at+△t)为所述太赫兹视频中相对应特征点的当前位置，H为空间映射参数，所述空间映射参数为3*3矩阵，通过求解多个满足所述空间映射关系式的特征点组成的线性方程组所得。
5.根据权利要求1所述的视频融合方法，其特征在于，在所述获取安检通道的可见光视频和太赫兹视频之后，还包括：
判断所述太赫兹视频中是否存在违禁品图像；
若是，则执行后续操作，若否，则继续获取安检通道的可见光视频和太赫兹视频，直至所述太赫兹视频中存在违禁品图像。
6.根据权利要求1至5任意一项所述的视频融合方法，其特征在于，所述太赫兹视频存在违禁品图像，所述根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合包括：
在所述太赫兹视频中定位所述违禁品图像的位置，并截取所述违禁品图像；
根据所述时空映射关系，将所述违禁品图像转化为可见光视频空间的目标置换图像；
利用所述目标置换图像置换所述可见光视频相对应位置，以完成所述太赫兹视频和所述可见光视频进行融合。
7.根据权利要求6所述的视频融合方法，其特征在于，在所述利用所述目标置换图像置换所述可见光视频相对应位置之后，还包括：
在所述可见光视频中的呈现目标置换图像的位置设置提示框。
8.一种视频融合装置，其特征在于，应用于太赫兹安检系统，包括：
视频资源获取模块，用于获取安检通道的可见光视频和太赫兹视频，并利用SIFT特征描述子分别提取所述可见光视频和所述太赫兹视频的特征点；
视频融合模块，用于根据预先计算的时空映射关系，对所述太赫兹视频和所述可见光视频进行融合；所述时空映射关系的计算过程包括：
根据所述可见光视频和所述太赫兹视频的帧频比例系数和预设特征点的轨迹速度曲线，确定所述可见光视频和所述太赫兹视频的时间映射关系；所述轨迹速度曲线为所述可见光视频和所述太赫兹视频中拍摄物体的预设特征点的外部轮廓变化率；所述帧频比例系数为所述可见光视频和所述太赫兹视频的帧频比；
根据所述可见光视频和所述太赫兹视频的采集设备的空间位置关系和所述时间映射关系，确定所述可见光视频和所述太赫兹视频的空间映射关系。
9.一种计算机设备，其特征在于，包括设置在太赫兹安检系统中的处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7任一项所述视频融合方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有视频融合程序，所述视频融合程序被处理器执行时实现如权利要求1至7任一项所述视频融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810606919.3A CN108805082B (zh) | 2018-06-13 | 2018-06-13 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810606919.3A CN108805082B (zh) | 2018-06-13 | 2018-06-13 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108805082A CN108805082A (zh) | 2018-11-13 |
| CN108805082B true CN108805082B (zh) | 2021-08-13 |
Family
ID=64087024
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810606919.3A Expired - Fee Related CN108805082B (zh) | 2018-06-13 | 2018-06-13 | 一种视频融合方法、装置、设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108805082B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414470B (zh) * | 2019-08-05 | 2023-05-09 | 深圳市矽赫科技有限公司 | 基于太赫兹与可见光的巡查方法 |
| CN110781757B (zh) * | 2019-09-29 | 2023-05-09 | 中国航空无线电电子研究所 | 一种机场道面异物识别定位方法及系统 |
| CN110940996A (zh) * | 2019-12-11 | 2020-03-31 | 西安交通大学 | 基于太赫兹和可见光的成像装置、监测系统及成像方法 |
| CN113126176B (zh) * | 2019-12-30 | 2022-06-10 | 清华大学 | 太赫兹波安检系统及方法 |
| CN112381747A (zh) * | 2020-11-16 | 2021-02-19 | 上海亨临光电科技有限公司 | 基于轮廓特征点的太赫兹与可见光图像配准方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106383132A (zh) * | 2016-10-17 | 2017-02-08 | 北京君和信达科技有限公司 | 辐射检查系统和方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
-
2018
- 2018-06-13 CN CN201810606919.3A patent/CN108805082B/zh not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106383132A (zh) * | 2016-10-17 | 2017-02-08 | 北京君和信达科技有限公司 | 辐射检查系统和方法 |
| CN107657217A (zh) * | 2017-09-12 | 2018-02-02 | 电子科技大学 | 基于运动目标检测的红外与可见光视频的融合方法 |
Non-Patent Citations (2)
| Title |
|---|
| The implement of real-time fusion of infrared and visible light video images based on OpenCV;Hua Xu et al.;《2015 IEEE Advanced Information Technology, Electronic and Automation Control Conference(IAEAC)》;20151219;第900-904页 * |
| 基于混合Powell法的太赫兹/可见光双波段图像配准;乔玉龙 等;《光学学报》;20150228;第35卷(第2期);第1-7页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108805082A (zh) | 2018-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108805082B (zh) | 一种视频融合方法、装置、设备及计算机可读存储介质 | |
| KR100519782B1 (ko) | 스테레오 카메라를 이용한 사람 검출 방법 및 장치 | |
| CN108269279B (zh) | 基于单目三维扫描系统的三维重构方法和装置 | |
| CN107388960B (zh) | 一种确定物体体积的方法及装置 | |
| US9070023B2 (en) | System and method of alerting a driver that visual perception of pedestrian may be difficult | |
| US9098911B2 (en) | Depth map generation from a monoscopic image based on combined depth cues | |
| CA2812117C (en) | A method for enhancing depth maps | |
| US10424078B2 (en) | Height measuring system and method | |
| CN102833486B (zh) | 一种实时调节视频图像中人脸显示比例的方法及装置 | |
| JP6619927B2 (ja) | キャリブレーション装置 | |
| US20120087572A1 (en) | Use of Three-Dimensional Top-Down Views for Business Analytics | |
| CN102997891B (zh) | 场景深度的测量装置和方法 | |
| CN103458261B (zh) | 一种基于立体视觉的视频场景变化检测方法 | |
| CN102903098A (zh) | 一种基于图像清晰度差异的深度估计方法 | |
| KR20140045854A (ko) | 단일객체에 대한 기울기를 추정하는 영상을 감시하는 장치 및 방법 | |
| WO2022088886A1 (en) | Systems and methods for temperature measurement | |
| Sun et al. | Fusion of infrared and visible images for remote detection of low-altitude slow-speed small targets | |
| CN104240264A (zh) | 一种运动物体的高度检测方法和装置 | |
| CN106264537B (zh) | 图像中人体姿态高度的测量系统及方法 | |
| US8588480B2 (en) | Method for generating a density image of an observation zone | |
| CN106709432B (zh) | 基于双目立体视觉的人头检测计数方法 | |
| JP2004109009A (ja) | 目標角速度計測装置および目標角速度計測方法 | |
| CN113111743A (zh) | 人员距离探测方法及装置 | |
| CN105138979A (zh) | 基于立体视觉的运动人体头部检测方法 | |
| KR101668649B1 (ko) | 주변 환경 모델링 방법 및 이를 수행하는 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210813 |