CN102905054B - 一种基于图像多维特征值比对的视频同步方法 - Google Patents
一种基于图像多维特征值比对的视频同步方法 Download PDFInfo
- Publication number
- CN102905054B CN102905054B CN201210405178.5A CN201210405178A CN102905054B CN 102905054 B CN102905054 B CN 102905054B CN 201210405178 A CN201210405178 A CN 201210405178A CN 102905054 B CN102905054 B CN 102905054B
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- characteristic value
- target video
- sliding window
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明涉及一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，包括以下步骤：提取源视频和目标视频基于Y分量的多个图像特征值，并汇总成多维特征向量；设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差；统计并记录发生最小误差时滑动窗口位置；计算出目标视频相对于源视频超前或滞后帧数确定同步点。本发明同步误差能够控制在1帧以内，这样就能在无法利用PTS同步的环境中，达到同样的视频同步效果。
Description
技术领域
本发明涉及广播电视信号监测领域，具体涉及一种基于图像多维特征值比对的视频同步方法。
背景技术
随着数字电视、IPTV、手机电视等新媒体的不断涌现和兴起，数字电视信号取代模拟电视信号已是大势所趋。在模拟电视时代，电视信号在传输过程中丢失是造成视频质量下降的主要原因，因此可以采用测量信噪比来确定播出质量。而在数字电视时代，信号传输已经不是质量下降的主要原因，卫星电视、地面数字、IPTV、手机电视等各个数字电视信号源间普遍存在着逐层压缩转码，在转码过程中，编码格式、分辨率、码率、参考帧位置等的变化，都会不同程度地带来视频质量的下降。视频质量下降的呈现方式，也从模拟电视信号的雪花形式，演变成数字电视信号的方块效应、马赛克、整体模糊、边缘信息丢失等形式。
本发明中用到的术语解释如下：
Y：是指视频信号的亮度分量；
PTS：Presentation Time Stamp，显示时间戳，数字电视传输流中字段。
数据同步的算法在计算机存储系统领域有应用，比如申请人是清华大学和北京威视数据系统有限公司，申请号200810225596.X，发明名称《一种基于数据差异的逻辑卷快速同步方法》，公开了一种通过比较源逻辑卷和目标逻辑卷数据块特征值而判定源卷和目标卷数据是否同步，并同步源卷和目标卷的方法。图像特征值一般应用在图像相似性上，比如内容识别，人脸识别，指纹识别；电子科技大学计算机科学与工程学院，贺祥， 卢光辉发表于《福建电脑》2009年第5期的论作《基于图像相似度的关键帧提取算法》指出为了在视频管理数据库中提供有效的视频检索和浏览功能，必须用简明的方式表示视频的内容，关键帧提取技术是视频分析和视频检索的基础，现阶段关键帧提取技术已成为视频检索的一个重要研究方向，并提出了一种改进的基于内容的视频关键帧提取方法-基于图像相似度的关键帧提取算法。但图像特征值用于数字电视信号的同步算法未见报道。
发明内容
本发明的目的是，解决当视频节目经过转码后，其包含的显示时间戳PTS将会发生变化，无法通过显示时间戳PTS进行多路视频同步的技术问题，提供一种基于图像多维特征值比对的视频同步方法。
为实现上述目的，本发明采取的技术方案是：一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，包括以下步骤：
步骤a，指定源视频和目标视频的步骤；
步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤；
步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；
步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；
步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；
步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。
本发明基于图像多维特征值比对的视频同步方法的改进，所述步骤f为：
步骤f，重复步骤c，步骤d，步骤e，当超前或滞后帧数保持在1帧以内并保持一个足够确认同步的时间，确定找到源视频和目标视频同步点的步骤。这样能够确保同步精度在1帧以内。
本发明基于图像多维特征值比对的视频同步方法，所述步骤b提取源视频和目标视频Y分量图像特征值并汇总成多维特征向量由以下步骤组成：
步骤b1，分别提取源视频和目标视频的Y分量图像的步骤；
步骤b2，对源视频和目标视频Y分量的每一个像素点做前后帧时域上的离散卷积计算；
步骤b3，对卷积后的结果做高通滤波处理的步骤；
步骤b4，计算每一帧卷积后结果的平均值，作为特征值并记录的步骤；
步骤b5，计算每一帧卷积后结果大于0部分的平均值，作为特征值并记录的步骤；
步骤b6，计算每一帧卷积后结果小于0部分的平均值，作为特征值并记录的步骤；
步骤b7，计算源视频和目标视频每一帧Y分量的平均值，作为特征值并记录的步骤；
步骤b8，将所述步骤b4、b5、b6、b7所得特征值汇总成多维特征向量的步骤。
本发明有如下有益效果：采用基于图像多维特征比对的视频同步算法，使源视频和目标视频图像内容进行同步，误差能够控制在1帧以内，这样就能在无法利用PTS同步的环境中，达到同样的视频同步效果。
附图说明
图1是一种基于图像多维特征值比对的视频同步方法流程图。
图2是一种基于图像多维特征值比对的视频同步方法提取图像多维特征值流程图。
具体实施方式
下面结合实施例并参照附图对本发明作进一步描述。
本实施例一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步。参见图1，一种基于图像多维特征值比对的视频同步方法流程图。
具体步骤细化如下：
步骤a，指定源视频和目标视频的步骤；
步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤；
步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；
步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；
步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；
步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。
对于步骤c中的滑动窗口大小优选为参考帧前后125帧；要说明的是对于源视频和目标视频受传输和转码影响小的场合也可以是参考帧前后50帧甚至更少；对于源视频和目标视频受传输和转码影响大的场合选择的滑动窗口应该大一点，但125帧已经考虑到相关影响，是一个冗余度比较大的选择。
对于步骤f而言，为了可靠的确定源视频和目标视频同步点，可以反复计算确认一段时间，即：
步骤f，重复步骤c，步骤d，步骤e，当超前或滞后帧数保持在1帧以内并保持一个足够确认同步的时间，确定找到源视频和目标视频同步点的步骤。这样能够确保同步精度在1帧以内。
上面所述保持一个足够确认同步的时间优选为10秒。
对于步骤b提取源视频和目标视频基于Y分量的多个图像特征值，将多个图像特征值汇总成多维特征向量的步骤，应该来说有很多种基于Y分量的图像特征值的提取方法，其中优选的实施方案参见图2一种基于图像多维特征值比对的视频同步方法提取图像多维特征值流程图，具体步骤如下：
步骤b1，分别提取源视频和目标视频的Y分量图像的步骤；
步骤b2，对源视频和目标视频Y分量的每一个像素点做前后帧时域上的离散卷积计算；
步骤b3，对卷积后的结果做高通滤波处理的步骤；
步骤b4，计算每一帧卷积后结果的平均值，作为特征值并记录的步骤；
步骤b5，计算每一帧卷积后结果大于0部分的平均值，作为特征值并记录的步骤；
步骤b6，计算每一帧卷积后结果小于0部分的平均值，作为特征值并记录的步骤；
步骤b7，计算源视频和目标视频每一帧Y分量的平均值，作为特征值并记录的步骤；
步骤b8，将所述步骤b4、b5、b6、b7所得特征值汇总成多维特征向量的步骤。
上面离散卷积的卷积核优选为：。其他的卷积核也是可以考虑的，例如：。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和补充，这些改进和补充也应视为本发明的保护范围。
Claims (5)
1.一种基于图像多维特征值比对的视频同步方法，对播出系统中来自不同源头的相同视音频节目，利用多维图像特征值比对的算法，使源视频和目标视频同步，其特征在于包括以下步骤：
步骤a，指定源视频和目标视频的步骤；
步骤b，提取源视频和目标视频基于Y分量的多个图像特征值，将所述多个图像特征值汇总成多维特征向量的步骤；
步骤c，设定滑动窗口大小，在滑动窗口大小前后帧时域方向上计算图像特征值的误差，即以源视频实时播出的一帧为参考帧，遍历计算目标视频相对于源视频在滑动窗口上不同位置各特征向量欧氏距离的步骤；
步骤d，统计滑动窗口上不同位置时图像特征值的误差，并记录发生最小误差时滑动窗口位置的步骤；
步骤e，把滑动窗口的位置相减，计算出目标视频相对于源视频超前或滞后帧数的步骤；
步骤f，根据超前或滞后帧数确定源视频和目标视频同步点的步骤。
2.根据权利要求1所述视频同步方法，其特征在于，所述步骤c中的所述滑动窗口大小为所述参考帧前后125帧。
3.根据权利要求1所述视频同步方法，其特征在于，所述步骤f为：
步骤f，重复步骤c，步骤d，步骤e，当超前或滞后帧数保持在1帧以内并保持一个足够确认同步的时间，确定找到源视频和目标视频同步点的步骤；
所述足够确认同步的时间为10秒。
4.根据权利要求1所述视频同步方法，其特征在于所述步骤b提取源视频和目标视频Y分量图像特征值并汇总成多维特征向量由以下步骤组成：
步骤b1，分别提取源视频和目标视频的Y分量图像的步骤；
步骤b2，对源视频和目标视频Y分量的每一个像素点做前后帧时域上的离散卷积计算；
步骤b3，对卷积后的结果做高通滤波处理的步骤；
步骤b4，计算每一帧卷积后结果的平均值，作为特征值并记录的步骤；
步骤b5，计算每一帧卷积后结果大于0部分的平均值，作为特征值并记录的步骤；
步骤b6，计算每一帧卷积后结果小于0部分的平均值，作为特征值并记录的步骤；
步骤b7，计算源视频和目标视频每一帧Y分量的平均值，作为特征值并记录的步骤；
步骤b8，将所述步骤b4、b5、b6、b7所得特征值汇总成多维特征向量的步骤。
5.根据权利要求4所述视频同步方法，其特征在于所述步骤b2离散卷积计算的卷积核设为
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210405178.5A CN102905054B (zh) | 2012-10-23 | 2012-10-23 | 一种基于图像多维特征值比对的视频同步方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210405178.5A CN102905054B (zh) | 2012-10-23 | 2012-10-23 | 一种基于图像多维特征值比对的视频同步方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102905054A CN102905054A (zh) | 2013-01-30 |
| CN102905054B true CN102905054B (zh) | 2017-11-21 |
Family
ID=47577078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210405178.5A Active CN102905054B (zh) | 2012-10-23 | 2012-10-23 | 一种基于图像多维特征值比对的视频同步方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102905054B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103699886B (zh) * | 2013-12-19 | 2017-02-08 | 北京航天测控技术有限公司 | 一种视频实时比对方法 |
| CN106993219B (zh) * | 2017-03-09 | 2020-03-17 | 中央电视台 | 视频信号的比对方法及装置 |
| CN111343401B (zh) * | 2018-12-18 | 2021-06-01 | 华为技术有限公司 | 帧同步方法及其装置 |
| CN112347821A (zh) * | 2019-08-09 | 2021-02-09 | 飞思达技术（北京）有限公司 | 一种基于卷积神经网络的iptv和ott视频特征提取方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
| CN101557474A (zh) * | 2008-05-28 | 2009-10-14 | 北京同步科技有限公司 | 实现多路录制单元录制的视频文件时间点对齐的方法 |
| CN102419816A (zh) * | 2011-11-18 | 2012-04-18 | 山东大学 | 用于相同内容视频检索的视频指纹方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060271717A1 (en) * | 2005-05-27 | 2006-11-30 | Raja Koduri | Frame synchronization in multiple video processing unit (VPU) systems |
| WO2007144813A2 (en) * | 2006-06-13 | 2007-12-21 | Koninklijke Philips Electronics N.V. | Fingerprint, apparatus, method for identifying and synchronizing video |
-
2012
- 2012-10-23 CN CN201210405178.5A patent/CN102905054B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101557474A (zh) * | 2008-05-28 | 2009-10-14 | 北京同步科技有限公司 | 实现多路录制单元录制的视频文件时间点对齐的方法 |
| CN101387976A (zh) * | 2008-11-07 | 2009-03-18 | 清华大学 | 一种基于数据差异的逻辑卷快速同步方法 |
| CN102419816A (zh) * | 2011-11-18 | 2012-04-18 | 山东大学 | 用于相同内容视频检索的视频指纹方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102905054A (zh) | 2013-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104618803B (zh) | 信息推送方法、装置、终端及服务器 | |
| JP5492087B2 (ja) | コンテンツベースの画像調整 | |
| CN104063883B (zh) | 一种基于对象和关键帧相结合的监控视频摘要生成方法 | |
| US8345102B2 (en) | Image processing system and method for object tracking | |
| US8934545B2 (en) | Extraction of video fingerprints and identification of multimedia using video fingerprinting | |
| EP1482734A2 (en) | Process and system for identifying a position in video using content-based video timelines | |
| TWI442773B (zh) | 抽取視訊與音訊信號內容之特徵以提供此等信號之可靠識別的技術 | |
| US9299119B2 (en) | Overlay-based watermarking for video synchronization with contextual data | |
| US20110122315A1 (en) | Method and apparatus for synchronizing video data | |
| CN102905054B (zh) | 一种基于图像多维特征值比对的视频同步方法 | |
| CN108605119B (zh) | 2d到3d视频帧转换 | |
| US9860594B2 (en) | Method and apparatus for image frame identification and video stream comparison | |
| US20170147170A1 (en) | Method for generating a user interface presenting a plurality of videos | |
| KR20140058643A (ko) | 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법 | |
| US9542976B2 (en) | Synchronizing videos with frame-based metadata using video content | |
| US8873642B2 (en) | Video content analysis methods and systems | |
| Dexter et al. | Multi-view Synchronization of Human Actions and Dynamic Scenes. | |
| CN110705499B (zh) | 一种基于迁移学习的人群计数方法 | |
| Yao et al. | Automatic camera self-calibration for immersive navigation of free viewpoint sports video | |
| CN107169004A (zh) | 一种特征数据库更新方法及装置 | |
| Gupta et al. | Content-based video copy detection using nearest-neighbor mapping | |
| CN110619362B (zh) | 一种基于感知与像差的视频内容比对方法及装置 | |
| US20150179228A1 (en) | Synchronized movie summary | |
| CN110602444B (zh) | 基于韦伯-费希纳定律和时域掩盖效应的视频摘要方法 | |
| CN115147441A (zh) | 基于数据分析的抠图特效处理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20170112 Address after: 200120 China Bi Sheng Lu (Shanghai) free trade zone 289 Lane 2, Room 301 Applicant after: SHANGHAI WIBOX SCIENCE & TECHNOLOGY DEVELOPMENT CO., LTD. Address before: Lingang New City of Binjiang West Road Jiangyin Jiangsu province 214433 city of Wuxi City, No. 2 Building 1 Room 301 Applicant before: Wuxi Fengge Software Co.,Ltd. Applicant before: Shanghai Style Information Technology Co.,Ltd. Applicant before: Shanghai Fengge Software Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Room 301, Lane 2, 289 Bisheng Road, 200120 China (Shanghai) Free Trade Pilot Area Patentee after: Shanghai Baibei Science and Technology Development Co., Ltd. Address before: China (Shanghai) free trade pilot area, 289 Lane 2, 301, room No. Patentee before: SHANGHAI WIBOX SCIENCE & TECHNOLOGY DEVELOPMENT CO., LTD. |
|
| CP03 | Change of name, title or address | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20190711 Address after: Room 301, Lane 2, 289 Bisheng Road, 200120 China (Shanghai) Free Trade Pilot Area Co-patentee after: Shanghai Baibei Software Co., Ltd. Patentee after: Shanghai Baibei Science and Technology Development Co., Ltd. Address before: China (Shanghai) free trade pilot area, 289 Lane 2, 301, room No. Patentee before: Shanghai Baibei Science and Technology Development Co., Ltd. |
|
| TR01 | Transfer of patent right |