CN108063941A - 视频帧匹配方法、装置及视频处理时延测量系统、方法 - Google Patents
视频帧匹配方法、装置及视频处理时延测量系统、方法 Download PDFInfo
- Publication number
- CN108063941A CN108063941A CN201610992208.5A CN201610992208A CN108063941A CN 108063941 A CN108063941 A CN 108063941A CN 201610992208 A CN201610992208 A CN 201610992208A CN 108063941 A CN108063941 A CN 108063941A
- Authority
- CN
- China
- Prior art keywords
- video frame
- video
- layer
- frame
- sent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开了一种视频帧匹配方法、装置及视频处理时延测量系统、方法，属于视频处理技术领域，其中视频帧匹配方法包括以下步骤：获取第一视频帧；构建第一视频帧的N层金字塔；分别计算第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志；选取第O层计算所得的所有互信息量中最大值所对应的第二视频帧作为与第一视频帧相匹配的视频帧。本发明允许第一、第二视频帧存在一定程度的变化，适用范围广。
Description
技术领域
本发明涉及视频处理技术领域，具体涉及一种视频帧匹配方法、装置及视频处理时延测量系统、方法。
背景技术
视频处理时延是视频处理设备输入与输出之间的时间差，也是指视频信号进入视频处理设备直至处理完毕并出现在输出端所需要的时间。视频处理时延是评价视频处理设备性能的一项关键指标，目前时延测试方法主要分为两大类：侵入式测量方法和非侵入式测量方法。
侵入式测量方法的原理是在输入端产生特殊的视频信号，用专门的测量设备在输出端接收信号，计算对应测量点的时间差作为时延值。
非侵入式测量方法是在输入端的输入视频中嵌入发送时间戳画面，在输出端接收并显示带发送时间戳的视频画面，提取发送时间戳并与接收端的本地时间戳进行比较，求出时延值。
但是，上述两种方法输入视频与输出视频不能有太大变化，或者说输入输出的测量点信号不能有较大变化。
发明内容
因此，本发明实施例要解决的技术问题在于现有技术中的时延测试方法输入视频与输出视频不能有太大变化。
为此，本发明实施例的一种视频帧匹配方法，包括以下步骤：
获取第一视频帧；
构建所述第一视频帧的N层金字塔；
分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；
选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧。
优选地，所述构建所述第一视频帧的N层金字塔的步骤包括：
所述N层金字塔的第0层为所述第一视频帧的原始帧；
所述N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
优选地，计算互信息量与最大值差距的公式为：
其中，MIk，0表示互信息量最大值，MIk，i表示除互信息量最大值以外的第i个互信息量。
本发明实施例的一种视频帧匹配装置，包括：
获取单元，用于获取第一视频帧；
构建单元，用于构建所述第一视频帧的N层金字塔；
计算单元，用于分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；
匹配视频帧获得单元，用于选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧。
优选地，所述构建单元包括：
第一构建子单元，用于所述N层金字塔的第0层为所述第一视频帧的原始帧；
第二构建子单元，用于所述N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
优选地，计算互信息量与最大值差距的公式为：
其中，MIk，0表示互信息量最大值，MIk，i表示除互信息量最大值以外的第i个互信息量。
本发明实施例的一种视频处理时延测量系统，包括：
视频信号发生装置，用于接收存储装置发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备，将所述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置，并将发送第二视频帧的发送时刻发送给计时装置；
视频信号接收装置，用于接收被测视频处理设备对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置，并输出数字视频帧给存储装置；
存储装置，用于存储预设的数字视频帧和视频信号接收装置发送的数字视频帧，将预设的数字视频帧发送给视频信号发生装置，将接收的视频信号接收装置发送的数字视频帧作为第一视频帧发送给视频帧匹配装置；
视频帧匹配装置，用于获取第一视频帧；构建所述第一视频帧的N层金字塔；分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧；
计时装置，用于接收第一视频帧的接收时刻和系列第二视频帧的发送时刻并根据第一视频帧的接收时刻和匹配成功的第二视帧的发送时刻计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置；
显示装置，用于接收计时装置发送的视频处理时延并显示。
优选地，所述计算被测视频处理设备的视频处理时延的公式为：
t1-t2-t3
其中，t1表示接收时刻，t2表示与第一视频帧相匹配的第二视频帧的发送时刻，t3表示预设时延。
优选地，所述视频信号接收装置还用于输出数字视频帧给显示装置；
所述显示装置还用于接收视频信号接收装置发送的数字视频帧并显示。
本发明实施例的一种视频处理时延测量方法，包括以下步骤：
存储装置将预设的数字视频帧发送给视频信号发生装置；
视频信号发生装置接收存储装置发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备，将所述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置，并将发送第二视频帧的发送时刻发送给计时装置；
视频信号接收装置接收被测视频处理设备对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置，并输出数字视频帧给存储装置；
存储装置接收视频信号接收装置发送的数字视频帧并将其作为第一视频帧发送给视频帧匹配装置；
视频帧匹配装置接收存储装置发送的第一视频帧和视频信号发生装置发送的第二视频帧，计算获得与第一视频帧相匹配的第二视频帧的结果并将其发送给计时装置；
计时装置接收发送时刻、接收时刻和视频帧匹配装置的计算结果，计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置；
显示装置接收计时装置发送的视频处理时延并显示。
本发明实施例的技术方案，具有如下优点：
1.本发明实施例提供的视频帧匹配方法及装置，通过构建第一视频帧的金字塔，并自顶向下逐步求精，从金字塔最顶层(数据量最少)开始，计算第一视频帧与所有第二视频帧的互信息量，并通过将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，将差距小的视频帧留下进入金字塔下一层，差距大的视频帧去除，从而减小了计算量，并保证了互信息量的区分度；通过选取出互信息量最大值的那一帧第二视频帧，确定出与第一视频帧相匹配的视频帧，即找出了与第一视频帧所对应的第二视频帧，因而两种视频帧无需不能有太大变化，允许两者具有一定程度的变化，从而扩大了应用范围。
2.本发明实施例提供的视频处理时延测量系统及方法，通过采用视频帧匹配装置，计算视频帧互信息量，从而允许输入视频信号经过被测视频处理设备后发生一定程度的变化，且时延测量准确度高，对被测视频处理设备的限制较少，极大地扩大了应用范围。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1中视频帧匹配方法的一个具体示例的流程图；
图2为本发明实施例2中视频帧匹配装置的一个具体示例的原理框图；
图3为本发明实施例3中视频处理时延测量系统的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种视频帧匹配方法，可应用于匹配出最大相关的两种视频帧，如图1所示，视频帧匹配方法包括如下步骤：
S1-1、获取第一视频帧，例如第一视频帧可以是被测视频处理设备输出的。
S1-2、构建上述第一视频帧的N层金字塔，金字塔的当前层数据是从其下一层数据中提取出来的。N为大于0的自然数，例如，N＝5。
S1-3、互信息量计算：分别计算上述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或上述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值。例如第二视频帧可以是输入至被测视频处理设备的。
互信息量是两个随机变量统计相关性的一种测度，其计算过程为：
假设给定视频帧A和B，它们的互信息量MI定义为：
MI(A，B)＝H(A)+H(B)-H(A，B)
其中，H(A)和H(B)分别为视频帧的熵，H(A，B)是二者的联合熵。
熵的定义为：
其中，pA(i)为灰度值i在视频帧A中出现的概率，pB(i)为灰度值i在视频帧B中出现的概率，pA，B(i，j)为灰度值i在视频帧A中和灰度值j在视频帧B中同时出现的联合概率。这些概率可以用视频帧直方图近似获得。
S1-4、选取获得匹配视频帧：选取第0层计算所得的所有互信息量中最大值所对应的那一帧第二视频帧作为与上述第一视频帧相匹配的视频帧。
上述视频帧匹配方法，通过构建第一视频帧的金字塔，并自顶向下逐步求精，从金字塔最顶层(数据量最少)开始，计算第一视频帧与所有第二视频帧的互信息量，并通过将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，将差距小的视频帧留下进入金字塔下一层，差距大的视频帧去除，从而减小了计算量，并保证了互信息量的区分度；通过选取出互信息量最大值的那一帧第二视频帧，确定出与第一视频帧相匹配的视频帧，即找出了与第一视频帧所对应的第二视频帧，因而两种视频帧无需不能有太大变化，允许两者具有一定程度的变化，从而扩大了应用范围。
优选地，上述步骤S1-2的构建第一视频帧的N层金字塔的步骤包括：
N层金字塔的第0层为上述第一视频帧的原始帧；N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
下面以一种具体实例来说明上述步骤S1-2的构建第一视频帧的N层金字塔的过程。
假设N＝5。第一视频帧的帧有效数据的分辨率为720*576，以接收到的第一视频帧(原始帧)像素的灰度值为金字塔的底层(第0层)G0。对G0进行高斯低通滤波并隔行隔列亚采样，得到金字塔的上一层G1，分辨率为360*288。如此重复，得到G2，分辨率为180*144；G3，分辨率为90*72；G4，分辨率为45*36。由此构建成5层金字塔。
上述视频帧匹配方法，通过高斯低通滤波并隔行隔列亚采样的方法，构建获得N层金字塔，使金字塔最顶层的分辨率最低，与相邻层的分辨率能相差4倍，从而能减少计算量，提高计算效率。
优选地，计算互信息量与最大值差距的公式为：
其中，MIk，0表示互信息量最大值，MIk，i表示除互信息量最大值以外的第i个互信息量。
上述步骤S1-3具体为，还以N＝5为例(即k依照4，3，2，1，0的顺序依次取值)：
i.取k＝4(从金字塔的最顶层第4层G4开始)；
ii.计算第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，并且如果存在带计算标志的视频帧，则同时计算第一视频帧的第k层与带计算标志的视频帧的互信息量；
iii.将计算所得的互信息量从大到小排序得MIk，0、MIk，1、…；
iv.从i＝1开始，按照下式进行判断，
如果满足上式的MIk，i数量大于或等于1，则k＝k-1(即进入金字塔下一层计算)，并将满足上式的MIk，i对应第二视频帧置计算标志，转步骤ii；
v.当k＝0时，表示已经对金字塔最低层G0进行计算，获得此时最大互信息量MIk，0，其对应的第二视频帧即为与第一视频帧相匹配的视频帧。
上述视频帧匹配方法，通过将计算所得的互信息量进行从大到小排序，选取出了最大互信息量，并且通过排序，在其他互信息量与最大互信息量通过5％的阈值进行比较时，也可以按照从大到小的顺序依次进行，当发现了第一个不符合条件的其他互信息量时，按顺序后面的其他互信息量就无需进行再比较，从而减小了计算量，提高了计算效率。
实施例2
对应于实施例1，本实施例提供一种视频帧匹配装置，如图2所示，包括：
获取单元11，用于获取第一视频帧；
构建单元12，用于构建上述第一视频帧的N层金字塔；
计算单元13，用于分别计算上述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或上述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；
匹配视频帧获得单元14，用于选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与上述第一视频帧相匹配的视频帧。
上述视频帧匹配装置，通过构建第一视频帧的金字塔，并自顶向下逐步求精，从金字塔最顶层(数据量最少)开始，计算第一视频帧与所有第二视频帧的互信息量，并通过将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，将差距小的视频帧留下进入金字塔下一层，差距大的视频帧去除，从而减小了计算量，并保证了互信息量的区分度；通过选取出互信息量最大值的那一帧第二视频帧，确定出与第一视频帧相匹配的视频帧，即找出了与第一视频帧所对应的第二视频帧，因而两种视频帧无需不能有太大变化，允许两者具有一定程度的变化，从而扩大了应用范围。
优选地，上述构建单元包括：
第一构建子单元，用于上述N层金字塔的第0层为上述第一视频帧的原始帧；
第二构建子单元，用于上述N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
上述视频帧匹配装置，通过高斯低通滤波并隔行隔列亚采样的方法，构建获得N层金字塔，使金字塔最顶层的分辨率最低，与相邻层的分辨率能相差4倍，从而能减少计算量，提高计算效率。
优选地，计算互信息量与最大值差距的公式为：
其中，MIn，0表示互信息量最大值，MIn，i表示除互信息量最大值以外的第i个互信息量。
实施例3
本实施例提供一种视频处理时延测量系统，可用于测量被测视频处理设备的输入与输出之间的时间差(时延)，如图3所示，视频处理时延测量系统100包括：
视频信号发生装置20，用于接收存储装置40发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备200，将上述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置10，每帧第二视频帧图案不同，将这些视频帧循环组成发送视频流，视频流的帧数＞可测时延最大值/帧时长，并将发送第二视频帧的发送时刻发送给计时装置50；例如，视频信号发生装置20能够将数字视频帧转换成RGB格式或者YCbCr格式数字视频帧，还能够转换成PAL制或者NTSC制模拟视频信号。
视频信号接收装置30，用于接收被测视频处理设备200对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置50，并输出数字视频帧给存储装置40；例如，视频信号接收装置30可以直接接收ITU-R BT.656格式的数字视频流，也能够接收PAL制或者NTSC制模拟视频信号并转换成数字视频帧输出给存储装置40。
存储装置40，用于存储预设的数字视频帧(包括视频帧的N层金字塔数据)和视频信号接收装置30发送的数字视频帧，将预设的数字视频帧发送给视频信号发生装置20，将接收的视频信号接收装置30发送的数字视频帧作为第一视频帧发送给视频帧匹配装置10。
视频帧匹配装置10，可采用上述实施例2中的视频帧匹配装置，通过互信息量的计算找出两种对应的视频帧，用于获取第一视频帧；构建上述第一视频帧的N层金字塔；分别计算上述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或上述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与上述第一视频帧相匹配的视频帧；优选地，可将选取出的第二视频帧编号发送给计时装置50。
计时装置50，用于接收第一视频帧的接收时刻和系列第二视频帧的发送时刻并根据第一视频帧的接收时刻和匹配成功的第二视帧的发送时刻计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置60；
显示装置60，用于接收计时装置50发送的视频处理时延并显示。
上述视频处理时延测量系统，通过采用视频帧匹配装置，计算视频帧互信息量，从而允许输入视频信号经过被测视频处理设备后发生一定程度的变化，因此，对被测视频处理设备的限制较少，极大地扩大了应用范围。
优选地，上述计算被测视频处理设备的视频处理时延的公式为：
t1-t2-t3
其中，t1表示接收时刻，t2表示与第一视频帧相匹配的第二视频帧的发送时刻，t3表示预设时延，为视频处理时延测量系统本身处理相关的附加延时，可实测获得。在实际测量时，可以连续测试多次，例如20次，取测量结果的平均值作为被测视频处理设备的时延。
优选地，上述视频信号接收装置30还用于输出数字视频帧给显示装置60；
上述显示装置60还用于接收视频信号接收装置30发送的数字视频帧并显示，以方便测量人员观察接收视频，判断测量过程是否正常。测量过程中不能排除被测视频处理设备异常、设备连接异常等情况，显示装置把接收的视频帧进行显示，测量人员通过观察接收视频，当发现接收视频图案与原始发送视频明显没有相关性时，可以判断测量无效，这时应该检查设备。
优选地，视频处理时延测量系统100还包括电源调理装置70，用于向视频处理时延测量系统100的各个装置供电。
下面以两个具体实例来说明视频处理时延测量系统100的应用。
实例1
汽车越来越普及了，倒车考验着大量非专职驾驶员，倒车影像处理系统应运而生了。但是，倒车影像处理系统的视频处理时延是一项关键指标。采用视频处理时延测量系统，将视频处理时延测量系统输出的视频信号替代倒车影像系统摄像头输出信号进入倒车影像处理系统，并将倒车影像处理系统的输出信号接入视频处理时延测量系统，能够测量出倒车影像处理系统的视频处理时延。
实例2
视频图像增强设备能够大幅改善暗处和逆光条件下的可视性，以及具备去雾功能。同样，增强设备的视频处理时延是一项关键指标。采用视频处理时延测量系统，将视频处理时延测量系统输出的视频信号接入增强设备，并将增强设备的输出信号接入视频处理时延测量系统，能够测量出视频图像增强设备的处理时延。
实施例4
本实施例提供一种视频处理时延测量方法，包括以下步骤：
存储装置将预设的数字视频帧发送给视频信号发生装置；
视频信号发生装置接收存储装置发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备，将上述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置，并将发送第二视频帧的发送时刻发送给计时装置；
视频信号接收装置接收被测视频处理设备对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置，并输出数字视频帧给存储装置；
存储装置接收视频信号接收装置发送的数字视频帧并将其作为第一视频帧发送给视频帧匹配装置；
视频帧匹配装置接收存储装置发送的第一视频帧和视频信号发生装置发送的第二视频帧，计算获得与第一视频帧相匹配的第二视频帧的结果(例如可以是第二视频帧编号)并将其发送给计时装置；
计时装置接收发送时刻、接收时刻和视频帧匹配装置的计算结果，计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置；
显示装置接收计时装置发送的视频处理时延并显示。
上述视频处理时延测量方法，通过采用视频帧匹配装置，计算视频帧互信息量，从而允许输入视频信号经过被测视频处理设备后发生一定程度的变化，因此，对被测视频处理设备的限制较少，极大地扩大了应用范围。
优选地，视频处理时延测量方法还包括以下步骤：
视频信号接收装置输出数字视频帧给显示装置；
显示装置接收上述数字视频帧并进行显示，以方便测量人员观察接收视频，判断测量过程是否正常。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。
Claims (10)
1.一种视频帧匹配方法，其特征在于，包括以下步骤：
获取第一视频帧；
构建所述第一视频帧的N层金字塔；
分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；
选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧。
2.根据权利要求1所述的方法，其特征在于，所述构建所述第一视频帧的N层金字塔的步骤包括：
所述N层金字塔的第0层为所述第一视频帧的原始帧；
所述N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
3.根据权利要求1或2所述的方法，其特征在于，计算互信息量与最大值差距的公式为：
<mfrac>
<mrow>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>0</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>0</mn>
</mrow>
</msub>
</mrow>
</mfrac>
其中，MIk，0表示互信息量最大值，MIk，i表示除互信息量最大值以外的第i个互信息量。
4.一种视频帧匹配装置，其特征在于，包括：
获取单元，用于获取第一视频帧；
构建单元，用于构建所述第一视频帧的N层金字塔；
计算单元，用于分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；
匹配视频帧获得单元，用于选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧。
5.根据权利要求4所述的装置，其特征在于，所述构建单元包括：
第一构建子单元，用于所述N层金字塔的第0层为所述第一视频帧的原始帧；
第二构建子单元，用于所述N层金字塔的第n层为对第n-1层进行高斯低通滤波并隔行隔列亚采样后得到的视频帧，其中，N为自然数，N≥3，n＝1，2，…，N-1。
6.根据权利要求4或5所述的装置，其特征在于，计算互信息量与最大值差距的公式为：
<mfrac>
<mrow>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>0</mn>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
</mrow>
<mrow>
<msub>
<mi>MI</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>0</mn>
</mrow>
</msub>
</mrow>
</mfrac>
其中，MIk，0表示互信息量最大值，MIk，i表示除互信息量最大值以外的第i个互信息量。
7.一种视频处理时延测量系统，其特征在于，包括：
视频信号发生装置，用于接收存储装置发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备，将所述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置，并将发送第二视频帧的发送时刻发送给计时装置；
视频信号接收装置，用于接收被测视频处理设备对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置，并输出数字视频帧给存储装置；
存储装置，用于存储预设的数字视频帧和视频信号接收装置发送的数字视频帧，将预设的数字视频帧发送给视频信号发生装置，将接收的视频信号接收装置发送的数字视频帧作为第一视频帧发送给视频帧匹配装置；
视频帧匹配装置，用于获取第一视频帧；构建所述第一视频帧的N层金字塔；分别计算所述第一视频帧的第k层与所有预设的第二视频帧的第k层之间的互信息量，和/或所述第一视频帧的第k层与带计算标志的视频帧的互信息量，并将当前计算层计算所得的所有互信息量中与最大值差距小于或等于阈值的互信息量对应第二视频帧置计算标志，其中，k依照N-1，…，2，1，0的顺序依次取值；选取第0层计算所得的所有互信息量中最大值所对应的第二视频帧作为与所述第一视频帧相匹配的视频帧；
计时装置，用于接收第一视频帧的接收时刻和系列第二视频帧的发送时刻并根据第一视频帧的接收时刻和匹配成功的第二视帧的发送时刻计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置；
显示装置，用于接收计时装置发送的视频处理时延并显示。
8.根据权利要求7所述的系统，其特征在于，所述计算被测视频处理设备的视频处理时延的公式为：
t1-t2-t3
其中，t1表示接收时刻，t2表示与第一视频帧相匹配的第二视频帧的发送时刻，t3表示预设时延。
9.根据权利要求7或8所述的系统，其特征在于，所述视频信号接收装置还用于输出数字视频帧给显示装置；
所述显示装置还用于接收视频信号接收装置发送的数字视频帧并显示。
10.一种视频处理时延测量方法，其特征在于，包括以下步骤：
存储装置将预设的数字视频帧发送给视频信号发生装置；
视频信号发生装置接收存储装置发送的预设的数字视频帧并将其转换成适于被测视频处理设备接收的格式输出给被测视频处理设备，将所述预设的数字视频帧作为第二视频帧发送给视频帧匹配装置，并将发送第二视频帧的发送时刻发送给计时装置；
视频信号接收装置接收被测视频处理设备对所接收的视频信号进行处理后输出的视频信号并将接收视频信号的接收时刻发送给计时装置，并输出数字视频帧给存储装置；
存储装置接收视频信号接收装置发送的数字视频帧并将其作为第一视频帧发送给视频帧匹配装置；
视频帧匹配装置接收存储装置发送的第一视频帧和视频信号发生装置发送的第二视频帧，计算获得与第一视频帧相匹配的第二视频帧的结果并将其发送给计时装置；
计时装置接收发送时刻、接收时刻和视频帧匹配装置的计算结果，计算被测视频处理设备的视频处理时延，并将视频处理时延发送给显示装置；
显示装置接收计时装置发送的视频处理时延并显示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610992208.5A CN108063941B (zh) | 2016-11-05 | 2016-11-05 | 视频帧匹配方法、装置及视频处理时延测量系统、方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610992208.5A CN108063941B (zh) | 2016-11-05 | 2016-11-05 | 视频帧匹配方法、装置及视频处理时延测量系统、方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108063941A true CN108063941A (zh) | 2018-05-22 |
| CN108063941B CN108063941B (zh) | 2020-06-30 |
Family
ID=62137982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610992208.5A Active CN108063941B (zh) | 2016-11-05 | 2016-11-05 | 视频帧匹配方法、装置及视频处理时延测量系统、方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108063941B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505534A (zh) * | 2019-08-26 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 监控视频处理方法、装置及存储介质 |
| CN114112456A (zh) * | 2021-10-25 | 2022-03-01 | 新光维医疗科技(苏州)股份有限公司 | 内窥镜系统成像检测装置及方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080095286A1 (en) * | 2004-07-15 | 2008-04-24 | Koninklijke Philips Electronics, N.V. | Measurement System for Delay Between Two Signals Transmitted Via Two Transmission Paths |
| CN101398901A (zh) * | 2008-10-31 | 2009-04-01 | 中国航空无线电电子研究所 | 用于辅助导航的快速图像匹配方法 |
| CN101668223A (zh) * | 2009-09-07 | 2010-03-10 | 航天恒星科技有限公司 | 一种测量图像传输时延的方法 |
| CN102158726A (zh) * | 2011-01-28 | 2011-08-17 | 北京视博云科技有限公司 | 一种编码器时延检测方法及装置 |
| CN102496158A (zh) * | 2011-11-24 | 2012-06-13 | 中兴通讯股份有限公司 | 一种图像信息处理方法及装置 |
| JP2013247489A (ja) * | 2012-05-25 | 2013-12-09 | Nec Engineering Ltd | 映像配信システムの遅延時間測定方法 |
-
2016
- 2016-11-05 CN CN201610992208.5A patent/CN108063941B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080095286A1 (en) * | 2004-07-15 | 2008-04-24 | Koninklijke Philips Electronics, N.V. | Measurement System for Delay Between Two Signals Transmitted Via Two Transmission Paths |
| CN101398901A (zh) * | 2008-10-31 | 2009-04-01 | 中国航空无线电电子研究所 | 用于辅助导航的快速图像匹配方法 |
| CN101668223A (zh) * | 2009-09-07 | 2010-03-10 | 航天恒星科技有限公司 | 一种测量图像传输时延的方法 |
| CN102158726A (zh) * | 2011-01-28 | 2011-08-17 | 北京视博云科技有限公司 | 一种编码器时延检测方法及装置 |
| CN102496158A (zh) * | 2011-11-24 | 2012-06-13 | 中兴通讯股份有限公司 | 一种图像信息处理方法及装置 |
| JP2013247489A (ja) * | 2012-05-25 | 2013-12-09 | Nec Engineering Ltd | 映像配信システムの遅延時間測定方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110505534A (zh) * | 2019-08-26 | 2019-11-26 | 腾讯科技（深圳）有限公司 | 监控视频处理方法、装置及存储介质 |
| CN114112456A (zh) * | 2021-10-25 | 2022-03-01 | 新光维医疗科技(苏州)股份有限公司 | 内窥镜系统成像检测装置及方法 |
| CN114112456B (zh) * | 2021-10-25 | 2024-04-02 | 新光维医疗科技(苏州)股份有限公司 | 内窥镜系统成像检测装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108063941B (zh) | 2020-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111476309B (zh) | 图像处理方法、模型训练方法、装置、设备及可读介质 | |
| CN109118470B (zh) | 一种图像质量评价方法、装置、终端和服务器 | |
| CN111582071B (zh) | 一种基于HRNet网络模型的SF6仪表图像读数方法 | |
| CN108109147A (zh) | 一种模糊图像的无参考质量评价方法 | |
| CN111340866A (zh) | 深度图像生成方法、装置及存储介质 | |
| CN112465801B (zh) | 一种分尺度提取掩码特征的实例分割方法 | |
| CN109583391A (zh) | 关键点检测方法、装置、设备及可读介质 | |
| CN109858551A (zh) | 基于图像识别检测结构应力的方法、装置、设备及介质 | |
| CN104424331A (zh) | 数据抽样方法及装置 | |
| CN112164086A (zh) | 一种精细化的图像边缘信息确定方法、系统及电子设备 | |
| CN112004078A (zh) | 基于生成对抗网络的虚拟现实视频质量评价方法及系统 | |
| CN108063941A (zh) | 视频帧匹配方法、装置及视频处理时延测量系统、方法 | |
| Chen et al. | Salbinet360: Saliency prediction on 360 images with local-global bifurcated deep network | |
| CN101505422B (zh) | 生成缩略图图像的方法和设备 | |
| CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
| CN112598611A (zh) | 一种凸字体银行卡号图像的合成方法、识别方法及装置 | |
| CN105430397B (zh) | 一种3d图像体验质量预测方法及装置 | |
| CN115937291B (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
| CN114414067B (zh) | 热成像数据处理方法、装置、热成像摄影设备及存储介质 | |
| CN106530286A (zh) | 确定清晰度级别的方法及装置 | |
| US20110170774A1 (en) | Image manipulating system and method | |
| CN115223221A (zh) | 人脸检测方法、装置、电子设备和存储介质 | |
| CN108510464A (zh) | 基于分块观测的压缩感知网络及全图重构方法 | |
| CN114782249A (zh) | 一种图像的超分辨率重建方法、装置、设备以及存储介质 | |
| Lu et al. | Automatic region selection for objective sharpness assessment of mobile device photos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |