CN113965814A - 基于视频会议场景的多会场关键帧提取方法及系统 - Google Patents

基于视频会议场景的多会场关键帧提取方法及系统 Download PDF

Info

Publication number
CN113965814A
CN113965814A CN202111006707.XA CN202111006707A CN113965814A CN 113965814 A CN113965814 A CN 113965814A CN 202111006707 A CN202111006707 A CN 202111006707A CN 113965814 A CN113965814 A CN 113965814A
Authority
CN
China
Prior art keywords
image
key
video
key points
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111006707.XA
Other languages
English (en)
Other versions
CN113965814B (zh
Inventor
刘鸿雁
车四四
张露阳
王朔
孙丽丽
张延童
何子亨
刘方舟
王雨晨
杨超
孙小骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Shandong University
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
Shandong University
Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Shandong University, Information and Telecommunication Branch of State Grid Shandong Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202111006707.XA priority Critical patent/CN113965814B/zh
Publication of CN113965814A publication Critical patent/CN113965814A/zh
Application granted granted Critical
Publication of CN113965814B publication Critical patent/CN113965814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8549—Creating video summaries, e.g. movie trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H04N21/4356—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen by altering the spatial resolution, e.g. to reformat additional data on a handheld device, attached to the STB
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提出了基于视频会议场景的多会场关键帧提取方法及系统，包括：读取会议轮询视频；对视频中每一帧图像，计算其对应的灰度图像；在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。结合视频会议场景特点，进行了改进。首先将检测对象由整幅图像改为关键点，减少了由于会议时人员走动等特殊情况造成的误差，且大大减少了计算量，提升了检测效率。

Description

基于视频会议场景的多会场关键帧提取方法及系统
技术领域
本发明属于数字图像处理技术领域，尤其涉及基于视频会议场景的多会场关键帧提取方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着网络信息技术的发展，视频会议作为线上会议可以满足公司会议需求，各公司逐渐以视频会议取代了线下会议，在所有会议中占比逐年提高。
在视频会议召开过程中，由于会议效果的需求，主会场经常需要对分会场进行轮询，所谓轮询就是在主会场侧依次浏览分会场的上送画面。如以国家电网视频会议轮询视频为例，进行各项处理及操作。为了保证视频会议质量，需要对轮询视频中可能存在的问题进行检测，此时需要提取所有会场的一帧图像作为检测样本。
为了方便进行提取操作，定义会议轮询视频中相邻分会场进行转换操作时的前一帧图像，即转换会场前的最后一帧图像为关键帧。
传统方法提取所有会场的关键帧时，先求视频中每一帧图像的平均灰度值，再求相邻两帧图像的平均灰度值差的绝对值，与阈值比较。若平均灰度值差的绝对值大于阈值，则判定前一幅图像为关键帧并将其保存。这种方法在会场中有人员走动、会场亮度较低等情况下检测效果较差，准确率不能达到要求。
例如，专利号为CN110781843、发明人为施智平、发明名称为“课堂行为检测方法及电子设备”中提出了一种关键帧提取方法。该方法通过比较相邻视频帧的第一相似度来判别其是否为关键帧，其中第一相似度通过灰度直方图来计算。单纯使用灰度并不能充分利用所有的图像信息，且该方法在研究目标为课堂背景时并未针对变化不大的背景信息进行有针对性的改进，因此现有的该方法仅适用于视频帧数较少的情况，且对于人员走动等环境变化导致的误差无法有效识别。
发明内容
为克服上述现有技术的不足，本发明提供了基于视频会议场景的多会场关键帧提取方法，解决在会场中有人员走动、个别会场偏黑等情况下检测效果较差的问题，针对视频会议轮询视频，准确、高效地提取出关键帧。
为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：
第一方面，公开了基于视频会议场景的多会场关键帧提取方法，包括：
读取会议轮询视频；
对视频中每一帧图像，计算其对应的灰度图像；
在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
进一步的技术方案，计算视频中每一帧图像对应的灰度图像时，将读取视频的第i帧和第i+1帧图像的红色、绿色、蓝色分量图像，将其按比例系数转化为对应的灰度图像。
进一步优选的技术方案，对视频中每一帧图像利用不同比例系数进行转化；将转化结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到各比例系数条件下的正确率以及视频会议场景下的最优比例系数。
进一步的技术方案，利用视频会议场景下的最优比例系数代入灰度化公式获得最优的灰度图像。
进一步的技术方案，在所有灰度图像中选取关键点，关键点选取时应遵循所选位置能反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则。
进一步的技术方案，所述关键点均匀且离散的分布在轮询视频图像左右两侧偏上的部分。
进一步的技术方案，针对灰度图像中四条边以及四个顶点上的像素，采用扩展的方式来补足缺少的像素，扩展时需对图像进行均匀扩展，使扩展的像素的值等于相距最近的边界像素的值，最终形成扩展图像。
进一步的技术方案，将相邻两帧图像相同位置的关键点的平均灰度值对应相减，并取绝对值，分别与阈值比较并计数，若计数结果大于有效点阈值，判定相邻两帧图像中前一帧图像为关键帧。
第二方面，公开了基于视频会议场景的多会场关键帧提取系统，包括：
图像转化模块，被配置为：对读取的会议轮询视频中每一帧图像，转化为对应的灰度图像；
平均灰度值计算模块，被配置为：在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
关键帧提取模块，被配置为：计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
以上一个或多个技术方案存在以下有益效果：
本发明该方法在传统方法的基础上，结合视频会议场景特点，进行了改进。首先将检测对象由整幅图像改为关键点，减少了由于会议时人员走动等特殊情况造成的误差，且大大减少了计算量，提升了检测效率；其次针对视频会议场景这一相对固定的背景条件进行遍历测试，得到了该场景下灰度化公式的最优比例系数，提升了检测正确率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
关键帧的定义为：
会议轮询视频中相邻分会场进行转换操作时的前一帧图像，即会场转换前的最后一帧图像称为关键帧。
实施例一
本实施例公开了一种基于视频会议场景的多会场关键帧提取方法，通过处理会议轮询视频来提取轮询视频中包含的各会场的关键帧。
在识别关键帧属于哪一会场时，由于轮询顺序是固定的，按照顺序比较即可得知所属的会场。
该方法步骤如下：
Step1：对会议轮询视频中每一帧图像，按照当前场景下的红色、绿色、蓝色分量图像比例计算其对应的灰度图像；
Step2：遵循位置能明显反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则；在所有上述灰度图像中选取关键点并计算以关键点为中心的3×3像素点邻域的平均灰度值，将结果定义为关键点处的平均灰度值；定义灰度阈值T0，作为判别关键点是否为有效点的标准；定义有效点个数阈值T1，作为判别相邻两帧图像是否为不同会场图像的标准；每幅图像中确定4个关键点，4个关键点位置在每一图像中均具相同的位置处；
Step3：计算两幅连续图像间对应关键点处的平均灰度值的差，并与阈值T0比较，若该差值大于灰度阈值T0，则称前一个关键点有效并记作有效点；统计有效点的个数，若有效点的个数多于阈值T1，则判定前一幅图像为关键帧并保存。
本发明的具体实施例中，提取关键帧具体方法为：
1)读取视频的第i帧和第i+1帧图像的红色、绿色、蓝色分量图像，将其按比例转化为对应的灰度图像，将一幅红、绿、蓝色彩图像转化为灰度图像时按照以下公式：
Li＝0.299·Ri+0，587·Gi+0.114Bi，i＝1，2，3，...，n
其中，Li为第i帧图像对应的灰度图像矩阵，Ri、Gi、Bi分别表示第i帧图像在红、绿、蓝色彩空间中的红色、绿色、蓝色分量图像矩阵，i表示帧数，n表示视频中所有帧的数量；
设视频内图像尺寸为M*N，则Li、Ri、Gi、Bi均为M*N维矩阵；
轮询视频中各会场布置相似的特点：每一幅图像均包括包含会场名称信息的挡板以及统一的背景墙。针对轮询视频的特点，对视频中每一帧图像测试了不同比例系数条件下提取结果；将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到各比例系数条件下的正确率以及视频会议场景下的最优比例系数；
具体的，在各比例下的灰度图像中选取关键点，计算关键点邻域内的平均灰度值，再计算两幅连续图像间关键点处灰度差值，与阈值比较并判定前一幅图像是否为关键帧。遍历完整个视频后，将关键帧的提取结果与正确信息相比较，可得到各比例系数的正确率，从而得到最优比例系数。
设最优比例系数为k/(k+j+l)、j/(k+j+l)、l/(k+j+l)，则选用最优比例系数的灰度化公式可表示为：
Li＝(k·Ri+j·Gi+l·Bi)/(k+j+l)，i＝1，2，3，...，n
确定最优比例系数的过程：
为确定最优比例系数，可将该问题等效为研究红色、绿色、蓝色分量图像在提取关键帧的过程，计算时应遍历各比例系数，再结合不同比例下的测试结果，分析其正确率，即：将关键帧的提取结果与正确信息相比较，即将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，得到最适合视频轮询会议的比例系数，具体过程为：
a.设红色、绿色、蓝色分量图像比例为1∶1∶1，提取轮询视频关键帧，将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到该比例下的提取关键帧的正确率；
b.将红色、绿色、蓝色分量图像比例从1∶1∶1至4∶4∶4进行组合遍历测试，共计64种组合情况，得到64组提取结果；将各组提取结果与该轮询视频中出现的分会场数量及标签进行比对，重点关注1∶1∶4、1∶4∶1、1∶4∶4、4∶1∶1、4∶1∶4、4∶4∶1几种比例对应结果；
c.将上述结果与该轮询视频中出现的分会场数量及标签进行比对，发现蓝色分量图像占比较小时对于关键帧提取结果无异常，而红色、绿色分量图像占比较小时提取过程出现了一定的误差，可知红色、绿色分量图像对关键帧提取正确率影响较大，蓝色分量图像对关键帧提取正确率影响较小，因此选择红色、绿色、蓝色比例为4∶4∶1作为最优比例，即k＝4，j＝4，l＝1；
确定最优比例系数后，代入灰度化公式：
Figure BDA0003237314660000071
可得第i帧图像对应的灰度图像矩阵；
2)在灰度图像中选取的4个位置相同的关键点，关键点选取时应遵循所选位置能明显反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则。经网上轮询视频画面的分析可以得知，人员走动多出现于画面下半部分，且由于要求视频画面中上方为固定背景墙、下半部分为写有分会场名称的挡板，会场环境特征主要由视频左上方区域及右上方区域体现，因此关键点应均匀且离散的分布在图像左右两侧偏上的部分。
上述关键点的选取是经过测试后发现4个点是保证正确率前提下最少的点数。
计算以关键点为中心的3×3像常点邻域的平均灰度值：
Figure BDA0003237314660000072
其中
Figure BDA0003237314660000073
表示第x行、第y列像素的3×3邻域的灰度平均值，L(x，y)表示第x行、第y列像素的灰度值；
对于灰度图像中不满足上述公式的边界像素，即四条边以及四个顶点上的像素，采用扩展的方式来补足缺少的像素。扩展时需对图像进行均匀扩展，使扩展的像素的值等于相距最近的边界像素的值，最终形成扩展图像。因为原图像尺寸为M*N，所以扩展后图像尺寸为(M+2)*(N+2)；
一般情况下基于关键点选取的规则，并不会选取边界元素作为关键点，但是，若选取的关键点中包含边界像素点，则需要利用扩展图像。由于边界像素点无法满足上述公式，因此需要扩展图像才能代入公式中进行计算。
3)将相邻两帧图像相同位置的4个关键点的平均灰度值对应相减，并取绝对值，即：
Figure BDA0003237314660000081
其中，am表示第m个关键点的3×3邻域平均灰度值的差的绝对值，
Figure BDA0003237314660000082
表示第i帧图像中第x行、第y列像素的3×3像素邻域灰度平均值；
4)将a1，...，a4分别与阈值T0比较并计数，若计数结果大于T1，则判定第i帧图像为关键帧，并保存；
5)读取第i+2帧图像，对该帧进行上述处理并与第i+1帧图像比较，重复上述步骤1)至步骤5)的过程直至倒数二帧图像比较结果结束为止。
实施例二
本实施例的目的是提供一种计算装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行上述方法的步骤。
实施例四
本实施例的目的是提供了基于视频会议场景的多会场关键帧提取系统，包括：
图像转化模块，被配置为：对读取的会议轮询视频中每一帧图像，转化为对应的灰度图像；
平均灰度值计算模块，被配置为：在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
关键帧提取模块，被配置为：计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
还包括：最优系数测试模块，用于计算最优比例系数。
确定最优比例系数时：可将该问题等效为研究红色、绿色、蓝色分量图像在提取关键帧的过程，计算时应遍历各比例系数，再结合不同比例下的测试结果，分析其正确率，即：将关键帧的提取结果与正确信息相比较，即将提取结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，得到最适合视频轮询会议的比例系数
以上实施例二、三和四的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。
本领域技术人员应该明白，上述本发明的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本发明不限制于任何特定的硬件和软件的结合。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.基于视频会议场景的多会场关键帧提取方法，其特征是，包括：
读取会议轮询视频；
对视频中每一帧图像，计算其对应的灰度图像；
在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。
2.如权利要求1所述的基于视频会议场景的多会场关键帧提取方法，其特征是，计算视频中每一帧图像对应的灰度图像时，将读取视频的第i帧和第i+1帧图像的红色、绿色、蓝色分量图像，将其按比例系数转化为对应的灰度图像。
3.如权利要求1所述的基于视频会议场景的多会场关键帧提取方法，其特征是，对视频中每一帧图像利用不同比例系数进行转化；将转化结果与该轮询视频中出现的分会场数量及包含该分会场名称信息的标签进行比对，从而得到各比例系数条件下的正确率以及视频会议场景下的最优比例系数。
4.如权利要求3所述的基于视频会议场景的多会场关键帧提取方法，其特征是，利用视频会议场景下的最优比例系数代入灰度化公式获得最优的灰度图像。
5.如权利要求1所述的基于视频会议场景的多会场关键帧提取方法，其特征是，在所有灰度图像中选取关键点，关键点选取时应遵循所选位置能反映体现会场环境特征、体现不同会场差异、不易受人员走动影响、分布均匀且离散的原则；
优选的，所述关键点均匀且离散的分布在轮询视频图像左右两侧偏上的部分。
6.如权利要求1所述的基于视频会议场景的多会场关键帧提取方法，其特征是，针对灰度图像中四条边以及四个顶点上的像素，采用扩展的方式来补足缺少的像素，扩展时需对图像进行均匀扩展，使扩展的像素的值等于相距最近的边界像素的值，最终形成扩展图像。
7.如权利要求1所述的基于视频会议场景的多会场关键帧提取方法，其特征是，将相邻两帧图像相同位置的关键点的平均灰度值对应相减，并取绝对值，分别与阈值比较并计数，若计数结果大于有效点阈值，判定相邻两帧图像中前一帧图像为关键帧。
8.基于视频会议场景的多会场关键帧提取系统，其特征是，包括：
图像转化模块，被配置为：对读取的会议轮询视频中每一帧图像，转化为对应的灰度图像；
平均灰度值计算模块，被配置为：在所有灰度图像中选取关键点，计算以其为中心的邻域的平均灰度值并将结果定义为关键点处的平均灰度值；
关键帧提取模块，被配置为：计算两幅连续灰度图像间关键点处的平均灰度值的差，并与灰度阈值相比较，若关键点处平均灰度值的差大于灰度阈值，则称该关键点为有效点，若有效点个数多于阈值，则判定前一幅图像为关键帧并保存。，
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现上述权利要求1-7任一所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行上述权利要求1-7任一所述的方法的步骤。
CN202111006707.XA 2021-08-30 2021-08-30 基于视频会议场景的多会场关键帧提取方法及系统 Active CN113965814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111006707.XA CN113965814B (zh) 2021-08-30 2021-08-30 基于视频会议场景的多会场关键帧提取方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006707.XA CN113965814B (zh) 2021-08-30 2021-08-30 基于视频会议场景的多会场关键帧提取方法及系统

Publications (2)

Publication Number Publication Date
CN113965814A true CN113965814A (zh) 2022-01-21
CN113965814B CN113965814B (zh) 2023-07-04

Family

ID=79460607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006707.XA Active CN113965814B (zh) 2021-08-30 2021-08-30 基于视频会议场景的多会场关键帧提取方法及系统

Country Status (1)

Country Link
CN (1) CN113965814B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781857A (zh) * 2023-08-25 2023-09-19 石家庄长川电气科技有限公司 一种视频会议背景处理系统及方法
CN117880520A (zh) * 2024-03-11 2024-04-12 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101360184A (zh) * 2008-09-22 2009-02-04 腾讯科技（深圳）有限公司 提取视频关键帧的系统及方法
US20100027662A1 (en) * 2008-08-02 2010-02-04 Steven Pigeon Method and system for determining a metric for comparing image blocks in motion compensated video coding
US20130251274A1 (en) * 2010-12-09 2013-09-26 Nokia Corporation Limited-context-based identifying key frame from video sequence
CN104284240A (zh) * 2014-09-17 2015-01-14 小米科技有限责任公司 视频浏览方法及装置
CN106412626A (zh) * 2016-10-31 2017-02-15 武汉斗鱼网络科技有限公司 一种直播视频的处理方法及装置
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
US20180122086A1 (en) * 2015-05-14 2018-05-03 Sony Corporation Image processing apparatus, image processing method, and program
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术（北京）有限公司 视频场景切换检测方法及装置
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN110913165A (zh) * 2019-10-21 2020-03-24 福建星网智慧科技股份有限公司 基于级联框架的视频会议系统的视频流轮播方法和装置
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100027662A1 (en) * 2008-08-02 2010-02-04 Steven Pigeon Method and system for determining a metric for comparing image blocks in motion compensated video coding
CN101360184A (zh) * 2008-09-22 2009-02-04 腾讯科技（深圳）有限公司 提取视频关键帧的系统及方法
US20130251274A1 (en) * 2010-12-09 2013-09-26 Nokia Corporation Limited-context-based identifying key frame from video sequence
CN104284240A (zh) * 2014-09-17 2015-01-14 小米科技有限责任公司 视频浏览方法及装置
US20180122086A1 (en) * 2015-05-14 2018-05-03 Sony Corporation Image processing apparatus, image processing method, and program
CN106412626A (zh) * 2016-10-31 2017-02-15 武汉斗鱼网络科技有限公司 一种直播视频的处理方法及装置
CN108804980A (zh) * 2017-04-28 2018-11-13 合信息技术（北京）有限公司 视频场景切换检测方法及装置
CN107301402A (zh) * 2017-06-30 2017-10-27 锐捷网络股份有限公司 一种现实场景关键帧的确定方法、装置、介质及设备
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
CN110913165A (zh) * 2019-10-21 2020-03-24 福建星网智慧科技股份有限公司 基于级联框架的视频会议系统的视频流轮播方法和装置
CN112270247A (zh) * 2020-10-23 2021-01-26 杭州卷积云科技有限公司 基于帧间差分和颜色直方图差值的关键帧提取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIN ZHAO等: ""Adaptive key-frame selection based on image features in Distributed Video Coding"" *
张萝献: "\"视频拼接的关键帧提取技术研究\"" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116781857A (zh) * 2023-08-25 2023-09-19 石家庄长川电气科技有限公司 一种视频会议背景处理系统及方法
CN116781857B (zh) * 2023-08-25 2023-10-20 石家庄长川电气科技有限公司 一种视频会议背景处理系统及方法
CN117880520A (zh) * 2024-03-11 2024-04-12 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法
CN117880520B (zh) * 2024-03-11 2024-05-10 山东交通学院 一种用于机车乘务员值乘标准化监控的数据管理方法

Also Published As

Publication number Publication date
CN113965814B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
CN111460931B (zh) 基于颜色通道差值图特征的人脸欺骗检测方法及系统
CN107133969B (zh) 一种基于背景反投影的移动平台运动目标检测方法
CN115914634A (zh) 一种环境安防工程监测数据管理方法及系统
CN111292264A (zh) 一种基于深度学习的图像高动态范围重建方法
CN113965814B (zh) 基于视频会议场景的多会场关键帧提取方法及系统
CN106327488B (zh) 一种自适应的前景检测方法及其检测装置
US8305438B2 (en) Testing surveillance camera installations
CN111967345A (zh) 一种实时判定摄像头遮挡状态的方法
TWI376648B (en) Method and device for keeping image background by multiple gauss models
WO2020087434A1 (zh) 一种人脸图像清晰度评价方法及装置
CN114155285B (zh) 基于灰度直方图的图像配准方法
CN115880683A (zh) 一种基于深度学习的城市内涝积水智能水位检测方法
CN116309483A (zh) 基于ddpm的半监督变电设备表征缺陷检测方法及系统
JP3608106B2 (ja) 画像処理を用いた鋼材表面の劣化度評価システム
CN111667541B (zh) 图像颜色量化方法、装置、电子设备及存储介质
CN113392726A (zh) 室外监控场景下人头识别检测方法、系统、终端及介质
CN117095417A (zh) 一种屏摄表单图像文本识别方法、装置、设备及存储介质
CN110996128A (zh) 在线教学视频推送管理系统
CN114677670B (zh) 一种身份证篡改自动识别与定位的方法
CN115147852B (zh) 一种古籍识别方法、装置、存储介质及设备
CN113315995B (zh) 提高视频质量的方法、装置、可读存储介质及电子设备
CN110991361B (zh) 面向高清高速视频的多通道多模态背景建模方法
CN111402189B (zh) 一种视频图像偏色检测装置及方法
CN115205658A (zh) 一种无参考全面感知全景图像质量的评价方法
CN111899184A (zh) 图像缺陷修复、神经网络训练方法、装置、设备和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant