CN112333467A - 一种用于检测视频的关键帧的方法、系统和介质 - Google Patents

一种用于检测视频的关键帧的方法、系统和介质 Download PDF

Info

Publication number
CN112333467A
CN112333467A CN202011354616.0A CN202011354616A CN112333467A CN 112333467 A CN112333467 A CN 112333467A CN 202011354616 A CN202011354616 A CN 202011354616A CN 112333467 A CN112333467 A CN 112333467A
Authority
CN
China
Prior art keywords
video
image frames
image
frames
key frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011354616.0A
Other languages
English (en)
Other versions
CN112333467B (zh
Inventor
郭永金
黄百乔
李杏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CSSC Systems Engineering Research Institute
Original Assignee
CSSC Systems Engineering Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CSSC Systems Engineering Research Institute filed Critical CSSC Systems Engineering Research Institute
Priority to CN202011354616.0A priority Critical patent/CN112333467B/zh
Publication of CN112333467A publication Critical patent/CN112333467A/zh
Application granted granted Critical
Publication of CN112333467B publication Critical patent/CN112333467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种用于检测视频的关键帧的方法、系统和介质。其中所述视频为录屏视频，所述方法包括：步骤S1、对所述视频进行预处理，以获取多个图像帧；步骤S2、利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；步骤S3、计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及步骤S4、基于所述第二组图像帧确定所述视频的关键帧的检测信息。

Description

一种用于检测视频的关键帧的方法、系统和介质
技术领域
本发明涉及图像处理领域，尤其是涉及一种用于检测视频的关键帧的方法、系统和介质。
背景技术
屏幕录制系统是一种记录显示屏输出画面的装置，通过对录制屏幕画面产生的视频数据进行分析可以掌握使用者操作该计算机的情况。然而，实际上在对屏幕数据分析的过程中，往往只对视频中出现的某些特定的操作感兴趣，比如点击特定的按钮或菜单等等，不需要对其他无关操作进行记录分析。在这里将视频中出现特定操作的前后图像帧的变化部分称作关键帧，关键帧的出现标志着感兴趣操作的执行。人为地对屏幕录制视频进行查看并记录关键帧出现的情况会耗费大量的人力和时间。
发明内容
考虑到上述问题，本发明设计了一种用于检测视频的关键帧的方案，以解决上述技术问题。该方案能够自动地检测出屏幕录制系统所产生视频中出现的关键帧，并对这些关键帧对应的操作进行记录标识，为后续的分析提供特定操作执行情况信息。
使用者在计算机上执行了特定的操作后，用户界面往往会根据相应的操作出现特定的变化，以向用户反馈计算机的执行情况。这些用户界面变化包括弹出窗口、弹出菜单、显示新的选项等等。与进行操作前用户界面的图像内容相比，在计算机执行特定的操作后，这些在用户界面上新出现的图像内容即为视频中的关键帧。这些特定的界面是由于使用者的操作计算机而产生的，因此，特定界面的出现标志着使用者执行了特定的操作，特定界面与特定的计算机操作存在着相对应的关系。每当使用者在计算机上执行一个特定的操作时，对应的屏幕中都会出现相应的画面。因此可根据使用者在计算机上的操作和屏幕录制视频中的画面变化之间的关联性将视频中含有的关键帧与使用者的特定操作联系起来。当视频中出现了某些事先定义的关键帧时，说明使用者执行了对应的某些操作，从而能够根据视频内容记录使用者对计算机的操作使用情况，进一步可将这些使用信息用于后续的分析。
在第一方面，提供了一种用于检测视频的关键帧的方法，所述视频为录屏视频，所述方法包括：步骤S1、对所述视频进行预处理，以获取多个图像帧；步骤S2、利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；步骤S3、计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及步骤S4、基于所述第二组图像帧确定所述视频的关键帧的检测信息。
具体地，所述预处理包括：读取所述视频；将所述视频切分为所述多个图像帧；以及按照时间先后顺序将所述多个图像帧发送至缓存队列。
具体地，所述步骤S2包括：利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
具体地，所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签；所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
在第二方面，提供了一种用于检测视频的关键帧的系统，所述视频为录屏视频，所述系统包括：预处理单元，被配置为对所述视频进行预处理，以获取多个图像帧；检测单元，被配置为：利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及确定单元，被配置为基于所述第二组图像帧确定所述视频的关键帧的检测信息。
具体地，所述预处理单元具体被配置为：读取所述视频；将所述视频切分为所述多个图像帧；以及按照时间先后顺序将所述多个图像帧发送至缓存队列。
具体地，所述检测单元具体被配置为：利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
具体地，所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签；所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
在第三方面，提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行第一方面中的各个步骤。
综上，本公开提供的技术方案能够自动地检测出屏幕录制系统所产生视频中出现的关键帧，并对这些关键帧对应的操作进行记录标识，为后续的分析提供特定操作执行情况信息，同时节约了人力资源和时间。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为根据本发明实施例的用于检测视频的关键帧的方法的流程示意图；
图2为根据本发明实施例的关键帧截取过程的示意图；
图3为根据本发明实施例的模板匹配滑动采样窗口的示意图；以及
图4为根据本发明实施例的用于检测视频的关键帧的系统的结构示意图；
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明第一方面提供了一种基于图像的文本识别方法，图1为根据本发明实施例的用于检测视频的关键帧的方法的流程示意图，其中所述视频为录屏视频。
如图1所示，所述方法包括：步骤S1、对所述视频进行预处理，以获取多个图像帧；步骤S2、利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；步骤S3、计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及步骤S4、基于所述第二组图像帧确定所述视频的关键帧的检测信息。
在步骤S1，对所述视频进行预处理，以获取多个图像帧。所述预处理包括：读取所述视频；将所述视频切分为所述多个图像帧；以及按照时间先后顺序将所述多个图像帧发送至缓存队列。
具体地，预处理主要作用是将需要检测关键帧的屏幕录制视频数据进行预处理，经过处理后的数据用于关键帧检测，并将处理过程中读取到的相应的视频数据信息保存到关键帧日志。首先将待检测的屏幕录制视频数据进行读取，获得视频信息并保存至关键帧日志。随后将视频切分为多个图像帧，将这些图像帧数据按视频中的时间先后顺序传递至图像帧缓冲队列。
在步骤S2，利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧。所述步骤S2包括：利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
具体地，计算队列中位置相邻的图像帧的变化度，使用例如帧间差分法来计算相邻图像帧之间的变化度，当变化度高于第一阈值时，将其中位置靠后的图像帧作为可能的关键帧放入第一组图像帧。
在步骤S3，计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧。所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签。
具体地计算待检测图像帧(第一组图像帧中的各个图像帧)与标准关键帧数据库中的标准关键帧图像之间的相似度，根据相似度值的大小判断该检测图像帧是否为关键帧(放入第二组图像帧)，最后获得关键帧的检测结果并保存至关键帧日志。其中，标准关键帧数据库由用户预先自行定义，标准关键帧由标准关键帧图像和标准关键帧图像关联标签构成。其中，关键帧图像为用户图形界面中所感兴趣的变化部分图像，该图像在用户界面中的出现即标志着相应的感兴趣操作。通过检测得到的关键帧图像关联标签为关键帧图像与其所对应操作的关联关系数据，记录着关键帧图像与特定的操作对应关系。具体地，计算待检测图像帧与关键帧数据库中每一个关键帧图像之间的相似度，并将计算出的相似度与对应的关键帧数据关联。在得到各个关键帧图像与待检测图像帧之间的相似度关联数据后，检查这些数据中的相似度值是否大于第二阈值，将其中相似度值大于预设检测阈值的关联数据记为在该待检测图像帧中出现，即待检测图像帧中出现了该关键帧。
在步骤S4，基于所述第二组图像帧确定所述视频的关键帧的检测信息。所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
此外，关键帧日志的主要作用是记录输入视频数据的原始信息，例如视频名称、视频长度、视频格式、视频来源(视频文件或屏幕实时录制)等，并将关键帧检测信息转化为其对应的检测信息，如操作的出现时刻、消失时刻、持续时间等。关键帧日志除记录以上信息，还将视频中检测到的关键帧的检测信息转化为对应的操作信息，并进行记录；以及向用户界面输出相关信息，并保存相关信息到文件中。
流程示例
首先定义检索对象：键帧数据库中的关键帧图像可从含有感兴趣操作的屏幕录制视频中获取。首先使用OpenCV或FFmpeg等工具将含有特定操作的视频切分为一个个图像帧，通过人工的方式从切分出的图像帧中找出含有关键帧的图像，使用图像处理工具按原图像分辨率和比例截取图像中由于特定操作导致的界面变化的部分图像，将其作为关键帧图像数据。这些变化部分通常为菜单栏、弹出的窗口界面等等。同时将关键帧图像数据与其相对应的计算机操作的关联关系进行记录，作为关键帧数据中关键帧图像与计算机操作关联关系的数据。关键帧截取过程如图2所示。
使用OpenCV工具库中的VideoCapture方法可以对常见视频文件格式的视频文件或视频源进行解析，并读取相应的视频信息，如视频时长、视频帧率、视频总帧数等等。由于VideoCapture方法一次只能读取一个图像帧，不便于后续的关键帧检测，因此使用队列的方式缓存并管理按时间顺序读取出的图像帧序列。最先按视频时间顺序读取出的图像帧在队列中排在最前面，因此可以将VideoCapture方法读取的图像帧直接按序放入队列中进行缓存，在进行关键帧检测时，从队列中取出若干个相邻的关键帧即可。关键帧预检测模块使用的是帧间差分法进行预检测。帧间差分法是一种计算相邻两帧或多帧作差分运算来获得运动目标轮廓的方法，帧间差分法能够很好地滤除背景，保留视频中的变化部分。在本发明应用的视频场景中，界面是突然进行变化的，缺少中间过渡画面，因此帧间差分法能够很好地用于衡量相邻图像帧之间的差异程度，从而能够判断视频中是否出现了使用者操作的迹象。具体地说，首先将相邻的图像帧转化为灰度图，随后计算相邻灰度图像帧逐个像素之间的像素值差值的绝对值，得到差分图像，随后使用中值滤波的方法对差分图像进行滤波，滤除掉微小变化和背景噪声，最后统计差分图像中像素值不为0的像素个数占总像素个数的比例，当比例高于预设阈值时，即认为该相邻两帧图像中出现了显著变化，其图像帧中可能含有关键帧图像。OpenCV工具库中提供了实现帧间差分法的工具。cvtColor方法能够将彩色图像转化为灰度图，absdiff方法能够计算相邻两帧图像对应位置的像素值差值的绝对值，得到差分图像，medianBlur方法能够滤除差分图像中的噪声，threshold方法能够将像素值高于某一预设阈值的像素直接设置为指定的像素值，低于或等于该阈值的像素值设为0。这里将设定的像素值设置为1。可以通过统计处理过的差分图像中含有1的个数占图像总像素个数的比例计算变化像素占总像素的比例。
由于关键帧图像与视频图像帧中出现的图像内容几乎完全一致，并且事先定义的标准关键帧数据库中的标准关键帧图像大小与视频中的出现的关键帧图像大小也相同，因此本发明使用模板匹配方法对待检测图像帧进行关键帧检测。模板匹配即使用模板图像在待搜索图像中进行搜索并计算相似度进行匹配。在这里关键帧图像即为模板图像。在进行搜索匹配前，首先需设置一个与模板图像大小相同的采样窗口，该采样窗口的左上角需和待搜索图像的左上角像素进行对齐，随后逐像素地将采样窗口在待搜索图像上进行滑动。在滑动过程中，采样窗口与待搜索图像的各个部分都产生了重叠，计算每个待搜索图像上的重叠部分的图像与模板图像之间的相似度，最后将相似度值最高对应的在待搜索图像上的重叠区域图像及其在待搜索图像上的位置作为模板匹配的结果。模板匹配滑动采样窗口如图3所示。本发明使用的相似度计算方式为标准相关匹配方法。具体地说，设模板图像为T，待搜索图像为I，T(x，y)表示图像中位置为(x，y)处的像素值，其中
Figure BDA0002802216110000091
w，h分别为图像的宽和高，(x′，y′)表示模板图像上像素的位置。标准相关匹配方法的模板匹配计算由公式(3)给出，其中R表示匹配结果图像，其中的每个像素都对应待搜索图像中相应的重叠区域，其值为模板图像与该重叠区域的相似度值。式中的T′表示模板图像中的每个像素值减去平均值并除以方差的归一化图像中位置为(x，y)处的像素值，其计算方式由公式(1)给出；Γ表示待搜索图像中的每个像素值减去平均值并除以方差的归一化图像中位置为(x，y)处的像素值，其计算方式由公式(2)给出。通过对公式(1)和公式(2)得到的两个图像模板图像大小地进行逐像素相乘可以计算出匹配结果图像R，其上位置(x，y)处的每个像素值都对应着相应重叠区域与模板图像之间位置(x，y)处的相似度。
Figure BDA0002802216110000092
Figure BDA0002802216110000101
R(x,y)＝∑x′，y′(T′(x′,y′)×I′(x+x′,y+y′)) (3)
通过OpenCV工具库中的matchTemplate方法并指定method参数为CV_TM_CCOEFF_NORMED可以实现标准相关匹配方法。对于关键帧数据库的每个关键帧图像，都将其作为模板图像与待检测关键帧图像进行模板匹配运算，计算关键帧图像在待检测关键帧图像上的相似度。将相似度超过相似度预设阈值的所有关键帧数据作为该图像帧中检测到的关键帧。随后将该图像帧的信息与检测到的关键帧数据信息进行关联并将其作为关键帧检测信息，保存至关键帧日志。
本发明第二方面提供了一种用于检测视频的关键帧的系统，所述视频为录屏视频。图4为根据本发明实施例的用于检测视频的关键帧的系统的结构示意图，所述系统包括：预处理单元，被配置为对所述视频进行预处理，以获取多个图像帧；检测单元，被配置为：利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及确定单元，被配置为基于所述第二组图像帧确定所述视频的关键帧的检测信息。
具体地，所述预处理单元具体被配置为：读取所述视频；将所述视频切分为所述多个图像帧；以及按照时间先后顺序将所述多个图像帧发送至缓存队列。
具体地，所述检测单元具体被配置为：利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
具体地，所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签；所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
本发明第三方面提供了一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行第一方面中的各个步骤。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (9)

1.一种用于检测视频的关键帧的方法，其特征在于，其中所述视频为录屏视频，所述方法包括：
步骤S1、对所述视频进行预处理，以获取多个图像帧；
步骤S2、利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；
步骤S3、计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及
步骤S4、基于所述第二组图像帧确定所述视频的关键帧的检测信息。
2.根据权利要求1所述的用于检测视频的关键帧的方法，其特征在于，所述预处理包括：
读取所述视频；
将所述视频切分为所述多个图像帧；以及
按照时间先后顺序将所述多个图像帧发送至缓存队列。
3.根据权利要求1所述的用于检测视频的关键帧的方法，其特征在于，所述步骤S2包括：
利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及
判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
4.根据权利要求1所述的用于检测视频的关键帧的方法，其特征在于，其中：
所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签；
所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
5.一种用于检测视频的关键帧的系统，其特征在于，其中所述视频为录屏视频，所述系统包括：
预处理单元，被配置为对所述视频进行预处理，以获取多个图像帧；
检测单元，被配置为：
利用帧间差分法从所述多个图像帧中提取出变化度大于第一阈值的第一组图像帧；
计算所述第一组图像帧中的各个图像帧分别与标准关键帧数据库中的标准关键帧的相似度，从所述第一组图像帧中选择所述相似度大于第二阈值的图像帧，作为第二组图像帧；以及
确定单元，被配置为基于所述第二组图像帧确定所述视频的关键帧的检测信息。
6.根据权利要求5所述的用于检测视频的关键帧的系统，其特征在于，所述预处理单元具体被配置为：
读取所述视频；
将所述视频切分为所述多个图像帧；以及
按照时间先后顺序将所述多个图像帧发送至缓存队列。
7.根据权利要求5所述的用于检测视频的关键帧的系统，其特征在于，所述检测单元具体被配置为：
利用帧间差分法计算所述多个图像帧中相邻图像帧之间的变化度；以及
判断所述变化度是否大于所述第一阈值，若是，则将所述相邻图像帧中时间上靠后的图像帧提取至所述第一组图像帧。
8.根据权利要求5所述的用于检测视频的关键帧的系统，其特征在于，其中：
所述标准关键帧数据库中的所述标准关键帧由用户自定义，所述标准关键帧包括标准关键帧图像和标准关键帧关联标签；
所述检测信息包括：所述视频的关键帧的出现时刻、消失时刻和持续时间。
9.一种存储有指令的非暂时性计算机可读介质，当所述指令由处理器执行时，执行根据权利要求1-4中任一项所述的用于检测视频的关键帧的方法中的步骤。
CN202011354616.0A 2020-11-27 2020-11-27 一种用于检测视频的关键帧的方法、系统和介质 Active CN112333467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011354616.0A CN112333467B (zh) 2020-11-27 2020-11-27 一种用于检测视频的关键帧的方法、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011354616.0A CN112333467B (zh) 2020-11-27 2020-11-27 一种用于检测视频的关键帧的方法、系统和介质

Publications (2)

Publication Number Publication Date
CN112333467A true CN112333467A (zh) 2021-02-05
CN112333467B CN112333467B (zh) 2023-03-21

Family

ID=74309160

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011354616.0A Active CN112333467B (zh) 2020-11-27 2020-11-27 一种用于检测视频的关键帧的方法、系统和介质

Country Status (1)

Country Link
CN (1) CN112333467B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111823A (zh) * 2021-04-22 2021-07-13 广东工业大学 一种建筑施工地的异常行为检测方法和相关装置
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN114915851A (zh) * 2022-05-31 2022-08-16 展讯通信(天津)有限公司 一种视频录制及播放方法、设备
CN114979481A (zh) * 2022-05-23 2022-08-30 深圳市海创云科技有限公司 一种5g超高清视频监控系统及方法
WO2023071189A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN117714692A (zh) * 2024-02-06 2024-03-15 广州市锐星信息科技有限公司 一种头戴式无线数据采集仪及其实时视频传输系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056646A (ja) * 1996-08-07 1998-02-24 Mitsubishi Electric Corp 映像信号復号化装置
JP2003169337A (ja) * 2001-09-18 2003-06-13 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
EP1580757A2 (en) * 2004-03-24 2005-09-28 Hewlett-Packard Development Company, L.P. Extracting key-frames from a video
US20070253491A1 (en) * 2006-04-27 2007-11-01 Yoshiyuki Ito Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
US20080174694A1 (en) * 2007-01-22 2008-07-24 Horizon Semiconductors Ltd. Method and apparatus for video pixel interpolation
US20130148724A1 (en) * 2003-04-08 2013-06-13 Lg Electronics Inc. Block Error Compensating Apparatus Of Image Frame And Method Thereof
CN104392416A (zh) * 2014-11-21 2015-03-04 中国电子科技集团公司第二十八研究所 一种运动场景的视频拼接方法
CN104679818A (zh) * 2014-12-25 2015-06-03 安科智慧城市技术（中国）有限公司 一种视频关键帧提取方法及系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法
CN108499107A (zh) * 2018-04-16 2018-09-07 网易（杭州）网络有限公司 虚拟现实中虚拟角色的控制方法、装置及存储介质
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN110599486A (zh) * 2019-09-20 2019-12-20 福州大学 一种视频抄袭的检测方法及系统
CN111178182A (zh) * 2019-12-16 2020-05-19 深圳奥腾光通系统有限公司 一种丢垃圾行为的实时检测方法
CN111881867A (zh) * 2020-08-03 2020-11-03 北京融链科技有限公司 视频分析方法及装置、电子设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1056646A (ja) * 1996-08-07 1998-02-24 Mitsubishi Electric Corp 映像信号復号化装置
JP2003169337A (ja) * 2001-09-18 2003-06-13 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
US20130148724A1 (en) * 2003-04-08 2013-06-13 Lg Electronics Inc. Block Error Compensating Apparatus Of Image Frame And Method Thereof
US20140003514A1 (en) * 2003-04-08 2014-01-02 Lg Electronics Inc Block Error Compensating Apparatus of Image Frame and Method Thereof
EP1580757A2 (en) * 2004-03-24 2005-09-28 Hewlett-Packard Development Company, L.P. Extracting key-frames from a video
US20070253491A1 (en) * 2006-04-27 2007-11-01 Yoshiyuki Ito Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
US20080174694A1 (en) * 2007-01-22 2008-07-24 Horizon Semiconductors Ltd. Method and apparatus for video pixel interpolation
CN104392416A (zh) * 2014-11-21 2015-03-04 中国电子科技集团公司第二十八研究所 一种运动场景的视频拼接方法
CN104679818A (zh) * 2014-12-25 2015-06-03 安科智慧城市技术（中国）有限公司 一种视频关键帧提取方法及系统
CN107844779A (zh) * 2017-11-21 2018-03-27 重庆邮电大学 一种视频关键帧提取方法
CN108499107A (zh) * 2018-04-16 2018-09-07 网易（杭州）网络有限公司 虚拟现实中虚拟角色的控制方法、装置及存储介质
CN109996091A (zh) * 2019-03-28 2019-07-09 苏州八叉树智能科技有限公司 生成视频封面的方法、装置、电子设备和计算机可读存储介质
CN110599486A (zh) * 2019-09-20 2019-12-20 福州大学 一种视频抄袭的检测方法及系统
CN111178182A (zh) * 2019-12-16 2020-05-19 深圳奥腾光通系统有限公司 一种丢垃圾行为的实时检测方法
CN111881867A (zh) * 2020-08-03 2020-11-03 北京融链科技有限公司 视频分析方法及装置、电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QING YE: "《An effective adaptive updating algorithm of background based on statistical and non-linear control》", 《2011 SEVENTH INTERNATIONAL CONFERENCE ON NATURAL COMPUTATION》 *
周寒兴: "《视频监控中关键帧提取技术的研究及系统实现》", 《中国优秀硕士学位论文全文数据库》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113111823A (zh) * 2021-04-22 2021-07-13 广东工业大学 一种建筑施工地的异常行为检测方法和相关装置
WO2023071189A1 (zh) * 2021-10-29 2023-05-04 上海商汤智能科技有限公司 一种图像处理方法、装置、计算机设备和存储介质
CN114727021A (zh) * 2022-04-19 2022-07-08 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN114727021B (zh) * 2022-04-19 2023-09-15 柳州康云互联科技有限公司 一种基于视频分析的云端体外诊断图像数据处理方法
CN114979481A (zh) * 2022-05-23 2022-08-30 深圳市海创云科技有限公司 一种5g超高清视频监控系统及方法
CN114979481B (zh) * 2022-05-23 2023-07-07 深圳市海创云科技有限公司 一种5g超高清视频监控系统及方法
CN114915851A (zh) * 2022-05-31 2022-08-16 展讯通信(天津)有限公司 一种视频录制及播放方法、设备
CN117714692A (zh) * 2024-02-06 2024-03-15 广州市锐星信息科技有限公司 一种头戴式无线数据采集仪及其实时视频传输系统
CN117714692B (zh) * 2024-02-06 2024-04-16 广州市锐星信息科技有限公司 一种头戴式无线数据采集仪及其实时视频传输系统

Also Published As

Publication number Publication date
CN112333467B (zh) 2023-03-21

Similar Documents

Publication Publication Date Title
CN112333467B (zh) 一种用于检测视频的关键帧的方法、系统和介质
AU2017261537B2 (en) Automated selection of keeper images from a burst photo captured set
CN109284729B (zh) 基于视频获取人脸识别模型训练数据的方法、装置和介质
US7949157B2 (en) Interpreting sign language gestures
US5805733A (en) Method and system for detecting scenes and summarizing video sequences
CN101601287B (zh) 产生照片级真实感图像缩略图的设备和方法
CN111881913A (zh) 图像识别方法及装置、存储介质和处理器
CN110781839A (zh) 一种基于滑窗的大尺寸图像中小目标识别方法
CN110889379B (zh) 表情包生成方法、装置及终端设备
US8374454B2 (en) Detection of objects using range information
JP2001325593A (ja) 自動アルバム化システムにおける重複写真検知方法
JP4327827B2 (ja) 映像記録再生システムおよび映像記録再生方法
WO2023138590A1 (zh) 无参考的视频质量确定方法、装置、设备和存储介质
US6606636B1 (en) Method and apparatus for retrieving dynamic images and method of and apparatus for managing images
CN110717452B (zh) 图像识别方法、装置、终端及计算机可读存储介质
US20060036948A1 (en) Image selection device and image selecting method
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
US20120249837A1 (en) Methods and Systems for Real-Time Image-Capture Feedback
CN110782392B (zh) 图像处理方法、装置、电子设备及存储介质
US20100150447A1 (en) Description based video searching system and method
KR101395666B1 (ko) 비디오 영상의 변화를 이용한 도난 감시 장치 및 방법
JP2017521011A (ja) シンボルの光学的検出方法
CN114519689A (zh) 图像篡改检测方法、装置、设备及计算机可读存储介质
JPH10222678A (ja) 物体検出装置および物体検出方法
CN110610178A (zh) 图像识别方法、装置、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant