CN108337551B - 一种屏幕录制方法、存储介质及终端设备 - Google Patents

一种屏幕录制方法、存储介质及终端设备 Download PDF

Info

Publication number
CN108337551B
CN108337551B CN201810060264.4A CN201810060264A CN108337551B CN 108337551 B CN108337551 B CN 108337551B CN 201810060264 A CN201810060264 A CN 201810060264A CN 108337551 B CN108337551 B CN 108337551B
Authority
CN
China
Prior art keywords
image
feature vector
calculating
similarity
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810060264.4A
Other languages
English (en)
Other versions
CN108337551A (zh
Inventor
张远平
刘慧众
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OneConnect Financial Technology Co Ltd Shanghai
Original Assignee
OneConnect Financial Technology Co Ltd Shanghai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OneConnect Financial Technology Co Ltd Shanghai filed Critical OneConnect Financial Technology Co Ltd Shanghai
Priority to CN201810060264.4A priority Critical patent/CN108337551B/zh
Priority to PCT/CN2018/097519 priority patent/WO2019140880A1/zh
Publication of CN108337551A publication Critical patent/CN108337551A/zh
Application granted granted Critical
Publication of CN108337551B publication Critical patent/CN108337551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明属于计算机技术领域，尤其涉及一种屏幕录制方法、存储介质及终端设备。所述方法可以包括：按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；从所述图像帧序列中任意选取一帧图像作为基准图像；计算待选图像与所述基准图像之间的图像相似度；若所述图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；按照预设的播放帧率播放所述图像帧序列。

Description

一种屏幕录制方法、存储介质及终端设备
技术领域
本发明属于计算机技术领域，尤其涉及一种屏幕录制方法、存储介质及终端设备。
背景技术
随着互联网技术的迅速发展，互联网终端的功能也越来丰富。用户在使用互联网终端时常常会希望将整个屏幕内容录制下来保存成视频，并进一步对视频进行编辑或共享，这一功能通常也称为屏幕录制。
现有的屏幕录制技术往往是简单地按照固定的录制帧率来进行屏幕录制，在回放时也以相同的播放帧率来进行播放。但在实际应用中，屏幕内容的变化是不均匀的，有的时候在相当长的一段时间内(几十秒，甚至几分钟)屏幕内容都不会有太大变化，在这段时间内，并不能带给用户新的信息，但是却仍然会占用用户大量的时间。
发明内容
有鉴于此，本发明实施例提供了一种屏幕录制方法、存储介质及终端设备，以解决现有的屏幕录制方法在某些时段屏幕内容没有太大变化，不能带给用户新信息时，仍会占用用户大量时间的问题。
本发明实施例的第一方面提供了一种屏幕录制方法，可以包括：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列。
本发明实施例的第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如下步骤：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列。
本发明实施例的第三方面提供了一种屏幕录制终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，所述处理器执行所述计算机可读指令时实现如下步骤：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列。
本发明实施例与现有技术相比存在的有益效果是：本发明实施例按照预设的录制帧率采集在目标屏幕中显示的图像帧序列，从所述图像帧序列中任意选取一帧图像作为基准图像，计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像，若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则说明下一帧图像并没有足够的新信息提供给用户，因此可以将所述待选图像从所述图像帧序列中删除，若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则说明下一帧图像中有足够的信息提供给用户，因此需将其保留并作为新的基准图像。将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，并不断重复以上过程，不断地将无用的图像帧删除掉，直至所述基准图像不存在下一帧图像为止，此时即完成了对所述图像帧序列的处理，最后按照预设的播放帧率播放所述图像帧序列，由于无用的图像帧均已被删除掉，大大节省了用户的观看时间。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例中一种屏幕录制方法的一个实施例流程图；
图2为本发明实施例中一种屏幕录制方法的步骤S103在一个应用场景下的示意流程图；
图3为本发明实施例中一种屏幕录制装置的一个实施例结构图；
图4为本发明实施例中一种屏幕录制终端设备的示意框图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1，本发明实施例中一种屏幕录制方法的一个实施例可以包括：
步骤S101、按照预设的录制帧率采集在目标屏幕中显示的图像帧序列。
一般地，正常的屏幕录制帧率为24帧/秒。可以设置一个可调整的比例系数K，若取K＝2，则以正常速率的两倍，也即48帧/秒采集目标屏幕中显示的图像帧序列。该比例系数可以根据实际情况进行调整。
步骤S102、从所述图像帧序列中任意选取一帧图像作为基准图像。
一般地，可以将选取所述图像帧序列的第一帧图像作为所述基准图像，当然，也可以根据实际情况选取其它帧的图像作为基准图像，本实施例对此不作具体限定。
步骤S103、计算待选图像与所述基准图像之间的图像相似度。
所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像。
可选地，可以通过进行逐个像素的对比来计算所述图像相似度，即计算出每个像素的灰度值，若所述待选图像与所述基准图像在图一位置的像素的灰度值变化超过了预设的阈值，则认为其发生了变化，若未超过阈值，则认为其未发生变化，统计未变化的像素点与像素点总数的比值，将该比值确定为所述待选图像与所述基准图像之间的图像相似度。
优选地，如图2所示，可以通过比较特征向量的方法来计算所述图像相似度：
S1031、计算所述基准图像的第一特征向量。
在本实施例中，可以通过局部二值模式(Local Binary Patterns，LBP)算法来计算所述基准图像的第一特征向量，具体地，构造一种衡量各个像素点与其周围像素点的关系，对所述基准图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把像素的灰度值转化为一个八位二进制序列。以中心点的像素值为阈值，如果邻域点的像素值小于中心点，则邻域点被二值化为0，否则为1；将二值化得到的0、1序列看成一个8位二进制数，将该二进制数转化为十进制就可得到中心点处的LBP值。计算出每个像素点的LBP值后，将LBP特征谱的统计直方图确定为所述基准图像的特征向量，也即所述第一特征向量。由于利用了周围点与该点的关系对该点进行量化。量化后可以更有效地消除光照对图像的影响。只要光照的变化不足以改变两个点像素值之间的大小关系，那么LBP值不会发生变化，即保证了特征信息提取的准确性。
S1032、计算所述待选图像的第二特征向量。
第二特征向量的计算过程同第一特征向量的计算过程类似，具体可参照步骤S1031中的叙述，在此不再赘述。
S1033、计算所述第一特征向量与所述第二特征向量之间的向量相似度。
对所述向量相似度的计算方式可以是多种多样的，下述两种计算方式仅作为示例：
向量相似度计算方式一：
计算所述第一特征向量中各个维度的取值的第一平均值，计算所述第二特征向量中各个维度的取值的第二平均值；将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量，将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；计算所述第三特征向量的模，计算所述第四特征向量的模；计算所述第三特征向量的模与所述第四特征向量的模的乘积；计算所述第三特征向量与所述第四特征向量的内积；根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
假设所述第一特征向量为X＝(x1,x2,x3,...,xN)，所述第二特征向量为Y＝(y1,y2,y3,...,yN)，其中N为特征向量的维度，则所述向量相似度C(X,Y)可以通过下式计算：
Figure GDA0002366211320000061
其中，
Figure GDA0002366211320000062
向量相似度计算方式二：
计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；计算各个维度的所述偏差度的第三平均值；根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
假设所述第一特征向量为X＝(x1,x2,x3,...,xN)，所述第二特征向量为Y＝(y1,y2,y3,...,yN)，其中N为特征向量的维度，则所述向量相似度C(X,Y)可以通过下式计算：
Figure GDA0002366211320000071
特别需要说明的是，以上各种计算方式仅为示例，在此基础上还可以衍生出其它的计算方式。
S1034、将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
步骤S104、判断所述图像相似度是否大于预设的相似度阈值。
若所述待选图像与所述基准图像之间的图像相似度大于所述相似度阈值，则执行步骤S105和步骤S107，若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则执行步骤S106和步骤S107。
步骤S105、将所述待选图像从所述图像帧序列中删除。
步骤S106、将所述待选图像确定为新的基准图像；
步骤S107、判断所述基准图像是否存在下一帧图像。
若所述基准图像存在下一帧图像，则执行步骤S108，若所述基准图像不存在下一帧图像，则执行步骤S109。
步骤S108、将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像。
在步骤S108之后，返回执行步骤S103及其后续步骤，直至所述基准图像不存在下一帧图像为止。
步骤S109、按照预设的播放帧率播放所述图像帧序列。
一般地，可以设置所述播放帧率为24帧/秒。
进一步地，考虑到在某些特别的屏幕录制场景下，例如在录制游戏过程屏幕的过程中，可能存在主画面并无明显变化，但是对话聊天窗口迅速变化的情况，一般地，对话聊天窗口中的信息用户并不关心。在步骤S103之前，还可以包括：
从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
即在计算图像相似度时，预设一个不考虑进行计算的特殊区域，在进行计算的过程中，只对其它区域进行计算，从而使得计算结果更符合用户的预期。
综上所述，本发明实施例按照预设的录制帧率采集在目标屏幕中显示的图像帧序列，从所述图像帧序列中任意选取一帧图像作为基准图像，计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像，若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则说明下一帧图像并没有足够的新信息提供给用户，因此可以将所述待选图像从所述图像帧序列中删除，若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则说明下一帧图像中有足够的信息提供给用户，因此需将其保留并作为新的基准图像。将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，并不断重复以上过程，不断地将无用的图像帧删除掉，直至所述基准图像不存在下一帧图像为止，此时即完成了对所述图像帧序列的处理，最后按照预设的播放帧率播放所述图像帧序列，由于无用的图像帧均已被删除掉，大大节省了用户的观看时间。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
对应于上文实施例所述的一种屏幕录制方法，图3示出了本发明实施例提供的一种屏幕录制装置的一个实施例结构图。
本实施例中，一种屏幕录制装置可以包括：
图像帧序列采集模块301，用于按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
基准图像选取模块302，用于从所述图像帧序列中任意选取一帧图像作为基准图像；
图像相似度计算模块303，用于计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
图像删除模块304，用于若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；
基准图像更新模块305，用于若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
待选图像更新模块306，用于将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像；
图像帧序列播放模块307，用于按照预设的播放帧率播放所述图像帧序列。
进一步地，所述图像相似度计算模块可以包括：
第一特征向量计算单元，用于计算所述基准图像的第一特征向量；
第二特征向量计算单元，用于计算所述待选图像的第二特征向量；
向量相似度计算单元，用于计算所述第一特征向量与所述第二特征向量之间的向量相似度；
图像相似度确定单元，用于将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
进一步地，所述向量相似度计算单元可以包括：
第一平均值计算子单元，用于计算所述第一特征向量中各个维度的取值的第一平均值；
第二平均值计算子单元，用于计算所述第二特征向量中各个维度的取值的第二平均值；
第三特征向量计算子单元，用于将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
第四特征向量计算子单元，用于将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
第一模计算子单元，用于计算所述第三特征向量的模；
第二模计算子单元，用于计算所述第四特征向量的模；
向量乘积计算子单元，用于计算所述第三特征向量的模与所述第四特征向量的模的乘积；
向量内积计算子单元，用于计算所述第三特征向量与所述第四特征向量的内积；
第一向量相似度计算子单元，用于根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
进一步地，所述向量相似度计算单元可以包括：
向量偏差度计算子单元，用于计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
第三平均值计算子单元，用于计算各个维度的所述偏差度的第三平均值；
第二向量相似度计算子单元，用于根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
进一步地，所述屏幕录制装置还可以包括：
第一图像处理模块，用于从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
第二图像处理模块，用于从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
图4示出了本发明实施例提供的一种屏幕录制终端设备的示意框图，为了便于说明，仅示出了与本发明实施例相关的部分。
在本实施例中，所述屏幕录制终端设备4可以是手机、平板电脑、桌上电脑及云端服务器等计算设备。该屏幕录制终端设备4可包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42，例如执行上述的屏幕录制方法的计算机可读指令。所述处理器40执行所述计算机可读指令42时实现上述各个屏幕录制方法实施例中的步骤，例如图1所示的步骤S101至S109。或者，所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能，例如图3所示模块301至307的功能。
示例性的，所述计算机可读指令42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机可读指令42在所述屏幕录制终端设备4中的执行过程。
所述处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述屏幕录制终端设备4的内部存储单元，例如屏幕录制终端设备4的硬盘或内存。所述存储器41也可以是所述屏幕录制终端设备4的外部存储设备，例如所述屏幕录制终端设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述屏幕录制终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述屏幕录制终端设备4所需的其它指令和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干计算机可读指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储计算机可读指令的介质。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种屏幕录制方法，其特征在于，包括：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列；
所述计算待选图像与所述基准图像之间的图像相似度包括：
计算所述基准图像的第一特征向量；其中，对于所述基准图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把中心像素的灰度值转化为一个八位二进制数，将二进制数转化为十进制即可得到中心像素的LBP值；计算出每个像素的LBP值后，将其统计直方图确定为所述第一特征向量；
计算所述待选图像的第二特征向量；其中，对于所述待选图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把中心像素的灰度值转化为一个八位二进制数，将二进制数转化为十进制即可得到中心像素的LBP值；计算出每个像素的LBP值后，将其统计直方图确定为所述第二特征向量；
计算所述第一特征向量与所述第二特征向量之间的向量相似度；
将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
2.根据权利要求1所述的屏幕录制方法，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
计算所述第一特征向量中各个维度的取值的第一平均值；
计算所述第二特征向量中各个维度的取值的第二平均值；
将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
计算所述第三特征向量的模；
计算所述第四特征向量的模；
计算所述第三特征向量的模与所述第四特征向量的模的乘积；
计算所述第三特征向量与所述第四特征向量的内积；
根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
3.根据权利要求1所述的屏幕录制方法，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
计算各个维度的所述偏差度的第三平均值；
根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
4.根据权利要求1至3中任一项所述的屏幕录制方法，其特征在于，在计算待选图像与所述基准图像之间的图像相似度之前，还包括：
从所述待选图像中去除指定区域内的子图像，得到参与图像相似度计算的候选图像，所述指定区域为不参与所述图像相似度计算的区域；
从所述基准图像中去除所述指定区域内的子图像，得到参与图像相似度计算的基准图像。
5.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至4中任一项所述的屏幕录制方法的步骤。
6.一种屏幕录制终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令，其特征在于，所述处理器执行所述计算机可读指令时实现如下步骤：
按照预设的录制帧率采集在目标屏幕中显示的图像帧序列；
从所述图像帧序列中任意选取一帧图像作为基准图像；
计算待选图像与所述基准图像之间的图像相似度，所述待选图像为在所述图像帧序列中所述基准图像的下一帧图像；
若所述待选图像与所述基准图像之间的图像相似度大于预设的相似度阈值，则将所述待选图像从所述图像帧序列中删除；若所述待选图像与所述基准图像之间的图像相似度小于或等于所述相似度阈值，则将所述待选图像确定为新的基准图像；
将在所述图像帧序列中所述基准图像的下一帧图像确定为新的待选图像，然后返回执行所述计算待选图像与所述基准图像之间的图像相似度的步骤，直至所述基准图像不存在下一帧图像为止；
按照预设的播放帧率播放所述图像帧序列；
所述计算待选图像与所述基准图像之间的图像相似度包括：
计算所述基准图像的第一特征向量；其中，对于所述基准图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把中心像素的灰度值转化为一个八位二进制数，将二进制数转化为十进制即可得到中心像素的LBP值；计算出每个像素的LBP值后，将其统计直方图确定为所述第一特征向量；
计算所述待选图像的第二特征向量；其中，对于所述待选图像中的每个像素，通过计算以其为中心的邻域内各像素和中心像素的大小关系，把中心像素的灰度值转化为一个八位二进制数，将二进制数转化为十进制即可得到中心像素的LBP值；计算出每个像素的LBP值后，将其统计直方图确定为所述第二特征向量；
计算所述第一特征向量与所述第二特征向量之间的向量相似度；
将所述向量相似度确定为所述待选图像与所述基准图像之间的图像相似度。
7.根据权利要求6中所述的屏幕录制终端设备，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
计算所述第一特征向量中各个维度的取值的第一平均值；
计算所述第二特征向量中各个维度的取值的第二平均值；
将所述第一特征向量中各个维度的取值减去所述第一平均值，得到第三特征向量；
将所述第二特征向量中各个维度的取值减去所述第二平均值，得到第四特征向量；
计算所述第三特征向量的模；
计算所述第四特征向量的模；
计算所述第三特征向量的模与所述第四特征向量的模的乘积；
计算所述第三特征向量与所述第四特征向量的内积；
根据所述内积和所述乘积计算所述第一特征向量与所述第二特征向量之间的向量相似度。
8.根据权利要求6所述的屏幕录制终端设备，其特征在于，所述计算所述第一特征向量与所述第二特征向量之间的向量相似度包括：
计算所述第一特征向量和所述第二特征向量在各个维度的偏差度，所述偏差度为偏差距离与基准距离之间的比值，所述偏差距离为所述第一特征向量在当前维度的取值与所述第二特征向量在当前维度的取值之差的绝对值，所述基准距离为所述第一特征向量在当前维度的取值的绝对值与所述第二特征向量在当前维度的取值的绝对值之和；
计算各个维度的所述偏差度的第三平均值；
根据所述第三平均值计算所述第一特征向量与所述第二特征向量之间的向量相似度。
CN201810060264.4A 2018-01-22 2018-01-22 一种屏幕录制方法、存储介质及终端设备 Active CN108337551B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810060264.4A CN108337551B (zh) 2018-01-22 2018-01-22 一种屏幕录制方法、存储介质及终端设备
PCT/CN2018/097519 WO2019140880A1 (zh) 2018-01-22 2018-07-27 屏幕录制方法、计算机可读存储介质、终端设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810060264.4A CN108337551B (zh) 2018-01-22 2018-01-22 一种屏幕录制方法、存储介质及终端设备

Publications (2)

Publication Number Publication Date
CN108337551A CN108337551A (zh) 2018-07-27
CN108337551B true CN108337551B (zh) 2020-03-31

Family

ID=62925510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810060264.4A Active CN108337551B (zh) 2018-01-22 2018-01-22 一种屏幕录制方法、存储介质及终端设备

Country Status (2)

Country Link
CN (1) CN108337551B (zh)
WO (1) WO2019140880A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109299000A (zh) * 2018-08-22 2019-02-01 中国平安人寿保险股份有限公司 一种网页响应测试方法、计算机可读存储介质及终端设备
CN109299692A (zh) * 2018-09-26 2019-02-01 深圳壹账通智能科技有限公司 一种身份识别方法、计算机可读存储介质及终端设备
CN109711250B (zh) * 2018-11-13 2024-02-02 深圳市深网视界科技有限公司 特征向量二值化、相似度评价、检索方法、设备和介质
CN109547989A (zh) * 2018-12-17 2019-03-29 深圳壹账通智能科技有限公司 基于指纹识别的蓝牙配对方法、装置、介质及终端设备
CN111866514B (zh) * 2019-04-25 2022-06-03 中国移动通信集团贵州有限公司 一种压缩视频、解压视频的方法和装置
CN110865911B (zh) * 2019-10-23 2024-03-05 广州视源电子科技股份有限公司 图像测试方法、装置、存储介质、图像采集卡及上位机
CN111144241B (zh) * 2019-12-13 2023-06-20 深圳奇迹智慧网络有限公司 基于图像校验的目标识别方法、装置和计算机设备
CN113688850A (zh) * 2020-05-14 2021-11-23 武汉Tcl集团工业研究院有限公司 一种图像处理的方法及终端
CN114189646B (zh) * 2020-09-15 2023-03-21 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
CN112672201B (zh) * 2020-12-18 2023-12-12 努比亚技术有限公司 一种录屏帧率控制方法、设备及计算机可读存储介质
CN113808175B (zh) * 2021-08-31 2023-03-10 数坤(北京)网络科技股份有限公司 一种图像配准方法、装置、设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079926A (zh) * 2014-07-04 2014-10-01 南京富士通南大软件技术有限公司 一种远程桌面软件的视频性能测试方法
CN106559631A (zh) * 2015-09-30 2017-04-05 小米科技有限责任公司 视频处理方法及装置
CN107229402A (zh) * 2017-05-22 2017-10-03 努比亚技术有限公司 终端的动态截屏方法、装置及可读存储介质
US10278661B2 (en) * 2010-11-22 2019-05-07 Konica Minolta, Inc. Dynamic diagnosis support information generation system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070061727A1 (en) * 2005-09-15 2007-03-15 Honeywell International Inc. Adaptive key frame extraction from video data
US8509538B2 (en) * 2007-12-20 2013-08-13 Intel Corporation Method and apparatus for obtaining and processing Gabor image features
CN105045900A (zh) * 2015-08-05 2015-11-11 石河子大学 数据提取的方法及装置
CN106658119A (zh) * 2017-01-10 2017-05-10 网易（杭州）网络有限公司 视频应用测试方法及装置
CN106910207B (zh) * 2017-02-27 2020-12-08 网易（杭州）网络有限公司 用于识别图像局部区域的方法、装置及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10278661B2 (en) * 2010-11-22 2019-05-07 Konica Minolta, Inc. Dynamic diagnosis support information generation system
CN104079926A (zh) * 2014-07-04 2014-10-01 南京富士通南大软件技术有限公司 一种远程桌面软件的视频性能测试方法
CN106559631A (zh) * 2015-09-30 2017-04-05 小米科技有限责任公司 视频处理方法及装置
CN107229402A (zh) * 2017-05-22 2017-10-03 努比亚技术有限公司 终端的动态截屏方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN108337551A (zh) 2018-07-27
WO2019140880A1 (zh) 2019-07-25

Similar Documents

Publication Publication Date Title
CN108337551B (zh) 一种屏幕录制方法、存储介质及终端设备
CN108961303B (zh) 一种图像处理方法、装置、电子设备和计算机可读介质
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
CN108921782B (zh) 一种图像处理方法、装置及存储介质
US10728553B2 (en) Visual quality preserving quantization parameter prediction with deep neural network
WO2017076040A1 (zh) 应用于连拍过程中的图像处理方法和装置
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
CN107908998B (zh) 二维码解码方法、装置、终端设备及计算机可读存储介质
CN111131688B (zh) 一种图像处理方法、装置及移动终端
CN110969170A (zh) 一种图像主题色提取方法、装置及电子设备
CN109035257B (zh) 人像分割方法、装置及设备
JP2014215925A (ja) 画像処理装置、画像処理方法、画像処理制御プログラム、および記録媒体
CN111429371A (zh) 图像处理方法、装置及终端设备
CN114494775A (zh) 视频切分方法、装置、设备及存储介质
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
CN111080683B (zh) 图像处理方法、装置、存储介质及电子设备
CN111882565A (zh) 一种图像二值化方法、装置、设备及存储介质
CN112115295A (zh) 视频图像检测方法、装置、及电子设备
CN113438386B (zh) 一种应用于视频处理的动静判定方法及装置
CN116797510A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113628259A (zh) 图像的配准处理方法及装置
CN111445411B (zh) 图像去噪方法、装置、计算机设备和存储介质
CN110856014B (zh) 动态图像生成方法、装置、电子设备及存储介质
CN114298992B (zh) 一种视频帧去重方法、装置、电子设备及存储介质
CN114219744B (zh) 图像生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant