CN114189646B - 终端控制方法、装置、电子设备和存储介质 - Google Patents

终端控制方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN114189646B
CN114189646B CN202010982906.3A CN202010982906A CN114189646B CN 114189646 B CN114189646 B CN 114189646B CN 202010982906 A CN202010982906 A CN 202010982906A CN 114189646 B CN114189646 B CN 114189646B
Authority
CN
China
Prior art keywords
image
frame image
current frame
stored
monitored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010982906.3A
Other languages
English (en)
Other versions
CN114189646A (zh
Inventor
希曼舒·辛格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oneplus Technology Shenzhen Co Ltd
Original Assignee
Oneplus Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oneplus Technology Shenzhen Co Ltd filed Critical Oneplus Technology Shenzhen Co Ltd
Priority to CN202010982906.3A priority Critical patent/CN114189646B/zh
Priority to PCT/CN2021/115294 priority patent/WO2022057602A1/zh
Publication of CN114189646A publication Critical patent/CN114189646A/zh
Application granted granted Critical
Publication of CN114189646B publication Critical patent/CN114189646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请涉及一种终端控制方法、装置、电子设备和存储介质。所述方法包括：在监测到屏幕录制触发指令时，开始屏幕录制；在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；当获取的当前帧图像为目标内容对应的图像时，存储获取的当前帧图像。采用本方法能够方便用户即时回看已分享内容。

Description

终端控制方法、装置、电子设备和存储介质
技术领域
本申请涉及终端技术领域，特别是涉及一种终端控制方法、装置、电子设备和存储介质。
背景技术
随着互联网技术的发展以及远程办公的需求，出现了线上会议技术，用户可以通过线上会议应用程序发起或者加入线上会议，例如，对于一个线上分享会议，主讲人可以通过在终端安装的线上会议应用程序分享终端屏幕，对演示文稿内容进行展示，参会人员加入该线上分享会议后，可以观看主讲人展示的演示文稿内容。
在线上会议过程中，参会人员可能会因为不小心错过某些已分享的演示文稿内容，或者对某些已分享的演示文稿内容有疑惑等情况，需要对已分享的演示文稿内容进行即时回看。然而，目前还没有能够方便用户在线上会议过程中即时回看已分享的演示文稿内容的方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够方便用户即时回看已分享内容的终端控制方法、装置、电子设备和存储介质。
一种终端控制方法，所述方法包括：
在监测到屏幕录制触发指令时，开始屏幕录制；
在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；
当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像。
一种终端控制装置，所述装置包括：
录制模块，用于在监测到屏幕录制触发指令时，开始屏幕录制；
确定模块，用于在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；
存储模块，用于当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像。
一种终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
在监测到屏幕录制触发指令时，开始屏幕录制；
在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；
当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
在监测到屏幕录制触发指令时，开始屏幕录制；
在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；
当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像。
上述终端控制方法、装置、电子设备和存储介质，在监测到屏幕录制触发指令时，开始屏幕录制；在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；当获取的当前帧图像为目标内容对应的图像时，存储获取的当前帧图像。据此，可以实时存储目标内容对应的图像，方便用户从已存储图像中即时回看之前的内容。
附图说明
图1为一个实施例中终端控制方法的应用环境图；
图2为一个实施例中终端控制方法的流程示意图；
图3为一个实施例中根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像步骤的流程示意图；
图4为一个实施例中确定当前帧图像与前一帧图像之间的图像差异步骤的流程示意图；
图5为一个实施例中当前帧图像与前一帧图像中各位置的像素值示意图；
图6为一个实施例中放大操作与缩小操作对应的屏幕示意图；
图7为一个实施例中左滑操作与右滑操作对应的屏幕示意图；
图8为一个实施例中终端控制装置的结构框图；
图9为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的终端控制方法，可以应用于如图1所示的应用环境中。其中，第一终端102和第二终端104分别通过网络与服务器106进行通信。第一用户可以通过第一终端102访问提供线上会议功能的平台，发起线上会议并分享第一终端102的屏幕；服务器104可以是该平台所在的服务器；第二用户可以通过第二终端104访问该平台，加入第一用户发起的线上会议并观看第一用户分享的屏幕内容。其中，第一用户具体可以是会议主讲人，第二用户具体可以是参会人员，可以理解，参会人员可以有多个，相应的第二终端104可以包括有多个，每个参会人员都可以通过各自的第二终端104观看会议主讲人分享的屏幕内容。第一终端102和第二终端104都可以但不限于是各种智能手机、个人计算机、笔记本电脑、平板电脑和便携式可穿戴设备。服务器106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种终端控制方法，以该方法应用于图1中的第二终端104为例进行说明，包括以下步骤S202至步骤S206。
S202，在监测到屏幕录制触发指令时，开始屏幕录制。
屏幕录制触发指令表示触发开启屏幕录制的指令。例如对于线上会议场景，可以是当用户打开在终端安装的线上会议应用程序时，认为监测到屏幕录制触发指令，也可以是当用户打开在终端安装的线上会议应用程序并加入到一个线上会议中时，认为监测到屏幕录制触发指令。
S204，在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像。
在屏幕录制过程中，可以从录制的视频中实时提取帧图像，例如每隔预设时长提取一帧图像，每一帧图像都对应一录制的屏幕内容。目标内容表示需要存储以便后续回看的内容，例如对于线上会议场景，目标内容可以是主讲人分享的演示文稿(幻灯片)内容。在屏幕录制过程中，屏幕中显示的内容可能并非一直都是目标内容，从而获取的帧图像可能不都是目标内容对应的图像，为了减少不必要的图像存储，可以对每一获取的帧图像进行识别，确定其是否为目标内容对应的图像。
S206，当获取的当前帧图像为目标内容对应的图像时，存储获取的当前帧图像。
若识别出当前帧图像为目标内容对应的图像，则存储该当前帧图像，若识别出当前帧图像不是目标内容对应的图像，则不需要存储该当前帧图像。具体地，可以预先建立一个存储列表，每存储一个当前帧图像，将该当前帧图像对应的图像标识添加至该存储列表，通过存储列表中的图像标识可以关联到对应的已存储图像，其中，图像标识可以包括但先不限于是图像的缩略图。
上述终端控制方法中，在监测到屏幕录制触发指令时，开始屏幕录制；在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像；当获取的当前帧图像为目标内容对应的图像时，存储获取的当前帧图像。据此，可以实时存储目标内容对应的图像，方便用户从已存储图像中即时回看之前的内容。
在一个实施例中，如图3所示，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像的步骤，具体可以包括以下步骤S302至步骤S304。
S302，对于每一获取的当前帧图像，确定当前帧图像与前一帧图像之间的图像差异，作为当前帧图像对应的相邻帧图像差异。
当前帧图像对应的相邻帧图像差异，也就是当前帧图像与前一帧图像之间的图像差异，用于表征当前帧图像相对于前一帧图像的变化情况，该变化情况可以用来判断当前帧图像是否为目标内容对应的图像。
S304，若一当前帧图像对应的相邻帧图像差异满足预设条件，且该当前帧图像的前N帧图像中的各帧图像对应的相邻帧图像差异均满足预设条件，则确定该当前帧图像为目标内容对应的图像，其中，N表示第一预设数量。
例如对于线上会议场景，目标内容是主讲人分享的演示文稿内容，用户终端屏幕中展示主讲人分享的演示文稿内容时，可以理解，每一演示文稿页面在展示过程中通常会有一定时间的停留，即可能获取到对应同一演示文稿内容的多帧图像，相邻帧图像之间没有发生变化，或者变化较小(如鼠标在演示文稿页面中移动产生的变化)。而当用户终端屏幕切换到其它非演示文稿内容时，例如临时接了视频电话，屏幕中展示的视频通话画面，获取的相邻帧图像之间变化较大(如画面移动等)。因此可以根据连续相邻帧图像之间的图像差异来判断当前帧图像是否为演示文稿内容对应的图像。
具体而言，若当前帧图像为第5帧图像，第5帧图像对应的相邻帧图像差异为第5帧图像与第4帧图像之间的图像差异(用D5-4表示)，假设N设为3，则第5帧图像的前3帧图像分别为第4帧图像、第3帧图像以及第2帧图像，其对应的相邻帧图像差异分别为第4帧图像与第3帧图像之间的图像差异(用D4-3表示)、第3帧图像与第2帧图像之间的图像差异(用D3-2表示)、以及第2帧图像与第1帧图像之间的图像差异(用D2-1表示)，当D5-4、D4-3、D3-2以及D2-1均满足预设条件时，将第5帧图像确定为目标内容对应的图像。其中，预设条件和第一预设数量都可以结合实际情况进行设定。
本实施例中，通过连续多帧图像之间的图像差异来判断当前帧图像是否为目标内容对应的图像，可以从获取的帧图像中较为准确的识别出目标内容对应的图像。
在一个实施例中，如图4所示，确定当前帧图像与前一帧图像之间的图像差异的步骤，具体可以包括以下步骤S402至步骤S404。
S402，获取当前帧图像中各位置的像素值，以及前一帧图像中各位置的像素值。
如图5所示，提供了一个实施例中当前帧图像与前一帧图像中各位置的像素值示意图，其中，左图为当前帧图像中各位置的像素值示意图，右图为前一帧图像中各位置的像素值示意图，每一个格子代表图像中的一个位置，格子中的数字代表该位置的像素值。
S404，根据当前帧图像与前一帧图像中对应位置的像素值差异，确定当前帧图像与前一帧图像之间的图像差异。
当前帧图像中各位置与前一帧图像中各位置一一对应，如图5所示，为了描述方便，以图像只包含3*3个位置的像素值为例进行说明，当前帧图像与前一帧图像中对应位置的像素值差异包括9个像素值差异，根据该9个像素值差异确定当前帧图像与前一帧图像之间的图像差异。
本实施例中，通过当前帧图像与前一帧图像中对应位置的像素值差异来确定当前帧图像与前一帧图像之间的图像差异，由于图像发生变化时，相应的像素值也会发生变化，因此通过图像的像素值差异可以准确的反映图像变化情况，据此确定的图像差异也更为准确。
在一个实施例中，根据当前帧图像与前一帧图像中对应位置的像素值差异，确定当前帧图像与前一帧图像之间的图像差异的步骤，具体可以是：将当前帧图像与前一帧图像中所有对应位置的像素值绝对差之和，作为当前帧图像与前一帧图像之间的图像差异。当当前帧图像与前一帧图像中所有对应位置的像素值绝对差之和小于第一阈值，判定当前帧图像对应的相邻帧图像差异满足预设条件。
以图5为例，当前帧图像(左图)中各位置的像素值用Lij表示，前一帧图像(右图)中各位置的像素值用Rij表示，其中，i表示行号(i＝1,2,3)，j表示列号(j＝1,2,3)，则当前帧图像与前一帧图像中对应位置的像素值绝对差为|Lij-Rij|，当前帧图像与前一帧图像之间的图像差异为当前帧图像与前一帧图像中所有对应位置的像素值绝对差之和，用D表示，D＝|L11-R11|+|L12-R12|+|L13-R13|+|L21-R21|+|L22-R22|+|L23-R23|+|L31-R31|+|L32-R32|+|L33-R33|。当D的值小于第一阈值，可认为当前帧图像相对于前一帧图像的变化很小，从而判定当前帧图像对应的相邻帧图像差异满足预设条件，其中，第一阈值可以结合实际情况进行设定。
本实施例中，通过当前帧图像与前一帧图像中所有对应位置的像素值绝对差之和，来反映当前帧图像相对于前一帧图像的变化情况，且通过设定一阈值并比较上述像素值绝对差之和与该阈值的大小关系，有利于准确判断当前帧图像对应的相邻帧图像差异是否满足预设条件。
在一个实施例中，当获取的当前帧图像为目标内容对应的图像时，还可以包括以下步骤：监测已存储的图像中是否包含获取的当前帧图像；当监测到已存储的图像中包含获取的当前帧图像时，不存储获取的当前帧图像。
若同一目标内容(例如某一页演示文稿内容)在展示过程中停留了一段时间，则在该段时间内获取的帧图像可能都对应该同一目标内容。本实施例中，为了减少对应同一目标内容的图像的重复存储，当获取的当前帧图像为目标内容对应的图像时，可以先监测已存储的图像中是否包含获取的当前帧图像，即监测是否包含与当前帧图像对应同一目标内容的已存储图像，当监测到已存储的图像中包含获取的当前帧图像时，不存储获取的当前帧图像，从而可以避免重复存储，减少对存储空间的占用。
在一个实施例中，监测已存储的图像中是否包含获取的当前帧图像的步骤，具体可以包括以下步骤：对于每一已存储图像，获取已存储图像中各位置的像素值；当存在至少一个已存储图像与获取的当前帧图像中所有对应位置的像素值绝对差之和小于第二阈值时，判定已存储的图像中包含获取的当前帧图像。
计算每一已存储图像与获取的当前帧图像中所有对应位置的像素值绝对差之和的方法可以参考前文实施例，此处不再赘述。其中，第二阈值可以结合实际情况进行设定。
本实施例中，通过每一已存储图像与获取的当前帧图像中所有对应位置的像素值绝对差之和，来反映每一已存储图像与获取的当前帧图像之间的相似性，且通过设定一阈值并比较上述像素值绝对差之和与该阈值的大小关系，有利于准确判断已存储的图像中是否包含获取的当前帧图像。
在一个实施例中，当获取的当前帧图像为目标内容对应的图像时，还可以包括以下步骤：监测已存储的图像中是否包含获取的当前帧图像的子图像；当监测到已存储的图像中包含获取的当前帧图像的子图像时，删除已存储的获取的当前帧图像的子图像。
当前帧图像的子图像可以理解为，该子图像对应的屏幕内容全部包含于该当前帧图像对应的屏幕内容中。举例来说，演示文稿在展示过程中，某一页面的内容可能并非同时展示，而是依次展示，假设用户后续需要对该页面进行回看，只需回看对应该页面全部内容的图像即可，而不必回看每一帧对应该页面部分内容的图像，因此可以不必存储对应该页面部分内容的图像。基于此，本实施例中，当监测到已存储的图像中包含获取的当前帧图像的子图像时，删除已存储的获取的当前帧图像的子图像，以减少对存储空间的占用，同时方便用户可以更快速地找到所需回看的内容。
在一个实施例中，监测已存储的图像中是否包含获取的当前帧图像的子图像的步骤，具体可以包括以下步骤：对于每一已存储图像，获取已存储图像中各位置的像素值；将获取的当前帧图像中各位置的像素值减去已存储图像中对应的各位置的像素值，获得各对应位置的像素值差值；当为负值的像素值差值的数量小于第二预设数量时，判定已存储图像为获取的当前帧图像的子图像。
将获取的当前帧图像中各位置的像素值减去已存储图像中对应的各位置的像素值，获得各对应位置的像素值差值，可以理解，若已存储图像对应的内容全部包含于当前帧图像对应的内容中，则各对应位置的像素值差值应为正值或者零，若各对应位置的像素值差值中出现负值的数量达到一预设数量，则可以认为已存储图像对应的内容中包含当前帧图像对应的内容中没有出现的内容，即认为已存储图像并非当前帧图像的子图像。相应的，若各对应位置的像素值差值中出现负值的数量小于该预设数量，则认为已存储图像为当前帧图像的子图像。其中，第二预设数量可以结合实际情况进行设定。
此外，也可以利用各对应位置的像素值差值中出现负值的数量与像素值差值总数量的比值来判断已存储图像是否为获取的当前帧图像的子图像，例如，当该比值小于预设比值时，认为已存储图像为当前帧图像的子图像。其中，预设比值可以结合实际情况进行设定。
本实施例中，通过将获取的当前帧图像中各位置的像素值减去已存储图像中对应的各位置的像素值，获得各对应位置的像素值差值，利用像素值差值中的负值数量来反映当前帧图像与已存储图像之间的包含关系，且通过设定一数量阈值并比较上述负值数量与该数量阈值的大小关系，有利于准确判断已存储的图像中是否包含当前帧图像的子图像。
在一个实施例中，在屏幕录制过程中，还可以包括以下步骤：在监测到回看指令时，显示包含已存储图像的对应标识的选择界面；在通过选择界面监测到选择的标识时，根据选择的标识确定对应的已存储图像，并显示对应的已存储图像。
回看指令可以通过用户相应的触发动作发起，例如，当用户点击或触摸终端屏幕上回看功能对应的控件时，认为监测到回看指令。已存储图像的对应标识具体可以是已存储图像的缩略图，当已存储图像有多张时，多个缩略图以列表形式显示于选择界面中，选择界面可以显示在用户终端屏幕的中央、左侧、右侧或其它任意位置。用户可以在选择界面查看缩略图列表，并从中选择想要查看的缩略图，例如，当用户点击缩略图列表中的任一缩略图时，认为监测到选择的缩略图，继而根据用户选择的缩略图确定对应的已存储图像并显示，用户可以从显示的已存储图像中回看相应的内容。
举例来说，对于线上会议场景，主讲人当前正在分享第5页演示文稿内容，而用户想要即时回看第4页演示文稿内容时，用户可以点击屏幕上回看功能对应的控件，并从显示的选择界面中选择第4页演示文稿内容对应的缩略图，便可以从显示的图像中回看第4页演示文稿内容。
本实施例中，通过包含已存储图像的对应标识的选择界面，可以方便用户查找并选择需要回看的图像，通过显示用户选择的标识对应的已存储图像，满足用户对之前内容的即时回看需求。
在一个实施例中，在监测到回看指令时，还可以包括以下步骤：暂停屏幕录制。由于回看时屏幕上显示的已存储图像会遮挡当前正在分享的内容，本实施例中，为了减少不必要的图像处理与存储，在回看过程中暂停屏幕录制，以减少资源消耗，在监测到回看结束指令时，恢复屏幕录制。回看结束指令可以通过用户相应的触发动作发起，例如，当用户点击或触摸终端屏幕上回看结束功能对应的控件时，认为监测到回看指令，也可以是当用户关闭回看的图像页面时，认为监测到回看结束指令。
在一个实施例中，在屏幕录制过程中，还可以包括以下步骤：在监测到预设动作时，暂停屏幕录制；在监测到预设动作的逆动作时，恢复屏幕录制。
预设动作可以包括但不限于是放大操作、缩小操作、左滑操作、右滑操作等，其中，放大操作与缩小操作为互逆动作，左滑操作与右滑操作为互逆动作。此外，预设动作还可以是当前屏幕从线上会议应用程序界面切换到桌面，相应的逆动作为当前屏幕重新回到线上会议应用程序界面。
如图6所示，提供了一个实施例中放大操作与缩小操作对应的屏幕示意图。例如，在线上会议过程中，用户想要查看当前屏幕分享页面中的细节内容时，可以进行页面放大操作，之后再进行页面缩小操作以返回原页面，在从放大操作到缩小操作的这一时间段内，屏幕上显示的内容无需存储，因此为了减少不需要的图像处理与存储，在监测到放大操作时，暂停屏幕录制，此后在监测到缩小操作时，恢复屏幕录制。
如图7所示，提供了一个实施例中左滑操作与右滑操作对应的屏幕示意图。例如，在线上会议过程中，用户想要查看参与会议的人员信息时，可以进行页面左滑操作，之后再进行页面右滑操作以返回原页面，在从左滑操作到右滑操作的这一时间段内，屏幕上显示的内容无需存储，因此为了减少不需要的图像处理与存储，在监测到左滑操作时，暂停屏幕录制，此后在监测到右滑操作时，恢复屏幕录制。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图8所示，提供了一种终端控制装置800，包括：录制模块810、确定模块820和存储模块830，其中：
录制模块810，用于在监测到屏幕录制触发指令时，开始屏幕录制。
确定模块820，用于在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，根据获取的帧图像确定获取的当前帧图像是否为目标内容对应的图像。
存储模块830，用于当获取的当前帧图像为目标内容对应的图像时，存储获取的当前帧图像。
在一个实施例中，确定模块820包括：第一确定单元和第二确定单元。第一确定单元，用于对于每一获取的当前帧图像，确定当前帧图像与前一帧图像之间的图像差异，作为当前帧图像对应的相邻帧图像差异。第二确定单元，用于若一当前帧图像对应的相邻帧图像差异满足预设条件，且该当前帧图像的前N帧图像中的各帧图像对应的相邻帧图像差异均满足预设条件，则确定该当前帧图像为目标内容对应的图像，其中，N表示第一预设数量。
在一个实施例中，第一确定单元包括：获取子单元和确定子单元。获取子单元，用于获取当前帧图像中各位置的像素值，以及前一帧图像中各位置的像素值。确定子单元，用于根据当前帧图像与前一帧图像中对应位置的像素值差异，确定当前帧图像与前一帧图像之间的图像差异。
在一个实施例中，确定子单元，具体用于将当前帧图像与前一帧图像中所有对应位置的像素值绝对差之和，作为当前帧图像与前一帧图像之间的图像差异。确定子单元，还用于当像素值绝对差之和小于第一阈值，判定当前帧图像对应的相邻帧图像差异满足预设条件。
在一个实施例中，该装置还包括第一处理模块，第一处理模块包括：第一监测单元和第一处理单元。第一监测单元，用于当获取的当前帧图像为目标内容对应的图像时，监测已存储的图像中是否包含获取的当前帧图像。第一处理单元，用于当监测到已存储的图像中包含获取的当前帧图像时，不存储获取的当前帧图像。
在一个实施例中，第一监测单元具体用于：对于每一已存储图像，获取已存储图像中各位置的像素值；当存在至少一个已存储图像与获取的当前帧图像中所有对应位置的像素值绝对差之和小于第二阈值时，判定已存储的图像中包含获取的当前帧图像。
在一个实施例中，该装置还包括第二处理模块，第二处理模块包括：第二监测单元和第二处理单元。第二监测单元，用于当获取的当前帧图像为目标内容对应的图像时，监测已存储的图像中是否包含获取的当前帧图像的子图像。第二处理单元，用于当监测到已存储的图像中包含获取的当前帧图像的子图像时，删除已存储的获取的当前帧图像的子图像。
在一个实施例中，第二监测单元具体用于：对于每一已存储图像，获取已存储图像中各位置的像素值；将获取的当前帧图像中各位置的像素值减去已存储图像中对应的各位置的像素值，获得各对应位置的像素值差值；当为负值的像素值差值的数量小于第二预设数量时，判定已存储图像为获取的当前帧图像的子图像。
在一个实施例中，该装置还包括显示模块，显示模板包括：第一显示单元和第二显示单元。第一显示单元，用于在监测到回看指令时，显示包含已存储图像的对应标识的选择界面。第二显示单元，用于在通过选择界面监测到选择的标识时，根据选择的标识确定对应的已存储图像，并显示对应的已存储图像。
在一个实施例中，该装置还包括暂停录制模块和恢复录制模块。暂停录制模块，用于在监测到回看指令时，暂停屏幕录制。恢复录制模块，用于在监测到回看结束指令时，恢复屏幕录制。
在一个实施例中，暂停录制模块，还用于在监测到预设动作时，暂停屏幕录制。恢复录制模块，还用于在监测到预设动作的逆动作时，恢复屏幕录制。
关于终端控制装置的具体限定可以参见上文中对于终端控制方法的限定，在此不再赘述。上述终端控制装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种电子设备，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种终端控制方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各个方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个方法实施例中的步骤。
需要理解的是，上述实施例中的术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种终端控制方法，其特征在于，所述方法包括：
在监测到屏幕录制触发指令时，开始屏幕录制；
在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，对于每一获取的当前帧图像，获取当前帧图像中各位置的像素值，以及前一帧图像中各位置的像素值，将所述当前帧图像与所述前一帧图像中所有对应位置的像素值绝对差之和，作为所述当前帧图像与所述前一帧图像之间的图像差异；当所述像素值绝对差之和小于第一阈值，判定所述当前帧图像对应的相邻帧图像差异满足预设条件，且该当前帧图像的前N帧图像中的各帧图像对应的相邻帧图像差异均满足所述预设条件，则确定该当前帧图像为目标内容对应的图像，其中，N表示第一预设数量；
当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像，并建立一个存储列表，每存储一个当前帧图像，将当前帧图像对应的图像标识添加至所述存储列表，通过所述存储列表中的图像标识关联到对应的已存储图像。
2.根据权利要求1所述的方法，其特征在于，当所述获取的当前帧图像为所述目标内容对应的图像时，还包括：
监测已存储的图像中是否包含所述获取的当前帧图像；
当监测到已存储的图像中包含所述获取的当前帧图像时，不存储所述获取的当前帧图像。
3.根据权利要求2所述的方法，其特征在于，监测已存储的图像中是否包含所述获取的当前帧图像，包括：
对于每一已存储图像，获取所述已存储图像中各位置的像素值；
当存在至少一个已存储图像与所述获取的当前帧图像中所有对应位置的像素值绝对差之和小于第二阈值时，判定已存储的图像中包含所述获取的当前帧图像。
4.根据权利要求1所述的方法，其特征在于，当所述获取的当前帧图像为所述目标内容对应的图像时，还包括：
监测已存储的图像中是否包含所述获取的当前帧图像的子图像；
当监测到已存储的图像中包含所述获取的当前帧图像的子图像时，删除已存储的所述获取的当前帧图像的子图像。
5.根据权利要求4所述的方法，其特征在于，监测已存储的图像中是否包含所述获取的当前帧图像的子图像，包括：
对于每一已存储图像，获取所述已存储图像中各位置的像素值；
将所述获取的当前帧图像中各位置的像素值减去所述已存储图像中对应的各位置的像素值，获得各对应位置的像素值差值；
当为负值的像素值差值的数量小于第二预设数量时，判定所述已存储图像为所述获取的当前帧图像的子图像。
6.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在监测到回看指令时，显示包含已存储图像的对应标识的选择界面；
在通过所述选择界面监测到选择的标识时，根据所述选择的标识确定对应的已存储图像，并显示所述对应的已存储图像。
7.根据权利要求6所述的方法，其特征在于，在监测到回看指令时，还包括：
暂停屏幕录制；
在监测到回看结束指令时，恢复屏幕录制。
8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在监测到预设动作时，暂停屏幕录制；
在监测到所述预设动作的逆动作时，恢复屏幕录制。
9.一种终端控制装置，其特征在于，所述装置包括：
录制模块，用于在监测到屏幕录制触发指令时，开始屏幕录制；
确定模块，用于在屏幕录制过程中实时获取录制的屏幕内容对应的帧图像，对于每一获取的当前帧图像，获取当前帧图像中各位置的像素值，以及前一帧图像中各位置的像素值，将所述当前帧图像与所述前一帧图像中所有对应位置的像素值绝对差之和，作为所述当前帧图像与所述前一帧图像之间的图像差异；当所述像素值绝对差之和小于第一阈值，判定所述当前帧图像对应的相邻帧图像差异满足预设条件，且该当前帧图像的前N帧图像中的各帧图像对应的相邻帧图像差异均满足所述预设条件，则确定该当前帧图像为目标内容对应的图像，其中，N表示第一预设数量；
存储模块，用于当所述获取的当前帧图像为所述目标内容对应的图像时，存储所述获取的当前帧图像，并建立一个存储列表，每存储一个当前帧图像，将当前帧图像对应的图像标识添加至所述存储列表，通过所述存储列表中的图像标识关联到对应的已存储图像。
10.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202010982906.3A 2020-09-15 2020-09-15 终端控制方法、装置、电子设备和存储介质 Active CN114189646B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010982906.3A CN114189646B (zh) 2020-09-15 2020-09-15 终端控制方法、装置、电子设备和存储介质
PCT/CN2021/115294 WO2022057602A1 (zh) 2020-09-15 2021-08-30 终端控制方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010982906.3A CN114189646B (zh) 2020-09-15 2020-09-15 终端控制方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN114189646A CN114189646A (zh) 2022-03-15
CN114189646B true CN114189646B (zh) 2023-03-21

Family

ID=80539741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010982906.3A Active CN114189646B (zh) 2020-09-15 2020-09-15 终端控制方法、装置、电子设备和存储介质

Country Status (2)

Country Link
CN (1) CN114189646B (zh)
WO (1) WO2022057602A1 (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000082145A (ja) * 1998-01-07 2000-03-21 Toshiba Corp 物体抽出装置
CN104636435A (zh) * 2014-12-26 2015-05-20 中电科华云信息技术有限公司 云终端录屏方法
CN104980681A (zh) * 2015-06-15 2015-10-14 联想(北京)有限公司 一种视频获取方法及装置
CN105867798A (zh) * 2015-12-18 2016-08-17 乐视移动智能信息技术（北京）有限公司 触摸屏录屏方法及装置
CN109324911A (zh) * 2018-09-21 2019-02-12 广州长鹏光电科技有限公司 用户行为自动检测智能屏幕抓屏系统
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
WO2019140880A1 (zh) * 2018-01-22 2019-07-25 深圳壹账通智能科技有限公司 屏幕录制方法、计算机可读存储介质、终端设备及装置
CN110087123A (zh) * 2019-05-15 2019-08-02 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN110213614A (zh) * 2019-05-08 2019-09-06 北京字节跳动网络技术有限公司 从视频文件中提取关键帧的方法和装置
CN111104913A (zh) * 2019-12-23 2020-05-05 福州大学 一种基于结构及相似度的视频提取ppt方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120185905A1 (en) * 2011-01-13 2012-07-19 Christopher Lee Kelley Content Overlay System
WO2013134936A1 (zh) * 2012-03-14 2013-09-19 华为技术有限公司 屏幕录制方法、屏幕录制控制方法及装置
US20140181155A1 (en) * 2012-12-21 2014-06-26 Dropbox, Inc. Systems and methods for directing imaged documents to specified storage locations
US11158342B2 (en) * 2015-11-06 2021-10-26 Airwatch Llc Systems for optimized presentation capture
CN106406710B (zh) * 2016-09-30 2021-08-27 维沃移动通信有限公司 一种录制屏幕的方法及移动终端
CN106791535B (zh) * 2016-11-28 2020-07-14 阿里巴巴（中国）有限公司 视频录制方法及装置
CN108803993B (zh) * 2018-06-13 2022-02-11 南昌黑鲨科技有限公司 应用程序的交互方法、智能终端及计算机可读存储介质
CN110602544B (zh) * 2019-09-12 2021-06-04 腾讯科技（深圳）有限公司 视频展示方法及装置、电子设备、存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000082145A (ja) * 1998-01-07 2000-03-21 Toshiba Corp 物体抽出装置
CN104636435A (zh) * 2014-12-26 2015-05-20 中电科华云信息技术有限公司 云终端录屏方法
CN104980681A (zh) * 2015-06-15 2015-10-14 联想(北京)有限公司 一种视频获取方法及装置
CN105867798A (zh) * 2015-12-18 2016-08-17 乐视移动智能信息技术（北京）有限公司 触摸屏录屏方法及装置
CN109947991A (zh) * 2017-10-31 2019-06-28 腾讯科技（深圳）有限公司 一种关键帧提取方法、装置和存储介质
WO2019140880A1 (zh) * 2018-01-22 2019-07-25 深圳壹账通智能科技有限公司 屏幕录制方法、计算机可读存储介质、终端设备及装置
CN109324911A (zh) * 2018-09-21 2019-02-12 广州长鹏光电科技有限公司 用户行为自动检测智能屏幕抓屏系统
CN110213614A (zh) * 2019-05-08 2019-09-06 北京字节跳动网络技术有限公司 从视频文件中提取关键帧的方法和装置
CN110087123A (zh) * 2019-05-15 2019-08-02 腾讯科技（深圳）有限公司 视频文件制作方法、装置、设备及可读存储介质
CN111104913A (zh) * 2019-12-23 2020-05-05 福州大学 一种基于结构及相似度的视频提取ppt方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Windows屏幕变化区域捕捉与回放系统设计及实现;刘志伟;《电脑编程技巧与维护》;20120818(第16期);全文 *

Also Published As

Publication number Publication date
WO2022057602A1 (zh) 2022-03-24
CN114189646A (zh) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111190558B (zh) 投屏控制方法、装置、计算机可读存储介质和计算机设备
US10430456B2 (en) Automatic grouping based handling of similar photos
CN107679249A (zh) 好友推荐方法及设备
CN113163230B (zh) 视频消息生成方法、装置、电子设备及存储介质
CN109660854B (zh) 视频推荐方法、装置、设备和存储介质
CN109274999A (zh) 一种视频播放控制方法、装置、设备及介质
TW201926968A (zh) 程式、資訊處理方法及資訊處理裝置
CN112612570B (zh) 一种查看应用程序被遮挡区域的方法及系统
CN112533048B (zh) 一种视频播放方法、装置和设备
CN111522476B (zh) 监控窗口切换的方法、设备、计算机设备和存储介质
CN114189646B (zh) 终端控制方法、装置、电子设备和存储介质
CN113992784B (zh) 音视频通话方法、装置、计算机设备和存储介质
CN114998102A (zh) 图像处理方法、装置及电子设备
CN112929489B (zh) 通信方法及装置
CN110401865B (zh) 视频互动功能的实现方法和装置
CN112016001A (zh) 好友推荐方法、设备及计算机可读介质
CN111367449A (zh) 图片处理方法、装置、计算机设备和存储介质
JP7090952B1 (ja) チャットシステム、チャット装置、及び、チャット方法
CN112367562B (zh) 图像处理方法、装置及电子设备
CN113495657A (zh) 会话消息筛选方法、装置、计算机设备和存储介质
CN115052107A (zh) 拍摄方法、装置、电子设备和介质
CN114968142A (zh) 投屏处理方法、装置、电子设备和存储介质
CN115619635A (zh) 截图生成方法、装置、计算机设备和存储介质
CN115793920A (zh) 截图方法和截图装置
CN117274433A (zh) 图片管理方法、图片管理装置、电子设备和可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant