CN113821130A - 一种确定截图区域的方法及相关装置 - Google Patents

一种确定截图区域的方法及相关装置 Download PDF

Info

Publication number
CN113821130A
CN113821130A CN202110329931.6A CN202110329931A CN113821130A CN 113821130 A CN113821130 A CN 113821130A CN 202110329931 A CN202110329931 A CN 202110329931A CN 113821130 A CN113821130 A CN 113821130A
Authority
CN
China
Prior art keywords
area
region
screenshot
geometric
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110329931.6A
Other languages
English (en)
Inventor
邵天雨
丁宁
周星辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to PCT/CN2021/101098 priority Critical patent/WO2021254510A1/zh
Priority to EP21826147.7A priority patent/EP4160372A4/en
Publication of CN113821130A publication Critical patent/CN113821130A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供了一种确定截图区域的方法及相关装置,该方法包括:终端获取显示屏的显示界面中的规则的几何区域,上述几何区域可以为终端根据用户在显示屏上的触控轨迹得到的几何区域,其中,上述几何区域为上述触控轨迹的外切矩形;上述几何区域也可以为用户在显示屏上圈定的规则的矩形,根据上述几何区域以及优化参数得到第一区域和/或第二区域,并根据上述第一区域和/或第二区域生成截图区域,其中,上述优化参数为预设的增益值或交并比IOU;该终端将上述截图区域通过上述显示屏反馈给上述用户。采用本申请实施例,能够更加高效地确定截图区域。

Description

一种确定截图区域的方法及相关装置
技术领域
本申请涉及计算机技术领域,尤其涉及一种确定截图区域的方法及相关装置。
背景技术
随着计算机技术的不断发展,终端的应用越来越丰富,在信息化爆炸的时代,终端的截屏技术的使用越来越广泛,用户通过截屏技术将终端上的屏幕信息保存下来,以便查阅和分享。在截屏技术中,指关节截屏被越来越多的终端用户喜爱,用户通过利用指关节在终端的屏幕上圈定想要截取的内容,就能有针对性地截取屏幕上的部分内容。
目前,指关节截屏获取的图像范围是基于用户指关节画出的区域,由于用户通过指关节画出的区域相对粗糙,可能与用户实际想要截取的那部分内容有偏差,目前想要手动修正这部分偏差,具体修正方式为:显示一个包含关节画出的区域显示的最小矩形框,用户可以手动拖拽该矩形框,直至该矩形框覆盖想要截取的内容。然而通过拖拽进行调整的方式增加了人机交互的复杂性,从而使得用户截图的效率较低。
发明内容
本申请实施例公开了一种确定截图区域的方法及相关装置,能够更加高效地确定截取区域。
本申请实施例第一方面公开了一种确定截取区域的方法,该方法包括:获取显示屏的显示界面中的规则的几何区域;从上述显示屏的显示界面的多个候选截图区域中选择一个与上述几何区域最接近的候选截图区域作为截图区域,其中,上述候选截图区域为多个包含一个或多个完整界面元素的区域。
可以看出,上述方法能够根据触控轨迹得到规则的几何区域,也能够直接获取用户圈定的规则的几何区域,且能够智能化地从多个候选截图区域中筛选出最接近该几何区域的候选截图区域,从而更加高效准确地获取用户想要截取的区域。
在第一方面的一种可选的方案中,上述获取显示屏的显示界面中的规则的几何区域,包括:获取用户在显示屏上的触控轨迹;根据上述触控轨迹得到规则的几何区域。
在第一方面的又一种可选的方案中,上述从上述显示屏的显示界面的多个候选截图区域中选择一个与上述几何区域最接近的候选截图区域作为截图区域,包括:计算上述显示屏的显示界面的多个候选截图区域总的每一个候选截图区域与上述几何区域之间交并比IOU,选择上述交并比IOU最大的候选截图区域作为截图区域。
可以看出,通过计算交并比IOU,选择交并比IOU最大的候选截图区域(即与上述几何区域最接近的区域)作为截图区域,由于上述最大的候选截图区域与上述几何区域在相同交集时,并集最小;在相同并集时,交集最大;在交集与并集均不相同时,其交集与并集的比值最大,因此选择出的交并比IOU最大的候选截图区域为最接近上述几何区域的候选截图区域,因此将交并比IOU最大的候选截图区域作为截图区域能够截取出用户最想要的区域。
在第一方面的又一种可选的方案中,上述候选截图区域与上述几何区域之间的交并比IOU的计算公式如下:
Figure BDA0002995771450000021
其中,Sarea(C)∩area(G)为候选截图区域C与几何区域G之间的交集的面积,Sarea(C)∩area(G)为候选截图区域C与几何域选G之间的并集的面积。
在第一方面的又一种可选的方案中,上述几何区域为矩形区域,上述矩形区域的四个边均与上述触控轨迹相切且与上述显示屏的边平行。
第二方面,本申请实施例为我们提供了一种确定截图区域的方法,包括:获取显示屏的显示界面中的规则的几何区域;根据优化参数和上述几何区域得到目标区域,其中,上述目标区域包括第一区域和第二区域总的至少一项,上述第一区域包含上述几何区域,上述第二区域包含于上述几何区域,上述优化参数为预设的增益值或者交并比IOU;根据上述目标区域生成截图区域。
可以看出,上述方法能够通过预设的增益值或者交并比IOU对上述几何区域进行优化,得到第一区域(例如,放大几何区域后的最大截图区域),或者第二区域(例如,缩小该几何区域后的最小截图区域),能够避免由于误差因素导致的信息丢失的情况,从而更加智能、更加高效且准确地确定截图区域。
在第二方面的一种可选的方案中,上述获取显示屏的显示界面中的规则的几何区域,包括:获取用户在显示屏上的触控轨迹;根据上述触控轨迹得到规则的几何区域。
在第二方面的又一种可选的方案中,上述目标区域包括上述第一区域;上述根据上述目标区域生成截图区域,包括:生成一个能够涵盖上述第一区域内全部界面元素且落入上述第一区域内的第一子区域,其中,上述第一子区域用于作为截图区域。
可以看出,上述方法能够排除未完全落入上述第一区域中的界面元素,从而使得得到的第一子区域的全部的界面元素为完全在上述第一区域内的界面元素,因此使得截图区域(这里为第一子区域)内的界面元素为用户想要截取的元素。
在第二方面的又一种可选的方案中,上述目标区域包括上述第一区域和上述第二区域;上述根据上述目标区域生成截图区域,包括:根据上述第一区域和上述第二区域生成截图区域。
在第二方面的又一种可选的方案中,上述根据上述第一区域和上述第二区域生成截图区域,包括:从目标边界范围中选择像素值的方差最小的边界作为目标边界,其中,上述目标边界范围为上述第一区域和上述第二区域中处于同方位的边之间的范围;根据从四个方位的目标边界范围中选择的四个目标边界组成截图区域。
可以看出,图像当中如果一块区域内的像素方差较小,则表明这块区域内的像素值越接近,因此当该图像中的某一行像素的方差都很小时,表明这一行像素上没有要显示的界面元素,因此本申请实施例选择像素值方差最小的边界作为该截图区域的边界时,可以保证该边界围成的区域内的界面元素均为完整的界面元素。
在第二方面的又一种可选的方案中,上述优化参数为IOU,上述目标区域包括上述第一区域;上述根据优化参数和上述几何区域得到目标区域,包括:根据上述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域;根据上述至少一个最大值的过渡区域得到上述第一区域,其中,上述目标区域为包含上述至少一个最大的过渡区域的第一区域。
在第二方面又一种可选的方案中,上述优化参数为交并比IOU,上述目标区域包括上述第一区域和第二区域;上述根据优化参数和上述几何区域得到目标区域,包括:根据上述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域与至少一个最小的过渡区域;根据上述至少一个最大的过渡区域得到上述第一区域,上述第一区域包含上述至少一个最大的过渡区域;根据上述至少一个最小的过渡区域得到上述第二区域,上述第二区域包含于上述至少一个最小的过渡区域。
在第二方面又一种可选的方案中,上述优化参数为预设的增益值,上述目标区域为第一区域;上述根据上述优化参数和上述几何区域得到目标区域,包括:根据预设的正增益值扩大所述几何区域得到第一区域。在第二方面的又一种可选的方案中,上述优化参数为预设的增益值,上述目标区域为第一区域和第二区域;上述根据上述优化参数和上述几何区域得到目标区域,包括:根据预设的正增益值扩大所述几何区域得到第一区域;根据预设的负增益值缩小所述几何区域得到第二区域。
可以看出,上述方法能够通过预设的增益值对上述几何区域进行放大和缩小,从而能够避免因误差导致的信息丢失的情况,也使得截图区域更加准确地截取用户想要圈定的内容。
第三方面,本申请实施例提供了一种确定截图区域的装置,包括:第一获取单元,用于获取显示屏的显示界面中的规则的几何区域;选择单元,用于从上述显示屏的显示界面的多个候选截图区域中选择一个与上述几何区域最接近的候选截图区域作为截图区域,其中,上述候选截图区域为多个包含一个或多个完整界面元素的区域。
可以看出,上述方法能够根据触控轨迹得到规则的几何区域,也能够直接获取用户圈定的规则的几何区域,且能够智能化地从多个候选截图区域中筛选出最接近该几何区域的候选截图区域,从而更加高效准确地获取用户想要截取的区域。在第三方面的一种可选的方案中,上述第一处理单元具体用于:计算上述显示屏的显示界面的多个候选截图区域中的每一个候选截图区域与上述几何区域之间的交并比IOU。
在第三方面的一种可选的方案中,所述第一获取单元,用于获取用户在显示屏上的触控轨迹,根据所述触控轨迹得到规则的几何区域。
在第三方面的又一种可选的方案中,所述选择单元具体用于:计算所述显示屏的显示界面的多个候选截图区域中的每一个候选区域与所述几何区域之间的交并比IOU;选择所述交并比IOU最大的候选区域作为截图区域。
可以看出,通过计算交并比IOU,选择交并比IOU最大的候选截图区域(即与上述几何区域最接近的区域)作为截图区域,由于上述最大的候选截图区域与上述几何区域在相同交集时,并集最小;在相同并集时,交集最大;在交集与并集均不相同时,其交集与并集的比值最大,因此,选择出的交并比IOU最大的候选截图区域为最接近上述几何区域的候选截图区域,因此将交并比IOU最大的候选截图区域作为截图区域能够截取出用户最想要的区域。
在第三方面的又一种可选的方案中,上述候选截图区域与上述几何区域之间的交并比IOU的计算公式如下:
Figure BDA0002995771450000031
其中,Sarea(C)∩area(G)为候选截图区域C与几何区域G之间的交集的面积,Sarea(C)∩area(G)为候选截图区域C与几何域选G之间的并集的面积。
在第三方面的又一种可选的方案中,上述几何区域为矩形区域,上述矩形区域的四个边均与上述触控轨迹相切且与上述显示屏的边平行。
第四方面,本申请实施例提供了一种确定截图区域的装置,包括:第二获取单元,用于获取显示屏的显示界面中的规则的几何区域;处理单元,用于根据上述优化参数合上书集合区域得到目标区域,其中,上述目标区域包括第一区域和第二区域中的至少一项,上述优化参数为预设的增益值或者交并比IOU;生成单元,用于根据上述目标区域生成截图区域。
可以看出,上述方法能够通过预设的增益值或者交并比IOU对上述几何区域进行优化,得到第一区域(例如,放大该几何区域后的最大截图区域),或者第二区域(例如,缩小该几何区域后的最小截图区域),能够避免由于误差因素导致的信息丢失的情况,从而更加智能、更加高效且准确地确定截图区域。
在第四方面的一种可选的方案中,所述第二获取单元,用于获取用户在显示屏上的触控轨迹,根据所述触控轨迹得到规则的几何区域。
在第四方面的又一种可选的方案中,上述目标区域包括上述第一区域;上述生成单元具体用于:生成一个能够涵盖上述第一区域内全部界面元素且落入上述第一区域内的第一子区域,上述第一子区域用于作为截图区域。
可以看出,上述方法能够排除未完全落入上述第一区域中的界面元素,从而使得得到的第一子区域的全部的界面元素为完全在上述第一区域内的界面元素,因此使得截图区域(这里为第一子区域)内的界面元素为用户想要截取的元素。
在第四方面的一种可选的方案中,上述目标区域包括上述第一区域和上述第二区域,上述生成单元具体用于:根据上述第一区域和上述第二区域生成截图区域。
在第四方面的一种可选的方案中,上述是生成单元具体用于:从目标边界范围中选择像树枝的方差最小的边界作为目标边界,其中,上述目标边界范围为上述第一区域和上述第二区域中处于同方位的边之间的范围;根据从四个方位的目标边界范围中选择的四个目标边界组成截图区域。
可以看出,图像当中如果一块区域的像素方差较小,则表明这块区域内的像素值越接近,因此当该图像中的某一行像素的方差都很小时,表明这一行像素上没有要显示的界面元素,因此本申请实施例选择像素值的方差最小的边界作为截图区域的边界时,可以保证该边界围城的区域内的界面元素均为完整的界面元素。
在第四方面的又一种可选的方案中,上述优化参数为IOU,上述目标区域包括上述第一区域;上述处理单元具体用于:根据上述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域;根据上述至少一个最大值的国度区域得到上述第一区域,上述目标区域为包含至少一个最大的过渡区域的第一区域。
在第四方面的又一种可选的方案中,上述优化参数为IOU,上述目标区域包括上述第一区域;上述处理单元具体用于:根据上述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域与至少一个最小的过渡区域,根据上述至少一个最大的过渡区域得到第一区域;根据上述至少一个最小的过渡区域得到上述第二区域,其中,上述目标区域为包含上述至少一个最大的过渡区域的第一区域与至少一个最小的过渡区域的第二区域。
在第四方面的又一种可选的方案中,上述优化参数为预设的增益值,上述目标区域为第一区域,上述处理单元具体用于:上述目标区域为第一区域;上述根据上述优化参数和上述几何区域得到目标区域,包括:根据预设的正增益值扩大所述几何区域得到第一区域。
在第四方面的又一种可选的方案中,上述优化参数为增益值,上述目标区域为第一区域与第二区域,上述处理单元具体用于:根据预设的正增益值扩大所述几何区域得到第一区域;根据预设的负增益值缩小所述几何区域得到第二区域。
可以看出,上述方法能够通过预设的增益值对上述几何区域进行放大和缩小,从而能够避免因误差导致的信息丢失的情况,也使得截图区域更加准确地截取用户想要圈定的内容。
第五方面,本申请实施例提供了一种终端,包括:一个或多个处理器、存储器以及显示屏;所述存储器、所述显示屏与所述一个或多个处理器耦合,所述存储器用于存储计算机程序,所述计算机程序代码包括计算机程序,所述一个或多个处理器调用所述计算机程序以使上述终端实现第一方面,或者第二方面,或者第一方面的任一种可选的方案,或者第二方面的任一种可选的方案所描述的方法。
第六方面,本申请实施例提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,当上述计算机程序被处理运行时,实现第一方面,或者第二方面,或者第一方面的任一种可选的方案,或者第二方面的任一种可选的方案。
第七方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在处理器上运行的时候,实现本申请实施例中的第一方面,或者第二方面,或者第一方面的任一种可选的方案,或者第二方面的任一种可选的方案所描述的方法。
可以理解地,上述第五方面提供的装置和第六方面提供的计算机可读存储介质,以及第七方面提供的计算机产品均用于执行第一方面,或者第二方面,或者第一方面的任一种可选的方案,或者第二方面的任一种可选的方案所描述的确定截图区域的方法。因此,其所能达到的有益效果可以参考第一方面,或者第二方面,或者第一方面的任一种可选的方案,或者第二方面的任一种可选的方案中所描述的确定截图区域的方法中的有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种确定截图区域的架构示意图;
图2是本申请实施例提供的一种目标终端200的结构示意图;
图3是本申请实施例提供的一种目标终端200的软件结构框图;
图4是本申请实施例提供的一种确定截图区域的场景示意图;
图5是本申请实施例提供的又一种确定截图区域的场景示意图;
图6是本申请提供的一种获取触控轨迹的场景示意图;
图7是本申请实施例提供的一种候选区域的场景示意图;
图8是本申请实施例提供的一种生成截图区域的场景示意图;
图9是本申请实施例提供的一种根据几何区域得到第一区域和/或第二区域的场景示意图;
图10是本申请实施例提供的一种根据几何区域得到第一区域的结构示意图;
图11是本申请实施例提供的一种根据几何区域得到第二区域的结构示意图;
图12是本申请实施例提供的一种生成截图区域的场景示意图;
图13是本申请实施例提供的一种确定截图区域的方法的流程示意图;
图14是本申请实施例提供的一种编辑截图区域的场景示意图;
图15是本申请实施例提供的一种确定截图区域的流程示意图;
图16是本申请实施例提供的一种确定截图区域的装置的结构示意图;
图17是本申请实施例提供的又一种确定截图区域的装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参见图1,图1是本申请实施例提供的一种确定截图区域的架构示意图,该架构示意图包括用户101和终端,其中,终端可以为智能手机102、笔记本电脑103、平板电脑104、桌上型电脑105或者其他终端。上述用户101可以通过指关节或者控制器(例如,鼠标)在上述终端上圈定想要截取的内容,第一种方式,终端接收用户在终端的显示屏上进行的操作行为(例如,用户在上述显示屏上的触控轨迹,如图4中的402),上述终端根据上述触控轨迹得到规则的几何区域(例如,上述触控轨迹的外切矩形)。第二种方式:上述用户101还可以通过控制器(例如,鼠标)在上述终端上圈定规则的几何区域,如图5中的502,相应的,终端接收用户在终端的显示屏上进行的操作行为(例如,用户在终端上圈定的规则的集合区域)。一方面,该终端能够识别出上述显示屏的显示界面上的多个候选截图区域(其中,该候选截图区域可以包含一个元素的候选截图区域,也可以包含多个元素的候选截图区域),通过计算交并比IOU的方法筛选出与该几何区域最接近的候选截图区域作为截图区域;另一方面,该终端该能够根据预设的增益值或者交并比IOU的方法优化上述几何区域,获得目标区域,即第一区域和/或第二区域,其中,上述第一区域包含该几何区域,上述第二区域包含于该几何区域(例如,第一区域为放大该几何区域的最大的矩形区域,第二区域为缩小该几何区域的最小的矩形区域),上述终端根据上述第一区域和/或上述第二区域生成截图区域,并将该截图区域通过上述显示屏反馈给上述用户,上述用户针对上述截图区域可以进行调整(例如,通过选择按钮选择上述截图区域的形状)。确定截图区域的流程示意图如图15所示,首先启动截屏,然后用户圈定截屏范围,也就是说,用户可以通过指关节或者控制器(例如,鼠标)在上述终端上圈定想要截取的内容;其次,终端对圈定的范围做修正,确定用户想要截取内容的最大范围和最小范围,也就是说,终端根据规则的几何区域确定第一区域和/或第二区域;然后在修正后的区域中优选用户最想截取的内容,也就是说终端根据第一区域和/或第二区域生成截图区域;然后将优选内容的所在的区反馈给用户,也就是说终端可以把生成的截图区域反馈给用户;然后用户可以手动调整区域范围,也就是说用户可以手动的调整截图区域的范围;终端设备提供常用窗口给用户变换截屏内容的形状,如“心形”、“圆形”等等,也就是说用户可以根据截图区域在形状编辑区点击想要变更截图的形状(例如“心形”、“圆形”等形状)的按钮,得到变更形状后的截图;最终截屏成功,也就是确定截图区域。
可以看出,一种方法能够根据触控轨迹得到规则的几何区域,也能够直接获取用户圈定的规则的几何区域,且能够智能化地从多个候选截图区域中筛选出最接近该几何区域的候选截图区域,从而更加高效准确地获取用户想要截取的区域。另一种方法能够通过预设的增益值或者交并比IOU将上述几何区域优化为第一区域或者第二区域,能够避免由于误差因素导致的信息丢失的情况,从而更加智能、更加高效且准确地确定截图区域。
图2为本申请实施例提供的一种目标终端200的结构示意图。
目标终端200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriber identification module,SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,传感器280K,环境光传感器280L,骨传导传感器280M等。
可以理解的是,本申请实施例示意的结构并不构成对目标终端200的具体限定。在本申请另一些实施例中,目标终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-networkprocessing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K,充电器,闪光灯,摄像头293等。例如:处理器210可以通过I2C接口耦合触摸传感器280K,使处理器210与触摸传感器280K通过I2C总线接口通信,实现目标终端200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器210可以包含多组I2S总线。处理器210可以通过I2S总线与音频模块270耦合,实现处理器210与音频模块270之间的通信。在一些实施例中,音频模块270可以通过I2S接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块270与无线通信模块260可以通过PCM总线接口耦合。在一些实施例中,音频模块270也可以通过PCM接口向无线通信模块260传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器210与无线通信模块260。例如:处理器210通过UART接口与无线通信模块260中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块270可以通过UART接口向无线通信模块260传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器210与显示屏294,摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器210和摄像头293通过CSI接口通信,实现目标终端200的拍摄功能。处理器210和显示屏294通过DSI接口通信,实现目标终端200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器210与摄像头293,显示屏294,无线通信模块260,音频模块270,传感器模块280等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口230是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口230可以用于连接充电器为目标终端200充电,也可以用于目标终端200与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他终端,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对目标终端200的结构限定。在本申请另一些实施例中,目标终端200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块240可以通过目标终端200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为终端供电。
电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,显示屏294,摄像头293,和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块241也可以设置于处理器210中。在另一些实施例中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。
目标终端200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。目标终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在目标终端200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(lownoise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。
在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A,受话器270B等)输出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在目标终端200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,目标终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得目标终端200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system formobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
目标终端200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,目标终端200可以包括1个或N个显示屏294,N为大于1的正整数。
目标终端200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,目标终端200可以包括1个或N个摄像头293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当目标终端200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。目标终端200可以支持一种或多种视频编解码器。这样,目标终端200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现终端100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展目标终端200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储目标终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器210通过运行存储在内部存储器221的指令,和/或存储在设置于处理器中的存储器的指令,执行目标终端200的各种功能应用以及数据处理。
目标终端200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。
扬声器270A,也称“喇叭”,用于将音频电信号转换为声音信号。目标终端200可以通过扬声器270A收听音乐,或收听免提通话。
受话器270B,也称“听筒”,用于将音频电信号转换成声音信号。当目标终端200接听电话或语音信息时,可以通过将受话器270B靠近人耳接听语音。
麦克风270C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风270C发声,将声音信号输入到麦克风270C。目标终端200可以设置至少一个麦克风270C。在另一些实施例中,目标终端200可以设置两个麦克风270C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,目标终端200还可以设置三个,四个或更多麦克风270C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230,也可以是3.5mm的开放移动终端平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器280A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器280A可以设置于显示屏294。压力传感器280A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280A,电极之间的电容改变。目标终端200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏294,目标终端200根据压力传感器280A检测所述触摸操作强度。目标终端200也可以根据压力传感器280A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器280B可以用于确定目标终端200的运动姿态。在一些实施例中,可以通过陀螺仪传感器280B确定目标终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器280B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器280B检测目标终端200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消目标终端200的抖动,实现防抖。陀螺仪传感器280B还可以用于导航,体感游戏场景。
气压传感器280C用于测量气压。在一些实施例中,目标终端200通过气压传感器280C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器280D包括霍尔传感器。目标终端200可以利用磁传感器280D检测翻盖皮套的开合。在一些实施例中,当目标终端200是翻盖机时,目标终端200可以根据磁传感器280D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器280E可检测目标终端200在各个方向上(一般为三轴)加速度的大小。当目标终端200静止时可检测出重力的大小及方向。还可以用于识别终端姿态,应用于横竖屏切换,计步器等应用。
距离传感器280F,用于测量距离。目标终端200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,目标终端200可以利用距离传感器280F测距以实现快速对焦。
接近光传感器280G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。目标终端200通过发光二极管向外发射红外光。目标终端200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定目标终端200附近有物体。当检测到不充分的反射光时,目标终端200可以确定目标终端200附近没有物体。目标终端200可以利用接近光传感器280G检测用户手持目标终端200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器280G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器280L用于感知环境光亮度。目标终端200可以根据感知的环境光亮度自适应调节显示屏294亮度。环境光传感器280L也可用于拍照时自动调节白平衡。环境光传感器280L还可以与接近光传感器280G配合,检测目标终端200是否在口袋里,以防误触。
指纹传感器280H用于采集指纹。目标终端200可以利用采集的指纹特性实现指纹口295拔出,实现和目标终端200的接触和分离。目标终端200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。目标终端200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,目标终端200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在目标终端200中,不能和目标终端200分离。
目标终端200的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明目标终端200的软件结构。
图3是本申请实施例提供的一种目标终端200的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供目标终端200的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,终端振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
下面结合确定截图区域的应用过程,示例性说明目标终端200软件以及硬件的工作流程。
当触摸传感器280K接收到触摸操作,可以发送相应的硬件中断给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标,触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件,识别该输入事件所对应的控件。以该触摸操作为在显示屏294上的触控轨迹的操作为例,通过调用内核层启动传感器驱动以及应用框架层的接口,从而确定截图区域。
基于上述确定截图区域的方法及目标终端,接下来详细介绍实现本申请实施例涉及到的主要技术。
请参见图4,图4是本申请实施例提供的一种确定截图区域的场景示意图,该场景示意图包括用户在显示屏上的触控轨迹402、上述触控轨迹的几何区域403(该几何矩形为上述触控轨迹的外切矩形)、第一区域404(该第一区域为放大上述几何区域后的区域)和第二区域405(该第二区域为缩小上述几何区域后的区域),其中,图4以该终端为智能手机102为例进行示意。
请参见图5,图5是本申请实施例提供的又一种确定截图区域的场景示意图,该场景示意图包括用户通过鼠标在上述终端上圈定规则的几何区域502、第一区域503(该第一区域为放大上述几何区域后的区域)和第二区域504(该第二区域为上述几何区域)。
基于上述场景示意图,本申请实施例的主要技术可以包括以下几个部分:情况一:获取显示屏的显示界面中的规则的几何区域;根据上述几何区域生成截图区域。情况二:根据上述几何区域得到第一区域404和/或第二区域405,并根据上述第一区域404和/或第二区域405生成截图区域;或者根据上述几何区域得到第一区域503和/或第二区域504,并根据上述第一区域503和/或第二区域504生成截图区域。下面对以上两种情况进行更详细的介绍。
情况一:目标终端200获取显示屏的显示界面中的规则的几何区域。
目标终端200可以通过以下两种方式获取显示屏的显示界面中的几何区域:第一种方式,用户可以通过控制器(例如,鼠标)在上述终端上圈定规则的几何区域,相应的,终端接收用户在终端的显示屏上圈定的规则的几何区域。第二种方式,目标终端200获取用户在显示屏上的触控轨迹,然后根据触控轨迹得到规则的几何区域。第二种方式的具体解释如下:
首先,目标终端200获取用户在触控显示屏上的触控轨迹402。
可选地,终端可以检测到用户利用指关节在终端上划出的触控轨迹(其中,该触控轨迹可以为规则的,也可以为不规则的),请参见图6,图6为本申请提供的一种获取触控轨迹的场景示意图,根据图2所示的终端的结构示意图,则该终端启用传感器280K,并检测到上述触控轨迹,从而获取上述用户在上述显示屏294上的触控轨迹。
可选地,终端(此处以笔记本电脑为例)也可以检测到用户利用控制器(例如,鼠标)在终端上划出的触控轨迹,从而获取上述用户在上述显示屏上的触控轨迹。
接着,目标终端200根据触控轨迹402得到规则的几何区域403、或者根据上述几何区域502生成截图区域。
具体地,上述终端对上述触控轨迹作该触控轨迹的外切矩形,得到规则的几何区域。即:基于该终端的上边界所在的方位,终端做出一条平行于该终端的上边界,且与上述触控轨迹有且仅有一个交点的直线;同样地,该终端基于终端的下边界、左边界以及右边界所在的方位,分别作出该触控轨迹对应的四条直线,上述四条直线组成的矩形区域即为上述几何区域。
最后,该目标终端200可以根据上述几何区域403生成截图区域。
具体地,上述终端可以利用操作系统(例如,Android系统)自身机制获取该终端当前界面的多个候选截图区域,其中,候选截图区域可以为包含一项元素的区域,也可以为包含多项元素的区域,且一个元素为显示界面中一个最小的显示单元,例如,可以为一段文字、一个图标或一个公式等其他元素。请参见图7,图7是本申请实施例提供的一种候选截图区域的场景示意图,该示意图包括:一个图标所在的候选截图区域701、一段文字所在的候选截图区域702以及一个公式所在的候选截图区域703。根据上述多个候选截图区域以及上述几何区域,上述终端计算出上述每个候选截图区域与上述几何区域的交并比IOU,选取上述交并比IOU的值最大的候选截图区域作为截图区域,其中,上述交并比IOU为上述候选截图区域和上述几何区域的交集的面积,与上述候选区域和上述几何区域的并集的面积的比值,下面将举例说明。请参见图8,图8是本申请实施例提供的一种生成截图区域的场景示意图,该示意图包括由几何区域801、截图区域802以及示例区域803。从图8中可以看出,上述终端利用系统自身机制获取了该终端当前界面中的多个候选截图区域,图8中的每个虚线所圈定的矩形区域均称为候选截图区域,该候选截图区域可以为涵盖一项界面元素的区域(例如,图8中的涵盖界面元素“账号*3584”的候选截图区域),也可以为涵盖多项界面元素的区域(例如,图8中的示例区域803)。根据交并比IOU的计算公式,在计算上述每个候选截图区域与上述几何区域的交并比IOU的值之后,经过对比上述交并比IOU的值,得到涵盖界面元素“金额385.00人民币”的候选截图区域与上述几何区域的交并比IOU的值最大,则上述终端选取涵盖界面元素“金额385.00人民币”的候选截图区域为截图区域。目标终端200根据上述几何区域502生成截图区域可以参考目标终端200可以根据上述几何区域403生成截图区域的举例,此处不再赘述。
情况二:首先,根据上述几何区域403得到第一区域404和/或第二区域405、或者根据上述几何区域502得到第一区域503和/或第二区域504。
可选地,上述终端可以根据预设的增益值得到第一区域和/或第二区域。在同一平面内,上述终端可以根据上述几何区域的四条边长所在的直线,向垂直上述四条边长的方向增加正增益值或负增益值(正增益值或负增益值可以为预先设置的参数,上述正增益值或负增益值可以相同,也可以不相同),其中,上述正增益值用于放大上述几何区域,上述负增益值用于缩小对上述几何区域,并且,上述终端生成的截图区域不会大于上述第一区域,和/或不会小于上述第二区域,下面进行举例说明。
请参见图9,图9是本申请实施例提供的一种根据几何区域得到第一区域和/或第二区域的场景示意图,该示意图包括几何区域901、第一区域902以及第二区域903。从图9中可以看出,几何区域的四条边长所在的直线在垂直于该直线的方向上增加正增益值(即向外移动一定的距离)为k1、k2、k3、k4(其中,k1、k2、k3、k4可以分别为2mm、3mm、1mm、1mm),得到第一区域;几何区域的四条边长所在的直线增加负增益值(即向内移动一定的距离)为n1、n2、n3、n4(其中,n1、n2、n3、n4可以分别为1mm、0.5mm、2mm、1mm),得到第二区域。针对上述正增益值或负增益值的设置,上述终端根据用户的指关节与上述屏幕形成的接触面积的大小进行智能分析,从而得到正增益值和负增益值。例如,当用户与终端屏幕的接触面积不小于2mm2时,设置正增益值为2mm、3mm、1mm、1mm,或负增益值为1mm、0.5mm、2mm、1mm;当用户与终端屏幕的接触面积小于2mm2时,设置正增益值为1mm、2mm、0.5mm、1mm,或负增益值为0.5mm、1mm、1mm、0.5mm。
可选地,上述终端也可以根据上述几何区域与交并比IOU得到过渡区域,根据过渡区域得到第一区域和/或第二区域,下面进行举例说明。
若上述几何区域的面积为SG,过渡区域的面积为SC,则上述过渡区域与上述几何区域之间的交并比为:
Figure BDA0002995771450000151
即:
Figure BDA0002995771450000152
其中,为了便于更好地得到第一区域(该区域包含上述几何区域),上述过渡区域需要包含上述几何区域,则在计算第一区域的过渡区域时,上述IOU的计算公式为:
Figure BDA0002995771450000153
即:
Figure BDA0002995771450000154
若预设的交并比IOU不小于0.8,经不等式计算规则得到上述第一区域的最大过渡区域为
Figure BDA0002995771450000155
上述终端根据上述最大过渡区域得到上述第一区域。请参见图10,图10是本申请实施例提供的一种根据几何区域得到第一区域的结构示意图,该示意图包括由点O、A、B和C形成的几何区域1001以及由点O1、A1、B1和C1形成的第一区域1002。在图10中,为了便于理解,以上述原始区域中的点O作为原点,建立直角坐标系。在满足过渡区域包含上述几何区域,以及该过渡区域的面积为上述原始区域的面积的
Figure BDA0002995771450000158
倍的条件下,则从图10中可以看出,该最大过渡区域可能的情况有:几何区域1001和区域S1组合成的区域、几何区域1001和区域S2组合成的区域、几何区域1001和区域S3组合成的区域,或几何区域1001和区域S4组合成的区域。选取上述区域S1、区域S2、区域S3、区域S4的外边界(远离上述几何区域的边界)所在的直线,组成第一区域(该第一区域包含上述最大过渡区域),即由点O1、A1、B1和C1组成的区域。
同理,若上述几何区域的面积为SG,过渡区域的面积为SC,由于上述第二区域需要包含于上述几何区域,上述第二区域的过渡区域需要包含于上述几何区域,则在计算第二区域的过渡区域时,上述几何区域与上述第二区域的过渡区域的交并比IOU的计算公式为:
Figure BDA0002995771450000156
即:
Figure BDA0002995771450000157
根据预设的交并比IOU不小于0.8,经不等式计算规则得到上述第二区域的最小的过渡区域为
Figure BDA0002995771450000161
上述终端根据上述最小过渡区域得到上述第二区域。请参见图11,图11是本申请实施例提供的一种根据几何区域得到第二区域的结构示意图,该示意图包括由点O、A、B和C组成的几何区域1101、以及由点O2、A2、B2和C2组成的第二区域1102。在图10中,为了便于理解,以上述几何区域中的点O作为原点,建立直角坐标系。在满足上述第二区域的过渡区域包含于上述几何区域,以及上述第二区域的过渡区域的面积为上述几何区域的面积的
Figure BDA0002995771450000162
倍的条件下,则从图11中可以看出,该过渡区域可能的情况为:由x=0,
Figure BDA0002995771450000163
y=0以及y=b形成的矩形区域;由
Figure BDA0002995771450000164
y=0以及y=b形成的矩形区域;由x=0,x=a,y=0以及
Figure BDA0002995771450000165
形成的矩形区域;或由x=0,x=a,
Figure BDA0002995771450000166
以及
Figure BDA0002995771450000167
形成的矩形区域。选取由
Figure BDA0002995771450000168
以及
Figure BDA0002995771450000169
形成的矩形区域,即由点O2、A2、B2和C2形成的区域1102作为上述第二区域(该第二区域包含于最小过渡区域)。
最后,在得到上述第一区域和/或第二区域之后,上述终端根据上述第一区域和/或第二区域生成截图区域。
可选地,上述终端可以通过AI目标检测技术识别出上述第一区域内的全部界面元素(例如,该界面元素可以为文字、符号、数字和/或图片等),选取上述第一区域内的最靠近四个边界处的元素形成的边界区域,作出包含上述第一区域内边界区域的最小区域,将上述最小区域作为截图区域。
AI目标检测是一种基于目标几何和统计特征的图像分割,它将目标的分割和识别合二为一。例如,目标检测技术中的梯度直方图特征(histogram of oriented gradient,HOG)技术,结合支持向量机(support vector machine,SVM)分类器已经被广泛应用于图像识别中,目前虽然有很多检测算法不断提出,但基本都是以HOG和SVM的思路为主。其主要将图像分成小的区域(该区域被称之为细胞单元),采集这些细胞单元中的各像素点的梯度或边缘的方向的直方图,并将这些直方图组合起来构成特征描述器,在进行图像识别时,利用HOG技术和SVM分类器,结合图像的特征来实现目标检测。
请参见图12,图12是本申请实施例提供的一种生成截图区域的场景示意图,该示意图包括第一区域1201,以及截图区域1202。利用AI目标检测技术识别出上述第一区域1201内的全部界面元素,选取上述第一区域内最靠近四个边界处的边界区域(例如,上边界处的边界区域为涵盖界面元素“消费卡类型”的区域),作出包含上述边界区域的最小区域,从而得到了截图区域。
可选地,上述终端可以根据上述第一区域的四条边界线与第二区域的四条边界线,计算同方位边界线(例如,第一区域的左边界线与第二区域的左边界线)之间的候选边界线的像素值的方差,选取像素值的方差最小的候选边界线作为截图区域的边界线,根据选取的四个方位的边界线组成截图区域。
具体地,上述截图区域落在上述第一区域与第二区域之间,若要确定上述截图区域,则需要确定上述截图区域的四条边界。这里以上述第一区域的左边界线与上述第二区域的左边界线为例,若在上述第一区域的左边界线与上述第二区域的左边界线之间的边界线有8条(若命名为边界线1,边界线2,边界线3,边界线4,边界线5,边界线6,边界线7,边界线8),若选取步长s为2(该步长s用于筛选上述候选边界,并且该步长s为预先设置的参数),则用于计算的候选边界线为边界线2,边界线4,边界线6以及边界线8。上述终端根据上述候选边界线的像素值,以及方差的计算公式计算出该候选边界线的像素值的方差,例如,上述边界线2的像素值的方差为1.3,上述边界线4的像素值的方差为0.8,上述边界线6的像素值的方差为0.6,上述边界线8的像素值的方差为1.0,则选取上述边界线6作为上述用户想要截取的区域的左边界线。同理,上述截图区域的右边界线、上边界线和下边界线的选择方法与上述截图区域的左边界线的选取方法相同,这里不再做阐述,选取的截图区域的四条边界线组成截图区域。
进一步地,请参见图13,图13是本申请实施例提供的一种确定截图区域的方法的流程示意图。如图13所示,本申请实施例提供的方法可以包括:
步骤S1301:显示屏的显示界面中的规则的几何区域。
具体地,终端可以通过以下两种方式获取显示屏的显示界面中的几何区域:第一种方式,用户可以通过控制器(例如,鼠标)在上述终端上圈定规则的几何区域,终端接收用户在终端的显示屏上圈定的规则的几何区域。第二种方式,终端获取用户在显示屏上的触控轨迹,然后根据触控轨迹得到规则的几何区域。
具体地,终端获取用户在显示屏上的触控轨迹,然后根据触控轨迹得到规则的几何区域具体如下:首先终端获取用户在显示屏上的触控轨迹。请参见图6,终端可以检测到用户通过指关节在终端上划出的触控轨迹(其中,该触控轨迹可以为规则的,也可以为不规则的)。此外,上述终端也可以检测到用户利用控制器(例如,鼠标)在终端上划出的触控轨迹,从而获取上述用户在上述显示屏上的触控轨迹。其次,上述终端根据上述触控轨迹得到规则的几何区域。具体地,上述终端对上述触控轨迹作该触控轨迹的外切矩形,得到规则的几何区域。即:基于该终端的上边界的方位,终端做出一条平行于该终端的上边界,且与上述触控轨迹有且仅有一个交点的直线;同样地,该终端分别也做出该触控轨迹在终端的下边界、左边界以及右边界的方位上的直线,四条直线组成的矩形区域即为上述几何区域。
步骤S1302:上述终端根据上述几何区域生成截图区域。
可选方案一,上述终端通过计算上述多个候选截图区域中的每一个候选截图区域与上述几何区域的交并比IOU,直接选取上述交并比IOU的值最大的候选截图区域作为截图区域。其中,交并比IOU的计算原理请参见图7的阐述,这里不再赘述。
可选方案二,上述也可以根据第一区域和/或第二区域生成截图区域,其中,上述第一区域和/或上述第二区域为上述终端根据上述几何区域生成的区域。
具体地,请参见图9所描述的场景示意图,上述终端根据优化参数(这里以预设的增益值为例)以及上述几何区域得到第一区域和/或第二区域,或者请参见图10(图11)所描述的场景示意图,根据优化参数(这里以交并比IOU为例)计算出上述第一区域(第二区域)的最大过渡区域(最小过渡区域),并根据上述最大过渡区域(最小过渡区域)生成截图区域。
在得到上述第一区域和/或第二区域之后,上述终端根据上述第一区域和/或第二区域生成截图区域。
可选地,请参见图12所描述的场景示意图,上述终端可以通过AI目标检测技术识别出上述第一区域内的全部界面元素(且该界面元素可以为文字、符号、数字和/或图片等),选取上述第一区域内的最靠近四个边界处的涵盖界面元素的区域,作出包含上述第一区域内边界区域的最小区域,将上述最小区域作为截图区域。
可选地,上述终端可以根据上述第一区域的四条边界线与第二区域的四条边界线,计算同方位边界线(例如,第一区域的左边界线与第二区域的左边界线)之间的候选边界线的像素值的方差,选取像素值的方差最小的候选边界线作为截图区域的边界线,根据选取的四个方位的边界线组成截图区域。
步骤S1303:上述终端将上述截图区域通过该终端的显示屏反馈给上述用户。
具体地,上述终端将上述截图区域反馈给上述用户,并且根据上述用户对上述截图区域的处理(例如,上述用户选择该显示屏上的按钮进行调整上述截图区域的形状和位置),得到最终的截图。上述终端根据上述截图区域,向该用户提供常用的编辑截图区域的窗口,根据上述用户最终编辑的结果完成最终的截图。请参见图14,图14是本申请实施例提供的一种编辑截图区域的场景示意图,该场景示意图包括用截图区域1401、形状编辑区1402以及图片编辑区1403。上述用户可以根据上述区域1401在上述形状编辑区点击想要变更截图的形状(例如“心形”、“圆形”等形状)的按钮,得到变更形状后的截图,用户可以根据上述变更形状后的截图在上述图片编辑区点击按钮,可以进行“分享”、“编辑”或“保存”的操作。
在图13所描述的方法中,一种方法能够根据触控轨迹得到规则的几何区域,且能够智能化地从多个候选截图区域中筛选出最接近该几何区域的候选截图区域,从而更加高效准确地获取用户想要截取的区域。另一种方法能够通过预设的增益值或者交并比IOU将上述几何区域优化为第一区域或者第二区域,能够避免由于误差因素导致的信息丢失的情况,从而更加智能、更加高效且准确地确定截图区域。
上述详细阐述了本申请实施例的方法的流程示意图,下面提供了本申请实施例的装置。
请参见图16,图16是本申请实施例提供的一种确定截图区域的装置1600的结构示意图,该装置1600可以为上述终端,也可以为上述终端中的器件。上述终端可以包括第一获取单元1601和选择单元1602,其中,各个单元的详细描述如下。
第一获取单元1601,用于获取显示屏的显示界面中的规则的几何区域;
选择单元1602,用于从上述显示屏的显示界面的多个候选截图区域中选择一个与上述几何区域最接近的候选截图区域作为截图区域,上述候选截图区域为多个包含一个或多个完整界面元素的区域。
在一种可实施的方案中,上述第一获取单元,用于获取用户在显示屏上的触控轨迹;根据所述触控轨迹得到规则的几何区域。
在又一种可实施的方案中,上述第一处理单元具体用于:计算上述显示屏的显示界面的多个候选截图区域中的每一个候选截图区域与上述几何区域之间的交并比IOU。
可以看出,通过计算交并比IOU的方法,选择交并比IOU最大的候选截图区域(即与上述几何区域最接近的区域)作为截图区域,由于上述最大的候选截图区域与上述几何区域在相同交集时,并集最小;在相同并集时,交集最大;在交集与并集均不相同时,其交集与并集的比值最大,因此选择出的交并比IOU最大的候选截图区域为最接近上述几何区域的候选截图区域,因此将交并比IOU最大的候选截图区域作为截取区域能够截取出用户最想要的区域。
在又一种可实施的方案中,上述候选截图区域与上述几何区域之间的交并比IOU的计算公式如下:
Figure BDA0002995771450000181
其中,Sarea(C)∩area(G)为候选截图区域C与几何区域G之间的交集的面积,为所述交集的面积,Sarea(C)∩area(G)为候选截图区域C与几何域选G之间的并集的面积。
在又一种可实施的方案中,上述几何区域为矩形区域,上述矩形区域的四个边均与上述触控轨迹相切且与上述显示屏的边平行。
需要说明的是,各个单元的实现还可以对应参照图13所示的确定截图区域的方法实施例的相应描述。
在图16所描述的确定截图区域的装置中,上述终端能够根据触控轨迹得到规则的几何区域,也能够直接获取用户圈定的规则的几何区域,且能够智能化地从多个候选截图区域中筛选出最接近该几何区域的候选截图区域,从而更加高效准确地获取用户想要截取的区域。
请参见图17,图17为本申请实施例提供的一种确定截图区域的装置1700的结构示意图,该装置1700可以为上述终端,也可以为上述终端中的器件。上述终端包括:第二获取单元1701、处理单元1702以及生成单元1703,其中,各个单元具体应用如下:
第二获取单元1701,用于获取显示屏的显示界面中的规则的几何区域;
处理单元1702,用于根据上述优化参数合上书集合区域得到目标区域,其中,上述目标区域包括第一区域和第二区域中的至少一项,上述优化参数为预设的增益值或者交并比IOU;
生成单元1703,用于根据上述目标区域生成截图区域。
在一种可实施的方案中,第二获取单元,用于获取用户在显示屏上的触控轨迹;根据所述触控轨迹得到规则的几何区域。
在一种可实施的方案中,上述目标区域包括:上述目标区域包括上述第一区域;上述生成单元具体用于:生成一个能够涵盖上述第一区域内全部界面元素且落入上述第一区域内的第一子区域,上述第一子区域用于作为截图区域。
可以看出,上述方法能够排除未完全落入上述第一区域中的界面元素,从而使得得到的第一子区域的全部的界面元素为完全在上述第一区域内的界面元素,因此使得截图区域(这里为第一子区域)内的界面元素为用户想要截取的元素。
在又一种可实施的方案中,上述目标区域包括上述第一区域和上述第二区域,上述生成单元具体用于:根据上述第一区域和上述第二区域生成截图区域。
在又一种可实施的方案中,上述是生成单元具体用于:从目标边界范围中选择像素值的方差最小的边界作为目标边界,其中,上述目标边界范围为上述第一区域和上述第二区域中处于同方位的边之间的范围;根据从四个方位的目标边界范围中选择的四个目标边界组成截图区域。
可以看出,图像中如果一块区域内的像素方差较小,则表明这块区域内的像素值越接近,因此当该图像中的某一行像素的方差都很小时,表明这一行像素向没有要显示的界面元素,因此本申请实施例选择像素值方差最小的边界作为该截图区域的边界时,可以保证该边界围城的区域内的界面元素均为完整的界面元素。
在又一种可实施的方案中,上述优化参数为交并比IOU,上述目标区域包括上述第一区域和第二区域;上述根据优化参数和上述几何区域得到目标区域,包括:根据上述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域与至少一个最小的过渡区域;根据上述至少一个最大的过渡区域得到上述第一区域,上述第一区域包含上述至少一个最大的过渡区域;根据上述至少一个最小的过渡区域得到上述第二区域,上述第二区域包含于上述至少一个最小的过渡区域。
在又一种可实施的方案中,上述优化参数为预设的增益值,上述目标区域为第一区域,上述处理单元具体用于:根据预设的正增益值和上述几何区域得到第一区域,其中,上述第一区域包含上述几何区域,上述正增益值用于放大上述几何区域。
在又一种可实施的方案中,上述优化参数为增益值,上述目标区域为第一区域与第二区域,上述处理单元具体用于:根据预设的正增益值和上述几何区域生成第一区域,根据预设的负增益值和上述几何区域生成第二区域,上述负增益值用于缩小上述几何区域。
可以看出,上述方法能够通过预设的增益值对上述几何区域进行放大和缩小,从而能够避免因误差导致的信息丢失的情况,也使得截图区域更加准确地截取用户想要圈定的内容。
需要说明的是,各个单元的实现还可以对应参照图13所示的确定截图区域的方法实施例的相应描述。
在图17所描述的确定截图区域的装置中,可以看出,上述方法能够通过预设的增益值或者交并比IOU对上述几何区域进行优化为第一区域(例如,放大该几何区域后的最大截图区域),或者第二区域(例如,缩小该几何区域后的最小截图区域),能够避免由于误差因素导致的信息丢失的情况,从而更加智能、更加高效且准确地确定截图区域。
本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有指令,当其在计算机或处理器上运行时,使得计算机或处理器执行上述任一个方法中的一个或多个步骤。上述信号处理诊断设备的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在上述计算机可读取存储介质中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照本申请实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程诊断设备。上述计算机指令可以存储在计算机可读存储介质中,或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
综上上述,通过实施本申请实施例,该服务器获取用户的画像信息,上述画像信息包括向量信息和标签信息;根据上述向量信息从歌曲库中搜索歌曲,得到第一歌曲集合;根据上述标签信息从歌曲库中搜索歌曲,得到第二歌曲集合;对上述第一歌曲集合和第二歌曲集合按照梯度融合、比例融合、混合融合和/或其他融合方式进行融合,得到新的歌曲集合。上述方法采用了向量召回和标签召回的多路召回的方法,通过向量召回的歌曲和标签召回的歌曲都符合了上述用户的听歌偏好,经过融合后的新的歌曲集合能够涵盖更多符合用户听歌偏好的歌曲,增加了歌曲的多样性。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,该的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可存储程序代码的介质在不冲突的情况下,本实施例和实施方案中的技术特征可以任意组合。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属与本申请所涵盖的范围。

Claims (30)

1.一种确定截图区域的方法,其特征在于,包括:
获取显示屏的显示界面中的规则的几何区域;
从所述显示屏的显示界面的多个候选截图区域中选择一个与所述几何区域最接近的候选截图区域作为截图区域,其中,所述候选截图区域为多个包含一个或多个完整界面元素的区域。
2.根据权利要求1所述的方法,其特征在于,所述获取显示屏的显示界面中的规则的几何区域,包括:
获取用户在显示屏上的触控轨迹;
根据所述触控轨迹得到规则的几何区域。
3.根据权利要求1或2所述的方法,其特征在于,所述从所述显示屏的显示界面的多个候选截图区域中选择一个与所述几何区域最接近的候选截图区域作为截图区域,包括:
计算所述显示屏的显示界面的多个候选截图区域中的每一个候选截图区域与所述几何区域之间的交并比IOU;
选择所述交并比IOU最大的候选区域作为截图区域。
4.根据权利要求3所述的方法,其特征在于,所述候选截图区域与所述几何区域之间的交并比IOU的计算公式如下:
Figure FDA0002995771440000011
其中,Sarea(C)∩area(G)为所述候选截图区域C与所述几何区域G的交集的面积,Sarea(C)∩area(G)为候选截图区域C与所述几何域选G的并集的面积。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述几何区域为矩形区域,所述矩形区域的四个边均与所述触控轨迹相切且与所述显示屏的边平行。
6.一种确定截图区域的方法,其特征在于,包括:
获取显示屏的显示界面中的规则的几何区域;
根据优化参数和所述几何区域得到目标区域,其中,所述目标区域包括第一区域和第二区域中的至少一项,所述第一区域包含所述几何区域,所述第二区域包含于所述几何区域,所述优化参数为预设的增益值或者交并比IOU;
根据所述目标区域生成截图区域。
7.根据权利要求6所述的方法,其特征在于,所述获取显示屏的显示界面中的规则的几何区域,包括:
获取用户在显示屏上的触控轨迹;
根据所述触控轨迹得到规则的几何区域。
8.根据权利要求6或7所述的方法,其特征在于,所述目标区域包括所述第一区域;所述根据所述目标区域生成截图区域,包括:
生成一个能够涵盖所述第一区域内全部界面元素且落入所述第一区域内的第一子区域,其中,所述第一子区域用于作为截图区域。
9.根据权利要求6或7所述的方法,其特征在于,所述目标区域包括所述第一区域和所述第二区域;所述根据所述目标区域生成截图区域,包括:
根据所述第一区域和所述第二区域生成截图区域。
10.根据权利要求9所述的方法,其特征在于,所述根据所述第一区域和所述第二区域生成截图区域,包括:
从目标边界范围中选择像素值的方差最小的边界作为目标边界,其中,所述目标边界范围为所述第一区域和所述第二区域中处于同方位的边之间的范围;
根据从四个方位的目标边界范围中选择的四个目标边界组成截图区域。
11.根据权利要求6-8任一项所述的方法,其特征在于,所述优化参数为IOU,所述目标区域包括所述第一区域;所述根据优化参数和所述几何区域得到目标区域,包括:
根据所述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域;
根据所述至少一个最大值的过渡区域得到所述第一区域,其中,所述第一区域包含所述至少一个最大的过渡区域。
12.根据权利要求6或7或9或10任一项所述的方法,其特征在于,所述优化参数为IOU,所述目标区域包括所述第一区域和第二区域;所述根据优化参数和所述几何区域得到目标区域,包括:
根据所述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域和至少一个最小的过渡区域;
根据所述至少一个最大的过渡区域得到所述第一区域,所述第一区域包含所述至少一个最大的过渡区域;
根据所述至少一个最小的过渡区域得到所述第二区域,所述第二区域包含于所述至少一个最小的过渡区域。
13.根据权利要求6-8任一项所述的方法,其特征在于,所述优化参数为预设的增益值,所述目标区域为第一区域;所述根据优化参数和所述几何区域得到目标区域,包括:
根据预设的正增益值扩大所述几何区域得到第一区域。
14.根据权利要求6或7或9或10任一项所述的方法,其特征在于,所述优化参数为预设的增益值,所述目标区域为第一区域与第二区域;所述根据优化参数和所述几何区域得到目标区域,包括:
根据预设的正增益值扩大所述几何区域得到第一区域;
根据预设的负增益值缩小所述几何区域得到第二区域。
15.一种确定截图区域的装置,其特征在于,包括:
第一获取单元,用于获取显示屏的显示界面中的规则的几何区域;选择单元,用于从所述显示屏的显示界面的候选截图区域中选择一个与所述几何区域最接近的候选截图区域作为截图区域,其中,所述候选截图区域为多个包含一个或多个完整界面元素的区域。
16.根据权利要求15所述的装置,其特征在于,
所述第一获取单元,用于获取用户在触摸显示屏上的触控轨迹;根据所述触控轨迹得到规则的几何区域。
17.根据权利要求15或16所述的装置,其特征在于,所述选择单元具体用于:
计算所述显示屏的显示界面的多个候选截图区域中的每一个候选区域与所述几何区域之间的交并比IOU;
选择所述交并比IOU最大的候选区域作为截图区域。
18.根据权利要求17所述的装置,其特征在于,所述候选截图区域与所述几何区域之间的交并比IOU的计算公式如下:
Figure FDA0002995771440000031
其中,Sarea(C)∩area(G)为候选截图区域C与几何区域G之间的交集的面积,为所述交集的面积,Sarea(C)∩area(G)为候选截图区域C与几何域选G之间的并集的面积。
19.根据权利要求15-18任一项所述的装置,其特征在于,所述几何区域为矩形区域,所述矩形区域的四个边均与所述触控轨迹相切且与所述显示屏的边平行。
20.一种确定截图区域的装置,其特征在于,包括:
第二获取单元,用于获取显示屏的显示界面中的规则的几何区域;处理单元,用于根据优化参数和所述几何区域得到目标区域,其中,所述目标区域包括第一区域和第二区域中的至少一项,所述第一区域包含所述几何区域,所述第二区域包含于所述几何区域,所述优化参数为预设的增益值或者交并比IOU;
生成单元,用于根据所述目标区域生成截图区域。
21.根据权利要求20所述的装置,其特征在于,
所述第二获取单元,用于获取用户在显示屏上的触控轨迹;根据所述触控轨迹得到规则的几何区域。
22.根据权利要求20或21所述的装置,其特征在于,所述目标区域包括所述第一区域;所述生成单元具体用于:
生成一个能够涵盖所述第一区域内全部界面元素且落入所述第一区域内的第一子区域,其中,所述第一子区域用于作为截图区域。
23.根据权利要求20或21所述的装置,其特征在于,所述目标区域包括所述第一区域和所述第二区域;所述生成单元具体用于:
根据所述第一区域和所述第二区域生成截图区域。
24.根据权利要求23所述的装置,其特征在于,所述生成单元具体用于:
从目标边界范围中选择像素值的方差最小的边界作为目标边界,其中,所述目标边界范围为所述第一区域和所述第二区域中处于同方位的边之间的范围;
根据从四个方位的目标边界范围中选择的四个目标边界组成截图区域。
25.根据权利要求20-22任一项所述的装置,其特征在于,所述优化参数为IOU,所述目标区域包括所述第一区域;所述处理单元具体用于;
根据所述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域;
根据所述至少一个最大值的过渡区域得到所述第一区域,其中,所述目标区域为包含所述至少一个最大的过渡区域的第一区域。
26.根据权利要求20或21或23或24任一项所述的装置,其特征在于,所述优化参数为IOU,所述目标区域包括第一区域和第二区域;所述处理单元具体用于:
根据所述几何区域与预设的交并比IOU阈值生成至少一个最大的过渡区域和至少一个最小的过渡区域;
根据所述至少一个最大的过渡区域得到所述第一区域,所述第一区域包含所述至少一个最大的过渡区域;
根据所述至少一个最小的过渡区域得到所述第二区域,所述第二区域包含于所述至少一个最小的过渡区域。
27.根据权利要求20-22任一项所述的装置,其特征在于,所述优化参数为预设的增益值,所述目标区域为第一区域;所述处理单元具体用于:
根据预设的正增益值扩大所述几何区域得到第一区域。
28.根据权利要求20或21或23或24任一项所述的装置,其特征在于,所述优化参数为预设的增益值,所述目标区域为第一区域与第二区域;所述处理单元具体用于:
根据预设的正增益值扩大所述几何区域得到第一区域;
根据预设的负增益值缩小所述几何区域得到第二区域。
29.一种终端,其特征在于,包括:一个或多个处理器、存储器以及显示屏;所述存储器、所述显示屏与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使所述终端执行权利要求1-5或者6-14任一项所述的方法。
30.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质有计算机程序,所述计算机程序被配置处理器执行时使所述处理器实现权利要求1-5或6-14任一项确定截图区域的方法。
CN202110329931.6A 2020-06-20 2021-03-27 一种确定截图区域的方法及相关装置 Pending CN113821130A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/101098 WO2021254510A1 (zh) 2020-06-20 2021-06-18 一种确定截图区域的方法及相关装置
EP21826147.7A EP4160372A4 (en) 2020-06-20 2021-06-18 METHOD FOR DETERMINING SCREEN CAPTURE AREA AND RELATED APPARATUS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010578519 2020-06-20
CN2020105785193 2020-06-20

Publications (1)

Publication Number Publication Date
CN113821130A true CN113821130A (zh) 2021-12-21

Family

ID=78912415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110329931.6A Pending CN113821130A (zh) 2020-06-20 2021-03-27 一种确定截图区域的方法及相关装置

Country Status (3)

Country Link
EP (1) EP4160372A4 (zh)
CN (1) CN113821130A (zh)
WO (1) WO2021254510A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253451A (zh) * 2021-12-21 2022-03-29 咪咕音乐有限公司 截图方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102830963B (zh) * 2012-06-28 2016-03-30 北京奇虎科技有限公司 一种匹配截图方法和系统
CN103500066B (zh) * 2013-09-30 2019-12-24 北京奇虎科技有限公司 一种适用于触屏设备的截图装置和方法
CN103761048A (zh) * 2014-01-24 2014-04-30 深圳市金立通信设备有限公司 一种终端截屏的方法以及终端
CN104778007A (zh) * 2015-04-08 2015-07-15 魅族科技(中国)有限公司 一种截图方法及装置
CN107146198B (zh) * 2017-04-19 2022-08-16 中国电子科技集团公司电子科学研究院 一种照片智能裁剪方法及装置
CN110737386A (zh) * 2019-09-06 2020-01-31 华为技术有限公司 一种屏幕截取方法及相关设备

Also Published As

Publication number Publication date
EP4160372A1 (en) 2023-04-05
EP4160372A4 (en) 2023-12-06
WO2021254510A1 (zh) 2021-12-23

Similar Documents

Publication Publication Date Title
CN109814766B (zh) 一种应用显示方法及电子设备
CN110506416B (zh) 一种终端切换摄像头的方法及终端
CN112217923B (zh) 一种柔性屏幕的显示方法及终端
CN113645351B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
WO2020134869A1 (zh) 电子设备的操作方法和电子设备
CN111669459B (zh) 键盘显示方法、电子设备和计算机可读存储介质
WO2021036770A1 (zh) 一种分屏处理方法及终端设备
CN111669462B (zh) 一种显示图像的方法及相关装置
US20240176628A1 (en) Display method for card component, graphical user interface, and related apparatus
US11816494B2 (en) Foreground element display method and electronic device
CN113641271A (zh) 应用窗口的管理方法、终端设备及计算机可读存储介质
CN113746961A (zh) 显示控制方法、电子设备和计算机可读存储介质
CN114004732A (zh) 图像编辑提示方法、装置、电子设备和可读存储介质
CN113448658A (zh) 截屏处理的方法、图形用户接口及终端
EP4160372A1 (en) Method for determining screenshot area, and related apparatus
CN115964231A (zh) 基于负载模型的评估方法和装置
CN115291779A (zh) 一种窗口控制方法及其设备
CN113495733A (zh) 主题包安装方法、装置、电子设备及计算机可读存储介质
CN113986406B (zh) 生成涂鸦图案的方法、装置、电子设备及存储介质
CN114764300B (zh) 一种窗口页面的交互方法、装置、电子设备以及可读存储介质
WO2024041180A1 (zh) 路径规划方法及装置
WO2022166550A1 (zh) 数据传输方法及电子设备
CN117631939A (zh) 一种触控输入的方法、系统、电子设备及存储介质
CN116301483A (zh) 一种应用卡片的管理方法、电子设备和存储介质
CN115951816A (zh) 一种显示方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination