CN109271983B - 屏幕画面截图中识别物体的显示方法及显示终端 - Google Patents

屏幕画面截图中识别物体的显示方法及显示终端 Download PDF

Info

Publication number
CN109271983B
CN109271983B CN201811132364.XA CN201811132364A CN109271983B CN 109271983 B CN109271983 B CN 109271983B CN 201811132364 A CN201811132364 A CN 201811132364A CN 109271983 B CN109271983 B CN 109271983B
Authority
CN
China
Prior art keywords
recognition
screenshot
frame
layer
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811132364.XA
Other languages
English (en)
Other versions
CN109271983A (zh
Inventor
付延松
宋虎
鲍姗娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Visual Technology Co Ltd
Original Assignee
Hisense Visual Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Visual Technology Co Ltd filed Critical Hisense Visual Technology Co Ltd
Priority to CN201811132364.XA priority Critical patent/CN109271983B/zh
Publication of CN109271983A publication Critical patent/CN109271983A/zh
Priority to PCT/CN2019/098446 priority patent/WO2020063095A1/zh
Priority to US16/530,233 priority patent/US11039196B2/en
Priority to PCT/CN2019/099631 priority patent/WO2020063123A1/zh
Priority to US17/322,572 priority patent/US11812188B2/en
Application granted granted Critical
Publication of CN109271983B publication Critical patent/CN109271983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/4221—Dedicated function buttons, e.g. for the control of an EPG, subtitles, aspect ratio, picture-in-picture or teletext
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Abstract

本申请公开了一种基于屏幕画面截图中识别物体的显示方法及显示终端，用以实现为用户提供可视化焦点状态及实时操作交互反馈，以满足用户的需求。该方法包括：在屏幕上显示当前画面的同时，接收用于指示对所述当前画面截图的输入指令；响应于所述输入指令，在所述屏幕上显示所述当前画面的截图，以及基于所述截图中至少一个识别物体的位置信息，在所述屏幕上显示所述识别物体对应的物体识别框；接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；响应于所述输入指令，将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框。

Description

屏幕画面截图中识别物体的显示方法及显示终端
技术领域
本申请涉显示技术领域，尤其涉及一种基于屏幕画面截图中识别物体的显示方法及显示终端。
背景技术
现有技术中，通过遥控器控制的非触屏显像设备（例如智能电视），在对当前显示画面截图进行内容识别时，需要通过焦点的形式向用户反馈当前选中的识别物体，以提高用户体验。但是实际显示的一张截图中因没有多余焦点控件，无法直接向用户提供该类反馈。
发明内容
本申请实施例提供了一种基于屏幕画面截图中识别物体的显示方法及显示终端，用以实现为用户提供可视化的焦点状态及实时操作交互反馈。
第一方面，提供一种基于屏幕画面截图中识别物体的显示方法，所述方法包括：
在屏幕上显示当前画面的同时，接收用于指示对所述当前画面截图的输入指令；
响应于所述输入指令，在所述屏幕上显示所述当前画面的截图，以及基于所述截图中至少一个识别物体的位置信息，在所述屏幕上显示所述识别物体对应的物体识别框；
接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；
响应于所述输入指令，将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框。
可选的，在所述屏幕上的第一图层显示所述当前画面的截图，在所述屏幕上的第二图层显示所述截图中识别物体对应的物体识别框；其中所述第二图层位于所述第一图层之上。
可选的，所述识别物体的位置信息用于指示所述识别物体对应的物体识别框在所述截图中的显示位置和大小。
可选的，在所述物体识别框为矩形边框形状时，所述识别物体的位置信息至少包括：识别物体轮廓对应的矩形边框的任一角的坐标信息、矩形边框的宽度和高度。
可选的，所述将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框之后，所述方法还包括：
接收用于指示确认选择所述被选中识别物体的指令；
响应于所述输入指令，在所述屏幕上显示所述被选中识别物体的识别内容和相关推荐内容。
第二方面，提供一种基于屏幕画面截图中识别物体的显示方法，所述方法包括：
在屏幕上显示当前画面的同时，接收用于指示对所述当前画面截图的输入指令；
响应于所述输入指令，在所述屏幕上显示所述当前画面的截图，以及基于所述截图中至少一个识别物体的位置信息，在所述屏幕上显示所述识别物体对应的物体识别框；
接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；
响应于所述输入指令，在被选中识别物体对应的物体识别框上覆盖显示所述焦点框。
可选的，在所述屏幕上的第一图层显示所述当前画面的截图，在所述屏幕上的第二图层显示所述截图中识别物体对应的物体识别框和所述被选中识别物体的焦点框；其中所述第二图层位于所述第一图层之上。
可选的，所述被选中识别物体的焦点框的显示位置和大小基于所述被选中识别物体的位置信息而确定，以使所述焦点框和所述物体识别框完全重合。
可选的，所述识别物体的位置信息至少包括：识别物体轮廓对应的矩形边框的任一角的坐标信息。
可选的，所述方法还包括：
接收所述焦点框从当前被选中识别物体移动至其他识别物体的输入指令；
响应于所述输入指令，比较所述当前被选中识别物体轮廓对应的矩形边框与其他识别物体轮廓对应的矩形边框的任一角的坐标信息中的横坐标差值或纵坐标差值，并且在所述差值最小的所述其他识别物体对应的物体识别框上显示所述焦点框。
第三方面，提供一种显示终端，包括：
屏幕；
存储器；
以及与所述存储器和所述屏幕通信的处理器，该处理器用于执行上述第一方面或第二方面所述的方法。
通过该方法，首先响应用户输入的截图指令，在屏幕上显示当前画面的截图，以及基于该截图中至少一个识别物体的位置信息，显示识别物体对应的物体识别框；然后响应用户输入的选择识别物体的指令，在该截图中将用户选中识别物体对应的物体识别框突出显示为焦点框，或者，在该截图中用户选中识别物体对应的物体识别框上覆盖显示焦点框。这样在一张截图中，可以为用户提供该截图中识别物体的可视化的焦点框及实时操作交互反馈，以满足用户需求，提高用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1~图6为本申请实施例提供的基于屏幕画面截图中识别物体的显示方法实例交互流程示意图；
图7A和图7B为本申请实施例提供的基于屏幕画面截图中识别物体的显示方法的流程示意图；
图8为本申请实施例提供的识别物体展示界面图层分布结构示意图；
图9为本申请实施例提供的物体识别框位置信息标注示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
下面以显示终端是智能电视，且用户通过遥控器来控制智能电视为例，详细说明本申请实施例提供的一种基于屏幕画面截图中识别物体的显示方法。
参见图1~图6，为本申请实施例提供的基于屏幕画面截图中识别物体的显示方法实例交互流程示意图。
如图1所示，在智能电视的屏幕上显示当前画面时，用户需要了解当前画面中的人物信息、服饰信息或频道信息等，那么用户可以通过按压遥控器上预设键（如截图键），智能电视接收到该预设键的键值后，响应于该键值对应的截图操作指令，在智能电视屏幕上悬浮显示当前画面的截图，这里该截图可以全屏显示或显示在屏幕的某一侧（如图1中屏幕的底侧中间显示截图缩略图）。同时智能电视将该截图上传到后台服务器进行内容识别处理，以返回该截图中的识别物体内容信息及与识别物体相关的推荐内容。
接着，如图2所示，当后台服务器返回数据时，智能电视根据预先设定的规则，分类展示返回的数据内容。例如：后台服务器识别出该截图中包含5个人物，向智能电视返回这5个人物在该截图中的位置信息、人物的百科介绍信息、人物饰演过的其它影视剧信息、人物在该截图中的服饰信息等；之后，智能电视可以在图2中屏幕的底侧中间显示的截图两边，分类显示识别出的人物的头像和服饰信息等。
接着，在图2所示的界面中，当前焦点框位于屏幕底侧的截图缩略图上。此时用户按压遥控器上OK键，则该截图缩略图全屏显示在屏幕上。同时智能电视根据后台服务器返回的识别物体的位置信息，在屏幕上各识别物体处显示对应的物体识别框。例如图3所示的界面中，在识别出的5个人物头像上显示物体识别框，这里物体识别框例如为矩形边框。这样为用户提供一种直观的识别物体的标注方式，以使用户充分了解该截图中包含的识别物体。
需要说明的是，在该截图全屏显示在屏幕上的同时，例如还可以将截图的截图分享二维码显示在屏幕的左侧，且截图分享二维码对应的界面显示在屏幕最前面，例如图3所示的界面中的扫码区域。这样用户可以将该截图推送至其他终端上观看，例如手机上。
接着，用户需要观看识别物体的内容信息时，用户可以按压遥控器上向右方向键，那么智能电视上显示在屏幕最前面的截图分享二维码对应的界面通过动画形式向左移动并移出屏幕。此时焦点框默认显示在全屏显示的截图中位置信息靠最左侧的识别物体上。例如图4所示的界面中，焦点框默认显示在该截图最左侧的人物头像上，同时根据后台服务器返回的人物的名称，在人物头像上标注出识别人物的姓名-关雎尔；这里焦点框与焦点框落入的人物头像关雎尔的物体识别框的大小和形状相同，但是焦点框区别显示于焦点框未落入的其它人物头像的物体识别框，例如焦点框的边框线可以加粗显示或者采用其它颜色显示等。
接着，用户根据该截图中各识别物体对应的物体识别框的指示，需要观看下一个识别物体的内容信息时，用户可以继续按压遥控器上向右方向键，此时焦点框向右移动至位置信息中距离当前焦点框选中识别物体最近的一个识别物体上。例如图5所示的界面中，由于人物头像刘涛对应的物体识别框与最左侧人物头像关雎尔对应的物体识别框距离最小，所以焦点框由人物头像关雎尔移动至人物头像刘涛上。此时，焦点框与焦点框落入的人物头像刘涛的物体识别框的大小和形状相同，但是人物头像刘涛处显示的焦点框区别显示于焦点框未落入的其它人物头像的物体识别框，而上一次焦点框落入的人物头像关雎尔对应的物体识别框已显示为如3所示界面中最初的样式。
这里，如果用户需要继续观看下一个识别物体的内容信息，则可以继续按压遥控器上向右方向键，此时焦点框移动至当前焦点框选中识别物体最近的一个识别物体上。同理，如果用户需要返回观看上一个识别物体的内容信息，则可以按压遥控器上向左方向键，此时焦点框移动至当前焦点框选中识别物体最近的一个识别物体上。这样，能够根据该截图中各识别物体对应的物体识别框的指示，来实现焦点框在该截图中多个识别物体对应的物体识别框之间移动，从而可以观看焦点框选中的识别物体的内容信息。
优选的，在当前焦点框位置，用户按压遥控器上OK键，智能电视在屏幕上显示该识别物体内容信息和与该识别物体相关的推荐内容。例如图6所示，屏幕右侧显示当前焦点框选中的人物刘涛的百科介绍信息及推荐信息。
接着，在上述任一图示界面，用户按压遥控器上返回键或连续按压遥控器上返回键，智能电视退出显示截图以及截图中的识别内容展示，从而继续在屏幕上显示当前画面，以供用户继续观看。
如上面实施例所述，在智能电视全屏显示当前画面的截图时，由于实际显示的该截图中没有多余焦点控件，所以无法通过焦点形式直接向用户提供截图中当前选中的识别物体。因此，本申请中首先响应用户输入的截图指令，在屏幕上显示当前画面的截图，以及基于该截图中至少一个识别物体的位置信息，显示识别物体对应的物体识别框；然后根据前述各识别物体对应的物体识别框的显示指示，响应用户输入的选择识别物体的指令，在该截图中用户选中识别物体对应的物体识别框处显示焦点框。这样在一张截图中，可以为用户提供该截图中识别物体的可视化的焦点框及实时操作交互反馈，以满足用户需求，提高用户体验。
下面，参见图7A，为本申请实施例提供的基于屏幕画面截图中识别物体的显示方法的实现流程示意图。
本申请实施例中，在屏幕上显示当前画面的截图中，首先采用物体识别框标注出该截图中的各识别物体，然后根据各识别物体对应的物体识别框的标注指示，将被选中识别物体以焦点框的形式突出显示，以反馈用户。
这里，实现上述功能时，可以将截图、识别物体对应的物体识别框以及被选中识别物体上的焦点框绘制在一个图层中。然而，考虑到需要保持截图图片自身的清晰度，其内存占用较大。如果直接在放置截图的图层中绘制焦点框，那么由于截图图片自身内存较大，且每次焦点移动选中识别物体时再在其上绘制焦点框，此时通过图形处理器（GraphicsProcessing Unit，GPU）刷新显示在图层上时，会导致计算量大，内存消耗大。因此，本实施中通过将截图绘制在一个图层、焦点框绘制在另一个图层来实现上述功能，这样与直接在放置截图的图层中绘制焦点框相比，将截图和焦点框分别绘制在两个图层，不必在焦点每次移动时均刷新截图所在图层，只需要刷新焦点框所在图层，从而减小了计算量、降低了内存消耗。具体如下：
图3所示的截图中识别物体展示界面构成共分为3个部分，如图8所示，为识别物体展示界面图层分布结构示意图，其中，图层B是最底层视图View，图层上绘制的内容为当前画面截图；图层M是中间层View，用于放置物体识别框和/或焦点框；图层T是最上层View，用于放置截图分享二维码。
图层B、图层M和图层T都是全屏的ViewGroup控件，并且这三个图层依次覆盖，图层T在最上层，覆盖在其它两层之上，因此在同一时刻遥控器按键事件只被一个图层所监听并处理，例如图8所示情况，遥控器按键事件只被图层T所监听并处理，不被图层B和图层T所监听。
图7A所示的方法包括下述步骤：
S11、响应于输入的截图操作指令，智能电视在屏幕的图层B上绘制当前画面的截图。
例如，在智能电视的屏幕上显示当前画面时，用户可以通过按压遥控器上截图键，智能电视对当前画面进行截图，进而将截图绘制在图层B上。
S12、根据后台服务器返回的截图中识别物体的位置信息，智能电视在屏幕的图层M上绘制各识别物体对应的物体识别框。
具体的，当后台服务器返回识别物体的内容信息时，图层M设置为可见状态。其中，识别物体的内容信息至少包括：识别物体的类型（如人物、动物、服饰、台标等类型）、识别物体在截图中的位置信息、识别物体的名称（如人物姓名或动物名称）、识别物体的相关推荐信息（如人物饰演过的电影）等。同时，根据后台服务器返回的识别物体的位置信息，智能电视在屏幕的图层M上绘制各识别物体对应的物体识别框。
这里，识别物体对应的物体识别框以矩形边框为例。识别物体的位置信息用于指示识别物体对应的物体识别框在截图中的显示位置和大小，其包括但不限于：识别物体轮廓对应的矩形边框的任一角的坐标信息、矩形边框的宽度和高度。例如图9所示，识别物体的位置信息为：识别物体头像轮廓对应的矩形边框的左上角的X轴坐标信息X0、Y轴坐标信息Y0，识别物体头像轮廓对应的矩形边框在截图中的宽度（即X轴上的长度）W0，识别物体头像轮廓对应的矩形边框在截图中的高度（即Y轴上的长度）H0。
然后，通过遍历获取到每个识别物体的位置信息，为每个识别物体创建一个ImageView控件，该ImageView控件的位置和大小以如图9所示的识别物体的位置信息来控制。然后将存储的物体识别框图片填充至该ImageView控件，并将填充有物体识别框的该ImageView控件绘制在图层M上。
S13、响应于输入的识别物体的选择指令，确定截图上的当前被选中识别物体，并将该当前被选中识别物体的物体识别框相对于其他物体识别框区别显示为焦点框。
这里，根据用户操作遥控器按键的顺序，确定出截图上当前被选中识别物体时，将该被选中识别物体对应的物体识别框突出显示为焦点框样式，如在图层M上填充有物体识别框图片的ImageView控件周围显示阴影，以与其他识别物体对应的物体识别框区分开，为用户提供一种可视化的焦点框反馈。
可选地，在将当前被选中识别物体对应的物体识别框突出显示为焦点框样式的同时，将之前突出显示为焦点框样式对应的物体识别框恢复显示为最初样式，以保证当前只有一个位置具有焦点框，以实现焦点框实时移动变化的效果。
如上面实施例所述，本申请中通过为截图界面所在的图层增加一层或多层图层，具体为将当前画面的截图绘制在最底层的图层B上，将截图中的识别物体对应的物体识别框绘制在图层B之上的图层M上；使得用户可以根据物体识别框的显示指示，输入选择识别物体的指令，从而智能电视可以响应该指令，将被选中识别物体对应的物体识别框突出显示为焦点框，以为用户提供该截图中识别物体的可视化的焦点框及实时操作交互反馈。
下面，参见图7B，为本申请实施例提供的基于屏幕画面截图中识别物体的显示方法的另一实现流程示意图。
图7B所示的方法与图7A所示的方法相比，步骤S11和步骤S12均相同，不同的是步骤S23，具体如下；
S23、响应于输入的识别物体的选择指令，确定截图上的当前被选中识别物体，并将该当前被选中识别物体的焦点框绘制在图层M上，且覆盖在该当前被选中识别物体的物体识别框上。
这里，仍然以如图9所示的被选中识别物体的位置信息来控制所创建的ImageView控件的位置和大小。根据用户操作遥控器按键的顺序，确定出截图上当前被选中识别物体时，然后将当前被选中识别物体的焦点框图片填充到ImageView控件，并将填充有焦点框的ImageView控件绘制在图层M上，同时覆盖当前被选中识别物体的物体识别框。由于被选中识别物体的物体识别框和焦点框对应的ImageView控件的位置和大小均基于被选中识别物体的位置信息而创建，所以两者的大小和形状重合。
可选地，在当前被选中物体的焦点框绘制在图层M上的同时，将之前绘制在图层M上的焦点框删除，以保证当前只有一个位置具有焦点框，以实现焦点框实时移动变化的效果。
进一步地，在图层M上绘制各识别物体对应的物体识别框的指示下，根据用户操作遥控器按键的顺序来判定下一个被选中识别物体，遥控器操作时下一个临近焦点框位置的获取方法，可以包括：
首先，遍历计算其它识别物体头像轮廓对应的矩形边框的左上角的坐标（X，Y）与当前被选中的识别物体头像轮廓对应的矩形边框的左上角的（X0，Y0）中的横坐标差值或纵坐标差值，即计算|X-X0|或|Y-Y0|。
然后，取差值最小的其他识别物体作为下一个被选中识别物体（即焦点框下次移动的位置）。
如果存在差值相同的识别物体，则可以再根据勾股定理分别计算各识别物体头像轮廓对应的矩形边框的左上角顶点与当前被选中识别物体头像轮廓对应的矩形边框的左上角顶点的距离（即两个矩形边框的左上角顶点的直线距离），取距离最小的识别物体作为下一个被选中识别物体（即焦点框下次移动的位置）。
需要说明的是，在步骤S12执行的同时或之后，该方法还可以包括步骤S24，具体为：
S24、在屏幕的图层T上绘制截图对应的截图分享二维码。
具体的，在屏幕的图层M上绘制各识别物体对应的物体识别框的同时，图层T设置为可见状态，并在屏幕的图层T上绘制截图对应的截图分享二维码，且显示在屏幕的左端位置，如图3所示。在这种状态下，用户按压遥控器向右方向键，则该图层T通过动画形式沿X轴坐标向左移动一定的距离滑出屏幕，例如移动距离w，同时，焦点框默认绘制在图层M上最左侧的识别物体的位置处；用户按压遥控器向左方向键时，并且当前焦点框位置为图层M上最左侧识别物体的位置处时，该图层T通过动画行式沿X轴坐标向右移动相同的距离w，呈现到屏幕上，同时将图层M上绘制的焦点框清除。
如上面实施例所述，一方面，本申请中通过为截图界面所在的图层增加一层图层，具体为将当前画面的截图绘制在最底层的图层B上，将截图中的识别物体对应的物体识别框绘制在图层B之上的图层M上；使得用户可以根据物体识别框的显示指示，输入选择识别物体的指令，从而智能电视可以响应该指令，在被选中识别物体对应的物体识别框上覆盖显示焦点框，以为用户提供该截图中识别物体的可视化的焦点框及实时操作交互反馈。另一方面，本申请中通过为截图界面所在的图层增加多层图层，具体为还将截图分享二维码绘制在图层M之上的图层T上；使得该截图可以被扫码推送至其他终端上供用户观看，提高了用户体验。
本申请实施例还提供一种显示终端，包括：
屏幕；
存储器；
以及与存储器和屏幕通信的处理器，该处理器用于执行图7或图8所述的方法。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (9)

1.一种基于屏幕画面截图中识别物体的显示方法，其特征在于，所述方法包括：
在屏幕上显示当前画面的同时，接收用于指示对所述当前画面截图的输入指令；
响应于所述输入指令，对当前画面进行截图，在所述屏幕上的第一图层显示所述当前画面的截图，以及基于所述截图中至少一个识别物体的位置信息，在所述屏幕上的第二图层显示所述识别物体对应的物体识别框，其中，所述第二图层位于所述第一图层之上；
接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；
响应于所述输入指令，将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框，同时将之前显示在第二图层的焦点框删除，以使所述至少一个识别物体上只有一个位置具有焦点。
2.根据权利要求1所述的方法，其特征在于，所述识别物体的位置信息用于指示所述识别物体对应的物体识别框在所述截图中的显示位置和大小。
3.根据权利要求2所述的方法，其特征在于，在所述物体识别框为矩形边框形状时，所述识别物体的位置信息至少包括：识别物体轮廓对应的矩形边框的任一角的坐标信息、矩形边框的宽度和高度。
4.根据权利要求1所述的方法，其特征在于，所述将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框之后，所述方法还包括：
接收用于指示确认选择所述被选中识别物体的指令；
响应于所述输入指令，在所述屏幕上显示所述被选中识别物体的识别内容和相关推荐内容。
5.根据权利要求1所述的方法，其特征在于，所述接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；响应于所述输入指令，将被选中识别物体对应的物体识别框相对于其他物体识别框区别显示为所述焦点框,同时将之前显示在第二图层的焦点框删除，以使所述至少一个识别物体上只有一个位置具有焦点，还具体包括：
响应于所述输入指令，选取与当前识别物体距离最近的识别物理作为下一个被选中的焦点位置。
6.一种基于屏幕画面截图中识别物体的显示方法，其特征在于，所述方法包括：
在屏幕上显示当前画面的同时，接收用于指示对所述当前画面截图的输入指令；
响应于所述输入指令，对当前画面进行截图，在所述屏幕的第一图层上显示所述当前画面的截图，以及基于所述截图中至少一个识别物体的位置信息，在所述屏幕的第二图层上显示所述识别物体对应的物体识别框，其中，所述第二图层位于所述第一图层之上；
接收用于指示焦点框在所述至少一个识别物体之间移动的输入指令；
响应于所述输入指令，在被选中识别物体对应的物体识别框上覆盖显示所述焦点框，同时将之前显示在第二图层的焦点框删除，以使所述至少一个识别物体上只有一个位置具有焦点。
7.根据权利要求6所述的方法，其特征在于，所述被选中识别物体的焦点框的显示位置和大小基于所述被选中识别物体的位置信息而确定，以使所述焦点框和所述物体识别框完全重合。
8.根据权利要求6所述的方法，其特征在于，所述识别物体的位置信息至少包括：识别物体轮廓对应的矩形边框的任一角的坐标信息，所述方法还包括：
接收所述焦点框从当前被选中识别物体移动至其他识别物体的输入指令；
响应于所述输入指令，比较所述当前被选中识别物体轮廓对应的矩形边框与其他识别物体轮廓对应的矩形边框的任一角的坐标信息中的横坐标差值或纵坐标差值，并且在所述差值最小的所述其他识别物体对应的物体识别框上显示所述焦点框。
9.一种显示终端，其特征在于，所述显示终端包括：
屏幕；
存储器；
以及与所述存储器和所述屏幕通信的处理器，该处理器用于执行权利要求1~8任一项所述的方法。
CN201811132364.XA 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法及显示终端 Active CN109271983B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201811132364.XA CN109271983B (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法及显示终端
PCT/CN2019/098446 WO2020063095A1 (zh) 2018-09-27 2019-07-30 一种截图显示方法及设备
US16/530,233 US11039196B2 (en) 2018-09-27 2019-08-02 Method and device for displaying a screen shot
PCT/CN2019/099631 WO2020063123A1 (zh) 2018-09-27 2019-08-07 一种显示画面截图的图形用户界面方法、显示设备
US17/322,572 US11812188B2 (en) 2018-09-27 2021-05-17 Method and device for displaying a screen shot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811132364.XA CN109271983B (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法及显示终端

Publications (2)

Publication Number Publication Date
CN109271983A CN109271983A (zh) 2019-01-25
CN109271983B true CN109271983B (zh) 2022-04-12

Family

ID=65199045

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811132364.XA Active CN109271983B (zh) 2018-09-27 2018-09-27 屏幕画面截图中识别物体的显示方法及显示终端

Country Status (1)

Country Link
CN (1) CN109271983B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108322806B (zh) 2017-12-20 2020-04-07 海信视像科技股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法
CN108055589B (zh) 2017-12-20 2021-04-06 聚好看科技股份有限公司 智能电视
CN109922363A (zh) * 2019-03-15 2019-06-21 青岛海信电器股份有限公司 一种显示画面截图的图形用户界面方法及显示设备
US11039196B2 (en) 2018-09-27 2021-06-15 Hisense Visual Technology Co., Ltd. Method and device for displaying a screen shot
WO2020063095A1 (zh) * 2018-09-27 2020-04-02 青岛海信电器股份有限公司 一种截图显示方法及设备
CN111601111A (zh) * 2019-02-21 2020-08-28 阿里巴巴集团控股有限公司 显示控制方法、显示控制装置、终端设备和电子设备
CN112073766B (zh) * 2019-06-10 2023-05-30 海信视像科技股份有限公司 一种显示设备
CN110909776A (zh) * 2019-11-11 2020-03-24 维沃移动通信有限公司 一种图像识别方法及电子设备
CN111741321A (zh) * 2020-07-02 2020-10-02 腾讯科技（深圳）有限公司 一种直播控制方法、装置、设备及计算机存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544021A (zh) * 2013-11-01 2014-01-29 锤子科技（北京）有限公司 一种移动终端屏幕内容的截屏方法及其装置
CN104184923A (zh) * 2014-08-27 2014-12-03 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
CN107004122A (zh) * 2014-11-18 2017-08-01 索尼公司 补充信息的基于屏幕截图的指示
CN107105340A (zh) * 2017-03-21 2017-08-29 百度在线网络技术（北京）有限公司 基于人工智能的视频中显示人物信息方法、装置和系统
CN107392915A (zh) * 2016-05-14 2017-11-24 谷歌公司 基于捕获内容的截屏图像的像素将计算设备上显示的内容分割成区域
CN107515715A (zh) * 2017-07-31 2017-12-26 北京小米移动软件有限公司 屏幕截图方法、装置及存储介质
CN108062510A (zh) * 2017-11-17 2018-05-22 维库（厦门）信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN108322806A (zh) * 2017-12-20 2018-07-24 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9015139B2 (en) * 2010-05-14 2015-04-21 Rovi Guides, Inc. Systems and methods for performing a search based on a media content snapshot image
US9118864B2 (en) * 2012-08-17 2015-08-25 Flextronics Ap, Llc Interactive channel navigation and switching

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544021A (zh) * 2013-11-01 2014-01-29 锤子科技（北京）有限公司 一种移动终端屏幕内容的截屏方法及其装置
CN104184923A (zh) * 2014-08-27 2014-12-03 天津三星电子有限公司 用于视频中检索人物信息的系统和方法
CN107004122A (zh) * 2014-11-18 2017-08-01 索尼公司 补充信息的基于屏幕截图的指示
CN107392915A (zh) * 2016-05-14 2017-11-24 谷歌公司 基于捕获内容的截屏图像的像素将计算设备上显示的内容分割成区域
CN107105340A (zh) * 2017-03-21 2017-08-29 百度在线网络技术（北京）有限公司 基于人工智能的视频中显示人物信息方法、装置和系统
CN107515715A (zh) * 2017-07-31 2017-12-26 北京小米移动软件有限公司 屏幕截图方法、装置及存储介质
CN108062510A (zh) * 2017-11-17 2018-05-22 维库（厦门）信息技术有限公司 一种多目标跟踪结果实时动态显示方法及计算机设备
CN108322806A (zh) * 2017-12-20 2018-07-24 青岛海信电器股份有限公司 智能电视及电视画面截图的图形用户界面的显示方法

Also Published As

Publication number Publication date
CN109271983A (zh) 2019-01-25

Similar Documents

Publication Publication Date Title
CN109271983B (zh) 屏幕画面截图中识别物体的显示方法及显示终端
EP3220249B1 (en) Method, device and terminal for implementing regional screen capture
US11039196B2 (en) Method and device for displaying a screen shot
CN110442245A (zh) 基于物理键盘的显示方法、装置、终端设备及存储介质
WO2020248711A1 (zh) 一种显示设备及内容推荐方法
JP2010134897A (ja) 描画装置、描画方法、プログラムおよび記録媒体
CN111612873A (zh) Gif图片生成方法、装置及电子设备
US20190372790A1 (en) Live ink presence for real-time collaboration
TW201546699A (zh) 運用使用者介面上之提示的便箋擷取、辨識及管理
JP5299125B2 (ja) 文書処理装置及びプログラム
US20160300321A1 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP2014064115A (ja) 端末装置、遠隔操作システム及び遠隔操作方法
JP2016038728A (ja) 画像表示装置、画像表示装置の制御方法、及びプログラム
WO2020063095A1 (zh) 一种截图显示方法及设备
CN111913674A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN101599263B (zh) 一种移动终端及其屏幕显示界面的显示方法
CN111913639B (zh) 虚拟内容的交互方法、装置、系统、终端设备及存储介质
CN111913560A (zh) 虚拟内容的显示方法、装置、系统、终端设备及存储介质
CN107315473A (zh) 一种体感手势选择安卓游戏目标ui控件的方法
JP6092818B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及びプリント注文受付装置
CN111913564B (zh) 虚拟内容的操控方法、装置、系统、终端设备及存储介质
CN111083350B (zh) 图像处理装置、图像处理方法及存储介质
CN106951162B (zh) 一种信息处理方法及电子设备
CN111383310B (zh) 一种图片分裂方法及装置
CN111381670B (zh) 虚拟内容的交互方法、装置、系统、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 266100 No. 151, Zhuzhou Road, Laoshan District, Shandong, Qingdao

Applicant after: Hisense Video Technology Co.,Ltd.

Address before: 266100 No. 151, Zhuzhou Road, Laoshan District, Shandong, Qingdao

Applicant before: HISENSE ELECTRIC Co.,Ltd.

GR01 Patent grant
GR01 Patent grant