CN113613041A - 页面识别方法、装置、系统、电子设备及存储介质 - Google Patents

页面识别方法、装置、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN113613041A
CN113613041A CN202110901781.1A CN202110901781A CN113613041A CN 113613041 A CN113613041 A CN 113613041A CN 202110901781 A CN202110901781 A CN 202110901781A CN 113613041 A CN113613041 A CN 113613041A
Authority
CN
China
Prior art keywords
page
picture
electronic equipment
page identification
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110901781.1A
Other languages
English (en)
Inventor
罗喻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing QIYI Century Science and Technology Co Ltd
Original Assignee
Beijing QIYI Century Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing QIYI Century Science and Technology Co Ltd filed Critical Beijing QIYI Century Science and Technology Co Ltd
Priority to CN202110901781.1A priority Critical patent/CN113613041A/zh
Publication of CN113613041A publication Critical patent/CN113613041A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本申请实施例提供了一种页面识别方法、装置、系统、电子设备及存储介质，该方法应用于电子设备上的页面识别装置，包括：页面识别装置具有电子设备的系统权限，方法包括：接收页面识别请求；利用电子设备的系统权限，调用电子设备上的截图服务，以使截图服务对电子设备显示的当前页面进行截图，得到待识别图片；调用识图接口，将待识别图片上传至页面识别装置关联的服务端，以使服务端对待识别图片进行识别，得到待识别图片的识别结果；展示服务端反馈的识别结果。应用本申请实施例提供的技术方案，能够实现快速为用户提供感兴趣信息的目的，扩大页面识图的应用场景。

Description

页面识别方法、装置、系统、电子设备及存储介质
技术领域
本申请涉及数据处理技术领域，特别是涉及一种页面识别方法、装置、系统、电子设备及存储介质。
背景技术
目前，为达到快速为用户提供感兴趣信息的目的，页面识图被广泛应用。具体的，页面识图过程包括：用户在应用程序上触发页面识图；应用程序获取自身显示的当前页面的播放进度，并将获取的播放进度发送至服务端；服务端提取该播放进度处的视频帧，并对该视频帧进行识别，得到该视频帧的识别结果，识别结果包括该视频帧中人物的基本信息和人物相关的作品推荐列表；服务端将识别结果发送至应用程序，进而应用程序在自身的页面中显示识别结果。用户基于应用程序显示的识别结果，点播感兴趣的信息。
上述页面识图方法有助于快速为用户提供感兴趣信息。但是，当该页面识图方法仅适用于特定的应用程序。一旦切换至其他应用程序的页面，服务端将无法提取到相应的视频帧，进而无法获得视频帧的识别结果，无法完成快速为用户提供感兴趣信息的目的。
发明内容
本申请实施例的目的在于提供一种页面识别方法、装置、系统、电子设备及存储介质，以实现快速为用户提供感兴趣信息的目的，扩大页面识图的应用场景。具体技术方案如下：
在本申请实施的第一方面，首先提供了一种页面识别方法，应用于电子设备上的页面识别装置，所述页面识别装置具有所述电子设备的系统权限，所述方法包括：
接收页面识别请求；
利用所述电子设备的系统权限，调用所述电子设备上的截图服务，以使所述截图服务对所述电子设备显示的当前页面进行截图，得到待识别图片；
调用识图接口，将所述待识别图片上传至所述页面识别装置关联的服务端，以使所述服务端对所述待识别图片进行识别，得到所述待识别图片的识别结果；
展示所述服务端反馈的所述识别结果。
在本申请实施的又一方面，还提供了一种页面识别装置，应用于电子设备上的页面识别装置，所述页面识别装置具有所述电子设备的系统权限，所述装置包括：
接收单元，用于接收页面识别请求；
第一调用单元，用于利用所述电子设备的系统权限，调用所述电子设备上的截图服务，以使所述截图服务对所述电子设备显示的当前页面进行截图，得到待识别图片，所述当前页面为任意页面；
第二调用单元，用于调用识图接口，将所述待识别图片上传至所述页面识别装置关联的服务端，以使所述服务端对所述待识别图片进行识别，得到所述待识别图片的识别结果；
展示单元，用于展示所述服务端反馈的识别结果。
在本申请实施的又一方面，还提供了一种页面识别系统，包括电子设备和服务端，所述电子设备上具有页面识别装置，所述页面识别装置具有所述电子设备的系统权限；
所述页面识别装置，用于执行上述任一所述的页面识别方法；
所述服务端，用于对所述待识别图片进行识别，得到所述待识别图片的识别结果。
在本申请实施的又一方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放实现页面识别装置的计算机程序，所述页面识别装置具有所述电子设备的系统权限；
所述处理器，用于执行存储器上所存放的程序时，实现上述任一所述的页面识别方法。
在本申请实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有实现页面识别装置的计算机程序，所述页面识别装置具有电子设备的系统权限，所述计算机程序被处理器执行时实现上述任一所述的页面识别方法。
在本申请实施的又一方面，还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述任一项所述的页面识别方法。
本申请实施例提供的技术方案中，电子设备上的截图服务为基于操作系统的服务，该截图服务可以对电子设备显示的任意页面进行截图。本申请实施例提供的技术方案中，电子设备上的页面识别装置具有电子设备的系统权限，因此，在接收到页面识别请求后，可以调用电子设备上的截图服务，对电子设备显示的任意页面进行截图，得到待识别图片。
这种情况下，页面识别装置调用识图接口，将待识别图片上传至服务端，服务端通过识图接口获取待识别图片，说明该待识别图片需要进行识别，进而服务端对待识别图片进行识别，得到待识别图片的识别结果。待识别图片可以为电子设备显示的任意页面，因此，本申请实施例提供的技术方案中，页面识图不再受限与特定的应用程序，服务端可以对电子设备显示的任意页面的识别，进而实现了快速为用户提供感兴趣信息的目的，扩大了页面识图的应用场景。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1为相关技术中页面识别的应用场景的一种示意图；
图2为本申请实施例提供的页面识别方法的第一种流程示意图；
图3为本申请实施例提供的页面识别方法的第二种流程示意图；
图4为本申请实施例提供的页面识别方法的第三种流程示意图；
图5为本申请实施例提供的页面识别方法的第四种流程示意图；
图6为本申请实施例提供的页面识别方法的第五种流程示意图；
图7为本申请实施例提供的页面识别方法的第六种流程示意图；
图8为本申请实施例提供的页面识别方法的第七种流程示意图；
图9为本申请实施例提供的页面识别装置的一种结构示意图；
图10为本申请实施例提供的页面识别系统的一种信令图；
图11为本申请实施例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
目前，如图1所示的相关技术中页面识别的应用场景，应用程序11播放视频。在触发页面识图后，应用程序11获取当前页面的播放进度，并发送至服务端12。服务端12提取接收的播放进度处的视频帧，并对该视频帧进行识别，得到该视频帧的识别结果。
服务端12将视频帧的识别结果发送至应用程序11。进而应用程序11显示视频帧的识别结果。
用户基于应用程序11显示的识别结果，点播感兴趣的信息。
上述页面识别方法仅适用于特定的应用程序。一旦切换至其他应用程序，服务端12将无法提取到相应的视频帧，进而无法获得视频帧的识别结果，无法实现快速为用户提供感兴趣信息的目的。
为解决上述问题，本申请实施例提供了一种页面识别方法，如图2所示，应用于电子设备上的页面识别装置，包括如下步骤：
步骤S21，接收页面识别请求；
步骤S22，利用电子设备的系统权限，调用电子设备上的截图服务，以使截图服务对电子设备显示的当前页面进行截图，得到待识别图片；
步骤S23，调用识图接口，将待识别图片上传至页面识别装置关联的服务端，以使服务端对待识别图片进行识别，得到待识别图片的识别结果；
步骤S24，展示服务端反馈的识别结果。
本申请实施例提供的技术方案中，电子设备上的截图服务为基于操作系统的服务，该截图服务可以对电子设备显示的任意页面进行截图。本申请实施例提供的技术方案中，电子设备上的页面识别装置具有电子设备的系统权限，因此，在接收到页面识别请求后，可以调用电子设备上的截图服务，对电子设备显示的任意页面进行截图，得到待识别图片。
这种情况下，页面识别装置调用识图接口，将待识别图片上传至服务端，服务端通过识图接口获取待识别图片，说明该待识别图片需要进行识别，进而服务端对待识别图片进行识别，得到待识别图片的识别结果。待识别图片可以为电子设备显示的任意页面，因此，本申请实施例提供的技术方案中，页面识图不再受限与特定的应用程序，服务端可以对电子设备显示的任意页面的识别，进而实现了快速为用户提供感兴趣信息的目的，扩大了页面识图的应用场景。
本申请实施例中，电子设备可以为电视机(television，TV)端，也可以为移动端，如手机、平板电脑等。对此不进行限定。上述页面识别装置可以为安装于电子设备上的应用程序，也可以为集成在电子设备的具有截图功能的处理器。
本申请实施例中，为实现页面识别装置具有电子设备的系统权限。页面识别装置为使用电子设备的系统签名安装程序包所得到的装置，其中，程序包具有系统级标识。
一个示例中，对于采用安卓(android)操作系统的电子设备，可以在页面识别装置的程序包中设置“sharedUserId＝"android.uid.system"”属性。这样可以使得页面识别装置的程序包具有系统级标识，该页面识别装置的程序包为系统级程序包。使用电子设备的系统签名安装该系统级程序包，实现在电子设备上安装页面识别装置。此时，该页面识别装置具有了系统权限。
本申请实施例中，还可以采用其他方式使得页面识别装置具有系统权限，如页面识别装置为一个具有系统权限的处理器。对此不进行限定。
上述步骤S21中，页面识别请求用于指示执行页面截图操作。页面识别请求可以为用户直接输入页面识别装置的。
例如，电子设备为触摸屏的移动端。当用户长按电子设备的触摸屏时，若页面识别装置利用电子设备的系统权限，检测到用户长按触摸屏的时长达到第一预设时长时，页面识别装置确定接收到页面识别请求。
再例如，电子设备为触摸屏的移动端。触摸屏上显示的用户界面(UserInterface，UI)中包括页面识别按钮。当页面识别装置利用电子设备的系统权限，检测到用户点击该截图按钮时，页面识别装置确定接收到页面识别请求。
又例如，电子设备为具有摄像头的设备。页面识别装置利用电子设备的系统权限，通过该摄像头采集用户的手势图像。当页面识别装置对手势图像进行分析，确定用户做出指定的手势时，页面识别装置确定接收到页面识别请求。
另外，页面识别请求可以为用户通过其他设备输入页面识别装置的。
例如，电子设备为TV端。该页面识别装置关联有遥控器。用户通过遥控器向页面识别装置发送页面识别请求。具体的实现方式下面会进行详细说明，此处不进行展开介绍。
本申请实施例中，页面识别装置还可以通过其他方式获取到页面识别请求。例如，当页面识别装置检测到当前用户界面显示的页面内容长达第二预设时长时，生成页面识别请求。对此不进行限定。
上述步骤S22中，电子设备上的截图服务为基于操作系统的服务，也就是只有具有系统权限装置能够调用截图服务。该截图服务可以对电子设备显示的任意页面进行截图。
页面识别装置在接收到页面识别请求后，由于页面识别装置具有电子设备的系统权限，页面识别装置利用该电子设备的系统权限，调用电子设备上的截图服务。进而截图服务对电子设备显示的当前页面进行截图，得到待识别图片。
其中，电子设备显示的当前页面为任意页面，例如，电子设备显示的当前页面可以为页面识别装置的页面，也可以为其他应用程序的页面，还可以为电子设备的桌面或主页等。基于此，页面识别装置获取到了任意页面的待识别图片。
上述步骤S23中，电子设备中预先设置了识图接口，该识图接口为页面识别装置与服务器预先协定的识图接口。一个示例中，上述识图接口可以为采集全场景智能(home AI)接口。在截图服务获取到待识别图片后，页面识别装置调用识图接口，将待识别图片发送至页面识别装置关联的服务端。
服务端通过识图接口接收到待识别图片后，说明该待识别图片需要进行识别，进而服务端对待识别图片进行识别，得到待识别图片的识别结果。
本申请实施例中，待识别图片的识别结果可以包括但不限于：从待识别图片中识别出的对象的基本信息和/或对象的关联信息等。其中，对象包括人员和/或物品，物品包括实体物品和/或虚拟物品。虚拟物品可以为游戏或影视作品中的虚拟形象。
若对象包括人员，则上述对象的基本信息可以包括但不限于如下至少一项：姓名、性别、年龄、生日或籍贯等；若对象包括物品，则上述对象的基本信息可以包括但不限于如下至少一项：名称、材质、尺寸或对象所处位置等。
上述关联信息可以包括但不限于如下至少一项：对象关联的其他对象信息、所述对象关联的作品信息或对象关联的对象群组信息等。
若对象包括人员，则上述对象关联的其他对象信息为人员的朋友关系圈，对象关联的作品信息为人员参演的影视作品和音频作品、以及人物出版的文学作品的作品列表，对象关联的对象群组信息包括人员的粉丝圈以及人员所参与的活动的人员群组。
若对象包括物品，则上述关联的其他对象信息为与物品构成成套产品的多个物品的，对象关联的对象群组信息可以包括制造、生产或销售该物品的厂家，以及相似物品列表。
上述关于基本信息和关联信息的说明仅为一种实现方式，并不起限定作用。
一个实施例中，服务端中预先存储了对象标识(Identity，ID)与关联信息的对应关系。服务端对待识别图片进行识别，得到待识别图片中对象的基本信息后，基于识别得到的对象的基本信息中包括的对象ID，以及上述预先存储的对象ID与关联信息的对应关系，确定相应的关联信息。
上述待识别图片中可以包括一个或多个对象。因此，服务端得到的待识别图片的识别结果中包括一个或多个对象的基本信息以及关联信息等。
以对象为明星人物为例。待识别图片包括多个明星人物，则服务端得到的待识别图片的识别结果可以包括每个明星人物的姓名、生日和社交账号等。
上述步骤S24中，服务端在得到识别结果后，将识别结果反馈给页面识别装置。进而页面识别装置展示服务端反馈的识别结果。
在本申请的一个实施例中，本申请实施例还提供了一种页面识别方法，该方法中，页面识别装置中注册了无障碍服务事件。该无障碍服务事件为无障碍地调度截图服务的事件。该无障碍服务事件在接收到页面识别请求时被触发。基于此，步骤S22可以细化为步骤S221。
步骤S221，基于电子设备的系统权限，利用无障碍服务事件，调用电子设备上的截图服务。
本申请实施例中，页面识别装置可以实时对接收到的信息进行监听。在注册无障碍服务事件后，若页面识别装置监听到页面识别请求，触发无障碍服务事件，进而自助实现截图服务的调用，获得待识别图片。
上述步骤S221，页面识别装置中注册了无障碍服务事件的情况下，页面识别装置实时监听是否满足触发无障碍服务事件的条件，并响应全局的无障碍服务事件。本申请实施例中，触发无障碍服务事件的条件即为接收页面识别请求。上述页面识别请求可以理解为无障碍服务事件的触发事件。
基于此，在接收页面识别请求后，页面识别装置根据页面识别请求，确定满足触发无障碍服务事件的条件，进而利用电子设备的系统权限，触发无障碍服务事件。该无障碍服务事件为无障碍地调度截图服务的事件。因此，在触发无障碍服务事件后，页面识别装置调用电子设备上的截图服务，以获得待识别图片。
在本申请的一个实施例中，电子设备可以关联有控制装置，该控制装置也与页面识别装置相关联。例如，页面识别装置可以配置或设置在TV端上，此时，TV端关联的遥控器即为该页面识别装置关联的遥控装置。示例性的，TV端关联的遥控器上可以预先设置页面识别按键(或称为识图按键)，而TV端也可与遥控器预先协商确定每个按键的按键值与执行动作的对应关系。如此，当用户按压该页面识别按键，则页面识别装置可以通过该对应关系，确定接收到了页面识别请求。
其中，控制装置所能够执行的执行动作可以包括但不限于如下至少一种：截图、播放视频、暂停播放视频、切换应用程序显示的页面、关闭应用程序和识别页面等。用户通过点击遥控器上的按键，可以远程控制页面识别装置进行截图、播放视频、暂停播放视频、切换页面、开启或关闭页面识别装置等。本申请实施例中，通过遥控器还可以实现电子设备上不同应用程序的页面的切换。对此不进行限定。
基于上述页面识别装置关联的遥控器，本申请实施例还提供了一种页面识别方法，如图4所示，该方法中，步骤S21可以细化为步骤S211和S212。
步骤S211，接收来自页面识别装置关联的遥控器的按键操作；
步骤S212，若按键操作包括预设截图按键值，则确定按键操作为页面识别请求。
本申请实施例提供的技术方案中，通过遥控器的按键操作，可以实现远程的控制页面识别装置进行截图，进而实现页面识别。这增加了页面识别的灵活性。
上述步骤S211中，当用户点击遥控器上的按键时，遥控器将用户的按键操作发送至页面识别装置。该按键操作包括了用户所点击的按键的按键值。这样，页面识别装置就可以根据预先协商确定的每个按键的按键值与执行动作的对应关系，确定按键操作包括按键值所对应的执行动作，进而执行相应的动作。
上述步骤S212中，页面识别装置关联的遥控器上可以设置一个指示进行页面识别的按键，如页面识别实体按键，并且预先通过页面识别装置与遥控器间的应用协议，确定了该页面识别实体按键对应的按键值，即预设截图按键值，如1、2、或#等。
当页面识别装置接收到来自遥控器的按键操作后，页面识别装置对按键操作包括按键值进行解析，如上述将按键操作包括按键值与上述预先协商确定的每个按键的按键值与执行动作的对应关系进行匹配，确定按键操作包括按键值为预设截图按键值，且预设截图按键值对应于页面识别的动作，则确定该按键操作为页面识别请求。进而，页面识别装置执行后续步骤S22和S23，以实现页面识别。
应当理解，与页面识别装置关联的控制装置可以包括但不限于遥控器。例如，除此之外，还可以通过智能家居设备来控制页面识别装置，或者，还可以通过语音指令来直接控制页面识别装置。
本申请实施例中，上述预设截图按键值的响应还可以通过上述无障碍服务事件来实现。具体参见图3部分关于无障碍服务事件的描述，此处不再赘述。
在本申请的一个实施例中，页面识别装置在获得待识别图片后，可直接向服务端传输该待识别图片。
实际应用中，截图服务得到的待识别图片后，页面识别装置读取该待识别图片，得到实际为字节数组。字节数组的可读性较差，其他设备必须和页面识别装置配置完全相同，才能将接收的字节数组还原为待识别图片，这使得页面识图的应用范围较小。
为扩大页面识图的应用范围，在本申请的另一个实施例中，本申请实施例还提供了一种页面识别方法，如图5所示，该方法中，步骤S23可以细化为步骤S231和S232。
步骤S231，将待识别图片转换为字符串；
步骤S232，通过识图接口，将字符串上传至页面识别装置关联的服务端。
本申请实施例提供的的技术方案中，页面识别装置将待识别图片转换为字符串，将字符串发送至服务端。页面识别装置读取出的待识别图片为字节数组，若不将待识别图片转换字符串，则网络中传输的就是字节数组，字节数组的可读性较差，其他设备必须和页面识别装置配置完全相同，才能将接收的字节数组还原为待识别图片。而对于字节数组，字符串相可读性较高，任何设备均可以将字符串还原为待识别图片。这有效扩大了页面识图的应用范围。
上述步骤S231中，页面识别装置在得到待识别图片后，可对待识别图片进行编码，将待识别图片转换为字符串。
本申请实施例中，页面识别装置可以以base64编码方式，对待识别图片进行编码，也可以采用其他编码方式，如base16或base32编码方式，对待识别图片进行编码，对此不进行限定。
上述步骤S232中，页面识别装置在得到待识别图片转换成的字符串后，通过识图接口，将该字符串发送至服务端。服务端接收到字符串后，可以将该字符串转换为待识别图片，进而对该待识别图片进行识别，得到识别结果。
在本申请的一个实施例中，为了提高数据的安全性，页面识别装置在得到待识别图片转换成的字符串后，可以按照页面识别装置与服务端协商的加密算法对字符串进行加密，向服务端发送加密后的字符串。服务端按照同样的的加密算法对加密后的字符串进行解密，得到明文的字符串，并将明文的字符串转换为待识别图片，进而对该待识别图片进行识别，得到识别结果。
一个可选的实施例中，本申请实施例还提供了一种页面识别方法，如图6所示，该方法中，截图服务在得到待识别图片后，按照预设截图保存路径，保存待识别图片；基于此，步骤S23可以细化为步骤S233。
步骤S233，按照预设截图保存路径，读取待识别图片，并将待识别图片上传至页面识别装置关联的服务端；若上传失败，则重新执行步骤S233。
本申请实施例提供的技术方案中，截图服务在得到待识别图片后，按照预设截图保存路径，保存待识别图片。页面识别装置按照相同的预设截图保存路径读取待识别图片，进而将待识别图片转换为字符串。这样，避免了在将待识别图片转换为字符串的过程中电子设备出现宕机等异常，导致待识别图片丢失的问题，提高了页面识别的准确性。
上述步骤S233中，截图服务对电子设备显示的当前页面进行截图，得到待识别图片，按照预设截图保存路径，保存待识别图片。由于截图服务受页面识别装置调用，因此，页面识别装置能够获知截图服务已保存了待识别图片。这种情况下，页面识别装置按照预设截图保存路径，读取待识别图片，并将待识别图片上传至页面识别装置关联的服务端。
页面识别装置中可以预先设定截图保存路径。例如system/bin/screencap-p/sdcard/screenshot.png。预设截图保存路径也可以携带在页面识别请求中，预设截图保存路径还可以为在接收到页面识别请求后用户指定的保存路径。
本申请实施例中，截图服务在得到待识别图片后，可以利用预设命令，将保存待识别图片。例如，预设命令为调试桥(adb)命令；截图服务利用adb命令，将待识别图片保存在电子设备的存储器中。该存储器可以为电子设备内置或外接的安全数码卡(SecureDigital Memory Card，SD卡)。
上述步骤S233中，页面识别装置按照预设截图保存路径，读取待识别图片。页面识别装置可以将读取的待识别图片转换为字符串。页面识别装置通过识图接口，将字符串发送至服务端，以扩大页面识图的应用范围。
在本申请的一个实施例中，本申请实施例还提供了一种页面识别方法，如图7所示，该方法中，步骤S24可以细化为步骤S241和S242。
步骤S241，生成悬浮窗，悬浮窗的显示层级高于电子设备中任意页面的显示层级；
步骤S242，在悬浮窗上展示识别结果。
本申请实施例提供的技术方案中，悬浮窗的显示层级高于电子设备中任意页面的显示层级。因此，悬浮窗可以在任意应用的任意页面之上显示。页面识别装置通过悬浮窗显示识别结果。可以实现在任意应用的任意页面显示识别结果，不再局限于指定应用程序的播放页面，进一步扩大了页面识别的应用场景。
此外，页面识别装置通过悬浮窗，在任意应用的任意页面上显示识别结果，在扩大了页面识别的应用场景的同时，提升了用户识别对象的体验，在快速为用户提供感兴趣信息的目的的同时，可有效增加运营商的收益。
上述步骤S241中，服务端对待识别图片进行识别，得到识别结果后，将识别结果反馈给页面识别装置。页面识别装置接收该识别结果。
页面识别装置在接收到识别结果后，生成悬浮窗，悬浮窗的显示层级高于电子设备中任意页面的显示层级，进而执行步骤S242，在悬浮窗上展示识别结果。
本申请实施例中，悬浮窗展示识别结果。其中，悬浮窗展示的识别结果可以为UI页面。该UI页面可以包括对象的基本信息和关联信息。以对象为明星人物为例。悬浮窗展示的UI页面可以包括明星人物的基本信息、推荐的明星人物关联的作品列表和明星人物的关系圈等。基于该UI页面，用户可以点击明星基本信息或关系圈，进入明星详情页面，点击作品列表中的作品进入该作品的点播详情页面。
其中，基于用户点击操作所跳转至的页面(如上述明星详情页面和点播详情页面)，可以为页面识别装置提供的页面，也可以为页面识别装置关联的其他应用程序提供的页面。对此不进行限定。
下面结合图8所示的页面识别的流程示意图，对本申请实施例提供的页面识别进行详细说明。
步骤S81，页面识别装置中注册无障碍服务事件，用于全局接收按键响应。也就是，该无障碍服务事件用于响应全局的按键操作。
步骤S82，页面识别装置接收页面识别实体按键响应。
具体的，步骤S82可以包括：页面识别装置接收遥控器发送的页面识别实体按键操作，利用电子设备的系统权限，触发无障碍服务事件，进而调用电子设备上的截图服务，以对电子设备显示的当前页面进行截图，得到待识别图片。
步骤S83，截图服务截图保存本地。
具体的，步骤S83可以包括：截图服务按照预设截图保存路径，保存待识别图片。
步骤S84，页面识别装置读取截图为字符串，再调用识图接口上传该字符串。
具体的，步骤S84可以包括：页面识别装置按照预设截图保存路径，读取待识别图片，将读取的待识别图片转换为字符串，并调用识图接口，将字符串发送至服务端。
步骤S85，页面识别装置接收识别结果，UI展示在可在任意页面上展示悬浮窗上，UI页面包含明星人物的基本信息、作品列表和关系圈。
具体的，步骤S85可以包括：页面识别装置接收服务端反馈的识别结果，并通过悬浮窗显示识别结果。该悬浮窗显示的页面为UI页面，可以用于人机交互。
步骤S86，UI交互点击页面上包括的明星人物的基本信息和关系圈，跳转至明星详情页面，点击作品列表中的坐标，跳转至点播详情页面。
具体的，步骤S86可以包括：页面识别装置基于用户对悬浮窗所显示的信息上的点击操作，进入相应的页面。
上述步骤S81-S86中，仅以对象为明星人物为例进行说明，并不起限定作用。上述步骤S81-S86部分的描述相对简单，具体可参见上述图2-图7部分的描述，此处不再赘述。
应用本申请实施例，页面识别装置实时截图进行页面识别，并展示识别结果，也就是，可以在任意应用程序的任意页面上进行页面识别。这能大幅增加页面识别的应用场景，提升用户识别明星的体验。若识别结果中包括页面识别装置的推荐作品，还可以达到为页面识别装置进行点播引流效果，增加点播的使用频率，增加运营商的收益。
基于上述页面识别方法，本申请实施例还提供的一种页面识别装置，应用于电子设备上的页面识别装置，页面识别装置具有电子设备的系统权限，如图9所示，包括：
接收单元91，用于接收页面识别请求；
第一调用单元92，用于利用电子设备的系统权限，调用电子设备上的截图服务，以使截图服务对电子设备显示的当前页面进行截图，得到待识别图片，当前页面为任意页面；
第二调用单元93，用于调用识图接口，将待识别图片上传至页面识别装置关联的服务端，以使服务端对待识别图片进行识别，得到待识别图片的识别结果；
展示单元94，用于展示服务端反馈的识别结果。
可选的，页面识别装置为使用电子设备的系统签名安装程序包所得到的装置，程序包具有系统级标识。
可选的，页面识别装置中注册了无障碍服务事件；所述无障碍服务事件在接收到所述页面识别请求时被触发；
第一调用单元92，具体可以用于：
基于所述电子设备的系统权限，利用所述无障碍服务事件，调用所述电子设备上的截图服务。
可选的，接收单元91，具体可以用于：
接收来自页面识别装置关联的遥控器的按键操作；
若按键操作包括预设截图按键值，则确定按键操作为页面识别请求。
可选的，截图服务在得到待识别图片后，按照预设截图保存路径，保存待识别图片；
第二调用单元93，具体可以用于：
按照预设截图保存路径，读取待识别图片，并调用识图接口，将待识别图片上传至页面识别装置关联的服务端；
若上传失败，则重新执行按照预设截图保存路径，读取待识别图片，并将待识别图片上传至页面识别装置关联的服务端的步骤。
可选的，第二调用单元93，具体可以用于：
将待识别图片转换为字符串；
调用识图接口，将字符串上传至页面识别装置关联的服务端。
可选的，展示单元94，具体可以用于：
生成悬浮窗，悬浮窗的显示层级高于电子设备中任意页面的显示层级；
在悬浮窗上展示识别结果。
可选的，识别结果包括以下至少一种信息：
从待识别图片中识别出的对象的基本信息；其中，对象包括人员和/或物品，物品包括实体物品和/或虚拟物品；
对象的关联信息；其中，关联信息包括对象关联的其他对象信息、对象关联的作品信息和对象关联的对象群组信息中的一种或多种。
本申请实施例提供的技术方案中，电子设备上的截图服务为基于操作系统的服务，该截图服务可以对电子设备显示的任意页面进行截图。本申请实施例提供的技术方案中，电子设备上的页面识别装置具有电子设备的系统权限，因此，在接收到页面识别请求后，可以调用电子设备上的截图服务，对电子设备显示的任意页面进行截图，得到待识别图片。
这种情况下，页面识别装置调用识图接口，将待识别图片上传至服务端，服务端通过识图接口获取待识别图片，说明该待识别图片需要进行识别，进而服务端对待识别图片进行识别，得到待识别图片的识别结果。待识别图片可以为电子设备显示的任意页面，因此，本申请实施例提供的技术方案中，页面识图不再受限与特定的应用程序，服务端可以对电子设备显示的任意页面的识别，进而实现了快速为用户提供感兴趣信息的目的，扩大了页面识图的应用场景。
与上述页面识别方法对应，本申请实施例还提供了一种页面识别系统，如图10所示，包括电子设备101和服务端102，电子设备101上具有页面识别装置，页面识别装置具有电子设备101的系统权限；
页面识别装置，用于执行上述任一的页面识别方法；
服务端102，用于对待识别图片进行识别，得到待识别图片的识别结果。
与上述页面识别方法对应，本申请实施例还提供了一种电子设备，如图11所示，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111、通信接口112和存储器113通过通信总线114完成相互间的通信；
存储器113，用于存放实现页面识别装置的计算机程序，页面识别装置具有电子设备的系统权限；
处理器111，用于执行存储器113上所存放的程序时，实现上述图2-8任一所述的页面识别方法。
通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有实现页面识别装置的计算机程序，页面识别装置具有电子设备的系统权限，该计算机程序被处理器执行时实现上述图2-8任一所述的页面识别方法。
在本申请提供的又一实施例中，还提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述图2-8任一所述的页面识别方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、系统、电子设备、存储介质及计算机程序实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (12)

1.一种页面识别方法，其特征在于，应用于电子设备上的页面识别装置，所述页面识别装置具有所述电子设备的系统权限，所述方法包括：
接收页面识别请求；
利用所述电子设备的系统权限，调用所述电子设备上的截图服务，以使所述截图服务对所述电子设备显示的当前页面进行截图，得到待识别图片；
调用识图接口，将所述待识别图片上传至所述页面识别装置关联的服务端，以使所述服务端对所述待识别图片进行识别，得到所述待识别图片的识别结果；
展示所述服务端反馈的所述识别结果。
2.根据权利要求1所述的方法，其特征在于，所述页面识别装置为使用所述电子设备的系统签名安装程序包所得到的装置，所述程序包具有系统级标识。
3.根据权利要求1所述的方法，其特征在于，所述页面识别装置中注册了无障碍服务事件；所述无障碍服务事件在接收到所述页面识别请求时被触发；
所述利用所述电子设备的系统权限，调用所述电子设备上的截图服务的步骤，包括：
基于所述电子设备的系统权限，利用所述无障碍服务事件，调用所述电子设备上的截图服务。
4.根据权利要求1所述的方法，其特征在于，所述接收页面识别请求的步骤，包括：
接收来自所述页面识别装置关联的遥控器的按键操作；
若所述按键操作包括预设截图按键值，则确定所述按键操作为页面识别请求。
5.根据权利要求1所述的方法，其特征在于，所述截图服务在得到所述待识别图片后，按照预设截图保存路径，保存所述待识别图片；
所述将所述待识别图片上传至所述页面识别装置关联的服务端的步骤，包括：
按照所述预设截图保存路径，读取所述待识别图片，并将所述待识别图片上传至所述页面识别装置关联的服务端；
若上传失败，则重新执行所述按照所述预设截图保存路径，读取所述待识别图片，并将所述待识别图片上传至所述页面识别装置关联的服务端的步骤。
6.根据权利要求1所述的方法，其特征在于，所述将所述待识别图片上传至所述页面识别装置关联的服务端的步骤，包括：
将所述待识别图片转换为字符串；
将所述字符串上传至所述页面识别装置关联的服务端。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述展示所述识别结果的步骤，包括：
生成悬浮窗，所述悬浮窗的显示层级高于所述电子设备中任意页面的显示层级；
在所述悬浮窗上展示所述识别结果。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述识别结果包括以下至少一种信息：
从所述待识别图片中识别出的对象的基本信息；其中，所述对象包括人员和/或物品，所述物品包括实体物品和/或虚拟物品；
所述对象的关联信息；其中，所述关联信息包括所述对象关联的其他对象信息、所述对象关联的作品信息和所述对象关联的对象群组信息中的一种或多种。
9.一种页面识别装置，其特征在于，应用于电子设备上的页面识别装置，所述页面识别装置具有所述电子设备的系统权限，所述装置包括：
接收单元，用于接收页面识别请求；
第一调用单元，用于利用所述电子设备的系统权限，调用所述电子设备上的截图服务，以使所述截图服务对所述电子设备显示的当前页面进行截图，得到待识别图片，所述当前页面为任意页面；
第二调用单元，用于调用识图接口，将所述待识别图片上传至所述页面识别装置关联的服务端，以使所述服务端对所述待识别图片进行识别，得到所述待识别图片的识别结果；
展示单元，用于展示所述服务端反馈的识别结果。
10.一种页面识别系统，其特征在于，包括电子设备和服务端，所述电子设备上具有页面识别装置，所述页面识别装置具有所述电子设备的系统权限；
所述页面识别装置，用于执行权利要求1-8任一项所述的方法；
所述服务端，用于对所述待识别图片进行识别，得到所述待识别图片的识别结果。
11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器、通信接口和存储器通过通信总线完成相互间的通信；
所述存储器，用于存放实现页面识别装置的计算机程序，所述页面识别装置具有所述电子设备的系统权限；
所述处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一所述的方法步骤。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有实现页面识别装置的计算机程序，所述页面识别装置具有电子设备的系统权限，所述计算机程序被处理器执行时实现权利要求1-8任一所述的方法步骤。
CN202110901781.1A 2021-08-06 2021-08-06 页面识别方法、装置、系统、电子设备及存储介质 Pending CN113613041A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110901781.1A CN113613041A (zh) 2021-08-06 2021-08-06 页面识别方法、装置、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110901781.1A CN113613041A (zh) 2021-08-06 2021-08-06 页面识别方法、装置、系统、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113613041A true CN113613041A (zh) 2021-11-05

Family

ID=78339656

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110901781.1A Pending CN113613041A (zh) 2021-08-06 2021-08-06 页面识别方法、装置、系统、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113613041A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130812A1 (zh) * 2022-01-04 2023-07-13 腾讯科技（深圳）有限公司 多媒体处理方法、装置、设备、介质及计算机程序产品

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239313A (zh) * 2013-06-09 2014-12-24 百度在线网络技术（北京）有限公司 基于移动终端的屏幕中显示文字的搜索方法与移动终端
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
US20210133454A1 (en) * 2018-07-20 2021-05-06 Omron Healthcare Co., Ltd. Terminal device, information processing method, and non-transitory storage medium recording program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104239313A (zh) * 2013-06-09 2014-12-24 百度在线网络技术（北京）有限公司 基于移动终端的屏幕中显示文字的搜索方法与移动终端
CN105373938A (zh) * 2014-08-27 2016-03-02 阿里巴巴集团控股有限公司 识别视频图像中的商品和展示其信息的方法、装置及系统
US20210133454A1 (en) * 2018-07-20 2021-05-06 Omron Healthcare Co., Ltd. Terminal device, information processing method, and non-transitory storage medium recording program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023130812A1 (zh) * 2022-01-04 2023-07-13 腾讯科技（深圳）有限公司 多媒体处理方法、装置、设备、介质及计算机程序产品

Similar Documents

Publication Publication Date Title
US10313726B2 (en) Distributing media content via media channels based on associated content being provided over other media channels
CN108495185B (zh) 一种视频标题生成方法和装置
US9449294B2 (en) Method and apparatus for managing user devices and contents by using quick response codes
KR101882399B1 (ko) 액티비티 협력을 위한 동반 애플리케이션
US8421747B2 (en) Object detection and user settings
CN109766725B (zh) 一种数据处理方法、设备、智能终端及计算机可读介质
TW201303752A (zh) 基於擴增實境與雲端計算之應用程式執行方法與系統
US9123106B2 (en) Watermarking screen capture content
US11695756B2 (en) Display system, display method, and recording medium
US20140358712A1 (en) Shopping guide system, shopping guide management device and method
US20140359650A1 (en) Text input method, electronic device, and storage medium
CN105515887B (zh) 应用测试方法、服务器及系统
CN112685106A (zh) 应用程序的启动方法、系统、装置、电子设备及存储介质
CN113613041A (zh) 页面识别方法、装置、系统、电子设备及存储介质
US20180192121A1 (en) System and methods thereof for displaying video content
CN107066864B (zh) 一种应用图标显示方法及其设备
WO2018184360A1 (zh) 一种信息获取、信息提供方法及相关装置
CN110765084A (zh) 一种图片上传方法、系统及电子设备和存储介质
CN109543398B (zh) 一种应用程序账户迁移方法、装置和电子设备
US10733491B2 (en) Fingerprint-based experience generation
CN114629955A (zh) 一种身份认证方法、设备及计算机可读存储介质
CN113190295A (zh) 信息处理方法、处理装置和电子设备
US20230377290A1 (en) System and system control method
JP2018037029A (ja) ウェブサイト検索表示システム、ウェブサイト検索表示方法、端末装置、サーバー装置、及びプログラム
CN106033246B (zh) 一种数据传输方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211105