CN116360668A - 识屏方法、装置、设备及存储介质 - Google Patents

识屏方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116360668A
CN116360668A CN202310344134.4A CN202310344134A CN116360668A CN 116360668 A CN116360668 A CN 116360668A CN 202310344134 A CN202310344134 A CN 202310344134A CN 116360668 A CN116360668 A CN 116360668A
Authority
CN
China
Prior art keywords
screen
content
display
recognition
screen recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310344134.4A
Other languages
English (en)
Inventor
郑南琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Xingji Meizu Technology Co ltd
Original Assignee
Wuhan Xingji Meizu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Xingji Meizu Technology Co ltd filed Critical Wuhan Xingji Meizu Technology Co ltd
Priority to CN202310344134.4A priority Critical patent/CN116360668A/zh
Publication of CN116360668A publication Critical patent/CN116360668A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1407—General aspects irrespective of display type, e.g. determination of decimal point position, display with fixed or driving decimal point, suppression of non-significant zeros

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及人机交互技术领域，公开了一种识屏方法、装置、设备及存储介质。该方法包括：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。本发明实现了将识屏手势与小窗菜单手势结合，对触控屏界面全场景的识屏功能，可以直接在界面中直接选取其中部分的目标识屏结果。

Description

识屏方法、装置、设备及存储介质
技术领域
本发明涉及人机交互技术领域，尤其涉及一种识屏方法、装置、设备及存储介质。
背景技术
现有识屏触发操作可能与当前显示界面中的其他功能触发操作存在相同的情况，容易给用户带来操作不便的问题，影响用户的当前使用状态，和其他触控操作存在一定冲突；同时现有识屏功能通常基于触控区域执行识屏操作，使得识屏覆盖的场景不够全面，很多场景下也无法触发识屏功能；另外，触发识屏功能后，用户选取的内容不能直接在触发前的显示界面直接做文本和图片的直接选取。总而言之，即现有识屏方法难以对显示界面进行全局场景的准确识屏。
发明内容
本发明的主要目的在于解决现有识屏方法难以对显示界面进行全局场景的准确识屏的技术问题。
本发明第一方面提供了一种识屏方法，包括：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
可选的，在本发明第一方面的第一种实现方式中，所述收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口包括：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏角落按照所述滑动手势的方向弹出识屏操作窗口。
可选的，在本发明第一方面的第二种实现方式中，所述识屏方法还包括：收到对所述识屏功能键的触控操作，生成从所述显示屏角落往外扩散出的波浪显示动画，以对所述显示屏的当前显示内容的识屏操作进行启动提示。
可选的，在本发明第一方面的第三种实现方式中，所述显示屏的当前显示内容的界面显示类型为全界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容；对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果，其中，所述交互操作窗口至少包括一个交互操作功能键。
可选的，在本发明第一方面的第四种实现方式中，所述显示屏的当前显示内容中包括文本内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，利用预设的文本识别技术，识别所述文本内容中每个语句所在的位置信息；根据所述位置信息，分别绘制每个所述语句所在的区域，得到所述文本内容对应的可视交互内容。
可选的，在本发明第一方面的第五种实现方式中，所述显示屏的当前显示内容中包括图片内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，利用预设图片抓取技术，提取所述图片内容，得到当前显示内容中的可视交互内容。
可选的，在本发明第一方面的第六种实现方式中，在所述对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果之后，还包括：收到对所述交互操作功能键的触控操作，利用预设图像分割技术，识别所述识屏结果中图片内容的图像主体，并基于所述触控操作的跳转场景，展示对所述图像主体对应的处理结果。
可选的，在本发明第一方面的第七种实现方式中，所述显示屏的当前显示内容中包括视频内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，对所述视频内容进行截屏操作，得到当前帧画面，并将当前帧画面在当前显示内容中进行弹窗显示，得到当前显示内容中的可视交互内容。
可选的，在本发明第一方面的第八种实现方式中，所述显示屏的当前显示内容的界面显示类型为小窗界面显示类型或者分屏界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：收到对所述识屏功能键的触控操作，对所述显示屏中小窗界面的当前显示内容进行识屏操作、或者分别对所述显示屏中各个分屏界面的当前显示内容进行识屏操作，得到识屏结果。
本发明第二方面提供了一种识屏装置，包括：弹窗模块，用于收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；识屏模块，用于收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
可选的，在本发明第二方面的第一种实现方式中，所述弹窗模块还用于：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏角落按照所述滑动手势的方向弹出识屏操作窗口。
可选的，在本发明第二方面的第二种实现方式中，所述识屏装置还包括提示模块，用于：收到对所述识屏功能键的触控操作，生成从所述显示屏角落往外扩散出的波浪显示动画，以对所述显示屏的当前显示内容的识屏操作进行启动提示。
可选的，在本发明第二方面的第三种实现方式中，所述显示屏的当前显示内容的界面显示类型为全界面显示类型，所述识屏模块包括：内容识别单元，用于收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容；高亮显示单元，用于对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果，其中，所述交互操作窗口至少包括一个交互操作功能键。
可选的，在本发明第二方面的第四种实现方式中，所述显示屏的当前显示内容中包括文本内容，所述内容识别单元还用于：收到对所述识屏功能键的触控操作，利用预设的文本识别技术，识别所述文本内容中每个语句所在的位置信息；根据所述位置信息，分别绘制每个所述语句所在的区域，得到所述文本内容对应的可视交互内容。
可选的，在本发明第二方面的第五种实现方式中，所述显示屏的当前显示内容中包括图片内容，所述内容识别单元还用于：收到对所述识屏功能键的触控操作，利用预设图片抓取技术，提取所述图片内容，得到当前显示内容中的可视交互内容。
可选的，在本发明第二方面的第六种实现方式中，在所述所述识屏模块还包括图片识别单元，用于：收到对所述交互操作功能键的触控操作，利用预设图像分割技术，识别所述识屏结果中图片内容的图像主体，并基于所述触控操作的跳转场景，展示对所述图像主体对应的处理结果。
可选的，在本发明第二方面的第七种实现方式中，所述显示屏的当前显示内容中包括视频内容，所述内容识别单元还用于：收到对所述识屏功能键的触控操作，对所述视频内容进行截屏操作，得到当前帧画面，并将当前帧画面在当前显示内容中进行弹窗显示，得到当前显示内容中的可视交互内容。
可选的，在本发明第二方面的第八种实现方式中，所述显示屏的当前显示内容的界面显示类型为小窗界面显示类型或者分屏界面显示类型，所述识屏模块还包括局部识屏单元，用于：收到对所述识屏功能键的触控操作，对所述显示屏中小窗界面的当前显示内容进行识屏操作、或者分别对所述显示屏中各个分屏界面的当前显示内容进行识屏操作，得到识屏结果。
本发明第三方面提供了一种电子设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行上述的识屏方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的识屏方法。
本发明提供的技术方案中，通过将识屏功能的触发操作与预设触发条件的其他应用场景的触控操作指令结合，在不影响当前显示界面的使用状态前提下，对当前显示界面进行整个场景的全局识屏，比如文本识别、图片抓取、音频识别等识屏操作，并得到对应的识屏结果。使得对触控屏当前的显示界面进行全局场景的准确识屏。
附图说明
图1为本发明实施例中识屏方法的一个实施例示意图；
图2为本发明实施例中识屏操作的第一个实施例示意图；
图3为本发明实施例中识屏操作的第二个实施例示意图；
图4为本发明实施例中识屏操作的第三个实施例示意图；
图5为本发明实施例中识屏装置的一个实施例示意图；
图6为本发明实施例中识屏装置的另一个实施例示意图；
图7为本发明实施例中电子设备的一个实施例示意图。
具体实施方式
本发明实施例提供了一种识屏方法、装置、设备及存储介质，该方法包括：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。本发明实现了将识屏手势与小窗菜单手势结合，对触控屏界面全场景的识屏功能，可以直接在界面中直接选取其中部分的目标识屏结果。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中识屏方法的第一个实施例包括：
101、收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；
可以理解的是，本发明的执行主体可以为识屏装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以移动终端(如智能手机、平板电脑等)为执行主体为例进行说明。
本实施例中，此处从显示屏角落往显示屏中心区域的滑动手势为识屏触发手势，将该滑动手势与其他功能手势结合，比如小窗菜单手势，快捷功能手势等，将结合后的识屏触发逻辑设置为对应的识屏功能键，然后与其他结合的功能手势的触发逻辑也设置为对应的功能键，然后集成到识屏操作窗口中。
具体的，通过该滑动手势即可弹出该识屏操作窗口，而不会与其他功能手势存在冲突，在该识屏操作窗口中选取识屏功能键即可触发识屏功能，同理可以选取其他功能键来触发对应的功能。但是该识屏操作窗口中可以至少包括一个识屏功能键。
具体的，为了符合用户的操作习惯以及操作便捷性，该滑动手势优选为从显示屏右下角落往显示屏中心区域滑动。
102、收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
本实施例中，在显示屏中弹出识屏操作界面之后，只需要进一步触控其中的识屏功能键，即可触发对当前显示内容的识屏操作。其中，当前显示内容指的是显示屏的全部显示内容，直接在显示屏的当前显示界面中对全部显示内容进行识屏操作，而且是直接当前显示界面中作识屏操作，不同于现有的对某个触控区域进行识屏操作、以及弹出新的显示界面来执行识屏操作。使得覆盖内容更广泛，识屏操作的展示更加直观，不会弹出或者跳转新的显示界面，从而不影响用户对当前显示界面的使用状态。
具体的，显示屏的当前显示内容可以包括文本、图片、视频、音频等显示方式中的单一项或者多项结合，比如小说的纯文本显示内容、相册图片的纯图片显示内容、全屏播放视频的纯视频显示内容、或者博客中图片+文本结合的显示内容、非全屏播放视频的文本+视频的显示内容等。
具体的，显示屏的当前显示内容所在的使用场景可以是网页、应用、小窗应用、分配应用等场景。
另外，对当前显示内容的识屏操作得到的识屏结果，在包含多种显示方式的显示内容中，可以通过设置一个识屏功能键来触发对多种显示方式的显示内容的识屏操作，并同时展示多种显示方式的显示内容的识屏结果。也可以通过设置多个识屏功能键对应多种不同显示方式的显示内容，通过其中一个识屏功能键来触发对某一种显示方式的显示内容的识屏操作，最终仅展示该一种显示方式的识屏结果。
在一种实施方式中，所述收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口包括：收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏角落按照所述滑动手势的方向弹出识屏操作窗口。
具体的，如图2所示，在显示界面1中通过从显示屏角落到显示屏中心区域的滑动手势来触发识屏操作，如显示界面2所示，识屏操作窗口会随着滑动手势的方向来弹出，并显示设置好的识屏功能键，或者还可以包括其他功能键。
在一种实施方式中，所述识屏方法还包括：收到对所述识屏功能键的触控操作，生成从所述显示屏角落往外扩散出的波浪显示动画，以对所述显示屏的当前显示内容的识屏操作进行启动提示。
具体的，如图2所示，在弹出识屏操作窗口的显示界面3中对其中的识屏功能键进行按压触控，来启动对当前显示内容的触碰操作，在此同时，会通过如显示界面4所示的从显示屏角落往外扩散的波浪显示动画，来提示用户已经启动识屏操作。在波浪显示动画播放完成后，则会显示识屏结果。
在一种实施方式中，所述显示屏的当前显示内容的界面显示类型为全界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容；对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果，其中，所述交互操作窗口至少包括一个交互操作功能键。
具体的，如图3所示，通过在全界面显示的当前显示内容中执行识屏操作，识别出当前显示内容中的可视交互内容，比如图片或者视频A1和/或文本A2、A3、A4和A5。可视交互内容至少为当前显示内容中的部分显示内容，比如如部分文本内容、部分图片内容或者部分视频内容。针对图片或者视频A1，还会展示对应的交互操作窗口B，包括如b1、b2、b3、b4等交互操作功能键。需注意的是，图片或者视频A1、文本A2、A3、A4和A5，以及b1、b2、b3、b4，是显示屏中的高亮显示的内容，其他的显示内容会通过亮度降低的方式在显示屏中进行显示，不在图3的全界面显示的显示屏中展示。
具体的，交互操作窗口中的交互操作功能键可以包括预设应用的快捷跳转功能键、下载功能键、分享功能键等。
在一种实施方式中，所述显示屏的当前显示内容中包括文本内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，利用预设的文本识别技术如OCR技术，识别所述文本内容中每个语句、以及识别每个语句所在的位置信息；根据所述位置信息，分别绘制每个所述语句所在的区域，得到所述文本内容对应的可视交互内容。
具体的，如图3所示，可以通过文本内容对应的识屏功能键仅触发对文本内容的识屏操作，最终得到的识屏结果仅高亮显示文本A2、A3、A4和A5，通过触控按压文本A2、A3、A4和A5中的其中一个区域，可以触发对该区域文本的交互操作窗口。对图片或者视频A1，则跟其他显示内容一样通过降低亮度的方式进行显示。
在一种实施方式中，所述显示屏的当前显示内容中包括图片内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，利用预设图片抓取技术，提取所述图片内容，得到当前显示内容中的可视交互内容。
具体的，如图3所示，可以通过图片内容对应的识屏功能键仅触发对图片内容的识屏操作，最终得到的识屏结果仅高亮显示图片A11，同时显示对应的交互操作窗口B，包括如b1、b2、b3、b4等交互操作功能键，对文本A2、A3、A4和A5，则跟其他显示内容一样通过降低亮度的方式进行显示。
在一种实施方式中，在所述对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果之后，还包括：收到对所述交互操作功能键的触控操作，利用预设图像分割技术，识别所述识屏结果中图片内容的图像主体，并基于所述触控操作的跳转场景，展示对所述图像主体对应的处理结果。
本实施例中，针对图片或者视频，在对交互操作功能键进行触控操作后，还可以将识屏结果进行进一步的处理，比如触发对购物APP的快捷跳转功能键，会自动识别图片中的物体(图像主体)，然后搜索出对应的商品作为处理结果进行展示，比如触发搜索功能键，会自动识别图片中的物体(图像主体)，并搜索相似图片作为处理结果并进行展示。
在一种实施方式中，所述显示屏的当前显示内容中包括视频内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：收到对所述识屏功能键的触控操作，对所述视频内容进行截屏操作，得到当前帧画面，并将当前帧画面在当前显示内容中进行弹窗显示，得到当前显示内容中的可视交互内容。
具体的，如图3所示，可以通过视频内容对应的识屏功能键仅触发对视频内容的识屏操作，与前面的识屏结果展示方式不一样，对于识屏截取到的当前帧画面，会直接以弹窗的方式覆盖在当前显示内容中，然后对全部的当前显示内容通过降低亮度的方式进行显示，仅高亮显示弹窗后的视频内容A12`，当前显示内容的原视频内容A12部分内容被覆盖，文本内容A2被全部覆盖，以及文本内容A3、A4和A5则被降低亮度进行显示。
在一种实施方式中，所述显示屏的当前显示内容的界面显示类型为小窗界面显示类型或者分屏界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：收到对所述识屏功能键的触控操作，对所述显示屏中小窗界面的当前显示内容进行识屏操作、或者分别对所述显示屏中各个分屏界面的当前显示内容进行识屏操作，得到识屏结果。
具体的，如图4所示，针对小窗界面显示或者分屏界面显示，会识别出小窗界面所在的区域范围，然后仅对小窗界面内的当前显示内容进行识屏操作，对其他显示内容不作识屏操作。分屏界面中也会分别对两个分屏界面1和分屏界面2分别进行识屏操作。然后针对文本A2、A3、A4和A5，图片A11，视频A12，交互操作窗口B(b1、b2、b3、b4等交互操作功能键)，则采用如全界面显示执行相同的识屏操作方式即可。
本发明实施例中，通过将识屏功能的触发操作与预设触发条件的其他应用场景的触控操作指令结合，在不影响当前显示界面的使用状态前提下，对当前显示界面进行整个场景的全局识屏，比如文本识别、图片抓取、音频识别等识屏操作，并得到对应的识屏结果。使得对触控屏当前的显示界面进行全局场景的准确识屏。
上面对本发明实施例中识屏方法进行了描述，下面对本发明实施例中识屏装置进行描述，请参阅图5，本发明实施例中识屏装置一个实施例包括：
弹窗模块501，用于收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；
识屏模块502，用于收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
本发明实施例中，通过将识屏功能的触发操作与预设触发条件的其他应用场景的触控操作指令结合，在不影响当前显示界面的使用状态前提下，对当前显示界面进行整个场景的全局识屏，比如文本识别、图片抓取、音频识别等识屏操作，并得到对应的识屏结果。使得对触控屏当前的显示界面进行全局场景的准确识屏。
请参阅图6，本发明实施例中识屏装置的另一个实施例包括：
弹窗模块501，用于收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；
识屏模块502，用于收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
具体的，所述弹窗模块501还用于：
收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏角落按照所述滑动手势的方向弹出识屏操作窗口。
具体的，所述识屏装置还包括提示模块503，用于：
收到对所述识屏功能键的触控操作，生成从所述显示屏角落往外扩散出的波浪显示动画，以对所述显示屏的当前显示内容的识屏操作进行启动提示。
具体的，所述显示屏的当前显示内容的界面显示类型为全界面显示类型，所述识屏模块502包括：
内容识别单元5021，用于收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容；
高亮显示单元5022，用于对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果，其中，所述交互操作窗口至少包括一个交互操作功能键。
具体的，所述显示屏的当前显示内容中包括文本内容，所述内容识别单元5021还用于：
收到对所述识屏功能键的触控操作，利用预设的文本识别技术，识别所述文本内容中每个语句所在的位置信息；
根据所述位置信息，分别绘制每个所述语句所在的区域，得到所述文本内容对应的可视交互内容。
具体的，所述显示屏的当前显示内容中包括图片内容，所述内容识别单元5021还用于：
收到对所述识屏功能键的触控操作，利用预设图片抓取技术，提取所述图片内容，得到当前显示内容中的可视交互内容。
具体的，在所述所述识屏模块502还包括图片识别单元5023，用于：
收到对所述交互操作功能键的触控操作，利用预设图像分割技术，识别所述识屏结果中图片内容的图像主体，并基于所述触控操作的跳转场景，展示对所述图像主体对应的处理结果。
具体的，所述显示屏的当前显示内容中包括视频内容，所述内容识别单元5021还用于：
收到对所述识屏功能键的触控操作，对所述视频内容进行截屏操作，得到当前帧画面，并将当前帧画面在当前显示内容中进行弹窗显示，得到当前显示内容中的可视交互内容。
具体的，所述显示屏的当前显示内容的界面显示类型为小窗界面显示类型或者分屏界面显示类型，所述识屏模块502还包括局部识屏单元5024，用于：
收到对所述识屏功能键的触控操作，对所述显示屏中小窗界面的当前显示内容进行识屏操作、或者分别对所述显示屏中各个分屏界面的当前显示内容进行识屏操作，得到识屏结果。
上面图5和图6从模块化功能实体的角度对本发明实施例中的识屏装置进行详细描述，下面从硬件处理的角度对本发明实施例中电子设备进行详细描述。
图7是本发明实施例提供的一种电子设备的结构示意图，该电子设备700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processingunits，CPU)710(例如，一个或一个以上处理器)和存储器720，一个或一个以上存储应用程序733或数据732的存储介质730(例如一个或一个以上海量存储设备)。其中，存储器720和存储介质730可以是短暂存储或持久存储。存储在存储介质730的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对电子设备700中的一系列指令操作。更进一步地，处理器710可以设置为与存储介质730通信，在电子设备700上执行存储介质730中的一系列指令操作。
电子设备700还可以包括一个或一个以上电源740，一个或一个以上有线或无线网络接口750，一个或一个以上输入输出接口760，和/或，一个或一个以上操作系统731，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图7示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种电子设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述识屏方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述识屏方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (12)

1.一种识屏方法，其特征在于，所述识屏方法包括：
收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；
收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
2.根据权利要求1所述的识屏方法，其特征在于，所述收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口包括：
收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏角落按照所述滑动手势的方向弹出识屏操作窗口。
3.根据权利要求1所述的识屏方法，其特征在于，所述识屏方法还包括：
收到对所述识屏功能键的触控操作，生成从所述显示屏角落往外扩散出的波浪显示动画，以对所述显示屏的当前显示内容的识屏操作进行启动提示。
4.根据权利要求1-3中任一项所述的识屏方法，其特征在于，所述显示屏的当前显示内容的界面显示类型为全界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：
收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容；
对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果，其中，所述交互操作窗口至少包括一个交互操作功能键。
5.根据权利要求4所述的识屏方法，其特征在于，所述显示屏的当前显示内容中包括文本内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：
收到对所述识屏功能键的触控操作，利用预设的文本识别技术，识别所述文本内容中每个语句所在的位置信息；
根据所述位置信息，分别绘制每个所述语句所在的区域，得到所述文本内容对应的可视交互内容。
6.根据权利要求4所述的识屏方法，其特征在于，所述显示屏的当前显示内容中包括图片内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：
收到对所述识屏功能键的触控操作，利用预设图片抓取技术，提取所述图片内容，得到当前显示内容中的可视交互内容。
7.根据权利要求6所述的识屏方法，其特征在于，在所述对所述可视交互内容进行高亮显示，以及对所述可视交互内容添加对应的交互操作窗口，得到识屏结果之后，还包括：
收到对所述交互操作功能键的触控操作，利用预设图像分割技术，识别所述识屏结果中图片内容的图像主体，并基于所述触控操作的跳转场景，展示对所述图像主体对应的处理结果。
8.根据权利要求4所述的识屏方法，其特征在于，所述显示屏的当前显示内容中包括视频内容，所述收到对所述识屏功能键的触控操作，识别所述显示屏的当前显示内容中的可视交互内容包括：
收到对所述识屏功能键的触控操作，对所述视频内容进行截屏操作，得到当前帧画面，并将当前帧画面在当前显示内容中进行弹窗显示，得到当前显示内容中的可视交互内容。
9.根据权利要求1-3中任一项所述的识屏方法，其特征在于，所述显示屏的当前显示内容的界面显示类型为小窗界面显示类型或者分屏界面显示类型，所述收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果包括：
收到对所述识屏功能键的触控操作，对所述显示屏中小窗界面的当前显示内容进行识屏操作、或者分别对所述显示屏中各个分屏界面的当前显示内容进行识屏操作，得到识屏结果。
10.一种识屏装置，其特征在于，所述识屏装置包括：
弹窗模块，用于收到从显示屏角落往显示屏中心区域的滑动手势，在所述显示屏弹出识屏操作窗口，所述识屏操作窗口中至少包括一个识屏功能键；
识屏模块，用于收到对所述识屏功能键的触控操作，对所述显示屏的当前显示内容进行识屏操作，得到识屏结果。
11.一种电子设备，其特征在于，所述电子设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述电子设备执行如权利要求1-9中任意一项所述的识屏方法的步骤。
12.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-9中任意一项所述识屏方法的步骤。
CN202310344134.4A 2023-03-29 2023-03-29 识屏方法、装置、设备及存储介质 Pending CN116360668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310344134.4A CN116360668A (zh) 2023-03-29 2023-03-29 识屏方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310344134.4A CN116360668A (zh) 2023-03-29 2023-03-29 识屏方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116360668A true CN116360668A (zh) 2023-06-30

Family

ID=86936611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310344134.4A Pending CN116360668A (zh) 2023-03-29 2023-03-29 识屏方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116360668A (zh)

Similar Documents

Publication Publication Date Title
US10489047B2 (en) Text processing method and device
CN104462437B (zh) 基于终端界面多次触控操作进行识别搜索的方法及系统
CN105868385B (zh) 基于终端界面触控操作进行搜索的方法及系统
TWI611338B (zh) 縮放螢幕畫面的方法、電子裝置及電腦程式產品
KR20140039209A (ko) 빠른 사이트 액세스 사용자 인터페이스를 갖춘 웹 브라우저
US20160345049A1 (en) Method and device for switching channel
CN112099684A (zh) 一种搜索展示方法、装置及电子设备
US20150186019A1 (en) Method and apparatus for manipulating and presenting images included in webpages
CN112433693B (zh) 分屏显示方法、装置及电子设备
US10824306B2 (en) Presenting captured data
WO2023045927A1 (zh) 对象移动方法和电子设备
CN113268182A (zh) 应用图标的管理方法和电子设备
WO2016173307A1 (zh) 一种消息复制方法和装置、以及智能终端
CN110417984B (zh) 一种在屏幕异形区域实现操作的方法、装置及存储介质
CN111897607A (zh) 应用界面加载与交互方法、设备及存储介质
CN112399010B (zh) 页面显示方法、装置和电子设备
CN109558203B (zh) 最近内容的展示方法、装置、终端及存储介质
CN115917488A (zh) 一种显示界面处理方法、装置及存储介质
CN113325986B (zh) 程序控制方法、装置、电子设备和可读存储介质
CN115016710B (zh) 应用程序推荐方法
CN116360668A (zh) 识屏方法、装置、设备及存储介质
CN114115639A (zh) 界面控制方法、装置、电子设备及存储介质
WO2016101768A1 (zh) 终端以及基于触摸操作的搜索方法和装置
CN115248650B (zh) 屏幕朗读方法、装置
CN115079878B (zh) 对象展示方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination