CN115033153A - 应用程序推荐方法及电子设备 - Google Patents

应用程序推荐方法及电子设备 Download PDF

Info

Publication number
CN115033153A
CN115033153A CN202111347293.7A CN202111347293A CN115033153A CN 115033153 A CN115033153 A CN 115033153A CN 202111347293 A CN202111347293 A CN 202111347293A CN 115033153 A CN115033153 A CN 115033153A
Authority
CN
China
Prior art keywords
text
recommendation
user
application
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111347293.7A
Other languages
English (en)
Other versions
CN115033153B (zh
Inventor
郑昊亮
毛璐
王晨博
李一博
车浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202111347293.7A priority Critical patent/CN115033153B/zh
Publication of CN115033153A publication Critical patent/CN115033153A/zh
Application granted granted Critical
Publication of CN115033153B publication Critical patent/CN115033153B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供了一种应用程序推荐方法及电子设备。该方法包括:电子设备响应于用户对第一应用的显示界面上显示第一文本的第一操作,在第一界面中的第一区域内显示第一推荐信息;响应于用户对第一文本的第二操作,在第一界面中的第二区域内显示第二推荐信息,第二推荐信息是根据对第一文本的文本分析得到的服务项列表,其中,第一区域小于第二区域;响应于用户对第一文本的第三操作,在第一界面上覆盖蒙版,在蒙版上显示服务项列表第一文本对应的第二应用预览图。通过该方法,能够基于用户对第一文本的不同输入方式,选择不同的推荐显示方式进行应用程序推荐,无需用户从电子设备中安装的大量应用程序中手动查找目标应用程序,能够提升用户体验。

Description

应用程序推荐方法及电子设备
技术领域
本申请涉及终端设备领域,尤其涉及一种应用程序推荐方法及电子设备。
背景技术
当前,手机、平板等智能终端类电子设备中通常安装有大量应用。用户在使用这类电子设备时,经常遇到针对文本或者图片中的内容查找应用的需求,例如:文本中包含 地址用户想要查找地图类应用对其进行导航。此时,用户需要退出当前文本从主界面中 包含的大量应用中查找导航应用,操作过程繁琐,耗费长,导致用户体验较差。
发明内容
本申请提供一种应用推荐方法及电子设备,通过该应用程序推荐方法能够基于用户 对第一文本的不同输入方式,选择不同的推荐显示方式进行应用程序推荐,无需用户从电子设备中安装的大量应用程序中手动查找目标应用程序,能够提升用户体验。
在一些实施例中,电子设备可响应于用户对第一应用的显示界面上显示第一文本的 第一操作,在第一界面中的第一区域内显示第一推荐信息,响应于用户对第一文本的第二操作,在第一界面中的第二区域内显示第二推荐信息,其中第一区域小于第二区域; 响应于用户对第一文本的第三操作,在第一界面上覆盖蒙版,在蒙版上显示第三推荐信 息。可见,该电子设备一方面可依据用户选中的第一文本进行应用程序推荐,无需用户 从电子设备中安装的大量应用程序中手动查找目标应用程序。再一方面,电子设备显示 推荐信息时,依据用户的输入方式判定用户想要获取推荐信息的强烈程度,针对不同的 强烈程度,选择不同的推荐显示方式来显示推荐信息例如:悬浮球、悬浮窗以及蒙层显 示等推荐显示方式,不同的推荐显示方式的显示区域在屏幕中所占区域大小不同,使得 推荐信息的显示时更加人性化,避免对用户造成过多干扰。
第一方面,本申请提供一种应用程序推荐方法,应用于电子设备,其中,该方法包括:电子设备响应于用户对第一应用的显示界面上显示第一文本的第一操作,在第一界 面中的第一区域内显示第一推荐信息,该第一推荐信息是根据对第一文本的文本分析得 到的,第一推荐信可以包括但不限于单个服务项或应用图标;电子设备响应于用户对第 一文本的第二操作,在第一界面中的第二区域内显示第二推荐信息,第二推荐信息是根 据对第一文本的文本分析得到的服务项列表,第一区域小于所述第二区域;电子设备响 应于用户对第一文本的第三操作,在第一界面上覆盖蒙版,在蒙版上显示第三推荐信息, 其中,第三推荐信息包括:服务项列表和第一文本对应的第二应用预览图。
通过该应用程序推荐方法,能够基于用户对第一文本的不同输入方式,选择不同的 推荐显示方式进行应用程序推荐,无需用户从电子设备中安装的大量应用程序中手动查 找目标应用程序,能够提升用户体验。
根据第一方面,第一文本包括:纯文本或图片OCR识别得到的文本。纯文本的来源可以包括但不限于:浏览器、备忘录以及短信息等。图片的来源可以包括但不限于:图 库、实时截屏、浏览器或社交类软件等。该种应用推荐方法,不仅可为纯文本进行应用 推荐还可以为图片中的文本进行应用推荐,普适性强。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备响应于用户对第 一应用的显示界面上显示第一文本的第一操作,在第一界面中的第一区域内显示第一推 荐信息,包括:电子设备响应于用户对第一应用的显示界面上显示的第一文本的复制操作,在第一界面中显示悬浮球,悬浮球中包括根据对第一文本的文本分析得到的单个服 务项。对于用户选取文本后复制的输入操作,由于用户复制后的意图比较多难以确定, 因此当用户复制文本中包含预设实体时,给予用户较弱程度推荐,在满足部分情况下用 户预期的同时尽可能降低打扰程度。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备响应于用户对第 一文本的第二操作,在第一界面中的第二区域内显示第二推荐信息,包括:电子设备响应于用户对第一文本的单击操作,在第二界面中显示悬浮窗,悬浮窗中包括根据对第一 文本的文本分析得到的服务项列表。对于用户单击文本的输入操作,用户单击的意图较 明显主要是想选中文本对文本执行进一步的操作,因此当用户单击文本中包含预设实体 时,给予用户较强程度的推荐,在提供用户尽可能多的推荐信息的情况的同时尽可能减 低打扰程度。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备响应于用户对第 一文本的第三操作,在第一界面上覆盖蒙版,在蒙版上显示第三推荐信息,包括:电子设备响应于用户对第一文本的长按操作,在第一界面上覆盖蒙版,在蒙版上显示服务项列 表和第一文本对应的第二应用预览图。对于用户长按文本的输入操作,用户长按的意图 较很明显,因此当用户双击文本中包含预设实体时,给予用户强推荐,为用户提供尽可 能多的推荐信息,并且还为用户提供第二应用预览图,无需用户切换到第二应用中即可 查看想要查看的信息,操作更加便捷。例如:用户长按文本中的地址,电子设备在蒙版中 显示地图应用的预览图和与地址相关的服务项列表又可称为服务列表,用户直接通过蒙 版中显示的推荐预览图即可查看到长按地址的导航线路,无需用户再切换至地图应用中 查找导航线路。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备在第一应用的显 示界面上显示第一文本和第二文本之前,该方法还包括:电子设备响应于用户在第一应用中对图片的第四操作,在第一应用的显示界面中显示该图片;在图片中包括文本的情 况下,显示第一按钮又可称为OCR按钮,其中,第一按钮用于触发显示图片OCR识别 得到的第一文本和第二文本;用户想要触发电子设备显示图片的OCR识别结果时,可对 第一按钮执行第五操作,电子设备响应于用户对第一按钮的第五操作,在第一应用的显 示界面中高亮显示第一文本和第二文本,且在第一文本下添加下划线。第四操作可以包 括但不限于:单击、双击、长按、双指点击等操作,第五操作可以包括但不限于:单击、 双击或者长按等操作。该种对图片进行OCR识别的方式,操作简单便捷。该种在预设实 体下添加下划线进行显示的方法,一方面,便于用户直观获知哪些是预设实体,另一方 面,用户可点击部分预设实体或者下划线即可选中预设实体,无需通过光标在文本中移 动选取多文字文本,便于用户操作。需要说明的是,对于OCR识别结果中的非预设实体, 可以高亮显示但不在其下方添加下划线。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备在第一应用的显 示界面中高亮显示第一文本和第二文本,且在第一文本下添加下划线之后,该方法还包括:电子设备响应于用户对第一应用的显示界面中高亮显示的第二文本的双击操作,选 中双击操作位置处的短语。该种响应用户对非预设文本双击操作的方法,监测到用户对 图片中的短语的双击操作时,判定用户选中双击短语的可能性较大,因此直接选中被双 击的短语,相较于用户需滑动光标选中短语而言,操作更加便捷,能够提升用户的使用 体验。
根据第一方面,或者以上第一方面的任意一种实现方式,该方法还包括:电子设备响应于用户对第一应用的显示界面中空白区域的长按操作,选中长按操作位置预设范围内的预设实体,其中,预设实体包括:地址、码、身份证号码、电话号码、快递单号、网 址、邮箱地址、外文、淘口令或者抖音口令。用户选中电子设备一般会默认选中与用户触 发位置最接近的短语,而若用户触发位置最近的短语为预设实体的子集时,用户期望选 中该预设实体的可能性要高于单独选中该短语,因此该情况默认选中触发位置最近的预 设实体。该种通过长按空白区域选定预设范围内预设实体的方式,具有良好的容错性, 即便用户未对准预设实体进行长按,设备也可以通过容错机制自动选中用户期望长按的 预设实体。
根据第一方面,或者以上第一方面的任意一种实现方式,电子设备在第一应用的显 示界面中高亮显示第一文本和第二文本,且在第一文本下添加下划线之后,该方法还包括:电子设备响应于用户对第二文本的长按操作,选中长按操作位置处的短语。该种响 应用户对非预设文本长按操作的方法,监测到用户对图片中的短语的长按操作时,判定 用户选中长按短语的可能性较大,因此直接选中被长按的短语,相较于用户需滑动光标 选中短语而言,操作更加便捷,能够提升用户的使用体验。
第二方面,本申请提供一种应用程序推荐方法,应用于电子设备,该方法包括:电子 设备响应于用户对第一应用的显示界面上显示第一文本的第一操作,确定目标推荐强度; 依据第一文本确定推荐信息;采用与目标推荐强度匹配的推荐方式,显示推荐信息。第一输入包括但不限于:单击、双击、长按以及复制,推荐强度包括:弱推荐、中强度推 荐以及强推荐,推荐方式可以包括但不限于:悬浮球、悬浮窗以及蒙版,推荐信息可以包 括但不限于:单个服务项、应用图标、服务项列表以及应用预览图中的至少之一。通过该 应用程序推荐方法能够基于用户对第一文本的不同输入方式,选择不同的推荐显示方式 进行应用程序推荐,无需用户从电子设备中安装的大量应用程序中手动查找目标应用程 序,能够提升用户体验。
根据第二方面提供的应用程序推荐方法,电子设备响应于用户对第一应用的显示界 面上显示第一文本的第一操作,确定目标推荐强度,包括:电子设备在第一文本为预设实体、第一操作为复制操作的情况下,确定目标推荐强度为弱推荐;在第一文本为预设 实体、第一操作为长按操作的情况下,确定目标推荐强度为强推荐;在第一文本为预设 实体、第一操作为点击操作的情况下,确定目标推荐强度为中强度推荐,其中,点击操作 包括:单击或双击。该应用程序推荐方法,能够依据用户的输入方式判定用户想要获取 推荐信息的强烈程度,针对不同的强烈程度,选择不同的推荐显示方式来显示推荐信息 例如:悬浮球、悬浮窗以及蒙层显示等推荐显示方式,不同的推荐显示方式的显示区域 在屏幕中所占区域大小不同,使得推荐信息的显示时更加人性化,避免对用户造成过多 干扰。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备依据第一文本确 定推荐信息包括:电子设备对第一文本进行文本分析,确定第一文本所属的目标预设实体;确定目标预设实体在目标推荐强度下对应的推荐信息。其中,预设实体可以包括但 不限于:地址、码、身份证号码、电话号码、快递单号、网址、邮箱地址、外文、淘口 令或者抖音口令。该种基于第一文本中包含的预设实体和目标推荐强度确定推荐信息的 方式,所确定的推荐信息在提供用户尽可能多的推荐信息的情况的同时尽可能减低打扰 程度。
根据第二方面,或者以上第二方面的任意一种实现方式,电子设备采用与目标推荐 强度匹配的推荐方式,显示推荐信息,包括:在目标推荐强度为弱推荐的情况下,电子设备在第一应用的显示界面中显示悬浮球,悬浮球中包含推荐信息;在目标推荐强度为中 强度推荐的情况下,在第一应用的显示界面中显示悬浮窗,悬浮窗中包含推荐信息;在 目标推荐强度为强推荐的情况下,在第一应用的显示界面上覆盖蒙版,在蒙版上显示推 荐信息。例如:在悬浮球中可推荐单个服务项或应用图标,在悬浮窗中可推荐服务项列 表,在蒙版上可推荐服务项列表和对应应用的预览图。不同的推荐显示方式的显示区域 在屏幕中所占区域大小不同,并且所包含的推荐信息量也不同,使得推荐信息的显示时 更加人性化,避免对用户造成过多干扰。
第三方面,本申请提供一种电子设备,该电子设备包括:OCR引擎、窗口管理器、 活动管理器以及实体检测模块,该电子设备进行应用程序推荐时,OCR引擎对第一应用 中的图片进行OCR识别,得到OCR识别结果,并将OCR识别结果发送至实体检测模 块;
实体检测模块检测OCR识别结果中的预设实体,并将识别到的预设实体信息发送至活动 管理器;窗口管理器在图片上显示第一按钮又可称为OCR按钮,其中,第一按钮用于触 发活动管理器显示图片的OCR识别结果;活动管理器响应于对第一按钮的选中操作如单击、双击或者长按操作等,高亮显示图片的OCR识别结果,并为各预设实体添加下划线; 活动管理器监听用户对OCR识别结果的触发手势,确定触发手势的类型和触发位置;窗 口管理器,基于触发手势的类型确定目标推荐强度,基于触发位置确定推荐信息;采用 与目标推荐强度匹配的推荐方式,显示推荐信息。该电子设备能够基于用户对第一文本 的不同输入方式,选择不同的推荐显示方式进行应用程序推荐,无需用户从电子设备中 安装的大量应用程序中手动查找目标应用程序,能够提升用户体验。
第四方面,本申请提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行第一方面或第一方面的任意可能的实现方式中的方法的指令,或包括用于执行第二方面或第二方面的任意可能的实现方式中的方法的指令。
第五方面,本申请提供了一种计算机程序,该计算机程序包括用于执行第一方面或 第一方面的任意可能的实现方式中的方法的指令,或包括用于执行第二方面或第二方面 的任意可能的实现方式中的方法的指令。
附图说明
图1为示例性示出的电子设备的硬件结构示意图;
图2为示例性示出的电子设备的软件结构示意图;
图3为示例性示出的一种意图识别模块的示意图;
图4为示例性示出的一种短消息查看过程的交互界面示意图;
图5A为示例性示出的一种复制文本触发低强度推荐的交互界面示意图;
图5B为示例性示出的一种点击文本触发中强度推荐的交互界面示意图;
图5C为示例性示出的一种长按文本触发高强度推荐的交互界面示意图;
图5D为示例性示出的一种对短消息界面中的空白区域长按操作的响应界面示意图;
图6为示例性示出的一种应用程序推荐方法的流程示意图;
图7为示例性示出的一种对图库中的图片进行OCR的交互界面示意图;
图8A为示例性示出的一种点击图片中的文本触发中强度推荐的交互界面示意图;
图8B为示例性示出的一种点击图片中的文本无响应的交互界面示意图;
图8C为示例性示出的一种点击图片中的空白区域无响应的交互界面示意图;
图9A为示例性示出的一种双击图片中的文本触发中强度推荐的交互界面示意图;
图9B为示例性示出的一种双击图片中的文本选中短语的交互界面示意图;
图10A为示例性示出的一种长按图片中的文本触发强推荐的交互界面示意图;
图10B为示例性示出的一种长按图片中的空白区域选中短语的交互界面示意图;
图10C为示例性示出的一种长按图片中的文本选中短语的交互界面示意图;
图11为示例性示出的一种复制图片中的文本触发弱推荐的交互界面示意图;
图12为示例性示出的一种应用程序推荐方法的流程示意图;
图13为示例性示出的一种OCR按钮显示过程的界面示意图;
图14A为示例性示出的一种双击图片中的文本触发中强度推荐的交互界面示意图;
图14B为示例性示出的一种复制图片中的文本触发弱推荐的交互界面示意图;
图14C为示例性示出的一种长按图片中的文本触发强推荐的交互界面示意图;
图15为示例性示出的一种应用程序推荐方法的流程示意图;
图16为示例性示出的用户触发方式与推荐强度间对应关系示意图;
图17为示例性示出的软件模块交互示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整 地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系, 例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
本申请实施例的说明书和权利要求书中的术语“第一”和“第二”等是用于区别不同 的对象,而不是用于描述对象的特定顺序。例如,第一目标对象和第二目标对象等是用于区别不同的目标对象,而不是用于描述目标对象的特定顺序。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释 为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例 如”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,除非另有说明,“多个”的含义是指两个或两个以上。例如,多个处理单元是指两个或两个以上的处理单元;多个系统是指两个或两个以上的系统。
本申请实施例中的应用程序推荐方法可以应用于电子设备。该电子设备例如可以是 手机、平板等。图1为示例性示出的电子设备100的结构示意图。应该理解的是,图1所 示电子设备100仅是电子设备的一个范例,并且电子设备100可以具有比图中所示的更 多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图1 中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软 件、或硬件和软件的组合中实现。
请参见图1,电子设备100可以包括:处理器110,外部存储器接口120,内部存储 器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理 模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块 170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按 键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A, 陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感 器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K, 环境光传感器180L,骨传导传感器180M等。
电子设备100的软件系统可以采用分层架构、事件驱动架构、微核架构、微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100 的软件结构。
图2为示例性示出的本申请实施例的电子设备100的软件结构框图。
电子设备100的分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别 为应用程序层、应用程序框架层、安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括传感器、相机、图库、OCR引擎、应用推荐模块、 三方应用、截图以及实体检测等应用程序。
其中,OCR引擎可用于对图片进行OCR识别,实体检测用于对OCR识别结果中的 预设实体进行识别;图片可以是截屏应用所得到的截屏图片,也可以是相机应用拍照所 得的照片,还可以是图库中存储的图片,等等,本申请实施例对图片来源不做限制。
应用推荐用于根据用户选定的预设实体,按照预设的推荐规则确定待推荐的应用或 者服务列表,并将预测的应用推荐给用户。三方应用用于提供图片或者提供可单击、双击、长按以及复制的文本信息。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括视图系统、资源管理器、窗口管理器、活动管理器以及意图识别模块等。
其中,视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统 可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标、图片、布局文件、视频文件等等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小、判断是否有状态 栏、锁定屏幕、截取屏幕等。
意图识别模块对用户复制的文本进行意图识别,确定待推荐应用,对于意图识别模 块进行意图识别的具体过程请参照下文图3中的相关说明。
活动管理器用于管理各个应用程序的生命周期以及导航回退功能,负责Android的 主线程创建,各个应用程序的生命周期的维护。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓(Android)的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框 架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块,例如表面管理器(surface manager)、二维图形引擎以 及摄像头库模块等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
内核层是硬件和软件之间的层。内核层可以包含显示驱动、传感器驱动等模块。
可以理解的是,图2示出的软件结构中的层以及各层中包含的部件,并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多 或更少的层,以及每个层中可以包括更多或更少的部件,本申请不做限定。
为描述方便,本文后续将电子设备简称为设备。应当理解,本文中所提及的设备均可具有与前述实施例中的电子设备100相同的硬件结构(例如图1所示的硬件结构)以 相同的软件结构(例如图2所示的软件结构)。
图3为示例性示出的一种意图识别模块的示意图。
如图3所示,电子设备100应用程序架构层中的意图识别模块包括:感知模块301、计算机视觉(computer vision,CV)模块302、自然语言处理(Natural LanguageProcessing, NLP)模块303、计算引擎304、语音(Voice)模块305、建议模块306和多个应用307。 其中,计算引擎304进一步包括意图预测模块308和业务选择模块309。
感知模块301可以在用户在当前界面(也可以称为第一界面)中复制文本后,监听剪切板,以及获知剪切板内容(如复制的文本)、该剪切板内容的来源APP(如新闻APP、 阅读APP)、复制时间、复制地点等用户上下文。应理解,电子设备100中的功能模块的 动作,实质就是电子设备的动作。例如,感知模块301获取上下文信息的动作也可以理 解为电子设备100的动作。其它功能模块也类似,本文中将不再赘述。
CV模块302用于在用户使用相机对准文字后,采用光学字符识别(OpticalCharacter Recognition,OCR)技术提取相机对准的文字,并获取文字、文字的来源APP、相机采集 的时间、采集地点等用户上下文。示例性的,在打开手机的相机功能后,手机可显示摄像 头采集的预览图像,预览图像中包括文本内容。此时,CV模块302则可以提取文本内容中的文字,并获取相关上下文数据。
NLP模块303可以识别上述复制文本或者OCR技术提取的文本。具体的,NLP模 块303可以识别出文本为日程、待分享链接、淘宝口令、网址等类型中的至少一种。或 者,NLP模块303还可以识别出文本的语种。
意图预测模块308可以识别用户的意图,例如,识别复制文本的意图或者识别相机对准文字的意图。在识别出意图后,还可以进一步对意图排序,从而选出较强的意图。业 务选择模块309可以进行单任务、多任务以及对当前业务的选择。
voice模块305可以用于语音相关任务的处理。例如,可以用于翻译译文(如英文)的发音朗读。又如,可以用于朗读文本(TextToSpeech,TSS)。建议模块306可以将实现 意图的快捷入口展示在当前界面中。其中,该快捷入口可链接至相应的APP。也就是说, 建议模块306可调用外部的APP。例如,实现执行翻译则需调用翻译APP。并且,建议 模块306还可以根据用户对快捷入口的操作来更新用户画像标签。多个应用309可接收 调用并实现意图。
利用上述软件系统,电子设备可完成本申请实施例提供的翻译方法。具体的,如图3 所示,包括S1-S8:
S1、感知模块301将用户上下文发送给意图预测模块308,以供意图预测模块308预测用户复制文本的意图。或者,CV模块302将用户上下文发送给意图预测模块308,以 供意图预测模块308预测用户将相机对准文字的意图。应注意,在本文实施例中,主要 以复制操作触发手机识别意图的场景为例来说明本申请方案。但是实际实施时,并不以 此为限,本申请提供的翻译方法还可以用于上述相机对准文字触发电子设备识别意图的 场景中。
S2、意图预测模块308接收感知模块301发送来的用户上下文,并将该用户上下文中的复制文本发送给NLP模块303。NLP模块303接收意图预测模块308发送来的复制 文本,并识别复制文本的类型和语种。例如,识别复制文本是否为日程、链接、淘宝口 令、网址等等。而后,意图预测模块308可以根据用户画像标签、用户历史数据和/或NLP 模块303的识别结果,识别用户复制文本的意图。其中,用户画像标签主要包括职业、 年龄等标签。用户历史数据主要是指用户历史复制文本后执行的各种操作的统计数据, 如频率、次数。
示例性的,以执行翻译为例。若NLP模块303识别出复制文本的语言不是手机当前的系统语言(即电子设备设置的默认语言),则可以识别出用户的意图包括执行翻译。例如,电子设置的默认语言是简体中文,则第一语言可以是英文、日文、法文等除简体中文 之外的语言。通常而言,手机设置的默认语言是用户熟悉的语言,无需对其进行翻译。在 本文中,为了方便说明,将电子设备设置的默认语言称为第二语言,将第二语言之外的 语言称为第一语言。
在一些实施例中,NLP模块303还需要识别出复制文本的语言是预设语言,其中,预设语言是指电子设备系统或者电子设备上的翻译应用支持翻译的语言,才可以识别出用户的意图包括执行翻译。若电子设备根本不支持翻译复制文本的语言,则无法得到翻 译结果,针对该情况,则将识别为不存在执行翻译的意图。
在另一些实施例中,NLP模块303还需要识别出复制文本不是网址链接、邮箱或者利用机器生成的口令(如淘宝口令)等具有特定含义的字符串,才可以识别出用户的意 图包括执行翻译。上述这些具有特定含义的字符串,通常只是标识符,例如,用于区别不 同的网页、不同的邮箱、不同的淘宝商品等,并不具备语言上的含义。因此,不存在翻译 的需求。
S3、意图预测模块308对识别出的意图排序,从中选出得分最高的N个意图。其中,意图预测模块308可以根据用户对识别出的意图对应的目标功能的使用频次,对识别出 的意图打分。例如,识别出的意图包括执行翻译、添加备忘录和分享到聊天应用。若在用 户的历史使用数据中,用户复制文本后执行翻译的次数最多,则执行翻译的意图得分最 高。而后,意图预测模块308将该N个意图发送给业务选择模块309。
S4、业务选择模块309在接收到N个意图后,从手机中选中可以实现该N个意图的目标功能。示例性的,目标功能包括执行翻译、添加日程提醒、打开地图导航、打开淘 宝、打开抖音等功能中的至少一种。而后,业务选择模块309将目标功能的信息发送给 建议模块306。
S5、在业务选择模块309完成业务选择后,若选择的目标功能中包括需要语音支持的功能,则通知voice模块305开启,以辅助实现意图。例如,执行翻译需要朗读发音、 打开地图导航需要语音导航。
S6、建议模块306在接收到目标功能后,在当前界面(如复制文本所在界面)上显示目标功能的快捷入口。并且,在显示快捷入口后,建议模块305可接收用户对快捷入 口的选择操作。建议模块305响应于用户对快捷入口的选择操作(如点击操作或者长按 操作,也可以称为第二操作),可链接至相应的APP。
S7、多个应用309中的任一应用在接收到来自建议模块305的调用请求后,则启动应用以供用户实现相应的意图。
上述仅是以电子设备监听到剪切板中的内容变化后或者相机对准文字后触发识别用 户意图的场景为例进行说明,该意图识别模块可执行上述流程对用户选中的图片中的文 字或用户选中的文本中文字进行用户意图识别,为用户进行应用推荐。选中可以包括但 不限于:复制、点击、光标在屏幕中移动选中或者智能纠错选中等。例如:用户点击图片中的空白区域,电子设备可对其进行智能纠错自动为用户选中点击位置最近的短语。
本申请实施例中的应用推荐方法可基于用户对纯本文、图片或OCR处理后的图片中 执行的不同触发操作,进行不同强度的应用推荐,推荐强度包括但不限于:强推荐、中强度推荐以及弱推荐。用户触发操作包括但不限于:单击、双击、长按以及复制,电子设备 中预设有推荐强度决策机制。
如图16所示,用户的触发方式包括但不限于:单击、双击、长按以及复制,推荐强度决策机制中存储有用户触发方式与推荐强度之间的对应关系,推荐强度显示推荐信息的方式不同。例如:单击、双击对应中强度推荐,中强度推荐对应悬浮窗显示推荐信息; 长按对应强推荐又可称为高强度推荐,强推荐对应蒙层显示推荐信息;复制对应弱推荐 又可称为弱强度推荐,弱推荐对应悬浮球显示推荐信息。
本申请实施例的应用推荐方法,依据用户的输入方式判定用户想要获取应用推荐信 息的强烈程度,针对不同的强烈程度,选择不同的显示方式显示推荐信息例如:悬浮球、悬浮窗以及蒙层显示三种,这三种显示推荐信息的方式,所推荐信息在屏幕中显示时所 占区域大小不同,推荐信息的显示更加人性化,避免对用户造成过多干扰。例如:若用户 仅是点击某文本,用户可能并不想要获取该文本对应的应用推荐信息,此时若盲目以蒙 层的形式显示推荐信息,会干扰用户,影响用户的使用体验,而若采用悬浮球的形式显 示推荐信息,由于悬浮球显示在屏幕中仅占很小的区域,若用户不想进行应用切换直接 忽略悬浮球执行第一步操作即可不会对用户造成干扰。
下面结合具体实施例分别对三种场景下的应用程序推荐方法进行说明,场景一:在 纯文本中接收到用户不同方式的输入时,进行不同强度的信息推荐;场景二:在经过OCR后的图片中接收到用户不同方式的输入时,进行不同强度的信息推荐;场景三:在未进 行OCR的图片中接收到用户不同方式的输入时,进行不同强度的信息推荐。
下面结合图4-图6,对第一场景下的应用程序推荐方法进行说明。
图6为示例性示出的一种应用程序推荐方法的流程示意图,该应用程序推荐方法包 括如下步骤:
S1:用户点击短消息中的消息a。
本申请实施例中以用户对短消息中的文本执行输入为例进行说明,在实际实现过程 中,文本的来源并不局限于短消息还可以为浏览器、备忘录、邮件、微信等应用中的文本等。
点击可以包括但不限于:单指单击、单指双击或者双指点击等,本申请实施例中对于点击触发设备在屏幕上显示消息的具体操作不做限制。
例如:图4为示例性示出的一种短消息查看过程的交互界面示意图。在一个示例性的实现方式中,如图4(a)所示,用户可以点击设备的主界面中的“信息”图标,设备 接收到用户点击“信息”图标的操作后,进入到“信息”应用的内部界面,此时显示如 图4(b)所示的信息界面,信息界面中包括A发送的消息a,B发送的消息b、C发送的 消息c以及D发送的消息d等。用户可以继续在图4(b)图所示信息界面上进行点击消 息的操作,例如,假设用户点击了消息a。
S2:设备响应于点击消息a,在设备屏幕上显示消息a。
继续参照图4,设备响应于用户点击消息a的操作,在手机屏幕上显示消息a,消息a显示界面如图4(c)所示。图4中的(a)至(c)以从“消息”应用进入到消息a显示 界面为例进行了说明,需要说明的是,本申请并不限制进入到消息显示界面的方式。本 申请实施例中仅是以对信息应用中的消息中的文本进行处理为例进行说明,在实际实现 过程中还可以为朋友圈、公众号发文中、备忘录、通讯录以及文档中文本等等,此处不再 一一列举。
这里的设备是上文电子设备的简称,例如:设备可以是手机、平板等。本文中以设备 为手机为例进行说明。应当理解的是,本文中以手机为例所进行的说明同样适用于其他非手机的设备,例如平板等
S3:设备检测消息a中是否存在预设实体,若存在,在预设实体下方显示下划线。
设备显示用户点击的消息a后,检测消息a中是否包含预设实体,若包含,在预设实体下方显示下划线。预设实体可以由本领域技术人员预先设置在设备中,预设实体信 息可以以列表的形式存储。设备在对预设实体进行检测时,可以将消息a中的包含的实 体与系统中的预设实体进行比对,从而确定消息a中是否存在预设实体。预设实体可以 包括但不限于:地址、码、身份证号码、电话号码、快递单号、网址、邮箱地址、外文、 淘口令或者抖音口令等。预设实体可以由本领域技术人员灵活地增删或者修改。
继续参照图4,如图4(c)所示,用户识别到消息a的内容中包括“151xxxxxxx”、 运单号“xxxx”以及“北京市海淀区xx路xx大厦”这三个预设实体,因此在这三个预 设实体下添加下划线。而消息a中的“运单信息如下”、“运单号”这些文字,由于不属于 预设实体,因此,未在下方添加下划线显示。
在检测到的预设实体下方添加下划线进行显示,以提示用户所显示的消息a中哪些 为预设实体。其中,所显示的消息a的内容可以视为文本。需要说明的是,图4(c)中 仅是以为预设实体添加下划线以着重显示预设实体为例进行说明,在实际实现过程中, 设备可以以其他预设的着重显示方式预设实体。例如,设备可以以区分于非预设实体的 颜色高亮显示实体、或者为预设实体设置与其他非预设实体文字设置不同的底色,等等, 本申请对所显示的消息a的内容中包含的预设实体的着重显示方式不作限制。
实体识别方法可基于NLU(Natural Language Understanding,自然语言理解)技术实 现。NLU系统可设置在OCR引擎中,也可以单独设置在其他功能模块中,本申请实施例中以NLU系统设置在OCR引擎中为例进行说明。
NLU系统模仿人类理解语言的基本方式,即断句、分词等,将文本切割为一系列具有语义、语法的单元。当然也有一些切分方式不符合人类的直觉,比如N-gram算法、字 节对编码等切分方法,切分成的字符串单元不是词语。为此通常用“token”这个单词来表 示文本切分得到的字符串单元。
NLU系统会基于token序列,使用词向量空间模型、分布式表示模型等文本表示模型,得到一个数值向量或者矩阵。这个矩阵就是文本的数值化表示。人工智能领域的很 多算法只能处理数值类型的数据。而有些算法,比如基于词袋模型的文本相似度计算方 法,可以直接处理字符串序列,也可以应对以数值向量形式文本表示。因此,大家经常在 一个系统内使用指数向量或矩阵作为统一的文本表示形式。NLU系统就会基于文本表示 数据,使用分类算法、序列标注方法等等,计算得到文本中的“关键信息”,比如实体、三 元组、意图、事件等等。本申请实施例中,可将消息a中的内容作为待切分文本,采用 NLU系统对待切分文件进行识别,识别出消息a的内容中包含的预设实体。
S4:用户对消息a显示界面执行第一输入。
第一输入可以包括但不:单击、双击、长按或者复制操作等。第一输入可以作用在预 设实体上、非预设实体的文本上或者不包含文本的空白区域中这三类对象中。输入类型不同、第一输入作用的对象不同,则设备做出的响应不同,一种示例性的文本中不同输 入类型对应响应规则如表1所示:
表1:文本中不同输入类型与响应规则之间的对应关系
Figure BDA0003354467950000121
对于复制文本的操作,若复制的文本中不包含预设实体,则不对复制文本的操作做 出进一步响应。若复制的文本中包含预设实体,则基于复制的文本中所包含的预设实体确定待推荐应用信息又可以简称为推荐信息,采用弱推荐的显示方式显示推荐信息。例如:以悬浮球的形式显示推荐信息,悬浮球所覆盖的面积小,相应地对用户造成的干扰 小。
S5:在第一输入作用在预设实体上的情况下,设备依据第一输入的类型确定推荐强 度,依据第一输入作用的预设实体确定推荐信息。
不同预设实体对应不同的推荐信息,推荐信息可以包括但不限于:应用图标、应用图标列表、服务列表以及应用预览图等。
设备中可预先设置预设实体与应用、预设实体与服务列表、预设实体与应用预览图 之间的对应关系,该对应关系可以以列表的形式或者其他形式存储在存储区域中,为便于后续描述可以将该列表命名为推荐规则列表,需要说明的是,本申请实施例中对包含 预设实体与应用、预设实体与服务列表、预设实体与应用预览图之间的对应关系的列表 的具体名称不做限定。设备在确定用户选中的预设实体后,可从规则推荐列表中查询用 户选中的预设实体对应的应用、服务列表或者应用预览图进行推荐信息显示。
对于推荐规则列表中包含的具体对应关系,可由本领域技术人员灵活设置,一种示 例性地推荐规则列表包含的对应关系可以包括:
一种示例性的中强度推荐规则可以为:
地址对应推荐第一服务列表,第一服务列表中可以包括但不限于:显示识别到的地 址详情、“获取路线”、“复制”以及“分享”等服务项。
码可以包括但不限于支付码、身份识别二维码等,码对应推荐第二服务列表,可以包括但不限于:显示识别到的“码”链接或对应的应用、“在xxx应用中打开”、“在浏览 器中打开”、“拷贝链接”、“分享”以及“添加到备忘录”等服务项。
身份证号码对应推荐第三服务列表,可以包括但不限于:显示识别到的身份证详情、 “添加到备忘录”“复制”、“分享”等服务项。
电话号码对应推荐第四服务列表,可以包括但不限于:显示识别到的电话号码详情、 “呼叫电话”、“发送消息”、“添加到通讯录”以及“复制”等服务项。
快递单号对应推荐第五服务列表,可以包括但不限于:显示识别到的快递单号详情、 “查询运单详情”、“复制”以及“分享”等服务项。
网址对应推荐第六服务列表,可以包括但不限于:显示识别到的网址详情、“打开链 接”、“添加到链接列表”、“拷贝链接”以及“分享”等服务项。
邮箱地址对应推荐第七服务列表,可以包括但不限于:显示识别到的邮箱地址详情、 “新建邮箱”、“复制”以及“分享”等服务项。
外文、淘口令对应悬浮窗以及抖音口令不进行中强度推荐。
上文中的“复制”又可以称为“拷贝”。
一种示例性的强推荐规则可以为:
地址对应推荐第一服务列表和对应应用预览图、电话号码对应推荐第四服务列表和 对应应用预览图、快递单号对应推荐第五服务列表和对应应用预览图、网址对应推荐第六服务列表和对应应用预览图、身份证号码对应推荐第三服务列表和对应应用预览图、 邮箱对应第七服务列表和对应应用预览图等。
外文、淘口令对应悬浮窗以及抖音口令不进行强推荐。
一种示例性的弱推荐规则可以为:
地址对应推荐第一服务列表中的“获取路线”服务项,当然并不限于此,地址还可以 对应推荐第一服务列表中除“复制”服务项外的其他任意一个或多个服务项。
码不进行弱推荐,即接收到用户对码的复制操作时,仅复制码不进行应用程序推荐。
身份证号码对应推荐第三服务列表中的“添加到备忘录”“服务项,当然并不限于此, 身份证号码还可以对应推荐第三服务列表中除“复制”服务项外的其他任意一个或多个 服务项。
电话号码对应推荐第四服务列表中的“呼叫电话”服务项,当然并不限于此,电话号 码还可以对应推荐第三服务列表中除“复制”服务项外的其他任意一个或多个服务项。
快递单号对应推荐第五服务列表中的“查询运单详情”服务项,当然并不限于此,快 递单号还可以对应推荐第五服务列表中除“复制”服务项外的其他任意一个或多个服务项。
网址对应推荐第六服务列表中的“打开链接”服务项。当然并不限于此,快递单号还 可以对应推荐第六服务列表中除“复制”服务项外的其他任意一个或多个服务项。
邮箱地址对应推荐第七服务列表中的“新建邮箱”服务项。当然并不限于此,邮箱还 可以对应推荐第六服务列表中除“复制”服务项外的其他任意一个或多个服务项。
外文对应翻译悬浮球,用于推荐“翻译”服务;淘口令对应悬浮窗,用于推荐打开对应的淘宝页面,抖音口令对应抖音悬浮窗,用于推荐打开对应的抖音页面。
上述仅是示例性的列举了部分预设实体对应的不同推荐强度下的推荐信息。在实际 实现过程中,本领域技术人员可以灵活设置预设实体、推荐强度以及推荐信息之间的对应关系。
S6:设备采用与该推荐强度匹配的推荐方式,显示该推荐信息。
推荐强度可以包括但不限于:弱推荐又可以称为低强度推荐、中强度推荐以及强推 荐又可成为高强度推荐。弱推荐对应的推荐方式为:悬浮球显示,中强度推荐对应的推荐方式为:悬浮窗显示,强推荐对应的推荐方式为:蒙版推荐。
设备在确定第一输入作用的预设实体后,确定第一输入对应的推荐强度,然后从预 设的推荐强度-预设实体-推荐内容的推荐规则中,匹配对应的推荐信息。最后,通过第一 输入匹配的推荐方式,推荐确定的推荐内容,以完成应用程序推荐。
图5A为示例性示出的一种复制文本触发低强度推荐的交互界面示意图。如图5A所示,用户在图5A(a)中所示的消息a显示界面中通过光标选中:“运单号:xxxxx”时, 触发显示功能菜单栏,功能菜单栏中包括“全选”、“剪切”以及“复制”等功能选项。 如图5A(b)中所示,用户选中“复制”功能选项完成对“运单号:xxxxx”的复制。对 “运单号:xxxxx”的复制操作可视为第一输入,“运单号:xxxxx”可视为第一文本。设 备接收到用户对“运单号:xxxxx”的复制操作后,确定用户复制的第一文本中包含快递 单号这一预设实体,基于推荐强度决策机制确定复制对应的推荐强度为弱推荐,从预设 的弱推荐规则下查找快递单号对应的推荐内容为“查看运单详情”,并确定弱推荐对应悬 浮球,如图5A(c)所示,在消息a显示界面中以悬浮球的形式推荐“查看运单详情”服 务。用户可直接点击“查看运单详情”悬浮球,进入快递应用程序查看运单详情。
需要说明的是,悬浮球仅是弱推荐的一种显示形式,弱推荐的实质是要采用尽可能 小的显示区域显示推荐信息。本领域技术人员可以灵活设置弱推荐对应的显示方式,本申请实施例中对此不做具体限制。
图5B为示例性示出的一种点击文本触发中强度推荐的交互界面示意图。如图5B所示,用户在图5B(a)中所示的消息a显示界面中单击运单号“xxxx”时,设备接收到用 户对“xxxxx”的单击操作后,确定用户单击快递单号这一预设实体,基于推荐强度决策 机制确定单击对应的推荐强度为中强度推荐,从预设的中强度推荐规则下查找快递单号 对应的推荐内容为第五服务列表,第五服务列表中包括“查询运单详情”、“复制”以及 “分享”等服务项,并确定中强度推荐对应悬浮窗,如图5B(b)所示,在消息a显示界 面中以悬浮窗的形式显示第五服务列表。用户可直接点击悬浮窗中的任意服务项。
用户双击预设实体的情况下,也触发设备进行中强度推荐,采用悬浮窗显示推荐信 息。
若用户单击或双击无文本区域,设备均不做出响应,不推荐信息。若用户单击的区域有文本但该文本为非预设实体,设备不对本次单击做出响应。若用户双击的区域有文 本但该文本为非预设实体,则选中所在文本短语。
图5C为示例性示出的一种长按文本触发高强度推荐的交互界面示意图。如图5C所示,用户在图5C(a)中所示的消息a显示界面中长按运单号“xxxx”时,设备接收到用 户对“xxxxx”的长按操作后,确定用户长按快递单号这一预设实体,基于推荐强度决策 机制确定长按对应的推荐强度为强推荐,从预设的强推荐规则下查找快递单号对应的推 荐内容为第五服务列表,第五服务列表中包括“查询运单详情”、“复制”以及“分享”等 服务项以及对应应用的预览图,并确定强推荐对应蒙版显示,如图5C(b)所示,在消息 a显示界面中以蒙版的形式显示第五服务列表以及对应应用的预览图。蒙版覆盖整个屏 幕。用户可直接点击蒙版中显示的各服务项,也可以通过应用的预览图直观获知所选中 的该运单的运单详情。无需用户从当前界面中退出,从桌面中管理的大量应用中查找目 标应用,然后在目标应用中录入运单号来查看运单详情,操作便捷。不仅如此,还在蒙版 中提供第五服务列表,为用户提供预览图外的其他服务项供用户选择,以满足用户的个 性化需求,能够提升用户的使用体验。
比对图5A至图5C可视,弱推荐所使用的悬浮球显示方式遮挡的屏幕面积小于中强度推荐所使用的悬浮窗显示方式,中强度推荐所使用的悬浮窗显示方式遮挡的幕面积小于强推荐所使用的蒙版显示方式。遮挡屏幕面积越小对用户造成的干扰越小,相应地推 荐的信息越少。
图5D为示例性示出的一种对短消息显示界面中的空白区域长按操作的响应界面示 意图。如图5D所示,用户在图5D(a)中所示的消息a显示界面中长按空白区域时,设 备检测长按的位置,在该位置预设范围内搜索是否包含预设实体,搜索到预设实体时选 中该预设实体。如图5D(b)所示,用户长按的位置预设范围内包含预设实体“北京市海 淀区xx路xx大厦”,因此自动选中该预设实体,选中后该预设实体有背景填充,并且起 始点与终止点均有光标,以提示用户该预设实体已被选中。
长按的判定时长可由本领域技术人员灵活设置,本申请实施例中对此不做具体限制。 例如:设置为2秒、1秒或者1.5秒等。
需要说明的是,若用户长按空白区域后,设备检测长按的位置,在检测到的长按位置预设范围内未搜索到预设实体时,将选中长按位置处距离最近的短语。被选中的短语 为非预设实体。
若用户长按区域有文本,但文本中不包含预设实体时,设备将选中用户长按的文本 短语。
图4至图11中为对非编辑模式下文本执行第一输入的场景,对于编辑模式下的文本 在显示时无特殊标识,在接收到对文本中包含的预设实体的单击、双击操作时,不做中强度推荐;在接收到对文本中包含的预设实体的复制操作后,做弱推荐;在接收到对文 本中包含的预设实体的长按操作时,不做强推荐。
下面结合图7-图12,对第二场景下的应用程序推荐方法进行说明。
图12为示例性示出的一种应用程序推荐方法的流程示意图,该应用程序推荐方法包 括如下步骤:
S1:用户点击图库中的图片a。
S2:设备响应于点击图片a,在设备屏幕上显示图片a。
图7为示例性示出的一种对图库中的图片进行OCR的交互界面示意图。请参见图7,在一个示例性的实现方式中,如图7(a)所示,用户可以点击设备的主界面中的“图 库”图标,点击“图库”图标后,进入到“图库”应用的内部界面,此时的界面显示如图 7(b)所示。请参见图7(b),“图库”中包括图片a、图片1、图片2、图片3、图片n等 图片。用户可以继续在图7(b)图所示界面上进行点击图片的操作,例如,假设用户点 击了图片a。
此时,设备响应于点击图片a,在设备屏幕上显示图片a,如图7(c)所示。图7中 的(a)~(c)图以从图库进入到图片显示界面为例进行了说明,需要说明的是,本申请 并不限制进入到图片显示界面的方式。例如,在本申请其他实施例中,还可以通过截屏 后点击截屏图片的方式进入到图片显示界面,还可以通过在浏览网页过程中点击网页中 的图片的方式进入到图片显示界面,还可以通过社交通信软件聊天过程中点击聊天界面 中的图片的方式进入到图片显示界面,还可以通过在朋友圈、公众号发文中点击图片的 方式进入到图片显示界面等等,此处不再一一列举。
S3:设备检测图片a中是否存在文字,如果存在文字,获取图片a的OCR识别结果。
请继续参见图7,在显示图片a后,本申请实施例的应用程序推荐方法进一步检测图 片a中是否存在文字。如果图片a中存在文字,获取图片a的OCR识别结果。如果图片 a中不存在文字,判定图片a为纯图片,不执行本申请实施例的应用程序推荐流程。
本申请实施例中,设备可以通过多种方式来获取图片a的OCR识别结果。
在一个示例性的实现过程中,如果图片a的存储数据中包括图片a的OCR识别结果,设备可以直接从图片a的存储数据中读取图片a的OCR识别结果。
在另一个示例性的实现过程中,如果图片a的存储数据中不包括图片a的OCR识别结果,设备可以调用图2所示应用程序层的OCR引擎对图片a进行实时的OCR识别, 从OCR引擎的输出数据中获取到图片a的OCR识别结果。其中,OCR引擎用于对图片 进行OCR识别,输出图片的OCR识别结果。
需要说明的是,图片a的OCR可以由系统主动执行,也可以由用户双指触控图片a触发系统对图片进行OCR。
S4:如果获取到图片a的OCR识别结果,在设备屏幕上弹出OCR按钮。
如果图片a中不包含文本,则对图片OCR后,在屏幕上不弹出OCR按钮。按照现 有的对图片的输入方式与响应规则,做出响应。例如:用户双击图像时,缩放图像。
本步骤中设备屏幕上所弹出的OCR按钮处于未开启状态。此时的设备界面请参见图 7(d)。在用户未点击图7(d)中OCR按钮的情况下,图片a中的文本是不可选择、不 可复制的。
这时,用户可以点击OCR按钮,以触发后续高亮显示OCR识别结果以及对OCR识 别结果中包含的预设实体添加下划线的操作。
如果设备在屏幕上弹出OCR按钮后预设时长内没有检测到点击OCR按钮的操作,可以确认用户没有从OCR识别结果中选中目标文字、触发系统进行应用推荐的需求。此 时,设备可以在设备屏幕上主动停止显示OCR按钮,即OCR识别按钮从图片a的界面 上消失。预设时长可由本领域技术人员灵活设置,例如:设置为2秒、3秒、5秒等,本 申请实施例中对此不做具体限制。
在一个示例性的实现过程中,如果用户没有从OCR识别结果中选中文本触发系统进 行应用推荐的需求,用户也可以点击OCR按钮外的任意一处。此时,设备检测到用户对OCR按钮外的任意一处的点击操作,可以在设备屏幕上停止显示OCR按钮。这种方式 中,设备基于用户操作被动停止显示OCR按钮。
当然,在另一个示例性的实现过程中,如果用户无从OCR识别结果中选中文本触发系统进行应用推荐的需求,设备还可以将OCR按钮一直保持在未开启状态。
S5:用户点击OCR按钮。
设备检测到用户对OCR按钮的点击操作,可以确认用户有从OCR识别结果中选中目标文字触发系统进行应用推荐的需求。
对OCR按钮的点击操作并不局限于图7(d)中所示的单击操作,还可以为双击或长按操作等。
S6:设备响应于对OCR按钮的点击操作,在设备屏幕上高亮显示图片a的OCR识 别结果,并为预设实体添加下划线。
用户点击OCR按钮后的界面请参见图7(e),此时,OCR识别结果高亮显示,并且 在预设实体下方添加有下划线。图7(e)中所显示的OCR识别结果中的文本为可选择、 可点击、可复制的状态。
需要说明的是,图7(e)图中仅是示例性的显示OCR识别结果以及对OCR识别结 果中的预设实体进行突出显示的方式。在实际实现过程中,本领域技术人员可以灵活设 置,本申请对于OCR识别结果的显示方式不作限制。
例如,在一个示例中,对于OCR识别结果中的字符添加边框,以表示OCR识别结 果为可选择、可点击或者可复制状态。在另一个示例中,可以为OCR识别结果中的文本 添加边框并在边框中填充与图片背景不同的底色等。
图7(e)中OCR识别结果中包括“运单信息如下”“电话:151xxxxxx”、“运单号:xxxx”、“北京市海淀区xx路xx大厦”四段文本,其中“151xxxxxx”、具体的运单号“xxxx” 以及“北京市海淀区xx路xx大厦”分别为电话号码、运单号以及地址均为预设实体, 在显示时为这三个预设实体添加下划线,以提示用户识别到的OCR识别结果中哪些为预 设实体。需要说明的是,图7(e)中仅是以为预设实体添加下划线以着重显示预设实体 为例进行说明,在实际实现过程中,设备可以以其他预设的着重显示方式进行显示。例 如,设备可以以区分于非预设实体的颜色高亮显示实体、或者为实体设置与OCR识别结 果中的其他非预设实体文字设置不同的底色,等等,本申请对OCR识别结果中预设实体 的着重显示方式不作限制。
S7:用户对OCR识别后的图片执行第一输入。
第一输入可以包括但不:单击、双击、长按或者复制操作等。第一输入可以作用在预 设实体上、非预设实体的文本上或者不包含文本的空白区域中这三类对象中。输入类型不同、第一输入作用的对象不同,则设备做出的响应不同,一种示例性的OCR识别后的 图片中不同输入类型对应的响应规则如表2所示:
表2:OCR识别后的图片中不同输入类型与响应规则之间的对应关系
Figure BDA0003354467950000181
对于在OCR识别后的图片中复制文本的操作,若复制的文本中不包含预设实体,则不对复制文本的操作做出进一步响应。若复制的文本中包含预设实体,则基于复制的文 本中所包含的预设实体确定推荐信息,采用弱推荐的显示方式显示推荐信息。例如:以 悬浮球的形式显示推荐信息,悬浮球所覆盖的面积小,相应地对用户造成的干扰。
S8:在第一输入作用在预设实体上的情况下,设备确定第一输入对应的推荐强度,和第一输入作用的预设实体对应的推荐信息。
对于预设实体、推荐信息以及预设实体与推荐信息之间的关系的具体说明,参照图6 中S5步骤下的相关说明即可,在此不再赘述。
第一输入包括但不限于:单击、双击、长按以及复制,推荐强度包括:弱推荐、中强度推荐以及强推荐。其中,单击、双击预设实体对应中强度推荐,复制预设实体对应弱推荐,长按预设实体对应强推荐。
S9:设备采用与该推荐强度匹配的推荐方式,显示该推荐信息。
弱推荐对应的推荐方式为:悬浮球显示,中强度推荐对应的推荐方式为:悬浮窗显示,强推荐对应的推荐方式为:蒙版推荐。
设备在确定第一输入作用的预设实体后,确定第一输入对应的推荐强度,然后从预 设的推荐强度-预设实体-推荐内容的推荐规则中,匹配对应的推荐信息。最后,通过第一 输入匹配的推荐方式,推荐确定的推荐信息,以完成应用程序推荐。
图8A为示例性示出的一种点击图片中的文本触发中强度推荐的交互界面示意图。执行完图7完成对图片的OCR识别后,用户单击图片中的“北京市海淀区xx路xx大 厦”,设备接收到用户对“北京市海淀区xx路xx大厦”的单击操作后,确定用户单击地 址这一预设实体,基于推荐强度决策机制确定单击对应的推荐强度为中强度推荐,从预 设的中强度推荐规则下查找地址对应的推荐信息为第一服务列表,第一服务列表中包括 “获取路线”、“复制”以及“分享”等服务项,并确定中强度推荐对应悬浮窗,如图8A (b)所示,在图片a显示界面中以悬浮窗的形式显示第一服务列表。用户可直接点击悬 浮窗中的任意服务项。
用户双击预设实体的情况下,也触发设备进行中强度推荐,采用悬浮窗显示推荐信 息。
若用户单击无文本区域,设备不做出响应,不推荐信息。若用户单击的区域有文本但该文本为非预设实体,设备不对本次单击做出响应。若用户双击的区域有文本但该文 本为非预设实体,则选中所在文本短语。若用户双击的区域无文本,则图片放大,相应地 高亮区域跟随缩放,设备不推荐信息。
关于应用默认响应,不涉及推荐的情况下用户操作方式存在默认的用户响应,例如 在图库中双击图像即为缩放、文字区域的长按或双击与文字的选中相关。因此预设实体推荐在交互阶段不能完全将用户熟悉的操作覆盖。因此,在操作对象不为预设实体时双击、长按均延续用户的操作习惯响应为选中操作的短语。
图8B为示例性示出的一种点击图片中的文本无响应的交互界面示意图。如图8B(a) 所示,用户单击的区域包含文本“运单信息如下”中的“如下”短语,设备检测到“如下”短语被单击时,确定“如下”并非预设实体,因此确定虽然用户单击区域有文本但是为非 预设实体,如图8B(b)所示,设备不对本次单击做出响应,图片a的显示界面无变化。
图8C为示例性示出的一种点击图片中的空白区域无响应的交互界面示意图。如图8C(a)所示,用户单击图片a显示界面中的空白区域即无文本区域时,设备检测到单击 区域无文本,因此确定不对本次单击做出响应,不推荐信息,如图8C(b)所示,设备不 对本次单击做出响应,图片a的显示界面无变化。
图9A为示例性示出的一种双击图片中的文本触发中强度推荐的交互界面示意图。如图9A(a)所示,用户在图片a显示界面中双击“北京市海淀区xx路xx大厦”时,设 备接收到用户对“北京市海淀区xx路xx大厦”的双击操作后,确定用户双击地址这一 预设实体,基于推荐强度决策机制确定双击对应的推荐强度为中强度推荐,从预设的中 强度推荐规则下查找地址对应的推荐信息为第一服务列表,第一服务列表中包括“获取 路线”、“复制”以及“分享”等服务项,并确定中强度推荐对应悬浮窗,如图9A(b)所 示,在图片a显示界面中以悬浮窗的形式显示第一服务列表,并且OCR识别结果的显示 未发生变化,用户可直接点击悬浮窗中的任意服务项。用户也可以重新选中图片a显示 界面中的其他文本,触发设备进行下一轮应用程序推荐。
图9B为示例性示出的一种双击图片中的文本选中短语的交互界面示意图。如图9B(a)所示,用户在图片a显示界面中双击“如下”时,设备接收到用户对“如下”的双 击操作后,确定用户双击的区域有文本但该文本为非预设实体,则选中所在文本短语“如 下”。如图9B(b)所示,用户双击处的短语为“如下”,因此选中该短语,选中后该短语 “如下”有背景填充,并且起始点与终止点均有光标,以提示用户“如下”这一短语已被 选中。
设备监测到用户对OCR后的图片中的短语的双击操作时,判定用户选中双击短语的 可能性较大,因此直接选中被双击的短语,相较于用户需滑动光标选中短语而言,操作更加便捷,能够提升用户的使用体验。
图10A为示例性示出的一种长按图片中的文本触发强推荐的交互界面示意图。如图 10A(a)所示,用户在图10A(a)中所示的图片a显示界面中长按地址“北京市海淀区 xx路xx大厦”时,设备接收到用户对“北京市海淀区xx路xx大厦”的长按操作后,确 定用户长按地址这一预设实体,基于推荐强度决策机制确定长按对应的推荐强度为强推 荐,从预设的强推荐规则下查找地址对应的推荐信息为第一服务列表以及对应应用的预 览图,第一服务列表中包括“获取路线”、“复制”以及“分享”等服务项,并确定强推荐 对应蒙版显示,如图10A(b)所示,在图片a显示界面中以蒙版的形式显示第一服务列 表以及对应应用的预览图。蒙版覆盖整个屏幕。用户可直接点击蒙版中显示的各服务项, 也可以通过应用的预览图直观获知所选中的该地址对应的导航路线。无需用户从当前界 面中退出,从桌面中管理的大量应用中查找目标应用,然后在目标应用中录入地址来获 取导航路线,操作便捷。不仅如此,还在蒙版中提供第一服务列表,为用户提供预览图外 的其他服务项供用户选择,以满足用户的个性化需求,能够提升用户的使用体验。
图10B为示例性示出的一种长按图片中的空白区域选中短语的交互界面示意图。如 图10B(a)所示,用户长按图片a显示界面中的无文本区域又可称为空白区域,设备检 测到用户的长按操作后,确定长按位置处无文本,查找长按位置预设范围内是否包含预 设实体,设备查找到长按位置处包含预设实体“北京市海淀区xx路xx大厦”因此自动 选中该预设实体,选中后该预设实体有背景填充,并且起始点与终止点均有光标,以提 示用户该预设实体已被选中。长按的判定时长可由本领域技术人员灵活设置,本申请实 施例中对此不做具体限制。例如:设置为2秒、1秒或者1.5秒等。
用户选中时设备一般会默认选中与用户触发位置最接近的短语,而若用户触发位置 最近的短语为预设实体的子集时,用户期望选中该预设实体的可能性要高于单独选中该 短语,因此该情况默认选中触发位置最近的预设实体。
需要说明的是,若用户长按空白区域后,设备检测长按位置,在检测到的长按位置预设范围内未搜索到预设实体时,将选中长按位置处距离最近的短语。被选中的短语为 非预设实体。依然参照图10B(a),若用户长按“运单详情如下”右侧空白区域,设备检 测到长按位置预设范围内包含的文本为“运单详情如下”,而“运单详情如下”中并不包 含预设实体,因此将距离长按位置最近的短语“如下”确定为选中的短语。
该种通过长按空白区域选定预设范围内预设实体的方式,具有良好的容错性,即便 用户未对准预设实体进行长按,设备也可以通过容错机制自动选中用户期望长按的预设 实体。
图10C为示例性示出的一种长按图片中的文本选中短语的交互界面示意图。如图10C (a)所示,用户在图片a显示界面中长按区域包含文本“运单信息如下”中的“如下” 短语,设备检测到“如下”短语被长按时,确定选中长按的短语,如图10C(b)所示, 设备选中“如下”短语。
用户执行长按操作时,一般意图性很强,设备直接将用户长按的短选中,这样用户仅需执行简单的长按操即可选定某短语,相较于用户在界面中拖动光标选中短语而言, 操作更加便捷。
图11为示例性示出的一种复制图片中的文本触发弱推荐的交互界面示意图。如图11 (a)所示,用户在图11(a)中所示的图片a显示界面中通过光标选中:“北京市海淀区 xx路xx大厦”时,触发显示功能菜单栏,功能菜单栏中包括“全选”、“剪切”以及“复 制”等功能选项。如图11(b)中所示,用户选中“复制”功能选项完成对“北京市海淀 区xx路xx大厦”的复制。对“北京市海淀区xx路xx大厦”的复制操作可视为第一输 入,“北京市海淀区xx路xx大厦”可视为第一文本。设备接收到用户对“北京市海淀区 xx路xx大厦”的复制操作后,确定用户复制的第一文本中包含地址这一预设实体,基于 推荐强度决策机制确定复制对应的推荐强度为弱推荐,从预设的弱推荐规则下查找地址 对应的推荐内容为“获取路线”服务项,并确定弱推荐对应悬浮球,如图11(c)所示, 在图片a显示界面中以悬浮球的形式推荐“获取路线”服务。用户可直接点击“获取路 线”悬浮球,进入地图应用程序查看导航路线。通过悬浮球的形式显示推荐信息后,图 片a显示界面中的文本恢复被复制之前的状态,用户可重新对图片a显示界面中包含的 文本执行第一输入如:单击、双击、长按或者复制操作等,触发设备执行下一轮的应用 程序推荐流程。
关于用户选取文本后复制的输入操作,由于用户复制后的意图比较多难以确定,因 此当用户复制文本内容包含预设实体时,给予用户较弱程度推荐,在满足部分情况下用户预期的同时尽可能降低打扰程度。
下面结合图13-图15,对第三场景下的应用程序推荐方法进行说明。
图15为示例性示出的一种应用程序推荐方法的流程示意图,该应用程序推荐方法包 括如下步骤:
S1:用户点击图库中的图片a。
S2:设备响应于点击图片a,在设备屏幕上显示图片a。
S3:设备检测图片a中是否存在文本,如果存在文本,获取图片a的OCR识别结果。
S4:如果获取到图片a的OCR识别结果,在设备屏幕上弹出OCR按钮。
对于本申请实施例中的S1至S4的说明,参照图12中的S1至S4的相关说明即可, 在此不再赘述。
图13为示例性示出的一种OCR按钮显示过程的界面示意图。如图13(a)所示,设 备在对图片a执行完OCR后,在图片a显示界面中显示OCR按钮,所显示的OCR按钮 用于提示用户可触发对图片a的OCR。如图13(b)所示,用户未点击OCR按钮,触发 设备显示ORC识别结果,因此图片a显示界面中各文本未高亮显示,更未在预设实体下 方添加下划线。
需要说明的是,S4中也可以不对图片a进行OCR,在检测到图片a中包含文本的情况下便在设备屏幕上弹出OCR按钮。
S5:用户对图片a执行第一输入。
第一输入可以包括但不限于:单击、双击、长按或者复制等。第一输入可以作用在预 设实体上、非预设实体的文本上或者不包含文本的空白区域中这三类对象中。输入类型不同、第一输入作用的对象不同,则设备做出的响应不同,一种示例性的未进行OCR的 图片中不同输入类型对应的响应规则如表3所示:
表3:未进行OCR的图片中不同输入类型与响应规则之间的对应关系
Figure BDA0003354467950000221
对于未进行OCR的图片中执行的复制文本的操作,若复制的文本中不包含预设实体,则不对复制文本的操作做出进一步响应。若复制的文本中包含预设实体,则基于复 制的文本中所包含的预设实体确定推荐信息,采用弱推荐的显示方式显示推荐信息。例 如:以悬浮球的形式显示推荐信息,悬浮球所覆盖的面积小,相应地对用户造成的干扰 小。
S6:在第一输入为双击、长按或者复制中的任意之一的情况下,设备依据第一输入的类型确定推荐强度,依据第一输入作用的预设实体确定推荐信息。
用户在未进行OCR图片中执行单击操作时,无论单击的区域是否包含文字,设备均不对单击进行响应。
对于预设实体、推荐信息以及预设实体与推荐信息之间的关系的具体说明,参照图6 中S5步骤下的相关说明即可,在此不再赘述。推荐强度包括:弱推荐、中强度推荐以及强推荐。其中,双击预设实体对应中强度推荐,复制预设实体对应弱推荐,长按预设实体 对应强推荐。
S7:设备采用与该推荐强度匹配的推荐方式,显示该推荐信息。
弱推荐对应的推荐方式为:悬浮球显示,中强度推荐对应的推荐方式为:悬浮窗显示,强推荐对应的推荐方式为:蒙版推荐。
设备在确定第一输入作用的预设实体后,确定第一输入对应的推荐强度,然后从预 设的推荐强度-预设实体-推荐内容的推荐规则中,匹配对应的推荐信息。最后,通过第一 输入匹配的推荐方式,推荐确定的推荐信息,以完成应用程序推荐。
14A为示例性示出的一种双击图片中的文本触发中强度推荐的交互界面示意图。如 图14A(a)所示,用户在图片a显示界面中双击“北京市海淀区xx路xx大厦”时,设 备接收到用户对“北京市海淀区xx路xx大厦”的双击操作后,确定用户双击地址这一 预设实体,基于推荐强度决策机制确定双击对应的推荐强度为中强度推荐,从预设的中 强度推荐规则下查找地址对应的推荐信息为第一服务列表,第一服务列表中包括“获取 路线”、“复制”以及“分享”等服务项,并确定中强度推荐对应悬浮窗,如图14A(b) 所示,在图片a显示界面中以悬浮窗的形式显示第一服务列表,整个过程中OCR按钮始 终处于未开启状态。用户可直接点击悬浮窗中的任意服务项。用户也可以重新双击、复 制或者长按图片a显示界面中的其他文本,触发设备进行下一轮应用程序推荐。
若用户在图片a显示界面中双击的区域无文本,设备将图片a放大显示。若用户在图片a显示界面中双击的区域有文本,但是文本中不包含预设实体的情况下,例如用户 双击“运单详情如下”中的“详情”短语,设备则自动选中双击区域的短语。
设备监测到用户对图片中的短语的双击操作时,判定用户选中双击短语的可能性较 大,因此直接选中被双击的短语,相较于用户需滑动光标选中短语而言,操作更加便捷,能够提升用户的使用体验。
14B为示例性示出的一种复制图片中的文本触发弱推荐的交互界面示意图。如图14B (a)至(b)所示,用户复制“北京市海淀区xx路xx大厦”,设备接收到用户对“北京 市海淀区xx路xx大厦”的复制操作后,确定用户复制的文本中包含地址这一预设实体, 基于推荐强度决策机制确定复制对应的推荐强度为弱推荐,从预设的弱推荐规则下查找 地址对应的推荐内容为“获取路线”服务项,并确定弱推荐对应悬浮球,如图14B(c) 所示,在图片a显示界面中以悬浮球的形式推荐“获取路线”服务。用户可直接点击“获 取路线”悬浮球,进入地图应用程序查看导航路线。
关于用户在图片a显示界面中选取文本后复制的输入操作,由于用户复制后的意图 比较多难以确定,因此当用户复制文本内容包含预设实体时,给予用户较弱程度推荐,在满足部分情况下用户预期的同时尽可能降低打扰程度。
14C为示例性示出的一种长按图片中的文本触发强推荐的交互界面示意图。如图14C (a)所示,用户长按区域中包含预设实体“北京市海淀区xx路xx大厦”时,设备确定 该长按操作对应强推荐,并且确定地址对应推荐信息为第一服务列表以及对应应用的预 览图,第一服务列表中包括“获取路线”、“复制”以及“分享”等服务项,并确定强推荐 对应蒙版显示,如图14C(b)所示,在图片a显示界面中以蒙版的形式显示第一服务列 表以及对应应用的预览图。
若用户在图片a显示界面中长按的区域无文本,设备将选中长按处最近的文本短语, 若短语为预设实体的子集时,选中短语所属的预设实体。若用户在图片a显示界面中双击的区域有文本,但是文本中不包含预设实体的情况下,例如用户双击“运单详情如下” 中的“详情”短语,设备则自动选中双击区域的短语。
图片型响应方式与文本型响应方式区别在于,文本型界面时预设实体存在下划线, 用户单击带有下划线的位置能够表明较强的用户意图,因此给予中强度推荐,而图片型 界面实体无下划线,关于单击的推荐可能造成用户打扰,因此只有用户采取更强烈的操作手势时才给予用户推荐,如双击时给予中强度推荐和长按时给予强推荐。
需要说明的是,本申请实施例中上述举例中以设备系统中预设双击或单击预设实体 对应中强度推荐、复制预设实体对应弱推荐、长按预设实体对应强推荐为例进行说明。在实际实现过程中,用户还可以手动对系统中默认的推荐强度决策机制进行调整。例如:
例如:设备中设置推荐功能设置界面,在该界面中推荐有系统中默认的推荐强度决 策机制如单击预设实体进行中强度推荐,在悬浮窗中对应推荐服务列表;长按实体对应进行强推荐,服务卡片带蒙版的形式显示推荐信息;复制实体对应弱推荐,悬浮球的形 式显示推荐信息。用户可在推荐功能设置界面中选定某一用户操作后,点击该用户操作 对应的推荐方式,触发设备显示服务推荐模式切换选项,从提供的可供切换的选项中选 择其他服务推荐模式替代系统中针对该用户操作默认的服务推荐模式。重复该流程,用 户可以对用户操作对应的服务推荐模式进行切换,设备将依据用户调整后的推荐强度决 策机制进行应用程序推荐。其中,服务推荐模式切换选项可以包括但不限于:蒙版推荐、 悬浮球推荐以及悬浮窗推荐等。
图17为示例性示出的软件模块交互示意图。下面结合图17以图片场景下依据用户输入进行应用程序推荐为例,对本申请实施例的应用程序推荐流程进行说明。
应用程序推荐流程执行过程中,主要涉及到的软件模块包括:OCR引擎、窗口管理器、活动管理器以及实体检测模块。其中,如图2所示,OCR引擎和实体检测模块设置 在系统软件架构的应用程序层,窗口管理器、活动管理器设置在应用程序框架层。如图 17所示,应用程序推荐流程主要包括如下步骤:
S1:OCR引擎对图片进行OCR。
图片为用户当前查看的图片,对于图片的来源参照前述相关说明即可,在此不再赘 述。
OCR引擎对进行OCR识别后,得到OCR识别结果,将OCR识别结果发送至实体 检测模块。
S2:实体检测模块检测OCR识别结果中的预设实体。
实体检测模块检测到OCR识别结果中的预设实体后,将识别到的预设实体信息发送 至活动管理器。其中,对OCR识别结果中预设实体的检测又可称为预设实体识别。
S3:窗口管理器在右下侧显示灰色OCR按钮。
其中,右下侧仅是示例性的说明可OCR按钮的显示位置,在实际实现过程中,不对OCR按钮的显示位置进行限制。灰色也仅是想表达OCR按钮处于未开启状态,表达OCR 按钮处于未开启状态的具体表达方式可以由本领域技术人员灵活设置,例如可设置为 OCR按钮未开启状态时为第一尺寸,OCR按钮开启后为第二尺寸,第一尺寸大于第二尺 寸,便于用户辨识OCR按钮是否开启。OCR按钮又可称为第一按钮,用于触发活动管理 器显示图片的OCR识别结果。
S4:活动管理器响应对OCR按钮的选中操作。
选中操作可以包括但不限于:单击、双击或者长按操作等。在接收到对OCR按钮的点击操作后,显示OCR识别结果。
S5:活动管理器高亮显示OCR识别结果,并为预设实体添加下划线。
S6:活动管理器监听用户触发手势及位置。
活动管理器监听用户对OCR识别结果的触发手势,确定触发手势的类型和触发位置,并将触发手势的类型和触发位置发送至窗口管理器。触发手势指用户对图片的第一 输入,可以包括但不限于:单击、双击、长按或者复制等。位置可以包括但不限于:非文 本区域即空白区域、预设实体区域、包含文本但文本为非预设实体。S7:窗口管理器弹 出对应强度推荐框。
窗口管理器,基于触发手势的类型确定目标推荐强度,基于触发位置确定推荐信息; 采用与目标推荐强度匹配的推荐框又可称为推荐方式,显示推荐信息。
推荐框的形式可以包括但不限于:悬浮球、悬浮窗以及蒙版,悬浮球对应弱推荐,悬 浮窗对应中强度推荐,蒙版对应强推荐。
该种应用程序推荐方法,依据用户的输入方式判定用户想要获取应用推荐信息的强 烈程度,针对不同的强烈程度,选择不同的显示方式显示推荐信息例如:悬浮球、悬浮窗以及蒙层显示三种,这三种显示推荐信息的方式,所推荐信息在屏幕中显示时所占区域 大小不同,推荐信息的显示更加人性化,避免对用户造成过多干扰。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件和/ 或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤,本申请能够以硬件 或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件 的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的 功能描述,在此不再赘述。
本实施例还提供一种计算机存储介质,该计算机存储介质中存储有计算机指令,当 该计算机指令在电子设备上运行时,使得电子设备执行上述相关方法步骤实现上述实施 例中的应用程序推荐方法。
本实施例还提供了一种计算机程序产品,当该计算机程序产品在计算机上运行时, 使得计算机执行上述相关步骤,以实现上述实施例中的应用程序推荐方法。
其中,本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执行上文所提供的对应的方法,因此,其所能达到的有益效果可参考上文所提供的对应 的方法中的有益效果,此处不再赘述。
通过以上实施方式的描述,所属领域的技术人员可以了解到,为描述的方便和简洁, 仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分 配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组 件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显 示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的 间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部 件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
本申请各个实施例的任意内容,以及同一实施例的任意内容,均可以自由组合。对上述内容的任意组合均在本申请的范围之内。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述 的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从 一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机 能够存取的任何可用介质。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实 施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出 很多形式,均属于本申请的保护之内。

Claims (15)

1.一种应用程序推荐方法,应用于电子设备,其特征在于,包括:
响应于用户对第一应用的显示界面上显示第一文本的第一操作,在所述第一界面中的第一区域内显示第一推荐信息,所述第一推荐信息是根据对所述第一文本的文本分析得到的,所述第一推荐信息包括:单个服务项或应用图标;
响应于用户对所述第一文本的第二操作,在所述第一界面中的第二区域内显示第二推荐信息,所述第二推荐信息是根据对所述第一文本的文本分析得到的服务项列表;其中,所述第一区域小于所述第二区域;
响应于用户对所述第一文本的第三操作,在所述第一界面上覆盖蒙版,在所述蒙版上显示第三推荐信息,所述第三推荐信息包括:所述服务项列表和所述第一文本对应的第二应用预览图。
2.根据权利要求1所述的方法,其特征在于,所述第一文本包括:纯文本或图片OCR识别得到的文本。
3.根据权利要求1所述的方法,其特征在于,响应于用户对第一应用的显示界面上显示第一文本的第一操作,在所述第一界面中的第一区域内显示第一推荐信息,包括:
响应于用户对第一应用的显示界面上显示的第一文本的复制操作,在所述第一界面中显示悬浮球,所述悬浮球中包括根据对所述第一文本的文本分析得到的单个服务项。
4.根据权利要求1所述的方法,其特征在于,响应于用户对所述第一文本的第二操作,在所述第一界面中的第二区域内显示第二推荐信息,包括:
响应于用户对所述第一文本的单击操作,在所述第二界面中显示悬浮窗,所述悬浮窗中包括根据对所述第一文本的文本分析得到的服务项列表。
5.根据权利要求1所述的方法,其特征在于,响应于用户对所述第一文本的第三操作,在所述第一界面上覆盖蒙版,在所述蒙版上显示第三推荐信息,包括:
响应于用户对所述第一文本的长按操作,在所述第一界面上覆盖蒙版,在所述蒙版上显示所述服务项列表和第一文本对应的第二应用预览图。
6.根据权利要求1所述的方法,其特征在于,在第一应用的显示界面上显示第一文本和第二文本之前,所述方法还包括:
响应于用户在第一应用中对图片的第四操作,在所述第一应用的显示界面中显示所述图片;
在所述图片中包括文本的情况下,显示第一按钮,其中,所述第一按钮用于触发显示所述图片OCR识别得到的第一文本和第二文本;
响应于用户对所述第一按钮的第五操作,在所述第一应用的显示界面中高亮显示所述第一文本和所述第二文本,且在所述第一文本下添加下划线。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于用户对所述第一应用的显示界面中高亮显示的第二文本的双击操作,选中所述双击操作位置处的短语。
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于用户对所述第一应用的显示界面中空白区域的长按操作,选中所述长按操作位置预设范围内的预设实体,其中,预设实体包括:地址、码、身份证号码、电话号码、快递单号、网址、邮箱地址、外文、淘口令或者抖音口令。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括:
响应于用户对所述第二文本的长按操作,选中所述长按操作位置处的短语。
10.一种应用推荐方法,应用于电子设备,其特征在于,包括:
响应于用户对第一应用的显示界面上显示第一文本的第一操作,确定目标推荐强度;
依据所述第一文本确定推荐信息;
采用与所述目标推荐强度匹配的推荐方式,显示所述推荐信息。
11.根据权利要求10所述的方法,其特征在于,所述响应于用户对第一应用的显示界面上显示第一文本的第一操作,确定目标推荐强度,包括:
在所述第一文本为预设实体、所述第一操作为复制操作的情况下,确定目标推荐强度为弱推荐;
在所述第一文本为预设实体、所述第一操作为长按操作的情况下,确定目标推荐强度为强推荐;
在所述第一文本为预设实体、所述第一操作为点击操作的情况下,确定目标推荐强度为中强度推荐,其中,所述点击操作包括:单击或双击。
12.根据权利要求10所述的方法,其特征在于,依据所述第一文本确定推荐信息包括:
对所述第一文本进行文本分析,确定所述第一文本所属的目标预设实体;
确定所述目标预设实体在所述目标推荐强度下对应的推荐信息。
13.根据权利要求11所述的方法,其特征在于,采用与所述目标推荐强度匹配的推荐方式,显示所述推荐信息,包括:
在所述目标推荐强度为弱推荐的情况下,在所述第一应用的显示界面中显示悬浮球,所述悬浮球中包含所述推荐信息;
在所述目标推荐强度为中强度推荐的情况下,在所述第一应用的显示界面中显示悬浮窗,所述悬浮窗中包含所述推荐信息;
在所述目标推荐强度为强推荐的情况下,在所述第一应用的显示界面上覆盖蒙版,在所述蒙版上显示所述推荐信息。
14.一种电子设备,其特征在于,所述电子设备包括:OCR引擎、窗口管理器、活动管理器以及实体检测模块;
所述OCR引擎对第一应用中的图片进行OCR识别,得到OCR识别结果,并将所述OCR识别结果发送至所述实体检测模块;
所述实体检测模块检测所述OCR识别结果中的预设实体,并将识别到的预设实体信息发送至所述活动管理器;
所述窗口管理器在所述图片上显示第一按钮,其中,所述第一按钮用于触发所述活动管理器显示所述图片的OCR识别结果;
所述活动管理器响应于对所述第一按钮的选中操作,高亮显示所述图片的OCR识别结果,并为各所述预设实体添加下划线;
所述活动管理器监听用户对所述OCR识别结果的触发手势,确定触发手势的类型和触发位置;
所述窗口管理器,基于所述触发手势的类型确定目标推荐强度,基于所述触发位置确定推荐信息;采用与所述目标推荐强度匹配的推荐方式,显示所述推荐信息。
15.一种计算机可读存储介质,包括计算机程序,其特征在于,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1-13中任意一项所述的应用程序推荐方法。
CN202111347293.7A 2021-11-15 2021-11-15 应用程序推荐方法及电子设备 Active CN115033153B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111347293.7A CN115033153B (zh) 2021-11-15 2021-11-15 应用程序推荐方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111347293.7A CN115033153B (zh) 2021-11-15 2021-11-15 应用程序推荐方法及电子设备

Publications (2)

Publication Number Publication Date
CN115033153A true CN115033153A (zh) 2022-09-09
CN115033153B CN115033153B (zh) 2023-12-19

Family

ID=83117959

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111347293.7A Active CN115033153B (zh) 2021-11-15 2021-11-15 应用程序推荐方法及电子设备

Country Status (1)

Country Link
CN (1) CN115033153B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608565A (zh) * 2024-01-23 2024-02-27 杭州实在智能科技有限公司 基于屏幕截图分析的rpa中ai类组件推荐方法及系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301623B2 (en) * 2007-05-22 2012-10-30 Amazon Technologies, Inc. Probabilistic recommendation system
CN105653134A (zh) * 2015-05-02 2016-06-08 Tcl集团股份有限公司 应用切换方法及其系统
CN107277269A (zh) * 2017-07-17 2017-10-20 北京泰迪熊移动科技有限公司 信息内容的处理方法和装置
CN108279828A (zh) * 2016-12-30 2018-07-13 北京搜狗科技发展有限公司 一种启动应用程序的方法、装置和终端
CN108470041A (zh) * 2018-02-12 2018-08-31 维沃移动通信有限公司 一种信息搜索方法及移动终端
CN109918186A (zh) * 2019-03-11 2019-06-21 广东小天才科技有限公司 一种应用程序的切换方法、装置及智能终端
CN109960801A (zh) * 2019-03-15 2019-07-02 北京字节跳动网络技术有限公司 数据处理方法及装置
CN110188278A (zh) * 2019-05-31 2019-08-30 三角兽(北京)科技有限公司 应用程序推荐方法、装置、电子设备及计算机可读存储介质
CN111125512A (zh) * 2019-11-18 2020-05-08 口碑(上海)信息技术有限公司 业务推荐处理方法、装置及系统
CN112307315A (zh) * 2019-08-02 2021-02-02 广州三星通信技术研究有限公司 智能推荐服务的方法及装置
US20210035244A1 (en) * 2018-03-27 2021-02-04 Huawei Technologies Co., Ltd. Scenario-Based Application Recommendation Method and Apparatus

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301623B2 (en) * 2007-05-22 2012-10-30 Amazon Technologies, Inc. Probabilistic recommendation system
CN105653134A (zh) * 2015-05-02 2016-06-08 Tcl集团股份有限公司 应用切换方法及其系统
CN108279828A (zh) * 2016-12-30 2018-07-13 北京搜狗科技发展有限公司 一种启动应用程序的方法、装置和终端
CN107277269A (zh) * 2017-07-17 2017-10-20 北京泰迪熊移动科技有限公司 信息内容的处理方法和装置
CN108470041A (zh) * 2018-02-12 2018-08-31 维沃移动通信有限公司 一种信息搜索方法及移动终端
US20210035244A1 (en) * 2018-03-27 2021-02-04 Huawei Technologies Co., Ltd. Scenario-Based Application Recommendation Method and Apparatus
CN109918186A (zh) * 2019-03-11 2019-06-21 广东小天才科技有限公司 一种应用程序的切换方法、装置及智能终端
CN109960801A (zh) * 2019-03-15 2019-07-02 北京字节跳动网络技术有限公司 数据处理方法及装置
CN110188278A (zh) * 2019-05-31 2019-08-30 三角兽(北京)科技有限公司 应用程序推荐方法、装置、电子设备及计算机可读存储介质
CN112307315A (zh) * 2019-08-02 2021-02-02 广州三星通信技术研究有限公司 智能推荐服务的方法及装置
CN111125512A (zh) * 2019-11-18 2020-05-08 口碑(上海)信息技术有限公司 业务推荐处理方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117608565A (zh) * 2024-01-23 2024-02-27 杭州实在智能科技有限公司 基于屏幕截图分析的rpa中ai类组件推荐方法及系统
CN117608565B (zh) * 2024-01-23 2024-05-10 杭州实在智能科技有限公司 基于屏幕截图分析的rpa中ai类组件推荐方法及系统

Also Published As

Publication number Publication date
CN115033153B (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
US20160170710A1 (en) Method and apparatus for processing voice input
US10122839B1 (en) Techniques for enhancing content on a mobile device
US11900057B2 (en) Correcting input based on user context
CN105653134B (zh) 应用切换方法及其系统
US10791187B2 (en) Information displaying method and apparatus, and storage medium
US20160224591A1 (en) Method and Device for Searching for Image
CN102929925A (zh) 一种基于浏览内容的搜索方法及装置
CN102929924A (zh) 一种基于浏览内容的取词搜索结果生成方法及装置
CN110268377B (zh) 用于在计算系统中提供用户帮助的装置和方法
CN102929926A (zh) 一种基于浏览内容的取词搜索方法及装置
KR20160089379A (ko) 상황 정보 탐색 및 내비게이션 기법
JP6919080B2 (ja) 自動化されたアシスタントのための視覚的な手掛かりの選択的検出
CN108604152A (zh) 未读消息提示方法和终端
CN102945243A (zh) 一种基于浏览内容的联系信息识别方法
CN112631437A (zh) 信息推荐方法、装置及电子设备
CN112181253A (zh) 信息显示方法、装置和电子设备
CN115033153B (zh) 应用程序推荐方法及电子设备
CN114067797A (zh) 一种语音控制方法、装置、设备以及计算机存储介质
CN113849092A (zh) 内容分享方法、装置和电子设备
WO2023082817A1 (zh) 应用程序推荐方法
CN112882619A (zh) 应用界面的管理方法、装置、电子设备及介质
CN114995691A (zh) 一种文档处理方法、装置、设备和介质
CN115016710B (zh) 应用程序推荐方法
CN113138676B (zh) 表情符号显示方法及装置
CN112287131A (zh) 信息交互方法、信息交互装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant