CN107256109B - 信息显示方法、装置及终端 - Google Patents

信息显示方法、装置及终端 Download PDF

Info

Publication number
CN107256109B
CN107256109B CN201710392518.8A CN201710392518A CN107256109B CN 107256109 B CN107256109 B CN 107256109B CN 201710392518 A CN201710392518 A CN 201710392518A CN 107256109 B CN107256109 B CN 107256109B
Authority
CN
China
Prior art keywords
information
search
search result
network service
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710392518.8A
Other languages
English (en)
Other versions
CN107256109A (zh
Inventor
禄一湛
龙海
刘方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710392518.8A priority Critical patent/CN107256109B/zh
Publication of CN107256109A publication Critical patent/CN107256109A/zh
Priority to ES18174459T priority patent/ES2956057T3/es
Priority to EP18174459.0A priority patent/EP3407221B1/en
Priority to US15/991,329 priority patent/US20180341397A1/en
Application granted granted Critical
Publication of CN107256109B publication Critical patent/CN107256109B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions
    • G06V30/153Segmentation of character regions using recognition of characters or words
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72445User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting Internet browser applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72484User interfaces specially adapted for cordless or mobile telephones wherein functions are triggered by incoming communication events

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供了一种信息显示方法及装置,涉及人机交互领域,所述方法应用于安装有操作系统和应用程序的终端中,所述方法包括:显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;接收在所述用户界面上触发的第一选择操作;根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息。本公开只需要一个选择操作就能够得到与目标界面元素的搜索结果信息,从而将相关技术中6个搜索步骤简化为少量搜索步骤,减少了用户在搜索过程中的操作次数,提高了用户与终端进行人机交互时的效率。

Description

信息显示方法、装置及终端
技术领域
本公开涉及人机交互领域,特别涉及一种信息显示方法、装置及终端。
背景技术
在用户使用终端上的应用程序时,经常会对应用程序的用户界面中显示的兴趣文本进行搜索。终端可以是智能手机、平板电脑或电子书阅读器等。
典型的搜索过程如下:1,用户在应用程序的用户界面中查看到兴趣文本后,长按兴趣文本;2,移动终端在接收到长按信号后,弹出复制工具栏,用户点击复制工具栏上的复制按钮;3,用户退出该应用程序,回到桌面;4,用户在桌面找到并打开浏览器;5,用户在浏览器中打开搜索网站;6、将兴趣文本粘贴到浏览器的搜索框中进行搜索,浏览器显示与兴趣文本有关的搜索结果信息。
由于用户需要6步操作才能完成一个搜索过程,导致用户的操作流程非常繁琐,人机交互的效率较低。
发明内容
为了解决相关技术中用户的操作流程非常繁琐,人机交互的效率较低的问题,本公开提供一种信息显示方法、装置及终端。所述技术方案如下:
根据本公开的第一方面,提供了一种信息显示方法,应用于安装有操作系统和应用程序的终端中,所述方法包括:
显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;
接收在所述用户界面上触发的第一选择操作;
根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;
通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息。
在一个可选的实施例中,所述通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,包括:
通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,n为正整数,所述显示元素的显示层级高于所述用户界面的显示层级,每个所述显示元素上用于显示至少一个所述搜索结果信息的第一级信息。
在一个可选的实施例中,所述通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,包括:
通过所述操作系统在所述用户界面的局部区域上叠加显示列表视图控件,所述列表视图控件包括n个显示元素,n≥2,所述n个显示元素在所述列表控件中按照第一方向顺序排列且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。
在一个可选的实施例中,所述局部区域是:
所述用户界面的底部区域;
或,所述目标界面元素的相邻区域;
或,所述选择操作的操作位置的相邻区域。
在一个可选的实施例中,所述通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息之后,还包括:
在第j个搜索结果信息上接收第一滑动操作,所述第一滑动操作是沿所述第一方向滑动的操作;将所述第j个搜索结果信息跟随所述第一滑动操作沿所述第一方向进行滑动显示,将所述第j个搜索结果信息滑出所述局部区域的部分进行隐藏,将第j-1个搜索结果信息滑入所述局部区域的部分进行显示,j为大于1的整数,且j小于或等于n;
和/或,
在第k个搜索结果信息上接收第二滑动操作,所述第二滑动操作是沿所述第二方向滑动的操作;将所述第k个搜索结果信息跟随所述第二滑动操作沿所述第二方向进行滑动显示,将所述第k个搜索结果信息滑出所述局部区域的部分进行隐藏,将第k+1个搜索结果信息滑入所述局部区域的部分进行显示,k为小于等于n的整数;
其中,所述第一方向和所述第二方向相反。
在一个可选的实施例中,所述通过操作系统在所述用户界面的局部区域上叠加显示搜索结果信息之前,还包括:
根据所述选择操作获取所述目标界面元素的内容信息;
向服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息;
接收所述服务器反馈的所述搜索结果信息。
在一个可选的实施例中,所述根据所述第一选择操作获取所述目标界面元素的内容信息,包括:
根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息。
在一个可选的实施例中,所述根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息之前,还包括:
根据预设名单列表检测所述应用程序的上下文信息是否符合抓取条件,所述预设名单列表存储有符合所述抓取条件的上下文信息和/或不符合所述抓取条件的上下文信息;
若所述上下文信息符合所述抓取条件,则执行所述根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息的步骤。
在一个可选的实施例中,所述操作系统包括:显示屏驱动程序、搜索程序和内容抓取程序;
所述根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息,包括:
通过所述显示屏驱动程序向所述搜索程序上报所述第一选择操作的操作坐标;
通过所述搜索程序向所述内容抓取程序发送界面元素获取请求,所述界面元素获取请求携带有所述操作坐标;
通过所述内容抓取程序抓取所述操作坐标对应的所述目标界面元素的内容信息;
通过所述内容抓取程序向所述搜索程序发送所述目标界面元素的内容信息。
在一个可选的实施例中,所述操作系统包括:搜索程序和内容抓取程序;
所述检测所述应用程序的上下文信息是否符合抓取条件,包括:
通过所述搜索程序获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
生成包括所述第一操作坐标和所述上下文信息的所述界面元素获取请求;
通过所述内容抓取程序检测所述上下文信息是否符合抓取条件。
在一个可选的实施例中,所述根据所述第一选择操作获取所述目标界面元素的内容信息,包括:
当所述第一选择操作选择的所述目标界面元素是目标图像时,将所述目标图像的图像数据确定为所述目标界面元素的内容信息;
或,
当所述第一选择操作选择的所述目标界面元素是所述目标图像时,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述根据所述第一选择操作获取所述目标界面元素的内容信息,包括:
以所述选择操作的操作位置为基准位置,显示区域选择控件;
在接收到确认信号时将所述区域选择控件内的界面元素进行截图,得到目标图像;
将所述目标图像确定为所述目标界面元素的内容信息,或,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取与所述目标图像对应的识别结果,包括:
对所述目标图像进行光学字符OCR识别或图像识别,得到与所述目标图像对应的识别结果;
或,
将所述目标图像发送至图像处理服务器;接收所述图像处理服务器反馈的与所述目标图像对应的识别结果。
在一个可选的实施例中,所述在接收到确认信号时将所述区域选择控件内的界面元素进行截图,得到目标图像之前,还包括:
以所述第一选择操作的操作位置为基准位置,对位于所述区域选择控件内的界面元素进行放大显示。
在一个可选的实施例中,所述在接收到确认信号时,将所述区域选择控件内的界面元素进行截图,得到目标图像之前,还包括:
接收在所述区域选择控件上触发的调整操作;
根据所述调整操作改变所述区域选择控件的位置和/或大小。
在一个可选的实施例中,所述向服务器发送搜索请求,包括:
获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
向所述服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息和所述上下文信息;
其中,所述服务器用于将所述内容信息进行分解,得到至少一个候选项;根据所述上下文信息从所述候选项中确定出搜索关键词;根据所述搜索关键词搜索得到所述搜索结果信息。
在一个可选的实施例中,所述接收在所述用户界面上触发的选择操作,包括:
接收在所述用户界面上触发的长按操作,所述长按操作是触控时长超过预设时长的操作;
或,
接收在所述用户界面上触发的压力触控操作,所述压力触控操作是触控压力超过预设压力的操作。
在一个可选的实施例中,所述方法还包括:
在所述用户界面的局部区域上叠加显示搜索调整元素;
接收在所述搜索调整元素上触发的触发信号;
根据所述触发信号显示与所述搜索调整元素对应的候选项展示窗口,所述候选项展示窗口包括与所述目标界面元素对应的m个候选项,m为正整数;
接收对至少一个所述候选项的第二选择操作,所述第二选择操作用于选择目标候选项;
根据所述目标候选项确定搜索关键词;
显示与所述搜索关键词对应的搜索结果信息。
在一个可选的实施例中,所述述搜索结果信息中存在至少一个第一搜索结果信息包括:用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述方法还包括:
接收在所述第一搜索结果信息上触发的第三选择操作,所述第三选择操作用于触发通过所述调用接口调用所述本地应用程序对所述搜索关键词进行处理;
显示所述本地应用程序的用户界面,所述用户界面包括所述本地应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,在所述搜索结果信息中存在至少一个第二搜索结果信息包括:用于调用网络应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述方法还包括:
接收在所述第二搜索结果信息上触发的第四选择操作,所述第四选择操作用于触发通过所述调用接口调用所述网络应用程序对所述搜索关键词进行处理;
显示所述网络应用程序的用户界面,所述用户界面包括所述网络应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,所述方法还包括:
当所述目标界面元素的内容信息包括:影视作品名称时,所述搜索结果信息包括但不限于:所述影视作品的介绍信息、所述影视作品的评分信息、所述影视作品的作者信息、所述影视作品在本地应用程序或网络服务中的订阅入口、所述影视作品在所述本地应用程序或所述网络服务中的分享入口、所述影视作品在所述本地应用程序中的收藏入口、所述影视作品在所述网络服务上的购票入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:文学作品名称时,所述搜索结果信息包括但不限于:所述文学作品的介绍信息、所述文学作品的评分信息、所述文学作品的作者信息、所述文学作品在所述本地应用程序中的订阅入口、所述文学作品在所述本地应用程序中的分享入口、所述文学作品在所述本地应用程序中的收藏入口、所述文学作品在所述网络服务上的体验阅读入口、所述文学作品在所述网络服务上的购买入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:人物信息时,所述搜索结果信息包括但不限于:所述人物的百科介绍信息、所述人物在所述网络服务上的社交网络服务主页、所述人物在所述网络服务上的最新新闻动态、所述人物在所述网络服务上的动态订阅入口、所述人物在所述本地应用程序或所述网络服务上的分享入口、所述人物在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:地点信息时,所述搜索结果信息包括但不限于:所述地点的介绍信息、所述地点在所述本地应用程序或所述网络服务上的导航信息、所述地点在所述本地应用程序或所述网络服务上的地图预览信息、以所述地点为目的地的打车入口、所述地点在所述本地应用程序或所述网络服务上的分享入口、所述地点在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商家信息时,所述搜索结果信息包括但不限于:所述商家的介绍信息、所述商家在所述网络服务上的社交网络服务主页、所述商家在所述网络服务上的最新新闻动态、所述商家在所述网络服务上的优惠订阅入口、所述商家的联系方式信息、所述商家在所述本地应用程序或网络服务上的导航信息、所述商家在所述本地应用程序或网络服务上的地图预览信息、以所述商家为目的地的打车入口、所述商家在所述本地应用程序或所述网络服务上的分享入口、所述商家在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商品信息时,所述搜索结果信息包括但不限于:所述商品的介绍信息、所述商品在所述网络服务上的购买入口、所述商品在至少一个购物渠道的价格信息、所述商品在所述网络服务上的优惠订阅入口、所述商品在所述网络服务上的降价提醒入口、所述商品在所述本地应用程序或所述网络服务上的历史价格趋势查看入口、所述商品在所述本地应用程序或所述网络服务上的分享入口、所述商品在所述本地应用程序或所述网络服务上的收藏入口中的至少一种。
根据本公开的第二方面,提供了一种信息显示装置,安装有操作系统和应用程序,所述装置包括:
显示模块,被配置为显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;
接收模块,被配置为接收在所述用户界面上触发的第一选择操作;
选择模块,被配置为根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;
所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息。
在一个可选的实施例中,所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,n为正整数,所述显示元素的显示层级高于所述用户界面的显示层级,每个所述显示元素上用于显示至少一个所述搜索结果信息的第一级信息。
在一个可选的实施例中,所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示列表视图控件,所述列表视图控件包括n个显示元素,n≥2,所述n个显示元素在所述列表控件中按照第一方向顺序排列且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。
在一个可选的实施例中,所述用户界面的底部区域;
或,所述目标界面元素的相邻区域;
或,所述选择操作的操作位置的相邻区域。
在一个可选的实施例中,所述接收模块,还被配置为,在第j个搜索结果信息上接收第一滑动操作,所述第一滑动操作是沿所述第一方向滑动的操作;
所述显示模块,还被配置为将所述第j个搜索结果信息跟随所述第一滑动操作沿所述第一方向进行滑动显示,将所述第j个搜索结果信息滑出所述局部区域的部分进行隐藏,将第j-1个搜索结果信息滑入所述局部区域的部分进行显示,j为大于1的整数,且j小于或等于n;
和/或,
所述接收模块,还被配置为在第k个搜索结果信息上接收第二滑动操作,所述第二滑动操作是沿所述第二方向滑动的操作;
所述显示模块,还被配置为将所述第k个搜索结果信息跟随所述第二滑动操作沿所述第二方向进行滑动显示,将所述第k个搜索结果信息滑出所述局部区域的部分进行隐藏,将第k+1个搜索结果信息滑入所述局部区域的部分进行显示,k为小于等于n的整数;
其中,所述第一方向和所述第二方向相反。
在一个可选的实施例中,所述装置,还包括:
获取模块,被配置为根据所述第一选择操作获取所述目标界面元素的内容信息;
发送模块,被配置为向服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息;
所述接收模块,被配置为接收所述服务器反馈的所述搜索结果信息。
在一个可选的实施例中,所述获取模块,被配置为根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为根据预设名单列表检测所述应用程序的上下文信息是否符合抓取条件,所述预设名单列表存储有符合所述抓取条件的上下文信息和/或不符合所述抓取条件的上下文信息;若所述上下文信息符合所述抓取条件,则执行所述根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息的步骤。
在一个可选的实施例中,所述获取模块包括:显示屏驱动程序模块、搜索程序模块和内容抓取程序模块;
所述显示屏驱动程序模块,被配置为向所述搜索程序上报所述第一选择操作的操作坐标;
所述搜索程序模块,被配置为向所述内容抓取程序发送界面元素获取请求,所述界面元素获取请求携带有所述操作坐标;
所述内容抓取程序模块,被配置为抓取所述操作坐标对应的所述目标界面元素的内容信息;
所述内容抓取程序模块,被配置为通过所述内容抓取程序向所述搜索程序发送所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块包括:搜索程序模块和内容抓取程序模块;
所述搜索程序模块,被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;生成包括所述操作坐标和所述上下文信息的所述界面元素获取请求;
所述内容抓取程序模块,被配置为检测所述上下文信息是否符合抓取条件。
在一个可选的实施例中,所述获取模块,被配置为当所述第一选择操作选择的所述目标界面元素是目标图像时,将所述目标图像的图像数据确定为所述目标界面元素的内容信息;
或,
所述获取模块,被配置为当所述第一选择操作选择的所述目标界面元素是所述目标图像时,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为以所述第一选择操作的操作位置为基准位置,显示区域选择控件;在接收到确认信号时,将所述区域选择控件内的界面元素进行截图,得到目标图像;将所述目标图像确定为所述目标界面元素的内容信息,或,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为对所述目标图像进行光学字符OCR识别或图像识别,得到与所述目标图像对应的识别结果;
或,
所述获取模块,被配置为将所述目标图像发送至图像处理服务器;接收所述图像处理服务器反馈的与所述目标图像对应的识别结果。
在一个可选的实施例中,所述显示模块,还被配置为以所述第一选择操作的操作位置为基准位置,对位于所述区域选择控件内的界面元素进行放大显示。
在一个可选的实施例中,所述装置,还包括:调整模块;
所述接收模块,还被配置为接收在所述区域选择控件上触发的调整操作;
所述调整模块,被配置为根据所述调整操作改变所述区域选择控件的位置和/或大小。
在一个可选的实施例中,所述装置,还包括:
所述获取模块,被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
所述发送模块,被配置为向所述服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息和所述上下文信息。
其中,所述服务器用于根据所述内容信息得到至少一个候选项;根据所述上下文信息从所述候选项中确定出搜索关键词;根据所述搜索关键词搜索得到所述搜索结果信息。
在一个可选的实施例中,所述接收模块,还被配置为接收在所述用户界面上触发的长按操作,所述长按操作是触控时长超过预设时长的操作;
或,
所述接收模块,还被配置为接收在所述用户界面上触发的压力触控操作,所述压力触控操作是触控压力超过预设压力的操作。
在一个可选的实施例中,所述显示模块,被配置为在所述用户界面的局部区域上叠加显示搜索调整元素;
所述接收模块,被配置为接收在所述搜索调整元素上触发的触发信号;
所述显示模块,被配置为根据所述触发信号显示与所述搜索调整元素对应的候选项展示窗口,所述候选项展示窗口包括与所述目标界面元素对应的m个候选项,m为正整数;
所述接收模块,被配置为接收对至少一个所述候选项的第二选择操作,该第二选择操作用于将被选定的候选项确定为搜索关键词;
所述显示模块,被配置为显示与所述搜索关键词对应的搜索结果信息。
在一个可选的实施例中,所述装置,还包括:
调用模块,被配置为用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在所述第一搜索结果信息上触发的第三选择操作,所述第三选择操作用于触发通过所述调用接口调用所述本地应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述本地应用程序的用户界面,所述用户界面包括所述本地应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,所述装置,包括:
所述调用模块,被配置为用于调用网络应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在所述第二搜索结果信息上触发的第四选择操作,所述第四选择操作用于触发通过所述调用接口调用所述网络应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述网络应用程序的用户界面,所述用户界面包括所述网络应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,
当所述目标界面元素的内容信息包括:影视作品名称时,所述搜索结果信息包括但不限于:所述影视作品的介绍信息、所述影视作品的评分信息、所述影视作品的作者信息、所述影视作品在本地应用程序或网络服务中的订阅入口、所述影视作品在所述本地应用程序或所述网络服务中的分享入口、所述影视作品在所述本地应用程序中的收藏入口、所述影视作品在所述网络服务上的购票入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:文学作品名称时,所述搜索结果信息包括但不限于:所述文学作品的介绍信息、所述文学作品的评分信息、所述文学作品的作者信息、所述文学作品在所述本地应用程序中的订阅入口、所述文学作品在所述本地应用程序中的分享入口、所述文学作品在所述本地应用程序中的收藏入口、所述文学作品在所述网络服务上的体验阅读入口、所述文学作品在所述网络服务上的购买入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:人物信息时,所述搜索结果信息包括但不限于:所述人物的百科介绍信息、所述人物在所述网络服务上的社交网络服务主页、所述人物在所述网络服务上的最新新闻动态、所述人物在所述网络服务上的动态订阅入口、所述人物在所述本地应用程序或所述网络服务上的分享入口、所述人物在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:地点信息时,所述搜索结果信息包括但不限于:所述地点的介绍信息、所述地点在所述本地应用程序或所述网络服务上的导航信息、所述地点在所述本地应用程序或所述网络服务上的地图预览信息、以所述地点为目的地的打车入口、所述地点在所述本地应用程序或所述网络服务上的分享入口、所述地点在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商家信息时,所述搜索结果信息包括但不限于:所述商家的介绍信息、所述商家在所述网络服务上的社交网络服务主页、所述商家在所述网络服务上的最新新闻动态、所述商家在所述网络服务上的优惠订阅入口、所述商家的联系方式信息、所述商家在所述本地应用程序或网络服务上的导航信息、所述商家在所述本地应用程序或网络服务上的地图预览信息、以所述商家为目的地的打车入口、所述商家在所述本地应用程序或所述网络服务上的分享入口、所述商家在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商品信息时,所述搜索结果信息包括但不限于:所述商品的介绍信息、所述商品在所述网络服务上的购买入口、所述商品在至少一个购物渠道的价格信息、所述商品在所述网络服务上的优惠订阅入口、所述商品在所述网络服务上的降价提醒入口、所述商品在所述本地应用程序或所述网络服务上的历史价格趋势查看入口、所述商品在所述本地应用程序或所述网络服务上的分享入口、所述商品在所述本地应用程序或所述网络服务上的收藏入口中的至少一种。
根据本公开的第三方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如上第一方面或第一方面的可选实现方式所提供的信息显示方法。
根据本公开的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上第一方面或第一方面的可选实现方式所提供的信息显示方法。
本公开实施例提供的技术方案的有益效果是:
在终端接收到第一选择操作后,直接通过操作系统在用户界面的局部区域上叠加显示n个搜索结果信息,从用户的角度来讲,通过少量的操作就能够得到与目标界面元素对应的搜索结果信息,从而将相关技术中6个搜索步骤进行简化,减少了用户在搜索过程中的操作次数,提高了用户与终端进行人机交互时的效率。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本公开一个示例性实施例提供的信息显示系统的框图;
图2是本公开一个示例性实施例提供的信息显示方法的流程图;
图3A至图3C是本公开一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图4是本公开另一个示例性实施例提供的信息显示方法的流程图;
图5A至图5B是本公开一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图6是本公开一个示例性实施例提供的终端的框图;
图7是本公开另一个示例性实施例提供的信息显示方法的流程图;
图8是本公开另一个示例性实施例提供的信息显示方法的流程图;
图9是本公开一个示例性实施例提供的服务器的框图;
图10是本公开另一个示例性实施例提供的信息显示方法的流程图;
图11是本公开另一个示例性实施例提供的信息显示方法的流程图;
图12是本公开另一个示例性实施例提供的信息显示方法的流程图;
图13是本公开另一个示例性实施例提供的信息显示方法的流程图;
图14是本公开一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图15是本公开另一个示例性实施例提供的信息显示方法的流程图;
图16A至图16B是本公开另一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图17是本公开另一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图18是本公开另一个示例性实施例提供的信息显示方法的流程图;
图19是本公开另一个示例性实施例提供的信息显示方法在实施时的界面示意图;
图20是本公开另一个示例性实施例提供的信息显示装置的框图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。
图1是本公开一个示例性实施例提供的信息显示系统的框图。该系统包括:终端120和服务器140。终端120和服务器140之间通过通信网络160相连。
终端120可以是智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。可选地,终端120具有触摸屏,该触摸屏是普通触摸屏,或悬浮触控触摸屏,或压力感应触摸屏。终端120中安装有操作系统和至少一个应用程序。该操作系统可以是安卓(Android)操作系统或苹果(IOS)操作系统。该操作系统可以通过
终端120和服务器140之间通过通信网络相连,该通信网络可以是有线网络或无线网络,有线网络可以是城域网、局域网、光纤网等,无线网络可以是移动通信网络或无线保真网络(WIreless Fidelity,WiFi)网络。
服务器140是可以是用于提供搜索服务以及搜索结果信息的服务器,也可以是同时用于提供图像处理服务的图像处理服务器。可选地,服务器140包括:搜索服务器142和网页服务器144。其中,搜索服务器142由操作系统对应的厂商提供,搜索服务器142用于提供搜索服务器;网页服务器144用于提供与搜索结果信息对应的网页,网页服务器144可以由第三方应用程序的厂商提供。本公开中的“第三方”是指除用户和操作系统两方之外的另一方,不排除第三方和操作系统提供方实质上是同一组织的可能性。当第三方应用程序包括多个或多类时,网页服务器144也可以是多个。
图2是本公开一个示例性实施例提供的信息显示方法的流程图。本实施例以该信息显示方法应用于终端中来举例说明,该终端中安装有操作系统和至少一个应用程序。该方法包括:
在步骤201中,显示应用程序的用户界面,用户界面中包括至少一个界面元素;
终端中安装的应用程序包括:操作系统提供的原生应用程序,和/或,用户自行安装的第三方应用程序。在本实施例中,应用程序是指操作系统中安装的任意应用程序或属于预设名单列表的应用程序。
对于一个应用程序,通常包括有多个用户界面。在终端中位于前台运行的应用程序的用户界面,会优先显示在终端的显示屏中。
用户界面上包括至少一个界面元素,每个界面元素均为用户界面上的一个组成部分,界面元素包括但不限于:文本、图片、音频和视频中的至少一种。
在步骤202中,接收在用户界面上触发的第一选择操作;
第一选择操作包括但不限于:长按操作、压力触控操作、多次点击操作、悬浮触控操作和双指触控操作中的至少一种。
其中,长按操作是按压触摸屏的时长超过第一时长的操作;压力触控操作是按压压力超过预设压力值的操作;多次点击操作是在预定时长内点击次数超过预定次数的操作;悬浮触控操作是悬浮在触摸屏上方的时长超过第二时长的操作;双指触控操作是用户使用双指同时点击触摸屏的操作。
在步骤203中,根据第一选择操作选择至少一个界面元素中的目标界面元素。
目标界面元素是至少一个界面元素中的一个界面元素(不排除是两个或更多的可能性),目标界面元素通常是文本和/或图片。目标界面元素具有内容信息,当目标界面元素是文本时,内容信息是字符;当目标界面元素是图片时,内容信息是图片数据。
在步骤204中,通过操作系统在用户界面的局部区域上叠加显示搜索结果信息,搜索结果信息是与目标界面元素对应的搜索结果信息。
终端通过操作系统在用户界面的局部区域上叠加显示搜索结果信息,该搜索结果信息为n个,存在至少两个搜索结果信息是不同的,n为正整数。可选地,n≥2。
可选地,搜索结果信息包括:人名信息、地名信息、百科介绍信息、导航信息、行程信息、用户评论信息、购物信息和网站信息中的至少一种。
可选地,搜索结果信息来自至少两个不同的网站。
可选地,局部区域是底部区域、顶部区域、左边框区域、右边框区域、目标界面元素的相邻区域,选择操作的操作坐标的相邻区域中的任一一个。局部区域是显示屏的整个显示区域中的一部分,通常是整个显示区域中未遮盖住目标界面元素的区域。可选地,若显示屏包括主屏和副屏,则局部区域是副屏所在的区域。
示意性的,当局部区域为显示屏的底部区域时,可尽量减小局部区域对用户界面的遮盖,特别是对目标界面元素的遮盖。同时相比于局部区域是顶部区域的方案,将搜索结果信息显示在底部区域,还能避免用户将搜索结果信息与在显示屏的顶部区域中惯常显示的通知消息互相混淆。
当局部区域为目标界面元素相邻的区域时,便于用户将搜索结果信息与目标界面元素中进行匹配阅览,不需要用户来回切换视觉焦点。
当局部区域为选择操作位置相邻的区域时,便于用户对搜索结果信息进行下一步操作,比如在选择操作之后,能够就近采用滑动操作对不同搜索结果信息间进行滑动切换。
以局部区域为底部区域为例,结合图3A可知,用户界面21中存在用户感兴趣的目标界面元素22,该目标界面元素22是文本或图片,当用户长按该目标界面元素22时,终端在底部区域显示n个搜索结果信息23,底部区域是与显示区域的底边相邻的区域。由于搜索结果信息23可以为多个,受限于显示区域的大小,终端可以仅显示出一部分搜索结果信息23,比如,仅显示出搜索结果信息1和搜索结果信息2。
以局部区域为左边框区域为例,结合图3B可知,用户界面21中存在用户感兴趣的目标界面元素22,该目标界面元素22是文本或图片,当用户长按该目标界面元素22时,终端在左边框区域显示n个搜索结果信息23,左边框区域是与显示区域的左边缘相邻的区域。由于搜索结果信息23可以为多个,受限于显示区域的大小,终端可以仅显示出一部分搜索结果信息23,比如,仅显示出搜索结果信息1、搜索结果信息2和搜索结果信息3。
以局部区域为目标界面元素的相邻区域为例,结合图3C可知,用户界面21中存在用户感兴趣的目标界面元素22,该目标界面元素22是文本或图片,当用户长按该目标界面元素22时,终端在目标界面元素22的相邻区域显示n个搜索结果信息23,该相邻区域是以目标界面元素的边缘相邻的区域。由于搜索结果信息23可以为多个,受限于显示区域的大小,终端可以仅显示出一部分搜索结果信息23,比如,仅显示出搜索结果信息1和搜索结果信息2。
综上所述,本公开提供的信息显示方法,在终端接收到选择操作后,能够直接通过操作系统在用户界面的局部区域上叠加显示n个搜索结果信息,从用户的角度来讲,只需要少量操作就能够得到与目标界面元素对应的的搜索结果信息,从而将相关技术中6个搜索步骤进行简化,减少了用户在搜索过程中的操作次数,提高了用户与终端进行人机交互时的效率。
另外,由于n个搜索结果信息是由操作系统来添加的,所以不论应用程序是操作系统提供的原生应用程序,还是用户安装的第三方应用程序,本实施例提供的信息显示方法都可以实施,也即向用户提供了一种在终端中的全局搜索能力,提高了该信息显示方法的应用范围。
可选地,上述n个搜索结果信息是来自于服务器对至少两个不同的网站的数据进行搜索后的搜索结果信息,从而由操作系统将不同网站之间的优质内容串联呈现在应用程序的局部区域中,不需要用户不断地在多个应用程序之间切换和中转。
需要说明的是,本公开提供的信息展示方法可能用于任意类型的应用程序的用户界面的搜索服务。搜索结果信息包括:文本介绍信息、本地应用程序入口、网络服务入口中的至少一种。示意性的:
当目标界面元素的内容信息包括:影视作品名称时,搜索结果信息包括但不限于:影视作品的介绍信息、影视作品的评分信息、影视作品的作者信息、影视作品在本地应用程序或网络服务中的订阅入口、影视作品在本地应用程序或网络服务中的分享入口、影视作品在本地应用程序中的收藏入口、影视作品在网络服务上的购票入口中的至少一种;
当目标界面元素的内容信息包括:文学作品名称时,搜索结果信息包括但不限于:文学作品的介绍信息、文学作品的评分信息、文学作品的作者信息、文学作品在本地应用程序中的订阅入口、文学作品在本地应用程序中的分享入口、文学作品在本地应用程序中的收藏入口、文学作品在网络服务上的体验阅读入口、文学作品在网络服务上的购买入口中的至少一种。
当目标界面元素的内容信息包括:人物信息时,搜索结果信息包括但不限于:该人物的百科介绍信息、该人物在网络服务上的社交网络服务主页、该人物在网络服务上的最新新闻动态、该人物在网络服务上的动态订阅入口、该人物在本地应用程序或网络服务上的分享入口、该人物在本地应用程序或网络服务上的收藏入口中的至少一种。
当目标界面元素的内容信息包括:地点信息时,搜索结果信息包括但不限于:该地点的介绍信息、该地点在本地应用程序或网络服务上的导航信息、该地点在本地应用程序或网络服务上的地图预览信息、以该地点为目的地的打车入口、该地点在本地应用程序或网络服务上的分享入口、该地点在本地应用程序或网络服务上的收藏入口中的至少一种。
当目标界面元素的内容信息包括:商家信息时,搜索结果信息包括但不限于:该商家的介绍信息、该商家在网络服务上的社交网络服务主页、该商家在网络服务上的最新新闻动态、该商家在网络服务上的优惠订阅入口、该商家的联系方式信息、该商家在本地应用程序或网络服务上的导航信息、该商家在本地应用程序或网络服务上的地图预览信息、以该商家为目的地的打车入口、该商家在本地应用程序或网络服务上的分享入口、该商家在本地应用程序或网络服务上的收藏入口中的至少一种。
当目标界面元素的内容信息包括:商品信息时,搜索结果信息包括但不限于:该商品的介绍信息、该商品在网络服务上的购买入口、该商品在至少一个购物渠道的价格信息、该商品在网络服务上的优惠订阅入口、该商品在网络服务上的降价提醒入口、该商品在本地应用程序或网络服务上的历史价格趋势查看入口、该商品在本地应用程序或网络服务上的分享入口、该商品在本地应用程序或网络服务上的收藏入口中的至少一种。
上述搜索结果信息可以是终端将目标界面元素的内容信息发送给服务器后,由服务器进行搜索得到的,但不排除终端根据内容信息从自身存储的数据中进行搜索的可能性。示意性的,图4是本公开另一个示例性实施例提供的信息显示方法的流程图。本实施例以信息显示方法应用于图1所示的终端和服务器之间来举例说明。该方法包括:
在步骤401中,终端显示应用程序的用户界面,用户界面包括至少一个界面元素;
用户在使用终端时,不论使用操作系统提供的原生应用程序,还是用户自行安装的第三方应用程序,都会在终端的显示屏中显示该应用程序的用户界面。
对于一个应用程序,通常包括有多个用户界面。在终端中位于前台运行的应用程序的用户界面,会优先显示在终端的显示屏中。
用户界面上包括至少一个界面元素,每个界面元素均为用户界面上的一个组成部分,界面元素包括但不限于:文本、图片、音频和视频中的至少一种。
在步骤402中,终端接收在用户界面上触发的第一选择操作,第一选择操作用于选择至少一个界面元素中的目标界面元素;
以第一选择操作为长按操作为例,用户可以在感兴趣的界面元素上长按。终端通过触摸屏接收用户触发的长按操作。该长按操作用于在用户界面上选择出目标界面元素。
可选地,该长按操作会在操作系统中产生一个触摸事件,该触摸事件包括长按操作的操作坐标,该操作坐标用于指示选择操作在显示屏上的位置。该操作坐标所在的坐标系的横轴与显示屏的水平边缘平行,该操作坐标所在的坐标系的纵轴与显示屏的垂直边缘平行。
可选地,目标界面元素是用户界面上的一个(或不止一个)界面元素。目标界面元素通常是文本和/或图片。
在步骤403中,终端根据第一选择操作获取目标界面元素的内容信息;
终端中的操作系统根据第一选择操作获取目标界面元素的内容信息。当目标界面元素是文本时,内容信息是字符;当目标界面元素是图片时,内容信息是图片数据。
在步骤404中,终端向服务器发送搜索请求,该搜索请求包括目标界面元素的内容信息;
终端通过有线网络或无线网络向服务器发送搜索请求,该搜索请求包括目标界面元素的内容信息。
在步骤405中,服务器接收搜索请求;
在步骤406中,服务器根据目标界面元素的内容信息,搜索出n个搜索结果信息;
当目标界面元素的内容信息是文本时,服务器将文本拆分为若干个候选项;从若干个候选项中选择出搜索关键词,根据搜索关键词搜索出n个搜索结果信息。
当目标界面元素的内容信息是图像数据时,服务器对图像数据进行光学字符识别(Optical Character Recognition,OCR);将OCR识别出的文本拆分为若干个候选项;从若干个候选项中选择出搜索关键词,根据搜索关键词搜索出n个搜索结果信息;或者,当目标界面元素的内容信息是图像数据时,服务器对图像数据进行图像识别,根据识别出的物体名称、物体类型或物体属性中的至少一种,得到文本形式的识别结果;将识别结果作为搜索关键词,根据搜索关键词搜索出n个搜索结果信息。
在步骤407中,服务器向终端发送n个搜索结果信息;
服务器通过有线网络或无线网络向终端发送n个搜索结果信息。
在步骤408中,终端接收n个搜索结果信息;
在步骤409中,终端通过操作系统在用户界面的局部区域上叠加显示n个显示元素,n为正整数;
由于显示元素是操作系统控制显示的,显示元素的显示层级高于用户界面的显示层级,每个显示元素上用于显示至少一个搜索结果信息。该显示元素可以是卡片式的,示意性的,该显示元素呈矩形,在矩形的显示元素内显示有文字和/或图标。可选地,文字用于表示搜索结果信息,图标用于表示该搜索结果信息的信息提供方。
可选地,局部区域是底部区域,参考图3A,用户界面21中存在用户感兴趣的目标界面元素22,该目标界面元素22是文本或图片,当用户长按该目标界面元素22时,终端在底部区域显示n个显示元素23,每个显示元素23用于显示至少一个搜索结果信息,底部区域是与显示区域的底边相邻的区域。由于搜索结果信息可以是多个,受限于终端的显示区域,可以仅显示出一部分显示元素23。
可选地,n个显示元素在用户界面的局部区域上按照第一方向顺序排列,图3中以第一方向是从左到右的方向来进行示意,且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。其中,“相接”可以是第i个显示元素的尾部与第i+1个显示元素的首部重合,或者以预定间隔相接。
可选地,n个显示元素采用列表视图(listView)控件来显示,每个显示元素是列表视图中的一个列表项。列表视图包括n个显示元素,n个显示元素之间采用平铺方式按照第一方向顺序排序且第i个显示元素的尾部与第i+1个显示元素的首部相接,i≥2且i≤n-1。n个显示元素还可以根据滑动操作进行滑动显示,将滑出显示屏的显示区域的列表项进行隐藏,而将滑入显示屏的显示区域的列表项进行显示。
可选地,为了不遮挡用户界面的主要区域,显示元素的面积小于显示屏的整个显示区域的1/2。
在步骤410中,终端接收作用于显示元素上的滑动操作;
用户可以滑动位于局部区域中的显示元素。该滑动操作包括:沿第一方向滑动的第一滑动操作,和/或,沿第二方向滑动的第二滑动操作。第一方向和第二方向相反。
当显示元素采用图3A所示出的显示方式时,第一滑动操作是从左往右滑动的操作,第二滑动操作是从右往左滑动的操作。
在步骤411中,终端根据滑动操作对位于局部区域中的显示元素进行滑动显示;
可选地,终端接收在第i个显示元素上触发的第一滑动操作,第一滑动操作是沿第一方向进行滑动的操作,终端根据滑动操作将第i个显示元素沿第一方向进行滑动且将滑出显示屏的部分进行隐藏,将第i-1个显示元素沿第一方向进行滑动且将滑入显示屏的部分进行显示。
参考图5A,终端接收在第3个显示元素51上的右滑操作,终端根据右滑操作将第3个显示元素51沿右方向在局部区域中进行滑动,并将滑出显示屏的显示区域的部分进行隐藏,将第2个显示元素52沿右方向在局部区域中进行滑动,并将滑入显示屏的显示区域的第2个显示元素52进行显示。
可选地,终端接收在第i个显示元素上触发的第二滑动操作,第二滑动操作是沿第二方向进行滑动的操作,终端根据滑动操作将第i个显示元素沿第二方向进行滑动且将滑出显示屏的部分进行隐藏,将第i+1个显示元素沿第二方向进行滑动且将滑入显示屏的部分进行显示。
参考图5B,终端接收在第6个显示元素53上的左滑操作,终端根据左滑操作将第6个显示元素51沿左方向在局部区域中进行滑动,并将滑出显示屏的显示区域的部分(第5个显示元素)进行隐藏,将第7个显示元素54沿左方向在局部区域中进行滑动,并将滑入显示屏的显示区域的部分(第7个显示元素54)进行显示。
在一个具体的例子中,终端上位于前台运行的应用程序是一个商家点评类应用程序,位于前台运行的用户界面是一个商家X提供的美食“北京烤鸭”的介绍页面,当用户长按目标界面元素“北京烤鸭是北京传统佳肴之一,商家X的北京烤鸭,讲究皮酥肉嫩,肥而不腻”时,终端将提供的目标界面元素的文本内容发送给服务器,服务器反馈4个搜索结果信息:有关北京烤鸭的百科介绍、有关商家X的店铺介绍、有关商家X的导航信息和有关商家X的北京烤鸭的网购信息;然后终端以四个显示元素分别显示这4个搜索结果信息。受限于显示屏的宽度,终端可以同时显示2个搜索结果,用户可以使用滑动操作对各个搜索结果信息进行滑动后查看。
综上所述,本实施例提供的信息显示方法,通过终端确定出目标界面元素的内容信息后,向服务器发送携带有内容信息的搜索请求,由服务器搜索并反馈与目标界面元素对应的n个搜索结果信息,利用服务器上的海量信息来为用户提供多元化的搜索结果信息,这些搜索结果信息可能来自于多个不同网站,使得终端上能够以较快的速度显示出多种不同的搜索结果信息,提高用户获取信息的速度。
本实施例提供的信息显示方法,还通过终端接收到在显示元素上触发的滑动操作时,根据滑动操作对位于局部区域中的显示元素进行滑动显示,使得能够在有限的局部区域上显示多个搜索结果信息,提高该局部区域的显示利用率。
图6示出了本公开一个示例性实施例提供的终端的结构示意图,该终端包括:处理器610、存储器620、通信组件630和显示屏640。
处理器610包括一个或一个以上的处理核心。
存储器620用于存储程序指令和/或数据,处理器610被配置为执行存储器620中的程序指令,从而实现各种功能应用以及数据处理。可选地,存储器620中存储的程序指令被执行时用于实现本公开各个实施例提供的信息显示方法中由终端执行的步骤。存储器620可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
通信组件630用于实现与服务器之间的通信,通信组件630可以是无线通信组件,比如RF(Radio Frequency,射频)电路、移动通信芯片、WiFi通信芯片;通信组件630还可以是有线通信组件,比如,光纤接口、RJ45网卡及接口等。
显示屏640用于显示用户界面和接收外部输入的触摸操作。可选地,显示屏640是触摸屏,该触摸屏可以收集用户在其上或附近的触摸操作。可选地,触摸屏是支持悬浮触控的触摸屏,和/或,支持压力触控的触摸屏。
可选地,存储器620中存储的程序指令包括:应用层622和内核层624。应用层622位于内核层624之上,应用层622包括至少一个应用程序。内核层624包括:显示屏驱动程序21、其它驱动程序22、操作系统内核23、内容抓取程序24;示意性的,应用层622包括:搜索程序25、应用程序A、应用程序B、应用程序C和应用程序D。
显示屏驱动程序21用于将显示屏640上接收到的触摸操作封装为触摸事件,该触摸事件包括操作坐标,然后将触摸事件上报至应用层622中的应用程序。
其它驱动程序22可以是与处理器610有关的驱动程序、与存储器620有关的驱动程序、与通信组件630有关的驱动程序等。
操作系统内核23是操作系统的内核文件。
内容抓取程序24具有抓取应用层622中的各个应用程序的用户界面上的界面元素的能力。示意性的,每个应用程序具有至少一个用户界面,每个用户界面包括至少一个界面元素。通常,一个用户界面上的n个界面元素构成一棵DOM树,该DOM树中的每个节点是一个界面元素。内容抓取程序24具有抓取各个应用程序的用户界面上的界面元素的能力。可选地,内容抓取程序24还存储有用户界面上的各个界面元素在用户界面上的坐标范围,比如,用户界面上包括一个文本视图元素,内容抓取程序24存储有该文本视图元素在用户界面上的坐标范围。
搜索程序25具有接收显示屏驱动程序21上报的触摸事件的能力,以及与内容抓取程序24进行通信的能力。可选地,搜索程序25还具有获取位于前台运行的应用程序的标识的能力和获取位于前台运行的用户界面的标识的能力。可选地,搜索程序25还具有与服务器通信的能力,以及从服务器获取到至少一个搜索结果信息后,在已显示的用户界面上叠加显示至少一个搜索结果信息的能力。
示例性的,应用程序A是操作系统提供的原生应用程序,应用程序B、应用程序C、应用程序D是第三方厂商提供的第三方应用程序。应用程序包括但不限于:新闻类应用程序、导航类应用程序、点评类应用程序、即时通信类应用程序、社交类应用程序、博客类应用程序、浏览器中的至少一种。
其中,显示屏驱动程序21、其它驱动程序22、操作系统内核23、内容抓取程序24、搜索程序25、应用程序A可以认为是属于操作系统内的部分;应用程序B、应用程序C、应用程序D可以认为是属于操作系统外的部分。
上述结构仅为对终端的示意性说明,本领域技术人员可以知晓,终端还可以包括比上述示意更多或更少的组件,比如,终端还可以包括扬声器、麦克风、输入/输出(I/O)组件、电源等。
在基于图4实施例的可选实施例中,终端根据第一选择操作的操作坐标确定目标界面元素并抓取目标界面元素的内容信息,图4实施例流程图中的步骤403可替代实现成为如下步骤403a至步骤403d,如图7所示:
在步骤403a中,显示屏驱动程序向搜索程序上报第一选择操作的操作坐标;
当用户在显示屏上触发第一选择操作后,显示屏驱动程序会生成与该选择操作对应的触控事件,该触控事件包括第一选择操作的操作坐标(x,y)。
显示屏驱动程序向搜索程序上报该第一选择操作的操作坐标(x,y)。比如,显示屏驱动程序将该触控事件通知给搜索程序。
在步骤403b中,搜索程序向内容抓取程序发送内容获取请求,内容获取请求携带有操作坐标;
在步骤403c中,内容抓取程序抓取操作坐标对应的目标界面元素的内容信息;
内容抓取程序抓取位于前台运行的用户界面的多个界面元素的内容信息。可选地,该多个界面元素采用DOM树表示。内容抓取程序还存储有该用户界面中每个界面元素对应的坐标范围。
内容程序根据操作坐标(x,y)和每个界面元素对应的坐标范围,从该用户界面的多个界面元素的内容信息中,选择出目标界面元素对应的内容信息。
在步骤403d中,内容抓取程序向搜索程序发送目标界面元素的内容信息。
搜索程序接收目标界面元素的内容信息。然后,搜索程序向服务器发送搜索请求,该搜索请求包括目标界面元素的内容信息;搜索程序接收服务器反馈的至少一个搜索结果信息,在已显示的用户界面上叠加显示至少一个搜索结果信息。
综上所述,本实施例提供的信息显示方法,通过搜索程序和内容抓取程序的通信来实现对目标界面元素的内容信息的获取,实现了应用层和内核层之间的协调配合,从而使得位于应用层的搜索程序能够获取到位于前台运行的其它应用程序内的目标界面元素的内容信息。
当第一选择操作是长按操作时,由于长按操作在某些应用程序有其它处理逻辑,比如长按操作在射击游戏里用于实现开枪逻辑,所以在一些可选实施例中,内容获取程序中存储有预设名单列表。终端根据预设名单列表检测应用程序的上下文信息是否符合抓取条件,预设名单列表存储有符合抓取条件的上下文信息和/或不符合抓取条件的上下文信息。示意性的,在基于图4实施例的可选实施例中,图4示出的实施例流程图中的步骤403可替代实现成为如下步骤4031至步骤4038,如图8所示:
在步骤4031中,显示屏驱动程序向搜索程序上报第一选择操作的操作坐标;
当用户在显示屏上触发第一选择操作后,显示屏驱动程序会生成与该第一选择操作对应的触控事件,该触控事件包括第一选择操作的操作坐标(x,y)。
显示屏驱动程序向搜索程序上报该第一选择操作的操作坐标(x,y)。比如,显示屏驱动程序将该触控事件通知给搜索程序。
在步骤4032中,搜索程序获取应用程序的上下文信息;
搜索程序获取位于前台运行的应用程序的上下文信息。以操作系统为Andorid操作系统为例,示意性的,操作系统中提供有一个活动栈,该活动栈中位于栈顶的活动(Activity)对应位于前台运行的应用程序的用户界面,搜索程序从位于栈顶的活动中,获取位于前台运行的应用程序的标识和用户界面的标识。其中,应用程序的标识可以是APP对应的包名,用户界面的标识可以是用户界面对应的类名。
可选地,上下文信息包括:应用程序的标识和/或用户界面的标识。该应用程序是位于前台运行的应用程序,该用户界面是位于前台运行的用户界面。
在步骤4033中,搜索程序生成内容获取请求,内容获取请求包括操作坐标和上下文信息;
在步骤4034中,搜索程序向内容抓取程序发送内容获取请求,内容获取请求携带有操作坐标和上下文信息;
在步骤4035中,内容抓取程序根据预设名单列表检测上下文信息是否符合抓取条件;
预设名单列表包括:预设白名单列表,和/或,预设黑名单列表。
上述抓取条件是指:上下文信息所在的应用程序属于预设白名单列表,或不属于预设黑名单列表。
可选地,以抓取条件为上下文信息所在的应用程序属于预设白名单列表为例,当上下文信息是否符合抓取条件,即上下文信息所在的应用程序属于预设白名单列表时,进入步骤4036;
当上下文信息不符合抓取条件,即上下文信息所在的应用程序不属于预设白名单列表时,进入步骤4039。
在步骤4036中,若上下文信息属于预设白名单列表,则抓取用户界面中的界面元素的内容信息;
内容抓取程序抓取位于前台运行的用户界面的多个界面元素的内容信息。可选地,该多个界面元素采用DOM树表示。内容抓取程序还存储有该用户界面中每个界面元素对应的坐标范围。
在步骤4037中,内容抓取程序根据操作坐标选择出目标界面元素的内容信息;
内容程序根据操作坐标(x,y)和每个界面元素对应的坐标范围,从该用户界面的多个界面元素的内容信息中,选择出目标界面元素对应的内容信息。
在步骤4038中,内容抓取程序向搜索程序发送目标界面元素的内容信息;
搜索程序接收目标界面元素的内容信息。然后,搜索程序向服务器发送搜索请求,该搜索请求包括目标界面元素的内容信息;搜索程序接收服务器反馈的至少一个搜索结果信息,在已显示的用户界面上叠加显示至少一个搜索结果信息。
在步骤4039中,内容抓取程序向搜索程序发送获取失败信息。
此时,搜索程序不需要向服务器发送搜索请求。
在这些可选实施例中,如果一个应用程序的用户界面中的界面元素是内容抓取程序无法抓取到的,则可以将该应用程序的标识排除在预设白名单列表之外,或列在预设黑名单之内;如果一个应用程序中的某一个用户界面x是内容抓取程序无法抓取到的,则可以将该用户界面x的标识排除在预设白名单列表之外,或列在预设黑名单之内;如果一个应用程序中的用户界面x是不适合内容抓取程序抓取的,比如该应用程序是游戏应用程序,则将该游戏应用程序的标识排除在预设白名单列表之外,或列在预设黑名单之内。
在上述实施例中,以白名单列表为例说明了内容抓取程序的抓取条件,在另一个可选的实施例中,内容获取程序中存储有预设黑名单列表,该预设黑名单列表包括:黑名单应用程序的标识和/或黑名单用户界面的标识。在这些可选实施例中,如果一个应用程序的用户界面中的界面元素是内容抓取程序无法抓取到的,则可以将该应用程序的标识列在预设黑名单列表之内;如果一个应用程序中的某一个用户界面x是内容抓取程序无法抓取到的,则可以将该用户界面x的标识列在预设黑名单列表之内;如果一个应用程序中的用户界面x是不适合内容抓取程序抓取的,比如该应用程序是游戏应用程序,则将该游戏应用程序的标识列在预设黑名单列表之内。
综上所述,本实施例提供的信息显示方法,通过在内容获取程序中存储预设名单列表,使得对于不符合抓取条件的应用程序和用户界面,不需要进行目标界面元素的获取,避免执行不必要的获取任务,也避免与第一选择操作对应的其它运行逻辑发生冲突。
图9示出了本公开一个示例性实施例提供的服务器的结构示意图,该服务器包括:处理器910、存储器920和网络接口930。
处理器910包括一个或一个以上的处理核心。
存储器920用于存储程序指令和/或数据,处理器910被配置为执行存储器920中的程序指令,从而实现各种功能应用以及数据处理。可选地,存储器620中存储的程序指令被执行时用于实现本公开各个实施例提供的信息显示方法中由服务器执行的步骤。存储器920可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
网络接口930用于实现与终端之间、或与其它服务器之间的通信,网络接口930可以是有线通信组件,比如,光纤接口、RJ45网卡及接口等。网络接口930也可以是无线通信组件。
可选地,存储器920中存储的程序指令包括:应用层922和内核层924。应用层922包括至少一个应用程序,示意性的,应用层922包括:数据库搜索程序33、数据库A、数据库B和数据库C。
数据库搜索程序33具有从目标界面元素提取搜索关键词,并根据搜索关键词搜索出搜索结果信息的能力。
可以有一个以上的数据库用于存储搜索关键词和搜索结果信息之间的对应关系。不同数据库提供的搜索结果信息可以不同,示意性的,数据库A用于提供人名与人物介绍信息之间的对应关系,数据库B用于提供店铺名与店铺信息之间的对应关系,数据库C用于提供商品与商品信息之间的对应关系。
可选地,应用层922还可能存储有:用于实现将文本拆分为若干个词语的词语拆分程序以及词性识别程序,用于实现OCR识别的OCR识别程序,用于实现图像识别的图像识别程序中的至少一种。这些程序也可以集成于数据库搜索程序33中,作为数据库搜索程序33的一部分。当数据库搜索程序33获取到的目标界面元素的内容信息是文本形式时,词语拆分程序可以将内容信息拆分为若干个候选项,每个候选项是一个词;词性识别程序用于对每个候选项的词性进行识别;当数据库搜索程序33获取到的目标界面元素的内容信息是图像数据时,OCR识别程序用于识别出图像中的文字,重新将图像中的文字作为该目标界面元素的内容信息;或者,图像识别程序用于识别出图像中的物体名称、物体类别或物体属性,重新将物体名称、物体类别或物体属性作为该目标界面元素的内容信息。这些识别结果可以用于向用户提供作为搜索关键词的候选项。
上述结构仅为对服务器的示意性说明,本领域技术人员可以知晓,终端还可以包括比上述示意更多或更少的组件,比如,终端还可以包括扬声器、麦克风、输入/输出(I/O)组件、电源等。
在图7或图8所示的实施例中,以目标界面元素的内容信息是内容抓取程序直接抓取到的文本为例来举例说明。在一些实施例中,目标界面元素还可以是第一选择操作所选择的图像。此时,图4实施例中的步骤403可替代实现成为步骤403e或步骤403f,如图10所示:
在步骤403e中,当第一选择操作选择的目标界面元素是目标图像时,将目标图像的图像数据确定为目标界面元素的内容信息。
在该种实现方式下,服务器会对目标图像的图像数据进行OCR识别或图像识别,根据识别结果进行搜索,得到至少一个搜索结果信息。
在步骤403f中,当第一选择操作选择的目标界面元素是目标图像时,获取与目标图像对应的识别结果,将识别结果确定为目标界面元素的内容信息。
在该种实现方式下,终端对目标图像的图像数据进行OCR识别,将识别出的文字确定为目标界面元素的内容信息;和/或,终端对目标图像进行图像识别,将识别出的物体名和/或物体属性确定为目标界面元素的内容信息。服务器会根据终端的识别结果进行搜索,得到至少一个搜索结果信息。
在图10所示实施例中,以目标界面元素的内容信息是内容抓取程序直接抓取到的图像为例来举例说明。在一些实施例中,目标界面元素的内容信息还可以是对用户界面截图后,根据截图图像分析到的文本。此时,图4实施例中的步骤403可替代实现成为步骤403g至步骤403l,如图11所示:
在步骤403g中,以第一选择操作的操作位置为基准位置,显示区域选择控件;
区域选择控件可以是矩形区域选择控件、圆形区域选择控件、不规则区域选择控件中的任意一种。
以第一选择操作为压力触控操作为例,在用户用力按压触摸屏后,终端的操作系统以用力按压触摸屏的按压位置为基准位置(或中心点),显示区域选择控件。
该区域选择控件可以叠加显示在目标界面元素的上方。
在步骤403h中,以第一选择操作的操作位置为基准位置,对位于区域选择控件内的界面元素进行放大显示;
出于方便用户阅读的考虑,终端的操作系统以第一选择操作的操作位置为基准位置,对位于区域选择控件内的界面元素进行放大显示。放大倍数可以是预设倍数。
结合参考图13,用户界面131上显示有界面元素132,用户对界面元素132感兴趣时,对界面元素132进行压力触控操作(也可以是长按操作);操作系统以按压点为中心,弹出显示矩形区域选择控件30。同时还对矩形区域选择控件30内的界面元素放大1.5倍后进行显示。
在步骤403i中,接收在区域选择控件上触发的调整操作;
如果区域选择控件的位置和/或大小不符合用户的预期,则用户可以调整区域选择控件的位置和/或大小。
以区域选择控件是矩形区域选择控件为例,当用户在矩形区域选择控件的内部触发拖动操作时,该拖动操作是用于调整位置的调整操作;当用户在矩形区域选择控件的边缘触发拖动操作时,该拖动操作是用于调整大小的调整操作。
在步骤403j中,根据调整操作改变区域选择控件的位置和/或大小;
当接收到用于调整位置的调整操作时,终端中的操作系统根据调整操作改变区域选择控件的位置。比如,结合图13可知,用户拖动矩形区域选择控件,使得界面元素132位于矩形区域选择控件30的正中央。
当接收到用于调整大小的调整操作时,终端中的操作系统根据调整操作改变区域选择控件的大小。
在步骤403k中,在接收到确认信号时,将区域选择控件内的界面元素进行截图,得到目标图像;
确认信号可以是用户人工触发的信号,也可以是区域选择控件在预定时长内没有接收到任何外部操作时,自动产生的信号。
在接收到确认信号后,终端中的操作系统将区域选择控件的界面元素进行截图将截图所得的图像作为目标图像。
在步骤403l中,根据目标图像确定目标界面元素的内容信息。
本步骤可以采用如下三种不同实现方式中的任意一种:
第一,终端将目标图像的图像数据确定为目标界面元素的内容信息;
终端向服务器发送搜索请求,该搜索请求包括目标图像的图像数据。
可选地,服务器对图像数据进行OCR识别,得到图像数据中的文本,服务器对该文本进行分词后,得到至少一个候选项;服务器从候选项中确定出搜索关键字,根据搜索关键字搜索出n个搜索结果信息,向终端发送n个搜索结果信息。和/或,服务器对图像数据进行图像识别,识别出图像数据中的物体名称、物体类型和物体属性中的至少一种信息,服务器将图像识别出的至少一种信息作为至少一个候选项;服务器从候选项中确定出搜索关键字,根据搜索关键字搜索出n个搜索结果信息,向终端发送n个搜索结果信息。
第二,终端对目标图像的图像数据进行OCR识别和/或图像识别,将识别结果确定为目标界面元素的内容信息;
可选地,终端对图像数据进行OCR识别,得到图像数据中的文本,将OCR识别出的文本确定为内容信息;和/或,终端对图像数据进行图像识别,识别出图像数据中的物体名称、物体类型和物体属性中的至少一种信息,将图像识别出的至少一种信息作为内容信息。
终端向服务器发送搜索请求,该搜索请求包括:对图像数据进行OCR识别和/或图像识别时的识别结果,服务器对该识别结果进行分词后,得到至少一个候选项;服务器从候选项中确定出搜索关键字,根据搜索关键字搜索出n个搜索结果信息,向终端发送n个搜索结果信息。
第三,终端将目标图像的图像数据发送给图像处理服务器,由图像处理服务器对目标图像的图像数据进行OCR识别和/或图像识别;终端接收图像处理服务器的识别结果,并将识别结果确定为目标界面元素的内容信息。;
终端向服务器发送搜索请求,该搜索请求包括:对图像数据进行OCR识别和/或图像识别时的识别结果,服务器对该识别结果进行分词后,得到至少一个候选项;服务器从候选项中确定出搜索关键字,根据搜索关键字搜索出n个搜索结果信息,向终端发送n个搜索结果信息。
然后,终端接收到n个搜索结果信息,并通过操作系统在用户界面的局部区域上叠加显示n个显示元素。
综上所述,本实施例提供的信息显示方法,通过截图的方式来获取内容信息,使得对于图片类、文本和图片混合类、视频类、动图类等多种类型的界面元素均可以进行快速的搜索处理,提高了用户使用终端时的搜索效率,并且简化了用户在搜索过程中的操作。
在基于图4实施例的可选实施例中,步骤406可替代实现成为如下步骤406a至步骤406c,如图12所示:
在步骤406a中,将目标界面元素的内容信息进行分解,得到至少一个候选项;
当目标界面元素的内容信息为文本时,由于单词是最小的具有独立意义的语言成分,服务器中的数据库搜索程序将内容信息进行分词,得到至少一个候选项。
可选地,服务器还会识别出每个候选项的词性和/或属性,词性包括动词、名词、形容词、代词、谓词、数词、量词、叹词、拟声词中的至少一种,属性包括:人名、地名、商家名、商品名、网址链接、符合预定格式的URL等。
比如,目标界面元素的内容信息“华夏艺术馆将于19日举行画展”,则服务器将内容信息拆分为五个候选项“华夏艺术馆”、“将于”、“19日”、“举行”、“画展”。
当目标界面元素的内容信息为图像数据时,服务器对图像数据的内容信息进行OCR识别,得到图像数据中的文本,服务器对该文本进行分词后,得到至少一个候选项;或者,服务器对图像数据进行图像识别,识别出图像数据中的物体名称、物体类型和物体属性中的至少一种信息,服务器将图像识别出的至少一种信息作为至少一个候选项。
在步骤406b中,从至少一个候选项中,确定出搜索关键词;
可选地,数据库搜索程序将候选项中的人名、地名、商家名、商品名、网址链接、符合预定格式的URL中的至少一个,确定为搜索关键词。
在步骤406c中,根据搜索关键词在数据库中搜索得到搜索结果信息。
数据库搜索程序将搜索关键词输入数据库中,查询出与搜索关键词对应的搜索结果信息。
可选地,数据库搜索程序将搜索关键词输入多个数据库中,得到与搜索关键词对应的n种搜索结果信息。
综上所述,本实施例提供的信息显示方法,通过服务器对内容信息进行分解,得到至少一个候选项;从候选项中确定出搜索关键词后,根据搜索关键词搜索得到搜索结果信息;能够准确地理解内容信息的语义,查询到符合用户预期的搜索结果信息。
在基于图4实施例的可选实施例中,步骤404可替代实现成为如下步骤4041和步骤4042,步骤406可替代实现成为如下步骤4061至步骤4063,如图13所示:
在步骤4041中,终端获取应用程序的上下文信息;
终端中的搜索程序获取位于前台运行的应用程序的上下文信息。以操作系统为Andorid操作系统为例,示意性的,操作系统中提供有一个活动栈,该活动栈中位于栈顶的活动(Activity)对应位于前台运行的应用程序的用户界面,搜索程序从位于栈顶的活动中,获取位于前台运行的应用程序的标识和用户界面的标识。其中,应用程序的标识可以是APP对应的包名,用户界面的标识可以是用户界面对应的类名。
可选地,上下文信息包括:应用程序的标识和/或用户界面的标识。该应用程序是位于前台运行的应用程序,该用户界面是位于前台运行的用户界面。在其它实施例中,上下文信息还可以包括:最近浏览的用户界面的标识、已安装的第三方应用程序的标识等其它信息,并不局限于上述信息。
需要说明的是,如果终端在步骤403中已经获取到上下文信息,则步骤4041可忽略执行。
在步骤4042中,终端向服务器发送搜索请求,搜索请求包括目标界面元素的内容信息和上下文信息;
终端中的搜索程序向服务器发送搜索请求,该搜索请求包括目标界面元素的内容信息和上下文信息。
在步骤405中,服务器接收搜索请求;
在步骤4061中,服务器将目标界面元素的内容信息进行分解,得到至少一个候选项;
当目标界面元素的内容信息为文本时,由于单词是最小的具有独立意义的语言成分,服务器中的数据库搜索程序将内容信息进行分词,得到至少一个候选项。
可选地,服务器还会识别出每个候选项的词性和/或属性,词性包括动词、名词、形容词、代词、谓词、数词、量词、叹词、拟声词中的至少一种,属性包括:人名、地名、商家名、商品名、网址链接、符合预定格式的URL等。
比如,目标界面元素的内容信息“华夏艺术馆将于19日举行画展”,则服务器将内容信息拆分为五个候选项“华夏艺术馆”、“将于”、“19日”、“举行”、“画展”。
当目标界面元素的内容信息为图像数据时,服务器对图像数据的内容信息进行OCR识别,得到图像数据中的文本,服务器对该文本进行分词后,得到至少一个候选项;或者,服务器对图像数据进行图像识别,识别出图像数据中的物体名称、物体类型和物体属性中的至少一种信息,服务器将图像识别出的至少一种信息作为至少一个候选项。
在步骤4062中,根据上下文信息从候选项中确定出搜索关键词;
可选地,数据库搜索程序保存有与上下文信息对应的选择策略。数据库搜索程序根据上下文信息确定出对应的选择策略,根据该选择策略从至少一个候选项中确定出搜索关键词。
示意性的,当上下文信息指示位于前台运行的应用程序是新闻类程序时,选择策略为将所有名词作为搜索关键词;
当上下文信息指示位于前台运行的用户界面是用户资料页面时,选择策略为将人名和地名作为搜索关键词;
当上下文信息指示位于前台运行的应用程序是地图应用程序时,选择策略为将地名作为搜索关键词;
当上下文信息指示位于前台运行的应用程序是购物应用程序时,选择策略为将商家名、商品名、网址链接和/或符合预定格式的URL作为搜索关键词;
当上下文信息指示位于前台运行的应用程序是电影应用程序时,选择策略为将电影名、影院名和/或演员名作为搜索关键词。
上述选择策略仅为示意性的,并不构成对本公开实施例的限定。
在步骤4063中,根据搜索关键词在数据库中搜索得到搜索结果信息。
数据库搜索程序将搜索关键词输入数据库中,查询出与搜索关键词对应的搜索结果信息。
可选地,数据库搜索程序将搜索关键词输入多个数据库中,得到与搜索关键词对应的n种搜索结果信息。
可选地,数据库搜索程序根据上下文信息选择出一部分目标数据库,将搜索关键词输入目标数据库中,得到与搜索关键词对应的n种搜索结果信息。
综上所述,本实施例提供的信息显示方法,通过在搜索请求中携带上下文信息,服务器可以根据上下文信息在至少一个候选项中,选择出更合适或更精准的搜索关键词,根据搜索关键词搜索得到更准确的搜索结果信息;从而实现在准确地理解内容信息的语义上,还能结合用户当前的使用场景,查询到更符合用户预期的搜索结果信息。
在基于图4的可选实施例中,还可以向用户提供搜索关键词调整机制,具体来讲,上述信息显示方法还包括步骤412至步骤416,如图15所示:
在步骤412中,在用户界面的局部区域上还叠加显示搜索调整元素;
终端在局部区域显示n个搜索结果信息时,还可以在用户界面的局部区域上叠加显示搜索调整元素。当局部区域采用列表视图显示时,搜索调整元素作为一个列表项进行显示。
可选地,搜索调整元素在局部区域的某一位置(比如最右侧)固定显示,此时步骤412和步骤409同时执行;可选地,搜索调整元素在局部区域中作为最后一个显示元素进行显示,当根据滑动操作滑动到第n个显示元素之后,会将搜索调整元素滑入局部区域中进行显示。
比如,参考图16A,用于显示搜索结果信息的显示元素为8个,当终端根据滑动操作滑动到第8个显示元素151之后,终端会将搜索调整元素“精确查找”按钮152显示在第8个显示元素151右侧。
在步骤413中,接收在搜索调整元素上触发的触发信号;
可选地,触发信号是作用于搜索调整元素上的点击信号。
在步骤414中,显示与搜索调整元素的候选项展示窗口,候选词展示窗口包括与目标界面元素对应的m个候选项;
可选地,该候选项展示窗口为另外一个叠加窗口,该叠加窗口占据整个显示区域的中部区域。在该候选项展示窗口上显示有m个候选项,m为正整数。
在显示候选项展示窗口时,叠加在局部区域上的n个显示元素和搜索调整元素可以保留在原位置,也可以取消显示。
比如,参考图16A,当用户点击“精确查找”按钮152之后,终端中的操作系统取消对n个显示元素和“精确查找”按钮152的显示,在显示屏的中部区域叠加显示候选项展示窗口153,该候选项展示窗口153上显示有四个候选项。
可选地,候选项展示窗口153上还显示有“复制”按钮、“搜索”按钮和“全选”按钮。
在另一个可选地实施例中,参考图16B,当用户点击“精确查找”按钮152之后,终端中的操作系统取消对n个显示元素和“精确查找”按钮152的显示,在显示屏的中部区域叠加显示图片候选项展示窗口154,该候选项展示窗口154上显示有三个候选项154a、154b以及154c。
可选地,候选项展示窗口154上还显示有“搜索”按钮和“全选”按钮。
在步骤415中,接收对至少一个候选项的第二选择操作,该第二选择操作用于将被选定的候选项对应的关键词确定为搜索关键词;
用户可以在候选项展示窗口上对感兴趣的候选项进行点击,然后将至少一个候选项确定为搜索关键词。
比如,参考图16A,用户将“候选项3”选定为搜索关键词。
在另一个可选地实施例中,参考图16B,用户将图片候选项154a选定为搜索关键词。
在步骤416中,显示与搜索关键词对应的搜索结果信息。
可选地,终端将上述搜索关键词发送给服务器,服务器向终端反馈与该搜索关键词对应的n个搜索结果信息。
可选地,终端调用浏览器,并使用浏览器中的搜索引擎搜索与搜索关键词匹配的搜索结果信息,并在浏览器中显示与搜索关键词匹配的搜索结果信息。
终端调用的浏览器可以是操作系统自带的浏览器,也可以是用户自定义的默认浏览器。
综上所述,本实施例提供的信息显示方法,在初次搜索的n个搜索结果信息较少或较多时,通过向用户提供搜索调整元素和候选项展示窗口,使得用户能够手动选定搜索关键词重新进行搜索,提高了搜索准确性;并且减少用户再次打开浏览器并且输入搜索关键词的操作步骤。
需要说明的一点是,本领域技术人员还可以对上述各个实施例进行自由组合实施;不仅如此,本领域技术人员还可以将上述各个实施例与相关技术中的已有实施例进行自由组合实施。比如,长按操作在相关技术中通常会作为复制、粘贴、搜索等操作的触发形式,当上述各个实施例与相关技术中的已有实施例组合实施时,如图17所示,若用户对目标界面元素22进行长按,则终端不仅会在局部区域23显示至少一个搜索结果信息,还会在显示屏的中部显示“复制”控件24和“在浏览器中打开”按钮25。
在基于图4实施例的可选实施例中,在n个搜索结果信息存在至少一个第一搜索结果信息包括用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词。其中,步骤409至步骤411可替代实现成为如下步骤409a至步骤409b,或步骤409c至步骤409d,如图18所示:
在步骤409a中,接收在第一搜索结果信息上触发的第三选择操作。
该第三选择操作是用于选择目标第一搜索结果信息的,第一搜索结果信息的内容中包含有本地应用程序的调用接口,其中,本地应用程序是指已经安装在终端设备上的可使用的应用程序,调用接口是指调起本地应用程序的函数指令,或调起本起应用程序对应的网页页面的URL地址。
在步骤409b中,显示本地应用程序的用户界面。
根据触发的第三选择操作接收在第一搜索结果信息上的本地应用程序调用接口,调起本地应用程序的用户界面,该用户界面包括本地应用程序对与第一搜索结果信息对应的搜索关键词进行处理后的处理结果。
在一个可选的实施例中,参考图19,用户在第一搜索结果信息191上触发第三选择操作后,接收到第一搜索结果信息191中的本地应用调用接口,如,当第一搜索结果信息包含地名时,第一搜索结果信息191中包含有本地地图类应用程序的调用接口,该调用接口可以是地图应用程序的函数调用指令,地图应用程序对应的网页页面的URL地址;触发第三选择操作后,接收到调起本起地图应用程序的函数指令,并显示地图用户界面192。其中,显示的地图用户界面192包括地图应用程序对第一搜索结果信息191对应的搜索关键词进行处理后的搜索结果,如:第一搜索结果信息对应的搜索关键词为“博物馆”,则地图用户界面192中显示的内容包括以“博物馆”为搜索关键词在地图应用程序中的搜索结果界面。
上述实施例中的步骤409a至步骤409b还可替代实现为步骤409c至步骤409d,步骤409a至步骤409b和步骤409c至步骤409d为两种互相独立的信息显示方法的实施方式。步骤409a至步骤409b与步骤409c至步骤409d之间可以交替执行,也可以与上述实施例中的任一或任意几个实施例结合执行。
在基于图4实施例的可选实施例中,在n个搜索结果信息存在至少一个第二搜索结果信息包括用于调用网络服务的调用接口,该调用接口的输入参数包括与目标界面元素对应的搜索关键词。
在步骤409c中,接收在第一搜索结果信息上触发的第四选择操作。
该第四选择操作是用于选择目标第一搜索结果信息的,第一搜索结果信息的内容中包含有网络服务的调用接口,其中,网络服务是指尚未安装在终端设备上的可在网页中使用的应用程序或其它程序,如:搜索引擎等,调用接口是指调起网络服务对应的网页页面的URL地址。
在步骤409b中,显示网络服务的用户界面。
根据触发的第四选择操作接收在第一搜索结果信息上的网络服务调用接口,调起网络服务的网页页面对应的用户界面,该用户界面包括网络应用程序对与第一搜索结果信息对应的搜索关键词进行处理后的处理结果。
在一个可选的实施例中,用户在第一搜索结果信息上触发第四选择操作后,接收到第一搜索结果信息中的网络应用调用接口,如,当第一搜索结果信息包含书籍名时,第一搜索结果信息中包含有网络应用程序的URL地址;触发第四选择操作后,接收到调起浏览器应用程序的函数指令,并显示用户界面。其中,用户界面包括浏览器搜索引擎对第一搜索结果信息对应的搜索关键词进行处理后的搜索结果,如:第一搜索结果信息对应的搜索关键词为“辞海”,则浏览器用户界面中显示的内容包括以“辞海”为搜索关键词在搜索引擎中的搜索结果页面。
图20示出了本公开一个示例性实施例提供过的信息显示装置的框图,该信息显示装置可以通过软件、硬件和/或两者的结合实现成为终端的全部和一部分,该装置中安装有操作系统和应用程序,所述装置包括:
显示模块1720,被配置为显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;
接收模块1740,被配置为接收在所述用户界面上触发的第一选择操作;
选择模块1760,被配置为根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;
所述显示模块1720,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息。
在一个可选的实施例中,所述显示模块1720,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,n为正整数,所述显示元素的显示层级高于所述用户界面的显示层级,每个所述显示元素上用于显示至少一个所述搜索结果信息的第一级信息。
在一个可选的实施例中,所述显示模块1720,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示列表视图控件,所述列表视图控件包括n个显示元素,n≥2,所述n个显示元素在所述列表控件中按照第一方向顺序排列且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。
在一个可选的实施例中,所述局部区域是:
所述用户界面的底部区域;
或,所述目标界面元素的相邻区域;
或,所述选择操作的操作位置的相邻区域。
在一个可选的实施例中,所述接收模块,还被配置为,在第j个搜索结果信息上接收第一滑动操作,所述第一滑动操作是沿所述第一方向滑动的操作;
所述显示模块,还被配置为将所述第j个搜索结果信息跟随所述第一滑动操作沿所述第一方向进行滑动显示,将所述第j个搜索结果信息滑出所述局部区域的部分进行隐藏,将第j-1个搜索结果信息滑入所述局部区域的部分进行显示,j为大于1的整数,且j小于或等于n;
和/或,
所述接收模块,还被配置为在第k个搜索结果信息上接收第二滑动操作,所述第二滑动操作是沿所述第二方向滑动的操作;
所述显示模块,还被配置为将所述第k个搜索结果信息跟随所述第二滑动操作沿所述第二方向进行滑动显示,将所述第k个搜索结果信息滑出所述局部区域的部分进行隐藏,将第k+1个搜索结果信息滑入所述局部区域的部分进行显示,k为小于等于n的整数;
其中,所述第一方向和所述第二方向相反。
在一个可选的实施例中,所述装置,还包括:
获取模块,被配置为根据所述第一选择操作获取所述目标界面元素的内容信息;
发送模块,被配置为向服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息;
所述接收模块,被配置为接收所述服务器反馈的所述搜索结果信息。
在一个可选的实施例中,所述获取模块,被配置为根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为根据预设名单列表检测所述应用程序的上下文信息是否符合抓取条件,所述预设名单列表存储有符合所述抓取条件的上下文信息和/或不符合所述抓取条件的上下文信息;若所述上下文信息符合所述抓取条件,则执行所述根据所述第一选择操作的操作坐标确定所述目标界面元素,抓取所述目标界面元素的内容信息的步骤。
在一个可选的实施例中,所述获取模块包括:显示屏驱动程序模块、搜索程序模块和内容抓取程序模块;
所述显示屏驱动程序模块,被配置为向所述搜索程序上报所述第一选择操作的操作坐标;
所述搜索程序模块,被配置为向所述内容抓取程序发送界面元素获取请求,所述界面元素获取请求携带有所述操作坐标;
所述内容抓取程序模块,被配置为抓取所述操作坐标对应的所述目标界面元素的内容信息;
所述内容抓取程序模块,被配置为通过所述内容抓取程序向所述搜索程序发送所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块包括:搜索程序模块和内容抓取程序模块;
所述搜索程序模块,被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;生成包括所述操作坐标和所述上下文信息的所述界面元素获取请求;
所述内容抓取程序模块,被配置为检测所述上下文信息是否符合抓取条件。
在一个可选的实施例中,所述获取模块,被配置为当所述第一选择操作选择的所述目标界面元素是目标图像时,将所述目标图像的图像数据确定为所述目标界面元素的内容信息;
或,
所述获取模块,被配置为当所述第一选择操作选择的所述目标界面元素是所述目标图像时,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为以所述第一选择操作的操作位置为基准位置,显示区域选择控件;在接收到确认信号时,将所述区域选择控件内的界面元素进行截图,得到目标图像;将所述目标图像确定为所述目标界面元素的内容信息,或,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
在一个可选的实施例中,所述获取模块,被配置为对所述目标图像进行光学字符OCR识别或图像识别,得到与所述目标图像对应的识别结果;
或,
所述获取模块,被配置为将所述目标图像发送至图像处理服务器;接收所述图像处理服务器反馈的与所述目标图像对应的识别结果。
在一个可选的实施例中,所述显示模块,还被配置为以所述第一选择操作的操作位置为基准位置,对位于所述区域选择控件内的界面元素进行放大显示。
在一个可选的实施例中,所述装置,还包括:调整模块;
所述接收模块,还被配置为接收在所述区域选择控件上触发的调整操作;
所述调整模块,被配置为根据所述调整操作改变所述区域选择控件的位置和/或大小。
在一个可选的实施例中,所述装置,还包括:
所述获取模块,被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
所述发送模块,被配置为向所述服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息和所述上下文信息。
其中,所述服务器用于根据所述内容信息得到至少一个候选项;根据所述上下文信息从所述候选项中确定出搜索关键词;根据所述搜索关键词搜索得到所述搜索结果信息。
在一个可选的实施例中,所述接收模块,还被配置为接收在所述用户界面上触发的长按操作,所述长按操作是触控时长超过预设时长的操作;
或,
所述接收模块,还被配置为接收在所述用户界面上触发的压力触控操作,所述压力触控操作是触控压力超过预设压力的操作。
在一个可选的实施例中,所述显示模块,被配置为在所述用户界面的局部区域上叠加显示搜索调整元素;
所述接收模块,被配置为接收在所述搜索调整元素上触发的触发信号;
所述显示模块,被配置为根据所述触发信号显示与所述搜索调整元素对应的候选项展示窗口,所述候选项展示窗口包括与所述目标界面元素对应的m个候选项,m为正整数;
所述接收模块,被配置为接收对至少一个所述候选项的第二选择操作,该第二选择操作用于将被选定的候选项对应的关键词确定为搜索关键词;
所述显示模块,被配置为显示与所述搜索关键词对应的搜索结果信息。
在一个可选的实施例中,所述装置,还包括:
调用模块,被配置为用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在所述第一搜索结果信息上触发的第三选择操作,所述第三选择操作用于触发通过所述调用接口调用所述本地应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述本地应用程序的用户界面,所述用户界面包括所述本地应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,所述装置,包括:
所述调用模块,被配置为用于调用网络应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在所述第二搜索结果信息上触发的第四选择操作,所述第四选择操作用于触发通过所述调用接口调用所述网络应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述网络应用程序的用户界面,所述用户界面包括所述网络应用程序对所述搜索关键词进行处理后的处理结果。
在一个可选的实施例中,
当所述目标界面元素的内容信息包括:影视作品名称时,所述搜索结果信息包括但不限于:所述影视作品的介绍信息、所述影视作品的评分信息、所述影视作品的作者信息、所述影视作品在本地应用程序或网络服务中的订阅入口、所述影视作品在所述本地应用程序或所述网络服务中的分享入口、所述影视作品在所述本地应用程序中的收藏入口、所述影视作品在所述网络服务上的购票入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:文学作品名称时,所述搜索结果信息包括但不限于:所述文学作品的介绍信息、所述文学作品的评分信息、所述文学作品的作者信息、所述文学作品在所述本地应用程序中的订阅入口、所述文学作品在所述本地应用程序中的分享入口、所述文学作品在所述本地应用程序中的收藏入口、所述文学作品在所述网络服务上的体验阅读入口、所述文学作品在所述网络服务上的购买入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:人物信息时,所述搜索结果信息包括但不限于:所述人物的百科介绍信息、所述人物在所述网络服务上的社交网络服务主页、所述人物在所述网络服务上的最新新闻动态、所述人物在所述网络服务上的动态订阅入口、所述人物在所述本地应用程序或所述网络服务上的分享入口、所述人物在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:地点信息时,所述搜索结果信息包括但不限于:所述地点的介绍信息、所述地点在所述本地应用程序或所述网络服务上的导航信息、所述地点在所述本地应用程序或所述网络服务上的地图预览信息、以所述地点为目的地的打车入口、所述地点在所述本地应用程序或所述网络服务上的分享入口、所述地点在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商家信息时,所述搜索结果信息包括但不限于:所述商家的介绍信息、所述商家在所述网络服务上的社交网络服务主页、所述商家在所述网络服务上的最新新闻动态、所述商家在所述网络服务上的优惠订阅入口、所述商家的联系方式信息、所述商家在所述本地应用程序或网络服务上的导航信息、所述商家在所述本地应用程序或网络服务上的地图预览信息、以所述商家为目的地的打车入口、所述商家在所述本地应用程序或所述网络服务上的分享入口、所述商家在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商品信息时,所述搜索结果信息包括但不限于:所述商品的介绍信息、所述商品在所述网络服务上的购买入口、所述商品在至少一个购物渠道的价格信息、所述商品在所述网络服务上的优惠订阅入口、所述商品在所述网络服务上的降价提醒入口、所述商品在所述本地应用程序或所述网络服务上的历史价格趋势查看入口、所述商品在所述本地应用程序或所述网络服务上的分享入口、所述商品在所述本地应用程序或所述网络服务上的收藏入口中的至少一种。
本公开还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如上任一实施例提供的信息显示方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序指令配合相关的硬件完成,所述程序指令可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本公开的较佳实施例,并不用以限制本公开,凡在本公开的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (36)

1.一种信息显示方法,其特征在于,应用于安装有操作系统和应用程序的终端中,所述方法包括:
显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;
接收在所述用户界面上触发的第一选择操作;
根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;
以所述第一选择操作的操作位置为基准位置,显示区域选择控件,并对位于所述区域选择控件内的界面元素进行放大显示;
在接收到确认信号时将所述区域选择控件内的界面元素进行截图,得到目标图像;
将所述目标图像确定为所述目标界面元素的内容信息;
获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
向服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息和所述上下文信息;其中,所述服务器用于根据所述内容信息得到至少一个候选项;根据所述上下文信息从所述候选项中确定出搜索关键词;根据所述搜索关键词搜索得到搜索结果信息;
接收所述服务器反馈的所述搜索结果信息,所述搜索结果信息是来自于所述服务器对至少两个不同的网站的数据进行搜索后的搜索结果信息;
通过所述操作系统在所述用户界面的局部区域上叠加显示所述搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息,所述搜索结果信息显示在显示元素上,所述显示元素内显示有文字和图标,所述文字用于表示所述搜索结果信息,所述图标用于表示所述搜索结果信息的信息提供方。
2.根据权利要求1所述的方法,其特征在于,所述通过所述操作系统在所述用户界面的局部区域上叠加显示所述搜索结果信息,包括:
通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,n为正整数,所述显示元素的显示层级高于所述用户界面的显示层级,每个所述显示元素上用于显示至少一个所述搜索结果信息的第一级信息。
3.根据权利要求2所述的方法,其特征在于,所述通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,包括:
通过所述操作系统在所述用户界面的局部区域上叠加显示列表视图控件,所述列表视图控件包括n个显示元素,n≥2,所述n个显示元素在所述列表视图控件中按照第一方向顺序排列且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。
4.根据权利要求1所述的方法,其特征在于,所述局部区域是:
所述用户界面的底部区域;
或,所述目标界面元素的相邻区域;
或,所述选择操作的操作位置的相邻区域。
5.根据权利要求1所述的方法,其特征在于,所述通过所述操作系统在所述用户界面的局部区域上叠加显示所述搜索结果信息之后,还包括:
在第j个搜索结果信息上接收第一滑动操作,所述第一滑动操作是沿第一方向滑动的操作;将所述第j个搜索结果信息跟随所述第一滑动操作沿所述第一方向进行滑动显示,将所述第j个搜索结果信息滑出所述局部区域的部分进行隐藏,将第j-1个搜索结果信息滑入所述局部区域的部分进行显示,j为大于1的整数,且j小于或等于n;
和/或,
在第k个搜索结果信息上接收第二滑动操作,所述第二滑动操作是沿第二方向滑动的操作;将所述第k个搜索结果信息跟随所述第二滑动操作沿所述第二方向进行滑动显示,将所述第k个搜索结果信息滑出所述局部区域的部分进行隐藏,将第k+1个搜索结果信息滑入所述局部区域的部分进行显示,k为小于n的整数;
其中,所述第一方向和所述第二方向相反。
6.根据权利要求1所述的方法,其特征在于,所述根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素,包括:
根据所述第一选择操作的操作坐标确定所述目标界面元素。
7.根据权利要求6所述的方法,其特征在于,所述根据所述第一选择操作的操作坐标确定所述目标界面元素之前,还包括:
根据预设名单列表检测所述应用程序的上下文信息是否符合抓取条件,所述预设名单列表存储有符合所述抓取条件的上下文信息和/或不符合所述抓取条件的上下文信息;
若所述上下文信息符合所述抓取条件,则执行所述根据所述第一选择操作的操作坐标确定所述目标界面元素的步骤。
8.根据权利要求6所述的方法,其特征在于,所述操作系统包括:显示屏驱动程序、搜索程序和内容抓取程序;
所述方法,还包括:
通过所述显示屏驱动程序向所述搜索程序上报所述第一选择操作的操作坐标;
通过所述搜索程序向所述内容抓取程序发送界面元素获取请求,所述界面元素获取请求携带有所述操作坐标;
通过所述内容抓取程序抓取所述操作坐标对应的所述目标界面元素的内容信息;
通过所述内容抓取程序向所述搜索程序发送所述目标界面元素的内容信息。
9.根据权利要求7所述的方法,其特征在于,所述操作系统包括:搜索程序和内容抓取程序;
所述检测所述应用程序的上下文信息是否符合抓取条件,包括:
通过所述搜索程序获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
生成包括所述操作坐标和所述上下文信息的所述界面元素获取请求;
通过所述内容抓取程序检测所述上下文信息是否符合抓取条件。
10.根据权利要求1所述的方法,其特征在于,所述将所述目标图像确定为所述目标界面元素的内容信息,包括:
将所述目标图像的图像数据确定为所述目标界面元素的内容信息;
或,
获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
11.根据权利要求10所述的方法,其特征在于,所述获取与所述目标图像对应的识别结果,包括:
对所述目标图像进行光学字符OCR识别或图像识别,得到与所述目标图像对应的识别结果;
或,
将所述目标图像发送至图像处理服务器;接收所述图像处理服务器反馈的与所述目标图像对应的识别结果。
12.根据权利要求1所述的方法,其特征在于,所述在接收到确认信号时将所述区域选择控件内的界面元素进行截图,得到目标图像之前,还包括:
接收在所述区域选择控件上触发的调整操作;
根据所述调整操作改变所述区域选择控件的位置和/或大小。
13.根据权利要求1至5任一所述的方法,其特征在于,所述接收在所述用户界面上触发的第一选择操作,包括:
接收在所述用户界面上触发的长按操作,所述长按操作是触控时长超过预设时长的操作;
或,
接收在所述用户界面上触发的压力触控操作,所述压力触控操作是触控压力超过预设压力的操作。
14.根据权利要求1至5任一所述的方法,其特征在于,所述方法还包括:
在所述用户界面的局部区域上叠加显示搜索调整元素;
接收在所述搜索调整元素上触发的触发信号;
根据所述触发信号显示与所述搜索调整元素对应的候选项展示窗口,所述候选项展示窗口包括与所述目标界面元素对应的m个候选项,m为正整数;
接收对至少一个所述候选项的第二选择操作,所述第二选择操作用于选择目标候选项;
根据所述目标候选项确定搜索关键词;
显示与所述搜索关键词对应的搜索结果信息。
15.根据权利要求1至5任一所述的方法,其特征在于,在所述搜索结果信息中存在至少一个第一搜索结果信息包括:用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述方法还包括:
接收在所述第一搜索结果信息上触发的第三选择操作,所述第三选择操作用于触发通过所述调用接口调用所述本地应用程序对所述搜索关键词进行处理;
显示所述本地应用程序的用户界面,所述用户界面包括所述本地应用程序对所述搜索关键词进行处理后的处理结果。
16.根据权利要求1至5任一所述的方法,其特征在于,在所述搜索结果信息中存在至少一个第二搜索结果信息包括:用于调用网络服务的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述方法还包括:
接收在所述第二搜索结果信息上触发的第四选择操作,所述第四选择操作用于触发通过所述调用接口调用所述网络服务对所述搜索关键词进行处理;
显示所述网络服务的用户界面,所述用户界面包括所述网络服务对所述搜索关键词进行处理后的处理结果。
17.根据权利要求1至5任一所述的方法,其特征在于,
当所述目标界面元素的内容信息包括:影视作品名称时,所述搜索结果信息包括但不限于:所述影视作品的介绍信息、所述影视作品的评分信息、所述影视作品的作者信息、所述影视作品在本地应用程序或网络服务中的订阅入口、所述影视作品在所述本地应用程序或所述网络服务中的分享入口、所述影视作品在所述本地应用程序中的收藏入口、所述影视作品在所述网络服务上的购票入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:文学作品名称时,所述搜索结果信息包括但不限于:所述文学作品的介绍信息、所述文学作品的评分信息、所述文学作品的作者信息、所述文学作品在所述本地应用程序中的订阅入口、所述文学作品在所述本地应用程序中的分享入口、所述文学作品在所述本地应用程序中的收藏入口、所述文学作品在所述网络服务上的体验阅读入口、所述文学作品在所述网络服务上的购买入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:人物信息时,所述搜索结果信息包括但不限于:所述人物的百科介绍信息、所述人物在所述网络服务上的社交网络服务主页、所述人物在所述网络服务上的最新新闻动态、所述人物在所述网络服务上的动态订阅入口、所述人物在所述本地应用程序或所述网络服务上的分享入口、所述人物在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:地点信息时,所述搜索结果信息包括但不限于:所述地点的介绍信息、所述地点在所述本地应用程序或所述网络服务上的导航信息、所述地点在所述本地应用程序或所述网络服务上的地图预览信息、以所述地点为目的地的打车入口、所述地点在所述本地应用程序或所述网络服务上的分享入口、所述地点在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商家信息时,所述搜索结果信息包括但不限于:所述商家的介绍信息、所述商家在所述网络服务上的社交网络服务主页、所述商家在所述网络服务上的最新新闻动态、所述商家在所述网络服务上的优惠订阅入口、所述商家的联系方式信息、所述商家在所述本地应用程序或网络服务上的导航信息、所述商家在所述本地应用程序或网络服务上的地图预览信息、以所述商家为目的地的打车入口、所述商家在所述本地应用程序或所述网络服务上的分享入口、所述商家在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商品信息时,所述搜索结果信息包括但不限于:所述商品的介绍信息、所述商品在所述网络服务上的购买入口、所述商品在至少一个购物渠道的价格信息、所述商品在所述网络服务上的优惠订阅入口、所述商品在所述网络服务上的降价提醒入口、所述商品在所述本地应用程序或所述网络服务上的历史价格趋势查看入口、所述商品在所述本地应用程序或所述网络服务上的分享入口、所述商品在所述本地应用程序或所述网络服务上的收藏入口中的至少一种。
18.一种信息显示装置,其特征在于,安装有操作系统和应用程序,所述装置包括:
显示模块,被配置为显示所述应用程序的用户界面,所述用户界面包括至少一个界面元素;
接收模块,被配置为接收在所述用户界面上触发的第一选择操作;
选择模块,被配置为根据所述第一选择操作选择所述至少一个界面元素中的目标界面元素;
获取模块,被配置为以所述第一选择操作的操作位置为基准位置,显示区域选择控件;
所述显示模块,还被配置为对位于所述区域选择控件内的界面元素进行放大显示;
所述获取模块,还被配置为在接收到确认信号时将所述区域选择控件内的界面元素进行截图,得到目标图像;
所述获取模块,还被配置为将所述目标图像确定为所述目标界面元素的内容信息,或,获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息;
上下文获取模块,还被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;
发送模块,被配置为向服务器发送搜索请求,所述搜索请求包括所述目标界面元素的内容信息和所述上下文信息;其中,所述服务器用于根据所述内容信息得到至少一个候选项;根据所述上下文信息从所述候选项中确定出搜索关键词;根据所述搜索关键词搜索得到搜索结果信息;
所述接收模块,还被配置为接收所述服务器反馈的所述搜索结果信息,所述搜索结果信息是来自于所述服务器对至少两个不同的网站的数据进行搜索后的搜索结果信息;
所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示搜索结果信息,所述搜索结果信息是与所述目标界面元素对应的搜索结果信息,所述搜索结果信息显示在显示元素上,所述显示元素内显示有文字和图标,所述文字用于表示所述搜索结果信息,所述图标用于表示所述搜索结果信息的信息提供方。
19.根据权利要求18所述的装置,其特征在于,
所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示n个显示元素,n为正整数,所述显示元素的显示层级高于所述用户界面的显示层级,每个所述显示元素上用于显示至少一个所述搜索结果信息的第一级信息。
20.根据权利要求19所述的装置,其特征在于,
所述显示模块,被配置为通过所述操作系统在所述用户界面的局部区域上叠加显示列表视图控件,所述列表视图控件包括n个显示元素,n≥2,所述n个显示元素在所述列表控件中按照第一方向顺序排列且第i个显示元素的尾部与第i+1个显示元素的首部相接,i为正整数且i≤n-1。
21.根据权利要求18所述的装置,其特征在于,所述局部区域是:
所述用户界面的底部区域;
或,所述目标界面元素的相邻区域;
或,所述选择操作的操作位置的相邻区域。
22.根据权利要求18所述的装置,其特征在于,
所述接收模块,还被配置为在第j个搜索结果信息上接收第一滑动操作,所述第一滑动操作是沿第一方向滑动的操作;
所述显示模块,还被配置为将所述第j个搜索结果信息跟随所述第一滑动操作沿所述第一方向进行滑动显示,将所述第j个搜索结果信息滑出所述局部区域的部分进行隐藏,将第j-1个搜索结果信息滑入所述局部区域的部分进行显示,j为大于1的整数,且j小于或等于n;
和/或,
所述接收模块,还被配置为在第k个搜索结果信息上接收第二滑动操作,所述第二滑动操作是沿第二方向滑动的操作;
所述显示模块,还被配置为将所述第k个搜索结果信息跟随所述第二滑动操作沿所述第二方向进行滑动显示,将所述第k个搜索结果信息滑出所述局部区域的部分进行隐藏,将第k+1个搜索结果信息滑入所述局部区域的部分进行显示,k为小于等于n的整数;
其中,所述第一方向和所述第二方向相反。
23.根据权利要求18所述的装置,其特征在于,所述获取模块,被配置为根据所述第一选择操作的操作坐标确定所述目标界面元素。
24.根据权利要求23所述的装置,其特征在于,
所述获取模块,被配置为根据预设名单列表检测所述应用程序的上下文信息是否符合抓取条件,所述预设名单列表存储有符合所述抓取条件的上下文信息和/或不符合所述抓取条件的上下文信息;若所述上下文信息符合所述抓取条件,则执行所述根据所述第一选择操作的操作坐标确定所述目标界面元素步骤。
25.根据权利要求23所述的装置,其特征在于,所述获取模块包括:显示屏驱动程序模块、搜索程序模块和内容抓取程序模块;
所述显示屏驱动程序模块,被配置为向所述搜索程序上报所述第一选择操作的操作坐标;
所述搜索程序模块,被配置为向所述内容抓取程序发送界面元素获取请求,所述界面元素获取请求携带有所述操作坐标;
所述内容抓取程序模块,被配置为抓取所述操作坐标对应的所述目标界面元素的内容信息;
所述内容抓取程序模块,被配置为通过所述内容抓取程序向所述搜索程序发送所述目标界面元素的内容信息。
26.根据权利要求24所述的装置,其特征在于,所述获取模块包括:搜索程序模块和内容抓取程序模块;
所述搜索程序模块,被配置为获取所述应用程序的上下文信息,所述上下文信息包括所述应用程序的标识和/或所述用户界面的标识;生成包括所述操作坐标和所述上下文信息的所述界面元素获取请求;
所述内容抓取程序模块,被配置为检测所述上下文信息是否符合抓取条件。
27.根据权利要求18所述的装置,其特征在于,
所述获取模块,被配置将所述目标图像的图像数据确定为所述目标界面元素的内容信息;
所述获取模块,被配置为获取与所述目标图像对应的识别结果,将所述识别结果确定为所述目标界面元素的内容信息。
28.根据权利要求27所述的装置,其特征在于,
所述获取模块,被配置为对所述目标图像进行光学字符OCR识别或图像识别,得到与所述目标图像对应的识别结果;
或,
所述获取模块,被配置为将所述目标图像发送至图像处理服务器;接收所述图像处理服务器反馈的与所述目标图像对应的识别结果。
29.根据权利要求18所述的装置,其特征在于,所述装置,还包括:调整模块;
所述接收模块,还被配置为接收在所述区域选择控件上触发的调整操作;
所述调整模块,被配置为根据所述调整操作改变所述区域选择控件的位置和/或大小。
30.根据权利要求18至27任一所述的装置,其特征在于,
所述接收模块,还被配置为接收在所述用户界面上触发的长按操作,所述长按操作是触控时长超过预设时长的操作;
或,
所述接收模块,还被配置为接收在所述用户界面上触发的压力触控操作,所述压力触控操作是触控压力超过预设压力的操作。
31.根据权利要求18至27任一所述的装置,其特征在于,
所述显示模块,被配置为在所述用户界面的局部区域上叠加显示搜索调整元素;
所述接收模块,被配置为接收在所述搜索调整元素上触发的触发信号;
所述显示模块,被配置为根据所述触发信号显示与所述搜索调整元素对应的候选项展示窗口,所述候选项展示窗口包括与所述目标界面元素对应的m个候选项,m为正整数;
所述接收模块,被配置为接收对至少一个所述候选项的第二选择操作,该第二选择操作用于将被选定的候选项确定为搜索关键词;
所述显示模块,被配置为显示与所述搜索关键词对应的搜索结果信息。
32.根据权利要求18至27任一所述的装置,其特征在于,所述装置,还包括:
调用模块,被配置为用于调用本地应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在第一搜索结果信息上触发的第三选择操作,所述第三选择操作用于触发通过所述调用接口调用所述本地应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述本地应用程序的用户界面,所述用户界面包括所述本地应用程序对所述搜索关键词进行处理后的处理结果。
33.根据权利要求18至27任一所述的装置,其特征在于,所述装置,包括:
调用模块,被配置为用于调用网络应用程序的调用接口,所述调用接口的输入参数包括与所述目标界面元素对应的搜索关键词;
所述接收模块,被配置为接收在第二搜索结果信息上触发的第四选择操作,所述第四选择操作用于触发通过所述调用接口调用所述网络应用程序对所述搜索关键词进行处理;
所述显示模块,被配置为显示所述网络应用程序的用户界面,所述用户界面包括所述网络应用程序对所述搜索关键词进行处理后的处理结果。
34.根据权利要求18至27任一所述的装置,其特征在于,
当所述目标界面元素的内容信息包括:影视作品名称时,所述搜索结果信息包括但不限于:所述影视作品的介绍信息、所述影视作品的评分信息、所述影视作品的作者信息、所述影视作品在本地应用程序或网络服务中的订阅入口、所述影视作品在所述本地应用程序或所述网络服务中的分享入口、所述影视作品在所述本地应用程序中的收藏入口、所述影视作品在所述网络服务上的购票入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:文学作品名称时,所述搜索结果信息包括但不限于:所述文学作品的介绍信息、所述文学作品的评分信息、所述文学作品的作者信息、所述文学作品在所述本地应用程序中的订阅入口、所述文学作品在所述本地应用程序中的分享入口、所述文学作品在所述本地应用程序中的收藏入口、所述文学作品在所述网络服务上的体验阅读入口、所述文学作品在所述网络服务上的购买入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:人物信息时,所述搜索结果信息包括但不限于:所述人物的百科介绍信息、所述人物在所述网络服务上的社交网络服务主页、所述人物在所述网络服务上的最新新闻动态、所述人物在所述网络服务上的动态订阅入口、所述人物在所述本地应用程序或所述网络服务上的分享入口、所述人物在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:地点信息时,所述搜索结果信息包括但不限于:所述地点的介绍信息、所述地点在所述本地应用程序或所述网络服务上的导航信息、所述地点在所述本地应用程序或所述网络服务上的地图预览信息、以所述地点为目的地的打车入口、所述地点在所述本地应用程序或所述网络服务上的分享入口、所述地点在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商家信息时,所述搜索结果信息包括但不限于:所述商家的介绍信息、所述商家在所述网络服务上的社交网络服务主页、所述商家在所述网络服务上的最新新闻动态、所述商家在所述网络服务上的优惠订阅入口、所述商家的联系方式信息、所述商家在所述本地应用程序或网络服务上的导航信息、所述商家在所述本地应用程序或网络服务上的地图预览信息、以所述商家为目的地的打车入口、所述商家在所述本地应用程序或所述网络服务上的分享入口、所述商家在所述本地应用程序或所述网络服务上的收藏入口中的至少一种;
和/或,
当所述目标界面元素的内容信息包括:商品信息时,所述搜索结果信息包括但不限于:所述商品的介绍信息、所述商品在所述网络服务上的购买入口、所述商品在至少一个购物渠道的价格信息、所述商品在所述网络服务上的优惠订阅入口、所述商品在所述网络服务上的降价提醒入口、所述商品在所述本地应用程序或所述网络服务上的历史价格趋势查看入口、所述商品在所述本地应用程序或所述网络服务上的分享入口、所述商品在所述本地应用程序或所述网络服务上的收藏入口中的至少一种。
35.一种终端,其特征在于,所述终端包括处理器和存储器,所述存储器中存储有至少一条指令,所述指令由所述处理器加载并执行以实现如权利要求1至17任一所述的信息显示方法。
36.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条指令,所述指令由处理器加载并执行以实现如权利要求1至17任一所述的信息显示方法。
CN201710392518.8A 2017-05-27 2017-05-27 信息显示方法、装置及终端 Active CN107256109B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710392518.8A CN107256109B (zh) 2017-05-27 2017-05-27 信息显示方法、装置及终端
ES18174459T ES2956057T3 (es) 2017-05-27 2018-05-26 Métodos y dispositivos para buscar y mostrar información en un terminal
EP18174459.0A EP3407221B1 (en) 2017-05-27 2018-05-26 Methods and devices for searching and displaying information on a terminal
US15/991,329 US20180341397A1 (en) 2017-05-27 2018-05-29 Methods and devices for searching and displaying information on a terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710392518.8A CN107256109B (zh) 2017-05-27 2017-05-27 信息显示方法、装置及终端

Publications (2)

Publication Number Publication Date
CN107256109A CN107256109A (zh) 2017-10-17
CN107256109B true CN107256109B (zh) 2021-03-16

Family

ID=60028025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710392518.8A Active CN107256109B (zh) 2017-05-27 2017-05-27 信息显示方法、装置及终端

Country Status (4)

Country Link
US (1) US20180341397A1 (zh)
EP (1) EP3407221B1 (zh)
CN (1) CN107256109B (zh)
ES (1) ES2956057T3 (zh)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108038115A (zh) * 2017-10-23 2018-05-15 沈阳美行科技有限公司 一种限行数据的显示方法及装置
CN110020140B (zh) * 2017-11-15 2023-02-21 腾讯科技(深圳)有限公司 推荐内容显示方法、装置及系统
CN110494835A (zh) * 2017-12-20 2019-11-22 华为技术有限公司 一种控制方法及装置
CN108133214B (zh) * 2017-12-25 2021-01-26 广东小天才科技有限公司 一种基于图片纠正的信息搜索方法及移动终端
CN115016692A (zh) 2018-03-01 2022-09-06 华为技术有限公司 信息显示方法、图形用户接口及终端
CN108664205A (zh) * 2018-04-24 2018-10-16 Oppo广东移动通信有限公司 信息显示方法、装置、移动终端以及存储介质
CN108664303B (zh) * 2018-04-28 2023-06-30 北京小米移动软件有限公司 网页内容的显示方法及装置
CN108595107B (zh) * 2018-05-02 2020-10-16 维沃移动通信有限公司 一种界面内容处理方法及移动终端
CN108664663A (zh) * 2018-05-22 2018-10-16 北京小米移动软件有限公司 推荐信息显示方法、装置及存储介质
CN108803972B (zh) * 2018-05-24 2020-11-27 Oppo广东移动通信有限公司 信息显示方法、装置、移动终端以及存储介质
CN108803961B (zh) * 2018-05-24 2020-12-04 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端
CN109032465B (zh) * 2018-05-29 2020-09-22 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端
CN108829686B (zh) * 2018-05-30 2022-04-15 北京小米移动软件有限公司 翻译信息显示方法、装置、设备及存储介质
CN108920515B (zh) * 2018-05-31 2023-07-28 腾讯科技(深圳)有限公司 网页显示过程的信息推荐方法、装置、设备及存储介质
CN109002759A (zh) * 2018-06-07 2018-12-14 Oppo广东移动通信有限公司 文本识别方法、装置、移动终端以及存储介质
CN108932102B (zh) * 2018-06-07 2020-12-08 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端
US11443008B2 (en) * 2018-06-11 2022-09-13 International Business Machines Corporation Advanced web page content management
US10254945B1 (en) * 2018-07-02 2019-04-09 Microsoft Technology Licensing, Llc Contextual state-based user interface format adaptation
CN110232260B (zh) * 2018-07-16 2021-11-02 苏州浩辰软件股份有限公司 Cad系统引用的分级操作系统、方法、计算机可读存储介质及计算机终端
CN109032491B (zh) * 2018-07-23 2021-03-12 Oppo广东移动通信有限公司 数据处理方法、装置以及移动终端
CN108958634A (zh) * 2018-07-23 2018-12-07 Oppo广东移动通信有限公司 快递信息获取方法、装置、移动终端以及存储介质
CN109034115B (zh) * 2018-08-22 2021-10-22 Oppo广东移动通信有限公司 视频识图方法、装置、终端及存储介质
CN111142719A (zh) * 2018-11-02 2020-05-12 北京嘀嘀无限科技发展有限公司 一种服务推送方法及装置
CN109710422A (zh) * 2018-12-07 2019-05-03 北京小米移动软件有限公司 信息提取方法、装置及终端设备
CN109618214A (zh) * 2018-12-19 2019-04-12 北京字节跳动网络技术有限公司 信息显示方法、装置和电子设备
CN109885751A (zh) * 2019-01-11 2019-06-14 北京搜狗科技发展有限公司 一种数据处理方法、装置和用于数据处理的装置
CN109814786B (zh) * 2019-01-25 2020-11-17 维沃移动通信有限公司 图像存储方法及终端设备
CN111091034B (zh) * 2019-05-05 2024-05-31 广东小天才科技有限公司 一种基于多手指识别的搜题方法及家教设备
CN110278327B (zh) * 2019-06-10 2021-01-08 维沃移动通信有限公司 数据处理方法及移动终端
WO2021000188A1 (zh) * 2019-06-30 2021-01-07 瑞声声学科技(深圳)有限公司 马达信息展示方法、装置和计算机设备
CN112241227A (zh) * 2019-07-19 2021-01-19 腾讯科技(深圳)有限公司 界面显示方法、装置、终端及存储介质
CN110472149A (zh) * 2019-08-08 2019-11-19 拉扎斯网络科技(上海)有限公司 信息搜索方法、装置、电子设备及计算机可读存储介质
CN112416235B (zh) * 2019-08-23 2023-10-27 腾讯科技(深圳)有限公司 频道的排序方法和装置、存储介质及电子装置
CN110704735B (zh) * 2019-09-24 2022-01-28 贝壳技术有限公司 一种列表页的前端实现方法和装置
CN110706068A (zh) * 2019-09-25 2020-01-17 北京三快在线科技有限公司 信息展示方法、装置、终端、服务器及存储介质
CN110647640B (zh) * 2019-09-30 2023-01-10 京东方科技集团股份有限公司 计算机系统、操作计算装置的方法及操作计算装置的系统
CN110851643A (zh) * 2019-10-28 2020-02-28 维沃移动通信有限公司 一种信息显示方法及电子设备
CN112783410B (zh) * 2019-11-07 2023-11-24 北京拉酷网络科技有限公司 信息处理方法、介质、装置和计算设备
CN112825088A (zh) * 2019-11-21 2021-05-21 阿里巴巴集团控股有限公司 信息展示方法、装置、设备及存储介质
CN111399742B (zh) * 2020-03-13 2024-04-26 华为技术有限公司 界面切换方法、装置和电子设备
CN111859081A (zh) * 2020-04-10 2020-10-30 北京嘀嘀无限科技发展有限公司 一种订单发送方法、装置、电子设备和存储介质
CN113783909B (zh) * 2020-06-10 2024-01-02 腾讯科技(深圳)有限公司 数据需求的生成方法、装置、终端、服务器及存储介质
CN111773672B (zh) * 2020-07-13 2024-02-09 网易(杭州)网络有限公司 信息显示方法、装置和电子设备
CN112035026B (zh) * 2020-08-31 2022-03-22 维沃移动通信有限公司 信息显示方法、装置、电子设备和存储介质
CN112417279A (zh) * 2020-11-20 2021-02-26 Oppo广东移动通信有限公司 一种信息推荐方法、装置及计算机可读存储介质
US11954307B2 (en) * 2020-12-04 2024-04-09 Samsung Electronics Co., Ltd. Visual selector for application activities
CN112596814B (zh) * 2020-12-24 2024-03-01 北京百度网讯科技有限公司 项目的集成打包方法、装置、设备、介质和程序产品
CN112612469A (zh) * 2020-12-30 2021-04-06 深圳市联谛信息无障碍有限责任公司 一种界面元素的处理方法、装置和电子设备
CN112685624A (zh) * 2020-12-31 2021-04-20 广州市贺氏办公设备有限公司 一种搜索结果的显示方法、装置、设备和存储介质
CN115329113A (zh) * 2021-04-25 2022-11-11 华为技术有限公司 一种图像的搜索方法、终端和服务器
CN113377271A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 文本获取方法、装置、计算机设备及介质
CN113282268B (zh) * 2021-06-03 2023-03-14 腾讯科技(深圳)有限公司 音效配置方法和装置、存储介质及电子设备
CN113448674A (zh) * 2021-07-21 2021-09-28 深圳传音控股股份有限公司 界面显示方法、移动终端及存储介质
CN115729408A (zh) * 2021-08-31 2023-03-03 华为技术有限公司 一种搜索方法和电子设备
CN113778365B (zh) * 2021-09-29 2023-05-26 腾讯科技(深圳)有限公司 元素显示方法、元素选择方法、装置、设备及存储介质
CN114187074A (zh) * 2021-12-13 2022-03-15 中国平安财产保险股份有限公司 订单生成方法、装置、设备及存储介质
CN114675762A (zh) * 2022-03-30 2022-06-28 青岛海信移动通信技术股份有限公司 一种终端设备、功能搜索方法和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752237B2 (en) * 2006-03-15 2010-07-06 Microsoft Corporation User interface having a search preview
CN102110169A (zh) * 2011-03-17 2011-06-29 惠州Tcl移动通信有限公司 移动终端网络搜索方法及移动终端
CN102945130A (zh) * 2012-11-21 2013-02-27 广东欧珀移动通信有限公司 信息搜索方法及系统
CN103294706A (zh) * 2012-02-28 2013-09-11 腾讯科技(深圳)有限公司 触摸式终端中的文本搜索方法和装置
CN104239313A (zh) * 2013-06-09 2014-12-24 百度在线网络技术(北京)有限公司 基于移动终端的屏幕中显示文字的搜索方法与移动终端
CN105511878A (zh) * 2015-12-09 2016-04-20 小米科技有限责任公司 界面显示处理方法及装置
CN105580384A (zh) * 2013-09-27 2016-05-11 微软技术许可有限责任公司 触摸屏上显示的可操作内容
CN106293480A (zh) * 2016-08-23 2017-01-04 北京小米移动软件有限公司 操作执行方法及装置
US9582482B1 (en) * 2014-07-11 2017-02-28 Google Inc. Providing an annotation linking related entities in onscreen content

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8423905B2 (en) * 2008-07-17 2013-04-16 International Business Machines Corporation Automatically populating recipients in an instant messaging or other computer communication system
JP5552767B2 (ja) * 2009-07-27 2014-07-16 ソニー株式会社 表示処理装置、表示処理方法および表示処理プログラム
CN102760028B (zh) * 2011-04-28 2016-05-25 腾讯科技(深圳)有限公司 基于Symbian平台的放大镜实现方法和装置
CN103257815A (zh) * 2012-02-20 2013-08-21 索尼爱立信移动通讯有限公司 一种触摸位置定位方法、文本选择方法、装置及电子设备
US10909202B2 (en) * 2012-07-13 2021-02-02 Sony Corporation Information providing text reader
KR101911803B1 (ko) * 2012-08-10 2018-10-26 삼성전자주식회사 휴대용 단말 장치 및 그 동작 방법
CN102929552B (zh) * 2012-10-25 2015-07-08 东莞宇龙通信科技有限公司 终端和信息搜索方法
US20140188894A1 (en) * 2012-12-27 2014-07-03 Google Inc. Touch to search
CN106412431A (zh) * 2016-09-30 2017-02-15 珠海市魅族科技有限公司 一种图像显示方法及装置
CN106648436A (zh) * 2016-12-30 2017-05-10 维沃移动通信有限公司 一种文本信息处理方法及移动终端

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752237B2 (en) * 2006-03-15 2010-07-06 Microsoft Corporation User interface having a search preview
CN102110169A (zh) * 2011-03-17 2011-06-29 惠州Tcl移动通信有限公司 移动终端网络搜索方法及移动终端
CN103294706A (zh) * 2012-02-28 2013-09-11 腾讯科技(深圳)有限公司 触摸式终端中的文本搜索方法和装置
CN102945130A (zh) * 2012-11-21 2013-02-27 广东欧珀移动通信有限公司 信息搜索方法及系统
CN104239313A (zh) * 2013-06-09 2014-12-24 百度在线网络技术(北京)有限公司 基于移动终端的屏幕中显示文字的搜索方法与移动终端
CN105580384A (zh) * 2013-09-27 2016-05-11 微软技术许可有限责任公司 触摸屏上显示的可操作内容
US9582482B1 (en) * 2014-07-11 2017-02-28 Google Inc. Providing an annotation linking related entities in onscreen content
CN105511878A (zh) * 2015-12-09 2016-04-20 小米科技有限责任公司 界面显示处理方法及装置
CN106293480A (zh) * 2016-08-23 2017-01-04 北京小米移动软件有限公司 操作执行方法及装置

Also Published As

Publication number Publication date
US20180341397A1 (en) 2018-11-29
EP3407221A1 (en) 2018-11-28
CN107256109A (zh) 2017-10-17
EP3407221B1 (en) 2023-08-23
ES2956057T3 (es) 2023-12-12

Similar Documents

Publication Publication Date Title
CN107256109B (zh) 信息显示方法、装置及终端
EP3676729B1 (en) Browser-based navigation suggestions for task completion
US10140314B2 (en) Previews for contextual searches
CN103455590B (zh) 在触屏设备中进行检索的方法和装置
RU2662632C2 (ru) Представление документов фиксированного формата в формате с измененной компоновкой
CN105335423B (zh) 一种网页的用户反馈的收集处理方法及装置
US10685256B2 (en) Object recognition state indicators
WO2016091095A1 (zh) 基于终端界面触控操作进行搜索的方法及系统
US20190220481A1 (en) System and method for feature recognition and document searching based on feature recognition
WO2021184896A1 (zh) 一种页面截图方法及装置
KR20160125401A (ko) 인라인 및 콘텍스트 인식 쿼리 박스 제공 기법
EP3175375A1 (en) Image based search to identify objects in documents
CN105243058A (zh) 一种网页内容翻译方法及电子设备
WO2016018682A1 (en) Processing image to identify object for insertion into document
CN106897291B (zh) 基于截屏操作的搜索方法及装置
TW201523421A (zh) 決定用於擷取的文章之圖像
CN106776634A (zh) 一种用于网络访问的方法、装置及终端设备
CN113722630B (zh) 基于客户端渲染的资源数据在web页面中的呈现方法及设备
JP2019067359A (ja) 2モードネットワークにおけるサブネットワークパターンの視覚的探索のためのシステム及び方法、プログラム、及びコンピュータ装置
WO2016101768A1 (zh) 终端以及基于触摸操作的搜索方法和装置
CN107168627A (zh) 用于触摸屏的文本编辑方法和装置
CN112286613A (zh) 界面显示方法及界面显示装置
CN106599287B (zh) 搜索结果处理方法及装置
JP2019067360A (ja) 2モードネットワークにおける検索結果の視覚的探索のためのシステム及び方法、プログラム、及びコンピュータ装置
CN115248650B (zh) 屏幕朗读方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant