CN105528198B - 操作界面识别方法及装置 - Google Patents
操作界面识别方法及装置 Download PDFInfo
- Publication number
- CN105528198B CN105528198B CN201410515089.5A CN201410515089A CN105528198B CN 105528198 B CN105528198 B CN 105528198B CN 201410515089 A CN201410515089 A CN 201410515089A CN 105528198 B CN105528198 B CN 105528198B
- Authority
- CN
- China
- Prior art keywords
- operation interface
- current operation
- control
- application
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000012545 processing Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本发明实施例提供一种操作界面识别方法及装置，该方法包括：捕获待识别应用的当前操作界面；将所述当前操作界面与所捕获的所述应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值；若所述差异值小于预设阈值，则在所述当前操作界面上添加提醒标识。本发明中，实现了用户很容易识别出应用的操作界面上发生的变化，辅助用户更好地使用各类应用，提高了用户体验。
Description
技术领域
本发明涉及计算机技术，尤其涉及一种操作界面识别方法及装置。
背景技术
随着计算机、电子技术的不断发展，人们的工作、生活更加电子化，大部分的人持有至少一种电子产品，例如计算机、手机、平板电脑等。相应地，这些电子产品所适用的各类软件产品层出不穷，为人们的工作生活带来了很大的方便，大大提高了工作、生活的效率。
现有技术中，用户使用的一些软件、应用程序(Application，简称APP)在使用过程中，操作界面可能自动发生微小的变化，或者经过用户的操作发生一些变化，但是，由于一些软件或APP的设计问题，使得用户不易发现操作界面上的变化，从而带来使用的不便。
发明内容
本发明提供一种操作界面识别方法及装置，用于解决现有技术用户不易识别操作界面上的变化的问题。
本发明第一方面提供一种操作界面识别方法，包括：
捕获待识别应用的当前操作界面；
将所述当前操作界面与所捕获的所述待识别应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值；
若所述差异值小于预设阈值，则在所述当前操作界面上添加提醒标识。
本发明第二方面提供一种操作界面识别装置，包括：
捕获模块，用于捕获待识别应用的当前操作界面；
比较模块，用于将所述当前操作界面与所捕获的所述待识别应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值；
处理模块，用于在所述差异值小于预设阈值时，在所述当前操作界面上添加提醒标识。
本发明提供的操作界面识别方法及装置中，通过获取待识别应用的当前操作界面，将当前操作界面与在先操作界面进行比较，获取当前操作界面与在先操作界面的差异，并计算获取差异值，在差异值小于预设阈值的时候，在当前操作界面上添加提醒标识，实现了用户很容易识别出该应用的操作界面上发生的变化，辅助用户更好地使用各类应用，提高了用户体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的操作界面识别方法实施例一的流程示意图；
图2为本发明提供的操作界面识别方法实施例二的流程示意图；
图3为本发明提供的操作界面识别装置实施例一的结构示意图；
图4为本发明提供的操作界面识别装置实施例二的结构示意图；
图5为本发明提供的操作界面识别装置实施例三的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本发明提供的操作界面识别方法实施例一的流程示意图，如图1所示，该方法包括：
S101、捕获待识别应用的当前操作界面。
该应用包括：软件、APP等。某一应用启动后，可以按照预设周期捕获它的操作界面；也可以由用户的操作触发捕获操作界面，即用户只要针对该应用进行操作后，则对用户操作后的操作界面进行捕获。
S102、将上述当前操作界面与所捕获的上述待识别应用的在先操作界面进行比较，获取上述当前操作界面与上述在先操作界面的差异，并计算获取差异值。
一般地，如果是按照预设周期捕获操作界面，则将当前操作界面与上一次获取的操作界面进行比较，即将相邻获取的两个操作界面进行比较。
如果是由用户的操作触发捕获操作界面，则将当前操作界面与用户执行操作前的操作界面进行比较。
需要说明的是，上述获取上述当前操作界面与上述在先操作界面的差异，可以是先在直观上比较两个界面的差异，例如：直接将两个界面的图像对齐相减，获取两个图像相减后的轮廓。进一步地，可以比较两个界面的图像对应位置的像素点大小，计算获取各像素点的差值。
应用在运行过程中，可能由于一些网络提醒、自动更新等原因，使操作界面发生变化，也可能由于用户的操作使操作界面发生变化，通过上述操作界面的比较，可以通过当前操作界面和在先操作界面的差异发现操作界面上的各种变化，例如：图片内容发生变化、界面颜色发生变化、文字内容发生变化等。
S103、若上述差异值小于预设阈值，则在上述当前操作界面上添加提醒标识。
开发人员会预设设定一个阈值，若上述差异值小于预设阈值，则说明用户不容易识别到操作界面上的变化，那么就在操作界面上发生变化处添加显著标识，例如：在变化处添加颜色明显的外框，或者，在变化处形成高亮等，使用户容易识别出当前操作界面与在先操作界面的差异。
举例说明，用户使用图形处理软件photoshop时，有的操作带来的变化不明显，例如，对图像边缘进行羽化，对于一些比较复杂的图形，可能用户进行羽化操作后，自己也不容易识别到底羽化了哪些部分，不方便修改，那么通过上述实施例，获取操作前后的操作界面差异，在羽化的部分添加提醒标识，例如将羽化的部分标为高亮，用户就很容易找到羽化的部分进行修改。
或者，通信领域的用户可能用一些软件测试波形，有时候人眼并不是很容易直观的看出波形的变化，采用上述实施例，周期性地获取前后操作界面的差异，在波形发生了变化的地方进行标记，例如添加外框或标识高亮，就可以很直观的看出波形的变化。
本实施例中，通过获取待识别应用的当前操作界面，将当前操作界面与在先操作界面进行比较，获取当前操作界面与在先操作界面的差异，并计算获取差异值，在差异值小于预设阈值的时候，在当前操作界面上添加提醒标识，实现了用户很容易识别出该应用的操作界面上发生的变化，辅助用户更好地使用各类应用，提高了用户体验。
进一步地，在另一实施例中，上述捕获待识别应用的当前操作界面之后，还可以识别当前操作界面上的控件。所谓“控件”就是对数据和方法的封装，在使用一些应用时，通过触发控件来触发应用执行一些功能，例如微软系统的计算机桌面上左下角所显示的“开始”，这就是一个控件。
有的应用由于设计时的缺陷，使得某些控件在操作界面上不容易被用户发现，造成用户想执行某项功能又找不到对应的控件，本实施例可以辅助用户发现控件。
具体实现过程中，上述识别当前操作界面上的控件之后，可以再当前操作界面上添加该控件的提示标识。例如，用户识别出微软系统的计算机桌面的“开始”这个控件，可以将这个控件上的“开始”标记为高亮，或者在该控件外加一个高亮的外框，以使用户很容易就找到这个控件。
更进一步地，上述识别当前操作界面上的控件，可以为根据该控件上的文字信息来识别上述控件。例如，上述“开始”这个控件，是通过操作界面上显示的“开始”二字来识别到这个控件的。更具体地，可以采用“模式识别”的方式来识别操作界面上的文字信息。
需要说明的是，“模式识别”是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。常见的“模式识别”有光学字符识别、语音识别，本实施例里具体可以采用“光学字符识别”来识别操作界面上的文字，从而识别出控件。
图2为本发明提供的操作界面识别方法实施例二的流程示意图，如图2所示，在上述实施例的基础上，还可以包括：
S201、接收用户输入的用于标识目标控件的关键字。
S202、确定上述待识别应用的当前操作界面上包含该目标控件。
具体地，在前述识别当前操作界面上的控件过程中，可以将识别出的控件以关键字的形式保存，在接收到用户输入的关键字后，在所保存的关键字中进行搜索，看是否能够查找到相匹配的关键字，若查到，则确定当前操作界面上包含该目标控件。或者，
接收到用户输入的关键字后，再在上述当前操作界面上进行识别，看是否包含该关键字对应目标控件，若识别到该关键字对应目标控件，则确定当前操作界面上包含该目标控件。
S203、在上述当前操作界面上添加该目标控件的提示标识。
例如用户在使用微软的文字处理应用word，编辑过程中，用户要使用“视图”控件，用户可以输入关键字“视图”，接收到用户输入的关键字后，在word的当前操作界面上进行识别，若识别到当前操作界面上存在“视图”控件，那么可以在该“视图”控件上添加提示标识，例如将“视图”的颜色改变为与周围环境颜色差距较大的颜色，或者将“视图”进行高亮处理。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图3为本发明提供的操作界面识别装置实施例一的结构示意图，如图3所示，该装置包括：捕获模块301、比较模块302和处理模块303。其中：
捕获模块301，用于捕获待识别应用的当前操作界面。
比较模块302，用于将所述当前操作界面与所捕获的所述待识别应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值。
处理模块303，用于在所述差异值小于预设阈值时，在所述当前操作界面上添加提醒标识。
图4为本发明提供的操作界面识别装置实施例二的结构示意图，如图4所示，在图3的基础上，该装置还可以包括：识别模块401。
该识别模块401，用于识别所述当前操作界面上的控件。
进一步地，上述处理模块303，还用于在所述当前操作界面上添加所述控件的提示标识。
在另一实施例中，识别模块401，具体用于根据所述控件上的文字信息识别所述控件。
图5为本发明提供的操作界面识别装置实施例三的结构示意图，如图5所示，在图4的基础上，该装置还可以包括：接收模块501，用于接收用户输入的用于标识目标控件的关键字。
相应地，该实施例中，识别模块401，用于确定所述当前操作界面上包含所述目标控件；处理模块303，用于在所述当前操作界面上添加所述目标控件的提示标识。
该装置用于执行前述方法实施例，其实现原理和技术效果类似，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种操作界面识别方法，其特征在于，包括：
捕获待识别应用的当前操作界面；
将所述当前操作界面与所捕获的所述待识别应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值；
若所述差异值小于预设阈值，则在所述当前操作界面上添加提醒标识；
所述捕获待识别应用的当前操作界面之后，还包括：
识别所述当前操作界面上的控件；
所述方法，还包括：
接收用户输入的用于标识目标控件的关键字；
确定所述待识别应用的所述当前操作界面上包含所述目标控件；
在所述当前操作界面上添加所述目标控件的提示标识。
2.根据权利要求1所述的方法，其特征在于，所述识别所述当前操作界面上的控件之后，还包括：
在所述当前操作界面上添加所述控件的提示标识。
3.根据权利要求1或2所述的方法，其特征在于，所述识别所述当前操作界面上的控件，包括：
根据所述控件上的文字信息识别所述控件。
4.一种操作界面识别装置，其特征在于，包括：
捕获模块，用于捕获待识别应用的当前操作界面；
比较模块，用于将所述当前操作界面与所捕获的所述待识别应用的在先操作界面进行比较，获取所述当前操作界面与所述在先操作界面的差异，并计算获取差异值；
处理模块，用于在所述差异值小于预设阈值时，在所述当前操作界面上添加提醒标识；
所述装置，还包括：
识别模块，用于识别所述当前操作界面上的控件；
所述装置，还包括：
接收模块，用于接收用户输入的用于标识目标控件的关键字；
所述识别模块，还用于确定所述当前操作界面上包含所述目标控件；
所述处理模块，还用于在所述当前操作界面上添加所述目标控件的提示标识。
5.根据权利要求4所述的装置，其特征在于，所述处理模块，还用于在所述当前操作界面上添加所述控件的提示标识。
6.根据权利要求4或5所述的装置，其特征在于，所述识别模块，具体用于根据所述控件上的文字信息识别所述控件。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410515089.5A CN105528198B (zh) | 2014-09-29 | 2014-09-29 | 操作界面识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410515089.5A CN105528198B (zh) | 2014-09-29 | 2014-09-29 | 操作界面识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105528198A CN105528198A (zh) | 2016-04-27 |
| CN105528198B true CN105528198B (zh) | 2019-03-19 |
Family
ID=55770448
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410515089.5A Expired - Fee Related CN105528198B (zh) | 2014-09-29 | 2014-09-29 | 操作界面识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105528198B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111414290A (zh) * | 2020-03-16 | 2020-07-14 | 深圳市吉祥腾达科技有限公司 | 一种客户端图标的测试方法、装置及计算机可读存储介质 |
| CN113012125B (zh) * | 2021-03-16 | 2024-02-09 | 上海哥瑞利软件股份有限公司 | 基于图像识别的半导体cp设备自动化针卡校对方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770371A (zh) * | 2010-03-17 | 2010-07-07 | 华为终端有限公司 | 应用主题内容预览方法及装置 |
| CN103106080A (zh) * | 2013-02-05 | 2013-05-15 | 广东威创视讯科技股份有限公司 | 拼接墙中应用软件的显示处理方法和系统 |
| US8732662B1 (en) * | 2010-07-21 | 2014-05-20 | Symantec Corporation | Adaptive user interface and application features based on user experience level |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063306B (zh) * | 2013-03-18 | 2017-12-01 | 腾讯科技（深圳）有限公司 | 智能终端软件测试中的自动登录方法、装置和系统 |
-
2014
- 2014-09-29 CN CN201410515089.5A patent/CN105528198B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101770371A (zh) * | 2010-03-17 | 2010-07-07 | 华为终端有限公司 | 应用主题内容预览方法及装置 |
| US8732662B1 (en) * | 2010-07-21 | 2014-05-20 | Symantec Corporation | Adaptive user interface and application features based on user experience level |
| CN103106080A (zh) * | 2013-02-05 | 2013-05-15 | 广东威创视讯科技股份有限公司 | 拼接墙中应用软件的显示处理方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105528198A (zh) | 2016-04-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9959603B2 (en) | Method and device for image processing | |
| CN104935497B (zh) | 一种通讯会话方法和装置 | |
| US10311115B2 (en) | Object search method and apparatus | |
| US9549121B2 (en) | Image acquiring method and electronic device | |
| WO2017185630A1 (zh) | 基于情绪识别的信息推荐方法、装置和电子设备 | |
| MY192140A (en) | Information processing method, terminal, and computer storage medium | |
| US9412017B1 (en) | Methods systems and computer program products for motion initiated document capture | |
| MY195861A (en) | Information Processing Method, Electronic Device, and Computer Storage Medium | |
| CN111753701B (zh) | 应用程序的违规检测方法、装置、设备和可读存储介质 | |
| KR20140091555A (ko) | 웹 페이지 렌더링 시간 측정 기법 | |
| EP2849156A3 (en) | Augmented reality method and information processing device | |
| CN105975550B (zh) | 一种智能设备的题目搜索方法和装置 | |
| EP4386744A3 (en) | Server, control method thereof, image processing apparatus, and control method thereof | |
| CN101533520A (zh) | 一种人像标记方法及装置 | |
| WO2014070145A1 (en) | Object segmentation | |
| US10115206B2 (en) | Detection system, detection method, and program storage medium | |
| CN107291238B (zh) | 一种数据处理方法与装置 | |
| CN112422817A (zh) | 图像处理方法及装置 | |
| CN107403460B (zh) | 动画生成方法及装置 | |
| US10514807B2 (en) | Television virtual touch control method and system | |
| CN105528198B (zh) | 操作界面识别方法及装置 | |
| US20180336243A1 (en) | Image Search Method, Apparatus and Storage Medium | |
| CN117351462A (zh) | 施工作业检测模型训练方法、装置、设备及存储介质 | |
| US9613427B2 (en) | Information processing method and electronic device | |
| CN105469048A (zh) | 一种提高人脸检测性能的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220615 Address after: 3007, Hengqin international financial center building, No. 58, Huajin street, Hengqin new area, Zhuhai, Guangdong 519031 Patentee after: New founder holdings development Co.,Ltd. Patentee after: BEIJING FOUNDER ELECTRONICS Co.,Ltd. Address before: 100871, Beijing, Haidian District, Cheng Fu Road, No. 298, Zhongguancun Fangzheng building, 9 floor Patentee before: PEKING UNIVERSITY FOUNDER GROUP Co.,Ltd. Patentee before: BEIJING FOUNDER ELECTRONICS Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190319 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |