CN104683317B - Ui数据的提取方法、客户端、服务器及系统 - Google Patents

Ui数据的提取方法、客户端、服务器及系统 Download PDF

Info

Publication number
CN104683317B
CN104683317B CN201310642614.5A CN201310642614A CN104683317B CN 104683317 B CN104683317 B CN 104683317B CN 201310642614 A CN201310642614 A CN 201310642614A CN 104683317 B CN104683317 B CN 104683317B
Authority
CN
China
Prior art keywords
data
text
server
attribute identifier
xml file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310642614.5A
Other languages
English (en)
Other versions
CN104683317A (zh
Inventor
梁家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310642614.5A priority Critical patent/CN104683317B/zh
Publication of CN104683317A publication Critical patent/CN104683317A/zh
Application granted granted Critical
Publication of CN104683317B publication Critical patent/CN104683317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81—Indexing, e.g. XML tags; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明实施例公开了一种UI数据的提取方法、客户端、服务器及系统，涉及信息技术领域，可以提高UI数据的提取效率和准确率。所述方法包括：首先客户端获取用户界面UI数据，然后生成所述UI数据对应的可扩展标记语言XML文件，最后客户端将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。

Description

UI数据的提取方法、客户端、服务器及系统
技术领域
本发明涉及信息技术领域，特别涉及一种UI数据的提取方法、客户端、服务器及系统。
背景技术
随着终端设备的不断发展，为用户提供各种功能的应用程序也越来越多。通过在应用程序运行过程中，提取UI（User Interface，用户界面）数据，可以有效地监控应用程序是否处于正常的运行状态。
目前在提取UI数据时，通常采用OCR（Optical Character Recognition，光学字符识别）技术来进一步提取UI(即User Interface,用户界面）数据中的文本数据，即首先生成UI数据的图像文件，然后通过对图像文件进行分析处理，获取图像文件中的文本信息。然而由于目前根据图像文件生成文本信息的效率和准确率较低，从而造成通过OCR技术来提取UI数据中的文本数据的效率和准确率较低。
发明内容
本发明实施例提供一种UI数据的提取方法、客户端、服务器及系统，可以提高UI数据的提取效率和准确率。
本发明实施例采用的技术方案为：
一种UI数据的提取方法，包括：
客户端获取用户界面（UI）数据；
所述客户端生成所述UI数据对应的可扩展标记语言（XML）文件；
所述客户端将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。
一种UI数据的提取方法，包括：
服务器接收客户端发送的用户界面（UI）数据对应的可扩展标记语言（XML）文件；
所述服务器获取所述XML文件中属性标识为text的各个属性标识；
所述服务器提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
一种客户端，包括：
获取单元，用于获取用户界面（UI）数据；
生成单元，用于生成所述获取单元获取的所述UI数据对应的可扩展标记语言（XML）文件；
发送单元，用于将所述生成单元生成的所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。
一种服务器，包括：
接收单元，用于接收客户端发送的用户界面（UI）数据对应的可扩展标记语言（XML）文件；
获取单元，用于获取所述接收单元接收的所述XML文件中属性标识为text的各个属性标识；
提取单元，用于提取所述获取单元获取的所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
一种UI数据的提取系统包括：客户端和服务器；
所述客户端，用于获取用户界面（UI）数据，生成所述UI数据对应的可扩展标记语言（XML）文件，并将所述XML文件发送给服务器；
所述服务器，用于接收客户端发送的所述XML文件，获取所述XML文件中属性标识为text的各个属性标识，并获取所述XML文件中属性标识为text的各个属性标识。
本发明实施例提供的UI数据的提取方法、客户端、服务器及系统，首先客户端获取用户界面（UI）数据，然后生成所述UI数据对应的可扩展标记语言（XML）文件，最后客户端将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种UI数据的提取方法流程图；
图2为本发明实施例提供的另一种UI数据的提取方法流程图；
图3为本发明实施例提供的客户端结构示意图；
图4为本发明实施例提供的服务器结构示意图；
图5为本发明实施例提供的UI数据的提取系统示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为使本发明技术方案的优点更加清楚，下面结合附图和实施例对本发明作详细说明。
本发明实施例提供一种UI数据的提取方法，如图1所示，所述方法包括：
101、客户端获取UI数据。
其中，UI数据可以为界面上展示的文本数据、图像数据、视频数据等，本发明实施例不做限定。
102、客户端生成所述UI数据对应的XML文件。
对于步骤102具体可以包括：客户端调用函数命令uiautomator，然后通过所述uiautomator，生成所述UI数据对应的XML文件。其中，XML文件中会记录UI数据中各个数据对应的属性标识、保存路径、具体数据内容等信息，不同类型的数据对应的属性标识不同，例如对于文本数据，对应的属性标识为text。
103、客户端将所述XML文件发送给服务器。
对于本发明实施例，步骤103具体可以包括：客户端通过函数命令adb将所述XML文件发送给所述服务器。
进一步地，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。
本发明实施例提供的一种UI数据的提取方法，首先客户端获取用户界面（UI）数据，然后生成所述UI数据对应的可扩展标记语言（XML）文件，最后客户端将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
本发明实施例提供另一种UI数据的提取方法，如图2所示，所述方法包括：
201、服务器接收客户端发送的UI数据对应的XML文件。
其中，UI数据可以为界面上展示的文本数据、图像数据、视频数据等，本发明实施例不做限定。XML文件中会记录UI数据中各个数据对应的属性标识、保存路径、具体数据内容等信息，不同类型的数据对应的属性标识不同，例如对于文本数据，对应的属性标识为text。
202、服务器获取所述XML文件中属性标识为text的各个属性标识。
其中，由于text是用于标识文本数据的属性标识，因此服务器通过获取XML文件中属性标识为text的各个属性标识，可以进一步获取到XML文件中包含的文本数据。
203、服务器提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
对于本发明实施例，通过获取所述XML文件中属性标识为text的各个属性标识，并且提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据，可以提高提取UI数据的准确率和效率。
可选地，步骤203之后还可以包括：服务器检测所述各个属性标识对应的数据是否与预置文本数据相匹配，若所述各个属性标识对应的数据与所述预置文本数据不匹配，则所述服务器生成告警信息。
其中，预置文本数据可以为预期在用户界面上显示的文本数据，若提取的UI数据中包含的文本数据与预期在用户界面上显示的文本数据不匹配，说明此时用户界面的显示存在问题，通过生成告警信息，可以使得相关人员对出现的问题进行及时修复。可以看出，本发明提供的UI数据的提取方法还可以应用于自动化测试中，从而进一步提升了自动化测试的效率和准确率。
本发明实施例提供的另一种UI数据的提取方法，首先服务器接收客户端发送的用户界面（UI）数据对应的可扩展标记语言（XML）文件，然后获取所述XML文件中属性标识为text的各个属性标，最后提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
进一步地，作为图1所示方法的具体实现，本发明实施例提供一种客户端，可以应用于终端设备中，例如，应用于手机中，如图3所示，所述客户端可以包括：获取单元31、生成单元32、发送单元33。
获取单元31，可以用于获取UI数据。
生成单元32，可以用于生成所述获取单元31获取的所述UI数据对应的XML文件。
发送单元33，可以用于将所述生成单元32生成的所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。
进一步地，生成单元32可以包括：调用模块3201、生成模块3202。
调用模块3201，可以用于调用uiautomator。
生成模块3202，可以用于通过所述调用模块3201调用的所述uiautomator，生成所述UI数据对应的XML文件。
发送单元33，还可以用于通过adb将所述XML文件发送给所述服务器。
需要说明的是，本发明实施例提供的客户端所涉及各功能单元的其他对应描述，可以参考图1中的相应描述，在此不再赘述。
本发明实施例提供的客户端，首先获取用户界面（UI）数据，然后生成所述UI数据对应的可扩展标记语言（XML）文件，最后将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
再进一步地，作为图2所示方法的具体实现，本发明实施例提供一种服务器，如图4所示，所述服务器可以包括：接收单元41、获取单元42、提取单元43。
接收单元41，可以用于接收客户端发送的UI数据对应的XML文件。
获取单元42，可以用于获取所述接收单元41接收的所述XML文件中属性标识为text的各个属性标识。
提取单元43，可以用于提取所述获取单元42获取的所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
可选地，所述服务器还可以包括：检测单元44、生成单元45。
检测单元44，可以用于检测所述各个属性标识对应的数据是否与预置文本数据相匹配。
生成单元45，可以用于若所述检测单元44检测所述各个属性标识对应的数据与所述预置文本数据不匹配，则生成告警信息。
需要说明的是，本发明实施例提供的服务器所涉及各功能单元的其他对应描述，可以参考图2中的相应描述，在此不在赘述。
本发明实施例提供的服务器，首先接收客户端发送的用户界面（UI）数据对应的可扩展标记语言（XML）文件，然后获取所述XML文件中属性标识为text的各个属性标，最后提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
再进一步地，作为图1和图2所示方法的具体实现，本发明实施例提供一种UI数据的提取系统，如图5所示，所述系统可以包括：客户端51和服务器52。
客户端51，可以用于获取用户界面（UI）数据，生成所述UI数据对应的可扩展标记语言（XML）文件，并将所述XML文件发送给服务器52。
服务器52，可以用于接收客户端发送的所述XML文件，获取所述XML文件中属性标识为text的各个属性标识，并获取所述XML文件中属性标识为text的各个属性标识。
需要说明的是，本发明实施例提供的系统所涉及客户端和服务器的其他对应描述，可以参考图1或者图2中的相应描述，在此不再赘述、
本发明实施例提供的UI数据的提取系统，首先客户端获取用户界面（UI）数据，然后生成所述UI数据对应的可扩展标记语言（XML）文件，最后客户端将所述XML文件发送给服务器，以使得所述服务器从所述XML文件中，提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比，本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据，可以提高UI数据的提取效率和准确率。
本发明实施例提供的客户端和服务器可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。本发明实施例提供的UI数据的提取方法、客户端、服务器及系统可以适用于信息技术领域，但不仅限于此。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（Random AccessMemory，RAM）等。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (2)

1.一种在应用程序运行过程中提取UI数据的方法，其特征在于，包括：
客户端获取UI数据，其中，所述UI数据为界面上展示的文本数据、图像数据、视频数据；
所述客户端调用函数命令uiautomator，通过所述 uiautomator生成所述 UI 数据对应的可扩展标记语言XML文件，其中，所述XML文件用于记录所述UI数据中不同类型数据对应的属性标识、保存路径、具体数据内容；
所述客户端调用函数命令adb，通过所述adb将所述XML文件发送给服务器；
所述服务器接收所述客户端所发送的所述XML文件；
所述服务器获取所述XML文件中属性标识为text的各个属性标识；
所述服务器提取所述XML文件中属性标识为text的各个属性标识对应的数据作为所述UI数据中包含的文本数据；
所述服务器检测所述属性标识为text的各个属性标识对应的数据是否与预置文本数据相匹配，预置文本数据为预期在用户界面上显示的文本数据；
若所述属性标识为text的各个属性标识对应的数据与所述预置文本数据不匹配，则所述服务器生成告警信息，提示用户界面的显示存在问题。
2.一种在应用程序运行过程中提取UI数据的系统，其特征在于，包括：客户端和服务器；
所述客户端，用于：
获取UI数据，其中，所述UI数据为界面上展示的文本数据、图像数据、视频数据；
调用函数命令uiautomator，通过所述uiautomator生成UI数据对应的可扩展标记语言XML文件，其中，所述XML文件用以记录所述UI数据中不同类型数据对应的属性标识、保存路径、具体数据内容；
调用函数命令adb，通过所述adb将所述XML文件发送给服务器；
所述服务器，用于：
接收所述客户端所发送的所述XML文件；
获取所述XML文件中属性标识为text的各个属性标识；
提取所述XML文件中属性标识为text的各个属性标识对应的数据作为所述UI数据中包含的文本数据；
检测所述属性标识为text的各个属性标识对应的数据是否与预置文本数据相匹配，预置文本数据为预期在用户界面上显示的文本数据；
若所述属性标识为text的各个属性标识对应的数据与所述预置文本数据不匹配，则所述服务器生成告警信息，提示用户界面的显示存在问题。
CN201310642614.5A 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统 Active CN104683317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310642614.5A CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310642614.5A CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Publications (2)

Publication Number Publication Date
CN104683317A CN104683317A (zh) 2015-06-03
CN104683317B true CN104683317B (zh) 2021-08-17

Family

ID=53317916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310642614.5A Active CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Country Status (1)

Country Link
CN (1) CN104683317B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095088A (zh) * 2015-09-02 2015-11-25 厦门美图移动科技有限公司 基于uiautomator测试框架的计算器自动化测试方法和测试系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487446A (zh) * 2003-06-24 2004-04-07 深圳市华磊网络技术有限公司 服务器端应用为浏览器客户端提供用户界面的方法
CN100498701C (zh) * 2007-03-21 2009-06-10 腾讯科技（深圳）有限公司 一种动态调整用户界面元素的方法及系统
EP2480989A4 (en) * 2009-09-22 2013-03-27 Ericsson Telefon Ab L M METHOD AND ARRANGEMENTS FOR MODIFYING XML DOCUMENTS

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备

Also Published As

Publication number Publication date
CN104683317A (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
US10713437B2 (en) Method and apparatus for identifying questionable line break characters in an application
US9612886B2 (en) Method and device for monitoring API function scheduling in mobile terminal
CN107085549B (zh) 故障信息生成的方法和装置
CN111753701B (zh) 应用程序的违规检测方法、装置、设备和可读存储介质
WO2014131306A1 (en) Method and system for detecting network link
CN104978180B (zh) 一种未处理事件的提示方法、装置及移动终端
CN105278970A (zh) 一种数据处理方法、装置和终端
CN108595965B (zh) 防止界面控件的属性信息被窃取的方法及其装置
CN110929110B (zh) 一种电子文档检测方法、装置、设备及存储介质
CN106789973B (zh) 页面的安全性检测方法及终端设备
CN109240664B (zh) 一种采集用户行为信息的方法及终端
CN103581315A (zh) 一种移动终端天气显示系统及方法
CN104765630B (zh) 软件安装方法及装置
CN104125130B (zh) 一种安全提醒方法、装置及通信系统
CN104683317B (zh) Ui数据的提取方法、客户端、服务器及系统
CN106657316B (zh) 一种消息撤回方法及装置
CN106302821B (zh) 一种数据请求方法及其设备
CN107643968A (zh) 崩溃日志处理方法及装置
US20190172263A1 (en) Method and apparatus for augmenting reality
CN106775701B (zh) 一种客户端自动取证方法和系统
CN113569083B (zh) 基于数据溯源模型的智能音箱本地端数字取证系统及方法
CN104579825A (zh) 应用的服务端实时监测方法、装置以及计算机设备
CN114140850A (zh) 人脸识别方法、装置和电子设备
WO2014198111A1 (en) Systems and methods for multimedia-processing
CN113726779A (zh) 规则误报测试方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant