CN104683317A - Ui数据的提取方法、客户端、服务器及系统 - Google Patents

Ui数据的提取方法、客户端、服务器及系统 Download PDF

Info

Publication number
CN104683317A
CN104683317A CN201310642614.5A CN201310642614A CN104683317A CN 104683317 A CN104683317 A CN 104683317A CN 201310642614 A CN201310642614 A CN 201310642614A CN 104683317 A CN104683317 A CN 104683317A
Authority
CN
China
Prior art keywords
data
server
client
attribute
bit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310642614.5A
Other languages
English (en)
Other versions
CN104683317B (zh
Inventor
梁家辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201310642614.5A priority Critical patent/CN104683317B/zh
Publication of CN104683317A publication Critical patent/CN104683317A/zh
Application granted granted Critical
Publication of CN104683317B publication Critical patent/CN104683317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/2866Architectures; Arrangements
    • H04L67/30Profiles
    • H04L67/306User profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/81Indexing, e.g. XML tags; Data structures therefor; Storage structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例公开了一种UI数据的提取方法、客户端、服务器及系统,涉及信息技术领域,可以提高UI数据的提取效率和准确率。所述方法包括:首先客户端获取用户界面UI数据,然后生成所述UI数据对应的可扩展标记语言XML文件,最后客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。

Description

UI数据的提取方法、客户端、服务器及系统
技术领域
本发明涉及信息技术领域,特别涉及一种UI数据的提取方法、客户端、服务器及系统。
背景技术
随着终端设备的不断发展,为用户提供各种功能的应用程序也越来越多。通过在应用程序运行过程中,提取UI(User Interface,用户界面)数据,可以有效地监控应用程序是否处于正常的运行状态。
目前在提取UI数据时,通常采用OCR(Optical Character Recognition,光学字符识别)技术来进一步提取UI(即User Interface,用户界面)数据中的文本数据,即首先生成UI数据的图像文件,然后通过对图像文件进行分析处理,获取图像文件中的文本信息。然而由于目前根据图像文件生成文本信息的效率和准确率较低,从而造成通过OCR技术来提取UI数据中的文本数据的效率和准确率较低。
发明内容
本发明实施例提供一种UI数据的提取方法、客户端、服务器及系统,可以提高UI数据的提取效率和准确率。
本发明实施例采用的技术方案为:
一种UI数据的提取方法,包括:
客户端获取用户界面(UI)数据;
所述客户端生成所述UI数据对应的可扩展标记语言(XML)文件;
所述客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
一种UI数据的提取方法,包括:
服务器接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件;
所述服务器获取所述XML文件中属性标识为text的各个属性标识;
所述服务器提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
一种客户端,包括:
获取单元,用于获取用户界面(UI)数据;
生成单元,用于生成所述获取单元获取的所述UI数据对应的可扩展标记语言(XML)文件;
发送单元,用于将所述生成单元生成的所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
一种服务器,包括:
接收单元,用于接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件;
获取单元,用于获取所述接收单元接收的所述XML文件中属性标识为text的各个属性标识;
提取单元,用于提取所述获取单元获取的所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
一种UI数据的提取系统包括:客户端和服务器;
所述客户端,用于获取用户界面(UI)数据,生成所述UI数据对应的可扩展标记语言(XML)文件,并将所述XML文件发送给服务器;
所述服务器,用于接收客户端发送的所述XML文件,获取所述XML文件中属性标识为text的各个属性标识,并获取所述XML文件中属性标识为text的各个属性标识。
本发明实施例提供的UI数据的提取方法、客户端、服务器及系统,首先客户端获取用户界面(UI)数据,然后生成所述UI数据对应的可扩展标记语言(XML)文件,最后客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的一种UI数据的提取方法流程图;
图2为本发明实施例提供的另一种UI数据的提取方法流程图;
图3为本发明实施例提供的客户端结构示意图;
图4为本发明实施例提供的服务器结构示意图;
图5为本发明实施例提供的UI数据的提取系统示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
为使本发明技术方案的优点更加清楚,下面结合附图和实施例对本发明作详细说明。
本发明实施例提供一种UI数据的提取方法,如图1所示,所述方法包括:
101、客户端获取UI数据。
其中,UI数据可以为界面上展示的文本数据、图像数据、视频数据等,本发明实施例不做限定。
102、客户端生成所述UI数据对应的XML文件。
对于步骤102具体可以包括:客户端调用函数命令uiautomator,然后通过所述uiautomator,生成所述UI数据对应的XML文件。其中,XML文件中会记录UI数据中各个数据对应的属性标识、保存路径、具体数据内容等信息,不同类型的数据对应的属性标识不同,例如对于文本数据,对应的属性标识为text。
103、客户端将所述XML文件发送给服务器。
对于本发明实施例,步骤103具体可以包括:客户端通过函数命令adb将所述XML文件发送给所述服务器。
进一步地,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
本发明实施例提供的一种UI数据的提取方法,首先客户端获取用户界面(UI)数据,然后生成所述UI数据对应的可扩展标记语言(XML)文件,最后客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
本发明实施例提供另一种UI数据的提取方法,如图2所示,所述方法包括:
201、服务器接收客户端发送的UI数据对应的XML文件。
其中,UI数据可以为界面上展示的文本数据、图像数据、视频数据等,本发明实施例不做限定。XML文件中会记录UI数据中各个数据对应的属性标识、保存路径、具体数据内容等信息,不同类型的数据对应的属性标识不同,例如对于文本数据,对应的属性标识为text。
202、服务器获取所述XML文件中属性标识为text的各个属性标识。
其中,由于text是用于标识文本数据的属性标识,因此服务器通过获取XML文件中属性标识为text的各个属性标识,可以进一步获取到XML文件中包含的文本数据。
203、服务器提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
对于本发明实施例,通过获取所述XML文件中属性标识为text的各个属性标识,并且提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据,可以提高提取UI数据的准确率和效率。
可选地,步骤203之后还可以包括:服务器检测所述各个属性标识对应的数据是否与预置文本数据相匹配,若所述各个属性标识对应的数据与所述预置文本数据不匹配,则所述服务器生成告警信息。
其中,预置文本数据可以为预期在用户界面上显示的文本数据,若提取的UI数据中包含的文本数据与预期在用户界面上显示的文本数据不匹配,说明此时用户界面的显示存在问题,通过生成告警信息,可以使得相关人员对出现的问题进行及时修复。可以看出,本发明提供的UI数据的提取方法还可以应用于自动化测试中,从而进一步提升了自动化测试的效率和准确率。
本发明实施例提供的另一种UI数据的提取方法,首先服务器接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件,然后获取所述XML文件中属性标识为text的各个属性标,最后提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
进一步地,作为图1所示方法的具体实现,本发明实施例提供一种客户端,可以应用于终端设备中,例如,应用于手机中,如图3所示,所述客户端可以包括:获取单元31、生成单元32、发送单元33。
获取单元31,可以用于获取UI数据。
生成单元32,可以用于生成所述获取单元31获取的所述UI数据对应的XML文件。
发送单元33,可以用于将所述生成单元32生成的所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
进一步地,生成单元32可以包括:调用模块3201、生成模块3202。
调用模块3201,可以用于调用uiautomator。
生成模块3202,可以用于通过所述调用模块3201调用的所述uiautomator,生成所述UI数据对应的XML文件。
发送单元33,还可以用于通过adb将所述XML文件发送给所述服务器。
需要说明的是,本发明实施例提供的客户端所涉及各功能单元的其他对应描述,可以参考图1中的相应描述,在此不再赘述。
本发明实施例提供的客户端,首先获取用户界面(UI)数据,然后生成所述UI数据对应的可扩展标记语言(XML)文件,最后将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
再进一步地,作为图2所示方法的具体实现,本发明实施例提供一种服务器,如图4所示,所述服务器可以包括:接收单元41、获取单元42、提取单元43。
接收单元41,可以用于接收客户端发送的UI数据对应的XML文件。
获取单元42,可以用于获取所述接收单元41接收的所述XML文件中属性标识为text的各个属性标识。
提取单元43,可以用于提取所述获取单元42获取的所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
可选地,所述服务器还可以包括:检测单元44、生成单元45。
检测单元44,可以用于检测所述各个属性标识对应的数据是否与预置文本数据相匹配。
生成单元45,可以用于若所述检测单元44检测所述各个属性标识对应的数据与所述预置文本数据不匹配,则生成告警信息。
需要说明的是,本发明实施例提供的服务器所涉及各功能单元的其他对应描述,可以参考图2中的相应描述,在此不在赘述。
本发明实施例提供的服务器,首先接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件,然后获取所述XML文件中属性标识为text的各个属性标,最后提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
再进一步地,作为图1和图2所示方法的具体实现,本发明实施例提供一种UI数据的提取系统,如图5所示,所述系统可以包括:客户端51和服务器52。
客户端51,可以用于获取用户界面(UI)数据,生成所述UI数据对应的可扩展标记语言(XML)文件,并将所述XML文件发送给服务器52。
服务器52,可以用于接收客户端发送的所述XML文件,获取所述XML文件中属性标识为text的各个属性标识,并获取所述XML文件中属性标识为text的各个属性标识。
需要说明的是,本发明实施例提供的系统所涉及客户端和服务器的其他对应描述,可以参考图1或者图2中的相应描述,在此不再赘述、
本发明实施例提供的UI数据的提取系统,首先客户端获取用户界面(UI)数据,然后生成所述UI数据对应的可扩展标记语言(XML)文件,最后客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。与目前采用OCR技术来提取UI数据中的文本数据相比,本发明实施例通过直接提取XML文件中的文本数据作为UI数据中包含的文本数据,可以提高UI数据的提取效率和准确率。
本发明实施例提供的客户端和服务器可以实现上述提供的方法实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。本发明实施例提供的UI数据的提取方法、客户端、服务器及系统可以适用于信息技术领域,但不仅限于此。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种UI数据的提取方法,其特征在于,包括:
客户端获取用户界面(UI)数据;
所述客户端生成所述UI数据对应的可扩展标记语言(XML)文件;
所述客户端将所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
2.根据权利要求1所述的UI数据的提取方法,其特征在于,所述客户端生成所述UI数据对应的可扩展标记语言(XML)文件的步骤包括:
所述客户端调用函数命令(uiautomator);
所述客户端通过所述uiautomator,生成所述UI数据对应的XML文件。
3.根据权利要求1所述的UI数据的提取方法,其特征在于,所述客户端将所述XML文件发送给服务器的步骤包括:
所述客户端通过函数命令(adb)将所述XML文件发送给所述服务器。
4.一种UI数据的提取方法,其特征在于,包括:
服务器接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件;
所述服务器获取所述XML文件中属性标识为text的各个属性标识;
所述服务器提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
5.根据权利要求4所述的UI数据的提取方法,其特征在于,所述提取所述各个属性标识对应的数据作为所述UI数据中包含的文本数据的步骤之后,还包括:
所述服务器检测所述各个属性标识对应的数据是否与预置文本数据相匹配;
若所述各个属性标识对应的数据与所述预置文本数据不匹配,则所述服务器生成告警信息。
6.一种客户端,其特征在于,包括:
获取单元,用于获取用户界面(UI)数据;
生成单元,用于生成所述获取单元获取的所述UI数据对应的可扩展标记语言(XML)文件;
发送单元,用于将所述生成单元生成的所述XML文件发送给服务器,以使得所述服务器从所述XML文件中,提取所述UI数据中包含的文本数据。
7.根据权利要求6所述的客户端,其特征在于,所述生成单元包括:
调用模块,用于调用函数命令(uiautomator);
生成模块,用于通过所述调用模块调用的所述uiautomator,生成所述UI数据对应的XML文件。
8.根据权利要求6所述的客户端,其特征在于,
所述发送单元,用于通过函数命令(adb)将所述XML文件发送给所述服务器。
9.一种服务器,其特征在于,包括:
接收单元,用于接收客户端发送的用户界面(UI)数据对应的可扩展标记语言(XML)文件;
获取单元,用于获取所述接收单元接收的所述XML文件中属性标识为text的各个属性标识;
提取单元,用于提取所述获取单元获取的所述各个属性标识对应的数据作为所述UI数据中包含的文本数据。
10.根据权利要求9所述的服务器,其特征在于,所述服务器还包括:
检测单元,用于检测所述各个属性标识对应的数据是否与预置文本数据相匹配;
生成单元,用于若所述检测单元检测所述各个属性标识对应的数据与所述预置文本数据不匹配,则生成告警信息。
11.一种UI数据的提取系统,其特征在于,包括:客户端和服务器;
所述客户端,用于获取用户界面(UI)数据,生成所述UI数据对应的可扩展标记语言(XML)文件,并将所述XML文件发送给服务器;
所述服务器,用于接收客户端发送的所述XML文件,获取所述XML文件中属性标识为text的各个属性标识,并获取所述XML文件中属性标识为text的各个属性标识。
CN201310642614.5A 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统 Active CN104683317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310642614.5A CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310642614.5A CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Publications (2)

Publication Number Publication Date
CN104683317A true CN104683317A (zh) 2015-06-03
CN104683317B CN104683317B (zh) 2021-08-17

Family

ID=53317916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310642614.5A Active CN104683317B (zh) 2013-12-03 2013-12-03 Ui数据的提取方法、客户端、服务器及系统

Country Status (1)

Country Link
CN (1) CN104683317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095088A (zh) * 2015-09-02 2015-11-25 厦门美图移动科技有限公司 基于uiautomator测试框架的计算器自动化测试方法和测试系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487446A (zh) * 2003-06-24 2004-04-07 深圳市华磊网络技术有限公司 服务器端应用为浏览器客户端提供用户界面的方法
CN101071379A (zh) * 2007-03-21 2007-11-14 腾讯科技(深圳)有限公司 一种动态调整用户界面元素的方法及系统
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备
US20120179959A1 (en) * 2009-09-22 2012-07-12 Anders Lindgren Method and arrangements for enabling modifications of xml documents

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1487446A (zh) * 2003-06-24 2004-04-07 深圳市华磊网络技术有限公司 服务器端应用为浏览器客户端提供用户界面的方法
CN101071379A (zh) * 2007-03-21 2007-11-14 腾讯科技(深圳)有限公司 一种动态调整用户界面元素的方法及系统
US20120179959A1 (en) * 2009-09-22 2012-07-12 Anders Lindgren Method and arrangements for enabling modifications of xml documents
CN102081775A (zh) * 2009-11-27 2011-06-01 阿里巴巴集团控股有限公司 一种广告投放方法、系统和设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
COOKBEANS: "UiAutoMator测试框架", 《CSDN博客 HTTPS://BLOG.CSDN.NET/DSJ1015DUT/ARTICLE/DETAILS/16878231》 *
ROBINZHOU: "android 4.1 UI 工具测试的新利器,uiautomator", 《CSDN博客 HTTPS://BLOG.CSDN.NET/ROBINZHOU/ARTICLE/DETAILS/7848795》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095088A (zh) * 2015-09-02 2015-11-25 厦门美图移动科技有限公司 基于uiautomator测试框架的计算器自动化测试方法和测试系统

Also Published As

Publication number Publication date
CN104683317B (zh) 2021-08-17

Similar Documents

Publication Publication Date Title
CN106681698B (zh) 动态列表的生成方法及装置
US20170242832A1 (en) Character editing method and device for screen display device
CN105447115A (zh) 一种清理垃圾文件的方法、装置及电子设备
CN103150359B (zh) 微博信息显示方法和装置
US20160026728A1 (en) Interaction Method And Device Between Browsers And Browser
CN109710140A (zh) 一种智能手机社交应用数据自动采集方法
CN103617519A (zh) 通信信息处理方法、装置及系统
CN104681025A (zh) 利用语音识别的命令执行系统及其工作方法
CN104978180A (zh) 一种未处理事件的提示方法、装置及移动终端
CN111601154B (zh) 一种视频处理方法及相关设备
CN104184782B (zh) 一种实现第三方应用社交化的方法及装置、系统
CN105491092A (zh) 一种消息推送方法和装置
US9535900B2 (en) Context based document analysis
CN110780955A (zh) 一种用于处理表情消息的方法与设备
CN111723205B (zh) 会议纪要处理方法、装置及会议纪要处理设备
CN107277146B (zh) 一种分布式存储业务流量模型生成方法及系统
CN104125130B (zh) 一种安全提醒方法、装置及通信系统
CN105677010A (zh) 自动记录文字并转换成电子文档的方法及系统
CN103902635A (zh) 获取实时数据的方法、浏览器、多媒体设备及移动终端
CN104683317A (zh) Ui数据的提取方法、客户端、服务器及系统
CN104102411A (zh) 一种文本编辑方法和文本编辑装置
US20230048495A1 (en) Method and platform of generating document, electronic device and storage medium
CN106775701B (zh) 一种客户端自动取证方法和系统
CN114140850A (zh) 人脸识别方法、装置和电子设备
CN104216919A (zh) 用于完善电子地图数据的方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant