CN110399291A - 基于图像识别的用户页面测试方法及相关设备 - Google Patents
基于图像识别的用户页面测试方法及相关设备 Download PDFInfo
- Publication number
- CN110399291A CN110399291A CN201910535034.3A CN201910535034A CN110399291A CN 110399291 A CN110399291 A CN 110399291A CN 201910535034 A CN201910535034 A CN 201910535034A CN 110399291 A CN110399291 A CN 110399291A
- Authority
- CN
- China
- Prior art keywords
- page
- images
- information
- test
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
- G06F11/3688—Test management for test execution, e.g. scheduling of test suites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Abstract
本申请涉及UI测试技术领域，尤其涉及一种基于图像识别的用户页面测试方法及相关设备，基于图像识别的用户页面测试方法包括：接收用户发送的网页访问请求，连接到对应的服务器，通过浏览器生成用户页面；接收测试端发送的测试指令，从用户页面中提取页面图像，根据页面图像从基准图像库中检索对应的基准图像；对页面图像和基准图像进行图像字符信息的识别，得到第一页面元素信息和第二页面元素信息；将第一页面元素信息和第二页面元素信息对比，得到对比成功率，将对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。本申请通过建立用户页面的基准图像库使用户页面的测试获得对应的参考标准，从而节省了测试时间，提高了测试效率。
Description
技术领域
本申请涉及UI测试技术领域，尤其涉及一种基于图像识别的用户页面测试方法及相关设备。
背景技术
用户页面(用户界面)测试，英文名为User interface testing，简称UI测试，是测试用户页面的功能模块的布局是否合理，整体风格是否一致和各个控件的放置位置是否符合用户使用习惯，更重要的是要符合操作便捷，导航简单易懂，界面中文字是否正确，命名是否统一，页面是否美观，文字、图片组合是否完美等等。UI测试的目的是确保用户页面会通过测试对象的功能来为用户提供相应的访问或浏览功能。确保用户页面符合公司或行业的标准。通过用户界页面测试来核实用户与软件的交互。UI测试的目标在于确保用户页面向用户提供了适当的访问和浏览测试对象功能的操作。除此之外，UI测试还要确保UI功能内部的对象符合预期要求，并遵循公司或行业的标准。
目前的用户页面测试只是简单的根据页面元素编写测试脚本，只能对控件等特征元素的文字、ID(Identity，身份标识)等文本类信息进行自动化验证。没有对用户页面的页面图像与预先设计的页面效果的基准图像进行识别从而达到测试目的，更没有针对用户访问的实时页面进行测试。
发明内容
有鉴于此，有必要针对现有技术中用户页面测试只是简单的根据页面元素编写测试脚本，只能对控件等特征元素的文字、ID等文本类信息进行自动化验证的问题，提供一种基于图像识别的用户页面测试方法及相关设备。
一种基于图像识别的用户页面测试方法，包括：
接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面；
接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像；
对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息；
将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
在其中一个可能的实施例中，所述接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面，包括：
接收用户发送的所述网页访问请求，提取所述网页访问请求中的网址信息，根据所述网址信息连接到与所述网页访问请求对应的所述服务器；
向所述服务器发送数据请求，接收所述服务器返回的网页数据，提取出所述网页数据中的特征元素；
对所述特征元素按照预设的网页信息展示规则进行调整后通过浏览器进行展示，生成用户页面。
在其中一个可能的实施例中，所述接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像，包括：
当接收到测试端发送的测试指令时，调用截图工具对所述用户页面进行截图获得所述用户页面的页面图像；
提取所述页面图像的特征信息，根据所述特征信息遍历预设的所述基准图像库并从中检索出出与所述页面图像对应的所述基准图像。
在其中一个可能的实施例中，所述对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息，包括：
将所述页面图像和所述基准图像分别进行滤波处理，去除所述页面图像和所述基准图像中的摩尔纹；
将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息；
分别汇总每一所述页面图像子块的字符信息和每一所述基准图像子块中的字符信息，得到所述第一页面元素信息和所述第二页面元素信息。
在其中一个可能的实施例中，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果，包括：
按照预设的字符长度和宽度对所述第一页面元素信息和所述第二页面元素信息建立若干相同的矩形区域，比较所述第一页面元素信息和所述第二页面元素信息相同位置上的所述矩形区域的像素值，计算所述像素值一致的所述矩形区域的个数，得到对比成功率；
将所述对比成功率与预设的阈值进行比较，若所述对比成功率大于所述阈值，则测试结果记录为成功，若所述对比成功率小于所述阈值，则测试结果记录为失败。
在其中一个可能的实施例中，所述将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息，包括：
使用OCR对所述页面图像子块和所述基准图像子块进行识别后得到OCR识别结果，所述OCR识别结果为字符串数组；
提取各所述字符串数据组的特征信息，根据所述特征信息建立特征信息矩阵，所述特征信息矩阵中的元素是所述特征信息中的字符；
按照所述特征信息矩阵中的元素的类型，将所述特征信息矩阵中的元素进行归类，形成多个特征信息子矩阵；
提取所述特征信息子矩阵中的每一元素的灰度值，与预设的标准元素的灰度值进行比较，若某一个元素的灰度值与某一个所述标准元素的灰度值完全一致，则将所述某一个元素的灰度值作为所述特征信息子矩阵的要素特征，汇总所有要素特征后得到每一所述页面图像子块和每一所述基准图像子块中的字符信息。
在其中一个可能的实施例中，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果之后，还包括根据测试结果生成测试报告，具体包括：
调用测试报告模板；
提取所述测试结果中的测试内容，将所述测试内容添加至所述测试报告模板中，生成所述测试报告。
一种基于图像识别的用户页面测试装置，包括如下模块：
页面生成模块，设置为接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面；
获取模块，设置为接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像；
图像识别模块，设置为对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息；
对比模块，设置为将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
基于相同的构思，本申请提出了一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行上述基于图像识别的用户页面测试方法的步骤。
基于相同的构思，本申请提出了一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行上述基于图像识别的用户页面测试方法的步骤。
与现有技术相比，本申请，通过构建用户页面的基准图象库，使用图像识别技术将不同网页访问请求的用户页面的页面图像与基准图像进行匹配识别，从而达到测试用户页面与设计的用户页面是否一致的问题；通过建立用户页面的基准图像库使用户页面的测试获得对应的参考标准，从而节省了测试时间，提高了测试效率；对用户访问的网页页面实时进行测试，提高了用户的体验度；通过对用户页面的页面图像和基准图象进行有效处理，从而能够准确地识别出页面图像的字符信息。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。
图1为本申请实施例中的一种基于图像识别的用户页面测试方法的整体流程图；
图2为本申请实施例中的一种基于图像识别的用户页面测试方法中的图像获取过程的示意图；
图3为本申请实施例中的一种基于图像识别的用户页面测试方法中的图像识别过程的示意图；
图4为本申请实施例中的一种基于图像识别的用户页面测试装置的结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请实施例中的一种基于图像识别的用户页面测试方法的整体流程图，如图1所示，一种基于图像识别的用户页面测试方法，包括：
步骤S1，接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面。
本步骤执行时，接收用户发送的网页访问请求，提取所述网页访问请求中的网址信息，根据所述网址信息连接到与所述网页访问请求对应的所述服务器；向所述服务器发送数据请求，接收所述服务器返回的网页数据，提取出所述网页数据中的特征元素；对所述特征元素按照预设的网页信息展示规则进行调整后通过浏览器进行展示，生成用户页面。
步骤S2，接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像。
本步骤执行时，当用户要访问的网页打开时，测试端会发送测试指令，当接收到测试端发送的测试指令时，调用截图工具对用户正在访问的所述用户页面进行截图以获得所述用户页面的页面图像；再提取所述页面图像的特征信息，具体的，所述页面图像的特征信息，包括网页上的标题栏、搜索框、字号和图形等信息。根据所述特征信息遍历预设的所述基准图像库并从中检索出与所述页面图像对应的所述基准图像。
其中，基准图像是指设计用户页面时的标准用户页面，是对标准用户页面进行截图得到的。每个访问请求对应不同的访问页面，因此有多个标准用户页面，也对应多个基准图像，所以预设有一个基准图像库。
步骤S3，对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息。
本步骤执行时，首先，将所述页面图像和所述基准图像分别进行滤波处理，去除所述页面图像和所述基准图像中的摩尔纹；再将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息；再分别汇总每一所述页面图像子块的字符信息和每一所述基准图像子块中的字符信息，得到所述第一页面元素信息和所述第二页面元素信息，具体的，页面元素信息包括网页的文字信息、图形信息等网页所有的信息。
步骤S4，将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
上述步骤执行时，按照预设的字符长度和宽度在所述第一页面元素信息和所述第二页面元素信息建立若干相同的矩形区域，比较所述第一页面元素信息和所述第二页面元素信息相同位置上的所述矩形区域的像素值，计算所述像素值一致的所述矩形区域的个数，得到对比成功率；将所述对比成功率与预设的阈值进行比较，若所述对比成功率大于所述阈值，则测试结果记录为成功，若所述对比成功率小于所述阈值，则测试结果记录为失败。
本实施例，通过构建用户页面的基准图象库，使用图像识别技术将不同网页访问请求的用户页面的页面图像与基准图像进行匹配识别，从而达到测试用户页面与设计的用户页面是否一致的问题；通过建立用户页面的基准图像库使用户页面的测试获得对应的参考标准，从而节省了测试时间，提高了测试效率。
在一个实施例中，所述步骤S1，接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面，包括：
接收用户发送的所述网页访问请求，提取所述网页访问请求中的网址信息，根据所述网址信息连接到与所述网页访问请求对应的所述服务器；
本步骤中，接收用户发送的网页访问请求，提取所述网页访问请求中的网址信息，对所述网址信息进行DNS解析后得到DNS特征字符，根据预设的所述DNS特征字符与网络源码的对应关系，获取所述网页访问请求对应的网页源码，查询服务器的nginx层，若所述nginx层中有所述网页源码，表明该服务器为所述网页访问请求对应的服务器，则连接到该服务器。
向所述服务器发送数据请求，接收所述服务器返回的网页数据，提取出所述网页数据中的特征元素；
本步骤中，所述网页数据中的特征元素包括网页上的标题、搜索框、文字和图形等信息。
对所述特征元素按照预设的网页信息展示规则进行调整后通过浏览器进行展示，生成用户页面。
本步骤中，预设的网页信息展示规则是指所述特征元素按照设定的位置、顺序等进行展示，比如：搜索框的位置、形状、大小等。对应不同的访问请求，网页信息展示规则可能都会不一样，所以按照预设的网页信息展示规则对所述特征元素进行调整后展示。
本实施例，根据预设的所述DNS特征字符与网络源码的对应关系，获取所述网页访问请求对应的网页源码，从而连接到对应的服务器，提高了网页访问的效率。
在一个实施例中，图2为本申请实施例中的一种基于图像识别的用户页面测试方法中的图像获取过程的示意图，如图2所示，所述步骤S2接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像，包括：
步骤S201，当接收到测试端发送的测试指令时，调用截图工具对所述用户页面进行截图获得所述用户页面的页面图像。
本步骤中，当用户成功访问网页，测试端会发送测试指令，以期对此次打开的网页进行测试，测试本次网页访问请求对应的网页页面的性能、布局是否符合原始设计的网页。当接收到测试端发送的测试指令时，调用截图工具对所述用户页面进行截图获得所述用户页面的页面图像。
步骤S202，提取所述页面图像的特征信息，根据所述特征信息遍历预设的所述基准图像库并从中检索出与所述页面图像对应的所述基准图像。
本步骤中，所述页面图像的特征信息，包括网页上的标题栏、搜索框、字号和图形等信息。基准图像是指设计用户页面时的标准用户页面，是对标准用户页面进行截图得到的。每个访问请求对应不同的访问页面，因此有多个标准用户页面，也对应多个基准图像，所以预设有一个基准图像库。通常以页面图像的特征信息为关键词遍历所述基准图像库，从而遍历检索出与所述页面图像对应的所述基准图像。
本实施例，通过建立用户页面的基准图像库使用户页面的测试获得对应的参考标准，从而节省了测试时间，提高了测试效率。
在一个实施例中，图3为本申请实施例中的一种基于图像识别的用户页面测试方法中的图像识别过程的示意图，如图3所示，所述步骤S3，对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息，包括：
步骤S301，将所述页面图像和所述基准图像分别进行滤波处理，去除所述页面图像和所述基准图像中的摩尔纹。
本步骤中，在对所述页面图像和所述基准图像进行滤波处理时，获取待滤波处理的图像像素点位置所对应的标准图像的像素值与相邻区域中的像素点的标准图像像素值的差值，若所述差值小于或等于滤波阈值，则去除所述页面图像和所述基准图像中的像素值最大的像素点，若所述差值大于所述滤波阈值，则去除所述页面图像和所述基准图像中的像素值最小的像素点。
步骤S302，将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息。
本步骤中，在进行图像分割时可以是等大小分割，也可以是不等大小分割，但是无论哪种分割方式都需要保证在每一个子块中含有至少一个字符。
步骤S303，分别汇总每一所述页面图像子块的字符信息和每一所述基准图像子块中的字符信息，得到所述第一页面元素信息和所述第二页面元素信息。
本步骤中，根据所述页面图像和所述基准图像子块分别在原所述页面图像和所述基准图像的位置，拼接每一个图像子块中的字符后，得到所述第一页面元素信息和所述第二页面元素信息，在对所述页面图像和所述基准图像进行分割时，对每一个子块进行标记，比如，赋予位于原所述页面图像和所述基准图像左上角的第一块子块以编号“1”，则在拼接子块中的字符时，将该子快对应的字符放置在首位上。
本实施例，通过对图像进行有效处理，从而能够准确的识别出图像中的字符信息。
在一个实施例中，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果，包括：
按照预设的字符长度和宽度对所述第一页面元素信息和所述第二页面元素信息建立若干相同的矩形区域，比较所述第一页面元素信息和所述第二页面元素信息相同位置上的所述矩形区域的像素值，计算所述像素值一致的所述矩形区域的个数，得到对比成功率；
本步骤中，在所述第一页面元素信息和所述第二页面元素信息中以相等的字符长度和宽度建立若干个相同的矩形区域，每个矩形区域包含至少一个字符信息；比较所述第一页面元素信息和所述第二页面元素信息相同位置上的所述矩形区域的像素值，相同位置上的矩形区域的像素值如果相同，则表明该矩形区域内的字符信息相同，统计所述像素值一致的所述矩形区域的个数，将像素值一致的所述矩形区域的个数除以矩形区域的总数，得到对比成功率。
将所述对比成功率与预设的阈值进行比较，若所述对比成功率大于所述阈值，则测试结果记录为成功，若所述对比成功率小于所述阈值，则测试结果记录为失败。
本实施例，通过建立矩形区域，比较矩形区域的像素值，从而得到页面元素的对比结果，提高了对别准确率。
在一个实施例中，所述将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息，包括：
使用OCR对所述页面图像子块和所述基准图像子块进行识别后得到OCR识别结果，所述OCR识别结果为字符串数组；
本步骤中，OCR是指电子设备(例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程。具有对字符进行精准识别的效果。
提取各所述字符串数据组的特征信息，根据所述特征信息建立特征信息矩阵，所述特征信息矩阵中的元素是所述特征信息中的字符；
本步骤中，字符串数据组的特征信息可以是字符串中的特殊字符，如“，”、“、”等。
按照所述特征信息矩阵中的元素的类型，将所述特征信息矩阵中的元素进行归类，形成多个特征信息子矩阵；
本步骤中，所述特征信息矩阵中的元素可以分为数字、特殊字符和文字等不同的类型，然后根据行、列变换的方式，将同一类型的元素聚集后形成多个特征信息子矩阵。
提取所述特征信息子矩阵中的每一元素的灰度值，与预设的标准元素的灰度值进行比较，若某一个元素的灰度值与某一个所述标准元素的灰度值完全一致，则将所述某一个元素的灰度值作为所述特征信息子矩阵的要素特征，汇总所有要素特征后得到每一所述页面图像子块和每一所述基准图像子块中的字符信息。
本实施例，通过建立特征信息矩阵，从而对页面图像中的字符进行了有效识别。
在一个实施例中，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果之后，还包括根据测试结果生成测试报告，具体包括：
调用测试报告模板；
提取所述测试结果中的测试内容，将所述测试内容添加至所述测试报告模板中，生成所述测试报告。
在一个实施例中，提出一种基于图像识别的用户页面测试装置，如图4所示，包括页面生成模块、获取模块、图像识别模块、对比模块，具体的：
页面生成模块，设置为接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面；
获取模块，设置为接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像；
图像识别模块，设置为对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息；
对比模块，设置为将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
在一个实施例中，提出一种计算机设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行计算机可读指令时实现上述各实施例中所述的基于图像识别的用户页面测试方法的步骤。
在一个实施例中，提出一种存储介质，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述的基于图像识别的用户页面测试方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于图像识别的用户页面测试方法，其特征在于，包括：
接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面；
接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像；
对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息；
将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
2.根据权利要求1所述的基于图像识别的用户页面测试方法，其特征在于，所述接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面，包括：
接收用户发送的所述网页访问请求，提取所述网页访问请求中的网址信息，根据所述网址信息连接到与所述网页访问请求对应的所述服务器；
向所述服务器发送数据请求，接收所述服务器返回的网页数据，提取出所述网页数据中的特征元素；
对所述特征元素按照预设的网页信息展示规则进行调整后通过浏览器进行展示，生成用户页面。
3.根据权利要求1所述的基于图像识别的用户页面测试方法，其特征在于，所述接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像，包括：
当接收到测试端发送的测试指令时，调用截图工具对所述用户页面进行截图获得所述用户页面的页面图像；
提取所述页面图像的特征信息，根据所述特征信息遍历预设的所述基准图像库并从中检索出与所述页面图像对应的所述基准图像。
4.根据权利要求1所述的基于图像识别的用户页面测试方法，其特征在于，所述对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息，包括：
将所述页面图像和所述基准图像分别进行滤波处理，去除所述页面图像和所述基准图像中的摩尔纹；
将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息；
分别汇总每一所述页面图像子块的字符信息和每一所述基准图像子块中的字符信息，得到所述第一页面元素信息和所述第二页面元素信息。
5.根据权利要求1所述的基于图像识别的用户页面测试方法，其特征在于，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果，包括：
按照预设的字符长度和宽度对所述第一页面元素信息和所述第二页面元素信息建立若干相同的矩形区域，比较所述第一页面元素信息和所述第二页面元素信息相同位置上的所述矩形区域的像素值，计算所述像素值一致的所述矩形区域的个数，得到对比成功率；
将所述对比成功率与预设的阈值进行比较，若所述对比成功率大于所述阈值，则测试结果记录为成功，若所述对比成功率小于所述阈值，则测试结果记录为失败。
6.根据权利要求4所述的基于图像识别的用户页面测试方法，其特征在于，所述将去除摩尔纹后的所述页面图像和所述基准图像分割成若干页面图像子块和若干基准图像子块，分别提取每一所述页面图像子块和每一所述基准图像子块中的字符信息，包括：
使用OCR对所述页面图像子块和所述基准图像子块进行识别后得到OCR识别结果，所述OCR识别结果为字符串数组；
提取各所述字符串数据组的特征信息，根据所述特征信息建立特征信息矩阵，所述特征信息矩阵中的元素是所述特征信息中的字符；
按照所述特征信息矩阵中的元素的类型，将所述特征信息矩阵中的元素进行归类，形成多个特征信息子矩阵；
提取所述特征信息子矩阵中的每一元素的灰度值，与预设的标准元素的灰度值进行比较，若某一个元素的灰度值与某一个所述标准元素的灰度值完全一致，则将所述某一个元素的灰度值作为所述特征信息子矩阵的要素特征，汇总所有要素特征后得到每一所述页面图像子块和每一所述基准图像子块中的字符信息。
7.根据权利要求1所述的基于图像识别的用户页面测试方法，其特征在于，所述将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果之后，还包括根据测试结果生成测试报告，具体包括：
调用测试报告模板；
提取所述测试结果中的测试内容，将所述测试内容添加至所述测试报告模板中，生成所述测试报告。
8.一种基于图像识别的用户页面测试装置，其特征在于，包括如下模块：
页面生成模块，设置为接收用户发送的网页访问请求，根据所述网页访问请求连接到与所述网页访问请求对应的服务器，向所述服务器发送数据请求，接收所述服务器返回的网页数据，根据所述网页数据通过浏览器生成用户页面；
获取模块，设置为接收测试端发送的测试指令，根据所述测试指令从所述用户页面中提取页面图像，根据所述页面图像从预设的基准图像库中检索出与所述页面图像对应的基准图像；
图像识别模块，设置为对所述页面图像和所述基准图像进行图像字符信息的识别，分别得到所述页面图像的第一页面元素信息和所述基准图像的第二页面元素信息；
对比模块，设置为将所述第一页面元素信息和所述第二页面元素信息进行对比，得到对比成功率，将所述对比成功率与预设的阈值进行比较，根据比较结果记录测试结果。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被一个或多个所述处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的基于图像识别的用户页面测试方法的步骤。
10.一种存储介质，其特征在于，所述存储介质可被处理器读写，所述存储介质存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个所述处理器执行如权利要求1至7中任一项所述的基于图像识别的用户页面测试方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910535034.3A CN110399291A (zh) | 2019-06-20 | 2019-06-20 | 基于图像识别的用户页面测试方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910535034.3A CN110399291A (zh) | 2019-06-20 | 2019-06-20 | 基于图像识别的用户页面测试方法及相关设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110399291A true CN110399291A (zh) | 2019-11-01 |
Family
ID=68324176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910535034.3A Pending CN110399291A (zh) | 2019-06-20 | 2019-06-20 | 基于图像识别的用户页面测试方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110399291A (zh) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990264A (zh) * | 2019-11-11 | 2020-04-10 | 中国建设银行股份有限公司 | Ui自动化测试的元素识别方法、装置、设备及存储介质 |
| CN111045934A (zh) * | 2019-11-29 | 2020-04-21 | 北京三快在线科技有限公司 | 页面分析方法、装置、客户端、存储介质及电子设备 |
| CN111104308A (zh) * | 2019-11-12 | 2020-05-05 | 贝壳技术有限公司 | 显示页面的测试方法和装置、存储介质、电子设备 |
| CN111130845A (zh) * | 2019-11-25 | 2020-05-08 | 北京邮电大学 | 基于视觉信息的网站页面IPv6支持度测试方法及装置 |
| CN111782552A (zh) * | 2020-08-07 | 2020-10-16 | 广州极点三维信息科技有限公司 | 一种基于区域划分的自动测试方法和装置 |
| CN111858356A (zh) * | 2020-07-23 | 2020-10-30 | 北京首汽智行科技有限公司 | 一种基于图像识别技术的ui自动化测试方法 |
| CN111949516A (zh) * | 2020-07-23 | 2020-11-17 | 上海硬通网络科技有限公司 | 页面测试方法、装置及电子设备 |
| CN111949517A (zh) * | 2020-07-23 | 2020-11-17 | 上海硬通网络科技有限公司 | 远程真机测试方法、装置及电子设备 |
| CN112181838A (zh) * | 2020-09-30 | 2021-01-05 | 无锡雪浪数制科技有限公司 | 一种基于图像比对的自动化测试方法 |
| CN112306793A (zh) * | 2020-04-07 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 用于监控网页的方法和装置 |
| CN112541903A (zh) * | 2020-12-16 | 2021-03-23 | 深圳市欢太科技有限公司 | 页面比对方法、装置、电子设备及计算机存储介质 |
| CN112559340A (zh) * | 2020-12-09 | 2021-03-26 | 上海米哈游天命科技有限公司 | 一种画面测试方法、装置、设备及存储介质 |
| CN112667519A (zh) * | 2021-01-13 | 2021-04-16 | 北京字节跳动网络技术有限公司 | 页面测试方法及装置、电子设备和计算机可读存储介质 |
| CN112686338A (zh) * | 2021-03-10 | 2021-04-20 | 卡斯柯信号(北京)有限公司 | 图像信息识别方法、装置、设备及存储介质 |
| CN113076243A (zh) * | 2021-03-26 | 2021-07-06 | 成都安恒信息技术有限公司 | 一种优化图像识别自动化测试成本的方法 |
| CN115168193A (zh) * | 2022-06-24 | 2022-10-11 | 广州掌动智能科技有限公司 | 软件性能测试和调优系统及其控制方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108255726A (zh) * | 2018-01-18 | 2018-07-06 | 北京网信云服信息科技有限公司 | 一种应用程序页面适配测试方法及装置 |
| CN109784369A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | H5页面测试方法与装置、电子设备、存储介质 |
| CN109901988A (zh) * | 2017-12-11 | 2019-06-18 | 北京京东尚科信息技术有限公司 | 一种用于自动化测试的页面元素定位方法和装置 |
-
2019
- 2019-06-20 CN CN201910535034.3A patent/CN110399291A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109901988A (zh) * | 2017-12-11 | 2019-06-18 | 北京京东尚科信息技术有限公司 | 一种用于自动化测试的页面元素定位方法和装置 |
| CN108255726A (zh) * | 2018-01-18 | 2018-07-06 | 北京网信云服信息科技有限公司 | 一种应用程序页面适配测试方法及装置 |
| CN109784369A (zh) * | 2018-12-14 | 2019-05-21 | 深圳壹账通智能科技有限公司 | H5页面测试方法与装置、电子设备、存储介质 |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110990264A (zh) * | 2019-11-11 | 2020-04-10 | 中国建设银行股份有限公司 | Ui自动化测试的元素识别方法、装置、设备及存储介质 |
| CN111104308A (zh) * | 2019-11-12 | 2020-05-05 | 贝壳技术有限公司 | 显示页面的测试方法和装置、存储介质、电子设备 |
| CN111130845A (zh) * | 2019-11-25 | 2020-05-08 | 北京邮电大学 | 基于视觉信息的网站页面IPv6支持度测试方法及装置 |
| CN111045934A (zh) * | 2019-11-29 | 2020-04-21 | 北京三快在线科技有限公司 | 页面分析方法、装置、客户端、存储介质及电子设备 |
| CN112306793A (zh) * | 2020-04-07 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 用于监控网页的方法和装置 |
| CN111858356A (zh) * | 2020-07-23 | 2020-10-30 | 北京首汽智行科技有限公司 | 一种基于图像识别技术的ui自动化测试方法 |
| CN111949516A (zh) * | 2020-07-23 | 2020-11-17 | 上海硬通网络科技有限公司 | 页面测试方法、装置及电子设备 |
| CN111949517A (zh) * | 2020-07-23 | 2020-11-17 | 上海硬通网络科技有限公司 | 远程真机测试方法、装置及电子设备 |
| CN111782552A (zh) * | 2020-08-07 | 2020-10-16 | 广州极点三维信息科技有限公司 | 一种基于区域划分的自动测试方法和装置 |
| CN112181838A (zh) * | 2020-09-30 | 2021-01-05 | 无锡雪浪数制科技有限公司 | 一种基于图像比对的自动化测试方法 |
| CN112181838B (zh) * | 2020-09-30 | 2022-08-30 | 无锡雪浪数制科技有限公司 | 一种基于图像比对的自动化测试方法 |
| CN112559340A (zh) * | 2020-12-09 | 2021-03-26 | 上海米哈游天命科技有限公司 | 一种画面测试方法、装置、设备及存储介质 |
| CN112541903A (zh) * | 2020-12-16 | 2021-03-23 | 深圳市欢太科技有限公司 | 页面比对方法、装置、电子设备及计算机存储介质 |
| CN112667519A (zh) * | 2021-01-13 | 2021-04-16 | 北京字节跳动网络技术有限公司 | 页面测试方法及装置、电子设备和计算机可读存储介质 |
| CN112667519B (zh) * | 2021-01-13 | 2023-07-21 | 抖音视界有限公司 | 页面测试方法及装置、电子设备和计算机可读存储介质 |
| CN112686338A (zh) * | 2021-03-10 | 2021-04-20 | 卡斯柯信号(北京)有限公司 | 图像信息识别方法、装置、设备及存储介质 |
| CN113076243A (zh) * | 2021-03-26 | 2021-07-06 | 成都安恒信息技术有限公司 | 一种优化图像识别自动化测试成本的方法 |
| CN115168193A (zh) * | 2022-06-24 | 2022-10-11 | 广州掌动智能科技有限公司 | 软件性能测试和调优系统及其控制方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110399291A (zh) | 基于图像识别的用户页面测试方法及相关设备 | |
| CN108733764B (zh) | 基于机器学习的广告过滤规则生成方法和广告过滤系统 | |
| CN102902693B (zh) | 检测在网页上的重复模式 | |
| CN109101469B (zh) | 从数字化文档提取可搜索的信息 | |
| Liu et al. | Image retargeting quality assessment | |
| CN105763543B (zh) | 一种识别钓鱼网站的方法及装置 | |
| US10296552B1 (en) | System and method for automated identification of internet advertising and creating rules for blocking of internet advertising | |
| JP6514244B2 (ja) | 差異検出装置及びプログラム | |
| CN106096037A (zh) | 基于人工智能的搜索结果聚合方法、装置以及搜索引擎 | |
| CN107590236B (zh) | 一种面向建筑施工企业的大数据采集方法和系统 | |
| CN107193467B (zh) | 用于展示智能笔书写内容的方法及设备 | |
| US20160306885A1 (en) | Method and apparatus for determining core word of image cluster description text | |
| CN107294918B (zh) | 一种钓鱼网页检测方法及装置 | |
| CN111368241A (zh) | 基于XPath的网页元素识别方法 | |
| CN110879780A (zh) | 页面异常检测方法、装置、电子设备及可读存储介质 | |
| CN110516663A (zh) | Ocr识别准确率的测试方法、装置、计算机设备及存储介质 | |
| CN110365776B (zh) | 图片批量下载方法、装置、电子设备及存储介质 | |
| CN113360737B (zh) | 页面内容采集方法、装置、电子设备和可读介质 | |
| CN114565927A (zh) | 表格识别方法、装置、电子设备及存储介质 | |
| JP6723976B2 (ja) | テスト実行装置及びプログラム | |
| JP2018116497A (ja) | 画面判定装置及びプログラム | |
| CN112015634A (zh) | 页面结构信息生成方法、装置和电子设备 | |
| WO2023275887A1 (en) | System and method for automated software testing | |
| CN109145307A (zh) | 用户画像识别方法、推送方法、装置、设备和存储介质 | |
| CN111062377B (zh) | 一种题号检测方法、系统、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |