CN113407264A - 基于图像的终端界面识别方法、装置、设备和介质 - Google Patents

Abstract

本申请提出一种基于图像的终端界面识别方法、装置、设备和介质，其中，该方法包括：利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；获取所述替换终端界面的截图图像；针对所述截图图像进行识别得到至少一条目标词条；针对每个所述目标词条，获取与所述目标词条对应的替换词条；在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条；在所述替换终端界面上对所述异常显示词条进行标注，有效提高对终端界面识别的效率。

Description

基于图像的终端界面识别方法、装置、设备和介质

技术领域

本发明涉及应用程序识别技术领域，尤其涉及一种基于图像的终端界面识别方法、装置、设备和介质。

背景技术

App(Application，应用程序)向海外发行时需要支持多种语言，因此，需要对应用程序App的语言性能进行检测。但是，相关技术中，在对应用程序App进行语言切换后，需要测试人员人工浏览识别，不仅耗时耗力，严重影响交付时间。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种基于图像的终端界面识别方法、装置、设备和介质，有效提高对终端界面识别的效率。

一方面，本申请实施例提出了一种基于图像的终端界面识别方法，该方法包括：

利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；

获取所述替换终端界面的截图图像；

针对所述截图图像进行识别得到至少一条目标词条；

针对每个所述目标词条，获取与所述目标词条对应的替换词条；

在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条；

在所述替换终端界面上对所述异常显示词条进行标注。

一方面，本申请实施例提出了一种基于图像的终端界面识别装置，该装置包括：

替换模块，用于利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；

第一获取模块，用于获取所述替换终端界面的截图图像；

识别模块，用于针对所述截图图像进行识别得到至少一条目标词条；

第二获取模块，用于针对每个所述目标词条，获取与所述目标词条对应的替换词条；

确定模块，用于在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条；

提醒模块，用于在所述替换终端界面上对所述异常显示词条进行标注。

一方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行该程序时实现如本申请实施例描述的方法。

一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例描述的方法。

本申请实施例提供的基于图像的终端界面识别方法、装置、设备和介质，该方法通过对原始终端界面进行词条替换，然后对替换后的替换终端界面进行截图，通过对截图识别获取截图中的目标词条，并对目标词条进行识别确定异常显示词条。由此，本申请能够利用图文识别技术将对终端界面的人工识别技术转换为自动化的图文识别和文字识别，有效提高应用程序App终端界面的字符显示异常识别效率。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本申请实施例提供的基于图像的终端界面识别方法的实施环境架构图；

图2示出了本申请一实施例提供的基于图像的终端界面识别方法的流程示意图；

图3示出了本申请另一实施例提供的基于图像的终端界面识别方法的流程示意图；

图4示出了本申请实施例提供的原始终端界面的示意图；

图5示出了本申请实施例对图4进行替换后的替换终端界面示意图；

图6示出了本申请又一实施例提供的基于图像的终端界面识别方法的流程示意图；

图7示出了本申请再一实施例提供的基于图像的终端界面识别方法的流程示意图；

图8示出了本申请实施例提供的提醒信息的示意图；

图9示出了本申请实施例提供的基于图像的终端界面识别装置的示例性结构框图；

图10示出了适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

本申请提出的终端界面识别方法具体实施环境参见图1。图1示出了本申请实施例提供的基于图像的终端界面识别方法的实施环境架构图。

如图1所示，该实施环境架构包括：终端设备101和服务器102。

终端设备101用于向测试人员展示原始终端界面、替换终端界面以及提醒信息等。终端设备可以是台式电脑、笔记本电脑、智能手机、平板电脑、电子书阅读器、智能眼镜、智能手表等设备，但并不局限于此。

服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。其中，服务器102用于向终端设备101提供替换词条和执行对目标词条异常的识别策略。

终端设备101与服务器102之间通过有线或无线通信方式进行直接或间接地连接。可选地，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网，也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(MetropolitanArea Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或无线网络、专用网络或者虚拟专用网络的任何组合。

本申请提出的基于图像的终端界面识别方法可以由基于图像的终端界面识别装置来实施，基于图像的终端界面识别装置可以安装在终端设备或服务器上。

为了进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下实施例或附图所示的方法操作指令步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作指令步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。

请参考图2，图2示出了本申请一实施例提供的基于图像的终端界面识别方法的流程示意图。如图2所示，该方法包括：

步骤201，利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面。

其中，替换终端界面用于展示至少一个替换词条，即，在应用程序的原始终端界面被替换词条替换后，形成替换后的替换终端界面以对替换词条进行显示，进而以便于根据替换后的替换终端界面中显示的词条进行字符显示异常识别。

其中，原始终端界面可为待进行语言替换的终端界面，其中，应用程序App可在原始终端界面所属的语言类型中完成功能测试。例如，原始终端界面可为使用中文标记的终端界面或者英文标记的终端界面，开发人员对应用程序App在中文标签或英文标签下进行功能测试，各控件能够执行应有功能，对于应用程序App向海外发行仅在于尚未进行语言替换，使应用程序App能够满足目标国家或地区用户的语言需求。

还需要说明的是，原始终端界面可包括有多个，即，随着应用程序App中的控件被调用，显示的终端界面会发生变化，在进行语言替换时，需要对应用程序App中的每个界面均进行词条替换并进行异常显示词条识别，从而能够有效确保应用程序App的可靠性。

应当理解的是，原始终端界面中包含有至少一个原始词条，即，原始终端界面中包含至少一条文字信息，在语言转换检测时，需要对应用程序App中所有的文字信息均进行转换识别。

进一步地，在获取到原始终端界面后，还可根据当前的原始终端界面获取与原始终端界面中的至少一个原始词条对应的至少一个替换词条。其中，替换词条可根据原始终端界面中的每个原始词条来获取。还需要说明的是，替换词条并不是将原始词条翻译成目标语言获得的词条，而是通过对词条进行编码得到的便于机器识别的字符串，利用替换词条对原始词条进行替换，能够在目标词条为异常显示词条时快速、准确的反查出该异常显示词条的具体信息，从而有效降低在字符显示异常识别过程中的翻译、校对时间，提高字符显示异常功能识别的效率。

在一些实现方式中，可以将代码文件、配置文件或者资源文件中的原始词条进行替换，从而生成替换后的替换终端界面。

步骤202，获取替换终端界面的截图图像。

也就是说，在获取到替换词条之后，利用至少一个替换词条对至少一个原始词条进行替换，得到替换后的替换终端界面，然后通过对替换终端界面进行截图，使得对终端界面的检测能够转换为图像识别。

其中，可通过终端设备中自带的截图功能对每个替换终端界面进行截图以获取截图图像，也可利用第三方程序对替换终端界面进行拍照以获取截图图像。

步骤203，针对截图图像进行识别得到至少一条目标词条。

可选的，利用图文识别技术可获取到截图中包含的至少一个目标词条，从而有效将人工对应用程序App界面的阅读检测转换为利用计算机设备的图文识别和文字识别，有效提高对应用程序App界面识别的时间，提高识别效率。具体地，可对截图进行图文识别，得到截图中包含的至少一个目标词条。其中，图文识别为OCR(Optical CharacterRecognition)识别，是指对文本资料的图像文件进行分析识别处理，获取文字信息。

步骤204，针对每个目标词条，获取与目标词条对应的替换词条。

也就是说，为了对替换终端界面中词条的准确性进行检测，在通过对替换终端界面的截图图像进行识别得到至少一条目标词条后，需要根据目标词条来获取目标词条对应的替换词条，以通过对目标词条和替换词条进行对比，来判断在对终端界面进行词条替换时是否发生字符显示异常。

步骤205，在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条。

具体而言，在利用目标词条获取到与目标词条对应的替换词条之后，对替换词条和目标词条进行匹配识别，其中，词条一般可以包括多个字符，因此，本申请实施例可以通过字符判断替换词条和目标词条是否匹配，并在替换词条和目标词条匹配的情况下，确定目标词条为正常显示词条，以及在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条。

步骤206，在替换终端界面上对异常显示词条进行标注。

其中，标注内容可包括但不限于异常显示词条在截图图像中的位置、异常显示词条显示的错误内容和异常显示词条对应的替换词条中的至少一项。

也就是说，在识别到替换终端界面上的异常显示词条后，还需要在替换终端界面上对异常显示词条进行标注，以通过对替换终端界面中的标注识别即可获得异常显示词条，从而有效提高开发人员对异常显示词条的获取效率。

具体而言，本申请利用至少一个替换词条对原始终端界面包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面，然后通过对替换终端界面进行截图，获取替换终端界面的截图图像，针对截图图像进行识别得到至少一条目标词条，然后针对每个目标词条获取与目标词条对应的替换词条，对替换词条与目标词条进行匹配识别，在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条，并在替换终端界面上对异常显示词条进行标注。

本申请实施例提供的基于图像的终端界面识别方法、装置、电子设备和存储介质，该方法通过对原始终端界面进行词条替换，然后对替换后的替换终端界面进行截图，针对截图图像进行识别得到截图图像包含的异常显示词条，并在替换终端界面上对异常显示词条进行标注。通过这种方式能够快速简便地实现OCR识别到的界面词条与原始词条的比对，提高终端界面显示字符的检测速度。由此，本申请能够利用图文识别技术将对终端界面的人工识别技术转换为自动化的图文识别和文字识别，有效提高应用程序App终端界面的字符显示异常识别效率。

作为一个可行实施例，如图3所示，基于图像的终端界面识别方法，包括：

步骤301，针对每个原始词条进行签名编码，得到字符串结果。

需要说明的是，虽然原始词条可为中文或英文，但由于进行程序代码编写和转换时，英文更易于应用，因此，在进行词条替换时可优先选择使用英文作为原始词条，在进行控件的功能检测时可使用中文作为原始词条，以便于中文为母语的工程师进行功能检测。

其中，对每个原始词条进行签名编码，得到字符串结果，可包括：根据原始词条生成签名串，对签名串按照预设长度进行等分得到多个字符数组；对每个字符数组循环处理，得到与字符数组对应的索引；将多个索引进行拼接，得到字符串结果。

具体地，根据原始词条进行编码可采用MD5信息摘要算法(MD5Message-DigestAlgorithm)对原始词条进行编码，以得到与原始词条对应的词条压缩关键字，可包括：将原始词条用MD5算法生成32位签名串，将32位签名串分为4段，每段8个字符，然后对4段签名串循环处理，取每段的8个字符，将每段的8个字符视为16进制字符串与0x3fffffff(30位1)的位与操作，将得到的30位字符再分成6段。通过移位运算将每5位分别与字符数组求与运算(0x0000003D)，得到词条在字符数组中的索引并取出拼串。这样一个MD5字符串可以获得4个6位串，取第一个6位字符串作为字符串结果。

步骤302，根据字符串结果和目标语言标识符，得到与原始词条对应的词条压缩关键字，目标语言标识符用于指示替换后的目标语言。

需要说明的是，目标语言可为待替换的语言类型，例如，可为日语、法语等多种与原始词条语言类型不同的语言类型，目标语言标识符用于指示替换后的目标语言，即，根据目标语言标识符能够确定当前替换词条或目标词条对应的语言检测环境。

举例来说，可使用待检测的语言类型对应的英文首字母作为目标语言标识符，例如，在待检测的语言类型为日语时，目标语言标识符可为“j”，在待检测的语言类型为法语时，目标语言标识符可为“f”。应当理解的是，目标语言标识符仅仅用来辅助开发人员识别当前显示异常词条是在对何种语言进行检测时发生替换异常，因此，也可由开发人员对多种待检测的目标语言进行编码来获取相应的目标语言标识符，即，目标语言标识符的设定可仅需满足开发人员对异常显示词条的产生环境进行识别即可。

具体而言，在获取到原始词条后，对每个原始词条进行签名编码得到字符串结果，获取至少一个待检测的目标语言，并获取每个目标语言对应的目标语言标识符，针对每个目标语言，将字符串结果和目标语言标识符进行拼接，得到与当前检测的目标语言相符的词条压缩关键字，在目标词条被确定为异常显示词条时，通过对词条压缩关键字中的目标语言标识符进行识别，确定目标词条所属的目标语言，即，异常显示词条所处的语言检测环境，使得在对终端界面进行多语言识别时，能够准确识别出字符显示异常发生的语言环境。

步骤303，根据词条拼接规则生成与词条压缩关键字对应的替换词条，其中词条拼接规则使得替换词条和与替换词条对应的目标字符长度的差值小于预设阈值，目标字符长度用于指示替换后的目标语言的字符长度。

其中，预设阈值为可接收的替换词条和目标语言的字符长度之间的差值，例如1或2。

也就是说，为了使替换词条的长度能够更加符合目标语言实际应用时的长度，提高词条识别的准确性，需要构造目标语言在表达原始词条含义时所需的字符长度。

作为一个可行实施例，根据词条拼接规则生成与词条压缩关键字对应的替换词条，包括：获取目标语言对应的目标字符长度和定位符；根据目标字符长度与词条压缩关键字对应的压缩字符长度，确定替换词条对应的冗余字符长度；若冗余字符长度小于或等于预设长度，则将词条压缩关键字和定位符进行拼接，得到替换词条；若冗余字符长度大于预设长度，则将词条压缩关键字、定位符和冗余字符长度对应的补位字符进行拼接，得到替换词条。

具体地，可根据当前待替换的语言类型来获取目标语言与原始词条所属语言的长度关系，根据长度关系确定目标语言的目标字符长度，即，确定出若利用目标语言进行词条替换将会产生的实际词条长度，以对替换词条的长度进行补偿，确保替换测试能够满足实际替换时的长度需求。在一些实施例中，原始词条的长度和用于替换该原始词条的替换词条的长度保持一致，这样能够最大程度地提供测试的准确度。

其中，目标语言与原始词条所属语言的长度关系可对大量目标语言的常用词句和对应原始词条所属语言的长度进行确定。可选的，获取多个原始词条的样本数据，将原始词条的样本数据翻译成目标语言的翻译样本，然后分别获取原始词条的样本数据的长度平均值和目标语言翻译样本的长度平均值，根据原始词条的样本数据的长度平均值和目标语言翻译样本的长度平均值，进而获取目标语言与原始词条所属语言的长度关系。

具体地，在确定目标字符长度后，可根据目标字符长度和词条压缩关键字进行比较，确定出替换词条对应的冗余字符长度，其中，冗余字符长度可为目标字符长度与词条压缩关键字之间的差值，即，将目标字符长度减去词条压缩关键字长度即可得到冗余字符长度。然后判断目标字符长度是否大于预设长度，其中，预设长度可为需要长度补偿的最小长度，例如1个字符。因此，如果目标字符长度大于预设长度，则说明在进行词条替换时仅仅利用词条压缩关键字进行词条替换，则无法准确表达出目标语言的占位情况，在实际产品出海时容易出现由于目标语言过长导致的词条异常问题，因此，需要生成和冗余字符长度对应的补位字符，来对替换词条进行补位，即，使得得到的替换词条的长度与目标语言的目标字符长度基本相符，即，将词条压缩关键字、定位符和与冗余字符长度对应的补位字符进行拼接得到替换词条。如果目标字符长度小于或等于预设长度，则说明词条压缩关键字的长度已经可以覆盖目标语言所需的长度，无需额外利用冗余字符长度进行长度补偿，可直接将词条压缩关键字和定位符进行拼接得到替换词条。

其中，补位字符可利用英文字母生成，即，选取满足冗余字符长度的英文字母数量作为补位字符，其中，补位字符中的英文字母可以相同也可以不同。优选的，可利用原始词条中字符位置超过词条压缩关键字和定位符部分的内容生成补位字符，以在词条替换或OCR识别过程中产生的词条压缩关键字异常时，开发人员也可利用补位字符的内容对异常显示词条的内容进行推断。

其中，定位符为机器识别时用于对词条压缩关键字的位置进行确定的符号。也就是说，由于词条压缩关键字和补位符通常都会使用英文来表达，当二者被拼接在一起进行显示时，无法准确的识别到目标词条中的词条压缩关键字，进而无法准确获取与目标词条对应的替换词条，由其在多个目标词条的位置较近且长度均达到显示界面的最大长度时，很难分辨出该区域内包含的目标词条个数。因此，本申请通过设置定位符，能够在识别过程中通过对定位符的识别，来准确获取词条压缩关键字的位置，进而达到对词条关键字进行准确识别的目的，有效避免将补位符误识别为词条压缩关键字的可能性。可选的，定位符的位置可根据实际情况进行设定，除本申请提出的将定位符设置于词条压缩关键字之后外，还可设置于词条压缩关键字之前等。

具体而言，替换词条replace_value＝词条压缩关键字shortkey(7位)+value[7：]，其中，“+”为定位符，在对替换终端界面的截图进行图像识别时，通过词条中的“+”来寻找词条压缩关键字，以根据词条压缩关键字确定出相应的替换词条replace_value，然后，根据替换词条replace_value和目标词条进行匹配，来实现对目标词条的识别。应当理解的是，value[7：]表示7词条压缩关键字shortkey之后的和冗余字符长度对应的补位字符的内容。

举例来说，如图4和图5所示，其中，图4中当原始词条401所属的语言为英文，目标语言也为英文时，参加会议的原始词条401为“Join Meeting”，通过对“Join Meeting”进行加密得到词条压缩关键字502“yyee6re”，然后得到“Join Meeting”连空格在内为12位字符，词条压缩关键字shortkey(7位)加上定位符“+”一共8位，将原始词条长度减去词条压缩关键词和定位符的长度得到冗余字符长度，因此，确定替换词条对应的冗余字符长度为4，即，12-8，根据原始词条确定与冗余字符长度对应的补位字符504为“ting”，将词条压缩关键字501、定位符503和补位字符504拼接得到替换标签501“yyee6re+ting”。图中“Sign Up/Log In”经过计算后得到替换标签“v6BJF3e+Log In”。应当理解的是，图5为词条替换的示意性表示，并未出现异常显示词条。

需要说明的是，由于词条压缩关键字的最后一位是由目标语言标识符占位，且冗余字符长度的长度需要根据目标语言的目标字符长度确定，因此，在同一应用程序App需要进行多种语言测试时，需要对每种语言均进行一次词条替换，在每次词条替换时替换词条的内容与长度可根据目标语言动态变化。

可选的，对于使用频率较高的词条，例如“设置”、“返回”、“帮助”等，可根据词条属性提前存储相应替换词条，在获取到原始词条后可直接根据词条内容调取存储的替换词条即可，有效降低终端设备和/或服务器对原始词条进行编码得到替换词条的运算量，提高替换词条的获取效率。

步骤304，利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面。

步骤305，获取替换终端界面的截图图像。

步骤306，针对截图图像进行识别得到至少一条目标词条。

步骤307，针对每个目标词条，获取与目标词条对应的替换词条。

步骤308，在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条。

步骤309，在替换终端界面上对异常显示词条进行标注。

由此，本申请提出的基于图像的终端界面识别方法，可通过对每种语言生成不同的替换词条，能够满足多种语言的终端界面下的识别，有效避免终端界面在较短语言环境中替换正常但在较长语言环境中替换异常的问题，进一步提高利用本申请进行终端界面识别的可靠性。

作为一个实施例，如图6所示，基于图像的终端界面识别方法，包括以下步骤：

步骤601，利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面。

步骤602，获取替换终端界面的截图图像。

步骤603，针对截图图像进行识别得到至少一条目标词条。

步骤604，针对每个目标词条，识别目标词条中的定位符。

步骤605，根据定位符，识别目标词条中的词条压缩关键字。

基于上述实施例可知，由于目标词条是利用替换词条进行替换得到，因此，目标词条中应包含替换词条的定位符“+”，在对截图图像进行识别得到目标词条后，可获得每个目标词中的定位符，然后，根据定位符所在位置，获取定位符之前的7位字符，即可得到该定位符所属的目标词条对应的词条压缩关键字。

步骤606，根据词条压缩关键字，获取与目标词条对应的替换词条。

通常来讲，词条替换时不会对词条压缩关键字产生异常，因此，在得到词条压缩关键字后，可根据前述方案中得到的替换词条的词条压缩关键字进行匹配，即可得到与目标词条对应的替换词条。

应当理解的是，如果在词条替换时使得词条压缩关键字发生异常，则无法获取到对应的替换词条，此时可认为目标词条无法匹配到替换词条，即，目标词条不存在与之匹配的替换词条，因此，目标词条为异常显示此条。

步骤607，在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条。

其中，在确定目标词条中包含第一检测字符时，确定目标词条为异常显示词条；在确定目标词条中不包含第一检测字符时，对替换词条包含第二检测字符进行检测；在替换词条包含第二检测字符时，将替换词条转换成符合预设规则的词条；并比较符合预设规则的词条与目标词条，得到比较结果，基于比较结果确定替换词条和目标词条不匹配，并将目标词条确定为异常显示词条；在替换词条不包含第二检测字符时，确定目标词条为异常显示词条。

更进一步地，在比较结果表示符合预设规则的词条与目标词条不匹配时，确定替换词条和目标词条不匹配；在比较结果表示符合预设规则的词条与目标词条匹配时，确定替换词条和目标词条为匹配。

其中，第一检测字符是由于异常原因而在界面上显示的字符，该第一检测字符可以为在词条替换时根据特定的异常原因系统默认产生的显示字符，例如，在替换词条的长度远大于当前位置所能显示的长度时，系统将会默认使用省略号代替全部无法显示的长度。应当理解的是，第一检测字符包括但不限于省略号。

在一些实施例中，界面上的字符可以不是固定的制度并且可以根据应用程序运行时的动态信息来改变，比如说，界面上的字符会显示有当前用户的账号、当前用户的数量以及其他动态信息，第二检测字符表征根据实际的应用场景在界面上显示不同内容的字符，该第二检测字符可以是为用户输入的信息占位的占位符，也可以是为用户数量占位的占位符。其中，占位符与其对应内容之间的对应关系即为预设规则，可以通过根据预设规则将替换词条中的占位符用其对应内容来替换，从而将替换词条转换成符合预设规则的词条。例如，用户昵称通常是用户自行设定的，在应用程序App的主页面、个人设置界面等界面中，通常包含有显示用户昵称的词条，例如“Hello，Andy”，而代码文件中与该词条对应的内容为“Hello，％”，其中，“％”即为用户昵称的占位符，在根据代码文件进行词条显示时，需要先根据占位符“％”在资源文件中读取当前用户的昵称数据，然后将昵称数据与代码文件中的词条数据“Hello，”进行拼接，得到“Hello，Andy”并进行显示。又如，在群组环境中，标题栏中除群名称(会议名称)外，还通常需要展示当前群组内的人数，而该人数会随实际加入的人数进行变化，此时，代码文件中可使用“#”来为参加人数进行占位，在根据代码文件进行词条显示时，需要先获取参加人员信息，并统计实际参加人数，然后用实际的参加人数替换代码文件中的“#”。应当理解的是，在本示例中“％”与用户昵称之间的对应关系，和/或，“#”与参加人数之间的对应关系，即为预设关系。还应当理解的是，第二检测字符包括但不限于占位符。

作为一个可行实施例，在根据原始词条生成替换词条时，针对每个原始词条进行签名编码，得到字符串结果，根据字符串结果和目标语言标识符，得到原始词条对应的词条压缩关键字，获取目标语言对应的目标字符长度，根据目标字符长度与词条压缩关键字对应的压缩字符长度，确定替换词条对应的初始冗余字符长度，其中，初始冗余字符长度为原始词条在代码文件中对应的词条长度，然后，识别在代码文件中与原始词条对应的代码中是否包含占位符，如果不包含占位符，则将初始冗余字符作为冗余字符长度，并进一步判断冗余字符长度是否大于预设长度并执行相应的替换词条的拼接操作，如果包含占位符，则确定冗余字符长度大于预设长度，并在初始冗余字符长度小于或等于预设长度时，将占位符作为补位字符进行拼接，在初始冗余字符长度大于预设长度时，将占位符按照其在原始词条对应的代码中的位置拼接至补位字符中，形成最终的补位字符，将词条压缩关键字、定位符和最终的补位符进行拼接得到替换词条。由此，本申请在词条替换显示检测时，能够模拟词条在真实使用时的替换场景，增强词条替换识别的准确性，避免词条对占位符进行替换过程中产生的异常无法被识别。也就是说，在替换词条记载的文本信息和目标词条记载的文本信息相符时，说明在进行语言替换时应用程序App不会产生词条截断异常，能够很好的实现更换语言的需求，满足海外需求。但是，在替换词条和目标词条不相符时，存在多种可能性，其中，在特殊情景下运算生成的替换词条中可包括第二检测字符，其中，第二检测字符可用于表达预设的文本信息，在进行词条替换时，后台脚本会将第二检测字符转换成与第二检测字符相符的预设文本信息然后再进行替换，因此，仅利用替换词条无法对目标词条中记载的内容进行识别。此时，需要将替换词条转换成符合预设规则的词条，并比较符合预设规则的词条与目标词条，得到比较结果，进而根据比较结果确定目标词条为异常显示词条。

理论上，在替换词条记载和目标词条记载不相符时，即可说明目标词条具有较大发生截断异常的可能，但是，由于对第二检测字符的进一步检测的计算会占用大量的计算资源，因此，可先识别目标词条中是否存在第一检测字符，如果存在，则说明目标词条必然发生了截断异常，即，无需在对该目标词条进行第二检测字符的识别，有效提高终端界面识别的效率。还应当理解的是，在目标词条不包含第一检测字符的情况下，替换词条中不包含第二检测字符，也可以说明目标词条为异常显示词条。其中，该种情况下可包含有词条压缩关键字发生错误导致的异常显示词条。

步骤608，在替换终端界面上对异常显示词条进行标注。

由此，本申请提出的基于图像的终端界面识别方法，可通过多种替换词条和目标词条之间的匹配规则，来确定目标词条是否与替换词条匹配，从而有效提高目标词条发生字符显示异常识别的准确性。

作为一个具体实施例，如图7所示，基于图像的终端界面识别，包括以下步骤：

步骤701，获取所述替换终端界面的截图图像，针对所述截图图像进行识别得到至少一条目标词条。

步骤702，针对每个所述目标词条，获取目标词条中的词条压缩关键字shortkey。

步骤703，根据词条压缩关键字获取对应的替换词条key、冗余字符长度对应的补位符value。

步骤704，判断替换词条和目标词条是否相同。

如果是，则确定目标词条无异常，如果否，则执行步骤705。

步骤705，判断目标词条中是否包含省略号。

如果包含，则确定目标词条为异常显示词条，如果不包含，则执行步骤706。

步骤706，判断替换词条中是否包含占位符。

如果包含，则执行步骤707，如果不包含，则确定目标词条为异常显示词条。

步骤707，判断替换词条中的占位符与目标词条是否满足预设规则。

如果满足，则确定目标词条无异常，如果否，则确定目标词条为异常显示词条。

由此，本申请能够通过对替换词条和目标词条进行文字识别，实现对应用层序App的终端界面的词条异常进行自动化识别，大大提高界面识别的效率。

作为一个可行实施例，在替换终端界面上对异常显示词条进行标注，包括：识别异常显示词条在截图图像中的位置；基于位置，在截图图像中对异常显示词条进行标注，标注包括与异常显示词条对应的提醒信息。

也就是说，在识别出异常显示词条后，为了便于开发人员能够及时、准确的定位到异常显示词条并对其进行语言替换功能的修复，本申请还进一步识别异常显示词条在截图中的位置，并根据异常显示词条在截图中的位置对异常显示词条进行标注，例如与异常显示词条对应的提醒信息。例如，如图8所示，包含有省略号的词条即为异常显示词条，通过与异常显示词条对应的提醒信息801进行提醒。

在一些实施例中，可仅将标注图像作为提醒信息进行反馈提醒，使开发人员根据标注图像中的框体确定发生异常的词条，优选的，由于替换的替换终端界面中含有大量的词条压缩关键字以及英文的冗余词条，而应用程序App中可能同一个界面布局中有多种词条应用，使得开发人员仅根据标注图像无法确知异常显示词条发生在何种应用场景中，因此，还可进一步对发生异常的目标词条的属性进行解析，将分析的结果和标注图像进行组合得到提醒信息，使得开发人员根据分析结果能够更加快速的了解发生异常的应用场景。

综上所述，本申请实施例提供的终端界面识别方法、装置、电子设备和存储介质，该方法通过对原始终端界面进行词条替换，然后对替换后的替换终端界面进行截图，针对截图图像进行识别得到截图图像包含的异常显示词条，并在替换终端界面上对异常显示词条进行标注。由此，本申请能够利用图文识别技术将对终端界面的人工识别技术转换为自动化的图文识别和文字识别，有效提高应用程序App终端界面的字符显示异常识别效率。

进一步地请参考图9，图9示出了本申请实施例提供的基于图像的终端界面识别装置的示例性结构框图。如图9所示，该装置10包括：

替换模块11，用于利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；

第一获取模块12，用于获取替换终端界面的截图图像；

识别模块13，用于针对截图图像进行识别得到至少一条目标词条；

第二获取模块14，用于针对每个目标词条，获取与目标词条对应的替换词条；

确定模块15，用于在替换词条和目标词条不匹配的情况下，确定目标词条为异常显示词条；

提醒模块16，用于在替换终端界面上对异常显示词条进行标注。

在一些实施例中，第二获取模块14，还用于：

识别目标词条中的定位符；

根据定位符，识别目标词条中的词条压缩关键字；

根据词条压缩关键字，获取与目标词条对应的替换词条。

在一些实施例中，确定模块15，还用于：

在确定目标词条中包含第一检测字符时，确定目标词条为异常显示词条；

在确定目标词条中不包含第一检测字符时，对替换词条包含第二检测字符进行检测；

在替换词条包含第二检测字符时，将替换词条转换成符合预设规则的词条；并比较符合预设规则的词条与目标词条，得到比较结果，基于比较结果确定替换词条和目标词条不匹配，并将目标词条确定为异常显示词条；

在替换词条不包含第二检测字符时，确定目标词条为异常显示词条。

在一些实施例中，确定模块15，还用于：

在比较结果表示符合预设规则的词条与目标词条不匹配时，确定替换词条和目标词条不匹配；

在比较结果表示符合预设规则的词条与目标词条匹配时，确定替换词条和目标词条匹配。

在一些实施例中，替换模块11，还用于：

针对每个原始词条进行签名编码，得到字符串结果；

根据字符串结果和目标语言标识符，得到与原始词条对应的词条压缩关键字，目标语言标识符用于指示替换后的目标语言；

根据词条拼接规则生成与词条压缩关键字对应的替换词条，其中词条拼接规则使得替换词条和与替换词条对应的原始词条的长度差值小于预设阈值。

在一些实施例中，替换模块11，还用于：

获取目标语言对应的目标字符长度和定位符；

根据目标字符长度与词条压缩关键字对应的压缩字符长度，确定替换词条对应的冗余字符长度；

若冗余字符长度小于或等于预设长度，则将词条压缩关键字和定位符进行拼接，得到替换词条；

若冗余字符长度大于预设长度，则将词条压缩关键字、定位符和冗余字符长度对应的补位字符进行拼接，得到替换词条。

在一些实施例中，替换模块11，还用于：

根据原始词条生成签名串，对签名串按照预设长度进行等分得到多个字符数组；

对每个字符数组循环处理，得到与字符数组对应的索引；

将多个索引进行拼接，得到字符串结果。

在一些实施例中，提醒模块14，还用于：

识别异常显示词条在截图图像中的位置；

基于位置，在截图图像中对异常显示词条进行标注，标注包括与异常显示词条对应的提醒信息。

应当理解，装置中记载的诸单元或模块与上述描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作指令和特征同样适用于装置及其中包含的模块，在此不再赘述。装置可以预先实现在电子设备的浏览器或其他安全应用中，也可以通过下载等方式而加载到电子设备的浏览器或其他安全应用中。装置中的相应模块可以与电子设备中的模块相互配合以实现本申请实施例的方案。

本申请实施例提供的终端界面识别方法、装置、电子设备和存储介质，该装置通过对原始终端界面进行词条替换，然后对替换后的替换终端界面进行截图，针对截图图像进行识别得到截图图像包含的异常显示词条，并在替换终端界面上对异常显示词条进行标注。由此，本申请能够利用图文识别技术将对终端界面的人工识别技术转换为自动化的图文识别和文字识别，有效提高应用程序App终端界面的字符显示异常识别效率。

在上文详细描述中提及的若干模块或单元，这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

下面参考图10，图10示出了适于用来实现本申请实施例的电子设备或服务器的计算机系统的结构示意图，

如图10所示，计算机系统包括中央处理单元(CPU)1001，其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM1003中，还存储有系统的操作指令所需的各种程序和数据。CPU1001、ROM1002以及RAM1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。

以下部件连接至I/O接口1005；包括键盘、鼠标等的输入部分1006；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007；包括硬盘等的存储部分1008；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1010上，以便于从其上读出的计算机程序根据需要被安装入存储部分1008。

特别地，根据本申请的实施例，上文参考流程图图2描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1009从网络上被下载和安装，和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时，执行本申请的系统中限定的上述功能。

需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以为的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作指令。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以不同于附图中所标注的顺序发生。例如，两个连接表示的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作指令的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括替换模块、获取模块、识别模块和提醒模块。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定，例如，替换模块，还可以被描述为“利用至少一个替换词条对原始终端界面所包含的至少一个原始词条进行替换，得到替换后的替换终端界面”。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或多个程序，当上述程序被一个或者一个以上的处理器用来执行描述于本申请的终端界面识别方法。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (11)

1.一种基于图像的终端界面识别方法，其特征在于，包括以下步骤：

利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；

获取所述替换终端界面的截图图像；

针对所述截图图像进行识别得到至少一条目标词条；

针对每个所述目标词条，获取与所述目标词条对应的替换词条；

在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条；

在所述替换终端界面上对所述异常显示词条进行标注。

2.根据权利要求1所述的方法，其特征在于，所述针对每个所述目标词条，获取与所述目标词条对应的替换词条，包括：

识别所述目标词条中的定位符；

根据所述定位符，识别所述目标词条中的词条压缩关键字；

根据所述词条压缩关键字，获取与所述目标词条对应的替换词条。

3.根据权利要求2所述的方法，其特征在于，所述在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条，包括：

在确定所述目标词条中包含第一检测字符时，确定所述目标词条为异常显示词条；

在确定所述目标词条中不包含第一检测字符时，对所述替换词条包含第二检测字符进行检测；

在所述替换词条包含第二检测字符时，将所述替换词条转换成符合预设规则的词条；并比较所述符合预设规则的词条与所述目标词条，得到比较结果，基于所述比较结果确定所述替换词条和所述目标词条不匹配，并将所述目标词条确定为异常显示词条；

在所述替换词条不包含第二检测字符时，确定所述目标词条为异常显示词条。

4.根据权利要求3所述的方法，其特征在于，基于所述比较结果确定所述替换词条和所述目标词条不匹配包括：

在所述比较结果表示所述符合预设规则的词条与所述目标词条不匹配时，确定所述替换词条和所述目标词条不匹配；

在所述比较结果表示所述符合预设规则的词条与所述目标词条匹配时，确定所述替换词条和所述目标词条匹配。

5.根据权利要求1所述的方法，其特征在于，在利用至少一个替换词条对原始终端界面所包含的至少一个原始词条进行替换之前，该方法包括：

针对每个所述原始词条进行签名编码，得到字符串结果；

根据所述字符串结果和目标语言标识符，得到与所述原始词条对应的词条压缩关键字，所述目标语言标识符用于指示替换后的目标语言；

根据词条拼接规则生成与所述词条压缩关键字对应的替换词条，其中所述词条拼接规则使得所述替换词条和与所述替换词条对应的目标字符长度的差值小于预设阈值，其中所述目标字符长度用于指示替换后的目标语言的字符长度。

6.根据权利要求5所述的方法，其特征在于，所述根据词条拼接规则生成与所述词条压缩关键字对应的替换词条包括：

获取所述目标语言对应的所述目标字符长度和定位符；

根据所述目标字符长度与所述词条压缩关键字对应的压缩字符长度，确定所述替换词条对应的冗余字符长度；

若所述冗余字符长度小于或等于预设长度，则将所述词条压缩关键字和所述定位符进行拼接，得到所述替换词条；

若所述冗余字符长度大于所述预设长度，则将所述词条压缩关键字、所述定位符和所述冗余字符长度对应的补位字符进行拼接，得到所述替换词条。

7.根据权利要求5所述的方法，其特征在于，对每个所述原始词条进行签名编码，得到字符串结果，包括：

根据所述原始词条生成签名串，对所述签名串按照预设长度进行等分得到多个字符数组；

对每个所述字符数组循环处理，得到与所述字符数组对应的索引；

将多个所述索引进行拼接，得到所述字符串结果。

8.根据权利要求1所述的方法，其特征在于，所述在所述替换终端界面上对所述异常显示词条进行标注，包括：

识别所述异常显示词条在所述截图图像中的位置；

基于所述位置，在所述截图图像中对所述异常显示词条进行标注，所述标注包括与所述异常显示词条对应的提醒信息。

9.一种基于图像的终端界面识别装置，其特征在于，包括：

替换模块，用于利用至少一个替换词条对原始终端界面所包含的至少一个原始词条分别进行替换，得到替换后的替换终端界面；

第一获取模块，用于获取所述替换终端界面的截图图像；

识别模块，用于针对所述截图图像进行识别得到至少一条目标词条；

第二获取模块，用于针对每个所述目标词条，获取与所述目标词条对应的替换词条；

确定模块，用于在所述替换词条和所述目标词条不匹配的情况下，确定所述目标词条为异常显示词条；

提醒模块，用于在所述替换终端界面上对所述异常显示词条进行标注。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时，实现如权利要求1-8中任一所述的基于图像的终端界面识别方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的基于图像的终端界面识别方法。

Images