CN110046009B - 录制方法、装置、服务器及可读存储介质 - Google Patents

Abstract

本说明书实施例公开了一种录制方法，在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别区域；若判断出操作事件的点击坐标位于识别区域内时，则记录所述识别区域中所述点击坐标对应的显示目标，如此，在录制时直接将所述操作事件与所述显示目标进行对应，使得即使在显示界面中的元素发生偏移时，根据所述显示目标仍能从所述显示界面中确定与所述操作事件对应的对象，而不会将所述操作事件与其它对应，从而能够提高录制的准确度。

Description

录制方法、装置、服务器及可读存储介质

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种录制方法、装置、服务器及可读存储介质。

背景技术

现有的在对电子设备的显示界面的操作行为进行录制时，通过使用录制工具例如MonkeyRunner工具进行录制，将电子设备与本地主机连接后，运行该工具，电子设备的界面会在本地实时显示。通过在本地操作电子设备的显示界面，每一步的操作信息将会被记录下来，生成一系列操作序列。

但是，现有技术中录制工具包含两种录制方法，分别是记录坐标的录制和记录控件ID的录制，基于坐标的录制在显示界面上会有轻微变动，当显示界面中的元素发生偏移时会存在误差的问题；而基于控件ID的录制对于非标准控件其未被记录，且当控件ID发生变动时，其录制的控件ID与操作也会存在误差。

发明内容

本说明书实施例提供了一种录制方法、装置、服务器及可读存储介质，降低录制出现错位情况的概率，提高录制的准确度。

本说明书实施例第一方面提供了一种录制方法，包括：

获取在显示界面上的操作事件；

若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别区域；

判断所述操作事件的点击坐标是否位于所述识别区域内；

若所述操作事件的点击坐标位于所述识别区域内，则记录所述识别区域中所述点击坐标对应的显示目标。

本说明书实施例第二方面提供了一种回放方法，包括：

在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别对象；

判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

若判断出所述识别对象中存在与所述操作对象匹配的对象，则从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象。

本说明书实施例第三方面还提供了一种录制装置，包括：

操作事件获取单元，用于获取在显示界面上的操作事件；

识别单元，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别区域；

坐标判断单元，用于判断所述操作事件的点击坐标是否位于所述识别区域内；

记录单元，用于在所述操作事件的点击坐标位于所述识别区域内时，记录所述识别区域中所述点击坐标对应的显示目标。

本说明书实施例第四方面还提供了一种回放装置，包括：

操作事件采集单元，用于在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

对象识别单元，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别对象；

对象判断单元，用于判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

操作单元，用于在判断出所述识别对象中存在与所述操作对象匹配的对象时，从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象。

本说明书实施例第四方面还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述录制方法和回放方法的步骤。

本说明书实施例第五方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时上述录制方法和回放方法的步骤。

本说明书实施例的有益效果如下：

基于上述技术方案，在判断出所述操作事件为点击事件且操作事件的点击坐标位于识别区域内时，则记录所述识别区域中所述点击坐标对应的显示目标，如此，在录制时直接将所述操作事件与所述显示目标进行对应，使得即使在显示界面中的元素发生偏移时，根据所述显示目标仍能从所述显示界面中确定与所述操作事件对应的对象，而不会将所述操作事件与其它对应对应，从而能够提高录制的准确度。

附图说明

图1为本说明书实施例中录制方法的第一种流程图；

图2为本说明书实施例中操作事件的点击坐标未位于文字区域的录制方法的流程图；

图3为本说明书实施例中操作事件的点击坐标未位于目标区域的录制方法的流程图；

图4为本说明书实施例中对显示界面进行场景文字识别和目标识别的结构示意图；

图5为本说明书实施例中录制方法的第二种流程图；

图6为本说明书上实施例中回放方法的第一种流程图；

图7为本说明书实施例中文字对象中未存在与操作对象匹配的对象的回放方法的流程图；

图8为本说明书实施例中目标对象中未存在与操作对象匹配的对象的回放方法的流程图；

图9为本说明书实施例中回放方法的第二种流程图；

图10为本说明书实施例中录制装置的结构示意图；

图11为本说明书实施例中回放装置的结构示意图；

图12为本说明书实施例中服务器的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本说明书实施例的技术方案做详细的说明，应当理解本说明书实施例以及实施例中的具体特征是对本说明书实施例技术方案的详细的说明，而不是对本说明书技术方案的限定，在不冲突的情况下，本说明书实施例以及实施例中的技术特征可以相互组合。

第一方面，如图1所示，本说明书实施例提供一种录制方法，包括：

S101、获取在显示界面上的操作事件；

S102、若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别区域；

S103、判断所述操作事件的点击坐标是否位于所述识别区域内；

S104、若判断出所述点击坐标位于所述识别区域内，则获取并记录所述识别区域中所述点击坐标对应的显示目标。

其中，在步骤S101中，获取用户在所述显示界面上的所述操作事件，所述操作事件例如可以是输入事件和操作事件等事件，所述操作事件包括长按事件、单次操作事件和多次操作事件等。

本说明书实施例中，所述显示界面具体为显示屏上呈现的界面，所述显示屏例如可以是LCD显示屏和液晶显示屏等；所述显示界面例如可以是智能手机上的显示界面，平板电脑上的显示界面，笔记本电脑上的显示界面等。

在获取到所述操作事件之后且在执行步骤S102之前，还需检测所述操作事件是否为点击事件，若判断出所述操作事件为点击事件，则执行步骤S102；若判断出所述操作事件不为点击事件，则直接记录所述操作事件对应的操作信息，如“Input x”等。

若判断出所述操作事件为点击事件，则执行步骤S102,在该步骤中，可以对所述显示界面进行场景文字识别，识别出文字区域，其中，所述文字区域作为所述识别区域。

具体来讲，在进行识别过程中，可以获取所述显示界面对应的显示图片，然后在所述显示图片上进行场景文字识别和目标识别，识别出所述文字区域和所述目标区域。

本说明书实施例中，所述场景文字识别(optical character recognition,简称，OCR)是指在图像中检测和识别文字；所述场景文字识别分为文字检测(Text Detection)与文字识别(Text Recognition)两部分，其中，文字检测对照片中存在文字的区域进行定位，即找到单词或者文本行的边界框；文字识别是对定位后的文字进行识别。

在通过步骤S102识别出所述识别区域之后，执行步骤S103,首先获取所述操作事件的点击坐标，判断所述点击坐标是否位于所述识别区域内；若判断出所述点击坐标位于所述识别区域内，则执行步骤S104。

具体来讲，若所述文字区域为所述识别区域，则在识别出所述文字区域之后，执行步骤S103,判断所述点击坐标是否位于所述文字区域内；若判断出所述点击坐标位于所述文字区域内，则执行步骤S104，获取并记录所述文字区域中所述点击坐标对应的文字内容。

具体来讲，在执行步骤S103过程中，可以将所述点击坐标与所述文字区域中的每个坐标进行比对，若比对出所述文字区域中存在一个坐标与所述点击坐标相同，则可以判断出所述点击坐标位于所述文字区域内；若比对出所述文字区域中未存在任何一个坐标与所述点击坐标相同，则可以判断出所述点击坐标未位于所述文字区域内。

具体来讲，在执行步骤S104过程中，可以通过所述文字区域中查找到在所述点击坐标所在位置上显示的文字内容，查找到所述文字内容与所述点击坐标对应。

基于上述方案，若判断出所述点击坐标位于所述文字区域内，则获取并记录所述文字区域中所述点击坐标对应的文字内容，如此，可以直接将所述操作事件与所述文字内容进行对应，使得即使在显示界面中的控件发生偏移时，仍能确定出所述操作事件对应的所述文字内容，而不会将所述操作事件与其它控件对应，从而能够提高录制的准确度。

本说明书实施例中，在通过步骤S103判断所述点击坐标是否位于所述文字区域内之后，如图2所示，还包括以下步骤：

S105、若所述点击坐标未位于所述文字区域内，则对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域；

其中，在通过步骤S103判断出所述点击坐标未位于所述文字区域之后，获取所述显示界面对应的图片，然后对所述显示界面对应的图片进行目标识别，识别出所述目标区域。

本说明书实施例中，所述目标识别(object detection),是指在所述显示界面对应的图片中找出其中所有目标的位置，并给出每个目标的具体类别。

S106、判断所述点击坐标是否位于所述目标区域内；

其中，可以将所述点击坐标与所述目标区域中的每个坐标进行比对，若比对出所述目标区域中存在一个坐标与所述点击坐标相同，则可以判断出所述点击坐标位于所述目标区域内，然后执行步骤S107；若比对出所述目标区域中未存在任何一个坐标与所述点击坐标相同，则可以判断出所述点击坐标未位于所述目标区域内。

S107、若判断出所述点击坐标位于所述目标区域内，则获取并记录所述目标区域中所述点击坐标对应的点击目标。

具体来讲，可以通过所述目标区域中查找到在所述点击坐标所在位置上显示的目标，将查找到的目标作为所述点击目标。

基于上述方案，若判断出所述点击坐标位于所述目标区域内，则获取并记录所述目标区域中所述点击坐标对应的点击目标，如此，可以直接将所述操作事件与所述点击目标进行对应，使得即使在显示界面中的元素发生偏移时，仍能确定出所述操作事件对应的所述点击目标，而不会将所述操作事件与其它元素对应，从而能够提高录制的准确度。

本说明书实施例中，在通过步骤S106判断所述点击坐标是否位于所述目标区域内之后，如图3所示，还包括以下步骤：

S108、若所述点击坐标未位于所述目标区域内，则获取所述显示界面上的控件布局信息；

其中，在通过步骤S106判断出所述点击坐标未位于所述目标区域之后，可以获取所述显示界面的dump文件，根据所述dump文件，获取到所述显示界面中的控件布局信息。

S109、判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

其中，可以首先根据所述控件布局信息，获取到对应的所述控件布局区域，然后判断所述点击坐标是否位于所述控件布局区域内。

具体地，可以将所述点击坐标与所述控件布局区域中的每个坐标进行比对，若比对出所述控件布局区域中存在一个坐标与所述点击坐标相同，则可以判断出所述点击坐标位于所述控件布局区域内，然后执行步骤S110；若比对出所述目标区域中未存在任何一个坐标与所述点击坐标相同，则可以判断出所述点击坐标未位于所述目标区域内，则执行步骤S111。

S110、若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件；

其中，可以在所述控件布局区域中查找到在所述点击坐标所在位置上显示的控件，将查找到的控件作为所述目标控件，记录所述目标控件；以及在记录所述目标控件时，可以记录所述目标控件的标识。

本说明书实施例中，所述目标控件的标识可以是所述目标控件的名称、编号和ID等信息；进一步的，所述控件布局信息包括所述显示界面中的每个控件的布局信息。

S111、若所述点击坐标未位于所述控件布局区域内，则记录所述点击坐标。

基于上述方案，若判断出所述点击坐标位于所述控件布局区域内，则获取并记录所述控件布局区域中所述点击坐标对应的目标控件，如此，可以直接将所述操作事件与所述目标控件进行对应，使得即使在显示界面中的元素发生偏移时，仍能确定出所述操作事件对应的所述目标控件，而不会将所述操作事件与其它元素对应，从而能够提高录制的准确度。

例如，参见图4，以智能手机为例，在判断出针对智能手机的显示屏上显示界面20的操作事件为点击事件时，获取显示界面20对应的原始图片21，然后对原始图片21进行场景文字识别，在图片30中识别出文字区域为区域31；然后判断所述操作事件的点击坐标是否位于区域31内，若所述点击坐标位于区域31内，则从区域31中获取到所述点击坐标对应的文字内容为“Need help”，并记录“Need help”。

其中，若所述点击坐标未位于区域31内，则对原始图片23进行目标识别，在图片30中识别出目标区域为区域32；然后判断所述操作事件的点击坐标是否位于区域31内，若所述点击坐标位于区域32内，则从区域32中获取到所述点击坐标对应的点击目标为数字“1”，并记录数字“1”；此时，图片30中区域33为目标识别和场景文字识别均未识别的区域。

进一步地，若所述点击坐标未位于区域32内，则获取显示界面20的dump文件；根据所述dump文件，获取到显示界面20上的控件布局信息，并获取所述控件布局信息对应的控件布局区域；然后判断所述点击坐标是否位于所述控件布局区域内；若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件；若所述点击坐标未位于所述控件布局区域内，则记录所述点击坐标。

由上述可知，若检测到所述点击坐标与所述文字内容、所述点击目标和所述目标控件中的任意一个对象对应时，记录所述点击坐标对应的对象，能够使得所述操作事件能够与显示在所述显示界面的具体对象进行对应，通过记录对应关系，使得即使在显示界面中的元素发生偏移时，仍能确定出所述操作事件对应的对象，降低出现错位情况的概率，从而能够提高录制的准确度。

图5为本说明书实施例中提供的录制方法的流程图。所述录制方法首先执行步骤501、获取操作事件；接下来执行步骤502、判断操作事件是否为点击事件；若判断出操作事件不为点击事件，则执行步骤503、记录操作事件对应的操作信息；若判断出操作事件为点击事件，则执行步骤504、对操作事件对应的显示界面进行场景文字识别，识别出文字区域；然后执行步骤505、判断操作事件的点击坐标是否在文字区域内；若判断出点击坐标在文字区域内，则执行步骤506、获取并记录文字区域内点击坐标对应的文字内容；若判断出点击坐标不在文字区域内，则执行步骤507、对显示界面进行目标识别，识别出目标区域；在执行步骤507之后，执行步骤508、判断点击坐标是否在目标区域内；若判断出点击坐标在目标区域内，则执行步骤509、获取并记录目标区域内点击坐标对应的点击目标；若判断出点击坐标不在目标区域内，则执行步骤510、获取显示界面的dump文件，根据dump文件，获取到获取显示界面中的控件布局区域；在执行步骤510之后，执行步骤511、判断点击坐标是否位于控件布局区域内；若判断出点击坐标在控件布局区域内，则执行步骤512、获取并记录控件布局区域内点击坐标对应的目标控件；若判断出点击坐标不在控件布局区域内，则执行步骤513、记录点击坐标。

本说明书另一实施例中，若判断出所述操作事件为点击事件，则执行步骤S102,在该步骤中，可以对所述显示界面进行目标识别，识别出目标区域，其中，所述目标区域作为所述识别区域。

本说明书实施例中，若所述目标区域为所述识别区域，则在识别出所述目标区域之后，执行步骤S103,判断所述点击坐标是否位于所述目标区域内；若判断出所述点击坐标位于所述目标区域内，则执行步骤S104，获取并记录所述文字区域中所述点击坐标对应的点击目标。

本说明书实施例中，在通过步骤S103判断所述点击坐标是否位于所述目标区域内之后，所述方法还包括以下步骤：

S112、若所述点击坐标未位于所述目标区域内，则对所述显示界面进行场景文字识别，识别出所述场景文字识别对应的文字区域；

S113、判断所述点击坐标是否位于所述文字区域内；

S114、若判断出所述点击坐标位于所述文字区域内，则获取并记录所述文字区域中所述点击坐标对应的文字内容。

S115、若所述点击坐标未位于所述文字区域内，则获取所述显示界面上的控件布局信息；

S116、判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

S117、若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件；

S118、若所述点击坐标未位于所述控件布局区域内，则记录所述点击坐标。

本说明书另一实施例中，若判断出所述操作事件为点击事件，则执行步骤S102,在该步骤中，可以对所述显示界面进行场景文字识别和目标识别，识别出所述文字区域和所述识别区域，其中，所述文字区域和所述目标区域作为所述识别区域。

本说明书实施例中，若所述文字区域和所述目标区域为所述识别区域，则在识别出所述文字区域和所述目标区域之后，执行步骤S103,判断所述点击坐标是否位于所述文字区域内，以及判断所述点击坐标是否位于所述目标区域内；若判断出所述点击坐标位于所述文字区域内，获取并记录所述文字区域中所述点击坐标对应的文字内容；若判断出所述点击坐标位于所述目标区域内，获取并记录所述文字区域中所述点击坐标对应的点击目标；若所述点击坐标未位于所述文字区域和所述目标区域内，则获取所述显示界面上的控件布局信息；判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件；若所述点击坐标未位于所述控件布局区域内，则记录所述点击坐标。

例如，参见图4，在识别出文字区域为区域31和目标区域32之后，获取所述操作事件的点击坐标，将所述点击坐标与区域31和区域32进行比对，若比对出所述点击坐标位于区域31中，则从区域31中获取到所述点击坐标对应的文字内容为Need help，然后记录Needhelp；若比对出所述点击坐标位于区域32中，则从区域32中获取到所述点击坐标对应的点击目标为数字5，则记录数字5。

其中，若比对出所述操作事件的点击坐标未位于区域31和区域32中，则获取显示界面20的dump文件；再根据所述dump文件，获取到获取显示界面20中的控件布局信息；根据所述控件布局信息，获取每个控件对应的区域，然后将每个控件对应的区域与所述操作事件的点击坐标进行比对，若对比出所述点击坐标位于某个控件对应的区域内，则将该控件作为所述目标控件，并确定所述点击坐标位于所述目标控件的区域内，然后获取并记录所述目标控件的标识；若对比出所述点击坐标未位于任何一个控件对应的区域内，则记录所述点击坐标。

第二方面，如图6所示，基于与第一方面对应的技术构思，本说明书实施例提供一种回放方法，包括：

S601、在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

S602、若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别对象；

S603、判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

S604、若判断出所述识别对象中存在与所述操作对象匹配的对象，则从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象。

其中，在步骤S601中，首先获取使用第一方面的录制方法录制的显示界面对应的录制数据，从所述录制数据获取所述操作事件。

在执行步骤S601之后，在执行步骤S602之前，所述方法还包括：判断所述操作事件是否为点击事件，若所述操作事件为点击事件，则执行步骤S602；若所述操作事件不为点击事件，则执行返回所述录制数据中记录的所述操作事件对应的操作信息。

若所述操作事件为点击事件，执行步骤S602,可以对所述显示界面进行场景文字识别，识别出对应的文字对象，其中，所述文字对象作为所述识别对象。

在识别出所述文字对象之后，接下来执行步骤S603，可以首先从所述录制数据中查找到所述操作对象，然后判断所述文字对象中是否存在与所述操作对象匹配的对象；若判断出所述文字对象中存在与所述操作对象匹配的对象，则执行步骤S604，从所述文字对象中获取与所述操作对象匹配的文字匹配对象，在所述显示界面中点击所述文字匹配对象。

具体来讲，在所述显示界面中点击所述文字匹配对象时，可以点击所述显示界面中显示所述文字匹配对象的区域，例如可以点击显示所述文字匹配对象的区域的中心点、边缘区域和中间区域等。

本说明书另一实施例中，在通过步骤S603判断出所述文字对象中未存在与所述操作对象匹配的对象时，如图7所示，所述方法还包括：

S605、对所述显示界面进行目标识别，识别出对应的目标对象；

S606、判断所述目标对象中是否存在与所述操作对象匹配的对象；

S607、若判断出所述目标对象中存在与所述操作对象匹配的对象，则从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象。

本说明书另一实施例中，在通过步骤S607判断出所述目标对象中未存在与所述操作对象匹配的对象时，如图8所示，所述方法还包括：

S608、获取所述显示界面上的控件布局信息；

S609、判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

S610、若判断出所述控件对象中存在与所述操作对象匹配的对象，则从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件；

S611、若判断出所述控件对象中未存在与所述操作对象匹配的对象，则从所述录制数据中获取所述操作事件对应的点击坐标，并在所述显示界面中点击所述点击坐标。

图9为本说明书实施例中提供的回放方法的流程图。所述回放方法首先执行步骤901、从录制数据中获取操作事件；接下来执行步骤902、判断操作事件是否为点击事件；若判断出操作事件不为点击事件，则执行步骤903、从所述录制数据中获取与所述操作事件对应的操作信息并执行；若判断出操作事件为点击事件，则执行步骤904、对操作事件对应的显示界面进行场景文字识别，识别出文字对象；然后执行步骤905、判断文字对象中是否存在与所述操作对象匹配的对象；若判断出文字对象中存在与所述操作对象匹配的对象，则执行步骤906、从文字对象中获取与操作对象匹配的文字匹配对象，并点击文字匹配对象；若判断出文字对象中未存在与所述操作对象匹配的对象，则执行步骤907、对显示界面进行目标识别，识别出目标对象；在执行步骤907之后，执行步骤908、判断目标对象中是否存在与所述操作对象匹配的对象；若判断出目标对象中存在与所述操作对象匹配的对象，则执行步骤909、从目标对象中获取与操作对象匹配的目标匹配对象，并点击目标匹配对象；若判断出目标对象中未存在与所述操作对象匹配的对象，则执行步骤910、获取显示界面的dump文件，根据dump文件，获取显示界面中的控件布局信息；在执行步骤910之后，执行步骤911、判断控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；若判断出控件对象中存在与所述操作对象匹配的对象，则执行步骤912、从控件对象中获取与操作对象对应的目标控件，在显示界面中点击目标控件；若判断出控件对象中未存在与所述操作对象匹配的对象，则执行步骤913、点击所述操作事件对应的点击坐标。

例如，通过第一方面的录制方法的录制数据存储有操作事件C及其对应的操作对象为数字“1”，在使用所述录制数据进行回放时，首先判断C是否为点击事件；在判断出C是操作事件时，获取回放时的显示界面；然后对所述显示界面进行场景文字识别，识别出文字对象；然后从所述文字对象中查找是否存在与数字“1”对应的对象；若从所述文字对象未查找到与数字“1”对应的对象，则对所述显示界面进行目标识别，识别出目标对象；然后从所述目标对象查找到了与数字“1”对应的对象，则在所述显示对象点击所述目标对象中的数字“1”。

由此可知，在回放过程中，可以根据录制数据中记录的与操作事件对应的操作对象与识别出的识别对象进行对比，若识别对象中存在与操作对象匹配的匹配对象，则在显示界面中点击识别出的匹配对象，使得即使在回放的显示界面中的控件发生偏移时，仍能确定出所述操作事件对应的对象，降低出现错位情况的概率，从而能够提高操作事件回放的准确度。

本说明书另一实施例中，若所述操作事件为点击事件，执行步骤S602,可以对所述显示界面进行目标识别，识别出对应的目标对象，其中，所述目标对象作为所述识别对象。

在识别出所述目标对象之后，接下来执行步骤S603，可以首先从所述录制数据中查找到所述操作对象，然后判断所述目标对象中是否存在与所述操作对象匹配的对象；若判断出所述目标对象中存在与所述操作对象匹配的对象，则执行步骤S604，从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象。

具体来讲，在通过步骤S603判断出所述目标对象中未存在与所述操作对象匹配的对象时，所述方法还包括以下步骤:

S612、对所述显示界面进行场景文字识别，识别出对应的文字对象；

S613、判断所述文字对象中是否存在与所述操作对象匹配的对象；

S614、若判断出所述文字对象中存在与所述操作对象匹配的对象，则从所述文字对象中获取与所述操作对象匹配的文字匹配对象，在所述显示界面中点击所述文字匹配对象。

S615、若判断出所述文字对象中未存在与所述操作对象匹配的对象，则依次执行步骤S608-S611。

本说明书另一实施例中，若所述操作事件为点击事件，执行步骤S602,可以对所述显示界面进行场景文字识别和目标识别，识别出对应的文字对象和目标对象，其中，所述目标对象和所述文字对象作为所述识别对象。

在识别出所述文字对象和所述目标对象之后，接下来执行步骤S603，可以判断所述目标对象中是否存在与所述操作对象匹配的对象；以及判断所述文字对象中是否存在与所述操作对象匹配的对象。

其中，若判断出所述目标对象中存在与所述操作对象匹配的对象，若判断出所述目标对象中存在与所述操作对象匹配的对象，则执行步骤S604，从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象。

进一步地，若判断出所述目标对象中存在与所述操作对象匹配的对象，则执行步骤S607.

进一步地，若判断出所述文字对象和所述目标对象中均未存在与所述操作对象匹配的对象，则依次执行步骤S608-S611。

由上述可知，若录制数据中记录有与操作事件对应的操作对象，在回放过程中，若判断出操作对象为文字匹配对象、目标匹配对象和目标控件中的任意一个对象时，即使在显示界面中的控件发生偏移时，可以在显示界面中点击识别出的与操作对象对应的匹配对象，降低了回放出现点击错位的情况，提高了回放的准确度。

第三方面，基于与第一方面相同的技术构思，本说明书实施例提供了一种录制装置，如图10所示，包括：

操作事件获取单元101，用于获取在显示界面上的操作事件；

识别单元102，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别区域；

坐标判断单元103，用于判断所述操作事件的点击坐标是否位于所述识别区域内；

记录单元104，用于在所述操作事件的点击坐标位于所述识别区域内时，记录所述识别区域中所述点击坐标对应的显示目标。

在一种可选方式中，识别单元102，具体用于对所述显示界面进行场景文字识别，识别出文字区域，其中，所述文字区域作为所述识别区域。

在一种可选方式中，所述装置还包括：

目标识别单元，用于在判断出所述点击坐标未位于所述文字区域时，对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域；

坐标判断单元103，还用于判断所述点击坐标是否位于所述目标区域内；

点击目标记录单元，用于在判断出所述点击坐标位于所述目标区域时，获取并记录所述目标区域中所述点击坐标对应的点击目标。

在一种可选方式中，所述装置还包括：

控件布局信息获取单元，用于在判断处所述点击坐标未位于所述目标区域内时，获取所述显示界面上的控件布局信息；

坐标判断单元103，还用于判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

目标控件记录单元，用于在所述点击坐标位于所述控件布局区域内时，获取并记录控件布局区域内所述点击坐标对应的目标控件。

在一种可选方式中，识别单元102，具体用于对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域，其中，所述目标区域作为所述识别区域。

在一种可选方式中，所述装置还包括：

文字识别单元，用于在所述点击坐标未位于所述目标区域内时，对所述显示界面进行场景文字识别，识别出所述场景文字识别对应的文字区域；

坐标判断单元103，还用于判断所述点击坐标是否位于所述文字区域内；

文字内容记录单元，用于在判断出所述点击坐标位于所述文字区域内时，获取并记录所述文字区域中所述点击坐标对应的文字内容。

在一种可选方式中，所述装置还包括：

所述控件布局信息获取单元，还用于在所述点击坐标未位于所述文字区域内时，获取所述显示界面上的控件布局信息；

坐标判断单元103，还用于判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

目标控件记录单元，用于在所述点击坐标位于所述控件布局区域内时，获取并记录控件布局区域内所述点击坐标对应的目标控件。

在一种可选方式中，识别单元102，具体用于对所述显示界面进行场景文字识别和目标识别，识别出所述场景文字识别对应的文字区域和所述目标识别对应的目标区域，其中，所述文字区域和所目标区域作为所述识别区域。

第四方面，基于与第二方面的同一发明构思，本说明书实施例提供一种乘车码的切换装置，如图11所示，包括：

操作事件采集单元111，用于在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

对象识别单元112，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别对象；

对象判断单元113，用于判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

操作单元114，用于在判断出所述识别对象中存在与所述操作对象匹配的对象时，从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象。

在一种可选方式中，对象识别单元112，具体用于对所述显示界面进行场景文字识别，识别出对应的文字对象，其中，所述文字对象作为所述识别对象。

在一种可选方式中，所述装置还包括：

目标对象识别单元，用于在判断出所述文字对象中未存在与所述操作对象匹配的对象时，对所述显示界面进行目标识别，识别出对应的目标对象；

对象判断单元113，还用于判断所述目标对象中是否存在与所述操作对象匹配的对象；

操作单元114，还用于在判断出所述目标对象中存在与所述操作对象匹配的对象时，从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象。

在一种可选方式中，所述装置还包括：

控件布局信息采集单元，用于判断出所述目标对象中未存在与所述操作对象匹配的对象时，获取所述显示界面上的控件布局信息；

对象判断单元113，还用于判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

操作单元114，还用于在判断出所述控件对象中存在与所述操作对象匹配的对象时，从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件。

在一种可选方式中，对象识别单元112，具体用于对所述显示界面进行目标识别，识别出对应的目标对象，其中，所述目标对象作为所述识别对象。

在一种可选方式中，所述装置还包括：

文字对象识别单元，用于在判断出所述目标对象中未存在与所述操作对象匹配的对象时，对所述显示界面进行场景文字识别，识别出对应的文字对象；

对象判断单元113，还用于判断所述文字对象中是否存在与所述操作对象匹配的对象；

操作单元114，还用于在判断出所述文字对象中存在与所述操作对象匹配的对象时，从所述文字对象中获取与所述操作对象匹配的文字匹配对象，在所述显示界面中点击所述文字匹配对象。

在一种可选方式中，所述装置还包括：

所述控件布局信息采集单元，还用于在判断出所述文字对象中未存在与所述操作对象匹配的对象时，获取所述显示界面上的控件布局信息；

对象判断单元113，还用于判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

操作单元114，还用于在判断出所述控件对象中存在与所述操作对象匹配的对象时，从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件。

在一种可选方式中，对象识别单元112，具体用于对所述显示界面进行场景文字识别，识别出对应的文字对象；对所述显示界面进行目标识别，识别出对应的目标对象；其中，所述文字对象和所述目标对象作为所述识别对象。

第五方面，基于与前述实施例中录制方法和回放方法同样的发明构思，本说明书实施例还提供一种服务器，如图12所示，包括存储器124、处理器122及存储在存储器124上并可在处理器122上运行的计算机程序，所述处理器122执行所述程序时实现前文所述录制方法和回放方法中的任一方法的步骤。

其中，在图12中，总线架构(用总线120来代表)，总线120可以包括任意数量的互联的总线和桥，总线120将包括由处理器122代表的一个或多个处理器和存储器124代表的存储器的各种电路链接在一起。总线120还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口125在总线120和接收器121和发送器123之间提供接口。接收器121和发送器123可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器122负责管理总线120和通常的处理，而存储器124可以被用于存储处理器122在执行操作时所使用的数据。

第六方面，基于与前述实施例中录制方法和回放方法的发明构思，本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前文所述录制方法和回放方法中的任一方法的步骤。

本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本说明书的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本说明书范围的所有变更和修改。

显然，本领域的技术人员可以对本说明书进行各种改动和变型而不脱离本说明书的精神和范围。这样，倘若本说明书的这些修改和变型属于本说明书权利要求及其等同技术的范围之内，则本说明书也意图包含这些改动和变型在内。

Claims (14)

1.一种录制方法，包括：

获取在显示界面上的操作事件；

若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别区域；

判断所述操作事件的点击坐标是否位于所述识别区域内；

若所述操作事件的点击坐标位于所述识别区域内，则记录所述识别区域中所述点击坐标对应的显示目标；

所述对所述显示界面进行识别，识别出对应的识别区域，具体包括：

对所述显示界面进行场景文字识别，识别出文字区域，其中，所述文字区域作为所述识别区域；

在判断所述点击坐标是否位于所述文字区域内之后，所述方法还包括：

若所述点击坐标未位于所述文字区域内，则对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域；

判断所述点击坐标是否位于所述目标区域内；

若判断出所述点击坐标位于所述目标区域内，则获取并记录所述目标区域中所述点击坐标对应的点击目标；

在判断所述点击坐标是否位于所述目标区域内之后，所述方法还包括：

若所述点击坐标未位于所述目标区域内，则获取所述显示界面上的控件布局信息；

判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件。

2.如权利要求1所述的方法，所述对所述显示界面进行识别，识别出对应的识别区域，具体包括：

对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域，其中，所述目标区域作为所述识别区域。

3.如权利要求2所述的方法，在判断所述点击坐标是否位于所述目标区域内之后，所述方法还包括：

若所述点击坐标未位于所述目标区域内，则对所述显示界面进行场景文字识别，识别出所述场景文字识别对应的文字区域；

判断所述点击坐标是否位于所述文字区域内；

若判断出所述点击坐标位于所述文字区域内，则获取并记录所述文字区域中所述点击坐标对应的文字内容。

4.如权利要求3所述的方法，在判断所述点击坐标是否位于所述文字区域内之后，所述方法还包括：

若所述点击坐标未位于所述文字区域内，则获取所述显示界面上的控件布局信息；

判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

若所述点击坐标位于所述控件布局区域内，则获取并记录控件布局区域内所述点击坐标对应的目标控件。

5.如权利要求1所述的方法，所述对所述显示界面进行识别，识别出对应的识别区域，具体包括：

对所述显示界面进行场景文字识别和目标识别，识别出所述场景文字识别对应的文字区域和所述目标识别对应的目标区域，其中，所述文字区域和所目标区域作为所述识别区域。

6.一种回放方法，包括：

在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

若判断出所述操作事件为点击事件，则对所述显示界面进行识别，识别出对应的识别对象；

判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

若判断出所述识别对象中存在与所述操作对象匹配的对象，则从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象；

所述对所述显示界面进行识别，识别出对应的识别对象，具体包括：

对所述显示界面进行场景文字识别，识别出对应的文字对象，其中，所述文字对象作为所述识别对象；

在判断所述文字对象中是否存在与所述操作对象匹配的对象之后，所述方法还包括：

若判断出所述文字对象中未存在与所述操作对象匹配的对象，则对所述显示界面进行目标识别，识别出对应的目标对象；

判断所述目标对象中是否存在与所述操作对象匹配的对象；

若判断出所述目标对象中存在与所述操作对象匹配的对象，则从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象；

在判断所述目标对象中是否存在与所述操作对象匹配的对象之后，所述方法还包括：

若判断出所述目标对象中未存在与所述操作对象匹配的对象，获取所述显示界面上的控件布局信息；

判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

若判断出所述控件对象中存在与所述操作对象匹配的对象，则从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件。

7.如权利要求6所述的方法，所述对所述显示界面进行识别，识别出对应的识别对象，具体包括：

对所述显示界面进行目标识别，识别出对应的目标对象，其中，所述目标对象作为所述识别对象。

8.如权利要求6所述的方法，在判断所述目标对象中是否存在与所述操作对象匹配的对象之后，所述方法还包括：

若判断出所述目标对象中未存在与所述操作对象匹配的对象，则对所述显示界面进行场景文字识别，识别出对应的文字对象；

判断所述文字对象中是否存在与所述操作对象匹配的对象；

若判断出所述文字对象中存在与所述操作对象匹配的对象，则从所述文字对象中获取与所述操作对象匹配的文字匹配对象，在所述显示界面中点击所述文字匹配对象。

9.如权利要求8所述的方法，在判断所述文字对象中是否存在与所述操作对象匹配的对象之后，所述方法还包括：

若判断出所述文字对象中未存在与所述操作对象匹配的对象，获取所述显示界面上的控件布局信息；

判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

若判断出所述控件对象中存在与所述操作对象匹配的对象，则从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件。

10.如权利要求8所述的方法，所述对所述显示界面进行识别，识别出对应的识别对象，具体包括：

对所述显示界面进行场景文字识别，识别出对应的文字对象；

对所述显示界面进行目标识别，识别出对应的目标对象；其中，所述文字对象和所述目标对象作为所述识别对象。

11.一种录制装置，包括：

操作事件获取单元，用于获取在显示界面上的操作事件；

识别单元，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别区域；

坐标判断单元，用于判断所述操作事件的点击坐标是否位于所述识别区域内；

记录单元，用于在所述操作事件的点击坐标位于所述识别区域内时，记录所述识别区域中所述点击坐标对应的显示目标；

所述识别单元，具体用于对所述显示界面进行场景文字识别，识别出文字区域，其中，所述文字区域作为所述识别区域；

还包括：

目标识别单元，用于在判断出所述点击坐标未位于所述文字区域时，对所述显示界面进行目标识别，识别出所述目标识别对应的目标区域；

所述坐标判断单元，还用于判断所述点击坐标是否位于所述目标区域内；

点击目标记录单元，用于在判断出所述点击坐标位于所述目标区域时，获取并记录所述目标区域中所述点击坐标对应的点击目标；

还包括：

控件布局信息获取单元，用于在判断处所述点击坐标未位于所述目标区域内时，获取所述显示界面上的控件布局信息；

所述坐标判断单元，还用于判断所述点击坐标是否位于所述控件布局信息对应的控件布局区域内；

目标控件记录单元，用于在所述点击坐标位于所述控件布局区域内时，获取并记录控件布局区域内所述点击坐标对应的目标控件。

12.一种回放装置，包括：

操作事件采集单元，用于在使用显示界面对应的录制数据进行回放时，从所述录制数据中获取操作事件；

对象识别单元，用于在判断出所述操作事件为点击事件时，对所述显示界面进行识别，识别出对应的识别对象；

对象判断单元，用于判断所述识别对象中是否存在与操作对象匹配的对象，其中，所述操作对象存储在所述录制数据中且与所述操作事件对应；

操作单元，用于在判断出所述识别对象中存在与所述操作对象匹配的对象时，从所述识别对象获取与所述操作对象匹配的匹配对象，在所述显示界面中点击所述匹配对象；

所述对象识别单元，具体用于对所述显示界面进行场景文字识别，识别出对应的文字对象，其中，所述文字对象作为所述识别对象；

还包括：

目标对象识别单元，用于在判断出所述文字对象中未存在与所述操作对象匹配的对象时，对所述显示界面进行目标识别，识别出对应的目标对象；

所述对象判断单元，还用于判断所述目标对象中是否存在与所述操作对象匹配的对象；

所述操作单元，还用于在判断出所述目标对象中存在与所述操作对象匹配的对象时，从所述目标对象中获取与所述操作对象匹配的目标匹配对象，在所述显示界面中点击所述目标匹配对象；

还包括：

控件布局信息采集单元，用于判断出所述目标对象中未存在与所述操作对象匹配的对象时，获取所述显示界面上的控件布局信息；

所述对象判断单元，还用于判断所述控件布局信息对应的控件对象中是否存在与所述操作对象匹配的对象；

所述操作单元，还用于在判断出所述控件对象中存在与所述操作对象匹配的对象时，从所述控件对象中获取与所述操作对象对应的目标控件，在所述显示界面中点击所述目标控件。

13.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-10任一项所述方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现权利要求1-10任一项所述方法的步骤。

Images