CN110390328B - 一种信息处理方法及设备 - Google Patents

Abstract

本申请实施例公开了一种信息处理方法及设备，其中，所述方法包括：处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；基于所述第一识别结果和所述第一目标信息，生成控制数据；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

Description

一种信息处理方法及设备

技术领域

本申请涉及信息处理领域，涉及但不限于一种信息处理方法及设备。

背景技术

随着科学技术的飞速发展，自动化技术广泛应用于工业、农业、军事、科学研究、医疗、服务和家庭等方面。在自动化技术中所需的控制数据可以被创建(记录)或自动生成，或用编程语言编程来完成。由人工创建或用编程语言编程完成控制数据对控制人员的专业水平要求较高，且需要花费较长的时间，而目前自动生成的控制数据往往只能针对同一产品，通用性差。

发明内容

有鉴于此，本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种信息处理方法，包括：

处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；

获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；

基于所述第一识别结果和所述第一目标信息，生成控制数据；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

另一方面，本申请实施例提供一种信息处理设备，至少包括：

第一接口，用于获得第一图像，其中，所述第一图像是图像采集装置针对第一设备的显示图像采集得到的；

操作机构，用于依据输入操作针对所述第一设备执行第一操作；

处理装置，用于处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；基于所述第一识别结果和所述第一目标信息，生成控制数据；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

本申请实施例提供一种信息处理方法及设备，其中，首先处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；然后获得操作机构依据输入操作对所述第一设备执行第一操作时的第一目标信息；这里的第一目标信息可以是第一操作对应的图标或者按键，再基于所述第一识别结果和所述第一目标信息，生成控制数据；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作；如此，由于在生成控制数据时，是基于表征图标或者按键的第一目标信息，而不是仅通过操作机构执行操作时的空间位置信息，从而使得生成的控制数据不再局限于仅能用于同一型号的同种电子设备，提高了控制数据的通用性，从而提高自动化工作效率。

附图说明

图1为本申请实施例一种信息处理方法的实现流程示意图；

图2A为本申请实施例另一种信息处理方法的实现流程示意图；

图2B为本申请实施例操作盒的示意图；

图2C为本申请实施例确定各个原始文本字段的对应的各个识别文本字段的实现流程示意图；

图3A为本申请实施例再一种信息处理方法的实现流程示意图；

图3B为本申请实施例文本识别结合图标识别的识别效果示意图；

图4为本申请实施例信息处理装置的组成结构示意图；

图5为本申请实施例信息处理设备的组成结构示意图。

具体实施方式

下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。

本实施例提供一种信息处理方法，该方法应用于信息处理设备，该信息处理方法所实现的功能可以通过信息处理设备中的处理装置调用程序代码来实现，当然程序代码可以保存在计算机存储介质中，可见，该信息处理设备至少包括处理装置和存储介质。

图1为本申请实施例一种信息处理方法的实现流程示意图，如图1所示，该方法包括以下步骤：

步骤S101，信息处理设备处理获得的第一图像，得到第一识别结果。

这里，该信息处理设备可以是自动化设备。自动化设备是指在人极少参与或不参与的情况下，自动进行操作、处理数据，并以适当方式显示或输出结果的设备。该信息处理设备至少可以包括图像采集装置，该图像采集装置可以为摄像头。第一设备可以是智能终端，例如可以是智能手机、平板电脑、笔记本电脑等具有无线通信能力的移动终端。需要说明的是，在本申请实施例中，第一设备至少包括具有触控功能的显示装置。第一图像可以为第一设备的显示图像。

步骤S101在实现时，可以是信息处理设备通过摄像头对第一设备的显示界面进行拍摄，以获取到第一图像，然后对第一图像进行文本识别或图标识别，得到第一识别结果。

当步骤S101在实现时是对第一图像进行文本识别，那么第一识别信息中包括至少一个识别文本字段和所述至少一个识别文本字段对应的屏幕位置信息；当步骤S101在实现时是对第一图像进行图标识别，那么第一识别信息中至少包括至少一个识别图标图像和所述至少一个识别图标图像对应的屏幕位置信息。

在一些实施例中，第一识别信息中还可以包括第一图像的标识信息，例如第一识别信息可以是桌面图像1，还可以是计算机一级显示界面。

步骤S102，信息处理设备获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息。

这里，该操作机构可以是所述信息处理设备的一个组成部分，所述信息处理设备的处理器与所述操作机构可以通过通信总线进行信息和数据的传输，所述操作机构也可以与信息处理设备通过无线通信连接进行信息和数据的传输。

在其他实施例中，该操作机构也可以是独立于信息处理设备的实体，该操作机构与该信息处理设备建立有无线通信连接或有线通信连接，以进行信息和数据的传输。

操作机构可以根据用户的输入操作移动到某一位置，从而针对第一设备执行第一操作，进一步地，可以是操作机构接触所述第一设备中显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作，进而针对第一设备执行第一操作。

在操作机构针对第一设备执行第一操作时，信息处理设备会基于所述操作机构触控所述第一设备中显示装置的屏幕位置信息确定出第一目标信息。在本实施例中，第一目标信息可以是该显示装置的屏幕位置信息对应的图标或者按钮控件的标识。

步骤S103，信息处理设备基于所述第一识别结果和所述第一目标信息，生成控制数据。

这里，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。需要说明的是，所述操作机构重复执行所述第一操作可以认为是所述操作机构重复针对第一设备执行第一操作。

例如在步骤S102中，操作机构接触了第一设备中“计算器”这一图标图像所在位置，那么信息处理设备获取到的第一目标信息为“计算器”这一图标图像，或者第一目标信息为“计算器”这一文本字段。信息处理设备基于第一识别结果和第一目标信息生成控制数据后，所述控制数据被执行时，能够使得所述操作机构重复点击“计算器”这一图标图像所在的位置。

在自动化控制中，控制数据可以是控制脚本。

在本申请实施例提供的信息处理方法中，首先处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；然后获得操作机构依据输入操作对所述第一设备执行第一操作时的第一目标信息；这里的第一目标信息可以是第一操作对应的图标或者按键，再基于所述第一识别结果和所述第一目标信息，生成控制数据；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作；如此，由于在生成控制数据时，是基于表征图标或者按键的第一目标信息，而不是仅通过操作机构执行操作时的空间位置信息，从而使得生成的控制数据不再局限于仅能用于同一型号的同种电子设备，提高了控制数据的通用性，从而提高自动化工作效率。

基于前述的实施例，本申请实施例再提供一种信息处理方法，应用于信息处理设备，图2A为本申请实施例另一种信息处理方法的实现流程示意图，如图2A所示，所述方法包括：

步骤S201，信息处理设备获取第一设备显示的第一图像。

这里，该信息处理设备可以是自动化设备。该信息处理设备至少包括主机和操作盒，操作盒和主机建立有有线或无线通信连接。

图2B为本申请实施例操作盒的示意图，如图2B所示，该操作盒中至少包括图像采集装置221、被操作设备的承载装置222、操作机构223、第一导轨224和第二导轨225，其中，图像采集装置221可以是摄像头，能够采集被操作设备的显示屏中所显示的图像，且所述图像采集装置221至少可沿所述第一导轨224移动；操作机构223可以是机械手，可以模拟人手对被测设备进行操作，且操作机构223至少可以基于步进马达的驱动沿所述第二导轨移动。

在本实施例中，信息处理设备可以通过操作盒中的图像采集装置，获取第一设备显示的第一图像，其中，第一设备为被操作设备。

步骤S202，信息处理设备对第一图像进行文本识别，获取识别出的各个原始文本字段和各个所述原始文本字段的屏幕位置信息。

这里，步骤S202在实现时，可以是利用光学字符识别(Optical CharacterRecognition，OCR)对第一图像进行文本识别，还可以是利用其他文本识别方法对第一图像进行文本识别，以获取识别出的N个原始文本字段和N个所述原始文本字段的屏幕位置信息，此处不进行限定。

步骤S203，信息处理设备将各个原始文本字段与预设的词库进行匹配，得到所述各个原始文本字段的对应的各个识别文本字段。

这里，预设的词库可以是根据市面上所包括的各个应用的名称以及各个应用的各级界面中所包括的词语组成的有限词库，这样在对识别出的原始文本字段进行匹配时，能够提高匹配效率。与原始文本字段对应的识别文本字段可以认为是存在于词库中的词库字段。

步骤S204，信息处理设备基于各个识别文本字段和所述各个识别文本字段对应的屏幕位置信息确定第一识别结果。

这里，将原始文本字段的屏幕位置关系确定为与该原始字段对应的识别文本字段的屏幕位置信息。

步骤S204在实现时，可以是基于各个识别文本字段和各个识别文本字段的屏幕位置信息来确定第一图像的标识信息。例如，识别文本字段可以是“11:30”、“3月25日”、“设置”、“应用市场”、“备忘录”、“计算器”、“手机管家”、“图库”，那么可以根据这八个识别文本字段，以及这八个识别文本字段的屏幕位置关系，可以确定第一图像为第一设备的桌面图像。

第一识别结果可以包括各个识别文本字段和各个识别文本字段的屏幕位置信息以及第一图像的标识信息。

步骤S205，信息处理设备获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一空间信息。

这里，第一空间信息可以表征操作机构所处的空间位置。在实现时，第一空间信息可以是坐标信息。在实际应用过程中，可以以第二导轨与操作盒一个侧面的交点为坐标原点，以第二导轨所在方向为x轴，以与第二导轨垂直的方向为y轴，构建坐标系。

步骤S206，信息处理设备基于所述第一空间位置信息和所述第一识别结果，确定所述第一操作对应的第一图像特征。

在实际应用过程中，步骤S206可以通过以下步骤实现：

步骤S2061，获取操作机构的空间位置信息与所述第一设备上显示装置中的屏幕位置信息的对应关系。

这里，该对应关系是预先设置好的。

步骤S2062，基于所述对应关系，确定所述显示装置上与所述第一空间位置信息对应的目标位置信息。

这里，假设第一空间位置信息为(80，60)，通过查询对应关系表，确定出与(80，60)对应的屏幕位置信息为(20，40)，那么将(20，40)确定为目标位置信息。

步骤S2063，从所述第一识别结果中，将与所述目标位置信息对应的识别文本字段确定为所述第一操作对应的图像特征。

这里，在确定出操作机构点击的目标位置信息之后，可以通过第一识别结果确定出该目标位置信息对应的识别文本字段，也即就能确定出操作机构点击的实际内容。例如目标位置信息(20，40)对应的识别文本字段为“图库”，那么就能确定操作机构在执行第一操作时点击的是“图库”。

步骤S207，信息处理设备将所述第一图像特征确定为所述第一目标信息。

这里，将第一图像特征确定为第一目标信息，而不是直接将第一空间信息作为第一目标信息，从而能够确定操作机构点击的实际内容，从而保证根据第一目标信息生成的控制数据可以应用于不同的电子设备，提高控制数据的通用性。

需要说明的是，如果自动化工作针对的是同一批第一设备，且该同一批设备中的各级界面都是相同的，那么在实现过程中，是可以直接将第一空间信息确定为第一目标信息的，进而再利用第一空间信息和第一识别结果生成控制数据。

步骤S208，信息处理设备基于所述第一识别结果和所述第一目标信息，生成控制数据。

这里，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

在本申请实施例提供的信息处理方法中，在信息处理设备获取到第一图像之后，对第一图像进行文本识别，以得到包括各个识别文本字段、相应位置信息和第一图像的标识信息的第一识别结果，进而再获取到操作机构针对第一设备执行第一操作时的第一空间信息，并基于第一空间信息和第一识别结果，确定出第一操作对应的第一图像特征，该第一图像特征可以是识别文本字段或者识别文本字段对应的图标，从而也就确定出了操作机构点击的实际内容，因此能够保证根据第一目标信息生成的控制数据可以应用于不同的电子设备，提高控制数据的通用性。

在一些实施例中，步骤S208可以用步骤S208’和步骤S209’代替：

步骤S208’，获取所述操作机构执行所述第一操作后的第二图像。

这里，由于操作机构执行第一操作之后，需要经过一定的时间间隔第一设备才能加载出完整的第二图像，因此步骤S208’在实现时，可以是在所述操作机构执行所述第一操作，经过预设时长后，获取第一设备显示的第二图像。

步骤S209’，基于所述第一识别结果、所述第一目标信息和第二图像，生成控制数据。

这里，由于第二图像可以认为是操作机构针对第一设备执行第一操作之后的操作结果，如此生成的控制数据包括了操作结果，以便后续控制数据被执行后，验证执行结果是否与预设的操作结果一致。

在一些实施例中，如图2C所示，步骤S203可以通过以下步骤实现：

步骤S2031，将第i个原始文本字段与预设的词库进行匹配，得到所述第i个原始文本字段的第一匹配值和第二匹配值。

这里，第一匹配值大于第二匹配值，i＝1，2，…，N，N为原始文本字段的总个数。

步骤S2031在实现时，可以首先将第i个原始文本字段与所述词库中的各个词库文本字段进行匹配，得到所述第i个原始文本字段与所述各个词库文本字段之间的各个匹配值；在本申请实施例中，将所述各个匹配值中最大的匹配值确定为第一匹配值，将所述各个匹配值中除所述第一匹配值之外最大的匹配值确定为第二匹配值。

步骤S2032，判断第i个原始文本字段的第一匹配值与第二匹配值是否满足预设条件。

这里，如果第一匹配值与第二匹配值满足预设条件，那么说明第一匹配值对应的词库字段可以认为是识别文本字段；此时进入步骤S2033；如果第一匹配值与第二匹配值不满足预设条件，那么说明第一匹配值对应的词库字段不能认为是识别文本字段，此时进入步骤S2034，再次对第i个原始文本字段对应的图像进行识别。

如果词库中有多个与原始文本字段中相近的词语，那么第一匹配值与第二匹配值就会比较接近，此时为了能够正确识别出第i个字段，就必须要求第一匹配值与第二匹配值满足一预设条件。在本申请实施例中，预设条件可以是第一匹配值是第二匹配值的1.5倍，例如，第i个原始文本字段为“计算嚣”，第一匹配值为67％，对应词库中的“计算器”一词，第二匹配值为10％，对应词库中“支付宝”一词，由于第一匹配值与第二匹配值满足预设条件，那么就进入步骤S2033。

步骤S2033，如果所述第i个原始文本字段的第一匹配值与所述第二匹配值满足预设条件，将所述第一匹配值对应的词库字段确定为第i个识别文本字段。

这里，承接步骤S2032中的举例，就将“计算器”确定为第i个识别文本字段。

步骤S2034，如果所述第i个原始文本字段的第一匹配值与所述第二匹配值不满足预设条件，基于所述第i个原始文字字段的屏幕位置关系，获取所述第一设备上所述屏幕位置关系对应的第五图像。

这里，如果第i个原始文本字段为“嘀嘀出行”，第一匹配值为80％，对应的词库字段为“嘀嘀出行”，第二匹配值为75％，对应的词库字段为“嘀嗒出行”，即便此时第一匹配值已经相当高，但由于第二匹配值与第一匹配值很接近，表示词库中有至少两个词汇与原始文本字段都相似，那么此时认为第一匹配值与第二匹配值不满足预设条件，需要重新进行识别。这时可以是基于第i个原始文本字段的屏幕位置关系，再次获取该位置信息对应的第五图像。

需要说明的是，在获取第五图像时，会根据该位置信息来调整图像采集装置的位置以及采集参数，以获取到完整清晰的第五图像。

步骤S2035，对所述第五图像进行识别，获取所述第五图像中包含的文本字段。

这里，步骤S2035在实现时，可以是对获取到的第五图像进行图像匹配，得到匹配结果，然后再基于匹配结果确定第五图像中包含的文本字段。其中，在对第五图像进行图像匹配时，采用的匹配图库可以是目前市面上出现的应用的图标，以及应用中各级界面的图像。

承接步骤S2035中的举例，由于没有确定出“嘀嘀出行”的正确识别结果，那么可以获取“嘀嘀出行”对应的图标，然后进行图像匹配，从而获取与该图标对应的匹配图像，然后再根据匹配图像对应的应用名称，确定“嘀嘀出行”的正确识别结果。

需要说明的是，在该步骤中，还可以是对第五图像进行文本识别，得到第五图像中的原始文本字段，进而与词库进行匹配，从而确定第i个识别文本字段。

步骤S2036，将第五图像中包含的文本字段确定为第i个识别文本字段。

步骤S2037，基于N个识别文本字段和所述N个识别字段对应的屏幕位置关系确定第一识别结果。

在步骤S2031至步骤S2037所在的实施例中，在对第一图像进行文本识别时，可以将获取到的原始文本字段与预设的有限词库进行匹配，以确定第一图像中所包含的文本信息，在利用文本识别不能确定识别结果时，还可以与图标识别相结合，这样不仅能够提高识别准确率，还能够保证较高的识别效率。

基于上述的实施例，本申请实施例再提供一种信息处理方法，图3A为本申请实施例再一种信息处理方法的实现流程示意图，如图3A所示，所述方法包括：

步骤S301，信息处理设备获取第一图像。

步骤S302，信息处理设备对所述第一图像进行图标识别，获取所述第一图像中包含的各个原始图标图像和各个原始图标图像的屏幕位置信息。

这里，步骤S302在实现时可以是利用图标识别(Icon Recognition，IR)技术对第一图像进行识别，以获取各个原始图标图像和各个原始图标图像的屏幕位置信息。

步骤S303，将各个原始图标图像与预设的图标库进行匹配，得到各个原始图标图像对应的识别图标图像。

这里，预设的图标库可以是根据市面上所包括的各个应用的图标以及各个应用的各级界面中所包括的按钮图标组成的有限图库，这样在对识别出的原始图标图像进行匹配时，能够提高匹配效率。与原始图标图像对应的识别图标图像可以认为是存在于图标库库中的图标图像。

步骤S303在实现时，可以将各个原始图标图像与预设图标库中的图标图像进行匹配，如果图标库存在与原始图标图像匹配的图标图像，那么将该图标图像确定为识别图标图像，如果图标库中不存在与原始图标图像匹配的图标图像，那么可以进一步获取包括该原始图标图像名称的文本图像，然后再对该文本图像进行文本识别，以识别该原始图标图像的文本字段。这样通过将图标识别和文本识别相结合，能够提高识别准确率，从而提高生成的控制数据的准确率。

步骤S304，信息处理设备基于各个识别图标图像和所述各个图标图像对应的屏幕位置信息确定第一识别结果。

这里，步骤S304在实现时与步骤S204类似，可以是基于各个识别图标图像和所述各个图标图像对应的屏幕位置信息来确定第一图像的标识信息。第一识别结果可以包括各个识别图标图像和所述各个图标图像对应的屏幕位置信息以及第一图像的标识信息。

步骤S305，信息处理设备获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一空间信息。

步骤S306，信息处理设备基于所述第一空间位置信息和所述第一识别结果，确定所述第一操作对应的第一图像特征。

这里，步骤S306的实现过程可以参考步骤S206,。需要说明的是，在步骤S306确定出的第一图像特征为识别图标图像。

步骤S307，信息处理设备将所述第一图像特征确定为所述第一目标信息。

步骤S308，信息处理设备获取所述操作机构执行所述第一操作后的第二图像。

这里，步骤S308在实现时，可以是操作机构执行第一操作经过预设时长之后，获取第一设备显示的第二图像。

步骤S309，信息处理设备处理获得的第二图像，得到第二识别结果。

这里，步骤S309在实现时可以是利用上述实施中步骤S202至步骤S204提供的文本识别方式，还可以是利用本实施例中步骤S302至步骤S304提供的图标识别方式，在本实施例中不做限定。

步骤S310，信息处理设备获取操作机构依据输入操作针对所述第一设备执行第二操作时所处的第二目标信息。

这里，步骤S310在实现时可以是：获得操作机构依据执行第二操作时的第二空间信息；基于所述第二空间位置信息和所述第二识别结果，确定所述第二操作对应的第二图像特征；将所述第二图像特征确定为所述第二目标信息。

步骤S311，信息处理设备基于所述第一识别结果、所述第一目标信息、第二识别结果和第二目标位置信息，生成控制数据。

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作和所述第二操作。

在一些实施例中，在步骤S310之后，还可以获取操作机构执行第二操作后第一设备显示的第三图像，然后当接收到生成控制数据的操作指令时，基于所述第一识别结果、所述第一目标信息、第二图像、第二识别结果、第二目标位置信息和第三图像，生成控制数据。如此生成的控制数据包括了操作结果，以便后续控制数据被执行后，验证执行结果是否与预设的操作结果一致。

在本申请实施例提供的信息处理方法中，在信息处理设备获取到第一图像之后，对第一图像进行图标识别，以得到包括各个识别图标图像、相应位置信息和第一图像的标识信息的第一识别结果，进而再获取到操作机构针对第一设备执行第一操作时的第一空间信息，并基于第一空间信息和第一识别结果，确定出第一操作对应的第一图像特征，该第一图像特征可以是识别图标图像，从而也就确定出了操作机构点击的实际内容，因此能够保证根据第一目标信息生成的控制数据可以应用于不同的电子设备，提高控制数据的通用性。

需要说明的是，在上述实施例中在执行第一操作或者在执行第一操作和第二操作之后生成控制数据为示例性说明，在实际应用过程中，还可以在执行第三操作、第四操作…之后生成控制数据。

下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。在本实施例中以控制数据为控制脚本为例进行说明。

图3B为本申请实施例自动生成控制脚本的实现流程示意图，应用于包括如图2所示的操作盒的信息处理设备，如图3所示，所述流程包括：

步骤S321，操纵操作盒中的机械臂运动，主机获取操纵记录。

步骤S322，点击屏幕。

步骤S323，录制屏幕或拍照，主机获取截屏特征。

之后重复执行步骤S321至步骤S323，直至控制脚本生成完毕。

这样，使用控制器控制机械臂对第一设备进行一次操作，同时系统会记录操作过程和操作结果，然后可使用OCR和IR引擎，识别出操作过程对应的实际操作内容，进而将操作过程对应的实际操作内容和操作结果转换为控制脚本，不仅简单易行，大大提升了可操作性，并且还能提高控制脚本的通用性。

在一些实施例中，在信息处理设备获取第一图像之前，所述方法还包括：

步骤41，信息处理设备获取所述第一设备的显示装置的尺寸信息和分辨率信息。

这里，步骤41在实现时，可以是通过第一设备的品牌、型号等信息，来获取第一设备的详细参数，从而进一步获取第一设备的显示装置的尺寸信息和分辨率信息。

步骤42，信息处理设备根据所述尺寸信息和分辨率信息确定进行图像采集的目标采集参数和/或图像采集装置的目标位置。

这里，步骤42在实现时，可以首先通过信息处理设备的图像采集装置对预先设置好的拍摄标准分辨表进行拍摄，并对拍摄得到的标准分辨表的图像进行分析，以确定图像采集装置的实际性能参数，进而在根据第一设备的尺寸信息、分辨率、第一设备的屏幕位置关系和图像采集装置的实际性能参数来确定进行图像采集的目标采集参数和/或图像采集装置的目标位置。

步骤43，信息处理设备基于所述目标采集参数和/或目标位置，调整所述图像采集装置，从而获得所述第一设备显示的第一图像。

这里，调整所述图像采集装置，包括调整图像采集装置的采集参数和/或位置，以达到目标采集参数和/或目标位置，进而再采集第一设备显示的第一图像，这样能够保证对采集到的图像的精确匹配，有效的将识别率从80％提升到95％以上。

本申请实施例提供一种信息处理装置，图4为本申请实施例信息处理装置的组成结构示意图，如图4所示，所述信息处理装置400至少包括：第一处理模块401、第一获取模块402、第一生成模块403，其中：

所述第一处理模块401，用于处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；

所述第一获取模块402，用于获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；

所述第一生成模块403，用于基于所述第一识别结果和所述第一目标信息，生成控制数据；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

在其他实施例中，所述第一获取模块402进一步包括：

第一获取单元，用于获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一空间信息；

第一确定单元，用于基于所述第一空间位置信息和所述第一识别结果，确定所述第一操作对应的第一图像特征；

第二确定单元，用于将所述第一图像特征确定为所述第一目标信息。

在其他实施例中，所述第一确定单元进一步包括：

第一获取子单元，用于获取操作机构的空间位置信息与所述第一设备上显示装置中的屏幕位置信息的对应关系；

第一确定子单元，用于基于所述对应关系，确定所述显示装置上与所述第一空间位置信息对应的目标位置信息；

第二确定子单元，用于从所述第一识别结果中，将与所述目标位置信息对应的识别图标图像或者识别文本字段确定为所述第一操作对应的图像特征。

在其他实施例中，所述装置还包括：

第二获取模块，用于获取所述操作机构执行所述第一操作后的第二图像；

第二生成模块，用于基于所述第一识别结果、所述第一目标信息和第二图像，生成控制数据。

在其他实施例中，所述第一处理模块401进一步包括：

第一识别单元，用于对所述第一图像进行文本识别，获取识别出的各个原始文本字段和各个所述原始文本字段的屏幕位置关系；

第一匹配单元，用于将各个原始文本字段与预设的词库进行匹配，得到所述各个原始文本字段的对应的各个识别文本字段；

第三确定单元，用于基于各个识别文本字段和所述各个识别字段对应的屏幕位置信息确定第一识别结果。

在其他实施例中，所述第一处理模块401进一步包括：

第二识别单元，用于对所述第一图像进行图标识别，获取所述第一图像中包含的各个原始图标图像和各个原始图标图像对应的屏幕位置信息；

第二匹配单元，用于将各个原始图标图像与预设的图标库进行匹配，得到各个原始图标图像对应的识别图标图像；

第四确定单元，用于基于各个识别图标图像和所述各个图标图像对应的屏幕位置信息确定第一识别结果。

在其他实施例中，所述装置还包括：

第二处理模块，用于处理获得的第二图像，得到第二识别结果；

第三获取模块，用于获取操作机构依据输入操作针对所述第一设备执行第二操作时所处的第二目标信息；

第三生成模块，用于基于所述第一识别结果、所述第一目标信息、第二识别结果和第二目标位置信息，生成控制数据；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作和所述第二操作。

这里需要指出的是：以上信息处理装置实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请信息处理装置实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

基于前述的实施例，本申请实施例提供一种信息处理设备，图5为本申请实施例信息处理设备的组成结构示意图，如图5所示，该信息处理设备500至少包括：

第一接口501，用于获得第一图像，其中，所述第一图像是图像采集装置针对第一设备的显示图像采集得到的；

操作机构502，用于依据输入操作针对所述第一设备执行第一操作；

处理装置503，用于处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；基于所述第一识别结果和所述第一目标信息，生成控制数据；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

在其他实施例中，所述操作机构包括指点装置5021，所述指点装置用于基于所述输入操作，接触所述第一设备中显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

在其他实施例中，所述信息处理设备还包括：

承载装置504，用于放置并固定所述第一设备；

图像采集装置505，用于采集所述第一设备显示的第一图像。

如图5所示，指点装置5021与步进式马达5022相连，该步进式马达5022是将电脉冲转化为角位移的执行机构。当步进式马达中的步进驱动器接收到一个脉冲信号后，会驱动步进马达按设定的方向转动一个固定的角度。步进马达的旋转是以固定的角度一步一步运行的，可以通过控制脉冲个数来控制角位移量，从而达到准确定位的目的，因此步进式马达可以基于处理装置的控制精确地调整指点装置的位置，从而保证指点装置接触正确的显示区域。

在其他实施例中，所述指点装置还包括机械臂，所述机械臂为三轴柔性机械臂。

在其他实施例中，所述处理装置503执行所述获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息的步骤时，执行以下步骤：

获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一空间信息；

基于所述第一空间位置信息和所述第一识别结果，确定所述第一操作对应的第一图像特征；

将所述第一图像特征确定为所述第一目标信息。

在其他实施例中，所述处理装置503执行所述基于所述第一空间位置信息和所述第一识别结果，确定所述第一操作对应的图像特征的步骤时，执行以下步骤：

获取操作机构的空间位置信息与所述第一设备上显示装置中的屏幕位置信息的对应关系；

基于所述对应关系，确定所述显示装置上与所述第一空间位置信息对应的目标位置信息；

从所述第一识别结果中，将与所述目标位置信息对应的识别图标图像或者识别文本字段确定为所述第一操作对应的图像特征。

在其他实施例中，所述处理装置503还执行以下步骤：

获取所述操作机构执行所述第一操作后的第二图像；

基于所述第一识别结果、所述第一目标信息和第二图像，生成控制数据。

在其他实施例中，所述处理装置503执行所述处理获得的第一图像，得到第一识别结果的步骤时，执行以下步骤：

对所述第一图像进行文本识别，获取识别出的各个原始文本字段和各个所述原始文本字段的屏幕位置关系；

将各个原始文本字段与预设的词库进行匹配，得到所述各个原始文本字段的对应的各个识别文本字段；

基于各个识别文本字段和所述各个识别字段对应的屏幕位置信息确定第一识别结果。

在其他实施例中，所述处理装置503执行所述处理获得的第一图像，得到第一识别结果的步骤时，执行以下步骤：

对所述第一图像进行图标识别，获取所述第一图像中包含的各个原始图标图像和各个原始图标图像对应的屏幕位置信息；

将各个原始图标图像与预设的图标库进行匹配，得到各个原始图标图像对应的识别图标图像；

基于各个识别图标图像和所述各个图标图像对应的屏幕位置信息确定第一识别结果。

在其他实施例中，所述处理装置503还执行以下步骤：

处理获得的第二图像，得到第二识别结果；

获取操作机构依据输入操作针对所述第一设备执行第二操作时所处的第二目标信息；

基于所述第一识别结果、所述第一目标信息、第二识别结果和第二目标位置信息，生成控制数据；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作和所述第二操作。

这里需要指出的是：以上信息处理设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果。对于本申请信息处理设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解。

相应地，本申请实施例再提供一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述该计算机可执行指令被处理装置执行时实现上述实施例提供的信息处理方法的步骤。

应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种信息处理方法，包括：

处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；

获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；

基于所述第一识别结果和所述第一目标信息，生成控制数据，所述控制数据为控制脚本；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

2.根据权利要求1中所述的方法，所述获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息，包括：

获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一空间信息；

基于所述第一空间信息和所述第一识别结果，确定所述第一操作对应的第一图像特征；

将所述第一图像特征确定为所述第一目标信息。

3.根据权利要求2中所述的方法，所述基于所述第一空间信息和所述第一识别结果，确定所述第一操作对应的图像特征，包括：

获取操作机构的空间位置信息与所述第一设备上显示装置中的屏幕位置信息的对应关系；

基于所述对应关系，确定所述显示装置上与所述第一空间信息对应的目标位置信息；

从所述第一识别结果中，将与所述目标位置信息对应的识别图标图像或者识别文本字段确定为所述第一操作对应的图像特征。

4.根据权利要求1中所述的方法，还包括：

获取所述操作机构执行所述第一操作后的第二图像；

基于所述第一识别结果、所述第一目标信息和第二图像，生成控制数据。

5.根据权利要求1中所述的方法，所述处理获得的第一图像，得到第一识别结果，包括：

对所述第一图像进行文本识别，获取识别出的各个原始文本字段和各个所述原始文本字段的屏幕位置信息；

将各个原始文本字段与预设的词库进行匹配，得到所述各个原始文本字段的对应的各个识别文本字段；

基于各个识别文本字段和所述各个识别文本字段对应的屏幕位置信息确定第一识别结果。

6.根据权利要求1中所述的方法，所述处理获得的第一图像，得到第一识别结果，包括：

对所述第一图像进行图标识别，获取所述第一图像中包含的各个原始图标图像和各个原始图标图像对应的屏幕位置信息；

将各个原始图标图像与预设的图标库进行匹配，得到各个原始图标图像对应的识别图标图像；

基于各个识别图标图像和所述各个识别图标图像对应的屏幕位置信息确定第一识别结果。

7.根据权利要求1至6中任一项所述的方法，还包括：

处理获得的第二图像，得到第二识别结果；

获取操作机构依据输入操作针对所述第一设备执行第二操作时所处的第二目标信息；

基于所述第一识别结果、所述第一目标信息、第二识别结果和第二目标位置信息，生成控制数据；

其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作和所述第二操作。

8.一种信息处理设备，至少包括：

第一接口，用于获得第一图像，其中，所述第一图像是图像采集装置针对第一设备的显示图像采集得到的；

操作机构，用于依据输入操作针对所述第一设备执行第一操作；

处理装置，用于处理获得的第一图像，得到第一识别结果，其中，所述第一图像为第一设备显示的图像；获得操作机构依据输入操作针对所述第一设备执行第一操作时的第一目标信息；基于所述第一识别结果和所述第一目标信息，生成控制数据，所述控制数据为控制脚本；其中，所述控制数据被执行后，能使得所述操作机构重复执行所述第一操作。

9.根据权利要求8中所述的信息处理设备，所述操作机构包括指点装置，所述指点装置用于基于所述输入操作，接触所述第一设备中显示装置的显示区域，以使得与所述第一设备的显示装置重叠设置的感应装置能获得接触操作。

10.根据权利要求8或9中所述的信息处理设备，还包括：

承载装置，用于放置并固定所述第一设备；

图像采集装置，用于采集所述第一设备显示的第一图像。

Images