CN109901597B - 一种适用于水下机器人的设备自动控制器及控制方法 - Google Patents

Abstract

本发明涉及一种适用于水下机器人的设备自动控制器及控制方法。系统包括：设备驱动程序界面定位模块，用于判断设备驱动程序界面是否打开；设备操作指令识别模块，用于关联上位机指令；数据区域定位模块，用于定位数据区域；字符库建立模块，用于识别数字字符图像存储在字符库中。方法为：接收上位机指令，输出相关联的设备操作指令给设备让其运行。接收并识别设备返回数字字符，输出相对应的设备状态信息给上位机。本发明能免除人为在设备驱动程序界面上点击操作按钮从而直接通过上位机控制设备的运行，免除人为发送设备状态信息，自动读取并识别数据区域的数字字符图像并输出相关联的设备状态信息给上位机，用于上位机实时监测设备运行状态。

Description

一种适用于水下机器人的设备自动控制器及控制方法

技术领域

本发明涉及水下机器人领域，具体的说是一种适用于水下机器人的设备自动控制器及控制方法。

背景技术

水下机器人需要搭载各种windows下的外接设备，而该类设备一般为陆上人为操作设备，所存在的问题是其不具备对外的通信接口，因此只能在配置终端计算机上通过人进行键盘鼠标操作的方式进行控制，其所上传的数据为屏幕图像显示的人可识别形式数据，无法直接用上位机对其进行自动控制与数据读取。

发明内容

针对现有技术中的上述不足，本发明旨在实现对该类设备的自动控制与数据读取。本发明为实现上述目的所采用的技术方案是：一种适用于水下机器人的设备自动控制器及控制方法。

一种适用于水下机器人的设备自动控制器，包括：

设备驱动程序界面定位模块，采集设备驱动程序界面打开状态的图标图像并存储，用于判断设备驱动程序界面是否打开，以及设备驱动程序界面的位置定位；所述设备驱动程序界面打开状态的图标图像为唯一识别当前设备驱动程序界面打开状态的图像标志。

设备操作指令识别模块，采集设备操作指令，将设备操作指令存储在操作序列中，将与设备操作指令相互关联的上位机指令存储在指令集合中；所述设备操作指令与鼠标点击动作相关，包括点击位置、左右键、按下或抬起、单双击、鼠标点击后的等待时间；所述上位机指令为上位机能识别的与设备操作相关的指令；所述设备操作指令与鼠标点击动作、上位机指令一一相关。

数据区域定位模块，采集数据区域的左上角和右下角位置坐标、数据区域图标并存储，用于定位数据区域；所述数据区域图像中包括图标和设备返回的与设备状态相对应的数字字符；所述图标为唯一识别当前数据区域的图像标志。

字符库建立模块，采集数据区域中的数字字符图像作为原始集合，根据当前像素位置在每个数字字符图像的像素是否为背景像素或数字字符像素，将原始图像集合依次分解成背景集合和数字字符集合，直到背景集合和数字字符集合中仅包含1个数字字符图像；将识别得到的每个数字字符图像存储在字符库中；建立每个数字字符图像对应的设备状态信息。

所述设备操作指令识别模块采集设备操作指令时，需要手动打开设备驱动程序界面，鼠标点选采集设备驱动程序界面中的相应操作按钮。

所述上位机指令包括：打开定位声呐控制界面、关闭定位声呐控制界面、定位声呐控制界面识别、定位声呐工作模式及工作参数设置、声呐定位数据的读取与上传，所述声呐定位数据包括距离、水深、方位角。

所述数据区域定位模块采集数据区域的左上角和右下角位置坐标、数据区域图标时，需要手动打开设备驱动程序界面，鼠标框选采集设备驱动程序界面中的数据区域。

所述字符库建立模块建立字符库包括：

步骤a.采集数字字符图像作为原始集合R，所述每个数字字符图像均包括m×n个像素；

步骤b.在原始集合R中，找到像素位置p(i，j)满足以下条件；

条件：根据该像素位置P1(i，j)在每个数字字符图像的像素是否为背景像素或数字字符像素，将原始集合R分解成当前像素位置p(i，j)下的背景集合S和数字字符集合T；

步骤c.返回步骤b开始，将背景集合S和数字字符集合T分别作为原始集合R，继续分解集合，直到背景集合S和数字字符集合T均仅包含1个数字字符图像；从而获得对应每一次分解集合的像素位置p(i，j)；所述像素位置p(i，j)在每一次分解集合过程中需要重新定位坐标；

步骤d.建立所述数字字符图像与设备状态信息的一一对应关系；

其中，i＝1,2……，m，j＝1,2……，n；假设原始集合R包含A个数字字符图像，当原始集合R包含偶数个数字字符图像时，所述背景集合S和数字字符集合T的图像数均为

；当原始集合R包含奇数个数字字符图像时，所述背景集合S和数字字符集合T的图像数分别为

和

所述步骤a中采集的是0-9这10个数字字符图像。

一种适用于水下机器人的设备自动控制方法，包括以下步骤：

步骤1：接收上位机发送的上位机指令，输出与上位机指令相关联的设备操作指令给设备让其运行；

步骤2：接收并识别设备返回的数字字符，输出与数字字符相对应的设备状态信息给上位机，用于上位机通过设备状态信息实时监测设备运行状态。

所述步骤1包括：

步骤1.1：当上位机指令为打开设备驱动程序指令时，控制鼠标打开设备驱动程序界面，并通过设备驱动程序界面定位模块是否定位设备驱动程序界面打开状态的图标图像来判断设备驱动程序界面是否打开；

步骤1.2：当上位机指令为按照设备驱动程序界面上的按钮操作输出设备操作指令时，输出与上位机指令相关联的设备操作指令给设备，用于免除人为在设备驱动程序界面上点击操作按钮从而直接通过上位机控制设备的运行。

所述步骤2包括：

步骤2.1：当设备返回数字字符并显示在设备驱动程序界面上的数据区域上，根据数据区域定位模块存储的数据区域的左上角和右下角位置坐标、数据区域图标实时定位数据区域；

步骤2.2：在数据区域中截取m×n个像素的待检测图像；根据字符库建立模块中字符库的建立过程中获取的像素位置p(i，j)查找当前待检测图像属于背景集合S或数字字符集合T，直到识别出当前待检测图像为字符库中的数字字符图像；

步骤2.3：发送当前识别的数字字符图像对应的设备状态信息给上位机，用于上位机通过设备状态信息实时监测设备运行状态。

本发明具有以下有益效果及优点：

本发明的控制器和方法能免除人为在设备驱动程序界面上点击操作按钮从而直接通过上位机控制设备的运行，免除人为发送设备状态信息，自动读取并识别数据区域的数字字符图像并输出相关联的设备状态信息给上位机，用于上位机实时监测设备运行状态。

附图说明

图1为指令的编辑与存储示意图；

图2为指令操作的执行框图；

图3为数字字符库的建立示意图；

图4为数字字符识别过程框图；

图5为数据区域样本截图；

图6为数据区域的识别图标。

具体实施方式

下面结合附图及实施例对本发明做进一步的详细说明。

本发明涉及一种适用于水下机器人的设备自动控制器及控制方法。系统包括：设备驱动程序界面定位模块，用于判断设备驱动程序界面是否打开；设备操作指令识别模块，用于将设备操作指令与上位机指令相关联；数据区域定位模块，用于定位数据区域；字符库建立模块，用于采集并识别数据区域中的数字字符图像存储在字符库中。方法为：接收上位机发送的上位机指令，输出与上位机指令相关联的设备操作指令给设备让其运行。接收并识别设备返回数字字符，输出与数字字符相对应的设备状态信息给上位机。本发明能免除人为在设备驱动程序界面上点击操作按钮从而直接通过上位机控制设备的运行，免除人为发送设备状态信息，自动读取并识别数据区域的数字字符图像并输出相关联的设备状态信息给上位机，用于上位机实时监测设备运行状态。

设备驱动程序是设备端可视化的设备操作界面。在没有本设备自动控制系统和方法之前，需要操作人员按照上位机的要求人为点选设备驱动程序界面上的操作按钮，设备驱动程序界面上数据区域用于显示设备返回的数字字符，操作人员人为将数字字符发送给上位机，上位机根据数字字符与设备状态信息的一一对应关系判断当前设备的运行状态。

应用本设备自动控制系统和方法，上位机可以下发上位机指令给设备驱动程序，设备驱动程序自动识别上位机指令，打开设备驱动程序界面，控制设备驱动程序输出与上位机指令一一对应的设备操作指令给设备，设备按照设备操作指令运行并返回表征当前设备状态信息的数字字符给设备驱动程序，显示在设备驱动程序界面的数据区域，本系统能自动定位数据区域，截取数据区域中的待检测图像，识别当前待检测图像中是否包含数字字符图像，将与识别的数字字符图像一一对应的设备状态信息发送给上位机，上位机通过设备状态信息实时监测设备运行状态。

对windows下设备的自动控制是通过以下实施例的技术方案来实现的：

一：根据指令，判断设备驱动程序界面是否打开；识别设备操作指令并将其与上位机指令关联，具体如下。

可在线测得操作过程中所要点击的屏幕位置坐标。可编辑鼠标点击动作，包括点击位置、左右键、按下或抬起、单双击、按设定的时间进行等待等。可将若干个操作编辑为一组操作序列从而能够完成较复杂的操作、并将这样的操作序列关联相应的指令，形成指令操作，当接收到上位机所发的指令即可根据指令执行相应的操作，指令动作的编辑过程如图1所示，依次移动光标、点击驱动程序界面按钮，与上位机指令相关联并保存。

在操作序列中的单个操作之后可添加执行状态判断(通过对比屏幕某些预先指定的特征点与预先建立的特征点集进行对比)，并根据判断的结果选择调用后续操作，例如，通过双击桌面图标打开一个软件后从屏幕提取三个像素点，判断这三个像素点的像素成分是否依次为(255，0，0)、(128，128，128)、(0，0，255)，若是则表明软件已经正常打开，则点击软件上的某个按钮，否则再次双击桌面图标。还可以采集设备驱动程序界面打开状态的图标图像并存储，用于判断设备驱动程序界面是否打开，以及设备驱动程序界面的位置定位；所述设备驱动程序界面打开状态的图标图像为唯一识别当前设备驱动程序界面打开状态的图像标志。

指令动作的执行过程如图2所示，包括指令识别，根据指令调用操作，打开驱动程序界面，根据状态调用下一指令，获取对应的操作发送给设备，直到指令执行完成。其中特征识别与状态判断指设备驱动程序界面打开状态的图标判断设备驱动程序界面是否打开。

所述上位机指令包括：打开定位声呐控制界面、关闭定位声呐控制界面、定位声呐控制界面识别、定位声呐工作模式及各项工作参数设置、定位声呐定位数据的读取与上传。所述声呐定位数据包括距离、水深、方位角等。

可添加或删除单个操作或者整个指令动作，从而支持对指令动作进行更灵活地修改，使指令编辑更加人性化。可设置与上位机的通信接口，包括串口，以太网口等。设计实现了用于编辑指令动作的界面，无需修改程序即可完成指令动作的编辑，可供无编程基础人员使用，使人机交互更加友好。

二：数据区域的数字字符的识别，以及将其与设备状态信息进行关联包括以下步骤：

当设备返回设备状态信息的数字字符并显示在设备驱动程序界面的数据区域中时，可在线截取数据区域样本、提取数据区特征(包括左上角坐标、右下角坐标、字符行列间距、数据区识别图标等)，在执行屏幕数据捕获与读取时可以根据数据区识别图标判断当前窗口是否为待识别数据窗口，根据左上角坐标确定屏幕扫描起点，根据右下角坐标确定扫描终点，根据行、列间距确定扫描步进量。

识别数字字符建立字符库的过程：可通过屏幕图像识别进行设备数据(数字字符)读取。根据识别数据显示区的数字字符图像特征进行数据显示区的定位，并设计二分法进行字符识别。二分法识别字符是指这样的识别策略：首先建立一0～9十个字符组成的字库，字库中的所有字符具有相同的宽高尺寸。由于字库包含0～9，待识别字符必为该10种情况中的一种。根据每个像素的颜色判断其是否位于字符或者背景，可进行两种情况的区分，故根据n个像素的判断可进行2ⁿ种情况的区分。又10介于2³与2⁴之间，故根据4个像素即可识别10个字符。像素的选取是按照如下方式进行的：记包含0～9的字库为C1,首先选取这样的像素p1，根据该像素是否位于字符或背景可将C1分为数目均等的两个子类C2、C3，记p1在字符矩形中坐标为(x₁,y₁)，第二层分类选取像素p2、p3并根据它们是否位于字符或背景分别将C2、C3分为数目近似相等的两类，从而得到C4、C5、C6、C7，记p2、p3的坐标为(x₂,y₂)，(x₃,y₃)。以此方法继续选取像素与分类，直至每一个子类中仅包含一个字符为止，最终得到第三层分类的像素p4(x₄,y₄)，p5(x₅,y₅)，p6(x₆,y₆)，p7(x₇,y₇)，以及子类C8、C9、C10、C11、C12、C13、C14、C15。第四层分类的像素p8(x₈,y₈)，p9(x₉,y₉)，以及子类C16、C17、C18、C19，分类过程如图3所示。并将数字字符与设备状态信息进行关联。

自动识别数据区域中的数字字符的过程如下：

在进行字符识别时，首先根据p1像素判断待识别字符是否位于C2或C3，若位于C2则根据p2判断其是否位于C4或C5，若位于C3则根据p3判断其是否位于C6或C7，以此方法继续进行判断，直至将待识别字符定位到仅包含一个字符的子类，则一次识别完成。这样，每层根据一个像素进行分类，共通过至多四个像素即可完成一个0～9数字字符的识别，减小了计算量，提高了程序的运行速度，字符识别过程如图4所示。

本方法可在线截取数据字符，建立数据字符库，并根据所建立的字符库自动生成识别策略，从而可以适应不同显示风格的设备界面。此处的识别策略是指如何选取6中所述的坐标像素来进行分类与识别。在截取了字符并组成字库后，本软件将自动进行各个字符的比对并确定用哪些像素来进行上述的分类与识别。

Claims (5)

1.一种适用于水下机器人的设备自动控制器，其特征在于，包括：

设备驱动程序界面定位模块，采集设备驱动程序界面打开状态的图标图像并存储，用于判断设备驱动程序界面是否打开，以及设备驱动程序界面的位置定位；所述设备驱动程序界面打开状态的图标图像为唯一识别当前设备驱动程序界面打开状态的图像标志；

设备操作指令识别模块，采集设备操作指令，将设备操作指令存储在操作序列中，将与设备操作指令相互关联的上位机指令存储在指令集合中；所述设备操作指令与鼠标点击动作相关，包括点击位置、左右键、按下或抬起、单双击、鼠标点击后的等待时间；所述上位机指令为上位机能识别的与设备操作相关的指令；所述设备操作指令与鼠标点击动作、上位机指令一一相关；

数据区域定位模块，采集数据区域的左上角和右下角位置坐标、数据区域图标并存储，用于定位数据区域；所述数据区域图像中包括图标和设备返回的与设备状态相对应的数字字符；所述图标为唯一识别当前数据区域的图像标志；

字符库建立模块，采集数据区域中的数字字符图像作为原始集合，根据当前像素位置在每个数字字符图像的像素是否为背景像素或数字字符像素，将原始图像集合依次分解成背景集合和数字字符集合，直到背景集合和数字字符集合中仅包含1个数字字符图像；将识别得到的每个数字字符图像存储在字符库中；建立每个数字字符图像对应的设备状态信息。

2.按照权利要求1所述一种适用于水下机器人的设备自动控制器，其特征在于，所述上位机指令包括：打开定位声呐控制界面、关闭定位声呐控制界面、定位声呐控制界面识别、定位声呐工作模式及工作参数设置、声呐定位数据的读取与上传，所述声呐定位数据包括距离、水深、方位角。

3.按照权利要求1所述一种适用于水下机器人的设备自动控制器，其特征在于，所述字符库建立模块建立字符库包括：

步骤a.采集数字字符图像作为原始集合R，所述每个数字字符图像均包括m×n个像素；

步骤b.在原始集合R中，找到像素位置p(i，j)满足以下条件；

条件：根据该像素位置P1(i，j)在每个数字字符图像的像素为背景像素或数字字符像素，将原始集合R分解成当前像素位置p(i，j)下的背景集合S和数字字符集合T；

步骤c.返回步骤b开始，将背景集合S和数字字符集合T分别作为原始集合R，继续分解集合，直到背景集合S和数字字符集合T均仅包含1个数字字符图像；从而获得对应每一次分解集合的像素位置p(i，j)；所述像素位置p(i，j)在每一次分解集合过程中需要重新定位坐标；

步骤d.建立所述数字字符图像与设备状态信息的一一对应关系；

其中，i＝1,2……，m，j＝1,2……，n；假设原始集合R包含A个数字字符图像，当原始集合R包含偶数个数字字符图像时，所述背景集合S和数字字符集合T的图像数均为

当原始集合R包含奇数个数字字符图像时，所述背景集合S和数字字符集合T的图像数分别为

和

4.按照权利要求3所述一种适用于水下机器人的设备自动控制器，其特征在于，所述步骤a中采集的是0-9这10个数字字符图像。

5.一种适用于水下机器人的设备自动控制方法，其特征在于，包括以下步骤：

步骤1：接收上位机发送的上位机指令，输出与上位机指令相关联的设备操作指令给设备让其运行；

步骤2：接收并识别设备返回的数字字符，输出与数字字符相对应的设备状态信息给上位机，用于上位机通过设备状态信息实时监测设备运行状态；

所述步骤1包括：

步骤1.1：当上位机指令为打开设备驱动程序指令时，控制鼠标打开设备驱动程序界面，并通过设备驱动程序界面定位模块是否定位设备驱动程序界面打开状态的图标图像来判断设备驱动程序界面是否打开；

步骤1.2：当上位机指令为按照设备驱动程序界面上的按钮操作输出设备操作指令时，输出与上位机指令相关联的设备操作指令给设备，用于免除人为在设备驱动程序界面上点击操作按钮从而直接通过上位机控制设备的运行；

所述步骤2包括：

步骤2.1：当设备返回数字字符并显示在设备驱动程序界面上的数据区域上，根据数据区域定位模块存储的数据区域的左上角和右下角位置坐标、数据区域图标实时定位数据区域；

步骤2.2：在数据区域中截取m×n个像素的待检测图像；根据字符库建立模块中字符库的建立过程中获取的像素位置p(i，j)查找当前待检测图像属于背景集合S或数字字符集合T，直到识别出当前待检测图像为字符库中的数字字符图像；

步骤2.3：发送当前识别的数字字符图像对应的设备状态信息给上位机，用于上位机通过设备状态信息实时监测设备运行状态。

Images