CN110286780A - 一种基于机器视觉的机电混合式无人值守计算机操作装置 - Google Patents

Abstract

本发明公开了一种基于机器视觉的机电混合式无人值守计算机操作装置，包括视频采集系统、机器视觉分析系统、机械式鼠标自动控制系统和电子式键盘自动控制系统。本发明基于计算机机器视觉分析技术，能够根据机器视觉分析系统的要求，依据视频分析的结果，实现自动的、智能的鼠标状态跟踪、检测，能够在程序设定的方式、时间、范围内，按照设定的路线、模式，自动往返进行鼠标的各种操作，以及键盘的自动输入、检测，可运用在各种应用计算机的场合，可较大程度的节约人工干预，进一步节约人力成本。

Description

一种基于机器视觉的机电混合式无人值守计算机操作装置

技术领域

本发明属于自动化控制技术领域，具体涉及一种基于机器视觉的机电混合式无人值守计算机操作装置。

背景技术

目前，在计算机使用中的一个主要问题就是：现有的计算机系统，大多在屏幕发生变化的时候，需要人为进行干预控制，进行诸如打字、按键、按回车、按空格键、鼠标单击、鼠标双击、鼠标滚动等操作。

现在的机器视觉、人工智能及机电一体化技术，为计算机的全自动操作提供了技术上的可能性。机器视觉技术，现阶段可进行OCR字符识别，进行标准方形、圆形、椭圆形的识别。不过，现阶段，基于计算机的机器视觉识别，主要利用计算机进行是纸质媒体、视频、图像等素材的分析；而利用计算机视觉识别技术，直接进行面向计算机显示屏的内容识别及其应用的，还需要若干辅助设备——全自动操作的鼠标、全自动操作的键盘、全自动操作的手写板、全自动操作的喇叭等。

该技术现存在的主要问题是：

现阶段绝大多数计算机设备的操作，仍然以操作人员人工操作的方式为主；

很多在计算机屏幕上打字、绘图、填表等操作，仍无法实现全自动识别及操作，需要计算机及其软件，凭借机电一体化相关技术，实现鼠标的无人值守全自动操作，但目前该技术方向还不是很受重视；

需要计算机及其软件，凭借机电一体化相关技术，实现键盘的无人值守全自动操作；

需要计算机及其软件，凭借机电一体化相关技术，实现手写板的全自动操作；

需要凭借以上的辅助设备，在程序预设的各种情况范围以内，实现依靠计算机、机器视觉、机电一体化技术的计算机全自动操作。

发明内容

本发明的发明目的是：为了进一步降低现阶段计算机操作方式中的人工干预，实现计算机操作的更高自动化、智能化，本发明提出了一种基于计算机控制的、机器视觉辅助分析的、可全自动操作的、机电一体化的计算机操作装置。

本发明的技术方案是：一种基于机器视觉的机电混合式无人值守计算机操作装置，包括视频采集系统、机器视觉分析系统、机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；

所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成控制信号并传输至机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述机械式鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；

所述电子式键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。

进一步地，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定鼠标存在区域；当鼠标为运动状态时，则采用图像处理算法进行鼠标位置提取，当鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到鼠标存在区域后，在鼠标存在区域进行鼠标追踪。

进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。

进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。

进一步地，所述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：

对鼠标存在区域，按照设定的采集参数进行样本区域采集；

对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；

对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；

设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；

进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；

根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。

进一步地，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：

根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。

进一步地，所述机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。

进一步地，所述机械式鼠标自动控制系统在鼠标左右键的常开触头和常闭触头之间设置鼠标开关模块，并通过生成高低电平开关信号控制鼠标开关模块的开启和关闭，完成鼠标左右键的点击操作。

进一步地，所述机械式鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置；X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的左键、右键及滚轮位置分别设置有第三步进电机、第四步进电机和第五步进电机，第三步进电机控制鼠标左键进行向上及向下方向运动，第四步进电机控制鼠标右键进行向上及向下方向运动，第五步进电机控制鼠标滚轮进行向前及向后方向运动。

进一步地，所述电子式键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，完成键盘按键的点击操作。

本发明具有以下有益效果：

(1)由机器取代人工，节约计算机日常操作中例行的、重复性工作中投入大量人力；可以在计算机整个工作期间，在鼠标使用这个环节中，节约人力成本；

(2)可取代人工操作，实现可编程控制下的鼠标操控的全自动，可保证鼠标自动化操作的操控及操控过程中的具体的位置，可按照编程控制的要求，在程序预设的状态下，根据各种要求，实现各种模式不断的例行性、重复性工作；

(3)可按照程序设定的工作模式、工作内容及工作线路，实现可编程控制的鼠标自动输入、检测、输出等内容；

(4)可二次开发，结合统计与优化的方法，实现鼠标使用中的全自动化，提高工作效率，提高经济效益。

附图说明

图1是本发明的基于机器视觉的机电混合式无人值守计算机操作装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，是本发明的基于机器视觉的机电混合式无人值守计算机操作装置结构示意图；一种基于机器视觉的机电混合式无人值守计算机操作装置，包括视频采集系统、机器视觉分析系统、机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；

所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成控制信号并传输至机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述机械式鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；

所述电子式键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。

在本发明的一个可选实施例中，上述视频采集系统采用多个摄像头矩阵进行各自负责区域的图像采集，即将计算机屏幕划分为若干个网格区域，每一个网格区域由调好焦距的摄像头进行图像采集；每个摄像头采集的大致区域为计算机屏幕面积/摄像头总数，例如摄像头为5排，每排7个，那么就是35个摄像头，每个摄像头负责采集面积为计算机屏幕面积除以摄像头个数再加上各个摄像头边界重复部分面积；特别地，为了进一步提高图像处理速度，本发明可采用金字塔法等，进行图像数据的减小。

在本发明的一个可选实施例中，上述机器视觉分析系统对每个摄像头采集到的图像，按照摄像头序号，进行目标识别，直到找到鼠标存在区域。在这个过程中，视频跟踪的目标是鼠标图像，以便找到目标工作区域，进行后面的跟踪。

首先按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，从1号，2号，3号，……，到35号；

再进行鼠标工作区域的判定，明确鼠标在第几号工作区域：鼠标存在区域，如第6号摄像头获取区域。如，鼠标为运动状态，则可以利用光流算法、背景差分法、帧间差分法等，进行鼠标位置的提取，如，鼠标为静止，则采用反向金字塔法进行放大，然后利用特征点匹配与颜色特征进行模板匹配；

最后找到鼠标存在区域后，进行定时跟踪。

本发明对鼠标存在区域进行目标跟踪时，对于鼠标位于多个摄像头采集图像区域的重合区域，如：3号、4号、10号、11号区域重合区域，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域，即3号、4号、10号、11号区域图像进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。

此外，本发明对鼠标位于多个摄像头采集图像区域的重合区域时，还可以在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。

为了精确识别鼠标所在位置是属于可输入内容的对话框、还是对话框提示信息、鼠标输入了什么内容等，本发明采用自主超分辨变长识别块对话框算法进行对话框识别，在识别出对话框后，在对话框周围进行对话框提示信息识别；在对话框中进行鼠标输入信息识别。对文字，可采用现有的OCR识别技术进行识别。

上述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：

对鼠标存在区域，按照设定的采集参数进行样本区域采集；采集参数设置为采集行数、各行的个数、样本区域面积及残疾顺序等，例如该区域准备采集16行，每行28个样本区域，每一个区域为2*2，或者4*4，或者6*6，或者8*8；

对采集的16*28个样本区域进行编号，同时建立每一个逻辑编号与鼠标存在区域图像上物理位置的对应映射关系；获取该目标工作区域的物理参数，如长10cm，宽6cm，目标采样区域个数为16*28，那么每一个目标采样区域的间隔即为10/28，6/10。

对采集的样本区域进行特征提取，例如16*28个，计算样本区域的色差方向梯度矢量化旋转差值，具体为：

根据梯度信息方向进行上、下、左、右、上左、上右、下左、下右八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，按照RGB分拆，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将16*28个采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值，得到的16*28个采样样本区域的色差方向梯度矢量化旋转差值，色差方向梯度矢量化旋转差值等于第一次样本区域的色差方向梯度矢量化旋值减去样本区域的色差方向梯度矢量化旋转后值。

设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；将梯度信息、第一次色差方向梯度矢量化值、第二次色差方向梯度矢量化值、两次色差方向梯度矢量化差值，进行二次矢量化，作为进行聚类的辅助信息；

进行预设聚类个数m个的基于k-均值的聚类，对聚类后的区域进行合并，这样可以得到一个基于聚类的m个区域分割；有边框处，聚类区域面积更小、更密集，而且每个聚类区域形状更不规则，聚类均值差异更大；无边框处，聚类分布区域面积更大，聚类均值差异更小；

根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。该聚类分布的状态图像特点是对话框边界由于梯度信息不同，旋转前色差方向梯度矢量值与旋转后色差方向梯度矢量值的不同，结合聚类分布形状不同，即可以得到对话框有效工作区域、对话框。特别地，可以根据需要进行图像的放大和缩小后，再行处理。

机器视觉分析系统通过确定鼠标在计算机屏幕图像中的逻辑坐标与在机电一体化控制系统中的物理坐标，建立鼠标的逻辑坐标与物理坐标之间的双向映射，形成计算机屏幕图像区域范围与鼠标物理运动范围的双向映射，从而能够根据图像进行鼠标操作、移动、单击、双击等物理操作的精确控制。

机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。机器视觉分析系统根据预先设定的识别样本，按照预设的要求，进行目标跟踪区域的精确定位，在精确的位置上进行鼠标内容的输入与状态改变。

在本发明的一个可选实施例中，机械式鼠标自动控制系统用于实现鼠标的各种操作。机械式鼠标自动控制系统接到鼠标操作的各种指令后，依靠步进电机，结合摄像头，利用机器视觉的反馈，进行高精度的鼠标操作——平移(上、下、左、右、左斜上、左斜下、右斜上、右斜下)；鼠标滚轮的上下移动等操作。

机械式鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置。

在机械式鼠标自动控制系统中，X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的滚轮位置设置有第三步进电机，第三步进电机控制鼠标滚轮进行向前及向后方向运动。

在本发明的一个可选实施例中，电子式键盘自动控制系统包括可编程控制器，可编程控制器具体采用单片机、PLC、FPGA等实现；键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，即控制键盘开关模块在高电平时打开、低电平时关闭，或控制键盘开关模块在低电平时打开、高电平时关闭，完成键盘按键的点击操作。

凭借可编程控制器的操作，在设定工作模式的情况下，由设定的程序全自动、无人值守情况下，进行键盘的所有操作——键盘输入、删除、回车、退后、功能键组合(Ctrl+Alt+功能键、Ctrl+Fn)等；整个第三方计算机系统，可凭借预设软件对目标计算机设备、键盘的自动控制，实现较高程度的计算机系统无人值守操作。

本发明基于计算机机器视觉分析技术，能够根据机器视觉分析系统的要求，依据视频分析的结果，结合软件程序的预先设定，实现自动的、智能的鼠标状态跟踪、检测，能够在程序设定的方式、时间、范围内，按照设定的路线、模式，自动往返进行鼠标的各种操作，以及键盘的自动输入、检测，可运用在在各种应用计算机的场合，可较大程度的节约人工干预，进一步节约人力成本。

本发明利用摄像头，结合机器视觉技术，可取代人工、计算机可编程控制的、全自动无人操控的机械式鼠标装置，结合电子式键盘控制装置。本发明依靠摄像头，对采集后的视频及图像，进行基于机器视觉的分析，利用该装置的机电一体化功能、可编程模块进行对鼠标、键盘的无人值守操作的全自动实现，该装置依靠计算机程序预设的各种行为模式，实现连续或者间隔的鼠标、键盘的操作，藉此实现鼠标、键盘的无人全自动操作，从而实现第三方计算机系统的无人值守。

本发明可借助计算机，进行在电脑显示屏上的精确定位、操作，可在无人情况下依靠编程，实现鼠标操作的智能化、自动化；可在无人情况下依靠编程，实现键盘操作的智能化、自动化；可与其他自动化设备一起，辅以机器视觉及计算机控制软件，搭建出可二次开发、可第三方集成、全自动计算机操控系统。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，包括视频采集系统、机器视觉分析系统、机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述视频采集系统用于采集目标设备全局屏幕图像数据，根据全局屏幕图像数据分析处理后的控制信号采集工作区域图像数据，还用于采集鼠标移动图像数据和鼠标操作图像数据，将采集的图像数据传输至机器视觉分析系统；

所述机器视觉分析系统用于对全局屏幕图像数据进行机器视觉分析处理，生成视频采集终端控制信号并传输至视频采集终端采集工作区域图像数据，还用于对鼠标操作图像数据和鼠标移动图像数据进行机器视觉分析处理，生成控制信号并传输至机械式鼠标自动控制系统和电子式键盘自动控制系统；

所述机械式鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；

所述电子式键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。

2.如权利要求1所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述视频采集系统采用主从摄像头组成主-从PTZ系统，主-从PTZ系统通过云台进行全方位移动及镜头变倍、变焦控制；其中，主摄像头用于采集全局屏幕图像数据，从摄像头用于对全局屏幕图像数据分析处理后进行工作区域图像数据采集。

3.如权利要求2所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述视频采集系统还包括第一摄像头和第二摄像头；所述第一摄像头设置于鼠标左右键及滚轮的正前方位置，用于进行鼠标上下单击、双击、滚动的操作图像数据采集；所述第二摄像头设置于鼠标移动平面中心的垂直方向位置，用于进行鼠标X方向、Y方向移动图像数据采集。

4.如权利要求1至3任一所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机器视觉分析系统对全局屏幕图像数据进行机器视觉分析处理时，首先对全局屏幕图像数据进行预处理，再对预处理后的全局屏幕图像数据进行背景建模识别，选定全局屏幕图像参考坐标系，通过特征提取获取鼠标在屏幕图像上的工作区域范围，确定鼠标在全局屏幕图像中的逻辑坐标与在控制系统中的物理坐标，并建立鼠标的逻辑坐标与物理坐标之间的双向映射。

5.如权利要求4所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标操作图像数据和鼠标移动图像数据进行机器视觉分析处理时，根据鼠标在全局屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在全局屏幕图像的工作区域范围，生成鼠标移动控制信号，并根据鼠标操作图像数据检测鼠标移动是否完成。

6.如权利要求5所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标操作图像数据和鼠标移动图像数据进行机器视觉分析处理时，根据鼠标的箭头状态和输入提示符状态判断鼠标是否已经移动到指定工作区域，当鼠标到达指定工作区域时生成鼠标操作控制信号控制鼠标输入，并根据鼠标操作图像数据检测鼠标操作是否完成。

7.如权利要求6所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标操作图像数据和鼠标移动图像数据进行机器视觉分析处理时，根据工作区域在全局屏幕图像的区域范围的X方向、Y方向的比例，利用OCR字符识别方法进行键盘输入内容判定。

8.如权利要求7所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机械式鼠标自动控制系统在鼠标左右键的常开触头和常闭触头之间设置鼠标开关模块，并通过生成高低电平开关信号控制鼠标开关模块的开启和关闭，完成鼠标左右键的点击操作。

9.如权利要求8所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述机械式鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置；X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的左键、右键及滚轮位置分别设置有第三步进电机、第四步进电机和第五步进电机，第三步进电机控制鼠标左键进行向上及向下方向运动，第四步进电机控制鼠标右键进行向上及向下方向运动，第五步进电机控制鼠标滚轮进行向前及向后方向运动。

10.如权利要求9所述的基于机器视觉的机电混合式无人值守计算机操作装置，其特征在于，所述电子式键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，完成键盘按键的点击操作。