CN110308747A - 一种基于机器视觉的电子式全自动计算机操作装置 - Google Patents

一种基于机器视觉的电子式全自动计算机操作装置 Download PDF

Info

Publication number
CN110308747A
CN110308747A CN201910560118.2A CN201910560118A CN110308747A CN 110308747 A CN110308747 A CN 110308747A CN 201910560118 A CN201910560118 A CN 201910560118A CN 110308747 A CN110308747 A CN 110308747A
Authority
CN
China
Prior art keywords
mouse
machine vision
region
automatic
full
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910560118.2A
Other languages
English (en)
Other versions
CN110308747B (zh
Inventor
张志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Minzu University
Original Assignee
Southwest Minzu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Minzu University filed Critical Southwest Minzu University
Priority to CN201910560118.2A priority Critical patent/CN110308747B/zh
Publication of CN110308747A publication Critical patent/CN110308747A/zh
Application granted granted Critical
Publication of CN110308747B publication Critical patent/CN110308747B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G05D3/121—Control of position or direction using feedback using synchromachines (selsyns)
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的电子式全自动计算机操作装置，包括视频采集系统、机器视觉分析系统、鼠标自动控制系统和键盘自动控制系统。本发明基于计算机机器视觉分析技术，能够根据机器视觉分析系统的要求，依据视频分析的结果，实现自动的、智能的鼠标状态跟踪、检测，能够在程序设定的方式、时间、范围内，按照设定的路线、模式，自动往返进行鼠标的各种操作，以及键盘的自动输入、检测，可运用在各种应用计算机的场合，可较大程度的节约人工干预，进一步节约人力成本。

Description

一种基于机器视觉的电子式全自动计算机操作装置
技术领域
本发明属于自动化控制技术领域，具体涉及一种基于机器视觉的电子式全自动计算机操作装置。
背景技术
目前，在计算机使用中的一个主要问题就是：现有的计算机系统，大多在屏幕发生变化的时候，需要人为进行干预控制，进行诸如打字、按键、按回车、按空格键、鼠标单击、鼠标双击、鼠标滚动等操作。
现在的机器视觉、人工智能及机电一体化技术，为计算机的全自动操作提供了技术上的可能性。机器视觉技术，现阶段可进行OCR字符识别，进行标准方形、圆形、椭圆形的识别。不过，现阶段，基于计算机的机器视觉识别，主要利用计算机进行是纸质媒体、视频、图像等素材的分析；而利用计算机视觉识别技术，直接进行面向计算机显示屏的内容识别及其应用的，还需要若干辅助设备——全自动操作的鼠标、全自动操作的键盘、全自动操作的手写板、全自动操作的喇叭等。
该技术现存在的主要问题是：
现阶段绝大多数计算机设备的操作，仍然以操作人员人工操作的方式为主；
很多在计算机屏幕上打字、绘图、填表等操作，仍无法实现全自动识别及操作，需要计算机及其软件，凭借机电一体化相关技术，实现鼠标的无人值守全自动操作，但目前该技术方向还不是很受重视；
需要计算机及其软件，凭借机电一体化相关技术，实现键盘的无人值守全自动操作；
需要计算机及其软件，凭借机电一体化相关技术，实现手写板的全自动操作；
需要凭借以上的辅助设备，在程序预设的各种情况范围以内，实现依靠计算机、机器视觉、机电一体化技术的计算机全自动操作。
发明内容
本发明的发明目的是：为了进一步降低现阶段计算机操作方式中的人工干预，实现计算机操作的更高自动化、智能化，本发明提出了一种基于计算机控制的、机器视觉辅助分析的、可全自动操作的、机电一体化的计算机操作装置。
本发明的技术方案是：一种基于机器视觉的电子式全自动计算机操作装置，包括视频采集系统、机器视觉分析系统、鼠标自动控制系统和键盘自动控制系统；
所述视频采集系统用于采集目标设备全局屏幕图像数据，根据全局屏幕图像数据分析处理后的控制信号采集工作区域图像数据，还用于采集鼠标移动图像数据，将采集的图像数据传输至机器视觉分析系统；
所述机器视觉分析系统用于对全局屏幕图像数据进行机器视觉分析处理，生成视频采集终端控制信号并传输至视频采集终端采集工作区域图像数据，还用于对鼠标移动图像数据进行机器视觉分析处理，生成控制信号并传输至鼠标自动控制系统和键盘自动控制系统；
所述鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；
所述键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。
进一步地，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定鼠标存在区域；当鼠标为运动状态时，则采用图像处理算法进行鼠标位置提取，当鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到鼠标存在区域后，在鼠标存在区域进行鼠标追踪。
进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。
进一步地，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。
进一步地，所述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：
对鼠标存在区域，按照设定的采集参数进行样本区域采集；
对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；
对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；
设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；
进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；
根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。
进一步地，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：
根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。
进一步地，所述机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。
进一步地，所述鼠标自动控制系统在鼠标左右键的常开触头和常闭触头之间设置鼠标开关模块，并通过生成高低电平开关信号控制鼠标开关模块的开启和关闭，完成鼠标左右键的点击操作。
进一步地，所述鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置；X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的滚轮位置设置有第三步进电机，第三步进电机控制鼠标滚轮进行向前及向后方向运动。
进一步地，所述键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，完成键盘按键的点击操作。
本发明具有以下有益效果：
(1)由机器取代人工，节约计算机日常操作中例行的、重复性工作中投入大量人力；可以在计算机整个工作期间，在鼠标使用这个环节中，节约人力成本；
(2)可取代人工操作，实现可编程控制下的鼠标操控的全自动，可保证鼠标自动化操作的操控及操控过程中的具体的位置，可按照编程控制的要求，在程序预设的状态下，根据各种要求，实现各种模式不断的例行性、重复性工作；
(3)可按照程序设定的工作模式、工作内容及工作线路，实现可编程控制的鼠标自动输入、检测、输出等内容；
(4)可二次开发，结合统计与优化的方法，实现鼠标使用中的全自动化，提高工作效率，提高经济效益。
附图说明
图1是本发明的基于机器视觉的电子式全自动计算机操作装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，是本发明的基于机器视觉的电子式全自动计算机操作装置结构示意图；一种基于机器视觉的电子式全自动计算机操作装置，包括视频采集系统、机器视觉分析系统、鼠标自动控制系统和键盘自动控制系统；
所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；
所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成控制信号并传输至鼠标自动控制系统和键盘自动控制系统；
所述鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；
所述键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。
在本发明的一个可选实施例中，上述视频采集系统采用多个摄像头矩阵进行各自负责区域的图像采集，即将计算机屏幕划分为若干个网格区域，每一个网格区域由调好焦距的摄像头进行图像采集；每个摄像头采集的大致区域为计算机屏幕面积/摄像头总数，例如摄像头为5排，每排7个，那么就是35个摄像头，每个摄像头负责采集面积为计算机屏幕面积除以摄像头个数再加上各个摄像头边界重复部分面积；特别地，为了进一步提高图像处理速度，本发明可采用金字塔法等，进行图像数据的减小。
在本发明的一个可选实施例中，上述机器视觉分析系统对每个摄像头采集到的图像，按照摄像头序号，进行目标识别，直到找到鼠标存在区域。在这个过程中，视频跟踪的目标是鼠标图像，以便找到目标工作区域，进行后面的跟踪。
首先按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，从1号，2号，3号，……，到35号；
再进行鼠标工作区域的判定，明确鼠标在第几号工作区域：鼠标存在区域，如第6号摄像头获取区域。如，鼠标为运动状态，则可以利用光流算法、背景差分法、帧间差分法等，进行鼠标位置的提取，如，鼠标为静止，则采用反向金字塔法进行放大，然后利用特征点匹配与颜色特征进行模板匹配；
最后找到鼠标存在区域后，进行定时跟踪。
本发明对鼠标存在区域进行目标跟踪时，对于鼠标位于多个摄像头采集图像区域的重合区域，如：3号、4号、10号、11号区域重合区域，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域，即3号、4号、10号、11号区域图像进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。
此外，本发明对鼠标位于多个摄像头采集图像区域的重合区域时，还可以在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。
为了精确识别鼠标所在位置是属于可输入内容的对话框、还是对话框提示信息、鼠标输入了什么内容等，本发明采用自主超分辨变长识别块对话框算法进行对话框识别，在识别出对话框后，在对话框周围进行对话框提示信息识别；在对话框中进行鼠标输入信息识别。对文字，可采用现有的OCR识别技术进行识别。
上述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：
对鼠标存在区域，按照设定的采集参数进行样本区域采集；采集参数设置为采集行数、各行的个数、样本区域面积及残疾顺序等，例如该区域准备采集16行，每行28个样本区域，每一个区域为2*2，或者4*4，或者6*6，或者8*8；
对采集的16*28个样本区域进行编号，同时建立每一个逻辑编号与鼠标存在区域图像上物理位置的对应映射关系；获取该目标工作区域的物理参数，如长10cm，宽6cm，目标采样区域个数为16*28，那么每一个目标采样区域的间隔即为10/28，6/10。
对采集的样本区域进行特征提取，例如16*28个，计算样本区域的色差方向梯度矢量化旋转差值，具体为：
根据梯度信息方向进行上、下、左、右、上左、上右、下左、下右八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，按照RGB分拆，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将16*28个采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值，得到的16*28个采样样本区域的色差方向梯度矢量化旋转差值，色差方向梯度矢量化旋转差值等于第一次样本区域的色差方向梯度矢量化旋值减去样本区域的色差方向梯度矢量化旋转后值。
设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；将梯度信息、第一次色差方向梯度矢量化值、第二次色差方向梯度矢量化值、两次色差方向梯度矢量化差值，进行二次矢量化，作为进行聚类的辅助信息；
进行预设聚类个数m个的基于k-均值的聚类，对聚类后的区域进行合并，这样可以得到一个基于聚类的m个区域分割；有边框处，聚类区域面积更小、更密集，而且每个聚类区域形状更不规则，聚类均值差异更大；无边框处，聚类分布区域面积更大，聚类均值差异更小；
根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。该聚类分布的状态图像特点是对话框边界由于梯度信息不同，旋转前色差方向梯度矢量值与旋转后色差方向梯度矢量值的不同，结合聚类分布形状不同，即可以得到对话框有效工作区域、对话框。特别地，可以根据需要进行图像的放大和缩小后，再行处理。
机器视觉分析系统通过确定鼠标在计算机屏幕图像中的逻辑坐标与在机电一体化控制系统中的物理坐标，建立鼠标的逻辑坐标与物理坐标之间的双向映射，形成计算机屏幕图像区域范围与鼠标物理运动范围的双向映射，从而能够根据图像进行鼠标操作、移动、单击、双击等物理操作的精确控制。
机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。机器视觉分析系统根据预先设定的识别样本，按照预设的要求，进行目标跟踪区域的精确定位，在精确的位置上进行鼠标内容的输入与状态改变。
在本发明的一个可选实施例中，鼠标自动控制系统包括可编程控制器，可编程控制器具体采用单片机、PLC、FPGA等实现；鼠标自动控制系统在鼠标左右键的常开触头和常闭触头之间设置可编程控制的鼠标开关模块，并通过生成高低电平开关信号控制鼠标开关模块的开启和关闭，即控制鼠标开关模块在高电平时打开、低电平时关闭，或控制鼠标开关模块在低电平时打开、高电平时关闭，从而完成鼠标左右键的点击操作。
鼠标自动控制系统用于实现鼠标的各种操作。鼠标自动控制系统接到鼠标操作的各种指令后，依靠步进电机，结合摄像头，利用机器视觉的反馈，进行高精度的鼠标操作——平移(上、下、左、右、左斜上、左斜下、右斜上、右斜下)；鼠标滚轮的上下移动等操作。
鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置。
在鼠标自动控制系统中，X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的滚轮位置设置有第三步进电机，第三步进电机控制鼠标滚轮进行向前及向后方向运动。
在本发明的一个可选实施例中，键盘自动控制系统包括可编程控制器，可编程控制器具体采用单片机、PLC、FPGA等实现；键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，即控制键盘开关模块在高电平时打开、低电平时关闭，或控制键盘开关模块在低电平时打开、高电平时关闭，完成键盘按键的点击操作。
本发明基于计算机机器视觉分析技术，能够根据机器视觉分析系统的要求，依据视频分析的结果，结合软件程序的预先设定，实现自动的、智能的鼠标状态跟踪、检测，能够在程序设定的方式、时间、范围内，按照设定的路线、模式，自动往返进行鼠标的各种操作，以及键盘的自动输入、检测，可运用在在各种应用计算机的场合，可较大程度的节约人工干预，进一步节约人力成本。
本发明结合机器视觉技术，可取代人工、计算机可编程控制的、全自动无人操控的电子式鼠标、键盘装置。该装置依靠摄像头，对采集后的视频及图像，进行基于机器视觉的分析，利用该装置的机电一体化功能、可编程模块进行对鼠标、键盘的无人值守操作的全自动实现，该装置依靠计算机程序预设的各种行为模式，实现连续或者间隔的鼠标、键盘的操作，藉此实现鼠标、键盘及第三方计算机系统的无人全自动操作。
该装置可借助计算机，进行在电脑显示屏上的精确定位、操作，可在无人情况下依靠编程，实现鼠标操作的智能化、自动化；可在无人情况下依靠编程，实现键盘操作的智能化、自动化；可与其他自动化设备一起，辅以机器视觉及计算机控制软件，搭建出可二次开发、可第三方集成、全自动计算机操控系统。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于机器视觉的电子式全自动计算机操作装置，其特征在于，包括视频采集系统、机器视觉分析系统、鼠标自动控制系统和键盘自动控制系统；
所述视频采集系统用于将计算机屏幕划分为若干个网格区域，并采用多个摄像头矩阵分别对各个网格区域进行图像采集，将采集的图像数据传输至机器视觉分析系统；
所述机器视觉分析系统用于依次对各个摄像头采集的图像数据进行目标识别，获取鼠标存在区域，在鼠标存在区域进行鼠标追踪，对鼠标所在位置的对话框、对话框提示信息及输入信息进行识别，生成控制信号并传输至鼠标自动控制系统和键盘自动控制系统；
所述鼠标自动控制系统用于根据控制信号控制鼠标进行移动，根据控制信号控制鼠标左右键及滚轮进行相应操作；
所述键盘自动控制系统用于根据控制信号控制键盘按键进行输入操作。
2.如权利要求1所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述机器视觉分析系统按照摄像头序号，依次针对各个摄像头采集的图像数据进行视频帧读取，判定鼠标存在区域；当鼠标为运动状态时，则采用图像处理算法进行鼠标位置提取，当鼠标为静止状态时，则对图像进行放大，再利用特征点匹配与颜色特征进行模板匹配；得到鼠标存在区域后，在鼠标存在区域进行鼠标追踪。
3.如权利要求2所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，进行延时设定时间，再分别对存在重合区域的各个摄像头采集图像区域进行鼠标识别，得到鼠标存在的图像区域后，在该鼠标存在区域进行鼠标追踪。
4.如权利要求3所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标位于多个摄像头采集图像区域的重合区域时，在存在重合区域的各个摄像头采集图像区域采用寻找特征点的方式进行图像拼接，再在该图像区域进行鼠标追踪。
5.如权利要求4所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述机器视觉分析系统对鼠标所在位置的对话框进行识别具体为：
对鼠标存在区域，按照设定的采集参数进行样本区域采集；
对采集的样本区域进行编号，建立每一个逻辑编号与鼠标存在区域物理位置的对应映射关系；
对采集的样本区域进行特征提取，计算样本区域的色差方向梯度矢量化旋转差值；
设定上下阈值，将色差方向梯度矢量化旋转差值在上下阈值内的标记为一类；
进行预设聚类个数的基于均值的聚类，对聚类后的区域进行合并，得到基于聚类的多个区域分割；
根据得到的聚类分布的状态，进行图像的边缘分割，得到鼠标所在位置的对话框边界。
6.如权利要求5所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述计算样本区域的色差方向梯度矢量化旋转差值具体为：
根据梯度信息方向进行八方位计算，再按照采样样本区域的色差进行计算，对方向梯度进行矢量化处理，分别计算上下左右四方位每个方向的梯度，再进行矢量合成；然后将采样样本区域进行90度的旋转，再进行一次采样样本区域的色差计算，并进行方向梯度矢量化处理；最后对比第一次和第二次的采样样本区域的色差方向梯度矢量化值，结合梯度信息，按照预设权重表达式计算样本区域的色差方向梯度矢量化旋转差值。
7.如权利要求6所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述机器视觉分析系统根据鼠标在计算机屏幕图像中的逻辑坐标及鼠标的逻辑坐标与物理坐标之间的双向映射关系，结合鼠标在计算机屏幕图像的工作区域范围，生成鼠标移动控制信号。
8.如权利要求7所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述鼠标自动控制系统在鼠标左右键的常开触头和常闭触头之间设置鼠标开关模块，并通过生成高低电平开关信号控制鼠标开关模块的开启和关闭，完成鼠标左右键的点击操作。
9.如权利要求8所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述鼠标自动控制系统包括设置于鼠标移动边界的固定滑动导轨、安装在X方向固定滑动导轨之间的X方向移动导杆及安装在Y方向固定滑动导轨之间的Y方向移动导杆，鼠标设置于X方向移动导杆和Y方向移动导杆的交点位置；X方向移动导杆设置有第一步进电机，第一步进电机控制X方向移动导杆在X方向固定滑动导轨内移动；Y方向移动导杆设置有第二步进电机，第二步进电机控制Y方向移动导杆在Y方向固定滑动导轨内移动；鼠标的滚轮位置设置有第三步进电机，第三步进电机控制鼠标滚轮进行向前及向后方向运动。
10.如权利要求9所述的基于机器视觉的电子式全自动计算机操作装置，其特征在于，所述键盘自动控制系统在键盘的每个按键的触头之间设置键盘开关模块，并通过生成高低电平开关信号控制键盘开关模块的开启和关闭，完成键盘按键的点击操作。
CN201910560118.2A 2019-06-26 2019-06-26 一种基于机器视觉的电子式全自动计算机操作装置 Expired - Fee Related CN110308747B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910560118.2A CN110308747B (zh) 2019-06-26 2019-06-26 一种基于机器视觉的电子式全自动计算机操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910560118.2A CN110308747B (zh) 2019-06-26 2019-06-26 一种基于机器视觉的电子式全自动计算机操作装置

Publications (2)

Publication Number Publication Date
CN110308747A true CN110308747A (zh) 2019-10-08
CN110308747B CN110308747B (zh) 2022-05-31

Family

ID=68077695

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910560118.2A Expired - Fee Related CN110308747B (zh) 2019-06-26 2019-06-26 一种基于机器视觉的电子式全自动计算机操作装置

Country Status (1)

Country Link
CN (1) CN110308747B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
US20040080622A1 (en) * 2001-11-16 2004-04-29 Bernd Gombert Input device, webcam and screen having a voice input function
US20060114234A1 (en) * 2004-11-30 2006-06-01 Aten International Co., Ltd. Keyboard-mouse-video switch with a digital visual interface
US20100103106A1 (en) * 2007-07-11 2010-04-29 Hsien-Hsiang Chui Intelligent robotic interface input device
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102736726A (zh) * 2011-04-11 2012-10-17 曾亚东 键盘和鼠标的隐形技术
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
CN204733291U (zh) * 2015-07-22 2015-10-28 浙江红苹果电子有限公司 一种可远程操控电脑的数字矩阵系统
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
CN108115671A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 基于3d视觉传感器的双臂机器人控制方法及系统
US20190056796A1 (en) * 2017-08-17 2019-02-21 Adlink Technology Inc. System module of customizing screen image based on non-invasive data-extraction system, and method thereof

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6681151B1 (en) * 2000-12-15 2004-01-20 Cognex Technology And Investment Corporation System and method for servoing robots based upon workpieces with fiducial marks using machine vision
US20040080622A1 (en) * 2001-11-16 2004-04-29 Bernd Gombert Input device, webcam and screen having a voice input function
US20060114234A1 (en) * 2004-11-30 2006-06-01 Aten International Co., Ltd. Keyboard-mouse-video switch with a digital visual interface
US20100103106A1 (en) * 2007-07-11 2010-04-29 Hsien-Hsiang Chui Intelligent robotic interface input device
CN101763515A (zh) * 2009-09-23 2010-06-30 中国科学院自动化研究所 一种基于计算机视觉的实时手势交互方法
CN102736726A (zh) * 2011-04-11 2012-10-17 曾亚东 键盘和鼠标的隐形技术
CN102981742A (zh) * 2012-11-28 2013-03-20 无锡市爱福瑞科技发展有限公司 基于计算机视觉的手势交互系统
US20160012465A1 (en) * 2014-02-08 2016-01-14 Jeffrey A. Sharp System and method for distributing, receiving, and using funds or credits and apparatus thereof
CN204733291U (zh) * 2015-07-22 2015-10-28 浙江红苹果电子有限公司 一种可远程操控电脑的数字矩阵系统
CN108115671A (zh) * 2016-11-26 2018-06-05 沈阳新松机器人自动化股份有限公司 基于3d视觉传感器的双臂机器人控制方法及系统
US20190056796A1 (en) * 2017-08-17 2019-02-21 Adlink Technology Inc. System module of customizing screen image based on non-invasive data-extraction system, and method thereof

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
吴秀玲: "浅析多媒体人机交互技术", 《中国现代教育装备》 *
吴秀玲: "浅析多媒体人机交互技术", 《中国现代教育装备》, no. 09, 15 September 2008 (2008-09-15) *
徐珂等: "基于机器视觉的手机键盘质量检测系统", 《计算机系统应用》 *
徐珂等: "基于机器视觉的手机键盘质量检测系统", 《计算机系统应用》, no. 04, 15 April 2009 (2009-04-15) *
陈学光等: "一种基于多媒体的远程视频监控系统方案", 《铁道学报》 *
陈学光等: "一种基于多媒体的远程视频监控系统方案", 《铁道学报》, no. 06, 10 December 2001 (2001-12-10) *

Also Published As

Publication number Publication date
CN110308747B (zh) 2022-05-31

Similar Documents

Publication Publication Date Title
Deng et al. Automatic indoor construction process monitoring for tiles based on BIM and computer vision
Timofte et al. Multi-view traffic sign detection, recognition, and 3D localisation
CN101853071B (zh) 基于视觉的手势识别方法及系统
CN101406390B (zh) 检测人体部位和人的方法和设备以及对象检测方法和设备
CN106408015A (zh) 基于卷积神经网络的岔路口识别及深度估计方法
CN114120141B (zh) 一种可全天候遥感监测自动分析方法及其系统
CN102496001A (zh) 一种视频监控目标自动检测的方法和系统
CN110674808A (zh) 一种变电站压板状态智能识别方法及装置
CN108628267B (zh) 一种物方扫描成像系统的分离式、分布式操控方法
CN108460799A (zh) 一种逐步逼近亚像素图像定位方法和系统
CN113220114A (zh) 一种融合人脸识别的可嵌入非接触式电梯按键交互方法
CN113344967A (zh) 一种复杂背景下的动态目标识别追踪方法
CN115797811A (zh) 一种基于视觉的农产品检测方法及系统
CN112561885B (zh) 基于YOLOv4-tiny的插板阀开度检测方法
CN110400335A (zh) 基于深度学习的纹理图像质量估计方法
CN110286780A (zh) 一种基于机器视觉的机电混合式无人值守计算机操作装置
CN110286825A (zh) 一种基于机器视觉的机械式全自动鼠标操作装置
CN110308747A (zh) 一种基于机器视觉的电子式全自动计算机操作装置
CN110275628A (zh) 一种基于机器视觉的机电式全自动鼠标操作装置
CN111831135A (zh) 鼠标光标影像侦测比对与回馈状态判断方法
CN110276260A (zh) 一种基于深度摄像头的商品检测方法
CN102004537B (zh) 系统上下电控制装置和方法
CN110286777A (zh) 一种基于机器视觉的机电式全自动键盘操作装置
TWI693535B (zh) 滑鼠游標影像偵測比對與回饋狀態判斷方法
Trinder et al. Semi-automated feature extraction using simulated annealing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220531