CN111831135A - 鼠标光标影像侦测比对与回馈状态判断方法 - Google Patents
鼠标光标影像侦测比对与回馈状态判断方法 Download PDFInfo
- Publication number
- CN111831135A CN111831135A CN201910328906.9A CN201910328906A CN111831135A CN 111831135 A CN111831135 A CN 111831135A CN 201910328906 A CN201910328906 A CN 201910328906A CN 111831135 A CN111831135 A CN 111831135A
- Authority
- CN
- China
- Prior art keywords
- mouse cursor
- cursor
- image
- mouse
- executing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 85
- 230000033001 locomotion Effects 0.000 claims abstract description 29
- 238000012937 correction Methods 0.000 claims abstract description 18
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000004088 simulation Methods 0.000 description 5
- 238000013461 design Methods 0.000 description 4
- 238000012938 design process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种鼠标光标影像侦测比对与回馈状态判断方法，其是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，该方法包含先取得用户设定的光标前景图像与背景图像，并选用算法将前景图像与背景图像生成一光标屏蔽后，再读取鼠标光标影像套用光标屏蔽作样型比对，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的鼠标光标处理程序，同时可确认鼠标光标的移动是否符合回馈与修正系统所操控的位置，以完成鼠标光标的闭回路控制，提供更精确的机台控制程序，也可用来记录用户操作流程或是提供撷取大量用户界面信息的中间媒介。
Description
技术领域
本发明提供一种鼠标光标影像侦测比对与回馈状态判断方法，尤指可通过图像处理单元读取机台操作画面中的鼠标光标影像进行侦测比对，并将比对结果的信息与鼠标光标回馈状态提供给后续修正系统进行对应的处理程序，以完成鼠标光标的闭回路控制。
背景技术
现今信息科技的进步、网络的发达与计算机运算能力的大幅提升，以及数据搜集和储存技术持续地改进，也加速了大数据的累积、记录与取得，并在工业生产机台利用云端开发大数据应用时，其中一个重要任务即是在产线机台(或称为云端终点端)处搜集相关机台的数据，由于许多重要数据来自于机台软件的用户界面，操作员会在用户界面上进行许多画面的操控，这类的操作行为将有助于了解目前操作员正在进行的机台数据调整、机台程序界面相关数据撷取及程序相关参数设定等数据搜集与分析应用。
一般机台的用户界面是系统和操作员之间进行互动和信息交换的媒介，包含人机互动与图形用户界面，使系统可通过操作员对键盘、鼠标、触摸板等数据输入的装置操作所传送的信号来控制机台上的操作画面，但是，该通过鼠标单向传送的信号控制时，常会因欲操作的操作系统资源的限制而遗失信号，导致无法正确操控鼠标的光标；若是旧型机台要升级时亦会有其硬设备扩充与软件系统修改的困难性，并在搜集这类机台上的鼠标操控数据时，除了会影响到其处理器的负载之外，计算机配备上的资源也容易受到许多限制，包括现行机台程序的处理程序与效能等；此外，基于商业机密、软硬件保密协议、运算资源等限制，并无法以侵入式数据撷取的方式在目标系统上装载相关鼠标操控的回馈程序，且鼠标光标移动的速度亦很可能因对方系统设定上的差异而出现非一致性的移动，以致使鼠标光标移动的速度无法正确预测而产生误差，上述种种因素均将不利于进行取得用户界面上大量的数据的搜集，则有待从事于此行业者重新设计来加以有效解决。
发明内容
本发明的主要目的在于基于非侵入式数据撷取系统可以不介入任何生产机台的条件下，通过图像处理单元侦测出目标机台端实际操控鼠标于操作画面中的鼠标光标影像，并套用光标屏蔽作样型比对后，可将比对结果的信息与鼠标光标回馈状态回传至软件控制系统，提供后续修正系统进行对应的处理程序，可确保其传送与控制鼠标移动的正确性，以完成鼠标光标的闭回路控制，如此不但不影响目前机台的生产与负载，并在鼠标光标的控制与监控上可提供一个回馈的修正机制，让鼠标光标在中央处理器或操作系统调配资源的同时，提供更为正确且可靠的鼠标光标位置信息，以及更精确的机台控制程序，也可用来记录用户操作流程、行为，或是提供撷取大量用户界面信息的中间媒介。
本发明的次要目的在于图像处理单元可搭配比对运算提供单一或多个位置、个数与稳定程度信息来设计鼠标光标位置回馈状态与修正流程，包含用户设定的光标前景与背景图像，并套用一光标屏蔽，在意区域与不在意区域的设计、通过图像直方图于横轴上的各亮度值区间的间距取得预设门坎值的概念、比对单元设计流程与线扫描的比对方式，而鼠标光标回馈状态机制的判断流程中，通过图像处理单元提供的比对结果移动鼠标光标，包含整个设计流程中检测鼠标光标的稳定程度、多重位置、多个鼠标光标判断、过去鼠标光标移动的分析、鼠标光标返回起始位置再移动至目标位置的复原方式、安全区域的使用方式、鼠标光标位置补偿、错误分析或其他相关鼠标光标状态等。
本发明的另一目的在于图像处理单元可侦测机台操作画面中的鼠标光标影像，取代原本人眼的功能，并由现场可程序逻辑门阵列执行鼠标光标影像侦测比对的流程，不须通过目标机台端的中央处理器，除了可减低运作的负载外，并保证图像处理的实时性，且图像处理单元所回传侦测比对的结果，亦不须预先取得目标机台端系统的鼠标光标移动速度等设定，通过回馈与修正系统操控鼠标光标的坐标记录，即可正确得知目前鼠标光标的位置、个数与影像的稳定程度等回馈状态信息，以提供传统非侵入式数据撷取系统更精确的机台控制程序。
为了达到上述目的，本发明公开了一种鼠标光标影像侦测比对与回馈状态判断方法，该方法是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，该方法包含下列步骤：
(A)取得用户设定的光标前景图像；
(B)取得用户设定的光标背景图像；
(C)选用算法将该前景图像与该背景图像生成一光标屏蔽；
(D)读取该鼠标光标影像并套用该光标屏蔽作样型比对；
(E)提供比对结果的信息与鼠标光标回馈状态。
在本发明的一实施例中，该图像处理单元为现场可程序逻辑门阵列、特殊应用集成电路、微处理器或应用程序。
在本发明的一实施例中，该前景图像与该背景图像为该图像处理单元取得系统提供用户预先设定的光标前景图像与背景图像。
在本发明的一实施例中，该前景图像与该背景图像通过光标特征撷取算法生成该比对的光标屏蔽，包含箭头及I字形光标屏蔽。
在本发明的一实施例中，该图像处理单元通过一比对单元读取该鼠标光标影像，并套用该光标屏蔽将该鼠标光标影像区分成在意区域与不在意区域，再作样型比对。
在本发明的一实施例中，该步骤(D)中的鼠标光标影像比对之前，先针对该光标屏蔽作优化处理，该优化处理的方法包含下列步骤：
(D1)将该光标屏蔽中的该在意区域作图像直方图运算，并对横轴上的各亮度值区间之间作间距的计算；
(D2)从该最大的间距中取一个预设门坎值；
(D3)通过该预设门坎值进行图像二值化撷取出箭头光标及I字形光标样型，再将阴影处滤除；
(D4)将该箭头光标的箭头区域内部通过区域成长标定出来；
(D5)将该I字形光标在X轴作像素填补。
在本发明的一实施例中，该图像直方图的横轴为表示图像不同的亮度值，纵轴为表示该亮度值的像素占该图像的比例。
在本发明的一实施例中，该图像二值化的处理是以该亮度值超过预设门坎值的像素当作背景图像，反之则为前景图像，并于去除该背景图像撷取出该箭头光标及I字形光标样型。
在本发明的一实施例中，该比对单元是针对该光标屏蔽中的该在意区域以颜色边界搭配图像二值化进行鼠标光标影像分割，并通过线扫描的方式逐行扫完整个鼠标光标影像，再由比对分割样型的矩阵计算得到用以判断是否为稳定的鼠标光标影像的分数门坎值。
在本发明的一实施例中，该步骤(E)中的比对结果的信息包含鼠标光标在操作画面中的位置、个数与影像的稳定程度，用以确认该鼠标光标的移动是否符合回馈与修正系统操控的位置。
在本发明的一实施例中，该步骤(E)中的该图像处理单元进行该鼠标光标回馈状态的判断方法，该判断方法包含下列步骤：
(E01)系统开始执行该鼠标光标的移动；
(E02)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间；
(E03)判断是否有找到该鼠标光标，若有，则执行步骤(E04)，若无，则执行步骤(E10)；
(E04)判断该鼠标光标是否有多重位置，若有，则执行步骤(E05)，若无，则执行步骤(E06)；
(E05)提供该鼠标光标多重位置的警报信息，再继续执行步骤(E06)；
(E06)判断该鼠标光标的位置是否正确，若是，则执行步骤(E07)，若否，则执行步骤(E15)；
(E07)判断是否有多个鼠标光标，若有，则执行步骤(E08)，若无，则执行步骤(E09)；
(E08)提供多个鼠标光标的警报信息，再继续执行步骤(E09)；
(E09)判定为该鼠标光标移动成功；
(E10)判断是否为第一次执行，若是，则执行步骤(E11)，若否，则执行步骤(E12)；
(E11)进行该鼠标光标补偿的动作，再重复执行步骤(E02)；
(E12)取得上一次该鼠标光标移动的位置信息，再继续执行步骤(E13)；
(E13)判断是否为第二次或第三次执行，若是，则执行步骤(E14)，若否，则执行步骤(E16)；
(E14)该鼠标光标返回起始位置再移动至目标位置，再重复执行步骤(E02)；
(E15)判断该鼠标光标重试次数是否已到达或已超过等待时间，若是，则重复执行步骤(E07)，若否，则重复执行步骤(E11)；
(E16)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间，再继续执行步骤(E17)；
(E17)该鼠标光标移动至安全区域，再继续执行步骤(E18)；
(E18)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间，再继续执行步骤(E19)；
(E19)取得上一次该鼠标光标移动的位置信息，再继续执行步骤(E20)；
(E20)判断是否有找到该鼠标光标，若无，则执行步骤(E21)，若有，则执行步骤(E22)；
(E21)提供没有找到该鼠标光标的错误信息；
(E22)判断该鼠标光标上二次移动的位置之间是否有差异，若是，则执行步骤(E23)，若否，则执行步骤(E24)；
(E23)提供无法控制该鼠标光标的错误信息；
(E24)提供失去该鼠标光标位置的错误信息。
在本发明的一实施例中，该步骤(E)中的该图像处理单元是将该鼠标光标回馈状态提供给软件控制系统，以进行后续侦测回馈与修正系统进行对应的处理程序。
附图说明
图1为本发明在非侵入式数据撷取系统架构下撷取机台控制器数据的系统架构图。
图2为本发明图像处理单元作鼠标光标影像侦测比对的步骤流程图。
图3为本发明将光标屏蔽套在操作画面中的鼠标光标影像上的示意图。
图4为本发明光标屏蔽作优化处理的步骤流程图。
图5A为本发明光标屏蔽通过门坎值进行图像二值化及区域成长来将箭头光标内部标定出来的示意图。
图5B为本发明I字形光标在X轴作像素填补的示意图。
图6为本发明图像处理单元读取鼠标光标影像通过样型比对输出比对结果与回馈状态判断的流程图。
图7为本发明图像处理单元读取鼠标光标影像通过样型比对输出比对结果与回馈状态判断的方块图。
图8A为本发明图像处理单元作鼠标光标回馈状态的判断的步骤流程图(一)。
图8B为本发明图像处理单元作鼠标光标回馈状态的判断的步骤流程图(二)。
图8C为本发明图像处理单元作鼠标光标回馈状态的判断的步骤流程图(三)。
图8D为本发明图像处理单元作鼠标光标回馈状态的判断的步骤流程图(四)。
附图标记说明：100-机台控制器；101-屏幕；102-键盘/鼠标；200-非侵入式数据撷取系统；201-影像撷取设备；202-图像处理单元；203-软件控制系统；204-影像输出装置；205-信号接收装置；206-人机界面仿真装置；300-游标屏蔽；301-Care区域；302-Don‘tcare区域；303-箭头游标；304-I字形光标；305-阴影。
具体实施方式
为达成上述目的及功效，本发明所采用的技术手段及其构造，兹绘图就本发明的较佳实施例详加说明其构造与功能如下。
请参阅图1所示，为本发明在非侵入式数据撷取系统架构下撷取机台控制器数据的系统架构图，由图中可清楚看出，本发明的机台控制器100安装的机台操作程序可产生控制机台原始的操作画面，并基于非侵入式数据撷取系统200架构下，可利用影像撷取设备201撷取机台控制器100输出的操作画面，再分别传送至非侵入式数据撷取系统200及图像处理单元202撷取操作画面中的信息，以供软件控制系统203同时建构出提供给现场操作员的机台模拟操作画面，且该机台模拟操作画面中还可增加客制化的操作界面，便可藉由影像输出装置204来将后制的机台仿真操作画面显示在机台所属的屏幕101，也可通过信号接收装置205接收键盘/鼠标102的控制信号传送至软件控制系统203处理，使人机界面仿真装置206可以仿真键盘/鼠标102传送对应的控制信号给机台控制器100。
在本实施例中，图像处理单元202为该影像撷取设备201所撷取的机台操作画面影像的后级处理单元，可将图像处理相关的算法建构于包含现场可程序逻辑门阵列(FPGA)、特殊应用集成电路(ASIC)/特定用途芯片(ASSP)、微处理器或其他芯片内部，但不限于实体的层级，亦可为应用程序或其他中介软硬件，提供高速影像辨识、比对、运动侦测及鼠标光标位置的定位等功能，而机台控制器100连接的机台除了包括产在线的机器或设备，更具有提供用户界面的计算机系统或嵌入式系统，其包含但不限于处理模块、内存或通讯模块等，并采用图形界面窗口的任何操作系统(如Windows、Linux、Unix或其他的操作系统)。
请参阅图2至图7所示，分别为本发明图像处理单元作鼠标光标影像侦测比对的步骤流程图、将光标屏蔽套在操作画面中的鼠标光标影像上的示意图、光标屏蔽作优化处理的步骤流程图、光标屏蔽通过门坎值进行图像二值化及区域成长来将箭头光标内部标定出来的示意图、I字形光标在X轴作像素填补的示意图、图像处理单元读取鼠标光标影像通过样型比对输出比对结果与回馈状态判断的流程图及方块图，由图中可清楚看出，当图像处理单元202进行操作画面中的鼠标光标影像侦测比对方法时，该侦测比对方法包含下列的步骤：
(S101)取得用户设定的光标前景图像。
(S102)取得用户设定的光标背景图像。
(S103)选用光标特征撷取算法将前景图像与背景图像生成一光标屏蔽300(Select cursor contour extraction algorithm to obtain the cursor mask)。
(S104)比对单元读取鼠标光标影像，并套用光标屏蔽300作样型比对。
(S105)图像处理单元202提供比对结果的信息与鼠标光标回馈状态。
由上述的实施步骤可知，在步骤S101、S102中的图像处理单元202先取得系统提供用户预先设定的光标前景图像与背景图像，其图像大小由系统建议为20x16，但是实际的大小可依使用者需求变更，并不以此为限，且该光标的背景图像为前景图像中不含光标的部分；在步骤S103中先将上述的前景图像与背景图像通过相关光标特征撷取(如点撷取、线撷取、边撷取、轮廓连结和角撷取等)算法来生成一比对的光标屏蔽300，其中算法可依用户预先设定的前景图像与背景图像内容的复杂程度来作扩充，使用者也可根据所提取的光标屏蔽300作调整，以利于鼠标光标侦测的精准度，而光标屏蔽300则包含图3中左方上半部与下半部图像所分割成的箭头及I字形光标屏蔽300，并于箭头及I字形光标屏蔽300中的白色区块(如白色像素构成的部分)为Care(在意)区域301，且黑色区块(如黑色像素构成的部分)为Don‘t care(不在意)区域302。
在步骤S104中，当图像处理单元202接收影像撷取设备201所传送的机台原始的操作画面时，可通过比对单元读取操作画面中的鼠标光标影像，并套用光标屏蔽300作样型比对，如图3中的右方上半部与下半部图像所表示的是左方箭头及I字形光标屏蔽300分别套在鼠标光标影像上的预览结果，并于光标屏蔽300中的红色区块(如红色像素构成的部分)为Don‘t care区域302，而其他非红色区块部位则为Care区域301。
如图4所示，比对单元在进行鼠标光标影像比对之前，首先针对光标屏蔽300作优化处理包含下列的步骤：
(S201)将光标屏蔽300中的Care区域301作图像直方图(Image histogram)运算，并对横轴上的各亮度值区间(Bin)之间作间距的计算。
(S202)从最大的间距中取一个预设门坎值(Threshold value)。
(S203)通过预设门坎值进行图像二值化撷取出箭头光标303及I字形光标304样型，再将阴影305处滤除。
(S204)将箭头光标303的箭头区域内部通过区域成长标定出来。
(S205)I字形光标304在X轴作像素填补。
由上述的实施步骤可知，图像处理单元202可将光标屏蔽300中的Care区域301作图像直方图运算，并绘出图像中每个亮度值(如灰阶值或色彩值)的像素数，例如图像中每个像素可以由0(黑)到255(白)范围的亮度值表示，其中横轴0～255为表示不同的灰阶值，纵轴为表示此灰阶值的像素占图像的比例，便可藉由图像直方图了解要如何调整亮度分布的状况，并将横轴上的各亮度值区间之间作间距的计算，再从最大的间距中取一个预设门坎值，即可通过预设门坎值进行图像二值化(Binarization)的处理，也就是像素的灰阶值设置为0或255，使整个图像呈现出明显的黑白效果，通常是以灰阶值超过预设门坎值的像素当作背景图像，反之，则为前景图像，并于去除背景图像撷取出箭头光标303及I字形光标304样型，便可将光标样型的阴影305处滤除后，再使用扩散法处理将箭头光标303的箭头区域内部通过区域成长标定出来，I字形光标304在X轴方向作像素填补的动作(如图5A、图5B所示)。
如图6、图7所示，图像处理单元202可通过比对单元读取上述的机台原始操作画面中的鼠标光标影像，如影像大小可为Pix(20，W)的图像，即指图像水平轴方向长20个像素，垂直轴方向长W个像素，并将光标屏蔽300套在鼠标光标影像上，再通过图像处理及相关算法以颜色边界搭配图像二值化进行鼠标光标影像分割，以及线扫描的方式逐行扫完整个鼠标光标影像后，便可藉由比对分割样型的矩阵作样型比对，同时计算得到如下表1所示的分数区间(如比对矩阵20x16为1～320)，并根据分数的门坎值可通过实验决定出判断是否为稳定的鼠标光标影像的决定分数，则由表1可看出箭头光标影像稳定的分数门坎值为落在302～314之间，若是I字形光标影像，则落在314～316之间，而图像处理单元202除了可作鼠标光标影像样型比对，并将比对结果信息回传至软件控制系统203解析的同时，也可提供鼠标光标在操作画面中的位置、个数与影像的稳定程度等信息，以确认鼠标光标的移动是否符合回馈与修正系统所操控的位置。
此外，当图像处理单元202的比对单元读取鼠标光标影像时，可通过编码器将鼠标光标影像编码出与光标屏蔽300格式相同的20x16矩阵图像，并由线缓冲区存放游标屏蔽300的图像数据后，再将游标屏蔽300的图像数据以不同速率依序写入比对单元，藉此提供比对单元可将鼠标光标影像套用光标屏蔽300通过线扫描的比对方式作样型比对，并计算出上述的鼠标光标的分数。
表1比对结果
请参阅图8A至图8D所示，分别为本发明图像处理单元作鼠标光标回馈状态的判断的步骤流程图(一)、步骤流程图(二)、步骤流程图(三)及步骤流程图(四)，当图像处理单元202进行鼠标光标回馈状态的判断方法时，该判断方法包含下列的步骤：
(S301)系统开始执行鼠标光标的移动。
(S302)等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，再继续执行步骤S303。
(S303)判断是否有找到鼠标光标？若有，则执行步骤S304；若无，则执行步骤S310。
(S304)判断鼠标光标是否有多重位置？若有，则执行步骤S305；若无，则执行步骤S306。
(S305)提供鼠标光标多重位置的警报信息，再继续执行步骤S306。
(S306)判断鼠标光标的位置是否正确？若是，则执行步骤S307；若否，则执行步骤S315。
(S307)判断是否有多个鼠标光标？若有，则执行步骤S308；若无，则执行步骤S309。
(S308)提供多个鼠标光标的警报信息，再继续执行步骤S309。
(S309)判定为鼠标光标移动成功。
(S310)判断是否为第一次执行？若是，则执行步骤S311；若否，则执行步骤S312。
(S311)进行鼠标光标补偿的动作，再重复执行步骤S302。
(S312)取得上一次鼠标光标移动的位置信息，再继续执行步骤S313。
(S313)判断是否为第二次或第三次执行？若是，则执行步骤S314；若否，则执行步骤S316。
(S314)鼠标光标返回起始位置再移动至目标位置，再重复执行步骤S302。
(S315)判断鼠标光标重试次数是否已到达或已超过等待时间？若是，则重复执行步骤S307；若否，则重复执行步骤S311。
(S316)等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，再继续执行步骤S317。
(S317)鼠标光标移动至安全区域，再继续执行步骤S318。
(S318)等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，再继续执行步骤S319。
(S319)取得上一次鼠标光标移动的位置信息，再继续执行步骤S320。
(S320)判断是否有找到鼠标光标？若无，则执行步骤S321；若有，则执行步骤S322。
(S321)提供没有找到鼠标光标的错误信息。
(S322)判断鼠标光标上二次移动的位置之间是否有差异？若是，则执行步骤S323；若否，则执行步骤S324。
(S323)提供无法控制鼠标光标的错误信息。
(S324)提供失去鼠标光标位置的错误信息。
由上述的实施步骤可知，当操作员对机台所属的键盘/鼠标操控时，系统会开始执行鼠标光标的移动，并由图像处理单元202侦测机台控制器100所输出操作画面中的鼠标光标影像后，再将鼠标光标影像比对结果的信息(包含位置、个数、稳定程度与分数等)回传至软件控制系统203解析，以完成鼠标光标的闭回路控制，当软件控制系统203执行鼠标光标移动流程时，先等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，再判断是否有找到鼠标光标，若是有找到鼠标光标，则进入多重位置的判断；若是多重位置成立，则图像处理单元202提供鼠标光标多重位置的警报信息(Warningmulti-position)给软件控制系统203，再进入鼠标光标位置正确性的判断，若是位置正确，则进入多个鼠标光标的判断；若是有多个鼠标光标成立，则图像处理单元202提供多个鼠标光标的警报信息(Warning multi-cursor)给软件控制系统203，并判定为鼠标光标移动成功，以完成鼠标光标的移动。
反之，上述判断是否有找到鼠标光标的步骤中，若是没有找到鼠标光标，则进入是否为第一次执行的判断；若是第一次执行，则回馈与修正系统进行鼠标光标补偿的动作，再回到上述的等待图像处理单元202回报鼠标光标状态已稳定或已超过等待的时间的步骤中；若判断不是第一次执行，则取得上一次进入系统所执行鼠标光标移动的位置信息，再判断是否为第二次或第三次执行鼠标光标移动流程，若是为第二次或第三次执行，则先将鼠标光标返回起始位置(Go to zero position)，再移动至目标位置(target position)，再回到上述的等待图像处理单元202回报鼠标光标状态已稳定或已超过等待的时间的步骤中。
此外，上述的判断鼠标光标位置是否正确的步骤中，若是位置不正确，则判断是否已到达重试次数或已超过等待时间；若是已到达重复次数或已超过等待时间，则回到上述的多个鼠标光标判断的步骤中，反之，则进行鼠标光标补偿的动作后，再回到上述的等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间的步骤中。
再者，上述的判断是否为第二次或第三次执行的步骤中，若判断为不是第二次或第三次执行，则会进行后续鼠标光标的错误分析，当软件控制系统203执行错误分析流程时，先等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，然后将鼠标光标移动至安全区域，再执行一次等待图像处理单元202回报鼠标光标状态已稳定或已超过等待时间，并取得上一次所执行鼠标光标移动的位置信息，再判断是否有找到鼠标光标，若是没有找到鼠标光标，则图像处理单元202提供没有找到鼠标光标(Cannot detect cursor)的错误信息给软件控制系统203；若是有找到鼠标光标，则进入鼠标光标上二次移动的位置之间是否有差异的判断，若是有差异，则图像处理单元202提供无法控制鼠标光标的错误信息(Cannot control cursor)；若是没有差异，则图像处理单元202提供失去鼠标光标位置的错误信息(Lost cursor position)，藉此可提供后续侦测回馈与修正系统进行对应的处理程序。
是以，本发明的鼠标光标影像侦测比对与回馈状态判断方法系基于非侵入式数据撷取系统200的架构在不介入任何生产机台的条件下，可通过图像处理单元202读取机台控制器100于键盘/鼠标102实际操控所输出操作画面中的鼠标光标影像，并套用一光标屏蔽300作样型比对，且搭配比对运算后所提供单一或多个位置、个数与稳定程度信息来设计鼠标光标位置回馈状态与修正流程，其中侦测比对流程包含用户设定的光标前景与背景图像的方式(如前景与背景图像取得、光标屏蔽300生成概念与光标样型的调校等)，并使用光标屏蔽300作样型比对的方式，包含Care区域301与Don‘t care区域302设计、通过图像直方图于横轴上的各亮度值区间的间距取得预设门坎值的概念、比对单元的设计流程与线扫描的比对方式，而鼠标光标回馈状态机制的判断流程中，通过图像处理单元202提供的比对结果来移动鼠标光标，包含整个设计流程中检测鼠标光标的稳定程度、鼠标光标多重位置、多个鼠标光标判断、过去鼠标光标移动的分析、鼠标光标返回起始位置再移动至目标位置的复原方式、安全区域的使用方式、鼠标光标位置补偿、错误分析或其他相关鼠标光标状态等。
本发明上述的鼠标光标影像侦测比对与回馈状态判断方法与先前技术相比，具有下列的有益效果：
(一)本发明可由图像处理单元202所回传的机台操作画面中的鼠标光标影像侦测比对的回馈结果，提供后续修正系统进行对应的鼠标光标处理程序。
(二)本发明若是图像处理单元202执行鼠标光标影像侦测比对的流程系由现场可程序逻辑门阵列(FPGA)处理，不须通过目标机台端系统主机中的中央处理器(CPU)，除了可减低中央处理器运作的负载外，还可保证图像处理的实时性。
(三)本发明是由图像处理单元202侦测机台操作画面中的鼠标光标影像，可取代原本人眼的功能，确认鼠标光标的移动是否符合回馈与修正系统操控的位置，以完成鼠标光标的闭回路控制。
(四)本发明通过图像处理单元202所回传侦测比对的结果回馈与修正系统的鼠标光标所在的位置坐标记录，可提供传统非侵入式数据撷取系统更精确的机台控制程序。
(五)本发明不须预先取得目标机台端系统的鼠标光标移动速度等设定，即可正确地通过图像处理单元202来实时得知目前鼠标光标位置、个数与稳定程度等回馈状态信息。
(六)本发明图像处理单元202所提供的鼠标光标回馈状态信息可用来记录用户操作流程、行为，或是后续撷取大量用户界面信息进行搜集与分析应用的中间媒介。
上述详细说明为针对本发明一种较佳的可行实施例说明而已，惟该实施例并非用以限定本发明的申请专利范围，凡其他未脱离本发明所揭示的技艺精神下所完成的均等变化与修饰变更，均应包含于本发明所涵盖的专利范围中。
Claims (12)
1.一种鼠标光标影像侦测比对与回馈状态判断方法，该方法是基于非侵入式数据撷取系统架构下，以图像处理单元读取机台控制器所输出操作画面中的鼠标光标影像进行侦测比对，其特征在于，该方法包含下列步骤：
(A)取得用户设定的光标前景图像；
(B)取得用户设定的光标背景图像；
(C)选用算法将该前景图像与该背景图像生成一光标屏蔽；
(D)读取该鼠标光标影像并套用该光标屏蔽作样型比对；
(E)提供比对结果的信息与鼠标光标回馈状态。
2.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像处理单元为现场可程序逻辑门阵列、特殊应用集成电路、微处理器或应用程序。
3.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该前景图像与该背景图像为该图像处理单元取得系统提供用户预先设定的光标前景图像与背景图像。
4.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该前景图像与该背景图像通过光标特征撷取算法生成该比对的光标屏蔽，包含箭头及I字形光标屏蔽。
5.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像处理单元通过一比对单元读取该鼠标光标影像，并套用该光标屏蔽将该鼠标光标影像区分成在意区域与不在意区域，再作样型比对。
6.如权利要求5所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该步骤(D)中的鼠标光标影像比对之前，先针对该光标屏蔽作优化处理，该优化处理的方法包含下列步骤：
(D1)将该光标屏蔽中的该在意区域作图像直方图运算，并对横轴上的各亮度值区间之间作间距的计算；
(D2)从该最大的间距中取一个预设门坎值；
(D3)通过该预设门坎值进行图像二值化撷取出箭头光标及I字形光标样型，再将阴影处滤除；
(D4)将该箭头光标的箭头区域内部通过区域成长标定出来；
(D5)将该I字形光标在X轴作像素填补。
7.如权利要求6所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像直方图的横轴为表示图像不同的亮度值，纵轴为表示该亮度值的像素占该图像的比例。
8.如权利要求7所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该图像二值化的处理是以该亮度值超过预设门坎值的像素当作背景图像，反之则为前景图像，并于去除该背景图像撷取出该箭头光标及I字形光标样型。
9.如权利要求5所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该比对单元是针对该光标屏蔽中的该在意区域以颜色边界搭配图像二值化进行鼠标光标影像分割，并通过线扫描的方式逐行扫完整个鼠标光标影像，再由比对分割样型的矩阵计算得到用以判断是否为稳定的鼠标光标影像的分数门坎值。
10.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该步骤(E)中的比对结果的信息包含鼠标光标在操作画面中的位置、个数与影像的稳定程度，用以确认该鼠标光标的移动是否符合回馈与修正系统操控的位置。
11.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该步骤(E)中的该图像处理单元进行该鼠标光标回馈状态的判断方法，该判断方法包含下列步骤：
(E01)系统开始执行该鼠标光标的移动；
(E02)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间；
(E03)判断是否有找到该鼠标光标，若有，则执行步骤(E04)，若无，则执行步骤(E10)；
(E04)判断该鼠标光标是否有多重位置，若有，则执行步骤(E05)，若无，则执行步骤(E06)；
(E05)提供该鼠标光标多重位置的警报信息，再继续执行步骤(E06)；
(E06)判断该鼠标光标的位置是否正确，若是，则执行步骤(E07)，若否，则执行步骤(E15)；
(E07)判断是否有多个鼠标光标，若有，则执行步骤(E08)，若无，则执行步骤(E09)；
(E08)提供多个鼠标光标的警报信息，再继续执行步骤(E09)；
(E09)判定为该鼠标光标移动成功；
(E10)判断是否为第一次执行，若是，则执行步骤(E11)，若否，则执行步骤(E12)；
(E11)进行该鼠标光标补偿的动作，再重复执行步骤(E02)；
(E12)取得上一次该鼠标光标移动的位置信息，再继续执行步骤(E13)；
(E13)判断是否为第二次或第三次执行，若是，则执行步骤(E14)，若否，则执行步骤(E16)；
(E14)该鼠标光标返回起始位置再移动至目标位置，再重复执行步骤(E02)；
(E15)判断该鼠标光标重试次数是否已到达或已超过等待时间，若是，则重复执行步骤(E07)，若否，则重复执行步骤(E11)；
(E16)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间，再继续执行步骤(E17)；
(E17)该鼠标光标移动至安全区域，再继续执行步骤(E18)；
(E18)等待该图像处理单元回报该鼠标光标状态已稳定或已超过等待时间，再继续执行步骤(E19)；
(E19)取得上一次该鼠标光标移动的位置信息，再继续执行步骤(E20)；
(E20)判断是否有找到该鼠标光标，若无，则执行步骤(E21)，若有，则执行步骤(E22)；
(E21)提供没有找到该鼠标光标的错误信息；
(E22)判断该鼠标光标上二次移动的位置之间是否有差异，若是，则执行步骤(E23)，若否，则执行步骤(E24)；
(E23)提供无法控制该鼠标光标的错误信息；
(E24)提供失去该鼠标光标位置的错误信息。
12.如权利要求1所述的鼠标光标影像侦测比对与回馈状态判断方法，其特征在于，该步骤(E)中的该图像处理单元是将该鼠标光标回馈状态提供给软件控制系统，以进行后续侦测回馈与修正系统进行对应的处理程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910328906.9A CN111831135B (zh) | 2019-04-23 | 2019-04-23 | 鼠标光标影像侦测比对与回馈状态判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910328906.9A CN111831135B (zh) | 2019-04-23 | 2019-04-23 | 鼠标光标影像侦测比对与回馈状态判断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111831135A true CN111831135A (zh) | 2020-10-27 |
| CN111831135B CN111831135B (zh) | 2024-05-17 |
Family
ID=72911820
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910328906.9A Active CN111831135B (zh) | 2019-04-23 | 2019-04-23 | 鼠标光标影像侦测比对与回馈状态判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111831135B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113824962A (zh) * | 2021-08-29 | 2021-12-21 | 山东云海国创云计算装备产业创新中心有限公司 | 一种传输光标信息的方法、系统、设备和存储介质 |
| CN113849073A (zh) * | 2021-08-25 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 一种面向远程操控的鼠标与回传画面的同步方法及系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040001044A1 (en) * | 2002-06-28 | 2004-01-01 | Compaq Information Technologies Group, L.P. A Delaware Corporation | System and method for cursor calibration |
| US20070288584A1 (en) * | 2006-06-12 | 2007-12-13 | Quanta Computer Inc. | Transition and display system of frame image and cursor and method thereof |
| CN101673400A (zh) * | 2008-09-08 | 2010-03-17 | 索尼株式会社 | 图像处理设备、方法和程序 |
| CN101685540A (zh) * | 2008-09-26 | 2010-03-31 | 阿克塞斯股份公司 | 视频分析 |
| CN109407544A (zh) * | 2017-08-17 | 2019-03-01 | 凌华科技股份有限公司 | 非侵入式数据提取系统的仿真机台操作画面的系统模块 |
-
2019
- 2019-04-23 CN CN201910328906.9A patent/CN111831135B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040001044A1 (en) * | 2002-06-28 | 2004-01-01 | Compaq Information Technologies Group, L.P. A Delaware Corporation | System and method for cursor calibration |
| US20070288584A1 (en) * | 2006-06-12 | 2007-12-13 | Quanta Computer Inc. | Transition and display system of frame image and cursor and method thereof |
| CN101673400A (zh) * | 2008-09-08 | 2010-03-17 | 索尼株式会社 | 图像处理设备、方法和程序 |
| CN101685540A (zh) * | 2008-09-26 | 2010-03-31 | 阿克塞斯股份公司 | 视频分析 |
| CN109407544A (zh) * | 2017-08-17 | 2019-03-01 | 凌华科技股份有限公司 | 非侵入式数据提取系统的仿真机台操作画面的系统模块 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113849073A (zh) * | 2021-08-25 | 2021-12-28 | 中国船舶重工集团公司第七0九研究所 | 一种面向远程操控的鼠标与回传画面的同步方法及系统 |
| CN113824962A (zh) * | 2021-08-29 | 2021-12-21 | 山东云海国创云计算装备产业创新中心有限公司 | 一种传输光标信息的方法、系统、设备和存储介质 |
| CN113824962B (zh) * | 2021-08-29 | 2024-05-14 | 山东云海国创云计算装备产业创新中心有限公司 | 一种传输光标信息的方法、系统、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111831135B (zh) | 2024-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110209273B (zh) | 手势识别方法、交互控制方法、装置、介质与电子设备 | |
| CN111507200A (zh) | 体温检测方法、体温检测装置、及双光相机 | |
| CN113780201B (zh) | 手部图像的处理方法及装置、设备和介质 | |
| JPWO2011007390A1 (ja) | 画像処理装置、及びインターフェース装置 | |
| CN111309618A (zh) | 页面元素定位方法、页面测试方法及相关装置 | |
| JP5290227B2 (ja) | 対象物検知装置及びその学習装置 | |
| JPWO2008013050A1 (ja) | 画像処理方法、画像処理プログラム、および画像処理装置 | |
| CN107272899B (zh) | 一种基于动态手势的vr交互方法、装置及电子设备 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN113095292A (zh) | 手势识别方法、装置、电子设备及可读存储介质 | |
| CN104992481A (zh) | 基于图像识别技术的表计巡检系统及其方法 | |
| CN111831135B (zh) | 鼠标光标影像侦测比对与回馈状态判断方法 | |
| CN113111817A (zh) | 语义分割的人脸完整度度量方法、系统、设备及存储介质 | |
| CN111221996A (zh) | 仪表屏幕视觉检测方法和系统 | |
| CN110288040B (zh) | 一种基于拓扑验证的图像相似评判方法及设备 | |
| CN116126580A (zh) | 触控显示的控制方法、装置、设备及存储介质 | |
| US11114060B2 (en) | Cursor image detection comparison and feedback status determination method | |
| TWI693535B (zh) | 滑鼠游標影像偵測比對與回饋狀態判斷方法 | |
| CN117788444A (zh) | Smt贴片偏移检测方法、装置及视觉检测系统 | |
| CN117788394A (zh) | 电力设备的状态检测方法、装置、设备及存储介质 | |
| JP2021182320A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN116229236A (zh) | 一种基于改进YOLO v5模型的结核杆菌检测方法 | |
| CN113807191B (zh) | 一种非侵入式可视化测试脚本自动录制方法 | |
| CN110286825B (zh) | 一种基于机器视觉的机械式全自动鼠标操作装置 | |
| JP2013168072A (ja) | 支援装置、支援プログラムおよび支援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |