CN109407544A - 非侵入式数据提取系统的仿真机台操作画面的系统模块 - Google Patents
非侵入式数据提取系统的仿真机台操作画面的系统模块 Download PDFInfo
- Publication number
- CN109407544A CN109407544A CN201810426915.7A CN201810426915A CN109407544A CN 109407544 A CN109407544 A CN 109407544A CN 201810426915 A CN201810426915 A CN 201810426915A CN 109407544 A CN109407544 A CN 109407544A
- Authority
- CN
- China
- Prior art keywords
- board
- machine
- picture
- operation screen
- data extraction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013075 data extraction Methods 0.000 title claims abstract description 58
- 238000004088 simulation Methods 0.000 title claims abstract description 15
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000010276 construction Methods 0.000 claims abstract description 18
- 239000000284 extract Substances 0.000 claims abstract description 10
- 238000004891 communication Methods 0.000 claims description 25
- 238000000605 extraction Methods 0.000 claims description 11
- 239000000872 buffer Substances 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 claims description 3
- 230000008901 benefit Effects 0.000 claims description 2
- 238000012790 confirmation Methods 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000003754 machining Methods 0.000 description 2
- 230000007257 malfunction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101000822695 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C1 Proteins 0.000 description 1
- 101000655262 Clostridium perfringens (strain 13 / Type A) Small, acid-soluble spore protein C2 Proteins 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 101100370002 Mus musculus Tnfsf14 gene Proteins 0.000 description 1
- 101000655256 Paraclostridium bifermentans Small, acid-soluble spore protein alpha Proteins 0.000 description 1
- 101000655264 Paraclostridium bifermentans Small, acid-soluble spore protein beta Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000005622 photoelectricity Effects 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 239000011535 reaction buffer Substances 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供一种架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，应用于机台控制器，该系统模块的影像捕获设备为可接收机台控制器所输出原始的操作画面，并传送至非侵入式数据提取系统及高速图像处理单元提取操作画面中的信息，使软件控制系统在基于非侵入式数据提取系统的架构下，可以实时提取机台控制器的操作信息，从而建构机台操作流程产生对应的机台仿真操作画面，且影像输出装置输出至机台控制器的屏幕，同时通过高速图像处理单元的辅助提供现场操作人员实时获得机台相关操作信息，包含目前所执行的操作画面、鼠标光标的定位与弹出式窗口的检测，也可利用信号接收装置及人机接口仿真装置提供更精确的机台操控程序。
Description
技术领域
本发明提供一种架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，尤指基于非侵入式数据提取系统的架构下，系统模块可实时提取机台控制器的操作信息，并提供现场操作人员一个模拟的原始机台操作画面，以实时获得机台相关的操作信息。
背景技术
按，现今制造产业面临劳工短缺及环保意识的高涨、人工与经营成本的提高，并由劳力密集而转型成技术性密集的压力，业者大都是运用生产线自动化技术及治具等辅助制造，以达到缩减人力、节省制造工时而提高产能的目的，并在生产线自动化的作业中，应用厂区不同工站的加工机具或机台进行各种加工、检验、清洗、组装、品管、仓储与搬送等生产流程，以制造出所需的零组件及完成品。
再者，随着生产线自动化技术的发展，必须运用更快速的设备及开放的架构来满足使用需求，所以厂商便开发出各种适用于工业控制的工业计算机，并作为自动化设备的机台与主控装置间的控制，不过在自动化设备制造的过程中，老旧的机台控制器若要更新升级为具备联网功能的设备有其困难性，这类机台控制器升级的困难同时出现在硬设备的扩充与软件系统的修改上，因此，为了能够维持这类老旧机台正常地运作，多采用非侵入式数据提取系统(Non-invasive Data-extraction System)获取控制机台的信息。
请参阅图10所示，为现有非侵入式数据提取系统架构的示意图，由图中可清楚看出，传统的非侵入式数据提取系统多使用机台控制器输出的显示画面作为数据的来源，并将显示画面同时传输给数据提取系统与机台控制器的屏幕上，即可通过影像辨识进行感兴趣区域的提取[ROI(Region of Interest)Extraction]，以及光学字符识别(OpticalCharacter Recognition，OCR)将屏幕画面上所显示的信息转换成数字信息，且机台控制器的操控通过多计算机切换器(KVM Switch)在数据提取系统与机台控制器的键盘/鼠标间进行切换，但因其所需信息可能分布在机台控制器不同的操作画面，便需要快速地切换机台控制器的操作画面，从而提取相关的机台状态与数据，然而，在这样的情境下，现场操作人员所看到的机台操作画面多是高速的页面切换，并在实时提取机台控制器的数据同时，也使得机台进入无法操控的状态，便会造成整体功能上受到一定的限制；换言之，当现场操作人员需要操控机台时，便需要先将数据提取系统暂停后，才可以通过机台控制器操控机台，导致数据提取系统无法提取机台控制器的数据，现场操作人员反而无法实时的检视机台的状态与数据，则有待从事此行业者重新设计来加以有效解决。
发明内容
故，发明人有鉴于上述的现有数据提取系统提取机台控制器所输出操作画面数据的同时，现场操作人员便无法通过机台控制器操控机台的问题与缺失，乃搜集相关数据经由多方评估及考虑，并利用从事于此行业的多年研发经验不断试作与修改，始有此种架构于非侵入式数据提取系统以仿真机台操作画面的系统模块发明专利诞生。
本发明的主要目的乃在于在机台控制器的机台操作程序可产生操控机台原始显示的操作画面，而系统模块的影像捕获设备则可接收机台控制器所输出原始的操作画面，并传送至非侵入式数据提取系统及高速图像处理单元提取操作画面中的信息，使软件控制系统在基于非侵入式数据提取系统的架构下，可以实时提取机台控制器的操作信息，从而建构机台操作流程产生对应的机台仿真操作画面，且影像输出装置输出至机台控制器的屏幕，同时通过高速图像处理单元的辅助提供现场操作人员实时获得机台相关操作信息，包含目前所执行的操作画面、鼠标光标的定位与弹出式窗口的检测，也可利用信号接收装置及人机接口仿真装置传送对应的控制信号至机台控制器提供更精确的机台操控程序。
本发明的次要目的乃在于高速图像处理单元可以实时的提供包含下列的信息：辨识出原始的操作画面中的机台画面特征，并将辨识结果的页面识别信息(Page-ID)附注于操作画面的影像数据内，使软件控制系统依据页面识别信息周期性更新所对应的操作页面；高速比对操作画面中的鼠标光标图标影像，并在回传至软件控制系统解析的同时，也可定位出鼠标光标所在的坐标，从而确认鼠标光标的移动是否符合软件控制系统所操控的位置；以及定义影像变化的临界值，可由巨量的影像变化中检测弹出式窗口的出现，并利用弹出式窗口的检测将对应的错误、报警/警告对话框或其他相关警报消息回报至外部中央监控系统，从而回报有错误或异常状况等警报消息的发生。
本发明的另一目的乃在于软件控制系统包含编辑模式与执行模式的二种运作模式，编辑模式主要用于建构机台控制器的操作流程，并由操作流程描述机台操作画面中各个操作页面间的关系，对于每一个操作画面的规划包含下列的信息：机台操作画面中的页面识别信息，用以代表其所对应的操作页面；操作画面的影像，比对机台操作画面中所内嵌的控制组件，从而建构机台操作流程；一般控制组件的坐标与范围，标示出切换至其他操作页面的控制组件；以及首页/上一页控制组件的坐标与范围，标示出切换至首页或上一页所使用的控制组件，其中该软件控制系统可在机台操作画面自动标示出控制组件，并由预先定义的特征影像查询出首页/上一页的控制组件，且可通过人机接口仿真装置对机台控制器传送控制组件对应的指令，再以树遍历算法逐一的浏览机台操作画面中各个操作页面，从而建构机台操作程序的操作流程图，最后操作流程图便会记录所有机台操作程序的操作页面、所有内嵌在每个操作页面的控制组件及其所切换对应的操作页面。
本发明的再一目的乃在于软件控制系统的执行模式则是共生于非侵入式数据提取系统中，并由软件控制系统结合信号接收装置与机台操作流程得以解析现场操作人员对机台的操作信息，藉此可产生对应的机台模拟操作画面；当必要时，软件控制系统亦可利用人机接口仿真装置反应控制组件产生的控制信号，下达控制信号传送给机台控制程序执行现场操作人员输入的指令。
本发明的又一目的乃在于系统模块基于非侵入式数据提取系统可以提供现场操作人员一个模拟原始的机台操作画面，当现场操作人员实时的检视机台的状态及数据时，机台的数据提取不会中断；系统模块的高速图像处理单元除了可以减低软件控制系统的中央处理器(CPU)的负担外，还可以保证其图像处理的实时性，并在回传机台控制器操作画面的影像时会附上图像处理的结果，使软件控制系统可依据此结果采取对应的处理程序；高速图像处理单元回传的鼠标光标图标则可以取代原本人眼的功能，并确认鼠标光标的移动是否符合软件控制系统所操控的位置，以完成鼠标闭回路控制；软件控制系统可依据高速图像处理单元所回传鼠标光标坐标与操作画面影像辨识的结果，以提供更精确的机台控制程序，且键盘/鼠标所输入的控制信号会先由软件控制系统处理，可提供客制化的过滤器设定功能的控件，避免现场操作人员的误动作。
附图说明
图1是本发明系统模块通过非侵入式数据提取系统提取机台控制器数据输出机台仿真操作画面的方块图。
图2是本发明机台控制器执行的机台操作程序的架构图。
图3是本发明系统模块建构机台仿真操作画面的操作流程图。
图4是本发明机台模拟操作画面的主画面图。
图5是本发明校模画面的操作页面图。
图6是本发明程序编辑画面的操作页面图。
图7是本发明执行加工监视画面的操作页面图。
图8是本发明警报显示画面的操作页面图。
图9是本发明参数设定的操作页面图。
图10是现有非侵入式数据提取系统架构的示意图。
附图标记说明：1-机台控制器；11-计算机主机；111-键盘/鼠标；12-屏幕；2-非侵入式数据提取系统；21-感兴趣区域的提取；22-光学字符识别；3-系统模块；31-影像捕获设备；32-高速图像处理单元；33-软件控制系统；331-依据页面识别信息周期性更新其所对应的操作页面；332-机台控制器的操作流程；333-切换对应的操作页面；334-依据鼠标按键点击的位置查询操作流程中所对应的控制组件；34-影像输出装置；35-信号接收装置；36-人机接口仿真装置。
具体实施方式
为达成上述目的及功效，本发明所采用的技术手段及其构造，兹绘图就本发明的较佳实施例详加说明其构造与功能如下，俾利完全了解。
请参阅图1、图2、图3所示，分别为本发明系统模块通过非侵入式数据提取系统提取机台控制器数据输出机台仿真操作画面的方块图、机台控制器执行的机台操作程序的架构图及系统模块建构机台仿真操作画面的操作流程图，由图中可清楚看出，本发明的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，应用于一机台控制器1，该机台控制器1为内建有多页面控制程序的机台操作程序，而机台控制器1电性连接有包含但不限于桌面计算机、工作站、服务器、笔记本电脑或其他用于操控机台运作的控制台，并于控制面板具有一计算机主机11，且计算机主机11电性连接有一屏幕12及一键盘/鼠标111。
在本实施例中的机台控制器1电性连接的机台，以多轴细孔或深孔放电加工机为说明，但于实际应用时，并不以此为限，亦可为半导体、印刷电路板、精密电子及光电、机械制造等产业所使用的自动化设备或加工机具，而机台控制器1则可执行机台操作程序，并由机台操作程序产生机台原始显示的操作画面，若以放电加工机的操作画面为说明时，其操作画面包含可以依序是主画面、校模画面、程序编辑画面、执行加工监视画面、警报显示画面及系统参数设定画面的操作页面，亦可依设计或作业需求在上述的操作画面中加入有如坐标系统画面、诊断功能画面等的操作页面，如图4、图5、图6、图7、图8、图9所示，分别为上述的操作画面实施例的主画面与其他操作页面，便可根据操作画面呈现机台运作和生产状态等数据，例如工作模式、工作坐标、加工深度、时间、电流、脉宽等参数的数据，惟该机台控制器1的机台操作程序依据操控的机台具有不同的操作画面，并于屏幕12显示的操作画面可为机台原始的操作画面，所以在以下说明书中皆一起进行说明，合予陈明。
再者，本发明的机台控制器1电性连接有架构于非侵入式数据提取系统2的系统模块3，而系统模块3包含一影像捕获设备31、一高速图像处理单元32、一软件控制系统33、一影像输出装置34、一信号接收装置35及一人机接口(Human Interface Device，HID)仿真装置36，其中该软件控制系统33可驱动影像捕获设备31接收机台控制器1所输出的机台操作程序原始显示的操作画面影像同时传送至非侵入式数据提取系统2，以及高速图像处理单元32进行处理，主要作为光学字符识别软件(OCR Software)的影像数据源，并由非侵入式数据提取系统2对操作画面的影像进行感兴趣区域的提取21，以及光学字符识别22将该影像所显示的信息转换成数字信息，而高速图像处理单元32则为影像捕获设备31所提取的机台操作画面影像的后级处理单元，并将相关的图像处理算法建构于其包含现场可程序逻辑门阵列(Field Programmable Gate Array，FPGA)、特殊应用集成电路(Application-Specific Integrated Circuit，ASIC)/特定用途芯片(Application-Specific StandardProduct，ASSP)或微处理器等芯片或电路内部，便可提供高速影像辨识、比对、运动侦测及鼠标光标位置的定位等功能，以及周期性更新上述机台操作画面中所对应的操作页面。
然而，上述的非侵入式数据提取系统2主要用于提取操作画面中的信息，并于系统模块3的软件控制系统33接收非侵入式数据提取系统2所提取的数字信息，同时通过高速图像处理单元32先辨识出原始的操作画面中的机台画面特征(Specific Page-Pattern)信息，再将辨识结果所得到页面识别信息(Page-ID)属性数据附注或标示于操作画面的影像数据内，使软件控制系统33可依据页面识别信息得以在每一个周期正确的周期性更新所对应的操作页面331，并将影像捕获设备31所提取的机台操作画面影像储存于软件控制系统33内建的缓存器(Buffer)内，且机台操作画面为影像输出装置34所输出至机台控制器1的暂存影像，例如典型的客户端(Producer)-服务端(Consumer)工作模式，利用缓存器作为数据缓存的功能，而软件控制系统33则可接收非侵入式数据提取系统2所提取的全部或部分数字信息，并解析高速图像处理单元32回传的机台操作信息，并经过后制处理以产生机台模拟操作画面，例如可在机台操作画面中加上鼠标光标及键盘输入等效果，或者是机台操作画面中各个操作页面可内嵌有对话框(Dialog Box)、按键(Button)或数据列表(DataList)等控制组件，并为其控制组件链接特定的处理函式。
此外，信号接收装置35用于接收来自实体键盘/鼠标111所输入的控制信号，并将控制信号通过HID数据缓冲器(HID Data Buffer)，以及HID检测(Detection)/数据转寄(Data Forwarder)功能传送至软件控制系统33进行处理，再依据鼠标按键点击(Mouse-Clicking)的位置查询操作流程中所对应的控制组件334，也可暂存键盘输入(Key-in)的数据，而人机接口仿真装置36则可以软件控制系统33的微控制器(MCU)仿真键盘/鼠标传送对应的控制信号，并由HID数据缓冲器暂存控制信号，以及HID检测/数据转寄功能依据鼠标光标移动(Mouse-Moving)与鼠标点击位置反应键盘/鼠标输入的控制信号，使软件控制系统33可利用人机接口仿真装置36将反应鼠标光标移动与鼠标点击控制组件产生的控制信号传送至机台控制器1的计算机主机11，并在软件控制系统33依据控制组件切换至其所对应的操作页面时，可利用键盘进行实际的数据输入。
在本实施例中的高速图像处理单元32可以实时的提供包含下列的信息：辨识出原始的操作画面中的机台画面特征，并将辨识结果的页面识别信息附注于操作画面的影像数据内，使软件控制系统33依据页面识别信息周期性更新其所对应的操作页面331；高速比对操作画面中的鼠标光标图标影像，并在回传至软件控制系统33解析的同时，也可定位出鼠标光标(Mouse Cursor Lacator)所在的坐标，从而确认鼠标光标的移动是否符合软件控制系统33所操控的位置；以及定义影像变化的临界值，可由巨量的影像变化中检测弹出式窗口的出现，并利用弹出式窗口的检测(Pop-Up Window Detection)将对应的错误、报警/警告对话框(Alarm/Warning Message-Box)或其他相关的警报消息回报至外部中央监控系统[如计算机整合制造(Computer Integrated Manufacturing，CIM)、制造执行系统(Manufacturing Execution System，MES)或其他计算机制成整合系统]，从而回报有错误或异常状况等警报消息的发生；
其中该机台画面特征指的是用户依据每个机台操作画面所预先设定足以代表该操作画面的特征影像，并于单一画面(如主画面、操作页面等)可以有多个特征影像，对于影像捕获设备31所提取的机台操作画面，高速图像处理单元32可将该些特征影像回传至软件控制系统33来解析现场操作人员通过机台控制器1对机台的控制；而影像变化的临界值指的是用来界定操作画面的影像是否趋于稳定的临界值，例如可以检测弹出式窗口的出现，并避免高速图像处理单元32提取正在“换页中”的机台操作画面产生非预期的误动作。
如上所述，软件控制系统33包含编辑模式与执行模式的二种运作模式，其中该编辑模式主要用于建构机台控制器1的操作流程332，并由操作流程可描述机台操作画面中各个操作页面间的关系，对于每一个操作画面需事先规划包含下列的信息：机台操作画面中的页面识别信息，用以代表其所对应的操作页面；操作画面的影像，比对机台操作画面中内嵌的控制组件，从而建构机台操作流程的关系；一般控制组件的坐标与范围，标示出切换至其他操作页面的控制组件；以及首页(
Home)/上一页(Return)控制组件的坐标与范围，标示出切换至首页或上一页所使用的特殊控制组件；其中该软件控制系统33利用影像捕获设备31提取机台操作画面的影像，以及高速图像处理单元32所回传的机台操作信息，使软件控制系统33可通过影像识别、比对、分析等方式，在机台操作画面中自动标示出可能的控制组件，例如按键、显示灯号等，并由预先定义的特征影像(Image Pattern)可以查询出首页/上一页的控制组件，且可利用人机接口仿真装置36对机台控制器1传送反应鼠标光标移动与鼠标点击控制组件对应的指令，再以树遍历算法(Tree Traversal Algorithm)对树状数据结构所有节点进行逐一访问，便可完整的浏览机台操作画面中各个操作页面，从而建构整个机台操作程序的操作流程图，最后，操作流程图便会记录所有机台操作程序的操作页面、所有内嵌在每个操作页面的控制组件及其所切换对应的操作页面333，且可解析高速图像处理单元32所回传图像处理后的机台操作信息，得以更新软件控制系统33状态。
而软件控制系统33的执行模式则是共生于非侵入式数据提取系统2中，并利用影像捕获设备31提取机台控制器1的机台控制程序所输出机台操作画面的影像，且非侵入式数据提取系统2提取操作画面中的信息，再依据高速图像处理单元32回传的页面识别信息周期性更新其所对应的操作页面331，便可通过软件控制系统33结合信号接收装置35与机台操作流程得以解析现场操作人员对机台的操作信息，藉此产生对应的机台模拟操作画面；当必要时，软件控制系统33亦可利用人机接口仿真装置36将反应鼠标光标移动与鼠标点击控制组件产生的控制信号传送至机台控制器1，用以下达控制信号的指令传送给机台控制程序执行现场操作人员输入的指令。
如图2、图3所示，在本实施例中的机台控制器1于机台操作程序所产生的操作画面间的切换都有对应的按键/热键，因此，每一个操作画面需要记录与其他操作页面的关系，例如在主画面中，对于系统参数设定画面(如图9所示)除了需要记录所使用的热键(F6)外，同时也需要标记所对应该按键的坐标与范围，而完整的机台操作画面与其他操作页面的标示，如图2、图3所示，当软件控制系统33经由信号接收装置35接收到来自计算机主机11的键盘/鼠标111的控制信号时，例如鼠标按键点击或键盘按压的热键等，便可通过比对高速图像处理单元32回传机台操作信息中每个操作页面所标示的数据，采取对应的处理，例如首页/上一页的控制组件切换操作页面，当每个操作页面与其他操作页面的关系都能明确的定义后，使用者就能依据该些操作页面间的关系，为软件控制系统33规划出一条可完整的浏览机台操作画面中各个操作页面的途径，即为软件控制系统33对机台控制器1所建构整个机台操作程序的操作流程图；再者，上述的机台操作画面中切换各个操作画面所使用对应的按键/热键包含但不限于按键一～七、热键F1～F7，且各操作画面实际上使用对应的按键/热键及其依序切换的方式等，亦可依据特定的使用状况或权限进行相关的设定，所以在本说明书中仅作一简单叙述，不因图式图2-图9中所揭露的示例性实施例而限制。
在本实施例中，当现场操作人员在操作计算机主机11的键盘/鼠标111时，可由信号接收装置35接收实体键盘/鼠标111输入的控制信号，并将输入的数据传送至软件控制系统33接收进行处理，如果仅是操作页面的转换，软件控制系统33负责由储存于其缓存器内的机台操作画面影像取出对应的机台操作画面，若是涉及机台参数设定画面的设定时，除了反应在软件控制系统33的输入控件外，其所输入的数据数据会先暂存于软件控制系统33的缓存器内，并在软件控制系统33将机台操作画面切换至目标操作页面时，便可利用人机接口仿真装置36对机台控制器1的机台控制程序进行传送控制信号的指令，以执行现场操作人员实际的数据输入。
在本实施例中，软件控制系统33利用下列的操作程序来实现机台控制器1对机台操作仿真的功能：在每次非侵入式数据提取系统2周期性提取操作画面信息的循环中，可以储存影像捕获设备31所提取的机台操作画面；解析高速图像处理单元32所回传的机台操作信息，更新软件控制系统33的状态，包含鼠标光标位置的定位、机台操控程序目前所执行操作画面中的操作页面、对应机台操作流程在每个操作页面的控制组件记录；当检测到弹出式窗口出现时，可将对应的错误、警告对话框等警报消息回报至外部中央监控系统，亦可利用人机接口仿真装置36解除错误/警告对话框，使非侵入式数据提取系统2持续进行机台操作画面数据提取的程序；接收信号接收装置35所传送的控制信号，对应现场操作人员进行的鼠标按键点击比对机台操作流程中控制组件的范围与点击的坐标位置，并依据机台操作流程确认出鼠标点击的位置在控制组件有效范围内，则可利用影像输出装置34来将控制组件所链接的机台模拟操作画面输出至机台控制器1的屏幕12；利用信号接收装置35暂存对应现场操作人员进行的键盘输入数据，并在切换至对应的操作页面时，可利用人机接口仿真装置36对机台控制器1进行实际的数据输入。
由于现场操作人员经由机台控制器1所输入的键盘的控制信号，可利用信号接收装置35接收传送至软件控制系统33进行处理，并由人机接口仿真装置36再转发给机台控制器1，因此，可依据特定的使用状况或权限设定软件控制系统33上的控件，例如对设备工程师仅开放机台参数设定的功能；而对作业员的权限，则可以过滤所有设定功能的控件，只允许作业员浏览机台状态及数据。
因此，本发明主要针对机台控制器1的机台操作程序可以产生机台原始的操作画面，基于非侵入式数据提取系统2的架构下，可利用系统模块3的影像捕获设备31接收机台控制器1所输出的操作画面，并传送至非侵入式数据提取系统2及高速图像处理单元32提取操作画面中的信息，使软件控制系统33可以实时提取机台控制器1的操作信息，从而建构机台操作流程产生对应的机台仿真操作画面，且影像输出装置34输出至机台控制器1的屏幕12，同时通过高速图像处理单元32的辅助可提供现场操作人员实时获得机台相关的操作信息，包含目前所执行的操作画面、鼠标光标的定位与弹出式窗口的检测，也可利用信号接收装置34及人机接口仿真装置35提供更精确的机台操控程序。
上述详细说明为针对本发明一种较佳的可行实施例说明而已，惟该实施例并非用以限定本发明的申请专利范围，凡其他未脱离本发明所揭示的技艺精神下所完成的均等变化与修饰变更，均应包含于本发明所涵盖的专利范围内。
Claims (14)
1.一种架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，应用于一机台控制器，用以操控机台，该系统模块包含：
一影像捕获设备，用于接收该机台控制器的机台控制程序输出原始的操作画面，并传送至该非侵入式数据提取系统提取机台操作画面中的信息；
一高速图像处理单元，接收机台操作画面，用于提供图像处理后的机台操作信息，包含：辨识出操作画面中的机台画面特征，并将辨识结果的页面识别信息附注于操作画面的影像数据内；高速比对操作画面中的鼠标光标图标，并定位鼠标光标所在的坐标；以及定义影像变化的临界值，用于检测弹出式窗口的出现；
一软件控制系统，接收该非侵入式数据提取系统的信息，并解析该高速图像处理单元所回传的机台操作信息，包含：依据页面识别信息周期性更新操作画面中所对应的操作页面，比对操作页面中所内嵌控制组件的坐标与范围，从而建构机台操作流程产生对应的机台模拟操作画面；当该高速图像处理单元检测到弹出式窗口的出现时回报对应的警报消息；
一影像输出装置，用于将该控制组件所链接的机台模拟操作画面输出至该机台控制器的屏幕；
一信号接收装置，用于将该机台控制器所输入的键盘/鼠标控制信号传送至该软件控制系统进行处理，并依据鼠标按键点击的位置查询操作流程中所对应的控制组件；以及
一人机接口仿真装置，用于仿真键盘/鼠标传送对应的控制信号至该机台控制器执行输入的指令。
2.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该机台控制器具有一计算机主机及其电性连接的一屏幕，且计算机主机电性连接有一键盘/鼠标。
3.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该机台控制器为内建有机台操作程序，并由机台操作程序产生机台原始显示的操作画面，且操作画面包含包括但不限于主画面、校模画面、程序编辑画面、执行加工监视画面、警报显示画面及系统参数设定画面的操作页面。
4.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该非侵入式数据提取系统用于接收该机台控制器所输出的机台控制程序原始的操作画面，并对操作画面的影像进行感兴趣区域提取，以及光学字符识别来将影像所显示的信息转换成数字信息。
5.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的影像捕获设备提取的机台操作画面影像为储存于软件控制系统内建的缓存器内，是影像输出装置所输出至机台控制器的暂存影像。
6.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的高速图像处理单元为影像捕获设备所提取的机台操作画面影像的后级处理单元，并将图像处理算法建构于包含现场可程序逻辑门阵列、特殊应用集成电路/特定用途芯片或微处理器内。
7.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的高速图像处理单元辨识的机台画面特征是用户依据每个机台操作画面预先设定的特征影像，并将该些特征影像回传至软件控制系统解析现场操作人员通过机台控制器对机台的控制，而影像变化的临界值系用来界定操作画面的影像是否趋于稳定的临界值，从而检测弹出式窗口的出现。
8.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的软件控制系统包含编辑模式与执行模式，编辑模式用于建构机台控制器的操作流程，并由操作流程描述机台操作画面中各个操作页面间的关系，而执行模式则是共生于非侵入式数据提取系统中，并由软件控制系统结合信号接收装置与机台操作流程得以解析现场操作人员对机台的操作信息，藉此产生对应的机台模拟操作画面，也可利用人机接口仿真装置反应控制组件产生的控制信号传送至机台控制器。
9.如权利要求8所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该软件控制系统的编辑模式对于每一个操作画面规划包含下列的信息：机台操作画面中的页面识别信息，用以代表其所对应的操作页面；操作画面的影像，比对机台操作画面中所内嵌的控制组件，从而建构机台操作流程；一般控制组件的坐标与范围，标示出切换至其他操作页面的控制组件；以及首页/上一页控制组件的坐标与范围，标示出切换至首页或上一页所使用的控制组件。
10.如权利要求9所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该软件控制系统可在机台操作画面自动标示出控制组件，并由预先定义的特征影像可查询出首页/上一页的控制组件，且人机接口仿真装置对机台控制器传送控制组件对应的指令，再以树遍历算法逐一的浏览机台操作画面中各个操作页面，从而建构机台操作程序的操作流程图，最后操作流程图便会记录所有机台操作程序的操作页面、所有内嵌在每个操作页面的控制组件及其所切换对应的操作页面。
11.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的软件控制系统可储存影像捕获设备所提取的机台操作画面，并解析高速图像处理单元回传的机台操作信息更新状态，包含鼠标光标位置的定位、机台操控程序目前执行操作画面中的操作页面、对应机台操作流程每个操作页面的控制组件记录。
12.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的软件控制系统在高速图像处理单元检测到弹出式窗口的出现时，可将对应的错误、警告对话框的警报消息回报至外部中央监控系统有错误或状况的发生，且可利用人机接口仿真装置解除警报消息，使非侵入式数据提取系统持续进行机台操作画面数据提取的程序。
13.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的软件控制系统可接收信号接收装置所传送的控制信号，对应现场操作人员进行的鼠标按键点击比对机台操作流程中控制组件的范围与点击的坐标位置，并依据机台操作流程确认鼠标点击的位置在控制组件有效范围内，则可利用影像输出装置将控制组件所链接的机台模拟操作画面输出至机台控制器的屏幕。
14.如权利要求1所述的架构于非侵入式数据提取系统以仿真机台操作画面的系统模块，其中该系统模块的软件控制系统可由信号接收装置暂存对应现场操作人员进行的键盘输入数据，并在切换至对应的操作页面时，可利用人机接口仿真装置对机台控制器进行实际的数据输入。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106128004 | 2017-08-17 | ||
| TW106128004 | 2017-08-17 | ||
| TW106142245A TWI650638B (zh) | 2017-08-17 | 2017-12-01 | 架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組 |
| TW106142245 | 2017-12-01 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109407544A true CN109407544A (zh) | 2019-03-01 |
| CN109407544B CN109407544B (zh) | 2021-07-30 |
Family
ID=65361550
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810426915.7A Active CN109407544B (zh) | 2017-08-17 | 2018-05-07 | 非侵入式数据提取系统的仿真机台操作画面的系统模块 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10740122B2 (zh) |
| CN (1) | CN109407544B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831135A (zh) * | 2019-04-23 | 2020-10-27 | 凌华科技股份有限公司 | 鼠标光标影像侦测比对与回馈状态判断方法 |
| CN113723376A (zh) * | 2021-11-02 | 2021-11-30 | 杭州未名信科科技有限公司 | 智能屏显数据采集方法、装置、设备及存储介质 |
| CN114124301A (zh) * | 2021-11-17 | 2022-03-01 | 中国地质大学（武汉） | 一种具有数据校验和错误重传机制的虚拟媒体传输系统 |
| CN115331326A (zh) * | 2021-05-11 | 2022-11-11 | 凌华科技股份有限公司 | 弹出视窗的非侵入式共享处理方法及系统 |
| CN115718670A (zh) * | 2023-01-06 | 2023-02-28 | 无锡芯享信息科技有限公司 | 一种面向半导体无尘室自动化代操作系统和方法 |
| CN116257005A (zh) * | 2023-01-25 | 2023-06-13 | 杭州银湖冠天智能科技有限公司 | 将孤岛设备非侵入式接入cim控制的系统 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI765706B (zh) * | 2021-05-11 | 2022-05-21 | 凌華科技股份有限公司 | 彈出視窗的非侵入式共享處理方法及系統 |
| US20230099239A1 (en) * | 2021-09-24 | 2023-03-30 | Rockwell Automation Technologies, Inc. | Supplying hmi snapshots from industrial automation environments as input to machine learning models |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309011A (ja) * | 1993-04-08 | 1994-11-04 | Internatl Business Mach Corp <Ibm> | Ｆａシステムの生産セル制御装置 |
| US20050209892A1 (en) * | 2004-03-19 | 2005-09-22 | Miller Jonathan K | [Automated system and method for providing accurate, non-invasive insurance status verification] |
| CN102221899A (zh) * | 2010-04-15 | 2011-10-19 | 宏正自动科技股份有限公司 | 管理多台计算机的操作接口、操作方法及其程序产品 |
| US20130174064A1 (en) * | 2012-01-04 | 2013-07-04 | Fujitsu Limited | Computer readable recording medium storing display control program and display control apparatus |
| US20160098596A1 (en) * | 2014-10-03 | 2016-04-07 | Xerox Corporation | Methods and systems for processing documents |
| CN105988924A (zh) * | 2015-02-10 | 2016-10-05 | 中国船舶工业综合技术经济研究院 | 一种非侵入式嵌入式软件图形用户界面自动化测试方法 |
| TW201643578A (zh) * | 2015-06-10 | 2016-12-16 | Yessing Machinery Co Ltd | 透過遠端行動裝置進行監控與獲得產能資訊的控制系統 |
| US20170056768A1 (en) * | 2014-02-28 | 2017-03-02 | Sony Interactive Entertainment Inc. | Information processing device, information processing system, correction method, control method, correction program, control program and recording medium |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN106655160A (zh) * | 2016-10-27 | 2017-05-10 | 国家电网公司 | 一种非侵入式电力负荷分解的辨识决策方法及系统 |
| CN106970720A (zh) * | 2016-09-26 | 2017-07-21 | 中国人民解放军军械工程学院 | 一种虚拟仿真器及单机多鼠标独立并行操控方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6640249B1 (en) * | 1999-08-31 | 2003-10-28 | Accenture Llp | Presentation services patterns in a netcentric environment |
-
2018
- 2018-05-07 CN CN201810426915.7A patent/CN109407544B/zh active Active
- 2018-07-20 US US16/040,982 patent/US10740122B2/en active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309011A (ja) * | 1993-04-08 | 1994-11-04 | Internatl Business Mach Corp <Ibm> | Ｆａシステムの生産セル制御装置 |
| US20050209892A1 (en) * | 2004-03-19 | 2005-09-22 | Miller Jonathan K | [Automated system and method for providing accurate, non-invasive insurance status verification] |
| CN102221899A (zh) * | 2010-04-15 | 2011-10-19 | 宏正自动科技股份有限公司 | 管理多台计算机的操作接口、操作方法及其程序产品 |
| US20130174064A1 (en) * | 2012-01-04 | 2013-07-04 | Fujitsu Limited | Computer readable recording medium storing display control program and display control apparatus |
| US20170056768A1 (en) * | 2014-02-28 | 2017-03-02 | Sony Interactive Entertainment Inc. | Information processing device, information processing system, correction method, control method, correction program, control program and recording medium |
| US20160098596A1 (en) * | 2014-10-03 | 2016-04-07 | Xerox Corporation | Methods and systems for processing documents |
| CN105988924A (zh) * | 2015-02-10 | 2016-10-05 | 中国船舶工业综合技术经济研究院 | 一种非侵入式嵌入式软件图形用户界面自动化测试方法 |
| TW201643578A (zh) * | 2015-06-10 | 2016-12-16 | Yessing Machinery Co Ltd | 透過遠端行動裝置進行監控與獲得產能資訊的控制系統 |
| CN106970720A (zh) * | 2016-09-26 | 2017-07-21 | 中国人民解放军军械工程学院 | 一种虚拟仿真器及单机多鼠标独立并行操控方法 |
| CN106491251A (zh) * | 2016-09-27 | 2017-03-15 | 中国医学科学院生物医学工程研究所 | 一种基于非侵入式脑机接口机器臂控制系统及其控制方法 |
| CN106655160A (zh) * | 2016-10-27 | 2017-05-10 | 国家电网公司 | 一种非侵入式电力负荷分解的辨识决策方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| DAVID HEISE 等: "Monitoring pulse and respiration with a non-invasive hydraulic bed sensor", 《2010 ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY》 * |
| 朱德省 等: "非侵入式电力负荷的辨识和监测", 《电测与仪表》 * |
| 王庚中: "基于数码相机的非侵入式图像源辨识研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111831135A (zh) * | 2019-04-23 | 2020-10-27 | 凌华科技股份有限公司 | 鼠标光标影像侦测比对与回馈状态判断方法 |
| CN111831135B (zh) * | 2019-04-23 | 2024-05-17 | 凌华科技股份有限公司 | 鼠标光标影像侦测比对与回馈状态判断方法 |
| CN115331326A (zh) * | 2021-05-11 | 2022-11-11 | 凌华科技股份有限公司 | 弹出视窗的非侵入式共享处理方法及系统 |
| CN113723376A (zh) * | 2021-11-02 | 2021-11-30 | 杭州未名信科科技有限公司 | 智能屏显数据采集方法、装置、设备及存储介质 |
| CN114124301A (zh) * | 2021-11-17 | 2022-03-01 | 中国地质大学（武汉） | 一种具有数据校验和错误重传机制的虚拟媒体传输系统 |
| CN115718670A (zh) * | 2023-01-06 | 2023-02-28 | 无锡芯享信息科技有限公司 | 一种面向半导体无尘室自动化代操作系统和方法 |
| CN116257005A (zh) * | 2023-01-25 | 2023-06-13 | 杭州银湖冠天智能科技有限公司 | 将孤岛设备非侵入式接入cim控制的系统 |
| CN116257005B (zh) * | 2023-01-25 | 2023-10-10 | 杭州银湖冠天智能科技有限公司 | 将孤岛设备非侵入式接入cim控制的系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109407544B (zh) | 2021-07-30 |
| US10740122B2 (en) | 2020-08-11 |
| US20190056962A1 (en) | 2019-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109407544A (zh) | 非侵入式数据提取系统的仿真机台操作画面的系统模块 | |
| CN100555185C (zh) | 功能命令系统、功能命令装置、功能命令分析系统、演示系统及功能命令分析方法 | |
| CN109426353A (zh) | 架构于非侵入式数据撷取系统客制化显示画面的系统模块 | |
| CN106843124A (zh) | 一种自动化仓库三维实时监控方法和系统 | |
| CN203241253U (zh) | 触摸屏电子设备交互界面自动测试系统 | |
| CN110554831B (zh) | 操作同步方法、装置、设备及存储介质 | |
| CN102819391B (zh) | 一种多场景下具有并行性的多点触摸手势反馈系统及方法 | |
| CN106970720A (zh) | 一种虚拟仿真器及单机多鼠标独立并行操控方法 | |
| CN107330143B (zh) | 采用ar技术检查pcba的方法及装置 | |
| CN104750498A (zh) | 一种控制鼠标模块的方法及电子设备 | |
| CN105159537A (zh) | 基于多屏的实时独立交互系统 | |
| CN104395843B (zh) | 自动操作系统及操作自动化方法 | |
| CN109697002A (zh) | 一种在虚拟现实中对象编辑的方法、相关设备及系统 | |
| CN110908627A (zh) | 投屏方法及第一电子设备 | |
| CN107370823A (zh) | 数据采集及远程控制方法、装置和计算机可读存储介质 | |
| CN106601217A (zh) | 一种交互式乐器演奏方法及装置 | |
| CN110246327A (zh) | 遥控器的检测方法及装置、存储介质、处理器 | |
| CN109669710A (zh) | 便签处理方法及终端 | |
| CN113050501A (zh) | 一种车间虚拟监控系统及服务终端 | |
| TW201913373A (zh) | 架構於非侵入式資料擷取系統以模擬機台操作畫面的系統模組 | |
| CN115951973B (zh) | 模型处理方法、装置、终端设备及存储介质 | |
| CN207099116U (zh) | 数据采集及远程控制装置 | |
| CN106445430A (zh) | 用于交互界面的即时光色渲染系统和渲染方法及其应用 | |
| CN108037834A (zh) | 基于体感控制的可视化交互管理系统 | |
| CN115098747A (zh) | 游戏中场景资源的处理方法、装置、可读存储介质和电子装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |