CN103488158B - 一种基于机器视觉的虚拟人机操作界面系统及构建方法 - Google Patents
一种基于机器视觉的虚拟人机操作界面系统及构建方法 Download PDFInfo
- Publication number
- CN103488158B CN103488158B CN201310475409.4A CN201310475409A CN103488158B CN 103488158 B CN103488158 B CN 103488158B CN 201310475409 A CN201310475409 A CN 201310475409A CN 103488158 B CN103488158 B CN 103488158B
- Authority
- CN
- China
- Prior art keywords
- hmi
- sprite
- display
- virtual
- client
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明公开了一种基于机器视觉的虚拟人机操作界面系统及构建方法，包括以下步骤：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；对HMI显示器显示的各子画面进行初始图像采集；对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。该方法通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间及监控内容，保证重要数据不泄密。
Description
技术领域
本发明属于工业自动化技术领域，涉及一种基于机器视觉的虚拟人机操作界面系统及构建方法。
背景技术
在工业自动化生产过程中，人机操作界面（HMI）是一种很重要的计算机程序，它可以显示在生产过程中的生产状态。同时，生产操作人员可以利用其进行生产参数设置及生产状态改变；工程技术人员和工艺人员可以从人机操作界面上对生产运行状况进行简单故障的诊断。
多方进行HMI监控，一般需要在多台机器上安装HMI程序。由于HMI和PLC进行数据交换，占用了可编程逻辑控制器（PLC）一定的计算负荷，也占用了一定的网络带宽。因此，从网络和PLC负荷角度出发，对安装HMI客户端的数量都会有一定限制；另一方面，出于对计算机安全和生产数据保密因素的考虑，厂方不想外部计算机连入HMI所在网络进行监控，这样从场外进行HMI监控也存在一定问题。
发明内容
有鉴于此，本发明的目的在于提供一种基于机器视觉的虚拟人机操作界面系统及构建方法，该方法和系统通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建。
为达到上述目的，本发明提供如下技术方案：
一种基于机器视觉的虚拟人机操作界面构建方法，包括以下步骤：步骤一：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二：对HMI显示器显示的各子画面进行初始图像采集；步骤三：对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；步骤四：对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；步骤五：虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
进一步，在步骤二中，对HMI各子画面进行初始图像采集，对各子画面分别得到多幅图像，保证采集到各子画面各个状态的全部集合。
进一步，步骤三具体包括：对初次图像采集得到的HMI各子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；将各HMI子画面背景图片、状态位置及状态样本及类别传送给虚拟HMI的客户端。
进一步，在步骤四中，采集视频帧率大于HMI画面设定变化频率的两倍。
进一步，在步骤四中，结合采集到的每一帧HMI画面，在服务器上进行子画面类别的识别；对于采集到的HMI画面和识别得到的子画面背景图片进行比较得到数字、颜色及箭头方向的变化区域；利用模式识别算法对变化区域进行识别，识别出状态类别及数字。
进一步，在步骤五中，将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
本发明还提供了一种基于机器视觉的虚拟人机操作界面系统，包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
进一步，摄像机采集视频帧率大于HMI画面设定变化频率的两倍。
本发明的有益效果在于：本发明通过监控HMI的显示器进行数据采集，在单独的网络上进行HMI画面重建，既不占用PLC所在网络的带宽，也可以让生产方控制监控方的监控时间及监控内容，保证重要数据不泄密。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
图1为本发明所述系统的结构示意图；
图2为本发明所述方法的流程示意图。
具体实施方式
下面将结合附图，对本发明的优选实施例进行详细的描述。
图1为本发明所述系统的结构示意图，如图所示，该系统包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
图2为本发明所述方法的流程示意图，该方法包括以下步骤：步骤一：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；步骤二：对HMI显示器显示的各子画面进行初始图像采集；步骤三：对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；步骤四：对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；步骤五：虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
下面通过一个实施例来说明系统的工作流程。
S1）一台运行HMI程序的计算机连接19寸以上的LED显示器，HMI画面更新时间为100ms。在HMI显示器正前方安装一台千兆以太网彩色cmos工业摄像机，分辨率1400×1024，保证摄像机正对显示器，位置固定不变，拍摄区域刚好覆盖整个HMI显示器。摄像机采样频率为30Hz。一台计算机作为虚拟HMI服务器，一台计算机作为虚拟HMI客户端，工业摄像机、虚拟HMI服务器、虚拟HMI客户机通过一台交换机组成独立的局域计算机网络。
S2）通过工业摄像机对HMI各子画面采集一定数量图像，保证样本图像包含诸如颜色、箭头方向等各个状态的全部集合。
S3）对初次图像采集得到的HMI子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；
S4）对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向等状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；
S5）标记区域的颜色、箭头等状态的全部样本，并给予子画面种类及状态类别标记；
S6)将各HMI子画面背景图片、状态位置及状态样本及类别传递给虚拟HMI的客户端；
S7）实时进行HMI图像采集，采集视频帧率大于HMI画面设定变化频率的二倍。
S8）结合采集得到每一帧HMI画面，在视频处理服务器上进行子画面类别的识别；
S9）对于采集得到的HMI画面和识别得到的子画面背景图片进行比较得到数字及颜色、箭头方向等状态的变化区域；
S10）利用模式识别算法对变化区域进行识别，识别出状态类别及数字；
S11)将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
最后说明的是，以上优选实施例仅用以说明本发明的技术方案而非限制，尽管通过上述优选实施例已经对本发明进行了详细的描述，但本领域技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离本发明权利要求书所限定的范围。
Claims (8)
1.一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：包括以下步骤：
步骤一：在一台HMI显示器正前方装置摄像头，摄像区域覆盖整个HMI显示器；
步骤二：对HMI显示器显示的各子画面进行初始图像采集；
步骤三：对步骤二中采集到的各子画面初始图像进行处理并将图片信息传递给虚拟HMI客户端；
步骤四：对HMI显示器显示的图像进行实时采集，并利用图像处理和模式识别算法对数据进行提取和识别；
步骤五：虚拟HMI客户端将步骤三中得到的初始子画面信息与步骤四中得到的数据信息进行合并，从而在虚拟HMI客户端上进行HMI重建。
2.根据权利要求1所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：在步骤二中，对HMI各子画面进行初始图像采集，对各子画面分别得到多幅图像，保证采集到各子画面各个状态的全部集合。
3.根据权利要求2所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：步骤三具体包括：对初次图像采集得到的HMI各子画面图像，通过手动处理得到各子画面的背景图片，并给出背景图片的子画面类别标记；对初次采集得到的各HMI子画面图像进行手动分割，分割出感兴趣的颜色、箭头方向状态监控区域及过程数据区域，标记这些区域的位置及对应子画面种类；标记区域的颜色、箭头状态的全部样本，并给予子画面种类及状态类别标记；将各HMI子画面背景图片、状态位置及状态样本及类别传送给虚拟HMI的客户端。
4.根据权利要求3所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：在步骤四中，采集视频帧率大于HMI画面设定变化频率的两倍。
5.根据权利要求4所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：在步骤四中，结合采集到的每一帧HMI画面，在服务器上进行子画面类别的识别；对于采集到的HMI画面和识别得到的子画面背景图片进行比较得到数字、颜色及箭头方向的变化区域；利用模式识别算法对变化区域进行识别，识别出状态类别及数字。
6.根据权利要求5所述的一种基于机器视觉的虚拟人机操作界面构建方法，其特征在于：在步骤五中，将子画面类别、状态类别、数字传递给客户端，客户端根据状态类别、子画面类别找到状态位置和子画面背景图片，在客户端显示器上对该类别HMI子画面背景图片的相应位置上进行数字和状态显示，显示出实时变化HMI子画面。
7.一种基于机器视觉的虚拟人机操作界面系统，其特征在于：包括摄像机、服务器、交换机及多台客户端计算机；摄像机对运行HMI的计算机显示器进行摄像监控，摄像机的摄像区域覆盖整个显示器屏幕，并将得到的视频数据传送至服务器；服务器提取HMI各子画面的背景图像，并给出类别标记；服务器对摄像机采集得到的实时视频利用图像处理和模式识别技术进行过程数据提取和识别，将过程数据提取出来，并利用背景图像在客户端计算机进行HMI重建。
8.根据权利要求7所述的一种基于机器视觉的虚拟人机操作界面系统，其特征在于：摄像机采集视频帧率大于HMI画面设定变化频率的两倍。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310475409.4A CN103488158B (zh) | 2013-10-12 | 2013-10-12 | 一种基于机器视觉的虚拟人机操作界面系统及构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310475409.4A CN103488158B (zh) | 2013-10-12 | 2013-10-12 | 一种基于机器视觉的虚拟人机操作界面系统及构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103488158A CN103488158A (zh) | 2014-01-01 |
| CN103488158B true CN103488158B (zh) | 2015-08-05 |
Family
ID=49828470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310475409.4A Active CN103488158B (zh) | 2013-10-12 | 2013-10-12 | 一种基于机器视觉的虚拟人机操作界面系统及构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103488158B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107277435A (zh) * | 2016-04-07 | 2017-10-20 | 台耀科技股份有限公司 | 一种用于工艺设备的监测装置及其方法 |
| CN107687812A (zh) * | 2017-09-19 | 2018-02-13 | 南通爱慕希机械股份有限公司 | 一种基于机器视觉的外螺纹智能检测系统 |
| CN116032963A (zh) * | 2022-12-27 | 2023-04-28 | 昆岳互联环境技术(江苏)有限公司 | 一种工业云平台采集工业生产设备数据的方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验系统及方法 |
| CN102147281A (zh) * | 2011-01-12 | 2011-08-10 | 湖南大学 | 一种基于机器视觉的液位检测装置及其方法 |
| CN102980513A (zh) * | 2012-11-02 | 2013-03-20 | 浙江工业大学 | 以物为中心的单目全景立体视觉传感器 |
| CN103258427A (zh) * | 2013-04-24 | 2013-08-21 | 北京工业大学 | 基于信息物理网络的城市快速路交通实时监控系统与方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7305114B2 (en) * | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
-
2013
- 2013-10-12 CN CN201310475409.4A patent/CN103488158B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101794349A (zh) * | 2010-02-09 | 2010-08-04 | 北京邮电大学 | 机器人遥操作增强现实实验系统及方法 |
| CN102147281A (zh) * | 2011-01-12 | 2011-08-10 | 湖南大学 | 一种基于机器视觉的液位检测装置及其方法 |
| CN102980513A (zh) * | 2012-11-02 | 2013-03-20 | 浙江工业大学 | 以物为中心的单目全景立体视觉传感器 |
| CN103258427A (zh) * | 2013-04-24 | 2013-08-21 | 北京工业大学 | 基于信息物理网络的城市快速路交通实时监控系统与方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103488158A (zh) | 2014-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE112013006312T5 (de) | Verfahren und Systeme zur verbesserten automatisierten visuellen Inspektion eines physischen Guts | |
| CN111798572B (zh) | 一种机房虚拟巡检方法及系统 | |
| CN102131101A (zh) | 智能视频图像质量自动分析系统及其分析方法 | |
| CN103488158B (zh) | 一种基于机器视觉的虚拟人机操作界面系统及构建方法 | |
| CN104458749A (zh) | 基于机器视觉的铝型材表面缺陷实时检测系统 | |
| CN103220500B (zh) | 电网设备监控图像与业务分析图像叠加展示方法 | |
| CN112462723B (zh) | 一种增强现实环境下实时控制及可视化数字工厂的系统 | |
| CN112730251B (zh) | 一种用于屏幕颜色缺陷检测的装置及方法 | |
| CN105262991A (zh) | 一种基于二维码的变电站设备对象识别方法 | |
| CN105096305A (zh) | 绝缘子状态分析的方法及装置 | |
| CN102601131A (zh) | 一种钢坯表面质量在线检测装置 | |
| CN104048966B (zh) | 一种基于大律法的布面疵点检测及分类方法 | |
| CN104849180A (zh) | 一种颗粒图像实时处理系统和方法 | |
| CN102984503A (zh) | 一种网络视频存储服务器系统 | |
| CN110796754A (zh) | 一种基于图像处理技术的机房巡检方法 | |
| CN105844281A (zh) | 一种自动获取窗体上设置参数系统与方法 | |
| CN105844282A (zh) | 一种运用线扫描相机检测喷油嘴O-Ring缺陷的方法 | |
| CN104994353A (zh) | 一种物联网网络监控方法及系统 | |
| CN113570587A (zh) | 一种基于计算机视觉的光伏电池断栅检测方法及系统 | |
| US20160005198A1 (en) | A device for displaying a trend related to a process variable | |
| KR20210136502A (ko) | Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 | |
| CN115864199A (zh) | 一种基于增强现实型ar眼镜的电力巡检系统 | |
| CN203221514U (zh) | 一种用于工业机器人定位引导的机器视觉系统 | |
| CN115393340A (zh) | 一种基于5g算法的ai视觉产品质量检测系统 | |
| WO2022019324A1 (ja) | 故障識別及び対応方法、システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |