CN111949263B - 一种基于图像识别技术的人因工程设计验证方法 - Google Patents
一种基于图像识别技术的人因工程设计验证方法 Download PDFInfo
- Publication number
- CN111949263B CN111949263B CN202010651684.7A CN202010651684A CN111949263B CN 111949263 B CN111949263 B CN 111949263B CN 202010651684 A CN202010651684 A CN 202010651684A CN 111949263 B CN111949263 B CN 111949263B
- Authority
- CN
- China
- Prior art keywords
- picture
- design
- human
- limit value
- carrying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012942 design verification Methods 0.000 title claims abstract description 9
- 238000013461 design Methods 0.000 claims abstract description 99
- 238000012790 confirmation Methods 0.000 claims abstract description 27
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000012795 verification Methods 0.000 claims abstract description 18
- 239000003086 colorant Substances 0.000 claims description 8
- 230000003068 static effect Effects 0.000 claims description 4
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012941 design validation Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/30—Creation or generation of source code
- G06F8/38—Creation or generation of source code for implementing user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于人机界面画面的人因工程设计验证和确认领域，具体涉及一种基于图像识别技术的人因工程设计验证方法。目前，人机界面画面的验证和确认不能批量的完成，在设计变更后迭代进行验证和确认时，重复投入的人力过高。本发明包括：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认。本发明可以提高核电厂人机界面设计验证的效率和效果，缩短核电厂人机界面人因设计和验证的时间和准确性。
Description
技术领域
本发明属于人机界面画面的人因工程设计验证和确认领域，具体涉及一种基于图像识别技术的人因工程设计验证方法。
背景技术
目前进行人机界面的工程验证和确认时，人机界面画面的验证和确认工作主要通过人工进行，没有合适的方法对画面使用的设计元素进行精确的验证和确认，也容易产生人因错误，验证效率较低，且对人机界面画面的验证和确认不能批量的完成，在设计变更后迭代进行验证和确认时，重复投入的人力过高。
发明内容
1.目的：
本发明要解决的技术问题在于，提供一种用于核电厂人机界面画面的人因设计验证和确认方法。
2.技术方案：
对人机界面的画面设计要素、画面信息、画面部件规范以及画面固定布局进行规范设计要求，并利用图像识别技术对人机界面画面截图的信息进行提取和识别，进行合规性检查，验证和确认人机界面画面设计要求在工程中的实施情况，同时对画面布局过于紧凑，影响人因效果的情况进行提示。
本发明方案包括：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认。
步骤一：对人机界面进行规范设计，具体包括：(1)对人机界面的画面设计要素进行规范设计，包括静态文本要素设计，日期要素设计，时间要素设计，颜色要素设计，线条要素设计；(2)对人机界面的画面基本信息、画面部件规范及画面固定布局进行规范，包括画面基本信息，画面部件规范，画面固定布局。
步骤二：图像识别预处理，具体包括：(1)人机界面画面验证的预处理方法；(2)人机界面画面截图进行图像识别预处理；其中(1)人机界面画面验证的预处理方法，包括屏幕截图，截图分类和画面显示区域定位；(2)人机界面画面截图进行图像识别预处理，包括区域识别，画面缩放比例和画面信息识别。
步骤三：进行设计确认，具体包括如下步骤：(1)确认颜色要素设计；(2)确认画面固定位置设计；(3)确认画面内容是否超出人因元素；(4)确认画面是否出现未知部件；(5)确认画面线条布局是否合理；(6)确认非本系统部件和画面的部件；(7)确认画面部件间隔。
所述的确认颜色要素设计和画面固定位置设计，具体包括：a.识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色；b.画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告警提示；c.日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；d.页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示。
所述的确认画面内容是否超出人因元素：画面中若出现设计未定义的文本格式、线条格式，则提示设计确认出现未知设计要素；画面中非固定位置若出现日期和时间的显示，则进行告警提示。
所述的确认画面是否出现未知部件：画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；画面中不能出现设计未定义的部件，否则提示出现未知部件。
所述的确认画面线条布局是否合理：管线只有一种颜色，否则进行告警提示；管线必须是直线，否则进行告警提示；管线必须是垂直或者水平分布，否则进行告警提示；对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；部件与周边管线必须存在交接点，不能存在像素空白的虚连；非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；非阀门部件上下的管线横坐标必须相同，否则进行告警提示。
所述的确认画面内非本系统的部件：对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示。
所述的确认画面内的所有部件：a.对画面分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；b.设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示。
所述的确认画面部件间隔：设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示；设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。
3.效果：
该发明所述方法及软件可以提高核电厂人机界面设计验证的效率和效果，缩短核电厂人机界面人因设计和验证的时间和准确性；
可以对人因设计和验证的流程进行管理，提高人因设计验证工作的工作效率。
附图说明
图1人机界面人因设计验证方法流程图
具体实施方式
一、步骤一：对人机界面进行规范设计
1.对人机界面的画面设计要素进行规范设计，设计时需要明确的内容如下：
1)静态文本要素设计：规定静态文本的颜色、中英文字体、以及字号；
2)日期要素设计：规定日期的显示格式，比如YYYY/MM/DD；
3)时间要素设计：规定时间的显示格式，比如24小时显示，HH:MM:SS:ddd(hour,minute,second,millisecond)；
4)颜色要素设计：规定画面中点线面等绘图所能够适用的颜色，用RGB值表示颜色；
5)线条要素设计：规定线条的宽度以及线型。
2.对人机界面中的画面基本信息、画面部件规范以及画面固定布局进行规范设计，设计时需要明确的内容如下：
1)画面基本信息：
·画面底色信息；
·画面边框和尺寸。
2)画面部件规范：
·规定每类部件外观形状，包括颜色、线条，并在设计文件中以图像的形式进行呈现；
·规定每类部件尺寸。
3)画面固定布局：
·画面描述文本信息的显示位置；
·日期和时间的显示位置；
·页间连接部件的显示位置。
步骤二：图像识别预处理
1.人机界面画面验证的预处理方法如下：
1)屏幕截图：在人机界面画面显示机器上对所有的显示画面进行屏幕截图，并保存；
2)截图分类：如果截图时的分辨率不同，则对所有人机界面画面截图按照分辨率进行分类，同一个分辨率的截图可进行批量识别。
3)画面显示区域定位：对于同一个分辨率下的所有截图，任意选择其中一张截图，以截图左上角为原点，记录其画面显示区域的四个顶点坐标，作为图像识别的输入。
2.对人机界面画面截图进行图像识别的预处理，处理方法如下：
1)区域识别：
·对于同一个分辨率下的截图，首先根据画面显示区域的四个顶点坐标定位到截图中的画面有效显示区域，后续仅对画面有效显示区域内的画面进行识别和验证。
2)画面缩放比例：
·根据画面的四个顶点坐标与画面设计尺寸进行比对，得到缩放比例，在设计确认时需要先将设计的尺寸信息按比例进行转换处理。
3)画面信息识别
·根据画面固定布局的设计在固定位置查找文本信息、日期和时间、页间连接部件；
·识别出画面中的部件；
·识别出画面中的线条以及颜色；
步骤三：进行设计确认根据：
1)颜色要素设计要求，进行设计确认：
·识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现未颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色。
2)根据画面的固定位置设计要求，进行设计确认：
·画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告警提示；
·日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；
·页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示。
3)画面的内容是否超出人因元素设计：
·画面中不能出现设计未定义的文本格式、线条格式，否则提示设计确认出现未知设计要素。
·画面中非固定位置不能出现日期和时间的显示，否则进行告警提示。
4)画面是否出现未知部件：
·画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；
·画面中不能出现设计未定义的部件，否则提示出现未知部件。
5)画面的线条布局是否是合理：
·管线只有一种颜色，否则进行告警提示；
·管线必须是直线，否则进行告警提示；
·管线必须是垂直或者水平分布，否则进行告警提示；
·对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；
·部件与周边管线必须存在交接点，不能存在像素空白的虚连；
·非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；
·非阀门部件上下的管线横坐标必须相同，否则进行告警提示。
6)非本系统部件是否过多：
·对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示。
7)画面的部件是否过多：
·分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；
·设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示。
8)画面的部件间隔是否过大或过小：
·设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示。
·设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；
·设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。
Claims (1)
1.一种基于图像识别技术的人因工程设计验证方法，其特征在于：包括如下步骤：步骤一：对人机界面进行规范设计；步骤二：图像识别预处理；步骤三：进行设计确认；
所述步骤一：对人机界面进行规范设计，具体包括：（1）对人机界面的画面设计要素进行规范设计，包括静态文本要素设计，日期要素设计，时间要素设计，颜色要素设计，线条要素设计；（2）对人机界面的画面基本信息、画面部件规范及画面固定布局进行规范，包括画面基本信息，画面部件规范，画面固定布局；
所述步骤二：图像识别预处理，具体包括：（1）人机界面画面验证的预处理方法；（2）人机界面画面截图进行图像识别预处理；其中（1）人机界面画面验证的预处理方法，包括屏幕截图，截图分类和画面显示区域定位；（2）人机界面画面截图进行图像识别预处理，包括区域识别，画面缩放比例和画面信息识别；
其中，步骤三：进行设计确认，具体包括如下步骤：（1）确认颜色要素设计；（2）确认画面固定位置设计；（3）确认画面内容是否超出人因元素；（4）确认画面是否出现未知部件；（5）确认画面线条布局是否合理；（6）确认非本系统部件和画面的部件；（7）确认画面部件间隔；
所述确认颜色要素设计和画面固定位置设计，具体包括：a.识别出画面各像素点的RGB值，判断所有的RGB值是不是在颜色要素的设计范围内，如果发现出现颜色要素设计时未定义的颜色，则提示颜色要素设计确认出现未知颜色；b.画面描述文本信息的显示位置是否存在符合格式要求的画面描述文本，如果不存在或格式与设计不符合，则进行告警提示；c.日期和时间的显示位置是否存在符合格式要求的日期和时间显示，如果不存在或格式与设计不符合，则进行告警提示；d.页间连接部件的显示位置是否存在符合格式要求的页间连接部件，如果不存在或格式与设计不符合，则进行告警提示；
所述确认画面内容是否超出人因元素设计：画面中若出现设计未定义的文本格式、线条格式，则提示设计确认出现未知设计要素；画面中非固定位置若出现日期和时间的显示，则进行告警提示；
所述确认画面是否出现未知部件：画面中不能出现尺寸与设计不符合的部件，否则提示部件尺寸错误；画面中不能出现设计未定义的部件，否则提示出现未知部件；
所述确认画面线条布局是否合理：管线只有一种颜色，否则进行告警提示；管线必须是直线，否则进行告警提示；管线必须是垂直或者水平分布，否则进行告警提示；对管线的交接处进行计数，设置能够允许的最大交接数，如果超过阈值则进行告警提示；部件与周边管线必须存在交接点，不能存在像素空白的虚连；非阀门部件左右的管线纵坐标必须相同，否则进行告警提示；非阀门部件上下的管线横坐标必须相同，否则进行告警提示；
所述确认画面内非本系统的部件：对画面存在的非本系统label的文本进行计数，设置能够允许的最大个数，一般设置为0，如果超过限值则及进行告警提示；
所述确认画面内的所有部件：a.对画面分类设置每种部件的最大限值或设置所有部件的总限值，如果超过限值则及进行告警提示；b.设置画面的空白处与非空白处的比例限值，如果超过限值则及进行告警提示；
所述确认画面部件间隔：设置画面中部件的水平和垂直方向最小间隔限值，如果超过限值则及进行告警提示；设置画面中部件的水平和垂直方向最大间隔限值，如果超过限值则及进行告警提示；设备代号文本与设备的最大间隔限值，如果超过限值则及进行告警提示。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651684.7A CN111949263B (zh) | 2020-07-08 | 2020-07-08 | 一种基于图像识别技术的人因工程设计验证方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010651684.7A CN111949263B (zh) | 2020-07-08 | 2020-07-08 | 一种基于图像识别技术的人因工程设计验证方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111949263A CN111949263A (zh) | 2020-11-17 |
| CN111949263B true CN111949263B (zh) | 2024-05-14 |
Family
ID=73340328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010651684.7A Active CN111949263B (zh) | 2020-07-08 | 2020-07-08 | 一种基于图像识别技术的人因工程设计验证方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111949263B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393834A (zh) * | 2011-10-21 | 2012-03-28 | 中广核工程有限公司 | 一种核电站数字化人机界面的测试方法和系统 |
| CN102929598A (zh) * | 2012-09-25 | 2013-02-13 | 中国核电工程有限公司 | 一种提高核电站安全的人机界面设计方法 |
| CN107689028A (zh) * | 2017-08-22 | 2018-02-13 | 深圳市爱培科技术股份有限公司 | 基于adas的自适应界面显示方法、系统和存储装置 |
| CN108595175A (zh) * | 2018-04-02 | 2018-09-28 | 北京航空航天大学 | 数字飞行器实时二维显示界面源程序人工智能书写方法 |
| CN108959068A (zh) * | 2018-06-04 | 2018-12-07 | 广州视源电子科技股份有限公司 | 软件界面测试方法、设备及存储介质 |
| CN109753435A (zh) * | 2018-12-29 | 2019-05-14 | 广州云测信息技术有限公司 | 一种软件测试方法和装置 |
| CN109933324A (zh) * | 2019-03-25 | 2019-06-25 | 北京广利核系统工程有限公司 | 一种核电dcs人机界面自动生成方法 |
| CN111338733A (zh) * | 2020-02-25 | 2020-06-26 | 珠海格力电器股份有限公司 | 用户界面适配方法和系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20060130048A1 (en) * | 2004-12-13 | 2006-06-15 | Ebay Inc. | Shared schema for software user interface designers and developers |
-
2020
- 2020-07-08 CN CN202010651684.7A patent/CN111949263B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102393834A (zh) * | 2011-10-21 | 2012-03-28 | 中广核工程有限公司 | 一种核电站数字化人机界面的测试方法和系统 |
| CN102929598A (zh) * | 2012-09-25 | 2013-02-13 | 中国核电工程有限公司 | 一种提高核电站安全的人机界面设计方法 |
| CN107689028A (zh) * | 2017-08-22 | 2018-02-13 | 深圳市爱培科技术股份有限公司 | 基于adas的自适应界面显示方法、系统和存储装置 |
| CN108595175A (zh) * | 2018-04-02 | 2018-09-28 | 北京航空航天大学 | 数字飞行器实时二维显示界面源程序人工智能书写方法 |
| CN108959068A (zh) * | 2018-06-04 | 2018-12-07 | 广州视源电子科技股份有限公司 | 软件界面测试方法、设备及存储介质 |
| CN109753435A (zh) * | 2018-12-29 | 2019-05-14 | 广州云测信息技术有限公司 | 一种软件测试方法和装置 |
| CN109933324A (zh) * | 2019-03-25 | 2019-06-25 | 北京广利核系统工程有限公司 | 一种核电dcs人机界面自动生成方法 |
| CN111338733A (zh) * | 2020-02-25 | 2020-06-26 | 珠海格力电器股份有限公司 | 用户界面适配方法和系统 |
Non-Patent Citations (1)
| Title |
|---|
| 基于仿真技术的核电站DCS人机界面验证研究;尹继超 等;《科技创新导报》;6-10 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111949263A (zh) | 2020-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110147786B (zh) | 用于检测图像中的文本区域的方法、装置、设备以及介质 | |
| CN109902622B (zh) | 一种用于登机牌信息验证的文字检测识别方法 | |
| CN107067044B (zh) | 一种财务报销全票据智能审核系统 | |
| KR102177550B1 (ko) | 이미지화된 pid 도면에서 설계 정보를 자동으로 인식하여 분류하는 방법 | |
| US20140147051A1 (en) | Method and system for webpage regression testing | |
| US9280691B2 (en) | System for determining alignment of a user-marked document and method thereof | |
| CN113569863B (zh) | 一种单据稽查的方法、系统、电子设备及存储介质 | |
| Margner et al. | Synthetic data for Arabic OCR system development | |
| US20130077856A1 (en) | Processes and systems for training machine typesets for character recognition | |
| EP4009038A1 (en) | Method and device for detecting mechanical equipment parts | |
| CN112541504A (zh) | 一种针对文本中单个字符目标的检测方法 | |
| CN113485160A (zh) | 一种基于图形匹配识别的仿真建模方法及装置 | |
| US11906441B2 (en) | Inspection apparatus, control method, and program | |
| CN111949263B (zh) | 一种基于图像识别技术的人因工程设计验证方法 | |
| CN111338733A (zh) | 用户界面适配方法和系统 | |
| CN110956087B (zh) | 一种图片中表格的识别方法、装置、可读介质和电子设备 | |
| CN113569677A (zh) | 一种基于扫描件的纸质试验报告生成方法 | |
| KR20180126352A (ko) | 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치 | |
| CN114708582B (zh) | 基于ai和rpa的电力数据智慧稽查方法及装置 | |
| CN114973275A (zh) | 一种基于深度学习技术的图文乱码识别方法 | |
| JP2022120308A (ja) | 画像処理装置及びプログラム | |
| KR20150116821A (ko) | 문자인식 시스템, 문자인식 프로그램 및 문자인식방법 | |
| JP7075770B2 (ja) | 文字認識システム、文字鮮明化システム、文字鮮明化プログラム、文字鮮明化方法、及び文字鮮明化画像の表示装置 | |
| CN113159193A (zh) | 模型训练方法、图像识别方法、存储介质及程序产品 | |
| US20210233231A1 (en) | Image processing device, image processing method, and computer readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |