CN117813627A - 部件确定装置、部件确定方法及部件确定程序 - Google Patents
部件确定装置、部件确定方法及部件确定程序 Download PDFInfo
- Publication number
- CN117813627A CN117813627A CN202180101070.4A CN202180101070A CN117813627A CN 117813627 A CN117813627 A CN 117813627A CN 202180101070 A CN202180101070 A CN 202180101070A CN 117813627 A CN117813627 A CN 117813627A
- Authority
- CN
- China
- Prior art keywords
- component
- candidate
- unit
- attribute
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 16
- 239000000470 constituent Substances 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 9
- 238000013461 design Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 description 18
- 238000012986 modification Methods 0.000 description 16
- 230000004048 modification Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/0008—Industrial image inspection checking presence/absence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Stored Programmes (AREA)
Abstract
要素确定部(22)根据构成控制板的控制部件的图像数据，对构成控制部件的多个构成要素进行确定。候选确定部(23)将在部件存储部中存储的多个候选部件分别作为对象，在对象的候选部件和控制部件之间，分别关于多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算。候选确定部(23)根据与多个构成要素各自有关的要素相似度对对象的候选部件和控制部件之间的部件相似度进行计算，由此从多个候选部件对与控制部件相对应的候选部件进行确定。
Description
技术领域
本发明涉及对与构成控制板的控制部件相对应的候选部件进行确定的技术。
背景技术
进行下述动作：将通过在工厂等运转的硬件所实现的已有的控制板置换为通过由软件将开关及灯这样的硬件模拟出的图形控制画面所实现的控制板。此外，有时已有的控制板通过旧型的图形控制画面而实现。
作为为了准备新的图形控制画面而准备出的控制部件即候选部件，不一定存在与构成已有的控制板的全部控制部件的表观一致的候选部件。因此，在进行置换的情况下，进行下述作业，即，对与构成已有的控制板的控制部件接近的候选部件进行确定，关于确定出的候选部件而设定各种属性信息，将表观设为与构成已有的控制板的控制部件相同。
在专利文献1中记载有下述内容，即，对与图像的特定位置有关的重要度进行计算而实施加权，由此不仅考虑图像的部分区域间的类似性，还考虑图像中的部分区域的重要度而进行图像检索。
专利文献1：日本特开2006－338313号公报
发明内容
在将已有的控制板置换为通过图形控制画面所实现的控制板的情况下，需要对与构成已有的控制板的控制部件接近的候选部件进行确定。如模拟仪表的针那样进行移动的构成要素等发生根据图像数据的取得定时而位置不同这样的情况。因此，在单纯的图像比较中，难以对与控制部件接近的候选部件进行确定。另外，如专利文献1中记载所述，即使考虑图像中的部分区域的重要度，也难以对与控制部件接近的候选部件进行确定。
本发明的目的在于，能够对与控制部件接近的候选部件适当地进行确定。
本发明所涉及的部件确定装置具有：
要素确定部，其根据构成控制板的控制部件的图像数据对构成所述控制部件的多个构成要素进行确定；以及
候选确定部，其将在部件存储部中存储的多个候选部件各自作为对象，在对象的候选部件和所述控制部件之间，分别关于由所述要素确定部确定出的所述多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与所述多个构成要素各自有关的所述要素相似度对所述对象的候选部件和所述控制部件之间的部件相似度进行计算，由此从所述多个候选部件对与所述控制部件相对应的候选部件进行确定。
发明的效果
在本发明中，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与多个构成要素各自有关的要素相似度对部件相似度进行计算，由此对与控制部件相对应的候选部件进行确定。由此，能够对与控制部件接近的候选部件适当地进行确定。
附图说明
图1是实施方式1所涉及的部件确定装置10的结构图。
图2是在实施方式1所涉及的部件存储部31中存储的信息的说明图。
图3是在实施方式1所涉及的要素存储部32中存储的信息的说明图。
图4是在实施方式1所涉及的权重存储部33中存储的信息的说明图。
图5是实施方式1所涉及的权重的设定重要条件1的说明图。
图6是实施方式1所涉及的权重的设定重要条件2的说明图。
图7是实施方式1所涉及的权重的设定重要条件3的说明图。
图8是实施方式1所涉及的部件确定装置10的整体性的处理的流程图。
图9是实施方式1所涉及的部件确定处理(图8的步骤S12)的说明图。
图10是实施方式1所涉及的部件确定处理(图8的步骤S13)的说明图。
图11是实施方式1所涉及的候选确定处理(图8的步骤S14)的流程图。
图12是实施方式1所涉及的要素评价处理(图11的步骤S21)的说明图。
图13是变形例1所涉及的部件确定装置10的结构图。
图14是实施方式2所涉及的部件确定装置10的结构图。
图15是实施方式2所涉及的部件确定装置10的整体性的处理的流程图。
图16是变形例3所涉及的部件确定装置10的结构图。
图17是变形例3所涉及的设定信息的生成方法的说明图。
具体实施方式
实施方式1.
＊＊＊结构的说明＊＊＊
参照图1对实施方式1所涉及的部件确定装置10的结构进行说明。
部件确定装置10是计算机。
部件确定装置10具有处理器11、存储器12、储存器13和通信接口14的硬件。处理器11经由信号线而与其他硬件连接，对这些其他硬件进行控制。
处理器11是进行处理的IC(Integrated Circuit)。处理器11作为具体例是CPU(Central Processing Unit)、DSP(Digital Signal Processor)、GPU(GraphicsProcessing Unit)。
存储器12是对数据暂时地存储的存储装置。存储器12作为具体例是SRAM(StaticRandom Access Memory)、DRAM(Dynamic Random Access Memory)。
储存器13是对数据进行保存的存储装置。储存器13作为具体例是HDD(Hard DiskDrive)。另外，储存器13也可以是SD(注册商标，Secure Digital)存储器卡、CF(CompactFlash，注册商标)、NAND闪存、软盘、光盘、压缩盘、蓝光(注册商标)光盘、DVD(Digital Versatile Disk)这样的移动记录介质。
通信接口14是用于与外部的装置进行通信的接口。通信接口14作为具体例是Ethernet(注册商标)、USB(Universal Serial Bus)、HDMI(注册商标，High－DefinitionMultimedia Interface)的端口。
部件确定装置10经由通信接口14与图像输入装置41和结果显示装置42连接。图像输入装置41是存储有图像数据的计算机或存储装置等。结果显示装置42是能够对结果进行显示的计算机或显示器等。
部件确定装置10作为功能构成要素而具有部件确定部21、要素确定部22和候选确定部23。候选确定部23具有要素评价部24、部件评价部25和候选选择部26。部件确定装置10的各功能构成要素的功能通过软件而实现。
在储存器13储存有实现部件确定装置10的各功能构成要素的功能的程序。该程序由处理器11读入至存储器12，被处理器11执行。由此，实现部件确定装置10的各功能构成要素的功能。
储存器13实现部件存储部31、要素存储部32和权重存储部33。
在图1中，处理器11仅示出了1个。但是，处理器11也可以为多个，多个处理器11可以将实现各功能的程序协同地执行。
＊＊＊动作的说明＊＊＊
参照图2至图12，对实施方式1所涉及的部件确定装置10的动作进行说明。
实施方式1所涉及的部件确定装置10的动作顺序相当于实施方式1所涉及的部件确定方法。另外，实现实施方式1所涉及的部件确定装置10的动作的程序相当于实施方式1所涉及的部件确定程序。
作为实施方式1所涉及的部件确定装置10的处理的前提，设为在部件存储部31、要素存储部32和权重存储部33中存储有以下说明的信息。
参照图2对在实施方式1所涉及的部件存储部31中存储的信息进行说明。
在部件存储部31中对能够在通过图形控制画面实现的控制板使用的控制部件即候选部件的信息进行存储。
如图2所示，在部件存储部31中针对每个部件标识符而存储有部件类别、部件图像和属性信息这样的信息。部件标识符是能够对候选部件进行识别的信息。部件类别是表示部件的分类的信息。部件图像是候选部件整体的图像数据。属性信息是分配为尺寸、颜色和刻度的数值这样的信息。
参照图3对在实施方式1所涉及的要素存储部32中存储的信息进行说明。
在要素存储部32中，将各候选部件作为对象，对针对构成对象的候选部件的每个构成要素的信息进行存储。
如图3所示，在要素存储部32中，关于对象的候选部件，针对每个要素标识符，对要素名、要素图像、尺寸和位置这样的信息进行存储。要素标识符是能够对构成要素进行识别的信息。要素名是要素的名称。要素图像是从对象的候选部件的部件图像提取出的构成要素的图像数据。尺寸是构成要素的尺寸。位置是对象的候选部件中的构成要素的位置。
此外，在这里，设为在要素存储部32中存储有要素图像而进行说明。但是，要素图像也可以不存储于要素存储部32，在必要时从部件图像提取。
参照图4对在实施方式1所涉及的权重存储部33中存储的信息进行说明。
在权重存储部33中，针对每个部件类别及构成要素，对与关于其构成要素的大于或等于1个属性各自相关的权重进行存储。
如图4所示，在权重存储部33中，针对每个部件类别及构成要素，对与其构成要素相关的属性和与属性有关的权重进行存储。属性是倾斜度、尺寸、位置这样的项目。权重是在对相似度进行计算时使用的信息。在这里，权重设为值越大则越被重视，值越小则越被轻视。
参照图5至图7对权重的设定进行说明。
(设定重要条件1)
权重是在根据图像数据的取得定时而成为不同表观的状态的属性中对被轻视的值进行设定。
如图5所示，模拟仪表的针所指的位置在控制板运转中发生变化。因此，根据控制板的图像数据的取得定时而针所指的位置改变。因此，根据控制板的图像数据的取得定时，在取得的图像数据和存储于要素存储部32的模拟仪表的要素图像中，模拟仪表的针所指的位置不同。因此，关于表示模拟仪表的针所指的位置的“倾斜度”，作为权重而对被轻视的值进行设定。在图4中，模拟仪表的针的倾斜度作为权重而设定有0。
(设定重要条件2)
权重是在即使是同一功能但在由于设计的差异而成为不同表观的状态的属性中对被轻视的值进行设定。
如图6所示，在如模拟仪表那样的部件中，即使是同一功能，刻度的数值的有无、针旋转的开始位置及结束位置和刻度的数值或位置也有时不同。因此，即使是与控制板中的控制部件适当地对应的候选部件，也有可能相似度降低。因此，关于模拟仪表的显示文字的有无和模拟仪表的刻度的位置等，作为权重而对被轻视的值进行设定。在图4中，模拟仪表的显示文字的有无和模拟仪表的刻度的位置作为权重而设定有0。
(设定重要条件3)
权重是在通过候选部件的属性信息能够对表观进行控制的属性中对被轻视的值进行设定。
如图7所示，在运转中的控制板，在推按按钮显示有与功能相对应的文字列，但在运转前的候选部件中，在推按按钮未分配有功能，因此没有显示文字列。在推按按钮的候选部件中，在按钮上显示的文字列被设定为属性信息，因此在运转前没有显示文字列。因此，关于推按按钮的显示文字，作为权重对被轻视的值进行设定。在图4中，关于推按按钮的显示文字的有无等，作为权重而设定有0。
参照图8对实施方式1所涉及的部件确定装置10的整体性的处理进行说明。
(步骤S11：图像取得处理)
部件确定部21取得已有的控制板的图像数据。
具体地说，在已有的控制板通过硬件实现的情况下，部件确定部21将通过拍摄装置对已有的控制板进行拍摄而得到的图像数据从图像输入装置41读出而作为已有的控制板的图像数据。另外，在已有的控制板通过旧型的图形控制画面实现的情况下，部件确定部21将通过对图形控制画面进行捕获而得到的图像数据从图像输入装置41读出而作为已有的控制板的图像数据。
(步骤S12：部件确定处理)
部件确定部21根据通过步骤S11取得的已有的控制板的图像数据，对构成控制板的控制部件进行确定，关于确定出的控制部件而对部件图像及部件类别进行确定。
具体地说，部件确定部21使用物体识别AI(Artificial Intelligence)那样的预先对设为识别对象的物体图像进行了学习的AI，对控制部件和部件图像及部件类别进行确定。或者，部件确定部21将识别对象的物体图像作为模板而与模板进行匹配，由此对控制部件和部件图像及部件类别进行确定。或者，部件确定部21对识别对象的物体的图像特征和特征量进行比较，由此对控制部件和部件图像及部件类别进行确定。
例如，在如图9所示的控制板图像的情况下，部件类别被确定为模拟仪表的2个控制部件，部件类别被确定为圆型灯的3个控制部件，部件类别被确定为角型推按按钮的3个控制部件。
(步骤S13：要素确定处理)
要素确定部22将通过步骤S12确定出的各控制部件设定为对象的控制部件。要素确定部22根据关于对象的控制部件而通过步骤S12确定出的部件图像，对构成要素的类别即要素类别和构成对象的控制部件的多个构成要素进行确定。此时，要素确定部22可以考虑关于对象的控制部件而通过步骤S12确定出的部件类别，对多个构成要素进行确定。
具体地说，要素确定部22与步骤S12同样地，使用预先对设为识别对象的物体图像进行了学习的AI对多个构成要素进行确定。或者，要素确定部22与模板进行匹配，由此对多个构成要素进行确定。或者，要素确定部22对特征量进行比较，由此对多个构成要素进行确定。
例如，在图10所示的模拟仪表是对象的控制部件的情况下，将构成模拟仪表的针、刻度、数值显示和中心圆确定为构成要素。
(步骤S14：候选确定处理)
候选确定部23将通过步骤S12确定出的各控制部件设定为对象的控制部件。候选确定部23将在部件存储部31中存储的多个候选部件之中的与对象的控制部件相同的部件类别的候选部件分别设为对象的候选部件，对对象的候选部件和对象的控制部件之间的部件相似度进行计算，由此从候选部件对与对象的控制部件相对应的候选部件进行确定。此时，候选确定部23在对象的候选部件和对象的控制部件之间，分别关于通过步骤S13确定出的多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与多个构成要素各自有关的要素相似度对部件相似度进行计算。
(步骤S15：结果显示处理)
候选确定部23将与通过步骤S14确定出的候选部件有关的信息输出至结果显示装置42而进行显示。
具体地说，候选确定部23将与候选部件有关的部件类别、部件图像和属性信息输出至结果显示装置42而进行显示。此时，候选确定部23可以对将与已有的控制板中的大于或等于1个控制部件各自相对应的候选部件，配置于对应的控制部件的位置处的控制板整体的图像数据进行输出。
参照图11对实施方式1所涉及的候选确定处理(图8的步骤S14)进行说明。
步骤S21至步骤S22的处理是将在部件存储部31中存储的候选部件之中的对象的控制部件的部件类别的候选部件分别设为对象而执行。
(步骤S21：要素评价处理)
要素评价部24将关于对象的控制部件而通过步骤S13确定出的各构成要素设定为对象的构成要素。要素评价部24对对象的候选部件和对象的控制部件之间的与对象的构成要素有关的要素相似度进行计算。
具体地说，要素评价部24对与对象的控制部件的部件类别相对应的权重存储部33的记录进行确定。要素评价部24从确定出的记录将与对象的构成要素有关的权重读出。而且，要素评价部24使用读出的权重，对对象的候选部件和对象的控制部件之间的与对象的构成要素有关的要素相似度进行计算。
在这里，如图4所示，权重是针对对象的构成要素而针对每个属性进行设定的。因此，要素评价部24关于对象的构成要素，将各属性设定为对象的属性。要素评价部24关于对象的属性对相似度进行计算，使计算出的相似度乘以与对象的属性有关的权重而对相似度进行校正而计算属性相似度。而且，要素评价部24将关于各属性计算出的属性相似度的平均值设为与对象的构成要素有关的要素相似度。此外，并不限于平均值，也可以将中央值或合计值设为要素相似度。
例如，在图10所示的模拟仪表是对象的控制部件的情况下，要素评价部24将针、刻度、数值显示和中心圆各自设为对象的构成要素而对要素相似度进行计算。
如图12所示，在针是对象的构成要素的情况下，要素评价部24对与针的属性即有无、倾斜度、尺寸和根部位置各自有关的相似度进行计算，乘以权重。在这里，关于倾斜度和尺寸，权重为0，关于有无和根部位置，权重为100。因此，要素评价部24将使与针的有无有关的相似度乘以100而得到的值、使倾斜度的相似度乘以0而得到的值、使尺寸的相似度乘以0而得到的值和使根部位置的相似度乘以100而得到的值的平均值设为与针有关的要素相似度。此外，在图12中，关于权重为0的属性而忽略，要素评价部24将使与针的有无有关的相似度乘以100而得到的值、和使根部位置的相似度乘以100而得到的值的平均值设为与针有关的要素相似度。
(步骤S22：部件评价处理)
部件评价部25对与通过步骤S21计算出的各构成要素有关的要素相似度进行合计，对对象的候选部件和对象的控制部件之间的部件相似度进行计算。
具体地说，部件评价部25将与各构成要素有关的要素相似度的平均值设为部件相似度。此外，并不限于平均值，也可以将中央值或合计值设为部件相似度。
(步骤S23：候选选择处理)
候选选择部26将关于各候选部件而通过步骤S22计算出的部件相似度最高的候选部件确定为与对象的控制部件相对应的候选部件。
＊＊＊实施方式1的效果＊＊＊
如以上所述，实施方式1所涉及的部件确定装置10，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与多个构成要素各自有关的要素相似度对部件相似度进行计算，由此对与控制部件相对应的候选部件进行确定。由此，能够对与控制部件接近的候选部件适当地进行确定。
如图5所示，如模拟仪表的针那样，如果对根据图像数据的取得定时而成为不同表观的状态的构成要素直接进行比较，则有可能与原本应得到的值相比相似度降低。如图6所示，如刻度的数值的有无和刻度的数值或位置那样，如果将即使是同一功能，但由于设计的差异而成为不同表观的状态的构成要素直接进行比较，则有可能与原本应得到的值相比相似度降低。如图7所示，如推按按钮的显示文字那样，如果对在候选部件中存在没有通过初始状态表示的构成要素直接进行比较，则有可能与原本应得到的值相比而相似度降低。
但是，实施方式1所涉及的部件确定装置10关于构成要素，使用针对每个属性所设定的权重对要素相似度进行计算，因此能够对适当的部件相似度进行计算。由此，能够对与控制部件接近的候选部件适当地进行确定。
＊＊＊其他结构＊＊＊
＜变形例1＞
在实施方式1中，各功能构成要素通过软件实现。但是，作为变形例1，各功能构成要素也可以通过硬件实现。关于该变形例1，对与实施方式1的不同点进行说明。
参照图13对变形例1所涉及的部件确定装置10的结构进行说明。
在各功能构成要素通过硬件实现的情况下，在部件确定装置10中取代处理器11、存储器12和储存器13而具有电子电路15。电子电路15是实现各功能构成要素、存储器12和储存器13的功能的专用电路。
作为电子电路15，想到单一电路、复合电路、被程序化的处理器、被并行程序化的处理器、逻辑IC、GA(Gate Array)、ASIC(Application Specific Integrated Circuit)、FPGA(Field－Programmable Gate Array)。
可以将各功能构成要素通过1个电子电路15实现，也可以将各功能构成要素分散于多个电子电路15而实现。
＜变形例2＞
作为变形例2，可以是一部分的各功能构成要素通过硬件实现，其他各功能构成要素通过软件实现。
将处理器11、存储器12、储存器13和电子电路15称为处理电路。即，各功能构成要素的功能通过处理电路实现。
实施方式2.
实施方式2与实施方式1的不同点在于，基于已有的控制板的图像数据对候选部件的属性信息进行设定。在实施方式2中，对该不同点进行说明，关于相同点而省略说明。
＊＊＊结构的说明＊＊＊
参照图14对实施方式2所涉及的部件确定装置10的结构进行说明。
部件确定装置10与图1所示的部件确定装置10的不同点在于，作为功能构成要素而具有识别部27和属性设定部28。识别部27及属性设定部28的功能与其他功能构成要素同样地，通过软件或硬件实现。
＊＊＊动作的说明＊＊＊
参照图15对实施方式2所涉及的部件确定装置10的整体性的处理进行说明。
步骤S31至步骤S34的处理与图8的步骤S11至步骤S14的处理相同。
(步骤S35：识别处理)
识别部27将通过步骤S13确定出的多个构成要素之中的包含文字数据的构成要素设定为文字要素。识别部27对与部件图像中的文字要素有关的图像数据所包含的文字数据进行识别。使用已有的文字识别算法，由此能够对文字数据进行识别。
作为具体例，识别部27在文字要素是模拟仪表的情况下，对分配给刻度的数值进行识别。另外，识别部27在文字要素是开关的情况下，对在开关上或开关附近显示出的文字数据进行识别。
(步骤S36：属性设定处理)
属性设定部28将通过步骤S35识别出的文字数据设定为关于文字要素而通过步骤S34确定出的候选部件的属性信息。
(步骤S37：结果显示处理)
候选确定部23将与通过步骤S34确定出的候选部件有关的信息输出至结果显示装置42而进行显示。
此时，候选确定部23在反映了通过步骤S36设定的属性信息所引起的变更后，对与候选部件有关的信息进行显示。例如，候选确定部23考虑对表示设定于属性信息的文字数据的候选部件的图像数据进行显示。
＊＊＊实施方式2的效果＊＊＊
如以上所述，实施方式2所涉及的部件确定装置10基于已有的控制板的图像数据，设定为候选部件的属性信息。
在现状中，在确定出候选部件后，对各种属性信息进行设定，将表观设为与构成已有的控制板的控制部件相同这一作业通过人手进行。基于已有的控制板的图像数据而设定为候选部件的属性信息，由此能够减少通过人手进行的作业。
＊＊＊其他结构＊＊＊
＜变形例3＞
在实施方式2中，识别出的文字数据被设定为候选部件的属性信息。但是，有时难以通过候选部件，将识别出的文字数据直接设定为属性信息。因此，可以根据识别出的文字数据而生成设定信息，将设定信息设定为属性信息。
在该情况下，如图16所示，部件确定装置10作为功能构成要素而具有设定信息生成部29。设定信息生成部29的功能与其他功能构成要素同样地，通过软件或硬件实现。
设定信息生成部29根据由识别部27识别出的文字数据，与关于文字要素而通过步骤S34确定出的候选部件相应地生成设定信息。在这里，在候选部件中还示出了应该设定为属性信息的信息。作为具体例，在文字要素是模拟仪表的情况下，作为刻度的数值，示出了对最小值及最大值进行设定，或者对最小值、中央值和最大值进行设定。例如，在示出了作为刻度的数值对最小值及最大值进行设定的情况下，如图17所示，设定信息生成部29从识别出的数值对最小值及最大值进行确定而设为设定信息。
属性设定部28将由设定信息生成部29生成的设定信息设定为属性信息。
＜变形例4＞
识别部27可以不仅对文字数据进行识别，还对构成要素的颜色和形状中的至少任一者进行识别。此外，识别部27也可以将全部构成要素设为对象要素，关于对象要素对颜色和形状中的至少任一者进行识别，也可以仅将与一部分的部件类别的控制部件有关的构成要素设为对象要素，关于对象要素对颜色和形状中的至少任一者进行识别。例如，对显示按钮的颜色等进行识别。
属性设定部28将颜色和形状中的至少任一者设定为对应的构成要素的属性信息。
＜变形例5＞
有时通过构成要素进行移动。作为进行移动的构成要素，例如存在模拟仪表的针。识别部27根据构成已有的控制板的控制部件的影像数据，对进行移动的构成要素即移动要素的移动范围进行识别。
具体地说，识别部27取得与包含移动要素的控制部件有关的影像数据。影像数据的长度与控制部件相应地决定。例如，在设想为移动要素的移动范围是每天相同程度的情况下，识别部27只要取得1天量的影像数据即可。识别部27对影像数据中的各时刻的移动要素的位置进行确定，由此对移动范围进行确定。
属性设定部28将移动范围设定为移动要素的属性信息。
如通过变形例3说明所述，在由设定信息生成部29生成设定信息的情况下，设定信息生成部29可以考虑移动范围而生成设定信息。例如，可以根据最小值及最大值和移动范围而决定刻度的配置。即，在移动范围接近最小值的范围的情况下，可以以将接近最小值的范围的刻度的间隔扩大的方式决定刻度的配置。
另外，也可以将以上说明中的“部”改称为“电路”、“工序”、“顺序”、“处理”或“处理电路”。
以上，对本发明的实施方式及变形例进行了说明。也可以将这些实施方式及变形例之中的几个进行组合而实施。另外，也可以将任1个或几个局部地实施。此外，本发明并不限定于以上的实施方式及变形例，能够根据需要进行各种变更。
标号的说明
10部件确定装置，11处理器，12存储器，13储存器，14通信接口，15电子电路，21部件确定部，22要素确定部，23候选确定部，24要素评价部，25部件评价部，26候选选择部，27识别部，28属性设定部，29设定信息生成部，31部件存储部，32要素存储部，33权重存储部，41图像输入装置，42结果显示装置。
Claims (11)
1.一种部件确定装置，其具有：
要素确定部，其根据构成控制板的控制部件的图像数据，对构成所述控制部件的多个构成要素进行确定；以及
候选确定部，其将在部件存储部中存储的多个候选部件分别作为对象，在对象的候选部件和所述控制部件之间，分别关于由所述要素确定部确定出的所述多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与所述多个构成要素各自有关的所述要素相似度，对所述对象的候选部件和所述控制部件之间的部件相似度进行计算，由此从所述多个候选部件对与所述控制部件相对应的候选部件进行确定。
2.根据权利要求1所述的部件确定装置，其中，
所述权重是针对每个构成要素，分别关于与其构成要素相关的大于或等于1个属性而确定的，
所述候选确定部分别关于所述大于或等于1个属性而使用所述权重对属性相似度进行计算，根据与所述大于或等于1个属性各自有关的所述属性相似度对所述要素相似度进行计算。
3.根据权利要求2所述的部件确定装置，其中，
作为所述权重，在根据所述图像数据的取得定时而成为不同状态的属性中对被轻视的值进行了设定。
4.根据权利要求2或3所述的部件确定装置，其中，
作为所述权重，在即使是同一功能，但由于设计的差异而成为不同状态的属性中对被轻视的值进行了设定。
5.根据权利要求2至4中任一项所述的部件确定装置，其中，
所述权重是在能够通过所述候选部件的属性信息进行控制的属性中对被轻视的值进行了设定。
6.根据权利要求1至5中任一项所述的部件确定装置，其中，
所述部件确定装置还具有：
识别部，其将所述多个构成要素之中的包含文字数据的构成要素作为文字要素，对所述文字要素所包含的所述文字数据进行识别；以及
属性设定部，其将由所述识别部识别出的所述文字数据设定为关于所述文字要素而由所述候选确定部确定出的候选部件的属性信息。
7.根据权利要求6所述的部件确定装置，其中，
所述部件确定装置还具有设定信息生成部，该设定信息生成部与关于所述文字要素而由所述候选确定部确定出的候选部件相应地，根据所述文字数据而生成设定信息，
所述属性设定部将由所述设定信息生成部生成的所述设定信息设定作为所述属性信息。
8.根据权利要求1至5中任一项所述的部件确定装置，其中，
所述部件确定装置还具有：
识别部，其将所述多个构成要素之中的至少一部分的构成要素作为对象要素，对所述对象要素的颜色和形状的至少任一者进行识别；以及
属性设定部，其将由所述识别部识别出的颜色和形状的至少任一者设定为关于所述对象要素而由所述候选确定部确定出的候选部件的属性信息。
9.根据权利要求1至5中任一项所述的部件确定装置，其中，
所述部件确定装置还具有：
识别部，其将所述多个构成要素之中的进行移动的构成要素作为移动要素，根据构成控制板的控制部件的影像数据对所述移动要素的移动范围进行识别；以及
属性设定部，其将由所述识别部识别出的移动范围设定为关于所述移动要素而由所述候选确定部确定出的候选部件的属性信息。
10.一种部件确定方法，其中，
计算机根据构成控制板的控制部件的图像数据，对构成所述控制部件的多个构成要素进行确定，
计算机将在部件存储部中存储的多个候选部件分别作为对象，在对象的候选部件和所述控制部件之间，分别关于所述多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与所述多个构成要素各自有关的所述要素相似度对所述对象的候选部件和所述控制部件之间的部件相似度进行计算，由此从所述多个候选部件对与所述控制部件相对应的候选部件进行确定。
11.一种部件确定程序，其使计算机作为部件确定装置起作用，该部件确定装置进行：
要素确定处理，根据构成控制板的控制部件的图像数据，对构成所述控制部件的多个构成要素进行确定；以及
候选确定处理，将在部件存储部中存储的多个候选部件分别作为对象，在对象的候选部件和所述控制部件之间，分别关于通过所述要素确定处理而确定出的所述多个构成要素，使用针对每个构成要素而确定的权重对要素相似度进行计算，根据与所述多个构成要素各自有关的所述要素相似度对所述对象的候选部件和所述控制部件之间的部件相似度进行计算，由此从所述多个候选部件对与所述控制部件相对应的候选部件进行确定。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/032153 WO2023032087A1 (ja) | 2021-09-01 | 2021-09-01 | 部品特定装置、部品特定方法及び部品特定プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117813627A true CN117813627A (zh) | 2024-04-02 |
Family
ID=85410819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180101070.4A Pending CN117813627A (zh) | 2021-09-01 | 2021-09-01 | 部件确定装置、部件确定方法及部件确定程序 |
Country Status (5)
| Country | Link |
|---|---|
| JP (1) | JP7333894B2 (zh) |
| CN (1) | CN117813627A (zh) |
| DE (1) | DE112021007880T5 (zh) |
| TW (1) | TW202312095A (zh) |
| WO (1) | WO2023032087A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000099129A (ja) * | 1998-09-17 | 2000-04-07 | Mitsubishi Heavy Ind Ltd | プラント操作盤模擬装置 |
| JP2004139234A (ja) | 2002-10-16 | 2004-05-13 | Toshiba Corp | 運転操作装置 |
| JP4545641B2 (ja) | 2005-06-01 | 2010-09-15 | 日本電信電話株式会社 | 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体 |
| JP2012160134A (ja) | 2011-02-02 | 2012-08-23 | Toshiba Mitsubishi-Electric Industrial System Corp | プラント制御システムの模擬装置及び模擬画面の作成方法 |
| JP6445738B2 (ja) | 2016-03-30 | 2018-12-26 | 株式会社日立製作所 | 類似画像検索方法およびシステム |
-
2021
- 2021-09-01 CN CN202180101070.4A patent/CN117813627A/zh active Pending
- 2021-09-01 WO PCT/JP2021/032153 patent/WO2023032087A1/ja active Application Filing
- 2021-09-01 JP JP2023538055A patent/JP7333894B2/ja active Active
- 2021-09-01 DE DE112021007880.1T patent/DE112021007880T5/de active Pending
- 2021-12-02 TW TW110145009A patent/TW202312095A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023032087A1 (ja) | 2023-03-09 |
| JP7333894B2 (ja) | 2023-08-25 |
| JPWO2023032087A1 (zh) | 2023-03-09 |
| TW202312095A (zh) | 2023-03-16 |
| DE112021007880T5 (de) | 2024-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1975870B1 (en) | Makeup simulation system, makeup simulation device, makeup simulation method, and makeup simulation program | |
| US11080553B2 (en) | Image search method and apparatus | |
| JP2012501011A (ja) | 画像解析方法及びシステム | |
| CN103518183B (zh) | 图形对象分类 | |
| US11908183B2 (en) | Image analysis and processing pipeline with real-time feedback and autocapture capabilities, and visualization and configuration system | |
| Kwon et al. | Practical guide to machine vision software: an introduction with LabVIEW | |
| CN109344869A (zh) | 一种分类模型优化方法、装置及存储设备、程序产品 | |
| KR102485303B1 (ko) | 데이터 레이블링 장치 및 방법 | |
| US20220044147A1 (en) | Teaching data extending device, teaching data extending method, and program | |
| WO2019235554A1 (ja) | 商品特定装置、プログラム及び学習方法 | |
| US20190066734A1 (en) | Image processing apparatus, image processing method, and storage medium | |
| US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
| KR20210098997A (ko) | 자동화된 실시간 하이 다이나믹 레인지 콘텐츠 검토 시스템 | |
| CN111445021B (zh) | 学习方法、学习设备和计算机可读记录介质 | |
| JP5311899B2 (ja) | パターン検出器の学習装置、学習方法及びプログラム | |
| US20180342071A1 (en) | Moving object tracking apparatus, moving object tracking method, and computer program product | |
| CN112328088B (zh) | 图像的呈现方法和装置 | |
| CN117813627A (zh) | 部件确定装置、部件确定方法及部件确定程序 | |
| JP2011186595A (ja) | 情報生成装置、物体検出装置、情報生成方法、物体検出方法、およびプログラム | |
| US11906294B2 (en) | Alignment apparatus, alignment system, alignment method, and recording medium | |
| US20170069138A1 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
| CN109299294B (zh) | 应用中的资源搜索方法、装置、计算机设备和存储介质 | |
| KR20220010516A (ko) | 검사 장치, 검사 방법 및 검사 프로그램, 그리고 학습 장치, 학습 방법 및 학습 프로그램 | |
| CN110647826A (zh) | 商品训练图片的获取方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |