CN111831703A - 显示方法、用户接口部、显示装置以及检查装置 - Google Patents

显示方法、用户接口部、显示装置以及检查装置 Download PDF

Info

Publication number
CN111831703A
CN111831703A CN202010232240.XA CN202010232240A CN111831703A CN 111831703 A CN111831703 A CN 111831703A CN 202010232240 A CN202010232240 A CN 202010232240A CN 111831703 A CN111831703 A CN 111831703A
Authority
CN
China
Prior art keywords
data
group
groups
display method
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010232240.XA
Other languages
English (en)
Inventor
渡边光德
渡边桂祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN111831703A publication Critical patent/CN111831703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462—Approximate or statistical queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9024—Graphs; Linked lists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Abstract

本发明提供显示方法、用户接口部、显示装置以及检查装置。显示方法包括以下步骤：生成将多个样本划分到多个组的组数据；对被划分到每个组的样本执行统计的处理，并计算表示该组之间的预定数据项目的统计状态的数据；以及根据计算出的表示组之间的预定数据项目的统计状态的数据，以能够掌握组之间的统计状态的显示形式来显示。

Description

显示方法、用户接口部、显示装置以及检查装置
技术领域
本公开涉及显示方法、用户接口部、显示装置以及检查装置。
背景技术
在工厂等制造现场，进行所生产的产品的优良品/不良品检查和从流水线出来的产品的物体检测等。这样的各种检查作业由目前积累了经验的作业人员通过目视或参照传感器检测到的值来进行。但是，在人工进行的检查作业中，由于基于各个作业人员的经验差异的判断基准的差异或由于身体变化导致注意力不集中等理由，从而存在其检测精度变化的问题。因此，在多个生产现场，各种检查作业中引入了根据通过传感器等检测到的对象物的图像等数据进行检查的检查装置。在这种检查装置中，为了自动判定产品是否优良而使用机器学习的技术。
在机器学习中，使用收集到的数据进行学习，生成学习模型。然后使用所生成的学习模型来进行基于对象物数据的推论处理，由此进行对象物的检查等。为了通过机器学习生成良好的学习模型，需要使用高质量的数据进行学习，通过高质量的数据进行评价。另外，通过分析评价用的数据的推论结果，能够进行通过机器学习生成的学习模型的质量的评价。此时，在将用于学习的数据和用于评价的数据设为相同数据时，会产生过度学习(过度拟合：over-fitting)等问题并失去泛化性能。其结果为，会有学习模型的质量恶化的问题。因此，希望用于学习的数据和用于评价的数据是不同的数据。即，需要将收集到的数据划分为学习用数据和评价用数据。
另外，日本特开2013-218725号公报以及日本特开2008-059080号公报中公开了取得用于机器学习装置的良好质量的数据的现有技术。
在从云或网站等的用户取得用于机器学习的数据等能够自动取得大量的数据的情况下，将通过使用随机数等简单的方法取得的数据划分为学习用数据和评价用数据即可。即使这样，也能够生成偏差小的良好质量的学习用数据和评价用数据。但是，在使用例如在工厂等被限制的区域内取得的数据时，会有由于该工厂的生产个数、工时的关系而难以取得大量数据的情况。因此，担心通过简单的数据划分的方法在学习用数据和评价用数据中产生偏差。其结果，有可能对最终生成的模型产生不良影响。
在工厂取得的数据虽然不庞大，但是对于进行手工操作而言数据量仍然非常多，通常的文件系统的作业会需要很多的工时。另外，在一个数据样本包括多维的数据时，手动的调整会需要很多的劳动。因此，也存在由于作业人员等对数据的确认不充分，而在数据有偏差的状态下用于学习的风险。
因此，期待用于辅助将所取得的数据以不产生偏差的方式划分为学习用数据和评价用数据的显示方法、用户接口部、显示装置以及检查装置。
发明内容
在本公开一个方式的显示方法中，统计且可视地显示将为了机器学习而取得的数据进行划分后的数据组，从而能够向用户有效地表示数据划分的状况。这样，能够防止在有偏差的状态下使用被划分的数据的情况，而解决上述问题。通过本公开一个方式的显示方法处理的数据是在工厂等环境下取得的数据。这种数据的数据量虽然不是很庞大，但是有一定程度的量。在本公开中，通过排序/筛选(filtering)/统计图表等提高可视性地向用户显示这种数据，由此用户容易识别数据的偏差。另外，本公开的一个方式的显示方法通过以相同形式/相同基准来显示多个数据的组，使组之间容易进行比较。
另外，本公开的一个方式为显示方法，该显示方法包括：生成将多个样本划分到多个组的组数据；对被划分到每个组的样本执行统计处理，并计算表示该组之间的预定数据项目的统计状态的数据；以及根据计算出的表示组之间的预定数据项目的统计状态的数据，以能够掌握组之间的统计状态的显示形式来显示该统计状态。
本公开的一个方式的显示方法中，在上述数据划分辅助下，用户能够在画面上进行各个组之间的数据调整，完成没有偏差的数据划分。
附图说明
参照附图根据以下实施例的说明能够明确本公开的目的以及特征。这些附图中：
图1是一个实施方式的检查装置的概略硬件结构图。
图2是第一实施方式的检查装置的概略功能框图。
图3表示在通过图像识别进行的部件外观检查中取得的图像数据的例子。
图4表示以直方图形式显示与损伤种类相关的各组的统计状态。
图5表示以直方图形式显示与图像识别编号的种类相关的各组的统计状态。
图6表示以列表形式显示与损伤图像数量以及损伤种类相关的各组的统计状态的例子。
图7表示以直方图形式显示与损伤种类相关的各组的统计状态的变形例。
图8是第二实施方式的检查装置的概略功能框图。
图9表示用于进行变更所指定的样本的划分目的地的操作的接口的例子。
图10表示用于进行变更所指定的样本的划分目的地的操作的接口的其他的例子。
图11表示用于进行变更所指定的样本的划分目的地的操作的接口的其他的例子。
图12表示用于进行变更预定数量的样本的划分目的地的操作的接口的例子。
图13表示预定数据项目的统计状态的变化的显示例。
图14是第三实施方式的检查装置的概略功能框图。
图15表示将检查装置和用户接口部设置在不同的装置上的检查系统的例子。
图16表示工业机械的例子。
具体实施方式
以下，使用附图说明本公开的实施方式。
图1是表示一个实施方式的具备机器学习装置的检查装置的概略硬件结构图。本实施方式的检查装置1例如能够安装在控制运输机械和机器人等工业机械2的控制装置上。另外，本实施方式的检查装置1能够安装在与控制运输机械和机器人等工业机械2的控制装置并列设置的个人电脑、经由有线/无线网络与该控制装置连接的边缘计算机、雾计算机、云服务器等计算机上。在本实施方式中，检查装置1被安装在经由有线/无线网络与控制运输机械和机器人等工业机械2的控制装置连接的计算机上。
本实施方式的检查装置1所具备的CPU(Central Processing Unit：中央处理单元)11是整体控制检查装置1的处理器。CPU11经由总线20读出存储在ROM(Read OnlyMemory只读存储器)12中的系统程序，并按照该系统程序来控制检查装置1整体。RAM(Random Access Memory：随机存取存储器)13中暂时存储暂时性计算数据、作业人员经由输入装置17输入的各种数据等。
非易失性存储器14例如由未图示的电池等进行备份的存储器、SSD(Solid StateDrive：固态驱动器)等构成。在非易失性存储器14中即使检查装置1的电源被切断也保持存储状态。非易失性存储器14具有存储与检查装置1的动作相关的设定信息的设定区域。另外，非易失性存储器14中存储有从输入装置71输入的数据、从工业机械2取得的数据(图像数据、声音数据、时间系列数据、数值数据、字符数据等)、从机器学习装置100取得的数据以及经由未图示的外部存储装置、网络读入的数据等。存储在非易失性存储器14中中的程序和各种数据可以在执行时/使用时展开于RAM13。另外，ROM12中被预先写入包括用于分析各种数据的公知的分析程序等的系统程序。
工业机械2例如是机床、运输机械、机器人、采矿机器、木工机器、农业机器、建筑机器。工业机械2构成为能够取得与原动机等各部的动作相关的信息。另外，工业机械2中安装有摄像传感器声音传感器等传感器。工业机械2构成为能够取得进行动作所需要的信息。例如，如图16所示，工业机械2例如是安装了摄像传感器的机器人以及控制该机器人的机器人控制器。该工业机械2能够取得通过摄像传感器拍摄的工件等对象物的图像数据。通过检查装置1经由有线/无线网络5以及接口16取得工业机器人2所取得的信息，存储在RAM13、非易失性存储器14等中。另外，检查装置1根据需要将预定的控制信号经由接口16以及网络5输出给工业机械2。
被读入到存储器上的各个数据、作为执行了程序等的结果而得到的数据、从后述的机器学习装置100输出的数据等经由接口17被输出给显示装置70并显示。另外，由键盘和指示设备等构成的输入装置71将基于作业人员的操作的指令、数据等经由接口18传送给CPU11。
接口21是用于连接检查装置1的各部和机器学习装置100的接口。机器学习装置100使用在工业机械2等的动作环境中取得的特征量来进行机器学习。机器学习装置100例如生成将预定的结果与所取得的特征量关联后得到的学习模型并存储，执行使用了该学习模型的推论处理。机器学习装置100具备控制机器学习装置100整体的处理器101、存储系统程序等的ROM102、用于存储与机器学习相关的各个处理的暂时性数据的RAM103以及用于学习模型等的存储的非易失性存储器104。机器学习装置100能够观测可由检查装置1经由接口21取得的各信息(例如从工业机械2取得的图像数据、声音数据、时间系列数据、数值数据以及字符数据和表示使用了学习模型的推论结果的数据等)。另外，检查装置1能够经由接口21取得从机器学习装置100输出的处理结果，将所取得的结果进行存储或显示，或经由网络5等发送给其他装置。
图2是第一实施方式的检查装置1以及机器学习装置100的概略功能框图。图1所示的检查装置1所具备的CPU11以及机器学习装置100的处理器101分别执行系统程序，并控制检查1以及机器学习装置100的各部的动作，从而实现图2所示的功能块的各个功能。
本实施方式的检查装置1具备数据取得部30、组数据生成部32、统计状态计算部34以及用户接口部38。另外，在非易失性存储器14上设置存储数据取得部30所取得的数据的样本存储部50。
数据取得部30从工业机械2以及输入装置71等取得各种数据。数据取得部30例如取得从安装在工业机械2上的传感器取得的检测对象的图像数据、声音数据以及温度分布数据。另外，数据取得部30取得工业机械2的动作声音、电动机的电压值/电流值的时间系列数据以及作业人员赋予每个数据的标签(数值数据、字符数据等)等。数据取得部30将所取得的数据集作为样本存储在样本存储部50中。数据取得部30也可以经由未图示的外部存储装置、有线/无线网络5从其他装置取得数据。
组数据生成部32将存储在样本存储部50中的样本划分到多个组。以下，将通过划分样本而生成的各个组的数据成为组数据。组数据生成部32例如以预定数量或预定的比例将样本划分为学习用数据的组和评价用数据的组。针对各个样本各自的组的划分信息可以例如通过文件、数据的目录结构被存储，也可以通过JSON(JavaScript Object Notation，JavaScript是注册商品)形式等的预定数据结构被保持。组数据生成部32可以根据预先决定的划分规则自动地将多个样本划分到多个组而生成组数据。另外，组数据生成部32可以根据经由用户接口部38输入的与针对作业人员的输入装置71的操作相关的信息，将多个样本划分到多个组而生成组数据。优选以难以在各组间产生数据的偏差的方式划分样本。但是，会有在样本划分后由作业人员进行偏差的调整的情况，因此在组数据生成部32进行取得数据的划分阶段，例如通过随机数等决定样本的划分目的地的组即可。即，组数据生成部32不需要一定通过完全不产生偏差的划分方法进行划分。
统计状态计算部34对各个组中包括的每个样本群执行统计处理，生成表示各组的预定数据项目的统计状态的数据。这里，预定的数据项目是表示各组中包括的图像数据的特征的项目，如后所述，包括有无损伤、损伤种类以及图像识别编号等的项目。各个数据项目可取预定的数据值。数据项目中“有无损伤”取表示“有”或“无”的数据值。另外，数据项目中“损伤种类”取表示“切伤”、“擦伤”、“污垢”以及“生锈”的数据值。另外，数据项目中“图像识别编号”取表示图像的识别编号的数字的数据值。统计状态计算部34以作业人员能够掌握的形式生成表示预定的数据项目的统计状态的数据。统计状态计算部34例如对各个组中包括的样本群执行统计的处理，生成用于按照每个数据值表示与预定的数据项目相关的样本数量的数据。另外，统计状态计算部34例如按照预定的数据项目能够取的每个数据值生成表示针对取该数据值的样本的所有样本数量的比例的数据。另外，统计状态计算部34例如按照预定的数据项目能够取的每个数据值生成表示取得数据数量的统计值(分散值等)等的数据。表示各个组的预定数据项目的统计状态的数据通过用户接口部38以能够掌握各个数据项目的统计分布的显示形式(例如预定的列表形式、预定的图表形式、预定的数据分布图等)输出给显示装置70。
用户接口部38将组数据生成部32生成的数据以作业人员能够掌握各组的统计状态的显示形式显示在显示装置70。组数据生成部32所生成的数据是表示组数据以及组数据中包括的样本群相关的各组的预定数据项目的统计状态的数据。用户接口部38可以通过预定的列表形式、预定的图表形式将各组的预定数据项目的统计状态显示在显示装置70。此时，用户接口部38能够在组间可对比地显示多个组中包括的每个组群的统计值。用户接口部38可以将各组的组数据、表示预定数据项目的统计状态的各个数据以相同的显示形式(相同的列表形式、相同的图表形式等)在画面上上下或左右并列地显示。这样，用户接口部38能够以作业人员能够掌握各组的预定数据项目的统计状态的方式进行显示。
用户接口部38在显示组数据、表示统计状态的数据时，可以提供各个数据的详细显示、用于变更数据的排列的显示操作用的接口。用户接口部38例如在通过预定的列表形式显示组数据、表示统计状态的数据时，可以根据在列表上选择预定数据项目的栏目名的情况，将与该栏目名对应的数据项目的数据值以升序或降序的方式对数据进行排列(排序)。另外，用户接口部38例如在通过预定的列表形式显示组数据、表示统计状态的数据时，根据指定了预定数据项目的数据值的情况进行只显示取与所指定的数据值相同的数据值的数据的筛选显示。另外，在同时显示多个组的组数据、表示统计状态的数据时，对预定组的数据进行上述排列以及筛选等显示操作时，可以对所有的组同步适用这些显示操作。例如，用户接口部38当在画面上以列表形式同时显示组A和组B的数据时，当在一个组的列表上进行排序或筛选显示的操作时，在另一个组的列表中也可以进行同样的排序或筛选显示。
用户接口部38在显示组数据、表示统计状态的数据时，可以提供列表形式、图表形式的显示的放大或缩小、向上下左右移动等的显示操作用的接口。另外，在同时显示多个组的各个组数据时，或者在同时显示表示多个组的统计状态的数据时等，可以将对预定组的数据进行的显示操作同步适用于所有的组。例如，用户接口部38在画面上以直方图形式同时显示组A和组B的数据时，当在一个组的直方图上进行放大或缩小、向上下左右移动等操作时，在另一组的直方图中也可以进行同样的放大或缩小、向上下左右移动等操作。
这里，说明组数据生成部32、统计状态计算部34以及用户接口部38的动作。这里，将处理在图像识别的部件的外观检查中取得的取得数据的情况作为实施例来进行说明。本实施例的图像识别的部件的外观检查是使用通过摄像机等摄像装置拍摄到的部件的图像数据来检测部件的损伤或污垢、缺损等的检查。近年来，已知在这种检查中除了简单的图像识别以外使用了深层学习等的机器学习的方法是有效的(例：将一个或多个图像数据、与该图像数据关联的表示有无损伤的数据作为训练数据(training data)赋予一个样本来进行学习，使用通过学习得到的模型来进行损伤的检测等)。
图3表示在图像识别的部件外观检查中取得的图像数据的例子。在图3所示的例子中，将从成为检查对象的一个部件取得的多个数据作为一个样本进行管理。这样，一个样本中包括从成为检查对象的一个部件取得的多个图像数据。一个样本中包括的多个图像数据中能够包括例如从相互不同的摄像位置(例如图3中的摄像位置A～D)拍摄得到的图像数据、通过相互不同的摄像方法(例如变更了光源位置的摄像和使用了红外线热图像的摄像等)拍摄得到的图像数据、或者被实施了相互不同的图像处理(例如边缘检测、等级(level)调整等)的图像数据等。另外，通过预定的分析处理或作业人员的目视检查判定的表示有无损伤、损伤的种类等的数据项目与各个图像数据关联。在样本内能够唯一识别各个图像数据的图像识别编号与该样本内的图像数据关联。另外，在各个样本之间，在相同的摄像位置，以相同的摄像方法拍摄且进行了相同的图像处理的相同形式的图像数据被赋予相同的图像识别编号。
在本实施例中，组数据生成部32将存储在样本存储部50中的多个样本划分为组A(学习用数据的组)和组B(评价用数据的组)。组数据生成部32将例如在存储在样本存储部50中的多个样本中被随机选择的预定数量(学习模型的生成所需要的数量)的样本划分给组A，将剩余的样本划分给组B。
接着，统计状态计算部34对各个组中包括的每个组群执行预定的统计处理，计算表示与该样本群相关的预定数据项目的统计状态的数据。统计状态计算部34根据与各个样本中包括的图像数据关联的数据项目按照每个组来计算例如以下的数据。
·各组的样本中包括的有损伤或无损伤的图像的数量
·各组的样本中包括的每个损伤种类的图像数量
·各组的样本中包括的每个图像识别编号的有损伤的图像数量
并且，用户接口部38使显示装置70以预定列表形式、预定图表形式(直方图、饼图、折线图等)等的形式显示由统计状态计算部34生成的表示各个数据项目的统计状态的数据。
图4表示属于每个组的样本中包括的图像数据中、以直方图形式按照每个损伤种类显示损伤图像数量的例子。另外，图5表示属于每个组的样本中包括的图像数据中、以直方图形式按照每个图像识别编号显示损伤图像数量的例子。进一步，图6表示以列表形式显示属于每个组的样本的样本名、损伤图像数量以及损伤种类的例子。
在显示装置70上通过这种列表形式或图表形式显示关于各个组中包括的样本群的预定的数据项目的统计状态。这样，作业人员一看就能够掌握在每个组中是平衡地分布预定的数据项目的数据值还是特定的数据值有偏差等情况。例如，如果看图4的图表形式的显示，则能够掌握关于损伤种类的数据项目在组A中包括很多具备关联有作为数据值的擦伤、污垢的图像数据的样本的情况。另外，能够掌握组B中包括很多具备作为数据值的关联了生锈的图像数据的样本的情况。通常，在用于机器学习的学习用数据的组和评价用数据的组中，希望所有数据项目所取的数据值会以特定的值没有偏差且在每个组中平衡地分布。在本公开的实施方式中，根据统计状态计算部34生成的数据在显示装置70显示列表形式或图表形式的数据。这样，关于所有的数据项目，作业人员能够容易地识别是否需要校正组之间数据数量的偏差。
另一方面，机器学习装置100具备状态观测部106、学习部110以及推论部120。另外，在非易失性存储器104上设置存储作为学习部110的学习结果而生成的学习模型的学习模型存储部130。
状态观测部106在机器学习装置100使用学习模式进行动作时，从样本存储部50取得通过组数据生成部32被划分为多个组的各个样本的信息作为学习用的特征量。另外，状态观测部106根据学习部110进行的学习方式从样本存储部50取得各个样本的标签数据等学习所需要的数据。
另一方面，态观测部106在机器学习装置100使用推论模式进行动作时，取得通过组数据生成部32被划分为多个组的样本的信息作为推论用的特征量。
学习部110进行使用了状态观测部106取得的学习用的特征量以及根据需要使用了标签数据等学习所需要的数据的机器学习。学习部110通过无监督学习、有监督学习等公知的机器学习方法，进行使用了状态观测部106取得的数据的机器学习由此来生成学习模型。学习部110使学习模型存储部130存储所生成的学习模型。学习部110进行无监督学习的方法例如是自动编码器(autoencoder)法、k-means(k-均值)法。学习部110进行的有监督学习例如是多层感知器(multilayer perceptron)法、卷积神经网络(convolutional neuralnetwork)法、支持向量机(support vector machine)法、随机森林法。
推论部120根据状态观测部106取得的推论用的特征量，进行使用了学习模型存储部130中存储的学习模型的推论处理。在本实施方式的推论部120中，将从状态观测部106输入的特征量输入给通过学习部110生成(决定了参数)的学习模型，由此计算针对该特征量的预定推论结果。
作业人员确认以通过用户接口部38掌握各组的统计状态的方式显示在显示装置70中的内容，适当变更存储在样本存储部50中的样本的划分目的地的组来进行调整。机器学习装置100进行使用了通过作业人员进行调整后的学习用组中包括的样本的机器学习。另外，使用这样生成的学习模型进行使用了调整后的评价用组中包括的样本的推论处理，使用其结果能够验证该学习模型的适当性。
作为本实施方式的检查装置1的一个变形例，用户接口部38能够将各组的组数据、表示各自的预定数据项目的统计状态的数据同时显示在画面上。此时，用户接口部38可以将与组之间对应的项目有关的数据显示在附近或重叠显示。图7是在以直方图形式按照每个损伤种类显示损伤图像数量的图表(参照图4)中，重叠显示在组之间对应的项目的例子。通过进行这样的显示，作业人员能够更容易在组之间进行数据的比较。
图8是第二实施方式的检查装置1以及机器学习装置100的概略功能框图。图1所示的检查装置1所具备的CPU11以及机器学习装置100的处理器101分别执行系统程序，并控制检查装置1以及机器学习装置100的各部的动作，从而实现图8所示的功能块的各个功能。
本实施方式的检查装置1除了第一实施方式的检查装置1所具备的各个单元外，还具备数据调整部36。
数据调整部36变更(调整)由组数据生成部32生成的组数据中各个样本所属的组。数据调整部36例如可以根据经由用户接口部38输入的作业人员对输入装置71的操作信息来变更(调整)样本所属的组。另外，数据调整部36可以根据预定的调整规则自动地变更(调整)样本所属的组。
本实施方式的用户接口部38除了第一实施方式的用户接口部38的功能外，还针对属于各组的样本将用于变更该样本所属的组的操作用的界面显示在显示装置70上。用户接口部38所显示的操作用界面可以是确定属于各个组的1个或多个样本，并且用于进行变更该样本所属的组的界面。另外，用户接口部38所显示的操作用的界面可以是按照预定的规则同时变更属于每个组的多个样本的划分目的地的操作用界面。用户接口部38如果检测出作业人员经由输入装置71进行的针对的操作用界面的输入，则将用于调整该输入所对应的数据的指令通知给数据调整部36。
以下，使用图9～图11表示数据调整部36根据经由用户接口部38输入的作业人员对输入装置71的操作信息来变更样本所属的组的例子。
图9表示按照属于每个组的每个样本以列表形式显示损伤图像数量以及损伤种类的画面。另外，图9表示用于进行变更所指定的样本所属的组的操作的界面的例子。在图9所例示的画面上，作业人员能够经由输入装置71操作光标400从而选择各组的样本(将光标400移动到要选择的样本上然后按下空格键等)。另外，在选择了预定样本的状态下，通过选择组变更按钮410或420能够变更所选择的样本所属的组。在图9的例子中，当能够同时选择多个样本时，能够同时变更这些选择的多个样本所属的组。
图10表示按照属于每个组的每个样本以列表形式显示损伤图像数量以及损伤种类的画面。另外，图10表示用于进行变更所指定的样本所属的组的界面的其他的例子。在图10例示的画面上，作业人员经由作为输入装置71的指示设备操作光标400。这样，作业人员能够选择各组的样本(将光标400移动到要选择的样本后按压指示设备的按钮等)。另外，在选择了样本的状态下，使光标400向其他组的列表移动(维持在选择了样本的状态下按压了指示设备的按钮的状态，使光标向其他组的列表移动，放开指示设备的按钮等拖放操作)，由此能够将选择出的样本所属的组变更为移动目的地的组。在图10的例子中，在能够同时选择多个样本时，也能够同时变更这些选择出的多个样本所属的组。
图11表示按照属于每个组的样本包括的每个损伤种类以直方图形式显示损伤图像数量的画面。另外，图11表示用于进行变更所指定的样本所属的组的界面的例子。在图11例示的画面上，作业人员经由作为输入装置71的指示设备操作光标400。这样，作业人员能够选择各组的直方图柱(样本的集合)，并一次选择直方图条中包括的所有样本。通过上述组变更按钮410或420的选择、指示设备的拖放操作，能够一次变更选择出的所有样本所属的组。
另外，在图9～图11中表示变更分别通过列表形式或图表形式显示的样本的划分目的地的组的操作例。但是不限于该例子，可以并用列表形式的显示和图表形式的显示来进行样本的划分目的地的组的变更操作。例如，能够在相同画面上同时显示表示各组的统计状态的图表和样本的列表。此时，如果作业人员在图表上选择要进行调整的样本的集合，则选择(例如反转显示等)在列表上对应的样本。之后，进行解除在列表上变更划分目的地的数据以外的选择等的调整后，通过变更样本的划分目的地能够有效地进行样本的划分目的地的变更。
通过提供这种界面，作业人员在确认了现状的样本划分状况后，当样本的划分状况没有达到希望的基准时，能够经由用户接口调整数据的划分状况。并且，通过作业人员适当地进行样本的划分，能够进行质量良好的机器学习等。
以下，说明数据调整部36根据预定的调整规则自动变更(调整)样本所属的组的例子。
在调整样本的划分目的地的组时，会有没有从特定的组指定个别的样本，而将预定数量的样本变更为其他组的情况(例如图11中，从包括检测出属于组A的污垢的图像数据的样本随机地提取12件变更为组B等)。另外，需要将属于特定组的多个样本划分为其他多个组的作业。另外，需要从新取得的取得数据将未划分的样本划分为多个组的作业。
这种情况下，作业人员操作输入装置17，从用户接口部38选择成为输入侧的样本群(输入样本群)和成为输出侧的组(可以是输出组、多个组)，指示数据调整部36将输入样本群中包括的样本的划分目的地变更为输出组。例如，如图12所示，在选择预定的直方图条的状态下，将数量或针对预定的母集团的比例输入给移动量输入栏450，进行选择样本变更按钮430或440的操作。另外，在图12所示的例子中，预定的母集团是与在显示画面上选择的直方图条对应的样本群。
但是，如果不考虑数据的统计状态而随机地决定样本的划分目的地的组，则组之间的各个数据项目所取的数据值的统计状态中产生偏差，之后的调整变成大的负担。另一方面，作业人员全部掌握统计状态并选择变更划分目的地的样本是困难的。为了解决这样的问题，需要使数据调整部36具有样本的自动划分功能。
例如在图12所示的例子中，属于组A的样本中包括35件检查出污垢的图像数据。此时，有一个样本中包括1张污垢的图像数据的情况，也有包括多张污垢图像数据的情况。另外，在包括污垢图像数据的样本内有可能包括检测出其他损伤的图像数据。并且，在将图像数据变更为其他组时，成为以样本为单位变更组的情况。因此，使12件污垢的图像数据移动到组B，由此也会影响检测出属于各组的切伤或擦伤、生锈的图像数据的张数。
因此，在作业人员从用户接口部38指示数据调整部36将输入样本群中包括的样本变更为输出组时，如果指定了预定的调整规则，则数据调整部36按照所指定的调整规则自动决定输入样本群中包括的各个样本的划分目的地的组。在图12所示的例子中，从包括检测出污垢的图像数据的样本中将12件样本变更为组B。这表示在包括检测出污垢的图像数据的35件样本中，将23件划分为组A，将12件划分为组B(再划分)。数据调整部36按照所指定的调整规则进行该处理。
用户接口部38可以使作业人员指定自动划分时优先的数据项目作为预定的调整规则的例子。在指定这样的调整规则时，数据调整部36决定各个样本的划分目的地的组使得取优先的数据项目的数据值的样本数量在组之间成为均等。在能够指定这样的调整规则时，可以单独指定优先的数据项目，也能够以对多个优先的数据项目赋予不同的优先级来进行指定。如果指定这样的调整规则，则数据调整部36例如最初使用随机数随机地临时决定各个样本的划分目的地的组，之后在优先的数据项目的要素中有偏差时，在组间替换样本。在对多个优先的数据项目赋予不同的优先级来进行指定时，实施多次这种替换程序。此时，在第二次以后的替换中，以不影响上次为止的替换中作为基准的优先的数据项目的样本比例的方式来进行。另外，在替换顺序在后的数据项目(优先级设定为较低的数据项目)中可能会产生制约而不能够达成目标。此时，作业人员在看到结果后研究优先级的赋予方法即可。
另外，在将属于特定组的多个样本划分为其他多个组时，选择属于特定的组的多个样本作为输入样本群，并选择其他多个组作为输出组。这样，能够进行与上述例子同样的自动划分。
进一步，即使在将新取得的样本划分为多个组的情况下，从新取得的数据选择未划分的样本作为输入样本群，选择多个划分目的地作为输出组，由此能够进行与上述例子相同的自动划分。
这样，作业人员能够通过调整规则的形式指定将样本自动划分为各个组时的基准。因此，能够进行反映了作业人员的意图的自动划分。
作为本实施方式的检查装置1的一个变形例，在通过作业人员决定样本所属的组的变更之前，通过变更显示样本所属的组能够确认预定的数据项目的统计状态会怎样变化。例如，在根据作业人员的操作变更样本的划分目的地时，如图13所例示那样，显示直方图条的高度变化等来对作业人员表示预定的数据项目的统计状态会怎样变化。当作业人员进行接受该变更的选择时执行样本所属的组的变更即可。一个样本中包括各种数据，变更样本所属的组，由此会引起与作业人员所意图不同的统计状态的变化。此时，作业人员会被强迫进行多次的再调整。另外，在一个样本包括多维的数据时，人很难事先准确地预测样本的划分目的地的变更造成的所有影响。因此，事先通过各种观点确认各组的预定数据项目的统计状态的变化，由此能够有效地进行调整。
作为本实施方式的检查装置1的其他变形例，可以在组数据生成部32最初将样本划分为多个组时使用通过本实施方式引入的数据调整部36的自动划分的方法。通过这样，在制作组数据的阶段，某种程度上能如作业人员所设想的那样将样本划分成多个组，从而减少再调整的工序。
图14是第三实施方式的检查装置1以及机器学习装置100的概略功能框图。图1所示的检查装置1所具备的CPU11以及机器学习装置100的处理器101分别执行系统程序，控制检查装置1以及机器学习装置100的各部的动作，从而实现图14所示的功能块的各个功能。
本实施方式的检查装置1除了具备第二实施方式的机床装置1所具备的各个单元，还具备验证部40。
验证部40根据存储在样本存储部50中的样本，验证作为机器学习装置100进行了机器学习的结果而生成的学习模型的适当性。验证部40使用评价用数据的组对该适当性通过公知的验证方法来验证(评价学习模型)作为使用了学习用数据的组进行机器学习的结果而生成的学习模型。验证部40在由组数据生成部32生成学习用数据的组以及评价用数据的组，并由数据调整部36调整了被划分为各组的样本的分布后，进行学习模型的推定精度的验证。作为公知的验证方法，例如列举在将学习模型适用于评价用数据的组中包括的样本时评价推定精度的方法等。另外，作为其他的例子，验证部40在例如由组数据生成部32将样本划分为5组，由数据调整部36对划分为各组的样本的分布进行调整后，通过将4个组设为学习用数据的组、将一个组设为评价用数据的组的验证方法(例如交叉验证方法等)进行验证(评价学习模型)。验证部40进行的验证结果经由用户接口部38显示在显示装置70上。
以上，说明了本公开的实施方式，但是本公开不限定于上述实施方式的例子，而能够通过增加适当的变更以各种方式来实施。
例如，在上述实施方式中检查装置1和机器学习装置100作为具有不同的CPU(处理器)的装置进行说明。机器学习装置100可以通过检查装置1所具备的CPU11和存储在ROM12中的系统程序来实现。
另外，在上述实施方式中说明了检查装置1作为具备机器学习装置100的装置。机器学习装置100例如与检查装置1分体构成，是可以经由网络5连接检查装置和机器学习装置100的结构。
进一步，表示在上述实施方式中将在检查装置1上生成的样本的多个组用于机器学习的例子。但是在本公开的检查装置1上生成的样本的组例如能够用于机器学习以外，使得为了防止数据的偏差而将测量时期等的外围数据与样本关联。
在上述实施方式中，在检查装置1上设置用户接口部38。但是，如图15例示那样，能够将没有设置用户接口部38的检查装置1’和安装了用户接口部38的服务器4经由网络5连接并构建检查系统7。此时，作为服务器4例如能够使用网络服务器等公知的服务器装置。
在上述实施方式中，示出了将检查装置1与工业机械2连接，并使用了从该工业机械2取得的数据的检查装置1的实施例。但是，本公开的检查装置1、检查系统7以及用户接口的用途不限于此。例如，可以将过去的从工业机械2等取得的数据保存在云服务器等上，使用所保存的数据进行上述的分析处理等。另外，作为本公开中成为对象的数据，不特别限定于从工业机械2取得的数据，能够适用于机器学习的学习和推论所使用的数据群。
在上述实施方式中，表示将通过检查装置1被划分到各个组的样本群用于机器学习的学习和推论(验证)的实施例。但是，样本群能够用于各种用途，例如将样本群划分为A、B、C共3个组，以使用组B评价了使用组A学习而生成的模型的评价结果来决定使用组A学习时的超级参数，并在决定了超级参数后使用组C进行通过组A学习而生成的模型的评价等。
在上述实施方式中，表示将机器学习装置100的学习/推论的结果输出给用户接口部38的实施例，但是机器学习装置100的学习/推论结果例如存储在设置在检查装置1所具备的非易失性存储器14上的存储区域，或经由未图示的网络等输出给云服务器和主计算机、其他检查装置等并活用。

Claims (14)

1.一种显示方法，其特征在于，
该显示方法包括：
生成将多个样本划分到多个组的组数据；
对被划分到每个上述组的样本执行统计处理，并计算表示该组之间的预定数据项目的统计状态的数据；以及
根据计算出的表示上述组之间的预定数据项目的统计状态的数据，以能够掌握上述组之间的统计状态的显示形式来显示上述统计状态。
2.根据权利要求1所述的显示方法，其特征在于，
上述显示形式是通过可进行样本的排序操作或筛选操作的列表形式一览显示表示上述组之间的预定数据项目的统计状态的数据的形式。
3.根据权利要求1所述的显示方法，其特征在于，
上述显示形式是通过图表形式显示表示上述组之间的预定数据项目的统计状态的数据的形式。
4.根据权利要求1所述的显示方法，其特征在于，
上述显示形式是将与多个上述组有关的相同形式的数据上下或左右排列或者重叠显示的形式。
5.根据权利要求4所述的显示方法，其特征在于，
该显示方法还包括对针对与多个上述组有关的相同形式的数据的显示操作进行同步。
6.根据权利要求1所述的显示方法，其特征在于，
该显示方法还包括：
调整上述样本的划分目的地的组；
接受上述组之间单一或多个样本的划分目的地的变更操作；以及
按照上述变更操作来调整成为该变更操作的对象的样本的划分目的地的组。
7.根据权利要求1所述的显示方法，其特征在于，
该显示方法还包括：
调整上述样本的划分目的地的组；
接受单一或多个输入样本群的选择操作和划分目的地的多个输出组的选择操作；以及
将所选择的上述输入样本群自动划分到上述输出组。
8.根据权利要求7所述的显示方法，其特征在于，
该显示方法还包括：
接受单一或多个指定在划分上述输入样本群中包括的样本时成为优先的预定数据项目的操作；以及
考虑所指定的成为优先的预定的数据项目，将所选择的上述输入样本群自动划分到上述输出组。
9.根据权利要求6或7所述的显示方法，其特征在于，
该显示方法还包括：进行能够事先确认上述样本的划分目的地的组的调整后的上述组之间的预定数据项目的统计状态的变化的显示。
10.根据权利要求1所述的显示方法，其特征在于，
该显示方法还包括：使用上述多个组中包括的样本来进行机器学习。
11.根据权利要求10所述的显示方法，其特征在于，
在上述多个组中，至少一个组用于上述机器学习，至少一个其他的组用于通过上述机器学习生成的学习模型的评价。
12.一种用户接口部，其特征在于，
该用户接口部使用权利要求1～11中任意一项的显示方法进行显示。
13.一种显示装置，其特征在于，
该显示装置使用权利要求1～11中任意一项的显示方法进行显示。
14.一种检查装置，其特征在于，
该检查装置使用权利要求1～11任意一项的显示方法进行检查。
CN202010232240.XA 2019-03-29 2020-03-27 显示方法、用户接口部、显示装置以及检查装置 Pending CN111831703A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019065700A JP7088871B2 (ja) 2019-03-29 2019-03-29 検査装置、検査システム、及びユーザインタフェース
JP2019-065700 2019-03-29

Publications (1)

Publication Number Publication Date
CN111831703A true CN111831703A (zh) 2020-10-27

Family

ID=72606014

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010232240.XA Pending CN111831703A (zh) 2019-03-29 2020-03-27 显示方法、用户接口部、显示装置以及检查装置

Country Status (4)

Country Link
US (1) US11568290B2 (zh)
JP (1) JP7088871B2 (zh)
CN (1) CN111831703A (zh)
DE (1) DE102020107179A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11768084B2 (en) * 2020-07-27 2023-09-26 Deere & Company Agricultural machine with an improved user interface
US20230334068A1 (en) * 2021-08-20 2023-10-19 Boe Technology Group Co., Ltd. Data processing method and apparatus thereof, electronic device, and computer-readable storage medium
WO2023042874A1 (ja) * 2021-09-17 2023-03-23 テルモ株式会社 情報処理方法、情報処理装置およびプログラム
WO2023219037A1 (ja) * 2022-05-13 2023-11-16 株式会社レゾナック 予測装置、材料設計システム、予測方法及び予測プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6807537B1 (en) * 1997-12-04 2004-10-19 Microsoft Corporation Mixtures of Bayesian networks
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP4760614B2 (ja) 2006-08-29 2011-08-31 パナソニック電工株式会社 信号識別装置の学習データの選択方法
JP6063756B2 (ja) 2013-01-25 2017-01-18 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP6148879B2 (ja) 2013-02-28 2017-06-14 旭化成株式会社 二次電池の電池状態推定装置及び電池パックの製造方法並びにセルバランス確認方法
JP5538597B2 (ja) 2013-06-19 2014-07-02 株式会社日立製作所 異常検知方法及び異常検知システム
JP6632193B2 (ja) 2015-01-16 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11868851B2 (en) * 2015-03-11 2024-01-09 Symphonyai Sensa Llc Systems and methods for predicting outcomes using a prediction learning model
WO2018018025A1 (en) * 2016-07-21 2018-01-25 Ayasdi, Inc. Topological data analysis of data from a fact table and related dimension tables
US9836183B1 (en) * 2016-09-14 2017-12-05 Quid, Inc. Summarized network graph for semantic similarity graphs of large corpora
JP6577532B2 (ja) * 2017-07-28 2019-09-18 ファナック株式会社 機械学習装置、及びユーザ識別装置
US10825227B2 (en) * 2018-04-03 2020-11-03 Sri International Artificial intelligence for generating structured descriptions of scenes

Also Published As

Publication number Publication date
US20200311588A1 (en) 2020-10-01
DE102020107179A1 (de) 2020-10-01
JP7088871B2 (ja) 2022-06-21
JP2020166499A (ja) 2020-10-08
US11568290B2 (en) 2023-01-31

Similar Documents

Publication Publication Date Title
CN111831703A (zh) 显示方法、用户接口部、显示装置以及检查装置
US10835930B2 (en) Sorting system
JP6560707B2 (ja) 加工面品位評価装置
JP5898221B2 (ja) 製造されたウェブ製品のデジタルサンプルに対する評価のコンピュータ支援割り当て
CN104907700A (zh) 用于配置激光加工装置的方法
JP6903142B2 (ja) 異常検出装置、異常検出方法及びプログラム
JP4957406B2 (ja) バッチプロセス解析システムおよびバッチプロセス解析方法
US20240037724A1 (en) Plant detection and display system
JP6767432B2 (ja) 縫い目検査装置
JP6795562B2 (ja) 検査装置及び機械学習方法
JP6823025B2 (ja) 検査装置及び機械学習方法
CN113874800B (zh) 提高生产效率的支援系统
JP2007198968A (ja) 画像分類方法及び画像分類装置
WO2022259380A1 (ja) 点検支援装置、点検支援システム、点検支援方法および点検支援プログラム
JP2021092868A (ja) 作業工程判別装置及び作業工程判別システム
JP6840294B1 (ja) プログラマブル表示器、制御システムおよび解析方法
US11615564B2 (en) Time series data display device
WO2023139750A1 (ja) データセット作成装置及びコンピュータ読み取り可能な記録媒体
CN116194952A (zh) 检查装置
KR20230062123A (ko) 적응적 트레이닝 이미지 데이터세트의 생성 방법 및 장치
IT202100025514A1 (it) Piattaforma per l’automatizzazione dei processi di controllo qualita’ in ambito manifatturiero
EP3910565A1 (en) Information management device and information management method
DE112020006780T5 (de) Verhaltensanalysevorrichtung und Verhaltensanalyseverfahren

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination