CN108563204A - 控制方法、装置、电子设备及计算机可读存储介质 - Google Patents
控制方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN108563204A CN108563204A CN201810321656.1A CN201810321656A CN108563204A CN 108563204 A CN108563204 A CN 108563204A CN 201810321656 A CN201810321656 A CN 201810321656A CN 108563204 A CN108563204 A CN 108563204A
- Authority
- CN
- China
- Prior art keywords
- sample
- machine learning
- learning model
- sample data
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000010801 machine learning Methods 0.000 claims abstract description 142
- 238000012549 training Methods 0.000 claims abstract description 48
- 238000004519 manufacturing process Methods 0.000 abstract description 23
- 239000002023 wood Substances 0.000 description 22
- 238000005520 cutting process Methods 0.000 description 18
- 230000007547 defect Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000006854 communication Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010297 mechanical methods and process Methods 0.000 description 1
- 230000005226 mechanical processes and functions Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32252—Scheduling production, machining, job shop
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
- General Factory Administration (AREA)
Abstract
本公开实施例公开了控制方法、装置、电子设备及计算机可读存储介质。方法包括：获取采集到的样本数据；根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；在将采集到的样本数据输出给所述用户时，接收用户输入的第一样本操作信息,而在将采集到的样本数据输出给机器学习模型时，获取机器学习模型输出的第二样本操作信息；根据第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。本公开实施例通过不同工作模式的控制，前期通过人工控制模式来控制对样本数据的操作，同时利用生产线操作过程中采集到的样本数据训练机器学习模型，而后期在机器学习模型训练好之后，由机器学习模型控制对样本数据的操作。
Description
技术领域
本公开涉及工业控制技术领域，具体涉及一种控制方法、装置、电子设备及计算机可读存储介质。
背景技术
在工业自动化方面，机器视觉的应用具有悠久的历史，例如通过机器视觉的方式进行缺陷检测，质量控制等在各类生产车间有广泛的应用。近期随着人工智能技术的发展，机器学习的方法极大地拓展了机器视觉的应用范围以及机器视觉的识别精度。与传统方法不同，机器学习是一种能够通过不断输入训练数据的方式不断提升识别性能的方法。例如使用深度学习或神经网络的方式，传统机器视觉无法完成的各类工作可以被快速的通过积累训练数据的方式解决。
例如，一种广泛使用的机器学习需要先对神经网络进行训练，训练后的模型再用于检测。神经网络训练需要带有标记分类数据的训练样本。样本数据一般由人工的方式采集对应图像，再由标注人员进行分类标注进而得到一个标注的数据。
发明内容
本公开实施例提供一种控制方法、装置、电子设备及计算机可读存储介质。
第一方面，本公开实施例中提供了一种控制方法，包括：
获取采集到的样本数据；
根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
可选地，根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型，包括：
在第一工作模式和第二工作模式下，将所述采集到的样本数据输出给用户；
在第二工作模式和第三工作模式下，将所述采集到的样本数据输出给所述机器学习模型。
可选地，第一工作模式下，在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息之后，还包括：
根据所述第一样本操作信息获取所述样本数据的标注数据；
利用所述样本数据和所述标注数据对所述机器学习模型进行训练。
可选地，还包括：
根据所述第一样本操作信息和第二样本操作信息确定所述机器学习模型的识别准确率。
可选地，在第三工作模式下，获取所述机器学习模型输出的第二样本操作信息之后，还包括：
将所述第二样本操作信息输出给所述用户，接收所述用户输入的第三样本操作信息，所述第三样本操作信息用于所述机器学习模型的再训练。
可选地，还包括：
在所述机器学习模型完成训练后，将所述第一工作模式切换至所述第二工作模式；和/或，
在所述机器学习模型的识别准确率大于或等于预设阈值后，将所述第二工作模式切换至所述第三工作模式。
可选地，获取采集到的样本数据，包括：
远程获取至少一个客户端采集到的样本数据。
可选地，所述样本为木材；所述第一样本操作信息或第二样本操作信息包括所述木材的分类操作信息；所述操作控制信号包括控制木材踢腿机将所述木材踢入相应分类区域的控制信号。
可选地，所述样本为木皮；所述第一样本操作信息或第二样本操作信息包括所述木皮的缺陷切割信息；所述操作控制信号包括控制切割机的切割信号。
第二方面，本公开实施例提出了一种控制装置，包括：
第一获取模块，被配置为获取采集到的样本数据；
第一确定模块，被配置为根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
第二获取模块，被配置为在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
第一输出模块，被配置为根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
可选地，所述第一确定模块，包括：
第一输出子模块，被配置为在第一工作模式和第二工作模式下，将所述采集到的样本数据输出给用户；
第二输出子模块，被配置为在第二工作模式和第三工作模式下，将所述采集到的样本数据输出给所述机器学习模型。
可选地，第一工作模式下，所述第二获取模块之后，还包括：
第三获取模块，被配置为根据所述第一样本操作信息获取所述样本数据的标注数据；
训练模块，被配置为利用所述样本数据和所述标注数据对所述机器学习模型进行训练。
可选地，第二工作模式下，还包括：
第二确定模块，被配置为根据所述第一样本操作信息和第二样本操作信息确定所述机器学习模型的识别准确率。
可选地，在第三工作模式下，所述第二获取模块之后，还包括：
第二输出模块，被配置为将所述第二样本操作信息输出给所述用户，接收所述用户输入的第三样本操作信息，所述第三样本操作信息用于所述机器学习模型的再训练。
可选地，还包括：
第一切换模块，被配置为在所述机器学习模型完成训练后，将所述第一工作模式切换至所述第二工作模式；和/或，
第二切换模块，被配置为在所述机器学习模型的识别准确率大于或等于预设阈值后，将所述第二工作模式切换至所述第三工作模式。
可选地，所述第一获取模块，包括：
获取子模块，被配置为远程获取至少一个客户端采集到的样本数据。
可选地，所述样本为木材；所述第一样本操作信息或第二样本操作信息包括所述木材的分类操作信息；所述操作控制信号包括控制木材踢腿机将所述木材踢入相应分类区域的控制信号。
可选地，所述样本为木皮；所述第一样本操作信息或第二样本操作信息包括所述木皮的缺陷切割信息；所述操作控制信号包括控制切割机的切割信号。
所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中，控制装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持控制装置执行上述第一方面中控制方法的计算机指令，所述处理器被配置为用于执行所述存储器中存储的计算机指令。所述控制装置还可以包括通信接口，用于控制装置与其他设备或通信网络通信。
第三方面，本公开实施例提供了一种电子设备，包括存储器和处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现第一方面所述的方法步骤。
第四方面，本公开实施例提供了一种计算机可读存储介质，用于存储控制装置所用的计算机指令，其包含用于执行上述第一方面中控制方法为控制装置所涉及的计算机指令。
本公开实施例提供的技术方案可以包括以下有益效果：
本公开实施例提出的控制方法，在不同的工作模式下，通过将采集到的样本数据提供给用户或者机器学习模型，进而通过用户和/或者机器学习模型得到如何对样本进行操作的操作信息。本公开实施例在实际的生产线操作过程中，通过不同工作模式的控制，前期通过人工控制模式来控制对样本数据的操作，同时利用生产线操作过程中采集到的样本数据训练机器学习模型，而后期在机器学习模型训练好之后，切换至自动控制模式，由机器学习模型控制对样本数据的操作。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
结合附图，通过以下非限制性实施方式的详细描述，本公开的其它特征、目的和优点将变得更加明显。在附图中：
图1示出根据本公开一实施方式的控制方法的流程图；
图2示出根据图1所示实施方式中训练机器学习模型的流程图；
图3示出基于本公开一实施方式的控制方法的木材自动分拣设备的结果示意图；
图4示出本公开一实施方式的控制方法采用的卷积神经网络结构示意图；
图5示出基于本公开一实施方式的控制方法得到的两种切割路径的对比示意图；
图6示出根据本公开一实施方式的控制装置的结构框图；
图7是适于用来实现根据本公开一实施方式的控制方法的电子设备的结构示意图。
具体实施方式
下文中，将参考附图详细描述本公开的示例性实施方式，以使本领域技术人员可容易地实现它们。此外，为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
在本公开中，应理解，诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件、部分或其组合的存在，并且不欲排除一个或多个其他特征、数字、步骤、行为、部件、部分或其组合存在或被添加的可能性。
另外还需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
在一些行业领域内，机器学习模型无法通过事前训练的方式得到，而是要针对每一产品或原料供应进行定制化训练。例如一般在木材加工厂中，每一批木材样本都可能存在差异，同时每一种木材种类也存在差异，这与其他标准化产品具有本质的不同。这种本质的不同导致在不同的工厂部署一个机器学习模型往往需要现场采集数据再完成一个新模型的训练。在实际操作过程中，为了避免对现存流水线作业造成干涉，需要建立一个数据采集设备，例如一个等同于工厂传送装置的传送装置，并部署图像采集设备用于采集图像。此后，在对数据进行标注并完成机器学习模型训练之后，再在该传送装置上进行模型的测试。当模型测试稳定后，再将图像采集设备以及机器学习模型移植到现存流水线之上。由上可见，这种方法虽然不对现存流水线造成干涉，但是效率却非常低，周期长而且要耗费资源建设一个替代装置。而直接部署一个机器学习模型在现存流水线上，由于模型往往需要配套的自动化分选装置，则在模型训练成型之前对流水线作业造成干涉，例如机器由于模型训练不够完整而执行了错误的分类操作。
图1示出根据本公开一实施方式的控制方法的流程图。如图1所示，所述控制方法包括以下步骤S101-S103：
在步骤S101中，获取采集到的样本数据；
在步骤S102中，根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
在步骤S103中，在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
在步骤S104中，根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
本实施例中，样本数据可以是任何能够采样的样本数据，例如可以是样本的图像、声音、压力等传感器采集的样本数据。本公开实施例在实际的生产线操作过程中，通过不同工作模式的控制，前期通过人工控制模式来控制对样本数据的操作，同时利用生产线操作过程中采集到的样本数据训练机器学习模型，而后期在机器学习模型训练好之后，切换至自动控制模式，由机器学习模型控制对样本数据的操作。例如，对木材的分拣过程中，机器学习模型未训练好之前，将采集的木材样本数据提供给用户，由用户来决定对当前木材样本的操作，如将当前木材分拣至哪个分类等操作；同时，利用采集的木材样本数据以及用户输入的操作对机器学习模型进行训练；在机器学习模型训练好之后，采集的木材样本数据可以直接输出给机器学习模型，由机器学习模型来决定对当前木材样本的操作，而无需人工进行干预，通过这种方式可以在生产线操作过程中，自动实现机器学习模型的训练和部署，而无需任何额外的干涉，在不增加额外成本的基础上实现了后期生产线的自动控制模式。
本实施例中，用户可以是实际生产线过程中，控制样本的操作的用户。不同工作模式下，采集到的样本数据可以仅输出给用户或机器学习模型，也可以既输出给用户又输出给机器学习模型。在将采集到的样本数据输出给用户时，可以从用户获得第一样本操作信息，第一样本操作信息可以包括对样本进行何种操作的信息。在将采集到的样本数据输出给机器学习模型时，可以从机器学习模型获得第二样本操作信息，第二样本操作信息可以包括对样本进行何种操作的信息。机器学习模型例如可以是神经网络、卷积神经网络、深度神经网络、支持向量机、K-means、K-ne i ghbors、决策树、随机森林、贝叶斯网络中的一种或多种的组合。
本实施例中，在不同工作模式下，根据获得的第一样本操作信息或第二样本操作信息对样本进行相应的操作，对样本的操作控制信号可以根据生产线的实际情况而定，例如木材分拣生成线上的木材分拣控制信号，木材缺陷识别及修复生产线上的木材缺陷切割控制信号等。
在本实施例的一个可选实现方式中，根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型，包括：
在第一工作模式和第二工作模式下，将所述采集到的样本数据输出给用户；
在第二工作模式和第三工作模式下，将所述采集到的样本数据输出给所述机器学习模型。
该可选的实现方式中，工作模式可以包括第一工作模式、第二工作模式和第三工作模式。在第一工作模式下，将采集到的样本数据输出给用户，并接收用户对样本的第一样本操作信息，该第一工作模式可以用于生产线初期，机器学习模型的训练过程中。而在第二工作模式下，采集到的样本数据既可以输出给用户，也可以输出给机器学习模型，该第二工作模式可以用于生产线进行一段时间后，机器学习模型的测试过程中。在第三工作模式下，将采集到的样本数据输出给机器学习模型，并接收机器学习模型对样本的第二样本操作信息，该第三工作模式可以用于生产线进行一段时间后，机器学习模型完成训练、并进行了部署后的过程中。该可选的实现方式通过三种工作模式控制生产线上机器学习模型的训练、测试和部署，实现了无干涉的机器学习模型的训练和部署，节省了额外成本。
在本实施例的一个可选实现方式中，如图2所示，第一工作模式下，所述步骤S103，即在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息的步骤之后，进一步包括以下步骤S201-S202：
在步骤S201中，根据所述第一样本操作信息获取所述样本数据的标注数据；
在步骤S202中，利用所述样本数据和所述标注数据对所述机器学习模型进行训练。
该可选的实现方式中，在第一工作模式下，生产线的操作过程中，可以根据用户对样本的第一样本操作信息，对机器学习模型进行训练。第一工作模式下，采集的样本数据既可以提供给用户用于样本操作，也可以用来作为机器学习模型的训练样本中的样本数据，而用户对样本的第一样本操作信息可以作为训练样本中的标注数据，并将样本数据和第一样本操作信息作为一个训练样本，对机器学习模型进行训练。通过这种方式，对机器学习模型的训练样本直接从生产线上获取，而无需单独进行数据采集和标注，节省了成本。
在本实施例的一个可选实现方式中，第二工作模式下，方法还进一步包括以下步骤：
根据所述第一样本操作信息和第二样本操作信息确定所述机器学习模型的识别准确率。
该可选的实现方式中，第一工作模式下，机器学习模型可以基于生产线上获得的训练样本得到不断地训练，在训练次数达到一定程度，或者机器学习模型的性能达到预设标准以后，可以进入第二工作模式。在第二工作模式下，通过将样本数据同时提供给用户和机器学习模型，并进一步通过对比用户对样本的第一样本操作信息和机器学习模型对样本的第二样本操作信息来测试机器学习模型的准确率，如果机器学习模型输出的第二样本操作信息与用户给出的第一样本操作信息相同，则可以认为机器学习模型的输出准确，而如果不同，则可以认为机器学习模型的输出不准确。通过这种方式，可以在生产线过程中，实现对机器学习模型的自动测试，而无需增加额外的成本。
在本实施例的一个可选实现方式中，第三工作模式下，所述步骤S103中，即获取所述机器学习模型输出的第二样本操作信息之后，方法还进一步包括以下步骤：
将所述第二样本操作信息输出给所述用户，接收所述用户输入的第三样本操作信息，所述第三样本操作信息用于所述机器学习模型的再训练。
该可选的实现方式中，第二工作模式下，对机器学习模型进行测试后，如果机器学习模型的准确率达到预设值，则可以进入第三工作模式，即由机器学习模型控制生产线上对样本的操作。而在该第三工作模式下，还可以继续给予生产线上获得的样本数据对机器学习模型进行再训练，以使机器学习模型的性能进一步得到提升。
在本实施例的一个可选实现方式中，所述方法还进一步包括以下步骤：
在所述机器学习模型完成训练后，将所述第一工作模式切换至所述第二工作模式；和/或，
在所述机器学习模型的识别准确率大于或等于预设阈值后，将所述第二工作模式切换至所述第三工作模式。
该可选的实现方式中，第一工作模式下，如果机器学习模型的训练达到一定程度，例如训练次数达到一定值，或者机器学习模型的性能达到一定程度等，可以切换至第二工作模式；而在第二工作模式下，通过对机器学习模型的测试，如果机器学习模型的准确率到达预设阈值，则可以切换至第三工作模式。
在本实施例的一个可选实现方式中，所述步骤S101，即获取采集到的样本数据的步骤，进一步包括以下步骤：
远程获取至少一个客户端采集到的样本数据。
该可选的实现方式中，可以在远程服务器上执行本实施例的控制方法，并从一个或多个生产线上的客户端获得样本数据，进而对机器学习模型进行训练和部署。
在本实施例的一个可选实现方式中，所述样本为木材；所述第一样本操作信息或第二样本操作信息包括所述木材的分类操作信息；所述操作控制信号包括控制木材踢腿机将所述木材踢入相应分类区域的控制信号。
下面通过木材分类生产线为例，描述本公开实施例的应用场景。
在本实施例中，提出了一种基于上述控制方法的木材自动分拣设备。该设备用于利用机器学习模型对木板进行自动的分类并通过踢腿装置将一个木板踢入机器学习模型识别的种类。图3为本实施例所描述的设备示意图，其中摄像头对准传送带中的图像采集区域，完成对木板样本的图像数据的采集。进一步，控制模块与摄像头、机器学习模型执行模块、机器学习模型存储模块、机器学习模型训练模块相连接，完成整个模型的训练、部署、测试、模式切换等一些控制功能。在本实施例中，执行模块是一个用于分类执行的踢腿机，该踢腿机用于将一个木板样本踢入对应的分类存储区域。人机交互界面用于向操作人员显示样本图像信息、模式信息、识别率信息并用于接收操作员的输入。
第一步，在人机界面之中，操作人员预先设置了五个分类，分别对应于不同的木板的纹理、花纹等参数。启动设备，传送带将一个木板样本传送至检测区域，通过光电传感器或图像传感器的分析，图像采集模块采集了一个样本图像。此时，控制模块识别当前为一个新的分类任务，因此将设备转入第一模式。控制模块将该木板图像样本传输至人机交互界面，操作人员在观察该木板样本后给出了第一分类的选择。此时分类执行装置接收控制模块的控制信号，将该木板踢入第一分类的存储区域。操作人员通过人机交互界面，得知当前设备处于第一模式，因此需要认真对每一个样本进行快速精确的分类。控制模块为所述木板样本的图像打上“分类一”的标签，并存储该数据。此时，控制模块就拥有了一个训练数据。通过第一模式的持续操作，控制模块积累了一定的样本数据。通过一个判别标准，控制模块判断样本数据是否充分，例如一种简单的方法为样本数据是否达到一个预设的数量级。再例如，控制模块可以判断每一个分类下的样本数据是否达到一定的数量级。此处，其他的判断标准也可以通过简单的修改控制模块的算法得以实现，因此不一一列举。当控制模块判断样本数据充分后，将训练数据输入至机器学习模型训练模块。所述训练模块可以与设备部署在工厂本地，也可以部署在云端。训练模块训练一个预定义的机器学习模块，例如一个如图4所示的卷积神经网络。该神经网络的训练数据为一个木板的图像数据以及一个分类标注，通过使用训练算法，例如BP算法，该卷积神经网络被训练为一个可以识别木板分类的机器学习模型。
进一步，控制模块在木板分类的机器学习模型训练完成之后，将该模型存入机器学习模型存储模块并将该模型从存储模块调入执行模块。此时，控制模块将设备转入第二工作模式并通过人机交互界面提示操作人员设备进入第二工作模式。此时，控制模块继续采集一个木板的图像数据，并将数据同时输入至机器学习模型执行模块和人机交互界面。操作人员继续按照预定义的标准对该木板图像进行分类选择，控制模块根据操作人员输入的分类选择驱动踢腿机对木板进行分类。例如，操作人员认为当前木板样本应该被分为第二类别，则在人机界面处输入第二分类的选项。踢腿机收到控制模块的信号，将该木板踢入第二分类的存储区域。进一步，控制模块收到了机器学习模型执行模块输出的分类选择，例如机器学习模型输出对该木板样本的分类为“第二类别”，则控制模块认为机器学习模型完成了一次正确识别，此时记录一次正确的样本。反之，机器学习模型对上述木板的分类识别为“第一类别”，则控制模块记录一次错误识别。通过不断重复上述步骤，控制模块积累了足够多的操作人员的分类判断和机器学习模型的分类判断。控制模块进一步统计机器学习模型的识别正确率，并与一个预定义的标准进行比对。一种简单的标准为错误率比对，例如预定义的目标为5％的错误率，而控制模块可以通过积累100次的比对结果进行判断。如果机器模型学习的错误率高于5％，则控制模块认为机器学习模型仍然无法满足第三工作模式的要求，因此可以将在第二工作模式时期积累的标注数据继续发送至机器学习模型训练模块，对模型进行进一步的训练。机器学习模型训练模块可以通过分批次训练的方式，在上一次的模型基础之上利用新增的标注数据对模型进行再训练。此后，控制模块再将新的模型送入机器学习模型执行模块，并重复上述的错误率比对。此时，如果控制模块发现再训练后的分类错误率低于5％，则认为该模型满足了第三工作模式的要求。
进一步，控制模块将设备转入第三工作模式并将模式转换信息显示到人机界面中。操作人员在看到模式转换信息后，将停止输入木板分类的信息。此时，操作人员可以继续监督设备的工作状态，例如分类识别的正确率，分类执行的正确率等因素。在控制模块将设备转入第三模式后，控制模块仅根据机器学习执行模块输出的分类选择驱动踢腿机，将对应的木板样本踢入对应的分类存储区域。在一种可选的方式中，控制模块在第三工作模式仍然可以接收操作人员的分类操作，例如当操作人员观察到机器学习模型对分类的识别发生错误时，可以通过人机交互界面输入一个修正信号。该信号指示了机器学习模型的一次错误识别。这些数据被控制模块记录，并完成对应数据的标准，用于下一次的机器学习模型的再训练。
在本实施例的一个可选实现方式中，所述样本为木皮；所述第一样本操作信息或第二样本操作信息包括所述木皮的缺陷切割信息；所述操作控制信号包括控制切割机的切割信号。
下面通过木皮自动修复生产线为例，描述本公开实施例的应用场景。
在本实施例中，提出了一种基于以上控制方法训练并部署用于木皮自动修补的机器学习模型的设备。在第一模式，操作人员直接或间接在木皮样本图像上输入缺陷切割的方案。例如，操作人员发现当前木皮样本存在一个缺陷，则可以通过直接的方式在人机交互界面上输入一个切割方案。或则，操作人员可以直接对木皮进行切割，控制模块将采集操作人员对木皮操作前后两个状态的图像数据。如果操作人员没有进行缺陷切割，则前后图像数据一致，控制模块记录一个标注为“完好”的样本图像。如果操作人员直接或间接的切割了一个木皮样本，则控制模块记录一个标注为“有缺陷”的样本图像，同时记录详细的切割路线。控制模型将设备转入第二模式后，将操作员的操作与机器学习模型输出的缺陷识别进行比对，记录并统计出一个缺陷识别准确率。进一步，在第二工作模式，控制模块还可以统计机器学习模型输出的缺陷切割策略与操作人员的切割策略之间的误差。由于该误差无法直接用准确与错误来统计，因此可以统计路径之间的均方差。如图5所示，人工切割的路径与机器学习模型规划的切割路径可能存在一定的偏差，控制模块记录并统计出一个路径规划误差，例如可以使用切割起始点、结束点、曲率之间的偏差作为误差的指标。在以上两个统计结果下，控制模块判断设备是否进入第三工作模式。当缺陷误差识别率和切割路径均方差均满足一个预设条件时，控制模块将设备转入第三工作模式。此时，机器学习模型执行模块识别一个缺陷并自动生成切割策略。控制模块通过执行模块对木皮的缺陷进行切割并完成修复。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图6示出根据本公开一实施方式的控制装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示，所述控制装置包括第一获取模块601、第一确定模块602、第二获取模块603和第一输出模块604：
第一获取模块601，被配置为获取采集到的样本数据；
第一确定模块602，被配置为根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
第二获取模块603，被配置为在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
第一输出模块604，被配置为根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
在本实施例的一个可选实现方式中，所述第一确定模块602，包括：
第一输出子模块，被配置为在第一工作模式和第二工作模式下，将所述采集到的样本数据输出给用户；
第二输出子模块，被配置为在第二工作模式和第三工作模式下，将所述采集到的样本数据输出给所述机器学习模型。
在本实施例的一个可选实现方式中，第一工作模式下，所述第二获取模块603之后，还包括：
第三获取模块，被配置为根据所述第一样本操作信息获取所述样本数据的标注数据；
训练模块，被配置为利用所述样本数据和所述标注数据对所述机器学习模型进行训练。
在本实施例的一个可选实现方式中，第二工作模式下，还包括：
第二确定模块，被配置为根据所述第一样本操作信息和第二样本操作信息确定所述机器学习模型的识别准确率。
在本实施例的一个可选实现方式中，在第三工作模式下，所述第二获取模块603之后，还包括：
第二输出模块，被配置为将所述第二样本操作信息输出给所述用户，接收所述用户输入的第三样本操作信息，所述第三样本操作信息用于所述机器学习模型的再训练。
在本实施例的一个可选实现方式中，还包括：
第一切换模块，被配置为在所述机器学习模型完成训练后，将所述第一工作模式切换至所述第二工作模式；和/或，
第二切换模块，被配置为在所述机器学习模型的识别准确率大于或等于预设阈值后，将所述第二工作模式切换至所述第三工作模式。
在本实施例的一个可选实现方式中，所述第一获取模块601，包括：
获取子模块，被配置为远程获取至少一个客户端采集到的样本数据。
在本实施例的一个可选实现方式中，所述样本为木材；所述第一样本操作信息或第二样本操作信息包括所述木材的分类操作信息；所述操作控制信号包括控制木材踢腿机将所述木材踢入相应分类区域的控制信号。
在本实施例的一个可选实现方式中，所述样本为木皮；所述第一样本操作信息或第二样本操作信息包括所述木皮的缺陷切割信息；所述操作控制信号包括控制切割机的切割信号。
上述控制装置与图1所示实施例及相关实施例中提出的控制方法对应一致，具体细节可参见上述对控制方法的描述，在此不再赘述。
图7是适于用来实现根据本公开实施方式的控制方法的电子设备的结构示意图。
如图7所示，电子设备700包括中央处理单元(CPU)701，其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行上述图1所示的实施方式中的各种处理。在RAM703中，还存储有电子设备700操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。输入/输出(I/O)接口705也连接至总线704。
以下部件连接至I/O接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
特别地，根据本公开的实施方式，上文参考图1描述的方法可以被实现为计算机软件程序。例如，本公开的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行图1的方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。
附图中的流程图和框图，图示了按照本公开各种实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，路程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施方式中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述装置中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本公开的方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种控制方法，其特征在于，包括：
获取采集到的样本数据；
根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
2.根据权利要求1所述的控制方法，其特征在于，根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型，包括：
在第一工作模式和第二工作模式下，将所述采集到的样本数据输出给用户；
在第二工作模式和第三工作模式下，将所述采集到的样本数据输出给所述机器学习模型。
3.根据权利要求2所述的控制方法，其特征在于，第一工作模式下，在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息之后，还包括：
根据所述第一样本操作信息获取所述样本数据的标注数据；
利用所述样本数据和所述标注数据对所述机器学习模型进行训练。
4.根据权利要求2所述的控制方法，其特征在于，第二工作模式下，还包括：
根据所述第一样本操作信息和第二样本操作信息确定所述机器学习模型的识别准确率。
5.根据权利要求2所述的控制方法，其特征在于，在第三工作模式下，获取所述机器学习模型输出的第二样本操作信息之后，还包括：
将所述第二样本操作信息输出给所述用户，接收所述用户输入的第三样本操作信息，所述第三样本操作信息用于所述机器学习模型的再训练。
6.根据权利要求2所述的控制方法，其特征在于，还包括：
在所述机器学习模型完成训练后，将所述第一工作模式切换至所述第二工作模式；和/或，
在所述机器学习模型的识别准确率大于或等于预设阈值后，将所述第二工作模式切换至所述第三工作模式。
7.根据权利要求1-6任一项所述的控制方法，其特征在于，获取采集到的样本数据，包括：
远程获取至少一个客户端采集到的样本数据。
8.一种控制装置，其特征在于，包括：
第一获取模块，被配置为获取采集到的样本数据；
第一确定模块，被配置为根据当前工作模式，确定将所述采集到的样本数据输出给用户和/或机器学习模型；
第二获取模块，被配置为在将所述采集到的样本数据输出给所述用户时，接收所述用户输入的第一样本操作信息,而在将所述采集到的样本数据输出给机器学习模型时，获取所述机器学习模型输出的第二样本操作信息；
第一输出模块，被配置为根据所述第一样本操作信息或第二样本操作信息输出对样本的操作控制信号。
9.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810321656.1A CN108563204B (zh) | 2018-04-11 | 2018-04-11 | 控制方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810321656.1A CN108563204B (zh) | 2018-04-11 | 2018-04-11 | 控制方法、装置、电子设备及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108563204A true CN108563204A (zh) | 2018-09-21 |
| CN108563204B CN108563204B (zh) | 2021-01-01 |
Family
ID=63534624
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810321656.1A Active CN108563204B (zh) | 2018-04-11 | 2018-04-11 | 控制方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108563204B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109291049A (zh) * | 2018-09-30 | 2019-02-01 | 北京木业邦科技有限公司 | 数据处理方法、装置及控制设备 |
| CN109740738A (zh) * | 2018-12-29 | 2019-05-10 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN110059549A (zh) * | 2019-03-11 | 2019-07-26 | 齐鲁工业大学 | 一种基于深度学习的木材薄板分类系统及算法 |
| CN112799658A (zh) * | 2021-04-12 | 2021-05-14 | 北京百度网讯科技有限公司 | 模型训练方法、模型训练平台、电子设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437094A (zh) * | 2017-07-12 | 2017-12-05 | 北京木业邦科技有限公司 | 基于机器学习的木板分拣方法及系统 |
| CN107832780A (zh) * | 2017-10-17 | 2018-03-23 | 北京木业邦科技有限公司 | 基于人工智能木板分选低置信度样本处理方法及系统 |
-
2018
- 2018-04-11 CN CN201810321656.1A patent/CN108563204B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107437094A (zh) * | 2017-07-12 | 2017-12-05 | 北京木业邦科技有限公司 | 基于机器学习的木板分拣方法及系统 |
| CN107832780A (zh) * | 2017-10-17 | 2018-03-23 | 北京木业邦科技有限公司 | 基于人工智能木板分选低置信度样本处理方法及系统 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109291049A (zh) * | 2018-09-30 | 2019-02-01 | 北京木业邦科技有限公司 | 数据处理方法、装置及控制设备 |
| CN109291049B (zh) * | 2018-09-30 | 2021-03-05 | 北京木业邦科技有限公司 | 数据处理方法、装置及控制设备 |
| CN109740738A (zh) * | 2018-12-29 | 2019-05-10 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN109740738B (zh) * | 2018-12-29 | 2022-12-16 | 腾讯科技（深圳）有限公司 | 一种神经网络模型训练方法、装置、设备和介质 |
| CN110059549A (zh) * | 2019-03-11 | 2019-07-26 | 齐鲁工业大学 | 一种基于深度学习的木材薄板分类系统及算法 |
| CN112799658A (zh) * | 2021-04-12 | 2021-05-14 | 北京百度网讯科技有限公司 | 模型训练方法、模型训练平台、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108563204B (zh) | 2021-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108563204A (zh) | 控制方法、装置、电子设备及计算机可读存储介质 | |
| CN110619620B (zh) | 导致表面缺陷的异常定位方法、装置、系统及电子设备 | |
| US6885977B2 (en) | System to identify a wafer manufacturing problem and method therefor | |
| CN109204389B (zh) | 一种地铁设备故障诊断和自愈方法、系统 | |
| JP7071904B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN110366031A (zh) | 一种数字化车间mes系统基于视觉的异常状态监测与故障诊断方法 | |
| KR102258942B1 (ko) | 인라인 수율 모니터링을 위한 임계 파라메트릭 전기 테스트 파라미터의 자동 결정을 위한 시스템 및 방법 | |
| CN107832780A (zh) | 基于人工智能木板分选低置信度样本处理方法及系统 | |
| CN113010389B (zh) | 一种训练方法、故障预测方法、相关装置及设备 | |
| EP2788918A1 (en) | Method and apparatus for automatic detection of features in an image and method for training the apparatus | |
| CN115630839B (zh) | 一种基于数据挖掘的生产智能反馈调控系统 | |
| US20210166181A1 (en) | Equipment management method, device, system and storage medium | |
| CN109102030A (zh) | 控制在线模型更新的方法及装置 | |
| TW201906038A (zh) | 半導體晶圓檢測系統及其方法 | |
| CN115576284A (zh) | 一种服装车间智能化管理方法及系统 | |
| CN113989768A (zh) | 一种自动驾驶测试场景分析方法及系统 | |
| CN114493299A (zh) | 一种基于工业互联网的农业机械管控方法及设备、介质 | |
| Deulkar et al. | An automated tomato quality grading using clustering based support vector machine | |
| CN115129003A (zh) | 一种基于自学习时变数字孪生的自动化产线智能监测系统 | |
| KR101827124B1 (ko) | 운전자의 주행 패턴 인식 시스템 및 방법 | |
| CN116976865A (zh) | 基于大数据分析的船舶维修器件调配管理系统 | |
| KR20210097491A (ko) | Cnc 공작기계의 공구 관련 비정상 데이터 탐지 시스템 | |
| TWM550465U (zh) | 半導體晶圓檢測系統 | |
| CN113807143A (zh) | 作物连通域的识别方法、装置及作业系统 | |
| US20240126244A1 (en) | Information Processing Method, Information Processing Apparatus, Molding Machine System and Non-Transitory Computer Readable Recording Medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |