CN115702402A - 预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置 - Google Patents

预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置 Download PDF

Info

Publication number
CN115702402A
CN115702402A CN202180042377.1A CN202180042377A CN115702402A CN 115702402 A CN115702402 A CN 115702402A CN 202180042377 A CN202180042377 A CN 202180042377A CN 115702402 A CN115702402 A CN 115702402A
Authority
CN
China
Prior art keywords
inspection
data
prediction score
score calculation
inspection step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180042377.1A
Other languages
English (en)
Inventor
里见慎哉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Publication of CN115702402A publication Critical patent/CN115702402A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32193—Ann, neural base quality management
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32194—Quality prediction
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/80—Management or planning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Factory Administration (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

预测得分计算装置202在机器学习部420中以在被输入生产线中的工序检查的检查数据时输出最终检查的是否良好判定的预测得分的方式进行机器学习。另外，使用进行了该机器学习的机器学习模型，在预测得分计算部410中，输出根据工序检查的检查数据预测最终检查的是否良好判定结果的预测得分。另外，阈值决定部440与预测得分计算部410计算出的预测得分进行比较，根据学习数据、预测得分以及成本数据决定用于预测是否良好判定的阈值。

Description

预测得分计算装置、预测得分计算方法、预测得分计算程序以 及学习装置
技术领域
本公开涉及根据先于生产线中的检查的其他检查结果来预测该检查的得分的预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置。
背景技术
在生产工业产品的生产线中，实施判定成品是否良好的最终检查。在有许多工序的情况下，有时还进行判定半成品是否良好的工序检查。如果在工序检查中发现并去除不良品或者校正为良品，则相比于在最终检查中发现并去除或者校正不良品的情况，能够降低原材料、零件的损失或者节省作业的浪费，所以能够提高生产效率。
为了适当地实施工序检查，不仅严格挑选检查项目以使过量和不足最小化，而且期望针对每个检查项目设置适当的检查基准。其原因为，在检查基准不适当时，看漏不良品或者将良品误判定为不良品。
针对这样的问题，提出了如下技术：针对工序检查中的每个检查项目，求出该检查项目的检查数据和最终检查中的是否良好判定结果的相关性的强弱，选择相关性最强的检查项目，重新设定该项目的检查基准(例如参照专利文献1)。由此，能够易于将在最终检查中判定为不良的可能性高的半成品在工序检查中判定为不良。
提出了针对在生产线中处于上下游关系的工序检查也同样地与下游的工序检查的是否良好判定结果符合地调整上游的工序检查的技术(例如参照专利文献2、3)。
现有技术文献
专利文献
专利文献1：日本特开2006-317266号公报
专利文献2：日本特开2012-151251号公报
专利文献3：国际公开第2017/168507号
发明内容
发明要解决的课题
然而，在工序检查的各个检查项目的检查数据与最终检查中的是否良好判定结果未强烈相关的情况下，使用如上所述的以往技术难以在工序检查中发现预期在最终检查中判定为不良的半成品。
即使在工序检查的各个检查项目的检查数据与最终检查中的是否良好判定结果未强烈相关的情况下，也有可能工序检查的检查数据的组合与最终检查中的是否良好判定结果相关，但由于工序检查的检查项目数量庞大，所以难以发现如何组合检查项目来能够高精度地预测最终检查的是否良好判定结果。
选择相关性最强的检查项目由于需要大量的作业工序而也不现实。
当然，即使在工序检查的个别的检查项目的检查数据与最终检查中的是否良好判定结果未强烈相关的情况下，如果能够不等待最终检查而在工序检查中预测最终检查的得分，则期待能够在工序检查中发现并去除在最终检查中可能判定为不良的半成品等而进一步提高生产线的效率。
本公开是鉴于如上所述的问题而做出的，其目的在于提供一种能够根据先于生产线中的检查的其他检查的结果来预测该检查的得分的预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置。
用于解决课题的手段
为了达成上述目的，本公开的一个方式提供一种预测得分计算装置，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算装置的特征在于，具备：输入单元，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及计算单元，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
在该情况下，也可以所述输入单元受理包括多个检查工序的第1检查工序的检查数据的输入。
另外，优选具备决定单元，该决定单元根据将构成在所述预测对象的检查中应判定为不良的检查对象物品的所述第1检查工序的检查对象物品在取得了用于计算预测得分的检查数据的第1检查工序中判定为不良的情况下的利润、和将构成在所述第2检查工序中应判定为良好的检查对象物品的第1检查工序的检查对象物品在取得了用于计算预测得分的检查数据的第1检查工序中判定为不良的情况下的损失中的至少一方，决定用于在该第1检查工序中对该检查对象物品进行是否良好判定的预测得分的阈值。
另外，优选所述决定单元以使从所述利润减去所述损失得到的剩余的成本优点成为最大的方式决定所述阈值。
另外，也可以所述决定单元使用直至所述第1检查工序为止的生产成本、所述第1检查工序后的部件成本以及所述第2检查工序的实施成本中的至少1个，计算所述利润以及损失。
另外，也可以所述机器学习模型是梯度提升决策树、决策树分析、罗杰斯特回归、随机森林以及神经网络中的任意一个。
另外，也可以所述机器学习模型将实施了所述第2检查工序的检查对象物品的是否良好判定结果和与构成该检查对象物品的所述第1检查工序的检查对象物品有关的第1检查工序的检查数据作为教师数据进行机器学习，从而根据第1检查工序的检查数据计算预测得分。
另外，也可以所述第1检查数据包括关于与所述第2检查工序的项目有关联性的检查对象的部位或功能的检查数据，也可以在使用多个检查工序中的检查数据的情况下包括同一部位的加工前后的检查数据。此外，也可以所述第1检查数据在使用多个检查工序中的检查数据的情况下包括不同的部位的测定数据，也可以在使用多个检查工序中的检查数据的情况下针对相同的部位包括不同的物理量的测定数据。
另外，本公开的一个方式提供一种预测得分计算方法，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算方法的特征在于，包括：输入步骤，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及计算步骤，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
另外，本公开的一个方式提供一种预测得分计算程序，使计算机针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算程序的特征在于，使计算机执行：输入步骤，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及计算步骤，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
另外，本公开的一个方式提供一种学习装置，其特征在于，具备：学习数据输入部，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据和实施了所述第2检查工序的检查对象物品的是否良好判定结果的输入；以及学习单元，以将被输入的所述第1检查数据和所述是否良好判定结果作为教师数据并输出用于所述第2检查工序中的是否良好判定的预测得分的方式，使机器学习模型学习。
在该情况下，优选所述机器学习模型是梯度提升决策树。
发明的效果
由此，能够在生产线中的上游实施的检查中预测在下游实施的检查中的是否良好判定。如果根据该预测结果在上游的检查中去除上游检查对象物品等，则相比于在下游的检查中去除使用该上游检查对象物品的检查对象物品等的情况，能够降低生产成本的损失。
附图说明
图1是示出本公开的实施方式所涉及的生产线1的主要的结构的图。
图2是示出本实施方式所涉及的预测筛选系统2的主要的结构的图。
图3是示出预测得分计算装置202的主要的结构的框图。
图4是示出预测得分计算装置202的主要的功能结构的框图。
图5的(a)是说明预测得分计算部410的动作的流程图，(b)是说明机器学习部420的动作的流程图。
图6的(a)是例示存储有工序检查的检查数据的检查数据表格的表，(b)是例示存储有最终检查的是否良好判定结果的是否良好判定结果表格的表。
图7是说明阈值决定部440的动作的流程图。
图8是例示最终检查的是否良好判定结果和与各是否良好判定结果对应的预测得分并例示阈值决定部440的动作的图。
图9是示出本公开的变形例所涉及的生产线的主要的结构的图。
图10是示出本公开的变形例所涉及的终端装置201的主要的硬件结构的框图。
图11是说明本公开的变形例所涉及的终端装置201为了输出最终检查的是否良好判定的预测结果而执行的处理的流程图。
图12是例示用于本公开的变形例所涉及的终端装置201受理工序检查的检查数据并输出最终检查中的是否良好判定的预测结果的显示画面1201的图。
具体实施方式
以下，参照附图来说明本公开所涉及的预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置的实施方式。
[1]生产线的概要
首先，说明本实施方式中的生产线的概要。
如图1所示，生产线1从接纳检查101开始。接纳检查101是从客户接收到供成品的生产的原材料、零件时实施的检查，其中检查作为检查对象物品的原材料、零件是否满足要求规格等。
使用在接纳检查中判定为良的原材料、零件，实施其他工序102。其他工序102由包括切削、组装、附加、分解等的加工工序、包括原材料或零件的半成品的搬运工序、暂时性的保管或直至接下来的工序为止的等待状态等停滞工序等1个以上的工序构成。
工序检查103是进行作为检查对象物品的半成品是良品还是不良品的是否良好判定的工序。针对半成品的检查数据是否分别从预定的规范值起处于容许范围内、是否发挥预定的功能等进行定量的检查、定性的检查。另外，工序检查103的检查数据既可以是针对各个半成品的检查数据，也可以是以批次为单位的检查数据。
在工序检查103中判定为不良的半成品被去除或者以在工序检查103中判定为良的方式被校正。通过校正而判定为良的半成品被送到接下来的工序。由此，能够防止规范外的半成品被送到接下来的工序而产生损失。
在工序检查103中判定为良的半成品被送到其他工序104。另外，其他工序104也与其他工序102同样地包括加工工序、搬运工序、停滞工序等1个以上的工序。在经过了其他工序104后，实施另一工序检查105，进而经过其他工序106而实施最终检查107。此外，生产线1中的工序检查的次数既可以仅为1次，也可以是3次以上。在工序检查彼此之间实施其他工序。
最终检查107是在制造工序的最终阶段进行的检查，检查作为检查对象物品的成品是否满足预定的产品规范。对于在最终检查107中判定为不良的成品，也与在工序检查103、105中判定为不良的半成品同样地被去除或者以在最终检查107中判定为良的方式被校正。
即使是在最终检查107中判定为良的成品，之后在直至出货为止的期间，有时也由于搬运等而变形或受损伤，或者产生变色、生锈、螺钉的松动等随时间的劣化。为了防止产生这样的问题的产品出货，实施出货检查108。
在图1中，例示了在生产线1中依次实施各工序的情况，但本公开当然不限定于此，生产线1也可以包括合流工序，合流工序的数量也可以是多个。另外，如果考虑使用共同的零件来生产多个机种的情况、即使是单一机种也将共同的零件用于多个用途的情况等，则生产线1也可以包括分支工序。
在使用共同的零件来生产多个机种的情况下，针对每个机种在最终检查107中检查成品。在单一机种中将共同的零件用于多个用途的情况下，生产线1在暂时分支后合流，针对成品实施最终检查107。
[2]预测筛选系统
接下来，说明本实施方式所涉及的预测筛选系统。
如图2所示，预测筛选系统2具备终端装置201、预测得分计算装置202以及外部存储装置203，终端装置201、预测得分计算装置202能够经由LAN(Local Area Network，局域网)、因特网这样的通信网络210相互通信地连接。
终端装置201是用于检查作业员输入作为产品220的生产线1中的工序检查103、105、最终检查107的检查结果的检查数据的装置。输入到终端装置201的检查数据经由通信网络210被存储到外部存储装置203。外部存储装置203也可以与预测得分计算装置202直接连接，在该情况下，从终端装置201经由预测得分计算装置202向外部存储装置203输入检查数据。
另外，外部存储装置203也可以经由通信网络210与预测得分计算装置202连接。在该情况下，从终端装置201直接向外部存储装置203输入检查数据。
如后所述，预测得分计算装置202在实施工序检查105之后，在进入到其他工序106之前，根据工序检查103、105的检查数据，计算用于预测最终检查107的检查结果的预测得分。终端装置201通过比较预测得分计算装置202计算出的预测得分和阈值，预测使用了在工序检查103、105中检查后的半成品的成品的最终检查107中的是否良好判定。
根据工序检查103、105的检查数据被预测为在最终检查107中判定为不良的半成品被检查作业员去除或者在校正后再检查。另一方面，被预测为在最终检查107中判定为良的半成品被送到工序检查105的接下来的工序(生产线1中的其他工序106)。
[3]预测得分计算装置202
更详细地说明预测得分计算装置202。
预测得分计算装置202是所谓的计算机，如图3所示，具备CPU(CentralProcessing Unit，中央处理单元)301、ROM(Read Only Memory，只读存储器)302、RAM(Random Access Memory，随机存取存储器)303等。CPU 301在通过电源接通等被重置时，从ROM302读出并启动引导程序，将RAM 303作为作业用存储区域，执行从HDD(Hard DiskDrive，硬盘驱动器)304读出的OS(Operating System，操作系统)、预测得分计算程序。
NIC(Network Interface Card，网络接口卡)305执行用于经由通信网络210与终端装置201相互通信的处理。CPU 301、ROM 302、RAM 303、HDD 304以及NIC 305与内部总线306连接，经由内部总线306相互通信。
外部存储装置203在与预测得分计算装置202直接连接的情况下，经由内部总线306受理来自CPU 301的访问。另外，在外部存储装置203与通信网络210连接的情况下，经由通信网络210以及NIC305受理来自CPU 301的访问。
图4是示出通过预测得分计算装置202执行预测得分计算程序而实现的功能的结构的框图。如图4所示，预测得分计算装置202具备预测得分计算部410、机器学习部420、学习数据输入部430、阈值决定部440。另外，图5、图7是说明预测得分计算装置202的动作的流程图。
预测得分计算部410与预测得分输出部411以及工序检查数据输入部412协调地动作。终端装置201向工序检查数据输入部412输入工序检查103、105的检查数据，请求预测得分。由此，工序检查数据输入部412从终端装置201受理检查数据的输入(图5的(a)的S501)。
工序检查的检查数据如图6的(a)例示的检查数据表格那样针对与识别工序检查的检查项目的标识符的每个组合而从终端装置201输入。另外，与检查数据一起，成为工序检查的对象的半成品的标识符(产品的序列编号等)也从终端装置201输入到预测得分计算装置202。
预测得分计算部410在工序检查数据输入部412受理到检查数据的输入后，从外部存储装置203读出机器学习模型的学习参数(图5的(a)的S502)。预测得分计算部410对机器学习模型设定该学习参数(图5的(a)的S503)。
通过设定学习参数，机器学习模型能够根据工序检查103、105的检查数据，输出预测了最终检查107的是否良好判定的结果的预测得分。预测得分计算部410向设定了学习参数的机器学习模型输入检查数据，计算预测得分(图5的(a)的S504)。
预测得分输出部411将预测得分计算部410计算出的预测得分输出给终端装置201(图5的(a)的S505)。终端装置201比较后述的预测得分的阈值和预测得分，显示预测的最终检查107的是否良好判定结果。检查作业员参照所显示的是否良好判定结果的预测，进行半成品的去除等。
机器学习部420以预测得分计算装置202的管理者的指示等为契机而执行机器学习。具体而言，首先，作为学习数据，从外部存储装置203读出工序检查的检查数据和与该检查数据对应的最终检查的是否良好判定结果(图5的(b)的S511)。在此，最终检查的是否良好判定结果是指与使用成为工序检查的对象的半成品生产的成品有关的最终检查的是否良好判定结果。该半成品既可以是组装到成品的零件，也可以是用于生产成品的夹具、材料等。
另外，工序检查的检查数据具有与输入到预测得分计算部410的工序检查的检查数据同样的数据构造(图6的(a))。另外，最终检查的是否良好判定结果也与工序检查的检查数据同样地成为用于识别最终检查的是否良好判定结果的标识符和最终检查的是否良好判定结果的组合。在本实施方式中，在最终检查中成品被判定为良的情况下将是否良好判定结果的值设为“1”，在判定为不良的情况下将是否良好判定结果的值设为“0”。
接下来，将最终检查的是否良好判定结果作为教师数据，以使将该检查数据输入到机器学习模型得到的预测得分逐渐接近教师数据的方式进行机器学习，生成学习参数(图5的(b)的S512)。如果完成机器学习，则将生成的学习参数保存到外部存储装置203(图5的(b)的S513)。另外，将使用该学习参数计算出的预测得分与为了计算预测得分而输入到机器学习模型的学习数据对应起来保存到外部存储装置203(图5的(b)的S514)。
此外，在本实施方式中，作为机器学习模型，使用梯度提升决策树。然而，本公开当然不限定于此，也可以代替梯度提升决策树而使用决策树分析、罗杰斯特回归、随机森林、神经网络等机器学习模型。
机器学习模型分别具有不同的特征，所以优选在多个机器学习模型中使用学习用的数据进行机器学习之后比较使用验证用的数据计算出的预测得分的精度，采用最适于作为预测的对象的生产线的机器学习模型。
在学习数据输入部430中，作为在机器学习部420实施机器学习时使用的学习数据，从终端装置201受理如图6的(a)例示的检查数据表格那样的工序检查的检查数据和如图6的(b)例示的是否良好判定结果表格那样的最终检查的是否良好判定结果，并保存到外部存储装置203。此外，在终端装置201能够经由通信网络210直接访问外部存储装置203的情况下，也可以不经由学习数据输入部430而将学习数据直接保存到外部存储装置203。
阈值决定部440决定在使用预测得分后在预测最终检查的是否良好判定结果时使用的阈值。具体而言，以进行机器学习来生成学习参数这样的预测得分计算装置202的管理者的指示、来自终端装置201的请求等为契机，从外部存储装置203读出学习数据(图7的S701)，并且读出与该学习数据对应的预测得分(图7的S702)。
接下来，将预测得分作为键，对与该预测得分对应的学习数据中的最终检查的是否良好判定结果进行排序(图7的S703)。在本实施方式中，与在最终检查中将良判定设为“1”、将不良判定设为“0”对应地，预测得分也取0以上且1以下的范围内的值。
图8是例示排序结果的表。如图8的表801所示，输入半成品的序列编号、针对使用了该半成品的成品的最终检查的是否良好判定结果以及针对该半成品的工序检查的检查数据而从机器学习模型输出的预测得分按照预测得分的降序排序。
在图8中，预测得分成为在最终检查中成品被判定为良的概率。因此，预测得分越高的半成品，在最终检查中判定为良的可能性越高，相反地，预测得分越低的半成品，在最终检查中判定为不良的可能性越高。
因此，例如，在将预测得分的阈值设定为高到0.701433、预测使用了预测得分为阈值以上的半成品的成品被判定为良时，如表811所示，构成在最终检查中被判定为良的成品的半成品中的被预测为该成品在最终检查中被错误地判定为不良的半成品的个数(误报数)成为323个而变得过多。在误报数过多时，尽管使用了该半成品的成品在最终检查中被判定为良的可能性高，但预测为不良而成为去除等的对象的半成品的个数变得过多，所以产生浪费的成本。
另一方面，在将预测得分的阈值设定为低到0.399902、预测使用了预测得分为阈值以上的半成品的成品被判定为良时，如表813所示，构成在最终检查中被判定为不良的成品的半成品中的被预测为该成品在最终检查中被正确地判定为不良的半成品的个数(不良捕捉数)成为2个而变得过少。如果能够增加不良捕捉数，则无需将构成在最终检查中被判定为不良的可能性高的成品的半成品送到接下来的工序，所以能够削减浪费的成本的产生。
因此，在将预测得分的阈值设定为与序列编号XA1043147的预测值相同的0.517755时，如表812所示，能够以防止误报数变得过多并且不良捕捉数变得过少的方式预测最终检查的是否良好判定结果。
关于用于决定阈值的一连串的学习数据，通过预测最终检查的是否良好判定结果而能够得到的成本优点能够根据误报数、作为由于1次误报而可能产生的损失的误报损失成本(在本实施方式中为负值)、不良捕捉数以及作为能够通过1次不良捕捉得到的利润的不良捕捉优点(在本实施方式中为正值)使用如下式(1)的成本函数来计算。
(成本优点)＝(误报数)×(误报损失成本)+(不良捕捉数)×(不良捕捉优点)…(1)
因此，用于根据预测得分预测最终检查中的成品的是否良好判定结果的阈值优选以使使用上式(1)的成本函数计算出的成本优点成为最大的方式来决定。
因此，阈值决定部440还从外部存储装置203读出误报损失成本和不良捕捉优点(图7的S704)，按照排序后的预测得分的顺序将该预测得分作为阈值以确定误报数和不良捕捉数，使用上式(1)的成本函数计算成本优点(图7的S705)。之后，确定与计算出的成本优点中的最大的成本优点对应的阈值即可(图7的S706)。
阈值输出部411将阈值决定部440确定的阈值输出给终端装置201。检查作业员操作终端装置201，与根据针对每个半成品在工序检查中得到的检查数据使用机器学习模型计算出的预测得分是否为阈值以上相应地，预测针对使用了该半成品的成品的最终检查中的是否良好判定结果。
如果在预测为在最终检查中判定为良的情况下将该半成品送到接下来的工序，在预测为在最终检查中判定为不良的情况下将该半成品去除或者校正，则相比于不预测最终检查中的是否良好判定结果的情况，能够降低在最终检查中判定为不良的成品的个数，所以能够改善该成品的生产成本。
[4]变形例
以上根据实施方式说明了本公开，但本公开当然不限定于上述实施方式，能够实施如以下的变形例。
(4-1)在上述实施方式中，以根据工序检查103、105的检查数据预测使用了该半成品的成品的最终检查中的是否良好判定结果的情况为例子进行了说明，但本发明当然不限定于此，也可以代替其而如下所述。
例如，也可以仅使用工序检查103、105中的某一方的检查数据来预测最终检查中的是否良好判定结果，还可以除了使用工序检查103、105的检查数据以外进而还使用其他工序检查的检查数据来预测最终检查中的是否良好判定结果。
在仅根据单一的工序检查的结果数据预测最终检查的是否良好判定结果的情况下，能够减轻用于计算预测得分的处理负荷。另一方面，在仅根据多个工序检查的结果数据预测最终检查的是否良好判定结果时，能够参照多角度的检查数据，所以能够提高该是否良好判定结果的预测精度。
另外，如图9所示，在并行地实施多个工序检查903、913的情况下，也可以等待多个工序检查903、913全部完成，根据它们的检查数据判定最终检查的是否良好判定结果。也可以除了工序检查以外还使用接纳检查的检查数据来进行预测，还可以组合工序检查的检查数据和接纳检查的检查数据来进行预测。
另外，预测的对象当然不限定于最终检查的是否良好判定结果，也可以根据生产线1中的上游的1个以上的工序检查数据来预测下游的工序检查的检查结果。如果在半成品的单价变高之前的检查中预测半成品的单价变高之后的检查结果并去除预测为被判定为不良的半成品等，则相比于去除在半成品的单价变高之后的检查中判定为不良的半成品等，能够降低生产成本的损失。
在基于机器学习模型的机器学习、得分的预测中，还能够使用如以下的检查数据。例如，也可以将工序检查中的检查数据中的关于与最终检查的项目有关联性的检查对象的部位或功能的检查数据用于机器学习模型的机器学习、使用该机器学习模型的得分的预测。在机器学习中，通过增加特征量的信息多样性，机器学习的精度易于提高，而通过使用有关联性的数据，机器学习的精度易于进一步提高。
另外，在使用多个工序检查中的检查数据作为机器学习模型的机器学习数据等的情况下，优选使用检查对象中的同一部分的加工前后的检查数据。由此，能够将加工所引起的最终检查的是否良好判定结果的变化反映到机器学习，所以无需等待最终检查而能够去除被预测为由于该加工而被判定为不良的半成品。
另外，在使用多个工序检查中的检查数据的情况下，也可以将关于在该工序检查彼此中检查对象的相互不同的部位的测定数据作为检查数据组合使用。通过增加特征量的信息多样性，机器学习的精度易于提高。
另外，在使用多个工序检查中的检查数据的情况下，也可以针对检查对象的同一部位将在工序检查彼此中相互不同的物理量的测定数据作为检查数据组合使用。通过增加特征量的信息多样性，机器学习的精度易于提高。
(4-2)在上述实施方式中，以在最终检查的是否良好判定结果的预测中使用在工序检查中得到的原始的检查数据的情况为例子进行了说明，但本公开当然不限定于此，也可以代替原始的检查数据或者除了原始的检查数据以外还使用能够根据该原始的检查数据计算的统计量来预测最终检查的是否良好判定结果。
能够根据检查数据计算的最小值、最大值、平均值、中央值、标准差、方差等统计量也与各检查数据深深地关联，所以在预测最终检查中的是否良好判定结果时有用。
该统计量的计算既可以由预测得分计算装置202作为用于计算预测得分的前处理来进行，也可以由终端装置201执行计算统计量的前处理并将得到的统计量作为检查数据输入到预测得分计算装置202。另外，在该前处理中，也可以求出统计量以外的特征量。由此，也可以无需使机器学习搜索特征量或者使机器学习模型进行计算特征量的处理，所以能够减轻与机器学习模型相关联的处理负荷。
(4-3)虽然在上述实施方式中未具体地言及，但在使用机器学习模型的学习、预测中，例如，如以下所述，关于提升决策树，能够使用LightBGM这样的开源的库来安装，关于罗杰斯特回归、决策树分析随机森林以及神经网络，能够使用scikit-learn这样的开源库来安装。
例如，在使用提升决策树作为机器学习模型的情况下，首先将工序检查以及最终检查的检查数据记录到CSV(Comma Separated Values，逗号分隔值)文件，利用LightGBM从该CSV文件(例如将文件名设为“检查数据.csv”)读入数据。
df＝pd.read#csv("检查数据.csv",encoding＝'SHIFT-JIS')
此外，为了区分进行机器学习的情况和验证机器学习的结果的情况，也可以如下所述附加标签。
df#train＝df[df['验证']＝＝0]
df#test＝df[df['验证']＝＝1]
接下来，设定说明变量。
x#train＝df#train.loc[:,'检查数据#1':'检查数据#2']
x#test＝df#test.loc[:,'检查数据#1':'检查数据#2']
另外，设定目的变量。
y#train＝df#train['是否合格判定(不合格:1)']
y#test＝df#test['是否合格判定(不合格:1)']
然后，导入LighGBM库(提升决策树)。
import lightgbm as lgb
在LightGBM库中设定学习数据，并且
train＝lgb.Dataset(x#train,label＝y#train)
还设定验证用的数据。
valid＝train.create#valid(x#test,label＝y#test)
进而，设定超参数。
param＝[
'boosting':'gbdt',
'objective':'binary',
'metric':'binary',
'num#iterations':20000,
'num#leaves':5,
'min#data#in#leaf':12,
'learning#rate':0.05099340688202502,
'sub#feature':0.9,
'sub#row':0.8,
'bagging#freq':1,
'lambda#l1':0.054599059167475525,
'lambda#l2':0.02858778312976605,
'num#threads':4,
'seed':seed#随机数种子值设定
]
超参数是用于指定机器学习的执行条件的参数。执行的学习步骤的数量、换言之决策树的数量例如设为
num#round＝20000
即可。在这样设定后执行机器学习，制作机器学习模型。
m#lgb＝lgb.train(param,train,20000,valid#sets＝[valid],early#stopping#rounds＝1500)
在使用所制作的机器学习模型(梯度提升决策树)来进行预测的情况下，设为
pred#test＝m#lgb.predict(x#test,num#iteration＝m#lgb.best#iteration)
即可。
在将罗杰斯特回归作为机器学习模型的情况下，能够使用scikit-learn库。首先，导入罗杰斯特回归的软件包，
from sklearn.linear#model import LogisticRegression
首先，制作机器学习模型的实例，
lr＝LogisticRegression()
执行机器学习。
lr.fit(x#train,y#train)
在使用已学习的机器学习模型来进行预测的情况下，成为
pred#test＝lr.predict#proba(x#test)。
同样地，在将决策树分析、随机森林以及神经网络作为机器学习模型的情况下，也能够使用scikit-learn库。在决策木分析中也同样地导入决策树分析的软件包，
from sklearn.tree import DecisionTreeClassifier
制作实例，
dt＝DecisionTreeClassifier()
执行机器学习后，
dt.fit(x#train,y#train)
进行预测。
pred#test＝dt.predict(x#test)
在使用随机森林作为机器学习模型的情况下，导入随机森林的软件包，
from sklearn.ensemble import RandomForestClassifier
制作实例，
rf＝RandomForestClassifier(random#state＝777)
执行机器学习后，
rf.fit(x#train,y#train)
进行预测。
pred#test＝rf.predict(x#test)
针对神经网络也同样地导入scikit-learn的软件包，
from sklearn.neural#network import MLPClassifier
制作实例，
nn＝MLPClassifier(solver＝"sgd",random#state＝0,max#iter＝10000)
执行机器学习后，
nn.fit(x#train,y#train)
进行预测。
pred#test＝nn.predict(x#test)
(4-4)在上述实施方式中，以在终端装置201中比较预测得分计算装置202计算出的预测得分和阈值来判定半成品是否良好的情况为例子进行了说明，但本公开当然不限定于此，也可以代替其而如下所述。例如，也可以预测得分计算装置202比较预测得分和阈值，仅将半成品是否良好通知给终端装置201。
(4-5)在上述实施方式中，以使用误报数和不良捕捉数这两方来计算成本优点的情况为例子进行了说明，但本公开当然不限定于此，也可以代替其而仅使用误报数和不良捕捉数中的某一方来计算成本优点。另外，关于成本函数，也当然不限定于定式(1)，即使使用其他成本函数来决定阈值，也能够得到本公开的效果。
(4-6)在上述实施方式中，以本公开是预测得分计算装置202的情况为例子进行了说明，但本公开当然不限定于此，也可以是上述预测得分计算装置202执行的预测得分计算方法。另外，也可以是使计算机执行该预测得分计算方法的预测得分计算程序。此外，也可以是存储有该预测得分计算程序的存储介质，不论在哪种情况下都能够得到本公开的效果。
(4-7)在上述实施方式中，主要着眼于预测得分计算装置202的结构和动作说明了本公开，所以在此补充关于终端装置201的结构和动作的说明。
如图10所示，终端装置201具备将CPU 1001、ROM 1002、RAM1003、SSD(Solid StateDrive，固态驱动器)1004、通信用LSI(Large Scale Integration，大规模集成电路)1005、相机1006、麦克风1007、扬声器1008、触摸面板控制器1009通过内部总线1010连接的结构。CPU 1001将RAM 10013作为作业用存储区域，执行从SSD 1004读出的OS、输出最终检查的是否良好判定结果的预测结果的预测程序等。
通信用LSI 1005连接到无线通信用的天线1012，在CPU 1001的控制下，执行向预测得分计算装置202发送检查数据或者接收预测得分等通信处理。触摸面板控制器1009从CPU 1001受理命令，控制触摸面板1013的动作。
触摸面板1013具备触摸板1014以及液晶显示器1015，通过触摸板1014从终端装置201的用户受理检查数据的输入等，或者通过液晶显示器1015对终端装置201的用户提示最终检查的是否良好判定结果的预测结果等。触摸板1014包括使用静电电容方式、电磁感应方式、电阻膜方式等输入方式的触摸传感器，由透明部件构成，与液晶显示器1015重叠地设置。在液晶显示器1015的背后，配设有作为光源的LED(Light Emitting Diode，发光二极管)，作为液晶显示器1015的背光发挥功能。
扬声器1005输出声音，麦克风1006收集声音。相机1009包括CMOS(ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体)影像传感器和透镜，利用CMOS影像传感器检测从透镜入射的光来生产图像数据。
终端装置201如图11所示，首先受理希望预测最终检查的是否良好判定结果的半成品的检查数据的输入(S1101)。例如，在如图12所示的终端装置201的显示画面1201的序列编号栏1202中受理组装希望预测最终检查的是否良好判定结果的半成品的产品的序列编号的输入，并且在检查数据栏1203中受理该半成品的工序检查中的检查数据的输入。
在终端装置201的用户完成序列编号和检查数据的输入并触摸启动按钮1204时，终端装置将受理的检查数据发送给预测得分计算装置202，请求预测得分以及阈值(S1102)。之后，如果从预测得分计算装置202接收到预测得分以及阈值(S1103)，则比较接收到的预测得分和阈值。
在预测得分是阈值以上的情况下(S1104：是)，预测为在最终检查中判定为良(S1105)。另一方面，在预测得分小于阈值的情况下(S1104：否)，预测为在最终检查中判定为不良(S1106)。之后，在触摸面板1013的液晶显示器1015上显示输出预测结果(S1107)，结束处理。
在图12的例子中，在预测得分栏1205中显示预测得分，在阈值栏1206中显示阈值，并且在判定结果栏1207中显示通过比较预测得分和阈值而预测的最终检查的是否良好判定结果。
此外，终端装置201也可以在从用户受理到序列编号的输入时从外部存储装置203等取得与序列编号对应的检查数据。由此，能够节省对终端装置201输入检查数据的用户的精力。另外，在该情况下，也可以以序列编号的输入为契机，不仅读出检查数据，而且将该检查数据发送给预测得分计算装置202，请求预测得分和阈值。
另外，也可以对预测得分计算装置202仅发送序列编号，使预测得分计算装置202取得与该序列编号对应的检查数据，使用该检查数据来计算预测得分。
产业上的可利用性
本公开所涉及的预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置作为在工序检查中预测生产线中的最终检查的得分的技术是有用的。
符号说明
1…………………………生产线
103、105、903、905………工序检查
107、907…………………最终检查
2…………………………预测筛选系统
201………………………终端装置
202………………………预测得分计算装置
203………………………外部存储装置
410………………………预测得分计算部
420………………………机器学习部
430………………………学习数据输入部
440………………………阈值决定部

Claims (15)

1.一种预测得分计算装置，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算装置的特征在于，具备：
输入单元，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及
计算单元，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
2.根据权利要求1所述的预测得分计算装置，其特征在于，
所述输入单元受理包括多个检查工序的第1检查工序的检查数据的输入。
3.根据权利要求1或2所述的预测得分计算装置，其特征在于，
具备决定单元，该决定单元根据将构成在所述预测对象的检查中应判定为不良的检查对象物品的所述第1检查工序的检查对象物品在取得了用于计算预测得分的检查数据的第1检查工序中判定为不良的情况下的利润、和将构成在所述第2检查工序中应判定为良好的检查对象物品的第1检查工序的检查对象物品在取得了用于计算预测得分的检查数据的第1检查工序中判定为不良的情况下的损失中的至少一方，决定用于在该第1检查工序中对该检查对象物品进行是否良好判定的预测得分的阈值。
4.根据权利要求3所述的预测得分计算装置，其特征在于，
所述决定单元以使从所述利润减去所述损失得到的剩余的成本优点成为最大的方式决定所述阈值。
5.根据权利要求3或4所述的预测得分计算装置，其特征在于，
所述决定单元使用直至所述第1检查工序为止的生产成本、所述第1检查工序后的部件成本以及所述第2检查工序的实施成本中的至少1个，计算所述利润以及损失。
6.根据权利要求1至5中的任意一项所述的预测得分计算装置，其特征在于，
所述机器学习模型是梯度提升决策树、决策树分析、罗杰斯特回归、随机森林以及神经网络中的任意一个。
7.根据权利要求1至6中的任意一项所述的预测得分计算装置，其特征在于，
所述机器学习模型将实施了所述第2检查工序的检查对象物品的是否良好判定结果和与构成该检查对象物品的所述第1检查工序的检查对象物品有关的第1检查工序的检查数据作为教师数据进行机器学习，从而根据第1检查工序的检查数据计算预测得分。
8.根据权利要求1至7中的任意一项所述的预测得分计算装置，其特征在于，
所述第1检查数据包括关于与所述第2检查工序的项目有关联性的检查对象的部位或功能的检查数据。
9.根据权利要求1至8中的任意一项所述的预测得分计算装置，其特征在于，
所述第1检查数据在使用多个检查工序中的检查数据的情况下包括同一部位的加工前后的检查数据。
10.根据权利要求1至9中的任意一项所述的预测得分计算装置，其特征在于，
所述第1检查数据在使用多个检查工序中的检查数据的情况下包括不同的部位的测定数据。
11.根据权利要求1至10中的任意一项所述的预测得分计算装置，其特征在于，
所述第1检查数据在使用多个检查工序中的检查数据的情况下针对相同的部位包括不同的物理量的测定数据。
12.一种预测得分计算方法，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算方法的特征在于，包括：
输入步骤，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及
计算步骤，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
13.一种预测得分计算程序，使计算机针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，计算用于所述第2检查工序中的是否良好判定的预测得分，所述预测得分计算程序的特征在于，使计算机执行：
输入步骤，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据的输入；以及
计算步骤，根据被输入的所述第1检查数据，使用机器学习模型来计算所述预测得分。
14.一种学习装置，其特征在于，具备：
学习数据输入部，针对经由多个加工工序、包括至少一个检查工序的第1检查工序以及在比所述第1检查工序更下游的工序中实施的第2检查工序生产产品的生产工序，受理在所述第1检查工序中的至少一个检查工序中得到的第1检查数据和实施了所述第2检查工序的检查对象物品的是否良好判定结果的输入；以及
学习单元，以将被输入的所述第1检查数据和所述是否良好判定结果作为教师数据并输出用于所述第2检查工序中的是否良好判定的预测得分的方式，使机器学习模型学习。
15.根据权利要求14所述的学习装置，其特征在于，
所述机器学习模型是梯度提升决策树。
CN202180042377.1A 2020-06-16 2021-05-17 预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置 Pending CN115702402A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020103856 2020-06-16
JP2020-103856 2020-06-16
PCT/JP2021/018616 WO2021256141A1 (ja) 2020-06-16 2021-05-17 予測スコア算出装置、予測スコア算出方法、予測スコア算出プログラムおよび学習装置

Publications (1)

Publication Number Publication Date
CN115702402A true CN115702402A (zh) 2023-02-14

Family

ID=79267815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180042377.1A Pending CN115702402A (zh) 2020-06-16 2021-05-17 预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置

Country Status (5)

Country Link
US (1) US20230185290A1 (zh)
EP (1) EP4167037A4 (zh)
JP (2) JP7063426B1 (zh)
CN (1) CN115702402A (zh)
WO (1) WO2021256141A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024011516A (ja) * 2022-07-14 2024-01-25 株式会社日立製作所 特性予測装置、特性予測方法、および、特性予測プログラム
CN117055509B (zh) * 2023-09-25 2024-03-08 四川德润钢铁集团航达钢铁有限责任公司 一种基于人工智能对短流程钢铁工艺参数预测的方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4677679B2 (ja) * 2001-03-27 2011-04-27 株式会社デンソー 製品の製造プロセスにおける特性調整方法
JP3800244B2 (ja) * 2004-04-30 2006-07-26 オムロン株式会社 品質制御装置およびその制御方法、品質制御プログラム、並びに該プログラムを記録した記録媒体
JP4552749B2 (ja) 2005-05-12 2010-09-29 オムロン株式会社 検査基準設定装置及び方法、並びに、工程検査装置
JP5625935B2 (ja) 2011-01-18 2014-11-19 オムロン株式会社 判定基準値の適否判定方法およびその適正値の特定方法ならびに適正値への変更方法、部品実装基板の検査システム、生産現場におけるシミュレーション方法およびシミュレーションシステム
KR101895193B1 (ko) * 2016-03-28 2018-10-04 미쓰비시덴키 가부시키가이샤 품질 관리 장치, 품질 관리 방법 및 품질 관리 프로그램을 기록하는 기록 매체
JP7062577B2 (ja) * 2018-11-21 2022-05-06 株式会社日立製作所 製造条件特定システムおよび方法

Also Published As

Publication number Publication date
EP4167037A1 (en) 2023-04-19
JP7063426B1 (ja) 2022-05-09
WO2021256141A1 (ja) 2021-12-23
JPWO2021256141A1 (zh) 2021-12-23
EP4167037A4 (en) 2024-03-13
US20230185290A1 (en) 2023-06-15
JP2022122862A (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
US20060218107A1 (en) Method for controlling a product production process
US20190065343A1 (en) Automated Log Analysis and Problem Solving Using Intelligent Operation and Deep Learning
US10943181B2 (en) Just in time classifier training
US20070061144A1 (en) Batch statistics process model method and system
CN108364106A (zh) 一种报销单风险预测方法、装置、终端设备及存储介质
CN115702402A (zh) 预测得分计算装置、预测得分计算方法、预测得分计算程序以及学习装置
CN105930257B (zh) 一种确定目标测试用例的方法及装置
EP3475911A1 (en) Life insurance system with fully automated underwriting process for real-time underwriting and risk adjustment, and corresponding method thereof
EP3405844B1 (en) Methods and systems for root cause analysis for assembly lines using path tracking
US8086640B2 (en) System and method for improving data coverage in modeling systems
EP3751368B1 (en) Additive manufacturing-coupled digital twin ecosystem based on a surrogate model of measurement
US20200391446A1 (en) Additive manufacturing-coupled digital twin ecosystem
CN109409780B (zh) 变更处理方法、装置、计算机设备和存储介质
CN101118422A (zh) 半导体制造的虚拟量测预估与建立预估模型的方法与系统
US20170176985A1 (en) Method for predicting end of line quality of assembled product
CN115204536A (zh) 楼宇设备故障预测方法、装置、设备及存储介质
US20200175380A1 (en) Automated feature generation for sensor subset selection
CN115147236A (zh) 一种处理方法、处理装置和电子设备
US8489525B2 (en) Automatic model evolution
KR102670325B1 (ko) 장비 관련 편차의 근본 원인 분석을 위한 방법 및 시스템
CN114155048A (zh) 关联业务预测的方法、装置、电子设备及存储介质
CN113742248A (zh) 一种基于项目测量数据进行组织过程预测的方法及系统
CN117236275A (zh) 一种芯片优化方法、装置、设备及存储介质
US20230156043A1 (en) System and method of supporting decision-making for security management
CN105814546B (zh) 用于辅助对算法链的检验和验证的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination