CN117120951A - 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置 - Google Patents

生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置 Download PDF

Info

Publication number
CN117120951A
CN117120951A CN202280027700.2A CN202280027700A CN117120951A CN 117120951 A CN117120951 A CN 117120951A CN 202280027700 A CN202280027700 A CN 202280027700A CN 117120951 A CN117120951 A CN 117120951A
Authority
CN
China
Prior art keywords
information
defect
production line
product
evaluation value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280027700.2A
Other languages
English (en)
Inventor
池田辽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN117120951A publication Critical patent/CN117120951A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/10—Plc systems
    • G05B2219/11—Plc I-O input output

Abstract

本发明提供一种能够检测生产线的异常征兆的生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置。生产线的异常预兆检测装置(30)的处理器获取利用放射线摄影装置(20)拍摄通过生产线(10)制造的产品(P)而得到的每个产品的图像，并根据所获取的图像获取与产品(P)的特异点相关联的特异点信息。处理器将特异点信息中的影响产品(P)的有无缺陷判定的信息作为缺陷相关信息，且将不影响产品的有无缺陷判定的信息作为缺陷非相关信息而保存于存储器中。处理器根据缺陷相关信息及缺陷非相关信息来计算表示生产线(10)的健全度的生产线评价值，并根据所计算的生产线评价值来检测生产线(10)的异常征兆。

Description

生产线的异常预兆检测装置、方法及程序以及制造装置及检 点装置
技术领域
本发明涉及一种生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置，特别涉及一种根据通过生产线制造的产品来检测该生产线的异常征兆的技术。
背景技术
金属部件的制造现场等中，出货前会进行有无缺陷的检查。另一方面，关于检查制造产品的机器侧的不良情况，从检查成本及继续连续生产的需要而言，很难每次进行，只能进行每隔规定期间的维修等或发生不良情况后进行检验，因此很难早发现异常。
相对于此，以往提出一种生产线的生产管理方法，其包括：组装多个部件而形成产品的制造工序；及将各部件或产品作为检查对象而检查检查对象的检查工序，检查工序包括管理工序，该管理工序按照预先设定的规则拍摄检查对象，处理伴随该拍摄到的图像，进一步比较该处理结果及合格与否判定值来判定产品的合格与否，并且逐渐累积图像的处理结果来判定其内容，并将该判定结果反映到制造工序中(专利文献1)。
具体而言，专利文献1中记载的生产线的生产管理方法中，从照明装置向产品的外表面照射光，用相机接收在外表面反射的反射光，由此利用相机拍摄产品的外表面。
以与利用相机得到的视频信号的亮度水平建立关联的方式设定上限水平及下限水平，所述上限水平用于主要检测检查对象的表面中产生的划痕中的明亮划痕，所述下限水平用于检测在检查对象的表面中产生的黑色结果及表面粗糙度等，生产线的生产管理方法中，将通过拍摄得到的与视频信号相关联的信息作为数码数据而逐渐累积在存储介质中，在视频信号水平超过标准值而趋于接近上限水平时，或视频信号水平小于标准值而趋于接近下限水平时，以该信息为基础而变更制造工序中的组装方法，从而事前防止接下来被制造的产品中发生异常。
以往技术文献
专利文献
专利文献1：日本特开2008-15930号公报
发明内容
发明要解决的技术课题
专利文献1中虽然有如下记载，但没有还考虑不能说是缺陷的视频信号水平(不影响产品的有无缺陷判定的信息)而检测生产线的异常征兆的记载：将通过拍摄产品或其部件而得到的与视频信号相关联的信息作为数码数据而逐渐累积在存储介质中，当视频信号水平超过标准值而趋于接近上限水平时，或视频信号水平小于标准值而趋于接近下限水平时，以该信息为基础而变更制造工序中的组装方法，从而事前防止接下来被制造的产品中发生异常。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够无延迟地早期检测生产线的异常征兆，并且能够进行产品的检点的生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置。
用于解决技术课题的手段
为了实现上述目的，第1实施方式所涉及的发明是如下装置：一种生产线的异常预兆检测装置：其是具备处理器、摄影装置、第1存储器及第2存储器的生产线的异常预兆检测装置，其中，处理器进行如下处理：摄影处理，使用摄影装置逐一拍摄通过生产线制造的检查对象即产品；特异点信息获取处理，根据通过拍摄获取的图像来获取与产品的特异点相关联的特异点信息；特异点信息保存处理，将所获取的特异点信息保存于第1存储器中；保存处理，第1存储器中保存的特异点信息中，将影响产品的有无缺陷判定的信息作为缺陷相关信息保存于第2存储器中，而将不影响产品的有无缺陷判定的信息作为缺陷非相关信息保存于第2存储器中；产品评价值计算处理，根据缺陷相关信息来计算表示产品的健全度的产品评价值；缺陷检测处理，根据通过产品评价值计算处理计算出的产品评价值来检测产品有无缺陷；生产线评价值计算处理，根据缺陷相关信息及缺陷非相关信息来计算表示生产线的健全度的生产线评价值；异常征兆检测处理，根据通过生产线评价值计算处理计算出的生产线评价值来检测生产线的异常征兆；及输出处理，输出包含生产线的异常征兆的检测结果及产品的缺陷的检测结果的反馈信息。
根据本发明的第1实施方式，利用摄影装置逐一拍摄通过生产线制造的产品，根据通过拍摄获取的图像来获取与各产品的特异点相关联的特异点信息，将所获取的特异点信息保存于第1存储器中，进一步将第1存储器中保存的特异点信息中的影响产品的有无缺陷判定的信息作为缺陷相关信息，且将不影响产品的有无缺陷判定的信息作为缺陷非相关信息保存于第2存储器中。然后，根据缺陷相关信息来计算表示产品的健全度的产品评价值，并根据所计算的产品评价值来检测产品有无缺陷。并且，根据第2存储器中保存的缺陷相关信息及缺陷非相关信息(被分类的特异点信息)来计算表示生产线的健全度的生产线评价值，并根据所计算的生产线评价值来检测生产线的异常征兆。由此，能够考虑构成通过生产线制造的产品的检查履历的各种特异点信息(还考虑不影响产品的有无缺陷判定的特异点信息)而无延迟地早期检测生产线的异常征兆。并且，通过输出包含生产线的异常征兆的检测结果及产品的缺陷的检测结果的反馈信息，能够对生产线自动地或通过用户采取适当的对策，并且能够进行产品的检点。
本发明的第2实施方式所涉及的生产线的异常预兆检测装置中，优选处理器进行根据缺陷非相关信息来计算缺陷预兆值的缺陷预兆值计算处理及通知缺陷预兆值的通知处理。这使得能够预测在生产线上继续制造产品时的未来产生缺陷的可能性或缺陷的产生时期。
本发明的第3实施方式所涉及的生产线的异常预兆检测装置中，摄影装置优选为放射线摄影装置、超声波摄影装置或红外线摄影装置。由此，还能够拍摄产品内部的特异点，从而能够进行产品的非破坏性检查。
本发明的第4实施方式所涉及的生产线的异常预兆检测装置中，优选特异点信息为特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，并且保存处理根据特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上来将特异点信息分类为缺陷相关信息及缺陷非相关信息而保存于第2存储器中。
本发明的第5实施方式所涉及的生产线的异常预兆检测装置中，优选生产线评价值计算处理根据第2存储器中保存的至少1个缺陷相关信息及第2存储器中保存的至少2个以上的缺陷非相关信息来计算表示生产线的健全度的生产线评价值。
本发明的第6实施方式所涉及的生产线的异常预兆检测装置中，优选生产线评价值计算处理根据第2存储器中保存的2个以上的缺陷相关信息及第2存储器中保存的2个以上的缺陷非相关信息来计算表示生产线的健全度的生产线评价值。
本发明的第7实施方式所涉及的生产线的异常预兆检测装置中，生产线评价值计算处理优选根据第2存储器中存储的对应于多个产品的缺陷相关信息及缺陷非相关信息来计算表示生产线的健全度的生产线评价值。
本发明的第8实施方式所涉及的生产线的异常预兆检测装置中，多个产品优选为在规定期间内制造的产品组、沿时间序列制造的规定数量的产品组或作为管理产品的单位的1批次产品组。另外，一部分产品可以在规定期间内制造的产品组或规定数量的产品组与其他产品组之间重复。
本发明的第9实施方式所涉及的生产线的异常预兆检测装置中，生产线评价值计算处理优选计数缺陷相关信息及缺陷非相关信息，并根据计数的计数值来计算生产线评价值。关于生产线评价值，除了将计数值本身作为生产线评价值以外，也可以作为计数值除以作为对象的产品的个数而得到的平均值而得到。
本发明的第10实施方式所涉及的生产线的异常预兆检测装置中，优选生产线评价值计算处理在计数缺陷相关信息及缺陷非相关信息时，对缺陷相关信息及缺陷非相关信息进行加权计数。另外，可以进一步对被分类为缺陷相关信息的特异点信息进行不同的加权，也可以进一步对被分类为缺陷非相关信息的特异点信息进行不同的加权。
本发明的第11实施方式所涉及的生产线的异常预兆检测装置中，优选生产线评价值计算处理在计数缺陷相关信息时，进行与缺陷相关信息的种类相对应的加权并进行计数。缺陷相关信息的种类例如包含特异点的种类信息、产生位置信息、尺寸信息、形状信息及与缺陷相关联的程度等。
本发明的第12实施方式所涉及的生产线的异常预兆检测装置中，优选异常征兆检测处理比较2个以上的生产线评价值，并根据比较的比较结果来检测生产线的异常征兆。通过比较从制造时期不同的2个以上的产品的检查履历计算出的生产线评价值，能够提取在某一制造时期生产的产品通常比其他制造时期生产的产品包含更多的缺陷相关信息之类的反馈信息，并能够检测及通知生产线的异常征兆。
本发明的第13实施方式所涉及的生产线的异常预兆检测装置中，优选生产线包含多个制造工序，特异点信息为特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，所述生产线的异常预兆检测装置进一步具备存储第1对应表的第3存储器，所述第1对应表中，特异点信息中包含的特定的特异点信息和生产线的多个制造工序中的与特定的特异点信息相关联的特定的制造工序对应，生产线评价值计算处理在计数缺陷相关信息及缺陷非相关信息时，按照第1对应表按多个制造工序中的每个制造工序进行计数，并将计数的每个制造工序的计数值计算为表示各制造工序的健全度的工序评价值，异常征兆检测处理根据按每个制造工序计算出的工序评价值来检测生产线的各制造工序的异常征兆。由此，能够确定多个制造工序中可能劣化的制造工序，从而能够采取适当的对策。
本发明的第14实施方式所涉及的生产线的异常预兆检测装置中，优选特异点信息为特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，所述生产线的异常预兆检测装置进一步具备存储第2对应表的第4存储器，所述第2对应表中，特异点信息中包含的特定的特异点信息和表示生产线中的制造环境的多个环境信息中的与特定的特异点信息相关联的特定的环境信息对应，处理器进行如下处理：获取第1存储器中保存的特异点信息中的特定的特异点信息的处理；及在获取特定的特异点信息时，按照第2对应表获取与所获取的特定的特异点信息相关联的特定的环境信息的处理，输出处理输出包含特定的环境信息的反馈信息。据此，当获取特定的特异点信息，则从第4存储器获取与该特定的特异点信息相关联的特定的环境信息，并输出包含特定的环境信息的反馈信息，因此通过根据特定的环境信息来整理生产线的环境，能够降低由环境引起的产品缺陷的产生。
本发明的第15实施方式所涉及的生产线的异常预兆检测装置中，优选所述生产线的异常预兆检测装置进一步具备使表示每个产品组的品质的品质信息和与品质信息相关联的附加信息对应并存储的第5存储器，处理器进行根据对应于产品组的检查履历组的各检查履历来获取与产品组的品质相关联的品质信息的处理；及根据所获取的品质信息从第5存储器获取对应于品质信息的附加信息的处理，输出处理输出与产品组对应地获取的附加信息。作为与产品组对应地获取的附加信息，可以考虑与该产品组的品质相对应的产品的事后处理的内容及利用用途等信息。
本发明的第16实施方式所涉及的生产线的异常预兆检测装置中，优选特异点信息包含产品的特异点的产生位置信息及尺寸信息，处理器进行如下处理：根据通过特异点信息获取处理获取的特异点信息来获取表示小于阈值的特异点尺寸的微小特异点的微小特异点信息的处理；及生成强调信息及对应于微小特异点的个数的信息的处理，所述强调信息根据所获取的微小特异点信息来强调显示微小特异点，且可视觉辨认地显示包含微小特异点且大于微小特异点的特异点尺寸的区域，输出处理将强调信息及对应于微小特异点的个数的信息重叠在图像上并使其显示在显示器上。即使强调微小特异点的区域也很难视觉辨认微小特异点，因此通过生成以视觉辨认的方式显示大于微小特异点的特异点尺寸的区域的强调信息及对应于微小特异点的个数的信息，并将这些信息重叠在图像上并使其显示在显示器上，从而使得容易确认微小特异点的产生部位等。
本发明的第17实施方式所涉及的生产线的异常预兆检测装置中，优选强调信息为将大于微小特异点的特异点尺寸的区域以特定的颜色及亮度中的至少一个涂满的掩模信息或包围区域的框体信息，对应于微小特异点的个数的信息为表示个数的字符信息或与个数相对应的强调信息的颜色及亮度中的至少一个信息。
本发明的第18实施方式所涉及的生产线的异常预兆检测装置中，优选特异点信息获取处理提取图像的特征量，且对图像的每个像素获取特异点信息的缺陷概率，输出处理对对应于特异点信息的像素附加与缺陷概率相对应的颜色而将其显示在显示器上。通过对对应于特异点信息的像素附加与缺陷概率相对应的颜色，能够将特异点区域显示成与缺陷概率相对应的色彩层次或热量地图。与特异点信息的缺陷概率相对应的颜色包含色相及彩度中的至少一个。
第19实施方式所涉及的发明是如下制造装置：其是具备制造产品的生产线、处理器、摄影装置、第1存储器及第2存储器的制造装置，其中，处理器进行如下处理：摄影处理，使用摄影装置逐一拍摄通过生产线制造的产品；特异点信息获取处理，根据通过拍摄获取的图像来获取与产品的特异点相关联的特异点信息；特异点信息保存处理，将所获取的特异点信息保存于第1存储器中；保存处理，第1存储器中保存的特异点信息中，将影响产品的有无缺陷判定的信息作为缺陷相关信息保存于第2存储器中，而将不影响产品的有无缺陷判定的信息作为缺陷非相关信息保存于第2存储器中；产品评价值计算处理，根据缺陷相关信息来计算表示产品的健全度的产品评价值；缺陷检测处理，根据通过产品评价值计算处理计算出的产品评价值来检测产品有无缺陷；生产线评价值计算处理，根据缺陷相关信息及缺陷非相关信息来计算表示生产线的健全度的生产线评价值；异常征兆检测处理，根据计算出的生产线评价值来检测生产线的异常征兆；及输出处理，输出包含生产线的异常征兆的检测结果及产品的缺陷的检测结果的反馈信息。
第20实施方式所涉及的发明是如下检点装置：其是具备处理器、摄影装置、第1存储器及第2存储器的检点装置，其中，处理器进行如下处理：摄影处理，使用摄影装置逐一拍摄通过生产线制造的检查对象即产品；特异点信息获取处理，根据通过拍摄获取的图像来获取与产品的特异点相关联的特异点信息；特异点信息保存处理，将所获取的特异点信息保存于第1存储器中；保存处理，第1存储器中保存的特异点信息中，将影响产品的有无缺陷判定的信息作为缺陷相关信息保存于第2存储器中，而将不影响产品的有无缺陷判定的信息作为缺陷非相关信息保存于第2存储器中；产品评价值计算处理，根据缺陷相关信息来计算表示产品的健全度的产品评价值；缺陷检测处理，根据通过产品评价值计算处理计算出的产品评价值来检测产品有无缺陷；生产线评价值计算处理，根据缺陷相关信息及缺陷非相关信息来计算表示生产线的健全度的生产线评价值；异常征兆检测处理，根据通过生产线评价值计算处理计算出的生产线评价值来检测生产线的异常征兆；及输出处理，输出包含生产线的异常征兆的检测结果及产品的缺陷的检测结果的反馈信息。
第21实施方式所涉及的发明是如下生产线的异常预兆检测方法：处理器进行以下步骤的处理来检测生产线的异常征兆，所述生产线的异常预兆检测方法包括如下步骤：使用摄影装置逐一拍摄通过生产线制造的检查对象即产品；根据通过拍摄获取的图像来获取与产品的特异点相关联的特异点信息；将所获取的特异点信息保存于第1存储器中；将第1存储器中保存的特异点信息中的影响产品的有无缺陷判定的信息作为缺陷相关信息保存于第2存储器中，且将不影响产品的有无缺陷判定的信息作为缺陷非相关信息保存于第2存储器中；根据缺陷相关信息来计算表示产品的健全度的产品评价值；根据产品评价值来检测产品有无缺陷；根据缺陷相关信息及缺陷非相关信息来计算表示生产线的健全度的生产线评价值；根据生产线评价值来检测生产线的异常征兆；及输出包含生产线的异常征兆的检测结果及产品的缺陷的检测结果的反馈信息。
本发明的第23实施方式所涉及的生产线的异常预兆检测方法中，摄影装置优选为放射线摄影装置、超声波摄影装置或红外线摄影装置。这是为了非破坏性地检查产品。
第24实施方式所涉及的发明是使计算机执行第21实施方式或第23实施方式中任一个所述的生产线的异常预兆检测方法的生产线的异常预兆检测程序。
发明效果
根据本发明，能够无延迟地早期检测生产线的异常征兆，并能够获取包含该检测结果及产品的缺陷的检测结果的反馈信息。
附图说明
图1是表示本发明所涉及的制造装置的结构的示意图。
图2是表示拍摄产品的放射线摄影装置的一例的图。
图3是表示本发明所涉及的生产线的异常预兆检测装置的硬件构成的实施方式的块图。
图4是表示本发明所涉及的生产线的异常预兆检测装置的实施方式的功能块图。
图5是表示存储器中保存的检查履历的一例的图表。
图6是表示使特异点信息中包含的特定的特异点信息和生产线的多个制造工序中的与特定的特异点信息相关联的特定的制造工序对应的第1对应表的第1例的图表。
图7是表示使特异点信息中包含的特定的特异点信息和生产线的多个制造工序中的与特定的特异点信息相关联的特定的制造工序对应的第1对应表的第2例的图表。
图8是表示按每个制造工序计数产品组中各产品的特异点时的计数值(每个制造工序的工序评价值)的一例的图表。
图9是表示使特定的特异点信息与相关联的特定的环境信息对应的第2对应表的一例的图表。
图10是表示使表示每个产品组的品质的品质信息及与品质信息相关联的附加信息对应的对应表的一例的图表。
图11是表示包含微小特异点的产品的图像的一例的图。
图12是表示包含微小特异点的产品的图像的其他例的图。
图13是表示本发明所涉及的生产线的异常预兆检测方法的实施方式的流程图。
具体实施方式
以下，按照附图对本发明所涉及的生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置的优选实施方式进行说明。
[制造装置的结构]
图1是表示本发明所涉及的制造装置的结构的示意图。
图1所示的制造装置由生产线10及生产线的异常预兆检测装置30构成。
生产线10具备制造工序1至制造工序N的多个制造工序，经由各制造工序1～N制造由金属部件构成的产品P。例如，制造工序1制造部件A，制造工序2制造部件B，并且将部件A及部件B接合，制造工序N制造部件C，并且将部件B及部件C接合，从而制造基于该生产线10的制造对象物的产品P。
本发明所涉及的生产线的异常预兆检测装置30构成为包含放射线摄影装置(摄影装置)20，其作为使用利用放射线摄影装置20拍摄到的图像来非破坏性地检查产品P的检点装置发挥作用。
利用放射线摄影装置20逐一拍摄通过生产线10制造的产品P。
图2是表示拍摄产品的放射线摄影装置的一例的图。
图2所示的放射线摄影装置20是使用X射线作为放射线的X射线摄影装置，其具备X射线源22、成像板24，在夹住产品P并与X射线源22相对置的位置配置有成像板24。
从X射线源22照射的X射线透过产品P而入射至成像板24，而在成像板24上蓄积与入射剂量相对应的能量信息(X射线图像信息)。成像板24上所蓄积的X射线图像信息被图3所示的图像读取装置40读取，并作为产品P的X射线透过图像读入到生产线的异常预兆检测装置30中。
放射线摄影装置20不限于使用成像板24的装置，可以为使用X射线平板探测器、X射线线性传感器、X射线胶片等的装置。并且，拍摄产品的位置及方向是根据产品而决定的，可以对1个产品在多个部位进行拍摄。
生产线的异常预兆检测装置30为如下装置：根据拍摄产品P而获取的X射线透过图像(以下，简称为“图像”)来非破坏性地检查产品P，并根据产品P的检查结果来检测生产线10整体或生产线10的各制造工序1～N的异常征兆。
“生产线的异常预兆检测装置的硬件构成”
图3是表示本发明所涉及的生产线的异常预兆检测装置的硬件构成的实施方式的块图。
图3所示的生产线的异常预兆检测装置30由个人计算机、工作站等构成，其具备处理器32、存储器34、显示器(显示部)36、输入输出接口38及操作部39等。
处理器32由CPU(Central Processing Unit，中央处理器)等构成，总括控制生产线的异常预兆检测装置30的各部，并且根据利用放射线摄影装置20拍摄到的每个产品P的图像进行各种处理，检测生产线10的异常征兆，对于基于处理器32的各种处理的详细内容将在后面进行叙述。
存储器34包括闪存、ROM(Read-only Memory，只读存储器)、及RAM(Random AccessMemory，随机存取存储器)、硬盘装置等。闪存、ROM或硬盘装置是存储操作系统、包含本发明所涉及的生产线的异常预兆检测程序的各种程序等的非易失性存储器。RAM作为基于处理器32的处理的工作区域而发挥作用。并且，临时存储在闪存等中存储的结构物的状态预测程序等。
存储器34中保存有通过处理器32的特异点信息获取处理获取的与产品的特异点相关联的特异点信息作为每个产品的检查履历，并且存储有后述的各种对应表(一览表)等。
特异点信息中的影响产品的有无缺陷判定的特异点信息被分类为缺陷相关信息而保存于存储器34中，而不影响产品的有无缺陷判定的特异点信息被分类为缺陷非相关信息而保存于存储器34中。另外，对于特异点信息的详细内容将在后面进行叙述。
处理器32一边按照生产线的异常预兆检测程序将RAM作为工作区域，一边从存储器34获取每个产品的检查履历中包含的各种特异点信息等所需数据，从而进行生产线的异常预兆检测装置30的各部的控制及处理。
显示部36显示通过处理器32检测到的包含生产线10的异常征兆的检测结果的反馈信息。用户能够根据通过显示部36显示的反馈信息确认生产线10的健全度，从而能够对生产线10进行适当的保守、保全等。
并且，显示部36能够显示处理器32所获取的产品P的图像，用户能够在观察显示部36中显示的图像的同时确认产品P的各种特异点。另外，显示部36可用作从操作部39接收用户命令时的GUI(Graphicai User Interface，图形用户界面)的一部分。
输入输出接口38包括能够与外部设备连接的连接部及能够与网络连接的通信部等。作为能够与外部设备连接的连接部，能够应用USB(Universal Serial Bus，通用串行总线)、HDMI(High-Defimition Multimedia Interface，高清晰度多介质接口)(HDMI为注册商标)等。将图像读取装置40连接至输入输出接口38，使图像读取装置40读取图2所示的放射线摄影装置20的成像板24上所蓄积的X射线图像信息，从而处理器32能够经由输入输出接口38获取产品P的X射线透过图像。
操作部39包含键盘、鼠标等点击设备、键盘等，并作为接收来自用户的各种命令的GUI的一部分发挥作用。
[生产线的异常预兆检测装置的实施方式]
图4是表示本发明所涉及的生产线的异常预兆检测装置的实施方式的功能块图。
图4所示的生产线的异常预兆检测装置具备摄影处理部51、特异点信息获取部52、存储器控制部53、生产线评价值计算部54、异常征兆检测部55、输出部56、产品评价值计算部57、缺陷检测部58、缺陷预兆值计算部59及通知部60，图3所示的生产线的异常预兆检测装置30的处理器32发挥以下各部的作用：摄影处理部51、特异点信息获取部52、存储器控制部53、生产线评价值计算部54、异常征兆检测部55、输出部56、产品评价值计算部57、缺陷检测部58、缺陷预兆值计算部59及通知部60。
摄影处理部51是自动地或通过来自用户的摄影命令输入进行摄影处理的部分，并经由输入输出接口38获取利用放射线摄影装置20拍摄到的产品P的图像，所述摄影处理使用放射线摄影装置20来逐一拍摄通过生产线10制造的检查对象即产品P。
特异点信息获取部52进行根据摄影处理部51所获取的图像来获取与产品P的特异点相关联的特异点信息的特异点信息获取处理。通过特异点信息获取部52获取的特异点信息为产品P的特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上。产品P的特异点中也包含不能说是缺陷的微细异质性部分，特异点信息被分类为影响产品P的有无缺陷判定的信息即缺陷相关信息及不影响产品P的有无缺陷判定的信息即缺陷非相关信息。
特异点的种类信息可以考虑气孔、气泡、高密度异物、低密度异物、裂纹、焊接不良等。当产品P由多个部件构成时，产生特异点的部件的信息也是特异点的产生位置信息之一。焊接不良包括焊接金属内部的空腔部(气孔、针孔)、焊透不良、咬边、焊瘤等。尺寸信息可以用特异点区域的面积(像素数)来表示。并且，当为球形特异点时，可以用直径来表示，当为线状特异点时，可以用特异点的长度来表示。
特异点信息获取部52例如可以由AI(Artificial Intelligence，人工智能)构成，若输入产品P的图像，则提取图像的特征量，进行图像的各像素属于何种特异点的种类的等级分类，从而提取特异点区域且获取特异点种类的识别结果等特异点信息。并且，用户可以用肉眼从显示部36中显示的图像确认特异点，并且通过操作部39输入特异点的种类信息、特异点的产生位置信息等，特异点信息获取部52可以获取通过用户操作输入的特异点信息。
存储器控制部53进行将通过特异点信息获取部52获取的与产品P的特异点相关联的特异点信息作为每个产品P的检查履历而保存于存储器(第1存储器)34中的特异点信息保存处理；及将存储器34中保存的特异点信息中的影响产品的有无缺陷判定的信息作为缺陷相关信息而保存于存储器(第2存储器)34中，且将不影响产品的有无缺陷判定的信息作为缺陷非相关信息而可识别地保存于存储器(第2存储器)34中的保存处理，并且进行读取保存于存储器34中的检查履历等的读取处理。另外，第1存储器及第2存储器不限于相同的存储器34内的不同的存储区域，可以是物理上不同的存储器。
图5是表示存储器中保存的检查履历的一例的图表。
图5所示的检查履历为按每个产品与产品编号建立关联的特异点信息(特异点的种类信息、特异点的产生位置信息、特异点的尺寸信息及特异点的形状信息)，作为其他信息，可以包含产品的批次编号、检查图像、检查日时等。
并且，图5所示的例子中，对于1个产品保存1个特异点信息，但是当对于1个产品获取多个特异点信息(多个相同种类的特异点信息和/或多个不同种类的特异点信息包含)时，保存多个特异点信息。
此外，当为微小特异点之一的小直径的针孔时，优选也保存针孔个数信息。另外，当针孔个数为1个时，为孤立的针孔，当为多个时，为密集的针孔。当存在多个孤立的针孔或密集的针孔时，优选保存为多个特异点信息。当多个针孔密集存在时，该区域成为特异点的产生位置。
并且，对于未检测出特异点的产品，也可以保存为检查履历(“无特异点”)。
存储器控制部53将特异点信息中的影响产品的有无缺陷判定的特异点信息作为缺陷相关信息而保存于存储器中，而将不影响产品的有无缺陷判定的特异点信息作为缺陷非相关信息而可识别地保存于存储器中，但是也可以对各特异点信息附加缺陷相关信息或缺陷非相关信息的标记信息。
在此，当将特异点信息分类为缺陷相关信息或缺陷非相关信息时，能够根据特异点的尺寸信息、种类信息、产生位置信息及特异点的个数等中的1个信息或多个信息的组合来进行。
例如，当特异点的尺寸非常大时，能够与特异点的种类信息及产生位置信息无关地分类为缺陷相关信息。并且，当特异点的种类信息为针孔(小气泡等)时，能够根据密集的针孔的个数和/或产生位置的信息来分类为缺陷相关信息或缺陷非相关信息。例如，孤立的针孔能够分类为缺陷非相关信息。当为密集的针孔时，或少于可允许的个数时，或针孔的产生位置不是施加大应力的重要部位时，能够分类为缺陷非相关信息。
返回到图4，生产线评价值计算部54进行如下生产线评价值计算处理：从存储器34经由存储器控制部53读取构成保存于存储器34中的检查履历的被分类为缺陷相关信息或缺陷非相关信息的特异点信息，并根据所读取的特异点信息来计算表示生产线10的健全度的生产线评价值。
生产线评价值的计算中使用的特异点信息包含被分类为缺陷相关信息的特异点信息及被分类为缺陷非相关信息的特异点信息。因此，生产线评价值计算部54根据保存于存储器34(第2存储器)中的缺陷相关信息及保存于存储器34(第2存储器)中的缺陷非相关信息来计算表示生产线10的健全度的生产线评价值。
生产线评价值计算部54进行如下生产线评价值计算处理：根据保存于存储器34(第2存储器)中的缺陷相关信息及保存于存储器34(第2存储器)中的缺陷非相关信息来计算表示生产线10的健全度的生产线评价值。
生产线评价值计算部54优选根据至少1个缺陷相关信息及至少2个以上的缺陷非相关信息，更优选根据2个以上的缺陷相关信息及2个以上的缺陷非相关信息，计算表示生产线10的健全度的生产线评价值。
另外，生产线评价值计算部54可以根据保存于存储器34(第2存储器)中的缺陷非相关信息来计算表示生产线10的健全度的生产线评价值。
并且，生产线评价值的计算中使用的特异点信息为对应于多个产品的特异点信息(缺陷相关信息及缺陷非相关信息)。
在此，所述多个产品优选为在规定期间内制造的产品组、沿时间序列制造的规定数量的产品组或作为管理产品的单位的1批次产品组。
规定期间可以为1周、1个月等，可由用户适当设定。并且，对规定期间内制造的产品组的检查履历组可重复设定。例如，当规定期间为1周时，通过将1周1天天地错开，能够每天获取对应于过去1周内制造的产品组的检查履历组。此时，新获取的检查履历组中的6天的检查履历成为与前一天获取的检查履历组的检查履历重复。
并且，规定数量可以由用户根据产品适当设定。规定数量的检查履历可与上述方式同样地重复设定。
用户可以考虑库存数量及原材料的进货等来适当设定1批次产品的数量。
生产线评价值计算部54根据被分类为缺陷相关信息及缺陷非相关信息且对应于多个产品的多个检查履历中的每个特异点信息来计算表示生产线10的健全度的生产线评价值。具体而言，生产线评价值计算部54能够计数产品组中的缺陷相关信息及缺陷非相关信息的总数并根据计数的计数值来计算生产线评价值。关于生产线评价值，除了将计数值本身作为生产线评价值以外，也可以作为计数值除以作为对象的产品的个数而得到的平均值而得到。
并且，优选生产线评价值计算部54在计数产品组中的缺陷相关信息及缺陷非相关信息的总数时，对缺陷相关信息及缺陷非相关信息进行加权计数。缺陷相关信息及缺陷非相关信息的权重优选根据特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上的特异点信息来决定。
进一步、生产线评价值计算部54优选在计数缺陷相关信息时，进行与缺陷相关信息的种类相对应的加权并进行计数。缺陷相关信息的种类包含缺陷的种类信息、产生位置信息、尺寸信息、形状信息或程度，生产线评价值计算部54优选除了与缺陷相关信息的种类本身相对应的加权以外，还进行与缺陷相关信息的内容相对应的加权(例如，缺陷尺寸越大越加大加权或、与形状尖锐部分的角度相对应的加权等)而进行计数。
异常征兆检测部55进行根据通过生产线评价值计算部54计算出的生产线评价值来检测生产线10的异常征兆的异常征兆检测处理。异常征兆检测部55能够对每个产品组(检查履历组)获取表示生产线10的健全度的生产线评价值，因此能够预测生产线10的健全度的变化(检测生产线10的异常征兆)。
并且，异常征兆检测部55例如能够比较，对应于制造时期不同的2个以上的产品组的2个以上的生产线评价值，并根据该比较结果来检测生产线10的异常征兆。例如，当每个产品组的生产线评价值不变动时，能够判断为无生产线10的异常征兆，当每个产品组的生产线评价值趋于增加而接近视为生产线10的异常的阈值时，能够判断为生产线10有异常征兆。
输出部56进行输出反馈信息的输出处理，所述反馈信息包含通过异常征兆检测部55检测到的生产线10的异常征兆的检测结果。反馈信息的输出目的地能够设为显示部36或生产线10或与生产线10相关联的设备等。
用户能够确认显示部36中显示的反馈信息，从而能够在事前(制造缺陷产品之前)判断生产线10的保守、检验工作的必要性等。
并且，通过在生产线10或与生产线10相关联的设备上输出反馈信息，能够自动控制生产线10中的各种模具、熔融金属的温度、压力、焊接温度等，并且能够自动控制与生产线10相关联的设备(例如，空调设备、原材料的保管设备等的温度、湿度等)。
<检点部>
产品评价值计算部57及缺陷检测部58发挥产品P的检点部的作用。
产品评价值计算部57为进行如下产品评价值计算处理的部分：对每个产品P从存储器34经由存储器控制部53读取构成保存于存储器34中的检查履历的缺陷相关信息，并根据所读取的缺陷相关信息对每个产品P计算表示产品的健全度的产品评价值。另外，优选根据缺陷相关信息的种类(缺陷的种类信息、产生位置信息、尺寸信息、形状信息、程度等)来计算产品评价值。
当1个产品P具有多个缺陷相关信息时，优选产品评价值计算部57计数缺陷相关信息，或进行与缺陷相关信息的种类相对应的加权计数，并根据计数的计数值来计算产品评价值。
缺陷检测部58进行如下缺陷检测处理：根据通过产品评价值计算部57计算出的产品评价值来检测每个产品P有无缺陷。并且，缺陷检测部58可以根据产品评价值对被检测为无缺陷的产品P进行产品的排序。
除了包含生产线的异常征兆的检测结果的反馈信息以外，输出部56还输出包含由缺陷检测部58输入的产品P的缺陷的检测结果的反馈信息。产品P的缺陷的检测结果的反馈信息能够用作用于自动或手动地将产品P分选为良品及不良品(缺陷品)的信息。
<缺陷预兆>
缺陷预兆值计算部59及通知部60为预测及通知如下内容的部分：在生产线10上继续制造产品P时的未来在产品P中产生缺陷的可能性或缺陷的产生时期。
缺陷预兆值计算部59进行如下缺陷预兆值计算处理：对每个产品P从存储器34经由存储器控制部53读取构成保存于存储器34中的检查履历的缺陷非相关信息，并根据所读取的缺陷非相关信息来计算缺陷预兆值。
即使是产品(部件)的正常区域，根据其纹理(映入的图案)的特征量(例：亮度的凹凸的图案、对比度的程度、出现类似噪声的图案时为其密度)等，也可能发现产生缺陷的预兆趋势。
并且，即使是允许范围的特异点(不影响产品的有无缺陷判定的特异点)且目前为不被判断为缺陷的水平，通过经时观察也可能预测未来会达到被评价为缺陷的水平。
在当前生产线10上继续制造产品P时，缺陷预兆值计算部59计算能够持续制造良品的产品个数或制造期间等缺陷预兆值。
通知部60是通知处理通过缺陷预兆值计算部59计算出的缺陷预兆值的部分。通过缺陷预兆值的通知能够事前有计划地进行系统的维修或制造环境的重新调整，并且能够有效率地进行制造。另外，也可以由输出部56进行缺陷预兆值的通知。
<生产线的各制造工序的异常征兆的检测>
生产线的异常预兆检测装置30具备存储第1对应表的第3存储器(存储器34)：第1对应表中，与产品P的特异点相关联的特异点信息中包含的特定的特异点信息和生产线10的多个制造工序1～N中的与特定的特异点信息相关联的特定的制造工序对应。
图6是表示使特异点信息中包含的特定的特异点信息和生产线的多个制造工序中的与特定的特异点信息相关联的特定的制造工序对应的第1对应表的第1例的图表。
图6所示的第1例的第1对应表中示出特异点信息(特别是被分类为缺陷相关信息的特异点信息的产生部件)与制造工序之间的关系。
如图6所示，例如，当通过制造工序1制造产品P的部件A时，与部件A相关联的特异点信息(例如，特异点的产生位置信息为部件A的特定的特异点信息)与制造工序1(特定的制造工序)建立对应关系。
相同地，与产品P的部件B相关联的特异点信息(例如，特异点的产生位置信息为部件B的特定的特异点信息)与制造工序2(特定的制造工序)建立对应关系，与产品P的部件C相关联的特异点信息(例如，特异点的产生位置信息为部件C的特定的特异点信息)与制造工序N(特定的制造工序)建立对应关系。
图7是表示使特异点信息中包含的特定的特异点信息和生产线的多个制造工序中的与特定的特异点信息相关联的特定的制造工序对应的第1对应表的第2例的图表。
图7所示的第2例的第1对应表中示出特异点信息(特异点的种类)与制造工序之间的关系。
如图7所示，例如，当制造工序3包含铸造工序且有产生针孔的可能性时，针孔(特定的特异点信息)与制造工序3(特定的制造工序)建立对应关系。相同地，当制造工序4包含焊接工序且有产生焊接缺陷的可能性时，焊接缺陷(特定的特异点信息)与包含焊接工序的制造工序4(特定的制造工序)建立对应关系。
当计数产品组中的缺陷相关信息及缺陷非相关信息时，生产线评价值计算部54能够按照图6及图7所示的第1对应表对生产线10的制造工序1～N中的每个工序进行计数，并将计数的制造工序1～N中的每个工序的计数值计算为表示各制造工序1～N的健全度的工序评价值。
异常征兆检测部55不限于如前述那样根据对产品组的特异点(缺陷相关信息及缺陷非相关信息)进行加权计数而得的计数值(生产线评价值)来检测生产线10整体的异常征兆的情况，能够根据对每个制造工序计算出的工序评价值来检测生产线10的各制造工序1～N的异常征兆。
并且，输出部56能够输出反馈信息，所述反馈信息包含通过异常征兆检测部55检测到的生产线10的各制造工序1～N的异常征兆的检测结果。
图8是表示按每个制造工序计数产品组中各产品的特异点时的计数值(每个制造工序的工序评价值)的一例的图表。
产品组为批次单位的产品组，图8所示的例子中，按制造工序1～N分别计数批次I、批次II、批次III的每个产品组的特异点的计数值。
根据图8所示的例子，如下认为：相较于其他批次I、II的产品组，批次III的产品组中，与制造工序2相关联的特异点的计数值(15)大幅度地增加，在生产线10的制造工序2中存在不良情况(异常征兆)。
因此，生产线的异常预兆检测装置30在获取到与特定的制造工序的不良情况建立关联的反馈信息时，能够向用户通知该情况，从而促使检验生产线10的特定的制造工序。
另外，处理器32能够对产品组的每个产品根据各产品的特异点信息(特别缺陷相关信息)来计算表示产品的健全度的产品评价值，可以综合表示产品组的各产品的健全度的产品评价值来计算生产线评价值。
<与特异点信息相关联的特定的环境信息的获取>
生产线的异常预兆检测装置30具备存储第2对应表的第4存储器(存储器34)，所述第2对应表中，与产品P的特异点相关联的特异点信息中包含的特定的特异点信息和表示生产线10中的制造环境的多个环境信息中的与特定的特异点信息相关联的特定的环境信息对应。
图9是表示使特定的特异点信息与相关联的特定的环境信息对应的第2对应表的一例的图表。
图9所示的第2对应表中示出特定的特异点信息(特异点的种类)与特定的环境信息(制造环境)之间的关系。
例如，铸造工艺中，由于填充熔融金属时的CO2的卷入等，可能产生气体缺陷。图9所示的例子中，气体缺陷与环境信息(CO2过量)建立对应关系。
并且，在湿度、焊接温度的影响下可能产生裂纹缺陷。图9所示的例子中，裂纹缺陷与环境信息(湿度/焊接温度范围不适当)建立对应关系。
处理器32在根据对应于产品组的各检查履历来获取特定的特异点信息时，进行按照第2对应表(图9)获取与所获取的特定的特异点信息相关联的特定的环境信息的处理。
输出部56能够输出包含与特定的特异点信息相关联的特定的环境信息的反馈信息。
当获取可将产品P的特异点与制造环境建立关联的反馈信息时，能够生成对环境控制装置的控制信号。例如，当产生很多特定种类的特异点且通常或根据产品的特性或经验能够缩小产生该种类的特异点的原因时(如图9所示那样，由于含有大量的CO2而容易产生气体缺陷、湿度或焊接温度为超过某范围的数值时容易产生裂纹缺陷等情况)，自动地向空调设备、焊接温度、其他外部环境控制装置传送控制信号，自动地调整湿度、焊接温度、原材料的管理环境等，从而控制为最佳环境。另外，用户可以手动调整空调设备、焊接温度等。
<对应于产品组的品质的附加信息的获取>
生产线的异常预兆检测装置30具备使表示每个产品组的品质的品质信息和与品质信息相关联的附加信息对应并存储的第5存储器(存储器34)。
图10是表示使表示每个产品组的品质的品质信息及与品质信息相关联的附加信息对应的对应表的一例的图表。
图10所示的对应表中示出表示每个产品组的品质的品质信息与附加信息之间的关系。
如图10所示，表示产品组的品质的品质信息例如为最优良产品、优良产品、良品等排列次序，与品质信息相关联的附加信息为包含后期工序中的产品的接合方法的加工手段、产品的利用用途等。
另外，能够根据计数产品组的特异点而得的计数值(生产线评价值)来决定每个产品组的品质信息。并且，处理器32可以对产品组的每个产品进行根据各产品的特异点信息(特别缺陷相关信息)来计算表示产品的健全度的产品评价值的产品评价值计算处理，并且综合产品组中各产品的产品评价值来计算产品组的品质信息。
并且，与品质信息相关联的附加信息不限于图10所示的信息，用户能够根据产品的品质信息及产品的种类预先制作成对产品组的报告。
当为微小划痕也不包含的最优良产品的产品组时，在作为后期工序的接合时能够以比较简单的“螺纹接合”保证足够的强度，因此赋予作为接合方法称为“螺纹接合”的附加信息。并且，能够对该产品组提出可使用于最初预定的装置中的内容的报告。
当为未达到缺陷水平但包含微小划痕的良品的产品组时，作为接合方法，赋予事后能够加固强度的“压入或利用高温进行的热压配合”等附加信息。并且，当通过使用更复杂且牢固的接合方法来保证足够的强度时，提出作为利用用途可在规定的条件下利用于特定的用途X的内容的报告。
并且，当为最优良产品与良品中间的优良产品的产品组时，作为接合方法赋予“压入或利用高温进行的热压配合”等附加信息之后，提出可使用于最初预定的装置中的内容的报告。
处理器32进行根据对应于产品组的各检查履历来获取与产品组的品质相关联的品质信息的处理。然后，进行根据所获取的品质信息从存储器34中存储的对应表(参考图10)获取对应于品质信息的附加信息的处理。
输出部56输出与产品组对应地获取的附加信息。由此，能够向产品组的出货目的地提供根据经检查的产品组的品质来适当选择的附加信息(报告)。
<微小特异点的强调显示>
图11是表示包含微小特异点的产品的图像的一例的图。
当产品或产品的一部分为铸造品时，可能产生产品内残留微细气泡的微小特异点(气体缺陷候补)。
图11(A)所示的图像中，存在密集在图像的左侧的9个气泡及密集在图像的右侧的3个气泡。
虽然图11(A)所示的气泡被显示为很大，但为实际上视觉上很难观察到的尺寸的气泡。即使进行从图像检测气泡(特异点)的区域的图像处理且强调显示气泡的区域，也存在视觉上很难观察到的尺寸的气泡。
因此，当为视觉上不易辨别的微小特异点时，通过强调显示检测到的微小特异点的尺寸或形状，一边观察拍摄到的产品的整体图像，一边能够同时在视觉上容易识别整体图像中包含的微小特异点的位置、个数。
图11(B)所示的图像中重叠显示强调信息，以便可在视觉上容易辨别微小特异点的产生区域等。
图11(B)所示的强调信息为将大于作为微小特异点的气泡的尺寸的区域以特定的颜色及亮度中的至少一个涂满的掩模信息。包含密集的9个气泡的区域及包含密集的3个气泡的区域分别重叠有掩模信息且被涂满。
并且，作为对应于微小特异点的个数的信息，重叠显示表示其个数的字符信息(数字)。另外，本例的掩模信息具有与掩模信息的区域内的气泡数量相对应的颜色及亮度中的至少一个信息。此时，即使不重叠显示表示微小特异点的个数的字符信息，也能够通过颜色等掌握其个数。
处理器32进行根据通过特异点信息获取部52获取的特异点信息来获取表示小于阈值的特异点尺寸的微小特异点的特异点信息的处理。优选将阈值设定为用于判断特异点是否为视觉上很难观察到的尺寸的微小特异点的值。
在获取到表示微小特异点的微小特异点信息时，处理器32优选进行生成强调信息及对应于微小特异点的个数的信息的处理，所述强调信息强调显示微小特异点，并可视觉辨认地显示包含微小特异点且大于微小特异点的特异点尺寸的区域。
当为密集而平面地产生的微小特异点(本例中为“气泡”)时，重要的是掌握在哪个区域以何种程度的频率产生的信息。因此，综合每个气泡的检测结果来确定包含密集的气泡的区域。
处理器32例如通过进行放大微小特异点的区域的图像处理(膨胀处理(Dilation))，能够获取包含密集的微小特异点的区域。若以规定的放大率放大每个微小特异点的区域，则当微小特异点密集时，放大的各区域连结，而成为包含密集的微小特异点的区域。另外，当微小特异点密集时，优选将规定的放大率设定为放大的各区域被连结且孤立的微小特异点彼此不连结。
处理器32生成具有大于特异点尺寸的区域且以对应于微小特异点的个数的颜色或深浅涂满的强调信息，进一步生成表示微小特异点的个数的字符信息(数字)。
输出部56将强调信息及对应于微小特异点的个数的信息重叠在图像上并使其显示在显示部36上。图11(B)所示的例子中，显示部36中显示的强调信息为涂满大于特异点尺寸的区域的区域信息，对应于微小特异点的个数的信息为涂满的区域的颜色或深浅信息及表示微小特异点的个数的字符信息。
另外，显示部36中显示的强调信息可以为表示大于特异点尺寸的区域的轮廓的轮廓信息或包围大区域的框体信息(矩形框)，并且对应于微小特异点的个数的信息可以仅为涂满的区域的颜色及亮度中的至少一个信息或表示微小特异点的个数的字符信息。进一步可以由要涂满的区域的颜色及亮度中的至少一个信息表示微小特异点的密度。
图12是表示包含微小特异点的产品的图像的其他例的图。
图12(A)所示的图像是拍摄细长产品(部件)或焊接线的图像，该图像中存在密集在图像的左侧的4个气泡及孤立在图像的右侧的2个气泡。
由这些气泡构成的微小特异点虽然在视觉上难以辨别，但如图12(B)所示通过在图像上重叠显示涂满大于气泡尺寸的区域而成的强调信息，进一步与各强调信息相邻地显示表示微小特异点的个数的数字，在视觉上能够容易识别微小特异点的位置及个数。
另外，也可以构成为如下：可在显示部36上并排显示或通过用户操作切换显示重叠显示强调信息等之前的图像及重叠显示的图像。
当用户从显示部36中显示的图像用肉眼确认特异点，且通过操作部39输入特异点信息(特异点的种类信息、特异点的产生位置信息等)时，特别是在输入对微小特异点的特异点信息时，上述微小特异点的强调显示是有效的。
<特异点的其他显示例>
如前述那样，特异点信息获取部52可由AI构成，但作为AI，可由卷积神经网络(CNN：Convolutional Neural Network)等的特异点检测模型构成。
若输入产品P的图像，则提取图像的特征量，进行图像的各像素属于哪种特异点的种类的等级分类，由此特异点检测模型提取特异点区域且推断特异点种类，但能够以如下方式有效地利用通过特异点检测模型推断的分数(＝缺陷概率)，而进行显示器中的显示处理。
(1)通过对于每个像素，推断的缺陷概率越高越加深颜色或根据缺陷概率改变色相，在显示器上以色彩层次或热量地图的形式显示缺陷或其候补的分布。
(2)确定阈值，确定缺陷概率为规定以上的区域之后，进行二值化而在显示器上显示该区域。
(3)当用户不需要知道每个像素的详细的形状时，在比1个像素单位宽的范围(例如，24×24像素的矩形)内确定包含阈值以上的像素的区域，并用强调框(＝边界框)包围显示。
(4)在显示器上显示箭头和其他标记来显示(3)区域，或闪烁强调框来显示(3)区域，从而强调显示(3)区域。
(5)以表形式或CSV(Comma Separated Value，逗号分隔值)形式输出判定为阈值以上的区域的一览信息(重心坐标及根据需要的检测到的尺寸或形状之类的附带信息)。
即使是仅强调对应于特异点的像素也由于相对于整个图像微小而容易发生漏看的微小特异点，电通过如上述那样强调显示或一览显示，减小漏看的可能性，从而能够实现检查的效率化。
(6)能够对进行强调显示或一览显示的每个区域中的已确认的区域设置标记或变更颜色。并且，还能够附上需要再确认等附加信息。
当广泛地进行确认工作时，可防止漏看，可效率化检查。
(7)能够将设置2个以上的阈值而适用低阈值时的“缺陷的最大范围”及适用高阈值时的“缺陷的最小范围”以双边界框或2个阶段的颜色分涂而显示。
由此，能够以更高的表现力显示检测区域。
例如，当存在整个区域的缺陷概率低的特异点区域及中心部分的缺陷概率高而其周围部分的缺陷概率低的特异点区域时，这些2个特异点区域若仅以某一个阈值进行二值化，则有时会被显示为完全相同的尺寸的特异点区域。
另一方面，通过设置2个以上的阈值，能够将前者的特异点区域以不确定是否为缺陷的形态(颜色或亮度)显示，并且能够将后者的特异点区域的中心部分以确实为缺陷的形态显示，且将后者的特异点区域的周围部分以不确定是否为缺陷的形态显示。
如此，通过设置2个以上的阈值，能够将2个特异点区域的显示形式设为不同，用户区别两者而能够重点确认确实为缺陷的后者。与同等地对待全数的情况相比，附加待确认的优先级，因此工作变得更加有效。
并且，特异点检测模型从一开始输出“正常”“异常”“不确定是否为缺陷”的中间等级，中间由人进行判断，由此给输出结果赋予灵活性，从而明确化人应该优先确认的部位。
(8)对超过阈值的区域在部件或整个图像中是孤立存在还是在规定范围内集中而存在多个的内容进行区别而显示。
(9)当在(8)中确认到多个缺陷在规定范围内集中而存在的内容时，确定该区域具体具有何种程度的范围而进行显示。
(10)计算(9)的区域存储器在的多个特异点的个数或面积或密度并显示数值。
(11)以与(10)中计算出的数值对应的亮度或色相、彩度分涂区域，而在显示器上区别显示区域。
例如，Porosity(孔隙率)(＝小气泡的)缺陷候补，不太需要掌握其每一个，而相对更需要掌握大量气泡的产生在何处存在何种程度之类的信息，因此通过上述显示检查变得更有效。
(12)测量缺陷概率的阈值处理后的像素分布中的超过阈值的区域的面积或尺寸。
(13)除了进行(12)以外，还计算与超过阈值的区域是以“圆形”扩展还是“压碎的形状”的圆度等特定的形状的相似度。
(14)根据(12)和/或(13)来推断每个关注区域的异常程度或、严重程度。
例如，当存在所产生的气体缺陷映入为接近“圆”的形状的事前信息时，压碎的形状可能为未设想的缺陷，因此视为异常程度高而发出警告。
并且，例如“压碎的形状”的缺陷或“大尺寸的”缺陷相较于其他缺陷，由于损伤程度更大，因此视为早发现的必要性·紧迫性高(＝严重)，从而促使确认。
(15)通过沿着特定的区域(例如，焊接线)获取计算出的严重程度或检测到的缺陷区域的尺寸的平均或和，逐次计算每个部件单位或焊接部位的缺陷概率。
通过优先确认严重程度或人再次确认的必要性高的区域，可容易地早期对应异常。
[生产线的异常预兆检测方法]
图13是表示本发明所涉及的生产线的异常预兆检测方法的实施方式的流程图。另外，通过图3所示的生产线的异常预兆检测装置30的处理器32进行图13所示的各步骤的处理。
图13中，利用放射线摄影装置20拍摄通过生产线10制造的产品P(步骤S10)。关于利用放射线摄影装置20进行的产品P的摄影，可以在通过生产线10制造的产品P的输送路径上设置放射线摄影装置20，自动地逐一拍摄产品P，根据来自用户的摄影命令输入来逐一拍摄产品P。
处理器32获取利用放射线摄影装置20拍摄通过生产线10制造的产品P而得的每个产品的图像(X射线图像信息)(步骤S12)。
接着，处理器32根据通过产品P的摄影获取的图像获取与产品P的特异点相关联的特异点信息(步骤S12)。通过AI能够获取特异点信息。并且，特异点信息为产品P的特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上。
处理器32将步骤S12中获取的与产品P的特异点相关联的特异点信息作为每个产品的检查履历而保存于存储器34(第1存储器)中(步骤S14)。并且，处理器32将特异点信息中的影响产品的有无缺陷判定的信息作为缺陷相关信息，且将不影响产品的有无缺陷判定的信息作为缺陷非相关信息而保存于存储器34(第2存储器)中。
接着，判断1批次分量的产品组(批次编号属于多个产品)的特异点信息是否保存于存储器34中(步骤S16)。当未获取及保存1批次分量的产品组的特异点信息时(“否”的情况)，转移到步骤S10，重复步骤S10至步骤S16的处理，而当获取及保存1批次分量的产品组的特异点信息时(“是”的情况)中，转移到步骤S18。
步骤S18中，处理器32根据保存于存储器34中的对应于1批次单位的产品组的特异点信息(缺陷相关信息及缺陷非相关信息)来计算表示生产线10的健全度的生产线评价值。关于表示生产线10的健全度的生产线评价值，能够通过计数产品组中的缺陷相关信息及缺陷非相关信息的总数，并将其计数值计算为生产线评价值。当计数产品组中的缺陷相关信息及缺陷非相关信息的总数时，优选对缺陷相关信息及缺陷非相关信息进行加权计数，进一步优选缺陷相关信息及缺陷非相关信息的权重根据特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上的特异点信息来决定。
处理器32根据通过步骤S18计算出的生产线评价值来检测生产线10的异常征兆(步骤S20)。即，根据产品组的缺陷相关信息及缺陷非相关信息的数量，间接检测生产线10的异常征兆。并且，能够比较制造时期不同的2个以上的产品组的生产线评价值并根据该比较结果来检测生产线10的异常征兆。
处理器32输出包含通过步骤S20检测出的生产线10的异常征兆的检测结果的反馈信息(步骤S22)。反馈信息的输出目的地为显示反馈信息的显示部36或生产线10或与生产线10相关联的设备等。
用户能够确认显示部36中显示的反馈信息，从而能够在事前判断生产线10的保守、检验工作的必要性等。
并且，通过在生产线10或与生产线10相关联的设备上输出反馈信息，能够自动控制生产线10中的各种模具、熔融金属的温度、压力、焊接温度等，并且能够自动控制与生产线10相关联的设备(例如，空调设备、原材料的保管设备等的温度、湿度等)。
虽然在图13中示出对1批次分量的产品组的处理，但对下一个1批次分量的产品组也进行同样的处理，能够在每次制造1批次分量的产品组时检测生产线的异常征兆。
另外，本例中，虽然在计算表示生产线10的健全度的生产线评价值时，使用对应于批次单位的产品组的缺陷相关信息及缺陷非相关信息，但并不限于此，能够使用对应于在规定期间内制造的产品组或沿时间序列制造的规定数量的产品组的多个检查履历。并且，对应于在规定期间内制造的产品组或沿时间序列制造的规定数量的产品组的多个检查履历可重复设定。
[其他]
本实施方式中，通过生产线制造的产品为金属产品，但并不限于此，也可以为非金属产品。
并且，摄影装置不限于放射线摄影装置，能够使用超声波摄影装置或红外线摄影装置。
此外，在本实施方式中，例如，CPU(Central Processing Unit，中央处理器)等执行各种处理的处理部(processing unit)的硬件结构为如下所示的各种处理器(processor)。各种处理器中包括执行软件(程序)来作为各种处理部发挥作用的通用的处理器即CPU、FPGA(Field Programmable Gate Array，现场可编程阵列)等在制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device：PLD)、ASIC(Application Specific Integrated Circuit，专用集成电路)等具有为了执行特定的处理而以专用设计的电路结构的处理器即专用电路等。
1个处理部可以由这些各种处理器中的1个构成，也可以由相同种类或不同种类的2个以上的处理器(例如，多个FPGA或者CPU与FPGA的组合)构成。并且，也可以由一个处理器构成多个处理部。作为由1个处理器构成多个处理部的例子，第一，如以客户端或服务器等计算机为代表，有由1个以上的CPU和软件的组合构成1个处理器，并且该处理器作为多个处理部发挥作用的方式。第2，有如以片上系统(System On Chip：SoC)等为代表，使用将包含多个处理部的整个系统的功能由一个IC(Integrated Circuit/集成电路)芯片来实现的处理器的方式。如此，各种处理部作为硬件结构使用一个以上上述各种处理器而构成。
并且，更具体而言，这些各种处理器的硬件结构为组合半导体元件等电路元件而成的电路(circuitry)。
并且，本发明包含记录有如下各程序的非易失性的存储介质：通过安装于计算机，使计算机发挥本发明所涉及的生产线的异常预兆检测装置的作用的生产线的异常预兆检测程序及生产线的异常预兆检测程序。
此外，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内，能够进行各种变形是不言而喻的。
符号说明
1-N-制造工序，10-生产线，20-放射线摄影装置，22-X射线源，24-成像板，30-生产线的异常预兆检测装置，32-处理器，34-存储器，36-显示部，38-输入输出接口，39-操作部，40-图像读取装置，51-摄影处理部，52-特异点信息获取部，53-存储器控制部，54-生产线评价值计算部，55-异常征兆检测部，56-输出部，57-产品评价值计算部，58-缺陷检测部，59-缺陷预兆值计算部，60-通知部，A、B、C-部件，P-产品，S10～S22-步骤。
权利要求书(按照条约第19条的修改)
1.一种生产线的异常预兆检测装置，其具备处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过生产线制造的检查对象即产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据通过所述生产线评价值计算处理计算出的生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
2.根据权利要求1所述的生产线的异常预兆检测装置，其中，
所述处理器进行如下处理：
缺陷预兆值计算处理，根据所述缺陷非相关信息来计算缺陷预兆值；及
通知处理，通知所述缺陷预兆值。
3.根据权利要求1或2所述的生产线的异常预兆检测装置，其中，
所述摄影装置为放射线摄影装置、超声波摄影装置或红外线摄影装置。
4.根据权利要求1至3中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述保存处理根据所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，将所述特异点信息分类为所述缺陷相关信息及所述缺陷非相关信息并保存于所述第2存储器中。
5.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中保存的至少1个缺陷相关信息及所述第2存储器中保存的至少2个以上的缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
6.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中保存的2个以上的缺陷相关信息及所述第2存储器中保存的2个以上的缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
7.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中存储的对应于多个产品的所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
8.根据权利要求7所述的生产线的异常预兆检测装置，其中，
所述多个产品为在规定期间内制造的产品组、沿时间序列制造的规定数量的产品组或作为管理产品的单位的1批次产品组。
9.根据权利要求1至8中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理计数所述缺陷相关信息及所述缺陷非相关信息，并根据所述计数的计数值来计算所述生产线评价值。
10.根据权利要求9所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理在计数所述缺陷相关信息及所述缺陷非相关信息时，对所述缺陷相关信息及所述缺陷非相关信息进行加权计数。
11.根据权利要求8或9所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理在计数所述缺陷相关信息时，进行与所述缺陷相关信息的种类相对应的加权并进行计数。
12.根据权利要求1至11中任一项所述的生产线的异常预兆检测装置，其中，
所述异常征兆检测处理比较2个以上的所述生产线评价值，并根据所述比较的比较结果来检测所述生产线的异常征兆。
13.根据权利要求9至11中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线包含多个制造工序，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述生产线的异常预兆检测装置进一步具备存储第1对应表的第3存储器，所述第1对应表中，所述特异点信息中包含的特定的特异点信息和所述生产线的所述多个制造工序中的与所述特定的特异点信息相关联的特定的制造工序对应，
所述生产线评价值计算处理在计数所述缺陷相关信息及所述缺陷非相关信息时，按照所述第1对应表按所述多个制造工序中的每个制造工序进行计数，并将所述计数的每个制造工序的计数值计算为表示各制造工序的健全度的工序评价值，
所述异常征兆检测处理根据按每个所述制造工序计算出的所述工序评价值来检测所述生产线的各制造工序的异常征兆。
14.根据权利要求1至13中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述生产线的异常预兆检测装置进一步具备存储第2对应表的第4存储器，所述第2对应表中，所述特异点信息中包含的特定的特异点信息和表示所述生产线中的制造环境的多个环境信息中的与所述使特定的特异点信息相关联的特定的环境信息对应，
所述处理器进行如下处理：
获取所述第1存储器中保存的特异点信息中的所述特定的特异点信息的处理；及
在获取所述特定的特异点信息时，按照所述第2对应表获取与所述获取的所述特定的特异点信息相关联的所述特定的环境信息的处理，
所述输出处理输出包含所述特定的环境信息的反馈信息。
15.根据权利要求8所述的生产线的异常预兆检测装置，其进一步具备使表示每个所述产品组的品质的品质信息和与所述品质信息相关联的附加信息对应并存储的第5存储器，
所述处理器进行如下处理：
根据对应于所述产品组的检查履历组的各检查履历来获取与所述产品组的品质相关联的所述品质信息的处理；及
根据所述获取的所述品质信息从所述第5存储器获取对应于所述品质信息的所述附加信息的处理，
所述输出处理输出与所述产品组对应地获取的所述附加信息。
16.根据权利要求1至15中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息包含所述产品的特异点的产生位置信息及尺寸信息，
所述处理器进行如下处理：
根据通过所述特异点信息获取处理获取的所述特异点信息，获取表示小于阈值的特异点尺寸的微小特异点的微小特异点信息；及
生成强调信息及对应于所述微小特异点的个数的信息，所述强调信息根据所述获取的微小特异点信息来强调显示所述微小特异点，且可视觉辨认地显示包含所述微小特异点且大于所述微小特异点的特异点尺寸的区域，
所述输出处理将所述强调信息及对应于所述微小特异点的个数的信息重叠在所述图像上并使其显示在显示器上。
17.根据权利要求16所述的生产线的异常预兆检测装置，其中，
所述强调信息为将大于所述微小特异点的特异点尺寸的区域以特定的颜色及亮度中的至少一个涂满的掩模信息或包围所述区域的框体信息，
对应于所述微小特异点的个数的信息为表示所述个数的字符信息或与所述个数相对应的所述强调信息的颜色及亮度中的至少一个信息。
18.根据权利要求1至17中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息获取处理提取所述图像的特征量，且对所述图像的每个像素获取所述特异点信息的缺陷概率，
所述输出处理对对应于所述特异点信息的像素附加与所述缺陷概率相对应的颜色而将其显示在显示器上。
19.一种制造装置，其具备制造产品的生产线、处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过所述生产线制造的产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据计算出的所述生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
20.一种检点装置，其具备处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过生产线制造的检查对象即产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据通过所述生产线评价值计算处理计算出的生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
21.一种生产线的异常预兆检测方法，其为处理器通过进行以下步骤的处理来检测生产线的异常征兆的生产线的异常预兆检测方法，其包括如下步骤：
使用摄影装置逐一拍摄通过所述生产线制造的检查对象即产品；
根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
将所述获取的特异点信息保存于第1存储器中；
所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
根据所述产品评价值来检测所述产品有无缺陷；
根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
根据所述生产线评价值来检测所述生产线的异常征兆；及
输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
22.根据权利要求21所述的生产线的异常预兆检测方法，其进一步包括如下步骤：
根据所述缺陷非相关信息来计算缺陷预兆值；及
通知所述缺陷预兆值。
23.根据权利要求21或22所述的生产线的异常预兆检测方法，其中，
所述摄影装置为放射线摄影装置、超声波摄影装置或红外线摄影装置。
24.一种生产线的异常预兆检测程序，其使计算机执行权利要求21至23中任一项所述的生产线的异常预兆检测方法。
25.一种记录介质，其是非临时性且计算机可读取的记录介质，且记录有权利要求24所述的程序。
26.(追加)根据权利要求8所述的生产线的异常预兆检测装置，其中，
所述异常征兆检测处理比较对应于制造时期不同的2个以上的所述产品组的2个以上的所述生产线评价值，并根据比较结果来检测所述生产线的异常征兆。
27.(追加)根据权利要求26所述的生产线的异常预兆检测装置，其中，
所述异常征兆检测处理当每个所述产品组的所述生产线评价值不变动时，判断为无所述生产线的异常征兆，当每个所述产品组的所述生产线评价值趋于增加而接近视为所述生产线的异常的阈值时，判断为所述生产线有异常征兆。
说明或声明(按照条约第19条的修改)
根据PCT 19条修改的声明
依据申请时的说明书第0086段所记载的内容追加了权利要求第26项以及第27项。

Claims (25)

1.一种生产线的异常预兆检测装置，其具备处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过生产线制造的检查对象即产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据通过所述生产线评价值计算处理计算出的生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
2.根据权利要求1所述的生产线的异常预兆检测装置，其中，
所述处理器进行如下处理：
缺陷预兆值计算处理，根据所述缺陷非相关信息来计算缺陷预兆值；及
通知处理，通知所述缺陷预兆值。
3.根据权利要求1或2所述的生产线的异常预兆检测装置，其中，
所述摄影装置为放射线摄影装置、超声波摄影装置或红外线摄影装置。
4.根据权利要求1至3中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述保存处理根据所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，将所述特异点信息分类为所述缺陷相关信息及所述缺陷非相关信息并保存于所述第2存储器中。
5.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中保存的至少1个缺陷相关信息及所述第2存储器中保存的至少2个以上的缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
6.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中保存的2个以上的缺陷相关信息及所述第2存储器中保存的2个以上的缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
7.根据权利要求1至4中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理根据所述第2存储器中存储的对应于多个产品的所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值。
8.根据权利要求7所述的生产线的异常预兆检测装置，其中，
所述多个产品为在规定期间内制造的产品组、沿时间序列制造的规定数量的产品组或作为管理产品的单位的1批次产品组。
9.根据权利要求1至8中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理计数所述缺陷相关信息及所述缺陷非相关信息，并根据所述计数的计数值来计算所述生产线评价值。
10.根据权利要求9所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理在计数所述缺陷相关信息及所述缺陷非相关信息时，对所述缺陷相关信息及所述缺陷非相关信息进行加权计数。
11.根据权利要求8或9所述的生产线的异常预兆检测装置，其中，
所述生产线评价值计算处理在计数所述缺陷相关信息时，进行与所述缺陷相关信息的种类相对应的加权并进行计数。
12.根据权利要求1至11中任一项所述的生产线的异常预兆检测装置，其中，
所述异常征兆检测处理比较2个以上的所述生产线评价值，并根据所述比较的比较结果来检测所述生产线的异常征兆。
13.根据权利要求9至11中任一项所述的生产线的异常预兆检测装置，其中，
所述生产线包含多个制造工序，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述生产线的异常预兆检测装置进一步具备存储第1对应表的第3存储器，所述第1对应表中，所述特异点信息中包含的特定的特异点信息和所述生产线的所述多个制造工序中的与所述特定的特异点信息相关联的特定的制造工序对应，
所述生产线评价值计算处理在计数所述缺陷相关信息及所述缺陷非相关信息时，按照所述第1对应表按所述多个制造工序中的每个制造工序进行计数，并将所述计数的每个制造工序的计数值计算为表示各制造工序的健全度的工序评价值，
所述异常征兆检测处理根据按每个所述制造工序计算出的所述工序评价值来检测所述生产线的各制造工序的异常征兆。
14.根据权利要求1至13中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息为所述特异点的种类信息、产生位置信息、尺寸信息及形状信息中的1个以上，
所述生产线的异常预兆检测装置进一步具备存储第2对应表的第4存储器，所述第2对应表中，所述特异点信息中包含的特定的特异点信息和表示所述生产线中的制造环境的多个环境信息中的与所述使特定的特异点信息相关联的特定的环境信息对应，
所述处理器进行如下处理：
获取所述第1存储器中保存的特异点信息中的所述特定的特异点信息的处理；及
在获取所述特定的特异点信息时，按照所述第2对应表获取与所述获取的所述特定的特异点信息相关联的所述特定的环境信息的处理，
所述输出处理输出包含所述特定的环境信息的反馈信息。
15.根据权利要求8所述的生产线的异常预兆检测装置，其进一步具备使表示每个所述产品组的品质的品质信息和与所述品质信息相关联的附加信息对应并存储的第5存储器，
所述处理器进行如下处理：
根据对应于所述产品组的检查履历组的各检查履历来获取与所述产品组的品质相关联的所述品质信息的处理；及
根据所述获取的所述品质信息从所述第5存储器获取对应于所述品质信息的所述附加信息的处理，
所述输出处理输出与所述产品组对应地获取的所述附加信息。
16.根据权利要求1至15中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息包含所述产品的特异点的产生位置信息及尺寸信息，
所述处理器进行如下处理：
根据通过所述特异点信息获取处理获取的所述特异点信息，获取表示小于阈值的特异点尺寸的微小特异点的微小特异点信息；及
生成强调信息及对应于所述微小特异点的个数的信息，所述强调信息根据所述获取的微小特异点信息来强调显示所述微小特异点，且可视觉辨认地显示包含所述微小特异点且大于所述微小特异点的特异点尺寸的区域，
所述输出处理将所述强调信息及对应于所述微小特异点的个数的信息重叠在所述图像上并使其显示在显示器上。
17.根据权利要求16所述的生产线的异常预兆检测装置，其中，
所述强调信息为将大于所述微小特异点的特异点尺寸的区域以特定的颜色及亮度中的至少一个涂满的掩模信息或包围所述区域的框体信息，
对应于所述微小特异点的个数的信息为表示所述个数的字符信息或与所述个数相对应的所述强调信息的颜色及亮度中的至少一个信息。
18.根据权利要求1至17中任一项所述的生产线的异常预兆检测装置，其中，
所述特异点信息获取处理提取所述图像的特征量，且对所述图像的每个像素获取所述特异点信息的缺陷概率，
所述输出处理对对应于所述特异点信息的像素附加与所述缺陷概率相对应的颜色而将其显示在显示器上。
19.一种制造装置，其具备制造产品的生产线、处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过所述生产线制造的产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据计算出的所述生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
20.一种检点装置，其具备处理器、摄影装置、第1存储器及第2存储器，其中，
所述处理器进行如下处理：
摄影处理，使用所述摄影装置逐一拍摄通过生产线制造的检查对象即产品；
特异点信息获取处理，根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
特异点信息保存处理，将所述获取的特异点信息保存于第1存储器中；
保存处理，所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于所述第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
产品评价值计算处理，根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
缺陷检测处理，根据通过所述产品评价值计算处理计算出的产品评价值来检测所述产品有无缺陷；
生产线评价值计算处理，根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
异常征兆检测处理，根据通过所述生产线评价值计算处理计算出的生产线评价值来检测所述生产线的异常征兆；及
输出处理，输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
21.一种生产线的异常预兆检测方法，其为处理器通过进行以下步骤的处理来检测生产线的异常征兆的生产线的异常预兆检测方法，其包括如下步骤：
使用摄影装置逐一拍摄通过所述生产线制造的检查对象即产品；
根据通过所述拍摄获取的图像来获取与所述产品的特异点相关联的特异点信息；
将所述获取的特异点信息保存于第1存储器中；
所述第1存储器中保存的特异点信息中，将影响产品的缺陷的信息作为缺陷相关信息保存于第2存储器中，而将不影响产品的缺陷的信息作为缺陷非相关信息保存于所述第2存储器中；
根据所述缺陷相关信息来计算表示所述产品的健全度的产品评价值；
根据所述产品评价值来检测所述产品有无缺陷；
根据所述缺陷相关信息及所述缺陷非相关信息来计算表示所述生产线的健全度的生产线评价值；
根据所述生产线评价值来检测所述生产线的异常征兆；及
输出包含所述生产线的异常征兆的检测结果及所述产品的缺陷的检测结果的反馈信息。
22.根据权利要求21所述的生产线的异常预兆检测方法，其进一步包括如下步骤：
根据所述缺陷非相关信息来计算缺陷预兆值；及
通知所述缺陷预兆值。
23.根据权利要求21或22所述的生产线的异常预兆检测方法，其中，
所述摄影装置为放射线摄影装置、超声波摄影装置或红外线摄影装置。
24.一种生产线的异常预兆检测程序，其使计算机执行权利要求21至23中任一项所述的生产线的异常预兆检测方法。
25.一种记录介质，其是非临时性且计算机可读取的记录介质，且记录有权利要求24所述的程序。
CN202280027700.2A 2021-04-19 2022-03-18 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置 Pending CN117120951A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2021070135 2021-04-19
JP2021-070135 2021-04-19
PCT/JP2022/012546 WO2022224657A1 (ja) 2021-04-19 2022-03-18 製造ラインの異常予兆検知装置、方法及びプログラム並びに製造装置及び検品装置

Publications (1)

Publication Number Publication Date
CN117120951A true CN117120951A (zh) 2023-11-24

Family

ID=83722907

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280027700.2A Pending CN117120951A (zh) 2021-04-19 2022-03-18 生产线的异常预兆检测装置、方法及程序以及制造装置及检点装置

Country Status (5)

Country Link
US (1) US20240045407A1 (zh)
EP (1) EP4328691A1 (zh)
JP (1) JPWO2022224657A1 (zh)
CN (1) CN117120951A (zh)
WO (1) WO2022224657A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151554A (zh) * 2023-11-01 2023-12-01 豆黄金食品有限公司 一种用于腐竹输送线的智能控制系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008015930A (ja) 2006-07-07 2008-01-24 Nsk Ltd 製造ラインの生産管理方法および生産管理システム
JP5103058B2 (ja) * 2007-05-28 2012-12-19 株式会社日立ハイテクノロジーズ 欠陥観察装置及び欠陥観察方法
JP5468041B2 (ja) * 2011-05-18 2014-04-09 三菱電機株式会社 プラントの機器維持管理システム
JP6847898B2 (ja) * 2018-08-10 2021-03-24 東京エレクトロンデバイス株式会社 予防保全装置及び予防保全システム
JP6680430B1 (ja) * 2018-10-04 2020-04-15 山本　隆義 生産ラインにおける品質と設備の統合的監視方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151554A (zh) * 2023-11-01 2023-12-01 豆黄金食品有限公司 一种用于腐竹输送线的智能控制系统

Also Published As

Publication number Publication date
EP4328691A1 (en) 2024-02-28
US20240045407A1 (en) 2024-02-08
JPWO2022224657A1 (zh) 2022-10-27
WO2022224657A1 (ja) 2022-10-27

Similar Documents

Publication Publication Date Title
KR102171491B1 (ko) 딥러닝을 이용한 양품 선별 방법
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
US10043257B2 (en) Method and device for the quality evaluation of a component produced by means of an additive manufacturing method
US8238635B2 (en) Method and system for identifying defects in radiographic image data corresponding to a scanned object
KR101759496B1 (ko) Ｐｃｂ 결함 및 결함종류 분류 시스템 및 방법
JP2009123851A (ja) 欠陥観察分類方法及びその装置
KR101679650B1 (ko) 홀 내부의 결함 검출방법
JP2019211288A (ja) 食品検査システムおよびプログラム
Islam et al. Capsule image segmentation in pharmaceutical applications using edge-based techniques
US20240045407A1 (en) Manufacturing line abnormality portent detection apparatus, manufacturing line abnormality portent detection method, manufacturing line abnormality portent detection program, manufacturing apparatus, and inspection apparatus
Hashmi et al. Computer-vision based visual inspection and crack detection of railroad tracks
KR20230013206A (ko) 인공지능을 이용하여 위험도를 평가하는 용접 검사 시스템 및 그 방법
KR102174424B1 (ko) 서버 기반 부품 검사방법 및 그를 위한 시스템 및 장치
CN115705645A (zh) 在表面改性工艺过程中确定缺陷尺寸的方法和装置
JP6791479B2 (ja) 検査システム
KR102075872B1 (ko) 투과영상 기반의 비파괴검사 방법 및 이를 위한 장치
Trofimov Multi-structural instrument for identifying surface defects on rails
WO2023112497A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
CN112213315A (zh) 外观检查管理系统、装置、方法以及存储介质
JP2006266845A (ja) 画像判定装置及び画像判定方法
WO2023136030A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
Kasban et al. Automatic segmentation of industrial radiographic images
US20230050479A1 (en) Systems and methods for automated x-ray inspection
JP7462377B1 (ja) 方法、プログラム、情報処理装置、及び学習済みモデル
JP2011232302A (ja) 画像検査方法及び画像検査装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination