CN110428393B - 解析装置以及解析程序 - Google Patents

解析装置以及解析程序 Download PDF

Info

Publication number
CN110428393B
CN110428393B CN201910338474.XA CN201910338474A CN110428393B CN 110428393 B CN110428393 B CN 110428393B CN 201910338474 A CN201910338474 A CN 201910338474A CN 110428393 B CN110428393 B CN 110428393B
Authority
CN
China
Prior art keywords
coating
determination
image data
unit
cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910338474.XA
Other languages
English (en)
Other versions
CN110428393A (zh
Inventor
佐野洋平
平野有一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Publication of CN110428393A publication Critical patent/CN110428393A/zh
Application granted granted Critical
Publication of CN110428393B publication Critical patent/CN110428393B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8806—Specially adapted optical and illumination features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B05—SPRAYING OR ATOMISING IN GENERAL; APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C—APPARATUS FOR APPLYING FLUENT MATERIALS TO SURFACES, IN GENERAL
    • B05C11/00—Component parts, details or accessories not specifically provided for in groups B05C1/00 - B05C9/00
    • B05C11/10—Storage, supply or control of liquid or other fluent material; Recovery of excess liquid or other fluent material
    • B05C11/1002—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves
    • B05C11/1005—Means for controlling supply, i.e. flow or pressure, of liquid or other fluent material to the applying apparatus, e.g. valves responsive to condition of liquid or other fluent material already applied to the surface, e.g. coating thickness, weight or pattern
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/94—Investigating contamination, e.g. dust
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/8422—Investigating thin films, e.g. matrix isolation method
    • G01N2021/8427—Coatings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本发明涉及解析装置以及解析程序，解析装置具备：存储部，存储有学习完毕神经网络；获取部，获取对在判定对象的涂装面产生的涂装麻点削去层叠的涂装层的至少表层后的表面进行拍摄而得到的判定图像数据；判定部，将获取部获取到的判定图像数据输入到从存储部读出的学习完毕神经网络，来判定在判定对象的涂装面产生的涂装麻点的产生原因；以及输出部，输出通过判定部判定出的与产生原因相关的信息。

Description

解析装置以及解析程序
技术领域
本公开涉及解析装置以及解析程序。
背景技术
已知有一种在产生了涂装缺陷的情况下输入涂装缺陷数据、涂装条件数据来判定涂装缺陷的原因的装置(例如，参照日本特开2005－118757号公报)。
根据现有技术，由于需要输入涂装缺陷数据、涂装条件数据，所以必须首先对涂装缺陷的状况进行解析，直到发现涂装缺陷的原因为止很花费功夫和时间。
发明内容
本公开提供能够精度良好并容易地在短时间解析在涂装表面作为突起出现的涂装缺陷亦即涂装麻点的产生原因的解析装置等。
本公开的第一方式中的解析装置是对产生了在涂装表面作为突起而出现的涂装缺陷亦即涂装麻点的产生原因进行解析的解析装置，具备：存储部，存储有学习完毕神经网络，该学习完毕神经网络将对在学习对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的学习图像数据与通过对该涂装麻点进行解析而推断出的输入数据的组合作为教师数据来进行学习；获取部，获取对在判定对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的判定图像数据；判定部，将获取部获取到的判定图像数据输入至从存储部读出的学习完毕神经网络，来判定在判定对象的涂装面产生的涂装麻点的产生原因；以及输出部，输出由判定部判定出的与产生原因相关的信息。这样，通过将经由削去涂装缺陷的涂装层的至少表层这一简单的作业而得到的图像数据作为由神经网络处理的对象图像数据，能够实现可精度良好并容易地在短时间解析涂装麻点的产生原因的解析装置。
在上述的解析装置中，学习图像数据以及判定图像数据可以是在涂装麻点起因于尘埃的情况下对切削至尘埃露出的表面进行拍摄而得到的图像数据。若准备对尘埃露出的状态的表面进行拍摄而得到的图像数据，则判定精度提高。另外，判定部也可以在不能进行满足预先决定的判定基准的判定的情况下，判定为需要对进一步切削了判定对象的涂装层的表面进行拍摄而得到的判定图像数据。通过要求变更了切削量的图像数据，能够实现精度更高的判定。
另外，在上述的解析装置中，存储部也可以构成为按每个涂装颜色存储多个学习完毕神经网络，判定部基于获取部获取到的判定图像数据所表示的涂装颜色，来选择输入判定图像数据的学习完毕神经网络。通过按每个涂装颜色构建学习完毕神经网络并选择性地进行使用，能够进一步使判定精度提高。
另外，在上述的解析装置中，也可以教师数据包含对切削涂装层之前的表面进行拍摄而得到的削除前学习图像数据，获取部获取对未切削判定对象的涂装层的表面进行拍摄而得到的削除前判定图像数据，判定部将获取部获取到的削除前判定图像数据输入到从存储部读出的学习完毕神经网络，来判定在判定对象的涂装面产生的涂装麻点的产生原因。若这样构成，则即使不切削想要判定的涂装表面，也能够简单地得到判定结果。因此，能够削减作业的功夫、时间。
该情况下，也可以构成为获取部在判定部不能判定出产生原因的情况下获取削除后的判定图像数据，判定部将获取部获取到的削除后的判定图像数据输入至学习完毕神经网络，来判定在判定对象的涂装面产生的涂装麻点的产生原因。可预料为在不切削涂装表面的情况下判定精度降低，但若在不能够确保一定的精度的情况下通过使用削除后的判定图像数据进行再判定，则能够兼顾判定精度和简单的判定。
本公开的第二方式中的解析程序是对产生了在涂装表面作为突起而出现的涂装缺陷亦即涂装麻点的产生原因进行解析的解析程序，使计算机执行以下步骤：获取步骤，获取对在判定对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的判定图像数据；读出步骤，从存储部读出学习完毕神经网络，该学习完毕神经网络将对在学习对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的学习图像数据与通过对该涂装麻点进行解析而推断出的输入数据的组合作为教师数据来进行学习；判定步骤，将在获取步骤中获取到的判定图像数据输入至从存储部读出的学习完毕神经网络，来判定在判定对象的涂装面产生的涂装麻点的产生原因；以及输出步骤，输出通过判定步骤判定出的与产生原因相关的信息。这样，通过将经由削去涂装缺陷的涂装层的至少表层这一简单的作业而得到的图像数据作为在神经网络中进行处理的对象图像数据，能够实现可精度良好并容易地在短时间解析涂装麻点的产生原因的解析装置。
根据本公开，能够精度良好并容易地在短时间解析在涂装表面作为突起而出现的涂装缺陷亦即涂装麻点的产生原因。
附图说明
根据参照附图而下述的详细记述，本公开的上述目的以及其它的目的、特征、优点会变得更加明确。其中，
图1是表示解析系统的整体构成的整体示意图。
图2是表示系统服务器的构成的框图。
图3是产生了涂装麻点的表面附近的剖面放大图。
图4是说明教师数据的图。
图5是表示系统服务器的处理流程的流程图。
图6是表示第一变形例所涉及的系统服务器的构成的框图。
图7是表示第一变形例所涉及的系统服务器的处理流程的流程图。
图8是说明第二变形例所涉及的教师数据的图。
图9是表示第二变形例所涉及的系统服务器的处理流程的流程图。
具体实施方式
图1是表示解析系统100的整体构成的整体示意图。解析系统100例如是对在乘用车的车身900的涂装表面发现的涂装麻点的产生原因进行解析的解析系统。涂装麻点是在涂装表面作为突起而出现的涂装缺陷，由于在涂装中附着尘埃，或者在涂料中混入气泡而产生。解析系统100利用神经网络来判定所发现的涂装麻点由于何种原因产生。
操作人员OP若观察完成了涂装工序的车身900或者在涂装工序进行中的车身900并发现涂装麻点901，则轻轻削去其表面并利用输入终端110的照相机拍摄该涂装麻点。操作人员OP操作输入终端110，将拍摄到的图像的图像数据经由无线通信发送至系统服务器120。
系统服务器120与因特网190连接，并经由无线路由器150获取该图像数据。系统服务器120使用学习完毕神经网络作为对产生涂装麻点的产生原因进行解析的解析装置，来判定在图像中映现的涂装麻点的产生原因。然后，将判定出的与产生原因相关的信息经由因特网190以及无线路由器150输出到输出终端130。
输出终端130将从系统服务器120接收到的与产生原因相关的信息显示到显示监视器131。涂装管理者能够通过显示监视器131识别由系统服务器120判定出的产生原因。
此外，能够通过各种方式来构成以系统服务器120为核心的解析系统100的结构。也可以将与产生原因相关的信息显示在输入终端110的显示画面，也可以利用有线通信将系统服务器120与输出终端130连接。另外，也可以构成为不经由因特网190而通过使用限定的网络来将解析系统100与外部的网络切断。另外，也可以不由操作人员OP操作输入终端110来拍摄涂装麻点901，而构建自动拍摄系统来拍摄涂装麻点901。削去表层的工序也可以自动化。另外，也可以另外设置蓄积图像数据的图像服务器。
对系统服务器120进行说明。图2是表示系统服务器120的构成的框图。系统服务器120主要由运算部121、存储部122、获取部123、以及输出部124构成。
运算部121例如是CPU，负责系统服务器120整体的控制和各种运算处理。存储部122例如是硬盘驱动器，除了运算部121执行的软件程序之外，还存储有学习完毕神经网络122a(以下，记载为“学习完毕NN122a”等)。
获取部123包括用于与因特网190连接的通信接口。通信接口例如是无线LAN单元。获取部123获取对成为判定对象的涂装麻点进行拍摄而得到的判定图像数据，并传递给运算部121。
运算部121若从获取部123接受到判定图像数据，则从存储部122读出学习完毕NN122a。作为运算部121担负的功能执行部的判定部121a将判定图像数据输入至学习完毕NN122a，判定在判定对象的涂装面产生的涂装麻点的产生原因，并传递给输出部124。
输出部124包含用于与因特网190连接的通信接口。输出部124也可以共享获取部123的通信接口。输出部124将由判定部121a判定出的于产生原因相关的信息输出给输出终端130。
图3是产生了涂装麻点901的表面附近的剖面放大图。对基体反复进行几层车身900的涂装。如图示那样，若将面对外界的表层设为第一层，则与第一层相比第二层为接近基体的涂装层，与第二层相比第三层为接近基体的涂装层，第二层与第一层相比、第三层与第二层相比是在之前的涂装工序中涂装的层。这里，例如若在第二层的涂装工序中附着尘埃而产生涂装麻点901，则第二层、第一层的涂装面隆起而成为涂装不良。
本实施方式中的学习完毕NN122a将对在涂装面产生的涂装麻点削去了层叠的涂装层的至少表层的表面进行拍摄而得到的学习图像数据与通过对该涂装麻点进行解析而推断出的输入数据的组合作为教师数据，使神经网络学习。在是图3所示那样的起因于尘埃的涂装麻点的情况下，学习图像数据可以是对削至以虚线表示的深度而使尘埃露出的表面进行拍摄而得到的图像数据。虽然即使仅削去表层也容易获取涂装麻点的特征作为图像，但若是尘埃露出的状态的图像，则能够更有效地进行学习，进而能够使产生原因的判定精度提高。
图4是说明教师数据的图。在神经网络的学习阶段，首先，例如熟练者一边确认各个学习图像数据的图像一边向终端不断输入基于自己的知识、经验推测出的涂装麻点的产生原因。将这样输入的输入数据与该学习图像数据组合而形成教师数据。然后，将学习图像数据作为输入信息，并将组合后的输入数据作为输出的正确答案，使神经网络进行有监督学习。
对至少削去表层的表面进行拍摄而得到的学习图像如图示那样其形状、表现方式等多种多样。熟练者例如使“铁麻点”、“涂覆剂”、“中PH碎屑”等推断出的产生原因与各个图像建立对应关系。通过准备一定数目的这样形成的教师数据并使神经网络学习，来生成学习完毕NN122a。生成的学习完毕NN122a被转移至系统服务器120的存储部122而供实际使用。此外，也可以不依赖熟练者的知识、经验而基于科学的分析来确定产生原因，并与学习图像数据建立对应关系。
接下来，对系统服务器120执行的处理进行说明。图5是表示系统服务器120的处理流程的流程图。
获取部123在步骤S101中获取对判定对象的涂装面进行拍摄而得到的判定图像数据。判定图像数据与上述的学习图像数据相同，是对削去了涂装麻点上的至少表层的表面进行拍摄而得到的图像数据。获取部123将获取到的判定图像数据交给判定部121a。
判定部121a在步骤S102中从存储部122读出学习完毕NN122a。然后，在步骤S103中，将获取到的判定图像数据输入到所读出的学习完毕NN122a，来判定涂装麻点的产生原因。
判定部121a在步骤S104中，确认是否可判定出涂装麻点的产生原因。判定部根据是否能进行满足预先决定的判定基准的判定，来确认是否可判定出涂装麻点的产生原因。例如，在作为学习完毕NN122a的输出而准备的种类(产生原因)的任何一个均小于成为预先决定的阈值的概率(例如75％)的情况下，认为无法判定出产生原因。
当在步骤S104中确认为可判定出产生原因的情况下，进入步骤S105，判定部121a将判定出的产生原因传递给输出部124，输出部124将该信息输出给输出终端130。在由于未建立通信等理由而不能够输出到输出终端130的情况下等，也可以使该信息存储于存储部122。
当在步骤S104确认为无法判定出产生原因的情况下，进入步骤S106，判定部121a判定为需要对进一步削去判定对象的涂装层的表面进行拍摄而得到的判定图像数据，并将该信息传递给输出部124。输出部124将该信息输出给输出终端130。若步骤S105或者步骤S106的处理完成，则结束一系列的处理。
如以上那样，涂装管理者仅通过将经由削去涂装缺陷的表面这一简单的作业而得到的图像数据送至系统服务器120，便能够识别涂装麻点的产生原因。若准备一定数目的教师数据来提高学习完毕NN122a的判定精度，则能够实现可精度良好并容易地在短时间解析涂装麻点的产生原因的解析装置。进而，能够在短时间进行涂装工序的修正，也有助于涂装工序的成品率提高。
接下来，对几个变形例进行说明。图6是表示第一变形例所涉及的系统服务器的构成的框图。第一变形例所涉及的系统服务器120与图2所示的系统服务器120的不同点在于：运算部121具有颜色识别部121b作为功能执行部、以及存储部122存储有多个学习完毕NN122b、122c、122d……。
在本变形例中，按表层的每一个涂装颜色准备了学习完毕神经网络。例如，学习完毕NN122b是利用基于对表层为红色的涂装面的涂装麻点进行拍摄而得到的学习图像数据的教师数据进行了学习后的学习完毕神经网络，学习完毕NN122c是利用基于对表层为蓝色的涂装面的涂装麻点进行拍摄而得到的学习图像数据的教师数据进行了学习后的学习完毕神经网络。
颜色识别部121b对判定图像数据进行解析，识别判定对象的表层的涂装颜色为哪种颜色。颜色识别部121b例如提取未被切削的周边图像区域来进行颜色识别。识别出的涂装颜色被传递给判定部121a。
判定部121a读出存储于存储部122的多个学习完毕NN122b、122c、122d……中的与颜色识别部121b识别出的涂装颜色对应的学习完毕NN，并使用该学习完毕NN判定在判定对象的涂装面产生的涂装麻点的产生原因。
图7是表示第一变形例所涉及的系统服务器120的处理流程的流程图。对执行与图5中所示的流程实际相同的处理的流程附加相同的标号，只要不特别提及则省略其说明。
若在步骤S101中，获取部123将判定图像数据传递给颜色识别部121b，则进入步骤S201，颜色识别部121b如上述那样识别判定对象的表层的涂装颜色是哪种颜色，并传递给判定部121a。进入步骤S202，判定部121a如上述那样，从存储于存储部122的多个学习完毕NN122b、122c、122d……中读出与颜色识别部121b识别出的涂装颜色对应的学习完毕NN。进入步骤S103，判定部121a使用在步骤S202中读出的特定的学习完毕NN，判定在判定对象的涂装面产生的涂装麻点的产生原因。若如本变形例那样，按每个涂装颜色构建学习完毕神经网络并选择性地使用，则能够精度更好地判定涂装麻点的产生原因。
接下来，对第二变形例进行说明。图8是说明第二变形例所涉及的教师数据的图。第二变形例中的学习完毕NN与根据使用图4说明的教师数据而生成的学习完毕NN的不同点在于：还包含对削除涂装层之前的表面进行拍摄而得到的削除前学习图像数据来进行学习。
在第二变形例的神经网络的学习阶段中，首先，例如熟练者一边确认各个削除前学习图像数据的图像或学习图像数据的图像，或者它们双方的图像，一边向终端不断输入基于自己的知识、经验推测出的涂装麻点的产生原因。将这样输入的输入数据与该削除前学习图像数据以及学习图像数据组合，来形成教师数据。然后，作为第一阶段，将削除前学习图像数据作为输入信息，并将组合后的输入数据作为输出的正确答案，使神经网络进行有监督学习。进而，作为第二阶段，将学习图像数据作为输入信息，并将组合后的输入数据作为输出的正确答案，使神经网络进行有监督学习。此外，也可以不依赖熟练者的知识、经验，而基于科学的分析来确定产生原因，并与削除前学习图像数据以及学习图像数据建立对应关系。
所生成的学习完毕NN被转移至系统服务器120的存储部122而供实际使用。这样生成的学习完毕NN具有两个阶段的判定阶段。即，在受理削除前的判定图像数据作为输入图像数据并判定出确切的产生原因的情况下，输出该判定结果。在无法判定出确切的产生原因的情况下，受理削除后的判定图像数据作为输入图像数据，进行更高精度的判定。
若这样构成学习完毕NN，则即使不切削想要判定的涂装表面也能够简单地得到判定结果。因此，操作人员OP只要首先准备切削涂装表面之前的削除前判定图像数据即可，能够削减切削涂装表面的作业的功夫、时间。另外，在通过简单的判定不能够确保一定的精度的情况下，操作人员OP准备切削了涂装表面之后的判定图像数据，学习完毕NN接受该削除后的判定图像数据并进行再判定。通过进行这样的再判定，也能够保证判定精度。即，若利用这样的学习完毕NN，则能够兼顾作业的效率化和判定精度的确保。
图9是表示第二变形例所涉及的系统服务器120的处理流程的流程图。对执行与图5中所示的流程实际相同的处理的流程附加相同的标号，只要不特别提及则省略其说明。
获取部123在步骤S301中获取对判定对象的涂装面进行拍摄而得到的削除前判定图像数据。削除前判定图像数据是拍摄在对涂装麻点上的表层进行切削作业之前的表面而得到的图像数据。获取部123将获取到的判定图像数据传递给判定部121a。
经由步骤S102在步骤S302中，将获取到的削除前判定图像数据输入到所读出的学习完毕NN122，来判定涂装麻点的产生原因。然后，进入步骤S104，在确认为是并进入步骤S105的情况下，视为利用削除前判定图像数据能判定出确切的产生原因，并结束一系列的处理。
当在步骤S104中确认为否的情况下，进入步骤S303。判定部121a在步骤S303中，判定为需要对削去了涂装麻点上的至少表层的表面进行拍摄而得到的图像数据亦即判定图像数据，并将其信息传递给输出部124。输出部124将该信息输出给输出终端130。
获取部123在步骤S304中获取判定图像数据并交给判定部121a。判定部121a接着在步骤S305中，将获取到的削除前判定图像数据输入到学习完毕NN122，判定涂装麻点的产生原因。判定部121a在步骤S306中，将判定出的产生原因传递给输出部124，输出部124将该信息输出给输出终端130，并结束一系列的处理。
此外，也可以进一步确认步骤S305的判定结果的准确度，而如图5中的步骤S106那样要求修正判定图像。另外，在第二变形例中，也可以如第一变形例那样，按每个涂装颜色准备学习完毕NN，并按照根据获取部获取到的图像数据识别出的涂装颜色来读出学习完毕NN。
包含各变形例，在本实施方式中，对利用图像数据作为输入信息的例子进行了说明，但也可以除了图像数据之外还将其它的信息加入教师数据以及判定用数据。例如，也能够利用涂装环境的温度信息、湿度信息、进行涂装的时刻信息作为使判定精度提高的附加信息。
另外，图4等中示出的产生涂装麻点的产生原因为例示，当然也可以将其它的产生原因加入到判定对象。另外，优选对一个产生原因准备许多学习图像数据。涂装麻点并不限定于尘埃、气泡，也有可能由于其它涂料的混入、油分的飞溅等而产生。
另外，也可以利用用于将相对于涂装表面的视角保持为恒定的照相机夹具等，以使涂装麻点相对于图像成为恒定的大小。该情况下，若为同种的涂装麻点，则由于相对于图像区域大致成为恒定的大小，所以也有助于产生原因的判定精度提高。
可以使用任何类型的非暂时性的计算机可读介质存储程序并提供给计算机。非暂时性的计算机可读介质包括任何类型的有形存储介质。非暂时性的计算机可读介质的示例包括磁存储介质(如软盘、磁带、硬盘驱动器等)、光磁存储介质(如磁光盘)、CD-ROM(光盘只读存储器)、CD-R(可刻录光盘)、CD-R/W(可重写光盘)以及半导体存储器(如掩模只读存储器、可编程只读存储器、可擦除只读存储器、闪存只读存储器、随机存取存储器等)。程序也可以使用任何类型的暂时性的计算机可读介质提供给计算机。暂时性的计算机可读介质包括电信号、光信号和电磁波。暂时性的计算机可读介质可以通过有线通信线路(例如电线和光纤)或无线通信线路向计算机提供程序。
从上述公开中可以明显看出，公开的实施例可以以多种方式进行改进。这些改进不应被视为偏离本发明的精神和范围，并且本领域技术人员可明确为所有此类改进都包含在技术方案的范围内。

Claims (7)

1.一种解析装置，是对产生了在涂装表面作为突起而出现的涂装缺陷亦即涂装麻点的产生原因进行解析的解析装置，其中，具备：
存储部，存储有学习完毕神经网络，该学习完毕神经网络将对在学习对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的学习图像数据与通过对该涂装麻点进行解析而推断出的输入数据的组合作为教师数据来进行学习；
获取部，获取对在判定对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的判定图像数据；
判定部，将上述获取部获取到的上述判定图像数据输入到从上述存储部读出的上述学习完毕神经网络，来判定在上述判定对象的涂装面产生的涂装麻点的产生原因；以及
输出部，输出与由上述判定部判定出的产生原因相关的信息。
2.根据权利要求1所述的解析装置，其中，
在上述涂装麻点起因于尘埃的情况下，上述学习图像数据以及上述判定图像数据是对切削至上述尘埃露出的表面进行拍摄而得到的图像数据。
3.根据权利要求1或者2所述的解析装置，其中，
上述判定部在不能进行满足预先决定的判定基准的判定的情况下判定为需要对进一步切削上述判定对象的上述涂装层后的表面进行拍摄而得到的判定图像数据。
4.根据权利要求1～3中任意一项所述的解析装置，其中，
上述存储部按每个涂装颜色存储多个上述学习完毕神经网络，
上述判定部基于上述获取部获取到的上述判定图像数据所表示的涂装颜色，来选择输入上述判定图像数据的上述学习完毕神经网络。
5.根据权利要求1～4中任意一项所述的解析装置，其中，
上述教师数据包括对切削上述涂装层之前的表面进行拍摄而得到的削除前学习图像数据，
上述获取部获取对未切削判定对象的上述涂装层的表面进行拍摄而得到的削除前判定图像数据，
上述判定部将上述获取部获取到的上述削除前判定图像数据输入到从上述存储部读出的上述学习完毕神经网络，来判定在上述判定对象的涂装面产生的涂装麻点的产生原因。
6.根据权利要求5所述的解析装置，其中，
上述获取部在上述判定部不能判定出上述产生原因的情况下获取上述判定图像数据，
上述判定部将上述获取部获取到的上述判定图像数据输入到上述学习完毕神经网络，来判定在上述判定对象的涂装面产生的涂装麻点的产生原因。
7.一种计算机能够读取的存储介质，存储有解析程序，该解析程序是对产生了在涂装表面作为突起而出现的涂装缺陷亦即涂装麻点的产生原因进行解析的解析程序，其中，上述解析程序使计算机执行以下步骤：
获取步骤，获取对在判定对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的判定图像数据；
读出步骤，从存储部读出学习完毕神经网络，该学习完毕神经网络将对在学习对象的涂装面产生的涂装麻点削去了层叠的涂装层的至少表层后的表面进行拍摄而得到的学习图像数据与通过对该涂装麻点进行解析而推断出的输入数据的组合作为教师数据来进行学习；
判定步骤，将在上述获取步骤中获取到的上述判定图像数据输入到从上述存储部读出的上述学习完毕神经网络，来判定在上述判定对象的涂装面产生的涂装麻点的产生原因；以及
输出步骤，输出与通过上述判定步骤判定出的产生原因相关的信息。
CN201910338474.XA 2018-04-27 2019-04-25 解析装置以及解析程序 Active CN110428393B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-087114 2018-04-27
JP2018087114A JP6996413B2 (ja) 2018-04-27 2018-04-27 解析装置および解析プログラム

Publications (2)

Publication Number Publication Date
CN110428393A CN110428393A (zh) 2019-11-08
CN110428393B true CN110428393B (zh) 2022-12-13

Family

ID=68291437

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910338474.XA Active CN110428393B (zh) 2018-04-27 2019-04-25 解析装置以及解析程序

Country Status (3)

Country Link
US (1) US10533849B2 (zh)
JP (1) JP6996413B2 (zh)
CN (1) CN110428393B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7217256B2 (ja) * 2020-01-10 2023-02-02 株式会社大気社 品質管理システム、品質管理方法、および品質管理プログラム
JP6811881B1 (ja) 2020-01-10 2021-01-13 株式会社大気社 品質管理システムおよび品質管理プログラム
DE102020000412A1 (de) * 2020-01-24 2021-07-29 bdtronic GmbH Dosiervorrichtung sowie Verfahren zur dosierten Abgabe eines Mediums
EP3971556A1 (en) * 2020-09-17 2022-03-23 Evonik Operations GmbH Qualitative or quantitative characterization of a coating surface
JP7255617B2 (ja) 2021-02-26 2023-04-11 株式会社安川電機 塗装制御システム
JP7173188B2 (ja) * 2021-02-26 2022-11-16 株式会社安川電機 塗装制御装置、塗装制御システム、塗装制御装置の設定装置、制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951781A (zh) * 2014-03-25 2015-09-30 株式会社日立信息通信工程 字符辨识装置以及识别函数生成方法
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
WO2018039368A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
JP2018060296A (ja) * 2016-10-03 2018-04-12 グローリー株式会社 画像処理装置、画像処理システム及び画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3443873B2 (ja) * 1992-09-16 2003-09-08 日産自動車株式会社 自動車の塗装条件管理装置
US6532066B1 (en) * 2000-08-05 2003-03-11 Ford Global Technologies, Inc. Vision system for identification of defects in wet polymeric coatings
JP2005118757A (ja) * 2003-10-20 2005-05-12 Kansai Paint Co Ltd 塗装欠陥解析システム、塗装欠陥解析方法及びコンピュータプログラム
EP2660310A4 (en) * 2010-12-28 2015-09-30 Tashiro Kei COMPREHENSIVE GLAUCOMOTIC PROCESS WITH A GLAUKOM DIAGNOSIS CHIP AND A CLUSTER ANALYSIS OF A DEFORMED PROTEOMIC
JP5790446B2 (ja) 2011-11-28 2015-10-07 富士通株式会社 表面欠陥検査方法及び表面欠陥検査装置
US20150035970A1 (en) * 2013-08-02 2015-02-05 Applied Vision Corporation Systems and methods to detect coating voids
EP3400431B1 (en) * 2016-01-07 2022-03-23 Arkema, Inc. Optical method to measure the thickness of coatings deposited on substrates
US10189479B2 (en) * 2016-04-06 2019-01-29 At&T Intellectual Property I, L.P. Methods and apparatus for vehicle operation analysis

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104951781A (zh) * 2014-03-25 2015-09-30 株式会社日立信息通信工程 字符辨识装置以及识别函数生成方法
CN106097335A (zh) * 2016-06-08 2016-11-09 安翰光电技术（武汉）有限公司 消化道病灶图像识别系统及识别方法
WO2018039368A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. Image segmentation using neural network method
JP2018060296A (ja) * 2016-10-03 2018-04-12 グローリー株式会社 画像処理装置、画像処理システム及び画像処理方法

Also Published As

Publication number Publication date
JP6996413B2 (ja) 2022-01-17
US20190331483A1 (en) 2019-10-31
US10533849B2 (en) 2020-01-14
CN110428393A (zh) 2019-11-08
JP2019192131A (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
CN110428393B (zh) 解析装置以及解析程序
US11823365B2 (en) Automatic image based object damage assessment
CN100409660C (zh) 图像处理装置及其方法
CN110913243A (zh) 一种视频审核的方法、装置和设备
CN109740689B (zh) 一种图像语义分割的错误标注数据筛选方法及系统
JP6844563B2 (ja) 検査装置、画像識別装置、識別装置、検査方法、及び検査プログラム
CN109741295B (zh) 产品质量检测方法及装置
CN113083804A (zh) 激光智能除锈方法、系统及可存读介质
US10726535B2 (en) Automatically generating image datasets for use in image recognition and detection
US11407179B2 (en) Recoater automated monitoring systems and methods for additive manufacturing machines
CN111507854A (zh) 基于历史赔案的车辆定损方法、装置、介质和电子设备
JP2010071826A (ja) 教師データ作成方法、並びに、画像分類方法および画像分類装置
CN111738991A (zh) 一种焊缝缺陷的数字射线检测模型的创建方法
CN115578362A (zh) 电极涂层的缺陷检测方法、装置、电子设备及介质
CN114897801A (zh) Aoi缺陷检测方法、装置和设备及计算机介质
JP7189332B2 (ja) 整備サポート拡張現実出力システム、コンピュータ、端末、整備サポート拡張現実出力方法及びプログラム
CN118202383A (zh) 缺陷检测方法、缺陷检测系统和缺陷检测程序
CN106326824A (zh) 一种自动筛选图片的方法及装置
CN116862903B (zh) 缺陷检测模型训练方法及装置、缺陷检测方法和电子设备
CN116798132B (zh) 一种闪光活体检测模型的构建方法、系统和检测方法
JP2020003837A (ja) 識別装置および識別方法
CN113117341B (zh) 图片处理方法及装置、计算机可读存储介质、电子设备
CN117570852B (zh) 极耳顶点坐标检测方法、装置及设备
JP7120093B2 (ja) 部品判別装置及び部品判別方法
CN118096747B (zh) 基于深度学习的pcba板自动检测方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant