CN111507362B - 神经网络的训练方法、基于神经网络的分类方法及其装置 - Google Patents

神经网络的训练方法、基于神经网络的分类方法及其装置 Download PDF

Info

Publication number
CN111507362B
CN111507362B CN201910091607.8A CN201910091607A CN111507362B CN 111507362 B CN111507362 B CN 111507362B CN 201910091607 A CN201910091607 A CN 201910091607A CN 111507362 B CN111507362 B CN 111507362B
Authority
CN
China
Prior art keywords
image
neural network
training
corresponds
marked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910091607.8A
Other languages
English (en)
Other versions
CN111507362A (zh
Inventor
李政昕
吴怀恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Coretronic Corp
Original Assignee
Coretronic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Coretronic Corp filed Critical Coretronic Corp
Priority to CN201910091607.8A priority Critical patent/CN111507362B/zh
Priority to TW108109436A priority patent/TWI688904B/zh
Priority to US16/748,817 priority patent/US11669734B2/en
Publication of CN111507362A publication Critical patent/CN111507362A/zh
Application granted granted Critical
Publication of CN111507362B publication Critical patent/CN111507362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

提供一种用于训练神经网络的训练装置和训练方法，及基于神经网络的分类方法和分类装置。训练装置包括储存单元和处理器。处理器存取及执行储存单元中的抽样模块、贴标模块以及训练模块。抽样模块自第一资料集中抽样出第一图像和第二图像。贴标模块响应于第一控制指令而对第一图像进行注记以产生第一注记图像，且根据第一注记图像以及第二图像产生标签资料。训练模块根据标签资料训练神经网络。基于本发明的训练方法所训练的神经网络的分类方法和分类装置可根据所接收的参考图像进行分类，借以产生所述受测图像的分类结果，且神经网络不需经重新训练即可适用于各种类的物件。

Description

神经网络的训练方法、基于神经网络的分类方法及其装置
技术领域
本发明是有关于一种神经网络的技术，且特别是有关于一种神经网络的训练方法及其训练装置以及基于神经网络的分类方法及其分类装置。
背景技术
现行的神经网络可使用监督式学习(supervised learning)或非监督式学习(unsupervised learning)的方式产生。一般来说，使用由监督式学习所产生的神经网络进行物件分类可以达到较高的准确度(accuracy)或精密度(precision)。然而，基于监督式学习的神经网络具有两项缺点。首先，对那些不熟悉本领域的人来说，调整神经网络的参数以使神经网络适用于不同的情况是非常困难的。其次，当待分类的物件之种类或型号改变时，神经网络也需要跟着重新训练。因此，基于监督式学习的神经网络的使用者经常需要花费大量的时间在调整参数以及针对不同的物件重新训练神经网络。
发明内容
本发明提供一种神经网络的训练方法及其训练装置以及基于神经网络的分类方法及其分类装置。由本发明所训练出的神经网络可适用于不同种类或型号的物件而不需重新训练。
本发明的其他目的和优点可以从本发明所揭露的技术特征中得到进一步的了解。
为达上述之一或部分或全部目的或是其他目的，本发明提出一种训练装置，适用于训练神经网络。训练装置包括：储存单元以及处理器。储存单元储存多个模块。处理器耦接储存单元，并且存取及执行储存单元中的所述多个模块，其中所述多个模块包括抽样模块、贴标模块以及训练模块。抽样模块自第一资料集中抽样出第一图像和第二图像。贴标模块响应于第一控制指令而对第一图像进行注记以产生第一注记图像，并且根据第一注记图像以及第二图像产生标签资料，其中第一控制指令相关于使用者对第一图像与第二图像的选择。训练模块根据标签资料训练神经网络。
为达上述之一或部分或全部目的或是其他目的，本发明提出一种训练方法，适用于训练神经网络。训练方法包括：自第一资料集抽样出第一图像和第二图像；响应于第一控制指令而对第一图像进行注记以产生第一注记图像，其中第一控制指令相关于使用者对第一图像与第二图像的选择；根据第一注记图像以及第二图像产生标签资料；以及根据标签资料训练神经网络。
为达上述之一或部分或全部目的或是其他目的，本发明提出一种基于神经网络的分类装置，包括储存单元以及处理器。储存单元储存神经网络模块。处理器耦接储存单元，并且存取及执行神经网络模块。神经网络模块接收参考图像以及受测图像，并且根据神经网络以及参考图像来对受测图像进行分类，借以产生受测图像的分类结果。
为达上述之一或部分或全部目的或是其他目的，本发明提出一种基于神经网络的分类方法，包括：接收参考图像以及受测图像；以及根据神经网络以及参考图像来对受测图像进行分类，借以产生受测图像的分类结果。
基于上述，由本发明所训练出的神经网络可适用于不同种类或型号的物件而不需重新训练。另一方面，使用者可以透过参考图像来直观地设定神经网络的分类标准(criteria)。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1根据本发明的实施例绘示一种神经网络的训练装置的示意图。
图2A根据本发明的实施例绘示一种神经网络的训练方法的流程图。
图2B根据本发明的实施例绘示另一种神经网络的训练方法的流程图。
图3A及图3B根据本发明的实施例绘示第一物件及第二物件的示意图。
图4根据本发明的实施例绘示一种基于神经网络的分类装置的示意图。
图5根据本发明的实施例绘示一种基于神经网络的分类方法的流程图。
图6A及图6B根据本发明的实施例绘示具有不同瑕疵程度的参考图像的示意图。
附图标记说明
10：训练装置
100：处理器
200：储存单元
210：抽样模块
220：贴标模块
230：训练模块
30：分类装置
300：处理器
400：储存单元
410：神经网络模块
500、600：参考图像
510、610：外观瑕疵
700：图像撷取装置
A：第一物件/A型号的显示面板
B：第二物件/B型号的显示面板
G1、G2：网格
S21、S22、S23、S24、S41、S42：步骤。
具体实施方式
为了改善基于监督式学习的神经网络的使用者经常需要花费大量的时间在调整神经网络的参数以及针对不同的物件重新训练神经网络的问题，本发明提出一种神经网络的训练方法及其训练装置，以及基于神经网络的分类方法及其分类装置。
图1根据本发明的实施例绘示一种神经网络的训练装置10的示意图，所述神经网络例如是任意种基于监督式学习的神经网络，本发明不限于此。训练装置10可包括处理器100以及储存单元200。
处理器100例如是中央处理单元(central processing unit，CPU)，或是其他可程序编程的一般用途或特殊用途的微处理器(microprocessor)、数字信号处理器(digitalsignal processor，DSP)、可程序编程控制器、专用集成电路(application specificintegrated circuit，ASIC)、图形处理器(graphics processing unit，GPU)或其他类似元件或上述元件的组合。处理器100耦接储存单元200，而可存取并执行储存于储存单元200中的模块或各种应用程序。
储存单元300例如是任何型态的固定式或可移动式的随机存取存储器(randomaccess memory，RAM)、只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)、固态硬盘(solid state drive，SSD)或类似元件或上述元件的组合，而用于记录可由处理器100执行的多个模块或各种应用程序。在本实施例中，储存单元200可储存包括抽样模块210、贴标模块220以及训练模块230等多个模块，其功能将于后续说明。其中抽样模块210、贴标模块220以及训练模块230例如是为程序(Program)或软件(Software)的一种程序码(code)，当执行处理器100执行的上述模块(执行该程序码)后，可达成个模块欲达成的程序(procedure)及目的。
图2A根据本发明的实施例绘示一种神经网络的训练方法的流程图，所述训练方法可由训练装置10实施。在本实施例中，待检物件可为显示面板(Display Panel)，但本发明不以此为限。
在步骤S21，抽样模块210可自第一资料集中抽样出第一图像和第二图像，其中第一资料集包括分别对应于第一物件和相异于第一物件的第二物件的其中之一的多个图像，亦即，第一图像和第二图像分别对应于第一物件和第二物件的其中之一。在本实施例中，第一图像和第二图像皆对应于第一物件，代表第一图像中的物件与第二图像中的物件属于相同的种类或型号。另一方面，第一图像可对应于第一物件且第二图像对可应于相异于第一物件的第二物件，代表第一图像中的物件与第二图像中的物件属于不同的种类或型号。
以图3A及3B为例，图3A及3B根据本发明的实施例绘示第一物件及第二物件的示意图。若第一物件代表型号为A型号的显示面板，则第一资料集可包括分别对应于多个不同的A型号的显示面板之外观的多个图像，其中所述多个图像可例如是透过摄影机对多个A型号的显示面板A进行拍摄而产生，例如是，在面板生产过程中，摄影机对每一个A型号的显示面板的成品所拍摄的照片。另一方面，若第二物件代表B型号的显示面板，则第一资料集可包括分别对应于多个不同的型号B的显示面板之外观的多个图像，其中所述多个图像可例如是透过摄影机对多个型号B的显示面板进行拍摄而产生，例如是，在面板生产过程中，摄影机对每一个型号B的显示面板的成品所拍摄的照片。
此外，第一资料集也可以包括分别对应于不同种类的显示面板。在一实施例中，第一资料集也可以同时包括分别对应于不同种类以及不型号的显示面板。本发明不限制显示面板的种类以及型号，举例而言，显示面板可以是液晶显示面板或有机发光二极管显示面板(OLED Panel)，并且显示面板可进一步为扭转向列型液晶显示面板(Twisted Nematic-LCD Panel)或薄膜电晶体型液晶显示面板(Thin Film Transistor-LCD Panel)。
在步骤S21，抽样模块210可随机地从第一资料集的多个图像中抽样出第一图像和第二图像。在本实施例中，A型号的显示面板的图像为第一图像与B型号的显示面板的图像为第二图像，两者的主要差异在于，A型号的显示面板具有较大的网格G1，如图3A所示。另一方面，B型号的显示面板则具有较小的网格G2，如图3B所示，而每一个网格可以表示为一个像素(Pixel)，但本发明不限于此。
在步骤S22，贴标模块220可响应于第一控制指令而对第一图像进行注记以产生第一注记图像，第一控制指令相关于使用者对第一图像与第二图像的选择。具体而言，第一控制指令可以对应于使用者的选择，使用者可针对抽样模块210随机地从第一资料集抽样出的第一图像和第二图像进行选择。在一实施例中，使用者会从抽样出来的第一图像和第二图像中选择出一个瑕疵程度较高图像，而处理器100则针对使用者的选择产生第一控制指令，以使贴标模块220可响应于第一控制指令而对被使用者选择的图像进行注记以产生第一注记图像。
在步骤S23，贴标模块220可根据第一注记图像以及第二图像产生第一标签资料。具体来说，贴标模块220可例如透过显示装置来显示分别对应于第一物件(例如：A型号的显示面板)和第二物件的其中之一的第一图像和第二图像供给训练装置10让使用者选择。使用者可以比较第一图像和第二图像两者的外观的瑕疵程度，并且根据瑕疵程度选择对第一图像或第二图像中进行注记。在本实施例中，假设使用者判断第一图像的外观的瑕疵程度较第二图像的外观的瑕疵程度严重，因此，使用者可选择对第一图像进行注记以产生第一注记图像。在产生第一注记图像之后，贴标模块220可以使用第一注记图像例如是第一图像和未被选择的图像例如是第二图像来组成第一标签资料。在步骤S24，训练模块230可根据第一标签资料训练神经网络。经此训练过程后，神经网络可学习分辨相同A型号或B型号的显示面板的瑕疵程度，甚至是不同型号之间的瑕疵程度。具体来说，在产生完对应于第一物件和第二物件的第一标签资料后，训练模块230可以根据标签资料进行神经网络的训练，从而产生神经网络。由于所述神经网络是根据对应于不同的物件(例如：第一物件和第二物件)的标签资料而产生，因此，所述神经网络将可适用于不同的物件(例如：第一物件和第二物件)。
再回到参考图2B，图2B根据本发明的实施例绘示另一种神经网络的训练方法的流程图。图2A与图2B具有相同的步骤，主要的差异在于可分别由第一资料集与第二资料集随机第抽样出的第三图像以及第四图像，可训练神经网络以进一步辨识第三物件的瑕疵程度。在一实施例中，标签资料还可对应于第三物件，其中第三物件相异于第一物件及第二物件，并且第三物件可为C型号的显示面板。
举例来说，假设用以训练神经网络的第一资料集仅包括对应于第一物件及第二物件的其中之一的多个图像。当使用者欲进一步训练也可用以识别第三物件外观瑕疵程度的神经网络时，执行如图2B所示的训练方法。在步骤S21a，抽样模块210可自第一资料集抽样出对应于第一物件和第二物件的其中之一的一图像以作为第三图像，并且自第二资料集抽样出对应于第三物件的图像以作为第四图像，其中第一资料集包括对应于第一物件以及第二物件的多个图像，第二资料集包括对应于第三物件的多个图像。接着，再步骤S22a，贴标模块220可响应于第二控制指令而对第三图像及第四图像的其中之一进行注记以产生注记图像，未被注记的另一图像则作为未注记图像。在步骤S23a，贴标模块220可根据注记图像及未注记图像产生第二标签资料。
最后，在步骤S24a，训练模块230可根据第二标签资料训练神经网络。经此训练过程后，第二标签资料可包含A型号、B型号与C型号相关的瑕疵程度资料，即神经网络可额外学习到的C型号相关的瑕疵程度。具体来说，在产生完对应于第一物件、第二物件和第三物件的第二标签资料后，训练模块230可以根据第二标签资料进行神经网络的训练，从而产生所要的神经网络。由于所述神经网络是根据对应于不同的物件(例如：第一物件、第二物件和第三物件)的标签资料而产生，因此，所述神经网络将可适用于不同的物件(例如：第一物件、第二物件和第三物件)。
依照上述的训练流程，本发明的标签资料包含至少两种以上的型号或种类的待测物，并且可方便地对原有的标签资料新增相关的型号或种类。
图4根据本发明的实施例绘示一种基于神经网络的分类装置30的示意图，其中所述神经网络是由训练装置10所训练出的神经网络。分类装置30可包括处理器300、储存单元400以及图像撷取装置700。
处理器300例如是中央处理单元，或是其他可程序化的一般用途或特殊用途的微处理器、数字信号处理器、可编程控制器、特殊应用集成电路、图形处理器或其他类似元件或上述元件的组合。处理器300耦接储存单元400，而可存取并执行储存于储存单元400中的模块或各种应用程序。
储存单元400例如是任何型态的固定式或可移动式的随机存取存储器、只读存储器、快闪存储器、硬盘、固态硬盘或类似元件或上述元件的组合，而用于记录可由处理器300执行的多个模块或各种应用程序。在本实施例中，储存单元400可储存神经网络模块410，且神经网络模块410对应于由训练装置10所训练出的神经网络。
图像撷取单元700可以是任何型态的照相装置或摄影装置，亦不限于可见光的摄像功能，例如在特殊制程中，可能使用特定波长的光进行摄像。在本实施例中，图像撷取单元700可执行图像拍摄，以提供受测图像给处理器300。
图5根据本发明的实施例绘示一种基于神经网络的分类方法的流程图，其中所述分类方法可由分类装置30实施。
同时参考图4与图5，在步骤S51，透过处理器300，神经网络模块410可接收参考图像以及受测图像。在步骤S52，神经网络模块410可根据神经网络以及参考图像来对受测图像进行分类，借以产生受测图像的分类结果，其中参考图像可对应于第一物件以及受测图像可对应相异于第一物件的第二物件，并且受测图像的分类结果用以指示受测图像中的物件是否具有外观瑕疵，且该分类结果相关于参考图像及受测图像的瑕疵程度差异。
举例来说，若分类装置30的使用者欲检验关联于第一物件(例如：A型号的显示面板)的产品是否具有外观瑕疵，则使用者可透过例如摄影机等装置取得该产品的外观图像以作为受测图像，并且自包括分别关联于第一物件及第二物件的多个图像中选出其中之一以作为参考图像。参考图像可用以作为判断受测图像是否具有外观瑕疵的标准。当受测图像的外观的瑕疵程度较参考图像的外观的瑕疵程度严重时，分类装置30即可将对应于受测图像的产品分类为瑕疵品。换言之，使用者可借由更换参考图像来调整用以判断受测图像是否具有外观瑕疵的标准。例如，使用者可借由更换参考图像来调整神经网络模块410所使用的神经网络的漏检率(miss rate，或假阴性率(false negative rate，FNR))或误判率(false positive rate，FPR)。参考图像的范例可参考图6A以及图6B，如下所述。
图6A、6B根据本发明的实施例绘示具有不同瑕疵程度的参考图像500、参考图像600的示意图。在本实施例中，假设参考图像500以及参考图像600对应于第一物件(例如：A型号的显示面板)。请参考图6A和图6B。参考图像500具有较严重的外观瑕疵510，而参考图像600则具有较轻微的外观瑕疵610。
当分类装置30对应于第一物件(例如：A型号的显示面板)的受测图像进行分类时，若参考图像500被选为神经网络模块410所使用的参考图像，则神经网络模块410会在受测图像的外观瑕疵较外观瑕疵510严重时，将受测图像中的物件分类为瑕疵品。由于外观瑕疵510属于非常重大的瑕疵，因此将会有许多具有微小外观瑕疵的受测图像被分类为正常品，从而导致分类装置30的漏检率上升。反之，使用者可改为使用参考图像600以作为神经网络模块410所使用的参考图像。由于外观瑕疵610属于非常微小的瑕疵，因此将会有具有微小外观瑕疵的受测图像被分类为具有外观瑕疵，从而导致分类装置30的漏检率下降。相对地，也可能导致分类装置30的误判率会随之上升。
简言之，使用者可以透过调整不同瑕疵程度的参考图像来调整神经网络模块410的分类结果的漏检率与误判率。
需注意的是，在一些实施例中，上述的受测图像、参考图像500以及参考图像600可分别对应于相同或相异的型号或种类，本发明不限于此。
综上所述，本发明提出了一种神经网络的训练方法，使用者可以对两个图像的其中之一进行注记，并且根据所述两个图像产生标签资料。在训练神经网络时，输入参数可包括分别对应于不同物件的标签资料。据此，所训练出的神经网络将可适用于不同种类或型号的物件。当使用神经网络进行分类时，使用者可以透过改变参考图像的方式直观地调整神经网络所适用的物件或神经网络的分类标准。
举例来说，当待检物件为A型号的显示面板时，分类装置的使用者可以将对应于A型号的显示面板的参考图像输入神经网络之中，以作为神经网络的分类标准。当待分类的物件更换为型号B的显示面板时，使用者仅需将参考图像更换为对应于B型号的显示面板的参考图像，即可继续使用神经网络。
再举另一例来说，当使用者认为神经网络的漏检率过高时(即：神经网络对外观瑕疵的判定标准过于严格(stringent)而导致许多瑕疵品未被筛选出)，使用者可将作为外观瑕疵的参考的参考图像更换为具有较小的外观瑕疵者，使得神经网络对外观瑕疵的判定标准转变成较为松散(loose)。
本发明提出的神经网络不需重新训练即可适用于不同的情况，同时亦保持了基于监督式学习之神经网络的高准确度及高精密度的优点。
以上所述，仅为本发明的优选实施例而已，当不能以此限定本发明实施的范围，即所有依本发明权利要求书及发明说明内容所作的简单的等效变化与修改，皆仍属本发明专利覆盖的范围内。另外本发明的任一实施例或权利要求不须达成本发明所揭露的全部目的或优点或特点。此外，摘要部分和发明名称仅是用来辅助专利文件检索之用，并非用来限制本发明的权利范围。此外，本说明书或权利要求书中提及的“第一”、“第二”等用语仅用以命名元件(element)的名称或区别不同实施例或范围，而并非用来限制元件数量上的上限或下限。

Claims (20)

1.一种监督式训练装置，适用于训练神经网络，其特征在于，所述监督式训练装置包括储存单元以及处理器，其中：
所述储存单元储存多个模块；以及
所述处理器耦接所述储存单元，并且存取及执行所述储存单元中的所述多个模块，其中所述多个模块包括抽样模块、贴标模块以及训练模块，其中
所述抽样模块自第一资料集中抽样出第一图像和第二图像，所述第一资料集对应于第一物件及相异于所述第一物件的第二物件；
所述贴标模块响应于第一控制指令而对所述第一图像进行注记以产生第一注记图像，并且根据所述第一注记图像以及所述第二图像组成标签资料，其中所述第一控制指令相关于使用者比较所述第一图像与所述第二图像的瑕疵程度，当所述第一图像的所述瑕疵程度高于所述第二图像的所述瑕疵程度，选择所述第一图像以产生所述第一注记图像；以及
所述训练模块根据组成的所述标签资料训练所述神经网络学习分辨所述瑕疵程度。
2.根据权利要求1所述的训练装置，其特征在于，其中：
所述第一图像对应于所述第一物件和所述第二物件的其中之一，并且所述第二图像对应于所述第一物件和所述第二物件的其中之一。
3.根据权利要求1所述的训练装置，其特征在于，训练后的所述神经网络接收参考图像以及受测图像，并且根据所述参考图像对所述受测图像进行分类以产生所述受测图像的分类结果。
4.根据权利要求3所述的训练装置，其特征在于，其中所述参考图像对应于所述第一物件和所述第二物件的其中之一，并且所述受测图像对应于所述第一物件和所述第二物件的其中之一。
5.根据权利要求3所述的训练装置，其特征在于，所述受测图像的所述分类结果相关于所述参考图像及所述受测图像的瑕疵程度差异。
6.根据权利要求5所述的训练装置，其特征在于，所述参考图像调整所述神经网络的漏检率和误判率的至少其中之一。
7.一种监督式训练方法，适用于训练神经网络，其特征在于，所述训练方法包括：
自第一资料集抽样出第一图像和第二图像，所述第一资料集对应于第一物件及相异于所述第一物件的第二物件；
响应于第一控制指令而对所述第一图像进行注记以产生第一注记图像，其中所述第一控制指令相关于使用者比较所述第一图像与所述第二图像的瑕疵程度，当所述第一图像的所述瑕疵程度高于所述第二图像的所述瑕疵程度，选择所述第一图像以产生所述第一注记图像；
根据所述第一注记图像以及所述第二图像组成标签资料；以及
根据组成的所述标签资料训练所述神经网络学习分辨所述瑕疵程度。
8.根据权利要求7所述的训练方法，其特征在于，
所述第一图像对应于所述第一物件和所述第二物件的其中之一，并且所述第二图像对应于所述第一物件和所述第二物件的其中之一。
9.根据权利要求8所述的训练方法，其特征在于，所述监督式训练方法还包含：
自所述第一资料集抽样出第三图像，其中所述第三图像对应于所述第一物件和所述第二物件的其中之一；
自第二资料集抽样出第四图像，其中所述第四图像对应于第三物件；
响应于第二控制指令而对所述第三图像及所述第四图像的其中之一进行注记以产生第二注记图像，且未被注记的另一图像则作为未注记图像；
根据所述第二注记图像及所述未注记图像产生第二标签资料；
根据所述第二标签资料训练所述神经网络。
10.根据权利要求9所述的训练方法，其特征在于，
所述第二资料集对应于相异于所述第一物件及所述第二物件的第三物件、所述第三图像对应于所述第一物件和所述第二物件的其中之一，并且所述第四图像对应于所述第三物件。
11.一种基于神经网络的分类装置，其特征在于，所述基于神经网络的分类装置包括储存单元、图像撷取单元以及处理器，其中：
所述储存单元储存神经网络模块；
所述图像撷取单元用于产生受测图像；以及
所述处理器耦接所述储存单元，并且存取及执行所述神经网络模块，其中
所述神经网络模块接收参考图像以及所述受测图像，并且根据所述神经网络模块以及所述参考图像来对所述受测图像进行分类，借以产生所述受测图像的分类结果，其中所述神经网络模块为训练后的神经网络，所述神经网络的训练步骤包括：
自第一资料集抽样出第一图像和第二图像，所述第一资料集对应于第一物件及相异于所述第一物件的第二物件；
响应于第一控制指令而对所述第一图像进行注记以产生第一注记图像，其中所述第一控制指令相关于使用者比较所述第一图像与所述第二图像的瑕疵程度，当所述第一图像的所述瑕疵程度高于所述第二图像的所述瑕疵程度，选择所述第一图像以产生所述第一注记图像；
根据所述第一注记图像以及所述第二图像组成标签资料；以及
根据组成的所述标签资料训练所述神经网络学习分辨所述瑕疵程度；
其中，所述受测图像的所述分类结果相关于所述参考图像及所述受测图像的瑕疵程度差异。
12.根据权利要求11所述的基于神经网络的分类装置，其特征在于，所述参考图像对应于所述第一物件和所述第二物件的其中之一并且所述受测图像对应于所述第一物件和所述第二物件的其中之一。
13.根据权利要求12所述的基于神经网络的分类装置，其特征在于，所述神经网络的训练步骤包括：
自所述第一资料集抽样出第三图像，其中所述第三图像对应于所述第一物件和所述第二物件的其中之一；
自第二资料集抽样出第四图像，其中所述第四图像对应于第三物件；
响应于第二控制指令而对所述第三图像及所述第四图像的其中之一进行注记以产生第二注记图像，且未被注记的另一图像则作为未注记图像；
根据所述第二注记图像及所述未注记图像产生第二标签资料；
根据所述第二标签资料训练所述神经网络。
14.根据权利要求13所述的基于神经网络的分类装置，其特征在于，
所述第二资料集对应于相异于所述第一物件及所述第二物件的第三物件、所述第三图像对应于所述第一物件和所述第二物件的其中之一，并且所述第四图像对应于所述第三物件。
15.根据权利要求11所述的基于神经网络的分类装置，其中所述参考图像调整所述神经网络的漏检率和误判率的至少其中之一。
16.一种基于神经网络的分类方法，其特征在于，所述基于神经网络的分类方法包括：
接收参考图像以及受测图像；以及
根据所述神经网络以及所述参考图像来对所述受测图像进行分类，借以产生所述受测图像的分类结果，所述神经网络的训练步骤包括：
自第一资料集抽样出第一图像和第二图像，所述第一资料集对应于第一物件及相异于所述第一物件的第二物件；
响应于第一控制指令而对所述第一图像进行注记以产生第一注记图像，其中所述第一控制指令相关于使用者比较所述第一图像与所述第二图像的瑕疵程度，当所述第一图像的所述瑕疵程度高于所述第二图像的所述瑕疵程度，选择所述第一图像以产生所述第一注记图像；
根据所述第一注记图像以及所述第二图像组成标签资料；以及
根据组成的所述标签资料训练所述神经网络学习分辨所述瑕疵程度；
其中，所述受测图像的所述分类结果相关于所述参考图像及所述受测图像的瑕疵程度差异。
17.根据权利要求16所述的基于神经网络的分类方法，其特征在于，所述参考图像对应于所述第一物件和所述第二物件的其中之一并且所述受测图像对应于所述第一物件和所述第二物件的其中之一。
18.根据权利要求17所述的基于神经网络的分类方法，其特征在于，所述神经网络的训练步骤包括：
自所述第一资料集抽样出第三图像，其中所述第三图像对应于所述第一物件和所述第二物件的其中之一；
自第二资料集抽样出第四图像，其中所述第四图像对应于第三物件；
响应于第二控制指令而对所述第三图像及所述第四图像的其中之一进行注记以产生第二注记图像，且未被注记的另一图像则作为未注记图像；
根据所述第二注记图像及所述未注记图像产生第二标签资料；
根据所述第二标签资料训练所述神经网络。
19.根据权利要求18所述的基于神经网络的分类方法，其特征在于，
所述第二资料集对应于相异于所述第一物件及所述第二物件的第三物件，所述第三图像对应于所述第一物件和所述第二物件的其中之一，并且所述第四图像对应于所述第三物件。
20.根据权利要求16所述的基于神经网络的分类方法，其特征在于，所述参考图像调整所述神经网络的漏检率和误判率的至少其中之一。
CN201910091607.8A 2019-01-30 2019-01-30 神经网络的训练方法、基于神经网络的分类方法及其装置 Active CN111507362B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201910091607.8A CN111507362B (zh) 2019-01-30 2019-01-30 神经网络的训练方法、基于神经网络的分类方法及其装置
TW108109436A TWI688904B (zh) 2019-01-30 2019-03-20 神經網路的訓練方法、基於神經網路的分類方法及其裝置
US16/748,817 US11669734B2 (en) 2019-01-30 2020-01-22 Training method of neural network and classification method based on neural network and device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910091607.8A CN111507362B (zh) 2019-01-30 2019-01-30 神经网络的训练方法、基于神经网络的分类方法及其装置

Publications (2)

Publication Number Publication Date
CN111507362A CN111507362A (zh) 2020-08-07
CN111507362B true CN111507362B (zh) 2023-12-19

Family

ID=70766935

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910091607.8A Active CN111507362B (zh) 2019-01-30 2019-01-30 神经网络的训练方法、基于神经网络的分类方法及其装置

Country Status (3)

Country Link
US (1) US11669734B2 (zh)
CN (1) CN111507362B (zh)
TW (1) TWI688904B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814913A (zh) * 2020-08-20 2020-10-23 深圳市欢太科技有限公司 图像分类模型的训练方法、装置、电子设备及存储介质
CN112183283B (zh) * 2020-09-22 2024-09-24 北京金山云网络技术有限公司 一种基于图像的年龄估计方法、装置、设备及存储介质
CN114723651A (zh) * 2020-12-22 2022-07-08 东方晶源微电子科技（北京）有限公司 缺陷检测模型训练方法和缺陷检测方法及装置和设备
US11893792B2 (en) * 2021-03-25 2024-02-06 Adobe Inc. Integrating video content into online product listings to demonstrate product features
CN113537389B (zh) * 2021-08-05 2023-11-07 京东科技信息技术有限公司 基于模型嵌入的鲁棒图像分类方法和装置
US11640705B1 (en) * 2021-12-17 2023-05-02 Lodestar Software Inc. Active learning with human feedback loop to optimize future sampling priority

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CN104794489A (zh) * 2015-04-23 2015-07-22 苏州大学 一种基于深度标签预测的诱导式图像分类方法及系统
CN105845127A (zh) * 2015-01-13 2016-08-10 阿里巴巴集团控股有限公司 语音识别方法及其系统
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN108229591A (zh) * 2018-03-15 2018-06-29 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108229526A (zh) * 2017-06-16 2018-06-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108875934A (zh) * 2018-05-28 2018-11-23 北京旷视科技有限公司 一种神经网络的训练方法、装置、系统及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7747070B2 (en) * 2005-08-31 2010-06-29 Microsoft Corporation Training convolutional neural networks on graphics processing units
US8306819B2 (en) * 2009-03-09 2012-11-06 Microsoft Corporation Enhanced automatic speech recognition using mapping between unsupervised and supervised speech model parameters trained on same acoustic training data
EP2915101A4 (en) * 2012-11-02 2017-01-11 Itzhak Wilf Method and system for predicting personality traits, capabilities and suggested interactions from images of a person
WO2015078018A1 (en) * 2013-11-30 2015-06-04 Xiaoou Tang Method and system for face image recognition
WO2015180101A1 (en) * 2014-05-29 2015-12-03 Beijing Kuangshi Technology Co., Ltd. Compact face representation
CN106471526B (zh) * 2014-08-29 2019-03-08 谷歌有限责任公司 用于处理图像的方法和系统
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
CN108475415B (zh) * 2015-12-21 2022-05-27 商汤集团有限公司 用于图像处理的方法和系统
US9734207B2 (en) * 2015-12-28 2017-08-15 Entelo, Inc. Entity resolution techniques and systems
TWI581213B (zh) 2015-12-28 2017-05-01 力晶科技股份有限公司 物品缺陷檢測方法、影像處理系統與電腦可讀取記錄媒體
US11205120B2 (en) * 2016-12-22 2021-12-21 Samsung Electronics Co., Ltd System and method for training deep learning classification networks
JP7132701B2 (ja) * 2017-08-10 2022-09-07 株式会社ブリヂストン タイヤ画像の認識方法及びタイヤ画像の認識装置
US10282589B2 (en) * 2017-08-29 2019-05-07 Konica Minolta Laboratory U.S.A., Inc. Method and system for detection and classification of cells using convolutional neural networks
US10467503B1 (en) * 2018-09-05 2019-11-05 StradVision, Inc. Method and device for generating image data set to be used for learning CNN capable of detecting obstruction in autonomous driving circumstance
US10970599B2 (en) * 2018-11-15 2021-04-06 Adobe Inc. Learning copy space using regression and segmentation neural networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CN105845127A (zh) * 2015-01-13 2016-08-10 阿里巴巴集团控股有限公司 语音识别方法及其系统
CN104794489A (zh) * 2015-04-23 2015-07-22 苏州大学 一种基于深度标签预测的诱导式图像分类方法及系统
CN107622274A (zh) * 2016-07-15 2018-01-23 北京市商汤科技开发有限公司 用于图像处理的神经网络训练方法、装置以及计算机设备
CN108229526A (zh) * 2017-06-16 2018-06-29 北京市商汤科技开发有限公司 网络训练、图像处理方法、装置、存储介质和电子设备
CN108416370A (zh) * 2018-02-07 2018-08-17 深圳大学 基于半监督深度学习的图像分类方法、装置和存储介质
CN108229591A (zh) * 2018-03-15 2018-06-29 北京市商汤科技开发有限公司 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108875934A (zh) * 2018-05-28 2018-11-23 北京旷视科技有限公司 一种神经网络的训练方法、装置、系统及存储介质

Also Published As

Publication number Publication date
US11669734B2 (en) 2023-06-06
TWI688904B (zh) 2020-03-21
CN111507362A (zh) 2020-08-07
TW202029070A (zh) 2020-08-01
US20200242415A1 (en) 2020-07-30

Similar Documents

Publication Publication Date Title
CN111507362B (zh) 神经网络的训练方法、基于神经网络的分类方法及其装置
CN109086756B (zh) 一种基于深度神经网络的文本检测分析方法、装置及设备
US10810721B2 (en) Digital image defect identification and correction
US10803398B2 (en) Apparatus and method for information processing
US9070044B2 (en) Image adjustment
US10573044B2 (en) Saliency-based collage generation using digital images
US20160026872A1 (en) Identifying presentation styles of educational videos
JP2016040650A (ja) 分類器構築方法、画像分類方法および画像分類装置
US11244204B2 (en) Determining video cuts in video clips
CN115136209A (zh) 缺陷检测系统
US12002085B2 (en) Digital image ordering using object position and aesthetics
WO2020041610A1 (en) System and method for automated electronic catalogue management and electronic image quality assessment
CN114330588A (zh) 一种图片分类方法、图片分类模型训练方法及相关装置
US20140241618A1 (en) Combining Region Based Image Classifiers
JP2021111279A (ja) ラベルノイズ検出プログラム、ラベルノイズ検出方法及びラベルノイズ検出装置
CN109271998A (zh) 字符识别方法、装置、设备及存储介质
JP2017162232A (ja) 教師データ作成支援装置、画像分類装置、教師データ作成支援方法および画像分類方法
CN110457155B (zh) 一种样本类别标签的修正方法、装置及电子设备
CN117173154A (zh) 玻璃瓶的在线图像检测系统及其方法
CN112232288A (zh) 一种基于深度学习的卫星图目标识别方法及系统
US11790270B2 (en) User-generated visual guide for the classification of images
US11893784B2 (en) Assessment of image quality for optical character recognition using machine learning
US11514311B2 (en) Automated data slicing based on an artificial neural network
El Maghraby Improving Custom Vision cognitive services model
Seman et al. Classification of handwriting impairment using CNN for potential dyslexia symptom

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant