JP2020087211A - 学習モデル生成装置、種類判別システム、及び学習モデル生成方法 - Google Patents

学習モデル生成装置、種類判別システム、及び学習モデル生成方法 Download PDF

Info

Publication number
JP2020087211A
JP2020087211A JP2018224021A JP2018224021A JP2020087211A JP 2020087211 A JP2020087211 A JP 2020087211A JP 2018224021 A JP2018224021 A JP 2018224021A JP 2018224021 A JP2018224021 A JP 2018224021A JP 2020087211 A JP2020087211 A JP 2020087211A
Authority
JP
Japan
Prior art keywords
image
unit
compression
learning model
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018224021A
Other languages
English (en)
Other versions
JP7281041B2 (ja
Inventor
田中　一徳
Kazunori Tanaka
一徳 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2018224021A priority Critical patent/JP7281041B2/ja
Priority to US16/692,275 priority patent/US11315233B2/en
Publication of JP2020087211A publication Critical patent/JP2020087211A/ja
Application granted granted Critical
Publication of JP7281041B2 publication Critical patent/JP7281041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00037—Detecting, i.e. determining the occurrence of a predetermined state
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H04N1/411—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures
    • H04N1/4115—Bandwidth or redundancy reduction for the transmission or storage or reproduction of two-tone pictures, e.g. black and white pictures involving the recognition of specific patterns, e.g. by symbol matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30144—Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】画像サイズが大きいものであったとしても、高周波及び低周波の異常（欠陥画像）の両方を適切に検出できるようにする。【解決手段】欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置１０であって、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を分割する第１分割部１１２と、分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部１１３と、学習用印刷物の画像を圧縮する第１圧縮部１１４と、を備え、更に、第１分割部１１２は、第１圧縮部１１４が圧縮して得られた圧縮画像を分割し、学習モデル生成部１１３は、圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。【選択図】図１

Description

本発明は、学習モデル生成装置、種類判別装置、及び学習モデル生成方法に関し、特に、学習モデルを生成し、生成した学習モデルを用いて欠陥画像の種類を推論する技術に関する。
近年、製造現場などで、人口知能や、ディープラーニングと呼ばれる深層学習を用いて、製品の外観検査等を自動化する仕組みが導入されつつある（例えば、下記特許文献１，２参照）。
特開２０１７−０７６２８９号公報 特開２０１８−１２０３００号公報
プリンターから出力された印刷物を用いて、当該プリンターの検査を行いたい場合、まず、図５に示すように、欠陥画像を有する印刷物群Ｐ１乃至Ｐ３（例えば、色ムラ、筋状の汚れ、白点）及び欠陥画像を有しない印刷物群Ｐ４からなる大量のデータセットＤＳを準備し、それら大量のデータセットＤＳをニューラルネットワークＮＮで学習させることで、それぞれの特徴を記憶した学習モデルＭを生成する（学習フェーズ）。
様々な種類のデータセットＤＳを大量にニューラルネットワークＮＮに学習させることで、未知の「入力」から適切な「出力」を推論する学習モデルＭを獲得することができる。例えば、図６に示すように、学習モデルＭを用いて、データセットＤＳに存在しない未知の印刷物ＰＡに対応する欠陥画像の種類を推論することで、印刷物ＰＡが「白点」の欠陥画像を有していると判別することが可能となる（推論フェーズ）。
ところで、ニューラルネットワークでの学習は膨大な演算処理を行う必要がある。そのため、データセットの画像サイズが大き過ぎると、ニューラルネットワークでの学習を行うことが困難になる。
このような問題を解決するには、データセットの画像サイズを小さくすればよく、その方法としては、次の２つが考えられる。一つは、画像の圧縮処理を行い、圧縮処理後のデータセットをニューラルネットワークに学習させることである。もう一つは、画像の分割処理を行い、分割処理後のデータセットをニューラルネットワークに学習させることである。
しかしながら、画像を圧縮し過ぎると、細かな傷など、高周波の異常（欠陥画像）が見えなくなってしまうおそれがある。一方、画像を細かく分割した場合は、傷などの高周波の異常は検出できるが、図７に示すように、色ムラなどの低周波の異常が検出できなくなるおそれがある。図７（Ａ）は、色ムラの欠陥画像が生じている印刷物ＰＢを示し、図７（Ｂ）は、印刷物ＰＢに形成されている画像を分割した状態を示し、図７（Ｃ）は、分割画像の１ブロック分を示している。
従って、画像の圧縮処理を行ったり、分割処理を行ったりすると、高周波の異常、低周波の異常のいずれかを検出できない場合がある。また、上記特許文献１，２には、検査精度を向上させる技術について記載されているが、上記のような高周波及び低周波の異常の両方を検出できる仕組みについての記載はない。
本発明は、上記の事情に鑑みなされたものであり、画像サイズが大きいものであったとしても、高周波及び低周波の異常（欠陥画像）の両方を適切に検出できるようにすることを目的とする。
本発明の一局面に係る学習モデル生成装置は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置であって、前記学習用印刷物の画像を読み取る第１画像読取部と、前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する第１分割部と、前記第１分割部による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部と、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する第１圧縮部と、を備え、更に、前記第１分割部は、前記第１圧縮部が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成部は、前記第１圧縮部が圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。
また、本発明の一局面に係る種類判別装置は、上記学習モデル生成装置によって生成された前記第１学習モデル及び前記第２学習モデルを用いて、検査対象印刷物が有する欠陥画像の種類を判別する種類判別装置であって、前記検査対象印刷物の画像を読み取る第２画像読取部と、前記第２画像読取部による読み取りで得られた前記検査対象印刷物の画像を、前記第１分割条件と同じ分割条件で分割する第２分割部と、前記第１学習モデルを用いて、前記第２分割部による分割で得られた分割画像に対応する欠陥画像の種類を推論する推論部と、前記検査対象印刷物の画像を、前記第１圧縮条件と同じ圧縮条件で圧縮する第２圧縮部と、を備え、更に、前記第２分割部は、前記第２圧縮部が圧縮して得られた圧縮画像を、前記第２分割条件と同じ分割条件で分割し、前記推論部は、前記第２学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する。
また、本発明の一局面に係る学習モデル生成方法は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成方法であって、前記学習用印刷物の画像を読み取る画像読取ステップと、前記画像読取ステップによる読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する分割ステップと、前記分割ステップによる分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成ステップと、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する圧縮ステップと、を有し、更に、前記分割ステップでは、前記圧縮ステップで圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成ステップでは、前記圧縮ステップで圧縮して前記分割ステップで分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。
圧縮していない分割画像（画像領域が比較的狭い）を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。一方、圧縮分割画像（画像領域が比較的広い）を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。
本発明によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１学習モデル及び第２学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１学習モデル及び第２学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。
本発明の一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。 （Ａ）乃至（Ｃ）は、分割画像それぞれの画像領域を説明するための説明図である。 学習モデル生成装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 種類判別装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 学習モデルを生成するまでの流れを説明するための説明図である。 学習モデルを用いて、未知の入力から適切な出力を推論する流れを説明するための説明図である。 （Ａ）は、色ムラの欠陥画像が生じている印刷物を示した図であり、（Ｂ）は、印刷物に形成されている画像を分割した状態を示した図であり、（Ｃ）は、分割画像の１ブロック分を示した図である。
以下、本発明の一実施形態に係る学習モデル生成装置、種類判別装置、学習モデル生成方法、及び種類判別システムについて図面を参照して説明する。図１は、一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。種類判別システム１は、学習モデル生成装置１０と、種類判別装置２０と、を含んで構成される。
学習モデル生成装置１０は、制御ユニット１１と、操作部１２と、表示部１３と、記憶部１４と、通信インターフェイス部（通信Ｉ／Ｆ）１５と、第１画像読取部１６と、を備える。
操作部１２は、キーボードやマウス等から構成され、制御ユニット１１にコマンドや文字を入力したり、表示部１３における画面上のポインターを操作したりする。表示部１３は、制御ユニット１１からの応答やデータ結果を表示する。
記憶部１４は、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、学習モデル生成装置１０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部１４１を含む。
通信インターフェイス部１５は、不図示のＬＡＮ（Local Area Network）チップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。学習モデル生成装置１０は、通信インターフェイス部１５を介して、種類判別装置２０との間でデータの送受信を行う。
第１画像読取部１６は、光照射部及びＣＣＤ（Charge Coupled Device）センサー等を有する読取機構（図示せず）を備え、制御ユニット１１を構成する制御部１１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、学習用印刷物）の画像を光学的に読み取る。画像の読み取りは、第１画像読取部１６における読み取り可能最高解像度（例えば、600dpi）で行われる。
例えば、Ａ３サイズ（297×210mm）の学習用印刷物を第１画像読取部１６が解像度600dpiで読み取った場合、第１画像読取部１６による読み取りで得られる画像は「9921×7016ピクセル（画素）」で構成される。なお、学習用印刷物としては、図５に示した印刷物群Ｐ１乃至Ｐ４を構成する印刷物が挙げられる。
制御ユニット１１は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。制御ユニット１１は、制御部１１１と、第１分割部１１２と、学習モデル生成部１１３と、第１圧縮部１１４と、を備えている。
制御ユニット１１は、記憶部１４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部１１１、第１分割部１１２、学習モデル生成部１１３、及び第１圧縮部１１４として機能する。但し、制御ユニット１１等の上記の各構成は、制御ユニット１１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
制御部１１１は、学習モデル生成装置１０の全体的な動作制御を司る。制御部１１１は、操作部１２、表示部１３、記憶部１４、通信インターフェイス部１５、及び第１画像読取部１６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。
第１分割部１１２は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１分割条件で分割する。例えば、第１分割条件が「a×b画素」単位で画像を分割することに設定されている場合、「24a×24b画素」で構成されている画像は、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。
学習モデル生成部１１３は、第１分割部１１２による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成し、生成した学習モデルを学習モデル記憶部１４１に保存する。例えば、学習モデル生成部１１３は、図５に示したような、印刷物群Ｐ１乃至Ｐ４の画像を分割した分割画像を、ニューラルネットワークで学習することで、それぞれの特徴を記憶した学習モデルを生成する。
従って、学習モデル生成部１１３は、データセットとなる画像を大量に学習することで、図６に示したように、未知の「入力」から適切な「出力」を推論する学習モデルを生成することができる。なお、図５では、欠陥画像の種類として「色ムラ」、「筋状の汚れ」、「白点」だけを例に挙げているが、欠陥画像の種類はこれらに限定されず、他に「傷」や「黒点」等が挙げられる。
第１圧縮部１１４は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する。例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。
後で詳しく説明するが、第１分割部１１２は、第１圧縮部１１４が圧縮して得られた圧縮画像についても分割を行い、学習モデル生成部１１３は、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対しても学習を行う。
種類判別装置２０は、制御ユニット２１と、操作部２２と、表示部２３と、記憶部２４と、通信インターフェイス部（通信Ｉ／Ｆ）２５と、第２画像読取部２６と、を備える。
操作部２２は、キーボードやマウス等から構成され、制御ユニット２１にコマンドや文字を入力したり、表示部２３における画面上のポインターを操作したりする。表示部２３は、制御ユニット２１からの応答やデータ結果を表示する。
記憶部２４は、ＨＤＤなどの記憶装置であり、種類判別装置２０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部２４１を含む。
通信インターフェイス部２５は、不図示のＬＡＮチップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。種類判別装置２０は、通信インターフェイス部２５を介して、学習モデル生成装置１０との間でデータの送受信を行う。
第２画像読取部２６は、光照射部及びＣＣＤセンサー等を有する読取機構（図示せず）を備え、制御ユニット２１を構成する制御部２１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、検査対象印刷物）の画像を光学的に読み取る。画像の読み取りは、第２画像読取部２６における読み取り可能最高解像度（例えば、600dpi）で行われる。検査対象印刷物は、例えば、製造現場においてプリンターや複合機等から出力された印刷物で、これらプリンターや複合機等の検査に用いられる。
制御ユニット２１は、プロセッサー、ＲＡＭ、ＲＯＭ、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ、ＡＳＩＣ、ＭＰＵ、又はＧＰＵ等である。制御ユニット２１は、制御部２１１と、第２分割部２１２と、推論部２１３と、特定部２１４と、第２圧縮部２１５と、を備えている。
制御ユニット２１は、記憶部２４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部２１１、第２分割部２１２、推論部２１３、特定部２１４、及び第２圧縮部２１５として機能する。但し、制御ユニット２１等の上記の各構成は、制御ユニット２１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
制御部２１１は、種類判別装置２０の全体的な動作制御を司る。制御部２１１は、操作部２２、表示部２３、記憶部２４、通信インターフェイス部２５、及び第２画像読取部２６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。
第２分割部２１２は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１分割条件（すなわち、第１学習モデルを生成する際に、学習モデル生成部１０が用いた分割条件）と同じ分割条件で分割する。
推論部２１３は、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を判定して、当該判定結果を推論結果とし、当該推論結果の信頼度（確からしさ）を特定部２１４に出力する。例えば、推論部２１３は、欠陥画像が「白点」である確率が「９９％」、「筋状の汚れ」である確率が「０．５％」、「傷」である確率が「０．５％」という推論結果の信頼度を数値化したものを特定部２１４に出力する。
特定部２１４は、推論部２１３による推論結果に基づいて、検査対象印刷物に欠陥画像が発生しているか否かを判定すると共に、欠陥画像が発生している場合には、その種類を特定する。
特定部２１４は、推論部２１３から出力された信頼度の中に、予め定められた閾値（例えば、５０％）以上のものが存在すると判断した場合、該当する推論結果を採用し、検査対象印刷物が有する欠陥画像の種類を特定する。一方、特定部２１４は、推論部２１３から出力された信頼度の中に、上記閾値以上のものが存在しないと判断した場合（つまり、すべての分割画像で異常を示す閾値以上とならなかった場合）、検査対象印刷物に異常はないと判定する。
ところで、上記信頼度については、異なる欠陥画像の種類において上記閾値以上になり、欠陥画像の種類の判別が難しくなることが考えられる。例えば、ある分割画像に対応する推論結果では、欠陥画像が「白点」である確率が「５６％」を示し、別の分割画像に対応する推論結果では、欠陥画像が「筋状の汚れ」である確率が「５８％」を示す、といったことが考えられる。
そのような場合、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定する。
例えば、欠陥画像が「筋状の汚れ」の場合、推論結果が欠陥画像を示す分割画像は、一定の周期で出現し、欠陥画像が「白点」の場合、推論結果が欠陥画像を示す分割画像は、ある部分で集中して出現する。従って、推論結果が欠陥画像を示す分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定することが可能である。
第２圧縮部２１５は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１圧縮条件（すなわち、第２学習モデルを生成する際に、学習モデル生成装置１０が用いた圧縮条件）と同じ圧縮条件で圧縮する。
後で詳しく説明するが、第２分割部２１２は、第２圧縮部２１５が圧縮して得られた圧縮画像についても分割を行い、推論部２１３は、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類についても推論する。
次に、学習モデル生成装置１０における制御ユニット１１で行われる処理動作の一例について図３に示したフローチャートに基づいて説明する。なお、この処理動作は、学習用印刷物の読み取りのユーザー指示を、操作部１２を介して制御部１１１が受け付けた場合に行われる処理動作である。
まず、制御部１１１は、第１画像読取部１６に、学習用印刷物の画像を読み取らせ（Ｓ１）、第１分割部１１２が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１分割条件で分割し（Ｓ２）、学習モデル生成部１１３が、第１分割部１１２による分割で得られた分割画像に対して学習を行い（Ｓ３）、欠陥画像の種類を推論するための第１学習モデルを生成する（Ｓ４）。
上記したように、第１分割条件が「a×b画素」単位での画像分割と設定されている場合、「24a×24b画素」で構成されている画像は、分割によって、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。圧縮していない分割画像は、図２（Ａ）に示すように、画像領域が狭い。そのため、圧縮していない分割画像を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。
続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件で圧縮し（Ｓ５）、第１分割部１１２が、第１圧縮部１１４が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し（Ｓ６）、学習モデル生成部１１３が、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ７）、欠陥画像の種類を推論するための第２学習モデルを生成する（Ｓ８）。
例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。
第２分割条件は第１分割条件と同じでもよく、第２分割条件が「a×b画素」単位での画像分割と設定されている場合、「12a×12b画素」で構成されている画像は、分割によって、図２（Ｂ）に示すように、144（＝12×12）ブロックの画像に分割される。圧縮分割画像は、図２（Ｂ）に示すように、圧縮していない分割画像よりも画像領域がやや広い。そのため、圧縮分割画像を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。
続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件とは異なる予め定められた第２圧縮条件で圧縮し（Ｓ９）、第１分割部１１２が、第１圧縮部１１４が第２圧縮条件で圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し（Ｓ１０）、学習モデル生成部１１３が、第１圧縮部１１４が第２圧縮条件で圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ１１）、欠陥画像の種類を推論するための第３学習モデルを生成し（Ｓ１２）、この処理動作を終了する。
例えば、第２圧縮条件が圧縮率２５％に設定されている場合、「24a×24b画素」で構成されている画像は「6a×6b画素」で構成される画像となる。
第３分割条件は第１分割条件と同じでもよく、第３分割条件が「a×b画素」単位での画像分割と設定されている場合、「6a×6b画素」で構成されている画像は、分割によって、図２（Ｃ）に示すように、36（＝6×6）ブロックの画像に分割される。大きい圧縮率で得られた圧縮分割画像は、図２（Ｃ）に示すように、小さい圧縮率で得られた圧縮分割画像よりも画像領域が広い。そのため、大きい圧縮率で得られた圧縮分割画像を学習することで生成された第３学習モデルは、低周波の異常の検出により一層適している。
また、Ｓ９では、第１圧縮部１１４が、学習用印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第１圧縮部１１４は、Ｓ５での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ５において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ９において、更に圧縮率５０％で圧縮する。
次に、種類判別装置２０における制御ユニット２１で行われる処理動作の一例について図４に示したフローチャートに基づいて説明する。なお、この処理動作は、検査対象印刷物の読み取りのユーザー指示を、操作部２２を介して制御部２１１が受け付けた場合に行われる処理動作である。
まず、制御部２１１は、第２画像読取部２６に、検査対象印刷物の画像を読み取らせ（Ｓ２１）、第２分割部２１２が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第１学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１分割条件で分割し（Ｓ２２）、推論部２１３が、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２３）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ１以上のものが存在するか否かを判断し（Ｓ２４）、信頼度が閾値Ｔ１以上のものが存在すると判断した場合（Ｓ２４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ２５）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が１種類であっても、その欠陥の由来（原因）を特定できるとは限らない。例えば、ドラムユニット由来の「黒点」や、何かのゴミによる「黒点」があった場合、これらを単体の見た目では区別できなかったとしても、周期性を確認することで欠陥の由来を判別することが可能となる。
Ｓ２４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ１以上のものが存在しない（すなわち、Ｓ２２での分割で得られた、すべての分割画像において異常を示す閾値Ｔ１以上にならない）と判断した場合（Ｓ２４でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１圧縮条件で圧縮する（Ｓ２６）。
続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２分割条件で分割し（Ｓ２７）、推論部２１３が、第２学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２８）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ２以上のものが存在するか否かを判断し（Ｓ２９）、信頼度が閾値Ｔ２以上のものが存在すると判断した場合（Ｓ２９でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３０）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ２以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。
Ｓ２９において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ２以上のものが存在しない（すなわち、Ｓ２７での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ２以上にならない）と判断した場合（Ｓ２９でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２圧縮条件で圧縮する（Ｓ３１）。
続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第３分割条件で分割し（Ｓ３２）、推論部２１３が、第３学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ３３）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ３以上のものが存在するか否かを判断し（Ｓ３４）、信頼度が閾値Ｔ３以上のものが存在すると判断した場合（Ｓ３４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３５）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ３以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。
Ｓ３４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ３以上のものが存在しない（すなわち、Ｓ３２での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ３以上にならない）と判断した場合（Ｓ３４でＮＯ）、検査対象印刷物に欠陥画像は存在しない「異常なし」と判定し（Ｓ３６）、この処理動作を終了する。
また、Ｓ３１では、第２圧縮部２１５が、検査対象印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第２圧縮部２１５は、Ｓ２６での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ２６において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ３１において、更に圧縮率５０％で圧縮する。
上記実施形態によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデル及び第３学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１乃至第３学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１乃至第３学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。
なお、上記実施形態では、圧縮分割画像を学習することで、低周波の異常の検出に適した学習モデルとして、第２学習モデルと第３学習モデルの２種類を生成する場合について説明しているが、上記学習モデルは２種類に限定する必要はなく、３種類以上生成するようにしてもよい。当然ではあるが、種類を増やした方が欠陥画像の判別精度は高くなる。逆に、判別精度は落ちるが、第３学習モデルを生成せず、第２学習モデルだけを生成するようにしてもよい。
また、上記実施形態では、まず、第１学習モデルを用いての推論及び判別（図４のＳ２１乃至Ｓ２５）を行い、その処理が終了してから、第２学習モデルを用いての推論及び判別（Ｓ２６乃至Ｓ３０）を行い、その処理が終了してから、第３学習モデルを用いての推論及び判別（Ｓ３１乃至Ｓ３５）を行う場合について説明しているが、別の実施形態では、推論部２１３及び特定部２１４がこれら推論及び判別の処理を並行して行い、途中で、欠陥画像の種類を判別できた場合には、並行で行っていた処理を終了し、新たな次の処理へ進むようにしてもよい。これにより、処理時間を削減することができる。
なお、上記実施形態では、学習モデル生成装置１０が、種類判別装置２０と別の装置として構成される場合について説明しているが、学習モデル生成装置１０を構成する各機能については、種類判別装置２０が備えるようにしてもよい。
本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、図１乃至図７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
１０ 学習モデル生成装置
１６ 第１画像読取部
２０ 種類判別装置
２６ 第２画像読取部
１１２ 第１分割部
１１３ 学習モデル生成部
１１４ 第１圧縮部
２１２ 第２分割部
２１３ 推論部
２１４ 特定部
２１５ 第２圧縮部
本発明は、学習モデル生成装置、種類判別システム、及び学習モデル生成方法に関し、特に、学習モデルを生成し、生成した学習モデルを用いて欠陥画像の種類を推論する技術に関する。
近年、製造現場などで、人口知能や、ディープラーニングと呼ばれる深層学習を用いて、製品の外観検査等を自動化する仕組みが導入されつつある（例えば、下記特許文献１，２参照）。
特開２０１７−０７６２８９号公報 特開２０１８−１２０３００号公報
プリンターから出力された印刷物を用いて、当該プリンターの検査を行いたい場合、まず、図５に示すように、欠陥画像を有する印刷物群Ｐ１乃至Ｐ３（例えば、色ムラ、筋状の汚れ、白点）及び欠陥画像を有しない印刷物群Ｐ４からなる大量のデータセットＤＳを準備し、それら大量のデータセットＤＳをニューラルネットワークＮＮで学習させることで、それぞれの特徴を記憶した学習モデルＭを生成する（学習フェーズ）。
様々な種類のデータセットＤＳを大量にニューラルネットワークＮＮに学習させることで、未知の「入力」から適切な「出力」を推論する学習モデルＭを獲得することができる。例えば、図６に示すように、学習モデルＭを用いて、データセットＤＳに存在しない未知の印刷物ＰＡに対応する欠陥画像の種類を推論することで、印刷物ＰＡが「白点」の欠陥画像を有していると判別することが可能となる（推論フェーズ）。
ところで、ニューラルネットワークでの学習は膨大な演算処理を行う必要がある。そのため、データセットの画像サイズが大き過ぎると、ニューラルネットワークでの学習を行うことが困難になる。
このような問題を解決するには、データセットの画像サイズを小さくすればよく、その方法としては、次の２つが考えられる。一つは、画像の圧縮処理を行い、圧縮処理後のデータセットをニューラルネットワークに学習させることである。もう一つは、画像の分割処理を行い、分割処理後のデータセットをニューラルネットワークに学習させることである。
しかしながら、画像を圧縮し過ぎると、細かな傷など、高周波の異常（欠陥画像）が見えなくなってしまうおそれがある。一方、画像を細かく分割した場合は、傷などの高周波の異常は検出できるが、図７に示すように、色ムラなどの低周波の異常が検出できなくなるおそれがある。図７（Ａ）は、色ムラの欠陥画像が生じている印刷物ＰＢを示し、図７（Ｂ）は、印刷物ＰＢに形成されている画像を分割した状態を示し、図７（Ｃ）は、分割画像の１ブロック分を示している。
従って、画像の圧縮処理を行ったり、分割処理を行ったりすると、高周波の異常、低周
波の異常のいずれかを検出できない場合がある。また、上記特許文献１，２には、検査精度を向上させる技術について記載されているが、上記のような高周波及び低周波の異常の両方を検出できる仕組みについての記載はない。
本発明は、上記の事情に鑑みなされたものであり、画像サイズが大きいものであったとしても、高周波及び低周波の異常（欠陥画像）の両方を適切に検出できるようにすることを目的とする。
本発明の一局面に係る学習モデル生成装置は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置であって、前記学習用印刷物の画像を読み取る第１画像読取部と、前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する第１分割部と、前記第１分割部による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部と、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する第１圧縮部と、を備え、更に、前記第１分割部は、前記第１圧縮部が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成部は、前記第１圧縮部が圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。
また、本発明の一局面に係る種類判別システムは、上記学習モデル生成装置と、前記学習モデル生成装置によって生成された前記第１学習モデル及び前記第２学習モデルを用いて、検査対象印刷物が有する欠陥画像の種類を判別する種類判別装置とを備える種類判別システムであって、前記種類判別装置は、前記検査対象印刷物の画像を読み取る第２画像読取部と、前記第２画像読取部による読み取りで得られた前記検査対象印刷物の画像を、前記第１分割条件と同じ分割条件で分割する第２分割部と、前記第１学習モデルを用いて、前記第２分割部による分割で得られた分割画像に対応する欠陥画像の種類を推論する推論部と、前記検査対象印刷物の画像を、前記第１圧縮条件と同じ圧縮条件で圧縮する第２圧縮部と、を備え、更に、前記第２分割部は、前記第２圧縮部が圧縮して得られた圧縮画像を、前記第２分割条件と同じ分割条件で分割し、前記推論部は、前記第２学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する。
また、本発明の一局面に係る学習モデル生成方法は、欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成方法であって、前記学習用印刷物の画像を読み取る画像読取ステップと、前記画像読取ステップによる読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する分割ステップと、前記分割ステップによる分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成ステップと、前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する圧縮ステップと、を有し、更に、前記分割ステップでは、前記圧縮ステップで圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、前記学習モデル生成ステップでは、前記圧縮ステップで圧縮して前記分割ステップで分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する。
圧縮していない分割画像（画像領域が比較的狭い）を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。一方、圧縮分割画像（画像領域が比較的広い）を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。
本発明によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１学習モデル及び第２学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１学習モデル及び第２学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。
本発明の一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。 （Ａ）乃至（Ｃ）は、分割画像それぞれの画像領域を説明するための説明図である。 学習モデル生成装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 種類判別装置における制御ユニットで行われる処理動作の一例を示したフローチャートである。 学習モデルを生成するまでの流れを説明するための説明図である。 学習モデルを用いて、未知の入力から適切な出力を推論する流れを説明するための説明図である。 （Ａ）は、色ムラの欠陥画像が生じている印刷物を示した図であり、（Ｂ）は、印刷物に形成されている画像を分割した状態を示した図であり、（Ｃ）は、分割画像の１ブロック分を示した図である。
以下、本発明の一実施形態に係る学習モデル生成装置、種類判別装置、学習モデル生成方法、及び種類判別システムについて図面を参照して説明する。図１は、一実施形態に係る学習モデル生成装置及び種類判別装置を含んで構成される種類判別システムの主要内部構成を概略的に示した機能ブロック図である。種類判別システム１は、学習モデル生成装置１０と、種類判別装置２０と、を含んで構成される。
学習モデル生成装置１０は、制御ユニット１１と、操作部１２と、表示部１３と、記憶部１４と、通信インターフェイス部（通信Ｉ／Ｆ）１５と、第１画像読取部１６と、を備える。
操作部１２は、キーボードやマウス等から構成され、制御ユニット１１にコマンドや文字を入力したり、表示部１３における画面上のポインターを操作したりする。表示部１３は、制御ユニット１１からの応答やデータ結果を表示する。
記憶部１４は、ＨＤＤ（Hard Disk Drive）などの記憶装置であり、学習モデル生成装置１０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部１４１を含む。
通信インターフェイス部１５は、不図示のＬＡＮ（Local Area Network）チップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。学習モデル生成装置１０は、通信インターフェイス部１５を介して、種類判別装置２０との間でデータの送受信を行う。
第１画像読取部１６は、光照射部及びＣＣＤ（Charge Coupled Device）センサー等を有する読取機構（図示せず）を備え、制御ユニット１１を構成する制御部１１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、学習用印刷物）の画像を光学的に読み取る。画像の読み取りは、第１画像読取部１６における読み取り可能最高解像度（例えば、600dpi）で行われる。
例えば、Ａ３サイズ（297×210mm）の学習用印刷物を第１画像読取部１６が解像度600dpiで読み取った場合、第１画像読取部１６による読み取りで得られる画像は「9921×7016ピクセル（画素）」で構成される。なお、学習用印刷物としては、図５に示した印刷物群Ｐ１乃至Ｐ４を構成する印刷物が挙げられる。
制御ユニット１１は、プロセッサー、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、又はＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等である。制御ユニット１１は、制御部１１１と、第１分割部１１２と、学習モデル生成部１１３と、第１圧縮部１１４と、を備えている。
制御ユニット１１は、記憶部１４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部１１１、第１分割部１１２、学習モデル生成部１１３、及び第１圧縮部１１４として機能する。但し、制御ユニット１１等の上記の各構成は、制御ユニット１１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
制御部１１１は、学習モデル生成装置１０の全体的な動作制御を司る。制御部１１１は、操作部１２、表示部１３、記憶部１４、通信インターフェイス部１５、及び第１画像読取部１６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。
第１分割部１１２は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１分割条件で分割する。例えば、第１分割条件が「a×b画素」単位で画像を分割することに設定されている場合、「24a×24b画素」で構成されている画像は、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。
学習モデル生成部１１３は、第１分割部１１２による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成し、生成した学習モデルを学習モデル記憶部１４１に保存する。例えば、学習モデル生成部１１３は、図５に示したような、印刷物群Ｐ１乃至Ｐ４の画像を分割した分割画像を、ニューラルネットワークで学習することで、それぞれの特徴を記憶した学習モデルを生成する。
従って、学習モデル生成部１１３は、データセットとなる画像を大量に学習することで、図６に示したように、未知の「入力」から適切な「出力」を推論する学習モデルを生成することができる。なお、図５では、欠陥画像の種類として「色ムラ」、「筋状の汚れ」、「白点」だけを例に挙げているが、欠陥画像の種類はこれらに限定されず、他に「傷」や「黒点」等が挙げられる。
第１圧縮部１１４は、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する。例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。
後で詳しく説明するが、第１分割部１１２は、第１圧縮部１１４が圧縮して得られた圧縮画像についても分割を行い、学習モデル生成部１１３は、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対しても学習を行う。
種類判別装置２０は、制御ユニット２１と、操作部２２と、表示部２３と、記憶部２４と、通信インターフェイス部（通信Ｉ／Ｆ）２５と、第２画像読取部２６と、を備える。
操作部２２は、キーボードやマウス等から構成され、制御ユニット２１にコマンドや文字を入力したり、表示部２３における画面上のポインターを操作したりする。表示部２３は、制御ユニット２１からの応答やデータ結果を表示する。
記憶部２４は、ＨＤＤなどの記憶装置であり、種類判別装置２０の動作に必要なプログラムやデータを記憶し、学習モデルを記憶する学習モデル記憶部２４１を含む。
通信インターフェイス部２５は、不図示のＬＡＮチップなどの通信モジュールを備えるインターフェイスで、外部装置との間で通信を行う。種類判別装置２０は、通信インターフェイス部２５を介して、学習モデル生成装置１０との間でデータの送受信を行う。
第２画像読取部２６は、光照射部及びＣＣＤセンサー等を有する読取機構（図示せず）を備え、制御ユニット２１を構成する制御部２１１による制御の下、コンタクトガラス（図示せず）に載置された原稿（ここでは、検査対象印刷物）の画像を光学的に読み取る。画像の読み取りは、第２画像読取部２６における読み取り可能最高解像度（例えば、600dpi）で行われる。検査対象印刷物は、例えば、製造現場においてプリンターや複合機等から出力された印刷物で、これらプリンターや複合機等の検査に用いられる。
制御ユニット２１は、プロセッサー、ＲＡＭ、ＲＯＭ、及び専用のハードウェア回路を含んで構成される。プロセッサーは、例えばＣＰＵ、ＡＳＩＣ、ＭＰＵ、又はＧＰＵ等である。制御ユニット２１は、制御部２１１と、第２分割部２１２と、推論部２１３と、特定部２１４と、第２圧縮部２１５と、を備えている。
制御ユニット２１は、記憶部２４に記憶されているプログラムに従った上記プロセッサーによる動作により、制御部２１１、第２分割部２１２、推論部２１３、特定部２１４、及び第２圧縮部２１５として機能する。但し、制御ユニット２１等の上記の各構成は、制御ユニット２１による制御プログラムに基づく動作によらず、それぞれハードウェア回路により構成することも可能である。以下、特に触れない限り、各実施形態について同様である。
制御部２１１は、種類判別装置２０の全体的な動作制御を司る。制御部２１１は、操作部２２、表示部２３、記憶部２４、通信インターフェイス部２５、及び第２画像読取部２６と接続されており、接続されている上記各構成の動作制御や、各構成との間での信号またはデータの送受信を行う。
第２分割部２１２は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１分割条件（すなわち、第１学習モデルを生成する際に、学習モデル生成部１０が用いた分割条件）と同じ分割条件で分割する。
推論部２１３は、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を判定して、当該判定結果を推論結果とし、当該推論結果の信頼度（確からしさ）を特定部２１４に出力する。例えば、推論部２１３は、欠陥画像が「白点」である確率が「９９％」、「筋状の汚れ」である確率が「０．５％」、「傷」である確率が「０．５％」という推論結果の信頼度を数値化したものを特定部２１４に出力する。
特定部２１４は、推論部２１３による推論結果に基づいて、検査対象印刷物に欠陥画像が発生しているか否かを判定すると共に、欠陥画像が発生している場合には、その種類を特定する。
特定部２１４は、推論部２１３から出力された信頼度の中に、予め定められた閾値（例えば、５０％）以上のものが存在すると判断した場合、該当する推論結果を採用し、検査対象印刷物が有する欠陥画像の種類を特定する。一方、特定部２１４は、推論部２１３から出力された信頼度の中に、上記閾値以上のものが存在しないと判断した場合（つまり、すべての分割画像で異常を示す閾値以上とならなかった場合）、検査対象印刷物に異常はないと判定する。
ところで、上記信頼度については、異なる欠陥画像の種類において上記閾値以上になり、欠陥画像の種類の判別が難しくなることが考えられる。例えば、ある分割画像に対応する推論結果では、欠陥画像が「白点」である確率が「５６％」を示し、別の分割画像に対応する推論結果では、欠陥画像が「筋状の汚れ」である確率が「５８％」を示す、といったことが考えられる。
そのような場合、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定する。
例えば、欠陥画像が「筋状の汚れ」の場合、推論結果が欠陥画像を示す分割画像は、一定の周期で出現し、欠陥画像が「白点」の場合、推論結果が欠陥画像を示す分割画像は、ある部分で集中して出現する。従って、推論結果が欠陥画像を示す分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定することが可能である。
第２圧縮部２１５は、第２画像読取部１６による読み取りで得られた検査対象印刷物の画像を、上記第１圧縮条件（すなわち、第２学習モデルを生成する際に、学習モデル生成装置１０が用いた圧縮条件）と同じ圧縮条件で圧縮する。
後で詳しく説明するが、第２分割部２１２は、第２圧縮部２１５が圧縮して得られた圧縮画像についても分割を行い、推論部２１３は、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類についても推論する。
次に、学習モデル生成装置１０における制御ユニット１１で行われる処理動作の一例について図３に示したフローチャートに基づいて説明する。なお、この処理動作は、学習用印刷物の読み取りのユーザー指示を、操作部１２を介して制御部１１１が受け付けた場合に行われる処理動作である。
まず、制御部１１１は、第１画像読取部１６に、学習用印刷物の画像を読み取らせ（Ｓ１）、第１分割部１１２が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１分割条件で分割し（Ｓ２）、学習モデル生成部１１３が、第１分割部１１２による分割で得られた分割画像に対して学習を行い（Ｓ３）、欠陥画像の種類を推論するための第１学習モデルを生成する（Ｓ４）。
上記したように、第１分割条件が「a×b画素」単位での画像分割と設定されている場合、「24a×24b画素」で構成されている画像は、分割によって、図２（Ａ）に示すように、576（＝24×24）ブロックの画像に分割される。圧縮していない分割画像は、図２（Ａ）に示すように、画像領域が狭い。そのため、圧縮していない分割画像を学習することで生成された第１学習モデルは、高周波の異常の検出に適している。
続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件で圧縮し（Ｓ５）、第１分割部１１２が、第１圧縮部１１４が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し（Ｓ６）、学習モデル生成部１１３が、第１圧縮部１１４が圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ７）、欠陥画像の種類を推論するための第２学習モデルを生成する（Ｓ８）。
例えば、第１圧縮条件が圧縮率５０％に設定されている場合、「24a×24b画素」で構成されている画像は、圧縮によって「12a×12b画素」で構成される画像となる。
第２分割条件は第１分割条件と同じでもよく、第２分割条件が「a×b画素」単位での画像分割と設定されている場合、「12a×12b画素」で構成されている画像は、分割によって、図２（Ｂ）に示すように、144（＝12×12）ブロックの画像に分割される。圧縮分割画像は、図２（Ｂ）に示すように、圧縮していない分割画像よりも画像領域がやや広い。そのため、圧縮分割画像を学習することで生成された第２学習モデルは、低周波の異常の検出に適している。
続いて、第１圧縮部１１４が、第１画像読取部１６による読み取りで得られた学習用印刷物の画像を、第１圧縮条件とは異なる予め定められた第２圧縮条件で圧縮し（Ｓ９）、第１分割部１１２が、第１圧縮部１１４が第２圧縮条件で圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し（Ｓ１０）、学習モデル生成部１１３が、第１圧縮部１１４が第２圧縮条件で圧縮して第１分割部１１２が分割することによって得られた圧縮分割画像に対して学習を行い（Ｓ１１）、欠陥画像の種類を推論するための第３学習モデルを生成し（Ｓ１２）、この処理動作を終了する。
例えば、第２圧縮条件が圧縮率２５％に設定されている場合、「24a×24b画素」で構成されている画像は「6a×6b画素」で構成される画像となる。
第３分割条件は第１分割条件と同じでもよく、第３分割条件が「a×b画素」単位での画像分割と設定されている場合、「6a×6b画素」で構成されている画像は、分割によって、図２（Ｃ）に示すように、36（＝6×6）ブロックの画像に分割される。大きい圧縮率で得られた圧縮分割画像は、図２（Ｃ）に示すように、小さい圧縮率で得られた圧縮分割画像よりも画像領域が広い。そのため、大きい圧縮率で得られた圧縮分割画像を学習することで生成された第３学習モデルは、低周波の異常の検出により一層適している。
また、Ｓ９では、第１圧縮部１１４が、学習用印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第１圧縮部１１４は、Ｓ５での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ５において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ９において、更に圧縮率５０％で圧縮する。
次に、種類判別装置２０における制御ユニット２１で行われる処理動作の一例について図４に示したフローチャートに基づいて説明する。なお、この処理動作は、検査対象印刷物の読み取りのユーザー指示を、操作部２２を介して制御部２１１が受け付けた場合に行われる処理動作である。
まず、制御部２１１は、第２画像読取部２６に、検査対象印刷物の画像を読み取らせ（Ｓ２１）、第２分割部２１２が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第１学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１分割条件で分割し（Ｓ２２）、推論部２１３が、第１学習モデルを用いて、第２分割部２１２による分割で得られた分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２３）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ１以上のものが存在するか否かを判断し（Ｓ２４）、信頼度が閾値Ｔ１以上のものが存在すると判断した場合（Ｓ２４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ２５）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、閾値Ｔ１以上の信頼度が示す欠陥画像の種類が１種類であっても、その欠陥の由来（原因）を特定できるとは限らない。例えば、ドラムユニット由来の「黒点」や、何かのゴミによる「黒点」があった場合、これらを単体の見た目では区別できなかったとしても、周期性を確認することで欠陥の由来を判別することが可能となる。
Ｓ２４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ１以上のものが存在しない（すなわち、Ｓ２２での分割で得られた、すべての分割画像において異常を示す閾値Ｔ１以上にならない）と判断した場合（Ｓ２４でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第１圧縮条件で圧縮する（Ｓ２６）。
続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第２学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２分割条件で分割し（Ｓ２７）、推論部２１３が、第２学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ２８）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ２以上のものが存在するか否かを判断し（Ｓ２９）、信頼度が閾値Ｔ２以上のものが存在すると判断した場合（Ｓ２９でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３０）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ２以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。
Ｓ２９において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ２以上のものが存在しない（すなわち、Ｓ２７での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ２以上にならない）と判断した場合（Ｓ２９でＮＯ）、第２圧縮部２１５が、第２画像読取部２６による読み取りで得られた検査対象印刷物の画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第２圧縮条件で圧縮する（Ｓ３１）。
続いて、第２分割部２１２が、第２圧縮部２１５が圧縮して得られた圧縮画像を、（第３学習モデルを生成する際に、学習モデル生成装置１０が用いた）第３分割条件で分割し（Ｓ３２）、推論部２１３が、第３学習モデルを用いて、第２圧縮部２１５が圧縮して第２分割部２１２が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論し、当該推論結果の信頼度を特定部２１４に出力する（Ｓ３３）。
特定部２１４は、推論部２１３から入力した信頼度の中に、予め定められた閾値Ｔ３以上のものが存在するか否かを判断し（Ｓ３４）、信頼度が閾値Ｔ３以上のものが存在すると判断した場合（Ｓ３４でＹＥＳ）、特定部２１４は、推論部２１３による推論結果に基づいて、欠陥画像を示した圧縮分割画像の検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定し（Ｓ３５）、この処理動作を終了する。
検査対象印刷物内における出現の周期性を確認することで、閾値Ｔ３以上の信頼度が示す欠陥画像の種類が複数存在しても、欠陥画像の種類を特定することが可能となる。また、単体の見た目では区別できなかった欠陥の由来を、周期性を確認することで判別することが可能となる。
Ｓ３４において、特定部２１４は、推論部２１３から入力した信頼度の中に、閾値Ｔ３以上のものが存在しない（すなわち、Ｓ３２での分割で得られた、すべての圧縮分割画像において異常を示す閾値Ｔ３以上にならない）と判断した場合（Ｓ３４でＮＯ）、検査対象印刷物に欠陥画像は存在しない「異常なし」と判定し（Ｓ３６）、この処理動作を終了する。
また、Ｓ３１では、第２圧縮部２１５が、検査対象印刷物の画像を、第１圧縮条件とは異なる第２圧縮条件で圧縮する場合について説明しているが、第２圧縮部２１５は、Ｓ２６での圧縮で得られた圧縮画像に対して、予め定められた第３圧縮条件で更なる圧縮を行うようにしてもよい。例えば、Ｓ２６において、圧縮率５０％（第１圧縮条件）で圧縮することで得られた圧縮画像に対して、Ｓ３１において、更に圧縮率５０％で圧縮する。
上記実施形態によれば、高周波の異常の検出に適した第１学習モデルと、低周波の異常の検出に適した第２学習モデル及び第３学習モデルとが生成されるので、高周波及び低周波の異常（欠陥画像）の両方を適切に検出することが可能となる。また、第１乃至第３学習モデルの生成に用いる画像はいずれも分割されたものであるため、第１乃至第３学習モデルの生成に用いる画像の画像サイズが大きいものであっても処理負担を大きくすることなく対応可能である。
なお、上記実施形態では、圧縮分割画像を学習することで、低周波の異常の検出に適した学習モデルとして、第２学習モデルと第３学習モデルの２種類を生成する場合について説明しているが、上記学習モデルは２種類に限定する必要はなく、３種類以上生成するようにしてもよい。当然ではあるが、種類を増やした方が欠陥画像の判別精度は高くなる。逆に、判別精度は落ちるが、第３学習モデルを生成せず、第２学習モデルだけを生成するようにしてもよい。
また、上記実施形態では、まず、第１学習モデルを用いての推論及び判別（図４のＳ２１乃至Ｓ２５）を行い、その処理が終了してから、第２学習モデルを用いての推論及び判別（Ｓ２６乃至Ｓ３０）を行い、その処理が終了してから、第３学習モデルを用いての推論及び判別（Ｓ３１乃至Ｓ３５）を行う場合について説明しているが、別の実施形態では、推論部２１３及び特定部２１４がこれら推論及び判別の処理を並行して行い、途中で、欠陥画像の種類を判別できた場合には、並行で行っていた処理を終了し、新たな次の処理へ進むようにしてもよい。これにより、処理時間を削減することができる。
なお、上記実施形態では、学習モデル生成装置１０が、種類判別装置２０と別の装置として構成される場合について説明しているが、学習モデル生成装置１０を構成する各機能については、種類判別装置２０が備えるようにしてもよい。
本発明は上記実施の形態の構成に限られず種々の変形が可能である。また、上記実施形態では、図１乃至図７を用いて上記実施形態により示した構成及び処理は、本発明の一実施形態に過ぎず、本発明を当該構成及び処理に限定する趣旨ではない。
１０ 学習モデル生成装置
１６ 第１画像読取部
２０ 種類判別装置
２６ 第２画像読取部
１１２ 第１分割部
１１３ 学習モデル生成部
１１４ 第１圧縮部
２１２ 第２分割部
２１３ 推論部
２１４ 特定部
２１５ 第２圧縮部

Claims (8)

  1. 欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成装置であって、
    前記学習用印刷物の画像を読み取る第１画像読取部と、
    前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する第１分割部と、
    前記第１分割部による分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成部と、
    前記第１画像読取部による読み取りで得られた前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する第１圧縮部と、を備え、
    更に、前記第１分割部は、前記第１圧縮部が圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、
    前記学習モデル生成部は、前記第１圧縮部が圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する学習モデル生成装置。
  2. 前記第１圧縮部は、前記学習用印刷物の画像を、前記第１圧縮条件とは異なる予め定められた第２圧縮条件で圧縮し、
    前記第１分割部は、前記第１圧縮部が前記第２圧縮条件で圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し、
    前記学習モデル生成部は、前記第１圧縮部が前記第２圧縮条件で圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第３学習モデルを生成する請求項１に記載の学習モデル生成装置。
  3. 前記第１圧縮部は、前回の圧縮で得られた前記学習用印刷物に対する圧縮画像を、予め定められた第３圧縮条件で更に圧縮し、
    前記第１分割部は、前記第１圧縮部が更に圧縮することによって得られた圧縮画像を、予め定められた第３分割条件で分割し、
    前記学習モデル生成部は、前記第１圧縮部が更に圧縮して前記第１分割部が分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第３学習モデルを生成する請求項１に記載の学習モデル生成装置。
  4. 請求項１に記載された学習モデル生成装置によって生成された前記第１学習モデル及び前記第２学習モデルを用いて、検査対象印刷物が有する欠陥画像の種類を判別する種類判別装置であって、
    前記検査対象印刷物の画像を読み取る第２画像読取部と、
    前記第２画像読取部による読み取りで得られた前記検査対象印刷物の画像を、前記第１分割条件と同じ分割条件で分割する第２分割部と、
    前記第１学習モデルを用いて、前記第２分割部による分割で得られた分割画像に対応する欠陥画像の種類を推論する推論部と、
    前記検査対象印刷物の画像を、前記第１圧縮条件と同じ圧縮条件で圧縮する第２圧縮部と、を備え、
    更に、前記第２分割部は、前記第２圧縮部が圧縮して得られた圧縮画像を、前記第２分割条件と同じ分割条件で分割し、
    前記推論部は、前記第２学習モデルを用いて、前記第２圧縮部が圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する種類判別装置。
  5. 前記第２圧縮部は、前記検査対象印刷物の画像を、請求項２に記載された第２圧縮条件と同じ圧縮条件で圧縮し、
    前記第２分割部は、前記第２圧縮部が前記第２圧縮条件で圧縮することによって得られた圧縮画像を、請求項２に記載された第３分割条件と同じ分割条件で分割し、
    前記推論部は、請求項２に記載された第３学習モデルを用いて、前記第２圧縮部が前記第２圧縮条件で圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する請求項４に記載の種類判別装置。
  6. 前記第２圧縮部は、前回の圧縮で得られた前記検査対象印刷物に対する圧縮画像を、請求項３に記載された第３圧縮条件と同じ圧縮条件で更に圧縮し、
    前記第２分割部は、前記第２圧縮部が更に圧縮することによって得られた圧縮画像を、請求項３に記載された第３分割条件と同じ分割条件で分割し、
    前記推論部は、請求項３に記載された第３学習モデルを用いて、前記第２圧縮部が更に圧縮して前記第２分割部が分割することによって得られた圧縮分割画像に対応する欠陥画像の種類を推論する請求項４に記載の種類判別装置。
  7. 前記推論部による推論結果に基づいて、欠陥画像を示した前記分割画像の前記検査対象印刷物内における出現の周期性から、当該検査対象印刷物が有する欠陥画像の種類を特定する特定部を更に備える請求項４乃至請求項６のいずれかに記載の種類判別装置。
  8. 欠陥画像の種類毎に用意された、欠陥画像を有する学習用印刷物を含むデータセットを学習して、学習モデルを生成する学習モデル生成方法であって、
    前記学習用印刷物の画像を読み取る画像読取ステップと、
    前記画像読取ステップによる読み取りで得られた前記学習用印刷物の画像を、予め定められた第１分割条件で分割する分割ステップと、
    前記分割ステップによる分割で得られた分割画像に対して学習を行い、欠陥画像の種類を推論するための第１学習モデルを生成する学習モデル生成ステップと、
    前記学習用印刷物の画像を、予め定められた第１圧縮条件で圧縮する圧縮ステップと、を有し、
    更に、前記分割ステップでは、前記圧縮ステップで圧縮して得られた圧縮画像を、予め定められた第２分割条件で分割し、
    前記学習モデル生成ステップでは、前記圧縮ステップで圧縮して前記分割ステップで分割することによって得られた圧縮分割画像に対して学習を行い、欠陥画像の種類を推論するための第２学習モデルを生成する、学習モデル生成方法。
JP2018224021A 2018-11-29 2018-11-29 種類判別システム Active JP7281041B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018224021A JP7281041B2 (ja) 2018-11-29 2018-11-29 種類判別システム
US16/692,275 US11315233B2 (en) 2018-11-29 2019-11-22 Learning model generating device, and type identification system for generating learning model and using generated learning model to infer type of image defect

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018224021A JP7281041B2 (ja) 2018-11-29 2018-11-29 種類判別システム

Publications (2)

Publication Number Publication Date
JP2020087211A true JP2020087211A (ja) 2020-06-04
JP7281041B2 JP7281041B2 (ja) 2023-05-25

Family

ID=70849260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018224021A Active JP7281041B2 (ja) 2018-11-29 2018-11-29 種類判別システム

Country Status (2)

Country Link
US (1) US11315233B2 (ja)
JP (1) JP7281041B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
US20210337073A1 (en) * 2018-12-20 2021-10-28 Hewlett-Packard Development Company, L.P. Print quality assessments via patch classification
US11694315B2 (en) * 2021-04-29 2023-07-04 Kyocera Document Solutions Inc. Artificial intelligence software for document quality inspection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333170A (ja) * 1994-06-08 1995-12-22 Hewtec:Kk 欠陥パターン種別判定方法およびその装置
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP2007328645A (ja) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd 故障診断システム、画像形成装置および故障診断プログラム
JP2011137895A (ja) * 2009-12-26 2011-07-14 Fuji Xerox Co Ltd 白抜け検出装置、画像形成装置および白抜け検出プログラム
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072242A1 (en) * 2012-09-10 2014-03-13 Hao Wei Method for increasing image resolution
US9443142B2 (en) * 2014-07-24 2016-09-13 Exelis, Inc. Vision-based system for dynamic weather detection
JP2017076289A (ja) 2015-10-15 2017-04-20 キヤノン株式会社 パラメータ決定装置、パラメータ決定方法及びプログラム
JP6809250B2 (ja) 2017-01-23 2021-01-06 株式会社リコー 情報処理装置、情報処理方法およびプログラム
IL259285B2 (en) * 2018-05-10 2023-07-01 Inspekto A M V Ltd A system and method for detecting defects on objects in an image
EP3620989A1 (en) * 2018-09-07 2020-03-11 Panasonic Intellectual Property Corporation of America Information processing method, information processing apparatus, and program
US11803664B2 (en) * 2018-10-09 2023-10-31 Ebay Inc. Distributed application architectures using blockchain and distributed file systems
JP7281041B2 (ja) * 2018-11-29 2023-05-25 京セラドキュメントソリューションズ株式会社 種類判別システム
JP2020106469A (ja) * 2018-12-28 2020-07-09 オムロン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
TWI684544B (zh) * 2019-04-15 2020-02-11 極點股份有限公司 自行車貨架
JP7357463B2 (ja) * 2019-05-08 2023-10-06 株式会社東芝 判定装置、判定システム、溶接システム、判定方法、プログラム、及び記憶媒体
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data
CN115136209A (zh) * 2020-03-09 2022-09-30 纳米电子成像有限公司 缺陷检测系统
KR102292547B1 (ko) * 2020-04-10 2021-08-20 코그넥스코오포레이션 가변 확산판을 이용한 광학 시스템
US20210334946A1 (en) * 2020-04-24 2021-10-28 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333170A (ja) * 1994-06-08 1995-12-22 Hewtec:Kk 欠陥パターン種別判定方法およびその装置
JP2004354250A (ja) * 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP2007328645A (ja) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd 故障診断システム、画像形成装置および故障診断プログラム
JP2011137895A (ja) * 2009-12-26 2011-07-14 Fuji Xerox Co Ltd 白抜け検出装置、画像形成装置および白抜け検出プログラム
JP2017211259A (ja) * 2016-05-25 2017-11-30 株式会社シーイーシー 検査装置、検査方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN116664846B (zh) * 2023-07-31 2023-10-13 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Also Published As

Publication number Publication date
US20200175672A1 (en) 2020-06-04
US11315233B2 (en) 2022-04-26
JP7281041B2 (ja) 2023-05-25

Similar Documents

Publication Publication Date Title
JP2020087211A (ja) 学習モデル生成装置、種類判別システム、及び学習モデル生成方法
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP7456472B2 (ja) 画像検査装置、画像検査方法及び画像検査プログラム
KR102559021B1 (ko) 불량 이미지 생성 장치 및 방법
US8958116B2 (en) Inspection apparatus, inspection system, inspection method, and storage medium
JP2011156861A (ja) 出力検査用の動的プリンタモデリング
JP2016115331A (ja) 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
JP2017107541A (ja) 情報処理装置、情報処理方法、プログラムおよび検査システム
US20210272272A1 (en) Inspection support apparatus, inspection support method, and inspection support program for concrete structure
JP2010033550A (ja) イメージングソフトウェア開発のためのデジタル画像比較方法
JP2008277730A (ja) 欠陥検査装置、欠陥検査プログラム、図形描画装置および図形描画システム
JP2018151494A (ja) 画像検査装置、画像形成システム及び画像圧縮方法
WO2020131091A1 (en) Print quality assessments via patch classification
JP2020042754A (ja) 分類装置、分類方法、分類プログラム、及び検査装置
JP2005165387A (ja) 画面のスジ欠陥検出方法及び装置並びに表示装置
JP2021117155A (ja) 検査装置、検査方法、及び検査プログラム
JP2015108522A (ja) 検査装置、検査方法及び検査プログラム
US8300918B2 (en) Defect inspection apparatus, defect inspection program, recording medium storing defect inspection program, figure drawing apparatus and figure drawing system
JP2022125593A (ja) 異常検出方法および異常検出装置
CN101276457B (zh) 验证图形算法及寄存器传输级实现的系统和方法
WO2023074565A1 (ja) 機械学習モデル、コンピュータプログラム、および、方法
CN113870255B (zh) Mini LED产品缺陷检测方法及相关设备
JP2023100280A (ja) 検査対象の外面上の欠陥の有無を検出する検査システムおよび検査方法
CN113205110B (zh) 一种面板缺陷分类模型的建立方法及面板缺陷分类方法
CN105282394A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190919

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220926

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R150 Certificate of patent or registration of utility model

Ref document number: 7281041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150