JP2021149355A - 処理装置、処理方法、学習装置およびプログラム - Google Patents

処理装置、処理方法、学習装置およびプログラム Download PDF

Info

Publication number
JP2021149355A
JP2021149355A JP2020047114A JP2020047114A JP2021149355A JP 2021149355 A JP2021149355 A JP 2021149355A JP 2020047114 A JP2020047114 A JP 2020047114A JP 2020047114 A JP2020047114 A JP 2020047114A JP 2021149355 A JP2021149355 A JP 2021149355A
Authority
JP
Japan
Prior art keywords
signal
layer
processing
signals
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020047114A
Other languages
English (en)
Other versions
JP7297705B2 (ja
Inventor
孝 井田
Takashi Ida
孝 井田
典太 笹谷
Tenta Sasaya
典太 笹谷
航 渡邉
Wataru Watanabe
航 渡邉
孝幸 伊東
Takayuki Ito
孝幸 伊東
利幸 小野
Toshiyuki Ono
利幸 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2020047114A priority Critical patent/JP7297705B2/ja
Priority to US17/005,648 priority patent/US11537823B2/en
Publication of JP2021149355A publication Critical patent/JP2021149355A/ja
Application granted granted Critical
Publication of JP7297705B2 publication Critical patent/JP7297705B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G06F18/15—Statistical pre-processing, e.g. techniques for normalisation or restoring missing data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力信号に対するニューラルネットワークを用いた処理を少ないコストで精度良く行う。【解決手段】処理装置は、切出部と、複数の部分処理部と、連結部とを備える。切出部は、入力信号から、それぞれが入力信号における予め定められた一部分である複数の部分信号を切り出す。複数の部分処理部は、複数の部分信号に一対一に対応し、それぞれが同一レイヤ構造のニューラルネットワークを用いて対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成する。連結部は、複数の部分信号に対応する複数の中間信号のそれぞれについて、複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出し、複数の中間信号のそれぞれのチャンネル毎の統計量を連結した連結信号を生成する。【選択図】図１

Description

本発明の実施形態は、処理装置、処理方法、学習装置およびプログラムに関する。
ニューラルネットワークは、画像を分類することができる。例えば、防犯カメラで撮影した画像に基づき侵入者を検出する場合、および、製造品の外観を撮像した画像に基づき製造品の外観検査をする場合、ニューラルネットワークは、画像を「異常あり」または「異常なし」に分類することができる。
ところで、侵入者を検出する場合または製造品の外観検査する場合、例えば数千×数千画素といった非常に大きなサイズの画像をニューラルネットワークに与える。このような非常に大きいサイズの画像を、複雑な処理を実現するニューラルネットワークに入力した場合、処理量が膨大となり、非常に多くの演算コストがかかってしまう。これに対して、例えば、早い階層でチャンネル毎の画像（特徴マップ）のサイズを極端に小さくするニューラルネットワークを用いると、画像の分解能が低下し、小さな異常を検出できなくなってしまう。
特開２０１９−７１０８０号公報
Kaiming He ,Xiangyu Zhang, Shaoqing Ren, Jian Sun, "Deep Residual Learning for Image Recognition"， 2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）, 27-30 June 2016.
本発明が解決しようとする課題は、入力信号に対するニューラルネットワークを用いた処理を、少ないコストで精度良く行う処理装置、処理方法、学習装置およびプログラムを提供することにある。
実施形態に係る処理装置は、切出部と、複数の部分処理部と、連結部と、合成部と、信号出力部とを備える。前記切出部は、入力信号から、それぞれが前記入力信号における予め定められた一部分である複数の部分信号を切り出す。前記複数の部分処理部は、前記複数の部分信号に一対一に対応し、それぞれが同一レイヤ構造のニューラルネットワークを用いて対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成する。前記連結部は、前記複数の部分信号に対応する複数の中間信号のそれぞれについて、前記複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出し、前記複数の中間信号のそれぞれのチャンネル毎の前記統計量を連結した連結信号を生成する。前記合成部は、前記連結信号に対して予め定められた処理をした合成信号を生成する。前記信号出力部は、前記合成信号に応じた出力信号を出力する。
第１実施形態に係る処理装置の構成を示す図。 製造品を撮像した画像データを示す図。 異物が付着した製造品を撮像した画像データを示す図。 位置がずれた状態の製造品を撮像した画像データを示す図。 画像データに含まれる複数の部分信号を示す図。 ニューラルネットワークのレイヤ構成の一例を示す図。 １個のチャンネルに対する畳込レイヤの処理を示す図。 複数のチャンネルに対する畳込レイヤの処理を示す図。 出力部の構成を示す図。 出力部の処理を説明するための図。 第２実施形態に係る処理装置の構成を示す図。 第１のレイヤ信号の一例を示す図。 第２のレイヤ信号の一例を示す図。 個別平均値で正規化した第１のレイヤ信号の一例を示す図。 個別平均値で正規化した第２のレイヤ信号の一例を示す図。 共通平均値で正規化した第１のレイヤ信号の一例を示す図。 共通平均値で正規化した第２のレイヤ信号の一例を示す図。 第３実施形態に係る学習システムを示す図。 時系列信号の一例を示す図。 処理装置のハードウェア構成を示す図。
以下、図面を参照しながら実施形態に係る処理装置１０について説明する。処理装置１０は、大きなサイズの画像信号または時系列信号等の入力信号に対するニューラルネットワークを用いた処理を、少ないコストで精度良く行うことができる。
（第１実施形態）
図１は、第１実施形態に係る処理装置１０の構成を示す図である。第１実施形態に係る処理装置１０は、ニューラルネットワークを用いて、クラス分類等の推論処理または信号の変換処理等を実行する。
処理装置１０は、切出部２２と、複数の部分処理部２４と、出力部２６とを備える。
切出部２２は、デジタルの入力信号を受け取る。例えば、入力信号は、画像信号である。画像信号は、１枚の静止画像であってもよいし、時系列の所定枚の画像を含む動画像であってもよい。また、入力信号は、一次元の時系列信号であってもよい。一次元の時系列信号は、例えば所定時間の音声信号である。
切出部２２は、入力信号から、それぞれが入力信号における異なる一部分である複数の部分信号を切り出す。例えば、入力信号が１枚の静止画像である場合、複数の部分信号のそれぞれは、静止画像における予め定められた一部分を切り出した部分画像である。複数の部分信号のそれぞれは、入力信号における異なる部分の信号であり、例えば同一サイズである。複数の部分信号のそれぞれは、異なるサイズであってもよい。また、切出部２２は、入力信号から、複数の部分信号のそれぞれを、他の部分信号の一部が重複するように切り出してもよいし、他の部分信号と重複しないように切り出してもよい。
複数の部分処理部２４は、切出部２２により切り出された複数の部分信号に対して、一対一に対応する。複数の部分処理部２４のそれぞれは、複数の部分信号のうち、対応する部分信号を切出部２２から取得する。
複数の部分処理部２４のそれぞれは、互いに同一レイヤ構造のニューラルネットワークを用いて、対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成する。複数の部分処理部２４のそれぞれが用いるニューラルネットワークは、例えば、重み係数およびバイアス値等のパラメータ群が同一であっても、異なっていてもよい。
複数の部分処理部２４は、プロセッサが、複数のニューラルネットワークの処理を並列に実行することにより実現されてもよい。また、複数の部分処理部２４は、プロセッサが、ニューラルネットワークの処理を１つずつ時分割で実行することにより実現されてもよい。
なお、複数の部分処理部２４のそれぞれの構成例および処理例については、図６、図７および図８を参照してさらに説明する。
出力部２６は、複数の部分処理部２４から、複数の部分信号に対応する複数の中間信号を取得する。出力部２６は、複数の中間信号に基づき出力信号を生成し、生成した出力信号を出力する。
より具体的には、出力部２６は、複数の部分信号に対応する複数の中間信号のそれぞれについて、複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出する。続いて、出力部２６は、複数の中間信号のそれぞれのチャンネル毎の統計量を連結した連結信号を生成する。続いて、出力部２６は、連結信号に対して予め定められた処理をした合成信号を生成する。例えば、出力部２６は、連結信号に対して全結合処理をした合成信号を生成する。また、例えば、出力部２６は、連結信号の全体に対してまたは一部分毎に最大値、あるいは最小値、中間値、平均値のいずれかを算出する統計処理を実行した合成信号を生成してもよい。
そして、出力部２６は、合成信号に応じた出力信号を出力する。例えば、出力部２６は、出力信号として、入力信号が１または複数のクラスのそれぞれに含まれる確率を表す信号を出力する。また、例えば、出力部２６は、出力信号として、入力信号と同じ座標系であって、入力信号とは異なる信号を出力する。
なお、出力部２６の構成および処理については、図９および図１０を参照してさらに説明する。
図２は、製造品２１１を撮像した画像データを示す図である。処理装置１０は、工場の製造ラインにおける製造品２１１の外観検査において、製造品２１１に異常があるか異常がないかを判定するために用いられてもよい。この場合、処理装置１０は、入力信号として、図２に示すような、製造品２１１を撮像した画像データを取得する。製造品２１１を撮像した画像データは、例えば、可視光のモノクローム画像、カラー画像、赤外線画像、Ｘ線画像または凹凸を計測した奥行画像等である。
図３は、異物２２２が付着した製造品２１１を撮像した画像データを示す図である。例えば、図３に示すように、円形部品２２１に異物２２２が付着している場合等の、製造品２１１の外観に異常が存在する場合、処理装置１０は、異常ありと判定する。また、製造品２１１の外観に異常が存在しない場合、処理装置１０は、異常なしと判定する。
図４は、位置がずれた状態の製造品２１１を撮像した画像データを示す図である。仮に、正常・異常にかかわらず製造品２１１を撮像した全ての画像データにおける製造品２１１の位置同じであれば、異常判定装置は、正常な製造品２１１を撮像した正常品画像と、検査対象の製造品２１１を撮像した画像データとの画素値毎の差分を算出すればよい。そして、異常判定装置は、差分値が大きい部分が存在した場合、異常ありと判定する。
しかし、実際には、図４に示すように、画像データは、製造品２１１の位置がずれていたり、照明強度およびイメージセンサ感度が異なっていたり、製造品２１１を構成する部品の位置が許容値以下の範囲でずれていたりする。従って、正常な製造品２１１を撮像した画像データであっても、画素値に変動が生じる。本実施形態に係る処理装置１０は、ニューラルネットワークを用いることにより、これらの変動を事前に学習し、精度良く製造品２１１に異常があるか異常がないかを判定する。
図５は、画像データに含まれる複数の部分信号を示す図である。工場の製造ラインにおける製造品２１１の外観検査において、製造品２１１に異常があるか異常がないかを判定するために用いられる場合、処理装置１０は、製造品２１１を撮像した画像データにおける予め定められた部分画像を部分信号として切り出す。
例えば、処理装置１０は、図５の点線で囲んだ矩形部分のような、サイズが同一の部分画像２３１、２３２、２３３、２３４を、４個の部分信号として切り出す。例えば、画像データに対する部分画像２３１、２３２、２３３、２３４のそれぞれの位置は、設計者等により予め定められる。なお、処理装置１０は、何個の部分信号を切り出してもよいし、また、サイズまたは形状の異なる複数の部分信号を切り出してもよい。
処理装置１０は、このような複数の部分信号のそれぞれに対して、同一のレイヤ構成のニューラルネットワークを用いて処理を実行する。なお、複数の部分信号のそれぞれは、例えば、異なる部品を撮像した部分画像等であるので、波形パターンが異なる。しかし、ニューラルネットワークは、入力される部分信号の波形パターンが異なっても、正常な中間信号が出力されるように、設定されるパラメータ群が予め訓練される。なお、処理装置１０に対する学習処理については、図１８を参照してさらに説明する。
図６は、部分処理部２４において用いられるニューラルネットワークのレイヤ構成の一例を示す図である。処理装置１０が入力信号として画像データを取得する場合、部分処理部２４は、一例として、図６に示すようなレイヤ構成のニューラルネットワークを用いる。
ニューラルネットワークは、複数のレイヤにより構成される。複数のレイヤのそれぞれは、前段のレイヤから出力された信号を取得し、取得した信号に対して予め設定された処理を実行してレイヤ信号を生成し、生成したレイヤ信号を後段のレイヤに与える。なお、複数のレイヤのうちの先頭のレイヤは、切出部２２から部分信号を受け取る。また、複数のレイヤのうちの末尾のレイヤは、中間信号を出力する。
例えば、本実施形態に係るニューラルネットワークは、畳込レイヤ３２と、活性化レイヤ３４とが交互に配置された構成を有する。畳込レイヤ３２は、前段のレイヤから取得した信号に対して畳み込み処理を実行する。活性化レイヤ３４は、前段のレイヤから取得した信号に対して、例えばＲｅＬＵ関数等を用いて活性化処理を実行する。なお、ニューラルネットワークは、最終段の活性化レイヤ３４を含まない構成であってもよい。また、ニューラルネットワークは、複数の畳込レイヤ３２のうちの一部の畳込レイヤ３２の後に、活性化レイヤ３４を含まない構成であってもよい。
また、本実施形態に係るニューラルネットワークは、ＲＧＢの３チャンネルまたはモノクロームの１チャンネルの画像データを部分信号として取得する。そして、本実施形態に係るニューラルネットワークは、途中のレイヤにおいて数１０〜数１００チャンネルに段階的にチャンネル数を増加させながら、チャンネル毎の画像（特徴マップ）のサイズを段階的に縮小していく。従って、本実施形態に係るニューラルネットワークは、末尾のレイヤから、複数のチャンネルに対応する複数の信号を含む中間信号を出力する。
なお、部分処理部２４において用いられるニューラルネットワークは、畳込レイヤ３２および活性化レイヤ３４以外に、例えば全結合等を実行する他のレイヤを含む構成であってもよい。また、部分処理部２４において用いられるニューラルネットワークは、このような構成に限らず、複数のチャンネルを含む中間信号を出力することができれば、どのようなレイヤ構成であってもよい。
図７は、対象信号が１個のチャンネルに対応する信号を含む場合の畳込レイヤ３２の処理を示す図である。畳込レイヤ３２は、カーネルと呼ばれる重み係数群と、ウィンドウと呼ばれる信号値群との間で、要素毎の積和演算を実行することで、１つの信号値を算出する。ウィンドウは、前段のレイヤから出力される対象信号に含まれる、カーネルと同一サイズの信号値群である。
畳込レイヤ３２は、対象信号におけるウィンドウの位置を移動させながら、レイヤ信号に含まれる各位置の信号値を算出する。畳込レイヤ３２は、このように算出した信号値を含むレイヤ信号を出力する。なお、カーネルは、重み係数群に加えて、バイアス値を含んでもよい。カーネルがバイアス値を含む場合、畳込レイヤ３２は、積和演算結果にバイアス値を加算した信号値を算出する。
例えば、対象信号が１チャンネルに対応する信号を含む場合、カーネルは、２次元配列された重み係数を含む。図７の例では、畳込レイヤ３２は、３×３個の係数を含むカーネルと、３×３個の信号値を含むウィンドウとの積和演算をして、レイヤ信号における対応する位置の１つの信号値を算出する。
図８は、対象信号が複数のチャンネルに対応する信号を含む場合の畳込レイヤ３２の処理を示す図である。前段のレイヤから出力された対象信号が複数のチャンネルに対応する信号を含む場合、カーネルは、３次元配列された重み係数を含む。
図８の例では、対象信号が８チャンネルに対応する信号を含む。図８の例では、畳込レイヤ３２は、３×３×８個の係数を含むカーネルと、３×３×８個の信号値を含むウィンドウとの積和演算をして、レイヤ信号における対応する位置の１つの信号値を算出する。
また、畳込レイヤ３２は、複数のチャンネルに対応する信号を含むレイヤ信号を生成してもよい。図８の例では、畳込レイヤ３２は、８チャンネルに対応する８個の信号を含むレイヤ信号を生成する。複数のチャンネルに対応する複数の信号を含むレイヤ信号を生成する場合、カーネルは、生成するチャンネル毎に、重み係数群およびバイアス値が異なる。この場合、畳込レイヤ３２は、生成するチャンネル毎に、カーネルを切り替えて、演算を実行する。
図９は、出力部２６の構成を示す図である。出力部２６は、連結部４２と、合成部４４と、信号出力部４６とを有する。
出力部２６は、連結レイヤ、全結合レイヤおよび信号出力レイヤを含むニューラルネットワークにより実現される。この場合、連結部４２は、連結レイヤにより実現される。合成部４４は、全結合レイヤにより実現される。信号出力部４６は、信号出力レイヤにより実現される。
連結部４２は、複数の部分処理部２４のそれぞれから中間信号を取得する。連結部４２は、複数の部分信号に対応する複数の中間信号のそれぞれについて、複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出する。
チャンネル毎の統計量は、対応するチャンネルの信号の最大値、最小値、中央値または平均値である。また、チャンネル毎の統計量は、対応するチャンネルの信号の最大値、最小値、中央値または平均値に対して、予め定められた関数演算を実行した値であってもよい。予め定められた関数演算は、例えば、シグモイド関数の演算である。
そして、連結部４２は、複数の中間信号のそれぞれのチャンネル毎の統計量を連結した連結信号を生成する。例えば、連結部４２は、複数の中間信号のそれぞれのチャンネル毎の統計量を一次元に並べた連結信号を生成する。
合成部４４は、連結信号に対して予め定められた処理をした合成信号を生成する。例えば、合成部４４は、連結信号に対して全結合処理をした合成信号を生成する。より具体的には、合成部４４は、連結信号に含まれる複数の統計量の全てと、学習処理により予め算出された係数群との積和演算処理をして得られる１または複数の積和演算値を生成する。そして、合成部４４は、１または複数の積和演算値を含む合成信号を生成する。なお、合成部４４は、積和演算値にさらに予め学習処理により設定されたバイアス値を加算してもよい。また、例えば、合成部４４は、連結信号の全体に対してまたは一部分毎に最大値、あるいは最小値、中間値、平均値のいずれかを算出する統計処理を実行した合成信号を生成してもよい。
信号出力部４６は、合成信号に応じた出力信号を出力する。例えば、信号出力部４６は、合成信号に基づき、入力信号が１または複数のクラスのそれぞれに含まれる確率を表す出力信号を生成して出力する。また、例えば、信号出力部４６は、合成信号に基づき、入力信号と同じ座標系の出力信号を生成して出力する。
例えば、信号出力部４６は、処理装置１０が工場の製造ラインにおける製造品２１１の外観検査において用いられる場合、製造品２１１に異常があるか異常がないかを表す出力信号を出力する。例えば、信号出力部４６は、製造品２１１に異常がある確率を表す出力信号を出力してもよい。
図１０は、出力部２６の処理を説明するための図である。
例えば、出力部２６は、２つの中間信号（第１の中間信号および第２の中間信号）を取得する、とする。この場合、出力部２６は、第１の中間信号の複数のチャンネルに対応する複数の信号のそれぞれについて、統計量（例えば、最大値、最小値、中間値若しくは平均値、または、これらの値に対して所定の関数演算を実行した値）を算出する。また、出力部２６は、第２の中間信号の複数のチャンネルに対応する複数の信号のそれぞれについても、同様に、統計量を算出する。
これにより、出力部２６は、第１の中間信号について、複数のチャンネルの統計量を算出することができる。また、出力部２６は、第２の中間信号について、複数のチャンネルの統計量を算出することができる。そして、出力部２６は、これら統計量を一列に配列することにより、連結信号を生成する。
また、出力部２６は、連結信号に含まれる複数の統計量を予め定められた処理することにより、合成信号を生成する。例えば、出力部２６は、連結信号に含まれる複数の統計量を全結合した合成信号を生成する。また、例えば、出力部２６は、連結信号に含まれる複数の統計量に対して統計処理をした合成信号を生成する。合成信号に含まれる複数の値の数は、連結信号に含まれる複数の統計量の数と異なってもよい。
そして、出力部２６は、合成信号に応じた出力信号を生成して、出力する。例えば、出力部２６は、合成信号に含まれる複数の値をさらに全結合した値に基づき、入力信号が１または複数のクラスのそれぞれに含まれる確率を表す出力信号を生成する。例えば、出力部２６は、入力信号に異常があるか異常がないかを表す出力信号を出力してもよい。例えば、出力部２６は、入力信号に異常がある異常確率と、入力信号に異常が無い正常確率を含む出力信号を出力してもよい。この場合、出力部２６は、ソフトマックス処理を用いて、異常確率および正常確率のそれぞれが０以上１以下の値となり、異常確率と正常確率との合計が１となるようにしてもよい。
以上のような第１実施形態に係る処理装置１０は、入力信号から複数の部分信号を切り出し、複数の部分信号のそれぞれに対してニューラルネットワークを用いて複数のチャンネルに対応する複数の信号を含む中間信号を生成し、複数の中間信号を連結して出力信号を生成する。
これにより、処理装置１０は、大きなサイズの入力信号に対して、早い階層でチャンネル数を低減させずに、複雑な構成のニューラルネットワークを用いて処理をすることができる。また、処理装置１０は、ニューラルネットワークの処理過程における精度が、信号に対する局所的な処理と、信号に対する大域的な処理との組み合わせにより向上する。従って、処理装置１０によれば、大きなサイズの入力信号に対する処理を、少ない演算コストで精度良く行うことができる。
例えば、製造品２１１に異常があるか異常がないかを判定するために用いられる場合、処理装置１０は、画像の分解能を低下させずに処理を実行することができる。これにより、処理装置１０によれば、製造品２１１に含まれる小さな異常を検出することができる。
（第２実施形態）
第２実施形態に係る処理装置１０は、図１〜図１０を参照して説明した第１実施形態に係る処理装置１０と略同一の構成および機能を有する。第２実施形態では、第１実施形態と略同一の構成および機能を有する部分には同一の符号を付けて、相違点を除き詳細な説明を省略する。
図１１は、第２実施形態に係る処理装置１０の構成を示す図である。第２実施形態に係る処理装置１０は、１または複数の平均化部５２をさらに備える。
また、第２実施形態に係る複数の部分処理部２４のそれぞれに用いられるニューラルネットワークは、１または複数の正規化レイヤ６２を含む。１または複数の正規化レイヤ６２のそれぞれは、正規化処理を実行する。
さらに、ニューラルネットワークは、１または複数の正規化レイヤ６２のそれぞれの前段に設けられた１または複数の第１レイヤ６４を含む。１または複数の第１レイヤ６４のそれぞれは、前段のレイヤから出力された信号を第１信号として取得する。なお、１または複数の第１レイヤ６４のうち、ニューラルネットワークの先頭に設けられた第１レイヤ６４は、切出部２２から出力された部分信号を、第１信号として取得する。
１または複数の第１レイヤ６４のそれぞれは、第１信号に対して畳み込み処理または全結合処理を実行する。そして、１または複数の第１レイヤ６４のそれぞれは、畳み込み処理または全結合処理を実行することにより生成した信号を、レイヤ信号として出力する。
１または複数の平均化部５２は、ニューラルネットワークに含まれる１または複数の正規化レイヤ６２に一対一で対応する。
１または複数の平均化部５２のそれぞれは、複数の部分処理部２４のそれぞれに用いられるニューラルネットワークに含まれる、対応する正規化レイヤ６２の前段の第１レイヤ６４からレイヤ信号を取得する。すなわち、１または複数の平均化部５２のそれぞれは、複数の部分処理部２４のそれぞれから、対応する第１レイヤ６４から出力されるレイヤ信号を取得する。従って、１または複数の平均化部５２のそれぞれは、複数のレイヤ信号を取得する。
１または複数の平均化部５２のそれぞれは、取得した複数のレイヤ信号を平均化した共通平均値を算出する。さらに、１または複数の平均化部５２のそれぞれは、取得した複数のレイヤ信号における標準偏差である共通標準偏差を算出してもよい。
そして、１または複数の平均化部５２のそれぞれは、複数の部分処理部２４のそれぞれに用いられるニューラルネットワークに含まれる、対応する正規化レイヤ６２に共通平均値を与える。１または複数の平均化部５２のそれぞれは、対応する正規化レイヤ６２にさらに共通標準偏差を与えてもよい。
１または複数の正規化レイヤ６２のそれぞれは、共通平均値を用いて、前段の第１レイヤ６４から出力されたレイヤ信号に対して、正規化処理を実行する。例えば、１または複数の正規化レイヤ６２のそれぞれは、前段の第１レイヤ６４から出力されたレイヤ信号から共通平均値を減算する。さらに、１または複数の正規化レイヤ６２のそれぞれは、共通標準偏差を取得した場合には、共通平均値を減算したレイヤ信号をさらに共通標準偏差で除算する。このような処理を実行することにより、正規化レイヤ６２は、前段の第１レイヤ６４から出力されたレイヤ信号を正規化することができる。
また、１または複数の正規化レイヤ６２のそれぞれは、学習処理により予め定め算出された係数および学習処理により予め算出されたシフト量が設定されていてもよい。この場合、１または複数の正規化レイヤ６２のそれぞれは、レイヤ信号に対して正規化処理を行った信号に対して、さらに係数を乗じた後、シフト量を加算した信号を出力する。これにより、１または複数の正規化レイヤ６２のそれぞれは、係数およびシフト量によりパラメータの設定の自由度が増え、係数およびシフト量が学習時に最適化されることにより、出力信号の精度を向上させることができる。
また、第１レイヤ６４は、複数のチャンネルに対応する複数の信号を含むレイヤ信号を出力してもよい。この場合、１または複数の平均化部５２のそれぞれは、共通平均値および共通標準偏差をチャンネル毎に算出する。さらに、１または複数の平均化部５２のそれぞれは、複数の部分処理部２４のそれぞれに用いられるニューラルネットワークに含まれる、対応する正規化レイヤ６２に、チャンネル毎の共通平均値およびチャンネル毎の共通標準偏差を与える。そして、１または複数の正規化レイヤ６２のそれぞれは、チャンネル毎の共通平均値およびチャンネル毎の共通標準偏差を用いて、チャンネル毎にレイヤ信号に対して正規化処理を実行する。これにより、１または複数の正規化レイヤ６２のそれぞれは、前段の第１レイヤ６４から出力されたレイヤ信号をチャンネル毎に正規化することができる。
図１２は、複数の部分処理部２４のうちの第１の部分処理部２４−１に含まれる、正規化レイヤ６２へと与えられる第１のレイヤ信号の一例を示す図である。また、図１３は、複数の部分処理部２４のうちの第２の部分処理部２４−２に含まれる、正規化レイヤ６２へと与えられる第２のレイヤ信号の一例を示す図である。なお、図１２に示す第１のレイヤ信号および図１３に示す第２のレイヤ信号は、ニューラルネットワークにおける同一位置の正規化レイヤ６２へと与えられる。
例えば、処理装置１０は、工場の製造ラインにおける製造品２１１の外観検査において、製造品２１１に異常があるか異常がないかを判定するために用いられる、とする。この場合において、例えば、処理装置１０は、製造品２１１を撮像した画像データから２つの部分画像を切り出して、２つの部分信号を生成する。
第１のレイヤ信号は、２つの部分信号のうちの第１の部分信号に対する処理をするニューラルネットワークに含まれる正規化レイヤ６２へと与えられる。第２のレイヤ信号は、２つの部分信号のうちの第２の部分信号に対する処理をするニューラルネットワークに含まれる正規化レイヤ６２へと与えられる。なお、画像は、２次元信号であるが、第１のレイヤ信号および第２のレイヤ信号は、簡単のため１次元の信号で表している。
製造品２１１に異常が無くても、撮影時の照明の当たり方、製造品２１１における部分信号に含まれる部分形状の違い等により、第１のレイヤ信号の波形と第２のレイヤ信号の波形とは、異なる。
また、第１のレイヤ信号は、製造品２１１に異常が無くても、撮影時の位置ずれ等により、製造品２１１毎に異なる。一方で、第１のレイヤ信号は、撮影時の位置ずれが発生しても、製造品２１１における相対的に近くの部分形状を撮像した画像に基づくので、製造品２１１毎の平均値の差は、小さい。第２のレイヤ信号についても同様である。
従って、製造品２１１に異常が無い場合、第１のレイヤ信号の平均値である個別平均値および第２のレイヤ信号の平均値である個別平均値のそれぞれは、一定に保たれる。また、全体の照明強度が変化する等の撮影環境の変化があっても、撮影環境が製造品２１１の全体に対する変化である場合、第１のレイヤ信号の個別平均値と第２のレイヤ信号の個別平均値との差は、特定のパターンに収まる可能性が高い。
しかし、製造品２１１における一方の部分信号に含まれる部分に異常がある場合、または、製造品２１１における両方の部分信号に含まれる部分に異常がある場合、第１のレイヤ信号の個別平均値と第２のレイヤ信号の個別平均値との差は、特定のパターンから逸脱する可能性が高い。従って、第１のレイヤ信号の個別平均値と第２のレイヤ信号の個別平均値との差は、製造品２１１に異常があるか異常がないかを判定するために有用な情報であると推測される。
図１４は、個別平均値で正規化した第１のレイヤ信号の一例を示す図である。図１５は、個別平均値で正規化した第２のレイヤ信号の一例を示す図である。
正規化レイヤ６２は、後段のレイヤに与える信号の絶対値が、極端に大きくならないように、正規化処理をする。例えば、仮に、第１のレイヤ信号および第２のレイヤ信号のそれぞれを、対応する個別平均値により正規化したとする。この場合、図１４に示すように、個別平均値で正規化した第１のレイヤ信号は、平均値が０の信号となる。また、図１５に示すように、個別平均値で正規化した第２のレイヤ信号は、平均値が０の信号となる。これにより、個別平均値で正規化した第１のレイヤ信号および第２のレイヤ信号は、絶対値を相対的に小さくすることができる。
しかし、個別平均値で正規化した第１のレイヤ信号の平均値（０）と、個別平均値で正規化した第２のレイヤ信号の平均値（こちらも０）との差は、０となってしまう。従って、第１のレイヤ信号および第２のレイヤ信号のそれぞれを、対応する個別平均値により正規化した場合、製造品２１１に異常があるか異常がないかを判定するために有用な個別平均値の差の情報が失われてしまう。
図１６は、共通平均値で正規化した第１のレイヤ信号の一例を示す図である。図１７は、共通平均値で正規化した第２のレイヤ信号の一例を示す図である。
本実施形態に係る平均化部５２は、第１のレイヤ信号および第２のレイヤ信号を合成した共通平均値を算出する。そして、図１６に示すように、第１の部分信号に対する処理をするニューラルネットワークに含まれる正規化レイヤ６２は、第１のレイヤ信号を共通平均値により正規化する。また、図１７に示すように、第２の部分信号に対する処理をするニューラルネットワークに含まれる正規化レイヤ６２は、第２のレイヤ信号を共通平均値により正規化する。第１のレイヤ信号を共通平均値により正規化した後の平均値と、第２のレイヤ信号を共通平均値により正規化した後の平均値とは、差が存在する。この差は、製造品２１１に異常があるか異常がないかを判定するために有用な情報であると推測される。
以上のような第２実施形態に係る処理装置１０は、クラス分類等の推論処理または信号の変換等の変換処理等をするために有用な情報を保ちながら、正規化処理を実行する。これにより、第２実施形態に係る処理装置１０によれば、大きなサイズの入力信号に対する処理を、精度良く行うことができる。
（第３実施形態）
図１８は、第３実施形態に係る学習システム７０を示す図である。
学習システム７０は、処理装置１０と、学習装置８０とを備える。第３実施形態に係る学習装置８０は、学習処理を行って、第１実施形態および第２実施形態において説明した処理装置１０に含まれるパラメータ群を訓練する。
例えば、学習装置８０は、処理装置１０が備える複数の部分処理部２４のそれぞれが用いるニューラルネットワークに設定されるパラメータ群、並びに、出力部２６に設定されるパラメータ群を最適化するように訓練する。なお、学習装置８０は、複数の部分処理部２４のそれぞれが用いるニューラルネットワークに設定されるパラメータ群を、複数の部分処理部２４で共通の値とするように訓練しても、複数の部分処理部２４のそれぞれで異なる値とするように訓練してもよい。
例えば、学習装置８０は、正解となる出力値が分かっている学習用の入力信号を処理装置１０に供給し、学習用の入力信号を処理装置１０に供給して得られた出力信号と正解値との誤差を算出する。そして、学習装置８０は、誤差が小さくなるように誤差逆伝播法により処理装置１０に設定されるパラメータ群を最適化する。
また、学習装置８０は、学習用の複数の入力信号の組を用いて、処理装置１０をバッチ処理により訓練してもよい。学習装置８０は、例えば１６個の学習用の入力信号を処理装置１０に与えて、１６個の出力信号を取得する。そして、学習装置８０は、１６個の出力信号のそれぞれと正解値との誤差を加算し、加算した誤差に基づき誤差逆伝播法により、処理装置１０に設定されるパラメータ群を調整する。これにより、学習装置８０は、処理装置１０に設定されるパラメータ群を効率良く最適化することができる。
さらに、第２実施形態に係る処理装置１０を訓練する場合、学習装置８０は、次のような処理を実行してもよい。すなわち、学習装置８０は、バッチ処理による訓練において、平均化部５２に、複数の入力信号を処理装置１０に与えることにより得られた複数の共通平均値をさらに平均化させる。そして、学習装置８０は、複数の共通平均値をさらに平均化させた値を、対応する正規化レイヤ６２に供給させる。そして、正規化レイヤ６２は、複数の共通平均値をさらに平均化させた値を用いて正規化処理を実行する。これにより、学習装置８０は、バッチ処理による訓練において、処理装置１０にバッチ処理に対応する正規化処理を実行させることができる。
以上のように学習装置８０は、処理装置１０に設定されるパラメータ群を最適化させて、処理装置１０を精度良く動作させることができる。
（変形例）
図１９は、時系列信号の一例を示す図である。以上の実施形態の例において、入力信号が画像データである場合を用いて説明をしている場合があるが、入力信号は、一次元の時系列信号であってもよい。この場合、処理装置１０は、一次元の時系列信号を分類したり、信号変換したりすることができる。
例えば、入力信号は、図１９に示すような、物体にレーザパルスを照射し、反射してくるまでの時間から物体までの距離を計測する距離計測装置において計測された受信光の時間変化信号であってもよい。この受信光の時間変化信号は、レーザパルスの反射光以外に、太陽などの環境光がノイズとして混入する。処理装置１０は、学習装置８０によりパラメータ群が最適化されることにより、このような受信光の時間変化信号から、ノイズを除去するように変換した信号を出力することができる。
また、入力信号は、防犯カメラにより撮像した画像データであってもよい。この場合、処理装置１０は、普段は人の出入りがない場所に、不審者が侵入したことを検出することができる。特に、処理装置１０は、その場所を撮像した画像データに、侵入者が小さく含まれていても、高精度に検出をすることができる。
また、処理装置１０は、様々な画像データおよび時系列データに対する、クラス分類等の推論処理または信号の変換処理等を実行することができる。例えば、処理装置１０は、一部にノイズを含む画像データからノイズを除去する処理をすることもできる。この場合、処理装置１０は、本来の信号とノイズとを区別するニューラルネットワークの処理過程における分析の精度が、局所的な分析と大域的な分析の組み合わせにより向上する。
（ハードウェア構成）
図２０は、実施形態に係る処理装置１０のハードウェア構成の一例を示す図である。処理装置１０は、例えば図２０に示すようなハードウェア構成の情報処理装置により実現される。処理装置１０は、ＣＰＵ（Central Processing Unit）３０１と、ＲＡＭ（Random Access Memory）３０２と、ＲＯＭ（Read Only Memory）３０３と、操作入力装置３０４と、表示装置３０５と、記憶装置３０６と、通信装置３０７とを備える。そして、これらの各部は、バスにより接続される。
ＣＰＵ３０１は、プログラムに従って演算処理および制御処理等を実行するプロセッサである。ＣＰＵ３０１は、ＲＡＭ３０２の所定領域を作業領域として、ＲＯＭ３０３および記憶装置３０６等に記憶されたプログラムとの協働により各種処理を実行する。
ＲＡＭ３０２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等のメモリである。ＲＡＭ３０２は、ＣＰＵ３０１の作業領域として機能する。ＲＯＭ３０３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。
操作入力装置３０４は、マウスおよびキーボード等の入力デバイスである。操作入力装置３０４は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３０１に出力する。
表示装置３０５は、ＬＣＤ（Liquid Crystal Display）等の表示デバイスである。表示装置３０５は、ＣＰＵ３０１からの表示信号に基づいて、各種情報を表示する。
記憶装置３０６は、フラッシュメモリ等の半導体による記憶媒体、または、磁気的若しくは光学的に記録可能な記憶媒体等にデータを書き込みおよび読み出しをする装置である。記憶装置３０６は、ＣＰＵ３０１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。通信装置３０７は、ＣＰＵ３０１からの制御に応じて外部の機器とネットワークを介して通信する。
処理装置１０で実行されるプログラムは、切出モジュールと、複数の部分処理モジュールと、出力モジュールとを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０１（プロセッサ）によりＲＡＭ３０２上に展開して実行されることにより、情報処理装置を切出部２２、複数の部分処理部２４、および、出力部２６として機能させる。
また、処理装置１０で実行されるプログラムは、コンピュータにインストール可能な形式または実行可能な形式のファイルで、ＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、処理装置１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、処理装置１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、処理装置１０で実行されるプログラムを、ＲＯＭ３０３等に予め組み込んで提供するように構成してもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 処理装置
２２ 切出部
２４ 部分処理部
２６ 出力部
３２ 畳込レイヤ
３４ 活性化レイヤ
４２ 連結部
４４ 合成部
４６ 信号出力部
５２ 平均化部
６２ 正規化レイヤ
６４ 第１レイヤ
８０ 学習装置

Claims (14)

  1. 入力信号から、それぞれが前記入力信号における予め定められた一部分である複数の部分信号を切り出す切出部と、
    前記複数の部分信号に一対一に対応し、それぞれが同一レイヤ構造のニューラルネットワークを用いて対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成する複数の部分処理部と、
    前記複数の部分信号に対応する複数の中間信号のそれぞれについて、前記複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出し、前記複数の中間信号のそれぞれのチャンネル毎の前記統計量を連結した連結信号を生成する連結部と、
    前記連結信号に対して予め定められた処理をした合成信号を生成する合成部と、
    前記合成信号に応じた出力信号を出力する信号出力部と、
    を備える処理装置。
  2. 前記信号出力部は、前記出力信号として、前記入力信号が１または複数のクラスのそれぞれに含まれる確率を表す信号を出力する
    請求項１に記載の処理装置。
  3. 前記信号出力部は、前記出力信号として、前記入力信号と同じ座標系であって、前記入力信号と異なる信号を出力する
    請求項１に記載の処理装置。
  4. 前記入力信号は、画像信号である
    請求項１から３の何れか１項に記載の処理装置。
  5. 前記入力信号は、一次元の時系列信号である
    請求項１から３の何れか１項に記載の処理装置。
  6. チャンネル毎の前記統計量は、対応するチャンネルの信号の最大値、最小値、中央値または平均値である
    請求項１から５の何れか１項に記載の処理装置。
  7. チャンネル毎の前記統計量は、対応するチャンネルの信号の最大値、最小値、中央値または平均値に対して、予め定められた関数演算を実行した値である
    請求項１から５の何れか１項に記載の処理装置。
  8. 平均化部をさらに備え、
    前記複数の部分処理部のそれぞれにより用いられるニューラルネットワークは、
    正規化処理を実行する正規化レイヤと、
    前記正規化レイヤの前段に設けられ、第１信号を取得し、取得した前記第１信号に対して畳み込み処理または全結合処理を実行したレイヤ信号を出力する第１レイヤと、
    を含み、
    前記平均化部は、前記正規化レイヤに対応し、
    前記複数の部分処理部のそれぞれに用いられるニューラルネットワークに含まれる、対応する前記正規化レイヤの前段の前記第１レイヤから前記レイヤ信号を取得し、
    取得した複数の前記レイヤ信号を平均化した共通平均値を算出し、
    前記複数の部分処理部のそれぞれに用いられるニューラルネットワークに含まれる、対応する前記正規化レイヤに前記共通平均値を与え、
    前記正規化レイヤは、前記共通平均値を用いて、前記レイヤ信号に対して正規化処理を実行する
    請求項１から７の何れか１項に記載の処理装置。
  9. 前記平均化部は、
    取得した複数の前記レイヤ信号における標準偏差である共通標準偏差を算出し、
    前記複数の部分処理部のそれぞれに用いられるニューラルネットワークに含まれる、対応する前記正規化レイヤに前記共通標準偏差を与え、
    前記正規化レイヤは、さらに前記共通標準偏差を用いて、前記レイヤ信号に対して正規化処理を実行する
    請求項８に記載の処理装置。
  10. 前記第１レイヤは、チャンネル毎に、畳み込み処理または全結合処理を実行した前記レイヤ信号を出力し、
    前記平均化部は、
    前記共通平均値をチャンネル毎に算出し、
    前記複数の部分処理部のそれぞれに用いられるニューラルネットワークに含まれる、対応する前記正規化レイヤに、チャンネル毎の前記共通平均値を与え、
    前記正規化レイヤは、チャンネル毎の前記共通平均値を用いて、チャンネル毎に前記レイヤ信号に対して正規化処理を実行する
    請求項８または９に記載の処理装置。
  11. 前記正規化レイヤは、前記レイヤ信号に対して正規化処理を行った信号に対して、さらに予め定められた係数を乗じた後、予め定められたシフト量を加算した信号を出力する
    請求項８から１０の何れか１項に記載の処理装置。
  12. 請求項８から１０の何れか１項に記載の処理装置を訓練する学習装置であって、
    学習用の複数の前記入力信号の組を用いて、前記処理装置をバッチ処理により訓練し、
    前記バッチ処理による訓練において、前記平均化部に、複数の前記入力信号を前記処理装置に与えることにより得られた複数の前記共通平均値をさらに平均化した値を、対応する前記正規化レイヤに供給させる
    学習装置。
  13. 情報処理装置により実行される処理方法であって、
    入力信号から、それぞれが前記入力信号における予め定められた一部分である複数の部分信号を切り出し、
    前記複数の部分信号に一対一に対応する複数の部分処理のそれぞれにおいて、同一レイヤ構造のニューラルネットワークを用いて対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成し、
    前記複数の部分信号に対応する複数の中間信号のそれぞれについて、前記複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出し、前記複数の中間信号のそれぞれのチャンネル毎の前記統計量を連結した連結信号を生成し、
    前記連結信号に対して予め定められた処理をした合成信号を生成し、
    前記合成信号に応じた出力信号を出力する
    処理方法。
  14. 情報処理装置により実行されるプログラムであって、
    前記情報処理装置を、
    入力信号から、それぞれが前記入力信号における予め定められた一部分である複数の部分信号を切り出す切出部と、
    前記複数の部分信号に一対一に対応し、それぞれが同一レイヤ構造のニューラルネットワークを用いて対応する部分信号に対して処理を実行することにより、複数のチャンネルに対応する複数の信号を含む中間信号を生成する複数の部分処理部と、
    前記複数の部分信号に対応する複数の中間信号のそれぞれについて、前記複数のチャンネルのそれぞれの信号に対して予め定められた統計処理を実行することにより、チャンネル毎の統計量を算出し、前記複数の中間信号のそれぞれのチャンネル毎の前記統計量を連結した連結信号を生成する連結部と、
    前記連結信号に対して予め定められた処理をした合成信号を生成する合成部と、
    前記合成信号に応じた出力信号を出力する信号出力部と、
    して機能させるプログラム。
JP2020047114A 2020-03-18 2020-03-18 処理装置、処理方法、学習装置およびプログラム Active JP7297705B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020047114A JP7297705B2 (ja) 2020-03-18 2020-03-18 処理装置、処理方法、学習装置およびプログラム
US17/005,648 US11537823B2 (en) 2020-03-18 2020-08-28 Processing apparatus, processing method, learning apparatus, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020047114A JP7297705B2 (ja) 2020-03-18 2020-03-18 処理装置、処理方法、学習装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2021149355A true JP2021149355A (ja) 2021-09-27
JP7297705B2 JP7297705B2 (ja) 2023-06-26

Family

ID=77746754

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020047114A Active JP7297705B2 (ja) 2020-03-18 2020-03-18 処理装置、処理方法、学習装置およびプログラム

Country Status (2)

Country Link
US (1) US11537823B2 (ja)
JP (1) JP7297705B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
JP7486349B2 (ja) * 2020-05-28 2024-05-17 キヤノン株式会社 ニューラルネットワーク、ニューラルネットワークの学習方法、プログラム、画像処理装置

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929896B2 (ja) * 2011-03-17 2016-06-08 日本電気株式会社 画像認識システム、画像認識方法および画像認識用プログラム
CN105022719B (zh) * 2014-04-23 2019-06-28 Ge医疗系统环球技术有限公司 医学造影系统及方法
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
CA2975251C (en) 2015-01-28 2021-01-26 Google Inc. Batch normalization layers
WO2017051945A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
EP3482346A1 (en) * 2016-07-08 2019-05-15 Avent, Inc. System and method for automatic detection, localization, and semantic segmentation of anatomical objects
US11281962B2 (en) * 2016-09-27 2022-03-22 Clarifai, Inc. Prediction-model-based mapping and/or search using a multi-data-type vector space
CN108073933B (zh) * 2016-11-08 2021-05-25 杭州海康威视数字技术股份有限公司 一种目标检测方法及装置
US10902244B2 (en) * 2017-03-27 2021-01-26 Samsung Electronics Co., Ltd. Apparatus and method for image processing
US10565433B2 (en) * 2017-03-30 2020-02-18 George Mason University Age invariant face recognition using convolutional neural networks and set distances
US10572963B1 (en) * 2017-07-14 2020-02-25 Synapse Technology Corporation Detection of items
JP7002729B2 (ja) * 2017-07-31 2022-01-20 株式会社アイシン 画像データ生成装置、画像認識装置、画像データ生成プログラム、及び画像認識プログラム
US20210166360A1 (en) * 2017-12-06 2021-06-03 Korea Advanced Institute Of Science And Technology Method and apparatus for inverse tone mapping
JP6992475B2 (ja) * 2017-12-14 2022-01-13 オムロン株式会社 情報処理装置、識別システム、設定方法及びプログラム
US10742959B1 (en) * 2017-12-29 2020-08-11 Perceive Corporation Use of machine-trained network for misalignment-insensitive depth perception
JP6766839B2 (ja) * 2018-03-14 2020-10-14 オムロン株式会社 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置
CN108921952B (zh) * 2018-06-15 2022-09-06 深圳大学 物体功能性预测方法、装置、计算机设备和存储介质
US11301728B2 (en) * 2018-06-18 2022-04-12 Apical Ltd. Image processing using a neural network system
KR102051032B1 (ko) * 2018-08-01 2019-12-02 경북대학교 산학협력단 객체 탐지 장치 및 제어 방법
WO2020033594A1 (en) * 2018-08-07 2020-02-13 Yale University Interpretable deep machine learning for clinical radiology
WO2020051776A1 (en) * 2018-09-11 2020-03-19 Intel Corporation Method and system of deep supervision object detection for reducing resource usage
JP7138718B2 (ja) * 2018-10-30 2022-09-16 三菱電機株式会社 地物検出装置、地物検出方法および地物検出プログラム
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
CN111444744A (zh) * 2018-12-29 2020-07-24 北京市商汤科技开发有限公司 活体检测方法、装置以及存储介质
US11514720B2 (en) * 2019-01-02 2022-11-29 Blink Technologies Inc. Geometrically constrained, unsupervised training of convolutional autoencoders for extraction of eye landmarks
CN111709264A (zh) * 2019-03-18 2020-09-25 北京市商汤科技开发有限公司 驾驶员注意力监测方法和装置及电子设备
CN110047078B (zh) * 2019-04-18 2021-11-09 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
FR3095880B1 (fr) * 2019-05-07 2021-04-09 Idemia Identity & Security France Procédé de classification sécurisée d’une donnée d’entrée au moyen d’un réseau de neurones à convolution
CN110147836B (zh) * 2019-05-13 2021-07-02 腾讯科技（深圳）有限公司 模型训练方法、装置、终端及存储介质
US11302033B2 (en) * 2019-07-22 2022-04-12 Adobe Inc. Classifying colors of objects in digital images
CN112307826A (zh) * 2019-07-30 2021-02-02 华为技术有限公司 行人检测方法、装置、计算机可读存储介质和芯片
CN110599451B (zh) * 2019-08-05 2023-01-20 平安科技（深圳）有限公司 医学图像病灶检测定位方法、装置、设备及存储介质
JP7302410B2 (ja) * 2019-09-25 2023-07-04 株式会社Ｊｖｃケンウッド 画像認識装置、画像認識システム、画像認識方法及びプログラム
JP7306468B2 (ja) * 2019-10-24 2023-07-11 富士通株式会社 検出方法、検出プログラムおよび情報処理装置
US11250569B2 (en) * 2019-11-04 2022-02-15 GE Precision Healthcare LLC Systems and methods for functional imaging follow-up evaluation using deep neural network
CN110866509B (zh) * 2019-11-20 2023-04-28 腾讯科技（深圳）有限公司 动作识别方法、装置、计算机存储介质和计算机设备
CN111091010A (zh) * 2019-11-22 2020-05-01 京东方科技集团股份有限公司 相似度确定、网络训练、查找方法及装置和存储介质
CN111131328B (zh) * 2020-01-09 2021-02-26 周钰 区块链的安全金融结算方法及系统
JP2022522551A (ja) * 2020-02-03 2022-04-20 ベイジン センスタイム テクノロジー ディベロップメント カンパニー リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
JP7481956B2 (ja) * 2020-08-26 2024-05-13 株式会社東芝 推論装置、方法、プログラムおよび学習装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
池田浩雄 他２名: "ＣＮＮを用いた群衆パッチ学習に基づく人数推定の高精度化", ＦＩＴ２０１４ 第１３回情報科学技術フォーラム 講演論文集 第３分冊, JPN6023003413, 19 August 2014 (2014-08-19), pages 105 - 106, ISSN: 0004977323 *

Also Published As

Publication number Publication date
JP7297705B2 (ja) 2023-06-26
US11537823B2 (en) 2022-12-27
US20210295110A1 (en) 2021-09-23

Similar Documents

Publication Publication Date Title
US11386549B2 (en) Abnormality inspection device and abnormality inspection method
JP6793325B2 (ja) 肌診断装置および肌診断方法
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
JP2014518469A (ja) 高解像度マルチスペクトル画像キャプチャ
JP7481956B2 (ja) 推論装置、方法、プログラムおよび学習装置
JP6549396B2 (ja) 領域検出装置および領域検出方法
JP2021149355A (ja) 処理装置、処理方法、学習装置およびプログラム
JP2006098152A (ja) 欠陥検出装置および欠陥検出方法
JP2020197797A (ja) 画像処理装置及び画像処理方法
CN102332085A (zh) 图像处理装置、图像处理方法、程序和电子设备
US20220414827A1 (en) Training apparatus, training method, and medium
Boffety et al. Color image simulation for underwater optics
JP2006180268A (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP7176616B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム
US20220414826A1 (en) Image processing apparatus, image processing method, and medium
US11039096B2 (en) Image processing device, image processing method and storage medium
JP2008241563A (ja) ２波長赤外線画像処理装置
JP2004537902A (ja) 雑音を含む画像の自動閾値処理
JP2021018754A (ja) 対象識別方法、情報処理装置、情報処理プログラム、光学フィルタ、および照明装置
JP7321738B2 (ja) 画像処理装置、画像処理方法及びプログラム
US20240155210A1 (en) Data generation apparatus and control method
KR102252590B1 (ko) 기계학습 환경에 기초한 테스트 환경을 설정하는 방법 및 장치
JP2019079283A (ja) 画像処理装置、撮像装置、画像処理方法、および、プログラム
US11751814B2 (en) Apparatus and method for estimating biological information, and electronic device including the same
Kosar et al. The methods for evaluating the quality of images with different types of noise

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230614

R151 Written notification of patent or utility model registration

Ref document number: 7297705

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151