JP2022038390A - 推論装置、方法、プログラムおよび学習装置 - Google Patents

Abstract

【課題】高精度の分類処理を実現すること。【解決手段】本実施形態に係る推論装置は、切出部と、畳み込み処理部と、算出部と、出力部とを含む。切出部は、入力信号から当該入力信号の一部である１以上の部分信号を切り出す。畳み込み処理部は、前記１以上の部分信号を畳み込みニューラルネットワークにより処理することにより、前記１以上の部分信号に対応する１以上の中間部分信号を生成する。算出部は、前記１以上の中間部分信号の統計量を算出する。出力部は、前記統計量に応じた前記入力信号に関する推論結果を出力する。【選択図】図１

Description

本発明の実施形態は、推論装置、方法、プログラムおよび学習装置に関する。

防犯カメラの画像に基づく侵入者検知または製品の異常検知などの画像分類分野において、ニューラルネットワークによる識別処理が採用されている。具体的には、例えば防犯カメラで撮影した映像に小さく写った侵入者を検出する、工場における外観検査画像から製造品の小さな欠陥を検出するといった識別処理の用途に、ニューラルネットワークによる識別処理が用いられる。
一般的に採用されるニューラルネットワークによる識別処理では、画素数が多い画像に対して行うと、畳み込み処理の前半で画像サイズが小さくなる。よって、画像の分解能が低下してしまい識別精度が低くなる。また、注目マップの生成には、検出処理に加えて追加の処理が必要となり、短時間で識別処理結果を得ることが必要な状況では、その処理量や遅れが問題になる。さらに、注目マップは識別処理の過程には現れないため、識別の根拠として十分ではないという問題がある。

Bolei Zhou et al., "Learning Deep Features for Discriminative Localization," 2016 IEEE Conference on Computer Vision and Pattern Recognition, 2016.

本開示は、上述の課題を解決するためになされたものであり、高精度の分類処理を実現する推論装置、方法、プログラムおよび学習装置を提供することを目的とする。

本実施形態に係る推論装置は、切出部と、畳み込み処理部と、算出部と、出力部とを含む。切出部は、入力信号から当該入力信号の一部である１以上の部分信号を切り出す。畳み込み処理部は、前記１以上の部分信号を畳み込みニューラルネットワークにより処理することにより、前記１以上の部分信号に対応する１以上の中間部分信号を生成する。算出部は、前記１以上の中間部分信号の統計量を算出する。出力部は、前記統計量に応じた前記入力信号に関する推論結果を出力する。

第１の実施形態に係る推論装置を示すブロック図。 第１の実施形態に係る推論装置の動作例を示すフローチャート。 製造品を撮像した画像データの一例を示す図。 異物が付着した製造品を撮像した画像データの一例を示す図。 撮像領域において位置がずれた状態の製造品を撮像した画像データの一例を示す図。 製造品の画像データから切り出される部分画像の一例を示す図。 第１の実施形態に係る畳み込み処理部における畳み込み処理の第１例を示す図。 第１の実施形態に係る畳み込み処理部における畳み込み処理の第２例を示す図。 第１の実施形態に係る、画像を例とした推論装置の動作例を示す概念図。 出力部の第１の変形例を示す図。 出力部の第２の変形例を示す図。 出力部の第３の変形例を示す図。 製造品を撮像した画像データの一例を示す図。 中間部分画像の一例を示す模式図。 注目マップの前処理の一例を示す図。 入力画像と注目マップとの重畳表示の一例を示す図。 第１の実施形態の変形例に係る推論装置の動作例の概念図。 第２の実施形態に係る推論装置の動作例を示すフローチャート。 第２の実施形態に係る、画像を例とした推論装置の動作例を示す概念図。 入力信号として１次元信号を用いる例を示す図。 第３の実施形態に係る畳み込み処理部における畳み込み処理を示す図。 第４の実施形態に係る学習装置を含む学習システムを示すブロック図。 推論装置および学習装置のハードウェア構成の一例を示す図。

以下、図面を参照しながら本実施形態に係る推論装置、方法、プログラムおよび学習装置について詳細に説明する。なお、以下の実施形態では、同一の参照符号を付した部分は同様の動作をおこなうものとして、重複する説明を適宜省略する。

（第１の実施形態）
第１の実施形態に係る推論装置について図１のブロック図を参照して説明する。
第１の実施形態に係る推論装置１０は、切出部１０１と、畳み込み処理部１０２と、算出部１０３と、出力部１０４と、表示制御部１０５とを含む。

切出部１０１は、入力信号を受け取る。入力信号は、例えば画像信号である。画像信号は、１枚の静止画像であってもよいし、時系列の所定枚の画像を含む動画像であってもよい。また、入力信号は、一次元の時系列信号であってもよい。一次元の時系列信号は、例えば所定時間で取得される音声信号、光信号である。
切出部１０１は、入力信号から、それぞれが入力信号における異なる一部分である１以上の部分信号を切り出す。例えば、入力信号が１枚の静止画像である場合、部分信号は、静止画像における予め定められた一部分を切り出した部分画像である。複数の部分信号のそれぞれは、同一サイズでもよいし、異なるサイズでもよい。また、切出部１０１は、入力信号から複数の部分信号を切り出す際に、他の部分信号の一部が重複するように切り出してもよいし、他の部分信号と重複しないように切り出してもよい。

畳み込み処理部１０２は、複数の畳み込み層を含むレイヤ構造を有する畳み込みニューラルネットワークを含む。畳み込み処理部１０２は、切出部１０１から複数の部分信号を受け取り、各部分信号を畳み込みニューラルネットワークにより処理することにより、１以上の部分信号に対応する１以上の中間部分信号を生成する。
なお、畳み込み処理部１０２は、切出部１０１により切り出された複数の部分信号に一対一に対応するように複数設けられてもよい。複数の畳み込み処理部１０２が設けられる場合は、複数の畳み込み処理部１０２に含まれる畳み込みニューラルネットワークはそれぞれ、重み係数およびバイアス値などのパラメータ群が同一であっても、異なっていてもよい。また、畳み込み処理部１０２は１つでもよく、この場合、時分割で複数の部分信号を逐次処理すればよい。

算出部１０３は、畳み込み処理部１０２からの中間部分信号を受け取り、１以上の中間部分信号に対して統計処理を行うことで統計量を算出する。

出力部１０４は、算出部１０３から統計量を受け取り、統計量に応じた入力信号に関する推論結果を出力する。

表示制御部１０５は、中間部分信号に対して統計量に応じた強調処理を実行し、入力信号および部分信号の少なくともどちらか一方に強調処理後の中間部分信号を注目マップとして重畳表示する。なお、表示制御部１０５は、推論装置１０の一部として図示しているが、これに限らず、推論装置１０とは別体でもよい。

次に、第１の実施形態に係る推論装置１０の動作例について図２のフローチャートを参照して説明する。
ステップＳ２０１では、切出部１０１が、入力信号から複数の部分信号を切り出す。
ステップＳ２０２では、畳み込み処理部１０２が、複数の部分信号のそれぞれについて、畳み込みニューラルネットワークにより畳み込み処理し、複数の中間部分信号を生成する。
ステップＳ２０３では、算出部１０３が、各中間部分信号の統計量を算出する。ここでは、各中間部分信号の平均値を算出する。
ステップＳ２０４では、算出部１０３が、複数の平均値の中から最大値を算出する。
ステップＳ２０５では、出力部１０４が、最大値に関数を適用することで、入力信号に関する推論結果、例えば入力信号が推論対象のクラスに該当する確率を推論結果として出力する。

なお、図２のフローチャートでは、ステップＳ２０１で切り出された複数の部分信号について一度に処理することを想定するが、ステップＳ２０１で部分信号を１つ切り出し、１つの部分信号に対して推論結果を出力し、別の部分信号を切り出して推論結果を出力し、といったように、推論装置１０は部分信号を１つずつ処理してもよい。

次に、第１の実施形態で想定する入力信号の一例について図３から図６までを参照して説明する。以下、第１の実施形態では、入力信号が画像である場合を例に説明する。
図３は、製造品３０１を撮像した画像データの一例を示す図である。推論装置１０は、工場の製造ラインにおける製造品３０１の外観検査において、製造品３０１に異常があるかないかの製造欠陥の有無を判定するために用いられてもよい。この場合、推論装置１０は、入力信号として、図３に示すような製造品３０１を撮像した画像データを取得する。製造品３０１を撮像した画像データは、例えば、可視光のモノクロ画像、カラー画像、あるいは、赤外線画像、Ｘ線画像または凹凸を計測した奥行画像などである。

次に、図４は、異物４０２が付着した製造品３０１を撮像した画像データを示す図である。例えば、図４に示すように、円形部品４０１に異物４０２が付着している場合などの製造品３０１の外観に異常が存在する場合、推論装置１０は、製造品３０１に「欠陥あり」と判定する。また、製造品３０１の外観に異常が存在しない場合、推論装置１０は、製造品３０１に「欠陥なし」と判定する。

図５は、撮像領域において位置がずれた状態の製造品５０１を撮像した画像データを示す図である。仮に、理想的に全ての正常な製造品において等しい画素値の画像が撮影できるのであれば、単純に正常な製造品画像と撮影画像との画素値の差分を算出し、画素値の絶対値が大きい部分があれば欠陥ありと判定すればよい。しかし、実際には、図５に示すように製造品５０１の位置がずれて写ったり、照明強度やイメージセンサ感度が変動したり、各部品の位置が許容値以下の範囲でずれたりして、正常品であっても画像に変動が生じることが多い。このような場合には、単純な差分では欠陥の有無を判定できない。本実施形態に係る推論装置１０は、ニューラルネットワークを用いることで、事前にこれらの変動した画像も学習データに含めておくことで推論処理の際に対応できる。

次に、入力画像に含まれる複数の部分信号、つまり部分画像の一例を図６に示す。工場の製造ラインにおける製造品３０１の外観検査において、推論装置１０は、製造品３０１を撮像した画像データにおける予め定められた部分画像を切り出し、部分画像における異常の有無について推定する。

例えば、切出部１０１は、図６の破線で囲んだ矩形部分のような、サイズが同一の部分画像６０１、６０２、６０３および６０４の４つを切り出す。部分画像６０１、６０２、６０３および６０４のそれぞれの位置は、外観検査の前工程で部品が取り付けられた領域を部分画像として設定するなど、検査対象とする部分に応じて予め定められればよい。なお、切出部１０１は、部分画像をいくつ切り出してもよいし、サイズまたは形状の異なる複数の部分画像を切り出してもよい。
なお、部分画像６０１および部分画像６０２のように画像パターンが近い方が異物などの検出が容易となるが、部分画像６０３および部分画像６０４のように形状の違いにより画像パターンが異なる部分画像も処理できる。これは、後述するニューラルネットワークの学習時において、画像パターンの違いを欠陥として反応させないように学習できるためである。よって、切り出した部分画像をまとめて推論装置１０により処理できる。

次に、畳み込み処理部１０２における畳み込み処理の第１例について図７を参照して説明する。
図７は、部分信号である１チャンネルの部分画像７０１と、畳み込み処理部１０２により畳み込み処理されることで生成される中間部分信号である中間部分画像を示す模式図である。また、説明の便宜上、部分画像７０１の各画素（サンプリングデータともいう）７０２を球で表し、各画素７０２が画素値を有するとする。畳み込みニューラルネットワークを形成する複数の畳み込み層のうちの最初の畳み込み層において、部分画像７０１の各画素７０２で、カーネル（フィルタともいう）が有する重み係数と、カーネルに対応する領域の部分画像の画素７０２の画素値とが積和演算されることにより、中間部分信号である中間部分画像７０３の１つの画素７０４について画素値が算出される。

図７の例では３×３サイズのカーネルの９個の各領域に対応する重み係数に、カーネルの領域に対応する部分画像のうちの縦３個×横３個の計９個の画素７０２の画素値をそれぞれ乗算して加算することで、１つの画素７０４の画素値が算出される。その後にカーネルを左右、上下に移動させ、隣接する画素位置に対しても同様の積和演算を実施することで、１チャンネルの中間部分画像７０３を生成する。続いて次層の畳み込み層において、中間部分画像７０３の畳み込み処理が実行されることで、中間部分画像７０６が生成される。以降、畳み込みニューラルネットワークを形成する畳み込み層において、中間部分画像に対する同様の畳み込み処理が実行される。

なお、カーネルの移動量は１画素分（すなわち、ストライド１）で動かすことを想定し、畳み込み演算を行う部分画像７０１および後段の中間部分画像７０３の端部では、ゼロパディングまたは端部の画素値をコピーすることで、周辺画素を一回り大きく取る。これにより、ストライド１で畳み込み演算を行っても、縦画素数および横画素数を変化させずに、次の畳み込み層に入力される中間部分画像のサイズを、元の部分画像のサイズに維持できる。すなわち、中間部分画像（中間部分信号）におけるサンプリングデータの数は、部分画像（部分信号）と同じである。

なお、積和演算だけではなく、積和に所定のバイアス値を加算してもよい。このバイアス値も重み係数と同様に、画面全体で一定としてもよい。
さらに、畳み込み層からの出力となる、積和演算およびバイアス値の加算により得られる中間部分画像７０３に対して、ＲｅＬＵ（Rectified Linear Unit）のような所定の関数を適用して活性化処理を行う活性化層を、複数の畳み込み層の層間に挿入してもよい。

なお、活性化層は、必ずしも畳み込み層の後に適用される必要はない。つまり、活性化層を挟まずに畳み込み層が連続して接続されるパターンと、畳み込み層の後に活性化層が接続されるパターンとが混在してもよい。

次に、畳み込み処理部１０２における畳み込み処理の第２例について図８を参照して説明する。
畳み込み層で生成される中間部分画像７０３は、複数のチャンネルで構成されてもよい。例えばカラー画像であれば、ＲＧＢ信号に対応する３チャンネルの画像となる。畳み込み層においては、チャンネルは複数存在するほうが処理の自由度が高くなり、様々な画像に対応できる。図８の例では、複数のチャンネル７０５を有する中間部分画像７０３を想定し、中間部分画像７０３はチャンネル７０５ごとに畳み込み処理が実行される。なお、画像の解像度を維持するために、中間部分画像７０３における縦画素数および横画素数は変化させない。データ数は、縦画素数×横画素数×チャンネル数であるので、推論装置１０を実現するハードウェアのメモリ量に制限がある場合には、当該制限を超えないようにチャンネル数が設定されればよい。

また、各チャンネルで用いるカーネルの重み係数およびバイアス値は、チャンネル間で異なる。つまり、カーネルの位置が同じ、つまり複数のチャンネルの中間部分画像７０３において画素位置が同じでも画素値が異なる。

次に、画像を例とした、図２に示す第１の実施形態に係る推論装置１０の動作例について図９の概念図を参照して説明する。
図９は、切出部１０１における入力画像に対する部分画像の切り出し処理、畳み込み処理部１０２における畳み込み処理、算出部１０３における算出処理および出力部１０４による推論結果の出力処理の一連の流れを示す図である。

切出部１０１は、識別対象である入力画像９００から部分画像６０１および部分画像６０２を切り出す。
畳み込み処理部１０２は、部分画像６０１および部分画像６０２に対してそれぞれ畳み込みニューラルネットワークを用いた畳み込み処理を実行する。ここで、畳み込みニューラルネットワークの最終層、つまり畳み込み処理部１０２からの出力を生成する最後の畳み込み層では、出力が１チャンネルとなるように設計される。図９に示すように、最後の畳み込み層の直前の畳み込み層が複数のチャンネルを有する中間部分画像７０３である場合は、複数のチャンネルに対して１つのチャンネルのカーネルを適用して加算することで、１チャンネルの中間部分画像７０６を生成する。または、最後の畳み込み層において複数のチャンネルの和または重み付け和を計算し、１チャンネルの中間部分画像７０６を生成してもよい。

算出部１０３は、畳み込み処理部１０２で得られた中間部分画像７０６の画素の平均値９０１を算出する。つまり、１つの中間部分画像７０６から１つの平均値９０１が算出される。算出部１０３は、算出された平均値９０１のうちの最大値９０２を算出する。なお、算出部１０３は、平均値を算出することに限らず、中間部分画像７０６全体の画素のうちの最大の画素値を最大値９０２としてもよい。

出力部１０４は、最大値９０２に対して関数を適用する。ここでは最大値９０２に対してシグモイド関数を適用して推論結果９０３を出力する。推論結果９０３は、例えば入力画像９００に欠陥がある確率である。シグモイド関数を適用することで、出力値は０から１の間の値をとるため、そのまま出力すれば、欠陥がある確率を示すことができる。また、例えば０．５を閾値として設定し、シグモイド関数からの出力値が閾値以上であれば「欠陥あり」、出力値が閾値未満であれば「欠陥なし」といった２値判定の結果を、推論結果９０３として出力することも可能である。

次に、出力部１０４の第１の変形例について図１０に示す。
図１０に示すように、各中間部分画像７０６の平均値９０１の最大値９０２に対してシグモイド関数を適用する代わりに、算出部１０３により算出された、各中間部分画像７０６の平均値９０１に対して重み係数をそれぞれ乗算して加算する、すなわち全結合した値１００１に対してシグモイド関数を適用してもよい。第１の変形例に係る出力部１０４からの出力が、欠陥がある確率を示す推論結果９０３として生成される。

次に、出力部１０４の第２の変形例について図１１に示す。
図１１は、図１０のように平均値９０１を全結合した出力を複数に設定して、当該出力に対してソフトマックス関数を適用してもよい。例えば、第１の入力１１０１および第２の入力１１０２とをソフトマックス関数に入力し、「欠陥あり」の確率を推論結果９０３として出力してもよい。

また、出力部１０４の第３の変形例について図１２に示す。
図１１に示す第２の変形例とソフトマックス関数への入力は同様であるが、第３の変形例では、ソフトマックス関数からの出力を複数にしてもよい。具体的に、図１２に示すように「欠陥あり」の確率に関する推論結果９０３に加え、「欠陥あり」の確率を１から減じた「欠陥なし」の確率に関する推論結果１２０１を同時に出力するようにしてもよい。

次に、推論装置１０による推論結果の根拠となる注目マップの表示例について図１３から図１６を参照して説明する。
推論装置１０の推論処理の過程で得られた、最大値として選択された平均値の元となる中間部分画像を、そのまま欠陥に関する注目マップとして用いることができる。

例えば、図１３は、図３と同様に製造品３０１を撮影した識別対象の入力画像１３０１である。製造品３０１の部分画像６０２に異物４０２が存在し、推論装置１０において、当該異物４０２により、製造品３０１に「欠陥あり」との推論結果が得られた場合を想定する。

「欠陥あり」と推論された部分画像６０２に対応する中間部分画像１４０１の模式図を図１４に示す。図１４では、白の領域は画素値が大きく、黒に近い色の領域は画素値が小さいことを表す。
図１４に示すように、部分画像６０２に対応する中間部分画像１４０１は、異物４０２の領域で画素値が大きくなり、異物４０２以外の領域では小さい画素値となることが多いと考えられる。これは、異物などの欠陥により中間部分画像１４０１内に画素値が大きい領域があれば、当該中間部分画像の輝度値の平均値も大きくなるため、最大値も大きくなり、結果として「欠陥あり」と推論される可能性も高くなるからである。

一方、部分画像６０４に対応する中間部分画像１４０２には異物が無いため、中間部分画像１４０２の領域内では一様に画素値が小さくなる。中間部分画像１４０２の内部に欠陥がないため、中間部分画像の輝度値の平均値も小さくなり、最大値も小さくなり、結果として「欠陥あり」と判定される可能性が低くなる。
よって、推論装置１０で生成される中間部分画像を注目マップとして入力画像と対応付けて表示することで、欠陥ありと推論された部分画像をユーザが確認できる。

入力画像に対する部分画像の位置情報（座標情報）は、部分画像に例えばラベルとして付与され、畳み込み処理部１０２により処理される場合もそのまま中間部分画像に付帯されてもよい。また、算出部１０３が部分画像の位置情報を受け取り、畳み込み処理部１０２からの出力となる中間部分画像に対して位置情報を紐付けるようにしてもよい。

注目マップの前処理の一例を図１５に示す。領域全体に小さい画素値を設定したベース画像１５０１を用意し、入力画像から切り出した位置情報に基づいて中間部分画像１４０１および中間部分画像１４０２を、ベース画像１５０１に重畳する。
続いて、入力画像と注目マップとの重畳表示の一例を図１６に示す。
図１６では、画素ごとに、入力画像の画素値と注目マップの画素値との平均を取った画像を表示する。これにより、ユーザが欠陥を確認するための確認用画像を生成できる。確認用画像において異物４０２の部分だけ画素値が大きいので、他の領域の画素値と比較して画素値が大きく、図１６の例では白く表示される。これにより、ユーザが推論結果の根拠となる箇所を容易に把握できる。

上述した確認用画像は、表示制御部１０５が、ユーザから注目マップまたは確認用画像の表示指示を取得した場合、外部の表示装置に表示してもよい。または、「欠陥あり」と判定された推論結果が得られた場合に、確認用画像が外部の表示装置に表示されるようにしてもよい。なお、表示制御部１０５が推論装置１０とは別体であれば、推論装置１０から表示制御部１０５に注目マップが送信され、注目マップおよび確認用画像の表示処理が実行されてもよい。

また、表示制御部１０５が、注目マップの画素値によって入力画像には無い色で異物４０２の着色処理することで、異物４０２を画像上でより目立たせることもできる。また、表示制御部１０５が、異物４０２の領域を示す矢印などのマークを表示させる、または異物の領域を点滅させるなどすることで、ユーザが欠陥であると認識しやすくなる。さらには表示制御部１０５が、「欠陥あり」とのメッセージなどを表示するように制御してもよい。また、図１６に示す画像において、ユーザが欠陥周辺の領域をクリックまたはタッチすることで、表示制御部１０５が、異物部分を含む領域が拡大表示されるように制御してもよい。

すなわち、表示制御部１０５によって、中間部分画像を注目マップとして強調表示できる表示態様であれば、どのような手法を用いてもよい。

以上に示した第１の実施形態によれば、部分画像を切り出し、各部分画像に対して畳み込み演算を行うことで、画像サイズが急に小さくなることがなく、画像の分解能を保ったまま畳み込み演算でき、高い識別精度を得ることができる。また、元の画像が大きなサイズの画像であっても、一部分を切り出した部分画像単位で処理するため、解像度を落とすことなく、解像度を保ったままでも処理量や必要となるメモリ量が大きくならないメリットがある。

さらに、中間部分画像は、画像の一部を切り出して画像サイズを変更することなく畳み込み演算されているため、中間部分画像をそのまま注目マップとして利用できる。よって、従前のように、別途注目マップを生成する処理が必要がない。さらに、注目マップである中間部分画像の画素値の大きさで欠陥の有無を直接識別可能なため、ニューラルネットワークを用いた場合でも、識別の根拠が明確となる。結果として、第１の実施形態に係る推論装置によれば、高精度の分類処理を実現できる。

（第１の実施形態の変形例）
第１の実施形態では、欠陥の有無といった１つのクラス分類について説明したが、第１の実施形態に係る変形例では、推論装置１０が推論対象として複数のクラスに分類する、多クラス分類を行う。本変形例で想定する多クラス分類は、例えば欠陥検査であれば、異物の付着、部品の変形、傷などの欠陥の種類まで識別することを想定する。

第１の実施形態の変形例に係る推論装置１０の動作例について図１７の概念図を参照して説明する。
図１７では、畳み込み処理部１０２からの出力を生成する畳み込み層の最終層以前の処理は図９と同様であるため、ここでの説明を省略する。

図１７に示す中間部分画像１７０１は、畳み込み処理部１０２の畳み込みニューラルネットワークの最終層から出力される中間部分画像である。ここでは、２つの中間部分画像を例とするが、第１の実施形態と同様、切り出された部分画像に対応する数の中間部分画像が生成される。

畳み込みニューラルネットワークの最終層から出力される中間部分画像１７０１のチャンネル数は、１チャンネルではなく、推論処理により分類するクラス数と同数となるように設定される。ここでは、４つのクラス分類を想定するため、４チャンネル（第１チャンネルＣｈ１，第２チャンネルＣｈ２，第３チャンネルＣｈ３，第４チャンネルＣｈ４）の中間部分画像１７０１が生成される。

算出部１０３は、チャンネルごとに中間部分画像１７０１の画素値の平均値９０１を算出し、チャンネルごとに複数の中間部分画像１７０１に基づく統計量を算出する。
図１７の例では、算出部１０３は、中間部分画像１７０１の第１チャンネルＣｈ１の画素値の平均値９０１を算出し、選択された平均値９０１の中で最大値９０２を出力とする。

出力部１０４は、第１チャンネルＣｈ１の最大値に対してシグモイド関数を適用することで第１クラスの推論結果を生成する。例えば、異物の有無に関する確率を第１クラスの推論結果として出力する。

同様に、第２チャンネルから第４チャンネルまでの中間画像について、第１クラスから第４クラスまでのそれぞれの確率を推論結果として出力する。なお、出力部１０４は、多クラス分類の数に応じて、各クラス別に推論結果を出力するように複数の関数を用意してもよいし、１つの関数を複数回適用して、各クラスの推論結果を出力してもよい。
なお、算出部１０３および出力部１０４は、第１の実施形態で上述した各変形例を適用してもよい。

以上に示した第１の実施形態の変形例によれば、畳み込み処理部における畳み込みニューラルネットワークの最終層の出力を、複数のチャンネルを有する中間部分画像となるように設定する。推論装置では、複数のチャンネルそれぞれについて、第１の実施形態と同様に統計量を算出し、統計量に応じたクラス分類の推論結果を出力することで、チャンネル数に応じた数のクラス分類、すなわち多クラス分類を実現できる。

（第２の実施形態）
第２の実施形態では、切出部１０１による切り出し処理を畳み込みニューラルネットワークの最終層の出力に対して行う点が、第１の実施形態と異なる。

第２の実施形態に係る推論装置の動作例について図１８のフローチャートを参照して説明する。
ステップＳ１８０１では、畳み込み処理部１０２が、入力信号に対して畳み込みニューラルネットワークにより畳み込み処理し、中間信号を生成する。
ステップＳ１８０２では、切出部１０１が、中間信号から複数の中間部分信号を切り出す。なお、中間部分信号を切り出す位置は、畳み込みニューラルネットワークへの入力が入力信号であるので、第１の実施形態で上述した入力信号から部分信号の切り出し方法を適用でき、中間信号から中間部分信号を同様に切り出せばよい。
ステップＳ２０３からステップＳ２０５までの処理は、図２と同様であるので説明を省略する。また、第１の実施形態と同様に、推論装置１０は部分信号を１つずつ処理してもよい。

次に、画像を例とした、図１８に示す第２の実施形態に係る推論装置の動作例について図１９を参照して説明する。
図１９は、図９と同様に、入力画像１９０１に対する推論処理の一連の流れを示す。

畳み込み処理部１０２は、入力画像１９０１に対して畳み込みニューラルネットワークを用いた畳み込み処理を行い、中間画像１９０２を生成する。なお、図１９では複数のチャンネルを有する中間画像１９０２の例を示すが、１チャンネルの中間画像であってもよい。第１の実施形態と同様に、チャンネルごとに畳み込み処理を行い、畳み込みニューラルネットワークの最終層では、１チャンネルの中間画像１９０３となるように処理すればよい。

切出部１０１は、畳み込み処理部１０２から中間画像１９０３を受け取り、中間画像１９０３から複数の中間部分画像１９０４を切り出す。
算出部１０３は、複数の中間部分画像１９０４のそれぞれの平均値１９０５を算出し、複数の平均値１９０５の中で最大値９０２を算出する。
出力部１０４は、第１の実施形態と同様に、最大値９０２にシグモイド関数を適用し、例えば「欠陥あり」の確率を推論結果９０３として出力する。

以上に示した第２の実施形態によれば、入力信号に対して畳み込みニューラルネットワークにより畳み込み処理し、畳み込みニューラルネットワークの最終層からの中間信号に対して、切り出し処理を行い、中間部分信号を生成する。切り出し処理のタイミングが異なる場合でも、第１の実施形態と同様に、高精度の分類処理を実現できる。

なお、第１の実施形態、および第２の実施形態において、切り出す画像は、欠陥の全体を含んだ方がその検出が容易になる。一方で、切り出す画像が大きすぎると、欠陥以外の情報が相対的に多くなり、欠陥の検出が困難になる。従って、予め欠陥の大きさが予想できる場合には、その大きさに応じて、切り出す画像の大きさを設定してもよい。例えば、欠陥の大きさの縦横２倍または４倍といったように切り出しサイズの倍率を設定してもよい。具体的に、切出部１０１は、例えば外部から欠陥の大きさに関する情報を受け取り、欠陥の大きさに対し、設定された切り出しサイズの倍率を乗算した大きさで、第１の実施形態であれば部分画像、第２の実施形態であれば中間部分画像をそれぞれ切り出せばよい。これにより検出精度の向上が期待できる。

（第３の実施形態）
第３の実施形態では、入力信号として１次元信号を用いる場合について図２０を参照して説明する。
図２０は、物体にレーザパルスを照射してから、物体から反射した光を受信するまでの時間から、物体までの距離を計測する距離計測装置における受信光の時間変化を示す。図２０のグラフは、縦軸が受信光の強度を示し、横軸が時間を示す。

計測したいパルス２００１を特定する際に、パルス２００１以外にも太陽光などの環境光２００２がノイズとして混入し、計測精度が劣化する可能性がある。

このような距離計測装置における距離計測においても、推論装置１０による推論処理を適用できる。１次元信号に対する畳み込み処理部における畳み込み処理について図２１の概念図を参照して説明する。

切出部１０１は、受信光をサンプリングした入力信号から複数の部分信号を切り出す。例えば、切出部１０１は、所定の時間間隔で部分信号２１０１を切り出せばよい。なお、図２１の例では、受信光のサンプリング点を球で表現する。

畳み込み処理部１０２は、部分信号２１０１に対して１次元の畳み込みを行う。すなわち１次元のカーネルを部分信号２１０１に適用して、部分信号２１０１のサンプリング値と重み係数との積和演算を行い、中間部分信号２１０２が生成される。図２１の例では、３つの信号値に１×３サイズのカーネルを適用し、次層の１つのサンプリング値を生成し、例えばストライド１で、カーネルを次の３つのサンプリング値に対して順次適用していくことで、中間部分信号２１０２を生成すればよい。なお、畳み込み処理部１０２は、中間部分信号２１０２に対して同様に畳み込み処理を行い、中間部分信号２１０３を生成し、といったように順次畳み込み処理を実行すればよい。

なお、図示しないが、算出部１０３は、畳み込み処理部１０２からの出力に対し、画像の場合と同様に中間部分信号の平均値を算出し、複数の平均値のうちの最大値を算出する。出力部１０４は、最大値が算出された元となる中間部分信号を切り出した部分信号の位置（時間）について、パルスの位置である確率を推論結果として検出できる。

入力信号が複数のチャンネルの信号の場合は、第１の実施形態に係る画像の場合と同様に、畳み込み処理部１０２が、複数チャンネルの１次元信号についてチャンネルごとに畳み込み処理し、畳み込みニューラルネットワークの最終層において１チャンネルのデータとなるように処理すればよい。

以上に示した第３の実施形態によれば、入力信号が１次元信号の場合でも、画像の場合と同様に高精度の分類処理を実現できる。

（第４の実施形態）
第４の実施形態では、第１の実施形態から第３の実施形態までに説明した推論装置１０に含まれる畳み込みニューラルネットワークを学習させる学習装置について説明する。

第４の実施形態に係る学習装置を含む学習システムについて図２２のブロック図に示す。学習システムは、学習装置２１と学習データ格納部２２とを含む。学習装置２１は、切出部１０１と、畳み込み処理部１０２と、算出部１０３と、出力部１０４と、学習制御部２１１とを含む。なお、学習が完了した場合は、第１の実施形態から第３の実施形態までに上述した、切出部１０１と、畳み込み処理部１０２と、算出部１０３と、出力部１０４とを含む推論装置１０が実現できる。なお、説明の便宜上、学習装置２１内に推論装置１０の構成を含むように図示したが、これに限らず、学習装置２１とは別体の推論装置１０が、学習装置２１と接続されることで学習されてもよい。

学習データ格納部２２は、推論装置１０を学習させる、具体的には推論装置１０に含まれる畳み込みニューラルネットワークを学習するための学習データを格納する。学習データは、正解ラベル付きのサンプルデータであり、例えば欠陥検査のための学習データであれば、正常な製造品画像と正常であることを示す分類結果の正解ラベル（例えば０（ゼロ））との組、または、異常がある製造品画像と異常があることを示す分類結果の正解ラベル（例えば１）との組を学習データとすればよい。

学習制御部２１１は、学習データを推論装置１０に入力した場合の出力部１０４からの推論結果と、当該学習データの正解ラベルとの誤差を算出する。具体的には、例えば、出力部１０４からの推論結果として「欠陥あり」の確率を出力する場合を想定する。「欠陥あり」の確率と、「欠陥あり」の確率を１から減じた「欠陥なし」の確率をベクトルで表現する。例えば、出力部１０４は、入力された学習データの画像に対する推論結果として、（「欠陥あり」の確率，「欠陥なし」の確率）のベクトルを出力する。

一方、学習データの正解ラベルのベクトルとして、「欠陥あり」の場合は（１，０）、「欠陥なし」の場合は（０，１）と表現する。学習制御部２１１は、出力部１０４から出力されるベクトルと正解ラベルのベクトルとの誤差を、例えば交差エントロピーにより算出する。

学習制御部２１１は、誤差逆伝播法により、畳み込み処理に用いた画素の位置、最大値として得られたデータの位置を、ネットワークを逆方向に辿りながら、例えば確率的勾配降下法により各重み係数およびバイアス値を更新して最適化し、学習が完了するまで畳み込みニューラルネットワークにおけるパラメータを更新する。なお、誤差逆伝播法などニューラルネットワークにおける学習方法については、一般的な学習処理と同様の手法を用いればよいため、具体的な説明は省略する。

また、多クラス分類の場合は、正解ラベルのベクトルを、クラス数に対応するベクトル要素を含むワンホットベクトルとして表現すればよい。例えば、異常がある製造品画像と、異常の種別を分類したクラスの要素を１、他のクラスの要素をゼロとしたワンホットベクトルである正解ラベルとの組を学習データとする。具体的に、異常の種別を３種類に分類したベクトル（傷、異物の付着、部品の変形）を正解ラベルとし、目視により製造品画像に傷があれば、製造品画像と、傷を表す要素を１とし他の要素をゼロとしたベクトル（１，０，０）の正解ラベルとの組を学習データとすればよい。なお、製造品画像に複数種別の異常が存在する場合は、該当する種別の要素を全て１としたベクトルとしてもよい。

学習制御部２１１は、学習データの製造品画像を推論装置１０に入力した場合の出力部１０４からの異常の種別の数に対応した次元のベクトルと、当該学習データの正解ラベルとの誤差を異常の種別の要素ごとに算出する。

以上に示した第４の実施形態によれば、１つの入力信号に対する１つの正解ラベルが付与された学習データにより畳み込みニューラルネットワークを学習することで、部分画像ごとに第１の実施形態から第３の実施形態に係る推論装置を実現できる。

例えば、単に画像の部分ごとに切り出して、異常の有無も部分ごとに独立に調べるニューラルネットワークでは、その部分ごとに異常の有無を正解データとして、部分の数だけ用意しなければならない。一方、第４の実施形態における学習データでは、例えば、入力画像に対する部分画像の畳み込み処理後の中間部分画像を統合して、元の入力画像のどこかに異常が有るか無いかという、入力画像単位での分類を行うので正解ラベルも画像に１つ付与されるだけでよい。よって、目視による正解データの作成が容易である。

次に、上述の実施形態に係る推論装置１０および学習装置２１のハードウェア構成の一例を図２３に示す。
推論装置１０及び学習装置２１は、ＣＰＵ（Central Processing Unit）３１と、ＲＡＭ（Random Access Memory）３２と、ＲＯＭ（Read Only Memory）３３と、ストレージ３４と、表示装置３５と、入力装置３６と、通信装置３７とを含み、それぞれバスにより接続される。

ＣＰＵ３１は、プログラムに従って演算処理および制御処理などを実行するプロセッサである。ＣＰＵ３１は、ＲＡＭ３２の所定領域を作業領域として、ＲＯＭ３３およびストレージ３４などに記憶されたプログラムとの協働により各種処理を実行する。

ＲＡＭ３２は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などのメモリである。ＲＡＭ３２は、ＣＰＵ３１の作業領域として機能する。ＲＯＭ３３は、プログラムおよび各種情報を書き換え不可能に記憶するメモリである。

ストレージ３４は、ＨＤＤ等の磁気記録媒体、フラッシュメモリなどの半導体による記憶媒体、または、ＨＤＤ（Hard Disc Drive）などの磁気的に記録可能な記憶媒体、または光学的に記録可能な記憶媒体などにデータを書き込みおよび読み出しをする装置である。ストレージ３４は、ＣＰＵ３１からの制御に応じて、記憶媒体にデータの書き込みおよび読み出しをする。

表示装置３５は、ＬＣＤ（Liquid Crystal Display）などの表示デバイスである。表示装置３５は、ＣＰＵ３１からの表示信号に基づいて、各種情報を表示する。
入力装置３６は、マウスおよびキーボード等の入力デバイスである。入力装置３６は、ユーザから操作入力された情報を指示信号として受け付け、指示信号をＣＰＵ３１に出力する。
通信装置３７は、ＣＰＵ３１からの制御に応じて外部機器とネットワークを介して通信する。

上述の実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した推論装置および学習装置の制御動作による効果と同様な効果を得ることも可能である。上述の実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク（フレキシブルディスク、ハードディスクなど）、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ±Ｒ、ＤＶＤ±ＲＷ、Ｂｌｕ－ｒａｙ（登録商標）Ｄｉｓｃなど）、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータまたは組み込みシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をＣＰＵで実行させれば、上述した実施形態の推論装置および学習装置の制御と同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。

また、記録媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているＯＳ（オペレーティングシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
さらに、本実施形態における記録媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、ＬＡＮやインターネット等により伝達されたプログラムをダウンロードして記憶または一時記憶した記録媒体も含まれる。
また、記録媒体は１つに限られず、複数の媒体から本実施形態における処理が実行される場合も、本実施形態における記録媒体に含まれ、媒体の構成は何れの構成であってもよい。

なお、本実施形態におけるコンピュータまたは組み込みシステムは、記録媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するためのものであって、パソコン、マイコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
また、本実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本実施形態における機能を実現することが可能な機器、装置を総称している。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０…推論装置，２１…学習装置，２２…学習データ格納部，３１…ＣＰＵ，３２…ＲＡＭ，３３…ＲＯＭ，３４…ストレージ，３５…表示装置，３６…入力装置，３７…通信装置，１０１…切出部，１０２…畳み込み処理部，１０３…算出部，１０４…出力部，１０５…表示制御部，２１１…学習制御部，３０１，５０１…製造品，９００，１３０１，１９０１…入力画像，４０１…円形部品，４０２…異物，６０１～６０４，７０１…部分画像，７０２，７０４…画素，７０３，１４０１，１４０２，１７０１，１９０４…中間部分画像，７０５…チャンネル，９０１…平均値，９０２…最大値，９０３…推論結果，１００１…値，１１０１…第１の入力，１１０２…第２の入力，１２０１…推論結果，１３０１…入力画像，１５０１…ベース画像，１９０２，１９０３…中間画像，１９０４…中間部分画像，１９０６…平均値，２００１…パルス，２００２…環境光，２１０１…部分信号，２１０２，２１０３…中間部分信号。

Claims (17)

1. 入力信号から当該入力信号の一部である１以上の部分信号を切り出す切出部と、
   前記１以上の部分信号を畳み込みニューラルネットワークにより処理することにより、前記１以上の部分信号に対応する１以上の中間部分信号を生成する畳み込み処理部と、
   前記１以上の中間部分信号の統計量を算出する算出部と、
   前記統計量に応じた前記入力信号に関する推論結果を出力する出力部と、
   を具備する推論装置。
2. 入力信号を畳み込みニューラルネットワークにより処理することにより、中間信号を生成する畳み込み処理部と、
   前記中間信号から当該中間信号の一部である１以上の中間部分信号を切り出す切出部と、
   前記１以上の中間部分信号の統計量を算出する算出部と、
   前記統計量に応じた前記入力信号に関する推論結果を出力する出力部と、
   を具備する推論装置。
3. 前記算出部は、前記１以上の中間部分信号それぞれの平均値のうちの最大値を前記統計量として算出する、請求項１または請求項２に記載の推論装置。
4. 前記算出部は、前記１以上の中間部分信号における最大値を前記統計量として算出する、請求項１または請求項２に記載の推論装置。
5. 前記算出部は、前記１以上の中間部分信号それぞれの平均値を全結合した値を前記統計量として算出する、請求項１または請求項２に記載の推論装置。
6. 前記出力部は、前記統計量に関数を適用することで前記推論結果を出力する、請求項１から請求項５のいずれか１項に記載の推論装置。
7. 前記関数は、シグモイド関数またはソフトマックス関数である、請求項６に記載の推論装置。
8. 前記中間部分信号は、１チャンネルの信号であり、
   前記推論結果は、前記入力信号が推論対象となる１つのクラスに該当する確率を示す、
   請求項１から請求項７のいずれか１項に記載の推論装置。
9. 前記中間部分信号は、複数のチャンネルの信号であり、
   前記算出部は、前記チャンネルごとに、中間部分信号それぞれの統計量を算出し、
   前記出力部は、前記入力信号が、推論対象であって前記複数のチャンネルと同数である複数のクラスにそれぞれ該当する確率を前記推論結果として出力する、
   請求項１から請求項７のいずれか１項に記載の推論装置。
10. 前記中間部分信号のサンプリングデータの数は、前記部分信号と同じである、請求項１に記載の推論装置。
11. 前記中間信号のサンプリングデータの数は、前記入力信号と同じである、請求項２に記載の推論装置。
12. 前記入力信号は、１次元の時系列信号または画像信号である、請求項１から請求項１１のいずれか１項に記載の推論装置。
13. 前記中間部分信号に前記統計量に応じた強調処理を実行し、前記入力信号および部分信号の少なくともどちらか一方に、前記強調処理後の中間部分信号を重畳表示する表示制御部をさらに具備する、請求項１から請求項１２のいずれか１項に記載の推論装置。
14. 前記強調処理は、前記中間部分信号に対する前記統計量に応じた色による着色処理である、請求項１３に記載の推論装置。
15. 入力信号から当該入力信号の一部である１以上の部分信号を切り出し、
    前記１以上の部分信号を畳み込みニューラルネットワークにより処理することにより、前記１以上の部分信号それぞれに対応する１以上の中間部分信号を生成し、
    前記１以上の中間部分信号それぞれの統計量を算出し、
    前記統計量に応じて、前記入力信号に関する推論結果を出力する、推論方法。
16. コンピュータを、
    入力信号から当該入力信号の一部である１以上の部分信号を切り出す切出手段と、
    前記１以上の部分信号を畳み込みニューラルネットワークにより処理することにより、前記１以上の部分信号それぞれに対応する１以上の中間部分信号を生成する畳み込み処理手段と、
    前記１以上の中間部分信号それぞれの統計量を算出する算出手段と、
    前記統計量に応じて、前記入力信号に関する推論結果を出力する出力手段として機能させるための推論プログラム。
17. 請求項１から請求項１４のいずれか１項に記載の推論装置に含まれる前記畳み込みニューラルネットワークを学習する学習装置であって、
    前記入力信号に対する前記推論装置の出力である推論結果と前記入力信号に紐付けられた正解データとの誤差を算出し、前記誤差を用いて前記畳み込みニューラルネットワークのパラメータを学習する学習制御部、を具備する学習装置。

Images