JP2020177021A - 判定システム、分離装置、判定方法、およびプログラム - Google Patents

Abstract

【課題】製造工程における音に基づく判定を高精度に行うことを可能にする。【解決手段】判定システム（１００）は、嵌合音と暗騒音とを含む音を取得して音データを生成する音取得装置（３）と、嵌学習済みモデルを用いて上記音データから嵌合音の成分を分離して嵌合音データを生成する分離装置（４）と、該嵌合音データを用いて嵌合の正否を判定する判定装置（５）と、を含む。【選択図】図１

Description

本発明は、製品の製造工程で発生する音に基づく判定を行う判定システム等に関する。

従来から、音を利用して異常を検知する技術が知られている。例えば、下記の特許文献１には、構造物を叩いた際に発生した打音データに基づいて、当該構造物に異常があるか否かを判定するシステムが開示されている。

特開２０１８−１３３４８号公報（２０１８年１月２５日公開）

上記特許文献１の技術では、正常な打音データと異常な打音データとの差異が小さい場合に判定精度が低下してしまうため、当該技術の適用範囲は限られたものとなってしまう。例えば、ある製品の製造工程では、作業者がハーネスを接続する際にハーネスの嵌合音を聴き、その音が小さかった場合に接続が正常に行われていないと判断している。このような嵌合音は、音の大小以外の点において、正常なものと異常なものとの差異が小さいため、上記特許文献１の技術を用いても、接続が正常に行われたか否かを高精度に判定することは難しい。

また、製品の製造工程において、上記の嵌合音のような、所定の判定事項の判定基準となる音を検出しようとした場合、集音した音に含まれる暗騒音（環境音ともいう）が判定の妨げとなることもある。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、製造工程における音に基づく判定を高精度に行うことが可能な判定システム等を提供することにある。

上記の課題を解決するために、本発明の一態様に係る判定システムは、製品の製造工程で発生する所定の音と暗騒音とを含む音を取得して音データを生成する音取得装置と、上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音取得装置が生成した音データから上記所定の音の成分を分離して所定音データを生成する分離装置と、上記所定音データを用いて上記製造工程に関する所定の判定事項を判定する判定装置と、を含む。

また、本発明の一態様に係る分離装置は、上記の課題を解決するために、製品の製造工程で発生する所定の音と暗騒音とを含む音から生成された音データを取得する音データ取得部と、上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音データ取得部が取得した音データから上記所定の音の成分を分離して所定音データを生成する分離部と、を備えている。

また、本発明の一態様に係る判定方法は、上記の課題を解決するために、１または複数の装置によって実行される判定方法であって、製品の製造工程で発生する所定の音と暗騒音とを含む音を取得して音データを生成する音データ生成ステップと、上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音データ生成ステップで生成した音データから上記所定の音の成分を分離して所定音データを生成する分離ステップと、上記所定音データを用いて上記製造工程に関する所定の判定事項を判定する判定ステップと、を含む。

本発明の一態様によれば、製造工程における音に基づく判定を高精度に行うことが可能になるという効果を奏する。

本発明の実施形態１に係る判定システムの概要を示すブロック図である。 上記判定システムの判定の対象となる製造工程の例を示す図である。 嵌合音データの生成方法の一例を示す図である。 上記判定システムで実行される判定方法の一例を示すフローチャートである。 本発明の実施形態２に係る分離装置の要部構成の一例を示すブロック図である。 本発明の実施形態３に係る判定システムの構成例と、該判定システムで実行される判定方法の例とを示す図である。

〔実施形態１〕
〔判定システムの概要〕
本実施形態に係る判定システム１００の概要を図１および図２に基づいて説明する。判定システム１００は、製品の製造工程において音に基づく判定を行うシステムである。図１は、判定システム１００の概要を示すブロック図である。図２は、判定システム１００の判定の対象となる製造工程の例を示す図である。

図２に示す製造工程では、製造ラインＬ上を同図の白抜き矢印の方向に、コネクタＡ２が未接続の状態のシートＡ１が順次搬送される。シートＡ１は例えば車両用のシート（座席）である。作業者は、自身の付近まで搬送されたシートＡ１のコネクタＡ２を手作業で接続する。コネクタＡ２が接続された状態のシートＡ１は、製造ラインＬに沿って次工程に搬送される。

コネクタＡ２は、電線相互を接続するための電気部品である。この電線は、ハーネスのように複数の電線やケーブルを束ねたものであってもよい。コネクタＡ２が正しく接続されたときには、嵌合音が発生するようになっているため、作業者は、嵌合音からコネクタＡ２が正しく接続されたか否かを認識することができる。ただし、コネクタＡ２が接続されてはいるが、完全には接続されていない半嵌合の状態となったときには、嵌合音は発生しない。しかし、嵌合音が発生していない場合にも、周囲の騒音等の影響により、正しく接続されたと作業者が誤認して、コネクタＡ２が半嵌合の状態のシートＡ１を通過させてしまうこともある。そして、コネクタＡ２が正しく接続されなかった場合には、シートＡ１が通電不良という問題を抱えた状態で製品として出荷されるおそれもある。

判定システム１００によれば、シートＡ１のコネクタＡ２の嵌合音に基づいて、コネクタＡ２の嵌合が正しく行われたか否かを判定することができる。よって、判定システム１００により、上述の問題を発生させないか、あるいは少なくとも当該問題が発生する確率を低下させることができる。

図１に示すように、判定システム１００には、システム制御装置１、記憶装置２、音取得装置３、分離装置４、判定装置５、出力装置６、撮像装置７、および読取装置８が含まれている。

システム制御装置１は、判定システム１００に含まれる各装置の動作を制御する装置である。具体的には、システム制御装置１は、記憶装置２に各種データを記憶させる。また、システム制御装置１は、音取得装置３に音の取得開始と終了を指示する。さらに、システム制御装置１は、分離装置４に分離処理の実行を指示する。

記憶装置２は、判定システム１００で生成された各種情報を記憶する装置である。例えば、図１の例では、入力音データと嵌合音データと暗騒音データとが製品情報と対応付けられて記憶装置２に記憶されている。これらの音データについては以下説明する。製品情報は、判定の対象となる製品に関する情報であり、例えばシートＡ１の識別情報と、該製品の製造ラインＬの識別情報とを含んでいてもよい。

音取得装置３は、上記製造工程で発生する音を取得して、分離装置４に入力する入力音データを生成する装置である。音取得装置３は、典型的にはマイクロフォンである。音取得装置３は、生成した入力音データを分離装置４に送信する。入力音データの送信は、図示しない送信装置を音取得装置３に有線または無線で接続し、該送信装置を介して行ってもよいし、音取得装置３に通信部を設け、該通信部を介して行ってもよい。音取得装置３が取得する音には、嵌合音が含まれる他、暗騒音も含まれる。

ここで、作業者の作業によって発生する嵌合音のような音を用いて判定を行う場合、音が発生する位置（作業者が作業している位置）と、音取得装置との距離や位置関係が変動すると、音量や音質等が安定した音を取得することが困難になる。また、それに伴って判定システム１００の判定精度が低下するおそれがある。

このため、嵌合音を用いて判定を行う場合、音取得装置３は、図２の例のように、作業者が作業中に装着する装置とすることが好ましい。これにより、音が発生する位置と、音取得装置との距離や位置関係が大きく変動することを防ぐことができるので、音量や音質等が安定した音を取得することができ、判定精度も維持することができる。図２の例では、作業者の袖口に音取得装置３を装着しており、これは作業者の手元で発生する嵌合音の取得には最適な装着位置である。無論、音取得装置３の装着位置は、嵌合音を取得できるような位置であればよく、袖口に限られない。

分離装置４は、音取得装置３が生成した入力音データから嵌合音の成分を分離して嵌合音データを生成する装置である。詳細は後述するが、嵌合音データの生成には、嵌合音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いる。

判定装置５は、分離装置４が生成した嵌合音データを用いて、コネクタの嵌合が正しく行われたか否かを判定する装置である。例えば、コネクタＡ２が完全に嵌合したときと、半嵌合となったときとで、発生する音の大きさが異なっている場合、判定装置５は、分離装置４が生成した嵌合音データから特定される嵌合音の大きさに基づいて嵌合が正しく行われたか否かを判定してもよい。例えば、判定装置５は、嵌合音の大きさが閾値以上である場合に嵌合が正しく行われたと判定し、閾値未満である場合に嵌合が正しく行われなかったと判定してもよい。判定装置５による判定結果は、出力装置６によって出力される。

出力装置６は、判定結果を出力できるものであればよく、例えば判定結果を示す画像を表示する表示装置であってもよい。図２には、出力装置６が判定装置５と一体に構成された表示装置である例を示している。この場合、出力装置６は、嵌合が正しく行われたと判定された場合には、そのことを示す文字や記号（例えば「ＯＫ」等）を表示し、嵌合が正しく行われなかったと判定された場合には、そのことを示す文字や記号（例えば「ＮＧ」等）を表示してもよい。また、出力装置６は、判定結果を示す音声を出力する音声出力装置であってもよいし、判定結果を点灯状態で示す発光装置等であってもよい。

撮像装置７は、画像を撮像する装置である。図２に示すように、撮像装置７は、コネクタの嵌合作業を行う作業者に向けて設置される。これにより、撮像装置７は、嵌合作業を行う作業者が写った動画像を撮像することができる。詳細は後述するが、この動画像はシステム制御装置１に入力され、システム制御装置１はこの動画像に基づいて音取得装置３に音の取得を開始させるタイミングを決定する。

読取装置８は、判定の対象となる製品の製品情報を取得する装置である。例えば、製品情報がシートＡ１に取り付けられた二次元コードや三次元コードとして記録されている場合、読取装置８は、当該コードの読み取り装置であってもよい。読取装置８は、取得した製品情報をシステム制御装置１に送信する。

以上のように、判定システム１００は、嵌合音と暗騒音とを含む音を取得して入力音データを生成する音取得装置３と、嵌合音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、音取得装置３が生成した入力音データから嵌合音の成分を分離して所定音データを生成する分離装置４と、嵌合音データを用いてコネクタＡ２の嵌合が正しく行われたか否かを判定する判定装置５と、を含む。この構成によれば、入力音データから嵌合音の成分を分離して生成した嵌合音データを用いて判定を行うので、暗騒音の影響を軽減して高精度な判定を行うことが可能になる。

〔嵌合音データの生成方法〕
分離装置４による嵌合音データの生成方法について図３に基づいて説明する。図３は、嵌合音データの生成方法の一例を示す図である。上述のように、シートＡ１の製造工程においては、作業者がコネクタＡ２を接続する際に嵌合音が発生し、この嵌合音と暗騒音とを含む音が音取得装置３によって取得される。そして、音取得装置３は、取得した音を変換して入力音データを生成し、分離装置４に送信する。

入力音データを受信した分離装置４は、まず、受信した入力音データを周波数データに変換してスペクトログラムを生成する。周波数データへの変換には、フーリエ変換を用いればよい。

次に、分離装置４は、生成したスペクトログラムを学習済みモデルに入力して、嵌合音のスペクトログラムを出力させる。この学習済みモデルは、嵌合音を含む音データから嵌合音データを分離できるように機械学習することにより構築されたものである。

上記学習済みモデルは、教師あり学習で構築することが好ましい。この場合、教師データとして、嵌合音を含む音データから生成されたスペクトログラムを用いてもよい。そして、このスペクトログラムに含まれる嵌合音の成分に対してラベル付けを行っておく。このような教師データを多数用いて機械学習を行うことにより、嵌合音のスペクトログラムと暗騒音のスペクトログラムが含まれたスペクトログラムから、嵌合音のスペクトログラムを分離する学習済みモデルを構築することができる。

なお、教師データとして用いるスペクトログラムには、嵌合音の成分の他、暗騒音の成分が含まれていてもよい。このようなスペクトログラムは、例えば実際の製造工程で集音した音から生成することができる。

最後に、分離装置４は、学習済みモデルから出力された嵌合音のスペクトログラムを周波数データではなく音データである嵌合音データに変換し、これにより嵌合音データの生成は終了となる。嵌合音データへの変換には、逆フーリエ変換を用いればよい。また、分離装置４は、入力音データから生成したスペクトログラムから、嵌合音のスペクトログラムの成分を除いて、暗騒音のスペクトログラムを生成すると共に、暗騒音のスペクトログラムから暗騒音データを生成してもよい。なお、スペクトログラムに基づいて嵌合の正否を判定する判定装置を用いる場合、分離装置４は、学習済みモデルから出力された嵌合音のスペクトログラムを、嵌合音データとして出力すればよい。

上述のようにして生成した嵌合音データから音を再生した場合、その音は入力音データに含まれる嵌合音の大きさに比例した大きさの音となる。よって、判定装置５は、分離装置４が生成した嵌合音データを用いて、正しく嵌合されたか半嵌合であるかを判定することができる。

以上のように、分離装置４は、音取得装置３が生成した入力音データから周波数データであるスペクトログラムを生成し、該スペクトログラムを学習済みモデルに入力して嵌合音のスペクトログラムを出力させる。そして、分離装置４は、嵌合音のスペクトログラムを音データに復元して嵌合音データを生成する。

上記の構成によれば、嵌合音をその周波数データの特徴点に基づいて分離することができる。また、上記の構成によれば、周波数データを音データに復元して嵌合音データを生成するので、判定装置５は音データ（周波数データではないデータ）を用いて判定を行うことができる。この構成は、判定装置５のような音の大きさに基づいて判定する装置を用いて判定を行う判定システムに好適である。

〔処理の流れ〕
判定システム１００において実行される処理、すなわち判定方法について図４に基づいて説明する。図４は、判定システム１００で実行される判定方法の一例を示すフローチャートである。なお、図４では、記憶装置２、出力装置６、撮像装置７、および読取装置８の処理については記載を省略している。

≪システム制御装置が実行する処理≫
Ｓ１では、システム制御装置１が、音取得装置３に集音を開始させるか否かを判定する。例えば、システム制御装置１は、撮像装置７が撮像した動画像を解析して、該動画像に写る作業者の目線の方向を判定し、その方向が所定の方向（例えばコネクタＡ２の方向）に向いたときに、音取得装置３に集音を開始させると判定してもよい。また、例えば、システム制御装置１は、上記動画像を解析して、該動画像に写る作業者の手を検出し、作業者の手が所定の動き（例えばコネクタＡ２を掴む動き）をしたときに、音取得装置３に集音を開始させると判定してもよい。この他にも、例えば作業者の姿勢や体の向き（シートＡ１の方を向く、コネクタＡ２に向かって体を前傾させる等）から音取得装置３に集音を開始させるタイミングを決定してもよい。Ｓ１の処理は、集音を開始させる（Ｓ１でＹＥＳ）と判定されるまで継続して行われ、Ｓ１でＹＥＳと判定されると処理はＳ２に進む。

Ｓ２では、システム制御装置１は、音取得装置３に指示して集音を開始させる。このように、システム制御装置１は、嵌合音が発生する作業が開始される際に、音取得装置３に音の取得を開始させることが好ましい。これは、嵌合音が発生する作業が開始される際に音の取得を開始させることにより、音取得装置３が取得する音に占める無駄な音（嵌合音が含まれ得ない音）の割合を低く抑えて、嵌合音を効率的に分離することが可能になるためである。

そして、Ｓ３では、システム制御装置１は、音取得装置３に指示して集音を終了させる。Ｓ３の処理は、例えば、Ｓ２で集音を開始させた後、所定時間が経過したことを契機として実行してもよい。上記所定時間は、分離装置４が使用する学習済みモデルの構築に用いた教師データの元になる音データの時間と合せておく。例えば、３秒間の音データから生成したスペクトログラムを教師データとして構築した学習済みモデルが使用される場合、上記所定時間も３秒とする。

なお、判定結果を早期に出力するという観点からは、上記所定時間は、作業者によるコネクタＡ２の嵌合が行われるときには音取得装置３による集音が継続しているという条件を満たした上で、できるだけ短い時間であることが好ましい。例えば、作業者がコネクタＡ２を見た後、そのコネクタＡ２の接続を完了するまでの時間が数秒程度であれば、上記所定時間を数秒から十数秒程度に設定してもよい。この場合、この所定時間に応じた学習済みモデルを使用すればよい。

Ｓ４では、システム制御装置１は、分離装置４に指示して嵌合音データの分離を実行させる。これにより、システム制御装置１の処理は終了する。なお、図示していないが、システム制御装置１は、読取装置８から製品情報を取得してもよい。そして、システム制御装置１は、嵌合音データの分離が終了した後、分離装置４から嵌合音データと暗騒音データ、および入力音データを取得し、それらの音データと製品情報とを対応付けて記憶装置２に記憶させてもよい。

≪音取得装置が実行する処理≫
Ｓ１１では、音取得装置３は、Ｓ２のシステム制御装置１からの指示に従って、音取得装置３の周囲の音の取得と、入力音データの生成とを開始する。続くＳ１２では、音取得装置３は、Ｓ３のシステム制御装置１からの指示に従って、音取得装置３の周囲の音の取得と、入力音データの生成とを終了する。そして、音取得装置３は、Ｓ１１〜Ｓ１２の処理で生成した入力音データを分離装置４に送信する。

≪分離装置が実行する処理≫
Ｓ２１では、分離装置４は、Ｓ１３で音取得装置３が送信した入力音データを受信する。続くＳ２２では、分離装置４は、Ｓ４で送信されたシステム制御装置１からの指示に従い、Ｓ２１で受信した入力音データから嵌合音データを分離する。嵌合音データを分離する方法は、図３に基づいて説明したとおりである。そして、Ｓ２３では、分離装置４は、Ｓ２２で分離した嵌合音データを判定装置５に送信する。なお、図示していないが、分離装置４は、嵌合音データをシステム制御装置１に送信して、記憶装置２に記憶させてもよい。入力音データと暗騒音データも同様である。

≪判定装置が実行する処理≫
Ｓ３１では、判定装置５は、Ｓ２３で分離装置４が送信した嵌合音データを受信する。続くＳ３２では、判定装置５は、Ｓ３１で受信した嵌合音データを用いて嵌合が正しく行われたか否かを判定する。そして、Ｓ３３では、判定装置５は、Ｓ３２の判定結果を出力装置６に出力させる。

なお、嵌合が正しく行われなかった製品が次の工程に搬送されないようにするため、判定装置５は、判定結果を直ちに出力させることが好ましい。なお、判定装置５は、嵌合が正しく行われなかったと判定した場合にのみ、判定結果を出力させてもよい。この場合、出力装置６は、警告音を発するブザーや、警告灯等としてもよい。

また、判定装置５は、嵌合が正しく行われなかったと判定した場合に、製品の搬送装置を制御して搬送を停止させ、嵌合が正しく行われなかった製品が次の工程に搬送されないようにしてもよい。搬送ラインＬ上の何れの位置で製品を停止させるかは任意であるが、作業性を考慮して、予め定められた位置で停止させてもよい。さらに、この場合、判定システム１００は、作業者による再度の嵌合作業についても、嵌合が正しく行われたか否かを判定してもよい。そして、判定装置５は、嵌合が正しく行われたと判定した場合に、製品の搬送を再開させてもよい。

≪まとめ≫
以上のように、図４の判定方法は、嵌合音と暗騒音とを含む音を取得して音データを生成する音データ生成ステップ（Ｓ１１〜Ｓ１２）と、音データ生成ステップで生成した音データから嵌合音の成分を分離して嵌合音データを生成する分離ステップ（Ｓ２２）と、嵌合音データを用いて嵌合の正否を判定する判定ステップ（Ｓ３２）と、を含む。

よって、嵌合音に基づく判定を高精度に行うことができる。なお、上記の例では、各ステップの実行主体がそれぞれ別の装置であるが、１つの装置によって上記各ステップのうち２以上のステップを実行する構成としてもよい。例えば、後述の実施形態２の分離装置４Ａを用いる場合、音データ生成ステップは、本実施形態と同様に音取得装置３が実行するが、上記分離ステップと上記判定ステップは分離装置４Ａが実行することになる。

〔実施形態２〕
本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図５は、本実施形態に係る分離装置４Ａの要部構成の一例を示すブロック図である。分離装置４Ａは、実施形態１の判定システム１００における、システム制御装置１、記憶装置２、分離装置４、判定装置５、および出力装置６の機能を備えた装置である。よって、分離装置４Ａを用いる場合、例えば、分離装置４Ａ、音取得装置３、撮像装置７、および読取装置８という４台の装置で判定システムを構築することもできる。このように、判定システム１００の機能は、様々な装置構成によって実現することができる。

図５に示すように、分離装置４Ａは、分離装置４Ａの各部を統括して制御する制御部４１、分離装置４Ａが使用する各種データを記憶する記憶部４２、分離装置４Ａが他の装置と通信するための通信部４３、および画像を表示する表示部４４を備えている。また、制御部４１には、開始判定部４１１、音データ取得部４１２、分離部４１３、嵌合正否判定部４１４、および判定結果通知制御部４１５が含まれている。また、分離部４１３には、スペクトログラム生成部４１３Ａ、スペクトル分離部４１３Ｂ、および音データ変換部４１３Ｃが含まれている。そして、記憶部４２には入力音データ４２１、暗騒音データ４２２、および嵌合音データ４２３が記憶されている。

開始判定部４１１は、音取得装置３に音の取得を開始させるか否かを判定する。例えば、開始判定部４１１は、実施形態１のシステム制御装置１と同様に、撮像装置７が撮像した動画像を解析して、該動画像に写る作業者の目線の方向を判定し、その方向が所定の方向に向いたときに、音取得装置３に集音を開始させると判定してもよい。

音データ取得部４１２は、嵌合音と暗騒音とを含む音から生成された入力音データを取得する。具体的には、音データ取得部４１２は、開始判定部４１１が音の取得を開始させると判定したときに、音取得装置３に指示して音の取得を開始させる。また、音データ取得部４１２は、音の取得を開始させた後、所定時間が経過したときに、音取得装置３に指示して音の取得を終了させる。そして、音データ取得部４１２は、上記指示に応じて取得された音データを音取得装置３から取得し、入力音データ４２１として記憶部４２に記憶する。

開始判定部４１１と音データ取得部４１２が有する各機能は、実施形態１のシステム制御装置１が有する機能と同様である。よって、実施形態１のシステム制御装置１は、システム制御装置１に開始判定部４１１および音データ取得部４１２を含む制御部（例えばプロセッサ）を設けることによって実現することもできる。

分離部４１３は、入力音データから嵌合音の成分を分離して嵌合音データを生成する。以下説明するように、この機能は、スペクトログラム生成部４１３Ａ、スペクトル分離部４１３Ｂ、および音データ変換部４１３Ｃにより実現される。

スペクトログラム生成部４１３Ａは、音データ取得部４１２が取得した入力音データを周波数データに変換してスペクトログラムを生成する。また、スペクトル分離部４１３Ｂは、スペクトログラム生成部４１３Ａが生成したスペクトログラムを学習済みモデルに入力して、嵌合音のスペクトログラムを出力させる。なお、この学習済みモデルは実施形態１で説明したものと同様である。そして、音データ変換部４１３Ｃは、学習済みモデルから出力された嵌合音のスペクトログラムを嵌合音データに変換し、嵌合音データ４２３として記憶部４２に記憶する。

なお、スペクトル分離部４１３Ｂは、スペクトログラム生成部４１３Ａが生成したスペクトログラムから、嵌合音のスペクトログラムの成分を除いて、暗騒音のスペクトログラムを生成してもよい。この場合、音データ変換部４１３Ｃは、暗騒音のスペクトログラムから暗騒音データを生成し、暗騒音データ４２２として記憶部４２に記憶してもよい。

分離部４１３に含まれる各部の機能は、実施形態１の分離装置４が有する機能と同様である。よって、実施形態１の分離装置４は、分離装置４にスペクトログラム生成部４１３Ａ、スペクトル分離部４１３Ｂ、および音データ変換部４１３Ｃを含む制御部（例えばプロセッサ）を設けることによって実現することもできる。

嵌合正否判定部４１４は、音データ変換部４１３Ｃが生成する嵌合音データを用いて、嵌合が正しく行われたか否かを判定する。そして、判定結果通知制御部４１５は、嵌合正否判定部４１４の判定結果を表示部４４に表示させる。これらの各機能は、実施形態１の判定装置５が有する機能と同様である。よって、実施形態１の判定装置５は、判定装置５に嵌合正否判定部４１４および判定結果通知制御部４１５を含む制御部（例えばプロセッサ）を設けることによって実現することもできる。

以上のように、分離装置４Ａは、嵌合音と暗騒音とを含む音から生成された入力音データを取得する音データ取得部４１２と、学習済みモデルを用いて上記入力音データから嵌合音の成分を分離して嵌合音データを生成する分離部４１３と、を備えている。

分離装置４Ａによれば、嵌合正否判定部４１４に、嵌合音に基づく判定を高精度に行わせることができる。なお、実施形態１と同様に、判定装置５を用いて判定を行ってもよく、この場合、分離装置４Ａは、音データ変換部４１３Ｃが生成する嵌合音データを判定装置５に送信する。これにより、分離装置４Ａは、実施形態１の分離装置と同様に、嵌合音に基づく判定を判定装置５に高精度に行わせることができる。

また、実施形態１の分離装置４も、嵌合音と暗騒音とを含む音から生成された入力音データを取得し、学習済みモデルを用いて上記入力音データから嵌合音の成分を分離して嵌合音データを生成する。よって、実施形態１の分離装置４も、音データ取得部４１２と分離部４１３を備えているといえる。したがって、分離装置４によっても分離装置４Ａと同様の効果を得ることができる。

〔実施形態３〕
本発明の他の実施形態について、図６に基づいて以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。

図６は、本実施形態に係る判定システム１００の構成例と、該判定システム１００で実行される判定方法の例とを示す図である。図示のように、本実施形態の判定システム１００は、実施形態１の判定システム１００（図１参照）と比べて、判定装置５と出力装置６を含まない点、および分離装置４が分離装置４Ｂに変わっている点で相違している。

分離装置４Ｂは、実施形態１の分離装置４の機能に加えて、判定装置５と出力装置６の機能を備えた装置である。図示していないが、分離装置４Ｂは、分離装置４Ａと同様に制御部を備え、この制御部には図５に示す音データ取得部４１２、分離部４１３、嵌合正否判定部４１４、および判定結果通知制御部４１５が含まれている。また、図示していないが、分離装置４Ｂは、図５の分離装置４Ａと同様に、記憶部４２、通信部４３、および表示部４４を備えている。

〔処理の流れ〕
実施形態３の判定システム１００において実行される処理について説明する。なお、システム制御装置１および音取得装置３が実行する処理、並びにＳ２１〜Ｓ２２の処理は図４に基づいて説明した処理と同様であるから、ここでは説明を繰り返さない。

Ｓ２３’（判定ステップ）では、分離装置４Ｂの嵌合正否判定部４１４が、Ｓ２２で分離部４１３が入力音データから分離した嵌合音データを用いて、嵌合が正しく行われたか否かを判定する。そして、Ｓ２４’では、判定結果通知制御部４１５は、Ｓ２３’の判定結果を表示部４４に出力させる。なお、判定結果通知制御部４１５は、Ｓ２３’の判定結果と共に、Ｓ２１で音データ取得部４１２が取得した入力音データおよびＳ２２で分離された嵌合音データをシステム制御装置１に送信して、記憶装置２に記憶させてもよい。

〔変形例〕
判定システム１００は、製品の製造工程で発生する音に基づいて判定を行うものであればよく、判定基準となる音は嵌合音に限られない。また、判定システム１００の判定事項も任意である。例えば、シートＡ１が、電動のパワーシートである場合、判定システム１００は、その作動音に基づいてシートＡ１に異常がないか判定してもよい。また、この場合、判定システム１００は、シートフレーム駆動用のモータの作動音に基づいてモータの異常の有無を判定してもよい。

無論、対象となる製品は、車両用のシートやその部品に限られず、その製造工程で発生する音に基づく判定を行うことに技術的な意義のある製品であればよい。例えば、判定システム１００は、製品の製造設備から発生する音に基づいて、製造設備の異常の有無を判定してもよい。このように、判定システム１００は、製造設備の保全にも利用することができる。なお、製品の製造設備から発生する音は、製造時に発生するものであってもよいし、例えば製造設備のメンテナンス時などの非製造時に発生する（あるいは人為的に発生させる）ものであってもよい。

判定基準となる音を変更する場合、分離装置４、４Ａ、または４Ｂが使用する学習済みモデルを、判定基準となる音に応じたものとしておけばよい。これにより、判定基準となる音と暗騒音とを含む入力音データから、判定基準となる音の成分を音データとして分離することができるので、暗騒音の影響を抑えて高精度な判定を行うことができる。

また、上記実施形態では、撮像装置７によって撮像した作業者の画像に基づいて音取得装置３に音の取得を開始させるタイミングを決定する例を説明したが、音の取得を開始させるタイミングの決定方法はこの例に限られない。例えば、コネクタＡ２を嵌合させる直前に特定の音（例えばコネクタＡ２の接触音や接合音）が発生する場合、その音の検出を契機として、嵌合音を含む入力音データの生成を開始させてもよい。また、例えば、嵌合作業の開始時に、作業者に発声してもらうようにすれば、その発声の検出を契機として、嵌合音を含む入力音データの生成を開始させることもできる。この他にも、例えば、製造ラインＬの所定位置に、次にコネクタＡ２を接続する作業の対象となるシートＡ１が到達したことを検出し、その検出を契機として、嵌合音を含む入力音データの生成を開始させることもできる。

また、分離装置４、４Ａ、および４Ｂは、コネクタの嵌合音の周波数成分を通過させ、暗騒音の周波数成分は通過させない周波数マスクを生成し、この周波数マスクを用いて入力音データから嵌合音の成分を分離することにより、嵌合音データを生成してもよい。この場合、分離装置４、４Ａ、および４Ｂは、コネクタの嵌合音と暗騒音を含むスペクトログラムを、機械学習によって予め構築された学習済みモデルに入力する。これにより、当該学習済みモデルに、コネクタの嵌合音の周波数成分を通過させ、暗騒音の周波数成分は通過させない周波数マスクを出力させる。

そして、分離装置４、４Ａ、および４Ｂは、上記スペクトログラムを上記周波数マスクに通し、コネクタの嵌合音の周波数成分を含み、暗騒音の周波数成分が除去されたスペクトログラムを得る。この後は、上述の実施形態と同様に、スペクトログラムを嵌合音データに変換すればよい。

なお、上記学習済みモデルは、教師データを用いた教師あり学習で構築しておけばよい。具体的には、上記教師データは、コネクタの嵌合音を含むスペクトログラムを入力データとし、コネクタの嵌合音の周波数成分を通過させ、暗騒音の周波数成分は通過させない周波数マスクを出力データ（正解データ）とした教師データとすればよい。

〔ソフトウェアによる実現例〕
判定システム１００に含まれる各装置（特にシステム制御装置１、分離装置４、および判定装置５）の各機能、および分離装置４Ａ、４Ｂの制御ブロック（特に制御部４１に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、システム制御装置１、分離装置４、分離装置４Ａ、４Ｂ、および判定装置５は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ システム制御装置
３ 音取得装置
４、４Ａ、４Ｂ 分離装置
５ 判定装置
１００ 判定システム
４１２ 音データ取得部
４１３ 分離部

Claims (7)

1. 製品の製造工程で発生する所定の音と暗騒音とを含む音を取得して音データを生成する音取得装置と、
   上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音取得装置が生成した音データから上記所定の音の成分を分離して所定音データを生成する分離装置と、
   上記所定音データを用いて上記製造工程に関する所定の判定事項を判定する判定装置と、を含むことを特徴とする判定システム。
2. 上記音取得装置は、上記製造工程の作業者が作業中に装着する装置であり、
   上記所定の音は、上記作業者の作業によって発生する音であることを特徴とする請求項１に記載の判定システム。
3. 上記製造工程にて上記所定の音が発生する作業が開始される際に、上記音取得装置に音の取得を開始させるシステム制御装置をさらに含むことを特徴とする請求項１または２に記載の判定システム。
4. 上記分離装置は、上記音取得装置が生成した音データから周波数データを生成し、該周波数データを上記学習済みモデルに入力して上記所定の音の周波数データを出力させ、該周波数データを音データに復元して上記所定音データを生成することを特徴とする請求項１から３の何れか１項に記載の判定システム。
5. 製品の製造工程で発生する所定の音と暗騒音とを含む音から生成された音データを取得する音データ取得部と、
   上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音データ取得部が取得した音データから上記所定の音の成分を分離して所定音データを生成する分離部と、を備えていることを特徴とする分離装置。
6. 請求項５に記載の分離装置としてコンピュータを機能させるプログラムであって、上記音データ取得部および上記分離部としてコンピュータを機能させるためのプログラム。
7. １または複数の装置によって実行される判定方法であって、
   製品の製造工程で発生する所定の音と暗騒音とを含む音を取得して音データを生成する音データ生成ステップと、
   上記所定の音を含む音データから生成された教師データによる機械学習で構築された学習済みモデルを用いて、上記音データ生成ステップで生成した音データから上記所定の音の成分を分離して所定音データを生成する分離ステップと、
   上記所定音データを用いて上記製造工程に関する所定の判定事項を判定する判定ステップと、を含むことを特徴とする判定方法。

Images