JP2020177227A - 適応的音響センシング方法およびシステム - Google Patents

Abstract

【課題】自動および適応的局所騒音低減が、音響データの品質を向上させ、分析をより良好にできる。【解決手段】カメラおよび音響センサデータを統合し、物のインターネット（ＩｏＴ）システムで全体的センシングシステムに対する音響センサヒートマップを自動的に捕捉することを伴う、システムおよび方法。特に、ここに例示の実現例は、ノイズプロファイルの変化に基づいて、局所騒音環境または局所化ノイズプロファイル（ノイズ指紋）を適応的に捕捉し、捕捉されたノイズプロファイルを、インダストリアルＩｏＴ分野に関する信号処理のストリーミングノイズ低減に自動的に適用する。【選択図】 図２

Description

本開示は、物のインターネット（ＩｏＴ）システムに関し、より具体的には、インダストリアルＩｏＴ分野における適応的音響センシングに関する。

スマートマニュファクチャリングなどのインダストリアルＩｏＴ分野では、改善の焦点となる分野であるいくつかの要件がある。かかる要件としては、生産性を向上させること、プロセス中の次の目的または動作を迅速に決定するようにシステムを配置すること（例えば、管理職レベル、作業現場レベル）、製品またはサービスの付加価値を向上させること、ならびに総資産利益（ＲＯＡ）を増大させることが挙げられる。

要件に対処するため、作業現場の可視化、予知／予防保全、動的スケジューリング、製品ライフサイクル管理（ＰＬＭ）コラボレーション、エンドトゥーエンド（Ｅ２Ｅ）バリューチェーンコラボレーションなど、様々なＩｏＴの解決策が総体的に考慮され展開されてきた。

生産性の向上は、インダストリアルＩｏＴ分野に共通の必要不可欠で根本的な要件である。全体的センシング方法ならびに特定的センシング方法を通じて、工場の作業現場で生産性をどのように向上させるかを決定する様々な検証が行われてきた。関連技術では、全体的センシングは、何かを検出するのに、非接触または非局所化タイプのセンサ（カメラ、音響センサなど）が利用される、センシングの分類の１つであり、特定的センシングは、接触または局所化タイプのセンサ（例えば、温度／湿度センサ、振動センサ、近接センサ、無線周波数識別子（ＲＦＩＤ）など）が利用される、別のセンシングの分類である。２つのタイプのセンシング方法は相互に補完的である。工場の作業現場は広いので、第１のステップとして、異常な状況、機械、および人員を検出するのに、全体的センシング方法が有効であることができ、次に特定的センシング方法によって、本質的な因果関係を詳細に調査することが容易になる。かかるセンシングプロセスまたはドリルダウンプロセスは、生産のダウンタイムを低減するための情報を提供し、そのことが生産性の向上につながる。

全体的センシング方法では、生産ライン障害の監視、オペレータ動線分析、製品品質チェックなど、様々な用途を容易にする、カメラを使用する監視システムが広く開発されてきた。しかしながら、カメラ画像情報はかかる用途に対して常に十分なわけではない。したがって、関連技術の実現例では、カメラデータを補完することが期待されて、マイクロフォンまたは他の音響センサに益々焦点が当てられるようになっている。

しかしながら、工場の作業現場などの実際の現場で、音響センサを配備することに関する課題の１つは、複数の機械からの大きいノイズが存在することである。従来、ビーム成形、オートエンコーダ、機械学習を用いたノイズ消去など、多くのノイズ低減または消去方法が、この課題を克服するために関連分野で提案されてきた。しかしながら、実際の工場の作業現場では、複数の機械からのノイズは均一ではなく時系列で変化し、つまりあるノイズは間欠的に出現／消失し、他のノイズは周波数プロファイルが変化する。

本発明は、自動および適応的局所騒音低減が、音響データの品質を向上させ、分析をより良好にすることにある。

関連技術のノイズ低減方法は、感知されるノイズの不均一性に対処することができず、更に、音響センサが設置される場所に応じて局所化パラメータ設定を要し、それによって設置が複雑になる。これらの問題を克服するため、例示の実現例は、ノイズプロファイルの変化に基づいて、局所騒音環境または局所化ノイズプロファイル（ノイズ指紋）を適応的に捕捉し、捕捉されたノイズプロファイルを信号処理のストリーミングノイズ低減に自動的に適用する、システムおよび方法を対象とする。

例示の実現例を利用することによって、自動および適応的局所騒音低減が、音響データの品質を向上させ、分析をより良好にできる。更に、例示の実現例は、高い可用性を容易にするので、ユーザは工場の作業現場に音響センサシステムを配備するだけでよく、それによって、局所化パラメータ設定のために試行錯誤して設置する必要がなくなる。

例示の実現例による、工場の作業現場における音響センサの配備の一例を示す図である。 例示の実現例による、工場における音響センシングシステムおよび制御システムの例示のシステムアーキテクチャを示す図である。 例示の実現例による、ノイズプロファイルの変化に基づいて、局所騒音環境または局所化ノイズプロファイル（ノイズ指紋）を適応的に捕捉し、捕捉されたノイズプロファイルを信号処理のストリーミングノイズ低減に自動的に適用する、方法の全体手順を示す図である。 例示の実施例による、環境学習フェーズの詳細フローを示す図である。 例示の実現例による、聴野および信号／ノイズ源の例示の定義を示す図である。 例示の実現例による、時系列での信号およびノイズの分離の一例を示す図である。 例示の実現例による、分離された信号およびノイズパターンを有する音声テーブルの一例を示す図である。 例示の実施例による、動作フェーズの例示のフローを示す図である。 例示の実現例による、サンプル時系列データを使用することによって、フィードバックループを含むノイズ指紋検出および信号処理／ノイズ除去を実施する一例を示す図である。 例示の実現例で使用するのに適した例示のコンピュータデバイスを含む例示のコンピューティング環境を示す図である。 例示の実施例による、例示の動作スケジュールを示す図である。

以下の詳細な説明は、本出願の図面および例示の実施例の更なる詳細を提供する。図面間の冗長な要素の参照番号および説明は、明瞭にするために省略する。明細書全体を通して使用される用語は、例として提供されるものであり、限定を意図しない。例えば、用語「自動」の使用には、本出願の実施例を実施する当業者の所望の実施例に応じて、ユーザまたは管理者が実施例の特定の態様を制御することを伴う、全自動または半自動の実施例が関与することがある。選択は、ユーザインターフェースまたは他の入力手段を通してユーザが実践することができ、または所望のアルゴリズムを通して実現することができる。本明細書に記載されるような例示の実施例は、単独または組み合わせのどちらかで利用することができ、例示の実施例の機能性は、所望の実施例による任意の手段を通して実現することができる。

本明細書に記載する例示の実現例は、全体として、音響センシングシステムにおける局所化ノイズの自動低減を対象とする。特に、例示の実現例は、ノイズプロファイルの変化に基づいて、局所騒音環境または局所化ノイズプロファイル（ノイズ指紋）を適応的に捕捉し、捕捉されたノイズプロファイルを、インダストリアルＩｏＴ分野に関する信号処理のストリーミングノイズ低減に自動的に適用する、方法を提供する。ここで、「局所化ノイズプロファイル（＝ノイズ指紋）」は、他のノイズ源を含まない各音源からの個々の音の波形として定義される。例示の実現例は、工場での使用例に対する、全体的に自動の局所化ノイズ低減方法を提供するシステムおよび方法を伴う。上述した例示の実現例では、方法およびシステムは、局所ノイズプロファイルに応じた局所的調整の手動作業をできるだけ低減するように構成され、それによって、より良好な品質の音響信号を捕捉し、音響センサを用いて作業現場と特定の機械の状態とを調査することが容易になる。

図１は、例示の実現例による、工場の作業現場における音響センサの配備の一例を示している。作業現場全体を網羅するため、音響センサは、図１の例に示されるようにグリッド状の形式で配置される。音響センサを配備する手法（分離、配置、および位置）は、音響センサの特性、ならびにユーザの好み（例えば、どのエリアのユーザが監視を行いたいか）に応じて決まる。

図２は、例示の実現例による、工場における音響センシングシステムおよび制御システムの例示のシステムアーキテクチャを示している。この例示のシステムアーキテクチャでは、ＩｏＴゲートウェイ（ＧＷ）１０１が、１つまたは複数の音響センサ１０２からのデータ収集を同期的に制御し、サーバ１００−２が、対応する各機械１０４−１、１０４−２、１０４−３と接続された、１つまたは複数のプログラマブル論理コントローラ（ＰＬＣ）１０３を組織する。サーバ１００−２は、各機械１０４−１、１０４−２、１０４−３の挙動を制御するだけでなく、各機械の状態に関するデータを同期的に収集することもできる。したがって、図２に示される例示のシステムでは、サーバ１００−１は、音響センサの同期データ（時系列波形）および各機械の状態を取得する。

図３は、例示の実現例による、ノイズプロファイルの変化に基づいて、局所騒音環境または局所化ノイズプロファイル（ノイズ指紋）を適応的に捕捉し、捕捉されたノイズプロファイルを信号処理のストリーミングノイズ低減に自動的に適用する、方法の全体手順を示している。ここで、「局所化ノイズプロファイル（＝ノイズ指紋）」は、他のノイズ源を含まない各音源からの個々の音の波形として定義される。この手順は、相互に関連する２つのフェーズに分割することができる。第１のフェーズは環境学習フェーズ、他方のフェーズは動作フェーズである。

環境学習フェーズでは、３００で、ユーザが、所望の実現例にしたがって音響センサおよびサーバを含むセンシングシステムを配備した後、各音響センサの音響範囲エリアに対応する局所環境中のノイズ指紋（例えば、他の音源を含まない個々の音源の識別された音波形であるノイズプロファイル）が抽出されて、音声テーブル３０２が生成される。音声テーブル３０２は、ノイズ／信号パターン（例えば、波形）とノイズ／信号レベル（例えば、ノイズの意味または説明）との関係の集合である。環境学習フェーズの更なる詳細は、図４に関して提供される。

ノイズ指紋が収集されると、システムは動作フェーズに入る。動作フェーズでは、ストリーミング音響データ３０３がサーバ１００−１で処理される。最初に、環境学習フェーズ中に取得された音声テーブル３０２を使用して、指紋検出３０４が実施される。指紋検出３０４では、一般的に波形全体の小さい一部分（例えば、１０ｋＨｚサンプリングにおける〜０．１秒に相当する波形の１０２４の地点）である、ストリーミング音響データが処理されて、波形に対応するノイズが識別される。

ストリーミング音響データが識別されると、ＩＤ情報を使用して、３０５の信号処理／ノイズ除去セクションでノイズが低減される。例示の実現例では、環境学習フェーズでノイズパターンが学習され取得されているので、ノイズを除去することができる。例えば、オートエンコーダ技術または適応的ノイズフィルタを利用して、学習したノイズパターンに基づいて、かかるノイズを除去することができる。次に、ノイズ除去された信号を３０６の分析処理（例えば、統計分析、分類のための機械学習など）に入力することができ、それによって、信号品質の評価結果を出力の１つとして生成することができる。評価結果が良好である（例えば、信号品質がプリセットされた閾値を満たす）場合、分析の結果を対応するアプリケーションに転送して、３０８の様々な処理を容易にすることができる。結果が不良である（例えば、信号品質がプリセットされた閾値を満たさない）場合、フローは３０１に戻り、未知のノイズがストリーミング信号に含まれ、環境学習フェーズに戻され、音声テーブルに追加される。動作フェーズの更なる詳細は、図8に関して提供される。

図４は、例示の実施例による、環境学習フェーズの詳細フローを示している。この手順は、ここでは、図５〜７に関して詳細に説明される。４００で、所望の実現例にしたがって、音響センサおよびサーバを含むセンシングシステムを配備した後、４０１で聴野が定義される。図５は、例示の実現例による、聴野および信号／ノイズ源の例示の定義を示している。この例では、聴野は、音声が音源から音響センサに達することができる音響範囲（例えば、２０〜３０ｍ以下の距離）のガイドラインによって決定される。信号源（即ち、監視される音源）およびノイズは、音響センサと同じ位置に設置されたカメラを用いた画像検出技術（例えば、機械学習を用いた画像パターンマッチング）を使用して区別される。図５では、聴野が決定されると、信号源（機械１）とノイズ源（機械２および３）とを論理的に区別し識別することができる。

続いて、信号およびノイズを、図６に示されるような時系列波形で分離することができる。図６は、例示の実現例による、時系列での信号およびノイズの分離の一例を示している。具体的には、図６は、オーバーラップ機械の動作による波形の混合を伴う音声署名、ならびに単一の機械のみが単独で動作しているときに得られる音声署名の例を示している。図６では、信号（機械１／状態Ａ）ならびにノイズ（機械２／状態Ｂ、および機械３／状態Ｃ）の波形混合の一例が示されている。各機械に接続されているＰＬＣは、時系列の形で各機械の状態の同期情報を提供することができ、それが各機械の状態に対応する音響波形の時間スロットを識別する助けとなる。このように、波形の混合を、各機械の状態に対応する時間スロットにカテゴリ化することができる。このカテゴリ化を使用して、本明細書に記載する例示の実現例は、機械それぞれの他の状態で重複しない時間スロットを検索する。図６では、機械２／状態Ｂおよび機械３／状態Ｃに関して、重複しない時間スロットの部分がある。他方で、機械１／状態Ａに関しては、全て重複しているので、重複しない時間スロットはない。しかしながら、機械１／状態Ａの重複した波形は、機械２／状態Ｂおよび機械３／状態Ｃのノイズパターンを使用することによって分離することができる。したがって、ＰＬＣ情報によって提供される重複しない時間スロットの波形を使用して、また次に波形の減算によって、信号およびノイズの混合を分離することができる。図６に示されるように、工場の現場で動作する機械は周期的に同じ音声を発する傾向があるので、音声署名は、周期的デジタル信号の形態で音響センサによって検出される。

図７は、例示の実現例による、分離された信号およびノイズパターンを有する音声テーブルの一例を示している。図７では、分離された信号／ノイズパターンは、特定の波形およびそれらのラベルを伴う音声テーブルとしてプロファイルされる。波形およびラベルは、図７に示されるような特定の状態下で動作する機械に対する基準として、音声セグメントとして記憶される。ラベルは、特定の音声波形を発する機械、ならびに波形が生成された期間中の機械の状態を示す。

図８は、例示の実施例による、動作フェーズの例示のフローを示している。この手順は、ここでは、図９に提供される例に基づいて詳細に説明される。動作フェーズでは、ストリーミング音響データ８００がサーバ１００−１で処理される。最初に、図４に示されるような環境学習フェーズで得られた音声テーブル３０２を使用して、ノイズ指紋検出８０１が実施される。指紋検出８０１では、音声テーブルに基づいてノイズをカテゴリ化するために、一般的に波形全体の小さい一部分（例えば、１０ｋＨｚサンプリングにおける〜０．１秒に相当する波形の１０２４の地点）である、ストリーミング音響データが調査される。ここで、ユーザが関心を持っている信号の指紋は分かっているので、信号以外のノイズ指紋をノイズ低減のマザーデータとして利用することができる。例示の実現例は、音声テーブルからの信号の指紋の波形、および信号以外のノイズ指紋の任意の組み合わせを用いたノイズ低減後の、抽出されたストリーミング波形との、最大自己相関値である。ノイズ指紋が検出され、音声テーブル中のノイズの１つとしてカテゴリ化されると、情報が信号処理／ノイズ除去セクション８０２に転送され、そこで情報（カテゴリ化されたノイズ）にしたがって、所望の実現例による、オートエンコーダ、適応的ノイズフィルタ、機械学習などのノイズフィルタ処理技術を使用することによって、波形減算によって対応するノイズを低減するノイズフィルタが確立される。このプロセスはまた、ノイズ指紋をカテゴリ化し、結果を信号処理／ノイズ除去に連続して適用する、フィードバックループを有する。次に、ノイズ除去された信号を８０３の分析処理（例えば、統計分析、分類のための機械学習など）に入力することができ、それによって、信号品質の評価結果を出力の１つとして生成することができる。評価結果が良好である（例えば、信号品質がプリセットされた閾値を満たす）場合、分析の結果を対応するアプリケーションに転送して、８０５の様々な処理を容易にすることができる。結果が不良である（例えば、信号品質がプリセットされた閾値を満たさない）場合、フローは８０６に進み、未知のノイズがストリーミング信号に含まれ、音声テーブルに追加するために未知のノイズが戻される環境学習フェーズが再実行される。

図９は、例示の実現例による、サンプル時系列データを使用することによって、フィードバックループを含むノイズ指紋検出および信号処理／ノイズ除去を実施する一例を示している。図９に示される例では、ノイズは、図９００で示されるように、ノイズ追加のイベントとして小さい時間スロットで検出され、それがトリガになって、音声テーブルのノイズ指紋を使用してノイズフィルタ処理が適用される。ノイズ指紋がフィードバックループから検出されている間、ノイズフィルタが適用される。次に、（例えば、時間スロット９０１において）ノイズ消失のイベント検出の結果としてノイズ指紋が検出されないと、ノイズフィルタの適用が停止される。ノイズ出現の時系列変化に対する適応性は、図９に示されるような実現例によって実現することができる。したがって、局所／場所特有のノイズを自動的に、また環境の時系列変化に対して適応的に除去することができる。

図１０は、例示の実現例で使用するのに適した例示のコンピュータデバイスを含む例示のコンピューティング環境を示している。コンピューティング環境１０００のコンピュータデバイス１００５は、１つまたは複数の処理装置、コア、またはプロセッサ１０１０、メモリ１０１５（例えば、ＲＡＭ、ＲＯＭ、および／もしくはその他）、内部記憶装置１０２０（例えば、磁気、光学、固体記憶装置、および／もしくは有機）、ならびに／あるいはＩ／Ｏインターフェース１０２５を含むことができ、それらはいずれも、情報と通信する通信メカニズムもしくはバス１０３０上で連結させるか、またはコンピュータデバイス１００５に埋め込むことができる。

コンピュータデバイス１００５は、入力／ユーザインターフェース１０３５および出力デバイス／インターフェース１０４０に通信可能に連結することができる。入力／ユーザインターフェース１０３５および出力デバイス／インターフェース１０４０のどちらか一方もしくは両方は、有線または無線インターフェースであることができ、分離可能にすることができる。入力／ユーザインターフェース１０３５は、入力を提供するのに使用することができる、物理的もしくは仮想の、任意のデバイス、構成要素、センサ、またはインターフェース（例えば、ボタン、タッチ画面インターフェース、キーボード、ポインティング／カーソル制御、マイクロフォン、カメラ、点字、モーションセンサ、光学リーダー、および／またはその他）を含んでもよい。出力デバイス／インターフェース１０４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカー、点字などを含んでもよい。いくつかの例示の実現例では、入力／ユーザインターフェース１０３５および出力デバイス／インターフェース１０４０は、コンピュータデバイス１００５に埋め込むかまたは物理的に連結することができる。他の例示の実現例では、他のコンピュータデバイスが、コンピュータデバイス１００５の入力／ユーザインターフェース１０３５および出力デバイス／インターフェース１０４０として機能してもよく、あるいはその機能を提供してもよい。タッチ画面ディスプレイ、テレビディスプレイ、または他の任意の形態のディスプレイが関与する例示の実現例では、ディスプレイはユーザインターフェースを提供するように構成される。

コンピュータデバイス１００５の例としては、高度移動デバイス（例えば、スマートフォン、車両および他の機械内のデバイス、人間および動物が携行するデバイスなど）、移動デバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、ならびに移動用に設計されていないデバイス（例えば、デスクトップコンピュータ、他のコンピュータ、情報キオスク、１つもしくは複数のプロセッサが埋め込まれた、および／または連結されたテレビなど）を挙げることができるが、それらに限定されない。

コンピュータデバイス１００５は、同じまたは異なる構成の１つもしくは複数のコンピュータデバイスを含む、任意の数のネットワーク化された構成要素、デバイス、およびシステムと通信するため、（例えば、Ｉ／Ｏインターフェース１０２５を介して）外部記憶装置１０４５およびネットワーク１０５０に通信可能に連結することができる。コンピュータデバイス１００５または任意の接続されたコンピュータデバイスは、サーバ、クライアント、シンサーバ、一般機械、専用機械、または別のラベルとして機能するか、そのサービスを提供するか、あるいはそのように称することができる。

Ｉ／Ｏインターフェース１０２５としては、コンピューティング環境１０００の少なくとも全ての接続された構成要素、デバイス、およびネットワークとの間で情報を通信する、任意の通信またはＩ／Ｏプロトコルもしくは規格（例えば、Ｅｔｈｅｒｎｅｔ、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する、有線および／または無線インターフェースを挙げることができるが、それらに限定されない。ネットワーク１０５０は、任意のネットワークまたは複数のネットワーク（例えば、インターネット、ローカルエリアネットワーク、広域ネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）の組み合わせであることができる。

コンピュータデバイス１００５は、一時的媒体および非一時的媒体を含む、コンピュータ使用可能またはコンピュータ可読媒体を使用することができ、ならびに／あるいはそれらを使用して通信することができる。一時的媒体としては、送信媒体（例えば、金属ケーブル、光ファイバー）、信号、搬送波などが挙げられる。非一時的媒体としては、磁気媒体（例えば、ディスクおよびテープ）、光学媒体（例えば、ＣＤ ＲＯＭ、デジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、ならびに他の不揮発性記憶装置またはメモリが挙げられる。

コンピュータデバイス１００５は、いくつかの例示のコンピューティング環境で、技術、方法、アプリケーション、プロセス、またはコンピュータ実行可能命令を実現するのに使用することができる。コンピュータ実行可能命令は、一時的媒体から取り出すことができ、非一時的媒体に記憶しそこから取り出すことができる。実行可能命令は、任意のプログラミング言語、スクリプト言語、および機械言語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）の１つまたは複数に由来することができる。

メモリ１０１５は、図７に示されるような音声テーブル３０２、ならびに、本明細書に記載するような例示の実現例のプロセスを実施する、図１１に示されるような工場の現場にある複数の機械の動作スケジュールを管理するように構成されてもよい。

プロセッサ１０１０は、自然または仮想環境で、任意のオペレーティングシステム（ＯＳ）（図示なし）下で実行することができる。論理ユニット１０６０と、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット１０６５と、入力ユニット１０７０と、出力ユニット１０７５と、異なるユニットが互いに、ＯＳと、また他のアプリケーション（図示なし）と通信するためのユニット間通信メカニズム１０９５とを含む、１つまたは複数のアプリケーションを配備することができる。記載されるユニットおよび要素は、設計、機能、構成、または実施の点で異なることができ、提供する説明に限定されない。プロセッサ１０１０は、メモリ１０１５からロードした命令を実行するように構成される、物理的プロセッサまたは中央処理装置（ＣＰＵ）の形態であることができる。

いくつかの例示の実現例では、情報または実行命令がＡＰＩユニット１０６５によって受信されたときには、１つまたは複数の他のユニット（例えば、論理ユニット１０６０、入力ユニット１０７０、出力ユニット１０７５）に通信されてもよい。いくつかの例では、論理ユニット１０６０は、上述したいくつかの例示の実現例において、ユニット間での情報フローを制御し、ＡＰＩユニット１０６５、入力ユニット１０７０、出力ユニット１０７５によって提供されるサービスを管理するように構成されてもよい。例えば、１つもしくは複数のプロセスまたは実現のフローは、論理ユニット１０６０によって単独で、またはＡＰＩユニット１０６５と併用して制御されてもよい。入力ユニット１０７０は、例示の実現例に記載される計算に対する入力を得るように構成されてもよく、出力ユニット１０７５は、例示の実現例に記載されている計算に基づいて出力を提供するように構成されてもよい。

プロセッサ１０１０は、動作スケジュールによって示されるように複数の機械自体が動作している期間中、それ自体で動作している複数の機械に対して複数の音響センサから音声署名を取得し、音声署名を複数の機械と、複数の機械に対する音声セグメントとしての動作状態とに関連させ、機械の複数が動作している期間中にセンサから第２の音声署名を取得し、関連付けられた署名に基づいて第２の音声署名を処理して、環境学習フェーズの実行に関して図４および６に示されるように、複数の機械のうち重複するものに対する音声セグメントとして、複数の機械のうち重複するものに対する音声署名を導き出すことによって、音声テーブルに関して図７に示されているように、複数の機械に対して音声セグメントを構築するように構成することができる。図６に示されるように、かかる音声署名は、複数の音響センサから受信される周期的デジタル信号を伴うことができる。

プロセッサ１０１０は、図８に示されるような動作フェーズのフローを実行し、複数の音響センサからストリーミング音声署名を受信するように構成することができる。複数の機械からの機械に対する分析を実施するため、プロセッサ１０１０は、音声セグメントとストリーミング音声署名との比較に基づいて、複数の機械のうち他のものを検出し、複数の機械のうち検出された他のものを受信したストリーミング音声署名から除外（フィルタ処理）し、フィルタ処理されたストリーミング音声署名に対する分析を実施するように構成することができる。

フィルタ処理されたストリーミング音声署名の信号品質を示す分析が、図８に示されるような閾値を満たしていないとの評価に対して、プロセッサ１０１０は、環境学習フェーズを再実行し、音声テーブル３０２の複数の機械からの機械に関する未知のノイズを有するものとして、フィルタ処理されたストリーミング音声署名を関連させるように構成することができる。ノイズは後で、特定の機械に対する音声署名を区分し、波形を記憶されたノイズから減算することができる、環境学習フェーズ中に除外（フィルタ処理）することができ、それによって未知のノイズを区分して音声テーブル３０２に残すことができる。そのため、音声テーブル３０２を動的に更新して、工場の現場で起こる未知のノイズのインシデントを記憶し、かかる音声署名を区分して、そのノイズに固有の音声セグメントを構築することができる。

図１に示されるように、ストリーミング音声署名は、工場の現場にある複数の音響センサを管理する物のインターネット（ＩｏＴ）ゲートウェイを通して、複数の音響センサからのものであることができる。更に、図１１に示されるような動作スケジュールは、複数のプログラマブル論理コントローラ（ＰＬＣ）を通して、工場の現場にある複数の機械を管理するサーバで受信することができる。

プロセッサ１０１０はまた、音響センサの範囲に基づいて聴野を決定し、次に各エリアを１つまたは複数の機械および１つまたは複数のカメラと関連付けるように構成される。かかる例示の実現例では、音声署名が識別されると、音声署名を、工場の現場に配備された１つまたは複数のカメラからのカメラ画像と対にすることができ、機械は、図５に示されるように、音声署名源として強調しラベル付けすることができる。

図１１は、例示の実施例による、例示の動作スケジュールを示している。具体的には、図１１は、特定の機械に対する動作時間、動作中の機械、および動作時間中に機械が動作している状態を含む。したがって、図１１に示されるようなこの動作スケジュールを通して、本明細書に記載される例示の実現例による音声を適正に作り出すために、特定の期間中にどの状態でどの機械が動作しているかがサーバに通知される。

詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズムおよび図式的表現に関して提示されている。これらのアルゴリズム的説明および図式的表現は、データ処理分野の当業者が技術革新の本質について他の当業者に伝達するのに使用される手段である。アルゴリズムは、所望の最終状態または結果につながる一連の規定のステップである。例示の実施例では、実施されるステップは、有形の結果を達成する有形の量の物理的操作を要する。

別段の具体的な説明がない限り、考察から明白であるように、本明細書全体を通して、「処理する」、「計算する」、「算出する」、「判定する」、「表示する」などの用語を利用した考察は、コンピュータシステムのレジスタおよびメモリ内の物理（電子）量として表されるデータを操作し、同様にコンピュータシステムのメモリもしくはレジスタまたは他の情報記憶デバイス、送信デバイス、または表示デバイス内の物理量として表される他のデータへと変換する、コンピュータシステムまたは他の情報処理デバイスの動作およびプロセスを含み得ることが認識される。

例示の実施例はまた、本明細書の動作を実施する装置に関連することがある。この装置は、求められる目的のために特別に構築されてもよく、あるいは１つもしくは複数のコンピュータプログラムによって選択的に起動または再構成される、１つもしくは複数の汎用コンピュータを含んでもよい。かかるコンピュータプログラムは、コンピュータ可読記憶媒体またはコンピュータ可読信号媒体など、コンピュータ可読媒体に記憶されてもよい。コンピュータ可読記憶媒体には、光学ディスク、磁気ディスク、読出し専用メモリ、ランダムアクセスメモリ、固体素子およびドライブ、または電子情報を記憶するのに適した他の任意のタイプの有形もしくは非一時的媒体などであるがそれらに限定されない、有形媒体が関与してもよい。コンピュータ可読信号媒体は、搬送波などの媒体を含んでもよい。本明細書に提示されるアルゴリズムおよびディスプレイは、いずれかの特定のコンピュータまたは他の装置には本質的に関連しない。コンピュータプログラムには、所望の実施例の動作を実施する命令を伴う、純粋なソフトウェア実装を伴い得る。

様々な汎用システムが、本明細書の例によるプログラムおよびモジュールとともに使用されてもよく、または所望の方法ステップを実施するのに、より専門的な装置を構築するのが便利であるとわかることがある。それに加えて、例示の実施例は、いかなる特定のプログラミング言語も参照せずに記載されている。本明細書に記載される例示の実現例の教示を実現するのに、様々なプログラミング言語が使用されてもよいことが認識されるであろう。プログラミング言語の命令は、１つまたは複数の処理デバイス、例えば中央処理装置（ＣＰＵ）、プロセッサ、またはコントローラによって実行されてもよい。

当該分野で知られているように、上述の動作は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの何らかの組み合わせによって実施することができる。例示の実施例の様々な態様は、回路および論理デバイス（ハードウェア）を使用して実現されてもよく、他の態様は、機械可読媒体（ソフトウェア）に記憶された命令を使用して実現されてもよく、これはプロセッサによって実行された場合、プロセッサによって方法を実施させて、本出願の実施例を実施する。更に、本出願のいくつかの例示の実施例はハードウェアだけで実施されてもよく、他の例示の実施例はソフトウェアだけで実施されてもよい。更に、記載した様々な機能は、単一の単位体で実施することができ、または無数の手法で多数の構成要素にわたって分散させることができる。ソフトウェアによって実施される場合、方法は、コンピュータ可読媒体に記憶された命令に基づいて、汎用コンピュータなどのプロセッサによって実行されてもよい。所望の場合、命令は、圧縮および／または暗号化形式で媒体に記憶することができる。

更に、本明細書を考察し、本出願の教示を実践することによって、本発明の他の実施例が当業者には明白となるであろう。記載された例示の実施例の様々な態様および／または構成要素は、単独でまたは任意の組み合わせで使用されてもよい。本明細書および例示の実施例は単なる例として考察されるものであって、本出願の真の範囲および趣旨は以下の特許請求の範囲によって示される。

Claims (18)

1. 複数の機械に対して音声セグメントを構築するステップを含み、前記構築するステップが、
   前記複数の機械それぞれに対して動作スケジュールを取得するステップと、
   前記動作スケジュールによって示されるように前記複数の機械自体が動作している期間中、それ自体で動作している前記複数の機械に対して複数の音響センサから音声署名を取得するステップと、
   前記音声署名を、前記複数の機械と、前記複数の機械に対する音声セグメントとしての動作状態とに関連させるステップと、
   前記機械の複数が動作している期間中に前記センサから第２の音声署名を取得するステップと、
   前記関連付けられた署名に基づいて前記第２の音声署名を処理して、前記複数の機械のうち重複するものに対する前記音声セグメントとして、前記複数の機械のうち重複するものに対する音声署名を導き出すステップとを含む、方法。
2. 前記音声署名が前記複数の音響センサから受信した周期的デジタル信号を含む、請求項１に記載の方法。
3. ストリーミング音声署名を前記複数の音響センサから受信するステップと、
   前記複数の機械からの機械１台に対する分析を実施するため、
   前記音声セグメントと前記ストリーミング音声署名との比較に基づいて、前記複数の機械のうち他のものを検出するステップと、
   前記複数の機械のうち前記検出された他のものを前記受信したストリーミング音声署名から除外（フィルタ処理）するステップと、
   前記フィルタ処理されたストリーミング音声署名に対する前記分析を実施するステップとを更に含む、請求項１に記載の方法。
4. 前記フィルタ処理されたストリーミング音声署名の信号品質を示す前記分析が、閾値を満たしていないとの評価に対して、前記複数の機械からの前記機械に関する未知のノイズを有するものとして、前記フィルタ処理されたストリーミング音声署名を関連させる、請求項３に記載の方法。
5. 前記複数の音響センサからストリーミング音声署名を受信する前記ステップが、工場の現場にある前記複数の音響センサを管理する物のインターネット（ＩｏＴ）ゲートウェイを通して実施される、請求項３に記載の方法。
6. 前記複数の機械の前記それぞれに対して動作スケジュールを取得する前記ステップが、複数のプログラマブル論理コントローラ（ＰＬＣ）を通して、工場の現場にある前記複数の機械を管理するサーバから前記動作スケジュールを受信するステップを含む、請求項１に記載の方法。
7. プロセスを実行する命令を記憶する非一時的コンピュータ可読媒体であって、前記命令が、
   複数の機械に対して音声セグメントを構築するステップを含み、前記構築するステップが、
   前記複数の機械それぞれに対して動作スケジュールを取得するステップと、
   前記動作スケジュールによって示されるように前記複数の機械自体が動作している期間中、それ自体で動作している前記複数の機械に対して複数の音響センサから音声署名を取得するステップと、
   前記音声署名を、前記複数の機械と、前記複数の機械に対する音声セグメントとしての動作状態とに関連させるステップと、
   前記機械の複数が動作している期間中に前記センサから第２の音声署名を取得するステップと、
   前記関連付けられた署名に基づいて前記第２の音声署名を処理して、前記複数の機械のうち重複するものに対する前記音声セグメントとして、前記複数の機械のうち重複するものに対する音声署名を導き出すステップとを含む、非一時的コンピュータ可読媒体。
8. 前記音声署名が前記複数の音響センサから受信した周期的デジタル信号を含む、請求項７に記載の非一時的コンピュータ可読媒体。
9. 前記命令が、
   ストリーミング音声署名を前記複数の音響センサから受信するステップと、
   前記複数の機械からの機械に対する分析を実施するため、
   前記音声セグメントと前記ストリーミング音声署名との比較に基づいて、前記複数の機械のうち他のものを検出するステップと、
   前記複数の機械のうち前記検出された他のものを前記受信したストリーミング音声署名から除外（フィルタ処理）するステップと、
   前記フィルタ処理されたストリーミング音声署名に対する前記分析を実施するステップとを更に含む、請求項７に記載の非一時的コンピュータ可読媒体。
10. 前記フィルタ処理されたストリーミング音声署名の信号品質を示す前記分析が、閾値を満たしていないとの評価に対して、前記複数の機械からの前記機械に関する未知のノイズを有するものとして、前記フィルタ処理されたストリーミング音声署名を関連させる、請求項９に記載の非一時的コンピュータ可読媒体。
11. 前記複数の音響センサからストリーミング音声署名を受信する前記ステップが、工場の現場にある前記複数の音響センサを管理する物のインターネット（ＩｏＴ）ゲートウェイを通して実施される、請求項９に記載の非一時的コンピュータ可読媒体。
12. 前記複数の機械の前記それぞれに対して動作スケジュールを取得する前記ステップが、複数のプログラマブル論理コントローラ（ＰＬＣ）を通して、工場の現場にある前記複数の機械を管理するサーバから前記動作スケジュールを受信するステップを含む、請求項７に記載の非一時的コンピュータ可読媒体。
13. 複数の機械それぞれに対する動作スケジュールを記憶するように構成されたメモリと、
    プロセッサとを備え、前記プロセッサが、
    前記動作スケジュールによって示されるように前記複数の機械自体が動作している期間中、それ自体で動作している前記複数の機械に対して複数の音響センサから音声署名を取得し、
    前記音声署名を前記複数の機械と、前記複数の機械に対する音声セグメントとしての動作状態とに関連させ、
    前記機械の複数が動作している期間中に前記センサから第２の音声署名を取得し、
    前記関連付けられた署名に基づいて前記第２の音声署名を処理して、前記複数の機械のうち重複するものに対する前記音声セグメントとして、前記複数の機械のうち重複するものに対する音声署名を導き出すことによって、前記複数の機械に対して音声セグメントを構築するように構成された、複数の機械および複数の音響センサに通信可能に連結された装置。
14. 前記音声署名が前記複数の音響センサから受信した周期的デジタル信号を含む、請求項１３に記載の装置。
15. 前記プロセッサが、
    ストリーミング音声署名を前記複数の音響センサから受信し、
    前記複数の機械からの機械に対する分析を実施するため、
    前記音声セグメントと前記ストリーミング音声署名との比較に基づいて、前記複数の機械のうち他のものを検出し、
    前記複数の機械のうち前記検出された他のものを前記受信したストリーミング音声署名から除外（フィルタ処理）し、
    前記フィルタ処理されたストリーミング音声署名に対する前記分析を実施するように構成された、請求項１３に記載の装置。
16. 前記フィルタ処理されたストリーミング音声署名の信号品質を示す前記分析が、閾値を満たしていないとの評価に対して、前記複数の機械からの前記機械に関する未知のノイズを有するものとして、前記フィルタ処理されたストリーミング音声署名を関連させるように構成された、請求項１５に記載の装置。
17. 前記装置が、前記複数の音響センサからストリーミング音声署名を、工場の現場にある前記複数の音響センサを管理する物のインターネット（ＩｏＴ）ゲートウェイを通して受信するように構成された、請求項１５に記載の装置。
18. 前記装置が、複数のプログラマブル論理コントローラ（ＰＬＣ）を通して、工場の現場にある前記複数の機械を管理するサーバから、前記複数の機械それぞれに対して前記動作スケジュールを取得するように構成された、請求項１３に記載の装置。

Images