JP2023022601A - 情報処理装置、計測システム、ロボットシステム及びコンピュータプログラム - Google Patents

Abstract

【課題】音データからロボットの動作音のデータを検出する情報処理装置等を提供する。
【解決手段】情報処理装置のプロセッサは、２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成する３次元変換処理と、前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出する抽出処理と、前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出する検出処理とを実行する。
【選択図】図１

Description

本開示は、音のデータから特定の音のデータを検出する情報処理装置、計測システム、ロボットシステム及びコンピュータプログラムに関する。

例えば、特許文献１は、ロボットアームの周期的な動作を監視する異常波形検知システムを開示する。異常波形検知システムは、ロボットアームに設置された振動センサの測定値の波形である対象波形の異常を、基準波形に基づき検出する。

特開２０１８－１４７３９０号公報

特許文献１において、例えば、ロボットの動作音の波形を対象波形として用いるには、多大な困難が伴う。騒音計等の音検出器によって検出される音信号のデータ、つまり音データは、ロボットアーム以外の音源の音信号も含み得る。本開示は、音データからロボットの動作音のデータを検出する情報処理装置、計測システム、ロボットシステム及びコンピュータプログラムを提供する。

本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成する３次元変換処理と、前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出する抽出処理と、前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出する検出処理とを実行する。

図１は、例示的な実施の形態に係るロボットシステムの構成の一例を示す平面図である。 図２は、例示的な実施の形態に係るロボットコントローラ及び計測コントローラのハードウェア構成の一例を示すブロック図である。 図３は、例示的な実施の形態に係るロボットコントローラ、計測コントローラ及び情報処理装置の機能的構成の一例を示すブロック図である。 図４は、３次元変換データの一例を図表化して表す図である。 図５は、対象周波数帯域に含まれる音信号の波形及び包絡線の一例を示す図である。 図６は、包絡線の重ね合わせ処理の一例を示す図である。 図７は、包絡線間の差分の除去対象の一例を示す図である。 図８は、包絡線間の差分の除去後の音信号の波形の一例を示す図である。 図９は、例示的な実施の形態に係るロボットシステムの動作の一例を示すフローチャートである。 図１０は、例示的な実施の形態の変形例に係るロボットシステムの構成の一例を示す平面図である。 図１１は、例示的な実施の形態の変形例に係る情報処理装置の機能的構成の一例を示すブロック図である。 図１２は、動作音データの時間差分の比較例を示す図である。 図１３は、動作音データの時間差分の別の比較例を示す図である。

以下において、本開示の例示的な実施の形態を、図面を参照しつつ説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。さらに、各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。本明細書及び請求項では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

［ロボットシステムの構成］
図１を参照しつつ、例示的な実施の形態に係るロボットシステム１の構成を説明する。図１は、例示的な実施の形態に係るロボットシステム１の構成の一例を示す平面図である。ロボットシステム１は、ロボット１００と、周辺機器２００と、ロボットコントローラ３００と、音検出器４００と、計測コントローラ５００と、情報処理装置６００と、出力装置７００と、入力装置８００とを含む。音検出器４００、計測コントローラ５００及び情報処理装置６００は、計測システム１０を構成する。計測コントローラ５００は、コントローラの一例である。

本実施の形態では、情報処理装置６００は、計測コントローラ５００に含まれる。しかしながら、情報処理装置６００は、計測コントローラ５００とは別の装置であってもよく、例えば、単独の装置であってよく、ロボットコントローラ３００又は他の装置に含まれてもよい。さらに。計測コントローラ５００は、ロボットコントローラ３００と別の装置であるが、ロボットコントローラ３００に含まれてもよい。

これに限定されないが、本実施の形態では、ロボット１００は、産業用ロボットである。ロボット１００は、１つ以上のロボットアーム１０１と、１つ以上のエンドエフェクタ１０２とを備える。ロボットアーム１０１は、１つ以上の関節を有するが、本実施の形態では、２つ以上の関節を有する多関節ロボットアームである。エンドエフェクタ１０２は、ロボットアーム１０１の遠位端に着脱可能に取り付けられる。エンドエフェクタ１０２は、ロボット１００の処理の対象物に作用を加えることができる。エンドエフェクタ１０２は、作用に合わせた構成を有し、本実施の形態では、対象物を把持する構成を有する。ロボットアーム１０１は、エンドエフェクタ１０２の位置及び姿勢を自在に変えることができる。ロボットアーム１０１は、２つ以上の関節の動力源として、２つ以上のサーボモータを含む。エンドエフェクタ１０２は、把持動作をする部分の動力源として、サーボモータを含む。ロボット１００は作動音を発生する。

ロボットアーム１０１の型式は、垂直多関節型であるが、水平多関節型、極座標型、円筒座標型、直角座標型、又はその他の型式であってもよい。ロボット１００は、産業用ロボットに限定されず、ユーザにサービスを提供するサービスロボット、ヒューマノイド等であってもよい。例えば、サービスの例は、介護、医療、清掃、警備、案内、救助、調理、販売、レンタル、物品提供等である。

周辺機器２００は、ロボット１００と同じ空間に配置され、例えば、工場及び倉庫等の中のロボット１００が作業を行う作業エリア内に配置される。これに限定されないが、本実施の形態では、周辺機器２００は、ロボット１００の近傍に配置されるベルトコンベアである。周辺機器２００は作動音を発生する。ベルトコンベアは、ロボット１００の処理の対象物のロボット１００への搬送、当該対象物のロボット１００からの搬送、又は、両方の搬送を行うことができる。

ロボットコントローラ３００は、ロボット１００と同じ空間、具体的には、作業エリア内に配置されるが、作業エリア外に配置されてもよい。ロボットコントローラ３００は、ロボット１００、周辺機器２００及び計測コントローラ５００と、有線通信、無線通信、又は、無線通信及び有線通信の両方を介して接続される。ロボットコントローラ３００は、ロボット１００及び周辺機器２００のモータ等の動力源の動作を制御する。ロボットコントローラ３００は、計測コントローラ５００に対して指令、情報及びデータ等を送受信することができ、例えば、受信する指令に従って、ロボット１００に動作させる。ロボットコントローラ３００は、コンピュータを含み、さらに、ロボット１００及び周辺機器２００の動力源に供給する電力を制御する電気回路を含んでもよい。

音検出器４００は、ロボット１００と同じ空間、具体的には、作業エリア内に配置される。音検出器４００は、ロボット１００が動作中に発生する音を検出できる位置に配置され、音を検出する。音検出器４００は、計測コントローラ５００と有線通信、無線通信、又は、無線通信及び有線通信の両方を介して接続される。音検出器４００は、計測コントローラ５００と対して指令、情報及びデータ等を送受信することができ、例えば、受信する指令に従って音の検出を実行し、検出結果を計測コントローラ５００に送信する。

音検出器４００は、マイクロホンを含み、周囲の音を検出することができる。マイクロホンのタイプは特に限定されず、例えば、動電型、圧電型、コンデンサ型等であってもよい。音検出器４００は、マイクロホンによって検出される音の信号を計測コントローラ５００に送信可能なデータに変換する変換器をさらに含んでもよいが、必須ではない。変換器は、回路、コンピュータ、又は、回路及びコンピュータを含み得る。音検出器４００は、騒音計等の既存の検出器であってもよく、ロボットシステム１に専用に設計された検出器であってもよい。

計測コントローラ５００は、いかなる場所に配置されてもよい。計測コントローラ５００は、ロボットコントローラ３００、音検出器４００、出力装置７００及び入力装置８００と有線通信、無線通信、又は、無線通信及び有線通信の両方を介して接続される。計測コントローラ５００は、ロボットコントローラ３００、音検出器４００、出力装置７００及び入力装置８００に対して指令、情報及びデータ等を送受信することができる。計測コントローラ５００は、情報処理装置６００に対しても指令、情報及びデータ等を送受することができる。計測コントローラ５００は、コンピュータを含む。計測コントローラ５００は、電子回路基板、電子制御ユニット、マイクロコンピュータ、パーソナルコンピュータ、ワークステーション、スマートフォン及びタブレットなどのスマートデバイス、並びにその他の電子機器等であってもよい。

例えば、計測コントローラ５００は、入力装置８００からの種々の指令を受け付ける。計測コントローラ５００は、入力装置８００から受信する指令等に従って、ロボット１００に所定の動作を実行させる指令である所定動作実行指令を生成し、ロボットコントローラ３００に送信する。計測コントローラ５００は、ロボットコントローラ３００からロボット１００の動作状態を示す情報を受信してもよい。計測コントローラ５００は、入力装置８００から受信する指令等に従って、音の検出を実行する指令である検出実行指令を生成し、音検出器４００に送信する。例えば、計測コントローラ５００は、ロボット１００の所定の動作の実行タイミングと音検出の実行タイミングとが同期するように、音検出器４００に音検出指令を送信してもよい。計測コントローラ５００は、ロボットコントローラ３００から受信するロボット１００の動作状態を用いて、同期を制御してもよい。

所定の動作は、ロボット１００の１つ動作、又は複数の動作の組み合わせを含んでもよい。所定の動作は、ロボットアーム１０１の動作であってもよい。例えば、１つの動作は、ロボットアーム１０１の屈曲動作、旋回動作、捩じり動作、又は、これらの２つ以上の組み合わせ等であってもよい。これに限定されないが、本実施の形態では、所定の動作は、ロボット１００の動作音を計測するための動作であり、例えば、ロボットアーム１０１の高速での屈曲動作及び旋回動作等を含み得る。以下において、当該動作音の計測のための所定の動作を、「所定計測動作」と表記する場合もある。

所定動作実行指令は、所定計測動作の種類、所定計測動作の実行タイミング、所定計測動作の実行回数及び所定計測動作間のインターバル等の指令内容を含んでもよい。本実施の形態では、実行回数は、２回以上である。この場合、ロボットコントローラ３００は、所定動作実行指令の指令内容に従って、ロボット１００に２回以上の所定計測動作を自律的に動作させる。所定動作実行指令は、単に所定計測動作の実行を指令するものであってもよい。この場合、ロボットコントローラ３００は、予め記憶されているプログラムに従って、所定の実行タイミング、所定の２回以上の実行回数且つ所定のインターバルで、ロボット１００に所定計測動作を自律的に動作させる。

計測コントローラ５００は、音検出器４００の検出結果を示す信号又はデータを音検出器４００から受信し、当該信号又はデータを変換して、情報処理装置６００による処理が可能なデータである変換音データを生成し、変換音データを情報処理装置６００に送る。計測コントローラ５００は、情報処理装置６００から受けとる情報及びデータ等を、出力装置７００及び外部機器等に出力してもよい。外部機器は、ロボットシステム１の外部の機器であってもよい。

情報処理装置６００は、計測コントローラ５００内において個別の装置として配置されてもよく、計測コントローラ５００と一体化されてもよい。後者の場合、情報処理装置６００の機能は、計測コントローラ５００の機能によって実現されてもよい。情報処理装置６００は、計測コントローラ５００に対して指令、情報及びデータ等を送受することができる。情報処理装置６００は、コンピュータを含む。本実施の形態では、情報処理装置６００は、電子回路基板、電子制御ユニット、マイクロコンピュータ等であるが、パーソナルコンピュータ、ワークステーション、スマートフォン及びタブレットなどのスマートデバイス、並びにその他の電子機器等であってもよい。

例えば、情報処理装置６００は、計測コントローラ５００から受け取る変換音データを処理し、ロボット１００の動作音のデータを変換音データから検出する。情報処理装置６００は、ロボット１００の動作音のデータを計測コントローラ５００に送る。

出力装置７００は、いかなる場所に配置されてもよい。出力装置７００は、計測コントローラ５００に対して指令、情報及びデータ等を送受信することができる。例えば、出力装置７００は、計測コントローラ５００から受信する情報及びデータ等を、視覚的、聴覚的、又は、これらの両方で出力することができる。出力装置７００は、ディスプレイ、プロジェクタ、スピーカ及び印刷装置等のうちの１つ以上を含んでもよい。出力装置７００は、ディスプレイ及びプロジェクタを介して画像を出力し、スピーカを介して音声を出力し、印刷装置を介して、情報及びデータ等が印刷された記録媒体を出力することができる。記録媒体の例は、紙、布、フィルム及び板等のシート材であるが、これらに限定されない。

入力装置８００は、いかなる場所に配置されてもよい。入力装置８００は、計測コントローラ５００に対して指令、情報及びデータ等を送受信することができる。入力装置８００は、ロボットシステム１のユーザによる入力を受け付け、入力内容に対応する指令、情報及びデータ等を計測コントローラ５００に送信する。入力装置８００は、ボタン、レバー、ダイヤル、ジョイスティック、マウス、キー、タッチパネル及びモーションキャプチャ等の、ユーザの操作を介して入力が与えられる装置、ユーザ等の画像を介して入力が与えられるカメラ等の装置、ユーザ等の音声を介して入力が与えられるマイクロホン等の装置を含んでもよい。

ロボットコントローラ３００、音検出器４００、計測コントローラ５００及び情報処理装置６００等の、機能を実行する装置は、回路又は処理回路を含んでもよい。回路は、処理回路を含んでもよい。処理回路又は回路は、プロセッサ及び記憶装置等を含む。処理回路又は回路は、コンピュータを構成する。処理回路又は回路は、他の装置との指令、情報及びデータ等の送受信を行う。処理回路又は回路は、種々の装置からの信号の入力及び制御対象への制御信号の出力を行う。

記憶装置は、メモリ、ストレージ、又は、メモリ及びストレージの両方を含んでもよい。メモリの例は、揮発性の半導体メモリであるＲＡＭ（Random Access Memory）及び不揮発性の半導体メモリであるＲＯＭ（Read-Only Memory）等である。ストレージの例は、フラッシュメモリ等の半導体メモリ、ハードディスク及びＳＳＤ（Solid State Drive）等である。例えば、記憶装置は、処理回路又は回路が実行するプログラム、及び種々のデータ等を記憶する。

上記の機能を実行する装置が有する複数の機能の少なくとも一部の機能は、プロセッサ、メモリ及びストレージ等の協働により実現されてもよい。プロセッサと、ＲＡＭ及びＲＯＭを含むメモリとは、コンピュータシステムを構成する。例えば、コンピュータシステムは、プロセッサがＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって、上記機能を実現してもよい。

上記の機能を実行する装置が有する機能の一部又は全部は、上記コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、上記コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。上記の機能を実行する装置はいずれも、単一の処理回路又は回路による集中制御により処理を実行してもよく、複数の処理回路又は回路の協働による分散制御により処理を実行してもよい。

これに限定されないが、例えば、プロセッサは、ＣＰＵ（中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphic s Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、及びリコンフィギュラブルプロセッサ等を含み得、ＩＣ（Integrated Circuit）チップ及びＬＳＩ（Large Scale Integration）などの集積回路等に形成されたハードウェア回路である論理回路又は専用回路によって処理を実現してもよい。上記装置の複数の機能は、個別に１チップ化された集積回路によって実現されてもよく、一部又は全てを含むように１チップ化された集積回路によって実現されてもよい。

［ハードウェア構成］
図２を参照しつつ、例示的な実施の形態に係るロボットコントローラ３００及び計測コントローラ５００のハードウェア構成の一例を説明する。図２は、例示的な実施の形態に係るロボットコントローラ３００及び計測コントローラ５００のハードウェア構成の一例を示すブロック図である。なお、以下に説明するハードウェア構成は、一例であり、ロボットコントローラ３００、計測コントローラ５００及び情報処理装置６００のハードウェア構成は以下の構成に限定されず、適宜変更可能である。

ロボットコントローラ３００は、コントロールユニット３１０と、駆動回路３２０とを含む。コントロールユニット３１０は、プロセッサＰと、メモリＭと、ストレージＳと、入出力Ｉ／Ｆ（インターフェース：Interface）３１１と、駆動Ｉ／Ｆ３１２とを構成要素として含む。コントロールユニット３１０の構成要素は、バスＢによって相互に接続されるが、他の有線通信、無線通信、又は有線通信及び無線通信の組み合わせによって接続されてもよい。例えば、コントロールユニット３１０は、電子回路基板、電子制御ユニット、マイクロコンピュータ、及びその他の電子機器等であってもよい。

入出力Ｉ／Ｆ３１１は、計測コントローラ５００と接続され、コントロールユニット３１０と計測コントローラ５００との間の信号の送受信を制御する。駆動Ｉ／Ｆ３１２は、駆動回路３２０と接続され、コントロールユニット３１０と駆動回路３２０との間の信号等の送受信を制御する。駆動回路３２０は、ロボット１００に供給する電流を制御する。

計測コントローラ５００は、プロセッサＰと、メモリＭと、ストレージＳと、入出力Ｉ／Ｆ５０１から５０４とを含む。プロセッサＰ、メモリＭ、ストレージＳ、及び入出力Ｉ／Ｆ５０１から５０４は、バスＢによって相互に接続されるが、他の有線通信、無線通信、又は有線通信及び無線通信の組み合わせによって接続されてもよい。これに限定されないが、本実施の形態では、計測コントローラ５００のプロセッサＰ、メモリＭ及びストレージＳは、計測コントローラ５００の機能と情報処理装置６００の機能とを実現する。

入出力Ｉ／Ｆ５０１は、ロボットコントローラ３００の入出力Ｉ／Ｆ３１１と接続され、計測コントローラ５００とロボットコントローラ３００との間の信号の送受信を制御する。入出力Ｉ／Ｆ５０２は、音検出器４００と接続され、計測コントローラ５００と音検出器４００との間の信号の送受信を制御する。入出力Ｉ／Ｆ５０３は、出力装置７００と接続され、計測コントローラ５００と出力装置７００との間の信号の送受信を制御する。入出力Ｉ／Ｆ５０４は、入力装置８００と接続され、計測コントローラ５００と入力装置８００との間の信号の送受信を制御する。

［機能的構成］
図３を参照しつつ、例示的な実施の形態に係るロボットコントローラ３００、計測コントローラ５００及び情報処理装置６００の機能的構成の一例を説明する。図３は、例示的な実施の形態に係るロボットコントローラ３００、計測コントローラ５００及び情報処理装置６００の機能的構成の一例を示すブロック図である。なお、以下に説明する機能的構成は、一例であり、ロボットコントローラ３００、計測コントローラ５００及び情報処理装置６００の機能的構成は以下の構成に限定されず、適宜変更可能である。

ロボットコントローラ３００は、動作制御部３００ａと、記憶部３００ｂとを機能的構成要素として含む。計測コントローラ５００は、指令部５００ａと、変換部５００ｂと、出力処理部５００ｃと、記憶部５００ｄとを機能的構成要素として含む。情報処理装置６００は、第１変換部６００ａと、抽出部６００ｂと、検出部６００ｃと、第２変換部６００ｄと、記憶部６００ｅとを機能的構成要素として含む。

ロボットコントローラ３００において、動作制御部３００ａの機能は、プロセッサＰ及びメモリＭ等によって実現されてもよく、記憶部３００ｂの機能は、メモリＭ及びストレージＳによって実現されてもよい。

記憶部３００ｂは、ロボット１００に自律的に動作させるためのプログラム等を記憶する。例えば、記憶部３００ｂは、ロボット１００に自律的に、所定計測動作を実行させるためのプログラム、又は、所定の実行タイミング、所定の２回以上の実行回数且つ所定のインターバルで所定計測動作を実行させるためのプログラムを記憶する。

動作制御部３００ａは、ロボット１００の動作を制御する。動作制御部３００ａは、記憶部３００ｂに記憶されるプログラムに従って、ロボット１００の自律的な動作を制御する。動作制御部３００ａは、計測コントローラ５００から受信する所定動作実行指令に従って、ロボット１００に自律的に所定計測動作を実行させる。動作制御部３００ａは、ロボット１００のサーボモータから回転量及び電流値等の情報を取得し、当該情報を用いて当該サーボモータをフィードバック制御し得る。

計測コントローラ５００において、指令部５００ａ、変換部５００ｂ及び出力処理部５００ｃの機能は、プロセッサＰ及びメモリＭ等によって実現されてもよく、記憶部５００ｄの機能は、メモリＭ及びストレージＳによって実現されてもよい。

指令部５００ａは、入力装置８００から受信する指令に従って、音検出器４００及びロボットコントローラ３００に出力する指令を生成する。入力装置８００からの受信指令の一例は、ロボット１００の動作音の計測を実行する指令である計測実行指令である。指令部５００ａは、計測実行指令を受信すると、所定計測動作の実行のための所定動作実行指令をロボットコントローラ３００に送信し、音の検出のための検出実行指令を音検出器４００に送信する。指令部５００ａは、ロボットコントローラ３００からロボット１００の動作状態の情報を受信し、ロボット１００の所定計測動作の実行タイミングと音検出器４００の音検出の実行タイミングとを同期させるように、音検出器４００に音検出指令を送信する。

変換部５００ｂは、音検出器４００の検出結果を示す信号又はデータを音検出器４００から受信し、当該信号又はデータを変換して情報処理装置６００による処理が可能な変換音データを生成し、変換音データを情報処理装置６００に送る。変換音データは、音を表す信号である音信号を強度及び発生時間で表す２次元の音データである。２次元の音データは、強度及び時間を音信号の成分として含む。音信号の強度の例は、音圧等である。変換部５００ｂは、変換音データにおいて、指令部５００ａによる所定計測動作及び音検出の２つの実行タイミングの同期制御に基づき、変換音データにおける音信号の強度及び発生時間と、ロボット１００の所定計測動作の実行タイミングとを関連付けてもよい。

出力処理部５００ｃは、情報処理装置６００から受けとる情報及びデータ等を、出力装置７００が出力可能なデータに変換し、出力装置７００に送信する。例えば、出力処理部５００ｃは、入力装置８００を介して要求される出力形式に対応するデータに、情報処理装置６００から受けとる情報及びデータ等を変換する。

記憶部５００ｄは、指令部５００ａ、変換部５００ｂ及び出力処理部５００ｃが処理に利用する情報及びデータ等を記憶する。例えば、記憶部５００ｄは、計測コントローラ５００が実行するプログラムを記憶する。

情報処理装置６００において、第１変換部６００ａ、抽出部６００ｂ、検出部６００ｃ及び第２変換部６００ｄの機能は、プロセッサＰ及びメモリＭ等によって実現されてもよく、記憶部６００ｅの機能は、メモリＭ及びストレージＳによって実現されてもよい。

記憶部６００ｅは、第１変換部６００ａ、抽出部６００ｂ、検出部６００ｃ及び第２変換部６００ｄが処理に利用する情報及びデータ等を記憶する。記憶部６００ｅは、情報処理装置６００が実行するプログラムを記憶する。

第１変換部６００ａは、２次元の音データである変換音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである３次元変換データを生成する。３次元変換データは、周波数、強度及び発生時間を音信号の成分として含む。例えば、第１変換部６００ａは、ウェーブレット変換及び短時間フーリエ変換等の変換手法を変換処理に用いる。これに限定されないが、本実施の形態では、第１変換部６００ａは、連続ウェーブレット変換（ＣＷＴ：Continuous Wavelet Transform）を用いる。３次元変換データでは、音信号の周波数、強度及び発生時間は、例えば、Ｘ軸が時間Ｔであり、Ｙ軸が周波数Ｆであり且つＺ軸が強度ＳＰである３次元座標空間によって表される。強度の例は、音圧である。例えば、３次元変換データは、図４のように表すことができる。図４は、３次元変換データの一例を図表化して表す図である。図４の例では、３次元変換データは、２回の所定計測動作のデータを含む。

これに限定されないが、本実施の形態では、第１変換部６００ａは、Ｙ軸の周波数Ｆを複数の周波数帯域に区分する。さらに、第１変換部６００ａは、複数の周波数帯域のそれぞれについて、同一の周波数帯域に含まれるデータをＸＺ平面上へ２次元化してもよい。つまり、第１変換部６００ａは、同一の周波数帯域に含まれるデータを、ＸＺ平面に投影し、投影面上の２次元のデータを、以降の処理対象のデータに決定してもよい。以降、各周波数帯域の３次元変換データは、２次元のデータとして処理され得る。例えば、図４の例では、Ｙ軸の周波数Ｆは、９つの周波数帯域ＦＢ１からＦＢ９に区分される。周波数帯域ＦＢ１からＦＢ９それぞれにおいて、データが２次元化されてもよい。

抽出部６００ｂは、３次元変換データから、所定計測動作が実行された時間区間のデータを含む区間データを抽出する。抽出部６００ｂは、２つ以上の区間データを抽出し、図４の例では、２つの区間データを抽出する。具体的には、第１時間区間Ｔ１の第１区間データＤ１と第２時間区間Ｔ２の第２区間データＤ２とが抽出される。１つの区間データは、１回又は複数回の所定計測動作が実行された時間区間を含み、本実施の形態では、１回の所定計測動作が実行された時間区間を含む。例えば、抽出部６００ｂは、ロボット１００の所定計測動作の実行タイミングと音検出の実行タイミングとの関係と、所定計測動作の周期とを用いて、区間データを抽出してもよい。本実施の形態では、第１時間区間Ｔ１の長さと第２時間区間Ｔ２の長さとは同じであるが、これに限定されず、互いに異なっていてもよい。

検出部６００ｃは、区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較し、比較結果に基づき当該対象周波数帯域に含まれるロボット１００の動作音を示す動作音データを検出する。検出部６００ｃは、同じ周波数帯域である対象周波数帯域に含まれるデータのうち、周期が同等であるデータを比較してもよい。図４の例では、検出部６００ｃは、第１区間データＤ１と第２区間データＤ２との間での比較結果に基づき、動作音データを検出する。検出部６００ｃは、全ての周波数帯域について、動作音データの検出処理を実行する。

以下において、処理対象である１つの対象周波数帯域において動作音データを検出するための検出部６００ｃの詳細な機能を説明する。検出部６００ｃは、区間データのそれぞれにおいて、対象周波数帯域に含まれる音信号の強度及び発生時間の関係を示す包絡線を決定する処理を行う。例えば、図５に示すように、対象周波数帯域に含まれる音信号は、極めて短周期で振動する波形Ｗを形成する。図５は、対象周波数帯域に含まれる音信号の波形及び包絡線の一例を示す図である。検出部６００ｃは、このような波形Ｗに含まれる多数の凸曲線部分に接し且つ当該凸曲線部分上の接点の軌跡を示す包絡線を演算する。検出部６００ｃは、正方向の強度の波形Ｗの部分に接する包絡線Ｅａ、負方向の強度の波形Ｗの部分に接する包絡線Ｅｂ、又は、包絡線Ｅａ及びＥｂの両方を演算する。包絡線Ｅａ及びＥｂは、波形Ｗの概形を表す。

ここで、本明細書及び請求項において、音信号の強度は、音信号の正方向の強度、負方向の強度、及び強度の絶対値のいずれも意味し得る。音信号の強度の大きさは、音信号の強度の絶対値を意味し得る。

さらに、検出部６００ｃは、区間データ間において対象周波数帯域の包絡線を比較する。具体的には、検出部６００ｃは、包絡線を重ね合わせる処理を行い、包絡線間の強度の差分を検出する。検出部６００ｃは、ロボット１００の所定計測動作の実行タイミングと音検出の実行タイミングとの関係、所定計測動作の周期、及び包絡線の形状等に基づき、包絡線それぞれにおける重ね合わせの基準位置を決定し、当該基準位置が一致するように包絡線を重ね合わせてもよい。例えば、検出部６００ｃは、２つの包絡線における周期が同等の部分を重ね合わせるように基準位置を決定してもよい。

例えば、図６に示すように、検出部６００ｃは、第１区間データＤ１の周波数帯域ＦＢ８の包絡線Ｅ１と第２区間データＤ２の周波数帯域ＦＢ８の包絡線Ｅ２とを重ね合わせる。図６は、包絡線の重ね合わせ処理の一例を示す図である。本実施の形態では、検出部６００ｃは、正方向の強度の包絡線を用いるが、これに限定されない。検出部６００ｃは、重ね合わせの結果に基づき、包絡線Ｅ１及びＥ２間の強度の差分を検出する。検出部６００ｃは、所定計測動作の周期内における基準位置に対する同じ時間タイミング、つまり同じ位相での包絡線Ｅ１及びＥ２間の上記差分を検出する。

検出部６００ｃは、包絡線間の差分を除去するように、１つ又は複数の包絡線に対応する音信号の強度を変更する。当該差分は、音信号の強度の中で、周辺機器２００等のロボット１００以外の音源からの音による影響を受ける部分に相当し得る。これに限定されないが、本実施の形態では、検出部６００ｃは、閾値Ｔｈ超の差分を除去する。この場合、検出部６００ｃは、差分の除去の際、音信号の強度の大きさがより大きい包絡線に対応する音信号の強度の大きさを、音信号の強度の大きさがより小さい包絡線に近づけるように変更する。つまり、検出部６００ｃは、より大きい音信号の振幅を小さくするように変更する。検出部６００ｃは、差分が閾値Ｔｈ以下となるように、音信号の強度の大きさを変更する。

例えば、図６に示すように、包絡線Ｅ１の区間Ｅ１ａの部分において、包絡線Ｅ１の強度と包絡線Ｅ２の強度との差分が、閾値Ｔｈ超であり、包絡線Ｅ１の強度は、包絡線Ｅ２の強度よりも大きい。検出部６００ｃは、例えば、図７に示すような包絡線Ｅ１に対応する音信号の波形Ｗ１のうち、区間Ｅ１ａ内の部分Ｗ１ａに含まれる音信号の正方向の強度を、包絡線Ｅ２の強度に閾値Ｔｈを加えた強度以下になるように、小さくする。図７の例では、検出部６００ｃは、部分Ｗ１ａに含まれる音信号の正方向の強度を、包絡線Ｅ２の強度に閾値Ｔｈを加えた強度に変更する。図７は、包絡線間の差分の除去対象の一例を示す図である。

さらに、検出部６００ｃは、部分Ｗ１ａに含まれる音信号の負方向の強度を、当該負方向の強度の絶対値が、包絡線Ｅ２の強度に閾値Ｔｈを加えた強度以下、例えば、包絡線Ｅ２の強度に閾値Ｔｈを加えた強度になるように、変更する。又は、検出部６００ｃは、包絡線Ｅ２に対応する音信号の波形Ｗ２の負方向の包絡線を演算し、当該包絡線の強度から閾値Ｔｈを減じた強度以上になるように、部分Ｗ１ａ内の音信号の負方向の強度を変更してもよい。又は、検出部６００ｃは、部分Ｗ１ａ内の変更後の音信号の正方向の強度をマイナスの値に変更した強度を、部分Ｗ１ａ内の音信号の負方向の強度として用いてもよい。

例えば、図８に示すように、検出部６００ｃは、上記の処理により、音信号の波形Ｗ１及びＷ２をそれぞれ、波形Ｗ１Ａ及びＷ２Ａに変更する。図８は、包絡線間の差分の除去後の音信号の波形の一例を示す図である。波形Ｗ１Ａにおいて、区間Ｅ１ａ内の波形Ｗ１Ａの部分は、波形Ｗ１の部分Ｗ１ａから変更されている。波形Ｗ２Ａは、変更を受けておらず、波形Ｗ２と同じである。

検出部６００ｃは、変更後の音信号の強度を含む対象周波数帯域の区間データ、つまり、変更後の音信号の強度が反映された対象周波数帯域の区間データを用いて、対象周波数帯域に含まれる動作音データを検出する。検出部６００ｃは、包絡線間の差分を除去するように音信号の強度を変更する処理を受けた後の対象周波数帯域に含まれる音信号のデータを、動作音データに決定する。図８の例では、検出部６００ｃは、波形Ｗ１Ａを形成する音信号の強度及び発生時間のデータを、第１区間データＤ１の周波数帯域ＦＢ８の動作音データに決定する。検出部６００ｃは、波形Ｗ２Ａを形成する音信号の強度及び発生時間のデータを、第２区間データＤ２の周波数帯域ＦＢ８の動作音データに決定する。

第２変換部６００ｄは、異なる周波数帯域の動作音データを含むデータ群を変換して、音信号を強度及び発生時間で表す２次元の音データである２次元動作音データを生成する。例えば、第２変換部６００ｄは、ウェーブレット変換及び短時間フーリエ変換等の変換手法に対する逆変換の手法を変換処理に用いる。第２変換部６００ｄは、２次元動作音データを計測コントローラ５００に送る。例えば、第２変換部６００ｄは、１つの区間データ内の２つ以上の周波数帯域の動作音データを含むデータ群を変換して、２次元動作音データを生成してもよく、１つの区間データ内の全ての周波数帯域の動作音データを含むデータ群を変換して、２次元動作音データを生成してもよい。第２変換部６００ｄは、２つ以上の区間データ内の２つ以上の異なる周波数帯域の動作音データを含むデータ群を変換して、２次元動作音データを生成してもよく、２つ以上の区間データ内の全ての周波数帯域の動作音データを含むデータ群を変換して、２次元動作音データを生成してもよい。２次元動作音データは、一般的な音データであり、ロボット１００の動作音の再生が可能である。

例えば、図示の例では、第２変換部６００ｄは、第１区間データＤ１の周波数帯域ＦＢ１からＦＢ９の動作音データを含むデータ群を変換して、第１の２次元動作音データを生成し、第２区間データＤ２の周波数帯域ＦＢ１からＦＢ９の動作音データを含むデータ群を変換して、第２の２次元動作音データを生成する。さらに、第２変換部６００ｄは、第１の２次元動作音データと第２の２次元動作音データとを結合し、１つの２次元動作音データを生成してもよい。例えば、生成された２次元動作音データでは、第１区間データＤ１の後に第２区間データＤ２が続く。

［ロボットシステムの動作］
図１及び図９を参照しつつ、例示的な実施の形態に係るロボットシステム１の動作を説明する。図９は、例示的な実施の形態に係るロボットシステム１の動作の一例を示すフローチャートである。まず、入力装置８００は、ロボットシステム１のユーザにより、ロボット１００の動作音を計測する指令の入力を受け付けると、計測コントローラ５００に計測実行指令を送信する（ステップＳ１０１）。なお、周辺機器２００は稼働している。

次いで、計測コントローラ５００は、音の検出のための検出実行指令を音検出器４００に送信し、所定計測動作の実行のための所定動作実行指令をロボットコントローラ３００に送信する（ステップＳ１０２）。検出実行指令は、音の検出の開始タイミングの情報を含み、所定動作実行指令は、所定計測動作の開始タイミングの情報を含んでいてもよい。計測コントローラ５００は、音の検出と所定計測動作とが同期するように、２つの開始タイミングを決定してもよい。

音検出器４００は、音の検出を開始する（ステップＳ１０３）。

ロボットコントローラ３００は、ロボット１００に所定計測動作を実行させる（ステップＳ１０４）。

音検出器４００は、ロボット１００が所定計測動作を実行している間、音の検出を継続し、検出結果を示すデータを計測コントローラ５００に送信する。計測コントローラ５００は、当該データを記憶し蓄積する（ステップＳ１０５）。

ロボットコントローラ３００は、ロボット１００が所定計測動作を完了すると、ロボット１００を停止し、ロボット１００の停止の情報を計測コントローラ５００に送信する（ステップＳ１０６）。

計測コントローラ５００は、ロボット１００の停止の情報を受信すると、音検出器４００に音の検出を停止する指令を送信する（ステップＳ１０７）。音検出器４００は音の検出を停止する。

計測コントローラ５００は、音検出器４００の検出結果を示すデータを変換して変換音データを生成し、変換音データと、変換音データを処理してロボット１００の動作音データを検出する指令とを情報処理装置６００に送る（ステップＳ１０８）。

情報処理装置６００は、変換音データを変換して、３次元変換データを生成する（ステップＳ１０９）。

情報処理装置６００は、３次元変換データから２つ以上の区間データを抽出する（ステップＳ１１０）。

情報処理装置６００は、区間データの全て周波数帯域について、当該周波数帯域に含まれる音信号の包絡線を演算する（ステップＳ１１１）。

情報処理装置６００は、区間データ間において同じ対象周波数帯域の包絡線を重ね合わせる処理を行う（ステップＳ１１２）。

情報処理装置６００は、重ね合わされた包絡線の差分を除去するように、包絡線に対応する音信号の強度を変更する（ステップＳ１１３）。これにより、音信号の強度の中で、周辺機器２００等のロボット１００以外の音源からの音による影響を受ける部分が除去される。

情報処理装置６００は、変更後の音信号の強度を含む対象周波数帯域の区間データを用いて、対象周波数帯域に含まれる動作音データを検出する（ステップＳ１１４）。

情報処理装置６００は、異なる周波数帯域の動作音データを含むデータ群を変換して、２次元動作音データを生成する（ステップＳ１１５）。

情報処理装置６００は、２次元動作音データを計測コントローラ５００に送り、計測コントローラ５００は、２次元動作音データを出力装置７００に送信可能なデータに変換し、変換後のデータを出力装置７００に送信する。出力装置７００は、２次元動作音データに対応するデータをユーザに知覚可能なかたちで出力する（ステップＳ１１６）。

［変形例］
例示的な実施の形態に係るロボットシステム１の変形例を説明する。本変形例に係るロボットシステム１Ａは、実施の形態で検出される動作音データの中から動作音データをさらに特定する点で、実施の形態と異なる。以下、本変形例について、実施の形態と異なる点を中心に説明し、実施の形態と同様の点の説明を適宜省略する。

図１０は、例示的な実施の形態の変形例に係るロボットシステム１Ａの構成の一例を示す平面図である。ロボットシステム１Ａは、２つ以上音検出器４００を含む点で、実施の形態に係るロボットシステム１と異なる。本変形例では、ロボットシステム１Ａは、２つの音検出器４００Ａ及び４００Ｂを含む。音検出器４００Ａは第１位置Ｐ１に配置され、音検出器４００Ｂは第１位置Ｐ１と異なる第２位置Ｐ２に配置される。第１位置Ｐ１及び第２位置Ｐ２は、ロボット１００から等距離に位置する。本変形例では、第１位置Ｐ１及び第２位置Ｐ２は、ロボット１００から水平方向に等距離に位置するが、３次元方向のいかなる方向で等距離に位置してもよい。位置Ｐ１及びＰ２とロボット１００との距離は、位置Ｐ１及びＰ２とロボット１００に設定される基準点ＰＳとの距離Ｌ１及びＬ２であってもよい。基準点ＰＳは、ロボット１００における不動部分に位置し、固定されていてもよい。

計測コントローラ５００は、ロボット１００に所定計測動作を実行させている間、音検出器４００Ａ及び４００Ｂに同時に音の検出を実行させる。計測コントローラ５００は、音検出器４００Ａ及び４００Ｂそれぞれから、検出結果のデータを受信し、当該データを処理及び記憶する。

図１１は、例示的な実施の形態の変形例に係る情報処理装置６００Ａの機能的構成の一例を示すブロック図である。図１１に示すように、ロボットシステム１Ａの情報処理装置６００Ａは、実施の形態と同様の機能的構成要素を含む。

計測コントローラ５００の変換部５００ｂは、音検出器４００Ａの検出結果を示す信号又はデータを音検出器４００Ａから受信し、当該信号又はデータを変換して変換音データである第１変換音データを生成する。変換部５００ｂは、音検出器４００Ｂの検出結果を示す信号又はデータを音検出器４００Ｂから受信し、当該信号又はデータを変換して変換音データである第２変換音データを生成する。変換部５００ｂは、第１変換音データ及び第２変換音データを関連付けて情報処理装置６００に送る。例えば、変換部５００ｂは、音の検出の開始タイミング及び所定計測動作の開始タイミング等に関して、第１変換音データ及び第２変換音データを関連付けてもよい。

情報処理装置６００Ａの第１変換部６００Ａａは、第１変換音データを変換して３次元変換データである第１位置３次元変換データを生成し、第２変換音データを変換して３次元変換データである第２位置３次元変換データを生成する。

抽出部６００Ａｂは、第１位置３次元変換データから区間データである２つ以上の第１位置区間データを抽出し、第２位置３次元変換データから区間データである２つ以上の第２位置区間データを抽出する。

検出部６００Ａｃは、実施の形態と同様に、第１位置区間データ間において、同じ対象周波数帯域に含まれるデータを処理することによって、当該対象周波数帯域に含まれる動作データを検出する。検出部６００Ａｃは、実施の形態と同様に、第２位置区間データ間において、同じ対象周波数帯域に含まれるデータを処理することによって、当該対象周波数帯域に含まれる動作データを検出する。検出部６００Ａｃは、第１位置区間データの全ての周波数帯域について、動作音データの検出処理を実行し、第２位置区間データの全ての周波数帯域について、動作音データの検出処理を実行する。

さらに、検出部６００Ａｃは、第１位置区間データ及び第２位置区間データの間において、周波数帯域の中から２つの異なる周波数帯域のペアを選出し、当該周波数帯域のペアに含まれる動作音データの時間差分を比較する。検出部６００Ａｃは、比較結果に基づき、動作音データを取捨選択する。検出部６００Ａｃは、周波数帯域のペアの他の組み合わせについても、同様の処理を行う。例えば、検出部６００Ａｃによって処理される周波数帯域のペアの組み合わせは、周波数帯域のペアの全ての組み合わせを含んでもよく、一部の組み合わせを含んでもよい。

例えば、検出部６００Ａｃは、互いに異なる第１周波数帯域と第２周波数帯域とのペアを選出する。検出部６００Ａｃは、第１位置区間データにおいて、第１周波数帯域に含まれる第１動作音データを検出し、第２周波数帯域に含まれる第２動作音データを検出する。検出部６００Ａｃは、第２位置区間データにおいて、第１周波数帯域に含まれる第３動作音データを検出し、第２周波数帯域に含まれる第４動作音データを検出する。

第１周波数帯域に含まれる第１動作音データ及び第３動作音データは、同じ音源を起源とするとみなすことができる。第２周波数帯域に含まれる第２動作音データ及び第４動作音データは、同じ音源を起源とするとみなすことができる。

検出部６００Ａｃは、第１動作音データと第２動作音データとの時間差分である第１時間差分と、第３動作音データ及び第４動作音データとの時間差分である第２時間差分とを比較し、第１時間差分と第２時間差分との差分が閾値Ｔｈ２以上である場合、第１動作音データ及び第３動作音データ、又は、第２動作音データ及び第４動作音データを、動作音データから除外する。

例えば、図１２に示す例では、第１周波数帯域は、周波数帯域ＦＢ８であり、第２周波数帯域は、周波数帯域ＦＢ６である。図１２は、動作音データの時間差分の比較例を示す図である。なお、図１２では、音信号の各波形は、共通の時間軸を基準として、包絡線で表されている。共通の時間軸は、特定の時点からの経過時間であってもよく、時刻であってもよい。例えば、特定の時点は、所定計測動作の実行開始のタイミング等の特定の音が発生するタイミングを基準とする時点等であってもよい。検出部６００Ａｃは、距離Ｌ１及びＬ２の差違に基づき、音検出器４００Ａ及び４００Ｂがロボット１００の同じ動作音を検出するタイミングのずれである検出時間差分を演算する。検出部６００Ａｃは、検出時間差分に基づき、第１位置区間データＳＤＡと第２位置区間データＳＤＢとを時間的に関連付ける。本変形例では、距離Ｌ１及びＬ２は同じであるため、検出時間差分は０又はほぼ０であり、第１位置区間データＳＤＡの特定の時点と第２位置区間データＳＤＢの特定の時点との間での時間的な差異は、０又はほぼ０である。

図１２に示すように、例えば、検出部６００Ａｃは、第１位置区間データＳＤＡの第１時間区間Ｔ１の第１区間データＤＡ１において、周波数帯域ＦＢ８に含まれる第１動作音データとして、波形ＷＡ１を形成する音信号のデータを検出し、周波数帯域ＦＢ６に含まれる第２動作音データとして、波形ＷＡ２を形成する音信号のデータを検出する。

検出部６００Ａｃは、第２位置区間データＳＤＢの第１時間区間Ｔ１の第１区間データＤＢ１において、周波数帯域ＦＢ８に含まれる第３動作音データとして、波形ＷＢ１を形成する音信号のデータを検出し、周波数帯域ＦＢ６に含まれる第４動作音データとして、波形ＷＢ２を形成する音信号のデータを検出する。

検出部６００Ａｃは、第１時間差分として、波形ＷＡ１と波形ＷＡ２との時間差分ＴＤ１を検出し、第２時間差分として、波形ＷＢ１と波形ＷＢ２との時間差分ＴＤ２を検出する。２つの波形の時間差分は、２つの波形の位相差に対応する。例えば、２つの波形の時間差分は、２つの波形の基準の時点の間での時間差分であってもよい。基準の時点は特に限定されないが、例えば、開始時点、包絡線において極点及び変曲点などにあたる時点、包絡線において接線の傾斜角の所定値などにあたる時点等であってもよい。図１２の例では、基準の時点は、波形に設定される開始時点である。本変形例では、第１位置区間データＳＤＡと第２位置区間データＳＤＢとの間において、第１時間区間Ｔ１の開始時点、つまり開始時刻は、同時刻である。

図１２に示すように、時間差分ＴＤ１と時間差分ＴＤ２との差分は、閾値Ｔｈ２以上である。検出部６００Ａｃは、波形ＷＡ１及び波形ＷＢ１の音源、又は、波形ＷＡ２及び波形ＷＢ２の音源がロボット１００ではないと決定する。閾値Ｔｈ２は第１閾値の一例である。

例えば、波形ＷＡ１及び波形ＷＢ１の音源、並びに、波形ＷＡ２及び波形ＷＢ２の音源が、ロボット１００である場合、２つの音源の位置はロボット１００上であるため、時間差分ＴＤ１及び時間差分ＴＤ２の上限が制限される。よって、時間差分ＴＤ１と時間差分ＴＤ２との差分は、閾値Ｔｈ２未満に収まり得る。

さらに、検出部６００Ａｃは、第１動作音データと第３動作音データとの時間差分である第３時間差分が第２閾値以上である場合、第１動作音データと第３動作音データとを動作音データから除外する。検出部６００Ａｃは、第２動作音データと第４動作音データとの時間差分である第４時間差分が第２閾値以上である場合、第２動作音データと第４動作音データとを動作音データから除外する。

例えば、図１２の例において、検出部６００Ａｃは、第３時間差分として、波形ＷＡ１と波形ＷＢ１との時間差分ＴＤ３を検出し、第４時間差分として、波形ＷＡ２と波形ＷＢ２との時間差分ＴＤ４を検出する。図１２の例では、時間差分ＴＤ３が０であり且つ閾値Ｔｈ３未満であり、時間差分ＴＤ４が閾値Ｔｈ３以上である。検出部６００Ａｃは、波形ＷＡ２及び波形ＷＢ２の音源がロボット１００ではないと決定する。閾値Ｔｈ３は第２閾値の一例である。

第１位置Ｐ１及び第２位置Ｐ２はロボット１００から等距離に位置する。このため、例えば、波形ＷＡ１及び波形ＷＢ１の音源がロボット１００である場合、時間差分ＴＤ３は閾値Ｔｈ３未満である。波形ＷＡ２及び波形ＷＢ２の音源がロボット１００である場合、時間差分ＴＤ４は閾値Ｔｈ３未満である。

検出部６００Ａｃは、第１時間差分及び第２時間差分を用いる処理と、第３時間差分及び第４時間差分を用いる処理との一方又は両方を用いて、除外する動作音データを決定してもよい。さらに、検出部６００Ａｃは、周波数帯域の他の組み合わせについても、上記と同様の処理を行い、ロボット１００以外を音源とする動作音データを除外する。例えば、検出部６００Ａｃによって処理される周波数帯域の組み合わせは、周波数帯域の全ての組み合わせを含んでもよく、一部の組み合わせを含んでもよい。これにより、動作音データの高精度な検出が可能である。

上述では、第１位置Ｐ１からロボット１００までの距離Ｌ１と第２位置Ｐ２からロボット１００までの距離Ｌ２とは、同じであるが異なっていてもよい。この場合、検出部６００Ａｃは、距離Ｌ１及びＬ２等のさらなる情報を併用して、除外する動作音データを決定してもよい。例えば、図１３に示すように、検出部６００Ａｃは、第１位置区間データＳＤＡの第１区間データＤＡ１に対応する第１区間データＤＢ１を、第２位置区間データＳＤＢから検出する。図１３は、動作音データの時間差分の別の比較例を示す図である。なお、図１３では、各波形は、共通の時間軸を基準として、包絡線で表されている。共通の時間軸は、特定の時点からの経過時間であってもよく、例えば、時刻であってもよい。

互いに対応する第１区間データＤＡ１と第１区間データＤＢ１とは、同じタイミングで実行されたロボット１００の所定計測動作の動作音データを含む。検出部６００Ａｃは、距離Ｌ１及びＬ２の情報を用いて、第１位置区間データＳＤＡと第２位置区間データＳＤＢとの間の検出時間差分ＴＡを検出する。検出部６００Ａｃは、検出時間差分ＴＡを用いて、第１区間データＤＡ１に対応する第１区間データＤＢ１を検出することができる。

検出部６００Ａｃは、第１時間差分として、第１区間データＤＡ１の波形ＷＡ１と波形ＷＡ２との時間差分ＴＤ１を検出し、第２時間差分として、第１区間データＤＢ１の波形ＷＢ１と波形ＷＢ２との時間差分ＴＤ２を検出する。検出部６００Ａｃは、第３時間差分として、波形ＷＡ１と波形ＷＢ１との時間差分ＴＤ３から検出時間差分ＴＡを差し引いて得られる時間差分ＴＤ３Ａを検出し、第４時間差分として、波形ＷＡ２と波形ＷＢ２との時間差分ＴＤ４から検出時間差分ＴＡを差し引いて得られる時間差分ＴＤ４Ａを検出する。検出部６００Ａｃは、時間差分ＴＤ１及びＴＤ２を用いて第１時間差分及び第２時間差分を用いる処理を上述と同様に行い、時間差分ＴＤ３Ａ及びＴＤ４Ａを用いて第３時間差分及び第４時間差分を用いる処理を上述と同様に行うことができる。これにより、検出部６００Ａｃは、距離Ｌ１及びＬ２が異なる場合の動作データの取捨選択を行うことができる。

本変形例では、情報処理装置６００Ａは、互いに位置が異なる２つの音検出器４００Ａ及び４００Ｂの検出結果から検出される動作音データから、動作音データの取捨選択処理を行うが、３つの以上の音検出器４００の検出結果から検出される動作音データから、動作音データの取捨選択処理を行ってもよい。この場合、情報処理装置６００Ａは、３つの以上の音検出器４００の中から２つの音検出器４００を選択し、当該音検出器４００の一方の検出結果から検出される動作音データと、他方の検出結果から検出される動作音データとを用いて、動作音データの取捨選択処理を行ってもよい。情報処理装置６００Ａは、３つの以上の音検出器４００の検出結果から検出される動作音データの間で、動作音データの取捨選択処理を行ってもよい。

［その他の実施の形態］
以上、本開示の例示的な実施の形態及び変形例について説明したが、本開示は、上記実施の形態及び変形例に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を例示的な実施の形態及び変形例に施したもの、及び、異なる実施の形態及び変形例における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

例えば、実施の形態及び変形例において、情報処理装置は、２つの区間データ間において、同じ対象周波数帯域の２つの包絡線間の差分を除去するように、動作音データを検出するが、これに限定されない。情報処理装置は、３つ以上の区間データ間において、同じ対象周波数帯域の複数の包絡線間の差分を除去するように、動作音データを検出してもよい。除去対象の差分は、３つ以上の区間データのうちから選択される２つの区間データの包絡線間の差分であってもよく、３つ以上の区間データの包絡線間の差分であってもよい。前者の場合、区間データの１つの組み合わせの包絡線間の差分が用いられてもよく、区間データの複数の組み合わせの包絡線間の差分が用いられてもよい。後者の場合、既知の統計的手法により差分が算出されてもよい。

例えば、実施の形態及び変形例において、情報処理装置は、２回以上の所定計測動作の音を含む一連の３次元変換データから抽出される区間データを用いるが、これに限定されない。情報処理装置は、異なる時刻、異なる日付等の異なるタイミングで検出された複数の変換音データを変換して、複数の３次元変換データを生成してもよい。情報処理装置６００は、複数の３次元変換データから抽出される複数の区間データを用いて、動作音データを検出してもよい。

本開示の技術の各態様例は、以下のように挙げられる。本開示の一態様に係る情報処理装置は、プロセッサを備える情報処理装置であって、前記プロセッサは、２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成する３次元変換処理と、前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出する抽出処理と、前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出する検出処理とを実行する。

上記態様によると、変換データでは、周波数帯域毎に、音信号の強度と発生時間との関係が示され得る。区間データの時間区間は、互いに異なり得る。区間データ間において、同じ対象周波数帯域に含まれるロボットの所定の動作の動作音の周期は同等である。情報処理装置は、区間データ間において対象周波数帯域に含まれるデータを比較する際、同等の周期のデータを検出することで、ロボットの動作音データを検出することができる。よって、情報処理装置は、音データからロボットの動作音データを検出することができる。さらに、動作音データを解析することによって、ロボットが発する騒音の程度、種類及び周波数帯域、並びにロボットに生じている異常等の検出も可能である。

本開示の一態様に係る情報処理装置において、前記プロセッサは、前記検出処理において、前記区間データ間において第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第１動作音データを検出し、前記区間データ間において前記第１対象周波数帯域と異なる第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第２動作音データを検出し、前記プロセッサは、前記第１動作音データ及び前記第２動作音データを含むデータ群を変換して、音信号を強度及び発生時間で表す２次元の音データである２次元動作音データを生成する２次元変換処理をさらに実行してもよい。

上記態様によると、ロボットの動作音は、複数の周波数帯域に含まれる可能性がある。情報処理装置は、複数の周波数帯域に含まれるロボットの動作音データを検出することができる。さらに、情報処理装置は、複数の周波数帯域に含まれる一群のロボットの動作音データをまとめて２次元データに変換することによって、一般的な音データである２次元動作音データを生成することができる。このような２次元動作音データは、ロボットの動作音の再生が可能である。さらに、２次元動作音データを解析することによって、ロボットが発する騒音の程度及び種類、及びロボットに生じている異常等の検出も可能である。

本開示の一態様に係る情報処理装置において、前記プロセッサは、前記検出処理において、前記区間データの前記対象周波数帯域に含まれる音信号の強度及び発生時間の関係を示す包絡線を決定し、前記区間データ間において前記対象周波数帯域の前記包絡線を比較した結果に基づき、前記動作音データを検出してもよい。

上記態様によると、包絡線を用いることによって、区間データ間における対象周波数帯域に含まれるデータの比較が、容易になる。例えば、音信号の短い周期の波形による影響を低減したデータの比較が可能である。よって、情報処理装置の処理量の低減及び処理結果の精度の向上が可能になる。

本開示の一態様に係る情報処理装置において、前記プロセッサは、前記包絡線間の差分を除去するように前記包絡線に対応する音信号の強度を変更し、変更後の前記音信号の強度を含む前記対象周波数帯域の前記区間データを用いて、前記動作音データを検出してもよい。

上記態様によると、包絡線間の差分は、ロボットの以外の音源に起因する可能性がある。包絡線間の差分を除去するように変更された音信号を用いて検出される動作音データにおいて、ロボット以外の音源に起因する信号の含有量が低減される。よって、情報処理装置は、精度の高い動作音データを検出することができる。

本開示の一態様に係る情報処理装置において、前記プロセッサは、前記差分の除去の際、音信号の強度の大きさがより大きい前記包絡線に対応する音信号の強度の大きさを、音信号の強度の大きさがより小さい前記包絡線に近づけるように変更してもよい。上記態様によると、動作音データからの、ロボットの以外の音源に起因する信号の確実な除去が可能になる。

本開示の一態様に係る情報処理装置において、前記プロセッサは、互いに異なる第１位置及び第２位置で検出され且つ２回以上の前記所定の動作を実行する前記ロボットの動作音を含む２次元の音データである第１音データ及び第２音データに、前記３次元変換処理と、前記抽出処理と、前記検出処理とを実行し、前記検出処理において、前記第１音データの前記区間データ間において第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第１動作音データを検出し、前記第１音データの前記区間データ間において第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第２動作音データを検出し、前記第２音データの前記区間データ間において前記第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第３動作音データを検出し、前記第２音データの前記区間データ間において前記第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第４動作音データを検出し、前記第１動作音データと前記第２動作音データとの時間差分である第１時間差分と、前記第３動作音データ及び前記第４動作音データとの時間差分である第２時間差分とを比較し、前記第１時間差分と前記第２時間差分との差分が第１閾値以上である場合、前記第１動作音データ及び前記第３動作音データ、又は、前記第２動作音データ及び前記第４動作音データを、前記動作音データから除外してもよい。

上記態様によると、第１動作音データの音源と第３動作データの音源とは、同じであり得る。第２動作音データの音源と第４動作データの音源とは、同じであり得る。第１動作音データ及び第３動作データの音源も、第２動作音データ及び第４動作データの音源も、いずれもがロボットである場合、第１時間差分と第２時間差分との差分は、小さく、第１閾値未満である。しかしながら、上記差分が第１閾値以上の場合、いずれかの音源がロボットではない可能性が高い。情報処理装置は、このような音源の動作音データを除外することによって、精度の高いロボットの動作音データを検出することができる。

本開示の一態様に係る情報処理装置において、前記プロセッサは、前記第１動作音データと前記第３動作音データとの時間差分である第３時間差分が第２閾値以上である場合、前記第１動作音データと前記第３動作音データとを前記動作音データから除外し、前記第２動作音データと前記第４動作音データとの時間差分である第４時間差分が前記第２閾値以上である場合、前記第２動作音データと前記第４動作音データとを前記動作音データから除外してもよい。

上記態様によると、第１動作音データの音源及び第３動作音データの音源のいずれもがロボットである場合、第３時間差分は、非常に小さく、第２閾値未満である。第２動作音データの音源及び第４動作音データの音源のいずれもがロボットである場合、第４時間差分は、非常に小さく、第２閾値未満である。互いの時間差分が第２閾値以上である２つの動作音データの音源は、ロボットではない可能性が高い。情報処理装置は、このような音源の動作音データを除外することによって、精度の高いロボットの動作音データを検出することができる。

本開示の一態様に係る情報処理装置において、前記第１位置及び前記第２位置は、前記ロボットから等距離に位置してもよい。上記態様によると、第１時間差分と第２時間差分との差分が第１閾値以上の場合での、ロボットが音源ではない動作音データの検出が容易になる。よって、情報処理装置の処理量の低減及び処理結果の精度の向上が可能になる。

本開示の一態様に係る計測システムは、本開示の一態様に係る情報処理装置と、前記ロボットの動作音を検出する音検出器とを備え、前記情報処理装置は、前記音検出器によって検出される音信号を表す音データから、前記動作音データを検出する。

上記態様によると、計測システムは、本開示の一態様に係る情報処理装置と同様の効果を奏することができる。計測システムは、音を検出し、検出された音信号を表す音データからロボットの動作音データを検出することが可能である。計測システムは、音の検出と、動作音データの検出とが可能である。

本開示の一態様に係るロボットシステムは、本開示の一態様に係る情報処理装置と、前記ロボットと、前記ロボットの動作音を検出する音検出器と、前記ロボットに前記所定の動作を実行させ且つ前記所定の動作の実行中に前記音検出器に音の検出を実行させるように制御を行うコントローラとを備え、前記情報処理装置は、前記音検出器によって検出される音信号を表す音データから、前記動作音データを検出する。

上記態様によると、ロボットシステムは、本開示の一態様に係る情報処理装置及び本開示の一態様に係る計測システムと同様の効果を奏することができる。ロボットシステムは、ロボットに所定の動作を実行させ、所定の動作を実行中のロボットの動作音を検出し、検出された音信号を表す音データからロボットの動作音データを検出することが可能である。ロボットシステムは、ロボットによる所定の動作の実行と、音の検出と、動作音データの検出とが可能である。

本開示の一態様に係るデータを処理する方法は、２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成することと、前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出することと、前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出することとを含む。

上記態様によると、当該方法は、本開示の一態様に係る情報処理装置と同様の効果を奏することができる。当該方法は、例えば、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

本開示の一態様に係るコンピュータプログラムは、２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成することと、前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出することと、前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出することとを、コンピュータに実行させる。

上記態様によると、コンピュータプログラムは、本開示の一態様に係る情報処理装置と同様の効果を奏することができる。当該コンピュータプログラムは、例えば、非一時的なコンピュータ読み取り可能な記録媒体に記録されたプログラムであってもよく、記録媒体のドライブ装置を用いて当該記録媒体から読み出されコンピュータにインストールされるように構成されてもよい。当該コンピュータプログラムは、例えば、インターネット等の伝送媒体を介して流通させることができるプログラムであってもよく、コンピュータにダウンロードされインストールされるように構成されてもよい。

本明細書で開示する要素の機能は、開示された機能を実行するよう構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び／又はプロセッサの構成に使用される。

本明細書で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

本開示は、その本質的な特徴の精神から逸脱することなく、様々なかたちで実施され得るように、本開示の範囲は、明細書の記載よりも添付の請求項によって定義されるため、例示的な実施の形態及び変形例は、例示的なものであって限定的なものではない。請求項及びその範囲内にあるすべての変更、又は、請求項及びその範囲の均等物は、請求項によって包含されることが意図されている。

１，１Ａ ロボットシステム
１０ 計測システム
１００ ロボット
３００ ロボットコントローラ
４００，４００Ａ，４００Ｂ 音検出器
５００ 計測コントローラ（コントローラ）
６００，６００Ａ 情報処理装置

Claims (12)

1. プロセッサを備える情報処理装置であって、
   前記プロセッサは、
   ２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成する３次元変換処理と、
   前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出する抽出処理と、
   前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出する検出処理とを実行する
   情報処理装置。
2. 前記プロセッサは、前記検出処理において、
   前記区間データ間において第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第１動作音データを検出し、
   前記区間データ間において前記第１対象周波数帯域と異なる第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第２動作音データを検出し、
   前記プロセッサは、前記第１動作音データ及び前記第２動作音データを含むデータ群を変換して、音信号を強度及び発生時間で表す２次元の音データである２次元動作音データを生成する２次元変換処理をさらに実行する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、前記検出処理において、
   前記区間データの前記対象周波数帯域に含まれる音信号の強度及び発生時間の関係を示す包絡線を決定し、
   前記区間データ間において前記対象周波数帯域の前記包絡線を比較した結果に基づき、前記動作音データを検出する
   請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、前記包絡線間の差分を除去するように前記包絡線に対応する音信号の強度を変更し、変更後の前記音信号の強度を含む前記対象周波数帯域の前記区間データを用いて、前記動作音データを検出する
   請求項３に記載の情報処理装置。
5. 前記プロセッサは、前記差分の除去の際、音信号の強度の大きさがより大きい前記包絡線に対応する音信号の強度の大きさを、音信号の強度の大きさがより小さい前記包絡線に近づけるように変更する
   請求項４に記載の情報処理装置。
6. 前記プロセッサは、
   互いに異なる第１位置及び第２位置で検出され且つ２回以上の前記所定の動作を実行する前記ロボットの動作音を含む２次元の音データである第１音データ及び第２音データに、前記３次元変換処理と、前記抽出処理と、前記検出処理とを実行し、
   前記検出処理において、
   前記第１音データの前記区間データ間において第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第１動作音データを検出し、
   前記第１音データの前記区間データ間において第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第２動作音データを検出し、
   前記第２音データの前記区間データ間において前記第１対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第３動作音データを検出し、
   前記第２音データの前記区間データ間において前記第２対象周波数帯域に含まれるデータを比較した結果に基づき、前記動作音データである第４動作音データを検出し、
   前記第１動作音データと前記第２動作音データとの時間差分である第１時間差分と、前記第３動作音データ及び前記第４動作音データとの時間差分である第２時間差分とを比較し、
   前記第１時間差分と前記第２時間差分との差分が第１閾値以上である場合、前記第１動作音データ及び前記第３動作音データ、又は、前記第２動作音データ及び前記第４動作音データを、前記動作音データから除外する
   請求項１から５のいずれか一項に記載の情報処理装置。
7. 前記プロセッサは、
   前記第１動作音データと前記第３動作音データとの時間差分である第３時間差分が第２閾値以上である場合、前記第１動作音データと前記第３動作音データとを前記動作音データから除外し、
   前記第２動作音データと前記第４動作音データとの時間差分である第４時間差分が前記第２閾値以上である場合、前記第２動作音データと前記第４動作音データとを前記動作音データから除外する
   請求項６に記載の情報処理装置。
8. 前記第１位置及び前記第２位置は、前記ロボットから等距離に位置する
   請求項６又は７に記載の情報処理装置。
9. 請求項１から８のいずれか一項に記載の情報処理装置と、
   前記ロボットの動作音を検出する音検出器とを備え、
   前記情報処理装置は、前記音検出器によって検出される音信号を表す音データから、前記動作音データを検出する
   計測システム。
10. 請求項１から８のいずれか一項に記載の情報処理装置と、
    前記ロボットと、
    前記ロボットの動作音を検出する音検出器と、
    前記ロボットに前記所定の動作を実行させ且つ前記所定の動作の実行中に前記音検出器に音の検出を実行させるように制御を行うコントローラとを備え、
    前記情報処理装置は、前記音検出器によって検出される音信号を表す音データから、前記動作音データを検出する
    ロボットシステム。
11. データを処理する方法であって、
    ２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成することと、
    前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出することと、
    前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出することとを含む、方法。
12. ２回以上の所定の動作を実行するロボットの動作音を含み且つ音信号を強度及び発生時間で表す２次元の音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである変換データを生成することと、
    前記変換データから、前記所定の動作が実行された時間区間のデータを含む２つ以上の区間データを抽出することと、
    前記区間データ間において、同じ周波数帯域である対象周波数帯域に含まれるデータを比較した結果に基づき、前記対象周波数帯域に含まれる前記ロボットの動作音を示す動作音データを検出することとを、
    コンピュータに実行させるコンピュータプログラム。
    

Images