JP2013195612A - 音除去装置、音検査装置、音除去方法、及び音除去プログラム - Google Patents

音除去装置、音検査装置、音除去方法、及び音除去プログラム Download PDF

Info

Publication number
JP2013195612A
JP2013195612A JP2012061537A JP2012061537A JP2013195612A JP 2013195612 A JP2013195612 A JP 2013195612A JP 2012061537 A JP2012061537 A JP 2012061537A JP 2012061537 A JP2012061537 A JP 2012061537A JP 2013195612 A JP2013195612 A JP 2013195612A
Authority
JP
Japan
Prior art keywords
waveform
inspection
frequency
sound
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012061537A
Other languages
English (en)
Other versions
JP5867209B2 (ja
Inventor
Hisanori Murata
寿憲 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012061537A priority Critical patent/JP5867209B2/ja
Publication of JP2013195612A publication Critical patent/JP2013195612A/ja
Application granted granted Critical
Publication of JP5867209B2 publication Critical patent/JP5867209B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

【課題】被検査対象から発せられる音を収音した計測信号から、非定常音を含む被検査対象に起因しない音を除去する。
【解決手段】計測部18は、可聴域の周波数で周期的に振幅がゼロとなる検査波形を用い、検査波形に応じて被検査対象12が出力する音をマイクロフォン38で収音し、計測データを生成する。騒音処理部20は、計測データを検査波形のゼロクロス点ごとにサンプリングすることで、騒音データを抽出する。信号生成部24は、計測データの振幅スペクトルから騒音データの振幅スペクトルを差し引くことで、計測データから騒音成分を除去し、被検査対象が出力した音声に応じた音声データを生成する。
【選択図】図1

Description

開示する技術は、音除去装置、音検査装置、音除去方法、及び音除去プログラムに関する。
スピーカから音声などの音(以下、音声とする)を発する音響装置を被検査対象とする品質検査においては、スピーカから発せられる音声をマイクロフォンで収音する。収音により得られた計測信号を解析することで、被検査対象の出力特性の適否、スピーカやスピーカが取り付けられている筐体が振動することにより生じる高周波音、共振音(所謂ビビリ音)の有無などの判定が行われる。
周囲に騒音(ノイズ)が存在する環境下でマイクロフォンによって収音する場合、周囲の騒音も含めて収音されてしまう。したがって、収音することで得られた計測信号には、音声信号のみならず騒音信号も含まれるため、適正な品質検査を行うためには、計測信号から騒音信号を除去した音声信号を取得する必要がある。
計測信号から騒音信号を除去する技術としては、スペクトルサブトラクション(Spectral Subtraction:SS)法がある。このSS法では、被検査対象から発せられる音声の計測に先立って、周囲の騒音のみによる音声非出力状態を計測し、これにより得られる音声を含まない騒音のみの計測信号に基づき騒音の振幅スペクトルを推定する。推定結果に基づき、音声を含む計測信号の振幅スペクトルから騒音の振幅スペクトルを除去することで、音声を含む計測信号から騒音除去を図る。
ところで、検査場所が工場内等であると、突発的な騒音(非定常ノイズ)が発生することがある。特に防音設備が無い場合は、検査装置は騒音の影響を受けやすい。SS法は、定常騒音(定常ノイズ)の除去を図るのには極めて有効は手法であるが、SS法では、非定常騒音を予め取得しておいたとしても、音声を含む計測信号から非定常騒音を除去することは困難である。
また、音声計測用のマイクロフォンに加え、雑音計測用のマイクロフォンを用い、計測音声信号から雑音計測用マイクロフォンから得られる騒音の振幅スペクトルを除去することも考えられる。この技術によれば非定常騒音の除去が可能となる。
また、騒音除去に関しては、所定の相関を持たせた複数のマイクロフォンを配置したマイクロフォンアレイを用いる技術がある。マイクロフォンアレイを用いた騒音除去は、複数のマイクロフォンアレイのそれぞれで計測した音声を含む計測信号から、騒音の発生源の方向及び騒音の大きさ特定することで、音声を含む計測信号から騒音成分を除去する。これにより、マイクロフォンアレイを用いる除去方法では、定常騒音のみならず、非定常騒音の除去も可能となる。
特開平07−199990号公報 特開2003−167584号公報 特開2005−258215号公報
しかしながら、音声収音用とは別に騒音計測用のマイクロフォンを用いる方法や、マイクロフォンアレイを用いる方法で騒音に起因する騒音成分を除去するためには、マイクロフォンの配置精度、マイクロフォンの間の周波数特性のマッチングが要求される。また、音声収音用とは別に騒音計測用のマイクロフォンを用いる方法では、複雑な演算処理が必要となるという問題を有している。
開示の技術は、音を出力する被検査対象の品質検査を行う場合に、非定常音を含む被検査対象に起因しない音の的確な除去を図るものである。
開示の技術は、検査波形生成部において、可聴域の周波数でかつ周期的に振幅がゼロとなる検査波形を生成する。計測部は、前記検査波形に応じて被検査対象から出力された第1の音を収音し、第1の音に応じた第1の音信号を含む計測信号を生成する。また、音抽出部は、前記計測信号に含まれる前記検査波形に応じた波形のゼロ点で計測信号をサンプリングし、前記計測信号から第2の音信号を抽出する。更に、生成部は、前記計測信号の振幅スペクトルから前記第2の音信号の振幅スペクトルを差し引くことで、前記計測信号から前記第1の音信号を生成する。
開示の技術は、被検査対象から出力された音に応じた的確な音声データを得ることができる、という効果を有する。
第1の実施の形態に係る検査装置の機能ブロック図である。 計測データの波形と計測データに含まれる特定波形の一例を示す線図である。 (A)は計測データの波形の一例を示す線図、(B)は特定波形の一例を示す線図、(C)はサンプリングされた信号を示す線図である。 検査装置として機能するコンピュータの機能ブロック図である。 音声収音処理の一例を示す流れ図である。 (A)は抽出設定処理の一例を示す流れ図、(B)は騒音信号抽出処理の一例を示す流れ図である。 (A)は計測データの波形の一例を示す線図、(B)は(A)の計測データの波形、特定波形、騒音波形の一例を示す線図である。 図7(B)の要部を拡大した線図であり、計測データの波形、特定波形、騒音波形の一例を示す。 第3の実施の形態に係る検査装置の機能ブロック図である。 第4の実施の形態に係る検査装置の機能ブロック図である。 第5の実施の形態に係る検査装置の機能ブロック図である。 第5の実施の形態に係る検査波形の一例を示す線図である。 第5の実施の形態に係る検査波形のパワースペクトルの一例を示す線図である。 (A)は第5の実施の形態に係る検査処理部の一例を示す機能ブロック図、(B)は(A)の検査処理部における判定の一例を示す線図である。 第5の実施の形態に係る検査波形生成の一例を示す流れ図である。 第5の実施の形態に係る音声データ生成処理の一例を示す流れ図である。
以下、図面を参照して開示する技術の実施の形態の一例を詳細に説明する。
〔第1の実施の形態〕
図1には、第1の実施の形態に係る検査装置10を示す。検査装置10は、被検査対象12がスピーカ14から出力した音を収音し、被検査対象12の出力特性の判定、被検査対象12から発せられる高周波音、共振音(所謂ビビリ音)の有無などの検査を行うためのデータの生成を行う。また、検査装置10は、被検査対象12に対する検査を行う。被検査対象12から発せられた音を収音する場合、騒音などの周囲の音も収音される。
周囲の音は、被検査対象12が出力する音、被検査対象12が音を出力することで発する音を除く音であり、検査環境下における騒音のみでなく、人の会話、音楽などを含む。以下、被検査対象の検査環境下において、被検査対象12が出力する音及び被検査対象12が音を出力することで被検査対象12の筐体などから発せられる音を総称して「音声」と表記し、「音声」を除く音を総称して「騒音」と表記して説明する。開示の技術において、音声は第1の音に対応し、騒音は第2の音に対応する。
開示の技術では、収音によって得られる計測信号の計測データから騒音成分を除去し、被検査対象12から発せられた音声に応じた音信号となるデータ(以下、「音声データ」と表記する)を生成する。
本実施の形態では、被検査対象12の一例としてパーソナルコンピュータ(PC)を適用した態様を説明する。但し、開示する技術における被検査対象12としては、入力された電気信号に応じた音声を出力するスピーカ14を含む機器であれば良い。例えば、スピーカ14本体、複数のスピーカ14が一体で用いられるスピーカシステム、スピーカ14から音声を出力する携帯電話、オーディオ機器、スピーカ14を備えたパーソナルコンピュータなどの任意の音響機器が適用できる。被検査対象12を音源(音声信号の出力源)の有しないスピーカ14単体又はスピーカシステム等とする場合、アンプ等の音源を接続して検査を行う。
検査装置10は、開示の技術における音除去装置として、検査波形発生部16、計測部18、騒音処理部20、抽出設定部22、信号生成部24を含む。検査波形発生部16は、被検査対象12が所定の波形の音声を発するための検査波形の波形データを出力し、計測部18は、被検査対象12が出力した音声を収音することで計測データを出力する。また、騒音処理部20は、計測データから騒音成分を抽出し、抽出設定部22は、騒音処理部20において計測データから騒音成分を抽出するときのサンプリングタイミングを設定する。信号生成部24は、計測データから騒音成分を除去することで被検査対象12が出力した音声に応じた音声データを生成する。
検査装置10は、開示の技術の音検査装置として、上記に加え、信号生成部24から出力される音声信号に基づいて被検査対象12に対する検査を行う検査処理部26を更に含む。検査処理部26は、信号生成部24で得られた音声データに基づき、被検査対象12の出力特性の判定、被検査対象12から発せられる高周波音及びビビリ音等の共振音の有無などの検査を行う。
開示の技術では、予め生成した波形の音声を被検査対象12のスピーカ14から出力させ、出力された音声を収音することで計測する。予め設定した波形としては、周期的に信号値(振幅、音圧レベル)がゼロとなる波形であれば良く、周期的に極性が変化する波形を含む。例えば、正弦波、余弦波のように周期的にゼロクロスすることで極性が変化する波形を適用することができる。検査装置10は、被検査対象12に出力させる音声の波形の一例として所定の周波数の正弦波(以下、検査波形という)を適用する。
検査波形生成部16は、所定の周波数の検査波形を音声として出力するための波形データを発生する検査波形発生部28、検査波形発生部28で発生する周波数を設定する周波数設定部29、検査波形の波形データを記憶する検査データ記憶部30を含む。
一般に人が聞き取れる音声の周波数は、20Hz〜20kHz(20,000Hz)の範囲内とされており、以下では、20Hz〜20kHzの周波数の範囲を可聴域とする。開示の技術は、検査波形の周波数を可変するものであっても良く、また、予め設定された一定の周波数であっても良い。
検査波形発生部28は、可聴域内で任意に設定した周波数の検査波形の波形データを発生させる。周波数設定部29は、検査波形発生部28によって波形データが発生される検査波形の周波数を、連続的又は予め設定されたステップで段階的に変化させる。以下では、周波数ftestの検査波形を検査波形ftestと表記する。
検査波形生成部16は、検査波形発生部28で発生された検査波形ftestの波形データを、検査データ記憶部30に格納する。また、検査波形生成部16は、検査データ記憶部30に記憶した検査波形ftestの波形データを、被検査対象12及び抽出設定部22へ出力する。
開示の技術では、検査装置10が使用される工場内にサーバー32が設置されている場合、検査データ記憶部30の機能及び、検査データ記憶部30に記憶した検査波形ftestを検査装置10、被検査対象12に供給する機能をサーバー32に持たせることができる。
この場合、検査波形発生部28で発生させた検査波形ftestの波形データを、サーバー32にアップロードすることでサーバー32に格納する。検査装置10及び被検査対象12は、サーバー32に接続することで、検査波形ftestの波形データをサーバー32からダウンロードする。また、被検査装置12及び抽出設定部22は、各種の記憶媒体を介して検査波形ftestの波形データを取得することもできる。
被検査対象12は、例えば、HDD(Hard Disc Drive)、フラッシュメモリ等の記憶媒体を波形データ記憶部34とし、サーバー32から取得した検査波形ftestの波形データを波形データ記憶部34に格納する。また、被検査対象12は、波形データ記憶部34から検査波形ftestの波形データを読み出し、増幅器36を介してスピーカ14を駆動することで、検査波形ftestに応じた音声をスピーカ14から出力する。
検査装置10の計測部18は、マイクロフォン38、増幅器40、AD変換器(Analog to Digital Converter:ADC)42、前処理部44を含む。マイクロフォン38は、被検査対象12から出力された音声を収音して電気信号に変換する。AD変換器42は、マイクロフォン38から出力された電気信号が増幅器40を介して入力されることで、この電気信号をデジタル信号に変換し、音声を含む計測データ(以下、計測データSmと表記する)として出力する。なお、検査装置10は、計測データSmを、音声の録音データとして記憶媒体に一時記憶することもできる。
計測データSmから騒音成分を除去する方法には、音声を収音するマイクロフォンとは別に、騒音収音用のマイクロフォンを用いる方法がある。また、計測データSmから騒音成分を除去する方法には、複数のマイクロフォンを予め規定した間隔で配列したマイクロフォンアレイを用いてそれぞれのマイクロフォンアレイにより音声と共に騒音を収音する方法がある。開示する技術は、これらの方法と異なり、単一のマイクロフォン38を用いて、被検査対象12から発せられる音声、計測環境下の騒音を含めて収音する。
開示の技術では、高速フーリエ変換を用いた周波数成分解析を行うことで、計測データSmから騒音成分の除去を行う。計測部18の前処理部44は、AD変換器42から入力された計測データSmを、後述する周波数成分解析における処理単位を1フレームとして時間順にフレーム分割を行う。
開示の技術では、計測データSmに含まれる検査波形ftestの音声信号成分の信号値がゼロになるゼロクロス点ごとに計測データSmをサンプリングする。ゼロクロス点は、検査波形ftestの振幅がゼロであり、スピーカ14から出力される音の音圧もゼロとなる。
抽出設定部22は、検査波形ftestの波形データを記憶する検査情報記憶部46、帯域処理部48、位相調整部50、サンプリング信号出力部52を備える。検査情報記憶部46は、HDD、フラッシュメモリ等の記憶媒体が用いられ、検査波形生成部16から取得した検査波形ftestの波形データを検査情報として格納する。
帯域処理部48は、狭帯域に設定された通過帯域周波数成分を通過させるBPF(band−pass filter:バンドパスフィルタ)を備える。BPFの通過帯域は、検査情報記憶部46に記憶した波形データから得られる検査波形ftestの周波数に基づいて設定する。帯域処理部48におけるBPFの通過帯域は、例えば、検査波形ftestの周波数を中心周波数とし、中心周波数の±10%の範囲(周波数ftestに対して、ftest×0.9〜ftest×1.1Hzの範囲)とすることができる。検査装置10は、検査波形ftestの周波数が可変であり、帯域処理部48は、検査情報記憶部46から得られる検査波形ftestの周波数に応じて通過帯域を変更する。
帯域処理部48は、前処理部44から計測データSmが入力されることで、計測信号に含まれる通過帯域外の周波数成分を除去する。帯域処理部48は、計測データSm中で検査波形ftestの周波数におよそ一致する信号成分の波形(波形のデータ)を出力する。この波形は、開示の技術における計測信号に含まれる検査波形に応じた波形の一例であり、計測データSmにおいて検査波形ftestを特定し得るものであり、以下、特定波形とする。
図2に示す如く、計測データSmは、検査波形ftestに検査波形ftestと異なる周波数の騒音を含むことで、波形(図2の波形Sm)が崩れる。この計測データSmに対して、狭帯域処理を行うことで、通過帯域外の周波数の成分を除去する。これにより、特定波形Lwの波形は、本来の検査波形ftestに近くなり、周波数は、本来の検査波形ftestの周波数となる。
図1に示す位相調整部50は、帯域処理部48を通過した特定波形Lwに対し、前処理部44から騒音処理部20へ出力する計測データSmに含まれる音声データの波形と位相が一致するように位相調整を行う。このときの位相調整は、フレームの先頭時刻又は先頭時刻から所定時間後の位置(時刻)を原点とし、帯域処理部48を通過した特定波形Lwの位相を進めることで原点を一致させる。
開示の技術においては、位相調整により特定波形Lwを計測データSmに合わせることで、特定波形Lwを用いてサンプリングタイミングを検出する。また、開示の技術においては、特定波形Lwに替えて検査波形ftestを用いて以下の処理を行うことを含む。
開示の技術においては、図2に示す如く、特定波形Lwのゼロクロス点t、t、t、t、・・・を順に検出する。また、開示の技術においては、ゼロクロス点ごとに計測データSmのサンプリングを行うことで、計測データSmのゼロクロス点ごとの信号値a、a、a、a、・・・を取得する。
図1に示すサンプリング信号出力部52は、位相調整された特定波形Lwのデータから信号値がゼロ点となるタイミングを検出し、サンプリング信号を出力する。特定波形Lwは、計測データSmのうち検査波形ftestと同じ周波数で変化する信号成分の波形であり、極性の切り替わるゼロクロス点では、振幅を示す信号値がゼロとなる。サンプリング信号出力部52は、特定波形Lwのゼロクロス点を検出するごとに騒音処理部20へサンプリング信号を出力する。
騒音処理部20は、騒音抽出部54、補間処理部56、アンチ・エイリアシング部58、及び周波数成分解析部60を含む。騒音抽出部54には、前処理部44からフレーム単位で計測データSmが入力される。また、騒音抽出部54には、サンプリング信号出力部52から出力されるサンプリング信号が入力される。騒音抽出部54は、計測データSmをサンプリング信号に応じてサンプリングする。このとき、騒音抽出部54は、サンプリング信号が入力されるごとに、計測データSmのリサンプリングを行うことで、サンプリング周期で計測データSmの信号値を出力する。
図3(A)には、検査波形ftestを周波数が1kHz、振幅1.0の正弦波とし、騒音の波形Nの一例として周波数が100Hz、振幅0.1の正弦波を適用して、検査波形ftestに合成した波形を計測波形(計測データSmの波形)として例示している。同図に示す如く、計測データSmの波形は、1kHzの検査波形ftestの振幅が、騒音波形Nとしている100Hzの正弦波の振幅に応じて変化する。
図3(B)には、上記計測データSmに対して、中心周波数を1kHz、通過帯域を0.9kHz〜1.1kHz(1kHz±0.1kHz)として帯域処理を行うことで得られる特定波形Lwを示す。特定波形Lwは、騒音成分を100Hz(0.1kHz)としていることで、帯域処理を行うことで騒音の周波数成分が除かれ、検査波形ftestの周波数の波形となる。
サンプリング信号出力部52は、特定波形Lwのゼロクロス点t、t、t、t・・・を順に検出し、抽出したゼロクロス点ごとにサンプリング信号を出力する。このサンプリング信号の周期は、検査波形ftestの周期の1/2倍となる。
このサンプリング信号に基づいて、図3(A)に示す波形の計測データSmをリサンプリングすることで、図3(C)に示す如く、計測データSmの波形上の信号値a、a、a、a、・・・が得られる。
サンプリング信号は、計測データSm上での検査波形ftestとみなす特定波形Lwのゼロクロス点と一致しており、検査波形ftestのゼロクロス点では、被検査対象12の出力が無音のタイミングとなっている。被検査対象12の出力が無音状態では、検査波形ftestに応じた音声の出力に起因した高周波音、振動音も無い。したがって、検査波形ftestに対応する特定波形Lwのゼロクロス点における計測データSmの信号値a、a、a、a、・・・は、マイクロフォン38に収音された騒音に相当する。
図1に示す騒音抽出部54は、計測データSmに含まれる検査波形ftestの1/2周期で計測データSmをリサンプリングし、騒音に起因する信号値を補間処理部56へ出力する。補間処理部56は、サンプリング周期で得られる信号値に対して補間処理を行うことで、計測データSmが示す計測波形に対応する騒音波形が得られる騒音信号Nを生成する。この補間処理部56は、包絡検波と同等の処理などにより補間する形態としても良い。
アンチ・エイリアシング(anti−aliasing)部58は、例えば、LPF(Low−pass filter:ローパスフィルタ)を備える。アンチ・エイリアシング部58は、LPFの設定周波数(カットオフ周波数)以下の周波数成分を通過させることで、設定周波数を超える周波数成分を除去した騒音データNを得る。アンチ・エイリアシング部58は、検査波形ftestの周波数をLPFのカットオフ周波数とし、検査波形ftestが変わることでカットオフを変更する。
特定波形Lw(検査波形ftest)の周期は、サンプリング周期の2倍の周期となるので、騒音データNに検査波形ftestの周波数以上の周波数成分が含まれていると騒音の再現が困難となる。アンチ・エイリアシング部58は、検査波形ftestの周波数をLPFのカットオフ周波数とすることで、検査波形ftestの周波数以上の周波数成分を除去し、騒音データNの再現性の向上を図る。
開示の技術では、周波数成分解析において公知の技術である高速フーリエ変換を用いることで、計測データSm及び騒音データNから周波数ごとの振幅成分を抽出する。また、開示の技術では、周波数ごとに計測データSmの振幅成分から騒音データNの振幅成分を引き去ることで、計測データSmから騒音成分を除去する。なお、開示の技術における高速フーリエ変換には、適当な窓関数を用いることを含む。
周波数成分解析部60は、アンチ・エイリアシングされた騒音データNに対して、FFT(Fast Fourier Transform:高速フーリエ変換)処理を行う。これにより、周波数成分解析部60は、騒音データNについて周波数に対応する振幅情報である振幅スペクトルNr(ω)及び位相情報である位相スペクトルNθ(ω)を抽出する。なお、ωは角周波数である。
検査装置10の信号生成部24は、周波数成分解析部62、減算部64、信号変換部66、及び音声情報記憶部68を含む。周波数成分解析部60は、1フレーム分ずつ入力される計測データSmに対して、高速フーリエ変換(FFT)を行う。これにより、周波数成分解析部62は、計測データSmについて、周波数に対応する振幅情報である振幅スペクトルSmr(ω)及び位相情報である位相スペクトルSmθ(ω)を抽出する。
周波数成分解析部62で抽出した計測データSmの振幅スペクトルSmr(ω)は、周波数成分解析部60で抽出した騒音データNの振幅スペクトN(ω)と共に減算部64に入力される。減算部64は、計測データSmの振幅スペクトルSmr(ω)から騒音データNの振幅スペクトNr(ω)を差し引く減算器として機能し、検査波形ftestの周波数以下の騒音を除去した振幅スペクトルSr(ω)を出力する。
信号変換部66は、周波数成分解析部62で抽出した位相スペクトルSmθ(ω)及び減算部64で騒音成分が除去された振幅スペクトルSr(ω)を音声データSに変換することで音声データSを生成する。この信号変換部66は、周波数成分解析部60、62で行われたフーリエ変換に対して、フーリエ逆変換(Inverse Fast Fourier Transform:IFFT)を行う。フーリエ逆変換が行われる振幅スペクトルSr(ω)は、減算部64によって騒音データNの振幅スペクトルNr(ω)が除去されているので、信号変換部66によるフーリエ逆変換により、計測データSmから騒音成分を除去した音声データSが得られる。
音声情報記憶部68は、例えば、HDD、フラッシュメモリ等の記憶媒体が用いられ、信号変換部66で生成された音声データSを順次格納する。検査装置10は、検査波形ftestの周波数を20Hz〜20kHzの範囲内の予め設定された範囲で変化させ、周波数毎に得られた音声データSを音声情報記憶部68に格納する。検査装置10は、音声情報記憶部68に格納した20Hz〜20kHzの音声データSを、被検査対象12の出力特性の判定、高周波音やビビリ音の有無の判定などのように、被検査対象12に対して設定している所定の検査に用いる。
検査装置10は、例えば、図4に示すコンピュータ100で実現することができる。コンピュータ100は、CPU102、メモリ104、不揮発性の記憶部106、キーボード108、マウス110、ディスプレイ112、マイクロフォン38を備え、これらがバス114により接続されている。なお、マイクロフォン38は、図1に示す如く、増幅器40、AD変換器42を介してバス114に接続される。
図4に示すコンピュータ100の記憶部106は、HDD(Hard Disk Drive)、フラッシュメモリ等の記憶媒体により実現できる。記憶部106には、コンピュータ100を検査波形生成部16として機能させるための検査波形生成プログラム116、計測部18として機能させるための計測処理プログラム118が記憶されている。また、記憶部106には、コンピュータ100を騒音処理部20として機能させるための騒音処理プログラム120、抽出設定部22として機能させるため抽出設定プログラム122が記憶されている。さらに、記憶部106には、コンピュータ100を信号生成部24として機能させるための信号生成プログラム124、及び検査処理部26として機能させる検査処理プログラム126が記憶されている。CPU102は、各プログラムを記憶部106から読み出してメモリ104に展開し、各プログラム116〜126が有するプロセスを順次実行する。
検査波形生成プログラム116は、周波数設定プロセス128、検査波形発生プロセス130を有する。CPU102は、周波数設定プロセス128を実行することで周波数設定部29として動作し、検査波形発生プロセス130を実行することで検査波形発生部28として動作する。また、CPU102は、計測処理プログラム118が有するプロセスを実行することで、マイクロフォン38から収音されてデジタル信号に変換された計測データSmをフレーム単位に分割する前処理部44として動作する。
抽出設定プログラム122は、帯域処理プロセス132、位相調整プロセス134、サンプリング信号出力プロセス136を有する。CPU102は、帯域処理プロセス132を実行することで帯域処理部48として動作し、位相調整プロセス134を実行することで位相調整部50として動作し、サンプリング信号出力プロセス136を実行することでサンプリング信号出力部52として動作する。
また、騒音処理プログラム120は、騒音抽出プロセス138、補間処理プロセス140、アンチ・エイリアシングプロセス142、周波数成分解析プロセス144を有する。CPU102は、騒音抽出プロセス138、補間処理プロセス140、アンチ・エイリアシングプロセス142、及び周波数成分解析プロセス144を実行する。これにより、CPU102は、騒音抽出部54、補間処理部56、アンチ・エイリアシング部58及び周波数成分解析部60として動作する。
さらに、信号生成プログラム124は、周波数成分解析プロセス146、減算プロセス148及び、信号変換プロセス150を有する。CPU102は、周波数成分解析プロセス146、減算プロセス148、及び信号変換プロセス150を実行することで、周波数成分解析部62、減算部64及び信号変換部66として動作する。
コンピュータ100により検査装置10が実現される場合、記憶部106は、検査波形ftestの波形データを記憶する検査データ記憶部30、検査波形情報として記憶する検査情報記憶部46、音声データSを記憶する音声情報記憶部68として用いられる。なお、この場合、検査データ記憶部30を検査情報記憶部46として用いることができる。
なお、検査装置10は、例えば半導体集積回路、より詳しくは、ASIC(Application Specific Integrated Circuit)等で実現することも可能である。
以下に、第1の実施の形態の作用を説明する。
検査装置10は、被検査対象12の生産工場などにおいて、被検査対象12のスピーカ14から出力する音声をマイクロフォン38で収音し、収音したデータに対して周波数成分解析をすることで被検査対象12の出力特性の適否等を検査する。このような工場では、例えば、空調装置の送風音などの定常的に発せられる定常騒音に加え、エアー吹出し音、チャイム音、テープ引き剥がし音、機械移動音などの比較的短い時間であるが不規則に発生する非定常騒音がある。このために、防音設備が無いと、定常騒音は勿論、非定常騒音が発せられた場合、被検査対象12から出力された音声と共に収音されてしまう。
検査装置10は、防音設備の無い環境下において、単一のマイクロフォン38により収音して得られる計測データSmから、被検査対象12が出力した音声に応じた音声データSを生成する。
以下、図5〜図8を参照して、検査装置10において計測データから騒音を除去した音声データの生成を説明する。
検査装置10を用いて被検査対象12の検査を行う場合、予め検査波形発生部28で検査範囲の各周波数の検査波形ftestの波形データを生成して検査データ記憶部30に格納する。周波数設定部29は、可聴域の範囲で検査波形ftestの周波数を設定し、検査データ記憶部30は、設定された周波数ごとの検査波形ftestを格納する。検査装置10では、音声の収音に先立ち、検査データ記憶部30に格納した検査波形ftestの波形データを、被検査対象12の波形データ記憶部34及び抽出設定部22の検査情報記憶部46に格納する。
被検査対象12は、検査波形ftestの波形データに基づき、スピーカ14から音声を出力する。このとき、被検査対象12の筐体等が振動すると、高周波音、ビビリ音などが音声と共に発せられることがある。
検査装置10は、被検査対象12の音声出力に合わせ、例えば、図5のフローチャートを実行することで収音処理を開始する。このフローチャートでは、最初のステップ200で、計測部18が計測処理を行う。計測処理では、被検査対象12が検査波形ftestに応じてスピーカ14から出力する音声を収音し、収音した音声に応じた計測データSmを生成する。生成された計測データSmは、順次フレーム単位に分割されて格納される。
ステップ202では、抽出設定部22が1フレーム分の計測データSmを読み出し、計測データSmから騒音成分の抽出処理を行う。図6(A)には、抽出設定部22が実行する抽出設定処理を示している。このフローチャートは、ステップ220で、帯域処理部48が計測データSmに対して帯域処理を行う。検査波形ftestの周波数は、検査波形ftestの波形データから既知となっている。帯域処理部18は、検査波形ftestの周波数に基づいて中心周波数及び通過帯域を設定する。また、帯域処理部48は、狭帯域に設定した通過帯域に計測データSmを通過させることで、計測データSmから検査波形ftestの周波数に応じた特定波形Lwの波形データを抽出する。
次のステップ222では、抽出した特定波形Lwの波形データに対して位相調整部50が位相調整処理を行う。位相調整部50は、例えば、フレームごとの先頭時刻を基準として、特定波形Lwの位相を、騒音成分を抽出するときの計測データSmに含まれる音声(被検査波形ftest)の位相と一致させる。
この後、ステップ224では、サンプリング信号出力部52がサンプリング信号出力処理を行う。サンプリング信号出力部52は、位相調整した特定波形Lwの波形データからゼロクロス点を検出し、ゼロクロス点を検出するごとにサンプリング信号を出力する。
図5のフローチャートのステップ204では、ステップ202での処理に合わせて騒音抽出部22が騒音成分抽出処理を行う。図6(B)には、サンプリング信号を用いた騒音抽出処理を示す。このフローチャートのステップ230では、騒音抽出部54が、計測データSmに含まれる特定波形Lwに同期したサンプリング信号に基づき、計測データSmのサンプリングを行うことで、計測データSmから騒音成分を抽出する。特定波形Lwの周期は、検査波形ftestの周期と同じであり、この特定波形Lwのゼロクロス点ごとに計測データSmのリサンプリングを行うことで、被検査対象12から出力された音声と相関のない音圧レベルに応じた信号値の騒音成分が得られる。また、計測データSmのサンプリングは、検査波形ftestの周期の1/2の周期で繰り返す。
ステップ232では、補間処理部56が抽出した騒音成分のデータに対して補間処理を行い、ステップ234では、アンチ・エイリアシング部58がアンチ・エイリアシングを行うことで、騒音成分から騒音データNを生成する。開示の技術においては、帯域処理におけるBPFの通過帯域及び騒音抽出におけるLPFの設定周波数を、マイクロフォン38による音声の収音時などにおいて予め設定することも可能である。
ステップ236では、周波数成分解析部60が騒音データNに対して周波数成分解析を行う。周波数成分解析60は、騒音データNに対する周波数成分解析にFTTを適用し、騒音データNにより示される騒音波形から振幅スペクトルNr(ω)及び位相スペクトルNθ(ω)を得る。
図5のフローチャートのステップ206では、ステップ204の処理に合わせて信号生成部24が信号生成処理を実行する。この信号生成処理は、先ず、ステップ204で、周波数成分解析部62がFFTを用いて計測データSmに対する周波数成分解析を行う。周波数成分解析部62は、計測データSmに対して周波数成分解析を行うことで、音声成分及び騒音成分を含む振幅スペクトルSmr(ω)、位相スペクトルSmθ(ω)を得る。また、周波数成分解析部62は、計測データSmに対する周波数成分解析を、図6(B)のステップ236に示す騒音データNに対する周波数成分解析と並行して実行する。また、周波数成分解析部62は、騒音データNに対する周波数成分解析に先立って計測データSmに対する周波数成分解析を実行することも可能である。
次のステップ208では、減算部64が計測データSmに含まれる騒音成分を除去する減算処理を行う。減算部64は、計測データSmの振幅スペクトルSmr(ω)から騒音データNの振幅スペクトルNr(ω)を引き去り、振幅スペクトルNr(ω)を除いた振幅スペクトルSr(ω)を生成する。これにより減算部64は、被検査対象12から出力された検査波形ftestに応じた音声の振幅スペクトルSr(ω)を得る。
振幅スペクトルSmr(ω)は、音声の振幅スペクトルに騒音の振幅スペクトルが合成されたものであり、騒音の振幅スペクトルは、定常騒音の振幅スペクトル及び非定常騒音の振幅スペクトルを含む。ここから、検査装置10では、計測データSmから抽出した騒音データNの振幅スペクトルNr(ω)を、計測データSmの振幅スペクトルSmr(ω)から引き去ることで、被検査対象12から出力された音声の振幅スペクトルSr(ω)を抽出する。
ステップ210では、信号変換部66が被検査対象12から出力された音声に応じた音声データに変換する信号変換処理を行う。信号変換部66は、振幅スペクトルSr(ω)及び計測データSmに対するフーリエ変換により得られた位相スペクトルSmθ(ω)を用いて、フーリエ逆変換を行う。音声情報記憶部68には、信号変換部66においてフーリエ逆変換により生成された音声データSを格納する。
この後、ステップ212では、同一の周波数の検査波形ftestのすべてのフレームに対する処理が行われたか否かが確認される。検査装置10は、同一の周波数の検査波形ftestに対する計測データSmのすべてのフレームについて音声データSの生成処理を行うことで、ステップ212で肯定判定され、検査波形ftestの周波数に対する音声データNの取得を終了する。ここでは、一つの周波数の検査波形ftestを用いた音声データSの生成を説明しているが、検査装置10は、検査データ記憶部30に格納された周波数のそれぞれについて実行する。
図7(A)には、検査装置10で計測する波形の一例を示している。同図に示す如く、検査波形ftestに応じた音声の信号波形に騒音の信号波形が合成されることで、計測される信号波形は、検査波形ftestの振幅が騒音の信号波形に応じて変化する。検査装置10は、マイクロフォン38により収音することで、音声の信号波形に騒音の信号波形が合成された信号波形に応じた計測データSmを取得する。図7(A)は、周波数及び音圧レベルに対応する振幅を、検査波形ftestを1kHz及び1.0の正弦波、騒音とする信号を100Hz、0.25の正弦波とし、位相差を角度45°(π/4)とした計測データSmを示す。
図7(B)は、図7(A)の一部の時間軸を拡大して示し、図8は、図7(B)の一部の時間軸を更に拡大して示している。また、図7(B)、図8では、Smが計測データSmに基づく信号波形、Lwが検査波形ftestに応じた特定波形、Nが騒音の信号波形としている。
図7(B)及び図8に示すように、計測データSmの振幅は、特定波形Lwの振幅と騒音Nの振幅を合成したものとなっている。また、図8に示すように、特定波形Lwのゼロクロス点t、t、t、t、・・・では、検査波形ftest(特定波形Lw)と騒音Nとの間の位相差にかかわらず、計測データSmの振幅と騒音Nの振幅が一致する。したがって、ゼロクロス点t、t、t、t、・・・で計測データSmをサンプリングすることで、騒音Nの振幅に対応する信号値a、a1、a、a、・・・が得られる。
したがって、検査装置10は、定常騒音のみならず非定常騒音が発生しうる環境下において、防音設備の無い空間であっても、定常騒音及び非定常騒音などの騒音成分を除去して、被検査対象12から発せられる音声に応じた音声データSを得ることができる。また、検査装置10は、被検査対象12の検査を行う場合、検査波形ftestの周波数を変更し、それぞれの周波数ごとの検査波形ftestについて音声データを取得する。これにより得られる検査波形ftestの周波数ごとの音声データSを用いることで、被検査対象12について出力特性の適否、高周波音、ビビリ音の有無などの検査を行うことができる。
開示の技術においては、検査処理部26で音声データSの解析のためにフーリエ変換を行う場合、フーリエ逆変換前の情報である音声データの振幅スペクトル及び位相スペクトルを音声情報として音声情報記憶部68に格納することを含む。
〔第2の実施の形態〕
次に開示の技術の第2の実施の形態を説明する。なお、第2の実施の形態において第1の実施の形態と同一の部分には、同一の符号を付与してその説明を省略し、以下、主として第1の実施の形態と異なる部分を説明する。
図9には、第2の実施の形態に係る検査装置10Aを示している。第2の実施の形態では、第1の実施の形態の帯域処理部48及び位相調整部50に代えて相互位相照合部70を設けている点で相違する。
開示の技術では、公知技術の相互相関係数を用いる。開示の技術においては、検査波形用いて被検査対象12から発せられる音声を優先させて収音するものであることから、計測データSmが示す波形は、検査波形ftestと同じ周波数の波形である特定波形Lwを含む。開示の技術では、特定波形Lwを含む計測データSmと既知である検査波形ftestの波形データとを用いて、相互相関係数を求めることで、特定波形Lwを特定すること無く、検査波形ftestの位相を、特定波形Lwの位相に合わせる。
抽出設定部22Aの相互位相照合部70には、検査波形ftestの波形データ及び計測データSmが入力される。計測データSmが示す信号波形には、検査波形ftestの周波数の波形である特定波形Lwが含まれる。相互位相照合部70は、検査波形ftestの波形データと計測データSmとを用い、計測データSm上の所定の時刻を原点とし、一方のデータの時間をずらしながら相互相関係数を求める。これにより得られる相互相関係数の最大値又は予め設定したしきい値を超えたときの時間は、計測データSmに含まれる特定波形Lwと検査波形ftestの位相とが一致する時間となる。
相互位相照合部70は、検査波形ftestの位相を、計測データSmの位相に合わせて出力する。サンプリング信号出力部52は、計測データSmに位相を合わせた検査波形ftestの波形データに基づき、検査波形ftestのゼロクロス点ごとにサンプリング信号を出力する。
検査装置10Aは、相互位相照合部70を備えることで、検査波形ftestの周波数に応じて通過帯域を変化させたBPF等を用いることなく、開示する技術における的確なサンプリング信号を得ることができる。また、検査装置10Aは、検査波形ftestの波形データを用いるので、ゼロクロス点を的確に検出し、計測データSmを的確なタイミングさサンプリングすることができる。
〔第3の実施の形態〕
次に開示の技術の第3の実施の形態を説明する。なお、第3の実施の形態において第1の実施の形態と同一の部分には、同一の符号を付与してその説明を省略し、以下、第1の実施の形態と異なる部分を説明する。
図10には、第3の実施の形態に係る検査装置10Bを示す。第3の実施の形態では、サンプリング信号を出力するときに、検査波形ftestの波形データを用いない点で第1の実施の形態と相違する。なお、被検査対象12は、波形データ記憶部34に、検査波形ftestの波形データとして予め設定した周波数の波形データを格納すれば良い。開示の技術においては、検査装置10Bと別に検査波形生成部16に対応する装置を設けることを含む。
検査装置10Bの抽出設定部22Bは、検査情報記憶部46に代えて検査周波数抽出部72を備える。この検査周波数抽出部72は、計測データSmが入力されることで、計測データSmからピーク周波数を検出する。
開示の技術においては、計測データSmに騒音データNが含まれるが、被検査対象12から出力する音を収音することが目的であり、騒音環境下においても、定常騒音より被検査対象12が出力する音の音圧レベルが高い。したがって、被検査対象12から出力される音(音声)は、計測データSmに含まれる音の中で一定の音圧レベルの周波数の音であり、さらに音圧レベル(振幅)の最も高い音となる。
検査周波数抽出部72は、音圧レベルが一定の周波数のうちで振幅の最も高い周波数又は振幅の平均値が最も高い周波数をピーク周波数とし、ピーク周波数を検査波形ftestに対応する特定波形Lwの周波数として検出する。
帯域処理部48は、検査周波数抽出部72で検出された周波数に基づいてBPFの中心周波数及び通過帯域を設定する。また、騒音処理部20のアンチ・エイリアシング部58は、検査周波数抽出部72で検出した周波数に基づいてLPFのカットオフ周波数を設定する。
検査装置10Bは、検査周波数抽出部72を備えることで、特定波形Lwを抽出するための検査波形ftestの波形データを記憶する必要が無い。また、検査装置10Bは、被検査対象12から出力する検査波形ftestの周波数を連続して変化させた場合でも、特定波形Lwを的確に抽出することができる。
〔第4の実施の形態〕
次に開示の技術の第4の実施の形態について説明する。なお、第4の実施の形態において第1の実施の形態と同一の部品には、同一の符号を付与してその説明を省略し、以下、主として第1の実施の形態と異なる部分を説明する。
図11には、第4の実施の形態に係る検査装置10Cを示す。検査装置10Cは、検査波形生成部16Aが第1の実施の形態の検査波形生成部16と相違する。
開示の技術では、検査波形ftestの周波数が低い場合に、可聴域より高い周波数を合成することで、計測データSmのサンプリング周期を短くし、除去可能な騒音の周波数を高くする。
検査装置10Cが備える検査波形生成部16Aは、検査波形発生部28、周波数設定部29、検査周波数判定部74、搬送周波数発生部76、オフセット部78、周波数切換部80、乗算部82、常オン信号出力部84を含んでいる。
搬送周波数発生部76は、可聴域を外れた周波数のデータを発生する。可聴域の周波数を20Hz〜20kHzとした場合、可聴域を外れた周波数は20kHz以上の周波数であり、搬送周波数発生部76は、一例として21kHzの周波数のデータを発生する。開示の技術においては、予め設定された周波数のデータを格納し、格納しているデータを出力することを含む。以下、搬送周波数発生部76で発生する周波数のデータを搬送波fcと表記する。
オフセット部78は、搬送波周波数発生部76が出力する搬送波fcの波形データに基づき、搬送波fcの周期でオフするオフセット信号を出力する。検査波形発生部28は、周波数設定部29で設定された周波数の検査波形ftestの波形データを出力する。周波数設定部29が、検査波形ftestの周波数を20Hz〜20kHzの範囲で設定することで、検査波形発生部28は、周波数を20Hz〜20kHzの範囲で可変して発生する。
検査周波数判定部74は、検査波形発生部28で発生した検査波形ftestの周波数が、予め設定した基準周波数fsを超えているか否かを判定する。検査周波数判定部74は、例えば基準周波数fsを1kHzとすることで、検査波形ftestの周波数が1kHzを超えているか否かを判定する。また、検査周波数判定部74は、検査波形ftestの周波数の判定結果に基づいて周波数切換部80を操作する。
周波数切換部80には、オフセット部78からオフセット信号が入力される。周波数判定部74は、検査波形ftestの周波数が、基準周波数fs以下(fs=1kHz、ftest≦fs)であると、周波数切換部80がオフセット信号を出力するように切り換える。
乗算部82には、検査波形発生部28が出力する検査波形ftestの波形データが入力される。また、周波数切換部80がオフセット信号を出力することで、乗算部82には、オフセット信号が入力される。乗算部82は、デジタル信号に対する乗算器として機能する。オフセット信号は、検査波形ftestの信号値をゼロとする信号であり、乗算部82は、オフセット信号が入力されることで、検査波形ftestの波形データと搬送波fcの周波数に応じた周期のオフセット信号とを乗算する。これにより、乗算部82は、検査波形ftestを搬送波fcの周期で検査波形ftestの信号値をゼロとした信号波形の波形データを出力する。
周波数判定部74は、検査波形ftestの周波数が、基準周波数fs(1kHz)を超えている(ftest>fs)と、周波数切換部80がオフセット信号を停止するように切り換える。このとき、周波数切換部80は、常オン信号出力部84から入力される一定の信号(常オン信号)を乗算部82へ出力する。これにより、乗算部82は、検査波形ftestの波形データをオフセットせずにそのまま出力する。開示の技術においては、検査波形ftestの波形データをオフセットせずに乗算部82が素通しすることを含む。以下、第4の実施の形態において、乗算部82から出力される検査波形ftestに応じた波形を検査波形Ftestと表記する。
開示の技術では、検査波形ftestの周波数が、基準周波数fsより低い場合、可聴域より高い周波数の搬送波fcを用いて、搬送波fcの周期で検査波形ftestをオフセットした検査波形Ftestを用いる。また、開示の技術においては、検査波形ftestが基準周波数fs以上か、基準周波数fs未満かを判定することを含む。
図12には、搬送波fcの周期で検査波形ftestをオフセットした波形(検査波形Ftest)の一例を示している。同図では、一例をして検査波形ftestの周波数を1kHz、搬送波fcの周波数を21kHzとしている。
検査波形ftestを搬送波fcの周期でオフセットした検査波形Ftestは、検査波形ftestの極性で、検査波形ftestが搬送波fcの周波数で変化する。したがって、検査波形Ftestは、周期が検査波形ftestの周期より短い搬送波fcの周期で信号値(振幅)がゼロとなる。
検査波形ftestのゼロクロス点で計測データSmのサンプリングを行った場合、検査波形ftestの周波数が低いとサンプリング周期も長くなり、検査波形ftestよりも高い周波数の騒音除去が困難となる。開示の技術では、検査波形ftestの周波数が低い場合、音として認識されない可聴域を超える周波数の搬送波fcを用いて、検査波形ftestの信号値がゼロ点となる周期を短くし、サンプリング周期を短くする。
開示の技術では、検査波形ftestの周波数が基準周波数fs以上(ftest≧fs)の場合に、検査波形ftestをそのまま用いることを含む。また、開示の技術においては、検査波形ftestの周波数が,基準周波数fs未満(ftest<fs)の場合に、搬送波fcを用いてサンプリング間隔を短くすることを含む。さらに、開示の技術においては、基準周波数fsを設けずに、被検査対象12の検査に適用する周波数において、検査波形ftestを搬送波fcによってオフセットした検査波形Ftestを用いることを含む。
図11に示す検査装置10Cは、検査データ記憶部30に格納された各周波数の検査波形Ftestの波形データを、ダウンロードなどにより被検査対象12の波形データ記憶部34、抽出設定部22の検査情報記憶部46に格納する。被検査対象12は、検査波形Ftestの波形データに応じた音声をスピーカ14から出力する。
検査波形ftestの周波数が1kHz以下であると、検査波形ftestを21kHzの搬送波fcでオフセットした検査波形Ftestの波形データに応じた音声を出力する。搬送波fcは、周波数が可聴域を超えているので、被検査対象12がスピーカ14から出力する音声は、検査波形ftestの周波数の音声となる。しかし、被検査対象12から出力される検査波形Ftestに応じた音声は、検査波形ftestが搬送波fcの周期で変化している。したがって、検査装置10Cが収音する音声は、搬送波fcに応じて変化した検査波形ftestの音声となる。
検査波形ftestの周波数が1kHzを超える場合、検査装置10Cは、前記した第1の実施の形態の検査装置10として機能し、以下では、検査波形ftestの周波数が1kHz未満の検査波形Ftestが適用されている場合を説明する。
図13には、検査波形ftestの周波数を1kHz、搬送波fcの周波数を21kHzとした場合の検査波形Ftestのパワースペクトルを示す。搬送波fcの周期で検査波形ftestをオフセットした検査波形Ftestには、検査波形ftestの周波数(ftest)に搬送波fcの周波数(fc)を加算した周波数(fc+ftest)、及び減算した周波数(fc−ftest)においてスペクトルが現れる。
開示の技術においては、帯域処理におけるBPFの中心周波数及び通過帯域を検査波形Ftestに基づいて設定する。中心周波数は搬送波fcの周波数、通過帯域は、「搬送波fcの周波数−検査波形ftestの周波数(fc−ftest)」から「搬送波fcの周波数+検査波形ftest(fc+ftest)」の範囲とする。
図11に示す検査装置10の帯域処理部48は、検査波形Ftestの波形データからfc±ftestの範囲で通過帯域を設定する。帯域処理部48は、中心周波数を変えず、通過帯域を検査波形ftestの周波数に応じて変える。
開示の技術では、通過帯域を検査波形ftestに応じて変更せず、基準周波数fsの範囲(Ftest±fs)とすることを含む。また、開示の技術においては、検査波形Ftestのゼロクロス点では無く、検査波形Ftestで信号値がゼロとなる点(以下、ゼロ点とする)で計測データSmのサンプリングを行う。
サンプリング信号出力部52は、検査波形Ftestの波形データで信号値のゼロ点を検出してサンプリング信号を出力する。このとき、検査波形Ftestが搬送波fcの周波数でオフセットされていることで、サンプリング信号出力部52は、搬送波fcの周期でサンプリング信号を出力する。
図12に示す如く、検査波形Ftestは、検査波形ftestを搬送波fcの周期でオフセットしている。したがって、検査波形Ftestのゼロ点t、t、t、t、・・・は、搬送波fcの周期で現れる。また、計測データSmのサンプリング周期は、検査波形ftestの周波数にかかわらず搬送波fcの周波数に応じた一定周期となる。
図11に示す騒音処理部20は、騒音抽出部54が搬送波fcの周期でリサンプリングを行うことで計測データSmから騒音データNを抽出する。信号生成部24は、この騒音データNから得られた振幅スペクトルNr(ω)を計測データの振幅スペクトルSmr(ω)から引き去ることで音声データSを生成する。
検査装置10Cにおいては、計測データSmに搬送波fcの周波数成分を含んでいる。ここから、周波数解析部62は、計測データSmに対する高速フーリエ変換前に、計測データSmから可聴域を超える周波数成分を除去する。また、開示の技術においては、フーリエ逆変換前などの適当なタイミングで計測データSmから搬送波fcの周波数成分の除去を行うことを含む。
開示の技術においては、被検査対象12に対する検査として、被検査対象12から出力した音声の音声データを用いる任意の項目を含む。
図14(A)には、検査装置10Cにおいて、被検査対象12が出力された音声に応じた音声データSを用い、被検査対象12に対する出力特性の適否の検査を行う検査処理部26Aを示している。
検査処理部26Aは、周波数成分解析部86、基準情報記憶部88、検査判定部90を備える。周波数成分解析部86は、声データSに対する周波数成分解析を行い、基準情報記憶部88は、被検査対象12に対する検査判定の基準とする基準情報を記憶する。検査判定部90は、周波数成分解析部86の解析結果と基準情報とを比較することで被検査対象12の出力特性などの適否の判定を行う。
周波数成分解析部86は、音声情報記憶部68から周波数ごとの音声データSを読み出し、高速フーリエ変換(FFT)を行うことで各周波数に対する音声データSの振幅スペクトルなどの特徴情報を抽出する。
基準情報記憶部88には、基準情報として周波数成分解析部86で抽出する音声データSの特徴情報に対する音声データSの振幅スペクトル(振幅スペクトルSr(ω))を記憶する。振幅スペクトルの基準情報は、被検査対象12と同じ製品で、良品と判定された製品から得られる音声データの振幅スペクトルに基づき、振幅スペクトルのしきい値の振幅スペクトルの平均値に許容値を加えることで、良否判定の基準とするしきい値を含む。
検査判定部90は、基準情報記憶部88に記憶されている基準情報をしきい値として、周波数成分解析部86が音声データSの特徴情報の一つとして出力する振幅スペクトルと比較する。開示の技術においては、被検査対象12の検査項目に応じて設定される基準情報を基準情報記憶部88に記憶することを含み、検査判定部90は、被検査対象12の検査項目ごとの特徴情報と基準情報とを比較することを含む。
検査波形生成部16A及び検査処理部26Aは、例えば半導体集積回路、より詳しくは、ASIC等で実現することができる。
また、検査装置10Cは、検査波形生成部16A及び検査処理部26Aを含めてコンピュータ100を用いて実現することもできる。この場合、図示は省略するが、記憶部106は、コンピュータ100を検査波形生成部16Aとして機能させるための検査波形生成プログラムを記憶する。検査波形生成プログラムは、周波数設定プロセス、検査波形発生プロセス、周波数判定プロセス、搬送周波数発生プロセス、オフセットプロセス、常オン信号出力プロセス、周波数切換プロセス、及び乗算プロセスを有する。CPU102は、周波数設定プロセスを実行することで周波数設定部29として動作し、検査波形発生プロセスを実行することで検査波形発声部28として動作する。また、CPU102は、周波数判定プロセスを実行することで周波数判定部74として動作し、搬送周波数発生プロセスを実行することで搬送周波数発生部76として動作し、オフセットプロセスを実行することでオフセット部78として動作する。さらに、CPU102は、周波数切換プロセスを実行することで周波数切換部80として動作し、乗算プロセスを実行することで乗算部80として動作し、常オン信号出力プロセスを実行することで常オン信号出力部84として動作する。
また、記憶部106は、検査処理プログラムを記憶する。この検査処理プログラムは、周波数成分解析プロセス、検査判定プロセスを有する。CPU102は、周波数成分解析プロセスを実行することで周波数成分解析部86として動作し、検査判定プロセスを実行することで検査判定部90として動作する。
また、コンピュータ100により検査処理部26Aが実現される場合、記憶部106は、基準データを記憶する基準情報記憶部88として用いられる。
以下に、検査装置10Cにおける検査波形Ftestの波形データの生成、及び生成した検査波形Ftestの波形データを用いた音声データSの生成を説明する。なお、検査装置10Cは、検査波形ftestの周波数を可聴域で段階的に変更することで、可聴域の周波数に対応する音声データSを生成する。
検査装置10Cは、例えば、図15のフローチャートを実行することで検査波形Ftestの波形データを生成する。このフローチャートの最初のステップ240では、周波数設定部29が検査波形ftestの初期値を設定する。周波数設定部29は、検査波形Ftestの元となる検査波形ftestの周波数を、可聴域で高い周波数を初期値として設定する。開示の技術においては、可聴域で低い周波数を初期値として、検査波形ftestの周波数を段階的に上げることを含む。
ステップ242では、検査波形発生部28が、周波数設定部29で設定された周波数の検査波形ftestの波形データを生成する。次のステップ244では、周波数判定部74が検査波形ftestの周波数が基準周波数fsを超えているか否かを判定する。周波数判定部74は、検査波形ftestの周波数が、基準周波数fsを超えている場合、肯定判定してステップ246へ移行する。このステップ246では、周波数切換部80が常オン信号出力部84の出力する常オン信号を乗算部82に入力するように切り換える。これにより、乗算部82は、検査波形ftestを、そのまま検査波形Ftestとして出力する。検査データ記憶部30は、検査波形ftestの波形データが検査波形Ftestの波形データとして格納する。
次のステップ248では、周波数設定部29が検査波形ftestの周波数を下げた検査波形Ftestの波形データを生成するか否かを確認する。すなわち、周波数設定部29は、被検査対象12の検査に必要とする全ての周波数の検査波形Ftestの波形データの生成が終了したか否かを確認し、終了している場合、肯定判定することで検査波形Ftestの波形データの生成を終了する。
これに対して波形データを生成する周波数が残っている場合、周波数設定部29は、否定判定してステップ250へ移行する。このステップ250では、周波数設定部29が、生成する検査波形ftestの周波数を1段階下げるように設定する。例えば、周波数設定部29は、周波数の変化幅を周波数Δfとした場合、周波数ftestから周波数Δfを下げた周波数を新たな周波数ftestに設定する。ステップ242では、検査波形発生部28が、周波数設定部29で新たに設定された周波数の検査波形ftestの波形データを生成する。
ここで、検査波形ftestの周波数が、基準周波数fs以下となると、周波数判定部74がステップ244で否定判定する。これによりステップ252へ移行すると、周波数切換部80は、オフセット部78が、搬送周波数発生部76から入力された搬送波fcの周波数で生成して出力したオフセット信号を、乗算部80に入力するように切り換える。これにより、乗算部80は、オフセット信号と検査波形ftestの波形データを乗算し、搬送波fcの周期で検査波形ftestをオフセットした検査波形Ftestの波形データを出力する。したがって、検査波形ftestの周波数が基準周波数fc以下の場合に、検査波形Ftestの波形データは、検査波形ftestを搬送波fcの周期でオフセットした波形データとなる。
被検査対象12は、各検査波形Ftestの波形データを波形データ記憶部34に格納する。また、被検査対象12は、検査波形Ftestの波形データを、検査波形ftestの周波数の昇順又は昇順に読み出し、読み出した検査波形Ftestの波形データに応じた音声をスピーカ14から出力する。検査装置10Cは、被検査対象12が出力する音声を収音する。
図16には、このときの検査装置10Cにおける処理の流れを示している。なお、検査装置10Cにおける計測処理は、第1の実施の形態の図5及び図6に示した処理を含むものであり、以下では、第1の実施の形態で省略した点の説明を補足する。
このフローチャートでは、最初のステップ260で、検査装置10Cが検査する周波数(検査波形ftestの周波数)の初期値が設定される。次のステップ262では、被検査対象12が、検査装置10Cで設定された周波数の検査波形ftestを含む検査波形Ftestに応じた音声をスピーカ14から出力する。計測部18は、被検査対象12のスピーカ14から音声を出力させながら、ステップ200を実行することで、被検査対象12が出力している音声の計測を行う。この後、ステップ202〜ステップ210を実行することで、設定した周波数の検査波形ftestに応じた音声データSを生成して、音声情報記憶部76へ格納する。
設定した周波数の検査波形ftestに応じた音声データを生成するとステップ264で、検査装置10Cが、被検査対象12の検査に必要とする全ての周波数の検査波形ftestに対応する音声データの生成が終了したかを確認する。音声データの生成が必要な周波数が残っていれば、ステップ264で否定判定してステップ266へ移行し、次に音声データSを生成する検査波形ftestの周波数を設定する。この後ステップ262へ移行することを繰り返し、設定した範囲の周波数について、検査波形ftestに対応する音声データSを得る。
検査装置10Cは、検査波形Ftestに含まれる検査波形ftestの周波数が基準周波数fs以下であると、検査波形ftestを搬送波fcの周期でオフセットした検査波形Ftestを用いる。検査装置10Cは、抽出設定部22が搬送波fcの周波数に応じた周期をサンプリング周期とするサンプリング信号を出力することで、騒音抽出部54が搬送波fcの周波数に応じた周期で計測データSmに対するリサンプリングを行う。
検査装置10Cでは、基準周波数fcより低い周波数に対して、検査波形ftest以下の周波数の騒音のみでなく、検査波形ftestの周波数と比較して高い搬送波fcの周波数の1/2以下の周波数の騒音を除去した音声データを得ることができる。したがって、検査装置10Cは、搬送波fcを用いることで、計測データSmから除去しうる騒音の周波数範囲を広くすることができる。
検査装置10Cは、音声情報格納部68に格納した音声データSを用いて、検査処理部26Aで被検査対象12に対する検査を行う。図14(B)には、検査処理部26Aにおいて、基準情報記憶部88が基準情報として記憶する振幅スペクトルに対するしきい値st、及び周波数fの音声データから得られる振幅スペクトルの一例を示す。周波数fは、基準波形ftestの周波数であり、音声データSfは、周波数fの検査波形から得られる音声データSである。なお、図14(B)において、周波数fは可聴域の下限の周波数(20Hz)であり、周波数fは可聴域の上限の周波数(20kHz)である。
周波数fに対する音声データSfの振幅スペクトル(図中で波形Sfで示す)は、周波数fにおいて振幅が最も大きく、被検査対象12が良品であれば振幅がしきい値stを超える。また、音声データSfの振幅スペクトルは、周波数fから離れることで振幅が小さくなり、被検査対象12が良品と判定されうる品質であれば、しきい値stより低くなる。
このような音声データSfの振幅スペクトルにおいて、被検査対象12が高周波音やビビリ音などを発し、音声データSfに騒音成分を含むことになった場合、周波数fより高い周波数で振幅がしきい値stを超える(図14(B)に二点鎖線で示す波形w)。この原因が、被検査対象12に起因するものであるのに騒音成分と判断したり、騒音成分であるにもかかわらず被検査対象12に起因するものであると判断したりすることで、誤判定を生じさせる。
検査装置10Cでは、可聴域を外れた周波数の搬送波fcを用いて計測データSmのサンプリング行うことで、検査波形の周波数fより高い周波数の騒音成分を抽出して除去するので、周波数fより高い周波数についても良否の判定の的確性が高まる。したがって、検査処理部26Aは、検査装置10Cに設けられることで、音声データSに基づいて被検査対象12の出力特性の適否を判定するときに、良品を不良品と判定する誤判定を抑え、的確な良否の判定を行い得る。
開示の技術においては、帯域処理部48及び位相調整部50に代えて、検査装置10Cに、相互相関により位相調整を行う相互位相照合部70を適用することを含む。また、開示の技術においては、検査情報記憶部46を備える抽出設定部22に代えて、検査装置10Cに、検査周波数検出部72を備えた抽出設定部22Aを適用することを含む。
開示の技術は、第1から第5の実施の形態に記載に限らず、各部分が目的とする機能を含む形態であれば良い。また、本明細書に記載された全ての特許出願及び特許出願に開示される技術文献は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に、参照により取り込まれる。
10、10A〜10C 検査装置
12 被検査対象
14 スピーカ
16、16A 検査波形生成部
18 計測部
20 騒音処理部
22、22A 抽出設定部
24 信号生成部
26、26A 検査処理部
28 検査波形設定部
29 周波数設定部
38 マイクロフォン
48 帯域処理部
50、50A 位相調整部
54 騒音抽出部
60、62 周波数成分解析部
64 減算部
66 信号生成部
70 相互位相照合部
72 検査周波数抽出部
74 検査周波数判定部
76 搬送周波数発発生部
80 周波数切換部

Claims (13)

  1. 可聴域の周波数でかつ周期的に振幅がゼロとなる検査波形を生成する検査波形生成部と、
    前記検査波形に応じて被検査対象から出力された第1の音を収音し、第1の音に応じた第1の音信号を含む計測信号を生成する計測部と、
    前記計測信号に含まれる前記検査波形に応じた波形のゼロ点で計測信号をサンプリングし、前記計測信号から第2の音信号を抽出する音抽出部と、
    前記計測信号の振幅スペクトルから前記第2の音信号の振幅スペクトルを差し引くことで、前記計測信号から前記第1の音信号を生成する生成部と、
    を含む音除去装置。
  2. 前記検査波形生成部は、
    前記可聴域の周波数の正弦波の前記検査波形を発生する波形発生部と、
    可聴域の周波数を超える周波数の搬送波を発生する搬送波発生部と、
    前記検査波形と前記搬送波とを用い、前記搬送波の周期で前記振幅がゼロとなる検査波形を合成する合成部と、
    を含む請求項1記載の音除去装置。
  3. 前記波形発生部で発生される前記検査波形の周波数を設定する設定部と、
    前記第1の音を出力する検査波形として、前記波形発生部で発生された検査波形を出力すると共に、前記設定部により設定されて発生された前記検査波形の周波数が基準周波数より低い場合に、前記合成部で合成された検査波形が出力されるように切り換える切換部と、
    を含む請求項2記載の音除去装置。
  4. 前記検査波形の周波数に基づき中心周波数及び通過帯域を設定し、前記計測信号から前記検査波形に応じた周波数の波形を抽出する帯域処理部を含む請求項1から請求項3の何れか1項記載の騒音除去装置。
  5. 前記計測信号から平均振幅が最大の周波数を前記検査波形の周波数として検出する周波数検出部を含む請求項4記載の騒音除去装置。
  6. 前記計測信号に基づく計測波形と前記検査波形との相互相関に基づき、前記検査波形の位相を前記計測信号に含まれる前記検査波形に応じた波形の位相に合わせる位相照合部を含み、
    前記音抽出部は、前記位相照合部で照合された位相に基づき前記検査波形のゼロ点で前記計測信号のサンプリングを行う請求項1から請求項3の何れか1記載の音除去装置。
  7. 前記請求項1から請求項6の何れか1項記載の音除去装置と、
    前記生成部により生成された前記第1の音の音信号に基づいて、前記被検査対象が出力する音を検査する検査部と、
    を含む音検査装置。
  8. 可聴域の周波数でかつ周期的に振幅がゼロとなる検査波形を生成する検査波形生成ステップと、
    前記検査波形に応じて被検査対象から出力された第1の音を収音し、第1の音に応じた第1の音信号を含む計測信号を生成する計測ステップと、
    前記計測信号に含まれる前記検査波形に応じた波形のゼロ点で計測信号をサンプリングし、前記計測信号から第2の音信号を抽出する音抽出ステップと、
    前記計測信号の振幅スペクトルから前記第2の音信号の振幅スペクトルを差し引くことで、前記計測信号から前記第1の音信号を生成する生成ステップと、
    を含む音除去方法。
  9. 可聴域の周波数の正弦波を検査波形として発生する波形発生ステップと、
    可聴域の周波数を超える周波数の搬送波を発生する搬送波発生ステップと、
    前記検査波形と前記搬送波とを用い、前記搬送波の周期で前記振幅がゼロとなる検査波形を合成する合成ステップと、
    を含む請求項8記載の音除去方法。
  10. 前記波形発生ステップで発生させる前記検査波形の周波数を設定する設定ステップと、
    前記第1の音を出力する検査波形として、前記波形発生部で発生された検査波形を出力すると共に、前記設定部により設定されて発生された前記検査波形の周波数が基準周波数より低い場合に、前記合成部で合成された検査波形を出力するように切り換える切換ステップと、
    を含む請求項9記載の音除去方法。
  11. コンピュータに、
    可聴域の周波数でかつ周期的に振幅がゼロとなる検査波形を生成する検査波形生成ステップと、
    前記検査波形に応じて被検査対象から出力された第1の音を収音し、第1の音に応じた第1の音信号を含む計測信号を生成する計測ステップと、
    前記計測信号に含まれる前記検査波形に応じた波形のゼロ点で計測信号をサンプリングし、前記計測信号から第2の音信号を抽出する音抽出ステップと、
    前記計測信号の振幅スペクトルから前記第2の音信号の振幅スペクトルを差し引くことで、前記計測信号から前記第1の音信号を生成する生成ステップと、
    を含む処理を実行させるための音除去プログラム。
  12. 可聴域の周波数の正弦波を検査波形として発生する波形発生ステップと、
    可聴域の周波数を超える周波数の搬送波を発生する搬送波発生ステップと、
    前記検査波形と前記搬送波とを用い、前記搬送波の周期で前記振幅がゼロとなる検査波形を合成する合成ステップと、
    を含む請求項11記載の音除去プログラム。
  13. 前記波形発生ステップで発生させる前記検査波形の周波数を設定する設定ステップと、
    前記第1の音を出力する検査波形として、前記波形発生部で発生された検査波形を出力すると共に、前記設定部により設定されて発生された前記検査波形の周波数が基準周波数より低い場合に、前記合成部で合成された検査波形を出力するように切り換える切換ステップと、
    を含む請求項12記載の音除去プログラム。
JP2012061537A 2012-03-19 2012-03-19 音除去装置、音検査装置、音除去方法、及び音除去プログラム Expired - Fee Related JP5867209B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012061537A JP5867209B2 (ja) 2012-03-19 2012-03-19 音除去装置、音検査装置、音除去方法、及び音除去プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012061537A JP5867209B2 (ja) 2012-03-19 2012-03-19 音除去装置、音検査装置、音除去方法、及び音除去プログラム

Publications (2)

Publication Number Publication Date
JP2013195612A true JP2013195612A (ja) 2013-09-30
JP5867209B2 JP5867209B2 (ja) 2016-02-24

Family

ID=49394649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012061537A Expired - Fee Related JP5867209B2 (ja) 2012-03-19 2012-03-19 音除去装置、音検査装置、音除去方法、及び音除去プログラム

Country Status (1)

Country Link
JP (1) JP5867209B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231512A (zh) * 2019-07-04 2019-09-13 深圳曼顿科技有限公司 单火线电能计量装置
CN113099350A (zh) * 2021-05-06 2021-07-09 深圳市美恩微电子有限公司 一种播放音乐时自动降噪的蓝牙耳机
CN113494959A (zh) * 2020-04-08 2021-10-12 苏州文泽可智能科技有限公司 一种判定厂房噪音的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52113679U (ja) * 1975-12-27 1977-08-29
JPS6348099A (ja) * 1986-08-16 1988-02-29 Sony Corp 検査装置
JPH07199990A (ja) * 1993-12-28 1995-08-04 Ricoh Co Ltd 音声認識装置
JP2003167584A (ja) * 2001-12-04 2003-06-13 Yamaha Corp 能動型消音装置
JP2005258215A (ja) * 2004-03-12 2005-09-22 Shigeki Sagayama 信号処理方法及び信号処理装置
US20110222696A1 (en) * 2010-03-15 2011-09-15 Nikhil Balachandran Configurable electronic device reprogrammable to modify the device frequency response

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS52113679U (ja) * 1975-12-27 1977-08-29
JPS6348099A (ja) * 1986-08-16 1988-02-29 Sony Corp 検査装置
JPH07199990A (ja) * 1993-12-28 1995-08-04 Ricoh Co Ltd 音声認識装置
JP2003167584A (ja) * 2001-12-04 2003-06-13 Yamaha Corp 能動型消音装置
JP2005258215A (ja) * 2004-03-12 2005-09-22 Shigeki Sagayama 信号処理方法及び信号処理装置
US20110222696A1 (en) * 2010-03-15 2011-09-15 Nikhil Balachandran Configurable electronic device reprogrammable to modify the device frequency response
JP2013523014A (ja) * 2010-03-15 2013-06-13 ナショナル アクイジション サブ インク デバイス周波数応答を改変するように再プログラムすることができる構成可能な電子デバイス

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110231512A (zh) * 2019-07-04 2019-09-13 深圳曼顿科技有限公司 单火线电能计量装置
CN113494959A (zh) * 2020-04-08 2021-10-12 苏州文泽可智能科技有限公司 一种判定厂房噪音的方法
CN113099350A (zh) * 2021-05-06 2021-07-09 深圳市美恩微电子有限公司 一种播放音乐时自动降噪的蓝牙耳机
CN113099350B (zh) * 2021-05-06 2023-02-03 深圳市美恩微电子有限公司 一种播放音乐时自动降噪的蓝牙耳机

Also Published As

Publication number Publication date
JP5867209B2 (ja) 2016-02-24

Similar Documents

Publication Publication Date Title
US9099066B2 (en) Musical instrument pickup signal processor
JP5197853B2 (ja) モニタリング装置
CN102103855B (zh) 一种检测音频片段的方法及装置
JP2009092791A (ja) 信号処理装置、信号処理方法、およびプログラム
JP5867209B2 (ja) 音除去装置、音検査装置、音除去方法、及び音除去プログラム
JP2019079050A (ja) 高調波ノイズ源からのノイズを抑制する方法及び装置
US7221167B2 (en) Signal distortion measurement and assessment system and method
TW201618562A (zh) 來自複合信號之暫態失真之隔絕、擷取及評估
JP2014126856A (ja) 雑音除去装置及びその制御方法
CA3123970A1 (fr) Mesure temporelle a haute precision d'evenements vibro-acoustiques en synchronisation avec un signal sonore sur dispositif a ecran tactile
JP2008052117A (ja) 雑音除去装置、方法及びプログラム
JP7346552B2 (ja) 正規化を介して音響信号をフィンガープリンティングするための方法、記憶媒体及び装置
TWI767696B (zh) 自我語音抑制裝置及方法
JP2008085613A (ja) 音声認識装置、音声認識方法、移動体、及びロボット
JP5327735B2 (ja) 信号再生装置
JP2020076907A (ja) 信号処理装置、信号処理プログラム及び信号処理方法
JP2017139592A (ja) 音響処理方法および音響処理装置
US9763006B2 (en) Noise reduction in a microphone using vowel detection
JP7461192B2 (ja) 基本周波数推定装置、アクティブノイズコントロール装置、基本周波数の推定方法及び基本周波数の推定プログラム
US11501745B1 (en) Musical instrument pickup signal processing system
JP2012168345A (ja) 機械音除去装置、機械音検出装置、及び、映像撮像装置
JP2008224306A (ja) スペクトラム解析装置
CN109831707B (zh) 音效参数设置方法、音效采集效果器及乐器系统
CN113473348B (zh) 扫频音源定位方法、音频设备品质测试方法、系统及设备
WO2023181144A1 (ja) ノイズ除去装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151221

R150 Certificate of patent or registration of utility model

Ref document number: 5867209

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees