JP2008052772A - 記録装置、ノイズ除去方法、ノイズ除去装置 - Google Patents
記録装置、ノイズ除去方法、ノイズ除去装置 Download PDFInfo
- Publication number
- JP2008052772A JP2008052772A JP2006225239A JP2006225239A JP2008052772A JP 2008052772 A JP2008052772 A JP 2008052772A JP 2006225239 A JP2006225239 A JP 2006225239A JP 2006225239 A JP2006225239 A JP 2006225239A JP 2008052772 A JP2008052772 A JP 2008052772A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- audio signal
- detection
- timing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Signal Processing Not Specific To The Method Of Recording And Reproducing (AREA)
- Circuit For Audible Band Transducer (AREA)
- Studio Devices (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Abstract
【課題】間欠ノイズが重畳した音声信号についてノイズ除去を行う場合の音質劣化を最小限に抑える。
【解決手段】ノイズ発生源に対して設けられたノイズ検出用センサの検出信号に基づいてノイズ発生タイミングを検出することで、適正にノイズ発生タイミングを検出することができる。このようにノイズ発生タイミングを適正に検出できればノイズ除去を行うための区間は必要最小限に抑えることができ音質劣化も最小限に抑えることができる。また、ノイズ発生タイミングが含まれるとされる区間内でのみ上記のノイズ検出動作を行うものとしているのでその分ノイズ検出の誤検出の機会は減り、結果として音質劣化の機会も相応に削減することができる。
【選択図】図5
【解決手段】ノイズ発生源に対して設けられたノイズ検出用センサの検出信号に基づいてノイズ発生タイミングを検出することで、適正にノイズ発生タイミングを検出することができる。このようにノイズ発生タイミングを適正に検出できればノイズ除去を行うための区間は必要最小限に抑えることができ音質劣化も最小限に抑えることができる。また、ノイズ発生タイミングが含まれるとされる区間内でのみ上記のノイズ検出動作を行うものとしているのでその分ノイズ検出の誤検出の機会は減り、結果として音質劣化の機会も相応に削減することができる。
【選択図】図5
Description
本発明は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備える記録装置として、特に記録動作に伴い間欠的なノイズ音を発生するノイズ発生源を有する記録装置に関する。また、例えばこのような記録装置に適用されて、上記音声信号に重畳するノイズを除去するのに好適なノイズ除去方法、及びノイズ除去装置に関する。
従来より、撮影映像及び収音音声を所要の記録媒体に記録するビデオカメラ装置が普及している。そして、このようなビデオカメラ装置として、特に近年では、HDD(ハードディスクドライブ)を内蔵しこれに撮影映像及び収音音声(以下撮影データとも言う)を記録するようにされたものがある。
このように撮影データをHDDに記録するビデオカメラ装置では、回転駆動される磁気ディスク上に磁気ヘッドをロードしたままの状態で撮影データの記録を継続的に行うようにされたものがある。すなわち、記録開始指示から記録停止指示までの間、撮影データを継続的に磁気ディスクに書き込むといったものである。
しかしながら、この手法では、記録動作中は常時磁気ディスクの回転駆動を伴うことから、これを改良した記録手法として、間欠アクセスの手法が提案されている。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
但し、この間欠アクセスの手法を採用する場合には、磁気ヘッドを磁気ディスク上にロードする際、或いは磁気ヘッドをパーキング位置に退避させる際に、デバイスの物理的な衝突に起因するノイズがHDD内部で発生するものとなってしまう。そして、このノイズは、ビデオカメラ装置が備えるマイクロフォンにより収音され、これによって撮影データと共に記録されてしまうという問題が発生する。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
なお、以下の特許文献には音声信号に重畳するノイズを除去する技術について記載されている。
特開2005−203014号公報
特開2002−251823号公報
特開2005−228400号公報
ところで、上記のような間欠アクセスに伴うノイズを対策するとしたときには、それが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
このようなことを考慮すると、上記のような間欠アクセスに伴うノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
このようなことを考慮すると、上記のような間欠アクセスに伴うノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
具体的に、ノイズ発生タイミングの情報を得るにあたっては、例えばノイズの発生源となる該当部位への制御が行われるタイミングからこれを予測するといったことが考えられる(例えば特許文献2,3に記載)。
しかしながら、上記のような間欠アクセスにおいて、記録開始指示に応じ磁気ヘッドのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッドのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、ノイズ除去を行う対象区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
しかしながら、上記のような間欠アクセスにおいて、記録開始指示に応じ磁気ヘッドのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッドのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、ノイズ除去を行う対象区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
そこで、本発明では以上のような問題点に鑑み、記録装置として以下のように構成することとした。
つまり、本発明の記録装置は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、先ず、上記ノイズ発生源に対して設けられたノイズ検出用センサを備える。
また、所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
つまり、本発明の記録装置は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、先ず、上記ノイズ発生源に対して設けられたノイズ検出用センサを備える。
また、所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
また、本発明ではノイズ除去装置として以下のように構成することとした。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、上記ノイズの発生源に対して設けられたノイズ検出用センサを備える。
また、所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、上記ノイズの発生源に対して設けられたノイズ検出用センサを備える。
また、所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段を備える。
また、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段を備えるものである。
上記本発明によれば、ノイズ発生源に対して設けられたノイズ検出用センサからの検出信号に基づいてノイズの発生タイミングを検出するので、例えばノイズ発生源としての部位に対する制御タイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングを検出することができる。
その上で本発明では、ノイズ発生タイミングが含まれるとされる包含区間内でのみ上記検出用センサに基づくノイズ検出動作が行われるので、常時ノイズ検出動作を行う必要はないものとできる。
その上で本発明では、ノイズ発生タイミングが含まれるとされる包含区間内でのみ上記検出用センサに基づくノイズ検出動作が行われるので、常時ノイズ検出動作を行う必要はないものとできる。
上記のようにして本発明によれば、ノイズ発生源に対して設けられたノイズ検出用センサの検出信号に基づいてノイズ発生タイミングを検出することで、適正にノイズ発生タイミングを検出することができる。このようにノイズ発生タイミングを適正に検出することができることで、ノイズ除去を行う区間は必要最小限とすることができ、これによってノイズ除去に伴い生じる可能性のある音質劣化を最小限に抑えることができる。
また、本発明では、上記のようにしてノイズ発生タイミングが含まれるとされる包含区間内でのみノイズ検出動作が行われるものとなるが、これによれば、その分ノイズ検出のための信号分析処理の負担を軽減することができ、消費電力としてもその分低減することができる。
また、このような信号分析に基づくノイズ検出は誤検出の可能性が皆無とはならないものであるが、上記のようにしてノイズ検出のための信号分析を行う期間がノイズの発生タイミングを含むとされる包含区間のみに絞られれば、その分ノイズ検出の誤検出の機会は減らすことができる。そして、このように誤検出の機会を減らすことができれば、そのような誤検出に基づく無駄なノイズ除去動作も行われないものとなり、音質劣化の機会も相応に減らすことができる。すなわち、この面でも音質劣化を最小限に抑えることができる。
また、このような信号分析に基づくノイズ検出は誤検出の可能性が皆無とはならないものであるが、上記のようにしてノイズ検出のための信号分析を行う期間がノイズの発生タイミングを含むとされる包含区間のみに絞られれば、その分ノイズ検出の誤検出の機会は減らすことができる。そして、このように誤検出の機会を減らすことができれば、そのような誤検出に基づく無駄なノイズ除去動作も行われないものとなり、音質劣化の機会も相応に減らすことができる。すなわち、この面でも音質劣化を最小限に抑えることができる。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
[記録装置の構成]
図1は、本発明の記録装置の一実施形態であるビデオカメラ装置1について、その外観構成を斜視図により示した図である。
このビデオカメラ装置1は、図示するようにしてカメラレンズ1aを備え、当該カメラレンズ1aを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置1は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク(マイクロフォン)1bを備えており、この外部音収音マイク1bにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
[記録装置の構成]
図1は、本発明の記録装置の一実施形態であるビデオカメラ装置1について、その外観構成を斜視図により示した図である。
このビデオカメラ装置1は、図示するようにしてカメラレンズ1aを備え、当該カメラレンズ1aを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置1は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク(マイクロフォン)1bを備えており、この外部音収音マイク1bにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
図2は、ビデオカメラ装置1の内部構成について示すブロック図である。
先ず、この図2においても、図1に示したカメラレンズ1aが示されている。カメラレンズ1aは、図示するようにしてカメラブロック5内に設けられる。
カメラブロック5は、上記カメラレンズ1aを介して入射される被写体光を検出するCCD(Charge Coupled Device)センサ或いはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やA/D変換などを行って映像信号を得る映像信号生成部等を備える。
先ず、この図2においても、図1に示したカメラレンズ1aが示されている。カメラレンズ1aは、図示するようにしてカメラブロック5内に設けられる。
カメラブロック5は、上記カメラレンズ1aを介して入射される被写体光を検出するCCD(Charge Coupled Device)センサ或いはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やA/D変換などを行って映像信号を得る映像信号生成部等を備える。
カメラブロック5により得られた映像信号は、図示する映像信号処理部6に供給され、ここで例えばホワイトバランスやY/C処理等の所定の映像信号処理が施されて映像信号圧縮処理部7に供給される。
映像信号圧縮処理部7は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ(図示するビデオストリームVstrm)として出力する。
映像信号圧縮処理部7は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ(図示するビデオストリームVstrm)として出力する。
また、この図2には、図1に示した外部音収音マイク1bも示されている。この外部音収音マイク1bの収音動作に基づき得られた入力音声信号Ainは、図中の一点鎖線により囲うノイズ検出・除去部2に供給される。
ノイズ検出・除去部2は、上記入力音声信号Ainと、後述するノイズ検出用マイク(マイクロフォン)11からの検出用音声信号ANinと、後述するシステムコントローラ12からのノイズ発生予想区間情報NcSとに基づき、ノイズ発生タイミングの検出やこのノイズ発生タイミングに基づいたノイズの除去を行い、その結果を図示する出力音声信号Aoutとして出力する。
なお、このノイズ検出・除去部2の内部構成及び動作については後述する。
なお、このノイズ検出・除去部2の内部構成及び動作については後述する。
音声信号処理部3は、上記出力音声信号Aoutを入力して所定の音声信号処理を施し、その結果を音声信号圧縮処理部4に供給する。
音声信号圧縮処理部4は、上記音声信号処理部3から供給される出力音声信号Aoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ(図示するオーディオストリームAstrm)として出力する。
音声信号圧縮処理部4は、上記音声信号処理部3から供給される出力音声信号Aoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ(図示するオーディオストリームAstrm)として出力する。
AV(Audio Visual)ストリーム生成部8は、先に述べた映像信号圧縮処理部7からのビデオストリームVstrmと、上記音声信号圧縮処理部4からのオーディオストリームAstrmとを入力して、これらを合成したAVストリームAVstrmを生成する。そして、このAVストリームAVstrmをバッファメモリ9に対して供給する。
バッファメモリ9は、後述するシステムコントローラ12からの指示に従って上記AVストリーム生成部8から供給されるAVストリームAVstrmについての内部メモリへの書込/読出を行うことで、AVストリームAVstrmのバッファリングを行う。
HDD(ハードディスクドライブ)10は、システムコントローラ12の指示に基づき上記バッファメモリ9から供給されるAVストリームAVstrmを内部の磁気ディスク(磁気ディスク10B)に対して記録する。
ここで、このHDD10の内部構成を次の図3に示しておく。図3に示されるようにHDD10には、磁気ディスク10Bと、磁気ディスク10Bに対して信号を記録するための磁気ヘッド10Aとが備えられている。なお、この他にも、例えば磁気ヘッド10Aを図中ロード/パーキング位置に駆動するための駆動系や磁気ディスク10Bを回転駆動するための駆動系なども備えられるが、ここではそれら他の詳細な構成については省略している。
また、本実施の形態の場合、HDD10内にはノイズ検出用マイク(マイクロフォン)11が設けられるものとなるが(図示せず、図2参照)、これについては後述する。
また、本実施の形態の場合、HDD10内にはノイズ検出用マイク(マイクロフォン)11が設けられるものとなるが(図示せず、図2参照)、これについては後述する。
図2に戻り、システムコントローラ12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータで構成され、起動されたプログラムに従って当該ビデオカメラ装置1の全体制御、演算処理を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またHDD10へのデータファイルの格納や管理情報の作成・更新等を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またHDD10へのデータファイルの格納や管理情報の作成・更新等を行う。
また、特に実施の形態の場合のシステムコントローラ12は、HDD10に対するAVストリームAVstrm(撮影データとも言う)の記録時における間欠アクセスを実現するための制御処理も実行する。
つまり、システムコントローラ12は、撮影データの記録開始後、直ちにバッファメモリ9からの撮影データの読み出し及びHDD10への撮影データの記録開始指示は行わず、バッファメモリ9への撮影データの蓄積量が第1の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ9からの撮影データの読み出し、及びHDD10によるその記録の開始後は、バッファメモリ9における撮影データの蓄積量が第2の閾値以下となったことに応じ、バッファメモリ9からの撮影データの読み出し及びHDD10の記録動作を停止させる指示を行う。以降も、バッファメモリ9の撮影データの蓄積量と上記第1及び第2の閾値との比較結果に応じ、バッファメモリ9からの撮影データの読み出し開始指示及びHDD10への記録開始指示と、バッファメモリ9からの撮影データの読み出し停止指示及びHDD10への記録停止指示とを繰り返し行うようにされる。
つまり、システムコントローラ12は、撮影データの記録開始後、直ちにバッファメモリ9からの撮影データの読み出し及びHDD10への撮影データの記録開始指示は行わず、バッファメモリ9への撮影データの蓄積量が第1の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ9からの撮影データの読み出し、及びHDD10によるその記録の開始後は、バッファメモリ9における撮影データの蓄積量が第2の閾値以下となったことに応じ、バッファメモリ9からの撮影データの読み出し及びHDD10の記録動作を停止させる指示を行う。以降も、バッファメモリ9の撮影データの蓄積量と上記第1及び第2の閾値との比較結果に応じ、バッファメモリ9からの撮影データの読み出し開始指示及びHDD10への記録開始指示と、バッファメモリ9からの撮影データの読み出し停止指示及びHDD10への記録停止指示とを繰り返し行うようにされる。
[HDDノイズ]
ここで、図2に示すビデオカメラ装置1において、このような間欠アクセスの手法が採用されることによっては、例えばHDD10において磁気ディスク10Bを回転させたままの状態で磁気ヘッド10Aによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
ここで、図2に示すビデオカメラ装置1において、このような間欠アクセスの手法が採用されることによっては、例えばHDD10において磁気ディスク10Bを回転させたままの状態で磁気ヘッド10Aによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
しかしながらこの間欠アクセスの手法において、上述したような記録開始指示に伴っては、HDD10において磁気ヘッド10Aを磁気ディスク10B上にロードすることになるが、その際に、デバイスの物理的な衝突に起因するノイズがHDD10内部で発生することになる。また、記録停止指示に応じては、磁気ヘッド10Aをパーキング位置に退避させることになるが、その際にもデバイスの物理的な衝突に起因するノイズがHDD10内で発生することとなる。
このようにして撮影データの記録動作中にHDD10内で生じるノイズは、外部音収音マイク1bによって収音され、入力音声信号Ainに重畳してしまい、この結果撮影データと共にHDD10に対して記録されてしまうという問題が発生する。
図4は、このようにして間欠アクセスに伴いHDD10内で生じるノイズ(以下HDDノイズとも言う)の特性を例示した図であり、図4(a)ではその時間波形を、また図4(b)ではそのスペクトログラムを示している。
このようなHDDノイズは、HDD10の個体差に依存するものとはなるが、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このHDDノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始/停止ごとに間欠的に発生し、これが撮影データ(音声信号)に重畳されて記録されてしまう。
このようなHDDノイズは、HDD10の個体差に依存するものとはなるが、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このHDDノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始/停止ごとに間欠的に発生し、これが撮影データ(音声信号)に重畳されて記録されてしまう。
ここで、このようなHDDノイズの記録が防止されるようにするためには、それを入力音声信号Ainから除去することが考えられるが、その際には、HDDノイズが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
このようなことを考慮すると、上記のようなHDDノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
そのための具体的な手法としては、例えば従来のようにノイズの発生源への制御が行われるタイミングからこれを予測するといったことが考えられる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド10Aのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド10Bのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド10Aのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド10Bのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
[実施の形態のノイズタイミング検出]
そこで、本実施の形態のビデオカメラ装置1では、図2に示されるようにしてHDD10内にノイズ検出用マイク11を設けるものとし、当該ノイズ検出用マイク11の収音動作に基づき得られる検出用音声信号ANinに基づき、HDDノイズの発生タイミングを検出するものとしている。
そこで、本実施の形態のビデオカメラ装置1では、図2に示されるようにしてHDD10内にノイズ検出用マイク11を設けるものとし、当該ノイズ検出用マイク11の収音動作に基づき得られる検出用音声信号ANinに基づき、HDDノイズの発生タイミングを検出するものとしている。
図2において、ノイズ検出用マイク11からの検出用音声信号ANinは、ノイズ検出・除去部2内における、ノイズタイミング検出・ノイズ区間設定部24に供給される。ノイズタイミング検出・ノイズ区間設定部24は、このようにして供給される検出用音声信号ANinに基づき、後述するようにしてノイズ発生タイミングの検出、及び検出したノイズ発生タイミングに基づくノイズ区間の設定を行う。
ここで、先にも説明したように本実施の形態におけるHDDノイズは、HDD10における記録動作の開始/停止に応じて間欠的に発生するノイズであり、その発生タイミングは、システムコントローラ12からHDD10に対する記録開始指示及び記録停止指示の行われたタイミングから或る程度予測することができる。
そこで、本実施の形態では、このようにして予測される、HDDノイズが発生するとされる区間でのみ、上記ノイズタイミング検出・ノイズ区間設定部24による動作が実行されるようにし、無駄な検出動作の削減を図るものとしている。
図2に示すビデオカメラ装置1では、このように予測されるタイミングの情報を、システムコントローラ12がノイズタイミング検出・ノイズ区間設定部24に対して指示するようにされている。つまり、システムコントローラ12は、上述した間欠アクセスのための制御処理に伴いHDD10に対する記録開始指示、及び記録停止指示を行ったことに応じ、予め定められた区間情報をノイズ発生予想区間情報NcSとしてノイズタイミング検出・ノイズ区間設定部24に対して供給する。
ノイズタイミング検出・ノイズ区間設定部24は、このようにしてシステムコントローラ12から供給されたノイズ発生予想区間情報NcSが示す区間内でのみ、ノイズ検出用マイク11から供給される検出用音声信号ANinについての信号分析を行い、その結果に基づきHDDノイズの発生タイミングを検出する。
そして、検出したノイズ発生タイミングに基づき、HDDノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報NSを出力する。
そして、検出したノイズ発生タイミングに基づき、HDDノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報NSを出力する。
図5は、このようなノイズタイミング検出・ノイズ区間設定部24によるノイズ発生タイミングの検出動作、及びノイズ区間の設定動作について模式的に示した図である。図5(a)では、HDDノイズ成分を含む検出用音声信号ANinの例を示し、図5(b)では図5(a)に示される検出用音声信号ANinに応じて設定されるべきノイズ区間の例を示している。
先ず、ノイズタイミング検出・ノイズ区間設定部24には、図5(a)に示されるように、検出用音声信号ANinの振幅値について予め定められた第1閾値th-s1と第2閾値th-s2とが設定されている。ノイズタイミング検出・ノイズ区間設定部24は、入力される検出用音声信号ANinの振幅値が、これら第1閾値th-s1と第2閾値th-s2とにより定義される所定範囲外の値となったか否かを判別することで、HDDノイズが発生したか否かを判別するようにされる。すなわち、検出用音声信号ANinの振幅値が第1閾値th-s1と第2閾値th-s2とによる所定範囲外となったタイミングを、HDDノイズの発生タイミングとして検出する。
このとき、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間情報NcSが示すノイズ発生予想区間内でのみ、このような検出用音声信号ANinの振幅値と上記閾値th-s1と閾値th-s2との比較を行うようにされている。
このとき、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間情報NcSが示すノイズ発生予想区間内でのみ、このような検出用音声信号ANinの振幅値と上記閾値th-s1と閾値th-s2との比較を行うようにされている。
上記のような判別の結果、HDDノイズの発生タイミングが検出された場合は、図5(b)に示されるようにして、そのノイズ発生タイミングを含む所定区間をノイズ区間として設定する。例えばこの場合は、図示するようにしてノイズ発生タイミングを基準としてその前後にわたる所定区間をノイズ区間として設定する。
その上で、このように設定したノイズ区間の開始点と終了点の情報を、ノイズ区間情報NcSとして出力する。
その上で、このように設定したノイズ区間の開始点と終了点の情報を、ノイズ区間情報NcSとして出力する。
なお、確認のために述べておくと、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間内において、検出用音声信号ANinの振幅値が上記閾値th-s1と閾値th-s2とによる範囲外とならずHDDノイズが検出されなかった場合は、ノイズ区間情報NSの出力は行わないようにされる。
また、HDDノイズが検出されたとしてノイズ区間の設定を行った場合、以降、この設定したノイズ区間内においては検出用音声信号ANinについての信号分析(この場合は振幅値の第1閾値th-s1・第2閾値th-s2との比較)は行わないようにされている。
また、HDDノイズが検出されたとしてノイズ区間の設定を行った場合、以降、この設定したノイズ区間内においては検出用音声信号ANinについての信号分析(この場合は振幅値の第1閾値th-s1・第2閾値th-s2との比較)は行わないようにされている。
また、上記による例では、ノイズ発生タイミングの検出にあたっては、単に検出用音声信号ANinの振幅値と所定閾値とを比較するものとしたが、これに代えて、例えば所定時間内の平均パワーを計算し、その平均パワーと所定閾値との比較結果に基づきノイズ発生タイミングを検出するようにすることもできる。
[ノイズ埋没判定]
本実施の形態のビデオカメラ装置1では、上記のようにしてノイズタイミング検出・ノイズ区間設定部24により検出・設定されたノイズ区間の情報(NS)に基づき、後述する構成によって入力音声信号Ainからのノイズの除去を行うようにされることになるが、先の図4での説明時にも触れたように、本実施の形態の場合のHDDノイズとしてはその信号レベルが比較的小さいものであることから、場合によっては外部音(背景音)に埋もれてかき消される可能性も考えられる。
本実施の形態のビデオカメラ装置1では、上記のようにしてノイズタイミング検出・ノイズ区間設定部24により検出・設定されたノイズ区間の情報(NS)に基づき、後述する構成によって入力音声信号Ainからのノイズの除去を行うようにされることになるが、先の図4での説明時にも触れたように、本実施の形態の場合のHDDノイズとしてはその信号レベルが比較的小さいものであることから、場合によっては外部音(背景音)に埋もれてかき消される可能性も考えられる。
図6〜図9は、このような外部音とHDDノイズとの関係について模式的に示した図である。
先ず図6、図7は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図6では(a)図により背景音の時間波形を、また(b)図によりHDDノイズの時間波形を、さらに(c)図ではこれらHDDノイズと背景音とが加算された入力音声信号Ainの時間波形を示している。また、図7では背景音(破線)とHDDノイズ(実線)の周波数スペクトルをそれぞれ対比して示している。
先ず図6、図7は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図6では(a)図により背景音の時間波形を、また(b)図によりHDDノイズの時間波形を、さらに(c)図ではこれらHDDノイズと背景音とが加算された入力音声信号Ainの時間波形を示している。また、図7では背景音(破線)とHDDノイズ(実線)の周波数スペクトルをそれぞれ対比して示している。
先ず、図6(a)(b)を比較してわかるように、HDDノイズは16ビットフルスケール(±32767)に対しておよそ±300程度の振幅がある。これを踏まえると、例えば図6(a)に示されるような比較的小音量の背景音下での記録時には、図6(c)に示す入力音声信号Ain中において、HDDノイズは埋没しにくくなる。また、これを図7に示す周波数スペクトルで比較した場合にも、HDDノイズのスペクトルは背景音のスペクトルより所々大きいパワーで分布することがわかる。
これら図6、図7の結果からも、比較的小音量の背景音下では人間の聴覚はHDDノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
これら図6、図7の結果からも、比較的小音量の背景音下では人間の聴覚はHDDノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
一方図8、図9は、背景音が比較的大音量とされる場合について示した図であり、図8(a)は背景音、図8(b)はHDDノイズ、図8(c)は入力音声信号Ainの時間波形をそれぞれ示し、図9は背景音(破線)とHDDノイズ(実線)の周波数スペクトルを対比して示している。
図8(a)のような比較的大音量による背景音下では、図8(c)に示す入力音声信号Ain中においてHDDノイズは埋没しやすいものとなり、また図9に示す周波数スペクトルを見ても、HDDノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はHDDノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ainのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
図8(a)のような比較的大音量による背景音下では、図8(c)に示す入力音声信号Ain中においてHDDノイズは埋没しやすいものとなり、また図9に示す周波数スペクトルを見ても、HDDノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はHDDノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ainのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
これらのことから本実施の形態のビデオカメラ装置1では、背景音が比較的小音量とされ、HDDノイズが埋もれないとされた場合にのみノイズ除去が行われるようにし、比較的大音量の背景音下でHDDノイズが埋もれてしまうような場合に無駄なノイズ除去が行われてしまうことを防止するものとしている。
このための構成として、図2に示されるノイズ検出・除去部2には、ディレイ回路21、ノイズ埋没判定部25、除去動作制御部27、ディレイ回路28、及び選択制御部29が設けられる。
先ず、ディレイ回路21は、外部音収音マイク1bからの入力音声信号Ainを入力し、これに予め定められた所定時間長分のディレイを与え出力する。このようなディレイ回路21による遅延が与えられた入力音声信号Ainについては、入力音声信号Ain-1と呼ぶ。
なお、この場合、外部音収音マイク1bからディレイ回路21に入力される入力音声信号Ainについては、このような遅延後の入力音声信号Ainと区別するために、以下、入力音声信号Ain-0とも呼ぶ。
先ず、ディレイ回路21は、外部音収音マイク1bからの入力音声信号Ainを入力し、これに予め定められた所定時間長分のディレイを与え出力する。このようなディレイ回路21による遅延が与えられた入力音声信号Ainについては、入力音声信号Ain-1と呼ぶ。
なお、この場合、外部音収音マイク1bからディレイ回路21に入力される入力音声信号Ainについては、このような遅延後の入力音声信号Ainと区別するために、以下、入力音声信号Ain-0とも呼ぶ。
ここで、このディレイ回路21に設定される遅延時間としては、次に説明するノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。すなわち、ノイズ区間が設定されたときに、少なくともこのノイズ区間よりも前の信号部分がノイズ埋没判定部25に供給されるようにして遅延が行われればよいものである。
ノイズ埋没判定部25は、上記ディレイ回路21からの入力音声信号Ain-1について信号分析を行い、HDDノイズが背景音(つまり入力音声信号AinにおけるHDDノイズ以外の信号成分)に埋もれるか否かを判定する。
具体的に、ノイズ埋没判定部25は、入力音声信号Ain-1の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値th-pより大きい場合には、人間の聴覚によってHDDノイズが知覚されない、すなわちHDDノイズが埋没する(マスクされる)という判定結果を埋没判定結果情報Mとして出力する。また、計算したパワーが上記閾値th-pよりも大きくない場合には、HDDノイズが知覚される、すなわちHDDノイズが埋没しないという判定結果を埋没判定結果情報Mとして出力する。
この際、入力音声信号Ain-1の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
具体的に、ノイズ埋没判定部25は、入力音声信号Ain-1の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値th-pより大きい場合には、人間の聴覚によってHDDノイズが知覚されない、すなわちHDDノイズが埋没する(マスクされる)という判定結果を埋没判定結果情報Mとして出力する。また、計算したパワーが上記閾値th-pよりも大きくない場合には、HDDノイズが知覚される、すなわちHDDノイズが埋没しないという判定結果を埋没判定結果情報Mとして出力する。
この際、入力音声信号Ain-1の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
なお、ノイズ埋没判定は、このように時間波形のパワー計算の結果に基づく以外にも、周波数スペクトルのパワー計算の結果に基づき判定することもできる。
すなわち、入力音声信号Ain-1の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはHDDノイズが埋没するとの判定結果を埋没判定結果情報Mとして出力し、パワーが所定の閾値より小さい場合にはHDDノイズが埋没しないとの判定結果を埋没判定結果情報Mとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ain-1の周波数スペクトルの2乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
すなわち、入力音声信号Ain-1の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはHDDノイズが埋没するとの判定結果を埋没判定結果情報Mとして出力し、パワーが所定の閾値より小さい場合にはHDDノイズが埋没しないとの判定結果を埋没判定結果情報Mとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ain-1の周波数スペクトルの2乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
また、例えば対象とするノイズのスペクトルが所定の帯域において特徴的な周波数分布となるような場合には、その帯域からのみパワーを計算してもよい。周波数スペクトルのうち所定の帯域(例えば周波数a〜bとする)のパワーは、例えば以下のように算出することができる。
Σf = fa 〜 fb {Ain(f)}2
Σf = fa 〜 fb {Ain(f)}2
ところで、これまでで説明したノイズ埋没判定部25の構成によっては、入力音声信号Ain-1について上述のような信号分析を常時行って、埋没判定結果情報Mを常時出力するようにされることになるが、そもそも埋没判定結果情報MはHDDノイズが背景音に埋没するか否かについて示す情報であり、従ってこれが常時出力されている必要性はないと考えることができる。
そこで、実施の形態のノイズ埋没判定部25としては、先に説明したノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSを入力し、このノイズ区間情報NSにより示される区間内でのみ、上述したような信号分析及びその結果に基づくノイズ埋没判定を行うようにされる。
具体的には、ノイズ区間情報NSにより示される区間内でのみ、上述したような入力音声信号Ain-1の時間波形のパワー計算、及びそのパワーについての閾値th-pとの比較、及びその比較結果に基づく埋没判定結果情報Mの出力を行うようにされているものである。
具体的には、ノイズ区間情報NSにより示される区間内でのみ、上述したような入力音声信号Ain-1の時間波形のパワー計算、及びそのパワーについての閾値th-pとの比較、及びその比較結果に基づく埋没判定結果情報Mの出力を行うようにされているものである。
このようなノイズ埋没判定部25により出力される上記埋没判定結果情報Mは、図示するようにして除去動作制御部27に対して供給されると共に、分岐してディレイ回路28を介し選択制御部29に対しても供給される。
先ず、上記除去動作制御部27は、上記埋没判定結果情報Mに基づき、後述するノイズ除去信号生成部26の動作をON/OFFするためのON/OFF制御信号を出力する。具体的に、埋没判定結果情報Mが、HDDノイズが埋没しないとの判定結果を示すものである場合には、上記ON/OFF制御信号としてONを指示する信号を出力し、HDDノイズが埋没するとの判定結果を示すものである場合には上記ON/OFF制御信号としてOFFを指示する信号を出力する。
ここで後述もするが、上記ノイズ除去信号生成部26は、入力音声信号Ain(Ain-2)を入力して所定の信号処理を施すことで、HDDノイズを除去したノイズ除去信号を生成する。このようなノイズ除去信号生成部26に対し、上記のように埋没判定結果情報Mの内容に応じたON/OFF制御信号が供給されることで、HDDノイズが背景音に埋もれるとされた場合にはノイズ除去信号の生成動作が行われず、HDDノイズが背景音に埋もれないとされた場合にのみノイズ除去信号の生成動作が行われるようにすることができる。
一方、上記選択制御部29は、上述したようにしてディレイ回路28を介して得られる埋没判定結果情報Mを入力し、この埋没判定結果情報Mに基づき、図示する信号挿入部30に入力される2つの入力信号のうちの一方を択一的に選択させるための選択制御信号SLCを出力する。
後述もするように上記信号挿入部30は、先に説明したディレイ回路21と共に図示するディレイ回路22とディレイ回路23とを介して得られる入力音声信号Ain-3を入力すると共に、ノイズ除去信号生成部26からのノイズ除去信号を入力するようにされる。そして、上記選択制御信号SLCに応じて、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択するものとされる。
上記選択制御部29は、上記埋没判定結果情報Mが、HDDノイズが背景音に埋もれるとの判定結果を示すものである場合には、入力音声信号Ain-3の選択を指示する選択制御信号SLCを出力する。一方、上記埋没判定結果情報MがHDDノイズが背景音に埋もれないとの判定結果を示すものである場合には、ノイズ除去信号の選択を指示する選択制御信号SLCを出力する。
すなわち、このような選択制御信号SLCが信号挿入部30に対して供給されることで、HDDノイズが背景音に埋もれるとされた場合には入力音声信号Ain-3がそのまま出力され(つまりノイズ除去の行われていない音声信号が出力され)、HDDノイズが背景音に埋もれないとされた場合にのみ上記ノイズ除去信号(つまりノイズが除去された音声信号)が出力されるようにすることができる。
すなわち、このような選択制御信号SLCが信号挿入部30に対して供給されることで、HDDノイズが背景音に埋もれるとされた場合には入力音声信号Ain-3がそのまま出力され(つまりノイズ除去の行われていない音声信号が出力され)、HDDノイズが背景音に埋もれないとされた場合にのみ上記ノイズ除去信号(つまりノイズが除去された音声信号)が出力されるようにすることができる。
このようにしてノイズ埋没判定部25が出力する埋没判定結果情報Mによっては、HDDノイズが背景音に埋没しなとされた場合、つまりノイズ除去が必要であるとされた場合に、入力音声信号Ainについてのノイズ除去処理が行われると共に、ノイズ除去の行われた音声信号が選択出力されるようにすることができる。
一方、HDDノイズが背景音に埋没するとされた場合、つまりノイズ除去が不要であるとされた場合には、入力音声信号Ainについてのノイズ除去処理は行われないようにすると共に、ノイズ除去の行われていない音声信号が選択出力されるようにすることができる。
一方、HDDノイズが背景音に埋没するとされた場合、つまりノイズ除去が不要であるとされた場合には、入力音声信号Ainについてのノイズ除去処理は行われないようにすると共に、ノイズ除去の行われていない音声信号が選択出力されるようにすることができる。
なお、上述したディレイ回路22、ディレイ回路23、及びディレイ回路28にそれぞれ設定されるべき遅延時間については後述する。
[ノイズ除去]
続いては、本実施の形態としてのビデオカメラ装置1にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のHDDノイズについて再考してみると、このHDDノイズとしては、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
続いては、本実施の形態としてのビデオカメラ装置1にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のHDDノイズについて再考してみると、このHDDノイズとしては、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
このようにしてHDDノイズは、その発生時間が非常に短い期間となっていることから、例えば従来行われていたような適応型フィルタを用いたノイズ除去手法では、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
また、HDDノイズは上記のように比較的広帯域にわたりそのパワーが分布する特性とされるので、これを例えば逆位相の信号を加算することにより除去する手法を適用した場合には、ノイズを除去することが困難となる可能性がある。
そこで、本実施の形態では、このようなHDDノイズの特性を考慮して適正にこれを除去することのできるノイズ除去の手法を採用するものとしている。
図10は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図10(a)は、入力音声信号Ainについてノイズ区間とその前後を含む時間波形とを示し、図10(b)ではノイズ除去後の音声出力信号Aoutについてノイズ区間とその前後を含む時間波形を示している。
図10は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図10(a)は、入力音声信号Ainについてノイズ区間とその前後を含む時間波形とを示し、図10(b)ではノイズ除去後の音声出力信号Aoutについてノイズ区間とその前後を含む時間波形を示している。
本実施の形態では、上記のようなHDDノイズの特性を考慮して、ノイズ区間の音声信号を、ノイズ発生タイミングの周辺の音声信号の波形情報を利用して補間するものとしている。
つまり、図10(b)に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにしてノイズ区間の信号を補間するというものである。
つまり、図10(b)に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにしてノイズ区間の信号を補間するというものである。
このようなノイズ除去手法を実現するために、実施の形態のビデオカメラ装置1は、図2に示すノイズ除去信号生成部26と信号挿入部30とを備えている。
図2に示すようにしてノイズ除去信号生成部26には、ディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
ノイズ除去信号生成部26は、上記入力音声信号Ain-2における上記ノイズ区間情報NSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部30に対して供給する。
図2に示すようにしてノイズ除去信号生成部26には、ディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
ノイズ除去信号生成部26は、上記入力音声信号Ain-2における上記ノイズ区間情報NSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部30に対して供給する。
また、先に述べたようにしてノイズ除去信号生成部26には、除去動作制御部27からのON/OFF制御信号が供給され、このON/OFF制御信号に基づきノイズ除去信号の生成動作のON/OFFが制御されるようになっている。
なお、このノイズ除去信号生成部26の内部構成及び動作については後述する。
なお、このノイズ除去信号生成部26の内部構成及び動作については後述する。
信号挿入部30には、ノイズ除去信号生成部26からのノイズ除去信号と共に、ディレイ回路21とディレイ回路22とディレイ回路23とを介して得られる入力音声信号Ain-3と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
この信号挿入部30は、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3における上記ノイズ区間情報NSが示すノイズ区間に、上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。この信号挿入部30の選択出力は、図示するようにして音声出力信号Aoutとして音声信号処理部3に対して供給される。
この信号挿入部30は、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3における上記ノイズ区間情報NSが示すノイズ区間に、上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。この信号挿入部30の選択出力は、図示するようにして音声出力信号Aoutとして音声信号処理部3に対して供給される。
このような信号挿入部30の選択動作は、先にも述べたように選択制御部29からの選択制御信号SLCによって制御されるようになっている。
つまり、信号挿入部30は、上記選択制御信号SLCにより入力音声信号Ain-3の選択が指示された場合は、入力音声信号Ain-3をそのまま選択出力する。そして、上記選択制御信号SLCによりノイズ除去信号の選択が指示された場合は、上記入力音声信号Ain-3におけるノイズ区間の信号の代わりに、上記ノイズ除去信号を出力するようにされる。換言すれば、入力音声信号Ain-3におけるノイズ区間にノイズ除去信号を挿入するようにされるものである。
つまり、信号挿入部30は、上記選択制御信号SLCにより入力音声信号Ain-3の選択が指示された場合は、入力音声信号Ain-3をそのまま選択出力する。そして、上記選択制御信号SLCによりノイズ除去信号の選択が指示された場合は、上記入力音声信号Ain-3におけるノイズ区間の信号の代わりに、上記ノイズ除去信号を出力するようにされる。換言すれば、入力音声信号Ain-3におけるノイズ区間にノイズ除去信号を挿入するようにされるものである。
ここで、本実施の形態のノイズ除去信号の生成手法について説明する。
図11は、図2に示したノイズ除去信号生成部26の内部構成を示している。
この図11に示すようにしてノイズ除去信号生成部26内には、ディレイ回路31、前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35、クロスフェード処理部36が備えられる。
先の図2にも示したように、ノイズ除去信号生成部26には、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSと、除去動作制御部27からのON/OFF制御信号が供給される。図示は省略しているが、上記ノイズ区間情報NSは、ノイズ除去信号生成部26内の各部に対して供給されている。
また、上記ON/OFF制御信号としても、ノイズ除去信号生成部26内の各部に対して供給され、各部はこのON/OFF制御信号に応じてON/OFFするように構成されている。
図11は、図2に示したノイズ除去信号生成部26の内部構成を示している。
この図11に示すようにしてノイズ除去信号生成部26内には、ディレイ回路31、前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35、クロスフェード処理部36が備えられる。
先の図2にも示したように、ノイズ除去信号生成部26には、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSと、除去動作制御部27からのON/OFF制御信号が供給される。図示は省略しているが、上記ノイズ区間情報NSは、ノイズ除去信号生成部26内の各部に対して供給されている。
また、上記ON/OFF制御信号としても、ノイズ除去信号生成部26内の各部に対して供給され、各部はこのON/OFF制御信号に応じてON/OFFするように構成されている。
図11において、先ず前半ピッチ計算部32、後半ピッチ計算部33に対しては、先の図2に示したディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2が入力される。
上記前半ピッチ計算部32は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の開始点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報P-fを得る。
また、上記後半ピッチ計算部33は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の終了点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報P-rを得る。
上記前半ピッチ計算部32は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の開始点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報P-fを得る。
また、上記後半ピッチ計算部33は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の終了点を基準としてその前後の最も相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報P-rを得る。
上記前半ピッチ計算部32及び後半ピッチ計算部33において、上記ピッチ周期は、例えば以下で定義するような平均歪みを最小にするサンプル数Tとして算出することができる。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部32及び後半ピッチ計算部33においては、波形相関が最も高くなるようなピッチ周期が算出される。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部32及び後半ピッチ計算部33においては、波形相関が最も高くなるようなピッチ周期が算出される。
なお、上記のようにしてこの場合のピッチ周期の計算時には、ノイズ区間の開始点・終了点を基準としてその前後も対象とすることで、ノイズ区間内の部分もピッチ計算の対象としているが、これは、実施の形態ではノイズ区間を実際にHDDノイズの存在する区間に対して広めに設定しているためであり、さらに、HDDノイズは極めてレベルの小さい信号でありピッチ計算において支配的な信号にはならないためである。
上記前半ピッチ計算部32にて得られた前半ピッチ情報P-fは、前半信号生成部34に対して供給される。また、上記後半ピッチ計算部33にて得られた後半ピッチ情報P-rは後半信号生成部35に対して供給される。
前半信号生成部34、及び後半信号生成部35に対しては、入力音声信号Ain-2が図示するディレイ回路31によって遅延された入力音声信号Ain-2dが入力される。
なお、このディレイ回路31に設定されるべき遅延時間については後述する。
なお、このディレイ回路31に設定されるべき遅延時間については後述する。
前半信号生成部34は、上記入力音声信号Ain-2dと、上記前半ピッチ情報P-fとに基き、次の図12に説明するようにして前半信号を生成する。
また後半信号生成部35は、上記入力音声信号Ain-2dと上記後半ピッチ情報P-rとに基き、次の図13に説明するようにして後半信号を生成する。
また後半信号生成部35は、上記入力音声信号Ain-2dと上記後半ピッチ情報P-rとに基き、次の図13に説明するようにして後半信号を生成する。
図12、図13は、上記前半信号生成部34における前半信号の生成処理と、後半信号生成部35における後半信号の生成処理とについてそれぞれ模式的に示している。
先ず、図12において、例えば図12(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部32によっては、図12(b)に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
先ず、図12において、例えば図12(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部32によっては、図12(b)に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
そして、前半信号生成部34は、このようなピッチ周期により特定される2つの区間(ピッチ区間)を示す前半ピッチ情報P-fに基づき、入力音声信号について所定の信号処理を施すことによって前半信号を生成する。
つまり、前半信号生成部34は、先ずは入力音声信号(Ain-2d)における、上記前半ピッチ情報P-fにより示される2つのピッチ区間の信号に対して、図12(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
つまり、前半信号生成部34は、先ずは入力音声信号(Ain-2d)における、上記前半ピッチ情報P-fにより示される2つのピッチ区間の信号に対して、図12(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
そして、前半信号生成部34は、このようにしてそれぞれの窓データにより重み付けされた音声信号を図12(d)に示すようにして加算することにより、1ピッチ周期分の重み付け加算信号を得る。
その上で、次の図12(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
その上で、次の図12(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
ここで、個々の重み付け加算信号は、元々波形相関の高い信号同士を重み付け加算したものであり、またそれを繰り返した上記繰り返し重み付け加算信号は、入力音声信号の連続性を保持した繰り返し手法であるため、このようにして生成される繰り返し重み付け加算信号は聴感上極めて自然な音声信号とすることができる。
前半信号生成部34は、この繰り返し重み付け加算信号を前半信号として出力する。
前半信号生成部34は、この繰り返し重み付け加算信号を前半信号として出力する。
また、図13は、後半信号生成部35における後半信号の生成処理について示している。
この場合も、例えば図13(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部33によっては、図13(b)に示すようなピッチ周期が計算される。このような後半ピッチ計算部33によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
この場合も、例えば図13(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部33によっては、図13(b)に示すようなピッチ周期が計算される。このような後半ピッチ計算部33によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
そして、後半信号生成部35としても、このようなピッチ周期により特定される2つのピッチ区間を示す後半ピッチ情報P-rに基づき、入力音声信号について所定の信号処理を施すことによって後半信号を生成する。
すなわち後半信号生成部35は、入力音声信号(Ain-2d)における、上記後半ピッチ情報P-rにより示される2つのピッチ区間の信号に対して、図13(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
すなわち後半信号生成部35は、入力音声信号(Ain-2d)における、上記後半ピッチ情報P-rにより示される2つのピッチ区間の信号に対して、図13(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
そして、後半信号生成部35としても、このようにしてそれぞれの窓データにより重み付けされた入力音声信号を、次の図13(d)に示すようにして加算して1ピッチ周期分の重み付け加算信号を得る。
その上で、図13(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
その上で、図13(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
後半信号生成部35は、このようにして生成した繰り返し重み付け加算信号を後半信号として出力する。この後半信号としても、上記のようにして前半信号の場合と同様の手法により生成されることで、聴感上極めて自然な音声信号とすることができる。
説明を図11に戻す。
クロスフェード処理部36は、前半信号生成部34が出力する前半信号と、後半信号生成部35が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
クロスフェード処理部36は、前半信号生成部34が出力する前半信号と、後半信号生成部35が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
図14は、クロスフェード処理部36のクロスフェード処理について模式的に示した図である。
クロスフェード処理部36では、図14(a)に示されるようにして、前半信号生成部34からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図14(b)に示されるようにして、後半信号生成部35からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、それぞれ図示するようにして前半信号と後半信号とがオーバーラップする区間の長さを有し、「1」から「0」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「1」として、前半信号の終了点にかけて徐々に「0」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「1」として後半信号の開始点にかけて徐々に「0」に向けて低下するものが設定される。
クロスフェード処理部36では、図14(a)に示されるようにして、前半信号生成部34からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図14(b)に示されるようにして、後半信号生成部35からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、それぞれ図示するようにして前半信号と後半信号とがオーバーラップする区間の長さを有し、「1」から「0」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「1」として、前半信号の終了点にかけて徐々に「0」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「1」として後半信号の開始点にかけて徐々に「0」に向けて低下するものが設定される。
そして、クロスフェード処理部36は、このようにして重み付けされた前半信号および後半信号を、次の図14(c)に示すように加算することにより、ノイズ区間と等しい長さの前半・後半重み付け加算信号を得る。
クロスフェード処理部36は、このような処理により生成された前半・後半重み付け加算信号(つまりクロスフェード信号)を、ノイズ除去信号として出力する。
クロスフェード処理部36は、このような処理により生成された前半・後半重み付け加算信号(つまりクロスフェード信号)を、ノイズ除去信号として出力する。
先に述べたようにしてこのノイズ除去信号は、図2(図11)に示される信号挿入部30に入力され、これが入力音声信号(Ain-3)におけるノイズ区間に挿入されることで、ノイズ除去が行われるようになっている。
なお、以上のようにしてノイズ除去が行われるノイズ検出・除去部2においては、複数のディレイ回路が設けられているが、ここでそれら各ディレイ回路(21,22,23,28,31)に設定されるべき遅延時間について整理しておく。
先ず、ディレイ回路21の遅延時間としては、先にも述べたようにノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
先ず、ディレイ回路21の遅延時間としては、先にも述べたようにノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
また、ディレイ回路22の遅延時間としては、ノイズ埋没判定部25によるノイズ埋没判定が行われた後に、ノイズ除去信号生成部26に対して入力音声信号Ain-2のノイズ区間前の信号部分が供給されるように設定されればよい。
また、ディレイ回路31については、前半ピッチ情報P-fの出力後に前半信号生成部34に入力音声信号Ain-2dのノイズ区間開始点より所定分前の信号部分が供給され、且つ後半ピッチ情報P-rの出力後に後半信号生成部35に入力音声信号Ain-2dのノイズ区間終了点より所定分前の信号部分が供給されるようにしてその遅延時間が設定されればよい。
また、ディレイ回路23については、ノイズ除去信号生成部26によるノイズ除去信号の生成後に、信号挿入部30に対して入力音声信号Ain-3のノイズ区間前の信号部分が供給されるようにその遅延時間が設定されればよい。
さらに、ディレイ回路28については、ノイズ除去信号生成部26によるノイズ除去信号の生成後に、選択制御部30に対して更新された埋没判定結果情報Mが供給されるようにその遅延時間が設定されればよい。
各ディレイ回路に対してこのような遅延時間を設定することで、連続的に入力される入力音声信号に対して、ノイズ検出に応じてそのノイズ区間を補間してノイズを除去する動作、及びノイズ検出に応じてそのノイズ区間についてのノイズ埋没判定を行う動作、及び埋没判定結果に応じてノイズ除去の実行/不実行を制御する動作が、それぞれ適正に行われるようにすることができる。
[実施の形態のまとめ及び変形例]
これまでで説明したようにして、本実施の形態のビデオカメラ装置1によれば、ノイズ発生源としてのHDD10内に設けたノイズ検出用マイク11からの検出信号に基づいてHDDノイズの発生タイミングを検出するので、例えばHDD10への記録開始/停止指示のタイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングの検出を行うことができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
これまでで説明したようにして、本実施の形態のビデオカメラ装置1によれば、ノイズ発生源としてのHDD10内に設けたノイズ検出用マイク11からの検出信号に基づいてHDDノイズの発生タイミングを検出するので、例えばHDD10への記録開始/停止指示のタイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングの検出を行うことができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
そして、本実施の形態では、上記のようなノイズ検出用マイク11の検出信号に基づくノイズ発生タイミングの検出のための信号分析を、ノイズ発生タイミングが含まれるとされる所定区間内でのみ行うものとしている。具体的には、HDD10に対する記録開始/停止指示に応じてシステムコントローラ12が出力するノイズ発生予想区間情報NcSが示す範囲内でのみ行うものとしている。
これにより、ノイズタイミング検出・ノイズ区間設定部24では、常時ノイズタイミング検出のための信号分析を行う必要がないものとでき、その分の処理負担と消費電力とを削減することができる。
これにより、ノイズタイミング検出・ノイズ区間設定部24では、常時ノイズタイミング検出のための信号分析を行う必要がないものとでき、その分の処理負担と消費電力とを削減することができる。
また、このとき、上記信号分析はあくまでHDDノイズの発生することが予想される区間内で行われるものであるので、上記のように信号分析区間が削減されることによるHDDノイズの検出漏れはないものとすることができる。すなわちこのことから、HDDノイズの検出漏れの防止と、分析期間の削減による処理負担・消費電力の削減との両立が図られるものである。
また、上記のような信号分析に基づくノイズタイミング検出は誤検出の可能性が皆無ではないが、上記のようにしてノイズタイミング検出のための信号分析を行う期間がノイズ発生予想区間NcSの区間内のみに絞られれば、その分ノイズタイミング検出の誤検出の機会は減り、その分、このような誤検出に基づく無駄なノイズ除去動作が行われる機会も減らすことができる。そして、このようにノイズ誤検出に基づく無駄なノイズ除去動作の機会を減らすことができれば、音質劣化の機会も減らすことができる。
すなわち、本実施の形態によれば、このようにノイズ検出のための信号分析の期間を削減したという面でも、音質劣化の最小限化を図ることができるものである。
すなわち、本実施の形態によれば、このようにノイズ検出のための信号分析の期間を削減したという面でも、音質劣化の最小限化を図ることができるものである。
また、実施の形態では、ノイズ埋没判定部25、除去動作制御部27、及び選択制御部29の動作により、HDDノイズが入力音声信号Ainにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部26によるノイズ除去信号の生成動作を実行させ、且つ信号挿入部30にてノイズ除去信号(つまりノイズの除去された音声信号)が選択出力されるようにしている。
このようにして、HDDノイズが背景音に埋没しないとされた場合にのみノイズの除去された音声信号が選択出力されるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去が行われてしまうことを効果的に防止することができる。そして、このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に減らすことができる。
このようにして、HDDノイズが背景音に埋没しないとされた場合にのみノイズの除去された音声信号が選択出力されるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去が行われてしまうことを効果的に防止することができる。そして、このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に減らすことができる。
また、上記のようにしてHDDノイズが入力音声信号Ainにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部26によるノイズ除去信号の生成動作を実行させるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去動作が行われてしまうことを効果的に防止することができ、その分処理負担の削減と消費電力の削減を図ることができる。
また、実施の形態では、上記のようなノイズ埋没判定部25によるノイズ埋没判定のための信号分析を常時行うものとはせず、HDDノイズの発生するとされる区間内でのみ行うものとしている。具体的には、ノイズタイミング検出・ノイズ区間設定部24によって設定されたノイズ区間内でのみ行うものとしている。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部24の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部24の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
そして、ノイズ埋没判定としても、このように少なくともノイズが発生するとされる区間内でのみ信号分析が行われるものとされることで、ノイズ埋没判定の判定漏れがないようにすることができ、このことで判定漏れの防止と上記のような処理負担・消費電力の削減と両立が図られるものとなる。
また、実施の形態では、ノイズ発生源に対して設けたノイズ検出用マイクによりノイズ発生タイミングを検出する手法を採る場合に、上記のようなノイズ埋没判定に応じたノイズ除去動作の制御を行うものとしているが、このことによっては以下のような利点も得られる。
すなわち、このようにしてノイズ検出用マイクを用いる場合には、仮に背景音が比較的大きい状況下には、その背景音がノイズ検出用マイクにより収音されることで、ノイズが誤検出される可能性がなくはないが、万が一背景音の比較的大きい状況下でノイズが誤検出されてしまったとしても、上記のようなノイズ埋没判定の結果に基づくノイズ除去制御が行われることで、結果的にはノイズ除去が行われないようにすることができることになる。
すなわち、このようにしてノイズ検出用マイクを用いる場合には、仮に背景音が比較的大きい状況下には、その背景音がノイズ検出用マイクにより収音されることで、ノイズが誤検出される可能性がなくはないが、万が一背景音の比較的大きい状況下でノイズが誤検出されてしまったとしても、上記のようなノイズ埋没判定の結果に基づくノイズ除去制御が行われることで、結果的にはノイズ除去が行われないようにすることができることになる。
また、実施の形態では、ノイズタイミング検出・ノイズ区間設定部24において、検出されたノイスタイミングに基づく所定区間をノイズ区間として設定し、入力音声信号Ain中のこのノイズ区間に対し、入力音声信号Ainから生成したノイズ除去信号を置き換えるようにして挿入することで、ノイズ除去を行うものとしている。
これによれば、本実施の形態のHDDノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
これによれば、本実施の形態のHDDノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
また、実施の形態では、ノイズ区間の開始点前後の入力音声信号Ain、及びノイズ区間の終了点前後の入力音声信号Ainに対してピッチ計算を行い、得られたピッチ情報Pに基いてノイズ区間を補間するための前半信号および後半信号の生成を行い、これら前半信号と後半信号とのクロスフェード処理を行ってノイズ除去信号を生成するものとしたが、これにより、ノイズ区間前後の音声のつながりが聴感上極めて自然となるようにすることのできるノイズ除去信号を生成することができる。すなわち、このようなノイズ除去信号を用いて、聴感上極めて自然にノイズ区間を補間することができる。
−実施の形態の変形例−
<第1の変形例>
以下、実施の形態の変形例について説明する。
先ず、第1の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
<第1の変形例>
以下、実施の形態の変形例について説明する。
先ず、第1の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
図15は、第1の変形例としてのビデオカメラ装置15の内部構成を示すブロック図である。なお、この図において、既に図2にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
図示するようにしてこの場合は、ディレイ回路21からの入力音声信号Ain-1、ディレイ回路22からの入力音声信号Ain-2、ディレイ回路31からの入力音声信号Ain-2d、及びディレイ回路23からの入力音声信号Ain-3が、それぞれシステムコントローラ16に対して供給される。また、システムコントローラ16には、ノイズ検出用マイク11からの検出用音声信号ANinも供給される。
この場合のシステムコントローラ16としても、先に説明したシステムコントローラ12と同様に、間欠アクセスのための制御処理を行うものとされる。
図示するようにしてこの場合は、ディレイ回路21からの入力音声信号Ain-1、ディレイ回路22からの入力音声信号Ain-2、ディレイ回路31からの入力音声信号Ain-2d、及びディレイ回路23からの入力音声信号Ain-3が、それぞれシステムコントローラ16に対して供給される。また、システムコントローラ16には、ノイズ検出用マイク11からの検出用音声信号ANinも供給される。
この場合のシステムコントローラ16としても、先に説明したシステムコントローラ12と同様に、間欠アクセスのための制御処理を行うものとされる。
図16〜図18は、先に説明した実施の形態としての動作を実現するために、システムコントローラ16が実行すべき処理動作について示したフローチャートである。なお、これらの図に示す処理動作は、システムコントローラ16が例えば内部のROM等に格納されるプログラムに基づいて実行するものである。
先ず、図16では、図2に示したノイズタイミング検出・ノイズ区間設定部24の動作に対応した処理動作について示している。
先ず、ステップS101では、記録開始/停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、HDD10への記録開始指示又は記録停止指示の発生を待機するようにされる。
先ず、ステップS101では、記録開始/停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、HDD10への記録開始指示又は記録停止指示の発生を待機するようにされる。
そして、上記記録開始/停止指示が発生した場合は、ステップS102において、検出用音声信号ANinを入力する。
さらに、続くステップS103では、ノイズ発生予想区間における信号分析を行う。すなわち、上記のようにして記録開始/停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間(ノイズ発生予想区間情報NcS)を設定し、入力される検出用音声信号ANinの振幅値と先に述べた閾値th-s1と閾値th-s2との比較を行う。
さらに、続くステップS103では、ノイズ発生予想区間における信号分析を行う。すなわち、上記のようにして記録開始/停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間(ノイズ発生予想区間情報NcS)を設定し、入力される検出用音声信号ANinの振幅値と先に述べた閾値th-s1と閾値th-s2との比較を行う。
続くステップS104では、検出用音声信号ANinの振幅値が所定範囲外であるか否かについて判別する。つまり、上記信号分析の結果から検出用音声信号ANinの振幅値が閾値th-s1と閾値th-s2とによる所定範囲を超えたか否かについて判別処理を行う。
ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えていないとして否定結果が得られた場合は、ステップS105に進みノイズ発生予想区間が終了したか否かを判別する。そして、ノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合はステップS104に戻り、またノイズ発生予想区間が終了したとして肯定結果が得られた場合はステップS107に進んで信号分析を終了して「RETURN」となる。
ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えていないとして否定結果が得られた場合は、ステップS105に進みノイズ発生予想区間が終了したか否かを判別する。そして、ノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合はステップS104に戻り、またノイズ発生予想区間が終了したとして肯定結果が得られた場合はステップS107に進んで信号分析を終了して「RETURN」となる。
また、ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えたとして肯定結果が得られた場合は、ステップS106において、その検出タイミングを含む所定長期間をノイズ区間(ノイズ区間情報NS)として設定した後、ステップS107にて信号分析を終了して「RETURN」となる。
また、図17は、ノイズ埋没判定部25の動作に対応した処理動作について示している。
図17において、ステップS201では、ノイズ検出待機処理として、先の図16に示したステップS106によるノイズ区間の設定を待機するようにされる。
そして、ノイズ区間が設定された場合は、ステップS202において、入力音声信号Ain-1を入力する。
図17において、ステップS201では、ノイズ検出待機処理として、先の図16に示したステップS106によるノイズ区間の設定を待機するようにされる。
そして、ノイズ区間が設定された場合は、ステップS202において、入力音声信号Ain-1を入力する。
続くステップS203では、ノイズ区間における入力音声信号Ain-1のパワー(P-NSとする)を計算する。つまり、このパワーP-NSとしては、先に説明したノイズ埋没判定部25と同様に、ノイズ区間における入力音声信号Ain-1の例えば時間波形のパワーを計算する。このような入力音声信号Ain-1の時間波形のパワーは、先にも述べたように各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
ステップS204では、計算したパワーP-NSが閾値th-pを超えるか否かについて判別処理を行う。パワーP-NSが閾値th-pを超えるとして肯定結果が得られた場合は、ステップS205に進みノイズ埋没判定を行って「RETURN」となる。
一方、パワーP-NSが閾値th-pを超えないとして否定結果が得られた場合は、ステップS206に進んでノイズ非埋没判定を行って「RETURN」となる。
一方、パワーP-NSが閾値th-pを超えないとして否定結果が得られた場合は、ステップS206に進んでノイズ非埋没判定を行って「RETURN」となる。
さらに、図18は、ノイズ除去信号生成部26、除去動作制御部27、選択制御部29、及び信号挿入部30の動作に対応した処理動作を示している。
先ず、ステップS301では、上記ステップS206によるノイズ非埋没判定を待機するようにされる。そして、ノイズ非埋没判定があった場合は、ステップS302において入力音声信号Ain-2を入力する。
先ず、ステップS301では、上記ステップS206によるノイズ非埋没判定を待機するようにされる。そして、ノイズ非埋没判定があった場合は、ステップS302において入力音声信号Ain-2を入力する。
続くステップS303では、前半ピッチ情報P-f、後半ピッチ情報P-rを計算する処理を実行する。すなわち、先に説明した前半ピッチ計算部32、後半ピッチ計算部33と同様に、入力音声信号Ain-2のノイズ区間開始点前後のピッチ周期、終了点前後のピッチ周期を計算し、それら計算したピッチ周期から前半ピッチ情報P-f、後半ピッチ情報P-rを得る。
ステップS304では、入力音声信号Ain-2dを入力する。
そして、ステップS305では、前半ピッチ情報P-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、前半ピッチ情報P-fにより示される2つのピッチ区間の信号に先の図12(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図12(d)に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
そして、ステップS305では、前半ピッチ情報P-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、前半ピッチ情報P-fにより示される2つのピッチ区間の信号に先の図12(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図12(d)に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
また、ステップS306では、後半ピッチ情報P-rに基づき後半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、後半ピッチ情報P-rにより示される2つのピッチ区間の信号に先の図13(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図13(d)に示したようにノイズ区間の終了点から開始点側に所定回数繰り返すことで後半信号を生成する。
そして、ステップS307では、前半信号・後半信号のクロスフェード処理を実行する。つまり、上記のようにして生成した前半信号、後半信号について、先の図14に示したようなクロスフェード処理を実行してクロスフェード信号(ノイズ除去信号)を得る。
続くステップS308では、入力音声信号Ain-3のノイズ区間にノイズ除去信号を挿入して出力するための処理を実行する。すなわち、入力される上記入力音声信号Ain-3と、上記のようにして生成したノイズ除去信号のうち上記ノイズ除去信号を選択し、これを上記入力音声信号Ain-3のノイズ区間の信号部分の代わりに出力する。
これにより、図15に示す出力音声信号Aoutとして、HDDノイズが除去された信号を出力することができる。
これにより、図15に示す出力音声信号Aoutとして、HDDノイズが除去された信号を出力することができる。
<その他の変形例>
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、ノイズ発生源に対して設けられたノイズ検出用センサとして、ノイズ検出用マイク11としてのマイクロフォンを設ける場合を例示したが、ノイズ検出用センサとしてはこのようなマイクロフォン以外にも、例えば振動センサなど、ノイズの発生を検出することのできるセンサであれば他のセンサを用いることができる。
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、ノイズ発生源に対して設けられたノイズ検出用センサとして、ノイズ検出用マイク11としてのマイクロフォンを設ける場合を例示したが、ノイズ検出用センサとしてはこのようなマイクロフォン以外にも、例えば振動センサなど、ノイズの発生を検出することのできるセンサであれば他のセンサを用いることができる。
ここで、例えば上記のような振動センサを用いる場合には、次のような効果を期待できる。つまり、背景音が大きい場合、ノイズ検出用センサとしてマイクのみを用いる場合だとノイズが誤検出される可能性がなくはないが、例えばこのような振動センサからの検出信号に基づくノイズ検出も組み合わせるものとする(つまり双方のセンサの検出信号の分析結果に基づきノイズ検出を行う)ことで、このように背景音が大きい場合の誤検出の防止を図ることができる。
また、実施の形態では、ノイズが発生するとされるノイズ発生区間の情報を、HDD10に対する記録開始/停止指示の発生タイミングに応じて設定する場合を例示したが、このようなノイズ発生予想区間の情報は、上記記録開始/停止指示以外の情報に基づき取得することもできる。例えば、上記のような記録開始/停止指示に応じては、HDD10内で磁気ヘッド10Aをロード/パーキング位置に駆動するための制御信号が該当する駆動部に出力されるが、この制御信号からノイズ発生予想区間の情報を取得するようにすることもできる。
また、実施の形態で例示したノイズ除去の手法はあくまで一例であり、例えばノイズ区間の音声信号をフィルタ処理により除去する等、様々なノイズ除去手法を適用することができる。
何れのノイズ除去手法が採られる場合にも、ノイズ除去に伴う音質の劣化は免れないものとなるので、そのような場合に実施の形態で例示したようなノイズ検出手法を採用して上述したようなノイズ除去区間(ノイズ区間)の最小限化、及びノイズ誤検出機会の削減に伴うノイズ除去機会の削減が図られることで、同様に音質劣化の防止を図ることができることに変わりはない。
何れのノイズ除去手法が採られる場合にも、ノイズ除去に伴う音質の劣化は免れないものとなるので、そのような場合に実施の形態で例示したようなノイズ検出手法を採用して上述したようなノイズ除去区間(ノイズ区間)の最小限化、及びノイズ誤検出機会の削減に伴うノイズ除去機会の削減が図られることで、同様に音質劣化の防止を図ることができることに変わりはない。
また、実施の形態では、ノイズ発生タイミングに基づき設定されたノイズ区間内でのみ、ノイズ埋没判定のための信号分析を行う場合を例示したが、これに代えて、上記したようなHDD10への記録開始/停止指示に応じて取得されたノイズ発生予想区間内でのみ埋没判定のための信号分析を行うようにすることもできる。
このようにしてノイズ埋没判定のための信号分析は、少なくともノイズが生じるとされる区間内でのみ行うものとすれば、ノイズ埋没判定の判定漏れなく信号分析することと、ノイズ埋没判定のための処理負担・消費電力の削減との両立を図ることができる。
このようにしてノイズ埋没判定のための信号分析は、少なくともノイズが生じるとされる区間内でのみ行うものとすれば、ノイズ埋没判定の判定漏れなく信号分析することと、ノイズ埋没判定のための処理負担・消費電力の削減との両立を図ることができる。
また、実施の形態では、本発明の記録装置が記録媒体に対する記録のみが可能とされる場合を例示したが、再生も可能となるように構成することもできる。
また、本発明としては、このようなビデオカメラ装置1に限らず、収音マイクを入力源とする入力音声信号にノイズ発生源からのノイズが重畳して記録されてしまう可能性のある記録装置全般に広く好適に適用することができる。
また、実施の形態では、収音マイクからの入力音声信号を記録する前にノイズ除去を行う場合を例示したが、本発明はこれに限らず、録音済みの音声信号からノイズを除去する場合にも好適に適用することができる。
その場合、先ずノイズ発生タイミングの検出については、例えば対象とする音声信号の記録中に行われた記録開始/停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内で、記録済み音声信号についてのノイズ発生タイミング検出を行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行えばよい。
また、ノイズ埋没判定としては、このようにして設定されたノイズ区間内でのみ記録済み音声信号についての信号分析を行って、各ノイズ区間についてのノイズ埋没判定を行えばよい。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたノイズ区間のうちノイズ非埋没判定の為されたノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
その場合、先ずノイズ発生タイミングの検出については、例えば対象とする音声信号の記録中に行われた記録開始/停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内で、記録済み音声信号についてのノイズ発生タイミング検出を行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行えばよい。
また、ノイズ埋没判定としては、このようにして設定されたノイズ区間内でのみ記録済み音声信号についての信号分析を行って、各ノイズ区間についてのノイズ埋没判定を行えばよい。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたノイズ区間のうちノイズ非埋没判定の為されたノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
なお、このようにして記録済み音声信号について行われるノイズ除去制御としても、ノイズ埋没判定結果に応じてノイズ除去の行われていない音声信号とノイズ除去の行われた音声信号とについての選択が行われていることに変わりはない。
また、確認のために述べておくと、このように記録済み音声信号についてノイズ除去を行う場合には、先に説明したような各ディレイ回路は特に設ける必要性はないことになる。
1,15 ビデオカメラ装置、1a カメラレンズ、1b 外部音収音マイク、2 ノイズ検出・除去部、3 音声信号処理部、4 音声信号圧縮処理部、5 カメラブロック、6 映像信号処理部、7 映像信号圧縮処理部、8 AVストリーム生成部、9 バッファメモリ、10 HDD、10A 磁気ヘッド、10B 磁気ディスク、11 ノイズ検出用マイク、12,16 システムコントローラ、21,22,23,28,31 ディレイ回路、24 ノイズタイミング検出・ノイズ区間設定部、25 ノイズ埋没判定部、26 ノイズ除去信号生成部、27 除去動作制御部、29 選択制御部、30 信号挿入部、32 前半ピッチ計算部、33 後半ピッチ計算部、34 前半信号生成部、35 後半信号生成部、36 クロスフェード処理部
Claims (11)
- 収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、
上記ノイズ発生源に対して設けられたノイズ検出用センサと、
所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段と、
上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段と、
を備えることを特徴とする記録装置。 - 上記記録媒体に記録されるべき音声信号が一時保持される一時保持手段と、
上記一時保持手段に保持される音声信号が上記記録手段によって上記記録媒体に間欠的に書き込まれるように制御する間欠記録制御手段とをさらに備え、
上記ノイズは、上記間欠記録制御手段の間欠記録制御に伴う上記記録手段の動作に伴って生じるものとされると共に、
上記ノイズタイミング検出手段は、
上記間欠記録制御手段による間欠記録制御に伴い発生する情報に基づいて取得される上記包含区間内でのみ、上記ノイズ検出用センサの検出信号についての分析を行う、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ検出用センサはマイクロフォンで構成されることを特徴とする請求項1に記載の記録装置。
- 上記ノイズ検出用センサは振動センサで構成されることを特徴とする請求項1に記載の記録装置。
- 上記ノイズタイミング検出手段は、
上記ノイズ検出用センサの検出信号の振幅値と所定閾値とを比較した結果に基づき上記ノイズの発生タイミングを検出する、
ことを特徴とする請求項1に記載の記録装置。 - 上記音声信号についての分析を行い、その分析結果に基づき上記ノイズが上記音声信号中の他の信号成分に埋もれるか否かについて判定を行うノイズ埋没判定手段と、
上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去処理に基づき上記ノイズの除去が行われた上記音声信号と、上記ノイズの除去が行われていない上記音声信号とを択一的に選択する選択手段と、をさらに備える、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ埋没判定手段は、
上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づくノイズ区間内でのみ、上記音声信号についての分析を行う、
ことを特徴とする請求項6に記載の記録装置。 - 上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去処理の停止/開始制御を行うノイズ除去制御手段をさらに備える、
ことを特徴とする請求項6に記載の記録装置。 - 収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有し、上記ノイズ発生源に対して設けられたノイズ検出用センサを備える記録装置について、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去方法であって、
所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手順と、
上記ノイズタイミング検出手順により検出した上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。 - 音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、
上記ノイズの発生源に対して設けられたノイズ検出用センサと、
所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段と、
上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手段と、
を備えることを特徴とするノイズ除去装置。 - 音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって上記ノイズの発生源に対して設けられたノイズ検出用センサを備えるノイズ除去装置におけるノイズ除去方法として、
所定情報に基づき取得された上記ノイズが発生するタイミングを含む包含区間の区間内でのみ上記ノイズ検出用センサの検出信号についての分析を行い、その分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手順と、
上記ノイズタイミング検出手順により検出した上記ノイズの発生タイミングに基づき設定されたノイズ区間における上記音声信号に所定の信号処理を施すことによって、上記音声信号に重畳する上記ノイズを除去するためのノイズ除去処理を行うノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006225239A JP2008052772A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006225239A JP2008052772A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008052772A true JP2008052772A (ja) | 2008-03-06 |
Family
ID=39236702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006225239A Pending JP2008052772A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008052772A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011077603A (ja) * | 2009-09-29 | 2011-04-14 | Kyocera Mita Corp | 情報処理装置および画像形成装置 |
US8320583B2 (en) | 2009-04-13 | 2012-11-27 | Sony Corporation | Noise reducing device and noise determining method |
US8331583B2 (en) | 2009-04-13 | 2012-12-11 | Sony Corporation | Noise reducing apparatus and noise reducing method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002251823A (ja) * | 2001-02-27 | 2002-09-06 | Hitachi Ltd | 連続情報記録装置 |
JP2005228400A (ja) * | 2004-02-12 | 2005-08-25 | Fuji Photo Film Co Ltd | 音声記録装置及び音声記録方法 |
JP2005303681A (ja) * | 2004-04-12 | 2005-10-27 | Sony Corp | ノイズ低減方法及び装置 |
-
2006
- 2006-08-22 JP JP2006225239A patent/JP2008052772A/ja active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002251823A (ja) * | 2001-02-27 | 2002-09-06 | Hitachi Ltd | 連続情報記録装置 |
JP2005228400A (ja) * | 2004-02-12 | 2005-08-25 | Fuji Photo Film Co Ltd | 音声記録装置及び音声記録方法 |
JP2005303681A (ja) * | 2004-04-12 | 2005-10-27 | Sony Corp | ノイズ低減方法及び装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8320583B2 (en) | 2009-04-13 | 2012-11-27 | Sony Corporation | Noise reducing device and noise determining method |
US8331583B2 (en) | 2009-04-13 | 2012-12-11 | Sony Corporation | Noise reducing apparatus and noise reducing method |
JP2011077603A (ja) * | 2009-09-29 | 2011-04-14 | Kyocera Mita Corp | 情報処理装置および画像形成装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008053802A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
KR101063032B1 (ko) | 노이즈 저감 방법 및 장치 | |
JP5056157B2 (ja) | ノイズ低減回路 | |
JP4826402B2 (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
JP2008077707A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
US8626500B2 (en) | Apparatus and method for noise reduction and sound recording | |
KR101739942B1 (ko) | 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치 | |
JP2006270591A (ja) | 電子カメラ、データ再生装置およびプログラム | |
JP4466384B2 (ja) | 電子カメラ、ノイズ低減装置及びノイズ低減方法 | |
JP2018182751A (ja) | 音処理装置および音処理プログラム | |
JP2008263483A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
US8860822B2 (en) | Imaging device | |
JP2008052772A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
US20060012831A1 (en) | Electronic watermarking method and storage medium for storing electronic watermarking program | |
JP2008052771A (ja) | 記録装置、ノイズ除去制御方法、ノイズ除去制御装置 | |
JP2000293806A (ja) | メカノイズ自動低減装置 | |
JP5158054B2 (ja) | 録音装置、撮像装置、および、プログラム | |
JP2009036831A (ja) | 情報処理装置、情報処理方法 | |
JP6902961B2 (ja) | 音声処理装置及びその制御方法 | |
JP6061476B2 (ja) | 音声処理装置 | |
US20140293095A1 (en) | Image capturing apparatus, signal processing apparatus and method | |
JP2002251823A (ja) | 連続情報記録装置 | |
JP2013047710A (ja) | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 | |
JP2001320794A (ja) | 記録再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090806 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110315 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |