JP2008053802A - 記録装置、ノイズ除去方法、ノイズ除去装置 - Google Patents
記録装置、ノイズ除去方法、ノイズ除去装置 Download PDFInfo
- Publication number
- JP2008053802A JP2008053802A JP2006225238A JP2006225238A JP2008053802A JP 2008053802 A JP2008053802 A JP 2008053802A JP 2006225238 A JP2006225238 A JP 2006225238A JP 2006225238 A JP2006225238 A JP 2006225238A JP 2008053802 A JP2008053802 A JP 2008053802A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- audio signal
- section
- interval
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
【課題】例えば発生時間が比較的短かったり比較的広帯域にパワーが分布するノイズについての除去を適正に行う。
【解決手段】ノイズ区間の近傍の音声信号に基づき生成されたノイズ除去信号により上記ノイズ区間の音声信号が置き換えられるようにしてノイズを除去する。これにより上記のような特性のノイズについても有効にその除去を行うことができる。また、上記ノイズ除去信号としては、ノイズ区間の近傍で特定された波形相関性のあるとされる2区間の音声信号に基づき生成することで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができノイズ除去に伴う音質劣化を最小限に抑えることができる。
【選択図】図11
【解決手段】ノイズ区間の近傍の音声信号に基づき生成されたノイズ除去信号により上記ノイズ区間の音声信号が置き換えられるようにしてノイズを除去する。これにより上記のような特性のノイズについても有効にその除去を行うことができる。また、上記ノイズ除去信号としては、ノイズ区間の近傍で特定された波形相関性のあるとされる2区間の音声信号に基づき生成することで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができノイズ除去に伴う音質劣化を最小限に抑えることができる。
【選択図】図11
Description
本発明は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備える記録装置として、特に記録動作に伴い間欠的なノイズ音を発生するノイズ発生源を有する記録装置に関する。また、例えばこのような記録装置に適用されて、上記音声信号に重畳するノイズを除去するのに好適なノイズ除去方法、及びノイズ除去装置に関する。
従来より、撮影映像及び収音音声を所要の記録媒体に記録するビデオカメラ装置が普及している。そして、このようなビデオカメラ装置として、特に近年では、HDD(ハードディスクドライブ)を内蔵しこれに撮影映像及び収音音声(以下撮影データとも言う)を記録するようにされたものがある。
このように撮影データをHDDに記録するビデオカメラ装置では、回転駆動される磁気ディスク上に磁気ヘッドをロードしたままの状態で撮影データの記録を継続的に行うようにされたものがある。すなわち、記録開始指示から記録停止指示までの間、撮影データを継続的に磁気ディスクに書き込むといったものである。
しかしながら、この手法では、記録動作中は常時磁気ディスクの回転駆動を伴うことから、これを改良した記録手法として、間欠アクセスの手法が提案されている。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
この間欠アクセスでは、記録開始後、撮影データを一旦内蔵メモリに蓄積するものとしておき、その間は磁気ヘッドを所定のパーキング位置に退避させた上で磁気ディスクの回転を止めておく。そして、内蔵メモリへの撮影データの蓄積量が所定以上となったことに応じ、磁気ディスクの回転駆動及び磁気ヘッドの記録位置へのロードを行って蓄積された撮影データの読出・記録を行い、所定時間分の記録を行うと、再度磁気ヘッドをパーキング位置へ退避させ且つ磁気ディスクの回転駆動を停止する。このようにして内蔵メモリへの撮影データの蓄積量に応じ、磁気ディスクに対する間欠的な記録を行う。
この間欠アクセスの手法により、磁気ディスクを常時回転させたままの状態で記録を行う場合よりも消費電力の削減が図られる。
但し、この間欠アクセスの手法を採用する場合には、磁気ヘッドを磁気ディスク上にロードする際、或いは磁気ヘッドをパーキング位置に退避させる際に、デバイスの物理的な衝突に起因するノイズがHDD内部で発生するものとなってしまう。そして、このノイズは、ビデオカメラ装置が備えるマイクロフォンにより収音され、これによって撮影データと共に記録されてしまうという問題が発生する。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
このため、間欠アクセスの手法を用いる場合には、消費電力の削減が図られる一方で、このようなノイズについての対策を行うことが必要となってくる。
なお、関連する従来技術については下記特許文献を挙げることができる。
特開2005−203014号公報
特開2002−251823号公報
特開2005−228400号公報
ところで、上記のような間欠アクセスに伴うノイズを対策するとしたときには、それが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、例えばノイズが生じる区間のみを対象として行われることが望ましいものとなる。
ここでノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、例えばノイズが生じる区間のみを対象として行われることが望ましいものとなる。
また、上記のような間欠アクセスに伴うノイズについて、その特性に目を向けてみると、その発生時間は、例えば図4(a)に示されるようにして例えば0.03secと非常に短い期間に集中して得られる特性となっている。
このようにして間欠アクセスに伴うノイズは、その発生期間が非常に短いものとされているので、これを除去するとした場合に、例えば従来行われているような適応型フィルタを用いたノイズ除去(例えば特許文献1に記載)を行っていたのでは、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
このようにして間欠アクセスに伴うノイズは、その発生期間が非常に短いものとされているので、これを除去するとした場合に、例えば従来行われているような適応型フィルタを用いたノイズ除去(例えば特許文献1に記載)を行っていたのでは、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
また、上記のような間欠アクセスに伴うノイズは、例えば図4(b)に示されるようなスペクトログラムで見ると、インパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布するものとなる。
このように比較的広帯域にわたりそのパワーが分布する特性とされるので、上記のような間欠アクセスに伴うノイズを、例えば従来より行われているような逆位相の信号を加算する手法により除去するとした場合には、ノイズを除去することが困難となる可能性がある。
このように比較的広帯域にわたりそのパワーが分布する特性とされるので、上記のような間欠アクセスに伴うノイズを、例えば従来より行われているような逆位相の信号を加算する手法により除去するとした場合には、ノイズを除去することが困難となる可能性がある。
そこで、本発明では以上のような問題点に鑑み、記録装置として以下のように構成することとした。
つまり、本発明の記録装置は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
つまり、本発明の記録装置は、収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
また、本発明ではノイズ除去装置として以下のように構成することとした。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
すなわち、本発明のノイズ除去装置は、音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段を備える。
また、上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段を備えるものである。
上記本発明によれば、ノイズ区間の近傍の音声信号に基づき生成されたノイズ除去信号により、上記ノイズ区間の音声信号が置き換えられるようにしてノイズが除去される。これによれば、発生期間が比較的短かかったり、比較的広い周波数帯域にパワーが分布するようなノイズについても有効にその除去を行うことができる。
また、上記本発明において、上記ノイズ除去信号は、ノイズ区間の近傍で特定された波形相関性のあるとされる2区間の音声信号に基づき生成されるものとなる。
このようにして生成されたノイズ除去信号によりノイズ区間の音声信号が置き換えられるようにしていることで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができ、ノイズ除去に伴う音質劣化の可能性を最小限に抑えることができる。
また、上記本発明において、上記ノイズ除去信号は、ノイズ区間の近傍で特定された波形相関性のあるとされる2区間の音声信号に基づき生成されるものとなる。
このようにして生成されたノイズ除去信号によりノイズ区間の音声信号が置き換えられるようにしていることで、ノイズ区間の前後の音声のつながりを聴感上極めて自然とすることができ、ノイズ除去に伴う音質劣化の可能性を最小限に抑えることができる。
上記のようにして本発明によれば、その発生期間が比較的短い、又は比較的広い周波数帯域にパワーが分布するようなノイズについて、その除去を、音質劣化の可能性が最小限となるようにして行うことができる。
以下、発明を実施するための最良の形態(以下実施の形態とする)について説明していく。
[記録装置の構成]
図1は、本発明の記録装置の一実施形態であるビデオカメラ装置1について、その外観構成を斜視図により示した図である。
このビデオカメラ装置1は、図示するようにしてカメラレンズ1aを備え、当該カメラレンズ1aを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置1は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク(マイクロフォン)1bを備えており、この外部音収音マイク1bにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
[記録装置の構成]
図1は、本発明の記録装置の一実施形態であるビデオカメラ装置1について、その外観構成を斜視図により示した図である。
このビデオカメラ装置1は、図示するようにしてカメラレンズ1aを備え、当該カメラレンズ1aを介して得られる撮影映像を内部の記録媒体に対して記録することができる。また、ビデオカメラ装置1は、図示するようにして筐体外部に表出するようにして設けられた外部音収音マイク(マイクロフォン)1bを備えており、この外部音収音マイク1bにより収音された音声を、上記撮影映像と共に上記記録媒体に対して記録することができる。
図2は、ビデオカメラ装置1の内部構成について示すブロック図である。
先ず、この図2においても、図1に示したカメラレンズ1aが示されている。カメラレンズ1aは、図示するようにしてカメラブロック5内に設けられる。
カメラブロック5は、上記カメラレンズ1aを介して入射される被写体光を検出するCCD(Charge Coupled Device)センサ或いはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やA/D変換などを行って映像信号を得る映像信号生成部等を備える。
先ず、この図2においても、図1に示したカメラレンズ1aが示されている。カメラレンズ1aは、図示するようにしてカメラブロック5内に設けられる。
カメラブロック5は、上記カメラレンズ1aを介して入射される被写体光を検出するCCD(Charge Coupled Device)センサ或いはCMOS(Complementary Metal-Oxide Semiconductor)センサ等の固体撮像素子部や、固体撮像素子部から画素信号を転送してゲイン調整やA/D変換などを行って映像信号を得る映像信号生成部等を備える。
カメラブロック5により得られた映像信号は、図示する映像信号処理部6に供給され、ここで例えばホワイトバランスやY/C処理等の所定の映像信号処理が施されて映像信号圧縮処理部7に供給される。
映像信号圧縮処理部7は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ(図示するビデオストリームVstrm)として出力する。
映像信号圧縮処理部7は、映像信号に対し所定の映像圧縮方式に基づく圧縮処理を施し圧縮ビデオデータを生成する。そして、この圧縮ビデオデータをストリームデータ(図示するビデオストリームVstrm)として出力する。
また、この図2には、図1に示した外部音収音マイク1bも示されている。この外部音収音マイク1bの収音動作に基づき得られた入力音声信号Ainは、図中の一点鎖線により囲うノイズ検出・除去部2に供給される。
ノイズ検出・除去部2は、上記入力音声信号Ainと、後述するノイズ検出用マイク(マイクロフォン)11からの検出用音声信号ANinと、後述するシステムコントローラ12からのノイズ発生予想区間情報NcSとに基づき、ノイズ発生タイミングの検出やこのノイズ発生タイミングに基づいたノイズの除去を行い、その結果を図示する出力音声信号Aoutとして出力する。
なお、このノイズ検出・除去部2の内部構成及び動作については後述する。
なお、このノイズ検出・除去部2の内部構成及び動作については後述する。
音声信号処理部3は、上記出力音声信号Aoutを入力して所定の音声信号処理を施し、その結果を音声信号圧縮処理部4に供給する。
音声信号圧縮処理部4は、上記音声信号処理部3から供給される出力音声信号Aoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ(図示するオーディオストリームAstrm)として出力する。
音声信号圧縮処理部4は、上記音声信号処理部3から供給される出力音声信号Aoutに対して所定の音声圧縮方式に基づく圧縮処理を施し圧縮オーディオデータを生成する。そして、この圧縮オーディオデータをストリームデータ(図示するオーディオストリームAstrm)として出力する。
AV(Audio Visual)ストリーム生成部8は、先に述べた映像信号圧縮処理部7からのビデオストリームVstrmと、上記音声信号圧縮処理部4からのオーディオストリームAstrmとを入力して、これらを合成したAVストリームAVstrmを生成する。そして、このAVストリームAVstrmをバッファメモリ9に対して供給する。
バッファメモリ9は、後述するシステムコントローラ12からの指示に従って上記AVストリーム生成部8から供給されるAVストリームAVstrmについての内部メモリへの書込/読出を行うことで、AVストリームAVstrmのバッファリングを行う。
HDD(ハードディスクドライブ)10は、システムコントローラ12の指示に基づき上記バッファメモリ9から供給されるAVストリームAVstrmを内部の磁気ディスク(磁気ディスク10B)に対して記録する。
ここで、このHDD10の内部構成を次の図3に示しておく。図3に示されるようにHDD10には、磁気ディスク10Bと、磁気ディスク10Bに対して信号を記録するための磁気ヘッド10Aとが備えられている。なお、この他にも、例えば磁気ヘッド10Aを図中ロード/パーキング位置に駆動するための駆動系や磁気ディスク10Bを回転駆動するための駆動系なども備えられるが、ここではそれら他の詳細な構成については省略している。
また、本実施の形態の場合、HDD10内にはノイズ検出用マイク(マイクロフォン)11が設けられるものとなるが(図示せず、図2参照)、これについては後述する。
また、本実施の形態の場合、HDD10内にはノイズ検出用マイク(マイクロフォン)11が設けられるものとなるが(図示せず、図2参照)、これについては後述する。
図2に戻り、システムコントローラ12は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータで構成され、起動されたプログラムに従って当該ビデオカメラ装置1の全体制御、演算処理を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またHDD10へのデータファイルの格納や管理情報の作成・更新等を行う。
例えば、図示されない操作入力部からの操作信号に応じ必要な各部を制御することで、ユーザの操作入力に応じた動作を実現させたり、またHDD10へのデータファイルの格納や管理情報の作成・更新等を行う。
また、特に実施の形態の場合のシステムコントローラ12は、HDD10に対するAVストリームAVstrm(撮影データとも言う)の記録時における間欠アクセスを実現するための制御処理も実行する。
つまり、システムコントローラ12は、撮影データの記録開始後、直ちにバッファメモリ9からの撮影データの読み出し及びHDD10への撮影データの記録開始指示は行わず、バッファメモリ9への撮影データの蓄積量が第1の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ9からの撮影データの読み出し、及びHDD10によるその記録の開始後は、バッファメモリ9における撮影データの蓄積量が第2の閾値以下となったことに応じ、バッファメモリ9からの撮影データの読み出し及びHDD10の記録動作を停止させる指示を行う。以降も、バッファメモリ9の撮影データの蓄積量と上記第1及び第2の閾値との比較結果に応じ、バッファメモリ9からの撮影データの読み出し開始指示及びHDD10への記録開始指示と、バッファメモリ9からの撮影データの読み出し停止指示及びHDD10への記録停止指示とを繰り返し行うようにされる。
つまり、システムコントローラ12は、撮影データの記録開始後、直ちにバッファメモリ9からの撮影データの読み出し及びHDD10への撮影データの記録開始指示は行わず、バッファメモリ9への撮影データの蓄積量が第1の閾値以上となったことに応じてそれらの指示を行う。そして、バッファメモリ9からの撮影データの読み出し、及びHDD10によるその記録の開始後は、バッファメモリ9における撮影データの蓄積量が第2の閾値以下となったことに応じ、バッファメモリ9からの撮影データの読み出し及びHDD10の記録動作を停止させる指示を行う。以降も、バッファメモリ9の撮影データの蓄積量と上記第1及び第2の閾値との比較結果に応じ、バッファメモリ9からの撮影データの読み出し開始指示及びHDD10への記録開始指示と、バッファメモリ9からの撮影データの読み出し停止指示及びHDD10への記録停止指示とを繰り返し行うようにされる。
[HDDノイズ]
ここで、図2に示すビデオカメラ装置1において、このような間欠アクセスの手法が採用されることによっては、例えばHDD10において磁気ディスク10Bを回転させたままの状態で磁気ヘッド10Aによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
ここで、図2に示すビデオカメラ装置1において、このような間欠アクセスの手法が採用されることによっては、例えばHDD10において磁気ディスク10Bを回転させたままの状態で磁気ヘッド10Aによる記録動作を継続的に行う場合と比較して、その分消費電力の削減を図ることができる。
しかしながらこの間欠アクセスの手法において、上述したような記録開始指示に伴っては、HDD10において磁気ヘッド10Aを磁気ディスク10B上にロードすることになるが、その際に、デバイスの物理的な衝突に起因するノイズがHDD10内部で発生することになる。また、記録停止指示に応じては、磁気ヘッド10Aをパーキング位置に退避させることになるが、その際にもデバイスの物理的な衝突に起因するノイズがHDD10内で発生することとなる。
このようにして撮影データの記録動作中にHDD10内で生じるノイズは、外部音収音マイク1bによって収音され、入力音声信号Ainに重畳してしまい、この結果撮影データと共にHDD10に対して記録されてしまうという問題が発生する。
図4は、このようにして間欠アクセスに伴いHDD10内で生じるノイズ(以下HDDノイズとも言う)の特性を例示した図であり、図4(a)ではその時間波形を、また図4(b)ではそのスペクトログラムを示している。
このようなHDDノイズは、HDD10の個体差に依存するものとはなるが、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このHDDノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始/停止ごとに間欠的に発生し、これが撮影データ(音声信号)に重畳されて記録されてしまう。
このようなHDDノイズは、HDD10の個体差に依存するものとはなるが、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。またスペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布していることが確認できる。
このHDDノイズは極めてレベルの小さい信号成分ではあるが、これらの特性より、聴覚的に非常に煩わしいノイズとなる。そして、このように煩わしいノイズが、間欠アクセスに伴う記録開始/停止ごとに間欠的に発生し、これが撮影データ(音声信号)に重畳されて記録されてしまう。
ここで、このようなHDDノイズの記録が防止されるようにするためには、それを入力音声信号Ainから除去することが考えられるが、その際には、HDDノイズが間欠的に生じる性質のものであって、定常的なノイズとは異なるものであることを考慮しなければならない。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
つまり、ノイズ除去は、本来の信号に対して改変を与える処理であり、その結果音質の劣化を招く可能性のある処理となる。定常的なノイズに関しては、それを除去するのであれば常にその除去処理を行う他はないが、間欠的なノイズについては、このような音質劣化の面から必要最小限の改変となるように、ノイズが生じる区間のみを対象として行われることが望ましいものとなる。
このようなことを考慮すると、上記のようなHDDノイズの除去を行うにあたっては、先ずはノイズの発生するタイミングを検出することが肝要となる。
そのための具体的な手法としては、例えば従来のようにノイズの発生源への制御が行われるタイミングからこれを予測するといったことが考えられる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド10Aのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド10Bのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
しかしながら、上述した間欠アクセスにおいて、記録開始指示に応じ磁気ヘッド10Aのロードに伴う衝突音が生じるまでの時間長、及び記録停止指示に応じ磁気ヘッド10Bのパーキングに伴う衝突音が生じるまでの時間長は、記録開始/終了位置の違いやその他の条件に応じて異なることがわかっている。
これに対しては、記録開始/停止指示に応じて設定すべきノイズ区間に或る程度のマージンを設けることで対応することも考えられるが、先に述べた音質面の問題を考慮すると、除去を行う区間は最小限とすることが望ましく、その意味で、このように記録開始/停止指示のタイミングからノイズ発生区間を予測する手法には限界があるといえる。
[実施の形態のノイズタイミング検出]
そこで、本実施の形態のビデオカメラ装置1では、図2に示されるようにしてHDD10内にノイズ検出用マイク11を設けるものとし、当該ノイズ検出用マイク11の収音動作に基づき得られる検出用音声信号ANinに基づき、HDDノイズの発生タイミングを検出するものとしている。
そこで、本実施の形態のビデオカメラ装置1では、図2に示されるようにしてHDD10内にノイズ検出用マイク11を設けるものとし、当該ノイズ検出用マイク11の収音動作に基づき得られる検出用音声信号ANinに基づき、HDDノイズの発生タイミングを検出するものとしている。
図2において、ノイズ検出用マイク11からの検出用音声信号ANinは、ノイズ検出・除去部2内における、ノイズタイミング検出・ノイズ区間設定部24に供給される。ノイズタイミング検出・ノイズ区間設定部24は、このようにして供給される検出用音声信号ANinに基づき、後述するようにしてノイズ発生タイミングの検出、及び検出したノイズ発生タイミングに基づくノイズ区間の設定を行う。
ここで、先にも説明したように本実施の形態におけるHDDノイズは、HDD10における記録動作の開始/停止に応じて間欠的に発生するノイズであり、その発生タイミングは、システムコントローラ12からHDD10に対する記録開始指示及び記録停止指示の行われたタイミングから或る程度予測することができる。
そこで、本実施の形態では、このようにして予測される、HDDノイズが発生するとされる区間でのみ、上記ノイズタイミング検出・ノイズ区間設定部24による動作が実行されるようにし、無駄な検出動作の削減を図るものとしている。
図2に示すビデオカメラ装置1では、このように予測されるタイミングの情報を、システムコントローラ12がノイズタイミング検出・ノイズ区間設定部24に対して指示するようにされている。つまり、システムコントローラ12は、上述した間欠アクセスのための制御処理に伴いHDD10に対する記録開始指示、及び記録停止指示を行ったことに応じ、予め定められた区間情報をノイズ発生予想区間情報NcSとしてノイズタイミング検出・ノイズ区間設定部24に対して供給する。
ノイズタイミング検出・ノイズ区間設定部24は、このようにしてシステムコントローラ12から供給されたノイズ発生予想区間情報NcSが示す区間内でのみ、ノイズ検出用マイク11から供給される検出用音声信号ANinについての信号分析を行い、その結果に基づきHDDノイズの発生タイミングを検出する。
そして、検出したノイズ発生タイミングに基づき、HDDノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報NSを出力する。
そして、検出したノイズ発生タイミングに基づき、HDDノイズが生じる区間を示すノイズ区間を設定し、その開始タイミングと終了タイミングとを示すノイズ区間情報NSを出力する。
図5は、このようなノイズタイミング検出・ノイズ区間設定部24によるノイズ発生タイミングの検出動作、及びノイズ区間の設定動作について模式的に示した図である。図5(a)では、HDDノイズ成分を含む検出用音声信号ANinの例を示し、図5(b)では図5(a)に示される検出用音声信号ANinに応じて設定されるべきノイズ区間の例を示している。
先ず、ノイズタイミング検出・ノイズ区間設定部24には、図5(a)に示されるように、検出用音声信号ANinの振幅値について予め定められた第1閾値th-s1と第2閾値th-s2とが設定されている。ノイズタイミング検出・ノイズ区間設定部24は、入力される検出用音声信号ANinの振幅値が、これら第1閾値th-s1と第2閾値th-s2とにより定義される所定範囲外の値となったか否かを判別することで、HDDノイズが発生したか否かを判別するようにされる。すなわち、検出用音声信号ANinの振幅値が第1閾値th-s1と第2閾値th-s2とによる所定範囲外となったタイミングを、HDDノイズの発生タイミングとして検出する。
このとき、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間情報NcSが示すノイズ発生予想区間内でのみ、このような検出用音声信号ANinの振幅値と上記閾値th-s1と閾値th-s2との比較を行うようにされている。
このとき、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間情報NcSが示すノイズ発生予想区間内でのみ、このような検出用音声信号ANinの振幅値と上記閾値th-s1と閾値th-s2との比較を行うようにされている。
上記のような判別の結果、HDDノイズの発生タイミングが検出された場合は、図5(b)に示されるようにして、そのノイズ発生タイミングを含む所定区間をノイズ区間として設定する。例えばこの場合は、図示するようにしてノイズ発生タイミングを基準としてその前後にわたる所定区間をノイズ区間として設定する。
その上で、このように設定したノイズ区間の開始点と終了点の情報を、ノイズ区間情報NcSとして出力する。
その上で、このように設定したノイズ区間の開始点と終了点の情報を、ノイズ区間情報NcSとして出力する。
なお、確認のために述べておくと、ノイズタイミング検出・ノイズ区間設定部24は、ノイズ発生予想区間内において、検出用音声信号ANinの振幅値が上記閾値th-s1と閾値th-s2とによる範囲外とならずHDDノイズが検出されなかった場合は、ノイズ区間情報NSの出力は行わないようにされる。
また、HDDノイズが検出されたとしてノイズ区間の設定を行った場合、以降、この設定したノイズ区間内においては検出用音声信号ANinについての信号分析(この場合は振幅値の第1閾値th-s1・第2閾値th-s2との比較)は行わないようにされている。
また、HDDノイズが検出されたとしてノイズ区間の設定を行った場合、以降、この設定したノイズ区間内においては検出用音声信号ANinについての信号分析(この場合は振幅値の第1閾値th-s1・第2閾値th-s2との比較)は行わないようにされている。
また、上記による例では、ノイズ発生タイミングの検出にあたっては、単に検出用音声信号ANinの振幅値と所定閾値とを比較するものとしたが、これに代えて、例えば所定時間内の平均パワーを計算し、その平均パワーと所定閾値との比較結果に基づきノイズ発生タイミングを検出するようにすることもできる。
[ノイズ埋没判定]
本実施の形態のビデオカメラ装置1では、上記のようにしてノイズタイミング検出・ノイズ区間設定部24により検出・設定されたノイズ区間の情報(NS)に基づき、後述する構成によって入力音声信号Ainからのノイズの除去を行うようにされることになるが、先の図4での説明時にも触れたように、本実施の形態の場合のHDDノイズとしてはその信号レベルが比較的小さいものであることから、場合によっては外部音(背景音)に埋もれてかき消される可能性も考えられる。
本実施の形態のビデオカメラ装置1では、上記のようにしてノイズタイミング検出・ノイズ区間設定部24により検出・設定されたノイズ区間の情報(NS)に基づき、後述する構成によって入力音声信号Ainからのノイズの除去を行うようにされることになるが、先の図4での説明時にも触れたように、本実施の形態の場合のHDDノイズとしてはその信号レベルが比較的小さいものであることから、場合によっては外部音(背景音)に埋もれてかき消される可能性も考えられる。
図6〜図9は、このような外部音とHDDノイズとの関係について模式的に示した図である。
先ず図6、図7は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図6では(a)図により背景音の時間波形を、また(b)図によりHDDノイズの時間波形を、さらに(c)図ではこれらHDDノイズと背景音とが加算された入力音声信号Ainの時間波形を示している。また、図7では背景音(破線)とHDDノイズ(実線)の周波数スペクトルをそれぞれ対比して示している。
先ず図6、図7は、それぞれ背景音が比較的小音量とされる場合について示した図であり、図6では(a)図により背景音の時間波形を、また(b)図によりHDDノイズの時間波形を、さらに(c)図ではこれらHDDノイズと背景音とが加算された入力音声信号Ainの時間波形を示している。また、図7では背景音(破線)とHDDノイズ(実線)の周波数スペクトルをそれぞれ対比して示している。
先ず、図6(a)(b)を比較してわかるように、HDDノイズは16ビットフルスケール(±32767)に対しておよそ±300程度の振幅がある。これを踏まえると、例えば図6(a)に示されるような比較的小音量の背景音下での記録時には、図6(c)に示す入力音声信号Ain中において、HDDノイズは埋没しにくくなる。また、これを図7に示す周波数スペクトルで比較した場合にも、HDDノイズのスペクトルは背景音のスペクトルより所々大きいパワーで分布することがわかる。
これら図6、図7の結果からも、比較的小音量の背景音下では人間の聴覚はHDDノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
これら図6、図7の結果からも、比較的小音量の背景音下では人間の聴覚はHDDノイズを知覚しやすくなり、そのような場合にノイズ除去を行うことは有効であることがわかる。
一方図8、図9は、背景音が比較的大音量とされる場合について示した図であり、図8(a)は背景音、図8(b)はHDDノイズ、図8(c)は入力音声信号Ainの時間波形をそれぞれ示し、図9は背景音(破線)とHDDノイズ(実線)の周波数スペクトルを対比して示している。
図8(a)のような比較的大音量による背景音下では、図8(c)に示す入力音声信号Ain中においてHDDノイズは埋没しやすいものとなり、また図9に示す周波数スペクトルを見ても、HDDノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はHDDノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ainのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
図8(a)のような比較的大音量による背景音下では、図8(c)に示す入力音声信号Ain中においてHDDノイズは埋没しやすいものとなり、また図9に示す周波数スペクトルを見ても、HDDノイズのスペクトルは背景音のスペクトルより概ね小さいパワーで分布するものとなることがわかる。
このように大音量の背景音下では人間の聴覚はHDDノイズを知覚しにくく、このような状況でノイズ除去を行う利点は極めて少ないものとなる。むしろこの場合には、ノイズ除去を行う入力音声信号Ainのレベルが非常に大きなものとなるのだから、ノイズ除去を行ったことによる音質劣化がより聴取されやすくなってしまう可能性が高くなる。
これらのことから本実施の形態のビデオカメラ装置1では、背景音が比較的小音量とされ、HDDノイズが埋もれないとされた場合にのみノイズ除去が行われるようにし、比較的大音量の背景音下でHDDノイズが埋もれてしまうような場合に無駄なノイズ除去が行われてしまうことを防止するものとしている。
このための構成として、図2に示されるノイズ検出・除去部2には、ディレイ回路21、ノイズ埋没判定部25、除去動作制御部27、ディレイ回路28、及び選択制御部29が設けられる。
先ず、ディレイ回路21は、外部音収音マイク1bからの入力音声信号Ainを入力し、これに予め定められた所定時間長分のディレイを与え出力する。このようなディレイ回路21による遅延が与えられた入力音声信号Ainについては、入力音声信号Ain-1と呼ぶ。
なお、この場合、外部音収音マイク1bからディレイ回路21に入力される入力音声信号Ainについては、このような遅延後の入力音声信号Ainと区別するために、以下、入力音声信号Ain-0とも呼ぶ。
先ず、ディレイ回路21は、外部音収音マイク1bからの入力音声信号Ainを入力し、これに予め定められた所定時間長分のディレイを与え出力する。このようなディレイ回路21による遅延が与えられた入力音声信号Ainについては、入力音声信号Ain-1と呼ぶ。
なお、この場合、外部音収音マイク1bからディレイ回路21に入力される入力音声信号Ainについては、このような遅延後の入力音声信号Ainと区別するために、以下、入力音声信号Ain-0とも呼ぶ。
ここで、このディレイ回路21に設定される遅延時間としては、次に説明するノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。すなわち、ノイズ区間が設定されたときに、少なくともこのノイズ区間よりも前の信号部分がノイズ埋没判定部25に供給されるようにして遅延が行われればよいものである。
ノイズ埋没判定部25は、上記ディレイ回路21からの入力音声信号Ain-1について信号分析を行い、HDDノイズが背景音(つまり入力音声信号AinにおけるHDDノイズ以外の信号成分)に埋もれるか否かを判定する。
具体的に、ノイズ埋没判定部25は、入力音声信号Ain-1の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値th-pより大きい場合には、人間の聴覚によってHDDノイズが知覚されない、すなわちHDDノイズが埋没する(マスクされる)という判定結果を埋没判定結果情報Mとして出力する。また、計算したパワーが上記閾値th-pよりも大きくない場合には、HDDノイズが知覚される、すなわちHDDノイズが埋没しないという判定結果を埋没判定結果情報Mとして出力する。
この際、入力音声信号Ain-1の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
具体的に、ノイズ埋没判定部25は、入力音声信号Ain-1の時間波形について、その所定区間ごとのパワーを計算し、このパワーが予め定められた所定の閾値th-pより大きい場合には、人間の聴覚によってHDDノイズが知覚されない、すなわちHDDノイズが埋没する(マスクされる)という判定結果を埋没判定結果情報Mとして出力する。また、計算したパワーが上記閾値th-pよりも大きくない場合には、HDDノイズが知覚される、すなわちHDDノイズが埋没しないという判定結果を埋没判定結果情報Mとして出力する。
この際、入力音声信号Ain-1の時間波形のパワーは、例えば以下の式に示すようにして、各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
Σt = 0 〜 T-1 {Ain(t)}2
なお、ノイズ埋没判定は、このように時間波形のパワー計算の結果に基づく以外にも、周波数スペクトルのパワー計算の結果に基づき判定することもできる。
すなわち、入力音声信号Ain-1の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはHDDノイズが埋没するとの判定結果を埋没判定結果情報Mとして出力し、パワーが所定の閾値より小さい場合にはHDDノイズが埋没しないとの判定結果を埋没判定結果情報Mとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ain-1の周波数スペクトルの2乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
すなわち、入力音声信号Ain-1の周波数スペクトルのパワーを計算し、そのパワーが所定の閾値より大きい場合にはHDDノイズが埋没するとの判定結果を埋没判定結果情報Mとして出力し、パワーが所定の閾値より小さい場合にはHDDノイズが埋没しないとの判定結果を埋没判定結果情報Mとして出力する。
なお、周波数スペクトルのパワーは、例えば以下の式のように各時間における入力音声信号Ain-1の周波数スペクトルの2乗和により算出することができる。
Σf = 0 〜 fs / 2 {Ain(f)}2
また、例えば対象とするノイズのスペクトルが所定の帯域において特徴的な周波数分布となるような場合には、その帯域からのみパワーを計算してもよい。周波数スペクトルのうち所定の帯域(例えば周波数a〜bとする)のパワーは、例えば以下のように算出することができる。
Σf = fa 〜 fb {Ain(f)}2
Σf = fa 〜 fb {Ain(f)}2
ところで、これまでで説明したノイズ埋没判定部25の構成によっては、入力音声信号Ain-1について上述のような信号分析を常時行って、埋没判定結果情報Mを常時出力するようにされることになるが、そもそも埋没判定結果情報MはHDDノイズが背景音に埋没するか否かについて示す情報であり、従ってこれが常時出力されている必要性はないと考えることができる。
そこで、実施の形態のノイズ埋没判定部25としては、先に説明したノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSを入力し、このノイズ区間情報NSにより示される区間内でのみ、上述したような信号分析及びその結果に基づくノイズ埋没判定を行うようにされる。
具体的には、ノイズ区間情報NSにより示される区間内でのみ、上述したような入力音声信号Ain-1の時間波形のパワー計算、及びそのパワーについての閾値th-pとの比較、及びその比較結果に基づく埋没判定結果情報Mの出力を行うようにされているものである。
具体的には、ノイズ区間情報NSにより示される区間内でのみ、上述したような入力音声信号Ain-1の時間波形のパワー計算、及びそのパワーについての閾値th-pとの比較、及びその比較結果に基づく埋没判定結果情報Mの出力を行うようにされているものである。
このようなノイズ埋没判定部25により出力される上記埋没判定結果情報Mは、図示するようにして除去動作制御部27に対して供給されると共に、分岐してディレイ回路28を介し選択制御部29に対しても供給される。
先ず、上記除去動作制御部27は、上記埋没判定結果情報Mに基づき、後述するノイズ除去信号生成部26の動作をON/OFFするためのON/OFF制御信号を出力する。具体的に、埋没判定結果情報Mが、HDDノイズが埋没しないとの判定結果を示すものである場合には、上記ON/OFF制御信号としてONを指示する信号を出力し、HDDノイズが埋没するとの判定結果を示すものである場合には上記ON/OFF制御信号としてOFFを指示する信号を出力する。
ここで後述もするが、上記ノイズ除去信号生成部26は、入力音声信号Ain(Ain-2)を入力して所定の信号処理を施すことで、HDDノイズを除去したノイズ除去信号を生成する。このようなノイズ除去信号生成部26に対し、上記のように埋没判定結果情報Mの内容に応じたON/OFF制御信号が供給されることで、HDDノイズが背景音に埋もれるとされた場合にはノイズ除去信号の生成動作が行われず、HDDノイズが背景音に埋もれないとされた場合にのみノイズ除去信号の生成動作が行われるようにすることができる。
一方、上記選択制御部29は、上述したようにしてディレイ回路28を介して得られる埋没判定結果情報Mを入力し、この埋没判定結果情報Mに基づき、図示する信号挿入部30に入力される2つの入力信号のうちの一方を択一的に選択させるための選択制御信号SLCを出力する。
後述もするように上記信号挿入部30は、先に説明したディレイ回路21と共に図示するディレイ回路22とディレイ回路23とを介して得られる入力音声信号Ain-3を入力すると共に、ノイズ除去信号生成部26からのノイズ除去信号を入力するようにされる。そして、上記選択制御信号SLCに応じて、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択するものとされる。
上記選択制御部29は、上記埋没判定結果情報Mが、HDDノイズが背景音に埋もれるとの判定結果を示すものである場合には、入力音声信号Ain-3の選択を指示する選択制御信号SLCを出力する。一方、上記埋没判定結果情報MがHDDノイズが背景音に埋もれないとの判定結果を示すものである場合には、ノイズ除去信号の選択を指示する選択制御信号SLCを出力する。
すなわち、このような選択制御信号SLCが信号挿入部30に対して供給されることで、HDDノイズが背景音に埋もれるとされた場合には入力音声信号Ain-3がそのまま出力され(つまりノイズ除去の行われていない音声信号が出力され)、HDDノイズが背景音に埋もれないとされた場合にのみ上記ノイズ除去信号(つまりノイズが除去された音声信号)が出力されるようにすることができる。
すなわち、このような選択制御信号SLCが信号挿入部30に対して供給されることで、HDDノイズが背景音に埋もれるとされた場合には入力音声信号Ain-3がそのまま出力され(つまりノイズ除去の行われていない音声信号が出力され)、HDDノイズが背景音に埋もれないとされた場合にのみ上記ノイズ除去信号(つまりノイズが除去された音声信号)が出力されるようにすることができる。
このようにしてノイズ埋没判定部25が出力する埋没判定結果情報Mによっては、HDDノイズが背景音に埋没しなとされた場合、つまりノイズ除去が必要であるとされた場合に、入力音声信号Ainについてのノイズ除去処理が行われると共に、ノイズ除去の行われた音声信号が選択出力されるようにすることができる。
一方、HDDノイズが背景音に埋没するとされた場合、つまりノイズ除去が不要であるとされた場合には、入力音声信号Ainについてのノイズ除去処理は行われないようにすると共に、ノイズ除去の行われていない音声信号が選択出力されるようにすることができる。
一方、HDDノイズが背景音に埋没するとされた場合、つまりノイズ除去が不要であるとされた場合には、入力音声信号Ainについてのノイズ除去処理は行われないようにすると共に、ノイズ除去の行われていない音声信号が選択出力されるようにすることができる。
なお、上述したディレイ回路22、ディレイ回路23、及びディレイ回路28にそれぞれ設定されるべき遅延時間については後述する。
[ノイズ除去]
続いては、本実施の形態としてのビデオカメラ装置1にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のHDDノイズについて再考してみると、このHDDノイズとしては、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
続いては、本実施の形態としてのビデオカメラ装置1にて行われるノイズ除去の手法について説明する。
先ずは、実施の形態のノイズ除去手法の説明に先立ち、実施の形態のHDDノイズについて再考してみると、このHDDノイズとしては、時間波形(図4(a))で見ると概ね持続時間が約0.03sec程度と非常に短いスパイク状のノイズとなっている。また、スペクトログラム(図4(b))で見るとインパルス状に広い周波数帯域にパワーが分布しており、時間的に集中している信号は周波数的には広い帯域に分布しているものとなる。
このようにしてHDDノイズは、その発生時間が非常に短い期間となっていることから、例えば従来行われていたような適応型フィルタを用いたノイズ除去手法では、フィルタの収束が間に合わず、結果としてノイズを除去しきれないといった可能性も考えられなくはない。
また、HDDノイズは上記のように比較的広帯域にわたりそのパワーが分布する特性とされるので、これを例えば逆位相の信号を加算することにより除去する手法を適用した場合には、ノイズを除去することが困難となる可能性がある。
そこで、本実施の形態では、このようなHDDノイズの特性を考慮して適正にこれを除去することのできるノイズ除去の手法を採用するものとしている。
図10は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図10(a)は、入力音声信号Ainについてノイズ区間とその前後を含む時間波形とを示し、図10(b)ではノイズ除去後の音声出力信号Aoutについてノイズ区間とその前後を含む時間波形を示している。
図10は、実施の形態のノイズ除去手法の基本的な考え方について模式的に示した図であり、図10(a)は、入力音声信号Ainについてノイズ区間とその前後を含む時間波形とを示し、図10(b)ではノイズ除去後の音声出力信号Aoutについてノイズ区間とその前後を含む時間波形を示している。
本実施の形態では、上記のようなHDDノイズの特性を考慮して、ノイズ区間の音声信号を、ノイズ発生タイミングの周辺の音声信号の波形情報を利用して補間するものとしている。
つまり、図10(b)に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにして(つまり置き換えるようにして)ノイズ区間の信号を補間するというものである。
つまり、図10(b)に示されるようにして、ノイズ発生タイミングの周辺波形からノイズを除去するためのノイズ除去信号を生成し、ノイズ区間に対し、このように生成したノイズ除去信号を挿入するようにして(つまり置き換えるようにして)ノイズ区間の信号を補間するというものである。
このようなノイズ除去手法を実現するために、実施の形態のビデオカメラ装置1は、図2に示すノイズ除去信号生成部26と信号挿入部30とを備えている。
図2に示すようにしてノイズ除去信号生成部26には、ディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
ノイズ除去信号生成部26は、上記入力音声信号Ain-2における上記ノイズ区間情報NSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部30に対して供給する。
図2に示すようにしてノイズ除去信号生成部26には、ディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
ノイズ除去信号生成部26は、上記入力音声信号Ain-2における上記ノイズ区間情報NSが示すノイズ区間を補間するためのノイズ除去信号を生成し、これを上記信号挿入部30に対して供給する。
また、先に述べたようにしてノイズ除去信号生成部26には、除去動作制御部27からのON/OFF制御信号が供給され、このON/OFF制御信号に基づきノイズ除去信号の生成動作のON/OFFが制御されるようになっている。
なお、このノイズ除去信号生成部26の内部構成及び動作については後述する。
なお、このノイズ除去信号生成部26の内部構成及び動作については後述する。
信号挿入部30には、ノイズ除去信号生成部26からのノイズ除去信号と共に、ディレイ回路21とディレイ回路22とディレイ回路23とを介して得られる入力音声信号Ain-3と、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSとが入力される。
この信号挿入部30は、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3における上記ノイズ区間情報NSが示すノイズ区間に、上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。この信号挿入部30の選択出力は、図示するようにして音声出力信号Aoutとして音声信号処理部3に対して供給される。
この信号挿入部30は、上記入力音声信号Ain-3をそのまま出力するか、或いは上記入力音声信号Ain-3における上記ノイズ区間情報NSが示すノイズ区間に、上記入力音声信号Ain-3に代えて上記ノイズ除去信号を出力するかを選択可能に構成される。この信号挿入部30の選択出力は、図示するようにして音声出力信号Aoutとして音声信号処理部3に対して供給される。
このような信号挿入部30の選択動作は、先にも述べたように選択制御部29からの選択制御信号SLCによって制御されるようになっている。
つまり、信号挿入部30は、上記選択制御信号SLCにより入力音声信号Ain-3の選択が指示された場合は、入力音声信号Ain-3をそのまま選択出力する。そして、上記選択制御信号SLCによりノイズ除去信号の選択が指示された場合は、上記入力音声信号Ain-3におけるノイズ区間の信号の代わりに、上記ノイズ除去信号を出力するようにされる。換言すれば、入力音声信号Ain-3におけるノイズ区間にノイズ除去信号を挿入するようにされるものである。
つまり、信号挿入部30は、上記選択制御信号SLCにより入力音声信号Ain-3の選択が指示された場合は、入力音声信号Ain-3をそのまま選択出力する。そして、上記選択制御信号SLCによりノイズ除去信号の選択が指示された場合は、上記入力音声信号Ain-3におけるノイズ区間の信号の代わりに、上記ノイズ除去信号を出力するようにされる。換言すれば、入力音声信号Ain-3におけるノイズ区間にノイズ除去信号を挿入するようにされるものである。
ここで、本実施の形態のノイズ除去信号の生成手法について説明する。
図11は、図2に示したノイズ除去信号生成部26の内部構成を示している。
この図11に示すようにしてノイズ除去信号生成部26内には、ディレイ回路31、前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35、クロスフェード処理部36が備えられる。
先の図2にも示したように、ノイズ除去信号生成部26には、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSと、除去動作制御部27からのON/OFF制御信号が供給される。図示は省略しているが、上記ノイズ区間情報NSは、ノイズ除去信号生成部26内の各部に対して供給されている。
また、上記ON/OFF制御信号としても、ノイズ除去信号生成部26内の各部に対して供給され、各部はこのON/OFF制御信号に応じてON/OFFするように構成されている。
図11は、図2に示したノイズ除去信号生成部26の内部構成を示している。
この図11に示すようにしてノイズ除去信号生成部26内には、ディレイ回路31、前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35、クロスフェード処理部36が備えられる。
先の図2にも示したように、ノイズ除去信号生成部26には、ノイズタイミング検出・ノイズ区間設定部24からのノイズ区間情報NSと、除去動作制御部27からのON/OFF制御信号が供給される。図示は省略しているが、上記ノイズ区間情報NSは、ノイズ除去信号生成部26内の各部に対して供給されている。
また、上記ON/OFF制御信号としても、ノイズ除去信号生成部26内の各部に対して供給され、各部はこのON/OFF制御信号に応じてON/OFFするように構成されている。
図11において、先ず前半ピッチ計算部32、後半ピッチ計算部33に対しては、先の図2に示したディレイ回路21とディレイ回路22とを介して得られる入力音声信号Ain-2が入力される。
上記前半ピッチ計算部32は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の前側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報P-fを得る。
具体的にこの場合は、上記ノイズ区間の開始点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記前半ピッチ情報P-fを得る。
また、上記後半ピッチ計算部33は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の後側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報P-rを得る。具体的には、上記ノイズ区間の終了点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記後半ピッチ情報P-rを得る。
上記前半ピッチ計算部32は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の前側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す前半ピッチ情報P-fを得る。
具体的にこの場合は、上記ノイズ区間の開始点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記前半ピッチ情報P-fを得る。
また、上記後半ピッチ計算部33は、入力音声信号Ain-2について、ノイズ区間情報NSにより示されるノイズ区間の後側近傍で最も波形相関性のあるとされるピッチ周期を計算し、そのピッチ周期により特定される区間を示す後半ピッチ情報P-rを得る。具体的には、上記ノイズ区間の終了点を基準としてその前後の最も波形相関性のあるとされるピッチ周期を計算して上記後半ピッチ情報P-rを得る。
上記前半ピッチ計算部32及び後半ピッチ計算部33において、上記ピッチ周期は、例えば以下で定義するような平均歪みを最小にするサンプル数Tとして算出することができる。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部32及び後半ピッチ計算部33においては、波形相関が最も高くなるようなピッチ周期が算出される。
(1 / T) * Σt = 0 〜 T-1 {Ain(t) - Ain(t + T)}2
又は、
(1 / T) * Σt = 0 〜 T-1 | Ain(t) - Ain(t + T) |
このようにして上記前半ピッチ計算部32及び後半ピッチ計算部33においては、波形相関が最も高くなるようなピッチ周期が算出される。
なお、このようなピッチ周期の計算(以下ピッチ計算とも言う)の手法は、いわゆる話速変換と呼ばれるような音声の時間軸方向への伸張/圧縮の技術でも適用されている手法である。このような話速変換の技術については、例えば以下の文献を参照されたい。
・日本音響学会論文集(昭和61年10月)森田、板倉「ポインター移動量制御による重加算法(PICOLA)を用いた音声の時間軸での伸張圧縮とその評価」p149−150
・日本音響学会論文集(昭和61年10月)森田、板倉「ポインター移動量制御による重加算法(PICOLA)を用いた音声の時間軸での伸張圧縮とその評価」p149−150
また、上記説明によると、この場合のピッチ周期の計算時にはノイズ区間の開始点・終了点を基準としてその前後も対象とすることで、ノイズ区間内の部分もピッチ計算の対象としているが、これは、実施の形態ではノイズ区間を実際にHDDノイズの存在する区間に対して広めに設定しているためであり、さらに、HDDノイズは極めてレベルの小さい信号でありピッチ計算において支配的な信号にはならないことを前提としているためである。
上記前半ピッチ計算部32にて得られた前半ピッチ情報P-fは、前半信号生成部34に対して供給される。また、上記後半ピッチ計算部33にて得られた後半ピッチ情報P-rは後半信号生成部35に対して供給される。
前半信号生成部34、及び後半信号生成部35に対しては、入力音声信号Ain-2が図示するディレイ回路31によって遅延された入力音声信号Ain-2dが入力される。
なお、このディレイ回路31に設定されるべき遅延時間については後述する。
なお、このディレイ回路31に設定されるべき遅延時間については後述する。
前半信号生成部34は、上記入力音声信号Ain-2dと、上記前半ピッチ情報P-fとに基き、次の図12に説明するようにして前半信号を生成する。
また後半信号生成部35は、上記入力音声信号Ain-2dと上記後半ピッチ情報P-rとに基き、次の図13に説明するようにして後半信号を生成する。
また後半信号生成部35は、上記入力音声信号Ain-2dと上記後半ピッチ情報P-rとに基き、次の図13に説明するようにして後半信号を生成する。
図12、図13は、上記前半信号生成部34における前半信号の生成処理と、後半信号生成部35における後半信号の生成処理とについてそれぞれ模式的に示している。
先ず、図12において、例えば図12(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部32によっては、図12(b)に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
先ず、図12において、例えば図12(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、前半ピッチ計算部32によっては、図12(b)に示すようなピッチ周期が計算される。先の説明からも理解されるように、このようなピッチ周期は、ノイズ区間の開始点を基準として、その前後において最も波形相関の高くなる周期が算出される。
そして、前半信号生成部34は、このようなピッチ周期により特定される2つの区間(ピッチ区間)を示す前半ピッチ情報P-fに基づき、入力音声信号について所定の信号処理を施すことによって前半信号を生成する。
つまり、前半信号生成部34は、先ずは入力音声信号(Ain-2d)における、上記前半ピッチ情報P-fにより示される2つのピッチ区間の信号に対して、図12(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
つまり、前半信号生成部34は、先ずは入力音声信号(Ain-2d)における、上記前半ピッチ情報P-fにより示される2つのピッチ区間の信号に対して、図12(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。
図示するようにしてこの場合の重み窓データは、ノイズ区間の開始点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
そして、前半信号生成部34は、このようにしてそれぞれの窓データにより重み付けされた音声信号を図12(d)に示すようにして加算することにより、1ピッチ周期分の重み付け加算信号を得る。
その上で、次の図12(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
その上で、次の図12(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の開始点からノイズ区間の終了点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。図示するようにしてこの場合は、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するものとしている。
ここで、個々の重み付け加算信号は、元々波形相関の高い信号同士を重み付け加算したものであり、またそれを繰り返した上記繰り返し重み付け加算信号は、入力音声信号の連続性を保持した繰り返し手法であるため、このようにして生成される繰り返し重み付け加算信号は聴感上極めて自然な音声信号とすることができる。
前半信号生成部34は、この繰り返し重み付け加算信号を前半信号として出力する。
前半信号生成部34は、この繰り返し重み付け加算信号を前半信号として出力する。
また、図13は、後半信号生成部35における後半信号の生成処理について示している。
この場合も、例えば図13(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部33によっては、図13(b)に示すようなピッチ周期が計算される。このような後半ピッチ計算部33によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
この場合も、例えば図13(a)に示されるようにして入力音声信号についてのノイズ区間が設定されたとすると、後半ピッチ計算部33によっては、図13(b)に示すようなピッチ周期が計算される。このような後半ピッチ計算部33によって計算されるピッチ周期としても、ノイズ区間の終了点を基準として、その前後において最も波形相関の高くなる周期となる。
そして、後半信号生成部35としても、このようなピッチ周期により特定される2つのピッチ区間を示す後半ピッチ情報P-rに基づき、入力音声信号について所定の信号処理を施すことによって後半信号を生成する。
すなわち後半信号生成部35は、入力音声信号(Ain-2d)における、上記後半ピッチ情報P-rにより示される2つのピッチ区間の信号に対して、図13(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
すなわち後半信号生成部35は、入力音声信号(Ain-2d)における、上記後半ピッチ情報P-rにより示される2つのピッチ区間の信号に対して、図13(c)に示されるような重み窓データをそれぞれ乗算することにより重み付けを行う。この場合の重み窓データとしても、図示するようにしてノイズ区間の終了点を「1」として、それぞれのピッチ区間の端点側に向けて徐々に「0」に向けて低下するような窓データが設定される。
そして、後半信号生成部35としても、このようにしてそれぞれの窓データにより重み付けされた入力音声信号を、次の図13(d)に示すようにして加算して1ピッチ周期分の重み付け加算信号を得る。
その上で、図13(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
その上で、図13(e)に示すようにして、この1ピッチ周期分の重み付け加算信号をノイズ区間の終了点からノイズ区間の開始点の方向に所定回数繰り返すことにより、繰り返し重み付け加算信号を得る。この場合も、上記重み付け加算信号を、ノイズ区間内に収まる範囲で最大個数繰り返して上記繰り返し重み付け加算信号を生成するようにされる。
後半信号生成部35は、このようにして生成した繰り返し重み付け加算信号を後半信号として出力する。この後半信号としても、上記のようにして前半信号の場合と同様の手法により生成されることで、聴感上極めて自然な音声信号とすることができる。
説明を図11に戻す。
クロスフェード処理部36は、前半信号生成部34が出力する前半信号と、後半信号生成部35が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
クロスフェード処理部36は、前半信号生成部34が出力する前半信号と、後半信号生成部35が出力する後半信号とを入力し、それらのクロスフェード処理を行ってノイズ除去信号を生成する。
図14は、クロスフェード処理部36のクロスフェード処理について模式的に示した図である。
クロスフェード処理部36では、図14(a)に示されるようにして、前半信号生成部34からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図14(b)に示されるようにして、後半信号生成部35からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、図示するようにしてそれぞれ前半信号と後半信号とがオーバーラップする区間の長さを有し、「1」から「0」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「1」として、前半信号の終了点にかけて徐々に「0」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「1」として後半信号の開始点にかけて徐々に「0」に向けて低下するものが設定される。
クロスフェード処理部36では、図14(a)に示されるようにして、前半信号生成部34からの前半信号に対し、図のような重み窓データを乗算して重み付けを行う。
同様に、図14(b)に示されるようにして、後半信号生成部35からの後半信号に対しても、図のような重み窓データを乗算して重み付けを行う。
前半信号、後半信号に対して重み付けを行うための窓データは、図示するようにしてそれぞれ前半信号と後半信号とがオーバーラップする区間の長さを有し、「1」から「0」に徐々に低下するものが設定される。具体的に、前半信号に対する窓データは、後半信号の開始点を「1」として、前半信号の終了点にかけて徐々に「0」に向けて低下するものが設定される。また、後半信号に対する窓データとしては、前半信号の終了点を「1」として後半信号の開始点にかけて徐々に「0」に向けて低下するものが設定される。
そして、クロスフェード処理部36は、このようにして重み付けされた前半信号および後半信号を、次の図14(c)に示すように加算することにより、ノイズ区間と等しい長さの前半・後半重み付け加算信号を得る。
クロスフェード処理部36は、このような処理により生成された前半・後半重み付け加算信号(つまりクロスフェード信号)を、ノイズ除去信号として出力する。
クロスフェード処理部36は、このような処理により生成された前半・後半重み付け加算信号(つまりクロスフェード信号)を、ノイズ除去信号として出力する。
先に述べたようにしてこのノイズ除去信号は、図2(図11)に示される信号挿入部30に入力され、これが入力音声信号(Ain-3)におけるノイズ区間に挿入されることで、ノイズ除去が行われるようになっている。
なお、以上のようにしてノイズ除去が行われるノイズ検出・除去部2においては、複数のディレイ回路が設けられているが、ここでそれら各ディレイ回路(21,22,23,28,31)に設定されるべき遅延時間について整理しておく。
先ず、ディレイ回路21の遅延時間としては、先にも述べたようにノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
先ず、ディレイ回路21の遅延時間としては、先にも述べたようにノイズ埋没判定部25に供給される入力音声信号Ain-1として、少なくともノイズタイミング検出・ノイズ区間設定部24により設定されたノイズ区間の開始点よりもタイミング的に前となる信号部分が供給されるようにして設定されていればよい。
また、ディレイ回路22の遅延時間としては、ノイズ埋没判定部25によるノイズ埋没判定が行われた後に、ノイズ除去信号生成部26に対して入力音声信号Ain-2のノイズ区間前の信号部分が供給されるように設定されればよい。
また、ディレイ回路31については、前半ピッチ情報P-fの出力後に前半信号生成部34に入力音声信号Ain-2dのノイズ区間開始点より所定分前の信号部分が供給され、且つ後半ピッチ情報P-rの出力後に後半信号生成部35に入力音声信号Ain-2dのノイズ区間終了点より所定分前の信号部分が供給されるようにしてその遅延時間が設定されればよい。
また、ディレイ回路23については、ノイズ除去信号生成部26によるノイズ除去信号の生成後に、信号挿入部30に対して入力音声信号Ain-3のノイズ区間前の信号部分が供給されるようにその遅延時間が設定されればよい。
さらに、ディレイ回路28については、ノイズ除去信号生成部26によるノイズ除去信号の生成後に、選択制御部30に対して更新された埋没判定結果情報Mが供給されるようにその遅延時間が設定されればよい。
各ディレイ回路に対してこのような遅延時間を設定することで、連続的に入力される入力音声信号に対して、ノイズ検出に応じてそのノイズ区間を補間してノイズを除去する動作、及びノイズ検出に応じてそのノイズ区間についてのノイズ埋没判定を行う動作、及び埋没判定結果に応じてノイズ除去の実行/不実行を制御する動作が、それぞれ適正に行われるようにすることができる。
[実施の形態のまとめ及び変形例]
これまでで説明したようにして、本実施の形態のビデオカメラ装置1によれば、ノイズ発生源としてのHDD10内に設けたノイズ検出用マイク11からの検出信号に基づいてHDDノイズの発生タイミングを検出するので、例えばHDD10への記録開始/停止指示のタイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングの検出を行うことができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
これまでで説明したようにして、本実施の形態のビデオカメラ装置1によれば、ノイズ発生源としてのHDD10内に設けたノイズ検出用マイク11からの検出信号に基づいてHDDノイズの発生タイミングを検出するので、例えばHDD10への記録開始/停止指示のタイミングからノイズ発生区間を予測する場合とは異なり、適正にノイズ発生タイミングの検出を行うことができ、これによってノイズ区間は必要最小限の区間を設定することができる。
このようにしてノイズ区間を必要最小限に設定することができれば、ノイズ除去に伴い生じる可能性のある音質劣化部分としても最小限に抑えることができる。
そして、本実施の形態では、上記のようなノイズ検出用マイク11の検出信号に基づくノイズ発生タイミングの検出のための信号分析を、ノイズ発生タイミングが含まれるとされる所定区間内でのみ行うものとしている。具体的には、HDD10に対する記録開始/停止指示に応じてシステムコントローラ12が出力するノイズ発生予想区間情報NcSが示す範囲内でのみ行うものとしている。
これにより、ノイズタイミング検出・ノイズ区間設定部24では、常時ノイズタイミング検出のための信号分析を行う必要がないものとでき、その分の処理負担と消費電力とを削減することができる。
これにより、ノイズタイミング検出・ノイズ区間設定部24では、常時ノイズタイミング検出のための信号分析を行う必要がないものとでき、その分の処理負担と消費電力とを削減することができる。
また、このとき、上記信号分析はあくまでHDDノイズの発生することが予想される区間内で行われるものであるので、上記のように信号分析区間が削減されることによるHDDノイズの検出漏れはないものとすることができる。すなわちこのことから、HDDノイズの検出漏れの防止と、分析期間の削減による処理負担・消費電力の削減との両立が図られるものである。
また、上記のような信号分析に基づくノイズタイミング検出は誤検出の可能性が皆無ではないが、上記のようにしてノイズタイミング検出のための信号分析を行う期間がノイズ発生予想区間NcSの区間内のみに絞られれば、その分ノイズタイミング検出の誤検出の機会は減り、その分、このような誤検出に基づく無駄なノイズ除去動作が行われる機会も減らすことができる。そして、このようにノイズ誤検出に基づく無駄なノイズ除去動作の機会を減らすことができれば、音質劣化の機会も減らすことができる。
すなわち、本実施の形態によれば、このようにノイズ検出のための信号分析の期間を削減したという面でも、音質劣化の最小限化を図ることができるものである。
すなわち、本実施の形態によれば、このようにノイズ検出のための信号分析の期間を削減したという面でも、音質劣化の最小限化を図ることができるものである。
また、実施の形態では、ノイズ埋没判定部25、除去動作制御部27、及び選択制御部29の動作により、HDDノイズが入力音声信号Ainにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部26によるノイズ除去信号の生成動作を実行させ、且つ信号挿入部30にてノイズ除去信号(つまりノイズの除去された音声信号)が選択出力されるようにしている。
このようにして、HDDノイズが背景音に埋没しないとされた場合にのみノイズの除去された音声信号が選択出力されるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去が行われてしまうことを効果的に防止することができる。そして、このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に減らすことができる。
このようにして、HDDノイズが背景音に埋没しないとされた場合にのみノイズの除去された音声信号が選択出力されるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去が行われてしまうことを効果的に防止することができる。そして、このように無駄なノイズ除去が行われないようにすることができれば、その分ノイズ除去に伴う音質劣化の機会も有効に減らすことができる。
また、上記のようにしてHDDノイズが入力音声信号Ainにおける背景音に埋没しないとされた場合にのみノイズ除去信号生成部26によるノイズ除去信号の生成動作を実行させるようにしたことで、HDDノイズが背景音に埋没しノイズ除去を行う必要がない場合に、無駄なノイズ除去動作が行われてしまうことを効果的に防止することができ、その分処理負担の削減と消費電力の削減を図ることができる。
また、実施の形態では、上記のようなノイズ埋没判定部25によるノイズ埋没判定のための信号分析を常時行うものとはせず、HDDノイズの発生するとされる区間内でのみ行うものとしている。具体的には、ノイズタイミング検出・ノイズ区間設定部24によって設定されたノイズ区間内でのみ行うものとしている。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部24の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
このようにしてノイズ埋没判定のための信号分析を行う期間がノイズの発生するとされる区間内のみに絞られれば、その分ノイズ埋没判定部24の処理負担を軽減することができ、またその消費電力としても削減を図ることができる。
そして、ノイズ埋没判定としても、このように少なくともノイズが発生するとされる区間内でのみ信号分析が行われるものとされることで、ノイズ埋没判定の判定漏れがないようにすることができ、このことで判定漏れの防止と上記のような処理負担・消費電力の削減と両立が図られるものとなる。
また、実施の形態では、ノイズ発生源に対して設けたノイズ検出用マイクによりノイズ発生タイミングを検出する手法を採る場合に、上記のようなノイズ埋没判定に応じたノイズ除去動作の制御を行うものとしているが、このことによっては以下のような利点も得られる。
すなわち、このようにしてノイズ検出用マイクを用いる場合には、仮に背景音が比較的大きい状況下には、その背景音がノイズ検出用マイクにより収音されることで、ノイズが誤検出される可能性がなくはないが、万が一背景音の比較的大きい状況下でノイズが誤検出されてしまったとしても、上記のようなノイズ埋没判定の結果に基づくノイズ除去制御が行われることで、結果的にはノイズ除去が行われないようにすることができることになる。
すなわち、このようにしてノイズ検出用マイクを用いる場合には、仮に背景音が比較的大きい状況下には、その背景音がノイズ検出用マイクにより収音されることで、ノイズが誤検出される可能性がなくはないが、万が一背景音の比較的大きい状況下でノイズが誤検出されてしまったとしても、上記のようなノイズ埋没判定の結果に基づくノイズ除去制御が行われることで、結果的にはノイズ除去が行われないようにすることができることになる。
また、実施の形態では、ノイズタイミング検出・ノイズ区間設定部24において、検出されたノイスタイミングに基づく所定区間をノイズ区間として設定し、入力音声信号Ain中のこのノイズ区間に対し、入力音声信号Ainから生成したノイズ除去信号を置き換えるようにして挿入することで、ノイズ除去を行うものとしている。
これによれば、本実施の形態のHDDノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
これによれば、本実施の形態のHDDノイズのように、その発生期間が非常に短く、また比較的広い周波数帯域にわたりパワーが分布するノイズに対し、例えば従来の適応型フィルタを用いる手法や逆位相信号を加算する手法などが採られる場合と比較して、より有効にノイズ除去を行うことができる。
また、実施の形態では、ノイズ区間の開始点前後の入力音声信号Ain、及びノイズ区間の終了点前後の入力音声信号Ainに対してピッチ計算を行い、得られたピッチ情報Pに基いて前半信号および後半信号の生成を行い、これら前半信号と後半信号とのクロスフェード処理を行ってノイズ除去信号を生成するものとしたが、これによりノイズ除去信号としては、それ自体の音質を聴感上極めて自然なものとでき、またノイズ区間前後の音声のつながりも聴感上極めて自然となるようにすることのできる信号を得ることができる。つまり、このようなノイズ除去信号によりノイズ区間の音声信号が置き換えられることで、聴感上極めて自然にノイズ区間を補間することができる。
ところで、本実施の形態では、ピッチ計算として波形歪みを最小とするような波形相関性を有する区間を割り出し、その区間の信号に基づいてノイズ除去信号を生成するものとしているが、これによってノイズ除去に伴う音質劣化は最小限に抑えることができる。
ここで、ノイズ除去に関しては、例えば他の手法として、ノイズ区間前後の波形がつながるように近似式を用いて生成したノイズ除去信号をノイズ区間に挿入することも考えられる。しかしながら、このように近似によって前後の波形のつながりを確保する手法では、波形の歪みを生じさせ兼ねないものとなる。
これに対し本実施の形態の手法では、波形歪みを最小とするような波形相関性を有する区間を割り出し、その区間の信号に基づいてノイズ除去信号を生成するので、より音質劣化の少ないノイズ除去を実現することができる。
ここで、ノイズ除去に関しては、例えば他の手法として、ノイズ区間前後の波形がつながるように近似式を用いて生成したノイズ除去信号をノイズ区間に挿入することも考えられる。しかしながら、このように近似によって前後の波形のつながりを確保する手法では、波形の歪みを生じさせ兼ねないものとなる。
これに対し本実施の形態の手法では、波形歪みを最小とするような波形相関性を有する区間を割り出し、その区間の信号に基づいてノイズ除去信号を生成するので、より音質劣化の少ないノイズ除去を実現することができる。
また、実施の形態では、ピッチ計算により割り出された2つのピッチ区間の信号を合成した信号(先の例では重み付け加算信号)を、時間軸方向に所定回数繰り返して前半信号、及び後半信号を生成し、さらにこれら前半信号と後半信号とを合成することでノイズ除去信号を生成するものとしたが、これにより、ノイズ区間が1ピッチ区間に対して比較的長い場合に対応した長さによるノイズ除去信号を生成することができる。
また、確認のために述べておくと、このとき時間軸方向に繰り返す信号が、2つのピッチ区間の信号について先の図12(b)、図13(b)のような重み窓データによる重み付け加算した重み付け加算信号とされていることで、前半信号、後半信号自体の音質は聴感上極めて自然なものとでき、またこのように生成された前半信号と後半信号とを上述したようなクロスフェード処理などにより合成して得られるノイズ除去信号としても、同様にそれ自体の音質は聴感上極めて自然なものとできる。
また、確認のために述べておくと、このとき時間軸方向に繰り返す信号が、2つのピッチ区間の信号について先の図12(b)、図13(b)のような重み窓データによる重み付け加算した重み付け加算信号とされていることで、前半信号、後半信号自体の音質は聴感上極めて自然なものとでき、またこのように生成された前半信号と後半信号とを上述したようなクロスフェード処理などにより合成して得られるノイズ除去信号としても、同様にそれ自体の音質は聴感上極めて自然なものとできる。
ここで、先にも述べたように本実施の形態では、ピッチ計算の手法として、先にその文献を例示した話速変換の場合と同様の手法を適用するものとしているが、この話速変換の技術は、ピッチ計算で割り出された2つのピッチ区間の信号を合成した信号(実施の形態では重み付け加算信号に相当)を、音声信号中における、ピッチ計算の際に基準とした点に割り込ませるようにして挿入するものである。すなわち、実施の形態のようにして音声信号中の所定区間を置き換えるという手法が採られているものではなく、この点で本実施の形態とは全く異なる技術となる。
−実施の形態の変形例−
<第1の変形例>
以下、実施の形態の変形例について説明する。
先ず、第1の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
<第1の変形例>
以下、実施の形態の変形例について説明する。
先ず、第1の変形例は、これまでで説明した実施の形態としての動作を、ソフトウェア処理により実現するものである。
ここでは一例として、ビデオカメラ装置の全体制御を行うシステムコントローラのソフトウエア処理により実施の形態としての動作を実現する場合について説明する。
図15は、第1の変形例としてのビデオカメラ装置15の内部構成を示すブロック図である。なお、この図において、既に図2にて説明した部分と同様となる部分については同一符号を付して説明を省略する。
図示するようにしてこの場合は、ディレイ回路21からの入力音声信号Ain-1、ディレイ回路22からの入力音声信号Ain-2、ディレイ回路31からの入力音声信号Ain-2d、及びディレイ回路23からの入力音声信号Ain-3が、それぞれシステムコントローラ16に対して供給される。また、システムコントローラ16には、ノイズ検出用マイク11からの検出用音声信号ANinも供給される。
この場合のシステムコントローラ16としても、先に説明したシステムコントローラ12と同様に、間欠アクセスのための制御処理を行うものとされる。
図示するようにしてこの場合は、ディレイ回路21からの入力音声信号Ain-1、ディレイ回路22からの入力音声信号Ain-2、ディレイ回路31からの入力音声信号Ain-2d、及びディレイ回路23からの入力音声信号Ain-3が、それぞれシステムコントローラ16に対して供給される。また、システムコントローラ16には、ノイズ検出用マイク11からの検出用音声信号ANinも供給される。
この場合のシステムコントローラ16としても、先に説明したシステムコントローラ12と同様に、間欠アクセスのための制御処理を行うものとされる。
図16〜図18は、先に説明した実施の形態としての動作を実現するために、システムコントローラ16が実行すべき処理動作について示したフローチャートである。なお、これらの図に示す処理動作は、システムコントローラ16が例えば内部のROM等に格納されるプログラムに基づいて実行するものである。
先ず、図16では、図2に示したノイズタイミング検出・ノイズ区間設定部24の動作に対応した処理動作について示している。
先ず、ステップS101では、記録開始/停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、HDD10への記録開始指示又は記録停止指示の発生を待機するようにされる。
先ず、ステップS101では、記録開始/停止指示の発生を待機する。つまり、この図に示す処理動作とは並行して行われることになる間欠アクセスのための制御処理によって行われる、HDD10への記録開始指示又は記録停止指示の発生を待機するようにされる。
そして、上記記録開始/停止指示が発生した場合は、ステップS102において、検出用音声信号ANinを入力する。
さらに、続くステップS103では、ノイズ発生予想区間における信号分析を行う。すなわち、上記のようにして記録開始/停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間(ノイズ発生予想区間情報NcS)を設定し、入力される検出用音声信号ANinの振幅値と先に述べた閾値th-s1と閾値th-s2との比較を行う。
さらに、続くステップS103では、ノイズ発生予想区間における信号分析を行う。すなわち、上記のようにして記録開始/停止指示のタイミングが検出されたことに応じ、そのタイミングに基づくノイズ発生予想区間(ノイズ発生予想区間情報NcS)を設定し、入力される検出用音声信号ANinの振幅値と先に述べた閾値th-s1と閾値th-s2との比較を行う。
続くステップS104では、検出用音声信号ANinの振幅値が所定範囲外であるか否かについて判別する。つまり、上記信号分析の結果から検出用音声信号ANinの振幅値が閾値th-s1と閾値th-s2とによる所定範囲を超えたか否かについて判別処理を行う。
ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えていないとして否定結果が得られた場合は、ステップS105に進みノイズ発生予想区間が終了したか否かを判別する。そして、ノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合はステップS104に戻り、またノイズ発生予想区間が終了したとして肯定結果が得られた場合はステップS107に進んで信号分析を終了して「RETURN」となる。
ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えていないとして否定結果が得られた場合は、ステップS105に進みノイズ発生予想区間が終了したか否かを判別する。そして、ノイズ発生予想区間が未だ終了していないとして否定結果が得られた場合はステップS104に戻り、またノイズ発生予想区間が終了したとして肯定結果が得られた場合はステップS107に進んで信号分析を終了して「RETURN」となる。
また、ステップS104において、検出用音声信号ANinの振幅値が上記所定範囲を超えたとして肯定結果が得られた場合は、ステップS106において、その検出タイミングを含む所定長期間をノイズ区間(ノイズ区間情報NS)として設定した後、ステップS107にて信号分析を終了して「RETURN」となる。
また、図17は、ノイズ埋没判定部25の動作に対応した処理動作について示している。
図17において、ステップS201では、ノイズ検出待機処理として、先の図16に示したステップS106によるノイズ区間の設定を待機するようにされる。
そして、ノイズ区間が設定された場合は、ステップS202において、入力音声信号Ain-1を入力する。
図17において、ステップS201では、ノイズ検出待機処理として、先の図16に示したステップS106によるノイズ区間の設定を待機するようにされる。
そして、ノイズ区間が設定された場合は、ステップS202において、入力音声信号Ain-1を入力する。
続くステップS203では、ノイズ区間における入力音声信号Ain-1のパワー(P-NSとする)を計算する。つまり、このパワーP-NSとしては、先に説明したノイズ埋没判定部25と同様に、ノイズ区間における入力音声信号Ain-1の例えば時間波形のパワーを計算する。このような入力音声信号Ain-1の時間波形のパワーは、先にも述べたように各時間における入力音声信号Ain-1の値の2乗和により算出することができる。
ステップS204では、計算したパワーP-NSが閾値th-pを超えるか否かについて判別処理を行う。パワーP-NSが閾値th-pを超えるとして肯定結果が得られた場合は、ステップS205に進みノイズ埋没判定を行って「RETURN」となる。
一方、パワーP-NSが閾値th-pを超えないとして否定結果が得られた場合は、ステップS206に進んでノイズ非埋没判定を行って「RETURN」となる。
一方、パワーP-NSが閾値th-pを超えないとして否定結果が得られた場合は、ステップS206に進んでノイズ非埋没判定を行って「RETURN」となる。
さらに、図18は、ノイズ除去信号生成部26、除去動作制御部27、選択制御部29、及び信号挿入部30の動作に対応した処理動作を示している。
先ず、ステップS301では、上記ステップS206によるノイズ非埋没判定を待機するようにされる。そして、ノイズ非埋没判定があった場合は、ステップS302において入力音声信号Ain-2を入力する。
先ず、ステップS301では、上記ステップS206によるノイズ非埋没判定を待機するようにされる。そして、ノイズ非埋没判定があった場合は、ステップS302において入力音声信号Ain-2を入力する。
続くステップS303では、前半ピッチ情報P-f、後半ピッチ情報P-rを計算する処理を実行する。すなわち、先に説明した前半ピッチ計算部32、後半ピッチ計算部33と同様に、入力音声信号Ain-2のノイズ区間開始点前後のピッチ周期、終了点前後のピッチ周期を計算し、それら計算したピッチ周期から前半ピッチ情報P-f、後半ピッチ情報P-rを得る。
ステップS304では、入力音声信号Ain-2dを入力する。
そして、ステップS305では、前半ピッチ情報P-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、前半ピッチ情報P-fにより示される2つのピッチ区間の信号に先の図12(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図12(d)に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
そして、ステップS305では、前半ピッチ情報P-fに基づき前半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、前半ピッチ情報P-fにより示される2つのピッチ区間の信号に先の図12(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図12(d)に示したようにノイズ区間の開始点から終了点側に所定回数繰り返すことで前半信号を生成する。
また、ステップS306では、後半ピッチ情報P-rに基づき後半信号を生成するための処理を実行する。すなわち、入力音声信号Ain-2dについて、後半ピッチ情報P-rにより示される2つのピッチ区間の信号に先の図13(c)に示したような重み窓データをそれぞれ乗算し、それらを加算した重み付け加算信号を生成すると共に、この重み付け加算信号を図13(d)に示したようにノイズ区間の終了点から開始点側に所定回数繰り返すことで後半信号を生成する。
そして、ステップS307では、前半信号・後半信号のクロスフェード処理を実行する。つまり、上記のようにして生成した前半信号、後半信号について、先の図14に示したようなクロスフェード処理を実行してクロスフェード信号(ノイズ除去信号)を得る。
続くステップS308では、入力音声信号Ain-3のノイズ区間にノイズ除去信号を挿入して出力するための処理を実行する。すなわち、入力される上記入力音声信号Ain-3と、上記のようにして生成したノイズ除去信号のうち上記ノイズ除去信号を選択し、これを上記入力音声信号Ain-3のノイズ区間の信号部分の代わりに出力する。
これにより、図15に示す出力音声信号Aoutとして、HDDノイズが除去された信号を出力することができる。
これにより、図15に示す出力音声信号Aoutとして、HDDノイズが除去された信号を出力することができる。
<第2の変形例>
図19〜図21は、第2の変形例について示している。
第2の変形例は、ビデオカメラ装置1内のノイズ除去信号生成部26にのみ変更を加えたものであり、これら図19〜図21においては、第2の変形例のビデオカメラ装置1が備えるノイズ除去信号生成部26の内部構成を示している。なお、これら図19〜図21においても、既に説明済みの部分については同一符号を付して説明を省略する。
図19〜図21は、第2の変形例について示している。
第2の変形例は、ビデオカメラ装置1内のノイズ除去信号生成部26にのみ変更を加えたものであり、これら図19〜図21においては、第2の変形例のビデオカメラ装置1が備えるノイズ除去信号生成部26の内部構成を示している。なお、これら図19〜図21においても、既に説明済みの部分については同一符号を付して説明を省略する。
先ず、図19の例は、ダウンサンプル部40を追加したものである。
図19において、このダウンサンプル部40は、先の図2に示したディレイ回路22を介して得られる入力音声信号Ain-2に対して例えば1/2間引きや1/4間引きといったダウンサンプル処理を行い、その結果を前半ピッチ計算部32、及び後半ピッチ計算部33に対して出力する。すなわち、この場合の前半ピッチ計算部32、後半ピッチ計算部33は、このようなダウンサンプル処理後の入力音声信号Ain-2についてピッチ計算を行うようにされる。
図19において、このダウンサンプル部40は、先の図2に示したディレイ回路22を介して得られる入力音声信号Ain-2に対して例えば1/2間引きや1/4間引きといったダウンサンプル処理を行い、その結果を前半ピッチ計算部32、及び後半ピッチ計算部33に対して出力する。すなわち、この場合の前半ピッチ計算部32、後半ピッチ計算部33は、このようなダウンサンプル処理後の入力音声信号Ain-2についてピッチ計算を行うようにされる。
なお、このようにダウンサンプル部40によりダウンサンプルされた入力音声信号Ain-2に基づき算出されるピッチ周期は、実際のピッチ周期に対しダウンサンプル倍率に応じた分短い周期となる。そこで、この場合の前半ピッチ計算部32、後半ピッチ計算部33のそれぞれは、算出されたピッチ周期をダウンサンプル倍率に応じた値で倍数化するなどして本来の周期情報に修正する。
ここで、ピッチ計算は比較的多くの演算を要するため、高サンプリングレートの音声信号に対してノイズ除去を行うような場合には、演算量が増大してしまうことになる。このため、上記のようにダウンサンプル処理を行った音声信号に対してピッチ計算を行うことにより、演算量を大幅に低減して、前半ピッチ計算部32及び後半ピッチ計算部33の処理負担の軽減を図ることができる。
続いて、図20の例は、ダウンミックス部41を追加したものである。
このダウンミックス部41は、入力音声信号Ain-2に対してマルチ/ステレオやマルチ/モノラル、ステレオ/モノラルといったダウンミックス処理を行い、その結果を前半ピッチ計算部32及び後半ピッチ計算部33に出力する。
このように前半ピッチ計算部32及び後半ピッチ計算部33にダウンミックス処理後の音声信号を入力してピッチ計算を行うようにした場合としても、ピッチ計算に要する演算量を大幅に低減でき、ピッチ計算に伴う処理負担の軽減を図ることができる。
このダウンミックス部41は、入力音声信号Ain-2に対してマルチ/ステレオやマルチ/モノラル、ステレオ/モノラルといったダウンミックス処理を行い、その結果を前半ピッチ計算部32及び後半ピッチ計算部33に出力する。
このように前半ピッチ計算部32及び後半ピッチ計算部33にダウンミックス処理後の音声信号を入力してピッチ計算を行うようにした場合としても、ピッチ計算に要する演算量を大幅に低減でき、ピッチ計算に伴う処理負担の軽減を図ることができる。
また、図21の例は、ダウンサンプル部40とダウンミックス部41とを組み合わせたものである。
この場合、先ずはダウンミックス部41が入力音声信号Ain-2に対してダウンミックス処理を行い、このダウンミックス処理後の音声信号をダウンサンプル部40が入力してダウンサンプル処理を行ってその結果を前半ピッチ計算部32及び後半ピッチ計算部33に出力するようにされる。
このようにすることで、ピッチ計算に要する演算量はダウンサンプル処理のみ又はダウンミックス処理のみとする場合よりもさらに低減することができ、ピッチ計算に伴う処理負担のさらなる軽減を図ることができる。
なお、ダウンミックス処理とダウンサンプル処理の順序は前後しても構わない。また、この場合の前半ピッチ計算部32、後半ピッチ計算部33としても、算出したピッチ周期をダウンサンプル倍率に応じて倍数化するように構成しておく。
この場合、先ずはダウンミックス部41が入力音声信号Ain-2に対してダウンミックス処理を行い、このダウンミックス処理後の音声信号をダウンサンプル部40が入力してダウンサンプル処理を行ってその結果を前半ピッチ計算部32及び後半ピッチ計算部33に出力するようにされる。
このようにすることで、ピッチ計算に要する演算量はダウンサンプル処理のみ又はダウンミックス処理のみとする場合よりもさらに低減することができ、ピッチ計算に伴う処理負担のさらなる軽減を図ることができる。
なお、ダウンミックス処理とダウンサンプル処理の順序は前後しても構わない。また、この場合の前半ピッチ計算部32、後半ピッチ計算部33としても、算出したピッチ周期をダウンサンプル倍率に応じて倍数化するように構成しておく。
ここで、第2の変形例において、このようなピッチ計算の演算量削減のための処理を第1の変形例のようなソフトウエア処理により実現する場合に適用するとしたときは、先の図18のステップS302とS303との間に、上記のようなダウンサンプル処理単体、又はダウンミックス処理単体、又はダウンミックス処理とダウンサンプル処理との組み合わせ処理を追加するものとすればよい。
<第3の変形例>
図22は、第3の変形例について示すブロック図である。
第3の変形例は、入力音声信号Ainが無音に近い又はランダムノイズとされる態様で得られているか否かを判定し、その結果に基づきノイズ除去信号生成部26の動作を制御するようにしたものである。
図22は、第3の変形例について示すブロック図である。
第3の変形例は、入力音声信号Ainが無音に近い又はランダムノイズとされる態様で得られているか否かを判定し、その結果に基づきノイズ除去信号生成部26の動作を制御するようにしたものである。
図22において、第3の変形例では、図示するようにして無音・ランダムノイズ判定部43が追加される。この無音・ランダムノイズ判定部43は、この場合は図2に示したノイズ検出・除去部2内に設けられるものとされ、ディレイ回路21を介して得られる入力音声信号Ain-1を入力するようにされている。
無音・ランダムノイズ判定部43は、入力音声信号Ain-1について例えばそのパワー計算や所定閾値との比較など所定の信号分析を行った結果に基づき、上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られているか否かを判定する。そして、上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られているとした場合は、その旨を示す判定結果情報NRを出力する。また、上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られてはいないとした場合は、その旨を示す判定結果情報NRを出力する。
この判定結果情報NRは、図示するようにしてノイズ除去信号生成部26内の前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35に対してそれぞれ供給される。
この判定結果情報NRは、図示するようにしてノイズ除去信号生成部26内の前半ピッチ計算部32、後半ピッチ計算部33、前半信号生成部34、後半信号生成部35に対してそれぞれ供給される。
この場合の前半ピッチ計算部32、後半ピッチ計算部33は、上記判定結果情報NRによって上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られてはいない旨が示される場合には、通常通りピッチ計算を行ってピッチ情報Pを出力する。
そして、前半信号生成部34、後半信号生成部35としても、このように判定結果情報NRにより無音又はランダムノイズではないことが示される場合には、通常通りピッチ情報Pに基づいて入力音声信号Ain-2dから前半信号、後半信号を生成する。
そして、前半信号生成部34、後半信号生成部35としても、このように判定結果情報NRにより無音又はランダムノイズではないことが示される場合には、通常通りピッチ情報Pに基づいて入力音声信号Ain-2dから前半信号、後半信号を生成する。
一方、前半ピッチ計算部32、後半ピッチ計算部33は、上記判定結果情報NRにより上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られている旨が示される場合には、ピッチ計算は行わず、ピッチ情報Pの出力は行わないようにされる。
そして前半信号生成部34、後半信号生成部35は、このように判定結果情報NRにより無音又はランダムノイズであることが示される場合には、例えば次のようにして前半信号、後半信号を生成するようにされる。
つまり、前半信号生成部34は、ノイズ区間情報NSにより示されるノイズ区間の開始点近傍の所定長区間の入力音声信号Ain-2dをそのまま前半信号として取得する。また、後半信号生成部35としては、ノイズ区間情報NSにより示されるノイズ区間の終了点近傍の所定長区間の入力音声信号Ain-2dをそのまま後半信号として取得する。
この場合も上記前半信号及び後半信号はクロスフェード処理部36に供給され、それらがクロスフェードされて信号挿入部30に供給される。
そして前半信号生成部34、後半信号生成部35は、このように判定結果情報NRにより無音又はランダムノイズであることが示される場合には、例えば次のようにして前半信号、後半信号を生成するようにされる。
つまり、前半信号生成部34は、ノイズ区間情報NSにより示されるノイズ区間の開始点近傍の所定長区間の入力音声信号Ain-2dをそのまま前半信号として取得する。また、後半信号生成部35としては、ノイズ区間情報NSにより示されるノイズ区間の終了点近傍の所定長区間の入力音声信号Ain-2dをそのまま後半信号として取得する。
この場合も上記前半信号及び後半信号はクロスフェード処理部36に供給され、それらがクロスフェードされて信号挿入部30に供給される。
例えば無音に近い状態やランダムノイズ下では、音声信号波形の前後のつながりを特に考慮する必要はなくなるので、ピッチ計算を行う必要性はない。そこで、上記のようにして無音に近い状態やランダムノイズ下であるとされた場合に、ピッチ計算が行われないようにすることで、音質の劣化を防ぎつつ、ピッチ計算に伴う処理負担の削減との両立を図ることができる。
図23、図24では、このような第3の変形例としての動作をソフトウエア処理により実現する際に行われるべきフローチャートを示している。なお、これらの図に示す処理動作としても、先の図15に示したシステムコントローラ16が内部のROM等に格納されるプログラムに基づいて実行するものである。
先ず、図23は、無音・ランダムノイズ判定部43の動作に対応した処理動作を示している。先ずステップS401において入力音声信号Ain-1を入力すると、続くステップS402において、無音又はランダムノイズであるか否かの判別を処理を行う。すなわち、入力音声信号Ain-1について先に述べたような所定の信号分析を行った結果に基づき、上記入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られているか否かを判別するものである。
ステップS402において、入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られてはいないとして否定結果が得られた場合は、図示するようにして「RETURN」となる。
またステップS402において、入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られているとして肯定結果が得られた場合は、ステップS403に進んで無音・ランダムノイズ判定を行って「RETURN」となる。
またステップS402において、入力音声信号Ain-1が無音又はランダムノイズとされる態様で得られているとして肯定結果が得られた場合は、ステップS403に進んで無音・ランダムノイズ判定を行って「RETURN」となる。
図24では、このような無音・ランダムノイズ判定部43に対応した処理と共に行われるべき第3の変形例としてのノイズ除去動作を実現するための処理動作について示している。図示するようにしてこの処理動作としては、先の図18に示した処理動作に対し、図中のステップS501〜504が挿入されたものとなる。
つまりこの場合、ステップS301によるノイズ非埋没判定の待機処理後に、ステップS501が追加される。このステップS501では、無音・ランダムノイズ判定の有無を判別するようにされる。すなわち、先のステップS403の処理による無音・ランダムノイズ判定が行われたか否かを判別するものである。
つまりこの場合、ステップS301によるノイズ非埋没判定の待機処理後に、ステップS501が追加される。このステップS501では、無音・ランダムノイズ判定の有無を判別するようにされる。すなわち、先のステップS403の処理による無音・ランダムノイズ判定が行われたか否かを判別するものである。
ステップS501において、無音・ランダムノイズ判定がなかったとして否定結果が得られた場合は、図示するようにして先に説明したステップS302〜S306の処理を実行した後、ステップS307のクロスフェード処理に進むようにされる。
一方、ステップS501において、無音・ランダムノイズ判定があったとして肯定結果が得られた場合は、ステップS502に進み、先ずは入力音声信号Ain-2dを入力する。そして、続くステップS503においては、上記入力音声信号Ain-2dについて、ノイズ区間の開始点近傍の所定長区間の信号をそのまま前半信号として取得する。
さらに、続くステップS504では、上記入力音声信号Ain-2dについて、ノイズ区間の終了点近傍の所定長区間の信号をそのまま後半信号として取得する。
このステップS504の処理を実行すると、図示するようにしてステップS307のクロスフェード処理に進むようにされる。
さらに、続くステップS504では、上記入力音声信号Ain-2dについて、ノイズ区間の終了点近傍の所定長区間の信号をそのまま後半信号として取得する。
このステップS504の処理を実行すると、図示するようにしてステップS307のクロスフェード処理に進むようにされる。
なお、第3の変形例では、無音・ランダムノイズ判定に応じてピッチ計算のみが省略されるものとしたが、クロスフェード処理も省略するものとしてもよい。その場合は、例えば上述のようにして生成した前半信号、後半信号の何れかでそのままノイズ区間を補間するものとすればよい。
このようにクロスフェード処理も省略すれば、音質劣化の防止を図りつつさらなる処理負担の削減を図ることができる。
このようにクロスフェード処理も省略すれば、音質劣化の防止を図りつつさらなる処理負担の削減を図ることができる。
<第4の変形例>
ここで、先の図12〜図14の説明によると、ノイズ除去信号の生成にあたっては、ノイズ区間の開始点又はノイズ区間の終了点を基準として、その前後の部分を対象としてピッチ計算を行ったので、ノイズ区間内もピッチ計算の対象とするものとした。これは、先にも述べたようにHDDノイズは極めてレベルの小さい信号であってピッチ計算において支配的な信号にはならないとの前提があり、また上述の実施の形態では実際にノイズが発生する区間よりも広めにノイズ区間を設定していたことによるものである。
ここで、先の図12〜図14の説明によると、ノイズ除去信号の生成にあたっては、ノイズ区間の開始点又はノイズ区間の終了点を基準として、その前後の部分を対象としてピッチ計算を行ったので、ノイズ区間内もピッチ計算の対象とするものとした。これは、先にも述べたようにHDDノイズは極めてレベルの小さい信号であってピッチ計算において支配的な信号にはならないとの前提があり、また上述の実施の形態では実際にノイズが発生する区間よりも広めにノイズ区間を設定していたことによるものである。
しかしながら、実際にHDDノイズの存在する区間と同程度にノイズ区間を設定しており、且つ背景音が無音に近いなどHDDノイズがピッチ計算において支配的な信号になる場合には、ノイズ区間をピッチ計算の対象から除外することも可能である。
図25〜図27は、このようにしてノイズ区間をピッチ計算の対象から除外するとした第4の変形例としての動作について模式的に示した図である。
先ず、図25は、第4の変形例における前半ピッチ計算部32と前半信号生成部34とにより行われるべき前半信号の生成処理について示している。
先ず、この場合の前半ピッチ計算部32は、例えば図25(a)に示すようなノイズ区間が設定されていたとすると、ノイズ区間の前側の近傍のうち、ノイズ区間の開始点よりも前側となる所定点(以下、前半所定点PC-fとする)を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の前半ピッチ計算部32によっては、ノイズ区間の前側周辺で且つノイズ区間外となる時点を中間点とする2つのピッチ区間が特定され、このような2つのピッチ区間を示す前半ピッチ情報P-fが生成される。
先ず、図25は、第4の変形例における前半ピッチ計算部32と前半信号生成部34とにより行われるべき前半信号の生成処理について示している。
先ず、この場合の前半ピッチ計算部32は、例えば図25(a)に示すようなノイズ区間が設定されていたとすると、ノイズ区間の前側の近傍のうち、ノイズ区間の開始点よりも前側となる所定点(以下、前半所定点PC-fとする)を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の前半ピッチ計算部32によっては、ノイズ区間の前側周辺で且つノイズ区間外となる時点を中間点とする2つのピッチ区間が特定され、このような2つのピッチ区間を示す前半ピッチ情報P-fが生成される。
そして、前半信号生成部34は、このようにして生成された前半ピッチ情報P-fが示す2つのピッチ区間の信号に対し、次の図25(c)(d)に示すようにして、先の図12にて説明したものと同様の重み窓データを乗算し、それらを加算した1ピッチ周期分の重み付け加算信号を生成する。
その上で、この場合の前半信号生成部34は、次の図25(e)に示すようにして、上記重み付け加算信号を、上記前半ピッチ情報P-fが示す2つのピッチ区間の中間点(つまり上記前半所定点PC-f)から、ノイズ区間の終了点側に所定回数繰り返すことで繰り返し重み付け加算信号(前半信号)を生成する。この場合も前半信号の生成にあたっては、例えば図示するようにして上記重み付け加算信号をノイズ区間の終了点を超えない範囲で最大個数繰り返すようにされる。
また、図26は、第4の変形例における後半ピッチ計算部33と後半信号生成部35とにより行われるべき後半信号の生成処理について示している。
この場合の後半ピッチ計算部33は、ノイズ区間の後側の近傍のうち、ノイズ区間の終了点よりも後側となる所定点(以下、後半所定点PC-rと呼ぶ)を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の後半ピッチ計算部33によっては、ノイズ区間の後側周辺であって且つノイズ区間外となる時点を中間点とする2つのピッチ区間が特定され、このような2つのピッチ区間を示す後半ピッチ情報P-rが生成される。
この場合の後半ピッチ計算部33は、ノイズ区間の後側の近傍のうち、ノイズ区間の終了点よりも後側となる所定点(以下、後半所定点PC-rと呼ぶ)を基準としてピッチ計算を行うものとされる。このようなピッチ計算により、この場合の後半ピッチ計算部33によっては、ノイズ区間の後側周辺であって且つノイズ区間外となる時点を中間点とする2つのピッチ区間が特定され、このような2つのピッチ区間を示す後半ピッチ情報P-rが生成される。
そして、後半信号生成部35は、このようにして生成された後半ピッチ情報P-rが示す2つのピッチ区間の信号に対し、次の図26(c)(d)に示すようにして、先の図13にて説明したものと同様の重み窓データを乗算し、それらを加算した1ピッチ周期分の重み付け加算信号を生成する。
その上で、この場合の後半信号生成部35は、次の図26(e)に示すようにして、上記重み付け加算信号を、上記後半ピッチ情報P-rが示す2つのピッチ区間の中間点(つまり上記後半所定点PC-r)から、ノイズ区間の開始点側に所定回数繰り返すことで繰り返し重み付け加算信号(後半信号)を生成する。この後半信号についても、その生成にあたっては上記重み付け加算信号を例えば図示するようにノイズ区間の開始点を超えない範囲で最大個数繰り返すようにされる。
さらに、図27は、この場合のクロスフェード処理部36により行われるクロスフェード処理について示している。
この場合のクロスフェード処理部36としても、前半信号と後半信号とについて、図示するようにそれぞれがオーバーラップする区間に対して重み窓データによる重み付けを行うようにされる。
具体的に、前半信号については、図27(a)に示すように後半信号の開始点から前半信号の終了点にかけて徐々に「1」から「0」に向けて低下する窓データを乗算するようにされる。これによって前半信号は、図示するようにして前半所定点PC-fから後半信号の開始点までが「1」で前半信号の終了点までにかけては徐々に「0」に向けて低下するようにして重み付けが行われる。
この場合のクロスフェード処理部36としても、前半信号と後半信号とについて、図示するようにそれぞれがオーバーラップする区間に対して重み窓データによる重み付けを行うようにされる。
具体的に、前半信号については、図27(a)に示すように後半信号の開始点から前半信号の終了点にかけて徐々に「1」から「0」に向けて低下する窓データを乗算するようにされる。これによって前半信号は、図示するようにして前半所定点PC-fから後半信号の開始点までが「1」で前半信号の終了点までにかけては徐々に「0」に向けて低下するようにして重み付けが行われる。
また、後半信号については、図27(b)に示されるように前半信号の終了点から後半信号の開始点にかけて徐々に「1」から「0」に向けて低下する窓データを乗算するようにされ、これによって後半信号は、図示するようにして後半所定点PC-rから前半信号の終了点までが「1」で後半信号の開始点までにかけては徐々に「0」に向けて低下するようにして重み付けが行われる。
そして、この場合のクロスフェード処理部36は、上記のようにして重み付けを行った前半信号及び後半信号を次の図27(c)に示すようにして加算することで、図のような前半・後半重み付け加算信号をクロスフェード信号(ノイズ除去信号)として得る。
このようにして生成されたクロスフェード信号は信号挿入部30に供給され、図27(c)に示されるようにして前半所定点PC-fと後半所定点PC-rとによる区間内に挿入されるようになる。
なお、このようにノイズ区間外でピッチ計算を行った場合は、前半所定点PC-fから後半所定点PC-rまでの区間へのノイズ除去信号の挿入を行うものとなるので、そのためにこの場合の信号挿入部30に対しては、例えば前半ピッチ情報P-f、後半ピッチ情報P-rを供給し、信号挿入部30はこれら前半ピッチ情報P-f、後半ピッチ情報P-rによりそれぞれ特定される上記前半所定点PC-fと後半所定点PC-rとの情報に基づき信号挿入を行うようにしておけばよい。
なお、このようにノイズ区間外でピッチ計算を行った場合は、前半所定点PC-fから後半所定点PC-rまでの区間へのノイズ除去信号の挿入を行うものとなるので、そのためにこの場合の信号挿入部30に対しては、例えば前半ピッチ情報P-f、後半ピッチ情報P-rを供給し、信号挿入部30はこれら前半ピッチ情報P-f、後半ピッチ情報P-rによりそれぞれ特定される上記前半所定点PC-fと後半所定点PC-rとの情報に基づき信号挿入を行うようにしておけばよい。
このような第4の変形例は、先の図12〜図14にて説明した手法との比較では、結果としてノイズ除去信号の挿入区間を上記前半所定点PC-fから後半所定点PC-rまでの区間に変更したに過ぎないものとなるから、図12〜図14にて説明した手法が採られる場合と同様にノイズ除去に伴う音質劣化は最小限に抑えることができる。
また、ノイズ区間をピッチ計算の対象とはしないので、実際にHDDノイズの存在する区間と同程度にノイズ区間を設定していて且つHDDノイズがピッチ計算において支配的な信号となる場合にも、適正にノイズ除去を行うことができる。
また、ノイズ区間をピッチ計算の対象とはしないので、実際にHDDノイズの存在する区間と同程度にノイズ区間を設定していて且つHDDノイズがピッチ計算において支配的な信号となる場合にも、適正にノイズ除去を行うことができる。
なお、上記のようにして前半所定点PC-fと後半所定点PC-rとの間にノイズ除去信号を挿入する場合としても、その区間中にはノイズ区間が含まれるものとなるので、結果としてノイズ除去信号によりノイズ区間が置き換えられるようにしていることに変わりはない。
<第5の変形例>
ところで、これまでの説明では、重み付け加算信号を、補間すべき区間の長さ内に最大限繰り返すことにより前半信号及び後半信号を生成する例について述べたが、例えば補間すべき区間の1/2を超えた時点など、適当なタイミングで重み付け加算信号の繰り返しを打ち切ってもよい。
ところで、これまでの説明では、重み付け加算信号を、補間すべき区間の長さ内に最大限繰り返すことにより前半信号及び後半信号を生成する例について述べたが、例えば補間すべき区間の1/2を超えた時点など、適当なタイミングで重み付け加算信号の繰り返しを打ち切ってもよい。
図28は、このように重み付け加算信号の繰り返しを途中で打ち切るものとした第5の変形例としての動作について模式的に示した図である。なお、この図28では第5の変形例において行われるべきクロスフェード処理について示している。また、この図28では、図12〜図14にて説明した手法のようにノイズ区間の開始点・終了点を基準としたピッチ計算を行った結果に基づき前半信号・後半信号が生成された場合の例を示している。
上述のように前半信号、後半信号として重み付け加算信号の繰り返しを途中で打ち切るものとしたことで、この場合のクロスフェード処理としては、図示するようにして少なくとも前半信号と後半信号とがオーバーラップする区間でのみ、前半信号と後半信号のそれぞれに重み窓データによる重み付けを行う。
具体的に、前半信号については、図28(a)に示すようにノイズ区間の開始点からノイズ区間内の所定時点までは「1」でその以降前半信号の終了点にかけて徐々に「0」に向けて低下するような重み窓データによる重み付けを行う。
また、後半信号については、図28(b)に示すようにノイズ区間の終了点からノイズ区間内の所定時点までは「1」でその以前は後半信号の開始点にかけて徐々に「0」に向けて低下するような重み窓データによる重み付けを行う。
そして、図28(c)に示すようにして、このような重み付けが行われた前半信号と後半信号とを加算してクロスフェード信号が生成される。
また、後半信号については、図28(b)に示すようにノイズ区間の終了点からノイズ区間内の所定時点までは「1」でその以前は後半信号の開始点にかけて徐々に「0」に向けて低下するような重み窓データによる重み付けを行う。
そして、図28(c)に示すようにして、このような重み付けが行われた前半信号と後半信号とを加算してクロスフェード信号が生成される。
このようなクロスフェード処理により生成されたノイズ除去信号としても、その音質は聴感上極めて自然なものとすることができ、先の図12〜図14に示した手法が採られる場合と同様に音質劣化は最小限とすることができる。
なお、確認のために述べておくと、この場合の前半信号生成部34、後半信号生成部35は、ノイズ区間内において少なくとも前半信号と後半信号とのオーバーラップ部分ができるようにしてそれぞれの重み付け加算信号の繰り返しを行う必要がある。
また、このような第5の変形例は、先の第4の変形例の手法が採られる場合にも好適に適用することができる。
また、このような第5の変形例は、先の第4の変形例の手法が採られる場合にも好適に適用することができる。
<その他の変形例>
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、実際にノイズの発生する区間に対してノイズ区間が比較的長めに設定され、1ピッチ区間が複数個分入る長さとなる場合について例示したが、ノイズ区間が比較的短く、例えば1ピッチ区間と同等の長さとなることも考えられる。
このような場合において、例えばHDDノイズがピッチ計算において支配的な信号とはならないとして、先の図12〜図14にて説明した手法と同様にノイズ区間開始点を基準とした(つまりノイズ区間内も対象とした)ピッチ計算を行うと、算出される2つのピッチ区間としては、ノイズ区間自体と、ノイズ区間の開始点より前側にノイズ区間と同等の長さのピッチ区間が得られるということになる。
ここで、このように2つのピッチ区間としてノイズ区間とその前側のノイズ区間と同等の長さとなるピッチ区間とが割り出され、それらピッチ区間の信号を先の図12(c)(d)のようにして重み付け加算した重み付け加算信号が生成された場合を想定しみると、このような重み付け加算信号は、ノイズ区間の終了点後の信号とも或る程度の波形相関性が得られている可能性があるといえる。
このことを踏まえると、この場合には敢えてノイズ区間の終了点側の音声のつながりを考慮せずとも、上記のようなノイズ区間と、その前側におけるノイズ区間と同等の長さのピッチ区間との重み付け加算信号をそのままノイズ区間に挿入すれば、ノイズ区間の前側はもちろん、後側における音声のつながりも自然なものとできると考えられなくはない。
なお、このことは、ノイズ区間の終了点を基準としたピッチ計算を行った場合にも同様のことが言える。
以上、本発明の実施の形態について説明したが、本発明としてはこれまでに説明した実施の形態に限定されるべきものではない。
例えば実施の形態では、実際にノイズの発生する区間に対してノイズ区間が比較的長めに設定され、1ピッチ区間が複数個分入る長さとなる場合について例示したが、ノイズ区間が比較的短く、例えば1ピッチ区間と同等の長さとなることも考えられる。
このような場合において、例えばHDDノイズがピッチ計算において支配的な信号とはならないとして、先の図12〜図14にて説明した手法と同様にノイズ区間開始点を基準とした(つまりノイズ区間内も対象とした)ピッチ計算を行うと、算出される2つのピッチ区間としては、ノイズ区間自体と、ノイズ区間の開始点より前側にノイズ区間と同等の長さのピッチ区間が得られるということになる。
ここで、このように2つのピッチ区間としてノイズ区間とその前側のノイズ区間と同等の長さとなるピッチ区間とが割り出され、それらピッチ区間の信号を先の図12(c)(d)のようにして重み付け加算した重み付け加算信号が生成された場合を想定しみると、このような重み付け加算信号は、ノイズ区間の終了点後の信号とも或る程度の波形相関性が得られている可能性があるといえる。
このことを踏まえると、この場合には敢えてノイズ区間の終了点側の音声のつながりを考慮せずとも、上記のようなノイズ区間と、その前側におけるノイズ区間と同等の長さのピッチ区間との重み付け加算信号をそのままノイズ区間に挿入すれば、ノイズ区間の前側はもちろん、後側における音声のつながりも自然なものとできると考えられなくはない。
なお、このことは、ノイズ区間の終了点を基準としたピッチ計算を行った場合にも同様のことが言える。
このようにしてノイズ区間と1ピッチ区間とが同等の長さとなる場合も考慮に入れると、ノイズ除去信号としては、少なくともノイズ区間の近傍で波形相関性を有するとされる2区間を割り出し、割り出した2区間の音声信号を合成して生成したものとすれば、音質劣化を最小限に抑えたノイズ除去を実現する信号を得ることができることになる。
また、実施の形態では、ノイズ発生源に対して設けられたノイズ検出用センサとして、ノイズ検出用マイク11としてのマイクロフォンを設ける場合を例示したが、ノイズ検出用センサとしてはこのようなマイクロフォン以外にも、例えば振動センサなど、ノイズの発生を検出することのできるセンサであれば他のセンサを用いることができる。
ここで、例えば上記のような振動センサを用いる場合には、次のような効果を期待できる。つまり、背景音が大きい場合、ノイズ検出用センサとしてマイクのみを用いる場合だとノイズが誤検出される可能性がなくはないが、例えばこのような振動センサからの検出信号に基づくノイズ検出も組み合わせるものとする(つまり双方のセンサの検出信号の分析結果に基づきノイズ検出を行う)ことで、このように背景音が大きい場合の誤検出の防止を図ることができる。
また、実施の形態では、ノイズが発生するとされるノイズ発生区間の情報を、HDD10に対する記録開始/停止指示の発生タイミングに応じて設定する場合を例示したが、このようなノイズ発生予想区間の情報は、上記記録開始/停止指示以外の情報に基づき取得することもできる。例えば、上記のような記録開始/停止指示に応じては、HDD10内で磁気ヘッド10Aをロード/パーキング位置に駆動するための制御信号が該当する駆動部に出力されるが、この制御信号からノイズ発生予想区間の情報を取得するようにすることもできる。
また、実施の形態では、ノイズ発生タイミングに基づき設定されたノイズ区間内でのみ、ノイズ埋没判定のための信号分析を行う場合を例示したが、これに代えて、上記したようなHDD10への記録開始/停止指示に応じて取得されたノイズ発生予想区間内でのみ埋没判定のための信号分析を行うようにすることもできる。
このようにしてノイズ埋没判定のための信号分析は、少なくともノイズが生じるとされる区間内でのみ行うものとすれば、ノイズ埋没判定の判定漏れなく信号分析することと、ノイズ埋没判定のための処理負担・消費電力の削減との両立を図ることができる。
このようにしてノイズ埋没判定のための信号分析は、少なくともノイズが生じるとされる区間内でのみ行うものとすれば、ノイズ埋没判定の判定漏れなく信号分析することと、ノイズ埋没判定のための処理負担・消費電力の削減との両立を図ることができる。
また、実施の形態では、本発明の記録装置が記録媒体に対する記録のみが可能とされる場合を例示したが、再生も可能となるように構成することもできる。
また、本発明としては、このようなビデオカメラ装置1に限らず、収音マイクを入力源とする入力音声信号にノイズ発生源からのノイズが重畳して記録されてしまう可能性のある記録装置全般に広く好適に適用することができる。
また、実施の形態では、収音マイクからの入力音声信号を記録する前にノイズ除去を行う場合を例示したが、本発明はこれに限らず、録音済みの音声信号からノイズを除去する場合にも好適に適用することができる。
その場合、先ずノイズ発生タイミングの検出については、例えば対象とする音声信号の記録中に行われた記録開始/停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内で、記録済み音声信号についてのノイズ発生タイミング検出を行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行えばよい。
また、ノイズ埋没判定としては、このようにして設定されたノイズ区間内でのみ記録済み音声信号についての信号分析を行って、各ノイズ区間についてのノイズ埋没判定を行えばよい。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたノイズ区間のうちノイズ非埋没判定の為されたノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
その場合、先ずノイズ発生タイミングの検出については、例えば対象とする音声信号の記録中に行われた記録開始/停止指示のタイミング情報を保持しておき、記録後に、それら保持したタイミング情報に基づき取得した各ノイズ発生予想区間内で、記録済み音声信号についてのノイズ発生タイミング検出を行うものとすればよい。そして、検出したノイズ発生タイミングに基づき、それぞれのノイズ区間の設定を行えばよい。
また、ノイズ埋没判定としては、このようにして設定されたノイズ区間内でのみ記録済み音声信号についての信号分析を行って、各ノイズ区間についてのノイズ埋没判定を行えばよい。
そして、ノイズ除去としては、記録済み音声信号について、上記のように設定されたノイズ区間のうちノイズ非埋没判定の為されたノイズ区間を対象としてのみ先に説明したような信号処理を行ってノイズ除去信号を生成し、これをそのノイズ区間の信号として挿入すればよい。
なお、このようにして記録済み音声信号について行われるノイズ除去制御としても、ノイズ埋没判定結果に応じてノイズ除去の行われていない音声信号とノイズ除去の行われた音声信号とについての選択が行われていることに変わりはない。
また、確認のために述べておくと、このように記録済み音声信号についてノイズ除去を行う場合には、先に説明したような各ディレイ回路は特に設ける必要性はないことになる。
1,15 ビデオカメラ装置、1a カメラレンズ、1b 外部音収音マイク、2 ノイズ検出・除去部、3 音声信号処理部、4 音声信号圧縮処理部、5 カメラブロック、6 映像信号処理部、7 映像信号圧縮処理部、8 AVストリーム生成部、9 バッファメモリ、10 HDD、10A 磁気ヘッド、10B 磁気ディスク、11 ノイズ検出用マイク、12,16 システムコントローラ、21,22,23,28,31 ディレイ回路、24 ノイズタイミング検出・ノイズ区間設定部、25 ノイズ埋没判定部、26 ノイズ除去信号生成部、27 除去動作制御部、29 選択制御部、30 信号挿入部、32 前半ピッチ計算部、33 後半ピッチ計算部、34 前半信号生成部、35 後半信号生成部、36 クロスフェード処理部、40 ダウンサンプル部、41 ダウンミックス部、43 無音・ランダムノイズ判定部
Claims (14)
- 収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段と、
上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段と、
を備えることを特徴とする記録装置。 - 上記ノイズ除去手段は、
上記ノイズ区間の近傍として、上記ノイズ区間の開始点側の近傍と上記ノイズ区間の終了点側の近傍との双方について上記波形相関性のあるとされる2区間をそれぞれ割り出すと共に、上記開始点側の近傍について割り出した2区間の上記音声信号に基づき前半信号を生成し、また上記終了点側の近傍について割り出した2区間の上記音声信号に基づき後半信号を生成し、これら前半信号と後半信号とを合成して上記ノイズ除去信号を生成する、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ除去手段は、
上記ノイズ区間の近傍として、上記ノイズ区間の開始点側の近傍と上記ノイズ区間の終了点側の近傍との双方について上記波形相関性のあるとされる2区間をそれぞれ割り出すと共に、上記開始点側の近傍について割り出した2区間の上記音声信号を合成しこれを時間軸方向に所定回数繰り返して前半信号を生成し、また上記終了点側の近傍について割り出した2区間の上記音声信号を合成しこれを時間軸方向に所定回数繰り返して後半信号を生成し、それら前半信号と後半信号とを合成して上記ノイズ除去信号を生成する、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ除去手段は、
上記ノイズ区間の開始点と終了点との双方を基準としてそれぞれ上記波形相関性を有するとされる2区間を割り出すと共に、上記開始点を基準として割り出した2区間の上記音声信号に基づいて前半信号を生成し、また上記終了点を基準として割り出した2区間の上記音声信号に基づいて後半信号を生成し、これら前半信号と後半信号とを合成して上記ノイズ区間と同等の長さの上記ノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去する、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ除去手段は、
上記ノイズ区間の開始点よりも前となる前半所定点と、終了点よりも後となる後半所定点とを基準としてそれぞれ上記波形相関性を有するとされる2区間を割り出すと共に、上記前半所定点を基準として割り出した2区間の上記音声信号に基づいて前半信号を生成し、また上記後半所定点を基準として割り出した2区間の上記音声信号に基づいて後半信号を生成し、これら前半信号と後半信号とを合成して上記前半所定点から上記後半所定点までと同等の長さの上記ノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去する、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ除去手段は、
上記音声信号に対するダウンミックス処理を行うと共に、このダウンミックス処理により得られた上記音声信号に基づいて上記波形相関性のあるとされる2区間を割り出す、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ除去手段は、
上記音声信号に対するダウンサンプル処理を行うと共に、このダウンサンプル処理により得られた上記音声信号に基づいて上記波形相関性のあるとされる2区間を割り出す、
ことを特徴とする請求項1に記載の記録装置。 - 上記音声信号が無音又はランダムノイズとされる態様で得られているか否かについて判定する判定手段をさらに備え、
上記ノイズ除去手段は、
上記判定手段による判定の結果、上記音声信号が無音又はランダムノイズとされる態様で得られているとされた場合は、上記波形相関性のあるとされる2区間の割り出しは行わずに、所定の音声信号により上記ノイズ区間が置き換えられるようにする、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ発生源に対して設けれらたノイズ検出用センサと、
上記ノイズ検出用センサの検出信号についての分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段とをさらに備え、
上記ノイズ区間設定手段は、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき上記ノイズ区間を設定する、
ことを特徴とする請求項1に記載の記録装置。 - 上記音声信号についての分析結果に基づき、上記ノイズが上記音声信号中の他の信号成分に埋もれるか否かを判定するノイズ埋没判定手段と、
上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去動作の実行/不実行について制御する除去動作制御手段とをさらに備える、
ことを特徴とする請求項1に記載の記録装置。 - 上記ノイズ発生源に対して設けれらたノイズ検出用センサと、
上記ノイズ検出用センサの検出信号についての分析結果に基づき上記ノイズの発生タイミングを検出するノイズタイミング検出手段とをさらに備え、
上記ノイズ区間設定手段は、上記ノイズタイミング検出手段により検出された上記ノイズの発生タイミングに基づき上記ノイズ区間を設定すると共に、
上記音声信号についての分析結果に基づき、上記ノイズが上記音声信号中の他の信号成分に埋もれるか否かを判定するノイズ埋没判定手段と、
上記ノイズ埋没判定手段の判定結果に基づき、上記ノイズ除去手段によるノイズ除去動作の実行/不実行について制御する除去動作制御手段とをさらに備える、
ことを特徴とする請求項1に記載の記録装置。 - 収音手段を入力源とする音声信号を所要の記録媒体に記録する記録手段を備えると共に、記録動作に伴い間欠的なノイズを発生するノイズ発生源を有する記録装置におけるノイズ除去方法であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手順と、
上記音声信号における、上記ノイズ区間設定手順により設定したノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。 - 音声信号に重畳する間欠的なノイズを除去するためのノイズ除去装置であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手段と、
上記音声信号における、上記ノイズ区間設定手段により設定されたノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手段と、
を備えることを特徴とするノイズ除去装置。 - 音声信号に重畳する間欠的なノイズを除去するためのノイズ除去方法であって、
所定情報に基づき、上記ノイズが発生するタイミングを含むノイズ区間を設定するノイズ区間設定手順と、
上記音声信号における、上記ノイズ区間設定手順により設定したノイズ区間の近傍で波形相関性のあるとされる2区間を割り出し、割り出した2区間の上記音声信号に所定の信号処理を施してノイズ除去信号を生成し、このノイズ除去信号により上記音声信号中の上記ノイズ区間が置き換えられるようにして上記ノイズを除去するノイズ除去手順と、
を備えることを特徴とするノイズ除去方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006225238A JP2008053802A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006225238A JP2008053802A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008053802A true JP2008053802A (ja) | 2008-03-06 |
Family
ID=39237460
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006225238A Pending JP2008053802A (ja) | 2006-08-22 | 2006-08-22 | 記録装置、ノイズ除去方法、ノイズ除去装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008053802A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2098853A2 (en) | 2008-03-04 | 2009-09-09 | Sony Corporation | Terahertz spectrometer |
JP2011028061A (ja) * | 2009-07-27 | 2011-02-10 | Canon Inc | 音声記録装置及び方法、ならびに撮影装置 |
JP2011097419A (ja) * | 2009-10-30 | 2011-05-12 | Nikon Corp | 撮影装置、光学装置、及びプログラム |
US20110176032A1 (en) * | 2010-01-19 | 2011-07-21 | Canon Kabushiki Kaisha | Audio signal processing apparatus and audio signal processing system |
JP2011257656A (ja) * | 2010-06-10 | 2011-12-22 | Canon Inc | 音声信号処理装置および音声信号処理方法 |
JP2012114842A (ja) * | 2010-11-26 | 2012-06-14 | Canon Inc | 撮像装置及び駆動雑音除去装置 |
US8698911B2 (en) | 2009-10-28 | 2014-04-15 | Nikon Corporation | Sound recording device, imaging device, photographing device, optical device, and program |
US9275624B2 (en) | 2012-03-02 | 2016-03-01 | Canon Kabushiki Kaisha | Audio processing apparatus |
US9277102B2 (en) | 2011-12-01 | 2016-03-01 | Canon Kabushiki Kaisha | Audio processing apparatus, audio processing method and imaging apparatus |
-
2006
- 2006-08-22 JP JP2006225238A patent/JP2008053802A/ja active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2098853A2 (en) | 2008-03-04 | 2009-09-09 | Sony Corporation | Terahertz spectrometer |
US8626500B2 (en) | 2009-07-27 | 2014-01-07 | Canon Kabushiki Kaisha | Apparatus and method for noise reduction and sound recording |
JP2011028061A (ja) * | 2009-07-27 | 2011-02-10 | Canon Inc | 音声記録装置及び方法、ならびに撮影装置 |
US8698911B2 (en) | 2009-10-28 | 2014-04-15 | Nikon Corporation | Sound recording device, imaging device, photographing device, optical device, and program |
JP2011097419A (ja) * | 2009-10-30 | 2011-05-12 | Nikon Corp | 撮影装置、光学装置、及びプログラム |
US20110176032A1 (en) * | 2010-01-19 | 2011-07-21 | Canon Kabushiki Kaisha | Audio signal processing apparatus and audio signal processing system |
JP2011151481A (ja) * | 2010-01-19 | 2011-08-04 | Canon Inc | 音声信号処理装置、音声信号処理システム |
US9224381B2 (en) | 2010-01-19 | 2015-12-29 | Canon Kabushiki Kaisha | Audio signal processing apparatus and audio signal processing system |
JP2011257656A (ja) * | 2010-06-10 | 2011-12-22 | Canon Inc | 音声信号処理装置および音声信号処理方法 |
JP2012114842A (ja) * | 2010-11-26 | 2012-06-14 | Canon Inc | 撮像装置及び駆動雑音除去装置 |
CN102572263A (zh) * | 2010-11-26 | 2012-07-11 | 佳能株式会社 | 摄像设备和音频处理设备 |
US9288370B2 (en) | 2010-11-26 | 2016-03-15 | Canon Kabushiki Kaisha | Imaging apparatus and audio processing apparatus |
US9277102B2 (en) | 2011-12-01 | 2016-03-01 | Canon Kabushiki Kaisha | Audio processing apparatus, audio processing method and imaging apparatus |
US9275624B2 (en) | 2012-03-02 | 2016-03-01 | Canon Kabushiki Kaisha | Audio processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008053802A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
KR101063032B1 (ko) | 노이즈 저감 방법 및 장치 | |
JP5056157B2 (ja) | ノイズ低減回路 | |
JP4826402B2 (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
JP5351644B2 (ja) | 音声記録装置及び方法、ならびに撮像装置 | |
JP2008077707A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
KR101739942B1 (ko) | 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치 | |
JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
JP5538918B2 (ja) | 音声信号処理装置、音声信号処理システム | |
JP2008263483A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
US9282229B2 (en) | Audio processing apparatus, audio processing method and imaging apparatus | |
JP2008052772A (ja) | 記録装置、ノイズ除去方法、ノイズ除去装置 | |
JP5349062B2 (ja) | 音響処理装置及びそれを備えた電子機器並びに音響処理方法 | |
US20060012831A1 (en) | Electronic watermarking method and storage medium for storing electronic watermarking program | |
JP2011055386A (ja) | 音響信号処理装置及び電子機器 | |
JP4542396B2 (ja) | 録音装置 | |
JP2008052771A (ja) | 記録装置、ノイズ除去制御方法、ノイズ除去制御装置 | |
JP2000293806A (ja) | メカノイズ自動低減装置 | |
JP6144945B2 (ja) | 信号処理装置及び方法 | |
JP5171369B2 (ja) | 集音環境判定装置及びそれを備えた電子機器並びに集音環境判定方法 | |
JP2013047710A (ja) | 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体 | |
JP2010134260A (ja) | 電子機器及び音声処理方法 | |
JP3950843B2 (ja) | 電子機器及びビデオカメラ装置 | |
JP2003298916A (ja) | 撮影装置、データ処理装置及び方法、プログラム | |
TWI761018B (zh) | 語音擷取方法以及語音擷取系統 |