JP2011048369A - オーディオデータストリーム中のクリック音の除去 - Google Patents

Abstract

【課題】オーディオデータストリーム中のクリック音を減少させる方法及び装置を提供する。
【解決手段】本発明の一実施形態によれば、オーディオデータのサンプルは、所定数のサンプルを格納するスライドウィンドウ内で、所定量の遅延を受ける。上記スライドウィンドウ内で遅延後データ中のクリック音の存在が検出されると、対応するオーディオデータが、オーディオデータストリームから得られた代替データによって置き換えられる。
【選択図】図１

Description

本発明は、オーディオデータ処理の分野に関し、特に、オーディオデータストリーム中のクリック音を減らすための方法及び装置に関する。

ポップ音及びクリック音（以降、クリック音又はクリックと称する）は、オーディオレコーディングでよく生じる厄介事である。これらは、電気的不安定性によって、時には、記録デバイス、例えばビデオカメラの機械的動作によって引き起こされ、オーディオ信号中に持続時間の短い急激な変化（スパイク）として現れる。

クリック音は、通常、非常に持続時間が短い（典型的に、５０ｍｓ以下である）が、振幅が大きいので、可聴性が高く、耳障りである。

ＩＴＵ−Ｔ勧告Ｇ．７１１

本発明の目的は、オーディオレコーディング中のクリック音を除去又は少なくとも減少させることにある。特に、本発明の実施態様は、ビデオカメラによってなされるレコーディング中にそのような音を取り除くために有用である。

本発明の第１実施態様によれば、オーディオデータストリーム中のクリック音を減少させる方法が提供される。上記方法は、所定数のサンプルを格納するスライドウィンドウ内で、オーディオデータのサンプルを所定量だけ遅延させる段階と、スライドウィンドウ内の現在のサンプル一式のうちの最大値とスケーリング係数を適用されたサンプルから得られたフィルタ後値と比較することによって、上記スライドウィンドウ内の遅延後データ中のクリック音の存在を検出する段階と、クリック音に対応する遅延後データ中のオーディオデータを代替データに置き換える段階とを有する。上記最大値が上記スケーリング係数を適用されたフィルタ後値よりも小さい場合、ネガティブクリック指示が生成され、かつ格納されたピーク値がゼロに達するまで係数βだけ減らされる。上記最大値が適切なスケーリング係数を適用されたフィルタ後値及び格納されたピーク値の両方よりも大きい場合、ポジティブクリック指示が生成され、かつ格納されたピーク値が現在の最大値及び現在の格納されたピーク値のうちの大きい方の値に設定される。カウンタが、ポジティブクリック指示に応答してインクリメントされ、かつネガティブクリック指示に応答してデクリメントされる。立ち上がりエッジ及び降下エッジに応答するエッジ検出部が、カウンタのインクリメントに応答してクリック開始指示を与え、かつカウンタのデクリメントに応答してクリック終了指示を与える。

本発明の実施態様は、レコーディングプロセスの間、クリック音を取り除く。その新しい方法は、クリック音の特性、すなわち、振幅の急激な増大及び短い持続期間といった特性を巧みに利用する。振幅の急激な増大は、ノイズを可聴性が高く耳障りなものとするが、短い持続期間により、クリック音が除去された後に比較的容易にオーディオ挿入が行える。その新しいメカニズムは、実行が容易であり、非常に小さなＭＩＰＳしか要さない。

本発明は、音楽や会話を含むあらゆるオーディオ形式に適用できる。本発明の実施態様は、オーディオ品質に影響を及ぼすことなく、比較的単純かつ安価な手法で実現できる。本発明は、他の形式の音声及び会話処理デバイスにも適用できる。

本発明の別の態様によれば、オーディオデータストリーム中のクリック音を減少させるための装置が提供される。上記装置は、スライドウィンドウ中の遅延後の一連のサンプルを格納する遅延ユニットと、スライドウィンドウ内の現在のサンプル一式のうちの最大値とスケーリング係数を適用されたサンプルから得られたフィルタ後値との比較により、上記格納された一連のサンプル中のクリックを検出するクリック検出部と、クリックの持続期間分だけ上記オーディオデータストリーム内のサンプルを置き換える代替データを生成するユニットと、クリックの持続期間の間、上記遅延後のオーディオデータストリームを上記代替データで置き換えるマルチプレクサとを具備する。上記クリック検出部は、スライドウィンドウ上の一連のサンプルを格納するメモリと、上記サンプルをフィルタリングし、フィルタ後値を生成するフィルタと、上記格納された一連のサンプルのうちの現在の最大値とスケーリング係数を適用された上記フィルタ後値とを比較し、格納された値の現在の最大値がスケーリング係数を適用されたフィルタ後値よりも小さい場合、ネガティブクリック指示を生成し、かつ格納された値の現在の最大値がスケーリング係数を適用されたフィルタ後値及びスケーリング係数を適用された格納されたピーク値よりも大きい場合、ポジティブクリック指示を生成する比較部と、ポジティブクリック指示に応答してインクリメントされ、かつネガティブクリック指示に応答してデクリメントされるカウンタと、立ち上がりエッジ及び降下エッジに応答し、カウンタのインクリメントエッジに応答してクリック開始指示を与え、かつカウンタのデクリメントエッジに応答してクリック終了指示を与えるエッジ検出部とをさらに具備する。

本発明の一実施形態によるクリック除去メカニズムの構成図である。 クリック検出回路の構成図である、 データ補償回路の構成図である。 代替ピッチ信号を備えたオーディオデータ信号を図示する。

これより、例示のみを目的とし、添付の図面を参照して本発明をより詳細に説明する。

図１に示されたクリック除去回路は、一連のサンプル（典型的には、５０ｍｓ間のサンプル）を格納するための遅延メモリ１と、クリック検出回路２と、信号追加回路３と、マルチプレクサ４とを具備する。オーディオ入力信号は、遅延メモリ１に入力され、スライドウィンドウ上に現れる。クリックが行われない場合は、オーディオデータは、マルチプレクサ４による変更を受けることなく出力される。

クリック検出部２は、信号中のクリックを検出し、そのデータは、信号追加回路３で生成されたデータに置き換えられる。故に、通常動作の間、音声又はオーディオ信号は、いかなる修正も受けることなく伝送される。クリックの存在を検出するために必要な時間を用意するために、信号は遅延を受ける。出力されたオーディオは、検出遅延に一致する量だけ遅延する。

クリック検出回路を図２に示す。入力されたオーディオサンプルは、データシフトウィンドウ５を通過する。データシフトウィンドウ５は、入力において新しいサンプルが受け入れられたとして、１つのサンプルを出力する。すべてのクリック検出プロセスは、オーディオデータサンプル毎に実行される。

サンプル期間毎に、データシフトウィンドウ中の最大（振幅）値が、Ｍａｘユニット６で、ｘｐとして算出される。値ｘｐは、１次フィルタ７（ｙ（ｎ）＝（１−α）ｙ（ｎ−１）＋αｘｐ）を通過する。１次フィルタ７は、出力ｙを生成する。ここで、ｙは、データシフトウィンドウ中の平均ピーク値を表す。

値ｘｐは、比較部８において、スケーリング係数γが適用され、Ｍａｘユニット１１で最大値が算出されたフィルタ出力ｙと比較される。ｘｐの現在の最大値がスケーリング係数適用後の平均（フィルタ後）値ｙよりも小さい場合、ネガティブ（又はノー）クリック指示となり、かつクリック指示（ｃｌｉｃｋ ｉｎｄ．）が「０」となる。そのような状況下では、マルチプレクサ９の出力は、入力０に切り換えられ、かつメモリ１０に格納されたピーク値ｐｅは、それが０に達するまで、入力サンプル毎にスケーリング係数βだけ減少させられる。

ｘｐの現在の最大値がスケーリング係数γ適用後の平均ピークｙ及びスケーリング係数λ適用後のピーク値ｐｅの両方よりも大きい場合、クリック指示はポジティブとなり、マルチプレクサ９の出力は、入力１に設定される。この場合、ピーク値ｐｅは、ｘｐの現在の最大値と格納されたピーク値とのうちの最大値をとる。

また、カウンタ１２は、クリック指示ビット（クリック無しでは０、クリック検出では１）によってコントロールされる。クリック指示が１である場合、カウンタ１２はインクリメントされ、そうでない場合、ゼロになるまでデクリメントされる。

カウンタ１２に続くエッジ検出部１３は、カウンタの０から１への変化又は１から０への変化を検出する。エッジ検出部は、立ち上がりエッジ、すなわち、０から１へのカウンタ変化を検出した場合、「クリック開始」指示を与える。その瞬間、平均ピーク値ｙが、メモリ１４に格納される。エッジ検出部１３は、下降エッジ、すなわち、１から０へのカウンタ変化を検出した場合、「クリック終了」指示を与える。その瞬間、クリック開始時のメモリ値が、以前のフィルタ出力の代わりに、フィルタ７に入力される。

クリック音は非常に短いので、カウンタ１２のカウントがタイムアウト値よりも大きい場合、タイムアウト回路１５は、クリック無し（信号レベル増大は、高い音声入力レベルに起因する可能性がある）と指示し、この出力が、エッジ検出部１３の出力に優先する。カウンタ１２及びピーク値Ｐｅは、ゼロにリセットされ、かつ各機能ブロックは、自身の通常動作状態に戻る。

実際のパラメータは、当業者には明白な設計的選択事項にすぎない。しかしながら、例示的なパラメータ選択を以下に示す。
データシフトウィンドウのウィンドウサイズ＝１０ｍｓ
α＝０．８５／ｍｓ
γ＝２
ｂ＝０．８５／ｍｓ
λ＝０．３
タイムアウト＝６０ｍｓ

クリックが検出された場合、クリックに関連したデータは（最大５０ｍｓについて）取り除かれ、代替データに置き換えられる。適切なデータ挿入方法は、音声符号化規格Ｇ．７１１（ＩＴＵ Ｇ．７１１）に開示があり、その全内容が引用によって本明細書に組み込まれる。

本発明の実施形態によれば、挿入プロセスは、図３に示されたように達成される。そのプロセスは、以下の各ステップで実行される。まず、ステップ２０において、通常データの５０ｍｓ間の履歴が保存される。ユニット２によってクリックが検出された場合、ステップ２１において、クリック直前の５０ｍｓ間の履歴データがメモリから取り出され、自己相関ｒ（ｍ）＝Σｘ（ｎ）ｘ（ｎ＋ｍ）を算出するために使用される。

次いで、ステップ２２において、５ｍｓから１５ｍｓの間で、時間ウィンドウ中の相関ｒ（ｍ）の最大値が取得される。これは、ピッチ期間を定義する。

ステップ２３において、５０ｍｓの終わりから、ピッチ情報がデータメモリから抽出される。次いで、このピッチ信号は、ステップ２４において、全ピッチ期間について延長される。ステップ２５において、１０ｍｓ毎に２０％の割合で、線形スケーリングが行われる。線形スケーリングの様子を図４に示す。

信号挿入後に滑らかな切り換えを行えるよう、信号は、図４に示されたように、クリック持続期間終了時の値からクリックの１０ｍｓ後の値まで拡大される。

最後に、ステップ２６において、線形結合による段階的重み付けによるピッチ信号の縮小及び音声データの拡大が、以下の式に従って実行される。
ｙ（ｎ）＝ｈ（ｎ）・ｐ（ｎ）＋（１−ｈ（ｎ））・ｄ（ｎ）
ここで、ｈ（ｎ）＝（Ｎ−ｎ）／Ｎであり、Ｎは、１０ｍｓ間のウィンドウ中のデータ数を表し、ｐ（ｎ）は、拡張ピッチ信号を表し、かつｄ（ｎ）は、ポップ及びクリックノイズ後の音声データを表す。

明細書中のいずれの構成図も本発明の原理を具現する例示的な回路の概念を表すものであるということは、当業者には明らかである。例えば、プロセッサは、専用ハードウェアを用いて提供されるほか、適切なソフトウェアによるソフトウェア実行機能を有したハードウェアを用いて提供されてもよい。プロセッサによって提供される場合のその機能は、１つの専用プロセッサによって、１つの共用プロセッサによって、又は複数の独立したプロセッサによって提供される。複数の独立したプロセッサのうちのいくつかは共有されてよい。さらに、用語「プロセッサ」の明示的な使用を、ソフトウェアを実行する機能を有したハードウェアを除外するものとして解釈してはならない。用語「プロセッサ」は、これらに限定されないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途集積回路（ＡＳＩＣ）、利用者書き込み可能ゲートアレイ（ＦＰＧＡ）、ソフトウェアを格納するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性ストレージを当然に含む。従来の及び／又は慣習的なその他のハードウェアも含まれてよい。用語「回路」は、明細書中では、機能ブロックを包含するものとして使用されたが、実際にはソフトウェアで実現されてもよい。

１ 遅延メモリ
２ クリック検出回路
３ 信号追加回路
４ マルチプレクサ
５ データシフトウィンドウ
６ Ｍａｘユニット
７ １次フィルタ
８ 比較部
９ マルチプレクサ
１０ ピーク値メモリ
１１ Ｍａｘユニット
１２ カウンタ
１３ エッジ検出部
１４ 平均ピーク値メモリ
１５ タイムアウト回路

Claims (13)

1. オーディオデータストリーム中のクリック音を減少させる方法であって、
   所定数のサンプルを格納するスライドウィンドウ内で、オーディオデータのサンプルを所定量だけ遅延させる段階と、
   スライドウィンドウ内の現在のサンプル一式のうちの最大値とスケーリング係数を適用されたサンプルから得られたフィルタ後値と比較することによって、前記スライドウィンドウ内の遅延後データ中のクリック音の存在を検出する段階と、
   クリック音に対応する遅延後データ中のオーディオデータを代替データに置き換える段階と
   を有し、
   前記最大値が前記スケーリング係数を適用されたフィルタ後値よりも小さい場合、ネガティブクリック指示が生成され、かつ格納されたピーク値がゼロに達するまで係数βだけ減らされ、
   前記最大値が適切なスケーリング係数を適用されたフィルタ後値及び格納されたピーク値の両方よりも大きい場合、ポジティブクリック指示が生成され、かつ格納されたピーク値が現在の最大値及び現在の格納されたピーク値のうちの大きい方の値に設定され、
   カウンタが、ポジティブクリック指示に応答してインクリメントされ、かつネガティブクリック指示に応答してデクリメントされ、
   立ち上がりエッジ及び降下エッジに応答するエッジ検出部が、カウンタのインクリメントに応答してクリック開始指示を与え、かつカウンタのデクリメントに応答してクリック終了指示を与えることを特徴とする方法。
2. クリック終了指示に応答して、クリック開始時のサンプルの値が、前記フィルタ後値を生成するためにフィルタに入力されることを特徴とする請求項１に記載の方法。
3. カウンタが所定値よりも大きいカウントに達した場合、クリック無し指示が生成されることを特徴とする請求項２に記載の方法。
4. クリック指示に応答して、クリック指示より前に保存された通常データと固定数のサンプルによって遅延を受けたデータとの相関の最大値が、クリック期間内の時間ウィンドウ内で決定され、
   ピッチ期間が、前記時間ウィンドウ内のデータから抽出され、
   対応するピッチデータを使用して、代替データを生成することを特徴とする請求項１に記載の方法。
5. 延長ピッチ期間に対応するデータが、クリック後のデータでスケーリング及び重み付けされ、挿入されたデータと通常オーディオデータとの間の平滑な切り換えを形成することを特徴とする請求項４に記載の方法。
6. オーディオデータストリーム中のクリックを減少させるための装置であって、
   スライドウィンドウ中の遅延後の一連のサンプルを格納する遅延ユニットと、
   スライドウィンドウ内の現在のサンプル一式のうちの最大値とスケーリング係数を適用されたサンプルから得られたフィルタ後値との比較により、前記格納された一連のサンプル中のクリックを検出するクリック検出部と、
   クリックの持続期間分だけ前記オーディオデータストリーム内のサンプルを置き換える代替データを生成するユニットと、
   クリックの持続期間の間、前記遅延後のオーディオデータストリームを前記代替データで置き換えるマルチプレクサと
   を具備し、
   前記クリック検出部は、
   スライドウィンドウ上の一連のサンプルを格納するメモリと、
   前記サンプルをフィルタリングし、フィルタ後値を生成するフィルタと、
   前記格納された一連のサンプルのうちの現在の最大値とスケーリング係数を適用された前記フィルタ後値とを比較し、格納された値の現在の最大値がスケーリング係数を適用されたフィルタ後値よりも小さい場合、ネガティブクリック指示を生成し、かつ格納された値の現在の最大値がスケーリング係数を適用されたフィルタ後値及びスケーリング係数を適用された格納されたピーク値よりも大きい場合、ポジティブクリック指示を生成する比較部と、
   ポジティブクリック指示に応答してインクリメントされ、かつネガティブクリック指示に応答してデクリメントされるカウンタと、
   立ち上がりエッジ及び降下エッジに応答し、カウンタのインクリメントエッジに応答してクリック開始指示を与え、かつカウンタのデクリメントエッジに応答してクリック終了指示を与えるエッジ検出部と
   をさらに具備することを特徴とする装置。
7. マルチプレクサが、ネガティブクリック指示が存在する場合、スケーリング係数で前記ピーク値をゼロに達するまで減少させるように構成されることを特徴とする請求項６に記載の装置。
8. マルチプレクサが、ポジティブクリック指示が存在する場合、格納されたピーク値を、格納された値の現在の最大値及び現在の格納されたピーク値のうちの大きい方の値に設定するように構成されることを特徴とする請求項７に記載の装置。
9. カウンタのカウントが所定の値を超えた場合、エッジ検出部の出力に優先するクリック無し指示を生成するタイムアウトユニットをさらに具備することを特徴とする請求項６に記載の装置。
10. クリック直前の履歴通常データとクリックの間に取得されたデータとの相関を取り、前記相関から前記代替データを得る相関部をさらに具備することを特徴とする請求項６に記載の装置。
11. 相関データからピッチ期間を抽出するユニットと、
    クリックの持続期間のピッチ期間を延長するユニットと、
    クリックに続く時間ウィンドウ中のデータで格納されたピッチデータを重み付けするユニットと
    をさらに具備することを特徴とする請求項１０に記載の装置。
12. ピッチデータが、所定の比率で縮小されることを特徴とする請求項１１に記載の装置。
13. 代替データが、以下の式
    ｙ（ｎ）＝ｈ（ｎ）・ｐ（ｎ）＋（１−ｈ（ｎ））・ｄ（ｎ）
    に従って重み付けされ、
    ここで、ｈ（ｎ）＝（Ｎ−ｎ）／Ｎであり、
    Ｎは、時間ウィンドウ中のデータサンプル数を表し、ｐ（ｎ）は、拡張ピッチデータを表し、かつｄ（ｎ）は、クリックイベントのオーディオデータを表すことを特徴とする請求項１２に記載の装置。

Images