JP2013201722A - 多チャネル信号処理装置、方法、及びプログラム - Google Patents

多チャネル信号処理装置、方法、及びプログラム Download PDF

Info

Publication number
JP2013201722A
JP2013201722A JP2012070301A JP2012070301A JP2013201722A JP 2013201722 A JP2013201722 A JP 2013201722A JP 2012070301 A JP2012070301 A JP 2012070301A JP 2012070301 A JP2012070301 A JP 2012070301A JP 2013201722 A JP2013201722 A JP 2013201722A
Authority
JP
Japan
Prior art keywords
signal
estimated
spectrum
time domain
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012070301A
Other languages
English (en)
Other versions
JP5971646B2 (ja
Inventor
Tsukuru Tanabe
造 田邉
Toshihiro Furukawa
利博 古川
Takahiro Natori
隆廣 名取
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Science
Original Assignee
Tokyo University of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Science filed Critical Tokyo University of Science
Priority to JP2012070301A priority Critical patent/JP5971646B2/ja
Publication of JP2013201722A publication Critical patent/JP2013201722A/ja
Application granted granted Critical
Publication of JP5971646B2 publication Critical patent/JP5971646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Stereophonic System (AREA)

Abstract

【課題】多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良いステレオ信号を出力する。
【解決手段】周波数領域変換部14L,14Rで観測信号を周波数領域の信号である観測スペクトルに変換し、スペクトル比演算部16で、観測スペクトルの比を演算し、ボーカル信号抽出部18で、スペクトル比が閾値以上の信号を楽曲信号とみなして抑圧した推定ボーカルスペクトルを抽出し、時間領域変換部20で、時間領域の信号である推定ボーカル信号に変換する。楽曲信号推定部22で、推定ボーカル信号の分散値、観測信号の分散値から推定ボーカル信号の分散値を差し引いた楽曲信号の分散値、並びに観測信号を有色駆動源付カルマンフィルタに適用し、状態量の最適推定値ベクトルとして推定された推定楽曲信号を抽出する。
【選択図】図1

Description

本発明は、多チャネル信号処理装置、方法、及びプログラムに係り、特に、多チャネル信号に含まれる特定の信号を抽出または抑圧する多チャネル信号処理装置、方法、及びプログラムに関する。
従来、ステレオ信号をチャネル毎に複数の周波数帯域に分割し、周波数帯域毎のチャネル間の類似度を計算し、類似度から中央付近に定位する音源信号を抑圧、もしくは強調するための減衰係数を計算し、その減衰係数を各周波数帯域信号に乗算し、チャネル毎の各周波数帯域信号を再合成して出力するステレオ音響信号処理装置が提案されている(例えば、特許文献1参照)。
特許文献1に記載のステレオ音響信号処理装置は、ステレオ信号入力部に入力される音響信号が、強調、もしくは抑圧したい目的音源信号が中央付近に定位するように収音されているステレオ信号である場合に有効である。詳細には、ステレオ信号入力部に入力されたステレオ信号(左チャネルの信号sL、右チャネルの信号sR)の各々を帯域分割数Nの周波数領域の信号(fL(k)及びfR(k)、k=0,・・・,N−1)に変換し、同じ周波数帯域毎にfL(k)とfR(k)との類似度a(k)を計算する。周波数帯域毎に計算された類似度a(k)に基づき周波数帯域毎に減衰係数g(k)を算出し、同一周波数帯域において、左右チャネル間で同一の減衰係数g(k)が各周波数帯域信号fL(k)に乗算し再合成することで、チャネル間の類似度の大きな成分だけの成分集合sL'、sR'が出力され、その結果、中央付近に定位する音源信号だけが残る。
このように、特許文献1に記載のステレオ音響信号処理装置では、全ての帯域に対して処理を行って、目的音源信号が中央付近に定位する音源信号を得ている。
また、2チャネルの入力音響信号各々のスペクトルデータを生成し、そのスペクトルデータにおける特定の音響信号(ボーカル信号の音声)に対応する設定周波数帯域に属する複数の周波数ビン各々のデータが、2チャネル相互間で所定の近似条件を満たす場合に、その周波数ビンのデータのパワーを縮減補正し、補正後のスペクトルデータに基づく時間領域の補正後音響信号と、2チャネル各々における他チャネルに対する差信号とを合成することによりステレオ音響信号を構成する2チャネルの出力音響信号を生成する音響信号処理装置が提案されている(例えば、特許文献2参照)。
特許文献2に記載の音響信号処理装置では、L及びRの2チャンネル各々について、他方のチャンネルに対する入力音響信号の差分を計算した結果である差信号(ΔXL(t)=XL(t)−XR(t)とΔXR(t)=XR(t)−XL(t))を生成する。そして、L及びRの2チャンネル各々について、時間領域の補正後音響信号XL'(t)及びXR'(t)と、差信号ΔXL(t)及びΔXR(t)とを、例えば重み付け加算により合成することにより、ステレオ音響信号を構成する2チャンネルの出力音響信号YL(t)、YR(t)を生成する。
特開2002−78100号公報 特開2008−72600号公報
しかしながら、特許文献1に記載の技術では、特定の周波数成分を抑圧することにより、周波数スペクトルが孤立する箇所が発生し、時間領域の信号に変換した際にトーン性のミュージカルノイズとして聞こえてしまう、という問題がある。
また、特許文献2に記載の技術では、差信号を合成して失われた周波数帯域の信号を補完することで、ミュージカルノイズの発生を防止している。特許文献1に記載の技術に比べ演算量が軽減されているものの、左右の信号に同一の差信号を合成して補正するため、生成される音響信号のステレオ感が減少し、音源信号の臨場感が損なわれる。また、抽出する信号がボーカル信号のような中央付近に定位する音源信号の場合には、その信号がモノラル信号となるため、その信号を補正するための差信号を生成することができない。
このように、特許文献1及び2に記載の技術では、ステレオ感が無くなり、再現性が悪くなる、という問題がある。
本発明は、上記問題点に鑑みてなされたものであり、ステレオ及び2チャネルを含む多チャネルの入力信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良い多チャネル信号を出力することができる多チャネル信号処理装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第1の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第1信号のスペクトル信号と推定される推定第1スペクトル信号を抽出し、周波数領域の信号である前記推定第1スペクトル信号を時間領域の信号に変換して前記第1信号と推定される時間領域の推定第1信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第1信号の分散値、前記観測信号の分散値から前記推定第1信号の分散値を差し引いて得られる前記第2信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、を含んで構成されている。
第1の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて第1信号のスペクトル信号と推定される推定第1スペクトル信号を抽出し、周波数領域の信号である推定第1スペクトル信号を時間領域の信号に変換して第1信号と推定される時間領域の推定第1信号を抽出する。そして、抽出手段で抽出された時間領域の推定第1信号の分散値、観測信号の分散値から推定第1信号の分散値を差し引いて得られる第2信号の分散値、並びに複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、第1信号または第2信号を推定する。
有色駆動源付カルマンフィルタとは、駆動源が有色信号の場合にも適用可能なカルマンフィルタであり、観測信号から目的の状態量(ここでは、第1信号または第2信号)を推定するためのカルマンフィルタである。
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、各チャネルに対して同一の差信号で補完するような場合に比べて、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。また、時間領域から周波数領域への変換、または周波数領域から時間領域への逆変換処理が1回軽減される。
また、第1の発明の多チャネル信号処理装置は、前記推定手段により推定された前記第1信号または前記第2信号を含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出する後段抽出手段と、前記後段抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する後段推定手段と、をさらに含んで構成することができる。
また、第1の発明の多チャネル信号処理装置は、前記推定手段により推定された前記第1信号または前記第2信号を含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、スペクトル信号から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出する後段抽出手段と、前記後段抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する後段推定手段と、をさらに含んで構成することができる。
また、第2の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、を含んで構成されている。
第2の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、第2信号と推定される時間領域の推定第2信号を抽出する。推定第1信号を抽出した第1の発明の抽出手段と異なり、第2の発明の抽出手段は推定第2信号を抽出する。そして、抽出手段で抽出された時間領域の推定第2信号の分散値、観測信号の分散値から推定第2信号の分散値を差し引いて得られる第1信号の分散値、並びに複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、第1信号または第2信号を推定する。
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。また、時間領域のみの信号処理となるため、第1の発明に比べて演算量が軽減される。
また、第3の発明に係る多チャネル信号処理装置は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出する抽出手段と、前記抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、を含んで構成されている。
第3の発明に係る多チャネル信号処理装置によれば、抽出手段が、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である推定第2スペクトル信号を時間領域の信号に変換して第2信号と推定される時間領域の推定第2信号を抽出する。推定第1信号を抽出した第1の発明の抽出手段と異なり、第2の発明の抽出手段は推定第2信号を抽出する。そして、抽出手段で抽出された時間領域の推定第2信号の分散値、観測信号の分散値から推定第2信号の分散値を差し引いて得られる第1信号の分散値、並びに複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、第1信号または第2信号を推定する。
これにより、多チャネル信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。
また、第4の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第1信号のスペクトル信号と推定される推定第1スペクトル信号を抽出し、周波数領域の信号である前記推定第1スペクトル信号を時間領域の信号に変換して前記第1信号と推定される時間領域の推定第1信号を抽出し、抽出された前記時間領域の推定第1信号の分散値、前記観測信号の分散値から前記推定第1信号の分散値を差し引いて得られる前記第2信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する方法である。
また、第5の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出し、抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する方法である。
また、第6の発明に係る多チャネル信号処理方法は、各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出し、抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する方法である。
また、第7の発明に係る多チャネル信号処理プログラムは、コンピュータを、上記の多チャネル信号処理装置を構成する各手段として機能させるためのプログラムである。
以上説明したように、本発明の多チャネル信号処理装置、方法、及びプログラムによれば、ステレオ及び2チャネルを含む多チャネルの入力信号に含まれる特定の信号を抽出または抑圧する場合において、ステレオ感を損なわず再現性の良い多チャネル信号を出力することができる、という効果が得られる。
第1の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。 観測信号の観測状況を説明するための概略図である。 周波数領域変換部の処理を説明するための図である。 ボーカル信号抽出部の処理を説明するための図である。 時間領域変換部の処理を説明するための図である。 状態空間モデルを表すブロック図である。 第1の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。 有色駆動原付カルマンアルゴリズムの内容を示すフローチャートである。 第2の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。 第2の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。 第3の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。 自己相関処理部の処理を説明するための図である。 ピーク値検出部の処理を説明するための図である。 第3の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。 第4の実施の形態に係るステレオ信号処理装置の概略構成を示すブロック図である。 第4の実施の形態におけるステレオ信号処理の内容を示すフローチャートである。 演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。 演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。 演算量軽減型有色駆動原付カルマンフィルタを説明するための図である。 演算軽減型有色駆動原付カルマンアルゴリズムの内容を示すフローチャートである。
以下、図面を参照して本発明の実施の形態を詳細に説明する。
<第1の実施の形態>
第1の実施の形態では、本発明の第1信号の一例を、例えばLチャネルマイクとRチャネルマイクとの中央付近を音源位置とするボーカル信号とし、本発明の第2信号の一例を、例えば楽器等を音源とする楽曲信号とする場合について説明する。
図1に示すように、第1の実施の形態に係るステレオ信号処理装置10は、A/D変換部12L,12Rと、周波数領域変換部14L,14Rと、スペクトル比演算部16と、ボーカル信号抽出部18と、時間領域変換部20と、楽曲信号推定部22と、D/A変換部24L,24Rとを含んで構成されている。ステレオ信号処理装置10は、ASIC(Application Specific Integrated Circuit)等の半導体集積回路により構成することができる。
A/D変換部12L,12Rは、外部から入力されたアナログ信号である観測信号x(n),x(n)(図1中では観測信号L,観測信号Rと表記。以下、図9、11、15においても同様)を各々ディジタル信号に変換し、ディジタル信号に変換した観測信号x(n),x(n)を各々周波数領域変換部14L,14Rへ出力する。
ここで、観測信号x(n),x(n)は、図2に示すように、楽曲信号(Lチャネル信号i(n),Rチャネル信号i(n))と、ボーカル信号d(n)とを観測した信号である。時刻nにおいて、Lチャネルマイクで観測されたLチャネルの観測信号がx(n)、Rチャネルマイクで観測されたRチャネルの観測信号がx(n)である。観測信号x(n),x(n)は、下記(1)式及び(2)式で表される。
(n)= d(n)+i(n) (1)
(n)= d(n)+i(n) (2)
周波数領域変換部14L,14Rは、A/D変換部12L,12Rから入力された時間領域の信号である観測信号x(n),x(n)を各々周波数領域の観測信号X(l,k),X(l,k)に変換し、スペクトル比演算部16及びボーカル信号抽出部18へ出力する。具体的には、周波数領域変換部14L,14Rは、図3に示すように、所定フレーム長のフレーム内の観測信号x(l,n),x(l,n)各々を、下記(3)式及び(4)式によりフーリエ変換して、各周波数ビンのスペクトルに変換する。ここで、2Mは1フレーム当たりのサンプル数、lはフレーム番号、kは周波数ビン番号である。また、以下では、周波数領域の信号に変換された観測信号を「観測スペクトル」ともいう。
スペクトル比演算部16は、周波数領域変換部14L,14Rから入力された観測スペクトル|X(l,k)|と|X(l,k)|とのスペクトル比を演算し、ボーカル信号抽出部18に出力する。ボーカル信号は、(1)式及び(2)式に示すようにLチャネルの観測信号x(n)とRチャネルの観測信号x(n)とに同等に含まれる。そのため、観測スペクトルにおいても、下記(5)式及び(6)式に示すように、Lチャネルの観測スペクトル|X(l,k)|とRチャネルの観測スペクトル|X(l,k)|とに、ボーカル信号のスペクトル|D(l,k)|が同等に含まれる。なお、|I(l,k)|及び|I(l,k)|はLチャネルの楽曲信号のスペクトル及びRチャネルの楽曲信号のスペクトルである。
|X(l,k)|= |D(l,k)|+|I(l,k)| (5)
|X(l,k)|= |D(l,k)|+|I(l,k)| (6)
このことから、Lチャネル観測スペクトルとRチャネル観測スペクトルとのスペクトル比が小さい場合には、その信号をボーカル信号と判定し、スペクトル比が大きい場合には、その信号を楽曲信号と判定することができる。そこで、スペクトル比演算部16は、Lチャネル観測スペクトルとRチャネル観測スペクトルとのスペクトル比を演算する。特許文献1及び2では、同じ周波数帯域毎に周波数領域の信号に変換された左チャネル信号と右チャネル信号との類似度を計算するが、本実施の形態では、下記(7)式により、Lチャネル観測スペクトルとRチャネル観測スペクトルとのスペクトル比A(l,k)を演算する。
ボーカル信号抽出部18は、スペクトル比演算部16から入力されたスペクトル比A(l,k)に基づいて、周波数領域変換部14L,14Rから入力された観測スペクトル|X(l,k)|,|X(l,k)|からボーカル信号と推定される信号(以下、「推定ボーカル信号」という)のスペクトル(以下、「推定ボーカルスペクトル」という)を抽出し、時間領域変換部20へ出力する。具体的には、スペクトル比A(l,k)に基づいて、各フレームの観測スペクトルの周波数ビン毎にボーカル信号か楽曲信号かを判定する。そして、下記(8)式に示すように、ボーカル信号と判定された場合には観測スペクトルをそのまま抽出し、楽曲信号と判定された場合にはその観測スペクトルを抑圧することで、推定ボーカルスペクトル|D^(l,k)|を抽出する。なお、特許文献2では、目的音源信号である楽曲信号を抽出しているが、ここでは、最終的な抽出対象である楽曲信号ではなく推定ボーカルスペクトルを抽出する。
ここで、αはLチャネルマイクとRチャネルマイクとの中央付近に定位している音源信号(ここではボーカル信号)以外の音源信号(ここでは楽曲信号)をどの程度許容するかを決定する閾値であり、0≦α≦1である。またkは楽曲信号の抑圧度を調節するための係数で、0≦k≦1である。図4に示すように、k=0の場合、楽曲信号は完全に抑圧される。なお、(8)式では観測スペクトル|X(l,k)|から推定ボーカルスペクトル|D^(l,k)|を抽出する場合を示しているが、観測スペクトル|X(l,k)|を用いてもよい。
なお、上記処理を図4に示すように、ボーカル帯域Wに対してのみ行うようにしてもよい。Wは観測信号に含まれるボーカル信号の帯域を指定する係数である。男性ボーカルの場合ボーカル信号は低い帯域に集中し、女性ボーカルの場合ボーカル信号は高い帯域に集中する。そのことより、Wのような処理帯域を設けることで、特許文献1の手法のように観測信号の全帯域に渡って処理をするような場合と比較して、演算量を軽減することができる。また、本実施の形態では、第1信号をボーカル信号としているため、ボーカル信号の特性に応じた処理帯域Wを設定しているが、第1信号をどのような信号とするかに応じて、その信号の特性に応じた処理帯域Wを設定すればよい。
時間領域変換部20は、ボーカル信号抽出部18から入力された推定ボーカルスペクトル|D^(l,k)|を、下記(9)式により逆フーリエ変換して、時間領域の推定ボーカル信号d^(l,n)に変換する(図5も参照)。なお、特許文献1及び2の手法と比較して、逆フーリエ変換の回数が1回でよい。
次いで、オーバーラップアド法により1フレーム前の後半Mサンプルを用いた時間領域推定ボーカル信号d^(l−1,n+M)と現フレームの前半Mサンプルを用いた時間領域推定ボーカル信号d^(l,n)とを足し合わせて、現フレームのMサンプル時間領域推定ボーカル信号d^(n)(1≦n≦M)を得る。オーバーラップアド法を数式で表現すると下記のように表わすことができる。
楽曲信号推定部22は、時間領域変換部20から入力された推定ボーカル信号d^(n)と、観測信号x(n),x(n)とに基づいて、楽曲信号と推定される信号(以下、「推定楽曲信号」という)を抽出する。本実施の形態では、AR係数の推定を用いない有色駆動源付カルマンフィルタにより、観測信号に含まれる特定の信号(ここでは楽曲信号)を抽出する。
具体的には、観測信号を、下記(10)式に示す楽曲信号のみから構成される状態方程式、及びボーカル信号と楽曲信号とから構成される観測方程式で表される状態空間モデルに置き換える。
ただし、(10)式中のベクトルxp2、δp2、yp2、εp2、Φp2及びMp2は、下記(11)式でそれぞれ定義される。ベクトルxp2は所望の楽曲信号からなる2Lp2×1次の状態ベクトル、ベクトルδp2は2Lp2×1次の駆動源ベクトル、ベクトルyp2は2×1次の観測信号ベクトル、ベクトルεp2は2×1次のボーカル信号ベクトルである。行列Φp2は0及び1のみで構成される状態遷移行列、行列Mp2は2×2Lp2次の観測遷移行列である。また、図6は、この状態空間モデルを表すブロック図である。なお、2Lp2は、状態遷移行列のサイズである。また、p2は有色駆動原付カルマンフィルタが適用される状態方程式及び観測方程式の変数であることを表す添え字である。
(10)式における状態方程式は、推定対象(ここでは楽曲信号)のシステムを状態空間モデルで記述したものであり、内部状態つまり状態変数(ここでは、状態ベクトルxp2)の時間変化を表している。また、(10)式における観測方程式は、何らかの観測装置を通じて観測する過程を記述したものであり、観測結果(ここでは、観測信号ベクトルyp2)が、被観測量つまり入力(ここでは、状態ベクトルxp2)に依存して時間発展する様子を示している。なお、「時刻nにおける状態ベクトルxp2(n)」とは、時刻nまでの楽曲信号からなる状態ベクトルを意味する。
(10)式に示す状態方程式及び観測方程式により、下記に示すL・Rチャネル結合型カルマンアルゴリズムを導出する。
上記のアルゴリズムは、初期設定の過程[Initialization]と反復の過程[Iteration]とに大別され、反復の過程では、1〜5の手順を逐次繰り返す。なお、各過程及び手順の詳細な処理フローは後述し、ここでは、各過程及び手順の概略について説明する。
初期設定の過程では、推定する楽曲信号を示す状態ベクトルの最適推定値(以下、「最適推定値ベクトル」という)の初期値x^p2(0|0)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Pp2(0|0)、ボーカル信号の分散値Rεp2(n)[i,j]、及び楽曲信号の分散値Rδp2(n)[i,j]の値を、上記のようにそれぞれ設定する。なお、楽曲信号の分散値は、観測信号の分散値からボーカル信号の分散値を差し引いたものである。また、*[i,j]は、変数名*のi行j列の要素、Iは単位行列を示す。
また、反復の過程では、手順1において、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp2(n+1|n)を計算する。次に、手順2において、観測信号ベクトルの推定誤差にカルマンゲイン行列をかけて、時刻nまでの情報による時刻n+1での最適推定値ベクトルx^p2(n+1|n)を加えたものが、時刻n+1までの情報によるその時刻での最適推定値ベクトルx^p2(n+1|n+1)になるようなカルマンゲイン行列Kp2(n+1)を計算する。
次に、手順3において、時刻nまでの情報による時刻n+1での最適推定値ベクトルx^p2(n+1|n)を計算する。次に、手順4において、時刻n+1までの情報によるその時刻での最適推定値ベクトルx^p2(n+1|n+1)を計算する。手順3及び4で、状態量の更新が行われる。次に、手順5において、時刻n+1までの情報によりその時刻の共分散行列を更新する。
楽曲信号推定部22は、上記の反復過程を所定回数繰り返して、手順4により得られた最適推定値ベクトルx^p2(n+1|n+1)の1行1列目をLチャネルの推定楽曲信号i^(n)として、(Lp2+1)行1列目をRチャネルの推定楽曲信号i^(n)として、各々をD/A変換部24L,24Rへ出力する。
D/A変換部24L,24Rは、楽曲信号推定部22から入力されたディジタル信号である推定楽曲信号i^(n)及びi^(n)を各々アナログ信号に変換して、最終的な出力信号L,Rとして出力する。
次に、図7を参照して、第1の実施の形態に係るステレオ信号処理装置10の作用について説明する。
ステップ100で、A/D変換部12L,12Rが、外部から入力されたアナログ信号である観測信号x(n),x(n)を各々ディジタル信号に変換する。次に、ステップ102で、周波数領域変換部14L,14Rが、上記ステップ100でディジタル信号に変換された時間領域の信号である観測信号x(n),x(n)を各々周波数領域の信号である観測スペクトル|X(l,k)|,|X(l,k)|に変換する。
次に、ステップ104で、スペクトル比演算部16が、上記ステップ102で変換された観測スペクトル|X(l,k)|と|X(l,k)|とのスペクトル比A(l,k)を演算する。次に、ステップ106で、ボーカル信号抽出部18が、上記ステップ104で演算されたスペクトル比A(l,k)が予め定めた閾値αより大きいか否かを判定する。A(l,k)>αの場合には、ステップ108へ移行し、その信号を楽曲信号とみなして、楽曲信号の抑圧度を調節するための係数k(0≦k≦1)を例えばk=0として観測スペクトル|X(l,k)|または|X(l,k)|に乗算することにより楽曲信号を抑圧する。一方、A(l,k)≦αの場合には、ステップ110へ移行し、その信号をボーカル信号とみなして、例えばk=1として、観測スペクトル|X(l,k)|または|X(l,k)|を推定ボーカルスペクトル|D^(l,k)|として抽出する。
次に、ステップ112で、時間領域変換部20は、上記ステップ108及び110の処理を経て抽出された推定ボーカルスペクトル|D^(l,k)|を、(9)式により逆フーリエ変換して、時間領域の推定ボーカル信号d^(l,n)に変換する。次いで、オーバーラップアド法により1フレーム前の後半Mサンプルを用いた時間領域推定ボーカル信号d^(l−1,n+M)と現フレームの前半Mサンプルを用いた時間領域推定ボーカル信号d^(l,n)とを足し合わせて、現フレームのMサンプル時間領域推定ボーカル信号d^(n)(1≦n≦M)を得る。
次に、ステップ114で、楽曲信号推定部22が、推定ボーカル信号d^(n)と、観測信号x(n),x(n)とに基づいて、楽曲信号推定処理を実行することにより、推定楽曲信号を抽出する。楽曲信号推定処理は、図8に示す有色駆動原付カルマンアルゴリズムに相当する。ここで、図8を参照して、有色駆動原付カルマンアルゴリズムのフローについて説明する。
ステップ1140で、(10)式に示す状態方程式及び観測方程式により状態空間モデルを定義し、最適推定値ベクトルの初期値x^p2(0|0)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Pp2(0|0)、ボーカル信号の分散値Rεp2(n) [i,j]、及び楽曲信号の分散値Rδp2(n)[i,j]を、上述の初期設定の過程[Initialization]に示した初期状態に設定する。また、時刻を示す変数nを0に設定する。
次に、ステップ1142で、上記ステップ1140で定義した状態空間モデルにおける状態遷移行列Φp2、設定した状態ベクトルの共分散行列の初期値Pp2(0|0)(n=0の場合)、または1時刻前に後述するステップ1150で更新された共分散行列Pp2(n|n) (n≧1の場合)、及び楽曲信号の分散値Rδp2(n+1)[i,j]の値を用いて、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp2(n+1|n)を計算する(上述の反復の過程[Iteration]の手順1)。
次に、ステップ1144で、上記ステップ1142で計算した共分散行列Pp2(n+1|n)、上記ステップ1140で定義した状態空間モデルにおける観測遷移行列Mp2、及びボーカル信号の分散値Rεp2(n) [i,j]を用いて、カルマンゲイン行列Kp2(n+1)を計算する(同手順2)。
次に、ステップ1146で、状態遷移行列Φp2、及び上記ステップ1140で設定した最適推定値ベクトルの初期値x^p2(0|0) (n=0の場合)、または1時刻前に本ステップで得られた最適推定値ベクトルx^p2(n|n) (n≧1の場合)を用いて、時刻nまでの情報による時刻n+1での最適推定値ベクトルx^p2(n+1|n)を計算する(同手順3)。そして、計算した最適推定値ベクトルx^p2(n+1|n)、上記ステップ1144で計算したカルマンゲイン行列Kp2(n+1)、観測ベクトルyp2(n+1)、及び観測遷移行列Mp2を用いて、時刻n+1までの情報によるその時刻での最適推定値ベクトルx^p2(n+1|n+1)を計算する(同手順4)。
次に、ステップ1148で、処理を終了するか否かを判定する。この判定は、時刻nが所定のサンプル数Nに達した場合を処理終了と判定してもよいし、サンプルがなくなった時点で処理終了と判定してもよい。処理を終了しない場合には、ステップ1150へ移行し、処理を終了する場合には、ステップ1154へ移行する。
ステップ1150では、単位行列I、カルマンゲイン行列Kp2(n+1)、観測遷移行列Mp2、及び上記ステップ1142で計算された共分散行列Pp2(n+1|n)を用いて、時刻n+1までの情報によるその時刻での共分散行列Pp2(n+1|n+1)を更新する。次に、ステップ1152で、nを1インクリメントして、ステップ1142へ戻る。
一方、ステップ1154では、上記ステップ1146で計算された最適推定値ベクトルx^p2(n+1|n+1) の1行1列目をLチャネルの推定楽曲信号i^(n)として、(Lp2+1)行1列目をRチャネルの推定楽曲信号i^(n)として出力し、図7の処理へリターンする。
次に、ステップ116で、D/A変換部24L,24Rが、上記ステップ114の処理により出力されたディジタル信号である推定楽曲信号i^(n)及びi^(n)を各々アナログ信号に変換して、最終的な出力信号L,Rとして出力し、処理を終了する。
以上説明したように、第1の実施の形態のステレオ信号処理装置によれば、Lチャネル及びRチャネルの観測スペクトルの比に基づいて抽出した推定ボーカル信号と観測信号とに、有色駆動源付カルマンフィルタを適用して推定楽曲信号を抽出するため、ステレオ感を損なわず再現性の良いステレオ信号を出力することができる。
また、抽出したボーカルスペクトルを時間領域の信号に変換するための逆フーリエ変換が1回でよい。
<第2の実施の形態>
第2の実施の形態では、本発明の第1信号の一例を、例えばLチャネルマイクとRチャネルマイクとの中央付近を音源位置とするボーカル信号とし、本発明の第2信号の一例を、例えば楽器等を音源とする楽曲信号とする場合について説明する。
第2の実施の形態では、ボーカル信号または楽曲信号を選択的に抽出する場合について説明する。なお、第2の実施の形態のステレオ信号処理装置について、第1の実施の形態のステレオ信号処理装置10と同一の部分については、同一符号を付して詳細な説明を省略する。
図9に示すように、第2の実施の形態に係るステレオ信号処理装置210は、A/D変換部12L,12Rと、周波数領域変換部14L,14Rと、スペクトル比演算部16と、ボーカル信号抽出部18と、時間領域変換部20と、特定信号推定部222と、D/A変換部24L,24Rとを含んで構成されている。
特定信号推定部222は、楽曲信号またはボーカル信号のいずれを抽出するかを選択するための選択信号に従って、時間領域変換部20から入力された推定ボーカル信号d^(n)と、観測信号x(n),x(n)とに基づいて、推定楽曲信号または推定ボーカル信号を抽出する。選択信号が楽曲信号を抽出することを示すものである場合には、特定信号推定部222は、第1の実施の形態の楽曲信号推定部22と同様の処理により、推定楽曲信号を抽出する。
一方、選択信号がボーカル信号を抽出することを示すものである場合には、下記に示すL・Rチャネル結合型有色駆動原付カルマンアルゴリズムにより、推定ボーカル信号を抽出する。なお、初期設定の過程[Initialization]については、第1の実施の形態と同様であるため記載を省略する。
推定ボーカル信号を抽出する場合には、第1の実施の形態における反復の過程[Iteration]の手順1の楽曲信号の分散値Rδp2(n+1) [i,j]と、手順2のボーカル信号の分散値Rεp2(n+1) [i,j]とを入れ替える。これにより、手順4において計算される最適推定値ベクトルx^p2(n+1|n+1)の1行1列目または(Lp2+1)行1列目を、推定ボーカル信号d'^p2(n)として得ることができる。ここで得られる推定ボーカル信号は、ミュージカルノイズのない信号となる。
次に、図10を参照して、第2の実施の形態に係るステレオ信号処理装置10の作用について説明する。なお、第1の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
ステップ100〜112を経て、スペクトル比に基づいて抽出された推定ボーカルスペクトル|D^(l,k)|を、時間領域の推定ボーカル信号d^(n)に変換する。
次に、ステップ200で、特定信号推定部222が、選択信号に基づいて楽曲信号またはボーカル信号のいずれを抽出するかを判定する。楽曲信号を抽出すると判定された場合には、ステップ114へ移行して、楽曲信号推定部22が、推定ボーカル信号d^(n)と、観測信号x(n),x(n)とに基づいて、楽曲信号推定処理を実行することにより、推定楽曲信号を抽出する。
一方、ボーカル信号を抽出すると判定された場合には、ステップ202へ移行し、楽曲信号推定部22が、推定ボーカル信号d^(n)と、観測信号x(n),x(n)とに基づいて、ボーカル信号推定処理を実行することにより、推定ボーカル信号を抽出する。
ボーカル信号推定処理は、第1の実施の形態と同様に、図8に示す有色駆動原付カルマンアルゴリズムに相当する。ここでは、楽曲信号推定処理として実行される有色駆動原付カルマンアルゴリズムのフローと異なる処理について説明する。
ボーカル信号推定処理として実行されるカルマンアルゴリズムでは、ステップ1142で、楽曲信号の分散値Rδp2(n+1) [i,j]を、ボーカル信号の分散値Rεp2(n) [i,j]に入れ替えて、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp2(n+1|n)を計算する(上述の反復の過程[Iteration]の手順1)。
また、ステップ1144で、ボーカル信号の分散値Rεp2(n) [i,j]を、楽曲信号の分散値Rδp2(n+1)に入れ替えて、カルマンゲイン行列Kp2(n+1)を計算する(同手順2)。
また、ステップ1154では、上記ステップ1146で計算された最適推定値ベクトルx^p2(n+1|n+1) の1行1列目または(Lp2+1)行1列目を推定ボーカル信号d'^p2(n)として出力し、図10の処理へリターンする。ここで得られる推定ボーカル信号は、ミュージカルノイズのない信号となる。
以上説明したように、第2の実施の形態のステレオ信号処理装置によれば、第1の実施の形態の効果に加え、所望の信号(ボーカル信号または楽曲信号)を選択的に抽出することができる。
<第3の実施の形態>
第3の実施の形態では、本発明の第1信号の一例を、例えばLチャネルマイクとRチャネルマイクとの中央付近を音源位置とするボーカル信号(音声信号)とし、本発明の第2信号の一例を、例えば白色雑音に近い雑音信号とする場合について説明する。
第3の実施の形態では、図2に示すような状況において観測された観測信号から、雑音信号を抑圧する場合について説明する。なお、第3の実施の形態のステレオ信号処理装置について、第1の実施の形態のステレオ信号処理装置10と同一の部分については、同一符号を付して詳細な説明を省略する。
図11に示すように、第3の実施の形態に係るステレオ信号処理装置310は、A/D変換部12L,12Rと、自己相関処理部26L,26Rと、ピーク値検出部28L,28Rと、雑音判定部30L,30Rと、雑音抑圧部322と、D/A変換部24L,24Rとを含んで構成されている。
自己相関処理部26L,26Rは、A/D変換部12L,12Rから入力された時間領域の信号である観測信号x(n),x(n)各々の自己相関関数を計算し、ピーク値検出部28L,28Rへ各々出力する。具体的には、自己相関処理部26L,26Rは、図12に示すように、観測信号をLサンプルでフレーム分割する。lフレーム目のi番目のサンプルに関する観測信号x(l,i),x(l,i)は、下記(12)式及び(13)式で表される。
(l,i)= d(l,i)+i(l,i) (12)
(l,i)= d(l,i)+i(l,i) (13)
自己相関処理部26L,26Rは、遅れ時間をτとして、下記(14)式及び(15)式により、Lチャネル及びRチャネル観測信号各々の自己相関関数RxL(l,τ), RxR(l,τ)(τ=0,・・・,L−1)を計算する。
ピーク値検出部28L,28Rは、自己相関処理部26L,26Rから各々入力された自己相関関数RxL(l,τ),RxR(l,τ)におけるピーク値を検出し、各々雑音判定部30L,30Rへ出力する。具体的には、自己相関関数RxL(l,τ),RxR(l,τ)において、τ=0以外におけるピーク値を、下記(16)式及び(17)式により検出する(図13も参照)。なお、max{*}は、関数*の最大値を見つける処理である。
雑音判定部30L,30Rは、ピーク値検出部28L,28Rから入力されたピーク値p(l),p(l)各々に基づいて、フレーム毎に雑音信号と推定される信号(以下、「推定雑音信号」という)を各々判定して、雑音抑圧部322へ出力する。具体的には、下記(18)式及び(19)式に従って、ピーク値p(l),p(l)各々と閾値σとを比較し、ピーク値が閾値σより大きい場合には、フレームlをボーカル信号(音声信号)と判定し、1フレーム前の推定雑音信号をコピーして、フレームlの推定雑音信号i^(l,i), i^(l,i)とする。一方、ピーク値が閾値σより小さい場合には、フレームlを雑音信号と判定し、そのまま推定雑音信号i^(l,i) , i^(l,i)とする。なお、閾値σは観測信号のSNRによって決まる値である。
雑音抑圧部322は、雑音判定部30L,30Rから入力された推定雑音信号i^(l,i), i^(l,i)と、観測信号x(n),x(n)とに基づいて、雑音信号を抑圧する。具体的には、下記に示すL・Rチャネル結合型有色駆動原付カルマンアルゴリズムにより、雑音信号を抑圧する。なお、反復の過程[Iteration]については、第1の実施の形態と同様であるため記載を省略する。
初期設定の過程では、最適推定値ベクトルの初期値x^p2(0|0)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Pp2(0|0)、雑音信号の分散値行列Rδp2(n)のi行j列の要素Rδp2(n)[i,j]、及びボーカル信号の分散値行列Rεp2(n)の値を、上記のようにそれぞれ設定する。なお、ボーカル信号の分散値は、観測信号の分散値から雑音信号の分散値を差し引いたものである。以下、第1の実施の形態と同様に、反復の過程を実行し、反復の過程の手順4において計算される最適推定値ベクトルx^p2(n+1|n+1)の1行1列目または(Lp2+1)行1列目を、推定ボーカル信号d^(n)として得ることができる。すなわち、観測信号において雑音信号が抑圧された信号が得られる。
次に、図14を参照して、第3の実施の形態に係るステレオ信号処理装置310の作用について説明する。なお、第1の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
ステップ100で、A/D変換部12L,12Rが、観測信号x(n),x(n)を各々ディジタル信号に変換する。次に、ステップ300で、自己相関処理部26L,26Rが、遅れ時間をτとして、(14)式及び(15)式により、Lチャネル及びRチャネル各々の自己相関関数RxL(l,τ), RxR(l,τ)(τ=0,・・・,L−1)を計算する。
次に、ステップ302で、ピーク値検出部28L,28Rが、上記ステップ300で計算された自己相関関数RxL(l,τ),RxR(l,τ)各々のτ=0以外におけるピーク値p(l),p(l)を検出する。
次に、ステップ304で、雑音判定部30Lが、ピーク値p(l)が閾値σより大きいか否かを判定する。p(l)>σの場合には、ステップ306へ移行し、フレームlをボーカル信号と判定し、1フレーム前の推定雑音信号をコピーして、フレームlの推定雑音信号i^(l,i)とする。一方、p(l)≦σの場合には、ステップ308へ移行し、フレームlを雑音信号と判定し、そのまま推定雑音信号i^(l,i)とする。
Rチャネルについても同様に、雑音判定部30Rが、ステップ304〜308を実行して、フレームlの推定雑音信号i^(l,i)を判定する。
次に、ステップ310で、雑音抑圧部322が、推定雑音信号i^(l,i), i^(l,i)と、観測信号x(n),x(n)とに基づいて、雑音抑圧処理を実行することにより、雑音信号を抑圧する。
雑音抑圧処理は、第1の実施の形態と同様に、図8に示す有色駆動原付カルマンアルゴリズムに相当する。ここでは、第1の実施の形態の楽曲信号推定処理として実行される有色駆動原付カルマンアルゴリズムのフローと異なる処理について説明する。
雑音抑圧処理として実行される有色駆動原付カルマンアルゴリズムでは、ステップ1140で、最適推定値ベクトルの初期値x^p2(0|0)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Pp2(0|0)、雑音信号の分散値行列Rδp2(n)のi行j列の要素Rδp2(n)[i,j]、及びボーカル信号の分散値行列Rεp2(n)の値を、上記のようにそれぞれ設定する。
また、ステップ1154では、上記ステップ1146で計算された最適推定値ベクトルx^p2(n+1|n+1) の1行1列目または(Lp2+1)行1列目を推定ボーカル信号d^(n)、すなわち、観測信号において雑音信号が抑圧された推定音声信号として出力し、図14の処理へリターンする。
以上説明したように、第3の実施の形態のステレオ信号処理装置によれば、第1の実施の形態の効果に加え、自己相関を用いて推定された推定雑音信号を用いて有色駆動源型のカルマンフィルタを適用することにより、白色性の雑音に対して抑圧効果を高めることができる。また、時間領域の信号処理のみであるため、演算量を削減できる。
<第4の実施の形態>
第4の実施の形態では、本発明の第1信号の一例を、例えばLチャネルマイクとRチャネルマイクとの中央付近を音源位置とするボーカル信号(音声信号)とし、本発明の第2信号の一例を、例えば雑音信号とする場合について説明する。
第4の実施の形態について説明する。第4の実施の形態では、図2に示すような状況において観測された観測信号から、雑音信号を抑圧する場合について説明する。なお、第4の実施の形態のステレオ信号処理装置について、第1の実施の形態のステレオ信号処理装置10及び第3の実施の形態のステレオ信号処理装置310と同一の部分については、同一符号を付して詳細な説明を省略する。
図15に示すように、第4の実施の形態に係るステレオ信号処理装置410は、A/D変換部12L,12Rと、周波数領域変換部14L,14Rと、スペクトル密度演算部32L,32Rと、スペクトルエントロピー演算部34L,34Rと、雑音判定部430L,430Rと、時間領域変換部20L,20Rと、雑音抑圧部322と、D/A変換部24L,24Rとを含んで構成されている。
スペクトル密度演算部32L,32Rは、周波数領域変換部14L,14Rから入力された観測スペクトル|X(l,k)|,|X(l,k)|に基づいて、下記(20)式及び(21)式により、Lチャネル及びRチャネル観測信号各々のパワースペクトル密度P(l,k), P(l,k)を演算し、スペクトルエントロピー演算部34L,34Rへ入力する。lはフレーム番号、kは周波数ビン番号である。
ここで、ボーカル信号(音声信号)のスペクトルは、250〜4000Hzの周波数帯域内に存在することを考慮し、k≦250Hzまたはk≧4000Hzの場合には、|X(l,k)|=|X(l,k)|=0とする。
スペクトルエントロピー演算部34L,34Rは、スペクトル密度演算部32L,32Rから入力されたスペクトル密度P(l,k),P(l,k)に基づいて、下記(22)式及び(23)式により、Lチャネル及びRチャネル観測信号各々のスペクトルエントロピーH(l), H(l)を演算し、雑音判定部430L,430Rへ入力する。
雑音判定部430L,430Rは、スペクトルエントロピー演算部34L,34Rから入力されたスペクトルエントロピーH(l), H(l)各々に基づいて、フレーム毎に推定雑音信号のスペクトル(以下、「推定雑音スペクトル」という)を各々判定して、時間領域変換部20L,20Rへ出力する。具体的には、下記(24)式及び(25)式に従って、スペクトルエントロピーH(l), H(l)各々と閾値σとを比較し、スペクトルエントロピーが閾値σより小さい場合には、フレームlをボーカル信号(音声信号)と判定し、1フレーム前の推定雑音スペクトルをコピーして、フレームlの推定雑音スペクトル|I^(l,k)|,|I^(l,k)|とする。一方、スペクトルエントロピーが閾値σより大きい場合には、フレームlを雑音信号と判定し、そのまま推定雑音スペクトル|I^(l,k)|,|I^(l,k)|とする。
ここで、閾値σは以下のようにして決定する。まずNフレーム分のスペクトルエントロピーの平均値を用いて閾値σ’(l)を下式のように導出する。
次に閾値σ’(l)と現フレームのスペクトルエントロピーとを比較し、閾値σ’(l)よりも現フレームのスペクトルエントロピーの方が小さい場合は閾値σ’(l)をα倍する。
そして過去3フレームが連続して音声信号か否かを判定した後に最終的な閾値σ(l)を得る。
もし音声信号が連続していない場合は、過去3フレーム雑音信号が連続したか否かを判定した後に最終的な閾値σ(l)を得る。
時間領域変換部20L,20Rは、雑音判定部430L,430Rから入力された周波数領域の信号である推定雑音スペクトル|I^(l,k)|,|I^(l,k)|を逆フーリエ変換して、時間領域の信号である推定雑音信号i^(l,n),i^(l,n)に変換する。次いで、オーバーラップアド法を用いて1フレーム前の後半Mサンプルを用いた時間領域推定楽曲信号i^(l−1,n+M),i^(l−1,n+M)と現フレームの前半Mサンプルを用いた時間領域推定楽曲信号i^(l,n),i^(l,n)とを足し合わせて、現フレームのMサンプル時間領域推定楽曲信号i^(n),i^(n)(1≦n≦M )を得る。
次に、図16を参照して、第4の実施の形態に係るステレオ信号処理装置410の作用について説明する。なお、第1の実施の形態における処理と同一の処理については、同一符号を付して詳細な説明を省略する。
ステップ100で、A/D変換部12L,12Rが、観測信号x(n),x(n)を各々ディジタル信号に変換し、次に、ステップ102で、周波数領域変換部14L,14Rが、周波数領域の信号である観測スペクトル|X(l,k)|,|X(l,k)|に変換する。
次に、ステップ400で、スペクトル密度演算部32L,32R、観測スペクトル|X(l,k)|,|X(l,k)|に基づいて、Lチャネル及びRチャネル観測信号各々のパワースペクトル密度P(l,k), P(l,k)を演算する。
次に、ステップ402で、スペクトルエントロピー演算部34L,34Rが、上記ステップ400で演算されたパワースペクトル密度P(l,k), P(l,k)に基づいて、Lチャネル及びRチャネル観測信号各々のスペクトルエントロピーH(l), H(l)を演算する。
次に、ステップ404で、雑音判定部430Lが、上述のように閾値σを決定し、決定した閾値σを用いて、スペクトルエントロピーH(l)が閾値σより小さいか否かを判定する。H(l)<σの場合には、ステップ406へ移行し、フレームlをボーカル信号と判定し、1フレーム前の推定雑音スペクトルをコピーして、フレームlの推定雑音スペクトル|I^(l,k)|とする。一方、H(l)≧σの場合には、ステップ408へ移行し、フレームlを雑音信号と判定し、そのまま推定雑音スペクトル|I^(l,k)|とする。
Rチャネルについても同様に、雑音判定部430Rが、ステップ404〜408を実行して、フレームlの推定雑音スペクトル|I^(l,k)|を判定する。
次に、ステップ112で、時間領域変換部20L,20Rが、推定雑音スペクトル|I^(l,k)|,|I^(l,k)|を、フーリエ逆変換を用いて時間領域の信号である推定雑音信号i^(l,n),i^(l,n)に変換する。次いで、オーバーラップアド法を用いて1フレーム前の後半Mサンプルを用いた時間領域推定楽曲信号i^(l−1,n+M),i^(l−1,n+M)と現フレームの前半Mサンプルを用いた時間領域推定楽曲信号i^(l,n),i^(l,n)とを足し合わせて、現フレームのMサンプル時間領域推定楽曲信号i^(n),i^(n)(1≦n≦M )を得る。
次に、ステップ410で、雑音抑圧部322が、推定雑音信号i^(n), i^(n)と、観測信号x(n),x(n)とに基づいて、雑音抑圧処理を実行することにより、雑音信号を抑圧する。雑音抑圧処理は、第3の実施の形態と同様である。
以上説明したように、第4の実施の形態のステレオ信号処理装置によれば、第1の実施の形態の効果に加え、スペクトルエントロピーを用いて推定された推定雑音信号を用いて有色駆動源型のカルマンフィルタを適用することにより、白色性及び有色性の様々な雑音に対して抑圧効果を高めることができる。
なお、上記第1〜第4の実施の形態で用いた有色駆動源付カルマンフィルタの演算量を軽減した演算量軽減型有色駆動源付カルマンフィルタを用いてもよい。演算量軽減型有色駆動源付カルマンフィルタでは、所望の信号の推定に必要な処理だけを取り出す。
詳細には、図17に示すように、手順4の状態量の更新において、Lチャネル及びRチャネルの推定楽曲信号を示す部分のみ取り出すと、手順2におけるカルマンゲイン行列の4つの要素が必要であることがわかる。そこで、図18に示すように、この必要な4つの要素の部分のみを取り出すと、手順1における共分散行列の4つの要素が必要であることがわかる。そこで、図19に示すように、この必要な4つの要素の部分のみを取り出すと、楽曲信号の分散値が必要であることがわかる。
以上をまとめると、演算量軽減型有色駆動源付カルマンアルゴリズムは、下記に示すとおりとなり、ステップが減ったことにより演算量が軽減できる。なお、p3は演算量軽減型有色駆動原付カルマンフィルタが適用される状態方程式及び観測方程式の変数であることを表す添え字である。
ここで、第1の実施の形態における楽曲信号推定処理(図7のステップ114)に、上記の演算量軽減型有色駆動原付カルマンフィルタを適用した場合に実行される演算量軽減型有色駆動原付カルマンアルゴリズムのフローについて、図20を参照して説明する。
ステップ2140で、(10)式に示す状態方程式及び観測方程式により状態空間モデルを定義し、最適推定値ベクトルの初期値x^p3(0|0)、状態ベクトルを推定した場合の誤差である共分散行列の初期値Pp3(0|0)、ボーカル信号の分散値Rεp3(n) [i,j]、及び楽曲信号の分散値Rδp3(n)[i,j]を、上述の初期設定の過程[Initialization]に示した初期状態に設定する。また、時刻を示す変数nを0に設定する。
次に、ステップ2142で、楽曲信号の分散値Rδp3(n+1)[i,j]の値を用いて、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp3(n+1|n)を計算する(上述の反復の過程[Iteration]の手順1)。
次に、ステップ2144で、上記ステップ2142で計算した共分散行列Pp3(n+1|n)、及びボーカル信号の分散値Rεp3(n) [i,j]を用いて、カルマンゲイン行列Kp3(n+1)を計算する(同手順2)。
次に、ステップ2146で、上記ステップ2144で計算したカルマンゲイン行列Kp3(n+1)、及び観測ベクトルyp3(n+1)を用いて、時刻n+1までの情報によるその時刻での最適推定値ベクトルx^p3(n+1|n+1)を計算する(同手順3)。
次に、ステップ2148で、処理を終了するか否かを判定する。この判定は、時刻nが所定のサンプル数Nに達した場合を処理終了と判定してもよいし、サンプルがなくなった時点で処理終了と判定してもよい。処理を終了しない場合には、ステップ2152へ移行し、nを1インクリメントして、ステップ1142へ戻る。処理を終了する場合には、ステップ2154へ移行し、上記ステップ2146で計算された最適推定値ベクトルx^p3(n+1|n+1) の1行1列目をLチャネルの推定楽曲信号i^(n)として、(Lp3+1)行1列目をRチャネルの推定楽曲信号i^(n)として出力し、図7の処理へリターンする。
また、第3及び第4の実施の形態では、雑音信号を抑圧する場合について説明したが、第2の実施の形態と同様に、有色駆動原付カルマンアルゴリズムにおいて、雑音信号の分散値とボーカル信号の分散値とを入れ替えることにより、ボーカル信号を抑圧した信号、すなわち推定雑音信号を抽出するようにしてもよい。具体的には、有色駆動原付カルマンアルゴリズムの反復の過程[Iteration]の手順1において、雑音信号の分散値Rδp2(n+1) [i,j]を、ボーカル信号の分散値Rεp2(n) [i,j]とを入れ替えて、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp2(n+1|n)を計算する。また、同手順2において、ボーカル信号の分散値Rεp2(n) [i,j]を、雑音信号の分散値Rδp2(n+1) [i,j]に入れ替えて、カルマンゲイン行列Kp2(n+1)を計算する。そして、同手順4において計算される最適推定値ベクトルx^p2(n+1|n+1)の1行1列目及び(Lp2+1)行1列目を、推定雑音信号i'^(l,i), i'^(l,i)として得ることができる。
また、上記の演算量軽減型カルマンアルゴリズムを第1の実施の形態に適用した場合(または第3及び第4の実施の形態に適用した場合)においても、第2の実施の形態と同様に、楽曲信号(または雑音信号)の分散値とボーカル信号の分散値とを入れ替えることにより、ボーカル信号を抑圧した信号、すなわち推定楽曲信号(または推定雑音信号)を抽出することができる。具体的には、演算量軽減型有色駆動原付カルマンアルゴリズムの反復の過程[Iteration]の手順1において、楽曲信号(または雑音信号)の分散値Rδp3(n+1) [i,j]を、ボーカル信号の分散値Rεp3(n) [i,j]と入れ替えて、時刻nまでの情報により時刻n+1の状態ベクトルを推定した場合の誤差である共分散行列Pp3(n+1|n)を計算する。また、同手順2において、ボーカル信号の分散値Rεp3(n) [i,j]を、楽曲信号(または雑音信号)の分散値Rδp3(n+1) [i,j]に入れ替えて、カルマンゲイン行列Kp3(n+1)を計算する。そして、同手順3において計算される最適推定値ベクトルx^p3(n+1|n+1)の1行1列目及び(Lp3+1)行1列目を、推定雑音信号i'^(l,i), i'^(l,i)として得ることができる。
また、上記各実施の形態は、適宜組み合わせて適用可能である。例えば、第1または第2の実施の形態により所望の信号を抽出した上で、第3または第4の実施の形態により雑音を抑圧するようにすることができる。
また、第1及び第2の実施の形態では、第1信号をボーカル信号、第2信号を楽曲信号とする場合について、第3及び第4の実施の形態では、第1信号をボーカル信号(音声信号)、第2信号を雑音信号とする場合について説明したが、これに限定されない。複数チャネルの入力信号において、第1信号各はチャネル間で共通に含まれる信号であり、第2信号はチャネル毎に異なる信号であればよい。
また、上記実施の形態では、各部をハードウエアにより構成する場合について説明したが、コンピュータに各部の処理を実行させるためのプログラムとすることもできる。プログラムは、予め装置にインストールされていてもよいし、コンピュータ読み取り可能な記録媒体に格納して提供してもよいし、ネットワークを介して提供してもよい。
10、210、310、410 ステレオ信号処理装置
12L,12R A/D変換部
14L,14R 周波数領域変換部
16 スペクトル比演算部
18 ボーカル信号抽出部
20、 20L,20R 時間領域変換部
22 楽曲信号推定部
24L,24R D/A変換部
26L,26R 自己相関処理部
28L,28R ピーク値検出部
30L,30R、430L,430R 雑音判定部
32L,32R スペクトル密度演算部
34L,34R スペクトルエントロピー演算部
222 特定信号推定部
322 雑音抑圧部

Claims (11)

  1. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第1信号のスペクトル信号と推定される推定第1スペクトル信号を抽出し、周波数領域の信号である前記推定第1スペクトル信号を時間領域の信号に変換して前記第1信号と推定される時間領域の推定第1信号を抽出する抽出手段と、
    前記抽出手段で抽出された前記時間領域の推定第1信号の分散値、前記観測信号の分散値から前記推定第1信号の分散値を差し引いて得られる前記第2信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、
    を含む多チャネル信号処理装置。
  2. 前記推定手段により推定された前記第1信号または前記第2信号を含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出する後段抽出手段と、
    前記後段抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する後段推定手段と、
    を含む請求項1記載の多チャネル信号処理装置。
  3. 前記推定手段により推定された前記第1信号または前記第2信号を含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、スペクトル信号から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出する後段抽出手段と、
    前記後段抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する後段推定手段と、
    を含む請求項1記載多チャネル信号処理装置。
  4. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出する抽出手段と、
    前記抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、
    を含む多チャネル信号処理装置。
  5. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出する抽出手段と、
    前記抽出手段で抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する推定手段と、
    を含む多チャネル信号処理装置。
  6. 前記抽出手段は、前記観測信号を所定フレーム長のフレーム毎に前記周波数領域のスペクトル信号に変換し、フレーム毎に前記スペクトルエントロピーを求め、第1所定フレーム数分のスペクトルエントロピーの平均σ’が、現フレームのスペクトルエントロピーより小さい場合にはσ’、大きい場合にはσ’に所定の係数αを乗算したασ’となる値σ”を得、前記第1信号が過去第2所定フレーム数連続している場合はσ”、前記第1信号が過去第2所定フレーム数連続しておらず、かつ前記第2信号が過去第2所定フレーム数連続している場合はσ’、前記第1信号が過去第2所定フレーム数連続しておらず、かつ前記第2信号が過去第2所定フレーム数連続していない場合はσ”を閾値σとし、原フレームのスペクトルエントロピーが閾値σより小さい場合には、現フレームを第1信号と判定し、原フレームのスペクトルエントロピーが閾値σ以上の場合には、現フレームを第2信号と判定する請求項5記載の多チャネル信号処理装置。
  7. 前記有色駆動原付カルマンフィルタを、前記第1信号または前記第2信号の推定に必要な処理のみを取り出した演算量軽減型有色駆動原付カルマンフィルタとした請求項1〜請求項6のいずれか1項記載の多チャネル信号処理装置。
  8. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換し、各スペクトル信号の比に基づいて前記第1信号のスペクトル信号と推定される推定第1スペクトル信号を抽出し、周波数領域の信号である前記推定第1スペクトル信号を時間領域の信号に変換して前記第1信号と推定される時間領域の推定第1信号を抽出し、
    抽出された前記時間領域の推定第1信号の分散値、前記観測信号の分散値から前記推定第1信号の分散値を差し引いて得られる前記第2信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する
    多チャネル信号処理方法。
  9. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々の自己相関のピーク値に基づいて、前記第2信号と推定される時間領域の推定第2信号を抽出し、
    抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する
    を含む多チャネル信号処理方法。
  10. 各チャネル間で共通に含まれる第1信号と、チャネル毎に異なる第2信号とを含む複数チャネルの時間領域の観測信号各々を周波数領域のスペクトル信号に変換して各々のパワースペクトル密度を演算し、該パワースペクトル密度から各々得られるスペクトルエントロピーに基づいて前記第2信号のスペクトル信号と推定される推定第2スペクトル信号を抽出し、周波数領域の信号である前記推定第2スペクトル信号を時間領域の信号に変換して前記第2信号と推定される時間領域の推定第2信号を抽出し、
    抽出された前記時間領域の推定第2信号の分散値、前記観測信号の分散値から前記推定第2信号の分散値を差し引いて得られる前記第1信号の分散値、並びに前記複数チャネルの観測信号を用いて、有色駆動源付カルマンフィルタにより、前記第1信号または前記第2信号を推定する
    多チャネル信号処理方法。
  11. コンピュータを、請求項1〜請求項7のいずれか1項記載のステレオ信号処理装置を構成する各手段として機能させるための多チャネル信号処理プログラム。
JP2012070301A 2012-03-26 2012-03-26 多チャネル信号処理装置、方法、及びプログラム Active JP5971646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012070301A JP5971646B2 (ja) 2012-03-26 2012-03-26 多チャネル信号処理装置、方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012070301A JP5971646B2 (ja) 2012-03-26 2012-03-26 多チャネル信号処理装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2013201722A true JP2013201722A (ja) 2013-10-03
JP5971646B2 JP5971646B2 (ja) 2016-08-17

Family

ID=49521581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012070301A Active JP5971646B2 (ja) 2012-03-26 2012-03-26 多チャネル信号処理装置、方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP5971646B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015143805A (ja) * 2014-01-31 2015-08-06 ブラザー工業株式会社 雑音抑圧装置、雑音抑圧方法、及びプログラム
JP2019047460A (ja) * 2017-09-07 2019-03-22 日本放送協会 音響信号用の制御器設計装置及びプログラム
WO2022049741A1 (ja) * 2020-09-04 2022-03-10 公立大学法人公立諏訪東京理科大学 打音診断支援装置、打音診断支援方法、打音診断支援システム、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7186386B2 (ja) * 2017-10-26 2022-12-09 学校法人東京理科大学 信号処理装置、方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319488A (ja) * 1994-05-19 1995-12-08 Sanyo Electric Co Ltd ステレオ信号処理回路
JP2006330389A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd 音声認識装置
JP2009069425A (ja) * 2007-09-12 2009-04-02 Sharp Corp 音楽検出装置、音声検出装置、および音場制御装置
JP2009251134A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 音声/非音声を判定する装置、方法およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07319488A (ja) * 1994-05-19 1995-12-08 Sanyo Electric Co Ltd ステレオ信号処理回路
JP2006330389A (ja) * 2005-05-26 2006-12-07 Matsushita Electric Works Ltd 音声認識装置
JP2009069425A (ja) * 2007-09-12 2009-04-02 Sharp Corp 音楽検出装置、音声検出装置、および音場制御装置
JP2009251134A (ja) * 2008-04-03 2009-10-29 Toshiba Corp 音声/非音声を判定する装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN6015040635; 寺島 大雅 Hiromasa TERASHIMA: 'DSPを用いた雑音抑圧法のための有色性駆動源カルマンフィルタアルゴリズム Kalman Filter Algorithm wi' FIT2011 第10回情報科学技術フォーラム 講演論文集 第2分冊 査読付き論文・一般論文 データ , 20110822, p.241-245 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015143805A (ja) * 2014-01-31 2015-08-06 ブラザー工業株式会社 雑音抑圧装置、雑音抑圧方法、及びプログラム
JP2019047460A (ja) * 2017-09-07 2019-03-22 日本放送協会 音響信号用の制御器設計装置及びプログラム
WO2022049741A1 (ja) * 2020-09-04 2022-03-10 公立大学法人公立諏訪東京理科大学 打音診断支援装置、打音診断支援方法、打音診断支援システム、及びプログラム

Also Published As

Publication number Publication date
JP5971646B2 (ja) 2016-08-17

Similar Documents

Publication Publication Date Title
JP5375400B2 (ja) 音声処理装置、音声処理方法およびプログラム
JP4496186B2 (ja) 音源分離装置、音源分離プログラム及び音源分離方法
JP5284360B2 (ja) 周囲信号を抽出するための重み付け係数を取得する装置および方法における周囲信号を抽出する装置および方法、並びに、コンピュータプログラム
JP5435204B2 (ja) 雑音抑圧の方法、装置、及びプログラム
JP5791092B2 (ja) 雑音抑圧の方法、装置、及びプログラム
JP5724044B2 (ja) 多重チャネル・オーディオ信号の符号化のためのパラメトリック型符号化装置
WO2009046225A2 (en) Correlation-based method for ambience extraction from two-channel audio signals
WO2009110574A1 (ja) 信号強調装置、その方法、プログラム及び記録媒体
KR101803293B1 (ko) 입체 음향 효과를 제공하는 신호 처리 장치 및 신호 처리 방법
JP6019969B2 (ja) 音響処理装置
WO2009110578A1 (ja) 残響除去装置、残響除去方法、残響除去プログラム、および記録媒体
US9031248B2 (en) Vehicle engine sound extraction and reproduction
KR101710544B1 (ko) 스펙트럼 무게 발생기를 사용하는 주파수-영역 처리를 이용하는 스테레오 레코딩 분해를 위한 방법 및 장치
JP5971646B2 (ja) 多チャネル信号処理装置、方法、及びプログラム
EP3113508B1 (en) Signal-processing device, method, and program
KR20190085988A (ko) 상관해제 필터들의 적응적 제어를 위한 방법 및 장치
KR101485462B1 (ko) 후방향 오디오 채널의 적응적 리마스터링 장치 및 방법
JP2016536856A (ja) 二つ以上の基本信号からのマルチチャンネル信号の導出
JP2008216721A (ja) 雑音抑圧の方法、装置、及びプログラム
US8675881B2 (en) Estimation of synthetic audio prototypes
JP5413575B2 (ja) 雑音抑圧の方法、装置、及びプログラム
JP6011536B2 (ja) 信号処理装置、信号処理方法、およびコンピュータ・プログラム
JP3831220B2 (ja) 雑音抑圧方法及びその装置、雑音抑圧プログラム並びにそのプログラム記録媒体
KR101096091B1 (ko) 음성 분리 장치 및 이를 이용한 단일 채널 음성 분리 방법
Lee et al. Single-channel speech separation using zero-phase models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160705

R150 Certificate of patent or registration of utility model

Ref document number: 5971646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250