JP2001296894A - 音声処理装置および音声処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 複数チャネルの音声データにおいて、一方の
音声データが所定の区間において欠損しても、欠損して
いない他方の音声データとの相関性が保たれる音声デー
タを補間し、聞くときの違和感を減少させる。 【解決手段】 音声編集装置１において、Ｒ入力端子２
に入力されたＲ音声データとＬ入力端子３に入力された
Ｌ音声データとに欠損がない場合、それぞれの入力され
た音声データをそのまま出力するとともに、相関処理手
段６において、Ｒ音声データとＬ音声データの相関を示
す音声差分データを求める。そしてＲ音声データに欠損
があった場合に、Ｒ音声補間手段７において、欠損して
いないＬ音声データと、あらかじめ相関処理手段６で求
められた音声差分データとから、Ｌ音声データとの相関
性が保たれたＲ音声補間データを作成し出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数チャネルの音
声データにおいて欠損した音声データを補間して出力す
る音声処理装置および音声処理方法に関する。

【０００２】

【従来の技術】従来から記憶媒体に記憶された、あるい
は放送などで伝送された複数チャネルの音声データを再
生することが行われているが、記憶媒体の書き込みまた
は読み込み時の誤り、あるいは伝送路の障害などにより
音声データに欠損が生じることがある。

【０００３】例えばハードディスクなどの記憶装置に記
憶された音声データ、あるいは伝送装置を通じて伝送さ
れる音声データであるステレオ音声を入力して出力する
音声処理装置である音声編集装置においては、記憶装置
でデータの書き込みあるいは読み出しが正しく処理が行
われずに一部のデータの欠損が生じる場合がある。また
伝送装置で、伝送状態の変化によって信号劣化が生じて
一部のデータが欠損したり、あるいは多重化による輻輳
などによって一部のデータが遅延して再生処理の必要時
に間に合わず、欠損と同等と判断して処理すべき遅延が
生じることもある。

【０００４】したがって従来の音声処理装置では、音声
データに欠損が生じても再生ができるように、同チャネ
ルにおける欠損する直前の音声データ、あるいは再生が
遅延されるものにおいては前と後の音声データを用い
て、欠損した区間を補間する手段が用いられていた。

【０００５】また特開平１０−２０９９７７号公報に開
示されているように、受信データエラー（欠損区間）が
検出されたときに、同一のチャネルの過去のデータを用
いて、受信データエラーが生じても、連続して出力でき
る。

【０００６】

【発明が解決しようとする課題】しかしながら従来の音
声処理装置においては、音声データが欠損した区間を、
同チャネルにおける欠損した直前あるいは欠損した前後
の音声データの特徴変化から音声補間データを求めてお
り、欠損している間に生じた特徴変化を考慮して補間す
ることができないという問題があった。

【０００７】本発明はかかる点に鑑みてなされたもので
あり、複数チャネルの音声データにおける１つのチャネ
ルの音声データが欠損しても、他のチャネルの音声デー
タと比較して違和感の少ない音声データを出力できる優
れた音声処理装置を提供することを目的とする。

【０００８】

【課題を解決するための手段】第一音声データが欠損し
た区間である第一音声欠損区間を検出する第一欠損区間
検出手段と、第一音声欠損区間でないと検出された第一
音声データおよび第一音声欠損区間でないと検出された
第二音声データと、第一音声欠損区間における第二音声
データとをパラメータとして、第一音声欠損区間におけ
る第一音声補間データを求める音声補間手段と、第一音
声データと第一音声補間データとを選択して出力する第
一音声出力手段とを備えた構成とした。

【０００９】したがって第一音声欠損区間が生じても、
第一音声欠損区間における第二音声データを用いて、第
一音声欠損区間以外における第一音声データと第二音声
データとの相関性が保たれた第一音声補間データが求め
られ出力することができる。

【００１０】また本発明の音声処理装置は、第一音声デ
ータと第二音声データとの特徴量の差をパラメータとし
て音声差分データを求める音声差分データ作成手段と、
第一音声データが欠損した区間である第一音声欠損区間
を検出する第一欠損区間検出手段と、第二音声データと
音声差分データとをパラメータとして第一音声補間デー
タを求める音声補間手段と、第一音声データと第一音声
補間データとを選択して出力する第一音声出力手段とを
備えた構成とした。

【００１１】したがって第一音声欠損区間が生じても、
第一音声欠損区間における第一音声データと第二音声デ
ータの特徴量の差が、第一音声欠損区間の前、後、また
は前と後における第一音声データと第二音声データとの
特徴量の差と同様であると仮定し、その仮定した特徴量
の差に従い、第一音声データと相関性が高い第一音声欠
損区間における第二音声データを変換した音声補間デー
タを得て、第一音声データにかわって出力することがで
きる。

【００１２】また本発明の音声処理装置は、特徴量が少
なくとも音量である構成とした。

【００１３】したがって第一音声欠損区間が生じても、
第一音声データと第二音声データとの音量の相関性を保
った音声補間データを得ることができる。

【００１４】また本発明の音声処理装置は、特徴量が少
なくとも遅延時間である構成とした。

【００１５】したがって第一音声欠損区間が生じても、
第一音声データと第二音声データとの遅延時間の相関性
を保った音声補間データを得ることができる。

【００１６】また本発明の音声処理装置は、音声差分デ
ータ作成手段が、第一音声データの周波数帯域を制限す
る第一帯域制限手段と、第二音声データを第一帯域制限
手段と同じ周波数帯域に制限する第二帯域制限手段とを
備えた構成とした。

【００１７】したがって所定の周波数帯域における特徴
量の差から音声差分データを求めるため、所望の周波数
帯域における音量や遅延時間などの特徴量を考慮した音
声補間データを得ることができる。

【００１８】また本発明の音声処理装置は、第一帯域制
限手段が周波数帯域を複数の周波数帯域に分割し、第二
帯域制限手段が第一帯域制限手段と同じ複数の周波数帯
域に分割し、音声差分データ作成手段が分割された周波
数帯域毎の第一音声データの特徴量と第二音声データの
特徴量の差から求められる複数の特徴量の差を音声差分
データとし、音声補間手段が分割された周波数帯域毎の
第二音声データと音声差分データとから得られる補間デ
ータを分割された複数の周波数帯域で合成して第一音声
補間データを求めること構成とした。

【００１９】したがって各周波数帯域毎の特徴量の差か
ら得られる音声差分データによって補間データを求め
て、複数の周波数帯域における補間データを合成するこ
とで、各周波数帯域毎における音量や遅延時間などの特
徴量を考慮した音声補間データ得ることができる。

【００２０】また本発明の音声処理装置は、第二音声デ
ータが欠損した区間である第二音声欠損区間を検出する
第二欠損区間検出手段を備え、音声差分データ作成手段
が第一音声データと第二音声データとが存在する複数の
音声存在区間におけるそれぞれの特徴量の差をパラメー
タとすることを特徴とする。

【００２１】したがって複数の音声存在区間の特徴量の
差を平均化あるいは重み付けを行って音声差分データを
求めることができ、第一音声欠損区間が生じても、より
違和感の少ない相関性の高い音声補間データを得ること
ができる。

【００２２】

【発明の実施の形態】図１は本発明の第一の実施形態に
おける音声編集装置のブロック図である。

【００２３】図１において、音声編集装置１は左右のス
テレオ音声を入力し、欠損した音声データを補間した後
に左右のステレオ音声を出力する。そしてＲ入力端子２
に入力される右チャネルの音声データ（Ｒ音声データ）
と、Ｌ入力端子３に入力される左チャネルの音声データ
（L音声データ）とを音声データ処理をする。そして音
声データ処理後に、Ｒ出力端子４から右チャネルの音声
データを出力し、Ｌ出力端子５から左チャネルの音声デ
ータを出力する。

【００２４】この音声編集装置１の音声データ処理につ
いてさらに説明をする。

【００２５】R音声データが入力されるＲ入力端子２
と、L音声データが入力されるＬ入力端子３を通じて、
Ｒ音声データとＬ音声データは、R音声データとL音声デ
ータとの差分値である相関値を求める相関処理手段６に
入力さる。

【００２６】そして相関処理手段６において、Ｒ音声デ
ータとＬ音声データとの相関値が音声差分データとして
求められて出力される。この相関処理手段６で求める相
関値は音声の特徴量から求めるが、ここでは単位時間に
おける音量変化を特徴量とした場合について述べる。

【００２７】相関処理手段６においては、単位時間あた
りのＲ音声データの音量変化とＬ音声データの音量変化
との相関関係が、例えばＲ音声データとＬ音声データと
の音量がお互いに増加あるいは減少すること、または右
から左へ音が変化するためにＲ音声データの音量が減少
しながらＬ音声データの音量が増加することなどを示す
音声差分データとして求められる。

【００２８】そして相関処理手段６で得られた音声差分
データと左チャネルであるＬ音声データとから、右チャ
ネル用のＲ音声補間データを求めるＲ音声補間手段７に
おいて、Ｌ音声データを音声差分データに応じて変化さ
せたＲ音声補間データが求められる。

【００２９】同様に相関処理手段６で得られた音声差分
データと右チャネルであるＲ音声データとから、左チャ
ネル用のＬ音声補間データを求めるＬ音声補間手段８に
おいて、Ｒ音声データを音声差分データに応じて変化さ
せたＬ音声補間データが求められる。

【００３０】そしてＲ音声データまたはＬ音声データが
入力されずに欠損したことが判定手段９で判定される
と、判定手段９の判定結果に応じてＲ音声選択手段１０
及びＬ音声選択手段１１の選択動作を行う。

【００３１】このときＲ音声データが欠損しない場合
は、欠損せずに伝送されたＲ音声データをＲ音声選択手
段１０からＲ出力端子４へ、Ｒ音声データが欠損した場
合は、Ｒ音声補間データをＲ音声選択手段１０からＲ出
力端子４へ出力する。同様にＬ音声データが欠損しない
場合は、欠損せずに伝送されたＬ音声データをＬ音声選
択手段１１からＬ出力端子５へ、Ｌ音声データが欠損し
た場合は、Ｌ音声補間データをＬ音声選択手段１１から
Ｌ出力端子５へ出力する。

【００３２】ここで出力する音声データの例について、
第一の実施形態における音声処理のフロチャート図であ
る図２を用いて概略を説明する。

【００３３】入力される音声データがＲ音声データとＬ
音声データのいずれか一方でも欠損しているか否かを判
定し（ステップ１０１）、欠損区間がない場合は音声差
分データを更新して（ステップ１０２）、欠損せずに入
力されているＲ音声データとＬ音声データを出力し（ス
テップ１０３）、次の区間の処理へ移行する。

【００３４】（ステップ１０１で）少なくとも欠損区間
がある場合は、Ｒ音声データがあるか否か判定し（ステ
ップ１０４）、Ｒ音声データがある場合は、入力された
Ｒ音声データと、あらかじめ得られている音声差分デー
タを用いてＬ音声補間データを求め（ステップ１０
５）、欠損せずに入力されているＲ音声データとＬ音声
補間データを出力し（ステップ１０６）、次の区間の処
理へ移行する。

【００３５】（ステップ１０４で）Ｒ音声データがない
場合はＬ音声データがあるか否か判定し（ステップ１０
７）、Ｌ音声データがある場合は、入力されたＬ音声デ
ータと、あらかじめ得られている音声差分データを用い
てＲ音声補間データを求め（ステップ１０８）、欠損せ
ずに入力されているＬ音声データとＲ音声補間データを
出力し（ステップ１０９）、次の区間の処理へ移行す
る。

【００３６】（ステップ１０７で）Ｌ音声データも存在
しない場合は全て欠損しているため、各種データを更新
したり出力することなく、次の区間の処理へ移行する。

【００３７】さらに音声編集装置１の詳細について説明
をする。

【００３８】ハードディスクなどの記憶装置に記憶され
た音声データ、あるいは伝送装置を通じて伝送される音
声データをステレオ音声データとして音声編集装置１に
入力する場合には、前述のとおり、記憶装置などにおけ
るデータの欠損、あるいは伝送装置などにおけるデータ
の欠損や必要以上の遅延が生じるために欠損と判断（以
下、必要以上の遅延も欠損として説明する）すべき場合
がある。

【００３９】音声編集装置１では、音声データに欠損が
生じない場合は、Ｒ音声選択手段１０では、判定手段９
においてＲ入力端子２に入力されたＲ音声データが欠損
なしと判断され、Ｒ入力端子２に入力されたＲ音声デー
タをＲ出力端子４から出力する。

【００４０】同様にＬ音声選択手段１１では、判定手段
９においてＬ入力端子３に入力されたＲ音声データが欠
損なしと判断され、Ｌ入力端子３に入力されたＬ音声デ
ータをＬ出力端子５から出力する。

【００４１】なお判定手段９における音声データの欠損
の有無の判断は、音声編集手段１に入力される以前に記
憶装置あるいは伝送装置などで検出された結果によっ
て、入力される音声データにフラグ情報などが挿入され
ていたり、特異なデータ系列となっていることで判断す
ることができる。

【００４２】また音声データに欠損が生じた場合に備え
て、音声データの欠損が生じない場合には、Ｒ音声デー
タとＬ音声データとの特徴量を音量とした差分につい
て、相関処理手段６において、Ｒ音声データを基準とし
たＬ音声データの音量変化の増減を音声差分データとし
て求める。ここで音声差分データは、所定の区間におけ
るそれぞれの差分量としてもよいし、複数の区間での変
化の平均あるいは時間軸で古い差分量は小さい係数を、
新しい差分量は大きい係数をかけて重み付けを行ったも
のを音声差分データとしてもよい。

【００４３】次にＲ音声データに欠損が生じた場合は、
Ｒ音声補間手段７において、欠損したＲ音声データと時
間が対応している区間のＬ音声データを用いて、あらか
じめ相関手段６において得られた音声差分データに応じ
てそのＬ音声データの音量を変化されてＲ音声補間デー
タを得る。なおここで音声差分データはＲ音声データを
基準としているため、Ｌ音声データを音声差分データに
応じて減少させることでＲ音声補間データが得られる。

【００４４】そしてＲ音声選択手段１０において、判定
手段９でＲ音声データが欠損したという判断結果にした
がって、Ｒ音声補間手段７から入力されるＲ音声補間デ
ータをＲ出力端子４から出力する。

【００４５】同様にＬ音声データに欠損が生じている場
合は、Ｌ音声補間手段８において、欠損したＬ音声デー
タと時間が対応している区間のＲ音声データの音量を、
あらかじめ相関手段６において得られた音声差分データ
に応じて変化させてＬ音声データを得る。なお音声差分
データはＲ音声データを基準としているためにＲ音声補
間手段７と異なり、Ｒ音声データに音声差分データを加
える処理により音声差分データに応じたＬ音声補間デー
タを得る。

【００４６】そしてＬ音声選択手段１１において、判定
手段９でＬ音声データが欠損した判断結果にしたがっ
て、Ｌ音声補間手段８から入力されるＬ音声補間データ
をＬ出力端子５から出力する。

【００４７】したがって本発明の第一の実施形態におけ
る音声編集装置を用いると、例えば音声伝送モデル図で
ある図３に示す環境下においては以下に示す動作とな
る。

【００４８】図３に示す音声録音環境モデル２１で音源
２２が曲線２３上を移動したときに、その音声を右側マ
イク２５と左側マイク２６とで収録する。

【００４９】そして右側マイク２５と左側マイク２６と
で集音した音をそれぞれ音声データ送信装置２７から伝
送路２８を通じて、図１の音声編集装置１を含む音声受
信装置２９に入力し、Ｒ出力端子４から出力するＲ音声
データと、Ｌ出力端子５から出力するＬ音声データとを
それぞれ図示しないＤ／Ａ変換装置や増幅器を通して、
音声再生環境モデル３０における右側スピーカ３１と左
側スピーカ３２とから出力し、試聴位置３３で試聴す
る。

【００５０】この時に右側マイク２５と左側マイク２６
に収録される収録音は、音量が左右同時に増減をしなが
ら、右側マイク２５の収録音の所定区間の平均値が徐々
に増加し、左側マイク２６の収録音の所定区間の平均値
が徐々に減少する。

【００５１】したがってそれぞれの収録音は、図４のよ
うに横軸が時間で、縦軸が音量を示す収録音の音量変化
図に示す音量変化となる。ここで波形４１は右側マイク
２５の収録音、波形４２は左側マイク２６の収録音を示
す。

【００５２】そして右側マイク２５の収録音が伝送情報
であるR音声データに変換されて音声受信装置２９に伝
送され、左側マイク２７の収録音が伝送情報であるL音
声データに変換されて音声受信装置２９に伝送される。

【００５３】ここでR音声データおよびL音声データが、
図５の伝送情報のタイムチャートに示すように、時刻ｔ
０から時刻ｔ１の間の区間４３におけるＲ音声データが
欠損している場合、その区間４３においてはＲ音声デー
タが音声受信装置２９には伝送されない。なお音声受信
装置２９においては音声データの欠損が、欠損がないこ
とを示すフラグ情報が音声データとともに欠損して伝送
されないことによって検出できるものとするが、その他
に音声データを特異なデータ系列とさせて検出すること
でもよい。

【００５４】音声受信装置２９では、右側スピーカ３１
と左側スピーカ３２に、図４と同様の音声を出力するこ
とが望まれるが、ここで時刻ｔ０から時刻ｔ１の間の区
間４３でＲ音声データが欠損しているので、時刻ｔ０以
前におけるＲ音声データの音量と、Ｌ音声データの音量
との差分に応じてＬ音声データを変換した音声補間デー
タを、時刻ｔ０から時刻ｔ１の間で右側スピーカ３１か
ら出力する。

【００５５】このときの音量変化を図６の再生音声の音
量変化図に示す。

【００５６】図６において、横軸は時間、縦軸は音量を
示し、右側スピーカ３１から出力される音声の音量変化
を波形４４で示し、左側スピーカ３１から出力される音
声の音量変化を波形４５で示し、Ｒ音声データとＬ音声
データとの音量の差である音声差分データを、区間４３
においては時刻ｔ０以前のＲ音声データとＬ音声データ
との音量の差を一次近似して求められている波形４６で
示している。

【００５７】特に区間４３ではＲ音声データが欠損した
が、時刻ｔ０以前の音声差分データの変化から、区間４
３における音声差分データが一次近似式などで簡単に得
られ、その区間４３における音声差分データとＬ音声デ
ータとからＲ音声データが求められので、波形４４に示
す音声データ（波形４５＋波形４６）が得られる。した
がって、波形４４に示すＲ音声データを右側スピーカ３
１から出力することによって、音量におけるＲ音声デー
タとＬ音声データとの相関性を、Ｒ音声データが欠損し
ている区間４３においても保たれるので、出力される音
声に違和感が生じない。

【００５８】以上のように、Ｒ音声データが欠損しない
区間におけるＬ音声データと比較したＲ音声データの変
化である音声差分データに応じて、Ｒ音声データの欠損
した部分をＬ音声データから得られるため、Ｒ音声デー
タが欠損した区間においても、Ｒ音声データとＬ音声デ
ータの相関性が保たれたＲ音声データが得られる。

【００５９】同様にＬ音声データが欠損した区間におい
ても、Ｒ音声データとＬ音声データの相関性が保たれた
Ｌ音声データが得られる。

【００６０】次に本発明の第２の実施形態について発明
する。

【００６１】図７は本発明の第２の実施形態における音
声編集装置のブロック図である。

【００６２】図７の音声編集装置１２は、音声データの
欠損がない区間においては図１の音声編集装置１と同様
に、判定手段９で欠損がないと判定された結果にしたが
って、Ｒ入力端子２に入力されたＲ音声データを、Ｒ音
声選択手段１０からＲ出力端子４に出力する。また判定
手段９で欠損がないと判定された結果にしたがって、Ｌ
入力端子３に入力されたＬ音声データを、Ｌ音声選択手
段１１からＬ出力端子５に出力する。

【００６３】また音声データに欠損がない区間において
も音声編集装置１と同様に、相関処理手段６で入力され
るＲ音声データとＬ音声データから音声差分データを求
める。

【００６４】そして音声編集装置１２では、音声編集装
置１と異なって、Ｒ音声補間手段１３では、欠損がない
区間におけるＲ音声データを元に、Ｒ音声データが欠損
された区間についてＲ音声相関データを求め、さらに求
められたＲ音声相関データが、同じ区間のＬ音声データ
と欠損がない区間での音声差分での音声差分データとか
ら、Ｌ音声データと相関性が保たれたＲ音声補間データ
を求めてＲ音声選択手段１０に入力する。そしてＲ音声
データに欠損がある区間においては、Ｒ音声補間手段１
３で得られたＲ音声補間データをＲ出力端子４から出力
する。

【００６５】Ｌ音声補間手段１４でも同様に欠損がない
区間のＬ音声データを元に、Ｌ音声データが欠損された
区間についてＬ音声相関データを求め、さらに求められ
たＬ音声相関データが、同じ区間にＲ音声データと欠損
がない区間での音声差分データとから、Ｒ音声データと
相関性が保たれたＬ音声補間データを求めてＬ音声選択
手段１１に入力する。そしてＬ音声データの欠損がある
区間においては、Ｌ音声補間手段１４で得られたＬ音声
補間データをＬ出力端子５から出力する。

【００６６】したがって音声データの欠損がある区間に
以前あるいは、以後、もしくは以前と以後に得られる音
声データから求めた音声相関データを、欠損がある区間
における他方の音声データとの相関性が保たれる音声補
間データとすることができる。

【００６７】なお相関処理手段９では、まず入力される
Ｒ音声データとＬ音声データを、それぞれ独立に周波数
帯域を制限する帯域制限手段で帯域制限し、その帯域制
限されたＲ音声データとＬ音声データとの相関値から音
声差分データを求め、求められた音声差分データを用い
てＲ音声補間手段７あるいはＲ音声補間手段１３でＲ音
声補間データを求め、Ｌ音声補間手段８あるいはＬ音声
補間手段１４でＬ音声補間データを求めてもよい。この
場合に、雑音などを除去された帯域や、適切な特徴量の
差が得られる帯域を選択することができ、例えば人が発
する声などでは１ｋＨｚ付近の帯域から得られる音量の
差分値を音声差分データとすることで、音声の特徴量の
差がよく得られ、欠損区間が生じても左右のステレオ音
声の違和感が少なくなる。

【００６８】図８は本発明の第３の実施形態における音
声編集装置のブロック図である。

【００６９】図８において、第一音声データを入力端子
８０１に第二音声データを入力端子８０２に入力する。

【００７０】そして入力端子８０１に入力した第一音声
データを帯域分割手段８０５に、入力端子８０２に入力
した第二音声データを帯域分割手段８０６に入力する。

【００７１】そして帯域分割手段８０５では、入力され
た音声データを高域成分と低域成分に分割して、高域成
分を高域用音声編集装置８０７に、低域成分を低域用音
声編集装置８０８に入力する。

【００７２】同様に、帯域分割手段８０６で帯域分割さ
れた高域成分を高域用音声編集装置８０７に、低域成分
を低域用音声編集装置８０８に入力する。

【００７３】ここで高域用音声編集装置８０７および低
域用音声編集装置８０８は、第１の実施形態における音
声編集装置１または第２の実施形態における音声編集装
置１２を、高域用および低域用に調整したものを用いる
ことができる。

【００７４】そして高域用音声編集装置８０７からは、
欠損部分が補間された第一音声データ及び第二音声デー
タの高域成分が出力される。

【００７５】同様に低域用音声編集装置８０８からは、
欠損部分が補間された第一音声データ及び第二音声デー
タの低域成分が出力される。

【００７６】帯域合成手段８０９は高域用音声編集装置
８０７から第一音声データの高域成分、低域用音声編集
装置８０８からは第一音声データの低域成分を入力とし
帯域合成を行い第一音声補間データとして出力する。

【００７７】また帯域合成手段８１０は高域用音声編集
装置８０７から第二音声データの高域成分、低域用音声
編集装置８０８からは第二音声データの低域成分を入力
とし帯域合成を行い第二音声補間データとして出力す
る。

【００７８】そして選択手段８１１で第一音声データか
第一音声補間データかを選択して、出力端子８０３に入
力する。

【００７９】同様に選択手段８１２では第二音声データ
か第二音声補間データかを選択して、出力端子８０４に
入力する。

【００８０】ここでは第一音声データと第二音声データ
をそれぞれ複数の帯域に分割して、同じ帯域の音声デー
タを比較することで、それぞれの帯域における音声差分
データが求められる。そして補間処理においても、同じ
帯域における音声差分データと第一音声データ（あるい
第二音声データ）とから第二音声補間データ（あるいは
第一音声データ）が得られる。

【００８１】したがって欠損した区間においては、分割
された複数の帯域における音声補間データを合成し、分
割前の帯域に戻した音声補間データとして出力すること
ができる。

【００８２】この場合には、特に周波数帯域毎に異なる
相関関係が生じていても、それぞれの帯域における相関
性を保った音声補間データを得ることができる。

【００８３】また音声差分データとしては音量の変化を
用いる以外に、ピッチ成分などの特性値を第一音声デー
タと第二音声データで比較したものを音声差分データと
し、欠損がある区間の音声データについて、同じ区間で
欠損がない他方の音声データに対し、欠損がない区間に
おけるそれら特性値を対応させて音声補間データを得る
ようにしてもよい。

【００８４】また入力音声データが２チャネルである以
外に、それ以上のチャネル数の音声データの相互の音声
差分データを用い、欠損した音声データ以外のそれぞれ
の音声データとの相関性を高めるようにしてもよい。

【００８５】また相関処理手段６において、あらかじめ
音声データ間に所定値以上の強い相関がある場合にの
み、上記の処理によって欠損された区間に音声補間デー
タを用い、音声データ間に相関が所定値より弱い場合に
は異なる処理としてもよい。

【００８６】また入力される各々のチャネルに音声デー
タに欠損に対する信頼性（欠損しにくくする設定）を情
報量、処理量、誤り訂正などによって異なるものとし、
一方の信頼性が高い音声データを用いて他方の音声デー
タのみ音声補間データを用いることで、音声データの全
体の情報量や処理量を削除するようにしてもよい。

【００８７】また一方の音声データが欠損した区間の前
における特徴量の変化だけでなく、あらかじめ記憶され
ている音声データを用いる場合に、欠損した区間の後の
特徴量の変化も考慮して音声差分データを求めてもよ
い。

【００８８】また同時に欠損しない複数の音声区間にお
ける平均化処理や欠損した区間に近いほど高い重み付け
処理を行った音声差分データを用いてもよい。

【００８９】また一方の音声データが欠損した区間にお
いて、音声差分データと他方の音声データに加えて、欠
損した音声データの欠損した区間の前や後から予測した
予測音声データも用いて音声補間データを求めてもよ
い。

【００９０】また特徴量は音量以外に、遅延時間や、ピ
ッチ周波数などの周波数差などを単独あるいは複合して
音声補間データを求めてもよい。

【００９１】

【発明の効果】したがって本発明によれば、複数の音声
データを入力データとする音声編集装置において、一方
の音声データの欠損した区間における音声補間データと
して、同じ区間における他方の欠損していない音声デー
タと相関性が保たれた音声データを用いることができ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施形態における音声編集装置
のブロック図

【図２】本発明の第１の実施形態における音声処理のフ
ローチャート

【図３】音声伝送モデル図

【図４】収録音の音量変化図

【図５】伝送情報のタイムチャート

【図６】再生音声の音量変化図

【図７】本発明の第２の実施形態における音声編集装置
のブロック図

【図８】本発明の第３の実施形態における音声編集装置
のブロック図

【符号の説明】

１ 音声編集装置 ６ 相関処理手段 ７ Ｒ音声補間手段 ８ Ｌ音声補間手段 ９ 判定手段 １０ Ｒ音声選択手段 １１ Ｌ音声選択手段 １２ 音声編集装置 １３ Ｒ音声補間手段 １４ Ｌ音声補間手段 ８０５ 帯域分割手段 ８０６ 帯域分割手段 ８０７ 高域用音声編集装置 ８０８ 低域用音声編集装置 ８０９ 帯域合成手段 ８１０ 帯域合成手段 ８１１ 選択手段 ８１２ 選択手段 ８１３ 音声編集装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小野 学 神奈川県横浜市港北区綱島東四丁目３番１ 号 松下通信工業株式会社内 Ｆターム(参考） 5J064 AA01 BB01 BB04 BB12 BC14 BC18 BC21 BC25 BC27 BD01 9A001 BB02 EE05 GG05 HH15 HH34 JJ71 KK43

Claims (8)

【特許請求の範囲】
1. 【請求項１】 第一音声データの欠損区間を検出する第
   一欠損区間検出手段と、前記第一欠損区間検出手段によ
   り第一音声欠損区間でないと検出された第一音声データ
   第二音声データから、前記第一音声欠損区間における第
   一音声補間データを求める音声補間手段と、前記第一音
   声データと前記第一音声補間データとを選択して出力す
   る第一音声出力手段とを備え、前記第一音声欠損区間で
   は前記第一音声補間データが選択して出力されることを
   特徴とする音声処理装置。
2. 【請求項２】 第一音声データの特徴量と第二音声デー
   タの特徴量の差をパラメータとして音声差分データを求
   める音声差分データ作成手段と、前記第一音声データが
   欠損した区間である第一音声欠損区間を検出する第一欠
   損区間検出手段と、前記第二音声データと前記音声差分
   データとをパラメータとして第一音声補間データを求め
   る音声補間手段と、前記第一音声データと前記第一音声
   補間データとを選択して出力する第一音声出力手段とを
   備え、前記第一音声欠損区間では、前記第一音声補間デ
   ータが選択して出力されることを特徴とする音声処理装
   置。
3. 【請求項３】 前記特徴量が少なくとも音量であること
   を特徴とする請求項２に記載の音声処理装置。
4. 【請求項４】 前記特徴量が少なくとも遅延時間である
   ことを特徴とする請求項２または３に記載の音声処理装
   置。
5. 【請求項５】 前記音声差分データ作成手段が、前記第
   一音声データの周波数帯域を制限する第一帯域制限手段
   と、前記第二音声データの周波数帯域を前記第一帯域制
   限手段と同じ周波数帯域に制限する第二帯域制限手段と
   を備え、前記制限した周波数帯域における特徴量の差か
   ら前記音声差分データを求めることを特徴とする請求項
   ２ないし４のいずれかに記載の音声処理装置。
6. 【請求項６】 前記第一帯域制限手段が周波数帯域を複
   数の周波数帯域に分割し、前記第二帯域制限手段が前記
   第一帯域制限手段と同じ複数の周波数帯域に分割し、前
   記音声差分データ作成手段が前記分割された周波数帯域
   毎の前記第一音声データの特徴量と前記第二音声データ
   の特徴量の差から求められる複数の特徴量の差を前記音
   声差分データとし前記音声補間手段が前記分割された周
   波数帯域毎の前記第二音声データと、前記音声差分デー
   タとから得られる補間データを前記分割された複数の周
   波数帯域で合成して前記第一音声補間データを求めるこ
   とを特徴とする請求項５に記載の音声処理装置。
7. 【請求項７】 前記第二音声データが欠損した区間であ
   る第二音声欠損区間を検出する第二欠損区間検出手段を
   さらに備え、前記第一欠損区間検出手段で第一音声デー
   タが欠損せず、かつ前記第二欠損区間検出手段で前記第
   二音声データが欠損されないと、前記音声差分データ作
   成手段が前記第一音声データと前記第二音声データが存
   在する複数の各音声存在区間における前記特徴量の差を
   パラメータとして前記音声差分データを求めることを特
   徴とする請求項２ないし６のいずれかに記載の音声処理
   装置。
8. 【請求項８】 第一音声データの特徴量と第二音声デー
   タの特徴量の差をパラメータとして音声差分データを求
   める音声差分データ作成手段と、前記第二音声データと
   前記音声差分データとをパラメータとして第一音声補間
   データを求める音声補間手段とを備え、前記第一音声デ
   ータが欠損した第一音声欠損区間において、第一音声欠
   損区間以外における音声差分データと、第一音声欠損区
   間と同じ区間の第二音声データとをパラメータとして得
   られる第一音声補間データを、前記第一音声データに変
   えて出力することを特徴とする音声処理方法。