JP2008033269A - デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置 - Google Patents

デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置 Download PDF

Info

Publication number
JP2008033269A
JP2008033269A JP2007145619A JP2007145619A JP2008033269A JP 2008033269 A JP2008033269 A JP 2008033269A JP 2007145619 A JP2007145619 A JP 2007145619A JP 2007145619 A JP2007145619 A JP 2007145619A JP 2008033269 A JP2008033269 A JP 2008033269A
Authority
JP
Japan
Prior art keywords
signal
digital signal
removal
processing
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2007145619A
Other languages
English (en)
Inventor
Yukiko Unno
由紀子 海野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007145619A priority Critical patent/JP2008033269A/ja
Priority to US11/765,892 priority patent/US7466245B2/en
Priority to KR1020070062888A priority patent/KR20070122414A/ko
Priority to DE102007029381A priority patent/DE102007029381A1/de
Publication of JP2008033269A publication Critical patent/JP2008033269A/ja
Abandoned legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】信号変換処理により除去あるいは抑圧された部分を含んでいる場合であっても、より品質を向上させたデジタル信号を復元できるようにする。
【解決手段】信号変換処理(圧縮符号化処理)されたデジタル信号(デジタル音声(オーディオ)信号)について、予測生成処理部141において、除去あるいは抑圧された可能性のある部分を検出し、その部分のデータを予測して生成し、その生成したデータが論理的に正しいと判断した場合に、その生成したデータを補間データとして採用するようにする一連の処理の後に、高域追加処理部142において、補間データによって補間されたデジタル信号を用いて、高域側のデジタル信号を復元する。
【選択図】図1

Description

この発明は、例えば、周波数相関符号化等の不可逆圧縮方式が用いられて圧縮符号化されたデジタル音声(オーディオ)信号などの、信号変換処理されたデジタル信号を処理する装置、方法、再生する装置に関する。
音声信号(オーディオ信号)の圧縮処理は、「量子化(PCM(Pulse Code Modulation)信号)」、音声信号の時間的連続性を用いた「時間相関符号化」、人間の聴覚特性を用いた「周波数相関符号化」、これらの符号化から得られた符号の発生確率の偏りを用いた「エントロピー符号化」を組み合わせることで実現する。
これらの圧縮手法は、MPEG(Moving Picture Expert Group)方式、ATRAC(Adaptive Transform Acoustic Coding(登録商標))方式、AC−3(Audio Code Number 3(登録商標))方式、WMA(Windows Media Audio(登録商標))方式などで規格化され、その符号化音声信号は、現在、デジタル放送、ネットワークオーディオプレーヤー、携帯電話、Webストリーミングなど広範囲で使用されている。
圧縮処理の中でも、「周波数相関符号化」は、圧縮率や音質に大きな影響を与える符号化処理である。「周波数相関符号化」とは、量子化されたPCM信号を、時間領域から周波数領域に直交変換し、周波数領域における信号エネルギーの偏差を求め、この偏差を用いて符号化することで符号化効率を高めるようにしている。
また、「周波数相関符号化」においては、直交変換後の信号に対して、心理聴覚特性を用いて、周波数帯域をいくつかの帯域に分け、より人間に知覚されやすい帯域の信号劣化を最小とするように、ある種の重み付けを行って量子化することにより、全体的な符号化品質を改善することができるようにしている。
ここで、心理聴覚特性を用いた符号化は、絶対可聴閾値と、マスキング効果で定まる相対可聴閾値を用いて、補正可聴閾値を求める。この補正可聴閾値に基づいて、分割された帯域ごとに符号化を行う。補正可聴閾値以下の音圧を持つ周波数成分に関しては、人間は知覚できない音として、符号化の際にカット、除去または抑圧される。また、絶対可聴閾値は高周波数帯域(以下、高域)でその振幅値が上昇するため、低周波数帯域(以下、低域)に比べて高域の周波数成分はより多くカットあるいは抑圧されてしまうことになる。
この心理聴覚特性を用いた音声信号の圧縮方法はMPEG方式で積極的に取り入られている。音声信号の符号化は各エンコーダーメーカーの技術力により、その傾向が決められるものではあるが、MPEG方式が採用されているデジタル放送の音声信号においては、上述した符号化処理により、ある周波数を境にそれ以降の高域信号が全てカットや抑圧されたり、可聴帯域内においても、ある分割帯域の信号が全てカットや抑圧されてしまうといった現状も確認されている。特に、音声信号を低ビットレートで圧縮する場合、符号化に使用できるビット数が少ないため、上述した方法により多くの信号がカットされてしまう。
このような圧縮符号化における信号劣化により、音質が低下する問題を解決するための先行技術はいくつか存在する。例えば、特許文献1(「信号補間装置、信号補間方法及び記録媒体」(特開2002−171588号公報))には、既存の音声信号(被補間信号)を使って高域成分を補間する方法についての技術が開示されている。
具体的には、被補間信号のうち第1の帯域内の成分を可変BPF(Band Pass Filter)で抽出し、これに可変周波数発振器からの局部発振信号を混合することによって、被補間信号が占める帯域よりも高周波側の第2の帯域の補間信号を形成し、この補間信号と被補間信号との和信号を出力信号とするものである。
また、特許文献2「周波数補間装置、周波数補間方法及び記録媒体」(特開2001−356788号公報))には、次のようにして、原信号の帯域を制限した信号を用いて得られる変調波から原信号に近い信号を復元する技術が開示されている。具体的には、PCM信号をアナライザによりスペクトルへ変換し、周波数補間処理部により、このスペクトルを数等分して得られる帯域のうち周波数が最高の帯域を含む基準バンドとその他の帯域との組み合わせのうち、一方を規格化した場合に最もスペクトル分布の相関が高い組み合わせを特定する。
そして、補間バンド加算部により、PCM信号の包絡線を推定し、周波数補間処理部が特定した組み合わせに含まれる基準バンド内のスペクトル分布と同じ分布のスペクトルを、包絡線の関数に沿うようにスケーリングして、基準バンドより高周波側に加算し、このスペクトルを与える信号をシンセサイザにより生成することにより、原信号に近い信号を復元するものである。
また、特許文献3「周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体」(特開2002−073096号公報))には、符号化時において、欠落した信号の情報を予め記録しておき、復号時にそれを用いて音質を保ちながら復号する方法についての技術が開示されている。
これら特許文献1、特許文献2、特許文献3に記載の技術は、圧縮符号化における信号劣化により、音質が低下する問題を解決するための技術として有効なものである。なお、上述した特許文献1、特許文献2、特許文献3のそれぞれは以下の通りである。
特開2002−171588号公報 特開2001−356788号公報 特開2002−073096号公報
しかしながら、上述した特許文献1(特開2002−171588号公報)や特許文献2(特開2001−356788号公報)に開示されている技術の場合、例えば、図13Aにおいて、点線で示すように、圧縮符号化されて形成されたデジタル音声信号であって、復号処理の対象となる(元になる)既存の低中域の音楽信号自体がある箇所でカットあるいは抑圧されている場合、そのカットあるいは抑圧された状態の音声信号を使って高域信号を作成しても、結局図13Bに示すように、作成された高域信号は点線で示すようにカットあるいは抑圧された部分が含まれてしまうので充分なものとは言えない。
また、上述した特許文献3(特開2002−073096号公報)に開示されている技術の場合には、符号器と復号器とに共通のアルゴリズムが必要である。したがって、符号化処理と復号化処理とを、同じ機器において行うようにするなどの制約が生じ、汎用的な使用には適さないと考えられる。
以上のことにかんがみ、この発明は、上記問題点を一掃し、圧縮符号化されたデジタル音声信号が、圧縮符号化処理によりカット(除去)された部分を含んでいる場合であっても、当該カットされた部分の影響を最小限に抑え、より音質を向上させたデジタル音声信号を復元できるようにすることを目的とする。
上記課題を解決するため、請求項1に記載の発明のデジタル信号処理装置は、
信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用するようにする判別手段と
を備えることを特徴とする。
この請求項1に記載の発明のデジタル信号処理装置によれば、検出手段により、処理対象の信号変換処理されて形成されたデジタル信号に含まれる当該信号変換処理により除去(カット)された可能性のある部分が検出され、この除去された可能性のある部分のデジタル信号が、予測手段により、当該除去された可能性のある部分と相関があると推定される部分のデジタル信号部分が用いられて予測される。
この後、予測手段により予測されたデジタル信号の絶対値が、当該除去部分の分解能以下か否かによって、補間データとして採用するか否かが判別手段によって判別される。すなわち、予測されたデジタル信号が分解能以上であれば、本来除去されるべきデータではないので、予測は失敗したと判別して補間データとして用いないようにし、予測されたデジタル信号が分解能以下であれば、除去されたデジタル信号である可能性が高いので、当該予測されたデジタル信号を補間データとして採用するようにされる。
これにより、信号変換処理により、除去された可能性のあるデジタル信号を予測し、その中でも除去された可能性の高い予測したデジタル信号のみを補間データとして採用するようにして、信号変換処理されて形成されたデジタル信号の復元処理を行うことができるようにされる。したがって、信号変換処理されたデジタル信号が、当該信号変換処理により除去された部分を含んでいる場合であっても、当該除去された部分の影響を最小限に抑え、より品質を向上させたデジタル信号を復元できるようにされる。
また、請求項2に記載の発明のデジタル信号処理装置は、請求項1に記載のデジタル信号処理装置であって、
前記予測手段は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とする。
この請求項2に記載の発明のデジタル信号処理装置によれば、予測手段により、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、圧縮符号化処理によりデータが除去された可能性のある部分の除去前のデータが予測される。
これにより、信号変換処理されて得られた復調周波数帯域の既存のデジタル信号において、データが除去された可能性のある部分のデジタル信号を復元することができるようにされる。したがって、信号変換処理されることにより形成されたデジタル信号が、当該信号変換処理により除去された部分を含んでいる場合であっても、除去された可能性のあるデータを適切に予測して補間データとして用いることができるようにすることによって、当該除去された部分の影響を最小限に抑え、より品質を向上させたデジタル信号が復元できるようにされる。
また、請求項3に記載の発明のデジタル信号処理装置は、請求項2に記載のデジタル信号処理装置であって、
前記予測手段で予測された前記除去部分の除去前のデータのうち、前記判別手段によって採用されたデータによって補間されたのち信号変換処理されて形成された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備えることを特徴とする。
この請求項3に記載の発明のデジタル信号処理装置によれば、予測手段によって信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて予測され、判別手段によって補間データとして採用された除去前のデータが含められた復調周波数帯域の信号変換処理により形成されたデジタル信号から、追加手段によって信号変換処理により除去された高域の周波数成分が復元されると共に、これが処理対象のデジタル信号に追加される。
これにより、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に加えて、信号変換処理されて形成された当該復調周波数帯域の既存のデジタル信号において、信号変換処理時に除去された部分のデジタル信号をも考慮し、信号変換処理時に除去された例えば高域のデジタル信号を復元し、信号変換処理されたデジタル信号の品質を向上させるようにすることができるようにされる。
また、請求項4に記載の発明のデジタル信号処理装置は、請求項1に記載のデジタル信号処理装置であって、
信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備え、
前記検出手段は、前記追加手段によって、前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とする。
この請求項4に記載の発明のデジタル信号処理装置によれば、まず、追加手段により、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、信号変換処理時において除去された高域の周波数成分が復元されて追加されることにより、高域、中域、低域の全帯域の圧縮符号化された状態のデジタル信号が形成される。
この形成された信号変換処理された状態の全帯域のデジタル信号から、信号変換処理時に除去された可能性のある部分が検出され、その部分の除去前のデータが予測手段によって予測され、この予測されたデータのうち、判別手段によって採用されたデータが補間データとして用いられた信号変換処理された状態のデジタル信号が供給される。
これにより、信号変換処理されて形成された中低域の復調周波数帯域の既存のデジタル信号に加えて、高域のデジタル信号を追加し、これにより、高域、中域、低域の全帯域を対象として、除去された可能性のあるデジタル信号を復元することができるので、信号変換処理されて形成されたデジタル信号を高品位に復元することができるようにされる。
この発明によれば、信号変換処理されることにより、除去(カット)された部分を含むデジタル信号であっても、信号変換処理により除去された信号部分を予測生成し、補間データとして用いることができるようにすることによって、信号変換処理されたデジタル信号を高品位に復元し、これを利用することができる。
また、信号変換処理されたデジタル信号について、信号変換処理時に除去(カット)された部分を別途記憶保持するなどの必要も無く、信号変換処理されたデジタル信号を処理する汎用性の高い装置、方法、プログラムを実現することができる。
より具体的には、例えば、圧縮符号化されることにより、除去(カット)された部分を含むデジタル音声信号であっても、圧縮符号化により除去された部分のデータを予測生成し、補間データとして用いることができるようにすることによって、圧縮符号されたデジタル音声信号による再生音声の音質を向上させるようにすることができる。
また、圧縮符号化されたデジタル音声信号について、圧縮符号化時に除去(カット)された部分を別途記憶保持するなどの必要も無く、圧縮符号化されたデジタル音声信号を処理する汎用性の高い装置、方法、プログラムを実現することができる。
以下、図を参照しながら、この発明による装置、方法、プログラムの一実施の形態について説明する。以下に説明する実施の形態においては、説明を簡単にするため、MPEG−2 AAC(Moving Picture Expert Group-2 Advanced Audio Coding)と呼ばれるISO/IEC13818−7規格の符号化方式が用いられて符号化された音声信号(符号化音声信号)を復号処理する場合を例にして説明することとする。
すなわち、以下に説明する実施の形態においては、MPEG−2 AAC方式の圧縮符号化処理が、信号変換処理に相当し、MPEG−2 AAC方式の圧縮符号化処理により形成された符号化音声信号が、信号変換処理された状態のデジタル信号に相当するものである。
なお、以下においては、MPEG−2 AACを、単にAACと呼ぶこととする。また、上記のISOは、国際標準化機構(International Organization for Standardization)の略称であり、IECは、国際電気標準会議(International Electrotechnical Commission)の略称である。
[AAC方式の符号化処理の概要]
AAC方式で符号化された符号化音声信号の復号処理の説明を簡単にするために、まず、AAC方式の符号化処理の概要について説明する。AAC方式の音声符号化は、いわゆる不可逆圧縮であり、心理聴覚(psycho acoustics)に基づいて、人が聴覚できない音の領域はデータ化しないことで、圧縮効果を高めているものである。AAC方式の符号化によると、例えば2チャンネルステレオ音声の場合、96キロビット/秒程度の伝送量でもCD(Compact Disc)なみの音質が得られ、約1/15(15分の1)の圧縮率が得られるものである。
そして、AAC方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、(1)ゲイン調整処理→(2)適応ブロック長切換MDCT処理→(3)TNS処理→(4)インテンシティ・ステレオ符号化処理→(5)予測処理→(6)M/Sステレオ処理→(7)スケーリング処理を行った後に、(8)量子化処理と(9)ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより符号化音声信号(AACビットストリーム)を形成する。
具体的な処理内容の概要を示せば以下のようになる。入力された符号化処理前の音声信号は、ゲイン調整され、所定のサンプル数毎にブロック化されて、それを1フレームとして処理される。まず、入力フレームを心理聴覚分析部においてFFT(Fast Fourier Transform)して周波数スペクトルを求め、それを元に聴覚のマスキングを計算し、予め設定された周波数帯域毎の許容量子化雑音電力と、そのフレームに対する心理聴覚エントロピー(PE:Perceptual Entropy)と呼ぶパラメータを求める。
心理聴覚エントロピーは、聴取者が雑音を知覚することがないように、そのフレームを量子化するのに必要な総ビット数に相当する。また、心理エントロピーは、音声信号のアタック部のように信号レベルが急激に増大するところで大きな値を取るという特性がある。そこで、心理エントロピーの値の急変部を元にしてMDCT(Modified Discrete Cosine Transform)の変換ブロック長を決定している。
MDCT処理は、心理聴覚分析部で決定されたブロック長で入力された音声信号を周波数スペクトル(以下、MDCT係数という。)に変換する。変換ブロック長を、入力信号に応じて適応的に切り換える処理(適応ブロック切り換え)は、プリエコーと呼ばれる聴覚的に有害な雑音を抑制するために必要な処理である。
MDCT処理によって形成されたMDCT係数は、TNS(Temporal Noise Shaping)処理される。TNS処理は、MDCT係数を時間軸上の信号であるかのように見たたて、線形予測を行い、MDCT係数に対して予測フィルタリングを行うものである。この処理により、復号側で逆MDCTして得られる波形に含まれる量子化雑音は、信号レベルの大きなところに集まるようになる。
そして、TNS処理されたMDCT係数に対しては、インテンシティ・ステレオ符号化、すなわち、高い周波数領域の音は左チャンネル(Lチャンネル)と右チャンネル(Rチャンネル)を合わせた1つのカップリングチャンネルしか伝送しないようにするための処理が施される。
インテンシティ・ステレオ符号化されたMDCT係数は、MDCT係数1本毎に、過去2フレームにおける量子化されたMDCT係数から現在のMDCT係数の値を予測し、その予測残差を求める。予測処理されたMDCT係数は、M/Sステレオ処理、すなわち、左右チャンネルの和信号(M=L+R)と差信号(S=L−R)を伝送するか、左右チャンネルのそれぞれ(LチャンネルとRチャンネルとのそれぞれ)を伝送するようにするかを決定し、決定したように処理される。
M/Sステレオ処理されたMDCT係数は、予め設定された周波数帯域毎の複数本でグループ化されて(スケーリングされ)、これを単位として量子化が行われる。これらMDCT係数のグループをスケールファクタバンドと呼んでいる。スケールファクタバンドは、聴覚の特性に合わせて低域側では狭く、高域側では広くなるように設定されている。
量子化処理では、心理聴覚部で求めたスケールファクタバンド毎の許容量子化雑音電力を下回ることを目標に量子化を行う。量子化されたMDCT係数は、さらにハフマン符号化が施されて冗長度が削減される。この量子化、ハフマン符号化の処理は反復ループで行われ、実際に生成される符号量がフレームに割り当てられたビット数を下回るまで繰り返される。
このように、AAC方式の音声信号の符号化方式は、心理聴覚分析の結果に基づいて、(1)ゲイン調整処理→(2)適応ブロック長切換MDCT処理→(3)TNS処理→(4)インテンシティ・ステレオ符号化処理→(5)予測処理→(6)M/Sステレオ処理→(7)スケーリング処理を行った後に、(8)量子化処理と(9)ハフマン符号化処理を割り当てられたビット数を下回るまで反復して、符号化された音声データを形成し、これに処理過程において付すべき種々の係数等が付加されることにより、符号化音声信号(AACビットストリーム)を形成するようにしている。
なお、上述したAAC方式の音声符号化処理については、例えば、デジタルテレビ技術入門、高田豊、浅見聡著、米田出版、112頁〜124頁等の種々の文献、あるいは、Webページなどにおいても詳細に説明されている。
また、ゲイン調整処理、TNS処理、インテンシティ・ステレオ符号化処理、予測処理、M/Sステレオ処理は、オプション処理であり、AAC符号化全工程で行うものではない。すなわち、ゲイン調整処理、TNS処理、インテンシティ・ステレオ符号化処理、予測処理、M/Sステレオ処理は、オプション処理が選択された場合にのみ行われる処理である。以下に説明する実施の形態においては、上述したオプション処理が行うようにされて圧縮符号化された符号化音声信号を処理する場合を例にして説明することとする。
[圧縮符号化されたデジタル音声信号の処理装置について]
次に、この発明による装置、方法、プログラムの一実施の形態が適用されたデジタル信号処理装置(以下、単に処理装置という。)について説明する。上述したように、この実施の形態の処理装置は、AAC方式で符号化された音声信号を復号処理するものである。
そして、以下に詳述する実施の形態の処理装置は、圧縮符号化することにより形成したデジタル音声信号において、圧縮符号化により除去、カット、または抑圧された信号(欠落した信号)を予測して生成し、これを追加することにより、当該圧縮符号化されたデジタル音声信号による音声の音質を向上させるようにするものである。以下においては、処理の順序が異なる2つの実施の形態(第1、第2の実施の形態)のそれぞれについた説明する。
なお、以下に説明する第1、第2の実施の形態の処理装置は、いずれの場合も、例えば、据え置き型や携帯型の音声(オーディオ)記録再生装置、あるいは、据え置き型や携帯型の音声(オーディオ)再生装置等に適用されるものである。具体的には、ハードディスクを記録媒体として用いるハードディスクプレーヤや半導体メモリを記録媒体として用いるメモリプレーヤ、MD(Mini Disc(登録商標)などの光磁気ディスクやDVDなどの光ディスクを記録媒体として用いる記録再生装置や再生装置、パーソナルコンピュータなど、圧縮符号化されたデジタル音声信号を処理する種々の電子機器に適用可能なものである。
また、以下に説明する第1、第2の実施の形態において、AAC方式で符号化されて形成された符号化音声信号(デジタル音声信号)は、48kHzサンプリングPCM信号を、MPEG−2 AAC LCプロファイルのビットレート128kbpsで符号化(圧縮)された2ch(2チャンネル)の音声信号であるものとして説明する。
[第1の実施の形態]
圧縮符号化されたデジタル音声信号は、高域側の音声信号がカットあるいは抑圧されているだけでなく、中低域(中域と低域)のデジタル音声信号中にも除去、カット、または抑圧された部分が存在する可能性がある。このため、以下に説明する第1の実施の形態の処理装置においては、圧縮符号化されて形成された中低域の既存のデジタル音声信号から、まず、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、その検出した部分と相関のある部分、具体的には、その検出した部分の前後のフレームのデジタル音声データから予測器、近似式、補間多項式などを用いて、カットされた可能性のある部分の音声データ(欠落信号)を予測して生成する(復元する)。
そして、その予測して生成した音声データが、カットあるいは抑圧された可能性のある部分として検出した部分を含むフレーム内の前後の音声信号がもつ分解能などの情報と比較して妥当なものである場合には、生成した音声データをカットあるいは抑圧された可能性のある箇所に追加する。こうして中低域の欠落箇所に、妥当な音声信号を追加する。そして、既存の音声信号及び予測して生成し追加した音声データ(欠落信号)を用いて、高域信号を復元する。
このように、この第1の実施の形態の処理装置は、中低域のデジタル音声信号のカットあるいは抑圧された可能性のある部分の音声データの予測と生成を行い、この生成した音声データを含めた中低域のデジタル音声データを用いた高域の音声データの生成と追加とを行うものである。以下、この第1の実施の形態の処理装置について詳細に説明する。
図1は、この第1の実施の形態の処理装置を説明するためのブロック図である。この第1の実施の形態の処理装置は、AAC方式で符号化されて形成された符号化音声信号の復号処理を行う部分であり、図1に示したように、大きく分けると、フォーマット解析部11と、逆量子化処理部12と、ステレオ処理部13と、欠落信号復元部14と、適応ブロック長切換逆MDCT部15と、ゲイン制御部16とからなっている。
逆量子化処理部12は、図1に示したように、ハフマン復号化部121と、逆量子化部122と、リスケーリング部123とを備えている。また、ステレオ処理部13は、図示しないが、M/Sステレオ処理部、予測処理部、インテンシティ・ステレオ処理部、TNS部などからなる部分である。また、欠落信号復元部14は、図1に示したように、予測生成処理部141と、高域追加処理部142とを備えている。
そして、復号化対象の符号化音声信号(ビットストリーム)は、フォーマット解析部11に供給される。フォーマット解析部11は、これに供給された符号化音声信号を、MDCT係数と、それ以外のパラメータや制御情報とに分離し、MDCT係数は、逆量子化処理部12のハフマン復号化部121に供給する。
また、フォーマット解析部11は、符号化音声信号のビットストリームから抽出したパラメータや制御情報に基づいて、各部に対する制御信号を形成し、これを図1において点線矢印で示すように、この第1の実施の形態の処理装置を構成する各部に対して供給することによって、各部における処理を制御する。
そして、上述したAAC符号化時の処理とは言わば逆となる処理を行うことによって、符号化音声信号の復号処理を行う。具体的には、上述もしたように、フォーマット解析部11において分離されたMDCT係数は、逆量子化処理部12のハフマン復号化部121に供給されるので、まず、ハフマン復号化部121でハフマン復号処理を行い、次に逆量子化部122において逆量子化処理を行った後、リスケーリング部123においてリスケーリング処理を行って、量子化前のMDCT係数を復元する。
そして、量子化前の状態に復元されたMDCT係数は、ステレオ処理部13に供給される。ステレオ処理部13は、図示しないが、上述もしたように、M/Sステレオ処理部、予測処理部、インテンシティ・ステレオ処理部、TNS部などの部分を備えている。そして、M/Sステレオ処理部により、左チャンネル(Lch)と右チャンネル(Rch)のMDCT係数が復元され、予測処理部の予測処理により、データ圧縮前のMDCT係数に復元される。
データ圧縮前の状態に復元されたMDCT係数は、さらに、インテンシティ・ステレオ処理部により、インテンシティ・ステレオ復号化処理が施されて、高い周波数領域の音についても、左右のそれぞれのチャンネルのMDCT係数に分配され、さらに、TNS部により、予測フィルタリングがはずすようにされ、符号化時においてMDCT処理された直後のMDCT係数が復元される。
そして、ステレオ処理部13からのMDCT係数は、欠落信号復元部14の予測生成処理部141に供給される。図2は、この実施の形態の欠落信号復元部14において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、MDCT係数の状態を示した図である。
欠落信号復元部14の予測信号生成処理部141に供給されるMDCT係数は、図2Aに示すように、圧縮符号化処理により形成された中低域のものであり、高域成分がカットあるいは抑圧されると共に、図2Aにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットあるいは抑圧されているものである。
このため、予測生成処理部141は、詳しくは後述もするが、これに供給されるMDCT係数に基づいて、圧縮符号化時においてカットあるいは抑圧された可能性のあるMDCT係数部分を検出する。具体的には、値がゼロであるMDCT係数部分を検出する。そして、当該MDCT係数部分を含むフレームの前後のフレームにおける対応するMDCT係数に基づいて、カットあるいは抑圧されたであろうMDCT係数の値を予測して求める。この処理が、カットあるいは抑圧されたであろう音声データの予測と生成処理に該当する。
そして、予測生成処理部141は、予測して生成したMDCT係数が、値がゼロであったMDCT係数部分の分解能よりも小さければ、当該予測して生成したMDCT係数を補間データとして採用し、当該分解能よりも大きい場合には、そのような値のMDCT係数がカットあるいは抑圧されるのは本来的におかしいので、予測が失敗したと判断し、当該予測して生成したMDCT係数は採用しないようにする。
このようにして、カットあるいは抑圧された可能性のあるMDCT係数を予測して生成し、この予測して生成したMDCT係数が分解能以下である場合には、これを補間データとして用いることによって、図2Bに示すように、分解能以下であるためにカットあるいは抑圧された部分のMDCT係数が補間された中低域のMDCT係数(変調周波数帯域のMDCT係数(音声データ))を形成することができる。
このように、カットあるいは抑圧された可能性のあるMDCT係数が補間された中低域のMDCT係数は、欠落信号復元部14の高域追加処理部142に供給される。高域追加処理部142では、例えば、図2Bに示した中低域のMDCT係数のうち、図2Aにおいて範囲aで示した部分のMDCT係数を用いて、圧縮符号化時にカットされた高域側のMDCT係数を復元する。
図2Aにおいては、範囲aには点線で示した符号化時にカットあるいは抑圧された可能性のある部分が存在していたが、図2Bに示すように、範囲aの符号化時にカットあるいは抑圧された可能性のある部分は、予測生成処理部141の機能により補間されている。このため、範囲aのMDCT係数を用いて、圧縮符号化処理によりカットあるいは抑圧された高域側のMDCT係数を復元するようにすると、図12を用いて上述した場合のように、カットされた可能性のあるMDCT係数部分をそのまま残すことなく、図2Cにおいて、範囲b、範囲cに示すように、カットあるいは抑圧された高域のMDCT係数を信頼性高く復元することができるようにしている。
この後、図2Cに示したように、高域が復元されたMDCT係数は、高域追加処理部142から適応ブロック長切換逆MDCT部15に供給される。適応ブロック長切換逆MDCT部15は、これに供給されたMDCT係数(周波数領域の音声信号)を逆MDCT処理することにより、時間軸領域の音声信号に変換し、これをゲイン制御部16に供給して、ゲイン調整することにより、符号化前の元の時間軸領域の音声信号(時間音声信号)を復元して出力する。すなわち、適応ブロック長切換逆MDCT部15に供給される符号化音声信号は、周波数領域の音声信号であり、適応ブロック長切換逆MDCT部15から出力される音声信号は、時間軸領域の音声信号、すなわち時間音声信号となる。
このように、この第1の実施の形態の処理装置においては、まず、中低域の符号化音声信号のカットあるいは抑圧された可能性のある部分の検出と、その部分の音声データの予測と生成を行い、この生成した音声データを含めた中低域の符号化音声信号(デジタル音声信号)を用いて高域の音声データの生成と追加とを行うことによって、符号化音声信号(圧縮符号化されたデジタル音声信号)から、圧縮符号化前の高品位のデジタル音声信号を復元することができるようにしている。
そして、圧縮符号化前の状態に復元されたデジタル音声信号を再生するようにした場合には、従来の方式を用いて復元したデジタル音声信号を再生した場合よりも、圧縮符号化によりカットされた(欠落した)部分を少なくすることができるので、音質のよい音声を再生することができる。
[予測生成処理部141での処理の詳細]
次に、この第1の実施の形態の処理装置の欠落信号復元部14の予測生成処理部141で行われる処理の詳細について、図3〜図6を用いて説明する。この第1の実施の形態の処理装置においては、圧縮符号化することによりカットされた可能性のある信号(欠落信号)の予測方法として、最小二乗法を使って近似式を作成する予測方法を用いる。
上述もしたように、用いている圧縮符号化方式は、MPEG2−AAC方式であり、1024サンプルを1フレームとして直交変換し、MDCT係数1024個を得る。そのMDCT係数を1フレーム単位で圧縮した信号がAACの符号化信号となる。MDCT係数は周波数領域の信号として扱われ、1フレームに1024個あるMDCT係数の0番目から1023番目は、周波数領域0Hzから24Hz(48kHzサンプリングの音声信号を用いているため)における音声信号に対応しており、縦軸は振幅である。
例えば、MDCT係数の100番目の係数値は、24000Hz/1024×100=2343.75Hzにおける音声信号を表す。MDCT係数の分布が周波数領域を表現していることから、前後のフレーム間、また、1フレーム内の前後のMDCT係数間にはそれぞれ相関関係が生じる。
ここでは、説明を簡単にするため、ある音楽の音声データをAAC方式で圧縮符号化した場合に、nフレーム目(フレーム[n])のMDCT係数のk番目(MDCT係数[k])が、圧縮処理により値「0」になってしまった、即ち、欠落してしまった場合を例にして、そのフレーム[n]のMDCT係数[k]を、近似式を使って予測する方法について説明する。
図3は、AAC方式で圧縮符号化されたデジタル音声信号において、フレーム[n]のMDCT係数[k]が欠落している場合を説明するための概念図である。図3においては、図3Cのフレーム[n]の前後各2フレーム(図3A、図3B、及び、図3D、図3E)におけるMDCT係数[k]は存在するが、フレーム[n]のMDCT係数[k]だけが値「0」となって欠落している場合を示している。
このように、MDCT係数の値が「0」になっている部分は、圧縮符号化処理により元々の音声信号がカットされ欠落した可能性のある部分である。この第1の実施の形態の処理装置において、欠落信号復元部14の予測生成処理部141は、まず、圧縮符号化によりカットされた可能性の高い、値が「0」であるMDCT係数部分を検出し、その部分のMDCT係数を予測して復元するようにしている。
図4は、図3に示した5つのフレームのMDCT係数[k]を2次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。フレーム[n]のMDCT係数[k]に対応する、当該フレーム[n]の前後各2フレームにおけるMDCT係数[k]を取得し、それぞれフレーム[n−2]のMDCT係数[k]をA、フレーム[n−1]のMDCT係数[k]をB、フレーム[n]のMDCT係数[k]をC、フレーム[n+1]のMDCT係数[k]をD、フレーム[n+2]のMDCT係数[k]をEとする。
図4に示したA〜Eまでの5点は、連続する5つのフレーム内の同じ周波数位置の信号を表している。この5点における最小二乗法による2次多項式を作成し、それを近似式とする。図3に示したように、振幅が、C=0は既知であり、それぞれ例えば、A=5、B=3、D=4、E=5であったとすると、これらを連続する5点の座標に見立て、それぞれA=(−2,5)、B=(−1,3)、C=(0,0)、D=(1,4)、E=(2,5)とおき、最小二乗法を用いて近似式を求める。
求めた近似式から、フレーム[n]のMDCT係数[k]、即ちCの予測値を求める。ここでは、図4にも示したように、近似式は、y=0.93x**2+0.1x+1.54となり、この近似式から点Cの予測値(予測したMDCT係数)を求めると、C≒1.54となる。なお、近似式における「x**2」は、xの二乗を意味する記述である。
続いて、ここで予測した点Cの予測値(予測したMDCT係数)が妥当であるかを調べる。図5は、フレーム[n]のMDCT係数[k]の分解能と予測値との関係を示す図である。この第1の実施の形態においては、上述したように求めた予測値の絶対値が、フレーム[n]におけるMDCT係数[k]での分解能以下であった場合に、この予測値をフレーム[n]におけるMDCT係数[k]として採用する。すなわち、フレーム[n]の周波数位置[k]における音声信号として予測値を採用する。
一方、上述したように求めた予測値の絶対値が、分解能より大きかった場合には、予測は失敗したとして、当該予測値を音声信号として採用しない。すなわち、圧縮符号化時において、MDCT係数がカットあるいは抑圧されるということは、分解能以下の大きさの値であったからであり、分解能以上の大きな値である場合には、そもそもカットあるいは抑圧されることは無いので、欠落したままの状態を保つこととする。
ここでは、図5に示すように、フレーム[n]のMDCT係数[k]における分解能が2であったとすると、予測値C=1.54は2以下であるので、C=1.54は、フレーム[n]の[k]番目のMDCT係数として採用される。上述もしたように、音声信号が欠落するということは、元の音声信号の振幅が分解能以下であったため、既定の分解能では表現できず、0となってしまうことである。よって、予測値は必ず分解能以下の値を採用するのが理論上正しい。
このようにして、この第1の実施の形態の処理装置において、欠落信号復元部14の予測生成処理部141は、各フレームにおいて、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、カットあるいは抑圧された可能性のある信号(欠落信号)として、MDCT係数を予測して生成していく処理を行う。
次に、この第1の実施の形態の処理装置の欠落信号復元部14の予測生成処理部141において行われる予測生成処理について、図6のフローチャートを参照しながら説明する。図6は、予測生成処理部141において行われる予測生成処理を説明するためのフローチャートである。
図3〜図5を用いて前述したように、まず、各フレームにおいて、圧縮符号化によりカットあるいは抑圧された可能性のある部分(MDCT係数部分)を検出し、検出したカットあるいは抑圧された可能性のある部分について、その前後の2フレームの対応する部分の値(MDCT係数)を予測する処理について説明する。換言すれば、この第1の実施の形態において用いる予測生成処理は、連続する5フレームにおいて、その真中の3フレーム目(フレーム[n])にカットあるいは抑圧された可能性のある部分を位置付けて、この3フレーム目(フレーム[n])を常に予測するものである。
そして、図6に示すように、この第1の実施の形態の場合には、前処理として、処理の対象となったフレームをフレーム[n]として、その前後2フレーム分の0〜1023までの全てのMDCT係数を予め取得しておく(ステップS100)。換言すれば、カットあるいは抑圧された部分の検索対象のフレームをフレーム[n]とした場合に、5フレーム分(フレーム[n−2]、フレーム[n−1]、フレーム[n]、フレーム[n+1]、フレーム[n+2])のMDCT係数を予め取得しておく処理が、図6に示したステップSS100の処理である。そして、フレーム[n]を構成する0〜1023までのMDCT係数の内、値が0であるMDCT係数を検出する処理を行うようにする。
すなわち、予測生成処理部141は、まず、変数kに値0を代入することにより初期化し(ステップS101)、MDCT係数[k]の値が、値0か否かを判断する(ステップS102)。ステップS102の判断処理において、MDCT係数[k]の値が値0であると判断した場合には、当該MDCT係数[k]は、圧縮符号化時において、カットあるいは抑圧され欠落した可能性があるので、予測生成処理部141は、上述もしたように、ステップS100において、予め取得しておいた前後各2フレームにおける対応する周波数位置のMDCT係数[k]を取得する(ステップS103)。
そして、予測生成処理部141は、図4を用いて説明したように、自フレーム(フレーム[n])のMDCT係数[k]と、前後2フレームの対応する部分のMDCT係数[k]の計5点のMDCT係数を用いて、最小二乗法による近似式を作成する(ステップS104)。
次に、ステップS104において作成した近似式に基づいて、フレーム[n]におけるMDCT係数[k]の値を予測して生成する(ステップS105)。そして、予測生成処理部141は、ステップS105において予測して生成したMDCT係数[k]が、その予測した部分の分解能以下か否かを判断する(ステップS106)。
ステップS106の判断処理において、予測して生成したMDCT係数[k]が、分解能以下であると判断したときには、予測生成処理部141は、ステップS105において予測して生成したMDCT係数[k]をフレーム[n]におけるMDCT係数[k]の値として採用して記録する(ステップS107)。
そして、予測生成処理部141は、変数kに1を加算し(ステップS108)、変数kが1024よりも小さいか否かを判断する(ステップS109)。ステップS109の判断処理において、変数kが1024よりも小さいと判断したときには、処理対象のフレーム[n]の全てのMDCT係数を対象とする処理は終わっていないので、予測生成処理部141は、ステップS102からの処理を繰り返すようにする。
また、ステップS109の判断処理において、変数kが1024よりも小さくないと判断したときには、処理対象のフレーム[n]の全てのMDCT係数を対象とする処理が終了したので、当該フレーム[n]について、高域追加処理を実行するようにする。そして、この図6を用いて説明した処理を、再生などの処理対象となっている圧縮符号化されたデジタル音声信号の全てのフレームについて実行することによって、当該デジタル音声信号の全体について、圧縮符号化によりカットあるいは抑圧された音声信号を復元し、これを利用することができるようにされる。
[高域追加処理部142での処理の詳細]
次に、高域追加処理部142において行われる高域追加処理について説明する。図7は、この第1の実施の形態の処理装置の高域追加処理部142の構成例を説明するためのブロック図である。図7に示すようにこの例の高域追加処理部142は、一時記憶メモリ421と、境界周波数検出部422と、追加帯域決定部423と、高域信号生成部424と、高域信号合成部425とを備えたものである。
上述したように、予測生成処理部141において、カットあるいは抑圧された可能性のあるMDCT係数として予測されて生成されたものの内、分解能以下のものが追加するようにされた中低域のMDCT係数は、フレーム単位に高域追加処理部142の一時記憶メモリに一時記憶される。
境界周波数検出部422は、一時記憶メモリ421にフレーム単位に一時記憶されているMDCT係数を順次に読み出し、当該MDCT係数について、ある周波数を境に、高域全体がカットあるいは抑圧されている場合の境界周波数(下限側の境界周波数)を検出する。一般に、境界周波数はビットレートに依存する場合が多い。符号化の仕様はエンコーダーメーカーの技術力によるため、一様ではないが、例えば、ビットレート196kbpsで符号化(エンコード)した場合には境界周波数は20kHz付近になり、ビットレート128kbpsで符号化した場合には境界周波数は16kHz付近になり、ビットレート64kbpsで符号化した場合には境界周波数は14kHzになるといった傾向がある。
この実施の形態の処理装置において、復号処理の対象となっている符号化音声信号は、上述もしたように、ビットレートが128kbpsで圧縮符号化されたものであるため、境界周波数波は、約16kHzであると検出(特定)することができる。すなわち、この第1の実施の形態の処理装置で復号処理する符号化音声信号は、約16kHz以上の高域部分の音声信号がカットあるいは抑圧され、劣化してしまっているものであると特定することができる。
追加帯域決定部423は、境界周波数以降の高域における、高域信号を追加する帯域幅を決定する。この実施の形態においては、境界周波数が15kHz以上であった場合には、境界周波数以降の全帯域に高域信号を追加するようにしている。なお、この第1の実施の形態においては、15kHzという値を用いたが、14kHz程度まで追加帯域の条件を下げることも可能である。しかし、10kHz付近まで下げると、追加信号が雑音となって聞こえてしまう可能性があるため、追加帯域の条件を10kHz付近まで下げることは好ましくない。
この実施の形態において、境界周波数検出部422で検出された境界周波数は、上述もしたように、16kHzであり、予め決められた条件である「境界周波数が15kHz以上であること」を満たしているため、追加帯域決定部423においては、16kHz以降に高域信号(高域部分の符号化音声信号)を追加するようにする。また、この第1の実施の形態においては、上述もしたように、48kHzサンプリングの音声信号を用いているため、追加する上限の周波数はサンプリング周波数の1/2(2分の1)である24kHzとする。よって、16kHzから24kHzまでが、この第1の実施の形態における高域信号の追加帯域となる。
高域信号生成部424は、追加する高域信号を計算により生成する。この高域信号生成部424においては、例えば、特許第3646657号「デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置」に開示された技術を用いて、追加する高域信号(MDCT係数)を生成する。
具体的には、境界周波数検出部422において求められた境界周波数における信号の振幅値から、上限周波数(この実施の形態においては24kHz)における信号の振幅値を「0(零)」として、周波数特性傾きを算出する。次に、この第1の実施の形態においては、下限周波数として10.5kHzを設定し、10.5kHzから下限側の境界周波数(この第1の実施の形態においては16kHz)までの信号をバッファリングし、スペクトル複製、ゲイン算出、ゲイン調整の各処理を行って、追加用の高域信号(MDCT係数)を生成する。
そして、高域信号生成部424で生成された高域信号は、高域信号合成部425に供給される。この高域信号合成部425は、一時記憶メモリ421から中低域のMDCT係数を読み出し、これに高域信号生成部424からの高域信号を合成するようにして、図2Cに示したように、低域、中域、高域の全帯域のMDCT係数が整った圧縮符号化された状態のデジタル音声信号が復元される。
これが、図1を用いて説明したように、適応ブロック長切換逆MDCT部15に供給され、逆MDCT変換されて、時間領域の音声信号に戻された後に、ゲイン調整するようにされる。これにより、圧縮符号化によりカットあるいは抑圧された可能性のある音声信号を精度よく復元することができるので、再生した場合に音質のよい音声データを復元することができるようにされる。
[第1の実施の形態の変形例]
第1の実施の形態の処理装置は、図1に示したように、ステレオ処理部13と適応ブロック長切換逆MDCT変換部15との間に、予測生成処理部141と高域追加処理部142とを有する欠落信号復元部14を設ける構成とした。すなわち、欠落信号復元部14は、圧縮符号化されたデジタル音声信号を、時間軸領域の音声信号に復元する復号化器の内部に設けるようにしている。このようにすることにより、目的とする圧縮符号化方式、この実施の形態の場合には、AAC方式に応じた復号処理に応じて、適切にカットあるいは抑圧された音声信号を復元することができる。
しかし、圧縮符号化方式は、種々のものがある。そこで、図8に示すように、復号化器の外に欠落信号復元部14を設けるようにすることによって、圧縮符号化方式に左右されること無く、圧縮符号化によりカットあるいは抑圧された可能性のある部分の音声信号を復元し、再生される音声の音質を向上させることもできる。すなわち、図8は、この第1の実施の形態の処理装置の変形例を説明するための図である。
図8において、フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、適応ブロック長切換逆MDCT部15、ゲイン制御部16、及び、欠落信号復元部14は、図1に示した処理装置において、同じ参照符号が付された部分と同様に構成されたものである。このため、フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、適応ブロック長切換逆MDCT部15、ゲイン制御部16、及び、欠落信号復元部14のそれぞれについての詳細な説明は省略する。
そして、図8に示す処理装置の場合、ゲイン制御部16から出力された音声信号は、既に時間軸領域の音声信号(時間音声信号)とされたものである。このため、MDCT部17を設け、ゲイン制御部16からの時間音声信号をMDCT変換して、再度、周波数領域の音声信号であるMDCT係数に変換し、これを当該MDCT部17の後段に設けられた欠落信号復元部14に供給する。
欠落信号復元部14は、上述もしたように、図1に示した処理装置で用いられている欠落信号復元部14と同様に構成されたものであり、各フレーム毎に、まず、中低域の既存のMDCT係数を用いて、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出して、その部分のMDCT係数(音声信号)を予測して生成し、その生成したMDCT係数が分解能から見て適正である場合に、中低域のMDCT係数として採用する。
このようにして、中低域の領域でカットあるいは抑圧された可能性のある音声信号をも追加した中低域のMDCT係数を用いて、高域追加処理部142において、図7を用いて説明したようにして高域のMDCT係数を復元して追加する。これにより、圧縮符号化によりカットあるいは抑圧された高域のMDCT係数をも復元し、低域、中域、高域の全帯域のMDCT係数がそろったデジタル音声信号を復元することができる。
そして、高域追加処理部142からの低域、中域、高域の全帯域のMDCT係数は、逆MDCT部18に供給され、ここで逆MDCT変換されて、時間軸領域の音声信号に戻され、利用することができるようにされる。このように、欠落信号復元部14を、復号化器の外部に設けるようにした場合においても、この発明を適用でき、全帯域において、圧縮符号化処理によりカットあるいは抑圧された可能性のある音声信号を復元し、音質のよい音声を再生することができる。
[第2の実施の形態]
次に、この発明に第2の実施の形態について説明する。以下に説明する第2の実施の形態の処理装置は、「高域追加処理」を先に行い、その後で「予測生成処理」を行うように構成したものである。すなわち、中低域の既存の圧縮符号化された音声信号を用い、先に高域信号を復元する。続いて、周波数領域の全帯域において前後のフレーム間における音声信号から、現フレームの欠落信号を、予測器、近似式、補間多項式などを用いて予測して生成する。
このようにして、予測して生成した欠落信号(音声信号)が現フレーム内の前後の音声信号がもつ分解能などの情報と比較して妥当なものと判断されれば、欠落箇所に追加する。こうして全帯域の欠落箇所に、妥当な音声信号を追加するように処理するのが、以下に説明するこの第2の実施の形態の処理装置である。
図9は、この第2の実施の形態の処理装置を説明するためのブロック図である。図9において、図1に示した第1の実施の形態の処理装置と同様に構成される部分には、同じ参照符号を付し、その部分の詳細な説明については省略する。
図9に示した第2の実施の形態の処理装置と、図1に示した第1の実施の形態の処理装置とを比較すると分かるように、フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、適応ブロック長切換逆MDCT部15、ゲイン制御部16のそれぞれは、同様に構成された部分である。
しかし、図9に示した第2の実施の形態の処理装置の場合、ステレオ処理部13と、適応ブロック長切換逆MDCT部15との間に設けられた欠落信号復元部19は、図1に示した第1の実施の形態の欠落信号復元部14とは異なり、高域追加処理部191が前段に、予測生成処理部192が後段に設けられている。すなわち、第1の実施の形態の欠落信号復元部14の場合には、予測生成処理部141、高域追加処理部142の順で設けられていたのに対して、第2の実施の形態の欠落信号復元部19の場合には、高域追加処理部191が先に設けられ、その後段に予測生成処理部192が設けられた構成とされている。
そして、この第2の実施の形態の欠落信号復元部19においては、上述もしたように、まず、高域追加処理部191に機能により、高域のMDCT係数を復元し、次に、予測生成処理部192の機能により、先に復元された高域部分をも含め、低域、中域、高域の全帯域について、圧縮符号化によりカットあるいは抑圧された可能性のある部分(MDCT係数)を特定し、その部分を復元することによって、処理対象の圧縮符号化された全帯域の音声信号を高品位に復元することができるようにしている。
図10は、この第2の実施の形態の欠落信号復元部19において行われる処理を説明するための図である。図10Aに示すように、この第2の実施の形態の処理装置において、欠落信号復元部19の高域追加処理部191に供給されるMDCT係数は、圧縮符号化処理により形成された中低域のものであり、高域成分がカットあるいは抑圧されると共に、図10Aにおいて点線で示したように、ユーザーの聴感上、影響が小さい部分についてもカットあるいは抑圧されているものである。
このため、この第2の実施の形態の処理装置においては、まず、高域追加処理部191の機能を用い、図10Aに示した範囲aのMDCT係数に基づいて、図10Bに示すように、範囲b、範囲cに示した高域信号を復元する。高域追加処理部191は、図7に示した第1の実施の形態の処理装置の高域追加処理部142と同様の構成を有するものである。
したがって、高域追加処理部191においては、図7を用いて説明した第1の実施の形態の高域追加処理部142の場合と同様に、フレーム単位にMDCT係数を一時記憶メモリに保持するようにし、境界周波数を検出し、追加帯域を決定し、これに応じて高域信号を生成し、最後に、一時記憶した中低域のMDCT係数と、復元した高域のMDCT係数とを合成し、図10Bに示すように、低域、中域、高域の全帯域のMDCT係数を復元する。
しかし、図9に示した処理装置の高域追加処理部191において形成されて出力されるMDCT係数は、図10Bにおいて、点線で示したように、圧縮符号化によりカットあるいは抑圧された可能性のある部分が残った状態のままである。このため、この第2の実施の形態の処理装置において、欠落信号復元部19の予測生成処理部192が、圧縮符号化によりカットあるいは抑圧された可能性のある部分を復元する。
すなわち、この第2の実施の形態の処理装置の予測生成処理部192は、図3〜図6を用いて説明した第1の実施の形態の予測生成処理部141の場合と同様の機能を有するものであり、高域追加処理部191からMDCT係数の供給を受けて、フレーム単位に、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出し、処理対象のフレームとその前後2フレームずつのフレームの5フレーム分の対応する位置のMDCT係数を用いて、近似式を作成し、その近似式に基づいてカットあるいは抑圧された可能性のあるMDCT係数を予測して生成し、この予測して生成したMDCT係数が分解能以下である場合に、生成した当該MDCT係数を補間データとして採用する。
このようにすることによって、図10Cに示すように、低域、中域、高域の全帯域について、圧縮符号化によりカットあるいは抑圧された可能性のあるMDCT係数を復元し、欠落箇所のないデジタル音声データを復元することができるようにしている。このように、この第2の実施の形態の予測生成処理部192は、低域、中域、高域の全帯域を対象として、圧縮符号化によりカットあるいは抑圧された可能性のあるMDCT係数を復元し、論理的に適正なものだけを補間データとして採用することができるようにしている。
そして、図10Cに示したように、圧縮符号化によりカットあるいは抑圧された可能性のあるMDCT係数についても復元された周波数帯域のデジタル音声信号は、図9に示したように、適応ブロック長切換逆MDCT部15で、逆MDCT変換されて時間軸領域の信号(時間音声信号)に変換され、これがゲイン制御部16においてゲイン制御(ゲイン調整)するようにされる。これにより、圧縮符号化によりカットあるいは抑圧された可能性のある音声信号を精度よく復元することができるので、再生した場合に音質のよい音声データを復元することができるようにされる。
[第2の実施の形態の変形例]
第2の実施の形態の処理装置は、図9に示したように、ステレオ処理部13と適応ブロック長切換逆MDCT変換部15との間に、高域追加処理部191と予測生成処理部192とを有する欠落信号復元部19を設ける構成とした。すなわち、欠落信号復元部19は、圧縮符号化されたデジタル音声信号を、時間軸領域の音声信号に復元する復号化器の内部に設けるようにしている。このようにすることにより、目的とする圧縮符号化方式、この実施の形態の場合には、AAC方式に応じた復号処理に応じて、適切にカットあるいは抑圧された音声信号を復元することができる。
しかし、圧縮符号化方式は、種々のものがある。そこで、図11に示すように、復号化器の外に欠落信号復元部19を設けるようにすることによって、圧縮符号化方式に左右されること無く、圧縮符号化によりカットあるいは抑圧された可能性のある部分の音声信号を復元し、再生される音声の音質を向上させることもできる。すなわち、図11は、この第2の実施の形態の処理装置の変形例を説明するための図である。
図11において、フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、適応ブロック長切換逆MDCT部15、ゲイン制御部16、及び、欠落信号復元部19は、図9に示した処理装置において、同じ参照符号が付された部分と同様に構成されたものである。このため、フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、適応ブロック長切換逆MDCT部15、ゲイン制御部16、及び、欠落信号復元部19のそれぞれについての詳細な説明は省略する。
そして、図11に示す処理装置の場合、ゲイン制御部16から出力された音声信号は、既に時間軸領域の音声信号(時間音声信号)とされたものである。このため、MDCT部17を設け、ゲイン制御部16からの時間音声信号をMDCT変換して、再度、周波数領域の音声信号であるMDCT係数に変換し、これを当該MDCT部17の後段に設けられた欠落信号復元部19に供給する。
欠落信号復元部19は、上述もしたように、図9に示した処理装置で用いられている欠落信号復元部19と同様に構成されたものであり、各フレーム毎に、まず、中低域の既存のMDCT係数を用いて、圧縮符号化によりカットあるいは抑圧された高域信号を復元する。次に、復元した高域信号をも含め、低域、中域、高域の全帯域のMDCT係数を対象として、圧縮符号化によりカットあるいは抑圧された可能性のある部分を検出して、その部分のMDCT係数(音声信号)を予測して生成し、その生成したMDCT係数が分解能から見て適正である場合に、補間データとして採用する。これにより、圧縮符号化によりカットあるいは抑圧された高域のMDCT係数をも復元し、低域、中域、高域の全帯域のMDCT係数がそろったデジタル音声信号を復元することができる。
そして、予測生成処理部192からの低域、中域、高域の全帯域のMDCT係数は、逆MDCT部18に供給され、ここで逆MDCT変換されて、時間軸領域の音声信号に戻され、利用することができるようにされる。このように、欠落信号復元部19を、復号化器の外部に設けるようにした場合においても、この発明を適用でき、全帯域において、圧縮符号化処理によりカットあるいは抑圧された可能性のある音声信号を復元し、音質のよい音声を再生することができる。
なお、上述した実施の形態の説明においては、図2Aのように特定の周波数領域の音声信号(オーディオ信号)が欠落している場合を例にして説明した。しかし本発明は、音声信号が完全に欠落した場合以外に、特定の周波数領域の音声信号が抑圧された状態にある場合においても、この発明は成り立つ。
例えば、図12Aにおいて左から4番目、6番目、8番目の周波数領域、および、高域側の周波数領域において、黒丸を付した部分まで実線で示したように、その周波数領域の一部の信号が残留しているような場合、すなわち特定の周波数領域の音声信号が抑圧された状態にある場合においても、この発明は成り立つ。なお、図12Aにおいて、黒丸よりも上の点線で示した部分は、欠落した信号部分である。
このように、図12Aにおいて範囲aに示したように、完全には欠落していない抑圧された信号が残留している領域が存在している場合がある。このような抑圧された音声信号の残留は、圧縮処理工程の計算精度などによって起こると考えられる。
そして、図12Aに示したように抑圧された信号が残留している状態でも、図12Bに示すように中低域の抑圧箇所に予測された信号を埋め込むことが可能である。さらに、図12Bの予測復元された中低域の信号を参照して範囲b、範囲cの音声信号を予測復元することも可能となっている。
このように、この発明は、圧縮符号化により、音声信号の一部が欠落している場合だけでなく、圧縮符号化により、抑圧された音声信号が残留している場合であっても、その抑圧された音声信号が残留している部分についても、適切に音声信号を予測し復元することが可能である。
[まとめ]
このように、上述した第1、第2の実施の形態の処理装置は、いずれも、圧縮符号化されたデジタル音声信号を伸長復号する系に関し、符号化の際に圧縮率を上げるために、カットあるいは抑圧または省略された音声信号に対し、本来の音声信号を予測して生成し、これを追加することにより、復号した音声信号の音質向上を図ることができる。
より詳しくは、上述した第1の実施の形態の処理装置の場合には、音声信号の復号化系内において、先ず既存の符号化された信号を使って中低域の欠落信号を予測生成し、次にそれらを元に高域信号を複製することで、欠落箇所をより少なくし、音質を向上させるようにしている。
また、第2の実施の形態の処理装置の場合には、第1の実施の形態の処理装置とは処理の順序を入れ替えて、既存の符号化された信号を使って、先に高域信号を複製し、次に全帯域における欠落した信号(欠落信号)を予測して生成することで、欠落箇所をより少なくし、音質を向上させることができるようにしている。
また、上述したように、「欠落信号の予測生成」の処理と、「高域追加」の処理というように、処理を2段階に分けることで、欠落箇所をより少なくすることができ、自然な音声を再生することが可能な音声信号を得ることができる。すなわち、高域信号の復元のみならず、全帯域の欠落箇所をも適切に復元することができるので、自然な音声を再生することが可能な音声信号を得ることができるのである。
また、第1の実施の形態においては、上述もしたように、(1)圧縮符号化されたデジタル音声信号について、まず、カットあるいは抑圧された可能性のある部分を検出し、その部分の音声データを予測して生成し、その生成した音声データが論理的に正しいと判断した場合に、その生成した音声データを補間データとして採用するようにする一連の処理の後に、(2)補間データによって補間されたデジタル音声データを用いて、高域側の音声データを復元するようにした。このように、必ず、上記(1)の段階と(2)の段階が必ず存在しなくてもよい。
すなわち、上記(1)の段階を行うようにしただけでも、圧縮符号化されたデジタル音声信号の品位を向上させることができる。そして、カットあるいは抑圧された部分が補間された中低域のデジタル音声信号を用いて高域側の音声データを復元することにより、高域側の音声信号についても高品位化することができ、全帯域を通じて音質のよい音声を再生することが可能なデジタル音声データを復元することができる。
また、圧縮符号化された既存のデジタル音声信号に対して、カットあるいは抑圧された部分の音声データを復元した後に、高域音声信号を復元する第1の実施の形態の手法を用いるか、圧縮符号化された既存のデジタル音声信号を用いて広域音声信号を復元した後に、全帯域の音声信号を対象にして、分解能が低いためにカットあるいは抑圧された部分の音声データを復元する第2の実施の形態の手法を用いるかは、適宜選択が可能である。
また、図1〜図8を用いて説明した第1の実施の形態の処理装置は、この発明による方法が適用されたものである。具体的には、欠落信号復元部14において、この発明による方法が用いられている。
また、図6を用いて説明した欠落信号復元部14の予測生成処理部141において行われる処理と、図7を用いて説明した欠落信号復元部14の高域追加処理部142において行われる処理を、プログラム(ソフトウェア)によって実現し、これを圧縮符号化されたデジタル音声信号を復号処理する装置に搭載し、当該装置のコンピュータで実行するようにすることによって、圧縮符号化されたデジタル音声信号を復号処理する種々の装置にこの発明を適用することができる。
また、図9〜図11を用いて説明した第2の実施の形態の処理装置は、この発明による方法が適用されたものである。具体的には、欠落信号復元部19において、この発明による方法が用いられている。
また、欠落信号復元部19の高域追加処理部191において行われる処理(基本的には、図7に示した第1の実施の形態の高域追加処理部142において行われる処理と同じ)と、欠落信号復元部19の予測生成処理部192において行われる処理(基本的には、図6に示した第1の実施の形態の予測生成処理部141において行われる処理と同じ)とを、プログラム(ソフトウェア)によって実現し、これを圧縮符号化されたデジタル音声信号を復号処理する装置に搭載し、当該装置のコンピュータで実行するようにすることによって、圧縮符号化されたデジタル音声信号を復号処理する種々の装置に、第2の実施の形態で説明したこの発明を適用することができる。
また、図1、図8、図9、図11に示した各処理装置の最終段に、復号化されたデジタル音声信号をデジタル/アナログ変換してアナログ音声信号を形成するD/A変換器と、当該D/A変換器によってアナログ信号に変換された音声信号を増幅処理するなどの必要な処理部と、これを再生する再生手段とを設けることにより、この発明により再生方法が適用された再生装置を実現することができる。
なお、図1、図8、図9、図11において、プログラム(ソフトウェア)として形成できるのは、欠落信号復元部14の予測生成処理部141と高域追加処理部142との機能や、欠落信号復元部19の高域追加処理部191と予測生成処理部192との機能に限るものではない。フォーマット解析部11、逆量子化処理部12、ステレオ処理部13、欠落信号復元部14、適応ブロック長切換逆MDCT部15、ゲイン制御部16、MDCT部17、逆MDCT部18の各部の処理をも、処理装置に搭載されるコンピュータ(CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、EEPROM(Electrically Erasable and Programmable ROM)などのいわゆる不揮発性メモリなどがCPUバスを通じて接続されたマイクロコンピュータなど)において実行可能なプログラムによって実現することももちろん可能である。
すなわち、図1、図6、図7、図8、図9、図11に示した各ブロックの処理は、プログラムによって実現可能なものである。もちろん、上述もしたように、図1、図8、図9、図11に示した各ブロックをハードウエアによって構成することも可能である。
なお、上述した実施の形態では、左右2チャンネルのMPEG2−AAC方式のデジタル音声信号を処理する場合を例にして説明したが、これに限るものではない。マルチチャンネルのMPEG2−AAC方式のデジタル音声信号についても対応可能である。また、他の符号化信号でも応用が可能である。例えば、他のMPEG方式、ATRAC(登録商標)方式、AC−3(登録商標)方式、WMA(登録商標)方式などで圧縮符号化された符号化信号に対しても適用可能である。
また、上述した実施の形態では、欠落信号の予測方法として、最小二乗法による近似式を作成して予測する方法を用いたが、近似式でなく補間多項式でも応用が可能である。また、予測器を作成し、予測器からの出力である予測値を用いる方法もある。予測器としては、例えば、ISO/IEC13818−7で定義されているものなどを用いることが可能であるし、その他の種々の予測器を用いることもできる。
また、上述した実施の形態では、特開2002−252562(デジタル信号処理装置及びデジタル信号処理方法、並びに1ビット信号生成装置)に開示された技術を用いて高域信号を復元するようにしたが、これに限るものではない。高域信号の復元は、他の種々の手法を用いることができる。
また、上述した実施の形態においては、MPEG−2 AAC方式の圧縮符号化処理が、所定の信号変換処理に相当し、MPEG−2 AAC方式の圧縮符号化処理により形成された符号化音声信号が、信号変換処理された状態のデジタル信号に相当するものとして説明した。しかし、信号変換処理は、種々の圧縮符号化処理に限るものではない。
例えば、この発明が適用されずに、所定の圧縮符号化方式に従って圧縮符号化された音声信号が、復号化処理されるとともに、アナログ音声信号に変換されて提供された場合、当該アナログ音声信号は、先の圧縮符号化により、信号成分の一部が除去された状態のまま、復号化されて提供されたものである。
このため、当該アナログ音声信号をデジタル信号に変換し、上述した実施の形態の場合のように、除去された信号成分である付加信号を形成することが可能な状態にまで変換して、目的とする変換後信号を形成した後に、この発明を適用し、信号変換処理された状態のデジタル信号から、除去された可能性のある信号成分を付加信号として形成し、これをも考慮して、デジタル音声信号を処理することもできるようにされる。
そして、当該信号変換処理された状態のデジタル音声信号の再生時において、対応する付加信号をも加味すると共に、元のアナログ音声信号の状態にまで復元し、再生するようにすることによって、元々、一部の信号成分が除去された音声信号についても、高品位な音声を再生することが可能な音声信号として復元することができるようにされる。
この場合のデジタル信号への変換処理や、除去された信号成分である付加信号を形成することが可能な状態にまで変換する処理は、厳密には圧縮符号化処理とは異なるものである。しかし、このような場合であっても、この発明を適用することができる。すなわち、信号変換処理は、音声信号などの処理の対象となる主信号が、何らかの原因により一部の信号部分が除去されたようなものである場合に、その除去された信号部分を付加情報として生成することが可能な状態に変換する処理をも含むものである。
また、上述した実施の形態においては、圧縮符号化された音声信号を処理対象とした場合を例に説明したが、種々の処理により信号成分の一部が除去された可能性のある種々の信号、例えば映像信号などを処理対象とする場合においても、この発明を応用して適用することが可能である。
この発明による装置、方法、プログラムの一実施の形態が適用された第1の実施の形態の処理装置を説明するためのブロック図である。 欠落信号復元部14において行われる処理を説明するための図であり、横軸を周波数、縦軸を振幅として、MDCT係数の状態を示した図である。 AAC方式で圧縮符号化されたデジタル音声信号において、フレーム[n]のMDCT係数[k]が欠落している場合を説明するための概念図である。 図3に示した5つのフレームのMDCT係数[k]を2次元の座標軸上に表現し、近似式を作成する場合について説明するための図である。 フレーム[n]のMDCT係数[k]の分解能と予測値との関係を示す図である。 予測生成処理部141において行われる予測生成処理を説明するためのフローチャートである。 高域追加処理部142の構成例を説明するためのブロック図である。 第1の実施の形態の処理装置の変形例を説明するためのブロック図である。 この発明による装置、方法、プログラムの他の一実施の形態が適用された第2の実施の形態の処理装置を説明するためのブロック図である。 欠落信号復元部19において行われる処理を説明するための図である。 第2の実施の形態の処理装置の変形例を説明するためのブロック図である。 抑圧された音声信号成分が残留している場合において、信号を予測して復元する場合の処理を説明するための図である。 既存の音声信号を用いて高域信号を復元する場合を説明するための概念図である。
符号の説明
11…フォーマット解析部、12…逆量子化処理部、121…ハフマン復号化部、122…逆量子化部、123…リスケーリング部、13…ステレオ処理部、14…欠落信号復元部、141…予測生成処理部、142…高域追加処理部、15…適応ブロック長切換逆MDCT部、16…ゲイン制御部、17…MDCT部、19…欠落信号復元部、18…逆MDCT部、191…高域追加処理部、192…予測生成処理部

Claims (10)

  1. 信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
    前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
    前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用するようにする判別手段と
    を備えることを特徴とするデジタル信号処理装置。
  2. 請求項1に記載のデジタル信号処理装置であって、
    前記予測手段は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とするデジタル信号処理装置。
  3. 請求項2に記載のデジタル信号処理装置であって、
    前記予測手段で予測された前記除去部分の除去前のデータのうち、前記判別手段によって採用されたデータによって補間されたのち信号変換処理されて形成された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備えることを特徴とするデジタル信号処理装置。
  4. 請求項1に記載のデジタル信号処理装置であって、
    信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段をさらに備え、
    前記検出手段は、前記追加手段によって、前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とするデジタル信号処理装置。
  5. 信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出工程と、
    前記除去部分と相関があると推定される前記信号変換処理されたデジタル信号の相関部分のデータに基づいて、前記検出工程において検出された前記除去部分の除去前のデータを予測する予測工程と、
    前記予測工程において予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別工程と
    を有することを特徴とするデジタル信号処理方法。
  6. 請求項5に記載のデジタル信号処理方法であって、
    前記予測工程は、信号変換処理されて形成された復調周波数帯域の既存のデジタル信号に基づいて、前記除去部分の除去前のデータを予測することを特徴とするデジタル信号処理方法。
  7. 請求項6に記載のデジタル信号処理方法であって、
    前記予測工程において予測された前記除去部分の除去前のデータは、前記判別工程において採用したデータによって補間され、そののち信号変換処理されて形成された状態の復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加工程で復元されることを特徴とするデジタル信号処理方法。
  8. 請求項5に記載のデジタル信号処理方法であって、
    信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加工程を有し、
    前記検出工程は、前記追加工程において前記復調周波数帯域よりも高域の周波数成分が追加された状態のデジタル信号を処理対象とすることを特徴とするデジタル信号処理方法。
  9. 信号変換処理されたデジタル信号から信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
    前記除去部分と相関があると推定される前記信号変換処理された復調周波数帯域のデジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
    前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別手段と、
    前記予測手段で予測された前記除去部分の除去前のデータであって、前記判別手段によって採用されたデータによって補間された復調周波数帯域のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段と、
    前記追加手段によって高域の周波数成分が追加された信号変換処理された状態のデジタル信号を復元処理して、信号変換処理前のデジタル信号を復元する復元手段と、
    前記復元手段によって復元されたデジタル信号を再生するようにする再生手段と
    を備えることを特徴とするデジタル信号の再生装置。
  10. 信号変換処理されて形成された復調周波数帯域の既存のデジタル信号から、前記復調周波数帯域よりも高域の周波数成分を復元して追加する追加手段と、
    前記追加手段によって、前記高域の周波数成分が追加された信号変換処理された状態のデジタル信号から、信号変換処理時に除去された可能性のある除去部分を検出する検出手段と、
    前記除去部分と相関があると推定される前記信号変換処理された状態の前記デジタル信号の相関部分のデータに基づいて、前記検出手段により検出された前記除去部分の除去前のデータを予測する予測手段と、
    前記予測手段により予測された前記除去部分の除去前のデータの絶対値が、当該除去部分の分解能以下である場合に、予測された当該除去前のデータを補間データとして採用する判別手段と、
    前記判別手段によって採用するようにされたデータによって補間された信号変換処理された状態の前記デジタル信号を復元処理して、信号変換処理前のデジタル信号を復元する復元手段と、
    前記復元手段によって復元されたデジタル信号を再生するようにする再生手段と
    を備えることを特徴とするデジタル信号の再生装置。
JP2007145619A 2006-06-26 2007-05-31 デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置 Abandoned JP2008033269A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007145619A JP2008033269A (ja) 2006-06-26 2007-05-31 デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置
US11/765,892 US7466245B2 (en) 2006-06-26 2007-06-20 Digital signal processing apparatus, digital signal processing method, digital signal processing program, digital signal reproduction apparatus and digital signal reproduction method
KR1020070062888A KR20070122414A (ko) 2006-06-26 2007-06-26 디지털 신호 처리 장치, 디지털 신호 처리 방법, 디지털신호 처리 프로그램, 디지털 신호 재생 장치 및 디지털신호 재생 방법
DE102007029381A DE102007029381A1 (de) 2006-06-26 2007-06-26 Digitalsignal-Verarbeitungsvorrichtung, Digitalsignal-Verarbeitungsverfahren, Digitalsignal-Verarbeitungsprogramm, Digitalsignal-Wiedergabevorrichtung und Digitalsignal-Wiedergabeverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006174980 2006-06-26
JP2007145619A JP2008033269A (ja) 2006-06-26 2007-05-31 デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置

Publications (1)

Publication Number Publication Date
JP2008033269A true JP2008033269A (ja) 2008-02-14

Family

ID=38721378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007145619A Abandoned JP2008033269A (ja) 2006-06-26 2007-05-31 デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置

Country Status (4)

Country Link
US (1) US7466245B2 (ja)
JP (1) JP2008033269A (ja)
KR (1) KR20070122414A (ja)
DE (1) DE102007029381A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010140306A1 (ja) * 2009-06-01 2010-12-09 三菱電機株式会社 信号処理装置
JP5147851B2 (ja) * 2007-10-26 2013-02-20 株式会社ディーアンドエムホールディングス オーディオ信号補間装置及びオーディオ信号補間方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008033269A (ja) * 2006-06-26 2008-02-14 Sony Corp デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置
CA3231911A1 (en) 2009-01-16 2010-07-22 Dolby International Ab Cross product enhanced harmonic transposition
EP2555191A1 (en) * 2009-03-31 2013-02-06 Huawei Technologies Co., Ltd. Method and device for audio signal denoising
WO2011109083A2 (en) * 2010-03-01 2011-09-09 Zazum, Inc. Mobile device application
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
EP2980795A1 (en) 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoding and decoding using a frequency domain processor, a time domain processor and a cross processor for initialization of the time domain processor

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4447886A (en) * 1981-07-31 1984-05-08 Meeker G William Triangle and pyramid signal transforms and apparatus
JPH03129987A (ja) * 1989-10-14 1991-06-03 Sony Corp 映像信号符号化装置及び映像信号符号化方法
US6141448A (en) * 1997-04-21 2000-10-31 Hewlett-Packard Low-complexity error-resilient coder using a block-based standard
JP3576942B2 (ja) 2000-08-29 2004-10-13 株式会社ケンウッド 周波数補間システム、周波数補間装置、周波数補間方法及び記録媒体
JP3538122B2 (ja) 2000-06-14 2004-06-14 株式会社ケンウッド 周波数補間装置、周波数補間方法及び記録媒体
JP3713200B2 (ja) 2000-11-30 2005-11-02 株式会社ケンウッド 信号補間装置、信号補間方法及び記録媒体
US7260269B2 (en) * 2002-08-28 2007-08-21 Seiko Epson Corporation Image recovery using thresholding and direct linear solvers
JP2008033269A (ja) * 2006-06-26 2008-02-14 Sony Corp デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5147851B2 (ja) * 2007-10-26 2013-02-20 株式会社ディーアンドエムホールディングス オーディオ信号補間装置及びオーディオ信号補間方法
WO2010140306A1 (ja) * 2009-06-01 2010-12-09 三菱電機株式会社 信号処理装置
JPWO2010140306A1 (ja) * 2009-06-01 2012-11-15 三菱電機株式会社 信号処理装置
JP5355690B2 (ja) * 2009-06-01 2013-11-27 三菱電機株式会社 信号処理装置
US8918325B2 (en) 2009-06-01 2014-12-23 Mitsubishi Electric Corporation Signal processing device for processing stereo signals

Also Published As

Publication number Publication date
DE102007029381A1 (de) 2007-12-27
US7466245B2 (en) 2008-12-16
KR20070122414A (ko) 2007-12-31
US20080106445A1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
KR101586317B1 (ko) 신호 처리 방법 및 장치
EP1715476B1 (en) Low-bitrate encoding/decoding method and system
JP3307138B2 (ja) 信号符号化方法及び装置、並びに信号復号化方法及び装置
KR101835156B1 (ko) 신호 처리 장치 및 방법, 및 프로그램
US7328161B2 (en) Audio decoding method and apparatus which recover high frequency component with small computation
JP2008033269A (ja) デジタル信号処理装置、デジタル信号処理方法およびデジタル信号の再生装置
JP2010079275A (ja) 周波数帯域拡大装置及び方法、符号化装置及び方法、復号化装置及び方法、並びにプログラム
JP2006126826A (ja) オーディオ信号符号化/復号化方法及びその装置
JP3964860B2 (ja) ステレオオーディオの符号化方法、ステレオオーディオ符号化装置、ステレオオーディオの復号化方法、ステレオオーディオ復号化装置及びコンピュータで読み取り可能な記録媒体
JP2004198485A (ja) 音響符号化信号復号化装置及び音響符号化信号復号化プログラム
JP2006018023A (ja) オーディオ信号符号化装置、および符号化プログラム
JP2008158301A (ja) 信号処理装置、信号処理方法、再生装置、再生方法、電子機器
JP4649351B2 (ja) デジタルデータ復号化装置
CN101097716A (zh) 数字信号处理设备、处理方法和再现设备
JP4627737B2 (ja) デジタルデータ復号化装置
JP2008033211A (ja) 付加信号生成装置、信号変換された信号の復元装置、付加信号生成方法、信号変換された信号の復元方法および付加信号生成プログラム
JP7316093B2 (ja) 音声雑音除去装置及びプログラム
JP2005114813A (ja) オーディオ信号再生装置及び再生方法
JP2008158300A (ja) 信号処理装置、信号処理方法、再生装置、再生方法、電子機器
JP4641272B2 (ja) デジタルデータ復号化装置
WO2021172054A1 (ja) 信号処理装置および方法、並びにプログラム
JP2008158302A (ja) 信号処理装置、信号処理方法、再生装置、再生方法、電子機器
JP2008028574A (ja) オーディオ処理装置、オーディオ処理方法、プログラム、および集積回路
JP2007178529A (ja) 符号化オーディオ信号再生装置及び符号化オーディオ信号再生方法
JP2006023658A (ja) オーディオ信号符号化装置及びオーディオ信号符号化方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080819

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080903

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090205

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090223

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20090327

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090810

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20090817