JP2004102095A - 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム - Google Patents
信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP2004102095A JP2004102095A JP2002266327A JP2002266327A JP2004102095A JP 2004102095 A JP2004102095 A JP 2004102095A JP 2002266327 A JP2002266327 A JP 2002266327A JP 2002266327 A JP2002266327 A JP 2002266327A JP 2004102095 A JP2004102095 A JP 2004102095A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- input
- frequency component
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/94—Vector quantisation
Abstract
【課題】高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元できるようにする。
【解決手段】低域周波数成分をもつ狭帯域な音声信号が、フレーム切り出し部１１でフレーム化され、ＤＣＴ変換部１２で周波数軸上の信号にスペクトル変換される。クラス分類部１３において、クラスコードが算出され、学習済テーブル１４でクラスコードに対応するアドレスから高域周波数成分のスペクトルデータが抽出される。抽出された高域周波数成分のスペクトルデータは、ＤＣＴ変換部１２から出力された低域周波数成分のスペクトルデータとスペクトル結合部１６で結合される。逆ＤＣＴ変換部で時間軸上の信号に戻された後、フレーム結合部１８でフレーム境界部の処理がなされ、広帯域な音声信号として出力される。本発明は、携帯電話機に適用できる。
【選択図】 図１
【解決手段】低域周波数成分をもつ狭帯域な音声信号が、フレーム切り出し部１１でフレーム化され、ＤＣＴ変換部１２で周波数軸上の信号にスペクトル変換される。クラス分類部１３において、クラスコードが算出され、学習済テーブル１４でクラスコードに対応するアドレスから高域周波数成分のスペクトルデータが抽出される。抽出された高域周波数成分のスペクトルデータは、ＤＣＴ変換部１２から出力された低域周波数成分のスペクトルデータとスペクトル結合部１６で結合される。逆ＤＣＴ変換部で時間軸上の信号に戻された後、フレーム結合部１８でフレーム境界部の処理がなされ、広帯域な音声信号として出力される。本発明は、携帯電話機に適用できる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元するようにした信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
周波数の帯域が狭い音声信号を広帯域に拡張する技術について、これまでもさまざまな提案がなされている。
【０００３】
例えば、特開平７−３６４９０号公報（以下、文献１と称する）には、入力された音声信号スペクトルに基づいて、失われた倍音成分を演算により生成して付加する方法が開示されている。
【０００４】
また、埼玉大学による日本音響学会での論文（以下、文献２と称する）により、入力された音声信号の自己相関演算により、有声音源波形を生成し、これを高域成分として利用する方法が発表されている。
【０００５】
さらに、特開平１１−１２６０９７号公報、特開平１１−６８５１５号公報（以下、文献３と称する）には、入力信号より高い標本化周波数でＤ／Ａ変換を行う際のサンプル値補間方法が開示されている。
【０００６】
また、特開平６−１１８９９５号公報（以下、文献４）には、広帯域音声信号のベクトル量子化コードブックと、狭帯域音声信号のベクトル量子化コードブックを対応付けることにより、広帯域音声信号を復元する方法が開示されている。
【０００７】
【発明が解決しようとする課題】
文献１の技術は、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３）等の比較的広帯域な音声信号において、その圧縮過程で失われた高域信号を予測して付加するものであり、電話音声帯域のような極端に狭帯域化された信号の帯域を、例えば、２倍に拡張する場合には、適用することが困難である。
【０００８】
また、文献２の技術は、有声音のみに対する処理であり、無声音（子音部）の復元ができないという課題がある。
【０００９】
さらに、文献３の技術は、標本化周波数を上げるサンプル値補間処理の際に、補間サンプル値のレベルを前後数サンプルの変化状況を眺めて適切と思われる値に設定する、という補間フィルタの延長線上の技術であり、失われた周波数成分を復元するものではない。
【００１０】
最後の文献４の技術は、処理の中核にＬＰＣ（Ｌｉｎｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）分析および合成処理を使っていることから、入力信号に声道モデルを想定しているものと考えられる。そのため、楽音への適用が困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することができるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の信号処理システムは、第１の信号処理装置は、周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、第１の信号入力手段により入力された第１の信号から高域周波数成分を抽出する抽出手段と、第２の信号入力手段により入力された第２の信号に基づいて、第１のクラスコードを決定する第１の決定手段と、第１の決定手段により決定された第１のクラスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備え、第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な第３の信号を入力する第３の信号入力手段と、第３の信号入力手段により入力された第３の信号に基づいて、第２のクラスコードを決定する第２の決定手段と、第２の決定手段により決定された第２のクラスコードに対応する、蓄積手段により蓄積された高域周波数成分と、第３の信号入力手段により入力された第３の信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。
【００１３】
本発明の信号処理システムの信号処理方法は、第１の信号処理装置は、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、第１のクラスコードを決定する第１の決定ステップと、第１の決定ステップの処理により決定された第１のクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含み、第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な第３の信号の入力を制御する第３の信号入力制御ステップと、第２の信号入力制御ステップの処理により入力が制御された第３の信号に基づいて、第２のクラスコードを決定する第２の決定ステップと、第２の決定ステップの処理により決定された第２のクラスコードに対応する、蓄積ステップの処理により蓄積された高域周波数成分と、第３の信号入力制御ステップの処理により入力が制御された第３の信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００１４】
本発明の第１の信号処理装置は、周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、第１の信号入力手段により入力された第１の信号から高域周波数成分を抽出する抽出手段と、第２の信号入力手段により入力された第２の信号に基づいて、クラスコードを決定する決定手段と、決定手段により決定されたクラスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備えることを特徴とする。
【００１５】
本発明の第１の信号処理方法は、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。
【００１６】
本発明の第１の記録媒体のプログラムは、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。
【００１７】
本発明の第１のプログラムは、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとをコンピュータに実行させることを特徴とする。
【００１８】
本発明の第１の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。
【００１９】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させることができる。
【００２０】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。
【００２１】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分のクラスコードを決定させるようにすることができる。
【００２２】
本発明の第１の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。
【００２３】
本発明の第１の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、クラスコードを決定させるようにすることができる。
【００２４】
本発明の第１の信号処理装置の蓄積手段には、抽出手段により抽出された高域周波数成分を、特定情報に対応付けて蓄積させるようにすることができる。
【００２５】
本発明の第１の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。
【００２６】
本発明の第１の信号処理装置の第１の信号を所定の時間間隔で間引いて第２の信号を生成する生成手段をさらに設けることができる。
【００２７】
本発明の第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な信号を入力する信号入力手段と、信号入力手段により入力された信号に基づいて、クラスコードを決定する決定手段と、高域周波数成分を記憶する記憶手段と、決定手段により決定されたクラスコードに対応する、記憶手段に記憶された高域周波数成分と、信号入力手段により入力された信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。
【００２８】
本発明の第２の信号処理方法は、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００２９】
本発明の第２の記録媒体のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００３０】
本発明の第２のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００３１】
本発明の第２の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。
【００３２】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させるようにすることができる。
【００３３】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。
【００３４】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分のクラスコードを決定させるようにすることができる。
【００３５】
本発明の第２の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。
【００３６】
本発明の第２の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、クラスコードを決定させるようにすることができる。
【００３７】
本発明の第２の信号処理装置の記憶手段により記憶された高域周波数成分は、所定のタイミングで更新させるようにすることができる。
【００３８】
本発明の第２の信号処理装置の記憶手段には、特定情報に対応付けて高域周波数成分を記憶させるようにすることができる。
【００３９】
本発明の第２の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。
【００４０】
本発明の信号処理システムおよび信号処理方法においては、第１の信号処理装置で、周波数成分が広帯域な第１の信号から高域周波数成分が抽出され、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号に基づいて、第１のクラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。第２の信号処理装置で、高域周波数成分が抑圧された狭帯域な第３の信号に基づいて、第２のクラスコードが決定され、第２のクラスコードに対応する蓄積された高域周波数成分と、第３の信号が合成される。
【００４１】
第１の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、周波数成分が広帯域な第１の信号から高域周波数成分が抽出され、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号に基づいて、クラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。
【００４２】
第２の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、高域周波数成分が抑圧された狭帯域な信号に基づいて、クラスコードが決定され、クラスコードに対応する高域周波数成分と、狭帯域な信号が合成され、合成信号が出力される。
【００４３】
信号処理装置は、独立した装置であっても良いし、１つの装置の信号処理を行うブロックであっても良い。
【００４４】
【発明の実施の形態】
図１は、本発明の第１実施の形態である音声広帯域化装置の構成例を示している。
【００４５】
低域周波数成分をもつ（高域周波数成分を有さない）狭帯域な音声信号は、フレーム切り出し部１１に入力される。入力された音声信号は、所定のフレーム（単位時間）でブロック化され、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）変換部１２に出力される。
【００４６】
ＤＣＴ変換部１２は、フレーム切り出し部１１から入力された時間軸上の音声信号を、フレーム毎に周波数軸上の信号にスペクトル変換し、クラス分類部１３とスペクトル結合部１６にそれぞれ出力する。スペクトル変換する方法として、ここでは、両隣のブロックを半分ずつオーバーラップさせるＭ−ＤＣＴ（モデファイドＤＣＴ）変換が用いられる。
【００４７】
上述したＭ−ＤＣＴ変換以外のスペクトル変換としては、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；離散フーリエ変換）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）、または、ＬＰＣなどの方法があり、時間軸上の音声信号を周波数軸上の信号に変換するものであれば、何でもよい。
【００４８】
クラス分類部１３は、入力されたスペクトル信号に基づいて、クラス分類処理（その詳細は、図６を参照して後述する）により、クラスコードを算出し、学習済テーブル１４に出力する。
【００４９】
学習済テーブル１４は、クラスコードをアドレスとしたテーブルメモリであり、それぞれのクラスコードアドレスには、図１０で後述する学習装置によって求められた高域周波数成分の音声信号スペクトルのベクトルデータが格納されている。学習済テーブル１４は、クラス分類部１３から入力されたクラスコードアドレスに対応する高域周波数成分の音声信号スペクトルのベクトルデータを読み出し、ゲイン調整部１５に出力する。
【００５０】
ゲイン調整部１５は、学習済テーブル１４より入力された高域周波数成分の音声信号スペクトルデータのゲインを、スペクトル結合部１６で結合される低域周波数成分の音声信号スペクトルデータのゲインに合うように調整する。
【００５１】
スペクトル結合部１６は、ゲイン調整部１５より入力された高域周波数成分の音声信号スペクトルのベクトルデータを、ＤＣＴ変換部１２より入力された低域周波数成分の音声信号スペクトルのベクトルデータの最終列以降に結合して、逆ＤＣＴ変換部１７に出力する。
【００５２】
逆ＤＣＴ変換部１７は、Ｍ−ＤＣＴ変換の逆変換を行うことによって、周波数軸上のスペクトルデータを時間軸上のスペクトルに変換し、フレーム結合部１８に出力する。
【００５３】
フレーム結合部１８は、音声がフレームの境界部において不連続にならないためのフレームオーバーラップ部分の加算処理を行った後、音声信号を出力する。
【００５４】
図２は、図１のクラス分類部１３の詳細な構成例を示している。
【００５５】
パワー値変換部３１には、ＤＣＴ変換部１２が出力した、Ｍ−ＤＣＴ変換されたＤＣＴスペクトルデータが入力される。入力されたＤＣＴスペクトルデータは、パワー値に変換され、さらにパワーのｄＢ（デシベル）値に変換されて、重み付け処理部３２に出力される。
【００５６】
重み付け処理部３２は、入力されたＤＣＴスペクトルデータに、図７を参照して後述する等ラウドネス特性を考慮した重み付け処理を施し、スペクトル抽出部３３に出力する。
【００５７】
スペクトル抽出部３３は、入力された低域周波数成分のＤＣＴスペクトルデータから、復元する高域周波数成分の最低の周波数の１／２または１／３倍の周波数以上のＤＣＴスペクトルデータを抽出し、サブバンド分割部３４に出力する。
【００５８】
サブバンド分割部３４は、スペクトル抽出部３３において抽出されたＤＣＴスペクトルデータを所定の数のサブバンドに分割して量子化部３５に出力する。
【００５９】
量子化部３５は、サブバンドに分割されたＤＣＴスペクトルデータをサブバンド単位にまとめ、入力された（スペクトル抽出部３３において抽出された）部分のパワー値の平均値を求め、その平均値を量子化してクラスコードを生成するとともに、最大パワー値を取るサブバンド位置を求め、それに基づいてクラスコードを生成する。２つのクラスコードは、クラスコード決定部３６に出力される。
【００６０】
クラスコード決定部３６は、量子化部３５より入力されたパワー平均値に基づくクラスコードと、最大パワー位置に基づくクラスコードを多重化して、１つのクラスコードを生成し、学習済テーブル１４（図１）に出力する。
【００６１】
次に、図３のフローチャートと図４を参照して、音声広帯域化装置１の音声広帯域化処理について説明する。
【００６２】
ステップＳ１において、フレーム切り出し部１１は、音声広帯域化装置１に入力された高域周波数成分が抑圧された音声信号をフレーム化する。すなわち、音声信号は、所定のフレーム（単位時間）毎にブロック化される。
【００６３】
ステップＳ２において、ＤＣＴ変換部１２は、ステップＳ１でフレーム化された音声信号をＭ−ＤＣＴ変換する。図４Ａは、１フレームの音声信号がＭ−ＤＣＴ変換されたデータ（以下、ＤＣＴスペクトルデータと称する）を示している。
【００６４】
ステップＳ３において、クラス分類部１３は、図６を参照して後述するクラス分類処理を行い、クラスコードを算出する。
【００６５】
ステップＳ４において、学習済テーブル１４は、ステップＳ３でクラス分類部１３から出力されたクラスコードに対応するアドレスに記憶されている高域周波数成分スペクトルのＤＣＴベクトルデータを読み出す。図４Ｂは、このようにして読み出された高域周波数成分のＤＣＴスペクトルデータを示している。
【００６６】
ステップＳ５において、スペクトル結合部１６は、音声広帯域化装置１に入力された低域周波数成分のＤＣＴスペクトルデータ（図４ＡにスペクトルＡ１として示される部分）と、学習済テーブル１４から読み出された高域周波数成分のＤＣＴスペクトルデータ（図４ＢにスペクトルＢ１として示される部分）を結合する。すなわち、図４Ｃに示されるように、スペクトルＡ１の後端（周波数の高い側）にスペクトルＢ１の先端（周波数の低い側）が接続される。ＤＣＴ変換部１２が出力する１フレームのデータ数は、Ｎ個であり、学習済テーブル１４より読み出されるデータもＮ個なので、結合されたデータの数は、２Ｎ個となる。
【００６７】
ステップＳ６において、逆ＤＣＴ変換部１７は、スペクトル結合されたＤＣＴスペクトルデータを逆Ｍ−ＤＣＴ変換する。
【００６８】
ステップＳ７において、フレーム結合部１８は、フレームの境界部にオーバーラップの加算処理を施し、出力して、音声広帯域化処理を終了する。このオーバーラップ処理により、音声がフレームの境界部においても不連続にならなくなる。
【００６９】
次に、図３のステップＳ３のクラス分類処理について説明する。
【００７０】
初めに、図５を参照して、クラス分類処理の基本原理について説明する。図５Ａは、バンド幅２Ｂ０の低域周波数成分と高調波成分を有する教師ＤＣＴスペクトルであり、図５Ｂは、教師ＤＣＴスペクトルから高調波成分を削除して生成した、バンド幅Ｂ０の狭帯域な低域周波数成分だけをもつ生徒ＤＣＴスペクトルである。
【００７１】
狭帯域信号に含まれる高域周波数成分の量と、スペクトル形状を復元すべき周波数成分は、リンク関係にあるという前提に基づいて、クラス分類処理は行われる。すなわち、音声信号が、ピッチの周波数とその高調波成分から構成される、というモデルを想定した場合、図５Ｂのバンド幅Ｂ０の約半分の高域側の領域Ｐの２倍、または、３倍の高調波成分に相当する信号が、図５Ａのバンド幅２Ｂ０の約半分の高域側の領域Ｑに含まれることが予想される。反対に、領域Ｐにスペクトルがほとんど存在しないような場合には、領域Ｑにも信号が存在する可能性は低いと予想される。
【００７２】
次に、図６を参照してクラス分類処理について説明する。
【００７３】
ステップＳ２１において、パワー値変換部３１は、ＤＣＴ変換部１２より入力されたスペクトルデータをパワー値に変換し、さらにそのパワー値をｄＢ（デシベル）値に変換する。すなわち、入力されたスペクトルデータｘ［ｋ］（ｋ＝０，１，・・・，Ｎ−１）は、次式
【数１】
により平均パワー値ＰＷＲに変換され、さらに、次式
ＰＷＲｄＢ＝１０ｌｏｇ１０（ＰＷＲ）
によりパワー値ＰＷＲがｄＢ（デシベル）値ＰＷＲｄＢに変換される。
【００７４】
ステップＳ２２において、重み付け処理部３２は、ステップＳ２３で計算されたパワーのデシベル値ＰＷＲｄＢに対し、人間の耳の特性を考慮した重み付け処理を行う。
【００７５】
人間が主観的に感じる音の大きさ（感覚量）と音圧レベル（物理量）の関係は、図７に示されるような等ラウドネス曲線で表すことができる。これは、正常な聴覚をもつ人が、等しい大きさに感じる純音の音圧レベルと周波数の関係を示している。この曲線が示すように、我々人間の耳は、低い周波数や高い周波数では、感度が低くなる。
【００７６】
このような人間の耳の特性に基づいた周波数補正を行う処理が、ステップＳ２２で行われる重み付け処理であり、具体的には、図８に記号Ａで示されるＡ特性カーブと言われる補正が入力信号に施される。
【００７７】
ステップＳ２２で重み付け処理が行われた後、ステップＳ２３において、スペクトル抽出部３３は、入力された低域周波数成分のスペクトルデータから、復元したい高域周波数成分の最低の周波数の１／２または１／３倍の周波数以上のスペクトルデータを抽出し、サブバンド分割部３４に出力する。これは、上述したクラス分類処理の基本原理に基づいて、行われるものである。
【００７８】
すなわち、復元したい高域周波数成分としての図５Ａの領域Ｑの最低の周波数はｆＱであり、低域周波数成分としての図５Ｂのスペクトルデータから、例えば、この周波数ｆＱの１／２の周波数ｆＱ／２以上の領域Ｐのスペクトルが抽出される。
【００７９】
ステップＳ２４において、サブバンド分割部３４は、ステップＳ２３で抽出されたスペクトルデータ（図５Ｂの周波数ｆＱ／２から周波数ｆＱまでの領域Ｐのスペクトルデータ）を、所定の数、例えば、３２個のサブバンドに分割し、サブバンド単位にスペクトルデータをまとめる。
【００８０】
ステップＳ２５において、図９で示されるように、３２個の全体のサブバンドの平均パワー値ＰＡＶと、３２個のサブバンドのなかで、デシベルパワー値ＰＷＲｄＢが最大であるサブバンド位置Ｂｎが求められる。尚、ここで、スペクトルのデシベルパワー値の範囲は、例えば、０乃至１２７［ｄＢ］とされている。
【００８１】
ステップＳ２６において、クラスコード決定部３６は、ステップＳ２５で出力された平均パワー値ＰＡＶによるクラスコードと、最大パワー位置Ｂｎによりクラスコードを多重化する。図９の例では、最大パワー位置Ｂｎによるクラスコードは、０乃至３１の３２通りあり、平均パワー値ＰＡＶによるクラスコードは、０乃至１２７までの１２８通りが考えられる。従って、合成されたクラスコードの数は、３２×１２８＝４０９６通りとなる。４０９６通りのいずれか１つが、クラスコードとして出力される。
【００８２】
尚、スペクトル形状をモデル化する方法としては、上述した他に、複数のスペクトルピークを検出したり、スペクトルの傾斜やパワー分布を検出したり、あるいは、サブバンド数を変えるなどの方法も考えられる。
【００８３】
次に、図１の音声広帯域化装置１の学習済テーブル１４に書き込まれる、クラスコード毎に記憶された高域周波数成分のベクトルデータを生成する学習装置について、図１０を参照して説明する。この学習装置５０は、例えば、音声広帯域化装置１を製作するメーカが有している。
【００８４】
初めに、教師データとなる高域周波数成分を含む広帯域な音声信号と、生徒データとして、教師データの高域周波数成分が抑圧された狭帯域な音声信号が用意される。図１０の例では、生徒データは、間引き回路６５により、教師データ高域周波数成分を除去して生成した低域周波数成分を半分にサンプル間引きして生成されている。
【００８５】
したがって、フレーム切り出し部６６に入力される生徒データのフレーム長をＮとすると、フレーム切り出し部６１に入力される教師データのフレーム長は、２Ｎとなる。また、このときの各フレームのデータは同期している。
【００８６】
フレーム切り出し部６１とフレーム切り出し部６６、および、ＤＣＴ変換部６２とＤＣＴ変換部６７の機能は、図１のフレーム切り出し部１１、および、ＤＣＴ変換部１２のそれと同様である。
【００８７】
高域周波数成分抽出部６３は、教師データのスペクトルのうち、高周波側の半分を抽出し、加算部６４に出力する。
【００８８】
クラス分類部６８は、図１のクラス分類部１３で上述したのと同様のクラスコードを生成するとともに、さらに、クラス出現頻度を計算し、積算テーブル６９に出力する。
【００８９】
積算テーブル６９は、クラス分類部６８が出力したクラスコードをアドレスとして入力し、そのアドレスに格納されているＤＣＴベクトルデータを読み出して、加算部６４に出力する。加算部６４は、高域周波数成分抽出部６３から出力されたＮ個の高域周波数成分のＤＣＴベクトルデータと、積算テーブル６９から出力されたＮ個のＤＣＴベクトルデータをベクトル加算し、その結果を積算テーブル６９が出力した際と同じクラスコードアドレスの場所に出力する。１つのクラスコードアドレスには、Ｎ個のＤＣＴベクトルデータが格納されるため、積算テーブル６９は、（Ｎ×クラス数）のデータ数をもつテーブルとなる。また、所定のタイミングにおいて、積算テーブル６９は、それぞれのクラスコードアドレスに格納されているベクトルデータをクラス分類部６８から出力されたクラス出現頻度で除算し、学習済テーブル７０に出力する。
【００９０】
学習済テーブル７０は、積算テーブル６９から出力された（Ｎ×クラス数）個のＤＣＴベクトルデータを記憶する。学習済テーブル７０のデータは、ネットワークを介して、音声広帯域化装置１に転送され、学習済テーブル１４に記憶される。あるいはまた、学習済テーブル７０のデータは、半導体メモリ等に書き込まれ、音声広帯域化装置１の学習済テーブル１４として組み込まれる。
【００９１】
学習装置５０のクラス分類部６８の構成は、音声広帯域化装置１のクラス分類部１３のそれと同様なため、図２のクラス分類部１３の構成は、必要に応じて、図１０のクラス分類部６８の構成としても適宜引用する。
【００９２】
次に、図１１のフローチャートを参照して学習装置５０の学習処理について説明する。
【００９３】
ステップＳ５１において、教師データのスペクトルと生徒データのスペクトルがフレーム化される。すなわち、フレーム切り出し部６１は、入力された教師データを単位時間毎にフレーム化し、１フレームについて２Ｎ個のサンプリングを行う。間引き回路６５は、教師データから低域周波数成分だけを抽出し、その低域周波数成分を１つおきに間引くことで生徒データを生成する。フレーム切り出し部６６は、生徒データを単位時間毎にフレーム化し、１フレームについてＮ個のサンプリングを行う。
【００９４】
ステップＳ５２において、ＤＣＴ変換部６２とＤＣＴ変換部６７は、教師データと生徒データをそれぞれＭ−ＤＣＴ変換する。図１２Ａは、教師データをＭ−ＤＣＴ変換した後のＤＣＴスペクトルデータを示しており、図１２Ｂは、生徒データをＭ−ＤＣＴ変換した後のＤＣＴスペクトルデータを示している。両者を比較して明らかなように、図１２Ｂの生徒データのＤＣＴスペクトラムは、図１２Ａの教師データのＭ−ＤＣＴスペクトラムの低域周波数成分に対応している。
【００９５】
ステップＳ５３において、クラス分類部６８は、生徒データのスペクトルに基づいて、図１３を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を計算し、積算テーブル６９に出力する。
【００９６】
ステップＳ５４において、積算テーブル６９は、クラス分類部６８が出力したクラスコードに対応するアドレスに格納されているベクトルデータを読み出す。
【００９７】
ステップＳ５５において、高域周波数成分抽出部６３は、ＤＣＴ変換部６２より入力された教師データの高域周波数成分を抽出する。図１２Ｃは、抽出された高域周波数成分のＤＣＴスペクトルを示す。これは、図１２Ａの教師データのＤＣＴスペクトルの全体のなかの、高域周波数側の部分Ｒに相当する。
【００９８】
ステップＳ５６において、加算部６４は、ステップＳ５４で積算テーブル６９から読み出されたベクトルデータ（図１２Ｄに示されるデータ）と、ステップＳ５５で教師データから抽出された高域周波数成分のベクトルデータ（図１２Ｃに示されるデータ）をベクトル加算する。図１２Ｅは、ステップＳ５６でベクトル加算された後のＤＣＴスペクトルデータを示している。
【００９９】
ステップＳ５７において、加算部６４は、ステップＳ５６で算出したベクトルデータ（図１２Ｅに示されるデータ）を、積算テーブル６９の読み出した時と同じクラスコードのアドレスの場所に格納する。
【０１００】
ステップＳ５８において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップＳ５１に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップＳ５９に進める。
【０１０１】
ステップＳ５８で学習処理が終了したと判断された場合、ステップＳ５９において、積算テーブル６９は、それぞれのクラスコードのアドレスに有するＮ個のベクトルデータを、クラス分類部６８から出力された、対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル７０に出力し、記憶させて学習処理を終了する。図１２Ｆは、学習済テーブル７０の１つのクラスコードのアドレスに格納されたＮ個のベクトルデータの例を示している。
【０１０２】
次に、図１３のフローチャートを参照して、図１１のステップＳ５３のクラス分類処理について説明する。
【０１０３】
ステップＳ７１乃至ステップＳ７６の処理は、図６の音声広帯域化装置におけるクラス分類処理のステップＳ２１乃至ステップＳ２６と同様であるため、説明は省略するが、これらの処理により、生徒データの平均パワー値ＰＡＶに基づくクラスコードと、最大パワーの一Ｂｎに基づくクラスコードが多重化される。
【０１０４】
ステップＳ７７において、クラスコード決定部３６（図２の音声広帯域化装置１のそれと同様）は、ステップＳ７６で決定されたクラスコードのカウントを１だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テーブル６９に出力し、クラス分類処理を終了する。
【０１０５】
このように、音声広帯域化装置１のクラス分類処理と、学習装置５０のクラス分類処理は、クラスコードを算出するまでは同様であり、その後、クラス出現頻度を計算するか否かだけが異なる。
【０１０６】
図１４は、本発明の第２実施の形態である画像信号広帯域化装置の構成例を示している。上述の音声信号広帯域化装置１は、入力信号が１次元の音声信号であり、フレーム単位で処理を行うのに対して、画像信号広帯域化装置８０は、入力信号が２次元の画像信号であるので、ブロック（例えば、８×８画素）単位で処理を行うこととなる。図１４のブロック切り出し部９１、ＤＣＴ変換部９２、クラス分類部９３、学習済テーブル９４、結合部９５、および逆ＤＣＴ変換部９６は、図１のフレーム切り出し部１１、ＤＣＴ変換部１２、クラス分類部１３、学習済テーブル１４、スペクトル結合部１６、および逆ＤＣＴ変換部１７と基本的に同様の機能を有するものであるため、その説明は省略する。なお、図１で示されているゲイン調整部１５とフレーム結合部１８は、画像信号の場合、必ずしも必要でないため省略されている。
【０１０７】
図１５は、図１４のクラス分類部９３の詳細な構成例を示している。
【０１０８】
パワー値変換部１０１には、ＤＣＴ変換部９２よりＭ−ＤＣＴ変換されたＤＣＴデータが入力される。入力されたＤＣＴデータは、上述の音声広帯域化装置１と同様に、パワー値に変換され、さらにパワーのデシベル値に変換されて、量子化部１０２に出力される。
【０１０９】
量子化部１０２は、ＤＣＴブロック内のＤＣＴデータについて、直流成分のパワー値と、交流成分の平均パワー値、交流成分のピーク値を取るＤＣＴデータの位置を算出し、それらに基づくクラスコードを生成して、クラスコード決定部１０３に出力する。
【０１１０】
クラスコード決定部１０３は、入力されたＤＣＴブロックの量子化データに基づくクラスコードを多重化して、１つのクラスコードとし、学習済テーブル９４（図１４）に出力し、記憶させる。
【０１１１】
次に、画像広帯域化装置８０の画像広帯域化処理について説明するが、フローチャートは、図３の音声広帯域化装置１のそれと同様であるので、図３のフローチャートを引用して説明する。
【０１１２】
ステップＳ１において、ブロック切り出し部９１は、画像信号広帯域化装置８０に入力された高域周波数成分の抑圧された画像信号をブロック単位（例えば、２×２画素）に切り出す。
【０１１３】
ステップＳ２において、ＤＣＴ変換部９２は、ステップＳ１でブロック化された画像信号をＭ−ＤＣＴ変換する。図１６Ａは、１つのブロックの画像信号がＭ−ＤＣＴ変換されたデータ（以下、ＤＣＴデータと称する）を示している。
【０１１４】
ステップＳ３において、クラス分類部９３は、図１７を参照して後述するクラス分類処理を行い、クラスコードを算出する。
【０１１５】
ステップＳ４において、学習済テーブル９４は、ステップＳ３でクラス分類部９３から出力されたクラスコードに対応するアドレスに格納されているＤＣＴ係数のベクトルデータを読み出す。図１６Ｂは、このとき読み出された高域周波数成分のＤＣＴ係数のベクトルデータを示している。
【０１１６】
ステップＳ５において、結合部９５は、画像信号広帯域化装置８０に入力された低域周波数成分のＤＣＴデータ（図１６Ａ）と、学習済テーブル９４から読み出された高域周波数成分のＤＣＴデータ（図１６Ｂ）をベクトル加算する。図１６Ｃは、結合されたＤＣＴブロックデータを示している。
【０１１７】
ステップＳ６において、逆ＤＣＴ変換部９６は、結合されたＤＣＴデータを逆Ｍ−ＤＣＴ変換する。
【０１１８】
ステップＳ７のオーバーラップ処理は、上述したように画像信号の場合、必ずしも行う必要はないので、ステップＳ７の処理を行わず画像信号広帯域化処理を終了する。
【０１１９】
次に、図１７のフローチャートを参照して、クラス分類部９３が行うクラス分類処理について説明する。
【０１２０】
ステップＳ９１において、パワー値変換部１０１は、ＤＣＴ変換部９２より入力されたＤＣＴデータをパワー値に変換し、さらにパワーのデシベル値に変換する。この処理は、上述の音声信号の場合と同様である。
【０１２１】
ステップＳ９２において、量子化部１０２は、ＤＣＴブロックデータの交流平均パワー値と直流パワー値を算出し、交流成分ピークパワー位置を検出する。例えば、図１８に示されるような４×４画素のＤＣＴブロックＢＬが入力され、それぞれの画素のＤＣＴデータは、ｃ［ｎ］で、そのパワーの範囲は、０乃至１２７［ｄＢ］とする。交流平均パワー値は、図１８の領域ＡＣ内のＤＣＴデータｃ［１］乃至ｃ［１５］の平均値であり、直流パワー値は、図１８の領域ＤＣ内のＤＣＴデータｃ［０］の値である。また、交流成分ピークパワー位置は、ＤＣＴデータｃ［１］乃至ｃ［１５］のうちの、パワー値が最大であるｎ（１乃至１５のいずれか）となる。
【０１２２】
ステップＳ９３において、クラス分類部９３は、ステップＳ９２で求められた３つの値に基づくクラスコードを、１つのクラスコードとして多重化し、学習済テーブル９４に出力してクラス分類処理を終了する。クラスコードは、上述の例の場合、交流平均パワー値に基づくクラスの数１２８通り、直流パワー値に基づくクラスの数１２８通り、交流成分ピークパワー位置に基づくクラスの数１５通りであるので、合わせて１２８×１２８×１５＝２４５７６０通りのうちのいずれかとなる。
【０１２３】
図１９は、画像信号広帯域化装置８０の学習済テーブル９４に書き込まれる、クラスコード毎に記憶された高域周波数成分のベクトルデータを生成する学習装置１２０の構成例である。図１９のブロック切り出し部１３１、ＤＣＴ変換部１３２、高域周波数成分抽出部１３３、加算部１３４、間引き回路１３５、ブロック切り出し部１３６、ＤＣＴ変換部１３７、クラス分類部１３８、および積算テーブル１３９は、図１０のフレーム切り出し部６１、ＤＣＴ変換部６２、高域周波数抽出部６３、加算部６４、間引き回路６５、フレーム切り出し部６６、ＤＣＴ変換部６７、クラス分類部６８、および積算テーブル６９と基本的に同様の構成と機能を有するのもであるため、その説明は省略する。
【０１２４】
次に、学習装置１２０の学習処理について説明するが、フローチャートは、図１１の音声広帯域化装置１のそれと同様であるので、図１１のフローチャートを引用して説明する。
【０１２５】
ステップＳ５１において、教師データのＤＣＴデータと生徒データのＤＣＴデータがブロックに切り出される。すなわち、ブロック切り出し部１３１は、入力された教師データを、２Ｎ×２Ｎ画素毎にブロック化する。間引き回路１３５は、教師データから、低域周波数成分だけを抽出し、その低域周波数成分を、水平方向と垂直方向のそれぞれにおいて、１つおきに間引くことで、生徒データを生成する。ブロック切り出し部１３６は、生徒データをＮ×Ｎ画素毎にブロック化する。
【０１２６】
ステップＳ５２において、ＤＣＴ変換部１３２とＤＣＴ変換部１３７は、教師データと生徒データをそれぞれＭ−ＤＣＴ変換する。図２０Ａは、教師データをＭ−ＤＣＴ変換した後のＤＣＴデータ（４×４個のデータ）を示しており、図２０Ｂは、生徒データをＭ−ＤＣＴ変換した後のＤＣＴデータ（２×２個のデータ）を示している。
【０１２７】
ステップＳ５３において、クラス分類部１３８は、生徒データとしてのＤＣＴデータに対して図２１を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を算出し、積算テーブル１３９に出力する。
【０１２８】
ステップＳ５４において、積算テーブル１３９は、クラス分類部１３８が出力したクラスコードに対応するアドレスに格納されているベクトルデータを読み出す。
【０１２９】
ステップＳ５５において、高域周波数成分抽出部１３３は、教師データの高域周波数成分を抽出する。図２０Ｃは、抽出された高域周波数成分を示し、これは、図２０Ａの教師データの全体のなかの部分Ｐ（４×４画素のうち、左上の２×２画素を除く部分）に相当する。
【０１３０】
ステップＳ５６において、加算部１３４は、ステップＳ５４で積算テーブル１３９から読み出されたベクトルデータ（図２０Ｄに示されるデータ）と、ステップＳ５５で教師データから抽出された高域周波数成分のベクトルデータ（図２０Ｃに示されるデータ）をベクトル加算する。図２０Ｅは、ステップＳ５６でベクトル加算された後のＤＣＴデータを示している。
【０１３１】
ステップＳ５７において、加算部１３４は、ステップＳ５６で算出したベクトルデータ（図２０Ｅに示されるデータ）を、積算テーブル１３９の読み出した時と同じクラスコードのアドレスの場所に格納する。
【０１３２】
ステップＳ５８において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップＳ５１に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップＳ５９に進める。
【０１３３】
ステップＳ５８で学習処理が終了したと判断された場合、ステップＳ５９において、積算テーブル１３９は、それぞれのクラスコードのアドレスに有する（３Ｎ×Ｎ）個のベクトルデータを、クラス分類部１３８から出力された対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル１４０に出力して処理を終了する。図２０Ｆは、学習済テーブル１４０の１つのクラスコードのアドレスに格納された（３Ｎ×Ｎ）個のベクトルデータをＤＣＴブロックとして示したものである。
【０１３４】
次に、図２１のフローチャートを参照して、図１９のクラス分類部１３８が行うクラス分類処理について説明する。
【０１３５】
ステップＳ１０１乃至ステップＳ１０３の処理は、図１７の画像信号広帯域化装置におけるクラス分類処理のステップＳ９１乃至ステップＳ９３と同様であるため、その説明は省略する。すなわち、クラスコードを算出する処理は、画像信号広帯域化装置と同様に行われる。この処理により、交流平均パワー値、直流パワー値、および交流成分ピークパワー位置に基づくクラスコードが１つのクラスコードとして多重化される。
【０１３６】
ステップＳ１０４において、クラスコード決定部１０３は、ステップＳ１０３で決定されたクラスコードのカウントを１だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テーブル１３９に出力し、クラス分類処理を終了する。
【０１３７】
図２２は、本発明を適用した第３実施の形態の伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の構成を示している。
【０１３８】
この伝送システムでは、携帯電話機３０１１と３０１２が、基地局３０２１と３０２２それぞれとの間で、無線による送受信を行うとともに、基地局３０２１と３０２２それぞれが、交換局３０３との間で送受信を行うことにより、最終的には、携帯電話機３０１１と３０１２との間において、基地局３０２１および３０２２、並びに交換局３０３を介して、音声の送受信を行うことができるようになっている。なお、基地局３０２１と３０２２は、同一の基地局であっても良いし、異なる基地局であっても良い。
【０１３９】
ここで、以下、特に区別する必要がない限り、携帯電話機３０１１と３０１２を、携帯電話機３０１と記述する。
【０１４０】
図２３は、図２２の携帯電話機３０１１の構成例を示している。なお、携帯電話機３０１２も、以下説明する携帯電話機３０１１と同様に構成されるため、その説明は省略する。
【０１４１】
アンテナ３１１は、基地局３０２１または３０２２からの電波を受信し、その受信信号を、変復調部３１２に供給するとともに、変復調部３１２からの信号を、電波で、基地局３０２１または３０２２に送信する。変復調部３１２は、アンテナ３１１からの信号を、例えば、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式等によって復調し、その結果得られる復調信号を、受信部３１４に供給する。また、変復調部３１２は、送信部３１３から供給される送信データを、例えば、ＣＤＭＡ方式等で変調し、その結果得られる変調信号を、アンテナ３１１に供給する。送信部３１３は、そこに入力されるユーザの音声を符号化する等の所定の処理を行い、送信データを得て、変復調部３１２に供給する。受信部３１４は、変復調部３１２からの復調信号である受信データを受信し、高音質の音声を復号して出力する。
【０１４２】
操作部３１５は、発呼先の電話番号や、所定のコマンド等を入力するときに、ユーザによって操作され、その操作に対応する操作信号は、送信部３１３や受信部３１４に供給される。
【０１４３】
なお、送信部３１３と受信部３１４との間では、必要に応じて情報をやりとりすることができるようになっている。
【０１４４】
図２４は、図２３の送信部３１３の構成例を示している。
【０１４５】
マイクロホン３２１には、ユーザの音声が入力され、マイクロホン３２１は、そのユーザの音声を、電気信号としての音声信号として、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３２２に出力する。Ａ／Ｄ変換部３２２は、マイクロホン３２１からのアナログの音声信号をＡ／Ｄ変換することにより、デジタルの音声データとし、符号化部３２３に出力する。
【０１４６】
符号化部３２３は、Ａ／Ｄ変換部３２２からの音声データを所定の符号化方式によって符号化するとともに、クラスコードを多重化し、その結果得られる符号化音声データを、送信制御部３２４に出力する。
【０１４７】
管理部３２７は、操作部３１５が操作されることによって入力される、発信先の電話番号や発信元である自身の電話番号、その他の必要な情報を、必要に応じて管理し、符号化部３２３と送信制御部３２４に出力する。
【０１４８】
送信制御部３２４は、符号化部３２３が出力する符号化音声データと、管理部３２７が出力するデータの送信制御を行う。即ち、送信制御部３２４は、符号化部３２３が出力する符号化音声データ、または管理部３２７が出力するデータを選択し、所定の送信タイミングにおいて、送信データとして、変復調部３１２（図２３）に出力する。
【０１４９】
図２５は、図２３の受信部３１４の構成例を示している。
【０１５０】
図２３の変復調部３１２が出力する復調信号としての受信データは、受信制御部３３１に供給され、受信制御部３３１は、その受信データを受信する。そして、受信制御部３３１は、受信データが符号化音声データである場合には、その符号化音声データを、復号部３３２に供給する。あるいは、その受信データが、発信元の電話番号その他の情報である場合には、受信制御部３３１は、そのような情報を、必要に応じて、管理部３３５や、送信部３１３（の管理部３２７）に供給する。
【０１５１】
復号部３３２は、受信制御部３３１から供給される符号化音声データを、クラスコードと分離し、また、高域周波数成分を付加し、その結果得られる復号音声データを、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部３３３に供給する。
【０１５２】
Ｄ／Ａ変換部３３３は、復号部３３２が出力するデジタルの復号音声データをＤ／Ａ変換し、その結果得られるアナログの音声信号を、スピーカ３３４に供給する。スピーカ３３４は、Ｄ／Ａ変換部３３３からの音声信号に対応する音声を出力する。
【０１５３】
管理部３３５は、着呼時に、受信制御部３３１から、発信元の電話番号を受信し、その電話番号を復号部３３２に供給する。
【０１５４】
図２６と図２７は、学習済テーブルが固定の情報として与えられる場合の符号化部３２３と復号部３３２の構成例を示している。
【０１５５】
初めに、図２６の符号化部３２３の構成について説明する。
【０１５６】
フレーム切り出し部３５１とＤＣＴ変換部３５２の機能は、図１の音声広帯域化装置１のフレーム切り出し部１１とＤＣＴ変換部１２のそれと同様であるので、その説明は省略する。
【０１５７】
高域周波数成分除去部３５３は、入力されたＤＣＴスペクトルデータの高域周波数成分を除去して生成した低域周波数成分を、クラス分類部３５４とクラスコード多重化部３５５に出力する。圧縮率は、高域周波数成分の除去率に依存し、例えば、帯域を半分に圧縮すれば１／２のデータ量となるが、これに後述するクラスコード多重化部３５５において多重化されるクラスコードの数ワード分を付加したものが最終的なデータ量となる。
【０１５８】
クラス分類部３５４は、高域周波数成分除去部３５３から入力された低域周波数成分のＤＣＴスペクトルデータに対して、音声広帯域化装置１のクラス分類部１３における場合と同様のクラス分類処理を施し、クラスコードをクラスコード多重化部３５５に出力する。
【０１５９】
クラスコード多重化部３５５は、クラス分類部３５４から出力されたクラスコードと、高域周波数成分除去部３５３から出力された低域周波数成分のＤＣＴスペクトルデータを多重化し、逆ＤＣＴ変換部３５６に出力する。クラスコードを低域周波数成分のＤＣＴスペクトルデータと多重化することで、クラスコードの符号伝送路でのエラー耐性を高めることが可能であるとともに、後述する復号部３３２（図２７）において、再度クラス分類処理を行って求められたクラスコードと、多重化されたクラスコードの一致度を調べることにより、多重化されたクラスコードのエラー検出や修正を行うことも可能である。
【０１６０】
逆ＤＣＴ変換部３５６は、入力されたクラスコードと低域周波数成分のＤＣＴスペクトルデータが多重化されたデータを逆Ｍ−ＤＣＴ変換し、フレーム結合部３５７に出力する。
【０１６１】
フレーム結合部３５７は、音声広帯域化装置１のフレーム結合部１８における場合と同様のフレームオーバーラップの処理を施し、符号化音声データとして送信制御部３２４（図２４）に出力する。
【０１６２】
次に、図２７の復号部３３２の構成について説明する。
【０１６３】
フレーム切り出し部３７１とＤＣＴ変換部３７２は、図１の音声広帯域化装置１のフレーム切り出し部１１とＤＣＴ変換部１２と同様の機能を有するものであるので、その説明は省略する。
【０１６４】
クラスコード分離部３７３は、多重化されたＤＣＴスペクトルデータを、クラスコードと、低域周波数成分のＤＣＴスペクトルデータに分離し、低域周波数成分のＤＣＴスペクトルデータをスペクトル結合部３７６に出力し、クラスコードを学習済テーブル３７４に出力する。
【０１６５】
学習済テーブル３７４は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスに格納されている高域周波数成分のＤＣＴスペクトルデータを読み出し、ゲイン調整部３７５に出力する。
【０１６６】
ゲイン調整部３７５は、音声広帯域化装置１のゲイン調整部１５と同様に、スペクトル結合部３７６で結合される低域周波数成分スペクトルのゲインと合うように、学習済テーブル３７４から出力された高域周波数成分のスペクトルをゲイン調整し、スペクトル結合部３７６に出力する。
【０１６７】
スペクトル結合部３７６は、クラスコード分離部３７３から出力された低域周波数成分のＤＣＴスペクトルデータと、ゲイン調整部３７５から出力された高域周波数成分のＤＣＴスペクトルデータを結合し、逆ＤＣＴ変換部３７７に出力する。
【０１６８】
逆ＤＣＴ変換部３７７は、入力されたスペクトルデータの逆Ｍ−ＤＣＴ変換を行い、フレーム結合部３７８に出力する。
【０１６９】
フレーム結合部３７８は、フレームオーバーラップの処理を行い、広帯域な音声信号として、Ｄ／Ａ変換部３３３に出力する。
【０１７０】
一方、図２８と図２９は、高域周波数成分のスペクトルデータを蓄積する学習済テーブルが発信元の電話番号ごとに対応付けて記憶され、使用するたびに通話者に対するテーブル情報を更新するようにした場合の、符号化部３２３と復号部３３２の構成例を示している。なお、図中、図２６と図２７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、省略する。
【０１７１】
初めに、図２８の符号化部３２３の構成について説明する。
【０１７２】
スペクトル分割部３８１は、入力されたＤＣＴスペクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ３８２に出力し、低域周波数成分をクラス分類部３５４とクラスコード多重化部３５５に出力する。
【０１７３】
クラス分類部３５４は、クラスコードを算出し、そのクラスコードをテーブルメモリ３８２とクラスコード多重化部３５５に出力する。
【０１７４】
テーブルメモリ３８２は、クラス分類部３５４が出力したクラスコードに対応するアドレスに、スペクトル分割部３８１より入力された高域周波数成分のＤＣＴスペクトルデータを格納する。このテーブルメモリの内容は、所定のタイミングにおいて、後述する復号部３３２のテーブルメモリ３９１（図２９）に転送される。
【０１７５】
以上のように構成される符号化部３２３においては、通話がなされるたびに、テーブルメモリ３８２に、通話者ごとの高域周波数成分のスペクトルデータが蓄積されていくこととなる。テーブルメモリ３８２の内容は、一種の統計情報であるため、情報を入力すればするほど、クラスコード単位で適切な偏りに収束していくことが予想され、この効果により、使用回数が増えていくと、より高精度な復号がなされるようになっていくことになる。図２８のその他の構成は、図２６における場合と同様である。
【０１７６】
次に、図２９の復号部３３２の構成について説明する。
【０１７７】
テーブルメモリ３９１は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスとして指定された位置に格納されている高域周波数成分のＤＣＴスペクトルデータを読み出し、ゲイン調整部３７５に出力する。
【０１７８】
以下において、図２８と図２９の構成で示される、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合の携帯電話機３０１の動作について説明する。
【０１７９】
初めに、図３０のフローチャートを参照して、発信元である携帯電話機３０１１の送信部３１３が行う送信処理について説明する。
【０１８０】
ステップＳ２０１で、ユーザが、操作部３１５（図２３）を操作して、着信側としての携帯電話機３０１２の電話番号を入力すると、管理部３２７は、通話の開始を検出する。
【０１８１】
ステップＳ２０２で、送信部３１３は、図３１を参照して後述するメモリデータ送信処理を行う。すなわち、送信部３１３は、テーブルメモリ３８２（図２８）に記憶された高域周波数成分スペクトルのＤＣＴベクトルデータを、着信側の携帯電話機３０１２のテーブルメモリ３９１（図２９）に送信し、音声通話に切り換える。
【０１８２】
ステップＳ２０３で、マイクロホン３２１は、ユーザの音声を入力する。
【０１８３】
ステップＳ２０４で、Ａ／Ｄ変換部３２２は、マイクロホン３２１から入力された音声信号をＡ／Ｄ変換し、デジタルの音声信号として、符号化部３２３に出力する。
【０１８４】
ステップＳ２０５で、符号化部３２３は、符号化処理を行う。その詳細は、図３２を参照して後述するが、この処理により、Ａ／Ｄ変換部３２２より入力された音声信号が、高域周波数成分と低域周波数成分に分割される。そして、高域周波数成分は、テーブルメモリ３８２に記憶され、低域周波数成分は、クラスコードと多重化されて、符号化音声データとして、送信制御部３２４に出力される。
【０１８５】
ステップＳ２０６で、送信制御部３２４は、符号化部３２３から入力された符号化音声データを変復調部３１２（図２３）に送信する。
【０１８６】
ステップＳ２０７で、管理部３２７は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部３２７は、処理をステップＳ２０３に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部３２７は、送信処理を終了する。
【０１８７】
次に、図３１のフローチャートを参照して、図３０のステップＳ２０２における、メモリデータ送信処理について説明する。
【０１８８】
ステップＳ２２１において、送信制御部３２４が、操作部３１５が操作されることにより入力された携帯電話機３０１２の電話番号を、送信データとして出力することにより、携帯電話機３０１２の呼び出しが行われる。
【０１８９】
そして、携帯電話機３０１２のユーザが、携帯電話機３０１１からの呼び出しに応じて、操作部３１５を操作することにより、携帯電話機３０１２をオフフック状態にすると、ステップＳ２２２に進み、送信制御部３２４は、着信側の携帯電話機３０１２との間の通信リンクを確立し、ステップＳ２２３に進む。
【０１９０】
ステップＳ２２３では、管理部３２７は、符号化部３２３のテーブルメモリ３８２に記憶されているデータを読み出し、送信制御部３２４に供給する。さらに、ステップＳ２２３では、送信制御部３２４が、管理部３２７からのメモリデータを選択し、送信データとして送信する。なお、メモリデータは、そのメモリデータが学習によって得られた日時を表す更新情報とともに送信される。
【０１９１】
その後、ステップＳ２２３からＳ２２４に進み、管理部３２７は、準備完了通知が、着信側の携帯電話機３０１２から送信されてきたかどうかを判定する。
【０１９２】
即ち、着信側の携帯電話機３０１２は、通常の音声通話が可能な状態になると、音声通話の準備が完了したことを表す準備完了通知を送信するようになっており（後述する図３４のステップＳ２７７）、ステップＳ２２４では、そのような準備完了通知が、携帯電話機３０１２から送信されてきたかどうかが判定される。
【０１９３】
ステップＳ２２４において、準備完了通知が送信されてきていないと判定された場合、ステップＳ２２４に戻り、準備完了通知が送信されてくるまで待つ。
【０１９４】
そして、ステップＳ２２４において、準備完了通知が送信されてきたと判定された場合、ステップＳ２２５に進み、送信制御部３２４は、符号化部３２３の出力を選択することにより、音声通話が可能な状態となって、メモリデータ送信処理を終了する。
【０１９５】
次に、図３２のフローチャートを参照して、図３０のステップＳ２０５における、符号化処理について説明する。
【０１９６】
ステップＳ２３１において、フレーム切り出し部３５１は、Ａ／Ｄ変換部３２２より入力された音声信号をフレーム化する。ここで入力される音声信号は、高域周波数成分と低域周波数成分の両方を有している。
【０１９７】
ステップＳ２３２において、ＤＣＴ変換部３５２は、ステップＳ２３１でフレーム化された音声信号をＭ−ＤＣＴ変換し、ＤＣＴスペクトルデータとして、スペクトル分割部３８１に出力する。
【０１９８】
ステップＳ２３３において、スペクトル分割部３８１は、ＤＣＴスペクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ３８２に出力し、低域周波数成分をクラス分類部３５４に出力する。
【０１９９】
ステップＳ２３４において、クラス分類部３５４は、クラス分類処理により、クラスコードを決定し、クラスコード多重化部３５５とテーブルメモリ３８２に出力する。ここにおけるクラス分類処理は、図６において上述した音声広帯域化装置１のクラス分類処理と同様であるため、その説明は省略する。
【０２００】
ステップＳ２３５において、テーブルメモリ３８２は、クラス分類部３５４が出力したクラスコードに対応するアドレスに、スペクトル分割部３８１から入力された高域周波数成分のＤＣＴスペクトルデータを格納する。
【０２０１】
ステップＳ２３６において、クラスコード多重化部３５５は、クラス分類部３５４から入力されたクラスコードと、スペクトル分割部３８１から入力された低域周波数成分のＤＣＴスペクトルデータを多重化し、逆ＤＣＴ変換部３５６に出力する。
【０２０２】
ステップＳ２３７において、逆ＤＣＴ変換部３５６は、多重化された低域周波数成分のＤＣＴスペクトルデータを逆ＤＣＴ変換する。
【０２０３】
最後に、ステップＳ２３８において、フレーム結合部３５７は、オーバーラップの処理を施し、符号化音声データを作成する。
【０２０４】
次に、以上の送信側である携帯電話機３０１１が行う図３０の送信処理に対応して、着信側である携帯電話機３０１２の受信部３１４が行う受信処理について、図３３を参照して説明する。
【０２０５】
ステップＳ２５１において、管理部３３５は、受信制御部３３１を介して電波の受信を検知する。
【０２０６】
ステップＳ２５２において、受信部３１４は、図３４を参照して後述するメモリデータ更新処理を行う。すなわち、受信部３１４は、テーブルメモリ３９１（図２９）に記憶された高域周波数成分スペクトルのＤＣＴベクトルデータを更新し、音声通話（符号化音声データ）に切り換える。
【０２０７】
ステップＳ２５３において、受信制御部３３１に入力される受信データが、符号化音声データに切り換えられると、受信制御部３３１は、その符号化音声データを復号部３３２に出力する。
【０２０８】
ステップＳ２５４において、復号部３３２は、復号処理を行う。その詳細は、図３５を参照して後述するが、この処理により、復号部３３２は、クラスコードが多重化された符号化音声データを、クラスコードと低域周波数成分に分離し、クラスコードに対応するアドレスに記憶された高域周波数成分を読み出し、低域周波数成分と結合して、広帯域な音声信号として出力する。
【０２０９】
ステップＳ２５５において、Ｄ／Ａ変換部３３３は、復号部３３２より入力された広帯域な音声信号をＤ／Ａ変換し、スピーカ３３４に出力する。
【０２１０】
ステップＳ２５６において、スピーカ３３４は、Ｄ／Ａ変換部３３３より入力されたアナログの音声信号を出力する。
【０２１１】
ステップＳ２５７において、管理部３３５は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部３３５は、処理をステップＳ２５３に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部３３５は、受信処理を終了する。
【０２１２】
次に、図３４のフローチャートを参照して、図３３のステップＳ２５２におけるメモリデータ更新処理について説明する。
【０２１３】
ステップＳ２７１において、受信制御部３３１は、ユーザが操作部３１５を操作することによりオフフック状態としたかどうかを判定し、オフフック状態とされていないと判定した場合、ステップＳ２７１に戻る。
【０２１４】
また、ステップＳ２７１において、オフフック状態にされたと判定された場合、ステップＳ２７２に進み、受信制御部３３１は、通信リンクを確立し、ステップＳ２７３に進む。ステップＳ２７３では、受信制御部３３１は、発信側の携帯電話機３０１１から送信されてくる最新のメモリデータを含む受信データを受信し、管理部３３５に供給する。
【０２１５】
即ち、図３１のメモリデータ送信処理では、上述したように、ステップＳ２２３において、携帯電話機３０１１が、最新のメモリデータを、更新情報とともに送信してくるので、ステップＳ２７３では、そのメモリデータと更新情報が受信される。
【０２１６】
その後、ステップＳ２７４に進み、管理部３３５は、発信側の携帯電話機３０１１から受信した更新情報を参照し、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが記憶されているかどうかを判定する。
【０２１７】
ステップＳ２７４において、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが既に記憶されていると判定された場合、ステップＳ２７５に進み、管理部３３５は、ステップＳ２７３で受信したメモリデータと更新情報を破棄し、ステップＳ２７７に進む。
【０２１８】
また、ステップＳ２７４において、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータがまだ記憶されていないと判定された場合、ステップＳ２７６に進み、管理部３３５は、ステップＳ２７３で得た最新のメモリデータを、着呼時に受信した発信側の携帯電話機３０１１の電話番号、さらには、そのメモリデータとともに送信されてきた更新情報と対応付けて、復号部３３２に記憶させることにより、復号部３３２のテーブルメモリ３９１の内容を更新する。
【０２１９】
そして、ステップＳ２７７に進み、管理部３３５は、送信部３１３の送信制御部３２４を制御することにより、音声通話の準備が完了したことを表す準備完了通知を、送信データとして送信させ、ステップＳ２７８に進む。
【０２２０】
ステップＳ２７８では、受信制御部３３１は、そこに供給される受信データに含まれる符号化音声データを復号部３３２に出力する、音声通話が可能な状態となって、メモリデータ更新処理を終了する。
【０２２１】
次に、図３５を参照して、図３３のステップＳ２５４における復号処理について説明する。
【０２２２】
ステップＳ２９１において、フレーム切り出し部３７１は、受信制御部３３１より入力された符号化音声データをフレーム化する。
【０２２３】
ステップＳ２９２において、ＤＣＴ変換部３７２は、ステップＳ２９１でフレーム化された符号化音声データをＭ−ＤＣＴ変換し、ＤＣＴスペクトルデータとして、クラスコード分離部３７３に出力する。
【０２２４】
ステップＳ２９３において、クラスコード分離部３７３は、ＤＣＴスペクトルデータを、クラスコードと低域周波数成分に分離し、クラスコードをテーブルメモリ３９１に出力し、低域周波数成分をスペクトル結合部３７６に出力する。
【０２２５】
ステップＳ２９４において、テーブルメモリ３９１は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスに記憶されている高域周波数成分のＤＣＴスペクトルデータをゲイン調整部３７５に出力する。
【０２２６】
ステップＳ２９５において、スペクトル結合部３７６は、ゲイン調整部３７５においてゲイン調整されて入力された高域周波数成分と、クラスコード分離部３７３から入力された低域周波数成分をスペクトル結合し、逆ＤＣＴ変換部３７７に出力する。
【０２２７】
ステップＳ２９６において、逆ＤＣＴ変換部３７７は、結合されたＤＣＴスペクトルデータを逆ＤＣＴ変換する。
【０２２８】
最後に、ステップＳ２９７において、フレーム結合部３７８は、オーバーラップの処理を施し、広帯域なデジタルの音声信号としてＤ／Ａ変換部３３３（図２５）に出力する。
【０２２９】
図３４のメモリデータ更新処理によれば、着信側の携帯電話機３０１２において、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが記憶されていない限り、必ず、記憶内容が更新されることになる。
【０２３０】
しかしながら、これに限らず、ユーザが必要な時だけメモリデータの更新を要求し、その要求がオンされたときだけ、上述の更新処理を行うようにしてもよい。
【０２３１】
また、本実施の形態では、着信側において、着呼時に、発信側から送信されてくる電話番号を、発信側を特定する特定情報とするようにしたが、その他、例えば、ユーザ等に、ユニークなＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を割り当てておき、そのＩＤを特定情報として用いることも可能である。
【０２３２】
以上に、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合について説明したが、図２６と図２７における、学習済テーブル３７４（テーブルメモリ）が固定の場合の動作は、図３０のステップＳ２０２におけるメモリデータ送信処理（図３１に示される処理）と、図３３のステップＳ２５２におけるメモリデータ更新処理（図３４に示される処理）が省略された場合と同様である。
【０２３３】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図３６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０２３８】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０２を内蔵している。ＣＰＵ４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、ＣＰＵ４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ （Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ） ４０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０４にロードして実行する。これにより、ＣＰＵ４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ ＣｒｙｓｔａｌＤｉｓｐｌａｙ）やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０２３９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４１】
本実施の形態では、本発明を、音声（画像信号）広帯域化装置、および、携帯電話機どうしで音声通話を行う伝送システムに適用した場合について説明したが、その他、本発明は、固定電話音声、ＡＭ（Ａｍｐｌｉｔｕｄｅ ｍｏｄｕｌａｔｉｏｎ）／ＦＭ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ）ラジオ放送受信音声、アナログＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）放送受信音声の音質改善など、音声通信を行うシステムに広く適用可能である。
【０２４２】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を表すものである。
【０２４３】
【発明の効果】
以上のごとく本発明の信号処理システム、および信号処理システムの信号処理方法によれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を、精度よく復元することが可能なシステムを実現することができる。
【０２４４】
以上のごとく本発明の第１の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、他の信号処理装置に対して、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元させることが可能になる。
【０２４５】
以上のごとく本発明の第２の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施の形態である音声広帯域化装置の構成例を示すブロック図である。
【図２】図１のクラス分類部の構成例を示すブロック図である。
【図３】図１の音声広帯域化装置の音声広帯域化処理を説明するフローチャートである。
【図４】音声広帯域化処理のデータ例を示す図である。
【図５】クラス分類処理の基本原理を説明する図である。
【図６】図３のステップＳ３のクラス分類処理を説明するフローチャートである。
【図７】音の等ラウドネス曲線を説明する図である。
【図８】音を周波数補正するＡ特性カーブを示す図である。
【図９】図６のステップＳ２５の処理を説明する図である。
【図１０】音声信号の学習装置の構成例を示すブロック図である。
【図１１】図１０の学習装置の学習処理を説明するフローチャートである。
【図１２】学習処理の音声信号のデータ例を示す図である。
【図１３】図１１のステップＳ５３のクラス分類処理を説明するフローチャートである。
【図１４】本発明の第２実施の形態である画像信号広帯域化装置の構成例を示すブロック図である。
【図１５】図１４のクラス分類部の構成例を示すブロック図である。
【図１６】画像信号広帯域化処理のデータ例を示す図である。
【図１７】図１４の画像信号広帯域化装置のクラス分類処理を説明するフローチャートである。
【図１８】図１７のステップＳ９２の処理を説明する図である。
【図１９】画像信号の学習装置の構成例を示すブロック図である。
【図２０】学習処理の画像信号のデータ例を示す図である。
【図２１】図１９の学習装置のクラス分類処理を説明するフローチャートである。
【図２２】本発明の第３実施の形態である伝送システムの構成例を示すブロック図である。
【図２３】図２２の携帯電話機の構成例を示すブロック図である。
【図２４】図２３の送信部の構成例を示すブロック図である。
【図２５】図２３の受信部の構成例を示すブロック図である。
【図２６】学習済テーブルが固定の情報として与えられる場合の図２４の符号化部の構成例を示すブロック図である。
【図２７】学習済テーブルが固定の情報として与えられる場合の図２５の復号部の構成例を示すブロック図である。
【図２８】学習済テーブルが所定のタイミングで更新される場合の図２４の符号化部の構成例を示すブロック図である。
【図２９】学習済テーブルが所定のタイミングで更新される場合の図２５の復号部の構成例を示すブロック図である。
【図３０】図２４の送信部の送信処理を説明するフローチャートである。
【図３１】図３０のステップＳ２０２のメモリデータ送信処理を説明するフローチャートである。
【図３２】図３０のステップＳ２０５の符号化処理を説明するフローチャートである。
【図３３】図２５の受信部の受信処理を説明するフローチャートである。
【図３４】図３３のステップＳ２５２のメモリデータ更新処理を説明するフローチャートである。
【図３５】図３３のステップＳ２５４の復号処理を説明するフローチャートである。
【図３６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 音声広帯域化装置， １１ フレーム切り出し部， １２ ＤＣＴ変換部，１３ クラス分類部， １４ 学習済テーブル， １５ ゲイン調整部， １６スペクトル結合部， １７ 逆ＤＣＴ変換部， １８ フレーム結合部， ３１パワー値変換部， ３２ 重み付け処理部， ３３ スペクトル抽出部， ３４ サブバンド分割部， ３５量子化部， ３６ クラスコード決定部， ５０学習装置， ６１ フレーム切り出し部， ６２ ＤＣＴ変換部， ６３ 高域周波数成分抽出部， ６４ 加算部， ６５ 間引き回路， ６６ フレーム切り出し部， ６７ ＤＣＴ変換部， ６８ クラス分類部， ６９ 積算テーブル， ７０ 学習済テーブル
【発明の属する技術分野】
本発明は、信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元するようにした信号処理システム、信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
周波数の帯域が狭い音声信号を広帯域に拡張する技術について、これまでもさまざまな提案がなされている。
【０００３】
例えば、特開平７−３６４９０号公報（以下、文献１と称する）には、入力された音声信号スペクトルに基づいて、失われた倍音成分を演算により生成して付加する方法が開示されている。
【０００４】
また、埼玉大学による日本音響学会での論文（以下、文献２と称する）により、入力された音声信号の自己相関演算により、有声音源波形を生成し、これを高域成分として利用する方法が発表されている。
【０００５】
さらに、特開平１１−１２６０９７号公報、特開平１１−６８５１５号公報（以下、文献３と称する）には、入力信号より高い標本化周波数でＤ／Ａ変換を行う際のサンプル値補間方法が開示されている。
【０００６】
また、特開平６−１１８９９５号公報（以下、文献４）には、広帯域音声信号のベクトル量子化コードブックと、狭帯域音声信号のベクトル量子化コードブックを対応付けることにより、広帯域音声信号を復元する方法が開示されている。
【０００７】
【発明が解決しようとする課題】
文献１の技術は、ＭＰ３（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−１ Ａｕｄｉｏ Ｌａｙｅｒ−３）等の比較的広帯域な音声信号において、その圧縮過程で失われた高域信号を予測して付加するものであり、電話音声帯域のような極端に狭帯域化された信号の帯域を、例えば、２倍に拡張する場合には、適用することが困難である。
【０００８】
また、文献２の技術は、有声音のみに対する処理であり、無声音（子音部）の復元ができないという課題がある。
【０００９】
さらに、文献３の技術は、標本化周波数を上げるサンプル値補間処理の際に、補間サンプル値のレベルを前後数サンプルの変化状況を眺めて適切と思われる値に設定する、という補間フィルタの延長線上の技術であり、失われた周波数成分を復元するものではない。
【００１０】
最後の文献４の技術は、処理の中核にＬＰＣ（Ｌｉｎｅｒ Ｐｒｅｄｉｃｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）分析および合成処理を使っていることから、入力信号に声道モデルを想定しているものと考えられる。そのため、楽音への適用が困難である。
【００１１】
本発明は、このような状況に鑑みてなされたものであり、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することができるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の信号処理システムは、第１の信号処理装置は、周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、第１の信号入力手段により入力された第１の信号から高域周波数成分を抽出する抽出手段と、第２の信号入力手段により入力された第２の信号に基づいて、第１のクラスコードを決定する第１の決定手段と、第１の決定手段により決定された第１のクラスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備え、第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な第３の信号を入力する第３の信号入力手段と、第３の信号入力手段により入力された第３の信号に基づいて、第２のクラスコードを決定する第２の決定手段と、第２の決定手段により決定された第２のクラスコードに対応する、蓄積手段により蓄積された高域周波数成分と、第３の信号入力手段により入力された第３の信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。
【００１３】
本発明の信号処理システムの信号処理方法は、第１の信号処理装置は、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、第１のクラスコードを決定する第１の決定ステップと、第１の決定ステップの処理により決定された第１のクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含み、第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な第３の信号の入力を制御する第３の信号入力制御ステップと、第２の信号入力制御ステップの処理により入力が制御された第３の信号に基づいて、第２のクラスコードを決定する第２の決定ステップと、第２の決定ステップの処理により決定された第２のクラスコードに対応する、蓄積ステップの処理により蓄積された高域周波数成分と、第３の信号入力制御ステップの処理により入力が制御された第３の信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００１４】
本発明の第１の信号処理装置は、周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、第１の信号入力手段により入力された第１の信号から高域周波数成分を抽出する抽出手段と、第２の信号入力手段により入力された第２の信号に基づいて、クラスコードを決定する決定手段と、決定手段により決定されたクラスコードごとに、抽出手段により抽出された高域周波数成分を蓄積する蓄積手段とを備えることを特徴とする。
【００１５】
本発明の第１の信号処理方法は、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。
【００１６】
本発明の第１の記録媒体のプログラムは、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とする。
【００１７】
本発明の第１のプログラムは、周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、第１の信号入力制御ステップの処理により入力が制御された第１の信号から高域周波数成分を抽出する抽出ステップと、第２の信号入力制御ステップの処理により入力が制御された第２の信号に基づいて、クラスコードを決定する決定ステップと、決定ステップの処理により決定されたクラスコードごとに、抽出ステップの処理により抽出された高域周波数成分を蓄積する蓄積ステップとをコンピュータに実行させることを特徴とする。
【００１８】
本発明の第１の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。
【００１９】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させることができる。
【００２０】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。
【００２１】
本発明の第１の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分のクラスコードを決定させるようにすることができる。
【００２２】
本発明の第１の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。
【００２３】
本発明の第１の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、クラスコードを決定させるようにすることができる。
【００２４】
本発明の第１の信号処理装置の蓄積手段には、抽出手段により抽出された高域周波数成分を、特定情報に対応付けて蓄積させるようにすることができる。
【００２５】
本発明の第１の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。
【００２６】
本発明の第１の信号処理装置の第１の信号を所定の時間間隔で間引いて第２の信号を生成する生成手段をさらに設けることができる。
【００２７】
本発明の第２の信号処理装置は、高域周波数成分が抑圧された狭帯域な信号を入力する信号入力手段と、信号入力手段により入力された信号に基づいて、クラスコードを決定する決定手段と、高域周波数成分を記憶する記憶手段と、決定手段により決定されたクラスコードに対応する、記憶手段に記憶された高域周波数成分と、信号入力手段により入力された信号を合成する合成手段と、合成手段により生成された合成信号を出力する出力手段とを備えることを特徴とする。
【００２８】
本発明の第２の信号処理方法は、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００２９】
本発明の第２の記録媒体のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとを含むことを特徴とする。
【００３０】
本発明の第２のプログラムは、高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、信号入力制御ステップの処理により入力が制御された信号に基づいて、クラスコードを決定する決定ステップと、高域周波数成分の記憶を制御する記憶制御ステップと、決定ステップの処理により決定されたクラスコードに対応する、記憶制御ステップの処理により記憶が制御された高域周波数成分と、信号入力制御ステップの処理により入力された信号を合成する合成ステップと、合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップとをコンピュータに実行させることを特徴とする。
【００３１】
本発明の第２の信号処理装置の入力手段には、音声信号を入力させるようにすることができる。
【００３２】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、等ラウドネス特性に基づく重み付け処理を行った信号に基づいて、クラスコードを決定させるようにすることができる。
【００３３】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、クラスコードを決定させるようにすることができる。
【００３４】
本発明の第２の信号処理装置に入力された信号が、音声信号である場合、決定手段には、記憶手段に記憶されている高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分のクラスコードを決定させるようにすることができる。
【００３５】
本発明の第２の信号処理装置の入力手段には、画像信号を入力させるようにすることができる。
【００３６】
本発明の第２の信号処理装置に入力された信号が、画像信号である場合、決定手段には、画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、クラスコードを決定させるようにすることができる。
【００３７】
本発明の第２の信号処理装置の記憶手段により記憶された高域周波数成分は、所定のタイミングで更新させるようにすることができる。
【００３８】
本発明の第２の信号処理装置の記憶手段には、特定情報に対応付けて高域周波数成分を記憶させるようにすることができる。
【００３９】
本発明の第２の信号処理装置の特定情報は、電話機の電話番号であるようにすることができる。
【００４０】
本発明の信号処理システムおよび信号処理方法においては、第１の信号処理装置で、周波数成分が広帯域な第１の信号から高域周波数成分が抽出され、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号に基づいて、第１のクラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。第２の信号処理装置で、高域周波数成分が抑圧された狭帯域な第３の信号に基づいて、第２のクラスコードが決定され、第２のクラスコードに対応する蓄積された高域周波数成分と、第３の信号が合成される。
【００４１】
第１の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、周波数成分が広帯域な第１の信号から高域周波数成分が抽出され、第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号に基づいて、クラスコードが決定され、クラスコードごとに高域周波数成分が蓄積される。
【００４２】
第２の信号処理装置、および方法、記録媒体、並びにプログラムにおいては、高域周波数成分が抑圧された狭帯域な信号に基づいて、クラスコードが決定され、クラスコードに対応する高域周波数成分と、狭帯域な信号が合成され、合成信号が出力される。
【００４３】
信号処理装置は、独立した装置であっても良いし、１つの装置の信号処理を行うブロックであっても良い。
【００４４】
【発明の実施の形態】
図１は、本発明の第１実施の形態である音声広帯域化装置の構成例を示している。
【００４５】
低域周波数成分をもつ（高域周波数成分を有さない）狭帯域な音声信号は、フレーム切り出し部１１に入力される。入力された音声信号は、所定のフレーム（単位時間）でブロック化され、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）変換部１２に出力される。
【００４６】
ＤＣＴ変換部１２は、フレーム切り出し部１１から入力された時間軸上の音声信号を、フレーム毎に周波数軸上の信号にスペクトル変換し、クラス分類部１３とスペクトル結合部１６にそれぞれ出力する。スペクトル変換する方法として、ここでは、両隣のブロックを半分ずつオーバーラップさせるＭ−ＤＣＴ（モデファイドＤＣＴ）変換が用いられる。
【００４７】
上述したＭ−ＤＣＴ変換以外のスペクトル変換としては、ＤＦＴ（Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；離散フーリエ変換）、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；離散コサイン変換）、ＦＦＴ（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ；高速フーリエ変換）、または、ＬＰＣなどの方法があり、時間軸上の音声信号を周波数軸上の信号に変換するものであれば、何でもよい。
【００４８】
クラス分類部１３は、入力されたスペクトル信号に基づいて、クラス分類処理（その詳細は、図６を参照して後述する）により、クラスコードを算出し、学習済テーブル１４に出力する。
【００４９】
学習済テーブル１４は、クラスコードをアドレスとしたテーブルメモリであり、それぞれのクラスコードアドレスには、図１０で後述する学習装置によって求められた高域周波数成分の音声信号スペクトルのベクトルデータが格納されている。学習済テーブル１４は、クラス分類部１３から入力されたクラスコードアドレスに対応する高域周波数成分の音声信号スペクトルのベクトルデータを読み出し、ゲイン調整部１５に出力する。
【００５０】
ゲイン調整部１５は、学習済テーブル１４より入力された高域周波数成分の音声信号スペクトルデータのゲインを、スペクトル結合部１６で結合される低域周波数成分の音声信号スペクトルデータのゲインに合うように調整する。
【００５１】
スペクトル結合部１６は、ゲイン調整部１５より入力された高域周波数成分の音声信号スペクトルのベクトルデータを、ＤＣＴ変換部１２より入力された低域周波数成分の音声信号スペクトルのベクトルデータの最終列以降に結合して、逆ＤＣＴ変換部１７に出力する。
【００５２】
逆ＤＣＴ変換部１７は、Ｍ−ＤＣＴ変換の逆変換を行うことによって、周波数軸上のスペクトルデータを時間軸上のスペクトルに変換し、フレーム結合部１８に出力する。
【００５３】
フレーム結合部１８は、音声がフレームの境界部において不連続にならないためのフレームオーバーラップ部分の加算処理を行った後、音声信号を出力する。
【００５４】
図２は、図１のクラス分類部１３の詳細な構成例を示している。
【００５５】
パワー値変換部３１には、ＤＣＴ変換部１２が出力した、Ｍ−ＤＣＴ変換されたＤＣＴスペクトルデータが入力される。入力されたＤＣＴスペクトルデータは、パワー値に変換され、さらにパワーのｄＢ（デシベル）値に変換されて、重み付け処理部３２に出力される。
【００５６】
重み付け処理部３２は、入力されたＤＣＴスペクトルデータに、図７を参照して後述する等ラウドネス特性を考慮した重み付け処理を施し、スペクトル抽出部３３に出力する。
【００５７】
スペクトル抽出部３３は、入力された低域周波数成分のＤＣＴスペクトルデータから、復元する高域周波数成分の最低の周波数の１／２または１／３倍の周波数以上のＤＣＴスペクトルデータを抽出し、サブバンド分割部３４に出力する。
【００５８】
サブバンド分割部３４は、スペクトル抽出部３３において抽出されたＤＣＴスペクトルデータを所定の数のサブバンドに分割して量子化部３５に出力する。
【００５９】
量子化部３５は、サブバンドに分割されたＤＣＴスペクトルデータをサブバンド単位にまとめ、入力された（スペクトル抽出部３３において抽出された）部分のパワー値の平均値を求め、その平均値を量子化してクラスコードを生成するとともに、最大パワー値を取るサブバンド位置を求め、それに基づいてクラスコードを生成する。２つのクラスコードは、クラスコード決定部３６に出力される。
【００６０】
クラスコード決定部３６は、量子化部３５より入力されたパワー平均値に基づくクラスコードと、最大パワー位置に基づくクラスコードを多重化して、１つのクラスコードを生成し、学習済テーブル１４（図１）に出力する。
【００６１】
次に、図３のフローチャートと図４を参照して、音声広帯域化装置１の音声広帯域化処理について説明する。
【００６２】
ステップＳ１において、フレーム切り出し部１１は、音声広帯域化装置１に入力された高域周波数成分が抑圧された音声信号をフレーム化する。すなわち、音声信号は、所定のフレーム（単位時間）毎にブロック化される。
【００６３】
ステップＳ２において、ＤＣＴ変換部１２は、ステップＳ１でフレーム化された音声信号をＭ−ＤＣＴ変換する。図４Ａは、１フレームの音声信号がＭ−ＤＣＴ変換されたデータ（以下、ＤＣＴスペクトルデータと称する）を示している。
【００６４】
ステップＳ３において、クラス分類部１３は、図６を参照して後述するクラス分類処理を行い、クラスコードを算出する。
【００６５】
ステップＳ４において、学習済テーブル１４は、ステップＳ３でクラス分類部１３から出力されたクラスコードに対応するアドレスに記憶されている高域周波数成分スペクトルのＤＣＴベクトルデータを読み出す。図４Ｂは、このようにして読み出された高域周波数成分のＤＣＴスペクトルデータを示している。
【００６６】
ステップＳ５において、スペクトル結合部１６は、音声広帯域化装置１に入力された低域周波数成分のＤＣＴスペクトルデータ（図４ＡにスペクトルＡ１として示される部分）と、学習済テーブル１４から読み出された高域周波数成分のＤＣＴスペクトルデータ（図４ＢにスペクトルＢ１として示される部分）を結合する。すなわち、図４Ｃに示されるように、スペクトルＡ１の後端（周波数の高い側）にスペクトルＢ１の先端（周波数の低い側）が接続される。ＤＣＴ変換部１２が出力する１フレームのデータ数は、Ｎ個であり、学習済テーブル１４より読み出されるデータもＮ個なので、結合されたデータの数は、２Ｎ個となる。
【００６７】
ステップＳ６において、逆ＤＣＴ変換部１７は、スペクトル結合されたＤＣＴスペクトルデータを逆Ｍ−ＤＣＴ変換する。
【００６８】
ステップＳ７において、フレーム結合部１８は、フレームの境界部にオーバーラップの加算処理を施し、出力して、音声広帯域化処理を終了する。このオーバーラップ処理により、音声がフレームの境界部においても不連続にならなくなる。
【００６９】
次に、図３のステップＳ３のクラス分類処理について説明する。
【００７０】
初めに、図５を参照して、クラス分類処理の基本原理について説明する。図５Ａは、バンド幅２Ｂ０の低域周波数成分と高調波成分を有する教師ＤＣＴスペクトルであり、図５Ｂは、教師ＤＣＴスペクトルから高調波成分を削除して生成した、バンド幅Ｂ０の狭帯域な低域周波数成分だけをもつ生徒ＤＣＴスペクトルである。
【００７１】
狭帯域信号に含まれる高域周波数成分の量と、スペクトル形状を復元すべき周波数成分は、リンク関係にあるという前提に基づいて、クラス分類処理は行われる。すなわち、音声信号が、ピッチの周波数とその高調波成分から構成される、というモデルを想定した場合、図５Ｂのバンド幅Ｂ０の約半分の高域側の領域Ｐの２倍、または、３倍の高調波成分に相当する信号が、図５Ａのバンド幅２Ｂ０の約半分の高域側の領域Ｑに含まれることが予想される。反対に、領域Ｐにスペクトルがほとんど存在しないような場合には、領域Ｑにも信号が存在する可能性は低いと予想される。
【００７２】
次に、図６を参照してクラス分類処理について説明する。
【００７３】
ステップＳ２１において、パワー値変換部３１は、ＤＣＴ変換部１２より入力されたスペクトルデータをパワー値に変換し、さらにそのパワー値をｄＢ（デシベル）値に変換する。すなわち、入力されたスペクトルデータｘ［ｋ］（ｋ＝０，１，・・・，Ｎ−１）は、次式
【数１】
ＰＷＲｄＢ＝１０ｌｏｇ１０（ＰＷＲ）
によりパワー値ＰＷＲがｄＢ（デシベル）値ＰＷＲｄＢに変換される。
【００７４】
ステップＳ２２において、重み付け処理部３２は、ステップＳ２３で計算されたパワーのデシベル値ＰＷＲｄＢに対し、人間の耳の特性を考慮した重み付け処理を行う。
【００７５】
人間が主観的に感じる音の大きさ（感覚量）と音圧レベル（物理量）の関係は、図７に示されるような等ラウドネス曲線で表すことができる。これは、正常な聴覚をもつ人が、等しい大きさに感じる純音の音圧レベルと周波数の関係を示している。この曲線が示すように、我々人間の耳は、低い周波数や高い周波数では、感度が低くなる。
【００７６】
このような人間の耳の特性に基づいた周波数補正を行う処理が、ステップＳ２２で行われる重み付け処理であり、具体的には、図８に記号Ａで示されるＡ特性カーブと言われる補正が入力信号に施される。
【００７７】
ステップＳ２２で重み付け処理が行われた後、ステップＳ２３において、スペクトル抽出部３３は、入力された低域周波数成分のスペクトルデータから、復元したい高域周波数成分の最低の周波数の１／２または１／３倍の周波数以上のスペクトルデータを抽出し、サブバンド分割部３４に出力する。これは、上述したクラス分類処理の基本原理に基づいて、行われるものである。
【００７８】
すなわち、復元したい高域周波数成分としての図５Ａの領域Ｑの最低の周波数はｆＱであり、低域周波数成分としての図５Ｂのスペクトルデータから、例えば、この周波数ｆＱの１／２の周波数ｆＱ／２以上の領域Ｐのスペクトルが抽出される。
【００７９】
ステップＳ２４において、サブバンド分割部３４は、ステップＳ２３で抽出されたスペクトルデータ（図５Ｂの周波数ｆＱ／２から周波数ｆＱまでの領域Ｐのスペクトルデータ）を、所定の数、例えば、３２個のサブバンドに分割し、サブバンド単位にスペクトルデータをまとめる。
【００８０】
ステップＳ２５において、図９で示されるように、３２個の全体のサブバンドの平均パワー値ＰＡＶと、３２個のサブバンドのなかで、デシベルパワー値ＰＷＲｄＢが最大であるサブバンド位置Ｂｎが求められる。尚、ここで、スペクトルのデシベルパワー値の範囲は、例えば、０乃至１２７［ｄＢ］とされている。
【００８１】
ステップＳ２６において、クラスコード決定部３６は、ステップＳ２５で出力された平均パワー値ＰＡＶによるクラスコードと、最大パワー位置Ｂｎによりクラスコードを多重化する。図９の例では、最大パワー位置Ｂｎによるクラスコードは、０乃至３１の３２通りあり、平均パワー値ＰＡＶによるクラスコードは、０乃至１２７までの１２８通りが考えられる。従って、合成されたクラスコードの数は、３２×１２８＝４０９６通りとなる。４０９６通りのいずれか１つが、クラスコードとして出力される。
【００８２】
尚、スペクトル形状をモデル化する方法としては、上述した他に、複数のスペクトルピークを検出したり、スペクトルの傾斜やパワー分布を検出したり、あるいは、サブバンド数を変えるなどの方法も考えられる。
【００８３】
次に、図１の音声広帯域化装置１の学習済テーブル１４に書き込まれる、クラスコード毎に記憶された高域周波数成分のベクトルデータを生成する学習装置について、図１０を参照して説明する。この学習装置５０は、例えば、音声広帯域化装置１を製作するメーカが有している。
【００８４】
初めに、教師データとなる高域周波数成分を含む広帯域な音声信号と、生徒データとして、教師データの高域周波数成分が抑圧された狭帯域な音声信号が用意される。図１０の例では、生徒データは、間引き回路６５により、教師データ高域周波数成分を除去して生成した低域周波数成分を半分にサンプル間引きして生成されている。
【００８５】
したがって、フレーム切り出し部６６に入力される生徒データのフレーム長をＮとすると、フレーム切り出し部６１に入力される教師データのフレーム長は、２Ｎとなる。また、このときの各フレームのデータは同期している。
【００８６】
フレーム切り出し部６１とフレーム切り出し部６６、および、ＤＣＴ変換部６２とＤＣＴ変換部６７の機能は、図１のフレーム切り出し部１１、および、ＤＣＴ変換部１２のそれと同様である。
【００８７】
高域周波数成分抽出部６３は、教師データのスペクトルのうち、高周波側の半分を抽出し、加算部６４に出力する。
【００８８】
クラス分類部６８は、図１のクラス分類部１３で上述したのと同様のクラスコードを生成するとともに、さらに、クラス出現頻度を計算し、積算テーブル６９に出力する。
【００８９】
積算テーブル６９は、クラス分類部６８が出力したクラスコードをアドレスとして入力し、そのアドレスに格納されているＤＣＴベクトルデータを読み出して、加算部６４に出力する。加算部６４は、高域周波数成分抽出部６３から出力されたＮ個の高域周波数成分のＤＣＴベクトルデータと、積算テーブル６９から出力されたＮ個のＤＣＴベクトルデータをベクトル加算し、その結果を積算テーブル６９が出力した際と同じクラスコードアドレスの場所に出力する。１つのクラスコードアドレスには、Ｎ個のＤＣＴベクトルデータが格納されるため、積算テーブル６９は、（Ｎ×クラス数）のデータ数をもつテーブルとなる。また、所定のタイミングにおいて、積算テーブル６９は、それぞれのクラスコードアドレスに格納されているベクトルデータをクラス分類部６８から出力されたクラス出現頻度で除算し、学習済テーブル７０に出力する。
【００９０】
学習済テーブル７０は、積算テーブル６９から出力された（Ｎ×クラス数）個のＤＣＴベクトルデータを記憶する。学習済テーブル７０のデータは、ネットワークを介して、音声広帯域化装置１に転送され、学習済テーブル１４に記憶される。あるいはまた、学習済テーブル７０のデータは、半導体メモリ等に書き込まれ、音声広帯域化装置１の学習済テーブル１４として組み込まれる。
【００９１】
学習装置５０のクラス分類部６８の構成は、音声広帯域化装置１のクラス分類部１３のそれと同様なため、図２のクラス分類部１３の構成は、必要に応じて、図１０のクラス分類部６８の構成としても適宜引用する。
【００９２】
次に、図１１のフローチャートを参照して学習装置５０の学習処理について説明する。
【００９３】
ステップＳ５１において、教師データのスペクトルと生徒データのスペクトルがフレーム化される。すなわち、フレーム切り出し部６１は、入力された教師データを単位時間毎にフレーム化し、１フレームについて２Ｎ個のサンプリングを行う。間引き回路６５は、教師データから低域周波数成分だけを抽出し、その低域周波数成分を１つおきに間引くことで生徒データを生成する。フレーム切り出し部６６は、生徒データを単位時間毎にフレーム化し、１フレームについてＮ個のサンプリングを行う。
【００９４】
ステップＳ５２において、ＤＣＴ変換部６２とＤＣＴ変換部６７は、教師データと生徒データをそれぞれＭ−ＤＣＴ変換する。図１２Ａは、教師データをＭ−ＤＣＴ変換した後のＤＣＴスペクトルデータを示しており、図１２Ｂは、生徒データをＭ−ＤＣＴ変換した後のＤＣＴスペクトルデータを示している。両者を比較して明らかなように、図１２Ｂの生徒データのＤＣＴスペクトラムは、図１２Ａの教師データのＭ−ＤＣＴスペクトラムの低域周波数成分に対応している。
【００９５】
ステップＳ５３において、クラス分類部６８は、生徒データのスペクトルに基づいて、図１３を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を計算し、積算テーブル６９に出力する。
【００９６】
ステップＳ５４において、積算テーブル６９は、クラス分類部６８が出力したクラスコードに対応するアドレスに格納されているベクトルデータを読み出す。
【００９７】
ステップＳ５５において、高域周波数成分抽出部６３は、ＤＣＴ変換部６２より入力された教師データの高域周波数成分を抽出する。図１２Ｃは、抽出された高域周波数成分のＤＣＴスペクトルを示す。これは、図１２Ａの教師データのＤＣＴスペクトルの全体のなかの、高域周波数側の部分Ｒに相当する。
【００９８】
ステップＳ５６において、加算部６４は、ステップＳ５４で積算テーブル６９から読み出されたベクトルデータ（図１２Ｄに示されるデータ）と、ステップＳ５５で教師データから抽出された高域周波数成分のベクトルデータ（図１２Ｃに示されるデータ）をベクトル加算する。図１２Ｅは、ステップＳ５６でベクトル加算された後のＤＣＴスペクトルデータを示している。
【００９９】
ステップＳ５７において、加算部６４は、ステップＳ５６で算出したベクトルデータ（図１２Ｅに示されるデータ）を、積算テーブル６９の読み出した時と同じクラスコードのアドレスの場所に格納する。
【０１００】
ステップＳ５８において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップＳ５１に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップＳ５９に進める。
【０１０１】
ステップＳ５８で学習処理が終了したと判断された場合、ステップＳ５９において、積算テーブル６９は、それぞれのクラスコードのアドレスに有するＮ個のベクトルデータを、クラス分類部６８から出力された、対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル７０に出力し、記憶させて学習処理を終了する。図１２Ｆは、学習済テーブル７０の１つのクラスコードのアドレスに格納されたＮ個のベクトルデータの例を示している。
【０１０２】
次に、図１３のフローチャートを参照して、図１１のステップＳ５３のクラス分類処理について説明する。
【０１０３】
ステップＳ７１乃至ステップＳ７６の処理は、図６の音声広帯域化装置におけるクラス分類処理のステップＳ２１乃至ステップＳ２６と同様であるため、説明は省略するが、これらの処理により、生徒データの平均パワー値ＰＡＶに基づくクラスコードと、最大パワーの一Ｂｎに基づくクラスコードが多重化される。
【０１０４】
ステップＳ７７において、クラスコード決定部３６（図２の音声広帯域化装置１のそれと同様）は、ステップＳ７６で決定されたクラスコードのカウントを１だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テーブル６９に出力し、クラス分類処理を終了する。
【０１０５】
このように、音声広帯域化装置１のクラス分類処理と、学習装置５０のクラス分類処理は、クラスコードを算出するまでは同様であり、その後、クラス出現頻度を計算するか否かだけが異なる。
【０１０６】
図１４は、本発明の第２実施の形態である画像信号広帯域化装置の構成例を示している。上述の音声信号広帯域化装置１は、入力信号が１次元の音声信号であり、フレーム単位で処理を行うのに対して、画像信号広帯域化装置８０は、入力信号が２次元の画像信号であるので、ブロック（例えば、８×８画素）単位で処理を行うこととなる。図１４のブロック切り出し部９１、ＤＣＴ変換部９２、クラス分類部９３、学習済テーブル９４、結合部９５、および逆ＤＣＴ変換部９６は、図１のフレーム切り出し部１１、ＤＣＴ変換部１２、クラス分類部１３、学習済テーブル１４、スペクトル結合部１６、および逆ＤＣＴ変換部１７と基本的に同様の機能を有するものであるため、その説明は省略する。なお、図１で示されているゲイン調整部１５とフレーム結合部１８は、画像信号の場合、必ずしも必要でないため省略されている。
【０１０７】
図１５は、図１４のクラス分類部９３の詳細な構成例を示している。
【０１０８】
パワー値変換部１０１には、ＤＣＴ変換部９２よりＭ−ＤＣＴ変換されたＤＣＴデータが入力される。入力されたＤＣＴデータは、上述の音声広帯域化装置１と同様に、パワー値に変換され、さらにパワーのデシベル値に変換されて、量子化部１０２に出力される。
【０１０９】
量子化部１０２は、ＤＣＴブロック内のＤＣＴデータについて、直流成分のパワー値と、交流成分の平均パワー値、交流成分のピーク値を取るＤＣＴデータの位置を算出し、それらに基づくクラスコードを生成して、クラスコード決定部１０３に出力する。
【０１１０】
クラスコード決定部１０３は、入力されたＤＣＴブロックの量子化データに基づくクラスコードを多重化して、１つのクラスコードとし、学習済テーブル９４（図１４）に出力し、記憶させる。
【０１１１】
次に、画像広帯域化装置８０の画像広帯域化処理について説明するが、フローチャートは、図３の音声広帯域化装置１のそれと同様であるので、図３のフローチャートを引用して説明する。
【０１１２】
ステップＳ１において、ブロック切り出し部９１は、画像信号広帯域化装置８０に入力された高域周波数成分の抑圧された画像信号をブロック単位（例えば、２×２画素）に切り出す。
【０１１３】
ステップＳ２において、ＤＣＴ変換部９２は、ステップＳ１でブロック化された画像信号をＭ−ＤＣＴ変換する。図１６Ａは、１つのブロックの画像信号がＭ−ＤＣＴ変換されたデータ（以下、ＤＣＴデータと称する）を示している。
【０１１４】
ステップＳ３において、クラス分類部９３は、図１７を参照して後述するクラス分類処理を行い、クラスコードを算出する。
【０１１５】
ステップＳ４において、学習済テーブル９４は、ステップＳ３でクラス分類部９３から出力されたクラスコードに対応するアドレスに格納されているＤＣＴ係数のベクトルデータを読み出す。図１６Ｂは、このとき読み出された高域周波数成分のＤＣＴ係数のベクトルデータを示している。
【０１１６】
ステップＳ５において、結合部９５は、画像信号広帯域化装置８０に入力された低域周波数成分のＤＣＴデータ（図１６Ａ）と、学習済テーブル９４から読み出された高域周波数成分のＤＣＴデータ（図１６Ｂ）をベクトル加算する。図１６Ｃは、結合されたＤＣＴブロックデータを示している。
【０１１７】
ステップＳ６において、逆ＤＣＴ変換部９６は、結合されたＤＣＴデータを逆Ｍ−ＤＣＴ変換する。
【０１１８】
ステップＳ７のオーバーラップ処理は、上述したように画像信号の場合、必ずしも行う必要はないので、ステップＳ７の処理を行わず画像信号広帯域化処理を終了する。
【０１１９】
次に、図１７のフローチャートを参照して、クラス分類部９３が行うクラス分類処理について説明する。
【０１２０】
ステップＳ９１において、パワー値変換部１０１は、ＤＣＴ変換部９２より入力されたＤＣＴデータをパワー値に変換し、さらにパワーのデシベル値に変換する。この処理は、上述の音声信号の場合と同様である。
【０１２１】
ステップＳ９２において、量子化部１０２は、ＤＣＴブロックデータの交流平均パワー値と直流パワー値を算出し、交流成分ピークパワー位置を検出する。例えば、図１８に示されるような４×４画素のＤＣＴブロックＢＬが入力され、それぞれの画素のＤＣＴデータは、ｃ［ｎ］で、そのパワーの範囲は、０乃至１２７［ｄＢ］とする。交流平均パワー値は、図１８の領域ＡＣ内のＤＣＴデータｃ［１］乃至ｃ［１５］の平均値であり、直流パワー値は、図１８の領域ＤＣ内のＤＣＴデータｃ［０］の値である。また、交流成分ピークパワー位置は、ＤＣＴデータｃ［１］乃至ｃ［１５］のうちの、パワー値が最大であるｎ（１乃至１５のいずれか）となる。
【０１２２】
ステップＳ９３において、クラス分類部９３は、ステップＳ９２で求められた３つの値に基づくクラスコードを、１つのクラスコードとして多重化し、学習済テーブル９４に出力してクラス分類処理を終了する。クラスコードは、上述の例の場合、交流平均パワー値に基づくクラスの数１２８通り、直流パワー値に基づくクラスの数１２８通り、交流成分ピークパワー位置に基づくクラスの数１５通りであるので、合わせて１２８×１２８×１５＝２４５７６０通りのうちのいずれかとなる。
【０１２３】
図１９は、画像信号広帯域化装置８０の学習済テーブル９４に書き込まれる、クラスコード毎に記憶された高域周波数成分のベクトルデータを生成する学習装置１２０の構成例である。図１９のブロック切り出し部１３１、ＤＣＴ変換部１３２、高域周波数成分抽出部１３３、加算部１３４、間引き回路１３５、ブロック切り出し部１３６、ＤＣＴ変換部１３７、クラス分類部１３８、および積算テーブル１３９は、図１０のフレーム切り出し部６１、ＤＣＴ変換部６２、高域周波数抽出部６３、加算部６４、間引き回路６５、フレーム切り出し部６６、ＤＣＴ変換部６７、クラス分類部６８、および積算テーブル６９と基本的に同様の構成と機能を有するのもであるため、その説明は省略する。
【０１２４】
次に、学習装置１２０の学習処理について説明するが、フローチャートは、図１１の音声広帯域化装置１のそれと同様であるので、図１１のフローチャートを引用して説明する。
【０１２５】
ステップＳ５１において、教師データのＤＣＴデータと生徒データのＤＣＴデータがブロックに切り出される。すなわち、ブロック切り出し部１３１は、入力された教師データを、２Ｎ×２Ｎ画素毎にブロック化する。間引き回路１３５は、教師データから、低域周波数成分だけを抽出し、その低域周波数成分を、水平方向と垂直方向のそれぞれにおいて、１つおきに間引くことで、生徒データを生成する。ブロック切り出し部１３６は、生徒データをＮ×Ｎ画素毎にブロック化する。
【０１２６】
ステップＳ５２において、ＤＣＴ変換部１３２とＤＣＴ変換部１３７は、教師データと生徒データをそれぞれＭ−ＤＣＴ変換する。図２０Ａは、教師データをＭ−ＤＣＴ変換した後のＤＣＴデータ（４×４個のデータ）を示しており、図２０Ｂは、生徒データをＭ−ＤＣＴ変換した後のＤＣＴデータ（２×２個のデータ）を示している。
【０１２７】
ステップＳ５３において、クラス分類部１３８は、生徒データとしてのＤＣＴデータに対して図２１を参照して後述するクラス分類処理を行い、クラスコードとクラスの出現頻度を算出し、積算テーブル１３９に出力する。
【０１２８】
ステップＳ５４において、積算テーブル１３９は、クラス分類部１３８が出力したクラスコードに対応するアドレスに格納されているベクトルデータを読み出す。
【０１２９】
ステップＳ５５において、高域周波数成分抽出部１３３は、教師データの高域周波数成分を抽出する。図２０Ｃは、抽出された高域周波数成分を示し、これは、図２０Ａの教師データの全体のなかの部分Ｐ（４×４画素のうち、左上の２×２画素を除く部分）に相当する。
【０１３０】
ステップＳ５６において、加算部１３４は、ステップＳ５４で積算テーブル１３９から読み出されたベクトルデータ（図２０Ｄに示されるデータ）と、ステップＳ５５で教師データから抽出された高域周波数成分のベクトルデータ（図２０Ｃに示されるデータ）をベクトル加算する。図２０Ｅは、ステップＳ５６でベクトル加算された後のＤＣＴデータを示している。
【０１３１】
ステップＳ５７において、加算部１３４は、ステップＳ５６で算出したベクトルデータ（図２０Ｅに示されるデータ）を、積算テーブル１３９の読み出した時と同じクラスコードのアドレスの場所に格納する。
【０１３２】
ステップＳ５８において、学習処理が終了したか否かが判定される。学習処理が終了していないと判断された場合、処理をステップＳ５１に戻し、それ以降の処理が繰り返される。学習処理が終了したと判断された場合、処理をステップＳ５９に進める。
【０１３３】
ステップＳ５８で学習処理が終了したと判断された場合、ステップＳ５９において、積算テーブル１３９は、それぞれのクラスコードのアドレスに有する（３Ｎ×Ｎ）個のベクトルデータを、クラス分類部１３８から出力された対応するクラスコードのクラス出現頻度で除算して、ベクトルデータの平均値を算出し、学習済テーブル１４０に出力して処理を終了する。図２０Ｆは、学習済テーブル１４０の１つのクラスコードのアドレスに格納された（３Ｎ×Ｎ）個のベクトルデータをＤＣＴブロックとして示したものである。
【０１３４】
次に、図２１のフローチャートを参照して、図１９のクラス分類部１３８が行うクラス分類処理について説明する。
【０１３５】
ステップＳ１０１乃至ステップＳ１０３の処理は、図１７の画像信号広帯域化装置におけるクラス分類処理のステップＳ９１乃至ステップＳ９３と同様であるため、その説明は省略する。すなわち、クラスコードを算出する処理は、画像信号広帯域化装置と同様に行われる。この処理により、交流平均パワー値、直流パワー値、および交流成分ピークパワー位置に基づくクラスコードが１つのクラスコードとして多重化される。
【０１３６】
ステップＳ１０４において、クラスコード決定部１０３は、ステップＳ１０３で決定されたクラスコードのカウントを１だけ増やし、どのクラスコードがどれだけ出現したかというカウント数を積算テーブル１３９に出力し、クラス分類処理を終了する。
【０１３７】
図２２は、本発明を適用した第３実施の形態の伝送システム（システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない）の構成を示している。
【０１３８】
この伝送システムでは、携帯電話機３０１１と３０１２が、基地局３０２１と３０２２それぞれとの間で、無線による送受信を行うとともに、基地局３０２１と３０２２それぞれが、交換局３０３との間で送受信を行うことにより、最終的には、携帯電話機３０１１と３０１２との間において、基地局３０２１および３０２２、並びに交換局３０３を介して、音声の送受信を行うことができるようになっている。なお、基地局３０２１と３０２２は、同一の基地局であっても良いし、異なる基地局であっても良い。
【０１３９】
ここで、以下、特に区別する必要がない限り、携帯電話機３０１１と３０１２を、携帯電話機３０１と記述する。
【０１４０】
図２３は、図２２の携帯電話機３０１１の構成例を示している。なお、携帯電話機３０１２も、以下説明する携帯電話機３０１１と同様に構成されるため、その説明は省略する。
【０１４１】
アンテナ３１１は、基地局３０２１または３０２２からの電波を受信し、その受信信号を、変復調部３１２に供給するとともに、変復調部３１２からの信号を、電波で、基地局３０２１または３０２２に送信する。変復調部３１２は、アンテナ３１１からの信号を、例えば、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式等によって復調し、その結果得られる復調信号を、受信部３１４に供給する。また、変復調部３１２は、送信部３１３から供給される送信データを、例えば、ＣＤＭＡ方式等で変調し、その結果得られる変調信号を、アンテナ３１１に供給する。送信部３１３は、そこに入力されるユーザの音声を符号化する等の所定の処理を行い、送信データを得て、変復調部３１２に供給する。受信部３１４は、変復調部３１２からの復調信号である受信データを受信し、高音質の音声を復号して出力する。
【０１４２】
操作部３１５は、発呼先の電話番号や、所定のコマンド等を入力するときに、ユーザによって操作され、その操作に対応する操作信号は、送信部３１３や受信部３１４に供給される。
【０１４３】
なお、送信部３１３と受信部３１４との間では、必要に応じて情報をやりとりすることができるようになっている。
【０１４４】
図２４は、図２３の送信部３１３の構成例を示している。
【０１４５】
マイクロホン３２１には、ユーザの音声が入力され、マイクロホン３２１は、そのユーザの音声を、電気信号としての音声信号として、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換部３２２に出力する。Ａ／Ｄ変換部３２２は、マイクロホン３２１からのアナログの音声信号をＡ／Ｄ変換することにより、デジタルの音声データとし、符号化部３２３に出力する。
【０１４６】
符号化部３２３は、Ａ／Ｄ変換部３２２からの音声データを所定の符号化方式によって符号化するとともに、クラスコードを多重化し、その結果得られる符号化音声データを、送信制御部３２４に出力する。
【０１４７】
管理部３２７は、操作部３１５が操作されることによって入力される、発信先の電話番号や発信元である自身の電話番号、その他の必要な情報を、必要に応じて管理し、符号化部３２３と送信制御部３２４に出力する。
【０１４８】
送信制御部３２４は、符号化部３２３が出力する符号化音声データと、管理部３２７が出力するデータの送信制御を行う。即ち、送信制御部３２４は、符号化部３２３が出力する符号化音声データ、または管理部３２７が出力するデータを選択し、所定の送信タイミングにおいて、送信データとして、変復調部３１２（図２３）に出力する。
【０１４９】
図２５は、図２３の受信部３１４の構成例を示している。
【０１５０】
図２３の変復調部３１２が出力する復調信号としての受信データは、受信制御部３３１に供給され、受信制御部３３１は、その受信データを受信する。そして、受信制御部３３１は、受信データが符号化音声データである場合には、その符号化音声データを、復号部３３２に供給する。あるいは、その受信データが、発信元の電話番号その他の情報である場合には、受信制御部３３１は、そのような情報を、必要に応じて、管理部３３５や、送信部３１３（の管理部３２７）に供給する。
【０１５１】
復号部３３２は、受信制御部３３１から供給される符号化音声データを、クラスコードと分離し、また、高域周波数成分を付加し、その結果得られる復号音声データを、Ｄ／Ａ（Ｄｉｇｉｔａｌ／Ａｎａｌｏｇ）変換部３３３に供給する。
【０１５２】
Ｄ／Ａ変換部３３３は、復号部３３２が出力するデジタルの復号音声データをＤ／Ａ変換し、その結果得られるアナログの音声信号を、スピーカ３３４に供給する。スピーカ３３４は、Ｄ／Ａ変換部３３３からの音声信号に対応する音声を出力する。
【０１５３】
管理部３３５は、着呼時に、受信制御部３３１から、発信元の電話番号を受信し、その電話番号を復号部３３２に供給する。
【０１５４】
図２６と図２７は、学習済テーブルが固定の情報として与えられる場合の符号化部３２３と復号部３３２の構成例を示している。
【０１５５】
初めに、図２６の符号化部３２３の構成について説明する。
【０１５６】
フレーム切り出し部３５１とＤＣＴ変換部３５２の機能は、図１の音声広帯域化装置１のフレーム切り出し部１１とＤＣＴ変換部１２のそれと同様であるので、その説明は省略する。
【０１５７】
高域周波数成分除去部３５３は、入力されたＤＣＴスペクトルデータの高域周波数成分を除去して生成した低域周波数成分を、クラス分類部３５４とクラスコード多重化部３５５に出力する。圧縮率は、高域周波数成分の除去率に依存し、例えば、帯域を半分に圧縮すれば１／２のデータ量となるが、これに後述するクラスコード多重化部３５５において多重化されるクラスコードの数ワード分を付加したものが最終的なデータ量となる。
【０１５８】
クラス分類部３５４は、高域周波数成分除去部３５３から入力された低域周波数成分のＤＣＴスペクトルデータに対して、音声広帯域化装置１のクラス分類部１３における場合と同様のクラス分類処理を施し、クラスコードをクラスコード多重化部３５５に出力する。
【０１５９】
クラスコード多重化部３５５は、クラス分類部３５４から出力されたクラスコードと、高域周波数成分除去部３５３から出力された低域周波数成分のＤＣＴスペクトルデータを多重化し、逆ＤＣＴ変換部３５６に出力する。クラスコードを低域周波数成分のＤＣＴスペクトルデータと多重化することで、クラスコードの符号伝送路でのエラー耐性を高めることが可能であるとともに、後述する復号部３３２（図２７）において、再度クラス分類処理を行って求められたクラスコードと、多重化されたクラスコードの一致度を調べることにより、多重化されたクラスコードのエラー検出や修正を行うことも可能である。
【０１６０】
逆ＤＣＴ変換部３５６は、入力されたクラスコードと低域周波数成分のＤＣＴスペクトルデータが多重化されたデータを逆Ｍ−ＤＣＴ変換し、フレーム結合部３５７に出力する。
【０１６１】
フレーム結合部３５７は、音声広帯域化装置１のフレーム結合部１８における場合と同様のフレームオーバーラップの処理を施し、符号化音声データとして送信制御部３２４（図２４）に出力する。
【０１６２】
次に、図２７の復号部３３２の構成について説明する。
【０１６３】
フレーム切り出し部３７１とＤＣＴ変換部３７２は、図１の音声広帯域化装置１のフレーム切り出し部１１とＤＣＴ変換部１２と同様の機能を有するものであるので、その説明は省略する。
【０１６４】
クラスコード分離部３７３は、多重化されたＤＣＴスペクトルデータを、クラスコードと、低域周波数成分のＤＣＴスペクトルデータに分離し、低域周波数成分のＤＣＴスペクトルデータをスペクトル結合部３７６に出力し、クラスコードを学習済テーブル３７４に出力する。
【０１６５】
学習済テーブル３７４は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスに格納されている高域周波数成分のＤＣＴスペクトルデータを読み出し、ゲイン調整部３７５に出力する。
【０１６６】
ゲイン調整部３７５は、音声広帯域化装置１のゲイン調整部１５と同様に、スペクトル結合部３７６で結合される低域周波数成分スペクトルのゲインと合うように、学習済テーブル３７４から出力された高域周波数成分のスペクトルをゲイン調整し、スペクトル結合部３７６に出力する。
【０１６７】
スペクトル結合部３７６は、クラスコード分離部３７３から出力された低域周波数成分のＤＣＴスペクトルデータと、ゲイン調整部３７５から出力された高域周波数成分のＤＣＴスペクトルデータを結合し、逆ＤＣＴ変換部３７７に出力する。
【０１６８】
逆ＤＣＴ変換部３７７は、入力されたスペクトルデータの逆Ｍ−ＤＣＴ変換を行い、フレーム結合部３７８に出力する。
【０１６９】
フレーム結合部３７８は、フレームオーバーラップの処理を行い、広帯域な音声信号として、Ｄ／Ａ変換部３３３に出力する。
【０１７０】
一方、図２８と図２９は、高域周波数成分のスペクトルデータを蓄積する学習済テーブルが発信元の電話番号ごとに対応付けて記憶され、使用するたびに通話者に対するテーブル情報を更新するようにした場合の、符号化部３２３と復号部３３２の構成例を示している。なお、図中、図２６と図２７における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、省略する。
【０１７１】
初めに、図２８の符号化部３２３の構成について説明する。
【０１７２】
スペクトル分割部３８１は、入力されたＤＣＴスペクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ３８２に出力し、低域周波数成分をクラス分類部３５４とクラスコード多重化部３５５に出力する。
【０１７３】
クラス分類部３５４は、クラスコードを算出し、そのクラスコードをテーブルメモリ３８２とクラスコード多重化部３５５に出力する。
【０１７４】
テーブルメモリ３８２は、クラス分類部３５４が出力したクラスコードに対応するアドレスに、スペクトル分割部３８１より入力された高域周波数成分のＤＣＴスペクトルデータを格納する。このテーブルメモリの内容は、所定のタイミングにおいて、後述する復号部３３２のテーブルメモリ３９１（図２９）に転送される。
【０１７５】
以上のように構成される符号化部３２３においては、通話がなされるたびに、テーブルメモリ３８２に、通話者ごとの高域周波数成分のスペクトルデータが蓄積されていくこととなる。テーブルメモリ３８２の内容は、一種の統計情報であるため、情報を入力すればするほど、クラスコード単位で適切な偏りに収束していくことが予想され、この効果により、使用回数が増えていくと、より高精度な復号がなされるようになっていくことになる。図２８のその他の構成は、図２６における場合と同様である。
【０１７６】
次に、図２９の復号部３３２の構成について説明する。
【０１７７】
テーブルメモリ３９１は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスとして指定された位置に格納されている高域周波数成分のＤＣＴスペクトルデータを読み出し、ゲイン調整部３７５に出力する。
【０１７８】
以下において、図２８と図２９の構成で示される、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合の携帯電話機３０１の動作について説明する。
【０１７９】
初めに、図３０のフローチャートを参照して、発信元である携帯電話機３０１１の送信部３１３が行う送信処理について説明する。
【０１８０】
ステップＳ２０１で、ユーザが、操作部３１５（図２３）を操作して、着信側としての携帯電話機３０１２の電話番号を入力すると、管理部３２７は、通話の開始を検出する。
【０１８１】
ステップＳ２０２で、送信部３１３は、図３１を参照して後述するメモリデータ送信処理を行う。すなわち、送信部３１３は、テーブルメモリ３８２（図２８）に記憶された高域周波数成分スペクトルのＤＣＴベクトルデータを、着信側の携帯電話機３０１２のテーブルメモリ３９１（図２９）に送信し、音声通話に切り換える。
【０１８２】
ステップＳ２０３で、マイクロホン３２１は、ユーザの音声を入力する。
【０１８３】
ステップＳ２０４で、Ａ／Ｄ変換部３２２は、マイクロホン３２１から入力された音声信号をＡ／Ｄ変換し、デジタルの音声信号として、符号化部３２３に出力する。
【０１８４】
ステップＳ２０５で、符号化部３２３は、符号化処理を行う。その詳細は、図３２を参照して後述するが、この処理により、Ａ／Ｄ変換部３２２より入力された音声信号が、高域周波数成分と低域周波数成分に分割される。そして、高域周波数成分は、テーブルメモリ３８２に記憶され、低域周波数成分は、クラスコードと多重化されて、符号化音声データとして、送信制御部３２４に出力される。
【０１８５】
ステップＳ２０６で、送信制御部３２４は、符号化部３２３から入力された符号化音声データを変復調部３１２（図２３）に送信する。
【０１８６】
ステップＳ２０７で、管理部３２７は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部３２７は、処理をステップＳ２０３に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部３２７は、送信処理を終了する。
【０１８７】
次に、図３１のフローチャートを参照して、図３０のステップＳ２０２における、メモリデータ送信処理について説明する。
【０１８８】
ステップＳ２２１において、送信制御部３２４が、操作部３１５が操作されることにより入力された携帯電話機３０１２の電話番号を、送信データとして出力することにより、携帯電話機３０１２の呼び出しが行われる。
【０１８９】
そして、携帯電話機３０１２のユーザが、携帯電話機３０１１からの呼び出しに応じて、操作部３１５を操作することにより、携帯電話機３０１２をオフフック状態にすると、ステップＳ２２２に進み、送信制御部３２４は、着信側の携帯電話機３０１２との間の通信リンクを確立し、ステップＳ２２３に進む。
【０１９０】
ステップＳ２２３では、管理部３２７は、符号化部３２３のテーブルメモリ３８２に記憶されているデータを読み出し、送信制御部３２４に供給する。さらに、ステップＳ２２３では、送信制御部３２４が、管理部３２７からのメモリデータを選択し、送信データとして送信する。なお、メモリデータは、そのメモリデータが学習によって得られた日時を表す更新情報とともに送信される。
【０１９１】
その後、ステップＳ２２３からＳ２２４に進み、管理部３２７は、準備完了通知が、着信側の携帯電話機３０１２から送信されてきたかどうかを判定する。
【０１９２】
即ち、着信側の携帯電話機３０１２は、通常の音声通話が可能な状態になると、音声通話の準備が完了したことを表す準備完了通知を送信するようになっており（後述する図３４のステップＳ２７７）、ステップＳ２２４では、そのような準備完了通知が、携帯電話機３０１２から送信されてきたかどうかが判定される。
【０１９３】
ステップＳ２２４において、準備完了通知が送信されてきていないと判定された場合、ステップＳ２２４に戻り、準備完了通知が送信されてくるまで待つ。
【０１９４】
そして、ステップＳ２２４において、準備完了通知が送信されてきたと判定された場合、ステップＳ２２５に進み、送信制御部３２４は、符号化部３２３の出力を選択することにより、音声通話が可能な状態となって、メモリデータ送信処理を終了する。
【０１９５】
次に、図３２のフローチャートを参照して、図３０のステップＳ２０５における、符号化処理について説明する。
【０１９６】
ステップＳ２３１において、フレーム切り出し部３５１は、Ａ／Ｄ変換部３２２より入力された音声信号をフレーム化する。ここで入力される音声信号は、高域周波数成分と低域周波数成分の両方を有している。
【０１９７】
ステップＳ２３２において、ＤＣＴ変換部３５２は、ステップＳ２３１でフレーム化された音声信号をＭ−ＤＣＴ変換し、ＤＣＴスペクトルデータとして、スペクトル分割部３８１に出力する。
【０１９８】
ステップＳ２３３において、スペクトル分割部３８１は、ＤＣＴスペクトルデータを、高域周波数成分と低域周波数成分に分割し、高域周波数成分をテーブルメモリ３８２に出力し、低域周波数成分をクラス分類部３５４に出力する。
【０１９９】
ステップＳ２３４において、クラス分類部３５４は、クラス分類処理により、クラスコードを決定し、クラスコード多重化部３５５とテーブルメモリ３８２に出力する。ここにおけるクラス分類処理は、図６において上述した音声広帯域化装置１のクラス分類処理と同様であるため、その説明は省略する。
【０２００】
ステップＳ２３５において、テーブルメモリ３８２は、クラス分類部３５４が出力したクラスコードに対応するアドレスに、スペクトル分割部３８１から入力された高域周波数成分のＤＣＴスペクトルデータを格納する。
【０２０１】
ステップＳ２３６において、クラスコード多重化部３５５は、クラス分類部３５４から入力されたクラスコードと、スペクトル分割部３８１から入力された低域周波数成分のＤＣＴスペクトルデータを多重化し、逆ＤＣＴ変換部３５６に出力する。
【０２０２】
ステップＳ２３７において、逆ＤＣＴ変換部３５６は、多重化された低域周波数成分のＤＣＴスペクトルデータを逆ＤＣＴ変換する。
【０２０３】
最後に、ステップＳ２３８において、フレーム結合部３５７は、オーバーラップの処理を施し、符号化音声データを作成する。
【０２０４】
次に、以上の送信側である携帯電話機３０１１が行う図３０の送信処理に対応して、着信側である携帯電話機３０１２の受信部３１４が行う受信処理について、図３３を参照して説明する。
【０２０５】
ステップＳ２５１において、管理部３３５は、受信制御部３３１を介して電波の受信を検知する。
【０２０６】
ステップＳ２５２において、受信部３１４は、図３４を参照して後述するメモリデータ更新処理を行う。すなわち、受信部３１４は、テーブルメモリ３９１（図２９）に記憶された高域周波数成分スペクトルのＤＣＴベクトルデータを更新し、音声通話（符号化音声データ）に切り換える。
【０２０７】
ステップＳ２５３において、受信制御部３３１に入力される受信データが、符号化音声データに切り換えられると、受信制御部３３１は、その符号化音声データを復号部３３２に出力する。
【０２０８】
ステップＳ２５４において、復号部３３２は、復号処理を行う。その詳細は、図３５を参照して後述するが、この処理により、復号部３３２は、クラスコードが多重化された符号化音声データを、クラスコードと低域周波数成分に分離し、クラスコードに対応するアドレスに記憶された高域周波数成分を読み出し、低域周波数成分と結合して、広帯域な音声信号として出力する。
【０２０９】
ステップＳ２５５において、Ｄ／Ａ変換部３３３は、復号部３３２より入力された広帯域な音声信号をＤ／Ａ変換し、スピーカ３３４に出力する。
【０２１０】
ステップＳ２５６において、スピーカ３３４は、Ｄ／Ａ変換部３３３より入力されたアナログの音声信号を出力する。
【０２１１】
ステップＳ２５７において、管理部３３５は、通話が終了したか否かを判定する。通話が終了していないと判定された場合、管理部３３５は、処理をステップＳ２５３に戻し、それ以降の処理が繰り返される。通話が終了したと判定された場合、管理部３３５は、受信処理を終了する。
【０２１２】
次に、図３４のフローチャートを参照して、図３３のステップＳ２５２におけるメモリデータ更新処理について説明する。
【０２１３】
ステップＳ２７１において、受信制御部３３１は、ユーザが操作部３１５を操作することによりオフフック状態としたかどうかを判定し、オフフック状態とされていないと判定した場合、ステップＳ２７１に戻る。
【０２１４】
また、ステップＳ２７１において、オフフック状態にされたと判定された場合、ステップＳ２７２に進み、受信制御部３３１は、通信リンクを確立し、ステップＳ２７３に進む。ステップＳ２７３では、受信制御部３３１は、発信側の携帯電話機３０１１から送信されてくる最新のメモリデータを含む受信データを受信し、管理部３３５に供給する。
【０２１５】
即ち、図３１のメモリデータ送信処理では、上述したように、ステップＳ２２３において、携帯電話機３０１１が、最新のメモリデータを、更新情報とともに送信してくるので、ステップＳ２７３では、そのメモリデータと更新情報が受信される。
【０２１６】
その後、ステップＳ２７４に進み、管理部３３５は、発信側の携帯電話機３０１１から受信した更新情報を参照し、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが記憶されているかどうかを判定する。
【０２１７】
ステップＳ２７４において、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが既に記憶されていると判定された場合、ステップＳ２７５に進み、管理部３３５は、ステップＳ２７３で受信したメモリデータと更新情報を破棄し、ステップＳ２７７に進む。
【０２１８】
また、ステップＳ２７４において、復号部３３２に、発信側の携帯電話機３０１１のユーザについての最新のメモリデータがまだ記憶されていないと判定された場合、ステップＳ２７６に進み、管理部３３５は、ステップＳ２７３で得た最新のメモリデータを、着呼時に受信した発信側の携帯電話機３０１１の電話番号、さらには、そのメモリデータとともに送信されてきた更新情報と対応付けて、復号部３３２に記憶させることにより、復号部３３２のテーブルメモリ３９１の内容を更新する。
【０２１９】
そして、ステップＳ２７７に進み、管理部３３５は、送信部３１３の送信制御部３２４を制御することにより、音声通話の準備が完了したことを表す準備完了通知を、送信データとして送信させ、ステップＳ２７８に進む。
【０２２０】
ステップＳ２７８では、受信制御部３３１は、そこに供給される受信データに含まれる符号化音声データを復号部３３２に出力する、音声通話が可能な状態となって、メモリデータ更新処理を終了する。
【０２２１】
次に、図３５を参照して、図３３のステップＳ２５４における復号処理について説明する。
【０２２２】
ステップＳ２９１において、フレーム切り出し部３７１は、受信制御部３３１より入力された符号化音声データをフレーム化する。
【０２２３】
ステップＳ２９２において、ＤＣＴ変換部３７２は、ステップＳ２９１でフレーム化された符号化音声データをＭ−ＤＣＴ変換し、ＤＣＴスペクトルデータとして、クラスコード分離部３７３に出力する。
【０２２４】
ステップＳ２９３において、クラスコード分離部３７３は、ＤＣＴスペクトルデータを、クラスコードと低域周波数成分に分離し、クラスコードをテーブルメモリ３９１に出力し、低域周波数成分をスペクトル結合部３７６に出力する。
【０２２５】
ステップＳ２９４において、テーブルメモリ３９１は、クラスコード分離部３７３が出力したクラスコードに対応するアドレスに記憶されている高域周波数成分のＤＣＴスペクトルデータをゲイン調整部３７５に出力する。
【０２２６】
ステップＳ２９５において、スペクトル結合部３７６は、ゲイン調整部３７５においてゲイン調整されて入力された高域周波数成分と、クラスコード分離部３７３から入力された低域周波数成分をスペクトル結合し、逆ＤＣＴ変換部３７７に出力する。
【０２２７】
ステップＳ２９６において、逆ＤＣＴ変換部３７７は、結合されたＤＣＴスペクトルデータを逆ＤＣＴ変換する。
【０２２８】
最後に、ステップＳ２９７において、フレーム結合部３７８は、オーバーラップの処理を施し、広帯域なデジタルの音声信号としてＤ／Ａ変換部３３３（図２５）に出力する。
【０２２９】
図３４のメモリデータ更新処理によれば、着信側の携帯電話機３０１２において、発信側の携帯電話機３０１１のユーザについての最新のメモリデータが記憶されていない限り、必ず、記憶内容が更新されることになる。
【０２３０】
しかしながら、これに限らず、ユーザが必要な時だけメモリデータの更新を要求し、その要求がオンされたときだけ、上述の更新処理を行うようにしてもよい。
【０２３１】
また、本実施の形態では、着信側において、着呼時に、発信側から送信されてくる電話番号を、発信側を特定する特定情報とするようにしたが、その他、例えば、ユーザ等に、ユニークなＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を割り当てておき、そのＩＤを特定情報として用いることも可能である。
【０２３２】
以上に、学習済テーブルが発信元の電話番号に対応付けて記憶され、所定のタイミングで更新される場合について説明したが、図２６と図２７における、学習済テーブル３７４（テーブルメモリ）が固定の場合の動作は、図３０のステップＳ２０２におけるメモリデータ送信処理（図３１に示される処理）と、図３３のステップＳ２５２におけるメモリデータ更新処理（図３４に示される処理）が省略された場合と同様である。
【０２３３】
上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
【０２３４】
そこで、図３６は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
【０２３５】
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク４０５やＲＯＭ４０３に予め記録しておくことができる。
【０２３６】
あるいはまた、プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＭＯ（Ｍａｇｎｅｔｏ ｏｐｔｉｃａｌ）ディスク，ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、磁気ディスク、半導体メモリなどのリムーバブル記録媒体４１１に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体４１１は、いわゆるパッケージソフトウエアとして提供することができる。
【０２３７】
なお、プログラムは、上述したようなリムーバブル記録媒体４１１からコンピュータにインストールする他、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部４０８で受信し、内蔵するハードディスク４０５にインストールすることができる。
【０２３８】
コンピュータは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４０２を内蔵している。ＣＰＵ４０２には、バス４０１を介して、入出力インタフェース４１０が接続されており、ＣＰＵ４０２は、入出力インタフェース４１０を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部４０７が操作等されることにより指令が入力されると、それにしたがって、ＲＯＭ （Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ） ４０３に格納されているプログラムを実行する。あるいは、また、ＣＰＵ４０２は、ハードディスク４０５に格納されているプログラム、衛星若しくはネットワークから転送され、通信部４０８で受信されてハードディスク４０５にインストールされたプログラム、またはドライブ４０９に装着されたリムーバブル記録媒体４１１から読み出されてハードディスク４０５にインストールされたプログラムを、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４０４にロードして実行する。これにより、ＣＰＵ４０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、ＣＰＵ４０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース４１０を介して、ＬＣＤ（Ｌｉｑｕｉｄ ＣｒｙｓｔａｌＤｉｓｐｌａｙ）やスピーカ等で構成される出力部４０６から出力、あるいは、通信部４０８から送信、さらには、ハードディスク４０５に記録等させる。
【０２３９】
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
【０２４０】
また、プログラムは、１のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０２４１】
本実施の形態では、本発明を、音声（画像信号）広帯域化装置、および、携帯電話機どうしで音声通話を行う伝送システムに適用した場合について説明したが、その他、本発明は、固定電話音声、ＡＭ（Ａｍｐｌｉｔｕｄｅ ｍｏｄｕｌａｔｉｏｎ）／ＦＭ（Ｆｒｅｑｕｅｎｃｙ Ｍｏｄｕｌａｔｉｏｎ）ラジオ放送受信音声、アナログＴＶ（Ｔｅｌｅｖｉｓｉｏｎ）放送受信音声の音質改善など、音声通信を行うシステムに広く適用可能である。
【０２４２】
また、本明細書において、システムの用語は、複数の装置、手段などより構成される全体的な装置を表すものである。
【０２４３】
【発明の効果】
以上のごとく本発明の信号処理システム、および信号処理システムの信号処理方法によれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を、精度よく復元することが可能なシステムを実現することができる。
【０２４４】
以上のごとく本発明の第１の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、他の信号処理装置に対して、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元させることが可能になる。
【０２４５】
以上のごとく本発明の第２の信号処理装置、信号処理方法、記録媒体、並びにプログラムによれば、高域周波数成分が抑圧された狭帯域信号の高域周波数成分を精度よく復元することが可能になる。
【図面の簡単な説明】
【図１】本発明の第１実施の形態である音声広帯域化装置の構成例を示すブロック図である。
【図２】図１のクラス分類部の構成例を示すブロック図である。
【図３】図１の音声広帯域化装置の音声広帯域化処理を説明するフローチャートである。
【図４】音声広帯域化処理のデータ例を示す図である。
【図５】クラス分類処理の基本原理を説明する図である。
【図６】図３のステップＳ３のクラス分類処理を説明するフローチャートである。
【図７】音の等ラウドネス曲線を説明する図である。
【図８】音を周波数補正するＡ特性カーブを示す図である。
【図９】図６のステップＳ２５の処理を説明する図である。
【図１０】音声信号の学習装置の構成例を示すブロック図である。
【図１１】図１０の学習装置の学習処理を説明するフローチャートである。
【図１２】学習処理の音声信号のデータ例を示す図である。
【図１３】図１１のステップＳ５３のクラス分類処理を説明するフローチャートである。
【図１４】本発明の第２実施の形態である画像信号広帯域化装置の構成例を示すブロック図である。
【図１５】図１４のクラス分類部の構成例を示すブロック図である。
【図１６】画像信号広帯域化処理のデータ例を示す図である。
【図１７】図１４の画像信号広帯域化装置のクラス分類処理を説明するフローチャートである。
【図１８】図１７のステップＳ９２の処理を説明する図である。
【図１９】画像信号の学習装置の構成例を示すブロック図である。
【図２０】学習処理の画像信号のデータ例を示す図である。
【図２１】図１９の学習装置のクラス分類処理を説明するフローチャートである。
【図２２】本発明の第３実施の形態である伝送システムの構成例を示すブロック図である。
【図２３】図２２の携帯電話機の構成例を示すブロック図である。
【図２４】図２３の送信部の構成例を示すブロック図である。
【図２５】図２３の受信部の構成例を示すブロック図である。
【図２６】学習済テーブルが固定の情報として与えられる場合の図２４の符号化部の構成例を示すブロック図である。
【図２７】学習済テーブルが固定の情報として与えられる場合の図２５の復号部の構成例を示すブロック図である。
【図２８】学習済テーブルが所定のタイミングで更新される場合の図２４の符号化部の構成例を示すブロック図である。
【図２９】学習済テーブルが所定のタイミングで更新される場合の図２５の復号部の構成例を示すブロック図である。
【図３０】図２４の送信部の送信処理を説明するフローチャートである。
【図３１】図３０のステップＳ２０２のメモリデータ送信処理を説明するフローチャートである。
【図３２】図３０のステップＳ２０５の符号化処理を説明するフローチャートである。
【図３３】図２５の受信部の受信処理を説明するフローチャートである。
【図３４】図３３のステップＳ２５２のメモリデータ更新処理を説明するフローチャートである。
【図３５】図３３のステップＳ２５４の復号処理を説明するフローチャートである。
【図３６】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
１ 音声広帯域化装置， １１ フレーム切り出し部， １２ ＤＣＴ変換部，１３ クラス分類部， １４ 学習済テーブル， １５ ゲイン調整部， １６スペクトル結合部， １７ 逆ＤＣＴ変換部， １８ フレーム結合部， ３１パワー値変換部， ３２ 重み付け処理部， ３３ スペクトル抽出部， ３４ サブバンド分割部， ３５量子化部， ３６ クラスコード決定部， ５０学習装置， ６１ フレーム切り出し部， ６２ ＤＣＴ変換部， ６３ 高域周波数成分抽出部， ６４ 加算部， ６５ 間引き回路， ６６ フレーム切り出し部， ６７ ＤＣＴ変換部， ６８ クラス分類部， ６９ 積算テーブル， ７０ 学習済テーブル
Claims (28)
- 入力信号を加工して蓄積する第１の信号処理装置と、
入力信号を加工して出力する第２の信号処理装置と
を備える信号処理システムにおいて、
前記第１の信号処理装置は、
周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、
前記第１の信号入力手段により入力された前記第１の信号から高域周波数成分を抽出する抽出手段と、
前記第２の信号入力手段により入力された前記第２の信号に基づいて、第１のクラスコードを決定する第１の決定手段と、
前記第１の決定手段により決定された前記第１のクラスコードごとに、前記抽出手段により抽出された前記高域周波数成分を蓄積する蓄積手段と
を備え、
前記第２の信号処理装置は、
高域周波数成分が抑圧された狭帯域な第３の信号を入力する第３の信号入力手段と、
前記第３の信号入力手段により入力された前記第３の信号に基づいて、第２のクラスコードを決定する第２の決定手段と、
前記第２の決定手段により決定された前記第２のクラスコードに対応する、前記蓄積手段により蓄積された前記高域周波数成分と、前記第３の信号入力手段により入力された前記第３の信号を合成する合成手段と、
前記合成手段により生成された合成信号を出力する出力手段と
を備えることを特徴とする信号処理システム。 - 入力信号を加工して蓄積する第１の信号処理装置と、
入力信号を加工して出力する第２の信号処理装置と
を備える信号処理システムの信号処理方法において、
前記第１の信号処理装置は、
周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、
前記第１の信号入力制御ステップの処理により入力が制御された前記第１の信号から高域周波数成分を抽出する抽出ステップと、
前記第２の信号入力制御ステップの処理により入力が制御された前記第２の信号に基づいて、第１のクラスコードを決定する第１の決定ステップと、
前記第１の決定ステップの処理により決定された前記第１のクラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップと
を含み、
前記第２の信号処理装置は、
高域周波数成分が抑圧された狭帯域な第３の信号の入力を制御する第３の信号入力制御ステップと、
前記第２の信号入力制御ステップの処理により入力が制御された前記第３の信号に基づいて、第２のクラスコードを決定する第２の決定ステップと、
前記第２の決定ステップの処理により決定された前記第２のクラスコードに対応する、前記蓄積ステップの処理により蓄積された前記高域周波数成分と、前記第３の信号入力制御ステップの処理により入力が制御された前記第３の信号を合成する合成ステップと、
前記合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップと
を含むことを特徴とする信号処理方法。 - 周波数成分が広帯域な第１の信号を入力する第１の信号入力手段と、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号を入力する第２の信号入力手段と、
前記第１の信号入力手段により入力された前記第１の信号から高域周波数成分を抽出する抽出手段と、
前記第２の信号入力手段により入力された前記第２の信号に基づいて、クラスコードを決定する決定手段と、
前記決定手段により決定された前記クラスコードごとに、前記抽出手段により抽出された前記高域周波数成分を蓄積する蓄積手段と
を備えることを特徴とする信号処理装置。 - 前記第１の信号と前記第２の信号は、音声信号である
ことを特徴とする請求項３に記載の信号処理装置。 - 前記決定手段は、等ラウドネス特性に基づく重み付け処理を行った前記第２の信号に基づいて、前記クラスコードを決定する
ことを特徴とする請求項４に記載の信号処理装置。 - 前記決定手段は、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、前記クラスコードを決定する
ことを特徴とする請求項４に記載の信号処理装置。 - 前記決定手段は、前記抽出手段により抽出される前記高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分の前記クラスコードを決定する
ことを特徴とする請求項４に記載の信号処理装置。 - 前記第１の信号と前記第２の信号は、画像信号である
ことを特徴とする請求項３に記載の信号処理装置。 - 前記決定手段は、前記画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、前記クラスコードを決定する
ことを特徴とする請求項８に記載の信号処理装置。 - 前記蓄積手段は、前記抽出手段により抽出された前記高域周波数成分を、特定情報に対応付けて蓄積する
ことを特徴とする請求項３に記載の信号処理装置。 - 前記特定情報は、電話機の電話番号である
ことを特徴とする請求項１０に記載の信号処理装置。 - 前記第１の信号を所定の時間間隔で間引いて前記第２の信号を生成する生成手段を
さらに備えることを特徴とする請求項３に記載の信号処理装置。 - 入力信号を加工して蓄積する信号処理装置の信号処理方法において、
周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、
前記第１の信号入力制御ステップの処理により入力が制御された前記第１の信号から高域周波数成分を抽出する抽出ステップと、
前記第２の信号入力制御ステップの処理により入力が制御された前記第２の信号に基づいて、クラスコードを決定する決定ステップと、
前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップと
を含むことを特徴とする信号処理方法。 - 入力信号を加工して蓄積する信号処理装置のプログラムであって、
周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、
前記第１の信号入力制御ステップの処理により入力が制御された前記第１の信号から高域周波数成分を抽出する抽出ステップと、
前記第２の信号入力制御ステップの処理により入力が制御された前記第２の信号に基づいて、クラスコードを決定する決定ステップと、
前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップとを含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 入力信号を加工して蓄積する信号処理装置を制御するコンピュータに、
周波数成分が広帯域な第１の信号の入力を制御する第１の信号入力制御ステップと、
前記第１の信号のうちの、高域周波数成分が抑圧された狭帯域な第２の信号の入力を制御する第２の信号入力制御ステップと、
前記第１の信号入力制御ステップの処理により入力が制御された前記第１の信号から高域周波数成分を抽出する抽出ステップと、
前記第２の信号入力制御ステップの処理により入力が制御された前記第２の信号に基づいて、クラスコードを決定する決定ステップと、
前記決定ステップの処理により決定された前記クラスコードごとに、前記抽出ステップの処理により抽出された前記高域周波数成分を蓄積する蓄積ステップと
を実行させることを特徴とするプログラム。 - 高域周波数成分が抑圧された狭帯域な信号を入力する信号入力手段と、
前記信号入力手段により入力された前記信号に基づいて、クラスコードを決定する決定手段と、
高域周波数成分を記憶する記憶手段と、
前記決定手段により決定された前記クラスコードに対応する、前記記憶手段に記憶された高域周波数成分と、前記信号入力手段により入力された前記信号を合成する合成手段と、
前記合成手段により生成された合成信号を出力する出力手段と
を備えることを特徴とする信号処理装置。 - 前記信号入力手段が入力する信号は、音声信号である
ことを特徴とする請求項１６に記載の信号処理装置。 - 前記決定手段は、等ラウドネス特性に基づく重み付け処理を行った前記信号に基づいて、前記クラスコードを決定する
ことを特徴とする請求項１７に記載の信号処理装置。 - 前記決定手段は、音声信号スペクトルの平均パワー値と最大パワー値の位置に基づいて、前記クラスコードを決定する
ことを特徴とする請求項１７に記載の信号処理装置。 - 前記決定手段は、前記記憶手段に記憶されている前記高域周波数成分の最低の周波数の１／２倍、または１／３倍の周波数以上のスペクトル成分の前記クラスコードを決定する
ことを特徴とする請求項１７に記載の信号処理装置。 - 前記信号入力手段が入力する信号は、画像信号である
ことを特徴とする請求項１６に記載の信号処理装置。 - 前記決定手段は、画像信号のスペクトルの交流平均パワー値、直流パワー値、および交流成分ピークパワー値に基づいて、前記クラスコードを決定する
ことを特徴とする請求項２１に記載の信号処理装置。 - 前記記憶手段により記憶された前記高域周波数成分は、所定のタイミングで更新される
ことを特徴とする請求項１６に記載の信号処理装置。 - 前記記憶手段は、特定情報に対応付けて、前記高域周波数成分を記憶する
ことを特徴とする請求項１６に記載の信号処理装置。 - 前記特定情報は、電話機の電話番号である
ことを特徴とする請求項２４に記載の信号処理装置。 - 入力信号を加工して出力する信号処理装置の信号処理方法において、
高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、
前記信号入力制御ステップの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、
高域周波数成分の記憶を制御する記憶制御ステップと、
前記決定ステップの処理により決定された前記クラスコードに対応する、前記記憶制御ステップの処理により記憶が制御された高域周波数成分と、前記信号入力制御ステップの処理により入力された前記信号を合成する合成ステップと、
前記合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップと
を含むことを特徴とする信号処理方法。 - 入力信号を加工して出力する信号処理装置のプログラムであって、
高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、
前記信号入力制御ステップの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、
高域周波数成分の記憶を制御する記憶制御ステップと、
前記決定ステップの処理により決定された前記クラスコードに対応する、前記記憶制御ステップの処理により記憶が制御された高域周波数成分と、前記信号入力制御ステップの処理により入力された前記信号を合成する合成ステップと、
前記合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 入力信号を加工して出力する信号処理装置を制御するコンピュータに、
高域周波数成分が抑圧された狭帯域な信号の入力を制御する信号入力制御ステップと、
前記信号入力制御ステップの処理により入力が制御された前記信号に基づいて、クラスコードを決定する決定ステップと、
高域周波数成分の記憶を制御する記憶制御ステップと、
前記決定ステップの処理により決定された前記クラスコードに対応する、前記記憶制御ステップの処理により記憶が制御された高域周波数成分と、前記信号入力制御ステップの処理により入力された前記信号を合成する合成ステップと、
前記合成ステップの処理により生成された合成信号の出力を制御する出力制御ステップと
を実行させることを特徴とするプログラム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002266327A JP3879922B2 (ja) | 2002-09-12 | 2002-09-12 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
| EP03795239A EP1538602B1 (en) | 2002-09-12 | 2003-08-27 | Wideband synthesis from a narrowband signal |
| CNB038017334A CN1302457C (zh) | 2002-09-12 | 2003-08-27 | 信号处理系统、信号处理设备和方法 |
| PCT/JP2003/010824 WO2004025625A1 (ja) | 2002-09-12 | 2003-08-27 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
| KR20047007114A KR101001475B1 (ko) | 2002-09-12 | 2003-08-27 | 신호 처리 시스템, 신호 처리 장치 및 방법, 및 프로그램이 기록되어 있는 기록 매체 |
| DE60325741T DE60325741D1 (de) | 2002-09-12 | 2003-08-27 | Breitbandsynthese von schmalbandigen signalen |
| US10/495,295 US7668319B2 (en) | 2002-09-12 | 2003-08-27 | Signal processing system, signal processing apparatus and method, recording medium, and program |
| US12/571,592 US7986797B2 (en) | 2002-09-12 | 2009-10-01 | Signal processing system, signal processing apparatus and method, recording medium, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002266327A JP3879922B2 (ja) | 2002-09-12 | 2002-09-12 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004102095A true JP2004102095A (ja) | 2004-04-02 |
| JP3879922B2 JP3879922B2 (ja) | 2007-02-14 |
Family
ID=31986636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002266327A Expired - Fee Related JP3879922B2 (ja) | 2002-09-12 | 2002-09-12 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US7668319B2 (ja) |
| EP (1) | EP1538602B1 (ja) |
| JP (1) | JP3879922B2 (ja) |
| KR (1) | KR101001475B1 (ja) |
| CN (1) | CN1302457C (ja) |
| DE (1) | DE60325741D1 (ja) |
| WO (1) | WO2004025625A1 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005036527A1 (ja) * | 2003-10-07 | 2005-04-21 | Matsushita Electric Industrial Co., Ltd. | スペクトル包絡線符号化のための時間境界及び周波数分解能の決定方法 |
| WO2005111568A1 (ja) * | 2004-05-14 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| JP2006085176A (ja) * | 2004-09-17 | 2006-03-30 | Harman Becker Automotive Systems Gmbh | 帯域制限オーディオ信号の帯域拡大 |
| JP2009015209A (ja) * | 2007-07-09 | 2009-01-22 | Alpine Electronics Inc | 音声明瞭度改善システム及び音声明瞭度改善方法 |
| JP2009300707A (ja) * | 2008-06-13 | 2009-12-24 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| CN101656074A (zh) * | 2004-05-14 | 2010-02-24 | 松下电器产业株式会社 | 解码装置、解码方法以及通信终端和基站装置 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3879922B2 (ja) * | 2002-09-12 | 2007-02-14 | ソニー株式会社 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
| JP4899359B2 (ja) * | 2005-07-11 | 2012-03-21 | ソニー株式会社 | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 |
| ATE477572T1 (de) * | 2007-10-01 | 2010-08-15 | Harman Becker Automotive Sys | Effiziente audiosignalverarbeitung im subbandbereich, verfahren, vorrichtung und dazugehöriges computerprogramm |
| ES2904373T3 (es) | 2009-01-16 | 2022-04-04 | Dolby Int Ab | Transposición armónica mejorada de producto cruzado |
| ES2656668T3 (es) * | 2009-10-21 | 2018-02-28 | Dolby International Ab | Sobremuestreo en un banco de filtros de reemisor combinado |
| CN102436820B (zh) | 2010-09-29 | 2013-08-28 | 华为技术有限公司 | 高频带信号编码方法及装置、高频带信号解码方法及装置 |
| CN105761724B (zh) * | 2012-03-01 | 2021-02-09 | 华为技术有限公司 | 一种语音频信号处理方法和装置 |
| KR101897455B1 (ko) | 2012-04-16 | 2018-10-04 | 삼성전자주식회사 | 음질 향상 장치 및 방법 |
| US10008198B2 (en) * | 2013-03-28 | 2018-06-26 | Korea Advanced Institute Of Science And Technology | Nested segmentation method for speech recognition based on sound processing of brain |
| KR20150032390A (ko) * | 2013-09-16 | 2015-03-26 | 삼성전자주식회사 | 음성 명료도 향상을 위한 음성 신호 처리 장치 및 방법 |
| CN109688531B (zh) * | 2017-10-18 | 2021-01-26 | 宏达国际电子股份有限公司 | 获取高音质音频变换信息的方法、电子装置及记录介质 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2779886B2 (ja) * | 1992-10-05 | 1998-07-23 | 日本電信電話株式会社 | 広帯域音声信号復元方法 |
| SE501981C2 (sv) * | 1993-11-02 | 1995-07-03 | Ericsson Telefon Ab L M | Förfarande och anordning för diskriminering mellan stationära och icke stationära signaler |
| JP3189598B2 (ja) | 1994-10-28 | 2001-07-16 | 松下電器産業株式会社 | 信号合成方法および信号合成装置 |
| JP2956548B2 (ja) | 1995-10-05 | 1999-10-04 | 松下電器産業株式会社 | 音声帯域拡大装置 |
| EP0732687B2 (en) | 1995-03-13 | 2005-10-12 | Matsushita Electric Industrial Co., Ltd. | Apparatus for expanding speech bandwidth |
| JPH08278800A (ja) | 1995-04-05 | 1996-10-22 | Fujitsu Ltd | 音声通信システム |
| EP0945852A1 (en) | 1998-03-25 | 1999-09-29 | BRITISH TELECOMMUNICATIONS public limited company | Speech synthesis |
| US6658155B1 (en) * | 1999-03-25 | 2003-12-02 | Sony Corporation | Encoding apparatus |
| JP2000305599A (ja) | 1999-04-22 | 2000-11-02 | Sony Corp | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 |
| US6351733B1 (en) * | 2000-03-02 | 2002-02-26 | Hearing Enhancement Company, Llc | Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process |
| JP4596196B2 (ja) * | 2000-08-02 | 2010-12-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP4538705B2 (ja) * | 2000-08-02 | 2010-09-08 | ソニー株式会社 | ディジタル信号処理方法、学習方法及びそれらの装置並びにプログラム格納媒体 |
| JP3879922B2 (ja) * | 2002-09-12 | 2007-02-14 | ソニー株式会社 | 信号処理システム、信号処理装置および方法、記録媒体、並びにプログラム |
-
2002
- 2002-09-12 JP JP2002266327A patent/JP3879922B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-27 CN CNB038017334A patent/CN1302457C/zh not_active Expired - Fee Related
- 2003-08-27 EP EP03795239A patent/EP1538602B1/en not_active Expired - Fee Related
- 2003-08-27 KR KR20047007114A patent/KR101001475B1/ko not_active IP Right Cessation
- 2003-08-27 US US10/495,295 patent/US7668319B2/en not_active Expired - Fee Related
- 2003-08-27 WO PCT/JP2003/010824 patent/WO2004025625A1/ja active Application Filing
- 2003-08-27 DE DE60325741T patent/DE60325741D1/de not_active Expired - Lifetime
-
2009
- 2009-10-01 US US12/571,592 patent/US7986797B2/en not_active Expired - Fee Related
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005036527A1 (ja) * | 2003-10-07 | 2005-04-21 | Matsushita Electric Industrial Co., Ltd. | スペクトル包絡線符号化のための時間境界及び周波数分解能の決定方法 |
| US7451091B2 (en) | 2003-10-07 | 2008-11-11 | Matsushita Electric Industrial Co., Ltd. | Method for determining time borders and frequency resolutions for spectral envelope coding |
| WO2005111568A1 (ja) * | 2004-05-14 | 2005-11-24 | Matsushita Electric Industrial Co., Ltd. | 符号化装置、復号化装置、およびこれらの方法 |
| CN101656074A (zh) * | 2004-05-14 | 2010-02-24 | 松下电器产业株式会社 | 解码装置、解码方法以及通信终端和基站装置 |
| US8417515B2 (en) | 2004-05-14 | 2013-04-09 | Panasonic Corporation | Encoding device, decoding device, and method thereof |
| JP2006085176A (ja) * | 2004-09-17 | 2006-03-30 | Harman Becker Automotive Systems Gmbh | 帯域制限オーディオ信号の帯域拡大 |
| JP2009015209A (ja) * | 2007-07-09 | 2009-01-22 | Alpine Electronics Inc | 音声明瞭度改善システム及び音声明瞭度改善方法 |
| JP2009300707A (ja) * | 2008-06-13 | 2009-12-24 | Sony Corp | 情報処理装置および方法、並びにプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004025625A1 (ja) | 2004-03-25 |
| KR101001475B1 (ko) | 2010-12-14 |
| US20100020827A1 (en) | 2010-01-28 |
| US7668319B2 (en) | 2010-02-23 |
| US20050073986A1 (en) | 2005-04-07 |
| CN1602516A (zh) | 2005-03-30 |
| CN1302457C (zh) | 2007-02-28 |
| EP1538602A1 (en) | 2005-06-08 |
| KR20050037431A (ko) | 2005-04-21 |
| EP1538602A4 (en) | 2007-07-18 |
| DE60325741D1 (de) | 2009-02-26 |
| JP3879922B2 (ja) | 2007-02-14 |
| EP1538602B1 (en) | 2009-01-07 |
| US7986797B2 (en) | 2011-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7986797B2 (en) | Signal processing system, signal processing apparatus and method, recording medium, and program | |
| US10546594B2 (en) | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program | |
| JP3579047B2 (ja) | オーディオ復号装置と復号方法およびプログラム | |
| JP5942358B2 (ja) | 符号化装置および方法、復号装置および方法、並びにプログラム | |
| JP2007017908A (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| EP1446797B1 (en) | Method of transmission of wideband audio signals on a transmission channel with reduced bandwidth | |
| JPWO2006041055A1 (ja) | スケーラブル符号化装置、スケーラブル復号装置及びスケーラブル符号化方法 | |
| JP2000305599A (ja) | 音声合成装置及び方法、電話装置並びにプログラム提供媒体 | |
| JP6073456B2 (ja) | 音声強調装置 | |
| JP2007187905A (ja) | 信号符号化装置及び方法、信号復号装置及び方法、並びにプログラム及び記録媒体 | |
| JP5344354B2 (ja) | 無線電話ネットワークの音声チャネルを介した、データの転送システム、方法および装置 | |
| JP2005114813A (ja) | オーディオ信号再生装置及び再生方法 | |
| JP2003186499A (ja) | 符号化装置及び復号化装置 | |
| EP1538570A2 (en) | Method for graphically displaying audio frequency component in digital broadcast receiver | |
| JP5724338B2 (ja) | 符号化装置および符号化方法、復号装置および復号方法、並びにプログラム | |
| JP2000244325A (ja) | Ｍｐｅｇオーディオの復号化方法 | |
| JP2003029797A (ja) | 符号化装置、復号化装置および放送システム | |
| JP2011118215A (ja) | 符号化装置、符号化方法、プログラムおよび電子機器 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060728 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061019 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061101 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091117 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101117 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131117 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |