JP2008139844A - Apparatus and method for extending frequency band, player apparatus, playing method, program and recording medium - Google Patents
Apparatus and method for extending frequency band, player apparatus, playing method, program and recording medium Download PDFInfo
- Publication number
- JP2008139844A JP2008139844A JP2007274091A JP2007274091A JP2008139844A JP 2008139844 A JP2008139844 A JP 2008139844A JP 2007274091 A JP2007274091 A JP 2007274091A JP 2007274091 A JP2007274091 A JP 2007274091A JP 2008139844 A JP2008139844 A JP 2008139844A
- Authority
- JP
- Japan
- Prior art keywords
- band
- subband signals
- input signal
- frequency band
- expansion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000001514 detection method Methods 0.000 claims description 40
- 230000001052 transient effect Effects 0.000 claims description 37
- 230000008569 process Effects 0.000 claims description 16
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000006866 deterioration Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000005070 sampling Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013213 extrapolation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000000630 rising effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
- G10L19/16—Vocoder architecture
- G10L19/18—Vocoders using multiple modes
- G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Auxiliary Devices For Music (AREA)
Abstract
Description
本発明は、高周波数帯域の信号を削除して符号化された符号化データをより高音質に再生するのに最適な周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、再生処理をコンピュータに実行させるプログラム及びそのプログラムか記録された記録媒体に関するものである。 The present invention relates to a frequency band expansion device, a frequency band expansion method, a reproduction device, a reproduction method, and a reproduction that are optimal for reproducing encoded data encoded by deleting a signal in a high frequency band with higher sound quality. The present invention relates to a program for causing a computer to execute processing and a recording medium on which the program is recorded.
近年、MP3(国際標準規格ISO/IEC 11172-3, MPEG Audio Layer3)などの符号化されたデータを提供する音楽配信サービスが広まりつつある。これらのサービスでは、ダウンロードの際に時間がかからないように、ビットレートを低く抑えた符号化データの配信が主流である。 In recent years, music distribution services that provide encoded data such as MP3 (International Standard ISO / IEC 11172-3, MPEG Audio Layer 3) are becoming widespread. In these services, the distribution of encoded data with a low bit rate is the mainstream so that it does not take time to download.
低ビットレートの符号化データは、ファイル容量を抑えるために、人間の耳には知覚され難い約15kHz以上の高周波数帯域の信号を削除して符号化していることが多い。その結果、ファイル容量は小さく収まるが、高周波数帯域を削除することで、原信号がもつ臨場感が失われ、音がこもるという問題がある。 In order to reduce the file capacity, encoded data of a low bit rate is often encoded by deleting a signal in a high frequency band of about 15 kHz or higher that is hardly perceived by the human ear. As a result, the file capacity is small, but there is a problem that the presence of the original signal is lost and the sound is muffled by deleting the high frequency band.
これに対し、HE−AAC(国際標準規格ISO/IEC 14496-3, High Efficiency MPEG4 AAC)などの符号化方式では、帯域拡大技術によって、約15kHz以上の高周波数帯域を生成し、原信号に近い高周波数成分を再現している。また、近年では、高周波数帯域の信号を削除して符号化したデータを復号化処理して得られる信号を入力し、高周波数帯域を補完する後処理帯域拡大技術などにより原信号に近い高周波数成分を再現している。 On the other hand, encoding schemes such as HE-AAC (International Standard ISO / IEC 14496-3, High Efficiency MPEG4 AAC) generate a high frequency band of about 15 kHz or more by the band expansion technique and are close to the original signal. The high frequency component is reproduced. Also, in recent years, high frequency frequencies close to the original signal can be obtained by using post-processing band expansion technology that supplements the high frequency band by inputting the signal obtained by decoding the data encoded by deleting the high frequency band signal. The ingredients are reproduced.
例えば、特許文献1で提示されている手法では、入力信号と局部発振信号を混合して高周波数帯域を生成し、符号化方式や楽曲のジャンルに応じた通過域特性でフィルタリングした高域周波数成分と、入力信号を加算することで帯域を補完している。また、特許文献2で提示されている手法では、フーリエ変換を用いて入力信号を周波数領域へ変換し、低周波数帯域の周波数スペクトルから高周波数帯域の包絡線を推定し、その包絡に沿うように低周波数帯域の周波数スペクトルの利得を調整して貼り付けを行っている。
For example, in the technique presented in
しかし、上記特許文献1で提示されている手法では、予め学習する高域通過フィルタの通過域特性の種類に限りがあり、高周波数帯域の利得調整における柔軟性が得られない。また、上記特許文献2で提示されている手法では、フーリエ変換して周波数領域にて振幅を調整し、逆フーリエ変換することで時間信号を得ているが、フーリエ変換長に依存した時間エイリアシングが起きてしまうという問題がある。
However, in the technique presented in
また、特許文献3では、帯域分割フィルタを用いることでこれらの問題を回避している。図10は、特許文献3で提案された従来の再生装置のブロック図である。この手法では、入力されたPCM(Pulse-Code Modulation)信号に対し、帯域分割部101において複数のサブバンド信号に分解している。さらに、包絡推定部102にて、フレーム単位の周波数包絡の推定を行い、高域生成部103にて高周波数帯域のサブバンド信号を生成している。最後に、帯域拡大されたサブバンド信号を帯域合成部104に入力し、帯域拡大されたPCM信号を出力している。
In
しかし、上記特許文献3の手法には、三つの問題がある。一つ目は、一定のフレーム単位の処理の結果、入力信号の一フレーム内での時間的変動に追従した高周波数帯域信号の生成が行われないという問題である。二つ目は、極度に大きな信号が入力された場合、それに応じて高周波数帯域の信号も大きく計算されてしまうことで、帯域合成フィルタの出力がオーバーフローする可能性があるという問題である。三つ目は、符号化データを復号化処理して得られる信号を入力し、高周波数帯域を補完する後処理帯域拡大技術においては、帯域拡大する開始周波数帯域が未知であるという問題である。
However, the method of
本発明は、これらの問題点を鑑みてなされたものであり、高周波数帯域の信号を削除して符号化された符号化データを、より高音質に再生することができる周波数帯域拡大装置及び周波数帯域拡大方法、再生装置及び再生方法、並びに、再生処理をコンピュータに実行させるプログラム及びそのプログラムか記録された記録媒体を提供することを目的とする。 The present invention has been made in view of these problems, and a frequency band expansion device and a frequency that can reproduce encoded data encoded by deleting a signal in a high frequency band with higher sound quality. It is an object of the present invention to provide a bandwidth expansion method, a playback device and a playback method, a program for causing a computer to execute playback processing, and a recording medium on which the program is recorded.
上述した課題を解決するために、本発明に係る周波数帯域拡大装置は、入力信号の周波数帯域を拡大する周波数帯域拡大装置において、上記入力信号の拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段とを備え、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴としている。 In order to solve the above-described problem, a frequency band expanding apparatus according to the present invention includes an expansion control unit that determines an expansion start band of the input signal in the frequency band expanding apparatus that expands the frequency band of the input signal, and the input. Band dividing means for dividing the signal into a plurality of subband signals, and among the plurality of subband signals divided by the band dividing means, a plurality of subband signals on a lower frequency side than the expansion start band Based on the above, the frequency band is expanded.
また、本発明に係る周波数帯域拡大方法は、入力信号の周波数帯域を拡大する周波数帯域拡大方法において、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程とを有することを特徴としている。 The frequency band expansion method according to the present invention is a frequency band expansion method for expanding a frequency band of an input signal, an expansion control step for determining an expansion start band of the input signal, and a plurality of subband signals. The frequency band is expanded on the basis of a plurality of subband signals lower than the expansion start band among the plurality of subband signals divided in the band dividing step. And a frequency band expanding step.
また、本発明に係る再生装置は、入力信号を帯域拡大した後に再生する再生装置において、上記入力信号の拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段とを備え、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴としている。 The reproduction apparatus according to the present invention further comprises an expansion control means for determining an expansion start band of the input signal and a band division of the input signal into a plurality of subband signals. Band dividing means for expanding the frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals divided by the band dividing means. It is a feature.
また、本発明に係る再生方法は、入力信号を帯域拡大した後に再生する再生方法において、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程とを有することを特徴としている。 The reproduction method according to the present invention is a reproduction method for reproducing an input signal after expanding the band, and an expansion control step for determining an expansion start band of the input signal, and dividing the input signal into a plurality of subband signals. And a frequency band expansion for expanding a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals divided in the band dividing step. And a process.
また、本発明に係るプログラムは、入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムにおいて、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程とを有することを特徴としている。 According to another aspect of the present invention, there is provided a program for causing a computer to execute a process of reproducing an input signal after expanding the band, and an expansion control step for determining an expansion start band of the input signal; The frequency band is expanded based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals divided in the band dividing process. And a frequency band expanding step.
また、本発明に係る記録媒体は、入力信号を帯域拡大した後に再生する処理をコンピュータに実行させるプログラムが記録された記録媒体において、上記入力信号の拡大開始帯域を決定する拡大制御工程と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程とを有することを特徴としている。 The recording medium according to the present invention includes an expansion control step for determining an expansion start band of the input signal in a recording medium recorded with a program for causing a computer to execute a process of reproducing the input signal after band expansion, A band dividing step of dividing the input signal into a plurality of subband signals, and a plurality of subband signals lower than the expansion start band among the plurality of subband signals divided in the band dividing step. And a frequency band expansion step for expanding the frequency band based on the above.
また、本発明に係る周波数帯域拡大装置は、入力信号の周波数帯域を拡大する周波数帯域拡大装置において、上記入力信号に関する情報に応じて上記入力信号の拡大開始帯域を決定する拡大制御手段と、上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、上記帯域分割手段で帯域分割された上記拡大開始帯域よりも低域側の複数のサブバンド信号のうち、上記拡大開始帯域に連続する所定数のサブバンド信号をそれぞれ時間方向で過渡検出する過渡検出手段と、上記過渡検出手段における過渡検出結果に基づいて上記所定数のサブバンド信号を時間方向に複数のグループに分割するグループ分割手段と、上記グループ分割手段で分割されたグループ毎のグループパワーの平均値に基づいて上記所定数のサブバンド信号のパワーの平均値を算出するパワー平均値算出手段と、上記パワー平均値算出手段で算出された平均値を起点として上記拡大開始帯域以上の複数のサブバンド信号の包絡直線を外挿する包絡推定手段と、上記包絡直線に基づいて上記拡大開始帯域以上の複数のサブバンド信号を補完する帯域補完手段と、上記拡大開始帯域よりも低域側の複数のサブバンド信号と上記拡大開始帯域以上の複数のサブバンド信号とを帯域合成する帯域合成手段とを備え、上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴としている。 The frequency band expanding apparatus according to the present invention is a frequency band expanding apparatus that expands a frequency band of an input signal, an expansion control unit that determines an expansion start band of the input signal according to information about the input signal, and Band division means for dividing the input signal into a plurality of subband signals, and among the plurality of subband signals lower than the expansion start band divided by the band division means, continuous to the expansion start band. A transient detection means for transiently detecting a predetermined number of subband signals in the time direction, and group division for dividing the predetermined number of subband signals into a plurality of groups in the time direction based on a transient detection result in the transient detection means And a predetermined number of subband signals based on an average value of group power for each group divided by the group dividing means. A power average value calculating means for calculating an average value of-and an envelope estimating means for extrapolating an envelope straight line of a plurality of subband signals equal to or larger than the expansion start band starting from the average value calculated by the power average value calculating means Band complement means for complementing a plurality of subband signals that are equal to or greater than the expansion start band based on the envelope straight line, a plurality of subband signals that are lower than the expansion start band, and a plurality that are equal to or greater than the expansion start band Based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided by the band dividing means. It is characterized by expanding the frequency band.
本発明によれば、入力信号の拡大開始帯域を決定し、当該拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大するようにしたため、入力信号をより高音質に再生することができる。 According to the present invention, since the expansion start band of the input signal is determined and the frequency band is expanded based on the plurality of subband signals on the lower frequency side than the expansion start band, the input signal has higher sound quality. Can be played.
以下、本発明の具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施形態は、入力信号をより高音質に再生するものである。 Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. In this embodiment, the input signal is reproduced with higher sound quality.
図1は、本実施の形態における周波数帯域拡大装置10の構成を示すブロック図である。この周波数帯域拡大装置10は、拡大制御部11と、帯域分割部12と、時間分類部13と、包絡推定部14と、帯域補完部15と、高域生成部16と、位相調整部17と、帯域合成部18とを備えて構成されている。
FIG. 1 is a block diagram illustrating a configuration of a frequency
拡大制御部11は、入力信号に関する、符号化方式の種類、サンプリングレート、ビットレート等のサイド情報を入力し、このサイド情報により拡大開始周波数帯域を決定し、帯域分割部12へ供給する。なお、サイド情報は、入力信号の符号化方式の種類に応じて予め設定された値でも良いし、利用者によって設定される任意の値でも良い。
The
帯域分割部12は、入力信号を複数のサブバンド信号に分割する。そして、生成した複数のサブバンド信号のうち、拡大開始周波数帯域より低域側の複数のサブバンド信号(以下、低域側サブバンド信号という)を帯域合成部18へ、また、低域側サブバンド信号の中でも拡大開始周波数帯域に近い側の複数のサブバンド信号(以下、拡大低域側サブバンド信号という)を時間分類部13と高域生成部16へ供給する。
The
時間分類部13は、拡大低域側サブバンド信号の時間方向での過渡検出を行い、拡大低域側サブバンド信号の時間方向でのグループ化を行って、拡大低域側サブバンド信号のグループ毎の平均サンプルパワーを生成し、包絡推定部14へ供給する。
The time classifying unit 13 performs transient detection in the time direction of the expanded low-frequency subband signal, performs grouping in the time direction of the expanded low-frequency subband signal, and groups the expanded low-frequency subband signal An average sample power for each is generated and supplied to the
包絡推定部14は、時間分類部13にて生成された平均サンプルパワーの和から、グループ毎にグループパワーを求め、拡大低域側サブバンド信号全体のグループパワーの平均値を計算する。そして、グループパワーの平均値を起点として、一次直線による外挿から、拡大周波数帯域より高域側のサブバンドの包絡値を推定し、帯域補完部15へ供給する。
The
帯域補完部15は、高域側のサブバンドの包絡値と低域側のサブバンドの包絡値から、拡大低域側サブバンド信号から高域側のサブバンド信号への利得調整値を計算し、高域生成部16へ供給する。
The band complementation unit 15 calculates a gain adjustment value from the expanded low band side subband signal to the high band side subband signal from the envelope value of the high band side subband and the envelope value of the low band side subband. To the
高域生成部16は、高域側のサブバンドの利得調整値を拡大低域側サブバンド信号に乗算することで、高域側のサブバンド信号を生成し、位相調整部17へ供給する。
The high frequency
位相調整部17は、高域生成部16より生成された高域側のサブバンド信号の位相をずらし、帯域合成部18へ供給する。
The phase adjustment unit 17 shifts the phase of the high-frequency side subband signal generated by the high-
帯域合成部18は、位相調整部17より供給された高域側のサブバンド信号と、帯域分割部より供給された低域側サブバンド信号とを帯域合成し、帯域拡大された信号を出力する。 The band synthesizing unit 18 band-synthesizes the high-frequency side subband signal supplied from the phase adjusting unit 17 and the low-frequency side subband signal supplied from the band dividing unit, and outputs a band-enlarged signal. .
このように入力信号に関するサイド情報を用いることにより、帯域拡大する拡大開始周波数帯域を高精度に決定することができる。また、拡大開始周波数帯域より高域側のサブバンド信号を、拡大開始周波数帯域に近い拡大低域側サブバンド信号に基づいて生成するため、より高音質に周波数帯域を拡大することができる。また、生成された高域側のサブバンド信号の位相をずらすことにより、オーバーフローを防止することができる。 As described above, by using the side information regarding the input signal, the expansion start frequency band to be expanded can be determined with high accuracy. In addition, since the subband signal on the higher frequency side than the expansion start frequency band is generated based on the expanded low frequency side subband signal close to the expansion start frequency band, the frequency band can be expanded with higher sound quality. Moreover, overflow can be prevented by shifting the phase of the generated high-frequency subband signal.
以下、上述した周波数帯域拡大装置の各構成部についてさらに詳細に説明する。 Hereinafter, each component of the above-described frequency band expansion device will be described in more detail.
(拡大制御部)
拡大制御部11は、入力信号に関するサイド情報により、拡大開始周波数帯域を決定する。サイド情報としては、符号化方式の種類、サンプリングレート、ビットレート等が挙げられる。なお、サイド情報は、入力信号の符号化方式の種類に応じて予め設定された値でも良いし、利用者によって設定される任意の値でも良い。
(Expansion control unit)
The
入力信号の周波数帯域は、一般的に、符号化方式の種類、サンプリングレート、ビットレート等、さまざまなサイド情報と相関関係を有しているため、本実施の形態では、このサイド情報を用いて、入力信号の周波数帯域を推定し、周波数帯域補完する拡大開始周波数帯域sbを決定する。決定された拡大開始周波数帯域sbは帯域分割部12へと供給される。
Since the frequency band of the input signal generally has a correlation with various side information such as the type of encoding method, sampling rate, and bit rate, this side information is used in this embodiment. The frequency band of the input signal is estimated, and the expansion start frequency band sb for complementing the frequency band is determined. The determined expansion start frequency band sb is supplied to the
図2は、サイド情報と拡大開始周波数帯域sbの関係を示す図である。この図2に示す例は、入力信号の周波数帯域を16個に分割した場合を示すものであり、符号化方式、サンプリングレート及びビットレートに応じて、拡大開始周波数帯域sb(sbは0以上15以下の任意の定数)が決定される。例えば、サイド情報が、符号化方式がB、サンプリングレートが44100Hz、ビットレートが64−96kbpsの場合、拡大開始周波数帯域sbは、9と決定される。サイド情報を決定する要素としては、上記の他、Stereo/Mono、CBR/VBRの違いなどが考えられる。 FIG. 2 is a diagram illustrating a relationship between the side information and the expansion start frequency band sb. The example shown in FIG. 2 shows a case where the frequency band of the input signal is divided into 16 parts, and the expansion start frequency band sb (sb is 0 or more and 15 or more) according to the encoding method, sampling rate, and bit rate. The following arbitrary constants) are determined. For example, when the side information is the encoding method B, the sampling rate is 44100 Hz, and the bit rate is 64-96 kbps, the expansion start frequency band sb is determined to be 9. In addition to the above, factors that determine side information may include differences between Stereo / Mono and CBR / VBR.
(帯域分割部)
帯域分割部12は、入力信号x(n)を16個のサブバンド信号x(ib,n)に分割する(ib=0〜15、ここで、ibが大きいほど高域のサブバンド信号を示す)。そして、これら16個のサブバンド信号x(ib,n)のうち、0から拡大開始周波数帯域(以下、sbと呼ぶ。)の1つ前(sb−1)までのサブバンド信号x(ib,n)を帯域合成部18へ、sb−4からsb−1までのサブバンド信号x(ib,n)を時間分類部13と高域生成部16へ供給する。
(Band division unit)
The
なお、本実施の形態では、入力信号x(n)を16個のサブバンド信号x(ib,n)に分割することとして説明するが、サブバンド分割数はこれに限定されるものではない。 In this embodiment, the input signal x (n) is described as being divided into 16 subband signals x (ib, n), but the number of subband divisions is not limited to this.
(時間分類部)
時間分類部13は、音の立ち上がり・立ち下がりなどの時間方向の過渡検出をする毎に別グループとして分類し、グループ毎に高周波数帯域を補完する。これにより、非定常部と定常部が存在し、利得や周波数特性に差異がある自然界の音響信号においても音質劣化を防ぐことができる。一方、特許文献3に記載の技術は、フレーム処理を行い、フレーム単位で処理を行い、高周波数帯域を補完している。つまり、自然界の音響信号を分離せず、時間変動を考慮せずに補完を行うこととなるため、音質劣化の原因となる。
(Time classification part)
The time classifying unit 13 classifies as a separate group every time transient detection in the time direction such as the rise and fall of the sound is performed, and supplements the high frequency band for each group. As a result, sound quality deterioration can be prevented even in a natural acoustic signal having a non-steady part and a steady part and having a difference in gain and frequency characteristics. On the other hand, the technique described in
・時間分割及びパワーエンベロープの算出
帯域分割部12より供給された、sb−4からsb−1までの低域側のサブバンド信号x(ib,n)を入力とする。各サブバンド信号x(ib,n)を、時間方向に16分割し、その1単位をスロットとする。そして、サブバンド信号x(ib,n)から、スロット毎に、1サンプルあたりの平均サンプルパワーpower(ib,islot)を計算する。このとき、1スロットあたりのサンプル数を8とする。
Calculation of time division and power envelope The subband signal x (ib, n) on the low frequency side from sb-4 to sb-1 supplied from the
・過渡検出によるグループ化
sb−4からsb−1までの低域側のサブバンドにおいて、全16スロット夫々について、平均サンプルパワーpower(ib,islot)を時間的な方向で(時間軸に沿って前後で)比較し、立ち上がり・立ち下がりの過渡検出を行う。ここでの過渡検出とは、平均サンプルパワーについて時間方向に変動が大きい箇所を検出することを言う。
-Grouping by transient detection In the subbands on the low frequency side from sb-4 to sb-1, the average sample power power (ib, islot) is set in the temporal direction (along the time axis) for all 16 slots. Compare with before and after) and perform transient detection of rise and fall. The transient detection here refers to detecting a portion where the average sample power has a large variation in the time direction.
探索中のスロットと、その1スロット前の平均サンプルパワーpower(ib,islot−1)との比(ratio)を算出し、ratioが16倍以上のときを立ち上がり、1/16(=0.0625)倍以下のときを立ち下がりとして、時間的に過去に過渡検出されたスロットから現在過渡検出されたスロットの次のスロットまでを1つのグループとする。 The ratio (ratio) between the slot being searched and the average sample power power (ib, islot-1) one slot before is calculated, and the ratio rises when the ratio is 16 times or more, and 1/16 (= 0.0625) ) When the time is equal to or less than double, the period from the slot that has been transiently detected in the past to the slot next to the slot that has been transiently detected in the past is defined as one group.
あるサブバンドibにおいて、立ち上がりまたは立ち下がりが検出された場合には、sb−4からsb−1の低域側のすべてのサブバンドにおいても過渡検出されたものとする。 When rising or falling is detected in a certain subband ib, it is assumed that transient detection has been performed in all the subbands on the low frequency side from sb-4 to sb-1.
この結果、時間変動を考慮したグループ化が行われ、より自然界の音響信号に近い高周波数帯域成分を作り出し、高音質化することが可能となる。 As a result, grouping is performed in consideration of time fluctuations, and it is possible to create a high frequency band component closer to a natural acoustic signal and to improve the sound quality.
本実施の形態では、帯域分割部より供給された、sb−4からsb−1までの低域側のサブバンド信号x(ib,n)を、それぞれ時間方向に16分割し、その1単位をスロットとしているが、時間方向の分割数については限定しない。また、8サンプルでスロットとしているが、時間方向の分割数及び1スロットのサンプル数については限定しない。また、過渡検出のためのratioが16倍以上のときを立ち上がり、1/16(=0.0625)倍以下のときを立ち下がりとしたが、帯域分割数や時間方向の分割数などに応じて、立ち上がり検出や立ち下がり検出の閾値である16や1/16(=0.0625)を変更してもよい。 In this embodiment, the subband signals x (ib, n) on the low frequency side from sb-4 to sb-1 supplied from the band dividing unit are each divided into 16 in the time direction, and one unit thereof is divided. Although it is a slot, the number of divisions in the time direction is not limited. Further, although eight samples are used as slots, the number of divisions in the time direction and the number of samples in one slot are not limited. Also, when the ratio for transient detection is 16 times or more, it rises, and when it is 1/16 (= 0.0625) times or less, it falls, but depending on the number of band divisions and the number of divisions in the time direction, etc. The threshold value for detection of rising edge or falling edge may be changed to 16 or 1/16 (= 0.0625).
・過渡検出対象サブバンドの決定
符号劣化を伴う符号化信号のグループ化では、過渡検出を行う対象の低域側のサブバンド信号の劣化具合によって、時間変動の正確性が左右される。図3は、符号劣化が激しい場合の周波数振幅特性を示す図である。図3に示すように符号劣化aが激しい場合、周波数軸に穴が空く現象として見受けられ、時間分類部13がその穴を信号の減衰部分と解釈し、原信号では過渡部分が存在しない箇所でも、過渡検出を行ってしまうという問題がある。その結果、グループ化の精度低下による音質劣化にとどまらず、過渡検出による計算量の増加を伴ってしまう。
-Determination of transient detection target subbands In the grouping of encoded signals accompanied by code degradation, the accuracy of temporal fluctuations depends on the degradation of subband signals on the low frequency side to be subjected to transient detection. FIG. 3 is a diagram showing frequency amplitude characteristics when code deterioration is severe. As shown in FIG. 3, when the code deterioration a is severe, it can be seen as a phenomenon in which a hole is formed in the frequency axis, and the time classification unit 13 interprets the hole as a signal attenuation part, and even in a place where there is no transient part in the original signal. There is a problem that transient detection is performed. As a result, not only the sound quality deterioration due to the reduction in grouping accuracy, but also the amount of calculation due to transient detection is increased.
そこで、本実施の形態では、平均サンプルパワーのサブバンド毎の最大値の比較を用いて、過渡検出に必要なサブバンドであるか否かを判断し、その後、実際の過渡検出を行っている。また、全サブバンドが極端に微小な信号の場合も、聴感にかからない範囲の時間変動を拾うことによる計算量の増加を防ぐため、過渡検出を行わない。 Therefore, in the present embodiment, it is determined whether or not the subband is necessary for transient detection by using a comparison of the maximum values of the average sample power for each subband, and then actual transient detection is performed. . Even when all subbands are extremely minute signals, transient detection is not performed in order to prevent an increase in the amount of calculation due to picking up temporal fluctuations in a range that does not affect the sense of hearing.
図4は、過渡検出の対象サブバンドの決定の処理の流れを示すフローチャートである。 FIG. 4 is a flowchart showing a flow of processing for determining a target subband for transient detection.
ステップS41〜ステップS43では、sb−4からsb−1までの低域側の4つのサブバンドにおいて、全16スロットの平均サンプルパワーpower(ib,islot)の中で最大値を探索し、その値をそのサブバンドの代表値max power(ib)とする。 In steps S41 to S43, the maximum value is searched for among the average sample power power (ib, islot) of all 16 slots in the four subbands on the low frequency side from sb-4 to sb-1, Is the representative value max power (ib) of the subband.
ステップS44では、低域側の4つのサブバンドで求めた4個の代表値max power(ib)(ib=sb−4,sb−3,sb−2,sb−1)の中で最大の値をもつサブバンドを親サブバンドpbとし、残りを子サブバンドcb(0)、cb(1)、cb(2)とする。親サブバンドの代表値をmax power(pb)とする(ステップS45)。 In step S44, the maximum value among the four representative values max power (ib) (ib = sb-4, sb-3, sb-2, sb-1) obtained in the four subbands on the low frequency side. A subband having a parent subband pb and the remaining subbands cb (0), cb (1), and cb (2). The representative value of the parent subband is set to max power (pb) (step S45).
ステップS46において、親サブバンドの代表値max power(pb)が、16bit full scale基準の−80[dBFs]以上のレベルの場合、ステップS47に進む。 In step S46, if the representative value max power (pb) of the parent subband is a level equal to or higher than −80 [dBFs] based on the 16-bit full scale, the process proceeds to step S47.
一方、親サブバンドの代表値max power(pb)が、16bit full scale基準の−80[dBFs]より小さいレベルの場合、低域側の全4バンドにおいて過渡検出による時間方向のグルーピングを一切行わない。すなわち、対象サブバンドは無いこととなる(ステップS48)。この結果、微小信号の過渡検出を行わず、無駄な計算量の増加を防ぐことができる。 On the other hand, when the representative value max power (pb) of the parent subband is a level smaller than −80 [dBFs] based on the 16-bit full scale, no grouping in the time direction by transient detection is performed in all four bands on the low frequency side. . That is, there is no target subband (step S48). As a result, it is possible to prevent an unnecessary increase in the amount of calculation without performing transient detection of minute signals.
ステップS47において、max power(ib)が−80[dBFs]以上かつ、親サブバンドpbの代表値max power(pb)に対して、ある子サブバンドcb(m)の代表値max power(cb(m))が0.0015625倍より小さい値ならば、ステップS49に進み、このサブバンドにおいて過渡検出を一切行わない。 In step S47, max power (ib) is −80 [dBBFs] or more and the representative value max power (cb () of a child subband cb (m) is compared with the representative value max power (pb) of the parent subband pb. If m)) is less than 0.0015625, the process proceeds to step S49, and no transient detection is performed in this subband.
一方、max power(ib)が−80[dBFs]以上かつ、親サブバンドpbの代表値max power(pb)に対して子サブバンドcb(m)の代表値max power(cb(m))が0.0015625倍以上の値ならば、ステップS50に進み、このサブバンドにおいて過渡検出を行う。過渡検出の対象サブバンドには親サブバンドpbも含まれる。 On the other hand, max power (ib) is −80 [dBBFs] or more, and the representative value max power (cb (m)) of the child subband cb (m) is smaller than the representative value max power (pb) of the parent subband pb. If the value is greater than 0.0015625, the process proceeds to step S50, and transient detection is performed in this subband. The target subband for transient detection includes the parent subband pb.
この結果、符号劣化による時間変動の誤検出を防ぎ、より自然音響信号に近い時間包絡を再現することで、高音質化することが可能である。時間分類部13にて生成されたsb−4からsb−1まで低域側の4つのサブバンドibの平均サンプルパワーpower(ib,islot)は、包絡推定部14に供給される。
As a result, it is possible to improve the sound quality by preventing erroneous detection of time fluctuation due to code deterioration and reproducing a time envelope closer to a natural acoustic signal. The average sample power power (ib, islot) of the four subbands ib on the low frequency side from sb-4 to sb-1 generated by the time classification unit 13 is supplied to the
なお、本実施の形態では、過渡検出のためのratioが0.0015625倍より小さい値を持つサブバンドならば過渡検出を行っていないが、帯域分割数や時間方向の分割数などに応じて、過渡検出のための閾値である0.0015625を変更しても構わない。 In the present embodiment, transient detection is not performed if the ratio for transient detection is a subband having a value smaller than 0.0015625 times. However, depending on the number of band divisions and the number of divisions in the time direction, You may change 0.0015625 which is a threshold value for transient detection.
(包絡推定部)
包絡推定部14は、まず、時間分類部13にて生成された平均サンプルパワーpower(ib,islot)の和から、グループ毎にグループパワーを求め、sb−4からsb−1までの低域側のサブバンドのグループパワーの平均値を計算する。さらに、その低域側のサブバンドのグループパワーの平均値を起点として、一次直線による外挿から、sbから15までの高域側のサブバンドの包絡値を推定している。包絡値の一次直線をax+bで表した場合、後述する加重平均による包絡基準値の算出で基準点bを、後述する包絡傾斜値a_levで傾きaを求めている。
(Envelope estimation part)
The
・グループパワーの計算
包絡推定部14は、時間分類部13より供給されたsb−4からsb−1まで低域側の4つのサブバンドibの平均サンプルパワーpower(ib,islot)を入力とする。それぞれのサブバンドibにおいて、各グループ内に存在するスロット数nslot(ig)分の平均サンプルパワーpower(ib,islot)の合計をグループ毎に計算し、それをグループパワーtpow(ib,ig)とする。igは現在のグループを指しており、最大で16となる。
Calculation of group power The
・加重平均による包絡基準値の算出
(4)式により得られた各グループにおけるグループパワーtpow(ib,ig)から、sb−4からsb−1までの低域側のサブバンド全体の平均値を求める。ここで、平均を行う際に、加重平均を用い、sbに近いサブバンドにより重みを持たせることで、低域側と高域側の周波数包絡が滑らかに繋がるような工夫を行っている。
・ Calculation of envelope reference value by weighted average
From the group power tpow (ib, ig) in each group obtained by the equation (4), the average value of the entire subband on the low frequency side from sb-4 to sb-1 is obtained. Here, when averaging is performed, a weighted average is used, and weights are given to subbands close to sb so that the frequency envelopes on the low frequency side and the high frequency side are smoothly connected.
図5は、平均手法の違いによる包絡基準値の様子を示す模式図である。ここでは、図5のようにsbに近接するサブバンドsb−1のグループパワーtpow(sb−1,ig)が残りのサブバンドと比較して小さい場合について、平均手法の違いについて説明する。 FIG. 5 is a schematic diagram showing an envelope reference value according to a difference in average method. Here, the difference in the averaging method will be described in the case where the group power tpow (sb-1, ig) of the subband sb-1 close to sb is smaller than the remaining subbands as shown in FIG.
均等な重みをもつ平均値を用いると、図5(A)のように、sbから遠い残りの3つのサブバンドのグループパワーtpow(ib,ig)の大きさの影響から、後に平均値から計算される基準点bが大きく計算される。その結果、sb−1のサブバンドとsbのサブバンドは滑らかに繋がらなくなり、音質劣化を招く。 If an average value with an equal weight is used, as shown in FIG. 5 (A), it is calculated from the average value later from the influence of the group power tpow (ib, ig) of the remaining three subbands far from sb. The calculated reference point b is greatly calculated. As a result, the sub-band of sb-1 and the sub-band of sb are not smoothly connected, resulting in sound quality degradation.
一方、本実施の形態では、図5(B)のように、sb寄りのサブバンドに、大きな重みを付けて平均を計算するため、周波数包絡を滑らかに繋げることができる。 On the other hand, in the present embodiment, as shown in FIG. 5B, the average is calculated by assigning a large weight to the subbands close to sb, so that the frequency envelope can be smoothly connected.
図6は、加重平均による包絡基準値の算出の処理の流れを示すフローチャートである。ステップS61〜ステップS63において、sb−4からsb−1までの低域側の4つのサブバンドそれぞれのグループパワーtpow(ib,ig)を算出する。そして、グループパワーtpow(ib,ig)に対し、sbに最も近いサブバンドから順に、例えば8:4:2:1の比率で加重平均値w_avg(ig)を算出し(ステップS64)、加重平均値w_avg(ig)を求める(ステップS65)。 FIG. 6 is a flowchart showing a flow of processing for calculating an envelope reference value by a weighted average. In steps S61 to S63, group powers tpow (ib, ig) of the four sub-bands on the low frequency side from sb-4 to sb-1 are calculated. Then, a weighted average value w_avg (ig) is calculated for the group power tpow (ib, ig) in the order of, for example, 8: 4: 2: 1 from the subband closest to sb (step S64). A value w_avg (ig) is obtained (step S65).
続いて、sb−4からsb−1までの低域側の4つのサブバンドから求めた加重平均値w_avg(ig)を使用して、サブバンドsbのグループパワーを推定する。この値は基準値bに等しく、包絡基準値fenv(ig)と呼ぶ。本実施の形態では、ユーザによる絡基準調整値b_levとの乗算により決定される。すなわち、一意に包絡基準値を決定するのではなく、ユーザによる包絡基準調整機能を有している。 Subsequently, the group power of the subband sb is estimated using the weighted average value w_avg (ig) obtained from the four subbands on the low frequency side from sb-4 to sb-1. This value is equal to the reference value b and is called an envelope reference value fenv (ig). In the present embodiment, it is determined by multiplication with the connection reference adjustment value b_lev by the user. That is, the envelope reference value is not uniquely determined, but the user has an envelope reference adjustment function.
ここで、包絡基準調整値b_levは、0.25以上、1.0以下の範囲であり、ユーザが任意に設定できる。本実施の形態においては、包絡基準調整値b_levは、一般的な音楽データの統計的な周波数包絡から0.5を推奨値として設定しているが、包絡基準調整値b_levの範囲を、帯域分割数や拡大開始周波数帯域sbなどに応じて変更してもよい。 Here, the envelope reference adjustment value b_lev is in the range of 0.25 to 1.0, and can be arbitrarily set by the user. In the present embodiment, the envelope reference adjustment value b_lev is set to 0.5 as a recommended value from a statistical frequency envelope of general music data, but the range of the envelope reference adjustment value b_lev is divided into bands. It may be changed according to the number, the expansion start frequency band sb, and the like.
・包絡基準値の制限
包絡基準値fenv(ig)は、加重平均値w_avg(ig)または拡大強度e_levによっては、極端に大きな値になり、帯域合成部にてサブバンド信号を合成した結果、帯域合成出力信号がオーバーフローする可能性がある。そこで、本実施の形態では、包絡基準値fenv(ig)に対して、極端に大きな値をとらないように制限器を適用することにより、出力信号のオーバーフローを防いでいる。
・ Limit of envelope reference value
The envelope reference value fenv (ig) becomes an extremely large value depending on the weighted average value w_avg (ig) or the expansion strength e_lev, and the band synthesis output signal overflows as a result of synthesizing the subband signals in the band synthesis unit. there is a possibility. Therefore, in the present embodiment, an overflow of the output signal is prevented by applying a limiter so as not to take an extremely large value with respect to the envelope reference value fenv (ig).
図7は、包絡基準値の制限の処理の流れを示すフローチャートである。また、図8は、包絡基準値の制限の様子を示す模式図である。 FIG. 7 is a flowchart showing a flow of the process of restricting the envelope reference value. FIG. 8 is a schematic diagram showing how the envelope reference value is restricted.
ステップS71において、包絡基準値fenv(ig)が閾値−6[dBFs](=16384^2*nslot(ig))より大きい場合は、ステップS72に進み、図8(B)示すように閾値と同レベルまで強制的に減衰させる。 In step S71, when the envelope reference value fenv (ig) is larger than the threshold −6 [dBFs] (= 16384 ^ 2 * nslot (ig)), the process proceeds to step S72, and the same as the threshold as shown in FIG. Force decay to level.
一方、ステップS71において、包絡基準値fenv(ig)が閾値−6[dBFs](=16384^2*nslot(ig))以下の場合は、ステップS73に進み、図8(A)に示すようにその包絡基準値fenv(ig)をそのまま用いる。 On the other hand, when the envelope reference value fenv (ig) is equal to or smaller than the threshold value −6 [dBFs] (= 16384 ^ 2 * nslot (ig)) in step S71, the process proceeds to step S73, as shown in FIG. The envelope reference value fenv (ig) is used as it is.
なお、本実施の形態では、包絡基準値fenv(ig)を制限するための閾値を−6[dBFs]としたが、帯域分割数や拡大開始周波数帯域sbなどに応じて変更してもよい。 In the present embodiment, the threshold for limiting the envelope reference value fenv (ig) is set to −6 [dBFs], but may be changed according to the number of band divisions, the expansion start frequency band sb, and the like.
・高域側の包絡値の決定
sbから15までの高域側のサブバンドの包絡値env(ib,ig)は、包絡基準値fenv(ig)に傾きaを乗算することにより計算される。傾きaは、包絡傾斜値a_levにより決定される。本実施の形態では、一意に傾きを決定するのではなく、ユーザによる包絡傾斜調整機能を有している。
・ Determining the envelope value on the high frequency side
The envelope value env (ib, ig) of the subband on the high frequency side from sb to 15 is calculated by multiplying the envelope reference value fenv (ig) by the slope a. The inclination a is determined by the envelope inclination value a_lev. In the present embodiment, the inclination is not uniquely determined, but the envelope inclination adjustment function by the user is provided.
ここで、包絡傾斜値a_levは、0.25以上、1.0以下の範囲であり、ユーザが任意に設定できる。本実施の形態においては、包絡傾斜値a_levは、一般的な音楽データの統計的な包絡から0.5を推奨値として設定しているが、包絡傾斜値a_levの範囲を、帯域分割数や拡大開始周波数帯域sbなどに応じて変更してもよい。 Here, the envelope inclination value a_lev is in the range of 0.25 to 1.0, and can be arbitrarily set by the user. In the present embodiment, the envelope slope value a_lev is set to 0.5 as a recommended value based on the statistical envelope of general music data. You may change according to the start frequency band sb.
低域側のサブバンドにおける包絡値env(ib,ig)は、グループパワーtpow(ib,ig)と同義であり、低域側の拡大帯域におけるグループパワーを低域側の包絡値としている。 The envelope value env (ib, ig) in the low band subband is synonymous with the group power tpow (ib, ig), and the group power in the low band expansion band is the low band envelope value.
時間分類部13より供給されたsb−4からsb−1までの低域側の包絡値env(ib,ig)と、上述の処理により得られたsbから15までの高域側の包絡値env(ib,ig)は、帯域補完部15へ供給される。 The low-frequency envelope value env (ib, ig) supplied from the time classification unit 13 from sb-4 to sb-1, and the high-frequency envelope value env from sb to 15 obtained by the above processing. (ib, ig) is supplied to the band complementer 15.
(帯域補完部)
帯域補完部15では、sb−4からsb−1までの低域側のサブバンド信号の利得を調整して、sbから15までの高域側のサブバンド信号を補完する。対になるサブバンドのマッピングパターンは、sbによって一意に決定される。
(Bandwidth complement)
The band complementing unit 15 adjusts the gain of the subband signals on the low frequency side from sb-4 to sb-1, and complements the subband signals on the high frequency side from sb to 15. The mapping pattern of the paired subbands is uniquely determined by sb.
包絡推定部14より供給された、sbから15までの高域側の包絡値env(ib,ig)と、サブバンドibの元となる信号が存在するsb−4からsb−1までの低域側のサブバンドsb_map(ib)の包絡値env(sb_map(ib),ig)との間で、除算の平方根をとることで、sbから15までの高域側のサブバンドの利得調整係数gain(ib,ig)を求める。
The low-frequency range from sb-4 to sb-1 in which the high-frequency envelope value env (ib, ig) supplied from the
そして、(12)式により得られたsbから15までの高域側のサブバンドの利得調整係数gain(ib,ig)を高域生成部16に供給する。
Then, the gain adjustment coefficient gain (ib, ig) of the high frequency side subband from sb to 15 obtained by the equation (12) is supplied to the
(高域生成部)
高域生成部16は、帯域分割部12より供給されたsb−4からsb−1までの低域側のサブバンド信号x(ib,n)を入力し、また、帯域補完部15より供給されたsbから15までの高域側のサブバンドの利得調整係数gain(ib,ig)を入力する。元となるsb−4からsb−1までの低域側のサブバンド信号x(sb_map(ib),n)に、sbから15までの高域側のサブバンドの利得調整係数gain(ib,ig)を乗算し、sbから15までの高域側のサブバンド信号x(ib,n)を得る。
(High-frequency generator)
The high frequency
そして、(13)式により得られたsbから15までの高域側のサブバンド信号x(ib,n)を位相調整部17に供給する。 Then, the subband signal x (ib, n) on the high frequency side from sb to 15 obtained by the equation (13) is supplied to the phase adjustment unit 17.
(位相調整部)
ところで、帯域補完部15より供給されたsbから15までの高域側のサブバンド信号x(ib,n)は、sb−4からsb−1までの低域側の4つのサブバンド信号x(sb_map(ib),n)により生成されているため、時間信号のピークに関しても、低域側のサブバンド信号と高域側のサブバンド信号とで同じタイミングで現れる。同じタイミングのピークを持つ箇所で帯域合成により全サブバンドを足し合わせると、帯域合成出力信号のオーバーフローが生じることがある。
(Phase adjuster)
By the way, the high-frequency subband signals x (ib, n) from sb to 15 supplied from the band complementer 15 are four subband signals x ((sb-4 to sb-1) on the low frequency side. Since it is generated by sb_map (ib), n), the peak of the time signal also appears at the same timing in the low frequency side subband signal and the high frequency side subband signal. If all subbands are added together by band synthesis at the same timing peak, the band synthesis output signal may overflow.
そこで、位相調整部17は、オーバーフローを防止するために、低域側のサブバンド信号と高域側のサブバンド信号のピークをずらして帯域合成部18に入力する。 Therefore, in order to prevent overflow, the phase adjustment unit 17 shifts the peaks of the low-frequency side subband signal and the high-frequency side subband signal and inputs them to the band synthesis unit 18.
図9は、低域側のサブバンド信号と高域側のサブバンド信号の位相調整の様子を示す模式図である。ここでは、sbから15までの高域側のサブバンド信号x(ib,n)を時間軸で後ろに4サンプルシフトさせている。つまり、本実施の形態では、人間の聴覚の後方継時マスキング特性を利用し、知覚できない範囲内において時間方向にサブバンド信号x(ib,n)を遅延させる。 FIG. 9 is a schematic diagram illustrating a state of phase adjustment between the low-frequency side subband signal and the high-frequency side subband signal. Here, the subband signal x (ib, n) on the high frequency side from sb to 15 is shifted back four samples on the time axis. That is, in the present embodiment, the subband signal x (ib, n) is delayed in the time direction within the range where it cannot be perceived using the backward masking characteristic of human hearing.
なお、ここでは4サンプルの遅延を行ったが、帯域分割数や拡大開始周波数帯域sb、サンプリング周波数などに応じて、4サンプルの遅延を変更してもよい。 Here, the delay of 4 samples is performed, but the delay of 4 samples may be changed according to the number of band divisions, the expansion start frequency band sb, the sampling frequency, and the like.
位相調整部17は、サンプルシフトさせて得られたsbから15までの高域側のサブバンド信号x(ib,n)を帯域合成部18に供給する。 The phase adjustment unit 17 supplies the subband signal x (ib, n) on the high frequency side from sb to 15 obtained by the sample shift to the band synthesis unit 18.
(帯域合成部)
帯域合成部18は、位相調整部17より供給されたsbから15までの高域側のサブバンド信号x(ib,n)と、帯域分割部12より供給された0からsb−1までの低域側のサブバンド信号x(ib,n)をフィルタバンクによって帯域合成し、帯域合成出力信号y(n)を得る。
(Band synthesis unit)
The band synthesizing unit 18 includes a subband signal x (ib, n) on the high frequency side from sb to 15 supplied from the phase adjusting unit 17 and a low signal from 0 to sb-1 supplied from the
以上説明したように、本実施の形態では、サイド情報に応じてsbを決定し、sbよりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大するようにしたため、高周波数帯域が削除された信号をより高音質に再生することができる。また、sb−4からsb−1までの低域側のサブバンド信号の符号劣化を検出し、その検出結果に応じてsb−4からsb−1までの低域側のサブバンド信号の過渡検出するため、過渡検出の際の計算量の増加を防ぐことができる。また、sb−4からsb−1までの低域側のサブバンド信号を高域側に重みを付けて周波数包絡を平均することにより、低域側と高域側の周波数包絡が滑らかに繋げることができる。また、sb−4からsb−1までの低域側のサブバンド信号から算出された包絡基準値に制限器を適用し帯域合成することで、帯域合成出力信号のオーバーフローを防ぐことができる。また、0からsb−1までの低域側の複数のサブバンド信号の位相とsbから15の複数のサブバンド信号の位相とをずらして帯域合成することで、帯域合成出力信号のオーバーフローを防ぐことができる。 As described above, in the present embodiment, sb is determined according to side information, and the frequency band is expanded based on a plurality of subband signals lower than sb. The deleted signal can be reproduced with higher sound quality. Further, code deterioration of the subband signals on the low frequency side from sb-4 to sb-1 is detected, and transient detection of the subband signals on the low frequency side from sb-4 to sb-1 is detected according to the detection result. Therefore, an increase in the amount of calculation at the time of transient detection can be prevented. Also, the frequency envelopes on the low frequency side and the high frequency side are smoothly connected by weighting the low frequency side subband signals from sb-4 to sb-1 to the high frequency side and averaging the frequency envelopes. Can do. In addition, by applying band synthesis to the envelope reference value calculated from the low-frequency subband signals from sb-4 to sb-1, band overflow can be prevented. Further, by performing band synthesis by shifting the phase of the plurality of subband signals on the low frequency side from 0 to sb-1 and the phase of the plurality of subband signals from sb to 15, the overflow of the band synthesis output signal is prevented. be able to.
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、本実施形態では、復号化処理後の信号を処理する周波数帯域拡大装置を例として説明したが、本発明は、復号化手段を備えた再生装置にも適用可能である。また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPU(Central Processing Unit)にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。 It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, in the present embodiment, the frequency band expansion device that processes a signal after decoding processing has been described as an example, but the present invention can also be applied to a playback device that includes decoding means. In the above-described embodiment, the hardware configuration has been described. However, the present invention is not limited to this, and arbitrary processing may be realized by causing a CPU (Central Processing Unit) to execute a computer program. Is possible. In this case, the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.
10 周波数帯域拡大装置、11 拡大制御部、12 帯域分割部、13 時間分類部、 14 包絡推定部、15 帯域補完部、16 高域生成部、17 位相調整部、18 帯域合成部
DESCRIPTION OF
Claims (16)
上記入力信号の拡大開始帯域を決定する拡大制御手段と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段とを備え、
上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴とする周波数帯域拡大装置。 In the frequency band expansion device that expands the frequency band of the input signal,
Expansion control means for determining an expansion start band of the input signal;
Band dividing means for dividing the input signal into a plurality of subband signals,
A frequency band expanding apparatus that expands a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided by the band dividing unit.
を備えることを特徴とする請求項1記載の周波数帯域拡大装置。 2. The frequency band according to claim 1, further comprising: a band synthesizing unit that synthesizes a plurality of subband signals lower than the expansion start band and a plurality of subband signals greater than or equal to the expansion start band. Enlarging device.
を備えることを特徴とする請求項1記載の周波数帯域拡大装置。 2. The frequency band expanding apparatus according to claim 1, wherein the expansion control means comprises: determining an expansion start band of the input signal based on information relating to the input signal.
上記過渡検出手段における過渡検出結果に基づいて上記所定数のサブバンド信号を時間方向に複数のグループに分割するグループ分割手段と
を備えることを特徴とする請求項1記載の周波数帯域拡大装置。 Transient detection for transiently detecting, in the time direction, a predetermined number of subband signals continuous to the expansion start band among a plurality of subband signals lower than the expansion start band divided by the band dividing means. Means,
The frequency band expanding apparatus according to claim 1, further comprising group dividing means for dividing the predetermined number of subband signals into a plurality of groups in the time direction based on a transient detection result in the transient detection means.
上記パワー平均値算出手段で算出された平均値を起点として上記拡大開始帯域以上の複数のサブバンド信号の包絡直線を外挿する包絡推定手段と、
上記包絡直線に基づいて上記拡大開始帯域以上の複数のサブバンド信号を補完する帯域補完手段と
を備えることを特徴とする請求項5記載の周波数帯域拡大装置。 Power average value calculating means for calculating the average value of the power of the predetermined number of subband signals based on the average value of group power for each group divided by the group dividing means;
Envelope estimation means for extrapolating envelope straight lines of a plurality of subband signals equal to or larger than the expansion start band starting from the average value calculated by the power average value calculation means;
6. The frequency band expanding apparatus according to claim 5, further comprising: band complementing means for complementing a plurality of subband signals equal to or greater than the expansion start band based on the envelope straight line.
上記入力信号の拡大開始帯域を決定する拡大制御工程と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程と
を有することを特徴とする周波数帯域拡大方法。 In the frequency band expansion method for expanding the frequency band of the input signal,
An expansion control step for determining an expansion start band of the input signal;
A band dividing step of dividing the input signal into a plurality of subband signals;
A frequency band expanding step of expanding a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided in the band dividing step. A characteristic frequency band expansion method.
上記入力信号の拡大開始帯域を決定する拡大制御手段と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段とを備え、
上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴とする再生装置。 In a playback device that plays back an input signal after expanding the band,
Expansion control means for determining an expansion start band of the input signal;
Band dividing means for dividing the input signal into a plurality of subband signals,
A reproduction apparatus that expands a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals that are band-divided by the band dividing means.
を特徴とする請求項11に記載の再生装置。 The playback apparatus according to claim 11, wherein the input signal is a signal obtained by decoding encoded encoded data.
上記入力信号の拡大開始帯域を決定する拡大制御工程と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程と
を有することを特徴とする再生方法。 In a playback method for playing an input signal after expanding the band,
An expansion control step for determining an expansion start band of the input signal;
A band dividing step of dividing the input signal into a plurality of subband signals;
A frequency band expanding step of expanding a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided in the band dividing step. A characteristic reproduction method.
上記入力信号の拡大開始帯域を決定する拡大制御工程と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程と
を有することを特徴とするプログラム。 In a program for causing a computer to execute a process of reproducing an input signal after expanding the band,
An expansion control step for determining an expansion start band of the input signal;
A band dividing step of dividing the input signal into a plurality of subband signals;
A frequency band expanding step of expanding a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided in the band dividing step. A featured program.
上記入力信号の拡大開始帯域を決定する拡大制御工程と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割工程と、
上記帯域分割工程にて帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大する周波数帯域拡大工程と
を有することを特徴とする記録媒体。 In a recording medium recorded with a program for causing a computer to execute a process of reproducing an input signal after expanding the band,
An expansion control step for determining an expansion start band of the input signal;
A band dividing step of dividing the input signal into a plurality of subband signals;
A frequency band expanding step of expanding a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided in the band dividing step. A characteristic recording medium.
上記入力信号に関する情報に応じて上記入力信号の拡大開始帯域を決定する拡大制御手段と、
上記入力信号を複数のサブバンド信号に帯域分割する帯域分割手段と、
上記帯域分割手段で帯域分割された上記拡大開始帯域よりも低域側の複数のサブバンド信号のうち、上記拡大開始帯域に連続する所定数のサブバンド信号をそれぞれ時間方向で過渡検出する過渡検出手段と、
上記過渡検出手段における過渡検出結果に基づいて上記所定数のサブバンド信号を時間方向に複数のグループに分割するグループ分割手段と、
上記グループ分割手段で分割されたグループ毎のグループパワーの平均値に基づいて上記所定数のサブバンド信号のパワーの平均値を算出するパワー平均値算出手段と、
上記パワー平均値算出手段で算出された平均値を起点として上記拡大開始帯域以上の複数のサブバンド信号の包絡直線を外挿する包絡推定手段と、
上記包絡直線に基づいて上記拡大開始帯域以上の複数のサブバンド信号を補完する帯域補完手段と、
上記拡大開始帯域よりも低域側の複数のサブバンド信号と上記拡大開始帯域以上の複数のサブバンド信号とを帯域合成する帯域合成手段とを備え、
上記帯域分割手段で帯域分割された複数のサブバンド信号のうち、上記拡大開始帯域よりも低域側の複数のサブバンド信号に基づいて周波数帯域を拡大することを特徴とする周波数帯域拡大装置。 In the frequency band expansion device that expands the frequency band of the input signal,
Expansion control means for determining an expansion start band of the input signal in accordance with information on the input signal;
Band dividing means for dividing the input signal into a plurality of subband signals;
Transient detection for transiently detecting, in the time direction, a predetermined number of subband signals continuous to the expansion start band among a plurality of subband signals lower than the expansion start band divided by the band dividing means. Means,
Group dividing means for dividing the predetermined number of subband signals into a plurality of groups in the time direction based on a transient detection result in the transient detection means;
Power average value calculating means for calculating the average value of the power of the predetermined number of subband signals based on the average value of group power for each group divided by the group dividing means;
Envelope estimation means for extrapolating envelope straight lines of a plurality of subband signals equal to or larger than the expansion start band starting from the average value calculated by the power average value calculation means;
Band complementing means for complementing a plurality of subband signals equal to or greater than the expansion start band based on the envelope straight line;
Band combining means for combining the plurality of subband signals lower than the expansion start band and the plurality of subband signals greater than or equal to the expansion start band,
A frequency band expanding apparatus that expands a frequency band based on a plurality of subband signals lower than the expansion start band among the plurality of subband signals band-divided by the band dividing unit.
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007274091A JP5141180B2 (en) | 2006-11-09 | 2007-10-22 | Frequency band expanding apparatus, frequency band expanding method, reproducing apparatus and reproducing method, program, and recording medium |
KR1020070112728A KR101430221B1 (en) | 2006-11-09 | 2007-11-06 | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
US11/935,625 US8295507B2 (en) | 2006-11-09 | 2007-11-06 | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
TW096142091A TWI377563B (en) | 2006-11-09 | 2007-11-07 | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
CN2007101662536A CN101178898B (en) | 2006-11-09 | 2007-11-07 | Frequency band extending apparatus, player apparatus, and playing method |
EP07254421A EP1921610B1 (en) | 2006-11-09 | 2007-11-09 | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
US13/616,944 US20130058500A1 (en) | 2006-11-09 | 2012-09-14 | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006304501 | 2006-11-09 | ||
JP2006304501 | 2006-11-09 | ||
JP2007274091A JP5141180B2 (en) | 2006-11-09 | 2007-10-22 | Frequency band expanding apparatus, frequency band expanding method, reproducing apparatus and reproducing method, program, and recording medium |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012016590A Division JP5429309B2 (en) | 2006-11-09 | 2012-01-30 | Signal processing apparatus, signal processing method, program, recording medium, and playback apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008139844A true JP2008139844A (en) | 2008-06-19 |
JP5141180B2 JP5141180B2 (en) | 2013-02-13 |
Family
ID=39405121
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007274091A Expired - Fee Related JP5141180B2 (en) | 2006-11-09 | 2007-10-22 | Frequency band expanding apparatus, frequency band expanding method, reproducing apparatus and reproducing method, program, and recording medium |
JP2012016590A Expired - Fee Related JP5429309B2 (en) | 2006-11-09 | 2012-01-30 | Signal processing apparatus, signal processing method, program, recording medium, and playback apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012016590A Expired - Fee Related JP5429309B2 (en) | 2006-11-09 | 2012-01-30 | Signal processing apparatus, signal processing method, program, recording medium, and playback apparatus |
Country Status (4)
Country | Link |
---|---|
JP (2) | JP5141180B2 (en) |
KR (1) | KR101430221B1 (en) |
CN (1) | CN101178898B (en) |
TW (1) | TWI377563B (en) |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010024371A1 (en) | 2008-08-29 | 2010-03-04 | ソニー株式会社 | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program |
WO2010070770A1 (en) * | 2008-12-19 | 2010-06-24 | 富士通株式会社 | Voice band extension device and voice band extension method |
WO2011043227A1 (en) | 2009-10-07 | 2011-04-14 | ソニー株式会社 | Frequency band enlarging apparatus and method, encoding apparatus and method, decoding apparatus and method, and program |
WO2011129305A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
WO2011129303A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
WO2011129304A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
JP2011527452A (en) * | 2008-07-11 | 2011-10-27 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Apparatus and method for generating bandwidth extension signal |
WO2012050023A1 (en) | 2010-10-15 | 2012-04-19 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
WO2012133195A1 (en) | 2011-03-31 | 2012-10-04 | ソニー株式会社 | Encoding apparatus and method, and program |
EP2541548A2 (en) | 2011-06-27 | 2013-01-02 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
WO2013027630A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
WO2013027629A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
WO2013027631A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
JP2014002393A (en) * | 2010-01-19 | 2014-01-09 | Dolby International Ab | Improvement in subband block based harmonic transposition |
WO2014017315A1 (en) * | 2012-07-27 | 2014-01-30 | ソニー株式会社 | Device, method, and program for expanding frequency band |
JP2014206769A (en) * | 2009-10-07 | 2014-10-30 | ソニー株式会社 | Encoder and method, and program |
JP2016515723A (en) * | 2013-04-05 | 2016-05-30 | ドルビー・インターナショナル・アーベー | Audio encoder and decoder for interleaved waveform coding |
JP2016105180A (en) * | 2015-12-28 | 2016-06-09 | ソニー株式会社 | Signal processing device and method, and program |
JP2016532138A (en) * | 2013-09-26 | 2016-10-13 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Method and apparatus for predicting high-band excitation signals |
JP2017122925A (en) * | 2010-04-13 | 2017-07-13 | ソニー株式会社 | Signal processing device, method, and program |
US9767814B2 (en) | 2010-08-03 | 2017-09-19 | Sony Corporation | Signal processing apparatus and method, and program |
JP2017223996A (en) * | 2017-09-14 | 2017-12-21 | ソニー株式会社 | Signal processing device and method, and program |
US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
US10692511B2 (en) | 2013-12-27 | 2020-06-23 | Sony Corporation | Decoding apparatus and method, and program |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2151822B8 (en) | 2008-08-05 | 2018-10-24 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for processing an audio signal for speech enhancement using a feature extraction |
KR101897455B1 (en) * | 2012-04-16 | 2018-10-04 | 삼성전자주식회사 | Apparatus and method for enhancement of sound quality |
JP6152639B2 (en) * | 2012-11-27 | 2017-06-28 | 沖電気工業株式会社 | Audio band expansion device and program, and audio feature amount calculation device and program |
US9530430B2 (en) | 2013-02-22 | 2016-12-27 | Mitsubishi Electric Corporation | Voice emphasis device |
TWI546799B (en) | 2013-04-05 | 2016-08-21 | 杜比國際公司 | Audio encoder and decoder |
ES2617314T3 (en) | 2013-04-05 | 2017-06-16 | Dolby Laboratories Licensing Corporation | Compression apparatus and method to reduce quantization noise using advanced spectral expansion |
FR3017484A1 (en) * | 2014-02-07 | 2015-08-14 | Orange | ENHANCED FREQUENCY BAND EXTENSION IN AUDIO FREQUENCY SIGNAL DECODER |
JP2015163909A (en) * | 2014-02-28 | 2015-09-10 | 富士通株式会社 | Acoustic reproduction device, acoustic reproduction method, and acoustic reproduction program |
JP6401521B2 (en) * | 2014-07-04 | 2018-10-10 | クラリオン株式会社 | Signal processing apparatus and signal processing method |
US9468006B2 (en) * | 2014-12-09 | 2016-10-11 | Acer Incorporated | Method of determining transit power for data transmission between a network and a user equipment and related wireless communication system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003140696A (en) * | 2001-08-23 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Speech processor |
JP2004198485A (en) * | 2002-12-16 | 2004-07-15 | Victor Co Of Japan Ltd | Device and program for decoding sound encoded signal |
JP2005128387A (en) * | 2003-10-27 | 2005-05-19 | Yamaha Corp | Device for expanding and reproducing audio frequency band |
JP2006031053A (en) * | 1999-10-01 | 2006-02-02 | Coding Technologies Ab | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE512719C2 (en) * | 1997-06-10 | 2000-05-02 | Lars Gustaf Liljeryd | A method and apparatus for reducing data flow based on harmonic bandwidth expansion |
JP2002366178A (en) * | 2001-06-08 | 2002-12-20 | Matsushita Electric Ind Co Ltd | Method and device for band expansion of audio signal |
JP2003015695A (en) * | 2001-07-05 | 2003-01-17 | Matsushita Electric Ind Co Ltd | Device for expanding audio frequency band |
DE60214027T2 (en) * | 2001-11-14 | 2007-02-15 | Matsushita Electric Industrial Co., Ltd., Kadoma | CODING DEVICE AND DECODING DEVICE |
JP4313993B2 (en) * | 2002-07-19 | 2009-08-12 | パナソニック株式会社 | Audio decoding apparatus and audio decoding method |
JP2006003580A (en) * | 2004-06-17 | 2006-01-05 | Matsushita Electric Ind Co Ltd | Device and method for coding audio signal |
-
2007
- 2007-10-22 JP JP2007274091A patent/JP5141180B2/en not_active Expired - Fee Related
- 2007-11-06 KR KR1020070112728A patent/KR101430221B1/en not_active IP Right Cessation
- 2007-11-07 CN CN2007101662536A patent/CN101178898B/en not_active Expired - Fee Related
- 2007-11-07 TW TW096142091A patent/TWI377563B/en not_active IP Right Cessation
-
2012
- 2012-01-30 JP JP2012016590A patent/JP5429309B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006031053A (en) * | 1999-10-01 | 2006-02-02 | Coding Technologies Ab | Efficient spectral envelope coding using variable time/frequency resolution and time/frequency switching |
JP2003140696A (en) * | 2001-08-23 | 2003-05-16 | Matsushita Electric Ind Co Ltd | Speech processor |
JP2004198485A (en) * | 2002-12-16 | 2004-07-15 | Victor Co Of Japan Ltd | Device and program for decoding sound encoded signal |
JP2005128387A (en) * | 2003-10-27 | 2005-05-19 | Yamaha Corp | Device for expanding and reproducing audio frequency band |
Cited By (118)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011527452A (en) * | 2008-07-11 | 2011-10-27 | フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン | Apparatus and method for generating bandwidth extension signal |
JP2010079275A (en) * | 2008-08-29 | 2010-04-08 | Sony Corp | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program |
WO2010024371A1 (en) | 2008-08-29 | 2010-03-04 | ソニー株式会社 | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program |
WO2010070770A1 (en) * | 2008-12-19 | 2010-06-24 | 富士通株式会社 | Voice band extension device and voice band extension method |
US8781823B2 (en) | 2008-12-19 | 2014-07-15 | Fujitsu Limited | Voice band enhancement apparatus and voice band enhancement method that generate wide-band spectrum |
JP5423684B2 (en) * | 2008-12-19 | 2014-02-19 | 富士通株式会社 | Voice band extending apparatus and voice band extending method |
US9208795B2 (en) | 2009-10-07 | 2015-12-08 | Sony Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
AU2019206091B2 (en) * | 2009-10-07 | 2021-05-13 | Sony Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
JP2011237751A (en) * | 2009-10-07 | 2011-11-24 | Sony Corp | Device and method for expanding frequency band, device and method for encoding, device and method for decoding, and program |
EP2993667A1 (en) | 2009-10-07 | 2016-03-09 | Sony Corporation | Frequency band extending device, method and program |
KR20120082414A (en) | 2009-10-07 | 2012-07-23 | 소니 주식회사 | Frequency band enlarging apparatus and method, encoding apparatus and method, decoding apparatus and method, and program |
KR20150140878A (en) | 2009-10-07 | 2015-12-16 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
AU2021215291B2 (en) * | 2009-10-07 | 2023-02-23 | Sony Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
KR20150140877A (en) | 2009-10-07 | 2015-12-16 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
JP2014206769A (en) * | 2009-10-07 | 2014-10-30 | ソニー株式会社 | Encoder and method, and program |
EP3232438A1 (en) | 2009-10-07 | 2017-10-18 | Sony Corporation | Frequency band extending device, method and program |
EP3968322A2 (en) | 2009-10-07 | 2022-03-16 | Sony Group Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
US9691410B2 (en) | 2009-10-07 | 2017-06-27 | Sony Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
KR20170117210A (en) | 2009-10-07 | 2017-10-20 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
KR20180085831A (en) | 2009-10-07 | 2018-07-27 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
TWI480862B (en) * | 2009-10-07 | 2015-04-11 | Sony Corp | Band expanding apparatus and method, coding apparatus and method, decoding apparatus and method, and program |
EP3584794A1 (en) | 2009-10-07 | 2019-12-25 | SONY Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
AU2016253695B2 (en) * | 2009-10-07 | 2019-04-18 | Sony Corporation | Frequency band extending device and method, encoding device and method, decoding device and method, and program |
KR20190058705A (en) | 2009-10-07 | 2019-05-29 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
KR20160140965A (en) | 2009-10-07 | 2016-12-07 | 소니 주식회사 | Decoding apparatus and method, and recording medium |
WO2011043227A1 (en) | 2009-10-07 | 2011-04-14 | ソニー株式会社 | Frequency band enlarging apparatus and method, encoding apparatus and method, decoding apparatus and method, and program |
CN103996402A (en) * | 2009-10-07 | 2014-08-20 | 索尼公司 | Encoding device and encoding method |
CN103996401A (en) * | 2009-10-07 | 2014-08-20 | 索尼公司 | Decoding device and decoding method |
US11646047B2 (en) | 2010-01-19 | 2023-05-09 | Dolby International Ab | Subband block based harmonic transposition |
CN104318929A (en) * | 2010-01-19 | 2015-01-28 | 杜比国际公司 | Subband processing unit and method for generating synthesis subband signal |
JP2014002393A (en) * | 2010-01-19 | 2014-01-09 | Dolby International Ab | Improvement in subband block based harmonic transposition |
US10109296B2 (en) | 2010-01-19 | 2018-10-23 | Dolby International Ab | Subband block based harmonic transposition |
JP2020064323A (en) * | 2010-01-19 | 2020-04-23 | ドルビー・インターナショナル・アーベー | Improved subband block based harmonic transposition |
US10699728B2 (en) | 2010-01-19 | 2020-06-30 | Dolby International Ab | Subband block based harmonic transposition |
US9858945B2 (en) | 2010-01-19 | 2018-01-02 | Dolby International Ab | Subband block based harmonic transposition |
JP2021073535A (en) * | 2010-01-19 | 2021-05-13 | ドルビー・インターナショナル・アーベー | Improved subband block based harmonic transposition |
US11341984B2 (en) | 2010-01-19 | 2022-05-24 | Dolby International Ab | Subband block based harmonic transposition |
US9741362B2 (en) | 2010-01-19 | 2017-08-22 | Dolby International Ab | Subband block based harmonic transposition |
JP7160968B2 (en) | 2010-01-19 | 2022-10-25 | ドルビー・インターナショナル・アーベー | Improved harmonic transposition based on subband blocks |
JP2023011648A (en) * | 2010-01-19 | 2023-01-24 | ドルビー・インターナショナル・アーベー | Improvement of harmonic transposition based on subband block |
US9431025B2 (en) | 2010-01-19 | 2016-08-30 | Dolby International Ab | Subband block based harmonic transposition |
US11935555B2 (en) | 2010-01-19 | 2024-03-19 | Dolby International Ab | Subband block based harmonic transposition |
JP7475410B2 (en) | 2010-01-19 | 2024-04-26 | ドルビー・インターナショナル・アーベー | Improved subband block based harmonic transposition |
JP7522331B1 (en) | 2010-01-19 | 2024-07-24 | ドルビー・インターナショナル・アーベー | Improved subband block based harmonic transposition |
JP7551023B1 (en) | 2010-01-19 | 2024-09-13 | ドルビー・インターナショナル・アーベー | Improved subband block based harmonic transposition |
US9659573B2 (en) | 2010-04-13 | 2017-05-23 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
JP2017122925A (en) * | 2010-04-13 | 2017-07-13 | ソニー株式会社 | Signal processing device, method, and program |
WO2011129305A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
US9406312B2 (en) | 2010-04-13 | 2016-08-02 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
WO2011129303A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
WO2011129304A1 (en) | 2010-04-13 | 2011-10-20 | ソニー株式会社 | Signal processing device and method, encoding device and method, decoding device and method, and program |
JP2012168494A (en) * | 2010-04-13 | 2012-09-06 | Sony Corp | Signal processing device and method, encoding device and method, decoding device and method, and program |
EP3093845A1 (en) | 2010-04-13 | 2016-11-16 | Sony Corporation | Signal processing devices, methods and associated programs |
JP2012168496A (en) * | 2010-04-13 | 2012-09-06 | Sony Corp | Signal processing device and method, encoding device and method, decoding device and method, and program |
JP2012168495A (en) * | 2010-04-13 | 2012-09-06 | Sony Corp | Signal processing device and method, encoding device and method, decoding device and method, and program |
CN102859593A (en) * | 2010-04-13 | 2013-01-02 | 索尼公司 | Signal processing device and method, encoding device and method, decoding device and method, and program |
US9583112B2 (en) | 2010-04-13 | 2017-02-28 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US20160140982A1 (en) * | 2010-04-13 | 2016-05-19 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US9679580B2 (en) | 2010-04-13 | 2017-06-13 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
EP3330965A1 (en) | 2010-04-13 | 2018-06-06 | Sony Corporation | Signal processing apparatus and method |
TWI480863B (en) * | 2010-04-13 | 2015-04-11 | Sony Corp | Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and program product |
US20170236530A1 (en) * | 2010-04-13 | 2017-08-17 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
EP3605533A1 (en) | 2010-04-13 | 2020-02-05 | SONY Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US10546594B2 (en) | 2010-04-13 | 2020-01-28 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US10381018B2 (en) | 2010-04-13 | 2019-08-13 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US10224054B2 (en) | 2010-04-13 | 2019-03-05 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
TWI484484B (en) * | 2010-04-13 | 2015-05-11 | Sony Corp | Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and signal processing program |
TWI484482B (en) * | 2010-04-13 | 2015-05-11 | Sony Corp | Signal processing apparatus and method, coding apparatus and method, decoding apparatus and method, and signal processing program |
US10297270B2 (en) | 2010-04-13 | 2019-05-21 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
US8949119B2 (en) | 2010-04-13 | 2015-02-03 | Sony Corporation | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program |
RU2550550C2 (en) * | 2010-04-13 | 2015-05-10 | Сони Корпорейшн | Signal processing device and method, encoder and encoding method, decoder and decoding method and programme |
KR20180018852A (en) | 2010-04-13 | 2018-02-21 | 소니 주식회사 | Decoder and decoding method |
US10229690B2 (en) | 2010-08-03 | 2019-03-12 | Sony Corporation | Signal processing apparatus and method, and program |
US9767814B2 (en) | 2010-08-03 | 2017-09-19 | Sony Corporation | Signal processing apparatus and method, and program |
US11011179B2 (en) | 2010-08-03 | 2021-05-18 | Sony Corporation | Signal processing apparatus and method, and program |
RU2630384C1 (en) * | 2010-10-15 | 2017-09-07 | Сони Корпорейшн | Device and method of decoding and media of recording the program |
EP3579230A1 (en) | 2010-10-15 | 2019-12-11 | SONY Corporation | Decoding device and method, and program |
EP4220638A1 (en) | 2010-10-15 | 2023-08-02 | Sony Group Corporation | Encoding device and method, decoding device and method, and program |
US9177563B2 (en) | 2010-10-15 | 2015-11-03 | Sony Corporation | Encoding device and method, decoding device and method, and program |
US9767824B2 (en) | 2010-10-15 | 2017-09-19 | Sony Corporation | Encoding device and method, decoding device and method, and program |
KR20180026791A (en) | 2010-10-15 | 2018-03-13 | 소니 주식회사 | Decoding device and method, and computer-readable storage device |
US9536542B2 (en) | 2010-10-15 | 2017-01-03 | Sony Corporation | Encoding device and method, decoding device and method, and program |
US10236015B2 (en) | 2010-10-15 | 2019-03-19 | Sony Corporation | Encoding device and method, decoding device and method, and program |
TWI479481B (en) * | 2010-10-15 | 2015-04-01 | Sony Corp | Encoding apparatus and method, decoding apparatus and method, and program |
WO2012050023A1 (en) | 2010-10-15 | 2012-04-19 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
US9437197B2 (en) | 2011-03-31 | 2016-09-06 | Sony Corporation | Encoding device, encoding method, and program |
WO2012133195A1 (en) | 2011-03-31 | 2012-10-04 | ソニー株式会社 | Encoding apparatus and method, and program |
US9324334B2 (en) | 2011-06-27 | 2016-04-26 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
EP2541548A2 (en) | 2011-06-27 | 2013-01-02 | Sony Corporation | Signal processing apparatus, signal processing method, and program |
US9842603B2 (en) | 2011-08-24 | 2017-12-12 | Sony Corporation | Encoding device and encoding method, decoding device and decoding method, and program |
US9390717B2 (en) | 2011-08-24 | 2016-07-12 | Sony Corporation | Encoding device and method, decoding device and method, and program |
JP2013044923A (en) * | 2011-08-24 | 2013-03-04 | Sony Corp | Encoder, method, and program |
US9361900B2 (en) | 2011-08-24 | 2016-06-07 | Sony Corporation | Encoding device and method, decoding device and method, and program |
WO2013027630A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
WO2013027629A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
JP2013044921A (en) * | 2011-08-24 | 2013-03-04 | Sony Corp | Encoder, method, and program |
WO2013027631A1 (en) * | 2011-08-24 | 2013-02-28 | ソニー株式会社 | Encoding device and method, decoding device and method, and program |
US10134418B2 (en) | 2012-07-27 | 2018-11-20 | Sony Corporation | Frequency band extension apparatus, frequency band extension method, and program |
WO2014017315A1 (en) * | 2012-07-27 | 2014-01-30 | ソニー株式会社 | Device, method, and program for expanding frequency band |
US10381019B2 (en) | 2012-07-27 | 2019-08-13 | Sony Corporation | Frequency band extension apparatus, frequency band extension method, and program |
JP2016515723A (en) * | 2013-04-05 | 2016-05-30 | ドルビー・インターナショナル・アーベー | Audio encoder and decoder for interleaved waveform coding |
JP2021113975A (en) * | 2013-04-05 | 2021-08-05 | ドルビー・インターナショナル・アーベー | Decoding method, decoder, medium, and encoding method for interleaved waveform coding |
US11145318B2 (en) | 2013-04-05 | 2021-10-12 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
JP7551860B2 (en) | 2013-04-05 | 2024-09-17 | ドルビー・インターナショナル・アーベー | Decoding method, decoder, medium and encoding method for interleaved waveform coding - Patents.com |
JP2019168712A (en) * | 2013-04-05 | 2019-10-03 | ドルビー・インターナショナル・アーベー | Decoding method, decoder, medium, and encoding method for interleaved waveform coding |
JP7317882B2 (en) | 2013-04-05 | 2023-07-31 | ドルビー・インターナショナル・アーベー | Decoding method, decoder, medium and encoding method for interleaved waveform coding |
US9514761B2 (en) | 2013-04-05 | 2016-12-06 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
US11875805B2 (en) | 2013-04-05 | 2024-01-16 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
US10121479B2 (en) | 2013-04-05 | 2018-11-06 | Dolby International Ab | Audio encoder and decoder for interleaved waveform coding |
US9875746B2 (en) | 2013-09-19 | 2018-01-23 | Sony Corporation | Encoding device and method, decoding device and method, and program |
US10339944B2 (en) | 2013-09-26 | 2019-07-02 | Huawei Technologies Co., Ltd. | Method and apparatus for predicting high band excitation signal |
JP2016532138A (en) * | 2013-09-26 | 2016-10-13 | 華為技術有限公司Huawei Technologies Co.,Ltd. | Method and apparatus for predicting high-band excitation signals |
US10607620B2 (en) | 2013-09-26 | 2020-03-31 | Huawei Technologies Co., Ltd. | Method and apparatus for predicting high band excitation signal |
JP2019023749A (en) * | 2013-09-26 | 2019-02-14 | 華為技術有限公司Huawei Technologies Co.,Ltd. | High-bandwidth excitation signal predicting method and apparatus |
US11705140B2 (en) | 2013-12-27 | 2023-07-18 | Sony Corporation | Decoding apparatus and method, and program |
US10692511B2 (en) | 2013-12-27 | 2020-06-23 | Sony Corporation | Decoding apparatus and method, and program |
JP2016105180A (en) * | 2015-12-28 | 2016-06-09 | ソニー株式会社 | Signal processing device and method, and program |
JP2017223996A (en) * | 2017-09-14 | 2017-12-21 | ソニー株式会社 | Signal processing device and method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5429309B2 (en) | 2014-02-26 |
CN101178898A (en) | 2008-05-14 |
KR20080042696A (en) | 2008-05-15 |
JP5141180B2 (en) | 2013-02-13 |
TWI377563B (en) | 2012-11-21 |
TW200832358A (en) | 2008-08-01 |
JP2012083790A (en) | 2012-04-26 |
CN101178898B (en) | 2011-11-02 |
KR101430221B1 (en) | 2014-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5429309B2 (en) | Signal processing apparatus, signal processing method, program, recording medium, and playback apparatus | |
EP1921610B1 (en) | Frequency band extending apparatus, frequency band extending method, player apparatus, playing method, program and recording medium | |
US9691410B2 (en) | Frequency band extending device and method, encoding device and method, decoding device and method, and program | |
US9659573B2 (en) | Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program | |
JP5298245B2 (en) | SBR bitstream parameter downmix | |
KR101670313B1 (en) | Signal separation system and method for selecting threshold to separate sound source | |
US20050273321A1 (en) | Audio signal time-scale modification method using variable length synthesis and reduced cross-correlation computations | |
US20080120117A1 (en) | Method, medium, and apparatus with bandwidth extension encoding and/or decoding | |
AU2005259618A1 (en) | Multi-channel synthesizer and method for generating a multi-channel output signal | |
JP4769673B2 (en) | Audio signal interpolation method and audio signal interpolation apparatus | |
JP2005165021A (en) | Device and method for noise reduction | |
EP3179476B1 (en) | Coding device and method, and program | |
US20230254655A1 (en) | Signal processing apparatus and method, and program | |
JP2002247699A (en) | Stereophonic signal processing method and device, and program and recording medium | |
JP2022517232A (en) | High resolution audio coding | |
JP7533440B2 (en) | Signal processing device, method, and program | |
JP2022517233A (en) | High resolution audio coding | |
EP4247011A1 (en) | Apparatus and method for an automated control of a reverberation level using a perceptional model | |
Muhaimin et al. | An efficient audio watermark by autocorrelation methods | |
KR101567665B1 (en) | Pesrsonal audio studio system | |
JP2022517234A (en) | High resolution audio coding | |
CN115942224A (en) | Sound field expansion method and system and electronic equipment | |
Koshikawa et al. | Pitch shifting of music based on adaptive order estimation of linear predictor | |
JP2002366189A (en) | System for identifying and detecting music and voice | |
AU2013242852A1 (en) | Sbr bitstream parameter downmix |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111014 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120828 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121002 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121023 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121105 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151130 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5141180 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |