JP2012088502A - 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム - Google Patents

符号化装置、復号装置、符号化方法、復号方法及びそのプログラム Download PDF

Info

Publication number
JP2012088502A
JP2012088502A JP2010234728A JP2010234728A JP2012088502A JP 2012088502 A JP2012088502 A JP 2012088502A JP 2010234728 A JP2010234728 A JP 2010234728A JP 2010234728 A JP2010234728 A JP 2010234728A JP 2012088502 A JP2012088502 A JP 2012088502A
Authority
JP
Japan
Prior art keywords
code
lossless
bit string
mode information
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010234728A
Other languages
English (en)
Other versions
JP5466618B2 (ja
Inventor
Masaru Kamamoto
優 鎌本
Noboru Harada
登 原田
Takehiro Moriya
健弘 守谷
Naka Omuro
仲 大室
Shigeaki Sasaki
茂明 佐々木
Yuusuke Hiwazaki
祐介 日和▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010234728A priority Critical patent/JP5466618B2/ja
Publication of JP2012088502A publication Critical patent/JP2012088502A/ja
Application granted granted Critical
Publication of JP5466618B2 publication Critical patent/JP5466618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

【課題】ロスレス符号化によるビット削減効果を有効に利用し、スケーラブル符号化の拡張階層符号をより多く伝送することができる符号化技術を提供することを目的とする。
【解決手段】本発明に係る符号化は、ディジタル入力信号をスケーラブル符号化し、基本階層符号と1以上の拡張階層符号とを生成し、基本階層符号をロスレス符号化し、ロスレス符号を生成し、ロスレス符号と拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する。
【選択図】図9

Description

本発明は入力信号を符号化し出力符号を伝送する符号化装置及び符号化方法、出力符号を入力符号として受け取り復号し出力信号を生成する復号装置及び復号方法、そのプログラムに関する。
<スケーラブル符号化>
音声信号をスケーラブル符号化、復号する従来技術として、非特許文献1記載のG.711.1が知られている。非特許文献1に記載されたG.711.1の符号化装置10及び復号装置20の動作について、図1を用いて説明する。
サンプリング周期16kHzでサンプリングされ、16bitで量子化されたN個のディジタル信号サンプルによる列X(1),X(2),…,X(N)がG.711.1符号化装置10に入力される。なお、Nは1フレーム内に含まれるサンプル数とし、N=80とする。
G.711.1符号化装置10は、入力信号X(1),X(2),…,X(N)をスケーラブル符号化し、G.711ビット列L0と80bitの低域補強ビット列L1と80bitの高域強調ビット列L2を出力する。G.711ビット列L0はG.711準拠のサンプリング周波数8kHz、8bitで表されるサンプルによる列S(1),S(2),…,S(N/2)であり、320bit(8bit×40サンプル)である。
G.711ビット列L0、低域補強ビット列L1及び高域強調ビット列L2を実時間で伝送するには、それぞれ64kbit/s(1秒あたり、8bit×8000サンプル、または、320bit×200列)、16kbit/s(1秒あたり、80bit×200列)及び16kbit/s(1秒あたり、80bit×200列)の伝送帯域が必要である。なお、伝送帯域とは単位時間当たりに伝送できる情報量を意味する。
G.711.1を用いる場合は、ビット列を伝送する際に利用する中継装置(ルータやゲートウェイ等)や通信回線等の伝送帯域(以下「利用伝送帯域」という)や復号装置の性能(G.711.1に対応しているか否か等)に応じて、符号化装置10が出力したビット列L0、L1及びL2の一部を選択して伝送し、復号装置に入力することがある。
G.711.1復号装置20は、入力されたビット列に応じて、下記のモードA〜Dの何れかの動作を行う。
(A)モードA
G.711ビット列L0だけが入力されたG.711.1復号装置20は、入力されたビット列L0を復号し、復号により得られたサンプリング周波数が8kHzである電話帯域音声サンプルの列Y(1),Y(2),…,Y(N/2)を出力する。
(B)モードB
G.711ビット列L0と低域補強ビット列L1が入力されたG.711.1復号装置20は、入力されたビット列L0及びL1を復号し、復号により得られたサンプリング周波数は8kHzであるもののサンプル列Y(1),Y(2),…,Y(N/2)よりも聴覚品質の良い電話帯域音声サンプルの列V(1),V(2),…,V(N/2)を出力する。
(C)モードC
G.711ビット列L0と高域強調ビット列L2が入力されたG.711.1復号装置20は、入力されたビット列L0及びL2を復号し、復号により得られたサンプリング周波数が16kHzである広帯域音声サンプルの列W(1),W(2),…,W(N)を出力する。
(D)モードD
G.711ビット列L0と低域補強ビット列L1と高域強調ビット列L2が入力されたG.711.1復号装置20は、入力されたビット列L0、L1及びL2を復号し、復号により得られたサンプリング周波数は16kHzであるもののサンプル列W(1),W(2),…,W(N)よりも聴覚品質の良い広帯域音声サンプルの列U(1),U(2),…,U(N)を出力する。
図2に示すように、利用伝送帯域が64kbit/s未満の場合には、G.711.1のビット列を実時間で伝送することはできない。
利用伝送帯域が64kbit/s以上、80kbit/s未満の場合は、G.711ビット列L0だけを実時間で伝送することができる。この場合は、G.711.1復号装置20ではモードAのみが使用可能である。
利用伝送帯域が80kbit/s以上96kbit/s未満の場合は、G.711ビット列L0だけを伝送するか、G.711ビット列L0と低域補強ビット列L1を伝送するか、G.711ビット列L0と高域強調ビット列L2を伝送するかの3通りから所望の聴覚品質を得るためのビット列を選択して実時間で伝送することができる。この場合は、G.711.1復号装置20では、入力されたビット列に応じて、モードA、モードB、モードCの何れかの動作により得られる音声サンプルの列を出力として得ることができる。
利用伝送帯域が96kbit/s以上の場合は、G.711ビット列L0を伝送するか、G.711ビット列L0と低域補強ビット列L1を伝送するか、G.711ビット列L0と高域強調ビット列L2を伝送するか、G.711ビット列L0と低域補強ビット列L1と高域強調ビット列L2を伝送するかの4通りから所望の聴覚品質を得るためのビット列を選択して実時間で伝送することができる。この場合は、G.711.1復号装置20では、入力されたビット列に応じて、モードA、モードB、モードC、モードDの何れかの動作により得られる音声サンプルの列を出力として得ることができる。
このようにスケーラブル符号化は、利用伝送帯域により決まる伝送可能なビット列のみを伝送することにより、または、利用伝送帯域により決まる伝送可能なビット列の組合せから所望の組合せを選択することにより、所望の聴覚品質を得ることができる。
<ロスレス符号化>
音声信号をロスレス符号化、復号する従来技術として、非特許文献2記載のG.711.0が知られている。非特許文献2に記載されたG.711.0の符号化装置30及び復号装置40の動作について、図3を用いて説明する。
G.711準拠の8bitで表されるサンプルの列S(1),S(2),…,S(I)が入力信号としてG.711.0符号化装置30に入力される。なお、Iは1フレーム内に含まれるサンプル数とし、40、80、160、240、320の何れかである。I=N/2の場合は、入力信号は上記のS(1),S(2),…S(N/2)、すなわちG.711ビット列L0である。G.711.0符号化装置30は入力信号L0をロスレス符号化し、可変長であるロスレスビット列LLを出力する。
なお、G.711.0符号化装置30が出力したロスレスビット列LLには、フレーム毎(I毎)に1バイト(8ビット)の接頭コードが必要になる。そのため、必要な利用伝送帯域は、I=40のときは65.6kbit/s(ペイロード64kbit+接頭コード1.6kbit)以下、I=80のときは64.8kbit/s(ペイロード64kbit+接頭コード0.8kbit)以下、I=160のときは64.4kbit/s(ペイロード64kbit+接頭コード0.4kbit)以下、I=240のときは64.267kbit/s(ペイロード64kbit+接頭コード0.247kbit)以下、I=320のときは64.2kbit/s(ペイロード64kbit+接頭コード0.2kbit)以下である。なお、接頭コードには、フレーム長(フレームに含まれるバイト数)やどのようなロスレス符号化を行ったか等の情報が含まれる。
ロスレスビット列LLが入力されたG.711.0復号装置40は、入力されたロスレスビット列LLを復号し、復号により得られたG.711準拠の8bitで表されるサンプルの列L0を出力する。
ITU-T Recommendation G.711.1, "Wideband embedded extension for G.711 pulsecode modulation", ITU-T, 2008. ITU-T Recommendation G.711.0, "Lossless compression of G.711 pulse code modulation", ITU-T, 2009.
スケーラブル符号化は、出力信号の品質を高めるために、より大きな利用伝送帯域を必要とするという問題がある。また、ロスレス符号化は、その最悪値に対応するために、ロスレス符号化を利用しない場合よりも大きい利用伝送帯域を必要とするという問題がある。
本発明は、ロスレス符号化によるビット削減効果を有効に利用し、スケーラブル符号化の拡張階層符号をより多く伝送することができる符号化技術を提供することを目的とする。また、そのような符号化がなされた入力符号を復号する復号技術を提供することを目的とする。
上記の課題を解決するために、本発明に係る符号化は、ディジタル入力信号をスケーラブル符号化し、基本階層符号と1以上の拡張階層符号とを生成し、基本階層符号をロスレス符号化し、ロスレス符号を生成し、ロスレス符号と拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する。
また本発明に係る復号は、モード情報を用いて、省略符号における省略規則、または、拡張階層符号とロスレス符号の組合せを判定し、入力符号に省略符号が含まれる場合には、省略符号の省略された部分に所定の値を挿入したものを基本階層符号とし、入力符号に拡張階層符号とロスレス符号の組合せが含まれる場合には、ロスレス符号を復号して基本階層符号を得て、所定の値を挿入して得られた基本階層符号、または、ロスレス符号を復号して得られた基本階層符号と拡張階層符号、を復号して出力信号を得る。
本発明に係る符号化技術はスケーラブル符号化の拡張階層符号をより多く伝送することができるという効果を奏する。また、本発明に係る復号装置はより多くの拡張階層符号を含んだ入力符号を復号し、品質の高い信号を出力することができるという効果を奏する。
G.711.1スケーラブル符号化装置10、復号装置20を説明するための図。 G.711.1復号装置20でモードA〜Dのそれぞれの復号を行うために、必要な利用伝送帯域を示す図。 G.711.0ロスレス符号化装置30、復号装置40を説明するための図。 ロスレス符号化で単位時間当たりに換算した符号量を16kbit/s以上削減できた場合に必要となる利用伝送帯域を示す図。 ロスレス符号化で単位時間当たりに換算した符号量を32kbit/s以上削減できた場合に必要となる利用伝送帯域を示す図。 符号化装置100と復号装置200の構成例を示す図。 符号化装置100の処理フローを示す図。 復号装置200の処理フローを示す図。 符号化装置300の構成例を示す図。 符号化装置300の処理フローを示す図。 MDCT gainの値を用いて、出力ビット列を選択する方法を説明するための図。 図12(A)はG.711.1のスケーラブル符号をIPパケットとして伝送する場合のデータ例を、図12(B)は符号化装置100または300のスケーラブル符号をIPパケットとして伝送する場合のデータ例を示す図。 符号化装置500の構成例を示す図。 符号化装置500の処理フローを示す図。 モードδの場合の出力ビット列のデータ例を示す図。 モードγの場合の出力ビット列のデータ例を示す図。 モードβの場合の出力ビット列のデータ例を示す図。 モードαの場合の出力ビット列のデータ例を示す図。 復号装置600の構成例を示す図。 復号装置600の処理フローを示す図。 符号化装置700の構成例を示す図。 符号化装置700の処理フローを示す図。 モード1〜4の場合の出力ビット列のデータ例と、挿入時のデータ例を示す図。 モード5〜8の場合の出力ビット列のデータ例と、挿入時のデータ例を示す図。 復号装置800の構成例を示す図。 復号装置800の処理フローを示す図。 モード情報(モード1〜3、α〜δ)を可変長符号とした場合のデータ例を示す図。 モード情報(モード1〜8、α〜δ)を可変長符号とした場合のデータ例を示す図。 モード情報を含む同期語とモード情報を含まない同期語のデータ例を示す図。 モード情報(モード1、α〜δ)を含む同期語のデータ例を示す図。 モード情報(モード1〜3、α〜δ)を含む同期語のデータ例を示す図。 シミュレーション結果を示す図。 出力ビット列全部で同じIPヘッダを使う場合のデータ例を示す図。
<発明のポイント>
スケーラブル符号化により得られる基本階層符号をロスレス符号化し、その符号量を減らし、ロスレス符号とスケーラブル符号化により得られる拡張階層符号とから成る符号の単位時間当たりの符号量を、利用伝送帯域以下にすることができれば、小さい符号量で品質の高い信号を伝送することができる。
例えば、G.711.0のロスレス符号化によって、G.711ビット列L0の単位時間当たりに換算した符号量を16kbit/s以上を削減できれば、低域補強ビット列L1または高域強調ビット列L2を伝送しても64kbit/s以内に収まる(図4参照)。またG.711.0のロスレス符号化によって、G.711ビット列L0の単位時間当たりに換算した符号量を32kbit/s以上を削減できれば、低域補強ビット列L1及び高域強調ビット列L2を伝送しても64kbit/s以内に収まる(図5参照)。
以下、本発明の実施の形態について、詳細に説明する。
<符号化装置100>
図6及び図7を用いて実施例1に係る符号化装置100を説明する。符号化装置100はスケーラブル符号化部110とロスレス符号化部120を有する。本実施例では、G.711.1のスケーラブル符号化、G.711.0のロスレス符号化を用いた場合について説明し、スケーラブル符号の基本階層符号をG.711ビット列L0とし、拡張階層符号を低域補強ビット列L1と高域強調ビット列L2とし、ロスレス符号をロスレスビット列とする。但し、他のスケーラブル符号化及びロスレス符号化を用いてもよい。
符号化装置100は入力信号X(1),X(2),…,X(N)を符号化し出力符号(ロスレス符号化されたG.711ビット列LL、低域補強ビット列L1及び高域強調ビット列L2)を伝送する。
<スケーラブル符号化部110>
スケーラブル符号化部110は、ディジタル入力信号X(1),X(2),…,X(N)をG.711.1により符号化し、G.711ビット列L0と低域補強ビット列L1と高域強調ビット列L2とを生成する(s110)。スケーラブル符号化部110は、L0をロスレス符号化部120に送り、L1及びL2を復号装置20に伝送する(s122)。スケーラブル符号化部110は、例えば、図1のG.711.1符号化装置10と同様に動作する(非特許文献1参照)。
<ロスレス符号化部120>
ロスレス符号化部120は、G.711ビット列L0をG.711.0により符号化し、ロスレスビット列LLを生成し(s120)、復号装置20に伝送する(s122)。ロスレス符号化部120は、例えば、図3のG.711.0符号化装置30と同様に動作する(非特許文献2参照)。
ここで、G.711ビット列L0の符号量からロスレスビット列LLの符号量を減算した値、すなわち、G.711.0のロスレス符号化によって削減できた符号量、を単位時間当たりに換算したものを(d)kbit/sとする。例えば、1フレームが5msである場合は、G.711ビット列L0の符号量からロスレスビット列LLの符号量を減算した値を200倍した値をdとする。このとき、G.711準拠に相当する情報が(64−d)kbit/sの利用伝送帯域で実時間伝送できることになる。
利用伝送帯域が(64−d)kbit/s未満の場合には、符号化装置100が出力したビット列を実時間で伝送することはできない。
利用伝送帯域が(64−d)kbit/s以上(80−d)kbit/s未満の場合は、符号化装置100が出力したビット列のうちロスレスビット列LLだけを実時間で伝送することができる。
利用伝送帯域が(80−d)kbit/s以上(96−d)kbit/s未満の場合は、符号化装置100が出力したビット列のうちロスレスビット列LLだけを伝送するか、ロスレスビット列LLと低域補強ビット列L1を伝送するか、ロスレスビット列LLと高域強調ビット列L2を伝送するかの3通りから所望の聴覚品質を得るためのビット列を選択して実時間で伝送することができる。
利用伝送帯域が(96−d)kbit/s以上の場合は、符号化装置100が出力したビット列のうちロスレスビット列LLだけを伝送するか、ロスレスビット列LLと低域補強ビット列L1を伝送するか、ロスレスビット列LLと高域強調ビット列L2を伝送するか、ロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2を伝送するかの4通りから所望の聴覚品質を得るためのビット列を選択して実時間で伝送することができる。
<復号装置200>
図6及び図8を用いて実施例1に係る復号装置200を説明する。復号装置200はロスレス復号部230とスケーラブル復号部250を有する。復号装置200は、符号化装置100の出力ビット列を入力ビット列(例えば、LLのみ、LLとL1、LLとL2、または、LLとL1とL2)として受け取り復号し出力信号を生成し、出力する。
<ロスレス復号部230>
ロスレス復号部230は、入力ビット列に拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)とロスレスビット列LLの組合せ(LLのみ、LLとL1、LLとL2、または、LLとL1とL2)が含まれる場合には、ロスレスビット列LLを復号してG.711ビット列L0を得る(s230)。なお、LLのみも、拡張階層符号とロスレスビット列の組合せの1つとする。復号して得られたG.711ビット列L0をスケーラブル復号部250に出力する。ロスレス復号部230は、例えば、図3のG.711.0復号装置40と同様に動作する(非特許文献2参照)。
<スケーラブル復号部250>
スケーラブル復号部250は、G.711ビット列L0と低域補強ビット列L1と高域強調ビット列L2を復号して、出力信号を得て(s255)、これを出力する。スケーラブル復号部250は、例えば、図1のG.711.1復号装置20と同様に動作する(非特許文献1参照)。
例えば、復号装置200のスケーラブル復号部250は、L0のみ受信しているため(s251、s253)、モードAのスケーラブル復号を行い(s255A)、復号により得られた出力信号(サンプリング周波数が8kHzである電話帯域音声サンプルの列Y(1),Y(2),…,Y(N/2))を出力する。
また、復号装置200のスケーラブル復号部250は、L0とL1を受信しているため(s251、s252)、モードAまたはBのスケーラブル復号を行い(s255B)、復号により得られた出力信号(前述のY(1),Y(2),…,Y(N/2)、または、サンプリング周波数は8kHzで聴覚品質の良い電話帯域音声サンプルの列V(1),V(2),…,V(N/2))を出力する。
また、復号装置200のスケーラブル復号部250は、L0とL2を受信しているため(s251、s253)、モードAまたはCのスケーラブル復号を行い(s255C)、復号により得られた出力信号(前述のY(1),Y(2),…,Y(N/2)、または、サンプリング周波数が16kHzである広帯域音声サンプルの列W(1),W(2),…,W(N))を出力する。
また、復号装置200のスケーラブル復号部250は、L0とL1とL2を受信しているため(s251、s252)、モードA〜D何れかのスケーラブル復号を行い(s255D)、復号により得られた出力信号(前述のY(1),Y(2),…,Y(N/2)、または、V(1),V(2),…,V(N/2)、または、W(1),W(2),…,W(N)、または、サンプリング周波数が16kHzで聴覚品質の良い広帯域音声サンプルの列U(1),U(2),…,U(N))を出力する。
<効果>
このような構成とすることによって、スケーラブル符号化の拡張階層符号をより多く伝送することができる。また、より多くの拡張階層符号を含んだ入力符号を復号し、品質の高い信号を出力することができるという効果を奏する。
<符号化装置300>
図9から図11を用いて実施例2に係る符号化装置300を説明する。なお、符号化装置100と異なる部分のみを説明する。符号化装置300は、スケーラブル符号化部110とロスレス符号化部120に加え、ビット列選択部330を有する。
符号化装置300は、ロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2を得た後に、利用伝送帯域に応じて出力するビット列を選択する。
<ビット列選択部330>
ビット列選択部330は、ロスレスビット列LLと拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)との複数種類の組合せ(LLのみ、LLとL1、LLとL2、または、LLとL1とL2)の中から、単位時間当たりに換算した符号量が利用伝送帯域以下であって、かつ、単位時間当たりに換算した符号量が最も大きい組合せを選択する(s330)。
ビット列選択部330には、ロスレス符号化部120からロスレスビット列LLが入力され、スケーラブル符号化部110から低域補強ビット列L1と高域強調ビット列L2が入力される。また、出力符号を伝送する前に、利用伝送帯域が入力される。利用伝送帯域が既知の場合は、利用伝送帯域をビット列選択部330の中の記憶部331に記憶しておけばよい。
ビット列選択部330は、ロスレスビット列LLの単位時間当たりに換算した符号量が(利用伝送帯域−16kbit/s)より大きい場合は(s332)、ロスレスビット列LLのみを出力ビット列Lとして出力する(s333)。また、ロスレスビット列LLの単位時間当たりに換算した符号量が(利用伝送帯域−32kbit/s)より大きく(s332)、かつ、(利用伝送帯域−16kbit/s)以下である場合は(s334)、ロスレスビット列LLと低域補強ビット列L1、または、ロスレスビット列LLと高域強調ビット列L2を出力ビット列Lとして出力する(s336)。また、ロスレスビット列LLの単位時間当たりに換算した符号量が(利用伝送帯域−32kbit/s)以下である場合は(s332、s334)、ロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2を出力ビット列Lとして出力する(s335)。
なお、上記では、ロスレスビット列LLの単位時間当たりに換算した符号量と(利用伝送帯域−xkbit/s)とを用いて比較や判断を行っているが(例えばxは16または32である)、(ロスレスビット列LLの単位時間当たりに換算した符号量+xkbit/s)と利用伝送帯域を上記と等価になるように比較や判断を行ってもよい。また、ロスレスビット列LLの符号量と、利用伝送帯域とxkbit/sのそれぞれをロスレスビット列LLと同じ時間長のときの値に換算して得られる符号量と、を用いて、上記と等価な比較や判断を行ってもよい。1秒の時間長での比較や判断を行う場合は、1秒分のロスレスビット列LLの符号量と、1秒分の利用伝送帯域とxkbit/sとを用いることが可能である。
伝送ビットレートが64kbit/sの場合は、ビット列選択部330は例えば図7のように機能する。G.711.0によって削減できたビットレートdが16kbit/s以上の場合は、モードBまたはモードCを、G.711.0によって削減できたビットレートdが32以上kbit/sの場合はモードDを選択することになる。
s336において、ロスレスビット列LLの単位時間当たりに換算した符号量が(利用伝送帯域−32kbit/s)より大きく、かつ、(利用伝送帯域−16kbit/s)以下である場合には、ロスレスビット列LLと共に出力ビット列に含める拡張階層符号を、低域補強ビット列L1または高域強調ビット列L2から選択することが可能である。選択方法としては、例えば下記の2つの方法がある。
(1)選択方法1
選択規則(例えば、「常に低域補強ビット列L1を選択する」や、「常に高域強調ビット列L2を選択する」する等)を予め記憶部331に記憶しておき、その選択規則に従って、拡張階層符号を選択する。
(2)選択方法2
G.711.1により規定された高域強調ビット列L2には、高域を強調する際のゲイン(MDCT gain)に対応する情報(8ビット)が含まれる。
ビット列選択部330は、MDCT gainが閾値T(例えばT=1)以下の場合には(s336a)、ロスレスビット列LLと低域補強ビット列L1の組合せを選択し、出力ビット列Lとして出力する(s336b)。一方、MDCT gainが閾値Tより大きい場合には(s336a)、ロスレスビット列LLと高域強調ビット列L2の組合せを選択し、出力ビット列Lとして出力する(s336c)。
これは、MDCT gainが小さい場合は広帯域拡張を行っても聴覚品質の向上効果が小さいからである。なお、MDCT gainに対応する情報とMDCT gainとは、一対一に対応している。そのため、MDCT gainに対応する情報を復号してMDCT gainの値を得ないでも、予め閾値Tよりも大きいMDCT gainに対応する情報を記憶部331等に記憶しておき、記憶部331に取得したMDCT gainに対応する情報があるか否かを判定し、MDCT gainが閾値T以下であるか否かを判定してもよい。
このような構成とすることによって、入力信号に応じた適切な拡張階層符号を選択することができ、聴覚品質の向上させることができる。
なお、ビット列選択部330は、出力ビット列Lの他に、何れのビット列の組合せを出力ビット列Lとしたかを示す情報をモード情報として出力してもよい。
符号化装置300が出力したビット列Lは、実施例1で説明した復号装置200で復号することができる。
<効果>
このような構成とすることによって、実施例1と同様の効果を得ることができる。さらに、利用伝送帯域とロスレスビット列LLの符号量に応じて出力するビット列を選択することにより、利用伝送帯域を最大限に活用した高い音質を得ることができる。
例えば、G.711ビット列L0をG.711.0によってロスレスビット列LLにすることにより、その単位時間当たりに換算した符号量を16kbit/s以上削減できれば、ロスレスビット列LLに加えて低域補強ビット列L1または高域強調ビット列L2を伝送しても64kbit/s以内に収まる(図4参照)。またG.711ビット列L0をG.711.0によってロスレスビット列LLにすることにより、その単位時間当たりに換算した符号量を32kbit/s以上削減できれば、ロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2の全てを64kbit/s以内で伝送することができる(図5参照)。
<変形例>
本実施例では、ビット列選択部330において、利用伝送帯域が既知の場合について説明しているが、未知であってもよい。例えば、出力ビット列Lの伝送に先立ち、図示しない利用伝送帯域測定部において、利用伝送帯域を調べ、記憶部331に記憶する構成としてもよい。また、既存のSIPサーバ等に問い合わせて利用伝送帯域を取得してもよい。
G.711.1のスケーラブル符号をIP伝送路で伝送する場合は、図12Aに示すように、G.711ビット列L0、低域補強ビット列L1、高域強調ビット列L2のそれぞれをIPペイロードとし、それぞれにIPヘッダを付して伝送すればよい。また、実施例1または実施例2の出力ビット列LをIP伝送路で伝送する場合は、図12Bに示すように、ロスレスビット列LL、低域補強ビット列L1、高域強調ビット列L2のそれぞれをIPペイロードとし、それぞれにIPヘッダを付して伝送すればよい。
本実施例では、直列のデジタルデータの伝送路でバイト単位のみの同期がとれる通信路、(例えば、ISDN網や構内無線網のように64kbit/s以下で実時間通信を行う通信路)への適用を想定する。このような通信網は、本来サンプリング周期8kHzでサンプリングされ、8bitで量子化されたディジタル音声信号(電話帯域音声)のサンプルの列を64kbit/sで伝送するものであるが、本実施例ではロスレス符号化とスケーラブル符号化を組合せて利用することにより、可能な限りより帯域の広い音声を伝送することが可能となる。
<符号化装置500>
図14〜図18を用いて実施例3に係る符号化装置500を説明する。なお、符号化装置300と異なる部分のみを説明する。符号化装置500は、スケーラブル符号化部110とロスレス符号化部120に加え、さらに同期語挿入部550を有し、ビット列選択部530の処理内容が異なる。
<ビット列選択部530>
ビット列選択部530は、モード情報生成部533を備え、ロスレスビット列LLと拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)との複数種類の組合せの中から、単位時間当たりに換算した符号量が利用伝送帯域以下であって、かつ、単位時間当たりに換算した符号量が最も大きい組合せを選択し、内部に備えたモード情報生成部533において、選択する組合せを示すモード情報を生成する(s530)。なお、図14中、s332〜s336については、実施例2のビット列選択部530と同様の処理を行う。
例えば、ビット列選択部530で選択したビット列がロスレスビット列LLのみである場合(s333)、すなわち、後述する復号装置600をモードAのみで動作させられる場合、モード情報生成部533は、出力ビット列がロスレスビット列LLのみから成ることを示すモード情報(モードα)を生成する(s538)。
ビット列選択部530で選択したビット列がロスレスビット列LLと低域補強ビット列L1とである場合(s336)、すなわち、復号装置600をモードAまたはモードBで動作させられる場合、モード情報生成部533は、出力ビット列がロスレスビット列LLと低域補強ビット列L1とから成ることを示すモード情報(モードβ)を生成する(s539)。
ビット列選択部530で選択したビット列がロスレスビット列LLと高域強調ビット列L2とである場合(s336)、すなわち、復号装置600をモードAまたはモードCで動作させられる場合、モード情報生成部533は、出力ビット列がロスレスビット列LLと高域強調ビット列L2とから成ることを示すモード情報(モードγ)を生成する(s539)。
ビット列選択部530で選択したビット列がロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2とである場合(s335)、すなわち、復号装置600をモードA〜Dの全てのモードで動作させられる場合、出力ビット列がロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2とから成ることを示すモード情報(モードδ)を生成する(s537)。
例えば、4通りのモードを区別できるように、モード情報に2ビットを割り当てる。ビット列選択部530は、選択したビット列とモード情報を同期語挿入部550に出力する。
<同期語挿入部550>
同期語挿入部550は、フレーム内の予め定められた位置に、所定の同期語を挿入する(s550)。なお、同期語とは「0」と「1」のビットの組合せから成る所定のビットパターンである。
同期語挿入部550は、固定のフレーム長Jバイトに対し(例えばJ=40)、Kバイトの同期語と、ビット列選択部530が出力したm(但し、mは0<m≦8を満たす整数)ビットのモード情報と、選択されたビット列とを含めたものを符号化装置500の出力ビット列Lとして出力する。フレーム長Jバイトから同期語のKバイトとモード情報のmビットを引いた残り((J−K)×8−m)ビット内に、選択したビット列が含まれる。そのため、出力ビット列Lの伝送に必要な実質的な利用伝送帯域は、(N’/N)×((J−K)×8−m)kbit/sとなる。なお、N’は単位時間当たりのサンプル数を、Nは前述の通り1フレーム内に含まれるサンプル数を、(N’/N)は単位時間当たりのフレーム数を表す。従って、サンプリング周期8kHzでサンプリングされたディジタル音声信号のサンプルの列を伝送する場合の実質的な利用伝送帯域(言い換えると、ディジタル音声信号のサンプルの列自体を表す信号を伝送するための利用伝送帯域)は、フレーム長Jが40バイトであり、同期語が1バイトであり、モード情報が2ビットであり、1サンプルが1バイトの場合(このとき、J=Nとなる)、62kbit/sとなる。
なお、ビット列選択部530で選択したビット列は必ず((J−K)×8−m)ビット以下であるが、選択したビット列がちょうど((J−K)×8−m))ビットであることは稀である。そこで、選択したビット列が((J−K)×8−m))ビット未満である場合には、同期語挿入部550は、出力ビット列LがJバイトとなるように、余ったビットにダミービット(例えば、0または1)を格納する。
同期語挿入部550は、図15〜図18に示すように、同期語とモード情報とビット列選択部530で選択されたビット列とを含む出力ビット列Lを出力する。前述の通り、出力ビット列Lに必要に応じてダミービットが含まれ、各図中の「ダミー」は上記の「ダミービット」を指し、0または1が格納される。
<復号装置600>
図19及び図20を用いて、実施例3に係る復号装置600を説明する。なお、復号装置200と異なる部分のみを説明する。復号装置600は、ロスレス符号化部230に加え、さらに同期語判定部610及びモード判定部620を有し、スケーラブル復号部650の処理内容が異なる。
<同期語判定部610>
同期語判定部610は、符号化装置500の出力ビット列Lを入力ビット列として入力され、フレーム内の予め定められた位置に、所定の同期語が存在するか否かを判定し(s610)、存在する場合には、同期が確立されたものとみなして、フレーム毎のビット列部分を特定し、入力ビット列Lをモード判定部620に出力する。なお、その際に、フレーム内の同期語及びダミービットを削除して、モード判定部620に出力する構成としてもよい。同期語が存在しない場合、エラー処理を行う(s661)。エラー処理として、通信を終了したり、再度符号化装置500と同期処理を行ってもよい。
<モード判定部620>
モード判定部620は、モード情報を用いて、拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)とロスレスビット列LLの組合せを判定する(s620)。
モード判定部620は、モード情報がモードδを表わすものである場合には(s620D)、モード情報とロスレスビット列LLと低域補強ビット列L1と高域強調ビット列L2とを出力する。モード情報がモードγを表わすものである場合には(s620C)、モード情報とロスレスビット列LLと高域強調ビット列L2とを出力する。モード情報がモードβを表わすものである場合には(s620B)モード情報とロスレスビット列LLと低域補強ビット列L1とを出力する。モード情報がβ、γ、δの何れでもない場合(s620B)、つまり、モードαを表わすものである場合には、モード情報とロスレスビット列LLとを出力する。
出力したロスレスビット列LLはロスレス復号部230に入力され、ロスレスビット列LL以外はスケーラブル復号部650に入力される。
ロスレス復号部230は、入力されるロスレスビット列LLを復号してG.711ビット列L0を得て(s230A〜s230D)、スケーラブル復号部650に出力する。
<スケーラブル復号部650>
スケーラブル復号部650は、モード情報と各モード情報に対応するビット列(L0、L0とL1、L0とL2、または、L0とL1とL2の何れか)を入力され、入力されたモード情報が表わすモードα〜δから特定される復号可能なモード(少なくともモードAを含む、モードA〜Dの何れかモード)のうちの所望のモードを選択して復号を行い(s655A〜s655D)、復号により得られた音声サンプルの列を出力する。復号により得られた出力信号は実施例1のスケーラブル復号部250と同様である。
<効果>
このような構成とすることによって、実施例2と同様の効果を得ることができる。さらに、現在普及している電話回線の伝送帯域(64kbit/s)で、G.711よりも高品質な音声を実時間で伝送するができる。
G.711.1は、実時間伝送で電話音声帯域のG.711よりも高い音質を得るためには、必ず80kbit/s以上の伝送帯域を確保する必要があり、伝送帯域が64kbit/sの電話回線でG.711よりも高い音質を得ることができなかった。一方、G.711.0では平均データレートは削減できるので、なるべく多くのビットを伝送し、復号側では得られたビットだけから復号を行う利用形態や、復号側で一旦蓄積してから復号を行う利用形態、すなわち、ベストエフォート型ではメリットはある。しかし、固定レートで実時間伝送する場合はデータレートの最悪値(65.6kbit/s)を超える伝送帯域を確保した回線が必要であり、普及している伝送帯域が64kbit/sの回線で利用することができなかった。本実施例の構成によりこのような問題を解決することができる。
実施例3では、ロスレスビット列LLの1フレーム分の符号量が、((J−K)×8−m)ビットを超える場合は、64kbit/s以下での実時間通信を行うためのビット列を生成することができない。本実施例は、ロスレス符号化の効果が無い場合などのロスレスビット列LLの1フレーム分の符号量が((J−K)×8−m)ビットを超える場合に、一部のサンプルのビットを省略することによって規定の利用伝送帯域で情報を伝送する。
<符号化装置700>
図21及び図22を用いて実施例4に係る符号化装置700を説明する。なお、符号化装置500と異なる部分のみを説明する。符号化装置700は、スケーラブル符号化部110とロスレス符号化部120に加え、さらに省略符号生成部760を有し、ビット列選択部730及び同期語挿入部750の処理内容が異なる。
<ビット列選択部730>
ビット列選択部730のモード情報生成部740は、ビット列選択部730で選択した組合せを示すモード情報、または、後述する省略符号生成部760で省略ビット列を生成する際の生成規則を示すモード情報を生成する(s730)。
ビット列選択部730は、ロスレスビット列LLの単位時間当たりに換算した符号量が64kbit/s以下か否かを判定し(s731)、64kbit/s以下の場合には、ビット列選択部530と同様の処理(s332〜s539)を行い、ビット列選択部530は、選択したビット列とビット列選択部730で選択した組合せを示すモード情報を同期語挿入部550に出力する。
64kbit/sより大きい場合(つまり、ロスレスビット列LLの単位時間当たりに換算した符号量が利用伝送帯域よりも大きい場合)には、ビット列選択部730は、省略符号生成部760で省略ビット列を生成する際の生成規則を示すモード情報を生成する(s733)。ビット列選択部530は、省略ビット列を生成する際の生成規則を示すモード情報を同期語挿入部550に出力する。
なお、モード情報は、ビット列選択部730で選択した組合せ、または、後述する省略符号生成部760で省略ビット列を生成する際の生成規則を示す情報なので、実施例3よりもモード情報を表わすためのビット数が増えることになる。
<同期語挿入部750>
(モードα〜δの場合)
選択したビット列とビット列選択部730で選択した組合せを示すモード情報を入力された場合、同期語挿入部750は、フレーム内の予め定められた位置に、所定の同期語を挿入する(s550)。さらに、同期語挿入部750は、同期語と、ビット列選択部730が出力したモード情報と、選択されたビット列とを含めたものを出力ビット列Lとして出力する。また、選択したビット列が((J−K)×8−m))ビット未満である場合には、同期語挿入部750は、出力ビット列LがJバイトとなるように、余ったビットにダミービット(例えば、0または1)を格納する。
(モード1〜8の場合)
省略ビット列を生成する際の生成規則を示すモード情報を入力された場合、同期語挿入部750は、フレームを作成し、フレーム内の予め定められた位置に、所定の同期語を挿入する(s750)。同期語が挿入されたフレームに対し、省略ビット列を生成する際の生成規則を示すモード情報を格納し、省略符号生成部760に出力する。
<省略符号生成部760>
省略符号生成部760は、同期語、省略ビット列L00を生成する際の生成規則を示すモード情報及びスケーラブル符号化部110の出力であるG.711ビット列L0を入力される。
省略符号生成部760は、G.711ビット列L0から聴覚的に影響の少ない部分を省略し、単位時間当たりに換算した符号量が利用伝送帯域以下となる省略ビット列L00を生成する(s760)。例えば、聴覚的に影響の少ない部分とは、G.711ビット列L0において各サンプルを示す1バイト(8ビット)の内の最下位ビットである。
省略符号生成部760は、G.711ビット列L0の各サンプルに対応するビットのうち最下位1ビットを((J−K)×8−m)ビットを超えるビット数だけ省略して得られる((J−K)×8−m)ビットの省略ビット列L00を生成する(s760)。そして、省略符号生成部760は、省略ビット列L00と省略ビット列L00を生成する際の生成規則を示すモード情報とを出力ビット列L00として出力する。
なお、復号装置で省略ビット列L00からG.711ビット列L0’を生成するときは、省略されたビットに0か1を挿入する。
G.711ビット列L0が((J−K)×8−m)ビット以下に圧縮できない場合は、G.711ビット列L0に対応する音響信号の振幅が大きく、予測のきかない雑音的な信号である。このような信号の振幅を表す符号の最下位ビットは音声品質に与える影響がきわめて少ないことから、省略ビット列L00を用いることによる音質劣化はきわめて小さい。
G.711ビット列L0から省略ビット列L00を生成する際には、フレーム中のどの位置にあるサンプルの最下位の1ビットを省略するかを予め決めておいてもよいし、フレーム中のどの位置のサンプルの最下位の1ビットを省略するかは選択肢を複数用意し、劣化が少ないものを選択してもよい。
選択肢からの選択の際には、後述する復号装置800で再構成した場合のG.711ビット列L0’の振幅値とスケーラブル符号化部110の出力であるG.711ビット列L0の振幅値の差が最も小さいものを選択することが望ましい。よって、伝送に先立ち、省略符号生成部760内で生成した省略ビット列L00を再構成し、G.711ビット列L0’を求め、L0との差を計算し、最も小さい選択肢を求めてもよい。なお、このときの振幅値は対数のままでの数値の差でよい。実際に再生される波形での違いは対数から線形に変換した領域での違いになるので、下位1ビットの変形は振幅の大きいサンプルでの差が大きくなる。しかし聴覚的には振幅の大きいサンプルでは差が大きくても劣化は比較的小さいため、対数領域の数値の差で比較することで聴覚的劣化と対応がとれる。
省略ビット列L00を生成する方法(以下、「生成規則」という)として、予め決めておいたり、複数の選択肢に含めておいたりする方法としては、例えば以下のモード1〜8が挙げられる。すなわち、これらのうちの1つを予め決めておいたり、これらのうちの一部または全部を選択肢に含めておいたりすることになる。
モード1〜4は、G.711ビット列L0のうちの連続するサンプルの最下位ビットを省略する方法であり、図23に模式図を示す。モード1では、G.711ビット列L0のうちの先頭から(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに0を挿入する。モード2では、G.711ビット列L0のうちの最後から(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに0を挿入する。モード3では、G.711ビット列L0のうちの先頭から(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに1を挿入する。モード4では、G.711ビット列L0のうちの最後から(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに1を挿入する。
モード5〜8は、G.711ビット列L0のうちの飛び飛びのサンプルの最下位ビットを省略する方法であり、図24に模式図を示す。モード5では、G.711ビット列L0のうちの先頭から偶数番目にある(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに0を挿入する。モード6では、G.711ビット列L0のうちの先頭から奇数番目にある(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに0を挿入する。モード7では、G.711ビット列L0のうちの先頭から偶数番目にある(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに1を挿入する。モード8では、G.711ビット列L0のうちの先頭から奇数番目にある(K×8−m)個のサンプルの最下位1ビットを省略する。復号装置800では省略されたビットに1を挿入する。
<復号装置800>
図25及び図26を用いて実施例4に係る復号装置800を説明する。なお、復号装置600と異なる部分のみを説明する。復号装置800は、同期語判定部610及びロスレス復号部230に加え、さらに挿入部840を有し、モード判定部820及びスケーラブル復号部850の処理内容が異なる。
<モード判定部820>
モード判定部820は、同期語判定部610の出力である入力ビット列LまたはL00を入力され、入力ビット列に含まれるモード情報を用いて、省略ビット列L00における省略規則、または、拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)とロスレスビット列LLの組合せを判定する(s820)。ここで、省略ビット列L00の省略規則とは、符号化装置700における省略ビット列L00を生成した際の生成規則と一対一に対応する規則のことである。
モード情報がモードα〜δを示す場合(s820)、復号装置600と同様の処理を行う(s620〜s655)。
モード情報が省略ビット列L00における省略規則を示す場合(s820)、つまりモード情報がモード1〜8を示す場合、モード情報と省略ビット列L00を挿入部840に出力する。
<挿入部840>
挿入部840は、モード情報と省略ビット列L00を入力され、省略符号生成部760で説明したように(図23及び図24参照)、省略された部分に所定の値を挿入し、G.711ビット列L0’とする(s840)。
<スケーラブル復号部850>
モード情報がモードα〜δを示す場合(s820)、スケーラブル復号部850の処理内容は、実施例3のスケーラブル復号部650と同様である。
モード情報がモード1〜8の場合、挿入部840で得られたG.711ビット列L0’を復号して、出力信号を得る(モードAの復号)。そして、スケーラブル復号部850は、復号により得られた出力信号(サンプリング周波数が8kHzである電話帯域音声サンプルの列Y’(1),Y’(2),…,Y’(N/2))を出力する。
<効果>
このような構成とすることによって、実施例3と同様の効果を得ることができる。さらに、ロスレス圧縮の効果がある場合はモードα〜δの何れかを用いて、ロスレス圧縮の効果が無い場合にはモード1〜8の何れかを用いて、出力信号を得ることができるので、設定された伝送帯域で情報を伝送することができるという効果を奏する。
[変形例1]
<符号化装置700A>
図21及び図22を用いて実施例4の変形例1に係る符号化装置700Aを説明する。なお、符号化装置700と異なる部分のみを説明する。符号化装置700Aは、ビット列選択部730内のモード情報生成部740Aの処理内容が異なる。
<モード情報生成部740A>
モード情報生成部740Aは、ビット列選択部730で選択した組合せ(モードα〜δ)を示すモード情報、または、省略符号生成部で省略ビット列L00を生成する際の生成規則(モード1〜8)を示すモード情報を生成し、生成規則(モード1〜8)を示すモード情報が組合せ(モードα〜δ)を示すモード情報よりも符号量が少なくなるように生成する(s537〜s539、s733)。つまり、図27及び図28に示すようにモード情報を可変長符号とする。
モードα〜δは、モード情報に割り当てるビットが多くてもG.711以上の聴覚品質を得られるモードである。一方、モード1から8は、モード情報に割り当てるビットが多ければ多いほど、下位ビットを多く省略することになるため、G.711に比べて聴覚品質が悪くなる。そこで、G.711ビット列の下位ビットを省略するモードであるモード1〜8を表わすモード情報のビット数が、G.711ビット列の下位ビットを省略しないモードであるモードα〜δを表わすモード情報のビット数よりも少なくなるようにモード情報を可変長符号化する。これにより下位ビット省略の聴覚品質への影響を小さくすることができる。
図27は、G.711ビット列L0の下位ビットを省略するモードとしてモード1〜3の3種類を用意し、G.711ビット列L0の下位ビットを省略しないモードとしてモードα〜δの4種類を含む、7種類の中からモードが選択される場合の、モードとモード情報の例である。G.711ビット列L0の下位ビットを省略するモードであるモード1、2、3のそれぞれには2ビットの符号“00”、“01”、“10”をモード情報として割り当てる。一方、G.711ビット列の下位ビットを省略しないモードであるモードα、β、γ、δのそれぞれには4ビットの符号“1100”、“1101”、“1110”、“1111”をモード情報として割り当てる。
図28は、G.711ビット列の下位ビットL0を省略するモードとしてモード1〜8の8種類を用意し、G.711ビット列の下位ビットL0を省略しないモードとしてモードα〜δの4種類を含む、12種類の中からモードが選択される場合の、モードとモード情報の例である。
G.711ビット列L0の下位ビットを省略するモードであるモード1〜7のそれぞれには3ビットの符号“000”、“001”、“010”、“011”、“100”、“101”、“110”をモード情報として割り当て、モード8には4ビットの符号“1110”をモード情報として割り当てる。一方、G.711ビット列の下位ビットを省略しないモードであるモードα、β、γ、δのそれぞれには6ビットの符号“111100”、“111101”、“111110”、“111111”をモード情報として割り当てる。
<復号装置800>
図25及び図26を用いて実施例4の変形例1に係る復号装置800は、実施例1と同様の処理を行う。但し、省略ビット列における省略規則(モード1〜8)を示すモード情報は、拡張階層符号とロスレスビット列の組合せ(モードα〜δ)を示すモード情報よりも符号量が少ない点が異なる。以下、具体的に説明する。
復号装置800中のモード判定部820において、符号化装置700A中のモード情報生成部740Aが生成するモード情報の可変長符号化と対応するように、G.711ビット列の下位ビットを省略するモードであるモード1〜8を表わすモード情報のビット数が、G.711ビット列の下位ビットを省略しないモードであるモードα〜δを表わすモード情報のビット数よりも少ない可変長符号で表わされたモード情報の復号を行う。
モード判定部820は、図27の場合は、モード情報が2ビットの符号“00”、“01”、“10”である場合は、それぞれモード1、2、3であると判定し、モード情報が4ビットの符号“1100”、“1101”、“1110”、“1111”である場合は、それぞれモードα、β、γ、δであると判定する。
モード判定部820は、図28の例の場合は、モード情報が3ビットの符号“000”、“001”、“010”、“011”、“100”、“101”、“110”である場合は、それぞれモード1、2、3、4、5、6であると判定し、モード情報が4ビットの符号“1110”である場合はモード8であると判定し、モード情報が6ビットの符号“111100”、“111101”、“111110”、“111111”である場合は、それぞれモードα、β、γ、δであると判定する。
<効果>
このような構成とすることで実施例4と同様の効果を得ることができる。さらに、モード1〜8を表わすモード情報のビット数が、モードα〜δを表わすモード情報のビット数よりも少なくなるようにモード情報を可変長符号化することで、下位ビット省略の聴覚品質への影響を小さくすることができるという効果を奏する。
[変形例2]
<符号化装置700B>
図21及び図22を用いて実施例4の変形例2に係る符号化装置700Bを説明する。なお、符号化装置700と異なる部分のみを説明する。符号化装置700Bは、同期語挿入部750B及び省略符号生成部760Bの処理内容が異なる。
<同期語挿入部750B>
同期語挿入部750Bは、省略符号生成部で省略ビット列L00を生成する際の生成規則(モード1〜8)を示すモード情報を受け取った場合(つまり、ロスレスビット列LLを単位時間当たりに変換した符号量が利用伝送帯域よりも大きい場合)、フレーム内の予め定められた位置に、特定の同期語を挿入する(s750B)。この特定の同期語とは、省略符号生成部760で省略ビット列L00を生成する際の生成規則を示す同期語を意味する。つまり、特定の同期語内に省略ビット列L00を生成する際の生成規則を示すモード情報が含まれる。同期語挿入部750Bは、空のフレームに特定の同期語を挿入し、省略符号生成部760に出力する。
同期語挿入部750Bは、モード情報生成部740からビット列選択部730で選択した組合せ(モードα〜δ)を示すモード情報を受け取った場合(つまり、ロスレスビット列LLを単位時間当たりに変換した符号量が利用伝送帯域以下の場合)、フレーム内の予め定められた位置に、ロスレスビット列LLを単位時間当たりに変換した符号量が利用伝送帯域以下の場合に共通する所定の同期語(以下、単に「所定の同期語」という)を挿入する(s550)。なお、所定の同期語は、拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)とロスレスビット列LLの複数種類の組合せ全てに対応する1つの同期語である。同期語挿入部750Bは、同期語と、モード情報と、選択されたビット列とを含めたものを符号化装置700の出力ビット列Lとして出力する。
<省略符号生成部760B>
省略符号生成部760Bは、特定の同期語を挿入されたフレームの残り部分に、スケーラブル符号化部110から受け取ったG.711ビット列L0を格納し、G.711ビット列から聴覚的に影響の少ない部分を省略して、単位時間当たりに換算した符号量が利用伝送帯域以下となる省略ビット列を生成する(s760B)。
変形例2では、変形例1と同様の目的で、省略符号生成部で省略ビット列L00を生成する際の生成規則(モード1〜8)を示す同期語を生成する。
モード情報生成部740からビット列選択部730で選択した組合せ(モードα〜δ)を示すモード情報を受け取った場合に用いる同期語と、省略符号生成部で省略ビット列L00を生成する際の生成規則(モード1〜8)を示すモード情報を受け取った場合に用いる同期語は異なるビットパターンを用いて表す。
図29、図30及び図31に示すように、生成規則(モード1〜8)を示すモード情報を受け取った場合に、モード情報のために省略するビット数を実質0ビットとすることができ、下位ビット省略の聴覚品質への影響を小さくすることができる。すなわち、生成規則(モード1〜8)を示すモード情報を受け取った場合に、K=1、m=0と設定しモード情報を同期語に埋め込んで同期語と合わせて8ビットとすることで、まれに現れるG.711ビット列L0の下位ビットを省略するモードを指定するビットを実質0bitにする。つまり、「所定の同期語」(同期語の後にモード情報はある)と「特定の同期語」(同期語の後にモード情報がない。この場合、省略符号生成部760Bにおいて所定の8サンプルだけ下位1ビットを省略する)という2種類の同期語を使う。
図30は、G.711ビット列の下位ビットを省略するモードとしてモード1のみの1種類を用意し、G.711ビット列の下位ビットを省略しないモードとしてモードα〜δの4種類を含む、5種類の中からモードが選択される場合の、モードとモード情報の例である。G.711ビット列の下位ビットを省略しないモードであるモードα、β、γ、δのそれぞれには、8ビットの「所定の同期語」である“11111111”が同期語として割り当てられ、2ビットの符号“00”、“01”、“10”、“11”のうちの何れか1つをモード情報として割り当てる。G.711ビット列の下位ビットを省略するモードであるモード1には、8ビットの「特定の同期語」である“11111110”が同期語として割り当てられ、モード情報は割り当てられない。
図31は、G.711ビット列の下位ビットを省略するモードとしてモード1〜3の3種類を用意し、G.711ビット列の下位ビットを省略しないモードとしてモードα〜δの4種類を含む、7種類の中からモードが選択される場合の、モードとモード情報の例である。G.711ビット列の下位ビットを省略しないモードであるモードα、β、γ、δのそれぞれには、8ビットの「所定の同期語」である“11111111”が同期語として割り当てられ、2ビットの符号“00”、“01”、“10”、“11”のうちの何れか1つがモード情報として割り当てる。G.711ビット列の下位ビットを省略するモードであるモード1〜3のそれぞれには、8ビットの「特定の同期語」である“11111100”、“11111101”、“1111110”が同期語として割り当てられ、モード情報は割り当てられない。
<復号装置800B>
図25及び図26を用いて実施例4の変形例2に係る復号装置800Bを説明する。なお、復号装置800と異なる部分についてのみを説明する。復号装置800Bは、同期語判定部810B、モード判定部820Bの処理内容が異なる。
<同期語判定部810B>
同期語判定部810Bは、フレーム内の予め定められた位置に、同期語が存在するか否かを判定し(s810)、さらに、同期語が、省略規則を示す特定の同期語か、拡張階層符号(低域補強ビット列L1と高域強調ビット列L2)とロスレスビット列LLの複数種類の組合せ全てに対応する1つの所定の同期語と、の何れかであるかを判定する。同期語が所定の同期語の場合には、拡張階層符号とロスレスビット列LLの組合せ(モードα〜δ)を示すモード情報が存在すると考えられるため、入力ビット列をモード判定部820に出力する。(s820B)。
同期判定部800Bは、図示しない記憶部に予め「所定の同期語」と省略規則を示す「特定の同期語」を記憶しておき、入力ビット列に含まれる同期語が特定の同期語である場合には、その特定の同期語が何れの省略規則を示すものであるかを判定し、対応するモード情報と入力ビット列をモード判定部820に出力する。
モード判定部820は、所定の同期語を含む入力ビット列を受け取った場合、モード情報がモードα〜δを示すので(s820)、復号装置600と同様の処理を行う(s620〜s655)。
モード判定部820は、特定の同期語を含む入力ビット列を受け取った場合、モード情報が省略ビット列L00における省略規則を示すので(s820B)、モード情報と省略ビット列L00を挿入部840に出力する。なお、同期語判定部810Bとモード判定部820を一体化してもよい。つまり、モード判定部820の内部に同期語判定部810Bを設け、同期語判定部810Bが、特定の同期語を含む入力ビット列を受け取った場合、モード情報と省略ビット列L00を直接、挿入部840に出力してもよい。
図30の例の場合であれば、同期語が“11111111”であるか否かを判定し、同期語が“11111111”である場合はモード情報が“00”、“01”、“10”、“11”のうちの何れであるかによりモードα〜δの何れであるかを判定し、同期語が“11111110”である場合はモード1であると判定する。
図31の例の場合であれば、同期語が“11111111”であるか否かを判定し、同期語が“11111111”である場合はモード情報が“00”、“01”、“10”、“11”のうちの何れであるかによりモードα〜δの何れであるかを判定し、同期語が“11111100”である場合はモード1、同期語が“11111101”である場合はモード2、同期語が“11111110”である場合はモード3であると判定する。
<効果>
このような構成とすることで実施例4と同様の効果を得ることができる。さらに、省略符号生成部で省略ビット列を生成する際の生成規則(モード1〜8)を示すモード情報は、同期語に含まれるため、モード1〜8を表わすモード情報のビット数を実質0ビットとすることができ、下位ビット省略の聴覚品質への影響を小さくすることができるという効果を奏する。
<シミュレーション結果>
図32は、実施例1の符号化装置100を用いて符号化を行った場合の圧縮後の1フレーム当たりのバイト数を示す。ほとんどのフレームで(単位時間当たりに換算した場合に)16kbit/s以上の符号量を削減できているので、低域補強ビット列L1か高域強調ビット列L2を一緒に伝送することができ、G.711ビット列L0のみを伝送する場合よりも品質の高い信号を伝送することができる。
<その他の変形例>
IPパケットを用いた伝送の場合は、図33のようなIPパケット構成とすればよい。すなわち、1つのIPヘッダに対してIPペイロードとしてビット列LL、L1、L2を含め、モード情報はIPヘッダに含めて伝送すればよい。この場合は、全てのモードのモード情報を同一のビット数で表わす固定長符号を用いてもよいし、図27や図28のような可変長符号を用いてもよい。また、図12Bに示すように、ビット列LL、L1、L2をそれぞれ別のIPパケットとし、LLを含むIPパケットのヘッダにモード情報を含めて伝送してもよい。
また、スケーラブル符号化及びロスレス符号化としては、G.711.1やG.711.0以外の符号化であってもよく、また、異なるメディアの符号化(映像符号化)であるMPEG−4SVCとMPEG−4ALS(音響符号化)を組合せてもよい。
<プログラム>
コンピュータを上述した符号化装置及び復号装置として機能させてもよい。この場合はコンピュータに、目的とする装置(各種実施例で図に示した機能構成をもつ装置)として機能させるためのプログラム、またはその処理手順(各実施例で示したもの)の各過程をコンピュータに実行させるためのプログラムを、CD−ROM、磁気ディスク、半導体記憶装置などの記録媒体から、あるいは通信回線を介してそのコンピュータ内にダウンロードし、そのプログラムを実行させればよい。
100、300、500、700、700A、700B 符号化装置
200、600、800、800B 復号装置
110 スケーラブル符号化部
120 ロスレス符号化部
230 ロスレス復号部
250、650、850 スケーラブル復号部
330、530、730 ビット列選択部
533、740、740A モード情報生成部
550、750、750B 同期語挿入部
610、810B 同期語判定部
620、820 モード判定部
760、760B 省略符号生成部
840 挿入部

Claims (17)

  1. ディジタル入力信号をスケーラブル符号化し、基本階層符号と1以上の拡張階層符号とを生成するスケーラブル符号化部と、
    前記基本階層符号をロスレス符号化し、ロスレス符号を生成するロスレス符号化部と、
    前記ロスレス符号と前記拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する符号選択部と、
    を有する符号化装置。
  2. 請求項1記載の符号化装置であって、
    前記ロスレス符号の単位時間当たりの符号量が利用伝送帯域よりも大きい場合、前記基本階層符号から聴覚的または視覚的に影響の少ない部分を省略し、単位時間当たりの符号量が利用伝送帯域以下となる省略符号を生成する省略符号生成部を備える、
    ことを特徴とする符号化装置。
  3. 請求項2記載の符号化装置であって、
    前記符号選択部で選択した組合せを示すモード情報、または、前記省略符号生成部で前記省略符号を生成する際の生成規則を示すモード情報を生成し、前記生成規則を示すモード情報が前記組合せを示すモード情報よりも符号量が少なくなるように生成するモード情報生成部を備える、
    ことを特徴とする符号化装置。
  4. 請求項2記載の符号化装置であって、
    前記ロスレス符号の単位時間当たりの符号量が利用伝送帯域よりも大きい場合は、前記省略符号生成部で前記省略符号を生成する際の生成規則を示す特定の同期語を、上記以外の場合は、上記以外の場合に共通する同期語を、フレーム内の予め定められた位置に挿入する同期語挿入部を備える、
    ことを特徴とする符号化装置。
  5. 請求項1記載の符号化装置であって、
    前記スケーラブル符号化はG.711.1により規定されたものであり、前記拡張階層符号は低域補強符号と高域強調符号からなり、前記高域強調符号には高域を強調する際のゲインに対応する情報が含まれ、
    前記符号選択部において、前記ロスレス符号と前記低域補強符号の組合せ、または、前記ロスレス符号と前記高域強調符号の組合せを選択する際に、前記ゲインが閾値以下の場合には前記ロスレス符号と前記低域補強符号の組合せを選択する、
    ことを特徴とする符号化装置。
  6. 入力符号は、所定のスケーラブル符号化の1以上の拡張階層符号と、前記スケーラブル符号化の基本階層符号をロスレス符号化して得られるロスレス符号との組合せ、または、前記基本階層符号から聴覚的または視覚的に影響の少ない部分を省略して得られる省略符号を含み、さらに、入力符号は、前記拡張階層符号と前記ロスレス符号の組合せを示すモード情報、または、前記省略符号における省略規則を示すモード情報を含むものとし、
    前記モード情報を用いて、前記省略符号における省略規則、または、前記拡張階層符号と前記ロスレス符号の組合せを判定するモード判定部と、
    入力符号に前記省略符号が含まれる場合には、前記省略符号の省略された部分に所定の値を挿入したものを基本階層符号とする挿入部と、
    入力符号に前記拡張階層符号と前記ロスレス符号の組合せが含まれる場合には、前記ロスレス符号を復号して基本階層符号を得るロスレス復号部と、
    前記挿入部で得られた基本階層符号、または、前記ロスレス復号部で得られた基本階層符号と前記拡張階層符号、を復号して出力信号を得るスケーラブル復号部と、
    を有する復号装置。
  7. 請求項6記載の復号装置であって、
    前記省略符号における省略規則を示すモード情報は、前記拡張階層符号と前記ロスレス符号の組合せを示すモード情報よりも符号量が少ない、
    ことを特徴とする復号装置。
  8. 請求項6記載の復号装置であって、
    前記入力符号はフレーム内の予め定められた位置に同期語を有し、前記同期語は前記省略符号における省略規則を示す特定の同期語と、前記拡張階層符号と前記ロスレス符号の複数種類の組合せの全てに対応する1つの所定の同期語と、の何れかであり、
    フレーム内の予め定められた位置に存在する同期語が、前記何れの同期語であるかを判定し、前記同期語が前記省略規則を示す特定の同期語である場合は、該同期語が何れの省略規則を示すものであるかを判定する同期語判定部を備える、
    ことを特徴とする復号装置。
  9. ディジタル入力信号をスケーラブル符号化し、基本階層符号と1以上の拡張階層符号とを生成するスケーラブル符号化ステップと、
    前記基本階層符号をロスレス符号化し、ロスレス符号を生成するロスレス符号化ステップと、
    前記ロスレス符号と前記拡張階層符号との複数種類の組合せの中から、単位時間当たりの符号量が利用伝送帯域以下であって、かつ、単位時間当たりの符号量が最も大きい組合せを選択する符号選択ステップと、
    を有する符号化方法。
  10. 請求項9記載の符号化方法であって、
    前記ロスレス符号の単位時間当たりの符号量が利用伝送帯域よりも大きい場合、前記基本階層符号から聴覚的または視覚的に影響の少ない部分を省略し、単位時間当たりの符号量が利用伝送帯域以下となる省略符号を生成する省略符号生成ステップを備える、
    ことを特徴とする符号化方法。
  11. 請求項10記載の符号化方法であって、
    前記符号選択ステップで選択した組合せを示すモード情報、または、前記省略符号生成ステップで前記省略符号を生成する際の生成規則を示すモード情報を生成し、前記生成規則を示すモード情報が前記組合せを示すモード情報よりも符号量が少なくなるように生成するモード情報生成ステップを備える、
    ことを特徴とする符号化方法。
  12. 請求項10記載の符号化方法であって、
    前記ロスレス符号の単位時間当たりの符号量が利用伝送帯域よりも大きい場合は、前記省略符号生成ステップで前記省略符号を生成する際の生成規則を示す特定の同期語を、上記以外の場合は、上記以外の場合に共通する同期語を、フレーム内の予め定められた位置に挿入する同期語挿入ステップを備える、
    ことを特徴とする符号化方法。
  13. 請求項9記載の符号化方法であって、
    前記スケーラブル符号化はG.711.1により規定されたものであり、前記拡張階層符号は低域補強符号と高域強調符号からなり、前記高域強調符号には高域を強調する際のゲインに対応する情報が含まれ、
    前記符号選択ステップにおいて、前記ロスレス符号と前記低域補強符号の組合せ、または、前記ロスレス符号と前記高域強調符号の組合せを選択する際に、前記ゲインが閾値以下の場合には前記ロスレス符号と前記低域補強符号の組合せを選択する、
    ことを特徴とする符号化方法。
  14. 入力符号は、所定のスケーラブル符号化の1以上の拡張階層符号と、前記スケーラブル符号化の基本階層符号をロスレス符号化して得られるロスレス符号との組合せ、または、前記基本階層符号から聴覚的または視覚的に影響の少ない部分を省略して得られる省略符号を含み、さらに、入力符号は、前記拡張階層符号と前記ロスレス符号の組合せを示すモード情報、または、前記省略符号における省略規則を示すモード情報を含むものとし、
    前記モード情報を用いて、前記省略符号における省略規則、または、前記拡張階層符号と前記ロスレス符号の組合せを判定するモード判定ステップと、
    入力符号に前記省略符号が含まれる場合には、前記省略符号の省略された部分に所定の値を挿入したものを基本階層符号とする挿入ステップと、
    入力符号に前記拡張階層符号と前記ロスレス符号の組合せが含まれる場合には、前記ロスレス符号を復号して基本階層符号を得るロスレス復号ステップと、
    前記挿入ステップで得られた基本階層符号、または、前記ロスレス復号ステップで得られた基本階層符号と前記拡張階層符号、を復号して出力信号を得るスケーラブル復号ステップと、
    を有する復号方法。
  15. 請求項14記載の復号方法であって、
    前記省略符号における省略規則を示すモード情報は、前記拡張階層符号と前記ロスレス符号の組合せを示すモード情報よりも符号量が少ない、
    ことを特徴とする復号方法。
  16. 請求項14記載の復号方法であって、
    前記入力符号はフレーム内の予め定められた位置に同期語を有し、前記同期語は前記省略符号における省略規則を示す特定の同期語と、前記拡張階層符号と前記ロスレス符号の複数種類の組合せ全てに対応する1つの所定の同期語と、の何れかであり、
    フレーム内の予め定められた位置に存在する同期語が、前記何れの同期語であるかを判定し、前記同期語が前記省略規則を示す特定の同期語である場合は、該同期語が何れの省略規則を示すものであるかを判定する同期語判定ステップを備える、
    ことを特徴とする復号方法。
  17. 請求項1から請求項5の何れか1項に記載の符号化装置、または、請求項6から請求項8の何れか1項に記載の復号装置としてコンピュータを機能させるためのプログラム。
JP2010234728A 2010-10-19 2010-10-19 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム Active JP5466618B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010234728A JP5466618B2 (ja) 2010-10-19 2010-10-19 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010234728A JP5466618B2 (ja) 2010-10-19 2010-10-19 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム

Publications (2)

Publication Number Publication Date
JP2012088502A true JP2012088502A (ja) 2012-05-10
JP5466618B2 JP5466618B2 (ja) 2014-04-09

Family

ID=46260189

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010234728A Active JP5466618B2 (ja) 2010-10-19 2010-10-19 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム

Country Status (1)

Country Link
JP (1) JP5466618B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173407A (ja) * 2016-03-22 2017-09-28 ヤマハ株式会社 オーディオ機器及び音響信号の転送方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098066A1 (ja) * 2003-04-28 2004-11-11 Nippon Telegraph And Telephone Corporation 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム
JP2007531010A (ja) * 2004-03-25 2007-11-01 ディー・ティー・エス,インコーポレーテッド スケーラブル可逆オーディオ・コーデック及びオーサリング・ツール

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098066A1 (ja) * 2003-04-28 2004-11-11 Nippon Telegraph And Telephone Corporation 浮動小数点形式ディジタル信号可逆符号化方法、及び復号化方法と、その各装置、その各プログラム
JP2007531010A (ja) * 2004-03-25 2007-11-01 ディー・ティー・エス,インコーポレーテッド スケーラブル可逆オーディオ・コーデック及びオーサリング・ツール

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNH200800059003; 佐々木 茂明、外4名: '広帯域音声符号化の国際標準ITU-T G.711.1 (G.711 wideband extensi' NTT技術ジャーナル 第20巻 第5号, 20080501, p.34-37, 社団法人電気通信協会 *
JPN6013044301; 佐々木 茂明、外4名: '広帯域音声符号化の国際標準ITU-T G.711.1 (G.711 wideband extensi' NTT技術ジャーナル 第20巻 第5号, 20080501, p.34-37, 社団法人電気通信協会 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017173407A (ja) * 2016-03-22 2017-09-28 ヤマハ株式会社 オーディオ機器及び音響信号の転送方法

Also Published As

Publication number Publication date
JP5466618B2 (ja) 2014-04-09

Similar Documents

Publication Publication Date Title
US7668723B2 (en) Scalable lossless audio codec and authoring tool
KR100871999B1 (ko) 오디오 코딩
KR101237413B1 (ko) 오디오 신호의 부호화 및 복호화 방법, 오디오 신호의부호화 및 복호화 장치
US8374858B2 (en) Scalable lossless audio codec and authoring tool
US7835906B1 (en) Encoding method, apparatus and device and decoding method
JP4056466B2 (ja) ビット率を調節できるオーディオ符号化方法、復号方法、符号化装置及び復号装置
JP2004272260A (ja) 帯域拡張技術を利用したデジタルデータの符号化方法、その装置、復号化方法およびその装置
KR101207110B1 (ko) 스케일러블 무손실 비트스트림의 인코딩 방법
JP2006528368A (ja) オーディオファイルフォーマット変換
JPWO2017081874A1 (ja) 音声通信システム
WO2010074200A1 (ja) 適応差分パルス符号変調の符号化装置及び復号化装置
JP4647923B2 (ja) デジタルデータの符号化/復号化方法および装置
JP5047263B2 (ja) 符号化装置及び復号化装置
JP4022111B2 (ja) 信号符号化装置及び信号符号化方法
JP5466618B2 (ja) 符号化装置、復号装置、符号化方法、復号方法及びそのプログラム
JP2020524293A (ja) オーディオ信号の符号化および復号化
US20080118164A1 (en) Method for image compression coding
JP3942523B2 (ja) ディジタル信号符号化方法、復号化方法、符号器、復号器及びこれらのプログラム
JP2005151327A (ja) Pcmデータ圧縮・伸長方法及び装置
JP4256364B2 (ja) 信号符号化装置、信号符号化方法、信号符号化プログラム、および記録媒体
JPH069345B2 (ja) 音声分析合成装置
JP2005043761A (ja) 情報量変換装置及び情報量変換システム
JP2001296898A (ja) ハミング距離を利用した音声符号化方式及び音声伝送システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140124

R150 Certificate of patent or registration of utility model

Ref document number: 5466618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150