JP2003531550A - 有効データおよび冗長データを有するデータストリームのチャネル復号化方法およびチャネル復号化装置、コンピュータで読み取り可能な記憶媒体、コンピュータプログラムエレメント - Google Patents

有効データおよび冗長データを有するデータストリームのチャネル復号化方法およびチャネル復号化装置、コンピュータで読み取り可能な記憶媒体、コンピュータプログラムエレメント

Info

Publication number
JP2003531550A
JP2003531550A JP2001577706A JP2001577706A JP2003531550A JP 2003531550 A JP2003531550 A JP 2003531550A JP 2001577706 A JP2001577706 A JP 2001577706A JP 2001577706 A JP2001577706 A JP 2001577706A JP 2003531550 A JP2003531550 A JP 2003531550A
Authority
JP
Japan
Prior art keywords
data stream
bit sequence
error
channel
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001577706A
Other languages
English (en)
Other versions
JP4903967B2 (ja
Inventor
ブルケルト フランク
ベーゼ ゲーロ
ブッシュマン ラルフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens AG
Original Assignee
Siemens AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens AG filed Critical Siemens AG
Publication of JP2003531550A publication Critical patent/JP2003531550A/ja
Application granted granted Critical
Publication of JP4903967B2 publication Critical patent/JP4903967B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/63Joint error correction and other techniques
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/03Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words
    • H03M13/23Error detection or forward error correction by redundancy in data representation, i.e. code words containing more digits than the source words using convolutional codes, e.g. unit memory codes
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/37Decoding methods or techniques, not specific to the particular type of coding provided for in groups H03M13/03 - H03M13/35
    • H03M13/39Sequence estimation, i.e. using statistical methods for the reconstruction of the original codes
    • H03M13/41Sequence estimation, i.e. using statistical methods for the reconstruction of the original codes using the Viterbi algorithm or Viterbi processors
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M13/00Coding, decoding or code conversion, for error detection or error correction; Coding theory basic assumptions; Coding bounds; Error probability evaluation methods; Channel models; Simulation or testing of codes
    • H03M13/63Joint error correction and other techniques
    • H03M13/635Error control coding in combination with rate matching
    • H03M13/6362Error control coding in combination with rate matching by puncturing

Abstract

(57)【要約】 データストリームは有効データと冗長データとエラーを含む少なくとも1つのソース符号化ビットシーケンスとを有しており、このビットシーケンスはデータストリーム内の所定の位置をマーキングしている。エラーのないソース符号化ビットシーケンスはチャネル復号器で既知である。データストリームはまずチャネル復号化され、エラーを含むソース符号化ビットシーケンスを考慮してもう一度チャネル復号化される。

Description

【発明の詳細な説明】
【0001】 本発明は有効データおよび冗長データを有するデータストリームのチャネル復
号化方法、データストリームのチャネル復号化装置、コンピュータで読み取り可
能な記憶媒体およびコンピュータプログラムエレメントに関する。
【0002】 この種の方法および装置は引用文献[1]から知られる。
【0003】 チャネル符号化およびソース符号化を行うディジタルメッセージ伝送の図2の
モデルは引用文献[1]から知られる方式に基づいている。
【0004】 ディジタルメッセージ伝送のモデル200にはソース201からソース情報2
02がソース符号器203へ供給され、ここでデータストリーム204が形成さ
れる。
【0005】 データストリーム204はチャネル符号器205に供給され、この符号器でチ
ャネル符号化されたデータストリーム206は変調器207へ供給される。ここ
でチャネル符号化されたデータストリーム206は設定された周波数を有する搬
送信号に重畳され、変調信号208として物理チャネル209を介して復調器2
10を有する受信機へ供給される。物理チャネルは例えば無線コネクションまた
は電話回線である。
【0006】 物理チャネル209では変調信号208に障害(ノイズ)211が作用するこ
とにより、障害を有する変調信号212が生じる。
【0007】 変調されたデータストリーム213はチャネル復号器214へ供給され、ここ
でチャネル復号化が行われてチャネル復号化データストリーム215が形成され
る。ソース復号器216ではチャネル復号化データストリーム215がさらに復
号化され、出力データストリーム217としてシンク218へ供給される。
【0008】 ソース符号化とは伝送すべきデータを圧縮する符号化を意味する。すなわちこ
れは伝送すべきデータのうち過剰な冗長部分を消去する符号化である。
【0009】 本発明においては、チャネル符号化とはデータストリームを冗長データの添加
により符号化する手法を意味する。これによりソースからシンクへデータストリ
ームを最小数のエラーで伝送することができる。したがってチャネル符号化法で
は本来の有効データに送信側で制御された冗長性が添加され、伝送の際に物理チ
ャネル209を介して生じたエラーが受信側で識別され補正される。
【0010】 チャネル符号化の幾つかの手法の基礎となる原理は予測誤差補正の原理である
。つまりここでは受信側で求められた誤差が直接に補正される。予測誤差補正プ
ロセスの例として、ブロック符号、畳み込み符号、パンクチャド畳み込み符号、
またはチェーン符号などを使用する手法が挙げられる。予測誤差補正プロセスで
はチャネル符号化は受信されたデータストリームのみにおいて、つまり返送チャ
ネルを介した反復要求なしに行われる。
【0011】 チャネル符号化に代わる手法として、自動再送要求ARQのプロセスが挙げら
れる。この手法は誤差を受信側で識別し、再送によって伝送誤差を補正する手法
である。
【0012】 予測誤差プロセスとARQとの組み合わせはハイブリッドARQプロセスと称
され、引用文献[2]に記載されている。この手法では送信側で有効データをま
ず誤差識別符号により符号化する。続いてこの有効データを添加された冗長部分
とともに誤差補正符号により符号化する。受信側ではまず誤差補正符号が復号化
される(予測誤差補正)。続いて誤差識別符号を用いて復号化されたデータスト
リームにまだ残留誤差が存在しているか否かが検査される。残っている場合には
返送チャネルを介したデータの反復が要求される(再送要求)。このハイブリッ
ドARQプロセスの利点はほぼエラーのない伝送が達成されることであるが、そ
の代わりエラーのない完全なデータを伝送するのにきわめて大きな遅延を甘受し
なければならず、存在する帯域幅も反復伝送のために充分には活用できないこと
が欠点である。
【0013】 チャネル符号化法の欠点は、多数の冗長データを有効データに添加しなければ
ならず、このために使用可能な有効データレートが著しく低減されてしまうこと
である。
【0014】 特にビデオデータの伝送時には高い有効データレートが必要となる。
【0015】 ARQ法では、有効データの確実な伝送は行えるものの、送信機を介した有効
データの反復伝送のために完全なデータを受信する場合の遅延量がきわめて大き
くなってしまうことである。こうした手法は特にリアルタイムアプリケーション
には適していない。
【0016】 このため特にビデオデータの伝送時には予測誤差補正の原理に基づく比較的簡
単なチャネル符号化法のみが用いられる。これは例えば軟判定ビタビ復号器を用
いた畳み込み符号化である。これにより例えばひどい障害を有する物理チャネル
ではチャネル復号器へ向かう高い残余エラーレートが生じ、復号画像の画像品質
も著しく損なわれる。
【0017】 引用文献[3]からは有効データを2回連続してチャネル符号化し、物理チャ
ネルを介した伝送後に順次にチャネル復号化を行うことが知られる(連続チェー
ン符号化)。連続チェーン符号化では有効データはエラー補正符号(外部符号)
により符号化される。ここから得られたデータが第2の符号(内部符号)により
符号化される。伝送後、まず内部符号がチャネル復号化され、次に外部符号がチ
ャネル復号化される。
【0018】 連続チェーン符号化の際に、復号器により情報を交換し、復号化を反復的に行
うことが知られている(引用文献[6]を参照)。反復性の復号化では外部のチ
ャネル復号器から復号化されたデータストリームをソース復号器へ直ちには転送
せず、まずサブ情報を内部符号に対するチャネル復号器へ戻す。このチャネル復
号器は内部符号の新たな復号化で得られるデータストリームが外部のチャネル復
号器へ転送され、この外部のチャネル復号器が同様に再度外部符号を復号化する
。この手法を反復することができる(反復復号化)。
【0019】 この手法の欠点は2重のチャネル符号化を行うことにより、さらに多数の冗長
データが必要となり、物理チャネルを介したデータ伝送時に使用可能な有効デー
タレートが低くなってしまうことである。
【0020】 引用文献[4]からは、データストリーム内でソース符号化の際に同期符号が
設けられるビデオ符号化法が知られる。この同期符号によりデータストリーム要
素のそれぞれの設定位置はディジタル画像の所定部分内に記述される。
【0021】 このように例えば同期符号はa)画像ブロックの開始部または終了部、b)マ
クロブロックの開始部または終了部、c)画像の開始部または終了部のうち少な
くとも1つの位置を表すのに用いられる。
【0022】 さらに同期符号は通常データパケットの開始部または終了部を表示するのに用
いられ、これにより伝送すべきソース符号化データが伝送される。
【0023】 このようにしてソース復号化の際にビットシーケンスを受信データストリーム
内で求められた同期符号に基づいて一義的にデータストリーム内の位置に割り当
てることができる。換言すれば、これは同期符号によりデータストリーム内のデ
ータストリーム要素の位置が求められることを意味する。
【0024】 さらに引用文献[5]からはデータストリーム内の同期符号を検出する手法が
知られる。
【0025】 本発明の基礎とする課題は、周知の手法に対して僅かな量の冗長データのみで
予測誤差の補正が可能となり、従来のチャネル復号化プロセスよりもエラー識別
能の改善されるデータストリームのチャネル復号化方法を提供することである。
【0026】 この課題は本発明の独立請求項に記載の特徴を有するチャネル復号化方法、チ
ャネル復号化装置、コンピュータで読み取り可能な記憶媒体およびコンピュータ
プログラムエレメントにより解決される。
【0027】 本発明の有効データおよび冗長データを有するデータストリームのチャネル復
号化方法では、データストリームはエラーを含む少なくとも1つのソース符号化
ビットシーケンスを有しており、このビットシーケンスはデータストリーム内の
所定の位置をマーキングしており、エラーのない相応のソース符号化ビットシー
ケンスは既知のビットシーケンスである。ここでデータストリームはまずチャネ
ル復号化され、次のステップでエラーを含むソース符号化ビットシーケンスがチ
ャネル復号化されたデータストリームから求められる。求められたソース符号化
ビットシーケンスを考慮してデータストリームに対して新たなチャネル復号化が
行われる。
【0028】 エラーを含むソース符号化ビットシーケンスをチャネル復号化されたデータス
トリームから求めることにより同期符号の位置と高い確率で正しいと見なされる
ビットシーケンスとが求められているので、受信側では正しく復号化されたビッ
トシーケンスに関する付加情報が得られる。この付加情報は次にデータストリー
ムを新たにチャネル復号化する際にエラー識別能またはエラー補正能の改善のた
めに用いられる。
【0029】 有効データおよび冗長データを有するデータストリームのチャネル復号化装置
では、データストリームはエラーを含む少なくとも1つのソース符号化ビットシ
ーケンスを有しており、このビットシーケンスはデータストリーム内の所定の位
置をマーキングしており、エラーのない相応のソース符号化ビットシーケンスは
既知のビットシーケンスである。この装置にはプロセッサが設けられており、こ
のプロセッサはデータストリームをチャネル復号化するステップと、エラーを含
むソース符号化ビットシーケンスをチャネル復号化されたデータストリームから
求めるステップと、求められたソース符号化ビットシーケンスを考慮してデータ
ストリームを新たにチャネル復号化するステップとを行うように構成されている
【0030】 求めるべき1つまたは複数のソース符号化ビットシーケンスはその時点での復
号化ステップで求められたソース符号化ビットシーケンスおよび/または時間的
に先行する復号化ステップで求められたソース符号化ビットシーケンスである。
後者のビットシーケンスは連続する画像間の統計的相関に利用される。
【0031】 さらにデータストリームのチャネル復号化用のコンピュータプログラムを記憶
したコンピュータで読み取り可能な記憶媒体が提供される。データストリームは
エラーを含む少なくとも1つのソース符号化ビットシーケンスを有しており、こ
のビットシーケンスはデータストリーム内の所定の位置を表しており、エラーの
ない相応のソース符号化ビットシーケンスは既知のビットシーケンスである。コ
ンピュータで読み取り可能な記憶媒体に記憶されたコンピュータプログラムがプ
ロセッサによって実行される際に、データストリームをチャネル復号化するステ
ップと、エラーを含むソース符号化ビットシーケンスをチャネル復号化されたデ
ータストリームから求めるステップと、求められたソース符号化ビットシーケン
スを考慮してデータストリームを新たにチャネル復号化するステップとが行われ
る。
【0032】 有効データおよび冗長データを有するデータストリームをチャネル復号化する
ためのコンピュータプログラムエレメントがプロセッサにより実行される。デー
タストリームはエラーを含む少なくとも1つのソース符号化ビットシーケンスを
有しており、このビットシーケンスはデータストリーム内の所定の位置をマーキ
ングしており、エラーのない相応のソース符号化ビットシーケンスは既知のビッ
トシーケンスである。コンピュータプログラムエレメントがプロセッサにより実
行される際に、データストリームをチャネル復号化するステップと、エラーを含
むソース符号化ビットシーケンスをチャネル復号化されたデータストリームから
求めるステップと、求められたソース符号化ビットシーケンスを考慮してデータ
ストリームを新たにチャネル復号化するステップとが行われる。
【0033】 さらにデータストリームはエラーを含む少なくとも1つのソース符号化ビット
シーケンスを有しており、このビットシーケンスはデータストリーム内の所定の
位置をマーキングしており、エラーのない相応のソース符号化ビットシーケンス
は既知のビットシーケンスである有効データおよび冗長データを有するデータス
トリームのチャネル復号化装置において、データストリームをチャネル復号化す
るチャネル復号器と、エラーを含むソース符号化ビットシーケンスをチャネル復
号化されたデータストリームから求める算出ユニットとが設けられており、この
算出ユニットはチャネル復号器に接続されており、チャネル復号器にエラーを含
むソース符号化ビットシーケンスに関する情報が供給される。
【0034】 本発明の有利な実施形態は従属請求項から得られる。
【0035】 以下に説明する本発明の有利な実施形態は方法、装置、コンピュータで読み取
り可能な記憶媒体またはコンピュータプログラムエレメントのいずれの形態でも
実現可能である。
【0036】 本発明の1つの実施形態では、エラーを含むソース符号化ビットシーケンスを
求める際に当該のビットシーケンスの各ビット値が所定の値を有する確率を求め
る。これによりいわゆる軟判定復号においてチャネル復号器がきわめて正確な各
ビット値に関する情報を得ることができ、チャネル復号器に供給される情報、す
なわちエラーを含むソース符号化ビットシーケンスに関する情報がどの程度確実
であるかをきわめて良好に評価することができる。これによりデータストリーム
の新たなチャネル復号化の際のエラー識別能またはエラー補正能がさらに改善さ
れる。
【0037】 既知のビットシーケンスはデータストリームのデータストリーム要素の同期符
号であり、この符号はデータストリーム内の所定のエレメントの位置を求めるた
めに用いられる。
【0038】 例えばデータストリーム要素はディジタル画像の一部を表しており、同期符号
によりa)画像ブロックの開始部または終了部、b)マクロブロックの開始部ま
たは終了部、c)画像の開始部または終了部のうち少なくとも1つの位置を表し
ている。
【0039】 データパケットを有効データの伝送に使用する場合、同期符号によりデータパ
ケットの開始部または終了部が表される。これは例えば第1のバイナリ値を有す
る所定数のビットと第2のバイナリ値を有する2つのビットとにより定められる
(第1のバイナリ値は論理“0”、第2のバイナリ値は論理“1”に設定されて
いる)。
【0040】 このようにしてソース復号化を行う際に得られた情報を使用して個々の画素ま
たは一般的なデータストリームを同期し、エラーを識別したり、識別されたエラ
ーとデータストリーム内のその位置とをチャネル復号器へ伝達したりすることが
できる。これにより新たなチャネル復号化の際にエラー識別能またはエラー補正
能をさらに改善することができる。
【0041】 本発明の別の実施形態では、チャネル符号化は畳み込み符号により行われる。
これは例えば引用文献[1]に記載されているようなパンクチャド畳み込み符号
により行われる。
【0042】 パンクチャド畳み込み符号の復号化方法では、求められた付加的な復号化情報
をきわめて良好に処理してエラー識別能を大幅に改善することができる。
【0043】 エラーを含むソース符号化ビットシーケンスとエラーのない既知のソース符号
化ビットシーケンスとの比較が例えば簡単な相関プロセスを用いて行われ、これ
により既知のビットシーケンスが求められる。相関プロセスでは受信データスト
リーム内の所定のビットパターンがサーチされ、当該のビットパターンが充分に
確実に検出された場合に、検出されたビットパターンがエラーを含むソース符号
化ビットシーケンスであると見なされる。最も簡単な相関プロセスはエラーのな
い既知のソース符号化ビットシーケンスとチャネル復号化されたデータストリー
ム内のビットとの1:1の比較である。ただし基本的には引用文献[5]に記載
されているような既知のプロセスの同期化を使用することができる。
【0044】 また所定の先行の復号化画像または典型的な画像シーケンスの統計分析により
求められた付加的な情報を使用して、新たなチャネル復号化の際にエラー識別能
を改善することができる。
【0045】 例えば先行の復号化画像(ビデオ会議中のビデオ画像など)での統計分析を行
い、ここから得られたアプリオリ情報、例えば所定のビット変化確率に基づいて
、その時点での画像ブロックとこれに空間的に一致する時間的に先行する画像ブ
ロックとの統計的関係を比較し、高い確率で一致領域を求めることができる。統
計分析によれば、例えばきわめて小さなビット変化確率に基づいて、動きのない
画像背景の領域のビットは先行の画像の同じ領域のビットとほとんど変化がない
はずであるので、ここでのビットエラーは物理チャネル内の障害に基づいて発生
したものと見なすことができる。このことはチャネル復号器に対して付加情報と
して通知され、これによりチャネル復号器は新たなチャネル復号化の際にこれを
使用してエラー識別能またはエラー補正能を改善することができる。
【0046】 したがって本発明は特にビデオ会議での適用に適する。なぜならビデオ会議で
は僅かな量のオブジェクトにしか動きがなく、背景の大部分の領域は変化せずに
とどまるからである。これにより主として連続する画像の一致する画像領域では
各ビットがきわめて類似した構造を有しており、上述の統計プロセスの際にもき
わめて良好な結果が得られる。
【0047】 相応の分析プロセスはもちろん均等な動きの多い個々の画像オブジェクト、例
えばオブジェクトの胴体部または頭部などにも適用できる。
【0048】 例えば同期符号に関する情報はソース復号化の際に簡単に得られるので、有利
にはエラーを含むソース符号化ビットシーケンスがソース復号化の際に求められ
、この情報が続いてデータストリームの新たなチャネル復号化を行うチャネル復
号器へ供給される。このようにソース復号器の構造の変更は最小限で良いので、
きわめて簡単かつ低コストにチャネル復号化を実現できる。
【0049】 本発明の実施例を図示し、以下に詳細に説明する。
【0050】 図1には第1の実施例の一連のビデオ画像のソース符号化/チャネル符号化お
よびチャネル復号化/ソース復号化を行う装置の概略図が示されている。図2に
はディジタルメッセージ伝送のためのモデルの概略図が示されている。図3のA
〜Dには別の実施例によるデータパケットの開始部または終了部の各同期符号を
有するデータエレメントの構造が示されている。図4にはビデオ画像中の個々の
ビットと先行のビデオ画像との依存関係の統計分析を表す複数のテスト画像と、
テスト画像の統計分析から得られたビデオ画像のビット変化確率のマトリクスと
に基づく概略図が示されている。
【0051】 第1の実施例 図1にはカメラ101を備えたビデオ通信システム100が示されており、こ
のカメラによりビデオ通信システム100のユーザ102の画像が記録される。
カメラ101は接続線路103を介してソース符号器104へ接続されている。
ソース符号器104ではカメラで記録されたディジタルビデオ画像(ソースデー
タ105)がMPEG2規格にしたがってソース符号化される。
【0052】 MPEG2規格に準拠して形成されたソース符号化データストリーム106に
はマクロブロックに対する第1の同期符号301が含まれており、この同期符号
によりビデオ画像のマクロブロックの開始部が一義的にマーキングされる。MP
EG2規格によれば同期符号301の後方にデータパケットのビットシーケンス
が有効データ302として含まれており、これがマクロブロックの内容、つまり
例えばマクロブロックに含まれる画像ブロックの個々の画素の輝度情報を表して
いる。第2の同期符号303によりマクロブロックのデータパケット300に対
してこのデータパケット300の終了部がマーキングされる。マクロブロックの
第1の同期符号301および第2の同期符号303は一義的に設定されたビット
シーケンスであり、当該の実施例では、論理バイナリ値“1”を有する所定数の
ビットと論理バイナリ値“0”を有する2つのビットで定められている(図3の
Aを参照)。
【0053】 ソース符号化されたデータストリーム106はチャネル符号器107に供給さ
れる。チャネル符号器はこの実施例では畳み込み符号器であり、引用文献[2]
に記載された手法ではソース符号化データストリーム106はチャネル符号化さ
れ、チャネル符号化データストリーム108となる。
【0054】 チャネル符号化データストリーム108は(図示していない)変調が行われた
後、物理チャネル109すなわち無線コネクションまたは電話回線を介して受信
機へ伝送される。
【0055】 伝送中、物理チャネル109上のノイズにより障害110が発生する。ここで
生じた障害を有するチャネル符号化データストリーム111は受信機で受信され
、復調が行われた後にチャネル復号器112へ供給される。
【0056】 チャネル符号化により、図3のBに示されているように、データパケット30
0に冗長情報304が添加される。これにより物理チャネル109を介した伝送
中の障害110によって起こるエラーがチャネル符号化の際に識別される。
【0057】 引用文献[2]から知られる手法によれば、チャネル復号器112は障害を有
するチャネル符号化データストリーム111のチャネル符号化を行う。このチャ
ネル符号化によって形成されるチャネル符号化データストリーム113は算出ユ
ニット114へ供給される。
【0058】 算出ユニットでは相関プロセスを用いて同期符号によりチャネル符号化データ
ストリーム内で一義的に設定されたビットシーケンスが求められる。
【0059】 図3のCに示されているように、第1の実施例の別のバリエーションでは、第
2のビット305の第1の同期符号301が相関プロセスに基づいて引用文献[
5]に記載されているごとく大きな確率で識別されたものと見なされる。これに
よりエラーを含むソース符号化されたビットシーケンスの相応の領域が第1の同
期符号301に相応する。
【0060】 エラーのない第1の同期符号301によって表されるビットシーケンスが受信
機に既知となっているので、当該の実施例によれば、第1の同期符号301のエ
ラーを含む第2のビット305が識別され補正される。相応の情報はフィードバ
ックループ115のチャネル符号器112へ供給される。
【0061】 チャネル符号器112はデータストリームを再度、ただし今回は算出ユニット
114で形成された付加情報、すなわち相応のマクロブロックの第1の同期符号
301の第2のビットに関する情報により符号化する。
【0062】 当該の実施例は小規模のケースのみを問題としているが、本発明は相応に長い
同期符号を用いるケースまたは相応に種々の相関プロセスを用いるケースにおい
ても、複数のビットエラーを高い確率で識別し、この情報をチャネル符号器11
2へ供給することができる。このチャネル復号器はデータストリームの第2のチ
ャネル復号化の際に使用され、これによりエラー識別能またはエラー補正能の改
善が達成される。
【0063】 第2のチャネル復号化により形成された第2のチャネル復号化データストリー
ムはソース復号器117へ供給され、MPEG2プロセスにしたがって受信デー
タストリーム116のソース復号化が行われる。
【0064】 ソース復号器117により再構成されたビデオ画像118は画面119上でビ
デオ通信システム100のユーザに表示される。
【0065】 図3のDに示されているように、チャネル復号器112による第2のチャネル
復号化の際に第1の同期符号301の第2のビット305は再び第1の論理バイ
ナリ値の補正値“1”へセットされる。このため第1の同期符号301の正しい
復号化が本発明の方法により達成される。
【0066】 第2の実施例 第2の実施例によれば、一連のテストビデオ画像401〜405(図4を参照
)に対する本来のチャネル復号化より前に画像コンテンツの統計分析が行われる
【0067】 テスト画像401〜405からわかるように、ビデオ通信システムのユーザが
各画像内に画像オブジェクト406として含まれている。さらに画像の背景40
7も各ビデオ画像に含まれている。テスト画像401〜405に対して画像の個
々のビットの変化についての統計分析が個々のビデオ画像間で行われる(これは
矢印408で表されている)。
【0068】 各ビデオ画像は一連のビットを1024×768画素の分解能で有しており、
さらに輝度情報として各画素は8Bitで符号化されるので、ここから1ビデオ
画像当たり6291456Bitが生じる。
【0069】 テスト画像の分析により、個々のビット変化確率410を記憶したテストマト
リクス409が得られる。ここではビット変化確率410によりどれだけの確率
で連続する2つのビデオ画像のビットストリーム内の所定のビットが論理値を変
化させているかが表される。この実施例ではテストマトリクス409には629
1456個のビット変化確率410が生じる。
【0070】 第2の実施例によれば、ビデオ会議における時間的に連続する画像をテストマ
トリクスを用いて算出ユニット114でセマンティクス分析することにより、エ
ラーを含むビットシーケンスとエラーのないビットシーケンスとが一致する確率
が求められる。
【0071】 引用文献[5]に記載されている手法によれば、チャネル復号化されたビデオ
データストリームの同期マークが求められる。この情報は前述の場合と同様に新
たなチャネル復号化の際にアプリオリ情報として使用される。
【0072】 したがって連続するビデオ画像ブロックのビットシーケンス間の依存関係は先
行して受信された復号画像を統計分析することにより求められる。これによりデ
ータストリーム内の所定のビットシーケンスに対する確率が表される。
【0073】 これは引用文献[5]から知られるプロセスによれば、ビットストリームの各
部分について、これが時間的に後続する画像で発生するか否かに関するアプリオ
リ情報が得られることを意味する。
【0074】 アプリオリ情報として例えばビット変化確率が使用される。このために付加的
に典型的な画像材料、例えばビデオ会議中の一連の画像のテストシーケンスに対
し、時間的に連続する画像の画像ブロックのデータストリームのそれぞれのビッ
トがどれだけの頻度で変化したかが分析される。
【0075】 これは当該の実施例によれば、符号化ビデオデータストリームの既知の構造が
ビット変化確率を求めるのに利用されることにより行われる。既知の構造に基づ
いて例えば求められた画像領域とブロックグループGOBでの符号化ビデオデー
タストリームのビットグループとのあいだの関係が形成される。こうしたビット
グループを領域と称することもある。
【0076】 続いて当該の符号化ビデオデータストリーム(ビットストリーム)について、
1つの画像から次の画像への同じ領域の内部でどのような統計的記述によりビッ
トが変化したかが検査される。統計的な記述から1つの領域の各ビットに対して
ビット変化確率が求められる。つまり所定の画像とこれに時間的に連続する画像
とを比較して得られた各ビット値の変化の確率が求められる。
【0077】 求められたビット変化確率はチャネル復号器112へ伝達され、この情報が障
害を有するチャネル符号化データストリーム111の第2のチャネル復号化の際
にアプリオリ情報として用いられる。
【0078】 以下に上述の実施例の代替手段を説明する。
【0079】 本発明はビデオ画像の伝送やチャネル符号化およびチャネル復号化に対する畳
み込み符号に限定されるものではない。
【0080】 本発明では、ソース復号化の際に得られた情報を用いてエラーを含むチャネル
復号化データストリームのエラー情報が求められ、相応のエラー情報がチャネル
復号器へ供給され、エラーを含むデータストリームの第2のチャネル復号化の際
にこのエラー情報が考慮される。
【0081】 算出ユニット114はソース復号器117内に組み込んでもよいし、チャネル
復号器112そのものの内部に組み込んでもよい。
【0082】 第1の実施例の機能と第2の実施例の機能とを組み合わせてチャネル復号化の
際に用いることができることを指摘しておく。これにより障害のあるチャネル復
号化データストリーム111の第2のチャネル復号化の際にエラー識別能または
エラー補正能が著しく改善される。
【0083】 本明細書では以下の刊行物を引用している。
【0084】 [1]B.Friedrichs, "Kanalcodierung", Springer, ISBN3-540-58232-0, p.1-2
9, 1996 [2]J.Hagenaur, "Rate-Compatible Punctured Convolutional Codes (RCPC-C
odes) and their Applications", in: IEEE-Transactions on Communications,
Vol.36, No.4, p.389-400, April 1988 [3]ShuLin, D.Costello, "Error Control Coding-Fundamentals and Applica
tions", Prentice Hall, p.278ff & p.535ff, ISBN0-13-282796-X [4]D.LeGall, "MPEG: A Video Compression Standard for Multimedia Appli
cations", in: Communications of the ACM, Vol.34, No.4, p.47-58, April 19
91 [5]H.Meyer, M.Moeneclaey, S.Fechter, "Digital Communication Receivers
", in: Synchronisation, Channel Estimation and Signal Processing Vol.2,
JohnWiley&Sons, ISBN0471502758 [6]J.Hagenaur, E.Offer, L.Papke, "Iterative Decoding of Binary Block
and Convolutional Codes", in: IEEE Transactions on Information Theory, V
ol.42, p.429-445, 1996
【図面の簡単な説明】
【図1】 第1の実施例の一連のビデオ画像のソース符号化/チャネル符号化およびチャ
ネル復号化/ソース復号化を行う装置の概略図である。
【図2】 ディジタルメッセージ伝送のためのモデルの概略図である。
【図3】 第2の実施例によるデータパケットの開始部または終了部の各同期符号を有す
るデータエレメントの構造を示す図である。
【図4】 ビデオ画像中の個々のビットと先行のビデオ画像との依存関係の統計分析を表
す複数のテスト画像、およびここから得られたビデオ画像のビット変化確率のマ
トリクスとを示す概略図である。
【手続補正書】特許協力条約第34条補正の翻訳文提出書
【提出日】平成14年6月26日(2002.6.26)
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ラルフ ブッシュマン ドイツ連邦共和国 ゲーレッツリート イ ザラウシュトラーセ 2ベー Fターム(参考) 5C059 RC02 RF01 RF04 RF09 RF18 SS07 UA02 UA05 5C064 AA02 AB04 AD01 AD02 AD06 AD08 AD14 5J065 AA01 AB03 AB05 AC02 AD06 AD10 AE06 AH18 AH21 5K014 AA01 BA10 EA07

Claims (19)

    【特許請求の範囲】
  1. 【請求項1】 データストリームはエラーを含む少なくとも1つのソース符
    号化ビットシーケンスを有しており、該ビットシーケンスはデータストリーム内
    の所定の位置をマーキングしており、エラーのない相応のソース符号化ビットシ
    ーケンスは既知のビットシーケンスである、 有効データおよび冗長データを有するデータストリームのチャネル復号化方法に
    おいて、 データストリームをチャネル復号化し、 エラーを含むソース符号化ビットシーケンスをチャネル復号化されたデータス
    トリームから求め、 求められたエラーを含むソース符号化ビットシーケンスを考慮してデータスト
    リームを新たにチャネル復号化する、 ことを特徴とするデータストリームのチャネル復号化方法。
  2. 【請求項2】 エラーを含むソース符号化ビットシーケンスを求める際に当
    該のビットシーケンスの各ビット値が所定の値を有する確率を求める、請求項1
    記載の方法。
  3. 【請求項3】 既知のビットシーケンスはデータストリームの要素の同期符
    号であり、該符号を用いてデータストリーム内の所定の要素の位置を一義的に求
    める、請求項1または2記載の方法。
  4. 【請求項4】 データストリーム要素はディジタル画像の一部を表しており
    、 同期符号により a)画像ブロックの開始部または終了部、 b)マクロブロックの開始部または終了部、 c)画像の開始部または終了部 のうち少なくとも1つの位置を表す、 請求項3記載の方法。
  5. 【請求項5】 同期符号によりデータパケットの開始部または終了部を表す
    、請求項3記載の方法。
  6. 【請求項6】 チャネル符号化を畳み込み符号により行う、請求項1から5
    までのいずれか1項記載の方法。
  7. 【請求項7】 チャネル符号化をパンクチャド畳み込み符号により行う、請
    求項6記載の方法。
  8. 【請求項8】 チャネル符号化されたビットシーケンスをソース復号化する
    際にエラーを含むソース符号化ビットシーケンスを求める、請求項1から7まで
    のいずれか1項記載の方法。
  9. 【請求項9】 エラーを含むソース符号化ビットシーケンスとエラーのない
    既知のソース符号化ビットシーケンスとの比較を行う、請求項1から8までのい
    ずれか1項記載の方法。
  10. 【請求項10】 比較の際に相関プロセスを使用し、比較により設定された
    一致の度合を超える相関値が得られた場合に求められた値をエラーを含むソース
    符号化ビットシーケンスと見なす、請求項9記載の方法。
  11. 【請求項11】 データストリーム要素はディジタル画像の一部を表してお
    り、エラーのないソース符号化ビットシーケンスは先行のデータストリーム要素
    のエラーのないソース符号化ビットシーケンスとほぼ一致する、請求項1から1
    0までのいずれか1項記載の方法。
  12. 【請求項12】 エラーのないソース符号化ビットシーケンスは先行画像の
    先行のデータストリーム要素のうち、エラーのないソース符号化ビットシーケン
    スの画像領域と同じ領域の内容を表すビットシーケンスである、請求項11記載
    の方法。
  13. 【請求項13】 エラーのないソース符号化ビットシーケンスの各ビットに
    対して先行のデータストリーム要素のエラーのないソース符号化ビットシーケン
    スの相応のビットとの一致の確率を割り当て、この割り当て関係を新たなチャネ
    ル復号化の際に考慮する、請求項12記載の方法。
  14. 【請求項14】 ビデオ会議に使用する、請求項1から13までのいずれか
    1項記載の方法。
  15. 【請求項15】 データストリームはエラーを含む少なくとも1つのソース
    符号化ビットシーケンスを有しており、該ビットシーケンスはデータストリーム
    内の所定の位置をマーキングしており、エラーのない相応のソース符号化ビット
    シーケンスは既知のビットシーケンスである、 有効データおよび冗長データを有するデータストリームのチャネル復号化装置に
    おいて、 プロセッサが設けられており、 該プロセッサはデータストリームをチャネル復号化するステップと、エラーを
    含むソース符号化ビットシーケンスをチャネル復号化されたデータストリームか
    ら求めるステップと、求められたソース符号化ビットシーケンスを考慮してデー
    タストリームを新たにチャネル復号化するステップとを行うように構成されてい
    る、 ことを特徴とするデータストリームのチャネル復号化装置。
  16. 【請求項16】 データストリームはエラーを含む少なくとも1つのソース
    符号化ビットシーケンスを有しており、該ビットシーケンスはデータストリーム
    内の所定の位置をマーキングしており、エラーのない相応のソース符号化ビット
    シーケンスは既知のビットシーケンスである、 有効データおよび冗長データを有するデータストリームのチャネル復号化装置に
    おいて、 データストリームをチャネル復号化するチャネル復号器と、エラーを含むソー
    ス符号化ビットシーケンスをチャネル復号化されたデータストリームから求める
    算出ユニットとが設けられており、 前記算出ユニットはチャネル復号器に接続されており、チャネル復号器にエラ
    ーを含むソース符号化ビットシーケンスに関する情報が供給される、 ことを特徴とするデータストリームのチャネル復号化装置。
  17. 【請求項17】 ソース復号器が設けられており、該ソース復号器は前記算
    出ユニットを含んでいる、請求項16記載の方法。
  18. 【請求項18】 データストリームはエラーを含む少なくとも1つのソース
    符号化ビットシーケンスを有しており、該ビットシーケンスはデータストリーム
    内の所定の位置をマーキングしており、エラーのない相応のソース符号化ビット
    シーケンスは既知のビットシーケンスである、 有効データおよび冗長データを有するデータストリームのチャネル復号化用のコ
    ンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体におい
    て、 プロセッサにより実行される際に、データストリームをチャネル復号化するス
    テップと、エラーを含むソース符号化ビットシーケンスをチャネル復号化された
    データストリームから求めるステップと、求められたソース符号化ビットシーケ
    ンスを考慮してデータストリームを新たにチャネル復号化するステップとを行う
    、 ことを特徴とするコンピュータで読み取り可能な記憶媒体。
  19. 【請求項19】 データストリームはエラーを含む少なくとも1つのソース
    符号化ビットシーケンスを有しており、該ビットシーケンスはデータストリーム
    内の所定の位置をマーキングしており、エラーのない相応のソース符号化ビット
    シーケンスは既知のビットシーケンスである 有効データおよび冗長データを有するデータストリームをチャネル復号化するコ
    ンピュータプログラムエレメントにおいて、 プロセッサにより実行される際に、データストリームをチャネル復号化するス
    テップと、エラーを含むソース符号化ビットシーケンスをチャネル復号化された
    データストリームから求めるステップと、求められたソース符号化ビットシーケ
    ンスを考慮してデータストリームを新たにチャネル復号化するステップとを行う
    、 ことを特徴とするコンピュータプログラムエレメント。
JP2001577706A 2000-04-14 2001-04-11 データストリームのチャネル復号化方法、チャネル復号化装置、コンピュータで読み取り可能な記憶媒体、および、コンピュータプログラム Expired - Fee Related JP4903967B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10018624 2000-04-14
DE10018624.6 2000-04-14
PCT/DE2001/001431 WO2001080432A1 (de) 2000-04-14 2001-04-11 Verfahren zum kanaldecodieren eines datenstroms mit nutzdaten und redundanzdaten, vorrichtung zum kanaldecodieren, computerlesbares speichermedium und computerprogramm-element

Publications (2)

Publication Number Publication Date
JP2003531550A true JP2003531550A (ja) 2003-10-21
JP4903967B2 JP4903967B2 (ja) 2012-03-28

Family

ID=7638813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001577706A Expired - Fee Related JP4903967B2 (ja) 2000-04-14 2001-04-11 データストリームのチャネル復号化方法、チャネル復号化装置、コンピュータで読み取り可能な記憶媒体、および、コンピュータプログラム

Country Status (6)

Country Link
US (1) US7168031B2 (ja)
EP (1) EP1287617B1 (ja)
JP (1) JP4903967B2 (ja)
CN (1) CN1208904C (ja)
DE (1) DE50101087D1 (ja)
WO (1) WO2001080432A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063728A1 (ja) * 2014-10-21 2016-04-28 ソニー株式会社 受信装置、および、受信装置の受信方法、並びにプログラム
WO2016063729A1 (ja) * 2014-10-21 2016-04-28 ソニー株式会社 受信装置、および、受信装置の受信方法、並びにプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6718507B1 (en) * 2000-09-12 2004-04-06 At&T Corp. System and method for representing compressed information
US20050111593A1 (en) * 2002-08-30 2005-05-26 Fujitsu Limited Decoding apparatus
JP4287778B2 (ja) * 2004-03-31 2009-07-01 株式会社ケンウッド 通信品質判定装置及び通信品質判定方法
EP1966926A2 (en) 2005-12-21 2008-09-10 Nxp B.V. Mobile display interface
DE102010031411B4 (de) * 2010-07-15 2012-04-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Konzept zur Kombination codierter Datenpakete
KR20210021968A (ko) * 2018-06-25 2021-03-02 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 정보 처리 시스템, 프로그램 및 정보 처리 방법
US11095981B2 (en) * 2019-06-06 2021-08-17 Mitek Corp., Inc. Root mean square adaptive filtering for ambient noise compensation systems

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04134927A (ja) * 1990-09-26 1992-05-08 Fujitsu Ltd デコード処理装置
JPH0594323A (ja) * 1991-09-30 1993-04-16 Matsushita Electric Ind Co Ltd 誤り訂正処理装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3443041A1 (de) 1984-11-26 1986-05-28 Siemens AG, 1000 Berlin und 8000 München Verfahren zur verbesserung der uebertragungsqualitaet von pcm-codierten bildsignalen
US5544328A (en) * 1991-10-31 1996-08-06 At&T Bell Laboratories Coded modulation with unequal error protection
US5703887A (en) * 1994-12-23 1997-12-30 General Instrument Corporation Of Delaware Synchronization and error detection in a packetized data stream
DE69637008T2 (de) 1995-10-27 2007-12-13 Texas Instruments Inc., Dallas Verfahren zur Videokompression mittels Teilbandzerlegung
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
KR100464228B1 (ko) * 1996-07-03 2005-05-24 코닌클리케 필립스 일렉트로닉스 엔.브이. 디지탈정보신호의송신및수신장치및그의송신방법
CN1154284C (zh) * 1997-06-13 2004-06-16 西门子公司 通过使用帧内相关性的源控制的信道译码
FI981745A (fi) 1998-08-12 2000-02-13 Nokia Mobile Phones Ltd Menetelmä ja laite kanavakoodauksen ja -dekoodauksen toteuttamiseksi muistilla varustettujen modulaatiomenetelmien yhteydessä
DE19860531C1 (de) * 1998-12-30 2000-08-10 Univ Muenchen Tech Verfahren zur Übertragung codierter digitaler Signale
US6278478B1 (en) * 1999-03-18 2001-08-21 Microsoft Corporation End-to-end network encoding architecture
EP1063807B1 (de) * 1999-06-18 2004-03-17 Alcatel Gemeinsame Quellen- und Kanalcodierung
EP1085661B1 (en) * 1999-09-14 2005-03-02 Lucent Technologies Inc. Channel decoder and method of channel decoding

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04134927A (ja) * 1990-09-26 1992-05-08 Fujitsu Ltd デコード処理装置
JPH0594323A (ja) * 1991-09-30 1993-04-16 Matsushita Electric Ind Co Ltd 誤り訂正処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016063728A1 (ja) * 2014-10-21 2016-04-28 ソニー株式会社 受信装置、および、受信装置の受信方法、並びにプログラム
WO2016063729A1 (ja) * 2014-10-21 2016-04-28 ソニー株式会社 受信装置、および、受信装置の受信方法、並びにプログラム

Also Published As

Publication number Publication date
CN1208904C (zh) 2005-06-29
US7168031B2 (en) 2007-01-23
DE50101087D1 (de) 2004-01-15
EP1287617B1 (de) 2003-12-03
US20030156663A1 (en) 2003-08-21
WO2001080432A1 (de) 2001-10-25
CN1422458A (zh) 2003-06-04
EP1287617A1 (de) 2003-03-05
JP4903967B2 (ja) 2012-03-28

Similar Documents

Publication Publication Date Title
US7739580B1 (en) System, method and apparatus for reducing blockage losses on information distribution networks
RU2432704C2 (ru) Способ проверки совпадения состояний видеокодера и видеодекодера
US20050013249A1 (en) Redundant packets for streaming video protection
KR101598093B1 (ko) 송/수신 시스템 및 데이터 처리 방법
US5737345A (en) Method for arithmetic decoding
CN1781314A (zh) 图像编码方法
US10015486B2 (en) Enhanced video decoding with application layer forward error correction
CN101790098A (zh) 用于流式多媒体中优化错误管理的解码器架构
CN105681342A (zh) 一种基于h264的多路视频会议系统的抗误码方法及系统
JP2003529289A (ja) マルチメディアデータ送受信装置及び方法
CN1112811C (zh) 对被通道噪声破坏的视频数据进行译码的方法
JP2000165865A (ja) ビデオデ―タ送受信装置及びその方法
JP4903967B2 (ja) データストリームのチャネル復号化方法、チャネル復号化装置、コンピュータで読み取り可能な記憶媒体、および、コンピュータプログラム
US8484540B2 (en) Data transmitting device, control method therefor, and program
RU2470481C2 (ru) Обратная связь и синхронизация кадров между медиа кодерами и декодерами
Dufaux et al. JPWL: JPEG 2000 for wireless applications
JP2004504752A (ja) データストリームの符号化方法
JP2002504289A (ja) フレーム内相関を利用した情報源制御形通信路復号
WO2002007325A1 (en) Signal coding
US8392803B2 (en) Method and device for identifying video data losses
EP1722570B1 (en) Method of transmitting video data
US8396135B2 (en) Video coding method and device
CN101296166A (zh) 基于索引的多媒体数据的测量方法
WO2015174893A1 (en) Methods, decoder and encoder for selection of reference pictures to be used during encoding
CN114584847B (zh) 一种数据传输方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101019

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101026

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20101118

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20101126

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101228

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110713

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20111013

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20111020

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120106

R150 Certificate of patent or registration of utility model

Ref document number: 4903967

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150113

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees