JP2005123829A - トランスコーダ、該トランスコーダを備えたデータ記録装置及びデータ記録方法 - Google Patents

トランスコーダ、該トランスコーダを備えたデータ記録装置及びデータ記録方法 Download PDF

Info

Publication number
JP2005123829A
JP2005123829A JP2003355733A JP2003355733A JP2005123829A JP 2005123829 A JP2005123829 A JP 2005123829A JP 2003355733 A JP2003355733 A JP 2003355733A JP 2003355733 A JP2003355733 A JP 2003355733A JP 2005123829 A JP2005123829 A JP 2005123829A
Authority
JP
Japan
Prior art keywords
picture
type picture
type
data
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003355733A
Other languages
English (en)
Other versions
JP4573511B2 (ja
Inventor
Akinori Kiuchi
成則 木内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Electronics Corp
Original Assignee
NEC Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Electronics Corp filed Critical NEC Electronics Corp
Priority to JP2003355733A priority Critical patent/JP4573511B2/ja
Publication of JP2005123829A publication Critical patent/JP2005123829A/ja
Application granted granted Critical
Publication of JP4573511B2 publication Critical patent/JP4573511B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

【課題】画質の著しい劣化を招くことなく、かつ、符号量の低減率を状況に応じて自在に変更させながら、受信したデジタルデータを、符号量を低減させて記録媒体に記録する。
【解決手段】設定部から設定情報が入力されると、システムコントローラの主制御部は、この設定情報を記憶部に記憶させて変換規則を設定し、記録部6を制御する。設定情報は、希望する画質の程度や録画時間等を含み、変換規則は、設定情報に基づいて符号量の低減を行うほかに、例えばビットレートに応じて符号量の低減率を時間的に変化させるように、TSの変換を行うための手順を含んでいる。TS変換処理部21は、TSマルチプレクサ15から入力されたビデオデータを一旦復号化した後、エンコーダ部が、各GOPについて、所定のIピクチャをPピクチャに、所定のPピクチャをBピクチャに変換してデータ量を低減させるように再符号化処理を行う。
【選択図】図1

Description

この発明は、トランスコーダ、該トランスコーダを備えたデータ記録装置及びデータ記録方法に係り、例えば衛星(CS:Communications Satellite)デジタル放送を受信して得られ、MPEG(Moving Picture Expert Group)2規格に準拠して符号化されたトランスポートストリーム(TS:Transport Stream)を、MPEG2規格に準拠して、再符号化するトランスコーダ、該トランスコーダと例えばハードディスクドライブ等の記録(蓄積)手段とを備えたデータ記録装置及びデータ記録方法に関する。
近年、MPEG方式は、動画像及び音声を伝送したり記録(蓄積)するための方式として、普及してきており、デジタル放送のデータ符号化方式として、また、ハードディスク(HD:Hard Disc)等のデジタル蓄積メディアの記録フォーマットとして使用されている。
MPEG方式は、ISO(International Organization for Standardization)/IEC(International Electro-technical Commission)傘下のMPEG委員会(ISO/IEC JTC1/SC2/WG8)で標準化が検討され、MPEG2が、ISO/IEC 13818−2で規定されている。
このMPEG2方式による符号化では、図9に示すように、画像のビデオ信号をサンプリングした後、平面分布の画素を周波数成分に分解するDCT(Disccrte Cosine Transform)処理を行い(ステップST101(図9))、量子化マトリックスに基づいて、各データを量子化する量子化処理を行い、DCT係数を求め(ステップST102)、周波数の低い側の係数から高い側の係数へ向けてジグザグにスキャン(走査)処理を行って(ステップST103)、ゼロの継続個数と非ゼロのレベルとを求め、可変長符号を対応付ける可変長符号化処理が行われる(ステップST104)。
ビデオデータは階層構造化され、上層側から、画像サイズやアスペクト比、フレームレート等が一定の一連のピクチャから構成される動画像としてのシーケンス(Sequence)、例えばランダムアクセスの最小単位としてのGOP(Group Of Picture)、コマ(それぞれ自身を1枚の静止画として扱うことができるフレームまたはフィールド)単位としてのピクチャ( picture)、データエラー発生時の補償処理が行われる最小単位としてのスライス(Slice)、動き補償処理が行われる最小単位としてのマクロブロック(Macroblock)、DCT処理が行われる最小単位としてのブロック(block)の順に6層の階層からなっている。
各GOPは、時間的な差の情報を持たずに1コマ内だけ情報を有する画素の集まりであるフレーム内符号化画像(Iピクチャ(Intra-coded picture))と、Iピクチャに動き情報等の時間的変化情報を付加して予測して作成され時間的に後のコマの情報を有するフレーム間順方向予測符号化画像(Pピクチャ(Preductive coded picture))と、時間的に前後のコマから予測して作成される双方向予測符号化画像(Bピクチャ(Bi-directionally Preductive coded picture))との3つのタイプのピクチャから構成されている。
MPEG2方式では、このようなフレーム間予測によっても、すなわち、フレーム間のデータの時間的な相関に基づいてもデータの圧縮が行われる。
例えば、衛星(CS)デジタル放送は、図10に示すようなデジタル放送受信・記録装置101によって受信され、記録(蓄積)される。
このデジタル放送受信・記録装置101は、同図に示すように、CSデジタル放送受信のためのIRD(Integrated Reciever decorder)に記録装置が付加された構成とされ、CSアンテナ102を介して、入力された受信信号を選局するためのチューナ103と、受信信号をアナログ/デジタル変換するA/D(Analog/Degital)コンバータ104と、入力されたデジタル信号に、例えば4相位相偏移復調処理を施すQPSK(Quadrature Phase Shift Keying)復調部105と、暗号解除処理を行うデスクランブラ(Descrambler)106と、ビデオデータやオーディオデータを分離するTSデマルチプレクサ(Transport Stream Demultiplexer)107と、MPEG2に規格に準拠してデコード処理を行うデコーダ装置108と、入力されたビデオデータに例えば番組サービス情報を含みアイコンからなる操作用メニュー情報等を重ね合わせるグラフィクス部109と、入力されたビデオデータをNTSC方式又はPAL方式のビデオ信号にエンコードして、テレビジョン受像機114のCRT等に出力するNTSC/PALエンコーダ110と、入力されたオーディオデータをデジタル/アナログ変換して、テレビジョン受像機114のスピーカに出力するオーディオD/A(Degital/Analog)コンバータ111と、IDE(Integrated device Electronics)インタフェース112と、ハードディスクドライブ(HDD:Hard Disc Drive)113とを備えてなっている。
デコーダ装置108は、TSデマルチプレクサ107から入力されたビデオデータに、まず、可変長復号化処理を施して、可変長符号に対応付けられたゼロの継続個数と非ゼロのレベルとの組合せを求め、(ステップST201(図11))、ジグザグに逆方向スキャン処理を行い(ステップST202)、量子化マトリックスに基づいて、逆量子化処理を行い(ステップST203)、IDCT(Inverse Disccrte Cosine Transform)処理を行い(ステップST204)、周波数成分を再び画像のビデオ信号に戻す。
ところで、HDD113にデータを記録する際に、例えば空き容量が充分でないような場合等に、データ量を削減する必要がある。
このため、TSデマルチプレクサ107と、IDEインタフェース112との間に、TS変換処理部を配置して、このTS変換処理部で、TSデマルチプレクサ107から入力されたビデオデータに、可変長復号化処理を施し(ステップST301(図12))、逆方向スキャン処理を行い(ステップST302)、量子化マトリックスに基づいて、逆量子化処理を行い(ステップST303)、別の量子化マトリックスに基づいて、量子化処理を行い(ステップST304)、さらに、スキャン処理を行い(ステップST305)、可変長符号化処理を行って(ステップST306)、量子化スケールを変更する(ステップST304での量子化処理で用いる量子化マトリックスの係数を、ステップST303での逆量子化処理で用いる量子化マトリックスの係数よりも大きくする)ことによって、データ量を低減する方法が提案されている。
また、上記TS変換処理部で、TSデマルチプレクサから入力されたビデオ信号に、可変長復号化処理を施し(ステップST401(図13))、逆方向スキャン処理を行い(ステップST402)、所定のデータ変換処理を行い(ステップST403)、さらに、スキャン処理を行い(ステップST404)、可変長符号化処理を行って(ステップST405)、データ変換処理で、図14に示すように、高周波側のDCT係数をゼロとすることによって、データ量を低減する方法が提案されている(例えば、特許文献1参照。)。
上記データ変換処理では、最後の非ゼロの後に配列され、以降のデータは全て「0」であることを示すコードであるEOB(End Of Block)について、このEOBによって示される「0」の範囲を増加させるようにデータを変換することによって、符号量を低減する処理を行う。
すなわち、同図(a)に示すように、ブロック内の最後の9個の成分について「0」とされた状態から、5行8列目の成分を「1」→「0」とし、最後の14個の成分について「0」とされた状態に変更する処理を行う。
また、このように、量子化スケールを変更したり、量子化されたデータの高周波項をゼロとすることによって、画質が著しく劣化する場合があるので、この画質の劣化を抑制するために、IピクチャをPピクチャに変換してデータ量を低減する技術も提案されている(例えば、特許文献2参照。)。
特開2000−138934号公報 特開2003−125403号公報(第11頁)
解決しようとする問題点は、符号量の低減率を状況に応じて自在に変更できないために、必要以上に符号量を低減してしまって無闇に画質の劣化を招いてしまうことがあるという点である。
上記課題を解決するために、請求項1記載の発明は、過去及び未来の画像とは独立して生成された第1型ピクチャと、過去の画像に基づいて予測して生成された第2型ピクチャと、過去及び未来の上記第1型ピクチャ又は上記第2型ピクチャに基づいて予測して生成された第3型ピクチャとのうち、少なくとも1つの第1型ピクチャを含む第1の符号化データ列を変換して、符号量が低減された第2の符号化データ列を生成するトランスコーダに係り、予め設定された変換規則に基づいて、上記第1の符号化データ列の所定の上記第1型ピクチャを上記第2型ピクチャ又は上記第3型ピクチャに変換すると共に、上記第1の符号化データ列が上記第2型ピクチャを含む場合には、所定の上記第2型ピクチャを上記第3型ピクチャに変換して、ピクチャ構成を変更することによって、符号量が低減された上記第2の符号化データ列を生成することを特徴としている。
また、請求項2記載の発明は、請求項1記載のトランスコーダに係り、上記第2型ピクチャは、過去の上記第1型ピクチャ又は上記第2型ピクチャに基づいて予測して生成されることを特徴としている。
また、請求項3記載の発明は、請求項1又は2記載のトランスコーダに係り、上記第1の符号化データ列は、多数の上記第1型ピクチャ、上記第2型ピクチャ及び上記第3型ピクチャが組み合されてなることを特徴としている。
また、請求項4記載の発明は、請求項1、2又は3記載のトランスコーダに係り、上記第1及び第2の符号化データ列は、MPEGに準拠してそれぞれ符号化されることを特徴としている。
また、請求項5記載の発明は、請求項1乃至4のいずれか1に記載のトランスコーダに係り、上記変換規則を設定するための設定手段を備えたことを特徴としている。
また、請求項6記載の発明は、請求項3、4又は5記載のトランスコーダに係り、ピクチャグループを構成する上記第1型ピクチャ、上記第2型ピクチャ及び上記第3型ピクチャのうち、最初の上記第1型ピクチャ、及び最後の上記第1型ピクチャ又は上記第2型ピクチャ以外の上記第1型ピクチャ及び上記第2型ピクチャを上記第3型ピクチャに変換する上記変換規則に基づいて、上記第2の符号化データ列を生成することを特徴としている。
また、請求項7記載の発明は、請求項5又は6記載のトランスコーダに係り、上記設定手段は、録画予定時間長又は録画画質の程度を示す情報が入力されることによって、上記変換規則を設定することを特徴としている。
また、請求項8記載の発明に係るデータ記録装置は、請求項1乃至7のいずれか1に記載のトランスコーダと、少なくとも画像データを記録媒体に記録する記録手段とを備えてなることを特徴としている。
また、請求項9記載の発明は、請求項8記載のデータ記録装置に係り、上記記録手段は、MPEGに準拠して符号化された画像データを記録媒体に記録することを特徴としている。
また、請求項10記載の発明は、請求項8又は9記載のデータ記録装置に係り、上記トランスコーダは、上記記録媒体の容量残量に応じて、符号量の低減率を調節することを特徴としている。
また、請求項11記載の発明は、少なくとも画像データを記録媒体に記録するためのデータ記録方法に係り、過去及び未来の画像とは独立して生成された第1型ピクチャと、過去の画像に基づいて予測して生成された第2型ピクチャと、過去及び未来の上記第1型ピクチャ又は上記第2型ピクチャに基づいて予測して生成された第3型ピクチャとのうち、少なくとも1つの第1型ピクチャを含む第1の符号化データ列を変換して、符号量が低減された第2の符号化データ列を生成するトランスコーディングステップを含み、該トランスコーディングステップでは、予め設定された変換規則に基づいて、上記第1の符号化データ列の所定の上記第1型ピクチャを上記第2型ピクチャ又は上記第3型ピクチャに変換すると共に、上記第1の符号化データ列が上記第2型ピクチャを含む場合には、所定の上記第2型ピクチャを上記第3型ピクチャに変換して、ピクチャ構成を変更することによって、符号量が低減された上記第2の符号化データ列を生成することを特徴としている。
また、請求項12記載の発明は、請求項11記載のデータ記録方法に係り、上記第2型ピクチャは、過去の上記第1型ピクチャ又は上記第2型ピクチャに基づいて予測して生成されることを特徴としている。
また、請求項13記載の発明は、請求項11又は12記載のデータ記録方法に係り、上記第1の符号化データ列は、多数の上記第1型ピクチャ、上記第2型ピクチャ及び上記第3型ピクチャが組み合されてなることを特徴としている。
また、請求項14記載の発明は、請求項11、12又は13記載のデータ記録方法に係り、上記第1及び第2の符号化データ列は、MPEGに準拠してそれぞれ符号化されることを特徴としている。
また、請求項15記載の発明は、請求項11乃至14のいずれか1に記載のデータ記録方法に係り、上記変換規則を設定するための設定ステップを備えたことを特徴としている。
また、請求項16記載の発明は、請求項13、14又は15記載のデータ記録方法に係り、ピクチャグループを構成する上記第1型ピクチャ、上記第2型ピクチャ及び上記第3型ピクチャのうち、最初の上記第1型ピクチャ、及び最後の上記第1型ピクチャ又は上記第2型ピクチャ以外の上記第1型ピクチャ及び上記第2型ピクチャを上記第3型ピクチャに変換する上記変換規則に基づいて、上記第2の符号化データ列を生成することを特徴としている。
また、請求項17記載の発明は、請求項15又は16記載のデータ記録方法に係り、上記設定ステップでは、録画予定時間長又は録画画質の程度を示す情報が入力されることによって、上記変換規則を設定することを特徴としている。
また、請求項18記載の発明は、請求項17記載のデータ記録方法に係り、MPEGに準拠して符号化された画像データを記録媒体に記録することを特徴としている。
また、請求項19記載の発明は、請求項11乃至18のいずれか1に記載のデータ記録方法に係り、上記記録媒体の容量残量に応じて、符号量の低減率を調節することを特徴としている。
この発明の構成によれば、第1型ピクチャを第2型ピクチャに、第2型ピクチャを第3型ピクチャに変換する処理を行うので、符号量を低減させることができる。したがって、記録するデータ量を低減し、例えば、記録に必要な記録媒体の容量を低減することができる。
しかも、例えば、量子化スケールを変更したり、量子化されたデータの高周波項をゼロとするわけではないので、画質の劣化を抑制することができる。
さらに、例えば、操作者の設定によって、符号量の低減率を選択することによって、無闇に画質を落とすことなく、例えば記憶媒体の空き容量や、記録するデータの重要度等状況に応じて、自在に符号量の低減率を変更して、画質と記録するデータ量との関係を調節し、データを記録手段に記録することができる。
各ピクチャグループについて、第1型ピクチャを第2型ピクチャに、第2型ピクチャを第3型ピクチャに変換する処理を、予め設定された変換規則に基づいて行うことによって、画質の著しい劣化を招くことなく、かつ、符号量の低減率を状況に応じて自在に変更させながら、受信したデジタルデータを、符号量を低減させて記録媒体に記録するという目的を実現した。
図1及び図2は、この発明の第1実施例であるデジタル放送受信・記録装置の構成を示すブロック図、図3は、同デジタル放送受信・記録装置のTS変換処理部の構成を示すブロック図、図4は、同TS変換処理部のビデオデータ変換部の概略構成を示すブロック図、また、図5は、同デジタル放送受信・記録装置の動作を説明するための説明図である。
この例のデジタル放送受信・記録装置1は、例えば衛星(CS)デジタル放送を受信すると共に、受信したデジタルデータを記録するために用いられ、図1及び図2に示すように、概略、CSデジタル放送受信のためのIRD(Integrated Reciever decorder)に記録装置が付加された構成とされ、デジタル放送受信・記録装置1の構成各部を制御するシステムコントローラ(トランスコーダの一部、設定手段の一部)2と、CSアンテナ3を介して放送を受信し、テレビジョン受像機4に画像信号及び音声信号を出力する受信部5と、画像信号及び音声信号を記録する記録部(データ記録装置)6と、リモコン装置を有してなりインタフェース部7を介して設定を行うための設定部(設定手段の一部)8とを備えてなっている。
システムコントローラ2は、CPU等からなり、記憶部に記憶された各種プログラムを実行する主制御部と、ROM、RAM等の半導体メモリからなる記憶部とを有してなっている。
記憶部は、設定情報等の各種情報が格納された情報記憶領域と、主制御部が実行する変換規則設定プログラム等が記憶されたプログラム記憶領域とを有している。
プログラム記憶領域に記憶された変換規則設定プログラムには、例えば操作者の設定部8の操作によって入力された設定情報に基づいて、変換規則を設定して、記録部6を制御して、例えば符号量の低減率を変更するための手順が記述されている。
操作者は、記憶媒体の空き容量や、記録するデータの重要度を勘案して、設定部8から希望する画質の程度や録画時間等の設定情報を入力し、これに応じて例えば符号量の低減率が調整される。
受信部5は、CSアンテナ3を介して入力された受信信号を選局するためのチューナ11と、受信信号をアナログ/デジタル変換するA/D(Analog/Degital)コンバータ12と、入力されたデジタル信号に、例えば4相位相偏移復調(QPSK:Quadrature Phase Shift Keying)処理を施す復調部13と、暗号解除処理を行うデスクランブラ(Descrambler)14と、設定されたビデオデータやオーディオデータ等の各PID(Packet Identification)に従ってフィルタリングしてビデオデータやオーディオデータを分離するTSデマルチプレクサ(Transport Stream Demultiplexer)15と、MPEG2に規格に準拠してデコード処理を行うデコーダ装置16と、入力されたビデオデータに例えばアイコンからなる操作用メニュー情報を含む番組サービス情報等を重ね合わせるグラフィクス部17と、入力されたビデオデータをNTSC方式又はPAL方式のビデオ信号にエンコードして、テレビジョン受像機4のCRT等に出力するNTSC/PALエンコーダ18と、入力されたオーディオデータをデジタル/アナログ変換して、テレビジョン受像機4のスピーカに出力するオーディオD/A(Degital/Analog)コンバータ19とを有している。
デコーダ装置16は、図1に示すように、入力されたビデオデータにMPEG2方式に従って伸張復号化処理を施すビデオデコーダ16aと、入力されたオーディオデータに伸張復号化処理を施すオーディオデコーダ16bとからなっている。
記録部6は、同図に示すように、入力されたビデオデータに基づいてピクチャ構成を変更して圧縮再符号化処理を施すTS変換処理部(トランスコーダの一部)21と、IDE(Integrated device Electronics)インタフェース22と、ハードディスクドライブ(記録手段、以下、HDD(Hard Disc Drive)という)23とを備えてなっている。
TS変換処理部21は、図3に示すように、入力されたビデオデータに基づいてピクチャ構成を変更して圧縮再符号化処理を施すビデオデータ変換部24と、符号化したビデオデータをパケット化するパケット生成部25と、再符号化されたビデオデータと、TSマルチプレクサ15から入力されたオーディオデータとを1つのストリームに多重(パケット多重)化するTSマルチプレクサ26とを有してなっている。
ビデオデータ変換部24は、図4に示すように、TSマルチプレクサ15から入力されたビデオデータを一旦伸張復号化するデコーダ部31と、デコーダ部31から入力されたビデオデータを、システムコントローラ2による制御に従って、データ量を減少させて圧縮再符号化するエンコーダ部32とからなっている。
デコーダ部31は、バッファ33と、ブロック毎に可変長符号化されたDCT係数、各マクロブロック毎に生成され可変長符号化された動きベクトル及び差分DCT係数、並びに各スライス毎に生成された量子化ステップ情報等を分離する分離部34と、可変長復号化部35と、逆量子化部36と、IDCT部37と、DCT部37の出力と動き予測部41の出力とを加算する加算器38と、ピクチャを蓄積するピクチャ蓄積部39と、分離部34から入力された動きベクトル、差分DCT係数及びピクチャタイプ情報やピクチャ蓄積部39に蓄積されたピクチャに基づいて動き予測情報を出力する動き予測部41とを有してなっている。
また、エンコーダ部32は、動きベクトルを求める動き検出部42と、デコーダ部31側から入力されたデータと動き予測部51から入力された動き予測情報との差分を出力する減算器43と、DCT部44と、量子化部45と、逆量子化部46と、IDCT部47と、IDCT部47の出力と動き予測部51の出力とを加算する加算器48と、ピクチャを蓄積するピクチャ蓄積部49と、復号化されたピクチャに基づいて動き予測情報を生成する動き予測部51と、可変長符号化部52と、ブロック毎に生成され可変長符号化されたDCT係数、各マクロブロック毎に生成され可変長符号化された動きベクトル及び差分DCT係数、並びに各スライス毎に生成された量子化ステップ情報等を多重化し、各ピクチャ毎にピクチャタイプ情報を付加する多重化部53と、バッファ54とを有してなっている。
デコーダ部31で伸張復号化されたビデオデータは、時間的な差の情報を持たずに1コマ内だけの情報を有する画素の集まりであるフレーム内符号化画像(第1型ピクチャ、以下、Iピクチャ(Intra-coded picture)という)と、Iピクチャに動き情報等の時間的変化情報を付加して予測して作成され時間的に後のコマの情報を有するフレーム間順方向予測符号化画像(第2型ピクチャ、以下、Pピクチャ(Preductive coded picture)という)と、時間的に前後のコマから予測して作成される双方向予測符号化画像(第3型ピクチャ、以下、Bピクチャ(Bi-directionally Preductive coded picture)という)とをそれぞれ多数含んでいる。なお、Pピクチャは、時間的に前のPピクチャから予測され作成される場合もある。
ここで、1つのピクチャの情報量は、(Iピクチャ>Pピクチャ>Bピクチャ)の順に少なくなる。
エンコーダ部33では、IピクチャをPピクチャに、PピクチャをBピクチャに変換して、Bピクチャの数を増加させてデータ量を低減させる処理を行う。
エンコーダ部33に入力された符号化されたデータのピクチャ構成が、あるGOP(ピクチャグループ)で、例えば、(IPBBPBBIBBPBB)とされている場合は、このエンコーダ部33では、一旦復号化された後再符号化されたデータのピクチャ構成は、(IPBBBBBPBBBBB)とされる。
次に、図5を参照して、この例のデジタル放送受信・記録装置1の動作について説明する。
まず、操作者によって、設定部8から設定情報が入力されると、システムコントローラ2の主制御部は、この設定情報を記憶部に記憶させ、この設定情報に基づいて変換規則を設定し、記録部6を制御する。
設定情報は、操作者によって、例えば記憶媒体の空き容量や記録するデータの重要度に従って設定部8から入力され、希望する画質の程度や録画時間等を含んでいる。
また、上記変換規則は、設定情報に基づいて符号量の低減を行うほかに、例えばビットレートに応じて符号量の低減率を時間的に変化させるように、TSの変換を行うための手順を含んでいる。
例えば、録画時間を重視するような内容の設定情報が入力された場合に、システムコントローラ2の主制御部が、各GOPで、最初のIピクチャと最後のIピクチャ又はPピクチャ以外のピクチャを、Bピクチャとするような変換規則を設定して、記録部6を制御するときに、符号量の低減率が最大となる。
TS変換処理部21のビデオデータ変換部24では、デコーダ部31が、TSマルチプレクサ15から入力されたビデオデータを一旦復号化した後、エンコーダ部32が、各GOPについて、所定のIピクチャをPピクチャに、所定のPピクチャをBピクチャに変換してデータ量を低減させるように再符号化処理を行う。
デコーダ部31からエンコーダ部32に入力されたビデオデータのうち、あるGOPに対応するピクチャ構成が、図5(a)に示すように、例えば、I10111213とされているものとする。
ここで、PピクチャPはIピクチャIに基づいて予測され、PピクチャPはPピクチャPに基づいて予測され、PピクチャP13はIピクチャI10に基づいて予測されて生成されたピクチャである。
また、BピクチャB,Bは共にIピクチャI及びPピクチャPに基づいて予測され、BピクチャB,Bは共にPピクチャP及びPピクチャPに基づいて予測され、BピクチャB,Bは共にPピクチャP及びIピクチャI10に基づいて予測され、BピクチャB11,B12は共にIピクチャI10及びPピクチャP13に基づいて予測されて生成されたピクチャである。
エンコーダ部32は、このピクチャ構成を、同図(b)に示すように、例えば、I10111213に変換する。
ここで、BピクチャB,B,B,B,Bは、それぞれIピクチャI及びPピクチャPに基づいて予測され、BピクチャB,B,B10,B11,B12は、それぞれPピクチャP及びPピクチャP13に基づいて予測される。再符号化後は、このGOPは、(I13101112)とされる。
このGOPについて、PピクチャP→BピクチャBとし、IピクチャI10→BピクチャB10とすることにより、データ量が低減される。他のGOPについても同様の処理が施される。
ビデオデータ変換部24から出力された圧縮再符号化後のビデオデータは、パケット生成部25でパケット化され、TSマルチプレクサ26でTSマルチプレクサ15から入力されたオーディオデータとを1つのストリームに多重化されて、IDE22を介してHDD23に入力され記録される。
なお、デジタル放送受信・記録装置1は、例えば、設定された時間に所定のチャンネルの番組を留守時等に記録媒体に録画する予約録画処理、テレビジョン受像機4で再生中のチャンネルの番組と別のチャンネルの番組を記録媒体に録画する裏録画処理、所定のチャンネルの番組を記録媒体に録画しながら最初からテレビジョン受像機4で再生する追っかけ再生処理等を行う。
このように、この例の構成によれば、TS変換処理部21で、各GOPについて、IピクチャをPピクチャに、PピクチャをBピクチャに変換する処理を行うので、符号量を低減させることができる。したがって、記録に必要な記録媒体の容量を低減することができる。
しかも、従来技術のように、量子化スケールを変更したり、高周波成分を削除したりするわけではないので、画質の劣化を抑制することができる。
さらに、例えば操作者の設定によって、符号量の低減率を選択できるので、無闇に画質を落とすことなく、記憶媒体の空き容量や、記録するデータの重要度等に状況に応じて、自在に符号量の低減率を変更して、画質と記録するデータ量との関係を調節し、所望のデータをHDD23に記録することができる。
また、例えば、ビットレートに応じて符号量の低減率を時間的に変化させるように、TSの変換を行うことによって、符号量の低減による画質の劣化を一段と抑制することができる。
図6は、この発明の第2実施例であるデジタル放送受信・記録装置の構成を示すブロック図、図7は、同デジタル放送受信・記録装置のTS変換処理部の構成を示すブロック図、また、図8は、同TS変換処理部のビデオデータ変換部の構成を示すブロック図である。
この例が上述した実施例1と大きく異なるところは、TS変換処理部で、デコーダ装置から入力された復号化後のデータに基づいて再符号化するように構成した点である。
これ以外の構成は、上述した実施例1の構成と略同一であるので、その説明を簡略にする。
この例のデジタル放送受信・記録装置の受信部5Aは、図6に示すように、CSアンテナ3を介して、入力された受信信号を選局するためのチューナ63と、A/Dコンバータ64と、復調部65と、デスクランブラ66と、TSマルチプレクサ67と、MPEG2に規格に準拠してデコード処理を行うデコーダ装置68と、グラフィクス部69と、NTSC/PALエンコーダ71と、オーディオD/Aコンバータ72とを有している。
デコーダ装置68は、入力されたビデオデータにMPEG2方式に従って伸張復号化処理を施すビデオデコーダ68aと、入力されたオーディオデータに伸張復号化処理を施すオーディオデコーダ68bとからなっている。
また、この例のデジタル放送受信・記録装置のデコーダ装置68は、2チャンネル同時に復号処理が可能なように構成されている。
また、記録部(データ記録装置)6Aは、入力されたビデオデータに基づいてピクチャ構成を変更して圧縮再符号化処理を施すTS変換処理部(トランスコーダの一部)73と、IDEインタフェース74と、HDD(記録手段)75とを備えてなっている。
TS変換処理部73は、図7に示すように、ビデオデコーダ68aから入力されたビデオデータに基づいてピクチャ構成を変更して圧縮再符号化処理を施すビデオデータ変換部79と、符号化したビデオデータをパケット化するパケット生成部81と、再符号化されたビデオデータと、TSマルチプレクサ67から入力されたオーディオデータとを1つのストリームに多重(パケット多重)化するTSマルチプレクサ82とを有してなっている。
ビデオデータ変換部79は、図8に示すように、動き検出部83と、減算器84と、DCT部85と、量子化部86と、逆量子化部87と、IDCT部88と、加算器89と、ピクチャ蓄積部91と、動き予測部92と、可変長符号化部93と、多重化部943と、バッファ95とを有してなっている。
この例のデジタル放送受信・記録装置では、デコーダ装置68は、リアルタイム再生処理のための復号処理を行うと同時に、TS変換のための復号処理を行う。
TS変換処理部73は、デコーダ装置68から入力され既に復号化されたビデオデータを、ピクチャ構成を変更して再符号化する。ピクチャ構成の変更方法については、実施例1で述べた方法と同様であるのでその説明を省略する。
この例の構成によれば、上述した実施例1と略同様の効果を得ることができる。
加えて、TS変換処理部73は、デコーダ装置68から入力された復号化されたビデオデータに基づいて再符号化するので、ビデオデータを一旦伸張復号化するデコーダ部を廃することができ、構成を簡素化しコストを低減することができる。
以上、この発明の実施例を図面を参照して詳述してきたが、具体的な構成はこの実施例に限られるものではなく、この発明の要旨を逸脱しない範囲の設計の変更等があってもこの発明に含まれる。
例えば、上述した実施例では、記憶手段としてHDDを用いた場合について述べたが、DVD(DVD−R、DVD−RW、DVD−RAM等)からなる記録媒体にデータの書き込みを行う光ディスク装置を用いても良い。また、トランスポートストリームを記録する場合に限らず、プログラムストリームを記録する場合に適用しても良い。
また、1つのGOPで、例として(IPBBPBBIBBPBB)というピクチャ構成を、(IPBBBBBPBBBBB)というピクチャ構成に変更する場合について述べたが、必要に応じて例えば(IPBBBBBBBBBBB)というピクチャ構成に変更して符号量をさらに低減するようにしても良い。また、このピクチャ構成の変更の仕方は、時間的に変化させても良い。
また、システムコントローラ2の主制御部が、例えば、記憶媒体の空き容量を検知し、この検知結果に基づいて、符号量の低減率を自動的に変更するように構成しても良い。
また、CSデジタル放送は、MPEG2のMP(Main Profile)@ML(Main Level)のサービスであるが、BS(Broadcasting Satellite)デジタル放送のようなMP(Main Profile)@HL(High Level)のサービスでも良い。
また、変復調方式は、各放送システムに依存するが、CSデジタル放送で用いられているQPSK方式に限らず、BPSK(2相位相偏移)方式や、BSデジタル放送で用いられている8PSK(8相位相偏移)方式でも良い。また、デジタル地上波放送で用いられているOFDM(直交周波数分割多重)方式でも良い。
また、例えばTS変換処理は、専用のハードウェアを設けて行っても良いし、対応するプログラムを実行することによって処理しても良い。
また、ビデオデータの変動に応じてビデオビットレート(単位時間当りに流れるデータ量)を変化させる可変ビットレート制御を行う場合でも、固定ビットレート制御を行う場合でも適用できる。
衛星放送のほか、地上波放送やCATVの受信時にも適用することができる。
この発明の第1実施例であるデジタル放送受信・記録装置の構成を示すブロック図である。 同デジタル放送受信・記録装置の構成を示すブロック図である。 同デジタル放送受信・記録装置のTS変換処理部の構成を示すブロック図である。 同TS変換処理部のビデオデータ変換部の概略構成を示すブロック図である。 同デジタル放送受信・記録装置の動作を説明するための説明図である。 この発明の第2実施例であるデジタル放送受信・記録装置の構成を示すブロック図である。 同デジタル放送受信・記録装置のTS変換処理部の構成を示すブロック図である。 同TS変換処理部のビデオデータ変換部の構成を示すブロック図である。 従来技術を説明するための説明図である。 従来技術を説明するための説明図である。 従来技術を説明するための説明図である。 従来技術を説明するための説明図である。 従来技術を説明するための説明図である。 従来技術を説明するための説明図である。
符号の説明
1 デジタル放送受信・記録装置
2 システムコントローラ(トランスコーダの一部、設定手段の一部)
5,5A 受信部
6,6A 記録部(データ記録装置)
8 設定部(設定手段の一部)
21,73 TS変換処理部(トランスコーダの一部)
23,75 ハードディスクドライブ(記録手段)

Claims (19)

  1. 過去及び未来の画像とは独立して生成された第1型ピクチャと、過去の画像に基づいて予測して生成された第2型ピクチャと、過去及び未来の前記第1型ピクチャ又は前記第2型ピクチャに基づいて予測して生成された第3型ピクチャとのうち、少なくとも1つの第1型ピクチャを含む第1の符号化データ列を変換して、符号量が低減された第2の符号化データ列を生成するトランスコーダであって、
    予め設定された変換規則に基づいて、前記第1の符号化データ列の所定の前記第1型ピクチャを前記第2型ピクチャ又は前記第3型ピクチャに変換すると共に、前記第1の符号化データ列が前記第2型ピクチャを含む場合には、所定の前記第2型ピクチャを前記第3型ピクチャに変換して、ピクチャ構成を変更することによって、符号量が低減された前記第2の符号化データ列を生成する
    ことを特徴とするトランスコーダ。
  2. 前記第2型ピクチャは、過去の前記第1型ピクチャ又は前記第2型ピクチャに基づいて予測して生成されることを特徴とする請求項1記載のトランスコーダ。
  3. 前記第1の符号化データ列は、多数の前記第1型ピクチャ、前記第2型ピクチャ及び前記第3型ピクチャが組み合されてなることを特徴とする請求項1又は2記載のトランスコーダ。
  4. 前記第1及び第2の符号化データ列は、MPEGに準拠してそれぞれ符号化されることを特徴とする請求項1、2又は3記載のトランスコーダ。
  5. 前記変換規則を設定するための設定手段を備えたことを特徴とする請求項1乃至4のいずれか1に記載のトランスコーダ。
  6. ピクチャグループを構成する前記第1型ピクチャ、前記第2型ピクチャ及び前記第3型ピクチャのうち、最初の前記第1型ピクチャ、及び最後の前記第1型ピクチャ又は前記第2型ピクチャ以外の前記第1型ピクチャ及び前記第2型ピクチャを前記第3型ピクチャに変換する前記変換規則に基づいて、前記第2の符号化データ列を生成することを特徴とする請求項3、4又は5記載のトランスコーダ。
  7. 前記設定手段は、録画予定時間長又は録画画質の程度を示す情報が入力されることによって、前記変換規則を設定することを特徴とする請求項5又は6記載のトランスコーダ。
  8. 請求項1乃至7のいずれか1に記載のトランスコーダと、少なくとも画像データを記録媒体に記録する記録手段とを備えてなることを特徴とするデータ記録装置。
  9. 前記記録手段は、MPEGに準拠して符号化された画像データを記録媒体に記録することを特徴とする請求項8記載のデータ記録装置。
  10. 前記トランスコーダは、前記記録媒体の容量残量に応じて、符号量の低減率を調節することを特徴とする請求項8又は9記載のデータ記録装置。
  11. 少なくとも画像データを記録媒体に記録するためのデータ記録方法であって、
    過去及び未来の画像とは独立して生成された第1型ピクチャと、過去の画像に基づいて予測して生成された第2型ピクチャと、過去及び未来の前記第1型ピクチャ又は前記第2型ピクチャに基づいて予測して生成された第3型ピクチャとのうち、少なくとも1つの第1型ピクチャを含む第1の符号化データ列を変換して、符号量が低減された第2の符号化データ列を生成するトランスコーディングステップを含み、
    該トランスコーディングステップでは、予め設定された変換規則に基づいて、前記第1の符号化データ列の所定の前記第1型ピクチャを前記第2型ピクチャ又は前記第3型ピクチャに変換すると共に、前記第1の符号化データ列が前記第2型ピクチャを含む場合には、所定の前記第2型ピクチャを前記第3型ピクチャに変換して、ピクチャ構成を変更することによって、符号量が低減された前記第2の符号化データ列を生成する
    ことを特徴とするデータ記録方法。
  12. 前記第2型ピクチャは、過去の前記第1型ピクチャ又は前記第2型ピクチャに基づいて予測して生成されることを特徴とする請求項11記載のデータ記録方法。
  13. 前記第1の符号化データ列は、多数の前記第1型ピクチャ、前記第2型ピクチャ及び前記第3型ピクチャが組み合されてなることを特徴とする請求項11又は12記載のデータ記録方法。
  14. 前記第1及び第2の符号化データ列は、MPEGに準拠してそれぞれ符号化されることを特徴とする請求項11、12又は13記載のデータ記録方法。
  15. 前記変換規則を設定するための設定ステップを備えたことを特徴とする請求項11乃至14のいずれか1に記載のデータ記録方法。
  16. ピクチャグループを構成する前記第1型ピクチャ、前記第2型ピクチャ及び前記第3型ピクチャのうち、最初の前記第1型ピクチャ、及び最後の前記第1型ピクチャ又は前記第2型ピクチャ以外の前記第1型ピクチャ及び前記第2型ピクチャを前記第3型ピクチャに変換する前記変換規則に基づいて、前記第2の符号化データ列を生成することを特徴とする請求項13、14又は15記載のデータ記録方法。
  17. 前記設定ステップでは、録画予定時間長又は録画画質の程度を示す情報が入力されることによって、前記変換規則を設定することを特徴とする請求項15又は16記載のデータ記録方法。
  18. MPEGに準拠して符号化された画像データを記録媒体に記録することを特徴とする請求項17記載のデータ記録方法。
  19. 前記記録媒体の容量残量に応じて、符号量の低減率を調節することを特徴とする請求項11乃至18のいずれか1に記載のデータ記録方法。

JP2003355733A 2003-10-15 2003-10-15 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置 Expired - Fee Related JP4573511B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003355733A JP4573511B2 (ja) 2003-10-15 2003-10-15 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003355733A JP4573511B2 (ja) 2003-10-15 2003-10-15 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置

Publications (2)

Publication Number Publication Date
JP2005123829A true JP2005123829A (ja) 2005-05-12
JP4573511B2 JP4573511B2 (ja) 2010-11-04

Family

ID=34613185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003355733A Expired - Fee Related JP4573511B2 (ja) 2003-10-15 2003-10-15 トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置

Country Status (1)

Country Link
JP (1) JP4573511B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007227993A (ja) * 2006-02-21 2007-09-06 Sharp Corp トランスコーダ及びトランスコード方法
JP2009260436A (ja) * 2008-04-11 2009-11-05 Sony Corp 情報処理装置及び情報処理方法、並びにプログラム
JP2011061287A (ja) * 2009-09-07 2011-03-24 Brother Industries Ltd 通信制御装置、通信制御方法、および通信制御プログラム
CN105611294A (zh) * 2015-11-18 2016-05-25 上海卫星工程研究所 星载遥感图像压缩通道复用系统及方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000059790A (ja) * 1998-08-05 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
JP2000059788A (ja) * 1998-03-10 2000-02-25 Sony Corp 復号装置および方法、並びに提供媒体
JP2000244872A (ja) * 1999-02-19 2000-09-08 Toshiba Corp トランスコーダ装置
JP2000513167A (ja) * 1997-01-13 2000-10-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタルビデオ信号内に補足データを埋め込む方法及び装置
JP2001036844A (ja) * 1999-07-16 2001-02-09 Nec Corp 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体
JP2001045436A (ja) * 1999-07-27 2001-02-16 Nec Corp デジタル放送受信機及びデータ伝送装置
JP2001094937A (ja) * 1999-09-22 2001-04-06 Canon Inc 画像記録装置及び方法並びに記憶媒体
JP2001169278A (ja) * 1999-12-06 2001-06-22 Sony Corp ストリーム生成装置および方法、ストリーム伝送装置および方法、符号化装置および方法、並びに記録媒体
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP2002058024A (ja) * 2000-06-02 2002-02-22 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002171485A (ja) * 2000-11-30 2002-06-14 Matsushita Electric Ind Co Ltd 圧縮映像信号記録装置
JP2002281500A (ja) * 2001-03-19 2002-09-27 Media Glue Corp マルチプログラム圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP2003052020A (ja) * 2001-05-31 2003-02-21 Sanyo Electric Co Ltd 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
WO2003041399A1 (fr) * 2001-11-08 2003-05-15 Sharp Kabushiki Kaisha Recepteur et enregistreur d'image de diffusion et appareil de commande a distance

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000513167A (ja) * 1997-01-13 2000-10-03 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ディジタルビデオ信号内に補足データを埋め込む方法及び装置
JP2000059788A (ja) * 1998-03-10 2000-02-25 Sony Corp 復号装置および方法、並びに提供媒体
JP2000059790A (ja) * 1998-08-05 2000-02-25 Victor Co Of Japan Ltd 動画像符号列変換装置及びその方法
JP2000244872A (ja) * 1999-02-19 2000-09-08 Toshiba Corp トランスコーダ装置
JP2001036844A (ja) * 1999-07-16 2001-02-09 Nec Corp 画質確認装置、画質確認方法及びそのプログラムを記録した記録媒体
JP2001045436A (ja) * 1999-07-27 2001-02-16 Nec Corp デジタル放送受信機及びデータ伝送装置
JP2001094937A (ja) * 1999-09-22 2001-04-06 Canon Inc 画像記録装置及び方法並びに記憶媒体
JP2001169278A (ja) * 1999-12-06 2001-06-22 Sony Corp ストリーム生成装置および方法、ストリーム伝送装置および方法、符号化装置および方法、並びに記録媒体
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP2002058024A (ja) * 2000-06-02 2002-02-22 Sony Corp 情報処理装置および方法、並びに記録媒体
JP2002171485A (ja) * 2000-11-30 2002-06-14 Matsushita Electric Ind Co Ltd 圧縮映像信号記録装置
JP2002281500A (ja) * 2001-03-19 2002-09-27 Media Glue Corp マルチプログラム圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP2003052020A (ja) * 2001-05-31 2003-02-21 Sanyo Electric Co Ltd 画像処理方法とこの方法を利用可能な画像処理装置およびテレビジョン受像機
WO2003041399A1 (fr) * 2001-11-08 2003-05-15 Sharp Kabushiki Kaisha Recepteur et enregistreur d'image de diffusion et appareil de commande a distance

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007227993A (ja) * 2006-02-21 2007-09-06 Sharp Corp トランスコーダ及びトランスコード方法
JP4614895B2 (ja) * 2006-02-21 2011-01-19 シャープ株式会社 トランスコーダ及びトランスコード方法
JP2009260436A (ja) * 2008-04-11 2009-11-05 Sony Corp 情報処理装置及び情報処理方法、並びにプログラム
JP2011061287A (ja) * 2009-09-07 2011-03-24 Brother Industries Ltd 通信制御装置、通信制御方法、および通信制御プログラム
CN105611294A (zh) * 2015-11-18 2016-05-25 上海卫星工程研究所 星载遥感图像压缩通道复用系统及方法

Also Published As

Publication number Publication date
JP4573511B2 (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
KR100252108B1 (ko) Mpeg 압축부호화 및 복호화기를 채용한 디지털 기록 재생장치 및 그 방법
US6441754B1 (en) Apparatus and methods for transcoder-based adaptive quantization
JP5223769B2 (ja) 復号装置および方法、プログラム、並びに記録媒体
JP5090158B2 (ja) 映像情報記録装置、映像情報記録方法、映像情報記録プログラム、及び映像情報記録プログラムを記録した記録媒体
US9071844B2 (en) Motion estimation with motion vector penalty
US20080089404A1 (en) Method and System for Processing an Image, Method and Apparatus for Decoding, Method and Apparatus for Encoding, and Program
JPH10145798A (ja) デジタル符号化信号処理方式
WO2005099272A1 (en) Converter-assisted video encoder
JP2000278692A (ja) 圧縮データ処理方法及び処理装置並びに記録再生システム
JP2004534484A (ja) ビデオデータストリームの変換符号化
JP2001028748A (ja) データ再生伝送装置及びデータ再生伝送方法
US20080253447A1 (en) Video Transcoding with Selection of Data Portions to be Processed
JP4573511B2 (ja) トランスコーダ、トランスコーディング方法、データ記録装置及び方法、並びに放送データ受信・記録装置
KR100364748B1 (ko) 영상 변환 부호화 장치
US8798135B2 (en) Video stream modifier
JP4806888B2 (ja) 復号化装置及び復号化方法
JP5387520B2 (ja) 情報処理装置と情報処理方法
JP2010093627A (ja) 動画像符号化装置
US20050259752A1 (en) Apparatus for and method of image processing and output, and computer product
JP4528043B2 (ja) 映像信号変換装置、変換方法及びこれを用いた映像信号記録装置
JP4193224B2 (ja) 動画像符号化装置及び方法並びに動画像復号装置及び方法
JP2008193444A (ja) 情報処理装置
JP4674535B2 (ja) 記録再生装置および記録再生方法、記録装置および記録方法、並びに、再生装置および再生方法
JP4765961B2 (ja) デジタル動画像記録装置
JP2009171180A (ja) 画像復号化装置及び画像復号化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060802

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090915

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100729

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100817

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100817

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees