JP2006042143A - 画像処理システム - Google Patents

画像処理システム Download PDF

Info

Publication number
JP2006042143A
JP2006042143A JP2004221741A JP2004221741A JP2006042143A JP 2006042143 A JP2006042143 A JP 2006042143A JP 2004221741 A JP2004221741 A JP 2004221741A JP 2004221741 A JP2004221741 A JP 2004221741A JP 2006042143 A JP2006042143 A JP 2006042143A
Authority
JP
Japan
Prior art keywords
data
divided
image
area
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004221741A
Other languages
English (en)
Other versions
JP4476065B2 (ja
Inventor
Masanori Ishizuka
正則 石塚
Tatsushi Ootsuka
竜志 大塚
Takahiko Tahira
孝彦 田平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004221741A priority Critical patent/JP4476065B2/ja
Priority to US11/010,322 priority patent/US7336834B2/en
Publication of JP2006042143A publication Critical patent/JP2006042143A/ja
Application granted granted Critical
Publication of JP4476065B2 publication Critical patent/JP4476065B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

【課題】 画像を分割して処理する際に、効率よくメモリへの負荷分散を行って、メモリアクセス効率の向上を図る。
【解決手段】 画像入力処理部11は、原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分散して符号化側メモリ部12へ書き込む。符号化部13は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成して格納する。復号化部21は、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分散して復号化側メモリ部22へ書き込む。
【選択図】 図1

Description

本発明は、画像処理システムに関し、特に画像信号の符号化・復号化処理を行う画像処理システムに関する。
近年、DVD(Digital Versatile Disc)やデジタルTV放送などの分野では、膨大な画像データを高いクオリティで記録・伝送するために、MPEG(Moving Picture Experts Group)によるエンコード・デコード技術が広く用いられている。MPEG画像処理では、画像信号を複数に分割し、メモリに対して、分割した画像信号の書き込み/読み出しを行って、エンコードやデコードを実行する処理が行われる。
図14は従来の画像処理システムを示す図である。画像処理システム50は、画像処理部51、メモリ52、53を含み、画像処理部51は、メモリバスb1、b2を介してメモリ52、53と接続する。
画像処理部51は、入力画像信号のエンコードまたはデコードの処理を行う。メモリ52、53は、システムへの入力画像や、画像処理後の画像信号を格納する。この場合、メモリ52は、画面のUpper領域(画面中央から上方にある画面の上位領域)側の画像信号及びUpper領域のエンコード・デコードに関わる制御情報等を格納する。メモリ53は、画面のLower領域(画面中央から下方にある画面の下位領域)側の画像信号及びLower領域のエンコード・デコードに関わる制御情報等を格納する。
なお、メモリ52、53は、エンコード・デコードに関連したデータの格納領域以外に、OS(Operating System)やシステムの全体制御等に関連したデータを格納するワーク領域も有している。
図15はメモリバスb1、b2のデータ流量を示す図である。グラフGaは、メモリバスb1のデータ流量を示すグラフであり、グラフGbは、メモリバスb2のデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。
Upper領域に関する画像信号の処理を行っているときは、メモリ52にUpper領域の画像データが格納されているため、メモリバスb1のデータ流量が多くなり、Lower領域に関する画像信号の処理を行っているときは、メモリ53にLower領域の画像データが格納されているため、メモリバスb2のデータ流量が多くなる。
なお、メモリバスb1、b2には、CPUなども接続して、メモリ52、53の領域を使用しているため、画像データのUpper領域及びLower領域の処理に関わらず、CPU等のアクセスにもとづき、ワーク領域のデータが流れている。
一方、画像を分割して符号化する従来技術として、チャネル分割時のチャネル境界部で生じる画質劣化を防止した技術が提案されている(例えば、特許文献1)。
特開平05−183891号公報(段落番号〔0013〕〜〔0023〕,第1図)
MP@HL(Main Profile@High Level)の様に、大きな画面サイズのエンコード処理を行う場合には、画面の大きさに比例して、メモリにアクセスされるデータ量(メモリの負荷)も増加する。このため、メモリを複数配置して、メモリ1つ当たりの負荷を下げて、負荷を分散させるといった構成をとることが一般的に行われている。
しかし、図14の従来システムのように、画面のUpper領域、Lower領域を2つのメモリ52、53それぞれに分けて格納すると、図15に示したように、Upper領域の画像処理時には、メモリ52への負荷が高くなり、Lower領域の画像処理時にはメモリ53への負荷が高くなる。
このため、メモリの負荷がいずれか一方に偏ってしまい、従来の制御では、メモリの数を増やしても、結果として最適な負荷分散がなされておらず、メモリアクセスの効率が低減するといった問題があった。
例えば、図15を見ると、Upper領域の処理時間帯では、メモリ52に格納しているワーク領域関連のデータの処理が、Upper領域の画像処理によって圧迫されており、Lower領域の処理時間帯では、メモリ53に格納しているワーク領域関連のデータの処理が、Lower領域の画像処理によって圧迫されており、最適な負荷分散がなされていないことがわかる。
本発明はこのような点に鑑みてなされたものであり、画像を分割して処理する際に、効率よくメモリへの負荷分散を行って、メモリアクセス効率の向上を図った画像処理システムを提供することを目的とする。
本発明では上記課題を解決するために、図1に示すような、画像信号の符号化・復号化処理を行う画像処理システム1において、複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部12と、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部12へ書き込む画像入力処理部11と、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部13と、から構成される画像符号化部10と、複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部22と、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部22へ書き込む復号化部21と、復号化側メモリ部22に格納されている画像を読み出して出力処理を行う画像出力処理部23と、から構成される画像復号化部20と、を有することを特徴とする画像処理システム1が提供される。
ここで、符号化側メモリ部12は、複数の格納領域を持ち、データ格納処理を行う。画像入力処理部11は、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部12へ書き込む。符号化部13は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する。復号化側メモリ部22は、複数の格納領域を持ち、データ格納処理を行う。復号化部21は、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部22へ書き込む。画像出力処理部23は、復号化側メモリ部22に格納されている画像を読み出して出力処理を行う。
本発明の画像処理システムは、画像符号化部では、符号化側メモリ部の同一格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように、分割原画像を分散して書き込み、また分割原画像の予測符号化に必要な情報が含まれるように参照画像を格納し、画像復号化部では、復号化側メモリ部の同一格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように、分割復号化データを分散して書き込む構成とした。これにより、画像を分割して処理する際に、効率よくメモリへの負荷分散を行うことができるので、メモリアクセス効率の向上を図ることが可能になる。
以下、本発明の実施の形態を図面を参照して説明する。図1は画像処理システムの原理図である。画像処理システム1は、画像符号化部10と画像復号化部20から構成され、画像信号の符号化・復号化処理を行うシステムである。
画像符号化部10は、画像入力処理部11、符号化側メモリ部12、符号化部13から構成される。符号化側メモリ部12は、複数の格納領域を持ち、データ格納処理を行う。
画像入力処理部11は、入力した原画像を複数領域に分割して分割原画像を生成する。そして、符号化側メモリ部12の特定格納領域に対するアクセス集中を避けるため、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、符号化側メモリ部12へ書き込む。
符号化部13は、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成する。また、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する。
画像復号化部20は、復号化部21、復号化側メモリ部22、画像出力処理部23から構成される。復号化側メモリ部22は、複数の格納領域を持ち、データ格納処理を行う。
復号化部21は、入力した符号化データを分割し復号化して分割復号化データを生成する。そして、復号化側メモリ部22の特定格納領域に対するアクセス集中を避けるため、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、復号化側メモリ部22へ書き込む。画像出力処理部23は、復号化側メモリ部22に格納されている画像を読み出して出力処理を行う。
図1に示したメモリの格納動作について説明する。符号化側メモリ部12は、2つの領域Mc1、Mc2から構成されている。画像入力処理部11は、原画像の輝度成分を上位領域(画面中央から上方にある画面の領域で以下Upper領域と呼ぶ)と下位領域(画面中央から下方にある画面の領域で以下Lower領域と呼ぶ)に分割し、原画像の色差成分をUpper領域とLower領域に分割する。
画像入力処理部11は、領域Mc1に分割原画像として、Upper領域輝度原画データYOUとLower領域色差原画データCOLを格納し、領域Mc2に分割原画像として、Lower領域輝度原画データYOLとUpper領域色差原画データCOUを格納する。なお、予測符号化時の参照画像のメモリ格納動作については後述する。
一方、復号化側メモリ部22は、2つの領域Mr1、Mr2から構成されている。復号化部21は、復号化画面の輝度成分をUpper領域とLower領域に分割し、復号化画面の色差成分をUpper領域とLower領域に分割する。
そして、領域Mr1に分割復号化データとして、Upper領域輝度復号化データYDUとLower領域色差復号化データCDLを格納し、領域Mr2にLower領域輝度復号化データYDLとUpper領域色差復号化データCDUを格納する。
従来のように、1つのメモリ領域にUpper領域だけの画像またはLower領域の画像だけを格納するのではなく、画像信号を輝度と色差に分けて、Upper領域の輝度とLower領域の色差を1つのメモリ領域に格納し、Lower領域の輝度とUpper領域の色差を1つのメモリ領域に格納する構成とした。
これにより、Upper領域またはLower領域の処理時間帯において、1つのメモリ領域だけに集中してアクセスすることがなくなるので、メモリアクセス負荷が分散されることになる。
次に画像符号化部10の具体的な構成・動作について以降説明する。図2はエンコーダの構成を示す図である。画像符号化部10の具体例であるエンコーダ10aは、ビデオ入力I/F部11−1、メモリI/F部12U−1、12L−1、メモリ12U、12L、ビデオエンコーダ13U、13L、オーディオエンコーダ14、多重化部15、制御部16から構成される。
なお、ビデオ入力I/F部11−1は、画像入力処理部11に対応し、メモリI/F部12U−1、12L−1、メモリ12U、12Lは、符号化側メモリ部12に対応し、ビデオエンコーダ13U、13Lは、符号化部13に対応する。
エンコーダ10aは、入力されるデジタル映像(1440×1080i:水平1440画素、垂直1080画素で、iはインタレース走査を示す)に対して、MPEG2のMP@HLに対応したエンコード処理を行い、入力されるデジタル音声(16bitステレオ2ch)に対してはMPEG2−Audio規格にもとづいたエンコード処理を行う。そして、エンコードされたビデオデータとオーディオデータとを多重化して外部へ出力する。
また、ビデオエンコード処理を高速に行うため、2つのビデオエンコーダ13U、13Lが存在し、並列にエンコード処理が行われる。メモリ12U、12Lは例えば、SDRAM(Synchronous Dynamic RAM)を使用する。制御部16は、内部ブロックの全体制御を行うブロックである。
ビデオ入力I/F部11−1は、外部からリアルタイムに入力されるD1フォーマット(放送局の撮影用フォーマット)に準拠した8ビットパラレルディジタル入力信号(1440×1080i)に対し、必要なフィルタ処理を行って、4:2:0形式の原画像を生成する。
そして、原画像の輝度側については、Upper領域の輝度データYOUをメモリI/F部12U−1を介して、メモリ12Uへライトし、Lower領域の輝度データYOLをメモリI/F部12L−1を介してメモリ12Lへライトする。
さらに、原画像の色差側については、Upper領域の色差データCOUをメモリI/F部12L−1を介してメモリ12Lへライトし、Lower領域の色差データCOLをメモリI/F部12U−1を介してメモリ12Uへライトする。
メモリI/F部12U−1は、メモリバスB1でメモリ12Uと接続して、メモリ12Uに対するアクセス要求の調停を行い、メモリ12Uと他ブロックとのアクセスインターフェースを行う。メモリI/F部12L−1は、メモリバスB2でメモリ12Lと接続して、メモリ12Lに対するアクセス要求の調停を行い、メモリ12Lと他ブロックとのアクセスインターフェースを行う。
ビデオエンコーダ13Uは、メモリ12U、12Lに配置されている原画像に対しMP@HLに対応したエンコード処理を行い(すなわち、MP@HLはI、P、Bの3つのピクチャを有するので、それぞれのピクチャに対応するintra/interのエンコード処理を行うということ)、Upper領域のスライスデータSUを生成し、それをメモリ12Uに格納する。また、予測符号化を行うときは、参照画像をメモリ12U、12Lに対して格納する(図4〜図7で後述)。
ビデオエンコーダ13Lは、メモリ12U、12Lに配置されている原画像に対しMP@HLに対応したエンコード処理を行い、Lower領域のスライスデータSLを生成し、それをメモリ12Lに格納する。また、予測符号化を行うときは、参照画像をメモリ12U、12Lに対して格納する(図4〜図7で後述)。
オーディオエンコーダ14は、外部から入力されるデジタル音声のエンコード処理を行い、エンコードしたオーディオES(Elementary Stream)を、メモリ12Lへ格納する。
多重化部15は、Upper領域のスライスデータSUとLower領域のスライスデータSLとオーディオESとその他必要なヘッダ情報とを多重化して、MPEG2 System形式のストリームを生成し、外部へ出力する。
なお、メモリ12U、12Lには、エンコードに関連したデータの格納領域以外に、OSやシステムの全体制御等に関連したデータを格納するワーク領域w1、w2も有している。
次にメモリ12U、12Lの画像データ格納動作について説明する。図3はメモリ12U、12Lの画像データ格納状態を示す図である。図が見やすいように原画データは実線で、参照画データは点線で示した。なお、ワーク領域のデータ、オーディオES、スライスデータ等の格納動作の説明は省略する。
ビデオ入力I/F部11−1は、原画像の輝度成分及び色差成分をUpper領域とLower領域に分割し、Upper領域輝度原画データYOU、Upper領域色差原画データCOU、Lower領域輝度原画データYOL、Lower領域色差原画データCOLを生成する。
メモリ12Uは、Upper領域輝度原画データYOUとLower領域色差原画データCOLを格納し、メモリ12Lは、Lower領域輝度原画データYOLとUpper領域色差原画データCOUを格納する。
ビデオエンコーダ13Uは、予測符号化時、メモリI/F部12U−1、12L−1を介して、メモリ12U、12Lにアクセスし、Upper領域輝度原画データYOUとUpper領域色差原画データCOUを読み出し、これら原画データに対する参照画像として、Upper領域輝度参照画データYRUとUpper領域色差参照画データCRUを生成する。
ビデオエンコーダ13Lは、予測符号化時、メモリI/F部12U−1、12L−1を介して、メモリ12U、12Lにアクセスし、Lower領域輝度原画データYOLとLower領域色差原画データCOLを読み出し、これら原画データに対する参照画像として、Lower領域輝度参照画データYRLとLower領域色差参照画データCRLを生成する。
メモリ12Uは、Upper領域輝度参照画データYRUとLower領域色差参照画データCRLを格納し、メモリ12Lは、Lower領域輝度参照画データYRLとUpper領域色差参照画データCRUを格納する。
なお、エンコーダ10aは、インタレース走査の画面を扱うので、実際はTopフィールド、Bottomフィールドに分けてメモリに格納するが、Top/Bottomフィールドから見たメモリ格納状態については後述の図8で示す。
次に参照画像のメモリ格納状態について説明する。図4は予測符号化の動作を示す図である。予測符号化を行う場合には、原画像のマクロブロックに対して、参照画像の中から似た画素を探す推定処理を行い、その分だけ位置をシフトした画素値を予測値とし、マクロブロックに対する動きベクトルを求める。
ここで、原画像を画面中央からUpper/Lowerに分割したラインL1の近傍にあるマクロブロックm1に対する動きベクトル検出を考える。マクロブロックm1と、参照画像上の点線ブロック(マクロブロックm1に対応する位置にあるマクロブロック)との周囲を比較し、マクロブロックm1の絵柄に最も近い部分としてマクロブロックm1aが、ラインL1よりも下方に存在したとする。この場合、図に示す矢印が動きベクトルとして検出されることになる。
図5はUpper領域輝度参照画データYRUのメモリ格納サイズを示す図である。上述したように、分割ラインL1付近のUpper領域内のマクロブロックm1の動きベクトルを検出する場合、マクロブロックm1に最も近い画素値のブロックは、分割ラインL1よりも下方のLower領域側に存在する可能性がある。
このようなことに備えるため、Upper領域輝度原画データYOUの動きベクトル検出に必要な参照画像であるUpper領域輝度参照画データYRUの画面サイズとしては、Lower領域にまたがって、Upper領域輝度原画データYOUの予測符号化を行う際に必要な水平ラインまでを含めるとする。
すなわち、Upper領域輝度参照画データYRUの画面サイズは、Upper領域輝度原画データYOUのサイズより、予測符号化に必要な水平ライン分下方に大き目のサイズとなる。そして、このサイズのUpper領域輝度参照画データYRUを、Upper領域輝度原画データYOUが格納されている同じ領域に格納する。
図6はLower領域輝度参照画データYRLのメモリ格納サイズを説明するための図である。図5と同様に考えて、分割ラインL1付近のLower領域内のマクロブロックm2の動きベクトルを検出する場合、マクロブロックm2に最も近い画素値のブロックm2aは、分割ラインL1よりも上方のUpper領域側に存在する可能性がある。
このようなことに備えるため、Lower領域輝度原画データYOLの動きベクトル検出に必要な参照画像であるLower領域輝度参照画データYRLの画面サイズとしては、Upper領域にまたがって、Lower領域輝度原画データYOLの予測符号化を行う際に必要な水平ラインまでを含めるとする。
すなわち、Lower領域輝度参照画データYRLの画面サイズは、Lower領域輝度原画データYOLのサイズより、予測符号化に必要な水平ライン分上方に大き目のサイズとなる。そして、このサイズのLower領域輝度参照画データYRLをLower領域輝度原画データYOLが格納されている同じ領域に格納する。
図7は色差参照画データの格納サイズを示す図である。色差成分に関する動きベクトルを検出する場合も上記と同様にして、Upper領域色差参照画データCRU及びLower領域色差参照画データCRLのサイズを大きく設定し、メモリ12U、12Lへ格納する。
すなわち、Upper領域色差参照画データCRUのサイズは、Upper領域色差原画データCOUのサイズより、予測符号化に必要な水平ライン分下方に大き目のサイズとなる。また、Lower領域色差参照画データCRLのサイズは、Lower領域色差原画データCOLのサイズより、予測符号化に必要な水平ライン分上方に大き目のサイズとなる。
図8はインタレース画像のメモリ格納状態を示す図である。インタレース画像の場合は、図4〜図7で上述した内容を含めて、Topフィールド、Bottomフィールドに分けて格納する。それ以外は上記と同様なので格納動作の説明は省略する(プログレッシブ画像の場合はフレーム単位で格納すればよい)。
次にメモリバスB1、B2のデータ流量について説明する。図9はメモリバスB1、B2のデータ流量を示す図である。グラフG1はメモリバスB1に関するデータ流量を示すグラフであり、グラフG2はメモリバスB2に関するデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。
エンコーダ10aのメモリアクセスは、Upper領域の処理時間帯では、メモリ12UへUpper領域の輝度データのリード/ライトアクセスを行い、かつメモリ12LへUpper領域の色差データのリード/ライトアクセスを行う。また、Lower領域の処理時間帯では、メモリ12UへLower領域の色差データのリード/ライトアクセスを行い、かつメモリ12LへLower領域の輝度データのリード/ライトアクセスを行う。
したがって、Upper領域の処理時間帯には、メモリバスB1のデータ流量は輝度データ、メモリバスB2のデータ流量は色差データとなり、Lower領域の処理時間帯には、メモリバスB1のデータ流量は色差データ、メモリバスB2のデータ流量は輝度データとなるため、図15で示した従来のメモリアクセスと比べて負荷が分散されることになる。
また、メモリへの負荷が分散されていることから、メモリ12U、12Lのワーク領域に格納されているデータの処理も、画像データのエンコード処理により圧迫されることがなくなり、Upper領域/Lower領域の時間帯に対して、定常的に一定量が流れることが可能になる。
ここで、エンコーダ10aが、Iピクチャ(Intra-coded picture)のエンコードを行う場合には、IピクチャはIntraエンコードなので、参照画像は不要である。また、Pピクチャ(Predictive-coded picture)のエンコードを行う場合には、Pピクチャは過去のIまたはPピクチャからの予測で生成されるので、図5〜図6で上述したような、IまたはPピクチャの参照画像を用いてエンコードする。さらに、Bピクチャ(Bidirectionally predictive-coded picture)のエンコードを行う場合には、Bピクチャは前後方向のI及びPピクチャから予測して生成されるので、図5〜図6で上述したような、I及びPピクチャの参照画像を用いてエンコードする。
次に画像復号化部20の具体的な構成・動作について以降説明する。図10はデコーダの構成を示す図である。画像復号化部20の具体例であるデコーダ20aは、分離部21−1、ビデオデコーダ21U、21L、メモリI/F部22U―1、22L−1、メモリ22U、22L、ビデオ出力I/F部23、オーディオデコーダ24、制御部25から構成される。
なお、分離部21−1、ビデオデコーダ21U、21Lは、復号化部21に対応し、メモリI/F部22U―1、22L−1、メモリ22U、22Lは復号化側メモリ部22に対応し、ビデオ出力I/F部23は、画像出力処理部23に対応する。
デコーダ20aは、入力されるストリーム(システム:MPEG-2 System、ビデオ:MPEG-2 MP@HL、オーディオ: MPEG-2 Audio)に対してデコードを行い、デジタル映像出力(D1フォーマットに準拠した8ビットパラレルディジタル出力信号(1440×1080i))とデジタル音声(16bitステレオ2ch)を出力するものである。
また、ビデオデコード処理を高速に行うため、2つのビデオデコーダ21U、21Lが存在し、並列にデコード処理が行われる。メモリ22U、22Lは例えば、SDRAMを使用する。制御部25は、内部ブロックの全体制御を行うブロックである。
分離部21−1は、外部から入力されるストリームからビデオESとオーディオESとを分離し、メモリI/F部22U―1、22L−1を介して、一旦メモリ22U、22Lへ格納する。
ビデオデコーダ21Uは、ビデオESのUpper領域部分のストリームのデコードを行い、4:2:0形式のUpper領域のデコード画像を生成し、Upper領域輝度復号化データYDUをメモリI/F部22U―1を介してメモリ22Uへライトし、Upper領域色差復号化データCDUをメモリI/F部22L―1を介してメモリ22Lへライトする。
ビデオデコーダ21Lは、ビデオESのLower領域部分のストリームのデコードを行い4:2:0形式のLower領域のデコード画像を生成し、Lower領域輝度復号化データYDLをメモリI/F部22L―1を介してメモリ22Lへライトし、Lower領域色差復号化データCDUをメモリI/F部22U―1を介してメモリ22Uへライトする。
メモリI/F部22U−1は、メモリバスB3でメモリ22Uと接続して、メモリ22Uに対するアクセス要求の調停を行い、メモリ22Uと他ブロックとのアクセスインターフェースを行う。メモリI/F部22L−1は、メモリバスB4でメモリ22Lと接続して、メモリ22Lに対するアクセス要求の調停を行い、メモリ22Lと他ブロックとのアクセスインターフェースを行う。
ビデオ出力I/F部23は、メモリ22U、22Lに格納されているデコード画像に対して、4:2:0→4:2:2等のフォーマット変換処理を行い、デジタル映像出力(D1フォーマットに準拠した8ビットパラレルディジタル出力信号(1440×1080i))として外部にリアルタイムで出力する。オーディオデコーダ24は、オーディオESのデコードを行い、デジタル音声(16bitステレオ2ch)として外部に出力する。
なお、メモリ22U、22Lには、デコードに関連したデータの格納領域以外に、OSやシステムの全体制御等に関連したデータを格納するワーク領域w3、w4も有している。
図11はメモリ22U、22Lの画像データ格納状態を示す図である。デコーダ20aは、インタレース走査の画面を扱うので、図ではTopフィールド、Bottomフィールドに分けて格納されている状態も合わせて示している。なお、ワーク領域のデータ、オーディオES等の格納動作の説明は省略する。
ビデオデコーダ21Uは、符号化されている入力画像のUpper領域画面を復号化し、Upper領域輝度復号化データYDUとUpper領域色差復号化データCDUを生成する。ビデオデコーダ21Lは、符号化されている入力画像のLower領域画面を復号化し、Lower領域輝度復号化データYDLとLower領域色差復号化データCDLを生成する。
メモリ22Uは、Upper領域輝度復号化データYDUとLower領域色差復号化データCDLを格納し、メモリ22Lは、Lower領域輝度復号化データYDLとUpper領域色差復号化データCDUを格納する。
次にメモリバスB3、B4のデータ流量について説明する。図12はメモリバスB3、B4のデータ流量を示す図である。グラフG2はメモリバスB3に関するデータ流量を示すグラフであり、グラフG3はメモリバスB4に関するデータ流量を示すグラフである。縦軸はデータ流量、横軸は時間である。
デコーダ20aのメモリアクセスは、Upper領域の処理時間帯では、メモリ22UへUpper領域の輝度復号化データのリード/ライトアクセスを行い、かつメモリ22LへUpper領域の色差復号化データのリード/ライトアクセスを行う。また、Lower領域の処理時間帯では、メモリ22UへLower領域の色差復号化データのリード/ライトアクセスを行い、かつメモリ22LへLower領域の輝度復号化データのリード/ライトアクセスを行う。
したがって、Upper領域の処理時間帯には、メモリバスB3のデータ流量は輝度データ、メモリバスB4のデータ流量は色差データとなり、Lower領域の処理時間帯には、メモリバスB3のデータ流量は色差データ、メモリバスB4のデータ流量は輝度データとなるため、図15で示した従来のメモリアクセスと比べて負荷が分散されることになる。
また、メモリへの負荷が分散されていることから、メモリ22U、22Lのワーク領域に格納されているデータの処理も、画像データのデコード処理により圧迫されることがなくなり、Upper領域/Lower領域の時間帯に対して、定常的に一定量が流れることが可能になる。
以上説明したように、従来の並列動画像処理では、それぞれのメモリの負荷が時間によって大きく偏ってしまい、メモリアクセスの効率が悪く、メモリ負荷が限界に達しやすいといった欠点があったが、画像処理システム1によれば、それぞれの符号化側メモリ部12及び復号化側メモリ部22の負荷が時間方向に分散されるので、並列動画像処理の性能限界を引き上げることができ、また低コスト化や低電力化を実現することが可能になる。
なお、上記では、MPEGビデオESについて述べたが、DVビデオ等の動画像データを処理する場合に適用可能である。また、画面をUpper領域とLower領域の2分割にして、それぞれを2並列で処理を行っているが、N分割のN並列処理を行うこともできる。
例えば、N=3の場合は、画面をUpper領域とMiddle領域とLower領域の3分割にして、それぞれを3並列に処理を行う。図13に3並列のメモリ配置例を示す。3つの格納領域としてメモリ(U)、(M)、(L)を用意し、画面を3分割して、メモリ(U)にはUpper領域の輝度成分、Lower領域の色差成分を格納し、メモリ(M)にはMiddle領域の輝度成分、Upper領域の色差成分を格納し、メモリ(L)にはLower領域の輝度成分、Middle領域の色差成分を格納する。このようにしても、メモリ負荷を分散することができる。
画像処理システムの原理図である。 エンコーダの構成を示す図である。 メモリの画像データ格納状態を示す図である。 予測符号化の動作を示す図である。 Upper領域輝度参照画データのメモリ格納サイズを示す図である。 Lower領域輝度参照画データのメモリ格納サイズを説明するための図である。 色差参照画データのメモリ格納サイズを示す図である。 インタレース画像のメモリ格納状態を示す図である。 メモリバスのデータ流量を示す図である。 デコーダの構成を示す図である。 メモリの画像データ格納状態を示す図である。 メモリバスのデータ流量を示す図である。 3並列のメモリ配置例を示す図である。 従来の画像処理システムを示す図である。 メモリバスのデータ流量を示す図である。
符号の説明
1 画像処理システム
10 画像符号化部
11 画像入力処理部
12 符号化側メモリ部
13 符号化部
20 画像復号化部
21 復号化部
22 復号化側メモリ部
23 画像出力処理部

Claims (10)

  1. 画像信号の符号化・復号化処理を行う画像処理システムにおいて、
    複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部と、入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、前記符号化側メモリ部へ書き込む画像入力処理部と、予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部と、から構成される画像符号化部と、
    複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部と、入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、前記復号化側メモリ部へ書き込む復号化部と、前記復号化側メモリ部に格納されている画像を読み出して出力処理を行う画像出力処理部と、から構成される画像復号化部と、
    を有することを特徴とする画像処理システム。
  2. 前記符号化側メモリ部は、第1の格納領域と第2の格納領域から構成される場合、前記画像入力処理部は、原画像の輝度成分を上位領域と下位領域に分割し、原画像の色差成分を上位領域と下位領域に分割し、前記第1の格納領域に分割原画像として、上位領域輝度原画データと下位領域色差原画データを格納し、前記第2の格納領域に分割原画像として、下位領域輝度原画データと上位領域色差原画データを格納することを特徴とする請求項1記載の画像処理システム。
  3. 前記符号化部は、上位領域輝度原画データに対応する分割参照画像として、下位領域にまたがって、上位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域輝度参照画データを前記第1の格納領域に格納し、下位領域色差原画データに対応する分割参照画像として、上位領域にまたがって、下位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域色差参照画データを前記第1の格納領域に格納し、下位領域輝度原画データに対応する分割参照画像として、上位領域にまたがって、下位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域輝度参照画データを前記第2の格納領域に格納し、上位領域色差原画データに対応する分割参照画像として、下位領域にまたがって、上位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域色差参照画データを前記第2の格納領域に格納することを特徴とする請求項2記載の画像処理システム。
  4. 前記復号化側メモリ部は、第1の格納領域と第2の格納領域から構成される場合、前記復号化部は、復号化画面の輝度成分を上位領域と下位領域に分割し、復号化画面の色差成分を上位領域と下位領域に分割し、前記第1の格納領域に分割復号化データとして、上位領域輝度復号化データと下位領域色差復号化データを格納し、前記第2の格納領域に下位領域輝度復号化データと上位領域色差復号化データを格納することを特徴とする請求項1記載の画像処理システム。
  5. 画像信号の符号化処理を行う画像符号化装置において、
    複数の格納領域を持ち、データ格納処理を行う符号化側メモリ部と、
    入力した原画像を複数領域に分割して分割原画像を生成し、同一の格納領域中には、同じ分割原画像の輝度データと色差データを配置しないように分割原画像を分散して、前記符号化側メモリ部へ書き込む画像入力処理部と、
    予測符号化を行う場合には、分割原画像の予測符号化に必要な情報が含まれるように参照画像を分割して、分割参照画像を生成し、対応する分割原画像が格納されている領域に分割参照画像を格納し、格納されている画像を読み出して符号化処理を行って符号化データを生成する符号化部と、
    を有することを特徴とする画像符号化装置。
  6. 前記符号化側メモリ部は、第1の格納領域と第2の格納領域から構成される場合、前記画像入力処理部は、原画像の輝度成分を上位領域と下位領域に分割し、原画像の色差成分を上位領域と下位領域に分割し、前記第1の格納領域に分割原画像として、上位領域輝度原画データと下位領域色差原画データを格納し、前記第2の格納領域に分割原画像として、下位領域輝度原画データと上位領域色差原画データを格納することを特徴とする請求項5記載の画像符号化装置。
  7. 同一の前記格納領域中に、同じ前記分割参照画像の輝度データと色差データを配置しないように前記分割参照画像を分散して、前記符号化側メモリ部へ書き込まれることを特徴とする請求項5記載の画像符号化装置。
  8. 前記符号化部は、上位領域輝度原画データに対応する分割参照画像として、下位領域にまたがって、上位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域輝度参照画データを前記第1の格納領域に格納し、下位領域色差原画データに対応する分割参照画像として、上位領域にまたがって、下位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域色差参照画データを前記第1の格納領域に格納し、下位領域輝度原画データに対応する分割参照画像として、上位領域にまたがって、下位領域輝度原画データの予測符号化を行う際に必要な水平ラインまでを含む下位領域輝度参照画データを前記第2の格納領域に格納し、上位領域色差原画データに対応する分割参照画像として、下位領域にまたがって、上位領域色差原画データの予測符号化を行う際に必要な水平ラインまでを含む上位領域色差参照画データを前記第2の格納領域に格納することを特徴とする請求項7記載の画像符号化装置。
  9. 画像信号の復号化処理を行う画像復号化装置において、
    複数の格納領域を持ち、データ格納処理を行う復号化側メモリ部と、
    入力した符号化データを分割し復号化して分割復号化データを生成し、同一の格納領域中には、同じ分割復号化データの輝度データと色差データを配置しないように分割復号化データを分散して、前記復号化側メモリ部へ書き込む復号化部と、
    前記復号化側メモリ部に格納されている画像を読み出して出力処理を行う画像出力処理部と、
    を有することを特徴とする画像復号化装置。
  10. 前記復号化側メモリ部は、第1の格納領域と第2の格納領域から構成される場合、前記復号化部は、復号化画面の輝度成分を上位領域と下位領域に分割し、復号化画面の色差成分を上位領域と下位領域に分割し、前記第1の格納領域に分割復号化データとして、上位領域輝度復号化データと下位領域色差復号化データを格納し、前記第2の格納領域に下位領域輝度復号化データと上位領域色差復号化データを格納することを特徴とする請求項9記載の画像復号化装置。
JP2004221741A 2004-07-29 2004-07-29 画像処理システム Expired - Fee Related JP4476065B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004221741A JP4476065B2 (ja) 2004-07-29 2004-07-29 画像処理システム
US11/010,322 US7336834B2 (en) 2004-07-29 2004-12-14 Image processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004221741A JP4476065B2 (ja) 2004-07-29 2004-07-29 画像処理システム

Publications (2)

Publication Number Publication Date
JP2006042143A true JP2006042143A (ja) 2006-02-09
JP4476065B2 JP4476065B2 (ja) 2010-06-09

Family

ID=35732267

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004221741A Expired - Fee Related JP4476065B2 (ja) 2004-07-29 2004-07-29 画像処理システム

Country Status (2)

Country Link
US (1) US7336834B2 (ja)
JP (1) JP4476065B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295423A (ja) * 2006-04-27 2007-11-08 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
JP2008059496A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置
JP2008061156A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319795B2 (en) 2003-09-23 2008-01-15 Broadcom Corporation Application based adaptive encoding
US7949054B2 (en) 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
US8432975B2 (en) * 2008-01-18 2013-04-30 Mediatek Inc. Apparatus and method for processing a picture frame
CN101883235B (zh) * 2009-05-04 2012-07-25 承景科技股份有限公司 有效使用记忆体频宽的记忆体存取系统及方法
JP5662233B2 (ja) * 2011-04-15 2015-01-28 株式会社東芝 画像符号化装置及び画像復号装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05183891A (ja) 1991-12-27 1993-07-23 Sony Corp 動画像符号化装置
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
KR100440522B1 (ko) * 1996-08-29 2004-10-15 마츠시타 덴끼 산교 가부시키가이샤 화상메모리특유의하드웨어스펙에기인하는각종지연요인을저장방식및판독방식의개선에의해극복한화상복호장치및화상메모리
US5854902A (en) * 1996-10-31 1998-12-29 Sensormatic Electronics Corporation Video data capture and formatting in intelligent video information management system
JPH11341496A (ja) * 1998-05-28 1999-12-10 Matsushita Electric Ind Co Ltd 画像処理方法,画像処理装置,及びデータ記憶媒体
US6618508B1 (en) * 1999-07-09 2003-09-09 Ati International Srl Motion compensation device
JP2001275115A (ja) * 2000-03-23 2001-10-05 Nec Corp 電子すかしデータ挿入装置および検出装置
FI115946B (fi) * 2000-05-05 2005-08-15 Nokia Corp Menetelmä virheiden havaitsemiseksi videoinformaatiosta

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295423A (ja) * 2006-04-27 2007-11-08 Sony Corp 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US8279942B2 (en) 2006-04-27 2012-10-02 Sony Corporation Image data processing apparatus, image data processing method, program for image data processing method, and recording medium recording program for image data processing method
JP2008059496A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置
JP2008061156A (ja) * 2006-09-04 2008-03-13 Fujitsu Ltd 動画像処理装置

Also Published As

Publication number Publication date
US20060023954A1 (en) 2006-02-02
US7336834B2 (en) 2008-02-26
JP4476065B2 (ja) 2010-06-09

Similar Documents

Publication Publication Date Title
US7899115B2 (en) Method for scalably encoding and decoding video signal
KR101985004B1 (ko) 부호화 장치, 복호화 장치, 부호화 방법, 복호화 방법, 및 컴퓨터 판독가능 기억 매체
JP3552811B2 (ja) ディジタル映像信号符号化装置および復号化装置
KR101605220B1 (ko) 화상 처리 장치, 디코드 방법, 프레임 내 복호 장치, 프레임 내 복호 방법, 및 프레임 내 부호화 장치
US20040008893A1 (en) Stereoscopic image encoding and decoding device
CN1997155B (zh) 混合多比特深度视频处理体系结构
US8170121B2 (en) H.264/AVC based approach to scalable video compression
US20040028142A1 (en) Video decoding system
JP2011147189A (ja) トランスコード装置及びトランスコード方法
JPWO2013031071A1 (ja) 動画像復号装置、動画像復号方法、及び集積回路
JP4476065B2 (ja) 画像処理システム
JP2007251605A (ja) 復号装置、復号方法、プログラムおよび記録媒体
JP2010109572A (ja) 画像処理装置、及び方法
JP4942610B2 (ja) トランスコード装置及びトランスコード方法
US8325813B2 (en) Moving image coding apparatus
JP2863096B2 (ja) 並列処理による画像復号装置
US9445122B2 (en) Encoding apparatus, encoding method, and a computer-readable recording medium
KR100328199B1 (ko) 다채널 영상 인코딩 시스템 및 다채널 인코딩용 메모리운영방법
US20050025240A1 (en) Method for performing predictive picture decoding
JP5228077B2 (ja) 立体3dビデオイメージディジタルデコーディングのシステムおよび方法
JP2011091592A (ja) 画像符号化装置、符号変換装置、画像記録装置、画像再生装置、画像符号化方法及び、集積回路
JP2002199405A (ja) 動画像再生装置、及び動画像再生方法
JP6519185B2 (ja) 動画像符号化装置
JP2022017254A (ja) 符号化装置、復号装置及びプログラム
JP2001103486A (ja) ビデオ信号復号装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051125

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100309

R150 Certificate of patent or registration of utility model

Ref document number: 4476065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees