JP2008205534A - 符号化方式変換装置 - Google Patents

符号化方式変換装置 Download PDF

Info

Publication number
JP2008205534A
JP2008205534A JP2007035877A JP2007035877A JP2008205534A JP 2008205534 A JP2008205534 A JP 2008205534A JP 2007035877 A JP2007035877 A JP 2007035877A JP 2007035877 A JP2007035877 A JP 2007035877A JP 2008205534 A JP2008205534 A JP 2008205534A
Authority
JP
Japan
Prior art keywords
filter strength
filter
encoding method
deblocking filter
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007035877A
Other languages
English (en)
Other versions
JP4847890B2 (ja
JP2008205534A5 (ja
Inventor
Hiroshi Tasaka
啓 田坂
Tatsuro Shigesato
達郎 重里
Kazuo Saigo
賀津雄 西郷
Hideyuki Okose
秀之 大古瀬
Koji Arimura
耕治 有村
Hiroshi Arakawa
博 荒川
Hisaki Maruyama
悠樹 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007035877A priority Critical patent/JP4847890B2/ja
Priority to US12/031,061 priority patent/US8045821B2/en
Publication of JP2008205534A publication Critical patent/JP2008205534A/ja
Publication of JP2008205534A5 publication Critical patent/JP2008205534A5/ja
Application granted granted Critical
Publication of JP4847890B2 publication Critical patent/JP4847890B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】MPEGストリームを変換する従来の符号化方式変換装置では、第2の符号化方式におけるループ内デブロックフィルタの強度を適切に設定することができない。
【解決手段】第1符号化方式で符号化された第1符号化データを、第2符号化データに変換する符号化方式変換装置であって、第1符号化データを復号化するH.264デコーダ101と、第1符号化データを復号化することによって得られるデコード情報のうち第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタの強度算出部103と、デブロックフィルタの強度算出部103により算出されたフィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ104とを備える。
【選択図】図1

Description

本発明は、動画像の画像情報を符号化する符号化方式変換装置に関し、特に量子化されたDCT係数などを可変長符号化して出力する符号化方式変換装置に関する。
動画像の符号化技術において、符号化効率の向上が図られている。これにより、携帯電話機で滑らかな動きのテレビ電話を実現したり、高画質な動画像を撮影したりすることも可能になりつつある。このような符号化技術の進展において、異なる機器間での動画像データの相互運用、長時間録画などを目的に、異なる符号化技術の間での変換の必要性が生じている。例えば、地上デジタルTVでは、MPEG2と呼ばれる動画像符号化技術が用いられている。これらのTV番組をHDDレコーダ等に記録する際に、放送波のMPEG2より低符号化レートの記録方式(同一方式間での符号化レートの変更を含む)を選択すれば、より長時間の録画が可能となる。
画像領域を特定の画像ブロックに分割し、面内予測/面間予測した予測残差を直行変換、量子化した後に可変長符号化して出力するMPEG2などに代表される符号化装置(以下、MPEG系符号化装置)では、復号化信号にブロックノイズと呼ばれる特有のノイズが発生する傾向がある。そこで、異なる符号化技術の間での変換の際に、第1の符号化機器から復号化信号にポストフィルタを実施し、ブロックノイズを軽減したあと第2の符号化手段により符号化する技術が開示されている(特許文献1参照。)。
これは、復号化信号の符号化タイプの検出を行い、検出された符号化タイプが面内予測か面間予測かに応じて、ポストフィルタ強度を決定している。
特開2003−23640号公報
しかしながら、符号化技術の進展において、H.264/AVC規格では、復号化信号にブロックノイズの発生を押さえる目的で、符号化器内で用いるループ内フィルタが導入された。このフィルタ(以下、デブロックフィルタ)は、マクロブロック境界及びブロック境界の位置(以下、フィルタ位置)の両方に処理をするか、マクロブロックの境界位置にのみ処理をするか、またはOFF(デブロック処理を行わない)にするかを指定できる。また、H.264/AVCの規格上、フィルタ強度は量子化パラメータに連動して変化するが、オフセット(フィルタ強度オフセット)を指定することも可能である。
そのため、先行技術のように復号化信号の符号化タイプにのみ応じてフィルタ強度を調整していたのでは、復号化信号の符号化タイプのみの情報しか使わないため、H.264/AVCのデブロックフィルタのフィルタ位置、フィルタ強度オフセットを適切に決定できないという課題がある。
また、ブロックノイズは、一般的に低符号化レートの時ほど目立ち易いので、レート情報などに依存せず、復号化信号の符号化タイプの情報のみでフィルタ強度を決定すると、残差信号に十分な符号量が割り当てられている高符号化レートでは、画像のボケが目立つなどの問題が生じる。
上記課題に鑑み、本発明は、デブロックフィルタのフィルタ位置およびフィルタ強度オフセットを適正に設定でき、高符号化レートでも画像にボケを生じない符号化方式変換装置を提供することを目的とする。
上記課題を解決するために、本発明の符号化方式変換装置は、第1符号化方式で符号化された第1符号化データを、第2符号化データに変換する符号化方式変換装置であって、前記第1符号化データを復号化する復号化手段と、前記第1符号化データを復号化することによって得られるデコード情報のうち前記第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出手段と、前記デブロックフィルタ強度算出手段により算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ手段とを備えることを特徴とする。
なお、本発明は、このような符号化方式変換装置として実現することができるだけでなく、このような符号化方式変換装置が備える特徴的な手段をステップとする画像情報符号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、CD−ROM等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
以上のように本発明によれば、第1の画像圧縮方式を第1の方式を含む第2の画像圧縮方式に変換する符号化方式変換装置において、第2の圧縮方式の規格で定められたデブロックのフィルタ位置および、フィルタ強度オフセットを適正に設定できる。
(実施の形態)
図1は、第1の画像圧縮符号化方式を第2の画像圧縮符号化方式に変換する符号化方式変換装置の概略的構成を示すブロック図である。ここで、第1の画像圧縮方式は例えば、低解像度のH.264/AVC、第2の画像圧縮方式は高解像度のH.264/AVCであるとする。図1に示す本実施の形態の符号化方式変換装置は、復号化信号の符号化タイプだけでなく、さらにそれ以外の情報に基づいてエンコーダ内のデブロックフィルタの強度及びフィルタ位置を決定する符号化方式変換装置であって、H.264デコーダ101、H.264エンコーダ102、デブロックフィルタの強度算出部103、デブロックフィルタ104、復号情報解析部105及び符号情報解析部106を備える。なお、ここではH.264デコーダ101を備え、第1の画像圧縮方式をH.264/AVCとしたが、本発明はこれに限定されず、H.264デコーダ101の代わりにMPEG2デコーダを備えることとし、第1の画像圧縮方式をMPEG2としてもよい。
H.264デコーダ101は、前記第1符号化データを復号化する復号化手段の一例であり、例えば、高圧縮低解像度のH.264ストリームをデコードする。その際に復号情報解析部105は、前記第1符号化データを復号化することによって得られるシンタックス・エレメントと付加情報とから、符号量、量子化パラメータの平均値、イントラマクロブロック数、動きベクトルの絶対値の総和及び動きベクトルの単純総和のいずれかを前記デコード情報として算出する復号情報解析手段の一例であり、復号化された低解像度H.264ストリームからH.264デコード情報を抽出し、デブロックフィルタの強度算出部103内のメモリに格納する。H.264デコード情報には、符号量、量子化スケール(量子化パラメータ)、イントラマクロブロック数、動きベクトル(絶対値総和、単純総和)、符号化タイプ(ピクチャタイプ、またはスライスタイプ)がある。具体的に、復号情報解析部105は、デコードされた各SyntaxElement(シンタックス・エレメント)を復号情報解析部105内のメモリに格納する。SyntaxElementとは、符号化時に記録/伝送される情報全般をさすものとする。復号情報解析部105は、SyntaxElementの集計情報として、符号量、ピクチャ単位などの所定の単位で、量子化スケールの平均値、イントラマクロブロック数、動きベクトル(絶対値総和、単純総和)、ピクチャタイプを算出し、これらを前記所定の単位でデブロックフィルタの強度算出部103内のメモリに格納する。ここでは、SyntaxElementから符号量を集計するとしたが、ストリームのヘッダ情報から求めてもよく、集計方法はこれらに限定されない。更に、ここでは、ピクチャ単位で管理するとするが、より小規模/大規模な単位の管理でもよい。例えばマクロブロック単位、マクロブロックライン単位、スライス単位、フィールド単位、フレーム単位などがあげられる。第1の画像圧縮符号化方式がMPEG2であり、MPEG2デコード情報を解析する場合の方法も同様である。復号情報解析部105は、抽出されたH.264デコード情報から、デブロックフィルタの強度を決定するための評価値を作成し、デブロックフィルタの強度算出部103に出力する。なお、ここでは、H.264デコード情報をピクチャ単位で管理するが、より小規模または大規模な単位で管理してもよい。例えば復号情報解析部105は、H.264デコード情報を、マクロブロック単位、マクロブロックライン単位などを単位として管理してもよい。
次に、符号情報解析部106は、前記第2符号化データを生成する際に得られるシンタックス・エレメントと付加情報とから、量子化パラメータの平均値、目標符号量及び符号化ターゲットレートのいずれかを符号化情報として算出する符号化情報解析手段の一例であり、H.264の符号化情報として、ピクチャ単位またはスライス単位の量子化パラメータ、符号化タイプ、目標符号量、ターゲットレートなどをH.264エンコーダ102から取得し、デブロックフィルタの強度算出部103内のメモリに、ピクチャ単位またはスライス単位で格納する。具体的には、符号情報解析部106は、H.264エンコーダで符号化した際の各SyntaxElementを符号情報解析部106内のメモリに格納する。符号情報解析部106は、SyntaxElementとストリームのヘッダ情報である付加情報からの集計情報として、ピクチャ単位などの所定の単位で、量子化パラメータの平均値、目標符号量、符号化ターゲットレートを強度算出部103内のメモリに格納する。また、符号情報解析部106は、H.264エンコーダ102から取得されたH.264の符号化情報から、デブロックフィルタの強度を決定するための評価値を作成し、デブロックフィルタの強度算出部103に出力する。
デブロックフィルタの強度算出部103は、前記第1符号化データを復号化することによって得られるデコード情報のうち前記第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出手段の一例であり、これらのH.264デコード情報とH.264の符号化情報とにより、H.264のデブロックフィルタの強度に関するパラメータであるslice_alpha_c0_offset_div2(以下、αと記載する)、slice_beta_offset_div2(以下、βと記載する)を決定する。デブロックフィルタ104は、前記デブロックフィルタ強度算出手段により算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ手段の一例であり、ブロック境界の高周波成分を低減する。なお、デブロックフィルタの強度算出部103では、H.264デコード情報とH.264の符号化情報とをピクチャ単位/スライス単位で格納するとしたが、より小規模/大規模な単位で格納してもよい。
図2は、図1に示した符号化方式変換装置に、さらに、デブロックフィルタ処理を施す位置を決定する処理部を備えた符号化方式変換装置の構成を示すブロック図である。図2に示す符号化方式変換装置と図1に示した符号化方式変換装置との相違点は、図2の符号化方式変換装置が、H.264デコーダ101、H.264エンコーダ102、デブロックフィルタの強度算出部103、デブロックフィルタ104、復号情報解析部105及び符号情報解析部106に加えて、さらに、デブロックフィルタ位置決定部109を備える点である。ただし、図2のH.264エンコーダ102は、デブロックフィルタ104に加えて、さらに、量子化部107及びフィルタ強度調節部108を備える点が、図1のH.264エンコーダ102と異なる。デブロックフィルタ位置決定部109は、復号情報解析部105から得られるH.264デコード情報とH.264エンコーダ102から得られるH.264の符号化情報とにより、deblocking_filter_control_present_flag(以下、CFLAGと記載する)、disable_deblocking_filter_idc(以下、IDCと記載する)を決定する。(以下、「α」「β」「CFLAG」及び「IDC」の4つをデブロックフィルタの強度変数という)ここで、CFLAGとは、IDCをH.264ストリーム上で送信するか否かを示すパラメータである。IDCとは、デブロックフィルタを実施する画像の位置を示すパラメータである。具体的には、IDCの値が0の場合は、ブロック境界とマクロブロック境界とにデブロックフィルタを実施する。また、IDCの値が1の場合はデブロックフィルタを実施しない。IDCの値が2の場合は、スライス境界にデブロックフィルタを実施しない。
図3(a)は、デブロックフィルタ位置決定部109が復号情報解析部105から取得したH.264のデブロックフィルタ位置に応じて、デブロックフィルタ処理を行う場合のデブロックフィルタ位置の一例を示す図である。例えば、デブロックフィルタ位置決定部109は、符号化方式変換装置が高圧縮低解像度のH.264動画像データを高解像度のH.264動画像データに変換する場合には、より多くのブロック境界にデブロックフィルタ処理が行われるようにデブロックフィルタ位置を決定する。例えば、復号情報解析部105から得られるIDCが1の場合には、デブロックフィルタ104におけるIDCが0になるようにデブロックフィルタ位置を決定する。
図3(b)は、デブロックフィルタ位置決定部109が復号情報解析部105から得られる第1の動画像データのブロック境界と、H.264エンコーダ102から得られる第2の動画像データのブロック境界とから決定するデブロックフィルタ位置の一例を示す図である。デブロックフィルタ位置決定部109は、前記復号化情報解析手段と前記符号化情報解析手段とによって取得されたブロックサイズのうち、いずれか一方のブロックサイズのブロック境界を、デブロックフィルタを施すべきデブロックフィルタ位置と決定する第1デブロックフィルタ位置決定手段の一例である。同図では、第一の画像符号化方式の直行変換サイズと第二の画像符号化方式の直行変換サイズのブロック境界を示す。ここでは、マクロブックを16×16画素、第一の画像符号化方式の直行変換サイズを8×8、第二の画像符号化方式の直行変換サイズ4×4として説明する。
一般的にブロックノイズは、直行変換サイズの画素境界位置に生じる。この場合は、第二の画像符号化方式の直行変換サイズである4×4単位の境界位置にデブロックフィルタを実施することで、第一の画像符号化方式の直行変換サイズである8×8サイズのブロックのブロックノイズを含めて軽減できる。しかし、マクロブックを16×16画素、第一の画像符号化方式の直行変換サイズを4×4、第二の画像符号化方式の直行変換サイズ8×8の場合、第二の画像符号化方式の直行変換サイズに合わせてデブロックフィルタを実施しても、第一の画像符号化方式の直行変換サイズのブロックノイズを軽減できない。そこで、第一の画像符号化方式の直行変換サイズと第二の画像符号化方式の直行変換サイズの小さい方の位置に合わせて、デブロックフィルタを実施することで、両方のサイズのブロックノイズを軽減できる。
図4は、図1に示した復号情報解析部105のより詳細な構成を示すブロック図である。同図に示すように、図1に示した復号情報解析部105は、イントラMB数フィルタ強度評価値生成部320、符号量フィルタ強度評価値生成部321、動きベクトルフィルタ強度評価値生成部322、及び符号化領域タイプフィルタ強度評価値生成部323を備える。
同図において、H.264デコーダ101から出力されるイントラMB数、符号量、動きベクトル、ピクチャタイプまたはスライスタイプ及び量子化スケールの各項目は、それぞれを評価するブロックに入力される。すなわち、イントラMB数は、イントラMB数フィルタ強度評価値生成部320に入力される。量子化ステップと符号量は、符号量フィルタ強度評価値生成部321に入力される。動きベクトルは、動きベクトルフィルタ強度評価値生成部322に入力される。ピクチャタイプとスライスタイプは、符号化領域タイプフィルタ強度評価値生成部323にそれぞれ入力される。同様にH.264エンコーダ102から出力されるピクチャ/スライスの量子化パラメータ、ピクチャタイプ、スライスタイプとターゲットレート(シーケンス)、目標符号量(ピクチャ)は、図示しない画像符号化情報フィルタ強度評価値生成部313に入力される。これらの5つの評価値に対して、デブロックフィルタの強度算出部103で、重み付け加算した総合評価値(TotalCost)を生成する。デブロックフィルタの強度算出部103では、総合評価値とフィルタ強度(α、β)との関係をあらかじめ定めた、内部に保持しているテーブルを検索して、生成された総合評価値に対応するフィルタ強度をH.264エンコーダ102に出力する。
なお、図2では、別途備えられたデブロックフィルタ位置決定部109においてデブロックフィルタ位置を決定するとしたが、ここでは、デブロックフィルタの強度算出部103は、図1において説明したデブロックフィルタの強度算出部103およびデブロックフィルタ位置決定部109の両方の処理を行う。すなわち、このデブロックフィルタの強度算出部103が出力するフィルタ強度には、H.264のCFLAG、IDC、α、βに相当し、フィルタ位置を含む。
次に、各フィルタ強度評価値生成部の具体的動作について述べる。図5は、図4に示した各フィルタ強度評価値生成部及びフィルタ強度決定器が保持するフィルタ強度評価値対応表の一例を示す図である。事前にシミュレーションを行い、入力項目、例えば、量子化スケールとフィルタ強度評価値の関係をデータベース化しておき、最適なフィルタ強度と入力項目との関係を示す表を作成する。各フィルタ強度評価値生成部は、入力項目に応じてフィルタ強度評価値をテーブル引きすることで評価値を求める。
<イントラMB数に基づくフィルタ強度評価値算出>
図5(a)は、イントラMB数フィルタ強度評価値生成部320が保持するフィルタ強度評価値対応表の一例を示す図である。第1の画像圧縮方式において、イントラMB数が多い場合には、ブロックノイズが目立ちやすい。面内予測において、予測誤差を直交変換するH.264に対して、MPEG系の画像符号化方式では入力された画素値をそのまま直交変換するので情報量が多く、情報量を削減すると量子化誤差が目立ちやすい。このような場合は、第2の画像圧縮方式のH.264エンコーダ102内のデブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できる。イントラMB数フィルタ強度評価値生成部320は、第1の画像圧縮方式において、イントラMB数があらかじめ定めた所定の閾値を超えた場合に、第2の画像圧縮方式でデブロックフィルタの強度を大きくする。所定の閾値を超えた場合とは、画面の3/4以上のMBがイントラMBである場合などを意味する。画面中央の矩形領域の3/4以上のMBがイントラMBである場合としてもよい。その際に、イントラMB数フィルタ強度評価値生成部320は、デコード情報から得られたイントラMB数で、図5(a)に示したフィルタ強度評価値対応表をテーブル引きすることによって、フィルタ強度評価値を算出することができる。
<符号化領域タイプに基づくフィルタ強度評価値算出>
図5(b)は、符号化領域タイプフィルタ強度評価値生成部323が保持するフィルタ強度評価値対応表の一例を示す図である。例えば、符号化領域タイプフィルタ強度評価値生成部323は、第1の画像圧縮方式でのピクチャタイプに応じて、H.264エンコーダ102でのフィルタ強度評価値を同図に示すフィルタ強度評価値対応表からテーブル引きする。例えば、第1の画像圧縮方式でIピクチャであれば、面内予測されているので、イントラMBと同じ理由で量子化誤差が目立ちやすい。このような場合、デブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できるので、フィルタ強度評価値対応表をテーブル引きすることによって、フィルタ強度評価値5を出力する。
<量子化スケールに基づくフィルタ強度評価値算出>
図5(c)は、符号量フィルタ強度評価値生成部321が保持するフィルタ強度評価値対応表の一例を示す図である。デブロックフィルタの強度算出部103は、前記デコード情報である前記量子化パラメータの平均値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第1の画像圧縮方式において、量子化を荒くおこなった場合、つまり、量子化ステップが大きい場合には、復号化信号にブロックノイズが目立ちやすくなる。このように量子化パラメータが大きい場合には、デブロックフィルタの強度算出部103は、第2の画像圧縮方式において、デブロックフィルタの強度を強くする。そのために、符号量フィルタ強度評価値生成部321は、図5(c)に示すような第1の画像圧縮方式の特性に応じた量子化ステップの閾値を設け、その閾値と量子化ステップを比較する。閾値を超える場合には、第2の画像圧縮方式の特性に応じたデブロックフィルタの強度を強くするためのフィルタ強度評価値を出力する。このフィルタ強度評価値が、デブロックフィルタの強度算出部103で、重み付け加算によって総合評価されることにより、第1の画像圧縮方式にも第2の画像圧縮方式にも適合するようデブロックフィルタの強度を強めブロックノイズを軽減することができる。通常、ブロックノイズは、画像符号化処理単位の画像領域境界に生じやすい。例えば、マクロブロック同士の境界や、直行変換サイズのブロックの境界が上げられる。そこで、第1の画像圧縮方式と第2の画像圧縮方式の画像符号化処理単位及び、直行変換サイズに合わせて、第2の画像圧縮方式でのデブロックフィルタの適用位置を切り替えるとより効果が高い。
図5(c)に示すように、第1の画像圧縮方式の量子化スケールが閾値10より小さいときは、フィルタ強度評価値を0とし、第1の画像圧縮方式の量子化スケールが閾値11より大きく、閾値20より小さいときはフィルタ強度評価値を1とする。このフィルタ強度評価値により実際のフィルタ強度を決定する。フィルタ強度はフィルタ評価値に比例するとしてもいいし、関数により変換してもよい。また、他のフィルタ強度評価値とおもみ付け加算してもよい。ここでは、テーブル引きを示したが、それを表す近似直線などの関数としてもよい。
<コンプレキシティに基づくフィルタ強度評価値算出>
図5(d)は、符号量フィルタ強度評価値生成部321が保持するフィルタ強度評価値対応表の一例を示す図である。このフィルタ強度評価値対応表は、量子化スケールと符号量の積であるコンプレキシティと、フィルタ強度評価値との対応を示すテーブルである。デブロックフィルタの強度算出部103は、前記デコード情報である前記量子化パラメータの平均値と前記符号量との演算によって得られるコンプレキシティの値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第1の画像圧縮方式において、量子化スケールと符号量の積であるコンプレキシティが大きい場合つまり、対象画像が圧縮し難い場合には、ブロックノイズが目立ちやすい。このとき、第2の画像圧縮方式において、デブロックフィルタの強度を強くすることでブロックノイズが軽減できる。逆に、量子化スケールと符号量の積が小さい場合つまり、対象画像が圧縮し易い場合には、画像に対し十分な符号量が割り当てられ、ブロックノイズが発生しにくい。このような場合にデブロックフィルタを用いると画像のブロック境界にボケが生じるので、適用しない、または、フィルタ強度をコンプレキシティに応じて弱める。量子化スケールと符号量の積は一般的に画像の複雑度を示すコンプレキシティと呼ばれる。コンプレキシティの算出は、量子化ステップと符号量とを重み付け加算することで簡略化してもよい。また、関数による所定の簡易演算でもよい。評価値の算出方法は、量子化ステップによる算出方法と同様に、図5(d)に示すようなテーブルを作成することでおこなうことができる。
<動きベクトルの総和に基づくフィルタ強度評価値算出>
図5(e)は、動きベクトルフィルタ強度評価値生成部322が保持するフィルタ強度評価値対応表の一例を示す図である。デブロックフィルタの強度算出部103は、前記デコード情報である前記動きベクトルの絶対値の総和及び前記動きベクトルの単純総和のいずれかについて、その値が大きいほど、高いフィルタ強度を算出する前記デブロックフィルタ強度算出手段の一例である。第1の画像圧縮方式において、ピクチャ単位またはスライス単位などでの動きベクトルの総和が大きい場合、つまり画面全体が一定方向に動いている場合、動きベクトルが正しいブロックを示さないので、ブロックノイズが目立ちやすい。このような場合は、第2の画像圧縮方式でデブロックフィルタの強度を大きくすることで、ブロックノイズを軽減できる。量子化ステップによる算出方法と同様に図5(e)に示すようなテーブルを作成することでフィルタ強度評価値を算出することができる。
なお、図示しないが、画像符号化情報フィルタ強度評価値生成部313でも上記と同様に符号化情報のそれぞれについてフィルタ強度評価値対応表を保持し、各符号化情報からフィルタ強度評価値を算出し、デブロックフィルタの強度算出部103に出力する。
<フィルタ強度決定>
図5(f)は、フィルタ強度決定器が保持する対応表の一例を示す図である。図5(f)の対応表は、各フィルタ強度評価値生成部から出力されたフィルタ強度評価値の重み付け加算値と、フィルタ強度との関係を示している。デブロックフィルタの強度算出部103は、例えば、前述の動きベクトルの総和による評価値、イントラMB数による評価値、コンプレキシティによる評価値、量子化スケールによる評価値をそれぞれ、MVCost、IntraCost、ComplexityCost、QuantCostと表記する。次にこれらの評価値の重み付け加算値をTotalCostと表す。
TotalCostは、以下の式より表現する。
TotalCost=a0×MVCost+a1×IntraCost+a2×ComplexityCost+a3×QuantCost
ここで、a0,a1,a2,a3は各評価値への重み付けの係数を示す。
これらの係数は、画質への影響度を加味し、任意に設定してもよい。
一例としては、符号化レートが低い場合には、量子化誤差によるブロックノイズが支配的となるので、a0を0、a1を0、a2を1、a3を1などとし、影響の大きい係数の重みを大きく設定するとよい。
<フィルタ強度調節>
フィルタ強度調節部108は、前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータが第2符号化方式の規格で定められた値の範囲を越える場合、前記フィルタ強度を変化させず、かつ、第2符号化方式の規格で定められた範囲内の値をとる量子化パラメータを選択し、選択した量子化パラメータから決まる量子化ステップに、量子化ステップの倍率である量子化マトリックスを乗算して、乗算後の量子化ステップが、前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータに対応する値となるよう調節するフィルタ強度調節手段の一例であり、H.264エンコーダ102は、前記フィルタ強度調節手段によって選択された第2符号化方式の規格で定められた範囲内の値をとる前記量子化パラメータと、乗算された前記量子化マトリックスの値とを符号化する符号化手段の一例である。すなわち、フィルタ強度調節部108は、disable_deblocking_filter_idcが1以外の場合、つまりデブロックフィルタ処理を実行する際、フィルタ強度の初期値を、量子化パラメータQPからテーブル引きすることで決定する。この初期値に対して、上記のFilterOffsetAとFilterOffsetBにより強度を微調整することができる。FilterOffsetAとFilterOffsetBは共に−6から6までの整数値をとり、全部で13段階の調整が可能である。初期値のQPとFilterOffsetAの加算により決定される値INDEXにより決まるフィルタ強度をα、QPとFilterOffsetBの加算により決定される値INDEXにより決まるフィルタ強度をβとする。具体例を示す。仮に量子化パラメータが30、FilterOffsetAが1である場合、INDEXは、30+1=31となり、量子化パラメータ31の場合の初期フィルタ強度αが設定される。図6は、INDEXとフィルタ強度αとの対応を示すテーブルである。同図において、INDEXは、符号化される量子化パラメータである。このことは、量子化パラメータが30の時は、量子化パラメータが24から36までの各QPに対応する初期フィルタ強度しか設定できないことを意味する。βもαと同様に決定される。また、H.264では、weightScaleと呼ばれる量子化マトリックスが存在する。これは、量子化の際に、DCT係数の周波数成分毎に量子化ステップの倍率を設定するための仕組みである。この仕組みにより量子化パラメータが30より小さい場合でも、weightScaleを大きくすると量子化パラメータを36とした場合の量子化スケールを用いて量子化を行うことができる。H.264では量子化パラメータが6大きくなると量子化ステップが2倍になるように設計されている。このことから、量子化パラメータが30の場合でもweightScaleを2倍に設定すると量子化パラメータが36のときの量子化ステップとすることができる。本来weightScaleは、量子化ステップをDCT係数の周波数成分毎に変更し、特定の周波数成分の係数を量子化により保護し、主観画質を向上するために導入された。本発明では、この仕組みを転用することで、デブロックフィルタの強度設定の範囲を拡大する。次に、このことを簡略化した式で再度説明する。H.264では量子化パラメータが6大きくなると量子化ステップが2倍になるように設計されているので、量子化パラメータを量子化ステップに変換する関数は次のように示せる。
Qstep(QP)=weightScale×const×2^((QP−QP%6)/6)
ここで、weightScale は量子化ステップの倍率、constは定数、QP%6はQPを6で割った余りを示す。
上記の式にしたがうとweightScale=2の場合のQstep(30)は、
Qstep(30)=2×const×2^((30−30%6)/6)=2×const×2^5=const×2^6
となる。
また、weightScale=1の場合のQstep(36)は、
Qstep(36)=1×const×2^((36−36%6)/6)=const×2^6
となり、weightScale=2の場合のQstep(30)とweightScale=1の場合のQstep(36)は等しくなる。
これを利用すると、QP36で符号化したい場合、量子化パラメータが30から42までの各QPに対応する初期フィルタ強度しか設定できなかったのに対して、weightScale=2、QP30とすることで、量子化パラメータが24から36までの各QPに対応する初期フィルタ強度が可能となる。同様にweightScale=1/2、QP36とすることで、量子化パラメータが30から42までの各QPに対応する初期フィルタ強度が可能となる。
つまり、weightScaleを変更することで実質的な量子化パラメータ30に相当する量子化ステップ値に保ったまま、見かけのQP(符号化される量子化パラメータ)を変更することができ、規格を満たしたまま、より広くフィルタ強度を設定できることになる。
デブロックフィルタの強度算出部103により決定されたフィルタ強度α、βにより、フィルタ強度調節部108で量子化マトリックス、量子化パラメータ、FilterOffsetA、FilterOffsetBを決定し、量子化部で量子化及び、デブロックフィルタ部でデブロックフィルタを実施する。α、βがH.264エンコーダで決定された量子化パラメータとFilterOffsetA、FilterOffsetBで設定可能な範囲であれば、H.264エンコーダ102は、α、βと量子化パラメータできまるFilterOffsetA、FilterOffsetBを符号化する。設定可能な範囲を超えていた場合は、予め作成しておいたα、βから量子化パラメータと量子化マトリックスを決定するテーブルの量子化パラメータと量子化マトリックスの値を用いて符号化する。同じフィルタ強度を設定する量子化パラメータと量子化マトリックスの組み合わせは多数存在し、図示したテーブルに限定されるものではない。しかし、その組み合わせは量子化パラメータと直前のMBの量子化パラメーとの差がもっと小さいことが規格の性質上望ましい。それは、量子化パラメータは、前マクロブロックの差分値として符号化されるためである。フィルタ強度調節部108は、前記フィルタ強度に対応する量子化パラメータが第2符号化方式の規格で定められた値の範囲を越える場合、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分が最小となるように前記量子化パラメータを選択する前記フィルタ強度調節手段の一例である。また、H.264エンコーダ102は、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分を符号化する前記符号化手段の一例である。図7は、実質的な量子化パラメータが30である場合のweightScaleとフィルタ強度との関係を示す図である。同図では、この場合の見かけの量子化パラメータとweightScaleの組み合わせとその際の強度αを示している。実質的な量子化パラメータを30に保ったまま、デブロックフィルタを図6に示した規格の初期値より弱く掛けたい場合は、見かけの量子化パラメータが24、18、12の位置のweightScaleを利用すればよい。この場合、利用されるweightScaleに対応した見かけの量子化パラメータの値(24、18、12のいずれか)が符号化される。このようにすることで、フィルタ強度調節部108は、実質的な量子化パラメータを30に保ったまま、量子化パラメータが24、18、12に対応する強度αでデブロックフィルタをかけることができる。加えて、FilterOffsetAを設定することで、より細かくフィルタ強度を調整できる。デブロックフィルタを図6に示した規格の初期値より強く掛けたい場合の説明は同様の原理で実施できるのでここでは、省略する。
なお、ブロック図(図1、図2及び図4など)の各機能ブロックは典型的には集積回路であるLSIとして実現される。これらは個別に1チップ化されても良いし、一部又は全てを含むように1チップ化されても良い。例えばメモリ以外の機能ブロックが1チップ化されていても良い。
ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ1チップ化せずに別構成としても良い。
本発明は、異なる機器間での動画像データの相互運用などに適用でき、特にテレビ電話を行う携帯電話機、ハイビジョン放送などの高解像度画像の長時間録画などを行うHDDレコーダ、DVDレコーダ等に適用できる。
第1の画像圧縮符号化方式を第2の画像圧縮符号化方式に変換する符号化方式変換装置の概略的構成を示すブロック図である。 図1に示した符号化方式変換装置に、さらに、デブロックフィルタ処理を施す位置を決定する処理部を備えた符号化方式変換装置の構成を示すブロック図である。 (a)は、デブロックフィルタ位置決定部が復号情報解析部から取得したH.264のデブロックフィルタ位置に応じて、デブロックフィルタ処理を行う場合のデブロックフィルタ位置の一例を示す図である。(b)は、デブロックフィルタ位置決定部が復号情報解析部から得られる第1の動画像データのブロック境界と、H.264エンコーダから得られる第2の動画像データのブロック境界とから決定するデブロックフィルタ位置の一例を示す図である。 図1に示した復号情報解析部のより詳細な構成を示すブロック図である。 (a)は、イントラMB数フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。(b)は、符号化領域タイプフィルタ強度評価値生成部323が保持するフィルタ強度評価値対応表の一例を示す図である。(c)は、符号量フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。(d)は、符号量フィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。(e)は、動きベクトルフィルタ強度評価値生成部が保持するフィルタ強度評価値対応表の一例を示す図である。(f)は、フィルタ強度決定器が保持する対応表の一例を示す図である。 INDEXとフィルタ強度αとの対応を示すテーブルである。 実質的な量子化パラメータが30である場合のweightScaleとフィルタ強度との関係を示す図である。
符号の説明
101 H.264デコーダ
102 H.264エンコーダ
103 デブロックフィルタの強度算出部
104 デブロックフィルタ
105 復号情報解析部
106 符号情報解析部
107 量子化部
108 フィルタ強度調節部
109 デブロックフィルタ位置決定部
320 イントラMB数フィルタ強度評価値生成部
321 符号量フィルタ強度評価値生成部
322 動きベクトルフィルタ強度評価値生成部
323 符号化領域タイプフィルタ強度評価値生成部

Claims (15)

  1. 第1符号化方式で符号化された第1符号化データを、第2符号化データに変換する符号化方式変換装置であって、
    前記第1符号化データを復号化する復号化手段と、
    前記第1符号化データを復号化することによって得られるデコード情報のうち前記第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出手段と、
    前記デブロックフィルタ強度算出手段により算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタ手段と
    を備えることを特徴とする符号化方式変換装置。
  2. 前記デブロックフィルタ強度算出手段は、複数の各前記デコード情報の値を評価するための評価値を重み付け加算し、前記加算結果に対応する1つのフィルタ強度を算出する
    ことを特徴とする請求項1記載の符号化方式変換装置。
  3. 前記符号化方式変換装置は、さらに、
    前記第1符号化データを復号化することによって得られるシンタックス・エレメントと付加情報とから、符号量、量子化パラメータの平均値、イントラマクロブロック数、動きベクトルの絶対値の総和及び動きベクトルの単純総和のいずれかを前記デコード情報として算出する復号情報解析手段を備え、
    前記デブロックフィルタ強度算出手段は、前記復号情報解析手段によって算出された前記デコード情報を用いて前記フィルタ強度を算出する
    ことを特徴とする請求項1記載の符号化方式変換装置。
  4. 前記符号化方式変換装置は、さらに、
    前記第2符号化データを生成する際に得られるシンタックス・エレメントと付加情報とから、量子化パラメータの平均値、目標符号量及び符号化ターゲットレートのいずれかを符号化情報として算出する符号化情報解析手段を備え、
    前記デブロックフィルタ強度算出手段は、前記デコード情報および前記符号化情報から少なくとも一つを用いて、前記フィルタ強度を算出する
    ことを特徴とする請求項3記載の符号化方式変換装置。
  5. 前記復号化情報解析手段は、さらに、前記第1符号化データの直交変換の単位となったブロックサイズを取得し、
    前記符号化情報解析手段は、さらに、前記第2符号化データの直交変換の単位となったブロックサイズを取得し、
    前記符号化方式変換装置は、さらに、
    前記復号化情報解析手段と前記符号化情報解析手段とによって取得されたブロックサイズのうち、いずれか一方のブロックサイズのブロック境界を、デブロックフィルタを施すべきデブロックフィルタ位置と決定する第1デブロックフィルタ位置決定手段を備え、
    前記デブロックフィルタ手段は、前記第1デブロックフィルタ位置決定手段によって決定されたデブロックフィルタ位置に、デブロックフィルタを施す
    ことを特徴とする請求項4記載の符号化方式変換装置。
  6. 前記デブロックフィルタ強度算出手段は、前記第1符号化方式がH.264/AVC規格である場合、H.264/AVC規格のシンタックス・エレメントであるdeblocking_filter_control_present_flag及びdisable_deblocking_filter_idc、slice_alpha_c0_offset_div2、slice_beta_offset_div2のうち、少なくとも一つを用いて前記デブロックフィルタ手段のフィルタ強度を算出する
    ことを特徴とする請求項1記載の符号化方式変換装置。
  7. 前記符号化方式変換装置は、さらに、前記第1符号化方式がH.264/AVC規格である場合、H.264/AVC規格のシンタックス・エレメントであるdeblocking_filter_control_present_flagと、disable_deblocking_filter_idcとを用いて前記デブロックフィルタ手段のフィルタ位置を決定する第2デブロックフィルタ位置決定手段を備え、
    前記デブロックフィルタ手段は、前記第2デブロックフィルタ位置決定手段によって決定されたデブロックフィルタ位置に、デブロックフィルタを施す
    ことを特徴とする請求項1の符号化方式変換装置。
  8. 前記デブロックフィルタ強度算出手段は、前記デコード情報である前記量子化パラメータの平均値が大きいほど、高いフィルタ強度を算出する
    ことを特徴とする請求項3記載の符号化方式変換装置。
  9. 前記デブロックフィルタ強度算出手段は、前記デコード情報である前記量子化パラメータの平均値と前記符号量との演算によって得られるコンプレキシティの値が大きいほど、高いフィルタ強度を算出する
    ことを特徴とする請求項3記載の符号化方式変換装置。
  10. 前記デブロックフィルタ強度算出手段は、前記デコード情報である前記イントラマクロブロック数が画面内で占める割合が大きいほど、高いフィルタ強度を算出する
    ことを特徴とする請求項3記載の符号化方式変換装置。
  11. 前記デブロックフィルタ強度算出手段は、前記デコード情報である前記動きベクトルの絶対値の総和及び前記動きベクトルの単純総和のいずれかについて、その値が大きいほど、高いフィルタ強度を算出する
    ことを特徴とする請求項3記載の符号化方式変換装置。
  12. 前記符号化方式変換装置は、
    前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータが第2符号化方式の規格で定められた値の範囲を越える場合、前記フィルタ強度を変化させず、かつ、第2符号化方式の規格で定められた範囲内の値をとる量子化パラメータを選択し、選択した量子化パラメータから決まる量子化ステップに、量子化ステップの倍率である量子化マトリックスを乗算して、乗算後の量子化ステップが、前記デブロックフィルタ強度算出手段によって算出された前記フィルタ強度に対応する量子化パラメータに対応する値となるよう調節するフィルタ強度調節手段と、
    前記フィルタ強度調節手段によって選択された第2符号化方式の規格で定められた範囲内の値をとる前記量子化パラメータと、乗算された前記量子化マトリックスの値とを符号化する符号化手段とを備え、
    前記デブロックフィルタ手段は、前記デブロックフィルタ強度算出手段によって算出されたフィルタ強度でデブロックフィルタを施す
    ことを特徴とする請求項1記載の符号化方式変換装置。
  13. 前記フィルタ強度調節手段は、前記フィルタ強度に対応する量子化パラメータが第2符号化方式の規格で定められた値の範囲を越える場合、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分が最小となるように前記量子化パラメータを選択し、
    前記符号化手段は、量子化マトリックスが乗算される前の量子化ステップに対応する前記量子化パラメータと、前記量子化パラメータの直前に符号化された量子化パラメータとの差分を符号化する
    ことを特徴とする請求項12記載の符号化方式変換装置。
  14. 第1符号化方式で符号化された第1符号化データを、第2符号化データに変換する符号化方式変換方法であって、
    前記第1符号化データを復号化する復号化ステップと、
    前記第1符号化データを復号化することによって得られるデコード情報のうち前記第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出ステップと、
    前記デブロックフィルタ強度算出ステップにより算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタステップと
    を含むことを特徴とする符号化方式変換方法。
  15. 第1符号化方式で符号化された第1符号化データを、第2符号化データに変換する符号化方式変換装置のためのプログラムであって、コンピュータに
    前記第1符号化データを復号化する復号化ステップと、前記第1符号化データを復号化することによって得られるデコード情報のうち前記第1符号化データの符号化タイプ以外のいずれかを用いて、第2符号化方式におけるデブロックフィルタのフィルタ強度を算出するデブロックフィルタ強度算出ステップと、前記デブロックフィルタ強度算出ステップにより算出された前記フィルタ強度に従って、ブロック境界のノイズを軽減するデブロックフィルタステップとを実行させるプログラム。
JP2007035877A 2007-02-16 2007-02-16 符号化方式変換装置 Expired - Fee Related JP4847890B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007035877A JP4847890B2 (ja) 2007-02-16 2007-02-16 符号化方式変換装置
US12/031,061 US8045821B2 (en) 2007-02-16 2008-02-14 Coding method conversion apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007035877A JP4847890B2 (ja) 2007-02-16 2007-02-16 符号化方式変換装置

Publications (3)

Publication Number Publication Date
JP2008205534A true JP2008205534A (ja) 2008-09-04
JP2008205534A5 JP2008205534A5 (ja) 2010-03-18
JP4847890B2 JP4847890B2 (ja) 2011-12-28

Family

ID=39706713

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007035877A Expired - Fee Related JP4847890B2 (ja) 2007-02-16 2007-02-16 符号化方式変換装置

Country Status (2)

Country Link
US (1) US8045821B2 (ja)
JP (1) JP4847890B2 (ja)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244993A (ja) * 2007-03-28 2008-10-09 Renesas Technology Corp トランスコーディングのための装置および方法
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
JP2010171476A (ja) * 2009-01-20 2010-08-05 Mega Chips Corp 画像処理装置および画像変換装置
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
JP2011035620A (ja) * 2009-07-31 2011-02-17 Sony Corp 画像処理装置および方法
JP2011176423A (ja) * 2010-02-23 2011-09-08 Nec Corp 超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路
WO2011125729A1 (ja) * 2010-04-09 2011-10-13 ソニー株式会社 画像処理装置と画像処理方法
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
US20120044991A1 (en) * 2010-08-20 2012-02-23 Kabushiki Kaisha Toshiba Moving image coding apparatus and moving image coding method
JP2013085312A (ja) * 2013-02-15 2013-05-09 Sony Corp 画像復号装置および方法、記録媒体、並びにプログラム
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
CN103364733A (zh) * 2012-03-28 2013-10-23 拉碧斯半导体株式会社 半导体装置以及电池监视系统
JP2013240039A (ja) * 2012-04-11 2013-11-28 Sharp Corp 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
JP2014017625A (ja) * 2012-07-06 2014-01-30 Canon Inc 動画像符号化装置及びその制御方法、並びに、プログラム
JP2014116890A (ja) * 2012-12-12 2014-06-26 Mitsubishi Electric Corp 画像符号化装置
JPWO2013150945A1 (ja) * 2012-04-06 2015-12-17 ソニー株式会社 画像処理装置および方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
JP5597968B2 (ja) 2009-07-01 2014-10-01 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
KR20110005093A (ko) * 2009-07-09 2011-01-17 삼성전자주식회사 압축 노이즈를 감소시키기 위한 영상처리방법 및 장치
US8363974B2 (en) * 2009-07-21 2013-01-29 Qualcomm Incorporated Block artifact reducer
JP2011049740A (ja) * 2009-08-26 2011-03-10 Sony Corp 画像処理装置および方法
JP2011151431A (ja) * 2009-12-25 2011-08-04 Sony Corp 画像処理装置および方法
BR112012025407B1 (pt) 2010-04-13 2022-03-22 Samsung Electronics Co, Ltd Método de decodificação de vídeo baseado em unidades de codificação determinadas de acordo com uma estrutura de árvore
AU2015202094B2 (en) * 2010-04-13 2016-11-17 Samsung Electronics Co., Ltd. Video-encoding method and video-encoding apparatus based on encoding units determined in accordance with a tree structure, and video-decoding method and video-decoding apparatus based on encoding units determined in accordance with a tree structure
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
US20110280321A1 (en) * 2010-05-12 2011-11-17 Shu-Hsien Chou Deblocking filter and method for controlling the deblocking filter thereof
US8542751B2 (en) * 2010-08-20 2013-09-24 Intel Corporation Techniques for identifying and reducing block artifacts
US9088800B2 (en) 2011-03-04 2015-07-21 Vixs Systems, Inc General video decoding device for decoding multilayer video and methods for use therewith
US9025660B2 (en) * 2011-03-04 2015-05-05 Vixs Systems, Inc. Video decoder with general video decoding device and methods for use therewith
US9247261B2 (en) 2011-03-04 2016-01-26 Vixs Systems, Inc. Video decoder with pipeline processing and methods for use therewith
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US9185404B2 (en) 2011-10-07 2015-11-10 Qualcomm Incorporated Performing transform dependent de-blocking filtering
JP2013093792A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置および方法
BR112014011624A2 (pt) * 2011-11-14 2017-05-09 Intel Corp método e sistema para controle de taxa de quantização iterativa na codificação de vídeo
CN110234012B (zh) * 2012-01-17 2021-12-31 华为技术有限公司 用于高性能视频编码中的无损编码模式的环内滤波的装置
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method
US9756327B2 (en) * 2012-04-03 2017-09-05 Qualcomm Incorporated Quantization matrix and deblocking filter adjustments for video coding
US9344723B2 (en) * 2012-04-13 2016-05-17 Qualcomm Incorporated Beta offset control for deblocking filters in video coding
CA2868255C (en) * 2012-04-13 2018-04-17 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
RU2737038C2 (ru) * 2012-06-22 2020-11-24 Сони Корпорейшн Устройство и способ обработки изображений
WO2014045920A1 (ja) 2012-09-20 2014-03-27 ソニー株式会社 画像処理装置および方法
JP6660868B2 (ja) * 2016-11-15 2020-03-11 Kddi株式会社 動画像符号化装置及び動画像復号装置並びにプログラム
US10616577B2 (en) * 2017-10-16 2020-04-07 Intel Corporation Adaptive video deblocking
CN113628120B (zh) * 2020-05-06 2023-05-26 北京君正集成电路股份有限公司 一种简单的去噪编码方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170512A (ja) * 1993-11-24 1995-07-04 Matsushita Electric Ind Co Ltd 画像信号復号化装置におけるポストフィルタ処理方法およびポストフィルタ処理装置
JPH1056646A (ja) * 1996-08-07 1998-02-24 Mitsubishi Electric Corp 映像信号復号化装置
JPH11275584A (ja) * 1998-03-23 1999-10-08 Hitachi Ltd 画像信号のブロック歪み低減回路
JP2003179921A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd 符号化映像復号化装置
JP2005101914A (ja) * 2003-09-25 2005-04-14 Victor Co Of Japan Ltd 映像信号復号化装置
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
WO2008090793A1 (ja) * 2007-01-22 2008-07-31 Nec Corporation 画像再符号化装置、画像再符号化方法及び画像符号化プログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11112972A (ja) 1997-09-30 1999-04-23 Matsushita Electric Ind Co Ltd 複合化処理量情報の抽出装置および方法
FR2823943A1 (fr) * 2001-04-24 2002-10-25 Koninkl Philips Electronics Nv Procede de detection de bruit dans un flux de donnees video codees
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
US7602851B2 (en) * 2003-07-18 2009-10-13 Microsoft Corporation Intelligent differential quantization of video coding
JP5280003B2 (ja) * 2003-09-07 2013-09-04 マイクロソフト コーポレーション 映像コーデックにおけるスライス層
US8625680B2 (en) 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
US7492820B2 (en) * 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
ZA200607434B (en) * 2004-03-09 2008-08-27 Thomson Res Funding Corp Reduced resolution update mode for advanced video coding
US20050232497A1 (en) 2004-04-15 2005-10-20 Microsoft Corporation High-fidelity transcoding
JP4129006B2 (ja) 2005-02-23 2008-07-30 日本電信電話株式会社 動画像再符号化方法、動画像再符号化装置、動画像再符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
CN101371585B (zh) * 2006-01-09 2014-07-30 汤姆森特许公司 提供用于多视图视频编码的提供降低分辨率的更新模式的方法和装置
US8320450B2 (en) * 2006-03-29 2012-11-27 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
JP4410225B2 (ja) * 2006-08-07 2010-02-03 株式会社東芝 動画像復号化装置および方法
US8204129B2 (en) * 2007-03-27 2012-06-19 Freescale Semiconductor, Inc. Simplified deblock filtering for reduced memory access and computational complexity
US8743972B2 (en) * 2007-12-20 2014-06-03 Vixs Systems, Inc. Coding adaptive deblocking filter and method for use therewith

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07170512A (ja) * 1993-11-24 1995-07-04 Matsushita Electric Ind Co Ltd 画像信号復号化装置におけるポストフィルタ処理方法およびポストフィルタ処理装置
JPH1056646A (ja) * 1996-08-07 1998-02-24 Mitsubishi Electric Corp 映像信号復号化装置
JPH11275584A (ja) * 1998-03-23 1999-10-08 Hitachi Ltd 画像信号のブロック歪み低減回路
JP2003179921A (ja) * 2001-12-10 2003-06-27 Matsushita Electric Ind Co Ltd 符号化映像復号化装置
JP2005101914A (ja) * 2003-09-25 2005-04-14 Victor Co Of Japan Ltd 映像信号復号化装置
JP2007336468A (ja) * 2006-06-19 2007-12-27 Sharp Corp 再符号化装置、再符号化方法およびプログラム
WO2008090793A1 (ja) * 2007-01-22 2008-07-31 Nec Corporation 画像再符号化装置、画像再符号化方法及び画像符号化プログラム

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008244993A (ja) * 2007-03-28 2008-10-09 Renesas Technology Corp トランスコーディングのための装置および方法
WO2010076856A1 (ja) * 2009-01-05 2010-07-08 株式会社 東芝 動画像符号化方法及び動画像復号化方法
US8818123B2 (en) 2009-01-20 2014-08-26 Megachips Corporation Image processing apparatus and image conversion apparatus
JP2010171476A (ja) * 2009-01-20 2010-08-05 Mega Chips Corp 画像処理装置および画像変換装置
JP2010288079A (ja) * 2009-06-11 2010-12-24 Sony Corp 画像処理装置及び画像処理方法
US8917778B2 (en) 2009-06-11 2014-12-23 Sony Corporation Image processing apparatus and image processing method
JP2011035620A (ja) * 2009-07-31 2011-02-17 Sony Corp 画像処理装置および方法
US8805085B2 (en) 2009-07-31 2014-08-12 Sony Corporation Image processing device and method
US8774537B2 (en) 2009-07-31 2014-07-08 Sony Corporation Image processing device and method
US9392269B2 (en) 2009-07-31 2016-07-12 Sony Corporation Image processing device and method
US11405652B2 (en) 2009-07-31 2022-08-02 Velos Media, Llc Image processing device and method
US9918108B2 (en) 2009-07-31 2018-03-13 Velos Media, Llc Image processing device and method
US10721494B2 (en) 2009-07-31 2020-07-21 Velos Media, Llc Image processing device and method
JP2011176423A (ja) * 2010-02-23 2011-09-08 Nec Corp 超解像化制御のための圧縮復号方法及び超解像化制御のための圧縮復号回路
US10373295B2 (en) 2010-04-09 2019-08-06 Sony Corporation Image processing apparatus and image processing method
US9613400B2 (en) 2010-04-09 2017-04-04 Sony Corporation Image processing apparatus and image processing method
WO2011125729A1 (ja) * 2010-04-09 2011-10-13 ソニー株式会社 画像処理装置と画像処理方法
US9077989B2 (en) 2010-04-09 2015-07-07 Sony Corporation Image processing apparatus and image processing method for removing blocking artifacts
US8737465B2 (en) 2010-07-16 2014-05-27 Sharp Kabushiki Kaisha Video processing device, video processing method, video processing program, and storage medium
JP2012023683A (ja) * 2010-07-16 2012-02-02 Sharp Corp 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
WO2012008602A1 (ja) * 2010-07-16 2012-01-19 シャープ株式会社 映像処理装置、映像処理方法、映像処理プログラム、記憶媒体
US20120044991A1 (en) * 2010-08-20 2012-02-23 Kabushiki Kaisha Toshiba Moving image coding apparatus and moving image coding method
WO2013081085A1 (en) * 2011-11-28 2013-06-06 Canon Kabushiki Kaisha Moving image encoding apparatus, control method thereof and computer program
JP2013115580A (ja) * 2011-11-28 2013-06-10 Canon Inc 動画像符号化装置及びその制御方法、コンピュータプログラム
US9635359B2 (en) 2011-11-28 2017-04-25 Canon Kabushiki Kaisha Method and apparatus for determining deblocking filter intensity
CN103364733B (zh) * 2012-03-28 2017-12-22 拉碧斯半导体株式会社 半导体装置以及电池监视系统
CN103364733A (zh) * 2012-03-28 2013-10-23 拉碧斯半导体株式会社 半导体装置以及电池监视系统
US9970990B2 (en) 2012-03-28 2018-05-15 Lapis Semiconductor Co., Ltd. Semiconductor device and battery monitoring system
CN107360436A (zh) * 2012-04-06 2017-11-17 索尼公司 图像处理装置和方法
CN107360438B (zh) * 2012-04-06 2020-04-17 索尼公司 图像处理装置和方法
CN107360437A (zh) * 2012-04-06 2017-11-17 索尼公司 图像处理装置和方法
JPWO2013150945A1 (ja) * 2012-04-06 2015-12-17 ソニー株式会社 画像処理装置および方法
CN107360439A (zh) * 2012-04-06 2017-11-17 索尼公司 图像处理装置和方法
CN107360438A (zh) * 2012-04-06 2017-11-17 索尼公司 图像处理装置和方法
CN108600770A (zh) * 2012-04-06 2018-09-28 索尼公司 图像处理装置和方法
US10887590B2 (en) 2012-04-06 2021-01-05 Sony Corporation Image processing device and method
US10419756B2 (en) 2012-04-06 2019-09-17 Sony Corporation Image processing device and method
CN107360437B (zh) * 2012-04-06 2019-11-19 索尼公司 图像处理装置和方法
CN107360439B (zh) * 2012-04-06 2019-11-19 索尼公司 图像处理装置和方法
CN108600770B (zh) * 2012-04-06 2019-11-19 索尼公司 图像处理装置和方法
JP2013240039A (ja) * 2012-04-11 2013-11-28 Sharp Corp 映像処理装置、映像処理方法、テレビジョン受像機、プログラム、及び記録媒体
JP2014017625A (ja) * 2012-07-06 2014-01-30 Canon Inc 動画像符号化装置及びその制御方法、並びに、プログラム
JP2014116890A (ja) * 2012-12-12 2014-06-26 Mitsubishi Electric Corp 画像符号化装置
JP2013085312A (ja) * 2013-02-15 2013-05-09 Sony Corp 画像復号装置および方法、記録媒体、並びにプログラム

Also Published As

Publication number Publication date
US20080199090A1 (en) 2008-08-21
JP4847890B2 (ja) 2011-12-28
US8045821B2 (en) 2011-10-25

Similar Documents

Publication Publication Date Title
JP4847890B2 (ja) 符号化方式変換装置
US10327011B2 (en) Method and device for deblocking-filtering, and method and device for encoding and decoding using same
JP5275469B2 (ja) クロマビデオブロックおよびルマビデオブロックの符号化のための量子化パラメータ選択
US20100254450A1 (en) Video coding method, video decoding method, video coding apparatus, video decoding apparatus, and corresponding program and integrated circuit
JP6272321B2 (ja) デブロッキングにおけるクロマ量子化パラメータ・オフセットの使用
US8620103B2 (en) In-loop adaptive wiener filter for video coding and decoding
JP5513740B2 (ja) 画像復号化装置、画像符号化装置、画像復号化方法、画像符号化方法、プログラムおよび集積回路
US9756326B2 (en) Video coding method using at least evaluated visual quality and related video coding apparatus
JP5283628B2 (ja) 映像復号方法及び映像符号化方法
US8761268B2 (en) Selective local adaptive wiener filter for video coding and decoding
US7804896B2 (en) Content adaptive noise reduction filtering for image signals
US9277211B2 (en) Binarization scheme for intra prediction residuals and improved intra prediction in lossless coding in HEVC
US11582465B2 (en) Video display preference filtering
JPWO2009133844A1 (ja) エッジを考慮したフィルタリング機能を備えた動画像符号化/復号化方法及び装置
JP2006229411A (ja) 画像復号化装置及び画像復号化方法
US20170105011A1 (en) Method and Apparatus for Syntax Signaling in Image and Video Compression
JP2008219205A (ja) 画像情報符号化装置及び画像情報符号化方法
US8442338B2 (en) Visually optimized quantization
Chodisetti et al. H. 264 video coding artifacts: measurement and reduction of flickering
Choi et al. Macroblock-level adaptive dynamic resolution conversion technique
Kesireddy A new adaptive trilateral filter for in-loop filtering
JP2005312072A (ja) 映像信号復号化装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110412

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110927

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111014

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141021

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees