JP2010124397A - 高解像度化装置 - Google Patents

高解像度化装置 Download PDF

Info

Publication number
JP2010124397A
JP2010124397A JP2008298248A JP2008298248A JP2010124397A JP 2010124397 A JP2010124397 A JP 2010124397A JP 2008298248 A JP2008298248 A JP 2008298248A JP 2008298248 A JP2008298248 A JP 2008298248A JP 2010124397 A JP2010124397 A JP 2010124397A
Authority
JP
Japan
Prior art keywords
pixel
resolution image
corresponding point
image
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008298248A
Other languages
English (en)
Inventor
Ryusuke Hirai
隆介 平井
Noboru Yamaguchi
昇 山口
Yasuki Arai
康記 新井
Takeshi Yamada
剛 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2008298248A priority Critical patent/JP2010124397A/ja
Priority to US12/556,614 priority patent/US8223832B2/en
Publication of JP2010124397A publication Critical patent/JP2010124397A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

【課題】画像の高解像度化に伴う処理負荷を軽減可能な高解像度化装置を提供する。
【解決手段】基準フレームと注目画素を設定し、符号化モード情報を取得する動画像復号化部１０１と、基準フレームよりも画素数の多い仮高解像度画像を生成する仮高解像度画像生成部１０２と、注目画素に対応する符号化モード情報に基づいて、注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定部１０３と、注目画素に対応する対応点を復号低解像度画像の中から小数精度で取得し、判定部１０３が対応位置の画素値に対する修正を行うと判定した場合には所定の修正処理を行い、判定部１０３が対応位置の画素値に対する修正を行わないと判定した場合には仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する高解像度画像修正部１０４と、を備える。
【選択図】 図１

Description

この発明は、動画像符号化された画像データを高解像度の画像データに変換する高解像度化装置に関する。
ある低解像度画像に対して高解像度化処理を画面一様に行うと、画像の平坦領域におけるノイズ成分についても鮮鋭化が行われるため、高解像度画像の画質が低下する。下記特許文献１には、高解像度化する画像を平坦領域とエッジ領域に分別し、領域ごとに異なる高解像度化処理を行う技術が開示されている。領域を分別する方法としては、分別対象とする画素とその周辺画素のそれぞれの画素値の分散量等の指標を算出し、それらの値に応じて分別する。しかしながら、上記従来の技術では、全ての低解像度画像に対して１画素ごとに分別処理を実施し高解像度化処理を実施するため処理負荷が大きい、という問題があった。
特開２００７−３１０８３７号公報
本発明は、上記に鑑みてなされたものであって、画像の高解像度化に伴う処理負荷を軽減可能な高解像度化装置を提供することを目的とする。
本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定手段と、前記注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記判定手段が前記仮高解像度画像の対応位置の画素値に対する修正を行うと判定した場合には、当該仮高解像度画像の対応位置の画素値に対して所定の修正処理を行い、一方、修正を行わないと判定した場合には、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
また、本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段と、前記領域分別手段が、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別した注目画素については、対応点の探索を行わず、その他の領域に分別した注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
また、本願発明の一態様によれば、動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、前記注目画素の画素値と当該注目画素に隣接する画素の画素値との差分が所定の対応点探索しきい値よりも小さい場合は対応点の探索を行わず、所定の対応点探索しきい値よりも大きい場合は、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素の対応点を前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、を備えることを特徴とする高解像度化装置が提供される。
本発明によれば、画像の修正処理を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
また、本発明によれば、分別処理を行う画素を限定することができ、さらに画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
また、本発明によれば、対応点の探索を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる、という効果を奏する。
以下に添付図面を参照して、この発明にかかる高解像度化装置の最良な実施の形態を詳細に説明する。なお、以下の説明において画像のことをフレームと呼ぶことがある。
（第１の実施の形態）
図１は、第１の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、動画像復号化部１０１と、仮高解像度画像生成部１０２と、判定部１０３と、高解像度画像修正部１０４と、から構成される。
動画像復号化部１０１は、動画像符号化データを入力して復号化処理を行い、復号低解像度画像信号と符号化モード情報を出力する。このとき、復号低解像度画像信号の中から高解像度化処理を行う画像を基準フレームとして順次設定する。また、基準フレームに含まれる画素を１つずつ注目画素として順次設定し、さらに、注目画素を含むマクロブロックを設定する。符号化モード情報は、予測モード情報、動きベクトル、直交変換係数および量子化パラメータである。ここでは、一例として、マクロブロックごとに符号化モード情報を出力する。なお、サブマクロブロックごとに符号化モード情報を出力することとしてもよい。また、画素ごとに符号化モード情報を出力してもよい。
仮高解像度画像生成部１０２は、基準フレームに設定された復号低解像度画像信号を入力し、一般的な内挿フィルタを利用する３次畳み込み法等によって所定の解像度を持つ仮高解像度画像を作成し、高解像度画像修正部１０４へ出力する。仮高解像度画像は、目的の高解像度画像と同等の画素数を持つ画像であり、通常、画面内の被写体がぼけている状態や本来直線的な部分が階段状に表されている状態である。
判定部１０３は、動画像復号化部１０１からの符号化モード情報に基づいて、注目画素を含むマクロブロックごとに、そのマクロブロックに含まれる画素に対応する仮高解像度画像の対応位置の画素値の修正を行うかどうかを判定し、判定信号を高解像度画像修正部１０４へ出力する。対応位置とは、ある画素を注目画素として設定した場合に、その注目画素を含む基準フレームの復号低解像度画像を仮高解像度化した画像における、注目画素に対して動き０の位置にあたる仮高解像度画像の画素である。判定処理の詳細については後述する。
高解像度画像修正部１０４は、判定部１０３からの判定信号に基づいて、注目画素の対応位置の仮高解像度画像の画素値を修正する。図２は、高解像度画像修正部１０４の構成例を示すブロック図である。高解像度画像修正部１０４は、スイッチ２０１と、対応点探索部２０２と、画素修正部２０３と、メモリ２０４と、から構成される。
スイッチ２０１は、判定部１０３からの判定信号に基づいて、仮高解像度画像信号の出力先を切り替える。対応点探索部２０２は、対応点を探索し、探索した結果である対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。対応点とは、注目画素を中心とした数画素四方の範囲の各画素の画素値と、前記範囲と同じ大きさに含まれる各画素の画素値が最も近似する場合の、復号低解像度画像内の前記範囲の中心の画素である。対応点は、基準フレーム以外のフレームで設定してもよいし、基準フレームの中から設定してもよい。探索方法はパラボラフィッティング法やオーバーサンプリング法等の既存の方法により小数精度で行う。画素修正部２０３は、判定部１０３からの判定信号に基づいて、ＰＯＣＳ（Projection Onto Convex Sets）法や重ね合わせ法により、仮高解像度画像の対応位置の画素値の修正を行う。または、過去に生成した高解像度画像と同じ画素値に置き換える。メモリ２０４は、過去に生成した高解像度画像を保存する。対応点の探索方法および画素値の修正方法は上記の方法に限定するものではなく、他の方法でもよい。
つづいて、判定部１０３による判定処理を、フローチャートに基づいて詳細に説明する。図３−１は、判定部１０３の処理を示すフローチャートである。
まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。判定部１０３は、符号化モード情報に基づいて注目画素を含むマクロブロックがスキップマクロブロックであると判定した場合（ステップＳ１０１：Ｙｅｓ）、注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照しているかどうかを判定する（ステップＳ１０２）。
整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、判定部１０３は、マクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値を、過去に生成した高解像度画像における仮高解像度画像の対応位置に相当する位置（以下、第一の参照位置とする）の画素値と同一にすると判定し（ステップＳ１０３）、判定信号を高解像度画像修正部１０４へ出力する。
一方、上記ステップＳ１０２の処理において、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、判定部１０３は、注目画素を含むマクロブロックにおける低解像度画像は高解像度処理の効果が表れるほどの画質の鮮鋭度はないとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１０４）、判定信号を高解像度画像修正部１０４へ出力する。
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測判定フローへ進む（ステップＳ１０５）。図３−２は、イントラ予測判定フローを示す図である。
ここで、上記判定部１０３によるイントラ予測判定フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の判定処理を、図３−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の判定処理についても同様である。
注目画素を含むマクロブロックの予測モードがイントラ予測モードであって（ステップＳ１０６：Ｙｅｓ）、かつ、「ＤＣ予測であること、ＤＣＴ係数が直流成分（ＤＣ成分）のみ、またはＤＣＴ係数が全て０」の条件を満たす場合（ステップＳ１０７：Ｙｅｓ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１０８）、判定信号を高解像度画像修正部１０４へ出力する。
一方、ＤＣ予測であること、ＤＣＴ係数がＤＣ成分のみ、ＤＣＴ係数が全て０、の各条件を１つも満たしていない場合（ステップＳ１０７：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ１０９）、判定信号を高解像度画像修正部１０４へ出力する。
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測判定フローに進む（ステップＳ１１０）。図３−３は、インター予測判定フローを示す図である。
ここで、上記判定部１０３によるインター予測判定フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の判定処理を、図３−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の判定処理についても同様である。
注目画素を含むマクロブロックの動きベクトルの本数が１本の場合（ステップＳ１１１：Ｙｅｓ）、判定部１０３は、その動きベクトルが整数精度位置を参照しているかどうかを判定する（ステップＳ１１２）。整数精度位置を参照していると判定した場合において（ステップＳ１１２：Ｙｅｓ）、さらに、そのマクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、判定部１０３は、マクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値を、過去に生成した高解像度画像の第一の参照位置の画素値と同一にすると判定し（ステップＳ１１４）、判定信号を高解像度画像修正部１０４へ出力する。
また、マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ１１５）、判定信号を高解像度画像修正部１０４へ出力する。
なお、上記ステップＳ１１１の処理において、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、判定部１０３は、低解像度画像信号に基づいて作成される予測画像は複数の画素の平均値を用いるためにぼけているとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１１６）、判定信号を高解像度画像修正部１０４へ出力する。
また、上記ステップＳ１１２の処理において、動きベクトルが整数精度位置を参照していない場合（ステップＳ１１２：Ｎｏ）、判定部１０３は、注目画素を含むマクロブロックにおける低解像度画像は高解像度処理の効果が表れるほどの画質の鮮鋭度はないとして、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ１１６）、判定信号を高解像度画像修正部１０４へ出力する。
なお、上記処理において判定部１０３が修正処理を行わないと判定した場合（ステップＳ１０４、Ｓ１１６）であっても、装置の演算量に余裕があれば、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うこととしてもよい。
また、判定部１０３が、修正処理を行うと判定した場合（ステップＳ１０９、Ｓ１１５）、または、上記演算量に余裕があるとして修正処理を行うと判定した場合（ステップＳ１０４、Ｓ１１６）、以下のしきい値との比較により、さらに、修正処理を行うこととしてもよい。
図４は、上記しきい値との比較処理を示すフローチャートである。判定部１０３は、ＤＣ成分以外のＤＣＴ係数値の和SumACを算出し（ステップＳ２０１）、算出したSumACとしきい値THとの比較を行う（ステップＳ２０２）。
しきい値THは、量子化パラメータqscaleに基づいて設定する。一例として、たとえば、以下のように一次式であらわす。
THx＝αx×qscale＋offsetx （１）
ただし、x∈｛intra，inter｝であり、αinterおよびαintraは「αinter＜αintra」の関係を持つ比例定数である。また、offsetinterおよびoffsetintraは、ユーザが任意に設定できるパラメータとする。
たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行わないと判定し（ステップＳ２０３）、判定信号を高解像度画像修正部１０４へ出力する。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、判定部１０３は、そのマクロブロックに含まれる画素の対応位置の仮高解像度画像の画素値に対して修正処理を行うと判定し（ステップＳ２０４）、判定信号を高解像度画像修正部１０４へ出力する。
つづいて、高解像度画像修正部１０４による処理を説明する。高解像度画像修正部１０４は、判定部１０３による判定信号に基づいて、以下の処理を行う。
判定部１０３が修正処理を行わないと判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを上側へ接続し、仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する。
判定部１０３が修正処理を行うと判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを下側へ接続し、画素修正部２０３が対応点探索部２０２からの対応点探索情報と復号低解像度画像信号に基づいて、仮高解像度画像の対応位置の画素値の修正量を算出し、修正後の画素値を高解像度画像信号として出力する。
判定部１０３が過去の高解像度画像の第一の参照位置の画素値と同一にすると判定した場合、高解像度画像修正部１０４では、スイッチ２０１がスイッチを下側へ接続し、画素修正部２０３が、メモリ２０４から過去に生成した高解像度画像の第一の参照位置の画素値を抽出し、仮高解像度画像の対応位置の画素値を第一の参照位置の画素値と同一にして高解像度画像信号として出力する。
以上説明したように、本実施の形態によれば、判定部１０３が、符号化モード情報に基づいて、注目画素を含むマクロブロックごとに画像の修正処理を行うかどうかの判定を行うこととした。これにより、画像の修正処理を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる。
（第２の実施の形態）
本実施の形態では、高解像度画像修正部１０４が領域分別部を備える構成とする。以下、第１の実施の形態と異なる部分について説明する。
図５は、第２の実施の形態にかかる高解像度画像修正部１０４の構成例を示すブロック図である。高解像度画像修正部１０４は、前述した第１の実施の形態の図２の構成に加えて、領域分別部３０１と対応点探索部３０２を備える。
領域分別部３０１は、復号低解像度画像信号を入力し、注目画素ごとに、注目画素に隣接する複数の画素の画素値との差分に基づいて２以上の種類を持ついずれかの領域に分別する。領域を分別する方法としては、画素値の変化が直線的に起こっているエッジ領域、それ以外の平坦領域、の２つに分別する方法がある。この場合、既存のソーベルフィルタを利用することで、エッジ領域と平坦領域を分別することができる。
また、エッジ領域、局所的な領域で画素値の変化が大きい画素が多いテクスチャ領域、局所的な領域で画素値の変化が小さい平坦領域、の３つの領域に分別することも可能である。この場合、たとえば、上記で平坦領域と分別された領域において、注目画素と注目画素に隣接する複数の画素の画素値との差分を取り、たとえば、その差分の絶対値の和が特定のしきい値以上の場合をテクスチャ領域とし、しきい値未満の場合を平坦領域とする。以下では、エッジ領域と平坦領域の２つの領域に分別する場合について説明する。
対応点探索部３０２は、領域分別部３０１からの領域分別情報と復号低解像度画像信号に基づいて、対応点の探索を行う。対応点の探索方法は、第１の実施の形態と同様であるが、領域分別部３０１が平坦領域と判定した画素については対応点の探索を行わない。対応点探索部３０２は、対応点を探索した結果である対応点探索情報と復号低解像度画像信号を、画素修正部２０３へ出力する。
本実施の形態では、対応点探索の前に領域分別を行う。平坦領域と分別された画素の対応位置の仮高解像度画像の画素値については、そのまま高解像度画像信号として出力する（仮高解像度画像の画素の画素値で十分であるため）。そのため、領域分別部３０１が平坦領域と分別した画素については、対応する仮高解像度画像の対応位置の画素値を修正しないため、対応点探索部３０２は対応点の探索を行わない。
以上説明したように、本実施の形態によれば、対応点探索の前に領域分別を行うこととした。これにより、平坦領域については対応点探索を行わないため、第１の実施の形態と比較して、さらに、画像の高解像度化に必要な処理負荷を軽減することができる。
（第３の実施の形態）
本実施の形態は、判定部を備えない構成とする。以下、第１の実施の形態または第２の実施の形態と異なる部分について説明する。
図６は、第３の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第２の実施の形態の図１および図５の構成から、判定部１０３，高解像度画像修正部１０４のスイッチ２０１とメモリ２０４，領域分別部３０１、を削除し、領域分別部４０１とメモリ４０２を備える。
領域分別部４０１は、符号化モード情報と復号低解像度画像信号を入力し、注目画素を含むマクロブロックごとに領域の分別を行う。ここでは、一例として、エッジ領域と平坦領域の２つの領域に分別する。領域分別の方法は領域分別部３０１による処理と同等であり、３つ以上の領域に分別する場合についても適用可能である。領域分別部４０１は、領域を分別した結果である領域分別情報と復号低解像度画像信号を対応点探索部３０２へ出力する。メモリ４０２は、過去に高解像度画像を生成する過程で領域を分別した際の画素ごとの領域分別情報を保存する。
つづいて、領域分別部４０１による分別処理を、フローチャートに基づいて詳細に説明する。図７−１は、領域分別部４０１の処理を示すフローチャートである。まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。
注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、領域分別部４０１は、マクロブロックに含まれる画素の領域を、過去に高解像度画像を生成する過程で領域分別を行った画像における上記マクロブロックに相当する位置（以下、第二の参照位置とする）の画素の領域と同一にする（ステップＳ３０１）。このとき、領域分別部４０１は、メモリ４０２に保存されている過去に領域分別した際の領域分別情報から第二の参照位置の領域の情報を抽出し、マクロブロックに含まれる画素の領域を第二の参照位置の画素の領域と同一にする。一方、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、領域分別部４０１は、マクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３０２）。
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測分別フローへ進む（ステップＳ３０３）。図７−２は、イントラ予測分別フローを示す図である。
ここで、上記領域分別部４０１によるイントラ予測分別フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の分別処理を、図７−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の分別処理についても同様である。
注目画素を含むマクロブロックの予測モードがイントラ予測モードであって（ステップＳ１０６：Ｙｅｓ）、かつ、イントラ予測モードが水平（左または右）方向から±４５°以内の方向予測モードである場合（ステップＳ３０４：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素ごとに行う領域分別処理において、垂直エッジを探索する処理を省略し、水平エッジのみを探索する分別処理を行う（ステップＳ３０５）。一方、水平（左または右）方向から±４５°以内の方向予測モードではなく（ステップＳ３０４：Ｎｏ）、かつ、垂直（上または下）方向から±４５°未満の方向予測モードである場合（ステップＳ３０６：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素ごとに行う領域分別処理において、水平エッジを探索する処理を省略し、垂直エッジのみを探索する分別処理を行う（ステップＳ３０７）。
垂直（上または下）方向から±４５°未満の方向予測モードではなく（ステップＳ３０６：Ｎｏ）、さらに「方向予測モードではない」かつ「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」、の条件を満たす場合（ステップＳ３０８：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３０９）。一方、方向予測モードである場合、または、「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たしていない場合（ステップＳ３０８：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ３１０）。
ここで、方向予測モードについて説明する。水平（左または右）方向から±４５°以内の方向予測モードとは、たとえば、ＩＴＵ−Ｔで規定するＨ．２６４に記載されている4x4ブロックのイントラ予測の予測方向モードを示すIntra4x4PredModeが、１，３，４，６，８のいずれかの場合の予測モードである。一方、垂直（上または下）方向から±４５°未満の方向予測モードとは、Intra4x4PredModeが、０，５，７のいずれかの場合の予測モードである。8x8ブロックのイントラ予測の予測方向モードについても、予測方向モードを示すシンタックスがIntra8x8PredModeに置き換わるだけで同様である。また、16ｘ16ブロックのイントラ予測について、水平（左または右）方向から±４５°以内の方向予測モードとは、同様に、ＩＴＵ−Ｔで規定するＨ．２６４に記載されているIntra16x16PredModeが１の場合の予測モードである。一方、垂直（上または下）方向から±４５°未満の方向予測モードとは、Intra16x16PredModeが０の場合の予測モードである。
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測分別フローに進む（ステップＳ３１１）。図７−３は、インター予測分別フローを示す図である。
ここで、上記領域分別部４０１によるインター予測分別フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の分別処理を、図７−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の分別処理についても同様である。
マクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素の領域を、過去に高解像度画像を生成する過程で領域分別を行った画像における第二の参照位置の画素の領域と同一にする（ステップＳ３１２）。マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ３１３）。
なお、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３１４）。また、動きベクトルが整数精度位置を参照していない場合についても（ステップＳ１１２：Ｎｏ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ３１４）。
また、上記処理において領域分別部４０１が平坦領域に分別した場合（ステップＳ３０２、Ｓ３１４）であっても、装置の演算量に余裕があれば領域分別の処理を行うこととしてもよい。
また、領域分別部４０１は、領域分別の処理を行うとした場合（ステップＳ３１０、Ｓ３１３）、または、上記演算量に余裕があるとして領域分別の処理を行うとした場合（ステップＳ３０２、Ｓ３１４）、以下のしきい値との比較により、さらに、領域分別の処理を行うこととしてもよい。
図８は、上記しきい値との比較処理を示すフローチャートである。たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、領域分別部４０１は、そのマクロブロックに含まれる画素を全て平坦領域に分別する（ステップＳ４０１）。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、領域分別部４０１は、領域分別の処理を行う（ステップＳ４０２）。
領域分別部４０１の処理をまとめると以下のとおりである。
マクロブロックに含まれる画素を全て平坦領域に分別した場合、領域分別部４０１は、その旨を領域分別情報として出力する。
領域分別の処理を行う場合、領域分別部４０１は、マクロブロックに含まれる画素を、エッジ領域，平坦領域のいずれかの領域に分別して、その結果を領域分別情報として出力する。
過去の領域分別情報を利用する場合、領域分別部４０１は、メモリ４０２に保存されている過去の領域分別情報から第二の参照位置の領域の情報を抽出し、マクロブロックに含まれる画素の領域を第二の参照位置の画素の領域と同一にして領域分別情報として出力する。
対応点探索部３０２は、領域分別部４０１からの領域分別情報と復号低解像度画像信号に基づいて、対応点の探索を行う。対応点探索部３０２は、領域分別部４０１がエッジ領域と分別した画素に対して対応点探索を行い、対応点探索情報を出力する。また、対応点探索部３０２は、領域分別部４０１が平坦領域と分別した画素に対して対応点の探索を行わず、平坦領域である（対応位置の画素値の修正の必要がない）旨を対応点探索情報として出力する。
以上説明したように、本実施の形態によれば、領域分別部４０１が、符号化モード情報に基づいて注目画素を含むマクロブロックごとに領域分別を行うこととした。これにより、分別処理を行う画素を限定することができ、さらに画像の高解像度化に必要な処理負荷を軽減することができる。
（第４の実施の形態）
本実施の形態では、判定部および領域分別部を備えない構成とする。以下、第１〜３の実施の形態と異なる部分について説明する。
図９は、第４の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第３の実施の形態の図６の構成から、領域分別部４０１，メモリ４０２，対応点探索部３０２を削除し、対応点探索部５０１とメモリ５０２を備える。
対応点探索部５０１は、符号化モード情報と復号低解像度画像信号を入力し、注目画素を含むマクロブロックごとに対応点の探索を行う。対応点を探索する場合の方法については、既存の方法と同様である。対応点を探索した結果である対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。メモリ５０２は、過去に高解像度画像を生成する過程で対応点を探索した際の画素ごとの対応点探索情報を保存する。
つづいて、対応点探索部５０１の探索処理を、フローチャートに基づいて詳細に説明する。図１０−１は、対応点探索部５０１の処理を示すフローチャートである。まず、注目画素を含むマクロブロックがスキップマクロブロックの場合について説明する。
注目画素を含むマクロブロックの動きベクトルが整数精度位置を参照している場合（ステップＳ１０２：Ｙｅｓ）、対応点探索部５０１は、マクロブロックに含まれる画素の対応点を、過去に高解像度画像を生成する過程で対応点探索を行った画像における上記マクロブロックに相当する位置（以下、第三の参照位置とする）の画素の対応点と同一にする（ステップＳ５０１）。このとき、対応点探索部５０１は、メモリ５０２に保存されている過去に対応点探索した際の対応点探索情報から第三の参照位置の対応点の情報を抽出し、マクロブロックに含まれる画素の対応点を第三の参照位置の画素の対応点と同一にする。一方、整数精度位置を参照していない場合（ステップＳ１０２：Ｎｏ）、対応点探索部５０１は、マクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５０２）。
なお、注目画素を含むマクロブロックがスキップマクロブロックでない場合は（ステップＳ１０１：Ｎｏ）、イントラ予測探索フローへ進む（ステップＳ５０３）。図１０−２は、イントラ予測探索フローを示す図である。
ここで、上記対応点探索部５０１によるイントラ予測探索フロー、すなわち、注目画素を含むマクロブロックの予測モードがイントラ予測モードの場合の探索処理を、図１０−２にしたがって説明する。なお、サブマクロブロックの予測モードがイントラ予測モードの場合の探索処理についても同様である。
イントラ予測モードが水平（左または右）方向から±４５°以内の方向予測モードである場合（ステップＳ３０４：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素ごとに行う対応点探索において、対応点探索の範囲を左右の縦ラインに限定する（ステップＳ５０４）。一方、水平（左または右）方向から±４５°以内の方向予測モードではなく（ステップＳ３０４：Ｎｏ）、かつ、垂直（上または下）方向から±４５°未満の方向予測モードである場合（ステップＳ３０６：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素ごとに行う対応点探索において、対応点探索の範囲を上下の横ラインに限定する（ステップＳ５０５）。
垂直（上または下）方向から±４５°未満の方向予測モードではなく（ステップＳ３０６：Ｎｏ）、さらに「方向予測モードではない」かつ「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たす場合（ステップＳ３０８：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５０６）。一方、「方向予測モードである」場合、または、「ＤＣＴ係数がＤＣ成分のみまたはＤＣＴ係数が全て０」の条件を満たさない場合（ステップＳ３０８：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ５０７）。
なお、注目画素を含むマクロブロックの予測モードがイントラ予測モードでない場合は（ステップＳ１０６：Ｎｏ）、インター予測探索フローに進む（ステップＳ５０８）。図１０−３は、インター予測探索フローを示す図である。
ここで、上記対応点探索部５０１によるインター予測探索フロー、すなわち、注目画素を含むマクロブロックの予測モードがインター予測モードの場合の探索処理を、図１０−３にしたがって説明する。なお、サブマクロブロックの予測モードがインター予測モードの場合の探索処理についても同様である。
そのマクロブロックのＤＣＴ係数がＤＣ成分のみまたは全て０の場合（ステップＳ１１３：Ｙｅｓ）、対応点探索部５０１は、マクロブロックに含まれる画素の対応点を、過去に高解像度画像を生成する過程で対応点探索を行った画像における第三の参照位置の画素の対応点と同一にする（ステップＳ５０９）。マクロブロックのＤＣＴ係数が、ＤＣ成分のみまたは全て０の条件を満たさない場合（ステップＳ１１３：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ５１０）。
なお、注目画素を含むマクロブロックの動きベクトルの本数が２本以上の場合（ステップＳ１１１：Ｎｏ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５１１）。また、動きベクトルが整数精度位置を参照していない場合についても（ステップＳ１１２：Ｎｏ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ５１１）。
また、上記処理において対応点探索部５０１が対応点探索を行わないとした場合（ステップＳ５０２、Ｓ５１１）であっても、装置の演算量に余裕があれば対応点探索を行うこととしてもよい。
また、対応点探索部５０１が、対応点探索を行うとした場合（ステップＳ５０７、Ｓ５１０）、または、上記演算量に余裕があるとして対応点探索を行うとした場合（ステップＳ５０２、Ｓ５１１）、以下のしきい値との比較により、さらに、対応点探索を行うこととしてもよい。
図１１は、上記しきい値との比較処理を示すフローチャートである。たとえば、SumACがしきい値THよりも小さい場合（ステップＳ２０２：Ｙｅｓ）、対応点探索部５０１は、そのマクロブロックに含まれる画素を平坦領域として対応点探索を行わない（ステップＳ６０１）。一方、SumACがしきい値TH以上の場合（ステップＳ２０２：Ｎｏ）、対応点探索部５０１は、対応点探索を行う（ステップＳ６０２）。
対応点探索部５０１の処理をまとめると以下のとおりである。
対応点探索を行わない場合、対応点探索部５０１は、その旨を対応点探索情報として出力する。
対応点探索を行う場合、対応点探索部５０１は、マクロブロックに含まれる画素に対して対応点探索を行い、その結果を対応点探索情報として出力する。
過去の対応点探索情報を利用する場合、対応点探索部５０１は、メモリ５０２に保存されている過去の対応点探索情報から第三の参照位置の対応点の情報を抽出し、マクロブロックに含まれる画素の対応点を第三の参照位置の画素の対応点と同一にして対応点探索情報として出力する。
以上説明したように、本実施の形態によれば、対応点探索部５０１が、符号化モード情報に基づいて、注目画素を含むマクロブロックごとに対応点探索を行うこととした。これにより、対応点の探索を行う画素を限定することができ、画像の高解像度化に必要な処理負荷を軽減することができる。
（第５の実施の形態）
本実施の形態では、対応点探索部に符号化モード情報と領域分別情報を入力する構成とする。以下、第１〜４の実施の形態と異なる部分について説明する。
図１２は、第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。高解像度化装置は、前述した第４の実施の形態の図９の構成から、対応点探索部５０１を削除し、領域分別部３０１と対応点探索部６０１を備える。
対応点探索部６０１は、符号化モード情報と領域分別部３０１からの領域分別情報とを入力して対応点探索を行い、対応点探索情報と復号低解像度画像信号を画素修正部２０３へ出力する。本実施の形態では、第４の実施の形態と同様、符号化モード情報に基づいて対応点探索を行うが、既に領域分別部３０１で平坦領域と分別した画素については対応点探索を行わない。平坦領域に分別された画素に対して対応点探索を行わないことを除けば、対応点探索部６０１の処理は、第４の実施の形態でフローチャート（図１０−１〜図１１）を用いて説明した処理と同等である。
また、領域分別部３０１を、符号化モード情報と復号低解像度信号を入力とする領域分別部４０１に置き換えることも可能である。図１３は、領域分別部３０１を領域分別部４０１に置き換えた高解像度化装置の構成例を示すブロック図である。この場合、領域分別部４０１の処理は、第３の実施の形態でフローチャート（図７−１〜図８）を用いて説明した処理と同等であり、対応点探索部６０１の処理は上記と同一である。
ただし、領域分別する処理を限定する場合（図８）、および対応点を探索する処理を限定する場合（図１１）において使用するしきい値については、式（１）で示した条件以外に次のような条件を追加する。領域分別部４０１におけるしきい値を「THx （x∈｛intra，inter｝）」とし、対応点探索部６０１におけるしきい値を「TH'x （x∈｛intra，inter｝）」とすると、全ての「x」について、「THx＞TH'x」となる（後段の対応点探索部６０１のしきい値の方を小さくする）ように式（１）の比例定数およびoffset値を調整する。
以上説明したように、本実施の形態によれば、対応点探索の前に領域分別を行うこととした。これにより、平坦領域については対応点探索を行わないため、第４の実施の形態と比較して、さらに、画像の高解像度化に必要な処理負荷を軽減することができる。
第１の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。 第１の実施の形態にかかる高解像度画像修正部の構成例を示すブロック図である。 判定部の処理を示すフローチャートである。 判定部の処理を示すフローチャートである。 判定部の処理を示すフローチャートである。 判定部の処理を示すフローチャートである。 第２の実施の形態にかかる高解像度画像修正部の構成例を示すブロック図である。 第３の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。 領域分別部の処理を示すフローチャートである。 領域分別部の処理を示すフローチャートである。 領域分別部の処理を示すフローチャートである。 領域分別部の処理を示すフローチャートである。 第４の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。 対応点探索部の処理を示すフローチャートである。 対応点探索部の処理を示すフローチャートである。 対応点探索部の処理を示すフローチャートである。 対応点探索部の処理を示すフローチャートである。 第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。 第５の実施の形態にかかる高解像度化装置の構成例を示すブロック図である。
符号の説明
１０１ 動画像復号化部、１０２ 仮高解像度画像生成部、１０３ 判定部、１０４ 高解像度画像修正部、２０１ スイッチ、２０２ 対応点探索部、２０３ 画素修正部、２０４ メモリ、３０１ 領域分別部、３０２ 対応点探索部、４０１ 領域分別部、４０２ メモリ、５０１ 対応点探索部、５０２ メモリ、６０１ 対応点探索部。

Claims (5)

  1. 動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
    前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
    前記注目画素に対応する符号化モード情報に基づいて、当該注目画素に対して動き０の位置に相当する仮高解像度画像の対応位置の画素値に対する修正の有無を判定する判定手段と、
    前記注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
    前記判定手段が前記仮高解像度画像の対応位置の画素値に対する修正を行うと判定した場合には、当該仮高解像度画像の対応位置の画素値に対して所定の修正処理を行い、一方、修正を行わないと判定した場合には、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
    を備えることを特徴とする高解像度化装置。
  2. 前記復号後の画像信号により構成される画像に含まれる各画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段、
    を備え、
    前記対応点探索手段は、さらに、前記領域分別手段の分別結果に基づいて、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別された画素については対応点の探索を行わず、
    前記画像修正手段は、前記判定手段の結果によらず、前記対応点探索手段が対応点の探索を行わなかった画素に対応する仮高解像度画像の対応位置の画素値の修正を行わないことを特徴とする請求項１に記載の高解像度化装置。
  3. 動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
    前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
    前記注目画素に対応する符号化モード情報に基づいて、当該注目画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段と、
    前記領域分別手段が、隣接する画素の画素値との差分が所定のしきい値よりも小さいことを示す領域に分別した注目画素については、対応点の探索を行わず、その他の領域に分別した注目画素に対応する対応点を、前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
    前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
    を備えることを特徴とする高解像度化装置。
  4. 動画像符号化方式によって圧縮された動画像の符号化データを復号し、復号後の画像信号から高解像度画像信号を生成する高解像度化装置において、
    前記復号後の画像信号により構成される画像を順次基準フレームとして設定し、当該基準フレームから、内挿処理によって当該基準フレームよりも画素数の多い仮高解像度画像を生成し、さらに、当該基準フレームに含まれる複数の画素を１つずつ注目画素として設定し、前記符号化データに基づき注目画素ごとまたは当該注目画素を含む特定範囲ごとに、所定の符号化モード情報を取得する仮高解像度画像生成手段と、
    前記注目画素の画素値と当該注目画素に隣接する画素の画素値との差分が所定の対応点探索しきい値よりも小さい場合は対応点の探索を行わず、所定の対応点探索しきい値よりも大きい場合は、前記注目画素に対応する符号化モード情報に基づいて、当該注目画素の対応点を前記復号後の画像信号の中から小数精度で取得する対応点探索手段と、
    前記対応点探索手段が対応点の探索を行った注目画素に対応する仮高解像度画像の対応位置の画素値については所定の修正処理を行い、一方、前記対応点探索手段が対応点の探索を行わなかった注目画素に対応する仮高解像度画像の対応位置の画素値については前記修正処理を行わず、当該仮高解像度画像の対応位置の画素値を高解像度画像信号として出力する画像修正手段と、
    を備えることを特徴とする高解像度化装置。
  5. 前記復号後の画像信号により構成される画像に含まれる各画素を、隣接する画素の画素値との差分を基準として分類された複数の領域のうちの１つの領域に分別する領域分別手段、
    を備え、
    前記対応点探索手段は、さらに、前記領域分別手段の分別結果に基づいて、隣接する画素の画素値との差分が所定の領域分別しきい値（領域分別しきい値＞対応点探索しきい値）よりも小さいことを示す領域に分別された画素については対応点の探索を行わないことを特徴とする請求項４に記載の高解像度化装置。
JP2008298248A 2008-11-21 2008-11-21 高解像度化装置 Pending JP2010124397A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008298248A JP2010124397A (ja) 2008-11-21 2008-11-21 高解像度化装置
US12/556,614 US8223832B2 (en) 2008-11-21 2009-09-10 Resolution increasing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008298248A JP2010124397A (ja) 2008-11-21 2008-11-21 高解像度化装置

Publications (1)

Publication Number Publication Date
JP2010124397A true JP2010124397A (ja) 2010-06-03

Family

ID=42195909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008298248A Pending JP2010124397A (ja) 2008-11-21 2008-11-21 高解像度化装置

Country Status (2)

Country Link
US (1) US8223832B2 (ja)
JP (1) JP2010124397A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5853372B2 (ja) * 2011-01-26 2016-02-09 富士通株式会社 画像処理装置および画像処理方法
US9225979B1 (en) * 2013-01-30 2015-12-29 Google Inc. Remote access encoding
KR101615503B1 (ko) * 2013-05-15 2016-04-26 주식회사 칩스앤미디어 인트라 예측 정보를 이용한 해상도 변환 방법 및 그 장치
CN108833916B (zh) * 2018-06-20 2021-09-24 腾讯科技（深圳）有限公司 视频编码、解码方法、装置、存储介质和计算机设备
CN110148176B (zh) * 2019-05-30 2021-10-15 国家卫星气象中心(国家空间天气监测预警中心) 红外高光谱多像元载荷的定位一致性的检验方法和装置
JP7397360B2 (ja) * 2019-11-15 2023-12-13 日本電信電話株式会社 映像符号化方法、映像符号化装置及びコンピュータープログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341443A (ja) * 1997-06-06 1998-12-22 Fujitsu Ltd 動画像符号化装置及び復号化装置並びに動画像符号化方法及び復号化方法
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
WO2007108642A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
JP2007310837A (ja) * 2006-05-22 2007-11-29 Toshiba Corp 高解像度化装置および方法
JP2008053848A (ja) * 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2008268725A (ja) * 2007-04-24 2008-11-06 Toshiba Corp 情報処理装置および画像データの高解像度化方法
JP2008276380A (ja) * 2007-04-26 2008-11-13 Toshiba Corp 画像拡大装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0181034B1 (ko) * 1995-03-18 1999-05-01 배순훈 특징점 기반 움직임 추정을 이용한 움직임 벡터 검출 방법 및 장치
KR0171154B1 (ko) * 1995-04-29 1999-03-20 배순훈 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치
KR100235356B1 (ko) * 1997-08-13 1999-12-15 전주범 개선된 움직임 추정 장치 및 그 추정 방법
US6934336B2 (en) * 2001-07-26 2005-08-23 Matsushita Electric Industrial Co., Ltd. Area expansion apparatus, area expansion method, and area expansion program
JP4874904B2 (ja) * 2007-09-13 2012-02-15 株式会社東芝 画像処理装置及びその方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10341443A (ja) * 1997-06-06 1998-12-22 Fujitsu Ltd 動画像符号化装置及び復号化装置並びに動画像符号化方法及び復号化方法
JP2005006275A (ja) * 2002-11-22 2005-01-06 Matsushita Electric Ind Co Ltd 補間フレーム作成装置、補間フレーム作成方法、および補間フレーム作成プログラム
WO2007108642A1 (en) * 2006-03-23 2007-09-27 Samsung Electronics Co., Ltd. Image encoding/decoding method and apparatus
JP2007310837A (ja) * 2006-05-22 2007-11-29 Toshiba Corp 高解像度化装置および方法
JP2008053848A (ja) * 2006-08-22 2008-03-06 Oki Electric Ind Co Ltd 画像処理装置及び画像処理方法
JP2008268725A (ja) * 2007-04-24 2008-11-06 Toshiba Corp 情報処理装置および画像データの高解像度化方法
JP2008276380A (ja) * 2007-04-26 2008-11-13 Toshiba Corp 画像拡大装置および方法

Also Published As

Publication number Publication date
US20100128170A1 (en) 2010-05-27
US8223832B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
US20230345013A1 (en) Hash-based encoder decisions for video coding
TWI688267B (zh) 動畫像編碼裝置、動畫像解碼裝置及編碼資料
EP3095239B1 (en) Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
EP3114838B1 (en) Hash table construction and availability checking for hash-based block matching
US10368092B2 (en) Encoder-side decisions for block flipping and skip mode in intra block copy prediction
JP5261376B2 (ja) 画像符号化装置および画像復号化装置
US20070223833A1 (en) Filtering Method for Removing block Artifacts and/or Ringing Noise and Apparatus Therefor
JP2007124408A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008219870A (ja) 動画像符号化方法及び動画像符号化装置
JP2010124397A (ja) 高解像度化装置
JP5178616B2 (ja) シーンチェンジ検出装置および映像記録装置
JP4523024B2 (ja) 画像符号化装置および画像符号化方法
JP4510701B2 (ja) 動画像符号化装置
JP2007158855A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP4797999B2 (ja) 画像符号化・復号化装置
JP5253328B2 (ja) 画像補正装置及び画像補正方法
JP2009087323A (ja) 画像処理装置、及び、特定領域検出方法
JP2008236622A (ja) 色形式変換装置、方法及びプログラム
JP2015019319A (ja) 符号化装置、符号化方法及びプログラム
JP2012151614A (ja) 画像処理装置、及び画像処理方法
JP2008244566A (ja) マクロブロックスキップモードの復号における動画像画質の改善方法
JP2005294967A (ja) 映像符号化装置
JP2007274114A (ja) 画像符号化装置及び画像符号化方法
JP2008193308A (ja) 符号化方式変換方法および装置ならびに符号化方式変換プログラムおよびその記憶媒体
KR20210111901A (ko) 화면 내 예측 방법 및 이러한 방법을 사용하는 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110224

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130108