JP2016535382A - 元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法及び装置 - Google Patents

元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法及び装置 Download PDF

Info

Publication number
JP2016535382A
JP2016535382A JP2016550997A JP2016550997A JP2016535382A JP 2016535382 A JP2016535382 A JP 2016535382A JP 2016550997 A JP2016550997 A JP 2016550997A JP 2016550997 A JP2016550997 A JP 2016550997A JP 2016535382 A JP2016535382 A JP 2016535382A
Authority
JP
Japan
Prior art keywords
patch
original image
image
version
low quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016550997A
Other languages
English (en)
Other versions
JP2016535382A5 (ja
Inventor
ギュイモ，クリスティーヌ
アラン，マルチーネ
トロ，ドミニク
ギヨテル，フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP14305637.2A external-priority patent/EP2941005A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2016535382A publication Critical patent/JP2016535382A/ja
Publication of JP2016535382A5 publication Critical patent/JP2016535382A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/99—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals involving fractal coding

Abstract

本発明は、元画像の低品質バージョン、及び、画像から算出されたエピトミから、元画像の推定を構築する方法及び装置に関連する。本方法は、少なくとも1つのパッチペアを有する辞書を取得するステップ(11)であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる元画像の低品質バージョンのパッチとを有し、パッチペアは、エピトミの各パッチについて、エピトミからのパッチと低品質画像からのものとをインプレースマッチングすることにより取り出される、ステップ；元画像の低品質バージョンの各パッチについて、パッチペアの辞書のうちの少なくとも1つのパッチペアを選択するステップ(12)であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、ステップ；選択される少なくとも1つのパッチペアからマッピング関数を取得するステップ(13)；及び、マッピング関数を利用して、元画像の低品質バージョンのパッチを、最終的なパッチに投影するステップ(14)を有する。【選択図】図1

Description

本発明は、一般に、元の画像の低品質バージョン及びエピトミ(epitome)の支援による画像の構築に関連する。
この欄は、以下で説明される及び/又は請求項に関連する本発明の様々な側面に関連する様々な技術的側面を読者に紹介するように意図されている。ここでの議論は、本発明の様々な側面の良い理解を促すために背景情報を読者に提供することに資するものと考えられる。従って、ここでの記述はその観点から理解されるべきであり、従来技術の自認ではないことが理解されるべきである。
エピトミは、画像(又はビデオ)信号の凝縮された(分解された)表現であり、その信号はその画像のテクスチャ的特性(textural properties)の本質を含む。
画像はそのエピトミとその割当マップ(assignation map)により記述される。エピトミは、画像に由来する一群のチャートを含む。割当マップは、画像の各ブロックについて、テクスチャエピトミの何れのパッチがそれを構築するのに使用されるかを示す。符号化コンテキストでは、エピトミは、割当マップと一緒に保存及び/又は送信される必要がある (S. Cherigui, C. Guillemot, D. Thoreau, P. Guillotel, and P. Perez, “Epitome-based image compression using translational sub-pixel mapping,” IEEE MMSP 2011)。
様々な形態のエピトミが提案されており、例えば、高度な「完全性」(high “completeness”)、或いは、静止画パッチ又は入力ビデオから取得される時空間テクスチャキューブの何れかから学習されるパッチベースの確率モデルによる画像サマリー等である(D. Simakov, Y. Caspi, E. Shechtman, M. Irani, “Summarizing visual data using bidirectional similarity”, Computer Vision and Pattern Recognition, CVPR 2008)，(N. Jojic et al, “Epitomic analysis of appearance and shape”, in Proc.IEEE Conf. Comput. Vis. (ICCV’03), pp.34-41, 2003)，(V. Cheung, B. J. Frey, and N. Jojic, “Video Epitomes”, International Journal of Computer Vision, vol.76, No.2, Feb. 2008)。適切な推定アルゴリズムを伴うこれらの確率モデルは、インペインティング(in-painting)又は超解像度(super-resolution)におけるコンテンツ分析で有用である。
別の方法群は、画像の中及び画像間の自己類似性(self-similarities)を復元するために、KLTトラッキングアルゴリズム等のようなコンピュータビジョン技術を利用するものである (H. Wang, Y. Wexler, E. Ofek, H. Hoppe, “Factoring repeated content within and among images”, ACM Transactions on Graphics, SIGGRAPH 2008)。
一方、別のタイプのアプローチも導入されており、スパースコーディング(sparse coding)及び辞書学習を利用して、画像からエピトミ的なシグネチャ(epitome-like signature)を抽出することを目指している(M. Aharon and M. Elad, “Sparse and Redundant Modeling of Image Content Using an Image-Signature-Dictionary”, SIAM J. Imaging Sciences, Vol. 1, No. 3, pp. 228-247, Jul. 2008)。
画像エピトミに基づくイントラ予測方法も紹介されており、各々のブロックに関する予測は、テンプレートマッチングにより画像エピトミから生成される(A. Efros, T. Leung, “Texture synthesis by non-parametric sampling”, in International Conference on Computer Vision, pages 1033-1038, 1999 )。ビデオエピトミ分析に基づくイントラ符号化方法も提案されており、(ベクトルを照合する)変換マップが、画像エピトミの長さ及び幅により決定される固定長コードとともに符号化される(Q. Wang, R. Hu, Z. Wang, “Intra coding in H.264/AVC by image epitome”, PCM 2009)。これら2つのアプローチにより使用されるエピトミ画像は、ピラミッド的なアプローチとともに期待値最大化(Expectation Maximization：EM)アルゴリズムに基づく。
この種のエピトミ画像は、元の画像の全体的なテクスチャ及び形状の特性を保つが、(例えば、入力画像には存在しない余分なパッチ等のような)望まれない視覚的アーチファクトを導入してしまう。
本発明は、元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法とともに、従来技術の欠点の幾つかを是正し、元の画像の推定を構築する際の望まれないアーチファクトを抑制する。
より具体的には、本方法は、少なくとも1つのパッチペアを有する辞書を取得し、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、前記元画像の低品質バージョンのパッチ(第2パッチと呼ばれる)とを有する。パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと低品質画像からのものとをインプレースマッチング(in-place matching)することにより取り出される。
次に、前記元画像の低品質バージョンの各パッチについて、本方法は、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択し、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される。
そして、本方法は、選択される前記少なくとも1つのパッチペアからマッピング関数を取得し、前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する。
変形例によれば、前記最終的な(複数の)パッチが或るピクセルで互いにオーバーラップする場合、前記方法は、前記元画像の推定のピクセル値を与えるために、或るピクセルで前記最終的な(複数の)パッチを平均化する。
一形態によれば、選択された前記少なくとも1つのパッチペアは、前記元画像の低品質バージョンのパッチのうち最も近い近隣である。
一形態によれば、前記マッピング関数は、選択された前記少なくとも1つのパッチペアによる学習により取得される。
一形態によれば、前記マッピング関数の学習は、選択された前記少なくとも1つのパッチペアの前記第1パッチ及び前記第2パッチの間の最小二乗誤差を最小化することにより決定される。
一形態によれば、前記元画像の低品質バージョンは、前記元画像の解像度を有する画像である。
一形態によれば、前記元画像の低品質バージョンは：
- 前記元画像の低解像度バージョンを生成し；
- 画像の低解像度バージョンをエンコードし；
- 画像の低解像度バージョンをデコードし；及び
- 前記元画像の解像度に合致する解像度を有する前記元画像の低品質バージョンを得るために、デコードされた低解像度バージョンの画像を補間する；
ことにより、取得される。
一形態によれば、前記エピトミは前記元画像から取得される。
一形態によれば、前記エピトミは前記元画像の低解像度バージョンから取得される。
実施形態の一側面によれば、本発明は、元画像の低品質バージョン、及び、画像から算出されたエピトミから、元画像の推定を構築する装置に関連する。本装置は：
- 少なくとも1つのパッチペアを有する辞書を取得する手段であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質画像からのものとをインプレースマッチングすることにより取り出される、手段；
- 前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択する手段であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、手段；
- 選択される前記少なくとも1つのパッチペアからマッピング関数を取得する手段；及び
- 前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する手段；を有する。
本発明の具体的な性質に加えて本発明についての他の目的、利点、特徴及び用途は、添付図面に関連して為される好ましい形態についての以下の説明から明らかになるであろう。
実施形態は以下の図面を参照しながら説明される：
元の画像の低品質バージョン及び画像から算出されたエピトミから元の画像の推定を構築する方法ステップの図を示す。 図1に関連して説明される方法の実施例のステップの図を示す。 図1に関連して説明される方法の変形実施例によるステップの図を示す。 図1に関連して説明される方法の別の変形実施例によるステップの図を示す。 画像からエピトミを取得するステップの実施例の図を示す。 送信する状況におけるエンコーディング/デコーディング方式の具体例の図を示す。元の画像の推定を構築する方法の実施例を実現する例示的なエンコーディング/デコーディング方式のステップの図を示す。 図5のエンコーディング/デコーディング方式の変形例によるステップの図を示す。 デバイスのアーキテクチャ例を示す。
以下、本発明の実施形態が示される添付図面を参照しながら、本発明は更に十分に説明される。しかしながら、本発明は、多くの代替的な形態で実施されてもよく、ここで説明される実施形態に限定されるように解釈されるべきではない。従って、本発明は様々な変形や代替を受け入れる余地があるが、本発明の具体的な実施形態が、図面における具体例により示され、詳細に説明されている。しかしながら、本発明を開示された特定の形態に限定する意図は無く、むしろ逆に、本発明は、特許請求の範囲で規定されるような本発明の範囲及び精神に該当する全ての修正、等価物及び代替をカバーすることが、理解されるべきである。図面の説明に関し、同様な番号は同様な要素を指す。
本願で使用される用語は、特定の実施形態のみを記述するためのものであり、本発明の限定であるように意図されてはいない。ここで使用されるように、「ある」、「或る」、「前記」、「その」等のような単一的な言い方は、明示的な別段の断りがない限り、複数個の形態も包含する。「有する」、「構成する」、「含む」及び/又は「包含する」等の用語は、本明細書で使用される場合、言及される特徴、インテジャ(integer)、ステップ(又は工程)、オペレーション(又は処理)、エレメント(又は要素)及び/又はコンポーネントの存在を示すが、1つ以上の他の特徴、インテジャ、ステップ、オペレーション、エレメント、コンポーネント及び/又はそれらの組み合わせの存在や追加を排除しないことが、更に理解されるべきである。更に、あるエレメントが他のエレメントに「応答する(responsive)」又は「接続される(connected)」ように言及される場合、それは他のエレメントに直接的に応答又は接続されることが可能であるし、或いは、仲介するエレメントが存在してもよい。これに対して、或るエレメントが母体のエレメントに「直接的に応答する」又は「直接的に接続される」ように言及される場合、仲介するエレメントは存在しない。ここで使用されるように、「及び/又は」という用語は、関連付けて列挙される1つ以上のアイテムの何れか及び全ての組み合わせを含む。
様々なエレメントを記述するために第1、第2等のような用語が本願で使用されるかもしれないが、これらのエレメントはそれらの用語によって限定されるべきでないことが、理解されるであろう。これらの用語は或るエレメントと他のエレメントを区別するだけのために使用される。例えば、開示される教示から逸脱することなく、第1エレメントは第2エレメントと言及されることが可能であり、同様に、第2エレメントは第1エレメントと言及されることが可能である。
ある図面は、通信の主要な方向を示すために通信経路に矢印を含むが、通信は、図示される矢印と反対向きになされてよい場合もあることが、理解されるべきである。
いくつかの実施形態はブロック図及び処理フローチャートに関連して説明されており、その場合の各々のブロックは、回路要素、モジュール又はコード部分を表現し、コード部分は、指定される論理機能を実現するための1つ以上の実行可能な命令を有する。他の実現手段では、そのブロックで説明される機能が、説明とは異なる順序でなされてもよいことに留意すべきである。例えば、関わる機能に依存して、連続して示される2つのブロックは、事実上、実質的に同時に実行されてもよいし、或いは、それらのブロックはしばしば逆の順序で実行されもよい。
「一実施形態」又は「一形態」のような本願における言い回しは、その実施形態に関連して説明される特定の特徴、構造又は事項が、本発明の少なくとも1つの実現手段に含まれることが可能であることを意味する。本明細書中の様々な箇所で登場する「一実施形態において」という語句は、必ずしも全てが同じ実施形態を指す必要はないし、また、相互に他の実施形態を排除する別個の又は代替的な実施形態であるとも限らない。
特許請求の範囲に参照番号が存在する場合、それらは単なる例示であるに過ぎず、特許請求の範囲を限定する作用効果を有しない。
明示的に言及されてはいないが、本願の実施形態及び変形例は、任意のコンビネーション又はサブコンビネーションで実施されてよい。
図1は、元画像Yの低品質バージョンYl(エル)、及び、画像から算出されたエピトミ(epitome)Ehから、元画像Yの推定Y^を構築する方法のステップについての図を示す。この方法は以下において「10」というリファレンスを有する。
エピトミEhは、Yi Eのように記述されるN個のパッチを有する(i=1...N)。
以下において、パッチは、画像をなす隣接画素の一部である。
ステップ11において、少なくとも1つのパッチペア(Yi E,Yi l)の辞書(dictionary)が次のようにして取得される：エピトミEhの各パッチYi Eについて、低品質画像Ylの中で同じ位置にあるパッチYi lが取り出される、すなわち、エピトミEhからのパッチと低品質画像Ylからのものとをインプレースマッチング(in-place matching)することにより、各々のパッチYi Eについて、パッチペア(Yi E,Yi l)が取得される。
以下において、パッチペア(Yi E,Yi l)のうちのパッチYi Eは第1パッチと呼ばれ、他のパッチYi lは第2パッチと呼ばれる。
ステップ12において、低品質画像Ylの各パッチXj lについて、辞書の中でK個のパッチペア(Yk E,Yk l)が選択され(k=1,...,K)、各々のパッチペア(Yk E,Yk l)は、低品質画像YlのパッチXj lとそのパッチペア (Yk E,Yk l)の第2パッチYk lとに関わる基準(又は尺度)に従って選択される。
Kは1に等しくてもよい整数値であることに留意を要する。
一実施形態によれば、K個の選択される第2パッチYk lは、低品質画像YlのパッチXj lのうちK個の最も近い近隣(K-NN)である。
ステップ13において、K個のパッチペア(Yk E,Yk l)から、マッピング関数が取得される。
一実施形態によれば、マッピング関数は、これらK個のパッチペアの学習により取得される。そのような学習は、例えば、線形又はカーネル回帰を利用してもよい。
回帰はK.Kim et al.によって既に考察されており(“Single-image super-resolution using sparse regression and natural image prior,” IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 32, no. 6, pp. 1127ー1133, 2010)、これは単独画像の超解像度に関連し、外的な一群のトレーニング画像からエグザンプルペアを取得し、大規模な一群のトレーニングエグザンプルを必要とする。Z.L.J.yang et al.(“Fast image super-resolution based on in-place example regression,” in Proc. IEEE International Conf. on Computer Vision and Pattern Recognition (CVPR), 2013, pp. 1059ー1066)は、低周波数バージョン(入力画像とガウシアンカーネルとの畳み込み)と低品質画像のバイキュービック補間バージョンとの間のサンプルペアを取り出している。超解像度アルゴリズムについて言えば、主要な相違は、マッチングペアがエピトミによって与えられる点にある。より正確には、エピトミは元画像の分解された表現(factorized representation)であるという事実を活用することにより、マッピング関数の局所的な学習が、小規模な一群のパッチペアのみを利用して実行されることが可能である。
一実施形態によれば、マッピング関数の学習は、K個の選択されたパッチペア(Yk E,Yk l)の第1パッチ及び第2パッチの間の最小二乗誤差を最小化することにより、次のようにして決定される：
K個の選択されたパッチペアの第2パッチYk lを列の中に含む行列を、Mlとする。
K個の選択されたパッチペアの第1パッチYk Eを列の中に含む行列を、Mhとする。
多変量線形回帰を考察すると、問題は、次式を最小化するマッピング関数Fを探すことになる：
Figure 2016535382
この数式は、Y=XB+Eという線形回帰モデルに対応し、その最小化は、次のような最小二乗推定量(least squares estimator)を与える：
Figure 2016535382
 変形例によれば、低品質画像YlにおけるパッチXj lは、低品質画像Ylの少なくとも1つの他のパッチとオーバーラップする。例えば、オーバーラップ因子は、調整されることが可能なパラメータであり、8×8パッチの場合、7に設定される。
ステップ14において、低品質画像Ylの各パッチXj lが、次式のように、マッピング関数Fを利用してパッチ〜Xhに射影される：
Figure 2016535382
 ステップ15において、パッチ〜Xhが或る画素で互いにオーバーラップする場合、或る画素でオーバーラップするパッチ〜Xhは、元画像の推定Y^の画素値を与えるように、平均化される。
本方法の一実施形態によれば、図2に示されるように、元画像(オリジナル画像)の低品質バージョンYlは、元画像の解像度を有する画像である。
この実施形態の一例によれば、元画像の低品質バージョンは次のようにして取得される：
ステップ20において、元画像の低解像度バージョンが、ローパスフィルタリング及びダウンサンプリングを利用して生成される。典型的には、2であるダウンサンプリング因子が使用される。
ステップ21において、元画像の低解像度バージョンがエンコードされる。
ステップ22において、元画像のエンコードされた低解像度バージョンが、デコードされる。
本発明は、如何なる特定のエンコーダ/デコーダにも限定されない。例えば、ISO/IEC 14496-10の文書に記述されているMPEG-4 AVC/H.264で規定されるH.264、或いは、(B. Bross, W.J. Han, G. J. Sullivan, J.R. Ohm, T. Wiegand JCTVC-K1003, “High Efficiency Video Coding (HEVC) text specification draft 9,” Oct 2012.)の文書に記述されているHEVC(High Efficiency Video Coding)によるエンコーダ/デコーダが使用されてもよい。
ステップ23において、デコードされた低解像度バージョンYdが、例えば、シンプルバイキュービック補間(simple bi-cubic interpolation)を利用して補間される。こうして取得された元画像の低品質バージョンは、元画像の解像度に一致する解像度を有する。
図2-2は、図1に関連して説明される方法の実施形態の変形例によるステップについての図を示す。
この変形例によれば、ステップ10(図1)により構築された元画像Yの推定Y^が、低解像度画像空間で反復的に逆投影され(back-projected)、反復時点tにおける推定Y^の逆投影バージョン^Yd tが、元画像の低解像度バージョンと比較される。
符号化/復号化の観点から言えば、元画像の低解像度バージョンは、デコードされた低解像度バージョンYdであり、ステップ22の出力である。
この変形例は、最終的な推定と低解像度バージョンYdとの間の一貫性を保証する。
反復時点tにおいて、元画像Yの推定が考慮される。
図2-2に示されるスイッチSWは、ステップ10(図1)に従って構築される推定Y^が第1の反復で考慮されること、及び、反復(t+1)で算出された推定^Yt+1が反復(t+2)で考慮されることを示す。その推定は、以後、低解像度画像空間に逆投影され、すなわち、その空間では、元画像の低解像度バージョンYdがダウンサンプリング因子に従って決定される(ステップ20)。
実際には、考察される推定の逆投影バージョン^Yd tは、ステップ20と同じダウンサンプリング因子を用いて生成される。
次に、逆投影バージョン^Yd tと元画像の低解像度バージョンYdとの間の誤差Errtが計算される。誤差Errtはその後にアップサンプリングされ(ステップ23)、アップサンプリングされた誤差が、考察対象の推定に加算され、新たな推定を求める。
数学的に言えば、新たな推定^Yt+1は、次のようにして得られる：
Figure 2016535382
 ここで、pは誤差をローカルに広げる逆投影フィルタであり、mはダウンサンプリング因子である(例えば、m=2である)。
反復の最大回数のような基準が確認される場合、或いは、誤差Errtに関して計算される平均誤差が所定の閾値未満になる場合に、反復は止まる。
図2-3は、図1に関連して説明される方法の実施形態の別の変形例のステップについての図を示す。
この変形例によれば、辞書(ステップ11)及びマッピング関数(ステップ13)を取得するために使用される元画像の低品質バージョンは、低解像度画像空間における元画像(Y)の現在の推定を逆投影すること、及び、反復tにおける現在の推定の逆投影バージョン^Yd tと元画像の低解像度バージョンYdとの間で算出される誤差を、現在の推定に加算することにより、反復的に更新される。
反復tにおいて、元画像Yの推定が考察される。
図2-3に示されるスイッチSWは、図2に従って構築される元画像Yの低品質バージョンYlが、第1の反復で考慮されること、及び、反復(t+1)において算出される元画像の推定は、反復(t+2)において考慮されることを示す。
実際には、オリジナル画像の推定は、オリジナル画像Yの低品質バージョンYl(反復1)、或いは、先行する反復で計算されたオリジナル画像の推定の何れかにより、ステップ10から取得される。
実際には、考察される推定の逆投影バージョン^Yd tは、ステップ20と同じダウンサンプリング因子を利用して生成される。
次に、逆投影バージョン^Yd tと元画像の低解像度バージョンYdとの間の誤差Errtが計算される。
符号化/復号化の観点から言えば、元画像の低解像度バージョンは、デコードされた低解像度バージョンYdであり、ステップ22の出力である。
誤差Errtはその後にアップサンプリングされ(ステップ23)、アップサンプリングされた誤差が、考察対象の推定^Ytに加算され、元画像の新たな推定^Yt+1を求める。
反復の最大回数のような基準が確認される場合、或いは、誤差Errtに関して計算される平均誤差が所定の閾値未満になる場合に、反復は止まる。
図3は、画像InからエピトミEhを取得するステップ30の一実施形態を示す。この方法自体は次の文献に詳細に説明されている：S. Cherigui, C. Guillemot, D. Thorea u, P. Guillotel, and P. Perez, “Epitome-based image compression using translational sub-pixel mapping,” IEEE MMSP 2011。
画像Inは、そのエピトミEhと割当マップ(assignation map)Φとにより記述される。エピトミは、画像Inから生じる一群のチャート(a set of charts)を含む。割当マップは、画像の各ブロックについて、テクスチャエピトミ(texture epitome)の何れのパッチが再構成に使用されるかを示す。
画像InはブロックBiという矩形グリッドに分割され、各ブロックBiは、割当マップφiによりエピトミパッチから近似される。構成方法は、基本的には、3段階により構成される：自己相似性(self-similarities)を発見すること、エピトミチャートを作成すること、及び、更に最も適合するものを探し出して割当マップに従って更新することにより再構築品質を改善すること、である。
ステップ31において、画像Inにおける自己相似性を発見することは、画像Inの中で、画像In内の各ブロックBiに類似する内容(コンテンツ)を有する一群のパッチを探すことから構成される。すなわち、各ブロックBi∈Inに関し、合致したパッチMi,lのマッチリストはLmatch(Bi)={Mi,0, Mi,1,...}であり、所与の誤差許容度εとともにブロックBiを近似する。例えば、合致性(又は照合)は、平均ユークリッド距離を利用するブロックマッチングアルゴリズムとともに実行される。画像In全体について、網羅的なサーチが実行されてもよい。
所与の一群の画像ブロックについて、全てのマッチリストが作成されると、ステップ32において、合致したパッチMj,lにより表現されることが可能な一群の画像ブロックを示す新たなリストL’ match(Mj,l)が構築される。網羅的なサーチの中で発見された全ての合致するブロックMj,lは、画像のブロックグリッドに必ずしも整合しておらず、「画素グリッド(pixel grid)」に属することに留意を要する。
ステップ33において、入力画像から選択された選択テクスチャパッチから、エピトミチャートが構築される。各々のエピトミチャートは、画像Inの特定の領域を表現する。
初期化サブステップの間に、現在のエピトミチャートECnのインデックスである整数値nがゼロに設定される。現在のエピトミチャートECnは、残存する非再構築画像ブロック(remaining no reconstructed image blocks)のうち最も代表的なテクスチャパッチにより初期化される。
数学的に言えば、現在のエピトミチャートは、例えば、平均二乗誤差(MSE)の最小という基準により初期化される：
Figure 2016535382
ここで、Y’(i,j)は所与のテクスチャパッチにより再構築される画像である。
数式(1)は、画像In全体に関する予測誤差を考慮している。すなわち、この基準は、所与のテクスチャパッチにより近似される画像ブロックだけでなく、そのパッチによって近似されない画像ブロックにも適用される。変形例として、画像再構築誤差を計算する場合に、このパッチにより再構築されない画像画素に対して、ゼロの値が指定される。従って、この基準は、現在のエピトミチャートがテクスチャパターンによって拡張されることを可能にし、最大数のブロックの再構築に加えて、最小の再構築誤差を可能にする。
拡張(extension)サブステップ331の間に、現在のエピトミチャートECnは、画像Inから最適拡張ΔEoptだけ徐々に拡張され、現在のエピトミチャートが拡大される毎に、画像Inの中で予測されることが可能な追加ブロック数を記録する。
現在のエピトミチャートが拡張される回数をkとする。初期のエピトミチャートECn(k=0)は、初期化サブステップ330で維持されるテクスチャパッチに対応する。拡張ステップ331は、現在のチャートECn(k)にオーバーラップし及び他の画像ブロックを表現する一群の合致するパッチMj,lを判別することから進行する。従って、現在のエピトミチャートの拡張として使用されることが可能な幾つかの拡張候補ΔEが存在する。k回のエピトミチャートの拡張の後に見出される拡張候補の数をmとする。各々の拡張候補ΔEに関し、構築されることが可能な追加的な画像ブロックが、一群の画素ΔEを含む合致するパッチMj,lのみに関連するリストL’match(Mj,l)から決定される。そして、発見された一群の拡張候補のうち、最適な拡張ΔEk optが選択される。この最適拡張は、レート歪基準(rate distortion criterion)に従う最良の合致をもたらし、その方法は、例えば、ラグランジアン評価基準の最小化により与えられる：
Figure 2016535382
 ここで、λは既存のラグランジアンパラメータである。
評価基準(2)の第1項DEcur+ΔEは、画像Inの推定が、現在のエピトミ
Ecur=Σi=1 nECiに含まれるテクスチャ情報及び拡張候補ΔEmにより構築される場合の画素当たりの平均予測誤差を示す。初期化サブステップ330で行われるように、画像ピクセルが、現在のエピトミによっても拡張候補ΔEmによっても影響を受けない場合、ゼロの値が指定される。評価基準(2)の第2項REcur+ΔEは、エピトミを構成する場合の画素当たりのレートに対応し、現在のエピトミEcur及びその拡張候補における画素数を画像In内の総画素数で除算したものとして大まかに推定される。
最適な拡張ΔEk optが選択されると、現在のエピトミチャートは次のようになる：
Figure 2016535382
 以後、現在のエピトミチャートに重複しかつ他のブロックを表現する合致したパッチMj,lがそれ以上存在しなくなるまで、現在のエピトミチャートを拡張し続ける。そして、現在のエピトミチャートECnがそれ以上拡張できない場合であって、全体画像が現在のエピトミによって未だ表現されていない場合、インデックスnは1つインクリメントされ、別のエピトミチャートが画像の新たな場所で初期化される。全体画像がエピトミによって構築される場合、プロセスは終了する。
ステップ30の形態によれば、画像Inは元画像である。エピトミEhは元画像から取得される。
ステップ30の形態によれば、画像Inは元画像の低解像度バージョンYdである。従って、エピトミEhは、元画像の低解像度バージョンから取得される。
この形態の変形例によれば、元画像の低解像度バージョンYdは、図2のステップ20、21及び22により取得される。
この形態及びその変形例は、エンコードされた画像を送信する観点から有利であり、その理由は、エピトミの送信を回避し、送信帯域幅を減らすからである。
図1に関連して説明される元画像Yの推定Y^を構築する方法は、図4に示されるような通信ネットワークを介して、送信機60及び受信機61の間で、エンコードされた元画像Yを送信するための符号化/復号化方式で使用されてもよい。
図5に示されるように、元画像の低解像度バージョンが生成され(ステップ20)、エンコードされ(ステップ21)、デコードされる(ステップ22)。元画像のデコードされた低解像度バージョンを補間することにより、元画像の低品質バージョンYlが取得される。
最終的に、ステップ30(図3)の形態又は変形例により計算されるエピトミ及び元画像の低品質バージョンYlから、ステップ10(図1)に従って、元画像Yの推定Y^が構築される。
図示されるように、エピトミが元画像Yから算出されると(ステップ50)、エピトミいは、エンコードされ(ステップ24)、デコード(ステップ25)されることに留意を要する。
本発明は如何なる特定のエンコーダ/デコーダにも限定されない。例えば、H.264又はHEVCエンコーダ/デコーダが使用されてもよい。
図6は図5に関連して説明された符号化/復号化方式の変形例を示す。
この変形例では、エピトミEhと元画像の低品質バージョンYl(ステップ23)との間の差分を計算することにより、残差データRhが取得される。残差データRhは、以後、エンコードされ(ステップ24)及びデコードされ(ステップ25)、そして、残差データは、元画像の低品質バージョン(ステップ23)に加算され、デコーダ側でエピトミを取得する。元画像Yの推定Y^は、元画像の低品質バージョンYl及びエピトミ(ステップ10)から取得される。
図7はデバイス70の例示的なアーキテクチャを表現する。
デバイス70は、データ及びアドレスバス71により互いにリンクされる以下の要素を有する：
- 例えばディジタル信号プロセッサ(DSP)であるマイクロプロセッサ72(又はCPU)；
- リードオンリメモリ(ROM)73；
- ランダムアクセスメモリ(RAM)74；
- データの受信、アプリケーションからの送信等のためのI/Oインターフェース75；及び
- バッテリ76。
変形例によれば、バッテリ76はデバイスの外部にある。図7のこれらの各要素自体は当業者に周知であるので更には説明されない。言及されたメモリの各々において、本明細書で使用される「レジスタ(register)」という言葉は、小さな容量の領域(数ビット)、或いは、非常の大きな領域(例えば、プログラム全体、多くの量の受信又はデコードされるデータ等)に対応することが可能である。ROM73はプログラム及びパラメータを少なくとも含む。図1ないし6に関連して記述される方法の少なくとも1つのアルゴリズムは、ROM73に保存される。スイッチがオンにされると、CPU72はプログラムをRAMにアップロードし、対応する命令を実行する。
RAM74は、レジスタの中に、デバイス70のスイッチオンの後にアップロードされるCPU72により実行されるプログラムを有し、入力データをレジスタの中に有し、方法の様々な状態の中間データをレジスタの中に有し、方法の実行に使用される他の変数をレジスタの中に有する。
本願で説明される実現手段は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム又は信号により実現されてもよい。(例えば、方法又は装置としてしか議論されていない場合のように)単独形態の実現手段の文脈でしか議論されていなかったとしても、議論される特徴の実現は、(例えば、プログラムのような)他の形態で実施されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアで実現されてよい。本方法は、例えばプロセッサのような装置で実現されてもよく、プロセッサは一般的には処理装置を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又は、プログラム可能な論理デバイスを含む。プロセッサは、例えば、コンピュータ、セルラ電話機、ポータブル/パーソナルディジタルアシスタント(PDA)、及び、エンドユーザ間の情報通信を促す他のデバイス等のような通信デバイスを含んでもよい。
本願で説明される様々なプロセス及び特徴の実現手段は、多種多様な装置又はアプリケーション(特に、例えば、装置又はアプリケーション)に組み込まれてよい。そのような装置の具体例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラ電話機、PDA、及び、その他の通信デバイスである。明らかに、装置はモバイルであってもよく、たとえ移動車両に導入されていてもよい。
更に、本方法は、プロセッサにより実行される命令により実現されてもよく、そのような命令(及び/又は実施により生成されるデータ値)は、集積回路、ソフトウェアキャリア又はその他のストレージデバイス等のようなプロセッサで読み取ることが可能な媒体に保存され、媒体は、例えば、ハードディスク、コンパクトディスケット(CD)、光ディスク(例えば、DVD(ディジタル多用途ディスク又はディジタルビデオディスク等としばしば言及される))、ランダムアクセスメモリ(RAM)又はリードオンリメモリ(ROM)である。命令は、プロセッサで読み取ることが可能な媒体で物理的に組み込まれるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせで実現されてもよい。命令は、例えば、オペレーティングシステム、個別アプリケーション、又はそれらの組み合わせとして理解されてもよい。プロセッサは、従って、例えば、プロセスを実行するように構成されるデバイス、及び、プロセスを実行する命令を有するプロセッサ読み取り可能な媒体(例えば、ストレージデバイス)を含むデバイスの双方として特徴付けられてよい。更に、プロセッサ読み取り可能な媒体は、追加的又は代替的に、実施により生成されるデータ値を保存してもよい。
当業者に明らかであるように、実現手段は、例えば保存又は送信されてもよい情報を担うようにフォーマットされる様々な信号を生成してもよい。情報は、例えば、方法を実行するための命令、或いは、説明される実現手段の何れかにより生成されるデータを含んでもよい。例えば、信号は、説明される実施形態のシンタックス(syntax)を書き込む又は読み込むルールをデータとして搬送する、又は、説明される実施形態により書き込まれる実際のシンタックス値をデータとして搬送するように、フォーマットされてもよい。そのような信号は、例えば、(例えば、スペクトルのうちの無線周波数部分を使用する)電磁波として又はベースバンド信号としてフォーマットされてもよい。フォーマット化は、例えば、データストリームをエンコードすること、エンコードされたデータストリームとともにキャリアを変調することを含んでもよい。信号が担う情報は、例えば、アナログ又はディジタル情報であってよい。信号は、既知であるように、多種多様の有線又は無線リンクを介して送信されてよい。信号は、プロセッサ読み取り可能な媒体に格納されてよい。
多くの実現手段が説明されている。しかしながら、様々な変形がなされてよいことが、理解されるであろう。例えば、異なる実現手段の要素は、他の実現手段をもたらすように、組み合わせられてもよいし、置換されてもよいし、修正されてもよいし、或いは、除去されてもよい。更に、他の構造やプロセスが開示されたものに代用されてもよいこと、及び、結果の実現手段は、開示された実現手段と実質的に同じ結果を達成するように、少なくとも実質的に同じ仕方で、少なくとも実質的に同じ機能を実行するであろうことを、当業者は理解するであろう。従って、これら及び他の実現手段も本願で想定されている。

Claims (12)

  1. 元画像の低品質バージョンと画像から算出されたエピトミとにより、元画像の推定を構築する方法であって：
    少なくとも1つのパッチペアを有する辞書を取得するステップであって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質バージョンからのものとをインプレースマッチングすることにより取り出される、ステップ；
    前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択するステップであって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、ステップ；
    選択された前記少なくとも1つのパッチペアからマッピング関数を取得するステップ；及び
    前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影するステップ；
    を有する方法。
  2. 前記最終的なパッチは或るピクセルで互いにオーバーラップする場合、前記方法は、前記元画像の推定のピクセル値を与えるために、或るピクセルで前記最終的なパッチを平均化するステップを更に有する、請求項1に記載の方法。
  3. 選択された前記少なくとも1つのパッチペアは、前記元画像の低品質バージョンのパッチのうち最も近い近隣である、請求項1又は2に記載の方法。
  4. 前記マッピング関数は、選択された前記少なくとも1つのパッチペアによる学習により取得される、請求項1ないし3のうち何れか一項に記載の方法。
  5. 前記マッピング関数の学習は、選択された前記少なくとも1つのパッチペアの前記第1パッチ及び前記第2パッチの間の最小二乗誤差を最小化することにより決定される、請求項4に記載の方法。
  6. 前記元画像の低品質バージョンは、前記元画像の解像度を有する画像である、請求項1ないし5のうち何れか一項に記載の方法。
  7. 前記元画像の低品質バージョンは：
    前記元画像の低解像度バージョンを生成し；
    画像の低解像度バージョンをエンコードし；
    画像の低解像度バージョンをデコードし；及び
    前記元画像の解像度に合致する解像度を有する前記元画像の低品質バージョンを得るために、デコードされた低解像度バージョンの画像を補間する；
    ことにより、取得される請求項6に記載の方法。
  8. 前記エピトミは前記元画像から取得される、請求項1ないし7のうちの何れか一項に記載の方法。
  9. 前記エピトミは前記元画像の低解像度バージョンから取得される、請求項1ないし7のうちの何れか一項に記載の方法。
  10. 前記元画像の推定は低解像度画像空間に反復的に逆投影され、反復tにおける前記推定の逆投影されたバージョンは、前記元画像の低解像度バージョンと比較される、請求項1ないし9のうちの何れか一項に記載の方法。
  11. 前記辞書及び前記マッピング関数を取得するために使用される前記元画像の低品質バージョンは、前記元画像の現在の推定を低解像度画像空間に逆投影することにより、及び、反復tにおける前記現在の推定の逆投影されたバージョンと前記元画像の低解像度バージョンとの間で算出される誤差を前記現在の推定に加算することにより、反復的に更新される、請求項1ないし9のうちの何れか一項に記載の方法。
  12. 元画像の低品質バージョンと画像から算出されたエピトミとにより、元画像の推定を構築する装置であって：
    少なくとも1つのパッチペアを有する辞書を取得する手段であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質画像からのものとをインプレースマッチングすることにより取り出される、手段；
    前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択する手段であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、手段；
    選択された前記少なくとも1つのパッチペアからマッピング関数を取得する手段；及び
    前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する手段；
    を有する装置。

JP2016550997A 2013-11-08 2014-10-30 元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法及び装置 Pending JP2016535382A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP13290274.3 2013-11-08
EP13290274 2013-11-08
EP14305637.2 2014-04-29
EP14305637.2A EP2941005A1 (en) 2014-04-29 2014-04-29 Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome
PCT/EP2014/073311 WO2015067518A1 (en) 2013-11-08 2014-10-30 Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome

Publications (2)

Publication Number Publication Date
JP2016535382A true JP2016535382A (ja) 2016-11-10
JP2016535382A5 JP2016535382A5 (ja) 2017-11-30

Family

ID=51844716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016550997A Pending JP2016535382A (ja) 2013-11-08 2014-10-30 元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法及び装置

Country Status (6)

Country Link
US (1) US20160277745A1 (ja)
EP (1) EP3066834A1 (ja)
JP (1) JP2016535382A (ja)
KR (1) KR20160078984A (ja)
CN (1) CN105684449B (ja)
WO (1) WO2015067518A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3154021A1 (en) * 2015-10-09 2017-04-12 Thomson Licensing Method and apparatus for de-noising an image using video epitome
US10296605B2 (en) * 2015-12-14 2019-05-21 Intel Corporation Dictionary generation for example based image processing
WO2019088435A1 (ko) * 2017-11-02 2019-05-09 삼성전자 주식회사 로우-퀄리티 부호화 모드에 따라 영상을 부호화하는 방법 및 장치, 및 영상을 복호화하는 방법 및 장치
CN110856048B (zh) * 2019-11-21 2021-10-08 北京达佳互联信息技术有限公司 视频修复方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009782A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp 画像処理装置及び画像処理プログラム
JP2009219073A (ja) * 2008-03-12 2009-09-24 Nec Corp 画像配信方法及びそのシステムと、サーバ、端末及びプログラム
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8204338B2 (en) * 2008-02-14 2012-06-19 Microsoft Corporation Factoring repeated content within and among images
EP2666298A1 (en) * 2011-01-21 2013-11-27 Thomson Licensing Method of coding an image epitome
US8675999B1 (en) * 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009782A (ja) * 2006-06-29 2008-01-17 Toyota Motor Corp 画像処理装置及び画像処理プログラム
JP2009219073A (ja) * 2008-03-12 2009-09-24 Nec Corp 画像配信方法及びそのシステムと、サーバ、端末及びプログラム
JP2013021635A (ja) * 2011-07-14 2013-01-31 Sony Corp 画像処理装置、画像処理方法、プログラム、及び記録媒体
WO2013089265A1 (ja) * 2011-12-12 2013-06-20 日本電気株式会社 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOAV HACOHEN; RAANAN FATTAL; DANI LISCHINSKI: "Image upsampling via texture hallucination", 2010 IEEE INTERNATIONAL CONFERENCE ON COMPUTATIONAL PHOTOGRAPHY (ICCP), JPN6018052304, 29 March 2010 (2010-03-29), US, ISSN: 0004086124 *

Also Published As

Publication number Publication date
WO2015067518A1 (en) 2015-05-14
KR20160078984A (ko) 2016-07-05
CN105684449B (zh) 2019-04-09
EP3066834A1 (en) 2016-09-14
CN105684449A (zh) 2016-06-15
US20160277745A1 (en) 2016-09-22

Similar Documents

Publication Publication Date Title
Minnen et al. Joint autoregressive and hierarchical priors for learned image compression
US10880551B2 (en) Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (VQA)
US11221990B2 (en) Ultra-high compression of images based on deep learning
US10623775B1 (en) End-to-end video and image compression
US20230075490A1 (en) Lapran: a scalable laplacian pyramid reconstructive adversarial network for flexible compressive sensing reconstruction
US11544606B2 (en) Machine learning based video compression
US20190098312A1 (en) Image prediction method and related device
Jamil et al. Learning-driven lossy image compression: A comprehensive survey
CN115375589B (zh) 一种去除图像阴影模型及其构建方法、装置及应用
JP2016535382A (ja) 元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法及び装置
Manju et al. AC coefficient and K‐means cuckoo optimisation algorithm‐based segmentation and compression of compound images
Beygi et al. An efficient algorithm for compression-based compressed sensing
CN107231556B (zh) 一种图像云储存设备
EP2941005A1 (en) Method and apparatus for building an estimate of an original image from a low-quality version of the original image and an epitome
Hou et al. Low-latency compression of mocap data using learned spatial decorrelation transform
US11895330B2 (en) Neural network-based video compression with bit allocation
US20230274467A1 (en) Image encoding apparatus, image encoding method and program
Turkan Novel texture synthesis methods and their application to image prediction and image inpainting
EP3046326A1 (en) Method and device of construction of an epitome, coding and decoding methods and coding and decoding devices
WO2024017173A1 (en) Method, apparatus, and medium for visual data processing
WO2023138687A1 (en) Method, apparatus, and medium for data processing
Yuan et al. Image compression via sparse reconstruction
WO2024083248A1 (en) Method, apparatus, and medium for visual data processing
WO2023138686A1 (en) Method, apparatus, and medium for data processing
WO2023165596A1 (en) Method, apparatus, and medium for visual data processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171023

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171023

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181126

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181220

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20181227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190731