JP2000188680A - 高解像度画像の生成方法及びシステム - Google Patents

高解像度画像の生成方法及びシステム

Info

Publication number
JP2000188680A
JP2000188680A JP11346409A JP34640999A JP2000188680A JP 2000188680 A JP2000188680 A JP 2000188680A JP 11346409 A JP11346409 A JP 11346409A JP 34640999 A JP34640999 A JP 34640999A JP 2000188680 A JP2000188680 A JP 2000188680A
Authority
JP
Japan
Prior art keywords
resolution
pixel
image
low
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11346409A
Other languages
English (en)
Inventor
Regis Crinon
クリノン レジス
Muhammed Ibrahim Sezan
イブラヒム セザン ムハメッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of JP2000188680A publication Critical patent/JP2000188680A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 高解像度画像の画質改善と高解像度画像の生
成プロセスの複雑さの低減の実現を提供する。 【解決手段】 高解像度画像１９を低解像度画素のアレ
イを持つ複数の低解像度画像１６から導出する。動きベ
クトル２２を複数の低解像度画像１６の各画像毎に未知
の高解像度グリッド点２０の各点に導出する。１動きベ
クトル２２を、複数画像１６の各１枚毎に高解像度グリ
ッド位置２０Ａの各１点に生成する。高解像度グリッド
点２０の動きベクトル２２は未知の値の高解像度グリッ
ド点２０を関連低解像度画像１６上の画素間位置２４に
関連づける。各画素間位置２４に最も近い距離にある低
解像度画素を認定する。最短距離にある認定された１つ
または若干数の低解像度画素を使用して高解像度グリッ
ド点２０の各１点における画素値を決定する。次に、画
素の輝度値を、選択した低解像度画素１６に従って高解
像度グリッド点２０にマッピングする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、高解像度画像の生
成方法及びシステムに関し、より詳細には、特殊シーン
（参照画像）の断片画素位置における解像度を、動きを
含むそのシーンの複数画像を用いて向上させることが可
能な高解像度画像の生成方法及びシステムに関する。
【０００２】
【従来の技術】複数画像を用いるディジタル後処理によ
り、画像の画素解像度を画像センサの解像度を越える解
像度に向上させることで、安価な低解像度センサを装備
したカメラで高画質の画像を得る、或いは任意に与えら
れたセンサの物理的能力を越えて高画質の画像を得るた
めの様々な有効手段を提供できる。
【０００３】種々の単一画像補間技法が、画像を表現す
る画素の情報量を増加するために用いられている。線形
補間法は画像の実際の情報内容を増加させず、単に画像
内の画素数と線数を増加させる。非線形補間法は、画像
構造の先験的な情報（例えば、エッジの方向及び画像オ
ブジェクトの幾何学的形状）を使用し、場合によっては
線形補間より優れた結果をもたらす。
【０００４】図６は従来技術による、他の画像と関連す
る動きベクトルを参照画像に逆方向にマッピングする方
法を説明するための図で、図７は従来技術による、他の
画像からのサンプルを参照画像にマッピングするために
用いる非一様補間技法の先行技術による概略図である。
この従来技術においては、１シーンの複数の画像１６を
用いて画像解像度を改善する。複数画像１６はディジタ
ル静止カメラでで撮影した独立ショットでも、ビデオカ
メラで撮影した連続フレームスチル／フィールドであっ
てもよい。新しい画像情報は、相対的な動きにより相互
に関係付けられた異なる画像１６の画像サンプル（画
素）１７に含まれている。この方法は、A.M.Tekalp，M.
K.OzkanおよびM.I.Sezanの論文“低解像度画像シーケン
スからの高解像度画像の再構築と空間可変画像復元（Hi
gh Resolution Image Reconstruction from Lower
-Resolution Image Sequences and space-varying
Image Restoration）”，（ＩＥＥＥ，音響，音声お
よび信号処理に関する国際学会，サンフランシスコ，１
９９２年３月，第３巻、１６９−１７２頁）に記載され
ている。
【０００５】この方法によれば、先ず、複数画像１６か
ら参照画像１２を選択する。動き情報は、低解像度画像
１６から基準低解像度画像１２への推定された動きベク
トルフィールド１４を含んでいる。各動きベクトルフィ
ールド１４は各画素位置における画像１６から参照画像
１２への相対的な変位を示している。画像１６からの画
像サンプルを参照画像１２にマッピングし、動きベクト
ル１４を用いて高解像度画像１９を生成する。画像１９
は参照画像１２中で獲得されたシーンの高解像度バージ
ョンである。他の低解像度画像１６から導入された新し
い画像サンプル２０を高解像度画像１９中に“ｘ”を付
けて示す。
【０００６】基準低解像度画像１２は、参照画像１２内
の低解像度画素近傍における画像の細部１０のような画
像細部を忠実に捕らえられない。細部を表現できないこ
とは、1次元および多次元のサンプル信号に対するナイ
キスト定理の直接の帰結であり、サンプリングレートの
半分に等しいか高い周波数の細部は画像１２中に忠実に
表現できないことを示している。しかしながら、画像１
６または異なる時点においてカメラ撮影された画像中の
動きを電子的に捕捉する間のカメラの動きにより、画像
の細部１０は、１枚または数枚の低解像度画像１６に現
れた追加画像情報を通して明らかに再構築できる。高解
像度画像１９は他の画像１６からの低解像度サンプル１
７を使用し追加画像の細部１０を再構築する。
【０００７】図７を参照すると、破線１８の交点が追加
サンプリンググリッド点２０（画素）の位置を示してお
り、このグリッド点を使用して参照画像１２の解像度
を、正方形１７で認定された現解像度レベル以上に向上
させる。図７に示すように、他の低解像度画像１６から
のサンプル（画素）ｘを、一般には、どの高解像度画素
間位置２０に一致しない任意の画素間位置に写像する。
サンプル位置２０は一様な高解像度サンプリンググリッ
ドを構成する。表示装置は一様サンプリンググリッドに
基づいて作動するので、これらの位置において新しいサ
ンプルを生成することが、解像度改善技法の最終目的で
ある。低解像度の原画像１７と新しいサンプルｘは、非
一様サンプリンググリッドより高い解像度の画像サンプ
ルを構成する。
【０００８】
【発明が解決しようとする課題】しかしながら、非一様
配置サンプルｘから一様グリッド位置２０に高解像度画
像１９用画素値を導出するためには、非常に複雑な補間
プロセスを要する。例えば、複数のサンプル２１は、多
次元ディジタルフィルタを同時に使用して高解像度グリ
ッド点２０Ａに画素値を生成しなければならない。代表
的な例では、グリッド位置２０のサンプルは、サンプル
ｘを位置２０Ａに補間するために使用するディジタルフ
ィルタのサイズに制限されるために、最大の画像細部を
捕捉できない。加えて、ディジタル補間フィルタの支持
領域にサンプルｘが存在する保証が無く、結果として、
その場合は画像の画質向上は有り得ない。
【０００９】本発明は、上述のごとき実状に鑑みてなさ
れたものであり、他の画像から抽出したサンプルを用い
て高解像度の画像を生成するための方法及びシステムに
おいて、高解像度画像の画質改善と高解像度画像の生成
プロセスの複雑さの低減を実現する高解像度画像の生成
方法及びシステムを提供することをその目的とする。
【００１０】
【課題を解決するための手段】本発明においては、高解
像度画像を低解像度の画素アレイを有する複数の低解像
度画像から生成する。低解像度画像は、異なる位相にお
けるシーンの低解像度表現を提供する。位相差は画像コ
ンテンツの断片画素の時間経過による動きに起因する。
動きは、カメラマンの意図した動き（パンニングまたは
ズーミング）、或いは、制御されない動き（カメラマン
の手の自由な動き）の何れかによって引きおこされる。
動きは、また、カメラの光学装置に機械的に導入させる
ことも可能である。動きベクトルは各未知の高解像度グ
リッド点に導出される。これらの動きベクトルは、推定
動きベクトルフィールド、またはパラメータが推定され
るか或いは他の方法で得られる（後述する）動きモデル
から導出される。その結果として、１つの動きベクトル
は、高解像度グリッドの各位置に、複数の低解像度の各
画像毎に生成される。動きベクトルは、参照画像から出
現して各低解像度画像を指し示す。
【００１１】動きベクトルは未知の高解像度サンプリン
ググリッド点を、関連低解像度画像上の画素間位置にマ
ッピングする。各低解像度画像につき、各画素間位置迄
の最短距離を持つ低解像度画素を認定する。１つまたは
若干数の最短距離を有する認定した低解像度画素を高解
像度グリッド点の各１点において選択する。選択した低
解像度画素に従って、画素の強度値を高解像度グリッド
点にマッピングする。
【００１２】参照画像中の高解像度グリッド点に画素の
強度値を逆方向にマッピングすることは、関連動きベク
トルまたは動きパラメータを可能な限り使用して選択し
た低解像度画素からのサンプル値を画素間位置に補間す
ることである。別の方法では、画素強度値のマッピング
は、選択した低解像度画素値を高解像度グリッド位置に
おける画素値として直接逆方向にマッピングすることで
ある。
【００１３】本発明は、その他に、距離のしきい値を選
択することを含む。空間的高性能補間またはエッジ適応
補間を用い距離しきい値より短い距離の画素を持たない
高解像度グリッド位置に画素値を導出する。
【００１４】本発明は、低解像度画素のアレイを持つ複
数の低解像度画像から導出した高解像度グリッド点のア
レイにサンプルを持つ高解像度画像の生成方法におい
て、前記複数の低解像度画像の各々１つと関連する、未
知の高解像度グリッド点の動きベクトルを導出し、前記
未知の高解像度グリッド点を、関連する前記低解像度画
像上の画素間位置に前記動きベクトルを用いて関連づけ
し、マッピングされた画素間位置までの最も近い距離を
持つ前記低解像度画像の各々の上に低解像度画素を認定
し、最短距離を有する前記高解像度グリッド点の各１点
毎に前記認定された低解像度画素の１つ又は若干数を選
択し、該選択された低解像度画素に従って画素強度値を
前記高解像度グリッド点にマッピングすることを特徴と
したものである。
【００１５】さらに、本発明は、前記画素強度値のマッ
ピングは、近傍の前記低解像度画素から前記マッピング
された画素間位置に前記強度値のサンプル値を補間する
ことを特徴としたものである。
【００１６】さらに、本発明は、前記画素強度値のマッ
ピングは、前記マッピングされた画素間位置に最も近い
画素の強度値を、前記高解像度グリッド位置における画
素値として直接逆方向にマッピングすることを特徴とし
たものである。
【００１７】さらに、本発明は、前記高解像度グリッド
点における前記動きベクトルは、現存する低解像度画素
に対する近傍の動きベクトルのメディアンベクトル値を
用いるか、平行投影、アフィン、透視投影モデルのよう
なグローバル或いは局所的パラメトリック動きモデルを
用いるか、前記高解像度グリッド点を囲む前記低解像度
画素に属する画素の動き情報に前記パラメトリックモデ
ルを適合させるか、前記グローバルパラメトリック動き
モデルから前記高解像度グリッド点における動きベクト
ルを推定するかの何れかにより、推定することを特徴と
したものである。
【００１８】さらに、本発明は、前記複数の低解像度画
像の各々１つの画像について前記高解像度グリッド位置
の各々１つの位置に１つの動きベクトルを生成すること
を含むことを特徴としたものである。
【００１９】さらに、本発明は、距離しきい値を選択
し、前記マッピングされた画素間位置までの距離が最短
距離である画素が前記距離しきい値より大きい場合に、
前記高解像度グリッド位置で画素値を導出するために、
空間的及び／又は時間的高性能補間またはエッジ適応補
間を用いることを含むことを特徴としたものである。
【００２０】さらに、本発明は、前記低解像度参照画像
及び低解像度ターゲット画像中の画素値のサンプル強度
差の合計に従って、全ての高解像度サンプリンググリッ
ド点において局所的動き補償誤差を計算し、該動き補償
誤差が大きい場合に、前記高解像度グリッド位置に画素
値を導出するために空間的及び／又は時間的高性能補間
又はエッジ適応補間を用いることを含むことを特徴とし
たものである。
【００２１】さらに、本発明は、前記複数画像の各々に
対して複数の色チャネルを生成し、１つ又は若干数の色
チャネルまたは輝度から導出した共通の動き推定モデル
に従って、前記高解像度グリッド位置に対する前記画素
強度値をマッピングすることを含むことを特徴としたも
のである。
【００２２】本発明は、複数の低解像度画像を生成する
間に発生するカメラとシーンの相対的な動きを認定する
関連動き情報フィールドを各々有する該複数の低解像度
画像を生成するカメラと、前記動き情報に従って前記複
数の低解像度画像中のどの画素が高解像度グリッド点に
おける画像強度を厳密に表しているかを認定し、次に該
認定した低解像度画素に従って画像強度値を前記高解像
度グリッド点にマッピングすることにより、前記複数の
低解像度画像中の画素から高解像度画像を生成するプロ
セッサとを有することを特徴としたものである。
【００２３】さらに、本発明は、前記プロセッサは、前
記高解像度画像の解像度ファクタを選択的に変化させ、
前記解像度ファクタにより前記高解像度画像を生成する
ために使用した低解像度画像の枚数を変えることを特徴
としたものである。
【００２４】さらに、本発明は、前記低解像度画像中の
１枚の参照画像中の現存する低解像度画素位置における
動きベクトルのベクトルメディアンをとることにより、
前記低解像度画像の各々に対して各高解像度グリッド点
におけるメディアン動きベクトルを導出することを含む
ことを特徴としたものである。
【００２５】さらに、本発明は、前記画素の認定は、前
記動きベクトルにより規定された前記画素間位置に最も
近くに位置する前記低解像度画像毎の前記画素の位置を
決め、次に前記画素間位置と最短距離にある前記位置決
めした画素の１つまたは若干数を選択することを含むこ
とを特徴としたものである。
【００２６】
【発明の実施の形態】本発明の上述および他の目的、特
徴および利点は、本発明の好適な実施形態の詳細な説明
を添付の図面を参照して読むことにより容易に理解する
ことができる。図１は、本発明による、参照画像中の画
素間位置に対応する動きベクトルを用いて他の画像中の
画素位置を指定する方法を説明するための図で、図２は
本発明による、高解像度グリッド点に対する画素強度値
を決定する方法を説明するための図である。各画像１６
からのサンプルを参照画像１２に逆方向にマッピングす
る代わりに、各高解像度グリッド点２０に関連する動き
ベクトル２２を用い高解像度グリッド点２０を他の低解
像度画像１６にマッピングする。（予め定めた測定基準
により）動きベクトルの１つが示す画素間位置に最も近
くに位置する低解像度画像のサンプルを認定し、それを
用いて、高解像度グリッド位置２０に画像の強度値を生
成する。各高解像度画像グリッド位置２０における画像
強度値を計算するために、（１つのサンプルとは対照的
に）幾つかの“最近傍”の低解像度画像サンプルを保持
することも可能である。
【００２７】図３は、本発明による未知の強度値を決定
する方法を説明するためのフロー図である。高解像度画
像グリッド点におけるベクトル２２を図３のステップ３
０で算定する。一実施形態において、動きベクトル２２
は、２個，６個，８個のパラメータを各々必要とする平
行投影変換，アフィン変換，透視投影変換モデルのよう
なパラメータのグローバル動きモデルから導かれる。使
用する周知の動きモデルのパラメータ推定方法は、例え
ば、S.MannおよびR.W.Picardの論文“投影変換グループ
のビデオ軌道：画像モザイク化における新しい透視投影
方法（Video Orbits of The Projective Group
：A New Perspective On Image Mosaiking）”
（MITメディア研究所技術レポートＮｏ．３３８，１９
９５年）に記載されており、この方法またはその変形法
を本明細書においても参照する。
【００２８】グローバル動きモデルのパラメータは、低
解像度参照画像１２と他の低解像度画像１６を用いて推
定する。動きモデルは参照画像１２と他の各低解像度画
像間で推定する。代わりに、グローバル動きパラメータ
をカメラ内部の補助的な機械／機構／光学装置から直接
供給しても良い。グローバル動きパラメータが得られれ
ば、グローバル動きモデルを用いて各高解像度サンプル
位置２０における画素の変位ベクトル２２を決定する。
【００２９】更に特殊には、参照画像１２中の全ての画
素間位置２０は、他の低解像度画像１６中の任意画素ま
たは画素間位置を示す変位ベクトル２２を有している。
Ｎ枚の画像１６がある場合、各画素位置２０につきＮ−
１のベクトル２２を推定する。本発明は、他の低解像度
画像１６中の対応画素強度値を高解像度画像中の高解像
度グリッド点２０に逆方向にマッピングする。
【００３０】この新規のマッピング技法は、未知の高解
像度グリッド位置２０に新しい画像強度値を生成する一
方で、他の画像からの値を高解像度画像に逆方向にマッ
ピングするのに必要な計算の複雑さを減少させて、続い
て非一様補間を実行する。マッピングの効果は、新高解
像度サンプリンググリッド位置２０と低解像度サンプル
１７の近傍に曖昧ではない（エイリアシングがない）画
像細部を再構築することである。低解像度画像の数が少
ない場合は、同じ低解像度画像サンプルを複数回使用す
ることになる。
【００３１】別の実施形態においては、参照画像１２中
の原画素１７に関する画素の動き情報を用いて未知の高
解像度グリッド点２０毎に変位ベクトル２２を推定す
る。この画素動き情報は、基準フレーム１２と他の低解
像度画像１６との間の動きを記述している。この場合の
画素動き情報は、J.L.Barro，D.J.FleetおよびS.S.Beau
chenminの論文“光学フロー技法の実行（Performance
of Optical Flow Techniques）”（コンピュータ画
像の国際誌第１２巻１号、１９９４年、４３−７７頁）
およびB.K.P.Hornおよび本願で参考するB.G.Schunckの
論文“光学フローの決定（Determing Optical Flo
w）”（人工知能，第１７巻，１９８１年，１８５−２
０３頁）に記載されているような周知の光学的フロー技
法を使用し推定することができる。この場合、動きベク
トル２２は多チャネル補間フィルタを使用し、原画素１
７に対し計算した近接の動きベクトルから推定する。
【００３２】１セットの近接動きベクトル１７から動き
ベクトル２２を推定するための多チャネル補間フィルタ
の１例は、ベクトルメディアンフィルタである。このベ
クトルメディアンフィルタは、J.Astola，P.Haavisto，
Y.Neuvoの論文“ベクトルメディアンフィルタ（Vector
Median Filters）”（ＩＥＥＥ会報，第７８巻４
号，１９９０年４月，６７８−６８９頁）に記述されて
いる。
【００３３】ベクトルメディアンフィルタは、有限数の
入力ベクトルのセットから最も代表的なベクトルを認定
する特性を有している。かようなベクトルの認定は、ベ
クトルからセット中の他の全てのベクトルの距離を最小
にすることによって実現される。例えば、３つの２次元
動きベクトルが各々、［１，２］，［３，５］，［２，
１０］の値をとると仮定する。成分絶対値差の合計を距
離量として用い、第１ベクトルから第２および第３ベク
トル迄の距離が１４に等しく、第２ベクトルから第１お
よび第３ベクトルまでの距離が１１に等しく、第３ベク
トルから第１および第２ベクトル迄の距離が１５に等し
いことが計算できる。
【００３４】ベクトルメディアンフィルタの出力は、こ
の場合、他の２ベクトルに最も近い（１４，１１および
１５のうちで最小距離の１１を持つ）ベクトル［３，
５］である。低解像度グリッド点１７におけるこの動き
推定ベクトルは、周知の光学フローフィールドまたは本
明細書で参照するM.Bierlingの論文“階層的ブロックマ
ッチングによる変位の推定(Displacement Estimation b
y Hierarchical Block Matching”（ＳＰＩＥ，第１０
０１巻，画像通信および画像処理，１９９８年，９４２
−９５１頁）に記載されているブロックマッチングベー
スの動き推定方法によって推定する。
【００３５】さらに別の実施形態において、１セットの
局所的パラメータモデルを高解像度グリッド近傍の低解
像度画素１７の動きを記述する動きベクトル１４から導
出している。この特別なケースにおいては、モデルパラ
メータは１つの高解像度サンプル値から他のサンプル値
へと変化する。モデルパラメータを推定するために使用
する画素近隣のサイズは、モデルのオーダーにより異な
る。例えば、局所的動きモデルがアフィン動きモデルで
あるとすれば、各高解像度グリッド点２０近傍の、有限
数（少なくとも６個）の対応する低解像度画素を使用し
て各アフィンモデルのパラメータを推定する。次に、こ
の局所的モデルを用いて高解像度グリッド２０における
変位ベクトルを導出する。上述したこれらの技法は、こ
の技術分野の熟達者達には周知であり、従ってこれ以上
詳述しない。
【００３６】高解像度グリッド位置２０に関連する動き
ベクトル２２を推定し、動きベクトル２２を用いて得た
他の画像１６からの強度値を高解像度グリッド点２０に
逆方向にマッピングする。
【００３７】図４は、本発明による高解像度グリッド点
に対する画素強度値を決定する方法を説明するための図
で、図５は、本発明による高解像度画像の生成システム
を説明するためのブロック図である。図４においては、
参照画像１２中の高解像度グリッド２０の各点に関連す
るＮ−１個の動きベクトル２２（１）〜２２（Ｎ−１）
が示されている。各動きベクトル２２は、Ｎ−１枚の他
画像１６の中の関連する１枚を示し、ステップ３０にお
いて推定される。従って、各高解像度グリッド点２０毎
にＮ−１個の選択可能な強度値がある。各高解像度グリ
ッド点２０にマッピングするために最適な強度値または
最適な強度値のセットを選択するのに種々の選択基準が
用いられる。
【００３８】画素間位置２４は、ベクトル２２が指し示
す各Ｎ−１画素間位置２４の各々に対して各１枚の画像
１６上に位置する。最も近い完全画素位置２６（即ち、
現存する低解像度画素サンプル）迄の距離をステップ３
２で決定する。各高解像度グリッド点２０に対するＮ−
１画素間位置２４の各１点毎に１対の値（Ａｉ，ｄｉ）
を導出する。値Ａｉは画素間位置２４における空間補間
によって得られた強度値である。値ｄｉは最近傍の画素
位置２６と画素間位置２４の間の距離である。空間補間
は当業者にはよく知られている。最近傍空間補間は、例
えば、画素間位置２４に位置２６の値を生成する。双線
形空間補間は、例えば、画素間位置２４の値を補間する
ために、位置２６の画素値を含む４個の最近傍画素値を
用いる。
【００３９】最小距離ｄｊを有する値Ａｊをステップ３
４で決定し、次にステップ３６で、それを高解像度画素
位置２０にマッピングする。ステップ３４において、
（１つだけの最も近い画素だけではなく）若干数の最も
近い画素を用いることができることに注目すべきであ
る。この場合、補間プロセスは、関連距離値を使用して
高解像度グリッド点２０におけるサンプル値を計算す
る。例えば、各距離値を用いてグリッド点２０における
最終画像サンプル中の関連サンプル値の貢献度を特定す
る重み係数を決定することができる。例えば、図４にお
いて、時間ｔ＝ｔ０＋２に画像１６Ｂにマッピングされ
た動きベクトル２２（２）は現存する画素位置２６Ｂに
最も近い画素間位置２４Ｂを有している。位置２４Ｂと
位置２６Ｂ間の距離ｄｉは高解像度点２０Ａにおけるど
の動きベクトル２２にとっても最小距離である。グリッ
ド位置２０Ａに対するこの画素強度値は空間補間法を用
いて導出される。
【００４０】図４及び図５に示す例は、２倍の解像度改
善の場合であるが、この改善は任意整数値または比率値
で可能である。解像度の改善が４倍の場合、例えば、少
なくとも１６個の他画像を使用して最善の結果を得る。
前述のように、動きベクトル２２は、光学フロー推定ま
たは断片画素の更新との階層的ブロックマッチングを介
して推定したパラメータを有するパラメトリックな動き
モデルによって生成できる。パラメトリック動きモデル
にはアフィンモデルと透視投影モデルが含まれており、
これらのモデルは、画像の動きがカメラの動きによるも
のだけである場合には特に有用である。
【００４１】図５は、高解像度画像２３を生成するため
に用いられるシステムを説明するためのブロック図であ
る。カメラ３８は１つのシーンの複数の低解像度画像１
６を撮影する。画像１６中の１画像を参照画像１２に指
定する。プロセッサ４０は、画像１６を受信しメモリに
蓄積する。プロセッサ４０は、上述のごとく、画像１６
中の低解像度サンプルを参照画像１２にマッピングして
高解像度画像１９を生成する。マッピング技法は、通常
プロセッサ４０に装備したソフトウェアで実体化される
がハードウェアで実体化しても本発明の範囲から逸脱す
るものではない。
【００４２】この方法を変形した他の方法も可能であ
る。（Ａｉ，ｄｉ）のペアと最短距離ｄｊを認定する。
最短距離ｄｊがしきい値Ｔより大きければ、その特別な
高解像度グリッド点２０に対しては、（他の時点におい
て撮影した画像１６を用いた）時間的処理は行なわな
い。グリッド点２０の値を高性能空間補間を用いて決定
する。例えば、S.D.BayrakeriとR.M.Mersereauの論文
“方向性画像補間のための新しい方法（A New Method
For Directional Image Interpolation）”（音
響，音声および信号処理に関する１９９５年国際学会の
論文集、２３８３−２３８６頁）に記載されているよう
なエッジ適応補間法を使用することができる。
【００４３】上述の動きベクトルの導出において、追加
の判定基準を導入し、対応する動きの精度をテストする
ことができる。動きベクトル２２は図４の画素位置２６
近くを指示できる（図４参照）が、オクルージョンのた
めに正確でない場合がある。かようなオクルージョン
は、例えばグローバル動きパラメータを用いて動きベク
トル２２を推定し、さらに、グローバル動きモデルに従
う移動をしない背景シーン上に前景オブジェクトがある
場合に発生する。かようなケースの発生を監視するため
に、選択した低解像度画像１６中のターゲットとなる位
置の近傍と参照画像１２中の近接画像画素１７のブロッ
クについて計算した画像サンプルの絶対差の総和に基づ
いて、局所的動き補償誤差を計算する。これは、ターゲ
ット位置を囲む低解像度画素値と高解像度グリッド点を
囲む低解像度画素値を含む時間ハイパスフィルタとして
実装できる。高い誤差値は、動き推定が不正確であるこ
とを示す。その場合アルゴリズムは高性能空間補間に戻
る。動き推定誤差がある場合に、前記高解像度のマッピ
ングを確実にする追加の精度判定基準を設計するには他
にも可能な方法がある。
【００４４】（例えば、双線形）空間補間を用いて決定
した値Ａｊを逆方向にマッピングする代わりに、最近傍
画素の値を関連する高解像度の位置２０に直接逆方向に
マッピング（即ち、コピー）して、最近傍空間補間を実
現する。
【００４５】電荷結合素子（ＣＣＤ）がカラーフィルタ
アレイ（ＣＦＡ）を採用している場合は、ＣＣＤの生の
出力を特別に使用することができる。このパターンが既
知であれば、（“生ＣＣＤ出力”と称する）ＲＧＢ値
を、これらのカラー値をフィルタ処理して完全ＲＧＢ解
像度に補間する前に、（グリッド点の疎セットに）直接
使用することができる。その場合に、各カラーチャネル
は、上述のごとく、個別に処理する。動き推定プロセス
は、しかしながら、カラーフィールド中の１つだけ（通
常緑フィールド）で実施できる。別の方法では、輝度チ
ャネル（即ち、赤，緑および青のチャネルの線形または
非線形組み合わせ）中の動き推定を実行し、次にその推
定値を用いてＲＧＢチャネルを処理する。
【００４６】本発明の重要な応用は、カメラを移動させ
て複数画像を撮影し、その後、そのコンテンツをより高
解像度の画像にマッピングすることにより高解像度の文
書画像を得ることである。この解像度を改善した画像の
視覚的画質を後フィルタ処理することによりさらに向上
させることが可能である。例えば、センサ一体化のため
に画像が僅かにボケる場合、ガウスのボケ（ｂｌｕｒ）
点拡散関数をもつウィーナーフィルタを用いて画像の鮮
鋭度を改善することができる。
【００４７】
【発明の効果】本発明によれば、高解像度画像の画質改
善と高解像度画像の生成プロセスの複雑さを低減でき
る。
【００４８】本発明によれば、カメラを移動させて複数
画像を撮影し、その後、そのコンテンツをより高解像度
の画像にマッピングすることにより高解像度の文書画像
を得ることが可能である。この解像度を改善した画像の
視覚的画質を後フィルタ処理することによりさらに向上
させることが可能である。
【図面の簡単な説明】
【図１】本発明による参照画像中の画素間位置に対応す
る動きベクトルを用いて他の画像中の画素位置を指定す
る方法を説明するための図である。
【図２】本発明による高解像度グリッド点に対する画素
強度値を決定する方法を説明するための図である。
【図３】本発明による、未知の強度値を決定する方法を
説明するためのフロー図である。
【図４】本発明による高解像度グリッド点に対する画素
強度値を決定する方法を説明するための図である。
【図５】本発明による高解像度画像の生成システムを説
明するためのブロック図である。
【図６】従来技術による、他の画像と関連する動きベク
トルを参照画像に逆方向にマッピングする方法を説明す
るための図である。
【図７】従来技術による、他の画像からのサンプルを参
照画像にマッピングするために用いる非一様補間技法の
先行技術による概略図である。
【符号の説明】
１０…画像細部、１２…参照画像、１４…動きベクトル
フィールド、１６…低解像度画像、１７…低解像度サン
プル、１８…破線、１９…高解像度画像、２０…追加サ
ンプリンググリッド点、２０Ａ…高解像度グリッド点、
２１…サンプル、２２…動きベクトル、２３…高解像度
画像、２４…画像間位置、２６…画素位置、３８…カメ
ラ、４０…プロセッサ、４２…メモリ。

Claims (12)

    【特許請求の範囲】
  1. 【請求項１】 低解像度画素のアレイを持つ複数の低解
    像度画像から導出した高解像度グリッド点のアレイにサ
    ンプルを持つ高解像度画像の生成方法において、 前記複数の低解像度画像の各々１つと関連する、未知の
    高解像度グリッド点の動きベクトルを導出し、 前記未知の高解像度グリッド点を、関連する前記低解像
    度画像上の画素間位置に前記動きベクトルを用いて関連
    づけし、 マッピングされた画素間位置までの最も近い距離を持つ
    前記低解像度画像の各々の上に低解像度画素を認定し、 最短距離を有する前記高解像度グリッド点の各１点毎に
    前記認定された低解像度画素の１つ又は若干数を選択
    し、 該選択された低解像度画素に従って画素強度値を前記高
    解像度グリッド点にマッピングすることを特徴とする高
    解像度画像の生成方法。
  2. 【請求項２】 前記画素強度値のマッピングは、近傍の
    前記低解像度画素から前記マッピングされた画素間位置
    に前記強度値のサンプル値を補間することを特徴とする
    請求項１に記載の高解像度画像の生成方法。
  3. 【請求項３】 前記画素強度値のマッピングは、前記マ
    ッピングされた画素間位置に最も近い画素の強度値を、
    前記高解像度グリッド位置における画素値として直接逆
    方向にマッピングすることを特徴とする請求項１に記載
    の高解像度画像の生成方法。
  4. 【請求項４】 前記高解像度グリッド点における前記動
    きベクトルは、現存する低解像度画素に対する近傍の動
    きベクトルのメディアンベクトル値を用いるか、 平行投影、アフィン、透視投影モデルのようなグローバ
    ル或いは局所的パラメトリック動きモデルを用いるか、 前記高解像度グリッド点を囲む前記低解像度画素に属す
    る画素の動き情報に前記パラメトリックモデルを適合さ
    せるか、 前記グローバルパラメトリック動きモデルから前記高解
    像度グリッド点における動きベクトルを推定するかの何
    れかにより、推定することを特徴とする請求項１に記載
    の高解像度画像の生成方法。
  5. 【請求項５】 前記複数の低解像度画像の各々１つの画
    像について前記高解像度グリッド位置の各々１つの位置
    に１つの動きベクトルを生成することを含むことを特徴
    とする請求項４に記載の高解像度画像の生成方法。
  6. 【請求項６】 距離しきい値を選択し、 前記マッピングされた画素間位置までの距離が最短距離
    である画素が前記距離しきい値より大きい場合に、前記
    高解像度グリッド位置で画素値を導出するために、空間
    的及び／又は時間的高性能補間またはエッジ適応補間を
    用いることを含むことを特徴とする請求項５に記載の高
    解像度画像の生成方法。
  7. 【請求項７】 前記低解像度参照画像及び低解像度ター
    ゲット画像中の画素値のサンプル強度差の合計に従っ
    て、全ての高解像度サンプリンググリッド点において局
    所的動き補償誤差を計算し、 該動き補償誤差が大きい場合に、前記高解像度グリッド
    位置に画素値を導出するために空間的及び／又は時間的
    高性能補間又はエッジ適応補間を用いることを含むこと
    を特徴とする請求項５に記載の高解像度画像の生成方
    法。
  8. 【請求項８】 前記複数画像の各々に対して複数の色チ
    ャネルを生成し、 １つ又は若干数の色チャネルまたは輝度から導出した共
    通の動き推定モデルに従って、前記高解像度グリッド位
    置に対する前記画素強度値をマッピングすることを含む
    ことを特徴とする請求項５に記載の高解像度画像の生成
    方法。
  9. 【請求項９】 複数の低解像度画像を生成する間に発生
    するカメラとシーンの相対的な動きを認定する関連動き
    情報フィールドを各々有する該複数の低解像度画像を生
    成するカメラと、 前記動き情報に従って前記複数の低解像度画像中のどの
    画素が高解像度グリッド点における画像強度を厳密に表
    しているかを認定し、次に該認定した低解像度画素に従
    って画像強度値を前記高解像度グリッド点にマッピング
    することにより、前記複数の低解像度画像中の画素から
    高解像度画像を生成するプロセッサとを有することを特
    徴とする高解像度画像生成システム。
  10. 【請求項１０】 前記プロセッサは、前記高解像度画像
    の解像度ファクタを選択的に変化させ、前記解像度ファ
    クタにより前記高解像度画像を生成するために使用した
    低解像度画像の枚数を変えることを特徴とする請求項９
    に記載の高解像度画像生成システム。
  11. 【請求項１１】 前記低解像度画像中の１枚の参照画像
    中の現存する低解像度画素位置における動きベクトルの
    ベクトルメディアンをとることにより、前記低解像度画
    像の各々に対して各高解像度グリッド点におけるメディ
    アン動きベクトルを導出することを含むことを特徴とす
    る請求項９に記載の高解像度画像生成システム。
  12. 【請求項１２】 前記画素の認定は、前記動きベクトル
    により規定された前記画素間位置に最も近くに位置する
    前記低解像度画像毎の前記画素の位置を決め、次に前記
    画素間位置と最短距離にある前記位置決めした画素の１
    つまたは若干数を選択することを含むことを特徴とする
    請求項１１に記載の高解像度画像生成システム。
JP11346409A 1998-12-21 1999-12-06 高解像度画像の生成方法及びシステム Pending JP2000188680A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/217150 1998-12-21
US09/217,150 US6285804B1 (en) 1998-12-21 1998-12-21 Resolution improvement from multiple images of a scene containing motion at fractional pixel values

Publications (1)

Publication Number Publication Date
JP2000188680A true JP2000188680A (ja) 2000-07-04

Family

ID=22809858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11346409A Pending JP2000188680A (ja) 1998-12-21 1999-12-06 高解像度画像の生成方法及びシステム

Country Status (4)

Country Link
US (1) US6285804B1 (ja)
EP (1) EP1014305B1 (ja)
JP (1) JP2000188680A (ja)
DE (1) DE69920638T2 (ja)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182829A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 一時的動きベクトルフィルタリング
EP1860875A2 (en) 2006-05-22 2007-11-28 Kabushiki Kaisha Toshiba High resolution enabling apparatus and method
JP2008109375A (ja) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology 高解像度画像生成方法
JP2008211726A (ja) * 2007-02-28 2008-09-11 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、及びプログラム
JP2008219326A (ja) * 2007-03-02 2008-09-18 Fuji Xerox Co Ltd 画像処理装置及びプログラム
JP2008228256A (ja) * 2006-05-08 2008-09-25 Fuji Xerox Co Ltd 画像処理装置、画像拡大装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム
JP2009070123A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 画像処理装置及びその方法
EP2151997A2 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2152003A1 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2151802A1 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processor and image processing method
JP2010054940A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 映像表示装置、映像再生装置、映像表示方法および映像再生方法
WO2010095460A1 (ja) 2009-02-19 2010-08-26 日本電気株式会社 画像処理システム、画像処理方法および画像処理プログラム
US7787047B2 (en) 2008-08-04 2010-08-31 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US7941005B2 (en) 2008-11-28 2011-05-10 Kabushiki Kaisha Toshiba Information processing apparatus and resolution enhancement processing control program
US7945120B2 (en) 2008-06-30 2011-05-17 Kabushiki Kaisha Toshiba Apparatus for enhancing resolution using edge detection
US7986858B2 (en) 2007-04-26 2011-07-26 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US8014632B2 (en) 2006-10-10 2011-09-06 Kabushiki Kaisha Toshiba Super-resolution device and method
US8019124B2 (en) 2003-12-23 2011-09-13 Tamiras Per Pte. Ltd., Llc Robust camera pan vector estimation using iterative center of mass
US8098961B2 (en) 2007-04-26 2012-01-17 Kabushiki Kaisha Toshiba Resolution enhancement apparatus and method
JP2012085341A (ja) * 2004-11-19 2012-04-26 Ntt Docomo Inc 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
JP2012103956A (ja) * 2010-11-11 2012-05-31 Mitsubishi Electric Corp 画像処理装置及び方法
JP2012169765A (ja) * 2011-02-10 2012-09-06 Canon Inc 符号化装置
US8270773B2 (en) 2008-08-04 2012-09-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US8335257B2 (en) 2003-12-23 2012-12-18 Tamiras Per Pte. Ltd., Llc Vector selection decision for pixel interpolation
US8913833B2 (en) 2006-05-08 2014-12-16 Fuji Xerox Co., Ltd. Image processing apparatus, image enlarging apparatus, image coding apparatus, image decoding apparatus, image processing system and medium storing program
EP2819404A1 (en) 2013-06-25 2014-12-31 Kabushiki Kaisha Toshiba Video processing system, and video processing method

Families Citing this family (70)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
US6650704B1 (en) * 1999-10-25 2003-11-18 Irvine Sensors Corporation Method of producing a high quality, high resolution image from a sequence of low quality, low resolution images that are undersampled and subject to jitter
KR100359115B1 (ko) * 2000-05-24 2002-11-04 삼성전자 주식회사 영상 코딩 방법
KR100396892B1 (ko) * 2000-10-05 2003-09-03 삼성전자주식회사 비디오 ｍｐ3 시스템, 축소 비디오데이터 생성장치와생성방법 및 축소 비디오데이터 복원장치 및 복원방법
AU2002350949A1 (en) * 2001-06-25 2003-01-08 Redhawk Vision Inc. Video event capture, storage and processing method and apparatus
US20030001862A1 (en) * 2001-06-29 2003-01-02 Chu Michael H. Method for the minimization of artifacts in full frame animations transferred to NTSC interlaced video
US20080036886A1 (en) * 2001-06-29 2008-02-14 Hannigan Brett T Methods For Generating Enhanced Digital Images
US7657123B2 (en) * 2001-10-03 2010-02-02 Microsoft Corporation Text document capture with jittered digital camera
US7123780B2 (en) * 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database
EP1491038A2 (en) * 2001-12-26 2004-12-29 YEDA RESEARCH AND DEVELOPMENT CO., Ltd. A system and method for increasing space or time resolution in video
DE10208287A1 (de) * 2002-02-26 2003-09-18 Koenig & Bauer Ag Verfahren zur Signalauswertung eines elektronischen Bildsensors und eine Anordnung zur Auswertung der Lage einer Körperkante eines Prüfkörpers
US7729563B2 (en) 2002-08-28 2010-06-01 Fujifilm Corporation Method and device for video image processing, calculating the similarity between video frames, and acquiring a synthesized frame by synthesizing a plurality of contiguous sampled frames
CN100438609C (zh) * 2002-10-22 2008-11-26 皇家飞利浦电子股份有限公司 带有降质的图像处理单元
US7596284B2 (en) * 2003-07-16 2009-09-29 Hewlett-Packard Development Company, L.P. High resolution image reconstruction
US7463816B2 (en) * 2003-09-18 2008-12-09 Cyberlink Corp. Method of encoding and decoding pictured data for enhancing image resolution
US7778493B2 (en) * 2003-10-09 2010-08-17 The Henry M. Jackson Foundation For The Advancement Of Military Medicine Inc. Pixelation reconstruction for image resolution and image data transmission
US20050168589A1 (en) * 2004-01-30 2005-08-04 D. Amnon Silverstein Method and system for processing an image with an image-capturing device
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
US7352919B2 (en) * 2004-04-28 2008-04-01 Seiko Epson Corporation Method and system of generating a high-resolution image from a set of low-resolution images
JP4184319B2 (ja) * 2004-06-10 2008-11-19 オリンパス株式会社 撮像装置
JP4367264B2 (ja) * 2004-07-12 2009-11-18 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
US7773115B2 (en) * 2004-12-15 2010-08-10 Texas Instruments Incorporated Method and system for deblurring digital camera images using reference image and motion estimation
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US7602997B2 (en) 2005-01-19 2009-10-13 The United States Of America As Represented By The Secretary Of The Army Method of super-resolving images
US7856154B2 (en) * 2005-01-19 2010-12-21 The United States Of America As Represented By The Secretary Of The Army System and method of super-resolution imaging from a sequence of translated and rotated low-resolution images
JP2006203463A (ja) * 2005-01-19 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示方法、画像撮像方法、及び画像合成方法
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
CN2804798Y (zh) * 2005-06-21 2006-08-09 吴东明 一种带磁性装置的水平尺
KR100808610B1 (ko) * 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
US7714892B2 (en) * 2006-11-08 2010-05-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Systems, devices and methods for digital camera image stabilization
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US8279341B1 (en) 2007-02-26 2012-10-02 MotionDSP, Inc. Enhancing the resolution and quality of sequential digital images
US8494234B1 (en) 2007-03-07 2013-07-23 MotionDSP, Inc. Video hashing system and method
JP4877090B2 (ja) * 2007-06-18 2012-02-15 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP4826546B2 (ja) * 2007-06-18 2011-11-30 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP2009037460A (ja) * 2007-08-02 2009-02-19 Sanyo Electric Co Ltd 画像処理方法、画像処理装置、及びこの画像処理装置を備えた電子機器
KR101341096B1 (ko) * 2007-09-12 2013-12-13 삼성전기주식회사 영상 복원 장치 및 방법
US8189105B2 (en) * 2007-10-17 2012-05-29 Entropic Communications, Inc. Systems and methods of motion and edge adaptive processing including motion compensation features
US20090110285A1 (en) * 2007-10-26 2009-04-30 Technion Research And Development Foundation Ltd Apparatus and method for improving image resolution using fuzzy motion estimation
JP4364272B2 (ja) * 2007-12-25 2009-11-11 株式会社東芝 画像処理装置および画像処理方法
US7961224B2 (en) * 2008-01-25 2011-06-14 Peter N. Cheimets Photon counting imaging system
US7941004B2 (en) * 2008-04-30 2011-05-10 Nec Laboratories America, Inc. Super resolution using gaussian regression
US20090295789A1 (en) * 2008-06-03 2009-12-03 Amlogic, Inc. Methods for Dynamically Displaying Digital Images on Digital Display Devices
US8098262B2 (en) * 2008-09-05 2012-01-17 Apple Inc. Arbitrary fractional pixel movement
US8754960B2 (en) * 2009-05-01 2014-06-17 Koninklijke Philips N.V. Systems and apparatus for image-based lighting control and security control
US20110102915A1 (en) * 2009-10-30 2011-05-05 Michael Pham Device to create high definition photos
WO2011087963A1 (en) 2010-01-15 2011-07-21 Dolby Laboratories Licensing Corporation Edge enhancement for temporal scaling with metadata
WO2012050832A1 (en) 2010-09-28 2012-04-19 Google Inc. Systems and methods utilizing efficient video compression techniques for providing static image data
US9615062B2 (en) 2010-12-30 2017-04-04 Pelco, Inc. Multi-resolution image display
JP5853372B2 (ja) * 2011-01-26 2016-02-09 富士通株式会社 画像処理装置および画像処理方法
US8750647B2 (en) 2011-02-03 2014-06-10 Massachusetts Institute Of Technology Kinetic super-resolution imaging
JP5778522B2 (ja) * 2011-08-23 2015-09-16 国立大学法人名古屋大学 画像処理装置、および画像処理プログラム
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
KR101602747B1 (ko) * 2011-12-12 2016-03-11 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 해상도 향상 시스템 및 방법
US9094681B1 (en) 2012-02-28 2015-07-28 Google Inc. Adaptive segmentation
US9544587B2 (en) 2012-05-14 2017-01-10 Google Technology Holdings LLC Scalable video coding with enhanced base layer
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US9781447B1 (en) 2012-06-21 2017-10-03 Google Inc. Correlation based inter-plane prediction encoding and decoding
US8913141B2 (en) * 2012-06-28 2014-12-16 Gopro, Inc. Edge-based electronic image stabilization
KR101994295B1 (ko) * 2012-08-08 2019-06-28 삼성전자주식회사 단말기 및 상기 단말기에서 라이브이미지 생성방법
US9167268B1 (en) 2012-08-09 2015-10-20 Google Inc. Second-order orthogonal spatial intra prediction
US9344742B2 (en) 2012-08-10 2016-05-17 Google Inc. Transform-domain intra prediction
US9380298B1 (en) 2012-08-10 2016-06-28 Google Inc. Object-based intra-prediction
CN103748871A (zh) 2012-08-17 2014-04-23 弗莱克斯电子有限责任公司 互动频道浏览与切换
US11368760B2 (en) 2012-08-17 2022-06-21 Flextronics Ap, Llc Applications generating statistics for user behavior
US9369732B2 (en) 2012-10-08 2016-06-14 Google Inc. Lossless intra-prediction video coding
US9628790B1 (en) 2013-01-03 2017-04-18 Google Inc. Adaptive composite intra prediction for image and video compression
CN104835440B (zh) 2015-05-22 2017-08-29 京东方科技集团股份有限公司 图像的显示方法、显示装置
US10346956B2 (en) * 2015-07-22 2019-07-09 Panasonic Intellectual Property Management Co., Ltd. Image processing device
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4127873A (en) 1977-05-20 1978-11-28 Rca Corporation Image resolution enhancement method and apparatus
US4517599A (en) 1983-01-27 1985-05-14 Hughes Aircraft Company Resolution enhancement and zoom by degradation estimates
US4532548A (en) 1983-01-27 1985-07-30 Hughes Aircraft Company Resolution enhancement and zoom
DE3767221D1 (de) 1986-06-13 1991-02-14 Polaroid Corp Elektronische stehbildkamera mit erhoehter aufloesung.
US5374963A (en) 1990-06-01 1994-12-20 Thomson Consumer Electronics, Inc. Picture resolution enhancement with dithering and dedithering
JP3131996B2 (ja) 1990-11-20 2001-02-05 株式会社リコー 画像の解像度変換方法
DE69226103T2 (de) 1991-02-22 1998-11-19 Canon Kk System zur Bildbearbeitung
KR940004433B1 (ko) 1991-02-26 1994-05-25 삼성전자 주식회사 샘플 엔드 홀드기법을 이용한 공간화소 이동방법과 그 장치
US5231502A (en) 1991-05-13 1993-07-27 Recon/Optical, Inc. Image information processing techniques for improving the resolution of scanned imaging systems
EP0525408A3 (en) 1991-07-01 1993-12-22 Eastman Kodak Co Method for multiframe wiener restoration of noisy and blurred image sequences
US5657402A (en) 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
US5251037A (en) 1992-02-18 1993-10-05 Hughes Training, Inc. Method and apparatus for generating high resolution CCD camera images
JP2989364B2 (ja) 1992-03-12 1999-12-13 シャープ株式会社 画像処理装置及び画像処理方法
US5579451A (en) 1992-05-30 1996-11-26 Kyocera Corporation Image output device and image control method for smoothing image or increasing image resolution by use of same
US5341174A (en) * 1992-08-17 1994-08-23 Wright State University Motion compensated resolution conversion system
US5442718A (en) 1992-09-07 1995-08-15 Sony Corporation Apparatus and method for storing and reproducing digital image data yielding high resolution and high quality video image data
US5579445A (en) 1993-12-17 1996-11-26 Xerox Corporation Image resolution conversion method that employs statistically generated multiple morphological filters
US5767987A (en) 1994-09-26 1998-06-16 Ricoh Corporation Method and apparatus for combining multiple image scans for enhanced resolution
US5696848A (en) 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
US5579054A (en) 1995-04-21 1996-11-26 Eastman Kodak Company System and method for creating high-quality stills from interlaced video
DE69824554T2 (de) 1997-12-22 2005-06-30 Koninklijke Philips Electronics N.V. Verfahren und anordnung zum erzeugen eines standbildes mit hoher auflösung

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335257B2 (en) 2003-12-23 2012-12-18 Tamiras Per Pte. Ltd., Llc Vector selection decision for pixel interpolation
US8019124B2 (en) 2003-12-23 2011-09-13 Tamiras Per Pte. Ltd., Llc Robust camera pan vector estimation using iterative center of mass
JP2005182829A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 一時的動きベクトルフィルタリング
US8588306B2 (en) 2003-12-23 2013-11-19 Tamiras Per Pte. Ltd., Llc Temporal motion vector filtering
US8315436B2 (en) 2003-12-23 2012-11-20 Tamiras Per Pte. Ltd., Llc Robust camera pan vector estimation using iterative center of mass
JP2012085341A (ja) * 2004-11-19 2012-04-26 Ntt Docomo Inc 画像復号装置、方法およびプログラム、並びに、画像符号化装置、方法およびプログラム
JP2008228256A (ja) * 2006-05-08 2008-09-25 Fuji Xerox Co Ltd 画像処理装置、画像拡大装置、画像符号化装置、画像復号化装置、画像処理システム及びプログラム
US8913833B2 (en) 2006-05-08 2014-12-16 Fuji Xerox Co., Ltd. Image processing apparatus, image enlarging apparatus, image coding apparatus, image decoding apparatus, image processing system and medium storing program
EP1860875A2 (en) 2006-05-22 2007-11-28 Kabushiki Kaisha Toshiba High resolution enabling apparatus and method
US7764848B2 (en) 2006-05-22 2010-07-27 Kabushiki Kaisha Toshiba High resolution enabling apparatus and method
CN100562920C (zh) * 2006-05-22 2009-11-25 株式会社东芝 高分辨率化装置和方法
US8014632B2 (en) 2006-10-10 2011-09-06 Kabushiki Kaisha Toshiba Super-resolution device and method
US8170376B2 (en) 2006-10-10 2012-05-01 Kabushiki Kaisha Toshiba Super-resolution device and method
JP4670058B2 (ja) * 2006-10-25 2011-04-13 国立大学法人東京工業大学 高解像度画像生成方法
JP2008109375A (ja) * 2006-10-25 2008-05-08 Tokyo Institute Of Technology 高解像度画像生成方法
JP2008211726A (ja) * 2007-02-28 2008-09-11 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、及びプログラム
JP2008219326A (ja) * 2007-03-02 2008-09-18 Fuji Xerox Co Ltd 画像処理装置及びプログラム
US8098961B2 (en) 2007-04-26 2012-01-17 Kabushiki Kaisha Toshiba Resolution enhancement apparatus and method
US7986858B2 (en) 2007-04-26 2011-07-26 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US8233745B2 (en) 2007-09-13 2012-07-31 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
JP2009070123A (ja) * 2007-09-13 2009-04-02 Toshiba Corp 画像処理装置及びその方法
US7945120B2 (en) 2008-06-30 2011-05-17 Kabushiki Kaisha Toshiba Apparatus for enhancing resolution using edge detection
EP2151997A2 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2355038A1 (en) 2008-08-04 2011-08-10 Kabushiki Kaisha Toshiba Image processor and image processing method
US7787047B2 (en) 2008-08-04 2010-08-31 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2151802A1 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processor and image processing method
US8373700B2 (en) 2008-08-04 2013-02-12 Kabushiki Kaisha Toshiba Image processing apparatus
US8270773B2 (en) 2008-08-04 2012-09-18 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
EP2152003A1 (en) 2008-08-04 2010-02-10 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US7787051B2 (en) 2008-08-29 2010-08-31 Kabushiki Kaisha Toshiba Video display apparatus and video display method
JP4435251B2 (ja) * 2008-08-29 2010-03-17 株式会社東芝 映像表示装置、映像再生装置、映像表示方法および映像再生方法
JP2010054940A (ja) * 2008-08-29 2010-03-11 Toshiba Corp 映像表示装置、映像再生装置、映像表示方法および映像再生方法
US7941005B2 (en) 2008-11-28 2011-05-10 Kabushiki Kaisha Toshiba Information processing apparatus and resolution enhancement processing control program
US8903195B2 (en) 2009-02-19 2014-12-02 Nec Corporation Specification of an area where a relationship of pixels between images becomes inappropriate
WO2010095460A1 (ja) 2009-02-19 2010-08-26 日本電気株式会社 画像処理システム、画像処理方法および画像処理プログラム
JP2012103956A (ja) * 2010-11-11 2012-05-31 Mitsubishi Electric Corp 画像処理装置及び方法
JP2012169765A (ja) * 2011-02-10 2012-09-06 Canon Inc 符号化装置
EP2819404A1 (en) 2013-06-25 2014-12-31 Kabushiki Kaisha Toshiba Video processing system, and video processing method

Also Published As

Publication number Publication date
DE69920638D1 (de) 2004-11-04
DE69920638T2 (de) 2005-11-24
EP1014305B1 (en) 2004-09-29
US6285804B1 (en) 2001-09-04
EP1014305A1 (en) 2000-06-28

Similar Documents

Publication Publication Date Title
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
Shah et al. Resolution enhancement of color video sequences
US6466618B1 (en) Resolution improvement for multiple images
USRE47337E1 (en) Filtering control method for improving image quality of bi-linear interpolated image
Zhao et al. Is super-resolution with optical flow feasible?
KR101393048B1 (ko) 이미지들의 수퍼 해상도를 위한 방법 및 장치
JP4214409B2 (ja) 高解像度カラー画像生成方法、高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
US8170376B2 (en) Super-resolution device and method
JP2005515675A (ja) ビデオの空間または時間解像度を高めるためのシステムおよび方法
JPH08263639A (ja) 一連の低解像度画像から高解像度画像を生成する方法及び装置
WO2003047234A2 (en) System and method for providing multi-sensor super-resolution
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
CN106846250B (zh) 一种基于多尺度滤波的超分辨率重建方法
Wu et al. Improvement of color video demosaicking in temporal domain
Tom et al. Reconstruction of a high resolution image from multiple low resolution images
KR20130077646A (ko) 6-탭 ｆｉｒ 필터를 이용한 부화소 단위 움직임 추정 기반 초해상도 영상 복원 방법
Schultz et al. Video resolution enhancement
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration
JP2013126123A (ja) 画像処理装置、撮像装置及び画像処理方法
Bätz et al. Multi-image super-resolution for fisheye video sequences using subpixel motion estimation based on calibrated re-projection
Battiato et al. Analysis and characterization of super-resolution reconstruction methods
KR101428531B1 (ko) 움직임 벡터의 정규화 및 윤곽선의 패턴 분석을 이용한 복수 영상 기반 초해상도 영상 생성 방법
Madhusudhan et al. Generation of super-resolution video from low resolution video sequences: A novel approach
Shen et al. Super-resolution from observations with variable zooming ratios
CN109754370B (zh) 图像去噪方法及装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060907