JP2017509961A - サブピクセルオフセットを有する電子ズーム方法 - Google Patents

サブピクセルオフセットを有する電子ズーム方法 Download PDF

Info

Publication number
JP2017509961A
JP2017509961A JP2016549153A JP2016549153A JP2017509961A JP 2017509961 A JP2017509961 A JP 2017509961A JP 2016549153 A JP2016549153 A JP 2016549153A JP 2016549153 A JP2016549153 A JP 2016549153A JP 2017509961 A JP2017509961 A JP 2017509961A
Authority
JP
Japan
Prior art keywords
outside
point
value
interpolation
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016549153A
Other languages
English (en)
Other versions
JP6305551B2 (ja
Inventor
ゴールケ,マーク
ジェイ. ベイカー,クリストファー
ジェイ. ベイカー,クリストファー
エー. ジェイコブス,トレント
エー. ジェイコブス,トレント
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Raytheon Co
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of JP2017509961A publication Critical patent/JP2017509961A/ja
Application granted granted Critical
Publication of JP6305551B2 publication Critical patent/JP6305551B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

ズーム及びパンフィーチャを提供する、画像のピクセル間を補間するシステムと方法である。区分的三次スプラインを用いて、画像の4つの行の各々における4つの仮補間ポイントの各々の値を見いだし、同様に、区分的三次スプラインを用いて、仮補間ポイント間を補間して、出力画像中のポイントの値を見いだす。区分的三次スプラインの係数を制約するのに使う境界条件により出力画像の画質を改善する。

Description

連邦政府出資の研究に関する陳述
本発明は、国防総省の助成による契約番号(差し控え)による米国政府の支援を受けている。米国政府は本発明に一定の権利を有している。
本発明による実施形態の一以上の態様は、デジタル画像のズームおよびオフセットに関し、より具体的には、ピクセルを補間するシステムおよび方法に関する。
デジタル画像をディスプレイなどの視覚装置で見る場合、それが画像とは異なるピクセル数を有するとき、画像がディスプレイより大きいときは、元の画像が切り取られ(cropped)、元の画像がディスプレイより小さいときは、画像がディスプレイの一部に表示され、ディスプレイの残りは原画像には使われず、例えば余白とされたり、異なる背景画像が表示されたりする。これらのアプローチはどれも見る者に対して最適な表示画像を提供せず、前者は画像の一部を見る者に隠してしまい、後者が提供する画像はディスプレイの表示画面を使い切っていない。かかる場合には、原画像をディスプレイにフィットするようにサイズ変更することが望ましい。これには、一般的に原画像(ここでは入力画像と呼ぶ)のピクセルの補間として知られる、表示される画像(ここでは出力画像と呼ぶ)を構成する、すなわちディスプレイの各ピクセルに表示される各色の適切なピクセル値を見いだすプロセスを必要とする。補間は、見る者が画像の一部にズームしたり、画像の一部しか見えていない表示を画像にわたりパン(pan)したりするのにも使える。かかるアプリケーションでは、補間は、連続範囲のズームおよびパンの設定を可能にする役に立つ。補間を繰り返し適用して、原画像から新しい画像(ここでは出力画像と呼ぶ)を構成できる。
かかる補間は例えばデジタルフィルタを用いて実現できる。しかし、高性能フィルタは、補間する各ピクセルの周りの、画像の7×7部分を用い、中間的係数値の大きなテーブルを必要とすることがある。これらの係数は入力データフェーズに応じて変化することがある。それゆえ、この手法は画像処理システムに大きな計算負荷をかけることとなる。さらに、この手法は、予めプログラムされたズームまたはオフセット、すなわちパン設定を、限定数のみサポートできる。
補間は、双線形補間を用いても実現できる。双線形補間は、連続的なパンおよびズームをサポートするが、生成する画質が悪いので、高性能画像化には適していない。双三次区分的多項式スプライン法は、双線形補間を上回るが、それにもかかわらず、理想的な画質を提供するものではない。よって、大きな計算負荷をかけずに良い画質を提供する補間のシステムと方法が必要とされている。
本発明の実施形態の態様は、ズーム及びパンフィーチャ(zoom and pan features)を提供する画像のピクセル間の補間に関する。区分的三次スプラインを用いて、画像の4つの行の各々における4つの仮補間ポイントの各々の値を見いだし、同様に、区分的三次スプラインを用いて、仮補間ポイント間を補間して、出力画像中のポイントの値を見いだす。区分的三次スプラインの係数を制約するのに使う境界条件により出力画像の画質を改善する。
本発明の一実施形態によるシステムは、4つのソースポイントのセットのうち2つの中心ソースポイント間の第1の補間ポイントにおける補間値を生成するシステムであって、前記4つのソースポイントは第1方向にアライメントされ、各ソースポイントは値を有する。前記システムは、
Figure 2017509961
として前記補間値を計算するように構成された処理ユニットを有し、ここで、
Figure 2017509961
であり、
[外1]
Figure 2017509961
は第1の画像軸に平行な第1の方向で2番目に近いソースポイントの値であり、
[外2]
Figure 2017509961
は前記第1の方向で最も近いソースポイントの値であり、
[外3]
Figure 2017509961
は前記第1の方向と反対の第2の方向で最も近いソースポイントの値であり、
[外4]
Figure 2017509961
は前記第2の方向で2番目に近いソースポイントの値であり、
[外5]
Figure 2017509961
は、前記第1の補間ポイントと前記第1の方向で最も近いソースポイントとの間の距離の、前記第1の方向で最も近いソースポイントと前記第2の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外6]
Figure 2017509961

[外7]
Figure 2017509961
と実質的に等しい。
一実施形態では、前記4つのソースポイントは4つの仮補間ポイントであり、前記第1の補間ポイントは最終的補間ポイントである。
一実施形態では、前記処理ユニットは
[外8]
Figure 2017509961
により
[外9]
Figure 2017509961
を計算するように構成され、
[外10]
Figure 2017509961

[外11]
Figure 2017509961
と実質的に等しい。
一実施形態では、前記処理ユニットは、0とも1とも等しくない
[外12]
Figure 2017509961
の各要素にベクトル
[外13]
Figure 2017509961
の要素をかけることにより、
[外14]
Figure 2017509961
を計算するように構成される。
一実施形態では、前記システムは、入力画像を格納するように構成された少なくとも1つのシンクロナスダイナミックランダムアクセスメモリ(SDRAM)を有する。
一実施形態では、前記システムは、前記入力画像を格納する第1のSDRAMと、出力画像を格納する第2のSDRAMとを有する。
一実施形態では、前記第1のSDRAMと前記第2のSDRAMは同じSDRAMである。
一実施形態では、前記処理ユニットは、画像の4本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記4本のラインの各々から、ソースポイントとして一度に4ピクセルを選択するように構成される。
一実施形態では、前記処理ユニットは、4回補間をするように構成され、毎回4つのピクセルをソースポイントして用い、4つの仮補間値を形成し、前記4つの仮補間値から出力画像の値を構成する。
一実施形態では、前記リングバッファは画像の付加的な2本のラインを保持するように構成され、前記処理ユニットは、前記第1のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている。
一実施形態では、前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている。
一実施形態では、前記処理ユニットは、1符号ビット、2進小数点の左に25ビット、前記二進小数点の右に6ビットを含む32ビット固定小数点計算を用いて量
[外14’]
Figure 2017509961
を表すように構成されている。
本発明の一実施形態によるシステムは、4つのソースポイントのセットのうち2つの中心ソースポイント間の第1の補間ポイントにおける補間値を生成する方法であって、前記4つのソースポイントは第1方向にアライメントされ、各ソースポイントは値を有し、前記方法は、前記補間値を
Figure 2017509961
として計算するステップを有し、ここで、
Figure 2017509961
であり、
[外15]
Figure 2017509961
は第1の画像軸に平行な第1の方向で2番目に近いソースポイントの値であり、
[外16]
Figure 2017509961
は前記第1の方向で最も近いソースポイントの値であり、
[外17]
Figure 2017509961
は前記第1の方向と反対の第2の方向で最も近いソースポイントの値であり、
[外18]
Figure 2017509961
は前記第2の方向で2番目に近いソースポイントの値であり、
[外19]
Figure 2017509961
は、前記第1の補間ポイントと前記第1の方向で最も近いソースポイントとの間の距離の、前記第1の方向で最も近いソースポイントと前記第2の方向で最も近いソースポイントとの間の距離に対する比率であり、
[外20]
Figure 2017509961

[外21]
Figure 2017509961
と実質的に等しい。
一実施形態では、前記方法は、
[外22]
Figure 2017509961
により
[外23]
Figure 2017509961
を計算するステップを含み、
[外24]
Figure 2017509961

[外25]
Figure 2017509961
と実質的に等しい。
一実施形態では、
[外26]
Figure 2017509961
を計算するステップは、0とも1とも等しくない
[外27]
Figure 2017509961
の各要素にベクトル
[外28]
Figure 2017509961
の要素をかけるステップを含む。
一実施形態では、前記4つのソースポイントは画像の4つのピクセルである。
一実施形態では、前記4つのソースポイントは4つの仮補間ポイントである。
特徴、態様、及び実施形態を添付した図面と共に説明する。
本発明の一実施形態による補間ポイントへの補間に用いる4つのソースポイントを示す図である。 本発明の一実施形態により構成される三次スプラインのプロットを、交互法(alternate method)により構成される三次スプラインのプロットと共に示す図である。 本発明の一実施形態により構成される三次スプラインのプロットを、交互法(alternate method)により構成される三次スプラインのプロットと共に示す図である。 本発明の一実施形態による補間法を用いて構成された画像を、交互法を用いて構成された画像と共に示す図である。 2次元配列のピクセルと、本発明の一実施形態による仮補間ポイント及び最終的補間ポイントとを示す図である。
添付した図面に関して記載した詳細な説明は、本発明により提供される、サブピクセルオフセットを有する電子ズームの方法の例示としての実施形態の説明であり、本発明が構成または利用される唯一の形式を表すものではない。この説明は、例示される実施形態に関して、本発明の特徴を記載する。しかし、言うまでもなく、同一の又は等価な機能及び構造は、異なる実施形態によっても実現でき、この異なる実施形態は本発明の精神と範囲に含まれる。同じエレメント番号は同じエレメントまたはフィーチャ(features)を示す。
処理されるデジタル画像は、四角形であってもよく、画像の水平方向を第1の軸(例えば、X軸)と関連付け、画像の垂直方向を第2の軸(例えば、Z軸)と関連付けても便利である。各ピクセルは、XーZ座標系中のピクセルの座標に対応してその座標系中の位置を有する。
図1を参照して、本発明の一実施形態では、補間ポイント105における値を見いだす補間法は、区分的三次スプラインに基づき実装してもよい。かかる手法により、許容できる処理負荷(processing requirements)で画質を改善できる。図1は、軸に平行な直線に沿って連続した一連の4つのソースポイント(source points)110、115、120、125を示す。ソースポイント110、115、120、125は、例えば、入力画像中のピクセルであってもよく、または一組の先行する補間動作(図4)により形成される仮補間ポイントであってもよい。この軸は、一般性を損なわずに、X軸としてもよく、4つのソースポイント110、115、120、125は、一般性を損なわずに、それぞれX座標のー1、0、1、及び2にあると仮定してもよい。4つのソースポイント110、115、120、125の各々は、例えば赤、緑、又は青などの色の強度に対応する値を有する。補間ポイント105における対応する値を求める。他の一例では、値はモノクロ階調に対応していてもよい。例えば、各ピクセルの値がそのピクセルにおける赤の強度に対応する場合、ここに説明の補間プロセスにより、補間ポイント105における赤の補間強度(interpolated intensity)に対応する補間ポイント105における補間値(interpolated value)が求まる。ここに説明の補間プロセスを、緑や青の強度に対して繰り返して、補間ポイント105における赤、青、及び緑の補間値を生成しても良い。
ポイント105における値は、3つの連続したピクセル間区間にわたる区分的三次関数を生成して、補間ポイント105における区分的三次関数を評価することにより補間してもよい。これらの区間のうち第1は、X=−1にあるソースポイント110とX=0にあるソースポイント115との間であり、第2は、X=0にあるソースポイント115とX=1にあるソースポイント120との間であり、第3は、X=1にあるソースポイント110とX=2にあるソースポイント125との間である。
区分的三次スプラインを構成する対応する三次関数はそれぞれ次のようになる:
Figure 2017509961
。4つの係数
[外29]
Figure 2017509961
が一旦見つかれば、補間ポイントにおける値は
[外30]
Figure 2017509961
で与えられる。
12個の係数
[外31]
Figure 2017509961
は、区分的三次スプラインが4つのソースポイント110、115、120、125において、値
[外32]
Figure 2017509961
を取るように、選択される:
Figure 2017509961
この一式の6つの制約式は、12個の係数
[外33]
Figure 2017509961
を一意的に決定するには不十分であり、さらに、これらの制約式では、ソースポイントにおいてスプラインが滑らかであることを保証しない。例えば、ソースポイントにおいて一次微分が不連続であるかも知れない。ソースポイント115、120において、一次及び二次微分が連続であるという意味で、スプラインが滑らかでることを要求すると、付加的に4つの制約式が得られる:
Figure 2017509961
第1に、付加的な2つの制約式は、スプラインがリラックス(relaxed)し、自然であるとの仮定、すなわちスプラインの両端において、すなわちソースポイント110、125において二次微分がゼロになるとの仮定:
Figure 2017509961
から得られる。
係数
[外34]
Figure 2017509961
に関して、3つの三次関数の一次及び二次微分は、微分することにより得られる:
Figure 2017509961
3つの三次関数の値に、及びその微分に制約式を適用して、12個の係数
[外35]
Figure 2017509961
に対する式が得られる。第1の三次関数に対して、これらの式は:
Figure 2017509961
第2の三次関数に対して、係数
[外36]
Figure 2017509961
の式は:
Figure 2017509961
最後に、第3の三次関数に対して、係数
[外37]
Figure 2017509961
の式は:
Figure 2017509961
これらの式は、左辺に値
[外38]
Figure 2017509961
があり、右辺に係数
[外39]
Figure 2017509961
がある一組の式として書き換えることができる:
Figure 2017509961
この一組の式は行列形式で書き換えられる:
Figure 2017509961
ここで、
Figure 2017509961
4つの係数
[外40]
Figure 2017509961
は補間ポイント105における三次スプラインを評価する必要がある。これらは式
[外41]
Figure 2017509961
を反転して:
Figure 2017509961
、ベクトル
[外42]
Figure 2017509961
から係数
[外43]
Figure 2017509961
を求めることにより得られる:
Figure 2017509961
[外44]
Figure 2017509961
の逆行列を求め、上記の行列積を計算すると、4つの係数
[外45]
Figure 2017509961
に対する次の陽表現が得られる:
Figure 2017509961
これは次のように書き換えてもよい:
Figure 2017509961
最後に、補間ポイント105における補間値
[外46]
Figure 2017509961
は、
[外47]
Figure 2017509961
であるから、
[外48]
Figure 2017509961
と書け、係数
[外49]
Figure 2017509961
が上記のように見つかる。
図2Aを参照して、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント205bを通る曲線205aを形成し得る。代替的三次スプラインは、係数
Figure 2017509961
を使い、曲線205cを形成してもよい。これはソースポイント205bを通るが、上記の制約式のすべては満たさず、スプラインに沿ったさまざまなポイントで異なる補間値を確定する。同様に、図2Bにおいて、本発明の一実施形態により構成される三次スプラインは、一組のソースポイント205eを通る曲線205dを形成し、代替的な三次スプラインが曲線205fを形成してもよい。
補間に対するさまざまなアプローチの違いは、図3の3つの画像で分かると思われる。これら全てはズーム係数5.351で補間した画像である。図3において、左端の画像は双線形補間を用いて形成され、中央の画像は固定双三次スプラインを用いて形成され、右端の画像は本発明の一実施形態による三次スプラインを用いて形成されたものである。
例えば、図3の画像において、2次元補間を行うには、図1、2A、及び2Bを参照して上記した方法を2段階で利用できる。図4を参照して、最終的な補間ポイント505における補間値を見いだすため、最も近い16個のピクセル、すなわち、ポイント505の右の2つのピクセル列と、ポイント505の左の2つのピクセル列と、ポイント505の上の2つの行と、ポイント505の下の2つの行とを用いる。第1段階において、本発明の一実施形態による三次スプライン補間を利用して、4つの仮補間ポイント510、515、520、525の各々において、仮補間値を見いだす。
例えば、第1行のピクセル540、545、550、555に本方法を適用して、仮補間ポイント510における仮補間値を求める。このステップでは、補間により:(i)画像軸に平行な第1の方向(−X方向)の、仮補間ポイント510に2番目に近いピクセル、すなわちピクセル540、の値、(ii)第1の方向の、最も近いピクセル、すなわちピクセル545、の値、(iii)第1の方向と反対の第2の方向(+X方向)の、最も近いピクセル、すなわちピクセル550、の値、(iv)第2の方向の、2番目に近いピクセル、すなわちピクセル555、の値。第2、第3、及び第4行のピクセルを用いて、仮補間ポイント515、520、及び525における仮補間値をそれぞれ求めても良い。
最後に、第2段階で、仮補間ポイント510、515、520、525における4つの仮補間値を用いて、再び本発明の一実施形態による三次スプラインを用いて、最終的な補間ポイント505における補間値を求めてもよい。この段階では、(i)画像軸に平行な第3の方向(−Z方向)の、最終的補間ポイント505に2番目に近い仮補間ポイント、すなわち仮補間ポイント525、の値、(ii)第3の方向の最も近い仮補間ポイント、すなわち仮補間ポイント520、の値、(iii)第1の方向と反対の第2の方向(+Z方向)の、最も近い仮補間ポイント、すなわち仮補間ポイント515、の値、(iv)第2の方向の2番目に近い仮補間ポイント、すなわち仮補間ポイント510、の値が用いられる。
このように、図1を参照して、補間ポイント105は最終的補間ポイント、すなわち出力画像ピクセルであってもよいし、または仮画像ポイントであってもよい。ソースポイントは、入力画像ピクセルであってもよく(例えば、出力画像ピクセルが入力画像の行または列とアライメントされている場合)、または仮補間ポイントであってもよい。
本発明の実施形態は、計算量的に効率的であり(computationally efficient)、画像を基本的に任意のズーム比に補間する能力も提供する。ズーム比は画像の2つの軸方向で同じである必要はない。結果として得られる画像は実質的にアーティファクトがなく、見る者に対してより高画質の出力を提供する。
補間は処理ユニットを含む実施形態で実行されてもよい。「処理ユニット」との用語は、ここでは、データまたはデジタル信号を処理するのに利用される、ハードウェア、ファームウェア、及びソフトウェアの任意の組み合わせを含むものとして使われている。処理ユニットハードウェアは、例えば、特定用途集積回路(ASICs)、汎用または特殊用途中央処理ユニット(CPUs)、デジタル信号プロセッサ(DSPs)、グラフィックス処理ユニット(GPUs)、フィールドプログラマブルゲートアレイ(FPGAs)などのプログラマブルロジックデバイスを含んでいてもよい。
補間を実行するとき、処理ユニットで必要となる演算数を最小化すると都合がよい。これは、例えば:
Figure 2017509961
を評価する時に、行列
[外50]
Figure 2017509961
の要素が0(この場合、積は0である)または1(この場合、積はベクトル
[外51]
Figure 2017509961
の対応する要素である)であるときに、要素の乗算ステップを省略することにより、実現できる。例えば、行列
[外52]
Figure 2017509961
の最終行が3つの「0」と1つの「1」であるから、
[外53]
Figure 2017509961
の値は単純に
[外54]
Figure 2017509961
であり、すなわち、
[外55]
Figure 2017509961
は乗算を実行せずに求められる。効率を上げる為、補間に関与する計算は、固定小数点計算を用いて、例えば符号ビット付き25Q6フォーマット(すなわち、2進小数点の右に6ビットあるフォーマットであり、Q25.6と記されることもある)を用いて、行っても良い。
補間されるポイントの、第1の方向の、最も近いソースポイントに対する、位置
[外56]
Figure 2017509961
の値は、入力画像に対する出力画像のズーム及びオフセットから、(i)オフセットと、(ii)(a)第1の方向の最も近いソースポイントの原画像における位置の、(b)ズーム比に対する比率との合計の端数部分(fractional part)として、計算してもよい。ここで、ズーム比が1より大きいことは拡大に対応する。動作中、汎用コンピュータその他の処理ユニットは、オフセットと、ズーム比の逆数とを、補間を行っている処理ユニットに供給し、後者が除算を行わずに、ズーム比の逆数の乗算をすればよいようにする。一実施形態では、ズーム比の逆数は、符号なしの固定小数点数、例えば、符号無しの2Q30固定小数点数である。
サブピクセルオフセットとズーム比の両方の2進表示における小数点位置は、利用できるズーム制御の範囲と、ズーム解像度との間のトレードとして、事例ごとに選択されてもよい。
一実施形態では、入力画像はシンクロナスダイナミックランダムアクセスメモリ(SDRAM)に格納され、出力画像も、構成された時に、格納されてもよく、格納される場合は、同じ又は別のSDRAMに格納されてもよい。補間は特殊目的処理ユニットにより実行される。特殊目的処理ユニットはFPGAまたはASICに基づいても良い。ラインバッファがSDRAMと処理ユニットとの間で用いられ、SDRAMと処理ユニットとの間のクロックドメイン転送用の先入れ先出し(FIFO)構造として用いられる。処理ユニットは、例えば、入力画像のうち6ラインを格納するリングバッファを含み、それから4ラインをいつでも用いて、上に開示したアルゴリズムにより、出力画像の1ラインを生成する。ズーム比が1より大きいとき、幾つかの例では、出力画像の後続ラインを形成するため、入力画像の同じ4ラインを要し、幾つかの例では、入力画像の付加的ラインが必要となり、入力画像の前に用いたラインはもはや必要なくなる。リングバッファは、これらのデータ要件によく適している。出力画像のラインを構成するため、バッファ中の他の4ラインが処理されるのと同時に、新しいラインがバッファに読み込まれるからである。ズーム比が1より小さいが1/2より小さくないとき、出力画像の1ラインが構成され、処理ユニットが後続ラインを処理し始める時に、付加的に入力画像の2ラインがバッファ中に必要である。このように、一実施形態では、処理ユニットにおいて、6ラインリングバッファが用いられる。
ここでは、サブピクセルオフセットを有する電子ズームの方法の限定された実施形態を具体的に説明および例示したが、当業者には多くの修正及び変形が明らかであろう。したがって、言うまでもなく、この発明の原理による、サブピクセルオフセットを用いる電子ズームの方法は、ここに具体的に説明した以外の実施形態で実施できる。本発明は、以下の特許請求の範囲及びその均等物により確定される。

Claims (17)

  1. 4つのソースポイントのセットのうち2つの中心ソースポイント間の第1の補間ポイントにおける補間値を生成するシステムであって、前記4つのソースポイントは第1方向にアライメントされ、各ソースポイントは値を有し、前記システムは、
    Figure 2017509961
    として前記補間値を計算するように構成された処理ユニットを有し、
    ここで、
    Figure 2017509961
    であり、
    [外1]
    Figure 2017509961
    は第1の画像軸に平行な第1の方向で2番目に近いソースポイントの値であり、
    [外2]
    Figure 2017509961
    は前記第1の方向で最も近いソースポイントの値であり、
    [外3]
    Figure 2017509961
    は前記第1の方向と反対であり前記第1の画像軸に平行な第2の方向で最も近いソースポイントの値であり、
    [外4]
    Figure 2017509961
    は前記第2の方向で2番目に近いソースポイントの値であり、
    [外5]
    Figure 2017509961
    は、前記第1の補間ポイントと前記第1の方向で最も近いソースポイントとの間の距離の、前記第1の方向で最も近いソースポイントと前記第2の方向で最も近いソースポイントとの間の距離に対する比率であり、
    [外6]
    Figure 2017509961
    は[外7]
    Figure 2017509961
    と実質的に等しい、システム。
  2. 前記4つのソースポイントは4つの仮補間ポイントであり、前記第1の補間ポイントは最終的補間ポイントである、請求項1に記載のシステム。
  3. 前記処理ユニットは
    [外8]
    Figure 2017509961
    により
    [外9]
    Figure 2017509961
    を計算するように構成され、
    [外10]
    Figure 2017509961

    [外11]
    Figure 2017509961
    と実質的に等しい、
    請求項1に記載のシステム。
  4. 前記処理ユニットは、0とも1とも等しくない
    [外12]
    Figure 2017509961
    の各要素にベクトル
    [外13]
    Figure 2017509961
    の要素をかけることにより、
    [外14]
    Figure 2017509961
    を計算するように構成される、請求項3に記載のシステム。
  5. 入力画像を格納するように構成された少なくとも1つのシンクロナスダイナミックランダムアクセスメモリ(SDRAM)を有する、請求項1に記載のシステム。
  6. 前記入力画像を格納する第1のSDRAMと、出力画像を格納する第2のSDRAMとを有する、請求項5に記載のシステム。
  7. 前記第1のSDRAMと前記第2のSDRAMは同じSDRAMである、請求項6に記載のシステム。
  8. 前記処理ユニットは、画像の4本のラインを保持するように構成されたリングバッファを有し、前記処理ユニットは前記4本のラインの各々から、ソースポイントとして一度に4ピクセルを選択するように構成される、
    請求項5に記載のシステム。
  9. 前記処理ユニットは、4回補間をするように構成され、毎回4つのピクセルをソースポイントして用い、4つの仮補間値を形成し、前記4つの仮補間値から出力画像の値を構成する、
    請求項8に記載のシステム。
  10. 前記リングバッファは画像の付加的な2本のラインを保持するように構成され、前記処理ユニットは、前記第1のメモリから、転送時にソースポイントとして使われていない前記リングバッファのラインにデータを転送するように構成されている、
    請求項8に記載のシステム。
  11. 前記処理ユニットは、固定小数点計算を用いて前記補間値を計算するように構成されている、
    請求項1に記載のシステム。
  12. 前記処理ユニットは、1符号ビット、2進小数点の左に25ビット、二進小数点の右に6ビットを含む32ビット固定小数点計算を用いて量
    [外14’]
    Figure 2017509961
    を表すように構成されている、
    請求項11に記載のシステム。
  13. 4つのソースポイントのセットのうち2つの中心ソースポイント間の第1の補間ポイントにおける補間値を生成する方法であって、前記4つのソースポイントは第1方向にアライメントされ、各ソースポイントは値を有し、前記方法は、
    前記補間値を
    Figure 2017509961
    として計算するステップを有し、
    ここで、
    Figure 2017509961
    であり、
    [外15]
    Figure 2017509961
    は第1の画像軸に平行な第1の方向で2番目に近いソースポイントの値であり、
    [外16]
    Figure 2017509961
    は前記第1の方向で最も近いソースポイントの値であり、
    [外17]
    Figure 2017509961
    は前記第1の方向と反対であり前記第1の画像軸に平行な第2の方向で最も近いソースポイントの値であり、
    [外18]
    Figure 2017509961
    は前記第2の方向で2番目に近いソースポイントの値であり、
    [外19]
    Figure 2017509961
    は、前記第1の補間ポイントと前記第1の方向で最も近いソースポイントとの間の距離の、前記第1の方向で最も近いソースポイントと前記第2の方向で最も近いソースポイントとの間の距離に対する比率であり、
    [外20]
    Figure 2017509961

    [外21]
    と実質的に等しい、方法。
    Figure 2017509961
  14. [外22]
    Figure 2017509961
    により
    [外23]
    Figure 2017509961
    を計算するステップを有し、
    [外24]
    Figure 2017509961

    [外25]
    Figure 2017509961
    と実質的に等しい、システム。
    請求項13に記載の方法。
  15. [外26]
    Figure 2017509961
    を計算するステップは、0とも1とも等しくない
    [外27]
    Figure 2017509961
    の各要素にベクトル
    [外28]
    Figure 2017509961
    の要素をかけるステップを含む、
    請求項14に記載の方法。
  16. 前記4つのソースポイントは画像の4つのピクセルである、
    請求項13に記載の方法。
  17. 前記4つのソースポイントは4つの仮補間ポイントである、
    請求項13に記載の方法。
JP2016549153A 2014-01-29 2014-11-19 サブピクセルオフセットを有する電子ズーム方法 Active JP6305551B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/167,708 2014-01-29
US14/167,708 US9741095B2 (en) 2014-01-29 2014-01-29 Method for electronic zoom with sub-pixel offset
PCT/US2014/066451 WO2015116307A1 (en) 2014-01-29 2014-11-19 A method for electronic zoom with sub-pixel offset

Publications (2)

Publication Number Publication Date
JP2017509961A true JP2017509961A (ja) 2017-04-06
JP6305551B2 JP6305551B2 (ja) 2018-04-04

Family

ID=52101589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016549153A Active JP6305551B2 (ja) 2014-01-29 2014-11-19 サブピクセルオフセットを有する電子ズーム方法

Country Status (6)

Country Link
US (1) US9741095B2 (ja)
EP (1) EP3100232A1 (ja)
JP (1) JP6305551B2 (ja)
AU (1) AU2014380166B2 (ja)
IL (1) IL246584A0 (ja)
WO (1) WO2015116307A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055542B2 (en) * 2015-03-25 2018-08-21 Niramai Health Analytix Pvt Ltd Software interface tool for breast cancer screening
CN108037661A (zh) * 2017-11-30 2018-05-15 江苏省生产力促进中心 用于摄像机器人的运动轨迹设计方法
CN114092575B (zh) * 2021-11-24 2022-04-12 北京清晨动力科技有限公司 数字地球实时着色方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235352A (ja) * 1995-02-23 1996-09-13 Konica Corp 画像変倍装置
JPH10229491A (ja) * 1997-02-17 1998-08-25 Fuji Xerox Co Ltd 画素密度変換装置
JPH11122637A (ja) * 1997-10-16 1999-04-30 Sony Corp 画像要素の補間処理装置
JP2007511789A (ja) * 2003-10-28 2007-05-10 クレアボワイヤント,インコーポレーテッド 多数モード表示に対するスケーリングを実行すべく画像再構築及びサブピクセル・レンダリングを実行するシステム及び方法
JP2007306528A (ja) * 2006-05-15 2007-11-22 Toshiba Corp 動画像復号装置および動画像復号方法
JP2009055225A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 画像処理装置および画像形成装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100311482B1 (ko) 1999-10-21 2001-10-18 구자홍 보간 영상의 화질 개선을 위한 필터링 제어방법
JP2002342262A (ja) * 2001-05-11 2002-11-29 Fujitsu Ltd ダイレクトメモリアクセス制御装置およびダイレクトメモリアクセス制御方法
US7346067B2 (en) * 2001-11-16 2008-03-18 Force 10 Networks, Inc. High efficiency data buffering in a computer network device
US7489739B2 (en) * 2004-09-17 2009-02-10 Rambus, Inc. Method and apparatus for data recovery
GB2442623A (en) * 2005-06-16 2008-04-09 Neuro Solution Corp Interpolation process circuit
JP5368687B2 (ja) * 2007-09-26 2013-12-18 キヤノン株式会社 演算処理装置および方法
CN100590656C (zh) 2008-01-17 2010-02-17 四川虹微技术有限公司 基于样条函数插值算法的图像放大方法
WO2011095927A1 (en) * 2010-02-04 2011-08-11 Koninklijke Philips Electronics N.V. Object localization apparatus
KR20120120795A (ko) 2011-04-25 2012-11-02 삼성전자주식회사 데이터 저장 시스템 및 그의 데이터 리텐션 방법
US8719531B2 (en) 2011-06-14 2014-05-06 Western Digital Technologies, Inc. System and method for performing data retention that incorporates environmental conditions
JP5855454B2 (ja) * 2011-12-28 2016-02-09 オリンパス株式会社 撮像装置
US8892623B2 (en) * 2012-06-14 2014-11-18 Arm Limited Data processing apparatus and method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08235352A (ja) * 1995-02-23 1996-09-13 Konica Corp 画像変倍装置
JPH10229491A (ja) * 1997-02-17 1998-08-25 Fuji Xerox Co Ltd 画素密度変換装置
JPH11122637A (ja) * 1997-10-16 1999-04-30 Sony Corp 画像要素の補間処理装置
JP2007511789A (ja) * 2003-10-28 2007-05-10 クレアボワイヤント,インコーポレーテッド 多数モード表示に対するスケーリングを実行すべく画像再構築及びサブピクセル・レンダリングを実行するシステム及び方法
JP2007306528A (ja) * 2006-05-15 2007-11-22 Toshiba Corp 動画像復号装置および動画像復号方法
JP2009055225A (ja) * 2007-08-24 2009-03-12 Fuji Xerox Co Ltd 画像処理装置および画像形成装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SKY MCKINLEY: "Cubic Spline Interpolation", CUBIC SPLINE INTERPOLATION, JPN6017026403, 2000, pages 1 - 15 *

Also Published As

Publication number Publication date
WO2015116307A1 (en) 2015-08-06
US9741095B2 (en) 2017-08-22
US20150213578A1 (en) 2015-07-30
IL246584A0 (en) 2016-08-31
AU2014380166A1 (en) 2016-08-25
EP3100232A1 (en) 2016-12-07
AU2014380166B2 (en) 2020-07-09
JP6305551B2 (ja) 2018-04-04

Similar Documents

Publication Publication Date Title
JP4018601B2 (ja) 内蔵形システムのデジタル画像スケーリング方法
TWI503791B (zh) 針對各向異性過濾運算細節位準之技術
US8208760B2 (en) Image resolution adjustment method
US10008023B2 (en) Method and device for texture filtering
TWI334581B (en) Texture engine, graphics processing unit and texture processing method thereof
JP6619034B2 (ja) ホモグラフィの修正
JP6305551B2 (ja) サブピクセルオフセットを有する電子ズーム方法
Van der Jeught et al. Real-time geometric lens distortion correction using a graphics processing unit
US20140028919A1 (en) Image processing circuit and method thereof
WO2018113224A1 (zh) 一种图像缩小方法及装置
WO2016004667A1 (zh) 增强视频图像光滑度及清晰度的超分辨率重构方法
TW201705109A (zh) 顯示系統與驅動方法
CN104184981A (zh) 一种基于缩减像素采样处理的低解析度显示方法及设备
JP2010081024A (ja) 画像補間処理装置
JP5787637B2 (ja) 画像処理装置、画像処理方法
TWI234746B (en) Scaling method by using symmetrical middle-point slope control
CN105872306B (zh) 用于图像缩放的设备和方法
US9245331B2 (en) Video contrast enhancement with sub-segments
JP2018120536A (ja) データ補間装置及びその方法、画像処理装置
JPS60134991A (ja) 画像処理装置
JP2017016511A (ja) 歪み補正画像処理装置及びプログラム
CN104657937A (zh) 一种基于edma的图像放大的方法及装置
US20190005617A1 (en) Determination of brightness values of virtual pixels
CN108833872B (zh) 一种yuy2颜色空间快速缩放或放大的方法
TW200305114A (en) Scaling method by using cubic-like triple point slope control

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180306

R150 Certificate of patent or registration of utility model

Ref document number: 6305551

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250