JP2001160139A - 画像処理方法及び画像処理装置 - Google Patents

画像処理方法及び画像処理装置

Info

Publication number
JP2001160139A
JP2001160139A JP2000329009A JP2000329009A JP2001160139A JP 2001160139 A JP2001160139 A JP 2001160139A JP 2000329009 A JP2000329009 A JP 2000329009A JP 2000329009 A JP2000329009 A JP 2000329009A JP 2001160139 A JP2001160139 A JP 2001160139A
Authority
JP
Japan
Prior art keywords
edge
kernel
sample values
value
discrete sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000329009A
Other languages
English (en)
Inventor
Andrew Peter Bradley
ピーター ブラッドリー アンドリュー
Hann Kai
ハン カイ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2001160139A publication Critical patent/JP2001160139A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/403Edge-driven scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

(57)【要約】 【課題】 離散サンプル値のマッピングからなる画像デ
ータのエッジ情報に基づいて最適な画像補間を行う。 【解決手段】 前記画像データの離散サンプル値毎にエ
ッジ強度値を算出することによってエッジサンプル値を
識別し、前記エッジサンプル値毎に方位角度を格納し、
前記離散サンプル値毎に、前記エッジサンプル値および
前記格納された方位角度を形態プロセスを用いて処理す
る。これにより、画像補間に最適なカーネルを選択する
ことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、多次元画像デー
タ、特にデジタル画像データの解像度変換を行う画像処
理方法および画像処理装置に関する。本発明はまた、多
次元画像データ、特にデジタル画像データの解像度変換
のためのコンピュータプログラム、および該プログラム
が記録されているコンピュータ可読媒体を含むコンピュ
ータプログラム製品にも関する。
【0002】
【従来の技術】デジタルデータの解像度変換方法とし
て、いくつかの方法が知られている。たとえば、分数フ
ーリエ変換(分数FFTまたはChirp−Z変換)、
離散コサイン変換(DCT)、および離散ウェーブレッ
ト変換(DWT)などの変換ドメイン方法がある。さら
に、有限インパルス応答(FIR)フィルタおよび無限
インパルス応答(IIR)フィルタを使用する再サンプ
リングおよびデジタルフィルタリング、ならびに連続ス
プライン、通常は3次スプラインを使用する補間など、
いくつかの空間ドメイン方法がある。スプライン補間技
法とは、連続カーネル(continuous kernel)によるたた
み込みを使用して効率的に実行することができる、補間
方法の1つである。連続カーネルが入力信号のオリジナ
ルデータポイントを介して渡されるデータを生成すると
きに、カーネルは補間カーネル(interpolating kernel)
と呼ばれることが多く、生成された補間済みデータにオ
リジナルデータポイントを介して渡されるという制約が
ないときには、近似カーネル(approximating kernel)と
呼ばれることが多い。
【0003】デジタルデータの解像度を変換するための
連続カーネルには、最近隣(NN)カーネル、1次カー
ネル、2次カーネル、および3次カーネルが含まれる。
NNカーネルは、必要とされる値に空間的に最も近いピ
クセル値で画像を補間するという、最も単純な方法であ
る。NNカーネルは、スケーリング倍率がオリジナルデ
ータの整数倍であるときに、新しい値(すなわち新しい
カラー)を導入することなく、鮮明なエッジを保ちなが
ら、最も適切に動作する。ただしそれ以外の倍率の場
合、NNカーネルには、エッジ位置が移動することによ
って出力画像内、特にテキストや細い線の細部を含む画
像内に、目に見えるゆがみを発生させることが多いとい
う欠点がある。他方で、1次補間の場合は、エッジを2
次ピクセル位置に配置するのに効果的に使用される、新
しいグレイレベル(またはカラー)を導入することがで
きる。ただしこの1次補間方法には、鮮明なエッジがぼ
やけて見える可能性があるという欠点がある。2次およ
び3次補間では、より急勾配のステップ応答が提供され
るのでエッジのぼやけは少ないが、急勾配な応答の結
果、エッジのどちらの側にもオーバーシュートが発生す
る。このオーバーシュートによって、未加工の画像内の
エッジはより鮮明に見えるが、テキスト、細線、または
他のコンピュータ生成グラフィックスでは、オーバーシ
ュートがはっきりとわかり、知覚画像の品質およびテキ
ストの読みやすさが損なわれる。
【0004】
【発明が解決しようとする課題】上述した連続カーネル
による解像度変換方法を鑑みれば、それぞれのカーネル
には独自の長所および欠点があり、すなわち、異なる形
状のカーネルを使用して最高の補間が実行される一定の
画像領域があると結論付けることができる。単一の連続
するたたみ込みカーネルをあらゆる画像ピクセルに単純
に適用するだけでは、汎用解像度変換アプリケーション
のすべての要件を満たすことにはならない。
【0005】公開米国特許第5131057号では、急
勾配のステップ応答を備えているが、それによって3次
カーネルのパラメータが画像情報に従って調節されるオ
ーバーシュートのないカーネルについて開示している。
米国特許第5131057号では、下記の数式に示す、
2つのパラメータのキャットマル・ロム3次カーネルに
ついて開示している。
【0006】
【数12】
【0007】パラメータbおよびc(b=0、c=0.
5)を選択すると、オリジナル画像のテイラー級数展開
式の最初の3項に一致する補間3次式となり、(b=
1、c=0)を選択すると、近似3次式Bスプラインと
なる。米国特許第5131057号では、パラメータb
はb=0に固定されるが、cはガウスのラプラシアン
(LOG)エッジ検出器を使用して測定されるエッジ強
さによって、0、0.5、および1の間で変化する。鮮
明なエッジc=0の場合、結果として生じる3次式は下
記の数式となる。
【0008】
【数13】
【0009】ただし、米国特許第5131057号で開
示されたカーネルを使用すると、再サンプリングされた
ピクセル変位がオリジナルのピクセル変位とそれほど相
違ない場合、すなわち再サンプリングレートが10/1
1または11/10の場合、画像データを補間するのに
問題がある。この場合、テキストおよび他の細線のエッ
ジにあるピクセルは、オリジナルの黒または白の値では
なくグレイの値を取るため、結果的に鮮明なエッジがぼ
やけて、観察される画像品質が低下することになる。
【0010】従来の連続たたみ込みカーネルにおける他
の問題は、画像平面内で斜めの向きにエッジに適用され
る場合に関連付けられる。従来のカーネルは、分離可能
な様式、すなわち第1に画像の行、次いで列に適用する
か、またはカーネルが2次元画像データを使って直接た
たみ込まれる2次元形態で適用することができる。ただ
し、これらを実施する場合のカーネルの向きは、水平、
垂直、または左右対称のいずれかに限定される。斜めの
エッジに遭遇すると、エッジに沿ったピクセルではな
く、エッジのいずれかの側にあるピクセルが主に補間に
使用され、その結果、補間されたエッジはくっきりと滑
らかに見えるのではなく、ぎざぎざまたはぼやけて見え
るか、あるいはその両方に見えることになる。公開米国
特許第5446804号では、双1次補間においてエッ
ジの他方側のピクセルに対して外挿されたピクセル値の
推定値を使用することで、エッジを横切って補間するこ
とを防ぐ方法を開示している。ただし、米国特許第54
46804号で開示された方法は、出力解像度における
非常に正確な2次ピクセルエッジの推定、および連続す
る近似手順を使用した反復後処理を必要とし、これはメ
モリおよびリソース処理に高度な要求をするものであ
る。
【0011】公開米国特許第5125042号では、エ
ッジ強さまたはユーザ入力に基づいて補間カーネルを選
択するための方法を開示している。ただし、この米国特
許第5125042号によって開示された方法が最適に
機能するのを妨げる欠陥がいくつかある。第1に、カー
ネル選択の基準としてエッジ強さだけを使用すると、
(特に斜めのエッジで)信頼できるカーネルを選択する
のに十分な情報が与えられない。第2に、ユーザ入力だ
けに基づいたカーネル選択は非実用的であり、カーネル
選択を十分詳細に指定することがない。たとえば、米国
特許第5125042号の図7に示された2次画像で
は、2次画像全体について理想的なカーネルが1つだけ
ではない。一般に、ユーザが指定するのに非実用的な解
像度の様々なカーネルが必要である。
【0012】カーネル選択は、画像内で典型的に見られ
る異なるエッジ強さおよびエッジ方向において適切なカ
ーネルを使用できるようにするために、自動的かつ信頼
できるものでなければならない。
【0013】本発明の一目的は、既存の配置構成にある
1つまたは複数の欠点を大幅に克服するか、少なくとも
改善することであり、例えば、画像補間に最適なカーネ
ルを選択することにより、最適な画像補間を可能とする
画像処理方法および画像処理装置を提供することを目的
とする。
【0014】
【課題を解決するための手段】上記目的を達成するため
に、本発明の一態様によって提供される画像処理方法は
以下の工程を備える。
【0015】すなわち、離散サンプル値のマッピングか
らなる画像データのエッジ情報を決定する画像処理方法
であって、前記画像データの離散サンプル値毎にエッジ
強度値を算出することによってエッジサンプル値を識別
する第1のステップと、前記エッジサンプル値毎に方位
角度を格納する第2のステップと、前記離散サンプル値
毎に、前記エッジサンプル値および前記格納された方位
角度を形態プロセスを用いて処理する第3のステップ
と、を有することを特徴とする。
【0016】また、本発明の別の態様によって提供され
る画像処理方法は、以下の工程を備える。
【0017】すなわち、離散サンプル値の第1のマッピ
ングからなる画像データを補間する画像処理方法であっ
て、前記画像データの前記離散サンプル値毎にエッジ情
報を算出してエッジサンプル値を識別し、該エッジサン
プル値毎に方位角度およびエッジ強度値を格納する第1
のステップと、前記離散サンプル値毎に、前記エッジサ
ンプル値および前記格納された方位角度を形態プロセス
を用いて処理する第2のステップと、前記離散サンプル
値毎に、前記第2のステップにおいて処理されたエッジ
サンプル値および方位角度を結合することによって、前
記離散サンプル値の第2のマッピングを形成する第3の
ステップと、前記第3のステップにおいて前記第2のマ
ッピングを形成する際に処理されたエッジサンプル値を
マッピング機能を用いてマッピングすることによって、
第3のマッピングを形成する第4のステップと、前記第
3のマッピングにおける離散サンプル値毎に、前記エッ
ジサンプル値および前記方位角度に依存するカーネルの
パラメータを算出し、該パラメータおよび前記カーネル
を用いて複数のカーネル値を算出する第5のステップ
と、離散サンプル値の前記第1のマッピングによって前
記複数のカーネル値をたたみ込むことにより、離散サン
プル値の第4のマッピングを形成する第6のステップ
と、を有することを特徴とする。
【0018】また、本発明の別の態様によって提供され
る画像処理方法は、以下の工程を備える。
【0019】すなわち、ピクセルベースの画像データに
対して補間を実行する画像処理方法であって、前記画像
データの離散サンプル値の第1のセットにアクセスする
第1のステップと、カーネルを使用して前記離散サンプ
ル値毎にカーネル値を算出する第2のステップと、前記
離散サンプル値の第2のセットを提供するために、前記
離散サンプル値で前記カーネル値をたたみ込む第3のス
テップと、を有し、前記第2のステップにおいては、前
記カーネルのパラメータが、エッジ方位インジケータと
エッジ強さインジケータ、およびエッジコンテキストイ
ンジケータに応じて選択されることを特徴とする。
【0020】また、本発明の別の態様によって提供され
る画像処理方法は、以下の工程を備える。
【0021】すなわち、離散サンプル値の第2のセット
を補間カーネルを用いて生成するために、離散サンプル
値の第1のセットを補間する画像処理方法であって、前
記補間カーネルのパラメータが、前記第1のセットの各
離散サンプル値について、エッジ強さインジケータとエ
ッジ方向インジケータ、およびエッジコンテキストイン
ジケータに応じて選択されることを特徴とする。
【0022】
【発明の実施の形態】以下、本発明に係る一実施形態に
ついて、図面を参照して詳細に説明する。
【0023】本実施形態において、任意の1つまたは複
数の添付の図面に同じ参照番号のあるステップおよび/
または特徴が参照されている場合、これらのステップお
よび/または特徴は、逆の意図が示されていない限り、
記述の目的で同じ機能または動作を有するものである。
【0024】デジタル画像を再サンプリングする際に
は、平滑領域とエッジ領域とは別々に再サンプリングす
る必要がある。c=0.5のキャットマル・ロム3次式
などの長い左右対称のカーネルは、平滑な画像領域に理
想的である。c=0のキャットマル・ロム3次式などの
ショートカーネルは、一般に、エッジ、コーナー、また
は高度にテクスチャ化された領域に適している。ただ
し、斜めのエッジ上に生じるジャギー効果を減らすため
には、補間プロセスにおいてエッジ方向も考慮に入れる
必要がある。補間はエッジを横切るのではなくエッジに
沿って平滑であることができるため、エッジ方向は重要
であり、エッジの輪郭を平滑に保ちながらエッジの移行
は鮮明に保たれる。
【0025】好ましい実施形態は、平滑さおよび鮮明さ
の向上が知覚されるエッジの輪郭を備えた画像を生成す
る、画像補間方法である。この好ましい方法では、エッ
ジ強さ、エッジ方向、およびローカルエッジコンテキス
ト情報を使用して、各画像領域について適切な補間カー
ネルを自動的に選択する。画像補間の好ましい方法は、
均一な画像特徴の位置を識別する、いくつかのバイナリ
画像を作成する考え方に基づくものである。この好まし
い実施形態に従って識別される画像領域は、鮮明なエッ
ジ特徴のない平滑部分、ならびにほぼ線形のエッジを生
成するためにローカル近傍によってサポートされている
エッジ部分か、またはローカル近傍によってサポートさ
れておらず分離しているかまたは複合の(コーナーまた
は交差する)エッジである。その後、本明細書ではユニ
バーサル3次たたみ込みカーネルと呼ばれる、単一のた
たみ込みカーネルのパラメータを変化させることによっ
て、異なる領域を別々に補間することができる。
【0026】図1は、本実施形態に従った画像補間方法
を示すフローチャートである。まず方法全体について説
明し、その後図1の各サブブロックについてより詳細に
説明する。このプロセスは、いくつかの前処理および初
期化ステップ、すなわちステップ101、103、10
7、および109で開始される。ステップ101では、
要求されたスケーリングファクタと共に入力画像が読み
取られる。画像がダウンサンプリングされる場合、画像
は必要に応じてステップ103で最初に(box-car)プ
レフィルタリングされ、要求されたスケーリングファク
タが適切に減じられる。次のステップ105では、(潜
在的に新しい)スケーリングファクタを使用して、要求
された補間係数のカーネルルックアップテーブル(LU
T)が構築される。プロセスはステップ107に続き、
輝度画像が構成される。次のステップ109では、入力
画像がインターレースされていることがわかれば、この
入力画像をインターレース解除することができる。プロ
セスはステップ111に続き、輝度画像に非線形エッジ
検出器が適用され、エッジマップが作成される。ステッ
プ131では、平滑部分が検出され、好ましい実施形態
に従ってたたみ込みカーネルを使用して直接補間され
る。次のステップ113では、形態プロセス(morpholog
ical process)を使用して、エッジマップが拡張および
クリーニングされる。プロセスはステップ115に続
き、検出されたエッジの方向が決定される。次のステッ
プ117では、検出されたエッジが4方向のバイナリ画
像マップに量子化される。プロセスは次のステップ11
9に続き、エッジ方向マップはクリーニングされ、今度
は方向的に浸食される。次のステップ121では、方向
付けられていないエッジの追加マップが作成される。プ
ロセスはステップ123に続き、エッジの位置、その方
向、およびローカルサポートをすべて使用してカーネル
選択マップが生成され、このカーネル選択マップを使用
してユニバーサル3次カーネルのパラメータを変化させ
る。したがって、各画像位置で適切な補間が実行でき
る。補間は、人為的なリンギング(ringing)を招かない
ように、ステップ125でローカルな制約を伴って実行
されることが好ましい。プロセスはステップ127に続
き、任意の要求されたカラー空間変換が実行される。プ
ロセスの最後はステップ129であり、正しいサイズお
よび形式の出力画像が作成される。
【0027】1/4未満のスケーリングファクタで画像
データをダウンサンプリングする場合は、3次たたみ込
みに加えてプレフィルタリングが画像データに適用され
る。3次たたみ込みカーネルが好ましくは4×4係数の
固定サイズであることから、このプレフィルタリングが
必要であり、そのため出力ピクセルを作成するときは、
入力画像の行および列の両方に沿って4ピクセルだけを
フィルタリングする。その結果、1/4未満のスケーリ
ングファクタでダウンサンプリングするときに、入力画
像内の一部のラインまたは列は出力ピクセルを計算する
ためにはまったく使用されない。したがって、これらの
ラインまたは列は出力に何の影響も与えずに、効果的に
ドロップされる。すべての入力ピクセルが出力画像に影
響を与えることを保証するために、入力画像をプレフィ
ルタリングした後にダウンサンプリングする必要があ
る。このプレフィルタリングおよびダウンサンプリング
のプロセスによって、1/4未満のスケーリングファク
タでダウンサンプリングする場合に、決して3次たたみ
込みカーネルだけが使用されることのないように保証さ
れる。
【0028】図2は、本実施形態に従った前処理および
初期化ステップを示すフローチャートである。このプロ
セスは、ステップ201の、ダウンスケーリングレート
をチェックするための決定ブロックで始まる。1/4未
満のスケーリングファクタでダウンサンプリングする場
合、出力画像は入力画像よりもかなり小さいため、ステ
ップ203で複雑なプレフィルタを使用する必要がな
い。好ましい方法は、単に矩形の入力ウィンドウサイズ
に渡るピクセルの平均をとる、ボックスカー(box-car,
すなわち矩形)のプレフィルタを使用することが好ま
しい。表1は、本実施形態によって処理されるスケーリ
ングファクタの範囲に渡る、好ましいボックスカープレ
フィルタのサイズを示す。サイズは、行または列に沿っ
て別々に指定できることが好ましい。
【0029】
【表1】
【0030】プロセスはステップ205に続き、入力画
像がYUV画像であるかどうかを判別するためにチェッ
クが実行される。YUV画像の場合は、Yチャネルが直
接使用され、RGB画像の場合は、ステップ207で、
好ましくはYUVに定義された輝度に対する有理近似(r
ational approximation)を使用して擬似輝度チャネル
(Y’)が作成される。プロセスはステップ209に続
き、入力画像がインターレースされるかどうかを判別す
るためのチェックが実行される。入力画像がインターレ
ースされる場合、それぞれのカラーチャネル(Y’を含
む)はステップ211でインターレース解除される。輝
度画像から作成されたカーネル選択マップを使用して、
3つの入力チャネルがすべて、RGB形式かYUV形式
かにかかわらず補間される。クロミナンスチャネル上で
カーネル選択マップを使用する必要はないと思われるこ
とがある。人間の視覚器官は、クロミナンスよりも輝度
の空間的変化に対して敏感なので、従来の3次補間で十
分であると思われる。ただし、簡単に実施するため、な
らびに特にコンピュータグラフィックスおよびテキスト
画像上で誤ったカラーを生成しないことを保証するため
に、すべての入力(RGBまたはYUV)チャネル上で
まったく同じ補間カーネルが使用される。
【0031】エッジの検出 図3は、本実施形態に従った、EdgeMapへのエッ
ジ強さの割振り、エッジマップクリーニング、および拡
張(図1のステップ111および113)を示すフロー
チャートである。輝度画像内のエッジは、以下に示すよ
うに、3×3ピクセル近傍に渡る単純なピクセル差分演
算子を使用して検出される。
【0032】
【数14】
【0033】プロセスはステップ302から始まり、そ
れぞれ中心ピクセルはY0であり、値Cは
【0034】
【数15】 のように計算されてしきい値Teと比較され、この式で
iは中心ピクセルY0に最も近接する8個のピクセルの
インデックスである。次のステップ304では、値Cが
しきい値Teよりも大きいか等しいかを判別するための
チェックが実行される。値Cがしきい値Teよりも大き
い場合、ピクセルY0はエッジピクセルとしてラベル付
けされる。プロセスはステップ306から318まで続
き、EdgeMapへのエッジ強さの割振りが実行され
る。EdgeMapへのエッジ強さの割振りは、以下の
数式のように実行されることが好ましい。
【0035】
【数16】
【0036】図3に示されたプロセスは、画像内のすべ
てのエッジを確実に検出する、非線形エッジ検出フィル
タとしての働きをする。このフィルタは、単一のピクセ
ル幅エッジへのゼロ応答を有する奇数長さの線形フィル
タと、オリジナルピクセルの中程のエッジ強さを効果的
に測定する偶数長さフィルタの、どちらよりも優れてい
ることがわかっている。本発明に従った好ましいしきい
値は、Te=64、Te 1=128、およびTe2=192
である。フィルタは、画像内のエッジとして知覚される
ピクセル差分を検出し、より滑らかに変化する強度勾配
も検出する。以下に記述する続くエッジマップクリーニ
ングプロセスの場合、EdgeMapに任意の非ゼロを
入力すると、形態演算中にエッジとして効果的に処理さ
れる。
【0037】エッジ検出クリーニング エッジ領域を補間する場合、短い補間カーネル(たとえ
ば2×2)が使用されることが多く、エッジなし(平滑
な)領域では、それよりも長い補間カーネル(たとえば
4×4)が使用される。平滑領域で使用される長いカー
ネルがエッジピクセルによって確実に汚染されないよう
にするためには、エッジに隣接する2つのピクセルをエ
ッジピクセルとしてマーク付けする必要がある。本実施
形態では、ステップ320で、以下の数式のように3×
3構造化要素を備えた形態拡張を使用する。
【0038】
【数17】
【0039】さらに、画像内のノイズによって発生する
可能性のある小さな分離されたエッジを取り除くため、
および2つの隣接するエッジ部分を結びつける任意の部
分を埋めるために、ステップ322および324でそれ
ぞれ、形態的なオープニング(浸食とその後に続く拡
張)とその後に続くクロージング(拡張とその後に続く
オープニング)を画像上で実行する。オープニングおよ
びクロージングは、4×4構造化要素によって以下の数
式のように実行されることが好ましい。
【0040】
【数18】
【0041】エッジ方向検出 EdgeMapで検出されたエッジに関連付けられる方
向は、図1のステップ115で決定される。図4は、エ
ッジ方向フィルタおよび後続のエッジ角度量子化を適用
することで、ステップ115をさらに詳しく示した図で
ある。方向は、それぞれステップ401および402
で、水平方向および垂直方向両方のエッジ応答を測定す
るために別々に適用された、2つの1次元フィルタを使
用して検出される。フィルタは、低域補間フィルタおよ
び高域1次導関数フィルタからなることが好ましい。高
域フィルタが画像の行に沿って適用され、低域フィルタ
が列に下方向に適用された場合、水平方向のエッジ強さ
が計算され、Ghとして表される。低域フィルタが行に
沿って適用され、高域フィルタが列に下方向に適用され
た場合、垂直方向のエッジ強さが計算され、Gvとして
表される。他の一実施形態では、エッジを検出するのに
使用されるフィルタは、3タップの最適エッジ検出器で
ある。他の一実施形態では、エッジ検出フィルタは、性
能低下が最小限の上記最適フィルタの有理近似である。
hおよびGvを形成するために第1実施形態で使用され
る係数を、表2に示す。有理近似フィルタは、エッジ検
出で一般的に使用されるソーベル演算子と等価であるこ
とに留意されたい。
【0042】
【表2】
【0043】次のステップ403では、以下の数式を使
用して、垂直および水平方向のエッジ強さからエッジ方
向Gθが計算される。
【0044】
【数19】
【0045】プロセスはステップ405から419に続
き、エッジ方向Gθが、水平(0)、斜行(π/4)、
垂直(π/2)、および反斜行(3π/4)の4方向の
うちの1つに量子化される。好ましい実施形態に従った
好ましいエッジ角度量子化は、表3に示される。他の実
施形態では、逆正接および角度量子化が、GhおよびGv
にインデックス付けされた単一のテーブル検索処理(tab
le look up operation)に置き換えられる。
【0046】
【表3】
【0047】エッジ方向クリーニング 図5は、好ましい実施形態に従った、エッジ方向マップ
クリーニングのプロセスを示すフローチャートである。
4つのエッジ方向それぞれに対応する4つのバイナリマ
ップが作成された後には、小さな領域を取り除き、隣接
する領域を接続するためのクリーニングが必要である。
このクリーニングは、形態オープニングとそれに続くク
ロージングというバイナリ形態演算を使用して、それぞ
れステップ501および503で実行される。両方の演
算は、好ましい実施形態に従って、以下の数式のような
(2×2)構造化要素で実行される。
【0048】
【数20】
【0049】次のステップ505では、形態浸食演算(m
orphological erosion operation)が実行される。浸食
演算は、任意のエッジフェーディングまたはオーバーシ
ュートを減らすため、ならびに同じ方向の他のエッジピ
クセルに隣接するエッジピクセル上で、方向補間のみが
確実に実行できるようにするために実行される。形態浸
食演算は、構造化要素内のすべての非ゼロ要素が画像内
の非ゼロ要素と整合する場合にのみ、中央ピクセルを非
ゼロとしてマーク付けする。水平エッジマップ画像の場
合、以下の数式の構造化要素を使用することが好まし
い。
【0050】
【数21】
【0051】上記の構造化要素を使用すると、水平エッ
ジピクセルがその左右両方に水平エッジピクセルを有す
る場合のみ、水平エッジマップに非ゼロが出力される。
浸食演算は、適切な方向構造化要素を備えた、残りのす
べてのエッジ方向マップに適用される。斜行(π/4)
エッジの場合、
【0052】
【数22】 の構造化要素を使用することが好ましい。垂直(π/
2)エッジの場合、
【0053】
【数23】 の構造化要素を使用することが好ましい。最後に反斜行
(3π/4)エッジの場合、以下の数式の構造化要素を
使用することが好ましい。
【0054】
【数24】
【0055】非有向エッジ(non-directed edg) 図6は、本実施形態に従って、非有向エッジがどのよう
に決定されるのかを示すフローチャートである。それぞ
れ方向構造化要素を備えた上記浸食演算は、たとえばコ
ーナーで2方向のエッジ間にある境界、または長さが3
ピクセル未満のエッジ上など、エッジピクセルが近傍に
よってサポートされていないエッジ方向マップから、ピ
クセルを効果的に除去する。その結果生じるピクセル
は、エッジとしてマーク付けされるが、エッジ方向には
関連付けられない。ステップ603では、ステップ60
1で決定されたエッジ方向に関連付けられないピクセル
が、以下の数式の論理演算を使用して、ショートエッジ
ピクセルとしてマーク付けされる。
【0056】
【数25】
【0057】カーネル選択マップ生成 図7は、本発明の好ましい実施形態に従って、カーネル
選択マップを形成するLUTインデックスの作成を示す
フローチャートである。5つのバイナリエッジマップ
(HorizEdge、DiagEdge、VertE
dge、AntidiagEdge、およびShort
Edge)があり、輝度画像内の各ピクセルについて、
それぞれ有向エッジおよび非有向(すなわちショート)
エッジの位置を示す。5つのバイナリエッジマップはエ
ッジ強さ情報(EdgeMap)と共にカーネル選択マ
ップを形成し、これが入力画像の補間に使用される。輝
度画像Y内の各ピクセルについてのプロセスがステップ
701から始まり、オフセットが初期化される。次のス
テップ703では、輝度画像内のピクセルに関するエッ
ジ強さ情報を指すインデックスポインタが初期化され
る。プロセスはステップ705から723に続き、それ
ぞれのバイナリエッジマップがどんな値に設定されてい
るかによって、それぞれのピクセルのバイナリエッジマ
ップがオフセット値に関連付けられる。次のステップ7
25では、それぞれのピクセルのカーネル選択マップ値
が、以下の数式に従って計算される。
【0058】
【数26】
【0059】カーネル選択マップは、パラメータの適切
なセットをユニバーサル3次カーネルに適用するために
効果的に定義するので、それぞれの出力ピクセルを生成
するときに、適切に形状化された補間カーネルが使用さ
れる。好適には、カーネル選択マップにはカーネルLU
Tへのインデックスが含まれる。
【0060】クリーニングされたカーネル選択マップの
出力解像度へのマッピング 最近隣(NN)マッピング機能は、本発明の好ましい実
施形態に従って要求された出力解像度でカーネル選択マ
ップを取得する際に使用されることが好ましい。NNマ
ッピングは、出力画像の品質を大幅に低下させることな
く、線形マッピング機能などのより複雑なマッピング機
能に関連付けられた計算コストを削減するために使用さ
れる。
【0061】出力画像を取得するためのカーネル選択マ
ップに基づく補間カーネルの適用 図7に示されたように、各出力ピクセルパラメータにつ
いてカーネル選択マップが生成された後、このカーネル
選択マップから1つの「ユニバーサル」カーネルの値が
読み取られ、この「ユニバーサル」カーネルがそれぞれ
の出力ピクセルについて評価される。好ましい実施形態
に従ったユニバーサル3次補間カーネルは、
【0062】
【数27】 のように定義され、これらの式で、横方向エッジの重み
付け因数として知られるw(θ)は、θ=0、π/2、お
よびπのときは1を通り、θ=π/4および3π/4の
ときは3/2を通るように拘束された平滑平滑関数であ
る。好ましい実施形態に従った重み付け因数は、
【0063】
【数28】 のように定義される。1つの次元では(すなわち行/列
あるいはエッジを横切る/エッジに沿ったカーネルのい
ずれか)、
【0064】
【数29】 によって、修正された3次補間カーネル、h(s)が与え
られ、この式でcおよびbはキャットマル・ロム3次式
の2つのパラメータであり、dは3次補間カーネルの
「不感帯」の幅を制御するパラメータである。図25お
よび図26は、本発明の好ましい実施形態に従って、そ
れぞれこのカーネルパラメータcおよびdを、エッジ強
さ対スケーリングファクタの関数として示すグラフであ
る。これらグラフでのcおよびdの値は例示的なもので
あり、本発明の範囲および意図を逸脱することなく、修
正および/または変更を加えることができる。
【0065】本実施形態において、カーネル選択マップ
にはカーネルLUTへのインデックスが含まれ、カーネ
ルLUTにはユーザが定義する補間カーネルが含まれ
る。LUTは、ユーザが、異なるスケーリングファクタ
に対して異なるカーネルセットを使用できるようにする
ものである。
【0066】本発明の他の実施形態では、有理分数に関
してスケーリングファクタが指定される。たとえば、6
40×480 VGA画像を1024×768 XVG
A画像に変換するには、1.6のスケーリングファクタ
が必要であり、これは分数で表すと8/5である。再サ
ンプリング分数の分子はアップサンプルレートと呼ば
れ、分母はダウンサンプルレートと呼ばれる。ユニバー
サル3次カーネル、または任意の他の連続カーネルの係
数を計算するのに使用されるサンプル距離は、k出力ピ
クセルごとに繰り返されるため、ここでkはダウンサン
プルレートであって、必要なカーネル係数は、所与のダ
ウンサンプルレートについてあらかじめ計算されること
が好ましく、LUTに格納されることが好ましい。
【0067】4×4係数の正しいセットが、カーネル選
択マップによって指定されたカーネルならびに水平距離
および垂直距離について評価された(またはカーネルL
UTから読み取られた)後、この係数は4×4入力ピク
セルの対応するセットでたたみ込まれる。
【0068】ダウンサンプリングオフセットの計算 本発明の他の実施形態に従って、ダウンサンプリング時
に、出力サンプルポイントがどんな入力サンプルポイン
トにも重ならないことを保証するために、最適な水平お
よび垂直のサンプリングオフセットが計算される。他の
実施形態の好ましい方法では、カーネル係数を計算する
ときに、サンプリング距離の1/2のオフセットを、垂
直および水平のサンプリング距離に追加する。ただし、
出力グリッドポイントが正確に2つの入力グリッドポイ
ントの中央にある場合、オフセットは2つの出力グリッ
ドポイント間の距離の半分になるように計算される。オ
フセットは、ダウンサンプリング時に、補間された値が
決してオリジナルポイントを通過しないことを保証する
ので、常に低域フィルタリングが適用される。他の実施
形態に従った好ましい方法は、1/2、1/3、1/4
などの有理ダウンサンプリング因数での3次補間性能を
大幅に向上させ、他のダウンサンプリングレートでの性
能をわずかに向上させる。
【0069】最適なオフセットは、以下に示すCコード
に従って計算されることが好ましい。
【0070】
【化1】
【0071】ローカル出力のクランピング 図8は、本発明の他の一実施形態に従ったローカルカラ
ークランピングを利用した、補間方法を示すフローチャ
ートである。他の実施形態に従った、ユニバーサル3次
カーネルを使用した補間には、(4×4)カーネル係数
の1セットおよび対応する4×4入力ピクセル値セット
が必要である。好ましい実施形態の補間プロセス中に発
生する可能性のあるどんなリンギングの影響(すなわ
ち、鮮明なエッジ上のオーバーシュートまたはアンダー
シュート)も減らすために、補間中にローカル出力クラ
ンピングの方法を適用することができる。プロセスはス
テップ801から始まり、3×16ピクセルまでのすべ
てのカラーチャネルにおける入力ピクセルのローカル最
大値および最小値が計算される。次いで、各色平面内
で、各出力ピクセルOpについて後続ステップが実行さ
れる。次のステップ803では、1つの「ユニバーサ
ル」カーネルの値がカーネル選択マップから読み取られ
る。プロセスはステップ805へ続き、カーネルLUT
から4×4係数が読み取られ、「ユニバーサル」カーネ
ルがそれぞれの出力ピクセルについて評価されるか、ま
たはカーネルLUTから読み取られる。次のステップ8
07では、対応する4×4入力ピクセル値がアクセスさ
れる。プロセスは次のステップ809へ続き、(4×
4)入力ピクセル値が対応するカーネルでたたみ込まれ
る。次のステップ811では、4×4入力ピクセルカラ
ー値のセット内で、カラー数もカウントされる。セット
内のカラー数が一定のしきい値よりも小さい場合、およ
び補間された出力ピクセル値がローカル最大値よりも大
きい場合は、ステップ813で出力値がローカル最大値
に置き換えられる。好ましいしきい値は8に等しく、こ
れが任意のリンギングの人為的結果が最も顕著な平滑領
域に隣接するエッジを検出する。あるいは、プロセスは
ステップ815に続き、セット内のカラー数がしきい値
よりも小さく、計算された出力値がローカル最小値より
も少ない場合、ステップ817で出力値がローカル最小
値に置き換えられる。そうでなければ、出力は画像全体
について、最大ピクセル値と最小ピクセル値との間でク
ランプされる。他の実施形態では、すべてのカラーチャ
ネルに渡ってローカル最大値および最小値が計算され、
その結果1つの(主要)カラーの鮮明なエッジ周囲で、
リンギングの着色またはカラーのにじみを防止すること
ができる。
【0072】前述のカラークランピング方法は、どのよ
うなフィルタリングプロセスにも適用できる。たとえ
ば、前述のカラークランピングプロセスは、画像を鮮明
にする(すなわち向上させる)プロセスに適用できる。
【0073】 上記で論じた好ましい実施形態の記述を例示するため
に、図9の2次画像では、各プロセスの結果生じる出力
を示す。図9Aは、オリジナルの「mailbox」の
画像を示す。図9Bは、オリジナルの「mailbo
x」から作成したEdgeMap画像を、C>Teのバ
イナリ画像として示す。画像内のすべての突出したエッ
ジ部分を確実に検出するために、非線形フィルタが示さ
れている。図9Cは、Se_3を使用して形態拡張した後
のEdgeMap画像を示す。この拡張では、実際のエ
ッジから2ピクセル未満離れたピクセルがエッジとして
マークされるように、EdgeMapの境界を拡張す
る。図9Dは、Se_4を使用して形態的なオープニング
およびクロージングを実行した後の、EdgeMap画
像を示す。オープニングおよびクロージング処理では、
それぞれ、4×4サイズ未満のどんなエッジ部分も除去
し、4×4サイズ未満の非エッジ部分を埋める。したが
って、ノイズおよび隣接するエッジ部分を埋めるかまた
は接続することによって生じる可能性のある小さなエッ
ジ部分が取り除かれる。図9Eは、クリーニング済みの
EdgeMapに含まれる水平エッジ、ならびに表2に
定義されたように水平方向および垂直方向のエッジ強さ
を測定することによって計算されたエッジ角度の量子化
を示す図である。図9Fは、クリーニング済みのEdg
eMapに含まれる斜行エッジを示す図である。図9G
は、クリーニング済みのEdgeMapに含まれる垂直
エッジを示す図である。図9Hは、クリーニング済みの
EdgeMapに含まれる反斜行エッジを示す図であ
る。図9Iは、HorizEdge画像、すなわちロー
カル近傍によってサポートされた水平エッジを含むクリ
ーニング済みのEdgeMap内の部分を示す図であ
る。水平エッジは、形態的なオープニングおよびクロー
ジングでクリーニングし、同じ方向のエッジに隣接して
いないエッジピクセルを除去するための方向的な浸食が
実行された後のものが示されている。図9Jは、Dia
gEdge画像、すなわちローカル近傍によってサポー
トされた斜行エッジを含むクリーニング済みのEdge
Map内の部分を示す図である。図9Kは、VertE
dge画像、すなわちローカル近傍によってサポートさ
れた垂直エッジを含むクリーニング済みのEdgeMa
p内の部分を示す図である。図9Lは、Antidia
gEdge画像、すなわちローカル近傍によってサポー
トされた反斜行エッジを含むクリーニング済みのEdg
eMap内の部分を示す図である。図9Mは、Shor
tEdge画像、すなわちサポートされていないショー
トエッジを含むクリーニング済みのEdgeMap内の
部分を示す図である。ショートエッジは、水平、斜行、
垂直、または反斜行のいずれのエッジマップにも含まれ
ない、EdgeMap内のエッジとなるように定義され
る。図9Nは、オリジナル画像のどの部分でどの補間カ
ーネルが使用されているかを示す、カーネル選択マップ
を示す図である。カラー割当ては、以下のとおりであ
る。
【0074】・黒=平滑(Edgemap=0) ・白=非有向エッジ(ShortEdge=1) ・赤=水平エッジ(HorizEdge=1) ・黄=斜行エッジ(DiagEdge=1) ・青=垂直エッジ(VertEdge=1) ・緑=反斜行エッジ(AntidiagEdge=1) 注:簡略化するために、最終的なカーネル選択マップに
は4つの異なるエッジ強さが表示されておらず、すなわ
ち最終カーネル選択マップは、2つのエッジ強さのみを
有する(EdgeMap=[0,1])効果的なカーネ
ル選択マップである。
【0075】前述の好ましい方法は、特定の制御流れを
備える。この好ましい方法には、本発明の精神または範
囲を逸脱することなく、異なる制御流れを使用する数多
くの他の変形形態がある。さらに、この好ましい方法の
1つまたは複数のステップを、連続的にではなく平行し
て実行することができる。
【0076】画像補間の方法は、図10に示されるよう
な従来の汎用コンピュータシステム1000を使用して
実施されることが好ましく、図1から図8のプロセス
は、コンピュータシステム1000内で実行されるアプ
リケーションプログラムなどのソフトウェアとして実施
することができる。具体的に言えば、画像補間方法のス
テップは、コンピュータが実行するソフトウェア内の命
令によって実施される。ソフトウェアは、画像補間方法
を実行するための部分と、この部分とユーザとの間でユ
ーザインターフェースを管理するためのもう1つの部分
との、2つの異なる部分に分けることができる。ソフト
ウェアは、たとえば、以下に記載する記憶装置を含む、
コンピュータ可読媒体に格納することができる。ソフト
ウェアは、コンピュータ可読媒体からコンピュータ内に
ロードされ、その後コンピュータによって実行される。
こうしたソフトウェアまたはコンピュータプログラムが
それに記録されているコンピュータ可読媒体が、コンピ
ュータプログラム製品である。コンピュータ内でこのコ
ンピュータプログラム製品を使用して、本発明の実施形
態に従った画像補間を行うための有利な装置を実施する
ことが好ましい。
【0077】コンピュータシステム1000は、コンピ
ュータモジュール1001、キーボード1002および
マウス1003などの入力装置、プリンタ1015およ
びディスプレイ装置1014を含む出力装置を備える。
変復調装置(モデム)送受信装置1016は、コンピュ
ータモジュール1001が通信ネットワーク1020と
の間で相互に通信を行うために使用するものであり、た
とえば電話回線1021または他の機能媒体を介して接
続可能である。モデム1016を使用して、インターネ
ット、およびローカルエリアネットワーク(LAN)ま
たはワイドエリアネットワーク(WAN)などの他のネ
ットワークシステムへのアクセスを得ることができる。
【0078】コンピュータモジュール1001は、典型
的には、少なくとも1つのプロセッサユニット1005
と、たとえば半導体を利用したランダムアクセスメモリ
(RAM)および読出し専用メモリ(ROM)で形成さ
れるメモリユニット1006と、ビデオインターフェー
ス1007を含む入出力(I/O)インターフェース
と、キーボード1002およびマウス1003用ならび
に任意選択でジョイスティック(図示せず)用のI/O
インターフェース1013と、モデム1016用のイン
ターフェース1008とを備える。記憶装置1009が
提供され、典型的にはハードディスクドライブ1010
およびフロッピィディスクドライブ1011を備える。
磁気テープドライブ(図示せず)を使用することもでき
る。典型的には不揮発性データソースとしてCD−RO
Mドライブ1012が提供される。コンピュータモジュ
ール1001の構成要素1005から1013は、典型
的には相互接続されたバス1004を介して、関連分野
の技術者に知られているコンピュータシステム1000
の従来の処理モードが結果的に得られる方法で通信す
る。実施形態が実施できるコンピュータの例には、IB
M−PCおよびその互換機、Sun Sparcsta
tionまたはこれから発展した同様のコンピュータシ
ステムが含まれる。
【0079】典型的には、好ましい実施形態のアプリケ
ーションプログラムは、ハードディスクドライブ101
0に常駐し、その実行中にプロセッサ1005によって
読み取られ、制御される。プログラムおよびネットワー
ク1020から取り込まれた任意のデータの中間記憶領
域は、半導体メモリ1006を使用し、おそらくはハー
ドディスクドライブ1010と協力して達成することが
できる。CD−ROMまたはフロッピィディスク上に符
号化され、対応するドライブ1012または1011を
介して読み取ることができるか、あるいはユーザがモデ
ム装置1016を介してネットワーク1020から読み
取ることができるアプリケーションプログラムを、ユー
ザに供給することができる場合もある。さらに、磁気テ
ープ、ROMまたは集積回路、光磁気ディスク、コンピ
ュータモジュール1001と他の装置との間を結ぶ無線
または赤外線の伝送チャネル、PCMCIAカードなど
のコンピュータ可読カード、ならびに電子メール伝送お
よびウェブサイトなどに記録された情報を含むインター
ネットおよびイントラネットを含む、他のコンピュータ
可読媒体から、コンピュータシステム1000にソフト
ウェアをロードすることもできる。前述の内容は、関連
するコンピュータ可読媒体の単なる例である。本発明の
範囲および精神を逸脱することなく、他のコンピュータ
可読媒体を実施することもできる。
【0080】画像補間方法は、別法として、図1から図
8の機能または2次機能を実行する1つまたは複数の集
積回路などの専用ハードウェア内で実施することができ
る。このような専用ハードウェアは、グラフィックプロ
セッサ、デジタル信号プロセッサ、あるいは1つまたは
複数のマイクロプロセッサおよび関連付けられたメモリ
を含むことができる。ここで、前述の実施形態に従って
画像補間方法を実行するための好ましいハードウェアア
ーキテクチャについて説明する。
【0081】図11は、好ましいハードウェアアーキテ
クチャ1103(以後「RCチップ」と呼ぶ)を示す図
であって、これはDTVシステムで使用されることが好
ましい。MPEG復号器1102は、圧縮されたビデオ
画像データを外部ソース(図示せず)から受け入れ、そ
のデータを圧縮解除する。たとえば、コンピュータシス
テム1000のプロセッサ1005は、圧縮されたビデ
オ画像データをMPEG復号器1102に供給すること
ができる。この画像データはRGBまたはYUVいずれ
かの形式であって、その後RCチップ1103に送ら
れ、必要であれば、インターレース解除、フレームレー
ト変換、空間再サンプリング、およびカラー補正を実行
する。RCチップ1103は入力画像のフレームを、組
込みDRAM1101または何らかの外部SDRAMフ
レームバッファ1105に格納することができる。その
後出力画像は、出力が標準精細度(SD)の場合は表面
放射ディスプレイ(SED)1107、あるいは出力が
高精細度の場合は高精細度プラズマディスプレイ(PD
P)1109に送られる。MPEG復号器1102およ
びRCチップ1103は、どちらもホストCPU111
1によって構成されることが好ましい。
【0082】図12Aおよび図12Bは、好ましい実施
形態に従って画像補間方法を実行するための、RCチッ
プ1103のハードウェアアーキテクチャを示す図であ
る。通常の処理を行う前に、RCチップ1103はシリ
アルROM1201によって、またはPCIインターフ
ェース1200を介してホストCPU1111によって
初期化される必要がある。RCチップ1103では、任
意の好適なマイクロプロセッサインターフェースを使用
することができる。ホストCPU1111は、カーネル
係数をカーネル係数テーブル1227に書き込み、出力
の幅および高さならびに出力時間ステップを出力画像情
報に書き込み、PCIインターフェース1200を介し
てRCチップ1103のすべてのモジュール1203か
ら1255内に、様々なレジスタをセットアップする。
【0083】ピクセルデータがRCチップ1103に達
すると、ビデオインターフェースコントローラ(VI
C)1205はピクセルデータを受け入れ、このデータ
を組込みフレームバッファ1203に書き込む。あるい
は、フレームバッファ1203は外部型であってもよ
い。同時に、ピクセルは、システムクロック速度で組込
みフレームバッファ1205から読み取られる。次いで
ピクセルは、補間モジュール(1207、1227、1
229、および1231)またはエッジ検出モジュール
(1209から1225)のいずれかに進む。エッジ強
さ計算器(ESC)1211は3×3の近傍を使用して
すべての入力ピクセルのエッジ強さを計算し、エッジ方
向計算器(EDC)1209はエッジが存在する場所で
のエッジの方向を決定する。エッジ強さ計算器1211
およびエッジ方向計算器1209の出力は、どちらも、
形態モジュール1211、1217、1219、122
1、1223、および1225内で何らかの形態クリー
ニング処理が実施される。エッジ検出結果は、カーネル
セレクタ(KS)1213内で結合され、カーネル選択
マップ(KSM)1215に格納される。
【0084】カーネル選択マップ1215が生成された
後、補間ライン格納マネージャ(ILSM)1207が
フレームバッファ1203からのピクセル読取りを開始
する。カーネル係数計算器(KCE)1229は、カー
ネル選択マップ1215からカーネルタイプを読み取
り、KCC1229はその情報を使用して、カーネル係
数テーブル1227からカーネル係数を読み取る。次い
でカーネル係数は補間装置1231内で入力画像ピクセ
ルと掛け合わされる。補間装置1231の出力は、必要
であればカラー空間変換装置1233内で他のカラー空
間に変換される。出力シンクロナイザ1235は、カラ
ー空間変換装置(CSC)1233から出力ピクセルの
1ラインを収集し、次いで、これを出力ピクセルクロッ
ク(図示せず)速度で出力する。出力タイミング信号生
成装置1237は、出力ディスプレイの要求に応じて、
出力ライン同期およびページ同期信号を生成する。
【0085】以下の項では、前述の機能を実行するため
に、図3の様々なブロックがどのように実施されるかに
ついて詳細に説明する。さらに以下の項では、好ましい
ハードウェアアーキテクチャに必要な、いくつかのメモ
リ要件およびクロック速度についても論じる。
【0086】ビデオインターフェースコントローラ(V
IC)1205は、画像ソース(たとえばMPEG復号
器)からピクセルデータを受け取る役割を担う。VIC
1205は、このピクセルデータに適切なアドレスを付
けて、組込み(または外部型)フレームバッファ120
3に書き込む。このピクセルデータは、ライン同期信号
およびページ同期信号の両方が、入力ピクセルクロック
(図示せず)の立上りエッジでアサートされるときに有
効であると考えられる。ライン同期およびページ同期双
方の極性はプログラム可能である。VIC1205は、
入力ピクセルクロックと同期している。必要であれば、
VIC1205は、アナログ画像データをデジタル形式
に変換するためのアナログ/デジタル変換器(ADC)
を備えることができる。様々な構成要素と複合信号とを
分けるために、櫛形フィルタのようなフィルタを追加す
ることができる。入力画像がインターレースされるとき
に、VIC1205は画像をインターリーブ方式で格納
する。フレームの奇数フィールドからのピクセルだけが
フレームバッファ1203の奇数ラインに進み、偶数フ
ィールドからは偶数ラインに進む。
【0087】VIC1205は、入力画像の幅および高
さを決定する役割も担う。VIC1205が画像ソース
から第1のフレームを受け取ると、VIC1205はピ
クセルクロック、ライン同期信号、およびページ同期信
号を使用して、ライン内のアクティブなピクセル数およ
びページ内のアクティブなライン数をカウントする。カ
ウントの結果は、スケーリングファクタ計算器1239
に送られる。演算の間、現在の画像の幅および高さは、
以前の幅および高さと常時照らし合わされる。相違が検
出された場合、その変更を反映するために、新しいスケ
ーリングファクタが計算される。現在の画像の幅および
高さを調べて、新しいスケーリングファクタを計算する
この機能によって、入力画像は自動的に出力ディスプレ
イに最適化され、ユーザはシームレスな方法で画像ソー
スを切り換えることができるようになる。ズームモード
では、VIC1205は出力画像を作成するのに必要な
ピクセルのみを受け入れ、これによってVIC1205
がフレームバッファコントローラ(FBC)1241に
対して生成する書込み要求の数および必要な記憶域が削
減される。
【0088】フレームバッファコントローラ1241
は、ビデオインターフェースコントローラ1205およ
びピクセル抽出装置1243からのフレームバッファ1
203要求を処理する役割を担う。フレームバッファコ
ントローラ1241は、ビデオインターフェースコント
ローラ1205およびピクセル抽出装置1243双方か
らの読取りおよび書込み要求を収集し、フレームバッフ
ァ1203へのバースト読取りおよび書込み処理を実行
する。FBC1241は、内部バス要求信号をDRAM
インターフェース信号に変換するための、DRAMイン
ターフェース(図示せず)および論理を含む。FBC1
241は、読取りおよび書込みデータを収集するため
の、読取りおよび書込みデータFIFO(図示せず)も
有する。書込み回路構成は入力ピクセルクロックと同期
しており、読取り回路構成は主システムクロック(図示
せず)と同期している。
【0089】フレームバッファ1203をチップ内に組
み込むことができない場合、フレームバッファ1203
はチップ外部で実施可能であり、FBC1241は外部
SDRAMインターフェース(図示せず)に置き換える
ことができる。FBC1241の他の機能性は同様に維
持される。FBC1241は最近隣のフレームレート変
換を実施するために、フレームバッファ1245と12
47とを切り換える役割も担う。FBC1241はユー
ザから、入力フレームレートと出力フレームレートの比
率を表す、時間ステップ値を受け入れる。FBC124
1には時間カウンタ(図示せず)が含まれ、これはRC
チップ1103がリセットされたときに0にリセットさ
れ、RCチップ1103がフレームを出力するときには
必ず、時間ステップ値ずつ増分される。FBC1241
は、時間カウンタの内容によって、フレームバッファ1
203内で次にどの入力フレームが補間されるかを決定
する。
【0090】時間ステップ値が1未満(すなわち入力フ
レームレートが出力フレームレートよりも遅い)の場
合、一部のフレームを複製する必要がある。次に読み取
られるフレームバッファは、時間カウンタの整数部分に
よって決定される。時間カウンタの整数部分(切り捨て
後)が偶数である場合、FBC1241はフレームバッ
ファ0(1245)から読み取る。それ以外の場合は、
フレームバッファ1から読み取る。FBC1241が1
つのフレームバッファから読み取られているときに、書
込み回路構成は他のフレームバッファのみに書込みを行
う。
【0091】時間ステップ値が1よりも大きい(すなわ
ち入力フレームレートが出力フレームレートよりも速
い)場合、一部の入力フレームをドロップする必要があ
る。1つの入力フレームがフレームバッファ1245ま
たは1247のうちの1つに書き込まれるときに、時間
カウンタはステップ値だけ増分される。次に必要とされ
るフレームが現在のフレームの直後のフレームでない
と、そのフレームの内容はドロップされる。プロセス
は、必要とされるフレームに達するまで続行される。次
に必要とされるフレームは、時間カウンタの整数部分
(切り捨て後)によって決定される。FBC1241
は、1クロックサイクル中で、平均して1ピクセルを書
き込み、2ピクセルを読み取ることができる。
【0092】組込みフレームバッファ1203は、現在
入力されているフレームをその2つのフレームバッファ
1245または1247の1つに格納し、残りのRCチ
ップ1103が他方のフレームバッファ内で前のフレー
ムの解像度変換を実行できるようにする、「ピンポン(p
ing-pong)」バッファである。ピンポンバッファの切替
えについては、以下の項で説明する。2つのフレームバ
ッファ1245および1247のサイズは、入力画像の
最大解像度によって異なる。入力画像の最大解像度が高
精細度(HD)TVのそれである場合、フレームバッフ
ァのサイズは、3チャネルRGBピクセルについて、2
×2048×1080×24ビット(すなわち約100
Mビット)である。このサイズは、入力が4:2:0Y
UVの場合は64Mビットまで減少する。あるいは、フ
レームバッファは外部SRAM(たとえばPC133
SRAM)を使用して実施することができる。ピンは外
部SRAMインターフェース用に割り振られる必要があ
る。
【0093】フレームバッファ1203のアクセス時間
は、残りの論理の処理速度を十分にサポートできるほど
短いものである必要があり、これは、入力ピクセルレー
トおよび主システムクロックの周波数によって異なる。
最大入力レートが60HzでインターレースされるHD
TVからのものである場合、入力ピクセルクロックのレ
ートは約60MHzとなる。1サイクル当たり平均2ピ
クセルの読取りおよび1ピクセルの書込みをサポートす
るには、180Mピクセル/秒のメモリ帯域幅が必要で
ある(すなわち540Mバイト/秒)。72ビット幅の
メモリバスでは、上述のメモリ帯域幅は毎秒6000万
回のアクセスということになり、これは、最もよく知ら
れた組込みDRAMモジュールまたは外部PC133
SRAMによって処理できる。
【0094】スケーリングファクタ計算器1239は、
水平および垂直の両方向の画像サイズ変更に関して、最
適なアップサンプリングレートおよびダウンサンプリン
グレートを求める役割を担う。最適なレートは、以下の
条件を満たしていなければならず、ここでwinおよびh
inはそれぞれ入力の幅および高さ、woutおよびhout
出力の幅および高さ、uphおよびdownhは最適な水
平方向のアップサンプリングレートおよびダウンサンプ
リングレート、ならびにupvおよびdownvは最適な
垂直方向のアップサンプリングレートおよびダウンサン
プリングレートである。
【0095】・uphは、一部の最大アップサンプリン
グレートよりも小さいかまたは等しい ・uph/downh−wout/winは、1と最大アップ
サンプリングレートとの間ですべてのuphについて最
も小さい ・upvは、一部の最大アップサンプリングレートより
も小さいかまたは等しい ・upv/downv−hout/hinは、1と最大アップ
サンプリングレートとの間ですべてのupvについて最
も小さい 以下の擬似コードは、好ましい実施形態に従って、スケ
ーリングファクタ計算器(SFC)1239内で最適の
アップサンプリングレートおよびダウンサンプリングレ
ートを求めるために実施できる。
【0096】
【化2】
【0097】SFC1239は、以下の特別なケースを
処理するのに必要である。
【0098】1.水平または垂直のスケーリングファク
タが1/4より小さい場合、ボックスカーフィルタセク
ション1249は、補間装置1231によってスケーリ
ングされる前に入力画像をプレフィルタリングするのに
使用される。前述のように、表1は、現在のアルゴリズ
ムによって処理されるスケーリングファクタの領域に渡
って使用される、好ましいボックスカープレフィルタの
サイズを示す。行または列方向のサイズは、別々に指定
することができる。
【0099】プレフィルタリングを行った後、実際の水
平および垂直のスケーリングファクタをそれに応じて修
正することができる。本発明に従って、ボックスカーフ
ィルタが使用されるときは、プレフィルタリングされた
画像上で3次補間のみが実行されることに留意された
い。エッジ検出は実行されず、ステアリング可能カーネ
ル(steerable kernel)は使用されない。画像品質は、3
次補間を実行することによってのみ低下するのではな
い。
【0100】2.入力画像がインターレースされ、垂直
スケーリングファクタが1/2より小さい場合、画像上
でインターレーシング解除は実行されず、代わりに垂直
方向のダウンサンプリングが半分になる。出力画像の品
質は再度低下せず、処理手順は大幅に簡略化される。イ
ンターレースされた画像にボックスカーフィルタリング
が適用されるとき、同じフィールド内のピクセルにだけ
適用されるものであって、インターレース解除は必要な
い。
【0101】3.水平スケーリングファクタが0.75
より小さい場合、水平方向のアップサンプリングレート
uphおよびダウンサンプリングレートdownhは2倍
になり、実際のスケーリングファクタuph/downh
は同じままである。サンプリングレートを2倍にする
と、再サンプリングされた出力ピクセルの計算にオフセ
ットを追加することが可能になり、これによって任意の
出力サンプルが任意のオリジナルサンプルと重なるのを
防ぐ。垂直スケーリングファクタが0.75より小さい
場合も、同じ手順が実行される。
【0102】最適な水平アップサンプリングおよびダウ
ンサンプリング率を計算するのに加えて、SFC123
9は最適な水平および垂直サンプリングオフセットも計
算する。これらのオフセットはどんな入力サンプルポイ
ントにも重ならないように出力サンプルポイントのxお
よびy座標に追加される。スケーリングファクタ(水平
または垂直)が0.75より小さい場合、オフセット
は、上述のように2つの入力サンプル間の距離の1/2
を表す、2つの入力サンプル間のアップサンプルポイン
トの数の半分として計算されることが好ましい。オフセ
ット自体が偶数の場合、オフセットからさらに1が減じ
られる。SFC1239は、主システムクロックと同期
するように実施される。
【0103】ピクセル抽出装置(PE)1243は、フ
レームバッファ1203から行ごとにピクセルを読み取
り、これをエッジ検出ライン格納マネージャ(EDLS
M)1209および補間ライン格納マネージャ(ILS
M)1207に送る。ピクセル抽出装置1243は、ラ
イン格納マネージャ1209および1207双方からの
機能停止信号(stall signal)に応答して、機能停止信号
がアサートされた後に、クロックサイクルでのピクセル
供給を停止する。FIFO(図示せず)はPE1243
内部に配置され、PE1243がフレームバッファ12
03からのバースト読取りを実行できるように、余分の
ピクセルをバッファリングする。
【0104】ライン格納マネージャ1209および12
07の双方がPE1243からのピクセルを要求してい
るときは、ラウンドロビン方式で処理されている。ただ
し、PE1243がライン格納マネージャ1207およ
び1209の双方に対して同時に、クロックサイクル当
たり1ピクセルを供給できるように、フレームバッファ
1203からのメモリ帯域幅が十分広くなければならな
い。PE1243がライン格納マネージャ1207およ
び1209の双方に供給する必要がある最大ピクセルレ
ートは、60HzでインターレースされるHDTVのピ
クセルレート(すなわち30×2048×1080ピク
セル/秒)で、毎秒約60Mピクセルである。したがっ
て、フレームバッファ1203からPE1243へのス
ループットは、少なくとも120Mピクセル/秒でなけ
ればならない。
【0105】PE1243は、フレームバッファ120
3からピクセルを正しく取り込むための、入力画像の幅
および高さをビデオインターフェースコントローラ12
05から取得する。さらにPE1243は、ライン格納
マネージャ1207および1209の双方について取り
込まれる最新ピクセルの位置を常時追跡する。入力がイ
ンターレースされると、PE1243はどのフィールド
から取り込まれたかを常時監視し、それに応じてフレー
ムバッファ1203にそのアドレスを生成する。
【0106】PE1243は、主システムクロックと同
期して実行される。入力画像がインターレースされ、垂
直スケーリング率が0.5より小さい場合、PE124
3は1フィールドのみからピクセルを取り込む。したが
って、補間は同じフィールド内のピクセルに対して実行
される。垂直スケーリング率が0.5よりも大きい場
合、奇数フィールドと偶数フィールドが一緒に、すなわ
ち奇数フィールドから1行、続いて偶数フィールドから
1行、またはその逆にインターリーブされることが好ま
しい。PE1243は入力ピクセルの輝度を探し、その
輝度をEDLSM1209に送る役割も担う。入力画像
がYUV形式の場合、PE1243はYチャネルをED
LSM1209に送るだけでよい。入力画像がRGB形
式の場合、PE1243は、以下の数式に定義したよう
な、YUVに定義された輝度の有理近似を使用して、輝
度チャネル(Y’)を作成する。
【0107】
【数30】
【0108】ボックスカーフィルタ(BF)セクション
1249は、入力画像が補間装置1231によってさら
にダウンサンプリングされる前に、入力画像をプレフィ
ルタリングする役割を担う。幅kおよび高さlのボック
スカーフィルタは、k列およびl行のマトリックスなら
びに1/(k*l)に等しいすべての係数で表すことが
できる。たとえば、寸法3×3のボックスカーフィルタ
は、以下の数式のマトリックスで表される。
【0109】
【数31】
【0110】好ましい実施形態に従い、ボックスカーフ
ィルタは前述のようにk×lピクセルのブロックに適用
され、これらを1つだけのピクセルに減らす。この好ま
しい実施形態は、画像を横切るようにフィルタをスライ
ドさせることによってフィルタを適用する従来の方法と
は異なる。寸法k×lのボックスカーフィルタが寸法m
×nの画像に適用されると、出力画像は寸法[m/k]
×[n/l]に縮小される。mがkの倍数でない場合、
画像は右側エッジ上に反映される。nがlの倍数でない
場合、画像は下側エッジ上に反映される。好ましい実施
形態に従い、ボックスカーフィルタ1249の幅および
高さは、前述のように水平および垂直のスケーリングフ
ァクタ(それぞれsおよびt)によって決定される。
【0111】図13は、ボックスカーフィルタリングを
実施する好ましい方法を示す図である。BF1249は
主システムクロックと同期している。k×lボックスカ
ーフィルタを実施するために、入力画像からのピクセル
がFIFO1301に格納される。ピクセルは他方の端
部から読み取られ、シフトレジスタ1303に入れられ
る。FIFO1301からkピクセルが読み取られた
後、合計ユニット1307によってそれらの合計が計算
され、次いでアキュムレータライン格納装置1305に
格納される。ピクセルの第1のラインが処理された後、
同様の方法でピクセルの第2のラインが処理される。た
だし、kピクセルのn番目の合計と水平方向の重さとが
掛け合わされると、その結果はアキュムレータライン格
納装置1305内のn番目の値と合計されるという点だ
けが異なっている。次いで、その合計はアキュムレータ
ライン格納装置1305内のn番目の場所に、新しいア
キュムレータ値として再度書き込まれる。したがって、
すべての部分的な合計が累積される。ピクセルのl番目
のラインでは、乗算ユニット1309を使用して、アキ
ュムレータの値と重さとが掛け合わされ、これは1/k
*lとなるはずであって、アキュムレータライン格納装
置1305には0が書き込まれるはずである。この積
が、ボックスカーフィルタ1249の最終出力である。
【0112】好ましいボックスカーフィルタによれば、
ライン格納装置の最大長さは最大画像幅である。また、
好ましいボックスカーフィルタは、あらゆるクロックサ
イクルで入力ピクセルを受け入れることができる。使用
される論理を最小化するためには、低速加算器1307
および乗算器1309が使用されることが好ましい。あ
らゆる加算および乗算は、完了するまでに最低2クロッ
クサイクルを有する。
【0113】補間ライン格納マネージャ(ILSM)1
207は、ピクセル抽出装置1243からのピクセルを
受け入れ、そのピクセルをローカルライン格納装置12
51〜1255内に格納する。ILSM1207は、ピ
クセルを補間装置1231に送る役割も担う。入力画像
がインターレースされる場合、ILSM1207は画像
のインターレース解除も行う。ILSM1207には5
つのライン格納装置1251〜1255がある。1つの
ラインの処理が続行されている間、ILSM1207は
ピクセルをPE1243からライン格納装置のうちの1
つ1251に書き込む。同時にILSM1207は、他
の4つのライン格納装置1252〜1255から書き込
まれたピクセルと同じ位置のピクセルを読み取る。入力
ライン格納装置1251が満杯になると、次の入力ライ
ンを受け入れるために、最も長い間使用されていないラ
イン(the least recent line)を含むライン格納装置が
選択される。したがって、ライン格納装置1251〜1
255は、PE1243からILSM1207までの最
も最近使用されたライン(the most recent line)を含
む。
【0114】ILSM1207は、ワンインワンアウト
(one-in-one-out)方式を厳密に実行する。ILSM12
07は、1サイクル当たり1ピクセルをPE1243か
ら受け入れ、補間装置1231からの機能停止信号がア
サートされない限り、4つのピクセルを補間装置123
1に送る。補間装置1231からの機能停止信号がアサ
ートされると、ILSM1207は次のサイクルでピク
セルの送信を停止し、機能停止信号をPE1243に戻
す。
【0115】入力画像がインターレースされると、IL
SM1207は画像をインターレース解除する。好まし
い実施形態は、画像のインターレース解除にメジアンフ
ィルタ方法を利用する。インターレース解除には他の方
法もある。ただし、メジアンフィルタは最も効率的であ
り簡単に実行できる方法である。前述の空間方法を使用
して、フレーム内インターレース解除方法を実行するこ
ともできる。メジアンフィルタ方法では、失われたピク
セルの上および下にあるピクセルの中間にあるピクセ
ル、ならびに前のフレーム内の同じ位置にあるピクセル
を探すことで、失われたピクセルが再構築される。図1
4は、好ましい実施形態に従ったインターレース解除に
使用されるアーキテクチャを示す図である。座標(x,
y)にあるピクセルがPE1243から読み取られる
と、そのピクセルはライン格納装置1251〜1255
のうちの1つに格納される。同時に、ILSM1207
は、座標(x,y)−1)の現在フィールド内で入力さ
れるピクセルのすぐ上にあるピクセルを読み取り、さら
に他の4つのライン格納装置1252〜1255のうち
の2つから、最後のフィールド内で失われた位置にある
ピクセルも読み取る。これら3つのピクセルの輝度が3
つの比較器1401、1403、および1405に送ら
れ、以下の表4に記載されたように、この比較器140
1〜1405からの出力が3to1マルチプレクサ140
7の動作を制御する。
【0116】
【表4】
【0117】好ましい実施形態に従って図14に示され
たインターレース解除出力のアーキテクチャは、3つの
ピクセルの中間である。ライン格納装置1251〜12
55は、RCチップ1103に入力される最も幅の広い
画像を格納できるだけの長さであることが好ましい。最
も幅の広い画像がHDTVから入力される場合、各ライ
ン格納装置1251〜1255は、2048の3チャネ
ルピクセル、すなわち3×2048バイトを格納できる
ものである必要がある。したがって、5つのライン格納
装置では30kバイトになる。4:2:0のYUV入力
ピクセルの場合、ライン格納装置のサイズは20kバイ
トまで減じられる。あるいは、入力画像の幅が最大幅よ
りも小さい場合、ILSM1207は、1つのライン格
納装置に複数のラインを格納できるように実施すること
ができる。1つのライン格納装置に複数のラインを格納
するということは、ILSM1207が使用可能メモリ
で5ラインより多く格納できるという意味である。IL
SM1207は、主システムクロックと同期するように
実施されることが好ましい。
【0118】エッジ検出ライン格納マネージャ(EDL
SM)1209は、PE1243から輝度ピクセルを受
け入れ、そのピクセルをローカルライン格納装置125
7〜1260内に格納する。EDLSM1209は、エ
ッジが検出され、その方向が計算される、エッジ強さ計
算器1211およびエッジ方向計算器1225にピクセ
ルを送信する役割も担っている。入力画像がインターレ
ースされる場合、必要であればEDLSM1209は画
像のインターレース解除も実行する。EDLSM120
9内には4つのライン格納装置がある。1つのライン処
理を続行している間、EDLSM1209はPE124
3からライン格納装置のうちの1つ1257にピクセル
を書き込む。同時にEDLSM1209は、他の3つの
ライン格納装置1258〜1260から同じ位置のピク
セルを読み取り、そのピクセルをエッジ検出モジュール
1211および1225に送信する。受信側のライン格
納装置が満杯の場合、次に入力されるラインを受け入れ
るために、最も長い間使用されていないラインを含むラ
イン格納装置が選択される。好ましい実施形態によれ
ば、ライン格納装置は必ず、PE1243からEDLS
M1257への最も最近使用されたラインを含む。
【0119】EDLSM1257は、ワンインワンアウ
ト方式を厳密に実行する。一般に、EDLSM1257
はPE1243から1サイクル当たり1ピクセルを受け
入れ、エッジ検出モジュール1211および1225の
うちの1つからの機能停止信号がアサートされない限
り、3つのピクセルをこれらのモジュール1211およ
び1225に送る。この状況が発生すると、EDLSM
1257は次のサイクルでピクセルの送信を停止し、機
能停止信号をPE1243に戻す。エッジ強さ計算器1
211およびエッジ方向計算器1225は、それぞれの
機能停止信号が同じになるように、互いに同期しながら
動作することが好ましい。
【0120】入力がインターレースされる場合、EDL
SM1257は画像をインターレース解除する。ただ
し、ピクセルにはすでに輝度が含まれているので、RG
BからYへの変換は必要ない。ライン格納装置1257
〜1260は、RCチップ1103に入力される最も幅
の広い画像を格納できるだけの長さであることが好まし
い。最も幅の広い画像がHDTVから入力される場合、
各ライン格納装置1257〜1260は、2048ピク
セル、すなわち2048バイトを格納できるものである
必要がある。したがって、4つのライン格納装置では8
kバイトになる。任意選択として、入力画像の幅が最大
幅よりも小さい場合、EDLSM1209は、1つのラ
イン格納装置に複数のラインを格納できるように実施す
ることができる。1つのライン格納装置に複数のライン
を格納するということは、EDLSM1209が4ライ
ンより多く格納することが可能であり、より大きなカー
ネルでエッジ検出および角度計算を実行可能にするとい
う意味である。EDLSM1209は、主システムクロ
ックと同期するように動作する。
【0121】エッジ強さ計算器(ESC)1211は、
非線形フィルタを使用して、ピクセル周囲の3×3近傍
上にある各入力ピクセルのエッジ強さを計算する役割を
担う。ピクセルの3×3近傍の最大/最小は、図15の
回路によって求めることができる。ピクセルの3列が、
それぞれ最大/最小ファインダ1501に送られ、それ
ぞれの最小/最大が求められる。これらファインダの最
小が、3ステージシフトレジスタ1507に送られ、最
大は他のシフトレジスタ1505に送られる。最小シフ
トレジスタ1507の3つの出力が、他の最大/最小フ
ァインダ1503に送られ、この最小出力がその領域の
最小となる。同様に、最大シフトレジスタ1505の3
つの出力が、他の最大/最小ファインダ1509に送ら
れ、その最大出力が、その領域の最大となる。単一ステ
ージ最大/最小ファインダは、図16に示された回路を
使用して実施することができる。ルックアップテーブル
処理については、表5に記載されている。
【0122】
【表5】
【0123】近傍の最大および最小を求めた後、本発明
の好ましい実施形態に従って、図17に表示された回路
が、中央のピクセルがどの種類のエッジピクセルである
かを決定する。回路のA部分には、加算器1701、
「1より大きい」セクション1703、および比較器1
705が含まれる。回路のA部分は、中央ピクセルが最
大に近いかどうかを判別する。中央ピクセルが最大に近
い場合は、中央ピクセルと最小との差異が、3つの比較
器1707、1709、1711および符号化ブロック
1713を使用する、しきい値との比較に使用される。
中央ピクセルが最小に近い場合は、この代わりに最大と
中央ピクセルとの差異が使用される。最後にエッジタイ
プを示すために、比較器1707、1709、および1
711の出力が符号化される。しきい値は、64、12
8、および192であることが好ましい。ESC121
1は主システムクロックと同期しており、1クロックサ
イクル当たり1入力ピクセルのエッジタイプを決定でき
ることが好ましい。
【0124】図18は、好ましい実施形態に従った、エ
ッジ方向計算器(EDC)1225のアーキテクチャを
示す図である。EDC1225は、入力画像内のエッジ
方向を見つける役割を担う。EDC1225は、2つの
3×3分離可能カーネルを3つの入力ピクセルからなる
1つの列に適用し、前述の演算から得られた結果の商を
計算する。次いで、この商をしきい値のセットと比較し
て方向を決定する。高域フィルタ1803および低域フ
ィルタ1801がピクセルに適用される。フィルタ18
01および1803の出力が、それぞれ2つの3ステー
ジシフトレジスタ1805および1806に送られる。
低域フィルタ結果レジスタ1805の3つのエントリ
が、水平エッジ強さ(Gh)を計算するために高域フィ
ルタ1807に送られる。高域フィルタ結果レジスタ1
806の3つのエントリが、垂直エッジ強さ(Gv)を
計算するために低域フィルタ1809に送られる。水平
エッジ強さの絶対値が逆数ROM1811に送られ、G
hの逆数とGvが掛け合わされて商を求める。商Gv/Gh
は角度量子化論理1813に送られて、特定のエッジが
4方向のうちのいずれかを求める。角度量子化論理18
13は、いくつかの比較器(図示せず)と、比較器の結
果をエッジタイプに符号化する1つの符号器(図示せ
ず)とで構成される。
【0125】角度量子化論理は、以下のCコードで記述
することができる。
【0126】
【化3】
【0127】EDC1225は、1クロックサイクル当
たり1つの角度タイプを生成し、主システムクロックと
同期して動作する。
【0128】エッジ強さ計算器1217によってエッジ
強さがわかると、形態拡張器(Morphological Dilator:
MD)1217が3×3構造化要素を使用してエッジマ
ップを拡張した後、エッジマップが形態にオープンまた
はクローズされる。エッジ方向マップが見つかると、こ
れらは形態にオープンまたはクローズされる。エッジマ
ップは、それぞれの3×3構造化要素を使用して、形態
浸食器(Morphological Eroder:ME)1221によっ
て浸食される。図19は、2つの1ビットライン格納装
置1901および1902を備えたMD1217の好ま
しい実施形態を示す図である。図20は、2つの1ビッ
トライン格納装置2001および2002を備えたME
1221の実施形態を示す図である。
【0129】好ましい実施形態に従って、エッジ強さマ
ップおよびエッジ方向マップは、形態なオープンおよび
クローズ処理によってクリーニングされる。形態オープ
ニング処理は、画像に構造化要素をフィットさせる。構
造化要素内で1の下にあるすべてのピクセルが1の場
合、1はそのまま変更されない。いずれか1つが0であ
る場合、その他の1はすべて0に変更される。構造化要
素を画像上にフィットさせるための従来の方法では、形
態拡張および浸食を使用するが、これは必要なライン格
納装置の数に関してコストがかかる。すべて1を備えた
矩形の構造化要素の場合、この方法は、使用するライン
格納装置の少ない、テンプレートフィッティング方法に
簡略化することができる。以下のMatlabコード
は、好ましい実施形態に従ったテンプレートフィッティ
ングアルゴリズムを記載したものである。
【0130】
【化4】
【0131】
【化5】
【0132】上記コードで、「se」は構造化要素の幅
を表し、この場合は構造化要素の高さも表している。本
発明の好ましい実施形態によれば、seは4に等しい。
ピクセルが1の場合、ピクセルカウンタpixel_c
ntは増分される。ピクセルが0の場合、ピクセルカウ
ンタはリセットされる。ピクセルカウンタがseに等し
い場合、1のシーケンスは「優良(good)」とみな
される。2つのライン格納装置ls_inおよびls_o
utがあり、一時的に結果を格納する。ライン格納装置
ls_inは、「優良」シーケンスがどこから開始され
るか、ならびにその位置でそのような1の「優良」シー
ケンスを有するラインの数を常時監視する。同じ位置に
「優良」シーケンスを有するラインの数がseに等しい
場合、構造化要素テンプレートはフィットするため、出
力はその位置で1の生成を開始することができる。ライ
ン格納装置ls_outは、論理が1を生成する必要の
ある場所、ならびに生成される必要のあるライン数を常
時監視する。プロセスの開始時にはいくつかのseライ
ンがあるが、ラインが生成されるごとにその数は増分さ
れる。ls_outが0に等しい場合、その位置で0が
生成される。
【0133】好ましい実施形態に従った形態クロージン
グ処理では、構造化要素内で1の下にあるピクセルが0
の場合、すべての0はそのまま変更されない。それ以外
の場合は、すべて1に変更される。したがって、形態オ
ープニング処理に関する上記と同様のハードウェアを、
形態クロージング処理に使用することができるが、例外
として、ピクセルは1ではなく0と比較する必要があ
る。クロージング処理を実行した後、形態クロージング
処理の出力を通常のピクセルシーケンスに変換する復号
化ステージがある。この復号化ステージに使用されるM
atlabコードは、以下のとおりである。
【0134】
【化6】
【0135】この復号化ステージは、圧縮されたコード
の最後の「se」エントリに注目する。最後の「se」
のいずれかが1である場合、復号化ステージは1を生成
する。それ以外の場合は0を生成する。形態的なオープ
ニングおよびクロージングの両方の処理が、1ピクセル
を生成するのに1クロックサイクルを要する。ただし、
どちらの処理も、4×4構造化要素について3ラインの
パイプライン遅延を有する。したがって、形態クリーニ
ング処理全体で1サイクル当たり1ピクセルを生成し、
パイプライン遅延は6ラインとなる。
【0136】カーネルセレクタ(KS)1213は、エ
ッジ強さマップとエッジ方向マップを組み合わせて、カ
ーネル選択マップ1215を形成する。第1にKS12
13は、以下のブール式27によって、ショートカーネ
ルを画像内のどこに使用する必要があるかを見つける。
【0137】
【数32】
【0138】第2に、KS1213は、カーネル係数テ
ーブル1227のインデックスを形成するように、エッ
ジ強さおよびエッジタイプ(平滑、ショート、水平な
ど)を合わせて符号化する。前述のように、図7はエッ
ジ強さおよびエッジタイプを符号化するための方法を示
す図である。KS1213は1クロックサイクルごとに
カーネル選択を実行することが好ましく、主システムク
ロックと同期していることが好ましい。
【0139】カーネル選択マップ(KSM)1215に
は、各入力ピクセルの補間に使用されることが好ましい
カーネルタイプが含まれる。前述のように、KSM12
15は、最近隣補間を使用して解像度を出力するために
補間される。各カーネルタイプが5ビットで符号化され
るため、KSM1215は2048×5ビット(すなわ
ち10kビット)となるはずである。現在補間中の入力
ラインのみが必要である。
【0140】カーネルセレクタ1213が入力ピクセル
のエッジタイプを生成すると、そのエッジタイプは、カ
ーネル係数取込みのためにカーネル係数計算器1229
へ、また補間のために補間装置1231へ、直接送られ
る。さらにエッジタイプは、次の出力ラインが同じ入力
ラインを使用すればエッジタイプを再計算する必要がな
いので、カーネル選択マップ1215にも格納される。
カーネル選択マップ1215は、1クロックサイクル内
で1つの読取り要求または1つの書込み要求をサポート
し、主システムクロックと同期している。
【0141】カーネル係数テーブル(KCT)1227
には、補間に必要なすべての係数が含まれる。KCT1
227に対しては、平滑カーネル、エッジを横切る垂直
/水平カーネル(ショートカーネルを含む)、エッジに
沿った斜行/反斜行カーネル、およびエッジを横切る斜
行/反斜行カーネルという、4つのセクションがある。
実際の係数はKCT1227からの、2つのエントリの
積である。これらのカーネルテーブルは、2つの入力ピ
クセル間で、256のアップサンプルポイントをサポー
トできることが好ましく、各係数は16ビット符号付き
の8.8固定ポイント数であることが好ましい。KCT
1227については、以下の項でさらに詳しく説明す
る。
【0142】各アップサンプルポイント「x」は、平滑
カーネルテーブル1227a内に、x−1、x、x+
1、およびx+2位置でのカーネル係数を表す、4つの
エントリを有することが好ましい。平滑カーネルテーブ
ル1227aの合計サイズは、4×256×16ビット
(すなわち2kバイト)であることが好ましく、1クロ
ックサイクルに4つのエントリを提供することが好まし
い。
【0143】各エッジ強さにつき、1グループのショー
トカーネルテーブル1227bがある。したがって、シ
ョートカーネルテーブルは3グループある。ショートカ
ーネルテーブル1227bの各グループには、各アップ
サンプルポイントxにつき4つのエントリがあり、x−
1、x、x+1、およびx+2位置でのカーネル係数を
表す。ショートカーネルテーブル1227bの合計サイ
ズは、3×4×256×16ビット(すなわち6kバイ
ト)であることが好ましく、1クロックサイクルに4つ
のエントリを提供することが好ましい。
【0144】エッジに沿った斜行カーネルテーブル12
27cの場合、係数が半分にされるので、アップサンプ
ルポイントの数は2倍される。エッジに沿った斜行カー
ネルテーブル1227cの各グループには、各アップサ
ンプルポイントxにつき8つのエントリがあり、x−
1.5、x−1、x−0.5、x、x+0.5、x+
1、x+1.5、x+2位置でのカーネル係数を表す。
テーブルの合計サイズは、8×512×16ビット(す
なわち8kバイト)であることが好ましく、1クロック
サイクルに8つのエントリを提供することが好ましい。
【0145】「エッジ強さなし」を含む各エッジ強さに
ついて、1グループのエッジを横切る斜行カーネルテー
ブル1227dがある。係数が半分にされるので、アッ
プサンプルポイントの数は2倍される。エッジを横切る
斜行カーネルテーブル1227dの各グループには、好
ましくは各アップサンプルポイントxにつき8つのエン
トリがあり、k(x−1.5)、k(x−1)、k(x
−0.5)、kx、k(x+0.5)、k(x+1)、
k(x+1.5)、k(x+2)位置でのカーネル係数
を表すが、好ましい実施形態によればkは3/2である
ことが好ましい。テーブルの合計サイズは、4×8×5
12×16ビット(すなわち32kバイト)であること
が好ましく、1クロックサイクルに8つのエントリを提
供することが好ましい。
【0146】カーネル係数計算器(KCC)1229
は、KCT1227から適切なカーネル係数を取り込む
役割を担う。KCC1229は、スケーリングファクタ
計算器1239から、水平および垂直のアップサンプリ
ングレートおよびダウンサンプリングレートを受け入
れ、ダウンサンプリングの場合は最適な水平および垂直
のオフセットも受け入れる。KCC1229には、出力
サンプルポイントの位置を常時監視する、2セットのカ
ウンタ(図示せず)があり、1つは水平座標用、もう1
つは垂直座標用である。カウンタの各セット内には、出
力サンプルポイントの左および上にある入力サンプルポ
イントのx座標をカウントする座標カウンタ(図示せ
ず)があり、入力サンプルから出力サンプルまでのオフ
セットを格納するオフセットカウンタ(図示せず)があ
る。
【0147】図21は、本発明の好ましい実施形態に従
った、KCC1229の動作を示すフローチャートであ
る。このプロセスはステップ2101から始まり、xお
よびy座標用の座標カウンタは0に設定され、オフセッ
トカウンタは最適なオフセットに設定される。次いで、
出力ピクセルが生成されるごとに、続くステップが発生
する。次のステップ2103では、ラインの始めに、K
CC1229がyオフセットカウンタの内容を使用し
て、平滑カーネルテーブル1227(a)およびショー
トカーネルテーブル1227(b)から、垂直カーネル
のカーネル係数を取り込む。次のステップ2105で
は、カーネル係数がレジスタ(図示せず)内に格納さ
れ、ライン全体で使用される。次のステップ2107で
は、選択されるカーネルが平滑であれば、プロセスはス
テップ2113に続き、KCC1229はxオフセット
カウンタの内容を使用して、平滑カーネルテーブル12
27(a)から水平カーネル内のカーネル係数を取り込
む。KCC1229が取込みを行うカーネルテーブルの
タイプは、出力ピクセルの補間に使用されるカーネルに
よって異なる。次のステップ2109では、選択される
カーネルが水平であれば、プロセスはステップ2115
に続き、KCC1229はxオフセットカウンタの内容
およびエッジ強さを使用して、平滑カーネルテーブル1
227(a)から水平カーネル内のカーネル係数を取り
込む。次のステップ2111では、選択されるカーネル
が垂直であれば、プロセスはステップ2117に続き、
KCC1229はxオフセットカウンタの内容を使用し
て、ショートカーネルテーブル1227(b)から垂直
カーネル内のカーネル係数を取り込む。次のステップ2
119では、選択されるカーネルが斜行であれば、プロ
セスは2121に続き、KCC1229はxオフセット
とyオフセットの差異の絶対値を計算し、その絶対値を
使用して、エッジに沿った斜行テーブルからカーネル係
数を取り込む。次のステップ2123では、KCC12
29はxオフセットとyオフセットの合計の絶対値を計
算し、その絶対値を使用して、エッジを横切る斜行テー
ブルおよびエッジに沿った斜行テーブルからカーネル係
数を取り込む。ステップ2125で選択されるカーネル
が反斜行であれば、プロセスはステップ2127に続
き、KCC1229はxオフセットとyオフセットの合
計を使用して、エッジに沿ったテーブルから係数値を取
り込む。次のステップ2129では、KCC1229は
xオフセットとyオフセットの差異を使用して、エッジ
を横切るテーブルから係数値を取り込む。取込みが完了
すると、ステップ2131で、水平のダウンサンプリン
グレートがxオフセットカウンタに追加される。ステッ
プ2133で、xオフセットカウンタがアップサンプリ
ングレートよりも大きい場合、プロセスはステップ21
35に続き、その値からアップサンプリングレートが減
じられ、x座標カウンタが増分される。このプロセス
は、出力ピクセルのライン全体が生成されるまで繰り返
される。次のステップ2137で、出力ピクセルのライ
ン全体が生成されると、プロセスはステップ2139に
続き、垂直のダウンサンプリングレートがyオフセット
カウンタに追加される。次のステップ2141で、yオ
フセットカウンタがアップサンプリングレートよりも大
きい場合、プロセスはステップ2143に続き、その値
からアップサンプリングレートが減じられ、y座標カウ
ンタが増分される。プロセスはステップ2145で完了
し、これですべての出力ピクセルが生成された。
【0148】KCC1229は、1クロックサイクル内
で1出力ピクセルを補間するのに十分な係数を取り込め
ることが好ましく、これは、KCC1229が平滑、水
平、垂直、およびショートのカーネルについて4つのカ
ーネル係数を取り込み、斜行および反斜行カーネルにつ
いて14の係数を取り込むことができなければならない
ということである。KCC1229は、主クロックに同
期している。
【0149】補間装置1231は、出力ピクセルを求め
るために、4×4補間カーネル係数を使用して、4×4
入力ピクセル上でたたみ込みを実行する役割を担う。補
間装置1231は、ILSM1207からピクセルを、
KCC1229からカーネル係数を受け入れ、その結果
生じる出力ピクセルをカラー空間変換装置1233に生
成する。補間装置1231には、2次元分離可能カーネ
ル(すなわち、平滑、ショート、垂直、および水平のカ
ーネル)ならびに45°および135°のエッジカーネ
ル(図23の下に図示)の両方を使用して補間を行うた
めの、別々のハードウェアが含まれる(図22に図
示)。補間装置1231には、出力クランピング用のハ
ードウェア(図24の下に図示)も含まれる。
【0150】図22は、本発明の好ましい実施形態に従
った、2次元分離可能カーネル用の補間ハードウェアを
示す図である。ライン内にn番目の出力ピクセルを生成
するために、pの値が決定される。値pは、n*hor
izontal_stepよりも大きい、最小整数を表
す。図22の補間装置ハードウェアは、ILSM120
7内の4つのライン格納装置1251〜1255から、
(p−2)番目、(p−1)番目、p番目、および(p
+1)番目のピクセルを取り込む。入力されるピクセル
は、ライン格納装置1251、1252、1253、お
よび1254に、その順番で格納されることが好ましい
が、これは最も最近使用された4つのラインがこれらの
ライン格納装置内にあるためである。ピクセルの次のラ
インを生成するのに、入力からピクセルの余分なライン
を必要としない場合には、ピクセルの入力ストリームは
停止される。ライン格納装置のうちの2つは、エッジ検
出で使用されるライン格納装置と共用することができ
る。(p−2)番目、(p−1)番目、p番目、および
(p+1)番目のピクセルは、乗算器2201〜220
8を使用して、垂直の平滑カーネル係数Y0 smooth、Y1
smooth、Y2 smooth、およびY3 smooth、ならびに垂直の
ショートカーネル係数Y0 shorth、Y1 short
2 short、およびY3 shortと掛け合わされる。Y0
smooth、Y1 smooth、Y2 smoot h、Y3 smooth
0 short、Y1 short、Y2 short、およびY3 shortは、ラ
イン同期時に取り込むことができるので、必要なのはレ
ジスタのみである。各カーネルごとに、加算器2209
〜2214を使用して4つの積の合計を求め、2つのシ
フトレジスタ2215および2217のうちの1つに格
納する。シフトレジスタ2215および2217の出力
は、信号「smooth」によって制御されるマルチプ
レクサ2219〜2222のセットに送られる。現在の
補間カーネルが平滑カーネルまたは垂直カーネルの場
合、信号「smooth」は1である。マルチプレクサ
2219〜2222の出力は、乗算器2223から22
29を使用して、それぞれX0、X1、X2、およびX3
掛け合わされる。次いで加算器2231から2235を
使用してこの積がすべて加算され、補間されたピクセル
を求める。X0、X1、X2、およびX3はサイクルによっ
て異なるので、サイクルごとに計算する必要がある。た
だし、水平のステップ値をp/qで表すことが可能であ
って、qが適度に小さい場合、{X0、X1、X2、X3
は合計でqセットだけ必要である。これらのセットは
0、1/q、2/q、・・・(q−1)/qに等しいs
に対応する。{X0、X1、X2、X3}のセットは、画像
全体に対して固定された値であるため、起動時に計算し
てLUTに格納することができる。
【0151】水平ステップサイズが常に4よりも小さい
場合は、水平ステップサイズによって、次の出力ピクセ
ルの生成に使用される垂直補間の一部またはすべての結
果を再使用することができる。その結果、図22に示さ
れた補間装置1231は、画像をスケールダウンすると
きに、1サイクル当たり1入力ピクセルを受け入れるこ
とが好ましく、補間装置は、画像をスケールアップする
ときに、1サイクル当たり1ピクセルを出力することが
好ましい。図22の補間装置1231は、45°および
135°エッジのカーネルで、どちらの乗算器もx座標
およびy座標を備えるため、これらのカーネルには動作
しない。
【0152】図23は、好ましい実施形態に従って、4
5°および135°のエッジを備えるカーネルを補間す
るための補間ハードウェアを示す図である。ライン内で
n番目の出力ピクセルを生成するために、pの値が決定
される。値pは、n*horizontal_step
よりも大きい、最小整数を表す。図23の補間装置ハー
ドウェアは、ILSM1207内の4つのライン格納装
置1251〜1255から、(p−2)番目、(p−
1)番目、p番目、および(p+1)番目のピクセルを
取り込み、乗算器2301から2316を使用して、こ
れらと、x方向とy方向のオフセットの差異から生成さ
れたカーネル係数値とを掛け合わせる。すべての列内に
ある積の合計は、加算器2321を使用して求められ
る。その後、乗算器2322から2328を使用して、
すべての部分合計と、x方向およびy方向のオフセット
の合計から生成されたカーネル係数値とが掛け合わされ
る。その後加算器2329から2331を使用して積を
すべて加算し、補間されたピクセルを求める。図23の
補間装置ハードウェアが動作できる周波数を増加させる
ために、特別なパイプラインレジスタ(図示せず)を追
加しなければならない場合がある。図23のハードウェ
アは、カーネル係数およびピクセルの1セットがあらゆ
るクロックサイクルに供給されている限り、出力ピクセ
ルを生成するのに1サイクルを要することが好ましい。
図23のハードウェアは、4つのライン格納装置を使用
することが好ましい。45°カーネルから135°カー
ネルへの切替えおよびその逆は、即時に実行できること
が好ましい。同時に、補間装置1231は、4×4近傍
の最大および最小を検索し、それらの間の出力ピクセル
をクランプする。補間装置1231は、1サイクル当た
り1ピクセルを生成できることが好ましく、主システム
クロックと同期していることが好ましい。
【0153】図24は、本発明の好ましい実施形態に従
って、出力のクランピングに使用されるハードウェアア
ーキテクチャを示す図である。図24の出力クランピン
グハードウェアは、ILSM1207内の4つのライン
格納装置1251〜1255から、(p−2)番目、
(p−1)番目、p番目、および(p+1)番目のピク
セルを取り込み、そのピクセルを、2つのシフトレジス
タ2401および2403のうちの1つに格納する。シ
フトレジスタ2401は、最大ファインダ2405を使
用して、(p−2)番目、(p−1)番目、p番目、お
よび(p+1)番目のピクセルの最大値を求めるのに使
用される。最大ファインダ2405からの最大値は、比
較器2407を使用して、補間済みピクセル値と比較さ
れる。比較器の出力はマルチプレクサ2409に送ら
れ、計算された補間済みピクセル値が最大値よりも大き
い場合は、出力値がローカル最大に置き換えられる。同
様に、4つのライン格納装置1251〜1255からの
(p−2)番目、(p−1)番目、p番目、および(p
+1)番目のピクセルの最小値が、シフトレジスタ24
03および最小ファインダ2411を使用して求められ
る。最小値は、比較器2413を使用して、補間済みピ
クセル値と比較される。比較器2413の出力はマルチ
プレクサ2409に送られ、計算された補間済みピクセ
ル値が最小値よりも小さい場合は、出力値がローカル最
小に置き換えられる。
【0154】カラー空間変換装置(CSC)1233
は、YUVピクセルデータをRGBに変換するか、また
はその逆に変換する。RGBからYUVに変換するため
の式は、
【0155】
【数33】 のとおりである。さらに、YUVからRGBに変換する
ための式は、以下の数式のとおりである。
【0156】
【数34】
【0157】これらの式は、9つの乗算器(図示せず)
およびその積を加算する9つの加算器(図示せず)を使
用して、ハードウェア内で実施される。マトリックス乗
算の出力は、0および255にクランプされる。CSC
1233は、1サイクル当たり1ピクセルを生成し、主
システムクロックに同期している。
【0158】出力シンクロナイザ1235は、主システ
ムクロックドメインからのデータを、出力ピクセルクロ
ックドメインと同期させる。主システムクロックレート
は、常に出力ピクセルレートより大きいかまたは等しく
なければならない。出力シンクロナイザ1235は、ピ
クセルを異なるレートでバッファに書き込み、バッファ
から読み取ることができるようにする、ピンポンバッフ
ァ(図示せず)を備える。ピンポンバッファ内の1つの
ライン格納装置が満杯になると、他のライン格納装置に
交換されて、次のライン内の入力ピクセルを受け入れ、
満杯のライン格納装置は出力ピクセルクロックレートで
読み取られる。出力シンクロナイザ1235は、出力ピ
クセル実行可能化信号を出力信号生成装置1237から
受け取る。実行可能化信号がアサートされるとき、出力
シンクロナイザ1235は、コンピュータシステム10
00のディスプレイ装置1014などの外部装置に、ピ
クセルを出力しなければならない。出力シンクロナイザ
1235が必要とする合計記憶域は、出力ディスプレイ
の最大幅によって異なる。最大幅がHDTVからのもの
である場合、必要とされる合計記憶域は2×2048×
8ビット、すなわち4kバイトである。
【0159】シリアルROMインターフェース(SR
I)1201は、SPITMプロトコルに従い、双対関
数を有することが好ましい。自己構成が選択されると、
SRI1201はシリアルROMがこれに接続され、R
Cチップ1103動作に必要なすべての情報を読み取る
と想定する。そうでない場合は、RCチップ1103が
ターゲットとして動作する、他の装置と通信するための
手段としてSRI1201を使用することができる。
【0160】「1394インターフェース」1263
は、RCチップ1103内で使用されることが好まし
い。「1394インターフェース」1263は、電子装
置間での高速デジタル通信の必要性を満たすように設計
された、新しい高性能シリアルバス用のIEEEの名称
である。IEEE標準は、物理層と仮想バスに接続され
るケーブルとの両方を定義している。インターフェース
標準は、伝送方法、媒体、およびプロトコルを定義す
る。「1394インターフェース」1263の主な利点
は、第1に大規模な帯域幅容量である。最大400Mビ
ットの帯域幅があるため、「1394インターフェー
ス」1263をデジタル画像のストリーミングに使用す
ることができる。「1394インターフェース」126
3を使用すると、RCチップ1103を任意のデジタル
スチルカメラ(および他のマルチメディア装置)に接続
することができ、デジタルスチルカメラによって生成さ
れる画像上で解像度の変換を実行することができる。第
2に、「ホットプラギング」、パワーソーシング、およ
び動的再構成機能によって、IEEE1394インター
フェースがユーザに使いやすいインターフェースになっ
ていることである。IEEE1394インターフェース
の機能を使用すると、AC電源にプラグ接続するのと同
様に簡単にコンピュータ拡張システムにプラグインする
ことが可能であり、I/O装置が追加または除去される
ごとに、RCチップ1103をシャットダウンして再構
成する必要がなく、要求に応じて通信を提供することが
できる。RCチップ1103は、ビデオインターフェー
スコントローラではなく画像ソースとして使用すること
ができる。
【0161】PCIインターフェース1200は、ホス
トCPU、たとえばプロセッサ1005が、RCチップ
1103内の様々なテーブル、ライン格納装置、および
レジスタの読取りおよび書込みを実行できるようにする
ものである。PCIインターフェース1200は、ホス
トCPUがRCチップ1103を構成し、エラーや割込
みが発生したときにシステムの診断を実行できるように
するものである。PCIインターフェース1200は、
RCチップ1103がユーザの指定環境の下でホストC
PUに割り込めるようにするものでもある。PCIイン
ターフェース1200は、RCチップ1103の構成に
使用されるマイクロプロセッサによって、任意のマイク
ロプロセッサインターフェース(たとえばPowerP
TMインターフェース)に置き換えることができる。
【0162】以上、本発明の実施形態の一部のみについ
て述べたが、これらには本発明の範囲および精神を逸脱
することなく修正および/または変更を加えることが可
能であり、これらの実施形態は例示的なものであって制
約を与えるものではない。
【0163】
【発明の効果】以上説明したように本発明によれば、画
像補間に最適なカーネルを選択することができるため、
最適な画像補間が可能となる。
【図面の簡単な説明】
【図1】本発明の好ましい実施形態に従った画像補間方
法を示すフローチャートである。
【図2】図1の方法に従った前処理および初期化ステッ
プを示すフローチャートである。
【図3】図1の方法に従って、エッジ強さをエッジマッ
プに割り振ることを示すフローチャートである。
【図4】図1の方法に従った、エッジ方向フィルタおよ
び後続のエッジ角度量子化を示すフローチャートであ
る。
【図5】図1の方法に従った、エッジ方向マップのクリ
ーニングプロセスを示すフローチャートである。
【図6】図1の方法に従って、非有向エッジをどのよう
に決定するかのプロセスを示すフローチャートである。
【図7】図1の方法に従って、カーネル選択マップを形
成するLUTインデックスの作成を示すフローチャート
である。
【図8】本発明の他の一実施形態に従って、ローカルカ
ラークランピングを使用する補間方法を示すフローチャ
ートである。
【図9A】、
【図9B】、
【図9C】、
【図9D】、
【図9E】、
【図9F】、
【図9G】、
【図9H】、
【図9I】、
【図9J】、
【図9K】、
【図9L】、
【図9M】、
【図9N】図1から図8に示された方法によって作成さ
れるいくつかの出力画像を示す図である。
【図10】本発明の好ましい実施形態が実行可能な汎用
コンピュータの概略構成図である。
【図11】DTVで使用される図1の方法を実施するた
めの、好ましいハードウェアアーキテクチャを示す図で
ある。
【図12A】、
【図12B】図1の画像補間方法を実施するための、好
ましいハードウェアアーキテクチャを示す図である。
【図13】図1の方法に従ってボックスカーフィルタリ
ングを実施するための、好ましいハードウェアアーキテ
クチャを示す図である。
【図14】図1の方法に従ってインターレース解除を行
うために使用されるアーキテクチャを示す図である。
【図15】図1の方法に従ってピクセル3×3近傍の最
大/最小を求めるための、好ましいハードウェアアーキ
テクチャを示す図である。
【図16】図1の方法に従って単一ステージの最大/最
小ファインダを実施するための、好ましいハードウェア
アーキテクチャを示す図である。
【図17】図1の方法に従って、3×3近傍の中心ピク
セルがどの種類のエッジピクセルであるかを決定するた
めの、好ましいハードウェアアーキテクチャを示す図で
ある。
【図18】図12のエッジ方向計算器を実施するため
の、好ましいハードウェアアーキテクチャを示す図であ
る。
【図19】図12の形態拡張器を実施するための好まし
いハードウェアアーキテクチャを示す図である。
【図20】図12の形態浸食器を実施するための好まし
いハードウェアアーキテクチャを示す図である。
【図21A】、
【図21B】図12のカーネル係数計算器の演算を示す
フローチャートである。
【図22】図1の方法に従って2次元カーネルで補間す
るための、好ましいハードウェアアーキテクチャを示す
図である。
【図23】図1の方法に従って45°および135°の
エッジでカーネルを補間するための、好ましいハードウ
ェアアーキテクチャを示す図である。
【図24】図8の方法に従って出力をクランピングする
ための、好ましいハードウェアアーキテクチャを示す図
である。
【図25】本発明の好ましい実施形態に従って、カーネ
ルパラメータcをエッジ強さ対スケーリングファクタの
関数として示したグラフである。
【図26】本発明の好ましい実施形態に従って、カーネ
ルパラメータdをエッジ強さ対スケーリングファクタの
関数として示したグラフである。
【符号の説明】
101 入力画像 103 ボックスカープレフィルタリング 105 LUT構築 107 輝度画像 109 インターレース解除 111 エッジ検出 113 拡張およびクリーニング 115 エッジ方向 117 水平45°垂直135° 119 クリーニングおよび浸食 121 非有向 123 ユニバーサル3次補間 125 出力クランピング 127 カラー変換 129 出力画像 131 平滑部分
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) H04N 1/46 H04N 1/46 Z (72)発明者 カイ ハン オーストラリア国 2113 ニュー サウス ウェールズ州,ノース ライド,トーマ ス ホルト ドライブ 1 キヤノン イ ンフォメーション システムズ リサーチ オーストラリア プロプライエタリー リミテツド内

Claims (63)

    【特許請求の範囲】
  1. 【請求項1】 離散サンプル値のマッピングからなる画
    像データのエッジ情報を決定する画像処理方法であっ
    て、 前記画像データの離散サンプル値毎にエッジ強度値を算
    出することによってエッジサンプル値を識別する第1の
    ステップと、 前記エッジサンプル値毎に方位角度を格納する第2のス
    テップと、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    る第3のステップと、を有することを特徴とする画像処
    理方法。
  2. 【請求項2】 前記第1のステップは、 エッジインジケータ値Cを算出する第1のサブステップ
    と、 前記エッジインジケータ値Cを複数のしきい値と比較す
    ることによって、前記離散サンプル値毎の前記エッジ強
    度値を算出する第2のサブステップと、を有することを
    特徴とする請求項1記載の画像処理方法。
  3. 【請求項3】 前記エッジインジケータ値Cは下記数式
    に示す形式であり、 【数1】 該式において、iが中心離散サンプル値Y0に最も近接
    する8個の離散サンプル値のインデックスであることを
    特徴とする請求項2記載の画像処理方法。
  4. 【請求項4】 前記第1のステップは更に、前記エッジ
    サンプル値毎に前記方位角度を決定する第3のサブステ
    ップを含むことを特徴とする請求項2記載の画像処理方
    法。
  5. 【請求項5】 前記形態プロセスは、前記離散サンプル
    値に対して実行されるクリーニング処理であることを特
    徴とする請求項1記載の画像処理方法。
  6. 【請求項6】 前記クリーニング処理においては、形態
    オープニング処理に続いて形態クロージング処理を行う
    ことを特徴とする請求項5記載の画像処理方法。
  7. 【請求項7】 離散サンプル値の第1のマッピングから
    なる画像データを補間する画像処理方法であって、 前記画像データの前記離散サンプル値毎にエッジ情報を
    算出してエッジサンプル値を識別し、該エッジサンプル
    値毎に方位角度およびエッジ強度値を格納する第1のス
    テップと、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    る第2のステップと、 前記離散サンプル値毎に、前記第2のステップにおいて
    処理されたエッジサンプル値および方位角度を結合する
    ことによって、前記離散サンプル値の第2のマッピング
    を形成する第3のステップと、 前記第3のステップにおいて前記第2のマッピングを形
    成する際に処理されたエッジサンプル値をマッピング機
    能を用いてマッピングすることによって、第3のマッピ
    ングを形成する第4のステップと、 前記第3のマッピングにおける離散サンプル値毎に、前
    記エッジサンプル値および前記方位角度に依存するカー
    ネルのパラメータを算出し、該パラメータおよび前記カ
    ーネルを用いて複数のカーネル値を算出する第5のステ
    ップと、 離散サンプル値の前記第1のマッピングによって前記複
    数のカーネル値をたたみ込むことにより、離散サンプル
    値の第4のマッピングを形成する第6のステップと、を
    有することを特徴とする画像処理方法。
  8. 【請求項8】 前記第1乃至第6のステップは、前記画
    像データの離散サンプル値による前記第1のマッピング
    の複数部分のうちの少なくとも1個所において実行され
    ることを特徴とする請求項7記載の画像処理方法。
  9. 【請求項9】 前記第4のマッピングは、前記第1のマ
    ッピングとは異なる解像度で実行されることを特徴とす
    る請求項7記載の画像処理方法。
  10. 【請求項10】 前記画像データは、カラー画像データ
    であることを特徴とする請求項7記載の画像処理方法。
  11. 【請求項11】 前記第1乃至第6のステップは、前記
    カラー画像データの色平面毎に実行されることを特徴と
    する請求項10記載の画像処理方法。
  12. 【請求項12】 前記第1のステップが第1の色平面内
    において実行され、前記第5のステップが複数の色平面
    内において実行されることを特徴とする請求項7記載の
    画像処理方法。
  13. 【請求項13】 前記第1のステップは、 前記エッジ情報としてエッジインジケータ値Cを算出す
    る第1のサブステップと、 前記エッジインジケータ値Cを複数のしきい値と比較す
    ることによって、離散サンプル値毎にラベル付けを行う
    第2のサブステップと、を有することを特徴とする請求
    項7記載の画像処理方法。
  14. 【請求項14】 前記エッジインジケータ値Cは下記数
    式に示す形式であり、 【数2】 該式において、iが中心離散サンプル値Y0に最も近接
    する8個の離散サンプル値のインデックスであることを
    特徴とする請求項13記載の画像処理方法。
  15. 【請求項15】 前記第1のステップは更に、前記エッ
    ジサンプル値毎に前記方位角度を決定する第3のサブス
    テップを含むことを特徴とする請求項13記載の画像処
    理方法。
  16. 【請求項16】 前記形態プロセスは、前記離散サンプ
    ル値に対して実行されるクリーニング処理であることを
    特徴とする請求項7記載の画像処理方法。
  17. 【請求項17】 前記クリーニング処理においては、形
    態オープニング処理に続いて形態クロージング処理を行
    うことを特徴とする請求項16記載の画像処理方法。
  18. 【請求項18】 前記マッピング機能は、最近隣マッピ
    ング機能であることを特徴とする請求項7記載の画像処
    理方法。
  19. 【請求項19】 前記カーネルは、ユニバーサル補間カ
    ーネルh(s)であることを特徴とする請求項7記載の画
    像処理方法。
  20. 【請求項20】 前記ユニバーサル補間カーネルh(s)
    は、下記数式に示す形式であり、 【数3】 該式において、h(s)が下記のように定義され、 【数4】 ここで、s=t/Δtおよび0≦d<0.5であること
    を特徴とする請求項19記載の画像処理方法。
  21. 【請求項21】 前記カーネルは、3次補間カーネルh
    (s)であることを特徴とする請求項7記載の画像処理方
    法。
  22. 【請求項22】 前記3次補間カーネルh(s)は、下記
    数式に示す形式であり、 【数5】 該式において、b=0およびc=0.5であることを特
    徴とする請求項21記載の画像処理方法。
  23. 【請求項23】 前記カーネルは、1次補間カーネルで
    あることを特徴とする請求項7記載の画像処理方法。
  24. 【請求項24】 前記カーネルは、ユニバーサル1次補
    間カーネルであることを特徴とする請求項7記載の画像
    処理方法。
  25. 【請求項25】 前記カーネルは、2次補間カーネルで
    あることを特徴とする請求項7記載の画像処理方法。
  26. 【請求項26】 前記カーネルは、加重sinc補間カ
    ーネルであることを特徴とする請求項7記載の画像処理
    方法。
  27. 【請求項27】 ピクセルベースの画像データに対して
    補間を実行する画像処理方法であって、 前記画像データの離散サンプル値の第1のセットにアク
    セスする第1のステップと、 カーネルを使用して前記離散サンプル値毎にカーネル値
    を算出する第2のステップと、 前記離散サンプル値の第2のセットを提供するために、
    前記離散サンプル値で前記カーネル値をたたみ込む第3
    のステップと、を有し、 前記第2のステップにおいては、前記カーネルのパラメ
    ータが、エッジ方位インジケータとエッジ強さインジケ
    ータ、およびエッジコンテキストインジケータに応じて
    選択されることを特徴とする画像処理方法。
  28. 【請求項28】 離散サンプル値の第2のセットを補間
    カーネルを用いて生成するために、離散サンプル値の第
    1のセットを補間する画像処理方法であって、 前記補間カーネルのパラメータが、前記第1のセットの
    各離散サンプル値について、エッジ強さインジケータと
    エッジ方向インジケータ、およびエッジコンテキストイ
    ンジケータに応じて選択されることを特徴とする画像処
    理方法。
  29. 【請求項29】 離散サンプル値のマッピングからなる
    画像データのエッジ情報を決定する画像処理装置であっ
    て、 前記画像データの離散サンプル値毎にエッジ強度値を算
    出することによってエッジサンプル値を識別する演算手
    段と、 前記エッジサンプル値毎に方位角度を格納する格納手段
    と、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    る処理手段と、を有することを特徴とする画像処理装
    置。
  30. 【請求項30】 前記演算手段は、 エッジインジケータ値Cを算出し、該エッジインジケー
    タ値Cを複数のしきい値と比較することによって、前記
    離散サンプル値毎の前記エッジ強度値を算出することを
    特徴とする請求項29記載の画像処理装置。
  31. 【請求項31】 前記エッジインジケータ値Cは下記数
    式に示す形式であり、 【数6】 該式において、iが中心離散サンプル値Y0に最も近接
    する8個の離散サンプル値のインデックスであることを
    特徴とする請求項30記載の画像処理装置。
  32. 【請求項32】 更に、前記エッジサンプル値毎に、前
    記方位角度を決定する決定手段を備えることを特徴とす
    る請求項30記載の画像処理装置。
  33. 【請求項33】 前記形態プロセスは、前記離散サンプ
    ル値に対して実行されるクリーニング処理であることを
    特徴とする請求項29記載の画像処理装置。
  34. 【請求項34】 前記クリーニング処理においては、形
    態オープニング処理に続いて形態クロージング処理を行
    うことを特徴とする請求項33記載の画像処理装置。
  35. 【請求項35】 離散サンプル値の第1のマッピングか
    らなる画像データを補間する画像処理装置であって、 前記画像データの前記離散サンプル値毎にエッジ情報を
    算出してエッジサンプル値を識別し、該エッジサンプル
    値毎に方位角度およびエッジ強度値を格納する第1の演
    算手段と、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    る処理手段と、 前記離散サンプル値毎に、前記処理手段で処理されたエ
    ッジサンプル値および方位角度を結合することによっ
    て、前記離散サンプル値の第2のマッピングを形成する
    結合手段と、 前記結合手段で前記第2のマッピングを形成する際に処
    理されたエッジサンプル値をマッピング機能を用いてマ
    ッピングすることによって、第3のマッピングを形成す
    るマッピング手段と、 前記第3のマッピングにおける離散サンプル値毎に、前
    記エッジサンプル値および前記方位角度に依存するカー
    ネルのパラメータを算出し、該パラメータおよび前記カ
    ーネルを用いて複数のカーネル値を算出する第2の演算
    手段と、 離散サンプル値の前記第1のマッピングによって前記複
    数のカーネル値をたたみ込むことにより、離散サンプル
    値の第4のマッピングを形成するたたみ込み手段と、を
    有することを特徴とする画像処理装置。
  36. 【請求項36】 前記第4のマッピングは、前記第1の
    マッピングとは異なる解像度で実行されることを特徴と
    する請求項35記載の画像処理装置。
  37. 【請求項37】 前記画像データは、カラー画像データ
    であることを特徴とする請求項35記載の画像処理装
    置。
  38. 【請求項38】 ピクセルベースの画像データに対して
    補間を実行する画像処理装置であって、 前記画像データの離散サンプル値の第1のセットにアク
    セスするアクセス手段と、 カーネルを使用して前記離散サンプル値毎にカーネル値
    を算出する演算手段と、 前記離散サンプル値の第2のセットを提供するために、
    前記離散サンプル値で前記カーネル値をたたみ込むたた
    み込み手段と、を有し、 前記演算手段においては、前記カーネルのパラメータ
    が、エッジ方位インジケータとエッジ強さインジケー
    タ、およびエッジコンテキストインジケータに応じて選
    択されることを特徴とする画像処理装置。
  39. 【請求項39】 離散サンプル値の第2のセットを補間
    カーネルを用いて生成するために、離散サンプル値の第
    1のセットを補間する画像処理装置であって、 前記補間カーネルのパラメータが、前記第1のセットの
    各離散サンプル値について、エッジ強さインジケータと
    エッジ方向インジケータ、およびエッジコンテキストイ
    ンジケータに応じて選択されることを特徴とする画像処
    理装置。
  40. 【請求項40】 離散サンプル値のマッピングからなる
    画像データのエッジ情報を決定する手順をコンピュータ
    に実行させるように構成されたプログラムであって、 前記画像データの離散サンプル値毎にエッジ強度値を算
    出することによってエッジサンプル値を識別するための
    コードと、 前記エッジサンプル値毎に方位角度を格納するためのコ
    ードと、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    るためのコードと、を有することを特徴とするプログラ
    ム。
  41. 【請求項41】 更に、エッジインジケータ値Cを算出
    するためのコードと、 前記エッジインジケータ値Cを複数のしきい値と比較す
    るためのコードと、を有し、 前記離散サンプル値毎の前記エッジ強度値は、該比較に
    基づくものであることを特徴とする請求項40記載のプ
    ログラム。
  42. 【請求項42】 前記エッジインジケータ値Cは下記数
    式に示す形式であり、 【数7】 該式において、iが中心離散サンプル値Y0に最も近接
    する8個の離散サンプル値のインデックスであることを
    特徴とする請求項41記載のプログラム。
  43. 【請求項43】 更に、前記エッジサンプル値毎に前記
    方位角度を決定するためのコードを有することを特徴と
    する請求項41記載のプログラム。
  44. 【請求項44】 前記形態プロセスは、前記離散サンプ
    ル値に対して実行されるクリーニング処理であることを
    特徴とする請求項40記載のプログラム。
  45. 【請求項45】 前記クリーニング処理においては、形
    態オープニング処理に続いて形態クロージング処理を行
    うことを特徴とする請求項44記載のプログラム。
  46. 【請求項46】 離散サンプル値の第1のマッピングか
    らなる画像データを補間する手順をコンピュータに実行
    させるように構成されたプログラムであって、 前記画像データの前記離散サンプル値毎にエッジ情報を
    算出してエッジサンプル値を識別し、該エッジサンプル
    値毎に方位角度およびエッジ強度値を格納するためのコ
    ードと、 前記離散サンプル値毎に、前記エッジサンプル値および
    前記格納された方位角度を形態プロセスを用いて処理す
    るためのコードと、 前記離散サンプル値毎に、前記処理されたエッジサンプ
    ル値および方位角度を結合することによって、前記離散
    サンプル値の第2のマッピングを形成するためのコード
    と、 前記第2のマッピングを形成する際に処理されたエッジ
    サンプル値をマッピング機能を用いてマッピングするこ
    とによって、第3のマッピングを形成するためのコード
    と、 前記第3のマッピングにおける離散サンプル値毎に、前
    記エッジサンプル値および前記方位角度に依存するカー
    ネルのパラメータを算出し、該パラメータおよび前記カ
    ーネルを用いて複数のカーネル値を算出するためのコー
    ドと、 離散サンプル値の前記第1のマッピングによって前記複
    数のカーネル値をたたみ込むことにより、離散サンプル
    値の第4のマッピングを形成するためのコードと、を有
    することを特徴とするプログラム。
  47. 【請求項47】 前記第4のマッピングは、前記第1の
    マッピングとは異なる解像度で実行されることを特徴と
    する請求項46記載のプログラム。
  48. 【請求項48】 前記画像データは、カラー画像データ
    であることを特徴とする請求項46記載のプログラム。
  49. 【請求項49】 更に、前記エッジ情報としてエッジイ
    ンジケータ値Cを算出するためのコードと、 前記エッジインジケータ値Cを複数のしきい値と比較す
    ることによって、離散サンプル値毎にラベル付けを行う
    ためのコードと、を有することを特徴とする請求項46
    記載のプログラム。
  50. 【請求項50】 前記エッジインジケータ値Cは下記数
    式に示す形式であり、 【数8】 該式において、iが中心離散サンプル値Y0に最も近接
    する8個の離散サンプル値のインデックスであることを
    特徴とする請求項49記載のプログラム。
  51. 【請求項51】 更に、前記エッジサンプル値毎に前記
    方位角度を決定するためのコードを有することを特徴と
    する請求項49記載のプログラム。
  52. 【請求項52】 前記形態プロセスは、前記離散サンプ
    ル値に対して実行されるクリーニング処理であることを
    特徴とする請求項51記載のプログラム。
  53. 【請求項53】 前記クリーニング処理においては、形
    態オープニング処理に続いて形態クロージング処理を行
    うことを特徴とする請求項52記載のプログラム。
  54. 【請求項54】 前記マッピング機能は、最近隣マッピ
    ング機能であることを特徴とする請求項46記載のプロ
    グラム。
  55. 【請求項55】 前記カーネルは、ユニバーサル補間カ
    ーネルh(s)であることを特徴とする請求項46記載の
    プログラム。
  56. 【請求項56】 前記ユニバーサル補間カーネルh(s)
    は、下記数式に示す形式であり、 【数9】 該式において、h(s)が下記のように定義され、 【数10】 ここで、s=t/Δtおよび0≦d<0.5であること
    を特徴とする請求項55記載のプログラム。
  57. 【請求項57】 前記カーネルは、3次補間カーネルh
    (s)であることを特徴とする請求項46記載のプログラ
    ム。
  58. 【請求項58】 前記3次補間カーネルh(s)は、下記
    数式に示す形式であり、 【数11】 該式において、b=0およびc=0.5であることを特
    徴とする請求項57記載のプログラム。
  59. 【請求項59】 前記カーネルは、1次補間カーネルで
    あることを特徴とする請求項46記載のプログラム。
  60. 【請求項60】 前記カーネルは、ユニバーサル1次補
    間カーネルであることを特徴とする請求項46記載のプ
    ログラム。
  61. 【請求項61】 前記カーネルは、2次補間カーネルで
    あることを特徴とする請求項46記載のプログラム。
  62. 【請求項62】 前記カーネルは、加重sinc補間カ
    ーネルであることを特徴とする請求項46記載のプログ
    ラム。
  63. 【請求項63】 請求項40乃至62のいずれかに記載
    されたプログラムを記録したコンピュータ可読媒体。
JP2000329009A 1999-10-29 2000-10-27 画像処理方法及び画像処理装置 Withdrawn JP2001160139A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
AUPQ3778A AUPQ377899A0 (en) 1999-10-29 1999-10-29 Phase three kernel selection
AU3778 1999-10-29

Publications (1)

Publication Number Publication Date
JP2001160139A true JP2001160139A (ja) 2001-06-12

Family

ID=3817929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000329009A Withdrawn JP2001160139A (ja) 1999-10-29 2000-10-27 画像処理方法及び画像処理装置

Country Status (3)

Country Link
US (1) US6928196B1 (ja)
JP (1) JP2001160139A (ja)
AU (1) AUPQ377899A0 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002313758A (ja) * 2001-04-18 2002-10-25 Fujimi Inc 研磨用組成物およびそれを用いた研磨方法
US7149355B2 (en) 2002-03-19 2006-12-12 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
WO2008044359A1 (fr) * 2006-10-13 2008-04-17 The University Of Tokyo Dispositif de traitement d'image, procédé de traitement d'image et programme
JP2009094862A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 映像信号処理装置
CN1981294B (zh) * 2004-07-29 2010-12-22 微软公司 使用线光值和其它图像处理改进的图像处理
JP2011501835A (ja) * 2007-09-19 2011-01-13 トムソン ライセンシング 画像をスケーリングするシステムおよび方法
US8331720B2 (en) 2007-08-15 2012-12-11 Japan Science And Technology Agency Image processing device, method, and program
KR101679857B1 (ko) * 2010-05-20 2016-11-25 엘지디스플레이 주식회사 재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7333672B2 (en) * 2000-03-30 2008-02-19 British Telecommunications Public Limited Company Image processing system/network which performs recognition process only upon regions having higher high spatial frequency content
DE10024374B4 (de) * 2000-05-17 2004-05-06 Micronas Munich Gmbh Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens
KR100423504B1 (ko) * 2001-09-24 2004-03-18 삼성전자주식회사 영상신호의 라인보간 장치 및 방법
US7417648B2 (en) 2002-01-07 2008-08-26 Samsung Electronics Co. Ltd., Color flat panel display sub-pixel arrangements and layouts for sub-pixel rendering with split blue sub-pixels
US7219352B2 (en) * 2002-04-15 2007-05-15 Microsoft Corporation Methods and apparatuses for facilitating processing of interlaced video images for progressive video displays
US7451457B2 (en) * 2002-04-15 2008-11-11 Microsoft Corporation Facilitating interaction between video renderers and graphics device drivers
JP4718763B2 (ja) * 2002-04-15 2011-07-06 マイクロソフト コーポレーション ビデオ・レンダラーとグラフィックス・デバイス・ドライバの間の相互作用を促進すること
US7453470B1 (en) * 2002-12-24 2008-11-18 Apple Inc. Method and apparatus for anti-aliasing scan conversion
KR20040100735A (ko) * 2003-05-24 2004-12-02 삼성전자주식회사 영상보간장치 및 영상보간방법
US7280126B2 (en) * 2003-05-30 2007-10-09 Texas Instruments Incorporated Methods and apparatus for converting an orthogonal pixel format to a diamond pixel format
US8391649B2 (en) * 2003-08-01 2013-03-05 Texas Instruments Incorporated Image filter method
US7643675B2 (en) * 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US7139002B2 (en) * 2003-08-01 2006-11-21 Microsoft Corporation Bandwidth-efficient processing of video images
US7158668B2 (en) 2003-08-01 2007-01-02 Microsoft Corporation Image processing using linear light values and other image processing improvements
US7525526B2 (en) * 2003-10-28 2009-04-28 Samsung Electronics Co., Ltd. System and method for performing image reconstruction and subpixel rendering to effect scaling for multi-mode display
KR100611179B1 (ko) * 2004-06-23 2006-08-10 삼성전자주식회사 영상처리장치
JP4724124B2 (ja) * 2004-10-08 2011-07-13 パナソニック株式会社 画像処理装置および画像処理プログラム
US7242412B2 (en) * 2005-02-09 2007-07-10 Seiko Epson Corporation Method and apparatus for expanding a source pixel in a digital image
US7519235B1 (en) 2005-10-24 2009-04-14 Adobe Systems Incorporated Using nonlinear filtering while resizing an image to preserve sharp image detail
KR100772390B1 (ko) * 2006-01-23 2007-11-01 삼성전자주식회사 방향 보간 방법 및 그 장치와, 그 보간 방법이 적용된부호화 및 복호화 방법과 그 장치 및 복호화 장치
US7602531B2 (en) * 2006-03-22 2009-10-13 Lexmark International, Inc. Halftone edge enhancement for production by an image forming device
US7573489B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic Infilling for 2D to 3D image conversion
US7573475B2 (en) * 2006-06-01 2009-08-11 Industrial Light & Magic 2D to 3D image conversion
US7298296B1 (en) * 2006-09-02 2007-11-20 Cirrus Logic, Inc. Real-time sample rate converter having a non-polynomial convolution kernel
FR2906053A1 (fr) * 2006-09-15 2008-03-21 St Microelectronics Sa Desentrelacement d'images.
US8134640B2 (en) * 2006-12-26 2012-03-13 Broadcom Corporation Video processor architecture and method for frame rate conversion
US7783134B2 (en) * 2007-01-04 2010-08-24 Himax Technologies Limited Edge-oriented interpolation method and system for a digital image
US8417759B2 (en) * 2007-04-09 2013-04-09 DigitalOptics Corporation Europe Limited Efficient implementations of kernel computations
US8306348B2 (en) * 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
US8396330B2 (en) * 2007-07-24 2013-03-12 Sharp Laboratories Of America, Inc. Image upscaling based upon directional interpolation
US20090077359A1 (en) * 2007-09-18 2009-03-19 Hari Chakravarthula Architecture re-utilizing computational blocks for processing of heterogeneous data streams
DE102009015594B4 (de) * 2009-03-30 2015-07-30 Carl Zeiss Sms Gmbh Verfahren und Vorrichtung zur subpixelgenauen Positionsbestimmung einer Kante einer Markerstruktur in einer Vielzahl von Aufnahmepixeln aufweisenden Aufnahme der Markerstruktur
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering
US8130229B2 (en) * 2009-11-17 2012-03-06 Analog Devices, Inc. Methods and apparatus for image processing at pixel rate
US20110298972A1 (en) 2010-06-04 2011-12-08 Stmicroelectronics Asia Pacific Pte. Ltd. System and process for image rescaling using adaptive interpolation kernel with sharpness and de-ringing control
US8755625B2 (en) 2010-11-19 2014-06-17 Analog Devices, Inc. Component filtering for low-light noise reduction
US8699813B2 (en) * 2010-11-19 2014-04-15 Analog Devices, Inc Adaptive filter for low-light noise reduction
WO2012153727A1 (ja) * 2011-05-11 2012-11-15 アイキューブド研究所株式会社 画像処理装置、画像処理方法、およびプログラムを記録した記録媒体
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
CN103139523A (zh) * 2011-11-29 2013-06-05 联咏科技股份有限公司 图像处理方法
CN104115211B (zh) 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
TWI490818B (zh) * 2013-01-02 2015-07-01 Chunghwa Picture Tubes Ltd 權重式影像強化方法以及系統
TW201437966A (zh) * 2013-03-29 2014-10-01 Automotive Res & Testing Ct 自適應影像邊緣修復裝置及其方法
CN104144281B (zh) * 2013-05-08 2017-06-09 财团法人车辆研究测试中心 自适应影像边缘修复装置及其方法
US9076099B2 (en) * 2013-07-18 2015-07-07 Ricoh Company, Ltd. Image scaling mechanism
US9349158B2 (en) * 2014-07-14 2016-05-24 Novatek Microelectronics Corp. Image interpolation method and image interpolation system
JP7081200B2 (ja) * 2018-02-22 2022-06-07 セイコーエプソン株式会社 画像表示装置、及び画像表示装置の制御方法
EP3557485B1 (en) * 2018-04-19 2021-05-26 Aimotive Kft. Method for accelerating operations and accelerator apparatus
CN112567430A (zh) * 2018-08-17 2021-03-26 索尼互动娱乐股份有限公司 图像生成装置、图像生成方法和程序
CN109146950B (zh) * 2018-09-30 2022-03-29 燕山大学 一种利用板材热弯曲工艺弯曲角在线测量方法
CN110871771B (zh) * 2019-06-05 2022-08-30 张冬梅 针对性目标清洗方法
TW202234342A (zh) 2021-02-26 2022-09-01 元太科技工業股份有限公司 顯示裝置及影像處理方法
CN116596739B (zh) * 2023-07-14 2023-09-19 山东商业职业技术学院 一种应用于图像增强处理的电路

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04500419A (ja) 1989-06-16 1992-01-23 イーストマン・コダック・カンパニー ディジタル画像補間器
US5008752A (en) * 1989-06-16 1991-04-16 Eastman Kodak Company Digital image interpolator with multiple interpolation algorithms
US5054100A (en) * 1989-11-16 1991-10-01 Eastman Kodak Company Pixel interpolator with edge sharpening
US5131057A (en) 1990-02-12 1992-07-14 Wright State University Method for video-to-printing image resolution conversion
US5446804A (en) 1994-04-14 1995-08-29 Hewlett-Packard Company Magnifying digital image using edge mapping
EP0793836A1 (en) * 1994-11-23 1997-09-10 Imation Corp. System and method for adaptive interpolation of image data
JP3706189B2 (ja) * 1996-03-15 2005-10-12 富士写真フイルム株式会社 画像データの補間処理方法およびその方法を使用した装置
AU745562B2 (en) 1998-12-18 2002-03-21 Canon Kabushiki Kaisha A method of kernel selection for image interpolation
US6424749B1 (en) * 1999-03-30 2002-07-23 Matsushita Electric Industrial Co., Ltd. System and method for scaling combined video and computer generated imagery
US6404918B1 (en) * 1999-04-30 2002-06-11 Hewlett-Packard Company Image demosaicing method utilizing directional smoothing

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002313758A (ja) * 2001-04-18 2002-10-25 Fujimi Inc 研磨用組成物およびそれを用いた研磨方法
JP4637398B2 (ja) * 2001-04-18 2011-02-23 株式会社フジミインコーポレーテッド 研磨用組成物およびそれを用いた研磨方法
US7149355B2 (en) 2002-03-19 2006-12-12 Fuji Xerox Co., Ltd. Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program
CN1981294B (zh) * 2004-07-29 2010-12-22 微软公司 使用线光值和其它图像处理改进的图像处理
WO2008044359A1 (fr) * 2006-10-13 2008-04-17 The University Of Tokyo Dispositif de traitement d'image, procédé de traitement d'image et programme
US8331720B2 (en) 2007-08-15 2012-12-11 Japan Science And Technology Agency Image processing device, method, and program
JP2011501835A (ja) * 2007-09-19 2011-01-13 トムソン ライセンシング 画像をスケーリングするシステムおよび方法
US8351730B2 (en) 2007-09-19 2013-01-08 Thomson Licensing System and method for scaling images
JP2009094862A (ja) * 2007-10-10 2009-04-30 Victor Co Of Japan Ltd 映像信号処理装置
KR101679857B1 (ko) * 2010-05-20 2016-11-25 엘지디스플레이 주식회사 재깅 위치 검출 기반 보간 방법과 이를 이용한 표시장치

Also Published As

Publication number Publication date
US6928196B1 (en) 2005-08-09
AUPQ377899A0 (en) 1999-11-25

Similar Documents

Publication Publication Date Title
JP2001160139A (ja) 画像処理方法及び画像処理装置
US7151863B1 (en) Color clamping
US6438275B1 (en) Method for motion compensated frame rate upsampling based on piecewise affine warping
Dengwen An edge-directed bicubic interpolation algorithm
EP2164040B1 (en) System and method for high quality image and video upscaling
US7043091B2 (en) Method and apparatus for increasing spatial resolution of an image
EP2188774B1 (en) System and method for scaling images
JP2000242774A (ja) 画像処理方法及び装置
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
Maalouf et al. Colour image super-resolution using geometric grouplets
KR101140953B1 (ko) 영상 왜곡 보정 장치 및 방법
US9008421B2 (en) Image processing apparatus for performing color interpolation upon captured images and related method thereof
WO2014008329A1 (en) System and method to enhance and process a digital image
US20040086201A1 (en) Fast edge directed polynomial interpolation
AU759341B2 (en) Method for kernel selection for image interpolation
Zhang et al. Video superresolution reconstruction using iterative back projection with critical-point filters based image matching
AU755947B2 (en) Method and apparatus for optimum interpolation offset selection
AU745279B2 (en) Colour clamping
KR100463552B1 (ko) 큐빅 컨벌루션 보간 장치 및 방법
Savagave et al. Study of image interpolation
JP3491830B2 (ja) 画像処理装置及び画像処理方法
Hsia et al. A parallel video converter for displaying 4: 3 images on 16: 9 HDTV receivers
Jin An adaptive image scaling algorithm based on continuous fraction interpolation and multi-resolution hierarchy processing
JP2003016442A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2004112393A1 (en) Spatial signal conversion

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080108