JP2005528643A - ビデオのスケーリング - Google Patents

ビデオのスケーリング Download PDF

Info

Publication number
JP2005528643A
JP2005528643A JP2004509911A JP2004509911A JP2005528643A JP 2005528643 A JP2005528643 A JP 2005528643A JP 2004509911 A JP2004509911 A JP 2004509911A JP 2004509911 A JP2004509911 A JP 2004509911A JP 2005528643 A JP2005528643 A JP 2005528643A
Authority
JP
Japan
Prior art keywords
input
output
pixel
text
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004509911A
Other languages
English (en)
Inventor
フェデリコ リッカルド ディ
マリオ ラッフィン
パオラ カッライ
ジョバンニ ラムポン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of JP2005528643A publication Critical patent/JP2005528643A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005Adapting incoming signals to the display format of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/391Resolution modifying circuits, e.g. variable screen formats
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006Details of the interface to the display terminal

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Television Systems (AREA)

Abstract

入力解像度を持つ「入力ビデオ信号(VI)を出力解像度を持つ出力ビデオ信号(OV)に変換する方法が、テキストである入力ビデオ信号(VI)の入力ピクセルを入力テキストピクセルとラベル付けして、何の入力ピクセルが入力テキストピクセルであるかを示すような入力ピクセルマップ(IPM)を得るステップ(10)と、上記入力ビデオ信号(IV)をスケーリングして上記出力ビデオ信号(OV)を供給するステップ(11)とを有する。該スケーリングするステップ(11)は、上記入力ピクセルが入力テキストピクセルとラベル付けされているかに依存する。

Description

本発明は、入力解像度を持つ入力ビデオ信号を出力解像度を持つ出力ビデオ信号に変換する方法に関する。本発明は、更に、入力解像度を持つ入力ビデオ信号を出力解像度を持つ出力ビデオ信号に変換する変換器、このような変換器を備える表示装置及びこのような変換器を備えるビデオ信号発生器にも関する。
CRTのような伝統的なアナログ表示器は、幾つかの空間解像度及びリフレッシュ率を持つ多くの異なるビデオ/グラフィック源に対して繋ぎ目なしで接続可能である。電子ビームを適切に制御することにより、スクリーン上の如何なる任意の位置もアドレス指定することができ、かくして、入力ピクセル距離をアナログ的に正確に制御することにより入力画像をスケーリングすることを可能にすることができる。
液晶表示器(LCD)、プラズマ表示パネル(PDP)及び高分子LED(PolyLed)のような固定解像度を持つマトリクス表示器を扱う場合は、入力画像の解像度を斯かる固定解像度に適合させるために該入力画像をデジタル的にスケーリングするために変換器が必要となる。このデジタルスケーリング処理は、一般的に、デジタル補間器により実行され、斯かるデジタル補間器は線形補間方法を使用すると共に、当該表示装置(以下、モニタと称す)に組み込まれる。
本発明の目的は、スケーリングされたテキストの明瞭度(readability)及び外観を改善することにある。
本発明の第1態様は、請求項1に記載したような入力解像度を持つ入力ビデオ信号を出力解像度を持つ出力ビデオ信号に変換する方法を提供する。また、本発明の第2態様は、請求項17に記載したような変換器を提供する。また、本発明の第3態様は、請求項18に記載したような表示装置を提供する。また、本発明の第4態様は、請求項19に記載したようなビデオ信号発生器を提供する。また、有益な実施例は従属請求項に記載されている。
従来の補間アルゴリズムは、固定の表示ピクセルマトリクスを有するようなマトリクス表示器において必要とされる。これらのアルゴリズムは、当該表示ピクセルマトリクス上に表示されるべき全出力表示ピクセルの値を規定するために、入力ビデオ信号を該表示ピクセルマトリクスのグラフィックフォーマットに適応させる。
このような目的のために通常使用される補間技術は、線形方法(例えば、三次畳み込み又はボックスカーネル(box kernel))からなる。これらの従来技術の方法は2つの主たる欠点を有している。
第1に、全画像が同じカーネルを用いて補間されるが、これは準最適な処理である。異なるコンテンツは、異なる補間アーチファクトに敏感である。例えば、非常に鋭い補間カーネルはグラフィック的エッジを保存するには適しているかもしれないが、自然領域にはコマ取り(pixilation)が生じ易い。
第2に、テキストの特定の場合においてさえも、線形カーネルはぼやけと幾何学的歪との間の良好な妥協を達成することができない。一方において、ボックス補間は完全に鋭いエッジではあるが、不規則な形状の文字を生成し、他方において、三次スプラインフィルタは該文字の全体の外観は保存するが、ぼやけを生じる。
本発明による変換器は、スケーラ(scaler)と、入力ピクセルがテキストであるか非テキストであるかを示す二進出力を生成するようなテキスト検出器とを有している。言い換えると、上記テキスト検出器は入力ビデオの入力ピクセルをテキスト又は非テキスト(背景とも呼ぶ)とラベル付けする。上記スケーラは入力ビデオ信号をスケーリングして出力ビデオ信号を得るが、その場合においてスケーリング処理はテキスト入力ピクセルと非テキスト入力ピクセルとに対して相違する。これは、当該スケーリングを、検出される入力ビデオ信号の種類に応じて最適化するのを可能にする。
請求項2に記載の実施例においては、ラベル付けされた入力ピクセルを有する二進入力テキストマップが、出力ドメインに、出力ピクセルがテキスト又は背景としてラベル付けされるような出力テキストマップとしてマッピングされる。斯かる出力マップを示すために、簡単な実施例においては、出力マップはスケーリングされた入力マップである。出力テキストマップは、補間されたテキストの“骨格(skeleton)”を形成する。上記入力テキストマップ及び出力テキストマップは共に仮想とすることができるか、又はメモリに(部分的に)記憶することができる。入力マップにおけるテキスト情報とラベル付けされた入力ピクセルは入力テキストピクセルと呼ばれる一方、出力マップにおけるテキスト情報とラベル付けされた出力ピクセルは出力テキストピクセルと呼ばれる。
スケーリング処理は、上記出力マップにより制御される。
特定の出力ピクセルのテキストピクセルとしてのラベル付けは、スケーリング係数により規定される対応する入力テキストピクセルの位置に依存し、入力テキストピクセルの位置及び形態/構造(近傍構造)に基づく。これは、ピクセルがテキストであるか否かの事実がスケーリングにおいて考慮されるのみならず、当該入力ピクセル及び該入力ピクセルの周囲のテキストピクセルの少なくとも1つにより形成される幾何学的パターンも考慮されるという利点を有している。テキストの垂直及び水平部分を認識することができ、当該スケーラにより該テキストの対角的及び湾曲した部分とは異なるように扱うことができる。好ましくは、テキストの垂直及び水平部分は鋭く維持されるべきであり(補間はなされないか、又は取り囲む非テキストピクセルの情報を使用する非常に緩やかな補間)、該テキストの対角的又は湾曲した部分は階段効果を最小化するために柔らかくすることができる(これらの部分の周囲のグレイレベルを得るために、より多く補間する)。
請求項3に記載の実施例においては、ラベル付けは、接続された対角線的テキストピクセルが入力マップにおいて検出されたかに依存する。もし検出されたなら、対応する出力ピクセルは、これらピクセルが依然として相互接続されるように出力マップ内に配置される。この様にして、出力マップにおいては、当該文字の幾何学構造が可能な限りそのままに維持される。
請求項4に記載の実施例においては、ラベル付けは、接続された垂直方向に整列されたテキストピクセルが入力マップにおいて検出されたかに依存する。もし検出されたなら、対応する出力ピクセルは、これらピクセルが再び垂直方向に整列されるようにして出力マップ内に配置される。この様にして、出力マップにおいては、当該文字の幾何学構造が可能な限りそのままに維持される。
請求項5に記載の実施例においては、出力マップにおける出力ピクセルのラベル付けは、スケーリング係数により乗算された連続する入力テキストピクセルのラインの長さとして計算される。この様にして、出力マップにおける連続する出力テキストピクセルの対応するラインの長さは、適切にスケーリングされる。
請求項6に記載の実施例においては、係数kの値を選択することにより、連続する出力テキストピクセルの対応するラインの長さの丸めを、最も適切な整数に選択することが可能である。
請求項7に記載の実施例においては、対角線的接続が検出された場合、これは垂直方向の整列に優る。これは、スケーリングされた文字の形状を、入力文字の形状に可能な限り近く維持する最良の結果を生じるように思われる。
請求項8に記載の実施例においては、ラインピクセルの端部によって隣接するピクセルと共に形成される幾何学構造が、出力マップにおいて当該テキスト出力ピクセルが何処に配置されるかを決定するために使用される。この様にして、出力マップにおける当該スケーリングされた文字の幾何学構造が入力マップにおける元の文字の幾何学構造に最良に類似することになる。
請求項9に記載の実施例においては、隣接するテキストとラベル付けされた入力ピクセルの変換されたラインであるような、隣接するテキストとラベル付けされた出力ピクセルのスケーリングされたラインは、該出力ピクセルのラインの始点又は終点が対角線的接続又は垂直方向整列の保存により固定されているかに依存する。もし固定されているなら、出力マップにおける斯様な始点又は終点の位置は、固定される。未だ固定されていない始点又は終点を決定するようなアルゴリズムが定義される。これは、出力テキストピクセルの不連続性又は整列誤りを防止する。
請求項10に記載の実施例においては、ラインの未だ固定されていない始点又は終点を決定するようなアルゴリズムが規定される。
請求項11に記載の実施例においては、出力マップにおけるテキストピクセルとラベル付けされた出力ピクセルは、対応する入力テキストピクセルのテキスト情報(カラー又は輝度)により置換される。この様にして、テキスト情報は補間されず、従って完全に鋭くなり、文字は丸まらない。非テキスト入力ビデオは補間され得るか、又は出力マップに基づいて置換され得る。
請求項12に記載の実施例においては、スケーリングステップは、隣接する入力ビデオサンプルの間の部分的位置(又は斯かる入力ビデオサンプルに対する出力ビデオサンプルの位相)に基づいて出力ビデオサンプルの値を補間すると共に、該出力ビデオサンプルに対応する所定の出力ピクセルがテキストであるか否かに基づいて該部分的位置を調整する(上記位相をシフトする)。例えば、当該補間器は既知のワープ距離補間器(以下、WaDiと呼ぶ)とすることができ、該補間器は上記部分的位置を制御するための入力を有している。WaDiの適切な制御は、テキストが非テキスト情報よりも少なく補間され、該テキストの形状を保存することを可能にする。
請求項13に記載の実施例においては、上記部分的位置の調整は、上記所定の出力ピクセルを囲む出力テキストピクセルにより形成されるようなパターンに更に基づいたものとなる。この場合、上記WaDiは入力及び出力テキストマップの局部的形態構造により制御されると共に、当該文字の異なる部分に対してステップ状の又は徐々の遷移を生成して適切な輝度プロファイルを提供する。特に、主要な水平及び垂直方向の字画(stroke)はシャープに維持される一方、対角方向の及び湾曲された部分は滑らかにされる。
請求項14に記載の実施例においては、上記部分的位置を調整するために要する計算は、非テキストからテキストへの遷移に含まれる遷移出力ピクセルに対してのみ実行される。これは、必要とされる計算能力を最小化させる。
請求項15に記載の実施例においては、上記部分的位置は、上記遷移出力ピクセルがテキストとラベル付けされているか又は非テキストとラベル付けされているか、及び該遷移出力ピクセルを囲む出力テキストピクセルのパターンの両者に依存して調整される(前記シフトの量が決定される)。
請求項16に記載の実施例においては、スケーリングするステップが、全てのピクセルに関して前記部分的位置の調整の量を制御するためのユーザが制御可能な入力を有する。この様にして、一般的なアリアス防止(アンチ・エイリアシング)効果を、ユーザにより完全にシャープな結果から古典的な線形に補間された画像まで制御することができる。
本発明の上記及び他の態様は、以下に記載する実施例から明らかとなり、斯かる実施例を参照して解説されるであろう。
図1は、従来の補間方法の幾つかの例を示している。ここで、図1Aはシンク(Sync)関数、図1Bは矩形関数、図1Cは三角関数、図1Dは三次元スプライン関数を各々示す。
図2は、対応する再生信号RSを示し、ここで、図2Aはシンク関数に基づき、図2Bは矩形関数に基づき、図2Cは三角又はランプ関数に基づくものである。
普通に使用されている画像再スケーリングアプリケーションは、線形方法に基づく伝統的なデジタル補間技術である。補間処理は、思想的に2つのドメイン変換を含んでいる。第1の変換は、元の離散ドメインからカーネル関数Hin(図示略)により連続(実)ドメインへ進む。第2の変換Houtは、第1変換Hinの出力をサンプリングすることにより得られ、出力サンプルを最終の離散ドメインに供給する。エイリアシングを防止するために、第2ダウンサンプリングHoutは、帯域幅が入力及び出力ドメインの2つのナイキスト周波数のうちの最小のものに制限されるようにローパスフィルタ処理された信号に対して実行されねばならない。このローパスフィルタ処理はHoutにより実行される。実際の構成は、HinとHoutとの畳み込みから得られる単一のフィルタを利用する。
図1Bないし1Dに示すような普通に使用されるフィルタカーネルは、実質的に制限された帯域幅を有する。帯域幅が制限されると、エイリアシングは発生しないが、グラフィックエッジの周囲で特に目立つようなぼやけが発生される。
グラフィックパターンは通常は制限されていない帯域幅を有しているので、これらパターンは如何なる離散ドメインにおいても正しく表すことはできない。しかしながら、テキストのような幾つかのグラフィックパターンで典型的なステップ状の遷移は、ボックス(平方、最近隣又はピクセル繰り返しとしても知られている)のような制限されていない帯域幅を持つカーネルを使用することによりスケーリングすることができる。一方、ボックスカーネルはエイリアシングを生じ、該エイリアシングは空間的視点からは幾何学的歪となる。
図3は、左側に元のテキスト画像を示し、該テキスト画像は三次カーネルを用いて補間される。右側に見られるように、ぼやけが生じている。
図4は、左側に元のテキスト画像を示し、該テキスト画像はボックスカーネルを用いて補間され、これは、右側に見られるように、幾何学的歪につながる。
図3及び図4から明らかとなるように、基本的問題は、どのような線形カーネルが選択されようとも、グラフィックパターンにはぼやけ又は幾何学的歪が生じるということである。スケーリングは、サイズの小さな(14ピクセルまでの)テキストに対して及び小さな(1と2.5との間の)拡大スケール係数に対しては非常に厳しい。これは、出力ドメインにおける1ピクセルのみの位置決めエラーが出力文字サイズと比較して大きな相対誤差になるという事実に起因する。例えば、出力ピクセルサイズが6ピクセルであるとすると、同等の歪は約20%であり得る。しかしながら、コンピュータアプリケーションにおいて普通に存在するテキストの殆どは上記の範囲内にあり、フォーマット変換に対して実際に重要なスケール係数は1から2.5の範囲内である。
本発明は、ピクセルがテキストであるか否かを検出し、この検出に基づいて補間を適応化する方法を目指すものである。
本発明による一実施例においては、先ず修正された最近隣方法を用いてテキストピクセルを出力ドメインにマッピングし、次いで幾つかの文字細部を滑らかにするような非線形補間カーネルを適用することにより、シャープさは最大化される一方、テキスト文字の均整さ(regularity)は可能な限り保存されるようにする。
既知の最近隣方法は、入力ドメインピクセルと出力ドメインピクセルとの間の厳密なマッピングを、異なるコンテンツの間の区別無しに実施する故に、幾何学的歪を生じる。一例として、同一のパターン(例えば、文字)は、該パターンの入力グリッド上の位置に依存して異なるようにスケーリングされてしまう。何故なら、最近隣処理は、特定のピクセルが特定の構造又は内容に属するという事実ではなく、相対的な入力及び出力グリッド位置のみしか考慮しないからである。この考えは、局部的に滑らかにするエッジにより変化する位置の影響を或る程度“隠蔽する”帯域制限されたカーネルが適用される場合でさえも、全ての線形なカーネルに当てはまる。
従って、本発明による方法は、テキスト及び非テキストピクセルに対して適切な処理を行う内容依存型の処理を提供する。
テキストをスケーリングする一般的な方法は、全ての単一文字をフォントタイプ及びサイズを含み認識し(例えば、OCR(光学文字認識手順)により)、次いでベクトル表現を再レンダリングすることにより、新たにスケーリングされた文字を再構築することであろう(オペレーティングシステムが文字をスケーリングする方法)。しかしながら、この方法は大きな計算能力を必要とする。これは、斯かる計算がリアルタイム表示処理において実行されねばならない場合に問題となり得る。加えて、上記再レンダリングは一般性に乏しい。何故なら、全ての可能性のあるフォントタイプを記憶及び認識することは実際的に不可能であるからである。
文字の完全なベクトル的記述に頼ることができない場合でさえ、幾つかの一般的テキスト特性を保存して垂直及び水平字画をシャープに維持すると共にこれら字画の太さを厳格に固定に維持するために、テキストレンダリング関連技術及び形態学的制約を依然として使用することができる。対角線的及び湾曲された部分は、付加的なグレイレベルにより滑らかにすることができる(アンチ・エイリアシング効果)。当該スケーリング処理は、文字の内部誤り整列を生じてはならない。即ち、グリッドへの適合は文字の全ての部分に対して一様でなければならない。
本発明の一実施例によるアルゴリズムは、テキストを含むと共に所定の解像度を有するようなソース画像が異なる解像度に適合化されなければならない場合に使用することができる。アプリケーションの実際例は、固定マトリクス表示器用の集積回路コントローラである。該コントローラの役割は、ソースビデオ(典型的には、PCグラフィックアダプタの出力)の解像度を表示器の解像度に適合させることである。画像サイズの適合とは別に、このような適合は、当該表示器の、ネーティブサイズ、リフレッシュレート、プログレッシブ/インターレース走査及びガンマ等の全ての物理的及び技術的特性に適合させるために必要である。
図5は、本発明の一実施例によるコンピュータモニタの一般的構成を示している。フレームメモリ3に結合されたフレームレート変換器2は、ビデオ信号IVGを入力し、スケーリングエンジン1に対して入力ビデオIVを供給する。ビデオ信号IVGのフレームレートは入力ビデオIVのマトリクス表示器4上での表示に適したフレームレートに変換される。スケーリングエンジン1は出力ビデオOVを得るために入力ビデオIVを、マトリクス表示器4に供給される出力ビデオOVの解像度が入力ビデオIVの解像度は無関係に該マトリクス表示器4の解像度に適合するように、スケーリングする。上記ビデオ信号IVGは、コンピュータのグラフィックアダプタにより供給される。図15に示すように、図5のフレームレート変換器2及びスケーリングエンジン1をコンピュータPCに設けることもできる。
図6は、上記スケーリングエンジンの実施例を示している。該スケーリングエンジン1は、テキスト検出器10と、スケーリングアルゴリズムを実行するスケーラ11とを有している。テキスト検出器10は、入力ビデオIVを入力し、スケーラ11に対して該入力ビデオIVにおける何の入力ビデオサンプルがテキストであり何れがそうでないかを示すような情報TMを供給する。スケーリングアルゴリズムを実行するスケーラ11は、入力ビデオIVを入力し、スケーリングされた入力ビデオIVである出力ビデオOVを出力する。上記スケーリングアルゴリズムは、上記情報TMにより、当該スケーリング処理を上記入力ビデオサンプルがテキストであるか否かに応じて適応化させる。
図7は、スケーリングアルゴリズムを実行する変換器の一実施例のブロック図を示す。該変換器は、テキスト検出器10と、出力テキストマップ構築器110と、適応型ワーパ(warper)111と、補間器112と、全体的シャープさ制御部113とを有している。
補間器112は、入力ビデオサンプルを有する入力ビデオ信号IV(入力ビデオ画像を表す)を補間して、出力ビデオサンプルを有する出力ビデオ信号OV(出力ビデオ画像を表す)を得る。補間器112はワープされた位相情報WPを入力する制御入力端を有し、該情報WPは、出力ビデオサンプルの値を(例えば、2つの)周囲の入力ビデオサンプルの値に基づいてどの様に計算するかを示す。ワープされた位相情報WPは、2つの入力ビデオサンプルの間における当該出力ビデオサンプルの値を計算しなければならない部分的位置を決定する。計算される値は、使用される補間アルゴリズム又は関数に依存する。斯かる補間アルゴリズムは、2つの入力サンプルの間における、これら2つのサンプルの間の各位置における出力サンプルの値を決定するような関数を決定する。上記2つのサンプルの間の位置は、位相情報WPにより決定される。
テキスト検出器10は入力ビデオ信号IVを入力して、何の入力ビデオサンプルがテキストであるかが示されるような入力ピクセルマップIPMを発生する。出力テキストマップ構築器110は、上記入力ピクセルマップIPMを入力し、出力ピクセルマップOPMを出力する。該出力ピクセルマップOPMは、各出力ビデオサンプルに関して当該出力ビデオサンプルがテキストであると見なされるべきか否かが示されるようなマップである。該出力ピクセルマップOPMは上記入力ピクセルマップIPMから、出力ビデオ信号OVにおけるスケーリングされた文字の幾何学的特性が入力ビデオ信号IVにおける入力文字の元の幾何学的特性に可能な限り近く維持されるように、構築される。出力ピクセルマップOPMの構築は、スケーリング係数に基づくもので、形態学的制約に基づくこともできる。
適応型ワーパ111は、出力ピクセルマップOPMに基づいて上記のワープされた位相情報(前記部分的位置)を決定する。ユーザが調整可能な全体的シャープさ制御113が、全体の画像に対するワーピングの量を制御する。
好ましい実施例においては、当該アルゴリズムは表示ICコントローラにより実行される。入力ビデオIVの出力ビデオOVへのリアルタイムな処理故に、計算の数及び複雑さ並びにメモリ資源は好ましくは制限される。特に、ピクセル毎の計算は低減されねばならない。計算に関する他の制限は、浮動小数点演算はハードウェアで実施化するには時には複雑すぎるという事実である。従って、好ましくは、論理演算のみ、多くても整数演算が使用される。メモリに関する限り、全フレームバッファ(全入力画像を記憶する)を自由に使用するアルゴリズムを設計することは原理的に可能であるが、時には、スケーリングアルゴリズムは処理連鎖における最後に実行され、外部フレームバッファへのアクセスが簡単ではなくなる場合がある。この場合、上記スケーラは該スケーラの内部メモリにしかアクセスすることができない。メモリは大きなチップ面積を占める傾向にあるので、好ましくは、処理されるべきラインの周囲の数ラインのみが斯かるメモリにバッファされるようにする。しかしながら、当該スケーリングアルゴリズムは全フレームメモリ又は限られた数のバッファされたラインの何れとでも動作する。
当該スケーリングアルゴリズムは拡大を、即ち1より大きい、特には1ないし2.5の範囲のスケーリング係数を意図し、これはグラフィックアダプタにより供給されるコンピュータビデオに対する全ての典型的なグラフィックフォーマット変換を含む。
当該スケーリングアルゴリズムは内容に基づいて駆動されるものであって、上記テキスト検出は、テキストピクセルが背景ピクセルとは異なって扱われるような特化された処理を可能にするために必要である。該アルゴリズムは好ましくは2つの主要なステップを含む。先ず、出力テキストマップが構築され、第2に、適応的な補間が実行される。最後のステップは必須ではないが、表示されたテキストの品質を更に改善する。
マッピングステップ110は、入力二進ピクセルマップIPM(前記ピクセル検出により検出されたピクセル)を出力ドメインに再構築する。この処理は二進であり、出力ピクセルが入力テキストピクセルの位置及び形態構造(近傍構造)に基づいてテキスト又は背景とラベル付けされることを意味する。
適応型補間器112はアンチ・エイリアシング処理を実行し、該処理は、文字の周囲の幾つかのグレイレベルピクセルを発生するために出力テキストの“スケルトン”が構築されたら実行される。元のテキストがシャープであった(即ち、周囲にアンチ・エイリアシング・グレイレベルがない)としても、処理された画像に幾つかのグレイレベルを発生させるのが適切である。というのは、これは、正しくなされるならギザギザ及び幾何学的歪を低減するのに役立つからである。滑らかにするグレイレベルの量は、文字の異なる部分が異なるように扱われるように調整することができる。
当該アルゴリズムを更に詳細に説明する前に、水平及び垂直方向のステップは、画像転置処理が実行された後では同一であることに注意すべきである。概念的に、全体のスケーリング処理は下記のステップを含み得る:
・(水平方向)スケーリングを実行する;
・水平方向にスケーリングされたテキスト及び水平方向にスケーリングされた画像を転置する;
・(水平方向)スケーリングを実行する;
・最終結果を転置する。
従って、以下においては、水平方向スケーリングのみを説明する。
図8は、本発明による出力テキストマップ構築の一実施例のフローチャートを示している。
図9A及び9Bは、スケーリングされた文字における分断された又は誤って整列されたテキストピクセルの例を示している。左側に示される文字は、入力ピクセルマップIPMにおける入力文字である。入力ピクセルマップIPMにおける当該文字の左側垂直字画の位置はsにより示され、右側垂直字画の位置はeにより示されている。このように、下側の水平ラインの開始ピクセルは開始ピクセル位置sにおいて開始し、終了ピクセル位置eにおいて終了する。入力テキストマップIPMにおける位置は、テキストとラベル付けされたピクセルに関してはTPにより示され、テキストとラベル付けされていないピクセルに関してはNTPにより示されている。右側に示される文字は、出力ピクセルマップOPMにおける出力文字である。出力ピクセルマップOPMにおける当該文字の左側垂直字画の位置はSにより示され、該位置は入力ピクセルマップIPMにおける位置sのスケーリングされた位置に対応する。また、右側垂直字画の位置はEにより示されている。このように、下側水平ラインの開始ピクセルはピクセル位置Sにおいて開始し、終了ピクセル位置Eにおいて終了する。出力ピクセルマップOPMにおける位置は、テキストとラベル付けされるピクセルに関してはTOPにより示され、非テキスト又は背景としてラベル付けされたピクセルに関してはNOPにより示されている。
図10は、3ラインの高さの解析ウインドウにより区別可能な種々の対角線的接続及び垂直方向整列パターンを示し、両者とも前のライン及び次のラインに向かうものである。入力ピクセルマップIPMにおいて、所定のビデオラインにおいては、テキストピクセルのシーケンスの開始はsにより示され、該シーケンスの終了はeと示されている。前のビデオラインにおいては、シーケンスの開始及び終了はsp及びepにより各々示されている。図示されていないが、出力ピクセルマップOPMにおいては、上記所定のビデオラインにおいて、s及びeにより決定される前記入力シーケンスに関連するシーケンスの開始及び終了はS及びEにより各々示される。そして、前記前のラインおいては、sp及びepにより決定される前記入力シーケンスに関連するシーケンスの開始及び終了は、Sp及びEpにより各々示される。
図8において、テキストピクセルの入力から出力へのマッピングは、入力画像201に対するテキスト検出ステップ202から開始する。本明細書に含まれる例に対して使用される可能性のある検出アルゴリズムは、代理人整理番号PHIT020011EPPの文献に記載されている。テキスト検出202はピクセルに基づくもので二進であり、各単一ピクセルに該ピクセルがテキストであるか否かを示す二進ラベルが割り当てられることを意味することに注意すべきである。
上記完全なテキストマッピングアルゴリズムの狙いは、入力画像201において発見されたテキストピクセルを有するスケーリングされた二進入力ピクセルマップIPMであるような二進出力ピクセルマップOPMを作成することである。結果としての出力ピクセルマップOPMは、周囲に幾つかの他のグレイレベルが発生され得るようなスケーリングされたテキストの“骨組み(スケルトン)”を構成する。このような理由により、該マッピングは、特に幾何学的規則性に関しての元のテキストの外観を可能な限り多く保存しなければならない。
他の二進マップをスケーリングすることにより二進マップを得る最も簡単な方法は、各出力ピクセルに入力ドメインにおける最も近いピクセルを関連づける最近隣方法を適用するものである。zをスケーリング係数、Iを現出力ピクセルのインデックス、iを関連する入力ピクセルのインデックスとすると、最近隣の式は、
Figure 2005528643
となる。出力ピクセルマップOPMにおいて、出力ピクセルの値は最近隣の入力ピクセルの値である。入力ドメインは出力ドメインよりも密でないので、所定数の入力ピクセル値が、より多くの数の出力ピクセルに関連づけられなければならない。結果として、同一の入力テキストピクセルの値が、入力ピクセル及び出力ピクセルの発生時点のずれ(シフト)に依存して、1つ又は2つの連続する出力ピクセルに対して使用され得る。入力ピクセルの発生時点に対する、この出力ピクセルの発生時点の可変性は、結果として、文字の形状の変化する太さ及び歪となる。
最近隣方法が不規則に整形された文字を生じる理由は、該方法がテキストピクセルと背景ピクセルとの区別を行っていないからである。出力ピクセルをテキスト又は背景(サンプル画像においては白又は黒)としてラベル付けする判断は、最も近い入力ピクセルのラベルに基づいてのみなされる。テキスト検出は各入力ピクセルに対してテキスト又は背景であるかの情報を追加するので、幾つかの期待されるテキスト特性を保存するために特定の制約を適用することが可能である。これらの1つは、太さの規則性である。
当該ピクセル繰り返し方法に追加する基本的制約は、入力ドメインIPMにおける長さlのテキストピクセルの如何なる連続したシーケンスも、出力ドメインOPMにおけるシーケンスに固定の長さLでマッピングされねばならないということである。理想的には、あり得る各入力シーケンス長lに関しては、対応する出力シーケンス長Lに対して任意の値を選択することができる。実際には、出力シーケンス長Lは、積l*zを整数に近似することにより決定され、ここでzはスケール係数である。斯かる整数近似は、
Figure 2005528643
のように、又は、もっと一般的には、
Figure 2005528643
なるパラメトリック丸め演算により実行することができ、ここで、1−kは、それより上ではxが最も近い大きな整数に丸められるようなxの端数部分の値である。通常のfloor演算、ceil演算及び丸め演算は、kが各々0、0.5及び1である特別なケースとして得られる。スケーリング係数zが与えられると、kの選択は入力の太さと出力の太さとの間の関係に影響を与える。事実、kが大きい程、スケーリングされたテキストは太くなる。何故なら、roundk演算は上記ceil演算のように振る舞うからである。そして、入力シーケンス長と出力シーケンス長との間の関係は、
Figure 2005528643
フローチャート(図8)において、ステップ203においては、入力ビデオIVのn番目のラインが抽出される。ライン内においては、全てのテキストシーケンス(隣接するテキストピクセルのシーケンス)が評価される。以下においては、全入力ラインが見え、従って全てのテキストシーケンスを一度に評価することができると仮定する。限定された解析ウインドウの場合の拡張は、図11に示すフローチャートに関連して説明する。
ステップ204においては、次のテキストシーケンスが検出される。ステップ205において、テキストシーケンスの開始及び終了位置s及びeの各々、並びに長さl=e−s+1が計算される。次いで、ステップ206において、所望の出力シーケンス長Lが式(3)により決定される。
この太さ保存のための制約のみが適用されたとしたら、該制約はスケーリングされた文字において分断及び誤整列を生じさせる。例えば、k=0.6及びスケーリング係数z=1.28で式(3)を用いて入力/出力長さマッピングが実行される場合を考察する。この場合、入力シーケンス長と出力シーケンス長との間の関係は、
Figure 2005528643
となる。
3ピクセル長シーケンスlは4ピクセル長シーケンスLにマッピングされるので、2つの垂直字画の位置が図9Aのように与えられた場合、右(又は左)端を分断させないで出力シーケンスを配置することは不可能である。反対に、右側の垂直字画の位置が図9Bに示すようであると、右上の接続は保存されるが、7ピクセル長シーケンスの右端は垂直方向の整列を失い、かくして、当該文字の右側に隣接して偽信号を生成する。
接続及び整列を保存するためには、出力シーケンスの位置及び/又は長さに対して幾らかの柔軟性を許容する必要がある。この点に関して言うと、式(3)を用いて計算された値は、周囲のテキストピクセルの構造に基づいて僅かに調整することができるような所望の出力シーケンス長Lと見なされねばならない。
この構造を解析するための解析ウインドウの寸法は、利用可能なハードウェア資源に依存する。以下においては、該ウインドウは現ラインの一つ上から1つ下までの3つのラインに、且つ、各ラインにおいては全ピクセルに跨ると仮定する。これは、各入力シーケンスを全体として開始sから終了eまで“見る”ことを可能にする。
出力マップにおけるテキストピクセルの接続及び整列を保存する該アイデアは、各出力シーケンスの開始S及び終了Eの位置を、これら位置を適切な位置に配置するために要する変位により、出力ピクセルが対応する入力シーケンスで見られる整列に関する情報に依存して前の出力ラインにおける対応する端部に接続/整列されるように、調整するということである。
この点に関して言うと、3ラインの高さの解析ウインドウを用いれば、図10に示すように、前のライン及び次のラインの両方に向かって、種々の対角線的接続及び垂直方向整列の間を区別することができる。
前のラインに向かっての整列及び接続(図10A、C、E及びG)は、現出力シーケンスの端部の整列を決定するために使用される。例えば、図10Aに示すような状況が検出された場合、現出力シーケンス上の開始点の上に向かう垂直方向の整列が満足されねばならないことが分かる。従って、入力ドメインIPMにおけるspに対応するような出力ドメインOPMにおける前のラインの点Spを探索する(Spの位置は、上記前のラインの計算により決定される)。この場合、現出力開始点Sは、Spと同じ点に設定される。垂直方向の整列がシーケンスの終了点において検出された場合も、同様の手順が適用される。図10E及びGに示すような対角線方向の整列の場合、現在の端部の位置は、純粋に最近隣方法により決定される。後で分かるように、この選択は対角線方向接続が常に保存されることを保証する。
Eの位置を決定するためには、
・入力ドメインにおけるeの位置、
・垂直方向の整列接続が存在するか、
・前の点が真であるなら、Epの位置、
を知る必要がある。上記リストにおける最後の項目は、Eの位置を計算するために、Epの位置が追跡されねばならないことを述べている。この目的のために、現整列レジスタ(CAR)と呼ばれる二進レジスタが導入される。出力ラインだけ長い該CARは、各ピクセル位置に関して二進値を記憶し、該二進値は垂直方向整列が満たされねばならない場合は1であり、それ以外では0となる。このレジスタCARには、対角線方向接続は含まれないことに注意されたい。
入力シーケンスにおいて該シーケンスの開始sが垂直方向に整列されていることが分かった場合、対応する出力位置Sは、前のラインにおける垂直方向出力位置Spと同一となる。この位置は、正に該位置Spに1を含む上記CARにおいて得られる。
先ず、sに対応する位置を含む出力間隔Isを計算する:
Figure 2005528643
次いで、間隔Is内で、1が見つかるまでレジスタCARが走査され、これがSpとなる。同様の手順が、
Figure 2005528643
なるシーケンスの終了Ie上の垂直方向の整列に対しても当てはまる。
上記CARは1つのラインに対して有効である。当該処理が次のラインに移動すると、新しいラインに関する整列を考慮するためにCARは更新されねばならない。実際には、ラインiの上方向整列(CARに記憶されている)は、正にラインi−1の下方向整列である。従って、次のラインのための整列は、現ラインの下方向整列(即ち、図10B及び10Cに示される構造)を調べることにより設定することができる。実際には、CARと同一の大きさの、次のラインに対する整列位置が記憶されるような他のレジスタ、即ち次整列レジスタ(NAR)、を定義することが適切である。入力シーケンスが出力ドメインにマッピングされる毎に、当該入力シーケンスの終了が解析されて、下方向の整列が発生しているかを見る。もし発生しているなら、NARにおける対応する位置が1に設定される。当該ラインの処理の終了時に、該レジスタNARは次のラインと共に使用されるべきCARの値を含んでいることになる。
要約すると、各入力テキストシーケンスに対して、以下の処理が実行される:
・入力テキストシーケンスの端部s及びeを、前のラインのテキストピクセルに関して解析する(図10A又は10Cに示す構造が検出されたか?)、
・出力ドメインにおけるシーケンス位置(S及びE)を、可能性としてはレジスタCARにおける整列を探査して、決定する、
・入力シーケンスの端部を、次のラインにおけるテキストピクセルに関して解析する(図10B又は10Fに示す構造が検出されたか?)、
・図10B又は10Fに示す構造が認識されたら、NARにおける出力ピクセルマップOPMの開始位置S(又は終了位置E)に1を設定する、
・当該ラインの終了において、レジスタNARはレジスタCARにコピーされ、次いでリセットされる。
対角線方向接続が保存される原理は、垂直方向整列の存在に関係なく上方向又は下方向の何れかに向かって対角線方向接続(図10E、10F、10G及び10Hに図示された状況)が検出された場合には、最近隣方法を適用することによりシーケンスの端部(s又はe)を単にマッピングすることである。更に詳細には、或るシーケンスの開始点sが対角線方向接続のパターン内である場合は、関連する出力端部Sは、
Figure 2005528643
となる一方、終点eがマッピングされねばならない場合、当該式は、
Figure 2005528643
となる。
現ラインに対して上方向に向かう整列のみが考察される垂直方向整列の処理とは異なり、対角線方向接続の制約条件は上方向接続又は下方向接続の両者が検出された場合に課されることに注意されたい。更に、垂直方向整列の存在に無関係に、対角線方向接続の一部である以上、シーケンスの端部は最近隣マッピングに従う。言い換えると、対角線方向接続の保存は垂直方向整列の制約よりも優先度を有する。実際には、上に向かう整列と下に向かう対角線方向接続が一緒に検証された場合、最近隣マッピング方法が適用される。実験により、対角線方向接続に特権を与えるという選択は、文字の全体的形状を一層良好に保存するように見えた。
図8において、上述したアルゴリズムは、開始点に関してはステップ207ないし212において実施され、終了点に関してはステップ213ないし218において同様にして実施される。ステップ207においては、対角線方向接続が存在するかが検出され、もし存在するなら、ステップ209において式(6)により出力マップにおける開始点Sが計算され、ステップ211において開始点が所定位置に固定されたことを示すフラグS_setが設定される。対角線方向接続が検出されない場合は、ステップ208において、垂直方向整列が存在するかが検出される。もし検出されたなら、出力ピクセルマップOPMにおける開始点Sの位置が、ステップ210において規定されるようにレジスタCARにおいて見付けられ、ステップ211においてフラグS_setが設定される。垂直方向整列が見つからない場合は、ステップ212においてフラグS_setがリセットされ、開始点Sが対角線方向又は垂直方向の制約によっては固定されないことを示す。
ステップ214は、終了点(隣接するテキストとラベル付けされたピクセルのシーケンスの右端である)に関して対角線方向接続をチェックする。もし斯かる接続があるなら、ステップ216において出力ピクセルマップOPMにおける終了点Eが式(7)により計算され、終了点Eが固定されたことを示すフラグE_setが設定される。もし斯かる接続がないなら、ステップ213において、垂直方向整列が存在するかチェックされ、もし斯かる整列が存在するなら、ステップ215において終了点EがレジスタCARに基づいて設定され、ここでも、ステップ218においてフラグE_setが設定される。もし、斯かる整列が存在しないなら、ステップ217においてフラグE_setがリセットされ、終了点Eが対角線方向及び垂直方向整列保存によっては固定されないことを示す。
上記整列/接続ステップが一旦実行されると、3つの可能性がある。
(i)当該制約により、両端部が固定されている。この場合、出力シーケンスの位置は完全に決定され、当該アルゴリズムはステップ225に進む。
(ii)当該制約により、開始点S又は終了点Eのみが固定されている。2つの端部のうちの一方は自由に調整可能であるから、出力の長さが、式(3)により算出された所望の長さLになるという条件を課すことができる。
従って、ステップ221において、開始点Sは前記整列制約により固定されているが、終了点Eは未だ固定されていないことが検出された場合は、終了点Eはステップ224において、
Figure 2005528643
により決定される。
同様に、ステップ220において、終了点Eは固定されているが、開始点Sは未だ固定されていないことが検出された場合は、開始点Sはステップ223において、
Figure 2005528643
と計算される。
(iii)ステップ219において、両端部S及びEは自由に調整することができると検出された場合、出力長さLの条件とは別に、当該シーケンスの位置を決定することができる。好ましくは、出力シーケンスの中間点を正確に(グリッドに拘束されない)マッピングされたものと整列させることにより、当該ラインは中心が合わされるようにする。2つの端部の正確なマッピングは、
Figure 2005528643
であり、関連する中間点は
Figure 2005528643
である。ステップ222においては、長さをLdに保ちながら、出力シーケンスを最良に中心合わせするような端部S及びEの値が、
Figure 2005528643
と算出される。
図8において、ステップ219ないし224は当該アルゴリズムの上記部分を実行する。ステップ219においては、開始点S及び終了点Eの両者が制約により固定されていないことが決定される。もしそうなら、当該ラインはステップ222において式(12)により中心が合わされる。ステップ220においては、開始点Sは固定されていないが、終了点Eは固定されているかが判定される。もしそうなら、開始点Sが式(9)により算出される。ステップ221においては、開始点Sは固定されているが、終了点Eは固定されていないかが判定される。もしそうなら、終了点Eがステップ224において式(8)を用いて計算される。
次に、ステップ225において、レジスタNARが更新され、ステップ227において当該ラインの終点に到達したかがチェックされる。未だ到達していないなら、当該アルゴリズムはステップ204に進む。もし到達したなら、ステップ228においてレジスタNARがレジスタCARにコピーされ、ステップ229においてライン番号が1だけ増加される。そして、当該アルゴリズムはステップ203に進む。後述する適応的補間ステップはステップ226により示されている。
要約すると、フローチャート8は出力テキストマップOPMの構築のための実施例を示している。各入力シーケンスに対して、開始点s及び終了点eの位置が先ず決定される。次いで、所望の出力長Ldが計算される。この時点で、対角線方向接続又は垂直方向整列を見付けるために2つのシーケンス端部が別々に解析される(シーケンス整列解析)。対角線方向接続が検出された場合、垂直方向整列処理はスキップされることに注意されたい。両端部に関して、ブール変数(S_set及びE_set)が規定される。この変数は、関連する端部が当該制約条件により固定された場合にセットされ、逆の場合にリセットされる。この情報に基づいて、出力シーケンスが位置決めされる(出力シーケンス位置決め)。可能性のある状況は:
S_set=0及びE_set=0。この場合、開始及び終了点の両者は固定されない。出力シーケンスは式(12)により位置決めされる。
S_set=0及びE_set=1。出力シーケンスの開始点は式(9)により決定される。
S_set=1及びE_set=0。出力シーケンスの終了点は式(8)により決定される。
S_set=1及びE_set=1。出力シーケンスは既に固定されている。
S及びEの位置が一旦算出されたら、入力構造に関する更なるチェックが実行される。e(又はs)が下方向に向かう垂直整列を示す場合は、NARにおける位置E(又はS)が1にセットされる。この段階において、実際の画像補間に要する全ての要素は準備が整っており、適応型補間(アンチ・エイリアシング)ステップ226を実行することができる。
上述したアルゴリズムにおいては、マッピングされるべき全シーケンスは一度に見ることができ、これは、任意の長さのシーケンスをビデオライン内にマッピングすることができるが、ラベル付けされた入力ピクセルの全ラインを記憶しなければならないことを意味している。
これは、位置/構造レジスタが導入された場合には、必要はない。例えば、0→1又は1→0の遷移の一部であるかを見付けるために、入力ビデオIVの各入力ピクセルの周囲の3x3ウインドウを解析することができる。第1の場合(シーケンスの開始)においては、現位置sを垂直方向整列及び対角線方向接続(図10Aないし10Fに示す構造)に関する情報と一緒に内部位置レジスタに記憶することができる。位置eにおいて後の1→0遷移が検出された場合、前節で説明した手順に従うことにより全入力シーケンスを出力ドメインにマッピングし、かくして長さ及び整列/接続の両制約条件を保存するための全ての情報(端部の整列/接続及び入力シーケンス長)が利用可能となる。勿論、この解決策は、入力シーケンスの長さ(従って、対応する出力の長さ)はラインの長さのみにより制限されるので、全出力ラインがアクセス可能であることを暗黙的に仮定している。
原理的には、この最後の好ましい方法によれば、全体の振る舞いは、資源の制限のない前述したものと全く同一である。マッピングステップに関する該好ましいアルゴリズムは、図11のフローチャートに示され、該フローチャートは、シーケンス開始処理及びシーケンス終了処理を直列化することにより図8のフローチャートによって得られる。
図11は、本発明による出力テキストマップ構築の一実施例のフローチャートを示している。
ステップ302において、ステップ301における入力ビデオVIの何の入力ピクセルが入力テキストピクセルITPであるかが検出される。ステップ303において、入力ビデオVIのラインnの入力ピクセル0が入力される。ステップ335において、カウンタがインデックスiを1によりインクリメントし、ステップ304においては、当該アルゴリズムにおいてインデックスi(入力ピクセルマップIPMにおける当該ラインの位置)の入力ピクセルが選択される。
ステップ305において、ラインnにおける入力ピクセルiがテキストシーケンスの開始か否かがチェックされる。もしシーケンスの開始でないなら、ステップ335においてインデックスiが増加され、次のピクセルが評価される。もしシーケンスの開始なら、ステップ306において、開始位置及び該位置の近傍の構造が記憶される。ステップ307ないし312は、図8のステップ207ないし212と同一であり、当該開始ピクセルに対して対角線方向又は垂直方向の整列が保存されるべきかを決定する。ステップ307においては対角線方向接続についてチェックされ、ステップ308では垂直方向整列についてチェックされる。ステップ309においては、開始位置Sが最近隣法により決定され、ステップ310ではレジスタCARの情報を用いて決定される。開始位置Sが固定されない場合は、ステップ312において、フラグS_setが零にリセットされる。開始位置Sが固定された場合は、ステップ311においてフラグS_setが1にセットされる。
フラグS_setの値が決定された後、ステップ313においてiが1だけ増加される。そして、ステップ314においては、次のピクセルが終了ピクセルであるかチェックされる。終了ピクセルでない場合、iはステップ315においてインクリメントされ、ステップ314により次のピクセルが評価される。ステップ314においてシーケンスの終了が検出された場合は、ステップ316ないし321が実行されるが、これらステップは図8のステップ213ないし218と同一である。これらステップは、当該終了ピクセルに対して対角線方向又は垂直方向整列が保存されるべきかを決定する。ステップ316は垂直整列についてチェックし、ステップ317は対角線方向接続についてチェックし、ステップ318においては終了点EがレジスタCARの情報を用いて設定され、ステップ319においては、終了点Eが最近隣法により設定される。ステップ320はフラグE_setをリセットし、ステップ321はE_setフラグをセットする。
ステップ322においては入力シーケンス長lが決定され、ステップ323では出力シーケンス長Ldが計算される。
ステップ324ないし334は、図8のステップ219ないし229と同一である。ステップ324において、S_set=0且つE_set=0であるかがチェックされ、もしそうなら、出力シーケンスがステップ325において中心を合わされる。ステップ326においては、S_set=0且つE_set=1であるかがチェックされ、もしそうなら、ステップ327において開始点Sが式(9)により決定される。ステップ328においては、S_set=1且つE_set=0であるかがチェックされ、もしそうなら、ステップ329において終了点Eが式(8)により決定される。
ステップ330においてはレジスタNARが更新され、ステップ331においては適応型補間が実行される。ステップ332においてラインの終了が検出されないなら、iがインクリメントされ、ステップ304において次の入力サンプルが取り込まれる。ステップ332においてラインの終了が検出された場合は、ステップ333においてレジスタNARがレジスタCARにコピーされ、ステップ334においてインデックスnが1だけ増加されて、ステップ303において次のビデオラインを抽出する。
この場合、必要とされるメモリ資源は、入力画像に対するスライドする3x3のウインドウ、出力ラインの長さだけの3つの二進バッファ、CAR、NAR及び現出力テキストマップラインである。
当該検出マッピング手順の一実施例においては、サンプルを記憶する出力領域は全体のラインよりは小さい。CMAXが最大の出力シーケンス長であると仮定すると、対応する最大の入力シーケンス長cMAXは、
Figure 2005528643
となる。出力シーケンス長CがCMAXより大きい場合(出力シーケンス長C>CMAX)、2つの出力端部は離れ過ぎているので同時にマッピングすることは可能ではない。出力長を保存することができなくても、接続は依然として維持することはできる。各入力ピクセルに関して、CMAX+2列及び3行に跨る当該ピクセルの周囲の領域(解析ウインドウ)を見ることは依然として可能である。最初の仮定と比較して、可視性を全体の入力ラインからCMAX+2列に限定する。或る入力ピクセルが当該解析ウインドウの第2列における中間の行にある場合、テキストシーケンスの開始である0→1遷移を検出することができる。同様にして、1→0の遷移が発生する場合、シーケンスの終了は最終位置の次(列CMAX+1)であろう。
今まで述べたアルゴリズムは、完全に見える場合にシーケンスをマッピングするが、これはシーケンス長がCMAX以下の場合のみ当てはまる。当該シーケンスの一部のみしか見えない場合は、各入力ピクセルに対して下記のアルゴリズムを実行することができる:
・解析ウインドウにテキストピクセルが含まれていない場合は、何のアクションもとられない。
・現ピクセルがシーケンスの開始であり、該シーケンスの終了が解析ウインドウ内である場合、全シーケンスは該解析ウインドウ内にある。この場合、マッピングは前述したアルゴリズムにおいて説明したものと同一となる。
・当該シーケンスの開始のみが見える場合、開始点sは整列/接続に関する前記規則に従うことにより出力グリッドにマッピングされ、終了点eは式(6)によりマッピングされる。
・当該解析ウインドウの中間のラインのみにテキストピクセルが含まれる場合、開始点s及び終了点eの両者は、最近隣法の式(6)及び(7)により各々マッピングされる。
・当該シーケンスの終了eのみが見える場合、開始点sは式(6)によりマッピングされる一方、終了点eは前記整列/接続制約条件によりマッピングされる。
各入力ピクセルが到着するにつれて、出力基準領域が順方向に移動され、前のものと部分的に重なり合うようにすることに注意されたい。結果として、出力シーケンスは漸進的に構築される。2つの端部は前記整列/接続規則に従うことにより明示的にマッピングされる一方、当該シーケンスの長さLはスライドするウインドウの処理の結果であり、該処理は本節の最初に述べたように整列及びCMAXまでの所望の長さを保存することを可能にする。
前記マッピング部110(出力テキストマップ構築器とも呼ぶ)は二進テキスト画像用のスケーリング・アルゴリズムであり、該アルゴリズムはピクセルに基づく方法、即ちピクセル繰り返しに典型的なアーチファクトを低減する傾向にある。残留する幾何学的歪を更に低減すると共に、シャープさと整然さとの間の制御された妥協を得るために、非線形適応型フィルタに基づいた補間段112(補間器とも呼ぶ)が導入される。補間段112は適応型ワーパ111を介してマッピングステップ110により制御され、対角線状及び湾曲された部分が水平及び垂直字画(これらは、出力ドメインが矩形のサンプリンググリッドにより特徴付けられるので、常にシャープ且つ整然としている)より大幅に多く滑らかにされるように、局部的な形態(テキストピクセル構造)に応じてグレイレベルを導入する。
他の重要なフィーチャは、全体的シャープさ制御113が、完全にシャープな結果(基本的に、周囲にグレイレベルのない出力マップ)から古典的な線形に補間された画像へ変更するための単一の全体制御により全体的なアンチエイリアシング効果を調整することを可能にする点である。採用される特定の非線形方法(ワープ距離(Warped Distance、即ちWaDi)フィルタ制御)は、計算の基礎として如何なるカーネル(双線形、三次等)を使用することも可能にする。このようにして、上記全体の制御は、完全にシャープな画像から任意の線形補間にわたる。この意味において、提案された該アルゴリズムは線形補間の一般化である。
以下においては、先ず、ワープ距離補間器112の背後の一般理論を、図12を参照して説明する。マッピングステップ110により得られた出力テキストマスクOTMによるWaDiの制御は、図13に示すフローチャートを参照して説明する。
図12は、既知のワープ距離(WaDi)の概念を説明するための波形及び入力サンプルを示している。関数f(x)は入力ビデオ信号IVにおける遷移の一例を示している。
線形補間器用の既知のワープ距離概念は、線形補間器を自然(非グラフィック)画像の局部的ピクセル構造に適応化させる。特に、狙いは補間処理によりエッジがばかされるのを防止することであった。補間されるべき出力ピクセルが出力マップOPMにおける位置uにある場合、該出力ピクセルの入力ドメイン(IPM)における対応する位置はx=u/zであり、ここで、zはスケーリング係数である。位相はp=x−x0であり、ここでx0はxの左隣りの入力ピクセルである。基本カーネルとして簡単なテント(双線形)カーネルが適用され、出力値は:
Figure 2005528643
となるが、ここで、x1はxの右隣の入力サンプルである。
一般的に言って、補間されたサンプルは隣接するピクセルの線形結合であり、該線形結合は部分的位置(又は位相)pに依存する。輝度エッジにおける補間は、位相を、xが仮想的に右側又は左側入力ピクセルに向かって移動されるように局部的にワープすることにより適応化される。このワープは、輝度エッジが存在すると一層強く、滑らかな部分においては一層軽い。ワープの量を決定するために、補間されるべきものの周囲の4つのピクセルが解析され、非対称値、
Figure 2005528643
が計算されるが、ここで、Lは許容される輝度レベルの数(8ビット量子化の場合は256)であり、x-1は入力サンプルxに先行する入力サンプルであり、xは入力サンプルxに後続する入力サンプルである。正弦波状のエッジモデルが当てはまるならば、(14)における前記非対称値は、当該エッジが完全に対称な場合は0となり、該エッジが右側(左側)において一層平坦である場合は1(又は−1)となる。
補間されるべきサンプルは、該サンプルが属する平坦領域に向かって移動されるべきである。従って、A>0の場合、位相pは増加されねばならず、A<0の場合、位相pは減少されねばならない。これは下記のワープ関数、
Figure 2005528643
により得られ、ここで、kはワープの一般量(general amount)である。kが範囲[0,1]内である場合は、ワープされた位相p’は範囲[0,1]内に留まる。2つの極値p=0及びp=1はA及びkの値に無関係に維持される(各々、p’=0及びp’=1)ことに注意すべきである。これは、基本カーネルが補間器である場合(xが入力サンプルの位置の1つに正確に一致する場合に、補間された信号が入力信号に等しい場合)、ワープされたカーネルも依然として補間器であることを意味する。
本発明による一実施例においては、アンチエイリアシング(文字の周囲のグレイレベル)の量を制御するために位相ワープの概念が使用される。既知のWaDiと比較して、テキストスケーリングのための該ワープ関数は、テキスト形態学を考慮するために完全に再設計される。更に、式(15)の一般的制御は、線形にスケーリングされた画像から完全二進のものまでにわたるのを可能にするような一層複雑な制御により置換される。
図13は本発明の一実施例によるWaDiコントローラ112の動作を説明するフローチャートを示す。該WaDiコントローラ112は各出力ピクセル位相pに適用されるべきワープの量を決定する。新たなワープを計算するために、各サンプルに対して下記の貢献度が考察される。
・計算されるべき出力ピクセルの分類(テキスト又は背景)、この情報はマッパ110により直接供給される。
・形態学的制約条件、現在のものの周囲のテキストピクセルのパターンは局部的なアンチエイリアシング効果を決定する。例えば、現ピクセルが対角線状ラインの一部である場合、当該ワープは水平又は垂直方向の真っ直ぐなラインに属するピクセルの場合ほどは強調されない。
・アンチエイリアシングの所要の一般量、これは外部ユーザ制御である。2つの極限値は基本カーネル及び完全シャープな補間(基本的にマッピングステップにより得られる二進補間)である。この制御の中間値は2つの極限値の純粋な混合ではなく、前のステップにより考慮された種々のピクセル構造のアンチエイリアシングレベルの漸進的又は微分された適応化である。
ワープ処理はテキストエッジの周囲で、従ってテキストシーケンスの開始及び終了においてのみ必要とされる。何故なら、内側の部分は単色(一定)であって、どの様な補間カーネルも同じ(一定の)結果を生じるからである。従って、一般性を失うことなく、位相pはテキストシーケンスの内側部分及び背景内では変更されないままとされると仮定することができる。端部はステップ401において検出される。
アルゴリズム的見地から、当該WaDi制御は、入力テキストマップにおいて遷移0→1(テキストシーケンスの開始s)及び1→0(テキストシーケンスの終了e)が検出された場合にのみ適用する。この検出は、本来的に、マッピングステップ110により実行される。従って、当該適応型補間ステップ112は、前記マッピング段階に(図8のフローチャートにおけるNAR更新の直前に)挿入することができる。
ステップ402において、シーケンスの開始s又は終了eが検出されると、当該フローチャートにおける2つのブランチのうちの適切な方が選択される。これら処理は基本的に同一であり、形態学的制御に関連する幾つかのパラメータ設定のみが相違する(ステップ406ないし409及びステップ419ないし422参照)。以下においては、シーケンスの開始のみが説明される。
ステップ402においてシーケンスの開始sが検出された後、ステップ403において、どの出力ピクセルが入力マップIPMにおける0→1遷移により関わられたかが決定される。これらピクセルの位相のみが、WaDiコントローラ112により計算される。このように、当該計算に含まれるものは出力遷移間隔、
Figure 2005528643
内で見付けられる全てのピクセルである。テント(双線形)カーネルの場合、上記出力遷移間隔Iwの外側の出力ピクセルは重要ではない。何故なら、入力マップIPMにおける(位置がsより大きいか又はs−1より小さい)2つの隣接する入力ピクセルは同一のラベル(0又は1)を有し、従って位相値pに無関係に同じ結果を生じるからである。広がりが4ピクセルの立方のような長さLhのカーネルの一般的ケースにおいては、式(16)は近似に過ぎず、全ステップ応答を含むように適応化されねばならない:
Figure 2005528643
例示として、且つ、簡略化のために、双線形カーネルを説明するが、より長いカーネルへの拡張は簡単であろう。
例示として、上記形態学的制御は現入力ピクセル(前記マッピングステップにより検出されたs又はe)の周囲の3x2ウインドウの解析に基づくものとする。該解析ウインドウは、下記の6つの分類にグループ化された全ての可能性のある構造を含むような小さなデータベースでの一致を見付けるために検索される。
・隔離された開始(終了)ピクセル。この構造は、例えば10ポイントのアリアル“T”のような小さなサイズのサンセリフ文字で見付けられる多くの水平字画に典型的である。
・垂直方向に整列されたピクセル。これらは垂直方向字画に典型的である。
・当該ピクセルは、細い対角線方向字画の一部である。
・当該ピクセルは、太い対角線方向字画又は曲線の一部でありそうである。
・当該ピクセルは、より太い対角線方向字画の一部であり得るが、水平方向ラインと垂直方向ラインとの間の交差の一部でもあり得る。
・当該ピクセルは、凹部の一部である。
入力遷移構造の決定は、ステップ404において実行される。ステップ405において、出力遷移間隔Iwにおける左端ピクセルが取り込まれる。
本発明の一実施例によるWaDiを制御する当該アルゴリズムと、自然画像用の既知のアルゴリズムとの間の主たる相異は、ワープの量とは別に、本発明の実施例においてはワープの方向又は符号が規定される点にある。これは、ワープをテキスト/背景分類に基づいて左又は右の補間サンプル(各々、図12におけるx0又はx1)に向かって駆動することを可能にする。ワープ係数Wpixは位相p’の量及び方向(各々、絶対値及び符号)を定量化するが、これは現ピクセルに対しては、
Figure 2005528643
と定義される。
上述したフィーチャとは別に、ワープ関数の定義は最小の可能な変位の制御も可能にする。例えば、ワープWpix=0.3及びp=0なら(現出力ピクセルが正確に入力ピクセルと一致する)、p’=0.3となり、これは出力ピクセルが、元の位相とは無関係に、少なくとも0.3ピクセル右に向かって移動されることを意味する。
上記ワープ関数の他の特性は、該関数がpの二次関数であるという事実によるものである。係数Wpixが正(又は負)であり、且つ、pがオリジンに近い(1に近い)場合、ワープ効果は一層強く、入力サンプルに近い出力ピクセルは中途のピクセルよりも“引き付けられる”ことを意味する。
形態学的制御は、各出力ピクセルに対して特定のワープ係数Wpixを割り当てることにより達成される。入力遷移が開始遷移であると仮定すると(終了遷移に対しても同様に当てはまる)、出力遷移間隔Iwにおける各ピクセルに対してワープ係数Wpixは下記のように選択される:
・ステップ406において、当該ピクセルがマッピング110によりテキストとしてマーク付けされていることが検出された場合、ステップ408においてワープ係数の値はWpix=1に設定される。この設定は、現出力サンプルに右側入力値(テキストである)を割り当てることと等価である。この狙いは、テキストとマーク付けされた出力ピクセルは元の画像と同じカラーを保存すべきであるということである。
・ステップ406において当該ピクセルが背景としてマーク付けされていることが検出された場合、ステップ407において係数Wpixは−Wxとなり、ここで、Wxはステップ404における形態学的解析により検出された構造に固有の定数である。一例として、定数Wxの可能性のある定義は以下の通りである:
Figure 2005528643
シーケンスの開始の場合、出力ピクセルが背景とマーク付けされていた場合はステップ407において係数Wpixは負となり(Wpix=−Wx)、該ピクセルがテキストとマーク付けされていた場合はステップ408において係数Wpixは正となる(Wpix=Wx)。このことは、背景ピクセルは左に向かって移動され、テキストピクセルは右に向かって移動されることを意味する。
ステップ409においては、位相pが計算される。大きな歪値はシャープな結果に対応する。従って、対角線方向パターンに関係する構造は、ワープ係数が小さいので滑らかにされる。一方、水平又は垂直字画の一部でありそうな構造は背景に向かって強くワープされ、かくして、テキストに対するコントラストを強調する。
全体的制御段113(ステップ410ないし413及び415)は、アンチエイリアシングの全体的量を調整する。一例として、制御段113は、前記形態学的制御ステップにおいて計算された位相ワープを変調することにより、アンチエイリアシングのレベルを基本カーネル(最大のアンチエイリアシング)から完全にシャープな画像(テキストの周囲にグレイレベルがない)まで設定することができる。例えば、間隔[0,2]の範囲の単一のパラメータGを使用することにより、全体的ワープ制御に対する動作的制約は下記のようになる:
・G=0→無ワープ効果。入力ビデオ(IV)は純粋な基本カーネルにより処理される。
・G=1→ワープは形態学的制御により規定される。
・G=2→テキストの周囲にグレイレベル無し。結果としての画像は、出力テキストマップを直接使用し、テキスト/背景ラベルをテキスト/背景カラーで置換することにより決定される。
上記3つの制約条件を全て満たすためには、係数Wpixは係数Wpix’により置換され、該係数は例えば断片毎に線形な関係である(ステップ412):
Figure 2005528643
係数Wpix’は係数Wpixと同一の符号を有し、従ってワープ方向は変化されない。式(19)の興味ある特性は、G<1及びG>1に対して傾斜が変化することである。第1部分における傾斜は係数Wpixに比例する一方、第2部分(G>1)においては該傾斜は1−Wpixに比例する。従って、係数Wpixの大きな値に対しては、シャープ化効果の殆どは0<G<1なる範囲において発生する一方、係数Wpixの小さな値(<0.5)に対しては、該効果の殆どはパラメータG>1に対して生じる。係数Wpixは局部的な形態に依存するので、結果は、Gが変化する場合、文字の異なる部分が異なるようにシャープ化されるということになる。ステップ411はGの値を制御する。
係数Wpixが小さい場合、ワープ関数(18)は恒等式(p’=p)のように振る舞う傾向がある。定義により、当該ワープ関数は、係数Wpixが零に近くても、二次である。従って、p=0又はp=1の場合を除き、位相は依然としてワープされる(p’<>p)。この欠点を克服するために、混合関数(blending
function)が導入され、該混合関数は零に近づくGの値に対して元の位相をワープされた位相よりも大きく重み付けする:
Figure 2005528643
ここで、
Figure 2005528643
である。関数t(G)はステップ410において計算され、ワープ係数Wpix’はステップ412において式(19)を用いて決定され、位相p’はステップ413において式(18)を使用して決定され、位相p”はステップ415において式(21)に従って決定される。尚、式(21)は、Gの小さな値に対してワープされた位相値を補正するための重み付け関数の一例に過ぎないことに注意されたい。好ましい実施例においては、位相p”を得るために、補間器112はワープされた位相WPにより制御される(図7に示すように)。全体的制御113が必要ない場合は、補間器112はステップ409により計算された位相pを用いて制御される。
ステップ416において、出力輝度が、新たな位相pを使用することによって、入力ピクセルの線形な結合により計算される。ステップ417においては、現ピクセルが出力遷移間隔Iにおける最後のものであるかが検査され、もしそうでないなら、現出力遷移間隔Iに関する計算は、ステップ406において次のピクセルに対して継続される。該次のピクセルはステップ418において取り込まれる。
ステップ402において当該シーケンスの終了が検出された場合も、同様のアルゴリズムが実行される。唯一の相異は、ステップ406ないし409がステップ419ないし422により置換されることである。
ステップ419において、当該ピクセルがマッピング110によりテキストとマーク付けされていたことが検出された場合、ステップ421においてワープ係数の値がWpix=−1に設定される。この設定は、左側入力値(テキストである)を現出力サンプルに割り当てることと等価である。この狙いは、テキストとしてマーク付けされた出力ピクセルは、元の画像と同じカラーを保存すべきであるということである。ステップ419において、当該ピクセルが背景としてマーク付けされていたことが検出された場合、ステップ420において係数WpixはWxとなり、ここでWxはステップ404において形態学的解析により検出された構造に固有の定数である。ステップ422においては、位相pが計算される。
図14は、上から下に、三次補間を用いて得られるスケーリングされたテキスト、本発明による実施例、及び最近隣補間を示している。本発明による実施例により提供される改善が明らかに示されている。
図15は、ビデオ発生器PCのブロック図を示し、該PCは中央処理ユニットCPUと、表示装置の表示スクリーン上に表示されるべき出力ビデオ信号OVを供給するビデオアダプタGAとを有している。ビデオアダプタGAは、入力解像度を持つ入力ビデオ信号IVを、出力解像度を持つ出力ビデオ信号OVに変換する変換器を有している。そして該変換器は、入力ビデオ信号IVにおけるテキストである入力ピクセルを入力テキストピクセルITPとラベル付けして、どの入力ピクセルが入力テキストピクセルITPであるかを示す入力ピクセルマップIPMを得るラベラ(labeler)10と、入力ビデオ信号IVをスケーリングして出力ビデオ信号OVを供給するスケーラ11とを有し、該スケーリングの量は入力ピクセルが入力テキストピクセルITPとラベル付けされているかに依存する。
尚、以上に述べた実施例は本発明を限定するというよりは解説するものであり、当業者であれば添付した請求の範囲から逸脱すること無しに多くの代替実施例を設計することができることに注意すべきである。また、請求項において括弧内の如何なる符号も、請求の範囲を限定するものと見なしてはならない。また、“有する”なる文言は請求項に記載されたもの以外の構成要素及びステップの存在を排除するものではない。また、本発明は、幾つかの別個の要素を有するハードウェアにより、及び適切にプログラムされたソフトウェアにより実施化することができる。また、幾つかの手段を列記する装置の請求項において、これら手段の幾つかは1つの同一のハードウェア品目により具現化することができる。また、特定の手段が相互に異なる従属請求項において引用されるという単なる事実は、これら手段の組み合わせが有利に使用することができないことを示すものではない。
図1Aは、従来の補間方法の一例を示す。 図1Bは、従来の補間方法の他の例を示す。 図1Cは、従来の補間方法の他の例を示す。 図1Dは、従来の補間方法の他の例を示す。 図2Aは、対応する再生信号を示す。 図2Bは、対応する再生信号を示す。 図2Cは、対応する再生信号を示す。 図3は、元のテキストを左側に示すと共に、三次カーネルにより補間された画像を右側に示す。 図4は、元のテキストを左側に示すと共に、ボックスカーネルにより補間された画像を右側に示す。 図5は、本発明の実施例によるコンピュータモニタの概要を示す。 図6は、スケーリングエンジンの一実施例を示す。 図7は、スケーラの一実施例のブロック図を示す。 図8は、本発明による出力テキストマップ構築の一実施例のフローチャートを示す。 図9Aは、スケーリングされた文字における誤って整列されたテキストピクセルの一例を示す。 図9Bは、スケーリングされた文字における分断されたテキストピクセルの一例を示す。 図10Aは、垂直方向に整列されたパターンを示す。 図10Bは、垂直方向に整列されたパターンを示す。 図10Cは、垂直方向に整列されたパターンを示す。 図10Dは、垂直方向に整列されたパターンを示す。 図10Eは、対角方向の接続を示す。 図10Fは、対角方向の接続を示す。 図10Gは、対角方向の接続を示す。 図10Hは、対角方向の接続を示す。 図11は、本発明による出力テキストマップ構築の一実施例のフローチャートを示す。 図12は、既知のワープ距離(WaDi)方法を説明する波形を示す。 図13は、本発明の一実施例によるWaDiコントローラの動作を説明するフローチャートを示す。 図14は、上から下へ、三次補間、本発明による一実施例及び最近隣補間を各々用いて得られるスケーリングされたテキストを示す。 図15は、本発明によるスケーラを備えるビデオ信号発生器のブロック図を示す。

Claims (19)

  1. 入力解像度を持つ入力ビデオ信号を、出力解像度を持つ出力ビデオ信号に変換する方法であって、該方法が、
    前記入力ビデオ信号におけるテキストである入力ピクセルを入力テキストピクセルとしてラベル付けして、何の入力ピクセルが入力テキストピクセルであるかを示す入力ピクセルマップを得るステップと、
    前記入力ビデオ信号をスケーリングして前記出力ビデオ信号を供給するステップであって、該スケーリングが、当該入力ピクセルが入力テキストピクセルとしてラベル付けされているかに依存するようなステップと、
    を有することを特徴とする方法。
  2. 請求項1に記載の方法において、該方法が、
    前記入力ピクセルマップを形成する前記ラベル付けされた入力ピクセルを出力ピクセルマップにマッピングするステップであって、この出力ピクセルマップが該出力ピクセルマップにおける何の出力ピクセルがテキストであるかを示すようなステップ、
    を更に有し、前記マッピングが、
    (i)前記入力解像度による前記出力解像度の除算により定義されるスケーリング係数(z)と、
    (ii)前記入力ピクセルマップにおける当該入力ピクセルの位置(s)と、
    (iii)取り囲む入力テキストピクセルを伴う当該入力テキストピクセルにより形成される幾何学的パターンと、
    に基づくものであり、前記入力ビデオ信号の補間が前記出力ピクセルマップにより制御されることを特徴とする方法。
  3. 請求項2に記載の方法において、前記マッピングするステップが、
    前記入力ビデオ信号のビデオラインにおいて、前記入力ピクセルマップにおける連続する入力テキストピクセルのラインの開始入力ピクセルの開始入力位置(s)であるような位置を検出するステップと、
    前記入力ビデオ信号の前のビデオラインにおいて入力テキストピクセルが前記開始入力ピクセルと対角線方向に接続されているかを判断するステップと、
    を有し、もし対角線方向に接続されているなら、
    前記開始入力ピクセルに対応する開始出力ピクセルの前記出力ピクセルマップにおける出力位置(S)を、{(前記開始入力位置−1/2)*前記スケーリング係数}の最も近い大きい整数として算出することを特徴とする方法。
  4. 請求項2に記載の方法において、前記マッピングするステップが、
    前記入力ピクセルマップにおいて、連続する入力テキストピクセルのラインの開始入力ピクセルの開始入力位置(s)であるような位置を検出するステップと、
    前記入力ビデオ信号の前のビデオラインにおいて入力テキストピクセルが、前記開始入力ピクセルの前記開始入力位置(s)と同一の開始入力位置(sp)に存在するかを判断するステップと、
    を有し、もし同一の開始入力位置に存在するなら、
    前記出力ピクセルマップにおいて、前記開始入力ピクセルに対応する開始出力ピクセルを、前記前のビデオラインの前記入力テキストピクセルに対応する前記開始出力ピクセルと同一の開始出力位置(S)に配置することを特徴とする方法。
  5. 請求項2に記載の方法において、前記マッピングするステップが、
    前記入力ピクセルマップにおいて、連続する入力テキストピクセルのラインの入力長(l)を決定するステップと、
    連続する出力テキストピクセルの対応するラインの出力長(L)を、前記入力長(l)と前記スケーリング係数(z)との積の整数として計算するステップと、
    を有していることを特徴とする方法。
  6. 請求項5に記載の方法において、前記計算するステップは、前記連続する出力テキストピクセルのラインの前記出力長(L)をL={(l*z+k)の最も近い小さな整数}として計算するように構成され、ここで、lは前記入力長であり、zは前記スケーリング係数であり、kは0と1との間の数であることを特徴とする方法。
  7. 請求項2に記載の方法において、前記マッピングするステップが、
    連続する入力テキストピクセルのラインの開始入力ピクセルの、前記入力ピクセルマップにおける開始入力位置(s)であるような位置(s)を検出するステップと、
    前記入力ビデオ信号の前のビデオラインにおいて、入力テキストピクセルが前記開始入力ピクセルと対角線方向に接続されているかを判断するステップと、
    前記対角線方向に接続されているなら、前記開始入力ピクセルに対応する開始出力ピクセルの前記出力ピクセルマップにおける出力位置を、{(前記開始入力位置−1/2)*前記スケーリング係数}の最も近い大きい整数として算出するステップと
    前記対角線方向に接続されていないなら、前記入力ビデオ信号の前のビデオラインにおいて入力テキストピクセルが、前記開始入力ピクセルの前記開始入力位置と同一の開始入力位置に存在するかを判断するステップと、
    もし前記同一の開始入力位置に存在するなら、前記出力ピクセルマップにおいて、前記開始入力ピクセルに対応する開始出力ピクセルを、前記前のビデオラインの前記入力テキストピクセルに対応する前記開始出力ピクセルと同一の開始出力位置(S)に配置するステップと、
    を有していることを特徴とする方法。
  8. 請求項7に記載の方法において、前記マッピングするステップが、
    前記連続する入力テキストピクセルのラインの終了入力ピクセルの、前記入力ピクセルマップにおける終了入力位置を検出するステップと、
    前記入力ビデオ信号の前のビデオラインにおいて、入力テキストピクセルが前記終了入力ピクセルと対角線方向に接続されているかを判断するステップと、
    前記対角線方向に接続されているなら、前記終了入力ピクセルに対応する終了出力ピクセルの前記出力ピクセルマップにおける出力位置を、{(前記開始入力位置−1/2)*前記スケーリング係数(z)}の最も近い小さな整数として算出するステップと
    前記対角線方向に接続されていないなら、前記入力ビデオ信号の前のビデオラインにおいて入力テキストピクセルが、前記終了入力ピクセルの前記終了入力位置と同一の終了入力位置に存在するかを判断するステップと、
    もし前記同一の終了入力位置に存在するなら、前記出力ピクセルマップにおいて、前記終了入力ピクセルに対応する終了出力ピクセルを、前記前のビデオラインの前記入力テキストピクセルに対応する前記終了出力ピクセルと同一の終了出力位置に配置するステップと、
    を更に有していることを特徴とする方法。
  9. 請求項8に記載の方法において、前記マッピングするステップが、
    (i)前記連続する入力テキストピクセルのラインの前記開始出力ピクセルの前記開始出力位置が請求項7において実行されるステップにより固定され、前記連続する入力テキストピクセルの終了出力ピクセルの前記終了出力位置が請求項8において実行されるステップにより固定された場合に、前記出力ピクセルマップにおいて連続する出力テキストピクセルのラインを前記開始出力位置から前記終了出力位置まで配置するステップと、
    (ii)前記開始出力位置が請求項7において実行されるステップにより固定され、前記終了出力位置が請求項8において実行されるステップにより固定された場合に、
    前記入力ピクセルマップにおいて、連続する入力テキストピクセルの入力長(l)を決定し、
    連続する出力テキストピクセルの対応するラインの出力長(L)を、前記入力長(l)と前記スケーリング係数(z)との積の整数として計算し、且つ、
    前記終了出力ピクセルを、前記開始出力ピクセル足す前記出力長(L)として計算するステップと、
    (iii)前記ラインの前記開始出力テキストピクセルが請求項7において実行されるステップにより固定されず、前記終了出力ピクセルが請求項8において実行されるステップにより固定された場合に、
    前記入力ピクセルマップにおいて、連続する入力テキストピクセルのラインの入力長(l)を決定し、
    連続する出力テキストピクセルの対応するラインの出力長(L)を、前記入力長(l)と前記スケーリング係数(z)との積の整数として計算し、且つ、
    前記開始出力ピクセルを、前記終了出力ピクセル引く前記出力長(L)足す1として計算するステップと、
    を更に有していることを特徴とする方法。
  10. 請求項9に記載の方法において、前記マッピングするステップが、前記開始出力ピクセル及び前記終了出力ピクセルの両方が請求項7及び請求項8のステップにより固定されない場合に前記出力テキストピクセルのラインを中心合わせするステップを更に有していることを特徴とする方法。
  11. 請求項2に記載の方法において、前記スケーリングするステップが、前記出力ピクセルマップの前記出力ピクセルを前記入力ビデオ信号の対応する入力ビデオサンプルの値により置換して、前記出力ビデオ信号を形成する出力ビデオサンプルを得るステップを有していることを特徴とする方法。
  12. 請求項2に記載の方法において、前記スケーリングするステップが、出力ビデオサンプルの値を隣接する入力ビデオサンプル間の部分的位置(p)に基づいて補間するステップと、該部分的位置(p)を当該出力ビデオサンプルに対応する所定の出力ピクセルがテキストであるか否かに基づいて調整するステップとを有していることを特徴とする方法。
  13. 請求項12に記載の方法において、前記部分的位置(p)を調整するステップが、前記所定の出力ピクセルを囲む出力ピクセルにより形成されるパターンに更に基づくものであり、該パターンは前記出力ピクセルがテキスト又は非テキストとしてラベル付けされていることにより決定されることを特徴とする方法。
  14. 請求項12に記載の方法において、前記スケーリングするステップが、非テキストからテキストへの遷移に含まれる遷移出力ピクセルを決定して、前記部分的位置(p)を調整するステップを、テキストのエッジにおける出力ピクセルに対してのみ実行するステップを有していることを特徴とする方法。
  15. 請求項14に記載の方法において、
    (i)前記遷移出力ピクセルの所定の1つがテキストとしてラベル付けされている場合、前記部分的位置(p)を調整して、前記補間するステップを、入力ビデオサンプルである出力ビデオサンプルを該出力ビデオサンプルに後続する位置に供給するように制御し、該後続する入力ビデオサンプルはテキストサンプルであり、
    (ii)前記遷移出力ピクセルの前記所定の1つが非テキストとしてラベル付けされている場合、前記部分的位置(p)を調整して、前記補間するステップを、入力ビデオサンプルである出力ビデオサンプルを該出力ビデオサンプルに先行する位置で供給するように制御し、該先行する入力ビデオサンプルは非テキストサンプルであり、
    (iii)前記部分的位置(p)を前記所定の遷移出力ピクセルを囲む出力テキストピクセルにより形成されるパターンに基づいて調整し、該調整の量が前記パターンにおける対角線方向の構造に対してよりも該パターンにおける水平方向及び垂直方向構造に対する方が大きい、
    ことを特徴とする方法。
  16. 請求項15に記載の方法において、前記スケーリングするステップが、前記部分的位置(p)の調整の量を制御するためのユーザが制御可能な入力を有していることを特徴とする方法。
  17. 入力解像度を持つ入力ビデオ信号を、出力解像度を持つ出力ビデオ信号に変換する変換器であって、該変換器が、
    前記入力ビデオ信号におけるテキストである入力ピクセルを入力テキストピクセルとしてラベル付けして、何の入力ピクセルが入力テキストピクセルであるかを示す入力ピクセルマップを得る手段と、
    前記入力ビデオ信号をスケーリングして前記出力ビデオ信号を供給する手段であって、該スケーリングの量が、当該入力ピクセルが入力テキストピクセルとしてラベル付けされているかに依存するような手段と、
    を有することを特徴とする変換器。
  18. 入力解像度を持つ入力ビデオ信号を、出力解像度を持つ出力ビデオ信号に変換する変換器を有する表示装置であって、前記変換器が、
    前記入力ビデオ信号におけるテキストである入力ピクセルを入力テキストピクセルとしてラベル付けして、何の入力ピクセルが入力テキストピクセルであるかを示す入力ピクセルマップを得る手段と、
    前記入力ビデオ信号をスケーリングして前記出力ビデオ信号を供給する手段であって、該スケーリングの量が、当該入力ピクセルが入力テキストピクセルとしてラベル付けされているかに依存するような手段と、
    前記出力ビデオ信号を表示するためのマトリクス表示器と、
    を有することを特徴とする表示装置。
  19. 中央処理ユニットと、表示されるべき出力ビデオ信号を供給するビデオアダプタとを有するビデオ信号発生器であって、前記ビデオアダプタは入力解像度を持つ入力ビデオ信号を出力解像度を持つ出力ビデオ信号に変換する変換器を有し、該変換器が、
    前記入力ビデオ信号におけるテキストである入力ピクセルを入力テキストピクセルとしてラベル付けして、何の入力ピクセルが入力テキストピクセルであるかを示す入力ピクセルマップを得る手段と、
    前記入力ビデオ信号をスケーリングして前記出力ビデオ信号を供給する手段であって、該スケーリングの量が、当該入力ピクセルが入力テキストピクセルとしてラベル付けされているかに依存するような手段と、
    を有することを特徴とするビデオ信号発生器。
JP2004509911A 2002-06-03 2003-05-21 ビデオのスケーリング Pending JP2005528643A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02077169 2002-06-03
PCT/IB2003/002199 WO2003102903A2 (en) 2002-06-03 2003-05-21 Adaptive scaling of video signals

Publications (1)

Publication Number Publication Date
JP2005528643A true JP2005528643A (ja) 2005-09-22

Family

ID=29595035

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004509911A Pending JP2005528643A (ja) 2002-06-03 2003-05-21 ビデオのスケーリング

Country Status (7)

Country Link
US (1) US20050226538A1 (ja)
EP (1) EP1514236A2 (ja)
JP (1) JP2005528643A (ja)
KR (1) KR20050010846A (ja)
CN (1) CN1324526C (ja)
AU (1) AU2003228063A1 (ja)
WO (1) WO2003102903A2 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4079268B2 (ja) * 2003-07-03 2008-04-23 シャープ株式会社 文字表示装置、文字表示方法、文字表示プログラムおよび可読記録媒体
CN1327690C (zh) * 2004-03-19 2007-07-18 华亚微电子(上海)有限公司 一种视频图像缩放过程中的清晰度补偿方法
JP4789494B2 (ja) * 2004-05-19 2011-10-12 株式会社ソニー・コンピュータエンタテインメント 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
KR101134719B1 (ko) * 2005-10-31 2012-04-13 엘지전자 주식회사 디스플레이 장치의 화면 확장 장치 및 방법
US20070153024A1 (en) 2005-12-29 2007-07-05 Samsung Electronics Co., Ltd. Multi-mode pixelated displays
US9013511B2 (en) * 2006-08-09 2015-04-21 Qualcomm Incorporated Adaptive spatial variant interpolation for image upscaling
JP4827659B2 (ja) * 2006-08-25 2011-11-30 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
WO2008028334A1 (en) * 2006-09-01 2008-03-13 Thomson Licensing Method and device for adaptive video presentation
US20080126294A1 (en) * 2006-10-30 2008-05-29 Qualcomm Incorporated Methods and apparatus for communicating media files amongst wireless communication devices
US20080115170A1 (en) * 2006-10-30 2008-05-15 Qualcomm Incorporated Methods and apparatus for recording and sharing broadcast media content on a wireless communication device
US8280157B2 (en) * 2007-02-27 2012-10-02 Sharp Laboratories Of America, Inc. Methods and systems for refining text detection in a digital image
JP2011509455A (ja) * 2007-12-21 2011-03-24 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 端指向画像処理
US20090289943A1 (en) * 2008-05-22 2009-11-26 Howard Teece Anti-aliasing system and method
US8374462B2 (en) * 2008-11-14 2013-02-12 Seiko Epson Corporation Content-aware image and video resizing by anchor point sampling and mapping
WO2010124599A1 (zh) * 2009-04-30 2010-11-04 华为终端有限公司 图像转换方法、转换装置及显示系统
CN101887520B (zh) * 2009-05-12 2013-04-17 华为终端有限公司 一种图像中的文字定位方法和装置
JP2011216080A (ja) * 2010-03-18 2011-10-27 Canon Inc 画像処理装置、画像処理方法、および記憶媒体
US20110298972A1 (en) * 2010-06-04 2011-12-08 Stmicroelectronics Asia Pacific Pte. Ltd. System and process for image rescaling using adaptive interpolation kernel with sharpness and de-ringing control
US8619074B2 (en) * 2010-12-10 2013-12-31 Xerox Corporation Rendering personalized text on curved image surfaces
BR112013016887B1 (pt) * 2011-01-07 2021-12-14 Sony Computer Entertaiment America Llc Método e aparelho para anti-introdução de erro morfológico, e, meio de armazenamento legível por computador não transitório
US8514225B2 (en) 2011-01-07 2013-08-20 Sony Computer Entertainment America Llc Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US9183670B2 (en) 2011-01-07 2015-11-10 Sony Computer Entertainment America, LLC Multi-sample resolving of re-projection of two-dimensional image
US9041774B2 (en) 2011-01-07 2015-05-26 Sony Computer Entertainment America, LLC Dynamic adjustment of predetermined three-dimensional video settings based on scene content
US8619094B2 (en) 2011-01-07 2013-12-31 Sony Computer Entertainment America Llc Morphological anti-aliasing (MLAA) of a re-projection of a two-dimensional image
GB2514410A (en) * 2013-05-24 2014-11-26 Ibm Image scaling for images including low resolution text
CN113539193B (zh) * 2020-04-22 2023-01-31 大富科技(安徽)股份有限公司 一种液晶显示控制方法、装置及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191632A (ja) * 1992-01-14 1993-07-30 Ricoh Co Ltd 2値画像処理装置
JPH1040369A (ja) * 1996-07-18 1998-02-13 Canon Inc 画像処理装置及び方法
JP2000242774A (ja) * 1998-12-18 2000-09-08 Canon Inc 画像処理方法及び装置
JP2001111820A (ja) * 1999-10-14 2001-04-20 Matsushita Graphic Communication Systems Inc 画像変倍装置及び画像変倍方法
WO2001082286A1 (fr) * 2000-04-21 2001-11-01 Matsushita Electric Industrial Co., Ltd. Procede et dispositif de traitement de l'image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577170A (en) * 1993-12-23 1996-11-19 Adobe Systems, Incorporated Generation of typefaces on high resolution output devices
US5768482A (en) * 1995-06-14 1998-06-16 Hewlett-Packard Company Resolution-triggered sharpening for scaling of a digital-matrix image
JP3357776B2 (ja) * 1996-01-17 2002-12-16 シャープ株式会社 画像処理方法
KR20010040895A (ko) * 1998-02-17 2001-05-15 모리시타 요이찌 보간화소생성 장치 및 방법
AU745562B2 (en) * 1998-12-18 2002-03-21 Canon Kabushiki Kaisha A method of kernel selection for image interpolation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05191632A (ja) * 1992-01-14 1993-07-30 Ricoh Co Ltd 2値画像処理装置
JPH1040369A (ja) * 1996-07-18 1998-02-13 Canon Inc 画像処理装置及び方法
JP2000242774A (ja) * 1998-12-18 2000-09-08 Canon Inc 画像処理方法及び装置
JP2001111820A (ja) * 1999-10-14 2001-04-20 Matsushita Graphic Communication Systems Inc 画像変倍装置及び画像変倍方法
WO2001082286A1 (fr) * 2000-04-21 2001-11-01 Matsushita Electric Industrial Co., Ltd. Procede et dispositif de traitement de l'image

Also Published As

Publication number Publication date
KR20050010846A (ko) 2005-01-28
CN1659591A (zh) 2005-08-24
US20050226538A1 (en) 2005-10-13
WO2003102903A3 (en) 2004-02-26
AU2003228063A1 (en) 2003-12-19
AU2003228063A8 (en) 2003-12-19
CN1324526C (zh) 2007-07-04
EP1514236A2 (en) 2005-03-16
WO2003102903A2 (en) 2003-12-11

Similar Documents

Publication Publication Date Title
JP2005528643A (ja) ビデオのスケーリング
US6972771B2 (en) Image display device, image display method, and image display program
US8253763B2 (en) Image processing device and method, storage medium, and program
US6816166B2 (en) Image conversion method, image processing apparatus, and image display apparatus
US7733419B1 (en) Method and apparatus for filtering video data using a programmable graphics processor
US6075926A (en) Computerized method for improving data resolution
JP4598367B2 (ja) ディスプレイデバイスに表示した画像内にサブコンポーネント指向キャラクタをレンダリングするための方法、および、その装置
US20050083348A1 (en) Type size dependent anti-aliasing in sub-pixel precision rendering systems
JP4864332B2 (ja) 解像度変換の補間方法、画像処理装置、画像表示装置、プログラムおよび記録媒体
GB2285377A (en) Method for generating a subpixel mask for anti-aliasing in a computer graphics system and apparatus thereof
JP2000339449A (ja) 画像処理装置及び方法
US20010048771A1 (en) Image processing method and system for interpolation of resolution
JP3026706B2 (ja) 画像処理装置
JP2002519793A (ja) グラフィックエレメントをレンダリング処理する方法及びシステム
US6718072B1 (en) Image conversion method, image processing apparatus, and image display apparatus
US7734118B2 (en) Automatic image feature embedding
JP2004133592A (ja) 画像を拡大するための画像処理装置および画像処理方法および画像処理プログラム
KR100623327B1 (ko) 풋프린트에 대한 텍셀의 컬러값의 컬러계산을 위한가중계수를 결정하는 방법
JP2005293265A (ja) 画像処理装置及び方法
US20070003167A1 (en) Interpolation of images
JPH09130597A (ja) 画像処理方法とその装置
WO2023102189A2 (en) Iterative graph-based image enhancement using object separation
JPH0896149A (ja) 図形描画装置
JP2000182040A (ja) 画像デ―タの表現を提供する方法及び装置、画像デ―タを表現する方法及び装置、画像処理のためにカ―ネルを変換する方法及び装置、変換方法及び変換装置
Di Federico et al. Interpolation of images containing text for digital displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100401