JP2004004839A - 空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム - Google Patents

空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム Download PDF

Info

Publication number
JP2004004839A
JP2004004839A JP2003133820A JP2003133820A JP2004004839A JP 2004004839 A JP2004004839 A JP 2004004839A JP 2003133820 A JP2003133820 A JP 2003133820A JP 2003133820 A JP2003133820 A JP 2003133820A JP 2004004839 A JP2004004839 A JP 2004004839A
Authority
JP
Japan
Prior art keywords
image
display device
pixel
resolution
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003133820A
Other languages
English (en)
Other versions
JP4928710B2 (ja
Inventor
Gregory Hitchcock
グレゴリー ヒッチコック
Paul Linnerud
ポール リンネルド
Raman Narayanan
ラマン ナラヤナン
Beat Stamm
ビート シュタム
Michael Duggan
マイケル ダガン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2004004839A publication Critical patent/JP2004004839A/ja
Application granted granted Critical
Publication of JP4928710B2 publication Critical patent/JP4928710B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421Horizontal resolution change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0457Improvement of perceived resolution by subpixel rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24Generation of individual character patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像に関するセマンティック情報を保存しているメタデータを利用して、スタティックバージョンの画像が、個別に制御可能なピクセルサブコンポーネントからなるピクセルをもつ表示機器上にサブピクセル精度で表示されるようにして、低解像度表示での画像形態の明瞭化を図る。
【解決手段】スタティックバージョンの画像は、サブピクセル精度の位置づけを保持したまま、相対的に低解像度の表示機器で表示できる。画像は、個別に制御可能なピクセルサブコンポーネントをもつ表示機器で表示される。サブピクセル精度の位置づけは、空間的に異なるサンプルの集合を、フルピクセルにではなく、個々のピクセルサブコンポーネントにマッピングするようにすることで行い、これにより文字のエッジのような画像形態が、常にフルピクセル間の境界にではなく、ピクセルサブコンポーネント境界に表示されるようにする。
【選択図】    図4

Description

【0001】
【発明の属する技術分野】
本発明は、サブピクセル精度で画像をレンダリングすることに関する。さらに具体的には、本発明は、画像に関するセマンティック情報をストアしているメタファイルを使用して、スタティック(静的、静止)バージョンのドキュメントが、個別に制御可能なピクセルサブコンポーネントをもつピクセルを有するディスプレイデバイス(表示機器)でサブピクセル精度でレンダリングされるようにするシステムと方法に関する。
【0002】
【従来の技術】
近年、画像形態位置が、ページの境界のような固定ロケーションに対して定義されているようなスタティックバージョンの画像を得るために種々の画像データフォーマットが開発されている。そのようなデータフォーマットの1つとして、ポータブルドキュメントフォーマット (Portable Document Format  PDF) があるが、このフォーマットによると、ドキュメントの画像形態 (image features) がドキュメントのページに対してスタティックに表示されたままにして、ドキュメントが表示されるのを可能にしている。一般的に、このようなスタティック(静的、静止)画像データフォーマットによると、ドキュメントの画像をデバイスに依存しない形で表示することを可能にしている。画像データがストアされるときの特定ドキュメントフォーマットの種類および/または画像が表示されるときの特定ディスプレイデバイスに左右されないレンダリングプロセスを提供するために、画像はビューア (viewer) に送られる前に部分的にレンダリングされている。画像の部分的レンダリングでは、画像データを、その画像データがストアされている特定ドキュメントフォーマットからピックルド(pickled−直列化、整列化)(またはポータブル)ドキュメントフォーマットに変換することが行われている。ピックルドドキュメントフォーマットは、画像形態の全体フォーマットをドキュメントのページに対して残したままにして、単純で、どのドキュメントにも特定しないビューア (non−document specific viewer) を使用して、異種類のデバイスのどれからでも画像をレンダリングすることを可能にする。このような画像は、画像を符号化(エンコード)するために使用されるデータフォーマットに関係なく、以下では、「スタティック画像(static image)」、「スタティックバージョンの画像(static version of an image)」または「ピックルドドキュメント(pickled document)」と呼ばれる。
【0003】
スタティック(静的、静止)画像が使用されるような状況には、ドキュメントを印刷することが含まれるが、これは、コンピュータのプリンタからであろうと、あるいはドキュメントのスタティック画像をディスプレイデバイス上に表示するのと類似の操作であろうと、含まれる。スタティック画像をディスプレイデバイス上に表示する1つの例として、ドキュメントのスタティック画像をハンドヘルドコンピュータまたは他のエレクトロニックスデバイス上でレンダリングするプロセスがある。このプロセスが実行されるのは、例えば、ユーザが画像を見る、画像に注釈を付ける、といったことのために、ユーザがドキュメントのプリントペーパバージョンではなく、むしろドキュメントのエレクトロニック画像(電子イメージ)を表示することを望んでいるときである。この結果を達成するために、テキストドキュメントなどのドキュメントは、ピックルドドキュメントに変換される。このピックルドドキュメントが「プレイ」されると、ドキュメントはハンドヘルドデバイス(手持ち式機器)のディスプレイスクリーン(表示画面)から表示されることになる。スタティック画像は、いくつかのアプリケーションから提供されるプリントプレビュー機能(print preview functionality)(つまり、WYSIWYG)のコンテキストの中で役に立っている。以上を要約すると、スタティック画像は、画像をデバイスに依存しない形で、かつその全体フォーマッティングとページネーション(ページ割付け)をそのままにして表示したいときや、画像(例えば、文字)の基調をなす特徴を編集する必要のないときに利用すると、便利である。
【0004】
スタティックバージョンの作成に先立って、画像は高解像度でフォーマッティングされるのが代表的であるが、とりわけハンドヘルドデバイスによく見られるように、ディスプレイデバイスが相対的に低解像度であるときに、ディスプレイデバイス上に表示できるよりも高解像度で画像を定義している画像データを含んでいることがある。オリジナル画像データは、解像度が600ドット/インチ(dots per inch  DPI) またはそれ以上のとき、効率よくストアすることができる。もっと高い解像度も可能であるが、この大きさの解像度をもつ画像は、通常の表示条件の下で代表的なディスプレイスクリーン上に代表的なビューアを介して表示されるとき、著しく高い解像度で表示される画像とはその違いが目立たないのが一般である。600 DPIの解像度は、多くのインクジェットプリンタやレーザプリンタがサポートしている解像度と互換性をもっている。600 DPIの解像度を有する画像は、ワードプロセッシングや他のグラフィックスシステムのユーザが期待しているプリント媒体の鮮明度を提供する。また、この解像度は、画像をピックルドドキュメントフォーマットに変換する準備を容易化する。600 DPIの解像度を利用すると、グラフィックス画像に望ましい画像品質が得られるのと同時に、画像が効率よくストアされ、表示されるものと説明してきたが、同等の画像品質が得られる他の解像度を使用することも可能である。
【0005】
大部分のハンドヘルドデバイスで使用されている液晶ディスプレイ (liquid crystal display  LCD) の解像度は、LCDや他のディスプレイの製造についての技術上およびコスト上の制約がある上に、ハンドヘルドデバイスにはパワー(電力)とデータ処理に限界があるために、凡そ100  130 DPIを超えることがない(多くは96 DPIである)のが代表的である。LCDデバイスの解像度は、インチ当りのピクセルサブコンポーネント (pixel subcomponent) の数ではなく、インチ当りのフルピクセル (full pixel) の数に基づいて判断されるのが代表的である。ドキュメントのスタティック画像が上述したようにハンドヘルドデバイスで表示されるとき、画像は、相対的に低解像度で表示されるのが代表的である。
【0006】
図1は、ディスプレイデバイス上に表示される画像を高解像度フォーマットから、ピックルドドキュメント (pickled document) を表示するために利用されるバイナリビットマップ (binary bitmap:2進ビットマップ) に変換する従来の方法を示す図である。図1に示すように、画像データ10は、第1画像12、第2画像14、第3画像16、および第4画像18を含んでいる。画像データ10は、画像12、14、16、18を高解像度パラレルフォーマット(つまり、600 DPI)で定義している。シリアル化ルーチン(serialization routine)の一部としてこれら、画像は、各画像12、14、16、18をデバイスに依存しない形でロードし、表示できるようにするバイナリフォーマットに変換される。バイナリフォーマットは、ビットマップ20と関連付けられている。ビットマップ20の解像度は、低解像度ディスプレイデバイスと対応している。一般的に、低解像度ビットマップ20は、その解像度が高解像度パラレルフォーマット画像データ10のそれより低くなっているのは、低解像度ビットマップの方が必要とするメモリと処理能力が少なくて済むからであり、さらには、ハンドヘルドデバイスのLCDディスプレイデバイス(表示装置)は画像を低解像度で表示するからである。
【0007】
グリッド(マス目)22は、画像がビットマップでどのように構成されているかを示すために、ビットマップ20の一部をより詳細に示したものである。画像のビットマップは、画像の座標をディスプレイデバイスの低解像度座標空間 (lower resolution coordinate space) に丸めることによって作成される。例えば、画像データ10の解像度が600 DPIで、ディスプレイデバイスの解像度が100 DPIであるとすると、600 DPI画像の座標は6で除算され、最寄りの整数値に丸められる。言い換えると、600 DPI画像を、100 DPIディスプレイデバイス上に表示できるビットマップにスケーリング(スケール変更)するために、6:1のスケーリング因数 (scaling factor) が使用される。その結果、画像形態は整数ピクセル (whole pixels) で表示され、画像形態のエッジはディスプレイデバイスのフルピクセル境界 (full pixel boundary) に丸められることになる。画像が表示されるときの解像度が低いと起こる、画像形態の曲線と対角線に見られるジャギー (jaggy:ぎざぎざ) をスムーズにするために、グレースケーリング (gray scaling) の別名でも知られる、慣用のアンチエイリアシング (anti−aliasing) が画像に適用されるのが代表的である。グレースケーリングでは、画像のエッジを描写しているピクセルに中間輝度値 (intermediate luminous intensity value)を適用して、画像のエッジの階段状 (stair−stepped) 外観を最小限にしている。
【0008】
スケーリングされたバージョンの画像12、14、16、18を収めているビットマップ20のバイナリコードは、低解像度ディスプレイ30の特定ピクセルをオン、オフするかどうかの制御をする。ビットマップ20を利用すると、画像12、14、16、18を低解像度ディスプレイ30上に表示させることが可能になる。しかし、ビットマップ20の作成時には、フォント属性や他のグラフィックス属性などのセマンティック情報 (semantic information)、および画像形態の位置を高解像度座標空間で定義している情報は保存されていない。オリジナルデータファイルから残されているのは、ディスプレイ30のピクセルを制御するビットマップ20のバイナリコードだけである。
【0009】
図2は、その解像度に関係なく、LCDディスプレイデバイスで使用されている従来のディスプレイ技法の関連特性を示している。図2に示すように、画像データは、画像14をサブピクセル精度 (sub−pixel precision)で定義している。このことは、文字または他の画像の一部の形態が、ディスプレイデバイスの対応するフルピクセル境界の間に置かれた位置をもつことを意味している。この例では、グリッド32は、画像データの上に重ね合わされ、列C1−C6と行R1−R6がディスプレイデバイスにおけるフルピクセルの位置に対応付けられている。画像14の位置は、例えば、画像14の左境界が列C2とC3の間のフルピクセル境界と重なり合っていないというように、サブピクセル座標によって定義されている。
【0010】
しかし、画像14をレンダリングするときには、画像14の境界はフルピクセル境界に丸められる。種々のルーチンは、画像の形態をフルピクセル境界に丸める効力を有しているが、以下では、説明の便宜上、代表的なサンプリングルーチンで説明している。このサンプリングルーチンでは、画像データのうち、フルピクセルに対応する各部分の中心でサンプルがとられている。図2に示すように、画像データは、ピクセル34、36、および38に対応する位置でサンプリングされている。典型的に、ピクセルに対応する領域の中心はサンプリングされるポイントであり、対応するピクセル全体の光度を制御するために使用される。従って、ピクセル34に対応する領域の中心でのサンプルは、文字本体上に位置していないので、レッド(赤)ピクセルサブコンポーネント34R、グリーン(緑)ピクセルサブコンポーネント34G、およびブルー(青)ピクセルサブコンポーネント34Bは、それぞれに応じて(この例では、光度が最大であるとして)制御される。逆に、36と38のRGBピクセルサブコンポーネントは、対応するサンプルが文字本体内に位置しているため、(この例では、光度がないものとして)一緒に制御される。図示の具体例では、説明の便宜上、バックグラウンド(背景)ピクセルに最大光度を使用し、フォアグランド(前景)ピクセルに最低光度を使用する例が示されている。本発明の範囲と精神から逸脱しない限り、フォアグランドピクセルおよび/またはバックグラウンドピクセルを描写するために、最大光度、最低光度および/または中間光度を任意に組み合わせて使用することができる。ピクセルごとのシングルサンプルは、3ピクセルサブコンポーネントに適用される光度を制御し、画像データの部分は3ピクセルサブコンポーネントが一緒に働くことによって表示される。その結果、文字エッジはフルピクセル境界上に位置している。
【0011】
【特許文献1】
米国特許第6,219,025号明細書
【0012】
【発明が解決しようとする課題】
シリアル化バイナリフォーマットでストアされている画像をレンダリングするとき、従来のビューアは、画像を低解像度ビットマップに変換して、画像がディスプレイデバイス上に表示されるようにしている。画像がフルピクセル境界に位置付けされるビットマップへ変換するとき、サブピクセル精度で画像を位置づけるために使用された高解像度は失われることになる。文字を最寄りの整数ピクセルに丸めるときに起こる1つの課題は、丸め誤差が不可避的に混合され、文字間のスペーシング(間隔)にばらつきが生じることである。もう1つの課題は、文字自体が、明確さが低下した様態(less precise manner)で低解像度ディスプレイデバイス上に表示されることである。以上を要約すると、シリアル化またはピックルド(直列化)画像を、従来のビューアを利用してハンドヘルドデバイスのような、低解像度ディスプレイデバイス上に表示すると、画像品質が低下し、文字間にむらのあるスペーシングが生じることになる。
【0013】
【課題を解決するための手段】
本発明は、サブピクセル精度で画像をレンダリングすることに関する。さらに具体的には、本発明は、画像に関するセマンティック情報をストアするメタファイルを利用して、スタティックバージョンの画像を、個別に制御可能なピクセルサブコンポーネントを含むピクセルを持つディスプレイデバイス上でサブピクセル精度で表示可能にしたシステムおよび方法を提供する。本発明によれば、スタティックバージョンの画像は、ハンドヘルドデバイスについての解像度のように、相対的に低解像度を有するディスプレイデバイス上で表示できると共に、サブピクセル精度の位置付け情報を利用して画像を表示することができる。
【0014】
解像度の向上は、LCDピクセルの個別に制御可能なピクセルサブコンポーネント(例えば、レッド、グリーンおよびブルーのサブコンポーネント)を個別の光度発生源として使用して、画像の空間的に異なる部分を表現することによって達成される。個別に制御可能なピクセルサブコンポーネントは、本発明の説明を分かりやすくするために、レッド、グリーン、およびブルーのサブコンポーネントというコンテキスト(文脈)で説明されている。しかし、当然に理解されるように、本発明のコンテキストにおいて、ピクセルサブコンポーネントによって形成されるパターンに関係なく、ピクセルサブコンポーネントはどのような構成のものでも使用することが可能である。空間的変位サンプル (spatially displaced samples) またはサンプルの集合は、個々のピクセルサブコンポーネントにマッピングされている。これは、単一サンプルを3パートピクセル全体にマッピングし、画像の単一部分を表現するように3パートピクセル全体を制御する従来の技法とは対照的である。従って、スタティックバージョンの画像は、従来のシステムで達成されていた解像度に比べると、向上した解像度で、ディスプレイデバイス上でピクセルサブコンポーネントのストライプ(stripe)に直交する方向にレンダリングされる。本発明は、主にスタティックバージョンの画像と関連付けて説明されているが、本発明のコンテキストの中で利用されている技法は、本発明の範囲と精神から逸脱しない限り、汎用グラフィックス画像に適用することが可能であり、その中には、テキストを含む画像とテキストを含まない画像が含まれている。
【0015】
解像度の向上を達成するために、セマンティック情報(例えば、フォント属性や他のグラフィックス属性)は、メタファイル (metafile) に保存され、符号化されている。フォント属性には、フォントファミリ、画像サイズ、カラーなどを含ませることができるが、これらに限定されない。フォント属性は、グラフィックス属性の一例を表している。文字以外の、一般的なグラフィックスがレンダリングされるような場合においても、メタファイルに保存され、符号化されるグラフィックス属性は、ここで説明しているフォント属性と同じような属性が含まれる。さらに、メタファイルは、解像度がディスプレイデバイスのそれよりも大幅に高いのが典型的である画像の高解像度レイアウトを定義している情報も含む。文字や他の画像形態などのオブジェクトが、高解像度座標空間に置かれている位置はメタファイルによって定義されるので、文字のサブピクセル精度位置を保存しておき、レンダリング処理期間に使用することができる。
【0016】
一実施形態では、画像データは、ディスプレイデバイスの解像度よりも大幅に高い相対的に高解像度(例えば、600 DPI)で、ピックルドフォーマット(pickled format)でメタファイルにストアされている。セマンティック情報とメタファイルの高解像度とにより、本発明のビューアは、サブピクセル精度で画像を表示することができる。本発明の一実施形態では、メタファイルは、画像の高解像度バージョンおよびその画像に関連するセマンティック情報をストアするための拡張メタファイル (enhanced metafile  EMF) を含んでいる。画像に関連するセマンティック情報をストアしておくと、画像データは、個々のピクセルサブコンポーネントを個々の光度発生源として使用するレンダリングプロセスと互換性をもつことになる。これにより、スタティックバージョンの画像は、向上した解像度と向上した文字スペーシングで既存ハンドヘルドデバイスに表示されることが可能になる。その結果、高品質のスタティック画像、つまり、ピックルド画像をこのようなハンドヘルドデバイスで表示できるので、その画像を見たり、画像に注釈を付けたり、他のアプリケーションで画像を使用したりすることが都合よく可能になる。
【0017】
本発明のその他の特徴と利点は、以下の説明に記載されているが、その一部は説明から明らかであるもの、あるいは本発明の実施によって習得されるものがある。本発明の特徴と利点は、請求項に具体的に明確化されている手段とその組み合わせによって実現し、取得することができる。本発明の上記および他の特徴は、以下の説明および請求項から十分に明らかにされるが、本発明を以下に説明しているように実施することによって習得することも可能である。
【0018】
本発明の上記および他の利点と特徴はどのようにすると取得できるかを説明するために、以下では、要約して上述した本発明を、添付図面に図示されている本発明の具体的実施形態を参照して、もっと具体的に説明することにする。添付図面は本発明の代表的な実施形態を示したものにすぎず、従って、本発明の範囲を限定するものではないとの了解の下で、以下では、添付図面を使用して、本発明をもっと具体的にかつ詳細に説明することにする。
【0019】
【発明の実施の形態】
本発明によれば、ビットマップだけに頼っている従来の技法よりも高い解像度が得られるような形で、スタティックバージョンの画像を相対的に低解像度のディスプレイデバイス上に表示することを可能にしている。具体的には、本発明のビューア (viewer) は、相対的に高解像度で画像を定義しているメタファイルにストアされた情報および関連のセマンティック情報(例えば、フォント属性や他のグラフィックス属性)を利用して、スタティックバージョンの画像または他のグラフィックスバージョンの画像をピクセルサブコンポーネント精度 (pixel sub−component precision) で表示する。このことは、個々のピクセルサブコンポーネントを使用して、特に、LCDディスプレイデバイスで普通に使用されている解像度のような、相対的に低解像度のディスプレイデバイスから、以前から可能であったよりも高解像度でスタティックバージョンの画像を表示することを可能にしている。
【0020】
スタティックバージョンの画像の表示は、ハンドヘルドデバイスを含む、種々のコンピュータ関連テクノロジで利用されている。従来、スタティックバージョンの画像は、画像データを、ビューアを利用してディスプレイデバイス上に表示できるピックルド(またはポータブル)ドキュメントに変換することによって作成されている。スタティック画像、つまり、ピックルドドキュメントによると、オブジェクトの相互の相対位置を保存したまま、画像をデバイスに依存しないフォーマット (device−independent format) でセーブ(保存)し、ロードすることができる。ピックルドフォーマットを使用して表示される画像がスタティックと呼ばれるのは、その基礎となる画像形態(例えば、文字)がユーザによって編集されることを意図していないからである。例えば、ハンドヘルドデバイスでは、スタティック画像はディスプレイデバイス上に表示される。そのとき、ユーザは、表示されている基礎のスタティックバージョンを変更することなく、スタティックバージョンの画像の上に注釈を付けることができる。スタティックバージョンの画像を使用する他の例として、プリントプレビュー機能 (print preview functionality) や観察者がドキュメントに対する変更を見ることができるようにしているレッドライン(赤線引き)/ストライクアウト(削除)機能 (redline/strikeout functionality) などがある。本発明はスタティックバージョンの画像と関連付けて説明されているが、画像が文字や他のベクトルグラフィックス形態 (vector graphics features) を含んでいるか否かに関係なく、汎用グラフィックス画像に関連して利用することも可能である。
【0021】
スタティック画像がストアされるメタファイルは、文字などのオブジェクト、フォント属性などのグラフィックス属性、および文字や他の画像形態の位置を相対的に高解像度で定義している情報を収めている。メタファイルはデータ構造であり、そこには、画像のレイアウトを定義し、その実行時に、テキストや他の画像形態を特定のロケーションで出力する関数呼び出し(function calls)を記録したものが収められている。本発明によれば、画像形態をピクセルサブコンポーネントで位置付けることは、画像が関連グラフィックス属性と共にメタファイルの中にレイアウトされているときの高解像度を使用して達成されている。これにより、メタファイルの高解像度空間に定義されている文字位置を、画像がそこから表示されるディスプレイデバイスの相対的に低解像度空間のサブピクセル座標位置にマッピングすることを可能にしている。ディスプレイデバイスのレンダリングエンジン (rendering engine) は、メタファイルを「プレイ」し、以下で詳しく説明するオーバスケーリングおよびサンプリングプロセスを利用して、画像をサブピクセル精度で表示する。ここでは、画像をディスプレイデバイス上に表示するというコンテキストで「サブピクセル精度(sub−pixel precision)」という用語が用いられているが、これは、完成ピクセル(entire pixels)ではなく、個々のピクセルサブコンポーネントが画像の空間的に異なる部分を表し、画像のこれらの部分の位置を定義する情報がフルピクセル (full pixels) の解像度よりも高い解像度で定義されていることを意味している。
【0022】
セマンティック情報を保存しておき、その間に、ディスプレイデバイス上に表示されるようにスタティック画像を処理する方法を説明する前に、図3と図4を参照して、変位サンプリング (displaced sampling) に関連する一般原理について説明することにする。このような変位サンプリングは保存されたセマンティック情報と併用されて、スタティックバージョンの画像を、個別に制御可能なピクセルサブコンポーネントの形態(pattern)をもつ液晶ディスプレイデバイスや他のディスプレイデバイスからサブピクセル精度で表示させる。図3に示す画像データ50の文字部分14は、例えば、文字のエッジの位置を指定するベクトルデータと、フォアグラウンドとバックグラウンドのカラーを定義する情報とによって定義される。図3は、ディスプレイデバイス上のフルピクセルの位置に対応する行R1−R6と列C1−C6をもつグリッド(マス目)も示している。
【0023】
画像データ50の単一のサンプルをフルピクセルにマッピングするのではなくて、変位サンプリングは、1つまたは2つ以上のサンプルの空間的に異なる集合(セット)を個々のピクセルサブコンポーネントにマッピングすることを含む。このアプローチによると、LCDディスプレイデバイスのピクセルサブコンポーネントが、代表的な陰極線管 (cathode ray tube − CRT) とは異なり、別々にアドレス可能であって、同一ピクセル内の他のピクセルサブコンポーネントから独立して制御できるという利点がある。さらに、LCDディスプレイデバイスのピクセルサブコンポーネントは、物理的に3の集合(セット)に構成されているのが一般であり、このピクセルサブコンポーネントは同一カラーエレメントの垂直ストライプで位置合わせされていることが多く、頻度は低いものの水平ストライプで位置合わせされていることもある。
【0024】
変位サンプリングを利用すると、画像は、フルピクセル境界にではなく、ピクセルサブコンポーネント境界でディスプレイデバイスに表示することができる。図示の例に示すように、文字14の左エッジ51は、列C2とC3の間のフルピクセル境界の間の位置に置かれていることが認められる。図2に示す従来技術の例では、シングルサンプルをフルピクセルにマッピングするので、文字の左エッジはフルピクセル境界に表示されることになる。これに対して、変位サンプル53をピクセル52、54および56の個々のピクセルサブコンポーネントにマッピングすると、文字14の左エッジ51は、ピクセルサブコンポーネント間の境界に効果的にレンダリングされることになる。具体的に説明すると、図示の例では、文字14の左エッジはピクセル54のレッドとグリーンのピクセルサブコンポーネントの間に位置している。変位サンプリングを利用すると、グリーンピクセルサブコンポーネント54Gは、文字14の本体に対応付けられ、他方、レッドピクセルサブコンポーネント54Rは文字の輪郭の外側の画像部分を表すことになる。従って、文字14の左エッジ51の位置は、ディスプレイデバイス上でもっと正確に表示される。これにより、文字形態の幅の精度だけでなく、隣接文字間の間隔の精度も向上することになる。図3には、ピクセル52、54および56のサブコンポーネントにマッピングされたサンプル53だけが示されているが、当然に理解されるように、この処理は画像をレンダリングするために使用される他のピクセルについても繰り返される。
【0025】
図4は、個々のピクセルサブコンポーネントが画像の空間的に異なる部分を表すことを可能にする、図3でその概要を説明した変位サンプリングを達成するために使用することのできるデータ処理オペレーションのシーケンスを示す。説明を簡潔にするために、画像、画像データ、サンプル、およびディスプレイデバイスの一部分だけが示されている。以下では、サブピクセルレンダリングプロセスが説明されているが、本発明のコンテキストで利用できる画像データ処理オペレーションは、公知文献に詳しく説明されている(特許文献1参照)。なお、この文献の内容は引用により本明細書の一部になっている。
【0026】
データ処理オペレーションのシーケンスでは、最初に、画像データ60が、ディスプレイデバイス内のピクセルサブコンポーネントのストライピングに直交する方向にオーバスケーリング因数によってオーバスケーリング(拡大)されて、サブコンポーネントの高さと幅の差分が補償される。言い換えれば、画像データ60は、ストライピングに平行する方向のスケーリングよりも大である因数によって、ストライピングに直交する方向にスケーリングされる。この例では、オーバスケーリング因数として、6がストライピングに直交する方向に適用されて、オーバスケールされたデータ62が生成される。利用できるオーバスケーリング因数は、ディスプレイデバイスのストライピングに直交する方向に適用される6:1の因数に限定されるものではなく、どの方向にも適用が可能であると共に、ディスプレイデバイスのピクセルごとに得られるサンプルの数に対応するように選択することが可能である。例えば、サンプリングは、6:5オーバスケール因数を用いて、ディスプレイデバイスのストライピングに平行する方向に適用することができる。
【0027】
画像がオーバスケーリングされると、次に、画像データのサンプリングが行われる。サンプリングでは、個々のピクセルサブコンポーネントに適用される光度情報の識別を伴う。適用される輝度値が識別されると、ディスプレイデバイス上の特定ピクセルサブコンポーネントが、文字輪郭の内側に置かれた位置に対応しているか、外側に置かれた位置に対応しているかが判断される。図4に示す例では、6サンプルがピクセルごとに得られるか、2サンプルがピクセルサブコンポーネントごとに得られる。ピクセルごとにまたはピクセルサブコンポーネントごとに得られるサンプルの数は、ピクセルサブコンポーネントごとに少なくとも1サンプルであるのが一般であるが、変えることもできる。説明の便宜上、図4には、画像データの選択された領域だけに生成されたサンプル64が示されると共に、サンプルのすべてを示すのではなく、対応するピクセルとピクセルサブコンポーネントだけが示されている。
【0028】
サンプルが得られると、次に、サンプルは個々のピクセルサブコンポーネントにマッピングされ、画像データの空間的に異なる部分が個々のピクセルサブコンポーネントにマッピングされることになる。図3と図4に示す画像データ処理オペレーションによると、文字のエッジは、常にフルピクセル境界上に置かられるのではなく、任意のピクセルサブコンポーネント間の境界上に置かれることになる。グリッド70は、サブピクセル精度でレンダリングされた画像72の一部を示している。画像72の左エッジは、フルピクセル境界上ではなく、ピクセルサブコンポーネント境界上に置かれている。このグリッドから分かるように、画像72の左エッジはグリーンピクセルサブコンポーネント74Gとブルーピクセルサブコンポーネント74Bの間の境界上に置かれているのに対し、フルピクセルエッジは、ブルーピクセルサブコンポーネント74Bとレッドピクセルサブコンポーネント76Rの間に置かれることになる。
【0029】
本発明によれば、オーバスケーリングはスーパサンプリング (supersampling)で置き換えることができる。具体的に説明すると、スーパサンプリングを行うと、得られるサンプルは、ピクセルサブコンポーネントのストライピングに平行する方向よりも、ストライピングに直交する方向の方がより多くなる。オーバスケーリング、スーパサンプリング、およびダイレクトレンダリングのいずれも、得られる結果は同じであり、ピクセルサブコンポーネント当りのサンプルは少なくとも1つである。さらに、ピクセルサブコンポーネントを制御するために使用される輝度値を生成する前に、カラーフィルタリングオペレーションをサンプルに対して適用することができる。この方法によると、適用しない場合に現れることがある色縁効果 (color fringe effect) が減少するが、若干の解像度が犠牲になる。上記のように本発明で使用できるカラーフィルタリングオペレーションとしては、米国特許出願第09/364,647号明細書に説明されているものがある。なお、この文献の内容は引用により本明細書の一部になっている。一般的に、特許文献2に説明されているように、カラーフィルタリングでは、重み付けされ、平均化されたサンプルの集合(セット)を選択することより、個々のピクセルサブコンポーネントに適用される輝度値を識別している。カラーフィルタはオーバラップしていることがよくある。つまり、隣接カラーフィルタ(例えば、隣接するレッド、グリーンおよびブルーのピクセルサブコンポーネントに適用されるフィルタ)によって処理されるサンプルは、相互排他的になっていない。例えば、グリーンのカラーフィルタは、グリーンピクセルサブコンポーネントの位置に対応する位置をもつ画像データのサンプル回りの中心に置くことができるが、隣接するレッドとブルーのピクセルサブコンポーネントに対応する位置をもつ隣接サンプルまで延長させることもできる。
【0030】
以下では、特に相対的低解像度のディスプレイ環境において、変位サンプリングをスタティック画像に対して行うために使用される情報の保存について説明することにする。図5は、画像データと、本発明のコンテキストでメタファイルに入れて利用される、画像データの基礎となるセマンティック情報とを示す。スタティックバージョンの画像を表示する従来の技法で利用されているビットマップのバイナリフォーマットのサブピクセル位置づけ情報が失われると、その画像はフルピクセル境界に表示されるのが一般である。それ故に、本発明の一実施形態では、メタファイルが、画像データ80に関連するセマンティック情報82を保存しておくために利用されている。メタファイルを使用すると、文字情報、フォント属性、カラー情報、サイズ情報を含むセマンティック情報82を保存しておくことができるが、これらに限定されない。さらに、メタファイルは、画像のレイアウトを比較的に高解像度で定義している、アプリケーションプログラムインタフェース (application program interface  API) コール群を含んでいる。高解像度座標空間内での文字や他の画像形態の位置により、ここで説明している変位サンプリング技術を使用して文字と他の画像形態を表示させることができる。
【0031】
図示の実施形態では、画像データと関連セマンティック情報はメタファイルに保存されているが、セマンティック情報およびここで説明している変位サンプリングとサブピクセルレンダリングルーチンのために要求される比較的に高解像度で文字や他の画像形態を定義している情報は、どのフォーマットを使用しても保存することができる。さらに、どのタイプのメタファイルでも利用することが可能である。そのようなものとして、Microsoft Windows(登録商標) Metafile (WMF)、配置可能メタファイル (placeable metafile)、クリップボードメタファイル (clipboard metafile)、拡張メタファイル (enhanced metafile  EMF) などがある。好適実施形態において、拡張メタファイルが使用されているのは、このフォーマットによると機能と容量の向上が得られるからである。例えば、拡張メタファイルフォーマットの方が、Microsoft Windows(登録商標) Metafile (WMF)よりも、画像データに関係するグラフィックスデバイスインタフェースコマンドをより多くサポートする。
【0032】
図6は、スタティックバージョンの画像をピクセルサブコンポーネント精度で表示するために、セマンティック情報と、メタファイルの比較的に高解像度座標空間内で画像形態の位置を定義している位置づけ情報とが利用されるときの方法を示している。図6の方法では、画像データはステップ100でアクセスされる。画像は、600 DPI(dot per inch)とそれ以上の範囲にある解像度で文字の位置を指定している情報を含むあるフォーマットの画像データによって定義されているのが代表的である。画像データは、フォント属性を含むセマンティック情報でも定義される。フォント属性には、文字情報、カラー情報、画像サイズ情報、画像の形態の座標を決定するための情報、などを含ませることができるが、これらに限定されるものではない。
【0033】
ステップ110では、画像データはオリジナルデータフォーマットからメタデータを含む別のフォーマットに変換される。この別のフォーマットには、例えば、画像に関連するセマンティック情報を保存しておくのに適した、拡張メタファイルフォーマットや他のフォーマットについてのメタデータが含まれる。拡張メタファイルフォーマットによると、図5を参照して説明したように、画像をその関連セマンティック情報と一緒に相対的に高解像度で保存しておくことができる。画像を、グラフィックス属性などのセマンティック情報と一緒に高解像度で保存しておくと、図3と図4を参照して本明細書で説明した画像データ処理技法を利用して、画像をサブピクセル精度でレンダリングすることが可能になる。
【0034】
次に、画像データはステップ120でオーバスケーリングされる。メタファイルに格納されているセマンティック情報は、画像データに関連するグラフィックス属性を定義している。メタファイルの関数呼び出しで、メタファイルがレンダリングエンジンによって「プレイ」されるとき、テキストを高DPI(dot per inch)空間にセットする。レンダリングエンジンはスーパサンプリングまたはオーバスケーリングルーチンを利用して、画像をサブピクセル精度でレンダリングする。例えば、レンダリングエンジンは、文字が高DPI空間内に特定ポイントサイズの特定フォントを使用してレンダリングされることをフォント属性により通知される。オーバスケーリングルーチンについては、図4を参照してすでに詳しく説明している。
【0035】
画像データがオーバスケーリングされると、次に、オーバスケールされた描写がサンプリングされる。このサンプリングは、ステップ130でディスプレイデバイス(表示装置)のピクセルサブコンポーネントに与える輝度値を決定するために、画像データに適用される。サンプリングルーチンは、図4を参照してすでに詳しく説明されている。最後に、変換された画像データのサンプルは、ステップ140で、個々のピクセルサブコンポーネントにマッピングされるので、画像は、図4を参照して詳しく説明したように、ステップ140でディスプレイデバイス上に表示されることになる。本発明の図示実施形態では、オーバスケーリング、サンプリングおよびマッピングルーチンはセマンティック情報を利用して、本発明の変位サンプリングとサブピクセル精度レンダリングプロセスを実行している。セマンティック情報は、画像データが最初に格納されたときの画像データフォーマットではなく、メタファイルからアクセスされる。
【0036】
画像データのサンプルが個々のピクセルサブコンポーネントにマッピングされると、次に、ステップ150でスタティックバージョンの画像がディスプレイデバイス上に表示される。この例では、文字152と154は、ディスプレイデバイス上に表示される画像の形態に混じっている。グリッド160は、ディスプレイデバイスの一部分と、そのディスプレイデバイスの一部分に関連するピクセルサブコンポーネントを表している。グリッド160上の文字152と154の部分を観察すると明らかであるように、文字152と154の形態は、フルピクセル境界に丸められるのではなく、サブピクセル精度で表示されている。
【0037】
本発明の種々の実施形態によれば、以下で詳しく説明するように、種々のコンピュータハードウェアを含む、専用または汎用コンピュータが含まれているとすることができる。本発明の範囲に属する実施形態によれば、コンピュータ実行可能命令またはデータ構造を搬送するための、またはそこに格納しておくためのコンピュータ可読媒体も含まれる。このようなコンピュータ可読媒体は、汎用または専用コンピュータによってアクセス可能で、利用可能な媒体ならば、どのような媒体であってもかまわない。このようなコンピュータ可読媒体の例を挙げると、RAM、ROM、EEPROM、CD−ROMまたは他の光ディスク記憶装置、磁気ディスク記憶装置や他の磁気記憶装置、あるいは必要とするプログラムコード手段をコンピュータ実行可能命令またはデータ構造の形で搬送または格納するために使用でき、汎用または専用コンピュータによってアクセス可能である他の媒体などがあるが、これらに限定されない。情報がネットワークまたは別のコミュニケーションコネクション(ハードワイヤド、ワイヤレス、またはハードワイヤドとワイヤレスを組み合わせたもの)を通じてコンピュータに転送または供給されるとき、コンピュータ側から見たとき、そのコネクションはコンピュータ可読媒体そのものに見える。従って、この種のコネクションがコンピュータ可読媒体と呼ばれているのも当然である。上記のものを組み合わせたものも、当然にコンピュータ可読媒体の範囲に含まれるものである。コンピュータ実行可能命令には、例えば、汎用コンピュータ、専用コンピュータ、または特殊目的処理デバイスに対してある種の関数や関数群を実行させる命令とデータが含まれる。
【0038】
図7と以下の説明は、本発明を実現することができる、適切なコンピュータ環境の簡潔な概説を提供することを意図したものである。必ずしもその必要はないが、本発明は、プログラムモジュールのように、ネットワーク環境でコンピュータによって実行されるコンピュータ実行可能命令という一般的なコンテキスで説明されている。一般的に、プログラムモジュールには、特定のタスクを実行する、あるいは特定の抽象データ型を実装しているルーチン、プログラム、オブジェクト、コンポーネント、データ構造、などが含まれている。コンピュータ実行可能命令、関連データ構造、およびプログラムモジュールは、本明細書に開示されている方法のステップを実行するためのプログラムコード手段の例示である。このような実行可能命令または関連データ構造の特定シーケンスは、前記ステップに説明されている機能を実現するための、対応する行為 (act) の例を示している。
【0039】
この分野の精通者(当業者)ならば理解されるように、本発明は、多種類のコンピュータシステム構成からなるネットワークコンピュータ環境で実施することが可能であり、そのようなコンピュータシステム構成としては、パーソナルコンピュータ、ハンドヘルドデバイス(手持ちサイズ電子機器)、マルチプロセッサシステム、マイクロプロセッサベースまたはプログラマブル家庭電化製品、ネットワークPC(パソコン)、ミニコンピュータ、メインフレームコンピュータ(大型計算機)、などがある。上述したように、本発明は、相対的に低解像度のディスプレイデバイスを備えたハンドヘルドデバイスや他のコンピューティングデバイスに特に適用可能である。また、本発明は、通信ネットワークを通じてリンクされた(ハードワイヤドリンク、ワイヤレスリンク、またはハードワイヤドリンクとワイヤレスリンクを組み合わせたもののいずれかによって)ローカル(局所)とリモート(遠隔)の処理デバイスによってタスクが実行されるような、分散型コンピュータ環境で実施することも可能である。分散型コンピュータ環境では、プログラムモジュールは、ローカルとリモートの両方のメモリストレージデバイスに置いておくことができる。
【0040】
図7を参照して説明すると、本発明を実現するための例示のシステムは、従来型のコンピュータ220の形体をした汎用コンピューティングデバイスを含んでおり、このコンピューティングデバイスは、処理ユニット221、システムメモリ222、およびシステムメモリ222を含む種々のシステムコンポーネントを処理ユニット221に結合しているシステムバス223を装備している。システムバス223は、数種のバス構造のいずかにすることが可能であり、その中には、種々のバスアーキテクチャのいずれかを用いているメモリバスやメモリコントローラ、ペリフェラル(周辺)バス、ローカルバスなどが含まれている。システムメモリとしては、リードオンリメモリ (read only memory  ROM)224とランダムアクセスメモリ (random access memory  RAM)225がある。立て上げ時のような期間に、コンピュータ220内のエレメント間で情報を転送するのを支援する基本ルーチンからなる基本入出力システム (basic input/output system  BIOS)226を、ROM224に格納することができる。
【0041】
コンピュータ220は、磁気ハードディスク239に対して読み書きを行う磁気ハードディスクドライブ227、取り外し可能磁気ディスク229に対して読み書きを行う磁気ディスクドライブ228、およびCD−ROMや他の光媒体などの、取り外し可能光ディスク231に対して読み書きを行う光ディスクドライブ230を装備することも可能になっている。磁気ハードディスクドライブ227、磁気ディスクドライブ228、および光ディスクドライブ230は、それぞれハードディスクドライブインタフェース232、磁気ディスクドライブインタフェース233、および光ディスクドライブインタフェース234を介してシステムバス223に接続されている。これらのドライブ(駆動装置)とそれぞれに関連するコンピュータ可読媒体は、パーソナルコンピュータ220のためのコンピュータ実行可能命令、データ構造、プログラムモジュールおよびその他のデータを格納する不揮発性記憶装置を備える。ここで説明している例示の環境では、磁気ハードディスク239、取り外し可能磁気ディスク229および取り外し可能光ディスク231が採用されているが、データを格納しておくための他のタイプのコンピュータ可読媒体を使用することも可能である。そのような他のタイプのコンピュータ可読媒体としては、磁気カセット、フラッシュメモリカード、デジタルバーサタイルディスク (digital versatile disk)、ベルヌーイ (Bernoulli) カートリッジ、RAM、ROM、などがある。
【0042】
1つまたは2つ以上のプログラムモジュールを含むプログラムコード手段は、ハードディスク239、磁気ディスク229、光ディスク231、ROM224またはRAM225に格納しておくことができ、そのようなプログラムコード手段としては、オペレーティングシステム235、1つまたは2つ以上のアプリケーションプログラム236、他のプログラムモジュール237、およびプログラムデータ238がある。ユーザは、キーボード240、ポインティングデバイス242、またはマイクロホン、ジョイスティック、ゲームパッド、サテライトディッシュ(衛星放送受信アンテナ)、スキャナなどの、他の入力デバイス(図示せず)を通してコマンドと情報をコンピュータ220に入力することができる。上記および他の入力デバイスは、システムバス223に結合されたシリアルポートインタフェース246を通して処理ユニット221に接続されていることが多いが、別の方法として、入力デバイスは、パラレルポート、ゲームポートまたはユニバーサルシリアルバス (universal serial bus  USB) などの、他のインタフェースで接続することも可能である。モニタ247や他のタイプのディスプレイデバイスも、ビデオアダプタ248などの、インタフェースを介してシステムバス223に接続されている。本明細書で説明したように、モニタ247は、個別に制御可能なピクセルサブコンポーネントを備えた液晶ディスプレイデバイスまたは他のディスプレイデバイスである。
【0043】
コンピュータ220は、リモートコンピュータ249aおよび249bのような、1つまたは2つ以上のリモートコンピュータとの論理コネクションを使用するネットワーク環境で動作させることができる。リモートコンピュータ249aと249bの各々は、別のパーソナルコンピュータ(PC)、サーバ、ルータ、ネットワークPC、ピアデバイス(peer device)または他の共通ネットワークノードにすることが可能であり、図7にはメモリストレージデバイス250aと250bおよびそれぞれに関連するアプリケーションプログラム236aと236bだけが図示されているだけであるが、コンピュータ220に関して上述したエレメントの多くまたは全部を装備しているのが当たり前となっている。図7に描写した論理コネクションは、ローカルエリアネットワーク (local area network  LAN)251と広域ネットワーク (wide area network  WAN)252が含まれているが、これらは単なる例示であり、これらに限定されない。このようなネットワーク環境は、オフィス内(office−wide)または企業内(enterprise−wide)コンピュータネットワーク、イントラネットおよびインターネット (the Internet) でありふれたものなっている。
【0044】
LANネットワーク環境で使用する場合は、コンピュータ220は、ネットワークインタフェースまたはアダプタ253を通してローカルネットワーク251に接続されている。WANネットワーク環境で使用するのであれば、パーソナルコンピュータ220は、インターネットなどの、広域ネットワーク252上の通信を確立するためのモデム254、ワイヤレスリンク、または他の手段を含ませて良い。モデム254は内蔵型と外付け型のどちらでもよく、どちらも、シリアルポートインタフェース246を介してシステムバス223に接続されている。ネットワーク環境では、コンピュータ220に関連して図示したプログラムモジュールまたはその一部は、遠隔のメモリストレージデバイスに格納しておくことが可能である。以上から理解されるように、図示のネットワーク接続は例示であり、広域ネットワーク252上の通信を確立する他の手段を使用することも可能である。
【0045】
本発明は、本発明の精神または基本的特徴から逸脱しない限り、他の具体的形態で実現することが可能である。上述した実施形態は、すべての点において例示的なもので、限定的なものではない。従って、本発明の範囲は、上述してきた説明によってではなく、請求項の記載によって判断されるものである。請求項の意味と等価範囲に属するすべての変更は、本発明の範囲内に包含されるものである。
【図面の簡単な説明】
【図1】スタティックバージョンの画像を作成し、その画像データを高解像度フォーマットからバイナリビットマップに変換して、ディスプレイデバイスで表する従来の方法を示す図である。
【図2】LCDディスプレイデバイスを使用して画像データに適用されるレンダリングプロセスにおいて、画像の単一部分を表現するために3パートピクセル全体が使用されている従来技術を示す図である。
【図3】個々のピクセルサブコンポーネントを別々の光度発生源として使用して、画像の異なる部分を表現する本発明に係る変位サンプリングレンダリングプロセスを示す図である。
【図4】個別に制御可能なピクセルサブコンポーネントからなるピクセルを有するディスプレイデバイス上で解像度の向上を達成するための本発明で使用することのできるレンダリングプロセスを示す概要図である。
【図5】本発明のコンテキストで用いた画像データおよび基調をなすセマンティックデータを示す図である。
【図6】ピックルド画像をサブピクセル精度で表示するためにセマンティック情報を利用した本発明によるレンダリングプロセスを示す流れ図である。
【図7】本発明を実現するのに利用することができる操作環境の一例を示すブロック図である。
【符号の説明】
50 画像データ
51 文字14の左エッジ
52、54、56  ピクセル
53 変位サンプル
60 画像データ
62 オーバスケールされたデータ
64 サンプル
70 グリッド
72 画像
74B ブルーピクセルサブコンポーネント
74G グリーンピクセルサブコンポーネント
76R レッドピクセルサブコンポーネント
80 画像データ
82 セマンティック情報
152、154 文字
160 グリッド

Claims (30)

  1. 複数のピクセルを有し、各ピクセルが複数の個別に制御可能なピクセルサブコンポーネントを持つディスプレイデバイスと関連する処理デバイスにおいて、画像をディスプレイデバイス上に表示する方法であって、該方法は、
    画像を定義している画像データにアクセスする行為と、
    前記画像データを、文字形態を定義しているフォント属性を含み、かつ前記画像のレイアウトを定義している第1解像度をもつ情報を含むデータフォーマットに変換する行為と、
    前記変換された画像データを使用して、前記第1解像度よりも低い第2解像度をもつディスプレイデバイス上に画像を表示する行為と、を有し、前記ピクセルのピクセルサブコンポーネントは、画像の空間的に異なる部分を表しており、かつ前記文字形態の少なくとも一部分は、サブピクセル精度でディスプレイデバイス上に表示されることを特徴とする方法。
  2. 請求項1に記載の方法において、画像を表示する行為は、文字のエッジが同一ピクセルでの個々のピクセルサブコンポーネント間の境界に表示されるように画像を表示することを含むことを特徴とする方法。
  3. 請求項1に記載の方法において、前記データフォーマットは、前記ディスプレイデバイス上の表示に備えて、前記画像データをバイナリフォーマットでストアしておくことを可能にすることを特徴とする方法。
  4. 請求項1に記載の方法において、前記データフォーマットは、画像データを直列化することを可能にすることを特徴とする方法。
  5. 請求項1に記載の方法において、前記データフォーマットは、画像をデバイスに依存しない形で表示することを可能にすることを特徴とする方法。
  6. 請求項1に記載の方法において、前記ディスプレイデバイス上に画像を表示する行為は、バイナリバージョンの画像を前記ディスプレイデバイス上に活字体で描くことを含むことを特徴とする方法。
  7. 請求項1に記載の方法において、前記データフォーマットはメタファイルフォーマットを含むことを特徴とする方法。
  8. 請求項1に記載の方法において、前記データフォーマットは拡張メタファイルフォーマットを含むことを特徴とする方法。
  9. 請求項8に記載の方法において、前記拡張メタファイルフォーマットは、前記画像に関するグラフィックスデバイスインタフェースコマンドをストアすることを可能にすることを特徴とする方法。
  10. 請求項1に記載の方法において、前記画像データを変換する行為は、画像のレイアウトを定義している第1解像度をもつ前記情報を含んでいる、ピックルド(直列化)バージョンの画像データを作成する行為を含み、前記第1解像度をもつ前記情報は、前記画像の前記レイアウトをデバイスに依存しない形で定義している、記録されたアプリケーションプログラムインタフェースのコールを含んでいることを特徴とする方法。
  11. 複数のピクセルを有し、かつ各ピクセルが複数の個別に制御可能なピクセルサブコンポーネントをもっているディスプレイデバイスと関連付する処理デバイスにおいて、画像をディスプレイデバイス上に表示する方法であって、該方法は、
    画像を定義している画像データを、
    画像の形態を定義しているグラフィックス属性と、
    第1解像度をもつ第1座標空間内での画像の形態の位置を定義している情報と、
    を含むデータフォーマットに変換する行為と、
    前記グラフィックス属性および前記画像の形態の位置を定義している前記情報を使用して、前記第1解像度よりも低い第2解像度をもつディスプレイデバイス上に前記画像をサブピクセル精度で表示する行為と、を含み、前記第1解像度をもつ前記座標空間内の画像形態の位置を定義している前記情報は、前記第2解像度をもつ前記ディスプレイデバイスの第2座標空間内での形態の位置を、サブピクセル精度で決定するために使用されることを特徴とする方法。
  12. 請求項11に記載の方法において、画像を表示する行為は、前記変換画像データのサンプルを、前記ディスプレイデバイスのピクセルサブコンポーネントにマッピングする行為を含むことを特徴とする方法。
  13. 請求項11に記載の方法において、前記ディスプレイデバイスは液晶ディスプレイデバイス(LCD)を含み、前記画像を表示する行為は、前記変換画像データを、前記LCDデバイスのピクセルサブコンポーネントの同一カラーストライプのストライプに直交する方向にオーバスケーリングする行為を含むことを特徴とする方法。
  14. 請求項11に記載の方法において、前記ディスプレイデバイスは液晶ディスプレイ(LCD)を含み、画像を表示する行為は、前記LCDディスプレイデバイスのピクセルサブコンポーネントに適用される輝度値を決定するために、画像をサンプリングして複数のサンプルを得る行為を含むことを特徴とする方法。
  15. 請求項14に記載の方法において、前記ピクセルサブコンポーネントは、前記ディスプレイデバイス上に複数の同一カラーストライプを形成しており、情報をサンプリングする行為は、前記ピクセルサブコンポーネントのストライピング方向よりも、前記ピクセルサブコンポーネントのストライピングに直交する方向により多くのサンプルを得る行為を含むことを特徴とする方法。
  16. 請求項11に記載の方法において、前記変換画像を処理する行為は、オーバラッピングカラーフィルタを使用して画像データをフィルタリングする行為を含むことを特徴とする方法。
  17. 請求項11に記載の方法において、前記グラフィックス属性はフォント属性を含むと共に、文字情報を含むことを特徴とする方法。
  18. 請求項11に記載の方法において、前記グラフィックス属性はカラー情報を含むことを特徴とする方法。
  19. 請求項11に記載の方法において、前記グラフィックス属性は画像サイズ情報を含むことを特徴とする方法。
  20. 請求項11に記載の方法において、第1解像度をもつ第1座標空間内で前記画像の文字形態の位置を定義している前記情報は、デバイスに依存しない形で前記画像のレイアウトを定義している、記録済みのアプリケーションプログラムインタフェースのコールを含むことを特徴とする方法。
  21. 処理デバイスと画像を表示するディスプレイデバイスとを含んでいるコンピュータシステムであって、前記ディスプレイデバイスは複数のピクセルを有していて、各ピクセルは複数の個別に制御可能なピクセルサブコンポーネントをもつものにおいて、画像を前記ディスプレイデバイス上に表示する方法を前記コンピュータシステムにより実現するためのコンピュータプログラムであって、該コンピュータプログラムは、
    コンピュータ可読媒体に格納された前記方法を実行するためのコンピュータ実行可能命令を含んでいて、該コンピュータ実行可能命令は、
    画像を定義している画像データを、文字形態を定義しているフォント属性を含むと共に、前記画像のレイアウトを定義している、第1解像度をもつ情報を含んでいるメタファイルフォーマットに変換するステップと、
    前記フォント属性と前記第1解像度を利用して、前記変換画像データを、前記第1解像度よりも低い第2解像度をもつディスプレイデバイス上に画像を表示するように処理するステップと、を含み、前記変換画像データを処理するステップは、
    前記変換画像データのサンプルを、前記フォント属性を利用して個々のピクセルサブコンポーネントにマッピングするステップと、
    前記文字形態の少なくとも一部が、サブピクセル精度で前記ディスプレイデバイス上に表示されるように前記画像をディスプレイデバイス上に表示するステップと、を含むことを特徴とするコンピュータプログラム。
  22. 請求項21に記載のコンピュータプログラムにおいて、前記ディスプレイデバイスは液晶ディスプレイ (LCD) デバイスを含み、前記変換画像データを処理するステップは、前記LCDディスプレイデバイスのストライプに直交する方向に前記変換画像データをオーバスケーリングして、該オーバスケールされた画像表現を作成するステップを含むことを特徴とするコンピュータプログラム。
  23. 請求項21に記載のコンピュータプログラムにおいて、前記変換画像データを処理するステップは、前記ディスプレイデバイスのピクセルサブコンポーネントに適用される輝度値を指定している複数のサンプルが得られるように、前記画像を表現している情報をサンプリングするステップを含むことを特徴とするコンピュータプログラム。
  24. 請求項23に記載のコンピュータプログラムにおいて、前記サンプルは、該サンプルがサブピクセル精度で前記個々のピクセルサブコンポーネントにマッピングされることができるように、前記第1解像度をもつ前記情報を使用して得られることを特徴とするコンピュータプログラム。
  25. 請求項21に記載のコンピュータプログラムにおいて、前記コンピュータ可読命令は、オーバラッピングカラーフィルタを使用して前記画像データをフィルタリングするステップをさらに含むことを特徴とするコンピュータプログラム。
  26. 複数のピクセルを有していて、各ピクセルが複数の個別に制御可能なピクセルサブコンポーネントをもっているディスプレイデバイスと関連付する処理デバイスにおいて、画像を前記ディスプレイデバイス上に表示する方法であって、該方法は、
    画像を定義している第1フォーマットでストアされている画像データにアクセスする行為と、
    前記画像の文字形態を定義しているフォント属性を保存したまま、前記画像データを前記第1フォーマットから画像のピックルドバージョンを表している第2フォーマットに変換する行為であって、前記画像のピックルドバージョンは、デバイスに依存しない形で前記画像のレイアウトを定義している第1解像度をもつ情報を含んでいるものと、
    前記画像を表している複数のサンプルを得るために、前記フォント属性と前記第1解像度をもつ前記情報とを処理する行為であって、前記サンプルは、前記ディスプレイデバイスの前記ピクセルによって定義された第2解像度よりも高い解像度をもっているものと、
    前記ピクセルサブコンポーネントを制御する輝度値を定義するために、空間的に異なるサンプルの集合を前記ディスプレイデバイスの前記ピクセルの個々のピクセルサブコンポーネントにマッピングする行為と、
    前記定義された輝度値を使用して前記画像を前記ディスプレイデバイス上に表示する行為であって、前記画像はサブピクセル精度で前記ディスプレイデバイス上に表示されるようにするものと、
    を含むことを特徴とする方法。
  27. 請求項26に記載の方法において、前記ディスプレイデバイスは液晶ディスプレイデバイスを含むことを特徴とする方法。
  28. 請求項27に記載の方法において、前記ピクセルサブコンポーネントは、レッドサブコンポーネント、ブルーサブコンポーネント、およびグリーンサブコンポーネントを含むことを特徴とする方法。
  29. 請求項28に記載の方法において、前記ピクセルサブコンポーネントは、前記ディスプレイデバイス上に同一カラーのピクセルサブコンポーネントのストライプに配列されていることを特徴とする方法。
  30. 請求項26に記載の方法において、デバイスに依存しない形で前記画像のレイアウトを定義している第1解像度をもつ前記情報は、実行されたとき、ビューアに前記画像をレンダリングさせることができる、記録済みのアプリケーションプログラムインタフェースのコールを含むことを特徴とする方法。
JP2003133820A 2002-05-13 2003-05-12 空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム Expired - Fee Related JP4928710B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/145,317 US20030210834A1 (en) 2002-05-13 2002-05-13 Displaying static images using spatially displaced sampling with semantic data
US10/145,317 2002-05-13

Publications (2)

Publication Number Publication Date
JP2004004839A true JP2004004839A (ja) 2004-01-08
JP4928710B2 JP4928710B2 (ja) 2012-05-09

Family

ID=29269742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003133820A Expired - Fee Related JP4928710B2 (ja) 2002-05-13 2003-05-12 空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム

Country Status (3)

Country Link
US (1) US20030210834A1 (ja)
EP (1) EP1363266A3 (ja)
JP (1) JP4928710B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071659A1 (ja) * 2004-01-27 2005-08-04 Fujitsu Limited 表示装置,表示制御装置,表示方法,表示制御プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
WO2011129376A1 (ja) * 2010-04-14 2011-10-20 シャープ株式会社 液晶表示装置、液晶表示装置のフォント表示方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10164631A1 (de) * 2001-07-16 2003-02-13 Thinprint Gmbh Verfahren zur Ausgabe von Inhalten aus dem Internet oder einem Intranet
US7844898B2 (en) * 2006-02-28 2010-11-30 Microsoft Corporation Exporting a document in multiple formats
US7609269B2 (en) 2006-05-04 2009-10-27 Microsoft Corporation Assigning color values to pixels based on object structure
TWI539425B (zh) * 2014-10-23 2016-06-21 友達光電股份有限公司 對顯示器的畫面進行渲染的方法
CN104821147B (zh) 2015-05-27 2017-06-27 京东方科技集团股份有限公司 一种子像素渲染方法
CN107633809B (zh) * 2017-09-30 2019-05-21 京东方科技集团股份有限公司 消除多ic驱动显示屏暗线的方法、显示屏及显示装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990895A (ja) * 1995-04-21 1997-04-04 Canon Inc 表示装置
US5910805A (en) * 1996-01-11 1999-06-08 Oclc Online Computer Library Center Method for displaying bitmap derived text at a display having limited pixel-to-pixel spacing resolution
WO2000021068A1 (en) * 1998-10-07 2000-04-13 Microsoft Corporation Methods and apparatus for displaying images such as text
WO2000042564A2 (en) * 1999-01-12 2000-07-20 Microsoft Corporation Filtering image data to obtain samples mapped to pixel sub-components of a display device
JP2001100725A (ja) * 1999-02-01 2001-04-13 Sharp Corp 文字表示装置、文字表示方法および記録媒体
WO2001078053A2 (en) * 2000-04-10 2001-10-18 Microsoft Corporation Automatic optimization of the position of stems of text characters
WO2002089105A2 (en) * 2001-05-02 2002-11-07 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
JP2003036048A (ja) * 2001-07-25 2003-02-07 Matsushita Electric Ind Co Ltd 表示装置、表示方法及び表示制御プログラムを記録した記録媒体

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5341153A (en) * 1988-06-13 1994-08-23 International Business Machines Corporation Method of and apparatus for displaying a multicolor image
US5301267A (en) * 1991-09-27 1994-04-05 Adobe Systems Incorporated Intelligent font rendering co-processor
US5528740A (en) * 1993-02-25 1996-06-18 Document Technologies, Inc. Conversion of higher resolution images for display on a lower-resolution display device
US5528742A (en) * 1993-04-09 1996-06-18 Microsoft Corporation Method and system for processing documents with embedded fonts
CA2134620A1 (en) * 1993-11-05 1995-05-06 Arul Menezes System and method for exchanging computer data processing capabilities
US5602974A (en) * 1994-10-05 1997-02-11 Microsoft Corporation Device independent spooling in a print architecture
US5982996A (en) * 1997-03-13 1999-11-09 Hewlett-Packard Company Mechanism for printer driver switching in windows operating systems to allow distribution of print jobs to an output device from a single print request within an application
US6260044B1 (en) * 1998-02-04 2001-07-10 Nugenesis Technologies Corporation Information storage and retrieval system for storing and retrieving the visual form of information from an application in a database
TW377429B (en) * 1998-02-11 1999-12-21 Au Optronics Corp Method of showing graphics on dot matrix display
US6456340B1 (en) * 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
CN1322343A (zh) * 1998-10-07 2001-11-14 微软公司 将图象数据采样映射到条化显示装置上的象素子组元
US6282327B1 (en) * 1999-07-30 2001-08-28 Microsoft Corporation Maintaining advance widths of existing characters that have been resolution enhanced
US6384839B1 (en) * 1999-09-21 2002-05-07 Agfa Monotype Corporation Method and apparatus for rendering sub-pixel anti-aliased graphics on stripe topology color displays
JP2003512653A (ja) 1999-10-19 2003-04-02 インテンシス コーポレイション 適応サブピクセルレンダリングによる画像ディスプレイ品質の向上

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0990895A (ja) * 1995-04-21 1997-04-04 Canon Inc 表示装置
US5910805A (en) * 1996-01-11 1999-06-08 Oclc Online Computer Library Center Method for displaying bitmap derived text at a display having limited pixel-to-pixel spacing resolution
WO2000021068A1 (en) * 1998-10-07 2000-04-13 Microsoft Corporation Methods and apparatus for displaying images such as text
WO2000042564A2 (en) * 1999-01-12 2000-07-20 Microsoft Corporation Filtering image data to obtain samples mapped to pixel sub-components of a display device
JP2001100725A (ja) * 1999-02-01 2001-04-13 Sharp Corp 文字表示装置、文字表示方法および記録媒体
WO2001078053A2 (en) * 2000-04-10 2001-10-18 Microsoft Corporation Automatic optimization of the position of stems of text characters
WO2002089105A2 (en) * 2001-05-02 2002-11-07 Bitstream, Inc. Methods, systems, and programming for producing and displaying subpixel-optimized images and digital content including such images
JP2003036048A (ja) * 2001-07-25 2003-02-07 Matsushita Electric Ind Co Ltd 表示装置、表示方法及び表示制御プログラムを記録した記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005071659A1 (ja) * 2004-01-27 2005-08-04 Fujitsu Limited 表示装置,表示制御装置,表示方法,表示制御プログラムおよび同プログラムを記録したコンピュータ読取可能な記録媒体
US7518610B2 (en) 2004-01-27 2009-04-14 Fujitsu Limited Display apparatus, display control apparatus, display method, and computer-readable recording medium recording display control program
WO2011129376A1 (ja) * 2010-04-14 2011-10-20 シャープ株式会社 液晶表示装置、液晶表示装置のフォント表示方法
US8907878B2 (en) 2010-04-14 2014-12-09 Sharp Kabushiki Kaisha Liquid crystal display device and method for displaying fonts on liquid crystal display device

Also Published As

Publication number Publication date
EP1363266A3 (en) 2007-09-26
JP4928710B2 (ja) 2012-05-09
EP1363266A2 (en) 2003-11-19
US20030210834A1 (en) 2003-11-13

Similar Documents

Publication Publication Date Title
US6377262B1 (en) Rendering sub-pixel precision characters having widths compatible with pixel precision characters
RU2258264C2 (ru) Способ и система для асимметричной растеризации данных изображения с избыточной выборкой
US7130480B2 (en) Methods and apparatus for filtering and caching data representing images
US6985160B2 (en) Type size dependent anti-aliasing in sub-pixel precision rendering systems
KR101297734B1 (ko) 디스플레이 시스템에서의 사전-서브픽셀 렌더링된 이미지 처리
RU2258265C2 (ru) Автоматическая оптимизация расположения ножек символов текста
WO2000042762A2 (en) Methods, apparatus and data structures for enhancing resolution images to be rendered on patterned display devices
JP4820004B2 (ja) ディスプレイ装置の画素サブコンポーネントにマッピングされるサンプルを得るために画像データをフィルタリングする方法およびシステム
JP2002540460A (ja) 表示文字の位置付け方法および装置
EP2033106B1 (en) Remoting sub-pixel resolved characters
JP5231697B2 (ja) 表示される画像の解像度を改善する方法およびコンピュータ・システム
US6480201B1 (en) Alpha regions
JP4928710B2 (ja) 空間変位サンプリングをセマンティックデータと一緒に使用してスタティック画像を表示する方法とシステム
EP1210708B1 (en) Rendering sub-pixel precision characters having widths compatible with pixel precision characters
KR101098641B1 (ko) 각각의 픽셀에 대해 특정 방향을 따라 스트라이핑된 복수의픽셀 하위구성요소를 포함하는 디스플레이의 일부분 상에객체를 렌더링하기 위한 방법 및 컴퓨터 프로그램 제품
JPH11296670A (ja) 画像データ補間装置、画像データ補間方法および画像データ補間プログラムを記録した媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110128

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110428

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110714

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120213

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350