JP2023058464A - フォービエイティッドレンダリングのための装置及び方法 - Google Patents
フォービエイティッドレンダリングのための装置及び方法 Download PDFInfo
- Publication number
- JP2023058464A JP2023058464A JP2022163780A JP2022163780A JP2023058464A JP 2023058464 A JP2023058464 A JP 2023058464A JP 2022163780 A JP2022163780 A JP 2022163780A JP 2022163780 A JP2022163780 A JP 2022163780A JP 2023058464 A JP2023058464 A JP 2023058464A
- Authority
- JP
- Japan
- Prior art keywords
- image
- full
- foveal
- foveated
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000009877 rendering Methods 0.000 title claims description 32
- 238000000034 method Methods 0.000 title claims description 20
- 230000002093 peripheral effect Effects 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000002156 mixing Methods 0.000 claims description 5
- 241001270131 Agaricus moelleri Species 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 230000010354 integration Effects 0.000 description 12
- 238000009499 grossing Methods 0.000 description 10
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007596 consolidation process Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/503—Blending, e.g. for anti-aliasing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/10—Selection of transformation methods according to the characteristics of the input images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0147—Head-up displays characterised by optical features comprising a device modifying the resolution of the displayed image
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Optics & Photonics (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
【課題】HMDデバイスの処理オーバーヘッドを低減する表示ドライバを提供する。【解決手段】表示ドライバが、インターフェース回路部と画像処理回路部と駆動回路部とを備えている。インターフェース回路部は、表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取るように構成されている。画像処理回路部は、フルフレーム画像をアップスケールし、アップスケール後のフルフレーム画像と中心窩画像とからフォービエイティッド画像をレンダリングするように構成されている。フォービエイティッド画像は、中心窩画像に基づく中心窩領域と、アップスケール後のフルフレーム画像に基づく周辺領域と、中心窩画像とアップスケール後のフルフレーム画像とに基づく境界領域とを含む。境界領域は、中心窩領域と周辺領域の間に位置している。駆動回路部は、フォービエイティッド画像を用いて表示パネルを駆動するように構成されている。【選択図】図7A
Description
開示された技術は、全体として、フォービエイティッドレンダリング(foveated rendering)のための装置及び方法に関する。
ヘッドマウントディスプレイ(HMD)デバイスは、ユーザの頭部に着用、さもなければ装着されるように構成される。HMDデバイスは、ユーザの目の一方又は両方の前に位置する一以上のディスプレイを備えることがある。より具体的には、HMDデバイスは、ユーザの目のすぐ近くで画像又は動画を表示してHMDデバイスのユーザに没入型体験を提供するように構成される。従って、HMDデバイスは、(とりわけ、仮想現実(VR)、拡張現実(AR)及び複合現実(MR)を含む)拡大現実(XR)アプリケーションに好適である。しかしながら、ディスプレイがユーザの目のすぐ近くにあるため、表示された画像の比較的小さな部分しかユーザの中心窩には到達しない。言い換えれば、ユーザの目は、いつでも、各ディスプレイの比較的小さな領域にしか焦点を当てることができない。
フォービエイティッドレンダリングは、HMDデバイスにしばしば関連するディスプレイ技術である。より具体的には、フォービエイティッドレンダリングは、画像の異なる領域を異なる解像度で動的にレンダリングすることにより(「フォービエイティッド画像(foveated image)」とも呼ばれる)HMDデバイスの処理オーバーヘッドを低減することができる。例えば、フォービエイティッド画像は中心窩領域と周辺領域とを含むことがある。中心窩領域は、ユーザの中心窩と位置整合しており、よって、最も高い視力で知覚可能な画像の領域を表している。一方で、周辺領域は、中心窩領域を取り囲む領域であり、よって、ユーザの周辺視野にある。フォービエイティッドレンダリングは、例えば周辺領域を中心窩領域よりも低い解像度(又は低い微細度)で周辺領域をレンダリングすることにより、人間の視覚を模擬することがある。
本要約は、発明を実施するための形態において下記で更に説明する概念の選択を簡潔な形態で紹介するために提供されている。本要約は、請求された主題の主要な特徴又は必要不可欠な特徴を特定する意図はなく、請求された主題の範囲を限定する意図もない。
いくつかの実施形態では、表示ドライバが、インターフェース回路部と画像処理回路部と駆動回路部とを備えている。インターフェース回路部は、当該表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取るように構成されている。画像処理回路部は、フルフレーム画像をアップスケールし、アップスケール後のフルフレーム画像と中心窩画像からフォービエイティッド画像をレンダリングするように構成されている。フォービエイティッド画像は、中心窩画像に基づく中心窩領域と、アップスケール後のフルフレーム画像に基づく周辺領域と、中心窩画像及びアップスケール後のフルフレーム画像に基づく境界領域とを含む。境界領域は中心窩領域と周辺領域との間に位置している。駆動回路部は、フォービエイティッド画像を用いて表示パネルを駆動するように構成されている。
いくつかの実施形態では、表示システムが、ソースと、表示パネルと、表示ドライバとを備えている。ソースは、フルフレーム画像と中心窩画像とをレンダリングするように構成されている。表示ドライバは、ソースからフルフレーム画像と中心窩画像とを受け取るように構成されている。表示ドライバは、更に、フルフレーム画像をアップスケールし、アップスケール後のフルフレーム画像と中心窩画像とからフォービエイティッド画像をレンダリングするように構成されている。フォービエイティッド画像は、中心窩画像に基づく中心窩領域と、アップスケール後のフルフレーム画像に基づく周辺領域と、中心窩画像及びアップスケール後のフルフレーム画像に基づく境界領域とを含む。境界領域は中心窩領域と周辺領域との間に位置している。表示ドライバは、更に、フォービエイティッド画像を用いて表示パネルを駆動するように構成されている。
いくつかの実施形態では、表示ドライバを作動させる方法が提供される。該方法は、表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取ることを含んでいる。該方法は、更に、フルフレーム画像をアップスケールすることを含んでいる。該方法は、更に、アップスケール後のフルフレーム画像と中心窩画像とからフォービエイティッド画像をレンダリングすることを含んでいる。フォービエイティッド画像は、中心窩画像に基づく中心窩領域と、アップスケール後のフルフレーム画像に基づく周辺領域と、中心窩画像及びアップスケール後のフルフレーム画像に基づく境界領域とを含む。境界領域は中心窩領域と周辺領域との間に位置している。該方法は、更に、フォービエイティッド画像を用いて表示パネルを駆動することを含んでいる。
本実施形態は、例として図示されており、添付している図面の形態によって限定されることを意図していない。
理解を容易にするために、可能であれば、図面に共通の同一の要素を指し示すために同一の参照符号が用いられている。一の実施形態に開示された要素は、特に記載しなくとも他の実施形態に有益に使用され得ることが予期されている。同一の要素を互いに区別するために、参照符号に添字が付されることがある。本明細書で参照する図面は、特に言及がない限り、寸法通りに描かれていると理解されるべきではない。また、提示及び説明の明確性のために、図面は、しばしば、詳細又は構成部品が省略されて簡略化される。図面及び議論は、以下に議論する原理を説明するために役立つものであり、類似の符号は類似の要素を示している。
下記の詳細な説明は、本質的に、単に例示的なものであり、本開示及び本開示の用途及び使用法について限定する意図はない。更に、前述した背景、要約又は下記の詳細な説明において提示されている明示的な又は暗示的な理論によって拘束される意図もない。本明細書において「結合される」という用語は、直接に接続されること、又は、一以上の介在する構成要素又は回路を介して接続されることを意味している。
フォービエイティッドレンダリングは、画像の異なる領域を異なる解像度で動的にレンダリングすること(「フォービエイティッド画像」とも呼ばれる)によってHMDデバイスの処理オーバーヘッドを低減するためにしばしば用いられるディスプレイ技術である。より具体的には、フォービエイティッドレンダリングは、画像の周辺領域を画像の中心窩領域よりも低い解像度(又は低い微細度)でレンダリングすることによって人間の視覚を模擬することがある。例えば、中心窩領域がユーザの中心窩と位置整合している場合がある一方で、周辺領域がユーザの周辺視野にある場合がある。
フォービエイティッド画像は、中心窩画像をフルフレーム画像と統合又は重ね合わせることによって生成可能である。中心窩画像は、フォービエイティッド画像の中心窩領域に表示又はレンダリングされることがあり、フルフレーム画像は、フォービエイティッド画像の周辺領域に表示又はレンダリングされることがある。人間の視覚と同様に、中心窩画像は、フルフレーム画像よりも多くの単位面積当たりの情報(又は詳細)を含んでいることがある。中心窩画像のフルフレーム画像に対する配置又は位置は、ユーザの注視方向に基づいて決定されることがある。この注視方向は、アイトラッキングによって検出されることがある。
HMDシステムは、表示パネルを駆動してフォービエイティッド画像を表示又はレンダリングするように構成された表示ドライバ(例えば、表示ドライバ集積回路(DDIC))を備えていることがある。より具体的には、表示ドライバは、中心窩画像をフルフレーム画像と統合してフォービエイティッド画像をレンダリングするように構成されることがある。いくつかの実装では、表示ドライバは、通信リンクを介してソースから中心窩画像とフルフレーム画像とを受け取るように構成されることがある。
表示装置とソースの間の通信リンクは、帯域が制限されることがある。このような制限された帯域で高いレイテンシースループットを達成するために、ソースは、フルフレーム画像をその生来の解像度(これは、ディスプレイの解像度より低いことがある)で表示ドライバに送信することがある。表示ドライバは、そのフルフレーム画像をアップスケールし、表示のために、中心窩画像をアップスケール後のフルフレーム画像と統合するように構成されることがある。
フルフレーム画像と中心窩画像との間の解像度の差は、フォービエイティッド画像の中心窩領域の端において「スムーズでない」境界を生じさせることがある。より具体的には、中心窩領域から周辺領域への移行部は、解像度の変化により、硬直し又は目障りに見えることがある。本開示は、フォービエイティッド画像において中心窩画像の境界をスムージングする効率的な手法を提供する。
一以上の実施形態において、表示ドライバが、インターフェース回路部と画像処理回路部と駆動回路部とを備えている。インターフェース回路部は、表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取るように構成されている。画像処理回路部は、フルフレーム画像をアップスケールし、アップスケール後のフルフレーム画像に基づいてフォービエイティッド画像の周辺領域をレンダリングし、中心窩画像に基づいてフォービエイティッド画像の中心窩領域をレンダリングし、アップスケール後のフルフレーム画像の第2部分と共に中心窩画像の第1部分に基づいてフォービエイティッド画像の境界領域をレンダリングするように構成されている。中心窩領域は、周辺領域の枠に入れられており、境界領域は、中心窩領域と周辺領域との間に位置している。駆動回路部は、フォービエイティッド画像に基づいて表示パネルを駆動するように構成されている。
図1は、一以上の実施形態による、フォービエイティッドレンダリングに対応する表示システム1000の例示的な構成を図示している。図示された実施形態では、表示システム1000がコントローラ100とHMDデバイス600とを備えている。HMDデバイス600は、表示ドライバ200と表示パネル300とを備えている。表示パネル300は、液晶表示(LCD)パネルであってもよく、有機発光ダイオード(OLED)表示パネルであってもよく、又は、様々な他の適切な表示技術を実施する表示パネルであってもよい。HMDデバイス600は、更に、表示パネル300の前に配置されたレンズ610を備えている。HMDデバイス600のユーザは、レンズ610を通して見て表示パネル300に表示された画像を眺める。
コントローラ100は、表示ドライバ200に中心窩画像とフルフレーム画像とを供給するように構成されたソースとして構成されている。中心窩画像は、フォービエイティッド画像のうちのユーザの中心窩に位置整合している中心窩領域(例えば、画像のうちのユーザの目の焦点が合った領域)に対応していることがあり、フルフレーム画像は、フォービエイティッド画像のうちのユーザの周辺視野にある周辺領域に対応していることがある。いくつかの実施形態では、フルフレーム画像は、中心窩画像と生来の解像度が同一であるが中心窩画像よりも広いディスプレイ領域を包含することがある。他の実施形態では、フルフレーム画像が中心窩画像と異なる生来の解像度を有していることがある。表示ドライバ200は、中心窩画像とフルフレーム画像とに基づいてフォービエイティッド画像をレンダリングし、フォービエイティッド画像に基づいて表示パネル300を駆動するように構成されている。
図2は、一以上の実施形態による、表示ドライバ200の例示的な動作を図示している。いくつかの実施形態では、表示ドライバ200が、コントローラ100からフルフレーム画像201と中心窩画像202とを受け取るように構成される。表示ドライバ200は、更に、コントローラ100から受け取ったフルフレーム画像201をアップスケールし、中心窩画像202を、符号203によって示されているアップスケール後のフルフレーム画像と統合してフォービエイティッド画像204を生成するように構成されている。フォービエイティッド画像204においては、中心窩画像202がアップスケール後のフルフレーム画像203に重ね合わされている。表示ドライバ200は、更に、フォービエイティッド画像204を表示パネル300上に駆動又はレンダリングするように構成されている。いくつかの実装では、表示ドライバ200は、フォービエイティッド画像204を表示パネル300上で直接に表示してもよい。他の実装では、表示ドライバ200は、表示パネル300に画像を表示する前に、更にフォービエイティッド画像204に画像処理をしてもよい。いくつかの実装では、フルフレーム画像201は、倍率Nでアップスケールされてもよい。ここでNは、1より大きい整数である。いくつかの実装では、中心窩画像202は、元のフルフレーム画像201と同数の画素を有しており、アップスケール後のフルフレーム画像203は、元のフルフレーム画像201(及び中心窩画像202)のN2倍の画素を含んでいてもよい。したがって、アップスケール後のフルフレーム画像203は、中心窩画像よりも単位面積当たりの視覚情報が少ない。
上で議論しているように、中心窩画像202をアップスケール後のフルフレーム画像203と統合すると、中心窩画像202の周囲の境界がスムーズでなくなることがある。図3は、中心窩画像206がアップスケール後のフルフレーム画像207に重ね合わされた例示的なフォービエイティッド画像205を図示している。フォービエイティッド画像205は、中心窩画像206の周囲の境界がスムーズでない。スムーズでない境界は、ユーザにとって知覚可能であり、苛立たせさえすることがあり、これにより、ユーザ経験を劣化させ得る。
本開示の態様は、コントローラにおいて中心窩画像に境界スムージング処理を行い、表示ドライバに境界がスムージングされた中心窩画像を送信することによって中心窩画像のスムーズでない境界を緩和することがある。図4Aは、境界スムージングのために構成された表示システム2000の例示的な構成を図示している。図示された表示システム2000は、コントローラ700と表示ドライバ800と表示パネル900とを備えている。コントローラ700は、中心窩画像とフルフレーム画像とをレンダリングするように構成されたソースとして構成されている。コントローラ700は、更に、中心窩画像に対して境界スムージングを行い、境界がスムージングされた中心窩画像とフルフレーム画像とを表示ドライバ800に送信するように構成されている。表示ドライバ800は、フルフレーム画像をアップスケールし、境界がスムージングされた画像をアップスケール後のフルフレーム画像と統合して表示パネル900に表示されるフォービエイティッド画像をレンダリングするように構成される。
(元のフルフレーム画像ではなく)アップスケール後のフルフレーム画像に基づく境界スムージングは、コントローラ700の処理オーバーヘッドを増大させ得る。更に、(例えば、コントローラ700と表示ドライバ800とが異なるベンダーによって製造される等の)コントローラ700が表示ドライバ800の仕様を完全に知らされていない状況では、アップスケーリングは、表示ドライバ800によって行われる必要があり得る。
図4Bは、一以上の実施形態による、効率的に境界スムージングを達成するための表示システム1000Aの例示的なアーキテクチャを図示している。図示された実施形態では、コントローラ100Aが、中心窩画像とフルフレーム画像を表示ドライバ200Aに提供するように構成されたソースとして構成されている。表示ドライバ200Aは、フルフレーム画像をアップスケールし、中心窩画像をアップスケール後のフルフレーム画像と統合して表示パネル300に表示されるべきフォービエイティッド画像を生成するように構成されている。表示ドライバ200Aは、更に、中心窩画像をアップスケール後のフルフレーム画像と統合するときに境界スムージングを行うように構成されている。
図4Cは、一以上の実施形態による、フォービエイティッド画像400の例示的な構成を図示している。一以上の実施形態において、フォービエイティッド画像400は、周辺領域410と中心窩領域420と境界領域430とを含む。中心窩領域420は、周辺領域410の枠に入れられ、又は、周辺領域410によって取り囲まれており、境界領域430は、周辺領域410と中心窩領域420との間に位置している。表示ドライバ200Aは、アップスケール後のフルフレーム画像に基づいてフォービエイティッド画像400の周辺領域410をレンダリングし、中心窩画像に基づいてフォービエイティッド画像400の中心窩領域420をレンダリングするように構成されている。表示ドライバ200Aは、更に、フォービエイティッド画像400の境界領域430の内部において中心窩画像の画素をアップスケール後のフルフレーム画像の画素とブレンディングすることにより境界領域430をレンダリングして境界スムージングを行うように構成されている。周辺領域410、中心窩領域420及び境界領域430の形状は、図示されたものと相違し得ることに留意されたい。周辺領域410、中心窩領域420及び境界領域430の形状は、(例えば図4Cに図示されているように)規則的であってもよく、不規則的であってもよい。
図5は、一以上の実施形態による、図4Bのコントローラ100Aの例示的な構成を図示している。図示された実施形態では、コントローラ100Aは、レンダリングエンジン110とインターフェース回路部120とを備えている。いくつかの実施形態では、レンダリングエンジン110は、中心窩画像とフルフレーム画像とをレンダリングするように構成されている。他の実施形態では、コントローラ100Aは、コントローラ100Aの外部のエンティティから中心窩画像とフルフレーム画像とを受け取るように構成されてもよい。レンダリングエンジン110は、更に、表示ドライバ200Aにおける、(図4Cに図示されている)境界領域430のレンダリングを含む、中心窩画像のフルフレーム画像との統合を制御するために使用される制御データを生成するように構成されていてもよい。いくつかの実装では、制御データは、アップスケール後のフルフレーム画像に対する(アップスケール後のフルフレーム画像に重ねられる)位置を示す座標データを含んでいることがある。座標データは、フォービエイティッド画像400における中心窩画像の座標を指示する場合がある。制御データは、更に、境界領域430の一以上の寸法を指定する境界領域制御データを含んでいてもよい。例えば、境界領域制御データは、境界領域430の大きさを指示してもよい。いくつかの実施形態では、制御データは、フルフレーム画像の画素データとして埋め込まれてもよい。例えば、当該画素データは、表示パネル300に表示されないフルフレーム画像の部分(例えば、表示パネル300の表示領域の角等)に埋め込まれてもよい。インターフェース回路部120は、中心窩画像とフルフレーム画像とを画像データとして表示ドライバ200Aに送信するように構成されている。画像データは、中心窩画像とフルフレーム画像の画素の階調を含んでいてもよい。いくつかの実施形態では、インターフェース回路部120は、制御データをフルフレーム画像の画像データとは別に表示ドライバ200Aに送信するように更に構成されることがある。
図6は、一以上の実施形態による、一フレーム期間の間にコントローラ100Aから表示ドライバ200Aに送信される画像データの例示的なデータフォーマットを図示している。図6において、各行は、一水平同期期間の間に送信されるデータを表している。“VS”はフレーム期間の開始を示す垂直同期パケットを示しており、“HS”は水平同期期間の開始を示す水平同期パケットを示している。“VBP”は垂直バックポーチを示しており、“VFP”は垂直フロントポーチを示しており、“HBP”は水平バックポーチを示しており、“HFP”は水平フロントポーチを示している。“中心窩画像#1”~“中心窩画像#M”は、纏めて、中心窩画像の画像データを示している。ここで、“中心窩画像#i”は、中心窩画像のi番目の水平ラインの画像データを示している。ただし、iは1からMの整数である。更に、“フルフレーム画像#1”~“フルフレーム画像#M”は、纏めて、フルフレーム画像の画像データを示している。ここで、“フルフレーム画像#i”は、フルフレーム画像のi番目の水平ラインの画像データを示している。図示された実施形態では、制御データは、フルフレーム画像の画素データとして埋め込まれている。他の実施形態では、座標データは、フルフレーム画像の異なる位置に埋め込まれてもよい。
図7Aは、一以上の実施形態による、表示ドライバ200Aの例示的な構成を図示している。図示された実施形態では、表示ドライバ200Aは、インターフェース回路部210と、グラフィックランダムアクセスメモリ(GRAM)220、230と、画像処理回路部240と、レジスタ250と、駆動回路部260とを備えている。いくつかの実装では、表示ドライバ200Aは、インターフェース回路部210、GRAM220、230、画像処理回路部240、レジスタ250及び駆動回路部260が単一の半導体チップにモノリシックに集積化された表示ドライバ集積回路(DDIC)として構成されてもよい。
インターフェース回路部210は、コントローラ100Aから中心窩画像とフルフレーム画像とを受け取るように構成されている。インターフェース回路部210は、更に、中心窩画像をGRAM220に転送し、フルフレーム画像をGRAM230に転送するように構成されている。インターフェース回路部210は、中心窩画像及び/又はフルフレーム画像を処理し、処理後の中心窩画像及び/又はフルフレーム画像をGRAM220及び/又は230に転送するように構成されてもよい。制御データがフルフレーム画像とは別に表示ドライバ200Aに送信される実施形態では、インターフェース回路部210は、更に、コントローラ100Aから制御データを受け取って該制御データを画像処理回路部240に転送するように構成されてもよい。GRAM220は、インターフェース回路部210から受け取った中心窩画像を格納するように構成され、GRAM230は、インターフェース回路部210から受け取ったフルフレーム画像を格納するように構成されている。他の実施形態では、GRAM230が省略されてもよく、フルフレーム画像がインターフェース回路部210から画像処理回路部240に供給されてもよい。画像処理回路部240は、フルフレーム画像をアップスケールし、中心窩画像とアップスケール後のフルフレーム画像とに基づいてフォービエイティッド画像をレンダリングするように構成されている。フォービエイティッド画像は、中心窩画像をアップスケール後のフルフレーム画像と統合することによりレンダリングされてもよい。レジスタ250は、(図4Cに図示されている)境界領域430の一以上の寸法を示す境界領域寸法データを格納するように構成されている。境界領域寸法データは、境界領域430の構成及び/又は形状を定義することがある。駆動回路部260は、表示パネル300を駆動して表示パネル300にフォービエイティッド画像を表示するように構成されている。
図示された実施形態では、画像処理回路部240は、制御データ検出器242と、アップスケール回路部244と、統合回路部246と、アドレスカウンタ248と、重み決定回路部252とを備えている。制御データ検出器242は、フルフレーム画像に埋め込まれた制御データを抽出し、制御データを統合回路部246に転送するように構成されている。いくつかの実施形態では、制御データ検出器242は、更に、(アップスケール後のフルフレーム画像に対する中心窩画像の位置を示す)座標データをフルフレーム画像の画像データから抽出し、抽出した座標データにおけるデータエラーを検出するように構成されてもよい。座標データのデータエラー検出は、循環冗長検査(cyclic redundancy check)又は他のエラー検出技術に基づいてもよい。いくつかの実装では、制御データ検出器242は、座標データにおいてデータエラーを検出したことに応じて座標データエラーフラグをアサートし、座標データにおいてデータエラーが検出されない場合に座標データエラーフラグをディアサートするように構成される。
アップスケール回路部244は、フルフレーム画像をアップスケールし、アップスケール後のフルフレーム画像を統合回路部246に提供するように構成されている。いくつかの実装では、アップスケール後のフルフレーム画像は、コントローラ100Aから受け取ったフルフレーム画像よりもN倍大きくてもよい。ここで、Nは、1より大きい整数である。いくつかの実装では、アップスケール後のフルフレーム画像は、元のフルフレーム画像のN2倍の画素を含んでいる。
統合回路部246は、中心窩画像をアップスケール後のフルフレーム画像と統合してフォービエイティッド画像をレンダリングするように構成されている。図4Cに関連して説明したように、フォービエイティッド画像400は、周辺領域410と、中心窩領域420と、境界領域430とを含んでいる。一以上の実施形態において、統合回路部246は、アップスケール後のフルフレーム画像に基づいてフォービエイティッド画像400の周辺領域410をレンダリングし、中心窩画像に基づいてフォービエイティッド画像400の中心窩領域420をレンダリングするように構成されている。統合回路部246は、更に、フォービエイティッド画像400の境界領域430において中心窩画像の画素をアップスケール後のフルフレーム画像の画素とブレンディングすることによって境界領域430をレンダリングして境界スムージングを達成するように構成されている。一以上の実施形態において、中心窩画像の画素は、αブレンディング技術を用いてアップスケール後のフルフレーム画像の画素とブレンディングされてもよい。
いくつかの実施形態では、統合回路部246は、座標データにおいてデータエラーが検出されたかに応じて結果画像をレンダリングしてもよい。いくつかの実施形態では、座標データにデータエラーが検出されないとき(例えば、座標データエラーフラグのディアサートに応じて)、統合回路部246は、中心窩画像が座標データによって指定されている通りにアップスケール後のフルフレーム画像に位置するように中心窩画像をアップスケール後のフルフレーム画像と統合することによってフォービエイティッド画像を結果画像としてレンダリングしてもよい。いくつかの他の実施形態では、座標データにデータエラーが検出されたとき(例えば、座標データエラーフラグのアサートに応じて)、統合回路部246は、中心窩画像をアップスケール後のフルフレーム画像に統合することなくアップスケール後のフルフレーム画像を結果画像として出力してもよい。統合しないことにより、表示パネル300に表示される結果画像の崩壊を有効に緩和又は回避し得る。
図7Bは、一以上の実施形態による、フォービエイティッド画像400をレンダリングするための中心窩画像(符号401で示されている)とアップスケール後のフルフレーム画像(符号402で示されている)との例示的な統合を図示している。図示された実施形態では、中心窩画像401は、内側部分403と外側部分404とを有しており、アップスケール後のフルフレーム画像402は内側部分405と外側部分406と中間部分407とを有している。中心窩画像401の内側部分403及び外側部分404は、それぞれ、フォービエイティッド画像400の中心窩領域420及び境界領域430に対応している。より具体的には、中心窩画像401の内側部分403の形状及び位置は、フォービエイティッド画像400の中心窩領域420の形状及び位置と一致しており、中心窩画像401の外側部分404の形状及び位置は、フォービエイティッド画像400の境界領域430の形状及び位置と一致している。アップスケール後のフルフレーム画像402の内側部分405、外側部分406及び中間部分407は、それぞれ、フォービエイティッド画像400の中心窩領域420、周辺領域410及び境界領域430に対応している。より具体的には、アップスケール後のフルフレーム画像402の内側部分405の形状及び位置は、フォービエイティッド画像400の中心窩領域420の形状及び位置と一致しており、アップスケール後のフルフレーム画像402の外側部分406の形状及び位置は、フォービエイティッド画像400の周辺領域410の形状及び位置と一致している。更に、アップスケール後のフルフレーム画像402の中間部分407の形状及び位置は、フォービエイティッド画像400の境界領域430の形状及び位置と一致している。
いくつかの実施形態では、フォービエイティッド画像400の中心窩領域420の画素値は、中心窩画像401の内側部分403の画素値から直接に(又は排他的に)得られ、フォービエイティッド画像400の周辺領域410の画素値は、アップスケール後のフルフレーム画像402の外側部分406の画素値から直接に(又は排他的に)得られる。いくつかの実施形態では、フォービエイティッド画像400の境界領域430の画素値は、中心窩画像401の外側部分404の画素値から、及び、アップスケール後のフルフレーム画像402の中間部分407の画素値から得られる。より具体的には、中心窩画像401の外側部分404の画素値がアップスケール後のフルフレーム画像402の中間部分407の画素値と統合又はブレンディングされてフォービエイティッド画像400の境界領域430の画素値をレンダリングする。
いくつかの実施形態では、中心窩画像401の外側部分404とアップスケール後のフルフレーム画像402の中間部分407の統合は、境界領域430の対象画素411の階調を、中心窩画像401の外側部分404にある対応する画素412の階調とアップスケール後のフルフレーム画像402の中間部分407にある対応する画素413の階調との重み付き和に基づいて決定することを含んでいてもよい。ここで、中心窩画像401の外側部分404にある対応する画素412とアップスケール後のフルフレーム画像402の中間部分407にある対応する画素413は、境界領域430の対象画素411の位置に対応している。いくつかの実装では、対象画素411の階調は、中心窩画像401の対応する画素412の階調とアップスケール後のフルフレーム画像402の対応する画素413の階調の重み付き和として決定されてもよい。対象画素411の階調PTは、下記式(1)に従って決定されてもよい。
(1) PT=w1P1+w2P2
ここで、w1は、中心窩画像401の対応する画素412に割り当てられた重みであり、P1は、対応する画素412の階調であり、w2は、中心窩画像401の対応する画素413に割り当てられた重みであり、P2は、対応する画素413の階調である。
(1) PT=w1P1+w2P2
ここで、w1は、中心窩画像401の対応する画素412に割り当てられた重みであり、P1は、対応する画素412の階調であり、w2は、中心窩画像401の対応する画素413に割り当てられた重みであり、P2は、対応する画素413の階調である。
図7Aに戻り、アドレスカウンタ248とレジスタ250と重み決定回路部252は、共同で、当該重み付け和における、中心窩画像401の対応する画素412及びアップスケール後のフルフレーム画像402の対応する画素413に割り当てられる重みを決定するように構成されている。アドレスカウンタ248は、階調が決定されるべき、フォービエイティッド画像400における対象画素411の位置を決定するように構成されている。一の実装では、アドレスカウンタ248は、ドットクロック信号と水平同期信号と垂直同期信号とをカウントして対象画素411の位置を決定するように構成されてもよい。レジスタ250は、(図4Cに図示されている)境界領域430の一以上の寸法を指示する境界領域寸法データセットを格納するように構成されている。境界領域寸法データは、境界領域430の構成及び/又は形状を指示してもよい。
いくつかの実施形態では、重み決定回路部252は、フォービエイティッド画像400の対象画素411の階調を決定する際、フォービエイティッド画像400における対象画素411の位置に基づいて、中心窩画像401の対応する画素412に割り当てられる重みと、アップスケール後のフルフレーム画像402の対応する画素413に割り当てられる重みとを決定するように構成されている。重み決定回路部252は、対象画素411の位置とレジスタ250に格納されている境界領域寸法データセットとに基づいて、周辺領域410、中心窩領域420及び境界領域430のうちから対象画素411が位置する領域を決定し、対象画素411が位置している領域に基づいて、中心窩画像401の対応する画素412に割り当てられる重みとアップスケール後のフルフレーム画像402の対応する画素413に割り当てられる重みを決定するように構成されることがある。いくつかの実施形態では、重み決定回路部252は、対象画素411がフォービエイティッド画像400の中心窩領域420に位置しているとき、中心窩画像401の対応する画素412に割り当てられる重みを100%と決定するように構成されてもよい。重み決定回路部252は、更に、対象画素411がフォービエイティッド画像400の周辺領域410に位置しているとき、中心窩画像401の対応する画素412に割り当てられる重みを0%と決定するように構成されてもよい。重み決定回路部252は、更に、対象画素411がフォービエイティッド画像400の境界領域430に位置しているとき、中心窩画像401の対応する画素412に割り当てられる重みを0%と100%の間の値として決定するように構成されてもよい。境界領域430をレンダリングするための中心窩画像401のアップスケール後のフルフレーム画像402との統合がαブレンディングで行われる実施形態では、中心窩画像401の対応する画素412に割り当てられる重みは、中心窩画像401の対応する画素412に割り当てられるアルファ値であってもよい。
一以上の実施形態では、周辺領域410と中心窩領域420の間に設けられる境界領域430の寸法が、レジスタ250に格納されている境界領域寸法データセットによって指示されてもよい。図8は、一以上の実施形態による、境界領域430が周辺領域410と中心窩領域420の間に境界領域430が設けられているフォービエイティッド画像400の例示的な構成を図示している。図示された実施形態では、境界領域430が、矩形の枠状に定義された第1区域432-1、第2区域432-2及び第3区域432-3を含んでいる。一の実装では、第1区域432-1が、中心窩領域420を完全に又は実質的に取り囲むように定義されてもよく、第2区域432-2が、第1区域432-1を完全に又は実質的に取り囲むように定義されてもよく、第3区域432-3が、第2区域432-2を完全に又は実質的に取り囲むように定義されてもよい。図8において、符号440は、中心窩画像の垂直な中心線を示しており、符号450は、中心窩画像の水平な中心線を示している。
一以上の実施形態では、レジスタ250に格納されている境界領域寸法データセットが、境界領域430の第1~第3区域432-1~432-3の寸法を指示している。図示された実施形態では、境界領域寸法データセットは、第1~第3区域432-1~432-3の下記の寸法を含んでいる。
BV1:第1区域432-1の上端及び下端の水平部分の垂直方向の幅
BH1:第1区域432-1の垂直部分の水平方向の幅
BV2:第2区域432-2の上端及び下端の水平部分の垂直方向の幅
BH2:第2区域432-2の垂直部分の水平方向の幅
BV2:第3区域432-3の上端及び下端の水平部分の垂直方向の幅
BH3:第3区域432-3の垂直部分の水平方向の幅
BV1:第1区域432-1の上端及び下端の水平部分の垂直方向の幅
BH1:第1区域432-1の垂直部分の水平方向の幅
BV2:第2区域432-2の上端及び下端の水平部分の垂直方向の幅
BH2:第2区域432-2の垂直部分の水平方向の幅
BV2:第3区域432-3の上端及び下端の水平部分の垂直方向の幅
BH3:第3区域432-3の垂直部分の水平方向の幅
画像処理回路部240は、レジスタ250に格納されている境界領域寸法データセットを更新することにより、境界領域430の少なくとも一の寸法を修正するように構成されている。境界領域430の寸法の修正は、コントローラ100Aから受け取った制御データに基づいていてもよい。一の実装では、境界領域寸法データセットは、コントローラ100Aによって書き換え可能であってもよい。境界領域寸法データセットを書き換えることにより、境界領域430の一以上の寸法を容易に調節できる。
図7Bの関連で上述しているように、境界領域430の対象画素の階調は、中心窩画像の対応する画素の階調とアップスケール後のフルフレーム画像の対応する画素の階調の重み付け和に等しいことがある。このような実施形態では、中心窩画像の対応する画素に割り当てられる重みとアップスケール後のフルフレーム画像の対応する画素に割り当てられる重みとが、フォービエイティッド画像400における当該対象画素の位置に基づいて決定される。いくつかの実装では、中心窩画像の対応する画素に割り当てられる重みは、対象画素の中心窩領域420からの距離が減少すると共に増加してもよい。このように重みを決定することにより、中心窩画像とアップスケール後のフルフレーム画像とが、境界領域430の内部において、中心窩画像のアップスケール後のフルフレーム画像に対する比を徐々に変化させながらブレンドされる。これは、中心窩領域420の境界を有効にスムーズにし得る。
いくつかの実施形態では、中心窩画像の対応する画素に割り当てられる重みが、該対象画素が位置する区域に基づいていてもよい。図9は、一以上の実施形態による、中心窩画像の対応する画素の階調に割り当てられる例示的な重みを図示している。
図9に図示された実施形態では、対象画素が中心窩領域420に位置しているとき、中心窩画像の対応する画素に割り当てられる重みは100%である。このような場合、対象画素の階調は、中心窩画像の対応する画素の階調と同一に決定される。したがって、フォービエイティッド画像400の中心窩領域420は、アップスケール後のフルフレーム画像と独立して中心窩画像に基づいてレンダリングされる。
対象画素が境界領域430の第1区域432-1(これは、中心窩領域420に最も近い区域である)に位置している場合、中心窩画像の対応する画素に割り当てられる重みはX1%である。したがって、アップスケール後のフルフレーム画像の対応する画素に割り当てられる重みは100-X1%である。
更に、対象画素が境界領域430の第2区域432-2に位置している場合、中心窩画像の対応する画素に割り当てられる重みはX2%であり、対象画素が境界領域430の第3区域432-3に位置している場合はX3%である。一の実装では、中心窩画像の対応する画素に割り当てられる重みは、対象画素が中心窩領域420に近いほど増加する場合がある。したがって、対象画素が第1区域432-1に位置している場合に中心窩画像の対応する画素に割り当てられる重みX1は、対象画素が第2区域432-2に位置している場合に中心窩画像の対応する画素に割り当てられる重みX2よりも大きく、重みX2は、対象画素が第3区域432-3に位置している場合に中心窩画像の対応する画素に割り当てられる重みX3よりも大きい。
対象画素が周辺領域410に位置している場合、中心窩画像の対応する画素に割り当てられる重みは0%である。このような場合、対象画素の階調は、アップスケール後のフルフレーム画像の対応する画素の階調と同一である。従って、フォービエイティッド画像400の周辺領域410は、(中心窩画像に基づかず)アップスケール後のフルフレーム画像のみに基づいてレンダリングされる。
図10は、一以上の実施形態による、図9に図示されているように中心窩画像206Aとアップスケール後のフルフレーム画像207Aの画素に割り当てられた重みを用いて中心窩画像206Aがアップスケール後のフルフレーム画像207Aに重ね合わされた例示的なフォービエイティッド画像205Aを図示している。例示的なフォービエイティッド画像205Aでは、中心窩画像206Aの境界がスムージングされ、境界でのアーティファクトを緩和している。
画像処理回路部240は、更に、統合回路部246によってレンダリングされたフォービエイティッド画像に追加の画像処理を行うように構成され、該画像処理によって生成された画像を駆動回路部260に転送するように構成されてもよい。画像処理回路部240によって行われる画像処理は、色調整、ガンマ変換、オーバードライブ又は他の画像処理を含んでいてもよい。
図11は、いくつかの他の実施形態による、中心窩画像の画素に割り当てられる例示的な重みを図示している。図示された実施形態では、中心窩画像に割り当てられる重みが、対象画素の中心窩領域420からの距離の減少と共に徐々に(例えば、単調に)増加する一方で、アップスケール後のフルフレーム画像に割り当てられる重みが、対象画素の周辺領域410からの距離の減少と共に徐々に(例えば、単調に)増加する。図11は、中心窩画像の画素の階調に割り当てられる重みが対象画素の中心窩領域420からの距離の減少と共に線形的に増加していると図示しているが、中心窩画像の画素の階調に割り当てられる重みは、非線形的に増加し得る。
図12は、他の実施形態による、フォービエイティッド画像500の例示的な構成を図示している。フォービエイティッド画像500は、周辺領域510と、中心窩領域520と、周辺領域510と中心窩領域520の間に設けられた境界領域530とを含んでいる。図12において、符号540は、中心窩画像の垂直な中心線を示しており、符号550は、中心窩画像の水平な中心線を示している。図示された実施形態では、中心窩領域520と境界領域530の角が丸められている。境界領域530の内側境界の4つの角(即ち、中心窩領域520の4つの角)のそれぞれは、半径ARの四分円の円周の形状をしており、隣接する角が線分で接続されている。境界領域530の外側境界の4つの角のそれぞれも、四分円の円周の形状をしている。
図示された実施形態では、境界領域530が第1区域532-1と第2区域532-2と第3区域532-3とを含んでいる。一の実装では、第1区域532-1が環状になって中心窩領域520を取り囲んでおり、第2区域532-2及び第3区域532-3が環状となって第1区域532-1及び第2区域532-2をそれぞれに取り囲んでいる。その一方で、第1区域532-1、第2区域532-2及び第3区域532-3は、それぞれ、幅が一定である。図12は、3つの区域532-1、532-2及び532-3を図示しているが、境界領域530は、2つ、4つ又はより多数の区域を含んでいてもよい。
一以上の実施形態では、レジスタ250に格納されている境界領域寸法データセットは、第1~第3区域532-1~532-3の寸法を含む、境界領域530の寸法を指示している。図示された実施形態では、境界領域寸法データセットは、下記の寸法を含んでいる。
AR:境界領域530の内側境界の角の半径
SH:垂直な中心線540と境界領域530の内側境界の角の間の距離
SV:水平な中心線540と境界領域530の内側境界の角の間の距離
BR1:第1区域532-1の幅
BR2:第2区域532-2の幅
BR3:第3区域532-3の幅
AR:境界領域530の内側境界の角の半径
SH:垂直な中心線540と境界領域530の内側境界の角の間の距離
SV:水平な中心線540と境界領域530の内側境界の角の間の距離
BR1:第1区域532-1の幅
BR2:第2区域532-2の幅
BR3:第3区域532-3の幅
画像処理回路部240は、レジスタ250に格納されている境界領域寸法データセットを更新することにより、境界領域530の少なくとも一の寸法を修正するように構成されている。境界領域530の寸法の修正は、コントローラ100Aから受け取った制御データに基づいていてもよい。いくつかの実装では、境界寸法データセットは、コントローラ100Aによって書き換え可能である。境界領域寸法データセットを書き換えることにより、境界領域530の一以上の寸法を容易に調節できる。
図13は、一以上の実施形態による、中心窩画像の画素に割り当てられる例示的な重みを図示している。図示された実施形態では、対象画素が中心窩領域520に位置するとき、中心窩画像の対応する画素に割り当てられる重みは100%である。したがって、対象画素の階調は、中心窩画像の対応する画素の階調と同一である。よって、フォービエイティッド画像500の中心窩領域520は、(アップスケール後のフルフレーム画像に基づかず)中心窩画像のみに基づいてレンダリングされる。
対象画素が境界領域530の、中心窩領域520に最も近い第1区域532-1に位置しているとき、中心窩画像の対応する画素に割り当てられる重みはY1%である。したがって、アップスケール後のフルフレーム画像の対応する画素に割り当てられる重みは100-Y1%である。
更に、対象画素が境界領域530の第2区域532-2に位置しているときには中心窩画像の対応する画素に割り当てられる重みがY2%であり、対象画素が境界領域530の第3区域532-3に位置しているときにはY3%である。対象画素が第1区域532-1に位置しているときに中心窩画像の対応する画素に割り当てられる重みY1は、対象画素が第2区域532-2に位置しているときに中心窩画像の対応する画素に割り当てられる重みY2よりも大きく、重みY2は、対象画素が第3区域532-3に位置しているときに中心窩画像の対応する画素に割り当てられる重みY3よりも大きい。
対象画素が周辺領域510に位置しているとき、中心窩画像の対応する画素に割り当てられる重みは0%である。したがって、対象画素の階調は、アップスケール後のフルフレーム画像の対応する画素の階調と同一である。よって、フォービエイティッド画像500の周辺領域510は、(中心窩画像に基づかず)アップスケール後のフルフレーム画像のみに基づいてレンダリングされる。
一以上の実施形態では、コントローラ100Aから表示ドライバ200Aに送信される制御データが、境界領域制御データを含んでいてもよく、表示ドライバ200Aが、境界領域制御データに基づいて境界領域430又は530の構成を調節するように構成されてもよい。いくつかの実装では、境界領域制御データが、境界領域430又は530の少なくとも一の寸法を指定することがある。
いくつかの実施形態では、図14に図示されているように、レジスタ250が、異なる構成及び/又は異なる寸法の境界領域をそれぞれに定義する複数の境界領域寸法データセットを格納するように構成されてもよい。このような実施形態では、境界領域制御データが該境界領域寸法データセットのうちの一つを指定してもよく、重み決定回路部252が、該境界領域寸法データセットのうちの指定されたものに基づいて、中心窩画像の画素とアップスケール後のフルフレーム画像の画素に様々な重みを割り当ててもよい。
図示された実施形態では、レジスタ250は、それぞれが異なる大きさの境界領域を定義する境界領域寸法データセット254-1、254-2及び254-3を格納するように構成されている。境界領域寸法データセット254-1は、「大」サイズの境界領域を定義し、境界領域寸法データセット254-2は、「中」サイズの境界領域を定義し、境界領域寸法データセット254-3は、「小」サイズの境界領域を定義する。
いくつかの実施形態では、境界領域制御データは、境界領域の大きさを「大」、「中」又は「小」として指定してもよい。このような実施形態では、レジスタ250が、境界領域制御データによって指定された境界領域の大きさに基づいて境界領域寸法データセット254-1、254-2及び254-3のうちの一つを選択し、選択された境界領域寸法データセットを重み決定回路部252に供給するように構成されてもよい。重み決定回路部252は、レジスタ250から受け取った、選択された境界領域寸法データセットに基づいて中心窩画像の画素に割り当てられる重みとアップスケール後のフルフレーム画像に割り当てられる重みを決定するように構成されてもよい。
図15の方法1500は、一以上の実施形態による、フォービエイティッドレンダリングに対応した表示ドライバ(例えば、図7Aに図示された表示ドライバ200A)を動作させるための例示的なステップを図示している。図15に図示された一以上のステップは、省略され、繰り返され、及び/又は、図15に図示されている順序と異なる順序で行われ得ることに留意されたい。また、2以上のステップが同時に行われ得ることにも留意されたい。
当該方法は、ステップ1502においてフルフレーム画像と中心窩画像とを表示ドライバの外部のソース(例えば、図5に図示されているコントローラ100A)から受け取ることを含む。該方法は、更に、ステップ1504においてフルフレーム画像をアップスケールすることを含む。該方法は、更に、ステップ1506においてアップスケール後のフルフレーム画像と中心窩画像とからフォービエイティッド画像(例えば、フォービエイティッド画像400及び500)をレンダリングすることを含む。フォービエイティッド画像は、中心窩画像に基づく中心窩領域(例えば、中心窩領域420及び520)と、アップスケール後のフルフレーム画像に基づく周辺領域(例えば、図4C、8及び12の周辺領域410及び510)と、中心窩画像及びアップスケール後のフルフレーム画像に基づく境界領域(例えば、境界領域430及び530)とを含んでいる。境界領域は、中心窩領域と周辺領域の間に位置している。該方法は、更に、ステップ1508においてフォービエイティッド画像に基づいて表示パネル(例えば、表示パネル300)を駆動することを含んでいる。
多くの実施形態を説明したが、本開示に利益がある当業者は、範囲を外れない他の実施形態を考案可能であると評価するであろう。従って、本発明の技術的範囲は、添付のクレームのみによってのみ限定されるべきである。
Claims (20)
- 表示ドライバであって、
前記表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取るように構成されたインターフェース回路部と、
前記フルフレーム画像をアップスケールし、前記アップスケール後のフルフレーム画像と前記中心窩画像とからフォービエイティッド画像をレンダリングするように構成された画像処理回路部と、
前記フォービエイティッド画像を用いて表示パネルを駆動するように構成された駆動回路部と、
を備え、
前記フォービエイティッド画像は、
前記中心窩画像に基づく中心窩領域と、
前記アップスケール後のフルフレーム画像に基づく周辺領域と、
前記中心窩画像と前記アップスケール後のフルフレーム画像とに基づく境界領域と、
を含み、
前記境界領域が、前記中心窩領域と前記周辺領域の間に位置している、
表示ドライバ。 - 前記フォービエイティッド画像をレンダリングすることは、前記中心窩画像の第1画素の階調と前記アップスケール後のフルフレーム画像の第2画素の階調の重み付け和に基づいて前記境界領域にある対象画素の階調を決定することを含む
請求項1に記載の表示ドライバ。 - 前記境界領域にある前記対象画素の位置に基づいて、前記重み付け和において前記第1画素に重みが割り当てられる
請求項2に記載の表示ドライバ。 - 前記第1画素に割り当てられる前記重みが、前記対象画素の前記中心窩領域からの距離が減少すると共に増加する
請求項3に記載の表示ドライバ。 - 前記境界領域が、
前記中心窩領域を取り囲む第1区域と、
前記第1区域を取り囲む第2区域と、
を含み、
前記フォービエイティッド画像をレンダリングすることが、
前記第1区域にある第1対象画素の階調を、前記中心窩画像の第1画素の階調と前記アップスケール後のフルフレーム画像の第2画素の階調の第1重み付け和に基づいて決定することと、
前記第2区域にある第2対象画素の階調を、前記中心窩画像の第3画素の階調と前記アップスケール後のフルフレーム画像の第4画素の階調の第2重み付け和に基づいて決定することと、
を含み、
前記第1重み付け和において第1重みが前記第1画素に割り当てられ、前記第2重み付け和において第2重みが前記第3画素に割り当てられ、
前記第1重みが前記第2重みより大きい、
請求項1に記載の表示ドライバ。 - 前記境界領域が、更に、前記第2区域を取り囲む第3区域を含んでおり、
前記境界領域をレンダリングすることが、更に、
前記第3区域にある第3対象画素の階調を、前記中心窩画像の第5画素の階調と前記アップスケール後のフルフレーム画像の第6画素の階調の第3重み付け和に基づいて決定することを含み、
前記第3重み付け和において第3重みが前記第5画素に割り当てられ、前記第2重みが前記第3重みより大きい、
請求項5に記載の表示ドライバ。 - 更に、前記境界領域の一以上の寸法を示す境界領域寸法データセットを格納するように構成されたレジスタを備えており、
前記境界領域が、前記境界領域寸法データセットに基づいてレンダリングされる
請求項1に記載の表示ドライバ。 - 前記境界領域寸法データセットが前記ソースによって書き換え可能である
請求項7に記載の表示ドライバ。 - 前記画像処理回路部が、更に、
前記インターフェース回路部を介して前記ソースから制御データを受け取り、
前記ソースから受け取った前記制御データに基づいて前記境界領域の少なくとも一の寸法を修正するように構成されている
請求項1に記載の表示ドライバ。 - 更に、それぞれが前記境界領域の一以上の寸法を示す複数の境界領域寸法データセットを格納するように構成されたレジスタ回路部を備え、
前記画像処理回路部が、更に、
前記インターフェース回路部を介して前記ソースから制御データを受け取り、
前記制御データに基づいて前記複数の境界領域寸法データセットのうちの一つを選択するように構成され、
前記境界領域が、前記複数の境界領域寸法データセットのうちの前記選択された一つに基づいてレンダリングされる
請求項1に記載の表示ドライバ。 - 前記フルフレーム画像が前記中心窩画像と同一の解像度を有し、かつ、前記中心窩画像よりも広い表示領域を包含する
請求項1に記載の表示ドライバ。 - 前記フォービエイティッド画像をレンダリングすることは、前記アップスケール後のフルフレーム画像と前記中心窩画像の各部分をアルファブレンディングすることにより前記境界領域をレンダリングすることを含む
請求項1に記載の表示ドライバ。 - 前記インターフェース回路部と、前記画像処理回路部と、前記駆動回路部とが単一の半導体チップにモノリシックに集積化されている
請求項1に記載の表示ドライバ。 - フルフレーム画像と中心窩画像とをレンダリングするように構成されたソースと、
表示パネルと、
前記ソースから前記フルフレーム画像と前記中心窩画像とを受け取り、前記フルフレーム画像をアップスケールし、前記アップスケール後のフルフレーム画像と前記中心窩画像とからフォービエイティッド画像をレンダリングし、前記フォービエイティッド画像を用いて前記表示パネルを駆動するように構成された表示ドライバと、
を備え、
前記フォービエイティッド画像は、
前記中心窩画像に基づく中心窩領域と、
前記アップスケール後のフルフレーム画像に基づく周辺領域と、
前記中心窩画像と前記アップスケール後のフルフレーム画像とに基づく境界領域と、
を含み、
前記境界領域が、前記中心窩領域と前記周辺領域との間に位置している
表示システム。 - 前記フォービエイティッド画像をレンダリングすることは、前記中心窩画像の第1画素の階調と前記アップスケール後のフルフレーム画像の第2画素の階調の重み付け和に基づいて前記境界領域にある対象画素の階調を決定することを含む
請求項14に記載の表示システム。 - 前記境界領域にある前記対象画素の位置に基づいて、前記重み付け和において前記第1画素に重みが割り当てられる
請求項15に記載の表示システム。 - 前記境界領域が、
前記中心窩領域を取り囲む第1区域と、
前記第1区域を取り囲む第2区域と、
を含み、
前記フォービエイティッド画像をレンダリングすることが、
前記第1区域にある第1対象画素の階調を、前記中心窩画像の第1画素の階調と前記アップスケール後のフルフレーム画像の第2画素の階調の第1重み付け和に基づいて決定することと、
前記第2区域にある第2対象画素の階調を、前記中心窩画像の第3画素の階調と前記アップスケール後のフルフレーム画像の第4画素の階調の第2重み付け和に基づいて決定することと、
を含み、
前記第1重み付け和において第1重みが前記第1画素に割り当てられ、前記第2重み付け和において第2重みが前記第3画素に割り当てられ、
前記第1重みが前記第2重みより大きい、
請求項14に記載の表示システム。 - 前記ソースが、前記表示ドライバと分離された集積回路として構成されている
請求項14に記載の表示システム。 - 表示ドライバを動作させる方法であって、
前記表示ドライバの外部のソースからフルフレーム画像と中心窩画像とを受け取ることと、
前記フルフレーム画像をアップスケールすることと、
前記アップスケール後のフルフレーム画像と前記中心窩画像とからフォービエイティッド画像をレンダリングすることと、
前記フォービエイティッド画像を用いて表示パネルを駆動することと、
を含み、
前記フォービエイティッド画像は、
前記中心窩画像に基づく中心窩領域と、
前記アップスケール後のフルフレーム画像に基づく周辺領域と、
前記中心窩画像と前記アップスケール後のフルフレーム画像とに基づく境界領域と、
を含み、
前記境界領域が、前記中心窩領域と前記周辺領域の間に位置している、
方法。 - 前記フォービエイティッド画像をレンダリングすることは、前記中心窩画像の第1画素の階調と前記アップスケール後のフルフレーム画像の第2画素の階調の重み付け和に基づいて前記境界領域にある対象画素の階調を決定することを含む
請求項19に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/500,281 | 2021-10-13 | ||
US17/500,281 US11748956B2 (en) | 2021-10-13 | 2021-10-13 | Device and method for foveated rendering |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023058464A true JP2023058464A (ja) | 2023-04-25 |
Family
ID=85798812
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022163780A Pending JP2023058464A (ja) | 2021-10-13 | 2022-10-12 | フォービエイティッドレンダリングのための装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11748956B2 (ja) |
JP (1) | JP2023058464A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021021235A1 (en) * | 2019-07-28 | 2021-02-04 | Google Llc | Methods, systems, and media for rendering immersive video content with foveated meshes |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10665209B2 (en) | 2017-05-18 | 2020-05-26 | Synaptics Incorporated | Display interface with foveal compression |
US10643307B2 (en) * | 2017-11-10 | 2020-05-05 | Intel Corporation | Super-resolution based foveated rendering |
-
2021
- 2021-10-13 US US17/500,281 patent/US11748956B2/en active Active
-
2022
- 2022-10-12 JP JP2022163780A patent/JP2023058464A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230111826A1 (en) | 2023-04-13 |
US11748956B2 (en) | 2023-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11551602B2 (en) | Non-uniform resolution, large field-of-view headworn display | |
US7158158B1 (en) | Method and apparatus for nonlinear anamorphic scaling of video images | |
US20230138751A1 (en) | Method of driving a display panel | |
US11393419B2 (en) | Method and computer-readable medium for displaying image, and display device | |
US8917285B2 (en) | Display methods for high dynamic range images and user interfaces for the same | |
Bastani et al. | Foveated pipeline for AR/VR head‐mounted displays | |
US8564647B2 (en) | Color management of autostereoscopic 3D displays | |
US11567568B2 (en) | Display apparatuses and methods incorporating foveated rendering | |
US10176555B2 (en) | Method and device for simulating a wide field of view | |
US20100315444A1 (en) | Self-light- emitting display device, power consumption reduction method, and program | |
US20200168001A1 (en) | Display unit for ar/vr/mr systems | |
US10504278B1 (en) | Blending neighboring bins | |
JP2023058464A (ja) | フォービエイティッドレンダリングのための装置及び方法 | |
US9613558B2 (en) | Pixel driving method and associated display device | |
WO2012077601A1 (ja) | 画像処理装置、画像処理方法、および表示装置 | |
US20030103062A1 (en) | Apparatus and method for controlling a stereo 3D display using overlay mechanism | |
KR20180027721A (ko) | 표시 장치 및 이의 영상 표시 방법 | |
US10930244B2 (en) | Data processing systems | |
JP2024528865A (ja) | フォービエイテッドレンダリングのための装置及び方法 | |
CN108597435B (zh) | 用于控制显示面板的显示的方法及其装置、显示装置 | |
US11568783B1 (en) | Display drivers, apparatuses and methods for improving image quality in foveated images | |
US20180356886A1 (en) | Virtual reality display system and display driving apparatus | |
US9418631B2 (en) | Display control apparatus and method and image processing method | |
TWI603314B (zh) | 顯示器的控制方法 | |
US11335279B2 (en) | Display optimization method and a display apparatus |