JP2023168635A

JP2023168635A - 高密度なドットマトリクス型ディスプレイに表示画素数以上の高精細画像データを表示する制御方法及び表示システム

Info

Publication number: JP2023168635A
Application number: JP2022079857A
Authority: JP
Inventors: 時本豊太郎; Toyotaro Tokimoto
Original assignee: Individual
Current assignee: Individual
Priority date: 2022-05-14
Filing date: 2022-05-14
Publication date: 2023-11-27

Abstract

【課題】高精細なディスプレイに対して、ディスプレイの解像度より高精細なデータをフリッカー感をあまり感じずに、ディスプレイの物理的解像度以上の主観的解像度で表示する制御方式を考案すること。【解決手段】高速表示可能な2Kのハイビジョンディスプレイに対して、4Kの映像データをCyber表示することによりヒトの視覚システムにおける主観的超解像効果を用いて、2Kのディスプレイ解像度以上の高精細表示を実現する。ここでのCyber表示とは、ディスプレイ画素に対応する高解像画像データの近傍画素グループの要素をサブサンプリングして複数のサブフレームに分散配置し、元画像のフレーム周波数よりも高速な表示周波数で発光素子にサブフレームを時間分散させて制御表示することを言う。【選択図】図1

Description

本発明は、ヒトの視覚システムを利用した主観的超解像技術を用いて、高密度なディスプレイに表示画素数以上の高精細画像データを表示する技術に関するものである。

発明者は特許文献１において、低密度なドットマトリクス型ディスプレイに高密度なドット構成のビットマップ画像データを表示する制御方法を開示した。ただこの時点では何故この方法でヒトが見ると高解像度表示が得られるのかよく分かっていなかった。従って、特許文献１では主観的超解像には触れず、高速表示する制御方法を示すだけにとどめていた。このため、この特許の方法で商品化できるものもあればそうでないものもあった。その後の研究で当時の疑問と推測が明確になり、非特許文献1、２、３で示されたように特定の条件で解像度が上がって見えることを証明することができた。ヒトの視覚システムにおいて、この表示方法によって解像度が上がって見えることを非特許文献１に倣って主観的超解像（Subjective Super-resolution）と呼ぶこととする。

特許文献１が出願された1990年代後半はフルカラーＬＥＤディスプレイを構成する光の三原色LEDチップRGBの中でも青色Bと緑色GのLEDチップが高価であった為、少ない表示素子数で高解像度のフルカラーLEDディスプレイを期待する需要が高かった。またこの特許技術を用いる付加的効果として、発光素子LEDの行列配置が間引かれていることを用いて、建物の内部から外の景色が楽しめ且つ外部から見ると巨大なディスプレイに見える透過型ディスプレイ（特許文献4）を製造したり、薄型の表示パネルを作ることができることを用いて小型軽量でスケーラブルな標準防水パネル（特許文献5）を製造して、屋外型のデジタルサイネージの全国展開を図ることができた。

一方で近年ではRGBのLEDチップの輝度向上及び量産効果で低価格か進むとともに、発光素子間隔が2mmピッチ以下の高精細フルカラーLEDが製造できるようになってきている。この為、特許文献１の時代における高精細な表示を粗いディスプレイで表現する社会環境から高精細ディスプレイに対して、より高精細な画像データを表示することが求められてきている。

LED表示機の場合、画素の物理的制約により190インチ程度の大きさの表示機でもLEDの画素ピッチが6mmだとVGA（640ドットx 480ドット）程度の画素数しかない。一方でLED表示機の場合は、LEDタイルと呼ばれるLED画素を配列したディスプレイユニットを上下左右にシームレスに拡張することにより、2インチから200インチ、更には、縦横数十mといった巨大な表示システムを構築できることが魅力である。シームレス拡張性に関しては、画素ピッチが細かくなっていくとLEDタイル間の設置マージンは厳しくならざるを得ず、設置コストを含め物理的な制約がある。このため、少ないドット数で解像度の高い表示画像が得られることは、高密度なディスプレイに対して、より高精細な画像データを表示するシステムにおいても、表示システムの設置場所や拡張性の自由度を含め価値の高いものであり、今後デジタルサイネージ等の更なる普及を後押しするものであると考えられる。

発明者は、特許文献１、２、３、４、５等を用いて、超大型LED表示システムや屋外仕様、室内仕様のLED表示システムを開発してきた。特に特許文献4は透過型の表示システムを実現するため、低密度なドット構成のドットマトリクス型ディスプレイに高密度なドット構成のビットマップデータを表示する制御方法は有効であった。当時はLED素子が高価であったため、少ない素子数で高解像度の表示ができるシステムはリーズナブルな価格でLED表示システムを提供できることからビジネス上有効であった。またLEDディスプレイはスケーラビリティが重要となるが、疎なドット構成で表示モジュールが構成できることは、表示モジュールを組み合わせる際のモジュール単体のケースの精度や設置の自由度にも有効であった。

一方、何故ヒトが見ると高解像に見えるのか、視覚の残像効果でないことは気づいていたが当時はまだ本現象を示すヒトの視覚システムの原理が分からなかった。このため多数のLED表示システムを全国に展開していく中で、視認距離や視認者の個人差にもよるが、特許文献１の表示制御においてフリッカー感を強く感じてしまうことが課題としてあった。このフリッカー感を低減するため、放映するビットマップ元データにデジタルフィルターをかけた上でサブフレームに分割表示する手法をとったりもしたが、デジタルフィルターの強度に応じて高解像度効果も低下してしまう課題が残っていた。

特許第3313312号, 特願平9-252372 (1997.9.17)低密度なドット構成の大画面のドットマトリクス型ディスプレイに高密度なドット構成のビットマップ画像データを表示する制御方法及び表示システム

特許 3396215(平15.2.7), 特願2000-607198 (2000.3.24)３原色ランプを分散配列したドットマトリクス型の表示画面にビットマップ多色画像データを表現する方法と装置

特許第3294597号, 特願2000-607197(2000.3.24)フルカラーLEDディスプレイシステム

特許4744658, 特願平11-001382 (1999.1.6)巨大画面ディスプレイを構成するルーバー構造モジュール

特許4545281, 特願2000-153560 (2000.5.24)パネル型ＬＥＤ表示モジュール

特許2865205(平10.12.18), 特願昭63-219951 (昭63.9.2)n次元スキャン型広告塔装置

Subjective Super-Resolution Model on Coarse High-Speed LED Display in Combination with Pseudo Fixation Eye Movements. IEICE Vol.E102-C, No.11, Nov. 2019

A novel super-resolution display technique by use of spatiotemporal coding. IDW2018, DESp3/VHFp7-3L

博士論文：時空間符号化を用いたフルカラーLED表示と応用に関する研究宇都宮大学学術情報リポジトリ 2019年https://uuair.repo.nii.ac.jp/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=12053&item_no=1&page_id=13&block_id=58

技術が進化しLED素子の輝度向上及びコストも低価格が進み、マイクロLEDの開発により1mmピッチ以下のLED表示機が開発製造される時代になってきた。今後更なる高精細化が進んで行く一方で、表示の元データがハイビジョン2Kから4K、8K更に16K、64Kとなって行った場合に、単に発光素子やその周辺回路を実装技術により物理的に小型化するだけでは限界があるし、いくら素子が低価格化したといっても膨大な素子数を使用すればディスプレイ価格が高騰してしまう課題がある。嘗ての粗いドットマトリクス表示機に高密度データを表示する場合とは事情は異なるが、1mmピッチのドットマトリクス表示機で0.5mmピッチや0.3mmピッチ相当の高精細表示ができることは有効である。

一般的にLED素子のドットマトリックスの実装単位、例えば8x8ドット、16x16ドット、32x32ドットで構成されるLED及びLEDドライバー等周辺回路が実装されたLEDモジュールをLEDタイルと呼ぶ。 LEDディスプレイのメリットとしては、このLEDタイルを縦横に配置、或いは垂直を含めた３方向に配置してスケーラブルにディスプレイを拡張することができる。これが液晶ディスプレイやELディスプレイのように保護ガラスや周辺駆動素子の関係でスケーラビリティが乏しく、ユニット間で拡張しようとするとベゼルによる隙間が目立ってしまう他の高精細ディスプレイと大きく異なる点である。とはいえＬＥＤディスプレイにおいても物理的な小型化技術のみを用いて開発を進めると素子ピッチが狭くなりすぎて、スケーラビリティを担保する為のLEDタイル間の位置調整や誤差のコントロールが難しくなる課題がある。

また、前項「従来の技術」で述べたようにフリッカー感の低減も課題である。

この発明の目的は、物理的な素子の小型化や実装技術に加えて、主観的超解像の技術により使い勝手の良いリーズナブルな価格の超高精細フルカラーディスプレイを実現することにある。

本発明において、高精細な元画像より少ない発光素子で構成されるディスプレイに対して、対応する画素の近傍画素グループの要素をサブサンプリングして複数のサブフレームに分散配置し、元画像のフレーム周波数よりも高速な表示周波数で発光素子にサブフレームを時間分散させて制御表示することをCyber表示と呼ぶことにする。

ヒトの視覚系を利用した既存の表示方法としては、ブラウン管TV受像器において、フィールド・ラインスキャンにより１フレームを２フィールドに分割して奇数フィールドと偶数フィールドを画面上の異なる位置の蛍光体を電子ビームで発光させることで、ヒトの目の残像効果により解像度を上げてみせる方式が良く知られている。一方、今回のCyber表示では、高精細画像データの１フレームを複数のサブフレームにサブサンプリングして、元画像よりも少ない発光素子にサブフレームを表示する。サブフレームを時間軸方向に分散表示させるところは前者のブラウン管TVのフィールド・ラインスキャンと一緒であるが、サブフレームを同一発光素子に割り当てている点、つまり異なる画素を空間上同一の位置に表示している点が大きく異なる。ヒトの目の残像効果と同様、カメラを用いて適切なシャッター速度とタイミングで撮影すると、前者のブラウン管TV受像器の場合は２フィールドが空間上異なる位置に表示されるので、１フレームのデータがカメラによる写真においても正しく再現されるが、後者のCyber表示の場合は、同一の発光素子にn個のサブフレームの累積が撮影されるので、写真画像としては１フレームのデータは再現できず、近傍画素の平均値と同等な表示になってしまう。このことからも主観的超解像はヒトの目の残像効果とは異なるヒトの視覚系を利用していることがわかる。

最新研究である非特許文献１においてヒトの視覚系では、n個のサブフレームの平均値表示とCyber表示を比較するとCyber表示の方が解像度が上がって見えることが示された。これを非特許文献１に倣って本発明では主観的超解像（Subjective Super-resolution）と呼ぶことにする。非特許文献１において、この主観的超解像は、ヒトの視覚系が眼球の固視微動に常に晒されている中で画像の脳内再構成を行なっていることに起因しているという仮説を立てている。この仮説はまだ証明されていないが、この固視微動起因仮説に基づいた制御方法により本発明では課題を解決する。

固視微動は、不随意眼球運動で３種類の運動で構成されていることが知られている。
ドリフト、トレモア、マイクロサッケードと呼ばれている。ドリフトは振幅としては20μm程度でゆっくりとした動き、トレモアは振幅2μm程度の細かい動きで周波数としては30Hzから90Hz、マイクロサッケードは振幅約100μmの早い動きである。これらの目の動きにより、視覚細胞への外界の画像が水晶体レンズを通して投影されていることになる。従って、見る対象までの距離によって、水晶体レンズを通して視細胞に投影された画像を視細胞がサンプリングする対象物のサンプリング間隔と眼球による移動距離は異なることとなる。ただいずれにしても参考文献［３］で述べているように、目の不随意運動によるゆらぎである固視微動により外界画像の視覚細胞への投影画像の位置が揺らいでいるにも関わらず、主観的な知覚映像としては「静止画像は静止画像」として知覚されている。また静止画像の中で動きのあるものがある場合は固視微動の揺らぎを排除した上で静止した背景の中で動いているものがある「静止画＋動く物体画像」と知覚される。ヒトは常に固視微動による画面の揺らぎに晒されているわけであるが、固視微動による画面全体の動きを除去し、静止画と動く物体の相対速度を動く物体の速度として再構成する機能があると考えられている。
一方、目の不随意運動によるゆらぎは、デジタル画像処理の経験から考えると、１）視細胞による画像サンプリングデータを少ない情報で脳に伝達するため、差分情報として送るため。２）限りあるn個の視細胞に対して、投影画像をずらしてサンプリングさせることにより、数倍の視細胞と同等の解像度を得ようとするため。という２つの理由からではないかと推測される。

いずれにしても、画面全体をうごかすスピードによって異なる処理がヒトの視覚系に存在していることが分かる。１）ゆっくりとした動きで、ヒトがその動きを認知しているスピード。２）固視微動のスピードと移動量であるとヒトの視覚システムが固視微動と認識して除去するスピード。３）画面全体を動かすスピードが速過ぎて静止画として知覚できないスピード。以上の３種類である。主観的超解像は２のエリアで発生すると考えられる。上記３）の静止画として認知される限界エリアについては、動体視力が自動車レーサーやジェット戦闘機のパイロットでは非常に高いことから考えて個人差があると考えるが、一般的には動画像が滑らかに見える960fpsぐらいまでが妥当ではないかと考えている。

何故ヒトの視覚系を通してみると、疎なドット数に密な画素を時間軸側に分散させn-field表示した際に、本来「漢字」を表現できないドット数にもかかわらず漢字を認識できるのか。最新研究である非特許文献１において、主観的超解像により解像度が上がって見えることは示され、そのメカニズムが朧げに見えてきたが固視微動仮説が証明されたわけではない。また発光素子数に基づく解像度画質が定量的に示されたわけでもない。例えば、主観的超解像によりディスプレイ素子数に対して1.5倍、2倍、4倍の解像度に向上したということが定量的に示されたわけでもない。ただ、今までの研究と実験を通じて得られた未発表のデータを元に、CV表示により効果的に解像度を上げフリッカー感の少ない表示を得る方法を本発明において提案するものである。

例えば、実験上も6mmピッチの表示システムを3ｍから5mの範囲で120frameのCyber表示したものを視認した場合、フリッカー感も少なく解像度が上がって見えるが、１m以下に近づいてみると、表示画素はチラチラして見えるが解像度は上がって見えない。一方、960frame/secの動画像は、60frame/secの動画像よりも動きが滑らかに知覚されることが実験で確認している。

以上のような形で最新研究の成果と実験結果に基づき、表示周波数の範囲を含めた制御方式により従来の課題を解決する。

発光素子数が表示画素数より少ないディスプレイ・システムにおいて、ヒトの視覚システムにおける残像効果を利用した表示システムでは、特許文献6のように表示装置を視認者に対して空間上を相対的に移動させたり、ブラウン管表示装置のように物理的に異なる位置の蛍光体を電子ビームでラインスキャンすることが必要であった。本発明においては表示データの表示方法を制御することで表示素子を動かすことなく存在する表示画素数以上の表示データを視認することがヒトの視覚システムにおける主観的超解像効果により可能となる。またサブフレームの表示順による制御及びサブフレームの表示周波数の数値範囲を示すことにより、新たなデジタルフィルターを追加することなくフリッカー感を低減することができるため、より効果的な解像度向上効果が期待できる。

4K元画像を2Kディスプレイに表示する概略図（実施例1） subframeの構成を隣接ブロックを含めた4 x 4画素で説明（実施例1） subframeの表示順序(Pattern)を示した表1（実施例1） Patternの模式図（実施例1） subframeの構成を隣接ブロックを含めた6 x 6画素で説明（実施例2） Patternの一部を示した表2（実施例2） Patternの模式図（実施例2）表示ブロック3 x 3が隣接ブロックと共通部分をもつ5 x 5画素の説明（実施例3） Patternの一部を示した表3（実施例3） Patternの模式図（実施例4）表示素子をラインスキャンにより時分割駆動するタイミングを説明（実施例5）

いくつかの実施例で本発明の制御方式について説明する。

４Ｋ(3,840 x 2,160)の動画を２Ｋ(1,920 x 1,080)のディスプレイに表示する際のこの発明の表示制御方法について説明する。４Ｋの画像であるがUHD規格のプログレッシブ方式で横3,840ドット、縦2,160ドット、フレームレートは30frame/sec（fpsと略記する）または60fpsとする。従来からの規格である29.97fpsや59.94fpsも説明の都合上、簡易的に30fpsと60fpsに含めることにする。またRGB各色10bitとする。

まず元画像が4Kで30fpsのプログレッシブ表示方式の場合について説明する。図１に示すように、プログレッシブ動画における1frameの画像に着目すると、元画像A：４Ｋ画像3,840 x 2,160ドット、1ドットはRGB各色10bitで構成されている。これを２ＫのディスプレイＢ：1,920 x 1,080ドットの画素に表示するので、Aの縦横２x２＝４画素をBの１画素で表示する表示制御方法について説明する。この２x２画素を表示ブロックと呼ぶことにする。

説明を簡単にするために元画像Aの一部である隣接ブロックを含めた4 x 4画素を例にとって説明する（図2-(a)）。隣接する表示ブロックは図2-(b)に示すように共通部分を持たない、互いに素であるブロック構成とする。サブフレームは隣接ブロックの要素を含めて例示すると図2-(c)のようにsubframe#1、subframe#2、subframe#3、subframe#4の４つのサブフレームで例示表現することができ、１つのサブフレーム全体は元画像をサブサンプリングした1,920 x 1,080ドットの画素構成となる。４つのサブフレームの表示タイミングは表示パターンを例えばサブフレーム#1、#2、#3、#4の順とすると、これは一つの表示素子に着目した場合、X11、X12、X21、X22の順に表示することを示す。そしてこれは図2-(c)に示すようにTs=T/4の表示タイミングとなる。本実施例では、元画像Aを30fpsのプログレッシブ動画としているので、サブフレームの表示速度は30x4=120fpsとなる。サブフレームの表示順を示す表示パターンは４！＝24パターン考えられるが、最初に表示する画素表示データを左上のX11に固定すると、Subframe#1が最初の表示となる表示パターンは_３Ｐ_３＝３！＝３・２・１＝６となり、図３で示す６つの表示順のパターンが考えられる。この６つのパターンを表示データX11を最初の表示とする２x２の表示ブロックにおける表示順のパターンとして模式的に図示したのが図４である。図４で示すようにサブサンプリング・ポイントがPattern(b)、Pattern(d)のように回転となる表示パターンの方がPattern(a)、Pattern(c)のような不連続スキャンとなる表示パターンよりも主観的超解像の効果が高い。

同様に元画像Aが60fpsの場合は、ディスプレイBに表示するサブフレームの表示周波数は60x4=240fpsとなる。

本実施例では主観的超解像を実現するサブフレームの表示方法について詳しく説明したが、このような表示方法を具体的にLED表示システムにおいて実現する表示制御技術に関しては、特許文献３などを含め既に開示されており容易に実現可能であるのでシステム化に関しての説明ははぶくこととする。

またサブフレームの表示周波数が60fps以下であると、フリッカー感が強い。一方で960fpsぐらいまでは一般の人でも動画像が滑らかに表示されていることを認知できることから、ヒトの視覚システムから考えて本方式によるサブフレームの表示周波数は120fpsから960fpsの範囲であることが主観的超解像の効果を実用化するのに適していると考えられる。

本実施例では、駆動応答速度の高いＬＥＤディスプレイを念頭に記述しているが、今後LCDディスプレイやELディスプレイ等でもフレーム表示駆動応答速度が120fps以上であるものが量産できるようになれば、応用が可能になると考えられる。

４Ｋ(3,840 x 2,160)の画素数の30fpsのプログレッシブ動画を縦横各々1/3の1,280 x 720ドットの画素数のディスプレイに表示する際の表示制御方法について説明する。実施例１と同様に隣接するブロックを含めた６x６画素（図5-(a)）を例にとって説明する。

隣接する表示blockは図5-(b)のように互いに素であるとする。まず一つの表示画素に対応させる３x３画素の表示ブロックに属す画素X11、X12、X13、X21、X22、X23、X31、X32、X33で構成される9個の画素のうちのどれか一つを含む9個のサブフレームが作られる（図5-(c)）。元画像に対して、9個のサブフレームが生成されるので、元画像のプログレッシブ動画の表示周波数30fpsに対してタイミング図5-(d)で示されるように、サブフレームの表示周波数は30 x 9=270fpsとなる。

表示パターン数は₉P₉＝9!＝362,880パターン考えられる。最初に表示する画素を中点X22に固定したとしても_８Ｐ_８＝８！＝40,320パターンの表示順が考えられる。表示パターンが多いので表示順序の表示パターンの一部である6個の表示パターンを参考として図６：Table2に示す。これらを模式的に表現すると図7のようになる。全ての表示パターンに対する主観的超解像の効果に対しての検討はまた終了していないが、Pattern(a)、Pattern(b)、Pattern(c)のような螺旋回転のようなスムーズな動きの方がPattern(d)、Pattern(e)のようなラインスキャン的なパターンよりも主観的超解像の効果が高いようである。

実施例１と実施例２において、ディスプレイBが表示する元画像Aの一つの画素範囲（表示ブロック）が隣接する表示ブロックに対して、互いに共通部分を持たない、つまり互いに疎である事例について説明した。本実施例では隣接する表示ブロックが共通部分を持つ場合の表示制御方式について説明する。

隣接ブロックを含めた元画像の一部5x5画素を例として図8-(a)で示す、ディスプレイ画素に対応する元画像Aの隣接表示ブロックは共通部分を持つため図8-(b)のようになる。X22を中心とする表示ブロックの要素と隣接する表示ブロックの要素を比較すると、横の隣接ブロックとはX13、X23、X33が共通していることがわかる。同様に縦の隣接ブロックとはX31、X32、X33が共通している。斜めの隣接ブロックとはX33が共通している。

このような共通部分をもつ表示ブロック分けを行なった場合に、４Ｋ(3,840 x 2,160)の画素数の30fpsプログレッシブ動画を1,920 x 1,080ドットの画素数のディスプレイに表示する際の表示制御方法について説明する。実施例２と同様に３x３画素の表示ブロックに対して各々の点をサブサンプリングすることにより、subframe#1からsubframe#9の9個のサブフレームが作成される（図8-(d)）。サブフレームの表示順序のパターンは9P9＝9!= 362,880パターン考えられる。またサブフレームの表示周波数は30 x 9 = 270fpsとなる（図8-(c)）。各表示ブロックが隣接する表示ブロックと共通部分を持つため、表示ブロックが互いに疎な場合とは異なり、表示する画素が隣接する表示素子で重複して表示されることになる。これは隣接する表示ブロック間で時間軸方向でのデジタルフィルター効果と同等の効果を生じさせるため、どの表示パターンで主観的超解像効果が高くなるかは実施例２の場合よりも複雑化する。この為、実施例２の場合と異なり実施例３においては螺旋や回転ではない表示パターンで、主観的超解像効果の高い表示パターンが一部見つかっている。共通部分を持つ表示ブロック分けをした場合における主観的超解像効果が高い表示パターンについては今後の研究課題である。

実施例１、２、３では元画像が4Kの動画であることを前提に説明した。ところが現実的には2Kの動画素材が一般的であり、今後8K、16Kのディスプレイが開発されてきた場合、映像素材としてそれ以上の16K、32K、64Kの解像度の素材が準備されることを待つのは不便である。このため、現時点でも2Kの素材を4Kディスプレイに表示するために、デジタル画像プロセッサーによりアップコンバートする技術が開発されている。これらは単に補間技術で画素間の画素データを作り出すだけでなく、静止画部分においても複数フレームの画素から画素間の画素を再構成する技術や、MPEG等の開発で培われた動き補償技術などを応用して動いている物体をブレた映像ではなく解像度が高く且つ高い表示周波数の画像データとして再構成する技術などを用いている。

実施例４においては、元画像が2Kの映像をデジタル画像プロセッサーにより4K、8K映像にアップコンバートした画像データを扱う。 2K30fps映像をデジタル画像プロセッサーにより4K30fps映像にアップコンバートしたものを元画像とするのでも良いし、2K映像を4K映像にするとともに表示周波数も4倍、９倍、16倍にアップコンバートするデジタル画像プロセッサーを用いて、そのアップコンバートされた画像を元画像として、本発明の制御方式を行うことにより、主観的超解像により2Kの動画像を元画像以上の解像度の表示知覚を行うことを目的とする。例えば元画像が2Kの30fpsの映像に対して、デジタル画像プロセッサーにより4K且つ120fpsのアップコンバート画像が生成されたとする。アップコンバートされた画像を元画像として実施例１の表示制御方法を適用し、120 x 4＝480fpsの2Kディスプレイに対応するサブフレームデータを生成して2Kディスプレイに表示することにより主観的超解像を得ることができる。この方法は安易ではあるが、アップコンバートする既存のデジタル画像プロセッサーにほとんど手を入れずに本発明に応用することができるので有用である。

もちろん開発余力があれば、本発明の制御方式と連携した画像生成用デジタルプロセッサーを開発することにより、更に効果の高い主観的超解像が得られる可能性がある。

実施例１から実施例４において、同一フレーム内ではドットマトリクス型ディスプレイの構成要素である発光素子ドットに同一フレームデータを各々同時に発光させるフレームスキャン表示方式（プログレッシブ表示）を前提として本発明を説明した。このようなフレームスキャン表示方式では各発光素子ドットは発光素子とそれに対応するドライバーICが１対１で接続され、フレーム単位で発光素子の表示タイミングを制御する。主観的超解像表示方法において理論的にはこの表示方法が分かりやすいが、現実的には発光素子分のドライバーICが必要となる為、経済的にも実装面積的にも不利である。このためLEDディスプレイのような自発光型表示機においてはラインスキャン方式等により時分割駆動により一つのドライバーICで複数の発光素子を制御するディスプレイが主流である。実施例５ではこのラインスキャン方式の表示方法における主観的超解像を実現する制御駆動方法を示す。

ラインスキャン方式による時分割駆動について、8 x 8画素の発光素子を同時8出力のLEDドライバーICで駆動する場合を例として説明する。ドライバーICの定電流ドライバーは８列の画素列につながっており、更に８行の画素行を選択する回路が内蔵されている。このような時分割駆動のLEDドライバーICはよく知られている。第１行が選択されているタイミングでドライバーICが第１行目のデータで定電流PWM駆動を行うことにより第１行目が表示される。次に第２行目が選択されているタイミングで第２行目のデータで定電流PWM駆動を行うことにより第２行目が表示される。これを繰り返して第８行目まで表示する。更に必要に応じてこの点灯方法をk回繰り返す。プログレッシブ方式に比べ点灯率は1/8に落ちるため、定電流ドライバーの電流値をそれに応じて上げておく必要がある。１画素をRGBの3色LEDで表現する場合は、各色を担当するLEDドライバーが必要となる為、８出力のLEDドライバーICが３つ必要となる。

さて、このような8 x 8駆動のドライバーICによるラインスキャン方式の模式的タイミングチャートを実施例１で取り上げた表示ブロックが2 x 2の事例に対して説明するものを図11に示す。元画像のフレームスキャンが30fpsとすると、T=1/30secとなり、サブフレーム周期Ts＝T/4＝1/120である。この時のドライバーICのラインスキャンが８ラインスキャンであるとすると、１つのサブレーム内のラインスキャン周波数f_LSは図11のようにf_LS＝30 x 4 x 8 x kとなる。ラインスキャンの繰り返し数kが十分に大きく、ラインスキャン周波数が十分に大きければラインスキャン方式のディスプレイにおいても主観的超解像の効果は問題なく発揮することができる。一方でラインスキャン数が十分に大きくない場合、例えば８ラインスキャンでk=1の場合、ラインスキャン周波数f_LS＝120x8=960Hzとなり、肉眼でもラインスキャンのちらつきが見えてしまう。このような場合にはラインスキャンのチラツキが気になると同時に、時間軸方向での画素データの表示のずれが主観的超解像にも影響する。この為、ラインスキャン周波数は一般的に用いられている15kHzや更にそれ以上の十分に高いラインスキャン周波数方式(k > 16)を選択することにより、時分割駆動のドライバーICを用いたドットマトリクス型ディスプレイにおいても実施例１から実施例４と同様なsubframe表示方式を実施することにより主観的超解像効果を得ることができる。

LED表示方式としてはラインスキャン方式に限らず発光点が時空間における時間軸上ずれる表示方式の工夫がなされているものがある。例えば、LEDのフルカラー表示ではLED素子を電流制御ではなく、定電流駆動のLEDドライバーをPWM方式により点灯時間で輝度制御する方式が一般的である。このPWM制御では輝度の大きさが時間変換され、輝度データが大きいものは表示素子が長い時間点灯し輝度データが小さいものは短い時間点灯することにより輝度が表現される。このような場合、PWM制御期間１単位の前半に点灯タイミングが集中すると、電源回路に負担がかかるため、PWMの制御を工夫して各々の点灯時間をずらして電源回路の負荷を平均化する分散制御方式がある。一方で分散制御すると表示画素における時間軸上の点灯位置がずれることになる。このような制御方式の場合もラインスキャン方式と同様、分散周波数が十分に高ければ良い。

Claims

発光素子ドットが行列配置されたドット構成のドットマトリクス型ディスプレイに対し、隣り合う発光素子ドット間の間隔部分にも表示すべき画像データドットが割り当てられた画像データドットが割り当てられた高密度なドット構成のビットマップ画像データを表示するにあたり、１つの発光素子ドットとその周囲の間隔部分に表示すべき複数ドットの画像データを近傍ブロックとし、近傍ブロックの複数ドット分の画像データの中から所定の選択順番規則に従って1ドット分ずつ複数の画像データを選択する動作を高速に繰り返しつつ、その選択した1ドット分の画像データを前期１つの発光素子ドットに供給して表示駆動するサブフレーム表示する際に、（発光素子ドット間が6mmピッチ以下で）サブフレーム表示周波数は120fpsから960fpsであることを特徴とする制御駆動方法。
隣接する近傍ブロックは互いに疎である、つまり高密度なビットマップ画像データの共通部分を持たないブロック分割方法であり、その際の選択順番規則は連続回転方向または螺旋回転方向であることを特徴とする請求項１記載の制御駆動方法。
隣接する近傍ブロックが共通部分を持つブロック分割法であることを特徴とする請求項１記載の制御駆動方法。
高密度なビットマップ画像は低解像な元画像からデジタルプロセッサーにより高精細化されたことを特徴とする請求項１記載の制御駆動方法。
ドットマトリクス型ディスプレイがフレーム単位で表示するプログレッシブ方式ではなく、1kHz以上のラインスキャン型時分割駆動方式であることを特徴とした請求項１記載の制御駆動方法。