JP2007249398A

JP2007249398A - 画像処理システム、表示装置および画像処理方法

Info

Publication number: JP2007249398A
Application number: JP2006069522A
Authority: JP
Inventors: Eiji Nakatani; 英司中谷
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-03-14
Filing date: 2006-03-14
Publication date: 2007-09-27
Anticipated expiration: 2026-03-14
Also published as: CN100571409C; US20070216766A1; CN101039441A; US8115802B2; JP4798358B2

Abstract

【課題】視差バリア方式の立体視の画像処理において、より効率的に画像処理を行うことが可能な表示装置等を提供すること。
【解決手段】表示装置１００が、視点ごとに低解像度の画素数で構成される画像情報を生成する画像情報生成部１１２と、当該画像情報に基づく生成画像信号を信号伝送路に高速に出力する生成信号出力部１１４と、前記生成画像信号を入力するとともに、当該生成画像信号に基づいて前記画像情報を再構成する入力部１７０と、入力部１７０によって再構成された画像情報を各視点に対応して記憶するためのスクリーンバッファ１４０と、前記画像情報をスクリーンバッファ１４０の各固有領域に転送する転送部１３０と、各固有領域に転送された前記画像情報を、１つの立体視画像として表示するための画像信号に合成しつつ液晶パネルに出力する合成合成出力部１５０とを含んで構成される。
【選択図】図１

Description

本発明は、視差バリア方式の立体視用の画像処理システム、表示装置および画像処理方法に関する。

例えば、特許文献１には、副画素単位で視差バリアが設けられた視差バリア方式の立体視用の立体画像処理方法が記載されている。
特開２００４−３３４５５０号公報

特許文献１等の従来の手法では、視点毎に全画素数分の画像データのレンダリング等を行う必要があった。

しかし、視差バリア方式の立体視の場合、実際に立体として見えるのは全画素数よりも少ない実効画素数の画像である。例えば、４視点の階段状の視差バリア方式の立体視の場合、全画素が、横が８００画素で縦が６００画素であるならば、実効画素は、横が６００画素で縦が２００画素となる。

つまり、従来の手法では、視点毎に全画素数分の画像データのレンダリング等を行っているため、画像処理に無駄があった。

また、レンダリング等を高速に行うためには高機能の画像処理プロセッサを用いることが好ましいが、遊技機等に実装される表示装置ではコスト抑制のため低機能の画像処理プロセッサを用いて画像処理を実行する必要がある。

本発明の目的は、視差バリア方式の立体視の画像処理において、より効率的に画像処理を実行することが可能な画像処理システム、表示装置および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、
画像生成部と、当該画像生成部と信号伝送路を介して接続される画像合成部とを含む視差バリア方式の立体視用の画像処理システムであって、
前記画像生成部は、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
当該画像情報に基づく生成画像信号を前記信号伝送路に出力する生成信号出力部と、
を含み、
前記画像合成部は、
前記信号伝送路を介して前記生成画像信号を入力するとともに、当該生成画像信号に基づいて前記画像情報を再構成する入力部と、
当該入力部によって再構成された画像情報を前記第１〜第ｎの各視点に対応して記憶するための前記各視点に対応した固有領域として区分されたスクリーンバッファと、
前記画像情報を前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報を、視差バリアによって前記各視点に分離された画像を１つの立体視画像として表示するための画像信号に合成しつつ液晶パネルに出力する合成出力部と、
を含み、
前記生成信号出力部の出力速度は、前記合成出力部の出力速度よりも少なくともｎ倍速く設定されていることを特徴とする。

また、本発明に係る画像処理方法は、
視差バリア方式の立体視用の液晶パネルと、画像生成部と、当該画像生成部と信号伝送路を介して接続される画像合成部とを含む表示装置の画像処理方法において、
前記画像生成部は、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成し、
当該画像情報に基づく生成画像信号を前記信号伝送路に出力し、
前記画像合成部は、
前記信号伝送路を介して前記生成画像信号を入力するとともに、当該生成画像信号に基づいて前記画像情報を再構成し、
再構成した画像情報を、前記第１〜第ｎの各視点に対応した固有領域として区分されたスクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報を、視差バリアによって前記各視点に分離された画像を１つの立体視画像として表示するための画像信号に合成しつつ前記液晶パネルに出力し、
前記画像生成部の前記生成画像信号の出力速度は、前記画像合成部の前記画像信号の出力速度よりも少なくともｎ倍速く設定されていることを特徴とする。

本発明によれば、画像処理システム等は、視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報をレンダリング等によって生成することにより、従来のように実際の画素数分のレンダリング等を行う場合と比べ、レンダリング等の処理負荷が軽減される。これにより、画像処理システム等は、視差バリア方式の立体視の画像処理において、より効率的に画像処理を実行することができる。

また、画像処理システムは、元々実際の解像度分の画像情報を出力する能力を有しており、低解像度分の画像情報（生成画像信号）を出力する場合は余力がある。例えば、画像処理システムは、画像生成部のドットクロックを通常より高速化して生成画像信号の出力速度を上げることにより、低解像度分の画像情報出力における余力がさらに拡大する。この余力を活用することにより、画像処理システムは、例えば、通常はレンダリング等で画像情報を生成してから出力する６０分の１秒間隔で行っていた一連の処理を同じ時間内で複数回実行できるようになり、実時間内（リアルタイム）で複数視点に対応した異なる画像を生成して順次出力するという立体視に好適な画像処理を実行できるようになる。

また、前記画像情報生成部は、レンダリング後の前記画像情報に当該画像情報がどの視点用の情報であるかを示す視点情報を付加情報として付加し、
前記転送部は、前記付加情報に基づき、当該付加情報が前記視点情報である場合は、当該付加情報を含まない画像情報を、当該視点情報で示される視点に応じた固有領域に転送してもよい。

これによれば、画像処理システム等は、視点情報に基づいて視点に応じた固有領域に画像情報を転送することができる。

また、前記画像情報生成部は、直前に生成した画像情報のままで更新する必要がない場合、新たにレンダリングすることなく、前記直前に生成した画像情報に無効を示す無効情報を前記付加情報として付加し、
前記転送部は、前記付加情報に基づき、当該付加情報が前記無効情報である場合は、前記画像情報を転送しなくてもよい。

これによれば、画像処理システム等は、一定時間ごとに画像合成部に生成画像信号が入力される場合であっても、画像情報の転送を行わなくて済むため、画像処理負荷を軽減できる。

また、前記低解像度の画素数は、前記視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数であってもよい。

また、前記画像情報生成部は、レンダリングによって前記画像情報を生成してもよい。

これによれば、画像処理システム等は、低解像度でレンダリングを行うことにより、実際の解像度でレンダリングを行う場合と比べ、処理負荷を軽減できる。

また、前記合成出力部は、各視点に対応付けたマスクパターンに基づき、前記スクリーンバッファの各固有領域を参照して、立体視画像が観察されるように、副画素の成分を合成して前記画像信号を前記液晶パネルに出力してもよい。

これによれば、画像処理システム等は、マスクパターンに基づいてどの視点用のどの画素データを液晶パネルに出力すればよいかを適切に判定できる。

また、本発明に係る表示装置は、上記画像処理システムを有する表示装置であって、
視差バリアが副画素単位で設けられた前記液晶パネルを含み、
前記マスクパターンは、前記視差バリアの位置に基づいて設定されたものであることを特徴とする。

本発明によれば、表示装置は、視差バリアの位置に基づいて設定されたマスクパターンを用いることにより、副画素単位で画像処理を実行することができる。

以下、本発明を表示装置に適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施例は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施例に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

図１は、本実施例における表示装置１００の機能ブロック図である。

表示装置１００は、画像生成部１１０と、画像生成部１１０と信号伝送路を介して接続される画像合成部１２０と、画像合成部１２０によって合成される画像を表示する表示部１６０とを含んで構成されている。

また、画像生成部１１０は、第１〜第４の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部１１２と、当該画像情報に基づく生成画像信号を信号伝送路に通常より高速に出力する生成信号出力部１１４とを含んで構成されている。

また、画像合成部１２０は、信号伝送路を介して生成画像信号を入力するとともに、当該生成画像信号に基づいて画像情報を再構成する入力部１７０と、入力部１７０によって再構成された画像情報を第１〜第４の各視点に対応して記憶するスクリーンバッファ１４０と、画像情報をスクリーンバッファ１４０の各視点に対応した固有領域に転送する転送部１３０と、スクリーンバッファ１４０の各固有領域に転送された画像情報を、視差バリアによって各視点に分離された画像を１つの立体視画像として表示するための画像信号に合成しつつ表示部１６０に出力する合成出力部１５０とを含んで構成されている。

また、スクリーンバッファ１４０は、画像情報を第１〜第４の各視点に対応して記憶するための各視点に対応した４つの固有領域である第１バッファ１４１〜第４バッファ１４４を含んで構成されている。

なお、画像生成部１１０および画像合成部１２０は、視差バリア方式の立体視用の画像処理システムとしても機能する。

また、表示装置１００は、情報記憶媒体２００からプログラムを読み取ることにより、これらの各部の機能を実装してもよい。

なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。また、表示装置１００は、ネットワークを介してプログラムをダウンロードすることにより、これらの各部の機能を実装してもよい。

また、これらの各部を実装するためのハードウェアとしては以下のものを採用可能である。

図２は、本実施例における表示装置のハードウェアブロック図である。

例えば、表示装置１００は、ＣＰＵ３０１と、ＣＰＵ用ワークＲＡＭ３０２と、プログラムＲＯＭ３０３と、画像処理プロセッサであるＧＰＵ３０４と、画像ＲＯＭ３０６と、液晶パネル３０７と、画像合成ＩＣ３０８とを含んで構成されている。

例えば、画像生成部１１０の機能はＣＰＵ３０１、ＣＰＵ用ワークＲＡＭ３０２、プログラムＲＯＭ３０３、ＧＰＵ３０４によって実装可能であり、画像合成部１２０の機能は画像合成ＩＣ３０８によって実装可能であり、表示部１６０の機能は液晶パネル３０７によって実装可能である。なお、ＣＰＵ３０１、ＣＰＵ用ワークＲＡＭ３０２、プログラムＲＯＭ３０３およびＧＰＵ３０４は、汎用的なハードウェアを採用可能である。

また、本実施例におけるＧＰＵ３０４、画像合成ＩＣ３０８間の転送速度は、画像合成ＩＣ３０８、液晶パネル３０７間の転送速度よりも大幅に速く設定されている。より具体的には、例えば、生成信号出力部１１４の動作速度の基準となるドットクロックのクロック速度は、合成出力部１５０の動作速度の基準となるドットクロックのクロック速度よりも少なくとも４倍（４視点分）速く設定されている。

また、液晶パネル３０７は、視差バリアが設けられた立体視用の液晶パネルである。なお、想定する視点の数は２以上の任意の整数（例えば、２、４、７等）を採用可能である。

また、液晶パネル３０７は、副画素単位で視差バリアが設けられた立体視用の液晶パネルである。ここで、２視点の場合と４視点の場合の立体視について説明する。

図１１は、２視点の視差バリア方式の立体視の模式図である。また、図１２は、４視点の視差バリア方式の立体視の模式図である。

２視点の場合、ＬＣＤ６３０の前に不透明の視差バリア６２０が設けられ、観察者が、レンズフィルター６１０を介して右目用の視点１（ＰＲ）で右目用の画素Ｒを観察し、左目用の視点２（ＰＬ）で左目用の画素Ｌを観察することにより、立体視が実現される。なお、視差バリア６２０は、ＬＣＤ６２０の後ろに設けられてもよい。

また、４視点の場合も２視点の場合と同様に、ＬＣＤ７３０の前に不透明の視差バリア７２０が設けられ、観察者が、レンズフィルター７１０を介して視点１（Ｐ１）、視点２（Ｐ２）、視点３（Ｐ３）、視点４（Ｐ４）のいずれかの隣接する２つの視点で画素１〜画素４のいずれかを観察することにより、立体視が実現される。なお、視差バリア７２０は、ＬＣＤ７２０の後ろに設けられてもよい。

以下、４視点の場合の３Ｄ画像処理を例に採り説明する。

まず、１つの立体視画像を表示するまで（３Ｄモデルのセットアップから画像の表示まで）の従来の画像処理手順について説明する。

図３は、従来の画像処理手順を示すフローチャートである。

従来の表示装置は、画像の更新時に、３Ｄモデルのセットアップ（頂点演算、頂点データおよびテクスチャデータの転送）を行う（ステップＳ１）。

そして、表示装置は、カメラのセットアップを行い（ステップＳ２）、全画素数（例えば、液晶パネルの実際の解像度が８００×６００画素であれば、４８００００個）分のレンダリングを行う（ステップＳ３）。

さらに、表示装置は、ステップＳ２、Ｓ３の処理を全視点終了するまで（ステップＳ５）、視点ごとに実行する。すなわち、４視点であれば、上記例では、１９２００００個分のレンダリングが行われる。

そして、全視点分のレンダリング終了後、表示装置は、レンダリング後の全視点分の画像情報をスクリーンバッファで合成し（ステップＳ６）、当該画像情報を液晶パネルに転送して画像を表示する（ステップＳ７）。

これに対し、本実施例の表示装置１００は、実効画素数分のレンダリングを行うことにより、従来と比べてレンダリングにかかる時間を短縮している。

また、本実施例の表示装置１００は、汎用的なＧＰＵ３０４を用いて生成した画像信号を高フレームレートで信号伝送路に出力し、画像合成ＩＣ３０８を用いて４視点分の画像情報を合成しながら液晶パネル３０７に出力している。

まず、画像生成部１１０での処理を説明し、次に、画像合成部１２０の処理について説明する。

（画像生成処理の説明）
図４（Ａ）は、画像生成部１１０の処理手順を示すフローチャートである。

画像情報生成部１１２（ＣＰＵ３０１）は、３Ｄモデルのセットアップ（ステップＳ１１）後、視点ごとの処理を行うべき状態であるかどうかを判定し（ステップＳ１２）、視点ごとの処理を行うべき状態ではない場合、直前に生成した（出力済みの）画像情報に当該画像情報が無効であることを示す無効情報を付加する（ステップＳ１３）。

一方、視点ごとの処理を行うべき状態である場合、画像情報生成部１１２は、カメラのセットアップを行い（ステップＳ１４）、実効画素数（視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数、例えば、液晶パネルが８００×６００画素であれば、実効画素数または実効解像度は６００×２００＝１２００００個）分のレンダリングを行う（ステップＳ１５）。すなわち、４視点であれば、１つの立体視画像が表示されるためには６００×２００×４＝４８００００個分のレンダリングが行われる。

図５は、視点１用の画素群を示す模式図である。また、図６は、視点２用の画素群を示す模式図である。また、図７は、視点３用の画素群を示す模式図である。また、図８は、視点４用の画素群を示す模式図である。なお、図５〜図８に示す画素群は画像の一部のみを示す。

本実施例では、階段状の視差バリア方式を採用している。例えば、図５に示すように、Ｒ画素（右が上がっている斜線のハッチング部分）、Ｇ画素（クロスのハッチング部分）、Ｂ画素（左が上がっている斜線のハッチング部分）が斜めに配置され、これらの３つの副画素によって視点１の画素が表される。また、破線で囲んだ部分は実効解像度の座標（０，０）の視点１用の画素である。

また、図５〜図８を比較すればわかるように、視点２用の画素としては視点１用の画素の右隣の画素が使用され、視点３用の画素としては視点２用の画素の右隣の画素が使用され、視点４用の画素としては視点３用の画素の右隣の画素が使用される。

また、４視点の階段状の視差バリア方式の場合、実効解像度（実効画素数）は、水平方向の解像度が３／４で、垂直方向の解像度が１／３になる。このため、液晶パネル３０７の全画素が８００×６００画素の場合、実効画素数は６００×２００画素となる。

また、画像情報生成部１１２は、レンダリング後の画像情報に視点情報を付加する（ステップＳ１６）。なお、視点情報は、画像情報がどの視点用の画像情報であるかを示す情報である。

また、本実施例では、無効情報および視点情報は画像情報の先頭１ラインに付加される。すなわち、実効画素数が６００×２００画素の場合、無効情報または視点情報が付加された画像情報は、６００×２０１画素分の情報となる。

生成信号出力部１１４は、無効情報または視点情報が付加された画像情報を伝送向けに変換した生成画像信号を通常より高速に信号伝送路に出力する（ステップＳ１７）。なお、信号伝送路は、ＧＰＵ３０４と画像合成ＩＣ３０８との間の伝送路である。また、ＧＰＵ３０４のドットクロックは設定可能な範囲で十分速く設定されている。例えば、ＧＰＵ３０４のドットクロックが１００Ｍｈｚ程度（通常は２５Ｍｈｚ程度）に設定されることにより、生成信号出力部１１４は、３６０フレーム／秒で生成画像信号を出力することが可能になる。

ここで、以上の画像生成部１１０の処理についてより詳細に説明する。

図９は、本実施例における画像生成部１１０のフレーム（単位時間、例えば、１／３６０秒等）ごとの画像処理内容を示す図である。

例えば、フレーム０１、０２、０３では、画像情報生成部１１２は、１／３０秒ごとに発生する次コマ描画開始トリガを待ち、３Ｄモデルのセットアップを行う。また、画像情報生成部１１２は、フレーム０１、０２、０３では、ＧＰＵ３０４内の描画用バッファの先頭の１ラインに黒のライン（無効情報）を書き込む。なお、ＧＰＵ３０４内の出力用バッファと描画用バッファがバッファスワップによって切り替わる。

そして、フレーム０４では、画像情報生成部１１２は、第１視点のレンダリングを開始する。また、フレーム０５では、画像情報生成部１１２は、第１視点のレンダリングを終了し、先頭の１ラインに青のライン（視点情報）を付加する。この時点で、描画用バッファには、先頭の１ラインが青になった視点１用の画像情報が書き込まれた状態になる。また、画像情報生成部１１２は、バッファスワップを行い、出力用バッファと描画用バッファを切り替える。

そして、フレーム０６では、画像情報生成部１１２は、第２視点のレンダリングを開始する。また、フレーム０７では、画像情報生成部１１２は、第２視点のレンダリングを終了し、先頭の１ラインに赤のライン（視点情報）を付加する。この時点で、描画用バッファには、先頭の１ラインが赤になった視点２用の画像情報が書き込まれた状態になる。また、画像情報生成部１１２は、バッファスワップを行い、出力用バッファと描画用バッファを切り替える。

そして、フレーム０８では、画像情報生成部１１２は、第３視点のレンダリングを開始する。また、フレーム０９では、画像情報生成部１１２は、第３視点のレンダリングを終了し、先頭の１ラインに紫のライン（視点情報）を付加する。この時点で、描画用バッファには、先頭の１ラインが紫になった視点３用の画像情報が書き込まれた状態になる。また、画像情報生成部１１２は、バッファスワップを行い、出力用バッファと描画用バッファを切り替える。

そして、フレーム１０では、画像情報生成部１１２は、第４視点のレンダリングを開始する。また、フレーム１１では、画像情報生成部１１２は、第４視点のレンダリングを終了し、先頭の１ラインに緑のライン（視点情報）を付加する。この時点で、描画用バッファには、先頭の１ラインが緑になった視点４用の画像情報が書き込まれた状態になる。また、画像情報生成部１１２は、バッファスワップを行い、出力用バッファと描画用バッファを切り替える。

そして、フレーム１２では、画像情報生成部１１２は、描画用バッファの先頭の１ラインに黒のライン（無効情報）を書き込み、バッファスワップを行う。

なお、これらのフレーム０１〜１２の処理は画像が表示される間、１／３０秒ごとに繰り返し実行される。また、生成信号出力部１１４は、フレームごとに出力用バッファにある画像情報を生成画像信号として出力する。

（画像合成処理の説明）
次に、画像合成処理について説明する。図４（Ｂ）は、画像合成部１２０の処理手順を示すフローチャートである。

画像合成部１２０（画像合成ＩＣ３０８）は、画像生成部１１０（ＧＰＵ３０４）から出力される生成画像信号に基づいて立体視用の画像を合成する。

まず、入力部１７０は、生成信号出力部１１４からの生成画像信号を入力し、当該生成画像信号から元の画像情報を再構成（伝送用の信号から画像処理用の情報に変換）する（ステップＳ１８）。

そして、転送部１３０は、再構成された画像情報の先頭１ラインを参照することにより、視点情報があるかどうかを判定する（ステップＳ１９）。

視点情報がある場合、すなわち、先頭１ラインが黒ではない場合、あるいは、先頭１ラインが青、赤、紫または緑である場合、転送部１３０は、視点情報（先頭１ラインの色）に応じて元の画像情報から先頭１ライン分の情報を除いた画像情報を各視点用の固有領域である第１バッファ１４１〜第４バッファ１４４のいずれかに転送する（ステップＳ２０）。

例えば、転送部１３０は、画像情報の先頭の１ラインが青であれば、当該画像情報から先頭１ライン分の情報を除いた画像情報を第１バッファ１４１に転送し、画像情報の先頭の１ラインが赤であれば、先頭１ライン分の情報を除いた画像情報を第２バッファ１４２に転送し、画像情報の先頭の１ラインが紫であれば、先頭１ライン分の情報を除いた画像情報を第３バッファ１４３に転送し、画像情報の先頭の１ラインが緑であれば、先頭１ライン分の情報を除いた画像情報を第４バッファ１４４に転送する。すなわち、第１バッファ１４１〜第４バッファ１４４には、６００×２００画素の画像情報が記憶される。

表示装置１００は、１つの立体視画像を表示する場合、以上のステップＳ１２〜Ｓ２０の処理を、全視点分の処理が終了するまで実行する。なお、実際には、画像生成部１１０は、画像を表示している間、画像情報（生成画像信号）を順次出力し、画像合成部１２０は第１バッファ１４１〜第４バッファ１４４への画像情報の転送および画像信号の表示部１６０への出力を順次行う。

また、合成出力部１５０は、各視点に対応付けたマスクパターンに基づき、第１バッファ１４１〜第４バッファ１４４（固有領域）を参照して、立体視画像が観察されるように、各固有領域における副画素の成分（Ｒ値、Ｇ値、Ｂ値）を合成した画像信号（例えば、ＲＧＢがそれぞれ８ビットずつの２４ビット値等）を液晶パネルに出力することにより、合成しながら画像を表示する（ステップＳ２２）。なお、マスクパターン（より具体的には、例えば、ピクセルマスク、カラーマスク等）を示すデータは、視差バリアに応じて生成され、画像ＲＯＭ３０６等に記憶されている。

図１０は、液晶パネル３０７における画素配置の一例を示す模式図である。なお、図１０に示す画素配置は画像の一部のみを示す。

図１０において、「１−Ｒ（０，０）」は、実効解像度の座標（０，０）における視点１用のＲ画素を示す。例えば、液晶パネル３０７の左上から「１−Ｒ（０，０）」、「２−Ｇ（０，０）」、「３−Ｂ（０，０）」、「４−Ｒ（０，０）」、「１−Ｇ（０，１）」、「２−Ｂ（０，１）」といった順番で副画素が配置される。

すなわち、レンダリング時の解像度は従来と異なるが、表示時の解像度（液晶パネル３０７の画素配置）は従来と同様であるため、表示装置１００は、適切な解像度で画像を表示することができる。

また、このように、液晶パネル３０７における副画素の配置位置は固定であり、スクリーンバッファ１４０の固有領域における副画素の配置も固定であるため、合成出力部１５０による出力処理をハードウェアロジックで実行できるため、ソフトウェア的に実行する場合と比べ、出力処理をより高速に実行できる。

なお、転送部１３０の転送処理と合成出力部１５０の出力処理は非同期で実行される。例えば、転送部１３０は、ＧＰＵ３０４から画像合成ＩＣ３０８に垂直同期信号が入力されたタイミングに基づいて画像情報の先頭ラインの参照、バッファへの転送等を行い、合成出力部１５０は、画像合成ＩＣ３０８のドットクロックに同期して画像信号の出力を行ってもよい。

また、上述したように、生成信号出力部１１４の出力速度は合成出力部１５０の出力速度よりも大幅に速く設定されている。このため、合成出力部１５０が、２回（２フレーム）第１バッファ１４１〜第４バッファ１４４の画像情報を合成しながら画像信号を出力用バッファに出力する間に、画像生成部１１０は、上述したフレーム０１〜１２（１２フレーム）の処理を実行することができる。これにより、表示装置１００は、立体視の動画像を適切に表示することができる。

以上のように、本実施例によれば、表示装置１００は、視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報をレンダリング等によって生成することにより、従来のように実際の画素数分のレンダリング等を行う場合と比べ、レンダリング等の処理負荷が軽減される。より具体的には、上述した実施例では、レンダリング回数は、従来の手法では１９２万回であるが、本実施例の手法では４８万回であり、４分の１になっている。これにより、表示装置１００は、視差バリア方式の立体視の画像処理において、より効率的に画像処理を実行することができる。

また、表示装置１００は、元々実際の解像度分の画像情報を転送する能力を有しており、低解像度分の画像情報（生成画像信号）を出力する場合は余力がある。表示装置１００は、画像生成部１１０のドットクロックを高速化することにより、例えば、通常はレンダリング等で画像情報を生成してから出力する６０分の１秒間隔で行っていた一連の処理を同じ時間内で複数回実行できるようになり、実時間内（リアルタイム）で複数視点に対応した異なる画像を生成して順次出力するという立体視に好適な画像処理を実行できるようになる。

また、本実施例によれば、表示装置１００は、ＧＰＵ３０４で視点ごとの画像情報を生成し、画像合成ＩＣ３０８で当該画像情報を視点ごとの固有領域に転送する場合であっても、画像情報に視点情報を付加することにより、適切な固有領域に画像情報を転送することができ、適切な立体視画像を表示することができる。

また、本実施例によれば、表示装置１００は、無効情報を用いることにより、一定時間ごとに画像合成部１２０に生成画像信号が入力される場合であっても、当該生成画像信号が無効である場合は画像情報の転送を行わなくて済むため、画像処理負荷を軽減できる。

さらに、画像処理負荷の軽減により、表示装置１００の消費電力が抑制され、省エネにも寄与する。

また、以上の作用効果により、表示装置１００は、低性能のＧＰＵ３０４を用いる場合であっても、１／３０秒アニメーションに対応した立体視による動画像をリアルタイムに表示することができる。

また、本実施例によれば、表示装置１００は、視差バリアの位置に基づいて設定されたマスクパターンを用いることにより、副画素単位で画像処理を実行することができる。

なお、本発明の適用は上述した実施例に限定されず、種々の変形が可能である。

例えば、上述した実施例では、表示装置１００は、第１視点〜第４視点の順番でレンダリング等を行っているが、処理順序は任意でよく、例えば、第４視点、第３視点、第２視点、第１視点で処理してもよい。

また、付加情報は、ラインに限定されず、例えば、左上の１画素等が用いられてもよい。

また、第１バッファ１４１〜第４バッファ１４４は、それぞれが複数のブロックを有し、各ブロックに画像情報を記憶できるように構成されてもよい。また、各バッファ内の各ブロックに受信用、受信済み、送信用といった状態識別情報を付加してもよく、転送部１３０が、受信用ブロックに画像情報を転送し、転送後に受信済みに変更し、合成出力部１５０が、送信用ブロックを受信用ブロックに変更し、受信済みブロックを送信用ブロックに変更した後、送信用ブロックの画像情報を用いて画像信号を出力してもよい。

また、上述した実施例では、画像情報生成部１１２は、実効解像度の画素数で構成される画像情報を生成したが、実際の解像度よりも低い低解像度であればよく、実効解像度には限定されない。

また、液晶パネル３０７の視差バリアは階段状（斜め）のものに限定されず、一定間隔で一方向に配置される視差バリアであってもよい。すなわち、副画素の配置は図６〜図８に示す例に限定されない。

なお、上述した表示装置１００としては、具体的には、例えば、パチンコ機、スロット機等の遊技機、ゲーム装置、液晶ディスプレイ、液晶ディスプレイ一体型ＰＣ等の種々の装置が該当する。また、表示装置１００の機能を複数の装置（例えば、ＰＣと液晶ディスプレイ等）に分散して実装してもよい。

本実施例における表示装置の機能ブロック図である。本実施例における表示装置のハードウェアブロック図である。従来の画像処理手順を示すフローチャートである。図４（Ａ）は、画像生成部の処理手順を示すフローチャートであり、図４（Ｂ）は、画像合成部の処理手順を示すフローチャートである。視点１用の画素群を示す模式図である。視点２用の画素群を示す模式図である。視点３用の画素群を示す模式図である。視点４用の画素群を示す模式図である。本実施例における画像生成部のフレームごとの画像処理内容を示す図である。液晶パネルにおける画素配置の一例を示す模式図である。２視点の視差バリア方式の立体視の模式図である。４視点の視差バリア方式の立体視の模式図である。

符号の説明

１００表示装置、１１０画像生成部、１１２画像情報生成部、１１４生成信号出力部、１２０画像合成部、１３０転送部、１４０スクリーンバッファ、１４１第１バッファ、１４２第２バッファ、１４３第３バッファ、１４４第４バッファ、１５０合成出力部、１６０表示部、１７０入力部、３０７液晶パネル

Claims

画像生成部と、当該画像生成部と信号伝送路を介して接続される画像合成部とを含む視差バリア方式の立体視用の画像処理システムであって、
前記画像生成部は、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成する画像情報生成部と、
当該画像情報に基づく生成画像信号を前記信号伝送路に出力する生成信号出力部と、
を含み、
前記画像合成部は、
前記信号伝送路を介して前記生成画像信号を入力するとともに、当該生成画像信号に基づいて前記画像情報を再構成する入力部と、
当該入力部によって再構成された画像情報を前記第１〜第ｎの各視点に対応して記憶するための前記各視点に対応した固有領域として区分されたスクリーンバッファと、
前記画像情報を前記スクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報を、視差バリアによって前記各視点に分離された画像を１つの立体視画像として表示するための画像信号に合成しつつ液晶パネルに出力する合成出力部と、
を含み、
前記生成信号出力部の出力速度は、前記合成出力部の出力速度よりも少なくともｎ倍速く設定されていることを特徴とする画像処理システム。
請求項１に記載の画像処理システムにおいて、
前記画像情報生成部は、レンダリング後の前記画像情報に当該画像情報がどの視点用の情報であるかを示す視点情報を付加情報として付加し、
前記転送部は、前記付加情報に基づき、当該付加情報が前記視点情報である場合は、当該付加情報を含まない画像情報を、当該視点情報で示される視点に応じた固有領域に転送することを特徴とする画像処理システム。
請求項２に記載の画像処理システムにおいて、
前記画像情報生成部は、直前に生成した画像情報のままで更新する必要がない場合、新たにレンダリングすることなく、前記直前に生成した画像情報に無効を示す無効情報を前記付加情報として付加し、
前記転送部は、前記付加情報に基づき、当該付加情報が前記無効情報である場合は、前記画像情報を転送しないことを特徴とする画像処理システム。
請求項１〜３のいずれかに記載の画像処理システムにおいて、
前記低解像度の画素数は、前記視差バリア方式の表示画像が少なくとも左右の眼で異なる画像として同時に観察される立体視として観察された場合に、表示画像全体を構成する総画素数を視点数ｎで除算した結果の画素数であることを特徴とする画像処理システム。
請求項１〜４のいずれかに記載の画像処理システムにおいて、
前記合成出力部は、各視点に対応付けたマスクパターンに基づき、前記スクリーンバッファの各固有領域を参照して、立体視画像が観察されるように、副画素の成分を合成して前記画像信号を前記液晶パネルに出力することを特徴とする画像処理システム。
請求項５に記載の画像処理システムを有する表示装置であって、
視差バリアが副画素単位で設けられた前記液晶パネルを含み、
前記マスクパターンは、前記視差バリアの位置に基づいて設定されたものであることを特徴とする表示装置。
視差バリア方式の立体視用の液晶パネルと、画像生成部と、当該画像生成部と信号伝送路を介して接続される画像合成部とを含む表示装置の画像処理方法において、
前記画像生成部は、
第１〜第ｎ（ｎは２以上の整数）の視点ごとに実際の解像度よりも低い低解像度の画素数で構成される画像情報を生成し、
当該画像情報に基づく生成画像信号を前記信号伝送路に出力し、
前記画像合成部は、
前記信号伝送路を介して前記生成画像信号を入力するとともに、当該生成画像信号に基づいて前記画像情報を再構成し、
再構成した画像情報を、前記第１〜第ｎの各視点に対応した固有領域として区分されたスクリーンバッファの各固有領域に転送する転送部と、
前記スクリーンバッファの各固有領域に転送された前記画像情報を、視差バリアによって前記各視点に分離された画像を１つの立体視画像として表示するための画像信号に合成しつつ前記液晶パネルに出力し、
前記画像生成部の前記生成画像信号の出力速度は、前記画像合成部の前記画像信号の出力速度よりも少なくともｎ倍速く設定されていることを特徴とする画像処理方法。