JP2006005524A - 画像処理装置及び表示装置 - Google Patents

Abstract

【課題】 １枚の画像を分割して各分割部分に別個に画像処理を行なっても、その処理後の各分割部分を集合させて１枚の画像として表示装置に表示させるための具体的な手段を提示し、また、この場合に各分割部分間の境界部分に画像のひずみが発生するのを防止する。
【解決手段】 １つの元画像を画面上で複数に分割した各分割画像ａ〜ｄは、それぞれフレームバッファ１３ａなどに入力される。この各分割画像ａ〜ｄは、それぞれ画像処理部１４ａなどで、処理対象となる注目画素を処理するために当該注目画素の周囲の画素の情報を用いる、解像度変換などの画像処理がなされる。各画像処理部１４ａなどは、分割画像ａ〜ｄの各画素の座標情報として、元画像における当該各画素の座標情報を用いて画像処理を行なう。
【選択図】 図１

Description

本発明は、画像に所定の画像処理を施す画像処理装置、及びこの画像処理装置を備えている表示装置に関する。

１つの画像を複数に分割した分割画像を対象に、複数の分割画像処理手段でそれぞれ画像処理を行い、この処理後の画像を複数の表示装置にそれぞれ表示する技術が、特許文献１に開示されている。特許文献１では、画像の拡大、縮小に際しては、よく知られた画素密度変換器を使用する場合について説明している。画素密度変換器の機能は、注目画素に隣接する画素、即ち、処理すべき注目画素の左右や上下の画素を用いて、新たな画素を生成することであるとしている。

この技術では、分割画像の境界部分においては、処理対象となる注目画素を処理するのに必要な注目画素の周辺の画素の画像データが他の表示装置に供給されているがゆえに使用できないため、画像が歪んでしまうという不具合についての対応策を提案している。すなわち、対象となる分割画像とこれに隣接する分割画像の対象となる分割画像側との境界部近傍において注目画素を処理するために、その隣接する分割画像の境界近傍の画像データを保存しておき、これを使用して注目画素の処理を行なうものである。そして、画像処理の方法としては、線形補間や、より複雑な高次フィルタ処理（この場合は、隣接する分割画像の境界近傍のデータ量を多く保存する）を使用することができるとしている。

特開２０００−３２４３３７公報

特許文献１の技術は、１つの画像を複数に分割した分割画像をそれぞれ別個の分割画像処理手段で画像処理し、その処理後の分割画像をそれぞれ異なる表示装置に表示する技術である。

しかしながら、この特許文献１の分割画像処理手段を用いて画像処理後の各分割画像を再度１つの画像にまとめて１つの表示装置に表示する場合には、次のような不具合がある。すなわち、この処理では、各分割画像処理手段では各別の分割画像について、各画素には分割前の元画像のものとは異なる座標情報を付して処理しており、この処理後の各分割画像は１枚の連続した画像ではなく、これらの分割画像を集合させて１枚の画像として表示装置に表示するための手段については、特許文献１には何ら開示されていない。また、特許文献１の処理後の各分割画像を集合させて１枚の画像として表示装置に表示させようとすると、処理後の各分割画像は１枚の連続した画像ではないため、各分割画像間の境界部分に画像のひずみが発生する可能性がある。

本発明の目的は、１枚の画像を分割して各分割部分に別個に画像処理を行なっても、その処理後の各分割部分を集合させて１枚の画像として表示装置に表示させるための具体的な手段を提示し、また、この場合に各分割部分間の境界部分に画像のひずみが発生するのを防止することである。

本発明は、１つの元画像を画面上で複数に分割した各分割画像をそれぞれ対象として、処理対象となる注目画素を処理するために当該注目画素の周囲の画素の情報を用いる所定の画像処理を行なう複数の画像処理回路を備え、前記各画像処理回路は、前記分割画像の各画素の座標情報として前記元画像における当該各画素の座標情報を用いて前記画像処理を行なう、画像処理装置である。

本発明によれば、分割画像の各画素の座標情報として元画像における各画素の座標情報を用いて画像処理を行なうので、処理後の画像は１画像として再現される。また、このような１画像を表示する際に、各分割部分間の境界部分に画像のひずみが発生するのを防止することができる。

本発明を実施するための最良の一形態について説明する。

［画像処理装置］
まず、本発明の一実施の形態である画像処理装置１について説明する。この画像処理装置１は、画像に所定の画像処理を施す装置であり、この例では画像処理の内容として解像度変換の例で説明する。

図１は、画像処理装置１の構成を説明するブロック図である。この画像処理装置１では、１つの動画又は静止画の画像を画面上で複数、例えば４つに分割したそれぞれの分割画像ａ〜ｄが入力される画像入力部１１ａ〜１１ｄを備えている。１枚の画像を複数に分割するには、例えば、１枚の画像を副走査方向に複数に分割することが考えられる（例えば、副走査方向に４分割）。また、１枚の画像を副走査方向、主走査方向のいずれにも複数に分割することも考えられる（例えば、副走査方向に２分割、主走査方向に２分割）。

この分割画像ａ〜ｄが入力される画像入力部１１ａ〜１１ｄの出力先の各部も、分割画像ａ〜ｄにそれぞれ対応して分割画像ａ〜ｄごとに用意されているが、図１では便宜上、分割画像ａ〜ｄのうち分割画像ａを処理する画像入力部１１ａ以下のブロックのみを図示する。図１には、例えばフレームバッファ１３ａのみが図示されているが、画像処理装置１では、分割画像ａ〜ｄに対応してフレームバッファ１３ａ〜１３ｄが用意されている（他の機能ブロックについても同様である）。

本実施の形態では、１枚の画像を例えば４画面に分割し、それぞれの分割画像ａ〜ｄを並列に画像処理する。ここでは、１つの分割画像ａ〜ｄの解像度は、例えば、ＳＸＧＡ（１２８０×１０２４）とする（全体ではＱＳＸＧＡ（２５６０×２０４８）となる）。本実施の形態で実行する画像処理は、ある画素（注目画素）に画像処理を行なう際に、その注目画素の周囲の画素の情報を用いて処理するような画像処理である。そして、各分割画像ａ〜ｄにそれぞれ画像処理を行なう際、分割前の元画像における各画素の座標情報を用いて画像処理を行なうものである。元画像を分割する前の各画素の座標情報を使用することで、画像が分割されても各画素は全体としての位置が変化しないため、分割画像ａ〜ｄ毎に画像処理を行っても、出力画像の画素は全体の画像を再現した際に連続した画像データとして出力されることになる。

以下、画像処理装置１の構成、動作を具体的に説明する。以下の説明では、画像入力部１１ａ以下の各部について主に説明するが、画像入力部１１ｂ〜１１ｄ以下についても同様である。画像入力部１１ａには、元画像を４分割した１つである分割画像aが入力される。

ここでは入力される信号については様々な信号を用いてよく、その種類は限定されない。例えば、コンピュータ等で一般に使用されているアナログＲＧＢ信号は、Ａ／Ｄコンバータで画像信号のデジタル化をおこない、水平同期（ＨＤ）、垂直同期信号（ＶＤ）からクロック信号（ＣＫ）を再生する同期クロックの再生回路を使用することで、後段で使用するデジタル化された画像信号と画像信号を制御するためにＨＤ，ＶＤ，ＣＫを得ることができる（アナログＲＧＢ信号についての処理回路は、図１において図示を省略している）。

入力信号としては、この他、差動信号を使用することができる。例えば、ＬＶＤＳ（Low Voltage Differential Signaling）、ＴＭＤＳ（Transition Minimized Display Signaling）等の差動信号を使用した伝送を使用することができる。特にＴＭＤＳはＶＥＳＡ（Video Electronics Standards Association）が提唱するＦＰＤＩ−２（Flat Panel Display Interface-2）が採用した伝送方式である。ＴＭＤＳの信号に対してはＨＶ、ＶＤ，ＣＫ、画像信号が有効であることを示すデータイネーブル（ＤＥ）と、画像信号を入力することでＴＭＤＳ信号を出力するトランスミッタ、ＴＭＤＳ信号を入力することで、ＨＤ，ＶＤ，ＣＫ，ＤＥおよび画像信号を出力するレシーバが市販されている。本実施例ではＴＭＤＳ信号については市販のレシーバを使用することができる。ＴＭＤＳ信号はレシーバへ入力され、ＨＤ，ＶＤ，ＣＫ，ＤＥ及びデジタル信号の画像信号が出力される（以下、ＨＤ，ＶＤ，ＣＫときによってはＤＥを含んで、同期信号とする）。

画像入力部１１ａから同期信号により、解像度検出部１２ａは入力された画像の解像度を検出する。この解像度検出部１２ａの構成については後に詳細を説明する。

フレームバッファ１３ａは、入力された画像信号と以降の処理のタイミングを調整するために、画像信号を記憶する。例えば、メモリ素子としてＳＤＲＡＭを用い、書き込み、読み出し及びリフレッシュ動作を制御して、書き込みと読み出し動作を非同期で実現するメモリコントローラを組み合わせてフレームバッファ１３ａに使用できる。

フレームバッファ１３ａとしては、このＳＤＲＡＭとメモリコントローラの組み合わせの他に、ＦＩＦＯ（first-in first-out）メモリ、デュアルポートＲＡＭ等を使用することができる。この場合は、ＦＩＦＯメモリ、デュアルポートＲＡＭを使用することで、書き込みと読み出しを非同期で行なうことができ、両者のタイミング調整が不要となるのはもちろん、メモリコントローラが不要なことから、制御に必要な回路が小型化することができる。

一度フレームバッファ１３ａに記憶された画像信号は画像処理部１４ａで画像処理される。各分割画像ｂ〜ｄも、それぞれ画像処理回路となる画像処理部１４ｂ〜１４ｄ(図示せず）でそれぞれ並列に処理される。

このとき画像処理部１４ａ〜１４ｄで用いる分割画像ｂ〜ｄの各画素に対応した座標情報は、前記同期信号（ＨＶ，ＶＤ，ＣＫ，ＤＥ）に基づいて座標情報生成部１５ａ〜１５ｄで生成される。

また、各分割画像ｂ〜ｄの境界部分の処理に必要な画像信号について、画像処理部１４ｂ〜１４ｄ間で情報の入出力を行なう。この境界部分については、ＨＤ中のＣＫを計数することなどにより検出することができる（その詳細は後述する）。検出された境界部分の画素の情報は、該検出された境界部分を含まない隣接する分割画像ｂ〜ｄへ、隣接する境界部分の画素として転送される。

さらに、ＶＤ中のＨＤを計数することで、画像の境界部分を検出することができる。検出された境界部分の画素は、該検出された境界部分を含まない隣接する分割画像ｂ〜ｄへ、隣接する境界部分の画素として転送される。

これらの機能により、互いに隣接する分割画像ｂ〜ｄの画素について境界部分を超えた画素情報を使用して、画像処理部１４ａ〜１４ｄにおいては境界部分で連続性を維持した画像処理を実現することができる。

画像処理部１４ａ〜１４ｄでは、入力された画素信号と画素の座標情報を用いて画像処理を行なうが、本実施の形態では分割画像ａ〜ｄを並列に処理することで、高速処理を実現する。この例では画像処理部１４ａ〜１４ｄは、画像処理としては座標情報を使用して画素密度変換を行なう。ここで示した画素密度変換は、画面全体を固定した比率で変換した場合、解像度変換を実現することができる。この画素密度変換とは、画像を構成する画素間の密度を変換することで、全画面同じ比率で変換することにより画角・画面サイズを変換することができる（例えば、同じ画角・画面サイズで解像度８００×６００と解像度１０２４×７６８では、画素間隔は、前者に対して後者の方は１／１．２８である）。

このとき、変換前後で画素が一致しない部分については、補間を行なうことで、解像度変換を行なうことができる（解像度変換処理）。

極端に前述の画素密度変換の比率が大きい場合には、入力した画像の一部分を部分拡大した画像を得ることができる（部分拡大処理）。

さらに、画面の一端から、他の一端の間で、画素密度の比率を変化させることで、キーストン補正を実現することができる（キーストン処理）。

画像処理部１４ａ〜１４ｄの画像処理については、必要な演算機能を実現したＡＳＩＣ（Application Specific IC）、ＦＰＧＡ（Field Programmable Gate Array）、Ｃ−ＰＬＤ（Complex PLD）、ＰＬＤ（Programmable Logic Device)等を設けて実現することができる。ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processing）によるソフトウエア処理においても実現することができる。

次に、解像度検出部１２ａ〜１２ｄについて説明する。図２、図３は、解像度検出部１２ａ〜１２ｄを実現する回路の構成例を示すブロック図である。この回路の基本構成は、少なくとも２回の垂直同期信号間に含まれる水平同期信号数と、少なくとも２回の水平同期信号間に含まれるクロック信号を計数することで、解像度を判断するものである。

すなわち、垂直同期信号でリセットされるカウンタ２１で、水平同期信号を計数する。最大値検出部２２では、カウンタ２１がリセットされるまでの期間で最大値αを検出する。また、同様に、水平同期信号でリセットされるカウンタ２３でクロック信号を計数する。最大値検出部２４では、カウンタ２１がリセットされるまでの期間で最大値βを検出する。
最大値αから走査線数、最大値βからは信号線数がそれぞれ特定できる。

この検出した最大値α，βは、図３に示す回路に入力される。この入力された最大値α（水平信号数）、最大値β（クロック信号数）は、それぞれ比較器３１，３２に入力される。最大値α，βの比較対照として、ＶＥＳＡが推奨する解像度を示す走査線数、信号線数に、垂直・水平同期信号が有効である（一般的にアクティブローである）期間を除いた各信号数を加えた数値で比較を行なう。この比較データは、比較データ出力部３３，３４から出力される。表１には、画素数６４０×４８０である場合の各期間の画素数を示す。なお、比較器３１，３２自体は、一般的なインバータ、ＡＮＤ、ＯＲ、ＮＯＲ等の論理素子を組み合わせることで、構成することができる。

表１に記載の例では、水平７０４（＝６４０＋１６０−９６）画素、垂直５２３（＝４８０＋４５−２）画素と比較して同じであれば、この画像信号の解像度は６４０×４８０と判断される。本例では、この最大値α，βの比較対象の信号に一定の幅をもたせる。すなわち、ブランク期間、同期信号幅は、それぞれＶＥＳＡが推奨される数値として提唱しているが、すべての信号が準拠しているとは限らない。そこで、本例では、比較器３１，３２は、本来比較を行なう数値より低いある値と、同じく本来比較を行なう数値より高いある値の範囲内に、各最大値が入れば、最大値α，βと比較対照の値は同じと判断し、この範囲内の数値からはずれたときに同じでないと判断する。この数値範囲については、予め必要な範囲を解像度別に、又は一律に設定することができる。また、外部からこの数値範囲を調節する手段を設ければ、適応範囲を必要に応じて調整することができる。

解像度判断回路３５は、比較データ出力部３３，３４を使用して、比較器３１，３２に比較を行なうべき数値を順次出力する。また、ある数値範囲と最大値α，βとの比較器３１，３２における大小判定の結果を入力して解像度を判定する。

表２には、一般に使用される解像度（ブランク期間を含まない表示期間）の例を示す。尚、解像度の名称は、一般に広く認められているものを使用した（厳密の意味では、例えば、ＸＧＡは１０２４×７６８を示す名称ではなく、ＸＧＡで規定された最大解像度が１０２４×７６８であり、６４０×４８０、８００×６００表示もＸＧＡで規定された解像度であるが、ここでは広く一般に認知されている最大の解像度を示す名称としている）。すなわち、解像度判断回路３５は、画像が表２に例示されるようないずれかの解像度であると判定する。

画像の水平方向を例に、解像度検出部１２ａの更に具体的な動作例を説明する。ここでは、説明のために、比較を行なう数値を、“６４０＋ブランク期間−垂直同期信号のＬｏｗ期間±１０”により算出し、６４０との比較の際には６９４〜７１４の範囲と比較する。比較データ出力部３３は、６９４という値を比較器３１のＢ入力へ出力する。その比較結果が“Ａ＜Ｂ”ならばＶＧＡ以下の画像が入力されたことがわかる。直接、解像度変換にＶＧＡ以下であることが画像処理部１４ａ〜１４ｄに連絡され、対応するルーチンが起動される。“Ａ＝Ｂ”ならば解像度判断回路３５で、水平方向はＶＧＡと判断される。“Ａ＞Ｂ”ならば、比較データ出力部３３から６９４に対する比較結果であることと合わせて比較器３１から比較結果の“Ａ＞Ｂ”が入力される。

また、比較データ出力部３３から７１４という値が比較器３１のＢ入力に入力される。“Ａ＜Ｂ”又は“Ａ＝Ｂ”ならば、解像度判断回路３５で、水平方向はＶＧＡと判断される。“Ａ＞Ｂ”ならば、比較データ出力部３３から７１４という値に対する比較結果であることと合わせて比較器３１から比較結果の“Ａ＞Ｂ”が入力される。このとき、先に入力された６９４の値との比較結果は破棄するようにすれば、解像度判断回路３５の回路規模を小さくすることができる。続いて、８００の値との比較を行なう。ここでも、比較のために、比較を行なう数値を“８００＋ブランク期間−垂直同期信号のＬｏｗ期間±１０”により算出し、８００との比較の際には１００４〜１０２４までの値と比較することになる。そして、上記手順と同じく、１００４の値との比較により、“Ａ＜Ｂ”では、この結果を受けて、解像度判断回路３５では、最大値１が先の７１４と１００４のどちらに近いかを判断し、より近い方の解像度と判断する。

以下、同様に解像度が決定されるまで比較器３１で比較を行なう。ここで、水平方向に８００ラインの場合は、垂直方向のライン数により、解像度はＶＧＡ−ＷかＳＶＧＡかを判断することになる。

比較データ出力部３３，３４による比較データ出力は、比較を行なうための数値を所定のＲＯＭなどに保持しておいて、必要に応じて比較するための数字を比較器３１，３２に出力することができる。この場合に、ＲＯＭなどに記憶する数値は、非表示部分を含んだ直接比較が可能な数値を記憶することで、演算処理を簡略化して回路規模を縮小することができる。

また、冗長性を持たせるための範囲（上記説明では±１０とした）を、外部からＥＥＰＲＯＭ、フラッシュＲＯＭ等の書き換え型のＲＯＭに外部または内部処理により書き込む手段と、この数値による和、または差を演算する手段を設けることで、比較データの数値に冗長性を持たせることができ、ＶＥＳＡ等の推奨する範囲外の信号についても追従できる柔軟性を与えることができる。さらに、比較データ自体をＥＥＰＲＯＭ、フラッシュＲＯＭ等の書き換え型のＲＯＭに保持するようにすれば、必要に応じて判断基準を見直し、修正することができるので、望ましいといえる。

解像度判断回路３５は、以上のようにして判断された解像度として、解像度を確定することで、予め記憶手段に記憶した各画素の座標情報から対応した座標情報を読み出して実行する座標情報の計算を行わずに、また複数の解像度から対応するものを選択して画像処理を行なうことができる。これにより、座標情報を演算する回路が不要となり、回路規模の縮小と処理時間の短縮、および製造コストの低減を実現できる。

次に、座標情報生成部１５ａ〜１５ｄについて説明する。図４は、座標情報生成部１５ａ〜１５ｄの構成を説明するブロック図である。座標情報生成部１５ａ〜１５ｄでの処理に必要なデータは、前述のようにして求めた画像の解像度と、前述の同期信号（ＣＫ，ＶＤ，ＨＤ，ＤＥ）である。ここでは、解像度検出部１２ａ〜１２ｄで得た解像度の情報と同期信号とにより、画像処理部１４ａ〜１４ｄでの画像処理に必要な座標情報を求めるものである。

まず、画像処理部１４ａ〜１４ｄでの画像処理後に出力される画像（出力画像）又は出力画像の元となる画素部分の画素ピッチは予め決まっている（ここでは、レンズ等の光学部品を使用することで拡大するか、又は投射して使用する場合の元となる画像を形成する部分の画素部分の画素ピッチをさす）。画素数についても予め使用する範囲を設定することで、予め決定または変更することができる。この例では、例として入力画像と出力画像の画像サイズを一致させた場合、入力画像の１画素ピッチを１として、出力画像の各位置を計算する。

検出した入力画像の解像度は（Ｘ、Ｙ）とし、出力画像の解像度は既知で（ｘ、ｙ）とする。座標情報は、入力画像の１画素ピッチを１として出力画素の位置を示す。

水平方向において、全体の長さは、“１×（Ｘ−１）”、出力画像の１画素ピッチは、“１×（Ｘ−１）／（ｘ―１）”、各出力画素の座標の値は、“（Ｘ−１）／（ｘ−１）×ｎ （但し、ｎ＝０〜（ｘ−１））”である。座標の値の計算結果から整数部分をＮとすると、計算結果は“Ｎ〜Ｎ＋１”の間に含まれる画素を示し、計算結果からＮを除いた小数点以下の数値は、前述の区間内でのＮからの距離を示す。

同様に垂直方向についても、各出力画素の座標情報は、“（Ｙ−１）／（ｙ−１）×ｍ （但し、ｍ＝０〜（ｙ−１））”である。この計算結果から整数部分をＭとすると計算結果は、“Ｍ〜Ｍ＋１”の間に含まれる画素を示し、計算結果からＭを除いた小数点以下の数値は、前述区間内でのＭからの距離を示す。

画像信号は、前記同期信号（ＣＫ，ＨＤ，ＶＤ，ＤＥ）と同期して入力される。入力された同期信号から、演算回路４１では入力画素数と予め決定されている出力画素数から入力画素の１画素ピッチを１とした出力画素のピッチを計算する。具体的には水平方向は“１×（Ｘ−１）／（ｘ―１）”、垂直方向は“１×（Ｙ―１）／（ｙ―１)”を計算することで水平、垂直ピッチを算出する。

演算回路４２では、入力された画素が最初の画素から何番目かを計数することで、水平方向の計数結果ｎ（但し、ｎ＝０〜（ｘ−１））、垂直方向の計数結果ｍ（但し、ｍ＝０〜（ｙ−１））を計数して、それぞれ演算回路１で算出した各ピッチに積算する。ここでは、演算回路４１で画素の計数を行い、結果を演算回路４２へ入力してもよい。

演算回路４２の演算結果は、抽出回路４３へ出力され、整数部と小数点部分に分離される。分離された整数部により、入力画素のピッチを１として、水平方向の演算結果の整数部をＮとすると“Ｎ〜（Ｎ＋１）”に含まれ、残りの小数部分はＮからの距離を示す。同じく垂直方向の演算結果の整数部をＭとすると“Ｍ〜（Ｍ＋１）”に含まれ、残りの小数部分はＭからの距離を示す。ここでは、説明のために整数部と小数部に分けてそれぞれの数値の意味を示したが、実際の演算においてはそれぞれ整数部と小数部の値を使用して演算を行えばよく、実際に小数を使用して計算することに限定されるものではない。

これらの計算は、論理回路でＦＰＧＡ（Field Programmable Gate Array）、Ｃ−ＰＬＤ（Complex Programmable Logic Device）等を使用して作成することができ、また、プログラムに基づくＭＰＵ（Micro Processing Unit），ＤＳＰ（Digital Signal Processor）の処理により演算を行なうこともできる。

画像処理装置１は、以上の構成により、１つの画像を複数に分解した分割画像ａ〜ｄを並列に処理することができる。表示容量が大きな画像は、このように画像を分割して処理する方式が主流である。この方式に対応することで、回路構成が簡易になり、製造コストを低減することができる。

そして、画像処理部１４ａ〜１４ｄにおいて実行する画像処理、この例では、解像度変換は、前述のように、各出力画素の座標の値は、“（Ｘ−１）／（ｘ−１）×ｎ （但し、ｎ＝０〜（ｘ−１））”、“（Ｙ−１）／（ｙ−１）×ｍ （但し、ｍ＝０〜（ｙ−１））”である。よって、ｎ＝０〜（ｘ−１）、ｍ＝０〜（ｙ−１）という元画像の座標情報を用い、画像処理を実行している。よって、各分割画像ａ〜ｄに固有の座標情報ではなく、元画像の座標情報を用いて並列的に画像処理を実行することにより、この処理後の各分割画像ａ〜ｄを合わせて１枚の画像として表示装置に表示させようとしたときに、処理後の各分割画像ａ〜ｄは最初から１枚の連続した画像の座標情報を維持しているので、各分割画像ａ〜ｄ間の境界部分に画像のひずみが発生するのを防止することができる。また、このような画像のひずみが発生するのを防止するために、各分割画像ａ〜ｄに固有の座標情報を、再度、分割画像ａ〜ｄを合わせた１枚の画像の座標情報に変換する手段を不要とできるので、回路構成を簡易にして、製造コストの低減、装置のコンパクト化を図ることができる。

別の実施の形態について説明する。

図５は、この実施の形態の画像処理装置１の構成を説明するブロック図である。図５において、図１〜図４と同一符号の構成要素は前述の実施の形態の画像処理装置１と同様の構成要素であり、詳細な説明は省略する。

この実施の形態では、分割前の元画像の全体が入力される単一の画像入力部１１と、この入力画像の解像度を検出する前述の解像度検出部１２ａと同様の単一の解像度検出部１２、この解像度検出部１２からの同期信号と解像度の情報から画像処理に必要な座標情報を求める座標情報生成部１５ａと同様の単一の座標情報生成部１５とを備えている。

さらに、この画像処理装置１では、元画像を振り分けて分割画像ａ〜ｄに分割するデマルチプレクサ（ＤｅＭＵＸ）５１、解像度検出部１２で検出した解像度情報に基づいて、分割画像ａ〜ｄの水平、垂直画素数を算出する演算部（この例では、前記のように検出した水平、垂直画素数をそれぞれ１／２にする）５２、および、振り分けられた分割画像ａ〜ｄをそれぞれ記憶するフレームバッファ１３ａ〜１３ｄを備えている。また、演算部５２は、ＤｅＭＵＸ５１が画像処理を行なうために各画像信号の必要な振り分けを実行するように、各フレームバッファ１４ａ〜１４ｄへ切り替え信号を出力する。分割画像ａ〜ｄの画像処理は、前述の実施の形態と同様に画像処理部１４ａ〜１４ｄでそれぞれ行なう（なお、図５において画像処理部１４ｂ〜１４ｄの図示を省略している）。

各分割画像ａ〜ｄ間の境界部分において、ある分割画像ａ〜ｄの画像処理に必要な隣接する他の分割画像ａ〜ｄの画像信号は、ＤｅＭＵＸ５１を複数段並列に使用することで、必要に応じて同じデータを複数のフレームバッファ１３ａ〜１３ｄに入力することができる。この画像の境界部分については、ＨＤ中のＣＫを計数することで検出することができる。検出された境界部分の画素の情報は、検出された境界部分を含まない隣接する分割画像ａ〜ｄのフレームバッファ１３ａ〜１３ｄへ、隣接する境界部分の画素の情報として転送される。また、ＶＤ中のＨＤを計数することで、画像の境界部分を検出することができる。検出された境界部分の画素の情報は、検出された境界部分を含まない隣接する分割画像ａ〜ｄのフレームバッファ１３ａ〜１３ｄへ、隣接する境界部分の画素の情報として転送される。この機能により、互いに隣接する分割画像ａ〜ｄ間で境界部分を超えた画素情報を使用して境界部分で連続性を維持した画像処理（解像度変換）を実現することができる。境界部分を含めて必要な画像信号は画像処理部１４ａ〜１４ｄへ出力され、画像処理部１４ａ〜１４ｄでは、座標情報生成部１５からの座標情報により、画像処理を行い、表示制御部へ画像信号を出力する。

この画像処理装置１では、１つの元画像を入力することで、元画像の複数の分割画像ａ〜ｄへの分割から画像処理までを全て画像処理装置１で実現することができ、画像処理装置１に１つの元画像を分割するための他の装置、回路を付加する必要がなく、画像も単一の元画像をそのまま入力することができるため、汎用性が向上し、量産効果による製造コストの削減を図ることができる。

前述の各実施の形態では、画像処理部１４ａ〜１４ｄで必要な座標情報は、座標情報生成部１５ａ〜１５ｄ，１５において生成したものを用いている。これに対し、画像処理部１４ａ〜１４ｄでの画像処理に必要な画素の座標情報を記憶装置に記憶し、必要なときにこれを参照して画像処理を行なうようにしてもよい。使用する記憶装置は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）等を使用することができる。この場合、記憶装置には、電源のＯＮ／ＯＦＦにかかわらず記憶内容を保持するＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭを使用することが望ましい。より望ましくは、ＥＥＰＲＯＭを使用することで、書き換えの必要に応じて電気的に消去、書き換えが可能となる。

また、他の望ましい構成例としては、図６に示すように、制御回路６３の制御により、電池等でバックアップした揮発性の記憶装置６１に不揮発性の記憶装置６２から必要な座標情報の内容をコピーし、必要に応じて揮発性の記憶装置で編集を行なうことで電源のＯＮ／ＯＦＦに関わらず、データの保存と書き換えを両立することができる。

記憶装置の動作速度については、高速な記憶装置を使用することで、座標情報の迅速な読み出しが可能となる。また、必要とする座標情報を高速な記憶装置にコピーし、実際に使用する部分は、この高速な記憶装置から読み出して使用することで、高速な座標情報の読み出しが可能となる。

すなわち、画像処理部１４ａ〜１４ｄからの画素の座標情報の要求に対して、制御回路６３は要求された座標情報を含むデータ（望ましくは以降に要求される一連の座標情報を含む）を、例えばＥＥＰＲＯＭを使用した記憶装置６２から例えばＳＲＡＭを使用した記憶装置６１へ移動させる。移動の手段は、記憶装置６２への読み出しと記憶装置６１への書き込みで行なう。このため、制御回路６３には、アドレスの発生用のカウンタ、使用する記憶装置の制御回路を含んでいる。

記憶装置６１に記憶された座標情報は、高速アクセス可能な記憶装置６１を使用することで、記憶装置６２単体で使用するより高速に座標情報を読み出すことができる。また、本例は記憶装置６２に電気的消去書き込みＲＯＭであるＥＥＰＲＯＭを使用しており、制御回路６３は必要に応じて記憶装置６２の内容の消去、書き換えの制御機能もつ。つまり更新が必要になった場合、データ書き換え要求により、ＥＥＰＲＯＭに対して内部データの消去と書き換え用データによる書き込みを行なう。これにより、座標情報の高速アクセスを可能とし、また、必要に応じて座標情報の更新を可能とする。

前述の図５の実施の形態に前述の図６の構成を適用して、図７に示すように実施してもよい。すなわち、元画像は画像入力部１１に入力され、画像信号（デジタル信号）と同期信号（ＨＤ，ＶＤ，ＣＫ，ＤＥ）として出力される。解像度検出部１２では解像度を検出する。画像信号は演算部５２によるＤｅＭＵＸ５１の制御により、それぞれのフレームバッファ１３ａ〜１３ｄに分割画像ａ〜ｄとして分解して記憶される。

座標情報生成部１５における座標情報の計算方法は、図１以下の実施の形態で説明した手段によっている。この計算により求められた座標情報は、制御回路６３によりにより記憶装置６２に書き込まれる。フレームバッファ1３ａ〜１３ｄからの画像データの画像処理に必要な座標情報は、制御回路６３に要求することで、制御回路６３からの指示により記憶装置６２から記憶装置６１へ必要なデータのコピー、記憶装置６２からの座標情報の出力が行われる。

このように、座標情報生成部１５で演算した結果を記憶装置６２，６１で記憶することで、一度演算した結果は記憶装置６２，６１に記憶して、以後、演算することなく記憶装置６２，６１から演算結果を読み出すことが可能となり、毎回演算を行なう場合に比べて、演算回路４２の回路を小型化して、製造コストを低減することができる。

次に、各分割画像ａ〜ｄの境界部分の検出について説明する。

すなわち、前記した同期信号を使用して、水平方向、垂直方向の境界部分の画素を検出するものである。すなわち、垂直同期信号（ＶＤ）でリセットされるカウンタ７１と水平同期信号（ＨＤ）でリセットされるカウンタ７２を使用して、各分割画像ａ〜ｄの境界部分の画素を境界画素検出部７３で検出する。

ここでは、例として、４分割された各解像度１０２４×７６８の分割画像ａ〜ｄについて説明する。分割画像ａでは各走査線とも水平方向１０２４番目の画素と、７６８本目の走査線上の全ての画素が境界部分の画素に相当する。この部分については、通常の分割画像ａ内の画像処理に使用すると同時に分割画像ｂとの境界部分と、分割画像ｃとの境界部分の画像処理に使用する。同様に分割画像ｂについては、各走査線１番目の画素は分割画像ａとの境界部分、７６８本面の走査線上の全ての画素は分割画像ｄとの境界部分の画像処理に使用できる。分割画像ａ〜ｄ毎の境界部分として使用できる画素について、表３に示す。

境界画素検出部７３で境界画素として検出した画素の情報は、記憶部７４に記憶することで、必要に応じて画像処理部１４ａ〜１４ｂ（図８においては画像処理部１４ａのみを図示）で参照できるようにして、画像処理部１４ａ〜１４ｂで画像処理を行なうことができる。

すなわち、境界部分を含んで、画像処理を行なうデータとして画素情報を配列し、各分割画像ａ〜ｄを処理する画像処理部１４ａ〜１４ｂで処理を行ってよい。具体的には、分割画像ａは、境界部分である分割画像ｂ、分割画像ｃ、分割画像ｄそれぞれが含む、分割画像ａとの境界部分の画素情報を含んだ分割画像ａとして配列し、１枚の画像として画像処理部１４ａで画像処理を行なう。同じく、分割画像ｂ，ｃ，ｄについてもそれぞれ境界部分の画素情報を含む画像として配列を行い、それぞれ１枚の画像として１４ｂ〜１４ｂで画像処理を行なう。このとき、処理結果でそれぞれの分割画像ａ〜ｄから出力された境界部分の出力画像は、互いに平均を算出することでそれぞれの計算結果を使用することができる。

これら境界部分の画素の情報は、他の一例をあげると、境界部分用の処理回路（図示せず）を使用して処理することもできる。この場合、表３に示した境界部分に含まれる出力画素は、専用の画像処理部（図示せず）で画像処理を行い、画像処理装置１から出力される前に他の画像処理部１４ａ〜１４ｂからの結果と合成することで１枚の画像を作製することができる。

また、異なる方法としては、各分割画像ａ〜ｄの境界部分の計算は、いずれか一方に含まれる計算を少なくとも１回行い、その結果を使用することもできる（そのための回路については図示せず）。

境界部分の画素情報については記憶部７４に記憶され、記憶された内容の更新は、新規にフレームバッファ１３ａ〜１３ｄの分割画像ａ〜ｄが記憶されるまで行わず、記憶されている画素情報を使用して画像処理を行なうものである。

通常、画像の入力方法は線順次と呼ばれる方法で行われる。例として一例をあげると、画面の上から下へ水平方向に走査線と呼ばれるライン単位で順次データが転送され、同様に走査線内は左から右に順次データが転送されるものである。このため、画面のデータの転送が開始されてから、同一画面内の各画素が転送される時間は、画素の位置により特定できる。

本実施の形態は、この画面内の位置により転送される各画素のデータの転送時間が異なっていることによる、各分割画像ａ〜ｄの境界部分の画素情報が転送される時間と、該画素について画像処理される時間との差異を解消するものである。

例として、分割画像ａの１本目の走査線の１０２４番目の画素は、分割画像ｂの同じ走査線の１番目の画素と境界部分の演算に用いられる。しかし、各分割画像ａ〜ｄは画像処理部１４ａ〜１４ｄに並列に入力されるため、上記境界部分の画素間には分割画像の走査線一本分の転送時間に相当する時間差が生じる。そのため、元画像の同じフレームの画像情報を使用するためには、記憶装置に記憶し、画像処理部１４ａ〜１４ｂでの画像処理後に再び配列する等の処理が必要となる。

これについて図９を参照して説明する。図９は、分割画像ａ〜ｄが並列に入力され、それぞれ走査線の１本目が入力される部分を示す。並列入力のため、順次１〜１０２４までが同じ時間で入力される。しかし、同じフレーム内のデータを使用して画像処理を行なうためには、異なる時間に入力される図９で図示したデータが同時に必要となる。

検討の結果、境界部分の画素情報と他の部分との画素情報に、分割画像１フレームの差異があっても実際に視認できる差異は生じないことがわかった。そこで、本実施の形態は、境界部分の画素情報について、記憶した後、次に更新されるまで同じ画素情報を維持し、必要に応じて該境界部分の画像情報を使用して画像処理を行なうものである。

本実施の形態により、分割画像ａ〜ｄの境界部分での画素の情報を記憶して、新規に更新されるまでこの情報を保持することで、画像処理装置１は、処理を行なう際に、必要に応じて分割画像ａ〜ｄの境界部分の画素の情報を使用して画像処理を行なうことができるため、画像処理に境界部分の画素の情報とのタイミング調整が不要となり、部品コストの低減による低コスト化を実現できる。

なお、前述の各実施の形態では、画像処理部１５ａ〜１５ｄで行なう画像処理の例として解像度変換を示したが、本発明はこれに限定されるものではなく、処理対象となる注目画素を処理するために、その注目画素の周囲の画素の情報を参照する必要のある様々な画像処理に本発明を適用することができる。以下では、このような画像処理の例について説明する。

（１）まず、このような画像処理としてエッジ強調が挙げられる。一例を示すと、周辺画素の情報を判断して文字情報などを判別しやすくするために文字本体と背景との境界部分の明るさを調整することで、より境界都分をはっきり視認できるよう強調したり、輪郭部分の色を調整（濃度を高めるなど）して強調するなどである。これは、周辺画素の情報を用いて差異の大きい部分を輪郭部分として検出し、この検出部分の色の濃さ、明るさを算出することで行なう。なお、医療用画像の視覚装置などでは、エッジ強調による境界部分の強調は正常個所と異常個所の視認に有効な場合が多い。

（２）また、画像の部分的な拡大・縮小の処理も挙げられる。これは解像度変換を全画面について行なうのではなく、指定定した範囲について行なうことで、使用者が指定する任意の部分について画像の拡大表示や、画像全体を見るために縮小表示を行なうものである(縮小表示の場合、もともと入力された画像の範囲外の画像を表示することはできないため、極端な縮小表示を行なうと、表示された画像範囲以外に黒、自などで示されて、画像が表示されない部分が発生する）。

（３）そのほかに、階調表示において、低い階調表現の表示装置を使用して、高い階調教を表現するための誤差拡散を挙げることもできる。これは、元画像の明るさと表示する明るさの差異を周辺の画素に分配することを全ての画素について行なうことで、低い階調数の表示装置で高い階調表現を行なうものである。

空間フィルタ処理等を挙げることもできる。空間フィルタ処理では、各画素に処理を行い新しい画素の変換を行なうため、周囲画素との影響を考慮した処理が必要となる。

［表示装置］
次に、前述の画像処理装置１を搭載した表示装置１０１について説明する。

図１０は、表示装置１０１の構成を示す説明図である。光変調素子１０２は、画像フィールド（あるいは、画像フィールドを時間的に更に細分割した複数個の画像サブフィールド）ごとに照明光を画像情報に基づいて空間光変調して画像光として出射する素子である。光変調素子１０２としては、例えば、液晶パネルを用いることができる。このような光変調素子１０２の一例として、ここでは、反射型のＬＣＯＳ（Liquid Crystal On Silicon）を使用している。このように、光変調素子１０２から出射される画像光を光変調素子１０２の解像度以上の高解像度で表示するため、表示装置１０１では、光変調素子１０２からの画像光を光偏向素子１０３により時間分割で偏向し、この偏向に応じた画像を表示するピクセルシフトを実行している。すなわち、光偏向素子１０３は光変調素子１０２と同期し、画像フィールド（あるいは、画像フィールドを時間的に更に細分割した複数個の画像サブフィールド）ごとに駆動される光変調素子１０２の各画素から入射されてくる画像光の光路を偏向して光変調素子１０２の見かけ上の画素数を増倍して表示するものである。

図１０において、符号１０４は光源である超高圧水銀灯であり、この光源の光はインテグレータ１０５で均一化され、偏光変換素子１０６で偏光を一方向に揃えられる。インテグレータ１０５、偏光変換素子１０６を通過した光は、ミラー１０９、ＰＢＳ（偏光ビームスプリッタ）１０７で反射されて光変調素子１０２へ入射する
光変調素子１０２で空間光変調されて反射した光で、投射レンズ１０８を通して図示しないスクリーンに到達する光は、光変調素子１０２で偏光方向が９０度変えられて、今度はＰＢＳ１０７を透過して光偏向素子１０３へ入射される。光偏向素子１０３では、透光性の平行平板１１１と電磁石と磁石１１２を組み合わせて電圧によって可動する機構（図１１参照）で光軸を時分割で偏向して、画像の見かけ上の解像度を倍増させてスクリーンに表示する。なお、光の方向は図１０中、矢印で示している。

この電磁石と磁石１１２の電磁石を制御することで、それぞれ平行平板１１１が傾き、光変調素子１０２からの光は偏向される。そして、それぞれの位置に対応する画像を光変調素子１０２に表示することで、高解像度を実現することができる。図１１は、光偏向素子１０３の概略構成を示すものであるが、電磁石と磁石１１２の電磁石により透光性の平行平板１１１が傾斜し、図１１のように入射光、出射光間にずれが生じる（なお、図１１においては、このずれを強調して作図している）。

図１０において、符号１０９は表示装置１０１の全体を制御する制御装置であるが、この制御装置１０９では前述の画像処理装置１を備えていて、光変調素子１０２に表示しようとする画像を前述のように複数に分割し、この分割した分割画像ａ〜ｄを前述のように処理し、この処理後の画像を光変調素子１０２に表示している。

このような表示装置１０１によれば、画像処理装置１により高画質の画像処理を行い、光偏向素子１０３を使用した偏向に対応して時分割で光変調素子１０２に表示を行なうことで、光変調素子１０２の画素数より多い画素数の画像を表示することができる。

また、光変調素子１０２を３枚用いて、カラー画像を表示するようにしてもよい。図１２は、このような表示装置１０１の構成を説明する説明図である。図１２において図１０と同一符号の部材は、前述の実施の形態と共通であり、詳細な説明は省略する。

図１の表示装置１０１では、ミラー１０９の反射光を青反射ダイクロイックミラー１２１、緑反射ダイクロイックミラー１２２で複数色、ここではＲ（赤），Ｇ（緑），Ｂ（青）の３色の光に分解し、所定の光学系、ここでは３つのＰＢＳ１０７、ミラー１２３、リレーレンズ１２４を介して、それぞれの色の光を複数、ここでは３枚の光変調素子１０２に入力する。３枚の光変調素子１０２には、それぞれカラー画像である元画像を構成するＲ，Ｇ，Ｂの画像情報に基づいて駆動され、画像フィールド（あるいは、画像フィールドを時間的に更に細分割した複数個の画像サブフィールド）ごとに照明光を画像情報に基づいて空間光変調して画像光として出射する。そして、出射された３つの色の画像光は所定の光学系、ここでは３つのＰＢＳ１０７、ダイクロイックプリズム１２５を介して１つのカラー画像の画像光に重ね合わされ、光偏向素子１０３に入射される。なお、Ｒ，Ｇ，Ｂ各色の光は図１２中に矢印で示している。また、図中のリレーレンズ１２４は、Ｒ，Ｇを示す光路に対して、Ｂのみ光路長が異なるため、これを調整するための素子である。

図１３は、この表示装置１０１の制御装置１０９において、各光変調素子１０２に各色の画像信号を出力する回路構成について説明する説明図である。

まず、元画像は、画像入力部１１で赤、緑、青の各画像信号に分けて赤画像処理部１３１Ｒ、緑画像処理部１３１Ｇ、青画像処理部１３１Ｂにそれぞれ出力される。赤画像処理部１３１Ｒ、緑画像処理部１３１Ｇ、青画像処理部１３１Ｂのそれぞれの構成は共通であるため、ここでは、赤画像処理部１３１Ｒについて説明する。すなわち、赤画像処理部１３１Ｒは、前述の解像度検出部１２、座標情報生成部１５、演算部５２、ＤｅＭＵＸ５１、フレームバッファ１３ａ〜１３ｄを備えた画像分割部１３２と、前述の画像処理部１４ａ〜１４ｄとを備えていて、赤画像信号に画像処理を施して赤画像を表示する光変調素子１０２に画像信号を出力する。同様に、緑画像処理部１３１Ｇ、青画像処理部１３１Ｂも、それぞれ、赤画像、青画像を表示する光変調素子１０２に画像信号を出力する。

本構成では、各色について同じ回路構成を使用して、各色につき４つの画像処理部１４ａ〜１４ｄの並列処理を行っている。各色の回路とも、並列化の方法と処理に必要な情報は互いに共通とした。その結果、それぞれ異なる色を、異なる入力データで処理しているが、処理に必要な座標情報は同じデータを使用する３つの回路を一組としてそれぞれの組は別の座標情報を使用していて、各組の中は３回路が同じ座標情報で演算を行なう組が４組動作していることになる。

光偏向素子１０３は、光変調素子１０２による画像を時間分割で異なる位置に表示し、該表示位置に対応した画像を光変調素子１０２に表示することで１枚の画像を形成するが、本実施の形態では画像処理装置１からの画像信号の出力が、時分割による光変調素子１０２の表示に対応するように行われる。

光変調素子１０２の表示内容は光偏向素子１０３の偏向方向により決定されるため、例として変更方向を図１４に示す方向に、画素１→画素２→画素３→画素４→画素１…のように偏向するものとする。画像信号に対応する光変調素子１０２の各画素位置は決まっているため、光偏向素子１０３により時分割表示で実現される画像（本例では、光変調素子１０３の画素数×４の画素を持つ画像）で、ある偏向状態で表示される画素は一義的に決定される。図１５には光偏向素子１０３と時分割表示により実現される画像を示す。●は図１４の画素１で表示されることを示し、以下画素２，３，４の○に順次表示される。そして、画素１〜４において、光変調素子１０２は同じ画素が表示される。

本実施の形態では、画像処理部１４ａ〜１４ｄによる画像処理は、処理結果として出力される画素を処理するための入力された画素を選択することから開始される。出力される画素が決まるとこれを処理するために必要な入力された画素が選択される。そして、選択された画素とその元画像における座標情報から先の出力画素が画像処理の結果として出力され、光変調素子１０２に出力される。

画像処理装置１からの出力を使用して、光偏向素子１０３による偏向に対応した時分割の表示を行なうための画像を作成する方法について説明する。この構成は、画像処理装置１の出力を記憶するメモリを用いることである。メモリを使用することで画像処理装置１から出力されるタイミングと光変調素子１０２間のタイミング調整に時間的な猶予が発生する。

具体例として、光偏向素子１０３により前述のように４つの偏向方向による時分割表示を行なう場合について説明する。並列処理により各時分割表示に対応する画像が出力された場合、本例により直ちに表示しない内容でもメモリに記憶することで、順次表示を行なうことができる。メモリとしては、ＳＲＡＭ（static random access memory）、ＤＲＡＭ（dynamic random access memory）等を使用することができる。

ここでは、記憶装置Ａ，Ｂの２組について交互に書き込み、読み出しを切り替えることで、フレーム毎に順次切り替えて表示を行なうことができる。そのタイミングチャートを図１６に示す。

図１６のタイミングチャートに示すように、記憶装置Ａ、記憶装置Ｂに画像処理装置１からのデータを書き込み、光変調素子１０２の読み出しを切り替えることで、光変調素子１０２は１フレーム期間内に表示を行えばよく、タイミングの調整の余裕を確保することができる。

本実施例では、画像処理装置１からの１フレーム分の書き込みと光変調素子１０２による時分割表示の結果、１フレーム分の読み出しの遅い方が律速となる。異なる場合は早いほうを停止させる等のタイミング調整が必要となる。

回路構成としては、前記２組の記憶装置Ａ，Ｂで交互に書き込み読み出しを制御することで実現できる。例としては、ＷＥ（Write Enable：例としてＬレベルで書き込み、Ｈレベルで読み出し）信号で制御することができる。その他、出力については、ＯＥ（Output Enable：例としてＬレベルで出力が取り出せるが、Ｈレベルにすると出力はハイインピーダンスとなる）信号をもつゲートを組み合わせて信号の出力方向を制御することができる。２組の記憶装置Ａ，Ｂの切り替えは、セレクタを使用することで実現できる。

記憶容量については、画像処理装置１から光偏向素子１０３の偏向と、時分割表示の順序で画像の出力が可能の場合、表示を完了した記憶装置ＡまたはＢに新規の表示用の画像を記憶することで、記憶容量を削減することが可能である。

図１７に具体的な回路構成を示す。図１７において、画像処理装置１からは画像処理後の画像が出力される。出力された画像が有効であることを示す信号、または出力された画像数（光変調素子１０２の画素数は予め決まっているため、計数で１サブフレームのデータは決定できる）を計数部１４５で数えることでも、有効な１フレームのデータは検出される。ここでは有効なフレーム毎にトグル動作を行なうsel信号を定義する。この単位に２組の記憶装置Ａ，Ｂの読み出し、書込みの制御（直接sel信号で制御）、入力端子へのデータの向きを入出力制御部１４１，１４２で制御する。入出力制御はそれぞれ逆の動作を行い、一方が記憶装置Ａに書込む時は、もう一方は記憶装置Ｂから読み出す。同じくsel信号によりセレクタ１４３から画像が読み込み動作を行っている入出力制御部１４１をへて記憶装置Ａに書きこまれる。なお、入出力制御部１４１、１４２のバッファ段で、データを有効に通さない方向はハイインピーダンスとすることで、セレクタ１４３、１４４は省略が可能である。

このように、本実施の形態では、画像処理装置１からの出力画像信号を記憶装置Ａ，Ｂに書き込み、光変調素子１０２が表示を行なうために記憶装置Ａ，Ｂから出力画像信号を読み出すものである。

本実施の形態では、読み出しと書き込みを非同期に行なうことができる記憶装置Ａ，Ｂを使用する。使用できる記憶素子としては、具体的にはＦＩＦＯ（First-In First-Out）、Dual Port DRAM、Dual Port RAM、Multi Port DRAM、Multi Port RAMと呼ばれる記憶素子を使用することができる。機能からは、前述の読み出しと書き込みが非同期に行えることを満たしている記憶素子により実現することができる。

具体的なタイミング例をタイミングチャートを使用して説明する。図１８に、このタイミングチャートを示す。図１８はそれぞれ時分割で表示するための光変調素子１０２の画像をサブフレーム１〜４で示している。また、各サブフレームには専用のバンクを設けた。
タイミングチャートでは、画像処理装置１からの書込み動作であるサブフレーム１〜４を示す位置と、読み出し動作のサブフレーム１〜４を示す位置がずれている。

この状態では、例えば、サブフレーム１は前半１／５の部分が１フレーム前の（更新される前の）サブフレーム１が読み込まれている。画像の表示について検討の結果、光変調素子１０２のサブフレーム内に２つの異なるフレームの画像が混在しても、完成した画像には、差異の検出が大変に困難であることがわかった（通常使用する画像では、感知されなかった）。

光変調素子１０２の制御には複数の手順が必要なもの（リセット、極性制御、残余電圧のクリア等）があり、これらの手順によっても読み出しの制御は煩雑になる。このように、非同期で書込みと読み出しをおこなうことで、タイミングの自由度は大きくなる。

また、画像処理装置１から、画像処理が終わった結果が出力される。この出力された結果は本実施の形態の書込み側に入力され、一方、光変調素子１０２へは読み出し側から出力される。

本実施の形態では、それぞれ計算結果が表示時に順次読み出されるようにそれぞれ対応したバンクもしくは記憶素子に書き込まれれば、書き込み方は特に限定するものではない。

本実施の形態では、光変調素子１０２は読み出しと書き込みを非同期に行なうことで、画像処理装置１からの出力画像のタイミングとは非同期で、必要なタイミングで表示を行なうことができ、タイミング調整に必要な部品コストを低減することができ、低コスト化を実現できる。

前述した光偏向素子１０３は、透光性の平行平板１１１を傾斜させて、ピエゾ素子、電磁石と磁石１１２等で動作させるもので、光の向きを変更することができる。しかし、このような構成の光偏向素子１０３では、光を偏向するためにピエゾ素子、電磁石等の動作を伴うため、動作音が発生してしまう。

そこで、光偏向素子１０３は、液晶パネルにより光を偏向するようにしてもよい。これは、具体的には複屈折板と液晶の組合せで実現できる。すなわち、複屈折板は入射する光の偏光方向により屈折方向が変化する。そこで、複屈折板と液晶を組み合わせることで、液晶により偏光方向を変化させることで光を偏向するようにする。液晶による光の偏向を行なうことで、動作音は発生せず、静粛で高画質、高解像度の表示装置１０１を実現することができる。

次に、このような液晶を用いた光偏向素子１０３の一例の概略構成について説明する。

ここでは、強誘電性液晶を使用して垂直配向させた光偏向素子１０３について説明する。この素子の構造を図１９に示す。図１９の光偏向素子１０３は、紙面水平方向の光軸を偏向する。すなわち、電極１５４に電圧を印加することで、ガラス基板１５３に液晶層１５１が挟持されてなるパネルの液晶層１５１の液晶分子の状態が遷移して、基板１５３に対して垂直方向（紙面水平方向）の入射光が、液晶分子の状態に応じて偏向する。出射光は入射光に平行である。

この光偏向素子１０３は強誘電性液晶、具体的には、ホメオトロピック配向をなすキラルスメクチックＣ相よりなる液晶を使用しているため、応答速度が速い。また、基板１５３に対して垂直に配向した液晶の状態で偏向するため、偏向量の制御性が良好で、必要な位置に偏向させることが可能となる。もちろん、液晶を使用することで可動部品がないため、静粛性を実現することができる。なお、図１９中の符号１５４は電圧を印加するための電極、１５２は配向膜である。入射光は液晶の状態により第１、第２の射出光にシフトされる。

図２０は液晶の配向状態を示している。この配向状態に応じて図１９に示す２方向のシフトを実現する。図１９に示すように、１素子で水平または垂直の１方向のシフトを実現する。また、前述のように画素１〜４の４方向に偏向するには、シフト方向が互いに直交する２つの光偏向素子１０３を使用する。

このように、光偏向素子１０３に垂直配向させた強誘電性液晶を使用することで、偏向量と、電気信号による制御性が良好で、動作音が発生しない光の偏向を実現することができ、良好な画像を得ることができる。その他、液晶を用いた光偏向素子１０３の構成の詳細については、例えば、特開２００２−３２８４０２公報等を参照されたい。

本発明の一実施の形態である画像処理装置の全体構成の説明図である。 解像度検出部の構成を説明する説明図である。 解像度検出部の構成を説明する説明図である。 座標情報生成部の構成を説明する説明図である。 画像処理装置の他の構成例についての全体構成の説明図である。 生成した座標情報を記憶する構成の説明図である。 図６の構成を用いた画像処理装置の他の構成例についての全体構成の説明図である。 分割画像間の境界の画素を検出する構成の説明図である。 画像を分割したときの分割画像間の境界の画素について発生する不具合を説明する説明図である。 表示装置の全体構成の説明図である。 光偏向素子の構成の説明図である。 カラー画像を表示することができる表示装置の他の構成例についての全体構成の説明図である。 図１２の表示装置に用いる制御装置の説明図である。 光偏向素子によるピクセルシフトについて説明する説明図である。 光偏向素子によるピクセルシフトについて説明する説明図である。 光変調素子に画像信号を出力するメモリを備えた装置の説明図である。 光変調素子に画像信号を出力するメモリを備えた装置の説明図である。 光変調素子に画像信号を出力するメモリを備えた装置の説明図である。 液晶を用いた光偏向素子の説明図である。 液晶の配向状態の説明図である。

符号の説明

ａ 分割画像
ｂ 分割画像
ｃ 分割画像
ｄ 分割画像
Ａ 記憶装置
Ｂ 記憶装置
１ 画像処理装置
１４ａ 画像処理回路
１４ｂ 画像処理回路
１４ｃ 画像処理回路
１４ｄ 画像処理回路
１０１ 表示装置
１０２ 光変調素子
１０３ 光偏向素子
１０４ 光源
１０７ 光学系
１２３ 光学系
１２５ 光学系
１５１ 液晶
１５３ 基板

Claims (17)

1. １つの元画像を画面上で複数に分割した各分割画像をそれぞれ対象として、処理対象となる注目画素を処理するために当該注目画素の周囲の画素の情報を用いる所定の画像処理を行なう複数の画像処理回路を備え、
   前記各画像処理回路は、前記分割画像の各画素の座標情報として前記元画像における当該各画素の座標情報を用いて前記画像処理を行なう、
   画像処理装置。
2. 前記元画像を複数に分割して前記各分割画像を生成する手段を、さらに備えている請求項１に記載の画像処理装置。
3. 前記各分割画像について他の前記分割画像との境界部分における当該他の分割画像の画素の情報を検出する手段と、
   この検出された境界部分の画素の情報を記憶する手段と、
   を備え、
   前記各画像処理回路は、前記記憶がされている画素の情報を用いて前記各分割画像の前記境界部分における画素についての前記画像処理を行なう、
   請求項１又は２に記載の画像処理装置。
4. 前記画像処理回路は、前記画像処理として解像度変換処理を行なう、請求項１〜３のいずれかの一に記載の画像処理装置。
5. 前記画像処理回路は、前記画像処理として誤差拡散処理を行なう、請求項１〜３のいずれかの一に記載の画像処理装置。
6. 前記画像処理回路は、前記画像処理として空間フィルタ処理を行なう、請求項１〜３のいずれかの一に記載の画像処理装置。
7. 前記元画像又は分割画像の解像度を検出する手段と、
   この検出した解像度を用いて前記画像処理上の位置関係を表す座標情報を生成する手段と、
   をさらに備え、
   前記画像処理回路は、前記生成された座標情報を使用して前記解像度変換処理を行なう、
   請求項３に記載の画像処理装置。
8. 前記元画像又は分割画像の解像度を検出する手段と、
   各種解像度に対応する前記画像処理上の位置関係を表す座標情報をあらかじめ記憶している手段と、
   前記検出した解像度に対応した前記画像処理上の位置関係を表す座標情報を読み出す手段と、
   をさらに備え、
   前記画像処理回路は、前記生成された座標情報を使用して前記解像度変換処理を行なう、
   請求項３に記載の画像処理装置。
9. 前記座標情報を生成する手段で生成された座標情報を記憶する手段と、
   この記憶している座標情報を読み出す手段と、
   をさらに備え、
   前記画像処理回路は、前記生成された座標情報を使用して前記解像度変換処理を行なう、
   請求項７に記載の画像処理装置。
10. 請求項１〜９のいずれかの一に記載の画像処理装置を備え、
    この画像処理装置で前記画像処理後の画像情報に基づいて画像を表示する、表示装置。
11. 画像フィールド又は画像サブフィールドごとに照明光を画像情報に基づいて空間光変調して画像光として出射する光変調素子と、
    この光変調素子と同期し前記画像フィールド又は画像サブフィールドごとに駆動される前記光変調素子の各画素から入射されてくる画像光の光路を偏向して前記光変調素子の見かけ上の画素数を増倍して表示する光偏向素子と、
    をさらに備え、
    前記光変調素子は前記画像処理後の前記画像情報に基づいて前記空間光変調を行なう、請求項１１に記載の表示装置。
12. カラー画像である前記元画像を構成する各色の前記画像情報により各色の前記照明光をそれぞれ前記空間光変調する複数の前記光変調素子を備え、
    この各照明光を重ね合わせて前記画像表示素子に入射させる光学系をさらに備えている、請求項１２に記載の表示装置。
13. 前記画像処理装置は、前記画像処理後の前記画像情報を前記偏向による画像の時分割表示を行なうための表示に必要な順序で出力する、請求項１１又は１２に記載の表示装置。
14. 前記画像処理後の前記光変調素子に表示する画像情報を順次記憶する複数の記憶装置と、
    前記各画像装置への前記画像情報の書き込み、読み出しを切り替えることで、前記複数の記憶装置から前記画像情報を前記光変調素子に順次出力する手段と、
    をさらに備えている請求項１１〜１３のいずれかの一に記載の表示装置。
15. 前記各記憶装置は、書き込み、読み出しを非同期で実行する、請求項１４に記載の表示装置。
16. 前記光偏向素子は、液晶を透光性の基板で挟持したパネルを備え、
    前記液晶に印加する電圧を調整することで前記光の偏向を行なう、請求項１１〜１５のいずれかの一に記載の表示装置。
17. 前記パネルは、前記液晶としてホメオトロピック配向をなすキラルスメクチックＣ相よりなる液晶を使用している、請求項１６に記載の表示装置。
    
    

Images