JP2009008974A - 画像生成装置及び方法、プログラム、並びに記録媒体 - Google Patents

画像生成装置及び方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP2009008974A
JP2009008974A JP2007171669A JP2007171669A JP2009008974A JP 2009008974 A JP2009008974 A JP 2009008974A JP 2007171669 A JP2007171669 A JP 2007171669A JP 2007171669 A JP2007171669 A JP 2007171669A JP 2009008974 A JP2009008974 A JP 2009008974A
Authority
JP
Japan
Prior art keywords
image
pixel
phase
phase images
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007171669A
Other languages
English (en)
Inventor
Tetsujiro Kondo
哲二郎 近藤
Tetsushi Kokubo
哲志 小久保
Kenji Tanaka
健司 田中
Hitoshi Mukai
仁志 向井
Takafumi Hibi
啓文 日比
Kazumasa Tanaka
和政 田中
Hiroyuki Morizaki
裕之 森崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007171669A priority Critical patent/JP2009008974A/ja
Publication of JP2009008974A publication Critical patent/JP2009008974A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Projection Apparatus (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)

Abstract

【課題】入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成する。
【解決手段】画像処理装置11は、入力画像Wから複数の位相画像を生成し、入力画像Wから生成された複数の位相画像が投影面13に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、重畳画像の画素の画素値と、その画素に対応する入力画像Wの画素の画素値の差分が減少するように入力画像Wから生成された複数の位相画像の画素の画素値を変更して、投影面13に投影される複数の位相画像を生成する。本発明は、例えば、画像生成装置に適用できる。
【選択図】図3

Description

本発明は画像生成装置及び方法、プログラム、並びに記録媒体に関し、特に、本来投影したい画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、本来投影したい画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成する画像生成装置及び方法、プログラム、並びに記録媒体に関する。
本来投影したい画像(以下、入力画像と称する)より低解像度の投影画像を投影する投影装置を利用して、入力画像と同じ解像度の投影像を投影面に映し出す方法として、ウォビュレーション(Wobulation)と呼ばれる方法(例えば、非特許文献1参照)がある。
例えば図1下左から1番目に示す入力画像から、図1下左から2番目および3番目に示すような入力画像の解像度の1/2のサブ画像が生成され、そのサブ画像が、互いにサブ画像の半画素分ずれて重なる位置に、人間の視覚の時間積分効果を得ることができる時間間隔で投影される。
その結果、図1上の右に示すように、入力画像の2倍の解像度の投影像を視覚させることができる。
ウォビュレーション法では、サブ画像が視覚の時間積分効果を得ることができる時間間隔で投影されたが、複数の投影装置を利用して同時に投影し同様の効果を得るディスプレイシステムも考えられている(例えば、非特許文献2参照)。
図2は、このディスプレイシステムによる表示例を示している。
"Wobulation: Doubling the Addressed Resolution of Projection Displays", Will Allen (Digital Projection and Imaging, Hewlett-Packard, Corvallis, Oregon, USA) and Robert Ulichney (HP Labs, Cambridge, Massachusetts, USA) in the Proceedings of SID 2005 Yang, Ruigang, David Gotz, Justin Hensley, Herman Towles and Mike Brown. "PixelFlex: A Reconfigurable Multi-Projector Display System." IEEE Visualization 2001. San Diego, CA (October 21-26, 2001).
しかしながら、例えばウォビュレーション法では、サブ画像の画素の画素値は、入力画像の対応する所定の1つの画素の画素値に一義的に決定される。
例えば、第1のサブ画像の第2行第2列の画素の画素値は、入力画像の第3行第3列の画素の画素値とされ、第2のサブ画像の第1行第1列の画素の画素値は、入力画像の第2行第2列の画素値とされている。
したがってサブ画像の画素が重なり合って形成される投影像の領域の画素値(この領域の輝度値を示す画素値)は、その領域に対応する入力画像の画素の画素値とは必ずしも一致しないので、ウォビュレーション法で映し出される投影像は、入力画像と同じ解像度を有するものの滲んでいるような像となってしまう。
本発明は、このような状況に鑑みてなされたものであり、入力画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成することができるようにするものである。
本発明の一側面の画像生成装置は、入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、前記入力画像から複数の位相画像を生成する入力処理手段と、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段とを備える。
前記投影手段には、前記位相画像の数分だけ設けられ、前記画像処理手段には、生成した位相画像を、対応する所定の前記投影手段に供給させ、各前記投影手段には、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影させることができる。
前記投影手段が1個設けられ、前記画像処理手段には、生成した前記複数の位相画像を、前記投影手段に供給させ、前記投影手段には、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影させることができる。
本発明の一側面の画像生成装置には、前記投影面をさらに設けることができる。
本発明の一側面の画像生成方法またはプログラムは、入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、前記入力画像から複数の位相画像を生成する入力処理ステップと、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップとを含む。
本発明の一側面においては、入力画像から複数の位相画像が生成され、前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値が変更されて、投影面に投影される前記複数の位相画像が生成される。
本発明の一側面によれば、入力画像より低解像度であり、投影面に投影される場合互いに所定のずらし量だけずれて重なり合うように投影面に投影されることで、入力画像との差異が少ない高画質の投影像が映し出されるようになる位相画像を生成することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の画像生成装置は、
入力画像より低解像度で、投影手段(例えば、図5の投影装置12A乃至12D)により投影面(例えば、図3の投影面13)に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置(例えば、図5の画像処理装置11)において、
前記入力画像から複数の位相画像を生成する入力処理手段(例えば、図5の入力処理部31)と、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段(例えば、図5の繰り返し処理部32及び出力処理部33)と
を備える。
本発明の一側面の画像生成方法またはプログラムは、
入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、
前記入力画像から複数の位相画像を生成する入力処理ステップ(例えば、図9のステップS4)と、
前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップ(例えば、図9のステップS12)と
を含む。
以下、図面を参照して本発明を適用した実施の形態について説明する。
図3は、入力画像より低解像度の投影画像を投影する投影装置を複数台利用して、入力画像と同等の解像度でかつ入力画像と同等の画質の投影像が投影面に映し出されるようにすることができる画像投影システム1の構成例を示している。
画像投影システム1は、画像処理装置11、4個の投影装置12A,12B,12C,12D、及び投影面13から構成される。
画像処理装置11には、各投影装置12A,12B,12C,12D(以下、個々に区別する必要がない場合、単に、投影装置12と称する)が投影する投影画像の2倍の解像度を有する入力画像Wが入力される。
画像処理装置11は、後述するように、解像度が入力画像Wの1/2の4個の投影画像(以下、位相画像と称する)を生成し、対応する投影装置12に供給する。
ここで、解像度とは、画像を表現する格子の細かさを単位長さ当りで示したものである。したがって、解像度が1/2になると、画素ピッチは2倍、画素の大きさ(面積)は4倍となる。
各投影装置12は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、DLP(Digital Light Processing)プロジェクタ等から構成され、画像処理装置11から供給された位相画像を、4個の位相画像がそれぞれ縦横方向に位相画像の半画素分互いにずれて(すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけ互いにずれて)重なり合うように投影面13に投影する(以下、このような投影を重畳投影とも称する)。
例えば、4個の位相画像を模式的に表した図4に示すように、投影装置12Aは、位相画像Q1を所定の位置に投影し、投影装置12Bは、位相画像Q2を、位相画像Q1に対して右方向にずらし量d/2だけずれて映し出されるように投影し、投影装置12Cは、位相画像Q3を、位相画像Q2に対して下方向にずらし量d/2だけずれて映し出されるように投影し、投影装置12Dは、位相画像Q4を、位相画像Q3に対して左方向にずらし量d/2だけずれて映し出されるように投影する。
図5は、画像処理装置11の構成例を示している。
入力部21は、画像処理装置11に供給された入力画像Wを、画像処理部22に供給する。
画像処理部22は、各投影装置12によりそれぞれ縦横方向に位相画像Qの半画素分ずれて重なり合うように投影されることで入力画像Wと同等の解像度でかつ入力画像Wと同等の画質の投影像が映し出されるようになる4個の位相画像Q1乃至Q4を生成し(その詳細は後述する)、分配部23に供給する。
分配部23は、画像処理部22から供給された4個の位相画像Q1乃至Q4を、投影装置12に分配する。図5の例では、分配部23は、位相画像Q1を投影装置12Aに供給し、位相画像Q2を投影装置12Bに供給し、位相画像Q3を投影装置12Cに供給し、位相画像Q4を投影装置12Dに供給する。
次に、それぞれ縦横方向に位相画像Qの半画素分ずれて重なり合うように投影されることで入力画像Wと同等の解像度でかつ入力画像Wと同等の画質の投影像が映し出されるようになる4個の位相画像Q1乃至Q4を生成する処理(以下、第1の位相画像生成処理と称する)の概略を、図6を参照して説明する。
解像度が入力画像Wの1/2の位相画像Q1乃至Q4(実際には、図中の位相画像Qの25画素だけではなく、位相画像Qの全ての画素が対象とされる)が、それぞれ縦横方向に位相画像Qの半画素分互いにずれて重なり合うように投影面13に投影されたとすると、すなわち位相画像Qに合わせて描かれている基準線が互いに合致するように投影面13に投影されたとすると、投影面13には、4個の位相画像Qのそれぞれの所定の画素Pが重なり合った領域R1乃至領域R16(図中、投影像Z'において影が付されている領域)が形成される。
位相画像Qの解像度が、入力画像Wの1/2であって、各位相画像Qが、それぞれ縦横方向に位相画像Qの半画素分互いにずれて重なりあうよう投影されるものとしていることから、この領域R1乃至領域R16は、入力画像Wの各画素に対応する。したがって、この入力画像Wの各画素に対応する領域を画素(画素S1乃至S16)とする、入力画像Wと同等の解像度を有する画像(以下、重畳画像Tと称する)が生成されることになる。
なお、図中、入力画像Wの画素Iと重畳画像Tの画素Sは、見易くするためにその大きさを拡大してあるが、本来の入力画像Wの画素Iと重畳画像Tの画素Sは、領域Rの大きさと同じである。
この重畳画像Tの画素S(すなわち対応する領域R)は、位相画像Qの画素Pが重なり合って形成されるので、重畳画像Tの画素Sの画素値vSは、位相画像Qの画素Pの画素値vPにより決定される。
例えば重畳画像Tの画素S6(すなわち対応する領域R6)は、位相画像Q1の画素Pm、位相画像Q2の画素Pl、位相画像Q3の画素Pg、及び位相画像Q4の画素Phが重なり合って形成されるので、画素S6の画素値vS6は、位相画像Q1の画素Pmの画素値vPm、位相画像Q2の画素Plの画素値vPl、位相画像Q3の画素Pgの画素値vPg、及び位相画像Q4の画素Phの画素値vPhを加算したものとなり、vS6=vPm+vPl+vPg+vPhと表される。
そこで、第1の位相画像生成処理では、この原理を利用して、初めに、入力部21から供給される入力画像Wから、例えば入力画像Wの隣接する4個の画素の画素値が平均されて位相画像Qの所定の画素の画素値が算出され、これにより4個の位相画像Qが生成される。
例えば、入力画像Wの隣接する画素I6,I7,I10,I11の画素値が平均されて、位相画像Q1の画素Pmの画素値vPmが算出され、入力画像Wの隣接する画素I5,I6,I9,I10の画素値が平均されて、位相画像Q2の画素Plの画素値vPlが算出され、入力画像Wの隣接する画素I1,I2,I5,I6の画素値が平均されて、位相画像Q3の画素Pgの画素値vPgが算出され、入力画像Wの隣接する画素I2,I3,I6,I7の画素値が平均されて、位相画像Q4の画素Phの画素値vPhが算出される。
そして、生成された4個の位相画像Qが投影面13に投影された場合に生成される重畳画像Tの各画素に対して、重畳画像Tの画素の画素値とその画素に対応する入力画像Wの画素の画素値の差分が減少するように、4個の位相画像Qの画素の画素値が変更されて、最終的に投影される位相画像Qが生成される。
さらに具体的には、図7に示すように、生成された4個の位相画像Qが投影面13に投影された場合に生成される重畳画像Tの画素の画素値とその画素に対応する入力画像Wの画素の画素値との差分に応じた所定の値だけ、生成された位相画像Qの画素値を変更する処理が、重畳画像Tの画素の画素値とその画素に対応する入力画像Wの画素の画素値との比較結果に応じて繰り返して実行される。
このようにして第1の位相画像生成処理が行われる。
図5に戻り、この第1の位相画像生成処理を実行する画像処理部22の内部構成例について説明する。
画像処理部22は、入力処理部31、繰り返し処理部32、出力処理部33、及び画像メモリ34から構成される。
なお画像メモリ34には、入力画像W、4個の位相画像Q、及び重畳画像Tの記憶領域(2次元配列)が確保される。
画像処理部22の入力処理部31には、入力部21から入力画像Wが供給される。入力処理部31は、入力部21から供給される入力画像Wを、画像メモリ34の記憶領域(2次元配列)にコピーする。入力処理部31は、入力画像Wの各画素値と例えば使用可能な最大画素値との比をとること等により各画素値を例えば0.0〜1.0に収まるようにし、さらに投影面13上での輝度値を評価するために、全ての画素値に対してγをかける。
ここで、画素値と(投影面13上での)輝度値の関係は、図8に示すように非線形であり、ある画素の画素値をv、輝度値をIとすると、一般にI=vγが成り立つ。ここで、γは定数である。以下、この式に従って(投影面13上での)輝度値を評価するために画素値を補正する処理を、「γをかける」と呼ぶ。
そして、入力処理部31は、(画素値を補正した後の)入力画像Wから、例えば入力画像Wの隣接する4個の画素の画素値を平均して位相画像Qの画素値を算出し、これにより4個の位相画像Q(以下、初期位相画像Qと称する)を生成し、繰り返し処理部32に供給する。
繰り返し処理部32は、入力処理部31で生成された4個の初期位相画像Qについて、その4個の初期位相画像Qを投影面13に投影した場合に生成される重畳画像Tの各画素の画素値(すなわち、4個の位相画像Qの所定の画素が重なり合って形成される領域の画素値)と、対応する入力画像Wの画素の画素値とを比較して、その比較結果が所定の条件を満たすか否か(すなわち、収束したか否か)を判定し、収束していないと判定した場合、重畳画像Tの画素の画素値と入力画像Wの対応する画素の画素値との差分に基づく所定の値を、位相画像Qの所定の画素にフィードバックする(すなわち位相画像Qの画素値をその値分変更する)。そして、繰り返し処理部32は、画素値が変更された4個の位相画像Qについて、その4個の位相画像Qを投影面13に投影した場合に生成される重畳画像Tの各画素の画素値と、対応する入力画像Wの画素の画素値とを比較して、その比較結果が所定の条件を満たすか否か(すなわち、収束したか否か)を判定し、収束していないと判定した場合、重畳画像Tの画素の画素値と入力画像Wの対応する画素の画素値との差分に基づく所定の値だけ、位相画像Qの画素値を変更する処理(以下、繰り返し処理と称する)を、収束したと判定されるまで繰り返し実行し、収束したと判定したときの4個の位相画像Qを、出力処理部33に出力する。
出力処理部33は、繰り返し処理部32から供給される4個の位相画像Qの全ての画素値に対して、投影面13上の輝度値を示す画素値を本来の画素値に戻すために、γ-1をかけ(γをかけることの逆補正にあたる)、例えば入力処理部31で比をとるのに用いた最大画素値をかけ、さらに、例えば0.0〜1.0でクリップする。そして、出力処理部33は、これらの処理の結果得られた4個の位相画像Qを、投影される最終的な4個の位相画像Qとして、分配部23に供給する。なお、これらの処理を出力処理と称する。
次に、繰り返し処理部32の構成例について説明する。繰り返し処理部32は、重畳画像生成部41、収束判定部42、及びフィードバック処理部43から構成されている。
重畳画像生成部41は、入力処理部31で生成された4個の初期位相画像Q、または、フィードバック処理部43により画素値が変更された4個の位相画像Q(すなわち、フィードバックされた結果が得られた4個の位相画像Q)について、4個の位相画像Qが投影面13に投影された場合に生成される重畳画像Tの画素値を算出し、画像メモリ34に供給して、確保された記憶領域に記憶させる。
収束判定部42は、重畳画像生成部41で算出された重畳画像Tの画素値と入力画像Wの画素値とを比較し、その比較結果に基づいて収束したかを判定する。この例では、それぞれ対応する重畳画像Tの画素と入力画像Wの画素の画素値の差分の絶対和が所定の閾値より小さいかが判定される。
フィードバック処理部43は、収束判定部42により収束していないと判定された場合、重畳画像Tの画素の画素値とその画素と対応する入力画像Wの画素の画素値との差分に基づく所定の値だけ、位相画像Qの所定の画素の画素値を変更する。そして、フィードバック処理部43は、位相画像Qの変更された画素値を、画像メモリ34に供給し、確保された記憶領域に記憶させる。
次に、図9のフローチャートを参照して、第1の位相画像生成処理を実行する場合の画像処理部22の動作を説明する。
第1の位相画像生成処理は、入力部21から入力画像Wが供給されると開始される。
ステップS1において、画像処理部22の入力処理部31は、各画像(入力画像W、各位相画像Q、または重畳画像T)の処理対象とする色ごとの画像(プレーン)を示す変数ibandを0に初期化する。
入力画像W、4個の位相画像Q、及び重畳画像Tのそれぞれは、色(例えば、R(Red)、G(Green)、B(Blue))ごとの画像から構成され、変数iband=0は、R色の画像(R画像)を示し、変数iband=1は、G色の画像(G画像)を示し、変数iband=2は、B色の画像(B画像)を示す。すなわちこの例の場合、変数ibandの上限を示す値(閾値nband)は、2となる。
ステップS2において、入力処理部31は、入力画像W、4個の位相画像Q、及び重畳画像Tのそれぞれの記憶領域を、画像メモリ34に確保させる。
ステップS3において、入力処理部31は、入力部21から供給される入力画像Wを、画像メモリ34の確保された2次元配列(記憶領域)にコピーする。入力処理部31は、入力画像Wの各画素値と例えば使用可能な最大画素値との比をとること等により各画素値を例えば0.0〜1.0に収まるようにし、さらに投影面13上での輝度値を評価するために、全ての画素値に対してγをかける。
ステップS4において、入力処理部31は、入力画像Wから、4個の初期位相画像Qを求める。
例えば上述したように、入力画像Wの隣接する4個の画素の画素値を平均して4個の位相画像Qが生成される。
ステップS5において、繰り返し処理部32は、繰り返し処理の繰り返し回数をカウントする変数nを1にセットする。
ステップS6において、繰り返し処理部32の重畳画像生成部41は、入力処理部31で生成された4個の初期位相画像Qについて、4個の位相画像Qが投影面13に投影された場合に形成される重畳画像Tを生成し、画像メモリ34の確保された2次元配列(記憶領域)に記憶させる。
重畳画像Tの画素S(すなわち対応する領域R)は、位相画像Qの画素Pが重なり合って形成されるので、重畳画像Tの画素Sの画素値vSは、位相画像Qの画素Pの画素値vPにより決定される。
具体的には、上述したように、図6の例においては、例えば重畳画像Tの画素S6(すなわち対応する領域R6)は、位相画像Q1の画素Pm、位相画像Q2の画素Pl、位相画像Q3の画素Pg、及び位相画像Q4の画素Phが重なり合って形成されるので、画素S6の画素値vS6が、位相画像Q1の画素Pmの画素値vPm、位相画像Q2の画素Plの画素値vPl、位相画像Q3の画素Pgの画素値vPg、及び位相画像Q4の画素Phの画素値vPhが加算されて算出され、2次元配列(記憶領域)の重畳画像Tの画素S6に対応する位置に記憶される。
このようにして、重畳画像Tの各画素Sの画素値が算出されて、重畳画像Tが生成される。
ステップS7において、収束判定部42は、変数nが、繰り返し処理の繰り返し回数の所定の閾値であるmaxcountより大きいかを判定する。ステップS7において、変数nが閾値maxcount以下であると判定された場合、ステップS8において、収束判定部42は、それぞれ対応する重畳画像Tと入力画像Wの画素同士の差分絶対和を求めるための変数sumを0に初期化する。
ステップS9において、収束判定部42は、重畳画像生成部41で生成された重畳画像Tのうちまだ選択していない画素を選択し、その画素について重畳画像Tの画素Sの画素値と、画素Sに対応する入力画像Wの画素Iの画素値とを比較し、その差分dの絶対値を求め、変数sumに加える。
ステップS10において、収束判定部42は、重畳画像Tのうちまだ選択していない画素があるかを判定する。ステップS10において、重畳画像Tのうちまだ選択していない画素があると判定された場合、処理はステップS9に戻り、新たな重畳画像Tの画素を選択し、その画素の画素値と入力画像Wの画素Iの画素値との差分の絶対値を、変数sumに加算する。
ステップS10において、重畳画像Tのうちまだ選択していない画素がない、つまり、全ての画素が選択されたと判定された場合、ステップS11において、収束判定部42は、変数sum(全ての画素に対する重畳画像Tの画素値と入力画像Wの画素値の差分絶対和)が所定の閾値thより小さいかを判定する。ステップS11において、変数sumが所定の閾値th以上であると判定された場合、収束していないものとされ、処理は、ステップS12に進む。
ステップS12において、フィードバック処理部43は、重畳画像Tの画素の画素値とその画素に対応する入力画像Wの画素の画素値との差分に基づく所定の値を、位相画像Qの所定の画素の画素値に加えることによりその所定の画素にフィードバックするフィードバック処理を行う。
このフィードバック処理の詳細を、図10のフローチャートを参照して説明する。
ステップS21において、フィードバック処理部43は、重畳画像Tの全画素に対するフィードバック処理のループを開始する。
ステップS22において、フィードバック処理部43は、収束していないと判定された重畳画像Tの所定の画素の画素値とその所定の画素に対応する入力画像Wの画素の画素値との差分を算出する。なおこの差分は、図9のステップS9の処理で算出されているので、それを記憶しておき、この処理で、記憶されているその差分を利用することもできる。
ステップS23において、フィードバック処理部43は、ステップS22で算出した差分に基づく所定の値を、位相画像Qの所定の画素の画素値に加えることによりその所定の画素にフィードバックする。
図6の例では、重畳画像Tの画素S6の画素値vS6とその画素S6に対応する入力画像Wの画素I6の画素値vI6との差分d(=vS6−vI6)の1/4の値が、その重畳画像Tの画素S6(すなわち対応する領域R6)を形成している位相画像Qの4個の画素Pg、画素Ph、画素Pl、および画素Pmに加えられることにより、それらの画素Pg、画素Ph、画素Pl、および画素Pmにフィードバックされる。
ステップS24において、フィードバック処理部43は、重畳画像Tの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS21に戻す。反対に、重畳画像Tの全画素に対して上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を、図9のステップS13に進める。
ステップS13において、繰り返し処理部32は、変数nを1だけインクリメントする。
その後、処理はステップS6に進み、それ以降の同様の処理が行われる。すなわちステップS6において、フィードバック処理部43によりフィードバックされた結果得られた4個の位相画像について、4個の位相画像Qが投影面13に投影された場合に形成される重畳画像Tを生成し、画像メモリ34の2次元配列(記憶領域)に記憶させる。
そしてステップS7乃至ステップS11の処理が、ステップS7において、変数nが閾値maxcountより大きいと判定されるまで、またはステップS11で、変数sumが所定の閾値thより小さいと判定されるまで、繰り返し実行される。
ステップS7において、変数nが閾値maxcountより大きいと判定された場合、またはステップS11において、変数sumが所定の閾値thより小さいと判定された場合(すなわち、収束したとみなすことができる場合)、収束判定部42は、そのときの4個の位相画像Qを、出力処理部33に供給する。
ステップS14において、出力処理部33は、繰り返し処理部32から供給される4個の位相画像Qの出力処理を行う。
この出力処理の詳細を、図11のフローチャートを参照して説明する。
ステップS31において、出力処理部33は、全の位相画像Qに対する処理ループを開始する。
ステップS32において、出力処理部33は、所定の位相画像Qの全画素に対する処理ループを開始する。
ステップS33において、出力処理部33は、所定の位相画像Qの所定の画素に対して、γ-1をかけ、例えばステップS3で比をとるのに用いた最大画素値をかけ、さらに、各画素値を例えば0.0〜1.0でクリップして、これらの処理の結果得られる画素を、最終的な位相画像Qの画素とする。
ステップS34において、出力処理部33は、所定の位相画像Qの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS32に戻す。反対に、所定の位相画像Qの全画素に対する上述した処理が行われたと判定された場合、処理ループを抜けて処理をステップS35に進める。
ステップS35において、出力処理部33は、全位相画像Qに対する上述した処理が行われたか否かを判定し、まだ処理が行われていない位相画像Qが存在すると判定された場合、処理をステップS31に戻す。反対に、全位相画像Qに対する上述した処理が行われたと判定された場合、この出力処理の結果得られた3個の位相画像Qを、分配部23に出力し、処理ループを抜けて処理を、図9のステップS15に進める。
ステップS15において、入力処理部31は、変数ibandを1だけインクリメントし、さらに、インクリメント後の変数ibandが閾値nbandより小さいかを判定する。ステップS15において、インクリメント後の変数ibandが閾値nbandより小さいと判定された場合、処理は、ステップS2に進み、その変数ibandが示す色画像に対して、それ以降の処理が同様に行われる。
ステップS15において、インクリメント後の変数ibandが閾値nband以上であると判定された場合、全ての色ごとの画像について、最終的な4個の位相画像Qが分配部23に供給されたので、第1の位相画像生成処理は終了する。
図12及び13は、この第1の位相画像生成処理により生成された位相画像の投影の試行例を示している。
この試行では、画像処理装置11において、上述した第1の位相画像生成処理により、図12に示すような、位相画像Q1乃至Q4が生成され、投影装置12A乃至12Dにより、位相画像Q1乃至Q4が、それらがそれぞれ縦横方向に位相画像Qの半画素分ずれて重なり合うように投影され、その結果図13に示すような、入力画像Wとの差異が少ない高画質の投影像Z'が投影面13に映し出された。
以上のように、画像投影システム1では、生成された4個の位相画像Qが投影面13に投影された場合に形成される重畳画像Tの各画素に対して、重畳画像の画素の画素値とその画素に対応する入力画像Wの画素の画素値の差分が減少するように生成された4個の位相画像Qの画素の画素値を変更して、最終的に投影される位相画像Qを生成するようにしたので、図13の試行例のような、入力画像との差異が少ない高画質の投影像が投影面に映し出されるようにすることができる。
図14は、画像処理装置11の他の構成例を示している。この画像処理装置11には、図5の画像処理装置11のフィードバック処理部43に代えて、フィードバック処理部51が設けられている。他の部分は、図5における部分と同じ符号を付しており、その説明を適宜省略する。
フィードバック処理部51は、収束判定部42により収束していないと判定された場合、重畳画像Tの全画素に対して、重畳画像Tの画素の画素値とその画素に対応する入力画像Wの画素の画素値との差分に基づく所定の値を、位相画像Qの所定の画素に加えることによりその位相画像Qの画素にフィードバックする(すなわち位相画像Qの画素値をその値分変更する)。そして、フィードバック処理部51は、フィードバックされた位相画像Qの画素の画素値がその位相画像Qに対応する投影装置12の投影できる範囲から外れている場合は、その画素の画素値の不足分または超過分に応じた所定の値を、その画素の近傍画素に加えるとともに、その画素の画素値を所定の値にするフィードバック処理を行う。
図15のフローチャートを参照して、フィードバック処理部51によるフィードバック処理について説明する。なお、この処理は、この場合の画像処理装置11による位相画像生成処理(以下、第2の位相画像生成処理と称する)における図9のステップS12のフィードバック処理に対応する。第2の位相画像生成処理における他の処理は、図9のフローチャートにおいて対応する処理と同様の処理が行われるので、その説明は省略する。
ステップS51において、フィードバック処理部51は、図9のステップS11の処理で収束していないと判定された重畳画像Tの全画素に対するフィードバック処理のループを開始する。
ステップS52において、フィードバック処理部51は、収束していないと判定された重畳画像Tの所定の画素の画素値とその所定の画素に対応する入力画像Wの画素の画素値との差分を算出する。なおこの差分は、ステップS9に相当する処理で算出されているので、それを記憶しておき、この処理で、記憶されているその差分を利用することもできる。
ステップS53において、フィードバック処理部51は、ステップS52で算出した差分に基づく所定の値を、図10のステップS23における場合と同様にして、位相画像Qの所定の画素の画素値に加えることによりその所定の画素にフィードバックする。
ステップS54において、フィードバック処理部51は、フィードバックされた位相画像Qの全画素に対する振り分け処理ループを開始する。
ステップS55において、フィードバック処理部51は、フィードバックされた位相画像Qの所定の画素値が投影できる輝度の範囲(例えば、0.0〜1.0)から外れているかを判定する。ステップS55において、その位相画像Qの所定の画素の画素値が投影できる範囲から外れていると判定された場合、ステップS56において、フィードバック処理部51は、位相画像Qのその画素の近傍画素に、その画素の画素値の不足分(または超過分)に応じた所定の値を加えるとともに、その画素の画素値を所定の値(例えば、0.0(使用可能な最小画素値))とする。
図6の例では、例えば重畳画像Tの画素S6(すなわち対応する領域R6)の画素値と入力画像Wの画素I6の画素値との差分に基づいてフィードバックされた位相画像Qの画素Pのうちの例えば位相画像Q3の画素Pgの画素値vPgが−0.4の場合、この画素値vPgが投影でき範囲0.0〜1.0から外れているので、その画素Pgの近傍画素としての、その画素Pgと重なる画素Pa、画素Pb、画素Pc、画素Pf、画素Ph、画素Pk、画像Pl、画素Pmのそれぞれに、画素Pgの画素値の不足分−0.4に応じた例えば−0.05(=−0.4/8)が加えられるとともに、その画素Pgの画素値が0.0とされる。
ステップS55において、フィードバックされた位相画像Qの所定の画素の画素値が投影できる範囲から外れていないと判定された場合、ステップS56はスキップされる。
ステップS57において、フィードバック処理部51は、フィードバックされた位相画像Qの全画素に対して、振り分け処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS54に戻す。反対に、フィードバックされた位相画像Qの全画素に対して、振り分け処理が行われたと判定された場合、振り分け処理ループを抜けて処理をステップS58に進める。
ステップS58において、フィードバック処理部51は、フィードバックされた位相画像Qの全画素に対するクリッピング処理のループを開始する。
ステップS59において、フィードバック処理部51は、フィードバックされた位相画像Qの所定の画素の画素値を投影できる範囲にクリッピングする。
図6の例では、重畳画像Tの画素S6に対応する領域R6で重なり合う位相画像Qの例えば画素Pg、画素Ph、画素Pl、画素Plのそれぞれの画素値が投影できる範囲0.0乃至1.0にクリッピングされる。
ステップS60において、フィードバック処理部51は、フィードバックされた位相画像Qの全画素に対して、クリッピング処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS58に戻す。反対に、振り分け処理が行われた位相画像Qの全画素に対して、クリッピング処理が行われたと判定された場合、クリッピング処理のループを抜けて処理をステップS61に進める。
次に、ステップS61において、フィードバック処理部51は、重畳画像Tの全画素に対して上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS51に戻す。反対に、重畳画像Tの全画素に対して上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を終了させる。
このように、位相画像Qの画素値が投影できる範囲に収まるような拘束条件を追加することで、「各プロジェクタが投影できる画素値の範囲」という非線形な条件下で、投影した結果が最適になる位相画像を求めることができる。
なお、振り分け処理は省略してもよいが、この処理を追加することで収束性が向上する。
また、クリッピング処理を行っても、重畳画像Tの処理される画素の順番次第では必ずしもフィードバック処理後の位相画像Qの画素値が範囲0.0〜1.0に収まっているとは限らない。
図16及び17は、この第2の位相画像生成処理により生成された位相画像の投影の試行例である。
この試行では、画像処理装置11において、上述した第2の位相画像生成処理により、図16に示すような、位相画像Q1乃至Q4が生成され、投影装置12A乃至12Dにより、位相画像Q1乃至Q4が、それらがそれぞれ縦横方向に位相画像Qの半画素分ずれて重なり合うように投影され、図17の試行例のような、入力画像Wとの差異が少ない高画質の投影像Z'が投影面13に映し出された。
第2の位相画像生成処理の場合と第1の位相画像生成処理の場合について、本来投影したい画像である入力画像Wと最終的に出力される4個の位相画像Qに対する重畳画像Tとの差異の少なさを示すSNR(signal to noise ratio)を求めると、図18に示すように、フィードバック処理の繰り返し回数(n)に関わらず、第2の位相画像生成処理の場合の方がSNRが高くなった。このように、位相画像Qの画素値を投影できる範囲に収めるようにする拘束条件を設ける第2の位相画像生成処理を行うことにより、本来投影したい画像である入力画像Wと最終的に出力される位相画像Qに対する重畳画像Tとの差異を少なくすることができ、その結果、入力画像Wとの差異がより少ない高画質な出力を提供することが可能になる。
図19は、画像処理装置11の他の構成例を示している。この画像処理装置11には、図14の画像処理装置11のフィードバック処理部51及び出力処理部33に代えて、フィードバック処理部71及び出力処理部81が設けられ、他の部分は、図5における部分と同じ符号を付しており、その説明を適宜省略する。
例えば投影装置12毎のばらつきや仕様等により、対応する各位相画像Qの投影できる画素値の範囲(例えば、輝度の範囲)が位相画像Q毎に異なる場合がある。
例えば、位相画像Q1の画素値の投影できる範囲が0.0〜1.0と、位相画像Q2の画素値の投影できる範囲が0.0〜0.25(=1/4)と、位相画像Q3の画素値の投影できる範囲を0.0〜0.5(=1/2)と、位相画像Q4の画素値の投影できる範囲が0.0〜0.125(=1/8)と、それぞれ異なる場合がある。
そこでフィードバック処理部71は、図14のフィードバック処理部51と同様に、収束判定部42により収束していないと判定された場合、重畳画像Tの全画素に対して、重畳画像Tの画素の画素値と入力画像Wの対応する画素の画素値との差分に基づく所定の値を、位相画像Qの所定の画素に加えることによりその位相画像Qの画素にフィードバックする(すなわち位相画像Qの画素値をその値分変更する)。そして、フィードバック処理部71は、フィードバックされた位相画像Qの画素の画素値が位相画像Q毎の投影できる範囲から外れている場合は、その画素の画素値の不足分または超過分に応じた所定の値を、その画素の近傍画素に加えるとともに、その画素の画素値を所定の値にするフィードバック処理を行う。
なお図14のフィードバック処理部51では、位相画像Qの投影できる範囲は一律に同じであるとし、その範囲から外れているか否かが判定された。
出力処理部81は、繰り返し処理部32から供給される4個の位相画像Qの全ての画素値に対して、位相画像Q毎の投影できる画素値の範囲の条件を逆補正するためのゲインをかけ、γ-1をかけ、例えば入力処理部31で比をとるのに用いた最大画素値をかけ、さらに、例えば0.0〜1.0でクリップする。そして、出力処理部81は、これらの処理の結果得られた4個の位相画像Qを、最終的な4個の位相画像Qとして、分配部23に供給する。
図20のフローチャートを参照して、フィードバック処理部71によるフィードバック処理を、そして図21のフローチャートを参照して出力制御部81による出力処理を説明するが、これらの処理は、この場合の画像処理装置11による位相画像生成処理(以下、第3の位相画像生成処理と称する)における図9のステップS12のフィードバック処理とステップS14の出力処理に対応する。第3の位相画像生成処理における他の処理は、図9のフローチャートにおいて対応する処理と同様の処理が行われるので、その説明は省略する。
初めに、フィードバック処理について説明する。
ステップS71乃至S74、ステップS76乃至S78、並びにステップS80及びS81においては、図15のステップS51乃至S54、ステップS56乃至58、並びにステップS60及びS61における場合と同様の処理が行われるので、その説明は省略する。
ステップS75において、フィードバック処理部71は、フィードバックされた位相画像Qの所定の画素値が位相画像Q毎の投影できる範囲(例えば、位相画像Q1の投影できる範囲は0.0〜1.0、位相画像Q2の投影できる範囲は0.0〜0.25(=1/4)、位相画像Q3の投影できる範囲は0.0〜0.5(=1/2)、位相画像Q4の投影できる範囲は0.0〜0.125(=1/8))から外れているかを判定する。ステップS75において、その位相画像Qの所定の画素の画素値が位相画像Q毎の投影できる範囲から外れていると判定された場合、ステップS76において、フィードバック処理部71は、位相画像Qのその画素の近傍画素に、その画素の画素値の不足分(超過分)に応じた所定の値を加えるとともに、その画素の画素値を所定の値(例えば、0.0(使用可能な最小画素値))とする。
図6の例においては、重畳画像Tの画素S6(すなわち対応する領域R6)の画素値と入力画像Wの画素I6の画素値との差分に基づいてフィードバックされた位相画像Qの画素Pのうちの例えば位相画像Q3の画素Pgの画素値vPgが−0.4の場合、この画素値vPgが位相画像Q3の投影できる範囲0.0〜0.5から外れているので、その画素Pgの近傍画素としての、その画素Pgと重なる画素Pa、画素Pb、画素Pc、画素Pf、画素Ph、画素Pk、画像Pl、画素Pmのそれぞれに、画素Pgの画素値の不足分−0.4に応じた例えば−0.05(=−0.4/8)が加えられるとともに、その画素Pgの画素値が0.0とされる。
ステップS75において、フィードバックされた位相画像Qの所定の画素の画素値が位相画像Q毎の投影できる範囲から外れていないと判定された場合、ステップS76はスキップされる。
ステップS77において、フィードバック処理部71は、フィードバックされた位相画像Qの全画素に対して、振り分け処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS74に戻す。反対に、フィードバックされた位相画像Qの全画素に対して、振り分け処理が行われたと判定された場合、振り分け処理ループを抜けて処理をステップS78に進める。
ステップS78において、フィードバック処理部71は、振り分け処理が行われた全画素に対するクリッピング処理のループを開始する。
ステップS79において、フィードバック処理部71は、振り分け処理が行われた位相画像Qの所定の画素の画素値を投影できる範囲にクリッピングする。
図6の例では、重畳画像Tの画素S6に対応する領域R6で重なり合う位相画像Qの例えば画素Pg、画素Ph、画素Pl、画素Plのそれぞれの画素値が位相画像Q毎の投影できる範囲0.0〜0.5、0.0〜0.125、0.0〜0.25、0.0〜1.0にクリッピングされる。
ステップS79において、フィードバック処理部71は、振り分け処理が行われた位相画像Qの全画素に対して、クリッピング処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS78に戻す。反対に、振り分け処理が行われた位相画像Qの全画素に対して、クリッピング処理が行われたと判定された場合、クリッピング処理のループを抜けて処理をステップS80に進める。
次に、ステップS80において、フィードバック処理部71は、重畳画像Tの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS71に戻す。反対に、振り分け処理が行われた位相画像Qの全画素に対する上述した処理が行われたと判定された場合、フィードバック処理のループを抜けて処理を終了させる。
次に、図21のフローチャートを参照して、出力処理部81による出力処理を説明する。
ステップS91及びS92、並びにステップS94乃至S96においては、図11のステップS31及びS32、並びにステップS33乃至S35における場合と同様の処理が行われるので、その説明は省略する。
ステップS93において、出力処理部81は、繰り返し処理部32から供給される、図22に示すような、4個の位相画像Qの各画素値に対して、位相画像Q毎の投影できる画素値の範囲の条件を逆補正するためのゲインをかける。
すなわち、例えば、位相画像Q1乃至Q4のそれぞれの投影できる画素値の範囲が、例えば、0.0〜1.0、0.0〜0.25(=1/4)、0.0〜0.5(=1/2)、0.0〜0.125(=1/8)とされている場合、位相画像Q2乃至Q4のそれぞれの投影できる画素値の範囲に応じたゲイン、例えば4(1/4の逆数)、2(1/2の逆数)、8(1/8の逆数)がかけられる(なお、この場合は位相画像Q1の投影できる画素値の範囲が基準となっている(この位相画像Q1の投影できる最大画素値は1.0)ので、ゲインはかけない)。
ステップS94において、出力処理部81は、所定の位相画像Qの所定の画素に対して、γ-1をかけ、例えば入力処理部31で比をとるのに用いた最大画素値をかけ、さらに、各画素値を例えば0.0〜1.0でクリップして、これらの処理の結果得られる4個の位相画像Qを、最終的な4個の位相画像Qとして、分配部23に供給(出力)する。
ステップS95において、出力処理部81は、所定の位相画像Qの全画素に対する上述した処理が行われたか否かを判定し、まだ処理が行われていない画素が存在すると判定された場合、処理をステップS92に戻す。反対に、所定の位相画像Qの全画素に対する上述した処理が行われたと判定された場合、処理ループを抜けて処理をステップS96に進める。
ステップS96において、出力処理部81は、全位相画像Qに対する上述した処理が行われたか否かを判定し、まだ処理が行われていない位相画像Qが存在すると判定された場合、処理をステップS91に戻す。反対に、全位相画像Qに対する上述した処理が行われたと判定された場合、処理ループを抜けて出力処理を終了させる。
なお、画像投影システム1に対しては、4個の投影装置12のそれぞれの最大光量が、当初に定められた各位相画像Q毎の使用可能な最大画素値に対応するものになるように各投影装置12のランプ出力等の調整を行う。
このようにすることで、同じ階調の投影装置を複数台使う場合、これらの投影装置が同じ明るさ(同じ最大画素値)の場合には台数倍の階調表現力を持つところが、これらの投影装置が異なる明るさの場合にはそれ以上の階調を表現することができる。
例えば、簡便のために、同じ4階調の投影装置#1と投影装置#2を用いることとすると、これらの投影装置が同じ明るさの場合には、投影装置#1と投影装置#2による重畳投影を行うときの投影装置#1と投影装置#2は、図23左に示すように、4階調の台数倍(2倍)の8階調の階調表現力を持つが、例えば投影装置#2の明るさが投影装置#1の半分の明るさである場合には、投影装置#1と投影装置#2による重畳投影を行うときの投影装置#1と投影装置#2は、図23右に示すように、12階調相当の階調表現力を持ち、台数倍以上の階調を表現できることになる。
このようにして、重畳投影を行うことで、空間解像度と階調表現力の両方を同時に向上することが可能になる。
図19の例では、輝度の範囲が投影装置12毎に異なる場合を例として説明したが、投影できる色成分に投影装置毎に偏りがある場合もある。そこでここでは対応する位相画像Qの色ごとの画像の画素値の範囲が異なる場合の例について説明する。
この例では、異なる色再現性(色成分の偏り)を持つ2種類以上の投影装置が用いられている。例えば、図24に示すように、位相画像Q1及びQ3を投影する投影装置12A及び12Cは、赤色の色再現性に優れ、位相画像Q2及びQ4を投影する投影装置12B及び12Dは、緑色の色再現性に優れている。そこで、例えば、画素値の範囲(拘束条件)として、図25に示すように、位相画像Q1及びQ3のR画像には0.0〜1.0を、G画像には0.0〜0.8を、B画像には0.0〜1.0を、それぞれ用い、位相画像Q2及び位相画像Q4のR画像には0.0〜0.8を、G画像には0.0〜1.0を、B画像には0.0〜1.0を、それぞれ設定し、その後の具体的な処理は、図19のフィードバック処理部71によるフィードバック処理と全く同じである。
このようにして、異なる特性(例えば、色再現性)を持つ複数台の投影装置による重畳投影によって、それらの特性を相補的に生かす(例えば、色再現性を広げる)と同時に、空間解像度を向上することが可能になる。
以上において図3に示した画像投影システム1では、複数の投影装置12を用いて、複数の位相画像Qを、同時に、投影面13に映し出されるように投影するようにしたが、視覚の時間積分効果を利用して、1台の投影装置12が、複数の位相画像Qを、その効果が得られる時間間隔で順に投影するようにしても、複数の投影装置12を用いた場合と同様の効果を得ることができる。
図26は、1台の投影装置を利用する場合の画像投影システム100の構成例を示している。
すなわち図3の4個の投影装置12に代えて、1個の投影装置101が設けられている。
画像処理装置11には、投影装置101が投影する投影画像の2倍の解像度を有する入力画像Wが入力される。
画像処理装置11は、図3における場合と同様に、例えば4個の位相画像を生成し、投影装置101に供給する。
投影装置101は、画像処理装置11から供給された4個の位相画像を、図4に示したように、4個の位相画像Qがそれぞれ縦横方向に位相画像の半画素分互いにずれて(すなわち、画素ピッチをdとした場合の画素の縦横の大きさの半分のずらし量d/2だけずれて)重なり合うとともに、4個の位相画像Qが視覚の時間積分効果が得られる時間間隔で投影されるように、投影面13に順次投影する。
すなわち、投影装置101は、入力画像Wから生成された4個の位相画像Qについて、位相画像Q1を投影し、その後、位相画像Q2を、位相画像Q1に対して右方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Q3を、位相画像Q2に対して上方向にずらし量d/2だけずれて映し出されるように投影し、その後、位相画像Q4を、位相画像Q3に対して左方向にずらし量d/2だけずれて映し出されるように投影する処理を、視覚の時間積分効果が得られる時間間隔で行う。
このように画像処理装置11から供給された4個の位相画像Qを、視覚の時間積分効果が得られる時間間隔で投影することにより、図3に示した4個の投影装置12を利用した場合と同様に、入力画像Wとの差異が少ない高画質の投影像Z'が投影面13に映し出されるようにすることができる。
図27は、投影装置101の構成例を示すブロック図である。
図27において、投影装置101は、同期制御部111、光路駆動部112、及び投影部113から構成される。
同期制御部111は、同期用のクロック信号を生成し、光路駆動部112及び投影部113に供給する。
光路駆動部112は、同期制御部111から供給されるクロック信号に同期して、投影部113の投影光の光路を、位相画像がそれぞれ縦横方向に位相画像の半画素分ずれて映し出されるように駆動する。
光路駆動部112は、例えば、投影部113の投影素子自体を駆動するもので構成されるが、その他、投影部113の投影光の光路上に設けた2軸のガルバノミラーを駆動するもので構成されるようにしてもよい。
投影部113には、画像処理装置11から供給される位相画像Qが供給される。
投影部113は、例えば、入力画像Wのフレームレートに位相画像Qの枚数を乗じたフレームレートで位相画像Qを投影する投影素子、例えば、応答周波数が200Hz程度と比較的高速なLCOS(Liquid crystal on silicon)を採用した反射型液晶プロジェクタ等で構成され、同期制御部111から供給されるクロック信号に同期して、画像処理部22から供給される位相画像Qを、位相画像Qが互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、順次投影する。
以上のように、画像投影システム100は、入力画像から、入力画像より低解像度の複数の位相画像を生成し、視覚の時間積分効果により、複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように認識される時間間隔で、複数の位相画像を順次投影面に投影する。そして、複数の位相画像の生成において、画像投影システム1と同様に、生成された4個の位相画像Qが投影面13に投影された場合に形成される重畳画像Tの各画素に対して、重畳画像の画素の画素値とその画素に対応する入力画像Wの画素の画素値の差分が減少するように生成された4個の位相画像Qの画素の画素値を変更して、最終的に投影される位相画像Qを生成するようにしたので、入力画像との差異が少ない高画質の投影像が投影面に映し出されるようにすることができる。
上述した画像処理部22は、重畳画像Tの画素Sの画素値と入力画像Wの対応する画素Iの画素値との差分に基づく所定の値を、位相画像Qの所定の画素Pの画素値に加えることによりその所定の画素Pにフィードバックするようにしたが、その他、これらの所定の画素Pに加えられる所定の値に例えば1.0より小さい(大きい)ゲインをかけるようにしてもよい。一般的には、このゲインを1.0よりやや小さい程度とすることで、収束性が良好となる。
本実施の形態では、位相画像は、入力画像の1/2の解像度としたが、その他、1/2以外の1/n(nは整数)の解像度であってもよい。その場合、投影像を、実効的にn倍の解像度にすることが可能となる。
また、画像投影システム1または画像投影システム100では、入力画像の解像度よりも低解像度の投影画像(位相画像)を投影する投影装置を用いるので、システムの低コスト化が可能となる。
画像処理装置11により生成された位相画像Qは、記録媒体に記録して投影装置12等の投影装置に提供されるようにしてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)201,ROM(Read Only Memory)202,RAM(Random Access Memory)203は、バス204により相互に接続されている。
バス204には、さらに、入出力インタフェース205が接続されている。入出力インタフェース205には、キーボード、マウス、マイクロホンなどよりなる入力部206、ディスプレイ、スピーカなどよりなる出力部207、ハードディスクや不揮発性のメモリなどよりなる記憶部208、ネットワークインタフェースなどよりなる通信部209、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア211を駆動するドライブ210が接続されている。
以上のように構成されるコンピュータでは、CPU201が、例えば、記憶部208に記憶されているプログラムを、入出力インタフェース205及びバス204を介して、RAM203にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU201)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD−ROM(Compact Disc−Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア211に記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア211をドライブ210に装着することにより、入出力インタフェース205を介して、記憶部208にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部209で受信し、記憶部208にインストールすることができる。その他、プログラムは、ROM202や記憶部208に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
ウォビュレーションを説明する図である。 ディスプレイシステムによる表示例を示す図である。 画像投影システムの構成例を示す図である。 4個の位相画像を模式的に表す図である。 画像処理装置11の構成例を示す図である。 第1の位相画像生成処理の概略を説明する図である。 第1の位相画像生成処理の具体例を説明する図である。 画素値と輝度値の関係を示す図である。 第1の位相画像生成処理を実行する場合の画像処理部22の動作を説明するフローチャートである。 フィードバック処理部43によるフィードバック処理を説明するフローチャートである。 出力処理部33による出力処理を説明するフローチャートである。 生成された位相画像Q1乃至Q4を示す図である。 投影像Zを示す図である。 画像処理装置11の他の構成例を示す図である。 フィードバック処理部51によるフィードバック処理を説明するフローチャートである。 生成された位相画像Q1乃至Q4を示す図である。 投影像Zを示す図である。 SNRと繰り返し回数の関係を示す図である。 画像処理装置11の他の構成例を示す図である。 フィードバック処理部71によるフィードバック処理を説明するフローチャートである。 出力処理部81による出力処理を説明するフローチャートである。 ゲインをかける前の位相画像Q1乃至Q4を示す図である。 2つの投影装置による重畳投影の階調表現力を説明する図である。 投影装置Q1乃至Q4の色再現性を示す図である。 各位相画像Qの色ごとの画像に対する画素値の範囲を示す図である。 画像投影システム100の構成例を示すブロック図である。 投影装置101の構成例を示すブロック図である。 本発明を適用したコンピュータのハードウェアの構成例を示すブロック図である。
符号の説明
1 画像投影システム, 11 画像処理装置, 12,12A乃至12D 投影装置, 13 投影面, 21 入力部, 22 画像処理部, 23 分配部, 31 入力処理部, 32 繰り返し処理部, 33 出力処理部, 34 画像メモリ, 41 重畳画像生成部, 42 収束判定部, 43 フィードバック処理部, 51 フィードバック処理部, 71 フィードバック処理部, 81 出力処理部, 100 画像投影システム, 101 投影装置, 111 同期制御部, 112 光路駆動部, 113 投影部, 201 CPU, 202 ROM, 203 RAM, 204 バス, 205 入出力インタフェース, 206 入力部, 207 出力部, 208 記憶部, 209 通信部, 210 ドライブ, 211 リムーバブルメディア

Claims (12)

  1. 入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置において、
    前記入力画像から複数の位相画像を生成する入力処理手段と、
    前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理手段と
    を備える画像生成装置。
  2. 前記画像処理手段は、前記重畳画像の各画素に対して、前記重畳画像の画素の画素値とその画素に対応する前記入力画像の画素の画素値との差分に応じた所定の値だけ、前記入力画像から生成された複数の位相画像の画素の画素値を変更する処理を、前記重畳画像の画素の画素値とその画素に対応する前記入力画像の画素の画素値との比較結果に応じて繰り返して実行する
    請求項1に記載の画像生成装置。
  3. 前記画像処理手段は、変更された前記位相画像の画素の画素値が所定の範囲から外れている場合は、前記位相画像の画素の画素値のその不足分または超過分に応じた所定の値を、その前記位相画像の画素の近傍画素に加えるとともに、その前記位相画像の画素の画素値を所定の値にする
    請求項2に記載の画像生成装置。
  4. 前記所定の範囲は、前記投影手段の投影できる輝度の範囲または色の範囲である
    請求項3に記載の画像生成装置。
  5. 前記投影手段は、前記位相画像の数分だけ設けられ、
    前記画像処理手段は、生成した位相画像を、対応する所定の前記投影手段に供給し、
    各前記投影手段は、供給された前記位相画像を、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合うように、前記投影面に投影する
    請求項3に記載の画像生成装置。
  6. 前記所定の範囲は、前記複数の位相画像に関わらず同じであるまたは前記複数の位相画像毎に異なる
    請求項5に記載の画像生成装置。
  7. 前記投影手段が1個設けられ、
    前記画像処理手段は、生成した前記複数の位相画像を、前記投影手段に供給し、
    前記投影手段は、視覚の時間積分効果により、前記複数の位相画像が互いに所定のずらし量だけずれて重なり合っているように視覚される時間間隔で、前記複数の位相画像を順に前記投影面に投影する
    請求項2に記載の画像生成装置。
  8. 前記投影手段は、透過型液晶プロジェクタ、反射型液晶プロジェクタ、またはDLP(Digital Light Processing)プロジェクタである
    請求項2に記載の画像生成装置。
  9. 前記投影面をさらに有する
    請求項1に記載の画像生成装置。
  10. 入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成装置の画像処理方法において、
    前記入力画像から複数の位相画像を生成する入力処理ステップと、
    前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップと
    を含む画像生成方法。
  11. 入力画像より低解像度で、投影手段により投影面に投影される場合に互いに所定のずらし量だけずれて重なり合う複数の位相画像を生成する画像生成処理をコンピュータに実行させるプログラムにおいて、
    前記入力画像から複数の位相画像を生成する入力処理ステップと、
    前記入力画像から生成された複数の位相画像が前記投影面に投影された場合にその複数の位相画像の画素が重なり合って形成される領域を画素とする重畳画像の各画素に対して、前記重畳画像の画素の画素値と、その画素に対応する前記入力画像の画素の画素値の差分が減少するように前記入力画像から生成された複数の位相画像の画素の画素値を変更して、投影面に投影される前記複数の位相画像を生成する画像処理ステップと
    を含む画像生成処理をコンピュータに実行させるプログラム。
  12. 請求項1の画像生成装置により生成された前記位相画像を記録した記録媒体。
JP2007171669A 2007-06-29 2007-06-29 画像生成装置及び方法、プログラム、並びに記録媒体 Withdrawn JP2009008974A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007171669A JP2009008974A (ja) 2007-06-29 2007-06-29 画像生成装置及び方法、プログラム、並びに記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007171669A JP2009008974A (ja) 2007-06-29 2007-06-29 画像生成装置及び方法、プログラム、並びに記録媒体

Publications (1)

Publication Number Publication Date
JP2009008974A true JP2009008974A (ja) 2009-01-15

Family

ID=40324090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007171669A Withdrawn JP2009008974A (ja) 2007-06-29 2007-06-29 画像生成装置及び方法、プログラム、並びに記録媒体

Country Status (1)

Country Link
JP (1) JP2009008974A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012517621A (ja) * 2009-02-11 2012-08-02 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. マルチプロジェクタシステム及び方法
JP2016086197A (ja) * 2014-10-22 2016-05-19 スタンレー電気株式会社 映像投射システム
JP2018137789A (ja) * 2011-08-16 2018-08-30 アイマックス シアターズ インターナショナル リミテッド ハイブリッド画像の分解および投影
WO2019230109A1 (ja) 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
WO2020203237A1 (ja) 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US11151698B2 (en) 2017-03-28 2021-10-19 Sony Corporation Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter
US11575862B2 (en) 2018-05-28 2023-02-07 Sony Corporation Image processing device and image processing method

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012517621A (ja) * 2009-02-11 2012-08-02 ヒューレット−パッカード デベロップメント カンパニー エル.ピー. マルチプロジェクタシステム及び方法
US8944612B2 (en) 2009-02-11 2015-02-03 Hewlett-Packard Development Company, L.P. Multi-projector system and method
JP2018137789A (ja) * 2011-08-16 2018-08-30 アイマックス シアターズ インターナショナル リミテッド ハイブリッド画像の分解および投影
EP3675481A1 (en) * 2011-08-16 2020-07-01 Imax Theatres International Limited Hybrid image decomposition and projection
JP2016086197A (ja) * 2014-10-22 2016-05-19 スタンレー電気株式会社 映像投射システム
US11151698B2 (en) 2017-03-28 2021-10-19 Sony Corporation Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter
WO2019230109A1 (ja) 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
US11394941B2 (en) 2018-05-28 2022-07-19 Sony Corporation Image processing device and image processing method
US11575862B2 (en) 2018-05-28 2023-02-07 Sony Corporation Image processing device and image processing method
WO2020203237A1 (ja) 2019-03-29 2020-10-08 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム

Similar Documents

Publication Publication Date Title
JP2009008974A (ja) 画像生成装置及び方法、プログラム、並びに記録媒体
JP2008268557A (ja) 画像生成装置及び方法、プログラム、並びに記録媒体
JP4400200B2 (ja) 画像表示方法、画像表示装置および画像表示プログラム
US11659146B2 (en) Temporal modeling of phase modulators in multi-modulation projection
JP5577023B2 (ja) 表示装置
JP7203758B2 (ja) 画像を形成するべく光を投影する画像投影システム及び画像投影方法
JP2009139968A (ja) スクローリングカラーおよびウォブルデバイスを備えた表示システム
JP2005208649A (ja) 複数の色の光の周期的な変化と複数のサブフレーム画像の投影との同期方法
US10089911B2 (en) Scanning display device
JP2006235158A (ja) プロジェクションシステム、プロジェクタ、プロジェクション方法、およびプロジェクションシステムに用いられるプログラム
WO2016157670A1 (ja) 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP6794983B2 (ja) 情報処理装置、情報処理方法、プログラム、及び画像表示装置
JP2014044383A (ja) 画像表示装置及び方法
JP2019134263A5 (ja)
JP2007081611A (ja) 表示画面補正パラメータ設定方法
JP2006030600A (ja) 多画面表示システム、多画面表示方法、輝度補正方法及びプログラム
JP6506580B2 (ja) 画像処理装置およびその方法、並びに、画像表示装置
JP2007129748A (ja) 画像表示制御方法、画像表示制御装置および画像表示制御プログラム
JP2019029885A (ja) 投影装置、制御装置及び投影システム
MXPA06010811A (es) Metodo y aparato para mejorar imagenes provistas por sistemas de presentacion modulada de luz espacial (slm).
JP2007133298A (ja) マルチ画面画像表示システム
JP4814506B2 (ja) 画像表示装置
JP2003255252A (ja) 光走査型画像表示装置及びスペックル除去方法
WO2019230438A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP5630851B2 (ja) プロジェクタおよび処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20100907