JP2021117348A - 立体・可変画像表示体、立体視・可変視用画像形成方法 - Google Patents

Abstract

【課題】可変視も立体視も実現することができる立体・可変画像表示体及び立体視・可変視用画像形成方法を提供する。【解決手段】複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと、前記凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有し、前記凸レンズの表面側から前記立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体において、前記複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、前記複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変表示する。【選択図】図１２

Description

本発明は、複数の凸レンズが配列されたマイクロレンズアレイシートと、凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有する立体・可変画像表示体、及び、立体視・可変視用画像の形成方法に関する。

複数の凸レンズが並列配置されたマイクロレンズアレイシートを用いて視認角度によって絵柄を切り替えて表示するチェンジングやムービングなどの可変画像を表示する技術がある。マイクロレンズアレイシートには、凸レンズのそれぞれに対応させたライン状の細分化画像を、マイクロレンズアレイシートの各凸レンズと反対側の面に配置させる。これにより、ユーザーが凸レンズを介して画像を視認すると、視認される画像が見る角度を変えることにより切り替わり動画のように観察することが可能になる。

このようなマイクロレンズアレイシートを用いた画像表示に関し、たとえば特許文献１には、レンチキュラーレンズに相当するマイクロレンズアレイシートと複数の画像を用いて合成されたサンプリング画像とからなる立体、アニメーション、或いはチェンジング画像表示方式において、画像配列に画像変化の無い部分を抽出した画像を組み込み配列したことで、観察時のクロストークを軽減し、鮮明なチェンジングを行う技術が開示されている。

例えば、移動している電車や車を連続撮影した画像を用いて、可変画像表示を楽しみたい場合がある。この場合、大きく分けて４つの方法がある。

第一の方法は、背景は単独（静止）画像を用いて固定し、当該固定された背景画像上で被写体像を動かす方法である。この場合、被写体像は単独画像を左右に動かしてもよいし、複数の画像を合成してもよい。しかし、この方法では、背景に変化がなく、合成画像であることがわかりやすく臨場感はない。被写体が移動するため、車輪の回転の様子や汽車の煙など被写体の細部の再現が困難だという問題がある。

第二の方法は、複数画像を用いて背景を合成して生成し、生成された合成背景画像を固定して、この上で被写体像を動かす方法である。具体的には、背景の移動が無いように位置を合わせて背景の合成画像を生成固定する。そしてこの上で被写体の画像を動かす。被写体像は固定画像（静止画合成）でも複数画像の合成でもよい。この方法では、被写体が左右に移動するため被写体が移動していることは表現できるが、やはり、被写体が移動するため、車輪の回転の様子や汽車の煙など被写体の細部の再現が困難だという問題がある。

第三の方法は、単独の被写体画像を固定し、背景のほうを動かす方法である。この方法によれば、被写体をシャープに再現できるが、車輪の回転の様子や汽車の煙など被写体の細部の変化がないため、面白みに欠ける。

第四の方法は、複数画像を用いて被写体像を固定して合成する。つまり、被写体像を固定し、背景と被写体共に複数画像を合成する方法である。この方法によれば、被写体をシャープにくっきりと見せながら、動きに伴う車輪の回転の様子や汽車の煙など被写体の細部を再現でき、臨場感を出す事ができるという利点がある。
しかし、第四の方法では、撮影時におけるカメラと被写体の距離の変化に伴って、被写体の大きさが撮影画像ごとに違って写る。そして、このような撮影画像を使用して、被写体の合成画像を生成し固定し、背景の合成画像だけが動くように画像を設計して可変表示用のレンチキュラー画像を作成すると被写体の大きさの変化が目立つ。例えば、可変画像表示において左から右へ動画のように移動する電車や車が、左から右へと移動する間に、電車や車の大きさが伸びたり縮んだり変化するように見えてしまい、違和感がある。これに対し、本願出願人による特許文献２には、可変画像を違和感なく表示できる可変画像表示体及びレンチキュラー画像形成方法が開示されている。

また、特定の器具例えばめがね等を使用しなくても、観察者の視差を利用することによって立体視画像を表示可能な表示体として、例えば、レンチキュラーレンズを用いた立体視表示体、マイクロアレイレンズを用いたイテグラルフォトグラフィ立体視表示体等がある。これらの立体視表示体は、通常、レンチキュラーレンズ又はマイクロアレイレンズと、立体視可能な画像により構成される。

特開２０００−９８９４８号公報 特許第６２６１０６３号公報

本発明の目的は、可変画像を表示するだけの表示体、立体画像を表示するだけの表示体ではなく、可変視も立体視も実現することができる立体・可変画像表示体及び立体視・可変視用画像形成方法を提供することにある。

本発明の立体・可変画像表示体は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと、前記凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有し、前記凸レンズの表面側から前記立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体において、前記複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、前記複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変表示することを特徴とする。

前記立体視・可変視用画像は、被写体を複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成してもよい。

前記ｎ組の撮影画像は、移動体を前記被写体として複数の視差画像の組を一組として連続して撮影した前記ｎ組の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動しており、前記立体視・可変視用画像は、前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮し、拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングし、トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成された前記ｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成してもよい。

本発明の立体視・可変視用画像形成方法は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと作用して立体視・可変画像を表示する立体視・可変視用画像を形成する立体視・可変視用画像形成方法において、被写体を複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像を作成する合成立体画像作成工程と、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列を形成する画像列形成工程と、を有することを特徴とする。

前記ｎ組の撮影画像は、移動体を前記被写体として複数の視差画像の組を一組として連続して撮影した前記ｎ組の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動しており、前記合成立体画像作成工程は、前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮する工程と、拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングする工程と、を有し、トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成された前記ｎ個の合成立体画像を作成してもよい。

本発明の立体視・可変視用画像表示体によれば、可変視も立体視も実現することができる立体・可変画像表示体を実現できる。
本発明の立体視・可変視用画像形成方法によれば、可変視も立体視も可能にする立体視・可変視用画像を実現できる。

本発明の立体・可変画像表示体の一例を示す概略図である。 本発明の立体・可変画像表示体の他の例を示す概略図である。 マイクロレンズアレイシートの平面図の一例である。 マイクロレンズアレイシートの平面図の他の例である。 撮影画像の説明図である。 基準被写体画像の一例を示す説明図である。 拡縮後の視差画像（右眼用撮影画像及び左眼用撮影画像）の一例を示す説明図である。 拡縮後の視差画像（右眼用撮影画像及び左眼用撮影画像）に対するトリミングの説明図である。 トリミング後の視差画像（右眼用撮影画像及び左眼用撮影画像）の説明図である。 合成立体画像を作成する過程を説明する説明図である。 合成立体画像を作成する過程を説明する説明図である。 合成立体画像による立体視の説明図である。 合成立体画像の一例を示す説明図である。 合成立体画像から作成された表示用画像列と立体視・可変視用画像の一例を示す説明図である。 表示用画像列に基づいて形成した立体視・可変視用画像の一例を示す拡大概略図である。 立体視・可変視用画像が配置された立体・可変画像表示体の一例を示す説明図である。 マイクロレンズアレイシートと立体視・可変視用画像の配置を模式的に示した図である。 ハニカム形状に配列されたマイクロレンズアレイシートを用いた場合の説明図である。

本発明の実施形態について、図面を参照して説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その効果を奏する限りにおいて種々変形(各実施例を組み合わせる等)して実施することができる。また、以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

図１Ａは、本発明の立体・可変画像表示体の一例を示す概略図、図１Ｂは、本発明の立体・可変画像表示体の他の例を示す概略図である。図１Ｃは、マイクロレンズアレイシートの平面図の一例、図１Ｄはマイクロレンズアレイシートの平面図の他の例である。

本実施形態による立体・可変画像表示体１００は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシート１０と、凸レンズの表面とは反対側の面に配置された立体視・可変視用画像２０を有し、凸レンズの表面側から立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体１００において、複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変表示することを特徴とする立体・可変画像表示体１００である。

本実施形態による立体・可変画像表示体１００は、図１Ａ、図１Ｂに示すように、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシート１０と、立体視・可変視用画像２０により構成される。立体視・可変視用画像２０は、凸レンズの表面とは反対側の面に配置されていればよい。マイクロレンズアレイシート１０は、複数の凸レンズが水平方向（図１Ｃ及び図１Ｄ中ｘ方向）及び垂直方向（図１Ｃ及び図１Ｄ中ｙ方向）に配列されて形成される。

なお、マイクロレンズアレイシート１０における凸レンズの配列は、図１Ｃに示すように縦横に配置された正四角形のレンズ形成区画１１のそれぞれに１個の凸レンズが形成されたスクエア形状の配列の他、図１Ｄに示すように正六角形のレンズ形成区画１１のそれぞれに１個の凸レンズが形成されたハニカム形状の配列でもよい。本実施形態では、図１Ｃに示すスクエア形状に凸レンズを配列したマイクロレンズアレイシート１０を例に説明する。

また、立体・可変画像表示体１００は、例えば、図１Ｂに示すような画像形成媒体３０に立体視・可変視用画像２０を形成し、これをマイクロレンズアレイシート１０と重ね合わせて構成してもよい。画像形成媒体３０は、例えば、紙、木板、フィルム、金属等である。

図２は、撮影画像の説明図である
本実施形態の立体視・可変視用画像２０は、被写体を複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各視差画像からそれぞれ（凸レンズ配列の）垂直方向に延びるライン状に抽出して凸レンズの水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ（凸レンズ配列の）水平方向に延びるライン状に抽出され、凸レンズの垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成される

本実施形態では、移動体を被写体として複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像であって、かつ、当該撮影画像に現れる移動体の像である被写体画像が移動しているｎ組の撮影画像を使用する場合を例に説明する。

例えば移動する汽車等を被写体とし、右眼用撮影画像と左眼用撮影画像の２視差の視差画像を一組として４組（ｎ＝４）の撮影画像を使用した場合を例に説明する。なお、右眼用撮影画像２０(i)Ｒ、２０(ii)Ｒ、２０(iii)Ｒ、２０(iv)Ｒを、「右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ」と言う場合がある。また、左眼用撮影画像２０(i)Ｌ、２０(ii)Ｌ、２０(iii)Ｌ、２０(iv)Ｌを、「左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌ」と言う場合がある。

図２の例では、左から右へと連続して撮影した４組の撮影画像には、移動体の像である被写体画像２１が現れており、当該被写体画像２１は移動している。右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒを見ると、被写体画像２１は図中右下方向に移動している。左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌも同様に、被写体画像２１は図中右下方向に移動している。

なお、図において実際の撮影画像（右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌ）には「被写体画像２１」のみならず背景も写っているが、図示を省略している。また、撮影画像に複数の移動する被写体が写っている場合、任意の被写体の画像を被写体画像２１とする。ここで、「被写体画像」とは、後述する拡縮処理において基準となる画像である。好ましくは、撮影画像中、動きを違和感なく鮮明に見せることを所望する被写体の画像を被写体画像２１とする。

図３は、基準被写体画像の一例を示す説明図である。図４は、拡縮後の視差画像である右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’の一例を示す説明図である。
ｎ組（ここではｎ＝４）の撮影画像に含まれる複数の視差画像のそれぞれについて、当該複数の視差画像に現れる被写体画像のサイズが同一となるよう拡大又は縮小（拡縮）する（図４）。

本実施形態では、複数の視差画像である右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌに現れる被写体画像２１のサイズが同一となるよう、右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌを拡大又は縮小（拡縮）する。図４に示すように、拡縮後の右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’中に現れる被写体画像２１のサイズは同一である。

右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌの拡縮方法は、被写体画像２１のサイズが同一となればどのような方法であってもよい。例えば、複数の視差画像のうち、任意の視差画像（本発明の一の視差画像の一例）に現れる被写体画像を基準被写体画像とし、任意の視差画像（一の視差画像）以外の他の視差画像（本発明の他の視差画像の一例）に現れる被写体画像が、上記基準被写体画像と同一サイズとなるよう、他の視差画像を拡縮するよう構成してもよい。

特に複数の視差画像のうち、被写体画像のサイズが最も大きく現れている視差画像を任意の視差画像（一の視差画像）とすることが好ましい。
本実施形態では、図２に示すように右眼用撮影画像２０(iv)Ｒに現れる被写体画像２１が最も大きなサイズで現れているため、右眼用撮影画像２０(iv)Ｒ中の被写体画像２１を基準被写体画像とし、これに基づいて他の右眼用撮影画像２０(i)Ｒ〜２０(iii)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌを拡大した（図４）。

具体的には、図３に示すように、右眼用撮影画像２０(iv)Ｒ中の被写体画像２１について、マイクロレンズアレイシート１０の凸レンズの水平方向の配列と同じ方向のサイズＸ、マイクロレンズアレイシート１０の凸レンズの垂直方向の配列と同じ方向のサイズＹを測定する。測定結果に基づいて、他の右眼用撮影画像２０(i)Ｒ〜２０(iii)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌ中に現れる被写体画像２１について、マイクロレンズアレイシート１０の凸レンズの水平方向の配列と同じ方向のサイズがＸ、凸レンズの垂直方向の配列と同じ方向のサイズがＹとなるよう、他の右眼用撮影画像２０(i)Ｒ〜２０(iii)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌを拡大する（図４）。

図５は、拡縮後の視差画像である右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’に対するトリミングの説明図である。図６は、トリミング後の視差画像である右眼用撮影画像２０(i)Ｒ''〜２０(iv)Ｒ''及び左眼用撮影画像２０(i)Ｌ''〜２０(iv)Ｌ''の一例を示す説明図である。

拡縮後の右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’について、被写体画像２１が重なるよう重ね合わせてトリミングする。
具体的には、被写体画像２１中に基準部位２１ａを定め当該基準部位２１ａが同位置となるよう位置調整して重ね合わせる。本実施形態では、図４及び図５に示すように、被写体画像である汽車の像のうち、汽車の煙突の先端を基準部位２１ａとして位置合わせを行った。

位置合わせの後、右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’のうち所定数が重なる領域で、かつ、被写体画像２１を含む領域でトリミングする。図５の例では、右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’の全てが重なる領域をトリミングした。トリミング後の右眼用撮影画像２０(i)Ｒ''〜２０(iv)Ｒ''及び左眼用撮影画像２０(i)Ｌ''〜２０(iv)Ｌ''を図６に示す。

なお、図５のように右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’の全てが重なる領域をトリミングしてもよく、或いは、完成される立体・可変画像表示に与える影響等を鑑みてトリミング領域を決定すればよい。即ち、全ての右眼用撮影画像２０(i)Ｒ’〜２０(iv)Ｒ’及び左眼用撮影画像２０(i)Ｌ’〜２０(iv)Ｌ’が重なっていなくても、完成される立体・可変画像表示に必須と考える所定数の合成立体画像が重なっていればよい。

続いて、トリミングされた右眼用撮影画像２０(i)Ｒ''〜２０(iv)Ｒ''及び左眼用撮影画像２０(i)Ｌ''〜２０(iv)Ｌ''（図６）に基づいて合成立体画像を作成する。
なお、複数の視差画像に基づいて合成立体画像を作成する工程は、従来公知の立体画像を観察するための画像の形成方法と同様であるためここでは簡単な説明に留める。

図７Ａ、図７Ｂは、合成立体画像を作成する過程を説明する説明図である。図７Ｃは、合成立体画像による立体視の説明図である。
右眼用撮影画像２０(i)Ｒ''と左眼用撮影画像２０(i)Ｌ''に基づいて合成立体画像２０i''を作成する際には、先ず、図７Ａに示すように、右眼用撮影画像２０(i)Ｒ''と左眼用撮影画像２０(i)Ｌ''をそれぞれ凸レンズの水平方向の配列方向に垂直方向に延びるライン状に抽出する処理を行う。ライン状に抽出する処理では、右眼用撮影画像２０(i)Ｒ''と左眼用撮影画像２０(i)Ｌ''を、マイクロレンズアレイシート１０の凸レンズの水平方向の配列方向にＭ分割して（凸レンズ配列の）垂直方向に延びるライン状に抽出する。Ｍはマイクロレンズアレイシート１０の水平方向の凸レンズの数である。

この処理により、Ｍ本のライン状画像Ｒ１、Ｒ２、Ｒ３、…、ＲＭに分割された右眼用撮影画像２０(i)Ｒ''と、Ｍ本のライン状画像Ｌ１、Ｌ２、Ｌ３、…、ＬＭに分割された左眼用撮影画像２０(i)Ｌ''が生成される。

そして、右眼用撮影画像２０(i)Ｒ''を構成するＭ本のライン状画像Ｒ１、Ｒ２、Ｒ３、…、ＲＭと、左眼用撮影画像２０(i)Ｌ''を構成するＭ本のライン状画像Ｌ１、Ｌ２、Ｌ３、…、ＬＭとを、交互に配置して合成する合成処理を行って、合成立体画像２０i''を生成する。このとき、図７Ｂに示すように、右眼用撮影画像２０(i)Ｒ''のＭ本のライン状画像Ｒ１、Ｒ２、Ｒ３、…、ＲＭと、左眼用撮影画像２０(i)Ｌ''のＭ本のライン状画像Ｌ１、Ｌ２、Ｌ３、…、ＬＭとを、順に、つまり本実施形態の例では交互に配置する。

こうして各ライン状画像を、凸レンズの水平方向の配列方向に、ライン状画像Ｒ１、Ｌ１、Ｒ２、Ｌ２、…、ＲＭ、ＬＭの順番に配置する。これにより合成立体画像２０i''を作成する。このように作成された合成立体画像２０ｉ''は、図７Ｃに示すように水平方向（図７Ｃ中ｘ方向）に配列された凸レンズを通して観察すると左右別々の視差のある異なった画像を見ることができ、立体感を得ることができる。

なお、図７Ｃは、ライン状画像Ｒ１、Ｌ１、Ｒ２、Ｌ２、…、ＲＭ、ＬＭによる立体視を説明するための説明図である。実際に立体・可変画像表示体１００のマイクロレンズアレイシート１０の凸レンズの表面とは反対側の面に配置されるのは、合成立体画像２０ｉ''〜２０ｉv''を元画像として後述する手順によって形成される立体視・可変視用画像２０である。合成立体画像２０ｉ''がマイクロレンズアレイシート１０の凸レンズの表面とは反対側の面に配置されるわけではない。

合成立体画像２０ii''〜２０ｉv''も、合成立体画像２０ｉ''と同様の手順により、トリミング後の右眼用撮影画像２０(ii)Ｒ''〜Ｒ(iv)''と左眼用撮影画像２０(ii)Ｌ''〜２０(iv)Ｌ''に基づいてそれぞれ合成して作成される（図８）。

図８に示すように、合成立体画像２０i''は、右眼用撮影画像２０(i)Ｒ''と左眼用撮影画像２０(i)Ｌ''を合成して作成され、合成立体画像２０ii''は、右眼用撮影画像２０(ii)Ｒ''と左眼用撮影画像２０(ii)Ｌ''を合成して作成され、合成立体画像２０iii''は、右眼用撮影画像２０(iii)Ｒ''と左眼用撮影画像２０(iii)Ｌ''を合成して作成され、合成立体画像２０iｖ''は、右眼用撮影画像２０(iv)Ｒ''と左眼用撮影画像２０(iv)Ｌ''を合成して作成される。

なお、本実施形態では複数の視差画像として、右眼用視差画像と左眼用視差画像の２視差の組の場合を例に合成立体画像２０i''〜２０iｖ''の作成手法を説明した。なお、より鮮明な立体視を観察するためには視差画像の数は例えば５〜６程度が好ましい。すなわち、例えば５〜６視差で撮影した５〜６個の撮影画像を視差画像の組とすることが好ましい。

図９は、合成立体画像２０i''〜２０iｖ''から作成された表示用画像列と立体視・可変視用画像２０の一例を示す説明図である。

先ず、図９に示すように合成立体画像２０(i)''〜２０(iv)''をそれぞれ（凸レンズ配列の）水平方向に延びるライン状に抽出し、所定順に配列して画像列を形成する。図９に示す例では垂直方向に配列された凸レンズの対応する位置に表示用画像列として配列される。

具体的には、合成立体画像２０(i)''から、表示用画像列２０(i)''ａ、２０(i)''ｂ、２０(i)''ｃ、２０(i)''ｄ、２０(i)''ｅ、２０(i)''ｆ、２０(i)''ｇ、２０(i)''ｈを抽出する。
合成立体画像２０(ii)''から、表示用画像列２０(ii)''ａ、２０(ii)''ｂ、２０(ii)''ｃ、２０(ii)''ｄ、２０(ii)''ｅ、２０(ii)''ｆ、２０(ii)''ｇ、２０(ii)''ｈを抽出する。同様に、合成立体画像２０(iii)''からも表示用画像列２０(iii)''ａ〜２０(iii)''ｈが抽出され、合成立体画像２０(iv)''からも表示用画像列２０(iv)''ａ〜２０(iv)''ｈが抽出される。

そして、抽出された表示用画像列を各凸レンズの垂直方向配列に対応するよう配列させ、立体視・可変視用画像２０（２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ）(「立体視・可変視用画像２０（２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ）」を、「立体視・可変視用画像２０（２０ａ〜２０ｈ）」、「立体視・可変視用画像２０」と言う場合がある。) を形成する。

図１０は、表示用画像列に基づいて形成した立体視・可変視用画像の一例を示す拡大概略図である。図１１は、立体視・可変視用画像が配置された立体・可変画像表示体の一例を示す説明図である。図１２は、マイクロレンズアレイシートと立体視・可変視用画像の配置を模式的に示した図である。

図１０乃至図１２に示すように、マイクロレンズアレイシート１０の垂直方向（図中ｙ方向）に配列された１番目の凸レンズに対応した位置には、合成立体画像２０(i)''から抽出された表示用画像列２０(i)''ａと、合成立体画像２０(ii)''から抽出された表示用画像列２０(ii)''ａと、合成立体画像２０(iii)''から抽出された表示用画像列２０(iii)''ａと、合成立体画像２０(iv)''から抽出された表示用画像列２０(iv)''ａが配置され、立体視・可変視用画像２０ａを形成している。

また、２番目の凸レンズに対応した位置には、合成立体画像２０(i)''から抽出された表示用画像列２０(i)''ｂと、合成立体画像２０(ii)''から抽出された表示用画像列２０(ii)''ｂと、合成立体画像２０(iii)''から抽出された表示用画像列２０(iii)''ｂと、合成立体画像２０(iv)''から抽出された表示用画像列２０(iv)''ｂが配置され、立体視・可変視用画像２０ｂを形成している。

他の垂直方向に配列される凸レンズ下でも、同様に、画像列が配列されて立体視・可変視用画像２０（２０ａ〜２０ｈ）を形成している。

このような画像列群によって形成された立体視・可変視用画像２０（２０ａ〜２０ｈ）を凸レンズ側から観察した場合、観察する角度によって、合成立体画像２０(i)''〜合成立体画像２０(iv)''の何れかのみが表示され、角度を変えることで見える画像が変わり、立体的かつ可変の画像、すなわち３Ｄ動画のように見える。

以上説明したように、本実施形態の立体・可変画像表示体１００によれば、可変視も立体視も実現することができる立体・可変画像表示体を実現できる。すなわち、マイクロレンズアレイシート１０の水平方向に配列された凸レンズが当該立体視・可変視用画像２０と作用することにより立体視効果を奏し、かつ、マイクロレンズアレイシート１０の垂直方向に配列された凸レンズが当該立体視・可変視用画像２０と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変画像を表示することができる。

また、本実施形態の立体・可変画像表示体１００によれば、視差画像の一例である右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌに現れる被写体画像のサイズを同一化し、トリミングした後に合成立体画像２０i''〜２０iｖ''を形成したので、被写体である移動体をシャープにくっきりと見せながら、かつ、移動体自身の大きさが伸びたり縮んだりと変化することを防ぎ、被写体が電車や車等の移動体であっても、被写体のサイズの変化がなく、違和感のない可変画像を表示できる。

また、撮影画像に現れる被写体画像を使用するので、撮影画像毎に被写体画像に変化がある場合にも、この変化を逃すことなく表現できる。具体的には、動きに伴う車輪の回転の様子や汽車の煙など移動体の細部を再現でき、臨場感を出す事ができる。
さらに、複数の視差画像からなる撮影画像から合成立体画像を作成し、当該合成立体画像に基づいて立体視・可変視用画像２０を形成したので、立体的な可変画像を実現でき、さらに臨場感の高い画像表現が可能になる。

なお、上述した実施例では、スクエア形状に配列されたマイクロレンズアレイシート１０（図１Ｃ）を例に説明したが、ハニカム形状に配列されたマイクロレンズアレイシート１０（図１Ｄ）の場合も同様である。すなわち、図１３に示すようにマイクロレンズアレイシート１０の水平方向（ｘ方向）に配列された凸レンズが当該立体視・可変視用画像２０と作用することにより立体視効果を奏し、かつ、マイクロレンズアレイシート１０の垂直方向に配列された凸レンズ（ｙ方向）が当該立体視・可変視用画像２０と作用することにより可変効果を奏する。

また、上述した実施例では、複数の視差画像（上記の場合、右眼用撮影画像２０(i)Ｒ〜２０(iv)Ｒ及び左眼用撮影画像２０(i)Ｌ〜２０(iv)Ｌ）に現れる被写体画像のサイズが同一となるよう視差画像を拡縮し、トリミングした後に合成立体画像を作成したが、複数の視差画像の其々に現れる被写体画像のサイズが同一である場合等、拡縮及びトリミングの必要がない場合には、拡縮及びトリミングの処理を行わなくてもよい。その場合、ｎ組の撮影画像に含まれる各視差画像について、拡縮及びトリミングを行わず、それぞれ（凸レンズ配列の）垂直方向に延びるライン状に抽出して凸レンズの水平方向配列に対応する位置にそれぞれ順に配列してｎ個の合成立体画像を作成する。

本発明の適用範囲は上記実施形態に限定されることはない。本発明は、可変視も立体視も実現することができる立体・可変画像表示体及び立体視・可変視用画像形成方法に対し、広く適用することができる。

１００・・・立体・可変画像表示体
１０・・・マイクロレンズアレイシート
２０（２０ａ、２０ｂ、２０ｃ、２０ｄ、２０ｅ、２０ｆ、２０ｇ、２０ｈ）・・・立体視・可変視用画像
２１・・・被写体画像
２１ａ・・・基準部位
２０(i)Ｒ、２０(ii)Ｒ、２０(iii)Ｒ、２０(iv)Ｒ・・・右眼用撮影画像（視差画像）
２０(i)Ｌ、２０(ii)Ｌ、２０(iii)Ｌ、２０(iv)Ｌ・・・左眼用撮影画像（視差画像）
２０(i)Ｒ'、２０(ii)Ｒ'、２０(iii)Ｒ'、２０(iv)Ｒ'・・・拡縮後の右眼用撮影画像（視差画像）
２０(i)Ｌ'、２０(ii)Ｌ'、２０(iii)Ｌ'、２０(iv)Ｌ'・・・拡縮後の左眼用撮影画像（視差画像）
２０(i)Ｒ''、２０(ii)Ｒ''、２０(iii)Ｒ''、２０(iv)Ｒ''・・・トリミング後の右眼用撮影画像（視差画像）
２０(i)Ｌ''、２０(ii)Ｌ''、２０(iii)Ｌ''、２０(iv)Ｌ''・・・トリミング後の左眼用撮影画像（視差画像）
２０(i)''、２０(ii)''、２０(iii)''、２０(iv)''・・・合成立体画像

本発明の立体・可変画像表示体は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと、前記凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有し、前記凸レンズの表面側から前記立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体において、前記立体視・可変視用画像は、被写体を複数（ｍ個：ｍは２以上の自然数）の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して、前記凸レンズの前記水平方向配列に対応する位置であって、当該凸レンズの前記水平方向のレンズピッチをｍ等分した各位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置であって、当該凸レンズの前記垂直方向のレンズピッチをｎ等分した各位置にそれぞれ配列された表示用画像列により構成され、前記複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、前記複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変表示することを特徴とする。

前記立体視・可変視用画像は、被写体を２個の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して、前記凸レンズの前記水平方向配列に対応する位置であって、当該凸レンズの前記水平方向のレンズピッチを２等分した各位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置であって、当該凸レンズの前記垂直方向のレンズピッチをｎ等分した各位置にそれぞれ配列された表示用画像列により構成してもよい。

本発明の立体・可変画像表示体は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと、前記凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有し、前記凸レンズの表面側から前記立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体において、移動体を被写体として複数の視差画像の組を一組として連続して撮影した前記ｎ組の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動している当該撮影画像に基づいて構成される前記立体視・可変視用画像は、前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮し、拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングし、トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成された前記ｎ個の合成立体画像であって、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成され、前記複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、前記複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、立体視効果を奏しながら可変表示することを特徴とする。

本発明の立体視・可変視用画像形成方法は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと作用して立体視・可変画像を表示する立体視・可変視用画像を形成する立体視・可変視用画像形成方法において、被写体を複数（ｍ個：ｍは２以上の自然数）の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して、前記凸レンズの前記水平方向配列に対応する位置であって、当該凸レンズの前記水平方向のレンズピッチをｍ等分した各位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像を作成する合成立体画像作成工程と、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置であって、当該凸レンズの前記垂直方向のレンズピッチをｎ等分した各位置にそれぞれ配列された表示用画像列を形成する画像列形成工程と、を有することを特徴とする。

本発明の立体視・可変視用画像形成方法は、複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと作用して立体視・可変画像を表示する立体視・可変視用画像を形成する立体視・可変視用画像形成方法において、移動体を被写体として複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動している当該撮影画像について、前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮する工程と、拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングする工程と、トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像を作成する工程と、を有する合成立体画像作成工程と、当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列を形成する画像列形成工程と、を有することを特徴とする。

Claims (5)

1. 複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと、前記凸レンズの表面とは反対側の面に配置された立体視・可変視用画像を有し、前記凸レンズの表面側から前記立体視・可変視用画像を観察することにより立体・可変画像を表示する立体・可変画像表示体において、
   前記複数の凸レンズのうち水平方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより立体視効果を奏し、かつ、
   前記複数の凸レンズのうち垂直方向に配列された凸レンズが当該立体視・可変視用画像と作用することにより可変効果を奏することにより、
   立体視効果を奏しながら可変表示することを特徴とする立体・可変画像表示体。
2. 前記立体視・可変視用画像は、
   被写体を複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像であって、
   当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成されることを特徴とする請求項１に記載の立体・可変画像表示体。
3. 前記ｎ組の撮影画像は、移動体を前記被写体として複数の視差画像の組を一組として連続して撮影した前記ｎ組の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動しており、
   前記立体視・可変視用画像は、
   前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮し、
   拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングし、
   トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成された前記ｎ個の合成立体画像であって、
   当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列により構成されることを特徴とする請求項２に記載の立体・可変画像表示体。
4. 複数の凸レンズが水平方向及び垂直方向に配列されたマイクロレンズアレイシートと作用して立体視・可変画像を表示する立体視・可変視用画像を形成する立体視・可変視用画像形成方法において、
   被写体を複数の視差画像の組を一組として連続して撮影したｎ組（ｎは２以上の自然数）の撮影画像について、当該撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成されたｎ個の合成立体画像を作成する合成立体画像作成工程と、
   当該ｎ個の合成立体画像からそれぞれ前記水平方向に延びるライン状に抽出され、前記凸レンズの前記垂直方向配列に対応する位置にそれぞれ配列された表示用画像列を形成する画像列形成工程と、
   を有することを特徴とする立体視・可変視用画像形成方法。
5. 前記ｎ組の撮影画像は、移動体を前記被写体として複数の視差画像の組を一組として連続して撮影した前記ｎ組の撮影画像であって、かつ、当該撮影画像に現れる前記移動体の像である被写体画像が移動しており、
   前記合成立体画像作成工程は、
   前記ｎ組の撮影画像に含まれる一の前記視差画像に現れる被写体画像を基準被写体画像とし、前記ｎ組の撮影画像に含まれる他の前記視差画像に現れる被写体画像が、前記基準被写体画像と同一サイズとなるよう、前記他の視差画像を拡縮する工程と、
   拡縮後の前記ｎ組の撮影画像の各前記視差画像について、当該ｎ組の撮影画像に含まれる前記各視差画像中の基準部位が同位置となるよう位置調整して重ね合わせた際に、前記ｎ組の撮影画像に含まれる前記複数の視差画像のうち所定数が重なる領域で、かつ、前記被写体画像を含む領域をトリミングする工程と、を有し、
   トリミングされた前記ｎ組の撮影画像の各前記視差画像からそれぞれ前記垂直方向に延びるライン状に抽出して前記凸レンズの前記水平方向配列に対応する位置にそれぞれ順に配列して立体視可能に合成された前記ｎ個の合成立体画像を作成することを特徴とする請求項４に記載の立体視・可変視用画像形成方法。

Images