JP2017142407A - 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、プログラム、およびデータ構造 - Google Patents

装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、プログラム、およびデータ構造 Download PDF

Info

Publication number
JP2017142407A
JP2017142407A JP2016024299A JP2016024299A JP2017142407A JP 2017142407 A JP2017142407 A JP 2017142407A JP 2016024299 A JP2016024299 A JP 2016024299A JP 2016024299 A JP2016024299 A JP 2016024299A JP 2017142407 A JP2017142407 A JP 2017142407A
Authority
JP
Japan
Prior art keywords
single image
target
image
video
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016024299A
Other languages
English (en)
Other versions
JP6466354B2 (ja
Inventor
隆寛 河邉
Takahiro Kawabe
隆寛 河邉
眞也 西田
Shinya Nishida
眞也 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2016024299A priority Critical patent/JP6466354B2/ja
Publication of JP2017142407A publication Critical patent/JP2017142407A/ja
Application granted granted Critical
Publication of JP6466354B2 publication Critical patent/JP6466354B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】簡易に対象に動きの変化が与えられているように知覚させる。
【解決手段】対象に動きの変化が与えられているように知覚させるために、単一画像と当該対象とを重畳させた状態で、当該単一画像および対象の少なくとも一方を動かし、当該単一画像が含む画像領域の輝度成分パターンと当該対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる。
【選択図】図3

Description

本発明は、対象に動きの変化が与えられているように知覚させる技術に関する。
一般に、静止した対象に動きの印象を与える場合には、光投影技術が用いられる。既存技術では、物体表面を一種のキャンバスと見立て、そこに新たな映像を投影することにより、静止した対象に動きの印象を与えてきた(例えば、非特許文献1,2等参照)。この場合、被投影対象の表面に新たな映像を重ねるため、静止した対象の色や肌理、風合いの印象は損なわれてしまう。この問題を回避するために、被投影対象のグレースケール画像に動きを与え、その動画と元のグレースケール画像との差分をとったものを投影する技術が提案されている(例えば、特許文献1等参照)。グレースケール画像情報のみを投影するので、被投影対象側では輝度のみが変調されるのみであることから、特許文献1の技術では対象の色、肌理、風合いを損なわない。
国際公開第WO/2015/163317号
Raskar, R., Ziegler, R., & William, T., "Cartoon Dioramas in motion,"(2002), Int Symp on Non-photorealistic Animation and Rendering (NPAR) 2002, Annecy, France. Siegl, C., Colaitani, M., Thies, L., & Zollhofer, M., Izadi, S., Stamminger, M., & Bauer, F., "Real-Time Pixel luminance optimization for dynamic multi-projection mapping," (2015), ACM Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH Asia 2015, 34(6), 237.
特許文献1の技術では、対象に動きの変化が与えられているように知覚させるために、複数種類の画像からなる画像列を生成する必要があった。すなわち、対象のグレースケール画像を変形させたり移動させたりして生成した複数種類の変形動画と、元のグレースケール画像との差分をとった差分画像からなる列を作成し、それを連続的に表示する必要があった。
本発明の課題は、従来よりも簡易に、対象に動きの変化が与えられているように知覚させることである。
対象に動きの変化が与えられているように知覚させるために、単一画像と当該対象とを重畳させた状態で、当該単一画像および当該対象の少なくとも一方を動かし、当該単一画像が含む画像領域の輝度成分パターンと当該対象が含む当該画像領域に対応するパターンとの間の位置関係を変化させる。
本発明では、単一画像を用いるため、複数種類の画像からなる画像列を生成する従来よりも簡易に、対象に動きの変化が与えられているように知覚させることができる。
図1は実施形態の映像生成システムの機能構成を例示するためのブロック図である。 図2Aは対象を撮影して得られる静止画像の一例を説明するための概念図である。図2Bは静止画像から得られる単一画像の一例を説明するための概念図である。図2Cは単一画像の動きの一例を説明するための概念図である。 図3Aは実施形態の映像投影システムの構成を例示するためのブロック図である。図3Bは対象に投影された映像の一例を説明するための概念図である。 図4Aは静止画像から得られる単一画像の一例を説明するための概念図である。図4Bは単一画像の動きの一例を説明するための概念図である。図4Cは対象に投影された映像の一例を説明するための概念図である。 図5Aは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図5Bは対象に投影された映像の一例を説明するための概念図である。 図6は実施形態の映像投影システムの構成を例示するためのブロック図である。 図7Aは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図7Bは静止画像から得られる単一画像の一例を説明するための概念図である。図7Cは投影された映像および単一画像の一例を説明するための概念図である。 図8Aは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図8Bは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図8Cは投影された映像および単一画像の一例を説明するための概念図である。 図9Aは対象を撮影して得られる静止画像を動かすことで得られる映像の一例を説明するための概念図である。図9Bは単一画像を動かすことで得られる映像の一例を説明するための概念図である。図9Cは投影された映像および単一画像の一例を説明するための概念図である。 図10は実施形態の映像表示システムの構成を例示するためのブロック図である。 図11は実施形態の映像投影システムの構成を例示するためのブロック図である。 図12Aは対象を撮影して得られる静止画像から得られる単一画像の一例を説明するための概念図である。図12Bおよび図12Cは単一画像透過部材を動かした様子を例示した概念図である。図12Dは対象に投影された映像の一例を説明するための概念図である。 図13Aは対象を撮影して得られる静止画像から得られる単一画像の一例を説明するための概念図である。図13Bおよび図13Cは単一画像透過部材を動かした様子を例示した概念図である。図13Dは対象に投影された映像の一例を説明するための概念図である。
以下、本発明の実施形態を説明する。
[概要]
まず、実施形態の概要を説明する。
実施形態では、「対象」に動きの変化が与えられているように知覚させるために、「単一画像」と「対象」とを重畳させた状態で、「単一画像」および「対象」の少なくとも一方を動かし、「単一画像」が含む「画像領域」の輝度成分パターンと「対象」が含む「対象パターン(「単一画像」が含む「画像領域」に対応するパターン)」との間の位置関係を変化させる。「単一画像」を用いるため、複数種類の画像からなる画像列を生成する従来よりも簡易に、対象に動きの変化が与えられているように知覚させることができる。なお、「対象に動きの変化が与えられているように知覚させる」とは、静止している「対象」に動きが与えられたように知覚されること、または、動いている「対象」の動きが変化したように知覚されることを意味する。
「対象」は、例えば、所定面(例えば、紙、ボード、壁、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面)上のパターン(例えば、所定面に「印刷」「描画」「表示」または「投影」された画像や写真、所定面を構成する素材の色合いに基づく柄や模様、所定面の形状に基づく模様、境界線、濃淡など)である。「所定面」は、平面であってもよいし、平面とみなせる物であってもよいし、曲面であってもよいし、凹凸面であってもよい。「対象」が、立体的形状を備える物(例えば、花瓶、ボール、模型、建築物など)の表面のパターン(例えば、表面に「印刷」「描画」「表示」または「投影」された画像や写真、表面を構成する素材の色合いに基づく柄や模様、表面の形状に基づく模様、境界線、濃淡など)であってもよい。
「単一画像」は「対象」に対応する1枚の静止画像(1種類の画像)であり、その全領域または一部の領域を「画像領域」と呼ぶことにする。「単一画像」は「対象」を撮影して得られた静止画像から得られたものであってもよいし、「対象」と同一または近似する像を撮影した静止画像から得られたものであってもよいし、「対象」に基づいて作画された静止画像から得られたものであってもよい。「単一画像」の輝度は空間的に一様ではなく、「単一画像」が含む「画像領域」は輝度成分からなる模様である「輝度成分パターン」を持つ。「単一画像」は輝度成分のみからなる画像であってもよいし、輝度成分と色成分(色差成分)とからなる画像であってもよい。「対象」の色や質感の変化を抑えつつ、「対象」に動きの変化が与えられているように知覚させるためには、「単一画像」の輝度成分が色成分に比べて優位に知覚されるものであることが望ましい。「単一画像」が輝度成分のみからなる画像である場合には、「対象」の色や質感の見かけをほとんど変化させることなく、「対象」に動きの変化が与えられているように知覚させることができる。また「画像領域」の高空間周波数成分が低空間周波数成分よりも優位に知覚されることにより、「対象」に明確に動きを知覚させることができる(この理由は後述する)。そのため「画像領域」は、高空間周波数成分が低空間周波数成分よりも優位に知覚される領域であることが望ましい。言い換えると、「画像領域」は、低空間周波数成分が高空間周波数成分に対して抑圧された領域であるか、高空間周波数成分が低空間周波数成分よりも強調された領域であることが望ましい。
「単一画像」と「対象」とを重畳させる方法に限定はない。透過性のある「単一画像」を透過性のない「対象」に重ねて表示してもよいし、透過性のある「対象」を透過性のない「単一画像」に重ねて表示してもよいし、透過性のある「単一画像」を透過性のある「対象」に重ねて表示してもよいし、透過性のある「対象」を透過性のある「単一画像」に重ねて表示してもよい。例えば、印刷や描画された「対象」にプロジェクタなどで「単一画像」を投影してもよいし、投影された「対象」に「単一画像」を投影してもよいし、「対象」と「単一画像」とが同一画面上に表示されてもよいし、ディスプレイ(非透過型または透過型)に表示された「対象」に「単一画像」を投影してもよいし、ディスプレイ(非透過型または透過型)に表示された「単一画像」に「対象」を投影してもよい。また、例えば「対象」と観察者との間に透過型ディスプレイなどの透明な液晶画面を設置し、当該液晶画面に透過性のある「単一画像」を表示してもよい。これによっても、観察者から見ると、「対象」に透過性のある「単一画像」を重畳させたことになる。また、例えば「単一画像」と観察者との間に透過型ディスプレイなどの透明な液晶画面を設置し、当該液晶画面に透過性のある「対象」を表示してもよい。観察者から見ると、「単一画像」に透過性のある「対象」を重畳させたことになる。また、透過性のある材質(プラスチック、ポリエチレン、ガラスなど)に透過性のある「単一画像」を印刷または描画した「単一画像透過部材」を設けてもよい。光源からの光を「単一画像透過部材」に入射させ、透過後の光を「対象」に投影することで、「単一画像」を「対象」に重畳させることができる。また「単一画像透過部材」が透過性のある「単一画像」を表示する透明な液晶画面であってもよい。さらに透過性のある材質に透過性のある「対象」を印刷または描画した「対象透過部材」を設け、光源からの光を「単一画像透過部材」に入射させ、「単一画像透過部材」を透過した出射光を「対象透過部材」に投影することで、「単一画像」を「対象」に重畳させてもよい。この場合、光源と観察者との間に「単一画像透過部材」および「対象透過部材」が配置され、光源と「対象透過部材」との間に「単一画像透過部材」が配置されてもよい。これにより観測者は「対象透過部材」の透過映像を見ることで「単一画像」が「対象」に重畳した様子を観測できる。「対象透過部材」が透過性のある「対象」を表示する透明な液晶画面であってもよい。光源からの光を「対象透過部材」に入射させ、透過後の光を「単一画像」に投影することで、「単一画像」と「対象」とを重畳させてもよい。また、スマートフォンなどの表示画面に「対象」を表示し、その表示画面上に「単一画像透過部材」を取り付けることで「単一画像」を「対象」に重畳させてもよい。光源はLEDや蛍光灯などの人工的なものであってもよいし、太陽などの自然光のものであってもよい。
「画像領域」が含む「輝度成分パターン」は「対象」が含む「対象パターン」またはその近傍に重ねられる。例えば、「輝度成分パターン」の輪郭またはその近傍が「対象パターン」の輪郭と重なるように配置されてもよいし、「単一画像」の輪郭またはその近傍が「対象」の輪郭と重なるように配置されてもよいし、「輝度成分パターン」が含むエッジまたはその近傍が「対象パターン」が含むエッジに重なるように配置されてもよい。
「単一画像」および「対象」の少なくとも一方をソフトウェア的に動かしてもよいし、ハードウェア的に動かしてもよい。ソフトウェア的に動かす場合には、例えば、「表示」または「投影」される「単一画像」および「対象」の少なくとも一方のパターンの動きを画像処理で実現すればよい。ハードウェア的に動かす場合には、「単一画像」が「印刷」「描画」または「表示」された部材を機械的に動かしてもよいし、「対象」が「印刷」「描画」または「表示」された部材を機械的に動かしてもよいし、「単一画像」や「対象」を投影するための装置を機械的に動かしてもよい。光源からの光を「単一画像透過部材」に透過させ、透過後の光を「対象」に投影することで、「単一画像」を「対象」に重畳させる場合、光源から「対象」までの光路に存在する部材(光源および「対象」を含む)の少なくとも何れかに関する機構を機械的に動かしてもよい。光源からの光を「単一画像透過部材」に入射させ、「単一画像透過部材」を透過した出射光を「対象透過部材」に投影することで「単一画像」を「対象」に重畳させる場合、光源から「対象透過部材」までの光路に存在する部材(光源および「対象透過部材」を含む)の少なくとも何れかに関する機構を機械的に動かしてもよい。フィルムなどの可撓性がある部材に印刷、描画、または表示された「単一画像」の場合、その部材を機械的に湾曲させることで「単一画像」を湾曲させることができる。同様に、可撓性がある部材に印刷、描画、または表示された「対象」である場合、その部材を機械的に湾曲させることで「対象」を湾曲させることができる。表示画面に「対象」を表示し、その表示画面に「単一画像透過部材」を取り付ける場合、「単一画像透過部材」を機械的に動かしてもよい(スライドなど)。
例えば、「対象部」に「対象」が表れ、透過性のある「単一画像部」に透過性のある「単一画像」が表れ、「単一画像部」が「光源」と「対象部」との間に配置されているとする。「対象部」の例は、所定面(例えば、紙、ボード、壁、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面)や立体的形状を備える物(例えば、花瓶、ボール、模型、建築物など)である。前述の「対象透過部材」を「対象部」としてもよい。「対象」は「対象部」上のパターンや「対象部」の表面のパターンである。「単一画像部」の例は前述の「単一画像透過部材」である。「光源」は「単一画像部」および「対象部」に対して設置された専用の光源(LED等)であってもよいし、外部の光源(LED、蛍光灯、自然光等)であってもよい。この場合に「光源」からの光による投影によって「単一画像」を「対象」に重畳させた状態(「単一画像」の投影像を「対象」に重畳させた状態)で、「光源」から「対象」(対象部)までの光路上の何れかの部材(例えば、「光源」「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか)に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン(「単一画像」が含む画像領域に対応するパターン)との間の位置関係を変化させてもよい。
或いは、例えば「単一画像部」に単一画像が表れ、「対象部」に透過性のある「対象」が表れており、「対象部」が「光源」と「単一画像部」との間に配置されているとする。「単一画像部」の例は、所定面(例えば、紙、ボード、壁、スクリーン、電子ペーパー、通常のディスプレイや透過型ディスプレイなどの画面)や立体的形状を備える物(例えば、花瓶、ボール、模型、建築物など)である。前述の「単一画像透過部材」を「単一画像部」としてもよい。「対象部」の例は前述の「対象透過部材」である。この場合に「光源」からの光による投影によって「対象」を「単一画像」に重畳させた状態(「対象」の投影像を「単一画像」に重畳させた状態)で、「光源」から「単一画像」(単一画像部)までの光路上の何れかの部材(例えば、「光源」「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか)に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン(「単一画像」が含む画像領域に対応するパターン)との間の位置関係を変化させてもよい。
或いは、例えば「対象部」に「対象」が表れ、透過性のある「単一画像部」で透過性のある「単一画像」を表示するものとする。「単一画像部」は「対象部」からの光(像)を透過させる位置に配置されているとする。例えば、「単一画像部」は「単一画像」を表示する透過型ディスプレイであり、「単一画像部」が「対象」に対向した状態で配置されている。この場合に「単一画像部」を透過した「対象」を「単一画像部」で表示した「単一画像」に重畳させた状態で、「対象部」から「単一画像部」までの光路上の何れかの部材に関する機構(例えば、「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか)を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン(「単一画像」が含む画像領域に対応するパターン)との間の位置関係を変化させてもよい。
或いは、例えば透過性のある「対象部」が透過性のある対象を表示し、「単一画像部」に単一画像が表れ、「対象部」が「単一画像部」からの光(像)を透過させる位置に配置されているものとする。この場合に「対象部」を透過した単一画像を「対象部」で表示した対象に重畳させた状態で、「単一画像部」から「対象部」までの光路上の何れかの部材(例えば、「単一画像部」「対象部」および光路上に配置されたレンズやフィルターなどのその他の部材の少なくとも何れか)に関する機構を動かし、重畳した「単一画像」が含む画像領域の輝度成分パターンと「対象」が含むパターン(「単一画像」が含む画像領域に対応するパターン)との間の位置関係を変化させてもよい。
なお、機械的な動きの動力は、アクチュエータなどの電気的なものであってもよいし、人力によるものであってもよいし、風力や揺れなどの環境によるものであってもよい。「単一画像」および「対象」の一方をソフトウェア的に動かし、他方をハードウェア的に動かしてもよい。
「単一画像」および「対象」の少なくとも一方の動きの例は、移動、拡大、縮小、回転、および湾曲の少なくとも何れかであり、これらの動きを複合した動きであってもよい。これらの動きは「単一画像」と「対象」との間の相対的な動きであってもよいし、所定の基準点に対する絶対的な動きであってもよい。また動きは反復的や周期的なものであってもよいし、反復的や周期的でないものであってもよい。また「単一画像」および「対象」の少なくとも一方の「動き」は、連続的な動きであってもよいし、断続的な動きであってもよいし、1回のみの動きであってもよい。
「画像領域」の「輝度成分パターン」と「対象」が含む「対象パターン」との間の位置関係(例えば、相対位置)の変化は、所定の範囲内に制限される。例えば「輝度成分パターン」が「対象パターン」の近傍を移動する範囲に制限される。例えば、「画像領域」の輪郭の近傍が「対象パターン」の輪郭と重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよいし、「単一画像」の輪郭の近傍が「対象」の輪郭と重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよいし、「画像領域」が含むエッジの近傍が「対象パターン」が含むエッジの近傍に重なるように配置された状態で「画像領域」と「対象パターン」との間の位置関係を変化させてもよい。「輝度成分パターン」と「対象パターン」とのずれ幅は、両者が見かけ上分離しない範囲内に制限される。見かけ上分離しない範囲については、輝度成分パターンや対象パターンの大きさ、スクリーン等に表示する場合にはその大きさ、ユーザからの視角などを考慮して設定する。上述の動きの中で「輝度成分パターン」が「対象パターン」と交わってもよいし、交わらなくてもよい。
[第1実施形態]
次に、図面を用いて第1実施形態を説明する。
<映像生成システムの構成>
図1に例示するように、本形態の映像生成システムは、映像生成装置11、撮影装置12、設置板13、および対象14を有する。映像生成装置11は、撮影処理部111、グレースケール変換部112、フィルタリング部113、および記憶部115を有する。映像生成装置11は、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。撮影装置12はカラーの静止画像を撮影可能な一般的なカメラである。設置板13は平面部131を有する板であり、対象14は平面部131に固定された印刷物である。対象14は一様ではなく、少なくとも一部に模様を有する。すなわち、対象14を撮影して得られた画像や映像の空間周波数は零ではない。
<映像投影システムの構成>
図3Aに例示するように、本形態の映像投影システムは、映像投影装置15、プロジェクタ16、設置板17、および対象18を有する。映像投影装置15は、再生処理部151および記憶部152を有する。映像投影装置15は、例えば、上述のコンピュータが所定のプログラムを実行することで構成される装置である。設置板17は平面部171を有する板であり、対象18は平面部131に固定された印刷物である。対象18は上述の対象14であってもよいし、対象14の複製物であってもよいし、対象14の類似物であってもよい。プロジェクタ16は一般的なものでよい。対象14の類似物としては、対象14の一部の色や柄や輝度などが変更されたり省略されたりしたものや、対象14に色や柄や輝度などを付加したものを例示できる。
<映像生成処理>
まず映像生成処理を説明する。この処理では、対象18に動きが与えられているように知覚させるために対象18に重畳させる映像を生成する。まず、撮影処理部111の制御の下、撮影装置12が対象14を撮影する(図1)。撮影によって得られたカラーの静止画像140(図2A)は撮影処理部111に送られ、グレースケール変換部112に送られる。
グレースケール変換部112は、静止画像140をグレースケールに変換し、輝度成分パターンを含む単一画像140’(図2A)を生成する。単一画像140’は輝度成分のみからなる。例えば、グレースケール変換部112は、NTSC加重平均法(輝度Y=R×0.298912+G×0.586611+B×0.114478、ここでR,G,Bはそれぞれ、各ピクセルの赤,緑,青チャンネルの強度を表す)によって静止画像140をグレースケールの単一画像140’に変換する。ただし、グレースケールに変換できる手法なら、これ以外の方法を用いてもよい。
単一画像140’はフィルタリング部113に送られる。フィルタリング部113は、単一画像140’を高空間周波数フィルタリングし、低空間周波数成分を抑圧した単一画像141を生成する。単一画像141の高空間周波数成分は低空間周波数成分よりも優位に知覚される。この際のフィルターサイズは任意であるものの、フィルターサイズを大きくする(つまり、高空間周波数フィルターの通過帯域を広くする)と元の単一画像140’に近い単一画像141を対象18に投影することになり、対象18の見かけが変わってしまう。つまり、対象18そのものが動いて見えるというよりは、別の映像が投影されているように知覚される。そのため、高空間周波数フィルターのフィルターサイズをできるだけ小さく設定することが望ましい。ただ、高空間周波数フィルターのサイズを小さくするほど、知覚させることができる対象18の動きの大きさ(変調量)が小さくなる(詳細は後述)。そのため、高空間周波数フィルターのサイズは、知覚させようとする対象18の動きの大きさとの関係も考慮して決定しなければならない。この高空間周波数フィルタリングに用いるフィルターは、例えば、単一画像140’の位相を変えないで高空間周波数成分を抽出できるものである。例えば、Adobe Photoshop(登録商標)などの既存の画像編集ソフトに組み込まれているエッジ検出フィルターを用いたり、高空間周波数方位成分をたたみ込んで算出したりすることでも、同様の結果を得ることができる。単一画像141は輝度成分パターン141aを有する画像領域を含む(図2B)。得られた単一画像141は記憶部115に格納される。
<映像投影処理>
前処理として単一画像141が映像投影装置15(図3A)の記憶部152に格納される。記憶部115が記憶部152と同一であればこの前処理は不要である。次に位置合わせのため、再生処理部151が単一画像141をプロジェクタ16に送り、プロジェクタ16から単一画像141を対象18に合わせて投影する。その際、見た目で位置合わせをしてもよいし、構造化光法などの既存技術を使ってプロジェクタ16の光源と撮影装置12との対応関係をとることで位置合わせを行ってもよい。見た目で位置合わせを行う場合には、例えば、単一画像141の画像領域の輝度成分パターン141a(図2B)が、対象18の対象パターン18a(図3B)またはその近傍に重なるように行われる。例えば、輝度成分パターン141aの輪郭またはその近傍が対象パターン18aの輪郭と重なるように配置されてもよいし、単一画像141の輪郭またはその近傍が対象18の輪郭と重なるように配置されてもよいし、輝度成分パターン141aが含むエッジまたはその近傍が対象パターン18aに含まれるエッジに重なるように配置されてもよい。
その後、再生処理部151が単一画像141をプロジェクタ16に送り、プロジェクタ16から単一画像141を対象18に合わせて投影しつつ、画像処理によって単一画像141を移動させることで(図2C)、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させる(図3B)。本形態では単一画像141をa−b方向に一次元的に反復移動(振動)させる。輝度成分パターン141aの反復移動は対象パターン18aの近傍に制限される。このように対象パターン18aに対する輝度成分パターン141aの位置を空間的にずらすことで対象18の動きの印象を変調できる。すなわち、対象18を静止させたまま投影する単一画像141を空間的にずらすと、対象18がその方向へ対象が動いて見え、本形態の例では対象18が振動しているように知覚される。
<なぜ対象18が動いているように知覚されるか>
単一画像141の高空間周波数成分と対象18の低空間周波数成分との間に位相ずれがある場合、低空間周波数成分の位相は高空間周波数成分の位相によって知覚上捕捉される(参考文献1)。本形態では高空間周波数成分の単一画像141を静止した対象18へずらして投影するが、そのずれに基づいて、最終的な画像情報に高空間周波数成分の位相変調が生じる。その高空間周波数成分の位相変調が低空間周波数成分の位相を知覚上捕捉するので、位相変調方向へ投影対象が動いて見えるものと思われる。高空間周波数フィルタリングのカットオフ周波数が高いほど、位相変調が生じる空間範囲が狭くなるので、単一画像141を動かせる空間量が小さくなる。
参考文献1:Morrone, M. C. & Burr, D. C., “Feature detection in human vision: a phase-dependent energy model,” 1988, Proceedings of the Royal Society of London, B235, 221-245.
<本形態の特徴>
本形態では、1枚の高空間周波数画像である単一画像141を対象18に投影しつつ、これらの間の相対位置をずらし、人間の空間周波数統合メカニズムを利用することで対象18の動きの印象を変調できる。これにより、従来よりも簡易に、対象18に動きが与えられているように知覚させることができる。すなわち、本形態では撮影された静止画像140をグレースケール化して輝度成分のみからなる単一画像140’を生成するものの、既存技術とは異なり、そのパターンの形状を変形させた動画(画像列)を生成しないし、生成された動画と単一画像140’との差分も計算しない。それにもかかわらず、対象18に動きが与えられているように錯覚させることができる。例えば、美術館の絵画や、食品サンプルなどに対して、1枚の画像を投影するだけで動きの印象を与え、対象の見かけの印象や質感を変えることができ、対象の注目度を向上させることができる。この点から、インテリアや芸術面における動きの新しい表現手法を提供できる。
なお、ある画像の高空間周波数成分を異なる画像の低空間周波数成分に重ねて表示することによって、近くで見るのと遠くで見るのとでは異なる見え方を表示することができるハイブリッドイメージ法は提案されている(例えば、参考文献2等参照)。しかし、この既存技術は高空間周波数成分を重ねることで、重ねられた側の画像情報に動き印象を付け加えるものではない。また、重ねられる側としては低空間周波数成分画像が想定されており、実物体や通常の写真に対して高空間周波数成分を重ねて表示することは想定されていない。実対象の高空間周波数成分を重ねて表示しても、実対象の見た目の高空間周波数が高くなるだけで本技術が提案しているような動きの効果は生じない。
参考文献2:Oliva, A., Torralba, A., & Schyns, P. G., “Hybrid Images. ACM Transactions on Graphics,” (2006), ACM Siggraph, 25-3, 527-530.
[第1実施形態の変形例1]
第1実施形態は、対象18の対象パターン18a全体が動いているように知覚させるものであった。しかし、輝度成分パターン141aの一部の領域のみを対象パターン18aの一部の領域に重畳させつつ動かし、この対象パターン18aの一部の領域のみに動き印象を与えてもよい。例えば、動き印象を与えたくない領域に一様照明を照射してもよい。この一様照明の輝度が対象パターン18aのエッジの明暗の中間輝度になるように操作することで、投影される輝度成分パターン141aの一部の領域(動き印象を与えたくない領域)が見かけ上消失する。これにより、対象パターン18aの一部の領域のみに動き印象を与えることができる。輝度成分パターン141aの一部の領域(動き印象を与えたくない領域)を投影しないこととしても、同様な効果を得ることができる。
例えば、図4Aのような輝度成分パターン141aの一部の領域141a’(両目の領域)のみを図4Bのようにa−b方向に一次元的に反復移動(振動)させ、図4Cのように対象パターン18aの一部の領域(両目の領域)に重畳させることで、この対象パターン18aの一部の領域のみに動き印象を与えてもよい。あるいは、例えば図5Aのような輝度成分パターン141aの一部の領域141a”(右目の領域)のみを拡大および縮小させ、図5Bのように対象パターン18aの一部の領域(右目の領域)に重畳させることで、この対象パターン18aの一部の領域のみに動き印象を与えてもよい。
[第1実施形態の変形例2]
単一画像141に与える動きは、第1実施形態およびその変形例1のものに限定されない。単一画像141の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン141aと対象パターン18aとの間の位置関係を変化させてもよい。なお、移動方向はa−b方向に限定されず、その他の方向に移動してもよい。また移動、拡大、縮小、回転、および湾曲は一次元的なものに限定されず、2次元的なものであってもよいし、反復しなくてもよい(以下同様)。
[第1実施形態の変形例3]
映像生成装置11がさらに、単一画像141の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数の画像(例えば、図2C)を映像として出力する映像生成部114を有していてもよい(図1)。これにより、再生処理部151からこの映像をプロジェクタ16に送り、プロジェクタ16から単一画像141を対象18に合わせて投影するだけで、対象18に動きが与えられているように知覚させることができる。映像生成部114から出力される複数の画像がインターネット等を介して配信されてもよいし、記録媒体に記録されて流通されてもよい。
[第1実施形態の変形例4]
第1実施形態では、静止画像140をグレースケールに変換し、輝度成分パターンを含む単一画像140’を生成し、それを高空間周波数フィルタリングし、単一画像141を生成した。しかし、静止画像140をグレースケールに変換する処理を省略し、得られた静止画像140を高空間周波数フィルタリングして単一画像141を生成してもよい。あるいは、静止画像140の特定の色成分を強調したり、抑圧したりした画像を高空間周波数フィルタリングして単一画像141を生成してもよい。また静止画像140によって、グレースケールに変換する処理を省略したり、高空間周波数フィルタリングの処理を省略したりしてもよい。
[第1実施形態の変形例5]
第1実施形態では、画像処理によって単一画像141を移動させることで(図2C)、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させた(図3B)。しかし、プロジェクタ16(光源を含む)を機械的に動かすことによって単一画像141を移動させ、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。あるいは、対象18を機械的に動かし、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。その他、プロジェクタ16および対象18を機械的に動かし、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。さらに、機械的に振動する対象18よりも大きい振幅で単一画像141が機械的または画像処理によって動くように投影することで、対象18が実際よりも大きく動いてみえるように錯覚させることができる。ただし、対象18の振動の周波数と単一画像141の振動の周波数とが同一または近似することが望ましい。一方、対象18を機械的に振動させつつ、そこに静止した単一画像141を投影すると、対象18の振動が弱まったり、止まって見えたりする。さらには、機械的に振動する対象18の振動よりも小さい振幅で単一画像141が機械的または画像処理によって動くように投影することで、対象18の動きが小さく見える。この場合も、対象18の振動の周波数と単一画像141の振動の周波数とが同一または近似することが望ましい。その他、単一画像141および対象18の少なくとも一方の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン141aと対象パターン18aとの間の位置関係を変化させてもよい。
[第2実施形態]
プロジェクタで投影した対象に単一画像を投影しつつ、それらの間の位置関係を変化させてもよい。以下では第1実施形態およびその変形例との相違点を中心に説明し、共通する事項については同じ参照番号を用いて説明を省略する。
<映像投影システムの構成>
図6に例示するように、本形態の映像投影システムは、映像投影装置25、プロジェクタ261,262、および設置板17を有する。映像投影装置25は、再生処理部251および記憶部252を有する。映像投影装置25は、例えば、上述のコンピュータが所定のプログラムを実行することで構成される装置である。
<映像投影処理>
前処理として単一画像141が映像投影装置25(図6)の記憶部252に格納される。本形態ではさらに撮影装置12で対象14を撮影することによって得られた対象14の1枚の静止画像である対象241も記憶部252に格納される。次に位置合わせのため、再生処理部251が単一画像141をプロジェクタ261に送り、対象241をプロジェクタ262に送り、プロジェクタ261からの単一画像141をプロジェクタ262からの対象241に合わせて設置板17の平面部171に投影する。位置合わせの方法は第1実施形態と同じでよい。
その後、再生処理部251が単一画像141をプロジェクタ261に送り、対象241をプロジェクタ262に送り、単一画像141を対象241に合わせて設置板17の平面部171に投影しつつ、画像処理によって単一画像141および対象241の少なくとも一方を移動させることで、単一画像141の輝度成分パターン141aと対象241の対象パターンとの間の位置関係を変化させる。例えば、第1実施形態やその変形例で説明したように、単一画像141を移動させることで、単一画像141の輝度成分パターン141aと対象241の対象パターンとの間の位置関係を変化させる。あるいは、単一画像141を移動させずに(図7B)、対象241のみをa−b方向に振動させ(図7A)、それらを重ね合わせて投影してもよい(図7C)。単一画像141と対象241との両方を振動させてもよい。例えば、対象241をa−b方向に振動させ(図8A)、それよりも大きな振幅で単一画像141をa−b方向に振動させ(図8B)、それらを重ね合わせて投影してもよい(図8C)。これにより対象241が実際よりも大きく動いてみえるように錯覚させることができる。逆に、対象241をa−b方向に振動させ(図9A)、それよりも小さな振幅で単一画像141をa−b方向に振動させ(図9B)、それらを重ね合わせて投影してもよい(図9C)。これにより対象241が実際よりも小さく動いてみえるように錯覚させることができる。その他、対象241をa−b方向に振動させつつ、そこに静止した単一画像141を投影すると、対象241の振動が弱まったり、止まって見えたりする。本形態でも、対象パターン18aに対する輝度成分パターン141aの相対位置は所定の範囲に制限される。すなわち、単一画像141および対象241の少なくとも一方の動きは、対象パターン18aの近傍に輝度成分パターン141aが位置する範囲内に制限される。
<本形態の特徴>
本形態でも、第1実施形態と同様、従来よりも簡易に、対象241に動きが与えられているように知覚させることができる。さらに、実際に動いている対象241と単一画像141とを重ねて投影することで、対象241の動きが実際と異なるように知覚させることもできる。
[第2実施形態の変形例1]
単一画像141の輝度成分パターン141aの一部の領域のみを対象241の対象パターンの一部の領域に重畳させ、これらの間の位置関係を変化させることで、対象241の対象パターンの一部の領域のみに動き印象を与えてもよい。
[第2実施形態の変形例2]
単一画像141および対象241の少なくとも一方の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン141aと対象241の対象パターンとの間の位置関係を変化させてもよい。
[第3実施形態]
単一画像141を投影するのではなく、透過性のある単一画像141を透過型ディスプレイに表示してもよい。図10に例示するように、本形態の映像表示システムは、映像表示装置35、透過型ディスプレイ36、設置板17、および対象18を有する。映像表示装置35は、再生処理部151および記憶部152を有する。透過型ディスプレイ36の一方の面361は、設置板17の対象18側(平面部171側)に対向配置される。この場合には、まず位置合わせのために、再生処理部151が単一画像141を透過型ディスプレイ36に送り、透過型ディスプレイ36で透過性のある単一画像141を表示する。見た目で位置合わせを行う場合、観察者が透過型ディスプレイ36の他方の面362側からA方向を閲覧し、透過型ディスプレイ36に表示された透過性のある単一画像141と対象18との重なり具合を調整する。調整の方法は第1実施形態と同じである。その後、再生処理部151が単一画像141を透過型ディスプレイ36に送り、透過型ディスプレイ36で単一画像141を表示しつつ(図2B)、画像処理によって単一画像141を前述のように移動させる(図2C)。これにより、透過型ディスプレイ36の他方の面362側(A方向)から見ると、単一画像141と対象18とが重畳した状態で、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係が変化する(図3B)。A方向から透過型ディスプレイ36を閲覧する観察者は、対象18に動きが与えられたように知覚する。
[第3実施形態の変形例1]
この場合も、輝度成分パターン141aの一部の領域のみを対象パターン18aの一部の領域に重畳させつつ動かし、この対象パターン18aの一部の領域のみに動き印象を与えてもよい。単一画像141の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、輝度成分パターン141aと対象パターン18aとの間の位置関係を変化させてもよい。透過型ディスプレイ36を機械的に動かすことによって単一画像141を移動させ、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。あるいは、対象18を機械的に動かし、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。その他、透過型ディスプレイ36および対象18を機械的に動かし、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係を変化させてもよい。本変形例でも、対象パターン18aに対する輝度成分パターン141aの相対位置は所定の範囲に制限される。すなわち、単一画像141および対象241の少なくとも一方の動きは、対象パターン18aの近傍に輝度成分パターン141aが位置する範囲内に制限される。
[第3実施形態の変形例2]
単一画像141および対象18を同じディスプレイに表示してもよい。すなわち、同じディスプレイ上で単一画像141を対象18に重畳させて表示し、単一画像141および対象18の少なくとも一方を動かし、単一画像141が含む輝度成分パターン141aと対象18が含む対象パターン18aとの間の位置関係を変化させてもよい。
[第3実施形態の変形例3]
単一画像141に代えて透過性のある対象18を透過型ディスプレイ36に表示し、設置板17の平面部171に単一画像141を印刷、描画、表示、または投影してもよい。透過型ディスプレイ36で対象18を表示しつつ、画像処理によって対象18を移動させる。これにより、透過型ディスプレイ36の他方の面362側(A方向)から見ると、単一画像141と対象18とが重畳した状態で、単一画像141の輝度成分パターン141aと対象18の対象パターン18aとの間の位置関係が変化する。A方向から透過型ディスプレイ36を閲覧する観察者は、対象18の動きが小さくなったように知覚する。
[第4実施形態]
第1実施形態と同様な透過性のある単一画像を透明フィルムに印刷し、その背後から光を当てて対象に投影し、それらの間の位置関係を変化させてもよい。これにより、プロジェクタやディスプレイといった映像表示装置を用いないで、対象の動き印象を変調できる。
<映像投影システムの構成>
図11に例示するように、本形態の映像投影システムは、映像投影装置45、投影装置46、設置板47、および対象18を有する。映像投影装置45は、再生処理部451、駆動部453、および記憶部452を有する。映像投影装置45は、例えば、上述のコンピュータが所定のプログラムを実行することで構成される装置である。投影装置46は、光源461、単一画像透過部材462、および凸レンズ464を有する。光源461はLED等である。単一画像透過部材462は、透明フィルムに透過性のある単一画像141(図2B)を印刷したものである。設置板47は平面部471を有する板であり、対象18は平面部431に固定された印刷物である。光源461からの光は単一画像透過部材462に入射し、単一画像透過部材462を透過した出射光は凸レンズ464で集光されて対象18に投影される。これにより、単一画像141が対象18に重畳できる。単一画像141と対象18とは事前に位置合わせされている。位置合わせの方法は第1実施形態と同じである。また、光源461から対象18までの光路に存在する部材(光源および「対象」を含む)の少なくとも何れかに関する機構を機械的に動かすことが可能である。すなわち、光源461、単一画像透過部材462、凸レンズ464、および対象18の何れかに関する機構を機械的に動かすことができる。映像投影装置45の記憶部452には、光源461から対象18までの光路に存在する部材の少なくとも何れかに関する機構を機械的に動かすための制御情報が格納されている。
<映像投影処理>
光源461が点灯すると、その光は単一画像透過部材462に入射し、単一画像透過部材462を透過した出射光は凸レンズ464で集光されて対象18に投影される。これにより、単一画像141が対象18に重畳される。また再生処理部451は記憶部452から制御情報を抽出し、それに基づく制御信号を駆動部453に送る。駆動部453は、入力された制御信号に基づいて、光源461から対象18までの光路に存在する部材の少なくとも何れかに関する機構を機械的に動かす。これにより、単一画像141を対象18に重畳させた状態で、単一画像141が含む画像領域の輝度成分パターン141aと対象18が含む対象パターン18aとの間の位置関係(相対位置)を変化させる。本形態でも、対象パターン18aに対する輝度成分パターン141aの相対位置は所定の範囲に制限される。すなわち、単一画像141および対象241の少なくとも一方の動きは、対象パターン18aの近傍に輝度成分パターン141aが位置する範囲内に制限される。
光源461から対象18までの光路に存在する部材の機構であれば、どの機構を機械的に動かしてもよい。例えば、光源461と対象18の位置は固定とし、単一画像透過部材462だけを可動式にする構成が考えられる。単一画像透過部材462の動かし方は複数想定される。例えば、単一画像透過部材462を対象18と略平行(例えば、Y軸方向、Z軸方向、Y−Z平面方向)に移動(例えば、振動)させたり、単一画像透過部材462の対象18からの距離を変えたり、単一画像透過部材462を回転(例えば、対象18と略平行なY−Z平面での回転(Y軸と略平行な回転軸を中心とした回転)、Y−Z平面上の任意の回転軸を中心とした回転、それらを混合した回転)させたり、外力で単一画像透過部材462を曲げることで、投影された単一画像141と対象18との位置関係を変化させ、前述のように対象18の動きを変調させることができる。例えば、単一画像透過部材462(図12A)をZ軸方向に振動させた場合(図2C)、第1実施形態と同様に、単一画像141の輝度成分パターン141aが対象18の対象パターン18aに対して空間的に位置づれし、対象18がZ軸方向に振動しているように知覚させることができる(図3B)。例えば、単一画像透過部材462(図12A)をY軸と略平行な回転軸を中心として回転させた場合(図12Bおよび図12C)、対象18に投影された単一画像141は、対象18の対象パターン18aに対してZ軸方向へ圧縮される動きと、元の形状への復元する動きとを行う。これにより、対象18がZ軸方向へ圧縮したり、元の形状へ復元したりする動きを知覚させることができる。例えば、単一画像透過部材462(図13A)にZ軸方向の力を加えて湾曲させた場合(図13Bおよび図13C)、対象18に投影された単一画像141は、対象18に対してZ軸方向へ圧縮される動きと、元の形状への復元する動きとを行う。これによっても、対象18がZ軸方向へ圧縮したり、元の形状へ復元したりする動きを知覚させることができる。あるいは、凸レンズ464をX軸と略平行に動かして焦点を変化させてもよいし、凸レンズ464をY−Z平面と略平行に移動させてもよいし、凸レンズ464を回転(例えば、Y−Z平面上の任意の回転軸を中心とした回転)させてもよい。
光源461と単一画像透過部材462を同期して動かしてもよい。つまり、光源461と単一画像透過部材462を一体化し、同期して動くようにしてもよい。また、単一画像透過部材462と設置板47を互いに独立に動かしたり、一体化した光源461および単一画像透過部材462を動かし、それと独立に設置板47を動かしたりしてもよい。例えば、対象18をZ軸方向に振動させ、それよりも大きな振幅で単一画像141をZ軸方向に振動させ、それらを重ね合わせて投影するように制御されてもよい。これにより対象18が実際よりも大きく動いてみえるように錯覚させることができる。ただし、対象18の振動の周波数と単一画像14の振動の周波数とが同一または近似することが望ましい。逆に、対象18をZ軸方向に振動させ、それよりも小さな振幅で単一画像141をZ軸方向に振動させ、それらを重ね合わせて投影するように制御されてもよい。これにより対象18が実際よりも小さく動いてみえるように錯覚させることができる。この場合も、対象18の振動の周波数と単一画像14の振動の周波数とが同一または近似することが望ましい。その他、対象18をZ軸方向に振動させつつ、そこに静止した単一画像141を投影すると、対象18の振動が弱まったり、止まって見えたりする。
<本形態の特徴>
本形態でも従来よりも簡易に、対象18に動きが与えられているように知覚させたり、対象18の動きを変調させたりできる。特に本形態では、プロジェクタや液晶モニターなどの映像表示機器を利用せずに、フィルムや光源などの安価な部材のみを用いて対象18に動きが与えられているように知覚させたり、対象18の動きを変調させたりできる。例えば、美術館の絵画や、食品サンプルなどに対して動きの印象を与えたり、見かけの印象や質感を変えたりしたいときに、安価で簡易な装置を提案することができる。この点から、インテリアや芸術面など幅広い分野での普及が期待される。
[第4実施形態の変形例1]
本形態では、透明フィルムに透過性のある単一画像141(図2B)を印刷した単一画像透過部材462を用いた。第1実施形態で説明したように、単一画像141はグレースケール化した単一画像140’を高空間周波数フィルタリングして得られた画像である。しかし、単一画像141に代えてグレースケール化前の透過性のある単一画像や高空間周波数フィルタリング前の透過性のある単一画像を透明フィルムに印刷した単一画像透過部材462を用いてもよい。
[第4実施形態の変形例2]
対象18が固定された設置板47に代えて、透過性のある材質の板(例えば、プラスチック板やガラス板)に透過性のある対象18を印刷した対象透過部材47’を用いてもよい。この場合、観察者は単一画像141が対象18に重畳し、単一画像141と対象18との相対位置が変化する透過映像を、対象透過部材47’を通して見ることができる。
[第4実施形態の変形例3]
光源461に代えて太陽光や環境光などの自然光を用いてよい。この場合には自然光が単一画像透過部材462に入射し、単一画像透過部材462を透過した出射光は凸レンズ464で集光されて対象18に投影される。その他は第4実施形態およびその変形例1,2の何れかと同じでよい。
[第4実施形態の変形例4]
対象18が固定された設置板47に代えて、透過性のある材質の板(例えば、プラスチック板やガラス板)に透過性のある対象18を印刷した対象透過部材47’を用い、光源461を単一画像透過部材462の外側(図11における左側)ではなく、対象透過部材47’の外方(図11における右側)に配置してもよい。この場合には、光源461からの光が透過性のある対象18が印刷された対象透過部材47’に外方から入射し、対象透過部材47’を透過した出射光が凸レンズ464で集光されて単一画像透過部材462に投影される。これによっても単一画像透過部材462の単一画像と対象18とを重畳させることができ、光源461から単一画像透過部材462までの光路に存在する部材の少なくとも何れかに関する機構を機械的に動かすことで、対象18に動きの変化が与えられているように知覚させることができる。この場合も光源461に代えて自然光が用いられてもよい。単一画像透過部材462に代えて、単一画像が印刷、描画、表示等された透過性を持たない部材が用いられてもよい。
[第4実施形態の変形例5]
第4実施形態およびその変形例において凸レンズ464が省略されてもよいし、さらに上述の光路に別のレンズ(凹レンズ等)を介在させてもよい。
[その他の変形例等]
なお、本発明は上述の実施形態に限定されるものではない。例えば、対象14,18が上述の実施形態で述べた以外の印刷物、描画物、表示画像、表示映像、投影画像、投影映像、所定面を構成する素材の色合いに基づく柄や模様、平面物または立体物の表面形状に基づく模様、境界線、濃淡などであってもよい。上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
対象に動きの変化が与えられているように知覚させる映像のデータ構造であって、単一画像と当該対象とを重畳させた状態で、当該単一画像および当該対象の少なくとも一方を動かし、当該単一画像が含む画像領域の輝度成分パターンと当該対象が含む当該画像領域に対応するパターンとの間の位置関係を変化させる装置で用いる映像のデータ構造を流通させてもよい。また、対象に動きの変化が与えられているように知覚させるために当該対象に重畳させる映像のデータ構造であって、輝度成分パターンを含む単一画像の移動、拡大、縮小、回転、および湾曲の少なくとも何れかである複数の画像からなり、装置で投影または表示される映像のデータ構造を流通させてもよい。データ構造の流通は、例えば、そのデータ構造を記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行ってもよいし、インターネット等のネットワーク上のサーバコンピュータにそのデータ構造をアップロードし、そこから配信することによって行ってもよい。
上述のようにコンピュータ上で所定のプログラムを実行させて実現された処理機能の少なくとも一部がハードウェアで実現されてもよい。
11 映像生成装置
12,46 撮影装置
14,18 対象
15,25,45 映像投影装置
35 映像表示装置
16,261,262 プロジェクタ
36 透過型ディスプレイ
141 単一画像

Claims (17)

  1. 対象に動きの変化が与えられているように知覚させる装置であって、
    単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる装置。
  2. 請求項1の装置であって、
    前記単一画像および前記対象の少なくとも一方の移動、拡大、縮小、回転、および湾曲の少なくとも何れかにより、前記画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる装置。
  3. 請求項1または2の装置であって、
    前記画像領域の輝度成分パターンが前記対象に含まれる前記画像領域に対応するパターンの近傍に重ねられる、装置。
  4. 請求項1から3の何れかの装置であって、
    前記画像領域は、高空間周波数成分が低空間周波数成分よりも優位に知覚される領域である、装置。
  5. 請求項1から4の何れかの装置であって、
    前記単一画像が輝度成分のみからなる、装置。
  6. 対象に動きの変化が与えられているように知覚させる映像投影装置であって、
    単一画像を前記対象に投影し、前記単一画像を動かすことで前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる映像投影装置。
  7. 対象に動きの変化が与えられているように知覚させる映像投影システムであって、
    前記対象を投影する第1映像投影装置と、
    単一画像を前記対象に投影する第2映像投影装置と、を有し、
    前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる映像投影システム。
  8. 対象に動きの変化が与えられているように知覚させる映像表示装置であって、
    単一画像と前記対象とを重畳させて表示し、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる映像表示装置。
  9. 対象に動きの変化が与えられているように知覚させるために前記対象に重畳させる映像を生成する映像生成装置であって、
    輝度成分パターンを含む単一画像を得、
    前記単一画像の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数の画像を前記映像として出力する映像生成装置。
  10. 対象に動きの変化が与えられているように知覚させる方法であって、
    単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる方法。
  11. 対象に動きの変化が与えられているように知覚させる方法であって、
    単一画像を前記対象に投影し、前記単一画像を動かすことで前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる方法。
  12. 対象に動きの変化が与えられているように知覚させる方法であって、
    前記対象を投影し、
    単一画像を前記対象に投影し、
    前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる方法。
  13. 対象に動きの変化が与えられているように知覚させる方法であって、
    単一画像と前記対象とを重畳させて表示し、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる方法。
  14. 対象に動きの変化が与えられているように知覚させるために前記対象に重畳させる映像を生成する方法であって、
    輝度成分パターンを含む単一画像を得、
    前記単一画像の移動、拡大、縮小、回転、および湾曲の少なくとも何れかによって得られる複数の画像を前記映像として出力する方法。
  15. 請求項10から14の何れかの方法の処理をコンピュータに実行させるためのプログラム。
  16. 対象に動きの変化が与えられているように知覚させる映像のデータ構造であって、
    単一画像と前記対象とを重畳させた状態で、前記単一画像および前記対象の少なくとも一方を動かし、前記単一画像が含む画像領域の輝度成分パターンと前記対象が含む前記画像領域に対応するパターンとの間の位置関係を変化させる装置で用いる映像のデータ構造。
  17. 対象に動きの変化が与えられているように知覚させるために前記対象に重畳させる映像のデータ構造であって、
    輝度成分パターンを含む単一画像の移動、拡大、縮小、回転、および湾曲の少なくとも何れかである複数の画像からなり、装置で投影または表示される映像のデータ構造。
JP2016024299A 2016-02-12 2016-02-12 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム Active JP6466354B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016024299A JP6466354B2 (ja) 2016-02-12 2016-02-12 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016024299A JP6466354B2 (ja) 2016-02-12 2016-02-12 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018159139A Division JP2018197879A (ja) 2018-08-28 2018-08-28 データ構造

Publications (2)

Publication Number Publication Date
JP2017142407A true JP2017142407A (ja) 2017-08-17
JP6466354B2 JP6466354B2 (ja) 2019-02-06

Family

ID=59627333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016024299A Active JP6466354B2 (ja) 2016-02-12 2016-02-12 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP6466354B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052741A (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP2020052245A (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 錯覚呈示システム、および錯覚呈示方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276561A (ja) * 2008-05-14 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置及び映像表示システム
JP2015007883A (ja) * 2013-06-25 2015-01-15 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
WO2015163317A1 (ja) * 2014-04-22 2015-10-29 日本電信電話株式会社 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009276561A (ja) * 2008-05-14 2009-11-26 Sanyo Electric Co Ltd 投写型映像表示装置及び映像表示システム
JP2015007883A (ja) * 2013-06-25 2015-01-15 日本電信電話株式会社 映像生成装置、映像生成方法、プログラム
WO2015163317A1 (ja) * 2014-04-22 2015-10-29 日本電信電話株式会社 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Focus on the News", NTT技術ジャーナル 第27巻 第5号, vol. 第27巻, JPN6018023406, 1 May 2015 (2015-05-01), JP, pages 第69-70頁 *
河邉 隆寛 TAKAHIRO KAWABE: "R&Dホットコーナー ソリューション", NTT技術ジャーナル 第27巻 第9号, vol. 第27巻, JPN6018023404, 1 September 2015 (2015-09-01), JP *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052741A (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
WO2020066676A1 (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP2020052245A (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 錯覚呈示システム、および錯覚呈示方法
WO2020066675A1 (ja) * 2018-09-27 2020-04-02 日本電信電話株式会社 錯覚呈示システム、および錯覚呈示方法
JP7035936B2 (ja) 2018-09-27 2022-03-15 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
JP7063216B2 (ja) 2018-09-27 2022-05-09 日本電信電話株式会社 錯覚呈示システム、および錯覚呈示方法

Also Published As

Publication number Publication date
JP6466354B2 (ja) 2019-02-06

Similar Documents

Publication Publication Date Title
Grundhöfer et al. Recent advances in projection mapping algorithms, hardware and applications
US11049476B2 (en) Minimal-latency tracking and display for matching real and virtual worlds in head-worn displays
Nayar et al. Programmable imaging: Towards a flexible camera
TWI692967B (zh) 影像裝置
JP5224721B2 (ja) 映像投影システム
Bimber et al. The visual computing of projector-camera systems
JP3450833B2 (ja) 画像処理装置及びその方法並びにプログラムコード、記憶媒体
US20050243290A1 (en) Enhanced resolution projector
WO2015163317A1 (ja) 映像表示装置、映像投影装置、動的錯覚呈示装置、映像生成装置、それらの方法、データ構造、プログラム
KR20060039896A (ko) 왜곡없는 실시간 이미징을 구현하는 파노라마 비디오시스템
US11398007B2 (en) Video generation device, video generation method, program, and data structure
KR101793192B1 (ko) 다수의 프로젝터를 이용한 증강현실 구현장치 및 그 방법
Riecke et al. Selected technical and perceptual aspects of virtual reality displays
CN114071104B (zh) 基于着色器实现多投影机投影渐变融合的方法
JP6466354B2 (ja) 装置、映像投影装置、映像投影システム、映像表示装置、映像生成装置、それらの方法、およびプログラム
JP6430420B2 (ja) 情報呈示システム、および情報呈示方法
JP2020501424A (ja) 撮像システム、およびコンテキスト画像とフォーカス画像とを作成する方法
JP6461836B2 (ja) 対象に動きの変化が与えられているように知覚させる装置、およびその方法
Zhou et al. Light field projection for lighting reproduction
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
JP2018197879A (ja) データ構造
Amano Manipulation of material perception with light-field projection
Iwai Computational imaging in projection mapping
Iwai Projection mapping technologies: A review of current trends and future directions
EP3848906A1 (en) Method for editing an image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190109

R150 Certificate of patent or registration of utility model

Ref document number: 6466354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150