JP2000352761A - 映像投射装置及び方法並びに映像投射制御装置 - Google Patents

映像投射装置及び方法並びに映像投射制御装置

Info

Publication number
JP2000352761A
JP2000352761A JP11164445A JP16444599A JP2000352761A JP 2000352761 A JP2000352761 A JP 2000352761A JP 11164445 A JP11164445 A JP 11164445A JP 16444599 A JP16444599 A JP 16444599A JP 2000352761 A JP2000352761 A JP 2000352761A
Authority
JP
Japan
Prior art keywords
image
curved surface
marker
mask
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP11164445A
Other languages
English (en)
Other versions
JP3978938B2 (ja
Inventor
Binsteddo Kim
ビンステッド キム
Nielsen Frank
ニールセン フランク
Pinanezu Claudio
ピンアネズ クラウディオ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US09/762,734 priority Critical patent/US6554431B1/en
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP16444599A priority patent/JP3978938B2/ja
Priority to PCT/JP2000/003701 priority patent/WO2000077572A1/ja
Priority to DE60043140T priority patent/DE60043140D1/de
Priority to EP00935576A priority patent/EP1107052B1/en
Publication of JP2000352761A publication Critical patent/JP2000352761A/ja
Application granted granted Critical
Publication of JP3978938B2 publication Critical patent/JP3978938B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor

Abstract

(57)【要約】 【課題】 固定された平面以外にも映像を投射できるよ
うにする。 【解決手段】 映像を投射する対象の曲面の位置を検出
するための撮像手段として用いられるカメラ１と、カメ
ラ１からの撮像信号に基づいて曲面のマーカーを追跡す
るマーカー追跡部３１、曲面の姿勢及び／又は位置を予
測する姿勢／位置予測部３２、曲面の姿勢及び／又は位
置に基づいて画像を作成する画像作成部３３を有するコ
ンピュータ３と、コンピュータ３からの映像を対象の曲
面に投射するプロジェクタ２とから構成される。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、３次元の曲面に映
像を投射する映像投射装置及び方法、並びに３次元の曲
面に対する映像の投射を制御する映像投射制御装置に関
する。
【０００２】
【従来の技術】従来、例えばいわゆるオーバヘッドプロ
ジェクタのように、固定された平面の対象に対して、静
止した映像を投射する映像投射装置が提供されている。
また、例えばフィルム投射装置のように、固定された平
面の対象に対して、動画の映像を投射する映像投射装置
が提供されている。
【０００３】
【発明が解決しようとする課題】このように、従来の映
像投射装置は、静止した平面の対象に対して映像を投射
するものであった。このため、従来の映像投射装置の応
用範囲は、限られたものであった。
【０００４】本発明は、上述の課題を解決するために提
案がなされるものであって、固定した平面以外の対象に
対しても映像を投射することができるような映像投射装
置及び方法、並びに係る映像の投射を制御する映像投射
制御装置に関する。
【０００５】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る映像投射装置は、移動する３次元の
曲面に対して映像を投射する映像投射装置であって、上
記曲面の位置を検出する位置検出手段と、上記曲面に映
像を投射する投射手段と、上記曲面に投射する映像を作
成し、上記位置検出手段で検出した上記曲面の位置に基
づいて、作成した映像を上記投射手段で上記曲面に投射
するように制御する制御手段とを有するものである。
【０００６】本発明に係る映像投射方法は、移動する３
次元の曲面に対して映像を投射する映像投射方法であっ
て、上記曲面の位置を検出し、上記曲面に投射する映像
を作成し、検出した上記曲面の位置に基づいて、作成し
た映像を上記曲面に投射するものである。
【０００７】本発明に係る映像投射制御装置は、移動す
る３次元の曲面に対する映像の投射を制御する映像投射
制御装置であって、入力された上記曲面の位置に基づい
て、上記曲面に投射する映像を作成し、作成した映像が
上記曲面に投射されるように制御するものである。
【０００８】
【発明の実施の形態】以下、本発明を適用した映像投射
装置の実施の形態について、図面を参照して説明する。
【０００９】本実施の形態の映像投射装置は、図１に示
すように、映像を投射する対象の曲面（surface）の位
置や向きなどを検出するための撮像手段として用いられ
るカメラ１と、カメラ１からの撮像信号に基づいて投射
しようとする映像に処理を施すコンピュータ３と、コン
ピュータ３からの映像を対象の曲面に投射するプロジェ
クタ２とを有する。
【００１０】本実施の形態の映像投射装置は、例えば図
２に示すような態様にて使用される。本実施の形態で
は、映像を投射する対象である曲面は、人１０が装着し
た仮面１１を想定している。仮面１１はプロジェクタ２
から投射されたイメージを映し出すように例えば白い色
であることが望ましいが、これに限られるものではな
い。図中では、対象の人１０と所定の距離だけ離れて、
机１０１の上にカメラ１、プロジェクタ２及びコンピュ
ータ３からなる映像投射装置が設置されている。
【００１１】映像投射装置においては、カメラ１は、人
１０が頭部に装着した仮面１１を撮像して映像信号を出
力する。コンピュータ２は、カメラ１からの映像信号か
ら仮面１１の姿勢（attitude）や位置を検出し、仮面１
１の位置に基づいての顔の映像を作成する。プロジェク
タ２は、コンピュータ３が作成した顔の映像を仮面１１
に投射する。人１０は、表情制御信号入力装置１２によ
って仮面に投射される顔の映像の表情などを制御するこ
とができる。
【００１２】図２では、表情制御信号入力装置１２に
は、リモートコントローラのような装置が描かれている
が、もちろん表情制御信号入力装置１２は、直接コンピ
ュータ３に結合されていてもよい。例えばキーボードの
ようなものも、この表情制御信号入力装置１２として使
用することは可能である。
【００１３】図１の映像投射装置を構成するカメラ１
は、３次元の曲面である仮面１１から入射する映像を２
次元の映像フレームにて検出するものである。カメラ１
としては、例えば、撮像素子として複数の電荷結合素子
（charge coupled device; CCD）を２次元方向に配列し
てなる、いわゆるＣＣＤ撮像素子を利用することができ
る。カメラ１は、例えばＮＴＳＣ（national televisio
n system commitee）方式よる映像信号を出力する。
【００１４】コンピュータ３は、仮面１１上のマーカー
の位置を検出して仮面１１を追跡するマーカー追跡部３
１と、仮面１１の方向や位置などの姿勢及び／又は位置
を予測する姿勢／位置予測部３２と、姿勢／位置予測部
３２において予測された姿勢及び／又は位置に基づいて
映像を作成する映像作成部３３と、表情制御入力装置１
２から送られた制御信号に応じて映像作成部３３にパラ
メータを出力するパラメータ出力部３４とを有してい
る。
【００１５】コンピュータ３としては、例えばいわゆる
パーソナルコンピュータを利用することができる。この
場合は、マーカー追跡部３１、姿勢／位置予測部３２、
映像作成部３３及びパラメータ出力部３４の各部分は、
コンピュータ３上で実行されるプログラムの機能ブロッ
クとして実現される。
【００１６】プロジェクタ２は、コンピュータ１からの
映像を、３次元の曲面である仮面１１に投射するもので
ある。プロジェクタ２としては、例えば、陰極線管（ca
thode ray tube）及び対物レンズを有してなるいわゆる
ビデオプロジェクタを利用することができる。
【００１７】表情制御入力装置１２は、ユーザにより仮
面１１に投射される顔の表情を制御する制御信号が入力
され、入力された信号をコンピュータ３に送信するもの
である。表情制御入力装置１２は、入力された制御信号
を例えば赤外線に変調してコンピュータ３に送信する。
【００１８】続いて、上述した映像投射装置を、複数の
コンピュータがネットワークにより接続されてなるいわ
ゆる分散処理系において実現した具体例を、図３を参照
して説明する。なお、簡単のために、この具体例におい
ては、図１に示した映像投射装置に対応する部分につい
ては、同一の符号を付することにする。
【００１９】図３は、この分散処理系の一部を示すもの
である。図中では、ネットワーク１０には、第ｉのコン
ピュータ３i及び第ｊのコンピュータ３jが接続されてい
る。
【００２０】ネットワーク１０は、例えばいわゆるＬＡ
Ｎ（local area network）であり、具体的には例えばい
わゆるイーサネット（ether net）により構成すること
ができる。
【００２１】ネットワーク１０に接続されたコンピュー
タの内で、第ｉのコンピュータ３iは、映像投射装置と
して用いられる。第ｉのコンピュータ３iは、中央処理
部４、ＲＯＭ５及びＲＡＭ６をそれぞれ備えている。コ
ンピュータ３iとしては、例えば自立型のパーソナルコ
ンピュータを用いることができる。
【００２２】映像投射装置として用いられる第ｉのコン
ピュータ３iは、ネットワーク１０に通信装置２３を介
して接続されると共に、カメラ１、プロジェクタ２、入
力装置１２及び受信装置２２が接続されている。
【００２３】通信装置２３は、第ｉのコンピュータ３i
とネットワーク１０の間でのデータの送受を調整する。
この通信装置２３には、例えばネットワークインターフ
ェース装置が用いられる。例えば、ネットワーク１０と
していわゆるイーサネットが用いられるときには、通信
装置２３としてはいわゆるイーサネットコントローラが
用いられる。
【００２４】入力装置１２としては、例えばキーボード
が用いられ、第ｉのコンピュータ３iに対してユーザに
よりデータが入力される。
【００２５】受信装置２２は、リモートコントローラ２
１から送られた信号を受信して第ｉのコンピュータ３i
に送る。受信装置２２は、リモートコントローラ２１か
ら赤外線により送られた信号を検出する光検出部を有
し、この光検出部で検出した信号を復調して第ｉのコン
ピュータ３iに送る。この受信装置２２としては、例え
ばパラレルインターフェース装置が用いられる。
【００２６】また、第ｉのコンピュータ３iには、例え
ばハードディスクドライブのような外部記憶装置７と、
例えばいわゆるＣＤ−ＲＯＭドライブのような可搬記憶
装置８とが接続されている。
【００２７】外部記憶装置８は、大容量の記憶装置であ
り、例えばカメラ１により撮像された映像データが記憶
される。可搬記憶装置８は、可搬媒体にデータを記憶す
るものである。可搬媒体には、例えば、第ｉのコンピュ
ータ３iを映像投射装置として利用するために必要な制
御プログラムが記憶される。
【００２８】第ｉのコンピュータ３iが映像投射装置と
して利用される際には、ＲＡＭ６上にこの第ｉのコンピ
ュータ３iを映像投射装置として制御するための制御プ
ログラムが読み込まれる。ＣＰＵ４は、この制御プログ
ラムを実行することにより、第ｉのコンピュータ３iを
映像投射装置として動作させる。
【００２９】第ｉのコンピュータ３iにおいては、図１
に示した映像投射装置におけるマーカー追跡部３１、姿
勢／位置予測部３２、映像作成部３３及びパラメータ出
力部３４は、ＣＰＵ４により実行される制御プログラム
の機能ブロックに対応している。
【００３０】また、第ｉのコンピュータ３iにおいて
は、図１に示した映像投射装置における表情制御入力装
置１２は、リモートコントローラ２１又は入力装置１２
により実現される。すなわち、第ｉのコンピュータ３i
においては、表情を制御するための制御信号は、リモー
トコントローラ２１により遠隔入力されたり、第ｉのコ
ンピュータ３iに接続された例えばキーボードのような
入力装置１２に入力されたりする。
【００３１】なお、この具体例においては、画像作成な
どの映像投射に関する処理は、カメラ１及びプロジェク
タ２が接続された第ｉのコンピュータ３iにて実行して
いる。しかし、このような処理は、カメラ１及びプロジ
ェクタ２が接続された第ｉのコンピュータ３iで実行す
る必要は必ずしもない。例えば、第ｉのコンピュータ３
iにネットワーク１０を介して接続された第ｊのコンピ
ュータ３jにおいて実行することもできる。
【００３２】映像投射装置のプロジェクタ２からは、人
１０が装着した仮面１１に対して映像が投射される。仮
面１１を装着した人１０は、自由に移動するので、仮面
１１の位置も移動する。このため、移動する仮面１１を
検出する処理が必要になる。映像投射装置のコンピュー
タ３における、この仮面１１の検出の処理について説明
する。
【００３３】コンピュータ３は、図４に示すように、カ
メラ１にて撮像した仮面１１の映像からその位置を検出
し、コンピュータ３にて上記位置に基づいて映像を作成
し、プロジェクタ２にて作成した映像を、その位置の仮
面１１に投射する。
【００３４】仮面１１の位置の追跡の方法としては、雑
音及びデジタル化過程の連続性に非常に敏感な特徴点検
出のためのアルゴリズムを用いる代わりに、本実施の形
態においては、マーカー位置検出を用いており、マーカ
ーとして赤外線ＬＥＤを採用している。なお、マーカー
としては、他に赤外塗料や物理的マーカーを用いてもよ
い。
【００３５】このために、図４における仮面１１には、
図５に示すように、位置を検出するために、赤外線発光
ダイオード（light emitting diode; LED）による第１
のマーカー１２ａ、第２のマーカー１２ｂ、第３のマー
カー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー
１３が取り付けられている。第１のマーカー１２ａ、第
２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマ
ーカー１２ｄ及び第５のマーカー１３は、仮面１１を装
着した人１０が首を傾けるような通常の動作によって
は、重なることがないように配置されている。コンピュ
ータ３のマーカー追跡部３１は、第１のマーカー１２
ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第
４のマーカー１２ｄ及び第５のマーカー１３を追跡し、
仮面１１の位置を検出する。
【００３６】第１のマーカー１２ａ、第２のマーカー１
２ｂ、第３のマーカー１２ｃ、第４のマーカー１２ｄ及
び第５のマーカー１３は、赤外線以外の光を除く赤外線
フィルタをカメラ１１に取り付けることによって、撮像
された映像において容易に認識される。仮面１１が移動
しているため、赤外線フィルタを取り付けたカメラ１に
よって撮像された映像において、第１のマーカー１２
ａ、第２のマーカー１２ｂ、第３のマーカー１２ｃ、第
４のマーカー１２ｄ及び第５のマーカー１３は、画素が
集まったクラスタ（団塊、集団）として現れる。
【００３７】マーカー追跡部３１は、最初に第１のマー
カー１２ａ、第２のマーカー１２ｂ、第３のマーカー１
２ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に
対応するピクセルクラスタ（画素の集団）を検出する。
そして、マーカー追跡部３１は、各ピクセルクラスタに
ついて、ピクセルクラスタの中心となる点である「光源
点（source point）」を検出する。マーカー追跡部３１
は、光源点の検出を実時間で実行する。また、各光源点
にはラベルが付される。
【００３８】マーカー追跡部３１は、以上のように検出
された光源点を最終的には既知のパターンに適合させる
ことにより、仮面１１の位置を検出する。仮面は自由に
回転するので、回転により位置や向きが変化する光源点
を相互に識別するために、各光源点にはそれぞれの光源
点を示すラベルが付される。上記パターンは、光源点が
容易にラベルを付されるように曖昧にならないものが選
択され、記憶装置に記憶される。
【００３９】図５に示した四角形の仮面１１には、投射
される人の顔を基準として、顔の上部の辺の右端に第１
のマーカー１２ａ、顔の上部の辺に対向する辺である顔
の下部の辺の右端に第２のマーカー１２ｂ、上記下部の
辺の左端に第３のマーカー１２ｃ、上記上部の辺の右端
に第４のマーカー１２ｄ、及び上記上辺の中央に第５の
マーカー１３が取り付けられている。
【００４０】後述するように、仮面１１の３次元空間内
の位置の検出のためには、４個のマーカー、すなわち第
１のマーカー１２ａ、第２のマーカー１２ｂ、第３のマ
ーカー１２ｃ及び第４のマーカー１２ｄで十分である。
【００４１】第５のマーカー１３は、第１のマーカー１
２ａ及び第２のマーカー１２ｄと同じ直線上に位置する
共線（collinear）点として配置されているので、この
第５のマーカーによりラベル付けの曖昧さが除かれてい
る。すなわち、第５のマーカー１３は、第１のマーカー
１２ａ及び第４のマーカー１２ｄにて張る直線上にあ
り、第１のマーカー１２ａ及び第４のマーカー１２ｄに
て挟まれているので、容易に識別される。
【００４２】姿勢／位置予測部３２は、マーカー追跡部
３１で検出された仮面１１の位置に基づいて、仮面１１
の姿勢及び／又は位置を予測する。この姿勢／位置予測
部３２は、仮面１１の動きによる「シフト効果」の影響
を低減するものである。
【００４３】ここで、シフト効果とは、カメラ１におけ
る映像の撮像が離散的な時刻に行われるため、時刻ｔに
撮像された映像Ｃ（ｔ）に基づいて作成された映像を投
射するのは時刻ｔ＋Δｔとなるが、仮面の動きのため
に、時刻ｔでの仮面位置と時刻ｔ＋Δｔでの仮面位置と
は異なってしまい、プロジェクタ２から投射される映像
が仮面１１に対してずれたものとなるものである。
【００４４】このために、マーカー追跡部３１にて検出
された仮面１１の位置や、この仮面１１の位置に対応し
て作成される投射する映像の位置に誤差が生じることに
なる。
【００４５】姿勢／位置予測部３２行われた姿勢及び／
又は位置の予測に対してノイズ除去の処理が行われる。
このノイズ除去の処理には、ノイズフィルタが用いられ
る。
【００４６】このノイズフィルタとしては、自乗平均値
の平方根（root mean square; rms）規範に基づく最適
フィルタであるカルマン（Kalman）フィルタを用いるこ
とができる。
【００４７】カルマンフィルタは、ガウス型誤差を有す
る線形又はほぼ線形の系において、正確でないデータを
最適に使用し、系の現在状態の最良評価を連続的に更新
するものである。また、非線型の系に対しては、カルマ
ンフィルタを拡張した拡張カルマンフィルタが用いられ
る。本発明においては、発明が解決しようとする課題の
性質上、後者が用いられる。
【００４８】映像投射装置の映像作成部３３は、姿勢／
位置予測部３２で姿勢及び／又は位置が予測された結果
に基づいて、プロジェクタ２から仮面１１に投射する顔
の映像を作成する。このために必要となる投射される映
像の位置は、ホモグラフィーを用いて算出されるが、こ
れについては較正に関連して後に詳細に説明する。
【００４９】３次元の曲面である仮面１１に投射する仮
面の映像は、２次元の平面に投射する映像より注意深く
作成する必要がある。これは、計算上の仮想的な仮面に
おける隠れるべき面である隠面が、物理的な仮面１１に
現れてはならないからである。このためには、仮面の３
次元座標を求めて、上記隠面が仮面１１に投射されない
ようにする必要がある。映像の品質は、スプラッティン
グ（splatting）やディゴースティング（deghosting）
のような通常の技術によって改善される。
【００５０】映像作成部３３は、例えば、感情表現や、
発声に対する口唇の動きの同期や、表情や、性格などに
応じて顔の映像を作成する。これは、例えば仮面１１を
装着して使用するユーザである俳優の表現能力を高める
ものである。映像作成部３３は、仮面１１に投射する顔
の映像を、仮面１１を装着するユーザや、時間の経過
や、仮面１１に投射された映像を見た観客の反応などに
応じて変化させる。
【００５１】仮面１１に投射するために作成される顔の
映像においては、ユーザの発声に顔の口唇の開閉が同期
して動くするようになされている。口唇の動きは、ユー
ザの発声に基づいて、口唇の動きを予測することに行わ
れる。具体的には、母音は一般に口唇の大きな動きをも
って発声されることを用いて、母音に基づいて口唇の動
きが予測される。このような口唇の動きの予測は、母音
と口唇の動きとの関係を学習されたニューラルネットワ
ークによって行われる。このような技術は、例えば、Sh
igeo Morishima, Fumio Kawakami, Hiroshi Yamada, an
d Hiroshi Harashima. A modeling of facial expressi
on and emotion for recognition and synthesis. In P
roceedings of the Sixth International Conference o
n Human-Computer Interacion, volume I. Human and F
uture Computing of I.8 Nonverbal Communication, pa
ges 251-256, 1997. に開示されている。
【００５２】映像作成装置３３には、パラメータ出力部
３４を介して、ユーザが操作する表情制御入力装置から
の制御信号が入力している。映像作成部３３は、パラメ
ータ出力部３４から入力されるパラメータに応じて、作
成する顔の映像を変化させる。例えば、仮面１１を装着
した俳優のユーザが演劇を演じている場合には、表情入
力制御装置１２に対する入力操作により、仮面１１に投
射される顔の映像の表情を演技に応じて変化させること
ができる。 例えば、俳優は観客と対話しながら、その
対話に応じて仮面１１に投射される顔の表情を変化させ
ることができる。
【００５３】映像投射装置のパラメータ出力部３４は、
表情制御入力装置１２から送られた顔の映像の表情を制
御する制御信号を受信し、受信した内容をパラメータと
して映像作成部３３に出力する。パラメータ出力部３３
は、例えば表情制御入力装置１２から赤外線通信により
送られた制御信号を復調し、所定のパラメータとして出
力する。
【００５４】次に、３次元の曲面である仮面１１の映像
を撮像するカメラ１と、仮面１１に対して映像を投射す
るプロジェクタ２の位置関係の較正について、図６を参
照して説明する。
【００５５】プロジェクタ２は光の伝播方向が逆のカメ
ラ１とみなせることに注意すると、カメラ１とプロジェ
クタ２とから観測された点と点と位置関係は、カメラ１
及びプロジェクタ２に関して同等な関係を有するものと
みなすことができる。
【００５６】従って、カメラ１及びプロジェクタ２の間
の関係は、ホモグラフィー(homography)又は共線(colln
ear)による幾何学的な問題として取り扱うことができる
ようになる。
【００５７】ホモグラフィー又は共線とは、射影空間
（projective space）において入射関係（incidence re
lation）と直線性(straightness of lines)を保存する
ような線形関係を定義するものであって、３行３列の行
列として表現することができる。
【００５８】本実施の形態においては、カメラ１とプロ
ジェクタ２の幾何学的な位置関係は、全ての内在的（in
trinsic）及び外在的（extrinsic）なパラメータをその
まま計算することなく、陰に較正される。これにより、
パラメータをそのまま計算する場合に生じる弊害であ
る、膨大な計算量や誤りの発生を回避することができ
る。
【００５９】位置関係の較正は、静的な場合には、カメ
ラ１にて撮像した映像と、プロジェクタ２から投射する
映像とにおいて、３次元空間内の４個の点の射影が一致
する必要がある。カメラ１にて撮像した映像と、プロジ
ェクタ２から投射する映像との間で、対応する点の対が
４個よりも多い場合には、適合する点の最小自乗により
ホモグラフィーを適合させることができる。
【００６０】ホモグラフィーの関係は、プロジェクタ２
の映像の点ｐ1が、カメラ１の映像の映像の点ｐ2に、次
のように対応することを意味する。
【００６１】
【数１】
【００６２】ここで、同次座量（homogeneous coordina
tes）によると、 ｐ1〜（ｘ1／ｚ1，ｙ1／ｚ1） また、 ｐ2〜（ｘ2／ｚ2，ｙ2／ｚ2） である。
【００６３】実際には、位置関係の較正は、仮面１１に
投射された既知の固定パターン（仮面の映像）を、仮面
１１に描かれた対応する実のパターン（仮面自身）に手
動で一致させなければならないことを意味する。
【００６４】例えば、映像投射装置は、上記仮面１１に
対応する図５に示したスクリーン１４に取り付けられた
第１のマーカー１２ａ、第２のマーカー１２ｂ、第３の
マーカー１２ｃ、第４のマーカー１２ｄ及び第５のマー
カー１３を基準のパターンとして、カメラ１及びプロジ
ェクタ２に対するスクリーン１４の位置が調整される。
この較正の手順を、図７を参照して説明する。
【００６５】最初のステップＳ１１においては、プロジ
ェクタ２は、上記仮面１１の第１のマーカー１２ａ、第
２のマーカー１２ｂ、第３のマーカー１２ｃ、第４のマ
ーカー１２ｄ及び第５のマーカー１３にそれぞれ対応す
る、基準パターンを構成する第１の光源点、第２の光源
点、第３の光源点、第４の光源点および第５の光源点を
スクリーン１４に投射する。
【００６６】ステップＳ１２においては、プロジェクタ
２は、第１から第５の光源点が、スクリーン１４上に描
かれた上記仮面１１の第１のマーカー１２ａ、第２のマ
ーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー
１２ｄ及び第５のマーカー１３に対応する位置に一致す
るように、仮面１１に相当するスクリーン１４の位置が
調整される。
【００６７】なお、ここでは、スクリーン１４（仮面１
１）を動かして光源点とマーカーとを一致させる例を示
したが、スクリーン１４（仮面１１）を固定してプロジ
ェクタ２を動かすことにより一致させるようにしても、
両者を動かしてもよい。
【００６８】この調整は、プロジェクタ２から投射され
た第１から第５の光源点が、スクリーン１４（仮面１
１）の第１のマーカー１２ａ、第２のマーカー１２ｂ、
第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５
のマーカー１３に重なるようにユーザが目視により調整
することにより行われる。対応する第１から第５の光源
点と、上記仮面１１の第１のマーカー１２ａ、第２のマ
ーカー１２ｂ、第３のマーカー１２ｃ、第４のマーカー
１２ｄ及び第５のマーカー１３とが重なったことを確認
したユーザは、映像投射装置に設けられた「較正ボタ
ン」を押圧することにより、位置関係の較正が行われた
旨を入力する。なお「較正ボタン」は、キーボードなど
の入力キーによって実現してもよい。
【００６９】ステップＳ１３においては、スクリーン１
４の位置が調整されると、カメラ１にて撮像される第１
のマーカー１２ａ、第２のマーカー１２ｂ、第３のマー
カー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー
１３に対応する点ｃと、プロジェクタ２から投射される
第１から第５の光源点に対応する点ｐと間にホモグラフ
ィーが確立される。すなわち、３行３列のホモグラフィ
ーを表現する行列Ｈが算出される。算出された行列は、
以降で参照されるので、コンピュータ３内のメモリに保
存される。
【００７０】カメラ１にて撮像される点ｃ及びプロジェ
クタ２から投射される点ｐは、それぞれ第１のフレーム
２１及び第２のフレーム２２における射影の位置として
与えられる。これら第１のフレーム２１及び第２のフレ
ームにおいては、点ｃ及び点ｐは、例えば、カメラ１の
撮像素子やプロジェクタ２の画像素子における位置とし
て表現される。
【００７１】較正の操作が一旦終了すると、図８に示す
ように、映像投射装置は、カメラ１にて撮像した仮面１
１の映像と、プロジェクタ２にて投射する仮面の映像と
の間の幾何学的な対応関係を用いることができる。すな
わち、映像投射装置は、カメラ１にて撮像したスクリー
ン１４（仮面１１）の位置に基づいて映像を作成し、作
成した映像をスクリーン１４（仮面１１）に対応する位
置にプロジェクタ２にて投射することができる。
【００７２】続いて、画像投射装置の動作について、図
９を参照して説明する。画像投射装置においては、実際
には、移動する曲面である仮面１１に対して画像の投射
が行われるが、ここでは図６を参照して示した較正の操
作との対照のために、較正に用いたのと同一のスクリー
ン１４を用いることにする。
【００７３】最初のステップＳ２１においては、３次元
の曲面である仮面１１の映像を撮像するカメラ１と、仮
面１１に対して映像を投射するプロジェクタ２の位置関
係が較正される。このステップＳ２１においては、上述
した較正の処理を実行する。
【００７４】ステップＳ２２においては、カメラ１は、
スクリーン１４（仮面１１）の第１のマーカー１２ａ、
第２のマーカー１２ｂ、第３のマーカー１２ｃ、第４の
マーカー１２ｄ及び第５のマーカー１３を含む映像を撮
像する。
【００７５】ステップＳ２３においては、コンピュータ
３のマーカー追跡部３１は、マーカー位置を予測する。
すなわち、図１０に示すように、マーカー追跡部３１
は、ステップＳ３１において、スクリーン１４（仮面１
１）の第１のマーカー１２ａ、第２のマーカー１２ｂ、
第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５
のマーカー１３に対応する点ｃ（ｔ）の位置を観測して
検出する。これは、上述したように、点ｃ（ｔ）を表示
するピクセルクラスタから、その中心となる光源点を検
出することにより行われる。
【００７６】このように検出された点ｃ（ｔ）の観測値
ｃ~（ｔ）は、上述したホモグラフィーを表現する行列
Ｈにより、プロジェクタ２に対応する観測値ｐ~（ｔ）
に変換される。点ｐ（ｔ）の観測値ｐ~（ｔ）は、ノイ
ズを含んでいる。ここで、記号“~”は、その値が観測
値であることを示すものである。
【００７７】上述したホモグラフィーの行列Ｈによっ
て、時刻ｔにおけるカメラ１が撮像した第１のマーカー
１２ａ、第２のマーカー１２ｂ、第３のマーカー１２
ｃ、第４のマーカー１２ｄ及び第５のマーカー１３に対
応する点ｃ（ｔ）には、プロジェクタ２が投射する第１
のマーカー１２ａ、第２のマーカー１２ｂ、第３のマー
カー１２ｃ、第４のマーカー１２ｄ及び第５のマーカー
１３に対応する点ｐ（ｔ）が対応することになる。上記
変換は、この対応関係によるものである。
【００７８】ステップＳ３２においては、ステップＳ３
１において得た点ｐ（ｔ）の観測値ｐ~（ｔ）に基づい
て、２次元カルマンフィルタによる計算によりノイズが
除去されることにより、観測値ｐ~（ｔ）に基づいて１
サイクル進んだ時刻ｔ＋１における予測値ｐ（ｔ＋１）
が予測される。これは、後述するステップＳ２６におけ
る映像の作成及びステップＳ２７における映像の投射に
対応するために、時刻を１だけ進めたものである。そし
て、このステップＳ３２を終えると、処理はステップＳ
２３に戻る。
【００７９】このステップＳ３２における２次元カルマ
ンフィルタの計算は、２次元平面内の点の位置を表す観
測値ｍ~i（ｔ）（ｉ＝１，２，・・・，５）を２次元カ
ルマンフィルタで処理することにより、ノイズを除去し
た値ｍi（ｔ）を得るものである。ここで、観測値ｍ~i
（ｔ）はｐ~（ｔ）に対応し、ノイズを除去した値はｐ
（ｔ）に対応している。
【００８０】ステップＳ２４においては、コンピュータ
３の姿勢／位置予測部３２は、時刻ｔ＋１における予測
値ｐ（ｔ＋１）に基づいて、２次元情報から３次元情報
を作成する。
【００８１】上述したように、カメラ１から送られた２
次元平面内での位置から、３次元空間内での位置を求め
るためには、４個以上の点が必要である。本実施の形態
では第１のマーカー１２ａ、第２のマーカー１２ｂ、第
３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５の
マーカー１３という５個の点がスクリーン１４（仮面１
１）上に設けられているので、その２次元平面内の位置
から３次元空間内での位置を求めることができる。
【００８２】なお、ここではカメラ１にて撮像した点ｃ
（ｔ）からホモグラフィーにより変換したプロジェクタ
２に対応する点ｐ（ｔ）について処理を行っているが、
２次元情報から３次元情報を作成する処理は同様であ
る。
【００８３】ステップＳ２５においては、コンピュータ
３の位置／姿勢予測部３２は、ステップＳ２４で求めら
れた３次元情報に基づいて、仮面１１の姿勢及び／又は
位置を予測する。
【００８４】すなわち、図１１に示すように、ステップ
Ｓ４１において、位置／姿勢予測部３２は、ステップＳ
２４からの３次元情報に基づいて得られた仮面１１の姿
勢及び／又は位置を表す（Ｔ~，Ｒ~）を用い、３次元カ
ルマンフィルタにより位置及び姿勢の予測を行う。ここ
で、Ｔ~は変換ベクトルであり、Ｒ~は回転行列であっ
て、基準となる座標系に対する仮面１１の姿勢及び／又
は位置を示す座標系を変換及び回転によって表すもので
ある。
【００８５】そして、ステップＳ４１においては、３次
元カルマンフィルタの計算により、仮面の姿勢及び／又
は位置を表す予測値（Ｔ，Ｒ）が得られる。このステッ
プＳ４１における処理を終えると、処理はステップＳ２
５に戻る。
【００８６】ステップＳ２６においては、コンピュータ
３の映像作成部３３は、姿勢／位置予測部３２にて予測
された第１のマーカー１２ａ、第２のマーカー１２ｂ、
第３のマーカー１２ｃ、第４のマーカー１２ｄ及び第５
のマーカー１３に対応する点ｐ（ｔ＋１）の位置に基づ
いて、映像を作成する。
【００８７】ステップＳ２７においては、プロジェクタ
２は、ステップＳ２６にて作成した映像をスクリーン１
４に投射する。
【００８８】このような一連のステップにより、移動す
る曲面である仮面１１に対して、この仮面１１の姿勢及
び／又は位置予測された位置に応じて作成された映像を
投射することができる。
【００８９】次に、本発明の他の実施の形態について、
図１２を参照して説明する。この他の実施の形態は、映
像投射装置を移動させて利用する例を示すものである。
【００９０】他の実施の形態においては、映像投射装置
は、手押し車１０２の内部に配置されている。手押し車
１０２の内部に配置された画像投射装置は、カメラ１、
プロジェクタ２、コンピュータ３及び表情制御入力装置
１２から構成されている。画像投射装置を構成する各部
については、上述の実施の形態と同様であるので、ここ
での説明を省略する。
【００９１】手押し車１０２は、ユーザである人１０に
よりその一端を押されて移動される。手押し車１０２の
内部に配設されたカメラ１及びプロジェクタ２は、人１
０の頭部の方向をそれぞれ撮像方向及び投射方向として
いる。人１０は、頭部に仮面１１を装着している。プロ
ジェクタ２から投射された映像は人１０の仮面１１に投
射され、仮面１１はカメラ１によって撮像される。人１
０の仮面１１には、顔の表情の映像が投射される。
【００９２】人１０が手押し車１０２を押す持ち手の部
分には、仮面１１に投射される表情を制御する制御信号
が入力される表情制御入力装置１２が備えられている。
人１０は、表情制御入力装置１２を操作することによ
り、手押し車１０２を移動させつつ、その仮面に投射さ
れる表情を制御することができる。
【００９３】他の実施の形態は、次のような演劇に適用
することができる。手押し車１０２を、枕カバーやシー
ツなどのリネンを運ぶリネンカートに擬し、モーテール
のメイドに扮した俳優が演じる。俳優が頭部に装着した
仮面１１に投射される顔の表情は、話の調子、物語の内
容、観客との対話によって変化する。
【００９４】以上説明した実施の形態の映像投射装置
は、動画の顔の映像を、例えば俳優であるユーザが装着
した物理的な仮面に投射するものである。舞台のような
所定の領域で仮面１１が動くにつれて、その位置と方向
はカメラ１によって検知され、投射された映像も仮面１
１とともに移動する。仮面１１の向きなどの姿勢が変化
すると、投射された映像は観衆の視点を基準として変化
する。仮面１１に投射された顔の唇は、ユーザの声に実
時間で自動的に同期される。また、ユーザは、顔の表情
を制御することができる。
【００９５】なお、本実施の形態においては、マーカー
として赤外線ＬＥＤを例示したが、本発明は、これに限
定されない。マーカーには、例えば、赤外線塗料、磁性
体のような物理的なマーカーも利用することができる。
【００９６】また、上述の較正の操作においては、カメ
ラ１及びプロジェクタ２に対する対称である仮面１１の
位置を調整したが、本発明は、これに限定されない。例
えば、カメラ１、プロジェクタ２、仮面１１の少なくと
も２つや、これら全ての位置を調整することもできる。
【００９７】
【発明の効果】上述のように、本発明によると、移動す
る曲面に対して映像を投射することができる。従って、
例えば、俳優が装着した仮面に動画の顔の表情を投射す
ることにより、物語を演じる新しい方法を提供すること
ができる。すなわち、俳優が装着した仮面上に投射され
る顔の表情を所望の表情に制御することにより、俳優と
観衆に投射した映像を対応させることができる。
【図面の簡単な説明】
【図１】映像投射装置の概略的な構成を示すブロック図
である。
【図２】映像投射装置の使用状態の一例を示す図であ
る。
【図３】映像投射装置の具体例を示すブロック図であ
る。
【図４】映像投射装置にて仮面に映像を投射した状態を
示す図である。
【図５】仮面に取り付けられたマーカーを示す図であ
る。
【図６】映像投射装置の較正を説明する図である。
【図７】映像投射装置の構成の動作を示すフローチャー
トである。
【図８】映像投射装置におけるカルマンフィルタの使用
を説明する図である。
【図９】映像投射装置における映像の投射のステップを
示すフローチャートである。
【図１０】マーカー位置を予測するステップを示すフロ
ーチャートである。
【図１１】姿勢及び／又は位置を予測するステップを示
すフローチャートである。
【図１２】映像投射装置の他の実施の形態を示す図であ
る。
【符号の説明】
１ カメラ、２ プロジェクタ、３ コンピュータ、１
１ 仮面、１２ 表情制御入力装置
───────────────────────────────────────────────────── フロントページの続き (72)発明者 クラウディオ ピンアネズ 米国マサチューセッツ州ケンブリッジ エ イムズ通り20番地 ＭＩＴメディアラボラ トリ内 Ｆターム(参考） 5C058 AA01 BA27 BB25 EA02 EA33

Claims (14)

    【特許請求の範囲】
  1. 【請求項１】 移動する３次元の曲面に対して映像を投
    射する映像投射装置であって、 上記曲面の位置を検出する位置検出手段と、 上記曲面に映像を投射する投射手段と、 上記曲面に投射する映像を作成し、上記位置検出手段で
    検出した上記曲面の位置に基づいて、作成した映像を上
    記投射手段で上記曲面に投射するように制御する制御手
    段とを有することを特徴とする映像投射装置。
  2. 【請求項２】 上記制御手段は、上記投射手段から投射
    された２次元のパターンが、上記３次元の曲面のパター
    ンと一致するように初期化を行うことを特徴とする請求
    項１記載の映像投射装置。
  3. 【請求項３】 上記制御手段は、上記投射手段から投射
    された２次元のパターンが、上記曲面にパターンとして
    配設された少なくとも４個の点と一致するように初期化
    を行うことを特徴とする請求項２記載の映像投射装置。
  4. 【請求項４】 上記曲面にパターンとして配設された点
    は、発光体の点であることを特徴とする請求項３記載の
    映像投射装置。
  5. 【請求項５】 上記制御手段は、上記位置検出手段で検
    出した移動する上記曲面の位置を予測し、予測された位
    置に対応する映像を生成することを特徴とする請求項１
    記載の映像投射装置。
  6. 【請求項６】 上記制御手段で作成する映像は、人間の
    表情であることを特徴とする請求項１記載の映像投射装
    置。
  7. 【請求項７】 上記制御手段で作成する人間の表情が制
    御される制御信号が入力される入力手段をさらに有する
    ことを特徴とする請求項６記載の映像投射装置。
  8. 【請求項８】 移動する３次元の曲面に対して映像を投
    射する映像投射方法であって、 上記曲面の位置を検出し、 上記曲面に投射する映像を作成し、検出した上記曲面の
    位置に基づいて、作成した映像を上記曲面に投射するこ
    とを特徴とする映像投射方法。
  9. 【請求項９】 検出した移動する上記曲面の位置を予測
    し、予測された位置に対応する映像を生成することを特
    徴とする請求項８記載の映像投射方法。
  10. 【請求項１０】 検出した移動する上記曲面の位置に基
    づいて、カルマンフィルタを用いて上記曲面の姿勢及び
    ／又は位置予測を行うことを特徴とする請求項８記載の
    映像投射方法。
  11. 【請求項１１】 作成する映像は、人間の表情であるこ
    とを特徴とする請求項８記載の映像投射方法。
  12. 【請求項１２】 移動する３次元の曲面に対する映像の
    投射を制御する映像投射制御装置であって、 入力された上記曲面の位置に基づいて、上記曲面に投射
    する映像を作成し、作成した映像が上記曲面に投射され
    るように制御することを特徴とする映像投射制御装置。
  13. 【請求項１３】 入力された上記曲面の位置に基づいて
    上記曲面の位置を予測し、予測された位置に対応する映
    像を生成することを特徴とする請求項１２記載の映像投
    射制御装置。
  14. 【請求項１４】 作成する映像は、人間の表情であるこ
    とを特徴とする請求項１２記載の映像投射制御装置。
JP16444599A 1999-06-10 1999-06-10 映像投射装置及び方法 Expired - Fee Related JP3978938B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US09/762,734 US6554431B1 (en) 1999-06-10 1999-06-07 Method and apparatus for image projection, and apparatus controlling image projection
JP16444599A JP3978938B2 (ja) 1999-06-10 1999-06-10 映像投射装置及び方法
PCT/JP2000/003701 WO2000077572A1 (fr) 1999-06-10 2000-06-07 Procede et appareil de projection d'images, et appareil pour commander la projection d'images
DE60043140T DE60043140D1 (de) 1999-06-10 2000-06-07 Verfahren und vorrichtung zur bildprojektion und steuerungsvorrichtung dazu
EP00935576A EP1107052B1 (en) 1999-06-10 2000-06-07 Method and apparatus for image projection, and apparatus for controlling image projection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16444599A JP3978938B2 (ja) 1999-06-10 1999-06-10 映像投射装置及び方法

Publications (2)

Publication Number Publication Date
JP2000352761A true JP2000352761A (ja) 2000-12-19
JP3978938B2 JP3978938B2 (ja) 2007-09-19

Family

ID=15793315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16444599A Expired - Fee Related JP3978938B2 (ja) 1999-06-10 1999-06-10 映像投射装置及び方法

Country Status (5)

Country Link
US (1) US6554431B1 (ja)
EP (1) EP1107052B1 (ja)
JP (1) JP3978938B2 (ja)
DE (1) DE60043140D1 (ja)
WO (1) WO2000077572A1 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131319A (ja) * 2001-10-25 2003-05-09 Seiko Epson Corp 光送受装置
JP2006018293A (ja) * 2004-07-01 2006-01-19 Mitsubishi Electric Research Laboratories Inc ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
JP2006186680A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 注釈画像提示システム及び注釈画像提示方法
JP2006189712A (ja) * 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法及びプログラム
JP2006523861A (ja) * 2003-03-21 2006-10-19 三菱電機株式会社 出力画像を表示面上に投影する装置
JP2007293717A (ja) * 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 位置データ変換装置及び位置データ変換方法
WO2009014137A1 (ja) * 2007-07-26 2009-01-29 Panasonic Electric Works Co., Ltd. 照明装置
WO2009051054A1 (ja) * 2007-10-17 2009-04-23 Panasonic Electric Works Co., Ltd. 照明装置
WO2009104550A1 (ja) * 2008-02-22 2009-08-27 パナソニック電工株式会社 光投影装置、照明装置
JP2009237845A (ja) * 2008-03-27 2009-10-15 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2010015996A (ja) * 2007-07-26 2010-01-21 Panasonic Electric Works Co Ltd 照明装置
JP2012173447A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp インタラクティブシステム、位置情報変換方法、およびプロジェクター
JP2013141207A (ja) * 2011-10-21 2013-07-18 Disney Enterprises Inc ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
JP2014089242A (ja) * 2012-10-29 2014-05-15 Casio Comput Co Ltd 画像処理装置、映像データ補正方法及びプログラム
JP2014179698A (ja) * 2013-03-13 2014-09-25 Ricoh Co Ltd プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
JP2015228700A (ja) * 2015-09-01 2015-12-17 株式会社ニコン カメラ
JP2016063394A (ja) * 2014-09-18 2016-04-25 日本電信電話株式会社 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP2016081497A (ja) * 2014-10-14 2016-05-16 株式会社東通 画像投影方法及び画像投影システム
KR20160088208A (ko) * 2015-01-15 2016-07-25 한양대학교 산학협력단 물리 객체에 대한 증강 현실 제공 방법 및 장치
WO2018112898A1 (zh) * 2016-12-23 2018-06-28 深圳前海达闼云端智能科技有限公司 一种投影方法、装置及机器人
JP2020202486A (ja) * 2019-06-10 2020-12-17 株式会社ライゾマティクス プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法
US11528459B2 (en) 2020-03-30 2022-12-13 Seiko Epson Corporation Projector controlling method, projector, and projection system

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0019349D0 (en) * 2000-08-08 2000-09-27 Bae Systems Plc Display apparatus
JP2002324239A (ja) * 2001-04-25 2002-11-08 Olympus Optical Co Ltd 情報呈示システム
US20020175915A1 (en) * 2001-05-23 2002-11-28 Lichtfuss Hans A. Internet image projector
US20030085934A1 (en) * 2001-11-07 2003-05-08 Tucker Robert Carey Ink-jet printing system for printing colored images on contact lenses
US7133083B2 (en) * 2001-12-07 2006-11-07 University Of Kentucky Research Foundation Dynamic shadow removal from front projection displays
EP1470727A2 (en) * 2002-01-04 2004-10-27 Neurok, LLC Three-dimensional image projection employing retro-reflective screens
KR100490407B1 (ko) * 2002-07-12 2005-05-17 삼성전자주식회사 Ｃｒｔ 포커스 보정 장치 및 방법
DE60327289D1 (de) * 2002-07-23 2009-06-04 Nec Display Solutions Ltd Bildprojektor mit Bild-Rückkopplungs-Steuerung
US7292269B2 (en) * 2003-04-11 2007-11-06 Mitsubishi Electric Research Laboratories Context aware projector
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
TWI261723B (en) * 2003-05-09 2006-09-11 Benq Corp Projector for adjusting a screen size and brightness depending on various environment and a method thereof
US7001023B2 (en) 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
JP3735624B2 (ja) * 2003-09-26 2006-01-18 Ｎｅｃビューテクノロジー株式会社 投影表示装置
US6984039B2 (en) * 2003-12-01 2006-01-10 Eastman Kodak Company Laser projector having silhouette blanking for objects in the output light path
JP3928623B2 (ja) * 2004-02-27 2007-06-13 カシオ計算機株式会社 投影装置、測距処理方法及びプログラム
US7090358B2 (en) * 2004-03-04 2006-08-15 International Business Machines Corporation System, apparatus and method of displaying information for foveal vision and peripheral vision
DE102004050351B3 (de) * 2004-10-15 2006-06-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer Abbildung
US7241016B2 (en) * 2004-10-22 2007-07-10 Hewlett-Packard Development Company, L.P. Projector alignment method and user interface
US20060262188A1 (en) * 2005-05-20 2006-11-23 Oded Elyada System and method for detecting changes in an environment
WO2007052261A2 (en) * 2005-10-31 2007-05-10 Mark Fireman A screen projection system
US7717569B2 (en) * 2006-04-13 2010-05-18 Nokia Corporation Projector screen with one or more markers
US7891818B2 (en) 2006-12-12 2011-02-22 Evans & Sutherland Computer Corporation System and method for aligning RGB light in a single modulator projector
US20080316432A1 (en) * 2007-06-25 2008-12-25 Spotless, Llc Digital Image Projection System
US20110001935A1 (en) * 2007-06-25 2011-01-06 Spotless, Llc Digital image projection system
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8358317B2 (en) 2008-05-23 2013-01-22 Evans & Sutherland Computer Corporation System and method for displaying a planar image on a curved surface
US8702248B1 (en) 2008-06-11 2014-04-22 Evans & Sutherland Computer Corporation Projection method for reducing interpixel gaps on a viewing surface
US8602564B2 (en) * 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US20100066983A1 (en) * 2008-06-17 2010-03-18 Jun Edward K Y Methods and systems related to a projection surface
US8641203B2 (en) * 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US20090310039A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for user parameter responsive projection
US20090313152A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems associated with projection billing
US8733952B2 (en) * 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8403501B2 (en) * 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US8936367B2 (en) * 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20090309828A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting instructions associated with user parameter responsive projection
US20090309826A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US20090310103A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for receiving information associated with the coordinated use of two or more user responsive projectors
US8308304B2 (en) * 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8608321B2 (en) * 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US20110176119A1 (en) * 2008-06-17 2011-07-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US8944608B2 (en) * 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US20090313150A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection billing
US8267526B2 (en) * 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US20090310098A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US20090313151A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection system billing
US8723787B2 (en) * 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8384005B2 (en) * 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8955984B2 (en) 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US20090312854A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting information associated with the coordinated use of two or more user responsive projectors
US8540381B2 (en) * 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US8231225B2 (en) * 2008-08-08 2012-07-31 Disney Enterprises, Inc. High dynamic range scenographic image projection
US20100091248A1 (en) * 2008-10-10 2010-04-15 Peter Sarkisian Novel System and Method of Creating a Visual Display
US8591039B2 (en) * 2008-10-28 2013-11-26 Smart Technologies Ulc Image projection methods and interactive input/projection systems employing the same
US8077378B1 (en) 2008-11-12 2011-12-13 Evans & Sutherland Computer Corporation Calibration system and method for light modulation device
WO2010071620A1 (en) * 2008-12-17 2010-06-24 Thomson Licensing Method and system for digital cinema presentation synchronized with a live performer
US8388151B2 (en) * 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
US8118438B2 (en) * 2009-07-24 2012-02-21 Optimet, Optical Metrology Ltd. Method and apparatus for real-time projection onto an object of data obtained from 3-D measurement
US8814363B2 (en) * 2010-04-08 2014-08-26 Disney Enterprises, Inc. Trackable projection surfaces using hidden marker tracking
JP5692904B2 (ja) * 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
DE102011015987A1 (de) * 2011-04-04 2012-10-04 EXTEND3D GmbH System und Verfahren zur visuellen Darstellung von Informationen auf realen Objekten
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
US9641826B1 (en) 2011-10-06 2017-05-02 Evans & Sutherland Computer Corporation System and method for displaying distant 3-D stereo on a dome surface
US8662676B1 (en) * 2012-03-14 2014-03-04 Rawles Llc Automatic projector calibration
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US9881383B2 (en) 2013-01-28 2018-01-30 Virtek Vision International Ulc Laser projection system with motion compensation and method
US9488901B1 (en) * 2013-09-25 2016-11-08 Bott & Dolly, LLC Crowd-deployable objects to control a presentation
EP3080551A1 (de) * 2013-12-12 2016-10-19 Testo AG Verfahren zur ortsrichtigen projektion einer markierung auf ein objekt und projektionsvorrichtung
US10181193B2 (en) * 2014-03-10 2019-01-15 Microsoft Technology Licensing, Llc Latency reduction in camera-projection systems
FI20145860A (fi) 2014-10-02 2016-04-03 Taikateatteri 13 Ry Järjestelmä ja menetelmä visuaalisten efektien tuottamiseksi
US9654748B2 (en) 2014-12-25 2017-05-16 Panasonic Intellectual Property Management Co., Ltd. Projection device, and projection method
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
US9800851B2 (en) 2016-01-26 2017-10-24 Disney Enterprises, Inc. Apparatus and methods for bringing an object to life
US10362300B2 (en) * 2016-02-12 2019-07-23 Disney Enterprises, Inc. Three dimensional content projection
US20170272716A1 (en) * 2016-03-15 2017-09-21 Casio Computer Co., Ltd. Projection apparatus, projection control method, and storage medium
US10108083B2 (en) * 2016-11-23 2018-10-23 Hooshmand Harooni Lighting systems for microphones and other objects
JP2018097148A (ja) * 2016-12-13 2018-06-21 パナソニックＩｐマネジメント株式会社 画像投影システム、画像投影装置、及び画像投影方法
US9989777B1 (en) * 2017-06-05 2018-06-05 Disney Enterprises, Inc. Accurate and balanced lighting in a pepper's ghost projection system for live cinematic performances
US11492137B2 (en) * 2019-03-22 2022-11-08 The Boeing Company Display systems and methods
US20230353715A1 (en) * 2022-04-28 2023-11-02 At&T Intellectual Property I, L.P. System and method to evaluate nearby surfaces and to adapt content for projection thereon

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS601137U (ja) * 1983-06-21 1985-01-07 株式会社　ナムコ 似姿像再現装置
JPH0418613A (ja) * 1990-02-19 1992-01-22 Dentsu Purotsukusu:Kk 自動追尾投影装置
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
JPH0636031A (ja) * 1992-07-15 1994-02-10 N T T Data Tsushin Kk コンピュータ利用の移動物体追跡システム
JPH06317762A (ja) * 1993-01-14 1994-11-15 Sun Microsyst Inc 正確な立体三次元画像を発生する装置および方法
JPH086158A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 投写型表示装置
JPH08211495A (ja) * 1995-02-06 1996-08-20 Japan Aviation Electron Ind Ltd スクリーンとそれを用いた立体画像投影装置
JPH09175084A (ja) * 1995-12-27 1997-07-08 Tec Corp 電子黒板
JP2000010194A (ja) * 1998-06-19 2000-01-14 Minolta Co Ltd 画像表示方法及び装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3053144A (en) * 1958-08-13 1962-09-11 Harries Television Res Ltd Optical projection display devices
US4232334A (en) * 1979-05-22 1980-11-04 Revlon, Inc. Cosmetic apparatus and method
JPS5831348A (ja) 1981-08-20 1983-02-24 Matsushita Electric Ind Co Ltd 複写機
JPH0767298B2 (ja) 1983-10-26 1995-07-19 株式会社東芝 像形成装置の原稿走査制御装置
US4951151A (en) * 1988-07-28 1990-08-21 Dawntreader, Inc. Image display system and method
US5883476A (en) * 1994-06-09 1999-03-16 Hitachi, Ltd. Convergence correction system with recovery function and display apparatus using the same
JP3382045B2 (ja) * 1995-01-24 2003-03-04 富士通株式会社 イメージ投影システム
US5870136A (en) * 1997-12-05 1999-02-09 The University Of North Carolina At Chapel Hill Dynamic generation of imperceptible structured light for tracking and acquisition of three dimensional scene geometry and surface characteristics in interactive three dimensional computer graphics applications
JP3509652B2 (ja) * 1999-08-23 2004-03-22 日本電気株式会社 プロジェクタ装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS601137U (ja) * 1983-06-21 1985-01-07 株式会社　ナムコ 似姿像再現装置
JPH0418613A (ja) * 1990-02-19 1992-01-22 Dentsu Purotsukusu:Kk 自動追尾投影装置
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
JPH0636031A (ja) * 1992-07-15 1994-02-10 N T T Data Tsushin Kk コンピュータ利用の移動物体追跡システム
JPH06317762A (ja) * 1993-01-14 1994-11-15 Sun Microsyst Inc 正確な立体三次元画像を発生する装置および方法
JPH086158A (ja) * 1994-06-17 1996-01-12 Hitachi Ltd 投写型表示装置
JPH08211495A (ja) * 1995-02-06 1996-08-20 Japan Aviation Electron Ind Ltd スクリーンとそれを用いた立体画像投影装置
JPH09175084A (ja) * 1995-12-27 1997-07-08 Tec Corp 電子黒板
JP2000010194A (ja) * 1998-06-19 2000-01-14 Minolta Co Ltd 画像表示方法及び装置

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003131319A (ja) * 2001-10-25 2003-05-09 Seiko Epson Corp 光送受装置
JP2006523861A (ja) * 2003-03-21 2006-10-19 三菱電機株式会社 出力画像を表示面上に投影する装置
JP4495041B2 (ja) * 2004-07-01 2010-06-30 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
JP2006018293A (ja) * 2004-07-01 2006-01-19 Mitsubishi Electric Research Laboratories Inc ピンホール投影により表示面上のレーザポイントと関連付けられるプロジェクタ画素を求める方法
JP2006186680A (ja) * 2004-12-27 2006-07-13 Fuji Xerox Co Ltd 注釈画像提示システム及び注釈画像提示方法
JP4736426B2 (ja) * 2004-12-27 2011-07-27 富士ゼロックス株式会社 注釈画像提示システム
JP2006189712A (ja) * 2005-01-07 2006-07-20 Nippon Telegr & Teleph Corp <Ntt> 情報提示装置、情報提示方法及びプログラム
JP2007293717A (ja) * 2006-04-26 2007-11-08 Nippon Telegr & Teleph Corp <Ntt> 位置データ変換装置及び位置データ変換方法
JP4594272B2 (ja) * 2006-04-26 2010-12-08 日本電信電話株式会社 位置データ変換装置及び位置データ変換方法
WO2009014137A1 (ja) * 2007-07-26 2009-01-29 Panasonic Electric Works Co., Ltd. 照明装置
JP2010015996A (ja) * 2007-07-26 2010-01-21 Panasonic Electric Works Co Ltd 照明装置
KR101174551B1 (ko) 2007-07-26 2012-08-16 파나소닉 주식회사 조명장치
US8421849B2 (en) 2007-07-26 2013-04-16 Panasonic Corporation Lighting apparatus
WO2009051054A1 (ja) * 2007-10-17 2009-04-23 Panasonic Electric Works Co., Ltd. 照明装置
US8730320B2 (en) 2007-10-17 2014-05-20 Panasonic Corporation Lighting apparatus
WO2009104550A1 (ja) * 2008-02-22 2009-08-27 パナソニック電工株式会社 光投影装置、照明装置
US8899760B2 (en) 2008-02-22 2014-12-02 Panasonic Corporation Light projection apparatus and lighting apparatus
JP2009237845A (ja) * 2008-03-27 2009-10-15 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2012173447A (ja) * 2011-02-21 2012-09-10 Seiko Epson Corp インタラクティブシステム、位置情報変換方法、およびプロジェクター
JP2013141207A (ja) * 2011-10-21 2013-07-18 Disney Enterprises Inc ハンドヘルドプロジェクタを用いたマルチユーザインタラクション
JP2014089242A (ja) * 2012-10-29 2014-05-15 Casio Comput Co Ltd 画像処理装置、映像データ補正方法及びプログラム
JP2014179698A (ja) * 2013-03-13 2014-09-25 Ricoh Co Ltd プロジェクタ及びプロジェクタの制御方法、並びに、その制御方法のプログラム及びそのプログラムを記録した記録媒体
JP2016063394A (ja) * 2014-09-18 2016-04-25 日本電信電話株式会社 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP2016081497A (ja) * 2014-10-14 2016-05-16 株式会社東通 画像投影方法及び画像投影システム
KR101656618B1 (ko) * 2015-01-15 2016-09-09 한양대학교 산학협력단 물리 객체에 대한 증강 현실 제공 방법 및 장치
KR20160088208A (ko) * 2015-01-15 2016-07-25 한양대학교 산학협력단 물리 객체에 대한 증강 현실 제공 방법 및 장치
JP2015228700A (ja) * 2015-09-01 2015-12-17 株式会社ニコン カメラ
WO2018112898A1 (zh) * 2016-12-23 2018-06-28 深圳前海达闼云端智能科技有限公司 一种投影方法、装置及机器人
JP2020202486A (ja) * 2019-06-10 2020-12-17 株式会社ライゾマティクス プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法
JP7352239B2 (ja) 2019-06-10 2023-09-28 株式会社アブストラクトエンジン プロジェクションシステム、プロジェクション制御装置、プロジェクション制御プログラム、及びプロジェクションシステムの制御方法
US11528459B2 (en) 2020-03-30 2022-12-13 Seiko Epson Corporation Projector controlling method, projector, and projection system

Also Published As

Publication number Publication date
EP1107052A1 (en) 2001-06-13
DE60043140D1 (de) 2009-11-26
US6554431B1 (en) 2003-04-29
WO2000077572A1 (fr) 2000-12-21
EP1107052A4 (en) 2006-12-27
JP3978938B2 (ja) 2007-09-19
EP1107052B1 (en) 2009-10-14

Similar Documents

Publication Publication Date Title
JP3978938B2 (ja) 映像投射装置及び方法
US6594616B2 (en) System and method for providing a mobile input device
Zhang et al. Visual panel: virtual mouse, keyboard and 3D controller with an ordinary piece of paper
JP4815208B2 (ja) 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器
KR100588042B1 (ko) 인터액티브 프레젠테이션 시스템
Letessier et al. Visual tracking of bare fingers for interactive surfaces
US9024876B2 (en) Absolute and relative positioning sensor fusion in an interactive display system
US9300852B2 (en) Controlling robotic motion of camera
JP5016175B2 (ja) 顔画像処理システム
US7477236B2 (en) Remote control of on-screen interactions
RU2708027C1 (ru) Способ передачи движения субъекта из видео на анимированного персонажа
WO2012173001A1 (ja) 情報入力装置
JP2001125738A (ja) プレゼンテーション制御システム及びその制御方法
CA2933547A1 (en) Apparatus and method for performing motion capture using a random pattern on capture surfaces
US8982050B2 (en) Motion compensation in an interactive display system
JP2009050701A (ja) 対話画像システム、対話装置及びその運転制御方法
CN106201173A (zh) 一种基于投影的用户交互图标的交互控制方法及系统
KR20140122275A (ko) 비디오 인터페이스 제어 방법, 비디오 인터페이스 동작 방법, 얼굴 방위 검출기, 및 화상 회의 서버
Miyashita et al. Portable lumipen: Dynamic sar in your hand
JP4464902B2 (ja) カメラ制御装置およびカメラ制御プログラム
US20150103005A1 (en) Pointing device using camera and outputting mark
Zhang Vision-based interaction with fingers and papers
WO2017033544A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113342176A (zh) 一种沉浸式旅游互动系统
Wu et al. VISUAL PANEL: From an ordinary paper to a wireless and mobile input device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061121

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070306

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070618

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120706

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130706

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees