JP2022021544A - 投影装置、投影装置の制御方法、プログラム - Google Patents

Abstract

【課題】プロジェクタを手軽に利用できない場合があった。【解決手段】映像を投影する投影手段と、撮像手段と、前記撮像手段により得られた画像に基づき、映像を投影する面の形状を特定する特定手段と、前記撮像手段により得られた画像に基づき、前記映像を閲覧する人物の視点位置および姿勢を推論する推論手段と前記面の形状と前記視点位置および姿勢に応じて前記映像を補正する補正手段と、前記補正手段により補正された映像を投影するよう前記投影手段を制御する制御手段とを有する投影装置。【選択図】図２

Description

本発明は、投影先の面の形状に応じた映像を投影する投影装置に関する。

映像を電子的なディスプレイなしで表示する方法として、プロジェクタを用いて映像を壁などの面に投影する方法が知られている。一般的なプロジェクタでは、映像を投影する面が平面であることを前提としているため、投影する面が非平面である場合には、投影する映像が幾何的に歪んでしまう。この問題を解決するために、例えば、特許文献１では、プロジェクタと投影する面である球面スクリーンが物理的にアームで接続され、相対位置姿勢を角度センサで計測し、視聴者に対して歪みの無い映像を表示することができる方法を提案している。

特開２００８－１７３４８号広報

「"モバイルプロジェクタカメラシステムを用いた任意非平面への実時間適応的投影手法"、情報処理学会研究報告、Ｖｏｌ．２０１１－ＥＣ－１９ Ｎｏ．１９」 "ＤｙｎａｍｉｃＧｅｏｍｅｔｒｙＲｅｃｏｎｓｔｒｕｃｔｉｏｎＴｅｃｈｎｉｑｕｅ ｆｏｒ ＭｏｂｉｌｅＤｅｖｉｃｅｓ Ｕｓｉｎｇ ＡｄａｐｔｉｖｅＣｈｅｃｋｅｒｂｏａｒｄＲｅｃｏｇｎｉｔｉｏｎ ａｎｄ ＥｐｉｐｏｌａｒＧｅｏｍｅｔｒｙ"ｈｔｔｐｓ：／／ｗｗｗ．ｊｓｔａｇｅ．ｊｓｔ．ｇｏ．ｊｐ／ａｒｔｉｃｌｅ／ｔｒａｎｓｉｎｆ／Ｅ９４．Ｄ／２／Ｅ９４．Ｄ＿２＿３３６／＿ｐｄｆ／－ｃｈａｒ／ｊａ

しかしながら、一般的な家屋などでプロジェクタを利用する場合には、部屋の大きさやコストの観点から、専用のスクリーンや、プロジェクタとスクリーンを物理的に接続する機器の導入が難しい場合も多い。また、非平面に投影するとしても、視聴者の視点位置を取得するために視聴者に磁気センサを取り付けたり、スクリーン側にカメラを取り付けたりする必要があった。そのため、部屋の壁などをスクリーンとして利用して手軽に投影することができないという問題があった。

そこで、本発明は、プロジェクタの利用をより手軽にすることを目的とする。

上記課題を解決するために、本発明の投影装置は、映像を投影する投影手段と、撮像手段と、前記撮像手段により得られた画像に基づき、映像を投影する面の形状を特定する特定手段と、前記撮像手段により得られた画像に基づき、前記映像を閲覧する人物の視点位置および姿勢を推論する推論手段と前記面の形状と前記視点位置および姿勢に応じて前記映像を補正する補正手段と、前記補正手段により補正された映像を投影するよう前記投影手段を制御する制御手段とを有する。

本発明によれば、プロジェクタの利用をより手軽にすることができる。

本実施形態に係るプロジェクタの構成例を示す図である。 本実施形態に係るプロジェクタの動作を示すフローチャートである。 プロジェクタ、視点、およびホログラフィの関係を説明するための図である。

以下に、本発明を実施するための形態について、添付の図面を用いて詳細に説明する。

なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されてもよい。また、各実施の形態を適宜組み合せることも可能である。

［第１の実施形態］
＜プロジェクタの構成＞
本実施例では、天井に設置され、全方位カメラを用いて映像を投影する面の形状および映像を閲覧する人物の位置姿勢を計測する機能を有するプロジェクタについて説明する。

図１は、投影装置の一例であるプロジェクタの構成例を示すブロック図である。プロジェクタ１００は、制御部１０１と、撮像部１０２と、保持部１０３と、処理部１０４と、投影部１０５とを有する。

制御部１０１は、入力された信号や、後述のプログラムに従ってプロジェクタ１１００の各部を制御する。制御部１０１は例えば中央演算処理装置（ＣＰＵ）により実装される。なお、制御部１０１が装置全体を制御する代わりに、複数のハードウェアが処理を分担することで、装置全体を制御してもよい。

撮像部１０２は、プロジェクタ１００が設置された環境内に存在する人物や、映像を投影するための面を撮影するカメラである。撮像部１０２は、例えば、光学レンズユニットと絞り・ズーム・フォーカスなど制御する光学系と、光学レンズユニットを経て導入された光（映像）を電気的な映像信号に変換するための撮像素子などで構成される。撮像素子としては、一般的には、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）や、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）が利用される。撮像部１０２は、制御部１０１に制御されることにより、撮像部１０２に含まれるレンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行いデジタルデータを画像データとして出力する。本実施形態の撮像部１０２はさらに、全方位ミラーを備える。全方位ミラーは、プロジェクタ１００の周囲の全方位（３６０度）からの光を鏡面反射することにより、当該光を撮像素子に導く。全方位ミラー１０１としては、双曲面ミラー、球面ミラー全周魚眼レンズ、等を用いることができる。

保持部１０３は、プロジェクタ１００が投影するための映像を保持する不揮発性メモリである。この映像のデータは予め保存してあってもよいし、外部から取得したものであってもよい。

処理部１０４は、撮像部１０２から出力された画像データに対して画像処理や圧縮処理を施すためのものであり、例えばＣＰＵで実装される。また画像処理の得意なグラフィクスプロセッシングユニット（ＧＰＵ）で実装されてもよい。あるいは、ＣＰＵとＧＰＵとが連携して実装されてもよい。画像処理部１０４は、処理が施された後の画像データを出力する。なお、撮像部１０２から出力される画像データは、プロジェクタ１００の周囲の全方位を写した全方位画像を表す。そのため、処理部１０４による画像処理には全方位画像の歪みを補正する歪みを補正してパノラマ展開する補正処理も含まれる。本実施形態では、補正処理が施された後の画像データが表す画像を「パノラマ展開画像」と記載する。

なお、画像処理は歪み補正処理に限らない。画像処理として、プロジェクタ１００の投影レンズの駆動や不図示の排熱ファンの駆動に伴う振れによる画像の乱れを補正するブレ補正処理を含んでもよい。あるいは、画像の輝度を補正する輝度補正処理、画像の色を補正する色補正処理、画像のダイナミックレンジを補正するレンジ補正処理、等が行われてもよい。

また、処理部１０４は、撮像部１０２が取得した画像を処理し、環境内に存在する人物の位置姿勢の計算を行う。また、映像を投影するための面の形状を計算し、映像歪みを補正するための、映像変換処理を行う。

投影部１０５は、液晶パネル及びその駆動ドライバ、レンズ及びズームなどの駆動系及び光源で構成され、処理部１０４が出力する映像を受け取り、映像を投影する。また、保持部１０３が保持するデータを投影することもできる。

取り付け部１０６は、天井の引掛・埋込シーリング、引掛・埋込ローゼットなどに取り付け可能な部材である。なお、電源もシーリング、ローゼットから引き込むことが可能である。引き込んだ電力は不図示の給電回路を介して各部に給電される。なお、ライトの取り付けができなくなるので、投影用のランプのほかに照明用のライトをさらに備えてもよい。さらに、シーリングやローゼットを搭載し、ほかのシーリングライトをプロジェクタに取り付け可能に構成してもよい。その場合、給電回路はシーリングまたはローゼットに接続し、取り付けられるシーリングライトにも電力が供給される。

以上がプロジェクタ１００の説明である。

つづいて、プロジェクタ１００の動作について説明する。図２はプロジェクタの動作を示すフローチャートである。本フローチャートは、例えばプロジェクタの電源がオンになったことや、投影の開始を指示されたことに応じて開始される。なお、本実施形態のプロジェクタは天井に設置される。そのため、ユーザが直接プロジェクタ本体に接触する操作は難しい。そこで、不図示の通信部によってリモコンから送信される指示を受け付ける。通信部は赤外線で実装される無線通信を受け付けてもよいし、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）により実装される無線通信を受け付けてもよい。ＢＬＥによって実装される場合は、通信部は通信用のチップおよびモジュールとアンテナからなる。この場合、リモコンは、プロジェクタ専用のリモコンだけでなく、スマートフォンなどの携帯端末にリモコンアプリをインストールしてＢＬＥ接続し、リモコンアプリのＧＵＩによってユーザの操作を受け付けてもよい。

まず、ステップＳ２０１では、制御部１０１は、映像を投影する面の形状を計測する計測処理を実行するよう制御する。計測処理では、非特許文献１「“モバイルプロジェクタカメラシステムを用いた任意非平面への実時間適応的投影手法”、情報処理学会研究報告、Ｖｏｌ．２０１１－ＥＣ－１９ Ｎｏ．１９」に示された手法を用いる。

以下では、ステップＳ２０１の処理を具体的に説明する。はじめに、制御部１０１は、投影部１０５によってプロジェクタからチェッカーボードパターンを投影する。ここで、チェッカーボードパターンとは、白と黒の正方形の繰り返しパターンである。次に、制御部１０１は、投影したチェッカーボードパターンを撮像部１０２により撮影して画像を取得する。なお、ここでは撮像部１０２は全方位カメラであるため、特に撮影方向を考慮することなく撮像する。ただし、出力される画像データは全方位画像であるため、処理部１０４により、後述の処理を実行できるよう、パノラマ展開する処理を適用しておく。全方位画像をパノラマ展開するアルゴリズムは既知のアルゴリズムを利用すればよい。

次に、処理部１０４により、取得した画像から特徴点であるチェッカーボードパターンの交点を検出する。次に、処理部１０４により、検出した交点同士をつなぐチェッカーボードパターンのエッジを検出する。

次に、処理部１０４により、検出したエッジでつながれた交点をグループ化し、交点のチェッカーボードパターン上での位置を、エピポーラ幾何を用いて、グループごとに計算して対応付ける。

以上が、ステップＳ２０１の処理である。

つづくステップＳ２０２にて、制御部１０１は、処理部１０４により映像を閲覧する人物の位置姿勢を計算する。本実施形態では、学習済みモデルによる推論処理の実行によって、映像を閲覧する人物の位置姿勢を計算する。モデルに用いる具体的なアルゴリズムとしては、最近傍法、ナイーブベイズ法、決定木、サポートベクターマシンなどが挙げられる。また、ニューラルネットワークを利用して、学習するための特徴量、結合重み付け係数を自ら生成する深層学習（ディープラーニング）も挙げられる。適宜、上記アルゴリズムのうち利用できるものを用いて本実施形態に適用することができる。以下の説明では、ディープニューラルネットワーク（ＤＮＮ）を構築するディープラーニングを利用してモデルを生成する場合を例に挙げて述べる。なお、ここで用いるＤＮＮは、ネットワークデータやＵＳＢメモリ等のデータを用いて、アップデートすることができる。

本実施形態における推論処理では、あらかじめさまざまな位置および姿勢で撮影された画像群を用いて深層学習を行った学習済みモデルを用いる。この学習は、製品の製造工程であらかじめ十分なバリエーションをもった姿勢の画像を入力とし、その画像に対応する人物の視点の位置姿勢データを教師データとして実行される。

ステップＳ２０２では制御部１０１は、処理部１０４を用いて映像を閲覧する人物の視点の位置姿勢データを計算する。ここでは、まず、撮像部１０２によって撮像され処理部１０４によりパノラマ展開された画像を、処理部１０４にて実行される学習済みモデルへの入力データとして入力する。この時、入力される画像には、プロジェクタ１００により投影される映像を閲覧する人物が写っていることが期待される。そして、学習済みモデルの推論処理の実行により、プロジェクタ１００により投影される映像を閲覧する人物の視点の位置姿勢データが出力される。位置姿勢データは、プロジェクタ１００の位置姿勢を原点とした相対的な情報である。例えばプロジェクタの投影方向をＸ方向、プロジェクタの水平面に沿っておりかつ投影方向に対して垂直方向をＹ方向、プロジェクタの天面方向をＺ方向、などと設定し、プロジェクタの中心を原点とする。この原点に対して、人物の視点の位置がどの程度の距離に、どのような向きで存在するのかを、ＸＹＺ軸それぞれを数値化した座標や、姿勢をヨー、ロール、ピッチの要素に分けて数値化したものが位置姿勢データである。

なお、ここでは撮像部１０２によって撮像されパノラマ展開された画像を入力データとし、プロジェクタ１００により投影される映像を閲覧する人物の位置姿勢データが出力されるよう学習モデルを学習させた場合について述べたが、これに限られるものではない。例えば、撮像部１０２によって撮像されパノラマ展開された画像を入力データとし、そのうち人物の頭部領域を抽出した部分画像を出力する学習済みモデルと、この部分画像を入力として、人物の位置姿勢データを出力する学習済みモデルとを連携させてもよい。この場合、製品の製造工程であらかじめ十分なバリエーションをもった姿勢の画像を入力とし、その画像に対する頭部領域の部分画像を教師データとして学習させることで前段の学習済みモデルを生成する。また、この出力である部分画像を入力として、その画像に対応する位置姿勢データを教師データとして学習させることで後段の学習済みモデルを生成する。このようにすることで、位置姿勢の推論処理の精度をより高めることができる。

つぎに、ステップＳ２０３にて、制御部１０１は、投影する映像を変形するよう処理部１０４を制御する。本実施形態では、上記の非特許文献１「“モバイルプロジェクタカメラシステムを用いた任意非平面への実時間適応的投影手法”、情報処理学会研究報告、Ｖｏｌ．２０１１－ＥＣ－１９ Ｎｏ．１９」に示された手法を用いて映像の変形を行う。図３を参照して、映像を変形する具体的な手順を示説明する。図３はプロジェクタ、視点、およびホログラフィの関係を説明するための図である。

非平面に投影するための映像の変形の手順を説明する前に、まず、映像を投影する面が１つの平面である場合の手順について説明する。この場合には、以下の式１で表されるＨｏｍｏｇｒａｐｈｙによって映像が変形できる。

ｐａ＝Ｋａ・Ｈｂａ・Ｋｂ・ｐｂ （式１）
式１において、投影先の画像上の点ｐａは、投影する画像上の点ｐｂを、以下の３種の行列Ｋａ、Ｈｂａ、Ｋｂを用いて算出できる。ここで、Ｋａはプロジェクタのパラメータ行列、Ｋｂは視点のパラメータ行列、Ｈｂａは視点の位置姿勢からプロジェクタの位置姿勢に変換する際のホモグラフィ行列である。Ｋａは、Ｚｈａｎｇの手法などによって予めキャリブレーションにより取得される内部パラメータである。Ｋａは、プロジェクタの位置姿勢と、注目する３次元空間中の点が既知の場合に、該点の３次元座標から、投影する画像上における前記の点の２次元座標を算出するための変換行列である。この変換行列内の数値は、焦点距離（画角）とレンズ歪みに依存する。

また、Ｋｂは人間が画像を見る際の「内部パラメータ」であり、例えば、焦点距離（画角）はプロジェクタと同一の値、レンズ歪みはなし、という設定であらかじめ用意される。

Ｈｂａは、以下の式で計算される。

Ｈｂａ＝Ｒ―（ｔ・ｎ^Ｔ）／ｄ
このＲとｔは、プロジェクタの位置姿勢を原点として人物の視点の位置姿勢を算出した値から計算するパラメータである。Ｒがプロジェクタの位置姿勢に対する人物の視点の位置姿勢の回転移動、ｔはプロジェクタの位置姿勢に対する人物の視点の位置姿勢の平行移動を示す。

また、ｎとｄはともに平面のパラメータである。ｎは平面の法線ベクトルであり、ｎ^Ｔはｎの転置ベクトルである。ｄはプロジェクタから平面までの距離である。

ｎとｄは非特許文献１の中で引用している、非特許文献２に記載の方法により計算する。手順の概略を以下に示す。

まず上述のＫａとＫｂを取得する。さらに、プロジェクタの位置姿勢（ここでは原点）と、人物の視点の位置姿勢（ここではＳ２０２で推論した結果）とを取得する。

次に、Ｋａ、Ｋｂ、プロジェクタの位置姿勢データ、およびプロジェクタの位置姿勢データから、パターン光を投影して、特徴点を対応付ける。

続いて、エピポーラ幾何を用いて、各特徴点の３次元位置を計算する。

そして、３次元位置が既知の点を複数（３点以上）選び、局所平面Ｐを設定する。

Ｐの平面式を算出し、平面式を用いて、法線ベクトルｎを計算（｜ｎ｜＝１）する。

Ｐとプロジェクタの位置姿勢データから、ｄを計算する。

以上のようにしてＨｂａを計算する。

このＨｂａを用いることで、プロジェクタは、投影する画像上の点ｐｂを、視聴する人物の視点位置から平面に投影しているように見える点ｐａに投影することができる。

上述の例は映像を投影する面が１つの平面である場合の方法である。これを応用して、映像を投影する面が任意の非平面である場合の手順について説明する。映像を投影する面が任意の非平面である場合、上記のステップＳ２０１で取得した形状を利用する。具体的には以下の手順（１）、手順（２）により映像を変形する。

手順（１）：人物の視点から見た映像の収まるべき矩形範囲を決定
手順（２）：投影画像のピクセルと元画像のピクセルとの対応をとって投影画像を作成
以下では、上記の手順（２）について詳しく述べる。

上記の任意の非平面上における、特徴点であるチェッカーボードパターンの交点３つから構成される三角形の一つに注目すると、この三角形はほぼ一様な平面であると近似することができる。そのため、この三角形内部のピクセルに限って言えば、上記の、映像を投影する面が１つの平面である場合の方法と同様に処理が可能である。この処理をすべての三角形について実施することで、映像を投影する面が任意の非平面である場合にも、プロジェクタが投影する映像の変形を行うことができる。

ステップＳ２０４では、制御部１０１は、Ｓ２０３で変形された映像を投影するよう投影部１０５を制御する。これにより、凹凸を含む面に投影した場合であっても、ユーザの視点からは平面に投影した場合と同じように見える映像を投影することができる。

つづいて、ステップＳ２０５では、投影する面の形状を再計測するか否かを判定する。本実施形態では、プロジェクタを制御するためのリモートコントローラーを用い、再計測ボタンの押下があったか否かにより、再計測するか否かを判定する。再計測する場合には、ステップＳ２０１に移行する。再計測しない場合には、ステップＳ２０２に移行し、すでに計算済みの面の情報を用いてユーザの位置姿勢を再計算することで、ユーザの位置や姿勢の変化に追従する。

なお、これらの処理に並行して、制御部１０１は、ユーザから投影の終了の指示あるいは電源オフの指示を受け付けたか否かを判断する。終了の指示あるいは電源オフの指示を受け付けたと判断した場合、図２のフローチャートの処理を中断し、制御部１０１は各部を停止する終了処理を実行してプロジェクタ１００の動作を停止する。なお、プロジェクタの利用を終了する場合、本例では、プロジェクタを制御するためのリモートコントローラーを用い、終了ボタンの押下によってプロジェクタの電源オフの指示を入力することで終了するものとする。また、同様にリモートコントローラを用いて投影停止を指示することで投影を停止する。

なお、終了時には、ステップＳ２０１で計測した投影する面の形状を不揮発性メモリに保存しておく。このようにしておくことで、再度プロジェクタを利用する場合、改めて面の形状を保存しておく必要がない。したがって、ステップＳ２０１の処理は、改めてユーザから投影面の形状の計測を指示されない限りは、実行されない。ステップＳ２０１の処理を実行するか否かは、例えば制御部１０１が、不揮発名性メモリに投影面の形状の計測結果が記録されているか否かを判断することで切り替えるようにすればよい。

以上のように、本実施形態のプロジェクタはカメラを搭載し、投影面の形状の計算と、視聴者である人物の視点の計算とをカメラにより撮像した画像を用いて実行する。これにより、スクリーンを用意したり、ユーザにセンサを取り付けたりするといった手間の必要がなく、単にプロジェクタを設置するだけで、ユーザの望む面に、ユーザが平面画像と認識しやすい映像を投影することができる。

［その他の実施形態］
上述の説明では、学習済みモデルを用いた推論の入力に、撮像部１０２によって撮像されパノラマ展開された画像を用いた。これは、投影面の形状を計算する際にパノラマ展開された画像を用いて計算するため、推論にもパノラマ展開された画像を併用することで効率化を図ったものである。しかしながら、プロジェクタは基本的に設置したあとに動かすことは少ない。すなわち、投影面の形状の計算はプロジェクタが動かされない限りは、一度計算するだけでよい。一方、投影されたコンテンツを視聴する人物の位置姿勢は、常に変化し続ける。そのため、位置姿勢の計算は少なくとも投影面の形状の計算よりも高頻度に行われる必要がある。もちろん、投影面がカーテンのように日常的に変化する場合もあるが、それでも投影面の形状の変化の頻度は、人物の位置姿勢の変化の頻度よりも低い。そこで、人物の位置姿勢の推論には、パノラマ展開される前の全方位画像を入力として用いてもよい。これにより、何度も実行される人物の位置姿勢の推論のために毎回パノラマ展開の処理を実行する必要がなくなる。このようにする場合、当然学習済みモデルを生成するための学習においても、入力を全方位画像とし、教師データをその全方位画像に対応する位置姿勢データとして学習する。

また、上述の説明では、あらかじめ製造段階で学習することで学習済みモデルが生成済みのプロジェクタを想定して説明した。しかしながら、学習のタイミングはこれに限られるものではない。例えば、プロジェクタ１００を設置して初めに起動した際に学習するようユーザに通知して、ユーザの特徴やユーザの利用環境に合わせて学習してもよい。この場合、例えばユーザに身に着ける装着型の加速度センサ等を利用して、画像に対応する姿勢データを計測し、画像に対応する姿勢データとして利用すればよい。この場合であっても、学習を終えてプロジェクタから投影してコンテンツを視聴する段階ではユーザにセンサを取り付ける必要がないという効果を奏するものである。

また、上述の説明では、Ｓ２０５で投影面の形状の再計測をしない場合、Ｓ２０２～Ｓ２０４を繰り返すことと説明した。これについては、Ｓ２０２でユーザの位置姿勢が大きく変化がなければＳ２０３の変形の処理はスキップしてもよい。これにより、処理負荷を軽減することができる。

また、上述の説明では、映像を投影する場所は、プロジェクタの設置位置に応じて固定される場合を例に挙げて説明した。しかしながら、これに限定されるものではない。例えば、映像を閲覧する人物の位置姿勢に応じて映像を投影する場所を決定してもよい。また、ある程度以上に人物の位置が変化した場合には、自動的に映像を投影する場所を変更してもよい。さらに、映像を投影する場所は任意の非平面であるが、面の凹凸の変化が大きいほど、映像を補正した場合の画像劣化が大きい。そのため、映像の投影が可能な範囲内において、部分的に平面度合いが高い領域を自動的に検出し、前記の検出した領域にのみ映像を投影してもよい。また、映像は画素の位置に依存せず均一な輝度信号として投影される。しかし、映像を閲覧する人物は自由に動き回るため、映像の一部が想定している面には投影できず、人物に投影されてしまう場合がある。そのため、前記人物が存在する領域には映像を投影しない、ないし映像の輝度を下げる処理を実施し、映像が前記人物の視界に直接入った場合の影響を軽減してもよい。

また、上述の説明では、人物の視点の位置姿勢の計算において用いる画像に、その人物しか写っていないことを前提として説明した。しかしながら、画像には複数の人物が写ることも想定される。特に全方位画像を撮像するため、視聴者でない人物も写りやすいことが想定される。凸凹面に投影される映像が平面に見える位置は、原理的には１点だけである。そのため、画像に複数人が写っている場合、視聴者として特定する人物は、所定の条件に基づきどれか一人に絞る必要がある。絞り方として、映像を視聴する人物は、プロジェクタが投影する先を見ている可能性が高い。またそうでない場合は、プロジェクタのほうを向いている可能性が高い。そこで、画像に複数の人物が写っている場合、各人の位置姿勢を学習済みモデルにより推論し、プロジェクタの投影方向と同じ方向を向いている姿勢か否かを判断ことで、複数の人物のうちのいずれかを視聴者として特定してもよい。そして、同じ方向を向いている姿勢の人物がいない場合、プロジェクタのほうを向いている人物か否かを判断して、視聴者を特定してもよい。また、ＢＬＥで接続するスマートフォンのリモコンアプリからの指示でプロジェクタが起動されたか、リモコンアプリからの指示で人物の視点の位置姿勢の計算を実行する場合は、通信の方向と距離を測定することでスマートフォンのおよその位置を特定できる。視聴する人物が指示をすることが自然であると考えられるので、このことを利用して、画像に写る複数の人物のうち、指示があったスマートフォンのおおよその位置に最も近い位置姿勢の人物を視聴者として特定してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。コンピュータは、１または複数のプロセッサーまたは回路を有し、コンピュータ実行可能命令を読み出し実行するために、分離した複数のコンピュータまたは分離した複数のプロセッサーまたは回路のネットワークを含みうる。

プロセッサーまたは回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサーまたは回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、またはニューラルプロセッシングユニット（ＮＰＵ）を含みうる。

Claims (12)

1. 映像を投影する投影手段と、
   撮像手段と、
   前記撮像手段により得られた画像に基づき、映像を投影する面の形状を特定する特定手段と、
   前記撮像手段により得られた画像に基づき、前記映像を閲覧する人物の視点位置および姿勢を推論する推論手段と
   前記面の形状と前記視点位置および姿勢に応じて前記映像を補正する補正手段と、
   前記補正手段により補正された映像を投影するよう前記投影手段を制御する制御手段と
   を有する投影装置。
2. 前記撮像手段は全方位画像を撮像し、
   前記特定手段は、前記全方位画像をパノラマ展開した画像に基づき、映像を投影する面の形状を特定することを特徴とする請求項１に記載の投影装置。
3. 前記推論手段は、前記全方位画像をパノラマ展開した画像に基づき前記映像を閲覧する人物の視点位置および姿勢を推論することを特徴とする請求項２に記載の投影装置。
4. 前記推論手段は、前記全方位画像をパノラマ展開した画像を入力とし前記全方位画像をパノラマ展開した画像のうちの人物の視点位置および姿勢の情報を教師データとして学習した学習済みモデルを用いて前記映像を閲覧する人物の視点位置および姿勢を推論することを特徴とする請求項３に記載の投影装置。
5. 前記推論手段は、前記全方位画像に基づき前記映像を閲覧する人物の視点位置および姿勢を推論することを特徴とする請求項２に記載の投影装置。
6. 前記推論手段は、前記全方位画像を入力とし前記全方位画像のうちの人物の視点位置および姿勢の情報を教師データとして学習した学習済みモデルを用いて前記映像を閲覧する人物の視点位置および姿勢を推論することを特徴とする請求項５に記載の投影装置。
7. 前記画像に複数の人物が写っている場合、所定の条件を満たす人物を前記映像を閲覧する人物として特定することを特徴とする請求項１乃至６のいずれか１項に記載の投影装置。
8. 前記画像に複数の人物が写っている場合、前記投影手段による投影方向と、前記人物の視点の方向とに基づき、いずれかの人物を前記映像を閲覧する人物として特定することを特徴とする請求項１乃至６のいずれか１項に記載の投影装置。
9. 携帯端末装置と通信する通信手段をさらに有し、
   前記携帯端末装置からの所定の指示に応じて前記映像を閲覧する人物の視点位置および姿勢を推論する場合であって、かつ前記画像に複数の人物が写っている場合、前記指示を送信した前記携帯端末装置の位置を、前記通信手段が受け付けた指示の信号に基づき特定し、該特定された前記携帯端末装置の位置に基づき、いずれかの人物を前記映像を閲覧する人物として特定することを特徴とする請求項１乃至６のいずれか１項に記載の投影装置。
10. 前記面の形状を記録する記録手段をさらに有し、
    すでに前記記録手段に面の形状が記録されている場合、前記特定手段は、前記投影する面の形状の特定のための処理を実行しないことを特徴とする請求項１乃至９のいずれか１項に記載の投影装置。
11. 映像を投影する投影手段と、撮像手段とを有する投影装置の制御方法であって、
    前記撮像手段により得られた画像に基づき、映像を投影する面の形状を特定する特定ステップと、
    前記撮像手段により得られた画像に基づき、前記映像を閲覧する人物の視点位置および姿勢を推論する推論ステップと、
    前記面の形状と前記視点位置および姿勢に応じて前記映像を補正する補正ステップと、
    前記補正ステップで補正された映像を投影するよう前記投影手段を制御する制御ステップと
    を有する投影装置の制御方法。
12. コンピュータを請求項１乃至１０の何れか１項に記載の情報処理装置の各手段として動作させるためのプログラム。

Images