JP2020530218A - 没入型視聴覚コンテンツを投影する方法 - Google Patents

Abstract

【課題】没入型に最適化された視聴覚コンテンツを現実空間に投影するための制御方法を提供する。【解決手段】イマーシブ視聴覚コンテンツを投影する方法は、デジタル画像（１）をクロッピングするクロッピングステップ（２）と、そのサイズを選択することを含み、前記デジタル画像（１）の光学的歪みを、その投影のために、補正する（３）ことも含む。【選択図】図１

Description

本発明は、視聴覚空間の全体を覆うことができるような没入型の視聴覚コンテンツを現実空間に投影するための制御方法に関する。

現実の世界に架空のアクションや空間をシミュレーションする技術（イマーシブ技術）の技術分野においては、イマーシブコンテンツ、イマーシブビデオ、球面上ビデオ、３６０度ビデオとも呼ばれるもの（以下、没入型コンテンツと呼ぶ）が知られている。通常、これらのビデオは、風景のパノラマを見せるものである。風景が実在のものである場合は、１個の全方位型カメラあるいは複数台からなるカメラセットを用いて可能な限りすべての方向の風景を撮影することでビデオを制作する。風景が非現実のものである場合は、三次元制作ソフトウェアを用いてビデオを制作する。没入型コンテンツは、商品やサービスを感じる「経験」を消費者にさせるという「フック」を作れるので、マーケティング、広告、教育、娯楽の分野において使われることが一般的になりつつある。さらに没入型コンテンツは、ミュージカル、演劇、コンサートなどを、これらが実演される会場に行かない人々に届けるためにも採用されている。さらにビデオゲーム等娯楽部門や、教育部門においても同様のことがいえる。

３６０度ビデオのキャプチャに加え、没入型コンテンツ制作技術には、特定のポストプロダクションや三次元アニメーションソフトウェアが必要であり、正距円筒図法、円筒、ステレオ投影、魚眼（フィッシュアイ）、立体プロジェクションマッピング等異なる画像の投影を可能とするコンピュータアプリケーションが必要である。

現在、３６０度視聴覚コンテンツの制作に取り組んでいる会社が、この種のコンテンツを積極的に開発しており、また、ユーチューブ（登録商標）やフェースブック（登録商標）のような会社は、ストアし、ブラウザで再現するオンラインプラットフォームを開発している。しかしながら、こうしたコンテンツが好調という事実にも関わらず、没入型コンテンツ制作技術と没入型コンテンツ再現技術との間には、不均衡がある。

ドームやプラネタリウムでは公知の没入型コンテンツ再現技術が用いられているが、特別なイベントに適用されるのみであったり、個人使用には実現できなかったりするため、非常に高価な技術である。

これまでに、最も一般に普及した個人向けの没入型コンテンツ再現技術といえば、バーチャルリアリティー（ＶＲ）メガネ、タブレットやモバイルブラウザの使用である。しかしながら、こうしたメガネは、それをかけている人だけがコンテンツを楽しめ、実際の環境からは離れていて、快適でもなく、コンテンツの期間に条件が付けられる。

特許文献１には近年の解決策の一つが開示されており、ユーザー／プレイヤーに個々の没入経験を与えるビデオゲーム画像投影環境について記載されている。これまでのシステムは、様々なディスプレイがあり、例えば、ＴＶプラズマスクリーンのような従来の２Ｄ画像、ディスプレイの周りに周囲画像を表示するＲＧＢディスプレイをはじめとする３Ｄディスプレイがある。しかしながら、特許文献１には、このディスプレイ（特許文献１では「環境」と呼ばれている）が、３６０度投影する技術的な手段について記載されていない。さらに、特許文献１は、画像投影中にユーザーがイマーシブ３Ｄを経験できるよう、システムを構成する全てのディスプレイと同調して操作されるデバイス（ヘッドセットやメガネ）を着用しなければならないことを示している。特許文献１のシステムはまた、ビデオゲームの画像と相互作用するプレイヤーの環境において適用できるよう、ユーザーの動きと同調させる必要もあり、表示される視聴覚コンテンツのフォーマットと、最適な位置領域で、ヘッドトラッキング等をシステムが必要とする、没入経験における活動的なユーザーの役割の両方が制限される。

国際公開第２０１２／１１８７６９号

いずれにせよ、単一のプロジェクタから没入型コンテンツを投影する解決手段はない。

以上に鑑みて本開示は、一人のユーザー又はグループのユーザーのために、没入型に最適化された視聴覚コンテンツを現実空間に投影するための制御方法を提供することを目的とする。

本発明は、上述の問題及び背景技術で述べた解決手段の欠点を解決するものである。

本発明は、没入型コンテンツを投影するための制御方法に関し、次のステップを含む。デジタル画像（例えば没入型の画像）をクロップし、そのサイズを選択するステップ。投影のために前記デジタル画像の光学的歪みを補正するステップ。当該光学的歪みには、「魚眼」型（フィッシュアイタイプ）の光学−物理モジュールにより生成される幾何学的形状の歪みが含まれる。

本発明による没入型コンテンツを投影するための制御方法は、さらに、前記デジタル画像の投影空間に応じて前記デジタル画像を補正するステップを含んでもよい。この場合、前記補正するステップは、前記投影空間の幾何学的形状に応じて前記デジタル画像を補正するステップ、及び／又は、前記投影空間の色彩に応じて前記デジタル画像を補正するステップを含んでもよい。

前記補正ステップは、前記デジタル画像を投影するレンズの光学的歪みデータに基づいて実行されてもよい。また、物理的レンズにより生成される変形に対する逆変形に基づいて実行されてもよい。

さらに、前記補正するステップでは、赤外深度カメラを用いて、又はソフトウェアを用いて、前記投影空間に応じて前記デジタル画像が補正されてもよい。

クロップされる前の前記デジタル画像は、正距円筒図画像であってもよい。

さらに、前記補正するステップでは、前記プロジェクタに一体化された深度及びカラーセンサ、又は、前記プロジェクタの外部の深度及びカラーセンサを用いて前記デジタル画像が前記投影空間に応じて補正されてもよい。

本発明による投影のための制御方法によれば、例えば密閉空間や不規則な空間などの空間への投影に最適化した、空間への投影が可能になる。

なお、本発明は、密閉空間で好ましく適用される。

以下に、本発明の理解を助け、限定されない本発明の実施形態に関わる図面の説明をする。

本発明による視聴覚コンテンツ投影方法のブロック図を示す。

本発明の方法は、例えば部屋などの空間における投影に最適化された没入型視聴覚コンテンツを投影するために用いられる。

本発明の方法は、二次元で三次元環境を表すデジタル画像１で実施される。例えば、このデジタル画像１は、業界標準の正距円筒図画像である。

本発明による方法は、デジタル画像１をクロップする、すなわち、そのサイズと座標を選択するクロッピングステップ２を含む。デジタル画像をクロップするこのクロッピングステップは、空間ブラウジングインターフェースを含むユーザーコントロールデバイス２１、例えば、スマートフォン、アプリケーションやウェブサイトの三次元バーチャルブラウジングデータを用いて行うことができる。ただし、他のコントロールデバイスや、コンソールゲームコントローラー、ジェスチャーインタラクションセンサー等の組み合わせにより送られたデータを用いて行うことも排除されるものではない。

このコントロールデバイス２１は、クロッピングする座標（表示するデジタル画像の部分を選択するための一連の命令）を、中央装置に送る。

次に、本発明による方法においては、補正ステップ３で、光学的歪みが補正されることにより、例えば部屋の壁に投影した時のデジタル画像の歪みを防止することができる。

この補正ステップ３は、デジタル画像が投影されるレンズ３１からデータを用い、ソフトウェアを用いて行われる。なお、レンズデータは、当業者に知られているとおり、レンズメーカーから提供される。

物理レンズ３１により生成される変形を補正するために、逆変形によって、補正を行う。

このように、実際の環境、例えば部屋の壁での投影が最適化された、補正されたデジタル画像が得られる。

なお、前述したステップは、リアルタイムで実行すると有利である。

必要であれば、本発明による方法はまた、デジタル画像を投影する空間に応じてデジタル画像１を補正するステップ４１、４２を含んでいてもよい。

この補正ステップにおいて、補正するステップ４１は、部屋などの画像が投影される空間の幾何学的形状に応じて実行されてもよい。この場合、補正するステップ４１は、深度が未補正の画像４４から、深度が正規化された画像４３を得て、画像が投影される空間の幾何学的形状にデジタル画像を適合させることを含む。

さらにこの補正ステップにおいて、補正するステップ４２は、この空間の比色定量（クロマデータ）に応じて実行されてもよい。この場合、補正するステップ４２は、色彩が未補正の画像４６から、色彩が正規化された画像４５を得て、投影空間の比色定量にデジタル画像を適合させることを含む。

この補正ステップにおいては最初に、投影空間の幾何学的形状の描画データと投影空間の色差信号データが収集される。これにより、補正するステップ４１と補正するステップ４２を実時間と同時に処理（リアルタイム画像処理）することができる。

なお、この補正ステップ４１、４２は、リアルタイムで行うのが好ましい。ただし、このステップを行うのに必要なデータ（投影空間の深度を示す画像と色彩を示す画像）の補正はリアルタイムで行わず、前にやっておくことができる。

投影空間の深度を示す画像と色彩を示す画像の取得については、以下に挙げるいずれの態様により実行されてもよい。
ディスプレイ本体に一体化された深度及びカラーカメラ。
外部カメラ：技術者又はユーザーが用いるディスプレイアクセサリ。
同じ結果を得られるその他技術：フォーマットされた深度画像及びカラー画像。

例えば深度及びカラーセンサを用いてもよく、この場合、当該深度及びカラーセンサは、投影ユニットと一体化されていてもよいし、投影ユニットの外部装置であってもよい。

この場合、深度センサとカラーセンサから未補正のデータが収集されてもよい。未補正のデータは、関連データを抽出するために正規化されてもよく、上述したリアルタイム画像処理の各ステップに、実時間と同時的に提供されてもよい。

最後に、投影空間に対して最適化された、補正デジタル画像５を投影する。

本発明の特定の実施形態について参照してきたが、当業者であれば、記載された方法に多くの変形や修正を行え、上述した詳細は全て、特許請求の範囲に定義された保護範囲から逸脱しない他の技術的等価物により置き換えることができることが明白である。

Claims (9)

1. プロジェクタが実行する没入型コンテンツの投影方法であって、
   デジタル画像（１）をクロッピング（２）して、そのサイズを選択することと、
   前記デジタル画像（１）の光学的歪みを、その投影のために補正する補正ステップ（３）ことを含むことを特徴とする、没入型コンテンツの投影方法。
2. 前記デジタル画像（１）の投影空間に応じて前記デジタル画像（１）を補正するステップ（４１、４２）を含む、請求項１に記載の没入型コンテンツの投影方法。
3. 前記補正するステップは、前記投影空間の幾何学的形状に応じて前記デジタル画像（１）を補正するステップ（４１）、及び／又は、前記投影空間の色彩に応じて前記デジタル画像（１）を補正するステップ（４２）を含む、請求項２に記載の没入型コンテンツの投影方法。
4. 前記補正ステップ（３）は、前記デジタル画像（１）を投影するレンズ（３１）の光学的歪みデータに基づいて実行される、請求項１に記載の没入型コンテンツの投影方法。
5. 前記補正ステップ（３）は、前記レンズ（３１）により生成される変形に対する逆変形により実行される、請求項４に記載の没入型コンテンツの投影方法。
6. 前記レンズ（３１）は、魚眼レンズである、請求項４又は５に記載の没入型コンテンツの投影方法。
7. 前記補正するステップ（４１、４２）は、赤外深度カメラを用いて、又はソフトウェアを用いて、前記投影空間に応じて前記デジタル画像（１）を補正する、請求項２に記載の没入型コンテンツの投影方法。
8. 前記デジタル画像（１）は、正距円筒図画像である、請求項１に記載の没入型コンテンツの投影方法。
9. 前記補正するステップ（４１、４２）は、前記プロジェクタに一体化された深度及びカラーセンサ、又は、前記プロジェクタの外部の深度及びカラーセンサを用いて前記デジタル画像（１）を前記投影空間に応じて補正する、請求項２に記載の没入型コンテンツの投影方法。

Images