JP2021182374A - コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム - Google Patents

コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム Download PDF

Info

Publication number
JP2021182374A
JP2021182374A JP2021070748A JP2021070748A JP2021182374A JP 2021182374 A JP2021182374 A JP 2021182374A JP 2021070748 A JP2021070748 A JP 2021070748A JP 2021070748 A JP2021070748 A JP 2021070748A JP 2021182374 A JP2021182374 A JP 2021182374A
Authority
JP
Japan
Prior art keywords
content
image
projection
virtual
display position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021070748A
Other languages
English (en)
Inventor
健 増谷
Takeshi Masutani
順資 枡本
Nobusuke Masumoto
高明 安部
Takaaki Abe
章生 山中
Akio Yamanaka
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US17/323,996 priority Critical patent/US20210366324A1/en
Publication of JP2021182374A publication Critical patent/JP2021182374A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/28Reflectors in projection beam
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】より簡単に画像コンテンツを生成可能となるコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システムを提供する。【解決手段】コンテンツ生成方法は、実空間A1の投影位置P1にプロジェクタ30にて投影される画像コンテンツD1を生成する。第1取得処理では、実空間A1に相当する仮想空間A2に関する空間情報を取得する。第2取得処理では、仮想空間A2において投影位置P1に相当する表示位置P3に関する表示位置情報を取得する。第3取得処理では、仮想空間A2における基準位置P2に関する基準位置情報を取得する。生成処理では、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。【選択図】図4

Description

本開示は、一般にコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システムに関する。より詳細には、本開示は、実空間の投影位置にプロジェクタにて投影される画像コンテンツを生成するコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システムに関する。
特許文献1には、プロジェクションマッピングの表示エリア内にプロジェクタ手段にて画像を投影する画像表示システムが開示されている。特許文献1に記載の画像表示システムでは、プロジェクタ手段は、一つの画像を、画像表示領域内に投影し、画像表示領域の移動動作に追随して画像表示領域に画像を投影する。
すなわち、特許文献1では、画像表示領域は任意の方向に移動、回転、旋回が可能であり、プロジェクタ(プロジェクタ手段)も任意の方向に移動、変位可能である。そして、画像表示システムは、画像表示領域が移動すれば、画像表示領域の動きを検出し、画像表示領域の移動動作を追随するように、プロジェクタを移動させることで、実空間内で画像が投影される投影位置を変化させる。
特開2016−81497号公報
例えば、投影距離が長くなれば投影画像が大きくなるので、投影画像内のオブジェクトのサイズを一定とするには、プロジェクタと投影位置(画像表示領域)との相対的な位置関係に合わせて、画像コンテンツ中のオブジェクトのサイズを決める必要がある。特に、上述したように投影位置が変化する場合、プロジェクタと投影位置との相対的な位置関係が変化するため、両者の位置関係に合わせた画像コンテンツの生成には手間が掛かる。
本開示は上記事由に鑑みてなされており、より簡単に画像コンテンツを生成可能となるコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システムを提供することを目的とする。
本開示の一態様に係るコンテンツ生成方法は、実空間の投影位置にプロジェクタにて投影される画像コンテンツを生成する方法であって、第1取得処理と、第2取得処理と、第3取得処理と、生成処理と、を有する。前記第1取得処理では、前記実空間に相当する仮想空間に関する空間情報を取得する。前記第2取得処理では、前記仮想空間において前記投影位置に相当する表示位置に関する表示位置情報を取得する。第3取得処理では、前記仮想空間における基準位置に関する基準位置情報を取得する。前記生成処理では、前記空間情報、前記基準位置情報及び前記表示位置情報に基づいて、前記仮想空間の前記表示位置にオブジェクトを表示したときの前記基準位置から見た前記オブジェクトを含む画像を、前記画像コンテンツとして生成する。
本開示の一態様に係るコンテンツ投影方法は、前記コンテンツ生成方法で生成された前記画像コンテンツを、前記プロジェクタにて前記実空間の前記投影位置に投影する投影処理を有する。
本開示の一態様に係るプログラムは、前記コンテンツ生成方法を、1以上のプロセッサで実行させるためのプログラムである。
本開示の一態様に係るコンテンツ生成システムは、実空間の投影位置にプロジェクタにて投影される画像コンテンツを生成するシステムであって、第1取得部と、第2取得部と、第3取得部と、生成部と、を有する。前記第1取得部は、前記実空間に相当する仮想空間に関する空間情報を取得する。前記第2取得部は、前記仮想空間において前記投影位置に相当する表示位置に関する表示位置情報を取得する。第3取得部は、前記仮想空間における基準位置に関する基準位置情報を取得する。前記生成部は、前記空間情報、前記基準位置情報及び前記表示位置情報に基づいて、前記仮想空間の前記表示位置にオブジェクトを表示したときの前記基準位置から見た前記オブジェクトを含む画像を、前記画像コンテンツとして生成する。
本開示によれば、より簡単に画像コンテンツを生成可能になる、という利点がある。
図1は、実施形態1に係る画像投影システムを示す概略構成図である。 図2は、同上の画像投影システムの概略ブロック図である。 図3Aは、実施形態1に係るコンテンツ生成方法で形成される仮想空間の説明図である。図3Bは、同上のコンテンツ生成方法で仮想空間にオブジェクトを表示した状態の説明図である。図3Cは、同上のコンテンツ生成方法で仮想空間に仮想カメラを配置した状態の説明図である。 図4は、同上のコンテンツ生成方法で画像コンテンツを生成してプロジェクタに投影させる様子を示す説明図である。 図5は、同上のコンテンツ生成方法の一例を示すフローチャートである。 図6は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図7は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図8は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図9は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図10は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図11は、同上のコンテンツ生成方法で提供される入力支援ツール画面の一例を示す説明図である。 図12は、実施形態2に係るコンテンツ生成方法で形成される仮想空間の説明図である。
(実施形態1)
(1)概要
以下、本実施形態に係るコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム10の概要について、図1を参照して説明する。
本実施形態に係るコンテンツ生成方法は、実空間A1の投影位置P1にプロジェクタ30にて投影される画像コンテンツD1を生成する方法である。プロジェクタ30は、例えば、実空間A1に存在する壁面、床面又は天井面等の投影面A11に向かって光を照射することにより、画像コンテンツD1を用いて、投影面A11の投影位置P1に投影画像Im1を投影する。
本開示でいう「画像コンテンツ」は、投影画像Im1としてプロジェクタ30にて投影される画像を形成する情報(データ)の内容を意味する。つまり、プロジェクタ30に画像コンテンツD1が入力されることにより、プロジェクタ30は、画像コンテンツD1を用いて、投影画像Im1を投影することができる。言い換えれば、投影画像Im1の内容は、画像コンテンツD1によって定められている。投影画像Im1は、画像コンテンツD1に対して、例えば、トリミング、明度調整又はコントラスト調整等の加工が施されていてもよい。
ここにおいて、プロジェクタ30が投影画像Im1を投影する際、プロジェクタ30と投影位置P1との相対的な位置関係により、投影画像Im1のサイズ及び形状が変化する。したがって、例えば、投影画像Im1内のオブジェクトOb1のサイズ及び形状を一定とするには、プロジェクタ30と投影位置P1との相対的な位置関係に合わせて、画像コンテンツD1中のオブジェクトOb1のサイズ及び形状を決める必要がある。一例として、スローレシオを一定としてプロジェクタ30から投影位置P1までの投影距離が長くなると、投影画像Im1は大きくなる。この場合に、投影画像Im1内のオブジェクトOb1のサイズを一定とするには、画像コンテンツD1中のオブジェクトOb1のサイズを小さくするために、投影画像Im1自体のサイズを小さくする必要がある。
このように、プロジェクタ30にて投影される画像コンテンツD1の生成に際しては、プロジェクタ30と投影位置P1との相対的な位置関係を考慮する必要があるため、投射型でないディスプレイに表示される画像コンテンツの生成に比較して手間が掛かる。特に、例えば、実空間A1において投影位置P1が随時変化するような場合には、プロジェクタ30と投影位置P1との相対的な位置関係が変化するため、両者の位置関係を考慮した画像コンテンツD1の生成には非常に手間が掛かる。本実施形態に係るコンテンツ生成方法は、以下の態様によって、プロジェクタ30と投影位置P1との相対的な位置関係に応じた画像コンテンツD1を、より簡単に生成可能とする。
すなわち、本実施形態に係るコンテンツ生成方法は、実空間A1の投影位置P1にプロジェクタ30にて投影される画像コンテンツD1を生成する方法であって、第1取得処理と、第2取得処理と、第3取得処理と、生成処理と、を有する。第1取得処理では、空間情報を取得する。空間情報は、実空間A1に相当する仮想空間A2(図3A参照)に関する情報である。第2取得処理では、表示位置情報を取得する。表示位置情報は、仮想空間A2において投影位置P1に相当する表示位置P3(図3B参照)に関する。第3取得処理では、基準位置情報を取得する。基準位置情報は、仮想空間A2における基準位置P2(図3C参照)に関する情報である。生成処理では、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。
この態様によれば、実空間A1に相当する仮想空間A2において、実空間A1の投影位置P1に相当する表示位置P3にオブジェクトOb1を表示したときの、基準位置P2から見たオブジェクトOb1を含む画像が、画像コンテンツD1として生成される。つまり、仮想空間A2であれば、いずれの表示位置P3であっても、オブジェクトOb1を任意のサイズ及び形状で仮想的に表示することが可能である。そして、例えば、実空間A1の基準位置P2に相当する位置に設置したプロジェクタ30にて投影位置P1に画像コンテンツD1を投影した場合、投影されるオブジェクトOb1は、表示位置P3に仮想的に表示されたオブジェクトOb1と略一致する。したがって、実空間A1の投影位置P1に投影したいオブジェクトOb1を、仮想空間A2の表示位置P3に表示することにより、プロジェクタ30と投影位置P1との相対的な位置関係を考慮することなく、画像コンテンツD1を生成可能である。結果的に、プロジェクタ30と投影位置P1との相対的な位置関係に応じた画像コンテンツD1の生成が容易となり、より簡単に画像コンテンツD1を生成可能になる、という利点がある。
また、本実施形態に係るコンテンツ生成方法は、一例として、図2に示すようなコンテンツ生成システム10にて実行される。言い換えれば、コンテンツ生成システム10は、上述したコンテンツ生成方法を具現化するための一態様である。本実施形態に係るコンテンツ生成システム10は、実空間A1の投影位置P1にプロジェクタ30にて投影される画像コンテンツD1を生成するシステムであって、第1取得部11と、第2取得部12と、第3取得部13と、生成部14と、を有する。第1取得部11は、空間情報を取得する。空間情報は、実空間A1に相当する仮想空間A2に関する情報である。第2取得部12は、表示位置情報を取得する。表示位置情報は、仮想空間A2において投影位置P1に相当する表示位置P3に関する。第3取得部13は、基準位置情報を取得する。基準位置情報は、仮想空間A2における基準位置P2に関する情報である。生成部14は、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。
ここにおいて、本実施形態に係るコンテンツ生成システム10は、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステムを主構成とする。言い換えれば、本実施形態に係るコンテンツ生成方法は、コンピュータシステム(コンテンツ生成システム10)上で用いられる。つまり、コンテンツ生成方法は、プログラムでも具現化可能である。本実施形態に係るプログラムは、本実施形態に係るコンテンツ生成方法を、1以上のプロセッサに実行させるためのプログラムである。
また、本実施形態に係るコンテンツ投影方法は、上述したコンテンツ生成方法で生成される画像コンテンツD1を用いて、投影画像Im1の投影を行う方法である。すなわち、コンテンツ投影方法は、投影処理を有している。投影処理では、本実施形態に係るコンテンツ生成方法で生成された画像コンテンツD1を、プロジェクタ30にて実空間A1の投影位置P1に投影する。
(2)前提
本開示でいう「画像」は、動画(動画像)及び静止画(静止画像)を含む。さらに、「動画」は、コマ撮り等により得られる複数の静止画にて構成される画像を含む。また、「画像」は、モノクロ画像及びカラー画像を含む。本実施形態では一例として、「画像」は、時間経過に伴って変化する画像(つまり動画)であって、フルカラーの画像である。つまり、本実施形態では一例として、プロジェクタ30にて投影される投影画像Im1は、フルカラー動画であって、投影画像Im1を形成する情報の内容である画像コンテンツD1についても、フルカラー動画のデータである。
本開示でいう「実空間」は、現実の空間、つまり実在する空間を意味し、実在する施設(建物)の内部空間(屋内空間)、及び屋外空間を含む。ここでいう施設は、例えば、商業施設、テーマパーク、オフィスビル、学校、福祉施設、病院及び工場等の非住宅の施設と、集合住宅及び戸建住宅等の施設と、を含む。非住宅の施設には、劇場、映画館、公会堂、遊技場、複合施設、飲食店、百貨店、ホテル、旅館、幼稚園、図書館、博物館、美術館、地下街、駅及び空港等も含む。さらには、本開示でいう「施設」には、建物(建造物)だけでなく、球場、駐車場、グランド及び公園等の屋外施設を含む。例えば、建造物からなる施設の内部空間においては、壁、床又は天井等の施設の構造物の表面(壁面、床面又は天井面等)が、投影画像Im1を投影するための投影面A11となり得る。さらに、扉、パーティション、棚、机、椅子、家電機器又はスクリーン等のように、施設の内部に設置されている設備(器具、什器、機器及び装置を組む)の表面が、投影画像Im1を投影するための投影面A11となり得る。屋外においては、建造物からなる施設の外壁、屋根又は柱、更には、地面、岩又は樹木等の物体の表面が、投影画像Im1を投影するための投影面A11となり得る。本実施形態では一例として、実空間A1は、商業施設等の非住宅の施設の一室の室内空間(屋内空間)であって、この室内の壁面、床面又は天井面等が投影面A11となる場合について説明する。
本開示でいう「仮想空間」は、実在しない仮想的な空間を意味し、現実空間(実空間A1)に実在するわけではなく、実体を伴わない。そのため、仮想空間A2は、例えば、1以上のプロセッサで処理可能なデータからなり、コンピュータシステムにて再現される仮想的な空間である。ここで、仮想空間A2は、投影画像Im1が投影される実空間A1に相当する空間である。言い換えれば、仮想空間A2は、実空間A1を模した空間であって、例えば、壁、床及び天井等の構造物が、実空間A1と同様にレイアウトされた仮想的な空間である。そのため、仮想空間A2には、実空間A1において投影画像Im1が投影される投影面A11に相当する、仮想投影面A21(図3A参照)が含まれる。ただし、仮想空間A2は、少なくとも、投影面A11を含む構造物の表面のレイアウトについて実空間A1を模していればよく、構造物の内部及び裏側、構造物の表面状態、及び照明器具等の設備のレイアウト等については、実空間A1を模していなくてもよい。本実施形態では一例として、仮想空間A2は、X軸、Y軸及びZ軸の互いに直交する3軸を持つXYZ直交座標系で表される三次元空間である。
また、本開示でいう「位置」は、ある程度の大きさ及び形状を有していてもよいし、大きさを有さない「点」であってもよい。したがって、例えば、投影位置P1であれば、仮想空間A2において、ある程度の大きさ及び形状を有する領域にて規定されてもよいし、大きさを有さない座標上の「点」にて規定されてもよい。本実施形態では一例として、投影位置P1は、投影面A11上における、ある程度の大きさ(面積)を持つ領域からなることと仮定する。同様に、投影位置P1に相当する表示位置P3は、仮想空間A2内で、ある程度の大きさ(面積)を持つ領域であることと仮定する。他方、基準位置P2は、大きさを有さない「点」であることと仮定する。さらに、後述する設置位置P4は、実空間A1においてプロジェクタ30が設置される位置を表しており、大きさを有さない「点」であることと仮定する。つまり、設置位置P4は、プロジェクタ30に対して相対的に定められる一点(例えば、後述するミラー部32の中心点)の位置である。さらに、仮想空間A2における基準位置P2及び表示位置P3については、仮想的な仮想空間A2内に仮想的に存在すると定義されるに過ぎず、現実空間(実空間A1)に実在するわけではなく、実体を伴わない。
本開示でいう「オブジェクト」は、1以上のプロセッサで処理可能なデータからなり、現実空間(実空間)に実在するわけではなく、実体を伴わない。オブジェクトOb1は、何らかの物体(生物を含む)、記号、数字又は文字等を象った仮想的なモデルであって、二次元モデル又は三次元モデルのいずれであってもよい。本実施形態では一例として、オブジェクトOb1は、図1に示すように、「蝶」を模した二次元モデルであることと仮定する。
(3)画像投影支援システム
以下、本実施形態に係るコンテンツ生成システム10を含む、画像投影システム100の構成について、図1及び図2を参照して説明する。
(3.1)全体構成
本実施形態に係るコンテンツ生成システム10は、生成された画像コンテンツD1を実際に投影するプロジェクタ30と共に、画像投影システム100を構成する。すなわち、本実施形態に係る画像投影システム100は、コンテンツ生成システム10と、プロジェクタ30と、を備えている。画像投影システム100では、画像コンテンツD1を生成から、生成された画像コンテンツD1の投影まで、実空間A1の投影位置P1に投影画像Im1を投影するために必要な処理を全て賄うことが可能である。
コンテンツ生成システム10は、上述したように、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステムを主構成とする。本実施形態では一例として、コンテンツ生成システム10は、パーソナルコンピュータからなる1台の情報端末1にて実現されることとする。すなわち、情報端末1には、専用のアプリケーションソフト(プログラム)がインストールされており、このアプリケーションソフトを起動することにより、情報端末1がコンテンツ生成システム10として機能し、コンテンツ生成方法が具現化される。
また、コンテンツ生成システム10は、表示装置40及び入力装置50に接続されている。そして、コンテンツ生成システム10は、表示装置40に画面を表示してユーザに情報を提示し、ユーザの操作を入力装置50にて受け付ける。
言い換えれば、本実施形態に係るコンテンツ生成方法は、コンピュータシステムのグラフィカルユーザインタフェース(GUI:Graphical User Interface)上で用いられる。つまり、コンテンツ生成方法は、コンピュータシステムを主構成とする情報端末1(コンテンツ生成システム10)にて、入力支援ツール画面T1(図1参照)等の画面を表示する方法である。本開示でいう入力支援ツール画面T1等の「画面」は、表示装置40に映し出される像(テキスト、グラフ及びアイコン等を含む)である。そのため、本実施形態に係るコンテンツ生成方法によれば、ユーザは、グラフィカルユーザインタフェース上で、画像コンテンツD1を生成することが可能である。
また、本実施形態に係る画像投影システム100では、コンテンツ生成システム10は、プロジェクタ30と通信可能に構成されている。本開示でいう「通信可能」とは、有線通信又は無線通信の適宜の通信方式により、直接的、又はネットワーク若しくは中継器等を介して間接的に、情報を授受できることを意味する。すなわち、コンテンツ生成システム10とプロジェクタ30とは、互いに情報を授受することが可能である。本実施形態では、少なくともコンテンツ生成システム10からプロジェクタ30に対して、画像コンテンツD1及び制御情報D2等を送信可能である。これにより、画像投影システム100は、コンテンツ生成システム10で生成された画像コンテンツD1をプロジェクタ30に送信し、プロジェクタ30にて画像コンテンツD1の投影を行うことが可能である。
本実施形態では一例として、コンテンツ生成システム10とプロジェクタ30とは、映像ケーブル101、制御ケーブル102及び通信ケーブル103にて、有線接続されている。映像ケーブル101は、一例として、HDMI(登録商標)等の通信規格に準じており、コンテンツ生成システム10からプロジェクタ30への画像コンテンツD1の送信に用いられる。制御ケーブル102は、一例として、LAN(Local Area Network)等の通信規格に準じており、コンテンツ生成システム10からプロジェクタ30への制御情報D2の送信に用いられる。通信ケーブル103は、一例として、LAN等の通信規格に準じており、コンテンツ生成システム10とプロジェクタ30との間の各種の情報の授受に用いられる。制御ケーブル102と通信ケーブル103とは、1本のLANケーブルで共用されてもよいし、それぞれ、後述するミラー部32の制御用とプロジェクタ30の本体の制御用とで分けて使用してもよい。
プロジェクタ30は、コンテンツ生成システム10で生成された画像コンテンツD1を、実空間A1の投影位置P1に投影する。ここでは、プロジェクタ30は、実空間A1の設置位置P4に設置されている。本実施形態では、設置位置P4は、上述したようにプロジェクタ30に対して相対的に定められる一点の位置であって、一例として、後述するミラー部32の中心点の位置である。つまり、プロジェクタ30は、ミラー部32の中心点が設置位置P4に位置するように、実空間A1に設置される。プロジェクタ30は、実空間A1に存在する壁面、床面又は天井面等の投影面A11に向かって光を照射することにより、画像コンテンツD1を用いて、投影面A11の投影位置P1に投影画像Im1を投影する。
本実施形態では、プロジェクタ30は、コンテンツ生成システム10から送信(配信)される画像コンテンツD1をリアルタイムで投影する。言い換えれば、コンテンツ生成システム10は、画像コンテンツD1を再生して映像信号を出力(送信)する映像再生装置としての機能を有する。すなわち、画像投影システム100においては、コンテンツ生成システム10が、画像コンテンツD1の生成及び再生を行い、プロジェクタ30が画像コンテンツD1の投影を行う。
表示装置40は、例えば、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等により実現される。表示装置40は、コンテンツ生成システム10からの映像信号を受けて入力支援ツール画面T1等の「画面」を表示することにより、コンテンツ生成方法のユーザに対して情報を提示する。
入力装置50は、例えば、キーボード、マウス等のポインティングデバイス、メカニカルなスイッチ、ジェスチャセンサ又は音声入力装置により実現される。入力装置50は、コンテンツ生成方法のユーザの操作(音声操作等を含む)を受け付けて、ユーザの操作に応じた操作信号をコンテンツ生成システム10に出力する。
表示装置40及び入力装置50の少なくとも一方は、コンテンツ生成システム10の構成要素に含まれていてもよい。言い換えれば、コンテンツ生成システム10は、表示装置40と入力装置50との少なくとも一方を備えていてもよい。さらに、例えば、表示装置40及び入力装置50は、タッチパネルディスプレイにて実現されてもよく、この場合、表示装置40と入力装置50とは一体化されることになる。
(3.2)プロジェクタ
次に、プロジェクタ30のより詳細な構成について説明する。
本実施形態では、プロジェクタ30は、床(地面を含む)に置いて使用される、床置きタイプである。そのため、プロジェクタ30を置く位置、及び床上でのプロジェクタ30の向きにより、水平面内でのプロジェクタ30の位置(設置位置P4)及び向きは任意に設定可能である。さらに、プロジェクタ30は、例えば、本体を支持する脚部にアジャスタ機能を有しており、本体の床面からの高さを調整することで、鉛直方向の高さについても調整可能である。これにより、プロジェクタ30のミラー部32の表面(反射面)の中心点の位置である設置位置P4を、任意に設定することが可能となる。
ここでは一例として、プロジェクタ30は、図1に示すように、施設の室内空間からなる実空間A1において、いずれの壁面からも適度に離れた位置に設置されている。これにより、プロジェクタ30は、プロジェクタ30の周囲に存在する壁面、床面又は天井面等の投影面A11に向かって光を照射することにより、画像コンテンツD1を用いて、投影面A11の投影位置P1に投影画像Im1を投影する。
ここにおいて、プロジェクタ30は、投影位置P1が固定的ではなく、実空間A1内における投影位置P1が可変となる可動式のプロジェクションシステムである。つまり、投影位置P1は、実空間A1内を移動可能である。ここでは、プロジェクタ30は、光の照射方向を変化させることにより、投影位置P1を移動させる。一例として、投影面A11の正面に設置されたプロジェクタ30が、光の照射方向を投影面A11の左端から右端に向けて変化させることで、投影位置P1は、投影面A11上を右方向に移動することになる。
本実施形態では特に、プロジェクタ30は、ムービングミラー式のプロジェクションシステムであって、照射される光の光路上に位置するミラー部32を動かすことにより、光の照射方向を変化させて、投影位置P1を移動させる。すなわち、プロジェクタ30は、図2に示すように、投影部31と、ミラー部32と、駆動部33と、を有している。投影部31は、画像コンテンツD1を用いて、投影画像Im1を投影するための光を出射する。ミラー部32は、投影部31から出射される光を反射する。駆動部33は、ミラー部32の向きを変化させるようにミラー部32を駆動することによって投影位置P1を移動させる。要するに、本実施形態では、駆動部33がミラー部32を首振り動作させることによって、ミラー部32にて、投影部31から出射される光の反射方向を変化させ、プロジェクタ30からの光(ミラー部32での反射光)の照射方向を変化させる。
より詳細には、図1に示すように、投影部31は、一例として、プロジェクタ30の本体の上面から上方に突出する円筒状の光学部311を有している。光学部311は、複数のレンズ素子を含むレンズ系を備えている。投影部31は、光学部311の光軸に沿って、光学部311の上面の開口から上方に光を出射する。投影部31から出射される光は、投影画像Im1を投影するための光であって、この光が投影面A11に照射されることで、投影面A11上に結像して投影画像Im1が投影される。投影部31は、画像コンテンツD1が入力されることにより、画像コンテンツD1に応じた画像を光として出射する。本実施形態では、投影部31から出射される光の光軸は、鉛直方向に沿っており、かつミラー部32の表面(反射面)の中心と交差する。
ミラー部32は、一例として、表面(反射面)が多角形(六角形)状でかつ平坦な平面鏡であって、駆動部33にて首振り可能に保持されている。ミラー部32の表面の中心点には、上述したよう投影部31からの光が下方から入射するので、ミラー部32は、基本的には、表面を斜め下方に向けた姿勢で保持されている。これにより、投影部31から上方に出射される光は、ミラー部32の表面にて側方に反射され、プロジェクタ30の周囲に存在する壁面、床面又は天井面等の投影面A11に向かって照射される。
駆動部33は、ミラー部32を首振り可能に保持して、ミラー部32の向きを変化させるようにミラー部32を駆動する。駆動部33は、例えば、モータ等を含むアクチュエータで実現される。駆動部33がミラー部32を駆動することによって、ミラー部32の向きが変化して、実空間A1内で投影位置P1が移動する。駆動部33は、コンテンツ生成システム10からの制御情報D2にて制御される。言い換えれば、コンテンツ生成システム10からプロジェクタ30に送信される制御情報D2は、駆動部33の制御に用いられる情報であって、実空間A1内で投影位置P1を移動させるための情報である。
本実施形態では、駆動部33は、ミラー部32の表面の中心点を通る鉛直軸回りで回転させる「パン動作」と、ミラー部32の表面の中心点を通る水平軸回りで回転させる「チルト動作」と、の2種類の動作が可能である。パン動作によれば、ミラー部32の表面の中心点における法線の向きが水平方向に沿って変化し、ミラー部32の方位角が変化する。チルト動作によれば、ミラー部32の表面の中心点における法線の向きが鉛直方向に沿って変化し、ミラー部32の仰俯角が変化する。本実施形態では、駆動部33は、パン動作とチルト動作とを組み合わせることにより、ミラー部32の表面の中心点を中心にして、ミラー部32の向きを自在に変化させることができる。したがって、ミラー部32で反射された光が照射される投影位置P1は、例えば、壁面からなる投影面A11においては、上下左右の二次元方向に移動可能となる。
(3.3)コンテンツ生成システム
次に、コンテンツ生成システム10のより詳細な構成について説明する。
コンテンツ生成システム10は、上述したように、第1取得部11、第3取得部13、第2取得部12及び生成部14を備えている。本実施形態に係るコンテンツ生成システム10は、図2に示すように、第1取得部11、第2取得部12、第3取得部13及び生成部14に加えて、仮想空間形成部15及びオブジェクト取得部16を備えている。また、本実施形態に係るコンテンツ生成システム10は、制御情報生成部17、提供部18、入力部19、出力部20、通信部21及びデータ格納部22を更に備えている。つまり、コンテンツ生成システム10は、第1取得部11、第2取得部12、第3取得部13、生成部14、仮想空間形成部15、オブジェクト取得部16、制御情報生成部17、提供部18、入力部19、出力部20、通信部21及びデータ格納部22を備える。
本実施形態では、上述したように、コンテンツ生成システム10は、1以上のプロセッサ及び1以上のメモリを有するコンピュータシステムを主構成とする。そのため、コンテンツ生成システム10のうち、通信部21及びデータ格納部22以外の機能(第1取得部11、第2取得部12、第3取得部13及び生成部14等)は、1以上のプロセッサがプログラムを実行することによって具現化される。
第1取得部11は、上述したように、空間情報を取得する第1取得処理を実行する。空間情報は、実空間A1に相当する仮想空間A2に関する情報である。本実施形態では、第1取得部11は、入力部19から、空間情報を取得する。
第2取得部12は、上述したように、表示位置情報を取得する第2取得処理を実行する。表示位置情報は、仮想空間A2において投影位置P1に相当する表示位置P3に関する。本実施形態では、第2取得部12は、入力部19から、表示位置情報を取得する。
第3取得部13は、上述したように、基準位置情報を取得する第3取得処理を実行する。基準位置情報は、仮想空間A2における基準位置P2に関する情報である。本実施形態では、第3取得部13は、入力部19から、基準位置情報を取得する。
生成部14は、上述したように、画像コンテンツD1を生成する生成処理を実行する。生成処理では、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。つまり、生成部14は、第1取得部11で取得された空間情報、第3取得部13で取得された基準位置情報、及び第2取得部12で取得された表示位置情報に基づいて、画像コンテンツD1を生成する。本実施形態では、仮想空間形成部15で形成される仮想空間A2の表示位置P3に、オブジェクト取得部16で取得されるオブジェクトOb1を、仮想的に表示した状態で、生成部14が画像コンテンツD1を生成する。表示位置P3へのオブジェクトOb1の仮想的な表示は、生成部14によって実行される。
本実施形態では一例として、生成部14は、仮想空間A2の基準位置P2に仮想カメラV30(図3C参照)を仮想的に設置する。本開示でいう「仮想カメラ」は、カメラの機能を模した仮想デバイスであって、仮想的な仮想空間A2内に仮想的に存在すると定義されるに過ぎず、現実空間(実空間A1)に実在するわけではなく、実体を伴わない。本実施形態では、仮想カメラV30は、フルカラー動画を撮影可能なビデオカメラの機能を模している。ここで、仮想カメラV30は、仮想空間A2において、実空間A1に設置されるプロジェクタ30に相当する位置に設置される。
本実施形態では、基準位置P2は、仮想空間A2において仮想カメラV30が設置される位置を表しており、設置位置P4と同様に、大きさを有さない「点」である。言い換えれば、基準位置P2は、仮想空間A2において、実空間A1の設置位置P4に相当する位置である。ここでは、基準位置P2は、仮想カメラV30に対して相対的に定められる一点の位置であって、一例として、後述する仮想ミラー部V32の中心点の位置である。つまり、仮想カメラV30は、仮想ミラー部V32の中心点が基準位置P2に位置するように、仮想空間A2に仮想的に設置される。
仮想カメラV30は、一般的なカメラと同様に、仮想カメラV30の視野内に存在する被写体を撮影し、視野内に映る像を画像(画像信号)として出力する機能を持つ。そのため、仮想空間A2の表示位置P3にオブジェクトOb1を仮想的に表示した状態で、仮想カメラV30にて表示位置P3を撮影すると、基準位置P2から見たオブジェクトOb1を含む画像が、仮想カメラV30から出力される。つまり、このとき出力される画像は、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像である。したがって、生成部14は、このような仮想カメラV30を定義した上で、仮想カメラV30で撮影される画像を、画像コンテンツD1とすることで、画像コンテンツD1を生成する。
仮想空間形成部15は、仮想空間A2を形成する仮想空間形成処理を実行する。仮想空間形成部15は、第1取得部11が取得した空間情報に基づいて、仮想空間A2を形成する。
オブジェクト取得部16は、オブジェクトOb1に関するオブジェクト情報を取得するオブジェクト取得処理を実行する。本実施形態では、オブジェクト取得部16は、入力部19から、オブジェクト情報を取得する。オブジェクト取得部16で取得されたオブジェクト情報のオブジェクトOb1は、生成部14にて仮想空間A2の表示位置P3に、仮想的に表示される。
制御情報生成部17は、制御情報D2を生成する制御情報生成処理を実行する。制御情報生成処理では、表示位置P3の移動に同期して、実空間A1内で投影位置P1を移動させるためのプロジェクタ30の制御情報D2を生成する。制御情報生成部17で生成された制御情報D2は、出力部20から出力される。
提供部18は、入力支援ツールを提供する提供処理を実行する。入力支援ツールは、第2取得処理に際して表示位置情報をユーザに入力させるためのツールである。入力支援ツールは、少なくとも仮想空間A2内における表示位置P3の提示を行う。本実施形態では、入力支援ツールは、入力支援ツール画面T1にて具現化される。つまり、入力支援ツールは、コンピュータシステムのグラフィカルユーザインタフェース上で用いられるツールであって、実体を伴わない。
入力部19は、コンテンツ生成システム10の外部から種々の情報及び信号の入力を受け付ける。入力部19は、少なくとも入力装置50からの操作信号の入力を受け付ける。これにより、コンテンツ生成システム10は、コンテンツ生成方法のユーザの操作(音声操作等を含む)を、入力装置50にて間接的に受け付けることができる。入力部19は、通信部21を介して、外部からの情報及び信号の入力を受け付けてもよい。
出力部20は、少なくとも生成部14で生成された画像コンテンツD1を出力する。出力部20は、制御情報生成部17で生成された制御情報D2についても出力する。さらに、出力部20は、表示装置40に対して入力支援ツール画面T1等の画面を表示するための映像信号を出力する。ここで、出力部20での出力の態様には、例えば、表示、通信(送信)、音、印刷(プリントアウト)、及び非一時的記録媒体への記録(書き込み)等が含まれる。本実施形態では一例として、出力部20は、少なくとも画像コンテンツD1及び制御情報D2については、データ格納部22への記録(書き込み)による出力と、プロジェクタ30への通信部21からの通信(送信)による出力と、を行う。
通信部21は、プロジェクタ30と通信する機能を有している。本実施形態では、通信部21は、映像ケーブル101、制御ケーブル102及び通信ケーブル103にて、プロジェクタ30と有線接続されている。
データ格納部22は、画像コンテンツD1及び制御情報D2等を記憶する。また、データ格納部22は、第1取得部11で取得された空間情報、第3取得部13で取得された基準位置情報、及び第2取得部12で取得された表示位置情報についても記憶する。さらに、データ格納部22は、第1取得部11、第3取得部13、第2取得部12及び生成部14等での演算に必要な情報等を記憶する。データ格納部22は、EEPROM(Electrically Erasable Programmable Read-Only Memory)のような書き換え可能な不揮発性メモリを含む。
コンテンツ生成システム10の各部の動作について詳しくは「(4)コンテンツ生成方法」の欄で説明する。
ところで、本実施形態に係るコンテンツ生成システム10は、上述したように、画像コンテンツD1を生成する機能と、生成した画像コンテンツD1を再生して映像信号を出力(送信)する映像再生装置としての機能と、を有している。ただし、本実施形態では、コンテンツ生成システム10での画像コンテンツD1の生成と、コンテンツ生成システム10での画像コンテンツD1の再生(映像信号の出力)とは、同時に行われるのではなく、別々の状況下で行われる場合を想定する。
そこで、本実施形態に係るコンテンツ生成システム10は、動作モードとして、少なくとも生成モードと、再生モードと、の2つのモードを有している。生成モードは、画像コンテンツD1の生成のための動作モードであって、生成モードで動作中であれば、コンテンツ生成システム10は、画像コンテンツD1を生成し、生成した画像コンテンツD1をデータ格納部22に記憶(格納)する。再生モードは、画像コンテンツD1の再生のための動作モードであって、再生モードで動作中であれば、コンテンツ生成システム10は、データ格納部22に記憶されている画像コンテンツD1を再生して、映像信号をプロジェクタ30に出力(送信)する。動作モード(生成モード、再生モード)の切り替えは、例えば、入力装置50に対するユーザの操作によって手動で行われてもよいし、自動的に行われてもよい。
(4)コンテンツ生成方法
以下、本実施形態に係るコンテンツ生成システム10の生成モードでの動作、すなわち、本実施形態に係るコンテンツ生成方法について、図3A〜図11を参照して詳しく説明する。
(4.1)全体
ここではまず、本実施形態に係るコンテンツ生成システム10の全体動作、つまりコンテンツ生成方法の全容について、図3A〜図5を参照して説明する。図3A〜図3Cは、コンテンツ生成方法に係る仮想空間A2を可視化した説明図である。図4は、仮想空間A2内の仮想カメラV30で画像コンテンツD1を生成し、生成された画像コンテンツD1を実空間A1のプロジェクタ30にて投影する、という処理の流れを概念的に表す説明図である。図5は、本実施形態に係るコンテンツ生成方法の全容の一例を示すフローチャートである。
画像コンテンツD1を生成するに際して、コンテンツ生成システム10は、まず、図3Aに示すような仮想空間A2を形成するべく、第1取得部11にて、仮想空間A2に関する空間情報を取得する第1取得処理を実行する(図5のS1)。空間情報は、実空間A1に相当する仮想空間A2を形成するために用いられるので、例えば、実空間A1における、壁、床及び天井等の空間を構成する構造物のレイアウトを特定する情報である。つまり、これらの構造物のレイアウトをコピーした空間情報によれば、実空間A1を模した仮想空間A2を形成することが可能である。本実施形態では、仮想空間A2は、XYZ直交座標系で表される三次元空間であるので、空間情報は、XYZ直交座標系における座標位置を含む。具体的には、第1取得処理では、三次元コンピュータグラフィックス(3DCG)のソフトウェア上で、仮想空間A2を形成する壁、床及び天井等の構造物をモデリングするためのパラメータが、空間情報として取得される。また、第1取得処理では、実空間A1の三次元計測結果を、又は実空間A1のCADデータを、空間情報として取得してもよい。
次に、コンテンツ生成システム10は、取得した空間情報を用いて、仮想空間形成部15にて、図3Aに示すような仮想空間A2を形成する(図5のS2)。仮想空間A2は、実在しない仮想的な空間であって、1以上のプロセッサで処理可能なデータからなり、コンピュータシステムにて再現される仮想的な空間である。そのため、三次元コンピュータグラフィックス(3DCG)のソフトウェア上で、空間情報としてのパラメータが入力されることで、仮想空間A2が形成されることになる。このようにして形成された仮想空間A2においては、例えば、壁、床及び天井等の構造物の表面が、実空間A1の投影面A11に相当する仮想投影面A21となる。この段階(図3Aの段階)では、仮想空間A2に仮想カメラV30は設置されていない。
ただし、仮想空間A2においては、実空間A1と同一の長さ(寸法)の縮尺(スケール)までは要求されないため、例えば、壁であれば、縦横比が実空間A1と仮想空間A2とで同一であればよく、高さ寸法は実空間A1と仮想空間A2とで異なってもよい。
次に、コンテンツ生成システム10は、図3Bに示すような表示位置P3を特定するべく、第2取得部12にて、表示位置P3に関する表示位置情報を取得する第2取得処理を実行する(図5のS3)。表示位置情報は、仮想空間A2において、投影位置P1に相当する表示位置P3を特定するために用いられるので、例えば、仮想空間A2における、壁、床及び天井等の構造物の表面からなる仮想投影面A21内の位置を特定する情報である。特に、表示位置P3は、仮想空間A2内で、ある程度の大きさ(面積)を持つ領域であるので、表示位置情報は、仮想投影面A21上の特定の領域(範囲)を表す情報である。さらに、本実施形態では、仮想空間A2は、XYZ直交座標系で表される三次元空間であるので、表示位置情報は、XYZ直交座標系における座標位置を含む。
次に、コンテンツ生成システム10は、図3Bに示すようなオブジェクトOb1を表示するべく、オブジェクト取得部16にて、オブジェクトOb1に関するオブジェクト情報を取得するオブジェクト取得処理を実行する(図5のS4)。本実施形態では一例として、オブジェクトOb1は、「蝶」を模した二次元モデルであるので、オブジェクト取得部16は、このようなオブジェクトOb1を再現するためのデータをオブジェクト情報として取得する。具体的には、オブジェクト取得処理では、三次元コンピュータグラフィックスのソフトウェア上で、仮想投影面A21上にオブジェクトOb1を表示するためのデータが、オブジェクト情報として取得される。
次に、コンテンツ生成システム10は、取得した表示位置情報及びオブジェクト情報を用いて、図3Bに示すようなオブジェクトOb1を、生成部14にて、仮想空間A2における表示位置P3に配置するオブジェクト配置処理を実行する(図5のS5)。つまり、生成部14は、表示位置情報で特定される表示位置P3に、オブジェクト情報で特定されるオブジェクトOb1を配置する。オブジェクトOb1が、仮想空間A2の仮想投影面A21上に設定された表示位置P3に配置されることで、オブジェクトOb1は仮想的に表示される。ただし、オブジェクトOb1は、表示位置P3となる仮想投影面A21付近に配置されればよく、厳密に、仮想投影面A21上に配置される必要はない。あるいは、平面画像として生成されたオブジェクトOb1が、仮想投影面A21上にテクスチャとして配置されてもよいし、仮想投影面A21上に射影により配置されてもよい。
次に、コンテンツ生成システム10は、図3Cに示すような仮想カメラV30を設置するべく、第3取得部13にて、基準位置P2に関する基準位置情報を取得する第3取得処理を実行する(図5のS6)。基準位置情報は、仮想空間A2に仮想カメラV30を設置する基準位置P2を特定するために用いられるので、例えば、実空間A1におけるプロジェクタ30が設置される設置位置P4を特定する情報である。つまり、これらの実空間A1における設置位置P4をコピーした基準位置情報によれば、仮想空間A2のうち、実空間A1のプロジェクタ30と同じ位置に仮想カメラV30を設置することが可能である。本実施形態では、仮想空間A2は、XYZ直交座標系で表される三次元空間であるので、基準位置情報は、XYZ直交座標系における座標位置を含む。
次に、コンテンツ生成システム10は、取得した基準位置情報を用いて、図3Cに示すような仮想カメラV30を、生成部14にて、仮想空間A2における基準位置P2に配置する(図5のS7)。仮想カメラV30は、仮想的な仮想空間A2内に仮想的に存在すると定義される仮想デバイスであって、1以上のプロセッサで処理可能なデータからなり、コンピュータシステムにて再現される仮想的なデバイスである。そのため、三次元コンピュータグラフィックスのソフトウェア上で、基準位置情報としてのパラメータが入力されることで、仮想カメラV30が配置されることになる。
ここにおいて、仮想カメラV30は、図3Cに示すように、外観形状及び仕様について、プロジェクタ30を模した仮想デバイスからなる。すなわち、可動式のプロジェクタ30に合わせて、仮想カメラV30は、視野が固定的ではなく、仮想空間A2内における視野が可変となる可動式のカメラシステムからなる。つまり、仮想カメラV30の視野は、仮想空間A2内を移動可能である。ここでは、仮想カメラV30は、光の入射方向を変化させることにより、視野を移動させる。一例として、仮想投影面A21の正面に設置された仮想カメラV30が、光の入射方向を仮想投影面A21の左端から右端に向けて変化させることで、視野は、仮想投影面A21上を右方向に移動することになる。
本実施形態では特に、ムービングミラー式のプロジェクタ30に合わせて、仮想カメラV30は、ムービングミラー式のカメラシステムからなる。つまり、仮想カメラV30は、入射する光の光路上に位置する仮想ミラー部V32を動かすことにより、光の入射方向を変化させて、視野を移動させる。すなわち、仮想カメラV30は、図3Cに示すように、仮想撮影部V31と、仮想ミラー部V32と、を有している。仮想撮影部V31は、視野内に存在する被写体を撮影し、視野内に映る像を画像(画像信号)として出力する。仮想ミラー部V32は、周囲から到来する光を仮想撮影部V31に向けて反射する。仮想カメラV30は、仮想ミラー部V32の向きを変化させるように仮想ミラー部V32を駆動することによって仮想カメラV30の視野を移動させる。要するに、本実施形態では、仮想カメラV30は、仮想ミラー部V32を首振り動作させることによって、仮想ミラー部V32にて、仮想撮影部V31に入射する光の到来方向を変化させ、仮想カメラV30への光の入射方向を変化させる。
さらには、仮想撮影部V31の光の入射方向、仮想ミラー部V32の形状、及び仮想ミラー部V32の動作等についても、仮想カメラV30は、プロジェクタ30を模している。例えば、仮想撮影部V31に入射する光の光軸は、鉛直方向に沿っており、かつ仮想ミラー部V32の表面(反射面)の中心又は回転中心と交差する。また、仮想ミラー部V32は、例えば、パン動作とチルト動作とを組み合わせることにより、仮想ミラー部V32の表面の中心点を中心にして、向きを自在に変化させることができる。図3Cにおいて、パン動作時における仮想ミラー部V32の移動(回転)方向を矢印M1で示し、チルト動作時における仮想ミラー部V32の移動(回転)方向を矢印M2で示す。また、仮想カメラV30の視野角(画角)は、プロジェクタ30の画角と同一である。
このとき、基準位置P2が、プロジェクタ30の光学部311付近にあれば、より厳密に実空間A1を再現しやすくなる。また、基準位置P2が、プロジェクタ30の光学部311の瞳(投影瞳)位置付近にあれば、更に厳密に実空間A1を再現しやすくなる。
このように、仮想カメラV30は、プロジェクタ30の外観形状及び仕様を模して定義されるので、仮想カメラV30の設定用に、少なくともプロジェクタ30の外観形状及び仕様を特定するための設定パラメータが必要となる。そこで、本実施形態に係るコンテンツ生成システム10は、設定パラメータを取得するパラメータ取得処理を実行する(図5のS8)。設定パラメータは、仮想カメラV30の設定のために用いられるので、例えば、仮想空間A2の縮尺、プロジェクタ30の光学部311の仕様、プロジェクタ30の種類、及びプロジェクタ30で発生するケラレ等を特定する情報である。さらに、仮想カメラV30における解像度等のパラメータについても、設定パラメータに含まれる。パラメータ取得処理で取得された設定パラメータは、仮想カメラV30の外観形状及び仕様に反映される。
一例として、仮想空間A2の縮尺については、実空間A1に対する仮想空間A2の長さ(寸法)の比率によって、ユーザが任意に設定する。仮想空間A2の縮尺は、プロジェクタ30のサイズの調整、又は投影距離の計算等に用いられる。また、他の例として、光学部311の仕様については、投射レンズの一覧を表示装置40に表示し、一覧からプロジェクタ30の投射レンズを、ユーザに選択させることで指定される。他の例として、投射レンズのパラメータ(ズーム倍率、焦点距離、又はレンズ系の明るさ等)の入力を受け付けるための画面を表示装置40に表示し、投射レンズのパラメータをユーザが任意に設定できるようにしてもよい。他の例として、例えば、広い空間では望遠レンズを推奨し、狭い空間では広角レンズを推奨するように、空間情報から推奨される投射レンズを、光学部311の仕様として指定してもよい。同様に、プロジェクタ30の種類については、プロジェクタ30の種類の一覧を表示装置40に表示し、一覧からプロジェクタ30の種類を、ユーザに選択させることで指定される。他の例として、ユーザが希望する投影画像Im1の明るさに応じて推奨される種類のプロジェクタ30を、プロジェクタ30の種類として指定してもよい。さらに他の例として、コンテンツ生成システム10がプロジェクタ30と通信することにより、光学部311の仕様を含むプロジェクタ30の仕様を、プロジェクタ30から取得してもよい。仮想カメラV30の解像度等は、ユーザが任意に設定する。仮想カメラV30の解像度は、指定(選択)されたプロジェクタ30の解像度と一致するように、自動的に設定されてもよい。
設定パラメータの取得後、コンテンツ生成システム10は、追跡オブジェクトを設定する追跡設定処理を実行する(図5のS9)。本開示でいう「追跡オブジェクト」は、オブジェクトOb1のうち、実空間A1内で投影位置P1が移動したときに、投影位置P1を追従して実空間A1内を移動させるオブジェクトOb1である。つまり、追跡オブジェクトとして設定されたオブジェクトOb1は、投影位置P1が移動しても、投影位置P1に追従して移動し、継続的に、投影位置P1に投影されることになる。追跡オブジェクトとして設定されたオブジェクトOb1は、仮想カメラV30での追跡対象となる。本実施形態では、オブジェクトOb1は1つであるので、唯一のオブジェクトOb1が、追跡オブジェクトとして設定される。具体的には、ユーザは、追跡オブジェクトに指定するオブジェクトOb1について、オブジェクト名(一例として「Butterfly」)、及びオブジェクトOb1の代表点の位置(座標位置)を設定する。
ここまでの処理(図5のS1〜S9)により、コンテンツ生成システム10は、画像コンテンツD1を生成するための準備が整った状態となる。そのため、コンテンツ生成システム10は、生成部14にて、画像コンテンツD1を生成する生成処理を開始する(図10のS10)。
生成処理においては、基本的には、生成部14は、図4に示すように、仮想空間A2の表示位置P3にオブジェクトOb1を仮想的に表示した状態で、仮想空間A2内の仮想カメラV30にて表示位置P3を撮影する。つまり、仮想空間A2内においては、表示位置P3に表示されたオブジェクトOb1を、基準位置P2にある仮想カメラV30で撮影したときの画像が、仮想カメラV30にて生成されることになる。これにより、コンテンツ生成システム10は、生成部14で定義した仮想カメラV30にて、図4に示すように、基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成することができる。
ただし、仮想カメラV30は、あくまで仮想的に、仮想カメラV30の視野内に存在する被写体を撮影し、視野内に映る像を画像(画像信号)として出力する。そのため、厳密には、仮想カメラV30から出力される画像は、実際に撮影された画像ではなく、演算処理にて生成(レンダリング)されるレンダリング画像である。いずれにしても、このとき仮想カメラV30から出力される画像は、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像である。したがって、生成部14は、仮想カメラV30で仮想的に撮影される画像を、画像コンテンツD1とすることで、画像コンテンツD1を生成する。
本実施形態では、画像コンテンツD1は(フルカラー)動画のデータであるので、生成部14は、生成処理の継続中、仮想カメラV30で継続的にオブジェクトOb1を撮影することで、継続的に画像コンテンツD1を生成する。つまり、仮想空間A2内の仮想カメラV30が、動画を撮影するように、表示位置P3に表示されたオブジェクトOb1を撮影することにより、生成部14では、動画のデータからなる画像コンテンツD1が生成される。そのため、オブジェクトOb1が動きを持つ場合、つまりオブジェクトOb1が時間経過に伴って変形するアニメーション等である場合、画像コンテンツD1には、オブジェクトOb1の動きが反映されることになる。一例として、図4に例示するような、「蝶」のオブジェクトOb1が、羽ばたくような「動き」を持つ場合、画像コンテンツD1は、「蝶」が羽ばたく動画のデータとなる。
そして、このようにして生成される画像コンテンツD1は、図4に示すように、プロジェクタ30に送信されることで、プロジェクタ30にて実空間A1に投影可能となる。このとき投影される投影画像Im1は、図4に示すように、実空間A1において、仮想空間A2中の表示位置P3に相当する投影位置P1に表示されることになる。しかも、プロジェクタ30にて投影位置P1に画像コンテンツD1を投影した場合、投影されるオブジェクトOb1は、表示位置P3に仮想的に表示されたオブジェクトOb1と略一致する。したがって、実空間A1においては、まるで仮想空間A2をコピーしたかのように、仮想空間A2に仮想的に表示されたオブジェクトOb1が、投影画像Im1として投影されることになる。実際にプロジェクタ30にて画像コンテンツD1を投影する際の処理について詳しくは、「(5)コンテンツ投影方法」の欄で説明する。
ここで、本実施形態では、画像コンテンツD1は、仮想空間A2におけるオブジェクトOb1の背景を除いたオブジェクトOb1の画像である。すなわち、仮想カメラV30で仮想的に撮影された画像を画像コンテンツD1とするので、厳密には、オブジェクトOb1の背景である仮想投影面A21等が画像コンテンツD1に映り込むことがある。そこで、生成部14では、仮想カメラV30で撮影される画像から、オブジェクトOb1のみを抽出して画像コンテンツD1を生成する。つまり、図4で示す画像コンテンツD1は、オブジェクトOb1の周囲が透明(画像データが存在しない状態)である。
これにより、生成部14で生成される画像コンテンツD1は、背景を除いたオブジェクトOb1のみの画像のデータとなる。具体的には、仮想空間A2において表示位置P3にオブジェクトOb1を表示する際に、表示位置P3の内側であってオブジェクトOb1以外の部分、つまり背景に相当する部分は、画素値(輝度値)が0である黒色表示とする。黒色の画像については、プロジェクタ30は光を照射しないので、結果的に、背景を除いたオブジェクトOb1のみの画像が、画像コンテンツD1として生成されることになる。
ところで、本実施形態では、生成された画像コンテンツD1を投影するプロジェクタ30は、上述したように、実空間A1内における投影位置P1が可変となる可動式のプロジェクションシステムであって、投影位置P1は、実空間A1内を移動可能である。そのため、投影位置P1に相当する表示位置P3についても、投影位置P1と同様に、仮想空間A2内を移動可能である。言い換えれば、画像コンテンツD1を投影するプロジェクタ30にて投影位置P1を移動させる場合には、この画像コンテンツD1を生成するに際して、表示位置P3を移動させることになる。この場合、表示位置P3に表示されるオブジェクトOb1(追跡オブジェクト)についても、仮想空間A2内を移動することになる。
そこで、本実施形態に係るコンテンツ生成システム10は、生成処理の実行中においても、第2取得部12にて、表示位置P3に関する表示位置情報を取得する第2取得処理を、随時実行する。さらに、コンテンツ生成システム10は、生成処理の実行中においても、生成部14にて、表示位置P3にオブジェクトOb1を配置するオブジェクト配置処理を、随時実行する。つまり、図5のフローチャートにおいて、生成処理の開始(S10)後においても、表示位置情報を取得する第2取得処理(S3に相当)と、オブジェクトOb1を表示位置P3に配置するオブジェクト配置処理(S5に相当)と、が繰り返し実行される。
表示位置P3の移動は、例えば、提供部18にて提供される入力支援ツール上で、ユーザによる表示位置情報の入力を随時受け付けることによって実現される。つまり、グラフィカルユーザインタフェース上で用いられる入力支援ツール上で、例えば、入力装置50に含まれるポインティングデバイスの操作により、仮想空間A2内の任意の位置をユーザが指定することで、この位置が表示位置P3として指定される。そのため、ポインティングデバイスを移動させることにより、表示位置情報が順次入力され、ポインティングデバイスの移動に合わせてリアルタイムで表示位置P3の移動が実現する。入力支援ツールについて詳しくは「(4.2)入力支援ツール」の欄で説明する。
そして、コンテンツ生成システム10は、生成処理の開始後、追跡オブジェクトが移動したか否かを、生成部14にて判断する(図5のS11)。すなわち、本実施形態では、オブジェクトOb1のうち、実空間A1内で投影位置P1が移動したときに、投影位置P1を追従して実空間A1内を移動させるオブジェクトOb1を「追跡オブジェクト」として定義している。そのため、生成処理の開始後の第2取得処理において、投影位置P1に相当する表示位置P3に変化があれば、生成部14は、追跡オブジェクトが移動すると判断する(S11:Yes)。一方、生成処理の開始後の第2取得処理において、投影位置P1に相当する表示位置P3に変化が無ければ、生成部14は、追跡オブジェクトが移動しないと判断する(S11:No)。
追跡オブジェクトが移動しない場合(S11:No)、つまり表示位置P3に表示されるオブジェクトOb1が1箇所にとどまっている場合、コンテンツ生成システム10は、図5の処理S12,S13をスキップして、画像コンテンツD1を出力する(S14)。このとき、コンテンツ生成システム10は、出力部20にて、画像コンテンツD1を、データ格納部22へ記録(書き込み)することにより出力する。これにより、生成処理にて生成された画像コンテンツD1は、データ格納部22に随時記録(保存)される。
一方、追跡オブジェクトが移動する場合(S11:Yes)、つまり表示位置P3に表示されるオブジェクトOb1が移動する場合、コンテンツ生成システム10は、仮想カメラV30にてオブジェクトOb1(追跡オブジェクト)を追従する(図5のS12)。このとき、コンテンツ生成システム10は、追跡オブジェクトとして設定されたオブジェクトOb1の代表点が、仮想カメラV30の光軸(視野の中心)上に位置するように、生成部14にて、仮想カメラV30を自動的に制御する。具体的には、生成部14は、仮想ミラー部V32を首振り動作させることによって、仮想ミラー部V32にて、仮想撮影部V31に入射する光の到来方向を変化させ、仮想カメラV30の光軸(視野の中心)の向きを変化させる。
そして、生成部14は、仮想カメラV30にてオブジェクトOb1を追従しつつ、生成処理の継続中、仮想カメラV30で継続的にオブジェクトOb1を撮影することで、継続的に画像コンテンツD1を生成する。ここで、コンテンツ生成システム10は、制御情報生成部17にて、制御情報D2を生成する制御情報生成処理を実行する(図5のS13)。つまり、制御情報生成処理では、表示位置P3の移動に同期して、実空間A1内で投影位置P1を移動させるためのプロジェクタ30の制御情報D2を生成する。言い換えれば、制御情報生成処理では、仮想空間A2における追跡オブジェクト(オブジェクトOb1)の移動に同期して、制御情報D2を生成する。
本実施形態では、コンテンツ生成システム10は、仮想カメラV30にて追跡オブジェクトを追従する際の仮想カメラV30の制御に用いる情報を、制御情報D2として生成する。具体的には、制御情報生成処理では、生成部14が仮想ミラー部V32を首振り動作させるのに用いた情報を、制御情報D2として生成する。要するに、仮想空間A2における仮想カメラV30の仮想ミラー部V32の制御に用いるパラメータは、実空間A1においてプロジェクタ30のミラー部32の制御に用いるパラメータである制御情報D2と一致する。
そして、制御情報D2の生成後、コンテンツ生成システム10は、画像コンテンツD1の出力(図5のS14)に併せて、制御情報D2の出力も行う。つまり、コンテンツ生成システム10は、出力部20にて、画像コンテンツD1及び制御情報D2を、データ格納部22へ記録(書き込み)することにより出力する。これにより、生成処理にて生成された画像コンテンツD1は、制御情報生成処理で生成された制御情報D2と併せて、データ格納部22に随時記録(保存)される。
その結果、生成処理では、仮想空間A2内を移動する表示位置P3に表示されるオブジェクトOb1の基準位置P2から見た画像を、動画からなる画像コンテンツD1として生成する。すなわち、仮想空間A2内で追跡オブジェクトが移動する場合には、コンテンツ生成システム10は、仮想カメラV30にてオブジェクトOb1(追跡オブジェクト)を追従しつつ、仮想カメラV30で継続的にオブジェクトOb1を撮影する。そのため、仮想空間A2内を移動する表示位置P3に表示されるオブジェクトOb1を、基準位置P2から動画撮影したような画像(動画)が、画像コンテンツD1として生成される。
さらに、生成処理では、仮想空間A2における表示位置P3の位置に応じて、画像コンテンツD1内のオブジェクトOb1の向きを変化させる。すなわち、生成処理においては、表示位置P3の移動に伴って、画像コンテンツD1内のオブジェクトOb1を回転させるような回転処理を実行する。このような回転処理は、プロジェクタ30は、ムービングミラー式のプロジェクションシステムの場合に、特に有用な処理である。要するに、プロジェクタ30においては、画像コンテンツD1内のオブジェクトOb1の向きが一定であると、例えば、ミラー部32がパン動作で90度回転したときに、投影面A11に投影される投影画像Im1内のオブジェクトOb1は90度回転する。そこで、実空間A1において投影画像Im1内のオブジェクトOb1の向き(姿勢)を一定に保つためには、ミラー部32の向き、つまり投影位置P1に応じて画像コンテンツD1内のオブジェクトOb1を回転させる必要がある。
そこで、本実施形態では、生成処理において、表示位置P3の位置に応じて、画像コンテンツD1内のオブジェクトOb1の向きを変化させることで、投影位置P1に応じてオブジェクトOb1が回転する画像コンテンツD1を生成する。具体的には、仮想カメラV30は、ムービングミラー式のカメラシステムであるので、仮想ミラー部V32で反射した像を仮想撮影部V31で撮影することで、自動的に、画像コンテンツD1内のオブジェクトOb1の向きが表示位置P3の位置に応じて変化する。つまり、仮想カメラV30においては、表示位置P3におけるオブジェクトOb1の向きが一定であると、例えば、仮想ミラー部V32がパン動作で90度回転したときに、仮想撮影部V31で撮影される画像内のオブジェクトOb1は90度回転する。このとき、オブジェクトOb1は、仮想ミラー部V32の回転中心、つまり基準位置P2を中心に回転する。
また、本実施形態では、制御情報D2には、ミラー部32を駆動する駆動部33の制御のための情報のみならず、プロジェクタ30におけるミラー部32及び駆動部33以外の制御のための情報が含まれている。具体的には、例えば、プロジェクタ30におけるフォーカス、光源の光量、ズーム又はレンズシフト等の制御パラメータが、制御情報D2に含まれ得る。これらのパラメータについても、制御情報生成処理において、表示位置P3の移動に同期して、生成される。すなわち、仮想空間A2における追跡オブジェクト(オブジェクトOb1)の移動に同期して、フォーカス及び光源の光量等のパラメータが、制御情報D2として生成される。
一例として、フォーカスであれば、実空間A1における投影距離に合わせるべく、仮想空間A2における仮想カメラV30が配置される基準位置P2から表示位置P3までの距離に応じた値が算出される。光源の光量であれば、実空間A1における投影位置P1の広さ(面積)に合わせるべく、仮想空間A2における表示位置P3の広さ(面積)に応じた値が算出される。例えば、投影画像Im1における単位面積当たりの光量の変動を抑えるように、投影位置P1(表示位置P3)が広くなるほど、光源の光量が大きく(明るく)設定される。ただし、光源の光量は、制御情報D2に代えて、画像コンテンツD1における画素値(輝度値)で調整してもよい。
ズームであれば、実空間A1における投影距離に合わせるべく、仮想空間A2における仮想カメラV30が配置される基準位置P2から表示位置P3までの距離に応じた値が算出される。例えば、投影画像Im1の面積の変動を抑えるように、基準位置P2から表示位置P3までの距離が短くなるほど、ズームはワイド側に設定される。ここで、ズームに関しては、仮想カメラV30の画角にも反映されることが好ましい。レンズシフトであれば、仮想カメラV30で撮影される画像中のケラレを抑制するように、仮想空間A2における仮想カメラV30が配置される基準位置P2と表示位置P3との相対的な位置関係に応じた値が算出される。レンズシフトは、仮想カメラV30の位置(基準位置P2)にも反映させることが好ましい。
そして、図5に示すように、画像コンテンツD1(及び制御情報D2)の出力後(S14)、コンテンツ生成システム10は、生成モードでの動作が終了するか否かを判断する(S15)。生成モードの終了は、例えば、提供部18にて提供される入力支援ツール上で、ユーザが所定の終了操作をすることによって実現される。生成モードが終了していなければ(S15:No)、コンテンツ生成システム10は、処理S11に戻り、画像コンテンツD1の生成を継続する。一方、生成モードが終了すると(S15:Yes)、コンテンツ生成システム10は、コンテンツ生成方法に係る一連の動作を終了する。
以上説明したように、本実施形態に係るコンテンツ生成方法は、第1取得処理で取得された空間情報、第3取得処理で取得された基準位置情報、及び第2取得処理で取得された表示位置情報に基づいて、生成処理にて画像コンテンツD1を生成する。このとき、生成処理では、仮想カメラV30を用いることで、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。
さらに、本実施形態では、投影位置P1は、実空間A1内を移動可能である。そして、第2取得処理では、投影位置P1の移動に合わせて仮想空間A2内を移動する表示位置P3に関する表示位置情報を取得する。すなわち、投影位置P1に相当する表示位置P3は、仮想空間A2内を移動可能であって、第2取得部12は、生成処理の実行中においても、表示位置P3に関する表示位置情報を取得する第2取得処理を随時実行する。これにより、第2取得処理では、仮想空間A2内を移動する表示位置P3に関する表示位置情報を取得できる。ここで、仮想カメラV30は、仮想空間A2内における視野が可変となる可動式のカメラシステムであるので、このように仮想空間A2内を移動する表示位置P3を追従して、表示位置P3内のオブジェクトOb1を撮影可能である。
特に、本実施形態では、仮想カメラV30では、仮想撮影部V31と、仮想ミラー部V32と、を有し、仮想ミラー部V32の向きを変化させるように仮想ミラー部V32を駆動することによって仮想カメラV30の視野を移動させる。つまり、仮想カメラV30は、ムービングミラー式のカメラシステムであるので、仮想ミラー部V32を駆動することで、仮想空間A2内を移動する表示位置P3を追従して、表示位置P3内のオブジェクトOb1を撮影可能である。
図5に示すフローチャートは、一例に過ぎず、処理の順番が適宜変更されてもよいし、処理が適宜追加又は削除されてもよい。
(4.2)入力支援ツール
次に、入力支援ツールについて、図6〜図11を参照して説明する。
本実施形態に係るコンテンツ生成方法は、提供部18にて入力支援ツールを提供する提供処理を有している。本実施形態では、少なくともコンテンツ生成システム10の動作モードが生成モードであるときに、提供処理が実行されて入力支援ツールが提供される。
本実施形態では、入力支援ツールは、図6に例示するような入力支援ツール画面T1にて具現化され、コンピュータシステムのグラフィカルユーザインタフェース上で用いられるツールであって、実体を伴わない。図6〜図11は、表示装置40に表示される画面の具体例を示しており、領域を示す一点鎖線、参照符号及び引出線は説明のために表記しているに過ぎず、実際には、これらの一点鎖線、参照符号及び引出線は表示装置40に表示されない。また、本実施形態では一例として、入力支援ツール画面T1は、横方向(水平方向)の寸法が縦方向(垂直方向)の寸法よりも大きい、横長の画面である。
入力支援ツールには、調整モードと、作成支援モードと、の2種類のモードがある。図6は、入力支援ツールが調整モードであるときの入力支援ツール画面T1を示し、図7〜図11は、入力支援ツールが作成支援モードであるときの入力支援ツール画面T1を示す。
まず、入力支援ツールは、上述したように、第2取得処理に際して表示位置情報をユーザに入力させるためのツールであって、少なくとも仮想空間A2内における表示位置P3の提示を行う。そのため、本実施形態では、入力支援ツールが調整モード及び作成支援モードのいずれにあっても、入力支援ツール画面T1では、仮想空間A2内における表示位置P3を提示するような表示が行われる。つまり、入力支援ツール画面T1を見れば、ユーザは、仮想空間A2のどこに表示位置P3があるのかを把握することが可能である。
より詳細には、例えば、図6に示すように、入力支援ツールは、表示位置P3にオブジェクトOb1を表示した仮想空間A2の画像を表示することによって、表示位置P3を提示する。すなわち、入力支援ツール画面T1では、仮想空間A2が可視化され、かつ仮想空間A2の表示位置P3にオブジェクトOb1が表示されることにより、仮想空間A2内の表示位置P3が特定可能となる。さらに、入力支援ツール画面T1にて可視化される仮想空間A2は、仮想カメラV30も可視化された状態で再現されている。
また、本実施形態では、入力支援ツールは、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見た表示位置P3に表示されているオブジェクトOb1のレンダリング画像を、参照画面T11として表示する。すなわち、入力支援ツール画面T1では、生成部14で生成される画像コンテンツD1に相当するレンダリング画像が、参照画面T11として表示されている。本実施形態では、生成処理において、仮想カメラV30を用いることで、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成する。したがって、参照画面T11は、仮想カメラV30にて仮想的に撮影され、演算処理にて生成(レンダリング)されたレンダリング画像である。
本実施形態では一例として、参照画面T11は、ピクチャインピクチャ(PIP:Picture In Picture)の態様で、入力支援ツール画面T1の一部に重畳して表示される。そのため、入力支援ツール画面T1によれば、ユーザは、可視化された仮想空間A2と、生成される画像コンテンツD1に相当するレンダリング画像(参照画面T11)と、を同時に見ることができる。このような参照画面T11が表示されることにより、ユーザは、生成される画像コンテンツD1をイメージしやすくなる。
さらに、本実施形態では一例として、入力支援ツール画面T1にて可視化される仮想空間A2において、実空間A1の投影面A11(壁面)に相当する仮想投影面A21にはグリッドG1が表示されている。
また、図6〜図11の例において、オブジェクトOb1の背景となる部分、つまり表示位置P3の内側であってオブジェクトOb1以外の黒色表示される部分には、網掛け(ドットハッチング)を付している。
一方で、プロジェクタ30から投射される画像は、オブジェクトOb1以外の領域は全て黒表示とするので、本来であれば参照画面T11においても、オブジェクトOb1以外の領域は全て黒色表示となる。例えば、図6の参照画面T11において、オブジェクトOb1以外の、網掛け(ドットハッチング)の領域とその外側の白色の領域とは全て、本来であれば黒色表示となる。このような画像は、例えば、オブジェクトOb1のみをレンダリング対象として、オブジェクトOb1以外をレンダリング対象から外すことで生成することができる。データ格納部22へ記録(書き込み)される画像コンテンツD1は、このようにして生成可能である。
ただし、入力支援ツール画面T1にてユーザが各種操作を行う間は、グリッドG1、プロジェクタ30を模した仮想カメラV30、及び仮想ミラー部V32の周縁等についても、レンダリング対象に含めて参照画面T11に表示されることが好ましい。これにより、ユーザにおいては、入力支援ツール画面T1にて、投射位置の確認及びケラレの確認等が行いやすくなる。例えば、参照画面T11にグリッドG1が表示されていれば、仮想空間A2に対するオブジェクトOb1の位置及び回転状態等を、入力支援ツール画面T1にてユーザが確認しやすくなる。そこで、図7〜図11の例における参照画面T11では、グリッドG1、仮想カメラV30及び仮想ミラー部V32の周縁等についてもレンダリング対象に含んでいる。
さらに、上述のようにレンダリング対象となり得るグリッドG1、仮想カメラV30、及び仮想ミラー部V32の周縁等は、プロジェクタ30にて、オブジェクトOb1と共に、実空間A1に投影されてもよい。すなわち、例えば、グリッドG1がプロジェクタ30により実空間A1に投影されると、このグリッドG1を目安にして、実空間A1内での画像コンテンツD1の投射位置の確認が行いやすくなる。一例として、グリッドG1が投影されることで、実空間A1上の部屋の角部と、プロジェクタ30にて投影される画像コンテンツD1上の部屋の角部とが、どの程度一致しているかを確認しやすくなる。
また、仮想カメラV30又は仮想ミラー部V32の周縁が、プロジェクタ30により実空間A1に投影されると、実空間A1に存在するプロジェクタ30又はミラー部32の周縁で、実際にケラレが発生することを、ユーザが目視で確認できる。さらに、仮想カメラV30が、プロジェクタ30により実空間A1に投影されると、実空間A1に存在するプロジェクタ30上に仮想カメラV30がマッピングされるので、マッピングのずれから実空間A1内での投射位置の確認を行いやすくなる。同様に、仮想ミラー部V32の周縁が、プロジェクタ30により実空間A1に投影されると、実空間A1に存在するミラー部32の周縁上に仮想ミラー部V32の周縁がマッピングされるので、マッピングのずれから実空間A1内での投射位置の確認を行いやすくなる。
また、グリッドG1、仮想カメラV30、及び仮想ミラー部V32の周縁等をレンダリング対象とするか否かを切り替えるためのユーザの操作を受け付ける手段(チェックボックス又はボタン等)が、入力支援ツール画面T1に含まれていてもよい。
以下、入力支援ツールが調整モード及び作成支援モードの各々にあるときの、入力支援ツール画面T1の詳細な構成について説明する。以下の説明において、ボタンB11等の操作は、入力支援ツール画面T1上に表示されるボタンB11等の操作を意味し、具体的には、入力装置50を用いてユーザが入力支援ツール画面T1中のボタンB11等を選択することを意味する。
まず、入力支援ツールが調整モードにあれば、図6に示すように、入力支援ツール画面T1の左端部に、タイトル欄C1、複数の入力欄C11〜C18、及び複数のボタンB11〜B13が表示される。タイトル欄C1には、入力支援ツールのモードを示す「Adjustment」という文字列が表示される。
複数の入力欄C11〜C13は、仮想カメラV30の全体の位置の調整に用いられる。つまり、入力欄C11、入力欄C12、入力欄C13には、それぞれ、XYZ直交座標系で表される仮想空間A2におけるX軸、Y軸、Z軸の座標値が、ユーザによって入力される。つまり、複数の入力欄C11〜C13に入力される情報は、仮想カメラV30を設置する基準位置P2を特定するための基準位置情報に相当する。複数の入力欄C11〜C13に値が入力された状態で、ボタンB11が操作されると、コンテンツ生成システム10は、入力された値で特定される基準位置P2に仮想カメラV30を配置する。
複数の入力欄C14〜C16は、仮想カメラV30の全体の向きの調整に用いられる。つまり、入力欄C14、入力欄C15、入力欄C16には、それぞれ、XYZ直交座標系で表される仮想空間A2におけるX軸、Y軸、Z軸回りの回転量が、ユーザによって入力される。複数の入力欄C14〜C16に値が入力された状態で、ボタンB12が操作されると、コンテンツ生成システム10は、入力された値で特定される回転量だけ仮想カメラV30を回転させる。
ここで、仮想カメラV30の全体の位置及び向きの調整に際して、入力支援ツールは、以下の処理を実行することが好ましい。例えば、入力支援ツールは、仮想空間A2に仮想カメラV30を設置した状態で、仮想カメラV30の視野を確認するための表示を、入力支援ツール画面T1上で行う。このとき、入力支援ツール画面T1は、例えば、仮想ミラー部V32を可動領域の4辺に沿って駆動した場合に、仮想カメラV30の光軸(視野の中心)の軌跡で囲まれる領域を、仮想カメラV30の視野として表示する。そのため、ユーザにおいては、このような仮想カメラV30の視野を入力支援ツール画面T1上で確認しながら、適切な仮想カメラV30の全体の位置及び向きを指定することができる。
複数の入力欄C17,C18は、仮想カメラV30の仮想ミラー部V32の仮想撮影部V31に対する相対的な向き(角度)の調整に用いられる。つまり、入力欄C17、入力欄C18には、それぞれ、パン動作方向、チルト動作方向における仮想ミラー部V32の回転量が、ユーザによって入力される。複数の入力欄C17,C18に値が入力された状態で、ボタンB13が操作されると、コンテンツ生成システム10は、入力された値で特定される回転量だけ仮想ミラー部V32を仮想撮影部V31に対して回転させる。
したがって、複数の入力欄C11〜C18に入力される情報を総合すると、仮想カメラV30の光軸(視野の中心)が特定されるため、複数の入力欄C11〜C18に入力される情報は、表示位置P3を特定するための表示位置情報に相当する。つまり、入力支援ツールが調整モードにある場合、複数の入力欄C11〜C18に入力される情報によって、オブジェクトOb1が表示される表示位置P3が決定することになる。図6の例では、互いに直交する2枚の仮想投影面A21からなる角部に、これら2枚の仮想投影面A21に跨って表示位置P3が設定され、この表示位置P3にオブジェクトOb1が表示されている。
また、参照画面T11内には、2つのチェックボックスB1,B2が表示される。各チェックボックスB1,B2は、ユーザによる操作の度にチェックの付け外しがなされる。「Mesh」との文字列が付されたチェックボックスB1は、参照画面T11におけるグリッドG1の表示の有無を切り替えるために用いられる。チェックボックスB1にチェックが付いていると参照画面T11にグリッドG1が表示され、チェックが外れていると参照画面T11にグリッドG1が表示されない。「Circle」との文字列が付されたチェックボックスB2は、参照画面T11における回転領域R2(図11参照)の表示の有無を切り替えるために用いられる。チェックボックスB2にチェックが付いていると参照画面T11に回転領域R2が表示され、チェックが外れていると参照画面T11に回転領域R2が表示されない。回転領域R2は、オブジェクトOb1が回転してもオブジェクトOb1のサイズが変わらない範囲を示す。
次に、入力支援ツールが作成支援モードにあれば、図7に示すように、入力支援ツール画面T1の左端部に、タイトル欄C2、複数のチェックボックスB21〜B24、及びスライドバーB25が表示される。タイトル欄C2には、オブジェクト名を示す「Butterfly」という文字列が表示される。
複数のチェックボックスB21〜B24は、入力装置50としてのキーボード操作時における表示位置P3(オブジェクトOb1)の移動速度の設定に用いられる。つまり、それぞれ「0.1m/sec」、「1m/sec」、「5m/sec」、「10m/sec」との文字列が付された複数のチェックボックスB21〜B24のいずれかが択一的に選択され、選択されたチェックボックスB21〜B24によって、表示位置P3の移動速度が決定する。例えば、「0.1m/sec」のチェックボックスB21が選択されると、表示位置P3の移動速度は最低となり、「10m/sec」のチェックボックスB24が選択されると、表示位置P3の移動速度は最高となる。各チェックボックスB21〜B24は、ユーザによる操作の度にチェックの付け外しがなされ、選択中のチェックボックスB21〜B24にチェックが付される。
スライドバーB25は、オブジェクトOb1のサイズの調整に用いられる。つまり、表示位置P3に表示されるオブジェクトOb1のサイズは、スライドバーB25の操作で調整可能である。ここでは一例として、スライドバーB25は右側ほど、オブジェクトOb1のサイズが大きくなる。
また、参照画面T11内のチェックボックスB1,B2については、入力支援ツールが調整モードにあるときの入力支援ツール画面T1(図6参照)と同様である。
また、入力支援ツールが作成支援モードにある場合、入力装置50の操作により、仮想空間A2内の任意の位置をユーザが指定することで、この位置が表示位置P3として指定される。例えば、入力装置50に含まれるポインティングデバイス、又はキーボードの操作により、入力支援ツール画面T1上でカーソルを移動させると、仮想投影面A21においてカーソルと重なる位置に、表示位置P3が設定される。そのため、例えば、マウス等のポインティングデバイスを移動させることにより、表示位置情報が順次入力され、ポインティングデバイスの移動に合わせてリアルタイムで表示位置P3の移動が実現する。一例として、マウス等のポインティングにてオブジェクトOb1をドラッグするような操作がされると、この操作に連動して、入力支援ツール画面T1に表示される仮想空間A2においてオブジェクトOb1及び表示位置P3がリアルタイムに移動する。
ここで、コンテンツ生成システム10は、追跡オブジェクトとして設定されたオブジェクトOb1の代表点が、仮想カメラV30の光軸(視野の中心)上に位置するように、生成部14にて、仮想カメラV30を自動的に制御している。そのため、上述のように仮想空間A2内でオブジェクトOb1が移動すると、これに連動して仮想ミラー部V32が首振り動作し、入力支援ツール画面T1に表示される仮想カメラV30においても、仮想ミラー部V32が首振り動作する。
例えば、図8に示す入力支援ツール画面T1は、図7の状態から、仮想空間A2内でオブジェクトOb1が左方向に移動させられたときの、入力支援ツール画面T1を表している。そのため、図7の状態から図8の状態に移行する際、仮想カメラV30の仮想ミラー部V32はパン動作を行う。したがって、図7の状態から図8の状態に移行する際、画像コンテンツD1に相当する参照画面T11内のオブジェクトOb1は、反時計回りに回転する。
また、図9に示す入力支援ツール画面T1は、図8の状態から、仮想空間A2の仮想投影面A21上でオブジェクトOb1が左上方向に移動させられたときの、入力支援ツール画面T1を表している。そのため、図8の状態から図9の状態に移行する際、仮想カメラV30の仮想ミラー部V32はパン動作とチルト動作とを同時に行う。したがって、図8の状態から図9の状態に移行する際、画像コンテンツD1に相当する参照画面T11内のオブジェクトOb1は、反時計回りに回転する。
ここで、図9に示すように、参照画面T11においては、仮想ミラー部V32の外周縁に相当する目安範囲R1が表示されている。つまり、仮想カメラV30において、仮想ミラー部V32の回転角によっては、例えば、仮想カメラV30の視野が仮想ミラー部V32からはみ出してケラレが発生し、オブジェクトOb1が仮想カメラV30の視野内に収まらないことがある。オブジェクトOb1が仮想カメラV30の視野内に収まらなければ、仮想カメラV30で撮影されるオブジェクトOb1に欠け等が生じ得る。そして、このような仮想カメラV30にてケラレが生じる領域は、ムービングミラー式のプロジェクタ30でも同様のケラレが生じ得る。そのため、参照画面T11においては、このようなケラレが発生し得る領域、つまり仮想ミラー部V32の外側を、目安範囲R1として表示することで、ユーザに対して、ケラレが生じずにオブジェクトOb1を表示可能な範囲を提示する。
要するに、本実施形態では、仮想空間A2には、オブジェクトOb1を表示可能な範囲の目安となる目安範囲R1が規定されている。このような目安範囲R1は、参照画面T11に表示されることに限らず、例えば、入力支援ツール画面T1において可視化された仮想空間A2上に表示されてもよい。さらに、ケラレは、仮想ミラー部V32の外側だけでなく、例えば、仮想撮影部V31の本体が映り込むことによっても生じ得る。つまり、プロジェクタ30においては、投射される光が投影部31の本体に当たることによっても、ケラレが生じ得る。このような種々の要因によって発生し得るケラレ等の範囲が目安範囲R1として規定されることで、ユーザは、仮想空間A2上で、欠けずにオブジェクトOb1を表示可能な範囲の目安とすることができる。
また、図10に示す入力支援ツール画面T1は、図9の状態から、仮想空間A2の仮想投影面A21上でオブジェクトOb1が下方向に移動させられたときの、入力支援ツール画面T1を表している。そのため、図9の状態から図10の状態に移行する際、仮想カメラV30の仮想ミラー部V32はチルト動作を行う。そして、図10の例では、参照画面T11の右半分に、仮想撮影部V31の本体が映り込むことによってケラレが生じている。つまり、仮想撮影部V31の本体が映り込んだ領域は、目安範囲R1(図9参照)の外側に相当する。
また、図11に示す入力支援ツール画面T1は、図10の状態から、仮想空間A2上でオブジェクトOb1が右方向に大きく移動させられたときの、入力支援ツール画面T1を表している。そのため、図10の状態から図11の状態に移行する際、仮想カメラV30の仮想ミラー部V32はパン動作を行う。そして、図11の例では、参照画面T11のチェックボックスB2にチェックが付されており、参照画面T11に回転領域R2が表示される。
以上説明したような入力支援ツールを用いることで、ユーザは、比較的簡単に、表示位置P3を指定することができ、この表示位置P3に相当する投影位置P1にオブジェクトOb1を投影するための画像コンテンツD1を生成することが可能である。さらに、投影位置P1に相当する表示位置P3を移動させた際の画像コンテンツD1についても、ユーザは、比較的簡単に生成することができる。
また、上述したような表示位置P3の指定と同様に、入力支援ツールでは、プロジェクタ30のシャッタ等の制御のためのパラメータをユーザが指定できてもよい。このようにユーザが指定するパラメータについても、プロジェクタ30の制御に関するパラメータであれば制御情報D2に含められることが好ましい。
(5)コンテンツ投影方法
次に、本実施形態に係るコンテンツ生成システム10の再生モードでの動作、すなわち、本実施形態に係るコンテンツ投影方法について説明する。
本実施形態に係るコンテンツ投影方法では、コンテンツ生成方法で生成された画像コンテンツD1を、プロジェクタ30にて実空間A1の投影位置P1に投影する。そのため、準備として、実空間A1の設置位置P4にプロジェクタ30を設置する必要がある。ここで、設置位置P4は、仮想カメラV30が設置される仮想空間A2の基準位置P2に相当する位置であるので、ユーザは、コンテンツ生成方法で用いた基準位置P2に相当する設置位置P4に、プロジェクタ30を設置する。
また、本実施形態に係るコンテンツ投影方法は、生成処理にて用いたパラメータに応じて、プロジェクタ30の設置状態とプロジェクタ30の制御情報D2との少なくとも一方を補正する補正処理を更に有する。ここでいう「設置状態」は、プロジェクタ30の位置及び向きの両方を含み得る。本実施形態では、コンテンツ生成方法の生成処理において、仮想カメラV30の全体の位置の調整、及び仮想カメラV30の全体の向きの調整が、入力支援ツールが調整モードにあるときの入力支援ツール画面T1上で行われている。そのため、入力支援ツールが調整モードにあるときに用いられた仮想カメラV30の位置及び向きについてのパラメータが、プロジェクタ30の設置状態の補正に用いられる。これにより、実空間A1におけるプロジェクタ30の位置及び向きは、仮想空間A2における仮想カメラV30の位置及び向きに合わせて補正(微調整)可能となる。逆に、実空間A1におけるプロジェクタ30の設置状態(位置及び向き)に合わせて、仮想空間A2における仮想カメラV30の位置及び向きを補正(微調整)することも可能である。
設置位置P4に設置されたプロジェクタ30は、上述したように、映像ケーブル101、制御ケーブル102及び通信ケーブル103にて、コンテンツ生成システム10と有線接続される。
本実施形態に係るコンテンツ投影方法では、コンテンツ生成システム10が画像コンテンツD1を再生して映像信号をプロジェクタ30に出力(送信)し、プロジェクタ30が画像コンテンツD1の投影を行う。このとき、コンテンツ生成システム10の動作モードは再生モードであるため、コンテンツ生成システム10は、データ格納部22に記憶されている画像コンテンツD1を再生して、映像信号をプロジェクタ30に出力(送信)する。ここで再生される画像コンテンツD1は、本実施形態に係るコンテンツ生成方法で生成された画像コンテンツD1である。すなわち、コンテンツ投影方法は、コンテンツ生成方法で生成された画像コンテンツD1を、プロジェクタ30にて実空間A1の投影位置P1に投影する投影処理を有する。画像コンテンツD1は、仮想空間A2におけるオブジェクトOb1の背景を除いたオブジェクトOb1の画像であるので、プロジェクタ30は、オブジェクトOb1のみを投影することが可能である。
また、投影処理においては、画像コンテンツD1に併せて、制御情報D2についてもコンテンツ生成システム10からプロジェクタ30へ送信される。ここで、画像コンテンツD1と制御情報D2とは、同期した状態でプロジェクタ30へと入力される。そのため、プロジェクタ30においては、画像コンテンツD1を投影しつつ、制御情報D2に応じて駆動部33がミラー部32を駆動することが可能となる。これにより、プロジェクタ30は、実空間A1上で投影位置P1を移動させることができ、仮想空間A2で画像コンテンツD1を生成したときのオブジェクトOb1の移動を再現することが可能となる。
以上説明した画像投影方法により投影される投影画像Im1は、実空間A1において、仮想空間A2中の表示位置P3に相当する投影位置P1に表示されることになる。しかも、プロジェクタ30にて投影位置P1に画像コンテンツD1を投影した場合、投影されるオブジェクトOb1は、表示位置P3に仮想的に表示されたオブジェクトOb1と略一致する。したがって、実空間A1においては、まるで仮想空間A2をコピーしたかのように、仮想空間A2に仮想的に表示されたオブジェクトOb1が、投影画像Im1として投影されることになる。さらに、仮想空間A2において表示位置P3を移動させながら生成された画像コンテンツD1については、実空間A1において同じように投影位置P1を移動させることができる。
(6)変形例
実施形態1は、本開示の様々な実施形態の一つに過ぎない。実施形態1は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。本開示において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。また、実施形態1に係るコンテンツ生成システム10と同様の機能は、コンテンツ生成方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。実施形態1に係る画像投影システム100と同様の機能は、画像投影方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
本開示におけるコンテンツ生成システム10は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示におけるコンテンツ生成システム10としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
また、コンテンツ生成システム10の少なくとも一部の機能が、1つの筐体内に集約されていることはコンテンツ生成システム10に必須の構成ではなく、コンテンツ生成システム10の構成要素は、複数の筐体に分散して設けられていてもよい。例えば、コンテンツ生成システム10のうちの少なくとも一部の機能は、別の筐体に設けられていてもよい。さらに、コンテンツ生成システム10の少なくとも一部の機能がクラウド(クラウドコンピューティング)、エッジ(エッジコンピューティング)、又はその組み合わせによって実現されてもよい。
反対に、実施形態1において、複数の装置に分散されている少なくとも一部の機能が、1つの筐体内に集約されていてもよい。例えば、コンテンツ生成システム10とプロジェクタ30とに分散されている機能が、1つの筐体内に集約されていてもよい。
実施形態1では、コンテンツ生成システム10は、プロジェクタ30、表示装置40及び入力装置50を構成要素に含まないが、プロジェクタ30、表示装置40及び入力装置50の少なくとも1つがコンテンツ生成システム10の構成要素に含まれてもよい。
また、表示位置P3の移動に際しては、実施形態1のように、入力支援ツール上で、ユーザによる表示位置情報の入力を随時受け付けることは必須ではない。
一例として、コンテンツ生成方法は、ユーザが作成したシナリオを取得し、シナリオに沿ってオブジェクトOb1を移動させてもよい。ここでいう「シナリオ」は、オブジェクトOb1の移動を規定するコマンド等で実現される。シナリオを作成するに際して、仮想カメラV30の視野が仮想ミラー部V32からはみ出してケラレが発生し得るようなケースでは、ユーザに対して通知されることが好ましい。
他の例として、コンテンツ生成方法は、人感センサ又はカメラ(イメージセンサ)等のセンサ装置の検知結果を取得し、この検知結果に応じてオブジェクトOb1を移動させてもよい。これにより、コンテンツ生成方法は、例えば、センサ装置の検知対象である人の位置等に応じて、オブジェクトOb1の位置をリアルタイムに移動させることが可能である。
また、コンテンツ生成方法における複数の処理の実行手順(順番)は、実施形態1で説明した順番に限らず、適宜変更可能である。例えば、第1取得処理、第2取得処理及び第3取得処理は、第1取得処理、第2取得処理、第3取得処理の順番に限らず、第1取得処理、第3取得処理、第2取得処理の順番で実行されてもよい。
また、コンテンツ生成システム10とプロジェクタ30との間の通信方式は、実施形態1で例示した方式に限らず、その他の有線通信、無線通信、又は有線通信と無線通信とのハイブリッドであってもよい。さらに、コンテンツ生成システム10とプロジェクタ30とが通信可能であることも、コンテンツ生成システム10においては必須の構成ではない。例えば、コンテンツ生成システム10は、生成した画像コンテンツD1をメモリカード等の記録媒体に記録し、プロジェクタ30は、記録媒体に記録された画像コンテンツD1を再生してもよい。これにより、コンテンツ生成システム10とプロジェクタ30とが通信しなくとも、コンテンツ生成システム10で生成された画像コンテンツD1をプロジェクタ30にて投影することが可能である。
また、プロジェクタ30は、床置きタイプに限らず、例えば、天井又は壁等に取り付けられてもよい。さらに、プロジェクタ30の高さが調整可能であることは、コンテンツ生成方法に必須の構成ではなく、プロジェクタ30の床面からの高さは固定されていてもよい。
また、プロジェクタ30は、ムービングミラー式のプロジェクションシステムに限らず、例えば、投影部31が移動(回転を含む)する構成であってもよいし、プロジェクタ30の全体が移動(回転を含む)する構成であってもよい。いずれの場合も、プロジェクタ30から光の照射位置が変化して、投影位置P1を移動させることができる。
さらに、プロジェクタ30は、実空間A1内における投影位置P1が可変となる可動式のプロジェクションシステムに限らず、投影位置P1が固定的な固定式のプロジェクションシステムであってもよい。この場合においても、本実施形態に係るコンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム10は有用である。プロジェクタ30が固定式のプロジェクションシステムであれば、仮想カメラV30も固定式のカメラシステムでよい。
また、コンテンツ生成システム10は、仮想空間形成部15、オブジェクト取得部16、制御情報生成部17、提供部18、入力部19、出力部20、通信部21及びデータ格納部22を備えることは必須ではない。つまり、仮想空間形成部15、オブジェクト取得部16、制御情報生成部17、提供部18、入力部19、出力部20、通信部21及びデータ格納部22の少なくとも一つは、適宜省略されてもよい。
また、コンテンツ生成方法において、生成された画像コンテンツD1をデータ格納部22へ記録(書き込み)することは必須ではない。例えば、コンテンツ生成方法では、生成された画像コンテンツD1を、リアルタイムでプロジェクタ30へ送信してもよい。
また、コンテンツ生成方法において、画像コンテンツD1の生成に仮想カメラV30を用いることは必須ではない。つまり、生成処理では、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間A2の表示位置P3にオブジェクトOb1を表示したときの基準位置P2から見たオブジェクトOb1を含む画像を、画像コンテンツD1として生成すればよい。このような生成処理に際して、仮想カメラV30は必須ではない。
また、入力支援ツールは、表示位置P3を提示できればよく、表示位置P3にオブジェクトOb1を表示した仮想空間A2の画像を表示することは必須ではない。一例として、入力支援ツールは、平面視における仮想空間A2において、強調表示する等の手段により仮想空間A2内の表示位置P3を提示(表示)してもよい。他の例として、入力支援ツールは、XYZ直交座標系で表される仮想空間A2の座標位置によって、表示位置P3を提示(表示)してもよい。
また、参照画面T11を表示することは入力支援ツールに必須の構成ではなく、参照画面T11のようにオブジェクトOb1のレンダリング画像を表示する機能は、入力支援ツールになくてもよい。
また、入力支援ツール画面T1は、横長の画面に限らず、例えば、横方向(水平方向)の寸法が縦方向(垂直方向)の寸法よりも小さい、縦長の画面であってもよい。入力支援ツール画面T1は、参照画面T11をピクチャインピクチャの態様で表示することは必須でなく、例えば、参照画面T11を切り替え表示してもよい。
また、仮想カメラV30の全体の位置及び向きの調整に際して、入力支援ツールが、仮想カメラV30の視野を確認するための表示を入力支援ツール画面T1上で行うことは必須でない。一例として、コンテンツ生成方法は、仮想空間A2における壁、床及び天井等の構造物のレイアウトから、推奨される仮想カメラV30の全体の位置及び向きを提案してもよい。つまり、コンテンツ生成方法は、仮想空間A2における構造物の表面(仮想投影面A21)が、仮想カメラV30の視野に含まれるように、仮想カメラV30の推奨される位置及び向きを算出して、ユーザに提示してもよい。他の例として、ユーザが、オブジェクトOb1を表示(投影)することを希望する希望領域を指定することで、コンテンツ生成方法は、希望領域に応じて推奨される仮想カメラV30の全体の位置及び向きを提案してもよい。つまり、コンテンツ生成方法は、希望範囲が、仮想カメラV30の視野に含まれるように、仮想カメラV30の推奨される位置及び向きを算出して、ユーザに提示してもよい。
また、コンテンツ投影方法においては、投影する対象となるオブジェクトOb1を、ユーザが指定可能であってもよい。この場合に、追跡オブジェクトとして指定されたオブジェクトOb1だけでなく、他のオブジェクトOb1をプロジェクタ30が投影してもよい。さらには、コンテンツ投影方法において、複数のオブジェクトOb1を、同時に投影してもよい。追跡オブジェクトとして指定されたオブジェクトOb1と、他のオブジェクトOb1とを同時に投影する場合、コンテンツ投影方法によれば、実空間A1内を移動するオブジェクトOb1と、移動しないオブジェクトOb1とを同時に投影することになる。
また、仮想空間A2に仮想カメラV30が複数台設置されてもよい。この場合、複数台の仮想カメラV30の各々にて、画像コンテンツD1が生成可能である。ここで、複数台の仮想カメラV30で撮影(生成)されるオブジェクトOb1は、共通のオブジェクトOb1であってもよいし、別々のオブジェクトOb1であってもよい。いずれの場合でも、コンテンツ投影方法においては、複数台の仮想カメラV30に相当する複数台のプロジェクタ30にて、画像コンテンツD1が投影される。
(実施形態2)
本実施形態に係るコンテンツ生成方法は、図12に示すように、仮想カメラV30がムービングミラー式ではなく仮想カメラV30の全体が移動(回転を含む)する点で、実施形態1のコンテンツ生成方法と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
すなわち、本実施形態では、仮想カメラV30は、仮想ミラー部V32(図3C参照)を有さず、仮想撮影部V31を含む仮想カメラV30の全体が移動(回転を含む)する構成である。図12において、パン動作時における仮想カメラV30の移動(回転)方向を矢印M1で示し、チルト動作時における仮想カメラV30の移動(回転)方向を矢印M2で示す。パン動作の回転軸と、チルト動作の回転軸との交点は、例えば、仮想撮影部V31のレンズ中心に位置する。
本実施形態でも、生成された画像コンテンツD1を投影するプロジェクタ30は、ムービングミラー式のプロジェクションシステムである場合を想定する。そのため、本実施形態では、生成処理では、仮想空間A2における表示位置P3の位置に応じて、画像コンテンツD1内のオブジェクトOb1の向きを変化させることが好ましい。つまり、生成処理において、表示位置P3の位置に応じて、画像コンテンツD1内のオブジェクトOb1の向きを変化させることで、投影位置P1に応じてオブジェクトOb1が回転する画像コンテンツD1を生成する。画像コンテンツD1内のオブジェクトOb1を回転させるための手段としては、仮想カメラV30を光軸回りで回転させてもよいし、仮想カメラV30で撮影されたオブジェクトOb1に回転補正をかけてもよい。
実施形態2に係るコンテンツ生成方法と同様の機能は、コンテンツ生成システム10、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
実施形態2の変形例として、プロジェクタ30は、ムービングミラー式のプロジェクションシステムに限らず、例えば、投影部31が移動(回転を含む)する構成であってもよいし、プロジェクタ30の全体が移動(回転を含む)する構成であってもよい。投影部31が移動する構成、又はプロジェクタ30の全体が移動する構成であれば、表示位置P3の位置に応じて、画像コンテンツD1内のオブジェクトOb1の向きを変化させる処理は省略可能である。
また、実施形態2の他の変形例として、仮想カメラV30は、仮想ミラー部V32を有していてもよい。この場合、例えば、仮想ミラー部V32は透明であることとし、仮想撮影部V31は仮想ミラー部V32の背後に位置する。
実施形態2で説明した種々の構成(変形例を含む)は、実施形態1で説明した種々の構成(変形例を含む)と適宜組み合わせて採用可能である。
(まとめ)
以上説明したように、第1の態様に係るコンテンツ生成方法は、実空間(A1)の投影位置(P1)にプロジェクタ(30)にて投影される画像コンテンツ(D1)を生成する方法であって、第1取得処理と、第2取得処理と、第3取得処理と、生成処理と、を有する。第1取得処理では、実空間(A1)に相当する仮想空間(A2)に関する空間情報を取得する。第2取得処理では、仮想空間(A2)において投影位置(P1)に相当する表示位置(P3)に関する表示位置情報を取得する。第3取得処理では、仮想空間(A2)における基準位置(P2)に関する基準位置情報を取得する。生成処理では、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間(A2)の表示位置(P3)にオブジェクト(Ob1)を表示したときの基準位置(P2)から見たオブジェクト(Ob1)を含む画像を、画像コンテンツ(D1)として生成する。
この態様によれば、仮想空間(A2)において、表示位置(P3)にオブジェクト(Ob1)を表示したときの、基準位置(P2)から見たオブジェクト(Ob1)を含む画像が、画像コンテンツ(D1)として生成される。つまり、仮想空間(A2)であれば、いずれの表示位置(P3)であっても、オブジェクト(Ob1)を任意のサイズ及び形状で仮想的に表示することが可能である。例えば、実空間(A1)の基準位置(P2)に相当する位置にあるプロジェクタ(30)にて投影位置(P1)に画像コンテンツ(D1)を投影すれば、投影されるオブジェクト(Ob1)は、表示位置(P3)に表示されたオブジェクト(Ob1)と略一致する。したがって、オブジェクト(Ob1)を、仮想空間(A2)の表示位置(P3)に表示することにより、プロジェクタ(30)と投影位置(P1)との相対的な位置関係を考慮することなく、画像コンテンツ(D1)を生成可能である。結果的に、プロジェクタ(30)と投影位置(P1)との相対的な位置関係に応じた画像コンテンツ(D1)の生成が容易となり、より簡単に画像コンテンツ(D1)を生成可能になる、という利点がある。
第2の態様に係るコンテンツ生成方法では、第1の態様において、投影位置(P1)は、実空間(A1)内を移動可能である。第2取得処理では、投影位置(P1)の移動に合わせて仮想空間(A2)内を移動する表示位置(P3)に関する表示位置情報を取得する。
この態様によれば、実空間(A1)内を移動する投影位置(P1)への投影に適した画像コンテンツ(D1)を、より簡単に生成できる。
第3の態様に係るコンテンツ生成方法では、第2の態様において、プロジェクタ(30)は、投影部(31)と、ミラー部(32)と、駆動部(33)と、を有する。投影部(31)は、画像コンテンツ(D1)を用いて投影画像(Im1)を投影するための光を出射する。ミラー部(32)は、投影部(31)から出射される光を反射する。駆動部(33)は、ミラー部(32)の向きを変化させるようにミラー部(32)を駆動することによって投影位置(P1)を移動させる。
この態様によれば、ムービングミラー式のプロジェクションシステムにて、実空間(A1)内を移動する投影位置(P1)を実現できる。
第4の態様に係るコンテンツ生成方法は、第2又は3の態様において、生成処理では、仮想空間(A2)における表示位置(P3)の位置に応じて、画像コンテンツ(D1)内のオブジェクト(Ob1)の向きを変化させる。
この態様によれば、画像コンテンツ(D1)内のオブジェクト(Ob1)の向きの変化にも対応可能となる。
第5の態様に係るコンテンツ生成方法は、第2〜4のいずれかの態様において、生成処理では、仮想空間(A2)内を移動する表示位置(P3)に表示されるオブジェクト(Ob1)の基準位置(P2)から見た画像を、動画からなる画像コンテンツ(D1)として生成する。
この態様によれば、実空間(A1)内を移動する投影位置(P1)への投影に適した画像コンテンツ(D1)を、より簡単に生成できる。
第6の態様に係るコンテンツ生成方法は、第2〜5のいずれかの態様において、制御情報生成処理を更に有する。制御情報生成処理では、表示位置(P3)の移動に同期して、実空間(A1)内で投影位置(P1)を移動させるためのプロジェクタ(30)の制御情報(D2)を生成する。
この態様によれば、実空間(A1)内で投影位置(P1)を移動させるためのプロジェクタ(30)の制御が簡単になる。
第7の態様に係るコンテンツ生成方法では、第1〜6のいずれかの態様において、画像コンテンツ(D1)は、仮想空間(A2)におけるオブジェクト(Ob1)の背景を除いたオブジェクト(Ob1)の画像である。
この態様によれば、仮想空間(A2)におけるオブジェクト(Ob1)の背景を除去する処理が不要となる。
第8の態様に係るコンテンツ生成方法は、第1〜7のいずれかの態様において、提供処理を更に有する。提供処理では、第2取得処理に際して表示位置情報をユーザに入力させるための入力支援ツールを提供する。入力支援ツールは、少なくとも仮想空間(A2)内における表示位置(P3)の提示を行う。
この態様によれば、ユーザによる表示位置情報の入力が簡単になる。
第9の態様に係るコンテンツ生成方法では、第8の態様において、入力支援ツールは、表示位置(P3)にオブジェクト(Ob1)を表示した仮想空間(A2)の画像を表示することによって、表示位置(P3)を提示する。
この態様によれば、ユーザによる表示位置情報の入力がより簡単になる。
第10の態様に係るコンテンツ生成方法では、第8又は9の態様において、入力支援ツールは、仮想空間(A2)の表示位置(P3)にオブジェクト(Ob1)を表示したときの基準位置(P2)から見た表示位置(P3)に表示されているオブジェクト(Ob1)のレンダリング画像を、参照画面(T11)として表示する。
この態様によれば、ユーザは、表示位置情報の入力に際して、画像コンテンツ(D1)に相当するレンダリング画像を確認可能となる。
第11の態様に係るコンテンツ生成方法は、第1〜10のいずれかの態様において、仮想空間(A2)には、オブジェクト(Ob1)を表示可能な範囲の目安となる目安範囲(R1)が規定されている。
この態様によれば、オブジェクト(Ob1)を表示可能な範囲での表示位置(P3)の指定がしやすくなる。
第12の態様に係るコンテンツ投影方法は、投影処理を有する。投影処理では、第1〜11のいずれかの態様に係るコンテンツ生成方法で生成された画像コンテンツ(D1)を、プロジェクタ(30)にて実空間(A1)の投影位置(P1)に投影する。
この態様によれば、より簡単に画像コンテンツ(D1)を生成可能になる、という利点がある。
第13の態様に係るコンテンツ投影方法は、第12の態様において、補正処理を更に有する。補正処理では、生成処理にて用いたパラメータに応じて、プロジェクタ(30)の設置状態とプロジェクタ(30)の制御情報(D2)との少なくとも一方を補正する。
この態様によれば、プロジェクタ(30)の設置等が簡単になる。
第14の態様に係るプログラムは、第1〜11のいずれかの態様に係るコンテンツ生成方法を、1以上のプロセッサで実行させるためのプログラムである。
この態様によれば、より簡単に画像コンテンツ(D1)を生成可能になる、という利点がある。
第15の態様に係るコンテンツ生成システム(10)は、実空間(A1)の投影位置(P1)にプロジェクタ(30)にて投影される画像コンテンツ(D1)を生成するシステムであって、第1取得部(11)と、第2取得部(12)と、第3取得部(13)と、生成部(14)と、を有する。第1取得部(11)は、実空間(A1)に相当する仮想空間(A2)に関する空間情報を取得する。第2取得部(12)は、仮想空間(A2)において投影位置(P1)に相当する表示位置(P3)に関する表示位置情報を取得する。第3取得部(13)は、仮想空間(A2)における基準位置(P2)に関する基準位置情報を取得する。生成部(14)は、空間情報、基準位置情報及び表示位置情報に基づいて、仮想空間(A2)の表示位置(P3)にオブジェクト(Ob1)を表示したときの基準位置(P2)から見たオブジェクト(Ob1)を含む画像を、画像コンテンツ(D1)として生成する。
この態様によれば、より簡単に画像コンテンツ(D1)を生成可能になる、という利点がある。
上記態様に限らず、実施形態1及び実施形態2に係るコンテンツ生成方法の種々の態様(変形例を含む)は、コンテンツ生成システム(10)、プログラム及びプログラムを記録した非一時的記録媒体にて具現化可能である。
第2〜11の態様に係る構成については、コンテンツ生成方法に必須の構成ではなく、適宜省略可能である。
第13の態様に係る構成については、コンテンツ投影方法に必須の構成ではなく、適宜省略可能である。
10 コンテンツ生成システム
11 第1取得部
12 第2取得部
13 第3取得部
14 生成部
30 プロジェクタ
31 投影部
32 ミラー部
33 駆動部
A1 実空間
A2 仮想空間
D1 画像コンテンツ
D2 制御情報
Im1 投影画像
Ob1 オブジェクト
P1 投影位置
P2 基準位置
P3 表示位置
R1 目安範囲
T11 参照画面

Claims (15)

  1. 実空間の投影位置にプロジェクタにて投影される画像コンテンツを生成する方法であって、
    前記実空間に相当する仮想空間に関する空間情報を取得する第1取得処理と、
    前記仮想空間において前記投影位置に相当する表示位置に関する表示位置情報を取得する第2取得処理と、
    前記仮想空間における基準位置に関する基準位置情報を取得する第3取得処理と、
    前記空間情報、前記基準位置情報及び前記表示位置情報に基づいて、前記仮想空間の前記表示位置にオブジェクトを表示したときの前記基準位置から見た前記オブジェクトを含む画像を、前記画像コンテンツとして生成する生成処理と、を有する、
    コンテンツ生成方法。
  2. 前記投影位置は、前記実空間内を移動可能であって、
    前記第2取得処理では、前記投影位置の移動に合わせて前記仮想空間内を移動する前記表示位置に関する前記表示位置情報を取得する、
    請求項1に記載のコンテンツ生成方法。
  3. 前記プロジェクタは、
    前記画像コンテンツを用いて投影画像を投影するための光を出射する投影部と、
    前記投影部から出射される光を反射するミラー部と、
    前記ミラー部の向きを変化させるように前記ミラー部を駆動することによって前記投影位置を移動させる駆動部と、を有する、
    請求項2に記載のコンテンツ生成方法。
  4. 前記生成処理では、前記仮想空間における前記表示位置の位置に応じて、前記画像コンテンツ内の前記オブジェクトの向きを変化させる、
    請求項2又は3に記載のコンテンツ生成方法。
  5. 前記生成処理では、前記仮想空間内を移動する前記表示位置に表示される前記オブジェクトの前記基準位置から見た画像を、動画からなる前記画像コンテンツとして生成する、
    請求項2〜4のいずれか1項に記載のコンテンツ生成方法。
  6. 前記表示位置の移動に同期して、前記実空間内で前記投影位置を移動させるための前記プロジェクタの制御情報を生成する制御情報生成処理を更に有する、
    請求項2〜5のいずれか1項に記載のコンテンツ生成方法。
  7. 前記画像コンテンツは、前記仮想空間における前記オブジェクトの背景を除いた前記オブジェクトの画像である、
    請求項1〜6のいずれか1項に記載のコンテンツ生成方法。
  8. 前記第2取得処理に際して前記表示位置情報をユーザに入力させるための入力支援ツールを提供する提供処理を更に有し、
    前記入力支援ツールは、少なくとも前記仮想空間内における前記表示位置の提示を行う、
    請求項1〜7のいずれか1項に記載のコンテンツ生成方法。
  9. 前記入力支援ツールは、前記表示位置に前記オブジェクトを表示した前記仮想空間の画像を表示することによって、前記表示位置を提示する、
    請求項8に記載のコンテンツ生成方法。
  10. 前記入力支援ツールは、前記仮想空間の前記表示位置に前記オブジェクトを表示したときの前記基準位置から見た前記表示位置に表示されている前記オブジェクトのレンダリング画像を、参照画面として表示する、
    請求項8又は9に記載のコンテンツ生成方法。
  11. 前記仮想空間には、前記オブジェクトを表示可能な範囲の目安となる目安範囲が規定されている、
    請求項1〜10のいずれか1項に記載のコンテンツ生成方法。
  12. 請求項1〜11のいずれか1項に記載のコンテンツ生成方法で生成された前記画像コンテンツを、前記プロジェクタにて前記実空間の前記投影位置に投影する投影処理を有する、
    コンテンツ投影方法。
  13. 前記生成処理にて用いたパラメータに応じて、前記プロジェクタの設置状態と前記プロジェクタの制御情報との少なくとも一方を補正する補正処理を更に有する、
    請求項12に記載のコンテンツ投影方法。
  14. 請求項1〜11のいずれか1項に記載のコンテンツ生成方法を、1以上のプロセッサで実行させるためのプログラム。
  15. 実空間の投影位置にプロジェクタにて投影される画像コンテンツを生成するシステムであって、
    前記実空間に相当する仮想空間に関する空間情報を取得する第1取得部と、
    前記仮想空間において前記投影位置に相当する表示位置に関する表示位置情報を取得する第2取得部と、
    前記仮想空間における基準位置に関する基準位置情報を取得する第3取得部と、
    前記空間情報、前記基準位置情報及び前記表示位置情報に基づいて、前記仮想空間の前記表示位置にオブジェクトを表示したときの前記基準位置から見た前記オブジェクトを含む画像を、前記画像コンテンツとして生成する生成部と、を備える、
    コンテンツ生成システム。
JP2021070748A 2020-05-19 2021-04-20 コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム Pending JP2021182374A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/323,996 US20210366324A1 (en) 2020-05-19 2021-05-18 Content generation method, content projection method, program, and content generation system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020087727 2020-05-19
JP2020087727 2020-05-19

Publications (1)

Publication Number Publication Date
JP2021182374A true JP2021182374A (ja) 2021-11-25

Family

ID=78606637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021070748A Pending JP2021182374A (ja) 2020-05-19 2021-04-20 コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム

Country Status (2)

Country Link
US (1) US20210366324A1 (ja)
JP (1) JP2021182374A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022114688A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
JP2022114697A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
WO2023189212A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744565B1 (en) * 1999-06-25 2004-06-01 Nec Corp. Biaxial driving mechanism and image inputting apparatus used this mechanism and light projecting apparatus used this mechanism
JP5960796B2 (ja) * 2011-03-29 2016-08-02 クアルコム,インコーポレイテッド ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ
US20160371884A1 (en) * 2015-06-17 2016-12-22 Microsoft Technology Licensing, Llc Complementary augmented reality
JP6748961B2 (ja) * 2016-07-07 2020-09-02 パナソニックIpマネジメント株式会社 投写画像調整システム及び投写画像調整方法
US20200042077A1 (en) * 2017-03-23 2020-02-06 Sony Interactive Entertainment Inc. Information processing apparatus
JP7041888B2 (ja) * 2018-02-08 2022-03-25 株式会社バンダイナムコ研究所 シミュレーションシステム及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022114688A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
JP2022114697A (ja) * 2021-01-27 2022-08-08 セイコーエプソン株式会社 表示方法および表示システム
JP7318670B2 (ja) 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
JP7318669B2 (ja) 2021-01-27 2023-08-01 セイコーエプソン株式会社 表示方法および表示システム
WO2023189212A1 (ja) * 2022-03-30 2023-10-05 富士フイルム株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US20210366324A1 (en) 2021-11-25

Similar Documents

Publication Publication Date Title
US11238652B2 (en) Presenting integrated building information using building models
JP2021182374A (ja) コンテンツ生成方法、コンテンツ投影方法、プログラム及びコンテンツ生成システム
JP6951595B2 (ja) 住宅のデータ収集およびモデル生成方法
JP7187446B2 (ja) 拡張された仮想現実
US20140125654A1 (en) Modeling and Editing Image Panoramas
US20050195332A1 (en) Image processing method and apparatus
US11852732B2 (en) System and method of capturing and generating panoramic three-dimensional images
JP7121811B2 (ja) 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
US20060114251A1 (en) Methods for simulating movement of a computer user through a remote environment
CN109997167A (zh) 用于球面图像内容的定向图像拼接
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
JP2022077148A (ja) 画像処理方法、プログラムおよび画像処理システム
Felinto et al. Production framework for full panoramic scenes with photorealistic augmented reality
US20240244330A1 (en) Systems and methods for capturing and generating panoramic three-dimensional models and images
JP2018092503A (ja) 屋内光シミュレーションシステム、屋内光シミュレーション方法及びプログラム
US20230247184A1 (en) Installation information acquisition method, correction method, program, and installation information acquisition system
JP2014164003A (ja) 仮想屋内空間表示装置
KR100943292B1 (ko) 영상 투사 시스템 및 그를 이용한 영상 투사 방법
Takatori et al. Large-scale projection-based immersive display: The design and implementation of largespace
JP2006040053A (ja) 画像処理方法及びプログラム
CN111064947A (zh) 基于全景的视频融合方法、系统、装置和存储介质
CN111064946A (zh) 基于室内场景的视频融合方法、系统、装置和存储介质
JP2003157290A (ja) イメージシミュレーション用処理方法、イメージシミュレーション用処理システム、イメージシミュレーション用処理プログラム及び記録媒体
Hsu Architectural visualization and communication through mobile augmented reality
Guan Spherical image processing for immersive visualisation and view generation

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20221021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240911