JP2023130246A - 立体像表示システム及び立体像表示方法 - Google Patents
立体像表示システム及び立体像表示方法 Download PDFInfo
- Publication number
- JP2023130246A JP2023130246A JP2022034823A JP2022034823A JP2023130246A JP 2023130246 A JP2023130246 A JP 2023130246A JP 2022034823 A JP2022034823 A JP 2022034823A JP 2022034823 A JP2022034823 A JP 2022034823A JP 2023130246 A JP2023130246 A JP 2023130246A
- Authority
- JP
- Japan
- Prior art keywords
- stereoscopic
- image display
- display
- stereoscopic image
- dimensional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 11
- 230000033001 locomotion Effects 0.000 claims description 20
- 230000000694 effects Effects 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereophonic System (AREA)
Abstract
【課題】効果的に立体画像を表示することができるようにする。【解決手段】立体像表示板が配置されるライブ支援システムであって、第１面側に配置された立体物を第２面側の空間に立体像として結像させる立体像表示板と、立体像表示板の第１面側に配置される立体視ディスプレイと、立体視ディスプレイが出力する立体視画像がステージ上に結像されるよう制御する制御装置と、を備える。これにより、観客が、裸眼でステージ上に立体的な結像画像を見ることができる。【選択図】図１
Description
本発明は、立体像表示システム及び立体像表示方法に関する。
特許文献１では拡張現実空間でライブ配信を行うことが提案されている。
しかしながら、特許文献１に記載のシステムでＡＲグラス等のウェアラブルデバイスが必要である。
本発明はこのような背景を鑑みてなされたものであり、効果的に立体画像を表示することのできる技術を提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、立体像表示システムであって、第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板と、前記第１面側に配置される立体視ディスプレイと、前記立体視ディスプレイに立体画像を表示する制御部と、を備えることを特徴とする。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、効果的に立体画像を表示することができる。
＜発明の概要＞
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板と、
前記第１面側に配置される立体視ディスプレイと、
前記立体視ディスプレイに立体画像を表示する制御部と、
を備えることを特徴とする立体像表示システム。
［項目２］
項目１に記載の立体像表示システムであって、
前記立体視ディスプレイを移動させる移動機構をさらに備え、
前記制御部は、前記移動機構を制御すること、
を特徴とする立体像表示システム。
［項目３］
項目１又は２に記載の立体像表示システムであって、
傾斜して又は水平に配置されたディスプレイ上に前記立体像が結像されるように前記立体像表示板を配置し、
前記制御部は、前記ディスプレイ上の前記立体像の結像位置又は前記結像位置の周辺に、効果画像が表示されるように制御すること、
を特徴とする立体像表示システム。
［項目４］
項目２又は３に記載の立体像表示システムであって、
音声データを出力する複数のスピーカを備え、
前記制御部は、前記立体像の結像位置に応じて音像を定位させるように前記スピーカから前記音声データを出力すること、
を特徴とする立体像表示システム。
［項目５］
第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板を配置し、
前記第１面側に立体視ディスプレイを配置し、
制御装置が、前記立体視ディスプレイに立体画像を表示すること、
を特徴とする立体像表示方法。
本発明の実施形態の内容を列記して説明する。本発明は、たとえば、以下のような構成を備える。
［項目１］
第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板と、
前記第１面側に配置される立体視ディスプレイと、
前記立体視ディスプレイに立体画像を表示する制御部と、
を備えることを特徴とする立体像表示システム。
［項目２］
項目１に記載の立体像表示システムであって、
前記立体視ディスプレイを移動させる移動機構をさらに備え、
前記制御部は、前記移動機構を制御すること、
を特徴とする立体像表示システム。
［項目３］
項目１又は２に記載の立体像表示システムであって、
傾斜して又は水平に配置されたディスプレイ上に前記立体像が結像されるように前記立体像表示板を配置し、
前記制御部は、前記ディスプレイ上の前記立体像の結像位置又は前記結像位置の周辺に、効果画像が表示されるように制御すること、
を特徴とする立体像表示システム。
［項目４］
項目２又は３に記載の立体像表示システムであって、
音声データを出力する複数のスピーカを備え、
前記制御部は、前記立体像の結像位置に応じて音像を定位させるように前記スピーカから前記音声データを出力すること、
を特徴とする立体像表示システム。
［項目５］
第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板を配置し、
前記第１面側に立体視ディスプレイを配置し、
制御装置が、前記立体視ディスプレイに立体画像を表示すること、
を特徴とする立体像表示方法。
＜システムの概要＞
以下、本発明の一実施形態に係るライブ支援システムについて説明する。本実施形態のライブ支援システムは、視聴者１に対して拡張現実（ＡＲ）による演奏を提供するいわゆるＡＲライブを支援するシステムである。
以下、本発明の一実施形態に係るライブ支援システムについて説明する。本実施形態のライブ支援システムは、視聴者１に対して拡張現実（ＡＲ）による演奏を提供するいわゆるＡＲライブを支援するシステムである。
図１は、本実施形態のライブ支援システムの構成例を示す図である。本実施形態のライブ支援システムは、制御装置２を含んで構成される。制御装置２はライブ支援システムにおけるＡＲ映像及び音声の出力を制御する、パーソナルコンピュータ等のコンピュータである。
ライブ支援システムでは、立体像表示板１３が配置される。立体像表示板１３は、第１面側に配置された立体物を第２面側の空間に立体像として結像させる。立体像表示板１３は、例えば、市販されているＡＳＫＡ３Ｄ（登録商標）を用いることができる。立体像表示板１３は、例えば、市販されているＡＳＫＡ３Ｄ（登録商標）を用いることができる。
立体視ディスプレイ１２は、裸眼で立体視可能な画像を出力する装置である。立体視ディスプレイ１２は、例えば、視線方向に応じた異なる映像をレンチキュラレンズにより分光することで視点方向に応じた異なる映像を視認可能とする装置とすることができる。立体視ディスプレイ１２には、レンチキュラ方式以外にも、両眼の視差を利用する方式やパララックスバリア方式、ライトフィールド方式などにより実現することができる。立体視ディスプレイ１２としては、例えば、市販されているＬｏｏｋｉｎｇ Ｇｌａｓｓ（登録商標）やライトフィールドディスプレイなどを用いることができる。
本実施形態のライブ支援システムでは、立体像表示板１３の第１面側に立体視ディスプレイ１２が配置され、立体視ディスプレイ１２が出力する立体視画像がステージ１１上に結像されるように立体像表示板１３が配置される。これにより、観客１は裸眼でステージ１１上に立体的な結像画像１４を見ることができるようにしている。結像画像１４は、例えば、３Ｄモデルにより作成されたキャラクタである。これにより、観客１には、ステージ１１上でキャラクタが立体的に歌唱、演奏、演技しているように見える。
なお、複数のキャラクタがステージ１１上に登場する場合には、キャラクタごとに複数の立体視ディスプレイ１２を準備しておくで、ステージ１１上でキャラクタを別々の場所に移動させることが可能となる。
また、立体視ディスプレイ１２は搬送装置１５上に載置される。搬送装置１５は、立体視ディスプレイ１２を移動させる移動機構として機能する。搬送装置１５を移動させることにより立体視ディスプレイ１２も移動され、立体像表示板１３により結像される結像画像１４もステージ１１上を移動させることができる。
また、ステージ１１近傍には複数のスピーカ１６が配置される。図１では２つのスピーカ１６が示されているが、スピーカ１６の数は２つに限るものではない。制御装置１５により、ステージ１１上の所定位置に音像を定位するべく、スピーカ１６に出力される音声データが調整される。これにより、ステージ１１上のキャラクタが歌唱、演奏又は演技しているように臨場感を演出することができる。
さらに、ステージ１１をディスプレイ（表示装置）により実装することができる。ステージ１１は、水平に設置することができるが、ステージ１１を傾斜させて配置してもよい。制御装置２から結像画像１４の位置に応じてステージ１１を構成するディスプレイ上に効果画像（例えば、位置を強調表示するような画像）を表示することで、結像画像１４の位置に応じたステージの演出を行うことができる。
＜制御装置２０＞
図２は、制御装置２のハードウェア構成例を示す図である。制御装置２（本発明の制御部に該当する。）は、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、及び入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。プロセッサ２０は、制御装置２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ２０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、プロセッサ２０のワークエリア等として使用され、また、サーバ２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。ストレージ２２は、アプリケーション・プログラム、及び各無人飛行体１の認証プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（後述するロケーションデータ、ルートデータ等）がストレージ２２に構築されていてもよい。
図２は、制御装置２のハードウェア構成例を示す図である。制御装置２（本発明の制御部に該当する。）は、プロセッサ２０、メモリ２１、ストレージ２２、送受信部２３、及び入出力部２４等を備え、これらはバス２５を通じて相互に電気的に接続される。プロセッサ２０は、制御装置２全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行に必要な情報処理等を行う演算装置である。例えばプロセッサ２０はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ２２に格納されメモリ２１に展開されたプログラム等を実行して各情報処理を実施する。メモリ２１は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ２１は、プロセッサ２０のワークエリア等として使用され、また、サーバ２の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ ／ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。ストレージ２２は、アプリケーション・プログラム、及び各無人飛行体１の認証プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（後述するロケーションデータ、ルートデータ等）がストレージ２２に構築されていてもよい。
図３は、制御装置２のソフトウェア構成例を示す図である。制御装置２は、動作情報取得部２１１、移動情報取得部２１２、映像出力部２１３、搬送制御部２１４、音声入力部２１５、音声作成部２１６、音声出力部２１７、モデル記憶部２３１、音データ記憶部２３２を備える。
モデル記憶部２３１は、立体視ディスプレイ１２に表示する立体画像を作成するためのデータ（モデル）を記憶する。本実施形態では、モデルは、ステージ１１上に表示するキャラクタをレンダリングするための３次元モデルであることを想定する。複数のキャラクタのそれぞれについて、３次元モデルをモデル記憶部２３１に格納しておくことができる。
音データ記憶部２３２は、音声を再生するためのデータ（音データ）を記憶する。音データは、例えば、効果音であってよい。また、音データは、ＢＧＭやカラオケ音声であってもよい。また、配信する動画の音声であってもよい。
動作情報取得部２１１は、３次元モデルを動作させるための情報（以下、動作情報という。）を取得する。動作情報は、例えば、キャラクタの身体の動きを指示する情報とすることができる。この場合、例えば、演者の頭や腕、足の動きをキャプチャーしたデータを動作情報として取得することができる。
移動情報取得部２１２は、ステージ１１上おける結像画像１４を指示する情報（以下、移動情報という。）を取得する。移動情報は、例えば、ステージ１１上の位置を表す情報とすることができる。移動情報は、例えば、キャラクタの身体の動きを再現する演者の位置を計測するようにしてもよいし、演者とは別のオペレータからキャラクタの位置を受け付けるようにしてもよい。
映像出力部２１３は、立体視ディスプレイ１２に立体画像を表示する。映像出力部２１３は、動作情報に応じて３次元モデルの姿勢を変化させてレンダリングすることができる。
映像出力部２１３はまた、効果画像を出力するようにすることもできる。映像出力部２１３は、例えば、ステージ１１上の結像画像１４の結像位置又は結像位置の周辺に、効果画像を表示することができる。
搬送制御部２１４は、搬送装置１５を制御する。搬送制御部２１４は、搬送装置１５を制御して立体視ディスプレイ１２を移動させることで、ステージ１１上の結像画像１４の位置を移動させることができる。搬送制御部２１４は、移動情報に応じて、移動情報により指示された位置に結像画像１４が結像されるように搬送装置１５を移動させるよう制御することができる。
音声入力部２１５は、ステージ１１上で再生される音声の入力を受け付けることができる。音声入力部２１５は、例えば、キャラクタの演者の発生した声を音声として取得することができる。
音声作成部２１６は、ステージ１１上で再生される音データを作成する。音声作成部２１６は、音声入力部２１５が受け付けた音声と、音データ記憶部２３２に記憶されている音データとをミキシングすることができる。音声作成部２１６は、例えば、再生するべき音声（音声入力部２１５が集音する音声及び音データ記憶部２３２に記憶されている音データを含む。）の指定を受け付けて、受け付けた音声が再生されるように音データを作成することができる。
音声出力部２１７は、音声作成部２１６が作成した音データを再生する。音声出力部２１７は、例えば、結像画像１４の結像位置に応じて音像を定位させるようにスピーカ１６から音声データを出力することができる。
以上のようにして、本実施形態のライブ支援システムによれば、ステージ１１上に立体画像を表示し、この立体画像を移動させることができる。よって、ＡＲライブのように仮想キャラクタを立体像としてステージ１１上で動作させるようにすることができる。
また、本実施形態のライブ支援システムによれば、ステージ１１をディスプレイ装置として、結像画像１４の位置に応じて効果画像を表示させる演出を行うことができる。
また、本実施形態のライブ支援システムによれば、ステージ１１上の結像画像１４の位置に音像を定位させることができる。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
１ 観客
２ 制御装置
１１ ステージ
１２ 立体視ディスプレイ
１３ 立体像表示板
１４ 結像画像
１５ 搬送装置
１６ スピーカ
２ 制御装置
１１ ステージ
１２ 立体視ディスプレイ
１３ 立体像表示板
１４ 結像画像
１５ 搬送装置
１６ スピーカ
Claims (5)
- 第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板と、
前記第１面側に配置される立体視ディスプレイと、
前記立体視ディスプレイに立体画像を表示する制御部と、
を備えることを特徴とする立体像表示システム。 - 請求項１に記載の立体像表示システムであって、
前記立体視ディスプレイを移動させる移動機構をさらに備え、
前記制御部は、前記移動機構を制御すること、
を特徴とする立体像表示システム。 - 請求項１又は２に記載の立体像表示システムであって、
傾斜して又は水平に配置されたディスプレイ上に前記立体像が結像されるように前記立体像表示板を配置し、
前記制御部は、前記ディスプレイ上の前記立体像の結像位置又は前記結像位置の周辺に、効果画像が表示されるように制御すること、
を特徴とする立体像表示システム。 - 請求項２又は３に記載の立体像表示システムであって、
音声データを出力する複数のスピーカを備え、
前記制御部は、前記立体像の結像位置に応じて音像を定位させるように前記スピーカから前記音声データを出力すること、
を特徴とする立体像表示システム。 - 第１面側に配置された立体物を第２面側に立体像として結像させる立体像表示板を配置し、
前記第１面側に立体視ディスプレイを配置し、
制御装置が、前記立体視ディスプレイに立体画像を表示すること、
を特徴とする立体像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022034823A JP2023130246A (ja) | 2022-03-07 | 2022-03-07 | 立体像表示システム及び立体像表示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022034823A JP2023130246A (ja) | 2022-03-07 | 2022-03-07 | 立体像表示システム及び立体像表示方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023130246A true JP2023130246A (ja) | 2023-09-20 |
Family
ID=88024995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022034823A Pending JP2023130246A (ja) | 2022-03-07 | 2022-03-07 | 立体像表示システム及び立体像表示方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023130246A (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991461A (ja) * | 1995-09-26 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 音場制御装置 |
| JP2018022129A (ja) * | 2016-07-21 | 2018-02-08 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | 立体表示装置及び制御方法 |
| CN209729457U (zh) * | 2019-04-11 | 2019-12-03 | 浙江棱镜文化传媒有限公司 | 应用于舞台的可移动空气成像的装置 |
-
2022
- 2022-03-07 JP JP2022034823A patent/JP2023130246A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0991461A (ja) * | 1995-09-26 | 1997-04-04 | Nippon Telegr & Teleph Corp <Ntt> | 音場制御装置 |
| JP2018022129A (ja) * | 2016-07-21 | 2018-02-08 | Ｔｉａｎｍａ Ｊａｐａｎ株式会社 | 立体表示装置及び制御方法 |
| CN209729457U (zh) * | 2019-04-11 | 2019-12-03 | 浙江棱镜文化传媒有限公司 | 应用于舞台的可移动空气成像的装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
| US7596259B2 (en) | Image generation system, image generation method, program, and information storage medium | |
| US8249335B2 (en) | Method of making printed material for stereoscopic viewing, and printed material for stereoscopic viewing | |
| CN114615486B (zh) | 用于生成合成流的方法、系统和计算机可读存储介质 | |
| IL264478A (en) | Mixed reality system with spatial audio | |
| JP6714625B2 (ja) | コンピュータシステム | |
| JP2008546079A (ja) | 複数の視点を有する没入環境 | |
| JP2019149122A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
| US11200739B2 (en) | Virtual scene | |
| CN115428032A (zh) | 信息处理装置、信息处理方法和程序 | |
| WO2018070092A1 (ja) | 情報提供装置と情報提供方法および情報再生装置と情報再生方法 | |
| KR20200013607A (ko) | 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치 | |
| KR20180136891A (ko) | 전방향 비디오에 관한 영상 처리 방법 및 장치 | |
| JP6530453B2 (ja) | ゲームプログラム及びゲームシステム | |
| US20190324708A1 (en) | Sound outputting apparatus, head-mounted display, sound outputting method, and program | |
| JP2022183944A (ja) | コンテンツ提供システム、コンテンツ提供方法、及びコンテンツ提供プログラム | |
| JP2023130246A (ja) | 立体像表示システム及び立体像表示方法 | |
| KR20210056414A (ko) | 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템 | |
| JP2023168544A (ja) | 低周波数チャネル間コヒーレンス制御 | |
| JP2023059137A (ja) | 画像合成装置、画像合成方法、及びプログラム | |
| US11287658B2 (en) | Picture processing device, picture distribution system, and picture processing method | |
| JP6056466B2 (ja) | 仮想空間中の音声再生装置及び方法、並びにプログラム | |
| WO2021049356A1 (ja) | 再生装置、再生方法、及び記録媒体 | |
| KR20120116564A (ko) | 증강 현실을 이용한 전시 시스템 | |
| KR102685040B1 (ko) | 사용자 움직임 기록 기반의 영상 제작 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240118 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240711 |