JP2023073475A - 映像表示装置及びその表示制御方法 - Google Patents
映像表示装置及びその表示制御方法 Download PDFInfo
- Publication number
- JP2023073475A JP2023073475A JP2023057854A JP2023057854A JP2023073475A JP 2023073475 A JP2023073475 A JP 2023073475A JP 2023057854 A JP2023057854 A JP 2023057854A JP 2023057854 A JP2023057854 A JP 2023057854A JP 2023073475 A JP2023073475 A JP 2023073475A
- Authority
- JP
- Japan
- Prior art keywords
- avatar
- processing unit
- information
- unit
- motion information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 62
- 238000012545 processing Methods 0.000 claims abstract description 134
- 230000033001 locomotion Effects 0.000 claims abstract description 105
- 238000004891 communication Methods 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 230000033764 rhythmic process Effects 0.000 claims description 86
- 230000009471 action Effects 0.000 claims description 46
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 4
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 70
- 238000007726 management method Methods 0.000 description 53
- 230000008569 process Effects 0.000 description 48
- 230000006870 function Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 238000002360 preparation method Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000009191 jumping Effects 0.000 description 2
- 230000001020 rhythmical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 241001342895 Chorus Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/205—3D [Three Dimensional] animation driven by audio data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/36—Accompaniment arrangements
- G10H1/40—Rhythm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
- G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
- G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
- G10H2220/005—Non-interactive screen display of musical or status data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Information Transfer Between Computers (AREA)
- Processing Or Creating Images (AREA)
- Closed-Circuit Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
【課題】他の人とアバターを介して空間を共有する際の違和感を低減する映像表示装置及びその表示制御方法を提供することを目的とする。【解決手段】それを達成するために、配信されるコンテンツの映像と、コンピュータ生成画像であるアバターとを重畳して表示画面に表示する映像表示装置であって、ネットワークと接続する通信処理部と、通信処理部を介して受信したアバター情報から他者のアバターを生成するアバター生成処理部と、通信処理部を介して受信したコンテンツの映像に付随する連続する動作の動き情報を検出する動き情報検出処理部と、通信処理部を介して受信したコンテンツを表示する表示部と、制御部を有し、アバター生成処理部は、生成したアバターの動作に動き情報検出処理部で検出した動き情報を加味してアバターを生成し、制御部は、表示部にコンテンツに重畳してアバター生成処理部で生成したアバターを表示する構成とする。【選択図】図4
Description
本発明は、映像表示装置及びその表示制御方法に関する。
近年、PCをはじめとする情報端末には種々の製品が世の中に出回っている。中でも、携帯型映像表示装置のヘッドマウントディスプレイ装置(以下「HMD」と記載する。)では、眼鏡形式の表示画面上に、配信された映像と、コンピュータによる拡張現実(AR:Augmented Reality)の生成画像(アバター)とを重畳させて表示することができる。例えば、コンサートやスポーツなどのコンテンツを他のユーザと同時にリアルタイムに鑑賞でき、それと同時に、自分の分身(アバター)や、他のユーザの分身(アバター)を、表示画面に表示することができるヘッドマウントディスプレイ用のアプリケーションが既に提供されている。
本技術分野における従来技術として特許文献1がある。特許文献1では、アバター表示において、遠隔の意思疎通における遅延の影響を回避する方法が記載されている。
例えば、他のユーザと一緒にコンサート等のライブ映像を楽しむ場合、他のユーザの分身であるアバターの動作が重要になってくる。特に、音楽ライブ等で、聴いている音楽と外れたリズムのまま体を動かし続けるアバターには、非常に違和感を覚える。
これに対して、特許文献1では、初動の遅延に対する違和感は改善されるが、連続する動作のずれによる違和感に対しては考慮されていなかった。
本発明の目的は、他の人とアバターを介して空間を共有する際の違和感を低減する映像表示装置及びその表示制御方法を提供することである。
本発明は、上記課題を解決するために、その一例を挙げるならば、配信されるコンテンツの映像と、コンピュータ生成画像であるアバターとを重畳して表示画面に表示する映像表示装置であって、ネットワークと接続する通信処理部と、通信処理部を介して受信したアバター情報から他者のアバターを生成するアバター生成処理部と、通信処理部を介して受信したコンテンツの映像に付随する連続する動作の動き情報を検出する動き情報検出処理部と、通信処理部を介して受信したコンテンツを表示する表示部と、制御部を有し、アバター生成処理部は、生成したアバターの動作に動き情報検出処理部で検出した動き情報を加味してアバターを生成し、制御部は、表示部にコンテンツに重畳してアバター生成処理部で生成したアバターを表示する構成とする。
本発明によれば、アバターを介して空間を共有する際の違和感を低減する映像表示装置及びその表示制御方法を提供することができる。
以下、本発明の実施例を、図面を用いて説明する。
図1は、本実施例における映像表示システムの構成模式図である。なお、本発明は、複数のユーザが存在する場合に適用するが、説明を簡単にするため、本実施例では、図1に示すように、二人のユーザ(第1のユーザ10Aと、第2のユーザ10B)に限定して説明する。
図1において、映像表示装置であるHMD11Aを装着した第1のユーザ10Aと、HMD11Bを装着した第2のユーザ10Bは、それぞれ無線ルータ12Aと無線ルータ12Bを介して、ネットワーク網13に接続している。ネットワーク網13には、配信サーバ14と、管理サーバ15が接続されている。
配信サーバ14は、ライブコンテンツをライブストリーミング(live streaming)で、ネットワーク網13上に、ライブ配信する。配信サーバ14から配信されたライブストリーミングのライブコンテンツは、ネットワーク網13を介して、無線ルータ12A経由でHMD11Aと、無線ルータ12B経由でHMD11Bに、それぞれ配信される。配信されたライブコンテンツは、映像はHMDの表示画面に表示し、音声はHMDのスピーカから出力する。
管理サーバ15は、ネットワーク網13を介して取得した、複数の情報を管理する。管理サーバ15が管理する情報は、例えば、コンテンツの情報や、ユーザに関する情報、無線ルータ12Aを介して取得したHMD11Aの動作情報(第1のユーザ10Aの動作情報)や音声情報、無線ルータ12Bを介して取得したHMD11Bの動作情報(第2のユーザ10Bの動作情報)や音声情報、などである。
コンテンツの情報には、ライブのタイトル情報、演奏者や歌手などのアーティスト情報、ライブコンテンツの開始時刻及び終了時刻などの時間情報、楽曲の拍子やテンポなどの楽譜情報などがある。
ユーザに関する情報には、氏名を含むニックネームやハンドルネームなどのユーザ情報(ユーザ識別情報)、ユーザ固有のアバター情報、ライブコンテンツを同時に視聴する複数ユーザを管理する管理情報、などがある。
動作情報は、手を叩く、首や手を振る、手を上下する、立つ、座る、ステップ、ジャンプ、などの動作を、アバターの各関節等を動かすベクトル情報として保持している。
このようなシステム構成により、ユーザは、ライブコンテンツを視聴しながら、視聴するユーザとは異なる他者の分身でありコンピュータ生成画像であるアバターを、他者の動作情報を付加して、ライブコンテンツに重畳して表示することができ、アバターを介して友人との楽しい状況を共有することができる。
図2は、第1のユーザ10Aが、ライブコンサートを視聴している状態を説明するための模式図である。図2において、配信サーバ14は、アーティストが演じているライブコンサート全体の映像21を配信している。
ライブコンサート全体の映像21は、例えば、複数台のカメラで撮影した映像を合成することや、360度カメラで撮影することなどで実現することができる。
このライブコンサート全体の映像21が配信されることにより、第1のユーザ10Aが装着するHMD11Aの向いている方向の変化に応じたライブコンサートの映像を、HMD11Aの表示画面上に表示することができる。例えば、HMD11Aの向きを、後ろ向きに転じると、観客席の映像が表示される。
第1のユーザ10Aが装着するHMD11Aの表示画面22には、配信されたライブ会場全体の映像21から、HMD11Aの向いている方向に応じて切り出した映像が表示されている。また、その視聴位置は、ライブ会場全体の映像21の中心の最も良い視聴位置と思われるライブ会場の中央位置23で視聴している状態を想定している。勿論、第2のユーザ10Bが装着するHMD11Bの表示画面には、ライブ会場全体の映像21の中心の最も良い視聴位置と思われるライブ会場の中央位置23で視聴している状態を想定している。
本実施例で表示する第2のユーザ10Bの分身であるアバター24は、管理サーバ15に格納されている第2のユーザ10Bのユーザ固有のアバター情報を用いている。
第2のユーザ10Bの分身であるアバター24の表示位置は、任意で良いが、本実施例では、第1のユーザ10Aと第2のユーザ10Bの相対位置を維持している。例えば、第1のユーザ10Aの右隣に第2のユーザ10Bが存在し、第2のユーザ10Bの左隣に第1のユーザ10Aが存在している状態を、第1のユーザ10Aと第2のユーザ10Bが、相互に認識していることを意味している。本実施例における図2の模式図では、第2のユーザ10Bの分身であるアバター24は、第1のユーザ10Aの視聴位置の右側に存在するように設定している。なお、第3のユーザが存在した場合も同様に、3者のユーザの相対位置は維持される。
また、後ろを含む他の観客席には、一般的な任意のアバターを配置することもできるが、ネットワーク等を介して、外部のサーバから入手した多種のアバターを配置することもできる。
HMD11Aは、ライブコンサートで演奏される音楽のリズムを検出し、そのリズムに同期して第2のユーザ10Bの分身であるアバター24を動かす。さらに、管理サーバ15から入手した第2のユーザ10Bの動作情報を、第2のユーザ10Bの分身であるアバター24に反映させている。
次に、本実施例における頭部装着型映像表示装置であるHMDを、図面を用いて説明する。図3は、本実施例におけるHMDの内部構成の一例を示すハードウェア構成図である。図3において、HMD1は、主制御装置2、システムバス3、記憶装置4、センサ装置5、通信処理装置6、映像処理装置7、音声処理装置8、操作入力装置9で構成される。
主制御装置2は、所定の動作プログラムに従ってHMD1全体を制御するマイクロプロセッサユニットである。システムバス3は、主制御装置2とHMD1内の各構成ブロックとの間で各種コマンドやデータなどの送受信を行うためのデータ通信路である。
記憶装置4は、HMD1の動作を制御するためのプログラムなどを記憶するプログラム部41、動作設定値や後述するセンサ部からの検出値やコンテンツを含むオブジェクトなどの各種データを記憶する各種データ部42、各種プログラム動作で使用するワークエリアなどの書き替え可能なプログラム機能部43から構成している。また、記憶装置4は、ネットワーク上からダウンロードした動作プログラムや前記動作プログラムで作成した各種データ等を記憶可能である。また、ネットワーク上からダウンロードした動画や静止画や音声等のコンテンツを記憶可能である。また、カメラ機能を使用して撮影した動画や静止画等のデータを記憶可能である。また、記憶装置4は、HMD1に外部から電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えば、フラッシュROMやSSD(Solid State Drive)などの半導体素子メモリ、HDD(Hard Disc Drive)などの磁気ディスクドライブ等のデバイスが用いられる。なお、記憶装置4に記憶された前記各動作プログラムは、ネットワーク上の各サーバ装置からのダウンロード処理により更新及び機能拡張することが可能である。
センサ装置5は、HMD1の状態を検出するための各種センサのセンサ群である。センサ装置5は、GPS(Global Positioning System)受信部51、地磁気センサ部52、距離センサ部53、加速度センサ部54、ジャイロセンサ部55で構成される。これらのセンサ群により、HMD1の位置、傾き、方角、動き等を検出することが可能となる。また、HMD1が、照度センサ、近接センサ等、他のセンサを更に備えていても良い。更に、手や腕に、それらのセンサと対をなす装置を装着すれば、手や腕の動きを検出することができる。これらのセンサ群を総合的に活用することにより、手を叩く、首や手を振る、手を上下する、立つ、座る、ステップ、ジャンプ、などの動作を検出することができる。
通信処理装置6は、LAN(Local Area Network)通信部61、電話網通信部62、で構成される。LAN通信部61は、アクセスポイント等を介してインターネット等のネットワークと接続され、前記ネットワーク上の各サーバ装置とデータの送受信を行う。アクセスポイント等との接続はWi-Fi(登録商標)等の無線接続で行われて良い。電話網通信部62は、移動体電話通信網の基地局等との無線通信により、電話通信(通話)及びデータの送受信を行う。基地局等との通信はW-CDMA(Wideband Code Division Multiple Access)(登録商標)方式やGSM(Global System for Mobile communications)(登録商標)方式、LTE(Long Term Evolution)方式、或いはその他の通信方式によって行われて良い。LAN通信部61と電話網通信部62は、それぞれ符号化回路や復号化回路やアンテナ等を備える。また、通信処理装置6が、BlueTooth(登録商標)通信部や赤外線通信部等、他の通信部を更に備えていても良い。
映像処理装置7は、撮像部71、表示部72で構成される。撮像部71は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)センサ等の電子デバイスを用いてレンズから入力した光を電気信号に変換することにより、周囲や対象物の画像データを入力するカメラユニットである。表示部72は、例えば液晶パネル等の表示デバイスであり、画像データをHMD1のユーザに提供する。表示部72は図示を省略したビデオRAMを備える。そして、ビデオRAMに入力された画像データに基づいて表示画面上に表示される。
音声処理装置8は、音声入出力部81、音声認識部82、音声復号部83とで構成される。音声入出力部81の音声入力部はマイクであり、ユーザの声などを音声データに変換して入力する。また、音声入出力部81の音声出力部はスピーカであり、ユーザに必要な音声情報等を出力する。音声認識部82は、入力された音声情報を解析し、指示コマンド等を抽出する。音声復号部83は、必要に応じて、符号化音声信号の復号処理(音声合成処理)等を行う機能を有する。
操作入力装置9は、HMD1に対する操作指示の入力を行う指示入力部である。操作入力装置9は、ボタンスイッチ等を並べた操作キー、等で構成される。その他の操作デバイスを更に備えても良い。また、通信処理装置6を利用し、有線通信または無線通信により接続された別体の携帯端末機器を用いてHMD1の操作を行っても良い。また、音声処理装置8の音声認識部82を利用して、操作指示の音声コマンドによりHMD1の操作を行なっても良い。
なお、図3に示したHMD1の構成例は、本実施例に必須ではない構成も多数含んでいるが、これらが備えられていない構成であっても本実施例の効果を損なうことはない。また、デジタル放送受信機能や電子マネー決済機能等、図示していない構成が更に加えられていても良い。
図4は、本実施例におけるHMD1の機能ブロック構成図である。図4において、制御部30は、主に、図3における主制御装置2と記憶装置4のプログラム部41及びプログラム機能部43で実行される。
各種センサ情報取得部31は、センサ装置5の各種センサからの情報を取得する機能であり、自己の動作状態を把握する機能である。
通信処理部32は、主に、図3における通信処理装置6のLAN通信部61で実行され、HMD1の各種情報を、管理サーバ15へアップロードしたり、管理サーバ15からの各種情報をダウンロードしたりする機能である。また通信処理部32は、配信サーバ14からのライブコンテンツをダウンロードする機能である。
他者動作情報保存部33は、管理サーバ15が取得したHMD1を視聴するユーザとは異なる他のユーザの動作情報及び音声情報を、通信処理部32により入手し、記憶装置4の各種データ部42に保存する機能である。
アバター情報保存部34は、管理サーバ15が管理している他のユーザ固有のアバター情報を、通信処理部32により入手し、記憶装置4の各種データ部42に保存する機能である。
アバター生成処理部35は、主に、図3における主制御装置2で実行され、アバター情報保存部34により保存されたアバターに、他者動作情報保存部33により保存された他者の動作情報を加味して、アバターを生成する機能である。
アバター表示処理部36は、図3における映像処理装置7の表示部72により実行され、アバター生成処理部35で生成されたアバターを表示する機能である。但し、後ほど説明するが、HMD1の位置や方向により、HMD1の表示画面上からアバターが逸脱する場合があるので、アバターの表示可否を判断する必要がある。
リズム検出処理部37は、主に、図3における主制御装置2と音声処理装置8で実行され、ライブコンテンツにおける楽曲のリズム(拍子)を検出する機能である。管理サーバ15で管理しているコンテンツ情報(楽譜情報)があれば、通信処理部32により管理サーバ15から入手し、リズム(拍子)情報として利用する。番組表などにより、演奏される楽曲が判明している場合は、インターネット等により、その楽曲に関するリズムやテンポなどの楽譜情報を入手することもできる。
管理サーバ15、もしくはインターネット等から楽譜情報が入手できなかった場合は、配信サーバ14からのライブコンテンツを再生しながら、音の強弱の繰り返しパターンにより、リズム(拍子)を検出する。
次に、制御部30により実行される本実施例におけるHMD1での全体の処理フローチャートを図5に示す。図5において、HMD1における処理は、起動開始(S100)後、準備処理S200を行なう。準備処理S200は、ライブコンテンツを受信する前に、行なう処理であり、一緒にライブコンテンツを視聴するユーザの設定などを行なう。
準備処理S200が終了した後、ライブコンテンツの開始を待つ。そして、ライブコンテンツの受信動作(ライブコンテンツ処理S300)と同時に、アバター表示処理S400を行なう。
ライブコンテンツ処理S300では、送られてきたコンテンツを表示するとともに、リズム同期に関する情報をアバター表示処理S400に伝達し、リズムに同期したリズム動作情報を生成し、アバターにリズムに合わせた動作をさせる。
アバター表示処理S400では、他者の動作があった場合は、他者動作情報として、アバター表示処理S400に入力され、アバター表示に反映させる。
ライブコンテンツが終了すると、ライブコンテンツ処理S300と、アバター表示処理S400が終了し、全体の処理を終了する(S500)。
図6は、図5の全体の処理フローチャートにおける準備処理S200のフローチャートである。図6において、準備処理S200が開始(S210)されると、先ず、ライブコンテンツを検索し設定する(S211)。ライブコンテンツは、管理サーバ15が既に管理しているライブコンテンツ、もしくは、配信サーバ14が提供する番組表などから選択し、設定する。
次にステップS212で、設定したライブコンテンツの情報を、管理サーバ15や配信サーバ14もしくはネットワーク網13を介して他のサーバなどから入手し、記憶装置4の各種データ部42に保存する。なお、入手したライブコンテンツの情報は、単独で視聴する場合でも有効に活用できる。そして、ステップS213で、管理サーバ15から、管理サーバ15に登録されているユーザリスト(他者リスト)を入手する。
そして、ステップS214で、入手したユーザリスト(他者リスト)の中に、一緒に視聴したいユーザが存在するかどうかを判断する。S214で、一緒に視聴したいユーザが存在した場合は、一緒に視聴したいユーザ(他者)に対して、設定したライブコンテンツを開示して、一緒に視聴するかどうかの承認伺いを行なう(S215)。
そして、ステップS216で、一緒に視聴したいユーザ(他者)から承認が得られたかどうかを判断する。S216で、一緒に視聴したいユーザ(他者)から承認が得られなかった場合は、S214の処理に戻り、他の選択すべきユーザを検索する。
S216の処理で、一緒に視聴したいユーザ(他者)から承認が得られた場合は、管理サーバ15に、一緒に視聴するユーザとして、一緒に視聴したいユーザ(他者)を登録する(S217)。そして、ステップS218で、管理サーバ15から、一緒に視聴したいユーザの固有アバターデータ(友達アバター)を入手し、記憶装置4の各種データ部42に保存し、S214の処理に戻る。
S214で、入手したユーザリストの中に、一緒に視聴したいユーザが存在しなかった場合は、準備処理S200を終了する(S219)。
図7は、図5の全体の処理フローチャートにおけるライブコンテンツ処理S300のフローチャートである。図7において、ライブコンテンツ処理S300が開始(S310)されると、ライブコンテンツの開始を待ち、ライブコンテンツを受信する(S311)。続いて、受信したライブコンテンツを再生する(S312)。
そして、ステップS313で、ライブコンテンツを再生しながら、そのライブコンテンツのリズムを検出する。なお、管理サーバ15のコンテンツ情報に楽譜データがあれば、拍子とテンポ(拍の長さ)が分かるので、特にリズム検出処理は行なわない。
リズム検出は、通常、1個の強拍と1個以上の弱拍とからなるパターン(リズム区間)を、繰り返すことにより認識する。従って、リズムを認識するには、最低2個のリズム区間を必要とする。リズム検出の具体例としては、例えば、サウンドデータを適切なフレーム長ごとに分割し、フレーム内での音量を計算し、フレーム間の音量増加量を計算する。そして、音量増加量を周波数解析して、ピーク周波数をbpm(Beats Per Minute)に変換することで、リズムを検出する。
次に、ステップS314で、ライブコンテンツの楽曲がリズム区間の先頭に到達したかどうかを判断する。そして、ライブコンテンツの楽曲がリズム区間の先頭に到達するまでS314の処理を繰り返す。
次に、ステップS315で、ライブコンテンツの楽曲がリズム区間の先頭に到達したら、リズム区間先頭タイミングをアバター表示処理に通知する。
次に、ステップS316で、ライブコンテンツの楽曲がリズム区間の終端に到達したかどうかを判断する。そして、ライブコンテンツの楽曲がリズム区間の終端に到達するまで、S316の処理を繰り返す。
次に、ステップS317で、ライブコンテンツの楽曲がリズム区間の終端に到達したら、ライブコンテンツの楽曲が、終了したかどうかを判断する。S317で、ライブコンテンツの楽曲が終了していない場合は、リズム区間の終端は、次のリズム区間の先頭と同一タイミングなので、S315の処理に戻る。
S317の処理で、ライブコンテンツの楽曲が終了した場合は、ライブコンテンツの楽曲が終了したことを、アバター表示処理に通知し(S318)、ライブコンテンツ処理S300を終了する(S319)。
図8は、図5の全体の処理フローチャートにおけるアバター表示処理S400のフローチャートである。図8において、アバター表示処理S400が開始(S410)されると、先ず、管理サーバ15から、一緒にライブコンテンツを視聴する選択したユーザの固有アバターデータ(友達アバター)を入手し、所定の位置に表示する(S411)。
友達アバターは、選択したユーザの固有のアバターであり、身長や体形などの、その選択したユーザを彷彿させるイメージを有するアバターである。友達アバターは、ユーザ(もしくはユーザ以外の他人)が管理サーバ15に登録したユーザ固有のアバターである。勿論、選択したユーザの固有のアバターデータを使用せずに、一般的な特徴の無い汎用のアバターを使用することもできることは言うまでも無い。友達アバターは、選択したユーザのHMDの各種センサの情報から、例えば、座った状態や立った状態などの静止状態や、動きの動作情報を入手し、動作情報を生成して動作させる。
次に、ステップS412で、リズム区間の先頭タイミングかどうかを判断する。具体的には、ライブコンテンツ処理S300におけるS315の処理からのリズム区間先頭タイミングを待つ。リズム区間の先頭タイミングに到達するまで、S412の処理を繰り返す。
次に、ステップS413で、1個前のリズム区間(直前のリズム区間)経過中に、管理サーバ15から、一緒にライブコンテンツを視聴する選択したユーザの連続した動作情報及び音声情報が有ったかどうかを判断する。そして、連続した動作情報及び音声情報が無かった場合は、後ほど説明するS418の処理に移行する。また、連続動作情報が有った場合は、ステップS414でアバターの動作にリズム動作情報を加味する。また、音声情報が有った場合は、音声情報の出力を開始し、その音声情報がなくなるまで音声出力を継続する。
次に、ステップS415で、連続した動作情報の有無で動作アバターの表示の終了を判断する。動作アバターの表示が終了するまで、S414の処理を繰り返す。そして、S415の処理で動作アバターの表示が終了した場合は、友達アバターのリズム動作を停止する(S416)。
次に、リズム区間が終端に到達したかどうかを判断する(S417)。リズム区間が終端に到達していなければ、S415の処理に戻る。S417の処理で、リズム区間が終端に到達した場合は、楽曲が終了したかどうかを判断する(S418)。具体的には、ライブコンテンツ処理S300におけるS318の処理からの楽曲終了通知があるかどうかで判断する。
S418の処理で、楽曲が終了していない場合は、リズム区間の終端は次のリズム区間の先頭と同一タイミングなので、S413の処理に戻る。S418の処理で、楽曲が終了した場合は、アバターのリズム動作処理を終了する(S419)。
ここで、図8のアバター表示処理S411の詳細フローチャートを図9に示す。図9は、アバターが表示範囲に入っているか否かを判断してその表示を制御する処理である。
図9において、処理が開始(S420)されると、表示すべきアバターの位置を確認する(S421)。次に、HMD1の位置・方向が、前回と同じかどうかを判断する(S422)。
S422の処理で、HMD1の位置・方向が、変化したと判断した場合は、変化後のHMD1の位置や方向を検出する(S423)。初期では、前回のHMD1の位置や方向に関する情報が無いので、HMD1の位置や方向が、変化したと判断する。
次に、変化後のHMD1の位置や方向におけるHMD1の表示画面上に、S421の処理で確定したアバターの位置で、アバターが完全に逸脱しているかどうかを判断する(S424)。S424の処理で、アバターが完全に逸脱している場合は、アバターを表示しない(S425)。その後、このアバター表示可否ルーチンを終了する(S429)。
S424の処理で、アバターが完全に逸脱していない場合、アバターの一部が逸脱したかどうか判断する(S426)。S426で、アバターが少しも逸脱していない場合は、完全なアバターを表示する(S427)。その後、このアバター表示可否ルーチンを終了する(S429)。
S426の処理で、アバターが一部逸脱している場合は、HMD1の表示画面上に逸脱していない残りのアバターを表示する(S428)。その後、このアバター表示可否ルーチンを終了する(S429)。
このような手順で、アバターの表示可否を判断する。アバターの表示可否は、アバターを表示する度に、判断されることが望ましい。
以上のように、本実施例は、視聴する音楽のリズムを検出し、表示される他のユーザの分身であるアバターの動作を、その検出したリズムと同期した動作で表示させる。これにより、他のユーザの分身であるアバターの動作がリズムと同期した動作となるので、音楽ライブ等で、臨場感溢れる視聴効果をもたらすことができる。
なお、本実施例は、楽曲のリズムについて説明したが、これに限定されるものでなく、スポーツ観戦、舞台観戦などに対する反応である、応援、歓声、掛け声等の動作や、映像と一緒に行なう合奏や合唱などの動作を含む、連続する動作でよい。その場合、リズム検出処理部37は、動き情報検出処理部と置き換えればよい。これにより、本実施例によれば、連続する動作に同期した動作でアバターを表示させることで、空間を共有する際のアバターを介した違和感を低減することが可能となる。
実施例1では、一緒にライブコンテンツを視聴している他のユーザのアバターを表示しているが、視聴している自己のアバターを表示していなかった。本実施例では、一緒に視聴している他のユーザのアバターを表示するだけでなく、視聴している自己のアバターも表示する例について説明する。
図10は、本実施例におけるHMD1の機能ブロック図である。図10において、図4と同様の機能は同じ符号を付し、その説明は省略する。図10において図4と異なる構成は、自己動作情報保存部38が追加されている点である。
図10において、各種センサ情報取得部31は、センサ装置5の各種センサからの情報を取得し、自己の動作状態を把握する。
自己のリズムに関する動作情報は、各種センサ情報取得部31により入手した自己のリズムに関する動作情報を、自己動作情報保存部38により記憶装置4の各種データ部42に保存する。
自己の分身であるアバター情報は、予め、自己で作成済みで、アバター情報保存部34により記憶装置4の各種データ部42に保存している。勿論、この自己アバターの情報は、管理サーバ15に登録済みであることは、言うまでも無い。
自己のアバターは、アバター情報保存部34により保存している自己のアバターに、自己動作情報保存部38からの自己の動作情報を加味して、アバター生成処理部35によりアバターを生成し、アバター表示処理部36により自己のアバターを表示する。
このようにして、図2のライブコンサート視聴の模式図におけるライブ会場全体の映像21の中心の最も良い視聴位置と思われるライブ会場の中央位置23に、自己のアバターを表示することができる。
実施例1では、1個前のリズム区間(直前のリズム区間)経過中に、管理サーバ15から、一緒にライブコンテンツを視聴するユーザの連続動作情報が有った場合、アバターをリズム動作させていた。これに対して、本実施例では、リズム動作中に一緒に視聴するユーザの動作情報を入手した時点で、速やかにその動作情報をアバターに反映する場合について説明する。
図11は、本実施例におけるアバター表示処理のフローチャートである。図11において、図8と同様の機能は同じ符号を付し、その説明は省略する。図11において図8と異なる構成は、図8におけるS413からS416の処理を、S431からS436までの処理とした点である。
本実施例では、一緒に視聴するユーザが、リズムの感覚を掴めたら、そのリズムに応じた動きを行なうことを想定している。通常は、リズム区間の先頭のタイミング(強拍)で、リズムに関する動作を開始する。各リズム区間の先頭のタイミングで行なうリズムに関する動作は、同じ動作となることが多い。本実施例では、この同じリズム動作のことを動作Aと定義する。また、リズム区間の先頭のタイミング(強拍)で動作Aと異なるリズムに関する動作を行なった場合は、動作Aと異なる動作を意味する動作Bと定義している。動作Bは、例えば、動作Aが連続する揺れの動作とすると、動作Aより大きな動作、大きな移動やジャンプ、手大きく上げる等の動作である。
図11において、先ず、1個前のリズム区間(直前のリズム区間)経過中に、管理サーバ15から、一緒にライブコンテンツを視聴するユーザの動作情報Aが有ったかどうかを判断する(S431)。この処理は、図8のS413の処理と等価な処理である。
S431の処理で、直前のリズム区間経過中に、管理サーバ15から、一緒にライブコンテンツを視聴するユーザの動作情報が無かった場合は、後ほど説明するS418の処理に移行する。
S431の処理で、直前のリズム区間経過中に、管理サーバ15から、一緒にライブコンテンツを視聴するユーザの動作情報Aが有った場合は、友達アバターをその動作情報Aを加味した動き開始する(S432)。
次に、一緒に視聴するユーザの動作情報Bが有るかどうか判断する(S433)。S433の処理で、ユーザの動作情報Bがあった場合は、アバターの動作を動作Aに動作Bを重畳した動きとする(S434)。S433の処理で、ユーザの動作情報Bが無かった場合は、動作Aが終了したかどうかを判断する(S435)。
S435の処理で、動作Aが終了していない場合は、リズム区間の終端を判定する(S417)。S417の処理で、リズム区間の終端ではない場合は、S433の処理に戻る。S435の処理で、動作Aが終了した場合は、リズム区間の終端を判定し、終端の場合は、図8と同様に楽曲の終了を判定する(S418)。
以上説明したように、本実施例によれば、ユーザがリズムをとった動作をしている途中に、他の動作をした場合に、速やかに、かつスムーズにその動作情報をアバター表示に反映させることが可能となる。なお、動作Aがなく動作Bのみの場合に、動作Bの動作情報をアバター表示に反映させてもよい。
実施例1乃至3では、コンサートなどのライブ配信を前提にしていた。これに対して、本実施例では、ライブ配信ではなく、一旦ビデオ化されたビデオ配信に適用した例について説明する。
ビデオ配信では、コンテンツの再生開始が、任意に行なわれる反面、他のユーザと一緒に視聴して楽しむことに不向きであった。本実施例では、ビデオ配信によるコンテンツでも、他のユーザと一緒に視聴して楽しむことができる方法を提供する。そのため、本実施例では、ビデオ配信されたコンテンツ情報を、管理サーバ15が一旦受信し、再度、管理サーバ15から同時にビデオ配信する機能を追加している。管理サーバ15は、ビデオ配信されたコンテンツを全て受信してから、再度、ビデオ配信することもできるが、本実施例では、配信サーバ14からビデオ配信されたコンテンツを、管理サーバ15がタイムシフトして、再度、管理サーバ15がビデオ配信している。
図12は、本実施例における管理サーバ15の処理手順を示すフローチャートである。図12において、管理サーバ15は、ビデオコンテンツ対応処理を開始(S510)すると、ユーザが指定したビデオコンテンツを配信サーバ14から受信を開始し(S511)、記憶装置4の各種データ部42に保存する。
そして、ステップS512で、保存するビデオコンテンツに対して、タイムシフト処理を開始する。タイムシフト処理とは、受信したデータをテンポラリに保存しながら送信し、送信済みのデータにオーバライトしながら受信する処理である。
そして、ステップS513で、管理サーバ15に登録された、ビデオコンテンツを一緒に視聴するユーザ全てに対して、受信したビデオコンテントの同時配信を開始する。その間、ビデオコンテンツに対するタイムシフトは継続処理(受信しながら配信)を行なう(S514)。
次に、ステップS515で、配信サーバ14からのビデオコンテンツの受信が終了したかどうかを判断する。ビデオコンテンツの受信が終了していない場合は、タイムシフト処理を継続するため、S514の処理に戻る。ビデオコンテンツの受信が終了した場合は、ビデオコンテンツの配信が終了したかどうかを判断する(S516)。
S516の処理で、ビデオコンテンツの配信が終了していない場合は、タイムシフト終了処理を行なう(S517)。具体的には、ビデオコンテンツの受信が終了しているので、まだ配信されていない残りのビデオコンテンツを配信する。
S516の処理で、ビデオコンテンツの配信が終了した場合は、管理サーバ15の、ビデオコンテンツ対応処理を終了する(S518)。
このタイムシフト処理により、テンポラリで使用する記憶媒体をオーバライトしながら使用するので、使用する記憶容量を少なくすることができる。
このように、本実施例によれば、ビデオ配信によるコンテンツでも、管理サーバ15に追加した機能により、ビデオ配信されたコンテンツ情報を、一緒に視聴するユーザに対して、同時にビデオ配信し、実現することが可能となる。
実施例1乃至3では、ネットワーク等によりライブ配信された映像を、HMDの表示画面上に、表示することを前提にしていた。これに対して、本実施例では、一般的なTV受信機によるライブ映像の表示に適用した例について説明する。
図13は、本実施例における映像表示システムの構成模式図である。図13において、図1と同様の機能は同じ符号を付し、その説明は省略する。図13において図1と異なる構成は、HMD11A、11Bは透過型を採用し、配信サーバ14の代わりに、TV受信機16A、16Bが構成要素となっている点である。
すなわち、第1のユーザ10Aが透過型HMD11Aを介して、TV受信機16Aの表示画面を視聴し、第1のユーザ10Aの動作情報を無線ルータ12A及びネットワーク網13を介して、管理サーバ15に伝達する。同様に、第2のユーザ10Bが透過型HMD11Bを介して、TV受信機16Bの表示画面を視聴し、第2のユーザ10Bの動作情報を無線ルータ12B及びネットワーク網13を介して、管理サーバ15に伝達する。伝達された動作情報は、管理サーバ15から、ネットワーク網13及び無線ルータ12A、12Bを介して、HMD11A、11Bの表示画面上にアバターの動作として反映する。
このようにして、一般的なTV受信機によるライブ映像においても、管理サーバ15から、一緒に視聴するユーザの動作情報を入手し、一緒に視聴するユーザのアバターに反映させることで、本発明を適用することができる。
また、この透過型HMDは、TV受信機でなく、ライブ会場にて、直接、生のライブ演奏を視聴する場合においても有効である。すなわち、透過型HMDで生のライブ映像を視聴しながら、管理サーバ15から、一緒に視聴するユーザの動作情報を入手し、一緒に視聴するユーザのアバターに反映させることで、本発明を適用することができる。
勿論、HMD11A、11Bが非透過型の場合でも、映像処理装置7の撮像部71(カメラ)で、TV受信機16の表示画面もしくはライブ会場の映像を撮影し、その撮影した映像情報を、映像処理装置7の表示部72(表示画面)に表示することができる。従って、本実施例は、管理サーバ15から、一緒に視聴するユーザの動作情報を入手し、一緒に視聴するユーザのアバターを前記非透過型HMD11A、11Bの表示画面上に重畳して表示することにより実現できることは言うまでも無い。
実施例1乃至5では、携帯型映像表示装置であるHMDを前提としていた。これに対して、本実施例では、HMD以外の映像表示装置に適用した例について説明する。
本実施例では、スマートフォンや、タブレット端末などの携帯型映像表示装置においても、映像表示装置の方向を把握することができるので、管理サーバ15から、一緒に視聴するユーザの動作情報を入手し、一緒に視聴するユーザのアバターに反映させることで、本発明を適用することができる。
図14は、本実施例におけるスマートフォンの外観図である。図14において、スマートフォン110のスマートフォン正面113には、タッチパネルを搭載した表示画面111と、自分撮り用のフロントカメラ(インカメラとも言う)112、スピーカおよびマイク116がある。また、スマートフォン背面115には、リアカメラ(アウトカメラもしくは単にカメラとも言う)114とマイク117がある。
スマートフォン110は、外観からは見えないが、HMDと同様に各種センサが搭載されており、スマートフォン110自体の方向を検知することができる。また、スマートフォン110の表示画面111には、実施例1にて説明した第1のユーザ10Aが装着するHMD11Aの表示画面22と同等の画面が表示されている。
一緒に視聴するユーザのアバター24には、管理サーバ15から提供される、一緒に視聴するユーザの動作情報及び音声情報が反映され表示されている。但し、スマートフォン110は、自己の動作状態を把握するにはやや難があるので、一緒に視聴する他のユーザに対して、動作情報を伝達することは制限される。しかしながら、既存のスマートフォンで他のユーザと一緒にライブコンサートをリズム同期して楽しむことはできるので、臨場感が向上する効果がある。
また、スマートフォン110の自分撮り用のフロントカメラ112にて、視聴しているユーザ自体の動画(動き情報及び音声情報)を撮影し、その音声情報を含む映像情報を動作情報として、無線ルータ12及びネットワーク網13を介して、管理サーバ15に伝達することができる。その結果、この音声情報を含む映像情報を、管理サーバ15から提供することにより、一緒に視聴するユーザのアバターに反映し、表示することができる。
本実施例では、携帯型映像表示装置としてスマートフォンを例に挙げたが、同等及び近似のハードウェア構成やソフトウェア構成があれば、本発明を実現することができる。例えば、ノートPCやタブレットPC等にも適用可能である。
尚、固定して使用するデスクトップPCにおいても、HMDの向きが変わらない(正面のみ)という前提で、本発明を適用できることは言うまでも無い。
また、スマートフォンにTVチューナが内蔵あるいは接続されている場合には、本実施例は、前述の実施例5にも適用可能である。すなわち、スマートフォン110の表示画面111にTV画面を表示し、スマートフォン110の自分撮り用のフロントカメラ112にて、視聴しているユーザ自体の動画(動き情報及び音声情報)を撮影することにより、その音声情報を含む映像情報を動作情報として、無線ルータ12及びネットワーク網13を介して、管理サーバ15に伝達することができる。その結果、この音声情報を含む映像情報を、管理サーバ15から提供することにより、一緒に視聴するユーザのアバターに反映し、表示することができる。勿論、TV受信機16に内蔵もしくは外付けのカメラ機能を設け、TV受信機16を視聴しているユーザ自体の動画(動き情報及び音声情報)を撮影することにより、その音声情報を含む映像情報を動作情報として利用してもよい。
前述の実施例では、他のユーザの動作情報用いて、他のユーザの分身であるアバターに反映して表示することを前提としていた。これに対して、本実施例では、他のユーザの動作情報を用いない例について説明する。
他のユーザの動作情報を入手する場合、その動作情報を他のユーザの分身であるアバターに反映するには、遅延時間が発生する。一方、一緒に視聴するユーザのアバターが、リズムに完全同期して表示されると、臨場感が高まる。従って、たとえ、一緒に視聴するユーザの動作と異なる動作でも、リズムと完全同期する方が重要である。
そこで、本実施例では、リズムに完全同期している自己の動作情報そのものを、他のユーザの分身であるアバターに反映して表示する。
図15は、本実施例における自己動作反映処理手順を示すフローチャートである。図15において、自己動作反映処理が開始(S520)されると、管理サーバ15より、一緒に視聴するユーザの基本アバター(実施例1にて説明済み)を取得する(S521)。
次に、S522の処理にて、コンテンツが開始されるのを待つ。S522の処理にて、コンテンツの開始があったと判断された場合は、自己動作が有ったかどうかを判断する(S523)。S523の処理で、自己動作が無かった場合は、一緒に視聴するユーザの基本アバターを表示する(S524)。S523の処理で、自己動作が有った場合は、一緒に視聴するユーザの基本アバターに自己動作を反映させて、一緒に視聴するユーザのアバターを表示する(S525)。
次に、コンテンツが終了したかどうかを判断する(S526)。S526の処理で、コンテンツが終了していない場合は、次の自己動作に備えるため、S523の処理に戻る。S526の処理で、コンテンツが終了した場合は、自己動作反映処理を終了する(S527)。
このように、自己の動作情報そのものを、一緒に視聴するユーザのアバターに反映して表示しているので、リズムに完全同期して表示することができる。
また、他のユーザの動作を予め想像し、その想像した他のユーザの動作情報を、他のユーザの分身であるアバターに反映させ、各リズム区間の先頭にてリズムに完全同期して、表示させることもできる。具体的には、実施例1で説明した図8のアバター表示処理のフローチャートにおける、アバターリズム動作(S414)での動作アバターが、予め想像した動作のアバターで表示されることを、意味している。
これらの手法により、自己ユーザにとって、タイミング的にリズムに完全同期し、他のユーザとの一体感を得ることができる。勿論、前述の実施例と併用できることは言うまでも無い。
前述の実施例では、アバターの動き情報は、管理サーバ15等から、その都度、入手することが前提であった。これに対して、本実施例では、アバターの動き情報を、予め取得する例について説明する。
ライブコンサートでは、そのライブコンサートの楽曲にふさわしい動作が望まれる。本実施例では、その楽曲にふさわしい動作を、ネットワーク網13を介して、予めライブラリとして提供するライブラリサーバを設けている。
図16は、本実施例におけるライブラリサーバに登録されているライブラリのテーブル例である。図16において、ライブラリテーブル600は、楽曲名を示す識別情報を有するコンテンツ欄601、楽曲からの経過時間を示す経過時間欄602、ライブコンサートの楽曲にふさわしい動作の動作情報を示す動作情報欄603、から構成されている。
楽曲に対して、開始時刻か終了時刻までの動き情報を、全てライブラリとして提供することもできるが、本実施例では、動きのある時点(経過時間)のみを登録することにより、ライブラリの保存容量を削減している。
ユーザは、ライブラリサーバから、予め、この経過時間と動作情報を入手することにより、そのライブコンサートの楽曲にふさわしいアバターの動作を表示させることができ、より臨場感のあるライブコンサートを楽しむことができる。
ライブコンサートなどのビデオ配信の場合は、ライブコンサートにおける聴衆の動きを、予め把握することができ、その聴衆の動きをパターン化し、動作情報として提供することができる。その結果、より臨場感のあるライブコンサートを楽しむことができる。
また、ライブラリサーバより、楽曲にふさわしい動きの動作情報を、ライブラリテーブル600の動作情報欄603から任意に抽出し、ユーザの好みに応じて、リズムに同期したアバターを任意に表示することもできる。
なお、本実施例は、リズムに同期しないコンテンツにも適用可能である。例えば、コメディ(落語や漫才等)などの笑い声や、スポーツなどの応援や、歌舞伎などの掛け声、などにも適用できる。
勿論、前述の配信サーバ14もしくは管理サーバ15に、このライブラリサーバの機能を持たせることができることは言うまでも無い。
以上、本発明の実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成と置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
1、11A、11B:HMD、2:主制御装置、4:記憶装置、5:センサ装置、6:通信処理装置、7:映像処理装置、8:音声処理装置、9:操作入力装置、10A、10B:ユーザ、13:ネットワーク網、14:配信サーバ、15:管理サーバ、22:表示画面、24:アバター、30:制御部、31:各種センサ情報取得部、32:通信処理部、33:他者動作情報保存部、34:アバター情報保存部、35:アバター生成処理部、36:アバター表示処理部、37:リズム検出処理部、38:自己動作情報保存部、S200:準備処理、S300:ライブコンテンツ処理、S400:アバター表示処理
Claims (6)
- 自己と他者がネットワークを介して接続する映像表示装置であって、
前記ネットワークと接続する通信処理部と、
前記通信処理部を介して受信したアバター情報から前記他者のアバターを生成するアバター生成処理部と、
前記通信処理部を介して受信した前記他者の動作情報に基づいて前記他者の連続する動作の検出を含む動き情報を検出する動き情報検出処理部と、
前記通信処理部を介して受信した前記アバターを表示する表示部と、
音情報を取得・生成する音声処理部と、
前記音声処理部で取得した音声情報に同期した自己のリズム動作情報を生成するリズム検出処理部と、
制御部を有し、
前記アバター生成処理部は、前記動き情報検出処理部で前記他者の連続する動作を検出したときは、前記アバターの動作情報は、前記自己のリズム動作情報に同期させた動作情報に、前記他者の連続する動作以外の動き情報を加味した動作情報とし、
前記制御部は、前記表示部に前記アバター生成処理部で生成した前記他者のアバターを表示することを特徴とする映像表示装置。 - 請求項1に記載の映像表示装置であって、
前記リズム動作情報は、前記リズム検出処理部が前記通信処理部を介して入手する楽曲情報のリズムに基づいて検出することを特徴とする映像表示装置。 - 請求項1に記載の映像表示装置であって、
前記映像表示装置の動きを検出する動き検出処理部を有し、
前記アバター生成処理部は、さらに、前記動き検出処理部で検出した動きに応じて自己のアバターを生成し、
前記制御部は、前記表示部に前記アバター生成処理部で生成した前記他者のアバターと前記自己のアバターを表示することを特徴とする映像表示装置。 - 請求項1に記載の映像表示装置であって、
前記通信処理部を介して他者の動作情報を受信し、
前記アバター生成処理部は、前記他者の動作情報を反映してアバターを生成し、
前記制御部は、前記表示部に前記アバター生成処理部で生成したアバターを表示することを特徴とする映像表示装置。 - 請求項1に記載の映像表示装置であって、
視聴するユーザを撮影する撮影部を有し、
前記撮影部で撮影した映像情報から前記ユーザの動き情報を生成し、
前記アバター生成処理部は、前記ユーザの動き情報を加味してアバターを生成し、
前記制御部は、前記表示部に前記アバター生成処理部で生成したアバターを表示することを特徴とする映像表示装置。 - 請求項2に記載の映像表示装置であって、
前記通信処理部を介して前記楽曲情報に対応する動作情報を受信し、
前記アバター生成処理部は、前記受信した楽曲に対応する動作情報を反映させてアバターを生成し、
前記制御部は、前記表示部に前記アバター生成処理部で生成したアバターを表示することを特徴とする映像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023057854A JP2023073475A (ja) | 2019-04-17 | 2023-03-31 | 映像表示装置及びその表示制御方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021514721A JP7256870B2 (ja) | 2019-04-17 | 2019-04-17 | 映像表示装置及びその表示制御方法 |
PCT/JP2019/016512 WO2020213098A1 (ja) | 2019-04-17 | 2019-04-17 | 映像表示装置及びその表示制御方法 |
JP2023057854A JP2023073475A (ja) | 2019-04-17 | 2023-03-31 | 映像表示装置及びその表示制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514721A Division JP7256870B2 (ja) | 2019-04-17 | 2019-04-17 | 映像表示装置及びその表示制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023073475A true JP2023073475A (ja) | 2023-05-25 |
Family
ID=72838126
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514721A Active JP7256870B2 (ja) | 2019-04-17 | 2019-04-17 | 映像表示装置及びその表示制御方法 |
JP2023057854A Pending JP2023073475A (ja) | 2019-04-17 | 2023-03-31 | 映像表示装置及びその表示制御方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021514721A Active JP7256870B2 (ja) | 2019-04-17 | 2019-04-17 | 映像表示装置及びその表示制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220222881A1 (ja) |
JP (2) | JP7256870B2 (ja) |
CN (1) | CN114026877A (ja) |
WO (1) | WO2020213098A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7521073B1 (ja) | 2023-06-22 | 2024-07-23 | カバー株式会社 | 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11878212B2 (en) * | 2019-05-09 | 2024-01-23 | Patrick Louis Burton | Martial arts training system |
JP7202981B2 (ja) * | 2019-06-28 | 2023-01-12 | グリー株式会社 | 動画配信システム、プログラム、及び情報処理方法 |
EP4163876A4 (en) * | 2020-06-03 | 2023-11-15 | Sony Group Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM |
US11360733B2 (en) | 2020-09-10 | 2022-06-14 | Snap Inc. | Colocated shared augmented reality without shared backend |
WO2022201371A1 (ja) * | 2021-03-24 | 2022-09-29 | ヤマハ株式会社 | 画像生成装置、画像生成方法 |
CN114329001B (zh) * | 2021-12-23 | 2023-04-28 | 游艺星际(北京)科技有限公司 | 动态图片的显示方法、装置、电子设备及存储介质 |
US20240070950A1 (en) * | 2022-08-23 | 2024-02-29 | Snap Inc. | Avatar call on an eyewear device |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000040088A (ja) * | 1998-07-23 | 2000-02-08 | Nippon Telegr & Teleph Corp <Ntt> | 3次元共有仮想空間における情報提供方法及びシステム及び3次元共有仮想空間における情報提供プログラムを格納した記憶媒体 |
JP3066528B1 (ja) * | 1999-02-26 | 2000-07-17 | コナミ株式会社 | 楽曲再生システム、リズム解析方法及び記録媒体 |
US9449109B1 (en) * | 2004-04-29 | 2016-09-20 | Eversitas, LLC | Visualizing, sharing and monetizing multimedia content |
US8766983B2 (en) * | 2006-05-07 | 2014-07-01 | Sony Computer Entertainment Inc. | Methods and systems for processing an interchange of real time effects during video communication |
JP4786561B2 (ja) * | 2007-01-25 | 2011-10-05 | 株式会社エクシング | カラオケシステム |
US8904430B2 (en) * | 2008-04-24 | 2014-12-02 | Sony Computer Entertainment America, LLC | Method and apparatus for real-time viewer interaction with a media presentation |
JP4755672B2 (ja) * | 2008-06-17 | 2011-08-24 | ヤフー株式会社 | コンテンツ編集装置、方法及びプログラム |
RU2011116297A (ru) * | 2008-10-06 | 2012-11-20 | Вердженс Энтертейнмент ЭлЭлСи (US) | Система для музыкального взаимодействия аватаров |
JP2010160358A (ja) * | 2009-01-08 | 2010-07-22 | Genko Inc | 動画制御システム及び動画制御方法 |
US20120293506A1 (en) * | 2009-11-10 | 2012-11-22 | Selex Sistemi Integrati S.P.A. | Avatar-Based Virtual Collaborative Assistance |
EP2589210A1 (en) * | 2010-06-30 | 2013-05-08 | Koninklijke Philips Electronics N.V. | Methods and apparatus for capturing ambience |
JP5735672B1 (ja) * | 2014-01-31 | 2015-06-17 | 株式会社 ディー・エヌ・エー | コンテンツの配信システム、配信プログラム及び配信方法 |
US20160027141A1 (en) * | 2014-07-22 | 2016-01-28 | Oculus Vr, Llc | In-band latency detection system |
JP6718169B2 (ja) * | 2015-07-07 | 2020-07-08 | 学校法人幾徳学園 | 情報提示システム、情報提示装置及びプログラム |
WO2017019530A1 (en) * | 2015-07-24 | 2017-02-02 | Silver Curve Games, Inc. | Augmented reality rhythm game |
JP6947661B2 (ja) * | 2017-05-26 | 2021-10-13 | 株式会社コロプラ | ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法 |
JP6419916B1 (ja) * | 2017-09-04 | 2018-11-07 | 株式会社コロプラ | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 |
US10341537B2 (en) * | 2017-09-29 | 2019-07-02 | Sony Interactive Entertainment America Llc | Spectator view into an interactive gaming world showcased in a live event held in a real-world venue |
-
2019
- 2019-04-17 US US17/603,922 patent/US20220222881A1/en active Pending
- 2019-04-17 JP JP2021514721A patent/JP7256870B2/ja active Active
- 2019-04-17 CN CN201980095451.9A patent/CN114026877A/zh active Pending
- 2019-04-17 WO PCT/JP2019/016512 patent/WO2020213098A1/ja active Application Filing
-
2023
- 2023-03-31 JP JP2023057854A patent/JP2023073475A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7521073B1 (ja) | 2023-06-22 | 2024-07-23 | カバー株式会社 | 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2020213098A1 (ja) | 2020-10-22 |
JPWO2020213098A1 (ja) | 2020-10-22 |
US20220222881A1 (en) | 2022-07-14 |
JP7256870B2 (ja) | 2023-04-12 |
CN114026877A (zh) | 2022-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7256870B2 (ja) | 映像表示装置及びその表示制御方法 | |
CN110336960B (zh) | 视频合成的方法、装置、终端及存储介质 | |
CN110233976B (zh) | 视频合成的方法及装置 | |
CN107967706B (zh) | 多媒体数据的处理方法、装置及计算机可读存储介质 | |
CN109729372B (zh) | 直播间切换方法、装置、终端、服务器及存储介质 | |
CN112533017B (zh) | 直播方法、装置、终端及存储介质 | |
JP2006041887A (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
WO2021143574A1 (zh) | 增强现实眼镜、基于增强现实眼镜的ktv实现方法与介质 | |
WO2012100114A2 (en) | Multiple viewpoint electronic media system | |
CN112261481B (zh) | 互动视频的创建方法、装置、设备及可读存储介质 | |
CN110267054B (zh) | 一种推荐直播间的方法及装置 | |
WO2015151766A1 (ja) | 投影撮影システム、カラオケ装置及びシミュレーション装置 | |
CN111276122A (zh) | 音频生成方法及装置、存储介质 | |
JP2023053313A (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
CN109616090A (zh) | 多音轨序列生成方法、装置、设备及存储介质 | |
CN110808021B (zh) | 音频播放的方法、装置、终端及存储介质 | |
JP4289153B2 (ja) | 移動体通信装置、移動体通信装置の表示制御方法、並びに、そのプログラム | |
CN116964544A (zh) | 信息处理装置、信息处理终端、信息处理方法和程序 | |
CN111031394A (zh) | 视频制作的方法、装置、设备及存储介质 | |
US20220415361A1 (en) | Method for processing videos and electronic device | |
JP2022176206A (ja) | 情報処理装置、動画合成方法及び動画合成プログラム | |
WO2022095506A1 (zh) | 直播方法及装置 | |
CN115119005A (zh) | 轮播频道直播间的录播方法、服务器及存储介质 | |
JP2017032725A (ja) | カラオケシステム | |
JP7521073B1 (ja) | 仮想空間コンテンツ配信システム、仮想空間コンテンツ配信プログラム、および仮想空間コンテンツ配信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240227 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240709 |