JP2023017832A - 映像表示装置及び映像表示方法 - Google Patents
映像表示装置及び映像表示方法 Download PDFInfo
- Publication number
- JP2023017832A JP2023017832A JP2022171963A JP2022171963A JP2023017832A JP 2023017832 A JP2023017832 A JP 2023017832A JP 2022171963 A JP2022171963 A JP 2022171963A JP 2022171963 A JP2022171963 A JP 2022171963A JP 2023017832 A JP2023017832 A JP 2023017832A
- Authority
- JP
- Japan
- Prior art keywords
- user
- avatar
- trajectory
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims description 60
- 238000004891 communication Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 59
- 230000006870 function Effects 0.000 description 37
- 238000010586 diagram Methods 0.000 description 26
- 238000013500 data storage Methods 0.000 description 17
- 230000009471 action Effects 0.000 description 9
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- GMVPRGQOIOIIMI-DODZYUBVSA-N 7-[(1R,2R,3R)-3-hydroxy-2-[(3S)-3-hydroxyoct-1-enyl]-5-oxocyclopentyl]heptanoic acid Chemical compound CCCCC[C@H](O)C=C[C@H]1[C@H](O)CC(=O)[C@@H]1CCCCCCC(O)=O GMVPRGQOIOIIMI-DODZYUBVSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 241000408728 Hidari Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000001771 impaired effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000287531 Psittacidae Species 0.000 description 1
- 101100347655 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) NAB3 gene Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram
- G09B29/10—Map spot or coordinate position indicators; Map reading aids
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Mathematical Physics (AREA)
- Computer Hardware Design (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Navigation (AREA)
Abstract
Description
HMD1全体の制御処理は、主に、主制御部10が記憶部40の各種プログラム41及び各種データ42を用いて実行する。HMD1における処理は、ユーザの移動軌跡の情報を収集し保存する軌跡収集処理(S100)と、保存した軌跡情報に基づいてユーザを示す仮想映像であるアバターを表示するアバター表示処理(S200)で構成される(それぞれ破線と鎖線で示す)。
S110:ユーザ2の指示で軌跡収集処理(S100)を開始する。軌跡収集開始の指示は、本実施例ではユーザ2の音声で行う。例えば、音声コマンド「キセキカイシ」を発声すると、音声認識部82は軌跡収集処理の開始指示であると判断する。
S112:タイマーを起動する。タイマーは、主制御部10に内蔵されているクロックを用いて計時する。タイマーを使用するのは、ユーザの軌跡ポイントのデータを一定時間(単位時間)の間隔で収集するためである。
S115:HMD1の前方にある被写体を映像処理部5の撮像部71で撮影し(撮影データ取得機能14)、撮影データを記憶部40の各種データ42として保存する(撮影データ保存機能15)。
S118:単位時間を経過したかどうかを判断する。具体的にはタイマーが単位時間を越えたかどうかで判断する。単位時間を経過した場合はS119へ進み、単位時間を経過していない場合はS114へ戻る。
S119:ポイント番号pに1を加算し、S112へ戻りタイマーをリセットして再度起動する。
ΔXp=Xp-Xp-1,ΔYp=Yp-Yp-1,ΔZp=Zp-Zp-1
となる。
図8Aは、静止画を保存する静止画データ格納テーブル810を示す。静止画データ格納テーブル810は、撮影指示があった時点の軌跡ポイントを示すポイント番号811、撮影方向を示す撮影方向812、撮影データサイズ813、撮影データ814から構成される。この例では、軌跡ポイントk(ポイント番号k)の地点で、HMD1がΘkの方向で撮影し、撮影データサイズMkの撮影データDkを、記憶部40の各種データ42に保存(S115)している。
S210:アバター表示処理(S200)を開始する。本例では、ユーザがアバター表示開始を意味する音声コマンド「アバターカイシ」を発声することにより、アバター表示開始指示と判断する。
S212:軌跡情報保存テーブル710(または差分軌跡情報保存テーブル720)を参照し、現時点のHMD1の位置に最も近い位置座標のポイント番号sを検索する。すなわち、現在位置が軌跡収集の終点であればs=nとなるが、もしユーザがその後終点から移動した場合にはs≠nとなることもある。
S213:表示するポイント番号mの初期値として、現在位置に最も近いポイント番号sを設定する。これにより、ユーザの現在位置に近い軌跡ポイントから表示を行うことができる。
軌跡情報が差分軌跡情報保存テーブル720に保存されている場合は、ポイント番号(m+1)における差分位置座標722の値(差分値)を読み出して、前回の表示位置(ポイント番号=m+1)から減算する。すなわち、
Xm=Xm+1-ΔXm+1,Ym=Ym+1-ΔYm+1,Zm=Zm+1-ΔZm+1
となる。ただし、初回(m=s)については、始点・終点位置座標テーブル730に記述された終点の位置座標(Xn,Yn,Zn)、およびポイント番号sまでの差分位置座標722の値を用いて算出する。
アバターの向いている方向は、便宜的に、前回の軌跡ポイント(m+1)と今回の軌跡ポイント(m)を結ぶ方向とする。
S217:視界算出機能19により、現時点のHMD1の位置と方向から、HMD1の表示領域、すなわちユーザの視野領域を求め、S215で算出したアバターの配置位置が表示領域内かどうかを判断する。HMD1の表示領域内にアバターを配置できると判断した場合はS218へ進み、アバターを配置できないと判断した場合はS300の救済処理を行う。S300の救済処理では、ユーザに対し視野方向を変えさせるとかユーザをアバターの見える位置まで移動させるなどの誘導処理を行うもので、詳細は図9Bで後述する。このS217の判断処理とS300の救済処理により、ユーザの視界内にアバターを配置させることができ、ユーザはアバターを見失うことなく、あるいはアバターを追い越すことなく移動(追跡)することができる。
S220:現時点が撮影ポイントであることを報知する。撮影ポイントの報知方法は、表示中のアバターの色を変えたり、アバターをブリンク(点滅)させたりすることでユーザに知らせる。
S221:ユーザの指示により、静止画データ格納テーブル810または動画データ格納テーブル820から該当する撮影データを読み出して再生する。撮影データの再生は、音声コマンド「サイセイ」により実行する。撮影データの再生は、HMDの表示画面全体でも良いが、本例では、縮小子画面で表示し、一定の時間表示を継続した後に撮影データの再生を終了する。
S223:単位時間を経過したかどうかを判断する。単位時間を経過したと判断した場合は、S224へ進む。単位時間を経過しないと判断した場合は、S222へ戻る。
S224:ポイント番号mから1を減算して新しいポイント番号とする。これにより、時間的に遡った1つ前の軌跡ポイントに戻る。
S302:HMDがアバターの存在方向に向いていない場合に該当するので、ユーザにHMDの方向を転換するように音声又は表示でガイドする。例えば、音声処理部80の音声復号部83により音声ガイド「ミギ」、「ヒダリ」等を発生する。その際、アバターを画面に出して発声させても良い。その後、S211へ戻る。
S305:軌跡ポイントsまでのルート情報(新たな軌跡ポイント)を軌跡情報保存テーブル710に追加する。その後S211へ戻り、追加した軌跡ポイントを含めてアバターの表示対象位置となる。その結果、S217ではHMDの表示領域内にアバターが配置されることになり、S218でアバターを表示することができる。
図11Aの表示画面400では、軌跡収集したHMDの各軌跡ポイントを時間的に逆行させてアバター3を表示する。すなわち、アバター3の表示位置を軌跡ポイント504、503、502、501(●印で表示)の順に、矢印方向に移動させて表示する。この中で軌跡ポイント503は撮影ポイントkであるので、他の位置と識別するため◎印で表示している。また、軌跡収集処理の過程でユーザ2(HMD)が向いていた方向を再現するため、アバター3を移動させるときの体の向きを、アバター3の進行方向とは逆向き(後ろ向き)の姿勢として、元来た経路を戻る様子を示している。
また、アバターの軌跡ポイントを単位時間(1秒)毎に表示しているが、これに限らず、他の時間間隔で表示することもできる。例えば、1/24秒毎に補間して表示すると、アバターが映画のような滑らかな動画で表示される。
図12は、HMDの操作に使用する音声コマンドの例を示すテーブルである。音声コマンドテーブル600の項目は、コマンドの分類601と、ユーザの発する音声コマンド602と、コマンドの名称603と、処理内容604から構成されている。
さらに、音声復号部83の音声合成機能を用いて、右方向への回転を促す音声「ミギ」や、左方向への回転を促す音声「ヒダリ」などの合成音声を発生させることができる。これは、図9BのS306の工程で利用することができる。
これ以外に、HMD1の操作入力部90にタッチセンサを設け、HMD1にユーザの手や指が触れたことを検出する方式でも良い。
坂道を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が直線的であり、HMDの高度の変化(ΔZ)も直線的になる。階段を上る(下る)場合は、HMDの平面的位置座標の変化(ΔX,ΔY)が階段幅分であり、HMDの高度の変化(ΔZ)も階段の段差分になる。
この手法により、保存するデータ量を極力少なくすることができる。勿論、実施例2の2次元軌跡情報保存テーブル740,750から、実施例1の3次元の軌跡情報保存テーブル710~730に変換することも可能である。
図15は、実施例3におけるアバター表示の模式図である。表示画面400において、アバター3を進行方向に向く姿勢(前向き)で表示している。すなわち、現在の軌跡ポイント503から次の軌跡ポイント502へのベクトル方向にアバター3の向きを設定している。これにより、実施例1(図11B)に示したようなアバターの向きにより生じるユーザの違和感(アバターの進行方向とアバターの向きが一致しないこと)を解消することができる。
図16は、実施例4におけるアバター表示の模式図である。ここでは、アバター3を後ろ向きで進行させている。そして移動経路の近くに建物521と建物522が存在し、アバター3が建物521で隠れる場合を示している。このような場合には、アバター3は建物521により隠れる部分を表示しないように制御する。アバター3が隠れるか否かは、建物521、522とアバター3までの距離を比較することで判断でき、建物521、522までの距離は距離センサ53で測定可能である。
HMDの撮像部71は、始点から撮影を開始し、現時点から一定時間(例えば、軌跡収集処理で使用する軌跡ポイント間の単位時間の2倍の長さ)の映像を、常にループ撮影して一時保存する。これにより自動的に撮影される映像は、現時点から一定時間(例えば2秒)だけ遡った動画もしくは静止画となる。静止画の場合は、軌跡ポイントと次の軌跡ポイントとの間に、1個もしくは2個程度の静止画を一時保存するだけで十分機能は発揮できる。そして、移動経路中の特異箇所、例えば移動方向を変えた地点において撮影した映像を残すようにする。
例えば、センサ部50の距離センサ53により、地面もしくは床面からHMD1までの距離(すなわちユーザの頭部の高さ)を検出し、軌跡ポイント毎に収集する。この検出値をユーザの身長(既知)と比較することで、HMD1を装着したユーザの姿勢(立っている、座っている、しゃがんでいる、寝ている等)を推定することができる。この姿勢情報を表示するアバターに反映させて、立っているアバターや座っているアバターなどの表示を行う。
図17Aは、実施例7における軌跡情報保存テーブル710’の例を示す。実施例1(図7A)の軌跡情報保存テーブル710に対し、各軌跡ポイントを通過した通過時刻713を追加して記載している。
(b)に示すように背面側にはカメラ901を有し、外景を撮影する。スマートフォン9の内部には、3次元位置やカメラ901の方向を検出するセンサを有し、HMDと同等に軌跡情報を収集することができる。
図19は、複数のHMDを接続した映像表示システムの構成を示す図である。ここでは、2人のユーザ2a,2bの場合を示し、それぞれHMD1aとHMD1bを装着している。2人以外の場合も同様である。
Claims (11)
- ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、
前記映像表示装置は、それぞれ、
当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するセンサと、
前記センサの検出結果から前記各ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信する通信処理部と、
前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、前記通信処理部にて取得した他のユーザの軌跡情報と当該ユーザと他のユーザのアバター情報とを保存する記憶部と、
当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示する表示部と、
前記軌跡情報取得部、前記通信処理部、前記記憶部、前記表示部を制御する制御部と、を備え、
前記制御部は、
前記センサが検出したユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
前記記憶部に保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して前記表示部に表示し、
当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、当該ユーザと他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された当該ユーザの頭部の高さと方向の情報をもとに、当該ユーザの身長情報と比較して、当該ユーザのアバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された他のユーザの頭部の高さと方向の情報をもとに、他のユーザの身長情報と比較して、他のユーザのアバターの姿勢と顔の向きを決定することを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記制御部は、現在の前記当該ユーザの視界領域内に前記当該ユーザのアバターを配置できないとき、前記当該ユーザに対し、視野方向を変えさせる、または前記当該ユーザのアバターの見える位置まで移動させるための誘導処理を行うことを特徴とする映像表示装置。 - 請求項1記載の映像表示装置において、
前記軌跡情報取得部は、前記各ユーザの移動軌跡の情報を予め定めた単位時間毎に取得して、各軌跡ポイントの位置座標を前記記憶部に保存し、
前記制御部は、前記単位時間毎、あるいは前記単位時間に任意の係数を乗じた時間毎に、前記記憶部から各軌跡ポイントの位置座標を読み出して、該位置座標に前記当該ユーザのアバターと前記他のユーザのアバターを配置することを特徴とする映像表示装置。 - 請求項4記載の映像表示装置において、
前記軌跡情報取得部は、各軌跡ポイントの位置座標を、時間的に1つ前の軌跡ポイントの位置座標との差分値として前記記憶部に保存するとともに、少なくとも終点の軌跡ポイントの位置座標は、絶対値として前記記憶部に保存することを特徴とする映像表示装置。 - 請求項4記載の映像表示装置において、
さらに外景を撮影する撮像部を備え、
前記撮像部で撮影した撮影データを、撮影位置である撮影ポイントと対応付けて前記記憶部に保存し、
前記制御部は、前記当該ユーザのアバターの位置が前記撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。 - 請求項6記載の映像表示装置において、
前記制御部は、前記撮像部で撮影した撮影データのうち、前記各ユーザの移動軌跡の方向が変化した撮影ポイントにおいて撮影された映像を前記記憶部に保存し、
前記制御部は、前記当該ユーザのアバターの位置が前記当該ユーザの移動軌跡の方向が変化した撮影ポイントにあるとき、前記記憶部に保存された撮影データの映像を前記表示部に表示することを特徴とする映像表示装置。 - 請求項4記載の映像表示装置において、
さらに外景を撮影する撮像部を備え、
前記表示部には、前記撮像部で撮影されている現在の映像を表示するとともに、
前記制御部は、前記表示部に表示されている外景の映像に合わせ、前記当該ユーザの移動軌跡に基づき前記当該ユーザのアバターを重畳して表示することを特徴とする映像表示装置。 - ユーザが携帯し、該ユーザの移動軌跡を映像で表示する映像表示装置において、
前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、
前記映像表示装置は、それぞれ、
当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するセンサと、
前記センサの検出結果から前記各ユーザの移動軌跡の情報を取得する軌跡情報取得部と、
当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信する通信処理部と、
前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、前記通信処理部にて取得した他のユーザの軌跡情報と当該ユーザと他のユーザのアバター情報とを保存する記憶部と、
当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示する表示部と、
前記軌跡情報取得部、前記通信処理部、前記記憶部、前記表示部を制御する制御部と、を備え、
前記制御部は、
前記センサが検出したユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存し、
前記記憶部に保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求め、
前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して前記表示部に表示し、
当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、前記当該ユーザのアバターと前記他のユーザのアバターを移動させるときの体の向きを、前記当該ユーザのアバターと前記他のユーザのアバターの進行方向とは逆向きに表示することを特徴とする映像表示装置。 - ユーザが携帯する映像表示装置を用いて、該ユーザの移動軌跡を映像で表示する映像表示方法において、
前記映像表示装置を複数のユーザが頭部にそれぞれ装着して使用し、
当該映像表示装置を装着した各ユーザの位置と方向と頭部の高さを検出するステップと、
前記センサの検出結果から前記各ユーザの移動軌跡の情報を取得するステップと、
当該ユーザが携帯する映像表示装置と他のユーザが携帯する映像表示装置の間で、当該ユーザと他のユーザの軌跡情報と、当該ユーザと他のユーザを示す仮想映像であるそれぞれのアバター情報とを送受信するステップと、
前記軌跡情報取得部にて取得した当該ユーザの軌跡情報と、前記通信処理部にて取得した他のユーザの軌跡情報と当該ユーザと他のユーザのアバター情報とを保存するステップと、
当該ユーザと他のユーザの移動軌跡を当該ユーザと他のユーザのアバターで表示するステップと、
前記センサが検出したユーザの頭部の高さと方向の情報を前記軌跡情報として前記記憶部に保存するステップと、
前記記憶部に保存された当該ユーザと他のユーザのアバターの情報から当該ユーザと他のユーザのアバターを生成するとともに、前記センサにより現在の当該ユーザの視界領域を求めるステップと、
前記記憶部に保存された当該ユーザの軌跡情報と、前記通信処理部にて受信した他のユーザの軌跡情報をもとに、現在の当該ユーザの視界領域に合わせ、当該ユーザの移動軌跡に当該ユーザのアバターを配置し、他のユーザの移動軌跡に他のユーザのアバターを配置して前記表示部に表示するステップと、
当該ユーザのアバターを当該ユーザの移動軌跡に沿って移動させ、他のユーザのアバターを他のユーザの移動軌跡に沿って移動させる際に、時間的に新しい軌跡情報から古い軌跡情報に向かって移動させ、当該ユーザと他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された当該ユーザの頭部の高さと方向の情報をもとに、当該ユーザの身長情報と比較して、当該ユーザのアバターの姿勢と顔の向きを決定するステップと、
を備えることを特徴とする映像表示方法。 - 請求項10記載の映像表示方法において、
他のユーザのアバターを生成して表示させるとき、前記記憶部に保存された他のユーザの頭部の高さと方向の情報をもとに、他のユーザの身長情報と比較して、他のユーザのアバターの姿勢と顔の向きを決定するステップを備えることを特徴とする映像表示方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022171963A JP7427747B2 (ja) | 2019-02-26 | 2022-10-27 | 映像表示装置及び映像表示方法 |
JP2024008763A JP2024050675A (ja) | 2019-02-26 | 2024-01-24 | 映像表示装置及び映像表示方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021501411A JP7168757B2 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
PCT/JP2019/007184 WO2020174554A1 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
JP2022171963A JP7427747B2 (ja) | 2019-02-26 | 2022-10-27 | 映像表示装置及び映像表示方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501411A Division JP7168757B2 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008763A Division JP2024050675A (ja) | 2019-02-26 | 2024-01-24 | 映像表示装置及び映像表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023017832A true JP2023017832A (ja) | 2023-02-07 |
JP7427747B2 JP7427747B2 (ja) | 2024-02-05 |
Family
ID=72238282
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501411A Active JP7168757B2 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
JP2022171963A Active JP7427747B2 (ja) | 2019-02-26 | 2022-10-27 | 映像表示装置及び映像表示方法 |
JP2024008763A Pending JP2024050675A (ja) | 2019-02-26 | 2024-01-24 | 映像表示装置及び映像表示方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501411A Active JP7168757B2 (ja) | 2019-02-26 | 2019-02-26 | 映像表示装置及び映像表示方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024008763A Pending JP2024050675A (ja) | 2019-02-26 | 2024-01-24 | 映像表示装置及び映像表示方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220044450A1 (ja) |
JP (3) | JP7168757B2 (ja) |
CN (1) | CN113574491A (ja) |
WO (1) | WO2020174554A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6559870B1 (ja) * | 2018-11-30 | 2019-08-14 | 株式会社ドワンゴ | 動画合成装置、動画合成方法及び動画合成プログラム |
CN113196377B (zh) * | 2018-12-20 | 2024-04-12 | Ns西日本株式会社 | 显示光射出装置、平视显示装置、图像显示系统及头盔 |
US11704874B2 (en) | 2019-08-07 | 2023-07-18 | Magic Leap, Inc. | Spatial instructions and guides in mixed reality |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06258088A (ja) * | 1993-03-09 | 1994-09-16 | Maspro Denkoh Corp | 走行軌跡表示装置 |
JP2001134595A (ja) * | 1999-11-08 | 2001-05-18 | Mega Chips Corp | 地理情報システム |
JP2006279266A (ja) * | 2005-03-28 | 2006-10-12 | Noritsu Koki Co Ltd | 電子アルバム作成装置、電子アルバム作成システム、及び、電子アルバム作成プログラム |
JP2012063253A (ja) * | 2010-09-16 | 2012-03-29 | Olympus Corp | 画像生成システム、プログラム及び情報記憶媒体 |
JP2015019936A (ja) * | 2013-07-22 | 2015-02-02 | カシオ計算機株式会社 | ネットワークシステム、端末、サーバー、プログラム、並びにトレーニング支援方法 |
JP2017073042A (ja) * | 2015-10-08 | 2017-04-13 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
US20180328751A1 (en) * | 2017-05-11 | 2018-11-15 | Disney Enterprises, Inc. | Physical navigation guided via story-based augmented and/or mixed reality experiences |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008157880A (ja) * | 2006-12-26 | 2008-07-10 | Victor Co Of Japan Ltd | 車載カメラ装置を用いた運転支援装置 |
EP3457705A1 (en) * | 2013-05-30 | 2019-03-20 | Sony Corporation | Display controller, display control method, and computer program |
US20160134840A1 (en) * | 2014-07-28 | 2016-05-12 | Alexa Margaret McCulloch | Avatar-Mediated Telepresence Systems with Enhanced Filtering |
US20170352226A1 (en) * | 2015-01-05 | 2017-12-07 | Sony Corporation | Information processing device, information processing method, and program |
-
2019
- 2019-02-26 US US17/434,400 patent/US20220044450A1/en active Pending
- 2019-02-26 CN CN201980093082.XA patent/CN113574491A/zh active Pending
- 2019-02-26 JP JP2021501411A patent/JP7168757B2/ja active Active
- 2019-02-26 WO PCT/JP2019/007184 patent/WO2020174554A1/ja active Application Filing
-
2022
- 2022-10-27 JP JP2022171963A patent/JP7427747B2/ja active Active
-
2024
- 2024-01-24 JP JP2024008763A patent/JP2024050675A/ja active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06258088A (ja) * | 1993-03-09 | 1994-09-16 | Maspro Denkoh Corp | 走行軌跡表示装置 |
JP2001134595A (ja) * | 1999-11-08 | 2001-05-18 | Mega Chips Corp | 地理情報システム |
JP2006279266A (ja) * | 2005-03-28 | 2006-10-12 | Noritsu Koki Co Ltd | 電子アルバム作成装置、電子アルバム作成システム、及び、電子アルバム作成プログラム |
JP2012063253A (ja) * | 2010-09-16 | 2012-03-29 | Olympus Corp | 画像生成システム、プログラム及び情報記憶媒体 |
JP2015019936A (ja) * | 2013-07-22 | 2015-02-02 | カシオ計算機株式会社 | ネットワークシステム、端末、サーバー、プログラム、並びにトレーニング支援方法 |
JP2017073042A (ja) * | 2015-10-08 | 2017-04-13 | 富士通株式会社 | 画像生成システム、画像生成プログラム及び画像生成方法 |
US20180328751A1 (en) * | 2017-05-11 | 2018-11-15 | Disney Enterprises, Inc. | Physical navigation guided via story-based augmented and/or mixed reality experiences |
Also Published As
Publication number | Publication date |
---|---|
JPWO2020174554A1 (ja) | 2020-09-03 |
JP7427747B2 (ja) | 2024-02-05 |
JP2024050675A (ja) | 2024-04-10 |
CN113574491A (zh) | 2021-10-29 |
US20220044450A1 (en) | 2022-02-10 |
WO2020174554A1 (ja) | 2020-09-03 |
JP7168757B2 (ja) | 2022-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7427747B2 (ja) | 映像表示装置及び映像表示方法 | |
CN105027033B (zh) | 用于选择扩增现实对象的方法、装置和计算机可读媒体 | |
US10169923B2 (en) | Wearable display system that displays a workout guide | |
CN110506249B (zh) | 信息处理设备、信息处理方法和记录介质 | |
US10636185B2 (en) | Information processing apparatus and information processing method for guiding a user to a vicinity of a viewpoint | |
CN103905809B (zh) | 信息处理设备和记录介质 | |
KR102355135B1 (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP2019510321A (ja) | 仮想現実用パススルーカメラのユーザインターフェイス要素 | |
US20210375052A1 (en) | Information processor, information processing method, and program | |
KR20180112599A (ko) | 가상 공간의 캡쳐 방법 및 그 전자장치 | |
JPWO2018179644A1 (ja) | 情報処理装置、情報処理方法及び記録媒体 | |
US20120027305A1 (en) | Apparatus to provide guide for augmented reality object recognition and method thereof | |
KR20200060361A (ko) | 정보 처리 장치, 정보 처리 방법, 및 프로그램 | |
JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
JP2011203984A (ja) | ナビゲーション装置、ナビゲーション画像生成方法及びプログラム | |
WO2019155735A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN112581571A (zh) | 虚拟形象模型的控制方法、装置、电子设备及存储介质 | |
CN108346179A (zh) | Ar设备显示方法和装置 | |
WO2023155477A1 (zh) | 画作展示方法、装置、电子设备、存储介质和程序产品 | |
JP7293991B2 (ja) | サーバ、再生デバイス、コンテンツ再生システム、コンテンツ再生方法、及びプログラム | |
CN116324675A (zh) | 使用可穿戴设备识别可控设备的位置 | |
US20240073402A1 (en) | Multi-perspective augmented reality experience | |
US11907434B2 (en) | Information processing apparatus, information processing system, and information processing method | |
CN115867890A (zh) | 信息处理系统和信息处理终端 | |
Tsai | Geometry-aware augmented reality for remote collaboration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221027 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7427747 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |