JP7072706B1 - Display control device, display control method and display control program - Google Patents
Display control device, display control method and display control program Download PDFInfo
- Publication number
- JP7072706B1 JP7072706B1 JP2021103023A JP2021103023A JP7072706B1 JP 7072706 B1 JP7072706 B1 JP 7072706B1 JP 2021103023 A JP2021103023 A JP 2021103023A JP 2021103023 A JP2021103023 A JP 2021103023A JP 7072706 B1 JP7072706 B1 JP 7072706B1
- Authority
- JP
- Japan
- Prior art keywords
- display control
- plane
- control device
- display
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 230000008569 process Effects 0.000 claims description 10
- 238000010586 diagram Methods 0.000 abstract description 18
- 230000010365 information processing Effects 0.000 description 36
- 238000012545 processing Methods 0.000 description 23
- 238000004891 communication Methods 0.000 description 16
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ＡＲコンテンツにおけるユーザビリティの向上を図る。【解決手段】表示制御装置は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御部と、周囲に実在する実在オブジェクトが有する実在平面に対応する撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、を備え、表示制御部は、仮想オブジェクトに関する文字列を含む付加情報をオブジェクト平面に重畳して表示する、ことを特徴とする。【選択図】図１PROBLEM TO BE SOLVED: To improve usability in AR contents. SOLUTION: A display control device has a display control unit that superimposes and displays a virtual object in a multi-viewpoint image on a captured image obtained by capturing the surroundings, and a captured image corresponding to a real plane of a real object existing in the surroundings. A specific unit for specifying an object plane in the virtual space of the above is provided, and the display control unit is characterized in that additional information including a character string related to the virtual object is superimposed and displayed on the object plane. [Selection diagram] Fig. 1
Description
本発明は表示制御装置、表示制御方法および表示制御プログラムに関する。 The present invention relates to a display control device, a display control method, and a display control program.
近年、インターネットを介して提供されるコンテンツとして、拡張現実（ＡＲ；Augmented Reality）が普及しつつある。このようなＡＲにおいては、たとえば、仮想的な視点から見た３次元データを撮像画像に対して重畳表示する（例えば、特許文献１参照）。 In recent years, augmented reality (AR) is becoming widespread as content provided via the Internet. In such an AR, for example, three-dimensional data viewed from a virtual viewpoint is superimposed and displayed on the captured image (see, for example, Patent Document 1).
しかしながら、従来技術では、たとえば、ＡＲコンテンツにおけるユーザビリティの向上を図るうえで改善の余地があった。 However, in the prior art, for example, there is room for improvement in improving usability in AR content.
本発明は、上記に鑑みてなされたものであって、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a display control device, a display control method, and a display control program capable of improving usability in AR contents.
上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御部と、前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、を備え、前記表示制御部は、前記仮想オブジェクトに関する文字列を含む付加情報を前記オブジェクト平面に重畳して表示する、ことを特徴とする。 In order to solve the above-mentioned problems and achieve the object, the display control device according to the present invention includes a display control unit that superimposes and displays a virtual object in a multi-viewpoint image on an image captured by capturing the surroundings, and the surroundings. The display control unit includes a specific unit for specifying an object plane in the virtual space in the captured image corresponding to the actual plane of the actual object existing in the display control unit, and the display control unit provides additional information including a character string related to the virtual object. The feature is that it is superimposed on the object plane and displayed.
本発明によれば、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる。 According to the present invention, usability in AR contents can be improved.
以下に、本願に係る表示制御装置、表示制御方法および表示制御プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示制御装置、表示制御方法および表示制御プログラムが限定されるものではない。 Hereinafter, a mode for implementing the display control device, the display control method, and the display control program according to the present application (hereinafter, referred to as “embodiment”) will be described in detail with reference to the drawings. It should be noted that this embodiment does not limit the display control device, the display control method, and the display control program according to the present application.
［実施形態］
〔１．表示制御処理〕
まず、図１を用いて、実施形態に係る表示制御処理の一例について説明する。図１は、実施形態に係る表示制御処理の一例を示す図である。
[Embodiment]
[1. Display control process]
First, an example of the display control process according to the embodiment will be described with reference to FIG. FIG. 1 is a diagram showing an example of a display control process according to an embodiment.
図１に示すように、実施形態に係る表示システムＳは、たとえば、情報処理装置１０と、表示制御装置５０とを有する。情報処理装置１０は、各表示制御装置５０に対して、各種、ＡＲ（Augmented Reality）コンテンツを配信する情報処理装置である。情報処理装置１０は、サーバ装置やクラウドシステムにより実現される。
As shown in FIG. 1, the display system S according to the embodiment includes, for example, an
図１に示すように、情報処理装置１０は、多視点映像データベースを有しており、多視点映像データベースに登録された多視点映像をＡＲコンテンツ１００として提供する。ここで、多視点映像とは、それぞれ異なる視点から同時に撮影された静止画像若しくは動画像のデータをまとめたデータである。例えば、多視点映像を視聴する視聴者の視点位置が変わると、対応する視点位置から撮影された画像に切り替わって見える。
As shown in FIG. 1, the
表示制御装置５０は、たとえば、スマートフォンやＨＭＤ(Head Mount Display)などといった各種端末装置であり、情報処理装置１０から配信されるＡＲコンテンツ１００をユーザへ視聴可能に提供する。
The
たとえば、表示制御装置５０は、周囲を撮像した撮像画像Ｇに対して、情報処理装置１０から配信される多視点映像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を提供する。すなわち、表示制御装置５０は、いわゆるビデオシースルータイプのＡＲコンテンツ１００を提供する。なお、表示システムＳで提供するＡＲコンテンツ１００は、ビデオシースルータイプに限られず、光学シースルータイプであってもよい。
For example, the
ところで、たとえば、多視点映像のＡＲコンテンツを提供するにあたり、ＡＲコンテンツを視聴しているユーザが多視点映像中の仮想オブジェクトに関する感想やコメント等の投稿情報を投稿して、ＡＲコンテンツ中にリアルタイムに表示する技術が望まれている。 By the way, for example, in providing AR content of a multi-view video, a user viewing the AR content posts post information such as impressions and comments about a virtual object in the multi-view video in real time in the AR content. A display technique is desired.
具体的には、図１に示すように、たとえば、表示制御装置５０は、情報処理装置１０から多視点映像の配信を受け付ける（ステップＳ１）。たとえば、表示制御装置５０は、配信された多視点映像に基づき、いわゆるストリーミング再生を行うことで、ＡＲコンテンツ１００を表示する。この際、表示制御装置５０は、仮想オブジェクトを任意の視点位置からみた多視点画像に関する情報と、多視点映像中の仮想オブジェクトＯｖ毎に設定された仮想オブジェクトの位置や形状に関する情報等を多視点映像として受け付ける。
Specifically, as shown in FIG. 1, for example, the
続いて、表示制御装置５０は、Ｌｉｄａｒなどの測距センサの測距結果に基づき、周囲に実在する実在オブジェクトＯｒの形状や表示制御装置５０から実在オブジェクトＯｒまでの距離等を算出する。そして、表示制御装置５０から実在オブジェクトＯｒまでの距離等に基づき、実在オブジェクトＯｒが実際に存在する空間（以下、実空間）全体の大きさ、配置などといった実空間情報を推定する。続いて、表示制御装置５０は、実空間情報を推定すると、撮像画像から仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）を設定する。図１に示す例では、表示制御装置５０は、実在オブジェクトＯｒである床面に対応する撮像画像中のオブジェクト平面Ｖｐを表示面に設定する。続いて、表示制御装置５０は、表示面を設定すると、仮想オブジェクトＯｖを撮像画像Ｇに表示する（ステップＳ２）。
Subsequently, the
続いて、表示制御装置５０は、実在オブジェクトＯｒである床面に対応する撮像画像Ｇ中のオブジェクト平面Ｖｐを特定する（ステップＳ３）。表示制御装置５０は、オブジェクト平面Ｖｐを特定した場合に、ユーザに対してオブジェクト平面Ｖｐが特定されたことを視認可能に通知してもよい。例えば、表示制御装置５０は、オブジェクト平面Ｖｐを特定した場合に、特定されたオブジェクト平面Ｖｐに対応する領域を点滅表示させるなどして、ユーザに対してオブジェクト平面Ｖｐが特定されたことを通知してもよい。例えば、表示制御装置５０は、複数のオブジェクト平面Ｖｐが特定された場合は、複数のオブジェクト平面Ｖｐそれぞれを色違いで点滅表示させるなどして、ユーザに対して複数のオブジェクト平面Ｖｐが特定されたことを通知してもよい。
Subsequently, the
続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付ける(ステップＳ４)。例えば、表示制御装置５０は、指定操作の一例として、画面内のオブジェクト平面Ｖｐが表示されている領域のうち任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。例えば、表示制御装置５０は、複数の複数のオブジェクト平面Ｖｐのうちいずれか一つのオブジェクト平面Ｖｐが表示されている領域の任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。
Subsequently, the
続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザから仮想オブジェクトＯｖに関する投稿情報の投稿操作を受け付ける。例えば、表示制御装置５０は、オブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザが投稿情報を入力する入力フォームおよび投稿情報を投稿するために押下する送信ボタンを含むコンテンツを画面に表示してよい。そして、表示制御装置５０は、ユーザが入力フォームに文字列を入力した後に送信ボタンを押下する操作を受け付けた場合に、投稿情報の投稿を受け付けてよい。
Subsequently, the
なお、表示制御装置５０は、オブジェクト平面Ｖｐを指定する指定操作と投稿情報の投稿操作を別々に受け付けてもよい。例えば、表示制御装置５０は、投稿情報の投稿操作としてあらかじめ決められた任意の操作を受け付けた後に、オブジェクト平面Ｖｐを指定する指定操作を受け付けてもよい。例えば、表示制御装置５０は、投稿情報の投稿操作の一例として、ユーザが画面をタップする操作やフリックする操作、または表示制御装置５０を振る操作や傾ける操作を受け付けてよい。
The
続いて、表示制御装置５０は、ユーザによって指定されたオブジェクト平面Ｖｐに投稿情報を重畳して表示する(ステップＳ５)。より具体的には、表示制御装置５０は、サッカーの試合中にゴール脇に表示される「９０°システム広告」のように投稿情報に含まれる文字列を錯視的に表示する。例えば、表示制御装置５０は、ユーザの視点位置に応じて、投稿情報に含まれる文字列がオブジェクト平面Ｖｐに対して垂直に立って見えるように、投稿情報に含まれる文字列を歪ませた表示態様で投稿情報をオブジェクト平面Ｖｐに表示する。例えば、表示制御装置５０は、ユーザの視点位置から見ると立体に見えるように、投稿情報に含まれる文字列を斜めに引き伸ばされた形でオブジェクト平面Ｖｐに表示する。
Subsequently, the
図６は、実施形態に係る付加情報の表示態様の一例を示す図である。ここで、付加情報とは、仮想オブジェクトに関する文字列を含む情報のことを指す。例えば、付加情報には、文字列以外の情報（例えば、絵文字、顔文字および画像など）が含まれてよい。例えば、投稿情報は、付加情報の一例である。図６では、撮影画像中の仮想空間の床面が仮想オブジェクトＯｖの表示面であり、仮想オブジェクトＯｖの表示面とオブジェクト平面Ｖｐとが同一の面である例を示す。図６に示すように、表示制御装置５０は、錯視の効果によってユーザの視点位置から見ると立体に見えるように、オブジェクト平面Ｖｐに歪んだ文字である「ＴＥＸＴ」を表示する。すると、錯視の効果により、ユーザの視点位置から見たときに知覚される知覚像は、オブジェクト平面Ｖｐに対して「ＴＥＸＴ」の文字が垂直に立って見える。このように、表示制御装置５０は、ユーザの視点の位置から見たときに、錯視の効果によって、仮想オブジェクトＯｖから所定距離だけ離れた手前側の空間に「ＴＥＸＴ」の文字が表示されて見えるように制御することができる。したがって、表示制御装置５０は、付加情報によってＡＲコンテンツの視聴を妨げないようにすることができる。
FIG. 6 is a diagram showing an example of a display mode of additional information according to an embodiment. Here, the additional information refers to information including a character string related to a virtual object. For example, the additional information may include information other than the character string (for example, pictograms, emoticons, images, etc.). For example, posted information is an example of additional information. FIG. 6 shows an example in which the floor surface of the virtual space in the captured image is the display surface of the virtual object Ov, and the display surface of the virtual object Ov and the object plane Vp are the same surface. As shown in FIG. 6, the
なお、図６では、表示制御装置５０が仮想空間の床面であるオブジェクト平面Ｖｐに付加情報を表示する場合について説明したが、表示制御装置５０は仮想空間の天井（例えば、仮想オブジェクトの表示面と平行な平面）または壁面（例えば、仮想オブジェクトの表示面と垂直に交わる平面）に相当する平面に付加情報を表示してもよい。例えば、表示制御装置５０は、錯視の効果によってユーザの視点位置から見ると立体に見えるように、仮想空間の天井または壁面に相当する平面に歪んだ文字である「ＴＥＸＴ」を表示してもよい。このように、表示制御部は、仮想オブジェクトの表示面とオブジェクト平面Ｖｐとの位置関係に応じた表示態様で付加情報を表示する。
Although FIG. 6 has described the case where the
〔２．情報処理装置の構成例〕
次に、図２を用いて、情報処理装置１０の構成例について説明する。図２は、情報処理装置１０の構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。
[2. Configuration example of information processing device]
Next, a configuration example of the
通信部２０は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。 The communication unit 20 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 20 provides a network such as various wireless communication networks such as 4G (Generation), 5G, LTE (Long Term Evolution), Wifi (registered trademark) or wireless LAN (Local Area Network) or various wired communication networks. Information is sent and received to and from an external device via the device.
記憶部３０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、多視点映像データベース３１を有する。 The storage unit 30 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. Further, the storage unit 30 has a multi-viewpoint video database 31.
多視点映像データベース３１は、多視点映像を記憶するデータベースである。図３は、多視点映像データベース３１に格納された情報の一例を示す図である。図３に示すように、多視点映像データベース３１は、「映像ＩＤ」、「多視点映像」、「サイズ情報」、「音声」、「音源座標」などといった項目の情報を互いに対応付けて記憶する。 The multi-viewpoint video database 31 is a database for storing multi-viewpoint video. FIG. 3 is a diagram showing an example of information stored in the multi-viewpoint video database 31. As shown in FIG. 3, the multi-viewpoint video database 31 stores information of items such as "video ID", "multi-viewpoint video", "size information", "audio", and "sound source coordinates" in association with each other. ..
「映像ＩＤ」は、各多視点映像を識別するための識別子であり、「多視点映像」は、それぞれ異なる視点から同時に撮影された静止画像若しくは動画像のデータをまとめた情報である。具体的には、多視点映像データベース３１に保存される多視点映像は、実在する被写体(アーティストである人物など)の周りに複数台の撮影機材を設置し撮影された映像である。なお、多視点映像データベース３１に保存される多視点映像は、３次元モデルを複数の所定の視点からレンダリングした映像であってもよい。 The "video ID" is an identifier for identifying each multi-viewpoint video, and the "multi-viewpoint video" is information that summarizes the data of still images or moving images taken simultaneously from different viewpoints. Specifically, the multi-viewpoint video stored in the multi-viewpoint video database 31 is a video shot by installing a plurality of shooting equipment around an existing subject (such as a person who is an artist). The multi-viewpoint video stored in the multi-viewpoint video database 31 may be a video obtained by rendering a three-dimensional model from a plurality of predetermined viewpoints.
「サイズ情報」は、多視点映像のサイズに関する情報を示し、たとえば、多視点映像に含まれる各仮想オブジェクトＯｖの実寸大の大きさに関する情報である。「音声」は、多視点映像とともに流す音声データを示し、「音源座標」は、多視点映像における音声データの音源の座標に関する情報である。 The "size information" indicates information regarding the size of the multi-viewpoint video, and is, for example, information regarding the actual size of each virtual object Ov included in the multi-viewpoint video. "Audio" indicates audio data to be played together with the multi-viewpoint video, and "sound source coordinates" is information regarding the coordinates of the sound source of the audio data in the multi-viewpoint video.
ＡＲコンテンツ１００として、アーティストの歌唱映像を提供する場合において、音声はアーティストが歌っている音源であり、音源座標は、アーティストの頭部(たとえば、口元)となる。
When the artist's singing video is provided as the
図２の説明に戻り、制御部４０について説明する。制御部４０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
Returning to the description of FIG. 2, the control unit 40 will be described. The control unit 40 is, for example, a controller, and is stored in a storage device inside the
図２に示すように、制御部４０は、選択部４１と、配信部４２とを備える。選択部４１は、各表示制御装置５０から受け取った多視点映像の配信要求に基づき、対応する多視点映像を多視点映像データベース３１から選択する。
As shown in FIG. 2, the control unit 40 includes a selection unit 41 and a distribution unit 42. The selection unit 41 selects the corresponding multi-viewpoint video from the multi-viewpoint video database 31 based on the distribution request for the multi-viewpoint video received from each
たとえば、配信要求には、上記の映像ＩＤに関する情報が含まれており、選択部４１は、配信要求に含まれる映像ＩＤに合致する多視点映像を多視点映像データベース３１から選択する。 For example, the distribution request includes information about the above-mentioned video ID, and the selection unit 41 selects a multi-viewpoint video matching the video ID included in the distribution request from the multi-viewpoint video database 31.
また、たとえば、多視点映像の配信中において、選択部４１は、ＡＲコンテンツ１００に対するユーザの注視点情報を各表示制御装置５０から受け取り、注視点情報に基づき、多視点映像に対する視点切替処理を行う。
Further, for example, during distribution of the multi-viewpoint video, the selection unit 41 receives the user's gazing point information for the
たとえば、注視点情報は、実空間における撮像画像Ｇの撮像範囲や撮像向きに関する情報であり、ＡＲコンテンツ１００に表示される実空間に関する情報である。すなわち、ＡＲコンテンツ１００におけるユーザの注視点に関する情報である。たとえば、ユーザが表示制御装置５０（たとえば、後述する外向きカメラ６１）の位置を変化させた場合に注視点が変化し、変化した向きや変化量などに関する情報が注視点情報となる。
For example, the gazing point information is information on the imaging range and imaging direction of the captured image G in the real space, and is information on the real space displayed in the
選択部４１は、注視点情報に基づき、多視点映像に対する視点位置を選択することで、視点切替処理を行う。これにより、選択した視点位置から見た仮想オブジェクトＯｖの画像が生成される。その後、選択部４１は、注視点情報の変化に追従させて視点位置を随時切り替える処理を行う。 The selection unit 41 performs the viewpoint switching process by selecting the viewpoint position with respect to the multi-view image based on the gazing point information. As a result, an image of the virtual object Ov viewed from the selected viewpoint position is generated. After that, the selection unit 41 performs a process of switching the viewpoint position at any time according to the change of the gazing point information.
配信部４２は、選択部４１によって選択された多視点映像を各表示制御装置５０に対して配信する。なお、配信部４２が配信する多視点映像は、時間的に連続する多視点画像であり、配信部４２は、注視点情報に基づいて設定された視点位置から見た多視点画像を連続的に配信する。また、配信部４２は、多視点映像とともに音声等に関する情報をあわせて表示制御装置５０へ配信する。
The distribution unit 42 distributes the multi-viewpoint video selected by the selection unit 41 to each
〔３．表示制御装置の構成例〕
次に、図４を用いて、実施形態に係る表示制御装置５０の構成例について説明する。図４は、表示制御装置５０の構成例を示すブロック図である。図４に示すように、表示制御装置５０は、通信部６０、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４、音声出力部６５、記憶部７０および制御部８０を備える。なお、各種センサは、表示制御装置５０以外の他の装置に備えられたセンサであってもよい。
[3. Display control device configuration example]
Next, a configuration example of the
通信部６０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部６０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。 The communication unit 60 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 60 connects various wireless communication networks such as 4G (Generation), 5G, LTE (Long Term Evolution), Wifi (registered trademark) or wireless LAN (Local Area Network), or various wired communication networks. Information is sent and received to and from an external device via the device.
外向きカメラ６１は、表示制御装置５０の外側(たとえば、表示部６４の表示面とは逆側)を撮像するカメラであり、実空間を撮像する。たとえば、外向きカメラ６１によって撮像された撮像画像は、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像として用いられる。内向きカメラ６２は、表示制御装置５０の内側(たとえば、表示部６４の表示面側)を撮像するカメラであり、ＡＲコンテンツ１００を視聴するユーザを撮像する。
The outward-facing
センサ群６３は、例えば、表示制御装置５０の姿勢や、実空間に存在する実在オブジェクトＯｒまでの距離を検出するための各種センサによって構成される。たとえば、センサ群６３には、ジャイロセンサ、Ｌｉｄａｒなどが含まれる。
The
例えば、センサ群６３が備えるＬｉｄａｒは、表示制御装置５０から実在オブジェクトＯｒまでの距離や実在オブジェクトＯｒの形状を算出する。
For example, the Lidar included in the
表示部６４は、たとえば、タッチパネルディスプレイであり、ＡＲコンテンツ１００等の各種映像を表示するとともに、各種ユーザ操作を受け付ける。音声出力部６５は、たとえば、サラウンドスピーカあるいはステレオスピーカであり、ＡＲコンテンツ１００とともに流れる各種音声を出力する。
The
記憶部７０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部７０は、マップ情報記憶部７１および実在オブジェクト情報記憶部７２を有する。
The
マップ情報記憶部７１は、実空間のマップ情報を記憶する。たとえば、マップ情報とは、表示制御装置５０の周辺環境を示す環境地図であり、後述する自己位置推定部８１や実在オブジェクト推定部８２による処理結果に基づいて作成される。
The map
実在オブジェクト情報記憶部７２は、実在オブジェクトＯｒに関する情報を記憶する。図５は、実在オブジェクト情報記憶部７２に記憶する情報の一例を示す図である。図５に示すように、実在オブジェクト情報記憶部７２は、「オブジェクトＩＤ」、「特徴量」、「オブジェクト情報」などといった項目の情報を互いに対応付けて記憶する。 The real object information storage unit 72 stores information about the real object Or. FIG. 5 is a diagram showing an example of information stored in the real object information storage unit 72. As shown in FIG. 5, the actual object information storage unit 72 stores information of items such as “object ID”, “feature amount”, and “object information” in association with each other.
「オブジェクトＩＤ」は、実在オブジェクトＯｒを識別するための識別子であり、「特徴量」は、実在オブジェクトＯｒの特徴量を示す。ここでの特徴量は、実在オブジェクトＯｒの外見の特徴を示す。「オブジェクト情報」は、実在オブジェクトＯｒの形状、表示制御装置５０から実在オブジェクトＯｒまでの距離、および実空間における実在オブジェクトＯｒの位置を示す位置座標に関する情報を示す。
The "object ID" is an identifier for identifying the real object Or, and the "feature amount" indicates the feature amount of the real object Or. The feature amount here indicates the appearance feature of the real object Or. The "object information" indicates information regarding the shape of the real object Or, the distance from the
図４の説明に戻り、制御部８０について説明する。制御部８０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。
Returning to the description of FIG. 4, the
図４に示すように、制御部８０は、自己位置推定部８１と、実在オブジェクト推定部８２と、表示面設定部８３と、表示制御部８４と、音声制御部８５と、特定部８６と、受付部８７を備える。
As shown in FIG. 4, the
自己位置推定部８１は、外向きカメラ６１やセンサ群６３から入力される各種情報に基づき、Ｓｌａｍ（Simultaneous Localization and Mapping）等の技術を用いて実空間の環境地図を作成するとともに、環境地図内における表示制御装置５０の座標(たとえば、ワールド座標)や姿勢を推定する。
The self-
また、自己位置推定部８１は、作成した環境地図に関する情報をマップ情報としてマップ情報記憶部７１に格納するとともに、推定した位置や姿勢に関する情報、すなわち、上記の注視点情報を表示面設定部８３へ渡す。また、ＡＲコンテンツ１００の提供中においては、注視点情報は、情報処理装置１０へも送信される。
Further, the self-
実在オブジェクト推定部８２は、周囲に実在する実在オブジェクトＯｒに関するオブジェクト情報を推定する。たとえば、実在オブジェクト推定部８２は、外向きカメラ６１によって撮影された撮像画像から実在オブジェクトＯｒを認識するとともに、実在オブジェクトの種別を推定する。
The real object estimation unit 82 estimates the object information about the real objects Or that exist in the surroundings. For example, the real object estimation unit 82 recognizes the real object Or from the captured image taken by the
例えば、実在オブジェクト推定部８２は、実在オブジェクト情報記憶部７２に記憶された各実在オブジェクトＯｒの特徴量と、撮像画像中に含まれる対象物の特徴量とを比較することで、双方の特徴量の一致率から周囲の実在オブジェクトＯｒの種別を認識する。 For example, the real object estimation unit 82 compares the feature amount of each real object Or stored in the real object information storage unit 72 with the feature amount of the object included in the captured image, and thereby both feature amounts. The type of the surrounding real object Or is recognized from the matching rate of.
また、実在オブジェクト推定部８２は、Ｌｉｄａｒなどのセンサ群６３の検出結果に基づき、実在オブジェクトＯｒの形状、表示制御装置５０から実在オブジェクトＯｒまでの距離、および実空間における実在オブジェクトＯｒの位置を示す位置座標を推定する。
Further, the real object estimation unit 82 indicates the shape of the real object Or, the distance from the
図７は、撮影画像中の仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）の一例を示す模式図である。図７の例では、２つの仮想オブジェクトＯｖ１、２を表示する場合について説明する。 FIG. 7 is a schematic diagram showing an example of a virtual display surface (hereinafter, simply a display surface) that displays a virtual object Ov in a captured image. In the example of FIG. 7, a case where two virtual objects Ov1 and 2 are displayed will be described.
表示面設定部８３は、仮想オブジェクトＯｖ１、２を共に内包可能な空間を仮想オブジェクトＯｖ１、２を表示する表示領域Ａとして設定し、表示領域Ａの底面を表示面Ａｐとして設定する。以下では、撮影画像中の仮想オブジェクトを内包可能な仮想的な空間のことを「仮想空間」と記載する場合がある。例えば、表示領域Ａは、仮想空間に設定された空間である。 The display surface setting unit 83 sets a space in which the virtual objects Ov1 and 2 can be included as the display area A for displaying the virtual objects Ov1 and 2, and sets the bottom surface of the display area A as the display surface Ap. In the following, a virtual space that can contain a virtual object in a captured image may be referred to as a “virtual space”. For example, the display area A is a space set in the virtual space.
言い換えれば、表示面設定部８３は、仮想オブジェクトＯｖ１、２が内包できない空間を表示領域Ａとして設定しない。これにより、たとえば、ＡＲコンテンツ１００において、仮想オブジェクトＯｖが、実空間の壁や天井を突き抜けて表示される誤表示をあらかじめ回避することができる。
In other words, the display surface setting unit 83 does not set the space that cannot be included in the virtual objects Ov1 and 2 as the display area A. Thereby, for example, in the
その後、表示面設定部８３は、設定した表示領域Ａおよび表示面Ａｐの座標情報をマップ情報記憶部７１に書き込む。なお、たとえば、表示面Ａｐは、実空間の床であるが、仮想オブジェクトＯｖの種類に応じて、ユーザの体の一部（たとえば手のひらなど）であってもよい。また、表示面Ａｐは、実空間の家具（例えば、机や椅子など）の表面であってもよい。また、表示領域Ａ自体を実際の床から浮遊させることにしてもよい。また、表示面設定部８３は、仮想オブジェクトＯｖ１、２に対して、それぞれ独立に表示領域Ａおよび表示面Ａｐを設定することにしてもよい。また、たとえば、仮想オブジェクトＯｖ自体がＡＲコンテンツ１００内を移動したりすることも考えられるので、表示面設定部８３は、仮想オブジェクトＯｖの移動範囲を包含するように表示領域Ａや表示面Ａｐを設定するようにしてもよい。
After that, the display surface setting unit 83 writes the coordinate information of the set display area A and the display surface Ap in the map
図４の説明に戻り、表示制御部８４について説明する。表示制御部８４は、表示面設定部８３によって設定された表示面Ａｐに仮想オブジェクトＯｖを表示することで、仮想オブジェクトＯｖを撮像画像Ｇに重畳して表示する。まず、表示制御部８４は、情報処理装置１０に対して多視点映像の配信要求を行い、情報処理装置１０から多視点映像の取得を開始する。
Returning to the description of FIG. 4, the display control unit 84 will be described. The display control unit 84 displays the virtual object Ov on the display surface Ap set by the display surface setting unit 83, thereby superimposing the virtual object Ov on the captured image G and displaying the virtual object Ov. First, the display control unit 84 requests the
音声制御部８５は、撮像画像Ｇの撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する。図８は、仮想オブジェクトＯｖと音声発生源との関係性を示す模式図である。図８には、３軸の直交座標を示し、外向きカメラ６１と仮想オブジェクトＯｖの位置関係を示すワールド座標系に対応する。
The audio control unit 85 controls audio output based on the positional relationship between the imaging position of the captured image G and the audio source set in the multi-viewpoint image. FIG. 8 is a schematic diagram showing the relationship between the virtual object Ov and the voice source. FIG. 8 shows the Cartesian coordinates of the three axes and corresponds to the world coordinate system showing the positional relationship between the
図８に示すように、たとえば、仮想オブジェクトＯｖの頭部に音声発生源Ｓｓが設定される。すなわち、図８に示す例では、音声制御部８５は、仮想オブジェクトＯｖから音声が発生されるように音声出力を制御する。 As shown in FIG. 8, for example, the voice source Ss is set at the head of the virtual object Ov. That is, in the example shown in FIG. 8, the voice control unit 85 controls the voice output so that the voice is generated from the virtual object Ov.
特定部８６は、Ｌｉｄａｒなどのセンサ群６３の検出結果に基づいて、実在オブジェクトＯｒが有する実在平面を特定する。例えば、特定部８６は、実在オブジェクトＯｒである床が有する床面を特定する。また、例えば、特定部８６は、実在オブジェクトＯｒである天井が有する天井面または壁が有する壁面を特定する。また、例えば、特定部８６は、実在平面の一例として、実在オブジェクトＯｒであるユーザの体の一部（たとえば手のひらなど）または実在オブジェクトＯｒである家具（例えば、机や椅子など）の表面を特定してよい。続いて、特定部８６は、特定した実在平面に対応する撮像画像Ｇ中の仮想空間におけるオブジェクト平面Ｖｐを特定する。より具体的には、特定部８６は、特定した実在平面に対応する仮想空間のオブジェクト平面Ｖｐの位置を特定する。例えば、特定部８６は、実空間の床面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示面設定部８３が設定した表示面Ａｐをオブジェクト平面Ｖｐとして特定する。また、例えば、特定部８６は、実空間の天井面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示面設定部８３が設定した表示領域Ａにおける天井に対応する平面（表示面Ａｐと平行な平面）をオブジェクト平面Ｖｐとして特定する。また、例えば、特定部８６は、実空間の壁面に対応する仮想空間のオブジェクト平面Ｖｐとして、表示領域Ａにおける壁面に対応する平面（表示面Ａｐと直交する平面）をオブジェクト平面Ｖｐとして特定する。
The identification unit 86 identifies the real plane of the real object Or based on the detection result of the
また、特定部８６は、実在平面がユーザの体の一部（たとえば手のひらなど）または家具（例えば、机や椅子など）の表面である場合には、ユーザの体の一部（たとえば手のひらなど）または家具（例えば、机や椅子など）の表面に対応する仮想空間の平面を特定する。例えば、特定部８６は、表示面設定部８３がマップ情報記憶部７１に書き込んだ仮想空間の位置座標と実在オブジェクト推定部８２が推定した実在オブジェクトＯｒの平面の位置座標とに基づいて、仮想空間におけるオブジェクト平面Ｖｐの位置を特定する。
Further, the specific portion 86 is a part of the user's body (for example, the palm) when the actual plane is a part of the user's body (for example, the palm) or the surface of furniture (for example, a desk or a chair). Or identify the plane of the virtual space that corresponds to the surface of the furniture (eg, desk, chair, etc.). For example, the specific unit 86 is a virtual space based on the position coordinates of the virtual space written by the display surface setting unit 83 in the map
受付部８７は、特定部８６が特定した仮想空間におけるオブジェクト平面Ｖｐが複数存在する場合には、複数のオブジェクト平面Ｖｐの中からオブジェクト平面Ｖｐを指定する指定操作をユーザから受け付ける。例えば、受付部８７は、指定操作の一例として、画面内のオブジェクト平面Ｖｐが表示されている領域のうち任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。例えば、受付部８７は、複数の複数のオブジェクト平面Ｖｐのうちいずれか一つのオブジェクト平面Ｖｐが表示されている領域の任意の場所をユーザが指でタップする操作やフリックする操作を受け付けてよい。 When there are a plurality of object planes Vp in the virtual space specified by the specific unit 86, the reception unit 87 receives from the user a designation operation for designating the object plane Vp from among the plurality of object planes Vp. For example, the reception unit 87 may accept an operation in which the user taps or flicks an arbitrary place in the area where the object plane Vp is displayed on the screen as an example of the designated operation. For example, the reception unit 87 may accept an operation in which the user taps or flicks an arbitrary place in the area where any one of the plurality of object planes Vp is displayed.
続いて、受付部８７は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザから仮想オブジェクトＯｖに関する投稿情報の投稿操作を受け付ける。例えば、受付部８７は、オブジェクト平面Ｖｐを指定する指定操作を受け付けた場合に、ユーザが投稿情報を入力する入力フォームおよび投稿情報を投稿するために押下する送信ボタンを含むコンテンツを画面に表示してよい。そして、受付部８７は、ユーザが入力フォームに文字列を入力した後に送信ボタンを押下する操作を受け付けた場合に、投稿情報の投稿を受け付けてよい。 Subsequently, when the reception unit 87 receives the designation operation for designating the object plane Vp from the user, the reception unit 87 accepts the posting operation of the posting information regarding the virtual object Ov from the user. For example, the reception unit 87 displays on the screen content including an input form for inputting post information by the user and a send button to be pressed to post the posted information when the designated operation for specifying the object plane Vp is received. It's okay. Then, the reception unit 87 may accept the posting of the posting information when the user receives the operation of pressing the send button after inputting the character string in the input form.
表示制御部８４は、受付部８７が受け付けた指定操作によって指定されたオブジェクト平面Ｖｐに投稿情報を重畳して表示する。図８に示す例では、受付部８７は、ユーザから実空間の床面に対応するオブジェクト平面Ｖｐの指定を受け付ける。表示制御部８４は、受付部８７が受け付けた指定操作によって指定されたオブジェクト平面Ｖｐの位置座標とユーザの視点の位置座標との位置関係に応じた表示態様で付加情報を表示する。例えば、表示制御部８４は、オブジェクト平面Ｖｐの位置座標とユーザの視点の位置を示す位置情報に基づいて、ユーザの視点の位置から投稿情報に含まれる文字列がオブジェクト平面Ｖｐに対して垂直に立って見えるように、投稿情報に含まれる文字列を歪ませた表示態様で投稿情報をオブジェクト平面Ｖｐに表示する。 The display control unit 84 superimposes and displays the posted information on the object plane Vp designated by the designated operation received by the reception unit 87. In the example shown in FIG. 8, the reception unit 87 receives the designation of the object plane Vp corresponding to the floor surface in the real space from the user. The display control unit 84 displays additional information in a display mode according to the positional relationship between the position coordinates of the object plane Vp designated by the designated operation received by the reception unit 87 and the position coordinates of the user's viewpoint. For example, in the display control unit 84, the character string included in the posted information is perpendicular to the object plane Vp from the position of the user's viewpoint based on the position coordinates of the object plane Vp and the position information indicating the position of the user's viewpoint. The posted information is displayed on the object plane Vp in a display mode in which the character string included in the posted information is distorted so that it can be seen standing.
〔４．処理手順〕
次に、図９および図１０を用いて、実施形態に係る情報処理装置１０および表示制御装置５０が実行する処理手順について説明する。まず、図９を用いて、情報処理装置１０が実行する処理手順について説明する。図９は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報処理装置１０の制御部４０によって配信要求の取得毎に繰り返し実行される。
[4. Processing procedure]
Next, the processing procedure executed by the
図９に示すように、まず、情報処理装置１０は、配信要求を受け付ける(ステップＳ１０１)。続いて、情報処理装置１０は、受け付けた配信要求に基づき、多視点映像を配信し(ステップＳ１０２)、処理を終了する。
As shown in FIG. 9, first, the
なお、多視点映像の配信時において、情報処理装置１０は、注視点情報に基づき、視点位置を変更した仮想オブジェクトＯｖの多視点画像を随時生成し、生成した多視点画像を配信する。
At the time of distribution of the multi-viewpoint video, the
次に、図１０を用いて、表示制御装置５０が実行する処理手順について説明する。図１０は、表示制御装置５０が実行する処理手順の一例を示すフローチャートである。なお、以下に示す処理手順は、ＡＲコンテンツ１００の提供毎に表示制御装置５０の制御部８０によって実行される。
Next, the processing procedure executed by the
図１０に示すように、まず、表示制御装置５０は、例えば、周囲を撮像した撮像画像等に基づき、周囲に実在する実在オブジェクトＯｒの実在オブジェクトの位置や大きさを推定する。続いて、表示制御装置５０は、推定した実在オブジェクトの位置や大きさに基づき、仮想オブジェクトＯｖの表示領域Ａを設定する(ステップＳ２０１)。
As shown in FIG. 10, first, the
その後、表示制御装置５０は、情報処理装置１０から多視点映像を取得し(ステップＳ２０２)、取得した多視点映像を撮像画像Ｇに重畳表示したＡＲコンテンツ１００を表示する(ステップＳ２０３)。
After that, the
その後、表示制御装置５０は、周囲に実在する実在オブジェクトＯｒが有する実在平面に対応する撮像画像中のオブジェクト平面Ｖｐを特定する(ステップＳ２０４)。続いて、表示制御装置５０は、ユーザからオブジェクト平面Ｖｐを指定する指定操作を受け付ける(ステップＳ２０５)。続いて、表示制御装置５０は、ユーザによって指定されたオブジェクト平面Ｖｐに付加情報を重畳して表示する(ステップＳ２０５)。
After that, the
〔５．変形例〕
上述した実施形態では、表示制御装置５０が仮想オブジェクトについて利用者が投稿した投稿情報に対応する付加情報を表示する場合について説明したが、表示制御装置５０が表示する付加情報は投稿情報に限られない。具体的には、表示制御装置５０は、仮想オブジェクトである人物の音声データに含まれる歌詞やセリフなどの言語に対応する文字列を含む付加情報を表示してもよい。
[5. Modification example]
In the above-described embodiment, the case where the
より具体的には、受付部８７は、ユーザから仮想オブジェクトに対応する人物の歌に含まれる歌詞や発話に含まれるセリフに対応する文字列（以下、歌詞等の文字列ともいう）を表示するよう指示する表示操作を受け付ける。例えば、受付部８７は、ユーザから、歌詞等の文字列の表示を指示する表示操作としてあらかじめ決められた所定の操作を受け付ける。例えば、受付部８７は、表示操作の一例として、利用者からオブジェクト平面を指定する指定操作を受け付ける。 More specifically, the reception unit 87 displays a character string (hereinafter, also referred to as a character string such as lyrics) corresponding to the lyrics included in the song of the person corresponding to the virtual object and the dialogue included in the utterance from the user. Accepts display operations that instruct. For example, the reception unit 87 receives a predetermined operation predetermined as a display operation for instructing the display of a character string such as lyrics from the user. For example, the reception unit 87 receives a designation operation for designating an object plane from a user as an example of a display operation.
情報処理装置１０は、映像ＩＤごとに、仮想オブジェクトの多視点映像と、仮想オブジェクトの歌詞等の文字列と、動画像の再生時間とを対応付けてあらかじめ多視点映像データベース３１に記憶する。表示制御部８４は、受付部８７が表示操作を受け付けると、情報処理装置１０に対して歌詞等の文字列を含む文字情報の配信を要求する。情報処理装置１０は、文字情報の配信要求を受け付けると、表示制御装置５０に対して文字情報を配信する。表示制御部８４は、情報処理装置１０から文字情報を取得すると、利用者によって指定されたオブジェクト平面に文字情報を重畳して表示する。
The
また、表示制御部８４は、動画像の再生時間に応じて付加情報の表示態様を変更する。例えば、表示制御部８４は、情報処理装置１０に対して、動画像の再生時間に応じた歌詞等の文字列を含む文字情報の配信を要求する。情報処理装置１０は、動画像の再生時間に応じた歌詞等の文字列を含む文字情報を表示制御装置５０に対して配信する。表示制御部８４は、情報処理装置１０から取得した動画像の再生時間に応じた文字情報をオブジェクト平面に重畳して表示する。
Further, the display control unit 84 changes the display mode of the additional information according to the reproduction time of the moving image. For example, the display control unit 84 requests the
なお、受付部８７は、オブジェクト平面を指定する指定操作と歌詞等の文字列を表示するよう指示する表示操作を別々に受け付けてもよい。例えば、受付部８７は、オブジェクト平面を指定する指定操作を受け付けた後に、歌詞等の文字列を表示するよう指示する表示操作を受け付けてよい。あるいは、受付部８７は、歌詞等の文字列を表示するよう指示する表示操作を受け付けた後に、オブジェクト平面を指定する指定操作を受け付けてもよい。例えば、受付部８７は、表示操作の一例として、画面をタップする操作やフリックする操作、または表示制御装置５０を振る操作や傾ける操作を受け付けてよい。
The reception unit 87 may separately accept a designation operation for designating the object plane and a display operation for instructing the display of a character string such as lyrics. For example, the reception unit 87 may accept a display operation instructing to display a character string such as lyrics after receiving a designation operation for designating an object plane. Alternatively, the reception unit 87 may accept a designation operation for designating an object plane after receiving a display operation instructing the display of a character string such as lyrics. For example, the reception unit 87 may accept an operation of tapping or flicking the screen, or an operation of shaking or tilting the
〔６．効果〕
上述してきたように、本願に係る表示制御装置５０は、表示制御部８４と特定部８６を備える。表示制御部８４は、周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する。特定部８６は、周囲に実在する実在オブジェクトが有する実在平面に対応する撮像画像中の仮想空間におけるオブジェクト平面を特定する。表示制御部８４は、仮想オブジェクトに関する文字列を含む付加情報をオブジェクト平面に重畳して表示する。
[6. effect〕
As described above, the
これにより、表示制御装置５０は、例えば、ＡＲコンテンツを視聴中の利用者が投稿した投稿情報を重畳したＡＲコンテンツを視聴することを可能にする。また、表示制御装置５０は、例えば、ＡＲコンテンツを視聴中の利用者が仮想コンテンツである人物の音声データに含まれる歌詞やセリフを文字によって視認可能にすることができる。したがって、表示制御装置５０は、ＡＲコンテンツにおけるユーザビリティの向上を図ることができる。
This makes it possible for the
また、表示制御部８４は、オブジェクト平面に対する利用者の視点の位置に応じた表示態様で付加情報を表示する。また、表示制御部８４は、付加情報に含まれる文字列がオブジェクト平面に対して垂直に立って見えるように、付加情報に含まれる文字列を歪ませた表示態様で付加情報を表示する。 Further, the display control unit 84 displays additional information in a display mode according to the position of the user's viewpoint with respect to the object plane. Further, the display control unit 84 displays the additional information in a distorted display mode so that the character string included in the additional information can be seen standing perpendicular to the object plane.
これにより、表示制御装置５０は、利用者の視点の位置に関わらず、付加情報に含まれる文字列を適切に視認することを可能にする。
This makes it possible for the
また、表示制御部８４は、仮想オブジェクトの表示面とオブジェクト平面との位置関係に応じた表示態様で付加情報を表示する。例えば、表示制御部８４は、仮想オブジェクトの表示面、仮想オブジェクトの表示面と平行な平面、または仮想オブジェクトの表示面と直交する平面であるオブジェクト平面に付加情報を表示する。 Further, the display control unit 84 displays additional information in a display mode according to the positional relationship between the display surface of the virtual object and the object plane. For example, the display control unit 84 displays additional information on the display plane of the virtual object, the plane parallel to the display plane of the virtual object, or the plane orthogonal to the display plane of the virtual object.
このように、表示制御装置５０は、仮想オブジェクトの表示面に付加情報を表示することで、例えば、利用者の視点の位置から見たときに、付加情報に含まれる文字が仮想オブジェクトの表示面に対して垂直に立って見えるように制御することができる。これにより、表示制御装置５０は、利用者の視点の位置から見たときに、仮想オブジェクトＯｖから所定距離だけ離れた手前側の空間に付加情報が表示されて見えるように制御することができる。したがって、表示制御装置５０は、付加情報によってＡＲコンテンツの視聴を妨げないようにすることができる。
In this way, the
また、表示制御部８４は、仮想オブジェクトが動画像である場合には、動画像の再生時間に応じて付加情報の表示態様を変更する。 Further, when the virtual object is a moving image, the display control unit 84 changes the display mode of the additional information according to the reproduction time of the moving image.
これにより、表示制御装置５０は、例えば、仮想オブジェクトである人物の歌の歌詞やセリフなどを動画像の動きと合わせたタイミングで視聴可能とすることができる。
As a result, the
また、表示制御装置５０は、受付部８７をさらに備える。受付部８７は、利用者からオブジェクト平面を指定する指定操作を受け付ける。表示制御部８４は、付加情報を、指定操作によって指定されたオブジェクト平面に重畳して表示する。
Further, the
これにより、表示制御装置５０は、利用者が所望する面に付加情報を表示させることができる。
As a result, the
また、付加情報は、仮想オブジェクトについて利用者が投稿した投稿情報または仮想オブジェクトである人物の音声データに含まれる言語情報である。 Further, the additional information is linguistic information included in the posted information posted by the user about the virtual object or the voice data of the person who is the virtual object.
これにより、表示制御装置５０は、ＡＲコンテンツを視聴中の利用者が投稿した投稿情報または仮想オブジェクトである人物の音声データに含まれる言語情報を視認可能にすることができる。
Thereby, the
〔７．ハードウェア構成〕
また、上述してきた実施形態に係る表示制御装置５０は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、表示制御装置５０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を備える。
[7. Hardware configuration]
Further, the
ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
The
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
The
ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。なお、ＣＰＵ１１００の代わりに、ＭＰＵ（Micro Processing Unit）、また多大な計算パワーを必要とすることからＧＰＵ（Graphics Processing Unit）を用いてもよい。
The
メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
The
例えば、コンピュータ１０００が表示制御装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部８０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
For example, when the
以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。 Although some of the embodiments of the present application have been described in detail with reference to the drawings, these are examples, and various modifications are made based on the knowledge of those skilled in the art, including the embodiments described in the disclosure column of the invention. It is possible to carry out the present invention in other modified forms.
〔８．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
[8. others〕
Further, among the processes described in the above-described embodiments and modifications, all or part of the processes described as being automatically performed can be manually performed, or are described as being manually performed. It is also possible to automatically perform all or part of the performed processing by a known method. In addition, information including processing procedures, specific names, various data and parameters shown in the above documents and drawings can be arbitrarily changed unless otherwise specified. For example, the various information shown in each figure is not limited to the information shown in the figure.
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。 Further, each component of each of the illustrated devices is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of them may be functionally or physically distributed / physically in any unit according to various loads and usage conditions. Can be integrated and configured.
また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 Further, the above-described embodiments and modifications can be appropriately combined as long as the processing contents do not contradict each other.
また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、特定部は、特定手段や特定回路に読み替えることができる。 Further, the above-mentioned "section, module, unit" can be read as "means" or "circuit". For example, the specific unit can be read as a specific means or a specific circuit.
５０ 表示制御装置
６０ 通信部
６１ 外向きカメラ
６２ 内向きカメラ
６３ センサ群
６４ 表示部
６５ 音声出力部
７０ 記憶部
７１ マップ情報記憶部
７２ 実在オブジェクト情報記憶部
８０ 制御部
８１ 自己位置推定部
８２ 実在オブジェクト推定部
８３ 表示面設定部
８４ 表示制御部
８５ 音声制御部
８６ 特定部
８７ 受付部
50 Display control device 60
Claims (9)
前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定部と、
利用者から前記オブジェクト平面を指定する指定操作を受け付ける受付部と、
を備え、
前記表示制御部は、
前記仮想オブジェクトに関する文字列を含む付加情報を、前記指定操作によって指定された前記オブジェクト平面に重畳して表示する、
ことを特徴とする表示制御装置。 A display control unit that superimposes and displays virtual objects in a multi-viewpoint image on an captured image that captures the surroundings,
A specific part that specifies an object plane in the virtual space in the captured image corresponding to the real plane of the real object that actually exists around the object.
A reception unit that accepts a designated operation to specify the object plane from the user,
Equipped with
The display control unit
Additional information including a character string related to the virtual object is superimposed and displayed on the object plane designated by the designated operation .
A display control device characterized by this.
前記オブジェクト平面に対する利用者の視点の位置に応じた表示態様で前記付加情報を表示する、
ことを特徴とする請求項１に記載の表示制御装置。 The display control unit
The additional information is displayed in a display mode according to the position of the user's viewpoint with respect to the object plane.
The display control device according to claim 1.
前記付加情報に含まれる文字列が前記オブジェクト平面に対して垂直に立って見えるように、前記付加情報に含まれる文字列を歪ませた表示態様で前記付加情報を表示する、
ことを特徴とする請求項２に記載の表示制御装置。 The display control unit
The additional information is displayed in a distorted display mode so that the character string included in the additional information can be seen standing perpendicular to the object plane.
The display control device according to claim 2.
前記仮想オブジェクトの表示面と前記オブジェクト平面との位置関係に応じた表示態様で前記付加情報を表示する、
ことを特徴とする請求項１～３のいずれか１つに記載の表示制御装置。 The display control unit
The additional information is displayed in a display mode according to the positional relationship between the display surface of the virtual object and the object plane.
The display control device according to any one of claims 1 to 3.
前記仮想オブジェクトの表示面、前記仮想オブジェクトの表示面と平行な平面、または前記仮想オブジェクトの表示面と直交する平面である前記オブジェクト平面に前記付加情報を表示する、
ことを特徴とする請求項４に記載の表示制御装置。 The display control unit
Displaying the additional information on the object plane, which is a plane parallel to the display plane of the virtual object, a plane parallel to the display plane of the virtual object, or a plane orthogonal to the display plane of the virtual object.
The display control device according to claim 4.
前記仮想オブジェクトが動画像である場合には、前記動画像の再生時間に応じて前記付加情報の表示態様を変更する、
ことを特徴とする請求項１～５のいずれか１つに記載の表示制御装置。 The display control unit
When the virtual object is a moving image, the display mode of the additional information is changed according to the reproduction time of the moving image.
The display control device according to any one of claims 1 to 5.
ことを特徴とする請求項１～６のいずれか１つに記載の表示制御装置。 The additional information is linguistic information included in the posted information posted by the user about the virtual object or the voice data of the person who is the virtual object.
The display control device according to any one of claims 1 to 6 , wherein the display control device is characterized.
周囲を撮像した撮像画像に多視点画像中の仮想オブジェクトを重畳して表示する表示制御工程と、
前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定工程と、
利用者から前記オブジェクト平面を指定する指定操作を受け付ける受付工程と、
を含み、
前記表示制御工程は、
前記仮想オブジェクトに関する文字列を含む付加情報を、前記指定操作によって指定された前記オブジェクト平面に重畳して表示する、
ことを特徴とする表示制御方法。 It is a display control method executed by a computer.
A display control process that superimposes and displays virtual objects in a multi-viewpoint image on a captured image that captures the surroundings,
A specific step of specifying an object plane in the virtual space in the captured image corresponding to the real plane of the real object existing around the object.
The reception process that accepts the designated operation to specify the object plane from the user,
Including
The display control step is
Additional information including a character string related to the virtual object is superimposed and displayed on the object plane designated by the designated operation .
A display control method characterized by that.
前記周囲に実在する実在オブジェクトが有する実在平面に対応する前記撮像画像中の仮想空間におけるオブジェクト平面を特定する特定手順と、
利用者から前記オブジェクト平面を指定する指定操作を受け付ける受付手順と、
をコンピュータに実行させ、
前記表示制御手順は、
前記仮想オブジェクトに関する文字列を含む付加情報を、前記指定操作によって指定された前記オブジェクト平面に重畳して表示する、
表示制御プログラム。 A display control procedure that superimposes and displays a virtual object in a multi-viewpoint image on an captured image that captures the surroundings, and
A specific procedure for specifying an object plane in the virtual space in the captured image corresponding to the real plane of the real object existing around the object, and a specific procedure.
The reception procedure for accepting the specified operation to specify the object plane from the user,
Let the computer run
The display control procedure is
Additional information including a character string related to the virtual object is superimposed and displayed on the object plane designated by the designated operation .
Display control program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103023A JP7072706B1 (en) | 2021-06-22 | 2021-06-22 | Display control device, display control method and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021103023A JP7072706B1 (en) | 2021-06-22 | 2021-06-22 | Display control device, display control method and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7072706B1 true JP7072706B1 (en) | 2022-05-20 |
| JP2023002032A JP2023002032A (en) | 2023-01-10 |
Family
ID=81654304
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021103023A Active JP7072706B1 (en) | 2021-06-22 | 2021-06-22 | Display control device, display control method and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7072706B1 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0566524B2 (en) * | 1984-03-05 | 1993-09-22 | Yazaki Corp | |
| JP2009212941A (en) * | 2008-03-05 | 2009-09-17 | Mitsubishi Electric Corp | Image display apparatus |
| JP2012094100A (en) * | 2010-06-02 | 2012-05-17 | Nintendo Co Ltd | Image display system, image display device and image display method |
| JP2020087277A (en) * | 2018-11-30 | 2020-06-04 | 株式会社ドワンゴ | Video synthesizer, method for synthesizing video, and video synthesizing program |
| JP2021006894A (en) * | 2019-06-27 | 2021-01-21 | 株式会社ドワンゴ | Content distribution server, content generation device, education terminal, content distribution program and education program |
| JP6866524B1 (en) | 2020-05-15 | 2021-04-28 | 株式会社ドワンゴ | Video distribution device, video distribution method, and video distribution program |
-
2021
- 2021-06-22 JP JP2021103023A patent/JP7072706B1/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0566524B2 (en) * | 1984-03-05 | 1993-09-22 | Yazaki Corp | |
| JP2009212941A (en) * | 2008-03-05 | 2009-09-17 | Mitsubishi Electric Corp | Image display apparatus |
| JP2012094100A (en) * | 2010-06-02 | 2012-05-17 | Nintendo Co Ltd | Image display system, image display device and image display method |
| JP2020087277A (en) * | 2018-11-30 | 2020-06-04 | 株式会社ドワンゴ | Video synthesizer, method for synthesizing video, and video synthesizing program |
| JP2021006894A (en) * | 2019-06-27 | 2021-01-21 | 株式会社ドワンゴ | Content distribution server, content generation device, education terminal, content distribution program and education program |
| JP6866524B1 (en) | 2020-05-15 | 2021-04-28 | 株式会社ドワンゴ | Video distribution device, video distribution method, and video distribution program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023002032A (en) | 2023-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10200654B2 (en) | Systems and methods for real time manipulation and interaction with multiple dynamic and synchronized video streams in an augmented or multi-dimensional space | |
| US8644467B2 (en) | Video conferencing system, method, and computer program storage device | |
| US20130120365A1 (en) | Content playback apparatus and method for providing interactive augmented space | |
| KR102032398B1 (en) | Method for selection of an object in a virtual environment | |
| US10963140B2 (en) | Augmented reality experience creation via tapping virtual surfaces in augmented reality | |
| WO2019216419A1 (en) | Program, recording medium, augmented reality presentation device, and augmented reality presentation method | |
| WO2017143303A1 (en) | Apparatuses, methods and systems for sharing virtual elements | |
| US11290573B2 (en) | Method and apparatus for synchronizing viewing angles in virtual reality live streaming | |
| JP6523493B1 (en) | PROGRAM, INFORMATION PROCESSING DEVICE, AND INFORMATION PROCESSING METHOD | |
| JP2004192069A (en) | Image processor, image processing method and program | |
| US11086587B2 (en) | Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space | |
| JP2001216527A (en) | Method and device for multi-media information space input/output and recording medium with its program recorded thereon | |
| JP7072706B1 (en) | Display control device, display control method and display control program | |
| US20230260235A1 (en) | Information processing apparatus, information processing method, and information processing system | |
| JP7354186B2 (en) | Display control device, display control method, and display control program | |
| JP7123222B1 (en) | Display control device, display control method and display control program | |
| WO2023242981A1 (en) | Head-mounted display, head-mounted display system, and display method for head-mounted display | |
| KR20210056414A (en) | System for controlling audio-enabled connected devices in mixed reality environments | |
| JP7354185B2 (en) | Display control device, display control method, and display control program | |
| EP4099275A1 (en) | Information processing device, information processing system, and information processing method | |
| KR20190030565A (en) | Electronic device and operating method for the same | |
| US11605207B2 (en) | Information processing device, information processing method, and program | |
| US20240078767A1 (en) | Information processing apparatus and information processing method | |
| US20220335700A1 (en) | Computer program, method, and server | |
| US20230316659A1 (en) | Traveling in time and space continuum |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211217 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20211217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220318 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220412 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220510 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7072706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |