JP2019212236A - Terminal device and program - Google Patents

Terminal device and program Download PDF

Info

Publication number
JP2019212236A
JP2019212236A JP2018110601A JP2018110601A JP2019212236A JP 2019212236 A JP2019212236 A JP 2019212236A JP 2018110601 A JP2018110601 A JP 2018110601A JP 2018110601 A JP2018110601 A JP 2018110601A JP 2019212236 A JP2019212236 A JP 2019212236A
Authority
JP
Japan
Prior art keywords
video
event
display
user
terminal device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018110601A
Other languages
Japanese (ja)
Other versions
JP6658799B2 (en
Inventor
グアイタ ダビッド ロペス
Lopez Guaita David
グアイタ ダビッド ロペス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sega Corp
Original Assignee
Sega Games Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sega Games Co Ltd filed Critical Sega Games Co Ltd
Priority to JP2018110601A priority Critical patent/JP6658799B2/en
Publication of JP2019212236A publication Critical patent/JP2019212236A/en
Application granted granted Critical
Publication of JP6658799B2 publication Critical patent/JP6658799B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To make it possible to readily perform switching from a display of an on-going event using a video of a current location to a display of an event using a video of a different location.SOLUTION: A terminal device users operate has: imaging means that photographs videos; display data generation means that generates display data having the photographing video combined with a virtual object; display control means that displays the video having the object combined on a display device on the basis of the display data; selection operation reception means that receives selection operations with respect to the object displayed on the display device from users; and switching control means that, when receiving the selection operation with respect to the object from the user, switches the display of the display device to a video, different from the video having the object combined, of a space associated with the object.SELECTED DRAWING: Figure 4

Description

本発明は端末装置及びプログラムに関する。   The present invention relates to a terminal device and a program.

例えば携帯端末の位置情報を利用した、いわゆる位置利用ゲーム(位置登録ゲーム、位置ゲーム)が知られている。従来、複数の携帯端末を有する情報処理システムで行われる位置利用ゲームでは、位置情報に応じた事象(イベント)が特定され、特定された事象に応じた処理が行われるものがあった。また、2台以上の携帯端末が近距離無線通信の範囲内に入った場合、近距離無線通信を介して、2台以上の携帯端末により、この事象に対して共同の処理が行われていた(例えば特許文献1参照)。   For example, a so-called position use game (position registration game, position game) using position information of a mobile terminal is known. Conventionally, in a position use game performed in an information processing system having a plurality of portable terminals, an event (event) corresponding to position information is specified, and processing corresponding to the specified event is performed. In addition, when two or more portable terminals are within the range of short-range wireless communication, two or more portable terminals are jointly processing this event via short-range wireless communication. (For example, refer to Patent Document 1).

特許文献1の位置利用ゲームは、携帯端末の現在位置(取得した位置情報)に応じた事象(イベント)を発生させる。位置情報に応じたイベントは、キャラクター(例えばモンスター)などを表示し、2台以上の携帯端末により、このキャラクターに対する処理(例えばモンスターを退治するための攻撃)が共同で行われる。このとき、キャラクターの画像はAR(拡張現実)技術により表示される。例えば携帯端末は撮影部により撮影された風景の画像に、キャラクターの画像が重なるように、これら2つの画像を合成する。   The position use game of Patent Literature 1 generates an event corresponding to the current position (acquired position information) of the mobile terminal. An event corresponding to the position information displays a character (for example, a monster) or the like, and processing (for example, an attack for exterminating the monster) is jointly performed by two or more mobile terminals. At this time, the character image is displayed by AR (augmented reality) technology. For example, the mobile terminal synthesizes these two images so that the character image overlaps the landscape image captured by the image capturing unit.

特開2013−220246号公報JP 2013-220246 A

しかしながら、特許文献1の位置利用ゲームでは、携帯端末の現在位置(取得した位置情報)の映像を利用する事象(イベントなど)が発生するため、携帯端末を移動しなければ別の事象を発生させることができないという問題があった。このような問題は、位置利用ゲームに限るものではなく、携帯端末の現在位置の映像を利用した事象が発生する処理についても同様に発生する。   However, in the position use game of Patent Document 1, an event (such as an event) using the video of the current position (acquired position information) of the mobile terminal occurs, so another event occurs if the mobile terminal does not move. There was a problem that I could not. Such a problem is not limited to the position use game, and similarly occurs in a process in which an event using an image of the current position of the mobile terminal occurs.

本発明は上記した課題に鑑みなされたものであり、現在位置の映像を利用する発生中の事象の表示から別の位置の映像を利用する事象の表示に、容易に切り替えできるようにすることを目的とする。   The present invention has been made in view of the above-described problems, and is capable of easily switching from the display of an occurring event using an image at the current position to the display of an event using an image at another position. Objective.

上記した課題を解決するために、本発明は、ユーザが操作する端末装置であって、映像を撮影する撮影手段と、撮影した映像に仮想的なオブジェクトを合成した表示データを生成する表示データ生成手段と、前記表示データに基づき、前記オブジェクトが合成された前記映像を表示装置に表示する表示制御手段と、前記表示装置に表示された前記オブジェクトに対する選択操作をユーザから受け付ける選択操作受付手段と、前記オブジェクトに対する選択操作をユーザから受け付けた場合に、前記オブジェクトが合成された前記映像とは別の映像であって、前記オブジェクトと対応付けられている空間の映像に前記表示装置の表示を切り替える切替制御手段と、を有することを特徴とする。   In order to solve the above-described problems, the present invention is a terminal device operated by a user, and includes a photographing unit that captures video, and display data generation that generates display data obtained by synthesizing a virtual object with the captured video. Means, display control means for displaying the video combined with the object on a display device based on the display data, selection operation receiving means for receiving a selection operation for the object displayed on the display device from a user, When the selection operation for the object is received from a user, the switching is performed to switch the display of the display device to a video in a space different from the video in which the object is synthesized and associated with the object. And a control means.

本発明によれば、現在位置の映像を利用する発生中の事象の表示から別の位置の映像を利用する事象の表示に、容易に切り替えできる。   ADVANTAGE OF THE INVENTION According to this invention, it can switch easily from the display of the event which has generate | occur | produced using the image | video of the present position to the display of the event using the image | video of another position.

本実施形態に係る情報処理システムの一例の構成図である。It is a lineblock diagram of an example of an information processing system concerning this embodiment. 本実施形態に係る端末装置の一例のハードウェア構成図である。It is a hardware block diagram of an example of the terminal device which concerns on this embodiment. 本実施形態に係るコンピュータの一例のハードウェア構成図である。It is a hardware block diagram of an example of the computer which concerns on this embodiment. 本実施形態に係るクライアント端末の一例の処理ブロック図である。It is a process block diagram of an example of a client terminal concerning this embodiment. 本実施形態に係るゲームサーバ装置の一例の処理ブロック図である。It is a processing block diagram of an example of a game server device concerning this embodiment. 本実施形態に係る地図サーバ装置の一例の処理ブロック図である。It is a processing block diagram of an example of the map server apparatus concerning this embodiment. 本実施形態のクライアント端末の処理の一例のフローチャートである。It is a flowchart of an example of a process of the client terminal of this embodiment. AR映像の一例のイメージ図である。It is an image figure of an example of AR video. イベント映像の一例のイメージ図である。It is an image figure of an example of an event image | video. イベントの場所にいるユーザ(プレイヤ)とイベントの場所から離れた場所にいるユーザとを表した一例の説明図である。It is explanatory drawing of an example showing the user (player) in the place of an event, and the user in the place away from the place of an event. ステップS12のAR映像表示処理の一例のフローチャートである。It is a flowchart of an example of AR video display processing of step S12. ステップS15のイベント映像表示処理の一例のフローチャートである。It is a flowchart of an example of the event video display process of step S15.

次に、本発明の実施形態について、詳細に説明する。なお、本実施形態ではGPS(衛星測位システム)を利用してユーザの位置情報を取得する例を説明するが、GPSに限定するものではなく、位置情報を取得する様々な公知の技術を利用できる。
[第1の実施形態]
<システム構成>
図1は、本実施形態に係る情報処理システムの一例の構成図である。図1の情報処理システム1は1台以上のクライアント端末2とゲームサーバ装置3と地図サーバ装置4とがインターネット等のネットワーク5を介して接続されている。クライアント端末2は例えばPC、スマートフォン、タブレットなどの端末装置である。クライアント端末2は例えばタッチパネルへのタッチ操作、マウスでのクリック操作、実物コントローラでの操作などによりユーザからの要求を受け付ける。ゲームサーバ装置3はクライアント端末2でユーザにより行われるゲームの管理や制御を行う。地図サーバ装置4はクライアント端末2やゲームサーバ装置3に地図情報を提供する。
Next, embodiments of the present invention will be described in detail. In this embodiment, an example in which the user's position information is acquired using GPS (satellite positioning system) will be described. However, the present invention is not limited to GPS, and various known techniques for acquiring position information can be used. .
[First Embodiment]
<System configuration>
FIG. 1 is a configuration diagram of an example of an information processing system according to the present embodiment. In the information processing system 1 in FIG. 1, one or more client terminals 2, a game server device 3, and a map server device 4 are connected via a network 5 such as the Internet. The client terminal 2 is a terminal device such as a PC, a smartphone, or a tablet. The client terminal 2 accepts a request from the user by, for example, a touch operation on the touch panel, a click operation with a mouse, an operation with a real controller, or the like. The game server device 3 manages and controls games played by the user at the client terminal 2. The map server device 4 provides map information to the client terminal 2 and the game server device 3.

なお、図1の情報処理システム1は一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えばゲームサーバ装置3、地図サーバ装置4は複数のコンピュータに分散して構成してもよい。また、ゲームサーバ装置3と地図サーバ装置4との区分も一例であって、他の区分であってもよく、また、1台のコンピュータにより実現してもよい。   Note that the information processing system 1 in FIG. 1 is merely an example, and it goes without saying that there are various system configuration examples depending on applications and purposes. For example, the game server device 3 and the map server device 4 may be distributed among a plurality of computers. Further, the division between the game server device 3 and the map server device 4 is an example, and may be another division, or may be realized by one computer.

<ハードウェア構成>
《クライアント端末》
図1のクライアント端末2などの端末装置は、例えば図2に示すようなハードウェア構成により実現される。図2は、本実施形態に係る端末装置の一例のハードウェア構成図である。
<Hardware configuration>
<Client terminal>
A terminal device such as the client terminal 2 of FIG. 1 is realized by a hardware configuration as shown in FIG. FIG. 2 is a hardware configuration diagram of an example of a terminal device according to the present embodiment.

図2の端末装置は、入力装置401、出力装置402、外部I/F403、RAM404、ROM405、CPU406、通信I/F407、HDD408、GPSユニット409、撮影ユニット410、電池411などを備え、それぞれがバスBで相互に接続されている。   2 includes an input device 401, an output device 402, an external I / F 403, a RAM 404, a ROM 405, a CPU 406, a communication I / F 407, an HDD 408, a GPS unit 409, a photographing unit 410, a battery 411, and the like. B are connected to each other.

入力装置401はユーザが各種信号を入力するのに用いるタッチパネル、端末装置の筐体に設けられた操作キーやボタンなどの実物コントローラ、マウスなどである。出力装置402は、映像を出力する液晶や有機ELなどの表示装置、音声を出力するスピーカなどを含む。なお、タッチパネルは例えば表示装置上に載せられる感圧式や静電式などのパネルによって構成され、指やタッチペン等によるタッチ操作によって表示装置上におけるタッチ位置を検出する。   The input device 401 is a touch panel used for a user to input various signals, a real controller such as operation keys and buttons provided on a casing of the terminal device, a mouse, and the like. The output device 402 includes a display device such as a liquid crystal or an organic EL that outputs video, a speaker that outputs audio, and the like. Note that the touch panel is configured by, for example, a pressure-sensitive or electrostatic panel placed on the display device, and detects a touch position on the display device by a touch operation with a finger, a touch pen, or the like.

通信I/F407は端末装置をネットワーク5に接続するインタフェースである。これにより、端末装置は通信I/F407を介してデータ通信を行う。HDD408は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、端末装置全体を制御する基本ソフトウェアであるOS、及びOS上において各種機能を提供するアプリケーションなどがある。なお、端末装置はHDD408に替えて、記憶媒体としてフラッシュメモリを用いるドライブ装置(例えばソリッドステートドライブ:SSD)を利用するものであってもよい。   The communication I / F 407 is an interface that connects the terminal device to the network 5. Thereby, the terminal device performs data communication via the communication I / F 407. The HDD 408 is an example of a nonvolatile storage device that stores programs and data. The stored programs and data include an OS that is basic software for controlling the entire terminal device, and applications that provide various functions on the OS. The terminal device may use a drive device (for example, a solid state drive: SSD) that uses a flash memory as a storage medium instead of the HDD 408.

外部I/F403は、外部装置とのインタフェースである。外部装置には、記録媒体403aなどがある。これにより、端末装置は外部I/F403を介して記録媒体403aの読み取り及び/又は書き込みを行うことができる。記録媒体403aにはフレキシブルディスク、CD、DVD、SDメモリカード、USBメモリなどがある。   The external I / F 403 is an interface with an external device. The external device includes a recording medium 403a. Thereby, the terminal device can read and / or write to the recording medium 403a via the external I / F 403. Examples of the recording medium 403a include a flexible disk, a CD, a DVD, an SD memory card, and a USB memory.

ROM405は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)の一例である。ROM405には端末装置の起動時に実行されるBIOS、OS設定、及びネットワーク設定などのプログラムやデータが格納されている。RAM404はプログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)の一例である。   The ROM 405 is an example of a nonvolatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off. The ROM 405 stores programs and data such as BIOS, OS settings, and network settings that are executed when the terminal device is activated. The RAM 404 is an example of a volatile semiconductor memory (storage device) that temporarily stores programs and data.

CPU406は、ROM405やHDD408などの記憶装置からプログラムやデータをRAM404上に読み出し、処理を実行することで、端末装置全体の制御や機能を実現する演算装置である。また、端末装置は、専用の電池411を備えている。端末装置は電池411によって駆動される。   The CPU 406 is an arithmetic device that realizes control and functions of the entire terminal device by reading a program and data from a storage device such as the ROM 405 and the HDD 408 onto the RAM 404 and executing processing. The terminal device includes a dedicated battery 411. The terminal device is driven by the battery 411.

GPSユニット409はGPS衛星からの電波を利用して現在位置を表す位置情報を取得する。位置情報は、例えば緯度及び経度である。なお、位置情報は緯度及び経度に限定されず、ユーザの位置を特定できる情報であればよい。例えば、無線通信の所定のアクセスポイントに対する電波の強さにより測位する方法などがある。また、既知のジャイロセンサーなどを利用して端末の向きや傾きを把握し、向きや傾きの情報を位置情報の一部として利用してもよい。GPSユニット409は端末装置に内蔵されていても外付けであってもよい。   The GPS unit 409 acquires position information representing the current position using radio waves from GPS satellites. The position information is, for example, latitude and longitude. Note that the position information is not limited to latitude and longitude, and may be information that can identify the position of the user. For example, there is a method of positioning by the strength of radio waves with respect to a predetermined access point for wireless communication. In addition, the orientation and inclination of the terminal may be grasped using a known gyro sensor or the like, and information on the orientation and inclination may be used as part of the position information. The GPS unit 409 may be built in the terminal device or externally attached.

撮影ユニット410は映像を撮影する。撮影ユニット410のカメラを出力装置402の表示装置の裏側に設けることで、撮影ユニット410のカメラにより撮影する映像の方向と、表示装置を見るユーザの視線の方向とは、ほぼ等しくなる。   The imaging unit 410 captures an image. By providing the camera of the photographing unit 410 on the back side of the display device of the output device 402, the direction of the video photographed by the camera of the photographing unit 410 is substantially equal to the direction of the line of sight of the user viewing the display device.

本実施形態に係る端末装置は、上記ハードウェア構成により後述するような各種処理を実現できる。   The terminal device according to the present embodiment can realize various processes as described later with the above hardware configuration.

《ゲームサーバ装置及び地図サーバ装置》
図1のゲームサーバ装置3及び地図サーバ装置4は例えば図3に示すハードウェア構成のコンピュータにより実現される。図3は本実施形態に係るコンピュータの一例のハードウェア構成図である。
<< Game Server Device and Map Server Device >>
The game server device 3 and the map server device 4 in FIG. 1 are realized by a computer having a hardware configuration shown in FIG. 3, for example. FIG. 3 is a hardware configuration diagram of an example of a computer according to the present embodiment.

図3のコンピュータは、入力装置501、出力装置502、外部I/F503、RAM504、ROM505、CPU506、通信I/F507及びHDD508を備え、それぞれがバスBで相互に接続されている。なお、入力装置501及び出力装置502は必要なときに接続して利用する形態であってもよい。   The computer shown in FIG. 3 includes an input device 501, an output device 502, an external I / F 503, a RAM 504, a ROM 505, a CPU 506, a communication I / F 507, and an HDD 508, which are mutually connected by a bus B. The input device 501 and the output device 502 may be connected and used when necessary.

入力装置501は、キーボードやマウスなどを含み、ユーザが各操作信号を入力するのに用いられる。出力装置502はディスプレイやスピーカなどを含み、コンピュータによる処理結果の表示や音声出力に用いられる。通信I/F507は、コンピュータをネットワーク5に接続するインタフェースである。これにより、コンピュータは通信I/F507を介してデータ通信を行うことができる。   The input device 501 includes a keyboard and a mouse, and is used by the user to input each operation signal. The output device 502 includes a display, a speaker, and the like, and is used for processing result display and audio output by a computer. The communication I / F 507 is an interface that connects the computer to the network 5. Thus, the computer can perform data communication via the communication I / F 507.

また、HDD508は、プログラムやデータを格納している不揮発性の記憶装置の一例である。格納されるプログラムやデータには、例えばコンピュータ全体を制御する基本ソフトウェアであるOS、及び、OS上において各種機能を提供するアプリケーションなどがある。   The HDD 508 is an example of a nonvolatile storage device that stores programs and data. The stored programs and data include, for example, an OS that is basic software for controlling the entire computer, and applications that provide various functions on the OS.

外部I/F503は、外部装置とのインタフェースである。外部装置には、記録媒体503aなどがある。これにより、コンピュータは外部I/F503を介して記録媒体503aの読み取り及び/又は書き込みを行うことができる。記録媒体503aにはフレキシブルディスク、CD、DVD、SDメモリカード、USBメモリなどがある。   The external I / F 503 is an interface with an external device. The external device includes a recording medium 503a. Accordingly, the computer can read and / or write the recording medium 503a via the external I / F 503. Examples of the recording medium 503a include a flexible disk, a CD, a DVD, an SD memory card, and a USB memory.

ROM505は、電源を切ってもプログラムやデータを保持することができる不揮発性の半導体メモリ(記憶装置)の一例である。ROM505にはゲームサーバ装置3又は地図サーバ装置4の起動時に実行されるBIOS、OS設定、及びネットワーク設定などのプログラムやデータが格納されている。RAM504はプログラムやデータを一時保持する揮発性の半導体メモリ(記憶装置)の一例である。   The ROM 505 is an example of a nonvolatile semiconductor memory (storage device) that can retain programs and data even when the power is turned off. The ROM 505 stores programs and data such as BIOS, OS settings, and network settings that are executed when the game server device 3 or the map server device 4 is activated. The RAM 504 is an example of a volatile semiconductor memory (storage device) that temporarily stores programs and data.

CPU506はROM505やHDD508などの記憶装置からプログラムやデータをRAM504上に読み出し、処理を実行することで、ゲームサーバ装置3又は地図サーバ装置4全体の制御や機能を実現する演算装置である。   The CPU 506 is an arithmetic unit that realizes control and functions of the game server device 3 or the map server device 4 as a whole by reading out programs and data from a storage device such as the ROM 505 and the HDD 508 onto the RAM 504 and executing the processing.

本実施形態に係るゲームサーバ装置3及び地図サーバ装置4は上記したハードウェア構成により後述するような各種処理を実現できる。   The game server device 3 and the map server device 4 according to the present embodiment can realize various processes as described later with the above-described hardware configuration.

<ソフトウェア構成>
本実施形態に係る情報処理システム1のソフトウェア構成について、クライアント端末2、ゲームサーバ装置3及び地図サーバ装置4に分けて説明を行う。
<Software configuration>
The software configuration of the information processing system 1 according to the present embodiment will be described separately for the client terminal 2, the game server device 3, and the map server device 4.

《クライアント端末》
図1のクライアント端末2は例えば図4に示す処理ブロックにより実現される。図4は本実施形態に係るクライアント端末の一例の処理ブロック図である。クライアント端末2はプログラムを実行することにより、操作受付部10、撮影部11、ゲーム実行部12、サーバアクセス部13、画面表示部14、映像記憶部15及びイベント情報記憶部16を実現している。また、ゲーム実行部12は、イベント情報取得部21、位置情報取得部22、地図情報取得部23、映像取得部24、表示データ生成部25、表示制御部26、切替制御部27、イベント処理部28を有する構成である。
<Client terminal>
The client terminal 2 in FIG. 1 is realized by, for example, the processing blocks shown in FIG. FIG. 4 is a processing block diagram of an example of a client terminal according to the present embodiment. The client terminal 2 implements an operation accepting unit 10, a photographing unit 11, a game executing unit 12, a server access unit 13, a screen display unit 14, a video storage unit 15, and an event information storage unit 16 by executing a program. . In addition, the game execution unit 12 includes an event information acquisition unit 21, a position information acquisition unit 22, a map information acquisition unit 23, a video acquisition unit 24, a display data generation unit 25, a display control unit 26, a switching control unit 27, and an event processing unit. 28.

操作受付部10はユーザからの各種操作を受け付ける。撮影部11はユーザの周囲の風景の映像を撮影する。ゲーム実行部12は、操作受付部10がユーザから受け付けた操作に従ってゲームに関する処理を行い、ゲームを進行させる。   The operation receiving unit 10 receives various operations from the user. The imaging unit 11 captures an image of the scenery around the user. The game execution part 12 performs the process regarding a game according to operation which the operation reception part 10 received from the user, and advances a game.

ゲーム実行部12のイベント情報取得部21はゲームサーバ装置3からイベントが開催される場所(イベントの位置情報)やイベント内容などを含むイベント情報を取得する。イベント情報取得部21は取得したイベント情報をイベント情報記憶部16に記憶させる。   The event information acquisition unit 21 of the game execution unit 12 acquires event information including a place where the event is held (position information of the event) and event contents from the game server device 3. The event information acquisition unit 21 stores the acquired event information in the event information storage unit 16.

位置情報取得部22はGPSユニット409を利用してユーザの現在の位置情報を取得する。地図情報取得部23は地図サーバ装置4から地図情報を取得する。映像取得部24はゲームサーバ装置3から映像を取得する。ここで取得する映像は、イベントの場所の周囲の風景の映像、風景の映像に合成する後述の仮想的なオブジェクトの映像、などを含んでいる。映像取得部24は取得した映像を映像記憶部15に記憶させる。   The position information acquisition unit 22 uses the GPS unit 409 to acquire the current position information of the user. The map information acquisition unit 23 acquires map information from the map server device 4. The video acquisition unit 24 acquires video from the game server device 3. The video acquired here includes a video of a landscape around the event location, a video of a virtual object to be described later to be combined with the video of the landscape, and the like. The video acquisition unit 24 stores the acquired video in the video storage unit 15.

表示データ生成部25はAR(拡張現実)技術を利用し、風景の映像にオブジェクトの映像が重なるように合成した表示データを生成する。表示制御部26は表示データ生成部25が生成した表示データを表示装置に表示させる。切替制御部27は、開催中のイベントの場所にいないユーザを、そのイベントに参加させるため、表示装置に表示されているユーザの周囲の風景の映像に仮想的なオブジェクトを合成した映像(以下、AR映像と呼ぶ)を開催中のイベントの映像(以下、イベント映像と呼ぶ)に切り替える。   The display data generation unit 25 uses AR (Augmented Reality) technology to generate display data that is synthesized so that the image of the object overlaps the image of the landscape. The display control unit 26 causes the display device to display the display data generated by the display data generation unit 25. The switching control unit 27 synthesizes a virtual object (hereinafter, referred to as a virtual object) with a video of a landscape around the user displayed on the display device in order to allow a user who is not at the current event location to participate in the event. (Hereinafter referred to as “AR video”) is switched to the video of the current event (hereinafter referred to as “event video”).

イベント映像は、事前に撮影しておいたイベントの場所の周囲の風景の映像に仮想的なオブジェクトを合成した映像(以下、擬似AR映像と呼ぶ)であっても、事前にVR(仮想現実)技術を利用して生成しておいたイベントの場所の周囲の風景の映像に仮想的なオブジェクトを合成した映像(以下、VR映像と呼ぶ)であってもよい。切替制御部27はAR映像とイベント映像との切り替えを、例えばAR映像に表示されている仮想的なオブジェクトに対するユーザの選択操作により行う。なお、AR映像とイベント映像との切り替えの詳細については後述する。   Even if the event video is a video in which a virtual object is combined with a video of the surrounding landscape of the event place that has been taken in advance (hereinafter referred to as a pseudo-AR video), VR (virtual reality) is required in advance. It may be a video (hereinafter referred to as a VR video) in which a virtual object is synthesized with a video of a landscape around an event place generated using technology. The switching control unit 27 performs switching between the AR video and the event video, for example, by a user's selection operation on a virtual object displayed on the AR video. Details of switching between the AR video and the event video will be described later.

イベント処理部28はイベントに関する処理を行う。例えば複数のユーザが敵キャラクタを攻撃して撃退するイベントの場合、イベント処理部28は敵キャラクタを攻撃する操作をユーザから受け付けると、敵キャラクタを攻撃する映像の表示や、その攻撃による効果の計算、その攻撃による効果のゲームサーバ装置3への通知、などを行う。   The event processing unit 28 performs processing related to events. For example, in the case of an event in which a plurality of users attack and repel an enemy character, when the event processing unit 28 receives an operation to attack the enemy character from the user, the event display unit 28 displays a video attacking the enemy character and calculates the effect of the attack. The game server device 3 is notified of the effect of the attack.

画面表示部14はゲーム実行部12によるゲームの進行に従い、クライアント端末2の画面表示を制御する。サーバアクセス部13は、ゲーム実行部12の処理の過程でゲームサーバ装置3又は地図サーバ装置4へのアクセスが必要となったとき、ゲームサーバ装置3又は地図サーバ装置4に対してリクエストを送信すると共に、ゲームサーバ装置3又は地図サーバ装置4からの処理結果等のレスポンスを受信する。   The screen display unit 14 controls the screen display of the client terminal 2 according to the progress of the game by the game execution unit 12. The server access unit 13 transmits a request to the game server device 3 or the map server device 4 when access to the game server device 3 or the map server device 4 becomes necessary during the process of the game execution unit 12. At the same time, a response such as a processing result from the game server device 3 or the map server device 4 is received.

なお、ゲーム実行部12はゲームサーバ装置3からHTML(Hyper Text Markup Language)等で記載されたページデータや、ページデータ内に含まれるスクリプトなどに基づいてゲームに関する処理を行うブラウザ型がある。また、ゲーム実行部12はインストールされたアプリケーションに基づいてゲームに関する処理を行うアプリケーション型がある。図4は一例としてアプリケーション型を示している。   The game execution unit 12 is a browser type that performs processing related to the game based on page data described in HTML (Hyper Text Markup Language) from the game server device 3 or a script included in the page data. The game execution unit 12 includes an application type that performs processing related to a game based on an installed application. FIG. 4 shows an application type as an example.

《ゲームサーバ装置》
図1のゲームサーバ装置3は例えば図5に示す処理ブロックにより実現される。図5は本実施形態に係るゲームサーバ装置の一例の処理ブロック図である。ゲームサーバ装置3はプログラムを実行することにより、映像提供部41、イベント情報提供部42、イベント制御部43、映像記憶部47及びイベント情報記憶部48を実現している。
<Game server device>
The game server device 3 in FIG. 1 is realized by, for example, the processing blocks shown in FIG. FIG. 5 is a processing block diagram of an example of the game server device according to the present embodiment. The game server device 3 implements a video providing unit 41, an event information providing unit 42, an event control unit 43, a video storage unit 47, and an event information storage unit 48 by executing a program.

映像提供部41は、クライアント端末2の映像取得部24に映像を提供する。イベント情報提供部42は、クライアント端末2のイベント情報取得部21にイベント情報を提供する。イベント制御部43は開催中のイベントに関する制御を行う。例えば複数のユーザが敵キャラクタを攻撃して撃退するイベントの場合、イベント制御部43は複数のユーザの攻撃により減少する敵キャラクタの体力などの耐久値を管理しながらイベントを進行させる。映像記憶部47は例えば擬似AR映像、VR映像及び仮想的なオブジェクトの映像などの映像を記憶する。擬似AR映像は、例えば事前に撮影しておいたイベントの場所の周囲の風景の360度のパノラマ映像を利用できる。イベント情報記憶部48はイベントの場所、イベントの時間及びイベントの敵キャラクタのオブジェクトなどの情報を含むイベント情報を記憶する。   The video providing unit 41 provides the video to the video acquisition unit 24 of the client terminal 2. The event information providing unit 42 provides event information to the event information acquiring unit 21 of the client terminal 2. The event control unit 43 performs control related to the event being held. For example, in the case of an event in which a plurality of users attack and repel enemy characters, the event control unit 43 advances the event while managing endurance values such as the physical strength of the enemy characters that are reduced by the attacks of the plurality of users. The video storage unit 47 stores video such as pseudo AR video, VR video, and virtual object video. As the pseudo-AR video, for example, a 360-degree panoramic video of the scenery around the place of the event taken in advance can be used. The event information storage unit 48 stores event information including information such as an event location, an event time, and an object of an enemy character of the event.

《地図サーバ装置》
図1の地図サーバ装置4は、例えば図6に示す処理ブロックにより実現される。図6は本実施形態に係る地図サーバ装置の一例の処理ブロック図である。地図サーバ装置4はプログラムを実行することにより、地図情報提供部61及び地図情報記憶部62を実現している。
<Map server device>
The map server device 4 in FIG. 1 is realized by, for example, the processing blocks shown in FIG. FIG. 6 is a processing block diagram of an example of the map server device according to the present embodiment. The map server device 4 implements a map information providing unit 61 and a map information storage unit 62 by executing a program.

地図情報提供部61は、クライアント端末2及びゲームサーバ装置3に地図情報を提供する。なお、クライアント端末2に提供する地図情報の範囲は、クライアント端末2で必要な範囲であればよく、例えばユーザの現在の位置が含まれる所定の範囲の地図情報であればよい。地図情報記憶部62は地図情報を記憶する。   The map information providing unit 61 provides map information to the client terminal 2 and the game server device 3. Note that the range of the map information provided to the client terminal 2 may be a range necessary for the client terminal 2, and may be, for example, a predetermined range of map information including the current position of the user. The map information storage unit 62 stores map information.

<処理>
《クライアント端末における処理の概要》
図7は本実施形態のクライアント端末の処理の一例のフローチャートである。ステップS11において、クライアント端末2はユーザにより本実施形態に係るゲームのアプリケーション等のプログラムを起動される。
<Processing>
<< Outline of processing in client terminal >>
FIG. 7 is a flowchart of an example of processing of the client terminal according to the present embodiment. In step S11, the client terminal 2 starts a program such as a game application according to the present embodiment by the user.

ステップS12に進み、クライアント端末2は図8に示すようなAR映像を表示装置に表示するAR映像表示処理を行う。図8はAR映像の一例のイメージ図である。図8のAR映像は、撮影部11により撮影されたユーザの周囲の風景の映像に、敵キャラクタを模した仮想的なオブジェクト1000を合成した例である。   In step S12, the client terminal 2 performs an AR video display process for displaying an AR video as shown in FIG. 8 on the display device. FIG. 8 is an image diagram of an example of an AR video. The AR video in FIG. 8 is an example in which a virtual object 1000 imitating an enemy character is combined with a video of a landscape around the user, which is shot by the shooting unit 11.

仮想的なオブジェクト1000は、AR映像において、イベントの位置情報により特定されるイベントの場所の上空に存在するように表示される。したがって、ユーザはイベントが開催されている方向に向かって撮影した場合、イベントが開催中の場所の上空に仮想的なオブジェクト1000が表示されたAR映像を確認できる。   The virtual object 1000 is displayed so as to exist above the place of the event specified by the event position information in the AR video. Therefore, when shooting in the direction in which the event is held, the user can check the AR video in which the virtual object 1000 is displayed above the place where the event is held.

したがって、ユーザは図8のような仮想的なオブジェクト1000が表示されたAR映像を確認することで、イベントが開催中であること、及び、そのイベントが開催されている大まかな場所、を知ることができる。なお、仮想的なオブジェクト1000はユーザの現在の位置から開催中のイベントの位置までの距離が大きくなるほど表示サイズを小さくしてもよい。また、仮想的なオブジェクト1000は、他の仮想的なオブジェクト又はビルなどの建造物により隠れる場合であっても、AR映像に表示されるような仕組みを設けることが望ましい。例えば、表示制御部26は、仮想的なオブジェクト1000が建造物に隠れる場合にはシルエットを表示したり、建造物を半透明化して表示してもよい。もしくは、表示制御部26は、クライアント端末2がイベントの位置方向を向いている場合は、仮想的なオブジェクト1000を表示せずに、テキストウィンドウを表示してイベント開催を報知し、ユーザが任意でイベントプレイ是非を選択できるボタンを表示してもよい。さらに、仮想的なオブジェクト1000が表示されたAR映像にはイベントの終了までの残り時間などの情報を表示してもよい。   Therefore, the user knows that the event is being held and a rough place where the event is held by confirming the AR video on which the virtual object 1000 as shown in FIG. 8 is displayed. Can do. Note that the display size of the virtual object 1000 may be reduced as the distance from the current position of the user to the position of the event being held increases. In addition, it is desirable to provide a mechanism in which the virtual object 1000 is displayed in the AR video even when it is hidden by another virtual object or a building such as a building. For example, the display control unit 26 may display a silhouette when the virtual object 1000 is hidden in a building, or may display the building semi-transparently. Alternatively, when the client terminal 2 is facing the event position direction, the display control unit 26 displays the text window without displaying the virtual object 1000 and notifies the event opening, and the user arbitrarily selects the event. You may display the button which can select event play right or wrong. Furthermore, information such as the remaining time until the end of the event may be displayed on the AR video on which the virtual object 1000 is displayed.

ユーザは図8のようなAR映像に表示された仮想的なオブジェクト1000に対する選択操作(タップなど)を行うことで、その仮想的なオブジェクト1000に対応するイベントへの参加を要求できる。なお、ステップS13において仮想的なオブジェクト1000の選択操作をユーザから受け付けると、クライアント端末2はユーザに参加の是非を問うウィンドウを表示してイベントプレイ是非をユーザに選択させるようにしてもよい。ユーザに参加の是非を問うウィンドウには、イベント開催期間、敵キャラクタのレベル、募集人数、現在の参加者数、イベント開催地などを表示してもよい。   The user can request participation in an event corresponding to the virtual object 1000 by performing a selection operation (such as tapping) on the virtual object 1000 displayed in the AR video as shown in FIG. In addition, when the selection operation of the virtual object 1000 is received from the user in step S13, the client terminal 2 may display a window asking the user whether or not to participate and allow the user to select event play. In the window that asks the user whether or not to participate, the event holding period, the level of enemy characters, the number of applicants, the current number of participants, the event venue, and the like may be displayed.

ステップS13において仮想的なオブジェクト1000の選択操作をユーザから受け付けると、クライアント端末2はステップS14に進み、イベントの場所にいないユーザがイベントに参加するための対価の支払いの一例であるスタミナ消費処理を行う。クライアント端末2は、イベントの場所にいないユーザがイベントに参加するための対価を一定としてもよいし、ユーザの現在の場所とイベントの場所との距離が大きくなるほど対価を大きくしてもよい。   When the selection operation of the virtual object 1000 is accepted from the user in step S13, the client terminal 2 proceeds to step S14, and the stamina consumption process, which is an example of payment for consideration for the user who is not at the event location, to participate in the event is performed. Do. The client terminal 2 may make the consideration for a user who is not at the event location to participate in the event constant, or may increase the consideration as the distance between the current location of the user and the location of the event increases.

イベントに参加したユーザのうち、イベントの場所にいるユーザにだけ特典が付与されても良い。これにより、ユーザが様々な場所に出向くようになる。例えば、イベントの場所にいないでイベントに参加したユーザは、仮想的なオブジェクト1000の同時表示数や表示回数、表示時間に制限をかけることで、ユーザがイベントの場所に移動する意欲を向上させられる。   Among users who participate in the event, the privilege may be given only to the user who is at the event location. Thereby, a user comes to go to various places. For example, a user who participates in an event without being at the event location can improve the willingness of the user to move to the event location by limiting the number of simultaneous display, the number of display times, and the display time of the virtual object 1000. .

ステップS15に進み、クライアント端末2は図9に示すようなイベント映像を表示装置に表示するイベント映像表示処理を行う。図9は、イベント映像の一例のイメージ図である。図9のイベント映像は、例えば事前に撮影(キャプチャ)されたイベントの場所の360度のパノラマ映像が、イベントの場所の周囲の風景(背景)として用いられている例である。図9のイベント映像は図8のAR映像と共通の仮想的なオブジェクト1000が合成されている。   In step S15, the client terminal 2 performs an event video display process for displaying an event video as shown in FIG. 9 on the display device. FIG. 9 is an image diagram of an example of an event video. The event video in FIG. 9 is an example in which, for example, a 360-degree panoramic video of an event location that has been captured (captured) in advance is used as a landscape (background) around the event location. The event video in FIG. 9 is composed of a virtual object 1000 that is the same as the AR video in FIG.

図8のAR映像と図9のイベント映像とに共通する仮想的なオブジェクト1000が含まれていることにより、ユーザは切り替え前の図8のAR映像と切り替え後の図9のイベント映像との統合感が協調される。したがって、ユーザは図8のAR映像の場所から図9のイベント映像の場所にジャンプしたかのような感覚を味わうことができる。ユーザは図9のイベント映像から、仮想的なオブジェクト1000への攻撃など、イベントに参加できる。ステップS15のイベント映像表示処理はイベントが終了するか、ゲームのアプリケーション等のプログラムが終了するまで繰り返される。   Since the virtual object 1000 common to the AR video in FIG. 8 and the event video in FIG. 9 is included, the user can integrate the AR video in FIG. 8 before switching with the event video in FIG. 9 after switching. Feelings are coordinated. Therefore, the user can feel as if the user jumped from the AR video location shown in FIG. 8 to the event video location shown in FIG. The user can participate in an event such as an attack on the virtual object 1000 from the event video in FIG. The event video display process in step S15 is repeated until the event ends or a program such as a game application ends.

イベントが終了すると、クライアント端末2はステップS16からS12に戻り、イベント映像からAR映像に切り替える。なお、ゲームのアプリケーション等のプログラムが終了されるとステップS17で判定すると、クライアント端末2は図7のフローチャートの処理を終了する。   When the event ends, the client terminal 2 returns from step S16 to S12 and switches from the event video to the AR video. If it is determined in step S17 that the program such as the game application is terminated, the client terminal 2 terminates the processing of the flowchart of FIG.

一方、ステップS13において仮想的なオブジェクト1000の選択操作をユーザから受け付けなくても、ステップS18においてイベントの場所にいるユーザであると判定すると、クライアント端末2はステップS15に進み、図9のようなイベント映像を表示装置に表示する。   On the other hand, even if the selection operation of the virtual object 1000 is not accepted from the user in step S13, if it is determined in step S18 that the user is at the event location, the client terminal 2 proceeds to step S15, as shown in FIG. The event video is displayed on the display device.

なお、ステップS12のAR映像表示処理は仮想的なオブジェクト1000の選択操作をユーザから受け付けるか、イベントの場所にいるユーザであると判定されるか、ステップS19でゲームのアプリケーション等のプログラムが終了されると判定されるまで繰り返される。   In the AR video display process in step S12, the selection operation of the virtual object 1000 is accepted from the user, or it is determined that the user is at the event location, or the program such as the game application is terminated in step S19. This is repeated until it is determined.

図7のフローチャートによれば、イベントの場所にいるユーザと、イベントの場所から離れた場所にいるユーザと、が同一のイベントに参加できる。図10はイベントの場所にいるユーザとイベントの場所から離れた場所にいるユーザとを表した一例の説明図である。   According to the flowchart of FIG. 7, a user at an event location and a user at a location away from the event location can participate in the same event. FIG. 10 is an explanatory diagram showing an example of a user at an event location and a user at a location away from the event location.

図10では、ユーザAがイベントの場所から離れた場所にいるユーザの一例を表しており、ユーザBがイベントの場所にいるユーザの一例を表している。ユーザAは例えば図8のAR映像から仮想的なオブジェクト1000の選択操作を行うことにより場所1010で開催されているイベントの図9のイベント映像に切り替え、イベントに参加できる。   FIG. 10 shows an example of a user who is away from the event location and a user B is an example of a user at the event location. For example, the user A can switch to the event video of FIG. 9 of the event being held at the place 1010 by performing a selection operation of the virtual object 1000 from the AR video of FIG. 8 and can participate in the event.

また、ユーザBはイベントの場所1010にいるため、場所1010で開催されているイベントの図9のイベント映像を表示してイベントに参加できる。なお、イベントの場所1010にいるユーザBのクライアント端末2は自動的にユーザBをイベントに参加させるようにしてもよいし、仮想的なオブジェクト1000の選択操作を受け付けた場合にユーザBをイベントに参加させるようにしてもよい。   Further, since the user B is at the event location 1010, the user B can participate in the event by displaying the event video in FIG. 9 of the event being held at the location 1010. Note that the user B's client terminal 2 at the event location 1010 may automatically cause the user B to participate in the event, or the user B may be selected as an event when a virtual object 1000 selection operation is accepted. You may make it participate.

《S12:AR映像表示処理》
図11はステップS12のAR映像表示処理の一例のフローチャートである。ステップS31に進み、クライアント端末2の撮影部11はユーザの周囲の風景を撮影する。ステップS32に進み、表示データ生成部25はイベント情報を参照し、ユーザが参加できるイベントがあるか否かを判定する。
<< S12: AR video display process >>
FIG. 11 is a flowchart of an example of the AR video display process in step S12. In step S31, the photographing unit 11 of the client terminal 2 photographs a landscape around the user. In step S32, the display data generation unit 25 refers to the event information and determines whether there is an event in which the user can participate.

ユーザが参加できるイベントがあれば、表示データ生成部25は参加できるイベントの位置情報をイベント情報記憶部16に記憶されているイベント情報から読み出すと共に、そのイベントの仮想的なオブジェクト1000の映像を映像記憶部15から読み出す。ステップS34に進み、表示データ生成部25はユーザが参加できるイベントの位置情報の方向に、仮想的なオブジェクト1000が表示されるように、ステップS31で撮影したユーザの周囲の風景の映像に、仮想的なオブジェクト1000を合成した表示データを生成する。ステップS35に進み、表示制御部26はステップS34で生成された表示データに基づき、図8のようなAR映像を表示装置に表示させる。   If there is an event that the user can participate in, the display data generation unit 25 reads the position information of the event that can be participated from the event information stored in the event information storage unit 16 and also displays the video of the virtual object 1000 of the event. Read from the storage unit 15. Proceeding to step S34, the display data generating unit 25 displays a virtual image of the landscape around the user photographed in step S31 so that the virtual object 1000 is displayed in the direction of the position information of the event in which the user can participate. Display data obtained by synthesizing a typical object 1000 is generated. Proceeding to step S35, the display control unit 26 displays the AR video as shown in FIG. 8 on the display device based on the display data generated at step S34.

なお、ステップS32においてユーザが参加できるイベントがないと判定した場合はステップS35に進み、ステップS31で撮影したユーザの周囲の風景の映像を表示装置に表示させる。   If it is determined in step S32 that there is no event that the user can participate in, the process proceeds to step S35, and the image of the scenery around the user taken in step S31 is displayed on the display device.

《S15:イベント映像表示》
図12はステップS15のイベント映像表示処理の一例のフローチャートである。クライアント端末2の表示データ生成部25はステップS41においてイベントの位置情報に対応した映像(イベントの場所の周囲の風景)を映像記憶部15から読み出す。なお、表示データ生成部25はイベントの位置情報に対応した映像を読み出す際、現実世界の日照を考慮してもよい。この場合、映像記憶部15には事前に撮影しておいた日照の異なるイベントの場所の周囲の風景の映像を記憶しておく。
<< S15: Event video display >>
FIG. 12 is a flowchart of an example of the event video display process in step S15. In step S <b> 41, the display data generation unit 25 of the client terminal 2 reads a video (scenery around the event location) corresponding to the event location information from the video storage unit 15. Note that the display data generation unit 25 may consider the sunshine in the real world when reading the video corresponding to the event position information. In this case, the video storage unit 15 stores a video of the scenery around the place of the event with different sunshine, which was taken in advance.

このようにすることで、表示データ生成部25は昼、夕方、夜などに対応したイベント映像の表示データを生成できる。また、表示データ生成部25は晴れ、曇り、雨などの天候に対応したイベント映像の表示データを生成できる。さらに、映像記憶部15にはモデルの明るさを様々な日照に適応させた仮想的なオブジェクト1000の映像を記憶しておいてもよい。このようにすることで、表示データ生成部25は昼、夕方、夜などに対応したAR映像の表示データを生成できる。また、表示データ生成部25は晴れ、曇り、雨などの天候に対応したAR映像の表示データを生成できる。   In this way, the display data generation unit 25 can generate event video display data corresponding to daytime, evening, night, and the like. In addition, the display data generation unit 25 can generate display data of event video corresponding to weather such as sunny, cloudy, and rainy. Further, the video storage unit 15 may store a video of the virtual object 1000 in which the brightness of the model is adapted to various sunshine. In this way, the display data generation unit 25 can generate display data for AR video corresponding to daytime, evening, night, and the like. Further, the display data generation unit 25 can generate display data of AR video corresponding to weather such as sunny, cloudy, rainy.

そして、ステップS42に進み、表示データ生成部25はステップS41で読み出した映像に、イベントの仮想的なオブジェクト1000の映像を合成した表示データを生成する。   In step S42, the display data generation unit 25 generates display data obtained by combining the video of the event virtual object 1000 with the video read in step S41.

ステップS43に進み、表示制御部26はステップS42で生成された表示データに基づき、図9のようなイベント映像を表示装置に表示させる。イベント処理部28は図9のイベント映像において、仮想的なオブジェクト1000を攻撃する操作などをユーザから受け付け、仮想的なオブジェクト1000を攻撃する映像の表示や、その攻撃による効果の計算、その攻撃による効果のゲームサーバ装置3への通知、などを行う。
[他の実施形態]
なお、上記の実施形態では位置情報を利用するゲームの例を説明したが、不動産物件や店舗などを紹介するアプリケーション(お散歩アプリなど)への適用も可能である。例えばAR映像には、クライアント端末2の位置情報により特定された不動産物件や店舗を表すオブジェクトが表示される。当該オブジェクトは、不動産物件や店舗の上空に表示されてもよいし、建物自体に重ねて表示されてもよい。クライアント端末2のユーザは不動産物件や店舗と対応付けられたオブジェクトの選択操作を行うことで、その不動産物件や店舗の間取りや内装などの空間の擬似AR映像やVR映像に表示を切り替えることができる。ユーザは、AR映像に表示されたオブジェクトをタップするなどの選択操作により、気になった不動産物件や店舗の間取りや内装などを容易に確認できる。
In step S43, the display control unit 26 causes the display device to display an event video as shown in FIG. 9 based on the display data generated in step S42. The event processing unit 28 receives an operation for attacking the virtual object 1000 from the user in the event video of FIG. 9, displays a video attacking the virtual object 1000, calculates the effect of the attack, and performs the attack. Notification of the effect to the game server device 3 is performed.
[Other Embodiments]
In the above-described embodiment, an example of a game using position information has been described, but application to an application (such as a walk app) that introduces a real estate property or a store is also possible. For example, in the AR video, an object representing a real estate property or a store specified by the position information of the client terminal 2 is displayed. The object may be displayed above the real estate property or store, or may be displayed over the building itself. The user of the client terminal 2 can switch the display to a pseudo AR video or VR video of a space such as a floor plan or interior of the real estate property or store by performing an operation of selecting an object associated with the real estate property or store. . The user can easily confirm the real estate property, the floor plan of the store, the interior, and the like by a selection operation such as tapping an object displayed in the AR video.

このように、本実施形態に係るクライアント端末2はAR映像から、擬似AR映像又はVR映像へ切り替えるインタフェースの仕組みをユーザに提供する。なお、図8のAR映像ではイベント映像に切り替えるための仮想的なオブジェクト1000が表示されている例を示したが、イベント映像に切り替える以外の目的で利用される仮想的なオブジェクトが表示されていてもよい。   As described above, the client terminal 2 according to the present embodiment provides the user with an interface mechanism for switching from AR video to pseudo AR video or VR video. In the AR video in FIG. 8, an example is shown in which a virtual object 1000 for switching to the event video is displayed, but a virtual object used for purposes other than switching to the event video is displayed. Also good.

また、クライアント端末2はヘッドマウントディスプレイであってもよい。表示データ生成部25が生成した表示データをクライアント端末2に表示した際、ディスプレイを直接タップ操作しなくても、ユーザが手などでジェスチャー操作をして表示された仮想的なオブジェクト1000に画面内で触れることで、仮想的なオブジェクト1000の選択ができてもよい。撮影ユニット410(カメラ)が手などの動作をトラッキングすることでジェスチャー操作を実現でき、ユーザは仮想的なオブジェクト1000を実際に触っているような感覚で選択することができる。   The client terminal 2 may be a head mounted display. When the display data generated by the display data generation unit 25 is displayed on the client terminal 2, the virtual object 1000 displayed on the screen can be displayed on the virtual object 1000 displayed by the user performing a gesture operation with a hand or the like without directly tapping the display. The virtual object 1000 may be selected by touching with. A gesture operation can be realized by the shooting unit 410 (camera) tracking a movement of a hand or the like, and the user can select the virtual object 1000 as if actually touching it.

(まとめ)
以上、本実施形態に係る情報処理システム1では、現在位置のAR映像を利用する事象の表示(イベント発生を表すオブジェクトの表示や近くに売り出し中の不動産物件があることを表すオブジェクトの表示)から、現在位置とは別の位置の擬似AR映像又はVR映像の表示に、容易に切り替え可能なインタフェースの仕組みを提供できる。
(Summary)
As described above, in the information processing system 1 according to the present embodiment, from the display of the event using the AR video at the current position (display of the object indicating the occurrence of the event or display of the object indicating that there is a real estate property for sale nearby). In addition, it is possible to provide an interface mechanism that can be easily switched to display a pseudo AR video or a VR video at a position different from the current position.

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。   The present invention is not limited to the specifically disclosed embodiments, and various modifications and changes can be made without departing from the scope of the claims.

1 情報処理システム
2 クライアント端末
3 ゲームサーバ装置
4 地図サーバ装置
5 ネットワーク
10 操作受付部
11 撮影部
12 ゲーム実行部
13 サーバアクセス部
14 画面表示部
15 映像記憶部
16 イベント情報記憶部
21 イベント情報取得部
22 位置情報取得部
23 地図情報取得部
24 映像取得部
25 表示データ生成部
26 表示制御部
27 切替制御部
28 イベント処理部
41 映像提供部
42 イベント情報提供部
43 イベント制御部
47 映像記憶部
48 イベント情報記憶部
61 地図情報提供部
62 地図情報記憶部
401、501 入力装置
402、502 出力装置
403、503 外部I/F
403a、503a 記録媒体
404、504 RAM
405、505 ROM
406、506 CPU
407、507 通信I/F
408、508 HDD
409 GPSユニット
410 撮影ユニット
411 電池
1000 仮想的なオブジェクト
1010 イベントの場所
B バス
DESCRIPTION OF SYMBOLS 1 Information processing system 2 Client terminal 3 Game server apparatus 4 Map server apparatus 5 Network 10 Operation reception part 11 Shooting part 12 Game execution part 13 Server access part 14 Screen display part 15 Image | video storage part 16 Event information storage part 21 Event information acquisition part 22 position information acquisition unit 23 map information acquisition unit 24 video acquisition unit 25 display data generation unit 26 display control unit 27 switching control unit 28 event processing unit 41 video provision unit 42 event information provision unit 43 event control unit 47 video storage unit 48 event Information storage unit 61 Map information providing unit 62 Map information storage unit 401, 501 Input device 402, 502 Output device 403, 503 External I / F
403a, 503a Recording medium 404, 504 RAM
405, 505 ROM
406, 506 CPU
407, 507 Communication I / F
408, 508 HDD
409 GPS unit 410 Shooting unit 411 Battery 1000 Virtual object 1010 Event location B Bus

Claims (7)

ユーザが操作する端末装置であって、
映像を撮影する撮影手段と、
撮影した映像に仮想的なオブジェクトを合成した表示データを生成する表示データ生成手段と、
前記表示データに基づき、前記オブジェクトが合成された前記映像を表示装置に表示する表示制御手段と、
前記表示装置に表示された前記オブジェクトに対する選択操作をユーザから受け付ける選択操作受付手段と、
前記オブジェクトに対する選択操作をユーザから受け付けた場合に、前記オブジェクトが合成された前記映像とは別の映像であって、前記オブジェクトと対応付けられている空間の映像に前記表示装置の表示を切り替える切替制御手段と、
を有することを特徴とする端末装置。
A terminal device operated by a user,
Photographing means for photographing images;
Display data generating means for generating display data obtained by synthesizing a virtual object with a photographed video;
Display control means for displaying on the display device the video in which the object is synthesized based on the display data;
A selection operation receiving means for receiving a selection operation for the object displayed on the display device from a user;
When a selection operation for the object is received from a user, switching is performed to switch the display of the display device to a video in a space that is different from the video in which the object is combined and is associated with the object. Control means;
The terminal device characterized by having.
前記ユーザが参加するイベントの位置情報を取得するイベント情報取得手段、
を更に有し、
前記表示データ生成手段は、前記撮影した映像に前記仮想的なオブジェクトを前記イベントの位置情報により特定されるイベントの開催場所に基づいて合成した表示データを生成し、
前記切替制御手段は、前記オブジェクトに対する選択操作をユーザから受け付けた場合に、前記オブジェクトと対応付けられている前記イベントの開催場所に基づいた映像に前記表示装置の表示を切り替え、前記ユーザを前記イベントに参加させること
を特徴とする請求項1記載の端末装置。
Event information acquisition means for acquiring position information of an event in which the user participates,
Further comprising
The display data generating means generates display data obtained by synthesizing the virtual object based on the event location specified by the event position information with the captured video,
When the switching control unit receives a selection operation for the object from a user, the switching control unit switches the display on the display device to a video based on a place where the event is associated with the object and The terminal device according to claim 1, wherein the terminal device is allowed to participate.
前記切替制御手段は、前記端末装置の位置情報及び前記イベントの位置情報を利用することで、前記端末装置が前記イベントの開催場所にいるかを判定し、前記端末装置が前記イベントの開催場所にいると判定した場合に、前記イベントの開催場所に基づいた映像に前記表示装置の表示を切り替え、前記ユーザを前記イベントに参加させること
を特徴とする請求項2記載の端末装置。
The switching control means determines whether the terminal device is at the event venue by using the location information of the terminal device and the event location information, and the terminal device is at the event venue. 3. The terminal device according to claim 2, wherein, when it is determined, the display of the display device is switched to a video based on a place where the event is held, and the user is allowed to participate in the event.
前記イベントの開催場所にいる前記端末装置のユーザと前記イベントの開催場所にいない前記端末装置のユーザとが同一の前記イベントに参加できること
を特徴とする請求項3記載の端末装置。
The terminal device according to claim 3, wherein a user of the terminal device at the event holding place and a user of the terminal device not at the event holding place can participate in the same event.
前記切替制御手段は、前記オブジェクトと対応付けられている空間の映像を、実時間と連動させて変化させること
を特徴とする請求項1乃至4何れか一項記載の端末装置。
5. The terminal device according to claim 1, wherein the switching control unit changes a video of a space associated with the object in association with real time.
前記オブジェクトと対応付けられている空間の映像は、事前に撮影された前記オブジェクトと対応付けられている場所を事前に撮影した映像であること
を特徴とする請求項1乃至5何れか一項記載の端末装置。
The video of the space associated with the object is a video obtained by photographing a location associated with the object photographed in advance. Terminal equipment.
ユーザが操作する端末装置を、
映像を撮影する撮影手段、
撮影した映像に仮想的なオブジェクトを合成した表示データを生成する表示データ生成手段、
前記表示データに基づき、前記オブジェクトが合成された前記映像を表示装置に表示する表示制御手段、
前記表示装置に表示された前記オブジェクトに対する選択操作をユーザから受け付ける選択操作受付手段、
前記オブジェクトに対する選択操作をユーザから受け付けた場合に、前記オブジェクトが合成された前記映像とは別の映像であって、前記オブジェクトと対応付けられている空間の映像に前記表示装置の表示を切り替える切替制御手段、
として機能させるためのプログラム。
The terminal device operated by the user
Shooting means for shooting images,
Display data generating means for generating display data in which a virtual object is combined with a photographed video;
Display control means for displaying on the display device the video in which the object is synthesized based on the display data;
A selection operation receiving means for receiving a selection operation for the object displayed on the display device from a user;
When a selection operation for the object is received from a user, switching is performed to switch the display of the display device to a video in a space that is different from the video in which the object is combined and is associated with the object. Control means,
Program to function as.
JP2018110601A 2018-06-08 2018-06-08 Terminal device and program Active JP6658799B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018110601A JP6658799B2 (en) 2018-06-08 2018-06-08 Terminal device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018110601A JP6658799B2 (en) 2018-06-08 2018-06-08 Terminal device and program

Publications (2)

Publication Number Publication Date
JP2019212236A true JP2019212236A (en) 2019-12-12
JP6658799B2 JP6658799B2 (en) 2020-03-04

Family

ID=68846858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018110601A Active JP6658799B2 (en) 2018-06-08 2018-06-08 Terminal device and program

Country Status (1)

Country Link
JP (1) JP6658799B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354466B1 (en) * 2023-02-02 2023-10-02 株式会社コロプラ Information processing systems and programs

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (en) * 2005-04-08 2006-10-26 Canon Inc Information processing method, information processor, and remote mixed reality sharing device
JP2014038523A (en) * 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium
WO2014162852A1 (en) * 2013-04-04 2014-10-09 ソニー株式会社 Image processing device, image processing method and program
WO2018092384A1 (en) * 2016-11-21 2018-05-24 ソニー株式会社 Information processing device, information processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006293604A (en) * 2005-04-08 2006-10-26 Canon Inc Information processing method, information processor, and remote mixed reality sharing device
JP2014038523A (en) * 2012-08-17 2014-02-27 Institute Of Physical & Chemical Research Substitutional reality system control device, substitutional reality system, substitutional reality control method, program, and storage medium
WO2014162852A1 (en) * 2013-04-04 2014-10-09 ソニー株式会社 Image processing device, image processing method and program
WO2018092384A1 (en) * 2016-11-21 2018-05-24 ソニー株式会社 Information processing device, information processing method, and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7354466B1 (en) * 2023-02-02 2023-10-02 株式会社コロプラ Information processing systems and programs

Also Published As

Publication number Publication date
JP6658799B2 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
US20240096039A1 (en) Display control apparatus, display control method, and program
CN110147231B (en) Combined special effect generation method and device and storage medium
CN108710525B (en) Map display method, device, equipment and storage medium in virtual scene
WO2019153824A1 (en) Virtual object control method, device, computer apparatus, and storage medium
KR102595150B1 (en) Method for controlling multiple virtual characters, device, apparatus, and storage medium
US8253649B2 (en) Spatially correlated rendering of three-dimensional content on display components having arbitrary positions
CN110427110B (en) Live broadcast method and device and live broadcast server
US10110830B2 (en) Multiple streaming camera navigation interface system
US11558562B2 (en) Apparatus and method for providing 360-degree panoramic background during video call
CN108694073B (en) Control method, device and equipment of virtual scene and storage medium
CN109646944B (en) Control information processing method, control information processing device, electronic equipment and storage medium
CN111701238A (en) Virtual picture volume display method, device, equipment and storage medium
CN112016941A (en) Virtual article pickup method, device, terminal and storage medium
CN110448908B (en) Method, device and equipment for applying sighting telescope in virtual environment and storage medium
CN109448050B (en) Method for determining position of target point and terminal
CN110210045B (en) Method and device for estimating number of people in target area and storage medium
US20220159197A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium
JP2021535806A (en) Virtual environment observation methods, devices and storage media
JP2022531599A (en) Viewpoint rotation methods, devices, terminals and computer programs
CN111083526B (en) Video transition method and device, computer equipment and storage medium
JP6658799B2 (en) Terminal device and program
CN112023403A (en) Battle process display method and device based on image-text information
CN112188268B (en) Virtual scene display method, virtual scene introduction video generation method and device
CN111213374A (en) Video playing method and device
CN112367533A (en) Interactive service processing method, device, equipment and computer readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190325

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190911

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191015

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R150 Certificate of patent or registration of utility model

Ref document number: 6658799

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250