JP2023155570A - Video processing system, video processing apparatus, video processing program, and video processing method - Google Patents

Video processing system, video processing apparatus, video processing program, and video processing method Download PDF

Info

Publication number
JP2023155570A
JP2023155570A JP2022064971A JP2022064971A JP2023155570A JP 2023155570 A JP2023155570 A JP 2023155570A JP 2022064971 A JP2022064971 A JP 2022064971A JP 2022064971 A JP2022064971 A JP 2022064971A JP 2023155570 A JP2023155570 A JP 2023155570A
Authority
JP
Japan
Prior art keywords
item
video
real
virtual
video processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022064971A
Other languages
Japanese (ja)
Inventor
聖隆 竹本
Kiyotaka Takemoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pretia Technologies Inc
Original Assignee
Pretia Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pretia Technologies Inc filed Critical Pretia Technologies Inc
Priority to JP2022064971A priority Critical patent/JP2023155570A/en
Publication of JP2023155570A publication Critical patent/JP2023155570A/en
Pending legal-status Critical Current

Links

Abstract

To provide a video processing system, a video processing apparatus, a video processing program, and a video processing method that implement video processing capable of improving player interest.SOLUTION: The video processing system performs: video processing of superimposing virtual information on images of real space acquired by a player terminal that can access a server via a network; real item authentication processing of associating a real item existing in the real space with a virtual item functioning in an augmented reality space realized by the execution of video processing to authenticate them; video receipt processing of receiving the video in the real space from the player terminal including an image of the real item authenticated in the real item authentication processing; and virtual information display processing of causing the virtual item to function based on an operation of the real item of the video received in the video reception processing and displaying arbitrary virtual item object as the virtual information on the player terminal.SELECTED DRAWING: Figure 8

Description

本発明は、映像処理システム、映像処理装置、映像処理プログラム及び映像処理方法、特に、ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理システム、映像処理装置、映像処理プログラム及び映像処理方法に関する。 The present invention relates to a video processing system, a video processing device, a video processing program, and a video processing method, in particular video processing that superimposes virtual information on a real space video obtained by a player terminal that can access a server via a network. The present invention relates to a video processing system, a video processing device, a video processing program, and a video processing method.

近年、例えばスマートフォンや眼鏡型のウェアラブルデバイス等の端末に表示される現実空間の映像に、コンピュータグラフィックスによる映像を仮想情報として重ね合わせて、現実空間と仮想情報との調和を楽しむことが可能な、現実空間が拡張された拡張現実空間を提供する映像処理技術が提案されている。 In recent years, it has become possible to enjoy the harmony between real space and virtual information by superimposing computer graphics images as virtual information on images of real space displayed on terminals such as smartphones and wearable glasses. , video processing technology has been proposed that provides an augmented reality space that is an augmented reality space.

特許文献1には、現実空間の画像に仮想空間画像を重ね合わせてプレイヤの表示装置に表示させるゲームにおいて、プレイヤの動作に応じて仮想オブジェクトを表示させる映像処理技術が開示されている。 Patent Document 1 discloses a video processing technique for displaying a virtual object in accordance with a player's motion in a game in which a virtual space image is superimposed on a real space image and displayed on a player's display device.

特開2019-201942公報JP 2019-201942 Publication

ところで、この種の映像処理技術において、例えば腕時計のような日常的に用いられる小物としての実アイテムを用いることによって、現実空間の映像に重ね合わせられる仮想情報が変化すれば、実アイテムによる直感的な操作に基づいて、現実空間の映像に重ね合わせられる仮想情報とプレイヤとのインタラクションが実現されることから、プレイヤの興趣が向上する。 By the way, in this type of image processing technology, if the virtual information superimposed on the image of the real space changes by using a real item such as a wristwatch, which is a small item that is used on a daily basis, it is possible to The interaction between the player and the virtual information superimposed on the image of the real space is realized based on the operation, which improves the player's interest.

本発明は、上記事情に鑑みてなされたものであり、プレイヤの興趣を向上させることができる映像処理を実現する映像処理システム、映像処理装置、映像処理プログラム及び映像処理方法を提供することを課題とするものである。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a video processing system, a video processing device, a video processing program, and a video processing method that realize video processing that can improve player interest. That is.

上記目的を達成するための本発明に係る映像処理システムは、ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理システムにおいて、現実空間に存在する実アイテムと映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、実アイテム認証処理で認証した実アイテムの映像が含まれる現実空間の映像をプレイヤ端末から受け付ける映像受付処理と、映像受付処理で受け付けた映像における実アイテムの動作に基づいて仮想アイテムを機能させて任意の仮想アイテムオブジェクトを仮想情報としてプレイヤ端末に表示する仮想情報表示処理と、を実行することを特徴としている。 A video processing system according to the present invention for achieving the above object is a video processing system that executes video processing to superimpose virtual information on a video of real space acquired by a player terminal that can access a server via a network. It includes a real item authentication process that associates and authenticates a real item that exists in a real space with a virtual item that functions in an augmented reality space that is realized by executing video processing, and a video of the real item authenticated in the real item authentication process. A video reception process that accepts images of the real space from the player terminal, and a virtual item that functions as a virtual item based on the behavior of the real item in the video received in the video reception process and displays an arbitrary virtual item object as virtual information on the player terminal. It is characterized by performing information display processing.

これによれば、プレイヤが実アイテムを動かすことによる実アイテムの動作に基づいて、拡張現実空間で機能する仮想アイテムを機能させて仮想アイテムオブジェクトをプレイヤ端末に表示することから、現実空間の映像に重ね合わせられる仮想情報とプレイヤとのインタラクションが実現され、このような映像処理に接するプレイヤの興趣が向上する。 According to this method, a virtual item that functions in an augmented reality space is activated to display a virtual item object on a player terminal based on the movement of the real item when the player moves the real item, so that the virtual item object is displayed on the player terminal. Interaction between the superimposed virtual information and the player is realized, and the player's interest in such video processing is improved.

この映像処理システムで実行される仮想情報表示処理は、任意の仮想オブジェクトを仮想情報としてプレイヤ端末に表示することを特徴としており、さらに、映像における実アイテムの動作と併せてプレイヤ端末に入力される入力情報に基づいて仮想アイテムを機能させて仮想アイテムオブジェクトを仮想情報としてプレイヤ端末に表示することを特徴としている。 The virtual information display process executed by this video processing system is characterized by displaying an arbitrary virtual object as virtual information on the player terminal, and furthermore, it is also input to the player terminal together with the movement of the real item in the video. It is characterized in that a virtual item is made to function based on input information and a virtual item object is displayed on a player terminal as virtual information.

この映像処理システムで実行される実アイテム認証処理は、予め設定された実アイテムに任意の仮想アイテムを関連づけて認証することを特徴としている。 The real item authentication process executed by this video processing system is characterized in that an arbitrary virtual item is associated with a preset real item and authenticated.

ところで、実アイテムは、現実空間に存在して日常的に用いられる小物であってもよい。 By the way, the real item may be a small item that exists in real space and is used on a daily basis.

上記目的を達成するための本発明に係る映像処理装置は、ネットワークを介してプレイヤ端末からアクセス可能であってプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理装置において、現実空間に存在する実アイテムと映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、実アイテム認証処理で認証した実アイテムの映像が含まれる現実空間の映像をプレイヤ端末から受け付ける映像受付処理と、映像受付処理で受け付けた映像における実アイテムの動作に基づいて仮想アイテムを機能させて任意の仮想アイテムオブジェクトを仮想情報としてプレイヤ端末に表示する仮想情報表示処理と、を実行することを特徴としている。 A video processing device according to the present invention for achieving the above object is a video processing device that is accessible from a player terminal via a network and performs video processing that superimposes virtual information on a video of a real space acquired by the player terminal. In the device, a real item authentication process is performed to authenticate a real item that exists in a real space by associating it with a virtual item that functions in an augmented reality space realized by executing video processing, and a video of the real item authenticated in the real item authentication process is performed. A video reception process that receives from the player terminal a video of a real space that includes a The present invention is characterized in that it executes virtual information display processing to be displayed.

上記目的を達成するための本発明に係る映像処理プログラムは、ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理プログラムにおいて、サーバに、現実空間に存在する実アイテムと映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理、実アイテム認証処理で認証した実アイテムの映像が含まれる現実空間の映像をプレイヤ端末から受け付ける映像受付処理、映像受付処理で受け付けた映像における実アイテムの動作に基づいて仮想アイテムを機能させて任意の仮想アイテムオブジェクトを仮想情報としてプレイヤ端末に表示する仮想情報表示処理、を実行させることを特徴としている。 A video processing program according to the present invention for achieving the above object is a video processing program that executes video processing to superimpose virtual information on a video of real space acquired by a player terminal that can access a server via a network. A real item authentication process that associates and authenticates a real item existing in a real space with a virtual item that functions in an augmented reality space realized by executing video processing, and a video of the real item authenticated in the real item authentication process is sent to the server. A video reception process that receives images of the included real space from the player terminal, and displays an arbitrary virtual item object as virtual information on the player terminal by making the virtual item function based on the movement of the real item in the video received in the video reception process. It is characterized by executing virtual information display processing.

上記目的を達成するための本発明に係る映像処理方法は、ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理方法において、サーバが、現実空間に存在する実アイテムと映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、実アイテム認証処理で認証した実アイテムの映像が含まれる現実空間の映像をプレイヤ端末から受け付ける映像受付処理と、映像受付処理で受け付けた映像における実アイテムの動作に基づいて仮想アイテムを機能させて任意の仮想アイテムオブジェクトを仮想情報としてプレイヤ端末に表示する仮想情報表示処理と、を実行することを特徴としている。 A video processing method according to the present invention for achieving the above object is a video processing method that performs video processing of superimposing virtual information on a video of real space acquired by a player terminal that can access a server via a network. A real item authentication process in which the server associates and authenticates a real item existing in the real space with a virtual item functioning in an augmented reality space realized by executing video processing, and a video of the real item authenticated in the real item authentication process. A video reception process that receives from the player terminal a video of a real space that includes a The present invention is characterized in that it executes virtual information display processing to be displayed.

この発明によれば、現実空間の映像に重ね合わせられる仮想情報とプレイヤとのインタラクションが実現されることから、プレイヤの興趣が向上する。 According to the present invention, since the player can interact with the virtual information superimposed on the image of the real space, the player's interest is improved.

本発明の実施の形態に係る映像処理システムの構成の概略を説明する図である。1 is a diagram illustrating an outline of the configuration of a video processing system according to an embodiment of the present invention. 同じく、本実施の形態に係る映像処理システムのプレイヤ端末の構成の概略を説明するブロック図である。Similarly, it is a block diagram illustrating the outline of the configuration of a player terminal of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムのプレイヤ端末で取得する現実空間の映像の一例を示す図である。Similarly, it is a diagram showing an example of a video of real space acquired by a player terminal of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムのプレイヤ端末で取得する実アイテム画像データの一例を示す図である。Similarly, it is a diagram showing an example of real item image data acquired by the player terminal of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムのプレイヤ端末の端末側処理プログラムの処理の概略を説明するブロック図である。Similarly, it is a block diagram illustrating an outline of processing of a terminal-side processing program of a player terminal of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムのプレイヤ端末で取得する位置情報の構成の概略を説明するブロック図である。Similarly, it is a block diagram illustrating an outline of the configuration of position information acquired by a player terminal of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理装置の構成の概略を説明するブロック図である。Similarly, it is a block diagram illustrating the outline of the configuration of a video processing device of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理装置のストレージの構成の概略を説明するブロック図である。Similarly, it is a block diagram illustrating the outline of the storage configuration of the video processing device of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムで処理されるゲーム情報の構成の概略を説明するブロック図である。Similarly, it is a block diagram illustrating the outline of the structure of game information processed by the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムで処理される仮想アイテムデータの構成の概略を説明する図である。Similarly, it is a diagram illustrating the outline of the configuration of virtual item data processed by the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムで処理されるマップ情報の構成の概略を説明する図である。Similarly, it is a diagram explaining the outline of the structure of map information processed by the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムで処理される仮想情報の構成の概略を説明する図である。Similarly, it is a diagram illustrating an outline of the configuration of virtual information processed by the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理プログラムにおける実アイテム認証処理の概略を説明する図である。Similarly, it is a diagram illustrating an outline of real item authentication processing in the video processing program of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理プログラムにおける仮想情報表示処理の概略を説明する図である。Similarly, it is a diagram illustrating an outline of virtual information display processing in the video processing program of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの映像処理プログラムにおける仮想情報表示処理の概略を説明する図である。Similarly, it is a diagram illustrating an outline of virtual information display processing in the video processing program of the video processing system according to the present embodiment. 同じく、本実施の形態に係る映像処理システムの処理の概略を説明するフローチャートである。Similarly, it is a flowchart illustrating an outline of processing of the video processing system according to the present embodiment.

次に、図1~図16に基づいて、本発明の実施の形態に係る映像処理システムについて説明する。 Next, a video processing system according to an embodiment of the present invention will be described based on FIGS. 1 to 16.

図1は、本実施の形態に係る映像処理システムの構成の概略を説明する図である。図示のように、映像処理システム10は、サーバとして機能する映像処理装置20及び複数のプレイヤ端末30を主要構成として備え、これらがインターネット網等のネットワーク100を介して互いにアクセス可能に接続される。 FIG. 1 is a diagram illustrating an outline of the configuration of a video processing system according to this embodiment. As illustrated, the video processing system 10 mainly includes a video processing device 20 functioning as a server and a plurality of player terminals 30, which are connected to each other so as to be accessible via a network 100 such as the Internet.

本実施の形態では、映像処理装置20は、映像処理システム10を用いて現実空間の映像に仮想情報を重ね合わせる映像処理が実現されるゲームを提供する事業者1に管理され、プレイヤ端末30は、事業者1が提供するゲームを利用する複数のプレイヤ2に保有される。 In the present embodiment, the video processing device 20 is managed by a business operator 1 that provides a game that implements video processing that superimposes virtual information on a video in real space using the video processing system 10, and the player terminal 30 is , owned by a plurality of players 2 who use games provided by a business operator 1.

事業者1が提供するゲームは、画像、動画、音声等のオブジェクトの生成を主な目的とするゲームであって、例えば、対戦ゲーム、パズルゲーム、アクションゲーム、野球ゲーム、サッカーゲーム、その他スポーツゲーム、クイズゲーム、ピンボールゲーム、カードゲーム、リズムゲーム、RPG(ロールプレイングゲーム)、位置情報ゲーム、ボードゲーム、アドベンチャーゲーム、カジノゲーム、シミュレーションゲーム、ストラテジーゲーム、レーシングゲーム等であってよい。 The games provided by the business operator 1 are games whose main purpose is to generate objects such as images, videos, and sounds, and include, for example, competitive games, puzzle games, action games, baseball games, soccer games, and other sports games. , a quiz game, a pinball game, a card game, a rhythm game, an RPG (role playing game), a location information game, a board game, an adventure game, a casino game, a simulation game, a strategy game, a racing game, etc.

なお、本実施の形態では、事業者1が提供するゲームが、プレイヤ2が保有するプレイヤ端末30が検知するプレイヤ2の位置情報を利用する位置情報ゲームである場合を主に想定して説明する。 Note that in this embodiment, the description will be mainly based on the assumption that the game provided by the operator 1 is a location information game that uses the location information of the player 2 detected by the player terminal 30 owned by the player 2. .

次に、本実施の形態の映像処理システム10の各部の具体的な構成について説明する。 Next, the specific configuration of each part of the video processing system 10 of this embodiment will be explained.

なお、説明の便宜上、まずプレイヤ端末30の構成の概略について説明し、続いて映像処理装置20の構成の概略について説明する。 For convenience of explanation, first the outline of the configuration of the player terminal 30 will be explained, and then the outline of the configuration of the video processing device 20 will be explained.

プレイヤ端末30は、本実施の形態では、携帯型情報端末であるスマートフォンあるいはタブレット型のコンピュータによって実装される。 In this embodiment, the player terminal 30 is implemented by a smartphone, which is a portable information terminal, or a tablet computer.

図2は、プレイヤ端末30の構成の概略を説明するブロック図である。図示のように、プレイヤ端末30は、制御部31、カメラ32、ディスプレイ33及びセンサ類34を主要構成として備える。 FIG. 2 is a block diagram illustrating the outline of the configuration of the player terminal 30. As illustrated, the player terminal 30 includes a control section 31, a camera 32, a display 33, and sensors 34 as main components.

制御部31は、カメラ32、ディスプレイ33、センサ類34等のプレイヤ端末30の各部を制御するものであって、例えばプロセッサ、メモリ、ストレージ、送受信部等によって構成される。 The control section 31 controls each section of the player terminal 30, such as the camera 32, display 33, and sensors 34, and includes, for example, a processor, a memory, a storage, a transmitting/receiving section, and the like.

この制御部31には、本実施の形態では、端末側処理プログラムが格納される。端末側処理プログラムの詳細については、後述する。 In this embodiment, a terminal side processing program is stored in this control unit 31. Details of the terminal side processing program will be described later.

カメラ32は、任意のあらゆる事物を被写体として撮像して映像あるいは画像として取得するものであって、本実施の形態では、図3で示すような現実空間の映像d1を実時間で取得したり、図4で示すような現実空間に存在する日常的に用いられる実アイテム(例えばルーペ)の画像を実アイテム画像データd2として取得したりする。 The camera 32 captures any object as a subject and acquires it as a video or image, and in this embodiment, it acquires a video d1 of the real space as shown in FIG. 3 in real time, An image of a real item (for example, a magnifying glass) that is used on a daily basis and exists in a real space as shown in FIG. 4 is acquired as real item image data d2.

この実アイテム画像データd2は、本実施の形態では、後述する仮想情報の一部として映像処理装置20に格納される。 In this embodiment, this real item image data d2 is stored in the video processing device 20 as part of virtual information, which will be described later.

図2で示すディスプレイ33は、カメラ32で取得した映像、画像やプレイヤ端末30に格納されるアプリケーションプログラムのインターフェース等が表示され、本実施の形態では、現実空間の映像d1や拡張現実空間の映像が表示される。 The display 33 shown in FIG. 2 displays videos and images acquired by the camera 32, interfaces of application programs stored in the player terminal 30, and the like. is displayed.

このディスプレイ33は、本実施の形態では、表示面への接触によって情報の入力を受け付けるものであって、抵抗膜方式や静電容量方式といった各種の技術によって実装される。 In this embodiment, the display 33 accepts information input by touching the display surface, and is implemented using various techniques such as a resistive film method and a capacitive method.

本実施の形態では、ディスプレイ33を介して入力情報が入力される。この入力情報は、ゲームの操作に関して入力される情報、あるいはゲームに関する各種の設定やユーティリティ管理に関して入力される情報である。 In this embodiment, input information is input via the display 33. This input information is information input regarding the operation of the game, or information input regarding various settings and utility management regarding the game.

入力情報は、ディスプレイ33に対するプレイヤ2の任意の動作(例えばディスプレイ33をタップあるいはスワイプする動作や、ディスプレイ33に表示されるアイコン等をドラッグしてドロップする動作等)に基づいて入力される。 The input information is input based on an arbitrary action of the player 2 on the display 33 (for example, an action of tapping or swiping the display 33, an action of dragging and dropping an icon displayed on the display 33, etc.).

センサ類34は、本実施の形態では、ジャイロセンサや加速度センサ等によって構成され、現実空間におけるプレイヤ端末30の位置や向きを検知する。 In this embodiment, the sensors 34 include a gyro sensor, an acceleration sensor, and the like, and detect the position and orientation of the player terminal 30 in real space.

図5は、端末側処理プログラムの処理の概略を説明するブロック図である。図示のように、端末側処理プログラム40は、情報受付処理S1、取得映像処理S2及び位置情報取得処理S3を実行するプログラムである。 FIG. 5 is a block diagram illustrating an outline of the processing of the terminal side processing program. As illustrated, the terminal-side processing program 40 is a program that executes information reception processing S1, acquired video processing S2, and position information acquisition processing S3.

情報受付処理S1は、プレイヤ端末30に入力される各種の情報を受け付ける処理を実行する。本実施の形態では、カメラ32で取得される現実空間の映像d1及び実アイテム画像データd2あるいは任意の画像を受け付ける処理、プレイヤ2によるプレイヤ端末30の操作に関する入力情報を受け付ける処理を実行する。 The information reception process S1 executes a process of accepting various information input to the player terminal 30. In the present embodiment, processing is performed to receive the real space video d1 and real item image data d2 obtained by the camera 32, or any arbitrary image, and to receive input information regarding the operation of the player terminal 30 by the player 2.

取得映像処理S2は、情報受付処理S1で受け付けた映像等の処理を実行する。本実施の形態では、情報受付処理S1で受け付けた、カメラ32が取得した現実空間の映像d1や実アイテム画像データd2を処理する。 The acquired video processing S2 executes processing of the video etc. received in the information reception processing S1. In this embodiment, the real space video d1 and real item image data d2 acquired by the camera 32, which are received in the information reception process S1, are processed.

具体的には、例えば、カメラ32が実時間で取得した図3で示したような現実空間の映像d1から現実空間の映像d1の画素情報の特徴量を抽出する処理を実行したり、図4で示したような実アイテム画像データd2から実アイテム画像データd2の画素情報の特徴量を抽出する処理を実行したりする。 Specifically, for example, a process of extracting the feature amount of pixel information of the real space video d1 from the real space video d1 as shown in FIG. 3 acquired by the camera 32 in real time, or A process of extracting the feature quantity of pixel information of the real item image data d2 from the real item image data d2 as shown in is executed.

位置情報取得処理S3は、現実空間においてプレイヤ端末30が存在する位置に関する位置情報を取得する処理を実行する。 The position information acquisition process S3 executes a process of acquiring position information regarding the position where the player terminal 30 exists in real space.

図6は、位置情報の構成の概略を説明するブロック図である。図示のように、位置情報D1は、例えば、GPS等によって測位されるプレイヤ端末30の座標データD1a、及びプレイヤ端末30のセンサ類34が取得したプレイヤ端末30の位置や向きに関する状態データD1bによって構成される。 FIG. 6 is a block diagram illustrating the outline of the configuration of position information. As shown in the figure, the position information D1 includes, for example, coordinate data D1a of the player terminal 30 measured by GPS or the like, and status data D1b regarding the position and orientation of the player terminal 30 acquired by the sensors 34 of the player terminal 30. be done.

図1で示す映像処理装置20は、本実施の形態では、サーバとして機能するコンピュータ、例えばデスクトップ型あるいはノート型のコンピュータによって実装される。 In this embodiment, the video processing device 20 shown in FIG. 1 is implemented by a computer that functions as a server, for example, a desktop or notebook computer.

なお、映像処理装置20は、本実施の形態ではクラウド環境で実装される。 Note that the video processing device 20 is implemented in a cloud environment in this embodiment.

図7は、映像処理装置20の構成の概略を説明するブロック図である。図示のように、映像処理装置20は、プロセッサ21、メモリ22、ストレージ23、送受信部24及び入出力部25を主要構成として備え、これらが互いにバス26を介して電気的に接続される。 FIG. 7 is a block diagram illustrating the outline of the configuration of the video processing device 20. As shown in FIG. As illustrated, the video processing device 20 includes a processor 21, a memory 22, a storage 23, a transmitting/receiving section 24, and an input/output section 25 as main components, which are electrically connected to each other via a bus 26.

プロセッサ21は、映像処理装置20の動作を制御し、各要素間におけるデータの送受信の制御や、アプリケーションプログラムの実行に必要な処理等を行う演算装置である。 The processor 21 is an arithmetic device that controls the operation of the video processing device 20, controls the transmission and reception of data between each element, and performs processing necessary for executing an application program.

このプロセッサ21は、本実施の形態では例えばCPU(Central Processing Unit)であり、後述するストレージ23に格納されてメモリ22に展開されたアプリケーションプログラムを実行して各処理を行う。 In this embodiment, the processor 21 is, for example, a CPU (Central Processing Unit), and executes an application program stored in the storage 23 and developed in the memory 22 to perform various processes.

メモリ22は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶装置を備える。 The memory 22 includes a main storage device made up of a volatile storage device such as a DRAM (Dynamic Random Access Memory), and an auxiliary storage device made up of a nonvolatile storage device such as a flash memory or an HDD (Hard Disc Drive). .

このメモリ22は、プロセッサ21の作業領域として使用される一方、映像処理装置20の起動時に実行されるBIOS(Basic Input/Output System)、及び各種の設定情報等が格納される。 The memory 22 is used as a work area for the processor 21, and also stores a BIOS (Basic Input/Output System) executed when the video processing device 20 is started, various setting information, and the like.

ストレージ23は、アプリケーションプログラムや各種の処理に用いられるデータ等が格納されている。 The storage 23 stores application programs, data used in various processes, and the like.

送受信部24は、映像処理装置20をネットワーク100に接続する。この送受信部24は、Bluetooth(登録商標)やBLE(Bluetooth Low Energy)といった近距離通信インターフェースを具備するものであってもよい。 The transmitting/receiving unit 24 connects the video processing device 20 to the network 100. The transmitter/receiver 24 may include a short-range communication interface such as Bluetooth (registered trademark) or BLE (Bluetooth Low Energy).

入出力部25には、必要に応じて、キーボードやマウスといった情報入力機器やディスプレイ等の出力機器が接続される。本実施の形態では、キーボード、マウス及びディスプレイがそれぞれ接続される。 Information input devices such as a keyboard and mouse, and output devices such as a display are connected to the input/output unit 25 as necessary. In this embodiment, a keyboard, mouse, and display are each connected.

バス26は、接続したプロセッサ21、メモリ22、ストレージ23、送受信部24及び入出力部25の間において、例えばアドレス信号、データ信号及び各種の制御信号を伝達する。 The bus 26 transmits, for example, address signals, data signals, and various control signals between the connected processor 21 , memory 22 , storage 23 , transmitting/receiving section 24 , and input/output section 25 .

図8は、映像処理装置20のストレージ23の構成の概略を説明するブロック図である。図示のように、ストレージ23は、第1記憶領域51、第2記憶領域52、ゲーム処理プログラム53及び映像処理プログラム54を備える。 FIG. 8 is a block diagram illustrating the outline of the configuration of the storage 23 of the video processing device 20. As illustrated, the storage 23 includes a first storage area 51, a second storage area 52, a game processing program 53, and a video processing program 54.

第1記憶領域51及び第2記憶領域52は、ストレージ23の記憶領域が区画されることによって実現され、本実施の形態では、第1記憶領域51にゲーム情報D2が格納され、第2記憶領域52にマップ情報D3及び仮想情報D4が格納される。 The first storage area 51 and the second storage area 52 are realized by partitioning the storage area of the storage 23, and in this embodiment, the game information D2 is stored in the first storage area 51, and the second storage area 52 stores map information D3 and virtual information D4.

図9は、ゲーム情報D2の構成の概略を説明するブロック図である。図示のように、ゲーム情報D2は、ゲームデータD2a、イベントデータD2b及びプレイヤデータD2cを備える。 FIG. 9 is a block diagram illustrating the outline of the configuration of the game information D2. As illustrated, the game information D2 includes game data D2a, event data D2b, and player data D2c.

ゲームデータD2aは、ゲームの種類に応じたゲームに関する設定、あるいはゲームの進行に関するデータによって構成される。 The game data D2a is composed of game-related settings depending on the type of game or data related to the progress of the game.

このゲームデータD2aには、本実施の形態では、後述する仮想情報としてゲーム内で表示される仮想オブジェクト及び仮想アイテムオブジェクトに関する設定(例えば後述するマップ上での仮想オブジェクトの動作等)が含まれる。 In this embodiment, the game data D2a includes settings related to virtual objects and virtual item objects displayed in the game as virtual information (described later) (for example, the movement of the virtual object on a map described later).

仮想アイテムオブジェクトに関する設定は、本実施の形態では、仮想アイテムデータとしてゲームデータD2aに含まれる。 In this embodiment, settings related to the virtual item object are included in the game data D2a as virtual item data.

図10は、仮想アイテムデータの構成の概略を説明する図である。図示のように、仮想アイテムデータd3は、仮想アイテム、仮想アイテムの機能及び仮想アイテムに関連づけられる実アイテムに関する情報によって構成される。 FIG. 10 is a diagram illustrating the outline of the configuration of virtual item data. As illustrated, the virtual item data d3 includes information regarding the virtual item, the function of the virtual item, and the real item associated with the virtual item.

仮想アイテムは、本実施の形態では、ゲーム内でプレイヤ2に使用されて機能するゲーム内アイテムについての情報であって、例えば、現実空間に重畳する異世界を見ることができるという演出を実行する「異世界ルーペ」、弾丸を発射するという演出を実行する「腕時計型銃」、任意の物体を凍らせるという演出を実行する「魔法の杖」、あるいは仮想オブジェクトを乗せるという演出を実行する「スケボー」等が仮想アイテムとして設定される。 In this embodiment, the virtual item is information about an in-game item that is used and functions by the player 2 in the game, and for example, performs an effect that allows the player to see a different world superimposed on the real space. ``Anotherworldly magnifying glass'', a ``watch-type gun'' that performs the effect of firing bullets, a ``magic wand'' that performs the effect of freezing an arbitrary object, or a ``skateboard'' that performs the effect of placing a virtual object on top of it. ” etc. are set as virtual items.

実アイテムは、本実施の形態では、仮想アイテムが関連づけられるように予め設定された実アイテムについての情報であって、例えば、異世界ルーペが関連づけられる「ルーペ」、腕時計型銃が関連づけられる「腕時計」、魔法の杖が関連づけられる鉛筆やペン等の「棒状体」、あるいはスケボーが関連づけられる「スケボーを模したキーホルダ」等が実アイテムとして予め設定される。 In this embodiment, the real item is information about a real item that is set in advance to be associated with a virtual item, and includes, for example, a "magnifying glass" with which a different world magnifying glass is associated, a "watch" with which a wristwatch-type gun is associated, etc. '', a ``stick-like object'' such as a pencil or pen, which is associated with a magic wand, or a ``skateboard-shaped key chain'', which is associated with a skateboard, are set in advance as real items.

図9で示すイベントデータD2bは、本実施の形態では、プレイヤ2が実行するトライアル(例えばゲーム内で付与されてゲーム内で使用されるアイテムを取得するためのトライアル等)が設定された任意のイベントによって構成される。 In the present embodiment, the event data D2b shown in FIG. Constructed by events.

プレイヤデータD2cは、本実施の形態では、例えば、プレイヤ2がゲーム内で使用する名前に関するデータ、プレイヤがゲームを起動した回数に関するデータ等によって構成される。 In this embodiment, the player data D2c includes, for example, data regarding the name used by the player 2 in the game, data regarding the number of times the player has started the game, and the like.

図11は、マップ情報D3の構成の概略を説明する図である。このマップ情報D3は、現実空間の任意の領域に対応して作成された三次元メッシュデータからなる三次元マップであって、図示のような二次元の平面図にも展開される。 FIG. 11 is a diagram illustrating the outline of the configuration of the map information D3. This map information D3 is a three-dimensional map made up of three-dimensional mesh data created corresponding to an arbitrary region in the real space, and is also developed into a two-dimensional plan view as shown.

図12は、仮想情報D4の概略を説明する図である。図示のように、仮想情報D4は、本実施の形態では、複数の仮想オブジェクトO1及び複数の仮想アイテムオブジェクトO2がデータベース化された情報である。 FIG. 12 is a diagram illustrating an outline of the virtual information D4. As illustrated, in this embodiment, the virtual information D4 is information in which a plurality of virtual objects O1 and a plurality of virtual item objects O2 are compiled into a database.

仮想オブジェクトO1は、本実施の形態では、例えば、生物状のキャラクタを模したキャラクタオブジェクトa1~a4等によって構成され、識別番号がそれぞれに割り当てられる。 In this embodiment, the virtual object O1 is composed of, for example, character objects a1 to a4 imitating biological characters, and an identification number is assigned to each character object.

この仮想オブジェクトO1は、本実施の形態では、マップ情報D3に関連づけられることによって、マップ情報D3で構成されるマップ上の任意の位置において描画される。 In this embodiment, the virtual object O1 is associated with the map information D3 and is drawn at an arbitrary position on the map constituted by the map information D3.

仮想アイテムオブジェクトO2は、本実施の形態では、例えば、実アイテムの動作に基づいて仮想アイテムが機能することによって描画される任意のオブジェクトb1、b2等によって構成され、これらオブジェクトb1、b2等のそれぞれに実アイテム画像データd2と仮想アイテムデータd3とが関連づけられている。 In this embodiment, the virtual item object O2 is composed of arbitrary objects b1, b2, etc. that are drawn by the virtual item functioning based on the operation of the real item, and each of these objects b1, b2, etc. Real item image data d2 and virtual item data d3 are associated with each other.

仮想アイテムオブジェクトO2は、本実施の形態では、マップ情報D3に関連づけられることによってマップ上の任意の位置において描画される、あるいは、実アイテムとマップ上の任意の位置において描画される仮想オブジェクトO1との仮想的な相対距離に基づいて描画される。 In this embodiment, the virtual item object O2 is associated with the map information D3 and is drawn at an arbitrary position on the map, or is a combination of a real item and the virtual object O1 drawn at an arbitrary position on the map. is drawn based on the virtual relative distance of

図8で示すゲーム処理プログラム53は、本実施の形態では、例えば、ゲームの進行、ゲームモードの切替あるいはイベントの実行等といったゲームに関する各種の基本的な処理を映像処理装置20に実行させるプログラムである。 In this embodiment, the game processing program 53 shown in FIG. 8 is a program that causes the video processing device 20 to execute various basic processes related to the game, such as progressing the game, switching game modes, and executing events. be.

映像処理プログラム54は、本実施の形態では、実アイテム認証処理S10、映像受付処理S11、位置情報受付処理S12及び仮想情報表示処理S13を映像処理装置20に実行させるプログラムである。 In this embodiment, the video processing program 54 is a program that causes the video processing device 20 to execute real item authentication processing S10, video reception processing S11, position information reception processing S12, and virtual information display processing S13.

実アイテム認証処理S10は、本実施の形態では、実アイテム画像データd2と仮想アイテムデータd3とを関連づけて認証する処理を実行する。 In the present embodiment, the real item authentication process S10 executes a process of associating and authenticating the real item image data d2 and the virtual item data d3.

具体的には、仮想アイテムデータd3に実アイテムとして予め設定された実アイテムの実アイテム画像データd2を取得すると、実アイテム画像データd2で取得された実アイテムを仮想アイテムとして認証する。 Specifically, when real item image data d2 of a real item set in advance as a real item in the virtual item data d3 is acquired, the real item acquired in the real item image data d2 is authenticated as a virtual item.

本実施の形態では、例えば、仮想アイテムデータd3に実アイテムとして予め設定された図13(a)で示すルーペRについて、図13(b)で示すように、プレイヤ端末30を介して実アイテム画像データd2を取得すると、プレイヤ端末30が実アイテム画像データd2の画素情報の特徴量を抽出する。 In this embodiment, for example, regarding the magnifying glass R shown in FIG. 13(a), which is preset as a real item in the virtual item data d3, as shown in FIG. 13(b), the real item image is Upon acquiring the data d2, the player terminal 30 extracts the feature amount of pixel information of the actual item image data d2.

実アイテム認証処理S10では、実アイテム画像データd2の画素情報の特徴量に基づいて実アイテム画像データd2の被写体がルーペRであると認識すると、実アイテム画像データd2と仮想アイテムデータd3とを関連づけて、ルーペRを異世界ルーペとして認証する。 In the real item authentication process S10, when it is recognized that the subject of the real item image data d2 is a magnifying glass R based on the feature amount of the pixel information of the real item image data d2, the real item image data d2 and the virtual item data d3 are associated with each other. and authenticates Loupe R as a different world magnifying glass.

図8で示す映像受付処理S11は、本実施の形態では、プレイヤ端末30のカメラ32で取得された現実空間の映像d1をプレイヤ端末30から受け付ける処理を実行する。 In the present embodiment, the video reception process S11 shown in FIG. 8 executes a process of accepting from the player terminal 30 the video d1 of the real space acquired by the camera 32 of the player terminal 30.

この映像受付処理S11で受け付ける現実空間の映像d1には、本実施の形態では、実アイテム認証処理S10で認証した実アイテム(例えばルーペR)の映像が含まれる場合がある。 In this embodiment, the real space video d1 accepted in the video reception process S11 may include a video of the real item (for example, the magnifying glass R) authenticated in the real item authentication process S10.

位置情報受付処理S12は、本実施の形態では、プレイヤ端末30が取得したプレイヤ端末30が存在する位置に関する位置情報D1を受け付ける処理を実行する。 In the present embodiment, the position information reception process S12 executes a process of accepting position information D1 acquired by the player terminal 30 regarding the position where the player terminal 30 is present.

さらに、位置情報受付処理S12は、本実施の形態では、受け付けた位置情報D1に基づいて把握される現実空間の位置とその位置に対応するマップ情報D3上の座標とを照合して、プレイヤ端末30が取得した現実空間の映像d1の特徴量とマップ情報D3の特徴量とが一致するか否かを判定する。 Furthermore, in the present embodiment, the position information reception process S12 compares the position in the real space that is grasped based on the received position information D1 and the coordinates on the map information D3 corresponding to that position, and It is determined whether the feature amount of the image d1 of the real space acquired by the controller 30 matches the feature amount of the map information D3.

仮想情報表示処理S13は、本実施の形態では、位置情報受付処理S12においてプレイヤ端末30が取得した現実空間の映像d1の特徴量とマップ情報D3の特徴量とが一致した場合に、位置情報D1の状態データD1bに基づいて、プレイヤ端末30の位置や向きに応じて、プレイヤ端末30で取得した現実空間の映像d1に仮想オブジェクトO1を重ね合わせて表示する処理を実行する。 In this embodiment, the virtual information display process S13 displays the position information D1 when the feature amount of the real space video d1 acquired by the player terminal 30 in the position information reception process S12 matches the feature amount of the map information D3. Based on the state data D1b, a process is executed to display the virtual object O1 superimposed on the real space image d1 acquired by the player terminal 30, depending on the position and orientation of the player terminal 30.

さらに、仮想情報表示処理S13は、映像受付処理S11で受け付けた現実空間の映像d1に実アイテムの映像が含まれる際に、その実アイテムが実アイテム認証処理S10で仮想アイテムであると認証した実アイテムである場合は、映像d1における実アイテムの動作に基づいて仮想アイテムを機能させて、プレイヤ端末30で取得した現実空間の映像d1に仮想アイテムオブジェクトO2を重ね合わせて表示する処理を実行する。 Further, in the virtual information display process S13, when a video of a real item is included in the real space video d1 received in the video reception process S11, the real item is a real item that has been authenticated as a virtual item in the real item authentication process S10. If so, the virtual item is made to function based on the motion of the real item in the video d1, and a process is executed to display the virtual item object O2 superimposed on the video d1 in the real space acquired by the player terminal 30.

図14及び図15は、仮想情報表示処理S13の概略を説明する図である。図14(a)、(b)で示すように、例えば、異世界ルーペと認証したルーペRが映像受付処理S11で受け付けた現実空間の映像d1に含まれる場合は、ルーペRの動作に基づいて、映像d1に含まれるルーペRを異世界ルーペとして機能させて、仮想アイテムオブジェクトO2を映像d1に重ね合わせて表示する。 FIGS. 14 and 15 are diagrams illustrating the outline of the virtual information display process S13. As shown in FIGS. 14(a) and 14(b), for example, if the magnifying glass R that has been authenticated as a magnifying glass in another world is included in the real space video d1 accepted in the video reception process S11, based on the operation of the magnifying glass R, , the magnifying glass R included in the video d1 functions as a different world magnifying glass to display the virtual item object O2 superimposed on the video d1.

本実施の形態では、映像d1におけるルーペRの動作に基づいてルーペRが異世界ルーペとして機能して、ルーペRが現実空間の映像d1において重なる部分に重畳する仮想アイテムオブジェクトO2としての異世界を、異世界ルーペを介して見ることができるという演出が実現される。 In this embodiment, the magnifying glass R functions as a different world magnifying glass based on the operation of the magnifying glass R in the video d1, and the magnifying glass R functions as a different world magnifying glass as a virtual item object O2 that is superimposed on the overlapping part in the video d1 in the real space. , a production that allows you to see the other world through a magnifying glass is realized.

さらに、図15で示すように、例えば、腕時計型銃と認証した腕時計Wが映像受付処理S11で受け付けた現実空間の映像d1に含まれる場合は、腕時計Wの動作に基づいて、映像d1に含まれる腕時計Wを腕時計型銃として機能させて、仮想アイテムオブジェクトO2を映像d1に重ね合わせて表示する。 Further, as shown in FIG. 15, for example, if the wristwatch W that has been authenticated as a wristwatch-type gun is included in the video d1 of the real space accepted in the video reception process S11, the wristwatch W is included in the video d1 based on the operation of the wristwatch W. The virtual item object O2 is displayed superimposed on the image d1 by causing the wristwatch W to function as a wristwatch-shaped gun.

本実施の形態では、現実空間の映像d1に重ね合わせられて表示される仮想オブジェクトO1としてのモンスターに照準を合わせるように、現実空間の映像d1において腕時計Wを動かして、プレイヤ端末30のディスプレイ33を例えばタップする等によって入力情報を入力すると、腕時計Wが腕時計型銃として機能して、仮想アイテムオブジェクトO2としての弾丸が腕時計型銃からモンスターに対して発射されるという演出が実現される。 In this embodiment, the display 33 of the player terminal 30 is moved by moving the wristwatch W in the image d1 of the real space so as to aim at the monster as the virtual object O1 displayed superimposed on the image d1 of the real space. When input information is input by, for example, tapping , the wristwatch W functions as a wristwatch-shaped gun, and an effect is realized in which a bullet as a virtual item object O2 is fired from the wristwatch-shaped gun at a monster.

このような仮想情報表示処理S13における処理によって、本実施の形態では、プレイヤ端末30において拡張現実空間が実現される。 Through the processing in the virtual information display processing S13, an augmented reality space is realized in the player terminal 30 in this embodiment.

次に、本実施の形態に係る映像処理システム10の処理について説明する。 Next, processing of the video processing system 10 according to this embodiment will be explained.

図16は、本実施の形態に係る映像処理システムの処理の概略を説明するフローチャートである。図示のように、まず、ステップS20において、プレイヤ2は、プレイヤ端末30を介して実アイテムの認証を行う。 FIG. 16 is a flowchart outlining the processing of the video processing system according to this embodiment. As shown in the figure, first, in step S20, the player 2 authenticates the actual item via the player terminal 30.

本実施の形態では、仮想アイテムデータd3に関連づけられる実アイテムとして予め設定されている実アイテムをプレイヤ端末30のカメラで撮像して実アイテム画像データd2を取得すると、実アイテム画像データd2で取得された実アイテムを仮想アイテムとして認証する。 In the present embodiment, when a real item that is preset as a real item associated with virtual item data d3 is captured by the camera of the player terminal 30 to obtain real item image data d2, the real item image data d2 is obtained. authenticate a real item as a virtual item.

例えば、実アイテム画像データd2で取得されたルーペRを異世界ルーペとして認証したり、実アイテム画像データd2で取得された腕時計Wを腕時計型銃として認証したりする。 For example, the magnifying glass R obtained using the actual item image data d2 is authenticated as a different world magnifying glass, or the wristwatch W obtained using the actual item image data d2 is authenticated as a wristwatch-shaped gun.

実アイテムの認証に続いて、ステップS21において、プレイヤ端末30を介してプレイヤ2がゲームを実行する。 Following the authentication of the actual item, the player 2 executes the game via the player terminal 30 in step S21.

ゲームの実行は、例えば、現実空間の任意の場所(領域)において、ゲームアプリケーションを起動することによって実行することが想定される。 It is assumed that the game is executed, for example, by starting a game application at an arbitrary location (area) in real space.

プレイヤ端末30を介してゲームを実行すると、本実施の形態では、ステップS22において、カメラ32が現実空間の映像d1を取得する。現実空間の映像d1は、例えば図3で示したような映像d1、あるいは実アイテムの認証で認証した実アイテム(例えばルーペR)の映像が含まれる映像d1であることが想定される。 When the game is executed via the player terminal 30, in the present embodiment, the camera 32 acquires an image d1 of the real space in step S22. It is assumed that the image d1 in the real space is, for example, the image d1 shown in FIG. 3, or the image d1 that includes an image of a real item (for example, a magnifying glass R) authenticated in real item authentication.

続いて、ステップS23において、プレイヤ端末30のカメラ32で取得された現実空間の映像d1をプレイヤ端末30から受け付けた際に、受け付けた映像d1が、仮想オブジェクトO1が描画されるマップ上の任意の位置と対応する現実空間の場所についての映像であった場合に、ステップS24において、プレイヤ端末30で取得した現実空間の映像d1に仮想情報D4としての仮想オブジェクトO1を重ね合わせてプレイヤ端末30に表示する処理を実行する。 Subsequently, in step S23, when the video d1 of the real space acquired by the camera 32 of the player terminal 30 is received from the player terminal 30, the received video d1 is displayed at any point on the map where the virtual object O1 is drawn. If the video is about a place in real space that corresponds to the position, in step S24, the virtual object O1 as virtual information D4 is superimposed on the real space video d1 acquired by the player terminal 30 and displayed on the player terminal 30. Execute the processing to be performed.

さらに、ステップS24では、プレイヤ端末30から受け付けた現実空間の映像d1に、実アイテムの認証で認証した実アイテム(例えばルーペR)の映像が含まれている場合には、プレイヤ2がルーペRを動かすことによるルーペRの動作に従って、現実空間の映像d1に仮想情報D4としての仮想アイテムオブジェクトO2(例えば異世界)を重ね合わせてプレイヤ端末30に表示する処理を実行する。 Further, in step S24, if the image d1 of the real space received from the player terminal 30 includes an image of the real item (for example, the magnifying glass R) authenticated in the real item authentication, the player 2 uses the magnifying glass R. In accordance with the movement of the magnifying glass R, a process is executed in which a virtual item object O2 (for example, another world) as virtual information D4 is superimposed on the image d1 of the real space and displayed on the player terminal 30.

このように、プレイヤ2が実アイテムを動かすことによる実アイテムの動作に基づいて、拡張現実空間で機能する仮想アイテムを機能させて仮想アイテムオブジェクトO2をプレイヤ端末30に表示することから、現実空間の映像d1に重ね合わせられる仮想情報D4とプレイヤ2とのインタラクションが実現され、このような映像処理に接するプレイヤ2の興趣が向上する。 In this way, based on the movement of the real item when the player 2 moves the real item, the virtual item that functions in the augmented reality space is operated to display the virtual item object O2 on the player terminal 30. The interaction between the virtual information D4 superimposed on the video d1 and the player 2 is realized, and the interest of the player 2 when exposed to such video processing is increased.

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。 Note that the present invention is not limited to the embodiments described above, and various changes can be made without departing from the spirit of the invention.

上記実施の形態では、実アイテム認証処理S10において実アイテム画像データd2の被写体である実アイテムを仮想アイテムとして認証する場合を説明したが、実アイテム画像データd2に基づいた認証に限られるものではなく、例えば、実アイテムに付与された二次元コードに基づいて認証する等、プレイヤ端末30を介して実アイテムを認証できる手法であれば、適宜用いることができる。 In the above embodiment, a case has been described in which the real item that is the subject of the real item image data d2 is authenticated as a virtual item in the real item authentication process S10, but the authentication is not limited to the authentication based on the real item image data d2. For example, any method that can authenticate a real item via the player terminal 30 can be used as appropriate, such as authentication based on a two-dimensional code attached to the real item.

上記実施の形態では、実アイテムがルーペRあるいは腕時計Wである場合を説明したが、例えば、鉛筆、ペン、ドライバ、マイク等といった棒状体、あるいは乗り物を模した小物等であってもよい。 In the above embodiment, a case has been described in which the actual item is a magnifying glass R or a wristwatch W, but it may also be a rod-shaped object such as a pencil, a pen, a screwdriver, a microphone, etc., or an accessory imitating a vehicle.

この場合において、棒状体は、例えば、物体を凍らせたり溶かしたり燃やしたりするといった演出を機能させる仮想アイテム(魔法の杖)であってもよいし、乗り物を模した小物は、例えばスケボーを模したキーホルダであって、キャラクタとして表示される仮想オブジェクトを乗せるという演出を機能させる仮想アイテム(スケボー)であってもよい。 In this case, the rod-shaped object may be, for example, a virtual item (magic wand) that functions to perform effects such as freezing, melting, or burning objects, and the accessory imitating a vehicle may be, for example, an object imitating a skateboard. It may also be a virtual item (skateboard) that functions as a key holder with a virtual object displayed as a character on it.

なお、乗り物を模した小物には、乗用車、トラック、オートバイ、飛行機等といったあらゆる乗り物が含まれるし、この場合の小物はキーホルダに限られるものではなく、あらゆる小物が含まれる。 Note that the accessories imitating vehicles include all kinds of vehicles such as passenger cars, trucks, motorcycles, airplanes, etc., and the accessories in this case are not limited to key chains, but include all kinds of accessories.

さらに、実アイテムには、拳銃型の玩具やその他の玩具、ボール状の小物やその他の小物等といった、日常的に用いられる種々の小物が含まれる。 Furthermore, the actual items include various small items that are used on a daily basis, such as handgun-shaped toys, other toys, ball-shaped small items, and other small items.

上記実施の形態では、実アイテムが腕時計Wである場合において、腕時計Wが腕時計型銃として機能する場合を説明したが、例えば腕時計型弓として機能して矢を発射するような演出を実行するものであってもよい。 In the above embodiment, a case has been described in which the actual item is a wristwatch W, and the wristwatch W functions as a wristwatch-shaped gun. It may be.

上記実施の形態では、予め設定された実アイテムに仮想アイテムを関連づけて認証する場合を説明したが、任意の実アイテムに任意の仮想アイテムをプレイヤ2が任意に設定できるように構成してもよい。 In the above embodiment, a case has been described where authentication is performed by associating a virtual item with a preset real item, but the configuration may also be such that the player 2 can arbitrarily set any virtual item to any real item. .

上記実施の形態では、ゲームを実行する前に実アイテムの認証を行う場合を説明したが、ゲームを実行した後の任意のタイミングで実アイテムの認証を行ってもよい。 In the above embodiment, a case has been described in which the real item is authenticated before the game is executed, but the real item may be authenticated at any timing after the game is executed.

上記実施の形態では、映像処理システム10を用いた映像処理がゲームに用いられる場合を説明したが、ゲームに限られるものではなく、例えば、工場内の特殊作業に関する体験学習や研修を目的としたシミュレーション等に用いられるものであってもよい。 In the above embodiment, a case has been described in which video processing using the video processing system 10 is used for a game, but the application is not limited to a game, and may be used, for example, for experiential learning or training regarding special work in a factory. It may also be used for simulation or the like.

上記実施の形態では、映像処理装置20が事業者1にクラウド環境で管理される場合を説明したが、事業者1に配備される映像処理装置20であってもよい。 In the above embodiment, a case has been described in which the video processing device 20 is managed by the provider 1 in a cloud environment, but the video processing device 20 may be installed in the provider 1.

2 プレイヤ
10 映像処理システム
20 映像処理装置
30 プレイヤ端末
51 第1記憶領域
52 第2記憶領域
54 映像処理プログラム
2 Player 10 Video processing system 20 Video processing device 30 Player terminal 51 First storage area 52 Second storage area 54 Video processing program

Claims (8)

ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理システムにおいて、
前記現実空間に存在する実アイテムと前記映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、
該実アイテム認証処理で認証した前記実アイテムの映像が含まれる前記現実空間の前記映像を前記プレイヤ端末から受け付ける映像受付処理と、
該映像受付処理で受け付けた前記映像における前記実アイテムの動作に基づいて前記仮想アイテムを機能させて任意の仮想アイテムオブジェクトを前記仮想情報として前記プレイヤ端末に表示する仮想情報表示処理と、
を実行することを特徴とする映像処理システム。
In a video processing system that executes video processing that superimposes virtual information on images of real space acquired by a player terminal that can access a server via a network,
real item authentication processing for associating and authenticating a real item existing in the real space and a virtual item functioning in an augmented reality space realized by executing the video processing;
a video reception process of accepting from the player terminal the video of the real space that includes the video of the real item authenticated in the real item authentication process;
virtual information display processing that causes the virtual item to function based on the movement of the real item in the video received in the video reception process, and displays an arbitrary virtual item object as the virtual information on the player terminal;
An image processing system characterized by executing.
仮想情報表示処理は、
任意の仮想オブジェクトを前記仮想情報として前記プレイヤ端末に表示することを特徴とする請求項1に記載の映像処理システム。
Virtual information display processing is
The video processing system according to claim 1, wherein an arbitrary virtual object is displayed on the player terminal as the virtual information.
前記仮想情報表示処理は、
前記映像における前記実アイテムの動作と併せて前記プレイヤ端末に入力される入力情報に基づいて前記仮想アイテムを機能させて前記仮想アイテムオブジェクトを前記仮想情報として前記プレイヤ端末に表示することを特徴とする請求項1または2に記載の映像処理システム。
The virtual information display process includes:
The virtual item is made to function based on input information input to the player terminal together with the movement of the real item in the video, and the virtual item object is displayed as the virtual information on the player terminal. The video processing system according to claim 1 or 2.
前記実アイテム認証処理は、
予め設定された前記実アイテムに任意の前記仮想アイテムを関連づけて認証することを特徴とする請求項1に記載の映像処理システム。
The actual item authentication process is
2. The video processing system according to claim 1, wherein an arbitrary virtual item is associated with the real item set in advance for authentication.
前記実アイテムは、
前記現実空間に存在して日常的に用いられる小物であることを特徴とする請求項1に記載の映像処理システム。
The actual item is
The image processing system according to claim 1, wherein the image processing system is a small item that exists in the real space and is used on a daily basis.
ネットワークを介してプレイヤ端末からアクセス可能であって前記プレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理装置において、
前記現実空間に存在する実アイテムと前記映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、
該実アイテム認証処理で認証した前記実アイテムの映像が含まれる前記現実空間の前記映像を前記プレイヤ端末から受け付ける映像受付処理と、
該映像受付処理で受け付けた前記映像における前記実アイテムの動作に基づいて前記仮想アイテムを機能させて任意の仮想アイテムオブジェクトを前記仮想情報として前記プレイヤ端末に表示する仮想情報表示処理と、
を実行することを特徴とする映像処理装置。
In a video processing device that is accessible from a player terminal via a network and executes video processing for superimposing virtual information on a real space video acquired by the player terminal,
real item authentication processing for associating and authenticating a real item existing in the real space and a virtual item functioning in an augmented reality space realized by executing the video processing;
a video reception process of accepting from the player terminal the video of the real space that includes the video of the real item authenticated in the real item authentication process;
virtual information display processing that causes the virtual item to function based on the movement of the real item in the video received in the video reception process, and displays an arbitrary virtual item object as the virtual information on the player terminal;
A video processing device characterized by performing the following.
ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理プログラムにおいて、
前記サーバに、
前記現実空間に存在する実アイテムと前記映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理、
該実アイテム認証処理で認証した前記実アイテムの映像が含まれる前記現実空間の前記映像を前記プレイヤ端末から受け付ける映像受付処理、
該映像受付処理で受け付けた前記映像における前記実アイテムの動作に基づいて前記仮想アイテムを機能させて任意の仮想アイテムオブジェクトを前記仮想情報として前記プレイヤ端末に表示する仮想情報表示処理、
を実行させることを特徴とする映像処理プログラム。
In a video processing program that executes video processing that superimposes virtual information on images of real space acquired by a player terminal that can access a server via a network,
to the server,
real item authentication processing for associating and authenticating a real item existing in the real space and a virtual item functioning in an augmented reality space realized by executing the video processing;
a video reception process that receives from the player terminal the video of the real space that includes the video of the real item authenticated in the real item authentication process;
virtual information display processing that causes the virtual item to function based on the movement of the real item in the video received in the video reception process, and displays an arbitrary virtual item object as the virtual information on the player terminal;
A video processing program characterized by executing.
ネットワークを介してサーバにアクセス可能なプレイヤ端末で取得した現実空間の映像に仮想情報を重ね合わせる映像処理を実行する映像処理方法において、
前記サーバが、
前記現実空間に存在する実アイテムと前記映像処理の実行によって実現される拡張現実空間で機能する仮想アイテムとを関連づけて認証する実アイテム認証処理と、
該実アイテム認証処理で認証した前記実アイテムの映像が含まれる前記現実空間の前記映像を前記プレイヤ端末から受け付ける映像受付処理と、
該映像受付処理で受け付けた前記映像における前記実アイテムの動作に基づいて前記仮想アイテムを機能させて任意の仮想アイテムオブジェクトを前記仮想情報として前記プレイヤ端末に表示する仮想情報表示処理と、
を実行することを特徴とする映像処理方法。
In a video processing method that performs video processing that superimposes virtual information on a video of real space acquired by a player terminal that can access a server via a network,
The server is
real item authentication processing for associating and authenticating a real item existing in the real space and a virtual item functioning in an augmented reality space realized by executing the video processing;
a video reception process of accepting from the player terminal the video of the real space that includes the video of the real item authenticated in the real item authentication process;
virtual information display processing that causes the virtual item to function based on the movement of the real item in the video received in the video reception process, and displays an arbitrary virtual item object as the virtual information on the player terminal;
A video processing method characterized by performing the following.
JP2022064971A 2022-04-11 2022-04-11 Video processing system, video processing apparatus, video processing program, and video processing method Pending JP2023155570A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022064971A JP2023155570A (en) 2022-04-11 2022-04-11 Video processing system, video processing apparatus, video processing program, and video processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022064971A JP2023155570A (en) 2022-04-11 2022-04-11 Video processing system, video processing apparatus, video processing program, and video processing method

Publications (1)

Publication Number Publication Date
JP2023155570A true JP2023155570A (en) 2023-10-23

Family

ID=88417894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022064971A Pending JP2023155570A (en) 2022-04-11 2022-04-11 Video processing system, video processing apparatus, video processing program, and video processing method

Country Status (1)

Country Link
JP (1) JP2023155570A (en)

Similar Documents

Publication Publication Date Title
US20180207526A1 (en) High-dimensional touch parameter (hdtp) game controllers with multiple usage and networking modalities
US8777743B2 (en) System and method for facilitating interaction with a virtual space via a touch sensitive surface
US9019203B2 (en) Storage medium, information processing apparatus, information processing system and information processing method
KR20160010608A (en) Attributing user action based on biometric identity
JP2009254539A (en) Game system
JP2022551112A (en) Vehicle driving method, device, terminal and program in virtual environment
JP2023504650A (en) INTERACTION TOOL DISPLAY METHOD, DEVICE, TERMINAL AND COMPUTER PROGRAM
US9134865B2 (en) Touch input system, touch input apparatus, storage medium and touch input control method, for displaying a locus of a line on a display by performing an input operation on an input terminal device
Joselli et al. An architecture for game interaction using mobile
CN112569607B (en) Display method, device, equipment and medium for pre-purchased prop
JP2009070076A (en) Program, information storage medium, and image generation device
JP2020018745A (en) Game system and program
CN113680060B (en) Virtual picture display method, apparatus, device, medium and computer program product
CN114130018A (en) Virtual article acquisition method, device, equipment, medium and program product
US10376777B2 (en) Information processor, control method of information processor, program, and information storage medium
JP7280091B2 (en) Program and game system
CN111679879A (en) Display method and device of account segment bit information, terminal and readable storage medium
JP2023155570A (en) Video processing system, video processing apparatus, video processing program, and video processing method
JP5479503B2 (en) Program, information storage medium, and image generation apparatus
CN112169321B (en) Mode determination method, device, equipment and readable storage medium
US11318379B2 (en) Game server and method of sharing note in the game server
JP2013248482A (en) Game system, game program, game device, and server
US9582162B2 (en) Information processing apparatus, information processing system, storage medium and information processing method
CN112076468A (en) Virtual environment picture display method, device, equipment and storage medium
Ionescu et al. Multimodal control of virtual game environments through gestures and physical controllers