JP2018128815A - Information presentation system, information presentation method and information presentation program - Google Patents

Information presentation system, information presentation method and information presentation program Download PDF

Info

Publication number
JP2018128815A
JP2018128815A JP2017020972A JP2017020972A JP2018128815A JP 2018128815 A JP2018128815 A JP 2018128815A JP 2017020972 A JP2017020972 A JP 2017020972A JP 2017020972 A JP2017020972 A JP 2017020972A JP 2018128815 A JP2018128815 A JP 2018128815A
Authority
JP
Japan
Prior art keywords
virtual
information
display
display data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017020972A
Other languages
Japanese (ja)
Other versions
JP6624646B2 (en
Inventor
治 浅井
Osamu Asai
治 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2017020972A priority Critical patent/JP6624646B2/en
Publication of JP2018128815A publication Critical patent/JP2018128815A/en
Application granted granted Critical
Publication of JP6624646B2 publication Critical patent/JP6624646B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To realize a novel way of showing and a novel way of enjoying by fusing the augmented reality and virtual reality that have been discretely and independently handled up to now.SOLUTION: A system comprises a camera part 121 imaging an image in a real space, a position information acquisition part 147 acquiring a position and direction in a coordinate system in the real space as current position information, an information acquisition part 141 acquiring real map information including geographic information in the coordinate system in the real space and virtual map information where a virtual object is arranged on geographic information in a coordinate system in a virtual space, a display data generation part 142 generating augmented display data by superimposing the virtual object on the image that the camera part imaged on the real map information as well as generating virtual display data where the virtual object is arranged on the virtual map information, and a display control part 143 implementing display transition processing that selectively switches the virtual display data with the augmented display data or synthesizing a part or whole of the other display data on one display data.SELECTED DRAWING: Figure 6

Description

本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する情報提示システム、情報提示方法及び情報提示プログラムに関する。   The present invention relates to an information presentation system, an information presentation method, and an information presentation program for presenting information related to a virtual object arranged in a virtual coordinate system of a virtual space.

近年、コンテンツを表示する情報処理の分野では、コンピューターグラフィックスにより仮想的な空間を構成する仮想現実(VR:Virtual Reality)、現実空間の映像をコンピューターで処理して情報を付加する拡張現実(AR;Augumented Reality)が注目されている。VR技術の応用としては、ヘッドマウントディスプレイを利用して、ユーザーの動きに合わせて表示情報を変化させる、製造、医療、ゲーム、日常生活など、ますます多くの分野への応用が期待されている。一方、AR技術の応用としては、カメラでキャプチャーした実空間の風景映像に観光情報等の付加情報を重畳して表示する展望鏡などが提案されている(例えば特許文献1)。この特許文献1に開示された展望鏡では、眺望対象の撮影映像に対し、対応する仮想映像を合成して表示することで、実際の現地風景と遺跡等の仮想イメージとを交互に頭で思い描く作業を強いることなく、建造物等の縮尺や地形上での位置関係が正確でリアリティに富んだ合成映像を利用者に提供することが可能となる。   In recent years, in the field of information processing for displaying content, virtual reality (VR) that constitutes a virtual space by computer graphics, augmented reality (AR) in which video in the real space is processed by a computer and information is added. ; Augmented Reality) is drawing attention. Application of VR technology is expected to be applied to more and more fields such as manufacturing, medical treatment, games, daily life, etc., using a head mounted display to change display information according to the movement of the user. . On the other hand, as an application of the AR technology, there has been proposed a viewing mirror that superimposes and displays additional information such as tourist information on a real-space landscape image captured by a camera (for example, Patent Document 1). In the observing mirror disclosed in Patent Document 1, an actual local landscape and a virtual image of a ruin or the like are conceived alternately in the head by synthesizing and displaying a corresponding virtual image with a photographic image to be viewed. Without compulsory work, it is possible to provide a user with a composite image that is accurate in the scale of a building or the like and in a positional relationship on the terrain and rich in reality.

特開2003−264740号公報JP 2003-264740 A

しかしながら、これまでのコンテンツの表示方式では、VR技術とAR技術とがそれぞれ別々の用途・目的のシステム及びサービスとして利用されていたため、それぞれの座標系で独立した描画を行い、それぞれの用途・目的に基づく映像を投影していた。このため、拡張現実(AR)と仮想現実(VR)を、それぞれ切離された別のコンテンツとして利用され、実空間と仮想空間との不連続性が生じ、その表現力には一定の限界があった。   However, in the conventional content display methods, the VR technology and the AR technology are used as systems and services for different uses and purposes, so that independent drawing is performed in each coordinate system, and each use and purpose is displayed. Projected video based on. For this reason, augmented reality (AR) and virtual reality (VR) are used as separate separated contents, resulting in discontinuity between real space and virtual space, and there is a certain limit to its expressive power. there were.

そこで、本発明は、上記のような問題を解決するものであり、情報処理により提供されるコンテンツにおいて、従来、切離されて別個独立して扱われていた拡張現実と仮想現実とを融合することで、新しい見せ方や楽しみ方を実現できる情報提示システム、情報提示方法及び情報提示プログラムを提供することを目的とする。   Therefore, the present invention solves the above-described problems, and in the content provided by information processing, the augmented reality and the virtual reality that have been conventionally separated and treated independently are merged. Thus, an object is to provide an information presentation system, an information presentation method, and an information presentation program that can realize a new way of viewing and enjoying.

上記課題を解決するために、本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するシステムであって、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部と
を備えることを特徴とする。
In order to solve the above problems, the present invention is a system for presenting information on a virtual object placed in a virtual coordinate system of a virtual space,
A camera unit that captures images of real space;
A position information acquisition unit that acquires the position and direction in the coordinate system of the real space as current position information;
A real map acquisition unit for acquiring real map information including geographical information in the coordinate system of the real space;
A virtual map acquisition unit that acquires virtual map information in which the virtual object is arranged on geographical information in the coordinate system of the virtual space;
A virtual reality display data generation unit that generates virtual display data in which the virtual object is arranged on the virtual map information shared with the coordinate system in the real space;
Augmented reality display data for generating augmented display data by superimposing display data in which the virtual object is arranged on the real map information associated with a coordinate system in the real space on the video imaged by the camera unit A generator,
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control unit that executes display transition processing to be combined;
And a display unit that displays the virtual display data and the extended display data that have undergone display transition processing by the display control unit.

また、本発明は、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する方法であって、
カメラ部が実空間の映像を撮像するとともに、位置情報取得部が前記実空間の座標系における位置及び方向を現在位置情報として取得する実空間情報取得ステップと、
前記実空間の座標系における地理情報を含む現実地図情報、及び前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得し、仮想表示データ生成部が、前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成するとともに、拡張表示データ生成部が、前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する表示データ生成ステップと、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を表示制御部が実行する表示制御ステップと、
前記表示制御ステップにより表示遷移処理された仮想表示データ及び拡張表示データを表示制御部が表示する表示ステップと、
を含むことを特徴とする。
Further, the present invention is a method for presenting information about a virtual object arranged in a virtual coordinate system of a virtual space,
A real space information acquisition step in which the camera unit captures an image of real space, and the position information acquisition unit acquires the position and direction in the coordinate system of the real space as current position information;
Real map information including geographic information in the coordinate system of the real space and virtual map information in which the virtual object is arranged on the geographic information in the coordinate system of the virtual space are acquired, and a virtual display data generation unit is configured to acquire the real space. And generating virtual display data in which the virtual object is arranged on the virtual map information shared with the coordinate system in the map, and an extended display data generation unit is associated with the coordinate system in the real space. A display data generation step of generating extended display data by superimposing display data in which the virtual object is arranged on the information on the video captured by the camera unit;
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control step in which the display control unit executes display transition processing to be combined; and
A display step in which the display control unit displays the virtual display data and the extended display data subjected to the display transition process in the display control step;
It is characterized by including.

このような本発明によれば、拡張現実(AR)や仮想現実(VR)を表示する際、それぞれの座標系を統合することで、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させて混合することができる。この結果、ARを融合させることで、多様性に富み、臨場感が高い、仮想体験を演出することができる。   According to the present invention as described above, when displaying augmented reality (AR) and virtual reality (VR), the coordinate systems are integrated to display augmented reality (AR) and virtual reality (VR) as one coordinate. It can be mixed in the system. As a result, by combining AR, it is possible to produce a virtual experience that is rich in diversity and highly realistic.

上記発明では、前記表示遷移処理を実行させる境界線又は境界面を、前記現実地図情報上又は前記仮想地図情報上に設定する遷移設定部と、前記現在位置情報に含まれる位置情報が、前記境界線又は境界面を通過したことを判定するトリガー判定部とをさらに備え、前記表示制御部は、前記トリガー判定部による判定結果に基づいて、前記表示遷移処理を実行することが好ましい。   In the above invention, a transition setting unit that sets a boundary line or boundary surface for executing the display transition process on the real map information or the virtual map information, and the position information included in the current position information includes the boundary It is preferable to further include a trigger determination unit that determines that the line or the boundary surface has been passed, and the display control unit performs the display transition process based on a determination result by the trigger determination unit.

この場合には、現実地図情報上又は仮想地図情報上に設定された境界線又は境界面を通過することで、ユーザーによる特別な操作を要することなく、拡張現実と仮想現実とを自動的に切り替えることができ、拡張現実から仮想現実へ、又は仮想現実から拡張現実へと自然に遷移させることができる。   In this case, the augmented reality and the virtual reality are automatically switched without requiring any special operation by passing through a boundary line or boundary surface set on the real map information or the virtual map information. And can make a natural transition from augmented reality to virtual reality or from virtual reality to augmented reality.

上記発明では、前記表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得し管理するシナリオ管理部をさらに備え、前記表示制御部は、前記トリガー判定部による判定結果に基づき、前記シナリオデータ又はユーザー操作に従って前記表示遷移処理を実行することが好ましい。   In the above-described invention, the display control unit further includes a scenario management unit that acquires and manages scenario data describing a time at which the display transition process is executed, a place, types of objects to be presented, and their appearance order, and the display control unit includes: It is preferable to execute the display transition process according to the scenario data or a user operation based on the determination result by the trigger determination unit.

この場合には、シナリオデータにより自動的に、又はユーザーによる任意の操作、或いはシナリオデータに従ったユーザー操作によって時刻、場所、提示するオブジェクトの種類、及びそれらの順序、タイミングで、拡張現実と仮想現実とを切り替えることができ、表現力の多様性を向上させ、様々な演出を可能になる。上記発明では、前記実空間の座標系に固定され、左右に回動可能及び上下に俯仰可能に設置された本体部をさらに備え、前記カメラ部は、前記本体部の先端に配置され、前記表示部は、前記本体部の後端に配置されていることが好ましい。この場合には、例えば観光地に設置された展望鏡の形態で本発明を実現することができ、展望鏡で観られる景色に仮想的又は拡張的な演出を加えることができる。   In this case, augmented reality and virtuality are automatically or according to scenario data, or any operation by the user, or user operation according to the scenario data, with the time, place, types of objects to be presented, and their order and timing. It is possible to switch between reality and improve the diversity of expressive power and to make various effects. In the above invention, it further includes a main body unit fixed to the coordinate system of the real space and installed so as to be able to turn left and right and to be lifted up and down, and the camera unit is disposed at a tip of the main body unit, and the display The part is preferably disposed at the rear end of the main body. In this case, the present invention can be realized, for example, in the form of a viewing mirror installed in a sightseeing spot, and a virtual or expansive effect can be added to the scenery seen by the viewing mirror.

上記発明において前記オブジェクトは、開口部を有する板状の看板であることが好ましい。この場合には、例えば観光地に設置された「顔出し看板」のようなオブジェクトを仮想的又は拡張的に配置することができる。   In the above invention, the object is preferably a plate-shaped signboard having an opening. In this case, for example, an object such as an “appearance signboard” installed in a sightseeing spot can be arranged virtually or in an expanded manner.

なお、上述した本発明に係る情報提示システムや情報提示方法は、所定の言語で記述された本発明の情報提示プログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルPCその他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのICチップ、メモリ装置にインストールし、CPU上で実行することにより、上述した各機能を有するシステムを構築して、不動産評価方法を実施することができる。   The information presentation system and the information presentation method according to the present invention described above can be realized by executing the information presentation program of the present invention described in a predetermined language on a computer. That is, the program of the present invention is installed in a mobile terminal device, a smart phone, a wearable terminal, a mobile PC or other information processing terminal, an IC chip or a memory device of a general-purpose computer such as a personal computer or a server computer, and executed on the CPU. Thus, it is possible to construct a system having the functions described above and implement the real estate evaluation method.

すなわち、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するプログラムであって、コンピューターに、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における座標系に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部、
として機能させることを特徴とする。
That is, a program that presents information on a virtual object placed in a virtual coordinate system of a virtual space,
A camera unit that captures images of real space;
A position information acquisition unit that acquires the position and direction in the coordinate system of the real space as current position information;
A real map acquisition unit for acquiring real map information including geographical information in the coordinate system of the real space;
A virtual map acquisition unit that acquires virtual map information in which the virtual object is arranged on geographical information in the coordinate system of the virtual space;
A virtual reality display data generation unit that generates virtual display data in which the virtual object is arranged on the virtual map information shared with the coordinate system in the real space;
Augmented reality display data for generating augmented display data by superimposing display data in which the virtual object is arranged on the real map information associated with a coordinate system in the real space on the video imaged by the camera unit A generator,
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control unit that executes display transition processing to be combined;
A display unit for displaying the virtual display data and the extended display data subjected to display transition processing by the display control unit;
It is made to function as.

このような本発明の情報提示プログラムは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはCD-ROMやDVD-ROM等の光ディスクの他、RAMカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。   Such an information presentation program of the present invention can be distributed through a communication line, for example, and can be distributed as a package application that operates on a stand-alone computer by recording on a computer-readable recording medium. Can be transferred. Specifically, the recording medium can be recorded on various recording media such as a magnetic recording medium such as a flexible disk and a cassette tape, an optical disk such as a CD-ROM and a DVD-ROM, and a RAM card. According to the computer-readable recording medium on which the program is recorded, the above-described system and method can be easily implemented using a general-purpose computer or a dedicated computer, and the program can be stored, transported, and Easy installation.

以上述べたように、これらの発明によれば、情報処理により提供されるコンテンツにおいて、それぞれの座標系を統合し、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させ混合することで、従来、切離されて別個独立して扱われていた拡張現実と仮想現実とを融合することで、新しい見せ方や楽しみ方を実現できる。これにより、これまで未体験であったコンテンツ(実写/CG)を実現することができ、今後拡大が見込まれる産業用VRの分野や、ゲームやアトラクション等のアミューズメント分野で利用が促進されることが見込まれる。この結果、本発明によれば、多様性に富み、臨場感の高い仮想体験を演出することで、学習効果等を提供することができる。   As described above, according to these inventions, in the content provided by information processing, the respective coordinate systems are integrated, and augmented reality (AR) and virtual reality (VR) coexist in one coordinate system and mixed. By doing so, it is possible to realize a new way of viewing and enjoyment by fusing augmented reality and virtual reality that have been separated and treated separately and conventionally. As a result, content (live-action / CG) that has not been experienced so far can be realized, and its use will be promoted in the field of industrial VR, which is expected to expand in the future, and in the amusement field such as games and attractions. Expected. As a result, according to the present invention, it is possible to provide a learning effect and the like by producing a virtual experience that is rich in diversity and high in reality.

実施形態に係るシステムの全体構成を示す概念図である。It is a conceptual diagram which shows the whole structure of the system which concerns on embodiment. 実施形態に係る現実地図情報M1と仮想地図情報M2、及びオブジェクトの関係を示す説明図であり、(a)は仮想空間を示し、(b)は実空間を示し、(c)は拡張現実を示している。It is explanatory drawing which shows the relationship between the real map information M1 which concerns on embodiment, virtual map information M2, and an object, (a) shows virtual space, (b) shows real space, (c) shows augmented reality. Show. 実施形態に係る情報提示処理の概要を示すブロック図である。It is a block diagram which shows the outline | summary of the information presentation process which concerns on embodiment. 実施形態に係る情報提示処理における動作を示すブロック図である。It is a block diagram which shows the operation | movement in the information presentation process which concerns on embodiment. 実施形態に係るコンテンツ配信サーバーの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the content delivery server which concerns on embodiment. 実施形態に係るコンテンツ配信サーバーの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the content delivery server which concerns on embodiment. 実施形態に係る情報提示システムの動作を示すシーケンス図である。It is a sequence diagram which shows operation | movement of the information presentation system which concerns on embodiment. 実施形態に係る表示遷移処理の境界線に関する説明図である。It is explanatory drawing regarding the boundary line of the display transition process which concerns on embodiment. 実施形態に係る表示遷移処理の境界面に関する説明図である。It is explanatory drawing regarding the boundary surface of the display transition process which concerns on embodiment. 実施形態に係る拡張現実表示を撮影した状況を示す概念図である。It is a conceptual diagram which shows the condition which image | photographed the augmented reality display which concerns on embodiment. 実施形態に係る仮想現実表示を撮影した状況を示す概念図である。It is a conceptual diagram which shows the condition which image | photographed the virtual reality display which concerns on embodiment. 実施形態に係る表示遷移処理におけるトリガー発生に関する説明図である。It is explanatory drawing regarding trigger generation in the display transition process which concerns on embodiment. 変更例1に係る情報提示システムの概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the information presentation system which concerns on the example 1 of a change. 変更例2に係る情報提示システムの概要を示す説明図である。It is explanatory drawing which shows the outline | summary of the information presentation system which concerns on the example 2 of a change.

(情報提示システムの全体構成)
以下に添付図面を参照して、本発明に係る情報提示システムの実施形態を詳細に説明する。図1は、本実施形態に係る情報提示システムの全体構成を示す概念図であり、図2は、本実施形態に係る現実地図情報M1と仮想地図情報M2及びオブジェクトの関係を示す説明図である。また、図3及び図4は、本実施形態に係る情報提示処理の概要及び動作を示すブロック図である。
(Overall configuration of information presentation system)
Embodiments of an information presentation system according to the present invention will be described below in detail with reference to the accompanying drawings. FIG. 1 is a conceptual diagram illustrating the overall configuration of the information presentation system according to the present embodiment, and FIG. 2 is an explanatory diagram illustrating the relationship between real map information M1, virtual map information M2, and objects according to the present embodiment. . 3 and 4 are block diagrams showing an outline and operation of the information presentation process according to the present embodiment.

本実施形態に係る情報提示システムは、ユーザーが使用するスマートフォン等の情報端末装置を通じて、図2に示すように、仮想現実映像(同図(a))と、実空間映像(同図(b))と、さらに拡張現実(同図(c))を切り替えて或いは重畳させて提示するシステムであり、仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を、拡張現実(AR)や仮想現実(VR)として提示する。そして、本実施形態では、拡張現実や仮想現実を表示する際、それぞれの座標系を統合することで、拡張現実の実座標系と仮想現実の仮想座標系を1つの座標系で共存させて混合することができる。この結果、ARとVRとを融合させることで、多様性に富み、臨場感の高い仮想体験を演出することができる。   As shown in FIG. 2, the information presentation system according to the present embodiment, through an information terminal device such as a smartphone used by a user, and a virtual reality video (FIG. 2A) and a real space video (FIG. 2B). ) And augmented reality (FIG. 10 (c)) are switched or superimposed to present information about virtual objects arranged in a virtual coordinate system of the virtual space. Present as virtual reality (VR). In this embodiment, when displaying augmented reality or virtual reality, the coordinate systems are integrated so that the real coordinate system of augmented reality and the virtual coordinate system of virtual reality coexist in one coordinate system and mixed. can do. As a result, by combining AR and VR, it is possible to produce a virtual experience that is rich in diversity and highly realistic.

ここで、仮想現実と拡張現実の基本的な処理について説明すると、図2(a)に示す仮想現実(VR)は、図3に示すように、スマートフォンのカメラなどで撮影された実写である静止画や動画の背景及びオブジェクトに、3DCG(Three-dimensional computer graphics :三次元コンピューターグラフィックス)である静止画やCGアニメーションのオブジェクトOb1を実座標系(緯度、経度、高度)の現実地図情報M1に基づいて混合処理(可視/不可視/透過)して表示される。一方、図2(c)に示す拡張現実(AR)は、図3に示すように、3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を仮想座標系(x、y、z)の仮想地図情報M2に基づいて混合処理(可視/不可視/透過)して表示される。   Here, the basic processing of virtual reality and augmented reality will be described. The virtual reality (VR) shown in FIG. 2 (a) is a still image taken by a smartphone camera or the like as shown in FIG. 3DCG (Three-dimensional computer graphics) still image or CG animation object Ob1 is added to the real map information M1 of the real coordinate system (latitude, longitude, altitude) for the background and objects of pictures and videos. Based on the mixing processing (visible / invisible / transparent), it is displayed. On the other hand, the augmented reality (AR) shown in FIG. 2C is a virtual coordinate system in which a still image or CG animation object Ob1 as 3DCG is placed on the background of a still image or CG animation as 3DCG, as shown in FIG. Based on the virtual map information M2 of (x, y, z), a mixed process (visible / invisible / transparent) is displayed.

この混合処理に際しては、シナリオデータ及びユーザー操作に基づいて合成画像生成や表示遷移等を含む表示制御が行われ、表示制御に際しては、Layer制御、従属関係、グルーピング及び連動制御が行われる。また、拡張現実AR及び仮想現実VRの映像を生成する際には、スマートフォン1で取得される時間情報、現在位置や方位、照度等を参照して、カメラ位置、画角、ライティング及び環境光が、各座標系に基づいて設定される。   In this mixing process, display control including composite image generation and display transition is performed based on scenario data and user operation, and layer control, dependency relations, grouping, and interlocking control are performed in display control. Further, when generating the augmented reality AR and virtual reality VR images, the camera position, the angle of view, the lighting, and the ambient light are referred to by referring to the time information acquired by the smartphone 1, the current position, orientation, illuminance, and the like. Are set based on each coordinate system.

具体的に情報提示システムは、図1に示すように、複数のユーザー10が使用する携帯端末装置であるスマートフォン1と、インターネット2上に設置されたコンテンツ配信サーバー3とから概略構成される。なお、本実施形態では、スマートフォン1を情報処理端末装置の一例として説明する。   Specifically, as shown in FIG. 1, the information presentation system is roughly configured by a smartphone 1 that is a mobile terminal device used by a plurality of users 10 and a content distribution server 3 installed on the Internet 2. In the present embodiment, the smartphone 1 will be described as an example of an information processing terminal device.

コンテンツ配信サーバー3は、本実施形態では、インターネット2を通じて、各ユーザー端末に情報を配信するコンテンツサーバーであり、単一のサーバー装置、又は複数のサーバー装置群により実現することができ、複数の機能モジュールをCPU上に仮想的に構築し、それぞれの機能モジュールが協動して処理を実行する。また、このコンテンツ配信サーバー3は、通信機能によりインターネット2を通じて、データ送受信を行うことができるとともに、Webサーバー機能によりブラウザソフトを通じてWebページの提示などを行うことができる。   In the present embodiment, the content distribution server 3 is a content server that distributes information to each user terminal via the Internet 2, and can be realized by a single server device or a plurality of server device groups. Modules are virtually built on the CPU, and each functional module cooperates to execute processing. Further, the content distribution server 3 can perform data transmission / reception via the Internet 2 by a communication function, and can also present a web page through browser software by the web server function.

スマートフォン1は、無線通信を利用した携帯可能な情報処理端末装置であり、CPU等の演算処理装置を備え、アプリケーションソフトを実行することによって種々の機能を提供する装置である。この情報処理端末装置としては、例えば、パーソナルコンピューター等の汎用コンピューターや機能を特化させた専用装置により実現することができ、スマートフォンの他、タブレットPCやモバイルコンピューター、携帯電話機、ウェアラブル端末装置、ゲーム機その他のモバイル端末等が含まれる。   The smartphone 1 is a portable information processing terminal device using wireless communication, and includes an arithmetic processing device such as a CPU and provides various functions by executing application software. As this information processing terminal device, for example, it can be realized by a general-purpose computer such as a personal computer or a dedicated device specialized in functions. In addition to a smartphone, a tablet PC, a mobile computer, a mobile phone, a wearable terminal device, a game And other mobile terminals.

また、スマートフォン1は、無線基地局22等の中継点と無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この通話やデータ通信の通信方式としては、例えば、3G(3rd. Generation)方式、LTE(Long Term Evolution)方式、4G方式、FDMA方式、TDMA方式、CDMA方式、W−CDMAの他、PHS(Personal Handyphone System)方式等が挙げられる。また、このスマートフォン1は、デジタルカメラ機能、アプリケーションソフトの実行機能、GPS(Global Positioning System)などによる位置情報取得機能等、種々の機能が搭載され、タブレットPC等のモバイルコンピューターも含まれる。   The smartphone 1 communicates wirelessly with a relay point such as the wireless base station 22 and can receive a communication service such as a call or data communication while moving. As communication methods for the telephone call and data communication, for example, 3G (3rd. Generation) method, LTE (Long Term Evolution) method, 4G method, FDMA method, TDMA method, CDMA method, W-CDMA, PHS (Personal) Handyphone System) method. The smartphone 1 is equipped with various functions such as a digital camera function, an application software execution function, and a position information acquisition function using GPS (Global Positioning System), and includes a mobile computer such as a tablet PC.

なお、スマートフォン1に備えられた位置情報取得機能は、自機の位置を示す位置情報を取得して記録する機能であり、この位置情報取得機能としては、図1に示すように、例えば、GPSのように、衛星21からの信号によって自機の位置を検出する方法や、携帯電話の無線基地局22や、Wifi通信のアクセスポイントからの電波強度などによって位置を検出する方法が含まれる。   The position information acquisition function provided in the smartphone 1 is a function for acquiring and recording position information indicating the position of the own device. As the position information acquisition function, for example, as shown in FIG. As described above, there are a method of detecting the position of the own device based on a signal from the satellite 21, and a method of detecting the position based on the radio wave intensity from a wireless base station 22 of a mobile phone or an access point of WiFi communication.

そして、このスマートフォン1は、情報を表示する液晶ディスプレイ等の表示部を備えるとともに、ユーザーが入力操作を行うための操作ボタン等の操作デバイスを備え、この操作デバイスとしては、液晶ディスプレイに重畳されて配置され、液晶ディスプレイ上の座標位置を指定するタッチ操作などによる操作信号を取得する入力部としてのタッチパネルが含まれる。具体的にこのタッチパネルは、ユーザーの指先やペンなどを用いたタッチ操作による圧力によって操作信号を入力する入力デバイスであり、グラフィックを表示する液晶ディスプレイと、この液晶ディスプレイに表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサーとが重畳されて構成されている。   The smartphone 1 includes a display unit such as a liquid crystal display for displaying information, and an operation device such as an operation button for a user to perform an input operation. The operation device is superimposed on a liquid crystal display. A touch panel is included as an input unit that is arranged and acquires an operation signal by a touch operation or the like that specifies a coordinate position on a liquid crystal display. Specifically, this touch panel is an input device that inputs an operation signal by pressure by a touch operation using a user's fingertip, pen, etc., and a liquid crystal display that displays a graphic and a coordinate position of the graphic displayed on the liquid crystal display And a touch sensor that receives an operation signal corresponding to is superimposed.

(各装置の内部構造)
次いで、上述した情報提示システムを構成する各装置の内部構造について説明する。図5は、本実施形態に係るコンテンツ配信サーバー3の内部構成を示すブロック図であり、図6は、本実施形態に係るスマートフォン1の内部構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
(Internal structure of each device)
Next, the internal structure of each device constituting the information presentation system described above will be described. FIG. 5 is a block diagram illustrating an internal configuration of the content distribution server 3 according to the present embodiment, and FIG. 6 is a block diagram illustrating an internal configuration of the smartphone 1 according to the present embodiment. The “module” used in the description refers to a functional unit that is configured by hardware such as an apparatus or a device, software having the function, or a combination thereof, and achieves a predetermined operation. .

(1)コンテンツ配信サーバー
先ず、コンテンツ配信サーバー3の内部構成について説明する。コンテンツ配信サーバー3は、インターネット2上に配置されたサーバー装置であり、インターネット2を通じて、各スマートフォン1とデータの送受信を行えるようになっている。
(1) Content Distribution Server First, the internal configuration of the content distribution server 3 will be described. The content distribution server 3 is a server device arranged on the Internet 2, and can send and receive data to and from each smartphone 1 through the Internet 2.

コンテンツ配信サーバー3は、インターネット2を通じてデータ通信を行う通信インターフェース31と、利用者や利用者端末の権限を認証する認証部33と、各利用者端末の位置情報を収集して管理する位置情報管理部32と、シナリオによるコンテンツ制御を実行する情報管理部36と、仮想地図情報を生成する仮想地図情報生成部37と、各ユーザーに対して各種情報を配信する34と種々のデータを蓄積するデータ蓄積部を備えている。   The content distribution server 3 includes a communication interface 31 that performs data communication through the Internet 2, an authentication unit 33 that authenticates the authority of the user and the user terminal, and position information management that collects and manages position information of each user terminal. Unit 32, information management unit 36 that executes scenario-based content control, virtual map information generation unit 37 that generates virtual map information, data 34 that distributes various information to each user, and data that stores various data A storage unit is provided.

データ蓄積部には、現実世界における地理情報を含む現実地図情報を記憶する現実地図記憶部としての現実地図用データ35aと、利用者に関する情報を蓄積するユーザーデータ35bと、仮想地図情報、トリガー条件及びシナリオデータを蓄積する仮想コンテンツ用データ35cとが含まれる。これらの各データとしては、単一のテーブルデータとしてもよく、複数のデータベースに分割し、相互にリレーションを設定することで各データ同士を紐付けたリレーショナルデータベースとすることができる。   The data storage unit includes real map data 35a serving as a real map storage unit that stores real map information including geographical information in the real world, user data 35b that stores information about users, virtual map information, and trigger conditions. And virtual content data 35c for storing scenario data. Each of these data may be a single table data, and can be divided into a plurality of databases and a relational database in which the respective data are linked by setting relations with each other.

現実地図用データ35aは、現実世界における地理情報を含む現実地図情報を記憶する記憶装置であり、山や谷、河川等の自然的な地理的要素、建物や道路、鉄道などの人工物、地名や住所、交通規制などが記憶される。なお、この現実地図用データ35aは、コンテンツ配信サーバー3を運用するサービス提供者自身が所有・運用するものの他、他の地図サービス提供者が運用する地図データベースであってもよい。   The real map data 35a is a storage device that stores real map information including geographical information in the real world, such as natural geographical elements such as mountains, valleys, and rivers, artifacts such as buildings, roads, and railways, and place names. And addresses, traffic regulations, etc. are stored. The real map data 35a may be a map database operated by another map service provider, in addition to the data owned and operated by the service provider operating the content distribution server 3 itself.

ユーザーデータ35bに蓄積される情報としては、利用者又は利用者が使用している携帯端末装置を特定する識別子(ユーザーID、端末ID)と、パスワード等とを紐付けた認証情報が含まれユーザーIDに紐付けられた利用者の個人情報や、端末装置の機種なども含まれる。また、ユーザーデータ35bには、利用者毎或いは利用者端末毎の認証履歴(アクセス履歴)や、仮想コンテンツ用データ35cとのリレーションによりユーザー毎のシナリオデータに関する情報、コンテンツ提供サービスに関する決済情報等も蓄積される。   The information stored in the user data 35b includes authentication information in which an identifier (user ID, terminal ID) that identifies a user or a mobile terminal device used by the user, a password, and the like is associated with the user. The personal information of the user associated with the ID, the model of the terminal device, and the like are also included. In addition, the user data 35b includes authentication history (access history) for each user or user terminal, information on scenario data for each user based on the relation with the virtual content data 35c, payment information on a content providing service, and the like. Accumulated.

仮想コンテンツ用データ35cに蓄積される情報としては、仮想世界の地図情報、キャラクターやオブジェクトの特性、シナリオデータ、グラフィック情報などが仮想コンテンツデータとして含まれる。これらの仮想コンテンツデータと、現実地図に含まれる地理的要素や建物、道路、鉄道等とを関連づけ、表示遷移処理のトリガー条件である境界線・境界面の座標情報も含まれる。   Information stored in the virtual content data 35c includes virtual world map information, characteristics of characters and objects, scenario data, graphic information, and the like as virtual content data. The virtual content data is associated with geographical elements, buildings, roads, railways, and the like included in the real map, and includes coordinate information of boundary lines / boundary surfaces that are trigger conditions for display transition processing.

認証部33は、通信インターフェース31を通じて、各スマートフォン1と通信セッションを確立させ、その確立された通信セッション毎に認証処理を行うモジュールである。この認証処理としては、アクセス者である利用者のスマートフォン1から認証情報を取得し、ユーザーデータ35bを参照して、利用者等を特定し、それらの権限を認証する。この認証部33による認証結果(ユーザーID、認証時刻、セッションID等)は、情報管理部36に送出されるとともに、ユーザーデータ35bに認証履歴として蓄積される。なお、本実施形態では、アクセス者を特定する認証部を設けたが、この認証部については省略することも可能であり、不特定のアクセス者にサービスを提供するようにしてもよい。   The authentication unit 33 is a module that establishes a communication session with each smartphone 1 through the communication interface 31 and performs an authentication process for each established communication session. As this authentication process, authentication information is acquired from the smartphone 1 of the user who is an accesser, the user is identified with reference to the user data 35b, and their authority is authenticated. The authentication result (user ID, authentication time, session ID, etc.) by the authentication unit 33 is sent to the information management unit 36 and stored as authentication history in the user data 35b. In this embodiment, an authentication unit for specifying an accessor is provided. However, this authentication unit may be omitted, and a service may be provided to an unspecified accessor.

位置情報管理部32は、利用者端末装置側で取得されてコンテンツ配信サーバー3に送信される位置情報を取得するモジュールであり、位置情報管理部32は、認証部33による認証処理によって特定されたユーザーやユーザー端末装置の識別子(ユーザーID、端末ID等)と、それらの位置情報とを紐付けてユーザーデータ35bに利用履歴として蓄積する。   The location information management unit 32 is a module that acquires location information acquired on the user terminal device side and transmitted to the content distribution server 3. The location information management unit 32 is specified by the authentication process by the authentication unit 33. The identifiers (user ID, terminal ID, etc.) of the user and user terminal device and their position information are linked and stored as usage history in the user data 35b.

情報管理部36は、現実世界又は仮想世界において各ユーザーの移動により発生する表示遷移処理を管理するモジュールである。なお、情報管理部36は、本実施形態では、スマートフォン1側の表示制御部143と協働するようになっており、表示データ生成処理の一部をコンテンツ配信サーバー3側で行い、グラフィック処理やイベント処理の一部をスマートフォン1側の表示制御部143で実行するようにしている。例えば、コンテンツ配信サーバー3側で、オブジェクトの位置や境界線又は境界面の座標位置などに基づいて、発生し得る表示遷移処理を予測し、その発生条件をコンテンツ配信サーバー3側で発生させ、その条件をスマートフォン1側に送信し、実際の表示遷移処理の発生やそのためのグラフィック処理は、コンテンツ配信サーバー3から受信した発生条件に基づいてスマートフォン1側で実行する。   The information management unit 36 is a module that manages display transition processing that occurs when each user moves in the real world or the virtual world. In this embodiment, the information management unit 36 cooperates with the display control unit 143 on the smartphone 1 side, and performs part of the display data generation processing on the content distribution server 3 side to perform graphic processing or A part of the event processing is executed by the display control unit 143 on the smartphone 1 side. For example, the content distribution server 3 side predicts a display transition process that can occur based on the position of the object, the boundary line or the coordinate position of the boundary surface, and the generation condition is generated on the content distribution server 3 side. The conditions are transmitted to the smartphone 1 side, and the actual display transition process and the graphic process therefor are executed on the smartphone 1 side based on the generation conditions received from the content distribution server 3.

仮想地図情報生成部37は、ユーザーの現在位置やシナリオデータの設定に従って、現実地図情報M1上の地理情報に対応した仮想座標系に基づいたオブジェクトOb1等の座標情報、表示遷移発生条件となる境界線L1又は境界面F1を含む仮想地図情報M2を生成するモジュールである。詳述すると、仮想地図情報生成部37は、
に蓄積された現実地図情報M1に含まれる地理的要素や建物、道路、鉄道等を取得するとともに、仮想コンテンツ用データ35cに蓄積された情報を参照し、現実地図情報M1に対応した仮想世界の地図情報、オブジェクトの特性、表示遷移処理に関する情報、グラフィック情報などに基づいて仮想世界の地図情報を生成する。ここでは、図8及び図9に示すように、現実地図情報M1上の遺跡であるエリアP1に対応した座標位置(座標範囲)に、仮想的に復元された古城のオブジェクトOb1が配置されている。
The virtual map information generation unit 37 sets the coordinate information of the object Ob1 and the like based on the virtual coordinate system corresponding to the geographic information on the real map information M1, and the boundary that causes the display transition to occur, according to the user's current position and scenario data settings. It is a module that generates virtual map information M2 including a line L1 or a boundary surface F1. More specifically, the virtual map information generation unit 37
In addition to acquiring geographical elements, buildings, roads, railways, and the like included in the real map information M1 accumulated in the virtual map, the information stored in the virtual content data 35c is referred to, and the virtual world corresponding to the real map information M1 is obtained. Based on map information, object characteristics, display transition processing information, graphic information, etc., virtual world map information is generated. Here, as shown in FIGS. 8 and 9, the virtually restored old castle object Ob1 is arranged at the coordinate position (coordinate range) corresponding to the area P1 which is the ruins on the real map information M1. .

情報配信部34は、ユーザーの現在位置に基づいて、仮想地図情報生成部37が生成した仮想世界のグラフィックや、現実地図用データ35aに蓄積された現実地図情報を、通信インターフェース31を通じて,各ユーザーに配信するモジュールである。   Based on the current location of the user, the information distribution unit 34 transmits the virtual world graphic generated by the virtual map information generation unit 37 and the real map information stored in the real map data 35a to each user via the communication interface 31. It is a module to be distributed to.

(2)スマートフォン1
次いで、スマートフォン1の内部構成について説明する。図6に示すように、スマートフォン1は、通信インターフェース11と、入力インターフェース12と、出力インターフェース13と、アプリケーション実行部14と、メモリ15とを備えている。
(2) Smartphone 1
Next, the internal configuration of the smartphone 1 will be described. As shown in FIG. 6, the smartphone 1 includes a communication interface 11, an input interface 12, an output interface 13, an application execution unit 14, and a memory 15.

通信インターフェース11は、データ通信を行うための通信インターフェースであり、無線等による非接触通信や、ケーブル、アダプタ手段等により接触(有線)通信をする機能を備えている。入力インターフェース12は、マウス、キーボード、操作ボタンやタッチパネル12aなどユーザー操作、カメラ部121で撮像された実空間の静止画や動画が入力されるデバイスである。また、出力インターフェース13は、ディスプレイやスピーカーなど、映像や音響を出力するデバイスである。特にこの出力インターフェース13には、液晶ディスプレイなどの表示部13aが含まれ、この表示部13aは、入力インターフェースであるタッチパネル12aに重畳されている。   The communication interface 11 is a communication interface for performing data communication, and has a function of performing contact (wired) communication by wireless non-contact communication or a cable, adapter means, or the like. The input interface 12 is a device to which a user operation such as a mouse, a keyboard, operation buttons, and a touch panel 12a, a still image or a moving image in a real space captured by the camera unit 121 is input. The output interface 13 is a device that outputs video and sound, such as a display and a speaker. In particular, the output interface 13 includes a display unit 13a such as a liquid crystal display, and the display unit 13a is superimposed on a touch panel 12a that is an input interface.

メモリ15は、OS(Operating System)やファームウェア、各種のアプリケーション用のプログラム、その他のデータ等などを記憶する記憶装置であり、このメモリ15内には、ユーザー又はスマートフォン1を識別する各種IDの他、コンテンツ配信サーバー3からダウンロードしたアプリケーションデータを蓄積するとともに、アプリケーション実行部14で処理された各種データが蓄積される。さらに、本実施形態に係るメモリ15には、コンテンツ配信サーバー3から取得した、仮想地図情報M2及び現実地図情報M1が格納されている。   The memory 15 is a storage device that stores an OS (Operating System), firmware, programs for various applications, other data, and the like. The memory 15 includes various IDs for identifying the user or the smartphone 1. The application data downloaded from the content distribution server 3 is accumulated, and various data processed by the application execution unit 14 are accumulated. Furthermore, the virtual map information M2 and the real map information M1 acquired from the content distribution server 3 are stored in the memory 15 according to the present embodiment.

アプリケーション実行部14は、一般のOSや各種アプリケーション、ブラウザソフトなどのアプリケーションを実行するモジュールであり、通常はCPU等により実現される。このアプリケーション実行部14では、本発明に係る情報提示プログラムが実行されることで、情報取得部141と、表示データ生成部142と、表示制御部143と、シナリオ管理部144と、トリガー判定部145と、遷移設定部146と、位置情報取得部147とが仮想的に構築される。   The application execution unit 14 is a module that executes an application such as a general OS, various applications, and browser software, and is usually realized by a CPU or the like. The application execution unit 14 executes the information presentation program according to the present invention, so that the information acquisition unit 141, the display data generation unit 142, the display control unit 143, the scenario management unit 144, and the trigger determination unit 145 are executed. The transition setting unit 146 and the position information acquisition unit 147 are virtually constructed.

情報取得部141は、実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、仮想空間の座標系における地理情報上に仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部の役割を果たすモジュールである。なお、この情報取得部141における情報の取得としては、メモリ15に蓄積されたデータを読み出す場合や、通信インターフェース11を通じてコンテンツ配信サーバー3からダウンロードする場合、また、スマートフォン1内で生成又は加工されたデータを読み込む場合のいずれも含まれる。この表示データ生成部142で生成された表示データの表示処理は、表示制御部143で制御される。   The information acquisition unit 141 acquires real map information including geographical information in the real space coordinate system, and virtual map information in which virtual objects are arranged on the geographical information in the virtual space coordinate system. This module plays the role of a map acquisition unit. The information acquisition unit 141 acquires information when reading data stored in the memory 15, downloading from the content distribution server 3 through the communication interface 11, or generated or processed in the smartphone 1. Any case of reading data is included. Display processing of the display data generated by the display data generation unit 142 is controlled by the display control unit 143.

表示データ生成部142は、表示部13aに表示させるための表示データを生成するモジュールである。表示データは、3Dグラフィックデータの他、画像データや、文字データ、動画データ、音声その他のデータを組み合わせて生成されるデータである。特にこの表示データ生成部142は、実空間における座標系と共通化され、実空間の位置情報に対応付けられた仮想地図情報M2上に、3Dグラフィックである仮想オブジェクトOb1を配置した仮想表示データを生成する仮想現実表示データ生成部の役割を果たすモジュールである。また、表示データ生成部142は、実空間における座標系の位置情報に対応付けられた現実地図情報上に、3Dグラフィックである仮想オブジェクトOb1を配置した表示データを、カメラ部121が撮像した映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部の役割を果たす。   The display data generation unit 142 is a module that generates display data to be displayed on the display unit 13a. The display data is data generated by combining image data, character data, moving image data, audio and other data in addition to 3D graphic data. In particular, the display data generation unit 142 uses virtual display data in which a virtual object Ob1 that is a 3D graphic is arranged on the virtual map information M2 that is shared with the coordinate system in the real space and associated with the position information in the real space. It is a module that plays the role of a virtual reality display data generation unit to be generated. In addition, the display data generation unit 142 converts the display data in which the virtual object Ob1 that is a 3D graphic is arranged on the real map information associated with the position information of the coordinate system in the real space into an image captured by the camera unit 121. It plays the role of an augmented reality display data generation unit that generates augmented display data by superimposing.

表示制御部143は、位置情報取得部147が取得した現在位置情報に応じて、仮想表示データと拡張表示データ0とを、選択的に切り替えて、或いは一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行するモジュールである。この表示制御部143により表示遷移処理された仮想表示データ又は拡張表示データは、出力インターフェース13を通じて表示部13aに表示される。   The display control unit 143 selectively switches between the virtual display data and the extended display data 0 according to the current position information acquired by the position information acquisition unit 147, or switches one display data to one of the other display data. This is a module for executing a display transition process for combining parts or all. The virtual display data or the extended display data subjected to the display transition process by the display control unit 143 is displayed on the display unit 13a through the output interface 13.

また、表示制御部143は、スマートフォン1側での処理と、コンテンツ配信サーバー3側での処理とを同期させる機能も備えている。具体的には、コンテンツ配信サーバー3側で、スマートフォン1の位置や、オブジェクトOb1の位置などに基づいて、発生し得る表示遷移処理を予測し、その表示遷移処理の発生条件であるトリガー条件を仮想地図情報に付加し、その仮想地図情報をスマートフォン1側に送信する。このトリガー条件は遷移設定部146で取得され、実際の表示遷移処理の発生やそのためのグラフィック処理は、コンテンツ配信サーバー3から受信したトリガー条件に基づいてスマートフォン1側のトリガー判定部145、表示データ生成部142及び表示制御部143で処理される。このトリガー判定部145及び表示制御部143で実行された表示遷移処理の結果は、コンテンツ配信サーバー3側の情報管理部36に通知され、その後の仮想地図情報生成部37における処理に反映される。   The display control unit 143 also has a function of synchronizing processing on the smartphone 1 side with processing on the content distribution server 3 side. Specifically, the content distribution server 3 predicts a display transition process that can occur based on the position of the smartphone 1 or the position of the object Ob1, and virtually sets a trigger condition that is a generation condition of the display transition process. It adds to map information and transmits the virtual map information to the smartphone 1 side. This trigger condition is acquired by the transition setting unit 146, and the actual display transition processing and the graphic processing therefor are performed based on the trigger condition received from the content distribution server 3, the trigger determination unit 145 on the smartphone 1 side, display data generation Processing is performed by the unit 142 and the display control unit 143. The result of the display transition process executed by the trigger determination unit 145 and the display control unit 143 is notified to the information management unit 36 on the content distribution server 3 side and is reflected in the subsequent process in the virtual map information generation unit 37.

シナリオ管理部144は、表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得して管理するモジュールであり、表示制御部143は、トリガー判定部145による判定結果に基づき、シナリオデータ又はユーザー操作に従って表示遷移処理を実行するモジュールである。   The scenario management unit 144 is a module that acquires and manages scenario data describing the time at which the display transition process is executed, the place, the types of objects to be presented, and the order of their appearance. The display control unit 143 is a trigger determination This is a module that executes display transition processing according to scenario data or user operation based on the determination result by the unit 145.

位置情報取得部147は、実空間の座標系における位置及び方向を現在位置情報として取得するモジュールである。具体的にこの位置情報取得部147は、スマートフォン1に備えられた位置情報取得機能やジャイロセンサー、方位センサー、加速度センサー等から、GPSや周囲の電波環境に基づく自機の現在位置を緯度・経度、標高、自機が向いている方位、相対移動距離、相対回転角度を取得する。そして、実空間における座標位置と仮想空間における座標位置を相互に変換し、表示制御部143が拡張現実を表示しているときには実空間の座標位置をトリガー判定部145及び表示制御部143に送出し、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標位置に変換してトリガー判定部145及び表示制御部143に送出する。   The position information acquisition unit 147 is a module that acquires the position and direction in the coordinate system of the real space as current position information. Specifically, the position information acquisition unit 147 uses the position information acquisition function, gyro sensor, azimuth sensor, acceleration sensor, and the like provided in the smartphone 1 to calculate the current position of the own device based on the GPS and the surrounding radio wave environment. The altitude, the heading of the aircraft, the relative movement distance, and the relative rotation angle are acquired. Then, the coordinate position in the real space and the coordinate position in the virtual space are mutually converted, and when the display control unit 143 displays augmented reality, the coordinate position in the real space is sent to the trigger determination unit 145 and the display control unit 143. When the display control unit 143 displays the virtual reality, the coordinate position in the real space is converted into the coordinate position on the virtual space map and is sent to the trigger determination unit 145 and the display control unit 143.

トリガー判定部145は、現在位置情報に含まれる位置情報が、実空間地図上又は仮想空間地図上に設定された境界線又は境界面を通過したことを判定するモジュールである。具体的には、図12に示すように、位置情報取得部147が取得した実空間上の現在位置又は仮想空間地図上における座標位置を参照し、表示制御部143が拡張現実を表示しているときには実空間の座標位置を監視し、ユーザーの移動が境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出し、一方、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標系に変換した仮想的な座標位置を監視し、ユーザーの移動が仮想地図上の境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。   The trigger determination unit 145 is a module that determines that the position information included in the current position information has passed a boundary line or a boundary plane set on the real space map or the virtual space map. Specifically, as shown in FIG. 12, the display control unit 143 displays the augmented reality with reference to the current position in the real space acquired by the position information acquisition unit 147 or the coordinate position on the virtual space map. Sometimes, the coordinate position of the real space is monitored, and when the movement of the user passes the boundary line L1 or the boundary surface F1, a trigger signal is output and sent to the display control unit 143, while the display control unit 143 displays the virtual reality. The virtual coordinate position obtained by converting the coordinate position of the real space into the coordinate system on the virtual space map is monitored, and triggered when the user's movement passes the boundary line L1 or the boundary plane F1 on the virtual map. The signal is output and sent to the display control unit 143.

このとき、現実地図情報M1の座標系と、地図M2の座標系の縮尺が同等の場合には、図12(a)に示すように、実空間(拡張現実空間)内を移動した距離がそのまま仮想空間内における移動距離となり、実空間(仮想現実空間)上の境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移により仮想空間が表示され、実空間内を歩くことで、その移動距離がそのまま仮想空間内での移動距離となり、仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   At this time, when the scales of the coordinate system of the real map information M1 and the coordinate system of the map M2 are equivalent, the distance moved in the real space (augmented reality space) is unchanged as shown in FIG. It becomes a moving distance in the virtual space, a trigger is generated by passing through the boundary line L1 or the boundary surface F1 in the real space (virtual reality space), the virtual space is displayed by the display transition, and walking in the real space The movement distance becomes the movement distance in the virtual space as it is, and a trigger is generated when the movement in the virtual space passes through the boundary line L1 or the boundary surface F1, and the display transition is executed to display the real space. Be started.

また、現実地図情報M1の縮尺と、地図M2の縮尺が異なる場合には、図12(b)又は(c)に示すように、実空間(拡張現実空間)内を移動した距離とは異なる距離が仮想空間内における移動距離となる。同図(b)では、例えばユーザーの身体が巨大化して実際に歩いた距離よりも拡大された距離を仮想空間内で移動し、この拡大された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。同図(c)では、例えばユーザーの身体が縮小化して実際に歩いた距離よりも縮小された距離を仮想空間内で移動し、この縮小された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   Further, when the scale of the real map information M1 is different from the scale of the map M2, as shown in FIG. 12B or 12C, a distance different from the distance moved in the real space (augmented reality space). Is the moving distance in the virtual space. In FIG. 5B, for example, the user's body is enlarged and moved within the virtual space a distance that is larger than the distance actually walked, and the boundary line L1 or the boundary is moved by the movement in the enlarged virtual space. A trigger is generated by passing through the plane F1, display transition is executed, and display of the real space is started. In FIG. 8C, for example, the user's body is reduced and moved within the virtual space by a distance that is reduced compared to the actual walking distance, and the boundary line L1 or the boundary is moved by the movement in the reduced virtual space. A trigger is generated by passing through the plane F1, display transition is executed, and display of the real space is started.

また、仮想空間内で例えばユーザーが仮想的な乗り物に乗って移動するようなときには、図12(d)に示すように、仮想空間が表示されている間、ユーザーは移動せずに乗り物の運転・操縦を行うことにより仮想空間内で移動し、この仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   Also, when the user moves on a virtual vehicle in the virtual space, for example, as shown in FIG. 12D, the user does not move while driving the vehicle while the virtual space is displayed. -Moves in the virtual space by maneuvering, triggers by passing through the boundary line L1 or the boundary surface F1 due to the movement in the virtual space, display transition is executed, and display of the real space starts Is done.

遷移設定部146は、図8及び図9に示すような、表示遷移処理を実行させる境界線L1又は境界面F1を、現実地図情報M1上又は仮想地図情報M2上に設定するモジュールである。ここで、境界線とは図8(a)及び(b)に示すように二次元的な地図座標系上に表現された直線又は曲線であり、図9(a)及び(b)に示すように境界面とは3次元的な地図座標系上に表現された平面又は曲面である。図8では境界線L1によって囲まれてエリアP1やオブジェクトOb1の平面形状が画成されており、図9では、境界面F1によって囲まれて立体的なエリアP1やオブジェクトOb1の外表を構成するポリゴンが画成されている。   The transition setting unit 146 is a module that sets the boundary line L1 or the boundary surface F1 for executing the display transition process on the real map information M1 or the virtual map information M2 as shown in FIGS. Here, the boundary line is a straight line or a curve expressed on a two-dimensional map coordinate system as shown in FIGS. 8A and 8B, and as shown in FIGS. 9A and 9B. The boundary surface is a plane or a curved surface expressed on a three-dimensional map coordinate system. In FIG. 8, the planar shape of the area P1 and the object Ob1 is defined by being surrounded by the boundary line L1, and in FIG. 9, the polygon that is surrounded by the boundary surface F1 and forms the outer surface of the three-dimensional area P1 and the object Ob1. Is defined.

具体的に遷移設定部146は、情報取得部141が取得した現実地図情報M1上又は仮想地図情報M2上の境界線L1又は境界面F1を抽出し、境界線L1については3次元空間上における無限遠の高さを有する平面として設定し、一方、境界面F1については、現在位置の標高に従って2次元的な地図上における境界線として設定する。例えば、境界面F1が複数のフロアーを有する建物内の所定の階に設定されたものであるときなどには、現在位置の高さ(標高)に応じて、二次元的な平面地図上に表れる境界面F1の断面である境界線が、各フロアーの平面地図上に設定される。   Specifically, the transition setting unit 146 extracts the boundary line L1 or the boundary surface F1 on the real map information M1 or the virtual map information M2 acquired by the information acquisition unit 141, and the boundary line L1 is infinite in the three-dimensional space. The plane is set as a plane having a distant height, while the boundary plane F1 is set as a boundary line on a two-dimensional map according to the altitude of the current position. For example, when the boundary surface F1 is set on a predetermined floor in a building having a plurality of floors, it appears on a two-dimensional planar map according to the height (elevation) of the current position. A boundary line that is a cross section of the boundary surface F1 is set on the planar map of each floor.

表示制御部143は、トリガー判定部145による判定結果に基づいて表示遷移処理を実行するモジュールである。また、表示制御部143は、コンテンツ配信サーバー3側の情報管理部36と協働するようになっており、表示データの生成処理等の一部をコンテンツ配信サーバー3側で行い、グラフィック処理等の一部をスマートフォン1側の表示データ生成部142で実行するようにしている。例えば、表示遷移の条件や表示データなどをコンテンツ配信サーバー3側で生成し、その条件や表示データをスマートフォン1側に送信し、実際の表示遷移処理の発生やそのためのグラフィック処理は、スマートフォン1側で実行するようにしてもよい。   The display control unit 143 is a module that executes display transition processing based on the determination result by the trigger determination unit 145. In addition, the display control unit 143 cooperates with the information management unit 36 on the content distribution server 3 side, and performs part of the display data generation processing on the content distribution server 3 side to perform graphic processing and the like. A part is executed by the display data generation unit 142 on the smartphone 1 side. For example, display transition conditions, display data, and the like are generated on the content distribution server 3 side, the conditions and display data are transmitted to the smartphone 1 side, and the actual display transition processing and graphic processing therefor are performed on the smartphone 1 side. May be executed.

そして、このような構成を有するシステムでは、図2(a)に示す仮想現実(VR)は、図4に示すように、スマートフォンのカメラなどで撮影された実写である静止画や動画の背景及びオブジェクトに、3DCGである静止画やCGアニメーションのオブジェクトOb1を情報取得部141で取得し、表示データ生成部142で実写の背景及びオブジェクトに、3DCGのオブジェクトOb1を実座標系(緯度、経度、高度)の現実地図情報M1に基づいて、レイヤー毎の画像として生成される。このレイヤー毎の画像は、シナリオ管理部144によるレイヤー制御に基づいて、表示制御部143において混合処理され、タッチパネル12aに表示される。一方、図2(c)に示す拡張現実(AR)は、図4に示すように、3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を情報取得部141で取得し、表示データ生成部142で3DCGである静止画やCGアニメーションの背景に、3DCGである静止画やCGアニメーションのオブジェクトOb1を仮想座標系(x、y、z)の仮想地図情報M2に基づいて、レイヤー毎の画像として生成される。このレイヤー毎の画像は、シナリオ管理部144によるレイヤー制御に基づいて、表示制御部143において混合処理され、タッチパネル12aに表示される。   In the system having such a configuration, the virtual reality (VR) shown in FIG. 2A is a background of a still image or a moving image that is a photograph taken with a camera of a smartphone, as shown in FIG. The object acquisition unit 141 acquires a 3DCG still image or CG animation object Ob1 as an object, and the display data generation unit 142 sets the 3DCG object Ob1 as a real coordinate system (latitude, longitude, altitude). ) Is generated as an image for each layer. The image for each layer is mixed in the display control unit 143 based on the layer control by the scenario management unit 144 and displayed on the touch panel 12a. On the other hand, in the augmented reality (AR) shown in FIG. 2C, as shown in FIG. 4, a 3DCG still image or CG animation object Ob1 is used as an information acquisition unit in the background of a 3DCG still image or CG animation. 141, and the display data generation unit 142 uses the 3DCG still image or CG animation background as the background image of the 3DCG still image or CG animation object Ob1 in the virtual coordinate system (x, y, z) virtual map information M2. Is generated as an image for each layer. The image for each layer is mixed in the display control unit 143 based on the layer control by the scenario management unit 144 and displayed on the touch panel 12a.

この混合処理に際しては、シナリオ管理部144によって管理されているシナリオデータや、タッチパネル12a等のユーザーインターフェースを通じて取得されるユーザー操作に基づいて合成画像生成や表示遷移等を含む表示制御が行われ、表示制御に際しては、Layer制御、従属関係、グルーピング及び連動制御が行われる。また、拡張現実AR及び仮想現実VRの映像を生成する際には、スマートフォン1に備えられた各種センサー16や時計部で取得される時間情報、現在位置や方位、照度等を参照して、カメラ位置、画角、ライティング及び環境光が、各座標系に基づいて設定される。   In this mixing process, display control including composite image generation, display transition, and the like is performed based on scenario data managed by the scenario management unit 144 and user operations acquired through a user interface such as the touch panel 12a. In the control, layer control, dependency relationship, grouping, and interlock control are performed. In addition, when generating the augmented reality AR and virtual reality VR images, the time information acquired by the various sensors 16 and the clock unit included in the smartphone 1, the current position, direction, illuminance, and the like are referred to, and the camera The position, angle of view, lighting, and ambient light are set based on each coordinate system.

(情報提示システムの動作)
以上説明した情報提示システムを動作させることによって、本発明の情報提示方法を実施することができる。図7は、情報提示システムの表示遷移処理に関する動作を示すシーケンス図である。
(Operation of information presentation system)
By operating the information presentation system described above, the information presentation method of the present invention can be implemented. FIG. 7 is a sequence diagram showing operations related to display transition processing of the information presentation system.

図10に示すように、例えば、現実地図情報M1上にある遺跡などの所定エリアP1などに接近し、その遺跡であるエリアP1に対応した仮想地図情報M2の座標上に形成された古城のオブジェクトOb1がカメラの視野に入った場合に、トリガー判定部145によって拡張現実表示が開始され、実際の風景を背景とした仮想的な建物であるオブジェクトOb1の外観が拡張現実として閲覧可能となる。   As shown in FIG. 10, for example, an object of an old castle formed on the coordinates of the virtual map information M2 corresponding to the area P1 that is the ruins approaching the predetermined area P1 such as the ruins on the real map information M1 When Ob1 enters the field of view of the camera, the augmented reality display is started by the trigger determination unit 145, and the appearance of the object Ob1, which is a virtual building with an actual landscape as a background, can be viewed as augmented reality.

次いで、エリアP1にさらに接近し、図11に示すように、境界線L1又は境界面F1を通過してエリアP1内に進入した場合、トリガー条件が満たされたとして表示遷移処理が実行され、仮想的な建物であるオブジェクトOb1の内部が仮想現実として閲覧可能となる。   Next, when the vehicle further approaches the area P1 and passes through the boundary line L1 or the boundary surface F1 and enters the area P1 as shown in FIG. 11, the display transition process is executed assuming that the trigger condition is satisfied, and the virtual The inside of the object Ob1, which is a typical building, can be viewed as a virtual reality.

このような表示遷移処理について具体的に説明する。図7に示すように、先ず、情報提示に際し、周期的に各スマートフォン1において位置情報を取得してコンテンツ配信サーバー3に送信する(S201及びS101)。コンテンツ配信サーバー3側では、この送信された各ユーザーの現在位置に従って、発生させるべき表示遷移処理を予測し(S102)、その発生条件をスマートフォン1側に送信する(S103)。   Such display transition processing will be specifically described. As shown in FIG. 7, first, when presenting information, each smartphone 1 periodically acquires position information and transmits it to the content distribution server 3 (S201 and S101). On the content distribution server 3 side, the display transition process to be generated is predicted according to the transmitted current position of each user (S102), and the generation condition is transmitted to the smartphone 1 side (S103).

詳述すると、コンテンツ配信サーバー3側で取得された各ユーザーの現在位置に基づいて、コンテンツ配信サーバー3の情報管理部36が、ユーザーの現在位置や、オブジェクトの位置などに基づいて、発生し得る表示遷移処理を予測し、その発生条件をコンテンツ配信サーバー3側で発生させ、その条件をスマートフォン1側に送信する。   More specifically, based on the current position of each user acquired on the content distribution server 3 side, the information management unit 36 of the content distribution server 3 can generate based on the current position of the user, the position of the object, and the like. The display transition process is predicted, the generation condition is generated on the content distribution server 3 side, and the condition is transmitted to the smartphone 1 side.

スマートフォン1側では、このトリガー条件を遷移設定部146で取得する。そして、カメラ部121による撮影を開始すると(S203)、トリガー条件が満たされるタイミングをトリガー判定部145で監視する(S204)。具体的には、スマートフォン1側において表示遷移処理の発生条件であるトリガー条件と、位置情報取得部147が取得する自機の現在位置とを監視し、エリアP1内に進入するなどのトリガー条件が満たされたとき(S205の「Y」)に、表示遷移処理が実行される(S206)。一方、トリガー条件が満たされていない場合には(S205の「N」)、そのまま撮像処理(S203)及びトリガー条件の監視(S204)を継続する。   On the smartphone 1 side, this trigger condition is acquired by the transition setting unit 146. When shooting by the camera unit 121 is started (S203), the trigger determination unit 145 monitors the timing at which the trigger condition is satisfied (S204). Specifically, a trigger condition that monitors the trigger condition, which is a condition for generating the display transition process, and the current position of the own device acquired by the position information acquisition unit 147 on the smartphone 1 side and enters the area P1 is set. When it is satisfied (“Y” in S205), a display transition process is executed (S206). On the other hand, if the trigger condition is not satisfied (“N” in S205), the imaging process (S203) and the monitoring of the trigger condition (S204) are continued as they are.

詳述すると、このトリガー条件の監視では、トリガー判定部145が、現在位置情報に含まれる位置情報が、実空間地図上又は仮想空間地図上に設定された境界線又は境界面を通過したことを判定する。例えば、図12に示すように、位置情報取得部147が取得した実空間上の現在位置又は仮想空間地図上における座標位置を参照し、表示制御部143が拡張現実を表示しているときには実空間の座標位置を監視し、ユーザーの移動が境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。一方、表示制御部143が仮想現実を表示しているときには実空間の座標位置を仮想空間地図上の座標系に変換した仮想的な座標位置を監視し、ユーザーの移動が仮想地図上の境界線L1或いは境界面F1を通過したときにトリガー信号出力して表示制御部143に送出する。   More specifically, in the monitoring of the trigger condition, the trigger determination unit 145 indicates that the position information included in the current position information has passed the boundary line or boundary surface set on the real space map or the virtual space map. judge. For example, as shown in FIG. 12, when the display control unit 143 displays augmented reality with reference to the current position on the real space acquired by the position information acquisition unit 147 or the coordinate position on the virtual space map, the real space is displayed. The coordinate position is monitored, and when the movement of the user passes through the boundary line L1 or the boundary surface F1, a trigger signal is output and sent to the display control unit 143. On the other hand, when the display control unit 143 displays the virtual reality, the virtual coordinate position obtained by converting the coordinate position of the real space into the coordinate system on the virtual space map is monitored, and the movement of the user is the boundary line on the virtual map. When the signal passes through L1 or the boundary surface F1, a trigger signal is output and sent to the display control unit 143.

このとき、現実地図情報M1の座標系と、地図M2の座標系の縮尺が同等の場合には、図12(a)に示すように、実空間(拡張現実空間)内を移動した距離がそのまま仮想空間内における移動距離となり、実空間(仮想現実空間)上の境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移により仮想空間が表示され、実空間内を歩くことで、その移動距離がそのまま仮想空間内での移動距離となり、仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   At this time, when the scales of the coordinate system of the real map information M1 and the coordinate system of the map M2 are equivalent, the distance moved in the real space (augmented reality space) is unchanged as shown in FIG. It becomes a moving distance in the virtual space, a trigger is generated by passing through the boundary line L1 or the boundary surface F1 in the real space (virtual reality space), the virtual space is displayed by the display transition, and walking in the real space The movement distance becomes the movement distance in the virtual space as it is, and a trigger is generated when the movement in the virtual space passes through the boundary line L1 or the boundary surface F1, and the display transition is executed to display the real space. Be started.

また、現実地図情報M1の縮尺と、地図M2の縮尺が異なる場合には、図12(b)又は(c)に示すように、実空間(拡張現実空間)内を移動した距離とは異なる距離が仮想空間内における移動距離となる。同図(b)では、例えばユーザーの身体が巨大化して実際に歩いた距離よりも拡大された距離を仮想空間内で移動し、この拡大された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。同図(c)では、例えばユーザーの身体が縮小化して実際に歩いた距離よりも縮小された距離を仮想空間内で移動し、この縮小された仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   Further, when the scale of the real map information M1 is different from the scale of the map M2, as shown in FIG. 12B or 12C, a distance different from the distance moved in the real space (augmented reality space). Is the moving distance in the virtual space. In FIG. 5B, for example, the user's body is enlarged and moved within the virtual space a distance that is larger than the distance actually walked, and the boundary line L1 or the boundary is moved by the movement in the enlarged virtual space. A trigger is generated by passing through the plane F1, display transition is executed, and display of the real space is started. In FIG. 8C, for example, the user's body is reduced and moved within the virtual space by a distance that is reduced compared to the actual walking distance, and the boundary line L1 or the boundary is moved by the movement in the reduced virtual space. A trigger is generated by passing through the plane F1, display transition is executed, and display of the real space is started.

また、仮想空間内で例えばユーザーが仮想的な乗り物に乗って移動するようなときには、図12(d)に示すように、仮想空間が表示されている間、ユーザーは移動せずに乗り物の運転・操縦を行うことにより仮想空間内で移動し、この仮想空間内での移動により境界線L1又は境界面F1を通過することでトリガーが発生し、表示遷移が実行されて実空間の表示が開始される。   Also, when the user moves on a virtual vehicle in the virtual space, for example, as shown in FIG. 12D, the user does not move while driving the vehicle while the virtual space is displayed. -Moves in the virtual space by maneuvering, triggers by passing through the boundary line L1 or the boundary surface F1 due to the movement in the virtual space, display transition is executed, and display of the real space starts Is done.

その後、このスマートフォン1側で実行された表示遷移処理の結果は、表示制御部143を通じてコンテンツ配信サーバー3側の情報管理部36に通知され(S207)、コンテンツ配信サーバー3側で同期処理がなされ(S104)、その実行された表示遷移処理の結果が、シナリオ生成処理に反映される。
以上の処理は、アプリケーションが終了されるまで繰り返される。
Thereafter, the result of the display transition process executed on the smartphone 1 side is notified to the information management unit 36 on the content distribution server 3 side through the display control unit 143 (S207), and the synchronization process is performed on the content distribution server 3 side ( S104), the result of the executed display transition process is reflected in the scenario generation process.
The above processing is repeated until the application is terminated.

(作用・効果)
以上説明した本実施形態によれば、拡張現実(AR)や仮想現実(VR)を表示する際、それぞれの座標系を統合することで、拡張現実(AR)と仮想現実(VR)を1つの座標系で共存させて混合することができる。この結果、ARを融合させることで、多様性に富み、臨場感が高い、仮想体験を演出することができる。
(Action / Effect)
According to the present embodiment described above, when displaying augmented reality (AR) and virtual reality (VR), by integrating the respective coordinate systems, augmented reality (AR) and virtual reality (VR) are combined into one. Can coexist in the coordinate system and mix. As a result, by combining AR, it is possible to produce a virtual experience that is rich in diversity and highly realistic.

また、本実施形態によれば、現実地図情報上又は仮想地図情報上に設定された境界線又は境界面を通過することで、ユーザーによる特別な操作を要することなく、拡張現実と仮想現実とを自動的に切り替えることができ、拡張現実から仮想現実へ、又は仮想現実から拡張現実へと自然に遷移させることができる。   Further, according to the present embodiment, augmented reality and virtual reality can be obtained without requiring a special operation by the user by passing through a boundary line or boundary surface set on the real map information or virtual map information. It is possible to switch automatically and to make a natural transition from augmented reality to virtual reality or from virtual reality to augmented reality.

(変更例)
なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。図13及び図14は、変更例1及び2に係る情報提示システムの概要を示す説明図である。
(Example of change)
The above description of the embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and various modifications can be made according to the design and the like as long as they do not depart from the technical idea of the present invention. 13 and 14 are explanatory diagrams showing an overview of the information presentation system according to the first and second modification examples.

(1)変更例1
例えば、上述した実施形態では、カメラ部を備えた情報処理装置としてスマートフォン1を用いたが、このカメラ部を備えた装置として、図13に示すような、観光地に設置された展望鏡40を用いてもよい。この展望鏡40は、実空間の座標系に固定された基台部40bを有し、この基台部40bに対して左右に回動可能及び上下に俯仰可能に展望鏡本体40aが設置されている。上記カメラ部121は、展望鏡本体40aの先端に配置され、前記表示部13aは、展望鏡本体40aの後端側に配置されている。
(1) Modification 1
For example, in the above-described embodiment, the smartphone 1 is used as the information processing apparatus including the camera unit. However, as the apparatus including the camera unit, a viewing mirror 40 installed in a sightseeing spot as illustrated in FIG. 13 is used. It may be used. The observing mirror 40 has a base 40b fixed in a real space coordinate system, and the observing mirror main body 40a is installed so as to be turnable to the left and right and up and down with respect to the base 40b. Yes. The camera unit 121 is disposed at the front end of the viewing mirror body 40a, and the display unit 13a is disposed at the rear end side of the viewing mirror body 40a.

この変更例1では、図13に示すような、実空間上の古城跡の遺跡であるエリアP1を、展望鏡40を通じて観ると、遺跡であるエリアP1に対応した座標位置(座標範囲)に、仮想的に復元された古城のオブジェクトOb1が実空間背景に合成された拡張現実映像を観ることができる。この拡張現実映像であるオブジェクトOb1は、展望鏡40で撮影できる実空間の背景の地形及び座標に適合されて三次元化されており、展望鏡本体40aを左右に回転させたり、上下に俯仰させることにより仮想的に復元された古城や、その周辺の背景を合成した立体映像を観ることができる。このとき、展望鏡の焦点距離の移動をもって境界線や境界面の通過を判断し、表示遷移のトリガー発生の条件としてもよい。このような本変更例1によれば、展望鏡で観られる実空間の景色に、復元された古城やその当時の風景など仮想的又は拡張的な演出を加えることができる。   In this modified example 1, as shown in FIG. 13, when viewing the area P1 that is the ruins of the old castle in the real space through the viewing mirror 40, the coordinate position (coordinate range) corresponding to the area P1 that is the ruins is It is possible to view an augmented reality image in which the virtually restored old castle object Ob1 is combined with a real space background. The object Ob1, which is an augmented reality video, is three-dimensionally adapted to the terrain and coordinates of the background of the real space that can be photographed by the observing mirror 40, and rotates the observing mirror main body 40a to the left and right or up and down. By doing so, you can watch the ancient castle that was virtually restored and the stereoscopic video that combines the surrounding background. At this time, the passage of the boundary line or the boundary surface may be determined by the movement of the focal length of the viewing mirror, and the display transition may be triggered. According to the first modification, it is possible to add a virtual or expansive effect such as the restored old castle and the scenery at that time to the scenery of the real space seen with the observing mirror.

(2)変更例2
また、仮想現実又は拡張現実に合成される3Dオブジェクトとして、図14に示すような、開口部を有する板状のいわゆる顔ハメ看板としてのオブジェクトOb2としてもよい。例えば、実空間上の古城跡の遺跡であるエリアP1をバックに被写体Sub1をスマートフォン1で撮影すると、被写体Sub1とスマートフォン1との間の座標位置に顔ハメ看板としてのオブジェクトOb2が拡張現実的に配置され、被写体Sub1の背後に古城のオブジェクトOb1が拡張現実的に配置される。
(2) Modification example 2
Further, as a 3D object synthesized with virtual reality or augmented reality, an object Ob2 as a so-called face-shaped face signboard having an opening as shown in FIG. 14 may be used. For example, when the subject Sub1 is photographed by the smartphone 1 with the area P1 that is the ruins of an old castle ruin in the real space, the object Ob2 as a face saddle sign is augmented realistically at the coordinate position between the subject Sub1 and the smartphone 1. The old castle object Ob1 is arranged in augmented reality behind the subject Sub1.

この顔ハメ看板としてのオブジェクトOb2は、コンテンツ配信サーバー3において現在位置に応じたオブジェクトを選択されて、コンテンツ配信サーバー3から配信される。このような本変更例2によれば、復元された古城やその当時の風景などとともに、ご当地固有のデザインがなされた顔ハメ看板などを静止画や動画に合成させて映し出すことができ、地位特有の仮想的又は拡張的な演出を加えることができる。   The object Ob2 as the face saddle sign is distributed from the content distribution server 3 with the content distribution server 3 selecting an object corresponding to the current position. According to this modified example 2, it is possible to synthesize a still picture or a moving picture with a unique face design along with the restored old castle and the scenery at that time. A unique virtual or expansion effect can be added.

F1…境界面
L1…境界線
M2…仮想地図情報
M1…現実地図情報
P1…遺跡
1…スマートフォン
2…インターネット
3…コンテンツ配信サーバー
10…ユーザー
11…通信インターフェース
12…入力インターフェース
12a…タッチパネル
13…出力インターフェース
13a…表示部
14…アプリケーション実行部
15…メモリ
16…種センサー
21…衛星
22…無線基地局
31…通信インターフェース
32…位置情報管理部
33…認証部
34…情報配信部
35a…現実地図データ
35b…ユーザーデータ
35c…仮想コンテンツデータ
36…情報管理部
37…仮想地図情報生成部
40…展望鏡
40a…展望鏡本体
40b…基台部
121…カメラ部
141…情報取得部
142…表示データ生成部
143…表示制御部
144…シナリオ管理部
145…トリガー判定部
146…遷移設定部
147…位置情報取得部
F1 ... Boundary surface L1 ... Boundary line M2 ... Virtual map information M1 ... Real map information P1 ... Remains 1 ... Smartphone 2 ... Internet 3 ... Content distribution server 10 ... User 11 ... Communication interface 12 ... Input interface 12a ... Touch panel 13 ... Output interface 13a ... display unit 14 ... application execution unit 15 ... memory 16 ... seed sensor 21 ... satellite 22 ... radio base station 31 ... communication interface 32 ... location information management unit 33 ... authentication unit 34 ... information distribution unit 35a ... real map data 35b ... User data 35c ... Virtual content data 36 ... Information management unit 37 ... Virtual map information generation unit 40 ... Viewing mirror 40a ... Observation mirror body 40b ... Base unit 121 ... Camera unit 141 ... Information acquisition unit 142 ... Display data generation unit 143 ... Display control Unit 144 ... Scenario management unit 145 ... Trigger determination unit 146 ... Transition setting unit 147 ... Position information acquisition unit

Claims (7)

仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するシステムであって、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部と
を備えることを特徴とする情報提示システム。
A system for presenting information about a virtual object arranged in a virtual coordinate system of a virtual space,
A camera unit that captures images of real space;
A position information acquisition unit that acquires the position and direction in the coordinate system of the real space as current position information;
A real map acquisition unit for acquiring real map information including geographical information in the coordinate system of the real space;
A virtual map acquisition unit that acquires virtual map information in which the virtual object is arranged on geographical information in the coordinate system of the virtual space;
A virtual reality display data generation unit that generates virtual display data in which the virtual object is arranged on the virtual map information shared with the coordinate system in the real space;
Augmented reality display data for generating augmented display data by superimposing display data in which the virtual object is arranged on the real map information associated with position information in the real space on the video imaged by the camera unit A generator,
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control unit that executes display transition processing to be combined;
An information presentation system comprising: a display unit that displays virtual display data and extended display data subjected to display transition processing by the display control unit.
前記表示遷移処理を実行させる境界線又は境界面を、前記現実地図情報上又は前記仮想地図情報上に設定する遷移設定部と、
前記現在位置情報に含まれる位置情報が、前記境界線又は境界面を通過したことを判定するトリガー判定部と
をさらに備え、
前記表示制御部は、前記トリガー判定部による判定結果に基づいて前記表示遷移処理を実行する
ことを特徴とする請求項1に記載の情報提示システム。
A transition setting unit for setting a boundary line or a boundary surface for executing the display transition process on the real map information or the virtual map information;
A trigger determination unit that determines that the position information included in the current position information has passed the boundary line or boundary surface;
The information display system according to claim 1, wherein the display control unit executes the display transition process based on a determination result by the trigger determination unit.
前記表示遷移処理を実行させる時刻、場所、提示するオブジェクトの種類、及びそれらの出現順序を記述したシナリオデータを取得して管理するシナリオ管理部をさらに備え、
前記表示制御部は、前記トリガー判定部による判定結果に基づき、前記シナリオデータ又はユーザー操作に従って前記表示遷移処理を実行する
ことを特徴とする請求項1又は2に記載の情報提示システム。
A scenario management unit for acquiring and managing scenario data describing the time, place, type of objects to be presented, and the order of their appearance, for executing the display transition process;
The information display system according to claim 1, wherein the display control unit executes the display transition process according to the scenario data or a user operation based on a determination result by the trigger determination unit.
前記実空間の座標系に固定された基台部に、左右に回動可能及び上下に俯仰可能に設置された本体部をさらに備え、
前記カメラ部は、前記本体部の先端に配置され、
前記表示部は、前記本体部の後端に配置されている
ことを特徴とする請求項1乃至3のいずれかに記載の情報提示システム。
The base part fixed to the coordinate system of the real space further comprises a main body part that can be turned left and right and can be lifted up and down,
The camera part is disposed at the tip of the main body part,
The information display system according to claim 1, wherein the display unit is arranged at a rear end of the main body unit.
前記オブジェクトは、開口部を有する板状の看板であることを特徴とする請求項1乃至4のいずれかに記載の情報提示システム。   The information presentation system according to claim 1, wherein the object is a plate-shaped signboard having an opening. 仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示する方法であって、
カメラ部が実空間の映像を撮像するとともに、位置情報取得部が前記実空間の座標系における位置及び方向を現在位置情報として取得する実空間情報取得ステップと、
前記実空間の座標系における地理情報を含む現実地図情報、及び前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得し、仮想表示データ生成部が、前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成するとともに、拡張表示データ生成部が、前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する表示データ生成ステップと、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を表示制御部が実行する表示制御ステップと、
前記表示制御ステップにより表示遷移処理された仮想表示データ及び拡張表示データを表示制御部が表示する表示ステップと、
を含むことを特徴とする情報提示方法。
A method for presenting information about a virtual object placed in a virtual coordinate system of a virtual space,
A real space information acquisition step in which the camera unit captures an image of real space, and the position information acquisition unit acquires the position and direction in the coordinate system of the real space as current position information;
Real map information including geographic information in the coordinate system of the real space and virtual map information in which the virtual object is arranged on the geographic information in the coordinate system of the virtual space are acquired, and a virtual display data generation unit is configured to acquire the real space. And generating virtual display data in which the virtual object is arranged on the virtual map information that is shared with the coordinate system in FIG. 5 and the extended display data generating unit is associated with the position information in the real space. A display data generation step of generating extended display data by superimposing display data in which the virtual object is arranged on the information on the video captured by the camera unit;
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control step in which the display control unit executes display transition processing to be combined; and
A display step in which the display control unit displays the virtual display data and the extended display data subjected to the display transition process in the display control step;
The information presentation method characterized by including.
仮想空間の仮想的な座標系に配置された仮想オブジェクトに関する情報を提示するプログラムであって、コンピューターに、
実空間の映像を撮像するカメラ部と、
前記実空間の座標系における位置及び方向を現在位置情報として取得する位置情報取得部と、
前記実空間の座標系における地理情報を含む現実地図情報を取得する現実地図取得部と、
前記仮想空間の座標系における地理情報上に前記仮想オブジェクトを配置した仮想地図情報を取得する仮想地図取得部と、
前記実空間における座標系と共通化された前記仮想地図情報上に、前記仮想オブジェクトを配置した仮想表示データを生成する仮想現実表示データ生成部と、
前記実空間における位置情報に対応付けられた前記現実地図情報上に、前記仮想オブジェクトを配置した表示データを、前記カメラ部が撮像した前記映像に重畳させて拡張表示データを生成する拡張現実表示データ生成部と、
前記位置情報取得部が取得した前記現在位置情報に応じて、前記仮想表示データと前記拡張表示データとを、選択的に切り替えて或いは、一方の表示データに他方の表示データの一部又は全部を合成する表示遷移処理を実行する表示制御部と、
前記表示制御部により表示遷移処理された仮想表示データ及び拡張表示データを表示する表示部、
として機能させることを特徴とする情報提示プログラム。
A program that presents information about a virtual object placed in a virtual coordinate system of a virtual space,
A camera unit that captures images of real space;
A position information acquisition unit that acquires the position and direction in the coordinate system of the real space as current position information;
A real map acquisition unit for acquiring real map information including geographical information in the coordinate system of the real space;
A virtual map acquisition unit that acquires virtual map information in which the virtual object is arranged on geographical information in the coordinate system of the virtual space;
A virtual reality display data generation unit that generates virtual display data in which the virtual object is arranged on the virtual map information shared with the coordinate system in the real space;
Augmented reality display data for generating augmented display data by superimposing display data in which the virtual object is arranged on the real map information associated with position information in the real space on the video imaged by the camera unit A generator,
According to the current position information acquired by the position information acquisition unit, the virtual display data and the extended display data are selectively switched, or a part or all of the other display data is switched to one display data. A display control unit that executes display transition processing to be combined;
A display unit for displaying the virtual display data and the extended display data subjected to display transition processing by the display control unit;
An information presentation program characterized by functioning as
JP2017020972A 2017-02-08 2017-02-08 Information presentation system, information presentation method, and information presentation program Active JP6624646B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017020972A JP6624646B2 (en) 2017-02-08 2017-02-08 Information presentation system, information presentation method, and information presentation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017020972A JP6624646B2 (en) 2017-02-08 2017-02-08 Information presentation system, information presentation method, and information presentation program

Publications (2)

Publication Number Publication Date
JP2018128815A true JP2018128815A (en) 2018-08-16
JP6624646B2 JP6624646B2 (en) 2019-12-25

Family

ID=63172999

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017020972A Active JP6624646B2 (en) 2017-02-08 2017-02-08 Information presentation system, information presentation method, and information presentation program

Country Status (1)

Country Link
JP (1) JP6624646B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162084A (en) * 2019-03-28 2020-10-01 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
JP2020167661A (en) * 2019-03-28 2020-10-08 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
JP2020167654A (en) * 2019-07-16 2020-10-08 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
CN112614231A (en) * 2019-10-04 2021-04-06 财团法人工业技术研究院 Information display method and information display system
CN112985372A (en) * 2019-12-13 2021-06-18 南宁富桂精密工业有限公司 Path planning system and method thereof
US20220254109A1 (en) * 2019-03-28 2022-08-11 Nec Corporation Information processing apparatus, display system, display method, and non-transitory computer readable medium storing program
JP7229620B1 (en) * 2022-05-25 2023-02-28 株式会社ビジョン&Itラボ Digital twin management system
WO2023100618A1 (en) * 2021-11-30 2023-06-08 富士フイルム株式会社 Image file, generation device, and data processing method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264740A (en) * 2002-03-08 2003-09-19 Cad Center:Kk Observation scope
JP2004102835A (en) * 2002-09-11 2004-04-02 Univ Waseda Information providing method and system therefor, mobile terminal device, head-wearable device, and program
JP2005020559A (en) * 2003-06-27 2005-01-20 Univ Waseda Three-dimensional video presentation apparatus
US20130328930A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service
JP2014115957A (en) * 2012-12-12 2014-06-26 Hiroaki Ishihara Augmented reality building simulation device
JP2015011368A (en) * 2013-06-26 2015-01-19 国立大学法人佐賀大学 Display control device
JP2016110245A (en) * 2014-12-03 2016-06-20 株式会社T.J.Promotion Display system, display method, computer program, computer readable recording medium

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003264740A (en) * 2002-03-08 2003-09-19 Cad Center:Kk Observation scope
JP2004102835A (en) * 2002-09-11 2004-04-02 Univ Waseda Information providing method and system therefor, mobile terminal device, head-wearable device, and program
JP2005020559A (en) * 2003-06-27 2005-01-20 Univ Waseda Three-dimensional video presentation apparatus
US20130328930A1 (en) * 2012-06-06 2013-12-12 Samsung Electronics Co., Ltd. Apparatus and method for providing augmented reality service
JP2014115957A (en) * 2012-12-12 2014-06-26 Hiroaki Ishihara Augmented reality building simulation device
JP2015011368A (en) * 2013-06-26 2015-01-19 国立大学法人佐賀大学 Display control device
JP2016110245A (en) * 2014-12-03 2016-06-20 株式会社T.J.Promotion Display system, display method, computer program, computer readable recording medium

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162084A (en) * 2019-03-28 2020-10-01 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
JP2020167661A (en) * 2019-03-28 2020-10-08 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
US20220254109A1 (en) * 2019-03-28 2022-08-11 Nec Corporation Information processing apparatus, display system, display method, and non-transitory computer readable medium storing program
JP7344084B2 (en) 2019-03-28 2023-09-13 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
US12073515B2 (en) * 2019-03-28 2024-08-27 Nec Corporation Information processing apparatus, display system, display method, and non-transitory computer readable medium storing program
JP2020167654A (en) * 2019-07-16 2020-10-08 株式会社ドワンゴ Content distribution system, content distribution method, and content distribution program
CN112614231A (en) * 2019-10-04 2021-04-06 财团法人工业技术研究院 Information display method and information display system
CN112985372A (en) * 2019-12-13 2021-06-18 南宁富桂精密工业有限公司 Path planning system and method thereof
WO2023100618A1 (en) * 2021-11-30 2023-06-08 富士フイルム株式会社 Image file, generation device, and data processing method
JP7229620B1 (en) * 2022-05-25 2023-02-28 株式会社ビジョン&Itラボ Digital twin management system
WO2023228326A1 (en) * 2022-05-25 2023-11-30 株式会社ビジョン&Itラボ Digital twin management system

Also Published As

Publication number Publication date
JP6624646B2 (en) 2019-12-25

Similar Documents

Publication Publication Date Title
JP6624646B2 (en) Information presentation system, information presentation method, and information presentation program
US10037627B2 (en) Augmented visualization system for hidden structures
US10188948B2 (en) Game image processing system and program
Arth et al. The history of mobile augmented reality
US9324298B2 (en) Image processing system, image processing apparatus, storage medium having stored therein image processing program, and image processing method
KR101883746B1 (en) System and method for inserting and enhancing messages displayed to a user when viewing a venue
CN103635891B (en) The world is presented in a large amount of digital remotes simultaneously
KR101736477B1 (en) Local sensor augmentation of stored content and ar communication
CN108144294B (en) Interactive operation implementation method and device and client equipment
KR100941749B1 (en) Augmented reality apparatus and virtual image composition method
KR20140127345A (en) System and method for creating an environment and for sharing a location based experience in an environment
Vidal Jr et al. MAGIS: mobile augmented-reality games for instructional support
Gomez-Jauregui et al. Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM
Marto et al. DinofelisAR demo augmented reality based on natural features
KR102197615B1 (en) Method of providing augmented reality service and server for the providing augmented reality service
JP6665402B2 (en) Content display terminal, content providing system, content providing method, and content display program
JP2017212510A (en) Image management device, program, image management system, and information terminal
Panou et al. Outdoors Mobile Augmented Reality Application Visualizing 3D Reconstructed Historical Monuments.
JP2012141779A (en) Device for providing augmented reality, system for providing augmented reality, and method and program for providing augmented reality
JP2016053961A (en) Information processing device, information processing method, and program
US20120281102A1 (en) Portable terminal, activity history depiction method, and activity history depiction system
WO2015071940A1 (en) Information processing device, information processing method, and program
KR101533886B1 (en) Method for generating augmented reality for virtual experiential of cultural relics
JP2011022662A (en) Portable telephone terminal and information processing system
KR101939530B1 (en) Method and apparatus for displaying augmented reality object based on geometry recognition

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6624646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250