JP2019087091A - Ar表示管理システム及びar表示管理方法 - Google Patents

Ar表示管理システム及びar表示管理方法 Download PDF

Info

Publication number
JP2019087091A
JP2019087091A JP2017215566A JP2017215566A JP2019087091A JP 2019087091 A JP2019087091 A JP 2019087091A JP 2017215566 A JP2017215566 A JP 2017215566A JP 2017215566 A JP2017215566 A JP 2017215566A JP 2019087091 A JP2019087091 A JP 2019087091A
Authority
JP
Japan
Prior art keywords
display
content
unit
authentication
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017215566A
Other languages
English (en)
Inventor
悦夫 土屋
Etsuo Tsuchiya
悦夫 土屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Frontech Ltd filed Critical Fujitsu Frontech Ltd
Priority to JP2017215566A priority Critical patent/JP2019087091A/ja
Publication of JP2019087091A publication Critical patent/JP2019087091A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Transfer Between Computers (AREA)

Abstract

【課題】AR表示を規制することができるようにする。【解決手段】携帯型端末装置とARコンテンツの表示認証を行う認証装置とを含むAR表示管理システムにおいて、携帯型端末装置は、当該装置の位置を示す位置情報と撮像部の撮像方向を示す方向情報とを取得し、ARコンテンツの識別子と位置情報と方向情報とを含む、ARコンテンツの表示認証要求電文を認証装置へ送信し、認証装置は、受信した表示認証要求電文に含まれる識別子と位置情報と方向情報とに基づいて、識別子に対応するARコンテンツの表示を許可するか否かを認証し、その認証結果を含む応答電文を携帯型端末装置へ送信し、携帯型端末装置は、受信した応答電文に基づいて、ARコンテンツの表示が可能であるか否かを判定し、その表示が可能であると判定した場合に、表示部に表示された撮像画像上にARコンテンツを重ねて表示させる。【選択図】図1

Description

本発明は、ARコンテンツの表示を管理するシステム及び方法に関する。
従来、AR(Augmented Reality:拡張現実)という技術がある。
ARとは、現実空間に付加情報を表示させ、現実世界を拡張する技術のことである。
VR(Virtual Reality:仮想現実)が、現実世界と切り離された仮想世界を主体とする技術であるのに対し、ARは、あくまでも現実世界を主体とする技術である。
以下では、現実空間に表示させる付加情報をARコンテンツともいう。また、現実空間に付加情報を表示させることをAR表示又はARコンテンツの表示ともいう。
近年では、ARを適用した様々なサービスが実現されている。
ARを適用したサービスの例として、スマートフォンにより撮像、表示されている被写体のリアルタイム画像上に、被写体に関する情報(例えば被写体に含まれる店舗の情報)を重ねて表示させることが可能なサービスが知られている(例えば特許文献1参照)。
また、ARを適用したサービスの他の例として、スマートフォン用のゲームアプリ(ゲームアプリケーション)が知られている。その代表例として、プレーヤー(ユーザ)が現実空間を移動しながらゲームのキャラクターである架空生物を探索し、その捕獲等を行うゲームアプリが知られている。このゲームアプリでは、スマートフォンにより撮像、表示されている被写体のリアルタイム画像上に架空生物を重ねて表示させることで架空生物を出現させ、その架空生物に対してプレーヤーが所定の操作(スマートフォンの操作)を行うと、その捕獲を行うことができる。
特開2013−84313号公報
上述の代表例として挙げたゲームアプリでは、現実空間の様々な場所でAR表示が行われる。そのため、AR表示が行われるのにそぐわない教会内等の場所であってもゲームアプリがプレイされてしまう場合があった。その結果、例えば、教会に迷惑を掛けてしまったり、プレーヤーが逮捕されてしまったり、等といった問題が発生している。
本発明は、上記実状に鑑み、AR表示を規制することができるAR表示管理システム及びAR表示管理方法を提供することを目的とする。
システムの一観点は、携帯型端末装置と、AR(Augmented Reality)コンテンツの表示認証を行う認証装置と、を含むAR表示管理システムであって、前記携帯型端末装置は、被写体を撮像する撮像部と、前記撮像部により撮像された前記被写体の撮像画像を表示する表示部と、前記携帯型端末装置の位置を示す位置情報を取得する位置情報取得部と、前記撮像部の撮像方向を示す方向情報を取得する方向情報取得部と、ARコンテンツの識別子と、前記位置情報と、前記方向情報とを含む、前記ARコンテンツの表示認証要求電文を前記認証装置へ送信し、前記表示認証要求電文に対する応答電文を前記認証装置から受信する通信部と、前記応答電文に基づいて、前記ARコンテンツの表示が可能であるか否かを判定する判定部と、前記ARコンテンツの表示が可能であると前記判定部により判定された場合に、前記表示部に表示された前記撮像画像上に前記ARコンテンツを重ねて表示させる表示制御部と、を備え、前記認証装置は、前記表示認証要求電文を前記携帯型端末装置から受信し、前記表示認証要求電文に対する前記応答電文を前記携帯型端末装置へ送信する通信部と、前記表示認証要求電文に含まれる、前記識別子、前記位置情報、及び前記方向情報に基づいて、前記識別子に対応する前記ARコンテンツの表示を許可するか否かを認証する認証部と、を備え、前記応答電文は、前記認証部の認証結果を含む、ことを特徴とする。
方法の一観点は、被写体を撮像する撮像部と前記撮像部により撮像された前記被写体の撮像画像を表示する表示部とを備える携帯型端末装置と、AR(Augmented Reality)コンテンツの表示認証を行う認証装置と、を含むAR表示管理システムにおいて実行されるAR表示管理方法であって、前記携帯型端末装置は、前記携帯型端末装置の位置を示す位置情報を取得し、前記撮像部の撮像方向を示す方向情報を取得し、ARコンテンツの識別子と、前記位置情報と、前記方向情報とを含む、前記ARコンテンツの表示認証要求電文を前記認証装置へ送信し、前記認証装置は、前記表示認証要求電文を前記携帯型端末装置から受信し、前記表示認証要求電文に含まれる、前記識別子、前記位置情報、及び前記方向情報に基づいて、前記識別子に対応する前記ARコンテンツの表示を許可するか否かを認証し、前記表示認証要求電文に対する応答電文として、前記認証の結果を含む応答電文を、前記携帯型端末装置へ送信し、前記携帯型端末装置は、前記応答電文を前記認証装置から受信し、前記応答電文に基づいて、前記ARコンテンツの表示が可能であるか否かを判定し、前記ARコンテンツの表示が可能であると判定した場合に、前記表示部に表示された前記撮像画像上に前記ARコンテンツを重ねて表示させる、ことを特徴とする。
開示のシステム及び方法は、AR表示を規制することができる、という効果を奏する。
一実施の形態に係るAR表示管理システムの全体構成図である。 モバイル端末の機能ブロック図である。 モバイル端末のハードウェア構成図である。 管理サーバの機能ブロック図である。 領域提供者管理テーブルの一例を示す図である。 ベンダー管理テーブルの一例を示す図である。 ARコンテンツ管理テーブルの一例を示す図である。 ARコンテンツの一例を示す図である。 領域管理テーブルの一例を示す図である。 座標情報の一例を示す図である。 ARコンテンツ表示管理テーブルの一例を示す図である。 方位角と仰角の範囲の一例を示す図である。 ARコンテンツの表示規制例を示す図である。 管理サーバのハードウェア構成図である。 モバイル端末において実行されるAR表示管理処理の流れを示すフローチャートである。 管理サーバにおいて実行されるAR表示管理処理の流れを示すフローチャートである。 表示認証要求電文の一例を示す図である。 表示認証要求電文に対する応答電文の一例を示す図である。
以下、図面を参照しながら本発明の実施の形態について説明する。
図1は、一実施の形態に係るAR表示管理システムの全体構成図である。
図1に示したように、AR表示管理システム1は、プロバイダ端末10、ベンダー端末20、モバイル端末30、及び管理サーバ40を含み、その各々がネットワーク50に接続されている。プロバイダ端末10、ベンダー端末20、及びモバイル端末30の各々と管理サーバ40は、ネットワーク50を介して、相互に通信が可能である。
プロバイダ端末10は、領域(AR表示を規制する領域)を提供する者(以下、「領域提供者」という)が使用する端末装置であり、例えばPC(Personal Computer)である。プロバイダ端末10は、提供する領域を領域提供者が管理サーバ40に登録する際等に使用される。
ベンダー端末20は、ARコンテンツの作成及び提供を行うベンダーが使用する端末装置であり、例えばPCである。ベンダー端末20は、提供するARコンテンツをベンダーが管理サーバ40に登録する際等に使用される。
モバイル端末30は、ARコンテンツの表示が可能な携帯型端末装置であり、例えばスマートフォン又はタブレット端末である。
管理サーバ40は、登録された領域を提供する領域提供者の管理、登録されたARコンテンツを提供するベンダーの管理、登録されたARコンテンツの管理、登録された領域の管理、ARコンテンツの表示を規制する領域、方位角、及び仰角の管理、及びARコンテンツの表示認証等を行う。なお、管理サーバ40は、ARコンテンツの表示認証を行う認証装置の一例でもある。
ネットワーク50は、例えばインターネットである。
図2は、モバイル端末30の機能ブロック図である。
図2に示したように、モバイル端末30は、入力部301、撮像部302、表示部303、表示コンテンツ決定部304、位置情報取得部305、方位角情報取得部306、仰角情報取得部307、通信部308、判定部309、及び表示制御部310を備える。
入力部301は、ユーザからの各種の入力を受け付ける。
撮像部302は、被写体を撮像して、その撮像画像を取得する。
表示部303は、各種の表示を行う。例えば、撮像部302により撮像された被写体の撮像画像を表示する。
表示コンテンツ決定部304は、表示部303に表示された撮像画像上に重ねて表示させるARコンテンツを決定する。
位置情報取得部305は、モバイル端末30の位置(現在位置)を示す位置情報を取得する。
方位角情報取得部306は、撮像部302の撮像方向(被写体方向でもある)の方位角を示す方位角情報を取得する。
仰角情報取得部307は、撮像部302の撮像方向の仰角を示す仰角情報を取得する。
なお、方位角情報取得部306及び仰角情報取得部307は、撮像部302の撮像方向を示す方向情報を取得する方向情報取得部の一例でもある。この場合、方向情報は、方位角情報と仰角情報を含む。
通信部308は、管理サーバ40等の外部装置と通信を行う。例えば、通信部308は、表示コンテンツ決定部304により決定されたARコンテンツの表示認証要求電文を管理サーバ40へ送信し、その表示認証要求電文に対する応答電文を管理サーバ40から受信する。ここで、表示認証要求電文は、表示コンテンツ決定部304により決定されたARコンテンツの識別子であるコンテンツID(identification)と、位置情報取得部305により取得された位置情報と、方位角情報取得部306により取得された方位角情報と、仰角情報取得部307により取得された仰角情報とを含む。
判定部309は、通信部308により受信された応答電文に基づいて、表示コンテンツ決定部304により決定されたARコンテンツの表示が可能であるか否かを判定する。
表示制御部310は、表示コンテンツ決定部304により決定されたARコンテンツの表示が可能であると判定部309により判定された場合に、表示部303に表示された撮像画像上に、そのARコンテンツを重ねて表示させる等の表示制御を行う。
図3は、モバイル端末30のハードウェア構成図である。
図3に示したように、モバイル端末30は、CPU(Central Processing Unit)321、メモリ322、タッチパネル装置323、表示装置324、カメラ325、GPS(Global Positioning System)センサー326、地磁気センサー327、加速度センサー328、ジャイロセンサー329、媒体駆動装置330、及びネットワーク接続装置331を備える。これらは、バス332により相互に接続されている。
メモリ322は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。CPU321は、メモリ322を利用してプログラムを実行することにより、モバイル端末30の様々な処理を行う。
タッチパネル装置323は、表示装置324の表示画面上に設けられ、ユーザからの各種の入力を受け付ける。タッチパネル装置323は、入力部301に対応する。
表示装置324は、例えばLCD(Liquid Crystal Display)装置であり、各種の表示を行う。表示装置324は、表示部303に対応する。
カメラ325は、撮像素子を備えた撮像装置であり、被写体を撮像して、その撮像画像を取得する。撮像素子は、例えば、CCD(Charge Coupled Device)又はCMOS(complementary metal oxide semiconductor)である。カメラ325は、撮像部302に対応する。
GPSセンサー326は、位置を検出するセンサーであり、モバイル端末30の位置情報を取得する際に用いられる。
地磁気センサー327は、例えば3軸の地磁気を検出するセンサーである。
加速度センサー328は、例えば3軸の加速度を検出するセンサーである。
ジャイロセンサー329は、例えば3軸の回転角速度を検出するセンサーである。
地磁気センサー327、加速度センサー328、及びジャイロセンサー329は、例えば、カメラ325の撮像方向の方位角情報及び仰角情報を取得する際に用いられる。
媒体駆動装置330は、可搬型記録媒体333を駆動し、その記録内容にアクセスする。可搬型記録媒体333は、例えばSDカードメモリである。モバイル端末30は、この可搬型記録媒体333にプログラム及びデータを格納しておき、それらをメモリ322にロードして使用することもできる。
ネットワーク接続装置331は、ネットワーク50に接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置331は、通信部308に対応する。モバイル端末30は、プログラム及びデータを外部の装置からネットワーク接続装置331を介して受け取り、それらをメモリ322にロードして使用することもできる。
図4は、管理サーバ40の機能ブロック図である。
図4に示したように、管理サーバ40は、領域提供者管理部401、ベンダー管理部402、ARコンテンツ管理部403、領域管理部404、ARコンテンツ表示管理部405、通信部406、認証部407、領域提供者管理テーブル記憶部408、ベンダー管理テーブル記憶部409、ARコンテンツ管理テーブル記憶部410、領域管理テーブル記憶部411、ARコンテンツ表示管理テーブル記憶部412、ARコンテンツ記憶部413、及び領域座標情報記憶部414を備える。
領域提供者管理部401は、管理サーバ40に登録された領域を提供する領域提供者を、領域提供者管理テーブルを用いて管理する。
ベンダー管理部402は、管理サーバ40に登録されたARコンテンツを提供するベンダーを、ベンダー管理テーブルを用いて管理する。
ARコンテンツ管理部403は、管理サーバ40に登録されたARコンテンツを、ARコンテンツ管理テーブルを用いて管理する。
領域管理部404は、管理サーバ40に登録された領域を、領域管理テーブルを用いて管理する。
ARコンテンツ表示管理部405は、ARコンテンツの表示を規制する領域、方位角、及び仰角を、ARコンテンツ表示管理テーブルを用いて管理する。
通信部406は、プロバイダ端末10、ベンダー端末20、及びモバイル端末30等の外部装置と通信を行う。例えば、通信部406は、モバイル端末30から表示認証要求電文を受信し、その表示認証要求電文に対する応答電文をモバイル端末30へ送信する。
認証部407は、通信部406により受信された表示認証要求電文に含まれるコンテンツID、位置情報、方位角情報、及び仰角情報に基づいて、そのコンテンツIDに対応するARコンテンツの表示を許可するか否かを認証する。このときの認証結果は、通信部406により送信される応答電文に含まれる。
領域提供者管理テーブル記憶部408は、領域提供者管理テーブルを記憶する。
ベンダー管理テーブル記憶部409は、ベンダー管理テーブルを記憶する。
ARコンテンツ管理テーブル記憶部410は、ARコンテンツ管理テーブルを記憶する。
領域管理テーブル記憶部411は、領域管理テーブルを記憶する。
ARコンテンツ表示管理テーブル記憶部412は、ARコンテンツ表示管理テーブルを記憶する。
ARコンテンツ記憶部413は、管理サーバ40に登録されたARコンテンツを記憶する。
領域座標情報記憶部414は、管理サーバ40に登録された領域の座標情報を記憶する。
図5は、領域提供者管理テーブル記憶部408に記憶された領域提供者管理テーブルの一例を示す図である。
図5に示したように、領域提供者管理テーブルには、管理サーバ40に登録された領域を提供する領域提供者毎に、領域提供者の識別子である提供者IDと、提供者名(領域提供者名)と、提供者住所(領域提供者住所)とが対応付けられて格納される。ここで、提供者ID、提供者名、及び提供者住所の各々は、例えば、文字型のデータとして格納される。
図6は、ベンダー管理テーブル記憶部409に記憶されたベンダー管理テーブルの一例を示す図である。
図6に示したように、ベンダー管理テーブルには、管理サーバ40に登録されたARコンテンツを提供するベンダー毎に、ベンダーの識別子であるベンダーIDと、ベンダー名と、ベンダー住所とが対応付けられて格納される。ここで、ベンダーID、ベンダー名、及びベンダー住所の各々は、例えば、文字型のデータとして格納される。
図7は、ARコンテンツ管理テーブル記憶部410に記憶されたARコンテンツ管理テーブルの一例を示す図である。図8は、ARコンテンツ記憶部413に記憶されたARコンテンツの一例を示す図である。
図7に示したように、ARコンテンツ管理テーブルには、管理サーバ40に登録されたARコンテンツ毎に、コンテンツIDと、コンテンツ格納場所(ARコンテンツの格納場所)とが対応付けられて格納される。ここで、コンテンツID及びコンテンツ格納場所の各々は、例えば、文字型のデータとして格納される。
図7に示したARコンテンツ管理テーブルに格納されたコンテンツ格納場所が示すARコンテンツ記憶部413における格納位置には、例えば、図8に示した表示イメージ(動画像)のARコンテンツが格納されている。
図9は、領域管理テーブル記憶部411に記憶された領域管理テーブルの一例を示す図である。図10は、領域座標情報記憶部414に記憶された座標情報の一例を示す図である。
図9に示したように、領域管理テーブルには、管理サーバ40に登録された領域毎に、領域を提供する領域提供者の提供者IDと、領域の識別子である領域IDと、領域名と、領域の優先度と、領域の座標情報格納場所とが対応付けられて格納される。ここで、提供者ID、領域ID、領域名、及び座標情報格納場所の各々は、例えば、文字型のデータとして格納され、優先度は、例えば、数値型のデータとして格納される。なお、優先度は、領域が他の領域と重なる場合に、何れの領域を採用するかを決定する際に用いられ、その数値が大きいほど優先度が高くなる。
図9に示した領域管理テーブルに格納された座標情報格納場所が示す領域座標情報記憶部414における格納位置には、例えば、図10に示した座標情報が格納されている。
図10に示した座標情報は、いずれも四角形の領域の座標情報を示している。ここでは、四角形の領域の座標情報が、1つの起点座標と四角形の4つの頂点の相対座標(相対座標1、相対座標2、相対座標3、相対座標4)によって構成される。ここで、起点座標は、北緯と東経によって表される。なお、四角形の領域の座標情報の構成は、これに限らず、例えば、四角形の4つの頂点の絶対座標によって構成されてもよい。
図11は、ARコンテンツ表示管理テーブル記憶部412に記憶されたARコンテンツ表示管理テーブルの一例を示す図である。図12は、方位角と仰角の範囲の一例を示す図である。
図11に示したように、ARコンテンツ表示管理テーブルには、ARコンテンツの表示を規制する領域、方位角、及び仰角の組み合わせ毎に、表示を規制する領域の領域IDと、表示を許可するARコンテンツのコンテンツIDである許可コンテンツIDと、表示を許可する方位角と、表示を許可する仰角とが対応付けられて格納される。ここで、領域ID及び許可コンテンツIDは、例えば、文字型のデータとして格納され、方位角及び仰角は、例えば、数値型のデータとして格納される。
方位角は、北を0°、東を90°、南を180°、西を270°として、0から359までのいずれかの値とされる。但し、全ての方位角(0°〜359°)においてARコンテンツの表示が許可される場合には「1111」とされ、全ての方位角においてARコンテンツの表示が禁止される場合には「2222」とされる。
仰角は、水平面に対して垂直下方向を−90°、水平方向を0°、水平面に対して垂直上方向を90°として、−89から89までのいずれかの値とされる。但し、方位角と同様に、全ての仰角(−89°〜89°)においてARコンテンツの表示が許可される場合には「1111」とされ、全ての仰角においてARコンテンツの表示が禁止される場合には「2222」とされる。
また、ARコンテンツの表示が禁止される領域の領域IDに対しては、許可コンテンツIDとしてnull(「空白」)が対応付けられる。
なお、図11に示したARコンテンツ表示管理テーブルでは、領域ID「PROV_001_AREA_003」と対応付けられている組み合わせの一部を省略して示しているが、実際には、その組み合わせの数が全部で420個ある。より詳しくは、図12に示したように、方位角が260°から280°までの範囲と、仰角が−10°から10°の範囲で、そのいずれかが1°づつ異なる組み合わせの分だけあり、全部で420個ある。
図13は、ARコンテンツの表示規制例を示す図である。
図13に示した表示規制例は、図7に示したARコンテンツ管理テーブル、図8に示したARコンテンツ、図9に示した領域管理テーブル、図10に示した座標情報、及び図11に示したARコンテンツ表示管理テーブルによって規定されたものである。
図13に示したように、この表示規制例では、領域ID「PROV_001_AREA_002」に対応する領域である「区画2」(領域名「表示禁止区画」)は、ARコンテンツの表示が一切禁止される領域となる。領域ID「PROV_001_AREA_003」に対応する領域である「区画3」(領域名「特殊表示制御区画」)は、図12に示したように方位角が260°から280°までの範囲内且つ仰角が−10°から10°の範囲内でARコンテンツ「VEND_001_CONT_002.avi」(図8参照)のみの表示が許可され、それ以外の方位角及び仰角の範囲ではARコンテンツの表示が一切禁止される領域となる。領域ID「PROV_001_AREA_001」に対応する領域である「区画1」(領域名「全体区画」)は、ARコンテンツ「VEND_001_CONT_001.avi」(図8参照)のみの表示が許可される領域となる。但し、「区画2」と重なる部分については、「区画1」の優先度(「1」)よりも「区画2」の優先度(「2」)の方が高いので、「区画2」の表示規制が採用される。また、「区画3」と重なる部分については、「区画1」の優先度(「1」)よりも「区画3」の優先度(「2」)の方が高いので、「区画3」の表示規制が採用される。
図14は、管理サーバ40のハードウェア構成図である。
図14に示したように、管理サーバ40は、CPU421、メモリ422、入力装置423、出力装置424、外部記憶装置425、媒体駆動装置426、及びネットワーク接続装置427を備える。これらはバス428により相互に接続されている。
メモリ422は、例えば、ROM、RAM、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを格納する。CPU421は、メモリ422を利用してプログラムを実行することにより、管理サーバ40の様々な処理を行う。
入力装置423は、例えば、キーボード、ポインティングデバイス、タッチパネル等であり、ユーザからの指示や情報の入力に用いられる。出力装置424は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせや処理結果の出力に用いられる。
外部記憶装置425は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。この外部記憶装置425には、ハードディスクドライブも含まれる。管理サーバ40は、この外部記憶装置425にプログラム及びデータを格納しておき、それらをメモリ422にロードして使用することもできる。
媒体駆動装置426は、可搬型記録媒体429を駆動し、その記録内容にアクセスする。可搬型記録媒体429は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。この可搬型記録媒体429には、Compact Disk Read Only Memory (CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ、SDカードメモリ等も含まれる。管理サーバ40は、この可搬型記録媒体429にプログラム及びデータを格納しておき、それらをメモリ422にロードして使用することもできる。
なお、メモリ422、外部記憶装置425、及び可搬型記録媒体429は、領域提供者管理テーブル記憶部408、ベンダー管理テーブル記憶部409、ARコンテンツ管理テーブル記憶部410、領域管理テーブル記憶部411、ARコンテンツ表示管理テーブル記憶部412、ARコンテンツ記憶部413、及び領域座標情報記憶部414に対応する。
ネットワーク接続装置427は、ネットワーク50に接続され、通信に伴うデータ変換を行う通信インタフェースである。ネットワーク接続装置427は、通信部406に対応する。管理サーバ40は、プログラム及びデータを外部の装置からネットワーク接続装置427を介して受け取り、それらをメモリ422にロードして使用することもできる。
なお、プロバイダ端末10及びベンダー端末20も、例えば、図14に示したハードウェア構成と同様のハードウェア構成により実現することができる。
次に、AR表示管理システム1において実行されるAR表示管理処理について説明する。
ここでは、前述の代表例として挙げたゲームアプリ等のAR表示アプリ(AR表示を行うアプリケーション)が予めモバイル端末30にダウンロードされているとする。また、そのAR表示アプリに付随するデータとして、AR表示に用いられるARコンテンツとそれに対応付けられたコンテンツIDも予めダウンロードされているとする。なお、これらは、例えば、管理サーバ40からダウンロードされてもよいし、他の外部装置からネットワーク50を介してダウンロードされてもよい。
図15は、モバイル端末30において実行されるAR表示管理処理の流れを示すフローチャートである。図16は、管理サーバ40において実行されるAR表示管理処理の流れを示すフローチャートである。図17は、表示認証要求電文の一例を示す図である。図18は、表示認証要求電文に対する応答電文の一例を示す図である。
図15に示したモバイル端末30のAR表示管理処理は、例えば、モバイル端末30においてAR表示アプリが実行され、その実行中において、AR表示させるARコンテンツが決定される毎に開始する処理である。ここで、AR表示させるARコンテンツとは、撮像部302により撮像され表示部303に表示されている被写体のリアルタイム画像(撮像画像)上に表示させるARコンテンツのことであり、その決定は、表示コンテンツ決定部304により行われる。表示コンテンツ決定部304により決定されたARコンテンツを実際にAR表示させるか否かは、AR表示アプリではなく、このAR表示管理処理に従って行われる。図16に示した管理サーバ40のAR表示管理処理は、例えば、管理サーバ40のユーザが処理開始指示を入力すると開始する処理である。
図15に示したように、モバイル端末30において処理が開始すると、ステップ(以下「S」という)1501において、位置情報取得部305は、モバイル端末30の位置情報を取得する。
S1502において、方位角情報取得部306は、撮像部302の撮像方向の方位角情報を取得する。
S1503において、仰角情報取得部307は、撮像部302の撮像方向の仰角情報を取得する。
S1504において、通信部308は、表示コンテンツ決定部304により決定されたARコンテンツの表示認証要求電文を管理サーバ40へ送信する。表示認証要求電文は、例えば図17に示したように、表示コンテンツ決定部304により決定されたARコンテンツのコンテンツIDと、S1501で取得された位置情報(北緯と東経のデータ)と、S1502で取得された方位角情報と、S1503で取得された仰角情報とを含む。
一方、管理サーバ40においては、処理が開始すると、図16に示したように、S1601において、終了要求判定を行う。この判定では、例えば、管理サーバ40のユーザにより、処理の終了指示が入力された場合は判定結果が「終了」となり、その終了指示が入力されていない場合は判定結果が「継続」となる。
S1601の判定結果が「終了」の場合は、管理サーバ40のAR表示管理処理が終了する。
一方、S1601の判定結果が「継続」の場合は、その後、S1602において、S1504でモバイル端末30から送信された表示認証要求電文を通信部406が受信すると、S1603において、認証部407は、ARコンテンツ表示管理テーブル記憶部412に記憶されたARコンテンツ表示管理テーブルから、表示認証要求電文に含まれるコンテンツIDと、null(「空白」)をキーにレコードを抽出する。すなわち、許可コンテンツIDとして、表示認証要求電文に含まれるコンテンツID又はnullが格納されている組み合わせのレコードを抽出する。
例えば、表示認証要求電文が図17に示したものであり、ARコンテンツ表示管理テーブルが図11に示したものである場合は、S1603において、ARコンテンツ表示管理テーブルから、許可コンテンツIDが「VEND_001_CONT_002」のレコード(420個のレコード)と許可コンテンツIDがnull(「空白」)のレコードとが抽出される。
S1604において、認証部407は、S1603で抽出されたレコード数が0であるか否かを判定する。
S1604の判定結果がYESの場合は、処理がS1620へ進む。
一方、S1604の判定結果がNOの場合、S1605において、認証部407は、優先度の値が格納される変数である優先度WORKを初期化する。これにより、優先度WORKの値が0にされる。
S1606において、認証部407は、領域IDの文字が格納される変数である領域IDWORKを初期化する。これにより、領域IDWORKの文字がnull(「空白」)にされる。
S1607において、認証部407は、S1603で抽出されたレコードから領域IDを列挙する。
例えば、S1603で抽出されたレコードが、上述の、許可コンテンツIDが「VEND_001_CONT_002」のレコード(420個のレコード)と許可コンテンツIDがnull(「空白」)のレコードである場合は、S1607において、「RROV_001_AREA_002」と「RROV_001_AREA_003」の2つの領域IDが列挙される。
S1608において、認証部407は、領域管理テーブル記憶部411に記憶された領域管理テーブルから、S1607で列挙された領域IDをキーにレコードを抽出する。
例えば、S1607で列挙された領域IDが、上述の、「RROV_001_AREA_002」と「RROV_001_AREA_003」の2つの領域IDである場合は、S1608において、領域管理テーブルから、領域IDが「RROV_001_AREA_002」のレコードと領域IDが「RROV_001_AREA_003」のレコードとが抽出される。
S1608が終了すると、認証部407は、S1608で抽出されたレコードの各々に対し、次のS1609からS1613における処理を行う。
まず、S1609において、認証部407は、S1608で抽出されたレコードの中から、未だ処理対象レコードとされていないレコードの1つを処理対象レコードとし、その処理対象レコードの座標情報格納場所が示す領域座標情報記憶部414における格納場所から、座標情報を取得する。
S1610において、認証部407は、S1602で受信された表示認証要求電文に含まれる位置情報が示す位置が、S1609で取得された座標情報が示す領域内であるか否かを判定する。
S1610の判定結果がNOの場合は、処理がS1614へ進む。
一方、S1610の判定結果がYESの場合、S1611において、認証部407は、処理対象レコードの優先度の値が優先度WORKの値よりも大きいか否か(優先度>優先度WORKであるか否か)を判定する。
S1611の判定結果がNOの場合は、処理がS1614へ進む。
一方、S1611の判定結果がYESの場合、S1612において、認証部407は、優先度WORKに、処理対象レコードの優先度の値を格納する(優先度WORK←優先度)。これにより、優先度WORKの値が、処理対象レコードの優先度の値とされる。
S1613において、認証部407は、領域IDWORKに、処理対象レコードの領域IDの文字を格納する(領域IDWORK←領域ID)。これにより、領域IDWORKの文字が、処理対象レコードの領域IDの文字とされる。
S1614において、認証部407は、S1608で抽出されたレコードの各々に対し、S1609からS1613における処理が完了したか否かを判定する。
S1614の判定結果がNOの場合は、処理がS1609に戻る。
一方、S1614の判定結果がYESの場合、S1615において、認証部407は、領域IDWORKの文字がnull(「空白」)であるか否かを判定する。
S1615の判定結果がYESの場合は、処理がS1620へ進む。
一方、S1615の判定結果がNOの場合、S1616において、認証部407は、ARコンテンツ表示管理テーブル記憶部412に記憶されたARコンテンツ表示管理テーブルから、領域IDWORKの文字と同じ文字の領域IDとS1602で受信された表示認証要求電文に含まれるコンテンツIDをキーにレコードを抽出する。
例えば、S1608で抽出されたレコードが、上述の、領域IDが「RROV_001_AREA_002」のレコードと、領域IDが「RROV_001_AREA_003」のレコードであり、表示認証要求電文が図17に示したものである場合には、S1616において、ARコンテンツ表示管理テーブルから、領域IDが「RROV_001_AREA_003」であり且つコンテンツIDが「VEND_001_CONT_002」であるレコード(420個のレコード)が抽出される。
S1617において、認証部407は、S1602で受信された表示認証要求電文に含まれる方位角情報が示す方位角が、S1616で抽出されたレコードの方位角に応じた範囲内(AR表示が許可されている方位角範囲内)であるか否かを判定する。なお、S1616で抽出されたレコードの方位角が「2222」である場合は、S1617の判定結果がNOになる。
S1617の判定結果がNOの場合は、処理がS1620へ進む。
一方、S1617の判定結果がYESの場合、S1618において、認証部407は、S1602で受信された表示認証要求電文に含まれる仰角情報が示す仰角が、S1616で抽出されたレコードの仰角の範囲内(AR表示が許可されている仰角範囲内)であるか否かを判定する。なお、S1616で抽出されたレコードの仰角が「2222」である場合は、S1618の判定結果がNOになる。
S1618の判定結果がNOの場合は、処理がS1620へ進む。
一方、S1618の判定結果がYESの場合、S1619において、認証部407は、S1602で受信された表示認証要求電文に対する応答電文として、その表示認証要求電文に含まれるコンテンツIDに対応するARコンテンツの表示を許可する内容の応答電文をモバイル端末30へ送信する。このときの応答電文は、例えば図18に示したように、ARコンテンツの表示を許可するという認証結果(「OK」の判定結果)と、S1616で抽出されたレコードの領域IDに対応する領域の座標情報に基づく位置情報(位置情報要素数と各要素の位置情報)と、S1616で抽出されたレコードの方位角と仰角に基づく表示情報(表示情報要素数と各要素の表示情報)とを含む。このような応答電文に含まれる位置情報及び表示情報は、ARコンテンツの表示が許可されている、領域(優先度が最も高い領域)、方位角、及び仰角に関する情報の一例でもある。
なお、図18に示した応答電文は、S1616で抽出されたレコードが、上述の、領域IDが「RROV_001_AREA_003」であり且つコンテンツIDが「VEND_001_CONT_002」であるレコード(420個のレコード)であって、且つ、表示認証要求電文が図17に示したものである場合の応答電文である。
S1620においては、認証部407が、S1602で受信された表示認証要求電文に対する応答電文として、その表示認証要求電文に含まれるコンテンツIDに対応するARコンテンツの表示を許可しない(禁止する)内容の応答電文をモバイル端末30へ送信する。このときの応答電文は、例えば、ARコンテンツの表示を許可しないという認証結果(「NG」の判定結果)を含む。
S1619又はS1620の後は、処理がS1601へ戻る。
一方、S1619又はS1620で送信された応答電文の送信先であるモバイル端末30においては、図15に示したように、S1505において、その応答電文を通信部308が受信すると、S1506において、位置情報取得部305は、モバイル端末30の位置情報を取得する。
S1507において、方位角情報取得部306は、撮像部302の撮像方向の方位角情報を取得する。
S1508において、仰角情報取得部307は、撮像部302の撮像方向の仰角情報を取得する。
S1509において、判定部309は、S1505で受信された応答電文と、S1506で取得された位置情報と、S1507で取得された方位角情報と、S1508で取得された仰角情報とに基づいて、表示コンテンツ決定部304により決定されたARコンテンツの表示が可能であるか否かを判定する。
このS1509の判定では、例えば、応答電文に含まれる認証結果が、ARコンテンツの表示を許可するという認証結果であり、且つ、応答電文に含まれる位置情報が示す領域内に、S1506で取得された位置情報が示す位置が含まれ、且つ、応答電文に含まれる表示情報が示す方位角及び仰角の範囲内に、S1507で取得された方位角情報が示す方位角とS1508で取得された仰角情報が示す仰角とが含まれる場合に、判定結果がYESとなり、それ以外の場合は、判定結果がNOとなる。このような判定方法を採用する理由は、例えば、表示認証要求電文を送信した直後にモバイル端末30の位置や向き(撮像部302の撮像方向)が変化し、仮に、応答電文に含まれる認証結果が表示許可の認証結果であっても、その応答電文を受信した時点で表示許可範囲から外れてしまっている場合があり、そのような場合においても表示の可否を正しく判定するためである。
S1509の判定結果がYESの場合、S1510において、表示制御部310は、撮像部302により撮像され表示部303に表示されている被写体のリアルタイム画像上に、表示コンテンツ決定部304により決定されたARコンテンツを重ねて表示させ、そして、モバイル端末30のAR表示管理処理が終了する。
一方、S1509の判定結果がNOの場合は、表示コンテンツ決定部304により決定されたARコンテンツの表示を行わずに、モバイル端末30のAR表示管理処理が終了する。
以上のように、本実施形態によれば、ARコンテンツの表示が許可されている領域、方位角、及び仰角においてはARコンテンツの表示を行わせ、ARコンテンツの表示が禁止されている領域、方位角、及び仰角においてはARコンテンツの表示を行わせないようにすることができる。すなわち、ARコンテンツの表示を規制することができる。これにより、例えば、教会内におけるキリスト像の方向は、ARコンテンツの表示を行わせないようにすることができ、公序良俗を守る観点等からも有効である。
なお、本実施形態において、領域の形状は、図13に示した正方形や長方形に限らず、他の形状(例えば、正方形や長方形以外の四角形の形状や、四角形以外の多角形の形状や、曲線を含む形状など)であってもよい。曲線は、相対座標の1単位(1座標)当たりの大きさを小さくすることによって、表現が可能である。
また、図15に示したフローチャートにおいて、S1505とS1506との間に、応答電文に含まれる認証結果がARコンテンツの表示を許可するという認証結果であるか否かを判定する判定処理を設け、その判定結果がYESの場合にはS1506へ進み、NOの場合にはモバイル端末30のAR表示管理処理が終了するようにしてもよい。このようにすることで、応答電文に含まれる認証結果がARコンテンツの表示を許可しないという認証結果である場合に、S1506からS1508における処理を行わせないようにすることができる。なお、この場合は、S1509において、応答電文に含まれる位置情報が示す領域内に、S1506で取得された位置情報が示す位置が含まれ、且つ、応答電文に含まれる表示情報が示す方位角及び仰角の範囲内に、S1507で取得された方位角情報が示す方位角とS1508で取得された仰角情報が示す仰角とが含まれる場合に、判定結果がYESとなり、それ以外の場合は、判定結果がNOとなるようにしてもよい。
また、表示認証要求電文に対する応答電文は、ARコンテンツの表示を許可するか否かの認証結果のみを含む電文とし、図15に示したフローチャートにおいては、S1506からS1508における処理を省いて、S1509においては、単に、応答電文に含まれる認証結果に応じて、判定を行うようにしてもよい。このようにすることで、判定精度は多少低下するものの、処理を簡素化することができる。
以上、本発明の実施の形態を説明したが、本発明は、上述した実施の形態に限定されることなく、本発明の要旨を逸脱しない範囲内で種々の改良・変更が可能である。
1 AR表示管理システム
10 プロバイダ端末
20 ベンダー端末
30 モバイル端末
40 管理サーバ
50 ネットワーク
301 入力部
302 撮像部
303 表示部
304 表示コンテンツ決定部
305 位置情報取得部
306 方位角情報取得部
307 仰角情報取得部
308 通信部
309 判定部
310 表示制御部
321 CPU
322 メモリ
323 タッチパネル装置
324 表示装置
325 カメラ
326 GPSセンサー
327 地磁気センサー
328 加速度センサー
329 ジャイロセンサー
330 媒体駆動装置
331 ネットワーク接続装置
332 バス
333 可搬型記録媒体
401 領域提供者管理部
402 ベンダー管理部
403 ARコンテンツ管理部
404 領域管理部
405 ARコンテンツ表示管理部
406 通信部
407 認証部
408 領域提供者管理テーブル記憶部
409 ベンダー管理テーブル記憶部
410 ARコンテンツ管理テーブル記憶部
411 領域管理テーブル記憶部
412 ARコンテンツ表示管理テーブル記憶部
413 ARコンテンツ記憶部
414 領域座標情報記憶部
421 CPU
422 メモリ
423 入力装置
424 出力装置
425 外部記憶装置
426 媒体駆動装置
427 ネットワーク接続装置
428 バス
429 可搬型記録媒体

Claims (5)

  1. 携帯型端末装置と、AR(Augmented Reality)コンテンツの表示認証を行う認証装置と、を含むAR表示管理システムであって、
    前記携帯型端末装置は、
    被写体を撮像する撮像部と、
    前記撮像部により撮像された前記被写体の撮像画像を表示する表示部と、
    前記携帯型端末装置の位置を示す位置情報を取得する位置情報取得部と、
    前記撮像部の撮像方向を示す方向情報を取得する方向情報取得部と、
    ARコンテンツの識別子と、前記位置情報と、前記方向情報とを含む、前記ARコンテンツの表示認証要求電文を前記認証装置へ送信し、前記表示認証要求電文に対する応答電文を前記認証装置から受信する通信部と、
    前記応答電文に基づいて、前記ARコンテンツの表示が可能であるか否かを判定する判定部と、
    前記ARコンテンツの表示が可能であると前記判定部により判定された場合に、前記表示部に表示された前記撮像画像上に前記ARコンテンツを重ねて表示させる表示制御部と、
    を備え、
    前記認証装置は、
    前記表示認証要求電文を前記携帯型端末装置から受信し、前記表示認証要求電文に対する前記応答電文を前記携帯型端末装置へ送信する通信部と、
    前記表示認証要求電文に含まれる、前記識別子、前記位置情報、及び前記方向情報に基づいて、前記識別子に対応する前記ARコンテンツの表示を許可するか否かを認証する認証部と、
    を備え、
    前記応答電文は、前記認証部の認証結果を含む、
    ことを特徴とするAR表示管理システム。
  2. 前記方向情報取得部は、
    前記撮像部の撮像方向の方位角を示す方位角情報を取得する方位角情報取得部と、
    前記撮像部の撮像方向の仰角を示す仰角情報を取得する仰角情報取得部と、
    を含み、
    前記方向情報は、前記方位角情報と前記仰角情報を含む、
    ことを特徴とする請求項1記載のAR表示管理システム。
  3. 前記認証装置は、
    ARコンテンツの識別子と、前記ARコンテンツの表示が許可されている、領域、方位角、及び仰角とが対応付けられた情報、及び、ARコンテンツの表示が許可されていない領域に関する情報、を含むARコンテンツ表示管理情報が記憶される表示管理情報記憶部と、
    領域と優先度とが対応付けられた領域管理情報が記憶される領域管理情報記憶部と、
    を更に備え、
    前記認証部は、前記表示認証要求電文に含まれる、前記識別子、前記位置情報、及び前記方向情報と、前記表示管理情報記憶部に記憶された前記ARコンテンツ表示管理情報と、前記領域管理情報記憶部に記憶された前記領域管理情報とに基づいて、前記認証を行う、
    ことを特徴とする請求項2記載のAR表示管理システム。
  4. 前記認証部の認証結果が、前記識別子に対応する前記ARコンテンツの表示を許可するという認証結果である場合、前記応答電文は、前記識別子に対応する前記ARコンテンツの表示が許可されている、優先度が最も高い領域、方位角、及び仰角に関する情報を更に含み、
    前記判定部は、前記応答電文に含まれる、前記ARコンテンツの表示が許可されている、優先度が最も高い領域、方位角、及び仰角に関する情報と、前記応答電文の受信後に前記位置情報取得部により取得された位置情報と、前記応答電文の受信後に前記方向情報取得部により取得された方向情報とに基づいて、前記ARコンテンツの表示が可能であるか否かを判定する、
    ことを特徴とする請求項3記載のAR表示管理システム。
  5. 被写体を撮像する撮像部と前記撮像部により撮像された前記被写体の撮像画像を表示する表示部とを備える携帯型端末装置と、AR(Augmented Reality)コンテンツの表示認証を行う認証装置と、を含むAR表示管理システムにおいて実行されるAR表示管理方法であって、
    前記携帯型端末装置は、
    前記携帯型端末装置の位置を示す位置情報を取得し、
    前記撮像部の撮像方向を示す方向情報を取得し、
    ARコンテンツの識別子と、前記位置情報と、前記方向情報とを含む、前記ARコンテンツの表示認証要求電文を前記認証装置へ送信し、
    前記認証装置は、
    前記表示認証要求電文を前記携帯型端末装置から受信し、
    前記表示認証要求電文に含まれる、前記識別子、前記位置情報、及び前記方向情報に基づいて、前記識別子に対応する前記ARコンテンツの表示を許可するか否かを認証し、
    前記表示認証要求電文に対する応答電文として、前記認証の結果を含む応答電文を、前記携帯型端末装置へ送信し、
    前記携帯型端末装置は、
    前記応答電文を前記認証装置から受信し、
    前記応答電文に基づいて、前記ARコンテンツの表示が可能であるか否かを判定し、
    前記ARコンテンツの表示が可能であると判定した場合に、前記表示部に表示された前記撮像画像上に前記ARコンテンツを重ねて表示させる、
    ことを特徴とするAR表示管理方法。
JP2017215566A 2017-11-08 2017-11-08 Ar表示管理システム及びar表示管理方法 Pending JP2019087091A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017215566A JP2019087091A (ja) 2017-11-08 2017-11-08 Ar表示管理システム及びar表示管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017215566A JP2019087091A (ja) 2017-11-08 2017-11-08 Ar表示管理システム及びar表示管理方法

Publications (1)

Publication Number Publication Date
JP2019087091A true JP2019087091A (ja) 2019-06-06

Family

ID=66763164

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017215566A Pending JP2019087091A (ja) 2017-11-08 2017-11-08 Ar表示管理システム及びar表示管理方法

Country Status (1)

Country Link
JP (1) JP2019087091A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102549A (ja) * 2020-12-25 2022-07-07 株式会社カプコン サーバ装置、情報処理システムおよびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022102549A (ja) * 2020-12-25 2022-07-07 株式会社カプコン サーバ装置、情報処理システムおよびプログラム
JP7158649B2 (ja) 2020-12-25 2022-10-24 株式会社カプコン サーバ装置、情報処理システムおよびプログラム

Similar Documents

Publication Publication Date Title
US9736371B2 (en) Image management system, image management method, and computer program product
KR101016556B1 (ko) 증강 현실을 이용하여 인물의 정보에 접근하기 위한 방법, 서버 및 컴퓨터 판독 가능한 기록 매체
EP2616901B1 (en) Moving information between computing devices
EP2882179B1 (en) Information processing device, information processing method, and program
JP6914021B2 (ja) ユーザの履歴を利用してユーザを認証するシステムおよび方法
WO2014206017A1 (zh) 显示控制方法、装置及包括该装置的显示设备
JP6832098B2 (ja) 装置、コンピュータプログラム及び方法
JP6093841B2 (ja) システム、情報処理方法及びプログラム
WO2020059271A1 (ja) 経路案内プログラムを記録した記録媒体、経路案内装置、および経路案内システム
US11025603B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US9992650B2 (en) Leader and follower management system for wearable devices
JP2019087091A (ja) Ar表示管理システム及びar表示管理方法
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
US11128623B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
US11076010B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
JP2018011275A (ja) サービス提供システム、サービス授受システム、サービス提供方法、及びプログラム
JP2014120878A (ja) 所定領域管理システム、所定領域管理方法、及びプログラム
US11108772B2 (en) Service providing system, service delivery system, service providing method, and non-transitory recording medium
JP6008660B2 (ja) 情報処理装置、情報処理方法
EP4250744A1 (en) Display terminal, communication system, method for displaying, method for communicating, and carrier means
US11290263B2 (en) Information processing apparatus and information processing method
JP2016004376A (ja) 対象特定装置