JP2017016466A - 端末制御方法、画像生成方法、端末制御プログラム、及び端末 - Google Patents

端末制御方法、画像生成方法、端末制御プログラム、及び端末 Download PDF

Info

Publication number
JP2017016466A
JP2017016466A JP2015133643A JP2015133643A JP2017016466A JP 2017016466 A JP2017016466 A JP 2017016466A JP 2015133643 A JP2015133643 A JP 2015133643A JP 2015133643 A JP2015133643 A JP 2015133643A JP 2017016466 A JP2017016466 A JP 2017016466A
Authority
JP
Japan
Prior art keywords
content
information
image
terminal
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015133643A
Other languages
English (en)
Inventor
優太 井上
Yuta Inoue
優太 井上
一寿 川嶋
Kazuhisa Kawashima
一寿 川嶋
俊幸 伊藤
Toshiyuki Ito
俊幸 伊藤
奨 古賀
Sho Koga
奨 古賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2015133643A priority Critical patent/JP2017016466A/ja
Priority to US15/195,435 priority patent/US10163266B2/en
Publication of JP2017016466A publication Critical patent/JP2017016466A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】端末の処理負荷を軽減する。
【解決手段】端末制御方法において、撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、処理をコンピュータが実行する。
【選択図】図９

Description

本発明は、端末制御方法、画像生成方法、端末制御プログラム、及び端末に関する。
カメラ等の撮像部により撮像された画像の一部に画像等のコンテンツを重ね合わせて重畳表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。ＡＲ技術では、撮像画像から認識されたＡＲマーカ（基準物）に対する位置情報や識別情報（マーカＩＤ）に基づき、拡張空間に重畳して表示される画像データ（以下、必要に応じて「ＡＲコンテンツ」という）等を配置する。
例えば、従来のＡＲ表示では、端末で撮影された画像中に含まれるＡＲマーカの画像を検出した場合に、検出したＡＲマーカに対応するマーカＩＤを取得し、取得したマーカＩＤに対応付けられたＡＲコンテンツを取得する。次に、ＡＲマーカのマーカ領域の大きさや形状（歪み）から、ＡＲマーカとカメラとの位置関係を推定し、推定した位置関係を用いて、ＡＲコンテンツの配置（位置、向き等）を決定し、決定した配置でＡＲコンテンツを画像に重畳表示する。
例えば、ＡＲ技術を利用して、現場にいる作業員等が端末で撮像した画像にＡＲコンテンツを合成し、通信ネットワークを介して遠隔支援者が使用するサーバに送信し、画像を共有しながら遠隔支援者からの指示を受け付けて作業を行う遠隔支援システムがある。
また、上述したようなＡＲ技術は、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という）や眼鏡型ディスプレイ等のようなウェアラブルコンピュータにも適用されている。ＨＭＤ等では、ユーザの目の位置に対応して装着された透過型の画面にＡＲコンテンツを表示させることで、ユーザの視野内にある実物体等に対応したＡＲコンテンツを表示させることができる。
特開２０１２−２１５９８９号公報
しかしながら、上述したような遠隔支援システム等の場合は、端末が撮像画像とＡＲコンテンツとを合成し、その合成画像を外部の遠隔支援者側へ送信する処理を行うため、端末に処理負荷がかかってしまう。したがって、遠隔支援者等に対する滑らかな画面共有が実現できない。
一つの側面では、本発明は、端末の処理負荷を軽減することを目的とする。
一つの態様では、端末制御方法は、撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、処理をコンピュータが実行する。
一つの側面として、端末の処理負荷を軽減することができる。
情報処理システムの概略構成の一例を示す図である。 端末の機能構成の一例を示す図である。 端末のハードウェア構成の一例を示す図である。 サーバの機能構成の一例を示す図である。 サーバのハードウェア構成の一例を示す図である。 ＡＲマーカＤＢの一例を示す図である。 ＡＲコンテンツＤＢの一例を示す図である。 本実施形態における処理概要を説明するための図である。 第１実施例における端末側の端末制御処理の一例を示すフローチャートである。 第１実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。 第２実施例における端末側の端末制御処理の一例を示すフローチャートである。 第２実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。 第３実施例における端末側の端末制御処理の一例を示すフローチャートである。 第３実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。 ＡＲコンテンツの停止状態及び停止解除状態を説明するための図である。 第４実施例における端末側の端末制御処理の一例を示すフローチャートである。 第４実施例におけるサーバ側の画面制御処理の一例を示すフローチャートである。
以下、図面に基づいて実施形態を説明する。
＜情報処理システムの概略構成例＞
図１は、情報処理システムの概略構成の一例を示す図である。図１に示す情報処理システム１０は、１又は複数の端末１１−１〜１１−ｎ（以下、必要に応じて「端末１１」と総称する）と、情報処理装置の一例としてのサーバ１２とを有する。端末１１及びサーバ１２は、例えば通信ネットワーク１３によりデータの送受信が可能な状態で接続されている。
端末１１は、例えば遠隔支援システム等における作業者等が使用する端末である。端末１１は、内蔵されたカメラ等の撮像部により画像を撮像し、その撮像画像（カメラ画像）中に基準物の一例としてのＡＲマーカの画像が含まれることを検出すると、そのＡＲマーカに対応するＡＲコンテンツ（コンテンツ）の登録（オーサリング処理）を行う。オーサリング処理とは、ＡＲマーカに対応付けられた識別情報（例えば、マーカＩＤ）に一又は複数のＡＲコンテンツと、そのＡＲコンテンツのマーカ位置に基づく相対的な位置情報とを登録する処理であるが、これに限定されるものではない。
ここで、ＡＲマーカとは、例えばＡＲコンテンツ等の各種コンテンツ情報の内容や表示する位置等を指定するための標識となるものである。ＡＲマーカは、例えば二次元コード等のように、所定の領域内に所定の模様や文字パターン等が形成された画像等であるが、これに限定されるものではない。
また、基準物としては、例えばＡＲマーカに限定されるものではなく、例えば周辺画素との差から得られるエッジ抽出等により所定の特徴量が抽出可能な特定の物体であればよい。特定の物体としては、例えば時計や機械、窓、絵画、置物、Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ（ＰＣ）、柱や配管等でもよい。例えば、各物体に対する特徴量データ（例えば、物体認識用辞書等）を予め蓄積しておき、画像データから得られる物体毎の特徴量を用いてマッチングを行うことで、その物体に対応する識別情報を取得したり、識別情報に対応付けてＡＲコンテンツを設定することができる。
ＡＲコンテンツとは、例えば現実空間に対応する三次元の仮想空間上に配置された三次元物体のモデルデータ等であり、例えば端末１１で撮影された画像に重畳されて表示される重畳情報、又はサーバ１２で撮像画像と合成される情報である。また、ＡＲコンテンツは、例えば撮像画像中に含まれるＡＲマーカからの相対座標で設定された位置に表示される。本実施形態のＡＲコンテンツは、例えばＡＲマーカ等に対応付けられており、例えばテキスト、アイコン、アニメーション、マーク、模様、画像、映像等の様々な形態が含まれる。また、ＡＲコンテンツは、表示出力されるものに限定されず、例えば音声等の情報であってもよい。
また、端末１１は、撮像画像中に基準物（ＡＲマーカ）画像が含まれることを検出すると、基準物の識別情報と、撮像画像内における基準物の位置情報とを、識別情報に対応付けて記憶（登録）されたＡＲコンテンツを、位置情報に基づいて撮像画像に合成するサーバ１２に送信する。また、端末１１は、ＡＲマーカに対応付けられたＡＲコンテンツを取得し、取得したＡＲコンテンツを画面に表示する。
また、端末１１は、撮像画像中に基準物（ＡＲマーカ）の画像が含まれることを検出すると、基準物に対応付けて記憶されたＡＲコンテンツの識別情報を検出し、検出したＡＲコンテンツの識別情報と、ＡＲコンテンツの画像上の位置情報とを、サーバ１２に送信する。
また、端末１１は、ユーザから撮像画像を表示する表示画面におけるコンテンツを表示する位置を固定（停止）させる操作を受け付けた場合、操作を受け付けた旨を示す情報をサーバ１２に送信する。また、端末１１は、遠隔支援者からの指示を受信し、受信した情報を画面に表示したり、音声出力することができる。
端末１１は、例えばタブレット端末やスマートフォン、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ（ＰＤＡ）、ノート型ＰＣ等であるが、これに限定されるものではなく、例えばゲーム機器、携帯電話等の通信端末であってもよい。
また、端末１１の一例として、例えばＨＭＤや眼鏡型ディスプレイ等のような透過型の表示装置を用いてもよい。ヘッドマウントディスプレイや眼鏡型ディスプレイは、ユーザの目に対応した位置（視野上）に透過型の画面（表示部）を有する装着型デバイスである。端末１１は、透過型の画面（表示部）上に、上述したＡＲコンテンツを透過させて表示することで、ユーザが実際に見ている視野範囲内に上述したＡＲコンテンツを表示させることができる。なお、ＡＲコンテンツは、透過性のある表示物として表示することができ、表示制御部等により表示制御させる。
また、ヘッドマウントディスプレイや眼鏡型ディスプレイ等の場合には、端末１１における各構成のうち、表示部等に関する構成と、その他の構成とが別体に設けられていてもよく、それらを接続することで上述した端末１１と同様の構成を実現してもよい。
サーバ１２は、例えば遠隔支援システムにおける遠隔支援者が使用する端末であるが、これに限定されるものではなく、例えば遠隔支援者が他の端末から通信ネットワーク１３を介してアクセスする端末であってもよい。
サーバ１２は、端末１１から送信された撮像画像と、ＡＲマーカの識別情報及び位置情報とに基づき、ＡＲマーカに対応付けられたＡＲコンテンツを取得し、撮像画像とＡＲコンテンツとを合成して表示する。また、サーバ１２は、端末１１から撮像画像とＡＲコンテンツの識別情報及び位置情報を取得した場合には、そのＡＲコンテンツの識別情報に対応するＡＲコンテンツを取得し、位置情報に基づく撮像画像の所定の位置に出力する。
また、サーバ１２は、例えばＡＲマーカの識別情報及び位置情報が端末１１から送られなかった場合、又は識別情報及び位置情報は送られたが、ＡＲコンテンツがカメラ画像上の位置にない場合には、合成処理をしないようにすることができる。
また、サーバ１２は、端末１１側でＡＲコンテンツを画面上で固定（停止）させる停止操作が行われた場合、停止操作前のＡＲコンテンツを、停止操作後に取得した撮像画像に合成する。
また、サーバ１２は、遠隔支援者からの指示情報等を、通信ネットワーク１３を介して端末１１に送信してもよい。サーバ１２は、例えばＰＣ等でもよいが、これに限定されるものではなく、例えば一以上の情報処理装置を有するクラウドコンピューティングにより構成されるクラウドサーバ等であってもよい。
通信ネットワーク１３は、例えばインターネットやＬｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（ＬＡＮ）等であるが、これに限定されるものではない。また、通信ネットワーク１３は、有線でも無線でもよく、これらの組み合わせでもよい。
図１に示す情報処理システム１０は、端末１１とサーバ１２との関係がｎ対１の構成となっているがこれに限定されるものではなく、例えば複数のサーバを有していてもよい。
＜端末１１の機能構成例＞
次に、上述した端末１１の機能構成例について、図を用いて説明する。図２は、端末の機能構成の一例を示す図である。端末１１は、通信部２１と、撮像部（画像取得部）２２と、記憶部２３と、表示部２４と、検出部２５と、取得部２６と、画面生成部２７と、表示制御部２８と、制御部２９とを有する。
通信部２１は、通信ネットワーク１３を介してサーバ１２や他のコンピュータ等とデータの送受信を行う。例えば、通信部２１は、例えばオーサリング処理として、ＡＲマーカと対応付けたＡＲコンテンツやＡＲマーカに対応する相対的な位置情報等をサーバ１２等に送信して登録（記憶）させる。また、通信部２１は、撮像部２２により撮像された画像中にＡＲマーカが含まれている場合に、そのＡＲマーカに対応する基準物の識別情報と、撮像画像内におけるＡＲマーカの位置情報（例えば、ＡＲマーカの中心座標）、撮像画像をサーバ１２に送信する。また、通信部２１は、サーバ１２から得られる遠隔支援者の指示情報等を受信する。
撮像部２２は、一定のフレーム間隔で撮像を行い、画像データを生成する。撮像部２２は、例えばデジタルカメラ等であるが、これに限定されるものではない。また、撮像部２２は、端末１１に内蔵されていてもよく、接続可能な外部装置であってもよい。撮像部２２を装着する場合には、傾きや方向等の向き情報が端末１１と一体に動作されるものが好ましいが、これに限定されるものではない。また、撮像部２２は、外部の撮像装置等で撮像された画像データを取得してもよい。この場合には、撮像装置の位置情報や向き情報を有することが好ましいが、これに限定されるものではない。撮像部２２は、予め設定されたフレーム間隔で画像を撮像する。撮像部２２は、撮像画像（カメラ画像）を制御部２９へ出力したり、記憶部２３により記憶する。
記憶部２３は、本実施形態において必要な各種情報を記憶する。記憶部２３には、例えばＡＲコンテンツ情報等を管理するＡＲマーカデータベース（以下、データベースを「ＤＢ」という）、ＡＲコンテンツＤＢ、その他の各種設定情報等が記憶されるが、記憶される内容については、これに限定されるものではない。また、記憶部２３は、画面上で固定（停止）するＡＲマーカＩＤを、停止しＡＲマーカＩＤ一覧として記憶して管理してもよい。
また、上述した各情報は、サーバ１２等から取得した情報でもよく、ユーザが端末１１で設定した情報であってもよい。また、記憶部２３は、例えば制御部２９等の制御により、情報を書き込んだり、読み出したりすることができる。
表示部２４は、撮像部２２から取得した撮像画像を表示したり、撮像画像にＡＲコンテンツを重ね合わせた重畳画像を表示する。また、表示部２４は、本実施形態における端末制御処理を行うために予め設定されたメニュー画面や設定画面、端末１１を操作するための操作画面等を表示する。また、表示部２４は、タッチパネル等のように、画面上から情報の入力を行ってもよい。
検出部２５は、取得画像中にＡＲマーカの画像が含まれるか否かを検出する。例えば、検出部２５は、撮像部２２により得られる撮像画像に対して画像認識を行い、予め記憶部２３に記憶されているＡＲマーカＤＢのＡＲマーカパターンとのマッチングにより一致又は類似度が高いＡＲマーカを検出してその識別情報（ＡＲマーカＩＤ）を検出する。
本実施形態では、例えば撮像画像中に含まれる現実空間上の物体（対象物）に対してＡＲマーカを付与しておくことで、ＡＲマーカの識別情報に対応付けられたＡＲコンテンツとして、その物体の使用方法や作業手順、注意事項等を撮像画像に重畳して表示させることができる。
なお、本実施形態における基準物は、ＡＲマーカに限定されるものではなく、例えば上述したように、予め登録された物体を基準物としてもよい。この場合、検出部２５は、撮像画像から登録された物体を認識し、認識した物体に対応する識別情報を取得できる。例えば、検出部２５は、ＡＲマーカではなく、現実空間上の物体（対象物）等を基準物として、マッチングを行いＡＲマーカに対する識別情報（例えば、マーカＩＤ）を取得する。また、検出部２５は、ＡＲマーカを識別できた画像中の位置座標（ｘ，ｙ）を取得する。
また、検出部２５は、検出したＡＲマーカ情報（ＡＲマーカＩＤと、その画像中の位置情報（座標）を、撮像部２２により撮像された撮像画像と同期させて、通信部２１からサーバ１２に送信する。
取得部２６は、検出部２５で検出されたＡＲマーカＩＤに対応するＡＲコンテンツを取得する。例えば、取得部２６は、記憶部２３に記憶されたＡＲコンテンツＤＢを参照し、ＡＲマーカＩＤに対応するＡＲコンテンツ及びＡＲマーカ位置からの相対座標（ｘ，ｙ，ｚ）を取得する。相対座標とは、例えば「座標値」、「回転角度」、「拡縮率」等のうち、少なくとも１つである。「座標値」は、ＡＲコンテンツを表示する二次元又は三次元位置情報である。「座標値」は、例えば端末１１の位置情報や向き情報等に基づいて設定するこができる。
「回転角度」は、対応するＡＲコンテンツに対して予め設定された基本角度から三次元方向にどの程度傾いているかを示す情報である。「拡縮率」は、対応するＡＲコンテンツに対して予め設定された大きさを基準に三次元方向にどの程度拡大又は縮小しているかを示す情報である。本実施形態では、「座標値」、「回転角度」、「拡縮率」の少なくとも１つをＡＲコンテンツの位置情報としてもよい。
また、本実施形態では、検出部２５からＡＲマーカＩＤを送信する代わりに、取得部２６がＡＲコンテンツＤＢを参照して、ＡＲマーカＩＤに対応するＡＲコンテンツを参照し、得られたＡＲコンテンツの識別情報（ＡＲコンテンツＩＤ）をしてもよい。また、取得部２６は、取得したＡＲコンテンツ情報（ＡＲコンテンツＩＤ、ＡＲコンテンツの画像中の位置情報（座標））を、撮像画像と同期させて、通信部２１からサーバ１２に送信してもよい。
画面生成部２７は、ＡＲコンテンツを撮像画像中のＡＲマーカの位置（例えば、ＡＲマーカの中心座標）を基準にした相対座標に対応させた位置に重ね合わせて重畳画像を生成する。画面生成部２７は、生成した画像を表示部２４の画面に表示させる。画面生成部２７は、例えばＡＲマーカからの相対位置でＡＲコンテンツを画面に表示することができるが、これに限定されるものではない。
また、画面生成部２７は、例えばＡＲコンテンツの表示位置が撮像画像（カメラ画像）からはみ出しているか否かを判断し、はみ出している場合には、重畳表示を行わずに撮像画像のみが表示部２４から表示される。また、画面生成部２７は、表示画面中にあるＡＲコンテンツの現在の表示位置を固定したままにする固定（停止）するボタンや固定を解除するボタン等を生成して表示させてもよい。
また、画面生成部２７は、本実施形態における端末制御処理を行うための設定画面を表示したり、ＡＲコンテンツの登録等のオーサリング処理を行うための画面等を生成してもよい。
表示制御部２８は、表示部２４に撮像画像と共に表示されている一又は複数のＡＲコンテンツのうち、少なくとも１つを固定（表示）表示にするか否かの制御を行う。また、表示制御部２８は、固定表示されているＡＲコンテンツに対する固定解除等を行う。表示制御部２８により制御される情報は、画面生成部２７に出力され、画面生成部２７により対応する画像が生成される。
制御部２９は、端末１１が有する各構成における処理全体を制御する。制御部２９は、撮像部２２による画像撮影、検出部２５による撮像画像（取得画像）中に含まれるＡＲマーカの検出、取得部２６によるＡＲマーカＩＤに対応するＡＲコンテンツの取得、画面生成部２７による重畳表示画面の生成生成、表示制御部２８によるＡＲコンテンツの表示制御等の処理を行う。なお、制御部２９における処理内容については、これに限定されるものではなく、例えば本実施形態における端末制御処理の開始や終了、エラー発生時の処理等を行ってもよい。
＜端末１１のハードウェア構成例＞
次に、端末１１のハードウェア構成例について図を用いて説明する。図３は、端末のハードウェア構成の一例を示す図である。図３の例において、端末１１は、マイクロフォン（以下、「マイク」という）３１と、スピーカ３２と、表示部３３と、操作部３４と、センサ部３５と、電力部３６と、無線部３７と、近距離通信部３８と、補助記憶装置３９と、主記憶装置４０と、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）４１と、ドライブ装置４２とを有し、これらはシステムバスＢで相互に接続されている。
マイク３１は、ユーザが発した音声や、その他の音を入力する。スピーカ３２は、通話相手先の音声を出力したり、着信音等の音を出力する。マイク３１及びスピーカ３２は、例えば、通話機能等により通話相手と会話するとき等に用いることができるが、これに限定されるものではなく、音声による情報の入出力に用いることができる。
表示部３３は、ユーザに対してＯＳや各種アプリケーションで設定された画面を表示する。また、表示部３３は、タッチパネルディスプレイ等でもよく、その場合には表示部３３は、入出力部としての機能を有する。
表示部３３は、例えばＬｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ（ＬＣＤ）や有機Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ（ＥＬ）等のディスプレイである。
操作部３４は、表示部３３の画面に表示された操作ボタンや端末１１の外部に設けられた操作ボタン等である。操作ボタンは、例えば電源ボタンや音量調整ボタンでもよく、所定の順番で配列された文字入力用の操作キー等でもよい。
ユーザは、例えば表示部３３の画面上で所定の操作を行ったり、上述した操作ボタンを押すことで、表示部３３により画面上のタッチ位置が検出される。また、表示部３３は、画面上にアプリ実行結果やコンテンツやアイコン、カーソル等を表示することができる。
センサ部３５は、端末１１のある時点又は継続的な動作を検出する。例えば、センサ部３５は、端末１１の傾き角度、加速度、方向、位置等を検出するが、これに限定されるものではない。なお、センサ部３５としては、例えば傾きセンサや加速度センサ、ジャイロセンサ、Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ（ＧＰＳ）等であるが、これに限定されるものではない。
電力部３６は、端末１１の各構成に対して電力を供給する。電力部３６は、例えばバッテリ等の内部電源であるが、これに限定されるものではない。電力部３６は、電力量を常時又は所定の時間間隔で検出し、電力量の残量等を監視することもできる。
無線部３７は、例えばアンテナ等を用いて基地局からの無線信号（通信データ）を受信したり、アンテナを介して無線信号を基地局に送信する通信データの送受信部である。
近距離通信部３８は、例えば赤外線通信やＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の通信手法を用いて、他の端末１１等のコンピュータと近距離通信を行うことができる。上述した無線部３７及び近距離通信部３８は、他のコンピュータとのデータの送受信を可能とする通信インタフェースである。
補助記憶装置３９は、例えばＨＤＤやＳＳＤ等のストレージ手段である。補助記憶装置３９は、各種のプログラム等を記憶し、必要に応じてデータの入出力を行う。
主記憶装置４０は、ＣＰＵ４１からの指示により補助記憶装置３９から読み出された実行プログラム等を格納したり、プログラム実行中に得られる各種情報等を記憶する。主記憶装置４０は、例えばＲＯＭやＲＡＭ等であるが、これに限定されるものではない。
ＣＰＵ４１は、ＯＳ等の制御プログラム、及び主記憶装置４０に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御することで、出力制御における各処理を実現する。
具体的には、ＣＰＵ４１は、例えば操作部３４等から得られるプログラムの実行指示等に基づき、補助記憶装置３９にインストールされたプログラムを実行させることにより、主記憶装置４０上でプログラムに対応する処理を行う。例えば、ＣＰＵ４１は、端末制御プログラムを実行させることで、撮像部２２による画像撮影、検出部２５による撮像画像（取得画像）中に含まれるＡＲマーカの検出、取得部２６によるＡＲマーカＩＤに対応するＡＲコンテンツの取得、画面生成部２７による重畳表示画面の生成生成、表示制御部２８によるＡＲコンテンツの表示制御の処理を行う。ＣＰＵ４１における処理内容は、これに限定されるものではない。ＣＰＵ４１により実行された内容は、必要に応じて補助記憶装置３９等に記憶される。
ドライブ装置４２は、例えば記録媒体４３等を着脱自在にセットすることができ、セットした記録媒体４３に記録された各種情報を読み込んだり、所定の情報を記録媒体４３に書き込むことができる。ドライブ装置４２は、例えば媒体装填スロット等であるが、これに限定されるものではない。
記録媒体４３は、上述したように実行プログラム等を格納するコンピュータで読み取り可能な記録媒体である。記録媒体４３は、例えばフラッシュメモリ等の半導体メモリであってもよい。また、記録媒体４３は、ＵＳＢメモリ等の可搬型記録媒体であってもよいが、これに限定されるものではない。
本実施形態では、上述したコンピュータ本体のハードウェア構成に実行プログラム（例えば、端末制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における端末制御処理等を実現することができる。
また、上述した端末制御処理に対応する端末制御プログラムは、例えば装置上で常駐している状態であってもよく、起動指示により起動させてもよい。
＜サーバ１２の機能構成例＞
次に、上述したサーバ１２の機能構成例について図を用いて説明する。図２は、サーバの機能構成の一例を示す図である。サーバ１２は、通信部５１と、記憶部５２と、表示部５３と、取得部５４と、合成部５５と、画面生成部５６と、制御部５７とを有する。
通信部５１は、通信ネットワーク１３を介して端末１１や他のコンピュータ等との間でデータの送受信を行う。通信部５１は、例えば端末１１からのオーサリング処理に対応したＡＲコンテンツ等の登録（記憶）要求、及びＡＲマーカに対応付けて登録するＡＲコンテンツ等を受信する。受信した情報は、記憶部５２に記憶される。通信部５１は、記憶部５２に記憶された情報に対する端末１１からの取得要求に応じてこれらの情報を送信してもよい。
また、通信部５１は、端末１１から送信された撮像画像及びＡＲマーカＩＤ、ＡＲマーカＩＤの画像中の位置情報等を取得する。また、通信部５１は、ＡＲマーカＩＤの代わりにＡＲコンテンツＩＤと、その位置情報とを取得してもよい。
記憶部５２は、本実施形態のサーバ１２における画面生成処理に必要な各種情報（例えば、ＡＲマーカＤＢ、ＡＲコンテンツＤＢ等）を記憶する。なお、上述した各種情報は、端末１１に対する識別情報（例えば、端末ＩＤ）やユーザに対する識別情報（例えば、ユーザＩＤ）毎に管理されていてもよい。
また、記憶部５２等は、ＡＲコンテンツの固定表示等を行う場合に、表示されているＡＲコンテンツをキャッシュとして一時的に記憶しておいてもよい。記憶部５２により記憶される情報は、上述した内容に限定されるものではない。また、記憶部５２は、制御部５７等の制御により、情報を書き込んだり、読み出したりすることができる。
表示部５３は、例えば通信部２１により端末から受信した撮像画像を画面に表示する。また、表示部５３は、合成部５５により撮像画像とＡＲコンテンツとが合成された合成画像を画面に表示する。
取得部５４は、端末１１から得られるＡＲマーカＩＤに対応するＡＲコンテンツを取得したり、ＡＲコンテンツＩＤに対応するＡＲコンテンツを取得する。また、取得部５４は、端末１１から表示中の一又は複数のＡＲコンテンツに対する固定（停止）指示や、固定（停止）されたＡＲコンテンツの解除の指示情報を取得し、取得した情報に基づいて、合成部５５における合成処理に関する制御等を行う。
合成部５５は、端末１１から送信された撮像画像とＡＲマーカやＡＲコンテンツの識別情報と、そのＡＲマーカやＡＲコンテンツの画像中の位置情報とに基づき、撮像画像とＡＲコンテンツとを合成する。例えば、合成部５５は、取得部５４により取得したＡＲコンテンツと、ＡＲコンテンツのＡＲマーカ位置からの相対座標とに基づいて、撮像画像の所定位置にＡＲコンテンツを合成して１つの画像にする。また、合成部５５は、端末１１側で固定（停止）操作が行われた場合、固定操作前のコンテンツを、固定操作後に取得した撮像画像と合成する。
なお、サーバ１２において、端末１１のように撮像画像にＡＲコンテンツを重ね合わせて表示せずに、合成画像を生成する理由は、サーバ１２側で端末１１から取得した撮像画像にＡＲコンテンツを重ね合わせて表示するためには、そのための特別な処理（プログラム等）が必要になるからである。合成画像を生成しておくことで、例えばサーバ１２側でブラウザ等の汎用的なソフトウェアを用いて画像（映像）を表示することができる。
また、合成部５５は、端末１１からＡＲコンテンツが固定である旨の指示を受け付けた場合には、そのＡＲコンテンツに対する合成処理を行わなくてもよい。また、合成部５５は、ＡＲマーカ又はＡＲコンテンツの識別情報及び位置情報が端末１１から送られない場合には、合成処理を行わなくてもよい。また、合成部５５は、ＡＲマーカ又はＡＲコンテンツの識別情報及び位置情報は送られたが、ＡＲコンテンツが撮像画像上の位置にない場合には、合成処理を行わなくてもよい。
画面生成部５６は、合成部５５により合成した画像を表示部に表示する画面を生成する。また、画面生成部５６は、生成した画像を表示部５３の画面に表示する。また、画面生成部５６は、生成された画面に対して遠隔支援者等が指示した内容を受け付けるとその内容を通信部５１を介して端末１１に送信してもよい。
制御部５７は、サーバ１２内の各構成全体を制御する。制御部５７は、例えば通信部５１による各種情報の送受信、表示部５３による合成画像の表示、取得部５４による取得、合成部５５による画像合成、画面生成部５６による画面生成等の処理を行う。制御部５７が行う制御内容については、これに限定されるものではなく、サーバ１２における画面生成処理の開始や終了、エラー発生時における処理等を行ってもよい。
＜サーバ１２のハードウェア構成例＞
次に、サーバ１２のハードウェア構成例について、図を用いて説明する。図５は、サーバのハードウェア構成の一例を示す図である。図５の例において、サーバ１２は、入力装置６１と、出力装置６２と、ドライブ装置６３と、補助記憶装置６４と、主記憶装置６５と、ＣＰＵ６６と、ネットワーク接続装置６７とを有し、これらはシステムバスＢで相互に接続されている。
入力装置６１は、ユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。
出力装置６２は、本実施形態における処理を行うためのコンピュータ本体（サーバ１２）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置６２は、ＣＰＵ６６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。
ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体６８等により提供される。記録媒体６８は、ドライブ装置６３にセット可能である。ＣＰＵ６６からの制御信号に基づき、記録媒体６８に格納された実行プログラムが、記録媒体６８からドライブ装置６３を介して補助記憶装置６４にインストールされる。
補助記憶装置６４は、例えばＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ（ＨＤＤ）やＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ（ＳＳＤ）等のストレージ手段等である。補助記憶装置６４は、ＣＰＵ６６からの制御信号に基づき、本実施形態における実行プログラム（画面生成プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置６４は、ＣＰＵ６６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。
主記憶装置６５は、ＣＰＵ６６により補助記憶装置６４から読み出された実行プログラム等を格納する。主記憶装置６５は、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）やＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等である。
ＣＰＵ６６は、Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ（ＯＳ）等の制御プログラム、及び主記憶装置６５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置６４から取得することができ、また実行結果等を格納することもできる。
具体的には、ＣＰＵ６６は、例えば入力装置６１から得られるプログラムの実行指示等に基づき、補助記憶装置６４にインストールされたプログラムを実行させることにより、主記憶装置６５上でプログラムに対応する処理を行う。例えば、ＣＰＵ６６は、画面生成プログラムを実行させることで、通信部５１による各種情報の送受信、表示部５３による合成画像の表示、取得部５４による取得、合成部５５による画像合成、画面生成部５６による画面生成等の処理を行う。ＣＰＵ６６における処理内容は、これに限定されるものではない。ＣＰＵ６６により実行された内容は、必要に応じて補助記憶装置６４等に記憶される。
ネットワーク接続装置６７は、上述した通信ネットワーク１３を介して、端末１１や他の外部装置との通信を行う。ネットワーク接続装置６７は、ＣＰＵ６６からの制御信号に基づき、通信ネットワーク１３等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、ネットワーク接続装置６７は、プログラムを実行することで得られた実行結果を端末１１等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。
記録媒体６８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体６８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。
図４に示すハードウェア構成に実行プログラム（例えば、画面生成プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における画面生成処理等を実現することができる。
＜データ例＞
次に、本実施形態における端末制御処理又は画像生成処理で使用されるデータ例について、図を用いて説明する。図６は、ＡＲマーカＤＢの一例を示す図である。図６に示すＡＲマーカＤＢの項目としては、例えば「ＡＲマーカＩＤ」、「ＡＲマーカパターン」等があるが、これに限定されるものではない。ＡＲマーカＩＤは、ＡＲマーカを識別するための識別情報である。ＡＲマーカパターンは、撮像部２２で撮影された画像中にＡＲマーカが存在するか否かを認識する処理において、基準となるマーカパターン（模様や形状）等が記憶される。マーカパターンは、ＩＤ毎に異なるパターンであってよく、また１つのＩＤに対して複数のマーカパターンが存在してもよい。
図６の例では、正面から見た予め設定された基準サイズのマーカパターンが記憶されており、この画像との撮影されたＡＲマーカとの比較により、歪みの検知等を行う。例えば、制御部２９は、必要に応じて向きや角度、大きさ等の制御（補正）を行ってもよい。
また、本実施形態におけるＡＲマーカＤＢは、ＡＲマーカに限定されるものではなく、例えば実物体等の他の基準物に対し、その特徴情報に対応した識別情報（ＩＤ）が管理されていてもよい。
図７は、ＡＲコンテンツＤＢの一例を示す図である。図７に示すＡＲコンテンツＤＢの項目としては、例えば「ＡＲコンテンツＩＤ」、「ＡＲコンテンツ」、「ＡＲマーカＩＤ」、「ＡＲマーカからの相対座標」等があるが、これに限定されるものではない。
「ＡＲコンテンツＩＤ」は、画面に重畳表示するＡＲコンテンツを識別するための識別情報である。「ＡＲコンテンツ」は、ＡＲコンテンツの画像（動画像、静止画像）、テキスト情報等が記憶される。なお、ＡＲコンテンツは、実体データでもよく、テクスチャパスでもよい。テクスチャパスとは、ＡＲコンテンツＩＤに対応するＡＲコンテンツの格納先情報である。例えば、「ｈｔｔｐ：／／ｘｘｘ．ｐｎｇ」のように、サーバ１２やサーバ１２以外の装置等のアドレス情報でもよく、フォルダ等の格納先でもよいが、これに限定されるものではない。また、テクスチャパスには、ＡＲコンテンツに対応する画像データや映像データ、テキストデータ等の情報（ファイル名）が直接格納されていてもよい。
「ＡＲマーカＩＤ」は、ＡＲマーカＤＢのＡＲマーカＩＤに関連付けられている。「ＡＲマーカＩＤ」は、ＡＲコンテンツに対応したＡＲマーカの識別情報である。本実施形態では、ＡＲコンテンツＩＤと、ＡＲマーカＩＤとが１対１で設定されていてもよく、１対ｎ、ｎ対１の関係で設定されていてもよい。図７の例では、マーカＩＤ「ＡＲＩＤ１」に対して、複数のＡＲコンテンツＩＤ「ＯＢＪＩＤ１」、「ＯＢＪＩＤ２」が設定されている。
「ＡＲマーカからの相対座標」は、ＡＲコンテンツを表示する際に、ＡＲマーカの位置を基準に、どの方向にどのくらい離れた位置に表示するか示す情報が記憶される。「ＡＲマーカからの相対座標Ｍは、例えば上述した「座標値」、「回転角度」、「拡縮率」等のうち、少なくとも１つである。「座標値」は、ＡＲコンテンツを表示する二次元又は三次元位置情報である。「座標値」は、例えば端末１１の位置情報や向き情報等に基づいて設定するこができる。
また、本実施形態における端末制御処理又は画像生成処理で使用されるデータ例については、上述した例に限定されるものではなく、例えば画面上で固定しているＡＲマーカＩＤ一覧やＡＲコンテンツＩＤ一覧等のデータを使用してもよい。また、上述したデータ例は、端末１１が有していてもよく、サーバ１２が有していてもよい。端末１１は、サーバ１２が管理するデータをダウンロードすることもでき、サーバ１２へアップロードすることもできる。
＜本実施形態における処理概要＞
次に、本実施形態における処理概要について、図を用いて説明する。図８は、本実施形態における処理概要を説明するための図である。本実施形態では、例えばＨＭＤ等の処理性能（スペック）があまり高くない端末１１等の場合に、画像合成をした上で画像を遠隔支援者のサーバ１２へ送信すると、撮像部２２の一例であるカメラのフレームレート（ｆｐｓ；ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ）が低くなってしまい滑らかな画面共有が実現できない。その原因としては、端末１１での画像合成処理に時間がかかると共に、サーバ１２に通信するデータ量が回線速度に比べて大きい等がある。
そこで、本実施形態では、図８の例に示すように、端末１１で画像合成を行わずにサーバ１２側で画像合成する。具体的には、端末１１からサーバ１２に対して送信するデータ７０は、カメラ画像（撮像画像）７１と端末１１でカメラ画像７１から検出したＡＲマーカ情報（ＡＲマーカＩＤとカメラ画像上での位置）７２とする。また、本実施形態では、サーバ１２側でＡＲマーカ情報からＡＲコンテンツ７３を取得し、カメラ画像と合成した合成画像７４を生成して、画面に表示する。このように、サーバ１２側で画像合成することで処理時間を短縮し、かつ、データ送信量を削減することで、遠隔支援者への滑らかな画面共有を実現することができる。また、画像合成した後にサーバ１２に通信した場合の通信時の画像劣化が発生しない。
また、本実施形態では、ＡＲコンテンツが表示されている状態でＡＲコンテンツのみをカメラ画像上の固定位置に停止する場合の遠隔支援時の処理について、停止（固定）時にサーバ１２でＡＲコンテンツをキャッシュしておく。停止状態の場合は、サーバ１２側での合成処理時に、サーバ側で保持しておいた停止前の直前のＡＲコンテンツをカメラ画像と合成して表示する。サーバ１２側で保存しておいた停止前の直前のＡＲコンテンツをカメラ画像と合成ことで、ＡＲマーカ情報からＡＲコンテンツを取得する処理を省略することができ、合成画像を生成して表示するまでの処理時間を短縮することができる。
これにより、例えばＨＭＤ等の低スペックの端末１１との連携も可能となり、遠隔支援者は、現場のカメラ画像だけでなく、ＡＲコンテンツとの共有も可能となる。したが現場の作業員又は遠隔支援者の何れもがて、ＡＲコンテンツを利用でき、端末１１側では、可能な限り既存の処理以外の追加処理を実施しないようにすることができる。
＜端末制御処理及び画像生成処理の一例＞
次に、本実施形態における端末１１の端末制御処理及びサーバ１２の画像生成処理の一例について、フローチャート等を用いて説明する。なお、以下に示す各実施例では、端末１１側での処理と、端末１１側の処理に対応するサーバ１２側での処理とをそれぞれ説明する。
＜第１実施例＞
図９は、第１実施例における端末側の端末制御処理の一例を示すフローチャートである。図９の例において、端末１１は、カメラ（撮像部２２）で対象の領域を撮像し（Ｓ０１）、撮像したカメラ画像（撮像画像）を表示部２４の画面に表示する（Ｓ０２）。
次に、端末１１の検出部２５は、表示部２４に表示しているカメラ画像から一又は複数のＡＲマーカ（カメラ画像に含まれるＡＲマーカの画像）を検出しているか否かを判断する（Ｓ０３）。検出部２５は、ＡＲマーカを検出している場合（Ｓ０３において、ＹＥＳ）、検出したＡＲマーカＩＤに停止（固定）状態でないものが存在するか否かを判断する（Ｓ０４）。停止状態とは、後述するように、ユーザによる端末１１への操作等により、画面表示中のＡＲコンテンツの表示を停止する指示がなされているか（解除されていないか）を判断するものである。
停止状態でないものが存在する場合（Ｓ０４において、ＹＥＳ）、停止していないＡＲマーカ情報（例えば、ＡＲマーカＩＤ及び位置情報等）とカメラ画像をサーバ１２に送る（Ｓ０５）。なお、Ｓ０５の処理では、ＡＲマーカ情報ではなく、ＡＲマーカＩＤに対応付けられた一又は複数のＡＲコンテンツＩＤを取得し、取得したＡＲコンテンツＩＤ及び位置情報をサーバ１２に送信してもよい。この場合、位置情報は、ＡＲコンテンツの画面上の位置座標でもよく、ＡＲマーカの位置情報でもよく、ＡＲマーカの位置情報を基準にした相対位置座標等でもよい。
次に、取得部２６は、ＡＲマーカ情報から一又は複数のＡＲコンテンツを取得する（Ｓ０６）。次に、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断し（Ｓ０７）、はみ出していない場合（Ｓ０７において、ＮＯ）、ＡＲコンテンツをカメラ画像に重畳表示する（Ｓ０８）。
また、Ｓ０３の処理において、ＡＲマーカを検出していない場合（Ｓ０３において、ＮＯ）、Ｓ０４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在しない場合（Ｓ０４において、ＮＯ）、カメラ画像をサーバ１２に送信する（Ｓ０９）。なお、Ｓ０４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在しない場合とは、全てのＡＲマーカＩＤに対応するＡＲコンテンツが停止状態であり、全てのＡＲコンテンツがすでにカメラ画像に対して固定で重畳表示されている状態を示している。
また、Ｓ０７の処理において、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出している場合（Ｓ０７において、ＹＥＳ）、すなわちＡＲコンテンツの表示位置がカメラ画像上の位置にない場合、Ｓ０８の処理後、又はＳ０９の処理後、処理を終了する。
図１０は、第１実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。図１０の例において、サーバ１２の通信部５１は、端末１１から送信された情報を取得し（Ｓ１１）、端末１１から送信された情報が、カメラ画像のみか否かを判断する（Ｓ１２）。カメラ画像のみでない場合（Ｓ１２において、ＮＯ）、取得部５４は、停止していないＡＲマーカ情報から一又は複数のＡＲコンテンツを取得する（Ｓ１３）。なお、Ｓ１３の処理では、例えば端末１１からＡＲコンテンツＩＤを受信した場合には、ＡＲコンテンツＩＤに対応付けられた一又は複数のＡＲコンテンツを取得してもよい。
また、合成部５５は、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断する（Ｓ１４）。はみ出していない場合（Ｓ１４において、ＹＥＳ）、合成部５５は、ＡＲコンテンツとカメラ画像とを合成する（Ｓ１５）。
また、Ｓ１２の処理において、端末１１から送信された情報がカメラ画像のみである場合（Ｓ１２において、ＹＥＳ）、Ｓ１４の処理において、取得したＡＲコンテンツの表示位置が、カメラ画像からはみ出している場合（Ｓ１４において、ＹＥＳ）、又はＳ１５の処理後、記憶部５２等にキャッシュしたＡＲコンテンツが存在するか否かを判断する（Ｓ１６）。記憶部５２等にキャッシュしたＡＲコンテンツが存在する場合（Ｓ１６において、ＹＥＳ）、合成部５５は、キャッシュしたＡＲコンテンツとカメラ画像とを合成する（Ｓ１７）。また、Ｓ１６の処理において、キャッシュしたＡＲコンテンツが存在しない場合（Ｓ１６において、ＮＯ）、又はＳ１７の処理後、画像を表示部５３等に表示して（Ｓ１８）、処理を終了する。
＜第２実施例＞
次に、第２実施例についてフローチャートを用いて説明する。第２実施例では、第１実施例の状態から画面上のＡＲコンテンツを停止（固定）する（新たに停止する）例について、図を用いて説明する。
図１１は、第２実施例における端末側の端末制御処理の一例を示すフローチャートである。図１１の例において、Ｓ２１〜Ｓ２４は、上述した第１実施例におけるＳ０１〜Ｓ０４と同様の処理を行うため、ここでの具体的な説明は省略する。Ｓ２４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在する場合（Ｓ２４において、ＹＥＳ）、表示制御部２８は、ＡＲコンテンツを指定して停止ボタンが押されたことを受け付ける（Ｓ２５）。次に、表示制御部２８は、停止するＡＲマーカＩＤを停止したＡＲマーカＩＤ一覧（例えば、リスト情報等）として記憶部２３等に記録する（Ｓ２６）。
次に、停止するＡＲマーカ情報と停止していないＡＲマーカ情報とカメラ画像とをサーバ１２に送る（Ｓ２７）。なお、Ｓ２７の処理については、ＡＲマーカ情報ではなく、ＡＲマーカ情報から取得したＡＲコンテンツＩＤ等でもよい。次に、取得部２６は、ＡＲマーカ情報からＡＲコンテンツを取得する（Ｓ２８）。
次に、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断し（Ｓ２９）、はみ出していない場合（Ｓ２９において、ＮＯ）、ＡＲコンテンツをカメラ画像に重畳表示する（Ｓ３０）。また、Ｓ２３の処理において、ＡＲマーカを検出していない場合（Ｓ２３において、ＮＯ）、Ｓ２４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在する場合（Ｓ２４において、ＮＯ）、カメラ画像をサーバ１２に送信する（Ｓ３１）。なお、Ｓ２４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在しない場合とは、全てのＡＲマーカＩＤに対応するＡＲコンテンツが停止状態であり、全てのＡＲコンテンツがすでにカメラ画像に対して固定で重畳表示されている状態を示している。
また、Ｓ２９の処理において、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出している場合（Ｓ２９において、ＹＥＳ）、すなわちＡＲコンテンツの表示位置がカメラ画像上の位置にない場合、Ｓ３０の処理後、又はＳ３１の処理後、処理を終了する。
図１２は、第２実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。図１２の例において、Ｓ４１〜Ｓ４２は、上述した第１実施例におけるＳ１１〜Ｓ１２と同様の処理を行うため、ここでの具体的な説明は省略する。Ｓ４２の処理において、カメラ画像のみの場合（Ｓ４２において、ＮＯ）、取得部５４は、ＡＲマーカ情報から一又は複数のＡＲコンテンツを取得し（Ｓ４３）、停止するＡＲコンテンツをキャッシュする（Ｓ４４）。なお、Ｓ４３の処理では、ＡＲマーカ情報ではなく、ＡＲコンテンツＩＤ等からＡＲコンテンツを取得してもよい。また、Ｓ４４の処理では、ＡＲコンテンツの位置情報もキャッシュされる。
また、図１２の例において、Ｓ４５〜Ｓ４９は、上述した第１実施例におけるＳ１４〜Ｓ１８と同様の処理を行うため、ここでの具体的な説明は省略する。
＜第３実施例＞
次に、第３実施例についてフローチャートを用いて説明する。第３実施例では、第２実施例において設定したＡＲコンテンツの停止を解除する（新たに解除する）例を示す。
図１３は、第３実施例における端末側の端末制御処理の一例を示すフローチャートである。図１３の例において、Ｓ５１〜Ｓ５４は、上述した第１実施例におけるＳ０１〜Ｓ０４と同様の処理を行うため、ここでの具体的な説明は省略する。Ｓ５４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在する場合（Ｓ５４において、ＹＥＳ）、ＡＲコンテンツを指定して停止解除ボタンが押されたことを受け付ける（Ｓ５５）。次に、検出部２５は、記憶部２３から、停止を解除するＡＲマーカＩＤを停止したＡＲマーカＩＤ一覧から削除する（Ｓ５６）。また、停止を解除するＡＲマーカ情報と停止していないＡＲマーカ情報とカメラ画像とをサーバ１２に送る（Ｓ５７）。
次に、取得部２６は、ＡＲマーカ情報から一又は複数のＡＲコンテンツを取得する（Ｓ５８）。次に、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断し（Ｓ５９）、はみ出していない場合（Ｓ５９において、ＮＯ）、ＡＲコンテンツをカメラ画像に重畳表示する（Ｓ６０）。
また、Ｓ５３の処理において、ＡＲマーカを検出していない場合（Ｓ５３において、ＮＯ）、Ｓ５４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在する場合（Ｓ５４において、ＮＯ）、ＡＲコンテンツを指定して停止解除ボタンが押されたことを受け付ける（Ｓ６１）。なお、Ｓ５４の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在しない場合とは、全てのＡＲマーカＩＤに対応するＡＲコンテンツが停止状態であり、全てのＡＲコンテンツがすでにカメラ画像に対して固定で重畳表示されている状態を示している。
次に、検出部２５は、記憶部２３から、停止を解除するＡＲマーカＩＤを停止したＡＲマーカＩＤ一覧から削除する（Ｓ６２）。また、停止を解除するＡＲマーカ情報とカメラ画像とをサーバ１２に送る（Ｓ６３）。
また、Ｓ５９の処理において、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出している場合（Ｓ５９において、ＹＥＳ）、すなわちＡＲコンテンツの表示位置がカメラ画像上の位置にない場合、Ｓ６０の処理後、又はＳ６３の処理後、処理を終了する。
図１４は、第３実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。図１４の例において、サーバ１２の通信部５１は、端末１１から送信された情報を取得し（Ｓ７１）、停止を解除するＡＲコンテンツのキャッシュを削除する（Ｓ７２）。次に、端末１１から送信された情報に、停止を解除した又は停止していないＡＲマーカ情報を含むか否かを判断し（Ｓ７３）、停止を解除した又は停止していないＡＲマーカ情報を含む場合（Ｓ７３において、ＹＥＳ）、ＡＲマーカ情報から一又は複数のＡＲコンテンツを取得する（Ｓ７４）。次に、合成部５５は、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断する（Ｓ７５）。はみ出していない場合（Ｓ７５において、ＮＯ）、合成部５５は、ＡＲコンテンツとカメラ画像とを合成する（Ｓ７６）。
次に、キャッシュしたＡＲコンテンツが存在するか否かを判断し（Ｓ７７）、キャッシュしたＡＲコンテンツが存在する場合（Ｓ７８において、ＹＥＳ）、合成部５５は、キャッシュしたＡＲコンテンツとカメラ画像とを合成する（Ｓ７８）。
次に、Ｓ７８の処理後、Ｓ７３の処理において、端末１１から送信された情報に、停止を解除した又は停止していないＡＲマーカ情報を含まない場合（Ｓ７３において、ＮＯ）、Ｓ７５の処理において、ＡＲコンテンツの表示位置がカメラ画像からはみ出している場合（Ｓ７５において、ＹＥＳ）、Ｓ７７の処理において、キャッシュしたＡＲコンテンツが存在しない場合（Ｓ７７において、ＮＯ）、画像を表示部５３に表示して（Ｓ７９）、処理を終了する。
ここで、図１５は、ＡＲコンテンツの停止状態及び停止解除状態を説明するための図である。上述した第２実施例では、例えば図１５（Ａ）に示すように、ユーザ８０が操作する端末１１の画面８１−１に表示されている撮像画像中には、現実空間上の物体８２−１（物体Ａ），物体８２−２（物体Ｂ）が表示されている。また、撮像画像には、ＡＲマーカ８３の画像が含まれており、ＡＲマーカ８３に対応するＡＲコンテンツ８４が表示されている。ＡＲコンテンツ８４は、マニュアルに関するＡＲコンテンツであるが、これに限定されるものではない。また、画面生成部２７は、画面８１−１上に停止ボタン８５を生成している。なお、停止ボタン８５の位置や大きさ等については、図１５（Ａ）の例に限定されるものではない。
ここで、本実施形態では、ＡＲマーカ８３を認識してＡＲコンテンツ８４を表示した後に、そのＡＲコンテンツ８４を参照しながらＡＲマーカ８３が画面に映らない（撮像画像から検出されない）位置に移動する際、表示制御部２８等によるＡＲコンテンツ８４の固定（提示）表示制御を行う。
例えば、図１５（Ａ）の状態からユーザ８０が、物体８２−２（物体Ｂ）の位置に移動してＡＲコンテンツ８４のマニュアルを見ながら作業したいと思った場合、画面８１−１上の画面生成部２７が生成した停止ボタン８５を押下する。
このとき、ＡＲコンテンツ８４が複数表示されている場合に、停止するＡＲコンテンツの表示領域をタッチすることで、対象のＡＲコンテンツ８４を選択してもよい。また、ＡＲマーカ８３が複数表示されている場合に、停止するＡＲマーカ８３の表示領域をタッチすることで、タッチしたＡＲマーカ８３に対応付けられたＡＲコンテンツ８４を選択してもよい。
これにより、図１５（Ｂ）に示すように、ＡＲコンテンツ８４を停止（固定）することで、ＡＲマーカ８３が検出できない場所へ端末１１を移動させても、物体８２−２（物体Ｂ）の近くまで移動してマニュアル（ＡＲコンテンツ８４）を見ながら作業ができる。もし、他のＡＲマーカ等が移動中の撮影が画像から検出されれば、対象のＡＲコンテンツが表示されるが、そのＡＲコンテンツは、停止されずに表示される。
また、ユーザ８０は、固定表示されたＡＲコンテンツ８４に対して、図１５（Ｂ）に示すように、画面８１−２に設けられた停止解除ボタン８６を選択することで、ＡＲコンテンツ８４の停止（固定）表示は解除される。なお、停止解除ボタン８６の位置や大きさ等については、図１５（Ｂ）の例に限定されるものではない。解除された状態において、画面８１−２に表示されている撮像画像には、ＡＲマーカ８３が表示されていないため、ＡＲコンテンツ８４は、表示されなくなる。
上述したＡＲコンテンツの停止状態及び停止解除状態を、端末１１では重畳表示により画面に表示し、サーバ１２では合成画像により画面に表示する。なお、上述した停止ボタン８５は、画面８１−１上の停止していない全てのＡＲコンテンツ又はＡＲマーカに対して一括で停止させる停止ボタンを設けていてもよく、そのボタンが押下された場合には、全てのＡＲコンテンツを容易に停止させることができる。
＜第４実施例＞
次に、第４実施例についてフローチャートを用いて説明する。第４実施例では、ＡＲコンテンツを一括で停止する例を示す。図１６は、第４実施例における端末側の端末制御処理の一例を示すフローチャートである。図１６の例において、端末１１は、カメラ（撮像部２２）で対象の領域を撮像し（Ｓ８１）、撮像したカメラ画像を表示部２４の画面に表示する（Ｓ８２）。
次に、ユーザ操作等により画面から全てを停止するボタンが押されたことを受け付けると（Ｓ８３）、端末１１の検出部２５は、表示部２４に表示しているカメラ画像からＡＲマーカ（カメラ画像に含まれるＡＲマーカの画像）を検出しているか否かを判断する（Ｓ８４）。検出部２５は、ＡＲマーカを検出している場合（Ｓ８４において、ＹＥＳ）、Ｓ８３の処理で全てを停止するボタンが押される前の段階で、検出したＡＲマーカＩＤに停止状態でないものが存在するか否かを判断する（Ｓ８５）。
停止状態でないものが存在する場合（Ｓ８５において、ＹＥＳ）、取得部２６は、停止していないＡＲマーカ情報に対して全てを停止する旨とカメラ画像とをサーバ１２に送る（Ｓ８６）。
また、Ｓ８４の処理において、ＡＲマーカを検出していない場合（Ｓ８４において、ＮＯ）、Ｓ８５の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在する場合（Ｓ８５において、ＮＯ）、検出部２５は、カメラ画像をサーバ１２に送る（Ｓ８７）。なお、Ｓ８５の処理において、検出したＡＲマーカＩＤに停止状態でないものが存在しない場合とは、全てのＡＲマーカＩＤに対応するＡＲコンテンツが停止状態であり、全てのＡＲコンテンツがすでにカメラ画像に対して固定で重畳表示されている状態を示している。また、Ｓ８６の処理においても、全てのＡＲマーカＩＤに対応するＡＲコンテンツが停止状態となるため、全てのＡＲコンテンツがすでにカメラ画像に対して固定で重畳表示されている状態を示している。
図１７は、第４実施例におけるサーバ側の画面生成処理の一例を示すフローチャートである。図１７の例において、Ｓ９１〜Ｓ９３は、上述した第１実施例におけるＳ１１〜Ｓ１３と同様の処理を行うため、ここでの具体的な説明は省略する。Ｓ９３の処理において、停止していないＡＲマーカ情報からＡＲコンテンツを取得した後、全停止であるため、全てのＡＲコンテンツをキャッシュする（Ｓ９４）。Ｓ９４の処理では、ＡＲコンテンツの位置情報もキャッシュされる。
次に、合成部５５は、取得したＡＲコンテンツの表示位置がカメラ画像からはみ出しているか否かを判断する（Ｓ９５）。はみ出していない場合（Ｓ９５において、ＹＥＳ）、合成部５５は、ＡＲコンテンツとカメラ画像とを合成する（Ｓ９６）。
また、Ｓ９２の処理において、端末１１から送信された情報が、カメラ画像のみである場合（Ｓ９２において、ＹＥＳ）、Ｓ９５の処理において、ＡＲコンテンツの表示位置が、カメラ画像からはみ出している場合（Ｓ９５において、ＹＥＳ）、又はＳ９６の処理後、記憶部５２等にキャッシュしたＡＲコンテンツが存在するか否かを判断する（Ｓ９７）。記憶部５２等にキャッシュしたＡＲコンテンツが存在する場合（Ｓ９７において、ＹＥＳ）、合成部５５は、キャッシュしたＡＲコンテンツとカメラ画像とを合成する（Ｓ９８）。また、Ｓ９７の処理において、キャッシュしたＡＲコンテンツが存在しない場合（Ｓ９７において、ＮＯ）、又はＳ９８の処理後、画像を表示部５３に表示して（Ｓ９９）、処理を終了する。
なお、第４実施例では、全てのＡＲコンテンツを停止したが、これに限定されるものではなく、画像そのものを固定してもよい。また、固定を解除する場合には、第３実施例に示すように、解除用のボタン等を選択することで、固定表示を解除することができる。
上述したように、本実施形態によれば、端末の処理負荷を軽減することができる。例えば、ＡＲ動画を遠隔支援者と共有する場合に、ＡＲコンテンツを表示する端末の性能（スペック）があまり高くなくても滑らかな画面を共有することができる。
例えば、本実施形態では、端末でＡＲコンテンツとカメラ画像とを合成するのではなく、端末からＡＲマーカ情報とカメラ画像を送信し、サーバ側でＡＲコンテンツをカメラ画像とを合成することで処理を高速化することができる。また、ＡＲマーカが検出されていない場合やＡＲコンテンツが画像外にある場合には、ＡＲコンテンツとカメラ画像との合成処理を実施しないようにすることができる。また、ＡＲマーカやカメラ画像の停止時は、サーバ１２でキャッシュしておいた画像を使用することもできる。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、上述した実施例の一部又は全部を組み合わせることも可能である。
なお、以上の実施例に関し、更に以下の付記を開示する。
（付記１）
撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、
処理をコンピュータが実行することを特徴とする端末制御方法。
（付記２）
前記撮像画像を表示する画面において、前記コンテンツを表示する位置を固定させる操作を受け付けた場合、前記操作を受け付けたことに対応する情報を前記情報処理装置に送信する、ことを特徴とする付記１に記載の端末制御方法。
（付記３）
前記コンテンツを表示する位置を固定させる操作は、前記表示画面に表示された一又は複数の基準物又はコンテンツに対して設定できることを特徴とする付記２に記載の端末制御方法。
（付記４）
前記撮像画像を表示する表示画面における、前記コンテンツを表示する位置の固定を解除する操作を受け付けた場合、前記操作を受け付けたことに対応する情報を前記情報処理装置に送信する、ことを特徴とする請求項２に記載の端末制御方法。
（付記５）
端末から送信された撮像画像と、基準物に対応する識別情報と、該基準物の位置情報とを受信し、
受信した前記識別情報に対応するコンテンツを取得し、
取得した前記コンテンツを前記撮像画像と合成した画像を生成する、
ことを特徴とする画像生成方法。
（付記６）
前記識別情報及び前記位置情報が前記端末から送られない場合、又は、前記識別情報に対応する前記コンテンツが撮像画像上の位置にない場合は、前記合成した画像を生成しないことを特徴とする付記５に記載の画像生成方法。
（付記７）
前記端末でコンテンツを表示する位置を固定する操作が行われた場合、固定前に画面に生成されている前記コンテンツを、前記固定する操作後に取得した撮像画像と合成することを特徴とする付記５又は６に記載の画像生成方法。
（付記８）
撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、
処理をコンピュータに実行させるための端末制御プログラム。
（付記９）
撮像画像中に基準物の画像が含まれることを検出する検出部と、
前記検出部により検出された前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する通信部とを有することを特徴とする端末。
１０ 情報処理システム
１１ 端末
１２ サーバ（情報処理装置）
１３ 通信ネットワーク
２１ 通信部
２２ 撮像部
２３，５２ 記憶部
２４ 表示部
２５ 検出部
２６，５４ 取得部
２７，５６ 画面生成部
２８ 表示制御部
２９，５７ 制御部
３１ マイク
３２ スピーカ
３３，５３ 表示部
３４ 操作部
３５ センサ部
３６ 電力部
３７ 無線部
３８ 近距離通信部
３９，６４ 補助記憶装置
４０，６５ 主記憶装置
４１，６６ ＣＰＵ
４２，６３ ドライブ装置
４３，６８ 記録媒体
５１ 通信部
５５ 合成部
６１ 入力装置
６２ 出力装置
６７ ネットワーク接続装置
７０ データ
７１ カメラ画像（撮像画像）
７２ ＡＲマーカ情報
７３，８４ ＡＲコンテンツ
７４ 合成画像
８０ ユーザ
８１ 画面
８２ 物体
８３ ＡＲマーカ
８５ 停止ボタン
８６ 停止解除ボタン

Claims (8)

  1. 撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、
    処理をコンピュータが実行することを特徴とする端末制御方法。
  2. 前記撮像画像を表示する画面において、前記コンテンツを表示する位置を固定させる操作を受け付けた場合、前記操作を受け付けたことに対応する情報を前記情報処理装置に送信する、ことを特徴とする請求項１に記載の端末制御方法。
  3. 前記撮像画像を表示する表示画面における、前記コンテンツを表示する位置の固定を解除する操作を受け付けた場合、前記操作を受け付けたことに対応する情報を前記情報処理装置に送信する、ことを特徴とする請求項２に記載の端末制御方法。
  4. 端末から送信された撮像画像と、基準物に対応する識別情報と、該基準物の位置情報とを受信し、
    受信した前記識別情報に対応するコンテンツを取得し、
    取得した前記コンテンツを前記撮像画像と合成した画像を生成する、
    ことを特徴とする画像生成方法。
  5. 前記識別情報及び前記位置情報が前記端末から送られない場合、又は、前記識別情報に対応する前記コンテンツが撮像画像上の位置にない場合は、前記合成した画像を生成しないことを特徴とする請求項４に記載の画像生成方法。
  6. 前記端末でコンテンツを表示する位置を固定する操作が行われた場合、固定前に画面に生成されている前記コンテンツを、前記固定する操作後に取得した撮像画像と合成することを特徴とする請求項４又は５に記載の画像生成方法。
  7. 撮像画像中に基準物の画像が含まれることを検出すると、前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する、
    処理をコンピュータに実行させるための端末制御プログラム。
  8. 撮像画像中に基準物の画像が含まれることを検出する検出部と、
    前記検出部により検出された前記基準物の識別情報又は前記基準物に対応付けて記憶されたコンテンツの識別情報と、前記撮像画像内における、前記基準物又は前記コンテンツの位置情報と、前記撮像画像とを、前記識別情報に対応付けて記憶されたコンテンツを前記位置情報に基づいて前記撮像画像に合成する情報処理装置に送信する通信部とを有することを特徴とする端末。
JP2015133643A 2015-07-02 2015-07-02 端末制御方法、画像生成方法、端末制御プログラム、及び端末 Pending JP2017016466A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015133643A JP2017016466A (ja) 2015-07-02 2015-07-02 端末制御方法、画像生成方法、端末制御プログラム、及び端末
US15/195,435 US10163266B2 (en) 2015-07-02 2016-06-28 Terminal control method, image generating method, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015133643A JP2017016466A (ja) 2015-07-02 2015-07-02 端末制御方法、画像生成方法、端末制御プログラム、及び端末

Publications (1)

Publication Number Publication Date
JP2017016466A true JP2017016466A (ja) 2017-01-19

Family

ID=57683260

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015133643A Pending JP2017016466A (ja) 2015-07-02 2015-07-02 端末制御方法、画像生成方法、端末制御プログラム、及び端末

Country Status (2)

Country Link
US (1) US10163266B2 (ja)
JP (1) JP2017016466A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019114135A (ja) * 2017-12-25 2019-07-11 凸版印刷株式会社 拡張現実（ａｒ）映像の現実感を向上するａｒ情報表示方法及びプログラム
KR200489627Y1 (ko) * 2019-06-11 2019-07-12 황영진 증강현실을 이용한 멀티플레이 교육 시스템
JP2021051498A (ja) * 2019-09-24 2021-04-01 東芝テック株式会社 情報処理システム、情報処理装置及びプログラム
WO2021172137A1 (ja) * 2020-02-28 2021-09-02 株式会社Ｎｔｔドコモ コンテンツ共有システム及び端末

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
US10503977B2 (en) * 2015-09-18 2019-12-10 Hewlett-Packard Development Company, L.P. Displaying augmented images via paired devices
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US11056022B1 (en) * 2016-11-29 2021-07-06 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
US10748450B1 (en) * 2016-11-29 2020-08-18 Sproutel, Inc. System, apparatus, and method for creating an interactive augmented reality experience to simulate medical procedures for pediatric disease education
CN107038408A (zh) 2017-01-11 2017-08-11 阿里巴巴集团控股有限公司 基于增强现实的图像识别方法及装置
US20190236844A1 (en) * 2018-02-01 2019-08-01 Isg Central Services Limited Augmented reality system
US10645092B1 (en) * 2019-01-03 2020-05-05 Truly Social Games Llc Control and/or verification of interactions of an augmented reality deployment
US11277574B1 (en) * 2020-04-01 2022-03-15 Sunrise R&D Holdings, Llc Methods and systems for mapping camera location and selecting a desired view in a video management system
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2011107893A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014203377A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 画像処理装置および記憶媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5765019B2 (ja) * 2011-03-31 2015-08-19 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
JP2012215989A (ja) 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1051711A (ja) * 1996-08-05 1998-02-20 Sony Corp ３次元仮想物体表示装置および方法
JP2011010126A (ja) * 2009-06-26 2011-01-13 Canon Inc 画像処理装置、画像処理方法
JP2011107893A (ja) * 2009-11-16 2011-06-02 Sony Corp 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2013092964A (ja) * 2011-10-27 2013-05-16 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP2014203377A (ja) * 2013-04-09 2014-10-27 ソニー株式会社 画像処理装置および記憶媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019114135A (ja) * 2017-12-25 2019-07-11 凸版印刷株式会社 拡張現実（ａｒ）映像の現実感を向上するａｒ情報表示方法及びプログラム
JP7172034B2 (ja) 2017-12-25 2022-11-16 凸版印刷株式会社 拡張現実（ａｒ）映像の現実感を向上するａｒ情報表示方法及びプログラム
KR200489627Y1 (ko) * 2019-06-11 2019-07-12 황영진 증강현실을 이용한 멀티플레이 교육 시스템
JP2021051498A (ja) * 2019-09-24 2021-04-01 東芝テック株式会社 情報処理システム、情報処理装置及びプログラム
WO2021172137A1 (ja) * 2020-02-28 2021-09-02 株式会社Ｎｔｔドコモ コンテンツ共有システム及び端末

Also Published As

Publication number Publication date
US20170004382A1 (en) 2017-01-05
US10163266B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
JP2017016466A (ja) 端末制御方法、画像生成方法、端末制御プログラム、及び端末
WO2021018008A1 (zh) 一种投屏方法与电子设备
CN107885533B (zh) 管理组件代码的方法及装置
JP6421670B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
JP6573755B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US10319110B2 (en) Display control method and system
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
JP6244954B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6582626B2 (ja) 送信制御方法、表示端末および送信制御プログラム
US11954200B2 (en) Control information processing method and apparatus, electronic device, and storage medium
JP6217437B2 (ja) 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
CN109922356B (zh) 视频推荐方法、装置和计算机可读存储介质
JP6524706B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
CN111131531B (zh) 聊天群组中的昵称生成方法、装置及可读存储介质
JP6543924B2 (ja) 情報処理方法、情報処理プログラム、及び情報処理装置
US20160284130A1 (en) Display control method and information processing apparatus
JP2017212510A (ja) 画像管理装置、プログラム、画像管理システム及び情報端末
JP6481456B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
CN113206781A (zh) 客户端控制方法、装置、设备及存储介质
WO2022199102A1 (zh) 图像处理方法及装置
CN109033473B (zh) 图片分享方法、装置和计算机可读存储介质
JP6374203B2 (ja) 表示システム及びプログラム
CN110569064A (zh) 接口标识生成方法、装置、设备及存储介质
JP6308842B2 (ja) 表示システム及びプログラム
CN110134902A (zh) 资料信息生成方法、装置及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191126