JP2018195254A - 表示制御プログラム、表示制御装置及び表示制御方法 - Google Patents

表示制御プログラム、表示制御装置及び表示制御方法 Download PDF

Info

Publication number
JP2018195254A
JP2018195254A JP2017100919A JP2017100919A JP2018195254A JP 2018195254 A JP2018195254 A JP 2018195254A JP 2017100919 A JP2017100919 A JP 2017100919A JP 2017100919 A JP2017100919 A JP 2017100919A JP 2018195254 A JP2018195254 A JP 2018195254A
Authority
JP
Japan
Prior art keywords
information
display
acquired
unit
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017100919A
Other languages
English (en)
Inventor
修司 松本
Shuji Matsumoto
修司 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017100919A priority Critical patent/JP2018195254A/ja
Priority to US15/978,411 priority patent/US20180336696A1/en
Publication of JP2018195254A publication Critical patent/JP2018195254A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】表示情報の撮像画像上での位置を把握しやすくする。
【解決手段】表示制御プログラムであって、撮像装置により撮像された撮像画像を取得し、センサにより検出された前記撮像装置の位置及び向きを特定し、表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、処理をコンピュータに実行させる。
【選択図】図４

Description

本発明は、表示制御プログラム、表示制御装置及び表示制御方法に関する。
従来より、携帯端末の位置及び向きに応じて特定されるエリア内の位置情報に対応付けて記憶された表示情報を、携帯端末にて撮像された撮像画像上に表示するＡＲ（Augmented Reality）技術が知られている。
ＡＲ技術を用いれば、ユーザは携帯端末を所定の方向に向けて撮像するだけで、対応する表示情報（以下、ＡＲコンテンツと称す）を、撮像画像上に自動表示させることができる。このため、ユーザは、様々な場所において、それぞれの場所に応じたＡＲコンテンツを携帯端末を介して視認することができる。
特開２０１５−１３８４４５号公報
しかしながら、従来のＡＲ技術では、ＡＲコンテンツを表示する際に、撮像地点からＡＲコンテンツが位置する地点までの距離感までは考慮されていなかった。このため、例えば、撮像画像に含まれる被写体がＡＲコンテンツより手前側に位置しているにも関わらず、ＡＲコンテンツの方が手前側に表示されたり、ＡＲコンテンツが遠くに位置しているにも関わらず、大きく表示されたりするなど、ＡＲコンテンツの撮像画像上での位置が把握しにくいという問題があった。
一つの側面では、表示情報の撮像画像上での位置を把握しやすくすることを目的としている。
一態様によれば、表示制御プログラムは、
撮像装置により撮像された撮像画像を取得し、センサにより検出された前記撮像装置の位置及び向きを特定し、表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、処理をコンピュータに実行させる。
表示情報の撮像画像上での位置を把握しやすくすることができる。
ＡＲコンテンツ表示システムの全体構成の一例を示す図である。 携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第１の図である。 携帯端末のハードウェア構成の一例を示す図である。 表示制御部の機能構成の一例を示す図である。 ＡＲコンテンツ管理情報の一例を示す図である。 ＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法を示す図である。 表示制御処理の第１のフローチャートである。 携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第２の図である。 複数のＡＲコンテンツの位置関係を示す図である。 表示制御処理の第２のフローチャートである。 携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第３の図である。 被写体距離取得部による被写体距離取得範囲の一例を示す図である。 被写体距離取得部による被写体距離算出処理の一例を示す図である。
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
［第１の実施形態］
＜ＡＲコンテンツ表示システム＞
はじめに、表示情報の一例であるＡＲコンテンツを表示する携帯端末と、該携帯端末にＡＲコンテンツを提供するサーバ装置とを含むＡＲコンテンツ表示システムについて説明する。図１は、ＡＲコンテンツ表示システムの全体構成の一例を示す図である。
図１に示すように、ＡＲコンテンツ表示システム１００は、携帯端末１１０とサーバ装置１２０とを有し、携帯端末１１０とサーバ装置１２０とは、ネットワーク１３０を介して接続されている。
携帯端末１１０は、表示制御装置の一例である。第１の実施形態において携帯端末１１０には、表示制御プログラムがインストールされている。携帯端末１１０は、当該表示制御プログラムを実行することで、例えば、携帯端末１１０の撮像部の位置及び向きを特定する。そして、携帯端末１１０は、撮像部の位置及び向きに応じて特定されるエリア内の位置情報に対応付けてサーバ装置１２０に記憶されたＡＲコンテンツを、サーバ装置１２０に対して要求する。
また、携帯端末１１０は、表示制御プログラムを実行することで、サーバ装置１２０より送信されたＡＲコンテンツを記憶する。そして、携帯端末１１０は、撮像部により撮像された現実世界の撮像画像上の対応する表示位置にＡＲコンテンツを配置した画像を生成し、表示画面に表示する。
サーバ装置１２０は、携帯端末１１０からの要求に応じて携帯端末１１０に対してＡＲコンテンツを送信する装置である。サーバ装置１２０には、コンテンツ提供プログラムがインストールされており、当該プログラムが実行されることで、サーバ装置１２０はコンテンツ提供部１２１として機能する。
コンテンツ提供部１２１は、ネットワーク１３０を介して携帯端末１１０よりＡＲコンテンツ要求を受信する。ＡＲコンテンツ要求には、携帯端末１１０の撮像部の位置及び向きに応じて特定されるエリアに関する情報が含まれている。コンテンツ提供部１２１は、ＡＲコンテンツ要求に含まれるエリアに関する情報に基づいて、ＡＲコンテンツ情報ＤＢ１２２を参照する。これにより、コンテンツ提供部１２１は、各位置情報（緯度、経度、高度等の世界座標系での位置情報）に対応付けて記憶された複数のＡＲコンテンツの中から、エリア内の位置情報に対応付けて記憶されたＡＲコンテンツを取得する。そして、コンテンツ提供部１２１は、取得したＡＲコンテンツと、該ＡＲコンテンツに対応付けて記憶された位置情報とを、ＡＲコンテンツ要求の要求元である携帯端末１１０に送信する。
＜ＡＲコンテンツの表示例＞
次に、撮像された撮像画像上の対応する表示位置にＡＲコンテンツが配置された画像を表示した、携帯端末１１０の表示画面の表示例について説明する。図２は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第１の図である。
図２に示すように、携帯端末１１０の表示画面２１０に表示される画像２２０には、撮像された現実世界２００の撮像画像（例えば、被写体２４０が含まれる撮像画像）が含まれる。また、画像２２０には、ＡＲコンテンツ２３０が含まれる。なお、ＡＲコンテンツ２３０は、ＡＲコンテンツ２３０に対応付けられた位置情報（緯度、経度、高度）に対応する、撮像画像上の表示位置に配置される。
＜携帯端末のハードウェア構成＞
次に、携帯端末１１０のハードウェア構成について説明する。図３は、携帯端末のハードウェア構成の一例を示す図である。
図３に示すように、携帯端末１１０は、ＣＰＵ（Central Processing Unit）３０１、ＲＯＭ（Read Only Memory）３０２、ＲＡＭ（Random Access Memory）３０３を有する。ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３は、いわゆるコンピュータを形成する。また、携帯端末１１０は、補助記憶部３０４、通信部３０５、操作部３０６、撮像部３０７、表示部３０８、ＧＰＳ部３０９、センサ部３１０、測距部３１１を有する。なお、携帯端末１１０の各部は、バス３２０を介して相互に接続されている。
ＣＰＵ３０１は、補助記憶部３０４にインストールされた各種プログラム（例えば、表示制御プログラム）を実行する。
ＲＯＭ３０２は、不揮発性メモリである。ＲＯＭ３０２は、補助記憶部３０４にインストールされた各種プログラムをＣＰＵ３０１が実行するために必要な各種プログラム、データ等を記憶する、主記憶デバイスとして機能する。具体的には、ＲＯＭ３０２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を記憶する。
ＲＡＭ３０３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ３０３は、補助記憶部３０４にインストールされた各種プログラムがＣＰＵ３０１によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
補助記憶部３０４は、携帯端末１１０にインストールされた各種プログラムや、各種プログラムを実行する際に用いるデータ等を記憶する補助記憶デバイスである。後述するＡＲコンテンツ管理データベース（以下、ＤＢと略す）は、補助記憶部３０４において実現される。
通信部３０５は、携帯端末１１０がネットワーク１３０を介してサーバ装置１２０と通信するための通信デバイスである。操作部３０６は、ユーザが携帯端末１１０に対して各種指示を入力するための操作デバイスである。
撮像部３０７は、現実世界を撮像し撮像画像を生成する撮像デバイスである。表示部３０８は、図２で示した表示画面２１０を含み、画像２２０等を表示する。
ＧＰＳ部３０９は、ＧＰＳ（Global Positioning System）と通信することで、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を検出する。
センサ部３１０は、地磁気を検知する地磁気センサと、加速度を検知する加速度センサとを含む。センサ部３１０は、地磁気センサ及び加速度センサの検知結果に基づいて、携帯端末１１０の撮像部３０７の向きを検出する。
測距部３１１は、超音波、赤外線、レーザ等のいずれかの方法により、各被写体までの距離を測定する。あるいは、測距部３１１は、測距可能な単眼カメラであってもよい。測距可能な単眼カメラとは、例えば、レンズ開口部に所定のカラー開口フィルタを取り付け、各被写体までの距離に応じたボケと色ずれを画像解析することで、各被写体までの距離を示す距離情報を画素ごとに算出するカメラである。
＜表示制御部の機能構成＞
次に、表示制御プログラムが実行されることで携帯端末１１０にて実現される表示制御部の機能構成について説明する。図４は、表示制御部の機能構成の一例を示す図である。図４に示すように、表示制御部４００は、第１の取得部の一例である撮像画像取得部４０１と、特定部の一例である位置取得部４０２及び向き取得部４０３とを有する。また、表示制御部４００は、第２の取得部の一例であるＡＲコンテンツ取得部４０４と、第３の取得部の一例である被写体距離取得部４０５と、判定部の一例であるＡＲコンテンツ編集部４０６と、制御部の一例である画像表示部４０７とを有する。
撮像画像取得部４０１は、撮像部３０７が現実世界を撮像することで生成した撮像画像を取得し、画像表示部４０７に通知する。
位置取得部４０２は、ＧＰＳ部３０９にて検出されたに基づき、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を特定し、ＡＲコンテンツ取得部４０４に位置情報を通知する。
向き取得部４０３は、センサ部３１０にて検出された向きに基づき、携帯端末１１０の撮像部３０７の向きを特定し、ＡＲコンテンツ取得部４０４に向き情報を通知する。
ＡＲコンテンツ取得部４０４は、位置取得部４０２及び向き取得部４０３よりそれぞれ通知された、撮像部３０７の位置情報及び向き情報に応じたエリアを特定する。また、ＡＲコンテンツ取得部４０４は、特定したエリアに関する情報を含むＡＲコンテンツ要求を、サーバ装置１２０に送信する。また、ＡＲコンテンツ取得部４０４は、ＡＲコンテンツ要求を送信したことに応じてサーバ装置１２０より受信した、ＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを取得する。更に、ＡＲコンテンツ取得部４０４は、取得したＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを、ＡＲコンテンツ管理ＤＢ４１１に記憶する。
また、ＡＲコンテンツ取得部４０４は、特定したエリアに関する情報を被写体距離取得部４０５に通知するとともに、ＡＲコンテンツ管理ＤＢ４１１を参照し、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを選択する。また、ＡＲコンテンツ取得部４０４は、選択したＡＲコンテンツと該ＡＲコンテンツに対応付けて記憶された位置情報とを、ＡＲコンテンツ管理ＤＢ４１１から読み出し、ＡＲコンテンツ編集部４０６に通知する。
被写体距離取得部４０５は、エリアに含まれる各被写体までの距離を示す距離情報を、測距部３１１より取得する。また、被写体距離取得部４０５は、取得した各被写体までの距離情報を、ＡＲコンテンツ編集部４０６に通知する。
ＡＲコンテンツ編集部４０６は、ＡＲコンテンツに対応付けて記憶された位置情報に基づいて、携帯端末１１０の撮像部３０７からＡＲコンテンツまでの距離を算出する。また、ＡＲコンテンツ編集部４０６は、算出したＡＲコンテンツまでの距離情報と、被写体距離取得部４０５より通知された各被写体までの距離情報とを対比し、両者の位置関係を判定する。
更に、ＡＲコンテンツ編集部４０６は、対比の結果、撮像部３０７から見てＡＲコンテンツより手前側に位置する被写体の有無を判定し、ＡＲコンテンツを表示画面に表示するか否かを判定する。ＡＲコンテンツ編集部４０６は、手前側に位置する被写体があると判定した場合には、ＡＲコンテンツの全部または一部を表示画面２１０に表示しないと判定する。この場合、ＡＲコンテンツ編集部４０６は、当該被写体に基づいてＡＲコンテンツを編集し、編集済みのＡＲコンテンツを画像表示部４０７に通知する。
具体的には、ＡＲコンテンツ編集部４０６は、当該被写体がＡＲコンテンツの手前側に位置することで、当該被写体に隠れる（当該被写体の背後に重なる）領域を特定し、特定した領域を削除する編集を行ったうえで、編集済みのＡＲコンテンツを画像表示部４０７に通知する。
画像表示部４０７は、撮像画像取得部４０１より通知された撮像画像と、ＡＲコンテンツ編集部４０６より通知された編集済みのＡＲコンテンツとに基づいて、表示部３０８の表示画面２１０に表示される画像を生成する。画像表示部４０７は、生成した画像を表示部３０８に送信する。
＜ＡＲコンテンツ管理情報＞
次に、ＡＲコンテンツ管理ＤＢ４１１に記憶されるＡＲコンテンツ管理情報について説明する。図５は、ＡＲコンテンツ管理情報の一例を示す図である。図５に示すように、ＡＲコンテンツ管理情報５００には、情報の項目として、“番号”、“位置情報”、“コンテンツＩＤ”、“ＡＲコンテンツ”が含まれる。
“番号”には、ＡＲコンテンツ管理ＤＢ４１１に各ＡＲコンテンツが記憶される際に付された通し番号が記憶される。“位置情報”には、ＡＲコンテンツ取得部４０４が取得した、ＡＲコンテンツに対応付けられた位置情報（緯度、経度、高度）が記憶される。
“コンテンツＩＤ”には、ＡＲコンテンツを識別するための識別子が記憶される。“ＡＲコンテンツ”には、ＡＲコンテンツ取得部４０４が取得した、ＡＲコンテンツの本体データ及び属性データ（データサイズ等）が記憶される。
＜ＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法＞
次に、携帯端末１１０の撮像部３０７から見た場合のＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法について説明する。
図６は、ＡＲコンテンツと被写体との位置関係及び位置関係に基づくＡＲコンテンツの編集方法を示す図である。図６（ａ）に示すように、携帯端末１１０の撮像部３０７から見たＡＲコンテンツ２３０までの距離を示す距離情報は、ＡＲコンテンツ２３０に対応付けられた位置情報（緯度、経度、高度）と、携帯端末１１０の撮像部３０７の位置情報（緯度、経度、高度）とに基づいて算出される。
具体的には、ＡＲコンテンツ２３０に対応付けられた位置情報として、ＡＲコンテンツ取得部４０４が、緯度＝“ａ”、経度＝“ｂ”、高度＝“ｃ”を取得したとする。また、携帯端末１１０の撮像部３０７の位置を示す位置情報として、位置取得部４０２が、緯度＝“Ａ”、経度＝“Ｂ”、高度＝“Ｃ”を取得したとする。この場合、携帯端末１１０の撮像部３０７とＡＲコンテンツ２３０との間の球面上の距離を示す距離情報ｘは、半径１の球面では、余弦定理を適用することで、下式で表すことができる。
Figure 2018195254
地球の半径をＲとし、距離情報ｘをラジアン変換すると、携帯端末１１０の撮像部３０７とＡＲコンテンツ２３０との間の球面上の距離を示す距離情報Ｌは、下式で表すことができる。
Figure 2018195254
したがって、携帯端末１１０の撮像部３０７から見たＡＲコンテンツ２３０までの距離を示す距離情報Ｌａｒは、下式となる。
Figure 2018195254
一方、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７から被写体２４０までの距離情報Ｌｓｕｂを、被写体距離取得部４０５より通知を受けることで取得する。
これにより、ＡＲコンテンツ編集部４０６は、距離情報Ｌａｒと距離情報Ｌｓｕｂとを対比することができる。この結果、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７から見て、被写体２４０の方が手前に位置するのか、ＡＲコンテンツ２３０の方が手前側に位置するのかの位置関係を判定することができる。具体的には、Ｌａｒ＞Ｌｓｕｂの場合、ＡＲコンテンツ編集部４０６は、被写体２４０の方が手前側に位置すると判定し、Ｌａｒ≦Ｌｓｕｂの場合、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０の方が手前側に位置すると判定する。
ＡＲコンテンツと被写体との位置関係を判定すると、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツを編集する。図６（ｂ）は編集方法を簡易化して示した例である。図６（ｂ）の上段に示すように、被写体距離取得部４０５は、エリアに基づく被写体距離取得範囲６１０において、被写体２４０、６１１までの距離情報（Ｌｓｕｂ１、Ｌｓｕｂ２等）を撮像画像６３０の各画素の位置と対応付けて取得しているものとする。被写体６１１は、ここでは、背景の道路である。なお、被写体２４０、６１１までの距離情報は、被写体距離取得範囲６１０内を超音波、赤外線、レーザ等のいずれかの方法により測定することで取得してもよいし、測距可能な単眼カメラで測定してもよい。測距可能な単眼カメラを用いる場合、撮像画像６３０に含まれる各画素に対して、該画素に対応する被写体までの距離情報を容易に対応付けることができる。
また、図６（ｂ）の中段に示すように、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からの距離を示す距離情報がＬａｒのＡＲコンテンツ２３０（Ｌｓｕｂ１＞Ｌａｒ＞Ｌｓｕｂ２）を、被写体距離取得範囲６１０の対応する位置に配置する。これにより、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０に対応付けられた位置情報に応じた表示位置にある被写体２４０までの距離情報（ＡＲコンテンツの表示位置に対応する画素に対応付けられた距離情報）を取得することができる。この結果、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツ２３０のうち、被写体２４０に隠れる領域を特定することができる。
更に、図６（ｂ）の下段に示すように、ＡＲコンテンツ編集部４０６は、特定した領域を削除する編集を行うことで、編集済みのＡＲコンテンツ２３０’を生成する。そして、画像表示部４０７は、撮像画像６３０上の対応する位置に、編集済みのＡＲコンテンツ２３０’を配置することで、画像６４０を生成する。
このようにして、画像表示部４０７では、ＡＲコンテンツと被写体との位置関係に基づいて編集されたＡＲコンテンツを含む画像を生成することができる。
＜表示制御処理の流れ＞
次に、表示制御部４００による表示制御処理の流れについて説明する。図７は、表示制御処理の第１のフローチャートである。表示制御部４００が起動することで、図７に示す表示制御処理が開始される。
ステップＳ７０１において、位置取得部４０２は、ＧＰＳ部３０９にて検出された、携帯端末１１０の撮像部３０７の位置（緯度、経度、高度）を特定する。また、向き取得部４０３は、センサ部３１０にて検出された、携帯端末１１０の撮像部３０７の向きを特定する。
ステップＳ７０２において、ＡＲコンテンツ取得部４０４は、携帯端末１１０の撮像部３０７の位置及び向きに応じたエリアを特定し、特定したエリアに関する情報を含むＡＲコンテンツ要求をサーバ装置１２０に送信する。また、ＡＲコンテンツ取得部４０４は、サーバ装置１２０から送信されたＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを取得し、ＡＲコンテンツ管理ＤＢ４１１に記憶する。なお、サーバ装置１２０は、ＡＲコンテンツ要求を受信した際、携帯端末１１０に既に送信済みのＡＲコンテンツ以外のＡＲコンテンツとＡＲコンテンツに対応付けられた位置情報とを携帯端末１１０に送信するものとする。
ステップＳ７０３において、撮像画像取得部４０１は、撮像部３０７により撮像された撮像画像を取得する。
ステップＳ７０４において、ＡＲコンテンツ取得部４０４は、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを選択して、ＡＲコンテンツ管理ＤＢ４１１から読み出す。また、ＡＲコンテンツ取得部４０４は、読み出したＡＲコンテンツに対応付けて記憶された位置情報を、ＡＲコンテンツ管理ＤＢ４１１から読み出す。
ステップＳ７０５において、ＡＲコンテンツ編集部４０６は、読み出されたＡＲコンテンツに対応付けられた位置情報に基づいて、携帯端末１１０の撮像部３０７から該ＡＲコンテンツまでの距離情報を算出する。
ステップＳ７０６において、被写体距離取得部４０５は、特定されたエリアに基づく被写体距離取得範囲に含まれる各被写体までの距離情報を、測距部３１１より取得する。
ステップＳ７０７において、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツと被写体との位置関係（ＡＲコンテンツが被写体よりも手前側に位置するのか否か）を判定する。ステップＳ７０７において、ＡＲコンテンツが、被写体より手前側に位置すると判定した場合には（ステップＳ７０７においてＹｅｓの場合には）、ステップＳ７０８に進む。
ステップＳ７０８において、画像表示部４０７は、ＡＲコンテンツが最前面となるように撮像画像上の対応する表示位置にＡＲコンテンツを配置することで画像を生成する。また、画像表示部４０７は、生成した画像を表示部３０８に表示する。
一方、ステップＳ７０７において、ＡＲコンテンツが、被写体よりも手前側に位置していないと判定した場合には（ステップＳ７０７においてＮｏの場合には）、ステップＳ７０９に進む。
ステップＳ７０９において、ＡＲコンテンツ編集部４０６は、ＡＲコンテンツに対して、手前側に位置する被写体に隠れる領域を削除する編集を行う。また、画像表示部４０７は、編集済みのＡＲコンテンツを撮像画像上の対応する表示位置に配置することで画像を生成し、表示部３０８に表示する。
ステップＳ７１０において、表示制御部４００は、表示制御処理を終了するか否かを判定する。表示制御部４００の機能が継続して利用される場合には（ステップＳ７１０においてＮｏの場合には）、ステップＳ７０１に戻る。
一方、表示制御部４００の機能が停止された場合には（ステップＳ７１０においてＹｅｓの場合には）、表示制御処理を終了する。
＜ＡＲコンテンツの表示例＞
次に、ＡＲコンテンツ編集部４０６において編集された編集済みのＡＲコンテンツ２３０’の表示例について説明する。図８は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第２の図である。図８に示すように、編集済みのＡＲコンテンツ２３０’の場合、被写体２４０が手前側に位置しているため、被写体２４０に隠れる領域は、表示画面２１０には表示されない。
以上の説明から明らかなように、第１の実施形態に係る携帯端末１１０は、撮像部の位置及び向きに応じたエリアを特定し、特定したエリア内の位置情報に対応付けて記憶されたＡＲコンテンツを、撮像画像上の対応する表示位置に表示する。その際、第１の実施形態に係る携帯端末１１０は、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報と、撮像画像に含まれる被写体までの距離情報とに基づき、ＡＲコンテンツと被写体との位置関係を判定し、判定した位置関係に基づきＡＲコンテンツを編集する。
このように、ＡＲコンテンツまでの距離情報に応じて、撮像画像におけるＡＲコンテンツの表示を制御することで、携帯端末１１０によれば、ＡＲコンテンツが対応付けられた位置情報に応じた撮像画像上での位置を把握しやすくすることができる。この結果、撮像された被写体がＡＲコンテンツより手前側に位置しているにも関わらず、ＡＲコンテンツの方が手前側に表示されるといった事態を回避することが可能となり、表示態様の違和感を低減させることができる。
［第２の実施形態］
上記第１の実施形態では、撮像部から見た場合のＡＲコンテンツと被写体との位置関係に基づいて、ＡＲコンテンツについて、被写体に隠れている領域を削除する編集を行う場合について説明した。これに対して、第２の実施形態では、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報に基づいて、ＡＲコンテンツのサイズを変更する編集を行う場合について説明する。なお、以下では、上記第１の実施形態との相違点を中心に説明を行う。
＜複数のＡＲコンテンツの位置関係＞
はじめに、携帯端末１１０の撮像部３０７から見た場合の複数のＡＲコンテンツの位置関係について説明する。
図９は、複数のＡＲコンテンツの位置関係を示す図である。上述したとおり、携帯端末１１０の撮像部３０７から見た場合の各ＡＲコンテンツ９１０〜９３０までの距離を示す距離情報は、各ＡＲコンテンツ９１０〜９３０に対応付けられた位置情報と、携帯端末１１０の撮像部３０７の位置を示す位置情報とに基づいて上式（数１）を用いて算出される。
例えば、図９に示すように、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９１０までの距離情報として、Ｌａｒ１を算出する。また、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９２０までの距離情報として、Ｌａｒ２を算出する。更に、ＡＲコンテンツ編集部４０６は、携帯端末１１０の撮像部３０７からＡＲコンテンツ９３０までの距離情報として、Ｌａｒ３を算出する。なお、図９の例は、ＡＲコンテンツ９１０〜９３０が、Ｌａｒ１＜Ｌａｒ２＜Ｌａｒ３の位置関係を有していることを示している。
＜表示制御処理の流れ＞
次に、表示制御部４００による表示制御処理の流れについて説明する。図１０は、表示制御処理の第２のフローチャートである。図７との相違点は、ステップＳ１００１、ステップＳ１００２である。
ステップＳ１００１において、ＡＲコンテンツ編集部４０６は、撮像部３０７から各ＡＲコンテンツまでの距離情報（Ｌａｒ１、Ｌａｒ２、Ｌａｒ３）に応じて、各ＡＲコンテンツ９１０〜９３０のサイズを変更する編集を行う。
ステップＳ１００２において、画像表示部４０７は、サイズが変更された編集済みの各ＡＲコンテンツ９１０〜９３０を撮像画像上の対応する表示位置に配置することで画像を生成し、生成した画像を表示部３０８に表示する。
＜ＡＲコンテンツの表示例＞
次に、ＡＲコンテンツ編集部４０６において編集された編集済みの各ＡＲコンテンツ９１０〜９３０の表示例について説明する。図１１は、携帯端末により撮像された撮像画像及びＡＲコンテンツの表示例を示す第３の図である。図１１に示すように、ＡＲコンテンツ９１０は、他のＡＲコンテンツ９２０、９３０よりも、撮像部３０７からの距離が短いため、表示画面２１０に大きく表示される。一方、ＡＲコンテンツ９２０、９３０は、撮像部３０７からの距離が長いため、表示画面２１０に表示されるサイズが小さくなる。
以上の説明から明らかなように、第２の実施形態に係る携帯端末１１０は、撮像部の位置及び向きに応じたエリアを特定し、特定したエリア内の位置情報に対応付けられたＡＲコンテンツを、撮像画像上の対応する表示位置に表示する。その際、第２の実施形態に係る携帯端末１１０は、撮像部から見た場合の各ＡＲコンテンツまでの距離を示す距離情報に基づき、各ＡＲコンテンツのサイズを変更する編集を行う。
このように、ＡＲコンテンツまでの距離情報に応じて、撮像画像におけるＡＲコンテンツの表示を制御することで、携帯端末１１０によれば、ＡＲコンテンツが対応付けられた位置情報に応じた撮像画像上での位置を把握しやすくすることができる。この結果、ＡＲコンテンツが遠くに位置しているにも関わらず、大きく表示されるといった事態を回避することが可能となり、表示態様の違和感を低減させることができる。
［第３の実施形態］
上記第１の実施形態において、被写体距離取得部４０５は、撮像部３０７の位置及び向きに応じて特定されるエリアに含まれる全ての被写体について撮像部３０７からの距離を示す距離情報を取得するものとして説明した。これに対して、第３の実施形態では、撮像部３０７の位置及び向きに応じて特定されるエリア内の位置情報に対応付けて記憶されたＡＲコンテンツの周辺に位置する被写体を対象に、撮像部３０７からの距離を示す距離情報を取得する。被写体との位置関係に基づいてＡＲコンテンツの編集が必要になるのは、ＡＲコンテンツの周辺に位置する被写体に限られるからである。
図１２は、被写体距離取得部による被写体距離取得範囲の一例を示す図である。図１２において、領域１２００は、エリア内の位置情報に対応付けて記憶されたＡＲコンテンツの周辺の領域を示したものであり、被写体距離取得部４０５が、撮像部３０７からの距離を示す距離情報を取得する被写体距離取得範囲を示している。
図１２に示すように、撮像部３０７の位置及び向きに応じて特定されるエリア内の位置情報に対応付けて記憶されたＡＲコンテンツとして、ＡＲコンテンツ取得部４０４が、ＡＲコンテンツ１２１０を取得したとする。この場合、被写体距離取得部４０５は、被写体距離取得範囲を、エリアではなく、ＡＲコンテンツ１２１０が含まれる領域１２００（エリアよりも狭い領域）に基づいて、特定する。具体的には、被写体距離取得部４０５は、被写体距離取得範囲を、ＡＲコンテンツ１２１０に対応付けられた位置情報と、撮像部３０７の位置及び向きとに基づいて領域１２００を算出することで、特定する。
このように、被写体距離取得部４０５は、撮像部３０７からの距離情報を取得する被写体距離取得範囲を絞り、当該範囲内の被写体までの距離情報を取得することにより、携帯端末１１０の処理負荷を低減させることが可能になる。
［第４の実施形態］
上記第１乃至第３の実施形態では測距部３１１を配し、被写体距離取得部４０５が、測距部３１１より、各被写体までの距離情報を取得するものとして説明した。しかしながら、被写体距離取得部４０５は、各被写体までの距離情報を、例えば、撮像部３０７により撮像された撮像画像より取得してもよい。
具体的には、被写体距離取得部４０５が、撮像部３０７の撮像時の高さと、撮像画像内における被写体の表示位置とに基づき、三角法を用いて被写体までの距離を示す距離情報を算出する。
図１３は、被写体距離取得部による被写体距離算出処理の一例を示す図である。図１３に示すように、撮像部３０７の高さｈを設定し、センサ部３１０の加速度センサの検知結果から算出される携帯端末１１０の傾きに基づいて、被写体２４０の俯角θを算出することで、三角法により距離情報Ｌｓｕｂを算出することができる。
このように、被写体距離取得部４０５が撮像画像に基づいて被写体までの距離情報を算出することで、第３の実施形態に係る携帯端末１１０によれば、測距部３１１を配する必要がなくなる。
［その他の実施形態］
上記第１の実施形態では、撮像部から見た場合のＡＲコンテンツと被写体との位置関係に基づいて、ＡＲコンテンツについて、被写体に隠れている領域を削除する編集を行う場合について説明した。また、第２の実施形態では、撮像部から見た場合のＡＲコンテンツまでの距離を示す距離情報に基づいて、ＡＲコンテンツのサイズを変更する編集を行う場合について説明した。しかしながら、ＡＲコンテンツ編集部４０６は、これら両方の処理を行うようにしてもよい。あるいは、ＡＲコンテンツ編集部４０６は、削除やサイズ変更以外の方法で表示態様を変える編集を行うようにしてもよい。
また、上記第１、第３、第４の実施形態では、ＡＲコンテンツが図柄であるとし、図柄の一部が被写体に隠れる場合に、ＡＲコンテンツの一部を表示画面２１０に表示しないと判定する（隠れる領域を削除する編集を行う）ものとして説明した。しかしながら、ＡＲコンテンツは、図柄に限られず、例えば文字データであってもよい。この場合、文字データの一部が被写体に隠れる状況においては、ＡＲコンテンツの（一部ではなく）全部を表示しないと判定してもよい。文字データの場合、一部が表示されても、ユーザにとっては意味がない場合が多いからである。
また、上記第１の実施形態では、携帯端末１１０の撮像部３０７から見てＡＲコンテンツより手前側に位置する被写体があると判定した場合の処理について説明した。しかしながら、被写体がないと判定した場合には、通常どおり、ＡＲコンテンツを撮像画像に重畳する処理を行うことはいうまでもない。また、手前側に位置する被写体があると判定した場合であって、ＡＲコンテンツの全部が被写体に隠れる場合には、ＡＲコンテンツを表示しないことはいうまでもない。つまり、上記第１の実施形態において、ＡＲコンテンツは常に編集されるとは限られず、ＡＲコンテンツに対して編集を行うことなく、表示画面２１０に表示される画像を生成する場合があることはいうまでもない。
また、上記第１乃至第４の実施形態では、ＡＲコンテンツ取得部４０４が、撮像部３０７の位置及び向きに応じて特定されたエリア内の位置情報に対応付けて記憶されたＡＲコンテンツをリアルタイムに取得する場合について説明した。しかしながら、ＡＲコンテンツ取得部４０４がＡＲコンテンツを取得するタイミングはこれに限定されない。例えば、表示制御部４００が起動した際に、携帯端末１１０の撮像部３０７の位置を基準とする所定範囲内の位置情報に対応付けて記憶された全てのＡＲコンテンツを取得し、ＡＲコンテンツ管理ＤＢ４１１に記憶するようにしてもよい。なお、ここでいう所定範囲は、携帯端末１１０の撮像部３０７の位置及び向きにより特定されるエリアよりも広い範囲を指すものとする。これにより、ＡＲコンテンツ取得部４０４がサーバ装置１２０と通信する回数を減らすことができる。
また、上記第１乃至第４の実施形態では、ＡＲコンテンツ表示システム１００において、携帯端末を用いる場合について説明したが、ＡＲコンテンツの表示は、例えば、ヘッドマウントディスプレイ等の装着型の携帯端末を用いて行ってもよい。また、ヘッドマウントディスプレイ等の装着型の携帯端末において、表示部は、例えば、透過型であってもよい。なお、透過型の表示部の場合、ＡＲコンテンツは、撮像された撮像画像上の対応する表示位置に配置されることなく、表示部（例えば、眼鏡型のヘッドマウントディスプレイの場合、眼鏡のガラスに相当する部分）の対応する表示位置に直接表示されることになる。
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
（付記１）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータに実行させる表示制御プログラム。
（付記２）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータに実行させる表示制御プログラム。
（付記３）
取得した前記表示情報について、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体の背後に重なる領域を削除する編集を行い、
編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
処理を前記コンピュータに実行させる付記１に記載の表示制御プログラム。
（付記４）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
処理をコンピュータに実行させる表示制御プログラム。
（付記５）
取得した前記表示情報について、算出した前記距離情報に応じたサイズに変更する編集を行い、
編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
処理を前記コンピュータに実行させる付記４に記載の表示制御プログラム。
（付記６）
撮像装置により撮像された撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得する第３の取得部と、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
を有することを特徴とする表示制御装置。
（付記７）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得する第３の取得部と、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
を有することを特徴とする表示制御装置。
（付記８）
撮像装置により撮像された撮像画像を取得する第１の取得部と、
センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出する第３の取得部と、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する制御部と
を有することを特徴とする表示制御装置。
（付記９）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータが実行する表示制御方法。
（付記１０）
撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
処理をコンピュータが実行する表示制御方法。
（付記１１）
撮像装置により撮像された撮像画像を取得し、
センサにより検出された前記撮像装置の位置及び向きを特定し、
表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
処理をコンピュータが実行する表示制御方法。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
１００ ：ＡＲコンテンツ表示システム
１１０ ：携帯端末
１２０ ：サーバ装置
１２１ ：コンテンツ提供部
１２２ ：ＡＲコンテンツ情報ＤＢ
２１０ ：表示画面
２２０ ：画像
２３０ ：ＡＲコンテンツ
２４０ ：被写体
４００ ：表示制御部
４０１ ：撮像画像取得部
４０２ ：位置取得部
４０３ ：向き取得部
４０４ ：ＡＲコンテンツ取得部
４０５ ：被写体距離取得部
４０６ ：ＡＲコンテンツ編集部
４０７ ：画像表示部
４１１ ：ＡＲコンテンツ管理ＤＢ
５００ ：ＡＲコンテンツ管理情報
９１０〜９３０ ：ＡＲコンテンツ
１２１０ ：ＡＲコンテンツ

Claims (11)

  1. 撮像装置により撮像された撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
    処理をコンピュータに実行させる表示制御プログラム。
  2. 撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
    処理をコンピュータに実行させる表示制御プログラム。
  3. 取得した前記表示情報について、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体の背後に重なる領域を削除する編集を行い、
    編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
    処理を前記コンピュータに実行させる請求項１に記載の表示制御プログラム。
  4. 撮像装置により撮像された撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
    取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
    処理をコンピュータに実行させる表示制御プログラム。
  5. 取得した前記表示情報について、算出した前記距離情報に応じたサイズに変更する編集を行い、
    編集された前記表示情報と、取得した前記撮像画像とを含む画像を、前記表示部に表示する、
    処理を前記コンピュータに実行させる請求項４に記載の表示制御プログラム。
  6. 撮像装置により撮像された撮像画像を取得する第１の取得部と、
    センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
    取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得する第３の取得部と、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
    を有することを特徴とする表示制御装置。
  7. 撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得する第１の取得部と、
    センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
    取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得する第３の取得部と、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する判定部と
    を有することを特徴とする表示制御装置。
  8. 撮像装置により撮像された撮像画像を取得する第１の取得部と、
    センサにより検出された前記撮像装置の位置及び向きを特定する特定部と、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得する第２の取得部と、
    特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出する第３の取得部と、
    取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する制御部と
    を有することを特徴とする表示制御装置。
  9. 撮像装置により撮像された撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    取得した前記撮像画像に含まれる被写体のうち、取得した前記表示情報に対応付けられた位置情報に応じた表示位置にある被写体までの距離情報を取得し、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
    処理をコンピュータが実行する表示制御方法。
  10. 撮像装置により撮像され、複数の画素それぞれの画素値と、前記複数の画素それぞれに対応する被写体までの距離情報とを含む撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    取得した前記撮像画像に含まれる画素のうち、取得した前記表示情報の表示位置に対応する画素に対応付けられた距離情報を取得し、
    取得した前記距離情報と、取得した前記表示情報に対応付けられた位置情報とに基づき、取得した前記表示情報を表示部に表示するか否かを判定する、
    処理をコンピュータが実行する表示制御方法。
  11. 撮像装置により撮像された撮像画像を取得し、
    センサにより検出された前記撮像装置の位置及び向きを特定し、
    表示情報を位置情報に対応付けて記憶する記憶部を参照して、特定した前記撮像装置の位置及び向きに応じたエリア内の位置情報に対応付けられた表示情報と、該表示情報に対応付けられた位置情報とを取得し、
    特定した前記撮像装置の位置と、取得した前記表示情報に対応付けられた位置情報に応じた位置との間の距離情報を算出し、
    取得した前記表示情報を、算出した前記距離情報に応じた態様で表示部に表示する、
    処理をコンピュータが実行する表示制御方法。
JP2017100919A 2017-05-22 2017-05-22 表示制御プログラム、表示制御装置及び表示制御方法 Pending JP2018195254A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017100919A JP2018195254A (ja) 2017-05-22 2017-05-22 表示制御プログラム、表示制御装置及び表示制御方法
US15/978,411 US20180336696A1 (en) 2017-05-22 2018-05-14 Display control program, display control apparatus and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017100919A JP2018195254A (ja) 2017-05-22 2017-05-22 表示制御プログラム、表示制御装置及び表示制御方法

Publications (1)

Publication Number Publication Date
JP2018195254A true JP2018195254A (ja) 2018-12-06

Family

ID=64271973

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017100919A Pending JP2018195254A (ja) 2017-05-22 2017-05-22 表示制御プログラム、表示制御装置及び表示制御方法

Country Status (2)

Country Link
US (1) US20180336696A1 (ja)
JP (1) JP2018195254A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020182068A (ja) * 2019-04-24 2020-11-05 鹿島建設株式会社 安全支援装置及び安全監視方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111462279B (zh) * 2019-01-18 2023-06-09 阿里巴巴集团控股有限公司 图像显示方法、装置、设备及可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
EP2860702A4 (en) * 2012-06-12 2016-02-10 Sony Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
WO2014091824A1 (ja) * 2012-12-10 2014-06-19 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
US9773346B1 (en) * 2013-03-12 2017-09-26 Amazon Technologies, Inc. Displaying three-dimensional virtual content
JP6255706B2 (ja) * 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
JP6299234B2 (ja) * 2014-01-23 2018-03-28 富士通株式会社 表示制御方法、情報処理装置、および表示制御プログラム
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020182068A (ja) * 2019-04-24 2020-11-05 鹿島建設株式会社 安全支援装置及び安全監視方法
JP7281955B2 (ja) 2019-04-24 2023-05-26 鹿島建設株式会社 安全支援装置及び安全監視方法

Also Published As

Publication number Publication date
US20180336696A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
CN111602140B (zh) 分析由头戴式设备的相机记录的图像中的对象的方法
JP4600515B2 (ja) 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP6411505B2 (ja) 全焦点画像を生成するための方法および装置
JP5055402B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
EP2327055B1 (en) Method of and arrangement for blurring an image
US8121353B2 (en) Apparatus, system and method for mapping information
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
CN106446223B (zh) 地图数据的处理方法和装置
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP2007243509A (ja) 画像処理装置
US20140002499A1 (en) Method, System, and Computer-Readable Recording Medium for Providing Information on an Object Using Viewing Frustums
JP2018195254A (ja) 表示制御プログラム、表示制御装置及び表示制御方法
CN109754439B (zh) 标定方法、装置、电子设备及介质
JP2024026447A (ja) 物体追跡装置、物体追跡方法、およびプログラム
US9197882B2 (en) Mobile communication terminal having image conversion function and method
JPH11288341A (ja) ナビゲーション装置及び方法
JP7183058B2 (ja) 三次元計測装置および三次元計測プログラム
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法
US10893388B2 (en) Map generation device, map generation system, map generation method, and non-transitory storage medium including instructions for map generation
CN110196638B (zh) 基于目标检测和空间投影的移动端增强现实方法和系统
CN114623836A (zh) 车辆位姿确定方法、装置及车辆
CN112037280A (zh) 物体距离测量方法及装置
JP6575221B2 (ja) 表示制御方法、情報処理装置及び表示制御プログラム