JP2016071705A - 情報取得プログラム及び情報提供装置 - Google Patents

情報取得プログラム及び情報提供装置 Download PDF

Info

Publication number
JP2016071705A
JP2016071705A JP2014201612A JP2014201612A JP2016071705A JP 2016071705 A JP2016071705 A JP 2016071705A JP 2014201612 A JP2014201612 A JP 2014201612A JP 2014201612 A JP2014201612 A JP 2014201612A JP 2016071705 A JP2016071705 A JP 2016071705A
Authority
JP
Japan
Prior art keywords
information
movement
mobile terminal
recognition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014201612A
Other languages
English (en)
Other versions
JP6269421B2 (ja
Inventor
雅博 川路
Masahiro Kawamichi
雅博 川路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2014201612A priority Critical patent/JP6269421B2/ja
Priority to US14/872,030 priority patent/US9483676B2/en
Publication of JP2016071705A publication Critical patent/JP2016071705A/ja
Application granted granted Critical
Publication of JP6269421B2 publication Critical patent/JP6269421B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10712—Fixed beam scanning
    • G06K7/10722—Photodetector array or CCD scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/50—Service provisioning or reconfiguring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】限定的な利用者に対して特別なサービスを提供すること。
【解決手段】携帯端末１００のカメラ１３０により印刷物４００に付されたＡＲマーカー４００ａを撮像すると、認識実行部１１５により、ＡＲマーカー４００ａが認識され、認識されたＡＲマーカー４００ａの認識情報に基づいて提供要求が生成され、通信モジュール１１４により情報提供サーバーに送信される。また、情報提供サーバーからの提供要求に当対応するＡＲ表示情報を受信すると、認識実行部１１５により、ＡＲ表示情報に基づいたＣＧ画像が生成され、表示部１３に生成されたＣＧ画像が融合表示される。
【選択図】図３

Description

本発明は、たとえばＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）マーカーを用いた情報取得プログラム及び情報提供装置に関する。
従来より、ＱＲコード（登録商標）などの二次元コードを、スマートフォン端末やタブレット端末などの携帯端末によって読み取ることで、インターネットのＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）などの入力操作を行うことなく、所望の情報を取得できる技術が知られている。
また、このような技術を応用したものとして、特許文献１に示されているコード誘因情報の照会及び提供のための装置が知られている。この技術は、携帯端末によりＱＲコード（登録商標）などの二次元コードをスキャンすると、時間と位置が決定され、スキャンしたコードを含むスキャンメッセージが生成され、サーバーに送信される。サーバー側では、情報ベースから返信メッセージの広告コンテンツを選択し、関連コンテンツを携帯端末に送信する。
特表２０１０−５０６２６３
上述した特許文献１の技術では、携帯端末によって二次元コードをスキャンした時間や位置に応じ、絞り込まれた情報、イベント情報、クーポンなどをサーバー側から提供することができる。
ところが、特許文献１の技術では、誰でもが利用できるＱＲコード（登録商標）などの二次元コードを用いているため、その二次元コードの利用者を限定することができず、限定的な利用者に対して特別なサービスを提供することができない、という問題があった。
本発明は、このような状況に鑑みてなされたものであり、上記問題点を解決することができる情報取得プログラム及び情報提供装置を提供することを目的とする。
本発明の情報取得プログラムは、カメラにより、印刷物に付されたマーカーを撮像する工程と、位置検出部により、携帯端末の移動状態を検出する工程と、認識実行部により、前記マーカーを認識し、認識したマーカーの認識情報及び前記位置検出部により検出された前記携帯端末の移動状態を示す移動情報に基づいて提供要求を生成する工程と、通信モジュールにより、前記提供要求を情報提供装置に送信し、前記情報提供装置から前記提供要求に対応する表示情報を受信する工程と、前記認識実行部により、前記表示情報に基づいた情報画像を生成し、表示部に前記情報画像を表示させる工程とを、前記携帯端末を制御するコンピューターに実行させることを特徴とする。
また、前記位置検出部により、現在位置を検出し、前記現在位置を検出順に並べて前記携帯端末の位置の推移を求めることにより前記移動状態を検出する工程を含むことを特徴とする。
また、前記位置検出部により、加速度を検出し、前記加速度を前記移動状態として検出する工程を含むことを特徴とする。
また、計時部により、前記携帯端末の移動状態に対応する時刻を特定する工程と、
前記認識実行部により、前記認識情報、前記移動情報、及び前記携帯端末の位置の推移に対応する時刻を示す時刻情報に基づいて前記移動要求を生成する工程とを含むことを特徴とする。
また、前記カメラにより、前記印刷物を撮像する工程と、前記認識実行部により、前記撮像された印刷物の画像に前記情報画像を合成して前記表示部に表示させる工程とを含むことを特徴とする。
本発明の情報提供装置は、印刷物に付されているマーカーの認識情報及び携帯端末の移動情報に基づいた提供要求を携帯端末から受信する通信モジュールと、前記提供要求から前記認識情報及び前記移動情報を識別する提供要求識別部と、前記認識情報と前記移動情報の組み合わせに対応する前記表示情報をデータベースから取得し、前記通信モジュールを介して前記携帯端末に送信する表示情報取得部とを備えることを特徴とする。
また、前記移動情報は、前記携帯端末の位置の推移を示す移動状態を含むことを特徴とする。
また、前記移動情報は、前記携帯端末の加速度を示す移動状態を含むことを特徴とする。
また、前記識別情報は、前記携帯端末のカメラにより撮像された前記マーカーに対応し、前記移動情報は、前記携帯端末の位置検出部により検出された前記携帯端末の移動状態に対応することを特徴とする。
また、前記通信モジュールは、前記認識情報、前記移動情報、及び前記移動情報に対応する時刻を示す時刻情報に基づいた提供要求を前記携帯端末から受信し、前記提供要求識別部は、前記認識情報、前記移動情報、及び前記時刻情報を識別し、前記表示情報取得部は、前記認識情報、前記移動情報、及び前記時刻情報の組み合わせに対応する前記表示情報をデータベースから取得し、前記通信モジュールを介して前記携帯端末に送信することを特徴とする。
また、前記時刻情報は、前記携帯端末の計時部により特定された、前記携帯端末の前記移動状態に対応する時刻の情報であることを特徴とする。
本発明の情報取得プログラム及び情報提供装置では、カメラにより印刷物に付されたマーカーを撮像すると、認識実行部により、ＡＲマーカーが認識され、認識されたマーカーの認識情報に基づいて提供要求が生成され、通信モジュールにより情報提供装置に送信される。情報提供装置からの提供要求に対応するＡＲ表示情報を受信すると、認識実行部により、ＡＲ表示情報に基づいたＣＧ画像が生成され、表示部に生成されたＣＧ画像が融合表示される。
これにより、マーカーが付されている印刷物により、利用者を限定することができる。
本発明の情報取得プログラム及び情報提供装置によれば、マーカーが付されている印刷物により、利用者を限定することができ、限定的な利用者に対して特別なサービスを提供することができる。
本発明の情報取得プログラム及び情報提供装置の一実施形態が適用される情報提供システムの一例を示す図である。 図１の携帯端末の構成の一例を示す図である。 図１の携帯端末の認識実行部の詳細について説明するための図である。 図１の情報提供サーバーの構成の一例を示す図である。 図１の携帯端末側の動作を説明するためのフローチャートである。 図１の情報提供サーバー側の動作を説明するためのフローチャートである。
以下、本発明の情報取得プログラム及び情報提供装置の一実施形態を、図１〜図６を参照しながら説明する。なお、以下の説明においての携帯端末としては、スマートフォン端末やタブレット端末を用いることができる。
まず、図１は、本発明の情報取得プログラム及び情報提供装置の一実施形態が適用される情報提供システムの一例を示す図であり、携帯端末１００と、ＤＢ（データベース）２２０を有する情報提供サーバー２００とを備えている。携帯端末１００と情報提供サーバー２００とは、インターネット３００を介して接続されている。
携帯端末１００は、詳細は後述するが、表示部１３１や後述のカメラ１３０などを有している。そして、カメラ１３０によって、たとえば印刷物４００に付されているＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）マーカー４００ａを撮像することにより、表示部１３１に現実空間の画像とＣＧ（ｃｏｍｐｕｔｅｒ ｇｒａｐｈｉｃｓ）などで描画されたＣＧ画像とが合成された後、表示される。つまり、撮像画像のＡＲマーカー４００ａ上にＣＧ画像が表示される。なお、ＣＧ画像は、静止画、動画、テキストなどである。
また、携帯端末１００は、ＣＧ画像に加えて音声を出力することも可能である。また、ＡＲマーカー４００ａは、印刷物４００に付されているものに限らず、印刷物４００自体であってもよい。また、表示部１３１に表示されるＣＧ画像は、情報提供サーバー２００からの提供要求に応じて提供されたＡＲ表示情報に基づき携帯端末１００側で生成されたものである。
情報提供サーバー２００は、携帯端末１００からの提供要求を受け取ると、その提供要求に当対応するＡＲ表示情報をＤＢ２２０から読み出し、携帯端末１００側に送信する。すなわち、ＤＢ２２０には、ＡＲマーカー４００ａの認識情報に応じた様々なＡＲ表示情報が記憶されている。また、ＡＲ表示情報は、携帯端末１００からの提供要求に含まれる、携帯端末１００の移動状態を示す移動情報、例えば、後述の加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は位置の推移を示す情報に対応したものも含まれている。また、ＡＲ表示情報は、携帯端末１００からの提供要求に含まれる、移動状態に対応する時刻情報に対応したものも含まれてもよい。つまり、ＡＲ表示情報は、ＡＲマーカー４００ａの認識情報のみに対応させたもの、ＡＲマーカー４００ａの認識情報と携帯端末の移動情報（ＧＰＳセンサー１３４によって検出された位置の推移を示す情報）との組み合わせに対応させたもの、及びＲマーカー４００ａの認識情報と携帯端末の移動情報（加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は位置の推移を示す情報）と移動情報に対応する時刻情報との組み合わせに対応させたものが混在したものとなっている。
次に、図２及び図３を参照し、携帯端末１００の構成について説明する。まず、図２に示すように、携帯端末１００の制御部１１０には、ＲＯＭ１１１、ＲＡＭ１１２、メモリー１１３、通信モジュール１１４、認識実行部１１５、撮像制御部１１６、表示制御部１１７、操作制御部１１８、加速度センサー制御部１１９、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー制御部１２０、システム制御部１２２、計時部１２１が設けられている。また、これらは、データバス１２３を介して接続されている。
ＲＯＭ１１１には、各部の動作チェックなどを行う制御プログラムなどが記憶されている。ＲＡＭ１１２は、プログラムを実行するためのワークメモリである。メモリー１１３には、ＡＲ実行に必要なＡＲプログラムなどが記憶されている。通信モジュール１１４は、インターネット３００などを介し、情報提供サーバー２００などとの通信を行う。すなわち、通信モジュール１１４は、情報提供サーバー２００へ提供要求を送信したり、情報提供サーバー２００からのＡＲ表示情報を受信したりする。
認識実行部１１５は、メモリー１１３に記憶されているＡＲプログラムを読み込み、上述したＡＲマーカー４００ａの認識などを行う。すなわち、図３に示すように、認識実行部１１５はカメラ１３０によって印刷物４００が撮像されると、認識実行部１１５は、印刷物４００に付されているＡＲマーカー４００ａを認識する。また、認識実行部１１５は、ＡＲマーカー４００ａの認識を行うと、加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は位置の推移である携帯端末１００の移動状態を示す移動情報と、計時部１２１によって特定された移動状態に対応する時刻情報を、ＡＲマーカー４００ａの認識情報に付加した提供要求を生成し、通信モジュール１１４を介して情報提供サーバー２００に送信する。
なお、認識実行部１１５は、携帯端末１００の移動情報を、ＡＲマーカー認識情報に付加し、時刻情報を付加しない提供要求を生成することもできる。ここで、ＡＲマーカー４００ａは、提供要求に時刻情報を含むか否かの情報を含んでいてもよい。この場合、認識実行部１１５は、ＡＲマーカー４００ａの認識情報に基づいて、提供要求に時刻情報を含むか否かを判断する。また、認識実行部１１５は、移動要求に時刻情報を含まない場合、携帯端末の位置の推移である移動状態を移動情報として認識情報に付加して提供要求を生成する。
また、認識実行部１１５は、情報提供サーバー２００からＡＲ表示情報を受け取ると、ＡＲ表示情報に基づいたＣＧ画像を生成し、表示制御部１１７を介し、表示部１３１に生成したＣＧ画像をカメラ１３０によって撮像されているＡＲマーカー４００ａを含む印刷物４００の画像に合成表示させる。これにより、表示部１３１には、印刷物４００のＡＲマーカー４００ａのところにＡＲ表示情報が印刷されているかのような、いわゆるＡＲによる画像が表示される。
なお、認識実行部１１５は、ＡＲマーカー４００ａを認識した際、加速度センサー１３３又はＧＰＳセンサー１３４によって加速度又は現在位置が検出されていなければ、ＡＲマーカー４００ａの認識情報のみを用いた提供要求を生成する。
撮像制御部１１６は、カメラ１３０による撮像を制御する。表示制御部１１７は、表示部１３１の表示動作を制御する。操作制御部１１８は、操作部１３２による操作を制御する。なお、表示部１３１及び操作部１３２は、タッチパネルで構成されている。
加速度センサー制御部１１９は、加速度センサー１３３による加速度の検出動作を制御する。例えば、加速度センサー制御部１１９は、一定時間ごとに加速度センサー１３３に加速度を検出させる。
ＧＰＳセンサー制御部１２０は、ＧＰＳセンサー１３４による現在位置の検出動作を制御する。例えば、ＧＰＳセンサー制御部１２０は、一定時間ごとにＧＰＳセンサー１３４に現在位置を検出させる。ＧＰＳセンサー制御部１２０は、現在位置を検出順に並べて携帯端末１００の位置の推移を求める。
システム制御部１２２は、ＲＯＭ１１１に記憶されている制御プログラムに基づき、各部の動作を制御する。
計時部１２１は、現在時刻を測定する時計である。計時部１２１は、ＧＰＳセンサー１３４により現在位置が検出された時刻を計時する。また、計時部１２１は、加速度センサー１３３により加速度が検出された時刻を計時する。
次に、図４を参照し、情報提供サーバー２００の構成について説明する。情報提供サーバー２００の制御部２１０には、ＲＯＭ２１１、ＲＡＭ２１２、提供要求識別部２１３、ＡＲ表示情報取得部２１４、通信モジュール２１５、ＤＢ制御部２１６、システム制御部２１７が設けられている。また、これらは、データバス２１８を介して接続されている。
ＲＯＭ２１１には、各部の動作チェックなどを行う制御プログラムなどが記憶されている。ＲＡＭ２１２は、プログラムを実行するためのワークメモリである。
提供要求判別識別部２１３は、携帯端末１００からの提供要求を識別する。
提供情報取得部２１４は、提供要求識別部２１３による識別に基づいて、ＡＲ表示情報を、ＤＢ制御部２１６を介してＤＢ２２０から取得する。
ここで、提供要求が、ＡＲマーカー４００ａの認識情報に、携帯端末の移動状態を示す移動情報、例えば、加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は位置の推移を示す情報及び移動状態に対応する時刻情報が付加されたものとなっている場合、提供要求識別部２１３は、ＡＲマーカー４００ａの認識情報、携帯端末１００の移動情報、及び移動状態に対応する時刻情報を識別する。提供情報取得部２１４は、提供要求識別部２１３によって識別された認識情報、移動情報、及び時刻情報の組み合わせに対応するＡＲ表示情報を、ＤＢ制御部２１６を介してＤＢ２２０から取得する。
また、提供要求が、ＡＲマーカー４００ａの認識情報に、携帯端末の移動状態を示す移動情報、例えば、ＧＰＳセンサー１３４によって検出された位置の推移を示す情報が付加されたものとなっている場合、提供要求識別部２１３は、ＡＲマーカー４００ａの認識情報と携帯端末１００の移動情報とを認識する。提供情報取得部２１４は、提供要求識別部２１３によって識別された認識情報と移動情報との組み合わせに対応するＡＲ表示情報を、ＤＢ制御部２１６を介してＤＢ２２０から取得する。
また、提供要求が、ＡＲマーカー４００ａの認識情報のみを用いたものとなっている場合、提供要求識別部２１３は、ＡＲマーカー４００ａの認識情報を識別する。提供情報取得部２１４は、提供要求識別部２１３によって識別された認識情報に対応するＡＲ表示情報を、ＤＢ制御部２１６を介してＤＢ２２０から取得する。
ＡＲ表示情報取得部２１４は、ＤＢ２２０から取得したＡＲ表示情報を通信モジュール２１５を介して携帯端末１００に送信する。
通信モジュール２１５は、インターネット３００を介し、携帯端末１００との通信を行う。すなわち、通信モジュール２１５は、携帯端末１００からの提供要求を受信したり、携帯端末１００へＡＲ表示情報を送信したりする。
ＤＢ制御部２１６は、ＤＢ２２０に対する各種情報の書き込みや読み出しを制御する。システム制御部２１７は、ＲＯＭ２１１に記憶されている制御プログラムに基づき、各部の動作を制御する。なお、ＤＢ２２０には、上述したように、ＡＲマーカー４００ａなどに応じた様々なＡＲ表示情報が記憶されている。
例えば、ＡＲマーカー４００ａの認識情報と携帯端末１００の移動情報との組み合わせに対応するＡＲ表示情報は、携帯端末１００の移動に特化した情報とすることができる。この場合、携帯端末１００の利用者は、特定の鉄道路線や航路を利用中であることが想定される。従って、ＡＲ表示情報は、特定の鉄道の駅間や航空機の発着空港間に特化して表示する情報、例えば、駅間の地域や発着空港の地域に関する観光スポット等の情報、列車の運転席や航空機の操舵席から見える現在位置の景色、駅間や搭乗中に利用できるクーポン等とすることができる。通信モジュール２１５は、複数のＡＲ表示情報を進行方向に沿って順次提供してもよい。
また、ＡＲマーカー４００ａの認識情報、携帯端末１００の移動情報、及び移動情報に対応する時刻情報の組み合わせに対応するＡＲ表示情報は、携帯端末１００の特定時間での移動に特化した情報とすることができる。この場合、携帯端末１００の利用者は、特定の列車や航空機を特定の駅間や空港間で利用中であることが想定される。従って、ＡＲ表示情報は、特定の列車や航空機に特化して表示する情報、例えば、利用中の列車や乗り継ぎ列車の運行状況等の案内、利用中の航空機やトランジット便の運行情況等の案内、利用中の列車の運転席や航空機の操舵席から見えるリアルタイムの景色、利用中の列車や航空機で利用できるクーポン券等とすることができる。通信モジュール２１５は、複数のＡＲ表示情報を進行方向に沿って順次提供してもよい。
また、ＡＲマーカー４００ａの認識情報に対応するＡＲ表示情報は、印刷物４００に関連する情報とすることができる。この場合、携帯端末１００の利用者は、特定の鉄道路線、航路、列車、または航空機を利用していないか、利用中でもトンネル内等のため移動情報が取得できなかったことが想定される。従って、ＡＲ表示情報は、携帯端末１００の現在位置に特化しない情報、例えば、鉄道会社や航空会社のキャンペーン情報等とすることができる。
次に、図５を参照し、携帯端末１００側の動作について説明する。なお、以下の説明においては、カメラ１３０により、上述したＡＲマーカー４００ａが付されている印刷物４００が撮像されるものとする。まず、システム制御部１２２は、操作部１３２による撮像の指示が有るかどうかを判断する（ステップＳ１０）。システム制御部１２２は、操作部１３２による撮像の指示が無ければ（ステップＳ１０：Ｎｏ）、撮像の指示待ちとなる。これに対し、システム制御部１２２は、操作部１３２による撮像の指示が有ると判断すると（ステップＳ１０：Ｙｅｓ）、撮像制御部１１６を介し、カメラ１３０による印刷物４００の撮像を行わせる（ステップＳ１１）。
次いで、システム制御部１２２は、カメラ１３０により印刷物４００が撮像されると、認識実行部１１５に対し、撮像された印刷物４００からのＡＲマーカー４００ａの認識を行わせる（ステップＳ１２）。このとき、認識実行部１１５は、加速度センサー１３３又はＧＰＳセンサー１３４によって加速度又は現在位置が検出されたかどうかを判断する（ステップＳ１３）。
認識実行部１１５は、加速度センサー１３３又はＧＰＳセンサー１３４によって加速度又は現在位置が検出されていなければ（ステップＳ１３：Ｎｏ）、加速度又は現在位置の検出待ちとなる。これに対し、認識実行部１１５は、加速度センサー１３３又はＧＰＳセンサー１３４によって加速度又は現在位置が検出されていれば（ステップＳ１３：Ｙｅｓ）、計時部１２１は、加速度が検出された時刻又は現在位置が検出された時刻を計時する（ステップＳ１４）。また、ステップＳ１３で現在位置が検出されていれば、ＧＰＳセンサー制御部１２０は、現在位置を検出順に並べて携帯端末１００の位置の推移を求める（ステップＳ１５）。認識実行部１１５は、掲示された時刻を加速度又は位置の推移に対応させた時刻情報を生成する（ステップＳ１６）。次いで、認識実行部１１５は、検出された加速度又は位置の推移、すなわち携帯端末１００の移動状態を示す移動情報及び時刻情報を、ＡＲマーカー４００ａの認識情報に付加した提供要求を生成する。また、認識実行部１１５は、ステップＳ１２で認識されたＡＲマーカー４００ａに、提供要求に時刻情報を含まないことを示す情報が含まれている場合、移動情報を認識情報に付加した提供要求を生成する。（ステップＳ１７）なお、認識実行部１１５は、ステップＳ１３において、特定時間待っても加速度センサー１３３又はＧＰＳセンサー１３４により加速度又は現在位置が検出されなければ、ステップＳ１７において、ＡＲマーカー４００ａの認識情報のみを用いた提供要求を生成してもよい。
そして、認識実行部１１５は、生成した提供要求を、通信モジュール１１４を介して情報提供サーバー２００に送信する（ステップＳ１８）。また、認識実行部１１５は、通信モジュール１１４を介して情報提供サーバー２００をＡＲ表示情報を受信したかどうかを判断し（ステップＳ１９）、ＡＲ表示情報を受信していなければ（ステップＳ１９：Ｎｏ）、ＡＲ表示情報の受信待ちとなる。これに対し、認識実行部１１５は、ＡＲ表示情報を受信したと判断すると（ステップＳ１９：Ｙｅｓ）、ＡＲ表示情報に基づいたＣＧ画像を生成し（ステップＳ２０）、表示制御部１１７を介し、表示部１３１に生成したＣＧ画像を合成表示させる（ステップＳ２１）。
次に、図６を参照し、情報提供サーバー２００側の動作について説明する。まず、システム制御部２１７は、通信モジュール２１５を介して携帯端末１００からの提供要求を受信したかどうかを判断する（ステップＳ２０）。システム制御部２１７は、通信モジュール２１５を介して提供要求を受信しなければ（ステップＳ２０：Ｎｏ）、提供要求の受信待ちとなる。これに対し、システム制御部２１７は、通信モジュール２１５を介して提供要求を受信したと判断すると（ステップＳ２０：Ｙｅｓ）、提供要求識別部２１３を制御し、提供要求を識別させる。
提供要求識別部２１３は、提供要求からＡＲマーカー４００ａの認識情報、加速度又は位置の推移（移動情報）を識別する。また、提供要求識別部２１３は、提供要求に時刻情報が含まれていれば、時刻情報を識別する（ステップＳ２１）。すなわち、提供要求は、上述したように、ＡＲマーカー４００ａの認識情報、加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は現在位置に基づく移動情報、及び／又は計時部１２１によって計時された時刻に基づく時刻情報を含むものとなっている。
システム制御部２１７は、提供要求識別部２１３が提供要求に含まれる情報を識別すると、ＡＲ表示情報取得部２１４を動作させる。このとき、ＡＲ表示情報取得部２１４は、提供要求識別部２１３によって識別された情報に基づいてＡＲ表示情報を、ＤＢ制御部２１６を介してＤＢ２２０から取得する。具体的には、提供要求が認識情報、移動情報、及び時刻情報を含む場合、ＡＲ表示情報取得部２１４は、認識情報、移動情報、及び時刻情報の組み合わせに対応するＡＲ表示情報を取得する。提供要求が認識情報と移動情報を含み、時刻情報を含まない場合、ＡＲ表示情報取得部２１４は、認識情報と移動情報との組み合わせに対応するＡＲ表示情報を取得する。提供要求が認識情報のみを含む場合、ＡＲ表示情報取得部２１４は、認識情報に対応するＡＲ表示情報を取得する（ステップＳ２２）。また、ＡＲ表示情報取得部２１４は、システム制御部２１７の制御により、ＤＢ２２０から取得したＡＲ表示情報を通信モジュール２１５を介して携帯端末１００に送信する（ステップＳ２３）。
このように、本実施形態では、携帯端末１００のカメラ１３０により印刷物４００に付されたＡＲマーカー４００ａを撮像すると、認識実行部１１５により、ＡＲマーカー４００ａが認識され、携帯端末１００の移動情報や時刻情報に基づいて提供要求が生成され、通信モジュール１１４により情報提供装置である情報提供サーバー２００に送信される。また、情報提供サーバー２００からの提供要求に対応するＡＲ表示情報を受信すると、認識実行部１１５により、ＡＲ表示情報に基づいたＣＧ画像が生成され、表示部１３に生成されたＣＧ画像が合成表示される。
これにより、ＡＲマーカー４００ａが付されている印刷物４００により、利用者を限定することができ、限定的な利用者に対して特別なサービスを提供することができる。
なお、本実施形態では、加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は現在位置をＡＲマーカー４００ａの認識情報に付加して提供要求を生成する場合として説明したが、この例に限らず、温度センサー、照度センサー、圧力センサー、湿度センサーなどからの検出情報をＡＲマーカー４００ａの認識情報に付加して提供要求を生成してもよい。この場合は、温度、照度、圧力、湿度などの様々な検出情報に特化した情報の提供が可能となる。
また、本実施形態では、認識実行部１１５は、ＡＲマーカー４００ａを撮像した画像にＣＧ画像を合成表示していたが、ＣＧ画像を合成することなく表示しても良い。例えば、利用者がカメラ１３０をＡＲマーカー４００ａから逸らして、撮像画像にＡＲマーカー４００ａが含まれなくなった場合、ＣＧ画像を表示画面の定位置に表示してもよい。
また、本実施形態では、携帯端末１００の移動状態を加速度センサー１３３又はＧＰＳセンサー１３４によって検出された加速度又は位置の推移としたが、加速度及び位置の推移としてもよい。この場合、ＧＰＳセンサー１３４が位置の推移の変化量から加速度を検出することにより加速度センサーを兼ねてもよい。
１００ 携帯端末
１１０ 制御部
１１１ ＲＯＭ
１１２ ＲＡＭ
１１３ メモリー
１１４ 通信モジュール
１１５ 認識実行部
１１６ 撮像制御部
１１７ 表示制御部
１１８ 操作制御部
１１９ 加速度センサー制御部
１２０ ＧＰＳセンサー制御部
１２１ 計時部
１２２ システム制御部
１２３ データバス
１３０ カメラ
１３１ 表示部
１３２ 操作部
１３３ 加速度センサー
１３４ ＧＰＳセンサー
２００ 情報提供サーバー
２１０ 制御部
２１１ ＲＯＭ
２１２ ＲＡＭ
２１３ 提供要求識別部
２１４ ＡＲ表示情報取得部
２１５ 通信モジュール
２１６ ＤＢ制御部
２１７ システム制御部
２１８ データバス
２２０ ＤＢ
３００ インターネット
４００ 印刷物
４００ａ ＡＲマーカー

Claims (11)

  1. カメラにより、印刷物に付されたマーカーを撮像する工程と、
    位置検出部により、携帯端末の移動状態を検出する工程と、
    認識実行部により、前記マーカーを認識し、認識したマーカーの認識情報及び前記位置検出部により検出された前記携帯端末の移動状態を示す移動情報に基づいて提供要求を生成する工程と、
    通信モジュールにより、前記提供要求を情報提供装置に送信し、前記情報提供装置から前記提供要求に対応する表示情報を受信する工程と、
    前記認識実行部により、前記表示情報に基づいた情報画像を生成し、表示部に前記情報画像を表示させる工程とを、
    前記携帯端末を制御するコンピューターに実行させる
    ことを特徴とする情報取得プログラム。
  2. 前記位置検出部により、現在位置を検出し、前記現在位置を検出順に並べて前記携帯端末の位置の推移を求めることにより前記移動状態を検出する工程を含むことを特徴とする請求項１に記載の情報取得プログラム。
  3. 前記位置検出部により、加速度を検出し、前記加速度を前記移動状態として検出する工程を含むことを特徴とする請求項１又は２に記載の情報取得プログラム。
  4. 計時部により、前記携帯端末の移動状態に対応する時刻を特定する工程と、
    前記認識実行部により、前記認識情報、前記移動情報、及び前記携帯端末の位置の推移に対応する時刻を示す時刻情報に基づいて前記移動要求を生成する工程とを含むことを特徴とする請求項１又は２に記載の情報取得プログラム。
  5. 前記カメラにより、前記印刷物を撮像する工程と、
    前記認識実行部により、前記撮像された印刷物の画像に前記情報画像を合成して前記表示部に表示させる工程とを含む
    ことを特徴とする請求項１又は２に記載の情報取得プログラム。
  6. 印刷物に付されているマーカーの認識情報及び携帯端末の移動情報に基づいた提供要求を携帯端末から受信する通信モジュールと、
    前記提供要求から前記認識情報及び前記移動情報を識別する提供要求識別部と、
    前記認識情報と前記移動情報の組み合わせに対応する前記表示情報をデータベースから取得し、前記通信モジュールを介して前記携帯端末に送信する表示情報取得部とを備える
    ことを特徴とする情報提供装置。
  7. 前記移動情報は、前記携帯端末の位置の推移を示す移動状態を含むことを特徴とする請求項６に記載の情報提供装置。
  8. 前記移動情報は、前記携帯端末の加速度を示す移動状態を含むことを特徴とする請求項６に記載の情報提供装置。
  9. 前記識別情報は、前記携帯端末のカメラにより撮像された前記マーカーに対応し、
    前記移動情報は、前記携帯端末の位置検出部により検出された前記携帯端末の移動状態に対応する
    ことを特徴とする請求項６又は８に記載の情報提供装置。
  10. 前記通信モジュールは、前記認識情報、前記移動情報、及び前記移動情報に対応する時刻を示す時刻情報に基づいた提供要求を前記携帯端末から受信し、
    前記提供要求識別部は、前記認識情報、前記移動情報、及び前記時刻情報を識別し、
    前記表示情報取得部は、前記認識情報、前記移動情報、及び前記時刻情報の組み合わせに対応する前記表示情報をデータベースから取得し、前記通信モジュールを介して前記携帯端末に送信する
    ことを特徴とする請求項６〜８のいずれかに記載の情報提供装置。
  11. 前記時刻情報は、前記携帯端末の計時部により特定された、前記携帯端末の前記移動状態に対応する時刻の情報であることを特徴とする請求項１０に記載の情報提供装置。
JP2014201612A 2014-09-30 2014-09-30 情報取得プログラム、情報提供装置及び情報提供システム Expired - Fee Related JP6269421B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014201612A JP6269421B2 (ja) 2014-09-30 2014-09-30 情報取得プログラム、情報提供装置及び情報提供システム
US14/872,030 US9483676B2 (en) 2014-09-30 2015-09-30 Information acquiring method and information provision apparatus both of which are based on augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014201612A JP6269421B2 (ja) 2014-09-30 2014-09-30 情報取得プログラム、情報提供装置及び情報提供システム

Publications (2)

Publication Number Publication Date
JP2016071705A true JP2016071705A (ja) 2016-05-09
JP6269421B2 JP6269421B2 (ja) 2018-01-31

Family

ID=55584775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014201612A Expired - Fee Related JP6269421B2 (ja) 2014-09-30 2014-09-30 情報取得プログラム、情報提供装置及び情報提供システム

Country Status (2)

Country Link
US (1) US9483676B2 (ja)
JP (1) JP6269421B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6085390B1 (ja) * 2016-06-20 2017-02-22 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017228273A (ja) * 2017-01-27 2017-12-28 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110991200A (zh) * 2019-11-22 2020-04-10 北京新势界科技有限公司 一种基于ar信息提示的智能化垃圾分类方法及装置
WO2022085092A1 (ja) 2020-10-20 2022-04-28 日本ライフライン株式会社 医療機器

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207921A (ja) * 2001-01-11 2002-07-26 Nec Corp 情報提供システム、情報提供サーバ、情報提供方法およびその処理プログラムを記録した記録媒体
JP2012215989A (ja) * 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542083B1 (en) * 1999-11-23 2003-04-01 Xerox Corporation Electronic tag position detection using radio broadcast
US20080201283A1 (en) 2006-09-28 2008-08-21 Dudley Fitzpatrick Apparatuses, methods and systems for anticipatory information querying and serving on mobile devices based on profiles
EP2324057B1 (en) * 2008-08-12 2018-03-21 MSD Italia S.r.l. Minigene comprising htpa signal peptide, t-cell epitopes, e. coli ltb and furin sensitive linkers
US9235604B2 (en) * 2013-04-22 2016-01-12 Tencent Technology (Shenzhen) Company Limited Method, apparatus and system for obtaining location information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002207921A (ja) * 2001-01-11 2002-07-26 Nec Corp 情報提供システム、情報提供サーバ、情報提供方法およびその処理プログラムを記録した記録媒体
JP2012215989A (ja) * 2011-03-31 2012-11-08 Toppan Printing Co Ltd 拡張現実表示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6085390B1 (ja) * 2016-06-20 2017-02-22 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2017227962A (ja) * 2016-06-20 2017-12-28 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US10083545B2 (en) 2016-06-20 2018-09-25 Yahoo Japan Corporation Image processing device, image processing method, and non-transitory computer-readable recording medium for specifying markers in accepted image data
JP2017228273A (ja) * 2017-01-27 2017-12-28 ヤフー株式会社 画像処理装置、画像処理方法及び画像処理プログラム

Also Published As

Publication number Publication date
US9483676B2 (en) 2016-11-01
US20160092710A1 (en) 2016-03-31
JP6269421B2 (ja) 2018-01-31

Similar Documents

Publication Publication Date Title
US10049389B2 (en) System and method for interacting with digital signage
US20180341985A1 (en) Provision and management of advertising via mobile entity
JP6269421B2 (ja) 情報取得プログラム、情報提供装置及び情報提供システム
US20120092370A1 (en) Apparatus and method for amalgamating markers and markerless objects
JP2017162374A (ja) 情報表示効果測定システムおよび情報表示効果測定方法
EP2871606A1 (en) Information communication method and information communication apparatus
CN111723843A (zh) 一种签到方法、装置、电子设备及存储介质
JP2009245310A (ja) タグ特定装置、タグ特定方法およびタグ特定プログラム
KR20200112251A (ko) 실시간 위치 탐색 기능을 이용한 모바일 리워드 산출 서버 및 방법
JP6359204B2 (ja) 情報処理装置及びプログラム
KR102342044B1 (ko) 개인 정보 이용 주문 시스템
US20210396543A1 (en) Information processing apparatus, information processing method, and program
JP6135224B2 (ja) 表示装置及び表示システム
JP2014164572A (ja) 情報処理装置およびプログラム
JP2016103239A (ja) ユーザー呼出しシステム、ユーザー呼出し方法、及びユーザー呼出しプログラム
JP2009205504A (ja) 案内システム、サーバシステム、案内方法及びプログラム
KR101624396B1 (ko) 사용자 단말의 상태 정보를 이용한 메시지 처리 방법 및 장치
JP7076766B2 (ja) 情報処理システム、情報処理プログラム、情報処理装置及び情報処理方法
JP2021177332A (ja) 改札機、方法、プログラム及びシステム
KR102322200B1 (ko) IoT환경에서 고객 중심의 전시를 제공하는 방법 및 시스템
JP2015138320A (ja) 現在地関連情報取得システム、携帯端末、現在地関連情報取得方法、データ配信装置、データ配信方法、およびプログラム
JP2015156152A (ja) サービス情報管理システム及びサービス情報管理方法
JP2019061328A (ja) 案内システム、及び案内プログラム
JP7124322B2 (ja) 情報コード読取システム
JP2016110366A (ja) ネットワークシステム、情報提供方法、サーバ、機器、および情報出力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160923

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171218

R150 Certificate of patent or registration of utility model

Ref document number: 6269421

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees