JP2013025327A - オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 - Google Patents

オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 Download PDF

Info

Publication number
JP2013025327A
JP2013025327A JP2011156027A JP2011156027A JP2013025327A JP 2013025327 A JP2013025327 A JP 2013025327A JP 2011156027 A JP2011156027 A JP 2011156027A JP 2011156027 A JP2011156027 A JP 2011156027A JP 2013025327 A JP2013025327 A JP 2013025327A
Authority
JP
Japan
Prior art keywords
matching data
object information
information
image analysis
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011156027A
Other languages
English (en)
Other versions
JP5230778B2 (ja
Inventor
Manabu Ota
学 太田
Yasuo Morinaga
康夫 森永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2011156027A priority Critical patent/JP5230778B2/ja
Priority to EP12811515.1A priority patent/EP2733673A4/en
Priority to CN201280009267.6A priority patent/CN103380443B/zh
Priority to US13/878,868 priority patent/US8996577B2/en
Priority to PCT/JP2012/065385 priority patent/WO2013008583A1/ja
Publication of JP2013025327A publication Critical patent/JP2013025327A/ja
Application granted granted Critical
Publication of JP5230778B2 publication Critical patent/JP5230778B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

【課題】現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するAR技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供する。
【解決手段】オブジェクト情報提供システム1において、少なくとも一のマッチングデータがオブジェクト情報提供装置10から端末20に送信され、そのマッチングデータに基づく画像解析処理の結果が端末20からオブジェクト情報提供装置10に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末20におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。
【選択図】図1

Description

本発明は、オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法に関する。
近年において、AR(Augmented Reality:拡張現実)技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置された仮想オブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含む仮想オブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられた仮想オブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。また、通信を介して現実空間の構造物の形状等の情報を含む3次元の地図情報を取得し、取得した地図情報とカメラにより取得された現実空間の画像とをマッチングさせる画像解析処理を行い、それらが一致した場合に、現実空間に存在する所定の対象物に対応付けて仮想オブジェクトを現実空間の画像に重畳表示する技術が知られている。一方、様々な条件で撮影された画像から良好にマーカを検出するために、マーカの登録画像から、色彩、輝度、コントラスト、解像度、ピントを変化させたマーカの画像を生成し、生成した画像に基づき、マーカの検出を行う装置が知られている(例えば、特許文献1参照)。
特開2007−304733号公報
上述した、3次元の地図情報と現実空間の画像とのマッチングに基づき仮想オブジェクトを表示させる技術では、マッチングに用いるマッチングデータとなる3次元の地図情報は、非常に大きな情報量を有する。このため、マッチングデータの情報量の多さに起因して、マッチングデータを取得するための通信時間が長い、通信回線におけるトラフィックの増大、通信料金の高騰、及びマッチング処理時間の増大といった課題が生じている。特許文献1に記載された技術は、検出精度向上を課題として、予め記憶したマーカの画像のバリエーションを生成するものであるため、上述したようなマッチングデータの情報量の多さに起因する課題を解決できない。
そこで、本発明は、上記問題点に鑑みてなされたものであり、現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するAR技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供することが可能なオブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法を提供することを目的とする。
上記課題を解決するために、本発明のオブジェクト情報提供装置は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信手段と、送信手段により送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信手段と、受信手段により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整手段と、を備える。
上記課題を解決するために、本発明のオブジェクト情報提供システムは、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムであって、オブジェクト情報提供装置は、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信手段と、送信手段により送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信手段と、受信手段により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整手段と、を備え、端末は、送信手段から送信されたマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信手段と、オブジェクト情報受信手段により受信されたマッチングデータに基づき画像解析処理を実施する画像解析手段と、画像解析手段により実施された画像解析処理における処理結果をオブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える。
上記課題を解決するために、本発明の端末は、現実空間の画像から所定の対象物を抽出するためのマッチングデータに対して、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムにおける端末であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に、オブジェクト情報提供装置から受信するオブジェクト情報受信手段と、オブジェクト情報受信手段により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析手段と、画像解析手段により実施された画像解析処理における、マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える。
また、上記課題を解決するために、本発明のオブジェクト情報提供方法は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置におけるオブジェクト情報提供方法であって、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信ステップと、送信ステップにおいて送信されたマッチングデータに基づき端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を端末から受信する受信ステップと、受信ステップにおいて受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整ステップと、を有する。
また、上記課題を解決するために、本発明のオブジェクト情報提供方法は、現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むシステムにおけるオブジェクト情報提供方法であって、オブジェクト情報提供装置が、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末に送信する送信ステップと、端末が、送信ステップにおいて送信された一のマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信ステップと、端末が、オブジェクト情報受信ステップにおいて受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析ステップと、端末が、画像解析ステップにおいて実施された画像解析処理における、当該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する画像解析結果送信ステップと、オブジェクト情報提供装置が、画像解析結果送信ステップにおいて送信された処理結果を受信する受信ステップと、オブジェクト情報提供装置が、受信ステップにおいて受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する調整ステップと、を有する。
本発明によれば、少なくとも一のマッチングデータがオブジェクト情報提供装置から端末に送信され、そのマッチングデータに基づく画像解析処理の結果が端末からオブジェクト情報提供装置に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。従って、マッチングデータと現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供できる。
また、本発明のオブジェクト情報提供装置では、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、送信手段は、完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを仮想オブジェクト情報と共に送信し、調整手段は、簡略マッチングデータに基づく画像解析処理において、正当な対象物が抽出された場合には、一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける。
また、本発明のオブジェクト情報提供システムでは、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、送信手段は、完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを仮想オブジェクト情報と共に送信し、調整手段は、画像解析処理において正当な対象物が抽出された場合には、一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、オブジェクト情報受信手段は、送信手段から送信された完全マッチングデータ及び簡略マッチングデータを受信し、画像解析手段は、オブジェクト情報受信手段により受信された完全マッチングデータ及び簡略マッチングデータの各々に基づく画像解析処理を実施し、画像解析結果送信手段は、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果をオブジェクト情報提供装置に送信し、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果をオブジェクト情報提供装置に送信する。
また、本発明の端末では、複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、オブジェクト情報受信手段は、送信手段から送信された完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを受信し、画像解析手段は、オブジェクト情報受信手段により受信された完全マッチングデータ及び簡略マッチングデータの各々に基づく画像解析処理を実施し、画像解析結果送信手段は、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果をオブジェクト情報提供装置に送信し、完全マッチングデータに基づき抽出された対象物と簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果をオブジェクト情報提供装置に送信する。
上記構成によれば、完全マッチングデータ及び簡略マッチングデータがオブジェクト情報提供装置から端末に送信され、各々のマッチングデータに基づく画像解析処理が実施され、各画像解析処理において抽出された対象物が一致した場合に、簡略マッチングデータにおける情報量が一段階少なく調整され、一致しなかった場合に、簡略マッチングデータにおける情報量が一段階多く調整される。これにより、仮想オブジェクト情報に対応付けられる簡略マッチングデータの情報量が、正当な対象物の抽出の成否に応じて適切に設定される。
また、本発明のオブジェクト情報提供装置では、調整手段は、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定することとしてもよい。
また、本発明のオブジェクト情報提供システムでは、調整手段は、画像解析処理において正当な対象物が抽出されなかった場合には、一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定することとしてもよい。
この場合には、完全マッチングデータ及び簡略マッチングデータを用いた画像解析処理が逐次実施され、簡略マッチングデータに基づく画像解析処理において正当な対象物が抽出された画像解析処理の後に、正当な対象物が抽出されなかった場合に、当該簡略マッチングデータよりも情報量が一段階多い簡略マッチングデータが仮想オブジェクト情報に対応付けられるので、正当な対象物を抽出可能な簡略マッチングデータのうち最も情報量が少ない簡略マッチングデータが仮想オブジェクト情報に対応付けられる。従って、対象物とのマッチング処理の精度及び情報量が最適化された簡略マッチングデータが仮想オブジェクト情報に対応付けられることとなる。また、このときに学習済フラグが設定されるので、最適化された簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることが、システムにおいて認識される。
また、本発明のオブジェクト情報提供装置では、送信手段は、仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、調整手段は、送信手段により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する学習済フラグを非設定にすることとしてもよい。
また、本発明のオブジェクト情報提供システムでは、送信手段は、仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、調整手段は、送信手段により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する学習済フラグを非設定にし、画像解析手段は、オブジェクト情報受信手段により受信された簡略マッチングデータに基づく画像解析処理を実施し、画像解析結果送信手段は、画像解析処理において簡略マッチングデータに基づき複数の対象物が抽出された場合に、正当な対象物以外のものが抽出された旨の処理結果をオブジェクト情報提供装置に送信することとしてもよい。
上記構成によれば、情報量の観点において一旦最適化された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが現実空間の画像から抽出された場合に、学習済フラグが非設定にされるので、簡略マッチングデータの容量の最適化のプロセスが再び行われることとなる。これにより、マッチング処理の精度の低下が防止される。
現実空間の画像における所定の対象物を抽出して当該対象物に対応付けて仮想オブジェクトを表示するAR技術において、現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供することが可能となる。
オブジェクト情報提供しすてむの装置構成を示すブロック図である。 オブジェクト情報提供装置の機能的構成を示すブロック図である。 端末の機能的構成を示すブロック図である。 オブジェクト情報提供装置のハードブロック図である。 オブジェクト情報提供装置における仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。 オブジェクト情報提供装置におけるマッチングデータ格納部の構成及び記憶されているデータの例を示す図である。 端末におけるオブジェクト情報記憶部の構成及び記憶されているデータの例を示す図である。 オブジェクト情報提供方法における端末の処理内容を示すフローチャートである。 オブジェクト情報提供方法におけるオブジェクト情報提供装置の処理内容を示すフローチャートである。
本発明に係るオブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
図1は、オブジェクト情報提供システム1の装置構成を示す図である。オブジェクト情報提供システム1は、オブジェクト情報提供装置10及び端末20を含む。オブジェクト情報提供装置10及び端末20は、インターネットや無線LAN、移動体通信網などで構成されている通信ネットワークNを介して互いに通信することが可能である。端末20は、例えば、携帯端末、パーソナルコンピュータ等により構成される。なお、図1では端末20を3台示しているが、オブジェクト情報提供システム1内に存在する端末20の台数は任意である。
本実施形態のオブジェクト情報提供システム1は、通信を介して現実空間の構造物の形状等の情報を含む3次元の地図情報がオブジェクト情報提供装置10から端末20に提供され、端末20において地図情報とカメラにより取得された現実空間の画像とをマッチングさせる画像解析処理が行われ、それらが一致した場合に、現実空間に存在する所定の対象物に対応付けて仮想オブジェクトを現実空間の画像に重畳表示するAR技術を想定したものである。
オブジェクト情報提供装置10は、端末に対して、仮想オブジェクト情報を提供する装置であって、例えばサーバといったコンピュータにより構成される。仮想オブジェクト情報は、端末20において、現実空間の画像に重畳表示させるための仮想オブジェクトの画像データを含む。仮想オブジェクト情報は、現実空間の画像から所定の対象物を抽出するためのマッチングデータが対応付けられている。
端末20は、マッチングデータに基づき現実空間の画像から所定の対象物を抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する装置である。マッチングデータは、現実空間における所定の対象物を表す画像データである。また、所定の対象物は、例えば、現実空間に存在する建物や自然の地形といった構造物であって、現実空間の画像から画像解析によって抽出可能なものであれば、どのようなものであってもよい。
図2は、オブジェクト情報提供装置10の機能的構成を示すブロック図である。図2に示すように、オブジェクト情報提供装置10は、機能的には、位置情報取得部11、オブジェクト情報抽出部12、オブジェクト情報記憶部13、オブジェクト情報送信部14(送信手段)、画像解析結果受信部15(受信手段)、及びマッチングデータ調整部16(調整手段)を含む。
また、図3は、端末20の機能的構成を示すブロック図である。図3に示すように、端末20は、機能的には、位置測位部21、位置情報送信部22、オブジェクト情報取得部23(オブジェクト情報受信手段)、オブジェクト情報記憶部24、撮影部25、画像解析部26(画像解析手段)、画像解析結果送信部27(画像解析結果送信手段)、及び表示部28を含む。
図4は、オブジェクト情報提供装置10のハードウエア構成図である。オブジェクト情報提供装置10は、物理的には、図4に示すように、CPU101、主記憶装置であるRAM102及びROM103、データ送受信デバイスである通信モジュール104、ハードディスク、フラッシュメモリ等の補助記憶装置105、入力デバイスであるキーボード等の入力装置106、ディスプレイ等の出力装置107などを含むコンピュータシステムとして構成されている。図2に示した各機能は、図4に示すCPU101、RAM102等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、CPU101の制御のもとで通信モジュール104、入力装置106、出力装置107を動作させるとともに、RAM102や補助記憶装置105におけるデータの読み出し及び書き込みを行うことで実現される。また、図3に示す端末20も、図4に示すようなハードウエア構成を有する。再び、図2を参照し、オブジェクト情報提供装置10の各機能部について詳細に説明する。
位置情報取得部11は、端末20の所在位置を示す位置情報を取得する部分である。この位置情報は、端末20の位置情報送信部22から送信される。位置情報取得部11は、取得した位置情報をオブジェクト情報抽出部12に送出する。
オブジェクト情報抽出部12は、オブジェクト情報記憶部13を参照して、位置情報取得部11から取得した位置情報に示される位置周辺に配置された仮想オブジェクトに関するオブジェクト情報を、オブジェクト情報記憶部13から抽出する部分である。オブジェクト情報抽出部12は、抽出したオブジェクト情報をオブジェクト情報送信部14に送出する。
オブジェクト情報記憶部13は、オブジェクト情報を記憶している部分であって、マッチングデータ格納部13A及び仮想オブジェクト格納部13Bを含む。図5は、仮想オブジェクト格納部13Bの構成及び記憶されているデータの例を示す図である。図5に示すように、仮想オブジェクト格納部13Bは、オブジェクト情報を識別するIDごとに、完全マッチングデータ、位置・方向、学習済フラグ、簡略レベル及び画像解析処理結果、簡略マッチングデータ及び仮想オブジェクト情報を記憶している。
「完全マッチングデータ」は、一の対象物を表す複数のマッチングデータのうちの最も情報量が多いマッチングデータである。後述するように、オブジェクト情報記憶部13は、一の対象物を表すマッチングデータとして、複数のマッチングデータを記憶している。
「位置・方向」は、現実空間における対象物の位置及び方向を示す情報である。位置は、例えば、経度及び緯度により表される。方向は、所定の方向を基準とした当該対象物における所定方向が成す回転角により表される。当該対象物における所定方向は、例えば、当該対象物をマッチングデータにより示される画像のとおりに視認できる正対方向である。例えば、「NE:xx度」は、北方向(N)を基準として東方向(E)にxx度回転した方向を表す。なお、同図における「S」は南方向を表し、「W」は西方向を表す。なお、仮想オブジェクトは、現実空間の対象物に対応付けられて重畳表示されるので、「位置」の情報は、対象物の所在位置を示すと共に、仮想オブジェクトの配置位置でもある。
「学習済フラグ」は、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示すフラグである。学習済フラグ「1」は、複数の簡略マッチングデータから、現実空間の画像における対象物とのマッチング処理に好適な情報量を有する簡略マッチングデータが選択され、マッチングデータ調整部16によるマッチングデータの情報量の調整が完了した状態を示す。一方、学習済フラグ「0」は、マッチングデータ調整部16によるマッチングデータの情報量の調整が完了していない状態を示す。学習済フラグの設定の詳細については後述する。
「画像解析処理結果」は、簡略マッチングデータの簡略レベルごとの画像解析処理結果を示す情報であって、端末20における簡略マッチングデータによる正当な対象物の抽出の成否を示す。画像解析処理結果の詳細については後述する。
「簡略マッチングデータ」は、現時点において、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータである。一の対象物を表す複数のマッチングデータは、完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータを含む。仮想オブジェクト格納部13Bにおける「簡略マッチングデータ」は、複数の簡略マッチングデータのうちの、いずれかの段階の情報量を有する簡略マッチングデータである。
「仮想オブジェクト情報」は、端末20において、現実空間の画像に重畳表示される仮想オブジェクトを表す画像データである。
また、図6は、マッチングデータ格納部13Aの構成及び記憶されているデータの例を示す図である。図6に示すように、マッチングデータ格納部13Aは、一の対象物ごとに、その対象物を表す複数のマッチングデータを記憶している。図6に示す例は、図5の仮想オブジェクト格納部13BにおけるID「1」に対応付けられた複数のマッチングデータを示す。図6に示すマッチングデータ格納部13Aは、一の完全マッチングデータ及び簡略レベル1〜4の簡略マッチングデータを記憶している。
マッチングデータは、画像データであるので、色の階調の表現方法、解像度等の情報の含ませ方に依存して、情報量が大きく異なる。完全マッチングデータ及び簡略レベル1〜4の簡略マッチングデータは、一の対象物を異なる情報量により表した画像データである。完全マッチングデータは、最も多くの情報量を有するマッチングデータである。簡略レベル1の簡略マッチングデータは、例えば、完全マッチングデータに対して、ノイズ除去及び単色化処理を施して得られたマッチングデータである。簡易レベル2の簡略マッチングデータは、例えば、簡略レベル1の簡略マッチングデータに対して、グレースケール処理を施して得られたマッチングデータである。
簡易レベル3の簡略マッチングデータは、例えば、簡略レベル2の簡略マッチングデータに対して、細線化処理を施して得られたマッチングデータである。簡易レベル4の簡略マッチングデータは、例えば、簡略レベル3の簡略マッチングデータに対して、白色及び黒色の二値化処理を施して得られたマッチングデータである。
こうして得られた複数のマッチングデータでは、完全マッチングデータの情報量が最も多い。また、簡略マッチングデータでは、簡易レベルが高いほど情報量が少ない。情報量が多いマッチングデータを用いた現実空間の画像から対象物を抽出する画像解析処理は、高精度である一方、処理負荷が大きい。また、情報量が多いマッチングデータの装置間の通信は、情報量が少ないマッチングデータの通信に比べて時間を要する。逆に、情報量が少ないマッチングデータを用いた現実空間の画像から対象物を抽出する画像解析処理は、低精度である一方、処理負荷が小さい。なお、上述した、各簡略マッチングデータを得るための処理は、例示であって、情報量が段階的に異なるマッチングデータが得られる限りにおいて、この例に限定されない。
オブジェクト情報送信部14は、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に端末20に送信する部分である。マッチングデータ及び仮想オブジェクト情報は、オブジェクト情報抽出部12から送出されたオブジェクト情報に含まれる。
具体的には、オブジェクト情報送信部14は、オブジェクト情報抽出部12により位置情報に基づき抽出された仮想オブジェクト情報と共に、仮想オブジェクト格納部13B(図5参照)に記憶されているマッチングデータを端末20に送信する。
さらに具体的には、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されていない場合には、最適な簡略マッチングデータが決定されていないので、オブジェクト情報送信部14は、完全マッチングデータ及び簡略マッチングデータを端末20に送信する。完全マッチングデータは、簡略マッチングデータを用いた画像解析処理により現実空間の画像から抽出された対象物が正当であるか否かを判定するために用いられる。一方、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されている場合には、最適な簡略マッチングデータが決定されているので、オブジェクト情報送信部14は、簡略マッチングデータを端末20に送信する。
画像解析結果受信部15は、オブジェクト情報送信部14により端末20に送信されたマッチングデータに基づいて端末20において実施された現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果の通知を端末20から受信する部分である。
マッチングデータ調整部16は、画像解析結果受信部15により受信された処理結果に基づき、仮想オブジェクト情報に対応付けて端末に提供するマッチングデータの情報量を調整する部分である。具体的には、マッチングデータ調整部16は、簡略マッチングデータに基づく画像解析処理において、正当な対象物が抽出された旨の通知を画像解析結果受信部15が受信した場合には、当該簡略マッチングデータよりも少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける。即ち、マッチングデータ調整部16は、図5に示す仮想オブジェクト格納部13Bにおいて、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータを、簡略レベルが1段階高い簡略マッチングデータに変更すると共に、従前の簡略マッチングデータによる画像処理結果として、同レコードの画像解析処理結果に「O.K.」を設定する。
また、簡略マッチングデータに基づく画像解析処理において正当な対象物が抽出されなかった旨の通知を画像解析結果受信部15が受信した場合には、マッチングデータ調整部16は、当該簡略マッチングデータよりも多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、学習済フラグを当該仮想オブジェクト情報に対応付けて設定する。即ち、マッチングデータ調整部16は、図5に示す仮想オブジェクト格納部13Bにおいて、当該仮想オブジェクト情報に対応付けられている簡略マッチングデータを、簡略レベルが1段階低い簡略マッチングデータに変更すると共に、従前の簡略マッチングデータによる画像処理結果として、同レコードの画像解析処理結果に「NG」を設定する。そして、マッチングデータ調整部16は、同レコードにおいて、学習済フラグを設定する。従って、この時点において、正当な対象物を抽出可能な簡略マッチングデータのうち最も情報量が少ない簡略マッチングデータが当該仮想オブジェクト情報に対応付けられることとなる。即ち、仮想オブジェクト情報に対応付けられる簡略マッチングデータが最適化される。
また、学習済フラグが設定されている場合に、オブジェクト情報送信部14により送信された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが抽出された旨の通知を画像解析結果受信部15が受信した場合には、マッチングデータ調整部16は、当該仮想オブジェクト情報に関する学習済フラグを非設定にする。これにより、情報量の観点において一旦最適化された簡略マッチングデータに基づく画像解析処理において、正当な対象物以外のものが現実空間の画像から抽出された場合に学習済フラグが非設定にされるので、簡略マッチングデータの容量の最適化のプロセスが再び行われることとなる。これにより、マッチング処理の精度の低下が防止される。
次に、再び図4を参照して、端末20の各機能部の機能について説明する。位置測位部21は、端末20の所在位置を示す位置情報を取得する部分であって、例えばGPS装置により構成される。位置測位部21は、取得した位置情報を位置情報送信部22に送出する。位置情報送信部22は、位置情報をオブジェクト情報提供装置10に送信する部分である。
オブジェクト情報取得部23は、オブジェクト情報提供装置10から送信されたマッチングデータ及び仮想オブジェクト情報を受信する部分である。オブジェクト情報取得部23は、マッチングデータ及び仮想オブジェクト情報をオブジェクト情報記憶部24に記憶させる。
オブジェクト情報記憶部24は、オブジェクト情報取得部23により受信されたマッチングデータ及び仮想オブジェクト情報を記憶する部分であって、マッチングデータ格納部24A及び仮想オブジェクト格納部24Bを含む。図7は、オブジェクト情報記憶部24の構成及び記憶されているデータの例を示す図である。オブジェクト情報記憶部24は、オブジェクト情報を識別するIDに対応付けて、完全マッチングデータ、簡略版マッチングデータ及び仮想オブジェクト情報を記憶している。即ち、マッチングデータ格納部24Aは、図7のテーブルにおける完全マッチングデータ及び簡略版マッチングデータのカラムに相当し、仮想オブジェクト格納部24Bは、図7のテーブルにおける仮想オブジェクト情報のカラムに相当する。
撮影部25は、現実空間の画像を撮影する部分であって、例えば、カメラといった装置により構成される。撮影部25は、現実空間の画像を画像解析部26に送出する。
画像解析部26は、オブジェクト情報取得部23により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する部分である。
具体的には、オブジェクト情報取得部23が完全マッチングデータ及び簡略版マッチングデータをオブジェクト情報提供装置10から取得した場合には、画像解析部26は、完全マッチングデータ及び簡略マッチングデータの各々に基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する。そして、画像解析部26は、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出の成否に関する情報を、画像解析結果送信部27に送出する。
一方、オブジェクト情報取得部23が簡略版マッチングデータのみをオブジェクト情報提供装置10から取得した場合には、画像解析部26は、当該簡略マッチングデータに基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する。そして、画像解析部26は、当該簡略マッチングデータに基づく対象物の抽出の成否に関する情報を、画像解析結果送信部27に送出する。
画像解析結果送信部27は、画像解析部26により実施された画像解析処理における、マッチングデータが表す正当な対象物の抽出の成否を示す処理結果をオブジェクト情報提供装置に送信する部分である。
具体的には、画像解析部26において、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出処理が実施され、各々の対象物の抽出の成否に関する情報を画像解析部26から取得し、且つ、各々の抽出処理により抽出された対象物が一致する場合には、画像解析結果送信部27は、「O.K.通知」をオブジェクト情報提供装置10に送信する。「O.K.通知」は、簡略マッチングデータに基づき抽出された対象物が、当該マッチングデータが表す正当な対象物であることを示す通知である。一方、各々の抽出処理により抽出された対象物が一致しない場合には、画像解析結果送信部27は、「NG通知1」をオブジェクト情報提供装置10に送信する。「NG通知1」は、簡略マッチングデータに基づき抽出された対象物が、当該マッチングデータが表す正当な対象物でないことを示す通知である。
また、画像解析部26において、簡略マッチングデータに基づく対象物の抽出処理のみが実施され、複数の対象物が抽出された場合には、画像解析結果送信部27は、「NG通知2」をオブジェクト情報提供装置10に送信する。「NG通知2」は、簡略マッチングデータに基づき、正当な対象物以外のものを含む複数の対象物が抽出されたことを示す通知である。
また、画像解析部26において、完全マッチングデータ及び簡略マッチングデータの各々に基づく対象物の抽出処理が実施され、各々の抽出処理により抽出された対象物が一致する場合、又は簡略マッチングデータに基づく対象物の抽出処理のみが実施され、一の対象物が抽出された場合には、画像解析部26は、現実空間の画像における対象物の抽出結果及びオブジェクト情報を、現実空間の画像と共に表示部28に送出する。抽出結果は、現実空間の画像における当該対象物の位置や大きさを示す情報を含む。
表示部28は、仮想オブジェクトを現実空間の画像に重畳表示する部分であって、例えば、ディスプレイといった装置を含む。具体的には、表示部28は、画像解析処理に用いられたマッチングデータにオブジェクト情報記憶部24において対応付けられた仮想オブジェクトを、画像解析部26により抽出された対象物に対応付けて現実空間の画像に重畳表示する。
次に、図8を参照して、オブジェクト情報提供システム1におけるオブジェクト情報提供方法において、端末20により実施される処理内容を説明する。
まず、位置測位部21は、端末20の所在位置を示す位置情報を取得する(S1)。続いて、位置情報送信部22は、位置情報をオブジェクト情報提供装置10に送信する(S2)。
次に、オブジェクト情報取得部23は、ステップS2において送信した位置情報に応じてオブジェクト情報提供装置10から送信されたマッチングデータ及び仮想オブジェクト情報を受信する(S3)。オブジェクト情報取得部23は、マッチングデータ及び仮想オブジェクト情報をオブジェクト情報記憶部24に記憶させる。
続いて、画像解析部26は、オブジェクト情報取得部23がオブジェクト情報提供装置10から完全マッチングデータ及び簡略版マッチングデータを取得したか、又は簡略版マッチングデータのみを取得したか、を判断する(S4)。完全マッチングデータ及び簡略版マッチングデータを取得したと判断された場合には、処理手順は、ステップS5に進められる。一方、簡略版マッチングデータのみを取得したと判断された場合には、処理手順は、ステップS10に進められる。
ステップS5において、画像解析部26は、ステップS3において取得した簡略マッチングデータに基づき、撮影部25により取得された現実空間の画像から対象物を抽出する画像解析処理を実施する(S5)。ステップS5の処理は、簡略マッチングデータを用いたマッチング処理により現実空間の画像から何らかの対象物が抽出されるまで繰り返される。
次に、画像解析部26は、ステップS3において取得した完全マッチングデータに基づき、撮影部25により取得された現実空間の画像から対象物を抽出する画像解析処理を実施する(S6)。完全マッチングデータは、多くの情報量を有するので、完全マッチングデータに基づき抽出された対象物は、当該マッチングデータが表す正当な対象物である可能性が高い。そして、画像解析部26は、完全マッチングデータに基づき抽出された対象物と、ステップS5において簡略マッチングデータに基づき抽出された対象物が一致するか否かを判定する。
一致すると判定されなかった場合には処理手順はステップS7に進められる。この場合には、ステップS5において抽出された対象物が正当な対象物ではないので、画像解析結果送信部27は、「NG通知1」をオブジェクト情報提供装置10に送信する(S7)。
一方、一致すると判定された場合には処理手順はステップS8に進められる。この場合には、ステップS5において抽出された対象物が正当な対象物であるので、表示部28は、ステップS3において取得した仮想オブジェクトを、画像解析部26により抽出された対象物に対応付けて現実空間の画像に重畳表示する(S8)。また、続くステップS9において、画像解析結果送信部27は、「O.K.通知」をオブジェクト情報提供装置10に送信する(S9)。
また、ステップS10において、画像解析部26は、ステップS3において取得した簡略マッチングデータに基づき、現実空間の画像から対象物を抽出する画像解析処理を実施する(S10)。簡略マッチングデータのみがオブジェクト情報提供装置10から送信される場合は、オブジェクト情報提供装置10において、画像解析処理に最適な簡略マッチングデータが決定されている場合である。即ち、この簡略マッチングデータは、学習済の簡略マッチングデータである。
学習済の簡略マッチングデータに基づき、現実空間の画像から一の対象物が抽出された場合には、処理手順はステップS11に進められる。この場合には、抽出された対象物は当該簡略マッチングデータが表す正当な対象物である可能性が高いので、表示部28は、ステップS3において取得した仮想オブジェクトを、画像解析部26により抽出された対象物に対応付けて現実空間の画像に重畳表示する(S11)。
一方、学習済の簡略マッチングデータに基づき、現実空間の画像から複数の対象物が抽出された場合には、処理手順はステップS12に進められる。この場合には、一旦学習済とされた簡略マッチングデータが画像解析処理に最適なものではないことを意味するので、画像解析結果送信部27は、「NG通知2」をオブジェクト情報提供装置10に送信する(S12)。
続いて、オブジェクト情報提供装置10におけるオブジェクト情報提供方法の処理内容を説明する。図9は、オブジェクト情報提供装置10におけるオブジェクト情報提供方法の処理内容を示すフローチャートである。
まず、位置情報取得部11は、端末20の所在位置を示す位置情報を取得する(S21)。続いて、オブジェクト情報抽出部12は、オブジェクト情報記憶部13を参照して、位置情報取得部11から取得した位置情報に示される位置周辺に配置された仮想オブジェクトに関するオブジェクト情報を、オブジェクト情報記憶部13から抽出する(S22)。そして、オブジェクト情報送信部14は、抽出されたオブジェクト情報における学習済フラグが設定されているか否かを判定する(S23)。学習済フラグが設定されていると判定されなかった場合には、処理手順はステップS24に進められる。一方、学習済フラグが設定されていると判定された場合には、処理手順はステップS32に進められる。
ステップS24において、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されていない場合には、最適な簡略マッチングデータが決定されていないので、オブジェクト情報送信部14は、完全マッチングデータ及び簡略マッチングデータを端末20に送信する(S24)。続いて、画像解析結果受信部15は、ステップS24において送信したマッチングデータに基づいて端末20において実施された現実空間の画像から対象物を抽出する画像解析処理における、処理結果の通知を受信する(S25)。
「O.K.通知」を受信した場合には、処理手順はステップS26に進められる。この場合には、簡略マッチングデータの情報量を更に少なくしても、正当な対象物の抽出が可能である可能性がある。そこで、マッチングデータ調整部16は、ステップS24において送信した簡略マッチングデータよりも、簡略レベルが1段階上の簡略マッチングデータをマッチングデータ格納部13Aから取得する(S26)。そして、マッチングデータ調整部16は、ステップS26で取得した簡略マッチングデータを、ステップS24において送信した仮想オブジェクト情報に対応付けて、仮想オブジェクト格納部13Bに格納する(S27)。
一方、ステップS25で「NG通知1」を受信した場合には、処理手順はステップS28に進められる。この場合には、ステップS24で送信した簡略マッチングデータは、正当な対象物を抽出可能な簡略マッチングデータのうち、最も情報量が少ない簡略マッチングデータよりも、簡略レベルが1段階上の簡略マッチングデータであると考えられる。そこで、マッチングデータ調整部16は、ステップS24において送信した簡略マッチングデータよりも、簡略レベルが1段階下の簡略マッチングデータをマッチングデータ格納部13Aから取得する(S28)。そして、マッチングデータ調整部16は、当該仮想オブジェクト情報に対応付けて学習済フラグを設定(学習済フラグ=1)すると共に(S29)、ステップS28で取得した簡略マッチングデータを、ステップS24において送信した仮想オブジェクト情報に対応付けて、仮想オブジェクト格納部13Bに格納する(S30)。さらに、オブジェクト情報送信部14は、更新された簡略マッチングデータを、画像解析処理に供するために端末20に送信してもよい(S31)。
ステップS32において、当該仮想オブジェクト情報に対応付けられた学習済フラグが設定されている場合には、最適な簡略マッチングデータが決定されているので、オブジェクト情報送信部14は、簡略マッチングデータのみを端末20に送信する。続いて、画像解析結果受信部15は、ステップS32において送信した簡略マッチングデータに基づいて端末20において実施された現実空間の画像から対象物を抽出する画像解析処理における処理結果の通知として、「NG通知2」を受信したか否かを判定する(S33)。「NG通知2」を受信したと判定された場合には、処理手順はステップS34に進められる。一方、「NG通知2」を受信したと判定されなかった場合には、処理手順は終了する。
ステップS34において、マッチングデータ調整部16は、当該仮想オブジェクト情報に関する学習済フラグを非設定(学習済フラグ=0)にする(S34)。この場合には、情報量の観点において一旦最適化された簡略マッチングデータが最適ではなかった可能性があるとして、簡略マッチングデータの情報量の最適化のプロセスが再び行われることとなる。さらに、オブジェクト情報送信部14は、完全マッチングデータを、画像解析処理に供するために端末20に送信してもよい(S35)。こうして、処理を終了する。
本実施形態のオブジェクト情報提供装置10、オブジェクト情報提供システム1、端末20及びオブジェクト情報提供方法によれば、少なくとも一のマッチングデータがオブジェクト情報提供装置10から端末20に送信され、そのマッチングデータに基づく画像解析処理の結果が端末20からオブジェクト情報提供装置10に送信され、画像処理結果に基づきマッチングデータの情報量が調整される。これにより、端末20におけるマッチングデータが表す正当な対象物の抽出の成否が、マッチングデータの情報量に反映される。従って、マッチングデータと現実空間の画像における対象物とのマッチング処理の精度を低下させることなく、適切な情報量を有するマッチングデータを提供できる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
例えば、マッチングデータに基づく現実空間の画像からの対象物の抽出の精度は、対象物と端末20との距離、対象物を基準とした端末20が所在する方向の対象物の正対方向に対してのずれ(角度)、光量といった種々の条件に依存する場合があるので、マッチングデータ調整部16は、この依存性に鑑みて、マッチングデータの調整を実施することとしてもよい。具体的には、端末20の画像解析結果送信部27は、画像解析部26におけるマッチングデータに基づく対象物の抽出の成否に関する情報に併せて、端末20の位置情報及び方位情報を、オブジェクト情報提供装置10に送信する。方位情報は、端末20が備える地磁気センサ及び加速度センサ(図示せず)といった装置により取得できる。そして、オブジェクト情報提供装置10のマッチングデータ調整部16は、受信した位置情報及び方位情報並びに、オブジェクト情報記憶部13に記憶された当該対象物の位置・方向の情報に基づき、対象物と端末20との距離及び対象物の正対方向に対しての端末20が所在する方向が成す角度を算出する。マッチングデータ調整部16は、算出した距離及び角度を、距離の値及び角度の値に関して予め複数設定された所定範囲の区間に分類し、分類された距離及び角度の区間ごとに、マッチングデータの情報量の調整を実施できる。即ち、マッチングデータ調整部16は、分類された距離及び角度の区間ごとに好適な簡略マッチングデータを選択できる。なお、マッチングデータ調整部16は、距離及び角度の区間並びに時刻の範囲ごとに簡略マッチングデータを選択できることとしてもよい。
また、本実施形態では、マッチングデータ調整部16は、例えば図9に示すように、画像解析部26におけるマッチングデータに基づく対象物の抽出の成否に関する情報を受信(S25,S33)する度に、簡略マッチングデータの選択及び変更を実施(S26,S28〜S29,S34)することとしていた。これに対して、マッチングデータに基づく現実空間の画像からの対象物の抽出の成否に関する精度において、光量、カメラの性能、撮影時における端末20の利用者の手ぶれ等の種々の外的要因に依存してばらつきが生じることに鑑みて、マッチングデータ調整部16は、ある簡略レベルが設定されている状態において所定の回数以上又は所定の割合以上の対象物の抽出の成否に関する同一種の通知を受信した場合に、簡略マッチングデータの選択及び変更を実施することとしてもよい。また、マッチングデータ調整部16は、簡略レベルごとに対象物の抽出の成否に関する通知の数を、通知の種類ごとに集計し、集計された通知の数を統計的に処理して、簡略マッチングデータの選択を実施してもよい。
1…オブジェクト情報提供システム、10…オブジェクト情報提供装置、11…位置情報取得部、12…オブジェクト情報抽出部、13…オブジェクト情報記憶部、13A…マッチングデータ格納部、13B…仮想オブジェクト格納部、14…オブジェクト情報送信部、15…画像解析結果受信部、16…マッチングデータ調整部、20…端末、21…位置測位部、22…位置情報送信部、23…オブジェクト情報取得部、24…オブジェクト情報記憶部、24A…マッチングデータ格納部、24B…仮想オブジェクト格納部、25…撮影部、26…画像解析部、27…画像解析結果送信部、28…表示部、N…ネットワーク。

Claims (12)

  1. 現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置であって、
    含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信手段と、
    前記送信手段により送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信手段と、
    前記受信手段により受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整手段と、
    を備えるオブジェクト情報提供装置。
  2. 前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    前記送信手段は、前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを前記仮想オブジェクト情報と共に送信し、
    前記調整手段は、前記簡略マッチングデータに基づく前記画像解析処理において、前記正当な対象物が抽出された場合には、前記一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付ける、
    請求項1に記載のオブジェクト情報提供装置。
  3. 前記調整手段は、
    前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定する、
    請求項2に記載のオブジェクト情報提供装置。
  4. 前記送信手段は、前記仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、
    前記調整手段は、
    前記送信手段により送信された簡略マッチングデータに基づく前記画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する前記学習済フラグを非設定にする、
    請求項3に記載のオブジェクト情報提供装置。
  5. 現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムであって、
    前記オブジェクト情報提供装置は、
    含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信手段と、
    前記送信手段により送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信手段と、
    前記受信手段により受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整手段と、を備え、
    前記端末は、
    前記送信手段から送信された前記マッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信手段と、
    前記オブジェクト情報受信手段により受信されたマッチングデータに基づき前記画像解析処理を実施する画像解析手段と、
    前記画像解析手段により実施された画像解析処理における前記処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信手段と、を備える
    オブジェクト情報提供システム。
  6. 前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    前記送信手段は、前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを前記仮想オブジェクト情報と共に送信し、
    前記調整手段は、前記画像解析処理において前記正当な対象物が抽出された場合には、前記一の段階の情報量より少ない情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付け、
    前記オブジェクト情報受信手段は、前記送信手段から送信された前記完全マッチングデータ及び簡略マッチングデータを受信し、
    前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記完全マッチングデータ及び前記簡略マッチングデータの各々に基づく前記画像解析処理を実施し、
    前記画像解析結果送信手段は、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果を前記オブジェクト情報提供装置に送信し、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果を前記オブジェクト情報提供装置に送信する、
    請求項5記載のオブジェクト情報提供システム。
  7. 前記調整手段は、
    前記画像解析処理において前記正当な対象物が抽出されなかった場合には、前記一の段階の情報量より多い情報量を有する簡略マッチングデータを当該仮想オブジェクト情報に対応付けると共に、正当な対象物を抽出するのに適切な簡略マッチングデータが当該仮想オブジェクト情報に対応付けられていることを示す学習済フラグを当該仮想オブジェクト情報に対応付けて設定する、
    請求項6に記載のオブジェクト情報提供システム。
  8. 前記送信手段は、前記仮想オブジェクト情報に対応付けられて学習済フラグが設定されている場合に、当該仮想オブジェクト情報に対応付けられた簡略マッチングデータを当該仮想オブジェクト情報と共に送信し、
    前記調整手段は、前記送信手段により送信された簡略マッチングデータに基づく前記画像解析処理において、正当な対象物以外のものが抽出された場合には、当該仮想オブジェクト情報に関する前記学習済フラグを非設定にし、
    前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記簡略マッチングデータに基づく前記画像解析処理を実施し、
    前記画像解析結果送信手段は、前記画像解析処理において前記簡略マッチングデータに基づき複数の対象物が抽出された場合に、正当な対象物以外のものが抽出された旨の処理結果を前記オブジェクト情報提供装置に送信する、
    請求項7に記載のオブジェクト情報提供システム。
  9. 現実空間の画像から所定の対象物を抽出するためのマッチングデータに対して、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むオブジェクト情報提供システムにおける端末であって、
    含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に、前記オブジェクト情報提供装置から受信するオブジェクト情報受信手段と、
    前記オブジェクト情報受信手段により受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析手段と、
    前記画像解析手段により実施された画像解析処理における、前記マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信手段と、
    を備える端末。
  10. 前記複数のマッチングデータは、当該複数のマッチングデータのうち最も情報量が多い一の完全マッチングデータと、含まれる情報量が段階的に異なる複数の簡略マッチングデータとを含み、
    前記オブジェクト情報受信手段は、前記送信手段から送信された前記完全マッチングデータ、及び情報量に関する複数の段階のうちの一の段階の情報量が含まれる簡略マッチングデータを受信し、
    前記画像解析手段は、前記オブジェクト情報受信手段により受信された前記完全マッチングデータ及び前記簡略マッチングデータの各々に基づく前記画像解析処理を実施し、
    前記画像解析結果送信手段は、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致する場合に、正当な対象物が抽出された旨の処理結果を前記オブジェクト情報提供装置に送信し、前記完全マッチングデータに基づき抽出された対象物と前記簡略マッチングデータに基づき抽出された対象物とが一致しない場合に、正当な対象物が抽出されなかった旨の処理結果を前記オブジェクト情報提供装置に送信する、
    請求項9に記載の端末。
  11. 現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末に対して、マッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置におけるオブジェクト情報提供方法であって、
    含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信ステップと、
    前記送信ステップにおいて送信されたマッチングデータに基づき前記端末において現実空間の画像から対象物を抽出する画像解析処理における、該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記端末から受信する受信ステップと、
    前記受信ステップにおいて受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整ステップと、
    を有するオブジェクト情報提供方法。
  12. 現実空間の画像から所定の対象物を抽出するためのマッチングデータと、一定以上一致する対象物を現実空間の画像から抽出し、当該マッチングデータに対応付けられた仮想オブジェクトを当該対象物に対応付けて現実空間の画像に重畳表示する端末と、該端末に対してマッチングデータが対応付けられた仮想オブジェクト情報を提供するオブジェクト情報提供装置と、を含むシステムにおけるオブジェクト情報提供方法であって、
    前記オブジェクト情報提供装置が、含まれる情報量が段階的に異なる複数のマッチングデータのうちの少なくとも一のマッチングデータを、該マッチングデータに対応付けられた仮想オブジェクト情報と共に前記端末に送信する送信ステップと、
    前記端末が、前記送信ステップにおいて送信された前記一のマッチングデータ及び仮想オブジェクト情報を受信するオブジェクト情報受信ステップと、
    前記端末が、前記オブジェクト情報受信ステップにおいて受信されたマッチングデータに基づき現実空間の画像から対象物を抽出する画像解析処理を実施する画像解析ステップと、
    前記端末が、前記画像解析ステップにおいて実施された画像解析処理における、当該マッチングデータが表す正当な対象物の抽出の成否を示す処理結果を前記オブジェクト情報提供装置に送信する画像解析結果送信ステップと、
    前記オブジェクト情報提供装置が、前記画像解析結果送信ステップにおいて送信された前記処理結果を受信する受信ステップと、
    前記オブジェクト情報提供装置が、前記受信ステップにおいて受信された処理結果に基づき、前記仮想オブジェクト情報に対応付けて前記端末に提供するマッチングデータの前記情報量を調整する調整ステップと、
    を有するオブジェクト情報提供方法。
JP2011156027A 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法 Active JP5230778B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011156027A JP5230778B2 (ja) 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
EP12811515.1A EP2733673A4 (en) 2011-07-14 2012-06-15 DEVICE FOR PROVIDING OBJECT INFORMATION, SYSTEM FOR PROVIDING OBJECT INFORMATION AND PROCESS FOR PROVIDING OBJECT INFORMATION
CN201280009267.6A CN103380443B (zh) 2011-07-14 2012-06-15 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法
US13/878,868 US8996577B2 (en) 2011-07-14 2012-06-15 Object information provision device, object information provision system, terminal, and object information provision method
PCT/JP2012/065385 WO2013008583A1 (ja) 2011-07-14 2012-06-15 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011156027A JP5230778B2 (ja) 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Publications (2)

Publication Number Publication Date
JP2013025327A true JP2013025327A (ja) 2013-02-04
JP5230778B2 JP5230778B2 (ja) 2013-07-10

Family

ID=47505881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011156027A Active JP5230778B2 (ja) 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Country Status (5)

Country Link
US (1) US8996577B2 (ja)
EP (1) EP2733673A4 (ja)
JP (1) JP5230778B2 (ja)
CN (1) CN103380443B (ja)
WO (1) WO2013008583A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015137968A (ja) * 2014-01-23 2015-07-30 日立Geニュークリア・エナジー株式会社 水中移動体の位置検知装置及び位置検知方法
KR20150130558A (ko) * 2013-03-15 2015-11-23 데크리, 엘엘씨 상황 로컬 이미지 인식 데이터세트

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014068706A1 (ja) * 2012-10-31 2014-05-08 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
US20140253540A1 (en) * 2013-03-07 2014-09-11 Yoav DORI Method and system of incorporating real world objects into a virtual environment
US11085039B2 (en) 2016-12-12 2021-08-10 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
CA3046827A1 (en) 2016-12-12 2018-06-21 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
AU2017388058B2 (en) 2016-12-30 2023-02-02 xCella Biosciences, Inc. Multi-stage sample recovery system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076150A (ja) * 1999-09-08 2001-03-23 Sankyo Seiki Mfg Co Ltd 粗テンプレートの作成方法及び装置
JP2001126051A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 関連情報呈示装置及び関連情報呈示方法
JP2002008028A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Ind Co Ltd パターンマッチング方法と装置
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3031573A (en) * 1956-08-22 1962-04-24 Dowty Electrics Ltd Precipitation chambers
JP4550769B2 (ja) 2006-05-09 2010-09-22 日本電信電話株式会社 画像検出装置および画像検出方法
TWI419124B (zh) * 2009-03-06 2013-12-11 Au Optronics Corp 二維/三維影像顯示裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076150A (ja) * 1999-09-08 2001-03-23 Sankyo Seiki Mfg Co Ltd 粗テンプレートの作成方法及び装置
JP2001126051A (ja) * 1999-10-27 2001-05-11 Olympus Optical Co Ltd 関連情報呈示装置及び関連情報呈示方法
JP2002008028A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Ind Co Ltd パターンマッチング方法と装置
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150130558A (ko) * 2013-03-15 2015-11-23 데크리, 엘엘씨 상황 로컬 이미지 인식 데이터세트
JP2016521391A (ja) * 2013-03-15 2016-07-21 ダクリ エルエルシーDaqri, LLC 文脈的ローカル画像認識データセット
US10210663B2 (en) 2013-03-15 2019-02-19 Daqri, Llc Contextual local image recognition dataset
KR102257826B1 (ko) * 2013-03-15 2021-05-28 데크리, 엘엘씨 상황 로컬 이미지 인식 데이터세트
US11024087B2 (en) 2013-03-15 2021-06-01 Rpx Corporation Contextual local image recognition dataset
US11710279B2 (en) 2013-03-15 2023-07-25 Rpx Corporation Contextual local image recognition dataset
JP2015137968A (ja) * 2014-01-23 2015-07-30 日立Geニュークリア・エナジー株式会社 水中移動体の位置検知装置及び位置検知方法

Also Published As

Publication number Publication date
US8996577B2 (en) 2015-03-31
CN103380443B (zh) 2016-04-27
EP2733673A4 (en) 2015-06-24
CN103380443A (zh) 2013-10-30
JP5230778B2 (ja) 2013-07-10
WO2013008583A1 (ja) 2013-01-17
EP2733673A1 (en) 2014-05-21
US20130198216A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP5230778B2 (ja) オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
US9154742B2 (en) Terminal location specifying system, mobile terminal and terminal location specifying method
TWI483215B (zh) 根據相關3d點雲端資料強化影像資料
US9754183B2 (en) System and method for providing additional information using image matching
US8750559B2 (en) Terminal and method for providing augmented reality
JP5279875B2 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP5055402B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
US11592311B2 (en) Method and apparatus for displaying surrounding information using augmented reality
US20160019704A1 (en) Method and apparatus for displaying point of interest
WO2012114639A1 (ja) オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US20170200048A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
US20120044263A1 (en) Terminal device and method for augmented reality
US10726262B2 (en) Imaging support system, device and method, and imaging terminal
EP2733674A1 (en) Object display device, object display method, and object display program
CN111737547A (zh) 商户信息的获取系统、方法、装置、设备及存储介质
WO2017164288A1 (ja) 画像表示システム、端末、方法およびプログラム
KR20120017293A (ko) 증강 현실 제공 장치 및 방법
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
CN111742320A (zh) 提供与应用有关的文本翻译管理数据的方法及其电子装置
JP5340900B2 (ja) オブジェクト管理装置及びオブジェクト管理方法
US20170228869A1 (en) Multi-spectrum segmentation for computer vision
JP5649842B2 (ja) 情報提供装置、情報提供方法、及びプログラム
KR102010252B1 (ko) 증강 현실 서비스 제공 장치 및 방법
KR20220110967A (ko) 사용자 단말 및 그 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5230778

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250