CN103380443B - 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法 - Google Patents

对象信息提供装置、对象信息提供系统、终端和对象信息提供方法 Download PDF

Info

Publication number
CN103380443B
CN103380443B CN201280009267.6A CN201280009267A CN103380443B CN 103380443 B CN103380443 B CN 103380443B CN 201280009267 A CN201280009267 A CN 201280009267A CN 103380443 B CN103380443 B CN 103380443B
Authority
CN
China
Prior art keywords
matched data
object information
information
imaginary
image analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201280009267.6A
Other languages
English (en)
Other versions
CN103380443A (zh
Inventor
太田学
森永康夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Publication of CN103380443A publication Critical patent/CN103380443A/zh
Application granted granted Critical
Publication of CN103380443B publication Critical patent/CN103380443B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/24Character recognition characterised by the processing or recognition method
    • G06V30/248Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G06V30/2504Coarse or fine approaches, e.g. resolution of ambiguities or multiscale approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/52Scale-space analysis, e.g. wavelet analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

在对象信息提供系统中,从对象信息提供装置向终端发送至少一个匹配数据,从终端向对象信息提供装置发送基于该匹配数据的图像解析处理的结果,根据图像处理结果对匹配数据的信息量进行调整。由此,在匹配数据的信息量中反映终端中的匹配数据所示的正确对象物的提取是否成功。

Description

对象信息提供装置、对象信息提供系统、终端和对象信息提供方法
技术领域
本发明涉及对象信息提供装置、对象信息提供系统、终端和对象信息提供方法。
背景技术
近年来,开发并提供了使用AR(AugmentedReality:增强现实)技术的服务。例如,公知有如下技术:取得配置在移动终端所在位置周边的假想对象,在由移动终端所具有的照相机取得的现实空间图像上重叠显示包含各种信息和图像的假想对象。并且,公知有如下技术:从由移动终端的照相机取得的现实空间图像中检测规定标记,将与该标记对应的假想对象重叠在现实空间图像上而显示在显示器上。并且,公知有如下技术:通过通信而取得包含现实空间的构造物的形状等信息的三维地图信息,进行使所取得的地图信息与由照相机取得的现实空间图像匹配的图像解析处理,在它们一致的情况下,与现实空间中存在的规定对象物对应地将假想对象重叠显示在现实空间图像上。另一方面,公知有如下装置:为了从在各种条件下拍摄的图像中良好地检测标记,根据标记的登记图像生成使改变色彩、亮度、对比度、清晰度、焦点后的标记的图像,根据所生成的图像进行标记的检测(例如参照专利文献1)。
现有技术文献
专利文献
专利文献1:日本特开2007-304733号公报
发明内容
发明要解决的课题
在上述的根据三维地图信息与现实空间图像的匹配来显示假想对象的技术中,作为匹配中使用的匹配数据的三维地图信息具有非常大的信息量。因此,由于匹配数据的信息量较多,会产生用于取得匹配数据的通信时间较长、通信线路中的吞吐量增大、通信费用高昂以及匹配处理时间增加的问题。在专利文献1所记载的技术中,以提高检测精度为课题,生成预先存储的标记的图像的变形,所以,无法解决上述的由于匹配数据的信息量较多而引起的问题。
因此,本发明是鉴于上述问题点而完成的,其目的在于,提供如下的对象信息提供装置、对象信息提供系统、终端和对象信息提供方法:在提取现实空间图像中的规定对象物而与该对象物对应地显示假想对象的AR技术中,能够提供具有适当信息量的匹配数据,而不会降低与现实空间图像中的对象物之间的匹配处理的精度。
用于解决课题的手段
为了解决上述课题,本发明的一个方式的对象信息提供装置向终端提供与匹配数据对应的假想对象信息,终端从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上,该对象信息提供装置具有:发送单元,其向终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;接收单元,其从终端接收处理结果,该处理结果是在终端中根据由发送单元发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及调整单元,其根据由接收单元接收到的处理结果,对与假想对象信息对应地提供给终端的匹配数据的信息量进行调整。
为了解决上述课题,本发明的一个方式的对象信息提供系统包括:终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,对象信息提供装置具有:发送单元,其向终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;接收单元,其从终端接收处理结果,该处理结果是在终端中根据由发送单元发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及调整单元,其根据由接收单元接收到的处理结果,对与假想对象信息对应地提供给终端的匹配数据的信息量进行调整,终端具有:对象信息接收单元,其接收从发送单元发送的匹配数据和假想对象信息;图像解析单元,其根据由对象信息接收单元接收到的匹配数据实施图像解析处理;以及图像解析结果发送单元,其向对象信息提供装置发送由图像解析单元实施的图像解析处理中的处理结果。
为了解决上述课题,本发明的一个方式的终端是对象信息提供系统中的终端,该对象信息提供系统包括:上述终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,该终端具有:对象信息接收单元,其从对象信息提供装置接收所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;图像解析单元,其实施根据由对象信息接收单元接收到的匹配数据而从现实空间图像中提取对象物的图像解析处理;以及图像解析结果发送单元,其向对象信息提供装置发送处理结果,该处理结果是由图像解析单元实施的图像解析处理中的、表示匹配数据所示的正确对象物的提取是否成功的结果。
并且,为了解决上述课题,本发明的一个方式的对象信息提供方法是对象信息提供装置中的对象信息提供方法,该对象信息提供装置向终端提供与匹配数据对应的假想对象信息,终端从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上,该对象信息提供方法包括以下步骤:发送步骤,向终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;接收步骤,从终端接收处理结果,该处理结果是在终端中根据发送步骤中发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及调整步骤,根据接收步骤中接收到的处理结果,对与假想对象信息对应地提供给终端的匹配数据的信息量进行调整。
并且,为了解决上述课题,本发明的一个方式的对象信息提供方法系统中的对象信息提供方法,该系统包括:终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,该对象信息提供方法包括以下步骤:发送步骤,对象信息提供装置向终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;对象信息接收步骤,终端接收发送步骤中发送的一个匹配数据和假想对象信息;图像解析步骤,终端实施根据对象信息接收步骤中接收到的匹配数据从现实空间图像中提取对象物的图像解析处理;图像解析结果发送步骤,终端向对象信息提供装置发送处理结果,该处理结果是图像解析步骤中实施的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;接收步骤,对象信息提供装置接收图像解析结果发送步骤中发送的处理结果;以及调整步骤,对象信息提供装置根据接收步骤中接收到的处理结果,对与假想对象信息对应地提供给终端的匹配数据的信息量进行调整。
根据上述方式,从对象信息提供装置向终端发送至少一个匹配数据,从终端向对象信息提供装置发送基于该匹配数据的图像解析处理的结果,根据图像处理结果对匹配数据的信息量进行调整。由此,在匹配数据的信息量中反映终端中的匹配数据所示的正确对象物的提取是否成功。因此,能够提供具有适当信息量的匹配数据,而不会降低匹配数据与现实空间图像中的对象物之间的匹配处理的精度。
并且,在其他方式的对象信息提供装置中,多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,发送单元发送完全匹配数据以及包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据与假想对象信息,在基于简略匹配数据的图像解析处理中提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量少的信息量的简略匹配数据与该假想对象信息对应起来,在未提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来。
并且,在其他方式的对象信息提供系统中,多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,发送单元发送完全匹配数据以及包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据与假想对象信息,在图像解析处理中提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量少的信息量的简略匹配数据与该假想对象信息对应起来,在图像解析处理中未提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,对象信息接收单元接收从发送单元发送的完全匹配数据和简略匹配数据,图像解析单元实施分别基于由对象信息接收单元接收到的完全匹配数据和简略匹配数据的图像解析处理,在根据完全匹配数据提取出的对象物与根据简略匹配数据提取出的对象物一致的情况下,图像解析结果发送单元向对象信息提供装置发送表示提取出正确对象物的处理结果,在根据完全匹配数据提取出的对象物与根据简略匹配数据提取出的对象物不一致的情况下,图像解析结果发送单元向对象信息提供装置发送表示未提取出正确对象物的处理结果。
并且,在其他方式的终端中,多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,对象信息接收单元接收从发送单元发送的完全匹配数据和包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据,图像解析单元实施分别基于由对象信息接收单元接收到的完全匹配数据和简略匹配数据的图像解析处理,在根据完全匹配数据提取出的对象物与根据简略匹配数据提取出的对象物一致的情况下,图像解析结果发送单元向对象信息提供装置发送表示提取出正确对象物的处理结果,在根据完全匹配数据提取出的对象物与根据简略匹配数据提取出的对象物不一致的情况下,图像解析结果发送单元向对象信息提供装置发送表示未提取出正确对象物的处理结果。
根据上述方式,从对象信息提供装置向终端发送完全匹配数据和简略匹配数据,实施基于各个匹配数据的图像解析处理,在各图像解析处理中提取出的对象物一致的情况下,将简略匹配数据中的信息量调整得少一个阶段,在不一致的情况下,将简略匹配数据中的信息量调整得多一个阶段。由此,根据正确对象物的提取是否成功,适当设定与假想对象信息对应的简略匹配数据的信息量。
并且,在其他方式的对象信息提供装置中,也可以是,在图像解析处理中未提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,并且,调整单元与该假想对象信息对应地设定已学习标志,该已学习标志表示适于提取正确对象物的简略匹配数据已经与该假想对象信息对应起来。
并且,在其他方式的对象信息提供系统中,也可以是,在图像解析处理中未提取出正确对象物的情况下,调整单元将具有比一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,并且,调整单元与该假想对象信息对应地设定已学习标志,该已学习标志表示适于提取正确对象物的简略匹配数据已经与该假想对象信息对应起来。
根据上述方式,逐次实施使用完全匹配数据和简略匹配数据的图像解析处理,在基于简略匹配数据的图像解析处理中提取出正确对象物的图像解析处理之后,在未提取出正确对象物的情况下,由于信息量比该简略匹配数据多一个阶段的简略匹配数据与假想对象信息对应,所以,能够提取正确对象物的简略匹配数据中的信息量最少的简略匹配数据与假想对象信息对应。因此,对与对象物之间的匹配处理的精度和信息量进行优化后的简略匹配数据对应于假想对象信息。并且,由于此时设定已学习标志,所以,在系统中识别出优化后的简略匹配数据已经与该假想对象信息对应起来。
并且,在其他方式的对象信息提供装置中,也可以是,在与假想对象信息对应地设定了已学习标志的情况下,发送单元发送与该假想对象信息对应的简略匹配数据和该假想对象信息,在基于由发送单元发送的简略匹配数据的图像解析处理中提取出正确对象物以外的对象物的情况下,调整单元不设定与该假想对象信息有关的已学习标志。
并且,在其他方式的对象信息提供系统中,也可以是,在与假想对象信息对应地设定了已学习标志的情况下,发送单元发送与该假想对象信息对应的简略匹配数据和该假想对象信息,在基于由发送单元发送的简略匹配数据的图像解析处理中提取出正确对象物以外的对象物的情况下,调整单元不设定与该假想对象信息有关的已学习标志,图像解析单元实施基于由对象信息接收单元接收到的简略匹配数据的图像解析处理,在图像解析处理中根据简略匹配数据提取出多个对象物的情况下,图像解析结果发送单元向对象信息提供装置发送表示提取出正确对象物以外的对象物的处理结果。
根据上述方式,在基于在信息量的观点中临时优化后的简略匹配数据的图像解析处理中从现实空间图像中提取出正确对象物以外的对象物的情况下,不设定已学习标志,所以,再次进行简略匹配数据的容量的优化过程。由此,防止匹配处理的精度降低。
发明效果
根据本发明的一个方面,在提取现实空间图像中的规定对象物并与该对象物对应地显示假想对象的AR技术中,能够提供具有适当信息量的匹配数据,而不会降低与现实空间图像中的对象物之间的匹配处理的精度。
附图说明
图1是示出对象信息提供系统的装置结构的框图。
图2是示出对象信息提供装置的功能结构的框图。
图3是示出终端的功能结构的框图。
图4是对象信息提供装置的硬件框图。
图5是示出对象信息提供装置中的假想对象存储部的结构和所存储的数据的例子的图。
图6是示出对象信息提供装置中的匹配数据存储部的结构和所存储的数据的例子的图。
图7是示出终端中的对象信息存储部的结构和所存储的数据的例子的图。
图8是示出对象信息提供方法中的终端的处理内容的流程图。
图9是示出对象信息提供方法中的对象信息提供装置的处理内容的流程图。
具体实施方式
参照附图对本发明的对象信息提供装置、对象信息提供系统、终端和对象信息提供方法的实施方式进行说明。另外,在可能的情况下,对相同部分标注相同标号并省略重复说明。
图1是示出对象信息提供系统1的装置结构的图。对象信息提供系统1包括对象信息提供装置10和终端20。对象信息提供装置10和终端20能够经由由互联网、无线LAN、移动通信网等构成的通信网络N而相互进行通信。终端20例如由便携终端、个人计算机等构成。另外,在图1中示出3台终端20,但是,对象信息提供系统1内存在的终端20的台数是任意的。
本实施方式的对象信息提供系统1假设了如下的AR技术:通过通信而从对象信息提供装置10向终端20提供包含现实空间的构造物的形状等信息的三维地图信息,在终端20中,进行使地图信息与由照相机取得的现实空间图像匹配的图像解析处理,在它们一致的情况下,与现实空间中存在的规定对象物对应地将假想对象重叠显示在现实空间图像上。
对象信息提供装置10是向终端提供假想对象信息的装置,例如由服务器这样的计算机构成。假想对象信息包含用于在终端20中重叠显示在现实空间图像上的假想对象的图像数据。假想对象信息与用于从现实空间图像中提取规定对象物的匹配数据对应。
终端20是如下的装置:根据匹配数据从现实空间图像中提取规定对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上。匹配数据是表示现实空间中的规定对象物的图像数据。并且,规定对象物例如是现实空间中存在的建筑物或自然地形这样的构造物,只要能够通过图像解析而从现实空间图像中提取出即可,可以是任意的。
图2是示出对象信息提供装置10的功能结构的框图。如图2所示,在功能上,对象信息提供装置10包括位置信息取得部11、对象信息提取部12、对象信息存储部13、对象信息发送部14(发送单元)、图像解析结果接收部15(接收单元)和匹配数据调整部16(调整单元)。
并且,图3是示出终端20的功能结构的框图。如图3所示,在功能上,终端20包括位置测位部21、位置信息发送部22、对象信息取得部23(对象信息接收单元)、对象信息存储部24、摄影部25、图像解析部26(图像解析单元)、图像解析结果发送部27(图像解析结果发送单元)和显示部28。
图4是对象信息提供装置10的硬件结构图。在物理上,如图4所示,对象信息提供装置10构成为包括CPU101、作为主存储装置的RAM102和ROM103、作为数据收发器件的通信模块104、硬盘、闪存等辅助存储装置105、作为输入器件的键盘等输入装置106、显示器等输出装置107等的计算机系统。通过在图4所示的CPU101、RAM102等的硬件上读入规定计算机软件,在CPU101的控制下使通信模块104、输入装置106、输出装置107进行动作,并且进行RAM102或辅助存储装置105中的数据的读出和写入,由此实现图2所示的各功能。并且,图3所示的终端20也具有图4所示的硬件结构。再次参照图2对对象信息提供装置10的各功能部进行详细说明。
位置信息取得部11是取得表示终端20的所在位置的位置信息的部分。从终端20的位置信息发送部22发送该位置信息。位置信息取得部11将所取得的位置信息送到对象信息提取部12。
对象信息提取部12是如下部分:参照对象信息存储部13,从对象信息存储部13中提取与配置在从位置信息取得部11取得的位置信息所示的位置周边的假想对象有关的对象信息。对象信息提取部12将提取出的对象信息送到对象信息发送部14。
对象信息存储部13是存储对象信息的部分,包括匹配数据存储部13A和假想对象存储部13B。图5是示出假想对象存储部13B的结构和所存储的数据的例子的图。如图5所示,假想对象存储部13B按照识别对象信息的每个ID,存储有完全匹配数据、位置/方向、已学习标志、简略等级和图像解析处理结果、简略匹配数据和假想对象信息。
“完全匹配数据”是表示一个对象物的多个匹配数据中的信息量最多的匹配数据。如后所述,对象信息存储部13存储有多个匹配数据作为表示一个对象物的匹配数据。
“位置/方向”是表示现实空间中的对象物的位置和方向的信息。位置例如由经度和纬度表示。方向由以规定方向为基准的该对象物中的规定方向所成的旋转角表示。该对象物中的规定方向例如是能够如匹配数据所示的图像那样观察该对象物的正对方向。例如,“NE:xx度”表示以北方向(N)为基准向东方向(E)旋转xx度而得到的方向。另外,该图中的“S”表示南方向,“W”表示西方向。另外,由于与现实空间的对象物对应地重叠显示假想对象,所以,“位置”的信息表示对象物的所在位置,并且也是假想对象的配置位置。
“已学习标志”是表示适于提取正确对象物的简略匹配数据已经与该假想对象信息对应起来的标志。已学习标志“1”表示如下状态:从多个简略匹配数据中选择具有适于与现实空间图像中的对象物匹配的匹配处理的信息量的简略匹配数据,匹配数据调整部16完成了匹配数据的信息量的调整。另一方面,已学习标志“0”表示匹配数据调整部16未完成匹配数据的信息量的调整的状态。已学习标志的设定的详细情况在后面叙述。
“图像解析处理结果”是表示简略匹配数据的每个简略等级的图像解析处理结果的信息,表示终端20中的基于简略匹配数据的正确对象物的提取是否成功。图像解析处理结果的详细情况在后面叙述。
“简略匹配数据”是当前时点与该假想对象信息对应的简略匹配数据。表示一个对象物的多个匹配数据包括完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据。假想对象存储部13B中的“简略匹配数据”是多个简略匹配数据中的具有任意一个阶段的信息量的简略匹配数据。
“假想对象信息”是表示终端20中重叠显示在现实空间图像上的假想对象的图像数据。
并且,图6是示出匹配数据存储部13A的结构和所存储的数据的例子的图。如图6所示,匹配数据存储部13A按照每一个对象物存储有表示该对象物的多个匹配数据。图6所示的例子示出与图5的假想对象存储部13B中的ID“1”对应的多个匹配数据。图6所示的匹配数据存储部13A存储一个完全匹配数据和简略等级1~4的简略匹配数据。
由于匹配数据是图像数据,所以,取决于颜色的灰度等级的表现方法、清晰度等信息的包含方式,信息量大幅不同。完全匹配数据和简略等级1~4的简略匹配数据是通过不同信息量来表示一个对象物的图像数据。完全匹配数据是具有最多信息量的匹配数据。简略等级1的简略匹配数据例如是对完全匹配数据实施噪声去除和单色化处理而得到的匹配数据。简易等级2的简略匹配数据例如是对简略等级1的简略匹配数据实施灰度色标(grayscale)处理而得到的匹配数据。
简易等级3的简略匹配数据例如是对简略等级2的简略匹配数据实施细线化处理而得到的匹配数据。简易等级4的简略匹配数据例如是对简略等级3的简略匹配数据实施白色和黑色的二值化处理而得到的匹配数据。
在这样得到的多个匹配数据中,完全匹配数据的信息量最多。并且,在简略匹配数据中,简易等级越高,信息量越少。使用信息量多的匹配数据的从现实空间图像中提取对象物的图像解析处理的精度较高,另一方面,处理负荷大。并且,与信息量少的匹配数据的通信相比,信息量多的匹配数据的装置间通信更需要时间。相反,使用信息量少的匹配数据的从现实空间图像中提取对象物的图像解析处理的精度较低,另一方面,处理负荷小。另外,上述用于得到各简略匹配数据的处理只是例示,只要能得到信息量阶段性不同的匹配数据,则不限于该例。
对象信息发送部14是如下部分:向终端20发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息。匹配数据和假想对象信息包含在从对象信息提取部12送出的对象信息中。
具体而言,对象信息发送部14向终端20发送对象信息提取部12根据位置信息而提取出的假想对象信息和假想对象存储部13B(参照图5)中存储的匹配数据。
更具体而言,在未设定与该假想对象信息对应的已学习标志的情况下,由于未决定最佳的简略匹配数据,所以,对象信息发送部14向终端20发送完全匹配数据和简略匹配数据。完全匹配数据用于判定通过使用简略匹配数据的图像解析处理而从现实空间图像中提取出的对象物是否正确。另一方面,在设定了与该假想对象信息对应的已学习标志的情况下,由于决定了最佳的简略匹配数据,所以,对象信息发送部14向终端20发送简略匹配数据。
图像解析结果接收部15是从终端20接收处理结果的通知的部分,该处理结果是根据对象信息发送部14发送到终端20的匹配数据而在终端20中实施的从现实空间图像中提取对象物的图像解析处理中的表示该匹配数据所示的正确对象物的提取是否成功的结果。
匹配数据调整部16是如下部分:根据由图像解析结果接收部15接收到的处理结果,对与假想对象信息对应地提供给终端的匹配数据的信息量进行调整。具体而言,在图像解析结果接收部15接收到表示在基于简略匹配数据的图像解析处理中提取出正确对象物的通知的情况下,匹配数据调整部16将具有比该简略匹配数据少的信息量的简略匹配数据与该假想对象信息对应起来。即,在图5所示的假想对象存储部13B中,匹配数据调整部16将与该假想对象信息对应的简略匹配数据变更为简略等级高1个阶段的简略匹配数据,并且,作为以前的基于简略匹配数据的图像处理结果,在该记录的图像解析处理结果中设定“O.K.”。
并且,在图像解析结果接收部15接收到表示在基于简略匹配数据的图像解析处理中未提取出正确对象物的通知的情况下,匹配数据调整部16将具有比该简略匹配数据多的信息量的简略匹配数据与该假想对象信息对应起来,并且与该假想对象信息对应地设定已学习标志。即,在图5所示的假想对象存储部13B中,匹配数据调整部16将与该假想对象信息对应的简略匹配数据变更为简略等级低1个阶段的简略匹配数据,并且,作为以前的基于简略匹配数据的图像处理结果,在该记录的图像解析处理结果中设定“NG”。然后,匹配数据调整部16在该记录中设定已学习标志。因此,在该时点,能够提取正确对象物的简略匹配数据中的信息量最少的简略匹配数据与该假想对象信息对应。即,与假想对象信息对应的简略匹配数据得到优化。
并且,在设定了已学习标志的情况下,在图像解析结果接收部15接收到表示在基于由对象信息发送部14发送的简略匹配数据的图像解析处理中提取出正确对象物以外的对象物的通知的情况下,匹配数据调整部16不设定与该假想对象信息有关的已学习标志。由此,在基于在信息量的观点中临时优化后的简略匹配数据的图像解析处理中从现实空间图像中提取出正确对象物以外的对象物的情况下,不设定已学习标志,所以,再次进行简略匹配数据的容量的优化过程。由此,防止匹配处理的精度降低。
接着,再次参照图4对终端20的各功能部的功能进行说明。位置测位部21是取得表示终端20的所在位置的位置信息的部分,例如由GPS装置构成。位置测位部21将所取得的位置信息送到位置信息发送部22。位置信息发送部22是向对象信息提供装置10发送位置信息的部分。
对象信息取得部23是接收从对象信息提供装置10发送的匹配数据和假想对象信息的部分。对象信息取得部23将匹配数据和假想对象信息存储在对象信息存储部24中。
对象信息存储部24是存储由对象信息取得部23接收到的匹配数据和假想对象信息的部分,包括匹配数据存储部24A和假想对象存储部24B。图7是示出对象信息存储部24的结构和所存储的数据的例子的图。对象信息存储部24与识别对象信息的ID对应地存储完全匹配数据、简略匹配数据和假想对象信息。即,匹配数据存储部24A相当于图7的表中的完全匹配数据和简略匹配数据的列,假想对象存储部24B相当于图7的表中的假想对象信息的列。
摄影部25是拍摄现实空间图像的部分,例如由照相机这样的装置构成。摄影部25将现实空间图像送到图像解析部26。
图像解析部26是如下部分:实施根据由对象信息取得部23接收到的匹配数据而从现实空间图像中提取对象物的图像解析处理。
具体而言,在对象信息取得部23从对象信息提供装置10取得完全匹配数据和简略匹配数据的情况下,图像解析部26分别根据完全匹配数据和简略匹配数据,实施从现实空间图像中提取对象物的图像解析处理。然后,图像解析部26将与分别基于完全匹配数据和简略匹配数据的对象物的提取是否成功有关的信息送到图像解析结果发送部27。
另一方面,在对象信息取得部23从对象信息提供装置10仅取得简略匹配数据的情况下,图像解析部26根据该简略匹配数据,实施从现实空间图像中提取对象物的图像解析处理。然后,图像解析部26将与基于该简略匹配数据的对象物的提取是否成功有关的信息送到图像解析结果发送部27。
图像解析结果发送部27是将处理结果发送到对象信息提供装置的部分,该处理结果是由图像解析部26实施的图像解析处理中的、表示匹配数据所示的正确对象物的提取是否成功的结果。
具体而言,在图像解析部26中实施分别基于完全匹配数据和简略匹配数据的对象物的提取处理、从图像解析部26取得与各个对象物的提取是否成功有关的信息、且通过各个提取处理而提取出的对象物一致的情况下,图像解析结果发送部27向对象信息提供装置10发送“O.K.通知”。“O.K.通知”是表示根据简略匹配数据而提取出的对象物是该匹配数据所示的正确对象物的通知。另一方面,在通过各个提取处理而提取出的对象物不一致的情况下,图像解析结果发送部27向对象信息提供装置10发送“NG通知1”。“NG通知1”是表示根据简略匹配数据而提取出的对象物不是该匹配数据所示的正确对象物的通知。
另外,在图像解析部26中仅实施基于简略匹配数据的对象物的提取处理、且提取出多个对象物的情况下,图像解析结果发送部27向对象信息提供装置10发送“NG通知2”。“NG通知2”是表示根据简略匹配数据而提取出包含正确对象物以外的对象物在内的多个对象物的通知。
另外,在图像解析部26中实施分别基于完全匹配数据和简略匹配数据的对象物的提取处理且通过各个提取处理而提取出的对象物一致的情况下、或仅实施基于简略匹配数据的对象物的提取处理且提取出一个对象物的情况下,图像解析部26将现实空间图像中的对象物的提取结果和对象信息以及现实空间图像送到显示部28。提取结果包含表示现实空间图像中的该对象物的位置和大小的信息。
显示部28是在现实空间图像上重叠显示假想对象的部分,例如包含显示器这样的装置。具体而言,显示部28与由图像解析部26提取出的对象物对应地将假想对象重叠显示在现实空间图像上,该假想对象在对象信息存储部24中与图像解析处理中使用的匹配数据对应。
接着,参照图8对在对象信息提供系统1的对象信息提供方法中由终端20实施的处理内容进行说明。
首先,位置测位部21取得表示终端20的所在位置的位置信息(S1)。接着,位置信息发送部22将位置信息发送到对象信息提供装置10(S2)。
接着,对象信息取得部23接收根据步骤S2中发送的位置信息而从对象信息提供装置10发送的匹配数据和假想对象信息(S3)。对象信息取得部23将匹配数据和假想对象信息存储在对象信息存储部24中。
接着,图像解析部26判断对象信息取得部23从对象信息提供装置10取得完全匹配数据和简略匹配数据、还是仅取得简略匹配数据(S4)。在判断为取得完全匹配数据和简略匹配数据的情况下,处理顺序进入步骤S5。另一方面,在判断为仅取得简略匹配数据的情况下,处理顺序进入步骤S10。
在步骤S5中,图像解析部26根据步骤S3中取得的简略匹配数据,实施从由摄影部25取得的现实空间图像中提取对象物的图像解析处理(S5)。反复进行步骤S5的处理,直到通过使用简略匹配数据的匹配处理从现实空间图像中提取出某对象物为止。
接着,图像解析部26根据步骤S3中取得的完全匹配数据,实施从由摄影部25取得的现实空间图像中提取对象物的图像解析处理(S6)。由于完全匹配数据具有较多的信息量,所以,根据完全匹配数据而提取出的对象物是该匹配数据所示的正确对象物的可能性较高。然后,图像解析部26判定根据完全匹配数据而提取出的对象物与步骤S5中根据简略匹配数据而提取出的对象物是否一致。
在未判定为一致的情况下,处理顺序进入步骤S7。该情况下,由于步骤S5中提取出的对象物不是正确对象物,所以,图像解析结果发送部27向对象信息提供装置10发送“NG通知1”(S7)。
另一方面,在判定为一致的情况下,处理顺序进入步骤S8。该情况下,由于步骤S5中提取出的对象物是正确对象物,所以,显示部28与由图像解析部26提取出的对象物对应地将步骤S3中取得的假想对象重叠显示在现实空间图像上(S8)。并且,在接下来的步骤S9中,图像解析结果发送部27向对象信息提供装置10发送“O.K.通知”(S9)。
另外,在步骤S10中,图像解析部26根据步骤S3中取得的简略匹配数据,实施从现实空间图像中提取对象物的图像解析处理(S10)。从对象信息提供装置10仅发送简略匹配数据的情况是在对象信息提供装置10中决定适于图像解析处理的简略匹配数据的情况。即,该简略匹配数据是已学习的简略匹配数据。
在根据已学习的简略匹配数据而从现实空间图像中提取出一个对象物的情况下,处理顺序进入步骤S11。该情况下,由于提取出的对象物是该简略匹配数据所示的正确对象物的可能性较高,所以,显示部28与由图像解析部26提取出的对象物对应地将步骤S3中取得的假想对象重叠显示在现实空间图像上(S11)。
另一方面,在根据已学习的简略匹配数据而从现实空间图像中提取出多个对象物的情况下,处理顺序进入步骤S12。该情况下,意味着临时视为已学习的简略匹配数据不适于图像解析处理,所以,图像解析结果发送部27向对象信息提供装置10发送“NG通知2”(S12)。
接着,说明对象信息提供装置10中的对象信息提供方法的处理内容。图9是示出对象信息提供装置10中的对象信息提供方法的处理内容的流程图。
首先,位置信息取得部11取得表示终端20的所在位置的位置信息(S21)。接着,对象信息提取部12参照对象信息存储部13,从对象信息存储部13中提取与配置在从位置信息取得部11取得的位置信息所示的位置周边的假想对象有关的对象信息(S22)。然后,对象信息发送部14判定是否设定了提取出的对象信息中的已学习标志(S23)。在未判定为设定了已学习标志的情况下,处理顺序进入步骤S24。另一方面,在判定为设定了已学习标志的情况下,处理顺序进入步骤S32。
在步骤S24中,在未设定与该假想对象信息对应的已学习标志的情况下,由于未决定最佳的简略匹配数据,所以,对象信息发送部14向终端20发送完全匹配数据和简略匹配数据(S24)。接着,图像解析结果接收部15接收根据步骤S24中发送的匹配数据而在终端20中实施的从现实空间图像中提取对象物的图像解析处理中的、处理结果的通知(S25)。
在接收到“O.K.通知”的情况下,处理顺序进入步骤S26。该情况下,即使进一步减少简略匹配数据的信息量,可能也可提取出正确的对象物。因此,匹配数据调整部16从匹配数据存储部13A取得简略等级比步骤S24中发送的简略匹配数据的简略等级高1个阶段的简略匹配数据(S26)。然后,匹配数据调整部16与步骤S24中发送的假想对象信息对应地将步骤S26中取得的简略匹配数据存储在假想对象存储部13B中(S27)。
另一方面,在步骤S25中接收到“NG通知1”的情况下,处理顺序进入步骤S28。该情况下,可认为步骤S24中发送的简略匹配数据是能够提取正确对象物的简略匹配数据中的、简略等级比信息量最少的简略匹配数据的简略等级高1个阶段的简略匹配数据。因此,匹配数据调整部16从匹配数据存储部13A取得简略等级比步骤S24中发送的简略匹配数据的简略等级低1个阶段的简略匹配数据(S28)。然后,匹配数据调整部16与该假想对象信息对应地设定已学习标志(已学习标志=1)(S29),并且,与步骤S24中发送的假想对象信息对应地将步骤S28中取得的简略匹配数据存储在假想对象存储部13B中(S30)。进而,对象信息发送部14可以向终端20发送更新后的简略匹配数据,以用于图像解析处理(S31)。
在步骤S32中,在与该假想对象信息对应地设定了已学习标志的情况下,由于决定了最佳的简略匹配数据,所以,对象信息发送部14向终端20仅发送简略匹配数据。接着,图像解析结果接收部15判定是否接收到“NG通知2”,作为根据步骤S32中发送的简略匹配数据而在终端20中实施的从现实空间图像中提取对象物的图像解析处理中的处理结果的通知(S33)。在判定为接收到“NG通知2”的情况下,处理顺序进入步骤S34。另一方面,在未判定为接收到“NG通知2”的情况下,处理顺序结束。
在步骤S34中,匹配数据调整部16不设定与该假想对象信息有关的已学习标志(已学习标志=0)(S34)。该情况下,认为在信息量的观点中临时优化后的简略匹配数据可能不是最佳,而再次进行简略匹配数据的信息量的优化过程。进而,对象信息发送部14可以向终端20发送完全匹配数据,以用于图像解析处理(S35)。这样结束处理。
根据本实施方式的对象信息提供装置10、对象信息提供系统1、终端20和对象信息提供方法,从对象信息提供装置10向终端20发送至少一个匹配数据,从终端20向对象信息提供装置10发送基于该匹配数据的图像解析处理的结果,根据图像处理结果对匹配数据的信息量进行调整。由此,在匹配数据的信息量中反映终端20中的匹配数据所示的正确对象物的提取是否成功。因此,能够提供具有适当信息量的匹配数据,而不会降低匹配数据与现实空间图像中的对象物之间的匹配处理的精度。
以上根据本发明的实施方式对本发明进行了详细说明。但是,本发明不限于上述实施方式。本发明能够在不脱离其主旨的范围内进行各种变形。
例如,基于匹配数据而从现实空间图像中提取对象物的提取精度有时依赖于对象物与终端20之间的距离、以对象物为基准的终端20所在的方向相对于对象物的正对方向的偏移(角度)、光量这样的各种条件,所以,匹配数据调整部16也可以鉴于该依赖性来实施匹配数据的调整。具体而言,终端20的图像解析结果发送部27将图像解析部26中的与基于匹配数据对象物的提取是否成功有关的信息以及终端20的位置信息和方位信息发送到对象信息提供装置10。方位信息可以由终端20具有的地磁传感器和加速度传感器(未图示)这样的装置取得。然后,对象信息提供装置10的匹配数据调整部16根据接收到的位置信息和方位信息以及对象信息存储部13中存储的该对象物的位置/方向的信息,计算对象物与终端20之间的距离以及终端20所在的方向相对于对象物的正对方向所成的角度。匹配数据调整部16能够将计算出的距离和角度分类到关于距离的值和角度的值而预先设定的多个规定范围的区间,按照分类后的距离和角度的每个区间实施匹配数据的信息量的调整。即,匹配数据调整部16能够按照分类后的距离和角度的每个区间来选择最佳的简略匹配数据。另外,匹配数据调整部16也可以按照距离和角度的区间以及时刻的范围选择简略匹配数据。
并且,在本实施方式中,例如如图9所示,匹配数据调整部16每当接收到图像解析部26中的与基于匹配数据的对象物的提取是否成功有关的信息(S25、S33)时,实施简略匹配数据的选择和变更(S26、S28~S29、S34)。与此相对,关于与基于匹配数据而从现实空间图像中提取对象物是否成功有关的精度,依赖于光量、照相机性能、摄影时的终端20的利用者的手抖等各种外在因素而产生偏差,鉴于这点,匹配数据调整部16也可以在设定了某个简略等级的状态下接收到规定次数以上或规定比例以上的与对象物的提取是否成功有关的同一种通知的情况下,实施简略匹配数据的选择和变更。另外,匹配数据调整部16也可以按照通知的种类,对每个简略等级的与对象物的提取是否成功有关的通知的数量进行合计,在统计学上对合计的通知的数量进行处理而选择简略匹配数据。
产业上的可利用性
根据本实施方式,在提取现实空间图像中的规定对象物并与该对象物对应地显示假想对象的AR技术中,能够提供具有适当信息量的匹配数据,而不会降低与现实空间图像中的对象物之间的匹配处理的精度。
标号说明
1对象信息提供系统;10对象信息提供装置;11位置信息取得部;12对象信息提取部;13对象信息存储部;13A匹配数据存储部;13B假想对象存储部;14对象信息发送部;15图像解析结果接收部;16匹配数据调整部;20终端;21位置测位部;22位置信息发送部;23对象信息取得部;24对象信息存储部;24A匹配数据存储部;24B假想对象存储部;25摄影部;26图像解析部;27图像解析结果发送部;28显示部;N网络。

Claims (12)

1.一种对象信息提供装置,其向终端提供与匹配数据对应的假想对象信息,所述终端从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上,该对象信息提供装置具有:
发送单元,其向所述终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;
接收单元,其从所述终端接收处理结果,该处理结果是在所述终端中根据由所述发送单元发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及
调整单元,其根据由所述接收单元接收到的处理结果,对与所述假想对象信息对应地提供给所述终端的匹配数据的所述信息量进行调整。
2.根据权利要求1所述的对象信息提供装置,其中,
所述多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,
所述发送单元发送所述完全匹配数据以及包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据与所述假想对象信息,
在基于所述简略匹配数据的所述图像解析处理中提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量少的信息量的简略匹配数据与该假想对象信息对应起来,在未提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来。
3.根据权利要求2所述的对象信息提供装置,其中,
在所述图像解析处理中未提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,并且,所述调整单元与该假想对象信息对应地设定已学习标志,该已学习标志表示适于提取正确对象物的简略匹配数据已经与该假想对象信息对应起来。
4.根据权利要求3所述的对象信息提供装置,其中,
在与所述假想对象信息对应地设定了已学习标志的情况下,所述发送单元发送与该假想对象信息对应的简略匹配数据和该假想对象信息,
在基于由所述发送单元发送的简略匹配数据的所述图像解析处理中提取出正确对象物以外的对象物的情况下,所述调整单元不设定与该假想对象信息有关的所述已学习标志。
5.一种对象信息提供系统,其包括:终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,
所述对象信息提供装置具有:
发送单元,其向所述终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;
接收单元,其从所述终端接收处理结果,该处理结果是在所述终端中根据由所述发送单元发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及
调整单元,其根据由所述接收单元接收到的处理结果,对与所述假想对象信息对应地提供给所述终端的匹配数据的所述信息量进行调整,
所述终端具有:
对象信息接收单元,其接收从所述发送单元发送的所述匹配数据和假想对象信息;
图像解析单元,其根据由所述对象信息接收单元接收到的匹配数据实施所述图像解析处理;以及
图像解析结果发送单元,其向所述对象信息提供装置发送由所述图像解析单元实施的图像解析处理中的所述处理结果。
6.根据权利要求5所述的对象信息提供系统,其中,
所述多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,
所述发送单元发送所述完全匹配数据以及包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据与所述假想对象信息,
在所述图像解析处理中提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量少的信息量的简略匹配数据与该假想对象信息对应起来,在所述图像解析处理中未提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,
所述对象信息接收单元接收从所述发送单元发送的所述完全匹配数据和简略匹配数据,
所述图像解析单元实施分别基于由所述对象信息接收单元接收到的所述完全匹配数据和所述简略匹配数据的所述图像解析处理,
在根据所述完全匹配数据提取出的对象物与根据所述简略匹配数据提取出的对象物一致的情况下,所述图像解析结果发送单元向所述对象信息提供装置发送表示提取出正确对象物的处理结果,在根据所述完全匹配数据提取出的对象物与根据所述简略匹配数据提取出的对象物不一致的情况下,所述图像解析结果发送单元向所述对象信息提供装置发送表示未提取出正确对象物的处理结果。
7.根据权利要求6所述的对象信息提供系统,其中,
在所述图像解析处理中未提取出所述正确对象物的情况下,所述调整单元将具有比所述一个阶段的信息量多的信息量的简略匹配数据与该假想对象信息对应起来,并且,所述调整单元与该假想对象信息对应地设定已学习标志,该已学习标志表示适于提取正确对象物的简略匹配数据已经与该假想对象信息对应起来。
8.根据权利要求7所述的对象信息提供系统,其中,
在与所述假想对象信息对应地设定了已学习标志的情况下,所述发送单元发送与该假想对象信息对应的简略匹配数据和该假想对象信息,
在基于由所述发送单元发送的简略匹配数据的所述图像解析处理中提取出正确对象物以外的对象物的情况下,所述调整单元不设定与该假想对象信息有关的所述已学习标志,
所述图像解析单元实施基于由所述对象信息接收单元接收到的所述简略匹配数据的所述图像解析处理,
在所述图像解析处理中根据所述简略匹配数据提取出多个对象物的情况下,所述图像解析结果发送单元向所述对象信息提供装置发送表示提取出正确对象物以外的对象物的处理结果。
9.一种对象信息提供系统中的终端,该对象信息提供系统包括:所述终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,该终端具有:
对象信息接收单元,其从所述对象信息提供装置接收所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;
图像解析单元,其实施根据由所述对象信息接收单元接收到的匹配数据而从现实空间图像中提取对象物的图像解析处理;以及
图像解析结果发送单元,其向所述对象信息提供装置发送处理结果,该处理结果是由所述图像解析单元实施的图像解析处理中的、表示所述匹配数据所示的正确对象物的提取是否成功的结果。
10.根据权利要求9所述的终端,其中,
所述多个匹配数据包括该多个匹配数据中的信息量最多的一个完全匹配数据和所包含的信息量阶段性不同的多个简略匹配数据,
所述对象信息接收单元接收从所述发送单元发送的所述完全匹配数据和包含与信息量有关的多个阶段中的一个阶段的信息量的简略匹配数据,
所述图像解析单元实施分别基于由所述对象信息接收单元接收到的所述完全匹配数据和所述简略匹配数据的所述图像解析处理,
在根据所述完全匹配数据提取出的对象物与根据所述简略匹配数据提取出的对象物一致的情况下,所述图像解析结果发送单元向所述对象信息提供装置发送表示提取出正确对象物的处理结果,在根据所述完全匹配数据提取出的对象物与根据所述简略匹配数据提取出的对象物不一致的情况下,所述图像解析结果发送单元向所述对象信息提供装置发送表示未提取出正确对象物的处理结果。
11.一种对象信息提供方法,该对象信息提供方法是对象信息提供装置中的对象信息提供方法,该对象信息提供装置向终端提供与匹配数据对应的假想对象信息,所述终端从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上,该对象信息提供方法包括以下步骤:
发送步骤,向所述终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;
接收步骤,从所述终端接收处理结果,该处理结果是在所述终端中根据所述发送步骤中发送来的匹配数据从现实空间图像中提取对象物的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;以及
调整步骤,根据所述接收步骤中接收到的处理结果,对与所述假想对象信息对应地提供给所述终端的匹配数据的所述信息量进行调整。
12.一种对象信息提供方法,该对象信息提供方法是对象信息提供系统中的对象信息提供方法,该对象信息提供系统包括:终端,其从现实空间图像中提取与用于从现实空间图像中提取规定对象物的匹配数据在一定程度以上一致的对象物,与该对象物对应地将对应于该匹配数据的假想对象重叠显示在现实空间图像上;以及对象信息提供装置,其向该终端提供与匹配数据对应的假想对象信息,该对象信息提供方法包括以下步骤:
发送步骤,所述对象信息提供装置向所述终端发送所包含的信息量阶段性不同的多个匹配数据中的至少一个匹配数据与对应于该匹配数据的假想对象信息;
对象信息接收步骤,所述终端接收所述发送步骤中发送的所述一个匹配数据和假想对象信息;
图像解析步骤,所述终端实施根据所述对象信息接收步骤中接收到的匹配数据从现实空间图像中提取对象物的图像解析处理;
图像解析结果发送步骤,所述终端向所述对象信息提供装置发送处理结果,该处理结果是所述图像解析步骤中实施的图像解析处理中的、表示该匹配数据所示的正确对象物的提取是否成功的结果;
接收步骤,所述对象信息提供装置接收所述图像解析结果发送步骤中发送的所述处理结果;以及
调整步骤,所述对象信息提供装置根据所述接收步骤中接收到的处理结果,对与所述假想对象信息对应地提供给所述终端的匹配数据的所述信息量进行调整。
CN201280009267.6A 2011-07-14 2012-06-15 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法 Expired - Fee Related CN103380443B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP2011-156027 2011-07-14
JP2011-156027 2011-07-14
JP2011156027A JP5230778B2 (ja) 2011-07-14 2011-07-14 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法
PCT/JP2012/065385 WO2013008583A1 (ja) 2011-07-14 2012-06-15 オブジェクト情報提供装置、オブジェクト情報提供システム、端末及びオブジェクト情報提供方法

Publications (2)

Publication Number Publication Date
CN103380443A CN103380443A (zh) 2013-10-30
CN103380443B true CN103380443B (zh) 2016-04-27

Family

ID=47505881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280009267.6A Expired - Fee Related CN103380443B (zh) 2011-07-14 2012-06-15 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法

Country Status (5)

Country Link
US (1) US8996577B2 (zh)
EP (1) EP2733673A4 (zh)
JP (1) JP5230778B2 (zh)
CN (1) CN103380443B (zh)
WO (1) WO2013008583A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5960836B2 (ja) * 2012-10-31 2016-08-02 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
US20140253540A1 (en) * 2013-03-07 2014-09-11 Yoav DORI Method and system of incorporating real world objects into a virtual environment
US9070217B2 (en) * 2013-03-15 2015-06-30 Daqri, Llc Contextual local image recognition dataset
JP6230923B2 (ja) * 2014-01-23 2017-11-15 日立Geニュークリア・エナジー株式会社 水中移動体の位置検知装置及び位置検知方法
US11085039B2 (en) 2016-12-12 2021-08-10 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
CA3046827A1 (en) 2016-12-12 2018-06-21 xCella Biosciences, Inc. Methods and systems for screening using microcapillary arrays
WO2018125832A1 (en) 2016-12-30 2018-07-05 xCella Biosciences, Inc. Multi-stage sample recovery system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3031573A (en) * 1956-08-22 1962-04-24 Dowty Electrics Ltd Precipitation chambers
JP2001076150A (ja) * 1999-09-08 2001-03-23 Sankyo Seiki Mfg Co Ltd 粗テンプレートの作成方法及び装置
JP4242529B2 (ja) * 1999-10-27 2009-03-25 オリンパス株式会社 関連情報呈示装置及び関連情報呈示方法
JP2002008028A (ja) * 2000-06-27 2002-01-11 Matsushita Electric Ind Co Ltd パターンマッチング方法と装置
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
JP2005250950A (ja) * 2004-03-05 2005-09-15 Nippon Telegr & Teleph Corp <Ntt> マーカ提示用携帯端末および拡張現実感システムならびにその動作方法
JP4550769B2 (ja) 2006-05-09 2010-09-22 日本電信電話株式会社 画像検出装置および画像検出方法
TWI419124B (zh) * 2009-03-06 2013-12-11 Au Optronics Corp 二維/三維影像顯示裝置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Real-time camera tracking for marker-less and unprepared augmented reality environments;Ke Xu等;《Image and Vision Computing》;20080531;第26卷(第5期);第673-689页 *
医学增强现实建模方法研究;张军毅等;《系统仿真学报》;20090630;第21卷(第12期);第3658-3661页 *
基于增强现实技术的圆明园景观数字重现;陈靖等;《系统仿真学报》;20100228;第22卷(第2期);第424-428页 *
户外增强现实地理信息系统原型设计与实现;杜清运等;《中国测绘学会第九次全国会员代表大会暨学会成立50周年纪念大会论文集》;20091204;第795-801页 *

Also Published As

Publication number Publication date
EP2733673A4 (en) 2015-06-24
US20130198216A1 (en) 2013-08-01
JP2013025327A (ja) 2013-02-04
JP5230778B2 (ja) 2013-07-10
US8996577B2 (en) 2015-03-31
WO2013008583A1 (ja) 2013-01-17
EP2733673A1 (en) 2014-05-21
CN103380443A (zh) 2013-10-30

Similar Documents

Publication Publication Date Title
CN103380443B (zh) 对象信息提供装置、对象信息提供系统、终端和对象信息提供方法
CN110246163B (zh) 图像处理方法及其装置、设备、计算机存储介质
CN105046213B (zh) 一种增强现实的方法
US20160019704A1 (en) Method and apparatus for displaying point of interest
CN110517214B (zh) 用于生成图像的方法和装置
EP2420955A2 (en) Terminal device and method for augmented reality
CN109191514A (zh) 用于生成深度检测模型的方法和装置
KR101165415B1 (ko) 이미지내 생체 얼굴 인식 방법 및 인식 장치
CN106954051B (zh) 一种图像处理方法及移动终端
CN102436461A (zh) 用户终端、远程终端和用于共享增强现实服务的方法
CN102902943A (zh) 一种二维码扫描的方法、处理装置及终端
CN113688658B (zh) 一种对象识别方法、装置、设备及介质
CN110069397A (zh) 功能测试方法、装置、计算机设备及存储介质
US20220405961A1 (en) Long distance qr code decoding
CN104065742A (zh) 一种用于幼儿园安全接送的接送人信息处理方法及装置
CN111368860B (zh) 重定位方法及终端设备
CN112698778A (zh) 设备间目标传输方法、装置及电子设备
CN115393423A (zh) 目标检测方法和装置
US10083545B2 (en) Image processing device, image processing method, and non-transitory computer-readable recording medium for specifying markers in accepted image data
CN113255629B (zh) 文档处理方法、装置、电子设备及计算机可读存储介质
KR102396885B1 (ko) 문자를 포함한 이미지 정렬 처리방법
US20230142865A1 (en) Panorama Generation with Mobile Camera
CN112288748B (zh) 一种语义分割网络训练、图像语义分割方法及装置
CN112819884B (zh) 坐标修正方法及装置、电子设备、计算机可读介质
CN113077306B (zh) 图像处理方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160427

Termination date: 20190615

CF01 Termination of patent right due to non-payment of annual fee