CN110268438A - 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法 - Google Patents

图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法 Download PDF

Info

Publication number
CN110268438A
CN110268438A CN201780086070.5A CN201780086070A CN110268438A CN 110268438 A CN110268438 A CN 110268438A CN 201780086070 A CN201780086070 A CN 201780086070A CN 110268438 A CN110268438 A CN 110268438A
Authority
CN
China
Prior art keywords
image
data base
image data
region
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780086070.5A
Other languages
English (en)
Other versions
CN110268438B (zh
Inventor
宫本健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN110268438A publication Critical patent/CN110268438A/zh
Application granted granted Critical
Publication of CN110268438B publication Critical patent/CN110268438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/003—Locating users or terminals or network equipment for network management purposes, e.g. mobility management locating network equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Processing Or Creating Images (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

区域检测部(1)检测所拍摄的图像属于多个区域中的哪个区域。传感器信息取得部(2)取得摄影图像和距离信息。位置关系计算部(3)根据由传感器信息取得部(2)取得的摄影图像和距离信息，对各摄影图像的取得位置和倾斜进行计算。图像数据库生成部(4)将所拍摄的图像的摄影位置和倾斜以及所拍摄的图像作为图像信息而建立关联，并且对属于相同区域的图像的图像信息进行分组而生成个图像数据库(5)。

Description

图像数据库构建装置、位置和倾斜估计装置以及图像数据库 构建方法
技术领域
本发明涉及生成用于在室内估计终端的位置的图像数据库的图像数据库构建装置、使用图像数据库对终端的位置进行估计的位置和倾斜估计装置、以及图像数据库构建方法。
背景技术
例如，当开发使用将附加信息重叠显示于特定的对象的AR(Augmented Reality：增强现实)的应用程序等的情况下，仅终端的位置信息是不够的，还需要终端的倾斜的信息。另外，在像这样的应用程序中，也需要估计准确的位置作为终端的位置信息。
作为求出终端的准确的位置和倾斜的方法，以往，存在使用预先登记的图像的方法(例如，参照非专利文献1)。该方法为，将室内的所有的图像与位置和倾斜信息相关联来作为图像数据，存储该图像数据而作为数据库进行准备，在对终端的位置进行估计的情况下，通过将在终端位置所拍摄的图像与数据库中的所有的图像进行对照，搜索最相似的图像，输出该图像的位置和倾斜。
现有技术文献
非专利文献
非专利文献1
Esra Ataer-Cansizoglu,Yuichi Taguchi,Srikumar Ramlingam,and YoheiMiki:Calibration of non-Overlapping Cameras Using an External SLAM System,Image Processing(ICIP),2016IEEE International Conference on 25-28Sept 2016
发明内容
发明要解决的课题
但是，在现有的对位置和倾斜进行估计的方法中，从室内的所有的图像之中对照出与拍摄的图像相似的图像，因此存在如下课题。即，第一课题在于存在实时性的恶化。这是因为，存储于数据库的图像数据的数量越多则计算成本越大，而使实时性恶化。第二课题在于难以识别相同场景。例如，在将不同位置的相似场景、即位置不同但被摄体的形状相似的那样的图像数据存储于数据库的情况下，有可能得到不准确的对照结果。
另外，作为求出终端的位置的手段，也考虑使用被称为GPS(Global PositioningSystem)的卫星定位系统。但是，难以在室内使用像这样的卫星定位系统来进行定位，并且用于求出终端的准确的位置的定位精度不充分。因此，难以应用于对室内的位置和倾斜进行估计的装置。特别是，在大楼这种存在多层且相似的图像数据的情况下，如果使用卫星定位系统的方法，则高度方向的定位精度不充分，因此不能得到准确的对照结果，从这方面考虑，也难以使用卫星定位系统对室内的终端的位置和倾斜进行估计。
本发明是为了解决该问题而完成的，其目的在于，提供能够提高实时性、并且得到准确的位置和倾斜的估计结果的图像数据库构建装置以及图像数据库构建装置。
用于解决课题的手段
本发明的图像数据库构建装置具有：区域检测部，其检测所拍摄的图像属于多个区域中的哪个区域；信息取得部，其取得表示所拍摄的图像的摄影对象物与所拍摄的图像的取得位置之间的距离的距离信息；计算部，其根据距离信息，对所拍摄的图像的摄影位置和倾斜进行计算；以及图像数据库生成部，其生成将所拍摄的图像的摄影位置和倾斜与所拍摄的图像作为图像信息而建立关联得到的图像数据库，该图像数据库生成部对属于相同区域的图像的图像信息进行分组而生成图像数据库。
另外，本发明的位置和倾斜估计装置具有：图像数据库，其存储有将具有摄影位置和倾斜的信息的图像按照多个区域进行分组而成的图像信息；区域检测部，其检测属于多个区域中的哪个区域；图像取得部，其取得摄影对象物的图像；数据库对照部，其将由图像取得部取得的图像仅与存储于图像数据库的图像中的属于由区域检测部检测出的同一区域的图像进行对照；以及位置和倾斜估计部，其将数据库对照部的对照结果的图像的位置和倾斜作为估计结果而进行输出。
发明效果
本发明的图像数据库构建装置对摄影图像、摄影图像的取得位置和倾斜以及区域信息建立关联，生成建立关联后的图像信息作为图像数据库。由此，能够提供在对图像的位置和倾斜进行估计时能够提高实时性并且能够得到准确的位置和倾斜的估计结果的图像数据库。
另外，本发明的位置和倾斜估计装置仅对存储于图像数据库的图像中的属于与由区域检测部检测出的区域相同区域的图像进行对照。由此能够提高实时性，并且能够得到准确的位置和倾斜的估计结果。
附图说明
图1是本发明的实施方式1的图像数据库构建装置的结构图。
图2是本发明的实施方式1的图像数据库构建装置的硬件结构图。
图3是应用本发明的实施方式1的图像数据库构建装置的房间的说明图。
图4是示出本发明的实施方式1的图像数据库构建装置的动作的流程图。
图5是示出由本发明的实施方式1的图像数据库构建装置生成的图像数据库的一例的说明图。
图6是现有的图像数据库的说明图。
图7是本发明的实施方式1的位置和倾斜估计装置的结构图。
图8是本发明的实施方式1的位置和倾斜估计装置的硬件结构图。
图9是示出本发明的实施方式1的位置和倾斜估计装置的动作的流程图。
图10是本发明的实施方式2的图像数据库构建装置的结构图。
图11是本发明的实施方式2的图像数据库构建装置的硬件结构图。
图12是应用本发明的实施方式2的图像数据库构建装置的房间的说明图。
图13是示出本发明的实施方式2的图像数据库构建装置的动作的流程图。
图14是示出由本发明的实施方式2的图像数据库构建装置生成的图像数据库的一例的说明图。
图15是本发明的实施方式2的位置和倾斜估计装置的结构图。
图16是本发明的实施方式2的位置和倾斜估计装置的硬件结构图。
图17是示出本发明的实施方式2的位置和倾斜估计装置的动作的流程图。
具体实施方式
以下，为了更详细地对本发明进行说明，参照附图对用于实施本发明的方式进行说明。
实施方式1.
图1是本实施的方式的图像数据库构建装置的结构图。
图示的图像数据库构建装置具有区域检测部1、传感器信息取得部2、位置关系计算部3以及图像数据库生成部4。区域检测部1是检测位于室内的多个区域中的哪个区域作为区域信息的处理部。传感器信息取得部2是具有图像取得部2a和距离测定部2b的信息取得部。图像取得部2a是取得室内的图像的装置，距离测定部2b是对表示摄影图像的摄影对象物与摄影图像的取得位置之间的距离的距离信息进行测定的处理部。位置关系计算部3是根据由传感器信息取得部2取得的摄影图像和距离信息对各摄影图像的取得位置和倾斜进行计算的计算部。图像数据库生成部4是将由位置关系计算部3计算的摄影图像的取得位置和倾斜、由传感器信息取得部2取得的摄影图像以及由区域检测部1检测的区域信息作为图像信息而建立关联，并且生成该图像信息作为图像数据库5的处理部。
图2是图1所示的图像数据库构建装置的硬件结构图。在图2中，图像数据库构建装置100具有RFID(Radio Frequency Identification：射频识别)接收机101、照相机102、距离传感器103以及计算机104。RFID接收机101是与分别设置于室内的多个区域的RFID标签105进行通信，并对识别出了哪个RFID标签105进行检测的接收机。照相机102是取得彩色图像的装置。距离传感器103是取得距离图像(将与各像素对应的距离图像化)的装置。计算机104是用于取得来自RFID接收机101、照相机102以及距离传感器103的数据，并根据这些数据生成图1的图像数据库5的装置，例如由个人计算机或智能手机构成。
图2的RFID接收机101构成图1的区域检测部1，照相机102构成图像取得部2a，距离传感器103构成距离测定部2b。计算机104实现位置关系计算部3和图像数据库生成部4的功能。通过使计算机104的处理器执行与位置关系计算部3和图像数据库生成部4对应的软件，而实现这些功能。
在图1的图像数据库构建装置采用像图2那样的结构的情况下，图1的区域检测部1～图像数据库生成部4具有如下功能。区域检测部1与RFID标签105进行通信，识别该RFID标签105的属性(是哪个区域)。传感器信息取得部2取得多个彩色图像与对应于这些彩色图像的距离信息的对。位置关系计算部3将由传感器信息取得部2取得的信息结合起来，制作出三维点群数据，并且对各彩色图像与距离信息的对的取得位置和倾斜进行估计。图像数据库生成部4将由位置关系计算部3估计的摄影图像的取得位置和倾斜、摄影图像以及区域信息作为图像信息而建立关联，生成该图像信息作为图像数据库5。
接下来，对实施方式1的图像数据库构建装置的动作进行说明。
图3示出从上方观察的两个房间的状态。各个房间(房间1、房间2)与各区域对应，在各房间的出入口附近设置有第一RFID标签105a和第二RFID标签105b。使用图4的流程图对像这样的两个房间的图像数据库构建的动作进行说明。
首先，像图3的虚线110所示的那样取得房间1的数据来进行说明。通过区域检测部1对第一RFID标签105a进行识别(区域检测步骤：步骤ST1)。然后，通过传感器信息取得部2的图像取得部2a取得房间1的彩色图像(信息取得步骤：步骤ST2)，并且通过距离测定部2b取得距离图像(信息取得步骤：步骤ST3)。接下来，通过位置关系计算部3将由传感器信息取得部2取得的数据结合起来，对进行彩色图像的取得和距离图像的测定的装置的位置以及倾斜进行计算(计算步骤：步骤ST4)。这里，作为求出的位置和倾斜的一例，是将测定开始时刻的位置和倾斜作为基准的值。作为使彩色图像与距离信息的对结合起来的方法的一例，存在使用作为图像的特征点的方法(例如，文献：Taguchi,Y,Jian,Y-D,Ramlingam,S:Point-Plane SLAM for Hand-Held 3D Sensors,Robotics and Automation(ICRA)，2014IEEE International Conference on 6-10 May 2013中所记载的方法)。以上，在对一个房间进行步骤ST2～步骤ST4的处理之后，结束测定(步骤ST5-是)。此外，通过位置关系计算部3使用捆绑调整(Bundle Adjustment)等使传感器的位置和倾斜高精度化(步骤ST6)。之后，判定是否所有房间的测定已经结束(步骤ST7)，在没有结束的情况下，返回步骤ST1而重复上述处理，在所有房间的测定已经结束的情况下，结束图像数据库构建的动作。在该情况下，还没有对房间2进行测定，因此在步骤ST7中为“否”，如图3的虚线111所示在各个位置取得彩色图像和距离信息，进行步骤ST2～步骤ST6的处理。
在通过像这样的方法对房间1和房间2进行测定后，由图像数据库生成部4制作出图5所示的数据库(图像数据库生成步骤)。如图5所示，按照每个RFID而登记了图像、距离信息、位置以及倾斜的对。为了进行比较，在图6中示出以往的数据库。相比于图6的数据库，本实施方式的图像数据库构建装置的数据库按照每个RFID而对图像进行分组。
接下来，对实施方式1的位置和倾斜估计装置进行说明。
图7是位置和倾斜估计装置的结构图。本实施方式的位置和倾斜估计装置具有区域检测部1、图像取得部2a、数据库对照部11以及位置和倾斜估计部12。区域检测部1和图像取得部2a虽然与图像数据库构建装置的区域检测部1和图像取得部2a相同，但被设置于作为位置和倾斜估计装置的估计对象的终端。数据库对照部11是如下的处理部：使由图像取得部2a取得的图像仅与存储于图像数据库5的图像中的具有与由区域检测部1检测出的区域信息相同的区域信息的图像进行对照，从而确定任意的图像。位置和倾斜估计部12是将由数据库对照部11确定出的图像的位置和倾斜作为估计结果来进行输出的处理部。图像数据库5是由图像数据库构建装置生成的数据库。
图8是图7所示的位置和倾斜估计装置的硬件结构图。在图8中，位置和倾斜估计装置200具有RFID接收机101、照相机102以及计算机201。RFID接收机101和照相机102与图像数据库构建装置100的RFID接收机101和照相机102相同。计算机201是如下的装置：用于取得来自RFID接收机101和照相机102的数据，并根据这些数据对终端的位置和倾斜进行估计，计算机201例如由个人计算机或智能手机构成。
图8的RFID接收机101构成图7的区域检测部1，照相机102构成图像取得部2a。计算机201实现数据库对照部11以及位置和倾斜估计部12的功能。通过使计算机201的处理器执行与数据库对照部11以及位置和倾斜估计部12对应的软件，而实现这些功能。
在图7的位置和倾斜估计装置采用像图8那样的结构的情况下，图7的区域检测部1～位置和倾斜估计部12具有如下功能。区域检测部1与RFID标签105进行通信，对该RFID标签105的属性(是哪个区域)进行识别。图像取得部2a取得从终端位置拍摄的彩色图像。数据库对照部11根据由图像取得部2a取得的彩色图像和由区域检测部1检测出的区域信息，进行图像数据库5的对照，位置和倾斜估计部12将数据库对照部11的对照结果的图像的位置和倾斜作为估计结果而进行输出。
接下来，使用图9的流程图，对实施方式1的位置和倾斜估计装置的动作进行说明。
用户使RFID标签105与RFID接收机101接触，对RFID标签105进行读取(步骤ST11)，输入终端所位于的房间的信息。另外，关于该输入，可以由用户通过手动输入而向RFID接收机101(数据库对照部11)进行输入，也可以将来自RFID接收机101的RFID标签105的信息直接作为房间的信息而提供给RFID接收机101(数据库对照部11)。另外，这里，假设终端进入图3所示的第一RFID标签105a的房间1。在像这样的状态下，通过图像取得部2a取得房间1内的图像数据后(步骤ST12)，数据库对照部11与图像数据库5中的数据进行对照(步骤ST13)。这里，在图5所示的图像数据库中，仅与RFID(1)的图像进行对照。然后，从RFID(1)的彩色图像之中提取与在步骤ST12中取得的图像最相似的图像。接下来，位置和倾斜估计部12根据对步骤ST13中提取的图像赋予的终端的距离信息+终端的位置t和倾斜R，对终端的位置和倾斜进行估计(步骤ST14)。
这样，根据实施方式1的位置和倾斜估计装置，第一效果在于减少计算时间。在本实施方式中，与图像数据库5进行的对照仅是与确定出的区域对应的图像数据。因此，相比于以往，能够减少图像的对照张数。例如，在上述例子中，仅对RFID(1)的图像进行对照，对RFID(2)的图像不进行对照，因此能够减少计算时间。第二效果在于提高相似场景的识别性。例如，即使在图3所示的房间1与房间2采用相同模样的内部装修的情况下，由于识别房间1和房间2而进行对照，因此也能够准确地对终端位置进行估计。
另外，在上述图像数据库构建装置以及位置和倾斜估计装置中，使用RFID来作为区域的确定手段，但例如只要是信标等能够唯一地进行确定的手段，则能够同样地进行使用。
像以上说明的那样，根据实施方式1的图像数据库构建装置，该图像数据库构建装置具有：区域检测部，其检测所拍摄的图像属于多个区域中的哪个区域；信息取得部，其取得表示所拍摄的图像的摄影对象物与摄影图像的取得位置之间的距离的距离信息；计算部，其根据距离信息，对所拍摄的图像的摄影位置和倾斜进行计算；以及图像数据库生成部，其生成将所拍摄的图像的摄影位置和倾斜与所拍摄的图像作为图像信息而建立关联得到的图像数据库，该图像数据库生成部对属于相同区域的图像的图像信息进行分组而生成图像数据库，因此，能够提供在对图像的位置和倾斜进行估计时能够提高实时性并且能够得到准确的位置和倾斜的估计结果的图像数据库。
另外，根据实施方式1的图像数据库构建装置，多个区域与由区域检测部检测出的区域一对一地关联起来，因此能够容易并且可靠地确定区域。
另外，根据实施方式1的图像数据库构建装置，区域检测部使用RFID对区域进行检测，因此能够容易并且可靠地确定区域。
另外，根据实施方式1的位置和倾斜估计装置，该位置和倾斜估计装置具有：图像数据库，其存储将具有摄影位置和倾斜的信息的图像按照多个区域进行分组而成的图像信息；区域检测部，其检测属于多个区域中的哪个区域；图像取得部，其取得摄影对象物的图像；数据库对照部，其将由图像取得部取得的图像仅与存储于图像数据库的图像中的属于由区域检测部检测出的同一区域的图像进行对照；以及位置和倾斜估计部，其将数据库对照部的对照结果的图像的位置和倾斜作为估计结果进行输出，因此能够提高实时性，并且能够得到准确的位置和倾斜的估计结果。
另外，根据实施方式1的位置和倾斜估计装置，使多个区域与由区域检测部检测出的区域建立关联，因此能够容易并且可靠地确定区域。
另外，根据实施方式1的位置和倾斜估计装置，区域检测部使用RFID来对区域进行检测，因此能够容易并且可靠地确定区域。
另外，根据实施方式1的图像数据库生成方法，图像数据库构建方法使用实施方式1所述的图像数据库构建装置，具有如下步骤：区域检测步骤，检测所拍摄的图像属于多个区域中的哪个区域；信息取得步骤，取得表示所拍摄的图像的摄影对象物与摄影图像的取得位置之间的距离的距离信息；计算步骤，根据距离信息，对所拍摄的图像的摄影位置和倾斜进行计算；以及图像数据库生成步骤，生成将所拍摄的图像的摄影位置和倾斜与所拍摄的图像作为图像信息而建立关联得到的图像数据库，在该图像数据库生成步骤中，对属于相同区域的图像的图像信息进行分组而生成图像数据库，因此，能够提供在对图像的位置和倾斜进行估计时能够提高实时性并且能够得到准确的位置和倾斜的估计结果的图像数据库。
实施方式2.
实施方式2是如下的图像数据库构建装置以及位置和倾斜估计装置，该图像数据库构建装置根据在室内的多个位置得到的信号的值进行分组而生成图像数据库，该位置和倾斜估计装置使用由图像数据库构建装置构建的图像数据库对位置和倾斜进行估计。
图10是实施方式2的图像数据库构建装置的结构图。图示的图像数据库构建装置具有区域检测部1a、传感器信息取得部2、位置关系计算部3以及图像数据库生成部4a。这里，传感器信息取得部2和位置关系计算部3是与实施方式1相同的结构，因此在这里省略说明。区域检测部1a是如下的处理部：将室内的多个位置的所设定的信号的值测定为与区域对应的值。图像数据库生成部4a是如下的处理部：使用由区域检测部1a测定出的信号的值，对由位置关系计算部3计算出的各摄影图像的位置和倾斜的计算信息进行分组，将该分组后的摄影图像以及该摄影图像的取得位置和倾斜与信号的值建立关联，生成建立关联后的图像信息作为图像数据库5a。
图11是图10所示的图像数据库构建装置的硬件结构图。在图11中，图像数据库构建装置100a具有无线LAN接收机106、照相机102、距离传感器103以及计算机104a。无线LAN接收机106是用于与在室内的多个区域中的每个区域设置的无线LAN的接入点107进行通信、并对通信的信号强度(RSSI：Received Signal Strength Indicator)进行测定的接收机。照相机102和距离传感器103是与实施方式1的图像数据库构建装置100的照相机102和距离传感器103相同的结构。计算机104a是如下装置：用于取得来自无线LAN接收机106、照相机102以及距离传感器103的数据，并根据这些数据生成图10的图像数据库5a，计算机104a例如由个人计算机或智能手机构成。
图11的无线LAN接收机106构成图10的区域检测部1a，照相机102构成图像取得部2a，距离传感器103构成距离测定部2b。计算机104a实现位置关系计算部3和图像数据库生成部4a的功能。通过使计算机104a的处理器执行与位置关系计算部3和图像数据库生成部4a对应的软件，从而实现这些功能。
接下来，对实施方式2的图像数据库构建装置的动作进行说明。
图12示出从上方观察两个房间的状态。在房间1中设置有接入点107a和接入点107b，在房间2中设置有接入点107c和接入点107d。使用图13的流程图对这样的两个房间的图像数据库构建的动作进行说明。
首先，像图12的虚线112那样取得房间1的数据来进行说明。在图13的流程图中，步骤ST21～步骤ST23与实施方式1的图4的步骤ST2～步骤ST4相同，因此在这里省略说明。在实施方式2中，通过区域检测部1a在房间1内的多个位置与接入点107进行通信，对来自该接入点107的信号强度(RSSI)进行测定(区域检测步骤：步骤ST24)。由此，能够在各个位置求出与该位置的接入点107a～107d对应的信号强度。以上，在对一个房间进行步骤ST21～步骤ST24的处理之后，结束测定(步骤ST25-是)。进而，通过位置关系计算部3使用捆绑调整(Bundle Adjustment)等使传感器的位置和倾斜高精度化(步骤ST26)。接下来，图像数据库生成部4a根据在步骤ST24中求出的信号强度，进行彩色图像和距离信息的分组(图像数据库生成步骤：步骤ST27)。作为分组方法的一例，存在K-means法或Spectral Clustering等的无监督学习的方法。
然后，判定是否所有房间的测定已经结束(步骤ST28)，在没有结束的情况下，重复从步骤ST21开始的处理，在所有房间的测定已经结束的情况下，结束图像数据库构建的动作。在该情况下，由于未进行房间2的测定，因此在步骤ST28中判定为“否”，像图12的虚线113所示那样在各个位置取得彩色图像和距离信息，进行步骤ST21～步骤ST27的处理。
通过像这样的方法，在对房间1和房间2进行测定，并通过图像数据库生成部4a使该测定结果数据库化后，制作出图14所示的图像数据库(图像数据库生成步骤)。如图14所示，按照每个信号而登记了图像、距离信息、位置以及倾斜的对。这里，信号1和信号2是与图12所示的房间1和房间2对应的信号，但根据房间的大小和接入点107的数量有时也不是必须与房间对应。例如，在房间较大且存在较多数量的接入点107的情况下，有时在一个房间形成多个组。
接下来，对实施方式2的位置和倾斜估计装置进行说明。
图15是位置和倾斜估计装置的结构图。本实施方式的位置和倾斜估计装置具有区域检测部1a、图像取得部2a、数据库对照部11a、位置和倾斜估计部12a以及图像数据库5a。图像取得部2a和区域检测部1a与图像数据库构建装置的图像取得部2a和区域检测部1a相同。数据库对照部11a是如下的处理部：使由图像取得部2a取得的图像仅与存储于图像数据库5a的图像中的具有与由区域检测部1a检测出的信号的值相同的信号的值的图像进行对照，来确定任意的图像。位置和倾斜估计部12a是将由数据库对照部11a确定出的图像的位置和倾斜作为估计结果而进行输出的处理部。另外，图像数据库5a是由图像数据库构建装置100a生成的数据库。
图16是图7所示的位置和倾斜估计装置的硬件结构图。在图16中，位置和倾斜估计装置200a具有无线LAN接收机106、照相机102以及计算机201a。无线LAN接收机106和照相机102与图11所示的图像数据库构建装置100a的无线LAN接收机106和照相机102相同。计算机201a是如下的装置：用于取得来自无线LAN接收机106和照相机102的数据，并根据这些数据对终端的位置和倾斜进行估计，计算机201a例如由个人计算机或智能手机构成。
图16的无线LAN接收机106构成图15的区域检测部1a，照相机102构成图像取得部2a。计算机201a实现数据库对照部11a以及位置和倾斜估计部12a的功能。通过使计算机201a的处理器执行与数据库对照部11a以及位置和倾斜估计部12a对应的软件，从而实现这些功能。
在图15的位置和倾斜估计装置采用像图16那样的结构的情况下，图15的图像取得部2a～位置和倾斜估计部12a具有如下功能。图像取得部2a取得从终端位置拍摄的彩色图像。区域检测部1a求出与各接入点107之间的信号强度。数据库对照部11a根据由图像取得部2a取得的彩色图像和由区域检测部1a测定的信号强度，进行图像数据库5a的对照，位置和倾斜估计部12a将数据库对照部11的对照结果的图像的位置和倾斜作为估计结果而进行输出。
接下来，使用图17的流程图，对实施方式2的位置和倾斜估计装置的动作进行说明。
在区域检测部1a对其位置的与各接入点之间的信号强度进行检测后(步骤ST31)，数据库对照部13a首先根据信号强度进行图像数据库5a的对照(步骤ST32)。另外，在由图像取得部2a取得图像(步骤ST33)后，数据库对照部13a从步骤ST32的对照结果之中进行图像的对照(步骤ST34)。即，数据库对照部13a首先根据来自区域检测部1a的信号强度，对终端的位置进行大致估计，接着，与跟该大致的估计结果对应的图像数据进行对照。例如，当在步骤ST32的对照中判定为信号1的情况下，仅与图14所示的图像数据库5a中的信号1的图像进行对照。然后，从信号1的彩色图像之中，提取与在步骤ST33中取得的图像最相似的图像。接着，位置和倾斜估计部14根据对步骤ST34中提取的图像赋予的终端的距离信息+终端的位置t和倾斜R，对终端的位置和倾斜进行估计(步骤ST35)。
这样，根据实施方式2的位置和倾斜估计装置，第一效果在于减少计算时间。在本实施方式中，与图像数据库5a进行的对照仅是与确定出的信号对应的图像数据。因此，相比于以往，能够减少图像的对照张数。例如，在上述例子中，将与图14所示的信号1对应的多个彩色图像与由图像取得部2a取得的图像进行对照。不对与信号2对应的彩色图像进行图像对照，因此预计能够减少计算时间。第二效果在于提高相似场景的识别性。例如，即使在图12所示的房间1与房间2采用相同模样的内部装修的情况下，由于进行通过与各接入点之间的信号强度大致判断用户位置的预处理，因此也能够准确地对终端位置进行估计。
另外，在上述的图像数据库构建装置以及位置和倾斜估计装置中，使用RSSI来作为由区域检测部1a检测的信号的值，但不限定于此，也可以使用与信标之间的信号强度、UWB(Ultra Wide Band：超宽带)的信号强度、距接入点的距离(ToF：Time of Flight)以及地磁传感器的测定值中的任意一个。
像以上说明的那样，根据实施方式2的图像数据库构建装置，区域检测部在多个位置将所设定的信号的值测定为与区域对应的值，图像数据库生成部使用由区域检测部测定出的信号的值，对由计算部计算出的图像的取得位置和倾斜进行分组，将信号的值、分组后的图像的取得位置和倾斜、以及图像作为图像信息而建立关联，生成图像信息作为图像数据库，因此，能够提供在对图像的位置和倾斜进行估计时能够提高实时性并且能够得到准确的位置和倾斜的估计结果的图像数据库。
另外，根据实施方式2的图像数据库构建装置，区域检测部将RSSI、与信标之间的信号强度、UWB的信号强度、距接入点的距离以及地磁传感器的测定值中的任意一个测定为所设定的信号的值，因此不需要用于信号测定的特别的装置，能够容易并且可靠地对区域进行确定。
另外，根据实施方式2的位置和倾斜估计装置，区域检测部在多个位置将所设定的信号的值测定为与区域对应的值，并且图像数据库使用信号的值而进行了分组，数据库对照部仅对存储于图像数据库的图像中的与由区域检测部检测出的信号的值相同的图像进行对照，因此在对图像的位置和倾斜进行估计时，能够提高实时性，并且能够得到准确的位置和倾斜的估计结果。
另外，根据实施方式2的位置和倾斜估计装置，区域检测部将RSSI、与信标之间的信号强度、UWB的信号强度、距接入点的距离以及地磁传感器的测定值中的任意一个测定为所设定的信号的值，因此不需要用于信号测定的特别的装置，能够容易并且可靠地对区域进行确定。
另外，本案的发明能够在本发明的范围内进行各实施的方式的自由的组合、或对各实施方式的任意构成要素进行变形，或者能够在各实施方式中省略任意的构成要素。
产业上的可利用性
像以上那样，本发明的图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法是关于使用预先登记的图像来求出终端的位置和倾斜的结构，适合用于将附加信息重叠显示于特定的对象的应用程序。
标号说明
1、1a：区域检测部；2：传感器信息取得部；2a：图像取得部；2b：距离测定部；3：位置关系计算部；4、4a：图像数据库生成部；5、5a：图像数据库；6：信号测定部；11、11a：数据库对照部；12、12a：位置和倾斜估计部；1、100、100a：图像数据库构建装置；101：RFID接收机；102：照相机；103：距离传感器；104、104a、201、201a：计算机；105：RFID标签；106：无线LAN接收机；107：接入点；200、200a：位置和倾斜估计装置。

Claims (11)

1.一种图像数据库构建装置，其具有：
区域检测部，其检测所拍摄的图像属于多个区域中的哪个区域；
信息取得部，其取得表示所拍摄的所述图像的摄影对象物与所拍摄的所述图像的取得位置之间的距离的距离信息；
计算部，其根据所述距离信息，对所拍摄的所述图像的摄影位置和倾斜进行计算；以及
图像数据库生成部，其生成将所拍摄的所述图像的摄影位置和倾斜与所拍摄的所述图像作为图像信息而建立关联得到的图像数据库，该图像数据库生成部对属于相同区域的图像的图像信息进行分组而生成图像数据库。
2.根据权利要求1所述的位置和倾斜估计装置，其特征在于，
所述多个区域与由所述区域检测部检测的区域一对一地关联。
3.根据权利要求2所述的图像数据库构建装置，其特征在于，
区域检测部使用RFID(Radio FrequencyIDentification)来检测所述区域。
4.根据权利要求1所述的图像数据库构建装置，其特征在于，
所述区域检测部在多个位置将所设定的信号的值测定为与所述区域对应的值，
所述图像数据库生成部使用由所述区域检测部测定出的信号的值对由所述计算部计算出的所述图像的取得位置和倾斜进行分组，将所述信号的值、进行所述分组后的所述图像的取得位置和倾斜、以及该图像作为图像信息而建立关联，生成该图像信息而作为图像数据库。
5.根据权利要求4所述的图像数据库构建装置，其特征在于，
所述区域检测部将RSSI(Received Signal Strength Indicator)、与信标之间的信号强度、UWB(Ultra Wide Band)的信号强度、距接入点的距离以及地磁传感器的测定值中的任意一个测定为所设定的所述信号的值。
6.一种位置和倾斜估计装置，其具有：
图像数据库，其存储有将具有摄影位置和倾斜的信息的图像按照多个区域进行分组而成的图像信息；
区域检测部，其检测属于多个区域中的哪个区域；
图像取得部，其取得摄影对象物的图像；
数据库对照部，其将由所述图像取得部取得的图像仅与存储于所述图像数据库的图像中的属于由所述区域检测部检测出的同一区域的图像进行对照；以及
位置和倾斜估计部，其将所述数据库对照部的对照结果的图像的位置和倾斜作为估计结果而进行输出。
7.根据权利要求6所述的位置和倾斜估计装置，其特征在于，
所述多个区域与由所述区域检测部检测的区域一对一的关联。
8.根据权利要求6所述的位置和倾斜估计装置，其特征在于，
所述区域检测部使用RFID来检测区域。
9.根据权利要求6所述的位置和倾斜估计装置，其特征在于，
所述区域检测部在多个位置将所设定的信号的值测定为与所述区域对应的值，并且
所述图像数据库使用所述信号的值而进行了分组，
所述数据库对照部仅对存储于所述图像数据库的图像中的与由所述区域检测部检测出的信号的值相同的图像进行对照。
10.根据权利要求9所述的位置和倾斜估计装置，其特征在于，
所述区域检测部将RSSI、与信标之间的信号强度、UWB的信号强度、距接入点的距离以及地磁传感器的测定值中的任意一个测定为所设定的所述信号的值。
11.一种图像数据库构建方法，其使用权利要求1所述的图像数据库构建装置，
该图像数据库构建方法具有如下步骤：
区域检测步骤，检测所拍摄的图像属于多个区域中的哪个区域；
信息取得步骤，取得表示所拍摄的所述图像的摄影对象物与所拍摄的所述图像的取得位置之间的距离的距离信息；
计算步骤，根据所述距离信息，对所拍摄的所述图像的摄影位置和倾斜进行计算；以及
图像数据库生成步骤，生成将所拍摄的所述图像的摄影位置和倾斜与所拍摄的所述图像作为图像信息而建立关联得到的图像数据库，其中，对属于相同区域的图像的图像信息进行分组而生成图像数据库。
CN201780086070.5A 2017-02-16 2017-02-16 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法 Active CN110268438B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/005709 WO2018150515A1 (ja) 2017-02-16 2017-02-16 画像データベース構築装置、位置及び傾き推定装置並びに画像データベース構築方法

Publications (2)

Publication Number Publication Date
CN110268438A true CN110268438A (zh) 2019-09-20
CN110268438B CN110268438B (zh) 2023-08-25

Family

ID=63169178

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780086070.5A Active CN110268438B (zh) 2017-02-16 2017-02-16 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法

Country Status (5)

Country Link
US (1) US20190362517A1 (zh)
JP (1) JP6580286B2 (zh)
CN (1) CN110268438B (zh)
DE (1) DE112017006794T5 (zh)
WO (1) WO2018150515A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11408966B2 (en) * 2018-11-14 2022-08-09 International Business Machines Corporation Location detection using a single beacon
US11810323B2 (en) * 2018-12-28 2023-11-07 Ntt Docomo, Inc. Position estimation system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103150330A (zh) * 2013-01-16 2013-06-12 中南大学 一种基于局部对象和块匹配的扫描证书图像检索方法
CN103149222A (zh) * 2013-02-28 2013-06-12 重庆大学 射线实时成像中缺陷检测方法
US8933993B1 (en) * 2012-01-16 2015-01-13 Google Inc. Hybrid local and cloud based method for pose determination of a mobile device

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003111128A (ja) * 2001-09-28 2003-04-11 J-Phone East Co Ltd 現在位置特定方法、現在位置情報提供方法、移動経路案内方法、位置情報管理システム及び情報通信端末
JP2004191339A (ja) * 2002-12-13 2004-07-08 Sharp Corp 位置情報検索方法、位置情報検索装置、位置情報検索端末、及び、位置情報検索システム
JP2004260304A (ja) * 2003-02-24 2004-09-16 Fuji Photo Film Co Ltd 画像管理システム
JP2007172197A (ja) * 2005-12-21 2007-07-05 Hitachi Ltd 画像入力装置、画像出力装置及び画像入出力システム
EP2409206A1 (en) * 2009-03-16 2012-01-25 Nokia Corporation Data processing apparatus and associated user interfaces and methods
WO2013146582A1 (ja) * 2012-03-29 2013-10-03 日本電気株式会社 位置判定システム、位置判定方法、コンピュータプログラム及び位置判定装置
EP3026596A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing System for identifying a location of a mobile tag reader

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8933993B1 (en) * 2012-01-16 2015-01-13 Google Inc. Hybrid local and cloud based method for pose determination of a mobile device
CN103150330A (zh) * 2013-01-16 2013-06-12 中南大学 一种基于局部对象和块匹配的扫描证书图像检索方法
CN103149222A (zh) * 2013-02-28 2013-06-12 重庆大学 射线实时成像中缺陷检测方法

Also Published As

Publication number Publication date
WO2018150515A1 (ja) 2018-08-23
JPWO2018150515A1 (ja) 2019-11-07
CN110268438B (zh) 2023-08-25
DE112017006794T5 (de) 2019-10-10
US20190362517A1 (en) 2019-11-28
JP6580286B2 (ja) 2019-09-25

Similar Documents

Publication Publication Date Title
US20170330031A1 (en) Fusing device and image motion for user identification, tracking and device association
US9476717B2 (en) Simultaneous localization and mapping by using Earth's magnetic fields
US9411037B2 (en) Calibration of Wi-Fi localization from video localization
US9292936B2 (en) Method and apparatus for determining location
Zhao et al. Enhancing camera-based multimodal indoor localization with device-free movement measurement using WiFi
US20150092048A1 (en) Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20190320061A1 (en) Proximity-based event networking system and wearable augmented reality clothing
CN107407566A (zh) 基于vlc的矢量场指纹映射
WO2019046962A1 (en) METHOD AND SYSTEM FOR TARGET POSITIONING AND CARD UPDATE
US10976407B2 (en) Locating radio transmission source by scene reconstruction
Wang et al. Computer vision-assisted 3D object localization via COTS RFID devices and a monocular camera
CN109819406B (zh) 一种基于众包的室内定位方法
CN115808170B (zh) 一种融合蓝牙与视频分析的室内实时定位方法
Feng et al. Visual Map Construction Using RGB‐D Sensors for Image‐Based Localization in Indoor Environments
Ruotsalainen et al. Improving computer vision-based perception for collaborative indoor navigation
Seco et al. RFID-based centralized cooperative localization in indoor environments
Duan et al. Enabling RFID-based tracking for multi-objects with visual aids: A calibration-free solution
Daniş et al. An indoor localization dataset and data collection framework with high precision position annotation
CN110268438A (zh) 图像数据库构建装置、位置和倾斜估计装置以及图像数据库构建方法
CN108932478A (zh) 基于图像的物体定位方法、装置及购物车
US11898847B2 (en) Position detecting system and position detecting method
CN114513746B (zh) 融合三重视觉匹配模型和多基站回归模型的室内定位方法
KR102407802B1 (ko) 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치
CN109612455A (zh) 一种室内定位方法及系统
Dong et al. Enabling surveillance cameras to navigate

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant