CN104335649B - 基于图像匹配的确定智能手机位置和姿态的方法和系统 - Google Patents

基于图像匹配的确定智能手机位置和姿态的方法和系统 Download PDF

Info

Publication number
CN104335649B
CN104335649B CN201280072738.8A CN201280072738A CN104335649B CN 104335649 B CN104335649 B CN 104335649B CN 201280072738 A CN201280072738 A CN 201280072738A CN 104335649 B CN104335649 B CN 104335649B
Authority
CN
China
Prior art keywords
information
posture
geo
image
user terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280072738.8A
Other languages
English (en)
Other versions
CN104335649A (zh
Inventor
李林枰
崔京儿
金浩俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104335649A publication Critical patent/CN104335649A/zh
Application granted granted Critical
Publication of CN104335649B publication Critical patent/CN104335649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/0009—Transmission of position information to remote stations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/027—Services making use of location information using location based information parameters using movement velocity, acceleration information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal

Abstract

本发明涉及一种用于确定位置和姿态的方法和系统，能有效地被用于基于位置的服务。其通过使用在网络中的服务器上或用户终端上预先建立的地理定位参考图像数据库，以及用户终端的摄像头所拍摄的图像，精确地确定诸如智能手机的用户终端的关于位置和姿态的信息，并将所确定的位置和姿态提供给用户终端。

Description

基于图像匹配的确定智能手机位置和姿态的方法和系统
技术领域
本发明总体涉及确定用户终端(例如智能手机)的位置和姿态的方法和系统，更具体地，涉及确定位置和姿态的方法和系统，其使用地理定位参考图像数据库(DB)更精确地确定用户终端(例如智能手机)的位置和姿态的信息，该地理定位参考图像数据库(DB)预先在用户终端或网络上的服务器中构建，从而使用户终端能够有效地利用所确定的关于位置服务的信息。
背景技术
近来，由于智能手机用户的数量增加以及智能手机的使用急剧扩大，基于地图的道路导航系统或提供额外信息的系统的需求急剧增加。为了通过这种系统提供信息，必须在真实世界的座标系中准确地检测智能手机的位置和姿态。然而，使用安装在终端中的全球定位系统(GPS)确定用户位置目前具有误差范围大的缺点并且几乎不可能提供户内区域的信息。
发明内容
技术问题
因此，本发明旨在解决上述问题。本发明的一个目标是提供一种确定位置和姿态的方法和系统，其使用地理定位参考图像数据库(DB)，由从用户终端传输的传感器信息和图像信息更精确地确定用户终端(例如智能手机)的关于位置和姿态的信息，所述地理定位参考图像数据库预先在用户终端或网络上的服务器中构建，从而使用户终端有效地使用所确定的关于定位服务的信息。
技术方案
对本发明的特征进行概括，为实现上述目标，根据本发明的一个方面，一种确定用户终端的位置和姿态的系统包括：位置/姿态确定服务器，用于接收从用户终端传输的与位置和姿态相关的传感器信息以及摄像头图像，所述用户终端通过网络与所述位置/姿态确定服务器协同运作，其中，所述位置/姿态确定服务器由从用户终端传输的所述与位置和姿态相关的传感器信息和摄像头图像，通过基于光束平差法(bundle adjustment)的地理定位确定用户终端的位置信息和姿态信息，并将所述位置信息和姿态信息回馈到用户终端。
所述位置/姿态确定服务器可以包括：初始位置/姿态确定模块，用于基于所述传感器信息确定用户终端的初始位置信息和初始姿态信息；数据库，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在通过地理定位获取图像时所获得的各个摄像头的位置和姿态；搜索模块，用于在数据库中搜索地理定位参考图像，所述地理定位参考图像包括与接收到的摄像头图像相似的图像；图像匹配模块，用于将接收到的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置相对应的图像点的座标作为连接点(tie point)；以及位置/姿态调整模块，用于对匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
所述传感器信息可以包括由全球定位系统(GPS)模块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数据。
所述图像匹配模块可以提取在将从用户终端传输的多个摄像头图像中的任何两个图像相互比对时的连接点，以及提取在将从用户终端传输的对应摄像头图像与找到的地理定位参考图像相互比对时的连接点，并且提取可靠的连接点以使得所提取的多个连接点在一单个点处会合，从而使误差最小化。
所述位置/姿态调整模块可以由实时地从用户终端传输的传感器信息和摄像头图像来确定最终位置信息和最终姿态信息，并将最终位置信息和最终姿态信息实时地回馈到用户终端。
所述用户终端可以基于回馈的最终位置信息和最终姿态信息，在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信息，并在屏幕中的地图上显示所接收到的信息。
根据本发明的另一个方面，一种确定用户终端的位置和姿态的方法，包括：由通过网络与用户终端协同运作的服务器，接收由用户终端获取的与位置和姿态相关的传感器信息和摄像头图像；所述服务器由从所述用户终端传输的所述与位置和姿态相关的传感器信息和摄像头图像，通过基于光束平差法的地理定位来确定所述用户终端的位置信息和姿态信息；以及所述服务器将所述位置信息和所述姿态信息回馈到所述用户终端。
确定所述用户终端的位置信息和姿态信息并将这些信息回馈到所述用户终端可以包括：根据所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息；在数据库中搜索地理定位参考图像，所述地理定位参考图像包括与接收到的摄像头图像相似的图像，在所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；经由地理定位获取所述位置和姿态；将所接收的多个摄像头图像相互比对或将接收到的摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点的座标作为连接点；以及对所述匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
根据本发明的又一个方面，一种用于确定用户终端的位置和姿态的方法，包括：使用摄像头获取摄像头图像，并且使用一个或多个传感器测量与位置和姿态相关的传感器信息；根据所述传感器信息确定初始位置信息和初始姿态信息；在数据库中搜索包括与所述摄像头图像相似的图像的地理定位参考图像，所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；将该摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点的座标来作为连接点；以及对所述匹配的图像执行基于光束平差法的地理定位过程，然后对初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
根据本发明的又一个方面，一种确定用户终端的位置和姿态的装置，包括：摄像头，用于获取摄像头图像；传感器模块，用于测量与位置和姿态相关的传感器信息；初始位置/姿态确定模块，用于基于所述传感信息确定初始位置信息和初始姿态信息；数据库，所述数据库用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；搜索模块，用于在所述数据库中搜索包括与所述摄像头图像相似的图像的地理定位参考图像；图像匹配模块，用于将所述摄像头图像与找到的地理定位参考图像相互比对，并且提取与匹配的图像的位置对应的图像点的座标来作为连接点；以及位置/姿态调整模块，用于对所述匹配的图像执行基于光束平差法的地理定位过程，然后对所述初始位置信息和初始姿态信息进行校正，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
有益效果
根据本发明的确定用户终端的位置和姿态的方法和系统，使用地理定位参考图像数据库(DB)和由摄像头拍摄的图像更精确地确定关于用户终端的位置和姿态的信息，并将其提供给所述用户终端，从而所述用户终端可以有效地将所确定的信息用于基于位置的服务。被提供给所述用户终端的所述与位置和姿态相关的信息可以用于户内和户外，并且可以有效地用于基于位置的服务，例如精确道路导航服务、提供额外信息的服务以及增强现实的服务。
附图说明
图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统的示意图；
图2是示出图1的用户终端和位置/姿态确定服务器的详细方框图；
图3是示出根据本发明实施例的确定用户终端的位置和姿态的系统的操作流程图。
具体实施方式
以下，将参考附图以及附图中的细节详细描述本发明的优选实施例，但本发明不限于这些实施例。
图1是示出根据本发明实施例的确定用户终端的位置和姿态的系统100的示意图。
参见图1，根据本发明实施例的确定用户终端的位置和姿态的系统100包括：位置/姿态确定服务器120，用于通过网络协同用户终端110操作，并且所述网络可以包括基于位置的服务(LBS)服务器，该服务器用于向用户终端110提供与用户终端110的位置和姿态相关的LBS服务信息。
此时，根据通信环镜，所述网络可以是(但不仅限于)，因特网(包括Wi-Fi网络)，并且可以包括无线移动通信网络，诸如宽带码分多址移动通信系统(WCDMA，包括第三代(3G)或基于长期演进(LTE)的4G)或无线宽带(WiBro)网络，或者包括有线电话网络等。在用户终端110通过网络同与用户终端协同的位置/姿态确定服务器120协同操作时，用户终端110可以被提供传输与位置和姿态相关的信息(传感器信息、摄像头图像信息等)的服务，所述与位置和姿态相关的信息由用户终端110从户内或户外区域获得，并且用户终端110可以从位置/姿态确定服务器120接收经更精确校正的与位置和姿态相关的信息来作为回馈信息，该信息是通过对与拍摄摄像头图像时的位置和姿态相关的信息进行校正来获得的。
根据使用环境，用户终端110是能访问网络(例如互联网)并能利用数据服务的终端，其可以是(但不仅限于)智能手机(例如iPod或Android手机)，或者可以是便携或移动终端，诸如移动电话或能通过网络进行通信的个人通信服务(PCS)电话、能进行无线通信的同步/异步国际移动通信-2000(IMT-2000)终端、个人数字助理(PDA)、无线应用协议(WAP)电话、移动PS(Play Station)游戏机、或其它类型的便携多媒体播放器(PMP)，可以是笔记本式个人计算机(PC)、台式PC、掌上PC，并且可以包括能与其它电子应用通信并且被全社会广泛使用的家用或商用的各种类型的电子应用或设备。
用户终端110可以在与网络上的LBS服务器通信时，接收与相应的位置或姿态相关的服务信息，该服务信息是基于最终位置信息(纬度、经度、高度等)或最终姿态信息(由位置/姿态确定服务器120精确估算并回馈的旋转角信息，例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)、重力方向(首摇轴方向)，并且可以在屏幕中的地图上显示相应信息。例如，用户终端110可以在地图上提供更精确的道路导航服务(例如导航系统所提供的服务)，提供增强现实的服务以更准确地结合适合于给定姿态的(虚拟)图像，并且提供适宜于用户终端110的精确位置和姿态的各种类型的额外信息。
以下，将参考用户终端110的方框图和图2的位置/姿态确定服务器120以及图3的流程图对根据本发明实施例的用于确定用户终端的位置和姿态的系统100的操作进行详细描述。
如图2所示，用户终端110包括传感器模块111、摄像头112以及采集传输模块113，并且位置/姿态确定服务器120包括初始位置/姿态确定模块121、图像数据库(DB)122、图像搜索模块123、图像匹配模块124以及位置/姿态调整模块125。
首先，在用户终端110中，根据用户的操作或当前服务的预定应用程序的操作，传感器模块111测量与位置和姿态(PA)相关的传感器信息，摄像头112拍摄周围图像(可以是多个静止或运动图像)并产生摄像头图像，并且采集传输模块113采集这种与位置和姿态(PA)相关的传感器信息和摄像头图像(信息)，并且将所采集的信息传输到位置/姿态确定服务器120(图3，S10)。
此时，传感器模块111测量的与位置和姿态(PA)相关的传感器信息可以是由全球定位系统(GPS)模块测量的位置数据(纬度、经度、高度等)、由指南针模块测量的方向数据(与运动方向有关的信息)、由陀螺仪传感器测量的姿态数据(与角速度的增量相关的旋转角信息，例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)和重力方向(首摇轴方向))，或者由加速度传感器测量的加速度数据(与在运动方向上的速度增量相关的加速度信息)。
如果从用户终端110传输与位置和姿态(PA)相关的传感器信息和摄像头图像，那么，初始位置/姿态确定模块121根据与位置和姿态(PA)相关的传感器信息，确定初始位置信息(λ，h)(纬度、经度、高度等)和初始姿态信息(θRoll，θPitch，θYaw)(旋转角信息，例如前向移动方向(横摇轴方向)、前向移动方向的右侧方向(纵摇轴方向)、重力方向(首摇轴方向))来作为用户终端110的初始外部取向参数(图3，S20)。
初始位置/姿态确定模块121通过将指南针模块的方向数据、陀螺仪传感器的姿态数据、加速度传感器的加速度数据等与位置和姿态(PA)相关的传感器信息应用到预定的导航方程式中，可以估算速度并确定位置信息和姿态信息，并且通过将GPS模块的位置数据额外地应用到所提供的卡尔曼滤波器(Kalman filter)，可以确定上述初始位置信息(λ，h)(纬度、经度、高度等)和初始姿态信息(θRoll，θPitch，θYaw)，来作为用户终端110的初始外部取向参数。由于使用这种导航方程式或卡尔曼滤波器估算与位置和姿态相关的导航信息的技术在所属领域内是熟知的，所以省略了对其详细的描述。
同时，在图像数据库122中，地理定位参考图像和各个图像点的座标被预先构建并存储，其中，所述地理定位参考图像对应于各个摄像头的位置(λ，h)和姿态(θRoll，θPitch，θYaw)，这些图像是在经由地理定位获取图像时所获得的，各个图像点的座标是图像点的地面座标。图像搜索模块123在图像数据库122中搜索地理定位参考图像(图3，S30)，该地理定位参考图像包括与从用户终端110接收的给定摄像头图像相似的图像。上述图像点座标可以被存储在图像数据库122中，并且有效地用于计算与位置或姿态相关的信息，下文将会对此描述。但这并不是必需的，其可以被省略并且可以由任意一种估算的图像相对座标代替。
地理定位是一种算法，其通过使用由多传感器(全球定位系统(GPS)、惯性测量单元(IMU)、数字摄像头、激光扫描仪等)获取的摄像头的与位置和姿态相关的数据和图像数据，来获取在图像或拍摄位置中所包含的地面物体的三维(3D)地面座标信息。根据数字摄像头等的连续的与位置和姿态相关的数据来执行基于航空三角测量(AT)的地理定位过程，然后可以估算在拍摄位置处的摄像头的图像或位置和姿态中所包括的地面物体的座标(或图像点)，同时诸如与位置和姿态相关的数据的外部取向参数被校正，并且可以获取与在拍摄时的位置和姿态相对应的地理定位图像。
通过这种地理定位方法，地理定位参考图像被预先构建并存储在数据库(DB)122中，在所述地理定位参考图像中指明了在图像获取时的各个摄像头的位置和姿态。图像搜索模块123可以在图像数据库122中搜索地理定位参考图像，所述地理定位参考图像包括与用户终端110的摄像头图像相似的图像。
图像匹配模块124可以将用户终端110的多个摄像头图像相互比对或者将摄像头图像与由图像搜索模块123找到的地理定位参考图像进行比对，并且提取与摄像头的拍摄位置(λ，h)对应的匹配的图像的图像点的座标，来作为连接点(共轭点)(图3，S40)。此时，除了将自用户终端110传输的摄像头图像与找到的地理定位参考图像相互比对时的连接点以外，在将自用户终端110传输的多个摄像头图像中的任何两个不同图像相互比对时，可以进一步提取在相匹配的图像部分之间的一个或多个连接点。可以计算出为使得误差最小化而能够让多个所提取的连接点在一点处会合的可靠连接点。
例如，必须满足一个条件，其中对于单个地面点，在被估算为相同图像的摄像头图像和由图像搜索模块123所找到的地理定位参考图像的匹配部分之间的图像点存在于预定共线方程的单一直线上。然而，即使在相同地面点的情况中，也可能出现由于图像点(连接点)的座标之间的误差而使得这些地面点不能在单个地面点处会合的情况。因此，通过采用最小二乘法，可以将下面这种点计算为连接点：这种点允许对于单个地面点的多个共线方程的直线在相对小范围内会合而使得误差最小化。
如果已经以这种方式计算了这些连接点，那么位置/姿态调整模块125被配置为以下情形：为了确定最终外部取向参数(所述最终外部取向参数能使用对应的连接点获取连接点(使得可以获取对应的摄像头图像))，位置/姿态调整模块125可以校正由初始位置/姿态确定模块121根据相互匹配的摄像头图像或地理定位参考图像(或这些图像的图像点)确定的初始外部取向参数(初始位置信息和初始姿态信息)，然后可以确定用户终端110的最终外部取向参数(最终位置信息和最终姿态信息)(图3，S50)，并且将最终外部取向参数回馈到用户终端110(图3，S60)。在这种情况下，位置/姿态调整模块125根据从用户终端110实时传输的PA传感器信息和摄像头图像来相继确定最终位置信息和最终姿态信息，并将最终位置信息和最终姿态信息实时地回馈到用户终端110。在这种情况下，可以引用存储在数据库122中的对应匹配部分的地理定位参考图像(包括图像点的地面座标)。在这种情况下，位置/姿态调整模块125执行基于光束平差法的地理定位过程，并校正初始外部取向参数(初始位置信息和初始姿态信息)，从而精确地估算拍摄对应图像的用户终端110的地面(拍摄)座标。
基于光束平差法的地理定位是一种间接确定摄像头位置和姿态的方法，即，用户终端110在获取图像时的位置和姿态。基于图像的光束平差法的位置/姿态调整模块125使用一种数学模型(带有随机约束条件的高斯-马尔可夫模型)，其使用带有随机约束条件的共线条件表达式，将最小二乘法应用到初始外部取向参数(初始位置信息和姿态信息)，其中从匹配的图像的部分(或这些图像的图像点)参考了与数据库122中的各个摄像头的位置和姿态对应的地理定位参考图像(包括图像点的地面座标)，并且在上述数学模型中反复地计算预定的法方程，从而估算最终会聚的最终外部取向参数(最终位置信息和最终姿态信息)。根据上述过程，可以将以下内容估算为关于拍摄对应摄像头图像的位置和姿态的信息：在基于上述数学模型的预定法方程中，关于能够从匹配的参考图像部分获取连接点的误差被最小化的最终位置和最终姿态的信息。
如上所述，尽管已经示出用户终端110精确地接收用户终端110的对应位置信息和姿态信息来作为回馈信息，同时与在网络上的位置/姿态确定服务器120协同操作的过程，但该过程不限于此例。位置/姿态确定服务器120的组件被包括在用户终端110中来作为位置/姿态确定器件，从而用户终端110可以直接估算并使用上述最终外部取向参数。也就是说，用户终端110可以不仅仅包括传感器模块111、摄像头112和采集传输模块113，还可以包括初始位置/姿态确定模块121、图像数据库122、图像搜索模块123、图像匹配模块124和位置/姿态调整模块125。此时，用户终端110可以直接估算上述精确的最终外部取向参数，而不需要将与位置和姿态相关的传感器信息、摄像头图像等传输到网络上的服务器。
用户终端110可以在与网络上的LBS服务器通信时接收相应的与位置或姿态相关的服务信息并在屏幕中的地图上显示这些信息，该过程是基于由用户终端直接估算的最终外部取向参数，或由网络上的位置/姿态确定服务器120精确地估算并从服务器120回馈的最终外部取向参数，即，最终位置信息(λ，h)(纬度、经度、高度等)或最终姿态信息(θRoll，θPitch，θYaw)。例如，如在导航系统中的情况中，用户终端110可以在地图上提供更精确的道路导航服务，实现更精确地结合适用于给定姿态的(虚拟)图像来实施增强现实服务，并且提供适用于用户终端110的精确位置和姿态的各种类型的额外信息。
尽管参考了有限数目个实施例和附图来描述本发明，本发明不限于上述实施例，并且本发明所属领域的技术人员可以做出多种改变和修改。因此，本发明的范围不应由上述实施例限定，并且应当由所附权利要求书及其等同物限定。

Claims (8)

1.一种用于确定用户终端(110)的位置和姿态的系统，包括：
位置/姿态确定服务器(120)，用于接收从用户终端(110)传输的与位置和姿态有关的传感器信息和摄像头图像，所述用户终端(110)通过网络与所述位置/姿态确定服务器(120)协同运作，
其中，所述位置/姿态确定服务器(120)包括：
初始位置/姿态确定模块(121)，用于基于所述传感器信息确定所述用户终端的初始位置信息和初始姿态信息；
数据库(122)，用于存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；
搜索模块(123)，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括与接收到的摄像头图像相似的图像；
图像匹配模块(124)，用于将接收到的摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标来作为连接点；以及
位置/姿态调整模块(125)，用于对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
2.根据权利要求1所述的系统，其中所述传感器信息包括：由全球定位系统(GPS)模块测量的位置数据、由指南针模块测量的方向数据、由陀螺仪传感器测量的姿态数据或由加速度传感器测量的加速度数据。
3.根据权利要求1所述的系统，其中，所述图像匹配模块(124)提取在将从所述用户终端传输的对应摄像头图像与所找到的地理定位参考图像相互比对时的连接点，并且提取可靠的连接点以使多个所提取的连接点在一单个点处会合，从而使误差最小化。
4.根据权利要求1所述的系统，其中，所述位置/姿态调整模块(125)由从所述用户终端实时地传输的传感器信息和摄像头图像确定所述最终位置信息和最终姿态信息，并将所述最终位置信息和最终姿态信息实时地回馈到所述用户终端。
5.根据权利要求4所述的系统，其中，所述用户终端(110)根据所回馈的所述最终位置信息或最终姿态信息，在与网络中的其它服务器通信时接收给定的与位置和姿态相关的服务信息，并在屏幕中的地图上显示接收到的信息。
6.一种确定用户终端(110)的位置和姿态的方法，包括：
由通过网络与用户终端协同运作的服务器来接收由所述用户终端(110)获取的与位置和姿态相关的传感器信息和摄像头图像；以及
所述服务器(120)由从所述用户终端(110)传输的所述与位置和姿态相关的传感器信息和所述摄像头图像，通过基于光束平差法的地理定位，确定所述用户终端(110)的位置信息和姿态信息，并且所述服务器(120)将所述位置信息和姿态信息回馈到所述用户终端，
其中，确定所述用户终端(110)的所述位置信息和姿态信息并将所述位置信息和姿态信息回馈到所述用户终端(110)包括：
根据所述传感器信息确定所述用户终端(110)的初始位置信息和初始姿态信息；
在数据库(122)中搜索地理定位参考图像，其中所述地理定位参考图像包括与接收到的摄像头图像相似的图像，所述数据库(122)中存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；
将所述接收到的图像与所找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标作为连接点；以及
对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端(110)的最终位置信息和最终姿态信息。
7.一种确定用户终端(110)的位置和姿态的方法，包括：
使用摄像头获取摄像头图像，并使用一个或多个传感器测量与位置和姿态相关的传感器信息；
根据所述传感器信息确定初始位置信息和初始姿态信息；
在数据库(122)中搜索地理定位参考图像，其中所述地理定位参考图像包括与所述摄像头图像相似的图像，所述数据库中预先存储了地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；
将所述摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标作为连接点；以及
对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库(122)的所述连接点对应的所述用户终端(110)的最终位置信息和最终姿态信息。
8.一种用于确定用户终端(110)的位置和姿态的装置，包括：
摄像头(112)，用于获取摄像头图像；
传感器模块(111)，用于测量与位置和姿态相关的传感器信息；
初始位置/姿态确定模块(121)，用于基于所述传感器信息确定初始位置信息和初始姿态信息；
数据库(122)，用于预先存储地理定位参考图像，在所述地理定位参考图像中指明了在经由地理定位获取图像时所获得的各个摄像头的位置和姿态；
搜索模块(123)，用于在所述数据库中搜索地理定位参考图像，所述地理定位参考图像包括与所述摄像头图像相似的图像；
图像匹配模块(124)，用于将所述摄像头图像与找到的地理定位参考图像进行比对，并提取与匹配的图像的位置对应的图像点座标作为连接点；以及
位置/姿态调整模块(125)，用于对所述匹配的图像执行基于光束平差法的地理定位过程，然后校正所述初始位置信息和初始姿态信息，以确定与关于所述数据库的所述连接点对应的所述用户终端的最终位置信息和最终姿态信息。
CN201280072738.8A 2012-04-26 2012-11-14 基于图像匹配的确定智能手机位置和姿态的方法和系统 Active CN104335649B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0043618 2012-04-26
KR20120043618A KR101356192B1 (ko) 2012-04-26 2012-04-26 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
PCT/KR2012/009568 WO2013162140A1 (ko) 2012-04-26 2012-11-14 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템

Publications (2)

Publication Number Publication Date
CN104335649A CN104335649A (zh) 2015-02-04
CN104335649B true CN104335649B (zh) 2018-09-21

Family

ID=49483401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280072738.8A Active CN104335649B (zh) 2012-04-26 2012-11-14 基于图像匹配的确定智能手机位置和姿态的方法和系统

Country Status (5)

Country Link
US (1) US9749809B2 (zh)
EP (1) EP2844009B1 (zh)
KR (1) KR101356192B1 (zh)
CN (1) CN104335649B (zh)
WO (1) WO2013162140A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140227977A1 (en) * 2013-02-12 2014-08-14 Zary Segall Method, node, device, and computer program for interaction
IL228735B (en) * 2013-10-06 2018-10-31 Israel Aerospace Ind Ltd A system and method for determining target direction
CN103900473A (zh) * 2014-03-31 2014-07-02 浙江大学 一种基于摄像头与重力感应器融合的智能移动设备六自由度位姿估计方法
JP6635037B2 (ja) * 2014-08-01 2020-01-22 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN105578591A (zh) * 2014-10-10 2016-05-11 华为技术有限公司 定位的方法、定位服务器和终端
GB2546954A (en) * 2015-04-17 2017-08-09 Cinime Asia Pacific Pte Ltd A location method and system
KR102432806B1 (ko) * 2015-10-26 2022-08-12 한화테크윈 주식회사 감시 시스템 및 그 제어 방법
CN107666492B (zh) * 2016-07-25 2021-07-27 中兴通讯股份有限公司 一种控制方法、服务传感器、服务装置及终端
KR101868855B1 (ko) * 2016-09-02 2018-06-19 주식회사 씨앤더블유커뮤니케이션 증강현실을 이용한 음악컨텐츠 서비스 제공방법
CN106681000B (zh) * 2016-11-22 2020-09-11 宇龙计算机通信科技(深圳)有限公司 一种增强现实注册装置及其方法
CN106803844B (zh) * 2017-03-01 2019-02-15 维沃移动通信有限公司 一种灯光控制方法及移动终端
US20180350055A1 (en) * 2017-06-01 2018-12-06 Tesla, Inc. Augmented reality feature detection
EP3731436A4 (en) 2017-12-19 2021-02-17 Panasonic Intellectual Property Corporation of America TRANSMISSION METHOD, RECEPTION METHOD, TRANSMISSION DEVICE AND RECEIVING DEVICE
CN110514181A (zh) * 2018-05-22 2019-11-29 杭州萤石软件有限公司 一种电子设备定位方法和装置
CN108897830B (zh) * 2018-06-22 2022-04-29 北京邮电大学 一种定位方法及装置
CN111143489B (zh) * 2018-11-06 2024-01-09 北京嘀嘀无限科技发展有限公司 基于图像的定位方法及装置、计算机设备和可读存储介质
CN113273164A (zh) * 2019-01-07 2021-08-17 昕诺飞控股有限公司 一种用于向区域提供基于位置的服务的控制器、系统和方法
CN110275968A (zh) * 2019-06-26 2019-09-24 北京百度网讯科技有限公司 图像数据处理方法和装置
DE102019211871B4 (de) * 2019-08-07 2021-04-22 Siemens Schweiz Ag Verfahren und Anordnung zur Darstellung von technischen Objekten
US11871114B2 (en) * 2019-10-04 2024-01-09 Visit Inc. System and method for producing panoramic image content
WO2021082024A1 (zh) * 2019-11-02 2021-05-06 游戏橘子数位科技股份有限公司 虚实结合的定位方法
CN111026107A (zh) * 2019-11-08 2020-04-17 北京外号信息技术有限公司 用于确定可移动物体的位置的方法和系统
US11562525B2 (en) 2020-02-13 2023-01-24 Magic Leap, Inc. Cross reality system with map processing using multi-resolution frame descriptors
CN113473379B (zh) * 2020-03-31 2022-08-30 安克创新科技股份有限公司 一种判断目标是否回到指定地点的方法
CN113654548A (zh) * 2021-07-16 2021-11-16 北京百度网讯科技有限公司 定位方法、装置、电子设备及存储介质
KR102650141B1 (ko) * 2021-12-09 2024-03-20 서정호 위치기반 증강현실 제어 시스템
CN115633122B (zh) * 2022-12-07 2023-03-28 广州市影擎电子科技有限公司 基于手机的伺服运动轨迹录制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570665A (zh) * 2003-04-22 2005-01-26 富士胶片株式会社 图像处理服务器
CN101617197A (zh) * 2007-02-16 2009-12-30 三菱电机株式会社 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
CN102123231A (zh) * 2009-09-30 2011-07-13 卡西欧计算机株式会社 具有图像数据共享功能的显示终端、共享图像数据的图像共享系统及图像共享方法
FR2960082A1 (fr) * 2010-05-17 2011-11-18 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451219B2 (en) * 2004-12-31 2016-09-20 Nokia Technologies Oy Provision of target specific information
KR101013751B1 (ko) * 2009-07-09 2011-02-14 주식회사 인스프리트 가상화 처리서버 및 ｄｃｄ 컨텐츠를 이용한 증강현실 제공 시스템
KR101557663B1 (ko) * 2009-07-09 2015-10-07 에스케이플래닛 주식회사 증강 현실을 이용한 위치 기반 서비스 제공 방법과 그를 위한 시스템, 서버 및 휴대용 단말기
KR101092104B1 (ko) * 2009-08-26 2011-12-12 주식회사 팬택 3차원 위치영상 제공 방법 및 시스템
KR101648339B1 (ko) 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US8427536B2 (en) * 2009-11-19 2013-04-23 Qualcomm Incorporated Orientation determination of a mobile station using side and top view images
KR101080078B1 (ko) 2009-12-08 2011-11-04 숭실대학교산학협력단 통합센서 기반의 모션 캡쳐 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1570665A (zh) * 2003-04-22 2005-01-26 富士胶片株式会社 图像处理服务器
CN101617197A (zh) * 2007-02-16 2009-12-30 三菱电机株式会社 道路地物测量装置、地物识别装置、道路地物测量方法、道路地物测量程序、测量装置、测量方法、测量程序、测量位置数据、测量终端装置、测量服务器装置、作图装置、作图方法、作图程序以及作图数据
CN102123231A (zh) * 2009-09-30 2011-07-13 卡西欧计算机株式会社 具有图像数据共享功能的显示终端、共享图像数据的图像共享系统及图像共享方法
FR2960082A1 (fr) * 2010-05-17 2011-11-18 Commissariat Energie Atomique Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Bundle Adjustment —A Modern Synthesis;Bill Triggs等;《security in communication networks：third international conference》;20020913;全文 *

Also Published As

Publication number Publication date
EP2844009B1 (en) 2018-07-11
EP2844009A4 (en) 2015-12-30
US20150126223A1 (en) 2015-05-07
EP2844009A1 (en) 2015-03-04
WO2013162140A1 (ko) 2013-10-31
KR101356192B1 (ko) 2014-01-24
CN104335649A (zh) 2015-02-04
KR20130120598A (ko) 2013-11-05
US9749809B2 (en) 2017-08-29

Similar Documents

Publication Publication Date Title
CN104335649B (zh) 基于图像匹配的确定智能手机位置和姿态的方法和系统
US20140267234A1 (en) Generation and Sharing Coordinate System Between Users on Mobile
US20140171107A1 (en) System and method for wireless indoor localization based on inertial measurement unit and map information
CN104950284B (zh) 装置相对位置的判定方法及电子装置
CN104615659A (zh) 基于传感器测量来生成搜索数据库
TW201142749A (en) Orientation determination of a mobile station using side and top view images
JP2011242207A (ja) 端末位置特定システム、移動端末及び端末位置特定方法
US20130328931A1 (en) System and Method for Mobile Identification of Real Property by Geospatial Analysis
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
CN112785715A (zh) 虚拟物体显示方法以及电子设备
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
JP5274192B2 (ja) 位置推定システム、位置推定サーバおよび位置推定方法
CN115225815B (zh) 目标智能追踪拍摄方法、服务器、拍摄系统、设备及介质
JP5981371B2 (ja) 姿勢によって拡張現実感の表示を制御する情報端末、システム、プログラム及び方法
JP5843288B2 (ja) 情報提示システム
US9817099B2 (en) System and method for precision collaborative targeting
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
CN101616225A (zh) 一种为数码相片提供地理信息标签的终端服务方法
CN108512888A (zh) 一种信息标注方法、云端服务器、系统、电子设备及计算机程序产品
TW201621273A (zh) 行動定位裝置及其定位方法
JP4059154B2 (ja) 情報送受信装置、情報送受信用プログラム
CN112985394B (zh) 定位方法和装置、存储介质
JP6546940B2 (ja) 方位推定装置、撮影・地図表示装置、方法、及びプログラム
JP2021004754A (ja) 向き判定方法、向き判定装置、及び向き判定システム
JP2004233169A (ja) 位置情報補正方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant