CN102119402B - 空间预估和径向旋转的方法和实现上述方法的系统 - Google Patents

空间预估和径向旋转的方法和实现上述方法的系统 Download PDF

Info

Publication number
CN102119402B
CN102119402B CN2009801313994A CN200980131399A CN102119402B CN 102119402 B CN102119402 B CN 102119402B CN 2009801313994 A CN2009801313994 A CN 2009801313994A CN 200980131399 A CN200980131399 A CN 200980131399A CN 102119402 B CN102119402 B CN 102119402B
Authority
CN
China
Prior art keywords
camera
video camera
impact point
point
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801313994A
Other languages
English (en)
Other versions
CN102119402A (zh
Inventor
西蒙·兰登
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
EYEFI Group Technology Co.,Ltd.
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2008903046A external-priority patent/AU2008903046A0/en
Application filed by Individual filed Critical Individual
Publication of CN102119402A publication Critical patent/CN102119402A/zh
Application granted granted Critical
Publication of CN102119402B publication Critical patent/CN102119402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/003Navigation within 3D models or images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00Measuring angles
    • G01C1/02Theodolites
    • G01C1/04Theodolites combined with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)

Abstract

本发明提供一种用于估计三维坐标系中目标点位置的方法。该方法包括下列步骤:将摄像机转向所述目标点,使所述目标点在摄像机视图中可见;检索摄像机数据,所述摄像机数据包括:在三维坐标系中的位置,以及含有摄像机朝向与摄像机俯仰状态的摄像机方位;查询相关地形图数据库,沿着所述摄像机朝向来确定地形图上的一个或多个坐标,以形成第一数据集;根据摄像机朝向及摄像机俯仰状态,计算位于摄像机与目标点之间的径向平面上的一个或多个坐标,以形成第二数据集;比较第一数据集与第二数据集,以确定一对匹配坐标;其中,该匹配坐标表示目标点的三维坐标位置。本发明还提供实现上述方法的系统和软件。

Description

空间预估和径向旋转的方法和实现上述方法的系统
技术领域
本发明一般涉及三维坐标系中目标点位置的估计,更具体地,涉及对摄像机视图中用户所选择的目标点位置的估计。本发明与数字测绘和地理信息系统技术特别相关,下面就此方面对本发明进行描述。
背景技术
对现场观测员看到的目标点建立地图坐标通常包括比较粗略的近似方法。一种现有方法是三角测量法(triangulation),其包含从已知位置以不同角度建立两个或最好三个重叠视图,以建立两个以上距离向量(根据所述距离向量的交点,可估计目标点的地图坐标)。结果可以人工转换为地图坐标或格栅坐标,或最好为可在地理编码(geo-coded)的电子地形图表示的纬度值及经度值。另一种可选方法包括利用奥斯本装置(Osborne Device)确定要定向的方位,并向目标点(例如表明火灾大致位置的烟)倾斜/俯仰。
上述现有方法耗费时间并占用了大量资源,却仅提供初步准确性。一些专家提出采用三角测量技术通常能达到的准确率大约是+/-300米的数量级,并且对于三角测量而言,需要在理想条件(即,最佳能见度和采用至少3幅重叠视图)用长达20分钟或更久的时间建立坐标。
因此,需要提供一种改进方法来估计三维坐标系中的目标点位置,以解决现有方法存在的至少一个问题。
参照结合附图进行的以下文字说明,本领域普通技术人员会清楚地了解本发明的其它目的和优点。
发明内容
根据本发明的一个方面,提供了一种用于估计三维坐标系中目标点位置的方法,所述方法包括下列步骤:
(a)将摄像机转向所述目标点,使所述目标点在摄像机视图中可见;
(b)检索摄像机数据,所述摄像机数据包括:所述三维坐标系中的摄像机位置、以及含有摄像机朝向与摄像机俯仰状态的摄像机方位;
(c)查询相关地形图数据库,沿着所述摄像机朝向来确定位于所述地形图上的一个或多个坐标,以形成第一数据集;
(d)根据摄像机朝向及摄像机俯仰状态,计算位于所述摄像机与所述目标点之间的径向平面上的一个或多个坐标,以形成第二数据集;
(e)比较所述第一数据集与所述第二数据集,以确定一对匹配坐标;
其中,所述匹配坐标表示所述目标点的三维坐标位置。
所述摄像机视图显示在所述摄像机的远程用户终端提供的图形用户界面上。所述摄像机可以是静物照相机或更优选地是视频摄像机。摄像机的位置可以是固定的,因而是已知的;或者可以是动态的,如摄像机被安装在正在行驶的车辆或飞机上的情况,在这种情况下该摄像机的位置是通过GPS或其他合适的装置确定的,并通过服务器实时发送给用户终端。
根据一个实施例,检索摄像机数据的步骤包括下列步骤:根据所述摄像机俯仰状态和左右摆动值来计算与所述目标点对应的摄像机朝向。
该方法可以进一步包括下列步骤:确定所述摄像机位置与所述目标点之间的高度或海拔的差值以及水平距离,从而能够验证所述目标点的所述三维坐标位置。
根据另一个实施例,位于所述摄像机与目标点之间的径向平面上的一个或多个坐标是沿所述径向平面以预设间距计算的。更优选地,所述预设间距对应于可获得的地形间距。
根据又一个实施例,选择目标点的步骤包括使摄像机转向以选择三个或更多点来限定表示目标区域的多边形;对于限定所述多边形的每个点,该方法进一步包括重复步骤(b)-(e)以估计限定所述目标区域的每个点的方位。
可选地,选择目标点的步骤包括:选择三个或更多点,来限定表示电子地形图上的目标区域的多边形;并查询所述地形图数据库来检索与限定所述多边形的每个点相对应的地形图坐标。
该方法可以进一步包括下列步骤:确定所述摄像机位置与限定所述多边形的每个点之间的高度或海拔的差值以及水平距离,从而能够验证限定表示目标区域的所述多边形的每个点的三维坐标位置。
在本发明的一种形式中,该方法进一步包括下列步骤:向用户显示标有与目标点或限定表示目标区域的多边形的三个点或更多个点相对应的三维坐标的地形图。
根据本发明的另一个方面,提供了一种用于使用户所选摄像机对准位于三维坐标系中的目标点的方法,所述目标点是用户在地形图图形用户界面上选择的,该方法包括下列步骤:
(a)从地形图数据库检索所述目标点的三维坐标位置;
(b)检索摄像机数据,所述摄像机数据包括:所述三维坐标系中的摄像机位置、以及含有摄像机朝向与摄像机俯仰状态的初始摄像机方位;
(c)利用所述三维坐标系中的摄像机位置来确定所需要的摄像机方位,所需摄像机方位包括所需要的摄像机朝向以及所需要的摄像机俯仰状态,在该方位目标点将位于摄像机视图中;
(d)向摄像机发送所需要的摄像机朝向与所需要的摄像机俯仰状态,使所述摄像机从初始摄像机方位调整为所需要的摄像机方位。
根据本发明的又一个方面,提供了一种确定能够对位于三维坐标系中的目标点提供最佳视图的摄像机的方法,所述目标点是用户在电子地形图上选择的,该方法包括下列步骤:
(a)从地形图数据库检索所述三维坐标系中目标点的实际位置;
(b)确定邻近所述目标点的一台或多台摄像机;
(c)为邻近所述目标点的每台摄像机检索在所述三维坐标系中的摄像机位置;
(d)查询地形图数据库以检索含有在地形图上沿所述摄像机到所述目标点的摄像机朝向的地形高程值的坐标;
(e)为邻近所述目标点的每台摄像机计算含有理论高程值的一系列理论坐标,所述一系列理论坐标位于沿所述摄像机与所述目标点之间的径向平面上;
(f)比较所述地形高程值与所述理论高程值;
其中,只有当所述理论高程值大于或等于所述地形高程值时,才能从所述摄像机获得所述目标点的清晰视图;以及
(g)对邻近所述目标点的每台摄像机重复步骤(d)-(f),
确定能够获得所述目标点清晰视图的那些邻近的摄像机。
在一个实施例中,该方法进一步包括下列步骤:计算含有提供目标点最佳视图的摄像机朝向及摄像机俯仰状态的摄像机方位,并向所述摄像机发送所需要的摄像机方位,使所述摄像机从初始摄像机方位调整到使所述目标点位于所述摄像机的摄像机视图中所需要的摄像机方位。
当能够从一台以上邻近所述目标点的摄像机获得目标点的清晰视图时,可以选择最接近所述目标点的摄像机来观测所述目标点的位置。
当不能从邻近所述目标点的摄像机获得目标点的清晰视图时,则可以选择对最接近所述目标点的备选点提供清晰视图的摄像机。
本发明的一种形式中,摄像机具有坐标系中固定的位置。
根据本发明的再一个方面,提供了一种用于估计三维坐标系中目标点位置的系统,该系统包括:
(a)转向目标点的摄像机,使用户能够在摄像机视图中观测到目标点;
(b)用于存储摄像机数据的第一数据库,所述摄像机数据包括:所述三维坐标系中的摄像机位置、以及含有摄像机朝向与摄像机俯仰状态的摄像机方位;
(c)用于存储电子地形图数据的第二数据库;
(d)处理器,用于确定电子地形图上沿摄像机朝向的一个或多个坐标以形成第一数据集,并根据摄像机朝向与摄像机俯仰状态,计算位于所述摄像机与所述目标点之间的径向平面上的一个或多个坐标,以形成第二数据集;
其中,比较所述第一数据集与所述第二数据集,来确定表示所述目标点的三维坐标位置的一对匹配坐标。
优选地,该系统进一步包括图形用户界面,其将对应于所述目标点三维坐标的位置显示在电子地形图上。更优选地,所述图形用户界面进一步显示来自用户所选摄像机的视图。
附图说明
为了有助于理解本发明,下面参照附图对本发明进行详细说明。然而,附图及其相关说明的具体内容不应当理解为对所附权利要求所述的大多数本发明广义目标的替代。
图1表示根据一个实施例实施本发明方法的示例系统。
图2表示实施本发明方法所需的关键要素的图。
图3表示本发明核心程序的操作流程图。
图4表示根据本发明一个实施例在目标模式下操作的方法流程图。
图5表示根据图4所示方法对目标点坐标的估计值进行验证的方法。
图6表示根据本发明一个实施例在地理栅栏(geo-fence)模式下操作的方法流程图。
图7表示根据本发明的一个实施例在反向查询模式下操作的方法流程图。
图8表示根据本发明的一个实施例在虚拟三角测量模式下操作的方法流程图。
图9表示根据本发明的一个实施例对系统校准的方法流程图。
图10表示图1中的计算机使能系统(computer-enabled system)的各种功能部件的原理图。
具体实施方式
首先见图1,其表示用于实施本发明方法的示例系统100。该系统采用单个摄像机视图结合空间数据以确定通过摄像机镜头观测到的目标点在地图上的位置,例如,火灾或物体的位置。系统100包括位于现场的一台或多台摄像机110、提供图形用户界面130的用户终端120、以及与服务器150和用户终端120通信的数据库140。一台或多台摄像机110、用户终端120和服务器150由合适的通信网络160比如因特网或专用网络互联。
图形用户界面130向用户显示标有目标点空间位置的电子地形图,即电子地形图及现场的摄像机所捕捉的视图显示了目标点在现实世界的位置。
一般含有地形图数据的空间数据可以是可购买到的纬度、经度以及高度或海拔形式的地形图数据(保存为Gx,y,z),并从用户终端120通过有关管理机构(例如维多利亚地区(Land Victoria))远程保存到数据库140中。对数据库140中存储的空间数据的查询是由用户通过用户终端120启动的。用户采用图形用户界面130上提供的摄像机观测功能和控制器,使摄像机镜头朝向目标点(下文也称之为“POI”)。同时,空间数据可以远程地保存到数据库140中。应当理解,用户终端120也可以用任何其它便捷方式(比如CD-ROM或其他移动数据存储器或非移动数据存储器)本地或远程访问上述数据。
本发明的系统采用摄像机视图的图形用户界面上提供的摄像机控制器(例如左右摆动、俯仰状态和变焦(下文也称之为“PTZ“控制))以及电子地形图来控制系统的输入。根据摄像机的位置和方位,系统从摄像机提取朝向数据和俯仰数据,并将上述数据以及与摄像机同一朝向或方位的高程数据(可从表示摄像机位置的三维坐标得知该高程数据)一起处理,从而建立摄像机的轨迹(如图2中的径向平面230所示)与地形或地势交叉的点。为了在电子地形图上显示,该交叉点最好表示为纬度/经度/高度格式。
网络中的其它摄像机可用来配合和/或验证从单个摄像机视图得到的数据,以提供误差校验和/或提高精度。此点在能见度差的情况下和/或当目标点被遮挡时是特别有利的。在上述情况下,可在邻近所述目标点的摄像机的重叠视图之间结合虚拟三角测量,以确定对目标点的可选及最佳的摄像机视图。
为了利用单个摄像机视图建立目标点位置,摄像机位置三维坐标(“元组”)必须是已知的。相应地,所有固定的摄像机或运动的摄像机的位置将是已知的并以Cx,y,z的格式存入摄像机数据库。对于具有动态位置的运动摄像机,即对于安装在正在行驶的车辆或飞机上的摄像机而言,利用定位系统比如GPS或类似装置确定摄像机位置对应的坐标,并且向服务器实时发送上述坐标。现场摄像机可以被校准至正北方位(方位角),并被水平设置在水平径向平面上。为此,采用具有Calx,y,z格式的已知测量点、或者已预设或已知位置坐标的陆标来校准现场摄像机。
概括说来,本发明的系统可在四种不同模式操作:
1.目标模式
操作——用户采用摄像机(PTZ)控制器使摄像机转向,直到目标点大致位于摄像机视图的中心,所述摄像机视图在图形用户界面上显示为静止图片或视频图像。然后,用户通过图形用户界面启动“目标”处理程序。
结果——在电子地形图上产生对应于目标点位置(POIx,y,z)的电子标记和坐标。
2.地理栅栏(GEO-FENCE)模式
操作——用户选择至少三个点形成限定目标区域的多边形。其中可包括用户利用摄像机(PTZ)控制使摄像机转向限定目标区域的多边形的每个点,和/或用户可通过在地图上直接进行一系列鼠标点击从而在电子地形图上形成限定目标区域的多边形。当实际目标点被遮挡而无法从视线直线方向观测时,限定上述目标区域是有用的。
结果——在电子地形图上产生高亮区域或阴影区域(多边形),以及限定该多边形的每个点所对应的坐标。
3.反向查询模式
操作——用户通过在电子地形图上直接点击来选择在该地图上的一台或多台摄像机以及目标点。
结果——电子标记被设置在该电子地形图上,向选中的摄像机自动发送所需摄像机方位,使一台或多台摄像机转向,从而使目标点出现在摄像机视野中。然后,在图形用户界面上向用户显示来自每台摄像机的图像。
4.虚拟三角测量模式
操作——用户选择至少一台摄像机和一个目标点,系统确定哪一台或哪几台摄像机提供对该目标点的最佳视角。然后,可以控制具有该最佳视角的摄像机朝向该点或目标区域。
结果——向用户提供该目标点的最佳视图。确定该最佳摄像机视图,并在图形用户界面上与屏幕标记一并显示给用户。此外,对重叠的摄像机视图位置的点或电子地形图上轨迹相交处的点进行计算,并以VTx,y,z格式显示。
下面结合附图2-8详细说明上述模式。
首先见图2,摄像机210设置为面向目标点(POI)220,从而可以从摄像机视图中看到该目标点。然后,系统检索已知的摄像机位置坐标(Cx,y,z),并向该摄像机查询摄像机方位数据(Cp,t,z)。所述摄像机方位数据(Cp,t,z)用来提供摄像机210的朝向或方位以及俯仰状态,使系统能够确定位于摄像机210以及目标点220之间的径向平面230或摄像机轨迹(也就是“直角三角形的斜边”)。
位于摄像机210和目标点220之间、与摄像机同一朝向并且在地形或地势上的已知地形坐标,是从地形图数据库检索到的。这些坐标形成含有已知坐标(Gx,y,z)240的第一数据集。
在与摄像机同一朝向、并沿着摄像机210与目标点220之间的径向平面230计算第二数据集的临时坐标250(IPOIx,y,z)。沿径向平面230以预设和优选的规定间距计算所述临时坐标(IPOIx,y,z)。例如,该间距可以对应于可从地形图数据库得到的原始地形间距(即,已知坐标(Gx,y,z)240之间的距离)。
现在参照图3,用核心程序或子程序计算和比较所述第一数据集与所述第二数据集(即,检索到的已知坐标(Gx,y,z)与计算出的临时坐标(IPOIx,y,z),尤其是高程数据(IPOIz和Gz))。所述子程序包括:在步骤310根据摄像机方位数据(Cp,t,z)计算径向平面230的斜率,在步骤320设定要处理的最大距离(d)(见图2)。在步骤330,从地形图数据库检索与摄像机同一朝向上的已知坐标位置(Gx,y,z)。
在步骤340,对每组已知坐标(Gx,y,z)计算其与起点(即摄像机位置Cx,y,z)的距离,并利用径向平面的斜率计算在相同的Gx,y位置的临时坐标的理论高程值(IPOIz)。假设沿着与摄像机相同运动方向如径向平面的每个点的x,y位置是容易推算的(即Gx,y与IPOIx,y匹配),则本发明特别关心的即为z坐标或高程值。因而,在步骤350,对每个x,y位置的比较基本成为已知高程值(Gz)与计算出的理论高程值(IPOIz)的比较。当发生匹配时(即,Gz=IPOIz),即确定实际目标点(POI)的x,y,z坐标。正是在该点处径向平面(或摄像机轨迹)与地形或地势相交。然后,在步骤360,系统记录上述x,y,z坐标并保存为实际的POIx,y,z坐标。
可以预设“命中”和“几近命中(near miss)”阈值来记录匹配,从而使Gz与IPOIz的差值不必为精确的0值就能构成匹配。在“命中”阈值内的匹配被记录为匹配。不匹配则被记录为“几近命中”。
现在参照图4,该图表示描述在“目标”模式下估计目标点位置的方法流程图。在步骤410,通过定位摄像机来选择目标点,从而在摄像机视图中可以观测到目标点。
在步骤420,一旦该目标点位于摄像机视图中,用户通过图形用户界面启动“目标”模式中的估计程序。然后,系统在步骤430检索已知的摄像机位置坐标(Cx,y,z),并在步骤440向该摄像机查询摄像机方位数据(Cp,t,z)。在步骤450,将摄像机方位数据(Cp,t,z)转换为度数并进行校准修正,以提供摄像机的朝向或方位以及俯仰状态。
然后在步骤460,系统运行如图3所示的核心程序,以计算和比较第一数据集与第二数据集。在步骤470,如果核心程序返回“命中”,即匹配,其中Gz与IPOIz的差值为0或在定义“命中”的预设阈值内,则在步骤480向地形图数据库查询任何相关数据比如街道地址或其它空间数据,并且在步骤490系统记录x,y,z坐标并保存为实际的POI坐标(POIx,y,z)。
现在参照图5,在步骤510,利用摄像机位置Cz与目标点POIz之间高度或高程的差值,计算径向平面的长度(I)(即直角三角形的斜边)以及摄像机与目标点的水平间距(d),可以验证实际目标点坐标POIx,y,z的估计值(也可以参见图2)。上述变量用于验证摄像机俯仰状态,并确定偏差都在容许的误差范围内。也可以采用其它三角检验法来进一步验证数据。
现在参照图6,如果用户选择目标区域(其可能包围目标点或其它物体),则在“地理栅栏”模式下操作系统可以获得该目标区域位置的估计值。用户通过选择至少三个点来限定可以包围目标点的多边形或简单限定感兴趣的一般区域,来选定目标区域。在步骤610,用户利用如图4所示的摄像机视图功能和/或通过在电子地形图上点击鼠标,可以选择限定多边形的多个点。在步骤620,用户通过图形用户界面启动“地理栅栏”模式下的程序。
如果用户通过在电子地形图上进行一连串鼠标点击,来选择限定多边形的多个点中的一个点或多个点,每次鼠标点击会向地形图数据库查询对应于限定目标区域的每个点的已知坐标(Gx,y,z)。
对于限定目标区域的多边形的任何一个点或多个点(这些点是通过使摄像机转向以标注构成该多边形的一部分来确定的)而言,系统在步骤630检索摄像机位置数据(Cx,y,z),并在步骤640向摄像机查询相应的摄像机方位或偏移数据(Cp,t,z)。在步骤650,将摄像机方位数据(Cp,t,z)转换为度数并进行校准修正,以提供摄像机的朝向及俯仰状态。
然后在步骤660,系统运行如图3所示的核心程序,计算和比较对应于限定多边形的第一个点的第一数据集与第二数据集。在步骤670,对所述第一数据集与第二数据集(即,检索到的已知坐标Gx,y,z与计算出的临时坐标(IPOIx,y,z)进行比较。当发生匹配,限定多边形的第一个点的x,y,z坐标即被确定(即POIx,y,z),并在电子地形图上设置相应的标记。对限定多边形的剩余的每个点都重复上述步骤。然后,在图形用户界面所提供的电子地形图上,完成的多边形以阴影区域或高亮区域向用户显示。
现在参照图7,“反向查询”模式使用户能够把在步骤710为参与“反向查询”会话而选择的一台或多台摄像机朝向用户在步骤720选择的目标点。利用鼠标选点来选定上述目标点。可选地,可以通过输入物理地址(例如,街道地址)来选择一个点。然后,在步骤730,系统从地形图数据库检索对应于目标点位置的已知坐标(即,Gx,y,z=POIx,y,z)。
在步骤740,对于参与“反向查询”会话的每台摄像机,系统检索所选摄像机的摄像机位置数据(Cx,y,z)以及当前的摄像机方位数据(Cp,t,z)。在步骤750,利用目标点的已知坐标(POIx,y,z)和摄像机位置(Cx,y,z),系统计算所需摄像机方位,即所需摄像机朝向与摄像机俯仰状态,以使摄像机转向目标点。在步骤760,向摄像机发送所需摄像机方位,使摄像机从其当前方位变换为朝向目标点。
现在参照图8,“虚拟三角测量”模式基于目标点的最佳视线向用户提供最佳的摄像机视图。在步骤810,用户选择主摄像机并启动“虚拟三角测量”模式。在步骤820,目标点被用户选定。
在步骤830,系统查询地形图数据库以便从地形图数据库检索对应于目标点的已知坐标(即,Gx,y,z=POIx,y,z)。然后,系统查询摄像机数据库以确定哪些摄像机离目标点最近,或可选地,用户可以手动选择与主摄像机邻近的一台或多台摄像机来参与虚拟三角测量会话。在摄像机备选列表中,用户选择或系统选择的邻近所述目标点的摄像机被标记为虚拟三角测量的成员。
在步骤840,对于每台参与的摄像机,系统利用已知的摄像机位置(Cx,y,z)和检索到的目标点已知坐标(POIx,y,z)(即在步骤830获得)来计算所需摄像机方位,并执行如图3所示的理论核心程序,从而计算并比较第一数据集与第二数据集。在步骤860,根据核心程序产生的“命中”与(在步骤830获得的Gx,y,z格式的)POIx,y,z之间的距离,系统对摄像机备选列表进行排序,从而使摄像机备选列表的第一个就是提供最接近结果的摄像机。在步骤870,系统计算使摄像机备选列表中的第一台摄像机转向目标点所需要的摄像机方位。在步骤880,把所需摄像机方位发送至摄像机,使该摄像机从其当前方位调整为朝向目标点。
当“命中”结果与(在步骤830获得的Gx,y,z格式的)POIx,y,z发生匹配时,该摄像机被视为具有对目标点的“清晰视线”。对于可以从一台以上邻近目标点的摄像机清楚地看到目标点的情形,可以选择最接近目标点的摄像机来观测目标点的位置。
可选地,当系统在虚拟三角测量模式操作时,可以在电子地形图上提供每台摄像机与目标点之间的迹线(其表示该摄像机的朝向或方位)。上述迹线向用户提供可视向导,从而能够对系统确定的目标点坐标进行进一步检验,其中目标点应当位于迹线的交点。系统还具有传统三角测量法的特点:根据两台或多台摄像机的迹线或轨迹的交叉来计算和显示POIx,y,z。
现在参照图9,系统具有试图建立摄像机相对正北偏移量(offset-to-north)的交互校准功能,以弥补现场每台摄像机在安装方面的不足或其它任何可能会影响摄像机水平对准方面的不足。其目的是为了使现场或区域中所有摄像机都校准至正北方向,并平放在水平径向平面上。
对应于已知陆标或校准点的位置的经度/纬度/高度数据按Cal1x,y,z、Cal2x,y,z等格式输入系统的数据库。当摄像机转向观测数据库中保存的上述陆标时,每台摄像机需要与其有关的至少两个校准点以及相应的摄像机方位。
校准程序包括:首先,在步骤910,系统使摄像机转向以观测校准点Cal1。然后,在步骤920,提示用户根据需要稍加调整(利用PTZ控制器),以确保摄像机视图完全捕获并被集中于校准点Cal1的陆标。在步骤930,一旦用户确认摄像机直接瞄准Cal1,则向该摄像机查询摄像机方位数据(Cp,t,z)。
然后,在步骤940,使摄像机转向以观测校准点Cal2。在步骤950,提示用户根据需要稍加调整(利用PTZ控制),以确保摄像机视图完全捕获并被集中于校准点Cal2的陆标。在步骤960,一旦用户确认摄像机直接瞄准Cal2,向该摄像机查询摄像机方位数据(Cp,t,z)。
然后,在步骤970计算摄像机相对正北的偏移量。校准程序利用摄像机位置(Cx,y,z)和至少一个已知的校准点位置(例如,Cal1x,y,z和/或Cal2x,y,z)建立摄像机与校准点之间的格栅方位。系统计算下列两值之差:(a)摄像机的位置与校准点之间的前方位角;(b)当摄像机转向校准点时摄像机的左右摆动值。这样为摄像机确立相对正北的偏移量。优选地,利用一个以上校准点并对结果求平均来确定相对正北的偏移量。
在步骤980,当设置摄像机观测校准点时,通过比较从摄像机至校准点的期望倾斜角与摄像机报告的实际倾斜角/俯仰角,来计算需要施加的所需俯仰补偿量。然后,根据期望倾斜角与摄像机在两个校准点报告的俯仰角的差值,系统确定对于每单位左右摆动量需要调整的俯仰量。计算出径向平面中需要施加的俯仰补偿量等于0的两点,并称之为0交点。
在步骤990,系统将计算结果保存为新的校准数据。
系统100可以采用硬件、软件或软硬件结合的方式运行,并可以运行在一个或多个计算机系统或处理系统上。尤其,用户终端120及其图形用户界面130以及服务器150的功能,可以用一个或多个能够执行上述功能的计算机系统实现。
上述计算机系统如图10所示。在该图中,例举的计算机系统1000包括一个或多个处理器,比如处理器1005。处理器1005连接到通信基础设施1010。计算机系统1000可以包括显示接口1015,显示接口1015将来自通信基础设施1010的图像、文字及其它数据传送到显示单元1020。计算机系统1000还可以包括主存储器1025,优选随机存取存储器(RAM),还可以包括辅助存储器1030。
辅助存储器1030可以包括,例如,硬盘驱动器1035、磁带驱动器、光盘驱动器等等。移动存储驱动器1040以已知方式对移动存储单元1045进行读和/或写。移动存储单元1045表示软盘、磁带、光盘等等。
应当理解,移动存储单元1045包括计算机可用存储介质,该计算机可用存储介质含有内部存有一系列指令形式使处理器1005执行所需功能的计算机软件。在可选实施例中,辅助存储器1030可以包括允许将计算机程序或指令装入计算机系统1000的其它类似装置。上述装置可包括,例如移动存储单元1050和接口1055。
计算器系统1000还可包括通信接口1060。通信接口1060允许在计算器系统1000与外设之间传输软件及数据。通信接口1060的例子可包括调制解调器、网络接口、通信端口、PCMCIA插槽及PCMCIA卡等等。通过通信接口1060传输的软件和数据是如下形式的信号1065:电磁、电、光或能够被通信接口1060接收的其它形式的信号。上述信号通过通信路径1070(如导线或电缆、光纤、电话线、移动电话链路、射频或其它通信信道)传输至通信接口1060。
尽管在上述实施例中本发明主要是用计算机软件实现的,在其它实施例中本发明也可以用硬件实现,例如硬件元件(如专用集成电路(ASIC))。相关领域的技术人员清楚地了解如何执行硬件状态机以实现在此描述的功能。在其它实施例中,本发明可以用软硬件结合的方式实现。
现场中目标点坐标的估计值可以由其他特征补充。例如,在利用估计目标点位置的系统来估计着火位置时,该系统可以进一步包括如下装置,用于通过网络、短信(SMS)、email、音频或在线聊天或语音通信的方式将着火位置电子地通知大家(例如,消防队或公众),并根据系统产生的导航数据为现场人员计算路线(例如,根据现场人员或公众、目标点的当前位置,将往返目标点的路线发送给现场人员或公众)。还可以将其他空间数据、天气、卫星照片或数据、闪电探测用作系统的输入信息。
本发明的系统使不具备测绘或三角测量法专业知识的、完全没有经过专业训练的用户能够启动程序,并在几秒钟内用单个摄像机得出精确结果。
该程序提高了对位置估计的精度水平和速度,大大降低了进行上述操作所需要的人力资源技术水平,并使处理时间从传统技术的分钟级别(通常是15-20+分钟或更久)缩短至几秒钟。
尽管本发明是结合有限个实施例描述的,本领域技术人员应当理解,也可以对前面的描述进行各种替换、修改或变型。相应地,本发明旨在涵盖可落入本发明公开的精神和保护范围内的所有替换、修改和变型。

Claims (10)

1.一种用于估计三维坐标系中目标点位置的方法,所述方法包括下列步骤:
(a)将摄像机转向所述目标点,使所述目标点在摄像机视图中可见;
(b)检索摄像机数据,所述摄像机数据包括:所述三维坐标系中的摄像机位置、以及含有摄像机朝向与摄像机俯仰状态的摄像机方位;
(c)查询相关地形图数据库,沿着所述摄像机朝向以确定地形图上的多个坐标,以形成第一数据集;
(d)根据摄像机朝向与摄像机俯仰状态,沿位于所述摄像机与所述目标点之间的径向平面以预设间距计算所述径向平面上的多个坐标,以形成第二数据集;以及
(e)比较所述第一数据集与所述第二数据集,以确定一对匹配坐标;
其中,所述匹配坐标表示所述目标点的三维坐标位置。
2.根据权利要求1所述的方法,其中所述检索摄像机数据的步骤包括下列步骤:根据所述摄像机俯仰状态和左右摆动值来计算与所述目标点对应的摄像机朝向。
3.根据权利要求1所述的方法,进一步包括下列步骤:确定所述摄像机位置与所述目标点之间的高度或海拔的差值以及水平距离,从而能够验证所述目标点的所述三维坐标位置。
4.根据权利要求1所述的方法,其中沿所述径向平面的所述预设间距对应于可获得的地形间距。
5.根据前面权利要求1所述的方法,其中选择目标点的步骤包括使摄像机转向以选择三个或更多点来限定表示目标区域的多边形;对于限定所述多边形的每个点,该方法进一步包括重复步骤(b)-(e)以估计限定所述目标区域的每个点的方位。
6.根据权利要求1所述的方法,其中选择目标点的步骤包括:选择三个或更多点,来限定表示电子地形图上的目标区域的多边形;并查询所述地形图数据库来检索与限定所述多边形的每个点相对应的地形图坐标。
7.根据权利要求5或6所述的方法,进一步包括下列步骤:确定所述摄像机位置与限定所述多边形的每个点之间的高度或海拔的差值以及水平距离,从而能够验证限定所述目标点所在的所述多边形的每个点的三维坐标位置。
8.根据权利要求5所述的方法,进一步包括下列步骤:向用户显示标有与目标点或限定所述目标点所在的多边形的三个点或更多点相对应的三维坐标的地形图。
9.一种用于估计三维坐标系中目标点位置的系统,该系统包括:
(a)转向目标点的摄像机,使用户能够在摄像机视图中观测到目标点;
(b)用于存储摄像机数据的第一数据库,所述摄像机数据包括:所述三维坐标系中的摄像机位置、以及含有摄像机朝向与摄像机俯仰状态的摄像机方位;
(c)用于存储地形图数据的第二数据库;
(d)处理器,用于确定地形图上沿摄像机朝向的多个坐标以形成第一数据集,并根据摄像机朝向与摄像机俯仰状态,沿位于所述摄像机与所述目标点之间的径向平面以预设间距计算所述径向平面上的多个坐标,以形成第二数据集;
其中,比较所述第一数据集与所述第二数据集,来确定表示所述目标点的三维坐标位置的一对匹配坐标。
10.根据权利要求9所述的系统,进一步包括地形图界面,对应所述目标点的三维坐标位置在所述地形图界面上向用户显示。
CN2009801313994A 2008-06-16 2009-06-16 空间预估和径向旋转的方法和实现上述方法的系统 Active CN102119402B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2008903046 2008-06-16
AU2008903046A AU2008903046A0 (en) 2008-06-16 Spatial predictive approximation and radial convolution
PCT/AU2009/000769 WO2009152567A1 (en) 2008-06-16 2009-06-16 Spatial predictive approximation and radial convolution

Publications (2)

Publication Number Publication Date
CN102119402A CN102119402A (zh) 2011-07-06
CN102119402B true CN102119402B (zh) 2013-12-25

Family

ID=41433590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801313994A Active CN102119402B (zh) 2008-06-16 2009-06-16 空间预估和径向旋转的方法和实现上述方法的系统

Country Status (9)

Country Link
US (1) US9058689B2 (zh)
EP (1) EP2304692A4 (zh)
JP (1) JP5575758B2 (zh)
KR (1) KR101663669B1 (zh)
CN (1) CN102119402B (zh)
AU (1) AU2009260182B2 (zh)
CA (1) CA2727687C (zh)
NZ (1) NZ590428A (zh)
WO (1) WO2009152567A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110109747A1 (en) * 2009-11-12 2011-05-12 Siemens Industry, Inc. System and method for annotating video with geospatially referenced data
US9228838B2 (en) 2011-12-20 2016-01-05 Fluke Corporation Thermal imaging camera with compass calibration
KR20130084720A (ko) * 2012-01-18 2013-07-26 삼성전기주식회사 영상 처리 장치 및 방법
US8996203B2 (en) * 2012-04-02 2015-03-31 The Boeing Company Searchlight location system
US9714833B2 (en) 2013-08-23 2017-07-25 Insight Robotics Limited Method of determining the location of a point of interest and the system thereof
CN104090970B (zh) * 2014-07-17 2018-02-02 百度在线网络技术(北京)有限公司 兴趣点的展现方法及装置
WO2016065375A1 (en) * 2014-10-27 2016-05-06 Fts Computertechnik Gmbh Computer vision monitoring for a computer vision system
US20190094331A1 (en) * 2017-09-25 2019-03-28 Continental Automotive Systems, Inc. System and method of infrastructure sensor self-calibration
US11182954B2 (en) 2018-09-07 2021-11-23 Hivemapper Inc. Generating three-dimensional geo-registered maps from image data
CN109782810B (zh) * 2018-12-26 2020-06-02 中国人民解放军战略支援部队航天工程大学 基于图像引导的视频卫星运动目标跟踪成像方法及其装置
DE102020124688A1 (de) * 2019-09-27 2021-04-01 Electronic Theatre Controls, Inc. Systeme und verfahren zur standortbestimmung von leuchten
CN113344264B (zh) * 2021-05-28 2024-02-27 深圳市无限动力发展有限公司 轨迹闭合的判断方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2695393B2 (ja) * 1995-04-10 1997-12-24 川崎重工業株式会社 位置特定方法および装置
CN1414518A (zh) * 2002-09-18 2003-04-30 北京航空航天大学 虚拟现实数据标准化方法
CN101114385A (zh) * 2007-08-07 2008-01-30 深圳先进技术研究院 一种数字城市全自动生成的方法
CN101154313A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 三维仿真数字信息航道系统及实现方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4954837A (en) 1989-07-20 1990-09-04 Harris Corporation Terrain aided passive range estimation
JP3104909B2 (ja) * 1989-12-05 2000-10-30 ソニー株式会社 画像処理装置
IL117521A0 (en) 1996-03-17 1996-10-31 Israel Aircraft Ind Ltd Malat A fire imaging system and method
JPH11102495A (ja) * 1997-09-29 1999-04-13 Ntt Data Corp 監視システムおよび方法
JP3527160B2 (ja) 1999-12-28 2004-05-17 株式会社エヌ・ティ・ティ・データ 撮影指示システム、撮影指示方法及び記録媒体
JP2001359083A (ja) 2000-06-13 2001-12-26 Minolta Co Ltd 移動体に搭載された撮像装置
US6664529B2 (en) * 2000-07-19 2003-12-16 Utah State University 3D multispectral lidar
JP4116393B2 (ja) 2002-10-24 2008-07-09 能美防災株式会社 火源探査システム
JP2004145638A (ja) 2002-10-24 2004-05-20 Nohmi Bosai Ltd 火源探査システム
JP3976662B2 (ja) * 2002-10-24 2007-09-19 能美防災株式会社 火源探査システム
IL154701A0 (en) * 2003-03-02 2004-05-12 Yaniv Malchi Passive target acquisition system and a true north locating system
US6744397B1 (en) * 2003-06-11 2004-06-01 Honeywell International, Inc. Systems and methods for target location
JP2005207862A (ja) 2004-01-22 2005-08-04 Fuji Heavy Ind Ltd 目標位置情報取得システム及び目標位置情報取得方法
JP2005323253A (ja) 2004-05-11 2005-11-17 Fuji Photo Film Co Ltd 捜索システム
US7359038B1 (en) * 2006-06-22 2008-04-15 Donoghue Patrick J Passive determination of ground target location
JP5291299B2 (ja) 2007-05-17 2013-09-18 積水化学工業株式会社 導電ペースト
JP5297984B2 (ja) 2009-11-11 2013-09-25 ジーエスケー販売株式会社 錠前のこじ開け防止装置
US8374431B2 (en) * 2010-07-27 2013-02-12 Aerotec, Llc Method and apparatus for direct detection, location, analysis, identification, and reporting of vegetation clearance violations

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2695393B2 (ja) * 1995-04-10 1997-12-24 川崎重工業株式会社 位置特定方法および装置
CN1414518A (zh) * 2002-09-18 2003-04-30 北京航空航天大学 虚拟现实数据标准化方法
CN101154313A (zh) * 2006-09-28 2008-04-02 长江航道规划设计研究院 三维仿真数字信息航道系统及实现方法
CN101114385A (zh) * 2007-08-07 2008-01-30 深圳先进技术研究院 一种数字城市全自动生成的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开2004-145642A 2004.05.20

Also Published As

Publication number Publication date
US20110102580A1 (en) 2011-05-05
AU2009260182B2 (en) 2015-11-26
CA2727687C (en) 2017-11-14
NZ590428A (en) 2013-11-29
AU2009260182A1 (en) 2009-12-23
WO2009152567A1 (en) 2009-12-23
KR101663669B1 (ko) 2016-10-07
US9058689B2 (en) 2015-06-16
CA2727687A1 (en) 2009-12-23
JP2011525968A (ja) 2011-09-29
JP5575758B2 (ja) 2014-08-20
EP2304692A1 (en) 2011-04-06
EP2304692A4 (en) 2014-03-12
KR20110016993A (ko) 2011-02-18
CN102119402A (zh) 2011-07-06

Similar Documents

Publication Publication Date Title
CN102119402B (zh) 空间预估和径向旋转的方法和实现上述方法的系统
KR101661269B1 (ko) 휴대용 디바이스 상의 이미지 주석
US8730312B2 (en) Systems and methods for augmented reality
US11828604B2 (en) Method and apparatus for positioning vehicle, electronic device, and storage medium
US11243288B2 (en) Location error radius determination
CN106871932B (zh) 基于金字塔搜索地形匹配的星载激光在轨指向检校方法
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
US20200265644A1 (en) Method and system for generating merged reality images
US11640679B2 (en) Augmented or virtual reality calibration and alignment system and method
CN108416045A (zh) 交通设施的位置获取方法、装置、终端设备及服务器
Simon et al. Geopointing: evaluating the performance of orientation-aware location-based interaction under real-world conditions
WO2023116327A1 (zh) 基于多类型地图的融合定位方法及电子设备
US20200413217A1 (en) Software for Distance and Object Identification Deployed on Mobile Devices
KR101060575B1 (ko) 공간객체 포인팅 디바이스
RU2660631C1 (ru) Способ и система для формирования изображений совмещенной реальности
US20200208976A1 (en) Handheld Device for Calculating Locations Coordinates for Visible But Uncharted Remote Points
CN106840167B (zh) 基于街景地图的目标物地理位置的二维量测算方法
JP4733343B2 (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
CN115147482A (zh) 一种位姿初始化方法
KR100725668B1 (ko) 모바일 단말을 이용한 골프경기 관련 컨텐츠 제공 방법 및시스템
KR102506126B1 (ko) 전통시장 전력설비 관리시스템
US20220375175A1 (en) System For Improving The Precision and Accuracy of Augmented Reality
US11035674B2 (en) GPS-denied geolocation
CN118225087A (zh) 卫星导航拒止条件下飞行器的自主绝对定位与导航方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: EYEFI PTY LTD.

Free format text: FORMER OWNER: EYEFI R+D PTY LTD.

Effective date: 20120201

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120201

Address after: Vitoria Australia

Applicant after: EYEFI R & D Pty Ltd.

Address before: Vitoria Australia

Applicant before: Eyefi R & D Pty Ltd.

C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231121

Address after: Vitoria Australia

Patentee after: EYEFI Group Technology Co.,Ltd.

Address before: Vitoria Australia

Patentee before: EYEFI R & D Pty Ltd.