CN101960326B - 使用具有参考坐标的视觉图像定位物体的方法 - Google Patents

使用具有参考坐标的视觉图像定位物体的方法 Download PDF

Info

Publication number
CN101960326B
CN101960326B CN2008801274567A CN200880127456A CN101960326B CN 101960326 B CN101960326 B CN 101960326B CN 2008801274567 A CN2008801274567 A CN 2008801274567A CN 200880127456 A CN200880127456 A CN 200880127456A CN 101960326 B CN101960326 B CN 101960326B
Authority
CN
China
Prior art keywords
camera
location
reference point
plane
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2008801274567A
Other languages
English (en)
Other versions
CN101960326A (zh
Inventor
南润荣
朴景洙
李振硕
洪尚真
赵威德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ajou University Industry Academic Cooperation Foundation
Original Assignee
Ajou University Industry Academic Cooperation Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ajou University Industry Academic Cooperation Foundation filed Critical Ajou University Industry Academic Cooperation Foundation
Publication of CN101960326A publication Critical patent/CN101960326A/zh
Application granted granted Critical
Publication of CN101960326B publication Critical patent/CN101960326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

提供一种使用从广泛使用的数字成像装置获得的多个视觉图像定位物体的有效算法。本发明提出支持成像装置的缩放和摇摄的平行投影模型。本发明提出的方法定义了用于产生物体位置和参考坐标之间关系的虚拟可视平面。提出的算法中必须的参考点可以是可预估处理中获得的粗略的估计。所述算法通过具有相当低的计算复杂度的迭代方法最小化定位误差。数字成像装置的非线性失真可以在迭代方法中被补偿。

Description

使用具有参考坐标的视觉图像定位物体的方法
技术领域
本发明涉及定位物体的方法,并且更具体地,涉及通过使用参考坐标和使用视觉图像的参考坐标的视觉图像来迭代或不迭代地定位物体的方法。
背景技术
物体定位是例如监视、监控和跟踪应用等许多应用中的一个关键操作。跟踪系统广泛应用于多个领域,例如军事应用以及医院及办公场所。在这些跟踪系统中,物体定位的准确性是非常关键的并且构成相当大的挑战。声学传感器因其灵活性、低成本和易于布置而广泛使用在许多应用中。声学传感器对其具有噪声数据的周围环境非常敏感并且不完全满足一致性数据的要求。因此,作为一种可靠的跟踪方法,视觉传感器通常也应用于跟踪和监控系统。这提供了用于视觉定位的简单方法,该方法允许机器人根据一个图像中的单个界标确定其绝对位置。在这种算法中,图像平面垂直于光轴并且位于光轴的焦距的距离处。为了跟踪界标模型,通过使用梯度下降来应用卢卡斯-卡那得(Lucas-Kanade)光流算法。这种算法在室内环境中具有合理的实时性能。然而,这种方法具有的局限是针孔照相机模型,该模型中只能建立一个对应关系。
作为一种适应性算法,在室内环境中提供了使用多个照相机的基于光流的个体跟踪算法。在所述算法中,每个照相机独立地跟踪目标个体。通过在各照相机间交换信息,估计出目标的三维位置和速度。特别地,当一个照相机因关闭而持续失去目标时,由于图像中的目标位置和速度基于来自其他照相机的信息而被估计,所以所述算法更为有效。根据来自至少两个跟踪照相机的投影线的交点来获得目标位置。此外,为了估计单个照相机中的深度范围,所述算法使用跟踪窗口,其表示被检测的个体在图像平面中的边界和高度。因此,所述算法要求来自完全提取的物体区域的可靠的水平位置。
提供了一种基于粒子滤波器的跟踪结构,该跟踪结构执行多峰传感器联合(fusion),用于当来自多个照相机和多个麦克风阵列的多峰信息用于跟踪场景中的物体时有效地跟踪视频会议环境中的人们。对于定位,可视图像中的图像坐标(u,v)通过使用直接线性变换(DLT)而变换为(X,Y,Z)坐标。然而,在这种方法中,对置于已知几何构形中的物体的校准要求估计具有11个参数的矩阵Pi。此外,一旦照相机摇摄(pan)或缩放(即照相机设置被改变),则需要重新校准照相机。如上所述,用于定位物体的各种常规方法因准确定位和计算复杂度之间的平衡而具有缺陷。
发明内容
技术问题
本发明提供通过使用参考坐标的视觉图像来定位物体的方法,该方法能够提高准确度并减小计算的复杂度。
技术方案
根据本发明的一个方面,提供一种定位物体的方法,该方法包括:将定位在物体平面上的物体以及相应于该物体的参考点投影到虚拟可视平面和实际照相机平面上;估计所述参考点的坐标;以及指示所述物体的位置和所述参考点的坐标之间的关系。优选地,虚拟可视平面可以平行于所述物体平面。优选地,所述物体可以由一个传感器投影。另一方面,所述物体可以由多个传感器投影。当所述物体由多个传感器投影时,所述方法可以进一步包括互相补偿由多个传感器投影的所述物体和所述参考点之间的位置差值。在这种情况下,所述多个传感器可以基于多个传感器中的每个传感器的摇摄因数选择。优选地,摇摄因数的绝对值之间的差值为“0”的传感器可以被选择为多个传感器。优选地,在指示所述物体的位置和所述参考点的坐标之间的关系中,当所述物体的位置等于所述参考点的位置时,所述参考点的位置可以被确定为所述物体的位置。优选地,所述方法可以被执行一次。另一方面,所述方法可以被迭代地执行。
有益效果
提供了通过使用多个视觉图像来定位物体的有效方法,其中支持成像装置的缩放和摇摄的平行投影模型被用于经由粗略估计来估计参考坐标,所述粗略估计自预估处理获得,由此减小了计算的复杂度并且补偿了非线性失真,从而使所述物体被准确定位。
附图说明
图1说明了视觉定位的概念,其中两个照相机被应用于物体定位;
图2说明了投影到照相机中的实际图像和平行投影模型之间的关系;
图3说明了投影位置根据缩放因数z1和z2在实际照相机平面Pp1(c)和Pp2(c)上的改变;
图4说明了两个不同物体仅基于相同缩放被投影到实际照相机平面上的相同点的特殊情况;
图5说明了因照相机的摇摄而引起的多个可视平面的坐标变换;
图6说明了基于单个传感器使用参考点E的物体定位;
图7说明了具有摇摄因数和照相机角度的多个照相机;
图8说明了相同轴线上的两个照相机和彼此相对的轴线上的两个照相机;
图9说明了在不考虑摇摄因数θp1和θp2为零的特殊情况下使用两个照相机的定位方法;
图10说明了图9中的理想化情况,也就是,在照相机的中心点处看到的真实的物体产生精确的位置确定;
图11说明了在摇摄因数θp1和θp2不为“0”时旋转两个照相机的一般情况;
图12说明了两个照相机,其具有彼此平行的视野,形成两个平行的物体平面;
图13说明了原始定位和迭代处理;
图14说明了基于图11的情况的一次迭代的结果;
图15说明了定位中需要的缩放模型,其中虚线和实线表示理想化的可视角度和实际的可视角度,其中缩放因数z=de/Lc并且z’=(de+Δd)L’c;
图16说明了具有自照相机的距离和各种实际缩放因数的函数的缩放失真;
图17示出了在两个照相机中显示出的图像,其中Δu1和Δu2分别是在照相机1和照相机2中参考点(E)和真实的物体点P之间的距离;
图18说明了设立实验以测量真实的物体;
图19说明了未使用补偿算法的误差分布,其中两个照相机位于Oc1(1.8,0)和Oc2(0,1.8);
图20说明了如何可以通过根据本发明一个实施方式的定位方法显著地减小误差;
图21说明了定位误差依照根据本发明一个实施方式的定位方法中迭代的次数的函数而减小;
图22(a)说明了定位的轨迹结果并且图22(b)和图22(c)说明了x轴和y轴中的跟踪性能;以及
图23说明了定位的轨迹结果。
具体实施方式
为了充分理解本发明的操作的优点以及由本发明的实施方式获得的物体,需要参考说明了本发明的优选实施方式的附图以及附图中显示的内容。此后,本发明的优选实施方式将参考所述附图加以详细描述。每个附图中显示的相同参考标记表示相同元件。
图1说明了视觉定位的概念,其中两个照相机被应用于物体定位。在平行投影模型中,生成虚拟可视平面以帮助制定真实物体和实际照相机之间的关系。本文的方法具有的优点是在不需要计算的情况下定位多个物体。本文提出的算法开始于粗略计算的预估位置。此外,即便不进行通过额外跟踪算法的预估,粗略估计的位置也可以由传感器节点位置代替。通过本文提出的方法,最终估计的位置P(xn,yn)获得自:
P ( x n , y n ) = E ( x n , y n ) + e ( σ x n , σ y n ) - - - ( 1 )
其中E(xn,yn)表示参考位置,并且e(σxn,σyn)表示通过视觉定位的坐标补偿。
此后,首先将描述具有单个照相机的平行投影模型,并且之后将描述具有多个照相机的在2维坐标中的视觉定位算法。此后,将描述分析和仿真结果,其中定位误差通过补偿数字成像装置的非线性而最小化。
I.可视图像的特性
A.平行投影模型的基本概念
平行投影模型用于简化视觉定位,其基本包括三个平面:物体平面、虚拟可视平面和实际照相机平面。如图2所示,物体P被置于物体平面上并被投影到虚拟可视平面和实际照相机平面,其中投影点被表示为Pp(v)和Pp(c)。虚拟可视平面平行于物体平面,其中在虚拟可视平面和物体平面之间具有距离dp。为了简化,Lc和Ls分别表示虚拟可视平面和实际照相机平面各自的长度。虚拟可视平面和实际照相机平面上的投影物体的每个位置分别表示为upp和up。此外,点P和Oc之间的距离被表示为kp。在平行投影模型中,真实的物体从物体平面经虚拟可视平面投影到实际照相机平面。因此,如等式(2)所示,upp通过两个平面的比例线由Lc、Ls和up表示如下:
u pp = u p ( L c L s ) - - - ( 2 )
真实的物体位置易于从upp以及虚拟可视平面和物体平面之间的距离dp获得。
B.缩放和摇摄
此处,我们定义缩放因数z和摇摄因数θp以便考虑照相机的属性。缩放因数z被如下定义为dp和Lc的比率:
z = d p L c - - - ( 3 )
图3说明了投影位置根据缩放因数z1和z2在实际照相机平面Pp1(c)和Pp2(c)上的改变。注意,在虚拟可视平面Pp1(v)和Pp2(v)上的投影位置是恒定的。一旦两个照相机具有不同的缩放因数,则物体仅被不同地投影在实际照相机平面上。此处,基于等式(2)中upp和up之间的关系,实际照相机平面上的投影位置up1和up2被表示为:
upp1=up1(Lc1/Ls)           (4)
upp2=up2(Lc2/Ls)            (5)
由于自等式(3)得出z1=dp/Lc1并且z1=dp/Lc1,因此得到up1和up2之间的关系为:
u p 1 = u p 2 z 2 z 1 - - - ( 6 )
图4说明了两个不同物体仅基于相同缩放被投影到实际照相机平面上的相同点的特殊情况。之后,在实际照相机平面恒定的同时,虚拟可视平面在改变。虚拟可视平面1和2分别被表示以用于每个物体P1和P2以及投影点Pp(v1)和Pp(v2)。此外,物体平面1和2被表示以用于每个物体P1和P2。由于缩放因数z相同,
z=d1/Lc1=d2/Lc2(7)
并且upp1和upp2之间的关系被表示为
u pp 1 = u pp 2 d 1 d 2 - - - ( 8 )
显示出的是物体和照相机之间的投影方向中的距离是用于物体定位的重要参数。稍后将描述使用多个传感器检测距离的公式化表述。将描述表示为θp的摇摄因数,其表示如图5所示的投影方向(n轴)和全局坐标y轴之间的角度差值。
此处,全局坐标被定义为x-y轴固定的坐标并且θc表示照相机角度。在虚拟可视平面Pp(v)上的物体投影位置被获取为:
xpv=xc+uppcosθc
ypv=yc+uppsinθc          (9)
其中xpv和ypv表示点Pp(v),xc和yc表示虚拟可视平面Oc的中心点。注意,当实际照相机平面与x轴对准时,θc和θp等于零。
C.基于单个照相机的物体定位
将描述基于单个照相机的定位。图6说明了基于单个传感器使用参考点E的物体定位。参考点E和真实物体Pr被投影到两个平面:虚拟可视平面和实际照相机平面。此处,由于参考点E生成物体平面,所以真实的物体Pr被失真到与物体平面对准的点Pr’。根据投影位置,从等式(2)中获得Ep(v)和Pp(v)之间的距离,同时获得Ep(c)和Pp(c)之间的距离。最终,与物体平面对准的近似的物体点Pr’(xr’,yr’)被确定为:
x′r=xe+Δu cosθp
y′r=ye+Δu sinθp          (10)
通过基于单个传感器的视觉投影方法,显示出通过参考点实现近似的定位。接下来,将描述使用多个传感器定位以减小Pr和Pr’之间的误差。
II.在2维坐标中的视觉定位算法
A.照相机位置和摇摄因数之间的关系
图7说明了具有摇摄因数和照相机角度的多个照相机。在例如照相机A、B、C、D的四个可行的照相机布置中,选择了定位在相邻轴线上的一对照相机。照相机角度θc表示关于全局x轴的照相机视角,同时摇摄角度θp表示关于全局坐标的方向ni的角度,如图7(a)所示。确定θp的符号:向右旋转为正并且向左旋转为负。为了这里的讨论,左侧的照相机被指定为照相机1并且右侧的照相机被指定为照相机2。为了两个照相机在相邻轴线上的定位的公式化表述,照相机D和A被假设为看到物体。此处,摇摄因数θp1和θp2的符号基于物体的位置而改变,因为自照相机的可视角度被限制为在180°以下。在讨论两个照相机置于相邻轴线上的定位之前,我们先简述其他可行的布置。其他布置不必具有限制(ban)。如图8所示在相同轴线或相对轴线上的两个照相机可以参考图7(b)至图7(e)以相同表述来解释。特别地,图8(a)等价于图7(e),而图8(b)等价于图7(d)。仅有的不同是从两个照相机获得的可视范围。
B.基于多个照相机的物体定位
基于选择的两个照相机,我们研究和表述在特殊和一般情况这两种情况下的物体定位。特殊情况是在不考虑摇摄因数的情况下定位物体,即θp1和θp2为零。
图9说明了在摇摄因数为零的情况下使用两个照相机的定位。给定参考点E(xe,ye),确定了用于两个照相机的物体平面。每个照相机物体平面上的点P’r1(x’r1,y’r1)和P’r2(x’r2,y’r2)被分别垂直投影到每个虚拟可视平面上的点Pp1和Pp2。同样,参考点E(xe,ye)被投影到点Ep1和Ep2。鉴于照相机1,投影点Pp1和Ep1之间的距离Δu1支持照相机2的物体平面和点P’r之间的距离。同样,鉴于照相机2,投影点Pp2和Ep2之间的距离Δu2支持照相机2的物体平面和点P’r之间的距离。换句话说,基本的补充算法是照相机1以Δu1补偿y方向,而照相机2以参考点E给定的Δu1补偿x方向。通过一个额外的传感器,y方向上的Δu1和x方向上的Δu2以如下方式补偿更靠近真实的物体位置的参考点:
x′r=xe+Δu2
y′r=ye+Δu1       (11)
其中P’r(x’r,y’r)是通过两个照相机定位的物体位置,其仍具有与真实的物体位置Pr(xr,yr)的误差。注意,更靠近的E被给予物体的真实点,更靠近的P’r被确定成Pr。换句话说,通过获得更靠近物体的真实位置Pr的参考点E可以减小误差。在III-D部分中,引入迭代方法以改善定位。
用于准确定位的其他策略是将真实的物体不失真地投影到虚拟可视平面。如图10所示,真实的物体位置Pr与每个照相机的中心对准,从而使点Pr和P’r精确匹配。这意味着无论参考点E在哪,定位误差均减小至零。因此,我们需要考虑在照相机的中心点处看到怎样的真实的物体。这种情况将被一般地表述为一般情况。如上所述,真实的输入是实际照相机平面上的投影点。为了不使说明变得复杂,实际照相机平面被省略。从实际照相机平面到虚拟可视平面的变换简单地由等式(2)获得。
以下是基于p1和/或p2≠0的另一种一般情况。当物体在空间中移动时,可以要求照相机控制摇摄因数以克服受限的可视范围。此处,我们表述包括特殊情况的一般的多个传感器定位。图11示出了旋转两个照相机以查看θp1和θp2为非零的物体。包括投影到虚拟可视平面和实际照相机平面,所述定位方法与特殊情况相同。然而,Δu1和Δu2的乘积是基于每个摇摄因数θp1和θp2偏斜的。注意,连接四点P’r、P’r1、P’r2和E的四边形也是偏斜的,同时特殊情况组成了要求简单的加法和/或减法计算的矩形或正方形。具有摇摄因数θp1和θp2、Δu1和Δu2的两个偏斜的照相机以如下方式补偿解析解中的参考:
l1:y=tan(θ1)x+y′r1-tan(θ1)x′r1
l2:y=tan(θ2)x+y′r2-tan(θ2)x′r2         (12)
其中定位的位置P’r(x’r,y’r)是两条虚拟投影线的交叉点;线/1:P’r1(x’r1,y’r1)至P’r(x’r,y’r),以及线/2:P’r2(x’r2,y’r2)至P’r(x’r,y’r)。θ1和θ2是分别等于-θp1和90-θp2的每个照相机的投影线斜率。P’r1和P’r2被如下获得:
x′r1=Δu1cosθc1+xe,y′r1=Δu1sinθc1+ye
x′r2=Δu2cosθc2+xe,y′r2=Δu2sinθc2+ye
x r ′ = x r 1 ′ tan θ 1 - x r 2 ′ tan θ 2 - y r 1 ′ + y r 2 ′ tan θ 1 - tan θ 2
y r ′ = ( y r 2 ′ - x r 2 ′ tan θ 2 ) tan θ 1 - ( y r 1 ′ - x r 1 ′ tan θ 1 ) tan θ 2 tan θ 1 - tan θ 2 - - - ( 13 )
为了验证定位的位置P’r(x’r,y’r),应该满足以下条件:(i)θ1和θ2既不是90°也不是270°,(ii)tan θ1-tanθ2应该为非零。
由于实际中不需要照相机旋转到90°,因此通过选择照相机完全满足第一个条件。第二个条件重申θp2-θp1≠90°,其中θp1=-θ1并且θp2=90°-θ2。两个摇摄因数θp2-θp1=90°导致两个平行的物体平面以及平行的投影线/1和/2。因此,交叉点P’r不能被获得以用于物体定位。此外,当θp2-θp1接近90°时,推断出P’r被以比定位真实位置Pr更大的误差定位。
现在讨论照相机的选择,摇摄因数的条件一般被描述为:
p1|-|θp2|≠90°      (14)
并且最佳条件被描述为:
p1|-|θp2|=0°       (15)
因此,照相机选择被指定为|θp1|-|θp2|最接近零的一对。不用说,可视角度被视为恰当地查看物体。
C.讨论
参考点:基本上,平行投影模型以参考点定位物体,所述参考点由任意估计算法给定,例如粒子滤波器或卡尔曼滤波器。此处,在平行投影模型定位中,物体位置和摇摄因数是关键要素。特别地,为了更准确的定位,需要减小点Pr和P’r之间的差值。作为理想化的方法,不仅当两个点Pp1和Oc1被匹配,而且当两个点Pp2和Oc2被匹配时,将线/1与P’r1-Pr精确对准以及将线/2与P’r2-Pr精确对准来引起零误差,之后P’r被定位为更靠近Pr。在图12中,照相机中心前向线F1和F2分别与线/1和/2对准。然而,所述条件应该以物体的已知位置实现。因此,最佳情况是将Oc1-E与线/1对准并将Oc2-E与线/2对准。所述条件还涉及照相机选择。现在,假使参考点E未知呢?如果未给定参考点或者近似的物体位置的任何信息均不被支持,则我们将参考点选择为任意随机点。在这种情况下,通过迭代方法,随机指定的点变得更靠近Pr。此外,即便在已知参考点的情况下,迭代方法也改善了确定位置的准确度。
D.用于误差最小化的迭代方法
基本概念是使用定位的位置P’r作为下一次迭代的参考点E。在这种方法中,不需要为每个物体点提供参考。此外,随着参考点E更靠近真实的位置Pr,定位的位置P’r变得更靠近真实的位置Pr。图13说明了原始定位和迭代结果。实线是投影线,点线是物体平面,并且结合的点-实线是照相机视线。注意,比较原始定位和迭代定位,照相机视线是恒定的,而其他线随迭代处理而移动。每个位置的右上的(i)表示第i次迭代次数。在迭代处理中,新的参考点(xe(1),ye(1))代替之前定位的点(x’r,y’r)。图14示出了基于图11执行一次迭代的迭代结果。示出了随着迭代处理一次次的执行,P’r更靠近Pr。所述迭代继续直至P’r(i-1)和P’r(i)之间的差值小于阈值δ,其中i是迭代次数的数量并且P’r(0)等于原始获得的位置P’r。此外,通过迭代处理,定位变得对非线性属性不敏感。此后,将描述非理想化的属性并且研究迭代方法如何影响非线性属性的补偿。
E.镜头非线性失真的补偿
在实际中,照相机镜头具有非线性可视线而不是直线。图15说明了定位中需要的缩放模型,其中虚线和实线分别表示理想化的可视角度和实际的可视角度,其中缩放因数z=de/Lc并且z’=de+Δd/L’c。如果照相机具有理想化的缩放角度,则缩放因数z是常数,其意味着z独立于参考点E。然而,实际照相机具有镜头失真。由缩放作用引起的误差以及镜头失真是比例失真的原因。由于缩放因数,通过修正等式(2),u’pp被表示为up(L’c/Ls)。此外,基于等式(3),Lc和L’c分别由de/z和de+Δd/z’获得。因此,实际缩放模型中的实际距离(u’pp)被如下补偿:
u pp ′ = u pp ( de + Δd de ) ( z z ′ ) - - - ( 16 )
虽然由于镜头失真导致的镜头属性的非线性可以被补偿,但其仍具有基础误差。此处,通过迭代处理,随着参考点E靠近物体位置Pr,所述误差被最小化。
图16说明了具有自照相机的距离和各种实际缩放因数的函数的缩放失真。如上所述,描述了本发明的配置和函数。此后,将分析本发明和本发明的仿真结果。
III.分析和仿真
A.仿真
图17示出了在两个照相机中显示出的图像,其中Δu1和Δu2分别是在照相机1和照相机2中参考点(E)和真实的物体点P之间的距离。为了简化,我们示出了图17(a)和17(b)中所示的图像帧中的参考点E。在实际照相机操作中,不显示参考点。图18示出了设立实验以测量实际物体。在这个实验中,基于平行投影模型自参考计算物体的实际位置。在图18中,两个照相机在笛卡尔坐标中被置于左侧作为照相机1以及底侧作为照相机2。每个照相机摇摄因数θp1和θp2均为零。实际缩放因数是z1=de1/Lc1并且z2=de2/Lc2,其中当物体平面和虚拟可视平面间的距离是de1+Δd1时,z’1是缩放因数,并且当物体平面和虚拟可视平面间的距离是de2+Δd2时,z’2是缩放因数。
B.定位误差评价
图19示出了未使用补偿算法的误差分布,其中两个照相机位于Oc1(1.8,0)和Oc2(0,1.8)。实际物体定位于(1.5,1.5)。图19说明了x轴、y轴中的定位误差量并且两个轴作为参考坐标的函数。由于每个照相机具有受限的可视角度,因此不能在可视角度外部显示的参考坐标被标记为黑色区域。注意,当参考点靠近实际物体点时,误差被最小化。定位误差可以由多次迭代进一步减小。图20说明了如何可以使误差显著减小。图21示出了定位误差依据迭代数量的函数而减小。
C.物体跟踪性能
提出的定位算法同样被应用到跟踪实施例。在本实施例中,物体在4m×4m的区域内移动并且图像从真实的照相机获得。跟踪问题可以使用提出的非迭代定位算法来补偿。每次物体改变坐标,则生成其相应的估计。图22(a)说明了定位的轨迹结果。在补偿之后,跟踪性能被改善。图22(b)和图22(c)说明了x轴和y轴中的跟踪性能。这些附图清楚地示出了补偿改善了跟踪性能但定位误差仍然存在。类似地,提出的迭代定位算法被应用在相同的跟踪实施例中。在这种情况下,整个定位仅使用一个参考坐标。被选择的估计在图23所示的轨迹之外。图23说明了定位的轨迹结果。由于估计的坐标不靠近所述物体,因此一次迭代存在显著误差。注意,如果物体进一步远离估计的坐标,则误差增大。然而,连续的迭代消除了定位误差。如上所述,提供一种使用自一般的数字成像装置获得的视觉图像来定位环境中的物体的有效且简单的方法。详细地,根据本发明一个实施方式的平行投影模型简化了用于确定支持全部缩放摇摄特性的物体的位置的计算的复杂度。此外,根据本发明一个实施方式的定位方法充分补偿了非理想化特性,例如镜头的光学特性。之前所谓参考坐标的信息可以是随时间变化的一个或多个点,所述时间从例如粒子滤波器的估计算法的一部分中获得。根据本发明一个实施方式的视觉定位可以补偿模糊。如上所述,显示和描述了示例性的实施方式。虽然本文使用了具体的术语,但所述术语仅用来描述本发明而不限制权利要求中公开的本发明的含义和范围。因此,本领域技术人员将意识到在不背离本发明的原理和精神的情况下可以对这些实施方式进行改变。因此,本发明的技术范围由权利要求及其等价物限定。
工业应用
本发明可以应用于普遍存在的工业领域,并且更具体地,可以应用于定位物体的领域。

Claims (5)

1.一种定位物体的方法,该方法包括:
通过使用多个传感器投影将定位在物体平面上的物体以及相应于该物体的参考点投影到虚拟可视平面和实际照相机平面上,其中各个平面支持成像装置的缩放和摇摄;
估计所述参考点的坐标;
指示所述物体的定位和所述参考点的所述坐标之间的关系,其中当所述物体的定位等于所述参考点的定位时,所述参考点的定位被确定为所述物体的定位;以及
互相补偿由所述多个传感器投影的物体和所述参考点之间的定位的差值,
其中所述多个传感器基于所述多个传感器中的每个传感器的摇摄因数而被选择。
2.根据权利要求1所述的方法,其中所述虚拟可视平面平行于所述物体平面。
3.根据权利要求1所述的方法,其中所述摇摄因数的绝对值之间的差值为“0”的传感器被选择为所述多个传感器。
4.根据权利要求1所述的方法,该方法执行一次。
5.根据权利要求1所述的方法,该方法迭代地执行。
CN2008801274567A 2008-02-27 2008-04-03 使用具有参考坐标的视觉图像定位物体的方法 Active CN101960326B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2008-0017756 2008-02-27
KR1020080017756A KR100927096B1 (ko) 2008-02-27 2008-02-27 기준 좌표상의 시각적 이미지를 이용한 객체 위치 측정방법
PCT/KR2008/001867 WO2009107894A1 (en) 2008-02-27 2008-04-03 Method for object localization using visual images with reference coordinates

Publications (2)

Publication Number Publication Date
CN101960326A CN101960326A (zh) 2011-01-26
CN101960326B true CN101960326B (zh) 2013-06-12

Family

ID=41016258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008801274567A Active CN101960326B (zh) 2008-02-27 2008-04-03 使用具有参考坐标的视觉图像定位物体的方法

Country Status (5)

Country Link
US (1) US8432443B2 (zh)
JP (1) JP2011513724A (zh)
KR (1) KR100927096B1 (zh)
CN (1) CN101960326B (zh)
WO (1) WO2009107894A1 (zh)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8221051B2 (en) 2009-07-06 2012-07-17 Newtonian Honeycomb, LLC Systems and methods for maximizing energy extraction from moving fluids
US20120069192A1 (en) * 2009-10-20 2012-03-22 Qing-Hu Li Data Processing System and Method
US8672837B2 (en) 2010-06-24 2014-03-18 Hansen Medical, Inc. Methods and devices for controlling a shapeable medical device
US9918681B2 (en) * 2011-09-16 2018-03-20 Auris Surgical Robotics, Inc. System and method for virtually tracking a surgical tool on a movable display
CN103377471B (zh) * 2012-04-16 2016-08-03 株式会社理光 物体定位方法和装置、最优摄像机对确定方法和装置
CN102915043B (zh) * 2012-10-17 2015-02-11 天津市亚安科技股份有限公司 一种提高云台定位精度的方法
US9566414B2 (en) 2013-03-13 2017-02-14 Hansen Medical, Inc. Integrated catheter and guide wire controller
US9057600B2 (en) 2013-03-13 2015-06-16 Hansen Medical, Inc. Reducing incremental measurement sensor error
US10849702B2 (en) 2013-03-15 2020-12-01 Auris Health, Inc. User input devices for controlling manipulation of guidewires and catheters
US9014851B2 (en) 2013-03-15 2015-04-21 Hansen Medical, Inc. Systems and methods for tracking robotically controlled medical instruments
US9629595B2 (en) 2013-03-15 2017-04-25 Hansen Medical, Inc. Systems and methods for localizing, tracking and/or controlling medical instruments
US9271663B2 (en) 2013-03-15 2016-03-01 Hansen Medical, Inc. Flexible instrument localization from both remote and elongation sensors
US9283046B2 (en) 2013-03-15 2016-03-15 Hansen Medical, Inc. User interface for active drive apparatus with finite range of motion
US11020016B2 (en) 2013-05-30 2021-06-01 Auris Health, Inc. System and method for displaying anatomy and devices on a movable display
CN103414872B (zh) * 2013-07-16 2016-05-25 南京师范大学 一种目标位置驱动ptz摄像机的方法
JP6110256B2 (ja) * 2013-08-21 2017-04-05 株式会社日本自動車部品総合研究所 対象物推定装置および対象物推定方法
US9392189B2 (en) * 2014-02-28 2016-07-12 Intel Corporation Mechanism for facilitating fast and efficient calculations for hybrid camera arrays
EP2923669B1 (en) 2014-03-24 2017-06-28 Hansen Medical, Inc. Systems and devices for catheter driving instinctiveness
WO2017049163A1 (en) 2015-09-18 2017-03-23 Auris Surgical Robotics, Inc. Navigation of tubular networks
US10143526B2 (en) 2015-11-30 2018-12-04 Auris Health, Inc. Robot-assisted driving systems and methods
KR102597435B1 (ko) * 2016-04-20 2023-11-03 엘지이노텍 주식회사 영상 취득 장치 및 그 방법
US11037464B2 (en) 2016-07-21 2021-06-15 Auris Health, Inc. System with emulator movement tracking for controlling medical devices
KR101885961B1 (ko) 2016-08-04 2018-08-06 영남대학교 산학협력단 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
KR102558061B1 (ko) 2017-03-31 2023-07-25 아우리스 헬스, 인코포레이티드 생리적 노이즈를 보상하는 관강내 조직망 항행을 위한 로봇 시스템
US10022192B1 (en) 2017-06-23 2018-07-17 Auris Health, Inc. Automatically-initialized robotic systems for navigation of luminal networks
JP7330902B2 (ja) 2017-06-28 2023-08-22 オーリス ヘルス インコーポレイテッド 電磁歪み検出
CN110809452B (zh) 2017-06-28 2023-05-23 奥瑞斯健康公司 电磁场发生器对准
US11058493B2 (en) 2017-10-13 2021-07-13 Auris Health, Inc. Robotic system configured for navigation path tracing
US10555778B2 (en) 2017-10-13 2020-02-11 Auris Health, Inc. Image-based branch detection and mapping for navigation
AU2018378810B2 (en) 2017-12-08 2024-02-22 Auris Health, Inc. System and method for medical instrument navigation and targeting
JP7322026B2 (ja) 2017-12-14 2023-08-07 オーリス ヘルス インコーポレイテッド 器具の位置推定のシステムおよび方法
WO2019125964A1 (en) 2017-12-18 2019-06-27 Auris Health, Inc. Methods and systems for instrument tracking and navigation within luminal networks
US10606269B2 (en) 2017-12-19 2020-03-31 X Development Llc Semantic obstacle recognition for path planning
US11194994B2 (en) 2017-12-20 2021-12-07 X Development Llc Semantic zone separation for map generation
US10546196B2 (en) 2017-12-20 2020-01-28 X Development Llc Semantic place recognition and localization
US11016491B1 (en) 2018-01-26 2021-05-25 X Development Llc Trajectory planning for mobile robots
US10754343B2 (en) 2018-02-15 2020-08-25 X Development Llc Semantic mapping of environments for autonomous devices
WO2019191144A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for registration of location sensors
WO2019191143A1 (en) 2018-03-28 2019-10-03 Auris Health, Inc. Systems and methods for displaying estimated location of instrument
JP7314175B2 (ja) 2018-05-18 2023-07-25 オーリス ヘルス インコーポレイテッド ロボット対応の遠隔操作システムのためのコントローラ
WO2019231895A1 (en) 2018-05-30 2019-12-05 Auris Health, Inc. Systems and methods for location sensor-based branch prediction
EP3801348B1 (en) 2018-05-31 2024-05-01 Auris Health, Inc. Image-based airway analysis and mapping
CN110831481B (zh) 2018-05-31 2022-08-30 奥瑞斯健康公司 管状网络的基于路径的导航
WO2019231990A1 (en) 2018-05-31 2019-12-05 Auris Health, Inc. Robotic systems and methods for navigation of luminal network that detect physiological noise
US12076100B2 (en) 2018-09-28 2024-09-03 Auris Health, Inc. Robotic systems and methods for concomitant endoscopic and percutaneous medical procedures
CN109828596A (zh) * 2019-02-28 2019-05-31 深圳市道通智能航空技术有限公司 一种目标跟踪方法、装置和无人机
CN114025700A (zh) 2019-06-28 2022-02-08 奥瑞斯健康公司 控制台叠加以及其使用方法
WO2021038495A1 (en) 2019-08-30 2021-03-04 Auris Health, Inc. Instrument image reliability systems and methods
KR20220058569A (ko) 2019-08-30 2022-05-09 아우리스 헬스, 인코포레이티드 위치 센서의 가중치-기반 정합을 위한 시스템 및 방법
EP4025921A4 (en) 2019-09-03 2023-09-06 Auris Health, Inc. ELECTROMAGNETIC DISTORTION DETECTION AND COMPENSATION
WO2021137072A1 (en) 2019-12-31 2021-07-08 Auris Health, Inc. Anatomical feature identification and targeting
US11660147B2 (en) 2019-12-31 2023-05-30 Auris Health, Inc. Alignment techniques for percutaneous access
CN118383870A (zh) 2019-12-31 2024-07-26 奥瑞斯健康公司 用于经皮进入的对准界面

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5182641A (en) * 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10116341A (ja) 1996-10-11 1998-05-06 Sanyo Electric Co Ltd 位置計測方法
KR19980059962A (ko) * 1996-12-31 1998-10-07 구자홍 단안시를 사용한 물체의 3차원 위치 측정방법 및 이를 이용한 측정장치
JP2000288248A (ja) 1999-04-05 2000-10-17 Namco Ltd ゲーム装置及び情報記憶媒体
EP1617779A1 (en) 2003-04-28 2006-01-25 BRACCO IMAGING S.p.A. Surgical navigation imaging system
JP2005152068A (ja) 2003-11-21 2005-06-16 Taito Corp 空中戦ゲーム機のペイブペニー用モニターにターゲット画像を表示する方法
JP2005322128A (ja) 2004-05-11 2005-11-17 Rikogaku Shinkokai ステレオ3次元計測用キャリブレーション方法及び3次元位置算出方法
JP4474640B2 (ja) * 2004-05-11 2010-06-09 株式会社セガ 画像処理プログラム、ゲーム処理プログラムおよびゲーム情報処理装置
KR100884904B1 (ko) 2007-09-12 2009-02-19 아주대학교산학협력단 평행 투영 모델을 이용한 자기위치 인식 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5182641A (en) * 1991-06-17 1993-01-26 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Composite video and graphics display for camera viewing systems in robotics and teleoperation
US5317394A (en) * 1992-04-30 1994-05-31 Westinghouse Electric Corp. Distributed aperture imaging and tracking system

Also Published As

Publication number Publication date
JP2011513724A (ja) 2011-04-28
KR100927096B1 (ko) 2009-11-13
WO2009107894A1 (en) 2009-09-03
US20100328455A1 (en) 2010-12-30
US8432443B2 (en) 2013-04-30
KR20090092490A (ko) 2009-09-01
CN101960326A (zh) 2011-01-26

Similar Documents

Publication Publication Date Title
CN101960326B (zh) 使用具有参考坐标的视觉图像定位物体的方法
CN104142157B (zh) 一种标定方法、装置及设备
Cai et al. An effective method for camera calibration in defocus scene with circular gratings
JP4996745B2 (ja) 平行投影モデルを利用した自己位置認識方法
She et al. Refractive geometry for underwater domes
CN111192235B (zh) 一种基于单目视觉模型和透视变换的图像测量方法
Hansen et al. Online continuous stereo extrinsic parameter estimation
CN107680139A (zh) 一种远心双目立体视觉测量系统的通用性标定方法
KR100951309B1 (ko) 광학식 모션 캡처 장비를 위한 다중 카메라 보정 방법
CN109544643A (zh) 一种摄像机图像校正方法及装置
CN103473758A (zh) 双目立体视觉系统的二次标定方法
Ding et al. A robust detection method of control points for calibration and measurement with defocused images
Song et al. Modeling deviations of rgb-d cameras for accurate depth map and color image registration
Junejo et al. Autoconfiguration of a dynamic nonoverlapping camera network
Kumar et al. Generalized pupil-centric imaging and analytical calibration for a non-frontal camera
Guan et al. An accurate calibration method for non-overlapping cameras with double-sided telecentric lenses
Li et al. Uncalibrated Euclidean 3-D reconstruction using an active vision system
CN115049784A (zh) 一种基于双目粒子图像的三维速度场重建方法
Wang et al. Facilitating PTZ camera auto-calibration to be noise resilient with two images
Keshavan et al. An adaptive observer framework for accurate feature depth estimation using an uncalibrated monocular camera
Forssén Updating camera location and heading using a sparse displacement field
Ibrahim et al. Circular Calibration of Depth Extraction in Stereo Configuration
Aldea et al. Hybrid focal stereo networks for pattern analysis in homogeneous scenes
Li et al. Calibrating a camera focused on a long shot using a calibration plate and defocused corner points
Cesar et al. Uncalibrated image rectification for coplanar stereo cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant