CN101216304B - 物体尺寸估测之系统及方法 - Google Patents

Abstract

本发明披露一种获得影像内目标物体尺寸之系统及方法，其包含接收影像内许多特征点的坐标、接收该影像内具有已知尺寸的至少一个参考物体之坐标、执行校正来调整至少一个特征点上的坐标，以及接收影像内目标物体的坐标，并根据特征点的坐标来决定目标物体的尺寸。然后调整至少一个特征点的坐标来增加决定参考物体尺寸时的精确度。

Description

物体尺寸估测之系统及方法

技术领域

本发明涉及测量系统及方法，且特别涉及获得影像内物体尺寸之系统及方法。

背景技术

随着科技演进以及社会安全需求的增加，监视系统变成受欢迎的研究主题并且可用于许多应用情况。许多监视系统需要在许多位置上安装许多视频摄影机，并且记录的视频影像通过缆线或网络传输至存储媒体。若在监视区域内发生意外或纠纷，则稍后可查阅已记录的视频影像供进一步分析。因为视频影像的辨识通常依赖人工识别，这难以让监视系统提供事先和/或预防警示。因此，利用计算系统自动分析的发展吸引许多人的注意。

近年来，运用视觉技术获得几何信息已广为应用。其应用的范例包含建筑与室内测量、画作内物体重建、广场测量以及交通意外调查。针对范例，该技术可用于利用身高以及自定目标分析来区分景物内的人。一种获得物体尺寸的方法例如在监视场景内某处放置一支或多支尺，如此稍后可参照这些尺来评估物体尺寸。其它方式是使用计算机分析摄取的可见信息，在离线状态下获得物体尺寸，这样有时候比较精确、有弹性以及有效率。

目前有许多从影像中测量物体的计算技术，例如：Criminisi等人提出一种从单一透视影像中计算物体测量值的方法，此由A.Criminisi与A.Zisserman于1999年9月在希腊Kekyrn举行的Computer Vision(计算机视觉)国际会议中的Single view metrology第434-442页内所提出。假设可从影像中决定场景中参考平面的消失线以及参考方向中的消失点，根据消失线与点，与参考平面平行的任何平面间之距离、这些平面上的面积与长度比例以及摄影机位置都可计算。

其它方式为使用摄影机与3D场景之间的直线转换获得参数，接着可用于计算物体尺寸，此为A.Bovyrin和K.Rodyushkin于IEEE2005中Human Height Prediction and Roads Estimation for Advanced VideoSurveillance Systems第219-223页内所提出。Wang等人提出先通过参考空间平面及其虚拟消失点的对应来获得摄影机投射矩阵，然后使用该矩阵以及某些可变场景限制摄取场景的几何实体，像是物体高度以及从点到线的距离，这由G.Wang、Z.Hu、F.Wu以及H.Tsui于2005年在Image VisionComputing，Elsevier B.V的Single View Metrology From Scene Constraints中提出。在其它方式中，物体尺寸由通过两端测定影像之间关系所获得的参数来计算，这由Z.Chen、N.Pears以及B.Liang于2006年在PatternRecognition Letters，Elsevier B.V的A Method of Visual Metrology FromUncalibrated Images中提出。

发明内容

构成本发明的一个范例提供一种获得影像内目标物体尺寸的方法。该方法包含接收该影像内许多特征点的坐标、接收该影像内具有已知尺寸的至少一个参考物体之坐标、执行校正来调整至少该特征点之一的中的一个该坐标，以及接收该影像内该目标物体的坐标并根据该特征点的该坐标来决定该目标物体的该尺寸。调整至少一个特征点的坐标来增加决定参考物体尺寸时的精确度。

在其它范例中，提供一种获得影像内目标物体尺寸的方法。该方法包含接收对应至该影像内许多特征点的坐标、根据对应至该特征点的该坐标来决定对应至消失点的坐标、接收对应至该影像内具有已知尺寸的至少一个参考物体之坐标、根据对应至该消失点的该坐标来决定对应至该参考物体的该尺寸、执行校正来调整对应至该特征点的该坐标，以及接收该影像内该目标物体的坐标并根据该消失点决定该目标物体的尺寸。调整对应至特征点的坐标来增加决定参考物体尺寸时的精确度。

构成本发明的其它范例提供一种获得影像内目标物体尺寸的系统。该系统包含第一装置，其可提供对应至该影像内许多特征点的坐标，并提供对应至该影像内至少一个参考物体的坐标，其中该参考物体的尺寸已知，以及校正装置，其用于接收对应至该特征点的该坐标以及对应至该参考物体的该坐标，以及用于调整对应该特征点的该坐标。调整对应至特征点的坐标来增加决定参考物体尺寸时的精确度。

所属技术领域的技术人员可了解到，上述一般说明以及下列详细说明都仅是示范，并不因此限制本发明。

附图说明

当并同各附图而阅览时，即可更佳了解本发明之摘要以及下文详细说明。为达本发明之说明目的，各附图里图绘有现属较佳之各具体实施例。然应了解本发明并不限于所绘之精确排置方式及设备装置。

在各附图中：

图1为用于说明构成本发明的一项应用之范例场景附图；

图2A-2C为用于说明某些几何原理的附图；

图3说明构成本发明的范例内用于物体尺寸估测的方法之范例流程；

图4为场景的范例说明。

图5为用于说明构成本发明的影像处理技术之范例方框图；

图6为构成本发明的范例内用于应用物体尺寸估测方法之场景说明；以及

图7为构成本发明的范例内用于应用物体尺寸估测方法之场景说明。

主要元件标记说明

100                      一般视频CCD监视摄影机

102                      数字视频摄影机

104                     地平面

106                     计算机

108                     人

110                     车辆

114                     树

112                     房屋

200                     地平面

202                     并行线

210                     2D影像平面

212                     一致的直线

214                     消失点

216                     消失线

218                     摄影机中心

220                     平面

222                     参考方向

230                     平面

400                     影像

402                     地平面

404                     立方体

406                     参考物体

408                     鼠标

500                     视频数据

502                     快照

504                     测试点手动选择

506                       高度估测

508                       物体分割

510                       测试点自动选择

具体实施方式

图1显示可实施本发明的示范范例。请参照图1，像是一般视频CCD监视摄影机100以及数字视频摄影机102的这类单眼摄影机可用于摄取影像。摄影机100或102的设置方式为将地平面104包含在摄取场景内。此外，摄影机100或102连接至并入本发明内的计算机106。在适当设置摄影机100或102之后，可执行下列将详细讨论的最佳空间校正，以获得物体测量的最佳参数。根据最佳参数，只要提供物体的顶端与底端坐标，就可估测影像内的任何物体，例如人108、车辆110、树114以及房屋112。

图2A-2C说明有关平面的消失线与消失点之某些几何原理。请参照图2A，3D空间内的参考平面通常但不必然为地平面200。一组地平面200上的并行线202投射进入2D影像平面210变成一组一致的直线212。这些直线在2D影像平面210内的会合点称之为消失点214。将地平面200上所有可能并行线的消失点214连接起来构成消失线216，如图2B所示。消失线216和摄影机中心218可构成与地平面200平行的平面220。

图2B显示物体在两平面之间3D空间内相对于从地平面200到摄影机中心218的距离。请参照图2B，假设3D空间内的物体具有底部坐标P和顶端坐标P′，高度为Z。顶端与底部坐标分别位于地平面200与和参考平面200平行的平面230上。参考方向222为平面200和230的法向量，如图2B所示。V₃为与参考方向222平行的方向上之消失点，如图2B所示。C为平面220和与参考方向222平行的直线之交叉点。因为摄影机中心218和点C都落在平面220上，所以点C和地平面200之间的距离等于摄影机中心218与地平面200的距离Z_c。对应至图2B，图2C显示物体在两平面之2D影像平面210上相对于从两平面中的一个到摄影机中心218的距离。点214为平面200的两消失点，并且构成消失线216。v₃为与平面200垂直的方向上之消失点。c为消失线216与和平面200垂直并连接至v₃的直线之交叉点。大写字母(P)用于指示3D空间内的数量，并且小写字母(p)用于指示影像数量。

图2C上标示的四点个p、p′、c、v3定义出交叉率。交叉比例的值提供3D空间内的长度比例，可如下决定出平面200与230之间的距离Z，相对于摄影机与地平面200的距离Z_c：

$\frac{d(p,c)\×d(p\′,v_3)}{d(p\′,c)\×d(p,v_3)}=\frac{d(P,C)\×d(P\′,V)}{d(P\′,C)\×d(P,V)},---\left(1\right)$

其中d(x1，x2)为两个一般点x1和x2之间的距离。因为点V的背面投射为无限远的点，所以 $\frac{d(P\′,V)}{d(P,V)}=1.$ 另外因为d(P，C)＝Z_c并且d(P′，C)＝Z_c-Z，所以简化(1)上的代数式产生

$\frac{Z}{Z_C}=1-\frac{d(p\′,c)\×d(p,v_3)}{d(p,c)\×d(p\′,v_3)}.---\left(2\right)$

根据上述等式(2)，一旦指定摄影机的距离Z_c，就可从此距离比例获得绝对距离Z。另外，可先根据像是已知的物体尺寸这类已知的参考距离计算出Z_c，然后可套用计算出的Z_c来估测影像内物体的尺寸。

图3说明构成本发明的范例内物体测量方法之范例流程。如图3所示，首先在步骤302上设定初始参数。图4说明步骤302的示范范例。在影像400内，地平面402上的参考立方体404提供许多特征点f₁-f₆。特征点f₁-f₆可由通过鼠标408在影像400上手动按一下或由计算机自动侦测来识别。在坐标对应至特征点f₁-f₆并且通过鼠标408选择参考物体406的情况下，影像可先放大，增加选择坐标提供给物体尺寸估测系统的准确度。

和

和

以及

和的延伸线会导致三个消失点。利用连接与地平面402平行的直线上两个消失点可建立消失线。在已经物体高度或尺寸，像是图4上所示的参考立方体404或旗子406的情况下，物体406、404的顶端与底部坐标q和q′以及其实际尺寸可提供给本发明的物体尺寸估测系统来完成步骤302。

请回头参照图3，步骤304执行最佳空间校正，避免点或坐标位置的手动选择或自动侦测误差影响到消失点的计算，最终影响到物体尺寸估测。步骤302上所识别对应至特征点的坐标可考虑当成要调整的初始参数。利用与参考物体的实际尺寸做比较使用目标函数，来评估根据初始参数计算的物体尺寸估测。

以图4上的立方体404当成范例。立方体404可提供六个特征点f₁-f₆的坐标，集中表示为

因为每一个特征点f_i都具有坐标(f_i ^x，f_i ^y)，六个特征点就可提供十二个参数，且这六个特征点可以产生至少两组垂直于该参考平面之平面，例如f₁、f₂、f₃、f₄所产生的平面和f₃、f₄、f₅、f₆所产生的平面垂直于该参考平面等，单组平面中至少包含两条平行于该参考平面之直线，例如f₁、f₂、f₃、f₄平面中f₁、f₃所产生的直线和f₂、f₄所产生的直线，及f₃、f₄、f₅、f₆平面中f₃、f₅所产生的直线和f₄、f₆所产生的直线，且至少包含两条垂直于该参考平面之直线，例如f₁、f₂所产生的直线和f₃、f₄所产生的直线等。根据这十二个参数，就可根据直线f₁f₃和f₂f₄、直线f₃f₅和f₄f₆以及直线f₁f₂和f₃f₄计算出三个消失点。从与参考平面平行的直线中获得的两消失点可建立一条消失线。根据消失线与第三消失点，可获得图2C上显示的交叉点c。根据等式(2)，摄影机中心218与地平面200的距离可计算如下：

$Z_C=\frac{Z\×d(f_3,c)\×d(f_4,v_3)}{d(f_3,c)\×d(f_4,v_3)-d(f_4,c)\×d(f_3,v_3)}.---\left(3\right)$

假设已知高度的参考物体数量为N，集中表示为 $S=\left\{(q_j,q_j^{\′},h_j)\right|j=\mathrm{1,2},...N\},$ 则X的目标函数为：

$\min .F\left(X\right)=\frac{1}{N}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}|h_j-z_j|,---\left(4\right)$

其中Z_j为根据下列等式计算出来的第j个参考物体之高度：

$Z_j=Z_C\×(1-\frac{d(q_j^{\′},c)\×d(q_j,v_3)}{d(q_j,c)\×d(q_j^{\′},v_3)}),j=\mathrm{1,2},...N.---\left(5\right)$

为了找寻

的最佳参数集，将第k个参数fk设定在

的范围之间，其中δ_k为找寻空间并且k＝1，2，3，...12。运用计算机仿真，像是基因算法、退火算法、禁制搜寻法或粒子群体最佳化法，候选参数抽象呈现的数量发展成更佳的参数集，如此参考物体的估测尺寸会更接近其实际尺寸。D.E.Goldberg于1989年发表于GeneticAlgorithms in Search Optimization and Machine Learning，Addison-Wesley，Reading MA中、D.T.Pham和D.Karaboga于2000年发表于IntelligentOptimisation Techniques：Genetic Algorithms，Tabu Search，SimulatedAnnealing and Neural Networks，New York：Springer-Verlag中以及M.Clerc于2006年发表于Particle Swarm Optimization，Hermes Science Pubns中，在此都分别关于基因算法、退火算法、禁制搜寻法或粒子群体最佳化法而并入本发明。

请回头参照图3，在步骤304的最佳空间校正之后，在提供对应至影像内特定物体的顶端与底部坐标之下，可进行相同影像内任何物体上的物体尺寸估测。在步骤306上，对应至要测量的物体之坐标会通过使用者输入装置或所选物体坐标的自动侦测提供给系统。在步骤308上，根据上述等式(2)可获得物体尺寸。

图5说明步骤306和308的示范范例。快照502可先摄取一系列视频数据500的讯框，以获得特定影像。一旦获得影像，在步骤504上使用者可通过鼠标或键盘选择要测量的物体顶端与底部点。然后根据上述等式(2)获得物体尺寸估测。另外，可依赖物体分割技术508侦测所要测量物体的所在区域，以此利用计算机分析取得该区域的顶端与底部坐标。

图6和图7为构成本发明的范例内用于应用物体尺寸估测方法之范例场景说明。在此范例中，使用Logitech QuickCam Sphere数字视频摄影机以及CCD Pulis P2650视频摄影机含影像摄取卡Winnov Videum1000+来进行实验。两支摄影机的影像分辨率都为640x480像素。范例使用基因算法进行最佳空间校正。搜寻空间设定为δ_k＝5。迭代次数设定为5000。群体的大小N_pop为20。选择率P_s设定为0.2、交配率P_c为0.8并且突变率P_m设定为0.1。使用尺寸为275mm的立方体当成参考方块。

在第一范例中，数字视频摄影机P₄摄取如图6所示的场景。摄影机的实际高度为800mm。立方体可提供六个特征点，并且图6内垂直画出的三个特征点P1、P2和P3。假设原点的坐标为(0，0)，则影像上每一点的坐标为P₁(365，175)、P₂(345，140)、P₃(370，125)、P₄(75，90)、Q₁(380，250)、Q₂(315，170)、Q₃(410，135)、Q₄(285，120)。下列表1显示根据特征点最佳坐标获得的物体尺寸估测结果。

表1

其中像素表示影像上参考物体占用的像素、转换比例为(实际高度/像素数目)并且误差率为(|估测高度-实际高度|/实际高度)。

在第二范例中，使用CCD摄影机P₄摄取场景，类似于图7内所显示。在此范例中摄影机的实际高度为2,650mm。假设原点的坐标为(0，0)，则影像上每一点的坐标为P₁(505，260)、P₂(475，230)、P₃(495，210)、P₄(30，220)、Q₁(475，320)、Q₂(635，320)、Q₃(840，320)、Q₄(1170，290)、Q₅(670，185)、Q₆(755，170)、Q₇(755，100)。下列表2显示根据特征点最佳坐标获得的物体尺寸估测结果。

表2

根据上述表1和表2，本发明可提供高精确度的影像内物体之尺寸估测。

所属技术领域的技术人员应即了解可对上述各项具体实施例进行变化，而不致悖离其广义之发明性概念。因此，应了解本发明并不限于上述特定具体实施例，而为涵盖权利要求所定义之本发明精神及范围内的改变。

Claims (10)

1.一种获得影像内目标物体尺寸之方法，该方法包含：

接收该影像内一立方体提供的至少六特征点的坐标，所述特征点提供至少两条垂直于参考平面之直线，及至少两组垂直于该参考平面之平面，单一平面中至少包括两条平行于参考平面之直线；

接收该影像内具有已知尺寸的至少一参考物体之坐标；

根据该特征点的坐标来决定许多消失点的坐标，并根据该消失点的坐标来增加决定该参考物体尺寸时的精确度；以及

接收该影像内该目标物体的坐标并根据该特征点的该坐标来决定该目标物体的该尺寸。

2.根据权利要求1所述的方法，其特征在于该特征点的坐标由最佳化算法来决定。

3.根据权利要求2所述的方法，其特征在于该最佳化算法至少包含基因算法、退火算法、禁制搜寻法以及粒子群体最佳化法之一。

4.根据权利要求1所述的方法，其特征在于还包含接收该影像内该目标物体的坐标，并根据该消失点决定该目标物体的尺寸。

5.根据权利要求1所述的方法，其特征在于根据该影像内使用者选择的对应点来识别该参考物体的该坐标，以及该特征点。

6.根据权利要求1所述的方法，其特征在于根据自动侦测来识别该参考物体的该坐标，以及该特征点。

7.一种获得影像内目标物体尺寸之系统，该系统包含：

使用者输入装置，其可提供对应至该影像内一立方体提供的至少六特征点的坐标，所述特征点提供至少两条垂直于参考平面之直线，及至少两组垂直于该参考平面之平面，单一平面中至少包括两条平行于参考平面之直线，并提供对应至该影像内至少一个参考物体的坐标，其中该参考物体的尺寸为已知；

第二装置，其用于接收对应至该特征点的该坐标并产生消失点的坐标；以及

坐标校正装置，其用于接收对应至该参考物体的该坐标，以及用于调整对应该特征点的该坐标，其中调整对应至该特征点的该坐标来增加决定该参考物体尺寸时的精确度。

8.根据权利要求7所述的系统，其特征在于该使用者输入装置为自动侦测装置。

9.根据权利要求7所述的系统，其特征在于该校正装置执行最佳化算法。

10.根据权利要求9所述的系统，其特征在于该最佳化算法至少包含基因算法、退火算法、禁制搜寻法以及粒子群体最佳化法之一。

Images