CN107079093A

CN107079093A - 校准装置

Info

Publication number: CN107079093A
Application number: CN201580050513.6A
Authority: CN
Inventors: 屉谷聪; 弓场龙; 伊藤诚也
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2014-10-24
Filing date: 2015-10-16
Publication date: 2017-08-18
Anticipated expiration: 2035-10-16
Also published as: JP6619927B2; CN107079093B; US10638115B2; WO2016063796A1; JP2016086250A; US20170289526A1

Abstract

使在校准装置中无需现实空间上的坐标信息的输入作业。摄像系统构成为具有：图像获取部，从摄像装置获取图像；物体抽出部，从图像抽出多个物体；特性信息附加部，对各物体间附加几何学信息作为特性信息，所述几何学信息表示多个物体间的几何学上的关系；照相机参数推测部，根据特性信息获取物体的图像坐标，根据特性信息及图像坐标推测照相机参数；以及照相机参数输出部，输出照相机参数。

Description

校准装置

技术领域

本发明涉及求出监视照相机的照相机参数的校准装置以及校准方法。

背景技术

近年来，在监视领域中，从利用摄像装置摄影而得到的影像来检测对象物的位置、尺寸的图像识别技术的需求升高。为了实现这样的图像识别技术，需要将在照相机摄影而得到的图像上设置的坐标(以下称为“图像坐标”)与在现实空间上设置的坐标(以下称为“世界坐标”)建立对应。照相机参数被使用于该对应的建立。

照相机参数是表示照相机的焦距、朝向等的照相机信息，大致分为内部参数和外部参数这2种。(数1)是内部参数矩阵，f表示焦距，a表示纵横比，s表示偏斜(skew)，(v_c，u_c)表示图像坐标的中心坐标。

[数1]

另外，(数2)是外部参数矩阵，(r₁₁、r₁₂、r₁₃、r₂₁、r₂₂、r₂₃、r₃₁、r₃₂、r₃₃)表示照相机的朝向，(t_x、t_y、t_z)表示照相机设置位置的世界坐标。

[数2]

如果使用这2个参数矩阵K、D以及常数λ，则图像坐标(u，v)与世界坐标(X_W、Y_W、Z_W)通过(数3)的关系式建立对应。

[数3]

此外，在外部参数的表示照相机的朝向的(r₁₁、r₁₂、…r₃₃)中，如果利用欧拉角定义，则能够由作为照相机的设置角度的摇摄(pan)θ、倾斜(tilt)滚动(roll)ψ这3个参数来表示。因此，为了将图像坐标与世界坐标建立对应而需要的照相机参数的数量为5个内部参数和6个外部参数合计11个。在(数3)中，即使照相机参数矩阵进行常数倍运算，其意义也不变，所以也可以将λ和参数矩阵K、D整理到1个矩阵而表现为(数4)那样。进而，在(数4)中，如果固定为c₃₄＝1，则未知的参数的数量为11个，求出这11个参数的意义与求出(数3)中的5个内部参数和6个外部参数的意义相同。

[数4]

因此，最终(数3)能够变形为(数5)那样，而(数5)中的矩阵C是最终求出的照相机参数。为了计算该照相机参数C，正寻求校准技术。

[数5]

在一般的校准中，利用对象的照相机对特定的被摄体进行摄影，通过向(数5)输入特征点的世界坐标和与该特征点对应的图像坐标的多个组合来计算照相机参数C。例如，在专利文献1中，手动地获取这些坐标信息。

专利文献1：日本特开2006-067272

发明内容

在专利文献1中，由人工输入校准所需的信息。因此，存在如下课题：在设置多个照相机时，不仅作业负担变大，而且由于作业内容复杂，也易于发生人工所致的失误。

本发明是用于解决上述课题的发明，其目的在于，在校准中，通过从照相机图像抽出多个物体并对各个物体附加特性信息，从而不输入坐标信息而实施校准。

为了实现上述目的，本发明提供一种校准装置，具有：图像获取部，从摄像装置获取图像；物体抽出部，从图像抽出多个物体；特性信息附加部，对各物体间附加表示多个物体间的几何学上的关系的几何学信息而作为特性信息；照相机参数推测部，根据特性信息获取物体的图像坐标，根据特性信息及图像坐标推测照相机参数；以及照相机参数输出部，输出照相机参数。

通过利用以上所述的特征来应用本发明的校准装置，在监视照相机中能够不输入坐标信息而实施校准。

附图说明

图1是本发明的实施例1的功能框图。

图2是在物体抽出部中从摄像图像抽出建筑物、人、道路的例子。

图3示出了在图2的情况下，通过特性信息附加部对由物体抽出部从摄像图像抽出的物体P_n、Q_n附加的特性信息O_n的一个例子。

图4示出了在摄像图像中高度相同的物体以及道路。

图5示出了在图4的情况下通过特性信息附加部对由物体抽出部从摄像图像抽出的物体P_n、Q_n附加的特性信息O_n的一个例子。

图6是说明物体信息获取部的流程的图。

图7示出物体信息获取部的处理的流程。

图8是特性信息是“垂直”的物体间的空间矢量的一个例子。

图9是特性信息是“相同高度”的物体间的空间矢量的一个例子。

图10是本发明的实施例2的功能框图。

图11是说明照相机参数精度确认部的图。

图12是本发明的实施例3的功能框图。

图13是说明人物追踪部的流程的图。

图14是本发明的实施例4的功能框图。

图15是说明人物位置推测部的图。

图16是说明人流分析部的图。

图17是说明人流分析部的流程的图。

图18是说明根据3维信息所生成的俯瞰图像的差异的图。

附图标记说明

1：校准装置；2：摄像装置；3：图像获取部；4：物体抽出部；5：特性信息附加部；6：照相机参数推测部；7：照相机参数输出部。

具体实施方式

以下，一边参照附图，一边对本发明的具体实施方式进行说明。

实施例1

图1示出了本实施例中的校准装置1的方框图。

图1所示的校准装置1具有图像获取部3、物体抽出部4、特性信息附加部5、照相机参数推测部6以及照相机参数输出部7。校准装置既可以与摄像装置2经由网络设置于管理服务器等，也可以设置于摄像装置2内。

摄像图像获取部3将以预定的时间周期从至少一个以上的照相机2获取到的可见光经由CCD、CMOS元件变换为电信号。在数字方式的情况下，除此以外还进行数字变换。以后，将实施了电信号、数字变换的从图像获取部3输出的图像称为摄像图像。

物体抽出部4从摄像图像抽出物体。在本实施例中，例如，抽出摄像图像所包含的水平面、直立于该水平面的物体等。在室外，作为水平面可以举出道路，作为直立于水平面的物体可以举出人、建筑物等。另一方面，在室内，作为水平面可以举出地面，作为直立于水平面的物体可以举出桌子、架子等。

物体的抽出方法有利用GUI等显示画面手动进行检测和利用图像识别自动进行检测的方法。前者的利用GUI等手动进行的检测有在使摄像图像显示于显示器等之后直接指定物体的外框的方法、利用矩形包围物体的方法。后者的利用图像识别自动进行的检测有预先获取不存在物体的背景图像而根据背景图像与摄像图像的差分抽出物体的方法、从摄像图像仅抽出具有特别的颜色信息的物体的方法。除此以外，还有通过场景识别从图像中抽出以及分辨多个物体，从这些物体中手动地选择特定的物体的方法。此外，作为物体的抽出方法，除了上述以外，只要是从摄像图像检测出特定的物体的方法，则不作特别限定。

特性信息附加部5对在物体抽出部4中抽出的物体附加特性信息。特性信息是指表示在多个物体间成立的几何学上的关系的几何学信息。

图2～图5示出有由特性信息附加部5对由物体抽出部4从摄像图像抽出的物体P_n、Q_n附加的特性信息O_n的一个例子。

图2示出在物体抽出部4中从摄像图像抽出作为建筑物的物体10以及11、作为人的物体12、作为道路的物体13的例子。在得到这样的摄像图像的情况下，附加如图3那样的特性信息。

图3的n是对被附加于各物体间的特性信息赋予的连续的编号，P_n、Q_n表示被附加特性信息的物体。在本实施例中，以被附加几何学信息的物体是P_n、Q_n这2个物体的情况来说明，但也可以附加2个以上的多个物体间的几何学信息。特性信息O_n表示物体间的几何学信息，在本实施例中是“垂直”、“相同高度”这样的2个特性信息。在图3中，在n＝1的情况下，P₁＝10、Q₁＝12的几何学信息O₁是“水平”。即，如图2所示，建筑物10和人12都相对地面垂直地站立，所以在几何学上相互处于水平关系。

图4示出在摄像图像中物体14a～14d是高度相同的电线杆，物体15是道路。

在该情况下，能够附加例如图5那样的特性信息。作为通过特性信息附加部5附加的特性信息的数量，只要存在未知的参数的数量即可。例如，也可以在图2的情况下仅附加图3记载的物体10和物体13是“垂直”的特性信息O_n，在图4的情况下仅附加图4记载的物体14a和物体14b是“相同高度”的特性信息O_n。

在此，作为对物体附加特性的手段，有反复进行在通过显示画面等GUI等选择2个从摄像图像抽出的物体后从“垂直”、“相同高度”中选择1个特性信息的流程的方法、预先对抽出物体附加ID编号等且将该编号和特性信息写入到文本文件等并建立对应的方法。

除此以外，还有例如在图4的情况下，如果建立对应为物体14a、14b、14c、14d是“相同高度”的属性，则自动地制作物体间的6个组合并对各个组合附加特性信息的方法。此外，除了上述以外，只要是从摄像图像内的抽出物体中选择多个物体，对这些物体对应起特性信息的方法，则不作特别限定。

图6是示出图1所示的照相机参数推测部6的详细情况的图。照相机参数推测部6根据物体的特性信息推测照相机参数。

照相机参数推测部6具有物体信息获取部20、初始参数获取部21以及参数计算部22。

物体信息获取部20随着输入从特性信息附加部5输出的特性信息，获取图像坐标。

初始参数获取部21获取照相机参数的初始值。参数计算部22的功能为基于附加于物体的特性信息和图像坐标，根据照相机参数的初始值来计算最终照相机参数。

图7示出物体信息获取部20的处理的流程。

在物体信息获取部20中，首先判定由特性信息附加部5对物体P_n、Q_n附加的特性信息O_n是“垂直”还是“相同高度”(S701)。

在S701中，在判定为特性信息O_n是“垂直”的情况下，判定物体P_n、Q_n是<水平面>和<垂直于水平面的物体>中的哪个(S702)。在物体是<水平面>的情况下，从该水平面上获取2个图像坐标(S703)。作为从水平面上获取2个图像坐标的方法，有从水平面上随机选出的方法、使用GUI等手动地选择的方法等。另一方面，在物体是<垂直于水平面的物体>的情况下，获取该物体区域的上底和下底的图像坐标(S704)。此外，也可以并非物体区域的上底和下底，而只要是在物体区域的处于现实空间上的高度方向轴上的2点即可。另外，也可以获取在物体的物体区域的处于摄像图像上的y轴上的2个图像坐标。

在S701中，在判定为特性信息O_n是“相同高度”的情况下，获取物体P_n、Q_n各自的区域的上底和下底的图像坐标(S705)。此外，也可以并非物体区域的上底和下底，而只要是在物体区域的处于现实空间上的高度方向轴上的2点即可。作为获取物体区域的上底和下底的图像坐标的方法，有在将图像左上设为原点的情况下将物体区域的外框的图像坐标中y坐标最大处设为上底、将最小处设为下底的方法、将物体区域的上边的中点设为上底、将下边的中点设为下底的方法等。此外，作为获取图像坐标的方法，也可以是上述以外的方法，只要是能够选出图像坐标的方法即可。这样，物体信息获取部20具有获取附加于物体的特性信息和与特性信息对应的图像信息的功能。

接下来，说明初始参数获取部21。初始参数获取部21具有获取11个照相机参数的初始值的功能。作为初始参数的获取的方法，有通过随机数获取的方法、利用照相机的硬件信息而手动地输入的方法等，不作特别限定。

最后，说明参数计算部22。参数计算部22根据由物体信息获取部20获取到的物体P_n、Q_n的特性信息O_n、物体P_n的图像坐标(px_n，py_n)、(px_n'，py_n')及物体Q_n的图像坐标(qx_n，qy_n)、(qx_n'，qy_n')以及通过初始参数获取部21输入的初始照相机参数C₀，计算最终的照相机参数。

说明由参数计算部22处理的照相机参数C。在上述(数5)中，如果将世界坐标Z_w设为固定值H，则通过经过(数6)的式子而能够变形为(数7)那样。(数7)表示只要已知世界坐标Z_w的H，就能够根据图像坐标(u，v)和照相机参数C导出世界坐标X_w和Y_w。

[数6]

[数7]

在此，如果如(数8)所示地展开(数7)，并附加C₃₁'C₁₃+C₃₂'C₂₃+C₃₄'C₃₃≠0这样的条件，则能够将固定值H置换为(数9)那样。

[数8]

[数9]

因此，即使在(数7)中H的值并非已知的，也能够根据图像坐标(u，v)和照相机参数C来计算出世界坐标w_i，在本实施例中，利用函数f将该关系式表示为(数10)那样。在参数计算部22中，根据(数10)推测照相机参数。

[数10]

W_i＝f(u_i，v_i，h，C)

(W_i＝(X_wi，Y_wi，h))

以下，以特性信息O_n是“垂直”的情况为例，说明照相机参数的推测方法。图8示出了该例子中的摄像图像。在物体P_n是垂直于水平面且高度为H的物体、物体Q_n为水平面的情况下，与物体P_n的上底部分的图像坐标(px_n，py_n)对应的世界坐标w_pn和与下底部分的图像坐标(px_n′，py_n′)对应的世界坐标w_pn′如(数11)所示。

[数11]

W_pn＝f(px_n，py_n，H，C₀)

w_pn′＝f(px_n′，py_n′，0，C₀)

另一方面，物体Q_n的图像坐标存在于水平面，所以其世界坐标W_qn、W_qn′如(数12)所示。

[数12]

W_qn＝f(qx_n，qy_n，0，C₀)

W_qn′＝f(qx_n′，qy_n′，0，C₀)

在此，如图8所示，物体P_n与物体Q_n垂直，所以如(数13)那样空间矢量的w_pnw_pn′和w_qnW_qn′的内积为0。

[数13]

然后，能够通过进行初始照相机参数C₀的最佳化来导出最终照相机参数C，以使(数14)所示的误差函数E为最小。

[数14]

作为最佳化的手法，使用集束调整(bundle adjustment)等一般的方法，不作特别限定。接下来，说明特性信息O_n是“相同高度”时的推测方法。图9示出了该例子中的摄像图像。如果假设为物体P_n、Q_n的高度是H且它们直立于水平面，则与物体P_n的上底、下底部分的图像坐标(px_n，py_n)、(px_n′，py_n′)以及高度是H的物体Q_n的上底、下底部分的图像坐标(qx_n，qy_n)、(qx_n′，qy_n′)对应的世界坐标w_pn、W_pn′、w_qn、W_qn′如(数15)所示。

[数15]

w_pn＝f(pxn，py_n，H，C₀)

W_pn′＝f(px_n′，py_n′，0，C₀)

W_qn＝f(qx_n，qyn，H，C₀)

W_qn′＝f(qx_n′，qy_n′，0，C₀)

在此，如图9所示，物体P_n、Q_n是相同高度，所以如(数16)那样，空间矢量的w_pnw_pn′和w_qnw_qn′的大小之差为0。

[数16]

因此，能够通过初始参数C₀的最佳化来推测照相机参数C，以使(数17)所示的误差函数E为最小。

[数17]

此外，在使用(数14)、(数17)进行最佳化时，仅通过1组矢量信息只能够推测1个照相机参数。但是，可以通过增加特性信息来同时推测多个照相机参数是显而易见的。作为增加制约条件的方法，例如，在特性信息是“垂直”的情况下，能够通过从水平面的物体区域抽出2个以上的图像坐标并获取多个空间矢量来应对。另外，在特性信息是“相同高度”的情况下，能够以通过从图像上进一步选择相同高度的物体来增加空间矢量信息的方式来应对。另外，还能够通过利用照相机的硬件信息等将已知的照相机参数作为固定值而设定到初始参数C₀，减少制约条件而推测照相机参数。另外，在本实施例中，仅关于“垂直”和“相同高度”，叙述了物体的特性信息，但也可以使用例如“平行”、“物体间所成的角度是45度”等特性信息。

返回到图1，照相机参数输出部7将由照相机参数推测部6推测出的照相机参数输出到摄像装置2或者管理服务器等，对摄像装置2设定照相机参数。

如以上所述那样，在本实施例中，通过利用从照相机图像抽出的多个物体和附加于这些物体的特性信息，能够不输入现实空间上的坐标信息而实施校准。

此外，在实施例1中，也可以在根据某物体间的特性信息求出最终照相机参数后，以最终照相机参数为初始参数，使用与上次不同的物体间的特性信息来更新参数的值。

实施例2

本实施例涉及对实施例1中求出的照相机参数进行精度调整的情况。

图10示出实施例2的功能框图。在图10中，1、2、3、4、5、6、7的各功能与实施例1相同。

在叙述图10的概要时，首先，在多个照相机2(摄像装置2)中，通过功能3、4、5、6、7推测各照相机2的照相机参数。接下来，3维信息获取部30根据2台照相机的摄像图像和从照相机参数输出部7获得的照相机参数，获取图像中的物体的3维信息。

然后，照相机参数精度确认部31根据通过3维信息获取部30获取到的物体的3维信息来确认照相机参数的精度，在参数的精度不良的情况下，再次推测照相机参数。通过做成这样的结构，能够获取到精度高的照相机参数。

以下，说明3维信息获取部30和照相机参数精度确认部31的功能。

3维信息获取部30根据利用2台照相机得到的摄像图像和在各照相机中推测出的照相机参数，计算摄像图像中的物体与照相机的距离，从而获取物体的3维信息。此外，作为3维信息的获取方法，使用通过根据照相机参数求出的基础矩阵F来计算视差的被称为立体匹配(stereo matching)的一般的手法。基础矩阵F是表示2台照相机的相对的位置关系的参数矩阵，如(数18)所示，能够通过由照相机参数输出部7获取到的2台照相机的内部参数K₀、K₁和外部参数D₀、D₁来计算。

[数18]

F＝(K₀ ^-1)^TTRK₁ ^-1

R＝R₀R₁ ^-1

图11是在照相机参数精度确认部31中，用户通过观察根据3维信息制作出的视点变换图像，确认照相机参数的精度并且调整参数的值的GUI画面的一个例子。

在图11中，画面40是照相机2的摄像图像，摄影有相同的身高的人物41a、41b、41c和道路42。画面43表示人物41a、41b、41c和道路42的3维信息，画面44、45、46是从假想的视点观察显示于画面43的3维信息时的视点变换图像。画面44表示正前方方向，画面45表示正侧面(右)方向，画面46表示正上方方向的视点处的视点变换图像。此外，作为视点变换图像的制作方法，使用利用照相机参数的透视投影这样的一般的方法。另外，也可以利用从除了正前方、正侧面(右)、正上方以外的视点方向制作出的视点变换图像。

在照相机参数精度确认部31中，根据该视点变换图像44、45、46确认照相机参数的精度。在准确地计算出照相机参数的情况下，如图11所示，在视点变换图像44、45中，道路42为水平，人物41a、41b、41c直立于道路42且各头顶部为相同高度，在视点变换图像46中，人物41a、41b、41c的位置相离，所以各人物区域独立。

但是，例如，在照相机的外部参数内表示照相机的俯角的倾斜角中存在误差时，在视点变换图像44、45中，道路42不为水平，人物41a、41b、41c的头顶部也不为相同高度。因此，用户通过确认显示画面能够确认倾斜角中存在误差。因此，通过图11的照相机参数调整GUI 47，对存在误差的照相机参数进行调整。在照相机参数调整GUI 47中，能够通过增减按钮49调整由画面48显示的输出摄像图像40的照相机的照相机参数。此外，在GUI 47中如果通过增减按钮49变更参数值，则视点变换图像44、45、46根据该值而被更新，所以用户能够在视觉上校正照相机参数。用户变更后的照相机参数也可以作为初始值或者固定值再次输入到照相机参数推测部6而进行最佳化，或者直接使用。此外，能够选择通过照相机参数调整GUI调整参数的照相机，在变更调整的照相机时摄像图像40和视点变换图像44、45、46被更新为与变更后的照相机对应的图像。另外，作为参数的调整手段，除了如图11那样使用增减按钮49以外，也可以是直接输入值这样的方法，不作特别限定。

在本发明的实施例2中，通过以上所说明的功能结构，通过根据从2台照相机获取到的照相机参数和物体的3维信息来生成视点变换图像并显示于GUI，用户能够在视觉上确认2台照相机的照相机参数的精度并且在必要的情况下调整其参数值。

此外，在实施例2中，照相机台数不限定于2台，也可以同时确认多台照相机的照相机参数的精度并且调整参数值。

实施例3

在本实施例中，说明根据存在于在不同的时刻获取到的2个以上的摄像图像上的物体间的几何学上的关系来附加特性信息的情况，以代替实施例1中的根据存在于1个摄像图像上的2个以上的物体间的几何学上的关系来附加特性信息。

图12是示出实施例3的功能框图的图。

在图12中，1、2、3、6、7的各功能与实施例1相同。物体追踪部60的功能为例如通过追踪作为运动物体的人物，从多个摄像图像获取物体的特性信息和图像信息。以下，说明物体追踪部60的功能的详细情况。

图13是详细示出物体追踪部60的功能的图。

在图13中，物体检测部61的功能为从摄像图像检测人物，物体识别部62的功能为判定由物体检测部61检测出的物体与从过去的摄像图像中检测出的物体是否为同一物体，ID编号附加部63的功能为根据物体识别部62的判定结果对物体附加ID编号，物体信息保存部64的功能为保存检测出的物体的图像信息等。

物体检测部61的功能为从摄像图像检测物体，有使用GUI等手动地检测的方法、使用图像特征量自动地检测的方法。作为后者的使用图像特征量自动地检测的方法，有根据与预先摄影到的背景图像的差分来抽出物体区域的方法、利用光流(optical flow)等将图像中的存在变化的区域作为物体抽出的方法、通过利用HOG特征量等的模式识别(patternrecognition)来检测的方法等。此外，除此以外，只要是从图像中检测物体的方法，则不作特别限定。

物体识别部62的功能为判定由物体检测部61从当前的摄像图像中检测出的物体与从过去的摄像图像中检测出的物体是否为同一物体。作为判定是否为同一物体的方法，有在物体是人物的情况下利用脸部识别的方法、利用光流等求出与紧前一帧的变化之差并将变化最少的部分视为同一人物这样的根据位置信息判定的方法等，除此以外，只要是能够判定为同一物体的方法即可。

在ID编号附加部63中，在由物体识别部62判定为由物体检测部102在当前的摄像图像中检测出的物体与过去的物体为同一物体的情况下，附加与过去的物体相同的ID编号，如果判定为不为同一物体则附加新的ID编号。此外，在本实施例中，从0开始按升序附加ID编号。

物体信息保存部64在由物体检测部61从当前的摄像图像中检测出的物体P_n中，获取及保存其区域的上底和下底的图像信息。然后，在过去的摄像图像中保存有具有与该物体P_n的ID编号相同的ID编号的物体Q_n的图像信息的情况下，附加“相同高度”这样的特性信息O_n。

通过采用以上这样的处理，输出特性信息O_n是“相同高度”的物体P_n、Q_n、R_n、…的上底和下底的图像信息[(px_n，py_n)、(px_n'，py_n')]、[(qx_n，qy_n)、(qx_n'，qy_n')]、[(rx_n，ry_n)、(rx_n'，ry_n')]、…，从而能够与实施例1同样地由照相机参数推测部6计算照相机参数。此外，在物体追踪部60中，即使除了上述方法以外，只要能够追踪同一物体且能够获取该物体的物体区域的处于现实空间上的高度方向轴上的2个图像坐标，则不作特别限定。

在本发明的实施例3中，通过以上所说明的功能结构，通过在照相机影像内追踪同一人物，能够不输入现实空间上的坐标信息而实施校准。

此外，在实施例3中，只要能够追踪影像内的同一人物，也能够应用于作为使用2台照相机的摄像装置2的立体照相机(stereo camera)。

实施例4

图14示出本发明的实施例4的功能框图。

在图14中，1、2、3、4、5、6、7、30、31的各功能与实施例2相同，人物位置推测部70的功能为根据从距离信息获取部30获取到的距离信息和通过照相机参数精度确认部31调整得到的照相机参数，来推测图像中的人物在现实空间上的位置；人流分析部71的功能为根据由人物位置推测部70推测出的人物的位置，进行人数测量、动线抽出、拥挤时间测量等的人流分析；分析结果显示部72的功能为在PC显示器等显示利用人流分析部71进行的人流分析的结果。以下，说明人物位置推测部70和人流分析部71的详细情况。此处设为人物，但也可以是其它运动物体。

图15是用于说明人物位置推测部的图。

在图15中，(a)是2台照相机内任意一方的照相机中的摄像图像，75a、75b表示人物，76表示道路，77表示大厦。在人物位置推测部70中，首先通过人检测从摄像图像仅抽出人物，制作图15(b)所示的人物区域图像。此外，关于人检测的方法，有在实施例3中所述的人检测部61的手法、根据与预先获取到的不存在人物的状况下的3维信息的差分来导出的方法。接下来，与照相机参数精度确认部31同样地，获取与抽出的人物区域对应的3维信息，生成从正上方方向的视点观察所获取到的3维信息时的视点变换图像即俯瞰图像(c)。最后，通过在俯瞰图像(c)中的各人物区域中求出重心位置，能够计算出人物位置图像(d)，能够推测出人物75a、75b的现实空间上的位置即78a、78b。

图16是用于说明人流分析部71的图。在图16中，(a)示出摄像图像，(b)示出对推测出的现实空间上的人物的位置与实际的地图进行映射的流程，(c)、(d)、(e)示出人数测量、动线抽出、滞留时间测量这样的人流分析的应用例。在人流分析部71中，首先将由人物位置推测部70根据摄像图像(a)计算出的人物位置图像79与作为实际的地图信息的地图图像80建立对应。作为该建立对应的方法，有通过GUI等手动地调整图像坐标以使得人物位置图像79所示的人物位置78a、78b收纳到映射图像80适合的场所的方法等，不作特别限定。接下来，使用将人物位置图像79与地图图像80建立有对应的映射图像83来进行人流分析。图16(c)是通过比较映射图像83中的道路76的图像信息与人物位置78a、78b的图像信息，测量处于道路76上的人物的数量的应用的执行例。在本执行例中，处于道路76上的人物仅为75a，所以在执行结果84中显示为1人。图16(d)是结合在连续帧中由人物位置推测部70推测出的人物位置的结果来追踪人物的动线抽出应用的执行例。作为人物的追踪方法，有与在实施例3中所述的人物追踪部60同样的方法、在前后帧中比较俯瞰图像中的多个人物区域而将移动量最小的部分处理为相同的人物区域来追踪的方法等，但不作特别限定。在图16(d)中，85a表示人物75a的动线，85b表示人物75b的动线，可知人物75a大幅移动，而人物75b滞留在相同的场所附近。图16(e)是将映射图像分割为4个块，利用动线抽出结果来测量各块中的每块的人物的平均滞留时间的应用的执行例。在执行结果86中，在块A、C中没有人物，所以平均滞留时间是0秒，在块B中有大幅移动的人物75a，在块D中有滞留的人物76b，所以D块的平均滞留时间最大。

在本发明的实施例4中，通过以上所说明的功能结构，通过根据从2台照相机获取到的照相机参数和物体的3维信息来推测人物的位置，从而能够不输入现实空间上的坐标信息而实施人流分析。

在实施例4中，也可以不利用人物整体的3维信息，而利用头部的3维信息。

图17是通过人物位置推测部70根据摄像图像来推测人物的位置的流程的一个例子。

首先，通过人检测，根据摄像图像制作人物区域图像(S1701)。

接下来，获取与人物区域对应的3维信息(S1702)，从获取到的人物的3维信息仅抽出头部的3维信息(S1703)。

最后，根据抽出的仅头部的3维信息，使用照相机参数来制作俯瞰图像(S1704)，求出制作出的俯瞰图像中的各头部的重心位置(S1705)，从而能够推测人物位置。

此外，作为S1703中的抽出头部的3维信息的方法，有预先使用图像特征量从摄像图像检测头部的凸状的形状等而获取与检测出的头部区域对应的3维信息的方法、使用由照相机参数精度确认部31制作出的正前方方向、正侧面方向的视点变换图像将高于一定以上的高度的3维信息检测为头部等方法。除此以外，只要是检测头部附近的手法，则不作特别限定。

图18示出根据人物整体的3维信息推测人物的位置而得到的结果与依照图17的流程仅根据头部的3维信息推测人物的位置而得到的结果的差异。在图18中，在从人物90a、90b、90c密集的摄像图像91中抽出人物整体的3维信息92来制作俯瞰图像93的情况下，在肩等部分发生重叠以致难以进行人物的区分，无法准确地推测其位置。但是，在从摄像图像91中仅抽出人物的脸部部分的3维信息94而制作出的俯瞰图像95中，不发生重叠，所以能够高精度地推测人物90a、90b、90c的位置。

另外，在实施例4中，在人流分析部71中也可以执行除了人数测量、动线抽出、滞留时间测量这样的基于推测出的人物的位置的人流分析应用以外的应用。例如，有通过测量在某特定区域内直立的人物的数量和每个人物的滞留时间而将特定区域内的拥挤度计算为数值的拥挤度推测应用、根据俯瞰图像中的人物区域彼此的结合状态来判定人物接近还是远离并在接近的情况下测量此处的滞留时间从而识别出店铺等的待客行为的行为识别应用等。

Claims

1.一种摄像系统，具有：

图像获取部，从摄像装置获取图像；

物体抽出部，从所述图像中抽出多个物体；

特性信息附加部，对各物体间附加几何学信息作为特性信息，所述几何学信息表示所述多个物体间的几何学上的关系；

照相机参数推测部，根据所述特性信息获取所述物体的图像坐标，根据所述特性信息及所述图像坐标推测照相机参数；以及

照相机参数输出部，输出所述照相机参数。

2.根据权利要求1所述的摄像系统，其特征在于，

在所述特性信息是垂直的情况下，所述照相机参数输出部关于所述多个物体中的在现实空间上存在于水平面上的物体，获取所述物体的任意的2个图像坐标，关于所述多个物体中的在现实空间上垂直于水平面的物体，获取在所述物体的物体区域的处于现实空间上的高度方向轴上的2个图像坐标。

3.根据权利要求1所述的摄像系统，其特征在于，

在所述特性信息是相同高度的情况下，所述照相机参数输出部关于所述多个物体中的在现实空间上垂直于水平面的物体，获取物体区域的处于现实空间上的高度方向轴上的2个图像坐标。

4.根据权利要求1所述的摄像系统，其特征在于，

具有显示画面，所述显示画面能够显示所述图像，对所述多个物体进行选择，并且在所述多个物体中对任意的所述各物体间附加特性信息。

5.根据权利要求1所述的摄像系统，其特征在于，

所述物体抽出部进行所述图像的场景识别，根据所述场景识别的结果从所述图像中检测多个物体，并且附加所述特性信息。

6.一种摄像系统，具有：

图像获取部，从摄像装置获取图像；以及

物体追踪部，从所述图像检测物体并追踪，

所述物体追踪部包括：

物体识别部，判定在第1时刻检测出的第1物体与在第2时刻检测出的第2物体是否为同一物体；以及

物体信息保存部，在所述物体是同一物体的情况下，获取在所述第1时刻及所述第2时刻的图像上的与所述物体的高度有关的信息，对各物体间附加几何学信息作为特性信息，所述几何学信息表示在所述第1物体及所述第2物体间成立的几何学上的关系；

照相机参数推测部，根据所述特性信息及所述图像坐标，推测照相机参数；以及

照相机参数输出部，输出所述照相机参数。

7.根据权利要求1或者6所述的摄像系统，其特征在于，

设置有多台所述摄像装置，

具有照相机参数精度确认部，所述照相机参数精度确认部通过根据推测出的所述照相机参数计算所述图像上的物体与所述摄像装置的距离，从而获取所述物体的3维信息，根据所述3维信息调整所述照相机参数的值。

8.根据权利要求7所述的摄像系统，其特征在于，

立体照相机装置在所述照相机参数精度确认部中，根据所述照相机参数显示从不同的视点观察所述3维信息而得到的视点变换图像，如果变更2个所述照相机参数的值，则所述视点变换图像也变更。

9.根据权利要求8所述的摄像系统，其特征在于，

立体照相机装置使用所述视点变换图像的图像来进行物体检测。