CN102710894A - 摄像机设置支援方法、图像识别方法 - Google Patents

Abstract

本发明提供一种摄像机设置支援方法、图像识别方法。摄像机设置支援方法的特征在于，摄像机参数生成装置(1)的摄像机模型构筑部(5)，按照在尺寸不同的监视区域间使监视区域内的被摄体的视觉上的差异变小的方式选定摄像机的目标设置角度；摄像机参数生成装置(1)的摄像机设置角度调整部(7)，计算图像上目标位置，该图像上目标位置是被固定于监视区域的坐标系中预先设定了位置的记号在以目标设置角度设置摄像机时被显示在摄像机的摄影图像中的位置，按照以目标设置角度设置摄像机的方式来指导摄像机的设置角度的调整，使得记号被显示在摄影图像中的图像上记号与图像上目标位置一致。

Description

摄像机设置支援方法、图像识别方法

技术领域

本发明涉及摄像机设置支援方法、图像识别方法的技术。

背景技术

为了减轻对基于监视摄像机的摄影图像进行监视的监视人员的负担，测定摄影图像中的人物的举动及人数的监视系统正在普及。通过对异常举动进行图像识别来检测事故的产生及致使事故的人物的危险举动这一功能是监视系统的代表性功能之一。另外，通过对摄影图像中的人物的存在及人数进行图像识别来掌握监视范围内的人员流动这一功能也是监视系统的代表性功能之一。

例如，在非专利文献1中公开了利用高次局部自相关这一图像上的局部性视觉和动作的特征量来检测摄影图像中的人物的异常举动的技术。另外，非专利文献2公开了通过用椭圆模型近似人物的形状并将摄影图像和椭圆模型进行对照来提取人物的技术。

在非专利文献2中，在人物与所述椭圆模型的对照中，事前准备使监视摄像机的设置位置或设置角度等几何参数、以及监视摄像机的焦点距离或透镜的形变系数等光学参数相匹配的摄像机参数，针对摄影图像上的每处场所，根据摄像机参数使椭圆模型的倾斜及大小最优化，来提高图像识别的精度。

即便在电梯内也要求上述的监视系统进行检测，以检测具有恶意的乘客破坏轿厢内的设备或对其他乘客实施危害等异常举动。另外，还要求上述监视系统检测有人被关在轿箱内的事故、或检测过量的乘客搭载电梯。

作为与电梯内的监视摄像机的设置相关联的技术，在专利文献1中公开了下述技术，即：以设置有调整监视摄像机的设置角度的驱动装置的监视摄像机作为对象，通过图像识别的方式从监视摄像机内的图像中检测轿厢内的箱底的角，并使箱底的角位于图像中央来调整监视摄像机的设置角度。

(现有技术文献)

(专利文献)

专利文献1：日本特开2009-46253号公报

(非专利文献)

非专利文献1：南里卓也、大津展之、“複数人勤画像からの具常勤作検出”、コンピュ一タビジョンとィメ一ジメディァ”、P.43-50、2005年10月

非专利文献2：辻俊明、田代浩紀、阿部茂、“ェレベ一タ乘場画像の移勤体上端に着目した待客数計测方式”、電気学会論文誌D、P.334-340、2010年3月

为使安装于电梯内的监视摄像机能看到轿厢内的全景，该监视摄像机一般被安装在轿厢内的箱顶附近的高处。当监视摄像机的设置角度因轿厢的不同而各不相同时，即便位于轿厢内的人物的位置相同，由于图像中的人物的角度或大小会因轿厢的不同而不同，所以捕捉轿箱内的人物的图像识别的精度会下降。例如，在非专利文献1的检测异常举动的技术中，由于人物的局部性视觉会发生变化，因而异常举动的检测精度下降。

另外，在使用监视摄像机的摄像机参数的图像识别中，为了提高图像识别的精度，优选使用与实际空间中的误差尽可能小的摄像机参数。例如，在非专利文献2的提取人物的技术中，摄像机参数的精度越高，图像中的每处场所的椭圆模型的倾斜及大小就越接近图像中的人物。

另外，在专利文献1的技术中，在设置监视摄像机的电梯的轿厢的尺寸都一样的情况下，无论在哪个轿厢中都能以一样的角度设置摄像机。但是，在实际的电梯中，因为货物用或乘客用等的用途、假设的乘客数、设置电梯的建筑物的条件等，存在着多种尺寸的轿厢。假设，在所有轿厢中将监视摄像机的高度安装为同一高度这一条件下，若以专利文献1的技术将监视摄像机安装于多种箱底面积的轿厢中，则在箱底面积小的轿厢中摄像机的俯角变大(接近垂直)，在箱底面积大的轿厢中摄像机的俯角变小(接近水平)。由此，在专利文献1的技术中，存在着监视摄像机的设置角度根据轿厢的尺寸产生偏差这一问题。

另外，在专利文献1的技术中，若要在多种尺寸的轿厢中获取摄像机参数，则需要用测量尺测量轿厢的尺寸及监视摄像机的设置位置、直接测量并求出监视摄像机的光学参数、以及从记录有光学参数的数据库中进行选择，因而存在着在摄像机参数的获取中需要较多作业量的问题。

发明内容

本发明是鉴于上述问题而提出的，其目的在于操作人员通过较少的操作量以适当的角度设置监视摄像机。

为了解决上述课题，本发明的摄像机设置支援方法，是在摄像机参数生成装置中的摄像机设置支援方法，该摄像机参数生成装置在对监视区域进行监视的监视系统中生成对所述监视区域进行摄影的摄像机的摄像机参数，该摄像机设置支援方法的特征在于，所述摄像机参数生成装置的摄像机模型构筑部，按照既满足被赋予的条件又在尺寸不同的所述监视区域之间使所述监视区域内的被摄体的视觉上的差异变小的方式选定所述摄像机的目标设置角度；所述摄像机参数生成装置的摄像机设置角度调整部，在以所述目标设置角度设置所述摄像机时，计算在被固定于所述监视区域的坐标系中预先设定有位置的记号被显示在所述摄像机的摄影图像中的位置、即图像上目标位置，按照以所述目标设置角度设置所述摄像机的方式来指导所述摄像机的设置角度的调整，使得所述记号被显示在所述摄影图像中的图像上记号与所述图像上目标位置一致。

关于其他解决手段，在本实施方式中也适当进行说明。

(发明效果)

根据本发明，操作人员能够通过较少的操作量以适当的角度设置监视摄像机。

附图说明

图1是表示实施方式涉及的摄像机参数生成装置、摄像机及电梯的图。

图2是表示第1实施方式涉及的摄像机参数生成装置的结构的框图。

图3是表示实施方式涉及的摄像机参数生成装置中的类型选择部的画面的一例的图。

图4是表示实施方式涉及的摄像机参数生成装置中的类型选择部的画面的一例的图。

图5是表示第1实施方式涉及的摄像机参数生成装置中的摄像机设置支援方法的顺序的流程图。

图6是表示实施方式涉及的摄像机参数及其状态的一例的图。

图7是用于说明在电梯的轿厢的纵深不同的情况下摄影图像中的人物的倾斜等不同的图，(a)是示意性表示纵深比(b)的电梯的纵深长的电梯内的图，(b)是示意性表示纵深比(a)的电梯的纵深短的电梯内的图。

图8是表示实施方式涉及的摄像机参数生成装置中的摄像机设置角度调整部的画面的一例的图。

图9是表示实施方式涉及的摄像机参数生成装置中的摄像机设置角度调整部的画面的一例的图，是表示在图像上目标位置处具有宽度的情况下的一例的图。

图10是表示第2实施方式涉及的摄像机参数生成装置的结构的框图。

图11是表示第2实施方式涉及的摄像机参数生成装置中的目标设置角度调整部的画面的一例的图。

图12是表示第2实施方式涉及的摄像机参数生成装置中的摄像机设置支援方法的顺序的流程图。

图13是表示第3实施方式涉及的摄像机参数生成装置的结构的框图。

图14是表示第3实施方式涉及的摄像机参数生成装置中的摄像机设置支援方法的顺序的流程图。

符号说明：

1   摄像机参数生成装置

1A  摄像机参数生成装置

1B  摄像机参数生成装置

2   类型选择部

3   轿厢尺寸DB

4   摄像机设定DB

5摄像机模型构筑部

6图像获取部

7摄像机设置角度调整部

8目标设置角度调整部

9摄像机模型更新部

10记号识别部

30参数存储部

34摄像机参数

35设置要件参数

36代表性参数

50记号

51轿厢(监视区域)

51i代表性类型的轿厢

52摄像机

52i代表性类型的摄像机

53门

60图像识别装置

70指导(guidance)画面

80指导画面

150图像上记号

151摄影图像

151a摄影图像

151b摄影图像

250重叠绘图

具体实施方式

(第1实施方式)

以下，参照图1～图9说明本发明的第1实施方式。此外，在各图中，对于共同的部分赋予同一符号，并省略重复的说明。

图1是表示实施方式涉及的摄像机参数生成装置(摄像机设置支援装置)1、监视摄像机52及电梯的图。

首先，说明概要。如图1所示，在电梯的轿厢51中设置监视摄像机(以下，适当称作“摄像机”)52。符号53表示电梯的门。摄像机参数生成装置1是便携终端，操作人员利用该装置来调整摄像机52的设置角度。此外，摄像机参数生成装置1能够由笔记本型PC(Personal Computer)、平板型PC、PDA(Personal DigitalAssistant)或便携式电话等实现。

在轿厢51中定义了被固定在轿厢51的XYZ坐标系。

摄像机52配备角度T和角度P这两个角度的角度调整机构。这种机构被称作平衡环(gimbal)机构，由于装置结构简单且廉价，因而作为摄像机的角度调整机构被广泛普及。此外，在摄像机52观看X轴方向时，角度T和角度P分别为0°。此时，角度P的旋转轴为Z轴，角度T的旋转轴为Y轴。点C是摄像机52的设置位置。

符号50是在摄像机52的设置角度的调整中用到的记号。记号50例如是轿厢51的箱底的一个角。记号50只要满足进入摄像机52的视野内的条件，可以是任意的。

[摄像机参数生成装置1的结构]

其次，参照图2说明摄像机参数生成装置1的结构。

图2是表示第1实施方式涉及的摄像机参数生成装置的结构的框图。

如图2所示，摄像机参数生成装置1具备：类型选择部2、轿厢尺寸DB3、摄像机设定DB4、摄像机模型构筑部5、图像获取部6、摄像机设置角度调整部7以及参数存储部30。

类型选择部2是读入轿厢51及摄像机52的类型的由操作人员选择的选择结果的部件，提供用于进行上述动作的用户接口。详细内容在后述的项目(类型选择部2的说明)中进行说明。

轿厢尺寸DB3是按类型保存预先设定的轿厢51的尺寸的数据库。轿厢尺寸DB3中的数据能够根据轿厢51的产品说明书来生成。

摄像机设定DB4是按类型保存与预先设定的摄像机52的摄像机参数相关的信息的数据库。摄像机参数是指光学参数、设置位置及设置角度。光学参数的数据能够根据摄像机52的产品说明书来生成。设置位置的数据能够根据摄像机52的设置基准来生成。

摄像机模型构筑部5根据从类型选择部2输入的轿厢51及摄像机52的类型来构筑最佳的摄像机模型，并选定用于设置摄像机52的目标设置角度。目标设置角度是指满足各种条件的设置角度，在操作人员在轿厢51中设置摄像机52时，应该以该设置角度进行设置。关于选定目标设置角度的方法，在后面叙述。

图像获取部6获取摄像机52的摄影图像。在摄像机参数生成装置1与摄像机52之间存在未图示的有线或无线的传输路径，这样摄像机参数生成装置1能够获取摄像机52的摄影图像。

摄像机设置角度调整部7提供用于指导摄像机52的设置角度调整的用户接口，以使操作人员以适当的角度设置摄像机52。详细内容在后面叙述。

在参数存储部30中保存了摄像机参数34、设置要件参数35及代表性参数36。

关于摄像机参数34，在后述的项目(摄像机参数34的说明)中进行说明。

设置要件参数35用于规定满足后述的条件(1)的参数的范围。此外，该设置要件参数35并非一定要保存在摄像机参数生成装置1中。

代表性参数36规定满足后述的条件(2)的参数的值。此外，该代表性参数36并非一定要保存在摄像机参数生成装置1中。

此外，在摄像机参数生成装置1中具备未图示的显示画面及输入装置。输入装置例如由键盘、鼠标、触摸板等接受来自操作人员的输入的装置构成。

图像识别装置60通过图像识别来掌握摄像机52拍摄到的摄影图像中的人物的存在、人数、人员流动。摄像机参数生成装置1的目的之一在于提高该图像识别装置60中的图像识别的精度。

(类型选择部2的说明)

图3是表示实施方式涉及的摄像机参数生成装置1中的类型选择部2的画面的一例20a的图。

符号111是选择轿厢51的类型的下拉菜单。若操作人员操作摄像机参数生成装置1从而选择下拉菜单111，则下拉菜单111输出轿厢51的类型的一览显示112。操作人员从该一览显示112中选择与当前的轿厢51对应的类型。

同样地，符号113是选择摄像机52的类型的下拉菜单。若操作人员操作摄像机参数生成装置1从而选择下拉菜单113，则下拉菜单113输出摄像机52的类型的一览显示114。操作人员从该一览显示114中选择与当前的摄像机52对应的类型。

轿厢51的类型唯一地确定轿厢51的高度、横宽及纵深。此外，轿厢51的高度、横宽及纵深分别为图1中的轿厢51的Z轴方向、X轴方向及Y轴方向的尺寸。

摄像机52的类型唯一地确定摄像机52的类型。被唯一确定的摄像机52的类型唯一地确定摄像机52的光学参数。光学参数是指焦点距离、透镜形变系数。另外，摄像机52的类型唯一地确定轿厢51中的摄像机52的设置位置。摄像机52的类型与摄像机52的设置位置之间的对应关系，通过预先设置摄像机52的设置基准而容易实现。

另外，图4是表示实施方式涉及的摄像机参数生成装置1中的类型选择部2的画面的一例20b的图。

如图4所示，在相对于轿厢51而摄像机52的设置位置被限定为一处或少数处、且安装于轿厢51中的摄像机52的类型被限定为一个或少数个的情况下，也可将轿厢51的类型与摄像机52的类型设为组。

相对于轿厢51而摄像机52的设置位置被限定为1处或少数处的情况是指，例如事前在轿厢51的框体上加工出用于在摄像机52的设置位置处固定摄像机52的夹具的安装用的孔的情况、在轿厢51上加工出用于接通与摄像机52相连的电源或影像布线的孔的情况等。

安装于轿厢51的摄像机52的类型被限定为1个或少数个的情况是指，例如相对于轿厢51的类型的规定范围的组而使所应用的摄像机52的类型及设置位置共通化的情况等。

另外，在相对于轿厢51的类型而唯一地确定摄像机52的类型的情况下，也可用轿厢51的类型来代表轿厢51的类型与摄像机52的类型的组。

此外，在图3及图4中，下拉菜单是用户接口的一例，也能够采取其他形式。例如，能够通过文本框、复选框或组合框来代替下拉菜单。

[摄像机设置支援方法]

其次，参照图5～图8(适当参照图2的结构)说明摄像机设置支援方法。

图5是表示第1实施方式涉及的摄像机参数生成装置1中的摄像机设置支援方法的顺序的流程图。此外，操作人员进行的动作由虚线示出。

如图5的流程图所示，在步骤S11中，操作人员选择轿厢51及摄像机52的类型。

在步骤S12中，类型选择部2读入作为操作人员的选择结果的轿厢51及摄像机52的类型。

在步骤S13中，摄像机模型构筑部5读入与轿厢51的类型相应的尺寸的数据。

在步骤S14中，摄像机模型构筑部5读入与摄像机52的类型相应的摄像机参数34的数据。

在步骤S15中，摄像机模型构筑部5利用所读入的数据来确定摄像机参数34中的设置角度以外的摄像机参数。

这里，对该步骤S15进行详细说明。

首先，对摄像机参数34进行说明。

(摄像机参数34的说明)

图6是表示实施方式涉及的摄像机参数34及其状态的一例的图。

如图6所示，摄像机参数34具备：作为光学参数的透镜形变系数k及焦点距离f、设置位置Xc、Yc、Zc以及设置角度P、T、R。

设置位置Xc、Yc、Zc是图1所示的点C的坐标。设置角度P、T是前述的角度P、T。设置角度R是在图1中未图示的摄像机52绕着光轴旋转的旋转角。

摄像机参数34是将射影变换的模型与放射失真的模型应用于摄像机52的摄影图像时的摄像机参数。关于射影变换的模型与放射失真的模型，在后面叙述。

摄像机参数34中，在步骤S15的时刻，设置角度P、T以外的摄像机参数被确定。若摄像机52为固定焦点，则透镜形变系数k及焦点距离f的光学参数根据摄像机52的类型而被唯一地确定。在摄像机52具有变焦机构而使焦点距离f可变的情况下，能够将摄像机52的变焦事前固定为规定值，作为固定焦点处理。

另外，设置位置Xc、Yc、Zc的几何参数根据摄像机52的类型被唯一地确定。由于摄像机52不具有角度R的角度调整机构，因而设置角度R在摄像机52固定在轿厢51中的时候被确定。由此，无论在怎样的当前的轿厢51中都使角度R以0°或规定的角度进行安装，角度R作为固定值进行处理。

使角度R以0°或规定的角度进行安装，例如能够使用使摄像机52的框体相对于轿厢51始终处于规定的角度的夹具进行安装来实现。此外，在摄像机52中具有角度R的调整机构的情况下，通过事前将角度R固定为规定的角度，由此将角度R作为固定值进行处理。

以上可知，在步骤S15中确定了摄像机参数34中的设置角度P、T以外的摄像机参数。

在步骤S16中，摄像机模型构筑部5选定摄像机52的目标设置角度。

这里，对该步骤S16进行详细说明。

将目标设置角度设为(Pt，Tt)。该目标设置角度(Pt，Tt)在满足如下条件(1)及条件(2)的范围内被选定。

(条件(1)的说明)

条件(1)是监视系统的操作员决定的摄像机52的设置要件，摄像机52以满足该设置要件的条件被安装。在本实施方式中，为使从摄像机52的跟前到门153a附近的人物的全身可靠地落入视野内，以轿厢51内的规定的对象物收纳在摄影图像中作为设置要件。例如，如图7(a)所示，以门153a作为人物的身高的基准，以门153a的上端收纳在摄影图像151a中作为设置要件。另外，也可将表示电梯的层数的指示器154a也收纳在摄影图像151a中作为设置要件。在图7(a)中，为了满足设置要件，摄像机52以门153a的上端距离摄影图像151a的上端稍微偏下的方式调整设置角度。此外，如果决定了轿厢51及摄像机52的类型，就可确定与设置要件相应的摄像机参数的范围。

(条件(2)的说明)

摄像机52拍摄到的图像被图像识别装置60(参照图2)处理，如本发明要解决的课题所述，当摄像机52的设置角度因轿厢51的不同而各不相同时，即便位于轿厢51内的人物的位置相同，由于摄影图像中的人物的角度或大小会因轿厢51的不同而不同，所以捕捉轿厢51内的人物的图像识别的精度会下降。即、当图像识别装置60所具有的模型与摄影图像中的人物的形状相背离时，图像识别的精度会下降。

因此，为使图像识别装置60所具有的模型中的人物与摄影图像中的人物的视觉差异尽可能小，以确定目标设置角度(Pt，Tt)作为条件(2)。

首先，参照图7(a)及图7(b)说明因轿厢51的不同而产生人物的视觉上的差异。

图7(a)表示代表性类型的轿厢51i(未图示)中的代表性类型的摄像机52i(未图示)的摄影图像151a。所谓代表性类型例如选择上市台数最多的类型或尺寸平均的类型即可，但是并不限于该例。在摄影图像151a中，符号153a如前述为门，符号154a为表示电梯的层数的指示器。另外，符号161a表示脚下的空间坐标为P1的人物，符号162a表示脚下的空间坐标为P2的人物。

图7(b)表示较之轿厢51i的尺寸而横宽和高度相同但纵深短的轿厢51中的摄像机52的摄影图像151b。在摄影图像151b中，符号153b为门，符号154b为电梯的指示器。符号161b表示脚下的空间坐标与人物161a相同为P1的人物，符号162b表示脚下的空间与人物162a相同为P2的人物。

另外，门153a与门153b在空间中的高度相同。为了满足设置要件，摄像机52以门153b的上端靠近摄影图像151b的上端的角度进行设置。

此时，由于图7(b)的轿厢51的纵深比图7(a)的轿厢51i的纵深短，因而图7(b)中的摄像机52的俯角Tb变得比图7(a)中的摄像机52i的俯角Ti大(接近向下)。若以该角度Tb设置摄像机52，虽然满足了设置要件，但是由于俯角Ti和俯角Tb的不同而产生脚下的空间坐标相同的人物161a和人物161b、以及人物162a和人物162b的角度、长度等视觉上的差异。

因此，摄像机模型构筑部5针对轿厢51的类型及摄像机52的类型，以既满足设置要件又使代表性类型的轿厢51i内的人物161a、162a等人物的视觉上的差异最小的方式，计算摄像机52的目标设置角度(Pt，Tt)。

视觉上的差异的基准可以通过以摄像机52的摄影图像151b为输入的图像识别的算法而任意确定。例如，在图像识别装置60中，在以摄像机52的摄影图像151b为输入进行异常举动的检测的情况下，由于受到图像识别装置60所具有的模型对应的摄影图像151a和所输入的摄影图像151b中的人物的角度的偏差的影响，因而也可将摄影图像151a和摄影图像151b中的人物的角度差设定为视觉上的差异的基准。另外，针对多个位置的人物，以差异的平均或最大值等统计量来输出评价值即可。

若将图7(a)的代表性设置角度设为(Pi，Ti)，则目标设置角度(Pt，Tt)在满足设置要件的范围内，以使Pt尽可能接近Pi、及使Tt尽可能接近Ti的方式选定。此外，代表性参数36(参照图2)是指(Pi，Ti)。

摄像机模型构筑部5中的视觉上的差异的计算，能够利用标准体型的人物的立体测量数据、或者近似标准体型的人物的椭圆体等形状模型及摄像机参数34，通过计算机图形来实现。标准体型的人物的立体测量数据能够通过使用激光距离测量仪等传感器来实现。

此外，摄像机模型构筑部5除了按现场进行目标设置角度(Pt，Tt)的选定之外，也可预先按轿厢51的类型及摄像机52的类型事前计算目标设置角度(Pt，Tt)，并根据步骤S11中的类型的选择结果而读入事前计算出的目标设置角度(Pt，Tt)。此时，设置要件参数35及代表性参数36并非一定要保存在摄像机参数生成装置1中。

以上，在步骤S16中，摄像机模型构筑部5选定摄像机52的目标设置角度(Pt，Tt)。

返回到图5继续进行说明。

在步骤S17中，摄像机设置角度调整部7计算图像上目标位置。

这里，对该步骤S17进行详细说明。

所谓图像上目标位置是在以目标设置角度(Pt，Tt)设置摄像机52时、在固定在轿厢51的坐标系中预先设定了位置的记号50(参照图1)被显示在摄像机52的摄影图像中的位置。设图像上目标位置为(um，vm)。

图8是表示摄像机参数生成装置1中的摄像机设置角度调整部7的画面的一例的图。

符号70为摄像机设置角度调整部7中的指导画面。符号150为空间中的记号50被显示在摄影图像151中的图像上记号。符号250为表示图像上目标位置(um，vm)的重叠绘图。符号120是接受摄像机设置角度调整部7中的角度调整完成的按钮。重叠绘图250以纵线和横线的交点表示图像上目标位置(um，vm)。

(图像上目标位置(um，vm)计算方法)

摄像机设置角度调整部7根据在步骤S15中确定的设置角度以外的摄像机参数和在步骤S16中选定的目标设置角度(Pt，Tt)，应用后述的射影变换的模型和放射失真的模型，将记号50的空间坐标M(Xm，Ym，Zm)(参照图1)变换为图像上目标位置(um，vm)。记号50的空间坐标M(Xm，Ym，Zm)由在步骤S13中读入的轿厢51的横宽和纵深来确定。然后，摄像机设置角度调整部7在图像上目标位置(um，vm)的位置处绘制重叠绘图250。

《射影变换的模型》

所谓射影变换是在没有透镜形变的情况下在摄影图像坐标(u，v)与空间坐标(X，Y，Z)之间将下述(1)式关联起来的模型。

[数学式1]

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathrm{hA}\left[\begin{array}{cc}{R}_m& -t\\ 0& 1\end{array}\right]\left[\begin{array}{c}X\\ Y\\ Z\\ 1\end{array}\right]$

…(1)式

这里，[u，v，1]^T为图像坐标(u，v)的齐次向量，[X，Y，Z，1]^T为空间坐标(X，Y，Z)的齐次向量，变量h为比例尺参数，矩阵A为摄像机52的内部矩阵，Rm为摄像机52的旋转矩阵，向量t为摄像机52的设置位置(Xc，Yc，Zc)。(1)式的矩阵A相对于摄像机52的光学参数的焦点距离f而由下述(2)式唯一地确定。

[数学式2]

$A=\left[\begin{array}{ccc}f& 0& 0\\ 0& f& 0\\ 0& 0& 1\end{array}\right]$

…(2)式

另外，矩阵Rm相对于摄像机52的设置角度(P，T，R)而由下述(3)式唯一地确定。

[数学式3]

$R_m=\left[\begin{array}{ccc}\cos P& \sin P& 0\\ -\sin P& \cos P& 0\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}\cos T& 0& \sin T\\ 0& 1& 0\\ -\sin T& 0& \cos T\end{array}\right]\left[\begin{array}{ccc}1& 0& 0\\ 0& \cos R& \sin R\\ 0& -\sin R& \cos R\end{array}\right]$

…(3)式

若以空间坐标(X，Y，Z)、摄像机52的设置角度(P，T，R)、摄像机52的设置位置(Xc，Yc，Zc)、焦点距离f的函数来表示(1)式的右边，则有如下(4)式的关系。

[数学式4]

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=h\left[\begin{array}{c}U(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)\\ V(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)\\ W(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)\end{array}\right]$

…(4)式

另外，根据(4)式的第3行的等号确定h值。此外，根据确定h值时的(4)式的第1行和第2行的比较，能够由下述(5)式计算图像坐标(u，v)。

[数学式5]

$\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{c}U(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)/W(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)\\ V(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)/W(X,Y,Z,P,T,R,\mathrm{Xc},\mathrm{Yc},\mathrm{Zc},f)\end{array}\right]$

…(5)式

《放射失真的模型》

所谓放射失真是用下述(6)式将没有透镜形变时的图像坐标(u，v)和有透镜形变时的图像坐标(u’，v’)之间对应起来的模型。这里，k为透镜形变系数。由于实际的摄像机52的摄影图像具有透镜形变，将针对空间坐标(X，Y，Z)通过(5)式求出的(u，v)利用(6)式变换后的(u’，v’)成为图像坐标。此外，在提供了具有透镜形变时的图像坐标(u’，v’)时，通过求解(6)式的逆问题，可唯一获得没有透镜形变时的图像坐标(u，v)。求解逆问题能够通过应用一般的非线性的联立方程式的解法来实现。

[数学式6]

$\left[\begin{array}{c}{u}^{\′}\\ v^{\′}\end{array}\right]=\left[\begin{array}{c}u(1+k(u^2+v^2))\\ v(1+k(u^2+v^2))\end{array}\right]$

…(6)式

此外，在以上的说明中，叙述了在透镜形变模型中应用了基于(6)式的放射失真的情况，但是终究只是一个例子，也可应用其他的透镜形变模型。在应用其他的透镜形变模型时，根据所应用的透镜形变模型来更新摄像机参数34及(6)式即可。另外，关于摄像机内部矩阵而言，(2)式终究也只是一例，也可以增加CCD(Charge Coupled Device)的形变等项。在由(2)式变更了摄像机内部矩阵的情况下，根据变更后的摄像机内部矩阵来更新摄像机参数34即可。其中，可知即便是如上述那样改变了透镜形变模型及摄像机内部矩阵时，也可在步骤S14中读入与摄像机52的类型相应的数据。

以上，在步骤S17中，摄像机设置角度调整部7算出图像上目标位置。

返回到图5继续进行说明。

在步骤S18中，操作人员使图像上记号150和图像上目标位置(um，vm)相一致。也就是说，操作人员在摄像机52的设置角度的调整中，一边观看指导画面70一边移动摄像机来调整摄像机52的设置角度，以使图像上记号150与重叠绘图250所示的图像上目标位置(um，vm)一致。

此外，在有多个操作人员的情况下，也可由多个操作人员分担摄像机52的设置角度的调整和指导画面72的观察。若操作人员判断出图像上记号150与图像上目标位置(um，vm)相一致，则按下按钮120来完成摄像机52的设置角度的调整。由此以满足条件(1)及条件(2)的设置角度P、T设置了摄像机52。

以上，结束摄像机设置支援方法。

此外，摄像机设置角度调整部7用十字线示出了重叠绘图250，但是也可用其他绘图进行代替。例如，圆形、四角形或三角形的图形也能代替重叠绘图250。

另外，如图9所示，摄像机设置角度调整部7也可作为图像上目标位置(um，vm)而设置规定宽度的容许误差，取代重叠绘图250而采用由重叠绘图251、252示出的目标区域(斜线部分)。目标区域是由左右两条纵线和上下两条横线包围的区域。或者，也可将图像上目标位置(um，vm)的容许误差只设置在纵向或横向的任意一个方向，在只有纵向或横向设置了容许误差的情况下，目标区域为线段。在图像上目标位置(um，vm)设置了容许误差的情况下，由于即便摄像机52的设置角度有少许偏差也是被容许的，所以操作人员进行设置角度的调整的作业的难易度得到了降低。

另外，摄像机模型构筑部5除了使视觉上的差异最小化之外，也可在视觉上的差异收纳于容许误差的范围内以图像上记号150尽可能位于摄影图像151的中央的方式确定摄像机52的设置角度。这种情况下，在不同尺寸的轿厢51的摄影图像151之间，图像上记号150的位置相互靠近，故具有观看指导画面70的眼睛出现统一感这样的优点。

此外，摄像机模型构筑部5也可输出选定了目标设置角度(Pt，Tt)的摄像机参数34。该摄像机参数34的输出目的地是在摄像机参数生成装置1内或摄像机参数生成装置1外的计算机内工作的图像识别单元。或者，该摄像机参数34的输出目的地是图像识别单元读入的数据文件。该摄像机参数34按图像识别算法进行参照，有助于图像识别精度的提高。例如，在非专利文献2的人物提取的技术中，图像中的每处场所的椭圆模型的倾斜或大小变得接近摄影图像151中的人物，故识别精度提高了。

此外，在以文件形式输出该摄像机参数34的情况下，除了直接输出该摄像机参数34的内容之外，还在图像识别单元一侧预先保持按轿厢51及摄像机52的类型赋予索引的目标设置角度(Pt，Tt)，摄像机模型构筑部5可以采用只输出索引信息的形式。

根据本实施方式，通过类型选择部2中的轿厢51及摄像机52的类型的选择和沿着摄像机设置角度调整部7的指导画面70的摄像机52的设置角度的调整这种的简单操作，即便在尺寸不同的轿厢51中，操作人员也能够以适合图像识别的角度来设置摄像机52。例如，在非专利文献1的异常举动的检测技术中，在不同尺寸的轿厢51之间，人物的局部性视觉变得彼此相近，故能够抑制识别精度的下降。

此外，摄像机参数生成装置1能够由搭载有省略了图示的CPU(Central Processing Unit)、存储器的一般计算机来实现。此时，摄像机参数生成装置1通过使计算机作为前述的各功能部发挥功能的摄像机参数生成程序来动作。另外，前述的各功能部也可由IC(Integrated Circuit)或LSI(Large Scale Integration)等硬件电路来实现。

(第2实施方式)

接下来，参照图10～图12对本发明的第2实施方式进行说明。

[摄像机参数生成装置1A的结构]

如图10所示，摄像机参数生成装置1A除了具备第1实施方式涉及的摄像机参数生成装置1的结构之外，还具备目标设置角度调整部8和摄像机模型更新部9。另外，对于与第1实施方式的结构相同的结构赋予同一符号，并省略重复的说明。

目标设置角度调整部8在摄像机设置角度调整部7指导了由操作人员进行的摄像机52的设置角度的调整之后，通过调整重叠绘图250来进行指导，以使图像上记号150与图像上目标位置(um，vm)之间的微小偏差一致、或使偏差减小。

摄像机模型更新部9根据调整后的重叠绘图250所示的图像上坐标(un，vn)来计算所对应的设置角度(Pn，Tn)，并更新摄像机参数34。

图11是表示摄像机参数生成装置1A中的目标设置角度调整部8的画面的一例的图。

符号80是目标设置角度调整部8中的指导画面。符号121为方向按钮。重叠绘图250所示的图像上坐标(十字的位置)稍微偏离图像上记号150。方向按钮121是用于调整重叠绘图250所示的图像上坐标的用户接口，操作人员通过输入方向按钮121的上下或左右，由此使得重叠绘图250所示的图像上坐标沿着上下或左右变化。

[摄像机设置支援方法]

其次，参照图12(适当参照图10的结构)对摄像机设置支援方法进行说明。

图12是表示第2实施方式涉及的摄像机参数生成装置1A中的摄像机设置支援方法的顺序的流程图。此外，由操作人员进行的动作用虚线示出。另外，由于步骤S11到步骤S18与第1实施方式相同，故省略说明。

但是，在步骤S18中，操作人员在摄像机52的设置角度的调整中，一边观看指导画面70(参照图8)一边移动摄像机来调整摄像机52的设置角度，以使图像上记号150与重叠绘图250所示的图像上目标位置(um，vm)一致。

可是，由于是人们手动地调整摄像机52的本体，故有时会产生微妙的偏差。

因此，如图12的流程图所示，在步骤S19a中操作人员移动重叠绘图250以使重叠绘图250所示的图像上坐标与图像上记号一致。

也就是说，如图11所示，操作人员在指导画面80中以使重叠绘图250所示的图像上坐标与图像上记号150相一致的方式操作方向按钮121在画面上进行调整。若操作人员判断出重叠绘图250所示的图像上坐标与图像上记号150一致，则按下完成按钮122。目标设置角度调整部8在操作人员按下了完成按钮122时，保持调整后的重叠绘图250所示的图像上坐标(un，vn)。

在步骤S20中，摄像机模型更新部9更新摄像机参数34。这里，对步骤S20进行详细说明。

摄像机模型更新部9计算与调整后的重叠绘图250所示的图像上坐标(un，vn)相应的摄像机52的设置角度(Pn，Tn)。

首先，若忽略透镜形变，则在(5)式中由于Xc、Yc、Zc、R、f已知，故(5)式的未知数为2个、约束条件为2个，相对于图像上坐标(un，vn)而设置角度(Pn，Tn)被唯一地确定。

在(5)式中，针对所提供的图像上坐标(un，vn)来计算设置角度(Pn，Tn)，通过一般的非线性的联立方程式的解法能够容易实现。摄像机模型更新部9以计算出的设置角度(Pn，Tn)来更新摄像机模型构筑部5的摄像机52的摄像机参数34。

在无法忽略透镜形变的情况下，求解(6)式的逆问题，若根据实际的摄影图像上的有透镜形变的图像上坐标(un’，vn’)求出没有透镜形变的图像上坐标(un，vn)，则能够以与上述相同的顺序计算设置角度(Pn，Tn)。

此外，摄像机模型更新部9也可输出更新后的摄像机参数34。摄像机模型更新部9输出的更新后的摄像机参数34的输出目的地及输出内容与第1实施方式中的摄像机参数34相同。

根据本实施方式，即便在操作人员设置的摄像机52的设置角度中有少许偏差，操作人员通过利用方向按钮121在画面上调整重叠绘图250所示的图像上坐标，也能正确地求出摄像机52的摄像机参数34。

(第3实施方式)

接下来，参照图13及图14对本发明的第3实施方式进行说明。

[摄像机参数生成装置1B的结构]

如图13所示，摄像机参数生成装置1B取代第2实施方式涉及的摄像机参数生成装置1A的结构中的目标设置角度调整部8，而具备记号识别部10。此外，关于与第2实施方式的结构相同的结构赋予同一符号，并省略重复的说明。

若概略说明，摄像机参数生成装置1B自动地进行如下动作，即：在第2实施方式的目标设置角度调整部8中操作人员手动地在画面上调整重叠绘图250所示的图像上坐标。

记号识别部10通过图像识别来提取图像上记号150的图像上坐标，以使重叠绘图250所示的图像上坐标与图像上记号150的图像上坐标一致地设定。提取图像上记号150的图像上坐标的图像识别，例如能够以霍夫变换等提取轿厢51的壁与壁、壁与箱底的边界线并求出其交点的方法来实现，但是并不限定于此。

[摄像机设置支援方法]

其次，参照图14(适当参照图13的结构)对摄像机设置支援方法进行说明。

图14是表示第3实施方式涉及的摄像机参数生成装置1B中的摄像机设置支援方法的顺序的流程图。此外，由于步骤S11到步骤S18、以及步骤S20与第2实施方式相同，故省略说明。

在步骤S18中，操作人员在摄像机52的设置角度的调整中，一边观看指导画面70(参照图8)一边调整摄像机52的设置角度，以使图像上记号150和重叠绘图250所示的图像上目标位置(um，vm)一致。

如图14的流程图所示，在步骤S19b中，记号识别部10通过图像识别来提取图像上记号150的图像上坐标，使重叠绘图250所示的图像上坐标与图像上记号150的图像上坐标自动一致地进行设定。

由此，自动地求出调整后的重叠绘图250所示的图像上坐标(un，vn)，求出所对应的设置角度(Pn，Tn)。之后与第2实施方式相同。

根据本实施方式，由于不需要由目标设置角度调整部8调整重叠绘图250所示的图像上坐标的作业，故能够削减操作人员的作业。

(变形例)

以上，虽然对本发明的实施方式进行了说明，但是本发明并不限定于此，在不脱离本发明主旨的范围内例如能够如下进行变更。

虽然记号50设定为箱底的角，但是记号50也可以变更为箱底的角以外、可在被固定于轿厢51的坐标系中能确定位置的记号。例如，能够将电梯的指示器或门的角设为记号50。

另外，虽然将记号50的个数设为一个，但是也可以设为两个以上的多个。若将空间中的记号50设定为多个，则摄影图像151中的图像上记号150也变为多个，指导画面70、80的重叠绘图250的绘制个数与图像上记号150的个数相应。另外，在指导画面80中，方向按钮121也相应增加与重叠绘图250相同个数。或者，也可在指导画面80中具备用于选择由方向按钮121调整的图像上记号150的个数的菜单。

在将记号50设为两个以上的多个的情况下，对于各点，由于(5)式成立以及(5)式具有2个约束式，故4个以上的约束式成立。这里，由于摄像机设置角度调整部7中的未知数为设置角度P和设置角度T这两个，故利用最小二乘法能够提高设置角度P和设置角度T的精度。另外，由于约束式的个数超过3个，因而也可在由摄像机设置角度调整部7调整的摄像机参数、或由摄像机模型更新部9更新的摄像机参数中增加设置角度R，使得未知数的个数变为3个。也就是说，若有两个记号，则也能够调整光轴方向，除了设置角度P和设置角度T之外，也能对设置角度R进行目标设定。

另外，除了设置角度R以外，也可在未知数的个数未超过约束式的条件下由摄像机模型更新部9更新焦点距离f等一个以上的参数。也就是说，若将焦点距离f设为未知数，则摄像机52的变焦也可进行目标设定。

另外，摄像机设置支援方法并不限于电梯内的摄像机的设置，能够广泛应用于满足以类型管理监视区域的尺寸、以及以类型管理摄像机的装置和设置位置的条件的系统。例如，在小型零售店的店铺中，以类型管理承租方的尺寸、摄像机的位置及设置位置，若以收银员或门为记号，则能应用本发明。

在本发明的实施方式中，流程图的步骤示出了按照记载的顺序在时间序列上进行的处理的例子，但是并不限于沿着时间序列进行处理，也包括并行执行或单独执行的处理。

另外，通过适当地组合上述实施方式记载的多个构成要素，能够形成各种发明。例如，也可从实施方式所述的所有构成要素中删除几个构成要素。而且，也可适当组合不同实施方式涉及的构成要素。

Claims (9)

1.一种摄像机设置支援方法，是在摄像机设置支援装置中的摄像机设置支援方法，该摄像机设置支援装置在对监视区域进行监视的监视系统中生成在所述监视区域中设置的摄像机的摄像机参数，该摄像机设置支援方法的特征在于，

所述摄像机设置支援装置的摄像机模型构筑部，按照满足被赋予的条件的同时在尺寸不同的所述监视区域之间使所述监视区域内的被摄体的视觉上的差异变小的方式来选定所述摄像机的目标设置角度，

所述摄像机设置支援装置的摄像机设置角度调整部，计算图像上目标位置，该图像上目标位置是被固定于所述监视区域的坐标系中预先设定了位置的记号在以所述目标设置角度设置所述摄像机时被显示在所述摄像机的摄影图像中的位置，按照以所述目标设置角度设置所述摄像机的方式来指导所述摄像机的设置角度的调整，使得所述记号被显示在所述摄影图像中的图像上记号与所述图像上目标位置一致。

2.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述摄像机设置支援装置的类型选择部，读入所述摄像机及所述监视区域的类型，

所述摄像机模型构筑部，在所述目标设置角度的选定中利用所述摄像机的类型来确定所述摄像机参数中的设置角度以外的摄像机参数，

所述摄像机设置角度调整部在所述图像上目标位置的计算中利用所述监视区域的类型。

3.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述摄像机模型构筑部，选定与代表性参数相近的所述目标设置角度，该代表性参数是代表性类型的所述监视区域中的代表性类型的所述摄像机的代表性参数。

4.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述被赋予的条件，包括所述监视区域内的规定的对象物收纳在所述摄像机的摄影图像中。

5.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述被赋予的条件，包括在对所述摄像机的摄影图像进行图像识别的图像识别装置中所述图像识别装置具有的模型中的人物与所述摄像机的摄影图像中的人物的视觉上的差异尽可能小。

6.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述摄像机设置支援装置的目标设置角度调整部，在所述摄影图像中按照使所述图像上目标位置与所述图像上记号一致的方式移动所述图像上目标位置，来指导所述目标设置角度的调整，

所述摄像机设置支援装置的摄像机模型更新部，根据调整后的所述图像上目标位置来计算调整后的所述摄像机的设置角度，将所述摄像机参数的设置角度更新为调整后的所述摄像机的设置角度。

7.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述摄像机设置支援装置的记号识别部，通过图像识别来检测所述图像上记号，在所述摄影图像中将所述图像上目标位置设定为与所述图像上记号的位置一致，

所述摄像机设置支援装置的摄像机模型更新部，根据设定为与所述图像上记号的位置一致之后的所述图像上目标位置来计算调整后的所述摄像机的设置角度，将所述摄像机参数的设置角度更新为调整后的所述摄像机的设置角度。

8.根据权利要求1所述的摄像机设置支援方法，其特征在于，

所述监视区域是电梯的轿厢内。

9.一种图像识别方法，是图像识别装置的图像识别方法，该图像识别装置在对监视区域进行监视的监视系统中识别并处理在所述监视区域中设置的摄像机的摄影图像，该图像识别方法的特征在于，

利用由权利要求1至8任意一项所述的摄像机设置支援方法生成的摄像机参数来进行图像识别。

Images