CN107615334B - 物体识别装置以及物体识别系统 - Google Patents

Abstract

物体识别装置具备识别部、识别可靠性计算部以及结合部。识别部根据多个测量装置测量物体而得到的信息利用多个功能来识别物体。识别可靠性计算部针对每个功能计算识别部识别物体的识别结果的识别可靠性。结合部结合物体的识别可靠性以及识别结果，检测特定物体，输出特定物体的检测结果。

Description

物体识别装置以及物体识别系统

技术领域

本发明涉及例如根据测量装置测量的信息识别特定物体的物体识别装置以及物体识别系统。

背景技术

近年来，对根据测量装置测量出的信息来检测物体的物体识别技术的需求升高。这样的测量装置例如搭载于汽车而被用于自动识别在汽车的行驶方向上存在的物体(行人等)。

作为测量装置，多灵活使用监视照相机、距离传感器、激光雷达、红外线标签等。另外，如果能够不耗费用于新设测量装置的导入成本且利用既有的测量装置，则能够抑制成本而导入物体识别技术。因此，正在推进将既有的监视照相机用作测量装置并根据从监视照相机获取到的图像检测物体的技术开发。另外，作为从图像中识别物体的技术，例如一般使用将想识别的物体的大量的采样数据(采样图像)预先保存到数据库来检索在图像中是否存在与采样数据类似的部分的方法。

但是，该方法在由于照明条件等而物体的观察方法与采样数据大幅不同的情况下难以识别物体。因此，通过利用多个照相机对物体进行拍摄并测量物体的三维形状来高精度地识别物体的技术引起关注。作为这样的技术，可以举出例如使用立体照相机的物体识别技术。在该技术中，首先通过使用比较立体照相机拍摄到的左右一对照相机图像而计算出的视差，关于图像的各像素计算从立体照相机至物体的在实际空间中的距离。然后，使用根据计算出的距离信息测量出的物体的三维信息从图像内识别物体。

作为使用立体照相机的物体识别技术，例如可以举出专利文献1。该专利文献1公开了“根据立体照相机的视差信息识别比规定距离近的障碍物，使用模式识别识别比规定距离远的障碍物”。

现有技术文献

专利文献1：日本特开2013-161187号公报

发明内容

专利文献1公开的技术是使用车载用的立体照相机在物体远离照相机且在正前方拍摄物体的情况下有效的技术。但是，在将立体照相机设置于商业设施、大厦等的情况下，照相机的设置位置、角度针对每个场所而不同。根据照相机的设置环境，物体接近照相机或者物体的形状大幅变化的可能性变高。在物体和照相机的距离过近时，通过专利文献1公开的技术完全无法计算视差，所以根据三维信息识别不出物体、或者由于物体的形状变化而即使使用模式匹配也检测不出物体。

本发明是鉴于这样的情形而完成的，其目的在于无论测量装置的设置环境、物体的位置如何都高精度地检测特定物体。

本发明的物体识别装置具备识别部、识别可靠性计算部以及结合部。

识别部根据测量装置测量物体而得到的信息利用多个方法来识别物体。识别可靠性计算部针对每个方法计算识别部识别物体的识别结果的识别可靠性。结合部结合物体的识别可靠性以及识别结果，检测特定物体，输出特定物体的检测结果。

根据本发明，能够结合利用多个方法识别物体时的物体的识别可靠性以及识别结果而高精度地检测特定物体。

上述以外的课题、结构以及效果通过以下实施方式例的说明将更加明确。

附图说明

图1是示出本发明的第一实施方式例的物体识别系统的内部结构例的框图。

图2是本发明的第一实施方式例的计算机的硬件结构图。

图3是示出本发明的第一实施方式例的拍摄图像识别部从拍摄图像中检测人物的处理的一个例子的流程图。

图4A～图4D是示出本发明的第一实施方式例的三维识别部从视差图像中检测人物的处理的一个例子的说明图。

图5是示出本发明的第一实施方式例的识别可靠性计算部的内部结构例的框图。

图6是示出本发明的第一实施方式例的图像信息获取部获取的拍摄图像和视差图像的一个例子的说明图。

图7是示出本发明的第一实施方式例的照相机信息获取部从数据库获取的照相机信息的一个例子的说明图。

图8是示出本发明的第一实施方式例的照相机信息、被分割为三个区块的拍摄范围以及各区块的识别可靠性的矩阵数据的第一示例的说明图。

图9是示出本发明的第一实施方式例的被分割为四个区块的拍摄范围以及各区块的识别可靠性的矩阵数据的第二示例的说明图。

图10是示出本发明的第一实施方式例的识别可靠性决定部将拍摄范围分割为多个区块来用于最终决定各区块的识别可靠性的GUI的一个例子的说明图。

图11是示出本发明的第一实施方式例的将图像识别的识别可靠性和三维识别的识别可靠性结合而得到的识别总计值的显示例的说明图。

图12是示出本发明的第二实施方式例的物体识别系统的内部结构例的框图。

图13是示出本发明的第二实施方式例的识别功能调整部的内部结构例的框图。

图14是示出本发明的第三实施方式例的物体识别系统的内部结构例的框图。

(符号说明)

1：物体识别装置；2：照相机；3：图像获取部；4：距离计算部；5：拍摄图像识别部；6：三维识别部；7：识别可靠性计算部；8：识别结果结合部；9：数据库；10：物体识别系统；11：显示部；12：操作部。

具体实施方式

以下，说明用于实施本发明的实施方式例。在本说明书以及附图中，对实质上具有相同的功能或者结构的构成要素附加同一符号，从而省略重复的说明。

[1.第一实施方式例]

图1是示出本发明的第一实施方式例的物体识别系统的结构例的框图。

图1所示的物体识别系统10具备两台照相机2、物体识别装置1、数据库9、显示部11、操作部12。

物体识别装置1具备图像获取部3、距离计算部4、拍摄图像识别部5、三维识别部6、识别可靠性计算部7、识别结果结合部8。物体识别装置1对被用作立体照相机的邻接的两台照相机2(测量装置的一个例子)拍摄到的图像内的物体进行识别，从该物体中检测特定物体。本实施方式例的物体识别装置1虽然将作为检测对象的特定物体设为人物，但也可以将车辆等其它物体作为检测对象。

照相机2对将以预定的时间周期获取到的可见光经由CCD(Charge CoupledDevice，电荷耦合器件)成像器、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)元件变换而得到的电信号进行数字变换，生成数字图像数据。

图像获取部3从两台照相机2获取数字图像数据。在以下说明中，将图像获取部3从照相机2获取的数字图像数据称为“拍摄图像”。拍摄图像被用作照相机2测量物体而得到的信息的一个例子。

距离计算部4关于拍摄图像内的各像素计算从照相机2至观察的物体的在实际空间中的距离。例如，距离计算部4根据从图像获取部3输出的两台照相机2的拍摄图像和在各照相机2中预先通过公知的校准技术推测出的照相机参数，计算从照相机2至拍摄图像内的物体的距离。作为距离的计算方法，例如使用利用根据照相机参数求出的基础矩阵来计算视差的被称为立体匹配(stereo matching)的普遍的方法。然后，距离计算部4将视差图像输出到三维识别部6和识别可靠性计算部7，该视差图像是在从两台照相机2分别获取到的拍摄图像中包含针对每个物体计算出的从照相机2至观察的物体的距离作为距离信息的图像。该视差图像也被用作照相机2测量物体而得到的信息的一个例子。

拍摄图像识别部5(识别部的一个例子)根据两台照相机2中的任意的照相机2拍摄到的拍摄图像来识别物体。通过后述图3详细说明拍摄图像识别部5进行的处理。在以下说明中，将拍摄图像识别部5识别物体的物体识别功能还称为“图像识别”。

三维识别部6(识别部的一个例子)根据在视差图像中包含的距离信息来识别物体。通过后述图4A～图4D详细说明三维识别部6进行的处理。在以下说明中，将三维识别部6识别物体的物体识别功能还称为“三维识别”。

识别可靠性计算部7根据照相机2的照相机信息以及照相机2的设置环境，针对每个物体识别功能计算图像识别的可靠性和三维识别的识别可靠性。另外，识别可靠性计算部7还能够根据从数据库9获取到的用户使用操作部12变更后的照相机信息、分割方法以及识别可靠性针对每个区块计算识别可靠性。

照相机信息是指包括照相机2的设置环境、内部信息中的任意一个以上的信息。照相机信息也可以包括拍摄范围、从照相机2至物体的距离。识别可靠性是表示拍摄图像识别部5和三维识别部6根据各自的物体识别功能识别特定物体的识别结果的可靠性的值，识别可靠性越高，识别结果就越容易在显示于显示部11的特定物体的检测结果中被反映出来。通过后述图5、图6详细说明识别可靠性计算部7进行的处理。

识别结果结合部8(结合部的一个例子)结合拍摄图像识别部5、三维识别部6各自识别物体的物体识别功能的识别可靠性、拍摄图像识别部5的识别结果以及三维识别部6的识别结果，检测特定物体。另外，识别结果结合部8将特定物体的检测结果输出到显示部11。

数据库9记录有图像获取部3读出的照相机参数、模式图像、每个照相机2固有的照相机信息、拍摄范围的分割方法、识别可靠性的矩阵数据等，这些信息从物体识别装置1的各部分随时被读出。另外，数据库9记录物体识别装置1的检测结果。

显示部11显示由识别结果结合部8检测出的特定物体的检测结果。通过后述图10、图11详细说明显示部11显示的识别结果。显示部11例如是液晶显示器监视器，经由GUI(Graphical User Interface，图形用户界面)显示处理的结果等。

操作部12被用于用户对物体识别装置1进行预定的操作输入、指示。作为该操作部12，例如使用键盘、鼠标等。能够通过经由显示部11所显示的GUI的来自操作部12的用户的输入来变更照相机信息、分割方法以及识别可靠性。变更后的照相机信息、分割方法以及识别可靠性被记录到数据库9。

<计算机的硬件结构例>

接下来，说明构成物体识别装置1的计算机C的硬件结构。

图2是示出计算机C的硬件结构例的框图。

计算机C是被用作所谓电脑的硬件。计算机C具备与总线C4分别连接的CPU(Central Processing Unit：中央处理单元)C1、ROM(Read Only Memory，只读存储器)C2、RAM(Random Access Memory，随机存取存储器)C3、非易失性存储器C5、网络接口C6。

CPU C1从ROM C2读出实现本实施方式例的各功能的软件的程序代码而执行。RAMC3临时地被写入在运算处理的过程中产生的变量、参数等。

作为非易失性存储器C5，例如使用HDD(Hard disk drive，硬盘驱动器)、SSD(Solid State Drive，固态硬盘)、软盘、光盘、光磁盘、CD-ROM、CD-R、磁带、非易失性的存储卡等。该非易失性存储器C5除了记录有OS(Operating System，操作系统)、各种参数以外，还记录有用于使计算机C发挥功能的程序。作为网络接口C6，例如使用NIC(NetworkInterface Card，网络接口卡)等，能够经由连接端子的LAN(Local Area Network，局域网)、专用线等发送接收各种数据。

此外，虽然物体识别装置1通过计算机C来实现其功能，但也可以通过照相机2自身由计算机C构成来实现物体识别装置1的功能。

图3示出拍摄图像识别部5从拍摄图像中检测人物的处理的一个例子。

首先，拍摄图像识别部5根据从数据库9读出的人物的采样数据(采样图像)，学习颜色、形状这样的二维的拍摄图像中的特征性的模式(例如人物的头部和肩的轮廓)，生成模式识别器(S1)。接下来，拍摄图像识别部5利用检测窗(例如比拍摄图像小的矩形区域)网罗式地对拍摄图像内进行扫描，从拍摄图像抽出局部的特征部分(S2)。

接下来，拍摄图像识别部5使用在步骤S1中生成的模式识别器计算从拍摄图像抽出的局部的特征部分与模式识别器的图像特征的一致程度(识别结果的一个例子)(S3)，将计算出的一致程度输出到识别结果结合部8。拍摄图像识别部5能够在通过步骤S3计算出的图像特征的一致程度为规定值以上时判定为在图像内拍摄有人物，在一致程度小于规定值时判定为在图像内未拍摄有人物。

此外，上述拍摄图像识别部5执行的图像识别方法是应用普遍的学习型物体识别技术的方法，除了该方法以外，只要是能够从拍摄图像中检测人物的方法，则没有特别限定。

图4A～图4D示出三维识别部6从视差图像中检测人物的处理的一个例子。

图4A示出视差图像22的例子。

在视差图像22中针对每个像素包含从照相机2至拍摄在图像内的各物体的距离值。例如，在视差图像22中拍摄有作为检测对象的人物20a～20c、作为非检测对象的建筑物21。然后，三维识别部6进行从视差图像22中识别作为检测对象的人物20a～20c的处理。

图4B示出三维识别部6进行的处理的概要。

三维识别部6通过背景差分处理抽出人物20a～20c的区域。在此，三维识别部6从数据库9读出预先获取到的背景视差图像23。在该背景视差图像23中仅存在建筑物21。因此，三维识别部6通过取存在人物的视差图像22与背景视差图像23的差分，能够制作包含存在人物的人物区域的视差图像24。根据包括x(视差图像24中的x方向上的位置)、y(视差图像24中的y方向上的位置)、L(从照相机2至物体的纵深的距离)的图像坐标来确定视差图像24内的人物20a～20c在视差图像24中的位置。

图4C示出第一视点变换处理的例子。

三维识别部6通过进行第一视点变换处理从人物区域获取被区分的各人物的三维信息。

图4C示出根据视差图像24的图像坐标和距离信息推测出的斜视人物而得到的三维信息25，并且示出从正上方的视点观察三维信息25而得到的俯视图像26。使用利用照相机参数的透视投影这样的普遍的方法，根据三维信息25制作俯视图像26。此外，俯视图像26的左下方示出用于确定人物20a～20c的三维信息模板t1。通过三维识别部6从数据库9读出三维信息模板t1。

三维识别部6例如通过沿俯视图像26内的箭头所示的方向网罗式地扫描三维信息模板t1，将与三维信息模板t1一致的图像确定为人物20a～20c。然后，三维识别部6计算在俯视图像26内三维信息模板t1与拍摄于俯视图像26的人物的三维信息的一致程度(识别结果的一个例子)，将计算出的一致程度输出到识别结果结合部8。此时，三维识别部6能够在一致程度为规定值以上时判定为在俯视图像26内拍摄有人物，在一致程度小于规定值时判定为在俯视图像26内未拍摄有人物。

图4D示出第二视点变换处理的例子。

三维识别部6也能够并非根据图4C所示的物整体的三维信息25制作俯视图像26，而是如图4D所示地制作斜视从人物区域抽出的人物的仅头部而得到的三维信息27，根据该三维信息27制作俯视图像28。通过这样的处理，与根据人物整体的三维信息生成的俯视图像26相比，三维识别部6能够容易地将人物彼此分割。

然后，与第一视点变换处理同样地，三维识别部6计算从数据库9读出的头部的三维信息模板t2与各人物的头部的一致程度，将该计算出的一致程度输出到识别结果结合部8。另外，在人物彼此密集的场景下三维识别部6也能够高精度地检测人物。

此外，作为从人物区域抽出仅头部的三维信息27的方法，有将从平面起一定以上的高度往上的三维信息检测为头部的方法。除此之外只要是能够抽出头部附近的区域的方法，则没有特别限定。

另外，除了上述方法以外，三维识别部6还能够使用能够根据三维信息检测人物的方法。例如，三维识别部6也可以使用不仅利用三维信息而且还并用图像特征来检测人物的方法。另外，三维识别部6也可以与拍摄图像识别部5同样地使用如下方法：根据从数据库9读出的作为采样数据的人物的三维信息制作模式识别器，计算获取到的三维信息与采样数据的一致程度，由此检测人物。

图5是示出识别可靠性计算部7的内部结构例的框图。

图5所示的识别可靠性计算部7根据从数据库9读出的照相机信息，针对分割拍摄图像的拍摄范围而得到的每个区块，计算拍摄图像识别部5识别的物体的识别可靠性和三维识别部6识别的物体的识别可靠性。

识别可靠性计算部7具备图像信息获取部7a、照相机信息获取部7b、区块信息获取部7c、识别可靠性决定部7d。

图像信息获取部7a从图像获取部3获取拍摄图像，从距离计算部4获取视差图像，向识别可靠性决定部7d输出拍摄图像以及视差图像。

照相机信息获取部7b(测量装置信息获取部的一个例子)从数据库9获取包括照相机2的设置角度、焦距等的照相机信息(测量装置信息的一个例子)。然后，照相机信息获取部7b将获取到的照相机信息输出到识别可靠性决定部7d。

区块信息获取部7c针对每个区块从数据库9获取与照相机信息对应的拍摄范围的分割方法以及识别可靠性的矩阵数据，向识别可靠性决定部7d输出拍摄范围的分割方法以及识别可靠性的矩阵数据。

识别可靠性决定部7d根据拍摄图像以及视差图像、照相机信息、拍摄范围的分割方法以及识别可靠性矩阵数据，将照相机2的拍摄范围分割为预定的位置、大小的区块。然后，识别可靠性决定部7d针对分割出的每个区块决定拍摄图像的识别可靠性和视差图像的识别可靠性，将决定的每个区块的识别可靠性输出到识别结果结合部8。

图6示出图像信息获取部7a获取的拍摄图像30和视差图像31的一个例子。

在拍摄图像30中，作为物体的一个例子，拍摄有人物32a～32c、镜33、墙34。另一方面，在视差图像31中，作为物体的一个例子，拍摄有人物32a～32c、墙34，但未拍摄有镜33。这起因于拍摄图像30和视差图像31的性质的差异。在视差图像31中，在以照相机2为基准时存在于远方的物体间的边界的亮度值之差变少。但是，在拍摄图像30中，即使是存在于远方的物体间的边界，亮度值之差也不变。因此，在拍摄图像30中能够区分镜33和墙34，但在视差图像31中无法区分镜33和墙34。

图7示出照相机信息获取部7b从数据库9获取的照相机信息的一个例子。

照相机信息被分成照相机2的内部信息和照相机2的设置环境这两个。在将两台照相机2用作立体照相机的情况下，照相机2的内部信息除了包括分辨率、焦距、镜头失真、偏斜等内部参数以外，还包括左右照相机2之间的基线长度等。照相机2的设置环境包括照相机2的设置角度(摇动角、倾斜角、滚转角)、照相机2的设置位置(X位置、Y位置、Z位置)等外部参数。

此外，即使是图7所示的信息以外的照相机信息，只要是对图像内的物体的形状、观察方法的变化带来影响的信息，照相机信息获取部7b就可以获取。另外，照相机信息获取部7b也可以获取用户利用GUI等手动指示的照相机信息、获取使用拍摄图像、视差图像的校准技术等推测出的照相机信息。

图8示出照相机信息、被分割为三个区块的拍摄范围以及各区块的识别可靠性的矩阵数据的第一示例。

在区块信息获取部7c获取的照相机信息40中储存有与图7所示的信息同样的照相机信息。另外，在分割方法41中，示出了如何与照相机信息40对应地分割拍摄范围。示出了利用分割方法41将拍摄范围三分割为第一区块～第三区块。一览表所示的矩阵数据42针对第一区块～第三区块中的每个区块示出了图像识别的可靠性和三维识别的可靠性。

有时通过用于图像识别和三维识别的算法来变更拍摄范围的分割方法41以及识别可靠性的矩阵数据42。例如，在使用人整体的模板的物体识别功能中，在未拍摄到全身的区块、由于镜头失真等而形状大幅变化的图像的左右端的区块中识别可靠性接近“0”，但拍摄到全身的图像中心以及远方部分的识别可靠性高。另一方面，在使用人体的一部分的模板的图像识别中，能够在整个拍摄范围的区块中进行人物的检测，但如果与使用人整体的模板的图像识别相比则识别可靠性降低。因此，根据使用什么样的模板来进行图像识别，适当分割拍摄范围，改变矩阵数据42的内容。

另外，关于识别可靠性的矩阵数据，也可以不一定像矩阵数据42那样将两个物体识别功能的识别可靠性的合计值设为“100”，该值不限定于“0”～“100”的范围。例如，在识别可靠性极高的情况下，也可以将两个物体识别功能的识别可靠性的合计值设为“200”等值。此外，根据拍摄范围，也可以将两个物体识别技术中的一方的物体识别技术的识别可靠性设为“0”，从而使用一个物体识别技术。

图9示出被分割为四个区块的拍摄范围以及各区块的识别可靠性的矩阵数据的第二示例。在图9中省略照相机信息40的记载。

区块信息获取部7c获取的拍摄范围的分割方法43根据与照相机2相距的距离将拍摄范围四分割为第一区块～第四区块。矩阵数据44针对第一区块～第四区块中的每个区块，示出图像识别和三维识别的识别可靠性。也可以根据利用视差图像获取到的与照相机2相距的距离信息来变更拍摄范围的分割方法43以及识别可靠性的矩阵数据44。

此外，拍摄范围的分割方法不限定于如图8和图9所示仅在纵向上分割，也可以使用将拍摄范围横向分割或者圆状分割的方法。另外，根据照相机信息，并非一定对拍摄范围进行分割，也可以将整个拍摄范围作为一个区块。

图10是识别可靠性决定部7d将拍摄范围分割为多个区块来用于最终决定各区块的识别可靠性的GUI的一个例子。图10所示的整体画面50a、50b显示于显示部11。

识别可靠性决定部7d将从照相机信息获取部7b获取到的照相机信息和从区块信息获取部7c获取到的拍摄范围的分割方法以及识别可靠性的矩阵数据对应起来，将其结果作为整体画面50a显示于显示部11。

整体画面50a除了显示识别可靠性决定部7d根据拍摄范围的分割方法分割成第一区块～第三区块的拍摄图像51a以外，还显示矩阵数据52a、照相机信息53、视差图像54。

拍摄图像51a是图像信息获取部7a获取到的图像，与图6所示的拍摄图像30相同。

矩阵数据52a是如图8和图9所示针对分割出的每个区块示出物体识别功能的识别可靠性的信息。

照相机信息53是照相机信息获取部7b获取到的信息，是与图7所示的照相机信息相同的内容。

视差图像54是图像信息获取部7a获取到的图像，与图6所示的视差图像31相同。

用户目视拍摄图像51a的整体，确认通过分割方法41如何分割了拍摄图像51a的拍摄范围。然后，用户根据拍摄图像的内容使用操作部12来修正拍摄范围的分割方法和每个区块的识别可靠性。整体画面50b示出用户修正了拍摄范围的分割方法和矩阵数据52a的例子。

在此，如整体画面50a所示，在图像信息获取部7a获取到的拍摄图像51a内除了人物以外还存在镜33。三维识别部6根据如图6所示镜33和墙34未被区分的视差图像54来识别物体，所以检测到在镜33中映出的人物的可能性低。但是，拍摄图像识别部5根据拍摄图像51a中的图像的特征来识别物体，所以误检测出在镜33中映出的人物的可能性高。

因此，用户经由GUI从操作部12进行输入，制作从拍摄图像51a分割出包围镜33的新的区块(第四区块)的拍摄图像51b。然后，用户将被追加到矩阵数据52b的第四区块中的图像识别的识别可靠性修正为0％，将三维识别的识别可靠性修正为90％。由此，关于在第四区块中映出的物体，与图像识别的识别结果相比，三维识别的识别结果具有更高的可靠性。

此外，作为用户修正区块的识别可靠性的方法，例如有以如下方式修正的方法：分割出预想为照明条件大幅变动的部位的区块，降低该区块中的图像识别的识别可靠性，大幅提高三维识别的识别可靠性。另外，还有对未能利用视差图像54充分得到视差的部位降低三维识别的可靠性的方法。

另外，还能够用户经由GUI从操作部12进行输入来修正照相机信息53的值。在照相机信息53被用户修正后，区块信息获取部7c根据修正后的照相机信息53获取拍摄范围的分割方法以及各区块的识别可靠性的矩阵数据。因此，拍摄图像51a、51b、矩阵数据52a、52b的内容自动地被更新。

另外，使用各种方法以将照相机信息获取部7b获取到的照相机信息和区块信息获取部7c获取到的拍摄范围的分割方法以及识别可靠性的矩阵数据对应起来。例如，有区块信息获取部7c使用针对照相机信息获取部7b获取的所有照相机信息中的每个照相机信息预先保存有拍摄范围的分割方法以及识别可靠性的矩阵数据的数据库9的方法。另外，还有使用按照从照相机2至物体的距离预先保存有拍摄范围的分割方法以及识别可靠性的矩阵数据的数据库9的方法等。由此，区块信息获取部7c仅获取由照相机信息获取部7b获取到的照相机信息，无需识别可靠性决定部7d将各信息对应起来，就能够从数据库9获取拍摄范围的分割方法以及识别可靠性的矩阵数据。

另外，区块信息获取部7c也可以使用将从视差图像获取到的距离信息与拍摄范围的分割方法以及识别可靠性的矩阵数据对应起来的数据库9。另外，区块信息获取部7c也可以使用与照相机2的照相机信息以及距离信息这两方对应起来的拍摄范围的分割方法以及识别可靠性的矩阵数据。另外，也可以使用户能够经由GUI选择与照相机信息对应的拍摄范围的分割方法以及识别可靠性的矩阵数据。

另外，用户也可以经由GUI使用距离信息根据距离来变更识别可靠性。例如，用户也可以对近处的区块提高图像识别以及三维识别的识别可靠性，对远处的区块降低图像识别以及三维识别的识别可靠性。

另外，预先将拍摄范围的分割方法以及图像识别可靠性的矩阵数据和图像信息获取部7a获取的图像信息(拍摄图像以及视差图像)对应起来保存到数据库9。识别可靠性计算部7使用类似图像的检索技术等将图像信息获取部7a获取到的拍摄图像与在数据库9中保存的图像信息进行对照。然后，识别可靠性计算部7从数据库9读出与一致的图像信息对应起来的拍摄范围的分割方法以及图像识别可靠性的矩阵数据。由此，区块信息获取部7c即使不使用照相机信息，也能够从数据库9获取拍摄范围的分割方法以及图像识别可靠性的矩阵数据。

另外，在用户经由GUI将拍摄范围分割为多个区块时，识别可靠性计算部7也可以根据从操作部12输入的输入信息和照相机信息从数据库9探索与用户进行的拍摄范围的分割方法类似的拍摄范围的分割方法。然后，识别可靠性计算部7也可以从数据库9获取最类似的拍摄范围的分割方法和与该分割方法对应的识别可靠性的矩阵数据并显示于显示部11。

图11示出将图像识别的识别可靠性和三维识别的识别可靠性结合而得到的识别总计值的显示例。图11所示的GUI显示于显示部11。

图11所示的GUI显示实际的拍摄图像60、识别可靠性的矩阵数据61、识别结果一览64。拍摄图像60通过识别可靠性计算部7被分割为第一区块～第四区块。第一区块包括物体62a，第二区块包括物体62b，第三区块包括物体62c，第四区块包括物体63。

矩阵数据61显示第一区块～第四区块的图像识别的识别可靠性和三维识别的识别可靠性。另外，识别结果一览64显示由拍摄图像识别部5以及三维识别部6在第一区块～第四区块中识别出的物体的一致程度、图像识别的识别可靠性和三维识别的识别可靠性、识别总计值。

在此，识别结果结合部8将表示拍摄图像识别部5从拍摄图像中识别出的物体是特定物体的程度与在拍摄图像内识别物体的识别可靠性结合起来。另外，识别结果结合部8将表示三维识别部66从视差图像中识别出的物体是特定物体的程度与在视差图像内识别物体的识别可靠性结合起来。然后，识别结果结合部8在根据识别可靠性结合图像识别的一致程度和三维识别的一致程度而计算出的识别总计值为预定值以上的情况下，输出检测到特定物体的检测结果(表示在拍摄图像60中有无摄影人物。)。

[式1]

将识别结果一览64中的图像识别、三维识别的一致程度标准化为“0”～“10”之间。对一致程度进行标准化的方法没有限定。识别结果结合部8使用识别总计值，在识别总计值示出预先设定的适当的阈值以上的值时判定为识别出的物体是人物，在识别总计值示出小于阈值的值时判定为识别出的物体并非人物，由此最终求出人物的识别结果。例如，通过将图11所示的识别总计值中的阈值设定为“3”，能够仅将物体62a、62b、62c检测为人物，将在镜中映出的物体63检测为并非人物。

此外，在拍摄图像识别部5、三维识别部6使用的图像识别、三维识别的算法中，有时无法计算一致程度而作为代替仅能够获取是否存在人物。在该情况下，识别结果结合部8也可以将在存在人物的情况下的一致程度设为“10”、将在不存在人物的情况下的一致程度设为“0”来求出识别总计值。

另外，识别结果结合部8也可以并非结合两个物体识别功能的结果，而针对每个区块仅选择识别可靠性高的物体识别功能的结果。

以上说明的物体识别装置1利用储存有两台照相机2的照相机信息、拍摄范围的分割方法和各区块的识别可靠性的矩阵数据来结合图像识别和三维识别的识别结果。由此，无论照相机2的设置环境、物体的位置如何,物体识别装置1都能够高精度地检测特定物体。

另外，物体识别装置1能够在特定物体处于照相机2附近时从根据拍摄图像识别出的物体中检测出特定物体。另外，物体识别装置1能够在特定物体处于照相机2的远处时从根据视差图像识别出的物体中检测出特定物体。

此外，在第一实施方式例中，说明了使用立体照相机作为测量装置、使用基于图像的图像识别和基于距离信息的三维识别作为物体识别的方法的情况的例子，但不限定于这些测量装置以及物体识别的方法。

即使两台照相机2的高度、与物体相距的距离不同，识别可靠性计算部7也可以根据从数据库9读出的两台照相机2的照相机信息对拍摄图像以及视差图像进行校正,以使得成为相同的拍摄范围。因此，能够使用既有的照相机2容易地构筑物体识别系统1。

另外，物体识别装置1除了使用将两台照相机2邻接起来的立体照相机作为测量装置以外，也可以使用三台以上的照相机2作为测量装置来获取物体的图像信息和距离信息而实施一连串的处理。在该情况下，由于物体识别装置1识别的拍摄图像以及视差图像的范围扩大，所以能够从广阔的范围检测特定物体。

另外，在第一实施方式例中，示出作为物体识别技术使用两个物体识别功能的例子，但使用的物体识别功能的数量和其种类没有限定。例如，在作为特定物体检测人物的情况下，也可以并用利用图像识别检测头部的功能、利用图像识别检测人物的功能以及利用距离信息进行三维识别的功能这三个物体识别功能。

[2.第二实施方式例]

接下来，说明本发明的第二实施方式例的物体识别系统。

图12示出第二实施方式例的物体识别系统10A的内部结构例。

物体识别系统10A具备两台照相机2、物体识别装置1A、数据库9、显示部11、操作部12。

物体识别装置1A除了具备图像获取部3、距离计算部4、拍摄图像识别部5、三维识别部6、识别可靠性计算部7A、识别结果结合部8以外，还具备识别功能调整部70、识别可靠性更新部71。

识别功能调整部70根据照相机信息调整在拍摄图像识别部5识别物体时使用的参数(拍摄图像识别部5识别物体的功能)。另外，识别功能调整部70根据照相机信息调整在三维识别部6识别物体时使用的参数(三维识别部6识别物体的功能的一个例子)。

识别可靠性更新部71根据由识别功能调整部70调整后的参数更新储存拍摄范围的每个分割范围的识别可靠性的矩阵数据。将更新后的矩阵数据记录到数据库9。以下，详细说明识别功能调整部70和识别可靠性更新部71的功能。

图13示出识别功能调整部70的内部结构例。

在此，说明识别功能调整部70调整物体识别功能的参数的功能。

识别功能调整部70具备照相机信息获取部70a、区块信息获取部70b、图像信息获取部70c、模式识别器重构部70d、识别参数决定部70e。

照相机信息获取部70a从数据库9获取照相机2的照相机信息，向模式识别器重构部70d以及识别参数决定部70e输出照相机信息。

区块信息获取部70b获取与从数据库9获取到的照相机信息对应起来的照相机2的拍摄范围的分割方法以及识别可靠性的矩阵数据。然后，区块信息获取部70b向模式识别器重构部70d以及识别参数决定部70e输出照相机2的拍摄范围的分割方法以及识别可靠性的矩阵数据。

图像信息获取部70c通过图像获取部3获取拍摄图像，通过距离计算部4获取视差图像，向模式识别器重构部70d以及识别参数决定部70e输出拍摄图像以及视差图像。

模式识别器重构部70d使用图像信息获取部70c获取到的拍摄图像和视差图像、照相机信息获取部70a获取到的照相机信息、区块信息获取部70b获取到的拍摄范围的分割方法以及识别可靠性的矩阵数据来进行预定的处理。此时，模式识别器重构部70d通过变更拍摄图像识别部5使用的采样数据(采样图像)来重构拍摄图像识别部5使用的模式识别器，将该模式识别器记录到数据库9。此外，上述第一实施方式例的拍摄图像识别部5生成模式识别器，但本实施方式例的拍摄图像识别部5从数据库9读出模式识别器重构部70d重构的模式识别器来用于处理。

数据库9预先针对照相机2的高度、设置角度这样的照相机2的每个设置环境记录有采样数据。然后，模式识别器重构部70d变更为与照相机信息获取部70a获取到的照相机信息(照相机2的设置环境)最类似的设置环境的采样数据。此外，模式识别器重构部70d也可以根据拍摄图像、视差图像进行场景识别等来变更为接近照相机2的设置环境的采样数据。

另外，也可以在数据库9中记录一个采样数据，根据照相机2的镜头失真、焦距等照相机信息，由模式识别器重构部70d对采样数据内的图像进行失真校正处理等来变更采样数据。另外，也可以根据从视差图像获取到的距离信息，由模式识别器重构部70d变更采样数据内的图像的尺寸等图像处理，从而变更采样数据。

另外，模式识别器重构部70d也可以根据与照相机信息对应起来的拍摄范围的分割方法以及识别可靠性的信息，针对分割出的每个区块重构模式识别器。此外，在三维识别部6进行三维识别时，在将根据采样数据制作出的三维信息的模式识别器用作三维信息模板的情况下，模式识别器重构部70d也可以重构三维信息的模式识别器。

识别参数决定部70e根据重构后的模式识别器、照相机信息、拍摄图像、视差图像、拍摄范围的分割方法以及识别可靠性，变更用于拍摄图像识别部5进行图像识别、三维识别部6进行三维识别的算法的参数。

作为识别参数决定部70e变更识别算法的参数的方法，有根据照相机2的俯角、镜头失真等照相机信息使决定检测窗的尺寸、形状的参数变化的方法。

另外，作为变更参数的方法有如下方法：首先，识别参数决定部70e根据拍摄图像、视差图像而实施场景识别等来判定在拍摄范围内存在自动扶梯等始终图像的变动存在的物体的位置、光照变化大的场所等。另外，识别参数决定部70e使用模式识别器来调整在计算图像内的局部的特征部分与模式识别器的图像特征的一致程度时使用的参数以减少误检测。

作为识别参数决定部70e变更用于三维识别的参数的例子，有在从照相机信息、视差图像判定出可计算的视差不稳定的情况下变更立体匹配的块尺寸的方法。另外，有调整三维识别部6从视差图像抽出头部的三维信息时的抽出范围的方法。此外，作为变更识别算法的参数的方法，也可以根据与照相机信息对应起来的拍摄范围的分割方法针对分割出的每个区块调整参数。

识别可靠性更新部71根据由识别功能调整部70重构后的模式识别器的信息以及变更后的识别算法的参数的信息，更新区块信息获取部70b获取的识别可靠性的矩阵数据。

作为矩阵数据的更新方法，有在整个拍摄范围中模式识别器、识别算法的参数被变更的情况下提高对应的物体识别功能的识别可靠性的值的方法。另外，还有在与通过区块信息获取部70b获取到的分割方法分割拍摄范围而得到的区块对应起来的仅模式识别器、参数被变更的情况下提高与该区块对应的识别可靠性的值的方法等。

识别可靠性计算部7A具备照相机信息获取部7b、区块信息获取部7c、识别可靠性决定部7d。向识别可靠性决定部7d输入照相机信息获取部7b获取到的照相机信息、区块信息获取部7c获取到的拍摄范围的分割方法和识别可靠性的矩阵数据以及由识别可靠性更新部71更新后的识别可靠性的矩阵数据。然后，识别可靠性决定部7d将拍摄范围分割为一个或者多个区块，决定每个区块的识别可靠性，将决定的每个区块的识别可靠性输出到识别结果结合部8。

根据以上说明的物体识别装置1A，针对拍摄范围整体或者分割出的每个区块变更模式识别器、识别算法的参数，更新对应的识别可靠性的值。由此，无论照相机2的设置环境、物体的位置如何，都能够更高精度地检测拍摄图像或者视差图像内的物体。

[3.第三实施方式例]

接下来，说明本发明的第三实施方式例的物体识别系统。

图14示出第三实施方式例的物体识别系统10B的内部结构例。

物体识别系统10B具备一台照相机2、距离测量装置13、物体识别装置1B、数据库9、显示部11、操作部12。

物体识别装置1B除了具备一个图像获取部3、拍摄图像识别部5、识别可靠性计算部7、识别结果结合部8以外，还具备距离信息获取部14、距离图像生成部15、距离图像识别部16。物体识别装置1B根据拍摄图像以及在拍摄图像中嵌入有与物体相距的距离信息的距离图像来识别物体。

距离测量装置13(测量装置的一个例子)测量与照相机2拍摄的拍摄范围中的物体相距的距离。作为距离测量装置13，例如使用距离传感器、激光雷达、红外线标签等。

距离信息获取部14获取由距离测量装置13测量出的每个物体的距离信息。

距离图像生成部15生成在图像获取部3获取到的拍摄图像中嵌入有由距离信息获取部14获取到的距离信息的距离图像。

距离图像识别部16(识别部的一个例子)根据在距离图像中包含的距离信息识别物体。此时，距离图像识别部16使用与距离测量装置13对应的测量范围的分割方法以及识别可靠性的矩阵数据来识别物体，将识别结果输出到识别结果结合部8。通过距离图像识别部16从数据库9读出与距离测量装置13对应的测量范围的分割方法以及识别可靠性的矩阵数据。然后，距离图像识别部16计算对距离图像进行视点变换而得到的俯视图像内的物体与从数据库9读出的模板的一致程度。

识别可靠性计算部7计算拍摄图像识别部5在拍摄图像内识别物体的功能的识别可靠性和距离图像识别部16在距离图像内识别物体的功能的识别可靠性。

识别结果结合部8将表示拍摄图像识别部5从拍摄图像中识别出的物体是特定物体的程度和在拍摄图像内识别物体的识别可靠性结合起来。另外，识别结果结合部8将表示距离图像识别部16从距离图像中识别出的物体是特定物体的程度和在距离图像内识别物体的识别可靠性结合起来。然后，识别结果结合部8在根据识别可靠性结合图像识别的识别结果和距离图像识别的识别结果而计算出的识别总计值为预定值以上的情况下，输出检测到特定物体的检测结果。

根据以上说明的物体识别装置1B，将拍摄图像的识别可靠性、拍摄图像的识别结果、从距离测量装置13获取而生成的距离图像的识别可靠性、距离图像的识别结果结合起来，在显示部11中显示物体的检测结果。这样即使是仅设置有一台照相机2的环境，也能够通过并用距离测量装置13来提高物体的检测精度。

[4.变形例]

在上述各实施方式例中，物体识别装置1、1A、1B也可以具备数据库9。另外，物体识别装置1、1A、1B也可以具备显示部11以及操作部12。

另外，上述各实施方式例的物体识别系统能够用作解析特定的场所(例如车站内、大厦内、道路)处的人流的人流解析系统、或者用作监视系统。此时，通过使照相机2为能够利用红外光拍摄物体的红外线照相机，即使在夜间也能够识别物体而检测特定物体。

此外，本发明不限于上述实施方式例，只要不脱离权利要求书记载的本发明的要旨，当然能够得到其它各种应用例、变形例。

例如，上述实施方式例是为了易于理解地说明本发明而详细且具体地说明装置以及系统的结构的例子，未必限定于具备说明的所有结构。另外，能够将某个实施方式例的结构的一部分替换为其它实施方式例的结构，进而还能够将其它实施方式例的结构添加到某个实施方式例的结构。另外，还能够对各实施方式例的结构的一部分追加、删除、替换其它结构。

另外，控制线、信息线表示在说明上是被认为必要的，未必示出产品上的所有控制线、信息线。也可以认为实际上几乎所有结构相互连接。

Claims (8)

1.一种物体识别装置，具备：

识别部，根据多个测量装置测量物体而得到的信息利用多个功能来识别所述物体；

识别可靠性计算部，针对每个所述功能计算所述识别部识别所述物体的识别结果的识别可靠性；以及

结合部，结合所述物体的识别可靠性及所述识别结果，检测特定的所述物体，输出特定的所述物体的检测结果，

在所述多个测量装置测量出的信息是拍摄有所述物体的拍摄图像以及包含与所述物体相距的距离信息的视差图像的情况下，

所述识别部是根据所述拍摄图像识别所述物体的拍摄图像识别部和根据在所述视差图像中包含的所述距离信息识别所述物体的三维识别部，

所述拍摄图像识别部计算模式识别器与从所述拍摄图像抽出的所述物体的特征部分的一致程度，该模式识别器是根据从数据库读出的采样数据而生成的，

所述三维识别部计算从所述数据库读出的模板与对所述视差图像进行视点变换而得到的俯视图像内的所述物体的三维信息的一致程度，

所述识别可靠性计算部计算所述拍摄图像识别部在所述拍摄图像内识别所述物体的识别可靠性和所述三维识别部在所述视差图像内识别所述物体的识别可靠性。

2.根据权利要求1所述的物体识别装置，其中，

所述识别可靠性计算部具备：

图像信息获取部，从所述测量装置获取所述拍摄图像及所述视差图像；

测量装置信息获取部，从所述数据库获取所述测量装置的测量装置信息；

区块信息获取部，针对每个区块从所述数据库获取与所述测量装置信息对应的拍摄范围的分割方法及所述识别可靠性的矩阵数据；以及

识别可靠性决定部，针对根据所述拍摄范围的分割方法按预定的位置、大小分割所述拍摄图像的所述拍摄范围而得到的每个所述区块，决定所述拍摄图像识别部识别所述物体的识别可靠性和所述三维识别部识别所述物体的识别可靠性。

3.根据权利要求2所述的物体识别装置，其中，

所述结合部在将表示所述拍摄图像识别部从所述拍摄图像中识别出的所述物体是特定的所述物体的程度、在所述拍摄图像内识别所述物体的识别可靠性、表示所述三维识别部从所述视差图像中识别出的所述物体是特定的所述物体的程度、在所述视差图像内识别所述物体的识别可靠性结合起来的结果为预定值以上的情况下，输出特定的所述物体的检测结果。

4.根据权利要求3所述的物体识别装置，其中，

能够通过经由显示于显示部的GUI(图形用户界面)的来自操作部的输入来变更所述测量装置信息、所述分割方法以及所述识别可靠性，变更后的所述测量装置信息、所述分割方法以及所述识别可靠性被记录到所述数据库，

所述识别可靠性计算部根据从所述数据库获取到的变更后的所述测量装置信息、所述分割方法以及所述识别可靠性，针对每个所述区块计算所述识别可靠性。

5.根据权利要求4所述的物体识别装置，其中，所述物体识别装置还具备：

识别功能调整部，根据所述测量装置信息调整所述拍摄图像识别部识别所述物体的功能和所述三维识别部识别所述物体的功能；以及

识别可靠性更新部，根据调整后的识别所述物体的功能更新储存所述识别可靠性的所述矩阵数据。

6.根据权利要求5所述的物体识别装置，其中，

所述测量装置信息包括所述测量装置的设置环境、所述测量装置的内部信息中的任意一个以上。

7.一种物体识别装置，具备：

识别部，根据多个测量装置测量物体而得到的信息利用多个功能来识别所述物体；

识别可靠性计算部，针对每个所述功能计算所述识别部识别所述物体的识别结果的识别可靠性；以及

结合部，结合所述物体的识别可靠性及所述识别结果，检测特定的所述物体，输出特定的所述物体的检测结果，

在所述多个测量装置测量出的信息是拍摄有所述物体的拍摄图像以及在所述拍摄图像中嵌入有与所述物体相距的距离信息的距离图像的情况下，

所述识别部是根据所述拍摄图像识别所述物体的拍摄图像识别部和根据在所述距离图像中包含的所述距离信息识别所述物体的距离图像识别部，

所述拍摄图像识别部计算从所述拍摄图像抽出的所述物体的特征部分与根据从数据库读出的采样数据生成的模式识别器的一致程度，

所述距离图像识别部计算对所述距离图像进行视点变换而得到的俯视图像内的物体与从所述数据库读出的模板的一致程度，

所述识别可靠性计算部计算所述拍摄图像识别部在所述拍摄图像内识别所述物体的识别可靠性和所述距离图像识别部在所述距离图像内识别所述物体的识别可靠性。

8.一种物体识别系统，具备：

多个测量装置，测量物体；

识别部，根据所述多个测量装置测量所述物体而得到的信息利用多个功能来识别物体；

识别可靠性计算部，针对每个所述功能计算所述识别部识别所述物体的识别结果的识别可靠性；

结合部，结合所述物体的识别可靠性及所述识别结果，检测特定的所述物体，输出特定的所述物体的检测结果；以及

显示部，显示所述检测结果，

在所述多个测量装置测量出的信息是拍摄有所述物体的拍摄图像以及包含与所述物体相距的距离信息的视差图像的情况下，

所述识别部是根据所述拍摄图像识别所述物体的拍摄图像识别部和根据在所述视差图像中包含的所述距离信息识别所述物体的三维识别部，

所述拍摄图像识别部计算模式识别器与从所述拍摄图像抽出的所述物体的特征部分的一致程度，该模式识别器是根据从数据库读出的采样数据而生成的，

所述三维识别部计算从所述数据库读出的模板与对所述视差图像进行视点变换而得到的俯视图像内的所述物体的三维信息的一致程度，

所述识别可靠性计算部计算所述拍摄图像识别部在所述拍摄图像内识别所述物体的识别可靠性和所述三维识别部在所述视差图像内识别所述物体的识别可靠性。

Images