CN112106345A

CN112106345A - 立体摄像装置

Info

Publication number: CN112106345A
Application number: CN201980030882.7A
Authority: CN
Inventors: 大坪宏安
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2018-07-13
Filing date: 2019-04-23
Publication date: 2020-12-18
Anticipated expiration: 2039-04-23
Also published as: CN112106345B; JP2020014067A; US20210110188A1; WO2020012756A1; JP7140580B2

Abstract

提供一种立体摄像装置，能够在对宽范围进行摄影的同时高精度地进行探测对象的探测。立体摄像装置(1)具备：摄像单元(5)，具备具有作为形变小于预定量的部分的低形变区域和作为形变大于低形变区域的部分的高形变区域的镜头(3)及摄像传感器；切出单元(7)，在由一对摄像单元(5)摄影的图像中，在经由低形变区域而被摄影的区域内有探测对象的情况下，输出将该图像的经由低形变区域而被摄影的区域内的包含探测对象的范围切出得到的切出图像；以及探测单元(8)，根据切出图像进行探测对象的探测。

Description

立体摄像装置

技术领域

本发明涉及立体摄像装置。

背景技术

伴随着近年来的图像识别技术的提高，能够实现利用车载相机的影像的图像识别的汽车驾驶时的危险回避以及自动驾驶、利用监视相机的影像的图像识别实施的已知的罪犯的检测等。另外，作为车载相机或监视相机使用具有一对相机的立体相机，例如根据与被摄体上的相同的对象点对应的各图像上的对应点彼此的位置的差异(视差)，探测从立体相机至与图像上的各点对应的被摄体上的点为止的距离，进行图像识别(例如专利文献1)。在使用立体相机的图像识别中，能够使用距离信息进行图像识别，所以能够容易并且高精度地进行对象物(例如人、动物、车辆等)的识别。

现有技术文献

专利文献1：日本特开2013-109779号公报

发明内容

但是，在车载相机、监视相机中，要求能够在对宽范围进行摄影的同时进行物体的探测。但是，在为了对宽范围的图像进行摄影而使用广角的镜头时，图像成为周边部被压缩的图像。即，在使用广角的镜头的情况下，会得到周边部的形变大的图像。并且，在想要使用这样的形变大的图像对探测对象进行探测时，存在探测精度变低这样的问题。

另外，在考虑探测精度的情况下，优选使用高分辨率的影像传感器，但特别是在想要对宽范围进行摄影的情况下像素数会变得非常多。并且，在使用像素数多的图像进行与探测有关的运算处理时，计算量成为庞大的量，在对车载相机、监视相机的影像那样的动画进行处理的情况下，在1帧的处理中花费较长的时间。因此，根据进行运算处理的集成电路的运算速度，1帧的运算处理时间变得过长，具有在要求实时的对应的情况下处理会跟不上这样的问题。

本发明是鉴于上述情况而完成的，其目的在于提供一种能够在对宽范围进行摄影的同时高精度地进行探测对象的探测的立体摄像装置。

为了达到上述目的，本发明的立体摄像装置的特征在于，具备：

摄像单元，具备镜头及摄像传感器，所述镜头具有作为形变小于预定量的部分的低形变区域和作为形变大于所述低形变区域的部分的高形变区域；

切出单元，在由一对所述摄像单元摄影的图像中，在经由所述低形变区域而被摄影的区域内有探测对象的情况下，输出将该图像的经由所述低形变区域而被摄影的区域内的包含探测对象的范围切出得到的切出图像；以及

探测单元，根据所述切出图像进行探测对象的探测。

根据这样的结构，探测单元根据由摄像单元摄影的图像之中的、经由形变小的低形变区域而被摄影的区域内的包括探测对象的范围被切出得到的图像，进行探测对象的探测。即，探测单元根据形变小的图像进行探测对象的探测。因此，能够高精度地进行探测对象的探测。

另外，探测单元在探测中使用的图像是由切出单元切出的图像，所以显示范围比由摄像单元摄影的图像小。因此，无需过度降低分辨率，而能够减少图像的数据量。即，在不减小显示范围而想要减少图像的数据量的情况(希望减少像素数的情况)下，需要将像素间除(进行抽取)来压缩图像，降低图像的分辨率，但在本发明中，在探测中仅切出所需的部分，所以通过该切出不用降低分辨率而能够减少图像的数据量。并且，通过该切出，无需过度降低分辨率而减少图像的数据量，所以能够在将探测单元中的处理速度保持为高速的同时进行高精度的探测。

此外，还可以关于切出的图像，也在进行由探测单元实施的探测之前将像素间除来降低图像的分辨率。在该情况下，相比于关于切出之前的图像将像素间除的情况，也能够减少间除的像素数，所以能够抑制分辨率的降低。

这样，根据本发明，能够通过高形变区域进行宽范围的摄影，并且进行利用低形变区域的探测，从而能够进行高精度的探测。

在本发明的上述结构中，优选为所述低形变区域的形变的量是5％以下。

根据这样的结构，能够特别高精度地进行探测单元中的探测。

另外，在本发明的上述结构中，具备形变校正单元，该形变校正单元去除由所述镜头的形变引起的图像的形变，

所述形变校正单元在所述探测单元进行基于由所述切出单元切出的图像实施的探测之前进行形变的去除。

根据这样的结构，关于由摄像单元摄影且由切出单元切出之前或者之后的图像，去除由镜头的形变引起的图像的形变。因此，能够提高探测单元中的探测精度。

另外，在本发明的上述结构中，所述切出单元也可以针对处于经由所述高形变区域而被摄影的区域内的探测对象，不进行包含该探测对象的图像的切出。

根据这样的结构，针对处于高形变区域的探测对象，不进行包含该探测对象的图像的切出以及基于切出的图像实施的探测对象的探测。因此，能够减少探测单元中的处理，能够降低对探测单元附加的负荷。另外，能够省去多余的探测，所以能够增加关于处于低形变区域的探测对象的探测的次数，能够提高探测精度。

另外，在本发明的上述结构中，也可以具备缩小单元，该缩小单元使由一对所述摄像单元摄影的图像的数据量变小，

所述探测单元在进行根据由所述缩小单元缩小后的缩小图像进行探测对象的探测的第一探测之后，进行根据以使显示范围比所述缩小图像小的方式由所述切出单元切出的第二切出图像进行探测对象的探测的第二探测，利用所述第二探测的结果来校正所述第一探测的结果。

根据这样的结构，由切出单元切出的图像的显示范围比缩小图像小，所以能够以与缩小图像相同的数据量来形成分辨率高的图像。因此，例如能够在根据分辨率比较低但显示范围宽广的缩小图像进行粗略的探测之后，关于进行了该粗略的探测的范围的一部分，利用分辨率高的图像进行高精度的探测。因此，例如能够在关于由摄像单元摄影的范围整体进行粗略但宽泛的探测之后，针对处于低形变区域的探测对象进行切出而进行高精度的探测。另外，利用高精度的探测的结果来校正粗略的探测的结果，所以能够得到更正确或者精确的探测结果。即，这样能够同时实现宽泛的探测和高精度的探测。

此外，在此探测结果的校正不仅是指对探测的结果进行修正的处理，而且还包括对第一探测的结果添加通过第二探测得到的新的信息的处理等。

另外，在本发明的上述结构中，所述探测单元也可以在进行所述第二探测之后，进行根据以使显示范围的至少一部分与所述第二切出图像的显示范围不同的方式由所述切出单元切出的第三切出图像进行探测对象的探测的第三探测，利用所述第三探测的结果来校正之前的探测的结果。

根据这样的结构，第二切出图像和第三切出图像的显示范围的至少一部分不同，所以第二探测中的探测范围和第三探测中的探测范围的至少一部分不同。即，在希望高精度地探测某种程度宽广的范围的情况下，将该范围分为第二切出图像和第三切出图像后分别进行探测，从而能够关于该范围进行高精度的探测。另外，利用第三探测的结果来校正第一探测的结果或者第二探测的结果等，所以能够得到更正确或者精确的探测结果。

另外，在本发明的上述结构中，所述探测单元也可以在进行所述第二探测之后，进行根据在所述第二切出图像的显示范围内以使显示范围比所述第二切出图像小的方式由所述切出单元切出的第四切出图像进行探测对象的探测的第四探测，利用所述第四探测的结果来校正之前的探测的结果。

根据这样的结构，第四切出图像成为处于第二切出图像的显示范围内且显示范围比第二切出图像小的图像。即，从缩小图像按照第二切出图像、第四切出图像那样显示范围逐渐变小。因此，能够在使探测范围逐渐变小的同时，关于所需的范围逐渐提高探测精度。因此，关于探测对象，能够首先粗略地识别整体之后，针对特征点更详细地进行探测等。

根据本发明的立体摄像装置，能够在对宽范围进行摄影的同时高精度地进行探测对象的探测。

附图说明

图1是示出本发明的实施方式所涉及的立体摄像装置的框图。

图2是示出该立体摄像装置的镜头的形变特性的图。

图3是示出该立体摄像装置的处理的流程图。

图4是示出该立体相机的设置场所的例子的图。

图5是用于说明该立体摄像装置中的探测的时序例的图。

图6是用于说明该立体摄像装置中的探测的帧频的图。

(符号说明)

1：立体摄像装置；3：镜头；4：摄像部(摄像传感器)；5：摄像单元；6：形变校正单元；7：图像尺寸变换单元(切出单元、缩小单元)；8：探测单元。

具体实施方式

以下，说明本发明的实施方式。

本实施方式的立体摄像装置例如是作为监视相机、车载相机等主要与监视相关的相机而使用立体相机的装置，进行物体的探测以及与物体之间的距离的探测。

本实施方式的立体摄像装置1如图1所示，具备：一对摄像单元5，具有镜头3和摄像部4；一对形变校正单元6，校正从一对摄像单元5各自的摄像部4输出的图像的由镜头3引起的形变；一对图像尺寸变换单元7，对从一对形变校正单元6分别输出的图像的尺寸进行变换；探测单元8，根据从一对图像尺寸变换单元7输出的图像，进行包含于该图像的物体的距离的测定、物体的识别；以及控制单元9，控制摄像单元5及图像尺寸变换单元7。

此外，这些各种单元例如通过各种电子回路(处理器(CPU、DSP等)、IC、或者ROM、RAM等信息存储介质等)、由存储于ROM等的预定的程序构成的软件等来实现。另外，形变校正单元6、图像尺寸变换单元7既可以分别仅设置1个，也可以用1个电路来处理从一对摄像单元5输出的一对图像。

一对摄像单元5构成立体相机10。另外，摄像单元5将通过镜头3成像于摄像部4所具有的摄像传感器的像作为图像(动画数据)而输出。另外，一对摄像单元5输出同步的一对图像。此外，还可以设为图1所示的其它单元也包含于立体相机10，也可以是一部分或者所有单元通过经由各种布线或者网络连接的一个或者多个其它设备来实现。

镜头3为远近两用的广角镜头，具有所谓的桶型的失真特性。图2示出镜头3的失真特性。如图2所示，在镜头3的周边部，如同像被压缩。具体而言，在由双点划线所示的圆A的内侧，形变大致为0，在圆A的外侧，形变变大。以下，将圆A的内侧的、形变大致为0的区域称为失真零区段(低形变区域)，将圆A的外侧的区域称为视场角确保区段(高形变区域)。此外，视场角确保区段的外周是用矩形B表示的部分。另外，关于由摄像单元5摄影得到的图像，将通过圆A的内侧(低形变区域)而被摄影的部分也称为失真零区段，将通过圆A的外侧(高形变区域)而被摄影的部分也称为视场角确保区段。

失真零区段中的形变的量(光学失真)为5％以下。另外，该形变的量更优选为3％以下，进一步优选为1％以下。另外，视场角确保区段中的形变的量大于失真零区段中的形变的量。即，失真零区段是为了进行高精度的距离探测以及物体探测而使形变小的部分，视场角确保区段为用于使视场角(摄影范围)变宽广的部分(用于使探测范围变宽广的部分)。

在摄像单元5中，使用这样的特性的镜头3对图像进行摄影，所以从摄像单元5输出以周缘部依照镜头3的失真特性而收缩的状态进行了形变的图像。具体而言，从摄像单元5输出通过镜头3的失真零区段而被摄影的中心部的形变小且通过视场角确保区段而被摄影的周缘部的形变大的图像。

来自摄像单元5的输出图像被输入到形变校正单元6。形变校正单元6进行如下处理：去除来自摄像单元5的输出图像的由镜头3引起的形变。此外，形变的去除能够用公知的方法进行，例如能够使用去除形变的图像变换用的已知的电子回路来进行。另外，也可以在其它位置进行形变的去除。例如，也可以在由图像尺寸变换单元7变换图像尺寸之后进行。另外，例如也可以在摄像单元5进行后述的切出处理的情况下等，针对切出的图像进行形变的去除。

此外，关于形变的去除，也可以并非是将形变完全地消除，与原来的图像相比降低形变即可。

接下来，由形变校正单元6去除形变后的图像被输入到图像尺寸变换单元7。图像尺寸变换单元7进行将图像的尺寸变换为由探测单元8能够处理的尺寸的处理。在本实施方式的立体摄像装置1中，由探测单元8能够处理的最大的图像尺寸为VGA(640像素×480像素。以下省略“像素”而记载为640×480等)，图像尺寸变换单元7以使图像尺寸成为VGA以下的方式进行使图像的尺寸变小的处理。换言之，图像尺寸变换单元7进行使图像的数据量变少的处理。具体而言，图像尺寸变换单元7进行图像的缩小处理以及切出处理。

在图像的缩小处理中，削减像素数，缩小图像面积。具体而言，例如在摄像传感器的像素数是3200×2400的情况下，将水平方向的尺寸和垂直方向的尺寸抽取(间除)到1/5而设为640×480。由此，在图像的显示范围不变化的状态下图像被缩小。即，缩小处理是不改变图像的显示范围(仍为图2、图5所示的用矩形B包围的范围)而使图像尺寸变小的处理。将通过缩小处理在保持图像的显示范围的状态下缩小的图像称为缩小图像。

另外，在图像的切出处理中，并非是缩小图像，而是较小地切出图像从而使图像尺寸变小。具体而言，切出由摄像单元5摄影的全画面的图像中的一部分范围(例如图2所示的用矩形C、D包围的范围、图5所示的用矩形E、F包围的范围)。例如，切出3200×2400的图像之中的包含于失真零区段的中心部的1200×1200的范围。另外，针对该切出的1200×1200的图像进行缩小处理，设为640×480的图像。另外，在通过切出处理切出的图像成为640×480以下的情况下，也可以不进行缩小处理而输出到后级(探测单元8)。这样，切出处理是通过切出原来的图像的显示范围的一部分而使图像尺寸变小的处理。由此，图像的显示范围变小，解析范围变小，但分辨率为与切出前同样的高分辨率，能够提高探测单元8中的探测的精度。将通过切出处理切出的图像称为切出图像。

此外，切出的位置是任意的，例如也可以切出已经图像识别的一帧或者几帧前的图像的特征部分、例如包含有人等探测对象的范围。

如以上那样，图像尺寸变换单元7具有作为进行图像的缩小处理的缩小单元的功能、以及作为进行图像的切出处理的切出单元的功能。此外，例如也可以由摄像单元5进行图像的缩小处理、切出处理。即，例如作为摄像传感器，已知能够进行图像的抽取的传感器，但也可以设为使用这样的摄像传感器来进行图像的缩小处理。另外，也可以在进行切出的图像中的探测时，输出由摄像单元5作为切出单元切出进行该探测的部分而得到的图像。

接下来，由图像尺寸变换单元7变换尺寸后的图像被输入到探测单元8。探测单元8进行求出由一对摄像单元5分别摄影并经由形变校正单元6以及图像尺寸变换单元7输入的2个图像的视差的视差探测处理。另外，探测单元8进行使用通过视差探测处理求出的视差来探测(测定)与物体(被摄体)之间的距离的距离探测处理。另外，探测单元8进行根据通过距离探测处理测定的距离信息来探测(识别)物体的物体探测处理(物体识别处理)。

在此，关于根据多个图像求出视差的处理、使用该视差来测定距离的处理、对物体进行识别的处理，能够用已知的方法以及已知的电路等来进行。另外，物体探测处理例如既可以是在图像中(立体相机10)映现有人等特定的物体的情况下识别为是人而进行探测的处理，也可以是将该探测的人的面部与在立体摄像装置1的存储单元(未图示)中存储的面部进行对照来探测是特定的人物的处理，还可以是识别车辆的车牌号来对照的处理。即，根据立体摄像装置1的应用目的地而适当选择探测对象即可，探测单元8进行与所设定的探测对象之间的距离的探测、物体的识别。

另外，控制单元9控制由摄像单元5进行的摄像、由图像尺寸变换单元7进行的图像的缩小处理或者切出处理等。具体而言，在由探测单元8进行探测后，其探测结果被送到控制单元9。然后，控制单元9根据该探测结果，决定作为缩小处理、切出处理进行的处理。例如，在由探测单元8探测到人的情况下，控制单元9决定切出包含有这个人的范围。然后，图像尺寸变换单元7根据该决定，切出包含有这个人的范围，并且根据需要将切出的图像进行缩小后输出到探测单元8。然后，根据该输出的图像，探测单元8进行探测。

此外，控制单元9也可以控制形变校正单元6。并且，也可以根据探测单元8的探测结果来变更形变的去除方法。例如，在图像的切出处理后由形变校正单元6进行形变的去除的结构中，也可以根据切出的图像来变更与形变的去除有关的运算方法。

如以上那样，图1所示的结构只是一个例子，各构成要素的配置、结构也可以不同。

接下来，参照图3的流程图，说明由立体摄像装置1进行的处理。

首先，立体摄像装置1判定是否进行探测对象的探测(步骤S1)。具体而言，控制单元9确认存储于存储单元(未图示)的探测标志是否为开启状态，在探测标志是开启状态的情况下，进行各种控制以使得进行探测对象的探测。

在探测标志是开启状态且进行探测对象的探测的情况下(在步骤S1中“是”)，立体摄像装置1首先进行最大视场角下的探测。即，首先关于由一对摄像单元5摄影的区域整体的图像，检测是否映现有探测对象。此外，将该最大视场角下的探测对象的探测(关于摄影区域整体的图像的探测)称为全画面探测。

例如，在设为摄像传感器的像素数是3200×2400时，摄像单元5输出3200×2400的图像。接下来，形变校正单元6去除从摄像单元5输出的该图像的形变。接下来，图像尺寸变换单元7通过缩小处理，将形变被去除的图像在维持图像的显示范围的状态下缩小为640×480的图像。然后，探测单元8判定在该缩小的缩小图像中是否映现有探测对象。更具体而言，判定在缩小图像的失真零区段内是否有探测对象。此外，在本实施方式的立体摄像装置1中，探测单元8还判定在失真零区段外(视场角确保区段内)是否有探测对象，但关于失真零区段外的探测对象，也可以设为不探测。

接下来，探测单元8在判定为在失真零区段内有探测对象的情况下(在步骤S3中“是”)，判定在最初的切出区域(“切出1”的区域)内是否映现有探测对象(步骤S4～S6)。

在此，切出区域(“切出1”～“切出N”的各区域)是通过切出处理而切出的区域，依照预定的规则被设定。另外，切出区域至少在其一部分中包括失真零区段的至少一部分。此外，切出区域也可以设为一概不包括失真区段外的部分。各切出区域例如既可以被设定为在之前的切出区域内成为比之前的切出区域狭小的范围(即，既可以为切出区域逐渐变狭小)，也可以被设定为至少一部分与之前的切出区域不重复。另外，关于“切出1”～“切出N”的各切出区域，既可以是切出的位置以及大小始终恒定，也可以是切出的位置、大小根据全画面探测的结果、针对以前的切出区域的探测的结果而变化。其中，“切出1”～“切出N”的各切出区域之中的至少1个切出区域优选包括在步骤S3中检测到的检测对象的至少一部分。另外，在该流程中，判定在“切出i”(1≤i≤N)的区域中是否有探测对象(步骤S6)，但也可以以包括在全画面探测或者针对以前的切出区域的探测中探测到探测对象的范围的方式随时设定切出区域，并切出该切出区域来进行接下来的探测。

在“切出1”的区域中映现有探测对象的情况下(在步骤S6中“是”)，图像尺寸变换单元7通过切出处理，制作将“切出1”的区域切出的图像。然后，探测单元8根据该切出的图像进行探测对象的探测(步骤S7)。此外，将基于该切出的图像进行的探测对象的探测称为切出探测。

另外，关于“切出2”～“切出N”的各区域，也与“切出1”的区域同样地，探测单元8判定在各切出区域内是否映现有探测对象(步骤S6)，在“切出i”的区域中映现有探测对象的情况下(在步骤S6中“是”)，图像尺寸变换单元7通过切出处理来制作将“切出i”的区域切出的图像，探测单元8根据该切出的图像进行探测对象的检测(步骤S7)。

在切出探测结束后，探测单元8使切出探测的结果反映于全画面探测的结果而校正探测结果，并将该反映结果作为最终的探测结果而输出(步骤S9)。例如，在全画面探测中探测人并且将该人的身高探测为是170cm，但在切出探测中该探测到的人被探测为是172cm的情况下，在探测单元8中，作为最终的探测结果而输出探测到身高为172cm的人。

此外，例如也可以在每当进行关于各切出区域的探测时反映切出探测的结果。另外，在全画面探测以及各切出探测中探测的对象既可以相同，也可以不同。例如，也可以在全画面探测中探测是否映现有人，在切出探测中探测该人的一部分(例如面部、手脚等)或者人的属性(例如性别、年龄、体形、是否为罪犯等)等。另外，例如也可以在最初的切出探测中探测是否映现有人，在接下来的切出探测中探测该人所持有的物(例如刀具、手枪、箱包、便携电话等)等。另外，也可以使切出探测的探测对象根据全画面探测的结果而变化。因此，例如也可以在上述探测结果的校正中，在全画面探测中仅探测是否映现有人，在切出探测中探测身高并添写到全画面探测的结果。

此外，上述流程只是一个例子，各处理的顺序、结构也可以不同。

接下来，参照图4、图5来说明探测时序的一个例子。设为立体相机10如图4所示设置于大厦的入口。另外，立体摄像装置1的探测对象为人。在此，说明由立体相机10摄影的图像为图5所示的状态的情况。此外，图5所示的图像是从一对摄像单元5中的一方输出的图像，但从另一方的摄像单元5也输出同样的图像。

首先，使用由一对摄像单元5能够摄影的最大视场角的图像(像素数3200×2400的图像)进行全画面探测。然后，探测单元8在失真零区段内映现有人的情况下，探测处于失真零区段内(圆A的内侧)的人。在图5中，探测人30a～30d。

接下来，在探测到失真零区段内的人的情况下，图像尺寸变换单元7切出由立体相机10摄影的图像之中的在失真零区段内且包含探测到的人的范围，并使用该切出的图像进行切出探测。即，通过切出图像的一部分，使用像素密度更高的图像进行探测对象的探测。此时，首先将包含处于附近的人30a、30b的范围(用矩形E包围的范围)切出为“切出1”区域而进行检测，接下来将包含处于更远方的人30c、30d的范围(用矩形F包围的范围)切出为“切出2”区域而进行检测。此时，使包含处于远方的人30c、30d的“切出2”的区域的范围小于包含处于近处的人30a、30b的“切出1”的区域，提高像素密度。在此，“切出1”的区域为像素数1200×1200，“切出2”的区域为像素数640×480。另外，在此在“切出1”的区域中包括“切出2”的区域，在“切出1”的区域中也包含人30c、30d。

在这个情形下，在“切出2”的区域中，水平方向和垂直方向的尺寸为全画面的1/5。但是，由于摄像传感器的像素数是(640×5)×(480×5)＝7.68M以上，所以关于“切出2”的区域，不用进行像素的内插处理(所谓的缩放处理)而能够进行探测。因此，能够以全画面探测的5倍的精度进行关于“切出2”的区域的探测。即，如果将水平方向的最大切出倍率(在切出处理中最小地被切出的图像相对全画面的倍率)设为1/P，将垂直方向的最大切出倍率设为1/Q，将由探测单元8能够处理的最大像素数设为W×H，则摄像传感器的像素数优选为水平方向是(W×P)、垂直方向是(H×Q)以上。根据这样的结构，不用进行像素的内插处理而能够进行探测。

此外，在这样将本实施方式的立体相机10用作监视相机的情况下，如图5所示的例子那样，例如优选为以使大门或门扇等闯入希望监视的地块内的人或物等基本上会经过的场所包含于失真零区段内的方式，设置立体相机10。根据这样的结构，在闯入者向该地块内闯入时，能够通过全画面探测以及切出探测而预先详细地解析。于是，之后只是跟踪该闯入者即可，所以探测精度低到某种程度也没有问题，针对移动到视场角确保区段的该闯入者也能够进行充分的探测。另外，也可以根据情况，针对移动到视场角确保区段的该闯入者不进行由探测单元8实施的探测，而仅进行影像的摄影。

接下来，参照图6来说明探测的帧频。

将1次全画面探测和N次切出探测合起来作为一组探测，在得到一个探测结果时，该一组探测由1+N个帧形成。虽然对于切出检测的次数没有限制，但通常为了探测奔跑的人，需要实施10fps以上的帧频下的探测。因此，如上述流程那样，在用N次切出探测的结果来校正1次全画面探测的结果后输出最终的探测结果的情况下，需要以10fps以上的帧频进行该一组探测。因此，例如在摄像传感器的摄像的帧频是30fps、且构成探测单元8的探测电路的最大动作下的帧频是30fps时，能够针对1次全画面检测进行2次切出检测。另外，如果摄像传感器以及探测电路的动作的帧频是60fps，则能够针对1次全画面检测进行5次切出检测。

此外，在此将摄像传感器的帧频和探测电路的帧频设为相同，但例如也可以将探测电路的帧频设为摄像传感器的帧频的(M+1)倍，针对由摄像传感器摄影的1个图像进行1次全画面探测和M次切出探测。

此外，针对1次全画面探测进行的切出探测的次数无需一定是恒定的。例如，也可以根据包含于失真零区段内的探测对象的数量而变化。另外，例如也可以在包含于失真零区段内的探测对象是S个的情况下，针对该S个探测对象分别各进行1次(或者S的整数倍的次数)切出探测。

此外，关于探测单元8所进行的探测，也可以设为进行至距离的探测，而不进行至物体的识别。即，在上述例子中，探测单元8探测人，但也可以是求出从预定的点至探测对象等在图像中映现的被摄体为止的距离，并将其作为探测单元8中的探测结果而输出。在此，预定的点是指在距离的探测中成为基准的点，基本上是立体相机10的位置，但也可以在其它位置设置基准，求出从该基准点至被摄体(表示被摄体的各像素)为止的距离。另外，将距离的探测的结果作为距离图像而输出。在距离图像中，用从所述预定的点起的距离表示图像上的各点(例如由一个或者多个像素构成的各像素区域)，例如利用与距离的值对应的颜色的浓淡的变化来表示距离图像。颜色的变化例如也可以是黑白的灰度级、其它颜色的灰度级。此外，在探测单元8或者其它设备中，在从距离图像机械地进行物体的探测等图像识别的情况下，也可以将利用示出从所述预定的点起的距离的数值来表示图像上的各点的图像作为距离图像。

这样，根据本实施方式，在由摄像单元5摄影的图像中，在经由镜头3的失真零区段而被摄影的区域内有探测对象的情况下，图像尺寸变换单元7输出将图像的经由失真零区段而被摄影的区域内的包含探测对象的范围切出得到的切出图像。然后，探测单元8根据该切出图像进行探测对象的探测。即，探测单元8根据形变小的图像进行探测对象的探测。因此，能够高精度地进行探测对象的探测。另外，探测单元8在探测中使用的图像是由图像尺寸变换单元7切出的图像，所以显示范围比由摄像单元5摄影的图像小。因此，无需过度降低分辨率，而能够减少图像的数据量。因此，能够在将探测单元8中的处理速度保持为高速的同时进行高精度的探测。

这样，根据本实施方式，能够在经由视场角确保区段进行宽范围的摄影的同时进行利用失真零区段的探测，从而能够进行高精度的探测。

此外，在本实施方式中，图像尺寸变换单元7也可以针对处于经由视场角确保区段而被摄影的区域内的探测对象，不进行包含该探测对象的图像的切出。根据这样的结构，针对处于视场角确保区段的探测对象，不进行包含该探测对象的图像的切出以及基于切出的图像实施的探测对象的探测。因此，能够减少探测单元8中的处理，能够降低施加到探测单元8的负荷。另外，关于处于视场角确保区段的探测对象不进行切出探测，从而能够增加关于处于失真零区段的探测对象进行的切出探测的次数，能够提高探测精度。

此外，在探测对象以横跨失真零区段和视场角确保区段的方式存在的情况下，依照预先决定的规则来判断探测对象存在于失真零区段还是存在于视场角确保区段即可。例如，也可以设为只要稍微涉及到一方的区段，就判断为存在于该一方的区段。另外，也可以设为在一方的区段中包含有预定的面积以上的探测对象的情况下，判断为存在于该一方的区段。

另外，根据本实施方式，探测单元8能够在根据由图像尺寸变换单元7缩小后的缩小图像进行探测对象的探测之后，根据以使显示范围比缩小图像小的方式由图像尺寸变换单元7切出的切出图像进行切出探测，并利用切出探测的结果来校正基于该缩小图像进行的探测的结果。因此，例如能够在通过全画面探测进行粗略但宽泛的探测之后，通过切出探测对处于失真零区段的探测对象进行高精度的探测。另外，能够利用切出探测的结果来校正全画面探测的结果，所以能够得到更正确或者精确的探测结果。即，这样能够同时实现宽泛的探测和高精度的探测。

另外，如上所述，也可以在探测单元8例如对“切出1”的区域进行切出探测之后，图像尺寸变换单元7切出显示范围的至少一部分与“切出1”的区域不同的“切出2”的区域，探测单元8对该“切出2”的区域进行探测。根据这样的结构，“切出1”的区域和“切出2”的区域的显示范围至少一部分不同，所以两个探测中的探测范围的一部分不同。因此，能够在失真零区段内在宽范围中进行高精度的探测。另外，能够根据关于“切出2”的区域的探测的结果，校正关于“切出1”的区域的探测或者全画面探测的结果，所以能够得到更正确或者精确的探测结果。

另外，如上所述，也可以在探测单元8例如对“切出1”的区域进行切出探测之后，图像尺寸变换单元7在“切出1”的区域的显示范围内以使显示范围比“切出1”的区域小的方式切出“切出2”的区域，探测单元8对该“切出2”的区域进行探测。根据这样的结构，“切出2”的区域成为处于“切出1”的区域的显示范围内且显示范围比“切出1”的区域小的区域。因此，例如能够如全画面探测、关于“切出1”的区域的切出探测、关于“切出2”的区域的切出探测那样，使探测范围逐渐变小，并且关于必要的范围逐渐提高探测精度。因此，关于探测对象，能够首先粗略地识别整体之后，针对特征点更详细地进行探测等。

Claims

1.一种立体摄像装置，其特征在于，具备：

探测单元，根据所述切出图像进行探测对象的探测。

2.根据权利要求1所述的立体摄像装置，其特征在于，

所述低形变区域的形变的量是5％以下。

3.根据权利要求1或者2所述的立体摄像装置，其特征在于，

所述立体摄像装置具备形变校正单元，该形变校正单元去除由所述镜头的形变引起的图像的形变，

4.根据权利要求1～3中的任意一项所述的立体摄像装置，其特征在于，

所述切出单元针对处于经由所述高形变区域而被摄影的区域内的探测对象，不进行包含该探测对象的图像的切出。

5.根据权利要求1～4中的任意一项所述的立体摄像装置，其特征在于，

所述立体摄像装置具备缩小单元，该缩小单元使由一对所述摄像单元摄影的图像的数据量变小，

6.根据权利要求5所述的立体摄像装置，其特征在于，

所述探测单元在进行所述第二探测之后，进行根据以使显示范围的至少一部分与所述第二切出图像的显示范围不同的方式由所述切出单元切出的第三切出图像进行探测对象的探测的第三探测，利用所述第三探测的结果来校正之前的探测的结果。

7.根据权利要求5或者6所述的立体摄像装置，其特征在于，

所述探测单元在进行所述第二探测之后，进行根据在所述第二切出图像的显示范围内以使显示范围比所述第二切出图像小的方式由所述切出单元切出的第四切出图像进行探测对象的探测的第四探测，利用所述第四探测的结果来校正之前的探测的结果。