CN107431747A - 摄像装置 - Google Patents

Abstract

具有多个摄像部，至少一个摄像部是以第一帧率进行摄像的摄像部，至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部；具有：运动体检测部，基于由以第二帧率进行摄像的摄像部取得的图像来检测运动体；以及距离检测部，基于由所述多个摄像部取得的多个图像的视差来检测与被摄体的距离。

Description

摄像装置

技术领域

本发明涉及摄像装置。

背景技术

作为本技术领域的背景技术，已知对被摄像的立体图像进行间隔剔除并记录至记录介质的装置(参照专利文献1)。

现有技术文献

专利文献

专利文献1：国际公布WO2010/128640号公报

发明内容

发明要解决的课题

但是，专利文献1中记载的技术没有考虑以高帧率被摄像的图像的处理。

用于解决课题的手段

根据本发明的第一方式，一种具有多个摄像部的摄像装置，优选所述多个摄像部之中的至少一个摄像部是以第一帧率进行摄像的摄像部，所述多个摄像部之中的至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部，所述摄像装置具有：运动体检测部，基于由以所述第二帧率进行摄像的摄像部取得的图像来检测运动体；以及距离检测部，基于由所述多个摄像部取得的多个图像的视差来检测与被摄体的距离。

发明效果

根据本发明，能够提供高性能且低成本的摄像装置。

附图说明

图1是表示第一实施方式中的摄像装置的结构的图。

图2是表示第一实施方式中的摄像定时信号的定时的一例的图。

图3是表示第一实施方式中的摄像装置的处理流程的图。

图4是表示在第一实施方式中由摄像装置摄像的图像的例子的图。

图5是表示第一实施方式中的摄像定时信号的定时的另一例的图。

图6是表示第二实施方式中的摄像装置的结构的图。

图7是表示第二实施方式中的摄像定时信号的定时的一例的图。

图8是表示第三实施方式中的摄像装置的结构的图。

图9是表示第四实施方式中的摄像装置的结构的图。

图10是表示第五实施方式中的摄像装置的结构的图。

具体实施方式

以下，使用附图说明本发明的实施方式。

(第一实施方式)

图1是表示本发明的摄像装置的第一实施方式的结构的图。本实施方式的摄像装置1例如被搭载在车辆的前方，构成为对信号灯、标识、障碍物等进行识别来辅助驾驶员的安全系统的一部分。

摄像部101、102、103构成为在图像传感器上安装有光学透镜。这些摄像部每次被输入后述的摄像定时信号则拍摄1张图像，并输出所摄像的图像。

此外，这些摄像部以取得大致同一范围的视场角的图像的方式被安装。进而摄像部101和摄像部102以规定的距离左右分离而设置，根据由摄像部101和摄像部102拍摄到的图像的偏差、所谓视差，能够计算至被摄体为止的距离。

另外，在图1中示出了摄像装置1的结构要素被收纳于同一箱体的例子，但例如也可以将摄像部101、102、103一起收纳到与其他结构要素不同的箱体，也可以将摄像部101和摄像部102以左右分离的形式收纳于同一箱体，而将摄像部103收纳于再其他的箱体(该图中虚线框)，进而也可以将摄像部101、102、103分别收纳于不同的箱体而安装于车辆。在该情况下，图像信号和摄像定时信号通过未图示的连接线缆连接即可。作为使用连接线缆来传输图像的方法，有使用LVDS(低压差分信号：LowVoltage Differential Signaling)方式的差动传输路径的双向传输方法等。

进而，通过将摄像部101和摄像部102的图像传感器设为彩色图像传感器，从而能够取得所摄像的图像的颜色信息。关于摄像部103，将图像传感器设为黑白图像传感器从而降低成本，但也可以是彩色图像传感器。此外，也可以构成为将摄像部103和后述的运动体检测部106收纳于同一箱体，输出运动体检测结果。在该情况下，不输出图像本身，因此能够降低所传输的数据量。

摄像定时信号生成部104将所生成的例如脉冲状的摄像定时信号输出至摄像部101、102、103。如前述那样，各摄像部通过输入1脉冲的该摄像定时信号从而摄像1张图像。摄像定时信号生成部104对摄像部101、102、103分别输出独立的摄像定时信号，从而能够控制各摄像部的摄像定时。

距离检测部105输入摄像部101和摄像部102的图像来检测被摄体的距离。作为检测距离的方法，例如有如下方法。距离检测部105获取来自摄像部101、102的图像，以使双方的图像的亮度相对应的方式利用预先计测的校正值进行校正，接着还以使水平位置相对应的方式利用预先计测的校正值进行校正。校正值的计测在摄像装置的制造工序中进行。按适用校正值前的每个装置，对特定的被摄体进行摄像，求出使得所获取的图像的亮度变得均匀的每个像素的亮度校正值、及使得图像变得水平的每个像素的几何校正值，分别作为校正表而在每个装置中保存在例如未图示的非易失性存储器中。

接着进行视差的计算。如前述那样，摄像部101和摄像部102以规定的距离在左右分离而设置，因此所摄像的图像具有视差。计算该视差。作为视差的计算方法，例如有块匹配方式。距离检测部105例如在水平方向上搜索与从摄像部101的图像上较小地切出的规定尺寸的块区域对应的、摄像部102的图像上的显示相同被摄体的区域。并且摄像部101和摄像部102中的一致的块区域的位置的差成为视差。

在整个图像上进行上述处理。作为对一致进行比较的方法，例如，将使得块区域内的像素的亮度的差分的总和变小的位置作为视差。已知距离能够根据摄像部101、摄像部102的透镜焦点距离、摄像部101与摄像部102的距离、上述求得的视差、及摄像传感器的像素间距求出。其中，距离的计算方法并非限定于此。

运动体检测部106输入摄像部103的图像来检测被摄体的运动。作为检测运动的方法，例如有如下方法。运动体检测部106获取来自摄像部103的图像，检测所获取到的图像的时间性的变化。作为时间性的变化的检测方法，例如也有块匹配方式。

运动体检测部106依次积蓄摄像部103的例如多张图像，在上下左右方向上搜索与将某图像较小地切出的规定尺寸的块区域对应的、下一图像上的显示相同被摄体的区域。并且块区域一致的位置成为该块区域的被摄体运动的方向和量。作为对一致进行比较的方法，与上述的距离检测同样，有求出使得块区域内的像素的亮度的差分的总和变小的位置的方法等。

在整个图像上进行上述处理，而且针对所输入的图像依次处理，从而能够取得被摄体的时间性的运动。进而，在车辆移动的情况下，去除与该移动相伴的背景的移动量从而检测运动体。背景的运动的推定例如被记载于非专利文献：清原将裕等著《用于车辆周边监视的移动体检测技术的开发》ViEW视觉技术的实际利用研讨会(2011.12.8-9横滨)pp.275-280。作为检测结果，例如是按每个块区域表示运动的朝向和大小的矢量。但是，被摄体的运动的检测方法并非限定于此。

识别部107接受距离检测部105和运动体检测部106的检测结果，对图像上的坐标位置进行比较参照从而识别运动体的距离。识别部107将识别结果的信息输出至摄像装置1的外部。

另外，也可以在基于3张图像的识别处理结束后，识别部107对摄像定时信号生成部104输出该情况，从而摄像定时信号生成部104输出接下来的摄像定时信号。

图2是表示由摄像定时信号生成部104生成并输出的摄像定时信号的脉冲波形定时的一例的图。在该图中(2-1)是输出至摄像部101的摄像定时信号。同样地(2-2)是输出至摄像部102的摄像定时信号，(2-3)是输出至摄像部103的摄像定时信号。

例如，在(2-1)、(2-2)中，以每1秒30脉冲的周期同时输出至摄像部101、102，在(2-3)中以每1秒480脉冲的周期输出至摄像部103。在该情况下，虽未图示，但在(2-1)(2-2)的1脉冲的期间，(2-3)输出16脉冲的定时信号。此外，这些摄像定时信号同步，(2-1)(2-2)(2-3)的摄像定时信号在摄像定时T21、T22、T23、T24、T25中同时一起输出，此时摄像部101、102、103同时进行摄像。

即，在根据由摄像部101和摄像部102摄像的图像来检测距离的情况下，在摄像部103中摄像相同时间的图像，因此能够准确地进行在前述对运动体进行距离识别时的图像的比较参照。另外，不需要必须在相同的时间进行摄像，还能够有意地错开一定的时刻拍摄。

图3是表示本发明的摄像装置的一实施方式的处理流程的图。如前述那样，通过摄像部101及102检测被摄体的距离，通过摄像部103检测运动体。

首先，通过摄像部101及102进行拍摄(S301：S表示步骤)，根据所摄像的两个图像来检测视差(S302)。接着，根据如上述那样检测的视差来计算距离(S303)。以图2所示的摄像定时(2-1)(2-2)的周期反复进行该S301、S302、S303的处理。

此外，根据由摄像部103拍摄到的图像来检测运动体。如前述那样，通过摄像部103进行拍摄(S304)，根据所摄像的图像来检测被摄体的运动(S305)。接着去除背景的移动量(S306)。以图2的摄像定时(2-3)的周期反复进行该S304、S305、S306的处理。并且，在识别部107中识别运动体的距离(S307)。

图4是表示在本发明的摄像装置的一实施方式中摄像的图像的例子的图。图像401是在某时刻由摄像部103摄像的图像，摄像部101、102也拍摄而取得大致同样的图像。被摄体402、403、404设为处于大致相同的距离。图像内的框在所摄像的图像中不存在，用于明确示出所识别的运动体。

被摄体402表示捕捉到由于突然跑出而进入了拍摄范围的行人并识别为运动体，被摄体403表示交通信号灯的绿灯点亮而被识别为运动体。由于交通信号灯使用对商用交流电源进行了整流而得到的电源，所以以100Hz或者120Hz闪烁(所谓动态点亮)。从而例如在以每1秒30张的周期拍摄的情况下，交通信号灯看上去时亮时暗或者熄灭。

因此如本实施方式那样，例如以每1秒480张的周期进行拍摄，从而能够准确地捕捉交通信号灯点亮的期间。被摄体404也是行人，与被摄体402、403处于大致相同的距离，但由于静止而不被识别为运动体。这样，根据本实施方式，能够准确地捕捉突然跑出的人、信号机、此外的动态点亮的显示器。

根据本实施方式，由两个摄像部检测被摄体的距离，且由其他摄像部以比距离检测更高的帧率检测运动体，从而能够快速检测运动体的距离，能够提高安全性。以高帧率进行摄像的摄像部与用于检测距离的摄像部独立，因此以对以往的距离检测功能追加的形式，不限制距离检测功能就能够实现。

图5是表示由摄像定时信号生成部104生成并输出的摄像定时信号的脉冲波形定时的另一实施方式的图。在该图中(5-1)(5-2)是分别输出至摄像部101、102的摄像定时信号。(5-3)表示输出至摄像部103的摄像定时信号。

在该图中，在摄像定时T51，在根据由摄像部103拍摄到的图像，由运动体检测部106将前述的突然跑出的人检测为运动体的情况下，运动体检测部106对摄像定时信号生成部104通知已检测出。摄像定时信号生成部104接受该通知，在摄像定时T52，对摄像部101、102输出摄像定时信号。

通过在摄像定时T52紧前的摄像定时信号拍摄的图像正在摄像过程中，因此被丢弃，但从摄像定时T52重新进行摄像，因此能够较早地取得运动体的距离。此外，在捕捉到如前述的交通信号灯那样动态点亮的显示器的情况下，在运动体检测部106中，还能够根据亮度信号的变化，与点亮的定时相应地输出摄像定时信号。

在该情况下，在距离检测部105中，能够作为交通信号灯始终点亮的状态，因此检测视差的情况下的亮度值不受摄像定时影响，能够准确地计算距离。在该情况下，通过将摄像部101、102的图像传感器设为彩色像素传感器，能够准确地判别所点亮的信号灯的颜色。

此时，摄像部103的图像传感器根据亮度信号的变化来进行运动体检测，因此也可以是黑白图像传感器，来降低装置的成本。

根据本实施方式，由两个摄像部检测被摄体的距离，且由其他摄像部以比检测距离更高的帧率来检测运动体时，与运动体的状态相应地进行距离检测的动作，因此能够快速检测运动体的距离，能够提高安全性。

(第二实施方式)

图6是表示本发明的摄像装置的第二实施方式的结构的图。在该图中示出摄像部601、帧率变换部602。在本实施方式中，具备摄像部601和摄像部102这两个摄像部作为摄像部。摄像部601和摄像部102以规定的距离在左右分离而设置，根据由摄像部601和摄像部102拍摄到的图像的视差，能够计算至被摄体为止的距离。此外，摄像定时信号生成部104对摄像部601和摄像部102输出摄像定时信号。

图7是表示图6所示的摄像装置中的、由摄像定时信号生成部104生成并输出的摄像定时信号的定时的一例的图。在该图中(7-1)是输出至摄像部601的摄像定时信号，(7-2)表示输出至摄像部102的摄像定时信号。在(7-1)中，例如以每1秒480脉冲的周期同时输出至摄像部601，在(7-2)中，以每1秒30脉冲的周期输出至摄像部102。

这些摄像定时信号同步，(7-1)(7-2)的摄像定时信号在摄像定时T71、T72、T73、T74、T75同时一起输出，此时摄像部601和摄像部102同时进行摄像。

再次返回图6进行说明。如前述那样，摄像部601、摄像部102按照从摄像定时信号生成部104输出的摄像定时信号进行摄像。帧率变换部602被插入至摄像部601和距离检测部105之间。帧率变换部602降低所输入的图像的帧率而输出至距离检测部105。

帧率的变换例如有对所输入的图像进行间隔剔除并输出的方法、取多张图像的平均并输出的方法等。在此，将图7的摄像定时T71、T72、T73、T74及T75的图像输出至距离检测部105，丢弃这以外的图像。由此，对距离检测部105，由摄像部601及摄像部102在相同的定时拍摄的图像以每1秒30张输入。

这以后的动作与第一实施方式相同，在距离检测部105中，根据由摄像部601和摄像部102在相同的定时摄像的图像的视差来检测被摄体的距离，且将由摄像部601摄像的图像输入至运动体检测部106，进行运动体检测。识别部107接受距离检测部105和运动体检测部106的检测结果，对图像上的坐标位置进行比较参照从而识别运动体的距离。

在本实施方式中，由摄像部601和摄像部102这两个摄像部构成，在摄像部601中，根据以高帧率拍摄到的图像进行运动体检测，此外，在帧率变换部602中，以与在摄像部102中拍摄到的图像的帧率、摄像定时对应的方式，对图像进行间隔剔除并输出至距离检测部105，因此与本发明的摄像装置的第一实施方式相比，能够以更低成本实现，且得到同样的性能的距离检测功能。此外，摄像部为两个即可，所以能够通过减轻摄像部侧的重量、降低功耗、缩小箱体来减少对车辆设置的尺寸限制，能够降低成本。另外，也可以使摄像部102以与摄像部601相同的高帧率拍摄，在与距离检测部105之间同样地插入帧率变换部。在该情况下，摄像部601和摄像部102能够采用相同性能的图像传感器。

(第三实施方式)

图8是表示本发明的摄像装置的第三实施方式的结构的图。在本实施方式中，将第一实施方式的摄像部103和运动体检测部106收纳于不同箱体而设为运动体摄像部802，将剩余的部分设为视差摄像部801。在该情况下，能够对视差摄像部801追加运动体摄像部802而构成，能够容易地分开提供仅进行距离检测的装置、和除了距离检测之外还进行运动体检测的装置。此外，在该实施方式的情况下，在视差摄像部801与运动体摄像部802之间不输出图像本身，因此能够降低所传输的数据量。

(第四实施方式)

图9是表示本发明的摄像装置的第四实施方式的结构的图。摄像装置1被搭载于汽车等车辆，在该图中示出车辆控制部901。识别部107的输出被输入至车辆控制部901。车辆控制部901接受识别部107的识别结果，对车辆的其他未图示的装置进行控制。作为车辆的控制，是基于检测到突然跑出的人、红灯、道路标识，对驾驶员点亮警告灯、发出警告音、通过刹车制动进行减速、停止控制、跟随前车时的节流阀、刹车控制、用于避免其他碰撞、维持斜线的转向角控制等。这些车辆控制信息从摄像装置1对未图示的其他装置经由车内网络而输出。另外，在该图中示出了车辆控制部901与摄像装置1被收纳于同一箱体的例子，但并非限于此，也可以如前述那样，将摄像部101、102、103设为不同箱体。

(第五实施方式)

图10是表示本发明的摄像装置的其他的第五实施方式的结构的图。示出网络摄像部201、网络运动体检测部203。示出LAN(局域网：Local AreaNetwork)206、控制部205。网络摄像部201、网络运动体检测部203经由LAN206与控制部205连接。此外，示出图像压缩/接口部202、运动体检测/接口部204、网络接口部207、摄像定时信息发送部208、图像展开部209、运动体检测接收接口部210。

图像压缩/接口部202对由摄像部101、摄像部102拍摄到的图像进行压缩并发送至LAN206，此外接收从LAN206传送来的摄像定时信息并传递至摄像部101、102。为了减少图像压缩的处理时间，也可以不使用多个图像的时间性的相关关系，而是使用在一张图像内进行压缩的画面内压缩方式。此外，也可以选择并切换影像压缩编码方式。图像压缩/接口部202生成压缩编码数据，按照规定的网络协议发送数据。

在控制部205中，在网络接口部207中经由LAN206进行压缩图像数据的接收和摄像定时信息的发送。在摄像定时信息发送部208中，发送表示各摄像部101、102、103摄像的摄像定时的摄像定时信息。在本实施方式中，在网络摄像部201、网络运动体检测部203和控制部205之间，设置有使时刻同步的架构。

作为使时刻同步的方法，例如能够使用在IEEE1588中记载的方法、IEEE802.1AVB的方式。使用这样的对时刻信息进行收发的方法，在连接于网络的设备间定期地使时刻同步。例如，使用例如PLL(锁相环：PhaseLocked Loop)基于时刻信息来调节网络摄像部201中的基准信号的振荡周期。

通过这样，能够使基准信号的周期在设备间一致，能够将时刻同步。在该状态下，作为摄像定时信息，发送已同步的时刻的绝对时间、相对于此的相对时间、时间间隔等，从而能够使摄像定时相对应。摄像定时信息例如在电源接通后对各摄像部101、102、103进行发送。在本实施方式中，对摄像部101、102发送相同的摄像定时信息，对摄像部103发送以比摄像部101、102更高的帧率摄像的摄像定时信息，从而能够在前述的图2所示的摄像定时进行摄像。在摄像定时信息为相对时间、时间间隔的情况下，在摄像部101、102、103中，一边参照在设备间同步的时刻一边按照所接收到的摄像定时信息进行摄像，因此不需要每次传送摄像定时信息。

在图像压缩/接口部202和运动体检测/接口部204中，基于所接收到的摄像定时信息，生成前述的实施方式的脉冲状的摄像定时信号，输出至摄像部101、102、103。

由控制部205的网络接口部207接收到的压缩图像数据在图像展开部209中被展开为原来的图像，将由摄像部101拍摄到的图像和由摄像部102拍摄到的图像输出至距离检测部105。

另一方面，在网络运动体检测部203中，根据由摄像部103基于由运动体检测/接口部204接收到的摄像定时信息摄像的图像来检测运动体。检测的方式与前述的实施方式是同样的方式即可。将作为运动体检测结果的每块的矢量变换为规定的格式而经由LAN206发送至控制部205。在控制部205中，对由网络接口部207接收到的运动体检测结果，在运动体检测接收接口部210中将格式变换为每块的矢量。以后的动作与最初的实施方式同样。

根据本实施方式，经由LAN206来交换图像、摄像定时信息，因此能够减轻摄像部侧的处理量，能够通过减轻摄像部侧的重量、降低功耗、缩小箱体来减少对车辆设置的尺寸限制。此外，能够对由网络摄像部201和控制部205构成的摄像装置追加网络运动体检测部203而构成，能够容易地分开提供仅进行距离检测的装置、和除了距离检测之外还进行运动体检测的装置。此外，在网络运动体检测部203与控制部205之间不输出图像本身，因此能够降低所传输的数据量。

以上那样，由两个摄像部检测被摄体的距离，且以比检测距离更高的帧率来检测运动体，从而能够快速检测运动体的距离，能够提供高性能且低成本的装置。

另外，本发明并非限定于上述的实施方式，还包含各种变形例。例如，为了易于理解地说明本发明而详细地说明了上述的实施方式，并非限定于必须具备所说明的全部结构。此外，能够将某实施方式的结构的一部分置换为其他实施方式的结构，此外，还能够对某实施方式的结构追加其他实施方式的结构。此外，关于各实施方式的结构的一部分，能够进行其他结构的追加/删除/置换。

此外，上述的各结构既可以是它们的一部分或者全部由硬件构成，也可以构成为通过由处理器执行程序来实现。此外，示出认为说明上所需的控制线、信息线，不限于示出产品上所需的全部控制线、信息线。也可以认为实际上基本上全部结构相互连接。

下面的优先权基础申请的公开内容以引用方式被收录于此。

日本特许申请2015年第076435号(2015年4月3日申请)

标号说明：

1……摄像装置，101～103……摄像部，104……摄像定时信号生成部，105……距离检测部，106……运动体检测部，107识别部，401……拍摄图像，402～404……被摄体，601……摄像部，602……帧率变换部，801……视差摄像部，802……运动体摄像部，901……车辆控制部，201……网络摄像部，202……图像压缩/接口部，203……网络运动体检测部，204……运动体检测/接口部，205……控制部，206……LAN、207……网络接口部，208……摄像定时信息发送部，209……图像展开部，210……运动体检测接收接口部。

Claims (10)

1.一种摄像装置，具有多个摄像部，

所述多个摄像部之中的至少一个摄像部是以第一帧率进行摄像的摄像部，

所述多个摄像部之中的至少一个摄像部是以比所述第一帧率更高的第二帧率进行摄像的摄像部，

所述摄像装置具有：

运动体检测部，基于由以所述第二帧率进行摄像的摄像部取得的图像来检测运动体；以及

距离检测部，基于由所述多个摄像部取得的多个图像的视差来检测距被摄体的距离。

2.如权利要求1所述的摄像装置，还具有：

识别部，基于所述运动体检测部和所述距离检测部的输出来识别距所述运动体的距离。

3.如权利要求1所述的摄像装置，具有：

摄像定时信号生成部，将用于在同步的定时进行摄像的摄像定时信号分别输出至所述多个摄像部，

所述多个摄像部基于所输入的摄像定时信号进行摄像。

4.如权利要求1所述的摄像装置，还具有：

帧率变换部，将由以所述第二帧率进行摄像的摄像部摄像的图像的帧率，变换为基于以所述第一帧率进行摄像的摄像部的参数决定的帧率。

5.如权利要求3所述的摄像装置，

所述摄像定时信号生成部基于所述运动体检测部的输出，控制向所述多个摄像部输出的摄像定时信号。

6.如权利要求4所述的摄像装置，

所述帧率变换部控制为：基于所述运动体检测部的输出，对由以所述第二帧率进行摄像的摄像部摄像的图像的帧率进行变换。

7.如权利要求5所述的摄像装置，

所述摄像定时信号生成部基于所述运动体检测部的输出，控制向以所述第一帧率进行摄像的摄像部输出的摄像定时信号。

8.如权利要求3所述的摄像装置，

所述多个摄像部与所述摄像定时信号生成部经由网络连接，

所述摄像定时信号生成部对所述多个摄像部分别发送摄像定时信息，

所述多个摄像部基于来自网络的所述摄像定时信息进行摄像。

9.如权利要求3所述的摄像装置，

所述摄像部及所述运动体检测部与所述摄像定时信号生成部经由网络连接。

10.如权利要求2所述的摄像装置，

所述摄像装置具备车辆控制部，该车辆控制部控制车辆的运动，

所述车辆控制部基于所述识别部的识别结果来控制所述车辆。