CN105930764A - 能对立体视野摄像的摄像装置以及摄像方法 - Google Patents

Abstract

本发明提供能对立体视野摄像的摄像装置以及摄像方法。摄像装置由具有第1透镜的第1摄像部、和具有比第1透镜更广角的第2透镜的第2摄像部取得被拍摄对象的图像数据，并从由第1摄像部拍摄到的被拍摄对象的图像数据、和由第2摄像部拍摄到的被拍摄对象的图像数据取得有视差的一对图像数据。

Description

能对立体视野摄像的摄像装置以及摄像方法

本发明基于并主张2015年2月26日提出申请的在先日本专利申请2015-036003号的优先权，将其全部内容援引于此。

技术领域

本发明涉及能对立体视野进行摄像的摄像装置以及摄像方法。

背景技术

关于例如汽车、搬运车或机器人那样的自动移动体，要求在移动中总是监视周边的状况并在预先决定的前进路径上安全行驶，或者在前方有表示停止位置的停止板或标识等的情况下，对其进行识别，并在该停止板或标识等的近前停止。

为此，以往，作为自动移动体的搭载装置之一，例如为了能够进行自动驾驶而使用各种摄像机。

在特开2003-97914号公报中，公开了用于检测正移动的被拍摄对象而非自动移动体的位置的立体摄像机。该立体摄像机用于得到立体视野，能根据由立体摄像机得到的一对图像数据来测量被拍摄对象的位置和距离。

另外，在特开2003-169233号公报中，公开了搭载有广角摄像机或具有精细的分辨率的摄像机的汽车。该汽车构成为由广角摄像机得到广角视野或由具有精细的分辨率的摄像机得到高精细视野，且构成为能进行与周边状况或前方状况相应的行驶。

发明内容

本发明所涉及的摄像装置的一个方式具备：第1摄像部，其具有第1透镜；第2摄像部，其具有比所述第1透镜更广角的第2透镜；以及图像数据取得部，其取得由所述第1摄像部以及所述第2摄像部拍摄到的被拍摄对象的图像数据，并基于由所述第1摄像部拍摄到的所述被拍摄对象的图像数据、和由所述第2摄像部拍摄到的所述被拍摄对象的图像数据来取得有视差的一对图像数据。

另外，本发明所涉及的摄像方法的一个方式是由摄像装置执行的摄像方法，该摄像方法包括：取得由具有第1透镜的第1摄像部拍摄到的被拍摄对象的图像数据，并取得由具有比所述第1透镜更广角的第2透镜的第2摄像部拍摄到的所述被拍摄对象的图像数据的步骤；以及基于由所述第1摄像部拍摄到的所述被拍摄对象的图像数据、和由所述第2摄像部拍摄到的所述被拍摄对象的图像数据来取得有视差的一对图像数据的步骤。

本发明的另外的目标和优点将在之后的描述中详细说明，且这些目标和优点部分地将会从描述中显而易见，或者可以通过实施本发明而得知。本发明的这些目标和优点可以通过下文特别指出的手段和组合来实现和获得。

附图的多视角简短描述

包含于并组成说明书的一部分的附图例示了本发明的具体方式，这些附图和上面给出的一般描述和接下来给出的具体方式的详细描述一起用于解释本发明的原理。

附图说明

图1是用于说明包括本发明所涉及的摄像装置在内的车载装置的控制构成的框图。

图2是用于说明摄像装置的视野的俯视图。

图3是表示图1的车载装置的信号或数据的流动的框图。

图4是表示图1的车载装置所被使用的环境的一例的正面的示意图。

图5是表示图4的环境的平面的示意图。

图6是表示在图1的车载装置中执行的字符识别处理以及驾驶驱动控制处理的流程图。

图7是表示在图1的车载装置中执行的车道监视处理以及驾驶驱动控制处理的流程图。

图8是表示在图1的车载装置中执行的测距处理以及驾驶驱动控制处理的流程图。

图9是表示透视投影模型的示意立体图。

具体实施方式

以下参考图1～图9来说明本发明的1个实施方式。另外，在以下的说明以及图中，对同一要素标注同一标号，省略重复的说明。

[构成]

图1是表示自动驾驶车辆中的车载装置的功能构成的框图。如图1所示，该车载装置10具备：作为第1摄影单元的第1摄像部11、作为第2摄影单元的第2摄像部12、车辆驱动装置13、记录部14、和处理部15。

另外，虽然图1中未图示，但车载装置10也可以具备输入部和显示部。这种情况下的输入部除了能适当地采用触控面板以外，还能适当地采用按钮开关等输入装置来实现，且该输入部将与操作输入相应的输入信号输出到处理部15。另一方面，显示部能通过LCD或EL显示器等显示系统实现，以从处理部15输入的显示信号为基础来显示各种画面。另外，也可以构成为具备通信部而能进行远程操纵。

如图9所示，第1摄像部11例如包括：作为摄像用的标准透镜的第1透镜11a、和将通过第1透镜11a入射的光变换成电信号的摄像元件11b等，该第1摄像部11生成被拍摄对象(对象物)的图像数据并输出到处理部15。

另外，如图9所示，第2摄像部12包括：比上述第1透镜更广角的第2透镜12a、和将通过该第2透镜12a入射的光变换成电信号的摄像元件12b等，第2摄像部12生成被拍摄对象的图像数据并输出到处理部15。

在本实施方式中，虽未特别限定，但将第1摄像部11和第2摄像部12朝向正面，平行等位地进行设置。即，第1摄像部11的光轴和第2摄像部12的光轴都在前后方向上延伸，平行且被设于相同的高度位置。这样做是因为，由于在两摄像部11、12间有极线约束(epipolar constraint)这样的条件，因而通过平行等位地设置，只要在水平方向上一维地进行匹配时的搜索就够了。另外，第1摄像部11的精细度高于第2摄像部12的精细度。

记录部14能够通过可更新记录的闪速存储器等ROM或RAM这样的各种IC存储器、硬盘、存储卡等信息记录介质以及其读取装置等实现。在该记录部14预先保存用于实现自动驾驶车辆所具备的各种功能的程序和在该程序的执行过程中使用的各种数据并适当更新，或者在每次处理时临时保存。

例如，在该记录部14中保存图像数据取得程序141、字符识别程序142、车道监视程序143、测距程序144以及车辆驱动控制程序145、和各程序的执行所需要的各种数据146。在这当中的图像数据取得程序141之中包括将来自第2摄像部12的图像数据的一部分切出的剪切程序141a。

这当中的图像数据取得程序141用于取入来自第1摄像部11以及第2摄像部12的图像数据，为同时或选择性地取入来自第1摄像部11以及第2摄像部12的图像数据、或者对来自第2摄像部12的图像数据进行剪切所需要。另外，图像数据取得程序141用于将来自第1摄像部11以及第2摄像部12的图像数据2值化。

字符识别程序142用于识别包含于来自第1摄像部11的图像数据之中的字符数据，例如为识别显示于设置在应使自动驾驶车辆停止的位置处的停止板上的停车位置编号等、或者识别标识和其他字符所需要。

车道监视程序143用于基于来自第2摄像部12的图像数据来监视车道，例如为了监视行驶的自动驾驶车辆的左右的位置偏离和左右的障碍物而需要。

测距程序144用于基于来自第1摄像部11的图像数据和来自第2摄像部13的图像数据的一部分来算出被拍摄对象的位置或距被拍摄对象的距离。

车辆驱动控制程序145用于基于字符识别、车道监视以及测距等结果来生成车辆驱动控制信号，控制自动驾驶车辆的驱动。

处理部15例如与图像数据取得程序141协作而作为图像数据取得部151起作用，与字符识别程序142协作而作为字符识别部152起作用，与车道监视程序143协作而作为车道监视部153起作用，与测距程序144协作而作为测距部154起作用，与车辆驱动控制程序145协作而作为车辆驱动控制部155起作用。在这当中的图像数据取得部151中包括将来自第2摄像部12的图像数据的一部分切出的剪切部151a。

图2示意性地示出本实施方式所涉及的摄像装置的视野。第1摄像部11的第1透镜11a的视野(高精细视野)以标号a示出，第2摄像部12的第2透镜12a的视野(广角视野)以标号b示出，剪切后的第2透镜12a的视野以标号c示出，视野a和视野c的共同的视野(立体视野)以标号d示出。这种情况，虽没有特别限制，但将与视野a对应的视角和与视野c对应的视角设定为相同。另外，将与第2透镜12a的视野b对应的视角设定为包含与第1透镜11a的视野a对应的视角。

本实施方式利用这当中的视野a、视野b和视野d这3个视野来进行自动驾驶车辆的驱动控制。若说明该驱动控制的概况，则如下述那样。

图3表示图1所示的车载装置10中的信号和数据的流动。

如图3所示，图像数据取得部151使从第1摄像部11输出的与视野a对应的图像数据输入到字符识别部152以及测距部154双方。然后，由字符识别部152基于该被输入的图像数据来识别包含于该图像数据中的字符数据，将其结果送至车辆驱动控制部155，对车辆驱动装置13进行驱动控制。

另外，图像数据取得部151使从第2摄像部12输出的与视野b对应的图像数据输入到车道监视部153，并经由剪切部151a输入到测距部154。在剪切部151a中，从与视野b对应的图像数据中提取与视野c对应的图像数据，将该提取出的与视野c对应的图像数据输出到测距部154。然后，由车道监视部153基于该被输入的图像数据来识别本车相对于车道的位置，将其结果送至车辆驱动控制部155，由车辆驱动控制部155对车辆驱动装置13进行驱动控制。

另外，由测距部154根据与视野a对应的图像数据和与视野c对应的图像数据生成与视野d对应的有视差的一对图像数据，基于此来算出距被拍摄对象的距离，将其结果送至车辆驱动控制部155，由车辆驱动控制部155对车辆驱动装置13进行驱动控制。在该测距部154中，由于根据与视野a对应的图像数据和与视野c对应的图像数据生成(取得)与视野d对应的有视差的一对图像数据，因此该测距部154的一部分与图像数据取得部151一起构成图像数据取得单元。另外，也可以在由图像数据取得部151生成与视野d对应的有视差的一对图像数据后，将该图像数据输入到测距部154。

接下来，结合自动驾驶车辆实际所处的环境，与驾驶控制处理一起来说明字符识别处理、车道监视处理以及测距处理。

图4是表示自动驾驶车辆所处的环境的一例的主视图。另外，图5是该环境的俯视图。

在该环境中，自动驾驶车辆1位于被左右的车道边界线30a、30a相夹的车道30上，在前方存在记载了用于识别停车位置的编号(停止位置编号31a)即字符“1024”的停止板31。

若说明在这样的环境下执行的处理部15的处理动作，则如下述那样。

(字符识别处理以及驾驶控制处理)

在图6示出这种情况下的处理内容。

字符识别部152将与视野a对应的图像数据分割为字符和图形/图像区域的数据，根据字符区域的数据进行被认为是字符数据的区域的确定(步骤S1)。接下来，字符识别部152进行与登记在图案辞典中的字符数据之间的图案匹配，并拾取字符候补数据(步骤S2)。接下来，字符识别部152将字符候补数据的组合与单词辞典进行比较，选择被认为是正确的数据，生成字符数据(步骤S3)。然后，字符识别部152输出该字符数据。

然后，车辆驱动控制部155基于该字符数据来控制车辆驱动装置13(步骤S4)

即，车辆驱动控制部155判定该字符数据是否与所期望的停车位置编号数据一致。在该判定结果为否定的情况下，车辆驱动控制部155控制车辆驱动装置13中的行驶装置(电动机等)或操舵装置来使自动驾驶车辆1朝向其他停车位置编号31a的停止板31所存在的场所，另一方面，在判定结果为肯定的情况下，车辆驱动控制部155控制车辆驱动装置13中的行驶装置来使自动驾驶车辆1接近该停车位置编号31a的停止板31。

(车道监视处理以及车辆驱动控制处理)

在图7示出这种情况下的处理内容。

车道监视部153在与视野b对应的图像数据之中切出与左右的车道边界线30a、30a对应的车道边界线数据(步骤S11)。接下来，车道监视部153基于该车道边界线数据来求取在画面上分别从左右的车道边界线30a、30a到画面中心的水平距离(步骤S12)。这种情况下的距离通过对包含于画面中的像素数进行计数来求取。或者预先将画面分割成纵横给定的像素数的小区域，通过对该小区域的数量进行计数来求取。另外，在预先确定了左右的车道边界线30a、30a的宽度的情况下，能通过该计数简单地求取分别从左右的车道边界线30a、30a到自动驾驶车辆1的中心轴的距离。然后，车道监视部153输出该距离的测定结果。

然后，车辆驱动控制部155基于该结果来控制车辆驱动装置13(步骤S13)。

即，车辆驱动控制部155例如基于该结果来判定本车的左右偏离是否超过阈值。在判定结果为否定的情况下，车辆驱动控制部155控制车辆驱动装置13中的行驶装置来使自动驾驶车辆1径直地接近停止板31。另一方面，在判定结果为肯定的情况下，车辆驱动控制部155控制车辆驱动装置13中的操舵装置来使得朝向消除本车的左右偏离的方向转向。

另外，也可以根据车道边界线数据来检测左右的车道边界线30a、30a的倾斜度，基于该检测结果对自动驾驶车辆1进行驱动控制，以使该倾斜度变得合适。

(测距处理以及车辆驱动控制处理)

在图8示出这种情况下的处理内容。

测距部154在与视野d对应的图像数据之中确定与共同的被拍摄对象(例如停车板31)对应的图像数据(步骤S21)，并通过滤波处理将该确定出的图像数据周边的噪声去除(步骤S22)。接下来，测距部154使用给定的计算式来求取所确定出的图像数据的重心(步骤S23)。之后，测距部154通过立体法来求取距重心的距离(步骤S24)，并输出。

在图9示出与本实施方式等价的投影照射模型。所谓“投影照射模型”认为：来源于1个三维点的光直线地到达透镜中心，作为该直线与摄像平面相交的顶点，被投影为二维图像上的对应的点。使用该投射投影模型来说明测距的办法。

在图9中，B是第1摄像部11与第2摄像部12的中心间距离(摄影基线长度)，f1是第1摄像部11的第1透镜11a的焦距，f2是第2摄像部12的第2透镜12a的焦距，P1(x1，y1)是第1摄像部11的图像坐标，P2(x2，y2)是第2摄像部12的图像坐标，P(x，y，z)是测定点的三维坐标，标号20是对象物。另外，在此，为了简化说明，使第1透镜11a和第2透镜12a夹着自动驾驶车辆1的中心轴处于对称位置，并且将三维坐标的原点设为第1摄像部11的第1透镜11a与第2透镜12a的中点。

这种情况下，在对象物20上的测定点P(x，y，z)、画面上的对应点P1(x1，y1)、P2(x2，y2)、焦距f1、f2之间有以下式子所示的关系。

x＝[B×[x1+(f1×x2/f2)]]/[2×[x1-(f1×x2/f2)]]

y＝(y1×B)/[x1-(f1×x2/f2)]

z＝(f1×B)/[x1-(f1×x2/f2)]

由此，能求取对象物20的测定点的位置坐标(x，y，z)，进而能求取距测定点的距离z。

另外，上述的P1(x1，y1)、P2(x2，y2)的坐标通过在第1摄像部11的画面上以及第2摄像部12的画面上对像素的数量或由纵横给定的像素数构成的小区域的数量进行计数来求取，但是由于第2摄像部12的画面比第1摄像部11的画面小剪切掉的量，因此需要将在第2摄像部12的画面上计数的像素的数量或小区域的数量换算成在第1摄像部11的画面上计数的像素的数量或小区域的数量。

若如此求得距测定点的距离，则车辆驱动控制部155基于该测距结果来控制车辆驱动装置13(步骤S25)。

即，车辆驱动控制部155考虑距停止板31的距离以及本车的速度来控制车辆驱动装置13中的行驶装置(电动机或制动器等)，从而使自动驾驶车辆1接近所期望的该停止板31后停车。

以上说明了本发明的实施方式，但本发明并不限定于上述实施方式，当然能在不脱离其要旨的范围内进行种种变形。

例如，在上述实施方式中，平行等位地设置第1摄像部11和第2摄像部12，但也可以不是平行等位。即，第1摄像部11的光轴和第2摄像部12的光轴也可以交叉。另外，也可以不将第1摄像部11的光轴和第2摄像部12的光轴设置在相同的高度位置。

另外，在上述实施方式中，图像数据取得部151对来自第1摄像部11的图像数据和来自第2摄像部12的图像数据进行2值化处理，但也可以由摄像元件11b、12b、字符识别部152、剪切部151a、车道监视部153或测距部154等进行2值化处理。

另外，在上述实施方式中，说明了将摄像装置设置于自动驾驶车辆的情况，但在设置于机器人等的情况下也能适用。

另外，在上述实施方式中，从与视野a以及视野b对应的图像数据临时取得与视野a以及视野c对应的图像，进而取得与视野d对应的有视差的一对图像数据，但也可以从与视野a以及视野b对应的图像数据直接取得与视野d对应的有视差的一对图像数据。

Claims (14)

1.一种摄像装置，具备：

第1摄像部，其具有第1透镜；

第2摄像部，其具有比所述第1透镜更广角的第2透镜；以及

图像数据取得部，其取得由所述第1摄像部以及所述第2摄像部拍摄到的被拍摄对象的图像数据，并基于由所述第1摄像部拍摄到的所述被拍摄对象的图像数据、和由所述第2摄像部拍摄到的所述被拍摄对象的图像数据来取得有视差的一对图像数据。

2.根据权利要求1所述的摄像装置，其中，

所述摄像装置还具备：

测距部，其根据有所述视差的所述一对图像数据来测定距所述被拍摄对象的距离。

3.根据权利要求1所述的摄像装置，其中，

将所述第1摄像部和所述第2摄像部平行等位地设置。

4.根据权利要求1所述的摄像装置，其中，

所述图像数据取得部在从由所述第2摄像部拍摄到的所述被拍摄对象的图像数据之中取得与由所述第1摄像部拍摄到的所述被拍摄对象的图像数据成为同一视角的图像数据后，取得有所述视差的所述一对图像数据。

5.根据权利要求1所述的摄像装置，其中，

所述摄像装置还具备：

字符识别部，其从由所述第1摄像部拍摄到的所述被拍摄对象的图像数据中进行字符识别。

6.根据权利要求1所述的摄像装置，其中，

所述第1摄像部的精细度高于所述第2摄像部的精细度。

7.根据权利要求1所述的摄像装置，其中，

所述第2透镜的视角包含所述第1透镜的视角。

8.一种摄像方法，由摄像装置执行，该摄像方法包括：

取得由具有第1透镜的第1摄像部拍摄到的被拍摄对象的图像数据，并取得由具有比所述第1透镜更广角的第2透镜的第2摄像部拍摄到的所述被拍摄对象的图像数据的步骤；以及

基于由所述第1摄像部拍摄到的所述被拍摄对象的图像数据、和由所述第2摄像部拍摄到的所述被拍摄对象的图像数据来取得有视差的一对图像数据的步骤。

9.根据权利要求8所述的摄像方法，其中，

所述摄像方法还包括：

根据有所述视差的所述一对图像数据来测定距所述被拍摄对象的距离的步骤。

10.根据权利要求8所述的摄像方法，其中，

在取得所述图像数据的步骤中，将所述第1摄像部和所述第2摄像部平行等位地设置。

11.根据权利要求8所述的摄像方法，其中，

在取得有所述视差的所述一对图像数据的步骤中，在从由所述第2摄像部拍摄到的所述被拍摄对象的图像数据之中取得与由所述第1摄像部拍摄到的所述被拍摄对象的图像数据成为同一视角的图像数据后，取得有所述视差的所述一对图像数据。

12.根据权利要求8所述的摄像方法，其中，

所述摄像方法还包括：

从由所述第1摄像部拍摄到的所述被拍摄对象的图像数据中进行字符识别的步骤。

13.根据权利要求8所述的摄像方法，其中，

在取得所述图像数据的步骤中，所述第1摄像部的精细度高于所述第2摄像部的精细度。

14.根据权利要求8所述的摄像方法，其中，

在取得所述图像数据的步骤中，所述第2透镜的视角包含所述第1透镜的视角。