CN212163540U - 全向立体视觉的摄像机配置系统 - Google Patents

Abstract

本实用新型提供了一种全向立体视觉的摄像机配置系统，摄像机配置系统主要包括：至少四个主摄像镜头，分别排列于可构成一矩形的四基准线；至少四个副摄像镜头，各主摄像镜头与各副摄像镜头，可沿着四个基准线于同一平面间隔排列设置为矩形；本申请的关键在于，各副摄像镜头或各主摄像镜头的光轴，被配置为可分为两部分旋转，使排列于同一基准线的摄像镜头的光轴彼此平行，以及使排列于同一基准线的摄像镜头的光轴皆与基准线垂直，以完成摄像机校正；因此，可让对应于各基准线的至少二深度图于执行影像融合演算后，消除遮挡区域，进而能通过影像拼接获取无遮挡的全向深度图。

Description

全向立体视觉的摄像机配置系统

技术领域

本实用新型涉及立体视觉(Stereo Vision)技术，尤指一种可将多个摄像镜头间隔排列设置为矩形，并使待校正的至少三个摄像镜头的镜心配置于同一基准线，以可因此获得无遮挡深度图，进而能于完成影像拼接(image stitching) 后获取全向深度图(omnidirectional depth map)的「全向立体视觉的摄像机配置系统」。

背景技术

在双目视觉中，需要对摄像机进行标定和校正，而摄像机校正(camerarectification)的目的是达成理想的双目摄像机系统，使得至少两个摄像机的光轴完全平行(即镜心彼此之间仅存在X分量)，并与基线垂直(左右摄像机的镜心的连线即为基线)，才能续行深度计算与三维重建。

一般而言，校正前左右摄像机的镜心(光心)并不是平行的，而校正后理想双目系统的左右摄像机的光轴彼此平行、光轴和影像平面垂直，且成像点在左右影像上的高度一致，依此，后续进行立体匹配(stereo matching)时，只需在同一列的搜索区间(searchrange)，搜索左右影像的匹配点即可，能使摄像机校正效率大大提高。

目前虽有人提出可利用3D检测摄像机(Stereoscopic Camera)取得全向深度信息，例如中国台湾发明专利第 TW201832547号「产生全景深度影像的影像装置、相关方法及相关影像装置」所揭(下称台湾案)，台湾案主要使四颗超广角鱼眼镜头(>190度)两两背对与上下排列，并将提取的广角影像投影至经纬(equirectangular)坐标系，而位于同侧的左右两颗鱼眼镜头可用于计算180x180度的立体深度影像(stereo depth)，最后再将两侧的深度影像进行影像拼接，即可获取360x180度的全向深度影像，然而，此种将广角影像投影至经纬坐标的等距柱状投影法 (Equirectangular Projection)，在接近180度的影像解析度相当差(因使用鱼眼镜头会产生镜头扭曲现象)，同时，也会产生因采用立体视觉技术所产生的遮挡(Occlusion) 问题，而遮挡问题将直接影响到深度估计的准确度。

虽另有人提出可将N颗摄像机排列成正N边形，并通过两两摄像机生成深度影像，最后再完成全景拼接以获取全向深度影像，即如美国发明专利第US10244226B2 「Camerarig and stereoscopic image capture」所揭(下称美国案)，然而，此种作法虽可产生解析度较高的深度影像，但美国案摆放各摄像机的位置，将无法处理前述的遮挡问题，使得其产生的深度影像产生缺陷。

承上，为了在双目视觉领域获取无遮挡深度图 (de-occlusion depth map)，多镜头(至少三颗)的摄像机校正是必要的，并请搭配参阅「图1」，假设图中所示的基线b12、b13分别为美国案校正前第一与第二摄像机、以及美国案校正前第一与第三摄像机的镜心O的连线，而基线b12’、b13’即为校正后第一摄像机与第二摄像机、以及校正后第一摄像机与第三摄像机的镜心O的连线，校正时，得以基线b13为基准线，故第一与第三摄像机只需通过旋转即可让X轴与基线b13的向量平行，至于第二摄像机虽也可通过偏移矩阵T(

也可称平移矩阵)，达到让X轴与基线b12的向量平行，但由于第二摄像机偏离X轴太远，导致偏移矩阵T的y、z分量较大，而当y、 z分量达到一定程度(例如若高于1mm)，将造成后续计算深度图的误差过大，进而影响到后续将摄像机坐标转换至世界坐标的准确性，且即便有其它方式(例如调整第二摄像机的焦距)可让第二摄像机的镜心位置逼近于X轴(理想位置)，但效果仍为有限，且届时在计算深度图时也会因此增加可观的运算量，反之，由于美国案的第一至第三摄像机的镜心并非排列于同一基线(尤其像第二摄像机偏离X轴太远)，故在无法取得第二摄像机所拍摄场景物体的XYZ信息(摄像机坐标)前，将无法计算出无遮挡视差图。

依此，如何提出一种可获取无遮挡视差图、毋须使用鱼眼镜头的全向立体视觉的摄像机配置系统，乃有待解决的问题。

发明内容

为达上述目的，本申请提出一种全向立体视觉的摄像机配置系统，摄像机配置系统主要包括：一主摄像机组、一辅摄像机组及一运算单元；其中，主摄像机组可至少包括四个主摄像镜头，各主摄像镜头可分别排列于可构成一矩形的四个基准线；辅摄像机组可至少包括四个副摄像镜头，且各主摄像镜头与各副摄像镜头，可沿着四个基准线于同一平面间隔排列设置为矩形；运算单元可分别与各主摄像镜头及各副摄像镜头呈信息连结；各副摄像镜头或各主摄像镜头的光轴被配置为可旋转，使排列于基准线的副摄像镜头与主摄像镜头的光轴彼此平行，以及使排列于基准线的副摄像镜头与主摄像镜头的光轴皆与对应的基准线垂直，以完成摄像机校正；位于同一基准线且完成摄像机校正的该等摄像镜头，其所提取的多个影像可供运算单元演算出至少两深度图，且运算单元对各深度图执行影像融合演算后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图；最后，运算单元可对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图。

因此，本申请据以实施后，相较于既有获取全向深度图的作法，本申请至少可达成获取无遮挡的全向深度的有利功效，并且，即便采用的摄像机数量为四颗以上，仍可使该等摄像机维持矩形排列，而毋须排列为多边形而增加摄像机系统的配置成本。

为使贵审查委员得以清楚了解本申请的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。

附图说明

图1为常规熟知摄像机校正示意图。

图2为本申请的摄像机配置系统架构图。

图3为本申请的摄像机配置流程图。

图4为本申请的的实施示意图(一)。

图5为本申请的另一实施例(一)。

图6为本申请的另一实施例(二)。

具体实施方式

请参阅「图2」，其为本申请的摄像机配置系统架构图，本申请提出一种全向立体视觉的摄像机配置系统10，包括一主摄像机组101、一辅摄像机组102及一运算单元 103，其中：

(1)主摄像机组101至少包括四个主摄像镜头 (1011～1014)，各主摄像镜头(1011～1014)可分别排列于可构成一矩形的四个基准线(base line)；

(2)辅摄像机组102至少包括四个副摄像镜头 (1021～1024)，且各主摄像镜头(1011～1014)与各副摄像镜头(1021～1024)，被配置为可沿着四个基准线于同一平面间隔排列设置为矩形；

(3)运算单元103分别与各主摄像镜头(1011～1014) 及各副摄像镜头(1021～1024)呈信息连结，其中，运算单元103可至少具有一处理器(图中未绘示，例如CPU、 MCU)，其供以运行运算单元103，并具备逻辑运算、暂存运算结果、保存执行指令位置、执行影像处理等功能；

(4)各副摄像镜头(1021～1024)或各主摄像镜头 (1011～1014)的镜头光轴(Optical Axis)均可被配置为可旋转，使排列于基准线的副摄像镜头(1021～1024)与主摄像镜头(1011～1014)的镜头光轴彼此平行，以及使排列于基准线的副摄像镜头(1021～1024)与主摄像镜头(1011～1014) 的镜头光轴皆与对应的基准线垂直，以对主摄像机组101 与辅摄像机组102皆完成摄像机校正；

(5)位于同一基准线且完成摄像机校正的该等摄像镜头(1011～1014、1021～1024)，其所提取的影像可供运算单元103演算出至少两深度图(depth map，也可称视差图)，且运算单元103对各深度图执行影像融合演算(fusion)后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图；

(6)运算单元103可对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图；

(7)承上，本申请在一较佳实施例中，辅摄像机组 102的各副摄像镜头(1021～1024)，或是主摄像机组101 的主摄像镜头(1011～1014)，其可被配置为以镜头光轴为基准向左或向右旋转一特定角度，且位于同一基准线的主摄像机组101与辅摄像机组102，其镜头光轴于完成摄像机校正前，其可分别朝向同一方向或不同方向；

(8)承上，本申请在一较佳实施例中，还可包括耦接于运算单元103的一惯性传感器104(IMU)，供以回传多个自由度(DOF)的运动信息与姿态信息，以更精确追踪被摄物体与拍摄场景如何在现实世界中运动，其中，自由度可例如区分为两种类型：平移和旋转，平移可包括X 轴(前/后)、Y轴(左/右)、Z轴(上/下)，旋转可包括纵摇 (Pitch)、横摇(Roll)和垂摇(Yaw)，但并不以此些自由度为限。

请参阅「图3」，其为本申请的摄像机配置流程图，并请搭配参阅「图2」、「图4」，本申请提出一种全向立体视觉的摄像机配置方法S，包括：

(1)于基准线配置摄像机组(步骤S10)：如「图4」所示，将一主摄像机组101的至少四个主摄像镜头 (1011～1014)配置于可构成一矩形的四个基准线(L1～L4)，将一辅摄像机组102的至少四个副摄像镜头(1021～1024) 分别配置于各基准线(L1～L4)，使各主摄像镜头 (1011～1014)与各副摄像镜头(1021～1024)沿着四个基准线(L1～L4)于同一平面间隔排列设置为矩形；

(2)校正摄像机(步骤S20)：旋转辅摄像机组102 的至少一副摄像镜头(1021～1024)、或旋转主摄像机组101 的主摄像镜头(1011～1014)的镜头光轴，使排列于基准线(L1～L4)的主摄像镜头(1011～1014)与副摄像镜头 (1021～1024)的镜头光轴彼此平行，以及使排列于基准线 (L1～L4)的主摄像镜头(1011～1014)与副摄像镜头 (1021～1024)的镜头光轴皆与对应的基准线(L1～L4)垂直，以完成摄像机校正，其中，该等摄像镜头(1011～1014、 1021～1024)可被配置为以镜头光轴为基准，分别二部分向左或向右旋转一特定角度，即如「图4」所示，并请搭配参阅「图2」，图中所示位于基准线L1的主摄像镜头1011，可以其光轴为基准向左或向右旋转θ度，而位于主摄像镜头1011的左右两侧的副摄像镜头(1021、1022)，由于其与主摄像镜头1011的镜心皆排列于相同的基准线L1，故可将副摄像镜头(1021、1022)的光轴旋转θ度，以让位于相同基准线L1的摄像镜头(1011、1021、1022)在偏移矩阵T中的y、z分量(Ty、Tz)趋近于0，让摄像镜头(1011、 1021、1022)的镜心坐标形成彼此零旋转，而只保留X轴向的偏移量(Tx)；

(3)承上，同样地，位于基准线L2的主摄像镜头1012，可以其光轴为基准向左或向右旋转Φ度，而位于主摄像镜头1012的左右两侧的副摄像镜头(1022、1023)，由于其与主摄像镜头1012的镜心皆排列于相同的基准线 L2，故可将副摄像镜头(1022、1023)的光轴旋转Φ度，以让位于相同基准线L2的摄像镜头(1012、1022、1023)在偏移矩阵T中的y、z分量(Ty、Tz)趋近于0，让摄像镜头(1012、1022、1023)的镜心坐标形成彼此零旋转，而只保留X轴向的偏移量(Tx)，至于基准线L3与基准线L4 的摄像机校正作法，则可分别以旋转角度φ、Ω旋转摄像镜头的光轴，与前述对于基准线L1、L2的作法类同，以此类推，于此不再赘述，其中，2θ+2Φ+2φ+2Ω可≥360°；

(4)承上，由于本申请于执行步骤S20时，并未改变各摄像镜头(1011～1014、1022～1024)的位置，故主摄像机组101与辅摄像机组102的摄像头所接收到的光线都是相同的，依此，可通过旋转镜心成功模拟镜头光轴所面对的方向；

(5)产生深度信息(步骤S30)：由设置于同一基准线、且完成摄像机校正的主摄像机组101与辅摄像机组 102所提取的影像，供一运算单元103演算出不同角度的至少两深度图，且各深度图经运算单元103执行影像融合演算后，可消除各深度图彼此之间的遮挡区域，而生成一去遮挡深度图，，例如，通过运算单元103基于位于基准线L1的主摄像镜头101与副摄像镜头1021所提取的影像，而生成深度图DL，该深度图DL发现其中的人像右侧存在部分的遮挡区域，通过运算单元103基于位于基准线L1的主摄像镜头101与副摄像镜头1022所提取的影像，而生成深度图DR，该深度图DL发现其中的人像左侧存在部分的遮挡区域；深度图DL与深度图DR皆可发现部分的遮挡区域，而本申请进一步的将深度图DL与深度图DR作影像融合演算而生成的去遮挡深度图；

(6)产生全向深度图(步骤S40)：运算单元103对于各基准线所演算出的各去遮挡深度图，进行一影像拼接而获取一全向深度图。

请参阅「图5」，其为本申请的另一实施例(一)，并请搭配参阅「图2」，本实施例与「图2」～「图4」的技术类同，主要差异在于，由于在不靠投射主动光源的情况下，3D信息的品质与影像中物体的纹理程度有关，例如毛毯、报纸即为富含纹理的物体，而白纸、单色墙壁即为不具纹理的物体，另外若是光源不足的情况，例如夜晚或在室内但未开灯的情况下，也会影响3D信息的品质，依此，本实施例的全向立体视觉的摄像机配置系统10还可包含耦接于运算单元103的一绕射光学元件 105(Diffractive Optical Element，DOE)，且绕射光学元件 105可分别搭载于主摄像机组101的各个主摄像镜头 (1011～1024)，而绕射光学元件105主要用于投射光点于物体表面，以辅助判断被摄物体与拍摄场景的三维深度，即于步骤S30执行时，若环境光源不足或被摄物体的纹理特征不明显时，耦接于运算单元103的绕射光学元件 105可投射光点于物体表面，以给予被摄物体纹理与光源，达到于特定位置或空间产生所需的图案，以辅助判断被摄物体与拍摄场景的三维深度。

请参阅「图6」，其为本申请的另一实施例(二)，并请搭配参阅「图2」，本实施例与「图2」～「图5」的技术类同，主要差异在于，本实施例的全向立体视觉的摄像机配置系统10还包含耦接于运算单元103的一光达模组106(Lidar)，供以通过测量发送和接受到的脉冲讯号(例如脉冲雷射)的时间间隔，来计算被摄物体与拍摄场景的深度信息，而深度信息的格式可例如为点云(Point Cloud，其中信息可包括水平角度、垂直角度、距离、强度、line、id、时间戳(Laser Timestamp)意即，执行步骤S30时，运算单元103可通过与其耦接的光达模组106，测量发送和接受到的脉冲讯号的时间间隔来确定一飞行时间(ToF)，进而演算被摄物体与拍摄场景的深度信息，并且，在光达模组106尚未回传深度信息至运算单元103前，运算单元 103可先对步骤S30执行时所产生的各深度图以及该等摄像镜头(1011～1014、1021～1024)所提取的影像进行影像分割(image segmentation)，以供运算单元103获取全向深度图时，可针对较远距离的被摄物体或拍摄场景生成较精确的深度信息，以弥补若仅采用光达模组106来侦测较远距离的被摄物体或拍摄场景的深度，其回传的深度信息会有x、y信息不够致密的问题；承上，本实施例的全向立体视觉的摄像机配置系统10还可包含耦接于运算单元103 的一雷达模组107(Radar)，供以于步骤S30执行时接收空间内存在物体所反射的无线电波，以供运算单元103计算出被摄物体与拍摄场景的深度信息，且雷达模组107可例如为一毫米波雷达(mmWave Rader)，换言的，本实施例通过使用光达模组106与雷达模组107，可解决本申请通过该等摄像镜头(1011～1014、1021～1024)达成全向立体视觉时，针对较远距离的被摄物体或场景的深度信息可能会有不够准确的问题。

以上所述者，仅为本申请的较佳的实施例而已，并非用以限定本申请实施的范围；任何熟习此技艺者，在不脱离本申请的精神与范围下所作的均等变化与修饰，皆应涵盖于本申请的专利范围内。

【符号说明】

O 镜心 b12 基线

b12’ 基线

b13 基线

b13’ 基线

10 全向立体视觉的摄像机配置系统

101 主摄像机组 101 主摄像机组

1011 主摄影镜头

1012 主摄影镜头

1013 主摄影镜头

1014 主摄影镜头

102辅摄像机组 1021 副摄影镜头

1022 副摄影镜头

1023 副摄影镜头

1024 副摄影镜头

103 运算单元

104 惯性传感器

105 绕射光学元件

106 光达模组

107 雷达模组

L1～L4 基准线

D 深度图 DL 深度图

DR 深度图

S 全向立体视觉的摄像机配置方法

S10 于基准线配置摄像机组

S20 校正摄像机

S30 产生深度信息

S40 产生全向深度图

A1 校正前

A2 校正后

11 第一摄像机

12 第二摄像机

13 第三摄像机

Claims (6)

1.一种全向立体视觉的摄像机配置系统，其特征在于，包含：

一主摄像机组，至少包括四个主摄像镜头，各所述主摄像镜头分别排列于可构成一矩形的四个基准线；

一辅摄像机组，至少包括四个副摄像镜头，且各所述主摄像镜头与各所述副摄像镜头，沿着所述四个基准线于同一平面间隔排列设置为所述矩形；

一运算单元，分别与各所述主摄像镜头及各所述副摄像镜头呈信息连结；

各所述副摄像镜头或各所述主摄像镜头的光轴被配置为可旋转，使排列于所述基准线的所述副摄像镜头与所述主摄像镜头的光轴彼此平行，以及使排列于所述基准线的所述副摄像镜头与所述主摄像镜头的光轴皆与对应的所述基准线垂直，以完成摄像机校正；

位于同一基准线且完成摄像机校正的所述摄像镜头，其所提取的多个影像供所述运算单元演算出至少两深度图，且所述至少两深度图供所述运算单元执行影像融合演算，以消除各所述深度图彼此之间的遮挡区域，而生成一去遮挡深度图；以及

所述运算单元对于各所述基准线所演算出的各所述去遮挡深度图，进行一影像拼接而获取一全向深度图。

2.如权利要求1所述的全向立体视觉的摄像机配置系统，其特征在于，还包含耦接于所述运算单元的一绕射光学元件，供以投射光点于物体表面，以辅助判断被摄物体与拍摄场景的三维深度。

3.如权利要求1所述的全向立体视觉的摄像机配置系统，其特征在于，所述辅摄像机组的各所述副摄像镜头，或所述主摄像机组的所述主摄像镜头，被配置为以光轴为基准向左或向右旋转。

4.如权利要求1或2所述的全向立体视觉的摄像机配置系统，其特征在于，还包括耦接于所述运算单元的一光达模组，供以通过测量发送和接受到的脉冲讯号的时间间隔，来计算被摄物体与拍摄场景的深度信息。

5.如权利要求1所述的全向立体视觉的摄像机配置系统，其特征在于，还包括耦接于所述运算单元的一惯性传感器，供以回传多个自由度的运动信息与姿态信息。

6.如权利要求1所述的全向立体视觉的摄像机配置系统，其特征在于，还包括耦接于所述运算单元的一雷达模组，供以接收空间内存在物体所反射的无线电波，以供所述运算单元计算出被摄物体与拍摄场景的深度信息。

Images