CN111433570B - 多种传感器校准系统以及多种传感器校准方法 - Google Patents

Abstract

本发明涉及一种多种传感器校准系统以及多种传感器校准方法，包括：颜色图案板，在一侧面形成有由一定大小的黑色四边形以及一定大小的白色四边形交替构成的栅格图案；电热线板，形成有方格纹理的图案，在方格纹理图案的边缘部分安装有电热线；拍摄传感器部，用于将颜色图案板以及电热线板拍摄成影像；深度图案板，形成有由预先设定的深度以及一定大小的至少一个四边形构成的四边形图案；深度传感器部，用于将深度图案板拍摄成影像；以及，校准部，通过对利用拍摄传感器部拍摄的影像信息进行校准而生成校准影像信息，通过对利用深度传感器部拍摄的影像信息进行校准而生成深度校准信息，并通过对深度校准信息以及校准影像信息进行整合而生成最终影像信息。

Description

多种传感器校准系统以及多种传感器校准方法

技术领域

本发明涉及一种多种传感器校准系统以及多种传感器校准方法，尤其涉及一种能够利用多种传感器对形成有电热线、颜色图案以及一定深度图案的各个板进行拍摄并对所拍摄的影像进行整合校准的多种传感器校准系统以及多种传感器校准方法。

背景技术

通常，为了在机器人或自动行驶车辆等中对周边环境进行检测而使用多种传感器。其中，为了对机器人、自动行驶车辆的周边环境进行检测，经常使用如激光雷达、无线电探测器、摄像头等。此时，相对于使用单一传感器的方式，通常会采用对多个传感器的传感器信息进行融合应用的方式。因此，为了对不同的传感器信息进行融合，需要了解各个传感器之间的关系。其中，传感器之间的关系被称之为传感器的旋转(Rotation)以及平移(Translation)。为了能够了解传感器之间的关系，需要在传感器之间进行校准(Calibration)。而为了提升信息融合的准确性，必须将校准的误差最小化。

通常为了在安装有多种传感器的系统中执行校准，首先需要对可执行校准的两个传感器进行组合，接下来再依次对不同的组合执行校准。但是当采用依次执行校准的方式时，第一次校准的误差将对第二次校准造成影响，而该误差还将继续对下一次校准造成影响，从而导致第一个传感器与最后一个传感器之间的误差变大的问题。

本发明的现有技术文献如下。

现有技术文献

专利文献

(专利文献1)大韩民国专利注册编号第10-1474746号

(专利文献2)大韩民国专利公开编号第10-2013-0098040号

发明内容

本发明的目的在于解决如上所述的现有问题，本发明拟解决的技术课题在于提供一种能够利用多种传感器对形成有电热线、颜色图案以及一定深度图案的各个板进行拍摄并对所拍摄的影像进行整合校准的多种传感器校准系统以及多种传感器校准方法。

但是，本发明拟达成的技术课题并不限定于在上述内容中提及的技术课题，具有本发明所属技术领域之一般知识的人员将能够通过下述记载进一步明确理解未被提及的其他技术课题。

作为用于达成上述技术课题的手段，本发明提供一种多种传感器校准系统，包括：颜色图案板，在一侧面形成有由一定大小的黑色四边形以及一定大小的白色四边形交替构成的栅格图案；电热线板，形成有方格纹理的图案，在方格纹理图案的边缘部分安装有电热线；拍摄传感器部，用于将颜色图案板以及电热线板拍摄成影像；深度图案板，形成有由预先设定的深度以及一定大小的至少一个四边形构成的四边形图案；深度传感器部，用于将深度图案板拍摄成影像；以及，校准部，通过对利用拍摄传感器部拍摄的影像信息进行校准而生成校准影像信息，通过对利用深度传感器部拍摄的影像信息进行校准而生成深度校准信息，并通过对深度校准信息以及校准影像信息进行整合而生成最终影像信息。

此外，一实施例的特征在于：拍摄传感器部通过对颜色图案板进行拍摄而生成颜色影像信息，并通过对电热线板进行拍摄而生成热影像信息。

此外，一实施例的特征在于：深度传感器部通过对深度图案板进行拍摄而生成深度影像信息。

此外，一实施例的特征在于：校准部通过对利用拍摄传感器部拍摄的影像信息中的颜色图案板以及电热线板的歪曲部分进行校准而生成校准影像信息。

作为用于达成上述技术课题的另一手段，本发明提供一种多种传感器校准方法，包括：利用拍摄传感器部将颜色图案板以及电热线板拍摄成影像的第1步骤；利用校准部对在拍摄传感器部中生成的影像信息进行校准并生成校准影像信息的第2步骤；利用深度传感器部将深度图案板拍摄成影像的第3步骤；以及，利用校准部对在拍摄传感器部中拍摄的影像信息进行校准并生成深度校准信息，且通过对深度校准信息以及校准影像信息进行整合而生成最终影像信息的第4步骤。

此外，一实施例的特征在于：在上述第2步骤中，在拍摄传感器部生成的影像信息为热影像信息或颜色影像信息。

适用本发明的一实施例提供一种多种传感器校准系统以及多种传感器校准方法，能够同时对多种传感器执行校准。

但是，本发明可实现的效果并不限定于在上述内容中提及的效果，具有本发明所属技术领域之一般知识的人员将能够通过下述记载进一步明确理解未被提及的其他效果。

附图说明

本说明书中所附的下述附图只是对适用本发明之较佳实施例进行的例示，旨在结合后续的发明的详细说明内容帮助理解本发明的技术思想，因此本发明并不限定于附图中所记载的事项。

图1是对适用本发明之第1实施例的多种传感器校准系统进行图示的块图。

图2是图1中的颜色图案板的正面图。

图3是图1中的电热线板的正面图。

图4是图1中的深度图案板的正面图。

图5是图1中的深度图案板的A-A’截面图。

图6是图1中的电热线板的实际照片。

图7是对适用本发明之第1实施例的多种传感器校准方法进行图示的顺序图。

【符号说明】

本发明的符号说明如下。

10：多种传感器校准系统

11：黑色四边形

12：白色四边形

13：电热线

14：四边形图案

100：颜色图案板

200：电热线板

300：拍摄传感器部

400：深度图案板

500：深度传感器部

600：校准部

具体实施方式

接下来，将结合附图对适用本发明的实施例进行详细的说明，以便于具有本发明所属技术领域之一般知识的人员能够更加轻易地实施本发明。但是，与本发明相关的说明内容只是用于进行结构性乃至功能性说明的实施例，因此本发明的权利要求范围并不应该解释为限定于在本文中进行说明的实施例。即，因为实施例能够进行各种变更并具有多种形态，因此本发明的权利要求范围应理解为包含可实现其技术思想的均等物。此外，因为在本发明中提示的目的或效果并不意味着特定的实施例必须包含所有效果或只能包含相应的效果，因此并不应该理解为本发明的权利要求范围因此而受到限定。

在本发明中所使用的术语的含义应该按照如下所述的方式理解。

“第1”、“第2”等术语只是用于对一个构成要素与其他构成要素进行区分，本发明的权利要求范围并不因为上述术语而受到限定。例如，第1构成要素能够被命名为第2构成要素，同理，第2构成要素也能够被命名为第1构成要素。当记载为某个构成要素与其他构成要素“连接”时，既能够理解为与上述其他构成要素直接连接，也能够理解为中间有其他构成要素存在。与此相反，当记载为某个构成要素与其他构成要素“直接连接”时，应理解为中间没有其他构成要素存在。此外，如“在～之间”和“直接在～之间”或“与～相邻”和“与～直接相邻”等用于对构成要素之间的关系进行说明的其他术语也应该按照相同的方式进行解释。

除非上下文中有明确的相反记载，否则单数型语句应理解为还包含复数型含义，而“包含”或“具有”等术语只是用于表示所罗列的特征、数字、步骤、动作、构成要素、部件或上述之组合存在，并不应该理解为预先排除一个或多个其他特征、数字、步骤、动作、构成要素或上述之组合存在或附加的可能性。

除非另有定义，否则在本说明书中所使用的术语的含义与具有本发明所属技术领域之一般知识的人员所通常理解的含义相同。通常所使用的已在词典中做出定义的术语应解释为与相关技术的上下文一致的含义，除非在本发明中做出了明确的定义，否则不应该解释为国语理想化或夸张形式的含义。

<适用第1实施例的构成>

图1是对适用本发明之第1实施例的多种传感器校准系统进行图示的块图，图2是图1中的颜色图案板的正面图，图3是图1中的电热线板的正面图，图4是图1中的深度图案板的正面图，图5是图1中的深度图案板的A-A’截面图，图6是图1中的电热线板的实际照片。

参阅图1至图2，多种传感器校准系统10，包括颜色图案板100、电热线板200、拍摄传感器部300、深度图案板400、深度传感器部500以及校准部600。

在颜色图案板100的一侧面，形成有由一定大小的黑色四边形11以及一定大小的白色四边形12交替构成的栅格图案(参阅图2)。

黑色四边形11以及白色四边形12能够由长方形(较佳地由正方形)形成。黑色四边形11能够以与白色四边形12相同的大小以及形态形成。

在电热线板200的一侧面，形成有方格纹理的图案，在方格纹理图案的边缘部分安装有电热线13(参阅图3)。其中，方格纹理能够以与颜色图案板100的栅格图案相同的大小以及形态形成。

拍摄传感器部300将颜色图案板100以及电热线板200拍摄成影像。拍摄传感器部300能够通过对颜色图案板100进行拍摄而生成颜色影像信息，并通过对电热线板200进行拍摄而生成热影像信息。拍摄传感器部300能够将颜色影像信息以及热影像信息传递到校准部600。拍摄传感器部300能够由如用于对颜色图案板100进行拍摄的摄像头(例如，彩色摄像头)或用于对电热线进行检测和拍摄的摄像头(例如，热成像摄像头、夜视摄像头、三维激光雷达(3D Lidar)等)多种类型的传感器构成。

热成像摄像头是通过对热量进行追踪探测而以画面形式进行显示的装置，能够在画面上显示出发热程度，因此无论是否有如烟雾等障碍物或者是否有光线，都能够对物体进行确认。

夜视摄像头能够利用红外线区域获取视野，并以所获取的视野为基础对前方的物体进行检测。如上所述的夜视摄像头，能够分为近红外线方式以及远红外线方式。其中，近红外线方式是指利用摄像头对在通过红外线发射器(IR Generator)放射出的红外线到达物体之后反射的近红外线(波长：800nm～1,000nm)进行检测的方法。此外，远红外线方式是指利用远红外线摄像头对物体放射出的热量(波长：1,000nm以上)进行检测的方法。

三维激光雷达(3D Lidar)是指无论物体的运动与否对物体的周边进行检测的传感器。

在深度图案板400中，形成有由预先设定的深度以及一定大小的至少一个四边形构成的四边形图案14(参阅图4)。此时，四边形图案14中的四边形，能够以与黑色四边形11或白色四边形12相同的大小形成。或者，四边形图案14能够形成于在水平方向上相隔白色四边形12的水平长度的位置以及在垂直方向上相隔白色四边形12的垂直长度的位置。

深度传感器部500将深度图案板400拍摄成影像。深度传感器部500能够通过对深度图案板400进行拍摄而形成深度影像信息。此时，在深度影像信息中能够存储有所拍摄的深度图案板400的深度信息。深度传感器部500能够将深度影像信息传递到校准部600。深度传感器部500由多种类型的深度传感器(Depth sensor)构成，能够使用主动型深度传感器方式以及被动型深度传感器方式。

主动型深度传感器方式是指利用激光传感器、红外线传感器、图案传感器直接获取物体的三维深度信息的方法。在这种情况下，具有只能提供低分辨率的深度影像且需要耗费较多成本的问题，但同时具有能够准确地获取到深度信息的优点。

被动型深度传感器方式是从多视角立体影像间接地获取深度信息的方法。在这种情况下，具有为了获取到深度信息而需要耗费较长的时间，在相对闭塞的区域以及没有纹理的区域等提供的深度信息不正确的问题，但同时具有能够提供高分辨率的深度影像且硬件构成所需成本较低的优点。

校准部600通过对利用拍摄传感器部300拍摄的影像信息进行校准而生成校准影像信息，通过对利用深度传感器部500拍摄的影像信息进行校准而生成深度校准信息，并通过对深度校准信息以及校准影像信息进行整合而生成最终影像信息。校准部600能够通过对利用拍摄传感器部300拍摄的影像信息中的颜色图案板100以及电热线板200的歪曲部分进行校准而生成校准影像信息。校准部600能够从拍摄传感器部300接收颜色影像信息并对所拍摄的颜色图案板100的形状中的歪曲部分(例如颜色图案板100的周边部)进行校准。换言之，校准部600能够在颜色图案板100的影像坐标系统上对颜色影像信息中的歪曲部分进行校准。校准部600能够从拍摄传感器部300接收热影像信息并对所拍摄的电热线板200的形状中的歪曲部分(例如电热线板200的周边部)进行校准。换言之，校准部600能够在电热线板200的影像坐标系统上对热影像信息中的歪曲部分进行校准。校准部600能够通过对颜色影像信息与热影像信息进行比较并对歪曲部分进行校准而生成校准影像信息。校准部600能够从深度传感器部500接收深度影像信息而对所拍摄的深度图案板400的深度进行确认，并通过对所拍摄的深度图案板400的深度与实际的深度图案板400的深度进行比较而对其进行校准。例如，当存储在深度影像信息中的深度图案板400的深度为5mm，而实际的深度图案板400的深度为10mm时，校准部600能够对5mm的差异进行校准。校准部600能够预先对颜色图案板100的实际图案信息、电热线板200的实际图案信息以及深度图案板400的实际深度信息进行存储。

如上所述构成的多种传感器校准系统10，能够同时利用拍摄传感器部300以及深度传感器部500对颜色图案板100、电热线板200以及深度图案板400进行拍摄并对多种传感器(例如热成像摄像头、夜视摄像头、三维激光雷达(3D Lidar)等)同时执行校准作业。

<适用第1实施例的方法>

图7是对适用本发明之第1实施例的多种传感器校准方法进行图示的顺序图。

参阅图7，多种传感器校准方法，包括第1步骤S100、第2步骤S200、第3步骤S300以及第4步骤S400。

首先，在步骤S100，利用拍摄传感器部300将颜色图案板100以及电热线板200拍摄成影像。

在上述步骤S100之后的步骤S200，通过利用拍摄传感器部300对所拍摄的影像进行校准而生成校准影像信息。

在上述步骤S200之后的步骤S300，利用深度传感器部500将深度图案板400拍摄成影像。

在上述步骤S300之后的步骤S400，对校准影像信息以及利用深度传感器部500拍摄的影像信息进行校准。

<适用第2实施例的构成>

多种传感器校准系统，包括颜色图案以及电热线板(为了说明的便利而未图示)、拍摄传感器部300、深度图案板400、深度传感器部500以及校准部600。其中，拍摄传感器部300、深度图案板400、深度传感器部500以及校准部600与图1中的构成要素类似，因此将省略与其相关的详细说明，接下来将仅对不同的部分进行说明。

颜色图案以及电热线板在一侧面形成有由一定大小的黑色四边形以及一定大小的白色四边形交替构成的栅格图案，在栅格图案的边缘部分安装有电热线。

拍摄传感器部300将颜色图案以及电热线板的一侧面拍摄成影像。

为了便于相关从业人员实现和实施本发明，在上述内容中对适用本发明的较佳实施例进行了详细的说明。在上述内容中结合适用本发明的较佳实施例进行了说明，但是相关技术领域的熟练的从业人员应能够理解，在不脱离本发明之要旨的范围内，能够对本发明进行各种修改以及变更。例如，相关从业人员能够以对上述实施例中所记载的各个构成进行组合的方式应用。因此，本发明并不限定于在本说明书中公开的实施形态，而是应该理解为包含与所公开的原理以及全新特征一致的最宽泛的范围。

在不脱离本发明的精神以及必要特征的范围内，本发明还能够以其他特定形态具体化。因此，上述说明在所有方面不应解释为限制性内容，而是应该解释为示例性内容。本发明的范围应通过对权利要求书的合理解释而确定，且与本发明等价范围内的所有变更均包含于本发明的范围之内。本发明并不限定于在本说明书中公开的实施形态，而是应该理解为包含与所公开的原理以及全新特征一致的最宽泛的范围。此外，能够通过对权利要求书中没有明确引用关系的权利要求进行结合而构成新的实施例，或通过申请之后的修改包含为新的权利要求。

Claims (2)

1.一种多种传感器校准系统，其特征在于，包括：

颜色图案板，在一侧面形成有由一定大小的黑色四边形以及一定大小的白色四边形交替构成的栅格图案；

电热线板，形成有方格纹理的图案，在所述方格纹理的图案的边缘部分安装有电热线；

拍摄传感器部，用于将所述颜色图案板以及电热线板拍摄成影像；

深度图案板，形成有多个由预先设定的深度以及一定大小的四边形构成的四边形图案，所述四边形图案分别设置于在水平方向上相隔水平长度的位置以及在垂直方向上相隔垂直长度的位置；

深度传感器部，用于将所述深度图案板拍摄成影像；以及，

校准部，通过对利用所述拍摄传感器部拍摄的影像信息进行校准而生成校准影像信息，通过对利用所述深度传感器部拍摄的影像信息进行校准而生成深度校准信息，并通过对所述深度校准信息以及所述校准影像信息进行整合而生成最终影像信息，

所述拍摄传感器部通过对所述颜色图案板进行拍摄而生成颜色影像信息并通过对所述电热线板进行拍摄而生成热影像信息，

所述深度传感器部通过对所述深度图案板进行拍摄而生成深度影像信息，

所述校准部通过对利用所述拍摄传感器部拍摄的影像信息中的所述颜色图案板以及所述电热线板的歪曲部分进行校准而生成校准影像信息，

所述校准部同时对所述拍摄传感器部拍摄的颜色影像信息和热影像信息以及所述深度传感器部拍摄的深度影像信息进行校准，

所述深度传感器部使用激光传感器、红外线传感器、图案传感器中的任一种来对周边环境进行检测。

2.一种多种传感器校准方法，其为用于权利要求1所述的多种传感器校准系统的多种传感器校准方法，其特征在于，包括：

利用拍摄传感器部将颜色图案板以及电热线板拍摄成影像的第1步骤；

利用校准部对在所述拍摄传感器部中生成的影像信息进行校准并生成校准影像信息的第2步骤；

利用深度传感器部将深度图案板拍摄成影像的第3步骤；以及，

利用校准部对在所述深度传感器部中拍摄的影像信息进行校准并生成深度校准信息，且通过对所述深度校准信息以及所述校准影像信息进行整合而生成最终影像信息的第4步骤，

在所述第2步骤中，在所述拍摄传感器部中生成的影像信息为热影像信息或颜色影像信息，

所述校准部同时对所述拍摄传感器部拍摄的颜色影像信息和热影像信息以及所述深度传感器部拍摄的深度影像信息进行校准，

所述深度传感器部使用激光传感器、红外线传感器、图案传感器中的任一种来对周边环境进行检测。

Images