CN109765634B - 一种深度标注装置 - Google Patents

Abstract

本发明提供了一种深度标注的装置，涉及智能识别技术领域。该深度标注装置包括多镜头多传感器模组、激光投射器与集成电路芯片，多镜头多传感器模组、激光投射器与集成电路芯片电连接，集成电路芯片用于对多镜头多传感器模组收到的多光谱光脉冲信号进行处理，以实现对物体深度信息的检测。本发明提供的深度标注的装置，融合多维度深度检测算法，具有显著提高响应速度，减少后端系统开发工作量，同时将物体距离视觉化，赋予被测物结构化信息的人‑机接口能力等优点。

Description

一种深度标注装置

技术领域

本发明涉及智能识别技术领域，具体而言，涉及一种深度标注装置。

背景技术

随着智能技术的快速发展及应用，社会上对人工智能的关注程度持续升温，特别是智能化边缘技术的应用，与云计算形成互补。AI技术首先是对人类身体及其功能的延伸带来便利。市场需求不断提升，人-机、机-机接口的应用日益旺盛，发展前景广阔。

但是，目前各种深度检测技术各有长短，受空气、光照、纹理等环境影响，检测精度和效率会有折扣。另一方面，AI检测普遍采用以颜色区分识别物的方法，没有醒目的可视化警示警告提示作用，也很难将识别物体作为边缘计算的移动传感单元应用。

发明内容

本发明的目的在于提供一种深度标注装置，结合AI识别与多深度检测集成的解决方法实现深度标注，以解决现有技术对识别物体没有任何警示标注的问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

本发明提供了一种深度标注装置，所述深度标注装置包括多镜头多传感器模组、激光投射器与集成电路芯片，所述多镜头多传感器模组、激光投射器与所述集成电路芯片电连接，所述集成电路芯片用于对所述多镜头多传感器模组接收到光脉冲信号进行处理，以实现对识别物体的深度标注。

进一步地，所述多镜头多传感器模组包括多个多光谱传感器，所述多光谱传感器包括可见光传感器、近红外传感器、热成像传感器、TOF光脉冲传感器和毫米波传感器，且多个所述多光谱传感器按预设定方式排列，以使所述多光谱传感器能够获得自然光以及所述激光投射器所反射的光脉冲信号，满足立体视觉装置、飞行时间装置、结构光装置和毫米波雷达装置执行深度检测所需解调算法的计算；

其中，所述激光投射器包括飞行时间激光投射器、结构光投射器和毫米波投射器。

进一步地，所述多镜头多传感器模组中的多光谱传感器，与对应算法的所述激光投射器配对，以获得正确区域内光脉冲解调所需信号，并在相同方向上可选择彩色传感器用于实景图像拍摄。

进一步地，所述集成电路芯片包括多光谱图像处理模块、AI识别模块、深度检测模块、深度标注模块、编码输出模块和激光投射控制单元。

进一步地，所述多光谱图像处理模块包括多光谱脉冲信号采集单元、ISP单元、映射变换单元；

其中，所述多光谱脉冲信号采集单元，用于通过所述多镜头多传感器模组采集多个光谱频段的原始脉冲信号，所述原始脉冲信号包括彩色频段、灰度频段、近红外频段、中远红外频段和毫米波频段的脉冲信号；

所述ISP单元，用于对所述原始脉冲信号进行处理，以得到高质量的图像信号信息用于深度检测；

所述映射变换单元，是为了正确实现双目深度检测、飞行时间算法解调、结构光算法解调、毫米波算法解调所执行的标定计算，以实现图像坐标的对齐变换调整和变形操作。

进一步地，所述AI识别模块用于配合深度检测的实景图像进行AI识别，以获取多个相同识别物体对象的识别参数，所述识别参数包括识别物体ID、识别物体置信度值、识别物体轮廓坐标以及基于轮廓坐标计算的物体面积和识别物体的重心坐标。

进一步地，所述深度检测模块包括双目深度检测子模块、飞行时间深度检测子模块、结构光深度检测子模块和毫米波雷达深度检测子模块，并操作激光投射装置，且所述深度检测模块用于以识别物体掩膜轮廓坐标为基准，执行运动估计、光编码、相位差、往返时间的计算，得到深度矢量数据。

进一步地，所述深度检测模块为多算法深度检测的集成模块。

进一步地，所述深度标注模块的标注方式按照深度矢量值大小以假彩色着色，即按照可见光光谱从高频段到低频段依次按照矢量值由大到小或由远到近执行着色；

或按照可见光光谱从低频段到高频段依次按照矢量值由小到大或由近到远执行着色。

进一步地，所述编码输出模块用于将多个实景图像、多个识别物体掩膜图像、深度标注图像以及识别物体对象参数进行编码输出。

相对现有技术，本发明具有以下有益效果：

本发明提供了一种深度标注装置，该深度标注装置包括多镜头多传感器模组、激光投射器与集成电路芯片。多镜头多传感器模组、激光投射器与集成电路芯片电连接，集成电路芯片用于对多镜头多传感器模组接收到的光脉冲信号进行处理，以实现对识别物体的深度标注。本发明采用多光谱传感器处理技术和ASIC技术，在前端就可以执行多通道的AI识别和基于识别结果的多个物体深度检测方法，并执行可视化的深度警示标注。可以显著提高深度检测的灵活性和适应性，提高响应速度，减少后端系统开发的工作量，同时还能够将物体远近距离视觉化，赋予物体接近预警的人-机接口能力。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供深度标注装置的模块示意图。

图2示出了本发明实施例提供深度标注装置的具体模块示意图。

图标：100-深度标注装置；110-多镜头多传感器模组；111-多光谱传感器；120-激光投射器；121-TOF激光投射器；122-结构光投射器；123-毫米波投射器；130-集成电路芯片；131-多光谱图像处理模块；1311-多光谱脉冲信号采集单元；1312-ISP单元；1313-映射变换单元；132-AI识别模块；133-深度检测模块；1331-双目深度检测子模块；1332-飞行时间深度检测子模块；1333-结构光深度检测子模块；1334-毫米波深度检测子模块；134-深度标注模块；135-编码输出模块；136-激光投射控制单元；137-输入输出接口。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1与图2，本发明实施例提供了一种深度标注装置100，深度标注装置100包括多镜头多传感器模组110、激光投射器120与集成电路芯片130，且该多镜头多传感器模组110、激光投射器120与该集成电路芯片130电连接，且集成电路芯片130用于对多镜头多传感器模组110接收到的光脉冲信号进行处理，以实现对识别物体的深度标注。

具体地，在本实施例中，多镜头多传感器模组110包括多个多光谱的脉冲信号传感器，该多个多光谱传感器111依次连接，多个多光谱传感器111按预设定方式排列，以使多光谱传感器111满足立体视觉平行光轴和激光脉冲信号正确接收的要求。

具体地，为了相互验证和扬长避短，以实现灵活的深度检测部署，激光投射器120中可同时包含多种投射器。本实施例提供的激光投射器120包括TOF(Time of flight，飞行时间)投射器、结构光投射器122以及毫米波投射器123等投射器，

并且，映射变换单元1313实现各种深度算法的标定计算，以实现图像坐标的对齐变换调整和变形操作，达到最优的光脉冲信号采集质量。

并且，集成电路芯片130包括深度检测模块133与投射控制单元，深度检测模块133通过激光控制单元控制激光投射器120进行投射。

需要说明的是，本实施例通过集成多种不同类型的激光投射器120以及多镜头多传感器模组110集成的方式，能够实现检测效果的互补增强，从而提升了深度检测的性能，以及部署的适应性和灵活性。

具体的，集成电路芯片130还包括多光谱图像处理模块131、AI识别模块132、深度标注模块134、编码输出模块135、输入输出接口137(I/F)，且多镜头多传感器模组110、多光谱图像处理模块131、AI识别模块132、深度检测模块133、深度标注模块134、编码输出模块135以及输入参数出接口(I/F)依次电连接，以实现对图像的处理与输出。

其中，多光谱图像处理模块131实现对多频段图像信号的处理过程，且多光谱图像处理模块131包括依次相连的多光谱脉冲信号采集单元1311、ISP单元1312、映射变换单元1313。

其中，图像采集单元与多光谱传感器111连接，并通过多镜头多传感器模组110采集多个光谱频段的光脉冲信号。这些光脉冲信号包括结构光的伪随机散斑阵列信号、TOF光脉冲阵列信号以及毫米波脉冲信号；

ISP单元1312，用于对采集的光脉冲信号进行图像信号处理，得到处理后的高质量图像信息；

映射变换单元1313，用于对ISP处理后的图像信息进行畸变矫正标定，以及执行各种深度检测标定计算的映射变换和变形处理，以得到有效的立体视觉平行光轴图像信号和激光脉冲信号。

具体地，映射变换单元1313为实现深度检测的矢量图像与实景图像的坐标对应，执行实景图像坐标映射深度矢量图象坐标的变换，建立AI识别物体的掩膜坐标与深度信息的正确关系。

具体地，映射变换单元1313为实现双目深度检测，执行二张图像的光轴平行和坐标对齐调整的映射变换操作。

具体地，TOF脉冲传感器为了正确采集TOF激光投射的脉冲信号，所执行的映射变换的调整。

在利用多光谱图像处理模块131对光脉冲信号进行预处理后，再将所对应的各个实景图像传输至AI识别模块132进行智能识别，获取识别目标物体的参数后，创建识别物体对象，并以帧为单位将识别物体对象存储至识别队列。

具体的，所述识别物体对象按照不同深度检测方法分类，包括识别物体ID、识别物体置信度值、识别物体轮廓坐标，以及基于轮廓坐标计算的物体面积和识别物体的重心坐标等信息。

具体的，所述识别物体轮廓坐标定义为掩膜坐标，是用于深度检测和标注的关键依据。

具体的，所述深度检测模块133用于从识别队列中，按照深度检测方法(包括双目深度检测、飞行时间深度检测、结构光深度检测、毫米波深度检测)分类，依次获取识别物体对象的掩膜坐标。

具体的，所述深度检测模块133按照所述识别物体对象的掩膜坐标执行深度检测，得到深度矢量数据，存储至识别物体对象内。

具体的，所述深度标注模块134用于从所述识别队列中获取所述识别物体对象，并基于所述识别物体的掩膜坐标，按照掩膜内的所述深度矢量值，执行深度信息着色标注。

具体的，所述深度信息着色标注按照深度矢量值大小以假彩色着色。标注方式按照可见光光谱从高频段(红色)到低频段(紫色)依次按照矢量值由大(近)到小(远)执行着色；或按照可见光光谱从低频段(紫色)到高频段(红色)依次按照矢量值由小(远)到大(近)执行着色。

具体的，所述编码输出模块135将识别队列中的识别物体对象打包编码输出。所述识别物体对象打包内容，包括所述实景图像、所述掩膜图像以及所述深度标注图像和识别对象参数。

具体地，在本实施例中，编码输出模块135连接的输入输出接口137(I/F)包括USB接口、HDMI接口、SD接口、WIFI接口、BT接口、MIPI接口等至少一种接口，以将处理后的图像信息传出，当然地，在其它的一些实施例中，也可采用其它的接口，本实施例对此并不做任何限定。

同时，也可屏蔽AI识别功能，全部多个实景图像作为一个识别物体，得到完整图像的深度矢量数据，并用于后继的深度标注模块134使用。

需要说明的是，本发明是一种通过颜色可视化对AI物体识别物体进行深度信息标注的技术，采用集成电路芯片技术和多传感器计算图像处理技术，和综合的多深度检测方法，赋予识别物体的深度信息、尺寸信息和移动速度信息，提高识别物体的可视化和结构化程度。另一方面，本发明只对AI识别物体的掩膜区域执行深度检测，从而大大减少了深度检测的计算量，提高了深度检测前端计算的效率。

并且，本发明弥补了单纯的AI智能识别的不足，使得人眼可辨识物体深度，感知物体接近距离，为生命保障建立一道有效的数字化屏障。

综上所述，本发明提供了一种深度标注装置，该深度标注装置包括多镜头多传感器模组、激光投射器与集成电路芯片，多镜头多传感器模组、激光投射器与集成电路芯片电连接，集成电路芯片用于对多镜头多传感器模组与激光投射器接收到的光脉冲信号进行处理，以实现对识别物体的深度标注。本发明采用多光谱传感器处理技术和ASIC技术，在前端就可以执行多通道的AI识别和基于识别结果的多方法物体深度检测，并执行可视化的深度警示标注。可以显著提高响应速度，减少后端系统开发的工作量，同时还能够将物体远近距离视觉化，赋予物体接近预警的人-机接口能力。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

Claims (8)

1.一种深度标注装置，其特征在于，所述深度标注装置包括多镜头多传感器模组、激光投射器与集成电路芯片，所述多镜头多传感器模组、激光投射器与所述集成电路芯片电连接，所述集成电路芯片用于对所述多镜头多传感器模组接收到光脉冲信号进行处理，以实现对识别物体的深度标注；其中，

所述集成电路芯片包括多光谱图像处理模块、AI识别模块、深度检测模块、深度标注模块、编码输出模块和激光投射控制单元；

所述深度标注模块的标注方式按照深度矢量值大小以假彩色着色标注，即按照可见光光谱从高频段到低频段依次按照深度矢量值由大到小或由远到近执行着色标注；

或按照可见光光谱从低频段到高频段依次按照深度矢量值由小到大或由近到远执行着色标注。

2.根据权利要求1所述的深度标注装置，其特征在于，所述多镜头多传感器模组包括多个多光谱传感器，所述多光谱传感器包括可见光传感器、近红外传感器、热成像传感器、TOF光脉冲传感器和毫米波传感器，且多个所述多光谱传感器按预设定方式排列，以使所述多光谱传感器能够获得自然光以及所述激光投射器所反射的光脉冲信号，满足立体视觉装置、飞行时间装置、结构光装置和毫米波雷达装置执行深度检测所需解调算法的计算；

其中，所述激光投射器包括飞行时间激光投射器、结构光投射器和毫米波投射器。

3.根据权利要求1或2所述的深度标注装置，其特征在于，所述多镜头多传感器模组中的多光谱传感器，与对应算法的所述激光投射器配对，以获得正确区域内光脉冲解调所需信号，并在相同方向上可选择彩色传感器用于可视实景图像拍摄。

4.根据权利要求1所述的深度标注装置，其特征在于，所述多光谱图像处理模块包括多光谱脉冲信号采集单元、ISP单元、映射变换单元；

其中，所述多光谱脉冲信号采集单元，用于通过所述多镜头多传感器模组采集多个光谱频段的原始脉冲信号，所述原始脉冲信号包括彩色频段、灰度频段、近红外频段、中远红外频段和毫米波频段的脉冲信号；

所述ISP单元，用于对所述原始脉冲进行处理，以得到高质量的图像信息用于深度检测；

所述映射变换单元，是为了正确实现双目深度检测、飞行时间算法解调、结构光算法解调、毫米波算法解调所执行的标定计算，以及参与AI计算的实景图像与深度图像正确映射，所执行的图像光轴平行、图像坐标对齐的变换调整和变形操作。

5.如权利要求1所述的深度标注装置，其特征在于，所述AI识别模块用于配合深度检测的实景图像进行AI识别，以获取多个相同识别物体对象的识别参数，所述识别参数包括识别物体ID、识别物体置信度值、识别物体轮廓坐标以及基于轮廓坐标计算的物体面积和识别物体的重心坐标。

6.如权利要求1所述的深度标注装置，其特征在于，所述深度检测模块包括双目深度检测子模块、飞行时间深度检测子模块、结构光深度检测子模块和毫米波雷达深度检测子模块，并操作激光投射装置，且所述深度检测模块用于以识别物体掩膜轮廓坐标为基准，执行运动估计、光编码、相位差、往返时间的计算，得到深度矢量数据。

7.如权利要求6所述的深度标注装置，其特征在于，所述深度检测模块为多算法深度检测的集成模块。

8.如权利要求1所述的深度标注装置，其特征在于，所述编码输出模块用于将多个实景图像、多个识别物体掩膜图像、深度标注图像以及识别物体对象参数进行编码输出。

Images