CN109754003A - 基于深度学习的智能机器人视觉技术应用检测系统和方法 - Google Patents

Abstract

本发明提供一种基于深度学习的智能机器人视觉技术应用检测系统和检测方法，该检测方法包括用于产生被测目标状态第一和/或第二特征的目标状态识别模块、用于接收每一个预定时间间隔输入的条件参数或环境参数特征的参数特征输入模块、状态特征合成模块、策略计算模块和校准模块；本发明在形成目前被测目标物体的状态过程中，检测策略中结合图像处理系统所获得的被测目标物体状态与其它参数特征相结合，并采用增加无监督学习的方法，得到后续过程的优化检测策略。

Description

基于深度学习的智能机器人视觉技术应用检测系统和方法

技术领域

本发明涉及集成电路技术应用领域，尤其涉及一种基于深度学习的智能机器人视觉技术应用检测系统和检测方法。

背景技术

目前，随着现今科学技术与人工智能领域的不断进步，人们的生活方式正在不断改变，大量繁琐复杂的工作现在都可以通过计算机来完成，尤其随着智能机器人等领域的不断发展，越来越需要计算机以模拟人体视觉的方式代替人们解决实际的需求和问题。因此包括图像检测在内的计算机视觉领域开始成为现今人工智能技术的重要分支。

图像检测(object detection通常是给接收到的图像中的多个不同物体进行分类和定位。图像检测在内的计算机视觉应用领域一直是引领机器学习(Machine Learning,ML)科技的进步。

机器学习是一门多领域交叉学科，其主要使用归纳、综合而不是演绎，应用于人工智能的各个领域，专门研究计算机怎样模拟-或实现人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身的性能。

机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品(即图像摄取装置，分CMOS和CCD两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。

请参阅图1，图1所示为智能机器人视觉技术控制系统的原理示意图。如图所示，其包括目标识别模块、控制策略产生模块、控制模块和所获得的目标状态等。

例如，伦敦帝国理工学院(Imperial College London)的研究人员在无人机上安装多光谱相机，这些相机将使用特殊的过滤器从选定的电磁光谱区域捕捉反射光。请参阅图2，图2所示为现有技术中的视觉技术应用检测的光谱图像示意图。如图所示，有病害的植物通常会显示出一种有别于健康植物“光谱特征”。

然而，上述检测结果所提取特征只是显示了目前被测目标物体的状态，对后续植物健康控制策略的形成还需与其它参数特征相结合，例如，植物的环境参数和所喷液体的时间和用量等。

因此，如何在形成控制策略中结合图像处理系统所获得的被测目标物体状态与其它参数特征相结合，得到后续系统的优化检测策略，是目前急需解决的问题。

发明内容

针对上述现有技术存在的技术缺陷，本专利提供一种基于深度学习的智能机器人视觉技术应用检测系统。为实现上述目的，本发明的技术方案如下：

该基于深度学习的智能机器人视觉技术应用检测系统，其包括：

目标状态识别模块，用于产生被测目标状态第一和/或第二特征，其包括图像获取单元，图像处理分析单元和图形交互单元；其中，所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与第一特征相似度标签集中的标签进行比较，输出所述目标状态的第一特征；其中，预设的输出目标状态的第一特征由目标状态初始化模块产生；所述第一特征相似度标签集中的标签通过机器有监督学习方式获得；

参数特征输入模块，用于接收每一个所述预定时间间隔输入的条件参数或环境参数特征；

状态特征合成模块，用于将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，形成目标状态的第二特征；

策略计算模块，根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；

校准模块，根据所述策略产生模块产生的校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述相似度标签集；其中，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔中，使用修正后的所述第一特征相似度标签集中的标签。

进一步地，所述图像获取单元为CMOS和CCD像素获取单元，所述图像处理分析单元的图像信号为像素分布和亮度和颜色。

进一步地，所述图像获取单元为多光谱相机，所述图像处理分析单元的图像信号将接收所述多光谱相机拍摄的图像，用过滤器从选定的电磁光谱区域捕捉反射光，从而获得所述目标光谱特征。

进一步地，所述第一特征相似度标签集的标签和所述第二特征相似度标签集的标签存储在映射表中。

进一步地，所述的机器有监督学习方式为神经网络传播算法。

进一步地，所述机器有监督学习方式为决策树学习算法。

进一步地，所述的状态特征合成模块还包括第二特征相似度标签集生成单元，所述的第二特征相似度标签集通过对存储在映射表中的所有第二特征进行所述机器无监督学习方式获得。

进一步地，所述红外暗像素单元与所述红外感光单元由同种材料制成。

进一步地，所述的机器无监督学习方式为PCA特征抽取方式。

为达到上述目的，本发明还提供一种基于深度学习的智能机器人视觉技术应用检测系统的检测方法，包括：

步骤S1：预设所述输出目标状态的第一特征；

步骤S2：所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与相似度标签集中的标签进行比较，输出所述目标状态的第一特征；所述相似度标签集中的标签通过机器有监督学习方式获得；

步骤S3：接收每一个所述预定时间间隔输入的条件参数或环境参数特征；

步骤S4：将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，形成目标状态的第二特征，并存入所述映射表中；

步骤S5：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述第一特征相似度标签集；

步骤S6：使用修正后的所述相似度标签集中的标签，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔，执行步骤S2，直到完成所需时间段的目标状态识别。

进一步地，所述的步骤S5具体包括：

步骤S51：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；

步骤S52：根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并将所述校正参数和需要修正的结果存储在所述映射表中；

步骤S53：存储判断和修正后的所述第一特征相似度标签集；并在一定的时间段内，根据所述映射表中相应的所述校正参数和需要修正的结果，修正所述预设所述输出目标状态的第一特征。

从上述技术方案可以看出，本发明在形成目前被测目标物体的状态过程中，检测策略中结合图像处理系统所获得的被测目标物体状态与其它参数特征相结合，并采用增加无监督学习的方法，得到后续过程的优化检测策略。

附图说明

图1为现有技术中的视觉技术应用检测系统的原理示意图

图2所示为现有技术中的视觉技术应用检测的光谱图像示意图

图3所示为本发明基于深度学习的智能机器人视觉技术应用检测系统的一较佳实施例的原理示意图

具体实施方式

下面结合附图3，对本发明的具体实施方式作进一步的详细说明。需说明的是，附图均采用非常简化的形式、使用非精准的比例，且仅用以方便、清晰地达到辅助说明本实施例的目的。

请参阅图3，图3所示为本发明基于深度学习的智能机器人视觉技术应用检测系统的一较佳实施例的电路示意图。如图所示，在本发明的实施例中，该基于深度学习的智能机器人视觉技术应用检测系统包括目标状态识别模块、用于接收每一个所述预定时间间隔输入的条件参数或环境参数特征的参数特征输入模块、状态特征合成模块、策略计算模块和校准模块。

目标状态识别模块用于产生被测目标状态第一和/或第二特征，第一特征用第一特征相似度标签集中的标签体现，第二特征由第二特征相似度标签集中的标签体现。也就是说，第一特征同第一特征相似度标签集中的标签具有映射关系，第二特征与第二特征用相似度标签集中的标签具有映射关系。并且，第一特征和第一特征相似度标签集中的标签可以存储在映射表中，第二特征和第二特征相似度标签集中的标签也可以存储在映射表中。

在本发明的实施例中，目标状态识别模块可以包括图像获取单元，图像处理分析单元和图形交互单元；其中，所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与第一特征相似度标签集中的标签进行比较，输出所述目标状态的第一特征。

在系统开始工作之前，需要预设输出目标状态的第一特征，如图3所示，预设的输出目标状态的第一特征由目标状态初始化模块产生。该第一特征相似度标签集中的标签是根据以往的检测特征数据，并通过机器有监督学习方式获得。其中，机器有监督学习方式为神经网络传播算法或决策树学习算法等，在此不再赘述。

在本发明的实施例中，图像获取单元可以为CMOS和CCD像素获取单元，即图像获取可以包括光源、镜头、相机、采集卡、机械平台等设备；

图像处理分析单元的图像信号为像素分布和亮度和颜色；也可以为多光谱相机，所述图像处理分析单元的图像信号将接收所述多光谱相机拍摄的图像，用过滤器从选定的电磁光谱区域捕捉反射光，从而获得所述目标光谱特征。图像处理与分析单元和图形交互单元可以采用工控主机、图像处理分析软件等设备，在此不再赘述。

图像处理分析单元和图形交互单元对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格或不合格、有或无等评价参数，实现自动识别功能。

本领域技术人员清楚，上述目标状态识别模块从检测结果所提取特征只是显示了目前被测目标物体的状态，对后续对被测目标物体控制策略的形成还需与其它参数特征相结合，这些参数特征可以包括条件参数或环境参数特征。在本发明的实施例中，参数特征输入模块用于接收每一个所述预定时间间隔输入的条件参数或环境参数特征。

在条件参数或环境参数特征的影响下，上述目标状态识别模块所用到的第一特征相似度标签集中的标签是需要修正的。在本发明的实施例中，状态特征合成模块，用于将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，以便形成被测目标状态的第二特征。

在本发明的实施例中，被测目标状态的第二特征用于生成第二特征相似度标签集，所述的状态特征合成模块还包括第二特征相似度标签集生成单元，所述的第二特征相似度标签集通过对存储在映射表中的所有第二特征进行所述机器无监督学习方式获得。

在本发明的实施例中，策略计算模块根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；校准模块根据所述策略产生模块产生的校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述第一相似度标签集；其中，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔中，使用修正后的所述第一特征相似度标签集中的标签。

需要说明的是，在本发明需得到的大量的第一特征和第二特征的偏差数据的基础上才能进行无监督学习，也就是说，本发明的无监督学习得到的第二特征相似度标签集是要通过大量相应的判断结果评定后生成的。

在本发明的实施例中，如果条件参数或环境参数特征的条目数量较多，可以采用PCA(Principal Component Analysis，主成分分析)，其是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。

在本发明的实施例中，本发明还提供一种根据上述基于深度学习的智能机器人视觉技术应用检测系统的检测方法，具体包括：

步骤S1：预设所述输出目标状态的第一特征；

步骤S2：所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与相似度标签集中的标签进行比较，输出所述目标状态的第一特征；所述相似度标签集中的标签通过机器有监督学习方式获得；

步骤S3：接收每一个所述预定时间间隔输入的条件参数或环境参数特征；

步骤S4：将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，形成目标状态的第二特征，并存入所述映射表中；

步骤S5：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述第一特征相似度标签集；

步骤S6：使用修正后的所述相似度标签集中的标签，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔，执行步骤S2，直到完成所需时间段的目标状态识别。

在本发明的实施例中，步骤S5具体包括：

步骤S51：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；

步骤S52：根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并将所述校正参数和需要修正的结果存储在所述映射表中；

步骤S53：存储判断和修正后的所述第一特征相似度标签集；并在一定的时间段内，根据所述映射表中相应的所述校正参数和需要修正的结果，修正所述预设所述输出目标状态的第一特征。。

以上所述的仅为本发明的优选实施例，所述实施例并非用以限制本发明的专利保护范围，因此凡是运用本发明的说明及附图内容所作的等同结构变化，同理均应包含在本发明的保护范围内。

Claims (10)

1.一种基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，包括：

目标状态识别模块，用于产生被测目标状态第一和/或第二特征，其包括图像获取单元，图像处理分析单元和图形交互单元；其中，所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与第一特征相似度标签集中的标签进行比较，输出所述目标状态的第一特征；其中，预设的输出目标状态的第一特征由目标状态初始化模块产生；所述第一特征相似度标签集中的标签通过机器有监督学习方式获得；

参数特征输入模块，用于接收每一个所述预定时间间隔输入的条件参数或环境参数特征；

状态特征合成模块，用于将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，形成目标状态的第二特征；

策略计算模块，根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；

校准模块，根据所述策略产生模块产生的校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述相似度标签集；其中，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔中，使用修正后的所述第一特征相似度标签集中的标签。

2.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述图像获取单元为CMOS和CCD像素获取单元，所述图像处理分析单元的图像信号为像素分布和亮度和颜色。

3.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述图像获取单元为多光谱相机，所述图像处理分析单元的图像信号将接收所述多光谱相机拍摄的图像，用过滤器从选定的电磁光谱区域捕捉反射光，从而获得所述目标光谱特征。

4.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述第一特征相似度标签集的标签和所述第二特征相似度标签集的标签存储在映射表中。

5.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述的机器有监督学习方式为神经网络传播算法。

6.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述机器有监督学习方式为决策树学习算法。

7.根据权利要求1所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述的状态特征合成模块还包括第二特征相似度标签集生成单元，所述的第二特征相似度标签集通过对存储在映射表中的所有第二特征进行所述机器无监督学习方式获得。

8.根据权利要求7所述的基于深度学习的智能机器人视觉技术应用检测系统，其特征在于，所述的机器无监督学习方式为PCA特征抽取方式。

9.一种根据权利要求1-8任意一个所述的基于深度学习的智能机器人视觉技术应用检测系统的检测方法，其特征在于，包括：

步骤S1：预设所述输出目标状态的第一特征；

步骤S2：所述图像获取单元按预定时间间隔将被检测的目标转换成图像信号，传送给所述图像处理分析单元，所述图像处理分析单元将所述图像信号转变成数字信号，并对所述数字信号进行运算来抽取目标状态的特征参数，所述图形交互单元将所述目标状态的特征参数与相似度标签集中的标签进行比较，输出所述目标状态的第一特征；所述相似度标签集中的标签通过机器有监督学习方式获得；

步骤S3：接收每一个所述预定时间间隔输入的条件参数或环境参数特征；

步骤S4：将获得的被测目标状态的第一特征与所述参数特征输入模块输出的参数特征相结合，形成目标状态的第二特征，并存入所述映射表中；

步骤S5：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并存储判断和修正后的所述第一特征相似度标签集；

步骤S6：使用修正后的所述相似度标签集中的标签，所述目标状态识别模块中的图像获取单元在下一个预定时间间隔，执行步骤S2，直到完成所需时间段的目标状态识别。

10.根据权利要求9所述的检测方法，其特征在于，所述的步骤S5具体包括：

步骤S51：根据所述映射表中所述目标状态的第一特征和第二特征的偏差，形成判断校正参数；

步骤S52：根据所述校正参数，判断是否需要修正所述第一特征相似度标签集，并将所述校正参数和需要修正的结果存储在所述映射表中；

步骤S53：存储判断和修正后的所述第一特征相似度标签集；并在一定的时间段内，根据所述映射表中相应的所述校正参数和需要修正的结果，修正所述预设所述输出目标状态的第一特征。