CN107274368A - 兼容性视觉处理系统及方法 - Google Patents

Abstract

本发明公开了一种兼容性视觉处理系统及方法，包括：视觉信息提取单元，所述视觉信息提取单元用于采集目标图像信息，包括单目视觉传感器、双目视觉传感器、ToF视觉相机以及结构光视觉传感器；兼容性视觉处理一体单元，其用于接收目标图像信息，并根据用户使用需求选择相应的算法对目标图像信息进行处理和分析，其还包括通用型接口和通讯协议以及人机交互系统；信息输出单元，接收处理结果，并根据使用需求进行后续执行操作，所述执行操作至少包括处理结果存储、机械臂执行、OK/NG件显示。本发明设计的兼容性视觉处理系统内嵌多种具体视觉处理算法，降低用户开发成本，提高运行效率；并通过通用型接口与通讯协议，实现与传感器和执行机构的无障碍连接。

Description

兼容性视觉处理系统及方法

技术领域

本发明涉及机器视觉识别技术领域，具体说是涉及一种兼容性视觉处理系统及方法。

背景技术

机器视觉在智能工厂中扮演着重要的角色，可以有效增加产能、提高产品合格率。视觉传感器作为机器人的“眼睛”，能够为其提供丰富的外界信息。在不与待测物体接触的情况下，即可达到对环境和目标的识别，较其他检测方法而言，具有巨大的使用优势。目前较为成熟的视觉测量装置，多数是只针对某一特定环境或应用场合的专用测量仪器，而针复杂多变的应用场合，缺少一种兼容性、通用型的机器视觉测量设备，满足不同测量需求以及实现各种执行环境下的无障碍式处理。

发明内容

鉴于已有技术存在的不足，本发明的目的是要提供一种嵌入多视觉处理算法，且能够应用于多种测量环境的高效视觉处理系统

为了实现上述目的，本发明技术方案如下：

一种兼容性视觉处理系统，其特征在于，系统包括：

视觉信息提取单元，所述视觉信息提取单元用于采集目标图像信息，其至少包括单目视觉传感器、双目视觉传感器、ToF视觉相机以及结构光视觉传感器；

兼容性视觉处理一体单元，所述兼容性视觉处理一体单元接收目标图像信息，并根据用户使用需求选择相应的算法对目标图像信息进行处理和分析；所述兼容性视觉处理一体单元搭载的视觉信息处理算法至少包括外观瑕疵检测算法、三维姿态测量算法以及表面数据重建算法；所述兼容性视觉处理一体单元还包括用以实现数据连接和传输的通用型接口和通讯协议以及用以实现系统操作的人机交互系统；

信息输出单元，所述输出单元接收兼容性视觉处理一体单元的处理结果，并根据使用需求进行后续执行操作，所述执行操作至少包括处理结果存储、机械臂执行、OK/NG件显示。

进一步的，作为本发明的优选，进行外观瑕疵检测的步骤包括：

a)使用单目视觉传感器对待测目标进行拍照并提取拍摄的目标图片；

b)对提取的图片进行二值化处理，便于图像的进一步处理；

c)对得到的二值化图像进行滤波，降低外部噪声对检测结果的影响；

d)对滤波处理后的图像进行阴影渐变识别，突出图像的细节信息；

e)对经过上述步骤处理过的图像做生长补正处理，提高图像质量；

f)将瑕疵点特征与图像进行对比，提取瑕疵点。

进一步的，作为本发明的优选，进行三维位姿测量前，用户需判断待测目标是否静止，如果静止，则选用双目视觉传感器提取产品视觉信息，否则选用ToF视觉相机提取产品视觉信息。

进一步的，作为本发明的优选，静止目标三维位姿测量的步骤包括：

a)通过双目传感器对目标物体进行拍照，得到目标左、右图像；

b)对采集到的左、右图像分别进行至少包括二值化及滤波除噪的预处理；

c)对经预处理得到的左、右图像分别进行特征点提取以及特征点匹配操作；

d)将得到的左、右图像信息进行融合，最终得到目标三维位姿信息。

进一步的，作为本发明的优选，运动目标三维姿态测量的步骤包括：

a)通过ToF视觉相机实时对运动目标进行测量，得到运动目标点云信息；

b)根据逆向恢复机制得到目标可测部位的真实点云；

c)对所得真实点云进行拼接，目标三维重建结果；

d)根据重建结果进行点云配准，以获取相应位姿信息。

进一步的，作为本发明的优选，表面数据重建的步骤包括：

a)通过结构光视觉传感器对物体表面进行测量，得到目标物体表面三维点云数据；

b)运用多组点云数据依次进行拼接、重叠区域化、非连接项去除、曲面拟合以及曲面法向量提取处理，最终得到物体表面三维形貌及其他具体信息。

本发明另一目的是要提供一种基于上述视觉处理系统的视觉处理方法，其特征在于，包括如下步骤：

S1、用户根据使用需求通过人机交互系统选择相应传感器，并提取相关视觉信息；

S2、根据选取的传感器类型，自动选择匹配的视觉信息处理算法，对视觉信息进行处理和分析，并将分析结果经通讯模块送至外部执行机构；

S3、外部执行机构接收分析结果，并根据用户需求进行后续执行操作。

与现有技术相比，本发明的有益效果：

1、本发明所述系统针对不同的使用需求，根据用户选择相应的视觉传感器，并自主选择与之相匹配的关键处理算法，能够实现产品外观质量检测、目标三维位姿测量以及复杂表面三维重建等功能，无需二次编程，降低了用户开发成本，提高运行效率，可直接输出用户所需的最终数据。

2、本发明系统搭载多种视觉传感器，针对传感器类型不同，设计通用型接口与通讯协议，制定通讯标准，使得传感器与一体机无缝连接，解决现在市场各类视觉传感器数据传输混杂状况。

3、本发明系统可搭接机械臂、数据库以及OK/NG显示件等其他数据操作功能，其中与机械臂进行数据传输时，设计有通用型接口与通讯协议，用户可根据自身需要搭配不同型号机械臂，解决了现在市场各大机械臂生产厂商将机械臂与视觉类传感器捆绑销售的垄断局面。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的功能模块图；

图2是本发明的产品外观质量检测算法流程图；

图3是本发明的双目测量目标位姿算法流程图；

图4是本发明的ToF相机测量目标位姿算法流程图；

图5是本发明的复杂表面重建算法流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明设计了一种搭载多种视觉图像处理算法并能够实现多种功能的通用性系统，下面结合附图以及具体实施例进一步说明本发明的技术方案：

如图1所示为一种兼容性视觉处理系统，系统包括：视觉信息提取单元、兼容性视觉处理一体单元和信息输出单元。

视觉信息提取单元用于采集目标图像信息，其包括单目视觉传感器、双目视觉传感器、ToF视觉相机以及结构光视觉传感器等能够用于采集视觉信息的传感器，并由使用者根据应用场合选取对应视觉传感器。

兼容性视觉处理一体单元接收目标图像信息，并根据用户使用需求选择相应的算法对目标图像信息进行处理和分析；所述兼容性视觉处理一体单元搭载有多种视觉信息处理算法，至少包括外观瑕疵检测算法、三维姿态测量算法以及表面数据重建算法等。用户根据需求选择相应的传感器以及数据处理算法。所述兼容性视觉处理一体单元还包括用以实现数据连接和传输的通用型接口和通讯协议以及用以实现系统操作的人机交互系统。

本发明中视觉信息提取单元与兼容性视觉处理一体单元设计有通用型接口与通讯协议，实现无障碍式数据传输。所述的人机交互系统是在兼容性视觉处理一体单元上安装有显示器等操作显示设备，方便使用者选择处理算法以及显示信息输出单元中OK/NG件等功能；兼容性视觉处理一体单元与视觉信息提取单元间设计有通用型接口与通讯协议，实现无障碍式数据传输，作为本发明的优选方案，通讯接口可以选择Ethernet(以太网)接口、USB以及RS-232C等，通讯协议选用EtherNet/IP、EtherTalk协议等。

信息输出单元接收兼容性视觉处理一体单元的处理结果，并根据使用需求进行后续执行操作，所述执行操作至少包括处理结果存储、机械臂执行、OK/NG件显示。

本发明中，信息输出单元为视觉数据处理后的应用执行部分，包括处理结果存储、机械臂执行、OK/NG件显示等其他数据操作。所述的处理结果存储为将处理后的视觉信息数据传输到数据库中，进行统一规划整理，方便统一调用；所述的机械臂执行是将视觉处理后数据传输到机械臂执行具体操作，用户可根据自身情况选用合适机械臂，一体机设有通用型数据接口与通讯协议，与不同机械臂无缝对接；所述的OK/NG件显示是通过人机交互系统中的显示器显示产品外观质量检测算法处理后的产品质量信息；所述的兼容性视觉测量一体机为图1中虚线框内部结构组成，包括视觉信息提取单元和信息输出单元与兼容性视觉处理一体单元间的通用接口与通讯协议。

进一步的，作为本发明的优选，如图2所示为进行外观瑕疵检测的了流程图，其步骤包括：

a)使用单目视觉传感器对待测目标进行拍照并提取拍摄的目标图片；

b)对提取的图片进行二值化处理，便于图像的进一步处理；

c)对得到的二值化图像进行滤波，降低外部噪声对检测结果的影响；

d)对滤波处理后的图像进行阴影渐变识别，突出图像的细节信息；

e)对经过上述步骤处理过的图像做生长补正处理，提高图像质量；

f)将瑕疵点特征与图像进行对比，提取瑕疵点。

本发明中，外观质量检测是利用单目相机2D检测产品外观，可检测出产品生产表面崩口、毛刺和裂缝等瑕疵。首先通过单目相机对待检测产品表面进行拍照测量，然后对所得产品表面图像信息进行二值化、滤波去除噪点、阴影渐变以及区域生长补正等操作，最终得到产品表面瑕疵点信息。

进一步的，作为本发明的优选，进行三维位姿测量前，用户需判断待测目标是否静止，如果静止，则选用双目视觉传感器提取产品视觉信息，否则选用ToF视觉相机提取产品视觉信息。

进一步的，作为本发明的优选，如图3所示为静止目标三维位姿测量的流程，其步骤包括：

a)通过双目传感器对目标物体进行拍照，得到目标左、右图像；

b)对采集到的左、右图像分别进行至少包括二值化及滤波除噪的预处理；

c)对经预处理得到的左、右图像分别进行特征点提取以及特征点匹配操作；

d)将得到的左、右图像信息进行融合，最终得到目标三维位姿信息。

进一步的，作为本发明的优选，如图4所示为运动目标三维姿态测量的流程，其步骤包括：

a)通过ToF视觉相机实时对运动目标进行测量，得到运动目标点云信息；

b)根据逆向恢复机制得到目标可测部位的真实点云；

c)对所得真实点云进行拼接，目标三维重建结果；

d)根据重建结果进行点云配准，以获取相应位姿信息。

本发明中，目标三维位姿测量是利用双目视觉传感器和ToF视觉相机测量目标三维位姿信息。所述的双目视觉传感器测量目标三维位姿信息：首先通过双目传感器对目标物体进行拍照，得到目标左右图像，然后对左右图像进行二值化、滤波除噪、目标特征点提取以及特征点匹配等具体操作，最终得到目标三维位姿信息；所述的ToF视觉相机测量目标三维位姿信息：首先通过ToF视觉相机实时对运动目标物体进行测量，得到运动目标点云信息，然后通过间段取样打薄、目标点云重建、旋转轴及旋转角度确定等操作，最终得到运动目标三维位姿信息。

进一步的，作为本发明的优选，如图5所示为表面数据重建的流程，步骤包括：

a)通过结构光视觉传感器对物体表面进行测量，得到目标物体表面三维点云数据；

b)运用多组点云数据依次进行拼接、重叠区域化、非连接项去除、曲面拟合以及曲面法向量提取处理，最终得到物体表面三维形貌及其他具体信息。

本发明中，复杂表面重建是利用结构光视觉传感器检测物体表面三维形貌，可以完整精确的还原出物体表面数据信息。首先通过结构光视觉传感器对物体表面进行测量，得到目标物体表面三维点云数据，然后运用多组点云数据拼接、点云重叠区域化、非连接项去除、曲面拟合以及曲面法向量提取等具体处理算法，最终得到物体表面三维形貌及其他具体信息。

本发明另一目的是要提供一种基于上述视觉处理系统的视觉处理方法，其特征在于，包括如下步骤：

S1、用户根据使用需求通过人机交互系统选择相应传感器，并提取相关视觉信息；

S2、根据选取的传感器类型，自动选择匹配的视觉信息处理算法，对视觉信息进行处理和分析，并将分析结果经通讯模块送至外部执行机构；

S3、外部执行机构接收分析结果，并根据用户需求进行后续执行操作。

下面通过具体实施例对本发明做进一步说明。

具体来说，本发明的功能单元主要包括三大部分，即：视觉信息提取单元、兼容性视觉处理一体单元和信息输出单元。

视觉信息提取单元包括单目视觉传感器、双目视觉传感器、ToF视觉相机以及结构光视觉传感器。用户可根据应用场合不同选择视觉传感器，视觉传感器与兼容性视觉处理一体单元间设计有通用型接口与通讯协议，实现两个模块间无缝对接。

兼容性视觉处理一体单元包括产品外观质量检测(流程如图2所示)、目标三维位姿测量(静止目标流程如图3所示、运动目标流程如图4所示)、复杂表面三维重建(流程如图5所示)以及人机交互系统。人机交互系统带有显示器等其他设备，可根据应用场合与视觉传感器的不同自主选择不同处理算法。处理模块与输出模块间设计有通用型接口与通讯协议，用户可根据自身需求配套不同型号机械臂。

信息输出单元包括处理结果存储、机械臂执行、OK/NG件显示以及其他数据操作。数据输出口可连接数据库，进行视觉处理数据信息存储。一体机也可与多种机械臂进行连接，执行具体操作。人机交互系统包含显示器，可现实处理后的OK/NG件信息，增加了人机交互性。同时，数据输出模块可连接其他数据操作，用户可根据自身需要进行自主匹配设备。

兼容性视觉处理一体单元为图1中虚线框所包含内容：视觉信息提取单元与兼容性视觉处理一体单元间的通用型接口与通讯协议、整个兼容性视觉处理一体单元与信息输出单元间的通用型接口与通讯协议。

本发明的工作原理如下：

视觉信息提取单元连接视觉类传感器进行数据采集，兼容性视觉处理一体单元将采集后得到的视觉信息依据搭载的算法进行定向处理，信息输出单元将处理后的视觉信息根据应用场景具体输出执行。

本发明设计的兼容性视觉处理系统嵌入具体视觉处理算法，降低用户开发成本，提高运行效率，可直接输出用户所需的最终数据，比如：位姿，轨迹等；设计有通用型接口与通讯协议，可与多种视觉传感器和机械臂等执行机构无障碍连接,具有集成式、通用型、模块化的特点。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (7)

1.一种兼容性视觉处理系统，其特征在于，系统包括：

视觉信息提取单元，所述视觉信息提取单元用于采集目标图像信息，其至少包括单目视觉传感器、双目视觉传感器、ToF视觉相机以及结构光视觉传感器；

兼容性视觉处理一体单元，所述兼容性视觉处理一体单元接收目标图像信息，并根据用户使用需求选择相应的算法对目标图像信息进行处理和分析；所述兼容性视觉处理一体单元搭载的视觉信息处理算法至少包括外观瑕疵检测算法、三维姿态测量算法以及表面数据重建算法；所述兼容性视觉处理一体单元还包括用以实现数据连接和传输的通用型接口和通讯协议以及用以实现系统操作的人机交互系统；

信息输出单元，所述输出单元接收兼容性视觉处理一体单元的处理结果，并根据使用需求进行后续执行操作，所述执行操作至少包括处理结果存储、机械臂执行、OK/NG件显示。

2.根据权利要求1所述的一种兼容性视觉处理系统，其特征在于，进行外观瑕疵检测的步骤包括：

a)使用单目视觉传感器对待测目标进行拍照并提取拍摄的目标图片；

b)对提取的图片进行二值化处理，便于图像的进一步处理；

c)对得到的二值化图像进行滤波，降低外部噪声对检测结果的影响；

d)对滤波处理后的图像进行阴影渐变识别，突出图像的细节信息；

e)对经过上述步骤处理过的图像做生长补正处理，提高图像质量；

f)将瑕疵点特征与图像进行对比，提取瑕疵点。

3.根据权利要求1所述的一种兼容性视觉处理系统，其特征在于，进行三维位姿测量前，用户需判断待测目标是否静止，如果静止，则选用双目视觉传感器提取产品视觉信息，否则选用ToF视觉相机提取产品视觉信息。

4.根据权利要求3所述的一种兼容性视觉处理系统，其特征在于，静止目标三维位姿测量的步骤包括：

a)通过双目传感器对目标物体进行拍照，得到目标左、右图像；

b)对采集到的左、右图像分别进行至少包括二值化及滤波除噪的预处理；

c)对经预处理得到的左、右图像分别进行特征点提取以及特征点匹配操作；

d)将得到的左、右图像信息进行融合，最终得到目标三维位姿信息。

5.根据权利要求3所述的一种兼容性视觉处理系统，其特征在于，运动目标三维姿态测量的步骤包括：

a)通过ToF视觉相机实时对运动目标进行测量，得到运动目标点云信息；

b)根据逆向恢复机制得到目标可测部位的真实点云；

c)对所得真实点云进行拼接，目标三维重建结果；

d)根据重建结果进行点云配准，以获取相应位姿信息。

6.根据权利要求1所述的一种兼容性视觉处理系统，其特征在于，表面数据重建的步骤包括：

a)通过结构光视觉传感器对物体表面进行测量，得到目标物体表面三维点云数据；

b)运用多组点云数据依次进行拼接、重叠区域化、非连接项去除、曲面拟合以及曲面法向量提取处理，最终得到物体表面三维形貌及其他具体信息。

7.一种基于权利要求1所述视觉处理系统的视觉处理方法，其特征在于，包括如下步骤：

S1、用户根据使用需求通过人机交互系统选择相应传感器，并提取相关视觉信息；

S2、根据选取的传感器类型，自动选择匹配的视觉信息处理算法，对视觉信息进行处理和分析，并将分析结果经通讯模块送至外部执行机构；

S3、外部执行机构接收分析结果，并根据用户需求进行后续执行操作。