CN117301078A - 一种机器手视觉校准方法及系统 - Google Patents

Abstract

本发明涉及机器视觉校准技术领域，尤其是涉及一种机器手视觉校准方法及系统，所述方法包括如下步骤：构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像；根据第一数据集、第二数据集和第三数据集计算径向畸变权重和切向畸变权重；利用第三数据集、径向畸变权重和切向畸变权重建立视觉校准数据库；基于视觉校准数据库对目标图像的实时径向畸变权重和实时切向畸变权重进行预测；根据第三数据集、实时径向畸变权重和实时切向畸变权重确定被测目标的实际位置。本发明同时考虑了径向畸变和切向畸变对目标图像的影响，与现有的机器手视觉校准方法相比不仅具有更高的准确性和可靠性，而且简单易行，便于推广。

Description

一种机器手视觉校准方法及系统

技术领域

本发明涉及机器视觉校准技术领域，尤其是涉及一种机器手视觉校准方法及系统。

背景技术

机器手因其操作的灵活性，在仓储物流行业得到了广泛的应用。在机器手的组成部分中，视觉系统是机械臂的关键部分之一，作为机械臂的眼睛，视觉系统性能的好坏直接决定着机械臂抓取、移动的准确性。然而，在机器手的视觉系统中，由于相机镜头加工工艺和相机轴向与被测对象所在平面不垂直会导致机器手视觉系统获取的图像产生畸变，主要包括径向畸变和切向畸变，进而使机器手不能准确识别被测对象的具体位置，因此必须对机器手进行视觉校准。

现有技术主要是通过建立畸变模型来找出图像中像素点与真实世界坐标系之间的映射关系，进而实现对机器手的视觉校准。然而视觉系统获取的图像的畸变过程往往十分复杂，因此图像的畸变模型的求解也较为困难，求解畸变模型的过程中往往伴随着大量复杂的计算，如果想要简化计算就只能忽略径向畸变和切向畸变中的部分畸变量，但这又降低了非线性畸变模型的准确性和可靠性，进而降低了对机器手进行视觉校准的准确性和可靠性。

发明内容

针对现有技术中的缺陷，本发明提供一种机器手视觉校准方法及系统。

为了实现上述目的，第一方面，本发明提供了一种机器手视觉校准方法，所述方法包括如下步骤：构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像；根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重；利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库；基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测；根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置。本发明同时考虑了径向畸变和切向畸变对目标图像的影响，与现有的机器手视觉校准方法相比不仅具有更高的准确性和可靠性，而且简单易行，便于推广。

可选地，所述构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像包括如下步骤：

获取畸变模板，并确定径向畸变模型和切向畸变模型；

设定多组所述径向畸变模型中的第一畸变系数，并通过径向畸变模型对所述畸变模板进行模拟来获取每组所述第一畸变系数对应的径向畸变图像，进而建立所述第一数据集；

设定多组所述切向畸变模型中的第二畸变系数，并通过切向畸变模型对所述畸变模板进行模拟来获取每组所述第二畸变系数对应的切向畸变图像，进而建立所述第二数据集；

将所述径向畸变模型和所述切向畸变模型结合为组合畸变模型，同时将每一组所述第一畸变系数和所述第二畸变系数一一组合构成多组组合畸变系数，并通过组合畸变模型对所述畸变模板进行模拟来获取每组所述组合畸变系数对应的组合畸变图像，进而建立所述第三数据集。

进一步的，通过调整径向畸变模型、切向畸变模型和组合畸变模型中的畸变系数来获取不同的畸变图像，进而建立不同的数据集是容易实现的，同时也为后续计算相应的畸变权重提供可靠的数据基础。

可选地，所述根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重包括如下步骤：

在所述第一数据集和所述第三数据集中，计算相同所述第一畸变系数所对应的径向畸变图像与组合畸变图像的第一图相似度；

在所述第二数据集和所述第三数据集中，计算相同所述第二畸变系数所对应的切向畸变图像与组合畸变图像的第二图相似度；

根据所述第一图相似度和所述第二图相似度，使用所述畸变权重模型计算所述径向畸变权重和所述切向畸变权重。

进一步的，计算径向畸变权重和切向畸变权重可以为后续给组合畸变模型分配准确的畸变系数提供可靠的数据基础，进而提高获取的被测目标实际位置的准确性和可靠性。

可选地，所述畸变权重模型满足如下关系：

，

其中，为所述径向畸变权重，k为所述组合畸变系数里第一畸变系数中最大畸变系数与最小畸变系数的比值，s为所述第一图相似度，/>表示取均值，/>为所述第一图相似度的集合，/>为所述第二图相似度的集合，/>为所述切向畸变权重，K为所述组合畸变系数里第二畸变系数中最大畸变系数与最小畸变系数的比值，S为所述第二图相似度。

可选地，所述基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测包括如下步骤：

以所述组合畸变图像为输入，所述径向畸变权重和所述切向畸变权重为输出建立第一卷积神经网络；

使用所述视觉校准数据库中的组合畸变图像、径向畸变权重和切向畸变权重完成对所述第一卷积神经网络的训练，得到第一预测模型；

将所述目标图像输入所述第一预测模型，进而预测所述目标图像的实时径向畸变权重和实时切向畸变权重。

进一步的，获取实时径向畸变权重和实时切向畸变权重可以对后续得到的组合畸变系数预测值进行修正，进而提高视觉校准的准确性。

可选地，所述根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置包括如下步骤：

根据所述第三数据集建立第二预测模型，并使用所述第二预测模型获取所述目标图像的组合畸变系数预测值；

使用所述实时径向畸变权重、所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值进行修正；

将修正得到的结果带入所述组合畸变模型中来对所述目标图像进行反演得到修复图像，并利用所述修复图像确定所述被测目标的实际位置。

可选地，所述根据所述第三数据集建立第二预测模型，并使用所述第二预测模型获取所述目标图像的组合畸变系数预测值包括如下步骤：

以所述组合畸变图像为输入，所述组合畸变系数为输出建立第二卷积神经网络；

使用所述第三数据集中的组合畸变图像和组合畸变系数完成对所述第二卷积神经网络的训练，进而得到第二预测模型；

将所述目标图像输入所述第二预测模型，进而预测所述目标图像的组合畸变系数预测值。

进一步的，使用第二预测模型来实现对组合畸变系数的预测，在避免建立复杂的畸变模型的同时还可以将多种畸变量考虑在内，这不仅简化了对机器手进行视觉校准的过程，而且还能提高视觉校准的准确性。

可选地，所述使用所述实时径向畸变权重、所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值进行修正包括如下步骤：

使用所述实时径向畸变权重和所述校正模型对所述组合畸变系数预测值中的第一畸变系数预测值进行修正，得到第一畸变系数准确值；

利用所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值中的第二畸变系数预测值进行修正，得到第二畸变系数准确值。

进一步的，使用实时径向畸变权重和实时切向畸变权重对组合畸变系数预测值进行修正可以提高组合畸变系数的准确性，进而进一步提高视觉校准的准确性。

可选地，所述校正模型满足如下关系：

其中，、/>和/>为所述第一畸变系数准确值，/>和/>为所述第二畸变系数准确值，/>为所述径向畸变权重，/>为所述切向畸变权重，/>、/>和/>为所述第一畸变系数预测值，/>和/>为所述第二畸变系数预测值。

综上所述，本发明提供的方法利用第二预测模型和建立的视觉校准数据库来对组合畸变模型中的各个畸变参数进行预测，在避免建立复杂的畸变模型的同时还可以将多种畸变量考虑在内，不仅简化了对机器手进行视觉校准的过程，而且还能提高视觉校准的准确性。同时，本发明基于视觉校准数据库对目标图像的实时径向畸变权重和实时切向畸变权重进行预测，并利用实时径向畸变权重和实时切向畸变权重对组合畸变系数预测值进行修正，进而可以在确定组合畸变模型的情况下对目标图像进行反演以确定被测目标的实际位置，进一步提高视觉校准的准确性。因此本发明与现有的机器手视觉校准方法相比不仅具有更高的准确性和可靠性，而且简单易行，便于推广。

第二方面，发明提供了一种机器手视觉校准系统，所述系统使用本发明提供的一种机器手视觉校准方法，所述系统包括：数据构建与采集模块，所述数据构建与采集模块用于构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像；数据处理模块，所述数据处理模块用于根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重；利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库；基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测；根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置；数据储存模块，所述数据储存模块用于储存所述数据构建与采集模块和所述数据处理模块中采集和生成的数据；数据输出模块，所述数据输出模块用于输出被测目标的实际位置。

进一步的，本发明提供的系统不仅与本发明提供的方法具有相同的优点，而且能够提升机器手视觉校准的效率，并有利于促进机器手向更加智能化的方向发展。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本发明实施例的一种机器手视觉校准方法的流程示意图；

图2为本发明实施例的一种机器手视觉校准系统的框架示意图。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

需要提前说明的是，在一个可选地实施例当中，除了做出独立的说明之外，其它的在所有公式中出现的相同的符号或字母带表的含义和数值相同。

在一个可选地实施例当中，请参见图1，本发明提供了一种机器手视觉校准方法，所述方法包括如下步骤：

S1、构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像。

其中，步骤S1具体包括如下步骤：

S11、获取畸变模板，并确定径向畸变模型和切向畸变模型。

具体的，在本实施例中，畸变模板为没有发生任何畸变的清晰图像，该图像是使用AI绘画生成的彩色图像。径向畸变模型和切向畸变模型为现有技术，为了便于理解后续的说明，本实施例依次给出了径向畸变模型和切向畸变模型的表达式，具体的表达式如下：

其中，和/>分别为畸变后的像素点横坐标和纵坐标，/>和/>分别为未发生畸变时的像素点横坐标和纵坐标，/>、/>和/>为第一畸变系数，/>和/>为第二畸变系数，r为一个代数且/>。

进一步的，使用AI绘画生成的彩色图像不会发生畸变，这为后续获取准确可靠的第一数据集、第二数据集和第三数据集提供了准确可靠的数据基础，有利于获取被测目标的实际位置。在其他可选地实施例中，也可以通过其他方式来获取畸变模板。

S12、设定多组所述径向畸变模型中的第一畸变系数，并通过径向畸变模型对所述畸变模板进行模拟来获取每组所述第一畸变系数对应的径向畸变图像，进而建立所述第一数据集。

具体的，在本实施例中，共设定100组第一畸变系数，然后依次将每一组第一畸变系数带入径向畸变模型中，进而基于径向畸变模型和畸变模板使用matlab模拟出100张不同的径向畸变图像，将每一组第一畸变系数及其对应的径向畸变图像作为一组径向畸变数据，因此共可获取100组径向畸变数据，并利用这100组径向畸变数据建立第一数据集。为了便于后续说明，本实施例还使用1至100的正整数依次对100组第一畸变系数进行编号。

进一步的，在确定了准确可靠的畸变模板的情况下，通过调整第一畸变系数来使用matlab模拟出径向畸变图像，进而建立第一数据集是易于实现的，能够为获取被测目标的实际位置提供准确可靠的数据基础。此外，基于径向畸变模型和畸变模板使用matlab模拟出径向畸变图像为现有技术，在此就不做详细说明。

S13、设定多组所述切向畸变模型中的第二畸变系数，并通过切向畸变模型对所述畸变模板进行模拟来获取每组所述第二畸变系数对应的切向畸变图像，进而建立所述第二数据集。

具体的，在本实施例中，共设定100组第二畸变系数，然后依次将每一组第二畸变系数带入切向畸变模型中，进而基于切向畸变模型和畸变模板使用matlab模拟出100张不同的切向畸变图像，将每一组第二畸变系数及其对应的切向畸变图像作为一组切向畸变数据，因此共可获取100组切向畸变数据，并利用这100组切向畸变数据建立第二数据集。为了便于后续说明，本实施例还使用1至100的正整数依次对100组第二畸变系数进行编号。

进一步的，在确定了准确可靠的畸变模板的情况下，通过调整第二畸变系数来使用matlab模拟出切向畸变图像，进而建立第二数据集是易于实现的，能够为获取被测目标的实际位置提供准确可靠的数据基础。基于切向畸变模型和畸变模板使用matlab模拟出切向畸变图像为现有技术，在此就不做详细说明。

S14、将所述径向畸变模型和所述切向畸变模型结合为组合畸变模型，同时将每一组所述第一畸变系数和所述第二畸变系数一一组合构成多组组合畸变系数，并通过组合畸变模型对所述畸变模板进行模拟来获取每组所述组合畸变系数对应的组合畸变图像，进而建立所述第三数据集。

具体的，在本实施例中，组合畸变模型满足如下关系：

将编号相同的第一畸变系数和第二畸变系数组合为一组组合畸变系数，且组合畸变系数的编号与组成它的第一畸变系数和第二畸变系数的编号相同，共可得到100组组合畸变系数。每一组组合畸变系数都包含了一组第一畸变系数和一组第二畸变系数，从组合畸变模型中也可以看出这一点。

进一步的，依次将每一组组合畸变系数带入组合畸变模型中，进而基于组合畸变模型和畸变模板使用matlab模拟出100张不同的组合畸变图像，将每一组组合畸变系数及其对应的组合畸变图像作为一组组合畸变数据，因此共可获取100组组合畸变数据，并利用这100组组合畸变数据建立第三数据集。

进一步的，在确定了准确可靠的畸变模板的情况下，通过调整组合畸变系数来使用matlab模拟出组合畸变图像，进而建立第三数据集是易于实现的，能够为获取被测目标的实际位置提供准确可靠的数据基础。基于组合畸变模型和畸变模板使用matlab模拟出组合畸变图像为现有技术，在此就不做详细说明。

S2、根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重。

其中，步骤S2具体包括如下步骤：

S21、在所述第一数据集和所述第三数据集中，计算相同所述第一畸变系数所对应的径向畸变图像与组合畸变图像的第一图相似度。

具体的，在本实施例中，由于组合畸变系数的编号与组成它的第一畸变系数和第二畸变系数的编号相同，因此该步骤就是在第一畸变系数与组合畸变系数编号相同的情况下，计算第一畸变系数所对应的径向畸变图像与组合畸变图像的图相似度，即第一图相似度，且共可得到100个第一图相似度。

进一步的，图相似度的计算为现有技术，在此就不详细说明。

S22、在所述第二数据集和所述第三数据集中，计算相同所述第二畸变系数所对应的切向畸变图像与组合畸变图像的第二图相似度。

具体的，在本实施例中，由于组合畸变系数的编号与组成它的第一畸变系数和第二畸变系数的编号相同，因此该步骤就是在第二畸变系数与组合畸变系数编号相同的情况下，计算第二畸变系数所对应的切向畸变图像与组合畸变图像的图相似度，即第二图相似度，且共可得到100个第二图相似度。

进一步的，图相似度的计算为现有技术，在此就不详细说明。

S23、根据所述第一图相似度和所述第二图相似度，使用所述畸变权重模型计算所述径向畸变权重和所述切向畸变权重。

具体的，在本实施例中，畸变权重模型满足如下关系：

，

其中，为径向畸变权重，k为组合畸变系数里第一畸变系数中最大畸变系数与最小畸变系数的比值，s为第一图相似度，/>表示取均值，/>为第一图相似度的集合，/>为第二图相似度的集合，/>为切向畸变权重，K为组合畸变系数里第二畸变系数中最大畸变系数与最小畸变系数的比值，S为第二图相似度。

进一步的，结合图相似度计算得出的径向畸变权重和切向畸变权重能够从客观角度上准确反映径向畸变和切向畸变各自对组合畸变图像产生的影响大小，因此径向畸变权重和切向畸变权重可以为后续给组合畸变模型分配准确的畸变系数提供可靠的数据基础，进而提高获取的被测目标实际位置的准确性和可靠性。

S3、利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库。

具体的，在本实施例中，将径向畸变权重和切向畸变权重补充至相应的组合畸变数据中，即可得到视觉校准数据库。

S4、基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测。

其中，步骤S4具体包括如下步骤：

S41、以所述组合畸变图像为输入，所述径向畸变权重和所述切向畸变权重为输出建立第一卷积神经网络。

具体的，在本实施例中，卷积神经网络的建立为现有技术，在此就不做详细说明。

S42、使用所述视觉校准数据库中的组合畸变图像、径向畸变权重和切向畸变权重完成对所述第一卷积神经网络的训练，得到第一预测模型。

具体的，在本实施例中，选择视觉校准数据库里70组数据中的组合畸变图像、径向畸变权重和切向畸变权重作为训练集，将剩下30组数据中的组合畸变图像、径向畸变权重和切向畸变权重作为验证集，进而完成对第一卷积神经网络的训练和验证，得到第一预测模型。

进一步的，卷积神经网络的训练和验证为现有技术，在此就不做详细说明。

S43、将所述目标图像输入所述第一预测模型，进而预测所述目标图像的实时径向畸变权重和实时切向畸变权重。

具体的，在本实施例中，获取实时径向畸变权重和实时切向畸变权重可以对后续得到的组合畸变系数预测值进行修正，进而提高视觉校准的准确性。

S5、根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置。

其中，步骤S5具体包括如下步骤：

S51、根据所述第三数据集建立第二预测模型，并使用所述第二预测模型获取所述目标图像的组合畸变系数预测值。

其中，步骤S51具体又包括如下步骤：

S511、以所述组合畸变图像为输入，所述组合畸变系数为输出建立第二卷积神经网络。

具体的，在本实施例中，卷积神经网络的建立为现有技术，在此就不做详细说明。

S512、使用所述第三数据集中的组合畸变图像和组合畸变系数完成对所述第二卷积神经网络的训练，进而得到第二预测模型。

具体的，在本实施例中，选择第三数据集里70组组合畸变数据作为训练集，将剩下30组组合畸变数据作为验证集，进而完成对第一卷积神经网络的训练和验证，得到第二预测模型。

进一步的，卷积神经网络的训练和验证为现有技术，在此就不做详细说明。

S513、将所述目标图像输入所述第二预测模型，进而预测所述目标图像的组合畸变系数预测值。

具体的，在本实施例中，使用第二预测模型来实现对组合畸变系数的预测，在避免建立复杂的畸变模型的同时还可以将多种畸变量考虑在内，这不仅简化了对机器手进行视觉校准的过程，而且还能提高视觉校准的准确性。

S52、使用所述实时径向畸变权重、所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值进行修正。

其中，步骤S52具体又包括如下步骤：

S521、使用所述实时径向畸变权重和所述校正模型对所述组合畸变系数预测值中的第一畸变系数预测值进行修正，得到第一畸变系数准确值。

S522、利用所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值中的第二畸变系数预测值进行修正，得到第二畸变系数准确值。

具体的，在本实施例中，校正模型满足如下关系：

其中，、/>和/>为第一畸变系数准确值，/>和/>为第二畸变系数准确值，/>为径向畸变权重，/>为切向畸变权重，/>、/>和/>为第一畸变系数预测值，/>和/>为第二畸变系数预测值。将步骤S43中得到的实时径向畸变权重和实时切向畸变权重以及步骤S513得到的组合畸变系数预测值带入此关系式中，即可计算出第一畸变系数准确值和第二畸变系数准确值。

进一步的，通过第二预测模型预测的组合畸变系数预测值已经能够直接用来对目标图像进行修复，但是组合畸变系数预测值与真实的组合畸变系数或大或小的存在一些误差，因此往往达不到理想的修复效果。为了进一步提升对目标图像的修复效果，使用实时径向畸变权重和实时切向畸变权重对组合畸变系数预测值进行修正，也就是分别考虑径向畸变和切向畸变对目标图像的影响大小来对组合畸变系数预测值中的各个第一畸变系数预测值和第二畸变系数预测值重新进行数值分配，进而得到更加合理的第一畸变系数和第二畸变系数，即第一畸变系数准确值和第二畸变系数准确值，这样可以提高组合畸变系数的准确性，进而进一步提高视觉校准的准确性。

S53、将修正得到的结果带入所述组合畸变模型中来对所述目标图像进行反演得到修复图像，并利用所述修复图像确定所述被测目标的实际位置。

具体的，在本实施例中，将第一畸变系数准确值和第二畸变系数准确值带入组合畸变模型中，这样得到的组合畸变模型就能够准确反映目标图像的畸变过程。由于目标图像上各个像素点坐标是已知的，也就是图像发生畸变后的像素点坐标是已知的，因此就可以在已知第一畸变系数准确值和第二畸变系数准确值的情况下将目标图像上各个像素点坐标带入组合畸变模型中，进而计算出发生畸变前目标图像上各个像素点的像素点坐标/>，并进一步还原出目标图像没有发生畸变时的样子，即修复图像，利用该修复图像即可实现机器手视觉校正。

进一步的，利用修复图像确定被测目标的实际位置。利用修复图像确定被测目标的实际位置涉及像素点坐标系到世界坐标系的变换，由于此为现有技术，故而在此就不详细说明。

需要说明的是，在一些情况下，在说明书中记载的动作可以按照不同的顺序来执行并且仍然可以实现期望的结果，在本实施例当中，所给出的步骤顺序仅仅是为了使实施例看起来更加清晰明了，方便说明，而非对其限制。

在一个可选地实施例中，请参见图2，本发明还提供了一种机器手视觉校准系统，所述系统使用本发明提供的一种机器手视觉校准方法，所述系统包括数据构建与采集模块A1、数据处理模块A2、数据储存模块A3和数据输出模块A4。

所述数据构建与采集模块A1用于构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像。

具体的，在本实施例中，数据构建与采集模块A1具体执行步骤S1所述的内容，在此就不做赘述。

进一步的，在其他可选地实施例中，数据构建与采集模块A1还可以具体划分为数据构建子模块与数据采集子模块，数据构建子模块用于构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，数据采集子模块用于实时采集被测目标的目标图像。

所述数据处理模块A2用于根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重；利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库；基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测；根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置。

具体的，在本实施例中，数据处理模块A2通过数据线与数据构建与采集模块A1相连接，数据处理模块A2具体执行步骤S2至S5所述的内容，在此就不做赘述。

进一步的，在其他可选地实施例中，数据处理模块A2还可以通过其他方式与数据构建与采集模块A1相连接。

所述数据储存模块A3用于储存所述数据构建与采集模块A1和所述数据处理模块A2中采集和生成的数据。

具体的，在本实施例中，数据储存模块A3通过数据线分别与数据构建与采集模块A1和数据处理模块A2相连接，数据储存模块A3中储存的数据包括第一数据集、第二数据集、第三数据集、被测目标的目标图像、视觉校准数据库、实时径向畸变权重、实时切向畸变权重以及被测目标的实际位置。

进一步的，在其他可选地实施例中，数据储存模块A3还可以通过其他方式与数据构建与采集模块A1和数据处理模块A2相连接。

所述数据输出模块A4用于输出被测目标的实际位置。

具体的，在本实施例中，数据输出模块A4通过数据线与数据储存模块A3相连接。

进一步的，在其他可选地实施例中，数据输出模块A4也可以和数据储存模块A3集成在一起，而且数据输出模块A4也可以输出数据储存模块A3中的其他数据，例如第一数据集、第二数据集和第三数据集等。

综上所述，本发明通过去除目标图像的畸变来实现机器手视觉校准，进而得到被测目标准确的实际位置。本发明提供的方法利用第二预测模型和建立的视觉校准数据库来对组合畸变模型中的各个畸变参数进行预测，在避免建立复杂的畸变模型的同时还可以将多种畸变量考虑在内，不仅简化了对机器手进行视觉校准的过程，而且还能提高视觉校准的准确性。同时，本发明基于视觉校准数据库对目标图像的实时径向畸变权重和实时切向畸变权重进行预测，并利用实时径向畸变权重和实时切向畸变权重对组合畸变系数预测值进行修正，进而可以在确定组合畸变模型的情况下对目标图像进行反演以确定被测目标的实际位置，进一步提高视觉校准的准确性。因此本发明与现有的机器手视觉校准方法相比不仅具有更高的准确性和可靠性，而且简单易行，便于推广。此外，本发明提供的系统不仅与本发明提供的方法具有相同的优点，而且能够提升机器手视觉校准的效率，并有利于促进机器手向更加智能化的方向发展。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种机器手视觉校准方法，其特征在于，包括如下步骤：

构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像；

根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重；

利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库；

基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测；

根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置。

2.根据权利要求1所述的一种机器手视觉校准方法，其特征在于，所述构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像包括如下步骤：

获取畸变模板，并确定径向畸变模型和切向畸变模型；

设定多组所述径向畸变模型中的第一畸变系数，并通过径向畸变模型对所述畸变模板进行模拟来获取每组所述第一畸变系数对应的径向畸变图像，进而建立所述第一数据集；

设定多组所述切向畸变模型中的第二畸变系数，并通过切向畸变模型对所述畸变模板进行模拟来获取每组所述第二畸变系数对应的切向畸变图像，进而建立所述第二数据集；

将所述径向畸变模型和所述切向畸变模型结合为组合畸变模型，同时将每一组所述第一畸变系数和所述第二畸变系数一一组合构成多组组合畸变系数，并通过组合畸变模型对所述畸变模板进行模拟来获取每组所述组合畸变系数对应的组合畸变图像，进而建立所述第三数据集。

3.根据权利要求2所述的一种机器手视觉校准方法，其特征在于，所述根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重包括如下步骤：

在所述第一数据集和所述第三数据集中，计算相同所述第一畸变系数所对应的径向畸变图像与组合畸变图像的第一图相似度；

在所述第二数据集和所述第三数据集中，计算相同所述第二畸变系数所对应的切向畸变图像与组合畸变图像的第二图相似度；

根据所述第一图相似度和所述第二图相似度，使用所述畸变权重模型计算所述径向畸变权重和所述切向畸变权重。

4.根据权利要求3所述的一种机器手视觉校准方法，其特征在于，所述畸变权重模型满足如下关系：

，

其中，为所述径向畸变权重，k为所述组合畸变系数里第一畸变系数中最大畸变系数与最小畸变系数的比值，s为所述第一图相似度，/>表示取均值，/>为所述第一图相似度的集合，/>为所述第二图相似度的集合，/>为所述切向畸变权重，K为所述组合畸变系数里第二畸变系数中最大畸变系数与最小畸变系数的比值，S为所述第二图相似度。

5.根据权利要求3所述的一种机器手视觉校准方法，其特征在于，所述基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测包括如下步骤：

以所述组合畸变图像为输入，所述径向畸变权重和所述切向畸变权重为输出建立第一卷积神经网络；

使用所述视觉校准数据库中的组合畸变图像、径向畸变权重和切向畸变权重完成对所述第一卷积神经网络的训练，得到第一预测模型；

将所述目标图像输入所述第一预测模型，进而预测所述目标图像的实时径向畸变权重和实时切向畸变权重。

6.根据权利要求2所述的一种机器手视觉校准方法，其特征在于，所述根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置包括如下步骤：

根据所述第三数据集建立第二预测模型，并使用所述第二预测模型获取所述目标图像的组合畸变系数预测值；

使用所述实时径向畸变权重、所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值进行修正；

将修正得到的结果带入所述组合畸变模型中来对所述目标图像进行反演得到修复图像，并利用所述修复图像确定所述被测目标的实际位置。

7.根据权利要求6所述的一种机器手视觉校准方法，其特征在于，所述根据所述第三数据集建立第二预测模型，并使用所述第二预测模型获取所述目标图像的组合畸变系数预测值包括如下步骤：

以所述组合畸变图像为输入，所述组合畸变系数为输出建立第二卷积神经网络；

使用所述第三数据集中的组合畸变图像和组合畸变系数完成对所述第二卷积神经网络的训练，进而得到第二预测模型；

将所述目标图像输入所述第二预测模型，进而预测所述目标图像的组合畸变系数预测值。

8.根据权利要求6所述的一种机器手视觉校准方法，其特征在于，所述使用所述实时径向畸变权重、所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值进行修正包括如下步骤：

使用所述实时径向畸变权重和所述校正模型对所述组合畸变系数预测值中的第一畸变系数预测值进行修正，得到第一畸变系数准确值；

利用所述实时切向畸变权重和所述校正模型对所述组合畸变系数预测值中的第二畸变系数预测值进行修正，得到第二畸变系数准确值。

9.根据权利要求8所述的一种机器手视觉校准方法，其特征在于，所述校正模型满足如下关系：

，

其中，、/>和/>为所述第一畸变系数准确值，/>和/>为所述第二畸变系数准确值，为所述径向畸变权重，/>为所述切向畸变权重，/>、/>和/>为所述第一畸变系数预测值，/>和/>为所述第二畸变系数预测值。

10.一种机器手视觉校准系统，所述系统使用权利要求1-9任意一项所述的一种机器手视觉校准方法，其特征在于，包括：

数据构建与采集模块，所述数据构建与采集模块用于构建用于机器手视觉校准的第一数据集、第二数据集和第三数据集，并实时采集被测目标的目标图像；

数据处理模块，所述数据处理模块用于根据所述第一数据集、所述第二数据集和所述第三数据集，使用畸变权重模型计算径向畸变权重和切向畸变权重；利用所述第三数据集、所述径向畸变权重和所述切向畸变权重建立视觉校准数据库；基于所述视觉校准数据库对所述目标图像的实时径向畸变权重和实时切向畸变权重进行预测；根据所述第三数据集、所述实时径向畸变权重、所述实时切向畸变权重和校正模型确定所述被测目标的实际位置；

数据储存模块，所述数据储存模块用于储存所述数据构建与采集模块和所述数据处理模块中采集和生成的数据；

数据输出模块，所述数据输出模块用于输出被测目标的实际位置。