CN112621766A - 一种基于机器学习的飞拍图像误差预测方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的飞拍图像误差预测方法，步骤一、确认设定拍摄点位数量和位姿；步骤二、初定机械臂终端速度及相机提前触发距离；步骤三、进行飞拍循环并记录数据；步骤四、参数组合；步骤五、重复试验；步骤六、模型输入；步骤七、计算误差；步骤八、离散化处理；步骤九、模型目标；步骤十、超参数优化；步骤十一、导出模型，输出预测飞拍图像误差。该飞拍图像误差预测方法通过利用机械臂终端位姿和速度、相机拍摄触发位置以及统计飞拍图像与静态相机拍摄图像像素误差，训练飞拍图像预测模型，能够基于前一个飞拍动作周期的机械臂终端信号，预测下一个循环中飞拍图像与静态拍摄图像误差，以便于快速对机械臂控制参数调整。

Description

一种基于机器学习的飞拍图像误差预测方法

技术领域

本发明涉及图像误差预测的技术领域，尤其是一种基于机器学习的飞拍图像误差预测方法。

背景技术

在传统工业相机拍摄工作过程中，工业相机固定于机械臂终端，待检测工件传送至拍摄位置并由夹具夹持，机械臂将终端相机移动至定义的第一拍摄位置并暂停进行静态情况下的拍摄，之后移动至定义的第二拍摄位置并暂停，再次进行静态情况下的拍摄，直至全部定义位置完成拍摄。该过程中工业相机在每次到达拍摄位置之后均需暂停，导致整个拍摄周期时间长，效率较低。

飞拍过程中相机以一定速度进行连续拍摄，整个拍摄过程不停止运动，从而缩短拍摄周期，提高拍摄效率。但飞拍过程中机械臂控制参数设置不合理，如终端速度过大等因素，将会导致飞拍图像与静态拍摄图像误差增加。

中国专利（申请号CN202010481005.6、申请日20200530、公开号CN111510639A、公开日20200807）公开了一种飞拍控制模块、飞拍控制板、飞拍控制电路及飞拍设备，其中揭示了一种飞拍控制模块，相机为静态，工件在传送过程中，控制器根据输入的脉冲信号，先后进行拍摄触发，光源启动触发，光源关闭触发，使得光源启动触发晚于拍摄触发，让光源曝光于相机成像瞬间完成，实现动态状态下的工件拍摄。

中国专利（申请号CN202010245594.8、申请日20200331、公开号CN111586289A、公开日20200825）公开了一种高速飞拍控制方法及系统，其中揭示了一种高速飞拍控制方法，预设飞拍位置，当工件经过飞拍位置时，前后启动拍摄件和光源件，从而实现在工件动态过程中完成拍摄。

但是上述两篇专利文献中，均把工件作为运动部件，而相机保持静态，拍摄位置单一。

现有的飞拍技术中，当工件处于静态，而相机位于机械臂终端运动时，拍摄过程中相机到达每个拍摄点位时总是需要速度降至零才能拍摄到该点位的准确图像。当相机在拍摄点位处速度不为0时，需要通过长时间的调试过程来确定合理的控制参数组合，以降低飞拍图像与静态拍摄图像的误差。

发明内容

本发明要解决的技术问题是：为了解决上述背景技术中存在的问题，提供一种基于机器学习的飞拍图像误差预测方法，工件保持静态，相机位于机械臂终端进行运动，每个运动周期中存在10～40个拍摄点位，可以根据机械臂终端的位姿、机械臂终端的速度、相机拍摄触发位置这些信息预测飞拍图像与静态图像误差，以便对于飞拍控制参数调整。

本发明解决其技术问题所采用的技术方案是：一种基于机器学习的飞拍图像误差预测方法，具体步骤是：

步骤一、确认静态拍摄点位数量和位姿：根据工件拍摄需求，进行静态拍摄点位的位置调试和姿态调试，并记录静态图像及机械臂终端的位置数据和姿态数据；静态拍摄点位是传统方法中相机速度为0时的拍摄点位，飞拍的路径点位是把静态点位作为初始值；

步骤二、初定机械臂终端速度及相机提前触发距离：设定N个机械臂终端速度和M个相机提前触发距离，N是大于1的正整数，M是大于1的正整数；从设定的机械臂终端速度和相机提前触发距离参数中，确定一个机械臂终端速度和一个相机提前触发距离并用于各个静态拍摄点位；

步骤三、进行飞拍循环并记录数据：根据步骤二中初定的一个机械臂终端速度和一个相机提前触发距离，进行T次飞拍循环，T是大于1的正整数，记录飞拍图像和机械臂终端位姿、记录设定速度、记录实时速度、记录设定相机拍摄触发位置、记录实际相机拍摄触发位置、记录相机拍摄触发信号、记录拍摄点位序号以及记录循环次数；

步骤四、参数组合：将N个静态拍摄点位机械臂终端速度和M个相机提前触发距离进行参数组合，形成N*M套参数组合；

步骤五、重复试验：根据步骤四中的N*M套参数组合，重复步骤三，进行不同参数组合下的重复试验，并记录相关数据；

步骤六、模型输入：将步骤五中的机械臂终端位姿、设定速度、实时速度、设定相机拍摄触发位置、实际相机拍摄触发位置、相机拍摄触发信号、拍摄点位序号以及循环次数作为模型输入；

步骤七、计算误差：使用OpenCV2工具，计算步骤五中飞拍图像与静态图像在图像坐标系XY轴上的数值差异；

步骤八、离散化处理：对步骤七中每个飞拍位置的飞拍图像像素误差进行等频分箱离散化处理；

步骤九、模型目标：将步骤八中等频分箱离散化后的飞拍图像像素与静态图像像素误差前移一个动作周期，作为模型预测目标，即使用前一个动作周期的机械臂终端位姿、机械臂终端速度、相机拍摄触发位置来预测当前飞拍动作周期的飞拍图像误差；

步骤十、超参数优化：选择机器学习模型xgboost，使用优化算法对模型的超参数进行优化，超参数确定后依次进行模型的训练、验证以及测试；

步骤十一、导出模型，输出预测飞拍图像误差：根据步骤十中所训练的模型，当输入新的机械臂控制参数时，即可输出对应飞拍图像误差，根据飞拍图像误差进行控制参数验证和评价。

进一步具体地限定，上述技术方案中，在步骤三中，所述机械臂终端位姿包括终端X坐标、终端Y坐标、终端Z坐标及rpy三轴角度。

进一步具体地限定，上述技术方案中，在步骤十中，所述超参数包括学习速度、样本采样比例、最大树深度以及正则化参数。

进一步具体地限定，上述技术方案中，在步骤十一中，所述新的机械臂控制参数包括各个静态拍摄点位对应不同的机械臂终端速度和不同的相机提前触发距离。

本发明的有益效果是：本发明提出的一种基于机器学习的飞拍图像误差预测方法，利用以机械臂终端位姿、设定速度、实时速度、设定相机拍摄触发位置、实际相机拍摄触发位置、相机拍摄触发信号、拍摄点位序号以及循环次数作为模型输入，统计飞拍图像与静态相机拍摄图像像素误差作为模型目标，以此训练飞拍图像预测模型，能够基于前一个飞拍动作周期的机械臂终端位姿、实时速度、设定速度及相机设定触发位置、相机实际触发位置，预测下一个循环中飞拍图像与静态拍摄图像误差，以便于后续进行机械臂控制参数调整。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的流程图。

具体实施方式

为了使本发明所解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

见图1，一种基于机器学习的飞拍图像误差预测方法，具体步骤是：

步骤一、确认静态拍摄点位数量和位姿：根据工件拍摄需求，进行静态拍摄点位的位置调试和姿态调试，并记录静态图像及机械臂终端的位置数据和姿态数据；静态拍摄点位是传统方法中相机速度为0时的拍摄点位，飞拍的路径点位是把静态点位作为初始值。需要说明的是：确认静态拍摄点位数量是根据零件拍摄需求定义的拍摄数量，比如一个零件要求拍摄30张不同角度的照片，这就需要对应30个拍摄点位，每个拍摄点位都需要定义机械臂终端速度和相机提前触发距离。

步骤二、初定机械臂终端速度及相机提前触发距离：设定N个机械臂终端速度{S|S1、S2、S3……SN}和M个相机提前触发距离{D|D1、D2、D3……DM}，N是大于1的正整数，通常在3～10之间。M是大于1的正整数，通常在1～10之间，每个拍摄点位需要触发一次拍摄信号，这个提前触发距离是算法触发拍摄信号的阈值。从设定的机械臂终端速度和相机提前触发距离参数中，确定一个机械臂终端速度和一个相机提前触发距离并用于各个静态拍摄点位。

步骤三、进行飞拍循环并记录数据：根据步骤二中初定的一个机械臂终端速度和一个相机提前触发距离，进行T次飞拍循环，T是大于1的正整数，T表示参数确定后重复试验的次数。记录飞拍图像和机械臂终端位姿、记录设定速度、记录实时速度、记录设定相机拍摄触发位置、记录实际相机拍摄触发位置、记录相机拍摄触发信号、记录拍摄点位序号以及记录循环次数。机械臂终端位姿包括终端X坐标、终端Y坐标、终端Z坐标及rpy三轴角度。rpy三轴角度是机器人行业的术语，代表的是相对于机器人坐标系的ZYX轴旋转角度，r是绕Z轴转角，p是绕Y轴转角，y是绕X轴转角。设定速度是步骤二中的机械臂终端速度，为设定值。设定相机拍摄触发位置是步骤二中的相机提前触发距离，为设定值。相机拍摄触发信号是为了确定实际飞拍过程中的实际拍摄点位，飞拍过程中，机械臂实时的返回位姿和相机拍摄触发信号，没有拍摄就是0，执行拍摄就是1，根据反馈的相机拍摄触发信号，就能确定实际拍摄时的位姿。比如一个零件要求拍摄30张不同角度的照片，拍摄点位序号是给这30张图片的编号，以此来识别拍摄的图片，对应的是需求图片的哪一张。

步骤四、参数组合：将N个静态拍摄点位机械臂终端速度{S|S1、S2、S3……SN}和M个相机提前触发距离{D|D1、D2、D3……DM}进行参数组合，形成N*M套参数组合。

步骤五、重复试验：根据步骤四中的N*M套参数组合，重复步骤三，进行不同参数组合下的重复试验，并记录相关数据。

步骤六、模型输入：将步骤五中的机械臂终端位姿、设定速度、实时速度、设定相机拍摄触发位置、实际相机拍摄触发位置、相机拍摄触发信号、拍摄点位序号以及循环次数作为模型输入。

步骤七、计算误差：使用OpenCV2工具，计算步骤五中飞拍图像与静态图像在图像坐标系XY轴上的数值差异。

步骤八、离散化处理：对步骤七中每个飞拍位置的飞拍图像像素误差进行等频分箱离散化处理，具体为Pandas库中的qcut方法；其中，等频分箱即对分割区间的边界值经过选择，使得每个区间所包含的数据数量保持一致。

步骤九、模型目标：将步骤八中等频分箱离散化后的飞拍图像像素与静态图像像素误差前移一个动作周期，作为模型预测目标，即使用前一个动作周期的机械臂终端位姿、机械臂终端速度、相机拍摄触发位置来预测当前飞拍动作周期的飞拍图像误差。

步骤十、超参数优化：选择机器学习模型xgboost，使用优化算法（如：贝叶斯优化器）对模型的超参数进行优化，超参数确定后依次进行模型的训练、验证以及测试；需要说明的是：超参数包括学习速度、样本采样比例、最大树深度以及正则化参数。这些超参数属于机器学习的术语，在通过试验数据进行算法模型训练时，算法模型是通过多次迭代来更新模型中的权重，从而实现预测值与真实值误差慢慢减小；学习速度，决定了下一轮迭代时，权重变化的程度；样本采样比例，决定了模型在训练时，随机抽取一定比例的数据进行训练，而非所有试验数据；最大树深度，决定了模型中对试验数据进行分割组合的次数；正则化参数，是为了防止模型过拟合，在目标误差函数上增加的一项参数。xgboost是一种基于梯度提升树改进的优化算法，训练过程经过多轮迭代以减小最终预测值与真实值误差，具体为，每一轮迭代产生一棵决策树，对上一轮预测的残差进行拟合。

步骤十一、导出模型，输出预测飞拍图像误差：根据步骤十中所训练的模型，当输入新的机械臂控制参数时，即可输出对应飞拍图像误差，根据飞拍图像误差进行控制参数验证和评价。最终飞拍的点位根据计算出来的图像误差，在静态点位基础上调整，得到飞拍的动态点位。需要说明的是：新的机械臂控制参数包括各个静态拍摄点位对应不同的机械臂终端速度和不同的相机提前触发距离。步骤二中的参数具体数值为初始值，飞拍图像误差较大，步骤十一中的参数是经过模型预测，各个静态拍摄点对应不同的机械臂终端速度和不同的相机提前触发距离，飞拍图像误差显著降低。

该基于机器学习的飞拍图像误差预测方法，以机械臂终端位姿、设定速度、实时速度、设定相机拍摄触发位置、实际相机拍摄触发位置、相机拍摄触发信号、拍摄点位序号以及循环次数作为模型输入，以飞拍所得图像与相机静态拍摄图像像素误差作为模型目标，以此训练飞拍图像预测模型，该模型能够基于前一个飞拍动作周期的机械臂终端位姿、实时速度、设定速度、相机设定触发位置以及相机实际触发位置这些信息预测下一个循环中飞拍图像与静态拍摄图像误差，以便于进行机械臂控制参数（各个静态拍摄点位对应不同的机械臂终端速度和不同的相机提前触发距离）设计，保证机械臂终端在较高速运动情况下的飞拍图像与静态图像误差最小。

实施例：

当工厂端有工件图像拍摄需求时，根据工件拍摄需求，确定静态拍摄点位，并进行飞拍过程的路径规划，机械臂控制参数（各个静态拍摄点位对应不同的机械臂终端速度和不同的相机提前触发距离）交叉组合并进行试验，记录飞拍图像和机械臂终端位姿、记录设定速度、记录实时速度、记录设定相机拍摄触发位置、记录实际相机拍摄触发位置、记录相机拍摄触发信号、记录拍摄点位序号以及记录循环次数，进一步计算飞拍图像与静态拍摄图像误差，以此数据训练机器学习模型，训练完成后，输入一组新的机械臂终端位姿、机械臂终端速度、相机拍摄触发位置即可对下一个飞拍动作周期各个拍摄点位的飞拍图像与静态拍摄图像误差进行预测，以便于后续进行机械臂控制参数调整。

以上所述的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种基于机器学习的飞拍图像误差预测方法，其特征在于，具体步骤是：

步骤一、确认静态拍摄点位数量和位姿：根据工件拍摄需求，进行静态拍摄点位的位置调试和姿态调试，并记录静态图像及机械臂终端的位置数据和姿态数据；静态拍摄点位是传统方法中相机速度为0时的拍摄点位，飞拍的路径点位是把静态点位作为初始值；

步骤二、初定机械臂终端速度及相机提前触发距离：设定N个机械臂终端速度和M个相机提前触发距离，N是大于1的正整数，M是大于1的正整数；从设定的机械臂终端速度和相机提前触发距离参数中，确定一个机械臂终端速度和一个相机提前触发距离并用于各个静态拍摄点位；

步骤三、进行飞拍循环并记录数据：根据步骤二中初定的一个机械臂终端速度和一个相机提前触发距离，进行T次飞拍循环，T是大于1的正整数，记录飞拍图像和机械臂终端位姿、记录设定速度、记录实时速度、记录设定相机拍摄触发位置、记录实际相机拍摄触发位置、记录相机拍摄触发信号、记录拍摄点位序号以及记录循环次数；

步骤四、参数组合：将N个静态拍摄点位机械臂终端速度和M个相机提前触发距离进行参数组合，形成N*M套参数组合；

步骤五、重复试验：根据步骤四中的N*M套参数组合，重复步骤三，进行不同参数组合下的重复试验，并记录相关数据；

步骤六、模型输入：将步骤五中的机械臂终端位姿、设定速度、实时速度、设定相机拍摄触发位置、实际相机拍摄触发位置、相机拍摄触发信号、拍摄点位序号以及循环次数作为模型输入；

步骤七、计算误差：使用OpenCV2工具，计算步骤五中飞拍图像与静态图像在图像坐标系XY轴上的数值差异；

步骤八、离散化处理：对步骤七中每个飞拍位置的飞拍图像像素误差进行等频分箱离散化处理；

步骤九、模型目标：将步骤八中等频分箱离散化后的飞拍图像像素与静态图像像素误差前移一个动作周期，作为模型预测目标，即使用前一个动作周期的机械臂终端位姿、机械臂终端速度、相机拍摄触发位置来预测当前飞拍动作周期的飞拍图像误差；

步骤十、超参数优化：选择机器学习模型xgboost，使用优化算法对模型的超参数进行优化，超参数确定后依次进行模型的训练、验证以及测试；

步骤十一、导出模型，输出预测飞拍图像误差：根据步骤十中所训练的模型，当输入新的机械臂控制参数时，即可输出对应飞拍图像误差，根据飞拍图像误差进行控制参数验证和评价。

2.根据权利要求1所述的一种基于机器学习的飞拍图像误差预测方法，其特征在于：在步骤三中，所述机械臂终端位姿包括终端X坐标、终端Y坐标、终端Z坐标及rpy三轴角度。

3.根据权利要求1所述的一种基于机器学习的飞拍图像误差预测方法，其特征在于：在步骤十中，所述超参数包括学习速度、样本采样比例、最大树深度以及正则化参数。

4.根据权利要求1所述的一种基于机器学习的飞拍图像误差预测方法，其特征在于：在步骤十一中，所述新的机械臂控制参数包括各个静态拍摄点位对应不同的机械臂终端速度和不同的相机提前触发距离。

Images