CN113822945A - 一种基于双目视觉的工件识别和定位方法 - Google Patents

一种基于双目视觉的工件识别和定位方法 Download PDF

Info

Publication number
CN113822945A
CN113822945A CN202111144338.0A CN202111144338A CN113822945A CN 113822945 A CN113822945 A CN 113822945A CN 202111144338 A CN202111144338 A CN 202111144338A CN 113822945 A CN113822945 A CN 113822945A
Authority
CN
China
Prior art keywords
workpiece
positioning
data
image
binocular camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111144338.0A
Other languages
English (en)
Inventor
于少冲
靳津
张保伟
马金荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Langshuo Robot Technology Co ltd
Original Assignee
Tianjin Langshuo Robot Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin Langshuo Robot Technology Co ltd filed Critical Tianjin Langshuo Robot Technology Co ltd
Priority to CN202111144338.0A priority Critical patent/CN113822945A/zh
Publication of CN113822945A publication Critical patent/CN113822945A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

本发明涉及工件定位技术领域，具体为一种基于双目视觉的工件识别和定位方法，包括以下步骤：S1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；S2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；S3：处理拍摄的图像，将图像的光线做出补正；S4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；S5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位；本发明通过将对双目相机的调整数据上传到数据整合分析单元进行整合处理，并统一上传到云端保存，方便后续使用时查询，可以加快双目相机的调整，节省时间。

Description

一种基于双目视觉的工件识别和定位方法
技术领域
本发明涉及工件定位技术领域，具体为一种基于双目视觉的工件识别和定位方法。
背景技术
双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。
现今双目视觉识别工件的时候，使用之前需要对双目相机进行调整，调整起来比较麻烦，光照角度变化、光照强度变化等环境因素对双目相机的影响也比较大，光照较强和较暗的情况下对处理算法造成压力，容易影响处理的精准度。
发明内容
本发明的目的在于提供一种基于双目视觉的工件识别和定位方法，包括以下步骤：
S1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；
S2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；
S3：处理拍摄的图像，将图像的光线做出补正；
S4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；
S5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位。
可选的，所述对双目相机进行标定之后，通过得到的参数对双目相机做出调整，校正后双目相机两个摄像头成像位于同一平面且互相平行。
可选的，所述调整好双目相机之后，在放置平台中放置一个工件，开始测试双目相机的成像，并对双目相机做二次调整，调整之后将调整完成的数据发送数据处理终端。
可选的，所述双目相机进行第二次调整之后，通过调整数据传输单元将调整之后数据发送到数据处理终端，在数据终端将数据通过数据备份单元备份副本，将数据发送到数据整合分析单元，最后将数据存储在云端。
可选的，所述双目相机调整完成之后，开始工作时，双目相机对放置平台上的工件开始摄像扫描，双目相机拍摄的图像通过图像传输单元传输到图形处理单元，通过图像单元中的图像渲染模块，对图像进行自然光渲染。
可选的，所述图像进行自然光渲染之后，将渲染之后的图像传输到分析定位单元，在分析定位单元中，将两张图像进行处理，将图像中平面坐标系转化为三维坐标系，将图像转化为三维模型。
可选的，所述将图像转化为三维模型之后，通过分析定位单元在三维成像的工件中添加特征点，工件的放置平台上设置有辅助定位的定位点，分析定位单元通过定位点和特征点进行计算，对工件进行识别定位。
可选的，所述对工件的识别和定位完成之后，将分析的数据传输到传感控制单元，通过传感数据单对设备的处理装置发出命令，开始处理工件。
与现有技术相比，本发明的有益效果是：
本发明通过将对双目相机的调整数据上传到数据整合分析单元进行整合处理，并统一上传到云端保存，方便后续使用时查询，可以加快双目相机的调整，节省时间，通过渲染自然光，从而对图像中的采光进行补正，避免光照太强或者太弱会增加算法处理的压力，导致计算结果不精准。
附图说明
图1为本发明数据整合图；
图2为本发明图像处理图。
附图标号说明：
1、调整数据传输单元；2、数据处理终端；3、数据备份单元；4、数据整合分析单元；5、图像传输单元；6、图像处理单元；7、图像渲染模块；8、分析定位单元；9、传感控制单元。
本发明目的的实现、功能特点及优点将结合实施例，参照附图作进一步说明。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于双目视觉的工件识别和定位方法；
S1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；
对双目相机进行标定之后，通过得到的参数对双目相机做出调整，校正后双目相机两个摄像头成像位于同一平面且互相平行；对双目相机进行调整确保后期定位的准确。
单应矩阵通过以下公式计算，设平面π在第一个相机坐标系下的单位法向量为N，其到第一个相机中心坐标原点的距离为d，则平面π可表示为：
NTX1＝d
即
1/dNTX1＝1,
Figure BDA0003285135430000031
X1∈π
其中，X1是三维点P在第一相机坐标系下的坐标，其在第二个相机坐标系下的坐标为X2，则
X2＝RX1+T
将上面式子结合起来，
X2＝RX1+T1/dNTX1＝(R+T1/dNT)X1＝H′X1
所以就得到了同一平面两个不同相机坐标系的单应矩阵
H′＝R+T1/dNT
上面提到单应表示的是两个平面之间的映射，这里为何得到了同一平面两个不同相机坐标系的单应矩阵，虽然平面是通过，但是在不同坐标系中会有不同的表示，单应也是将平面从一个位置映射到另一个位置，并保持其某些性质不变，例如保线性，
上面得到的单应矩阵第一个相机坐标系取得，还需要将其变换到成像平面坐标系中，取得两图像间的单应矩阵。设x1,x2为P在两图像的像点坐标，x1＝KX1,x2＝KX2
K是相机的内参数，代入上面求得单应变换公式
Figure BDA0003285135430000041
所以，同一平面得到的两个图像间的单应矩阵H为
H＝K(R+T1/dNT)K-1
S2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；
调整好双目相机之后，在放置平台中放置一个工件，开始测试双目相机的成像，并对双目相机做二次调整，调整之后将调整完成的数据发送数据处理终端2，通过数据处理终端2对调整双目相机的数据进行接受记录，方便使用时的再次调整。
双目相机进行第二次调整之后，通过调整数据传输单元1将调整之后数据发送到数据处理终端2，在数据终端2将数据通过数据备份单元3备份副本，将数据发送到数据整合分析单元4。最后将数据存储在云端，数据整合分析单元4对双目相机的调整数据进行整合处理，并统一上传到云端保存，以方便后续使用时查询。
S3：处理拍摄的图像，将图像的光线做出补正；
双目相机调整完成之后，开始工作时，双目相机对放置平台上的工件开始摄像扫描，双目相机拍摄的图像通过图像传输单元5传输到图形处理单元，通过图像单元5中的图像渲染模块7，对图像进行自然光渲染，通过屏幕空间环境光遮蔽对图像进行简单的空间划分，然后进行计算，通过采样象素周围的信息，进行简单的深度值对比来计算物体身上环境光照无法到达的范围，从而对图像中的采光进行补正，避免光照太强或者太弱会增加算法处理的压力，导致计算结果不精准。
S4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；
图像进行自然光渲染之后，将渲染之后的图像传输到分析定位单元8，在分析定位单元8中，将两张图像进行处理，将图像中平面坐标系转化为三维坐标系，将图像转化为三维模型，提取图像的特征点，进行视差估计，然后通过信息重建三维空间场景，可获得稀疏视差图，通过插值可获得稠密视差图，算法速度快，能使运算加快，提高处理效率。
S5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位；
将图像转化为三维模型之后，通过分析定位单元8在三维成像的工件中添加特征点，工件的放置平台上设置有辅助定位的定位点，分析定位单元8通过定位点和特征点进行计算，对工件进行识别定位，通过设置定位点，可辅助计算工件的位置，以定位点为参照点，可以使计算出的结果更加准确，避免计算不准确影响设备的运行。
ICP算法核心是最小化一个目标函数：
Figure BDA0003285135430000061
首先固定R跟T利用最邻近算法找到最优的点对，然后固定最优的点对来优化R和T，依次反复迭代进行，这两个步骤都使得目标函数值下降，所以ICP算法总是收敛的，这也就是原文中收敛性的证明过程，这种优化思想与K均值聚类的优化思想非常相似，固定类中心优化每个点的类别，固定每个点的类别优化类中心。
对工件的识别和定位完成之后，将分析的数据传输到传感控制单元9，通过传感数据单9对设备的处理装置发出命令，开始处理工件。
以上内容是结合具体实施方式对本发明作进一步详细说明，不能认定本发明具体实施只局限于这些说明，对于本发明所属技术领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出若干简单的推演或替换，都应当视为属于本发明所提交的权利要求书确定的保护范围。

Claims (8)

1.一种基于双目视觉的工件识别和定位方法，其特征在于，包括以下步骤：
S1：对双目相机的参数进行标定，得到单应矩阵，根据标定结果对原始图像校正；
S2：拿出一个工件，打开相机进行拍照侧视调整相机角度，并备份到处理终端保存为副本；
S3：处理拍摄的图像，将图像的光线做出补正；
S4：将拍摄出的两张图像通过三维模型处理，模拟出工件的三维空间模型；
S5：分析工件的特征点，通过与放置平台上的定位点对比计算工件的位置，进行定位。
2.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述对双目相机进行标定之后，通过得到的参数对双目相机做出调整，校正后双目相机两个摄像头成像位于同一平面且互相平行。
3.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述调整好双目相机之后，在放置平台中放置一个工件，开始测试双目相机的成像，并对双目相机做二次调整，调整之后将调整完成的数据发送数据处理终端(2)。
4.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述双目相机进行第二次调整之后，通过调整数据传输单元(1)将调整之后数据发送到数据处理终端(2)，在数据终端(2)将数据通过数据备份单元(3)备份副本，将数据发送到数据整合分析单元(4)。最后将数据存储在云端。
5.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述双目相机调整完成之后，开始工作时，双目相机对放置平台上的工件开始摄像扫描，双目相机拍摄的图像通过图像传输单元(5)传输到图形处理单元，通过图像单元(5)中的图像渲染模块(7)，对图像进行自然光渲染。
6.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述图像进行自然光渲染之后，将渲染之后的图像传输到分析定位单元(8)，在分析定位单元(8)中，将两张图像进行处理，将图像中平面坐标系转化为三维坐标系，将图像转化为三维模型。
7.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述将图像转化为三维模型之后，通过分析定位单元(8)在三维成像的工件中添加特征点，工件的放置平台上设置有辅助定位的定位点，分析定位单元(8)通过定位点和特征点进行计算，对工件进行识别定位。
8.根据权利要求1所述的一种基于双目视觉的工件识别和定位方法，其特征在于：所述对工件的识别和定位完成之后，将分析的数据传输到传感控制单元(9)，通过传感数据单(9)对设备的处理装置发出命令，开始处理工件。
CN202111144338.0A 2021-09-28 2021-09-28 一种基于双目视觉的工件识别和定位方法 Pending CN113822945A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111144338.0A CN113822945A (zh) 2021-09-28 2021-09-28 一种基于双目视觉的工件识别和定位方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111144338.0A CN113822945A (zh) 2021-09-28 2021-09-28 一种基于双目视觉的工件识别和定位方法

Publications (1)

Publication Number Publication Date
CN113822945A true CN113822945A (zh) 2021-12-21

Family

ID=78915729

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111144338.0A Pending CN113822945A (zh) 2021-09-28 2021-09-28 一种基于双目视觉的工件识别和定位方法

Country Status (1)

Country Link
CN (1) CN113822945A (zh)

Similar Documents

Publication Publication Date Title
CN111210468B (zh) 一种图像深度信息获取方法及装置
US9858684B2 (en) Image processing method and apparatus for calibrating depth of depth sensor
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN111784778B (zh) 基于线性求解非线性优化的双目相机外参标定方法和系统
US8306323B2 (en) Method and apparatus for correcting depth image
CN106705849B (zh) 线结构光传感器标定方法
CN108470356B (zh) 一种基于双目视觉的目标对象快速测距方法
CN111127422A (zh) 图像标注方法、装置、系统及主机
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
CN110672007A (zh) 一种基于机器视觉的工件表面质量检测方法及系统
CN112184811B (zh) 单目空间结构光系统结构校准方法及装置
CN109974623B (zh) 基于线激光和双目视觉的三维信息获取方法和装置
CN111340737B (zh) 图像矫正方法、装置和电子系统
CN111461963A (zh) 一种鱼眼图像拼接方法及装置
CN115830103A (zh) 一种基于单目彩色的透明物体定位方法、装置及存储介质
CN112257713A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113920206A (zh) 透视移轴相机的标定方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
JPH1079029A (ja) 立体情報検出方法及びその装置
CN111383264B (zh) 一种定位方法、装置、终端及计算机存储介质
CN113822945A (zh) 一种基于双目视觉的工件识别和定位方法
CN114900688A (zh) 相机组件的检测方法、检测设备以及计算机可读存储介质
CN117523009B (zh) 一种双目相机标定方法、系统、装置及存储介质
Otoya et al. Real-time non-invasive leaf area measurement method using depth images
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination