CN109389647B - 一种相机拍摄角标校方法、设备及存储设备 - Google Patents

一种相机拍摄角标校方法、设备及存储设备 Download PDF

Info

Publication number
CN109389647B
CN109389647B CN201811028104.8A CN201811028104A CN109389647B CN 109389647 B CN109389647 B CN 109389647B CN 201811028104 A CN201811028104 A CN 201811028104A CN 109389647 B CN109389647 B CN 109389647B
Authority
CN
China
Prior art keywords
camera
workpiece
image
coordinates
shooting angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811028104.8A
Other languages
English (en)
Other versions
CN109389647A (zh
Inventor
曹卫华
谭畅
陈鑫
刘振焘
刘勇
张浩阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201811028104.8A priority Critical patent/CN109389647B/zh
Publication of CN109389647A publication Critical patent/CN109389647A/zh
Application granted granted Critical
Publication of CN109389647B publication Critical patent/CN109389647B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提供了一种相机拍摄角标校方法、设备及存储设备，其方法包括：首先对相机进行标定，然后利用标定好的相机对工件进行图像采集，最后对采集的图像进行处理，求得工件的平面角，进而矫正相机的拍摄角度。一种相机拍摄角标校设备及存储设备，用于实现一种相机拍摄角标校方法。本发明的有益效果是：本发明所提供的技术方案能在不确定拍摄角度的情况下，快速对工件进行拍摄角度校准，以保证相机再次拍摄工件时，拍摄角度垂直于工件，从而进行后续定位。具有适用性强和工作效率高等优点。

Description

一种相机拍摄角标校方法、设备及存储设备
技术领域
本发明涉及机器视觉领域，尤其涉及一种相机拍摄角标校方法、设备及存储设备。
背景技术
目前，机器视觉技术广泛应用于工业现场的各个方面。通常在流水线上，往往是利用机器视觉来自动对一些金属工件进行缺陷或者形状方面的检测。而对于一些需要精确定位目标物具体位姿的工件，则需要采用双目立体视觉来测量物体的深度。在传统的工业现场，双目相机的拍照角度，往往可以严格的设置成与工作平面垂直，因为在对目标工件进行定位时，不需要考虑因拍照角度对物体成像的影响。在摄像机垂直正对着目标物进行拍摄时，目标物的几何特征在图像中并不会出现形变这种情况，因此对目标物进行定位时就不用考虑拍照位置不确定的影响；而对于一些特殊情况，如双目相机不是固定于一处，而可能从随机的角度对目标物进行拍照，此时由于拍照角度的影响，会使得目标物的几何特征产生形变，因此在对目标物精确定位前，需要求解出目标物所在平面的姿态。
现有的双目视觉技术，在进行摄像头与工作平面安装时，基本保持两者完全垂直，因此摄像头每次进行拍照时，都能比较完美的从正面对目标物进行采集。而当摄像机拍照位姿不确定时，拍出来的目标物会产生不同程度地形变，从而给目标物定位带来一定的困难。
发明内容
为了解决上述问题，本发明提供了一种相机拍摄角标校方法、设备及存储设备，一种相机拍摄角标校方法，主要包括以下步骤：
S101：采用张正友标定法对相机进行内参数标定，获得相机的内参数数据；所述相机包括左摄像头和右摄像头；所述内参数数据包括左、右摄像头的相对位姿关系矩阵；
S102：对原始工件进行添加人工纹理处理，并利用相机采集处理后的工件的图像；所述工件的图像包括左摄像头拍摄的工件左图像和右摄像头拍摄的工件右图像；
S103：根据左、右摄像头之间的相对位姿关系矩阵对工件左图像和工件右图像进行立体校正，得到校正后的工件左图像和工件右图像；
S104：根据校正后的工件左图像和工件右图像，求解获得工件图像的视差图；
S105：根据获得的视差图，求解获得工件的平面法向量；
S106：根据获得的平面法向量，对相机的拍摄角度进行调整，使左摄像头坐标系的z轴与所述平面法向量平行，完成相机拍摄角度的标校。
进一步地，在步骤S102中，采用激光点阵对工件进行照射的方法对原始工件添加人工纹理。
进一步地，在步骤S104中，根据公式(1)得到工件图像视差图：：
Figure GDA0002543871960000021
其中，(Δx,Δy)为视差图的像素点坐标，(u,vr)为工件右图像坐标，(u,vl)为工件左图像坐标。
进一步地，在步骤S105中，根据工件图像的视差图，求解获得工件的平面法向量的步骤为：
S201：对工件图像的视差图进行Blob分析，得到工件完整的Blob图；
S202：对Blob图进行边缘直线拟合，获取工件Blob图上的n条拟合直线数据；所述拟合直线数据包括各拟合直线的长度和首尾端点坐标；所述坐标为基于图像坐标系下的二维坐标；n为大于等于3的整数；
S203：在每条拟合直线上均匀取m个像素点；并根据每条拟合直线的首尾端点坐标，分别求得n条拟合直线的方程；m为大于等于2的整数；
S204：根据各拟合直线的方程和首尾端点坐标，对各拟合直线上的m个像素点的坐标进行赋值，得到各拟合直线的m个像素点坐标；
S205：根据各拟合直线上的m个像素点坐标，分别求得n条拟合直线上m个像素点的横坐标的平均值和纵坐标的平均值，得到n个平均像素点；
S206：在n个平均像素点中随机选取3个平均像素点，并根据这3个平均像素点的二维图像坐标，计算获得3个平均像素点在世界坐标系下的三维坐标；
S207：根据3个平均像素点的三维坐标，采用三点确定一个平面的方法，计算获得工件平面基于世界坐标系下的平面法向量。
进一步的，在步骤S206中，在n个平均像素点中选取3个平均像素点为随机选取。
进一步地，在步骤S206中，根据公式(2)得到世界坐标系下的三维坐标：
P＝(ATA)-1ATb (2)
其中，P＝[x y z]T，(x,y,z)为世界坐标系下三维坐标；
Figure GDA0002543871960000031
Figure GDA0002543871960000032
Ml和Mr为左、右摄像头的平移参数矩阵，可根据相机的内参数数据获得；(ul,vl)和(ur,vr)为左、右摄像头的图像坐标系下与P点对应的二维坐标。
一种存储设备，所述存储设备存储指令及数据用于实现一种相机拍摄角标校方法。
一种相机拍摄角标校设备，包括：处理器及所述存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现一种相机拍摄角标校方法。
本发明提供的技术方案带来的有益效果是：本发明所提供的技术方案能在不确定拍摄角度的情况下，快速对工件进行拍摄角度校准，以保证相机再次拍摄工件时，拍摄角度垂直于工件，从而进行后续定位。具有适用性强和工作效率高等优点。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明实施例中一种相机拍摄角标校方法的流程图；
图2是本发明实施例中硬件设备工作的示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
本发明的实施例提供了一种相机拍摄角标校方法、设备及存储设备。
请参考图1，图1是本发明实施例中一种相机拍摄角标校方法的流程图，具体包括如下步骤：
S101：采用张正友标定法对相机进行内参数标定，获得相机的内参数数据；所述相机包括左摄像头和右摄像头；所述内参数数据包括左、右摄像头的相对位姿关系矩阵；
S102：对原始工件进行添加人工纹理处理，并利用相机采集处理后的工件的图像；所述工件的图像包括左摄像头拍摄的工件左图像和右摄像头拍摄的工件右图像；
S103：根据左、右摄像头之间的相对位姿关系矩阵对工件左图像和工件右图像进行立体校正，得到校正后的工件左图像和工件右图像；
S104：根据校正后的工件左图像和工件右图像，求解获得工件图像的视差图；
S105：根据获得的视差图，求解获得工件的平面法向量；
S106：根据获得的平面法向量，对相机的拍摄角度进行调整，使左摄像头坐标系的z轴与所述平面法向量平行，完成相机拍摄角度的标校。
在步骤S102中，采用激光点阵对工件进行照射的方法对原始工件添加人工纹理。
在步骤S104中，根据公式(1)得到工件图像视差图：
Figure GDA0002543871960000041
其中，(Δx,Δy)为视差图的像素点坐标，(u,vr)为工件右图像坐标，(u,vl)为工件左图像坐标。
在步骤S105中，根据工件图像的视差图，求解获得工件的平面法向量的步骤为：
S201：对工件图像的视差图进行Blob分析，得到工件完整的Blob图；
S202：对Blob图进行边缘直线拟合，获取工件Blob图上的n条拟合直线数据；所述拟合直线数据包括各拟合直线的长度和首尾端点坐标；所述坐标为基于图像坐标系下的二维坐标；n为大于等于3的整数；
S203：在每条拟合直线上均匀取m个像素点；并根据每条拟合直线的首尾端点坐标，分别求得n条拟合直线的方程；m为大于等于2的整数；
S204：根据各拟合直线的方程和首尾端点坐标，对各拟合直线上的m个像素点的坐标进行赋值，得到各拟合直线的m个像素点坐标；
S205：根据各拟合直线上的m个像素点坐标，分别求得n条拟合直线上m个像素点的横坐标的平均值和纵坐标的平均值，得到n个平均像素点；
S206：在n个平均像素点中随机选取3个平均像素点，并根据这3个平均像素点的二维图像坐标，计算获得3个平均像素点在世界坐标系下的三维坐标；
S207：根据3个平均像素点的三维坐标，采用三点确定一个平面的方法，计算获得工件平面基于世界坐标系下的平面法向量。
在步骤S206中，在n个平均像素点中选取3个平均像素点为随机选取。
在步骤S206中，根据公式(2)得到世界坐标系下的三维坐标：
P＝(ATA)-1ATb (2)
其中，P＝[x y z]T，(x,y,z)为世界坐标系下三维坐标；
Figure GDA0002543871960000051
Figure GDA0002543871960000052
Ml和Mr为左、右摄像头的平移参数矩阵，可根据相机的内参数数据获得；(ul,vl)和(ur,vr)为左、右摄像头的图像坐标系下与P点对应的二维坐标。
下面以变电站管母线金具MGT-70这种工件为例，对本发明的技术方案做进一步说明。具体标校过程如下：
首先对相机进行内参数标定，求解相机的平移参数矩阵及左、右摄像头相对位姿关系矩阵；随后添加人工纹理，并采集图像数据；采用激光点阵照射工件的方式添加人工纹理，作用是便于进行视差图求解；然后对图像进行立体校正，并生成视差图；并对视差图进行Blob分析，填充孔洞区域得到较为完整的Blob图；随后进行直线边缘拟合，获得三条边缘直线；并求出每条直线的长度和首位端点的坐标；在每条直线上均匀选取10个像素点；分别求解每条直线10个像素点的平均值，得到3个平均像素点；求得这3个平均像素点的三维世界坐标，并利用3个三维世界坐标求得工件的平面法向量，根据此平面法向量，对相机的拍摄角度进行校正。
校正拍摄角度之后，再次采集工件图像，利用基于几何特征的模板匹配方法，寻找4个螺栓，最后完成螺栓定位。
请参见图2，图2是本发明实施例的硬件设备工作示意图，所述硬件设备具体包括：一种相机拍摄角标校设备201、处理器202及存储设备203。
一种相机拍摄角标校设备201：所述一种相机拍摄角标校设备201实现所述一种相机拍摄角标校方法。
处理器202：所述处理器202加载并执行所述存储设备203中的指令及数据用于实现所述一种相机拍摄角标校方法。
存储设备203：所述存储设备203存储指令及数据；所述存储设备203用于实现所述一种相机拍摄角标校方法。
本发明的有益效果是：本发明所提供的技术方案能在不确定拍摄角度的情况下，快速对工件进行拍摄角度校准，以保证相机再次拍摄工件时，拍摄角度垂直于工件，从而进行后续定位。具有适用性强和工作效率高等优点。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种相机拍摄角标校方法，其特征在于：包括以下步骤：
S101：采用张正友标定法对相机进行内参数标定，获得相机的内参数数据；所述相机包括左摄像头和右摄像头；所述内参数数据包括左、右摄像头的相对位姿关系矩阵；
S102：对原始工件进行添加人工纹理处理，并利用相机采集处理后的工件的图像；所述工件的图像包括左摄像头拍摄的工件左图像和右摄像头拍摄的工件右图像；
S103：根据左、右摄像头之间的相对位姿关系矩阵对工件左图像和工件右图像进行立体校正，得到校正后的工件左图像和工件右图像；
S104：根据校正后的工件左图像和工件右图像，求解获得工件图像的视差图；
S105：根据获得的视差图，求解获得工件的平面法向量；
S106：根据获得的平面法向量，对相机的拍摄角度进行调整，使左摄像头坐标系的z轴与所述平面法向量平行，完成相机拍摄角度的标校；
根据工件图像的视差图，求解获得工件的平面法向量的步骤为：
S201：对工件图像的视差图进行Blob分析，得到工件完整的Blob图；
S202：对Blob图进行边缘直线拟合，获取工件Blob图上的n条拟合直线数据；所述拟合直线数据包括各拟合直线的长度和首尾端点坐标；所述坐标为基于图像坐标系下的二维坐标；n为大于等于3的整数；
S203：在每条拟合直线上均匀取m个像素点；并根据每条拟合直线的首尾端点坐标，分别求得n条拟合直线的方程；m为大于等于2的整数；
S204：根据各拟合直线的方程和首尾端点坐标，对各拟合直线上的m个像素点的坐标进行赋值，得到各拟合直线的m个像素点坐标；
S205：根据各拟合直线上的m个像素点坐标，分别求得n条拟合直线上m个像素点的横坐标的平均值和纵坐标的平均值，得到n个平均像素点；
S206：在n个平均像素点中选取3个平均像素点，并根据这3个平均像素点的二维图像坐标，计算获得3个平均像素点在世界坐标系下的三维坐标；
S207：根据3个平均像素点的三维坐标，采用三点确定一个平面的方法，计算获得工件平面基于世界坐标系下的平面法向量。
2.如权利要求1所述的一种相机拍摄角标校方法，其特征在于：在步骤S102中，采用激光点阵对工件进行照射的方法对原始工件添加人工纹理。
3.如权利要求1所述的一种相机拍摄角标校方法，其特征在于：在步骤S104中，根据公式(1)得到工件图像视差图：
Figure FDA0002543871950000021
其中，(Δx,Δy)为视差图的像素点坐标，(u,vr)为工件右图像坐标，(u,vl)为工件左图像坐标。
4.如权利要求2所述的一种相机拍摄角标校方法，其特征在于：在步骤S206中，在n个平均像素点中选取3个平均像素点为随机选取。
5.如权利要求2所述的一种相机拍摄角标校方法，其特征在于：内参数数据还包括左、右摄像头的内参数矩阵，在步骤S206中，根据公式(2)得到世界坐标系下的三维坐标：
P＝(ATA)-1ATb (2)
其中，P＝[x y z]T，(x,y,z)为世界坐标系下三维坐标；
Figure FDA0002543871950000022
Figure FDA0002543871950000023
Ml和Mr为左、右摄像头的平移参数矩阵，可根据相机的内参数数据获得；(ul,vl)和(ur,vr)为左、右摄像头的图像坐标系下与P点对应的二维坐标。
6.一种存储设备，其特征在于：所述存储设备存储指令及数据用于实现权利要求1～5所述的任意一种相机拍摄角标校方法。
7.一种相机拍摄角标校设备，其特征在于：包括：处理器及权利要求6所述的存储设备；所述处理器加载并执行所述存储设备中的指令及数据用于实现权利要求1～5所述的任意一种相机拍摄角标校方法。
CN201811028104.8A 2018-09-04 2018-09-04 一种相机拍摄角标校方法、设备及存储设备 Active CN109389647B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811028104.8A CN109389647B (zh) 2018-09-04 2018-09-04 一种相机拍摄角标校方法、设备及存储设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811028104.8A CN109389647B (zh) 2018-09-04 2018-09-04 一种相机拍摄角标校方法、设备及存储设备

Publications (2)

Publication Number Publication Date
CN109389647A CN109389647A (zh) 2019-02-26
CN109389647B true CN109389647B (zh) 2020-09-04

Family

ID=65418600

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811028104.8A Active CN109389647B (zh) 2018-09-04 2018-09-04 一种相机拍摄角标校方法、设备及存储设备

Country Status (1)

Country Link
CN (1) CN109389647B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113643388B (zh) * 2021-10-14 2022-02-22 深圳市海谱纳米光学科技有限公司 一种用于高光谱图像的黑帧标定、矫正方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107121125A (zh) * 2017-06-12 2017-09-01 哈尔滨工业大学 一种通讯基站天线位姿自动检测装置与方法
CN107214703A (zh) * 2017-07-11 2017-09-29 江南大学 一种基于视觉辅助定位的机器人自标定方法
CN107238374A (zh) * 2017-05-04 2017-10-10 华南农业大学 一种不规则平面零件的分类和识别定位方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6470506B2 (ja) * 2014-06-09 2019-02-13 株式会社キーエンス 検査装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107238374A (zh) * 2017-05-04 2017-10-10 华南农业大学 一种不规则平面零件的分类和识别定位方法
CN107121125A (zh) * 2017-06-12 2017-09-01 哈尔滨工业大学 一种通讯基站天线位姿自动检测装置与方法
CN107214703A (zh) * 2017-07-11 2017-09-29 江南大学 一种基于视觉辅助定位的机器人自标定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双目立体视觉摄像机标定及精度分析;林俊义，黄常标，刘斌，汪开勇;《华侨大学学报（自然科学版）》;20120115;第32卷(第4期);摘要、第1章1.2节、第2章2.2节第2段、3段 *

Also Published As

Publication number Publication date
CN109389647A (zh) 2019-02-26

Similar Documents

Publication Publication Date Title
CN107358631B (zh) 一种虑及三维畸变的双目视觉重建方法
CN108230397B (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN109360246B (zh) 基于同步子区搜索的立体视觉三维位移测量方法
CN102353340B (zh) 缸盖毛坯加工尺寸识别方法及装置
CN107588721A (zh) 一种基于双目视觉的零件多尺寸的测量方法及系统
CN109297436B (zh) 双目线激光立体测量基准标定方法
CN104748683A (zh) 一种数控机床工件在线自动测量装置及测量方法
CN112381847B (zh) 管路端头空间位姿测量方法及系统
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN111640152A (zh) 一种鱼类生长监控方法和系统
CN111862193A (zh) 一种基于形状描述子的电焊焊点双目视觉定位方法及装置
CN111340869B (zh) 快递包裹表面平整度识别方法、装置、设备及存储介质
CN109389647B (zh) 一种相机拍摄角标校方法、设备及存储设备
CN114401391B (zh) 虚拟视点生成方法及装置
CN113643427A (zh) 一种双目测距及三维重建方法
CN113963054A (zh) 一种基于双目相机的智能快递箱尺寸测量方法及系统
CN113610929A (zh) 一种相机与多线激光的联合标定方法
CN113393413B (zh) 基于单目与双目视觉协同的水域面积测量方法和系统
CN110487254B (zh) 一种用于rov的水下目标尺寸快速测量方法
CN112525106A (zh) 基于三相机协同激光的3d探测方法及装置
CN109373901B (zh) 位于平面上的孔的中心位置的计算方法
CN111768448A (zh) 一种基于多相机检测的空间坐标系标定方法
CN111666935A (zh) 物品中心定位方法、装置以及物流系统和存储介质
CN106780425B (zh) 一种vver蒸汽发生器传热管涡流检测系统定位方法
CN110766740B (zh) 一种基于行人跟踪的实时高精度双目测距系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant