CN112584041B - 一种图像识别动态纠偏方法 - Google Patents
一种图像识别动态纠偏方法 Download PDFInfo
- Publication number
- CN112584041B CN112584041B CN202011418688.7A CN202011418688A CN112584041B CN 112584041 B CN112584041 B CN 112584041B CN 202011418688 A CN202011418688 A CN 202011418688A CN 112584041 B CN112584041 B CN 112584041B
- Authority
- CN
- China
- Prior art keywords
- image
- axis
- camera
- coordinate
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 239000011159 matrix material Substances 0.000 claims abstract description 36
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 230000003628 erosive effect Effects 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000006243 chemical reaction Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000010252 digital analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Abstract
本发明提供了一种图像识别动态纠偏方法，主要利用正向运动学的方法，先将图像坐标系统及相机坐标系统转移至基座坐标系统，得到图像坐标系统相对于基座坐标系统的转换矩阵，接下来进行纠偏时，主要利用逆向运动学原理，反过来运算求得六轴云台各轴杆的转动角度，接下来根据运算结果控制所述六轴云台各轴杆进行转动。如此一来，便可达到纠偏目的，使得所述相机会朝向待拍摄目标体。
Description
技术领域
本发明涉及图像辨识技术领域，具体而言，涉及一种图像识别动态纠偏方法。
背景技术
以往相机在拍摄物品时，需透过手动方式令拍摄后的图像中，可清楚呈现所述物品。然而，在这讲求自动化的现代，本申请认为，应有一种方法可以控制各组件工作，使得所述相机得以自动朝向所述物品进行拍照。
发明内容
本发明解决的问题是让相机得以自动朝向目标体进行拍照。
为解决上述问题，本发明提供一种图像识别动态纠偏方法，其特征在于，包括下列步骤：
(A)将相机架设于六轴云台；
(B)根据公式1：
将相机系统坐标转换成图像系统坐标，而得到图像系统与相机系统的转移矩阵，其中a为图像系统坐标中一点的X轴坐标，b为图像系统坐标中所述一点的Y轴坐标，fu为相机在图像系统坐标的X轴焦距，fv为相机在图像系统坐标的Y轴焦距，Cu为图像系统中心点的X轴坐标，Cv为图像系统中心点的Y轴坐标；x为所述一点在相机系统的X轴坐标，y为所述一点在相机系统的Y轴坐标；z为所述一点在相机系统的Z轴坐标；
为图像系统与相机系统的转移矩阵；
(C)取六轴云台各个轴的第一旋转角度，及二轴之间的距离，根据公式2：
，运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵，其中为
为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度；
(D)计算相机坐标系统与六轴云台的第六轴坐标系统的转移矩阵
(E)根据公式3：
得到图像坐标系统相对于基座坐标系统的转换矩阵；
(F)所述相机拍摄一目标体得到一图像，将所述目标体的图像系统坐标及相机系统坐标根据公式1及公式2进行运算得到
再根据公式2进行运算，得到六轴云台各个轴的第二旋转角度；
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
本申请主要利用正向运动学的原理，先计算目标点与六轴云台的相对位置后，得到所述图像坐标系统相对于基座坐标系统的转换矩阵
接下来便可输入欲追踪的目标体，根据其坐标资料再配合公式3求得
接着再利用公式2算出六轴云台中各轴杆的旋转角度，然后透过各轴杆的转动而带动所述相机移动，如此一来，所述相机拍照后的图像，目标体均会位于图像中央，而达到动态纠偏的目的。
附图说明
图1是本申请实施例1的流程示意图；
图2是本申请实施例2的流程示意图。
附图标记说明：
无
具体实施方式
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
实施例1：
请看图1，本申请是一种图像识别动态纠偏方法，其特征在于，包括下列步骤：
(A)将相机架设于六轴云台。所述六轴云台具有六个可供旋转的轴杆，分别为第一至第六轴杆，透过各轴杆的旋转可供控制所述相机的拍摄位置、角度。所述第一轴杆位于所述所述第六轴云台的根部，而所述第六轴杆则是位于所述第六云台的自由端，至于所述相机则是架设于所述第六轴杆。
(B)根据公式1：
将相机系统坐标转换成图像系统坐标，而得到图像系统与相机系统的转移矩阵，其中a为图像系统坐标中一点的X轴坐标，b为图像系统坐标中所述一点的Y轴坐标，fu为相机在图像系统坐标的X轴焦距，fv为相机在图像系统坐标的Y轴焦距，Cu为图像系统中心点的X轴坐标，Cv为图像系统中心点的Y轴坐标；x为所述一点在相机系统的X轴坐标，y为所述一点在相机系统的Y轴坐标；z为所述一点在相机系统的Z轴坐标；
为图像系统与相机系统的转移矩阵。其中
为相机的内部参数，可以透过摄影机校正程序，拍摄多张不同角度与距离的棋盘校正版图像进行运算求得，又或者可以根据所述相机的制造厂商所提供的数据取得。
(C)取六轴云台各个轴的第一旋转角度，及二轴之间的距离，根据公式2：
，运算出六轴云台的第六轴相对于六轴云台基座的向量矩阵，其中为
为六轴云台的第六轴相对于六轴云台基座的向量矩阵、θn为第n-1轴与第n轴之间轴杆相差角度、dn为第n-1轴与第n轴之间的垂直线距离、an为第n-1轴到第n轴的轴杆长、αn为第n-1轴与第n轴两轴的z轴以第n-1轴的x轴为旋转轴的夹角角度；
(D)计算相机坐标系统与六轴云台的第六轴坐标系统的转移矩阵
此部分可藉由手动进行量测，也可根据所述六轴云台的制造厂商所提供的数据得知。
(E)根据公式3：
得到图像坐标系统相对于基座坐标系统的转换矩阵，如此一来，本申请先是透过利用正向运动学原理，先计算目标点与六轴云台的相对位置，接下来便可利用逆向运动学求得各轴杆的转动角度。
(F)所述相机拍摄一目标体得到一图像，将所述目标体的图像系统坐标及相机系统坐标根据公式1及公式3进行运算得到
再根据公式2进行运算，得到六轴云台各个轴的第二旋转角度。
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
本申请的优点在于：利用正向运动学的原理，先计算目标点与六轴云台的相对位置后，得到所述图像坐标系统相对于基座坐标系统的转换矩阵
接下来便可输入欲追踪的目标体，接下来利用逆向运动学的原理，逆向推算出各轴感应旋转角度，而根据其坐标资料再配合公式3求得
接着再利用公式2算出六轴云台中各轴杆的旋转角度，然后根据所述旋转角度的运算结果控制各轴感转动。透过各轴杆的转动而带动所述相机移动。如此一来，所述相机拍照后的图像，目标体均会位于图像中央，而达到动态纠偏的目的。
实施例2：
请看图2，为了让目标体可以位于图像的正中央，本实施例进一步可以实施为：步骤(F)中，将所述图像根据HSV色彩空间转换得到一HSV图像，由于HSV色彩空间对于光线的变化较不敏感，所以透过步骤可以让目标体自背景清楚被分离出来，接着从HSV图像分析背景颜色影像并进行膨胀侵蚀处理，而将所述HSV图像中背景内的噪声去除，得到一膨胀侵蚀图像，其中，膨胀侵蚀处理为图像分析相关领域的技术人员均可理解的技术，在此不再赘述。
将所述图像进行模糊化并转换成灰阶图像，得到一灰阶图像，将所述灰阶图像与膨胀侵蚀图像进行迭加，得到一迭加图像，再利用阈值区分所述迭加图像中目标体与背景，再利用膨胀侵蚀去除噪声，最后以一矩形框围线框围出所述目标体的最大边框，再计算所述矩形框围线的中心，再将所述中心的图像系统坐标及相机系统坐标做为所述目标体的图像系统坐标及相机系统坐标。
本实施例除了具有自动分析欲拍摄目标体的功能外，同时可以透过所述矩形框围线来判断所述目标体的中心，如此一来，所述相机所拍摄的图像，其目标体必定会落在图像的正中央。
实施例3：
当本申请在进行目標體追踪时，由于目標體所在平面并非完全与相机镜头平行，所以在进行追踪的过程中，还需考虑二者的角度关系，为此，本实施例更进一步可以实施为：所述相机为RGB-D相机，所述RGB-D相机所输出的图像信息中，除了有RGB色彩外，还包括具有距离信息的深度影像，也因此，所述RGB-D相机由左至右依序包括有一深度镜头、红外线发射器、深度镜头、RGB彩色镜头。分析所述目标体的特征，而得到复数个特征点，取一3D目标体坐标图，将所述复数个脸部特征点与所述3D目标体坐标图进行比较，以取得所述目标体的旋转矩阵及目标体的平移向量矩阵，接着根据公式1进行运算时须加上所述旋转矩阵及所述平移向量矩阵，而形成
其中所述旋转矩阵为[rij]＝R3×3，i、j＝1、2、3，所述平移向量矩阵为[ti]＝T3×1。
如此一来取得二者之间的旋转关系后，所述相机所拍摄出来的图像，必定会呈现目標物朝向前方的效果，而不会显现目標物朝左右或其他方向的状况，使本創作得以拍攝到清晰的目標體正面圖像。此外，值得一提的是，在运算所述目標體与所述相机镜头之间的关系时，需依序代入各个特征点的坐标进行运算，之后再透过最小平方法来估算最佳的旋转矩阵及平移向量矩阵。
实施例4：
更设一控制台，所述控制台可供远程设置所述目标体，所述六轴云台的基座设有一移动单元，所述移动单元可供根据一行径路线资料进行移动。
透过本实施例，所述移动单元、所述六轴云台，及所述相机便共同形成一巡检机器人，可自动对机房内的仪表、设备进行巡检、拍照。举例来说，当所述目标体为仪表时，可配合前述各实施例，令所述相机镜头朝向所述仪表的前侧进行拍摄，如此一来，所述图像便会清楚且完全呈现所述仪表的前侧，以利后续进行所述仪表数字的判读而不易出错。同时，使用者也可透过所述控制台来控制所述巡检机器人，例如可控制所述巡检机器人改变追踪的目标体。
实施例5：
本实施例基于实施例4再进一步可以实施为：当所述目标体为仪表时，于所述步骤(G)后更设一步骤(H)：对所述目标体进行拍摄得到一目标体图像数据，分析所述目标体图像数据中的数值，并将分析结果及所述目标体图像数据传送至所述控制台；当所述数值超过默认值时，则发出警报信号。
因此，当本申请用于用于自动巡检机器人时，可自动判读仪表上的数字，判读后得结果除了可以直接传送至控制台外，当发生数值超标时可自动发出警报，例如自动发出警报讯息，令所述控制面板的警报器作动，或是控制所述自动巡检机器人本身的警报器作动，而仪表上数字分析得结果也可以做为纪录，或是透过长时间的观察来判断机台是否须提前进行维修、保养。
虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。
Claims (5)
1.一种图像识别动态纠偏方法，其特征在于，包括下列步骤：
(A)将相机架设于六轴云台；
(B)取得相机的内部参数fu、fv、Cu、Cv，并根据公式1：
将相机系统坐标转换成图像系统坐标，而得到图像系统与相机系统的转移矩阵，其中a为图像系统坐标中一点的X轴坐标，b为图像系统坐标中所述一点的Y轴坐标，fu为相机在图像系统坐标的X轴焦距，fv为相机在图像系统坐标的Y轴焦距，Cu为图像系统中心点的X轴坐标，Cv为图像系统中心点的Y轴坐标；x为所述一点在相机系统的X轴坐标，y为所述一点在相机系统的Y轴坐标；z为所述一点在相机系统的Z轴坐标；
为图像系统与相机系统的转移矩阵；
(C)取六轴云台各个轴的第一旋转角度，及二轴之间的距离，根据公式2：
(D)计算相机坐标系统与六轴云台的第六轴坐标系统的转移矩阵
(E)根据公式3：
得到图像坐标系统相对于基座坐标系统的转换矩阵；
(F)所述相机拍摄一目标体得到一图像，将所述目标体的图像系统坐标及相机系统坐标根据公式1及公式2进行运算得到
再根据公式2进行运算，得到六轴云台各个轴的第二旋转角度；
(G)根据所述第二旋转角度分别控制六轴云台中各个轴杆的转动角度。
2.根据权利要求1所述的图像识别动态纠偏方法，其特征在于，步骤(F)中，将所述图像根据HSV色彩空间转换得到一HSV图像，从HSV图像分析背景颜色影像并进行膨胀侵蚀处理，得到一膨胀侵蚀图像，将所述图像进行模糊化并转换成灰阶图像，得到一灰阶图像，将所述灰阶图像与膨胀侵蚀图像进行迭加，得到一迭加图像，再利用阈值区分所述迭加图像中目标体与背景，再利用膨胀侵蚀去除噪声，最后以一矩形框围线框围出所述目标体的最大边框，再计算所述矩形框围线的中心，再将所述中心的图像系统坐标及相机系统坐标做为所述目标体的图像系统坐标及相机系统坐标。
3.根据权利要求1所述的图像识别动态纠偏方法，其特征在于，所述相机为RGB-D相机，步骤(F)中，分析所述目标体的特征，而得到复数个特征点，取一3D目标体坐标图，将所述复数个特征点与所述3D目标体坐标图进行比较，以取得所述目标体的旋转矩阵及目标体的平移向量矩阵，接着根据公式1进行运算时须加上所述旋转矩阵及所述平移向量矩阵，而形成
其中所述旋转矩阵为[rij]＝R3×3，i、j＝1、2、3，所述平移向量矩阵为[ti]＝T3×1。
4.根据权利要求3所述的图像识别动态纠偏方法，其特征在于，更设一控制台，所述控制台可供远程设置所述目标体，所述六轴云台的基座设有一移动单元，所述移动单元可供根据一行径路线资料进行移动。
5.根据权利要求4所述的图像识别动态纠偏方法，其特征在于，当所述目标体为仪表时，于所述步骤(G)后更设一步骤步骤(H)：对所述目标体进行拍摄得到一目标体图像数据，分析所述目标体图像数据中的数值，并将分析结果及所述目标体图像数据传送至控制台；当所述数值超过默认值时，则发出警报信号。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011418688.7A CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011418688.7A CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112584041A CN112584041A (zh) | 2021-03-30 |
| CN112584041B true CN112584041B (zh) | 2022-11-18 |
Family
ID=75127665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011418688.7A Active CN112584041B (zh) | 2020-12-07 | 2020-12-07 | 一种图像识别动态纠偏方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112584041B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114926507B (zh) * | 2022-07-18 | 2023-03-21 | 深圳新视智科技术有限公司 | 极片纠偏方法、装置、设备及可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622767A (zh) * | 2012-03-05 | 2012-08-01 | 广州乐庚信息科技有限公司 | 双目非标定空间定位方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4802012B2 (ja) * | 2006-03-02 | 2011-10-26 | ティーオーエー株式会社 | カメラ制御装置およびカメラ制御方法 |
| JP7003463B2 (ja) * | 2017-07-11 | 2022-01-20 | セイコーエプソン株式会社 | ロボットの制御装置、ロボットシステム、並びに、カメラの校正方法 |
| JP6815309B2 (ja) * | 2017-11-16 | 2021-01-20 | 株式会社東芝 | 作動システムおよびプログラム |
| CN109176534B (zh) * | 2018-11-27 | 2021-04-20 | 国网智能科技股份有限公司 | 一种机器人多摄像机实时融合系统及方法 |
| CN110977964A (zh) * | 2019-11-26 | 2020-04-10 | 汕头大学 | 一种电厂设备运行微漏探测用智能巡检机器人及检测方法 |
-
2020
- 2020-12-07 CN CN202011418688.7A patent/CN112584041B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102622767A (zh) * | 2012-03-05 | 2012-08-01 | 广州乐庚信息科技有限公司 | 双目非标定空间定位方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112584041A (zh) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107471218B (zh) | 一种基于多目视觉的双臂机器人手眼协调方法 | |
| CN108109174B (zh) | 一种用于散乱零件随机分拣的机器人单目引导方法和系统 | |
| US7283661B2 (en) | Image processing apparatus | |
| CN111801198B (zh) | 一种手眼标定方法、系统及计算机存储介质 | |
| CN111721259B (zh) | 基于双目视觉的水下机器人回收定位方法 | |
| CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
| CN110555889A (zh) | 一种基于CALTag和点云信息的深度相机手眼标定方法 | |
| CN111515944B (zh) | 非固定路径机器人自动标定方法 | |
| CN111645074A (zh) | 一种机器人抓取定位方法 | |
| US20100119146A1 (en) | Robot system, robot control device and method for controlling robot | |
| CN111784655B (zh) | 一种水下机器人回收定位方法 | |
| US10724963B2 (en) | Device and method for calculating area to be out of inspection target of inspection system | |
| JPH0798208A (ja) | 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置 | |
| CN112518748B (zh) | 面向运动物品的视觉机械臂自动抓取方法与系统 | |
| CN114952856A (zh) | 机械臂手眼标定方法、系统、计算机及可读存储介质 | |
| CN112584041B (zh) | 一种图像识别动态纠偏方法 | |
| CN110619664B (zh) | 基于激光图案辅助的摄像机距离姿态计算方法及服务器 | |
| CN111459176B (zh) | 车自动充电定位控制方法、标定方法及车辆姿态计算方法 | |
| CN110634136B (zh) | 一种管道壁破损检测方法、装置及系统 | |
| CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
| Wang et al. | A vision location system design of glue dispensing robot | |
| WO2021138856A1 (zh) | 相机控制方法、设备及计算机可读存储介质 | |
| WO2019093299A1 (ja) | 位置情報取得装置およびそれを備えたロボット制御装置 | |
| CN115205511B (zh) | 一种基于计算机视觉的舵翼偏角检测方法及系统 | |
| CN111452036B (zh) | 一种基于线激光双目立体视觉的工件抓取方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Dynamic Correction Method for Image Recognition Granted publication date: 20221118 Pledgee: Guotou Taikang Trust Co.,Ltd. Pledgor: Hangzhou Shenhao Technology Co.,Ltd. Registration number: Y2024980011357 |