CN109410272A - 一种变压器螺母识别与定位装置及方法 - Google Patents
一种变压器螺母识别与定位装置及方法 Download PDFInfo
- Publication number
- CN109410272A CN109410272A CN201810920149.XA CN201810920149A CN109410272A CN 109410272 A CN109410272 A CN 109410272A CN 201810920149 A CN201810920149 A CN 201810920149A CN 109410272 A CN109410272 A CN 109410272A
- Authority
- CN
- China
- Prior art keywords
- transformer
- image
- nut
- camera
- speckle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012805 post-processing Methods 0.000 claims abstract description 9
- 230000008447 perception Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000004807 localization Effects 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 5
- 238000004519 manufacturing process Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000005259 measurement Methods 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000011897 real-time detection Methods 0.000 description 3
- 241001269238 Data Species 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009776 industrial production Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本公开揭示了一种变压器螺母识别与定位装置及方法。在变压器的正前方以及上方放置三维深度感知摄像头。红外散斑投射器投射散斑至变压器,IR摄像头接受红外散斑图像,进行预处理,运动匹配和后处理等操作得到深度图信息。两个摄像头采集处理之后的点云进行点云配准,与融合,添加rgb彩色信息实现三维重建,再进行目标物体检测,分割出识别的螺母三维模型,确定每个螺母(变压器高压侧和负载测)的位置信息。本发明通过识别确定变压器螺母的位置信息,便于工业化生产中利用。
Description
技术领域
本发明涉及属于识别技术领域,特别涉及一种变压器螺母识别与定位装置及方法。
背景技术
随着人工智能技术发展,基于计算机视觉的测量方法越来越得到重视。计算机视觉的本质是实现二维图像到三维空间的重建,而基于计算机视觉的测量技术中关键的步骤就是获取目标物体的三维信息,近年来研究比较热门的深度感知技术为我们提供了获取三维信息的重要途径。通过该技术不仅获取重要参数信息还实现了三维重建,进而对物体的几何参数、位置信息进行更加精确的测量。
随着人工智能的火热,人工智能识别技术已经应用到了工业化生产等领域。智能化也在不断的发展,特别计算机视觉在工业化生产中占据着重要的位置,无论工业化生产中的机械物体抓取、还是目标物体检测都可以通过智能化实现。通过智能化的方式可以减少人工消耗,提高工业化生产效率。这也使得工业化趋向智能化。
发明内容
本发明的目的在于提供一种变压器螺母的识别与定位方法及装置,旨在通过智能化自动识别装置提高工业化生产效率。
本发明采用如下技术方案:一种变压器螺母识别与定位装置,所述装置包括:
红外散斑投射模块:用于投射散斑至变压器上;
图像采集模块:利用IR摄像头和RGB摄像头采集变压器的红外散斑图像序列和RGB彩色图像,并将采集的红外散斑图像序列发送至深度感知处理模块,将RGB彩色图像发送给三维重建模块;
深度感知处理模块:用于将接收到的红外散斑图序列进行处理,得到显示效果平滑的深度图;
三维重建模块:用于将所述深度图进行处理得到点云数据,再将所述点云数据经过处理并添加RGB彩色图像形成三维模型;
目标识别模块:基于所述三维模型,对变压器中的螺母进行识别,确定所述螺母在空间中的实时位置信息,并将变压器中螺母的实时位置信息传递给PC端进行显示。
本发明还提供一种变压器螺母识别与定位方法,所述方法包括如下步骤:
S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置;
S200、利用变压器的上方前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和R6B彩色图像;
S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列,将所述深度图序列与RGB彩色图像结合进行点云配准与融合得到三维模型;
S400、对场景中的变压器进行检测,识别出变压器的高压侧和负载侧的螺母,并对所述螺母位置信息进行定位,将得到的螺母位置信息传入PC端。
本发明通过实时检测识别场景中目标物体,达到精准定位的目的。
附图说明
图1本公开一个实施例中应用于变压器螺母识别与定位装置图;
其中6是变压器的主体,在变压器的上方和前方可以看到放有三维深度感知摄像头7,其中三维深度感知摄像头7包括:1红外散斑投射器,2 IR摄像头,3 R6B摄像头,变压器主体6上包括高压侧的螺母5和低压侧的螺母4;
图2本公开一个实施例的整体流程框图。
具体实施方式
下面结合附图和实施例对本发明进行详细描述,但不作为对本发明的限定。
图1是本发明应用于变压器螺母识别与定位装置图。基于三维深度感知摄像头。其中6是变压器的主体,在变压器的上方和前方可以看到放有三维深度感知摄像头7。其中三维深度感知摄像头7包括:1红外散斑投射器,2 IR摄像头,3 RGB摄像头。变压器主体6上包括高压侧的螺母5和低压侧的螺母4。
在一个实施例中,本公开揭示了一种变压器螺母识别与定位装置,所述装置包括:
红外散斑投射模块:用于投射散斑至变压器上;
图像采集模块:利用IR摄像头和RGB摄像头采集变压器的红外散斑图像序列和RGB彩色图像,并将采集的红外散斑图像序列发送至深度感知处理模块,将RGB彩色图像发送给三维重建模块;
深度感知处理模块:用于将接收到的红外散斑图序列进行处理,得到显示效果平滑的深度图;
三维重建模块:用于将所述深度图进行处理得到点云数据,再将所述点云数据经过处理并添加RGB彩色图像形成三维模型;
目标识别模块:基于所述三维模型,对变压器中的螺母进行识别,确定所述螺母在空间中的实时位置信息,并将变压器中螺母的实时位置信息传递给PC端进行显示。
在本实施例中,通过实时检测识别场景中变压器螺母的位置,达到对变压器螺母精准定位的目的。本实施例采用IR摄像头的帧率是30fps,,通过实时获取图像帧,实时进行处理显示,达到实时性。
本实施例中利用目标识别模块得到螺母在空间中的位置(x,y,z),然后在三维重建的模型中标出所识别出的螺母的世界位置信息(利用颜色信息),最后能够在PC端看到并确定所标出的螺母的实时位置信息是否是所要识别的螺母位置信息。
在一个实施例中,所述图像采集模块包括上方采集模块和前方采集模块,所述上方采集模块利用IR摄像头和RGB摄像头采集变压器上方的红外散斑图序列和RGB彩色图像,所述前方采集模块利用IR摄像头和RGB摄像头采集变压器前方的红外散斑图序列和RGB彩色图像。
在一个实施例中,所述深度感知模块用于接收变压器上方和前方的红外散斑图像序列,并对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理,得到显示效果平滑的深度图;
所述图像预处理包括:将所述红外散斑图像序列转化成灰度散斑图序列;
运动估计匹配包括:将预处理后的灰度散斑图序列与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图信息;
图像后处理包括:将所述深度图信息进行图像滤波去噪和图像分割,得到显示效果平滑的深度图信息。
在本实施例中,所述图像预处理、运动估计匹配、图像后处理中采用的图像处理方法均为现有的处理方法,此处不做限制。
在一个实施例中,所述三维重建模块利用空间坐标转换公式对所述深度图信息进行处理得到点云数据,再利用icp算法对所述点云数据进行点云配准,点云融合,并添加RGB信息形成三维模型。
在本实施例中,通过空间坐标转换公式得到空间点云坐标,采用icp算法进行点云配准,融合,
所述icp算法能够使不同的坐标下的点云数据合并到同一个坐标系统中,icp算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对,计算最优刚体变换,直到满足正确配准的收敛精度要求。
icp算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数R和平移参数T,使得两点数据之间满足某种度量准则下的最优匹配。
icp算法具体步骤如下:
(1)、输入的两幅深度图像,分3层抽样,按照coarse-to-fine的方式配准,对于抽样后的点云做滤波。
(2)、通过原始深度图像计算点的三维坐标(用于点云的配准和融合),通过滤波后的图像计算三维点云坐标(用于计算法向量)。
(3)、对于两幅点云计算匹配点。
(4)、根据匹配点极小化目标函数计算位姿。
(5)、目标函数误差小于一定值时,停止迭代,得到点云配准、点云融合的结果,否则进入步骤(3)。
在一个实施例中,所述图像识别模块用于对场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别。
在本实施例中,所述图像识别模块用于对变压器中的螺母进行识别,以完成工程上的需要,另外,所述图像识别模块还可用于其他相关部件的识别。
所述目标识别模块用于识别出螺母后在三维重建后的模型上显示标记出具体识别的的位置,保证实时检查识别出的位置的准确性。
在一个实施例中,本公开揭示了一种变压器螺母识别与定位方法,所述方法包括如下步骤:
S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置;
S200、利用变压器的上方前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像;
S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列,将所述深度图序列与RGB彩色图像结合进行点云配准与融合得到三维模型;
S400、对场景中的变压器进行检测,识别出变压器的高压侧和负载侧的螺母,并对所述螺母位置信息进行定位,将得到的螺母位置信息传入PC端。
本实施例中所述的方法通过实时检测识别场景中变压器螺母的位置,达到对变压器螺母精准定位的目的。所述方法在变压器附近放置三维深度感知摄像头。红外散斑投射器投射散斑至变压器,IR摄像头接受红外散斑图像,进行预处理,运动匹配和后处理等操作得到深度图信息。两个摄像头采集处理之后的点云进行点云配准,与融合,添加rgb彩色信息实现三维重建,再进行目标物体检测,分割出识别的螺母三维模型,确定每个螺母(变压器高压侧和负载测)的位置信息。
在一个实施例中,所述步骤S300前还包括下述步骤:
S301、利用张氏标定法对变压器上方和前方的IR摄像头进行标定,标定出IR摄像头和RGB摄像头的内外参数。
在本实施例中,还可使用下述方法对IR摄像头进行标定;
1)打印一张棋盘格,把它贴在一个平面上,作为标定物。
2)通过调整标定物或摄像机的方向,为标定物拍摄一些不同方向的照片。
3)从照片中提取特征点(如角点)。
4)应用最小二乘法估算理想无畸变的情况下,IR摄像头的内参数和所有外参数。
在一个实施例中,所述步骤S300包括以下步骤:
S3001、对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理,得到显示效果平滑的深度图序列;
S3002、利用空间坐标转换公式对所述深度图序列进行处理得到点云数据;
S3003、利用icp算法及IR摄像头的内外参数对所述点云数据进行点云配准,点云融合,并添加RGB信息形成三维模型。
在本实施例中,所述icp算法能够使不同的坐标下的点云数据合并到同一个坐标系统中,icp算法本质上是基于最小二乘法的最优配准方法。该算法重复进行选择对应关系点对,计算最优刚体变换,直到满足正确配准的收敛精度要求。
icp算法的目的是要找到待配准点云数据与参考云数据之间的旋转参数R和平移参数T,使得两点数据之间满足某种度量准则下的最优匹配。
在一个实施例中,步骤S400中识别出变压器的高压侧和负载侧的螺母包括以下步骤:
S401、采用模板匹配进行螺母识别;
S402、根据螺母的形心在图像中的坐标位置,结合RGB摄像头的内参数K及外参数R、T,计算出螺母形心的三维坐标,计算公式如下:
其中pr=[ir,jr,1]T为检测到的形心的齐次坐标,其中Zt是缩放因子pr=[Xr,Yr,Zr]T为空间坐标。内参矩阵为:
在一个实施例中,所述步骤S401中模板匹配中的模板包括:模板库中存储的RGB彩色图像。
本实施例所述模板库中存储的RGB彩色图像是利用RGB摄像头提前采集好并存储起来的。
所述模板匹配包括将采集的rgb图像与模板中的图像转换为灰度图,以存储的灰度化处理之后图像为模板,对采集进行灰度化处理之后图像进行从左向右遍历搜索,计算搜索图与模板图的相似度,找到与中模板图相似度最高的子图即为最终匹配结果。
本公开揭示了一种变压器螺母识别与定位装置,如图1所示:包括红外散斑投射模块、图像采集模块、图像处理、目标识别模块定位模块。
其中,红外散斑投射模块:用于投射散斑至待测物体;
图像采集模块:分为上方采集模块和前方采集模块。用于采集变压器上方以及前方红外散斑图和RGB彩色图像,并将采集的rgb图和深度图信息通过通信接口发送至图像处理模块。
图像处理模块:用于最终形成三维模型图。在PC端实时进行显示。包括深度感知处理模块和三维重建模块。
其中,深度感知处理模块用于将接收到的红外散斑图像进行图像预处理、运
动估计匹配及图像后处理,得到显示效果平滑的深度图,并将显示效果平滑的深度图通过通信接口发送至图形显示模块;
三维重建模块用于将变压器上方和前方采集到的深度信息进行处理得到点云数据,再经过点云配准、点云融合拼接、添加RGB信息形成三维模型。
目标识别定位模块:用于将场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别,确定其在空间中的具体位置。
在一个实施例中,如图2所示,一种变压器螺母的识别与定位方法,包括以下步骤:
S100、位于变压器上方和前方的三维深度感知摄像头的红外散斑投射器投射散斑至变压器;
S200、IR摄像头和RGB摄像头实时采集待测物体目标场景中每个像素的红外散斑图像和RGB彩色图像;
S300、变压器上方摄像头得到的深度信息与变压器前方摄像头得到的深度信息进行处理得到点云数据。利用张氏标定法对两个摄像头进行标定,计算内外参数,进行点云配准、融合,并将RGB彩色图像经过坐标转换添加至三维模型形成rgb彩色三维模型。具体步骤:
S301、利用张氏标定法对上方和前方三维深度感知摄像头的IR摄像头进行标定。标定出内参K和外参R和T;
S302、上方和前方摄像头采集深度信息进行处理得到点云数据;
S303、点云配准与融合,将上方摄像头采集处理的数据和前方摄像头采集处理的点云数据进行配准与融合到同一坐标系。添加RGB信息,形成三维模型并显示在PC端;
S400、进行场景中目标识别定位,识别定位出变压器高压侧和低压侧每个螺母、并且计算出每个螺母在空间中的具体位置。具体实现步骤如下:
S401、采用模板匹配的方法进行螺母识别。其中模板的获取根据实际情况提前获取RGB图,并且存储至模板库中。实时测量中变压器上方摄像头进行识别。
S402、目标定位。选用目标边缘形心位置进行定位。a)灰度变化、图像增强,b)使用canny算子进行边缘检测,c)进行膨胀或腐蚀去除噪声的影响,d)提取目标区域,e)获取目标的形心位置。根据形心在图像坐标位置,结合标定参数,计算出形心的三维坐标。其中应用到的计算公式如下:
其中pr=[ir,jr,1]T为检测到的形心的齐次坐标,其中Zt是缩放因子pr=[Xr,Yr,Zr]T为空间坐标。内参矩阵为:
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种变压器螺母识别与定位装置,其特征在于,所述装置包括:
红外散斑投射模块:用于投射散斑至变压器上;
图像采集模块:利用IR摄像头和RGB摄像头采集变压器的红外散斑图像序列和RGB彩色图像,并将采集的红外散斑图像序列发送至深度感知处理模块,将RGB彩色图像发送给三维重建模块;
深度感知处理模块:用于将接收到的红外散斑图序列进行处理,得到显示效果平滑的深度图;
三维重建模块:用于将所述深度图进行处理得到点云数据,再将所述点云数据经过处理,并添加RGB彩色图像形成三维模型;
目标识别模块:基于所述三维模型,对变压器中的螺母进行识别,确定所述螺母在空间中的实时位置信息,并将变压器中螺母的实时位置信息传递给PC端进行显示。
2.根据权利要求1所述的装置,其特征在于:优选的,所述图像采集模块包括上方采集模块和前方采集模块;所述上方采集模块利用IR摄像头和RGB摄像头采集变压器上方的红外散斑图像序列和RGB彩色图像,所述前方采集模块利用IR摄像头和RGB摄像头采集变压器前方的红外散斑图像序列和RGB彩色图像。
3.根据权利要求2所述的装置,其特征在于:所述深度感知模块用于接收变压器上方和前方的红外散斑图像序列,并对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理,得到显示效果平滑的深度图;
所述图像预处理包括:将所述红外散斑图像转化成灰度散斑图序列;
运动估计匹配包括:将图像预处理后的灰度散斑图序列与存储在标准散斑参考图存储器中的参考散斑图进行运动估计匹配得到深度图信息;
图像后处理包括:将所述深度图信息进行图像滤波去噪和图像分割,得到显示效果平滑的深度图信息。
4.根据权利要求3所述的装置,其特征在于:所述三维重建模块利用空间坐标转换公式对所述深度图信息进行处理得到点云数据,再利用icp算法对所述点云数据进行点云配准,点云融合,并添加RGB信息形成三维模型。
5.根据权利要求1所述的装置,其特征在于:所述图像识别模块用于对场景中变压器高压侧的3个螺母和低压侧的4个螺母进行识别。
6.一种变压器螺母识别与定位方法,其特征在于:所述方法包括如下步骤:
S100、利用红外散斑投射模块投射散斑至变压器上方以及前方位置;
S200、利用变压器的上方及前方的IR摄像头和RGB摄像头实时采集变压器场景中的红外散斑图像序列和RGB彩色图像;
S300、对红外散斑图像序列进行图像处理得到显示效果平滑的深度图序列,将所述深度图序列进行点云配准与融合后,与RGB彩色图像结合得到三维模型;
S400、对场景中的变压器进行检测,识别出变压器的高压侧和负载侧的螺母,并对所述螺母位置信息进行定位,将得到的螺母位置信息传入PC端。
7.根据权利要求6所述的方法,其特征在于,所述步骤S300前还包括下述步骤:
S301、利用张氏标定法对变压器上方和前方的IR摄像头和RGB摄像头进行标定,标定出IR摄像头和RGB摄像头的内外参数。
8.根据权利要求7所述的方法,其特征在于:所述步骤S300包括以下步骤:
S3001、对所述红外散斑图像序列进行进行图像预处理、运动估计匹配及图像后处理,得到显示效果平滑的深度图序列;
S3002、利用空间坐标转换公式对所述深度图序列进行处理得到点云数据;
S3003、利用icp算法及IR摄像头的内外参数对所述点云数据进行点云配准,点云融合,并添加RGB信息形成三维模型。
9.根据权利要求8所述的方法,其特征在于,步骤S400中识别出变压器的高压侧和负载侧的螺母包括以下步骤:
S401、采用模板匹配进行螺母识别;
S402、根据螺母的形心在图像中的坐标位置,结合RGB摄像头的内外参数,计算出螺母形心的三维坐标,计算公式如下:
其中Pr=[ir,jr,1]T为检测到的形心的齐次坐标,其中Zt是缩放因子pr=[Xr,Yr,Zr]T为空间坐标,fx,r,fy,r为RGB传感器的焦距,cx,r,cy,r为RGB传感器的中心点,r为3*3的旋转矩阵,t为3*1的平移矩阵,内参矩阵为:
10.根据权利要求9所述的方法,其特征在,所述步骤S401中模板匹配中的模板包括:模板库中存储的RGB彩色图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810920149.XA CN109410272B (zh) | 2018-08-13 | 2018-08-13 | 一种变压器螺母识别与定位装置及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810920149.XA CN109410272B (zh) | 2018-08-13 | 2018-08-13 | 一种变压器螺母识别与定位装置及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109410272A true CN109410272A (zh) | 2019-03-01 |
CN109410272B CN109410272B (zh) | 2021-05-28 |
Family
ID=65464295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810920149.XA Expired - Fee Related CN109410272B (zh) | 2018-08-13 | 2018-08-13 | 一种变压器螺母识别与定位装置及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109410272B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012091A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于多维单目深度估计的叶轮质量检测方法及装置 |
CN114520906A (zh) * | 2022-04-21 | 2022-05-20 | 北京影创信息科技有限公司 | 基于单目相机的三维人像补全方法和补全系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202007014986U1 (de) * | 2007-10-27 | 2008-01-03 | Volodymyrskyi, Yevgen, Dipl.-Ing. | Schraubenzieher mit Grifftransformer |
EP2063491A1 (de) * | 2007-11-23 | 2009-05-27 | Jean Müller GmbH Elektrotechnische Fabrik | Anschlussklemme für einen Transformator |
CN102938844A (zh) * | 2011-10-13 | 2013-02-20 | 微软公司 | 利用立体成像生成自由视点视频 |
CN102970548A (zh) * | 2012-11-27 | 2013-03-13 | 西安交通大学 | 一种图像深度感知装置 |
CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
WO2016040473A1 (en) * | 2014-09-10 | 2016-03-17 | Vangogh Imaging, Inc. | Real-time dynamic three-dimensional adaptive object recognition and model reconstruction |
US20160210735A1 (en) * | 2015-01-21 | 2016-07-21 | Kabushiki Kaisha Toshiba | System for obstacle avoidance around a moving object |
CN106251353A (zh) * | 2016-08-01 | 2016-12-21 | 上海交通大学 | 弱纹理工件及其三维位姿的识别检测方法及系统 |
CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
CN107053173A (zh) * | 2016-12-29 | 2017-08-18 | 芜湖哈特机器人产业技术研究院有限公司 | 机器人抓取系统及抓取工件的方法 |
CN108271012A (zh) * | 2017-12-29 | 2018-07-10 | 维沃移动通信有限公司 | 一种深度信息的获取方法、装置以及移动终端 |
-
2018
- 2018-08-13 CN CN201810920149.XA patent/CN109410272B/zh not_active Expired - Fee Related
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE202007014986U1 (de) * | 2007-10-27 | 2008-01-03 | Volodymyrskyi, Yevgen, Dipl.-Ing. | Schraubenzieher mit Grifftransformer |
EP2063491A1 (de) * | 2007-11-23 | 2009-05-27 | Jean Müller GmbH Elektrotechnische Fabrik | Anschlussklemme für einen Transformator |
CN102938844A (zh) * | 2011-10-13 | 2013-02-20 | 微软公司 | 利用立体成像生成自由视点视频 |
CN102970548A (zh) * | 2012-11-27 | 2013-03-13 | 西安交通大学 | 一种图像深度感知装置 |
CN103971409A (zh) * | 2014-05-22 | 2014-08-06 | 福州大学 | 一种利用rgb-d摄像机测量足部三维脚型信息及三维重建模型的方法 |
WO2016040473A1 (en) * | 2014-09-10 | 2016-03-17 | Vangogh Imaging, Inc. | Real-time dynamic three-dimensional adaptive object recognition and model reconstruction |
US20160210735A1 (en) * | 2015-01-21 | 2016-07-21 | Kabushiki Kaisha Toshiba | System for obstacle avoidance around a moving object |
CN106251353A (zh) * | 2016-08-01 | 2016-12-21 | 上海交通大学 | 弱纹理工件及其三维位姿的识别检测方法及系统 |
CN107053173A (zh) * | 2016-12-29 | 2017-08-18 | 芜湖哈特机器人产业技术研究院有限公司 | 机器人抓取系统及抓取工件的方法 |
CN107016704A (zh) * | 2017-03-09 | 2017-08-04 | 杭州电子科技大学 | 一种基于增强现实的虚拟现实实现方法 |
CN108271012A (zh) * | 2017-12-29 | 2018-07-10 | 维沃移动通信有限公司 | 一种深度信息的获取方法、装置以及移动终端 |
Non-Patent Citations (3)
Title |
---|
FANG WANG 等: "Hexagon-Shaped Screw Recognition and Positioning System Based on Binocular Vision", 《PROCEEDINGS OF THE 37TH CHINESE CONTROL CONFERENCE》 * |
张志佳 等: "基于Kinect的典型零部件识别与定位", 《沈阳工业大学学报》 * |
曹会敏 等: "用于目标识别的三维重建技术研究", 《万方学位论文数据库》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113012091A (zh) * | 2019-12-20 | 2021-06-22 | 中国科学院沈阳计算技术研究所有限公司 | 一种基于多维单目深度估计的叶轮质量检测方法及装置 |
CN114520906A (zh) * | 2022-04-21 | 2022-05-20 | 北京影创信息科技有限公司 | 基于单目相机的三维人像补全方法和补全系统 |
Also Published As
Publication number | Publication date |
---|---|
CN109410272B (zh) | 2021-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
Liu et al. | Multiview geometry for texture mapping 2d images onto 3d range data | |
Kurka et al. | Applications of image processing in robotics and instrumentation | |
CN107154014B (zh) | 一种实时彩色及深度全景图像拼接方法 | |
Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
CN110334701B (zh) | 数字孪生环境下基于深度学习和多目视觉的数据采集方法 | |
WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
US20190073796A1 (en) | Method and Image Processing System for Determining Parameters of a Camera | |
CN102567991B (zh) | 一种基于同心圆合成图像匹配的双目视觉标定方法和系统 | |
CN107633537B (zh) | 一种基于投影的摄像头标定方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN114022560A (zh) | 标定方法及相关装置、设备 | |
CN114998448B (zh) | 一种多约束双目鱼眼相机标定与空间点定位的方法 | |
CN116188763A (zh) | 一种基于YOLOv5的纸箱识别定位及放置角度的测量方法 | |
CN114299153B (zh) | 一种超大电力设备的相机阵列同步标定方法及系统 | |
CN106251337A (zh) | 一种空中加油锥套空间定位方法及系统 | |
Heather et al. | Multimodal image registration with applications to image fusion | |
CN109410272A (zh) | 一种变压器螺母识别与定位装置及方法 | |
Han et al. | Target positioning method in binocular vision manipulator control based on improved canny operator | |
CN113112532B (zh) | 一种多ToF相机系统实时配准方法 | |
CN113012238B (zh) | 一种多深度相机快速标定与数据融合的方法 | |
CN104596486B (zh) | 基于目标旋转对称特征的位姿测量方法 | |
CN112258633B (zh) | 一种基于slam技术的场景高精度重建方法及装置 | |
CN116563391B (zh) | 一种基于机器视觉的激光结构自动标定方法 | |
Wang et al. | An automatic self-calibration approach for wide baseline stereo cameras using sea surface images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210528 |