CN110246124B - 基于深度学习的目标尺寸测量方法及系统 - Google Patents

基于深度学习的目标尺寸测量方法及系统 Download PDF

Info

Publication number
CN110246124B
CN110246124B CN201910438296.8A CN201910438296A CN110246124B CN 110246124 B CN110246124 B CN 110246124B CN 201910438296 A CN201910438296 A CN 201910438296A CN 110246124 B CN110246124 B CN 110246124B
Authority
CN
China
Prior art keywords
target
image
size
camera
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910438296.8A
Other languages
English (en)
Other versions
CN110246124A (zh
Inventor
张斌
魏祚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910438296.8A priority Critical patent/CN110246124B/zh
Publication of CN110246124A publication Critical patent/CN110246124A/zh
Application granted granted Critical
Publication of CN110246124B publication Critical patent/CN110246124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras

Abstract

本发明公开了一种基于深度学习的目标尺寸测量方法及系统,通过前端处理装置的微控制器控制摄像头采集待测量目标的图像,并将图像通过网络传输到后端服务器;在后端服务器,通过引入深度学习的方法,从图像中检测出目标,使用数字图像处理的方法提取目标的轮廓特征,计算目标轮廓的最小外接矩形,并计算出目标的二维像素尺寸;根据照相机成像原理,计算目标的实际二维尺寸;后端服务器将尺寸测量结果通过网络传输给前端处理装置,前端处理装置的微控制器控制显示器显示目标尺寸测量结果。本发明极大地提高了目标尺寸测量的效率和精度,可同时测量多种不同种类目标的尺寸,对于应用环境不固定、背景复杂的场景,也能准确测量出目标的二维尺寸。

Description

基于深度学习的目标尺寸测量方法及系统
技术领域
本发明属于测量技术领域,特别涉及一种目标尺寸测量方法及系统。
背景技术
在工业生产过程中,尺寸是最基本也是最重要的控制要素之一,因此,对于产品的尺寸测量显得尤为重要。在传统的工业生产过程中,尺寸测量的典型方法是利用游标卡尺、千分尺或卷尺在被测产品上进行手动测量。这种测量方法的测量速度慢、精度低、成本高,每次只能对单一物体进行测量,测量数据不能及时处理,无法满足大规模自动化生产的需要。
随着图像处理技术的发展,基于传统数字图像处理的尺寸测量方法依据待测量目标的颜色、纹理和形状等特征,从图像中检测出待测量目标,再根据参照物尺寸计算出目标的尺寸。但是,基于传统数字图像处理的尺寸测量方法严重依赖于对待测量目标的手工特征的提取,对于应用环境不固定、背景复杂的场景,从图像中检测出待测量目标的难度较大,基于传统数字图像处理的尺寸测量方法测量尺寸的精度较低。
发明内容
本发明的目的在于提供一种基于深度学习的目标尺寸测量方法及系统,以解决上述技术问题。
为了实现上述目的,本发明采用如下技术方案:
基于深度学习的目标尺寸测量方法,包括以下步骤:
S101:制作针对待测量目标的数据集,所述数据集包括训练集;
S102:在后端服务器上,使用所述数据集中的训练集训练针对待测量目标的MaskR-CNN目标检测网络;
S103:摄像头拍摄待测量目标,获取一帧待测量目标的图像,并将图像传输到前端处理装置中的微控制器;
S104:前端处理装置中的微控制器接收所述图像,并将所述图像通过网络传输到后端服务器;
S105:后端服务器接收所述图像,将所述图像输入步骤S102中训练好的Mask R-CNN网络进行目标检测,检测出所述图像中所有的目标,获取所述图像中所有目标的位置信息和类别信息;
S106:在后端服务器上,根据所述目标的位置信息提取目标的轮廓,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸;
S107:在后端服务器上,计算图像中每一个像素点的实际尺寸,再结合所述步骤S106中所述目标的二维像素尺寸,计算目标的实际二维尺寸;后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置;
S108:前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果,在步骤S103所述图像上标出目标的最小外接矩形,并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息,将结果图像在前端处理装置的显示器上进行显示。
进一步的,步骤S101中,所述数据集包含3000张待测量目标的图片,其中,训练集包含2000张待测量目标的图片,测试集包含1000张待测量目标的图片;
步骤S101中制作数据集包括以下步骤:
首先,使用Labelme工具对所述数据集中所有图片进行标注,每一幅图片标注完成后生成一个扩展名为.json的标注文件,所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息;然后,分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件;最后,将训练集和测试集中所有图片和标注文件按照COCO数据集格式进行组织。
进一步的,步骤S102中Mask R-CNN目标检测网络中的特征提取网络使用Resnet101。
进一步的,步骤S105的Mask R-CNN网络检测结果中,每一个被检测到的目标对应一幅二值图像,二值图像尺寸与所述Mask R-CNN网络输入图像尺寸相同,目标所在的像素区域像素值为255,其它像素区域像素值为0;像素值为255的区域描述了目标物体的位置信息。
进一步的,步骤S106中提取目标轮廓的方法如下:
用f(i,j)表示二值图像中坐标为(i,j)点的像素值;从上到下、从左向右扫描图像中每一个像素点,如果f(i,j)=0且f(i,j+1)=255,或f(i,j-1)=255且f(i,j)=0,或f(i,j)=0且f(i+1,j)=255,或f(i-1,j)=255且f(i,j)=0,则f(i,j)是目标的轮廓点;获取图像上目标的所有轮廓点,并进行标记,获得了目标轮廓。
进一步的,步骤S106中计算目标轮廓最小外接矩形的方法如下:
首先,分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值,以水平方向和垂直方向上坐标的最小值为A点坐标,以水平方向和垂直方向上坐标的最大值为B点坐标,绘制以A点和B点为对角线两个顶点的矩形,得到目标轮廓的外接矩形S,并计算所述外接矩形S的面积;
然后,在90度范围内将目标轮廓以所述外接矩形S的中心点为中心,按照θ角度顺时针等间隔旋转,获取所有旋转后的目标轮廓的外接矩形,并计算外接矩形面积,θ值为5度;
最后,从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形,并获取其旋转角度β,将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度,获得目标轮廓的最小外接矩形。
进一步的,步骤S107中,根据照相机成像原理和相似三角形理论,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比;已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距,计算出图像的实际尺寸;已知摄像头分辨率,进而计算出图像中每一个像素点的实际尺寸。
用于实现所述的基于深度学习的目标尺寸测量方法的系统,由前端处理装置和后端服务器组成;
所述前端处理装置包括微控制器、摄像头、输入设备和显示器;
所述后端服务器含有中央处理器和图形处理器,所述前端处理装置通过网络与所述后端服务器连接;
所述前端处理装置中,所述微控制器与所述摄像头、所述输入设备和所述显示器连接;所述微控制器用于控制所述摄像头采集待测量目标的图像,接收所述摄像头传来的图像,并将所述摄像头传来的图像通过网络传输给所述后端服务器;同时,所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果,并将测量结果在所述显示器上显示;所述摄像头用于采集待测量目标的图像,并将采集到的图像传输给所述微控制器;
所述后端服务器,用于接收所述前端处理装置传来的图像,并检测接收图像中的目标,计算目标的二维尺寸信息,并将结果通过网络传输给所述的前端处理装置。
进一步的,前端处理装置与后端服务器之间的网络通信为Socket通信方式。
进一步的,所述后端服务器接收图像后:
首先,将接收到的图像输入预先训练好的Mask R-CNN网络进行目标检测,检测出图像中所有的目标;
然后,提取所有目标的轮廓特征,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸;
最后,根据照相机成像原理和相似三角形理论,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比;已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距,计算图像的实际尺寸,已知摄像头分辨率,进而计算图像中每一个像素点的实际尺寸,再结合所述目标的二维像素尺寸,计算目标的实际二维尺寸。
相对于现有技术,本发明具有以下有益效果:
本发明提供了一种基于深度学习的目标尺寸测量方法及系统,通过前端处理装置中的微控制器控制摄像头采集待测量目标的图像,并将图像通过网络传输到后端服务器;在后端服务器,通过引入深度学习的方法,从图像中检测出目标,使用数字图像处理的方法提取目标的轮廓特征,计算目标轮廓的最小外接矩形,并计算出目标的二维像素尺寸;根据照相机成像原理,计算出图像中每个像素点代表的实际尺寸,进而计算出目标的实际二维尺寸;后端服务器将尺寸测量结果通过网络传输给前端处理装置,并在前端处理装置中的显示器上显示。
本发明能够极大地提高目标尺寸测量的效率和精度,降低目标尺寸测量的成本,且具有广泛的可用性;本发明可同时测量多种不同种类目标的尺寸;目标尺寸测量不再依赖于参照物的尺寸;对于应用环境不固定、背景复杂的场景,也能从图像中准确地检测出待测量目标,计算目标的尺寸。
附图说明
图1为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统的结构示意图。
图2为本发明实施例提供的应用该基于深度学习的目标尺寸测量方法的流程框图。
图3为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统及方法进行目标尺寸测量的结果图像。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
以下详细说明均是示例性的说明,旨在对本发明提供进一步的详细说明。除非另有指明,本发明所采用的所有技术术语与本申请所属领域的一般技术人员的通常理解的含义相同。本发明所使用的术语仅是为了描述具体实施方式,而并非意图限制根据本发明的示例性实施方式。
图1为本发明实施例提供的应用该基于深度学习的目标尺寸测量系统的结构示意图。本发明提出的基于深度学习的目标尺寸测量方法,应用于如图1所示的测量系统中。
本发明提供一种基于深度学习的目标尺寸测量系统,由前端处理装置和后端服务器组成;所述前端处理装置包括微控制器、摄像头、输入设备和显示器,所述后端服务器含有图形处理器(GPU),所述前端处理装置通过网络与所述后端服务器连接。
所述输入设备包括键盘和鼠标,用于输入指令对前端处理装置和后端服务器进行控制。
前端处理装置中,所述微控制器与所述摄像头、所述键盘、所述鼠标和所述显示器连接;所述微控制器用于控制所述摄像头采集待测量目标的图像,接收所述摄像头传来的图像,并将所述摄像头传来的图像通过网络传输给所述后端服务器;同时,所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果,并将测量结果在所述显示器上显示;所述摄像头用于采集待测量目标的图像,并将采集到的图像传输给所述微控制器。
所述后端服务器,用于接收所述前端处理装置传来的图像,并检测接收图像中的目标,计算目标的二维尺寸信息,并将结果通过网络传输给所述的前端处理装置。所述后端服务器中的图形处理器(GPU)用于加速Mask R-CNN中神经网络的计算过程。
后端服务器接收图像后,具体进行以下处理:首先,将接收到的图像输入预先训练好的Mask R-CNN网络进行目标检测,检测出图像中所有的目标;然后,提取所有目标的轮廓特征,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸;最后,根据照相机成像原理和相似三角形理论,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比;已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距,计算图像的实际尺寸,已知摄像头分辨率,进而计算图像中每一个像素点的实际尺寸,再结合所述目标的二维像素尺寸,计算目标的实际二维尺寸。
前端处理装置与后端服务器之间的网络通信为Socket通信方式。
上述已经对本发明提出的基于深度学习的目标尺寸测量系统进行了介绍,下面以图2所示的测量方法流程框图,并结合图1所示的测量系统结构示意图,对本发明实施例提供的基于深度学习的目标尺寸测量方法进行说明。
请参阅图2所示,本发明提供一种基于深度学习的目标尺寸测量方法,主要包括如下步骤:
S101:制作针对待测量目标的数据集。
S102:在后端服务器上,使用所述数据集中的训练集训练针对待测量目标的MaskR-CNN目标检测网络。
S103:摄像头拍摄待测量目标,获取一帧待测量目标的图像,并将图像传输到微控制器。
S104:微控制器接收所述图像,并将所述图像通过网络传输到后端服务器。
S105:后端服务器接收所述图像,将所述图像输入S102中训练好的Mask R-CNN网络进行目标检测,检测出所述图像中所有的目标,获取所述图像中所有目标的位置信息和类别信息。
S106:在后端服务器上,根据所述目标的位置信息提取目标的轮廓,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸。
S107:在后端服务器上,计算图像中每一个像素点的实际尺寸,再结合所述S106中所述目标的二维像素尺寸,计算目标的实际二维尺寸。后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置。
S108:前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果,在S103所述图像上标出目标的最小外接矩形,并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息,将结果图像在前端处理装置的显示器上进行显示。目标尺寸测量的结果图像如图3所示。
在本实施例中,进一步的,在所述S101中所述数据集包含3000张待测量目标的图片,其中,训练集包含2000张待测量目标的图片,测试集包含1000张待测量目标的图片。
在本实施例中,进一步的,在所述S101中制作数据集还包括以下步骤,首先,使用Labelme工具对所述数据集中所有图片进行标注,每一幅图片标注完成后会生成一个扩展名为.json的标注文件,所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息;然后,分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件;最后,将训练集和测试集中所有图片和标注文件按照COCO数据集格式进行组织。
在本实施例中,进一步的,在所述S102中Mask R-CNN目标检测网络中的特征提取网络使用Resnet101。
在本实施例中,进一步的,在所述S105的Mask R-CNN网络检测结果中,每一个被检测到的目标对应一幅二值图像,二值图像尺寸与所述Mask R-CNN网络输入图像尺寸相同,目标所在的像素区域像素值为255,其它像素区域像素值为0。像素值为255的区域描述了目标的位置信息。
在本实施例中,进一步的,在所述S106中提取目标轮廓的算法如下。
用f(i,j)表示二值图像中坐标为(i,j)点的像素值;从上到下、从左向右扫描图像中每一个像素点,如果f(i,j)=0且f(i,j+1)=255,或f(i,j-1)=255且f(i,j)=0,或f(i,j)=0且f(i+1,j)=255,或f(i-1,j)=255且f(i,j)=0,则f(i,j)是目标的轮廓点。获取图像上目标的所有轮廓点,并进行标记,则获得了目标轮廓。
在本实施例中,进一步的,在所述S106中计算目标轮廓最小外接矩形的算法如下。
首先,分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值,以水平方向和垂直方向上坐标的最小值为A点坐标,以水平方向和垂直方向上坐标的最大值为B点坐标,绘制以A点和B点为对角线两个顶点的矩形,得到目标轮廓的外接矩形S,并计算所述外接矩形S的面积;
然后,在90度范围内将目标轮廓以所述外接矩形S的中心点为中心,按照θ角度顺时针等间隔旋转,获取所有旋转后的目标轮廓的外接矩形,并计算外接矩形面积,θ值为5度;
最后,从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形,并获取其旋转角度β,将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度,即可获得目标轮廓的最小外接矩形。
在本实施例中,进一步的,在所述S107中,根据照相机成像原理和相似三角形理论可知,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比。已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距,可以计算出图像的实际尺寸;已知摄像头分辨率,进而可以计算出图像中每一个像素点的实际尺寸。
以上所述,仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.基于深度学习的目标尺寸测量方法,其特征在于,包括以下步骤:
S101:制作针对待测量目标的数据集,所述数据集包括训练集;
S102:在后端服务器上,使用所述数据集中的训练集训练针对待测量目标的Mask R-CNN目标检测网络;
S103:摄像头拍摄待测量目标,获取一帧待测量目标的图像,并将图像传输到前端处理装置中的微控制器;
S104:前端处理装置中的微控制器接收所述图像,并将所述图像通过网络传输到后端服务器;
S105:后端服务器接收所述图像,将所述图像输入步骤S102中训练好的Mask R-CNN网络进行目标检测,检测出所述图像中所有的目标,获取所述图像中所有目标的位置信息和类别信息;
S106:在后端服务器上,根据所述目标的位置信息提取目标的轮廓,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸;
S107:在后端服务器上,计算图像中每一个像素点的实际尺寸,再结合所述步骤S106中所述目标的二维像素尺寸,计算目标的实际二维尺寸;后端服务器将目标检测和尺寸测量结果通过网络传输到前端处理装置;
S108:前端处理装置接收后端服务器传来的所述目标检测和尺寸测量结果,在步骤S103所述图像上标出目标的最小外接矩形,并在目标的最小外接矩形旁边标注目标的类别信息和尺寸信息,将结果图像在前端处理装置的显示器上进行显示;
步骤S106中计算目标轮廓最小外接矩形的方法如下:
首先,分别计算目标轮廓在水平方向和垂直方向上坐标的最小值和最大值,以水平方向和垂直方向上坐标的最小值为A点坐标,以水平方向和垂直方向上坐标的最大值为B点坐标,绘制以A点和B点为对角线两个顶点的矩形,得到目标轮廓的外接矩形S,并计算所述外接矩形S的面积;
然后,在90度范围内将目标轮廓以所述外接矩形S的中心点为中心,按照θ角度顺时针等间隔旋转,获取所有旋转后的目标轮廓的外接矩形,并计算外接矩形面积,θ值为5度;
最后,从所有旋转后的目标轮廓的外接矩形中选取面积值最小的外接矩形,并获取其旋转角度β,将所述面积值最小的外接矩形以所述外接矩形S的中心点为中心逆时针旋转β度,获得目标轮廓的最小外接矩形。
2.根据权利要求1所述的基于深度学习的目标尺寸测量方法,其特征在于,步骤S101中,所述数据集包含3000张待测量目标的图片,其中,训练集包含2000张待测量目标的图片,测试集包含1000张待测量目标的图片;
步骤S101中制作数据集包括以下步骤:
首先,使用Labelme工具对所述数据集中所有图片进行标注,每一幅图片标注完成后生成一个扩展名为.json的标注文件,所述的标注文件中包含所对应图片上所有待测量目标的轮廓信息和类别信息;然后,分别将训练集和测试集中所有图片对应的标注文件整合为一个扩展名为.json的标注文件;最后,将训练集和测试集中所有图片和标注文件按照COCO数据集格式进行组织。
3.根据权利要求1所述的基于深度学习的目标尺寸测量方法,其特征在于,步骤S102中Mask R-CNN目标检测网络中的特征提取网络使用Resnet101。
4.根据权利要求1所述的基于深度学习的目标尺寸测量方法,其特征在于,步骤S105的Mask R-CNN网络检测结果中,每一个被检测到的目标对应一幅二值图像,二值图像尺寸与所述Mask R-CNN网络输入图像尺寸相同,目标所在的像素区域像素值为255,其它像素区域像素值为0;像素值为255的区域描述了目标物体的位置信息。
5.根据权利要求1所述的基于深度学习的目标尺寸测量方法,其特征在于,步骤S106中提取目标轮廓的方法如下:
用f(i,j)表示二值图像中坐标为(i,j)点的像素值;从上到下、从左向右扫描图像中每一个像素点,如果f(i,j)=0且f(i,j+1)=255,或f(i,j-1)=255且f(i,j)=0,或f(i,j)=0且f(i+1,j)=255,或f(i-1,j)=255且f(i,j)=0,则f(i,j)是目标的轮廓点;获取图像上目标的所有轮廓点,并进行标记,获得了目标轮廓。
6.根据权利要求1所述的基于深度学习的目标尺寸测量方法,其特征在于,步骤S107中,根据照相机成像原理和相似三角形理论,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比;已知摄像头感光元件尺寸、镜头焦距和目标物体到摄像头的物距,计算出图像的实际尺寸;已知摄像头分辨率,进而计算出图像中每一个像素点的实际尺寸。
7.一种用于权利要求1~6任一项所述的基于深度学习的目标尺寸测量方法的系统,其特征在于,由前端处理装置和后端服务器组成;
所述前端处理装置包括微控制器、摄像头、输入设备和显示器;
所述后端服务器含有图形处理器,所述前端处理装置通过网络与所述后端服务器连接;
所述前端处理装置中,所述微控制器与所述摄像头、所述输入设备和所述显示器连接;所述微控制器用于控制所述摄像头采集待测量目标的图像,接收所述摄像头传来的图像,并将所述摄像头传来的图像通过网络传输给所述后端服务器;同时,所述微控制器用于接收所述后端服务器传来的目标尺寸测量结果,并将测量结果在所述显示器上显示;所述摄像头用于采集待测量目标的图像,并将采集到的图像传输给所述微控制器;
所述后端服务器,用于接收所述前端处理装置传来的图像,并检测接收图像中的目标,计算目标的二维尺寸信息,并将结果通过网络传输给所述的前端处理装置。
8.根据权利要求7所述的系统,其特征在于,前端处理装置与后端服务器之间的网络通信为Socket通信方式。
9.根据权利要求7所述的系统,其特征在于,所述后端服务器接收图像后:
首先,将接收到的图像输入预先训练好的Mask R-CNN网络进行目标检测,检测出图像中所有的目标;
然后,提取所有目标的轮廓特征,计算每一个目标轮廓的最小外接矩形,进而计算每一个最小外接矩形的像素尺寸,最小外接矩形的像素尺寸代表了目标的二维像素尺寸;
最后,根据照相机成像原理和相似三角形理论,摄像头镜头焦距与目标到摄像头的物距之比等于摄像头感光元件尺寸与图像实际尺寸之比;已知摄像头感光元件尺寸、镜头焦距和目标到摄像头的物距,计算图像的实际尺寸,已知摄像头分辨率,进而计算图像中每一个像素点的实际尺寸,再结合所述目标的二维像素尺寸,计算目标的实际二维尺寸。
CN201910438296.8A 2019-05-24 2019-05-24 基于深度学习的目标尺寸测量方法及系统 Active CN110246124B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910438296.8A CN110246124B (zh) 2019-05-24 2019-05-24 基于深度学习的目标尺寸测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910438296.8A CN110246124B (zh) 2019-05-24 2019-05-24 基于深度学习的目标尺寸测量方法及系统

Publications (2)

Publication Number Publication Date
CN110246124A CN110246124A (zh) 2019-09-17
CN110246124B true CN110246124B (zh) 2021-05-28

Family

ID=67885033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910438296.8A Active CN110246124B (zh) 2019-05-24 2019-05-24 基于深度学习的目标尺寸测量方法及系统

Country Status (1)

Country Link
CN (1) CN110246124B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149658B (zh) * 2020-11-26 2021-03-26 科大讯飞(苏州)科技有限公司 目标物尺寸确定方法、系统、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
CN106312692A (zh) * 2016-11-02 2017-01-11 哈尔滨理工大学 基于最小外接矩形的刀具磨损检测方法
CN109405736A (zh) * 2018-10-09 2019-03-01 东莞市北井光控科技有限公司 半导体ic元器件尺寸测量方法、装置及终端设备

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5465594B2 (ja) * 2010-05-06 2014-04-09 株式会社野村総合研究所 対象物検出サイズ算出システムおよび対象物検出サイズ算出プログラム
JP6325902B2 (ja) * 2014-05-30 2018-05-16 山田電器工業株式会社 寸法計測方法、カメラ付き電子機器、および、カメラ付き電子機器用プログラム
CN106152947B (zh) * 2015-03-31 2019-11-29 北京京东尚科信息技术有限公司 测量物体尺寸的设备、方法和装置
CN106127749A (zh) * 2016-06-16 2016-11-16 华南理工大学 基于视觉注意机制的目标零件识别方法
CN109029203A (zh) * 2018-08-31 2018-12-18 昆明理工大学 一种基于数字图像处理的半自动测量物体尺寸装置
CN109730683A (zh) * 2018-12-21 2019-05-10 重庆金山医疗器械有限公司 内窥镜目标物大小计算方法及分析系统
CN109472822A (zh) * 2018-12-29 2019-03-15 上海大学 基于深度图像处理的物体尺寸测量方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
CN106312692A (zh) * 2016-11-02 2017-01-11 哈尔滨理工大学 基于最小外接矩形的刀具磨损检测方法
CN109405736A (zh) * 2018-10-09 2019-03-01 东莞市北井光控科技有限公司 半导体ic元器件尺寸测量方法、装置及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于视觉技术的零件尺寸测量系统的研究";周春兰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170430(第04期);全文 *

Also Published As

Publication number Publication date
CN110246124A (zh) 2019-09-17

Similar Documents

Publication Publication Date Title
CN101697233B (zh) 一种基于结构光的三维物体表面重建方法
TWI419081B (zh) 提供擴增實境的標籤追蹤方法、系統與電腦程式產品
CN107223269B (zh) 三维场景定位方法和装置
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP2011238228A (ja) スクリーン領域検知方法及びシステム
US9230330B2 (en) Three dimensional sensing method and three dimensional sensing apparatus
CN103954213B (zh) 一种分析零件的实测图的方法
JP2004213332A (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具
CN104766309A (zh) 一种平面特征点导航定位方法与装置
CN110246124B (zh) 基于深度学习的目标尺寸测量方法及系统
CN105701828A (zh) 一种图像处理方法和装置
CN109458991A (zh) 一种基于机器视觉的结构位移和转角的监测方法
CN111783820A (zh) 图像标注方法和装置
Yang et al. Auto-recognition Method for Pointer-type Meter Based on Binocular Vision.
CN106971408A (zh) 一种基于时空转换思想的摄像机标定方法
CN105758337B (zh) 一种获取透镜平面与图像传感器平面之间夹角的方法
CN106441234B (zh) 一种3d机器视觉空间检测标定方法
US10430967B2 (en) Information processing apparatus, method, and program
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN109993793B (zh) 视觉定位方法及装置
JP2017003525A (ja) 三次元計測装置
CN110705433A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
CN108362205B (zh) 基于条纹投影的空间测距方法
TWI636425B (zh) 介面運作方法及其手持裝置
CN111985266A (zh) 尺度图确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant