CN112884880A - 一种基于线激光的蜜柚三维建模装置和方法 - Google Patents

一种基于线激光的蜜柚三维建模装置和方法 Download PDF

Info

Publication number
CN112884880A
CN112884880A CN202110073583.0A CN202110073583A CN112884880A CN 112884880 A CN112884880 A CN 112884880A CN 202110073583 A CN202110073583 A CN 202110073583A CN 112884880 A CN112884880 A CN 112884880A
Authority
CN
China
Prior art keywords
camera
laser
coordinate system
circumferential
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110073583.0A
Other languages
English (en)
Other versions
CN112884880B (zh
Inventor
饶秀勤
林洋洋
朱逸航
应义斌
徐惠荣
沈昊阳
耿金凤
张小敏
张延宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Original Assignee
Zhejiang University ZJU
Huanan Industrial Technology Research Institute of Zhejiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU, Huanan Industrial Technology Research Institute of Zhejiang University filed Critical Zhejiang University ZJU
Priority to CN202110073583.0A priority Critical patent/CN112884880B/zh
Publication of CN112884880A publication Critical patent/CN112884880A/zh
Application granted granted Critical
Publication of CN112884880B publication Critical patent/CN112884880B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种基于线激光的蜜柚三维建模装置和方法。本发明的装置包括激光发射部分、图像采集部分和水平圆形蜜柚平台。方法包括以下步骤：1)蜜柚激光线条的获取，2)蜜柚周向激光线条的世界坐标获取，3)蜜柚顶部激光线条的世界坐标获取，4)蜜柚底部激光线条的获取，5)蜜柚水平等间隔纬线的获取，主要由蜜柚周向激光线条、蜜柚顶部激光线条、蜜柚底部激光线条和蜜柚水平等间隔纬线组成蜜柚的三维模型。本发明可快速高效地获取蜜柚三维重建模型，应用于与蜜柚形状较为类似水果的三维重建，同时该方法装置较为简便，成本低，能够在实际水果生产分级生产线中进行应用。

Description

一种基于线激光的蜜柚三维建模装置和方法
技术领域
本发明涉及一种蜜柚图像处理的三维建模方法，尤其是涉及一种基于线激光的蜜柚三维建模装置和方法。
背景技术
我国是世界上柚种植面积最大的国家，产量居世界第一。对蜜柚进行品质分级有利于提升蜜柚商品化品质，促进蜜柚流通中按质论价、优质优价。蜜柚体积是蜜柚分级的重要依据(黄日升，朱东煌，林锦星，沈虹，李健.琯溪蜜柚果实分级标准研究[J].中国南方果树，2015,44(3):28-34.)，常规的排水法检测蜜柚体积不适用于生产现场，采用机器视觉技术通过三维重建测量体积具有非接触且快速无损等优势，具有重要的实际应用价值。
Khojastehnazhand等(2009)(Khojastehnazhand M,Omid M,TabatabaeefarA.Determination of orange volume and surface area using image processingtechnique.International Agrophysics,2009,23:237–242.)将柑橘视作椭球体，利用积分法来测估柑橘果实体积，Savan Dhameliya等(2016)(Dhameliya S,Kakadiya J,SavantR.Volume Estimation of Mango.International Journal of ComputerApplications.2016,143(12),11-16.)以芒果为研究对象也进行了积分法测量体积。Gokul等(2015)(Gokul,P R,Raj S,Suriyamoorthi P.Estimation of volume and maturity ofsweet lime fruit using image processing algorithm.International Conference onCommunications and Signal Processing(ICCSP),April 2-4,2015,1227–1229.)将甜橙视作标准球体，由二维图像处理计算体积。上述方法在利用机器视觉技术求取体积时，均将水果外形简化为标准简单几何体，与实际情况差异较大，无法准确预估体积。
许丽佳等(2013)(许丽佳.基于计算机视觉的水果体积测量方法[P].中国专利：CN103307979 A，2013.09.18)公开了一种利用水果三视图重建出三维散点图，通过拟合像素数与水果体积的关系来测量同类其他水果体积，但针孔相机原理获取的三视角图像并不是基于垂直投影的几何三视图。应义斌等(应义斌，朱蓓，饶秀勤.用于球状水果无冗余图像信息获取的方法和装置[P].CN103234905 A，2013.08.07)利用十字激光标线器对球状水果进行了图像拼接，饶秀勤等(饶秀勤，林文彬，应义斌.一种基于斑点提取与邻近点向量法的水果图像匹配方法[P].中国专利：CN 104036492 A，2014.09.10)以水果表面斑点为特征匹配点对水果进行了图像拼接，此两种方法能够快速拼接二维图像，但未得到三维信息。
近年来，随着三维重建技术以及消费级图像采集设备的发展，有学者利用生成水果全表面点云的方式进行三维重建测量水果尺寸或体积：Yawe等(2020)(Yawei,W,YifeiC.Fruit Morphological Measurement Based on Three-DimensionalReconstruction.Agronomy，2020,10,455)将梨置于旋转台上，利用9张图片得到了梨的三维点云图，并计算了其三维尺寸。但是该方法存在匹配点计算量大，点云数量多等困难，耗时长，不适于生产现场。此外，蜜柚表面较为光滑无明显特征点可用来进行信息匹配。
综上可知，现有的水果三维建模方法存在匹配速度低及精度低等问题。
发明内容
为了解决背景技术中存在的问题和需求，本发明提供了一种基于线激光的蜜柚三维建模装置和方法。
本发明的技术方案如下：
一、一种基于线激光的蜜柚三维建模装置
装置包括三个线激光器、水平圆形蜜柚平台、三个周向相机、蜜柚和一个顶部俯视相机；
顶部俯视相机安装于水平圆形蜜柚平台的圆心正上方，顶部俯视相机光轴与水平圆形蜜柚平台轴心线同轴；蜜柚放置在水平圆形蜜柚平台圆心上，三个线激光器和三个周向相机在蜜柚周围的水平圆形蜜柚平台上沿圆周间隔交替布置，使得每两个相邻线激光器之间的圆心角中线上布置一个周向相机，且每两个相邻周向相机之间的圆心角中线上布置一个线激光器，三个线激光器所在圆周的直径等于三个周向相机所在圆周的直径的两倍，各个线激光器和周向相机均水平朝向蜜柚，各个线激光器的线激光轴线和各个周向相机的光轴均与水平圆形蜜柚平台轴心线相交。
二、应用于蜜柚三维建模装置的一种基于线激光的蜜柚三维建模方法
方法包括以下步骤：
1)蜜柚激光线条的获取；
2)蜜柚周向激光线条的世界坐标获取；
3)蜜柚顶部激光线条的世界坐标获取；
4)蜜柚底部激光线条的获取；
5)蜜柚水平等间隔纬线的获取，主要由蜜柚周向激光线条、蜜柚顶部激光线条、蜜柚底部激光线条和蜜柚水平等间隔纬线组成蜜柚的三维模型。
所述步骤1)包括以下步骤：
1.1)初始图像的获取：将蜜柚放置在水平圆形蜜柚平台圆心处，三个线激光器同时开启，在蜜柚的表面显示三条激光条纹，顶部俯视相机及三个周向相机同时拍摄含有三条激光条纹的蜜柚，分别获得俯视原图和三张周向原图，俯视原图和三张周向原图作为初始图像；
1.2)二值化图像的获取：分别提取俯视原图和三张周向原图的R通道分量图后利用阈值法进行图像分割，分别得到二值化俯视激光条纹图和三张二值化周向激光条纹图，二值化俯视激光条纹图和三张二值化周向激光条纹图作为二值化图像；
1.3)激光线条的提取：对获取的二值化俯视激光条纹图和三张二值化周向激光条纹图分别依次进行中值滤波平滑、开运算处理，分别得到俯视激光线条图和三张周向激光线条图。
所述步骤2)包括以下步骤：
2.1)相机空间坐标系建立：
选取一个周向相机，记为相机C；建立相机C的相机空间坐标系，相机空间坐标系的坐标原点为相机C的光心，相机空间坐标系的ZC轴为相机C的光轴指向水平圆形蜜柚平台轴心线的方向，相机空间坐标系的XC轴为垂直于ZC轴且指向沿逆时针方向与相机C相邻的线激光器的方向，XC轴与ZC轴组成的平面平行于水平圆形蜜柚平台，相机空间坐标系的YC轴由左手坐标系确定；
2.2)图像坐标系建立：以相机C的成像图像的中心为原点，以平行于相机C的相机空间坐标系的XC轴为x轴，以平行于相机C的相机空间坐标系的YC轴为y轴，建立图像坐标系；
2.3)对另外两个周向相机重复步骤2.1)至步骤2.2)，分别建立三个周向相机对应的相机空间坐标系与图像坐标系，然后分别提取三个周向相机各自拍得的周向激光线条图中激光线条上的各点在对应图像坐标系中的坐标，并将坐标作为各自图像坐标系的周向图像坐标；
2.4)相机标定：任意选取2个周向相机作为一组双目空间相机，沿逆时针方向，第一个周向相机作为左目空间相机CL，第二个周向相机作为右目空间相机CR，利用黑白棋盘格对双目空间相机进行双目标定，分别获取左目空间相机CL的相机空间坐标系与右目空间相机CR的相机空间坐标系之间的旋转矩阵与平移矩阵以及左目空间相机CL和右目空间相机CR自身的内参矩阵；
2.5)重复步骤2.4)进行相机标定，获取另外两组双目空间相机的旋转矩阵与平移矩阵和另外一个周向相机自身的内参矩阵；
2.6)相机空间坐标恢复：选取一个周向相机记为相机C，选取沿逆时针方向与相机C相邻的线激光器，记为激光器L，p(xi，yi)是相机C的图像坐标系上的一个周向图像坐标，P(XCi，YCi，ZCi)是周向图像坐标p(xi，yi)在相机C的相机空间坐标系中的坐标，根据相机C的成像模型及三角测量获得公式(1)和(2)：
Figure BDA0002906790350000041
Figure BDA0002906790350000042
Figure BDA0002906790350000043
由公式(1)和(2)恢复出周向图像坐标p(xi，yi)在相机C的相机空间坐标系的坐标P(XCi，YCi，ZCi)为：
Figure BDA0002906790350000044
其中，r为相机C距离水平圆形蜜柚平台圆心的径向距离，d表示相机C与激光器L间的水平距离，α表示激光器L所对应的激光线在XCOZC面的投影线与XC轴间的夹角，zp为成像平面到光心O的距离；
2.7)利用公式(3)得到相机C拍摄的周向激光线条图中各点的周向图像坐标在相机C的相机空间坐标系中对应的坐标；
2.8)对另外2个周向相机重复步骤2.6)至步骤2.7)，分别得到周向激光线条图中各点的周向图像坐标在对应的相机空间坐标系中的坐标；
2.9)世界坐标系建立：任意选取1个周向相机，记为相机CW，世界坐标系建立在相机CW上，世界坐标系与相机CW自身的相机空间坐标系完全重合；
2.10)依据步骤2.4)至步骤2.5)标定的旋转矩阵和平移矩阵分别将相机CW的左边的周向相机和右边的周向相机的相机空间坐标系的坐标点变换至相机CW的相机空间坐标系下；
2.11)将相机CW的相机空间坐标系坐标点变换至世界坐标系中，获得三条蜜柚周向激光线条在世界坐标系中的坐标。
所述步骤3)包括以下步骤：
3.1)相机空间坐标系建立：建立顶部俯视相机的相机空间坐标系，相机空间坐标系的坐标原点为顶部俯视相机的光心，相机空间坐标系的ZC轴为顶部俯视相机的光轴指向水平圆形蜜柚平台轴心线的方向，相机空间坐标系的XC轴、YC轴与ZC轴两两垂直且XC轴与YC轴组成的平面与水平圆形蜜柚平台平行，建立左手坐标系；
3.2)图像坐标系建立：以顶部俯视相机的成像图像的中心为原点，以平行于顶部俯视相机的相机空间坐标系的XC轴为x轴，以平行于顶部俯视相机的相机空间坐标系的YC轴为y轴，建立图像坐标系，然后提取俯视激光线条图中三条激光线上各点在顶部俯视相机的图像坐标系中的坐标并作为俯视图像坐标；
3.3)相机标定：选取顶部俯视相机与相机CW作为一组双目空间相机，利用黑白棋盘格对双目空间相机进行双目标定，分别获取顶部俯视相机的相机空间坐标系变换至相机CW的相机空间坐标系的旋转矩阵与平移矩阵和顶部俯视相机自身的内参矩阵；
3.4)选取俯视激光线条图中的一条激光线，记为激光线j；q(xj，yj)是俯视激光线条图的一个俯视图像坐标，Q(XCj，YCj，ZCj)是俯视图像坐标q(xj，yj)是在顶部俯视相机的相机空间坐标系中的坐标，根据成像模型和几何关系获得公式(4)和公式(5)：
Figure BDA0002906790350000051
Figure BDA0002906790350000052
通过公式(4)与公式(5)恢复出俯视图像坐标q(xj，yj)在顶部俯视相机的相机空间坐标系的坐标Q(XCj，YCj，ZCj)为：
Figure BDA0002906790350000053
其中，激光线j所对应的线激光器在顶部俯视相机的相机空间坐标系中与YC轴的距离为DX，激光线j所对应线激光器在顶部俯视相机的相机空间坐标系中与XC轴的距离为DY，激光线j所对应的线激光器的线激光轴线与顶部俯视相机的相机空间坐标系的YC轴夹角为β，成像平面到光心O的距离zq由顶部俯视相机自身的内参矩阵获得；
3.5)利用公式(6)得到俯视激光线条图中激光线j上的俯视图像坐标在顶部俯视相机的相机空间坐标系中对应的坐标；
3.6)利用步骤3.3)标定的旋转矩阵和平移矩阵将顶部俯视相机的相机空间坐标系坐标变换至相机CW的相机空间坐标系下；
3.7)对俯视激光线条图中的另外两条激光线重复步骤3.3)至步骤3.5)，将另外两条激光线在顶部俯视相机的相机空间坐标系的坐标变换至相机CW的相机空间坐标系下；
3.8)将相机CW的相机空间坐标系坐标点变换至世界坐标系中获得三条蜜柚顶部激光线条的世界坐标。
所述步骤4)具体为：
运用椭圆拟合法分别对三条蜜柚周向激光线条进行椭圆拟合，获得对应的拟合椭圆线，仅保留拟合椭圆线中纵坐标值小于对应蜜柚周向激光线条的最小纵坐标值min(YWi)且与对应蜜柚周向激光线条组成半个拟合椭圆的拟合椭圆线，i＝1，2，3，i表示第i条柚周向激光线条，将三条保留的拟合椭圆线作为三条底部激光线条，并保存三条底部激光线条在世界坐标系中的坐标。
所述步骤5)具体为：
沿着YW轴进行等间隔均分获得多个均分点，连接三条蜜柚周向激光线条或三条底部激光线条上与每个均分点的YW轴坐标相同的点，获得多条水平等间隔纬线，主要由蜜柚周向激光线条、蜜柚顶部激光线条、蜜柚底部激光线条和蜜柚水平等间隔纬线组成蜜柚的三维模型。
本发明的有益效果为：
本发明可以应用于实现与蜜柚形状较为类似水果的三维重建，突破了传统排水法耗时耗力及将水果视为标准球体精度低，基于表面特征点匹配耗时较长的局限性。同时该方法装置较为简便，成本低，能够在实际水果生产分级生产线中进行应用。
附图说明
图1是本发明图像采集装置图。
图2是本发明相机C1采集的周向原图。
图3是本发明相机C2采集的周向原图。
图4是本发明相机C3采集的周向原图。
图5是本发明相机C4采集的俯视原图。
图6是本发明图2阈值分割后的二值化周向激光条纹图。
图7是本发明图3阈值分割后的二值化周向激光条纹图。
图8是本发明图4阈值分割后的二值化周向激光条纹图。
图9是本发明图5阈值分割后的二值化俯视激光条纹图。
图10是本发明图6中提取的周向激光线条图。
图11是本发明图7中提取的周向激光线条图。
图12是本发明图8中提取的周向激光线条图。
图13是本发明图9中提取的俯视激光线条图。
图14是本发明周向相机几何关系原理图。
图15是本发明顶部俯视相机几何关系原理图。
图16是本发明器件在水平圆形蜜柚平台上的投影。
图17是本发明蜜柚三维线框示意图。
图中：1、线激光器，2、水平圆形蜜柚平台，3、周向相机，4、蜜柚，5、顶部俯视相机，6、蜜柚底部激光线条，7、蜜柚周向激光线条，8、蜜柚顶部激光线条，9、蜜柚水平等间隔纬线。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。
本发明的实施例如下：
如图1所示，本发明的装置包括三个线激光器1、水平圆形蜜柚平台2、三个周向相机3、蜜柚4和一个顶部俯视相机5；
顶部俯视相机5安装于水平圆形蜜柚平台2的圆心正上方，顶部俯视相机5光轴与水平圆形蜜柚平台2轴心线同轴；蜜柚4放置在水平圆形蜜柚平台2圆心上，三个线激光器1和三个周向相机3在蜜柚4周围的水平圆形蜜柚平台2上沿圆周间隔交替布置，使得每两个相邻线激光器1之间的圆心角中线上布置一个周向相机3，且每两个相邻周向相机3之间的圆心角中线上布置一个线激光器1，三个线激光器1所在圆周的直径等于三个周向相机3所在圆周的直径的两倍，各个线激光器1和周向相机3均水平朝向蜜柚4，各个线激光器1的线激光轴线和各个周向相机3的光轴均与水平圆形蜜柚平台2轴心线相交。
本发明的方法包括以下步骤：
在本实施例中，顶部俯视相机5及3个周向相机3均采用A7200CG30的CMOS彩色相机，镜头焦距均为12mm；3个线激光器1均为波长635nm、功率120mw的可调焦距一字可见线激光。
1)蜜柚激光线条的获取：
步骤1)包括以下步骤：
1.1)初始图像的获取：如图1所示，将蜜柚4放置在水平圆形蜜柚平台2圆心处，三个线激光器1同时开启，在蜜柚4的表面显示三条激光条纹，三条激光条纹为三个线激光与蜜柚4的表面的相交线，三条激光条纹呈夹角布置在蜜柚4表面，顶部俯视相机5及三个周向相机3同时拍摄含有三条激光条纹的蜜柚，分别获得俯视原图(图5)和三张周向原图(图2、图3、图4)，俯视原图和周向原图的分辨率均为1920×1200像素，俯视原图和三张周向原图作为初始图像；
1.2)二值化图像的获取：分别提取俯视原图和三张周向原图的R通道分量图后利用二值化阈值法进行图像分割，分别得到二值化俯视激光条纹图(图9)和三张二值化周向激光条纹图(图6、图7、图8)，二值化俯视激光条纹图和三张二值化周向激光条纹图作为二值化图像；
1.3)激光线条的提取：对获取的二值化俯视激光条纹图和三张二值化周向激光条纹图分别依次进行中值滤波平滑、开运算处理，分别得到俯视激光线条图(图13)和三张周向激光线条图(图10、图11、图12)。
2)蜜柚周向激光线条7的世界坐标获取；
步骤2)包括以下步骤：
2.1)相机空间坐标系建立：
如图14所示，选取一个周向相机3，记为相机C；建立相机C的相机空间坐标系，相机空间坐标系的坐标原点为相机C的光心，相机空间坐标系的ZC轴为相机C的光轴指向水平圆形蜜柚平台2轴心线的方向，相机空间坐标系的XC轴为垂直于ZC轴且指向沿逆时针方向与相机C相邻的线激光器1的方向，XC轴与ZC轴组成的平面平行于水平圆形蜜柚平台2，相机空间坐标系的YC轴由左手坐标系确定；
2.2)如图14所示，图像坐标系建立：以相机C的成像图像的中心为原点，以平行于相机C的相机空间坐标系的XC轴为x轴，以平行于相机C的相机空间坐标系的YC轴为y轴，建立图像坐标系；
2.3)对另外两个周向相机3重复步骤2.1)至步骤2.2)，分别建立三个周向相机3对应的相机空间坐标系与图像坐标系，然后分别提取三个周向相机3各自拍得的周向激光线条图中激光线条上的各点在对应图像坐标系中的坐标，并将坐标作为各自图像坐标系的周向图像坐标；
2.4)相机标定：任意选取2个周向相机3作为一组双目空间相机，沿逆时针方向，第一个周向相机3作为左目空间相机CL，第二个周向相机3作为右目空间相机CR，利用黑白棋盘格对双目空间相机进行双目标定，黑白棋盘格为角点数12×11，方格边长7mm，分别获取左目空间相机CL的相机空间坐标系与右目空间相机CR的相机空间坐标系之间的旋转矩阵与平移矩阵以及左目空间相机CL，和右目空间相机CR自身的内参矩阵；
2.5)重复步骤2.4)进行相机标定，获取另外两组双目空间相机的旋转矩阵与平移矩阵和另外一个周向相机3自身的内参矩阵；
2.6)相机空间坐标恢复：如图14和16所示，选取一个周向相机3记为相机C，选取沿逆时针方向与相机C相邻的线激光器1，记为激光器L，p(xi，yi)是相机C的图像坐标系上的一个周向图像坐标，P(XCi，YCi，ZCi)是周向图像坐标p(xi，yi)在相机C的相机空间坐标系中的坐标，根据相机C的成像模型及三角测量获得公式(1)和(2)，相机C的成像模型由相机C自身确定：
Figure BDA0002906790350000091
Figure BDA0002906790350000092
Figure BDA0002906790350000093
由公式(1)和(2)恢复出周向图像坐标p(xi，yi)在相机C的相机空间坐标系的坐标P(XCi，YCi，ZCi)为：
Figure BDA0002906790350000094
其中，r为相机C距离水平圆形蜜柚平台2圆心的径向距离，d表示相机C与激光器L间的水平距离，α表示激光器L所对应的激光线在XCOZC面的投影线与XC轴间的夹角，zp为成像平面到光心O的距离，成像平面到光心O的距离由步骤2.4)及步骤2.5)中获得的相机C的内参矩阵确定，成像平面为成像图像所在的平面；
2.7)利用公式(3)得到相机C拍摄的周向激光线条图中各点的坐标在相机C的相机空间坐标系中对应的坐标；
2.8)对另外2个周向相机3重复步骤2.6)至步骤2.7)，分别得到周向激光线条图中各点的坐标在对应的相机空间坐标系中的坐标；
2.9)世界坐标系建立：任意选取1个周向相机3，记为相机CW，世界坐标系建立在相机CW上，世界坐标系与相机CW自身的相机空间坐标系完全重合，世界坐标系的坐标原点与相机CW的相机空间坐标系原点重合，世界坐标系的ZW轴与ZC轴同向，世界坐标系的XW与XC轴同向，世界坐标系的YW与YC轴同向；
2.10)依据步骤2.4)至步骤2.5)标定的旋转矩阵和平移矩阵分别将相机CW的左边的周向相机3和右边的周向相机3的相机空间坐标系的坐标点变换至相机CW的相机空间坐标系下；
2.11)将相机CW的相机空间坐标系坐标点变换至世界坐标系中，获得三条蜜柚周向激光线条7在世界坐标系中的坐标。
3)蜜柚顶部激光线条8的世界坐标获取；
步骤3)包括以下步骤：
3.1)相机空间坐标系建立：建立顶部俯视相机5的相机空间坐标系，相机空间坐标系的坐标原点为顶部俯视相机5的光心，相机空间坐标系的ZC轴为顶部俯视相机5的光轴指向水平圆形蜜柚平台2轴心线的方向，相机空间坐标系的XC轴、YC轴与ZC轴两两垂直且XC轴与YC轴组成的平面与水平圆形蜜柚平台2平行，建立左手坐标系；
3.2)图像坐标系建立：以顶部俯视相机5的成像图像的中心为原点，以平行于顶部俯视相机5的相机空间坐标系的XC轴为x轴，以平行于顶部俯视相机5的相机空间坐标系的YC轴为y轴，建立图像坐标系，然后提取俯视激光线条图中三条激光线上各点在顶部俯视相机5的图像坐标系中的坐标并作为俯视图像坐标；
3.3)相机标定：选取顶部俯视相机5与相机CW作为一组双目世界相机，利用黑白棋盘格对双目世界相机进行双目标定，黑白棋盘格为角点数12×11，方格边长7mm，分别获取顶部俯视相机5的相机空间坐标系变换至相机CW的相机空间坐标系的旋转矩阵与平移矩阵和顶部俯视相机5自身的内参矩阵；
3.4)选取俯视激光线条图(图13)中的一条激光线，记为激光线j；如图15所示，q(xj，yj)是俯视激光线条图(图13)的一个俯视图像坐标，Q(XCj，YCj，ZCj)是俯视图像坐标q(xj，yj)是在顶部俯视相机5的相机空间坐标系中的坐标，根据成像模型和几何关系获得公式(4)和公式(5)：
Figure BDA0002906790350000101
Figure BDA0002906790350000102
通过公式(4)与公式(5)恢复出俯视图像坐标q(xj，yj)在顶部俯视相机5的相机空间坐标系的坐标Q(XCj，YCj，ZCj)为：
Figure BDA0002906790350000103
其中，激光线j所对应的线激光器1在顶部俯视相机5的相机空间坐标系中与YC轴的距离为DX，激光线j所对应线激光器1在顶部俯视相机5的相机空间坐标系中与XC轴的距离为DY，激光线j所对应的线激光器1的线激光轴线与顶部俯视相机5的相机空间坐标系的YC轴夹角为β，成像平面到光心O的距离zq由顶部俯视相机5自身的内参矩阵获得；
3.5)利用公式(6)得到俯视激光线条图中激光线j上的俯视图像坐标在顶部俯视相机5的相机空间坐标系中对应的坐标；
3.6)利用步骤3.3)标定的旋转矩阵和平移矩阵将顶部俯视相机5的相机空间坐标系坐标变换至相机CW的相机空间坐标系下；
3.7)对俯视激光线条图(图13)中的另外两条激光线重复步骤3.3)至步骤3.5)，将另外两条激光线在顶部俯视相机5的相机空间坐标系的坐标变换至相机CW的相机空间坐标系下；
3.8)将相机CW的相机空间坐标系坐标点变换至世界坐标系中获得三条蜜柚顶部激光线条8的世界坐标。
4)蜜柚底部激光线条6的获取；
步骤4)具体为：
运用椭圆拟合法分别对三条蜜柚周向激光线条7进行椭圆拟合，获得对应的拟合椭圆线，仅保留拟合椭圆线中纵坐标值小于对应蜜柚周向激光线条7的最小纵坐标值min(YWi)且与对应蜜柚周向激光线条7组成半个拟合椭圆的拟合椭圆线，即对应蜜柚周向激光线条7正下方的拟合椭圆线作为拟合的底部激光线条，i＝1，2，3，i表示第i条柚周向激光线条7，将三条保留的拟合椭圆线作为三条底部激光线条6，并保存三条底部激光线条6在世界坐标系中的坐标。
5)蜜柚水平等间隔纬线9的获取，主要由蜜柚周向激光线条7、蜜柚顶部激光线条8、蜜柚底部激光线条6和蜜柚水平等间隔纬线9组成蜜柚的三维模型。
步骤5)具体为：
沿着YW轴进行等间隔均分获得多个均分点，连接三条蜜柚周向激光线条7或三条底部激光线条6上与每个均分点的YW轴坐标相同的点，获得多条水平等间隔纬线9，主要由蜜柚周向激光线条7、蜜柚顶部激光线条8、蜜柚底部激光线条6和蜜柚水平等间隔纬线9组成蜜柚的三维模型。
具体实施中，关于步骤2.4)、步骤2.5)及步骤3.3)相机之间的关系及相关参数，对照图16，描述如下：
取3个周向相机3距离水平圆形蜜柚平台2台面垂直高度0.1m，距离水平圆形蜜柚平台2圆心径向距离r＝0.35m，则有
Figure BDA0002906790350000111
将3个周向相机3分别记为相机C1、相机C2与相机C3，顶部俯视相机5记为相机C4，取相机C2为相机CW，相机C4距离水平圆形蜜柚平台2圆心垂直距离0.45m。当左目空间相机CL选取为相机C2、右目空间相机CR选取为相机C1时，得到由相机C1变换至相机C2即相机CW的旋转矩阵R21与平移矩阵t21为：
Figure BDA0002906790350000121
t21＝[211.7985 -13.8134 654.4338] (8)
当左目空间相机CL选取为相机C3、右目空间相机CR选取为相机C2时，得到由相机C3变换至相机C2即相机CW的旋转矩阵R23与平移矩阵t23为：
Figure BDA0002906790350000122
t23＝[-227.1573 -2.2347 -626.6311] (10)
相机C4变换至相机C2即相机CW的旋转矩阵R24与平移矩阵t24为：
Figure BDA0002906790350000123
t24＝[-1.0619 366.3410 367.3759] (12)
依据棋盘格标定获得的内参矩阵得到相机C1下成像平面到光心O的距离z1＝11.3mm，相机C2下成像平面到光心O的距离z2＝11.9mm，相机C3下成像平面到光心O的距离z3＝12.4mm，相机C4下成像平面到光心O的距离z4＝11.5mm。
如图17所示，最终绘制出蜜柚的三维模型示意图。

Claims (7)

1.一种基于线激光的蜜柚三维建模装置，其特征在于：包括三个线激光器(1)、水平圆形蜜柚平台(2)、三个周向相机(3)、蜜柚(4)和一个顶部俯视相机(5)；
顶部俯视相机(5)安装于水平圆形蜜柚平台(2)的圆心正上方，顶部俯视相机(5)光轴与水平圆形蜜柚平台(2)轴心线同轴；蜜柚(4)放置在水平圆形蜜柚平台(2)圆心上，三个线激光器(1)和三个周向相机(3)在蜜柚(4)周围的水平圆形蜜柚平台(2)上沿圆周间隔交替布置，使得每两个相邻线激光器(1)之间的圆心角中线上布置一个周向相机(3)，且每两个相邻周向相机(3)之间的圆心角中线上布置一个线激光器(1)，三个线激光器(1)所在圆周的直径等于三个周向相机(3)所在圆周的直径的两倍，各个线激光器(1)和周向相机(3)均水平朝向蜜柚(4)，各个线激光器(1)的线激光轴线和各个周向相机(3)的光轴均与水平圆形蜜柚平台(2)轴心线相交。
2.应用于权利要求1所述的蜜柚三维建模装置的一种基于线激光的蜜柚三维建模方法，其特征在于：包括以下步骤：
1)蜜柚激光线条的获取；
2)蜜柚周向激光线条(7)的世界坐标获取；
3)蜜柚顶部激光线条(8)的世界坐标获取；
4)蜜柚底部激光线条(6)的获取；
5)蜜柚水平等间隔纬线(9)的获取，主要由蜜柚周向激光线条(7)、蜜柚顶部激光线条(8)、蜜柚底部激光线条(6)和蜜柚水平等间隔纬线(9)组成蜜柚的三维模型。
3.根据权利要求2所述的一种基于线激光的蜜柚三维建模方法，其特征在于：所述步骤1)包括以下步骤：
1.1)初始图像的获取：将蜜柚(4)放置在水平圆形蜜柚平台(2)圆心处，三个线激光器(1)同时开启，在蜜柚(4)的表面显示三条激光条纹，顶部俯视相机(5)及三个周向相机(3)同时拍摄含有三条激光条纹的蜜柚，分别获得俯视原图和三张周向原图，俯视原图和三张周向原图作为初始图像；
1.2)二值化图像的获取：分别提取俯视原图和三张周向原图的R通道分量图后利用阈值法进行图像分割，分别得到二值化俯视激光条纹图和三张二值化周向激光条纹图，二值化俯视激光条纹图和三张二值化周向激光条纹图作为二值化图像；
1.3)激光线条的提取：对获取的二值化俯视激光条纹图和三张二值化周向激光条纹图分别依次进行中值滤波平滑、开运算处理，分别得到俯视激光线条图和三张周向激光线条图。
4.根据权利要求2所述的一种基于线激光的蜜柚三维建模方法，其特征在于：所述步骤2)包括以下步骤：
2.1)相机空间坐标系建立：
选取一个周向相机(3)，记为相机C；建立相机C的相机空间坐标系，相机空间坐标系的坐标原点为相机C的光心，相机空间坐标系的ZC轴为相机C的光轴指向水平圆形蜜柚平台(2)轴心线的方向，相机空间坐标系的XC轴为垂直于ZC轴且指向沿逆时针方向与相机C相邻的线激光器(1)的方向，XC轴与ZC轴组成的平面平行于水平圆形蜜柚平台(2)，相机空间坐标系的YC轴由左手坐标系确定；
2.2)图像坐标系建立：以相机C的成像图像的中心为原点，以平行于相机C的相机空间坐标系的XC轴为x轴，以平行于相机C的相机空间坐标系的YC轴为y轴，建立图像坐标系；
2.3)对另外两个周向相机(3)重复步骤2.1)至步骤2.2)，分别建立三个周向相机(3)对应的相机空间坐标系与图像坐标系，然后分别提取三个周向相机(3)各自拍得的周向激光线条图中激光线条上的各点在对应图像坐标系中的坐标，并将坐标作为各自图像坐标系的周向图像坐标；
2.4)相机标定：任意选取2个周向相机(3)作为一组双目空间相机，沿逆时针方向，第一个周向相机(3)作为左目空间相机CL，第二个周向相机(3)作为右目空间相机CR，利用黑白棋盘格对双目空间相机进行双目标定，分别获取左目空间相机CL的相机空间坐标系与右目空间相机CR的相机空间坐标系之间的旋转矩阵与平移矩阵以及左目空间相机CL和右目空间相机CR自身的内参矩阵；
2.5)重复步骤2.4)进行相机标定，获取另外两组双目空间相机的旋转矩阵与平移矩阵和另外一个周向相机(3)自身的内参矩阵；
2.6)相机空间坐标恢复：选取一个周向相机(3)记为相机C，选取沿逆时针方向与相机C相邻的线激光器(1)，记为激光器L，p(xi，yi)是相机C的图像坐标系上的一个周向图像坐标，P(XCi，YCi，ZCi)是周向图像坐标p(xi，yi)在相机C的相机空间坐标系中的坐标，根据相机C的成像模型及三角测量获得以下公式：
Figure FDA0002906790340000021
Figure FDA0002906790340000031
Figure FDA0002906790340000032
由上述公式恢复出周向图像坐标p(xi，yi)在相机C的相机空间坐标系的坐标P(XCi，YCi，ZCi)为：
Figure FDA0002906790340000033
其中，r为相机C距离水平圆形蜜柚平台(2)圆心的径向距离，d表示相机C与激光器L间的水平距离，α表示激光器L所对应的激光线在XCOZC面的投影线与XC轴间的夹角，zp为成像平面到光心O的距离；
2.7)利用步骤2.6)最终获得的公式得到相机C拍摄的周向激光线条图中各点的周向图像坐标在相机C的相机空间坐标系中对应的坐标；
2.8)对另外2个周向相机(3)重复步骤2.6)至步骤2.7)，分别得到周向激光线条图中各点的周向图像坐标在对应的相机空间坐标系中的坐标；
2.9)世界坐标系建立：任意选取1个周向相机(3)，记为相机CW，世界坐标系建立在相机CW上，世界坐标系与相机CW自身的相机空间坐标系完全重合；
2.10)依据步骤2.4)至步骤2.5)标定的旋转矩阵和平移矩阵分别将相机CW的左边的周向相机(3)和右边的周向相机(3)的相机空间坐标系的坐标点变换至相机CW的相机空间坐标系下；
2.11)将相机CW的相机空间坐标系坐标点变换至世界坐标系中，获得三条蜜柚周向激光线条(7)在世界坐标系中的坐标。
5.根据权利要求2所述的一种基于线激光的蜜柚三维建模方法，其特征在于：所述步骤3)包括以下步骤：
3.1)相机空间坐标系建立：建立顶部俯视相机(5)的相机空间坐标系，相机空间坐标系的坐标原点为顶部俯视相机(5)的光心，相机空间坐标系的ZC轴为顶部俯视相机(5)的光轴指向水平圆形蜜柚平台(2)轴心线的方向，相机空间坐标系的XC轴、YC轴与ZC轴两两垂直且XC轴与YC轴组成的平面与水平圆形蜜柚平台(2)平行，建立左手坐标系；
3.2)图像坐标系建立：以顶部俯视相机(5)的成像图像的中心为原点，以平行于顶部俯视相机(5)的相机空间坐标系的XC轴为x轴，以平行于顶部俯视相机(5)的相机空间坐标系的YC轴为y轴，建立图像坐标系，然后提取俯视激光线条图中三条激光线上各点在顶部俯视相机(5)的图像坐标系中的坐标并作为俯视图像坐标；
3.3)相机标定：选取顶部俯视相机(5)与相机CW作为一组双目空间相机，利用黑白棋盘格对双目空间相机进行双目标定，分别获取顶部俯视相机(5)的相机空间坐标系变换至相机CW的相机空间坐标系的旋转矩阵与平移矩阵和顶部俯视相机(5)自身的内参矩阵；
3.4)选取俯视激光线条图中的一条激光线，记为激光线j；q(xj，yj)是俯视激光线条图的一个俯视图像坐标，Q(XCj，YCj，ZCj)是俯视图像坐标q(xj，yj)是在顶部俯视相机(5)的相机空间坐标系中的坐标，根据成像模型和几何关系获得以下公式：
Figure FDA0002906790340000041
Figure FDA0002906790340000042
通过以上公式恢复出俯视图像坐标q(xj，yj)在顶部俯视相机(5)的相机空间坐标系的坐标Q(XCj，YCj，ZCj)为：
Figure FDA0002906790340000043
其中，激光线j所对应的线激光器(1)在顶部俯视相机(5)的相机空间坐标系中与YC轴的距离为DX，激光线j所对应线激光器(1)在顶部俯视相机(5)的相机空间坐标系中与XC轴的距离为DY，激光线j所对应的线激光器(1)的线激光轴线与顶部俯视相机(5)的相机空间坐标系的YC轴夹角为β，成像平面到光心O的距离zq由顶部俯视相机(5)自身的内参矩阵获得；
3.5)利用步骤3.4)最终获得的公式得到俯视激光线条图中激光线j上的俯视图像坐标在顶部俯视相机(5)的相机空间坐标系中对应的坐标；
3.6)利用步骤3.3)标定的旋转矩阵和平移矩阵将顶部俯视相机(5)的相机空间坐标系坐标变换至相机CW的相机空间坐标系下；
3.7)对俯视激光线条图中的另外两条激光线重复步骤3.3)至步骤3.5)，将另外两条激光线在顶部俯视相机(5)的相机空间坐标系的坐标变换至相机CW的相机空间坐标系下；
3.8)将相机CW的相机空间坐标系坐标点变换至世界坐标系中获得三条蜜柚顶部激光线条(8)的世界坐标。
6.根据权利要求2所述的一种基于线激光的蜜柚三维建模方法，其特征在于：所述步骤4)具体为：
运用椭圆拟合法分别对三条蜜柚周向激光线条(7)进行椭圆拟合，获得对应的拟合椭圆线，仅保留拟合椭圆线中纵坐标值小于对应蜜柚周向激光线条(7)的最小纵坐标值min(YWi)且与对应蜜柚周向激光线条(7)组成半个拟合椭圆的拟合椭圆线，i＝1,2,3，i表示第i条柚周向激光线条(7)，将三条保留的拟合椭圆线作为三条底部激光线条(6)，并保存三条底部激光线条(6)在世界坐标系中的坐标。
7.根据权利要求2所述的一种基于线激光的蜜柚三维建模方法，其特征在于：所述步骤5)具体为：
沿着YW轴进行等间隔均分获得多个均分点，连接三条蜜柚周向激光线条(7)或三条底部激光线条(6)上与每个均分点的YW轴坐标相同的点，获得多条水平等间隔纬线(9)，主要由蜜柚周向激光线条(7)、蜜柚顶部激光线条(8)、蜜柚底部激光线条(6)和蜜柚水平等间隔纬线(9)组成蜜柚的三维模型。
CN202110073583.0A 2021-01-20 2021-01-20 一种基于线激光的蜜柚三维建模装置和方法 Active CN112884880B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110073583.0A CN112884880B (zh) 2021-01-20 2021-01-20 一种基于线激光的蜜柚三维建模装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110073583.0A CN112884880B (zh) 2021-01-20 2021-01-20 一种基于线激光的蜜柚三维建模装置和方法

Publications (2)

Publication Number Publication Date
CN112884880A true CN112884880A (zh) 2021-06-01
CN112884880B CN112884880B (zh) 2022-07-15

Family

ID=76051707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110073583.0A Active CN112884880B (zh) 2021-01-20 2021-01-20 一种基于线激光的蜜柚三维建模装置和方法

Country Status (1)

Country Link
CN (1) CN112884880B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113567453A (zh) * 2021-07-30 2021-10-29 江西绿萌科技控股有限公司 检测系统、方法、计算机设备及计算机可读存储介质
CN114322802A (zh) * 2021-12-30 2022-04-12 苏州中科行智智能科技有限公司 一种基于3d线激光相机的线径测量方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005100910A1 (ja) * 2004-04-09 2005-10-27 Techno Dream 21 Co., Ltd. ３次元形状計測方法及びその装置
US20130135450A1 (en) * 2010-06-23 2013-05-30 The Trustees Of Dartmouth College 3d Scanning Laser Systems And Methods For Determining Surface Geometry Of An Immersed Object In A Transparent Cylindrical Glass Tank
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
US20180306720A1 (en) * 2017-04-25 2018-10-25 Li-Cor, Inc. Top-Down and Rotational Side View Biopsy Specimen Imager and Methods
CN111359892A (zh) * 2020-03-19 2020-07-03 王柄钞 一种基于机器视觉的天宝蜜柚外观检测分级装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005100910A1 (ja) * 2004-04-09 2005-10-27 Techno Dream 21 Co., Ltd. ３次元形状計測方法及びその装置
US20130135450A1 (en) * 2010-06-23 2013-05-30 The Trustees Of Dartmouth College 3d Scanning Laser Systems And Methods For Determining Surface Geometry Of An Immersed Object In A Transparent Cylindrical Glass Tank
US20180306720A1 (en) * 2017-04-25 2018-10-25 Li-Cor, Inc. Top-Down and Rotational Side View Biopsy Specimen Imager and Methods
CN107907048A (zh) * 2017-06-30 2018-04-13 长沙湘计海盾科技有限公司 一种基于线结构光扫描的双目立体视觉三维测量方法
CN111359892A (zh) * 2020-03-19 2020-07-03 王柄钞 一种基于机器视觉的天宝蜜柚外观检测分级装置及其方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
YAWEI WANG 等: "Fruit Morphological Measurement Based on Three-Dimensional Reconstruction", 《AGRONOMY》 *
ZEYU CAI 等: "Measurement of Potato Volume With Laser Triangulation and Three-Dimensional Reconstruction", 《IEEE》 *
张光龙: "基于芒果流水线的智能化检测分级系统研究", 《中国优秀硕士学位论文全文数据库 农业科技辑》 *
张光龙等: "一种基于线激光的水果外形检测方法", 《中国农机化学报》 *
曹鹏等: "基于激光传感器的稻种轮廓形状测量方法研究", 《传感器与微系统》 *
李鹏飞等: "基于线结构光的三维测量系统转轴快速标定方法", 《微型机与应用》 *
耿金凤: "含杂马铃薯中土块和石块的激光背向散射成像检测方法研究", 《中国博士学位论文全文数据库 农业科技辑》 *
郭新年等: "基于激光视觉的农作物株高测量系统", 《农业机械学报》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113567453A (zh) * 2021-07-30 2021-10-29 江西绿萌科技控股有限公司 检测系统、方法、计算机设备及计算机可读存储介质
WO2023005321A1 (zh) * 2021-07-30 2023-02-02 江西绿萌科技控股有限公司 检测系统、方法、计算机设备及计算机可读存储介质
CN113567453B (zh) * 2021-07-30 2023-12-01 绿萌科技股份有限公司 检测系统、方法、计算机设备及计算机可读存储介质
CN114322802A (zh) * 2021-12-30 2022-04-12 苏州中科行智智能科技有限公司 一种基于3d线激光相机的线径测量方法

Also Published As

Publication number Publication date
CN112884880B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
CN104091324B (zh) 一种基于连通域分割的棋盘格图像快速特征匹配算法
CN109708578B (zh) 一种植株表型参数测量装置、方法及系统
CN104677305B (zh) 一种基于十字结构光的物体表面三维重建方法和系统
CA3022839C (en) Flight parameter measuring apparatus and flight parameter measuring method
CN108960011B (zh) 部分遮挡的柑橘果实图像识别方法
CN112884880B (zh) 一种基于线激光的蜜柚三维建模装置和方法
CN103190224B (zh) 基于计算机视觉技术的玉米果穗考种方法、系统和装置
CN108305286B (zh) 基于颜色编码的多目立体视觉脚型三维测量方法、系统和介质
CN110686599A (zh) 基于彩色格雷码结构光的三维测量方法、系统、装置
CN107067431A (zh) 一种基于Kinect的物体体积计算方法
CN113989379B (zh) 基于线激光旋转扫描的轮毂焊缝三维特征测量装置及方法
CN106023271B (zh) 一种靶标中心坐标提取方法及装置
Lou et al. Accurate multi-view stereo 3D reconstruction for cost-effective plant phenotyping
CN110910431B (zh) 一种基于单目相机多视点三维点集恢复方法
CN104331924A (zh) 基于单摄像机sfs算法的三维重建方法
CN105158275B (zh) 基于近红外编码点阵结构光的苹果果梗/花萼检测方法
CN108614277A (zh) 双激光单摄像头三维成像扫描台及扫描、成像方法
CN107633518A (zh) 一种基于Kinect的产品外形检测方法
CN109191461A (zh) 一种基于机器视觉技术的土鸡蛋识别方法及识别装置
CN115953550A (zh) 针对线结构光扫描的点云离群点剔除系统及方法
CN112465950A (zh) 深海网箱渔网水下距离测量装置、方法、电子设备及介质
CN112529498B (zh) 一种仓储物流管理方法及系统
CN113284111A (zh) 一种基于双目立体视觉的毛囊区域定位方法及系统
CN104881652B (zh) 一种基于玉米穗凸性特征的行数自动检测方法
CN116883483A (zh) 一种基于激光摄像机系统的鱼体量测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant