CN113238249A - 一种水下实时三维成像方法及雷达装置 - Google Patents
一种水下实时三维成像方法及雷达装置 Download PDFInfo
- Publication number
- CN113238249A CN113238249A CN202110532347.0A CN202110532347A CN113238249A CN 113238249 A CN113238249 A CN 113238249A CN 202110532347 A CN202110532347 A CN 202110532347A CN 113238249 A CN113238249 A CN 113238249A
- Authority
- CN
- China
- Prior art keywords
- image
- target image
- underwater
- dimensional
- underwater target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种三维成像的技术领域,揭露了一种水下实时三维成像方法,包括:利用雷达装置获取水下目标图像,并从水下目标图像中估计出图像的背景散射光;利用图像色彩平衡方法对背景散射光进行色彩均衡处理;利用背景散射光对水下目标图像进行图像增强处理,得到增强后的水下目标图像;利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。本发明还提供了一种水下实时三维成像雷达装置。本发明实现了基于雷达的水下成像。
Description
技术领域
本发明涉及雷达探测的技术领域,尤其涉及一种水下实时三维成像方法及雷达装置。
背景技术
以海洋、河流、湖泊、水库等水体为代表的测量是陆海空一体化测绘体系的重要组成部分,相对于空中和陆地测量而言,水下测量方面比较薄弱,水下领域的开发具有重要的战略地位。然而目前市场上具有水下探测能力的雷达产品还比较少,且大多为水下地形探测,少有目标入侵实时检测产品。本装置可进行全方位视场扫描,对目标物实时三维成像,具有较强实用性,在水下外来物体入侵探测领域和船只水下巡航领域具有很大应用前景。
经检索,专利申请号为201911196812.7提出一种用于水下探地雷达装置,该发明专利一种用于水下探地雷达装置中设计引入了变面积插板和配重块。变面积插板可以更便捷的更换不同型号的天线,改装方便;配重块可以很好的解决水下浮力平衡问题。但该装置需要贴地移动,很容易因为复杂地形而影响工作,且只能检测静止地面,不适用于动态物体实时检测。
鉴于此,如何全方位实时动态地实现水下三维成像,成为本领域技术人员亟待解决的问题。
发明内容
本发明提供一种水下实时三维成像方法,通过从水下目标图像中估计出背景散射光,并利用图像色彩平衡方法对背景散射光进行色彩均衡处理,从而利用背景散射光对水下目标图像进行图像增强处理;从增强后的水下目标图像中提取图像特征,并利用投影原理将图像特征转化为三维网格图像,利用三维编码器对转化得到的三维网格图像进行图卷积计算得到最终的三维模型,实现水下目标三维成像。
为实现上述目的,本发明提供的一种水下实时三维成像方法,包括:
利用雷达装置获取水下目标图像,并从水下目标图像中估计出图像的背景散射光;
利用图像色彩平衡方法对背景散射光进行色彩均衡处理;
利用背景散射光对水下目标图像进行图像增强处理,得到增强后的水下目标图像;
利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;
利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
可选地,所述从水下目标图像中估计出图像的背景散射光,包括:
1)计算水下目标图像中所有像素点在红绿蓝颜色通道的平均值Ra,Ga,Ba;并对所得到的三个平均值再取平均K=(Ra+Ga+Ba)/3;
2)对水下目标图像中所有像素点进行颜色通道值的调整:
3)计算水下目标图像每个像素点中红通道和蓝通道的差值;
4)去除最大差的前0.01%的像素点,然后选择前0.5%的最大差值的像素点作为候选像素点;
5)计算候选像素点的连接域,将最大面积连接域所对应的像素点作为背景像素点;将背景像素点的像素值作为水下目标图像的背景散射光。
可选地,所述利用图像色彩平衡方法对背景散射光进行色彩均衡处理,包括:
1)将背景散射光转换为m×n×3的矩阵,其中m×n为背景散射光的区域大小,3表示共有RGB三个颜色通道;分别计算R,G,B三个颜色通道中的最大值Rmax,Gmax,Bmax和平均值Ra,Ga,Ba,同时计算平均值中的最大值Max=max(Ra,Ga,Ba);
2)计算各颜色通道的系数:
3)将每个颜色通道的矩阵重排列成m×n的行向量矩阵,按像素值从小到大排列;将行向量矩阵中前N%的像素置为Smin,将行向量矩阵中后N%的像素置为Smax,其中Smin为中间区间的最小像素值,Smax为中间区间的最大像素值;在本发明一个实施例中,对于 R,G,B三个颜色通道,N%不同,其中Nr=kr,Ng=kg,Nb=kb。
可选地,所述利用背景散射光对水下目标图像进行图像增强处理,包括:
1)计算水下目标图像的透射率:
其中:
x表示水下目标图像的像素中心;
t(x)表示以x为中心的区域图像透射率;
w(x)表示以x为中心的区域图像;
f表示背景散射光;
Ii(j)表示水下目标图像像素j在i颜色通道的值;
2)对水下目标图像的透射率进行校准:
t′=(L+λU)t(x)
其中:
t′为校准后水下目标图像的透射率;
L为拉普拉斯矩阵;
λ为参数,将其设置为2;
U为单位矩阵;
3)基于背景散射光和透射率,对水下目标图像进行增强:
其中:
I(x)为原始水下目标图像;
K(x)为增强后的水下目标图像。
可选地,所述利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,包括:
1)计算水下目标图像的图像梯度,找出所有梯度值非零的像素,将其排序后纳入矩阵M;
2)对矩阵M中梯度值最大的K个像素值进行粒子群优化算法处理,其中梯度值最大的K个像素值为初始粒子,粒子群算法的适应度函数为:
其中:
Ii表示像素i的灰度值;
Nt表示像素i的第t个邻域像素,即像素i在8个方向上的邻域像素;
C表示边界曲线;
L表示边界曲线的单位长度,当像素i为垂直或平行状态时,其值为1,否则为√2;
gi表示像素i在曲线C的梯度大小;
T表示阈值;
初始粒子通过不断地迭代变换,直到适应度函数值非-∞,此时粒子所处的位置即为图像边缘位置;相较于传统算法,本发明在粒子位置更新过程中对时间t中每个粒子的速度矢量v添加额外的随机扰动,来平衡局部搜索和全局搜索的范围,所述粒子位置更新的公式为:
其中:
Imax为粒子的最大迭代次数;
v表示粒子的速度;
Ik为粒子的当前迭代次数;
x表示上一时刻粒子的位置,x′为当前时刻粒子的位置;
b为常数,将其设置为2;
t表示算法迭代的时间;
3)若适应度函数fC非-∞,则认为当前曲线C为边缘图像特征,并清除边缘图像特征对应像素的边缘梯度,重新建立一个矩阵M进行特征提取处理,直到无法得到有效fC为止;将得到的所有边缘图像特征作为水下目标图像特征。
可选地,所述利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,包括:
利用投影原理将水下目标图像特征转化为三维网格图像特征,所述投影原理的公式为:
x′=fx×(X/Z)+bx,y′=fy×(Y/Z)+by
其中:
fx,fy表示二维水下目标图像特征的长宽尺度;
bx,by表示二维水下目标图像特征的横纵坐标偏移量;
X,Y,Z表示三维网格顶点的X轴、Y轴、Z轴坐标;
利用三维编码器对转化得到的三维网格图像特征进行图卷积计算得到最终的三维目标模型,所述三维编码器为一个50层的GCN图卷积神经网络,为了有效地改善和加速深层神经网络的优化过程,防止梯度消失或梯度爆炸的问题,本发明在每两个标准网络层之间添加剩余连接层,构建成了20个残差单元,残差单元中所有的GCN卷积层均为192 个通道输出;最后一层输出通道为3,代表预测顶点的三维坐标;
所述三维编码器的损失函数为:
其中:
P为构建的三维坐标,Q为真实的三维坐标;
k为坐标i的相邻点;
将三维网格图像特征输入到三维编码器中,三维编码器输出三维目标模型。
此外,为实现上述目的,本发明还提供一种水下实时三维成像雷达装置,所述雷达装置的内部结构包括:
水下图像获取装置,用于利用雷达装置获取水下目标图像;
图像数据处理器,用于从水下目标图像中估计出图像的背景散射光,利用图像色彩平衡方法对背景散射光进行色彩均衡处理,并利用色彩均衡后的背景散射光对水下目标图像进行图像增强;
三维成像装置,用于利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
所述雷达装置具体包括以下构件:
构件1、底座,与底座连接的旋转中轴;
构件2、激光发射系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述激光发射系统包括激光发生器;
构件3、探测系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述探测系统包括工业级相机。
构件1中的所述底座的长度为50cm-200cm,宽度为5cm-15cm,高度为1cm-3cm,所述旋转中轴的长度为30cm-80cm,宽度为2-3cm,高度为2-3cm。
构件1中的所述底座与旋转中轴通过角码连接,连接牢固且易于拆装。
构件2中所述密封筒具有供激光射出的前筒口、供电缆通过的后筒口以及带3-6个螺孔的外连接座,所述前筒口利用紫外固化胶与圆形高透光玻璃密封连接。
构件2中的所述密封盖上设有一个圆形通孔,供电缆通过,所述圆形通孔使用防水电缆接头密封,再用环氧树脂AB胶进行二次密封。
构件2中的可配重支架设有3-6个螺孔,通过螺钉连接固定激光发生器。
构件3中所述密封筒具有供激光射入的前筒口、供电缆和数据线通过的后筒口以及带 3-6个螺孔的外连接座,所述前筒口利用紫外固化胶与圆形高透光玻璃密封连接。
构件3中的所述密封盖上设有两个圆形通孔,分别供电缆、数据线通过,所述两个圆形通孔分别使用防水电缆接头、防水数据线接头密封,再用环氧树脂AB胶进行二次密封。
构件3中的可配重支架设有2-4个螺孔,通过螺钉连接固定工业级相机。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有水下实时三维成像程序指令,所述水下实时三维成像程序指令可被一个或者多个处理器执行,以实现如上所述的水下实时三维成像的实现方法的步骤。
相对于现有技术,本发明提出一种水下实时三维成像方法,该技术具有以下优势:
首先,本发明公开了一种水下实时三维成像雷达装置,在密封防水的前提下,所述雷达装置能够对目标进行静动态实时三维成像;所述雷达装置包括:构件1、底座,与底座连接的旋转中轴;构件2、激光发射系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述激光发射系统包括激光发生器;构件3、探测系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述探测系统包括工业级相机。与现有装置相比,本装置拆装简便,便于更换零件,可进行全方位视场扫描,实时静动态三维成像,封闭性好,可在水下或水上恶劣环境中正常工作,具有较强的适应性和实用性。
同时,针对水中各种光源会造成水下图像产生许多色块,且图像色彩偏色严重的问题,本发明提出一种水下图像色彩均衡方法,首先提取水下图像的背景散射光,将背景散射光转换为m×n×3的矩阵,其中m×n为背景散射光的区域大小,3表示共有RGB三个颜色通道;分别计算R,G,B三个颜色通道中的最大值Rmax,Gmax,Bmax和平均值Ra,Ga,Ba,同时计算平均值中的最大值Max=max(Ra,Ga,Ba);计算各颜色通道的系数:
将每个颜色通道的矩阵重排列成m×n的行向量矩阵,按像素值从小到大排列;将行向量矩阵中前N%的像素置为Smin,将行向量矩阵中后N%的像素置为Smax,其中Smin为中间区间的最小像素值,Smax为中间区间的最大像素值;对于R,G,B三个颜色通道,N%不同,其中Nr=kr,Ng=kg,Nb=kb。相较于传统算法中存在大量高幂次运算,本算法的计算复杂度较低,使得深水域图像可以色彩分布均匀,有效去除色块又不会产生像素溢出,实现图像的色彩均衡。
最后,本发明对传统优化算法进行改进,利用优化算法进行图像特征提取。首先计算水下目标图像的图像梯度,找出所有梯度值非零的像素,将其排序后纳入矩阵M;对矩阵M中梯度值最大的K个像素值进行粒子群优化算法处理,其中梯度值最大的K个像素值为初始粒子,粒子群算法的适应度函数为:
其中:Ii表示像素i的灰度值;Nt表示像素i的第t个邻域像素,即像素i在8个方向上的邻域像素;C表示边界曲线;L表示边界曲线的单位长度,当像素i为垂直或平行状态时,其值为1,否则为gi表示像素i在曲线C的梯度大小;T表示阈值;初始粒子通过不断地迭代变换,直到适应度函数值非-∞,此时粒子所处的位置即为图像边缘位置;相较于传统算法,本发明在粒子位置更新过程中对时间t中每个粒子的速度矢量v添加额外的随机扰动,来平衡局部搜索和全局搜索的范围,所述粒子位置更新的公式为:
其中:Imax为粒子的最大迭代次数;v表示粒子的速度;Ik为粒子的当前迭代次数;x表示上一时刻粒子的位置,x′为当前时刻粒子的位置;b为常数,将其设置为2;t表示算法迭代的时间;若适应度函数fC非-∞,则认为当前曲线C为边缘图像特征,并清除边缘图像特征对应像素的边缘梯度,重新建立一个矩阵M进行特征提取处理,直到无法得到有效fC为止;将得到的所有边缘图像特征作为水下目标图像特征。对于实际项目中采集的图像数据,由于视场内场景未知且环境不固定,传统的粒子群算法容易陷入局部优化,导致过早收敛,本发明基于图像的边缘特征建立适应度函数,将图像像素点作为粒子,从而利用粒子群优化算法进行图像像素点的迭代,直到找到有效的边界曲线,并将边界曲线作为图像特征。
附图说明
图1为本发明一实施例提供的一种水下实时三维成像方法的流程示意图;
图2为本发明底座及旋转中轴结构简图;
图3为本发明探测系统密封筒结构简图;
图4为本发明激光发射系统密封筒结构简图;
图5为本发明探测系统密封盖及可配重支架结构简图;
图6为本发明激光发射系统密封盖及可配重支架结构简图;
图7为本发明水下实时三维成像雷达装置结构简图;
图8为水下实时三维成像雷达装置的内部结构示意图;
本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
通过从水下目标图像中估计出背景散射光,并利用图像色彩平衡方法对背景散射光进行色彩均衡处理,从而利用背景散射光对水下目标图像进行图像增强处理;从增强后的水下目标图像中提取图像特征,并利用投影原理将图像特征转化为三维网格图像,利用三维编码器对转化得到的三维网格图像进行图卷积计算得到最终的三维模型,实现水下目标三维成像。参照图1所示,为本发明一实施例提供的水下实时三维成像方法示意图。
在本实施例中,水下实时三维成像方法包括:
S1、利用雷达装置获取水下目标图像,并从水下目标图像中估计出图像的背景散射光。
首先,本发明利用雷达装置获取水下目标图像,所述水下目标图像为海洋、河流、湖泊、水库等水体下的图像;
在本发明一个具体实施例中,本发明利用雷达装置中的探测系统获取水下目标图像,所述雷达装置包括如下构件:
构件1、底座,与底座连接的旋转中轴;
构件2、激光发射系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述激光发射系统包括激光发生器;
构件3、探测系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述探测系统包括工业级相机。
进一步地,本发明从水下目标图像中估计出图像的背景散射光,所述背景散射光的估计流程为:
1)计算水下目标图像中所有像素点在红绿蓝颜色通道的平均值Ra,Ga,Ba;并对所得到的三个平均值再取平均K=(Ra+Ga+Ba)/3;
2)对水下目标图像中所有像素点进行颜色通道值的调整:
3)计算水下目标图像每个像素点中红通道和蓝通道的差值;
4)去除最大差的前0.01%的像素点,然后选择前0.5%的最大差值的像素点作为候选像素点;
5)计算候选像素点的连接域,将最大面积连接域所对应的像素点作为背景像素点;将背景像素点的像素值作为水下目标图像的背景散射光。
S2、利用图像色彩平衡方法对背景散射光进行色彩均衡处理。
进一步地,本发明利用图像色彩平衡方法对背景散射光进行色彩均衡处理,所述图像色彩平衡方法流程为:
1)将背景散射光转换为m×n×3的矩阵,其中m×n为背景散射光的区域大小,3表示共有RGB三个颜色通道;分别计算R,G,B三个颜色通道中的最大值Rmax,Gmax,Bmax和平均值Ra,Ga,Ba,同时计算平均值中的最大值Max=max(Ra,Ga,Ba);
2)计算各颜色通道的系数:
3)将每个颜色通道的矩阵重排列成m×n的行向量矩阵,按像素值从小到大排列;将行向量矩阵中前N%的像素置为Smin,将行向量矩阵中后N%的像素置为Smax,其中Smin为中间区间的最小像素值,Smax为中间区间的最大像素值;在本发明一个实施例中,对于 R,G,B三个颜色通道,N%不同,其中Nr=kr,Ng=kg,Nb=kb。
S3、利用背景散射光对水下目标图像进行图像增强处理,得到增强后的水下目标图像。
进一步地,本发明利用背景散射光对水下目标图像进行图像增强处理,所述图像增强处理的流程为:
1)计算水下目标图像的透射率:
其中:
x表示水下目标图像的像素中心;
t(x)表示以x为中心的区域图像透射率;
w(x)表示以x为中心的区域图像;
f表示背景散射光;
Ii(j)表示水下目标图像像素j在i颜色通道的值;
2)对水下目标图像的透射率进行校准:
t′=(L+λU)t(x)
其中:
t′为校准后水下目标图像的透射率;
L为拉普拉斯矩阵;
λ为参数,将其设置为2;
U为单位矩阵;
3)基于背景散射光和透射率,对水下目标图像进行增强:
其中:
I(x)为原始水下目标图像;
K(x)为增强后的水下目标图像。
S4、利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征。
进一步地,本发明利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征,所述结合优化算法的特征提取算法流程为:
1)计算水下目标图像的图像梯度,找出所有梯度值非零的像素,将其排序后纳入矩阵M;
2)对矩阵M中梯度值最大的K个像素值进行粒子群优化算法处理,其中梯度值最大的K个像素值为初始粒子,粒子群算法的适应度函数为:
其中:
Ii表示像素i的灰度值;
Nt表示像素i的第t个邻域像素,即像素i在8个方向上的邻域像素;
C表示边界曲线;
gi表示像素i在曲线C的梯度大小;
T表示阈值;
初始粒子通过不断地迭代变换,直到适应度函数值非-∞,此时粒子所处的位置即为图像边缘位置;相较于传统算法,本发明在粒子位置更新过程中对时间t中每个粒子的速度矢量v添加额外的随机扰动,来平衡局部搜索和全局搜索的范围,所述粒子位置更新的公式为:
其中:
Imax为粒子的最大迭代次数;
v表示粒子的速度;
Ik为粒子的当前迭代次数;
x表示上一时刻粒子的位置,x′为当前时刻粒子的位置;
b为常数,将其设置为2;
t表示算法迭代的时间;
3)若适应度函数fC非-∞,则认为当前曲线C为边缘图像特征,并清除边缘图像特征对应像素的边缘梯度,重新建立一个矩阵M进行特征提取处理,直到无法得到有效fC为止;将得到的所有边缘图像特征作为水下目标图像特征。
S5、利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
进一步地,本发明利用投影原理将水下目标图像特征转化为三维网格图像特征,所述投影原理的公式为:
x′=fx×(X/Z)+bx,y′=fy×(Y/Z)+by
其中:
fx,fy表示二维水下目标图像特征的长宽尺度;
bx,by表示二维水下目标图像特征的横纵坐标偏移量;
X,Y,Z表示三维网格顶点的X轴、Y轴、Z轴坐标;
进一步地,本发明利用三维编码器对转化得到的三维网格图像特征进行图卷积计算得到最终的三维目标模型,所述三维编码器为一个50层的GCN图卷积神经网络,为了有效地改善和加速深层神经网络的优化过程,防止梯度消失或梯度爆炸的问题,本发明在每两个标准网络层之间添加剩余连接层,构建成了20个残差单元,残差单元中所有的GCN 卷积层均为192个通道输出;最后一层输出通道为3,代表预测顶点的三维坐标;
所述三维编码器的损失函数为:
其中:
P为构建的三维坐标,Q为真实的三维坐标;
k为坐标i的相邻点;
将三维网格图像特征输入到三维编码器中,三维编码器输出三维目标模型。
下面通过一个算法实验来说明本发明的具体实施方式,并对发明的处理方法进行测试。本发明算法的硬件测试环境为:Inter(R)Core(TM)i7-6700K CPU,软件为Matlab2018a;对比方法为基于CNN的水下实时三维成像方法以及基于马尔可夫模型的水下实时三维成像方法。
在本发明所述算法实验中,数据集为10000张水下二维图像。本实验通过将水下二维图像数据输入到算法模型中,将三维成像的准确率作为算法可行性的评价指标,其中三维成像的准确率越高,则说明算法的有效性、可行性越高。
根据实验结果,基于CNN的水下实时三维成像方法的三维成像准确率为86.16%,基于马尔可夫模型的水下实时三维成像方法的三维成像准确率为85.88%,本发明所述方法的三维成像准确率为89.46%,相较于对比算法,本发明所提出的水下实时三维成像方法能够实现更高的水下实时三维成像准确率。
发明还提供一种水下实时三维成像雷达装置。参照图2-7所示,该装置具体包括以下构件:
构件1、底座,与底座连接的旋转中轴;
构件2、激光发射系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述激光发射系统包括激光发生器;
构件3、探测系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述探测系统包括工业级相机。
构件1中的所述底座的长度为50cm-200cm,宽度为5cm-15cm,高度为1cm-3cm,所述旋转中轴的长度为30cm-80cm,宽度为2-3cm,高度为2-3cm。
构件1中的所述底座与旋转中轴通过角码连接,连接牢固且易于拆装。
构件2中所述密封筒具有供激光射出的前筒口、供电缆通过的后筒口以及带3-6个螺孔的外连接座,所述前筒口利用紫外固化胶与圆形高透光玻璃密封连接。
构件2中的所述密封盖上设有一个圆形通孔,供电缆通过,所述圆形通孔使用防水电缆接头密封,再用环氧树脂AB胶进行二次密封。
构件2中的可配重支架设有3-6个螺孔,通过螺钉连接固定激光发生器。
构件3中所述密封筒具有供激光射入的前筒口、供电缆和数据线通过的后筒口以及带 3-6个螺孔的外连接座,所述前筒口利用紫外固化胶与圆形高透光玻璃密封连接。
构件3中的所述密封盖上设有两个圆形通孔,分别供电缆、数据线通过,所述两个圆形通孔分别使用防水电缆接头、防水数据线接头密封,再用环氧树脂AB胶进行二次密封。
构件3中的可配重支架设有2-4个螺孔,通过螺钉连接固定工业级相机。
图中:1、底座;2、旋转中轴;3、探测系统密封筒连接座;4、可匹配凹槽;5、激光发射系统密封筒连接座;/6、探测系统电缆通孔;7、探测系统数据线通孔;8、可配重支架;9、配重块;10、激光发射系统电缆通孔;11、密封盖;12、高透光玻璃。
底座1和旋转中轴2通过角码连接,旋转中轴外接同步转台,密封盖11和可配重支架 8通过螺丝螺母连接,便于拆装更换;探测系统和激光发射系统固定在可配重支架8上,配重块9使得水下实时三维成像雷达装置在水中可以达到浮力平衡,减少测量误差;密封筒与密封盖连接处设有可匹配凹槽4,配合硅胶垫片,能达到良好的密封效果;通电电缆和数据线分别通过探测系统电缆通孔6、激光发射系统电缆通孔10和探测系统数据线通孔 7与器件连接,通孔处设有防水接头,防水接头外部利用环氧树脂AB胶进行二次密封;激光发射系统密封筒连接座5通过螺丝螺母与底座1垂直连接,探测系统密封筒连接座3 通过螺丝螺母与底座1呈一定角度连接。
激光发射系统、探测系统和同步转台之间协同工作,利用三角成像原理得出精确数据,通过自编软件处理可得出目标物实时三维图像。旋转中轴和同步转台可使雷达装置进行周边360度无死角三维成像,探测系统设有变焦工业相机,可对不同距离的目标物进行三维成像,本发明适用于目标物入侵检测成像领域和船只水下巡航领域。
在本实施例中,参照图4所示,为所述水下实时三维成像雷达装置的内部结构示意图,所述水下实时三维成像雷达装置1的内部结构至少包括水下图像获取装置13、图像数据处理器14、三维成像装置15、通信总线16。
其中,水下图像获取装置13可以是PC(Personal Computer,个人电脑),或者是智能手机、平板电脑、便携计算机等终端设备,也可以是一种服务器等。
图像数据处理器14至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、磁性存储器、磁盘、光盘等。图像数据处理器14在一些实施例中可以是水下实时三维成像雷达装置的内部存储单元,例如该水下实时三维成像雷达装置的硬盘。图像数据处理器14在另一些实施例中也可以是水下实时三维成像雷达装置的外部存储设备,例如水下实时三维成像雷达装置上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,图像数据处理器14还可以既包括水下实时三维成像雷达装置的内部存储单元也包括外部存储设备。图像数据处理器14不仅可以用于存储安装于水下实时三维成像雷达装置的应用软件及各类数据,还可以用于暂时地存储已经输出或者将要输出的数据。
三维成像装置15在一些实施例中可以是一中央处理器(Central ProcessingUnit,CPU)、控制器、微控制器、微处理器或其他数据处理芯片,用于运行图像数据处理器14中存储的程序代码或处理数据,例如水下实时三维成像程序指令等。
通信总线16用于实现这些组件之间的连接通信。
可选地,水下实时三维成像雷达装置还可以包括用户接口,用户接口可以包括显示器 (Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在水下实时三维成像雷达装置中处理的信息以及用于显示可视化的用户界面。
图8仅示出了具有组件13-16以及水下实时三维成像雷达装置,本领域技术人员可以理解的是,图1示出的结构并不构成对水下实时三维成像雷达装置的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
在图8所示的水下实时三维成像雷达装置实施例中,图像数据处理器14中存储有水下实时三维成像程序指令17;三维成像装置15执行图像数据处理器14中存储的水下实时三维成像程序指令17的步骤,与水下实时三维成像方法的实现方法相同,在此不作类述。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有水下实时三维成像程序指令,所述水下实时三维成像程序指令可被一个或多个处理器执行,以实现如下操作:
利用雷达装置获取水下目标图像,并从水下目标图像中估计出图像的背景散射光;
利用图像色彩平衡方法对背景散射光进行色彩均衡处理;
利用背景散射光对水下目标图像进行图像增强处理,得到增强后的水下目标图像;
利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;
利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
需要说明的是,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (9)
1.一种水下实时三维成像方法,其特征在于,所述方法包括:
利用雷达装置获取水下目标图像,并从水下目标图像中估计出图像的背景散射光;
利用图像色彩平衡方法对背景散射光进行色彩均衡处理;
利用背景散射光对水下目标图像进行图像增强处理,得到增强后的水下目标图像;
利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;
利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
3.如权利要求2所述的一种水下实时三维成像方法,其特征在于,所述利用图像色彩平衡方法对背景散射光进行处理,包括:
1)将背景散射光转换为m×n×3的矩阵,其中m×n为背景散射光的区域大小,3表示共有RGB三个颜色通道;分别计算R,G,B三个颜色通道中的最大值Rmax,Gmax,Bmax和平均值Ra,Ga,Ba,同时计算平均值中的最大值Max=max(Ra,Ga,Ba);
2)计算各颜色通道的系数:
3)将每个颜色通道的矩阵重排列成m×n的行向量矩阵,按像素值从小到大排列;将行向量矩阵中前N%的像素置为Smin,将行向量矩阵中后N%的像素置为Smax,其中Smin为中间区间的最小像素值,Smax为中间区间的最大像素值。
4.如权利要求3所述的一种水下实时三维成像方法,其特征在于,所述利用背景散射光对水下目标图像进行图像增强处理,包括:
1)计算水下目标图像的透射率:
其中:
x表示水下目标图像的像素中心;
t(x)表示以x为中心的区域图像透射率;
w(x)表示以x为中心的区域图像;
f表示背景散射光;
Ii(j)表示水下目标图像像素j在i颜色通道的值;
2)对水下目标图像的透射率进行校准:
t′=(L+λU)t(x)
其中:
t′为校准后水下目标图像的透射率;
L为拉普拉斯矩阵;
λ为参数,将其设置为2;
U为单位矩阵;
3)基于背景散射光和透射率,对水下目标图像进行增强:
其中:
I(x)为原始水下目标图像;
K(x)为增强后的水下目标图像。
5.如权利要求4所述的一种水下实时三维成像方法,其特征在于,所述利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,包括:
1)计算水下目标图像的图像梯度,找出所有梯度值非零的像素,将其排序后纳入矩阵M;
2)对矩阵M中梯度值最大的K个像素值进行粒子群优化算法处理,其中梯度值最大的K个像素值为初始粒子,粒子群算法的适应度函数为:
其中:
Ii表示像素i的灰度值;
Nt表示像素i的第t个邻域像素,即像素i在8个方向上的邻域像素;
C表示边界曲线;
gi表示像素i在曲线C的梯度大小;
T表示阈值;
初始粒子通过不断地迭代变换,直到适应度函数值非-∞,此时粒子所处的位置即为图像边缘位置;在粒子位置更新过程中对时间t中每个粒子的速度矢量v添加额外的随机扰动,所述粒子位置更新的公式为:
其中:
Imax为粒子的最大迭代次数;
v表示粒子的速度;
Ik为粒子的当前迭代次数;
x表示上一时刻粒子的位置,x′为当前时刻粒子的位置;
b为常数,将其设置为2;
t表示算法迭代的时间;
3)若适应度函数fC非-∞,则认为当前曲线C为边缘图像特征,并清除边缘图像特征对应像素的边缘梯度,重新建立一个矩阵M进行特征提取处理,直到无法得到有效fC为止;将得到的所有边缘图像特征作为水下目标图像特征。
6.如权利要求5所述的一种水下实时三维成像方法,其特征在于,所述利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,包括:
利用投影原理将水下目标图像特征转化为三维网格图像特征,所述投影原理的公式为:
x′=fx×(X/Z)+bx,y′=fy×(Y/Z)+by
其中:
fx,fy表示二维水下目标图像特征的长宽尺度;
bx,by表示二维水下目标图像特征的横纵坐标偏移量;
X,Y,Z表示三维网格顶点的X轴、Y轴、Z轴坐标;
利用三维编码器对转化得到的三维网格图像特征进行图卷积计算得到最终的三维目标模型,所述三维编码器为一个50层的GCN图卷积神经网络,在每两个标准网络层之间添加剩余连接层,构建成了20个残差单元,残差单元中所有的GCN卷积层均为192个通道输出;最后一层输出通道为3,代表预测顶点的三维坐标;
所述三维编码器的损失函数为:
其中:
P为构建的三维坐标,Q为真实的三维坐标;
k为坐标i的相邻点;
将三维网格图像特征输入到三维编码器中,三维编码器输出三维目标模型。
7.一种水下实时三维成像雷达装置,其特征在于,所述雷达装置内部结构包括:
水下图像获取装置,用于利用雷达装置获取水下目标图像;
图像数据处理器,用于从水下目标图像中估计出图像的背景散射光,利用图像色彩平衡方法对背景散射光进行色彩均衡处理,并利用色彩均衡后的背景散射光对水下目标图像进行图像增强;
三维成像装置,用于利用结合优化算法的特征提取算法对增强后的水下目标图像进行特征提取,得到水下目标图像特征;利用投影原理将水下目标图像特征转化为三维网格图像特征,利用三维编码器对转化得到的三维网格图像特征进行图卷积计算,得到最终的三维目标模型。
8.一种水下实时三维成像雷达装置,其特征在于,所述雷达装置具体包括以下构件:
构件1、底座,与底座连接的旋转中轴;
构件2、激光发射系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述激光发射系统包括激光发生器;
构件3、探测系统密封筒,分别与密封筒两端相连接的密封盖、高透光玻璃,通过螺钉与密封盖连接的可配重支架,所述探测系统包括工业级相机。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有水下实时三维成像程序指令,所述水下实时三维成像程序指令可被一个或者多个处理器执行,以实现如上所述的水下实时三维成像的实现方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532347.0A CN113238249B (zh) | 2021-05-17 | 2021-05-17 | 一种水下实时三维成像方法及雷达装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110532347.0A CN113238249B (zh) | 2021-05-17 | 2021-05-17 | 一种水下实时三维成像方法及雷达装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113238249A true CN113238249A (zh) | 2021-08-10 |
CN113238249B CN113238249B (zh) | 2021-12-28 |
Family
ID=77134478
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110532347.0A Active CN113238249B (zh) | 2021-05-17 | 2021-05-17 | 一种水下实时三维成像方法及雷达装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113238249B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140300885A1 (en) * | 2013-04-05 | 2014-10-09 | Lockheed Martin Corporation | Underwater platform with lidar and related methods |
CN108596926A (zh) * | 2018-04-02 | 2018-09-28 | 四川斐讯信息技术有限公司 | 基于交叉型粒子群算法的灰度阈值获取、图像边缘检测方法 |
CN108765342A (zh) * | 2018-05-30 | 2018-11-06 | 河海大学常州校区 | 一种基于改进暗通道的水下图像复原方法 |
CN108932700A (zh) * | 2018-05-17 | 2018-12-04 | 常州工学院 | 基于目标成像模型的自适应梯度增益水下图像增强方法 |
CN111308493A (zh) * | 2019-12-02 | 2020-06-19 | 中国科学院光电技术研究所 | 一种基于双单光子探测器的水下三维成像激光雷达装置 |
CN111882666A (zh) * | 2020-07-20 | 2020-11-03 | 浙江商汤科技开发有限公司 | 三维网格模型的重建方法及其装置、设备、存储介质 |
CN112284294A (zh) * | 2020-09-27 | 2021-01-29 | 浙江大学 | 一种水下多波段交叉线阵激光三维扫描系统 |
-
2021
- 2021-05-17 CN CN202110532347.0A patent/CN113238249B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140300885A1 (en) * | 2013-04-05 | 2014-10-09 | Lockheed Martin Corporation | Underwater platform with lidar and related methods |
CN108596926A (zh) * | 2018-04-02 | 2018-09-28 | 四川斐讯信息技术有限公司 | 基于交叉型粒子群算法的灰度阈值获取、图像边缘检测方法 |
CN108932700A (zh) * | 2018-05-17 | 2018-12-04 | 常州工学院 | 基于目标成像模型的自适应梯度增益水下图像增强方法 |
CN108765342A (zh) * | 2018-05-30 | 2018-11-06 | 河海大学常州校区 | 一种基于改进暗通道的水下图像复原方法 |
CN111308493A (zh) * | 2019-12-02 | 2020-06-19 | 中国科学院光电技术研究所 | 一种基于双单光子探测器的水下三维成像激光雷达装置 |
CN111882666A (zh) * | 2020-07-20 | 2020-11-03 | 浙江商汤科技开发有限公司 | 三维网格模型的重建方法及其装置、设备、存储介质 |
CN112284294A (zh) * | 2020-09-27 | 2021-01-29 | 浙江大学 | 一种水下多波段交叉线阵激光三维扫描系统 |
Non-Patent Citations (1)
Title |
---|
杨爱萍 等: "基于颜色失真去除与暗通道先验的水下图像复原", 《电子与信息学报》 * |
Also Published As
Publication number | Publication date |
---|---|
CN113238249B (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5778237B2 (ja) | ポイントクラウド内の埋め戻しポイント | |
CN108876723B (zh) | 一种灰度目标图像的彩色背景的构建方法 | |
JP2018537742A (ja) | エッジ認識双方向画像処理 | |
CN112560619B (zh) | 一种基于多聚焦图像融合的多距离鸟类精准识别方法 | |
JP2011508323A (ja) | 不変の視覚場面及び物体の認識 | |
Fang et al. | Effective Single Underwater Image Enhancement by Fusion. | |
CN108805201A (zh) | 目标图像数据集生成方法及其装置 | |
CN113537180B (zh) | 树障的识别方法、装置、计算机设备和存储介质 | |
CN115359195B (zh) | 一种正射影像生成方法、装置、存储介质和电子设备 | |
KR20210074163A (ko) | 공동 검출 및 기술 시스템 및 방법 | |
CN114511661A (zh) | 图像渲染方法、装置、电子设备及存储介质 | |
CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
CN111340882A (zh) | 基于图像的室内定位方法及装置 | |
US20150312550A1 (en) | Combining two-dimensional images with depth data to detect junctions or edges | |
CN109766896B (zh) | 一种相似度度量方法、装置、设备和存储介质 | |
CN105631849B (zh) | 多边形目标的变化检测方法及装置 | |
CN112419460B (zh) | 烘焙模型贴图的方法、装置、计算机设备和存储介质 | |
CN113238249B (zh) | 一种水下实时三维成像方法及雷达装置 | |
CN109978982B (zh) | 一种基于倾斜影像的点云快速上色方法 | |
Zhang et al. | Robust water level measurement method based on computer vision | |
Schöntag et al. | Towards cross domain transfer learning for underwater correspondence search | |
CN110135474A (zh) | 一种基于深度学习的倾斜航空影像匹配方法和系统 | |
CN115063473A (zh) | 物体高度的检测方法、装置、计算机设备、存储介质 | |
Jiao et al. | Individual building rooftop and tree crown segmentation from high-resolution urban aerial optical images | |
CN113361544B (zh) | 图像采集设备及其外参修正方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A real-time underwater 3D imaging method and radar device Effective date of registration: 20230809 Granted publication date: 20211228 Pledgee: Hunan Jinxin Financing Guarantee Co.,Ltd. Pledgor: Hunan Liyan Optoelectronic Technology Co.,Ltd. Registration number: Y2023980051326 |