CN109740665B - 基于专家知识约束的遮挡图像船只目标检测方法及系统 - Google Patents
基于专家知识约束的遮挡图像船只目标检测方法及系统 Download PDFInfo
- Publication number
- CN109740665B CN109740665B CN201811630250.8A CN201811630250A CN109740665B CN 109740665 B CN109740665 B CN 109740665B CN 201811630250 A CN201811630250 A CN 201811630250A CN 109740665 B CN109740665 B CN 109740665B
- Authority
- CN
- China
- Prior art keywords
- expert knowledge
- feature
- layer
- ship
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供一种基于专家知识约束的遮挡图像船只目标检测方法及系统,包括进行样本数据预处理,得到预处理后的图片;RPN网络提取候选特征,生成船只目标的候选区域;专家知识提取,特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;CNN特征提取,包括将基于区域的卷积神经网络与RPN网络生成的候选区域进行组合,得到候选区域的特征图;构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。应用本发明可优化遮挡情况下的船只检测结果。
Description
技术领域
本发明属于计算机视觉领域,具体涉及一种基于专家知识约束的遮挡图像船只目标检测方法及系统。
背景技术
人类对海洋的开发与争夺贯穿人类文明的发展史,在全球化日益加深的今天,海洋更是世界各国经济文化交流的重要纽带。船只作为人类开发海洋、利用海洋的工具,发挥着不可替代的作用。船只目标检测是现代海上智能监控系统的重要组成部分,快速准确地识别各类船只目标对监视海运交通、维护海洋权益、提高海防预警能力等方面有着重要的意义;在现代化战争中,船只目标识别技术在预警探测、精确制导、战场指挥和侦察识别等军事领域都有广泛的应用。因此,船只目标检测一直以来都是各国政府和单位研究的重点,是一个国家海洋装备现代化发展的重要方向之一。
船只目标主要包括民用船舶和和军用舰艇,船只目标检测就是利用计算机视觉和图像处理技术,从图像中检测出感兴趣的船只目标,进一步可以提取大量的有用信息。传统的船只目标检测主要是通过采集分析目标船只的辐射信号或回波信息,使用信号分析和模式识别的方法进行判别;随着各类传感器(摄像头)的快速发展尤其是成像技术的不断进步,基于目标图像信息的识别逐渐成为船只目标检测领域的研究重点。虽然检测识别的技术方法多种多样,但各种方法的检测流程却大同小异。这些方法都需要对采集到的目标数据样本进行预处理和特征提取,然后根据提取到的目标特征进行训练和建模,最后把待识别的目标信息放入识别系统种进行分类与识别。
特征提取就是在获得目标的图像后,通过综合分析各类特征对分类识别的贡献,提取目标检测的关键特征。有了特征表示才能对不同目标做比较,进而完成检测。针对船只目标检测使用的特征主要有两大类:传统特征(以下称为“专家知识”)和卷积神经网络(CNN)提取的特征。
(一)专家知识。
传统特征由于具备完整的理论基础和可解释性,因此也被称作“专家知识”。基于专家知识的特征选取需要考虑以下三方面问题:(1)鲁棒性,这主要是由于遮挡、光照变化以及视角改变等会造成图像表面的变化;(2)简洁性,即用少量特征信息来描述目标,大大压缩目标的信息量,使整个算法简洁,也方便后续的处理;(3)可计算性,即在特征信息获取后可能需要一定的处理方法,需要特征具有便于计算的特点。根据特征选取的要求,船只目标的专家知识主要包括以下三个方面:颜色特征、纹理特征和几何特征。
(1)颜色特征。颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质,是进行物体识别和认知必不可少的信息。一般颜色特征是基于像素点的特征,此时所有属于图像或图像区域的像素都有各自的贡献,因此颜色特征是应用最为广泛的视觉特征。此外,颜色特征对图像本身的尺寸、方向、视角的依赖性较小,不受图像旋转和平移变化的影响,具有较高的鲁棒性。较常用的颜色特征有颜色直方图和信息熵。
(2)纹理特征。纹理特征也是一种全局特征,描述了图像或图像区域对应景物的表面性质,但由于纹理只是一种物体表面的特性,并不能反映出物体的本质属性,所以仅仅利用纹理特征是无法获得高层次图像内容的。与颜色特征不同,纹理特征不是基于像素点的特征,它需要在包含多个像素点的区域中进行统计计算。在模式匹配中,这种区域性的特征具有较大的优越性,不会由于局部的偏差而无法成功匹配。作为一种统计特征,纹理特征具有旋转不变性,并且对噪声有较强的抵抗能力。但是当图像的分辨率变化的时候,所计算出来的纹理可能会有较大偏差。另外,由于有可能受到光照、反射情况的影响,从2-D图像中反映出来的纹理不一定是3-D物体表面真实的纹理。灰度共生矩阵是最为常用的纹理特征,具有较强的适应能力和鲁棒性。
(3)几何特征。几何特征是指从目标图像上可以直观看到的几何特征,常用的特征包括尺寸、形状等。尺寸是指目标在图像中的大小尺寸,同一设备获取的图像比例尺是相对固定的,图像上目标尺寸通过数学换算可以得出真实目标的大小,通过目标的尺寸大小可以大致判断出目标船只的用途、类别。比如说运送集装箱的船只尺寸一般较大,而普通的渔船一般较小。形状也是对目标进行识别判断的重要特征,不同种类的船只往往具有不同的形状特征。譬如说航空母舰有形状不规则的巨大直通甲板;驱逐舰和护卫舰的舰体一般情况下较为狭长,舰首略尖、舰尾略平;邮轮和货轮由于装载物资较多,船体宽度大。
(二)CNN特征
自然图像有其固有特性,即对于图像的某一部分,其统计特性与其他部分相同。这意味着在这一部分学习到的特征也能用在另一部分上,因此对于图像上的所有位置,可以使用同样的学习特征。换句话说,对于大尺寸的图像r×c识别问题,首先从图像中随机选取一小块区域a×b作为训练样本,从该小块样本中学习到一些特征,然后将这些特征作为滤波器,与原始整个图像作卷积运算,从而得到原始图像中任意位置上卷积后的特征映射图。该方法能够对多种目标进行特征的自动学习,获得船只的高维特征,检测结果精度相比传统方法有了大幅度提升。
然而,专家知识和CNN特征应用于船只检测存在以下局限性:
(1)专家知识具有良好的理论基础,但是鲁棒性不高,当有云影、海浪等干扰时,检测出来的特征会有偏差,影响船只检测的精度。且专家知识提取的速度较慢,不利于沿海监控视频的实时检测应用需求。
(2)卷积神经网络可以快速、自动地学习船只的高维特征,在实际场景中应用广泛。但是实践结果表明,CNN特征难以处理船只之间相互遮挡的情况,在该情况下的检测性能下降。
发明内容
本发明解决的技术问题是:克服上述现有技术的不足,提供一种基于专家知识约束的遮挡图像船只目标检测方法及系统。
本发明技术方案提供一种基于专家知识约束的遮挡图像船只目标检测方法,包括以下步骤:
步骤①,进行样本数据预处理,得到预处理后的图片;所述样本数据相应标注船只类型和位置数据;
步骤②,RPN网络提取候选特征,包括将步骤①经过预处理后的图片作为输入,经过RPN网路处理后,生成船只目标的候选区域;
步骤③,专家知识提取,包括提取步骤②生成的候选区域的专家知识特征,所述专家知识特征包括SIFT特征和形状不变矩特征;
步骤④,特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;将提取得到的专家知识特征进行连接并降维,得到特征S-TG;
步骤⑤,CNN特征提取,包括将基于区域的卷积神经网络与步骤②所得RPN网络生成的候选区域进行组合,得到候选区域的特征图;
步骤⑥,构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;
步骤⑦,利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。
而且,步骤①中,采集的样本数据为可见光下的沿海区域监控视频帧数据,预处理包括中值滤波和Retinex图像增强处理。
而且,步骤②中,采用RPN网络生成目标的候选区域,每一张图片生成多个候选区域,选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本,IOU小于0.3的候选区域作为负样本,作为最终CNN网络和专家知识提取的基础。
而且,步骤③中,所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef。
而且,步骤④中,采用主成分分析方法进行降维。
而且,步骤⑤中,所述基于区域的卷积神经网络的输入为原始图片,包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、ROI Pooling层,激活层ReLU5的输出和RPN提取的候选区域接入ROI Pooling层。
而且,所述特征融合网络中,基于区域的卷积神经网络的ROI Pooling层的输出CNNfeatures和特征S-TG分别输入一个全连接层,两个全连接层的输入接入一个特征连接层,特征连接层的输出再连接一个全连接层,计算softmax损失后输出计算结果。
本发明还提供一种基于专家知识约束的遮挡图像船只目标检测系统,包括以下模块:
第一模块,用于进行样本数据预处理,得到预处理后的图片;所述样本数据相应标注船只类型和位置数据;
第二模块,用于RPN网络提取候选特征,包括将第一模块经过预处理后的图片作为输入,经过RPN网路处理后,生成船只目标的候选区域;
第三模块,用于专家知识提取,包括提取第二模块生成的候选区域的专家知识特征,所述专家知识特征包括SIFT特征和形状不变矩特征;
第四模块,用于特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;将提取得到的专家知识特征进行连接并降维,得到特征S-TG;
第五模块,用于CNN特征提取,包括将基于区域的卷积神经网络与第二模块所得RPN网络生成的候选区域进行组合,得到候选区域的特征图;
第六模块,用于构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;
第七模块,用于利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。
而且,第一模块中,采集的样本数据为可见光下的沿海区域监控视频帧数据,预处理包括中值滤波和Retinex图像增强处理。
而且,第二模块中,采用RPN网络生成目标的候选区域,每一张图片生成多个候选区域,选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本,IOU小于0.3的候选区域作为负样本,作为最终CNN网络和专家知识提取的基础。
对比现有技术,本发明技术方案具有下列优点和积极效果:
(1)采用RPN(Region Proposal Network,区域生成网络)过程,利用卷积神经网络生成目标的候选区域,比传统的选择性搜索算法(Selective Search,SS)更加快速,且生成的候选区域更加准确,是后面提取专家知识和CNN特征的基础。
(2)专家知识提取过程提出了一种针对船只检测的有效特征S-TG(Ship-Texture,Geometry),该特征综合考虑了船只的纹理和几何特点,更符合人类对现实世界的感知。且提取过程不以整张输入图片为基础,而是只提取经过RPN(Region Proposal Network)生成的候选区域的S-TG特征,使得提取的特征冗余降低,提高可区分性。此外,S-TG特征的计算也较为直接简单,对总体检测速度不会产生较大的影响。
(3)CNN特征提取过程采用深度学习方法,卷积神经网络包含5个卷积层、5个ReLU激活层、2个BN归一化层、2个普通池化层,最后连接一个ROI池化层,用于生成候选区域的特征图。该网络可以提取到候选区域经过多层神经网络传递后生成的特征,快速高效,且对于复杂场景如阴雨天气、光照不够等情况的鲁棒性较高。
(4)采用最后的船只特征融合网络包括3个全连接层(full connection)和1个特征连接层(featureconcatenation),前两个全连接层用于将CNN特征和专家知识特征变换到同一个特征空间,中间的特征连接层,用于将两种特征连接进行前向传播,最后一个全连接层,处理经过concatenate后的向量,经过softmax计算后输出最终的结果。该部分将候选区域分垂直条带计算后的专家知识和CNN特征进行融合,专家知识参与前向传播过程,影响CNN部分后向传播的梯度,使得网络的更新受专家知识的约束和调节,优化遮挡情况下的船只检测结果。
附图说明
图1为本发明实施例的总体流程图。
图2为本发明实施例步骤①中样本数据预处理的流程图。
图3为本发明实施例步骤②中SIFT特征提取的流程图。
图4为本发明实施例步骤②中形状不变矩特征提取的流程图。
图5是本发明实施例步骤⑤中特征融合网络的结构图。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图和实施例对本发明做进一步的详细说明。
参见图1,本发明实施例所提供方法包括以下步骤:
①样本数据预处理。
本发明实施例使用的数据主要为从环岛监控视频中提取的帧图像数据,大小为1920×1080像素,并且标注的船只类型和位置信息满足VOC2007数据集的标准。为了实现更好的检测效果,本发明对样本数据进行了预处理操作,使用的预处理流程包括中值滤波和Retinex图像增强算法。
具体实施时,所需采集的数据主要为可见光下的沿海区域监控视频帧数据,中值滤波可以消除一些高频率的小噪声,且较好的保护了边缘信息;Retinex图像增强算法考虑了图片的颜色信息,减少光照带来的影响,尤其可以增强阴影区域的细节信息。
预处理流程图参见图2,由于预处理算法实现较为简单,因此本部分仅介绍其基本原理,具体的推导公式不作为重点。
①中值滤波,是一种非线性图像平滑滤波技术,在一定条件下可以克服线性滤波带来的图像细节的模糊问题,特别是针对被椒盐噪声污染的图像。其算法步骤为:
1)获得输入图像的首地址及宽高;
2)新建一块内存缓冲区,用以暂存结果图像,并初始化为0;
3)逐一扫描图像中的像素点,将其邻域各元素的像素值从小到大进行排序,将求得的中间值赋值给结果图像中与当前点对应的像素点;
4)循环步骤3),直到处理完输入图像的全部像素点;
5)将结果从内存缓冲区复制到输入图像的数据区。
②Retinex图像增强算法,该算法在彩色图像增强、图像去雾、彩色图像恢复方面拥有很好的效果。Retinex理论的基本假设是原始图像S是光照图像L和反射率图像R的乘积:
S(x,y)=R(x,y)L(x,y)
其中,(x,y)表示图像中的像素点坐标。基于Retinex的图像增强的目的,就是从原始图像S中估计出光照L,从而分解出R,消除光照不均的影响,以改善图像的视觉效果。实际处理中,通常将图像转至对数域,从而将乘积关系转换为和的关系,即:
log(S)=log(RL)=logR+logL
s=r+l
s、r、l分别为S、R、L取对数之后的结果。Retinex方法的核心就是估测照度L,从图像S中估测L分量,得到原始反射分量R,f()为估测函数,即:
l=f(s)
r=s-f(s)
②RPN网络提取候选特征。
采用RPN网络生成目标的候选区域,比传统的选择性搜索算法(SelectiveSearch,SS)更加快速高效。将步骤①经过预处理后的图片作为输入,经过RPN网络处理后,生成船只目标的候选区域。每一张图片生成2000个候选区域,选择与训练样本中真实目标区域的区域重合度(IOU,Intersection Over Union)大于0.7的候选区域作为正样本,IOU小于0.3的候选区域作为负样本,正负样本总共64个,最为最终CNN网络和专家知识提取的基础。由于本发明着重关注特征提取部分,而不是区域生成部分,且RPN网络采用目前学界统一的处理方法,因此此处不再赘述其详细过程。
③专家知识特征提取。
提取步骤②生成的候选区域的专家知识特征,本发明使用的专家知识特征包括SIFT特征和形状不变矩特征,SIFT特征体现了目标的局部细节,特征对平移、旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变化、噪声也保持一定程度的稳定性;并且SIFT特征丰富,即使少数的物体也能产生较多的SIFT特征点,这很好的适应于视频图像中的海上远船,清晰度不高,纹理也不丰富的情况;而形状不变矩特征用特征点的坐标,尺度目标所占区域或边缘的矩作为形状描述参数,具有平移、旋转、缩放的不变特性;
颜色特征由于属于较为直观简单的特征,因此在本发明专利中不单独提取。
具体实现如下:
1)SIFT特征,包括特征点的坐标、尺度、方向、特征向量,参见图3,其提取过程分为四个步骤:
(1)尺度空间生成及极值点查找;
SIFT多尺度特征是依靠高斯函数将单尺度的图像变换成多尺度图像空间,以在多尺度空间上提取稳定的特征点,从而达到抗尺度变化。高斯卷积核是实现尺度变换的唯一线性核,一幅二维图像的尺度空间L(x,y,σ)定义为:
L(x,y,σ)=G(x,y,σ)*I(x,y)
其中,G(x,y,σ)是尺度可变高斯函数,(x,y)是空间坐标,I(x,y)为坐标点的像素值,σ是尺度坐标,σ值越小尺度也就越小,图像细节被平滑的越少,e为自然对数的底数,约为2.718281828。
在生成尺度空间后,对每一个采样点和它所有的相邻点比较,包括它同尺度的8个相邻点以及上下相邻尺度对应的9*2个点共26个点,以确定该店是否是局部极值点。
(2)确定极值点后,精确定位关键点,删除不稳定点;
关键点定位就是将上一步骤检测到的候选关键点调整到亚像素级,去除极值中对噪声敏感的点以及对比度降低的边缘点,以增强匹配稳定性,提高抗噪能力。本发明使用Taylor二次级数在采样点X=(x,y,σ)T处展开尺度空间函数L(x,y,σ),删除对比度低的极值点。
(3)确定关键点的方向;
在确定了特征点的位置和尺度后,可提取特征点的方位信息。角度分配是按照某种法则利用特征点周围邻域信息为每个特征点指定一个方向,使特征描述向量对图像旋转保持不变。SIFT特征点的方向利用率邻域像素的梯度方向分布特性:
θ(x,y)=tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y)))
其中,m(x,y)和θ(x,y)分别为(x,y)处梯度的模值和方向,其中L为灰度值,所用的尺度为每个关键点各自所在的尺度。
在实际计算时,本发明在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的题都方向。梯度直方图的范围是0~360°,其中每10°一个柱,总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。
至此,每个关键点有三个信息:位置、所处尺度、方向。
(4)计算特征向量。
即利用特征点局部区域为特征点定义一个特征描述向量,描述该关键点的特征,并使其对亮度变化和几何变化等保持不变。
首先将坐标轴旋转为关键点的方向,以确保旋转不变性。
接下来,以关键点为中心取8×8的窗口,在每4×4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点。一个关键点由4×4共16个种子点组成,每个种子点有8个方向向量信息,这样对于一个关键点就可以产生128个数据,即最终形成128维的SIFT特征向量。
这种邻域方向性信息联合的思想增强了算法抗噪声的能力,同时对于含有定位误差的特征匹配也提供了较好的容错性。
2)形状不变矩特征,本发明使用的不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef,提取流程参见附图4。
(1)几何不变矩Hu;
数字图像f(x,y)的几何矩反映图像的几何特征,一般是在单项式上的投影,(p+q)阶原点矩mpq和中心矩upq的定义分别是:
mpq=∫∫xpyqf(x,y)dxdy,p,q=0,1,2,…
其中,m10、m01是图像的1阶几何矩,m00是图像的0阶几何矩。由此可以得到图像的不大于3阶的中心矩分别为u00、u01、u10、u11、u20、u02、u12、u21、u30、u03。利用2阶和3阶中心矩可以导出7个具有平移、缩放和旋转不变性的特征集合:
Φ1=η20+η02
Φ3=(η30-3η12)2+(3η21-η03)2
Φ4=(η30+η12)2+(η21-η03)2
Φ5=(η30-3η12)(η30+η12)[(η30+η12)2-(3η21+η03)2]+(3η21+η03)(η03+η21)[3(η30+η12)2-(η21+η03)2]
Φ6=(η20-η02)2[(η30+η12)2-(η21+η03)2]+4η11(η30+η12)(η21+η03)
Φ7=(3η21-3η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η12-η30)(η21+η03)[3(η30+η12)2-(η21+η03)2]
其中,各阶几何矩的物理意义如下:如果f(x,y)为灰度图像,则0阶矩m00表示图像灰度值的总和,也可以看作为质量;当f(x,y)为二值图像时,0阶矩m00表示图像的面积。利用一阶矩m10和m01可以确定图像的重心坐标。二阶矩也称之为惯性矩,它们用以确定图像的主轴、图像椭圆等几个重要特征。三阶矩或三阶以上矩反映了图像更细节的性质,三阶矩反映了图像投影x轴或者y轴的扭曲程度,四阶矩反映了投影峰度。
(2)连续正交矩Zermike;
非正交矩易受噪声影响,且有信息抑制、丢失、冗余等现象。正交矩将图像投影到正交基序列P(x)上,从而得到图像的正交矩描述和相应的反变换形式。不同的正交基形成了不同矩。正交矩具有以下特点:(1)矩变换时可逆的,因此可以重建变换前的图像;(2)正交矩的各阶矩彼此独立,具有最小冗余信息。本发明采用Zermike矩作为专家知识中的连续正交矩,它是一种正交复数矩,(p+q)阶Zermike矩Zpq定义为:
或极坐标下,
Vpq(x,y)=Vpq(r,θ)=Rpq(r)ejqθ
其中,Vpq(x,y)和Vpq(r,θ)均为是Zermike多项式,Rpq(r)是留数多项式,j为虚数单位:
p-|q|=even,|q|≤p
其中,p为阶数,q为重复度,为了简单,可以仅仅考虑q>0的情况,即使用绝对值|q|even为偶数。k是用与表示求和函数从0开始计算的参数。
该多项式满足单位圆内的正交性:
m、n为整数,当且仅当p=m,q=n,Vmn(r,θ)是Zermike多项式,其中,δ为Kronecker符号,δmp为当Kronecker函数的输入为m和p时的输出值,δnq为当Kronecker函数的输入为n和q时的输出值。[Vpq(r,θ)]*是Vpq(r,θ)的共轭。Zermike矩分别计算Z的实部和虚部,继而计算其模。实部和虚部系数为:
Zermike矩计算时忽略单位圆以外的点,因此Zermike矩计算的一个重要步骤是将图像映射到单位圆。本发明在实际计算时假设图像原点被移动到图像的中心(N/2,N/2),N为图像的尺寸,它引入两个参数ρ和σ,来代替Zermike极坐标下的r和θ,计算方法如下:
ρ=max(|x|,|y|)
其中,x和y为图像原点移动到中心点之后,各像素点的横纵坐标,||为取坐标的绝对值。
可以看出,1<ρ<N/2(对原点不做处理),-4ρ<σ<4ρ,实际上,ρ是极半径的离散化,而σ是角度的离散化。接着还要构造ρ和σ的组合式使其分别缩放至[0,1]和[-π,π],从而代替r和θ,即:
那么,rdrdθ=π/(N2)dρdσ,至此,Zermike矩的离散化的实部Cpq、虚部Spq的计算方式为:
(3)离散正交矩Tchebichef;
连续正交矩在离散图像处理中,面临一个离散化误差的问题,并将随着阶数的增大而不断累积,给矩计算的准确性带来影响。如果正交多项式系是离散函数系,则对应的正交矩成为离散正交矩。本发明采用Tchebichef矩作为专家知识中的离散正交矩,对于一幅离散为N×N大小的数字图像f(x,y),规格化后的(p+q)阶Tchebichef矩定义为:
tp(x)=(1-N)3F2(-p,-x,1+p;1-N;1)
其中,tp(x)为和ρ(p,N)都是转换分子,β(p,N)为转换分母,是与x无关的规格化分子,一种取法是β(p,N)=Np,3F2为超几何函数,满足:
规格化的Tchebichef多项式满足以下的正交性:
其中,δ为Kronecker函数,δpq为当Kronecker函数的输入为p和q时的输出值。
对于经过预处理后的图像,由于高阶矩都存在累积误差,因此取Hu矩7维特征,Zermike矩12阶42维特征,Tchebichef矩8阶64维特征,作为最终的形状不变矩特征。
④特征降维。
由于船只图片是从环岛监控视频中截取的,因此并不是所有船体都会出现在图片中,本发明并不提取整张图片的专家知识,而是选择RPN网络生成的64个候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征。由于滑动窗口会从上至下,从左至右遍历生成的候选区域,因此会提取到船只各个部位的特征,从而提高特征的匹配度。由此,当船只相互遮挡时,仍能够提取到精细特征,从而提高精度。以resize后候选区域640*144像素为例,使用60×60大小的子窗口,以30个像素的重叠度来定位船只区域的局部块。在每个子窗口内,提取128维的SIFT特征、7维的Hu矩特征,42维的Zermike矩特征,64维的Tchebichef矩特征,则一共提取的特征维数为:(128+7+42+64)*[((640-60)/30+1)*((144-60)/30+1)]=241*80=19280维。维度非常大,本发明采用主成分分析算法(PCA算法),将专家知识特征降维到4096维度。。由于该特征综合考虑了船只的纹理和几何特征,因此取名为S-TG(ship,texture,geometry)。
基于PCA算法,对步骤②中提取的传统特征进行降维后,减少了特征冗余和计算复杂度,降维后的特征十分有利于船只检测。PCA算法为现有技术,本发明不予赘述。
⑤CNN特征提取。
本发明实施例所使用的基于区域的卷积神经网络包括5个卷积层、5个ReLU激活层、2个BN归一化层、2个普通池化层、最后连接一个ROI池化层,用于生成候选区域的特征图。每个卷积层后面都有1个ReLU层,前两个ReLU层后面分别连有一个批量归一化(BN)层,且两个BN层后面都连接一个普通池化层,最后一个ReLU层连接1个ROI Pooling层,与RPN提取的候选区域结合,生成候选区域的特征图,ROI Pooling层在步骤⑥的特征融合网络中将经过全连接层输出一个4096维的向量,即为CNN特征。
参见图5,基于区域的卷积神经网络输入为原始图片,包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、感兴趣区域池化层ROI Pooling,激活层ReLU5的输出和RPN提取的候选区域接入感兴趣区域池化层ROI Pooling。
为便于理解特征提取,以下介绍深度学习网络的原理:
深度学习网络由多个交替的卷积层,池化层,全连接层组成,主要采用反向传播算法(BP算法)更新,由一个输入层,多个隐藏层和一个输出层组层。层与层之间通过不同的卷积方式连接。对于普通卷积层,上一层的特征层被一个可学习的卷积核进行卷积,然后通过一个激活函数,就可以得到输出特征层。每一个输出层可能是组合卷积多个输入层的值:
其中,Mj表示选择的输入层的集合,i是输入层单元的索引值,j是输出层单元的索引值,表示输入层与输出层之间的权重,表示各层之间的激活偏置,f()表示该输出层的激活函数,表示l层的第j个输出层,表示l-1层的第i个输入层。
对于池化层来说,有N个输入层,就有N个输出层,只是每个输出层都变小了。
其中,down()表示一个下采样函数。一般是对输入图像的不同n*n区域内所有像素进行求和。这样输出图像在两个维度上都缩小了n倍,具体实施时可预设n的取值。每个输出层都对应一个属于自己的乘性偏置β和一个加性偏置b,和为第l层的第j个输入层的乘性偏置和加性偏置,f()表示一层卷机操作。表示l层的第j个输出层,表示l-1层的第j个输入层。
对于输出的全连接层来说,卷积输入多个特征层,再对这些卷积值求和得到一个输出层,这样的效果往往是比较好的。我们用αij表示在得到第j个输出特征层中第i个输入层的权值或者贡献。这样,第j个输出层可以表示为:
⑥构建特征融合网络。
为将CNN特征和专家知识映射到统一的特征空间,本发明提出了一种特征融合网络FFN。图5是融合网络的结构图,该网络在反向传播过程中,深度学习超参数会受专家知识的影响进行更新,融合后的特征会比单独的CNN特征和传统特征更具有区别性。具体来说,
专家知识和CNN特征,分别经过一个ROI Pooling和特征降维后,都生成了候选区域的特征;两者各自连接一个全连接层,将不同类型的两种特征变换到同一个特征空间,输出都为4096维的特征向量;特征连接层(concat)十分重要,它完成一个concatenate操作,是两类特征间连接的桥梁,保证了融合网络FFN的收敛。如果concat层的输入为CNN特征CNNfeatures和专家知识S-TG:
x=[S-TG,CNNfeatures]
则concat层的输出为:
其中,α为学习率,W(l)和b(l)分别为第l层的权重和偏差量,ΔW(l)和Δb(l)分别为损失函数对权重和偏差量求导得到的梯度,Concat层再连接一个全连接层,计算softmax损失后输出计算结果。
softmax为损失函数,实施例使用交叉熵损失:
其中,k是用与表示求和函数从0开始计算的参数,n表示待检测的类别数目,本发明实施例中为6;Pk表示预测为目标的概率。
深度学习特征与专家知识联合训练,利用concat操作,专家知识也参与训练,其特征会影响卷积神经网络的反向传播过程,从而影响梯度更新值,使得训练过程更加具有可区分性;一方面能够利用经典的船只检测算子,让检测过程简单化,更利于理解;另一方面,联合训练,特征互补,可以让检测过程全自动化,不需要人机交互,更利于实际应用;
⑦利用样本数据训练步骤⑥构建的特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。具体实施时,可以利用测试数据对输出的模型进行验证和测试。验证通过后,输入待检测图像到训练好的特征融合网络,即可获取船只目标检测结果。
至此,本专利所使用的一种基于专家知识约束的遮挡图像船只目标检测方法具体实施过程介绍完毕。具体实施时,本发明技术方案所提供流程可由本领域技术人员采用计算机软件技术实现自动运行,也可采用模块化方式提供系统。本发明实施例还提供一种基于专家知识约束的遮挡图像船只目标检测系统,包括以下模块:
第一模块,用于进行样本数据预处理,得到预处理后的图片;所述样本数据相应标注船只类型和位置数据;
第二模块,用于RPN网络提取候选特征,包括将第一模块经过预处理后的图片作为输入,经过RPN网路处理后,生成船只目标的候选区域;
第三模块,用于专家知识提取,包括提取第二模块生成的候选区域的专家知识特征,所述专家知识特征包括SIFT特征和形状不变矩特征;
第四模块,用于特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;将提取得到的专家知识特征进行连接并降维,得到特征S-TG;
第五模块,用于CNN特征提取,包括将基于区域的卷积神经网络与第二模块所得RPN网络生成的候选区域进行组合,得到候选区域的特征图;
第六模块,用于构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;
第七模块,用于利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。
各模块实现可参见相应步骤,本发明不予赘述。
本文中所描述的具体实例仅仅是对本发明作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (9)
1.一种基于专家知识约束的遮挡图像船只目标检测方法,其特征在于,包括以下步骤:
步骤①,进行样本数据预处理,得到预处理后的图片;所述样本数据相应标注船只类型和位置数据;
步骤②,RPN网络提取候选区域,包括将步骤①经过预处理后的图片作为输入,经过RPN网路处理后,生成船只目标的候选区域;
步骤③,专家知识提取,包括提取步骤②生成的候选区域的专家知识特征,所述专家知识特征包括SIFT特征和形状不变矩特征;所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef;
步骤④,特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;将提取得到的专家知识特征进行连接并降维,得到特征S-TG;
步骤⑤,CNN特征提取,包括将基于区域的卷积神经网络与步骤②所得RPN网络生成的候选区域进行组合,得到候选区域的特征图;
步骤⑥,构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;
步骤⑦,利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。
2.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法,其特征在于:步骤①中,采集的样本数据为可见光下的沿海区域监控视频帧数据,预处理包括中值滤波和Retinex图像增强处理。
3.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法,其特征在于:步骤②中,采用RPN网络生成目标的候选区域,每一张图片生成多个候选区域,选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本,IOU小于0.3的候选区域作为负样本,作为最终CNN网络和专家知识提取的基础。
4.根据权利要求1所述基于专家知识约束的遮挡图像船只目标检测方法,其特征在于:步骤④中,采用主成分分析方法进行降维。
5.根据权利要求1或2或3或4所述基于专家知识约束的遮挡图像船只目标检测方法,其特征在于:步骤⑤中,所述基于区域的卷积神经网络的输入为原始图片,包括卷积层Conv1、激活层ReLU1、归一化层BN1、池化层Pool1、卷积层Conv2、激活层ReLU2、归一化层BN2、池化层Pool2、卷积层Conv3、激活层ReLU3、卷积层Conv4、激活层ReLU4、卷积层Conv5和激活层ReLU5、ROI Pooling层,激活层ReLU5的输出和RPN提取的候选区域接入ROI Pooling层。
6.根据权利要求5所述基于专家知识约束的遮挡图像船只目标检测方法,其特征在于:所述特征融合网络中,基于区域的卷积神经网络的ROI Pooling层的输出CNN特征和特征S-TG分别输入一个全连接层,两个全连接层的输入接入一个特征连接层,特征连接层的输出再连接一个全连接层,计算softmax损失后输出计算结果。
7.一种基于专家知识约束的遮挡图像船只目标检测系统,其特征在于,包括以下模块:
第一模块,用于进行样本数据预处理,得到预处理后的图片;所述样本数据相应标注船只类型和位置数据;
第二模块,用于RPN网络提取候选区域,包括将第一模块经过预处理后的图片作为输入,经过RPN网路处理后,生成船只目标的候选区域;
第三模块,用于专家知识提取,包括提取第二模块生成的候选区域的专家知识特征,所述专家知识特征包括SIFT特征和形状不变矩特征;所述形状不变矩特征包括几何不变矩Hu、连续正交矩Zermike和离散正交矩Tchebichef;
第四模块,用于特征降维,包括为了解决船体遮挡,选择RPN网络生成的候选区域作为基础,对于每一个候选区域,以滑动窗口的形式,提取垂直方向的图像块的专家知识特征;将提取得到的专家知识特征进行连接并降维,得到特征S-TG;
第五模块,用于CNN特征提取,包括将基于区域的卷积神经网络与第二模块所得RPN网络生成的候选区域进行组合,得到候选区域的特征图;
第六模块,用于构建特征融合网络,将CNN特征和专家知识映射到统一的特征空间;
第七模块,用于利用样本数据训练特征融合网络,采用训练好的特征融合网络实现遮挡船只目标检测。
8.根据权利要求7所述基于专家知识约束的遮挡图像船只目标检测系统,其特征在于:第一模块中,采集的样本数据为可见光下的沿海区域监控视频帧数据,预处理包括中值滤波和Retinex图像增强处理。
9.根据权利要求7所述基于专家知识约束的遮挡图像船只目标检测系统,其特征在于:第二模块中,采用RPN网络生成目标的候选区域,每一张图片生成多个候选区域,选择与训练样本中真实目标区域的区域重合度IOU大于0.7的候选区域作为正样本,IOU小于0.3的候选区域作为负样本,作为最终CNN网络和专家知识提取的基础。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811630250.8A CN109740665B (zh) | 2018-12-29 | 2018-12-29 | 基于专家知识约束的遮挡图像船只目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811630250.8A CN109740665B (zh) | 2018-12-29 | 2018-12-29 | 基于专家知识约束的遮挡图像船只目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109740665A CN109740665A (zh) | 2019-05-10 |
CN109740665B true CN109740665B (zh) | 2020-07-17 |
Family
ID=66362019
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811630250.8A Active CN109740665B (zh) | 2018-12-29 | 2018-12-29 | 基于专家知识约束的遮挡图像船只目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109740665B (zh) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110458064B (zh) * | 2019-07-31 | 2022-09-27 | 南京理工大学 | 结合数据驱动型和知识驱动型的低空目标检测与识别方法 |
CN110765948A (zh) * | 2019-10-24 | 2020-02-07 | 长沙品先信息技术有限公司 | 一种基于无人机的目标检测识别方法及系统 |
CN111639513A (zh) * | 2019-12-10 | 2020-09-08 | 珠海大横琴科技发展有限公司 | 一种船只遮挡识别方法、装置及电子设备 |
CN111612028A (zh) * | 2019-12-13 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种基于深度学习的船只特征优化方法、装置和电子设备 |
CN111611835A (zh) * | 2019-12-23 | 2020-09-01 | 珠海大横琴科技发展有限公司 | 一种船只检测方法及装置 |
CN111695398A (zh) * | 2019-12-24 | 2020-09-22 | 珠海大横琴科技发展有限公司 | 一种小目标船只识别方法、装置及电子设备 |
CN111523558A (zh) * | 2019-12-27 | 2020-08-11 | 珠海大横琴科技发展有限公司 | 一种基于电子围网的船只遮挡检测方法、装置及电子设备 |
CN111160293A (zh) * | 2019-12-31 | 2020-05-15 | 珠海大横琴科技发展有限公司 | 基于特征金字塔网络的小目标船只检测方法及系统 |
CN111242220A (zh) * | 2020-01-14 | 2020-06-05 | 广东博智林机器人有限公司 | 基于编解码网络的图像处理方法、装置、设备及介质 |
CN111311623A (zh) * | 2020-02-26 | 2020-06-19 | 歌尔股份有限公司 | 图像分界方法、装置、设备及存储介质 |
CN111488918A (zh) * | 2020-03-20 | 2020-08-04 | 天津大学 | 一种基于卷积神经网络的变电站红外图像设备检测方法 |
CN111723823B (zh) * | 2020-06-24 | 2023-07-18 | 河南科技学院 | 一种基于第三方迁移学习的水下目标检测方法 |
CN114419122A (zh) * | 2020-10-12 | 2022-04-29 | 中国科学院微电子研究所 | 一种图像分割模型的超参数获取方法及装置 |
CN112270330A (zh) * | 2020-11-05 | 2021-01-26 | 国网甘肃省电力公司电力科学研究院 | 一种基于Mask R-CNN神经网络被关注目标的智能检测方法 |
CN112258394B (zh) * | 2020-11-11 | 2022-04-29 | 珠海大横琴科技发展有限公司 | 数据处理方法、船只跟踪方法、装置、设备及存储介质 |
CN112270326B (zh) * | 2020-11-18 | 2022-03-22 | 珠海大横琴科技发展有限公司 | 一种遮挡船只的检测优化方法、装置及电子设备 |
CN112949731A (zh) * | 2021-03-11 | 2021-06-11 | 江苏禹空间科技有限公司 | 基于多专家模型的目标检测方法、装置、存储介质及设备 |
CN113160166B (zh) * | 2021-04-16 | 2022-02-15 | 宁波全网云医疗科技股份有限公司 | 通过卷积神经网络模型进行医学影像数据挖掘工作方法 |
CN112991187B (zh) * | 2021-04-28 | 2021-07-27 | 四川大学 | 基于多空间相似度的卷积双胞胎点网络叶片轮廓拼接系统 |
CN117315521A (zh) * | 2022-06-22 | 2023-12-29 | 脸萌有限公司 | 基于对比学习来处理视频的方法、装置、设备和介质 |
CN116843988B (zh) * | 2023-06-26 | 2024-01-30 | 中国信息通信研究院 | 一种基于深度学习的目标检测方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324045A (zh) * | 2011-09-01 | 2012-01-18 | 西安电子科技大学 | 基于Radon变换和极谐波变换的不变矩目标识别方法 |
CN106709936A (zh) * | 2016-12-14 | 2017-05-24 | 北京工业大学 | 一种基于卷积神经网络的单目标跟踪方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
CN108830285A (zh) * | 2018-03-14 | 2018-11-16 | 江南大学 | 一种基于Faster-RCNN的加强学习的目标检测方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965719B2 (en) * | 2015-11-04 | 2018-05-08 | Nec Corporation | Subcategory-aware convolutional neural networks for object detection |
CN105512661B (zh) * | 2015-11-25 | 2019-02-26 | 中国人民解放军信息工程大学 | 一种基于多模态特征融合的遥感影像分类方法 |
US10365606B2 (en) * | 2017-04-07 | 2019-07-30 | Thanh Nguyen | Apparatus, optical system, and method for digital holographic microscopy |
CN107256221B (zh) * | 2017-04-26 | 2020-11-03 | 苏州大学 | 基于多特征融合的视频描述方法 |
CN108932455B (zh) * | 2017-05-23 | 2020-11-10 | 深圳荆虹科技有限公司 | 遥感图像场景识别方法及装置 |
CN107818326B (zh) * | 2017-12-11 | 2018-07-20 | 珠海大横琴科技发展有限公司 | 一种基于场景多维特征的船只检测方法及系统 |
CN108171752A (zh) * | 2017-12-28 | 2018-06-15 | 成都阿普奇科技股份有限公司 | 一种基于深度学习的海面船只视频检测与跟踪方法 |
CN108509978B (zh) * | 2018-02-28 | 2022-06-07 | 中南大学 | 基于cnn的多级特征融合的多类目标检测方法及模型 |
-
2018
- 2018-12-29 CN CN201811630250.8A patent/CN109740665B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102324045A (zh) * | 2011-09-01 | 2012-01-18 | 西安电子科技大学 | 基于Radon变换和极谐波变换的不变矩目标识别方法 |
CN106709936A (zh) * | 2016-12-14 | 2017-05-24 | 北京工业大学 | 一种基于卷积神经网络的单目标跟踪方法 |
CN108830285A (zh) * | 2018-03-14 | 2018-11-16 | 江南大学 | 一种基于Faster-RCNN的加强学习的目标检测方法 |
CN108830188A (zh) * | 2018-05-30 | 2018-11-16 | 西安理工大学 | 基于深度学习的车辆检测方法 |
Non-Patent Citations (1)
Title |
---|
S-CNN-BASED SHIP DETECTION FROM HIGH-RESOLUTION REMOTE SENSING IMAGES;R.Q. Zhang等;《The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences》;20160719;第423-430页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109740665A (zh) | 2019-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109740665B (zh) | 基于专家知识约束的遮挡图像船只目标检测方法及系统 | |
US11878433B2 (en) | Method for detecting grasping position of robot in grasping object | |
CN111063021B (zh) | 一种空间运动目标的三维重建模型建立方法及装置 | |
Cao et al. | Ship recognition method combined with image segmentation and deep learning feature extraction in video surveillance | |
CN109376591B (zh) | 深度学习特征与视觉特征联合训练的船只目标检测方法 | |
AU2020272936B2 (en) | Methods and systems for crack detection using a fully convolutional network | |
CN113743385A (zh) | 一种无人船水面目标检测方法、装置及无人船 | |
CN113888461A (zh) | 基于深度学习的小五金件缺陷检测方法、系统及设备 | |
CN116912238B (zh) | 基于多维识别网络级联融合的焊缝管道识别方法及系统 | |
CN116468995A (zh) | 一种联合slic超像素和图注意力网络的声呐图像分类方法 | |
CN110084743A (zh) | 基于多航带起始航迹约束的图像拼接与定位方法 | |
CN112966553A (zh) | 基于孪生网络的强耦合目标跟踪方法、装置、介质及设备 | |
Li et al. | Vision-based target detection and positioning approach for underwater robots | |
CN115170859A (zh) | 一种基于空间几何感知卷积神经网络的点云形状分析方法 | |
Alves et al. | Robust recognition of ship types from an infrared silhouette | |
CN117351078A (zh) | 基于形状先验的目标尺寸与6d姿态估计方法 | |
CN116740528A (zh) | 一种基于阴影特征的侧扫声呐图像目标检测方法及系统 | |
CN115984568A (zh) | 一种基于YOLOv3网络的雾霾环境下目标检测方法 | |
CN114842506A (zh) | 一种人体姿态估计方法及系统 | |
Liangjun et al. | MSFA-YOLO: A Multi-Scale SAR Ship Detection Algorithm Based on Fused Attention | |
Wu et al. | Object-Enhanced YOLO Networks for Synthetic Aperture Radar Ship Detection | |
CN118015362B (zh) | 一种适用于采摘机器人的水果识别方法和系统 | |
Qin et al. | A Novel Approach to Object Detection in Remote-Sensing Images Based on YOLOv3 | |
CN112529783B (zh) | 图像处理方法、图像处理装置、存储介质和电子设备 | |
Immella et al. | How to Improve the Detection of Ships from Satellite Images by employing Convolutional Neural Network Using Convolutional Block Attention Modules |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CP02 | Change in the address of a patent holder |
Address after: 519031 floors 1-7, unit 1, No. 33, Haihe street, Hengqin new area, Zhuhai City, Guangdong Province Patentee after: ZHUHAI DAHENGQIN TECHNOLOGY DEVELOPMENT Co.,Ltd. Address before: No.33 Haihe street, Hengqin New District, Zhuhai City, Guangdong Province 519031 Patentee before: ZHUHAI DAHENGQIN TECHNOLOGY DEVELOPMENT Co.,Ltd. |
|
CP02 | Change in the address of a patent holder |