CN108229530B - 一种腕臂故障分析方法及其分析装置 - Google Patents

一种腕臂故障分析方法及其分析装置 Download PDF

Info

Publication number
CN108229530B
CN108229530B CN201710846807.0A CN201710846807A CN108229530B CN 108229530 B CN108229530 B CN 108229530B CN 201710846807 A CN201710846807 A CN 201710846807A CN 108229530 B CN108229530 B CN 108229530B
Authority
CN
China
Prior art keywords
locator
wrist
region
adopting
generate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710846807.0A
Other languages
English (en)
Other versions
CN108229530A (zh
Inventor
曾玲洋
王涛
任阿顺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin Xinyu Detai Technology Co ltd
Original Assignee
Shenzhen Xinyu Detai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Xinyu Detai Technology Co ltd filed Critical Shenzhen Xinyu Detai Technology Co ltd
Priority to CN201710846807.0A priority Critical patent/CN108229530B/zh
Publication of CN108229530A publication Critical patent/CN108229530A/zh
Application granted granted Critical
Publication of CN108229530B publication Critical patent/CN108229530B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种腕臂故障分析方法，包括以下几个步骤：将整幅定位图像输入基于区域的卷积网络生成特征图谱；将特征图谱输入候选区域生成网络生成目标候选区域；采用位置敏感的感兴趣区域池化层提取侯选区域特征；利用了多任务分类器做侯选区域的位置回归，采用深度学习回归算法得到定位器的边界框位置；截取边界框区域定位器的图像，利用RANSAC算法选定位器的最优拟合直线段，计算出定位器的坡度值，以判断其是否发生故障。本发明所述的故障分析方法基于R‑FCN模型和RANSAC算法对定位器进行检测识别，检测精度高，可抵抗阳光干扰，距离测量范围可调整，可实现定位器的非接触式测量。本发明还公开了一种腕臂故障分析装置，包括采用上述方法所形成的计算电路。

Description

一种腕臂故障分析方法及其分析装置
技术领域
本发明涉及交通轨道运行状态检测技术领域，特别涉及一种腕臂故障分析方法及其分析装置。
背景技术
随着我国高铁技术的快速发展，铁路部门也积累了海量的高铁运营和监测的数据。高铁监测数据是交通大数据的重要组成部分，对监测数据的大数据进行分析处理有助于实现高铁运营管理智能化。在各种高铁监测数据中，弓网监测数据是主要组成部分，对弓网监测数据进行分析是实现高铁智能管理的行之有效的技术手段。
目前，比较通用的弓网安全监测方法是采用高清相机或者高速相机采集受电弓、接触网以及定位器等关键目标部位的图像序列，然后对弓网的各个目标部位进行检测和识别、追踪甚至包括行为分析。接触网的组成包括导线和承力索，受电弓与导线紧密配合，其中定位器负责导线的夹持，使得导线保持固定的姿态。定位器的位置状态和能否保障接触网的正常工作有着至关重要的关系，因此基于定位器图像的分析和监测成为接触网弓网安全监测的重要部分。在定位器检测领域，国内目前的研究还是主要用手工设计的特征描述子来解决目标对象的检测和识别，但是该方法存在以下问题：
(1)由于相机的焦距差异很大，安装时距离目标对象的距离对成像时的图像有着重要的影响，因此实际采集接触网定位器图像包含了不同的目标尺度，影响了测量精度；
(2)白天和夜晚的各个时刻日光和月光的光照强度，以及天气的因素(例如雨雪天气等)都会影响成像精度；
(3)站场、桥梁、隧道等不同的复杂背景影响目标成像；
(4)相机安装角度的偏移导致的遮挡，以及实际检测时由于铁路沿线不同的背景和存在一定的遮挡等也会影响测量精度。
在2012年，由于使用了卷积神经网络(convolutional neural networks，缩写为CNN)的AlexNet模型在图像识别中取得了惊人的成绩，卷积神经网络在图像检测和识别领域掀起了一股热潮。卷积神经网络由两个阶段组成：一是在预测阶段对图像检测进行前馈提取图像特征经过分类器或者回归得到处理结果，二是通过训练阶段进行反向传导误差使得损失函数逐渐减小而收敛。在CNN具有良好分类和回归特性的前提下，也出现了使用Faster RCNN做为检测定位器和弓网部件安全的检测算法，因为弓网部件的复杂性，这样的精度还不足以满足实际目标检测的需要。最近最先进的图片分类网络，例如残差网络和googLeNets都是基于全卷积设计的，使用所有卷积层作为特征提取网络，然而这样的方案检测精度较低，以至于无法提高网络的分类精度。最新的研究表明，这是由于图片分类中增长的平移不变性和目标检测中的平移变换性之间的矛盾引起的。
另外一个问题就是定位器骨架结构检测问题，由于机械部件连接件松动或者突发性意外导致的定位器的坡度异常，这种情形会影响导线与受电弓的配合关系，进一步的会影响列车行驶安全。因此，必须通过骨架检测来检测出定位器的骨架结构，能够精确的测量定位器的坡度值，这对实现高铁接触网定位器坡度的非接触式实时测量有着极大的帮助。通常的骨架检测算法一般采用霍夫变换，由于霍夫变换变换的效果好坏取决于投票的阈值，如果阈值太高只能提取长线，短线被忽略；反之又会出现多条线段，这种情况，阈值很难确定。
发明内容
本发明的目的在于克服现有技术中所存在的上述不足，提供一种腕臂故障分析方法及其分析装置，其基于R-FCN(region-based，fully convolutional networks，中文名为基于区域的卷积网络)模型和RANSAC算法进行定位器检测识别，目的在于实现定位器的非接触式测量。
为了实现上述发明目的，本发明提供了以下技术方案：
一种腕臂故障分析方法，包括以下几个步骤：
步骤一：将整幅定位图像输入基于区域的卷积网络(R-FCN)生成特征图谱；
步骤二：将特征图谱输入候选区域生成网络(RPN)生成目标候选区域；
步骤三：采用位置敏感的感兴趣区域(ROI)池化层提取侯选区域特征；
步骤四：利用了多任务分类器做侯选区域的位置回归，采用深度学习回归算法得到定位器的边界框位置；
步骤五：截取边界框区域定位器的图像，利用RANSAC算法选定位器的最优拟合直线段，计算出定位器的坡度值，以判断其是否发生故障。
本发明所述的分析方法以弓网检测图片或者视频的目标检测为应用背景，解决了平移不变性和目标检测中的平移变换性之间的矛盾。为了把平移变换特性融合到全卷积网络FCN(Fully convolutional networks)中，通过利用特征化的卷积层作为FCN的输出创建一个位置敏感得分图，每个得分图对相对空间位置信息进行编码。在FCN的顶层，我们附加了一个位置敏感的ROI(region of interest，感兴趣区域)池化层来统领这些得分图的信息，这些得分图不带任何权值层。整个结构是端对端的学习过程，所有可学习的层在整幅图片中都是可卷积的并且是可共享的，而且仍然可以编码空间位置信息用于检测。
另一方面，我们采用RANSAC方法去获取直线，从而精确的测量定位器的坡度值，RANSAC直线检测流程：
(1)首先计算拟合直线所需要的三个参数；
(2)对其中的一组点集采用投票机制找出最高票的直线，找出峰值后并删掉峰值对应的数据；
(3)返回第一步，计算下一条直线，同样找出并删除对应的数据；
(4)迭代直到找出所有的直线时停止。
RANSAC方法对噪声不敏感，抗噪性较强，检测精度较高。
本发明所述的分析方法的距离测量范围可调整，通过调整算法参数，能够在远近距离范围内实现腕臂部件的检测。
本发明所述的分析方法通过算法针对强阳光的样本进行优化训练，在99.5％的强光照场景中的检测率达到98.93％以上。
本发明所述的故障分析方法利用深度学习的技术，基于R-FCN模型和RANSAC算法对定位器进行了检测识别，采用位置敏感的感兴趣区域(ROI)池化层提取侯选区域特征，解决了平移不变性和目标检测中的平移变换性之间的矛盾，检测精度高，可抵抗阳光干扰，距离测量范围可调整，可实现对定位器的非接触式测量。
优选的，所述候选区域生成网络(RPN)采用resNext网络，不仅计算速度快且大幅降低了错误率。
优选的，所述步骤三通过网格将每个感兴趣区域(ROI)分成k×k个箱(bins)，对于w×h的感兴趣区域(ROI)，每一个箱(bin)的大小≈w/k×h/k，对于第i行第j列的箱(bin)(0≤i，j≤k-1)，其得分地图的计算公式为：
Figure BDA0001410316880000051
其中，rc(i，j|θ)是第c类的第i个箱(bin)的池化响应，zi，j，c是k*k*(C+1)个积分图中的某一个积分图，x0，y0表示感兴趣区域(ROI)的左上角坐标，n表示每个箱(bin)中的像素个数，θ表示可学习的参数。
每一个目录项的softmax响应为：
Figure BDA0001410316880000052
其中，rc(θ)是第C类的池化响应，c′表示所有类别的遍历。
在预先计算了候选区域，接下来定义损失函数，损失函数包括分类的交叉熵损失和回归的交叉熵损失：
Figure BDA0001410316880000053
其中：
Figure BDA0001410316880000054
c*表示标准标签，c*＝0表示背景，Lcls表示分类的交叉熵损失，Lreg表示回归的交叉熵损失，t*表示包围盒的坐标标签，λ是样本集平衡权值。
优选的，所述步骤三还采用了在线困难样本提纯技术(OHEM)对样本进行提纯，使得分类和回归的准确率得到了进一步的提高。
一种腕臂故障分析装置，包括采用任一上述的一种腕臂故障分析方法所形成的计算电路。优选的，还包括相机，所述相机为普通相机即可满足测量精度要求。优选的，所述相机安装在机车车顶。
本发明所述的故障分析装置采用了上述故障分析方法所形成的计算电路，利用深度学习的技术能够精确非接触测量被测物体的位置、位移等变化，可以进行位移、骨架轮廓、多目标、距离等精密的视觉测量分析，具有可全天候工作，防水，防尘，防震，高检测精度，高检测速度，适应各种复杂环境的优点。
与现有技术相比，本发明的有益效果：
(1)本发明所述的故障分析方法利用深度学习的技术，基于R-FCN模型和RANSAC算法对定位器进行了检测识别，采用位置敏感的感兴趣区域(ROI)池化层提取侯选区域特征，解决了平移不变性和目标检测中的平移变换性之间的矛盾，检测精度高，可抵抗阳光干扰，距离测量范围可调整，可实现对定位器的非接触式测量。
(2)本发明所述的故障分析装置采用了上述故障分析方法所形成的计算电路，利用深度学习的技术能够精确非接触测量被测物体的位置、位移等变化，可以进行位移、骨架轮廓、多目标、距离等精密的视觉测量分析，具有可全天候工作，防水，防尘，防震，高检测精度，高检测速度，适应各种复杂环境的优点。
附图说明：
图1为本发明所述的一种腕臂故障分析方法的流程示意图。
图2为本发明所述的一种腕臂故障分析装置结构示意图。
附图标记：1-相机，2-机车。
具体实施方式
下面结合试验例及具体实施方式对本发明作进一步的详细描述。但不应将此理解为本发明上述主题的范围仅限于以下的实施例，凡基于本发明内容所实现的技术均属于本发明的范围。
实施例1
一种腕臂故障分析方法，包括以下几个步骤：
步骤一：将整幅定位图像输入基于区域的卷积网络(R-FCN)生成特征图谱；
步骤二：将特征图谱输入候选区域生成网络(RPN)生成目标候选区域；
步骤三：采用位置敏感的感兴趣区域(ROI)池化层提取侯选区域特征；
步骤四：利用了多任务分类器做侯选区域的位置回归，采用深度学习回归算法得到定位器的边界框位置；
步骤五：截取边界框区域定位器的图像，利用RANSAC算法选定位器的最优拟合直线段，计算出定位器的坡度值，以判断其是否发生故障。
所述步骤三通过网格将每个感兴趣区域(ROI)分成k×k个箱(bins)，对于w×h的感兴趣区域(ROI)，每一个箱(bin)的大小≈w/k×h/k，对于第i行第j列的箱(bin)(0≤i，j≤k-1)，其得分地图的计算公式为：
Figure BDA0001410316880000071
其中，rc(i，j|θ)是第c类的第i个箱(bin)的池化响应，zi，j，c是k*k*(C+1)个积分图中的某一个积分图，x0，y0表示感兴趣区域(ROI)的左上角坐标，n表示每个箱(bin)中的像素个数，θ表示可学习的参数。
每一个目录项的softmax响应为：
Figure BDA0001410316880000081
其中，rc(θ)是第C类的池化响应，c′表示所有类别的遍历。
在预先计算了候选区域，接下来定义损失函数，损失函数包括分类的交叉熵损失和回归的交叉熵损失：
Figure BDA0001410316880000082
其中：
Figure BDA0001410316880000083
c*表示标准标签，c*＝0表示背景，Lcls表示分类的交叉熵损失，Lreg表示回归的交叉熵损失，t*表示包围盒的坐标标签，λ是样本集平衡权值。
本发明以弓网检测图片或者视频的目标检测为应用背景，解决了平移不变性和目标检测中的平移变换性之间的矛盾。为了把平移变换特性融合到全卷积网络FCN(Fullyconvolutional networks)中，通过利用特征化的卷积层作为FCN的输出创建一个位置敏感得分图，每个得分图对相对空间位置信息进行编码。在FCN的顶层，我们附加了一个位置敏感的ROI(region of interest，感兴趣区域)池化层来统领这些得分图的信息，这些得分图不带任何权值层。整个结构是端对端的学习过程，所有可学习的层在整幅图片中都是可卷积的并且是可共享的，而且仍然可以编码空间位置信息用于检测。
另一方面，我们采用RANSAC方法去获取直线，从而精确的测量定位器的坡度值，RANSAC直线检测流程：
(1)首先计算拟合直线所需要的三个参数；
(2)对其中的一组点集采用投票机制找出最高票的直线，找出峰值后并删掉峰值对应的数据；
(3)返回第一步，计算下一条直线，同样找出并删除对应的数据；
(4)迭代直到找出所有的直线时停止。
RANSAC方法对噪声不敏感，抗噪性较强，检测精度较高。
本发明所述的分析方法的距离测量范围可调整，通过调整算法参数，能够在远近距离范围内实现腕臂部件的检测。
本发明所述的分析方法通过算法针对强阳光的样本进行优化训练，在99.5％的强光照场景中的检测率达到98.93％以上。
本发明所述的故障分析方法利用深度学习的技术，基于R-FCN模型和RANSAC算法对定位器进行了检测识别，采用位置敏感的感兴趣区域(ROI)池化层提取侯选区域特征，解决了平移不变性和目标检测中的平移变换性之间的矛盾，检测精度高，可抵抗阳光干扰，距离测量范围可调整，可实现对定位器的非接触式测量。
优选的，所述候选区域生成网络(RPN)采用resNext网络，不仅计算速度快且大幅降低了错误率。
优选的，所述步骤三还采用了在线困难样本提纯技术(OHEM)对样本进行提纯，使得分类和回归的准确率得到了进一步的提高。
实施例2
如图2所示，一种腕臂故障分析装置，包括采用任一上述的一种腕臂故障分析方法所形成的计算电路，设有所述计算电路的主机安装在机车2的车厢内部，同时还包括安装在所述机车2车顶的相机1。
本发明所述的故障分析装置采用了上述故障分析方法所形成的计算电路，利用深度学习的技术能够精确非接触测量被测物体的位置、位移等变化，可以进行位移、骨架轮廓、多目标、距离等精密的视觉测量分析，具有可全天候工作，防水，防尘，防震，高检测精度，高检测速度，适应各种复杂环境的优点。
以上实施例仅用以说明本发明而并非限制本发明所描述的技术方案，尽管本说明书参照上述的各个实施例对本发明已进行了详细的说明，但本发明不局限于上述具体实施方式，因此任何对本发明进行修改或等同替换；而一切不脱离发明的精神和范围的技术方案及其改进，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种腕臂故障分析方法，其特征在于，包括以下几个步骤：
步骤一：将整幅定位图像输入基于区域的卷积网络生成特征图谱；
步骤二：将特征图谱输入候选区域生成网络生成目标候选区域；
步骤三：采用位置敏感的感兴趣区域池化层提取侯选区域特征；
步骤四：利用了多任务分类器做侯选区域的位置回归，采用深度学习回归算法得到定位器的边界框位置；
步骤五：截取边界框区域定位器的图像，利用RANSAC算法选定位器的最优拟合直线段，计算出定位器的坡度值，以判断其是否发生故障。
2.根据权利要求1所述的一种腕臂故障分析方法，其特征在于，所述候选区域生成网络采用resNext网络。
3.根据权利要求1所述的一种腕臂故障分析方法，其特征在于，所述步骤三还采用了在线困难样本提纯技术对样本进行提纯。
4.一种腕臂故障分析装置，其特征在于，包括采用如权利要求1-3任一所述的一种腕臂故障分析方法所形成的计算电路。
5.根据权利要求4所述的一种腕臂故障分析装置，其特征在于，还包括相机（1）。
6.根据权利要求5所述的一种腕臂故障分析装置，其特征在于，所述相机（1）安装在机车（1）车顶。
CN201710846807.0A 2017-09-18 2017-09-18 一种腕臂故障分析方法及其分析装置 Active CN108229530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710846807.0A CN108229530B (zh) 2017-09-18 2017-09-18 一种腕臂故障分析方法及其分析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710846807.0A CN108229530B (zh) 2017-09-18 2017-09-18 一种腕臂故障分析方法及其分析装置

Publications (2)

Publication Number Publication Date
CN108229530A CN108229530A (zh) 2018-06-29
CN108229530B true CN108229530B (zh) 2021-09-24

Family

ID=62655416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710846807.0A Active CN108229530B (zh) 2017-09-18 2017-09-18 一种腕臂故障分析方法及其分析装置

Country Status (1)

Country Link
CN (1) CN108229530B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300114A (zh) * 2018-08-30 2019-02-01 西南交通大学 高铁接触网支撑装置极小目标零部件顶紧缺失检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
WO2016041007A1 (en) * 2014-09-15 2016-03-24 Dti Group Limited Identification of a pantograph represented in an image
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102980896A (zh) * 2012-11-28 2013-03-20 西南交通大学 高铁接触网悬挂装置耳片断裂检测方法
WO2016041007A1 (en) * 2014-09-15 2016-03-24 Dti Group Limited Identification of a pantograph represented in an image
CN106919978A (zh) * 2017-01-18 2017-07-04 西南交通大学 一种高铁接触网支撑装置零部件识别检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Robust Lane Detection Based On Convolutional Neural Network and Random Sample Consensus;Jihun Kim等;《Lecture Notes in Computer Science》;20141103;全文 *

Also Published As

Publication number Publication date
CN108229530A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
Wu et al. Detection of bird nests in overhead catenary system images for high-speed rail
CN111798412A (zh) 一种基于红外图像的变电设备缺陷智能诊断方法及系统
CN107292870A (zh) 基于图像对齐与检测网络模型的轨道塞钉故障检测方法与系统
CN113436157B (zh) 一种用于受电弓故障的车载图像识别方法
CN113592822A (zh) 一种电力巡检图像的绝缘子缺陷定位方法
CN114140394A (zh) 一种非接触式的基于图像处理技术的弓网接触力检测方法
CN111899216A (zh) 一种高铁接触网绝缘子紧固件的异常检测方法
Zhao et al. Image-based comprehensive maintenance and inspection method for bridges using deep learning
CN104598916A (zh) 一种火车识别系统的构建方法和火车识别的方法
CN114549440A (zh) 接触网动态几何参数检测方法、装置及电子设备
CN110490342B (zh) 一种基于Faster R-CNN的接触网静态几何参数检测方法
Song et al. Intrusion detection of foreign objects in high-voltage lines based on YOLOv4
CN115205256A (zh) 一种融合迁移学习的输电线路绝缘子缺陷检测方法及系统
Li et al. PEDNet: A lightweight detection network of power equipment in infrared image based on YOLOv4-Tiny
CN114241310B (zh) 基于改进yolo模型的堤防管涌险情智能识别方法
Teerakawanich et al. Short term prediction of sun coverage using optical flow with GoogLeNet
CN108229530B (zh) 一种腕臂故障分析方法及其分析装置
CN112950562A (zh) 一种基于线结构光的扣件检测算法
Cheng Detection of power line insulator based on enhanced Yolo Model
Yang et al. Online pantograph-catenary contact point detection in complicated background based on multiple strategies
CN116416589A (zh) 一种基于铁轨数据与几何性质的轨道点云提取方法
CN116524382A (zh) 一种桥梁转体合拢准确性检验方法系统、设备
CN115857040A (zh) 一种机车车顶异物动态视觉检测装置及方法
Liu et al. A coarse-to-fine detection method of pantograph-catenary contact points using DCNNs
CN112132088B (zh) 一种巡检点位漏巡识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 300450 Tianjin Binhai New Area High tech Industrial Development Zone Huayuan Industrial Zone (Huanwai) Haitai Huake Street, 7th Courtyard, Building 4, 1st Floor

Patentee after: Tianjin Xinyu Detai Technology Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: SHENZHEN XINYU DETAI TECHNOLOGY CO.,LTD.

CP03 Change of name, title or address