CN111582182A - 船舶名称识别方法、系统、计算机设备及存储介质 - Google Patents

船舶名称识别方法、系统、计算机设备及存储介质 Download PDF

Info

Publication number
CN111582182A
CN111582182A CN202010390510.XA CN202010390510A CN111582182A CN 111582182 A CN111582182 A CN 111582182A CN 202010390510 A CN202010390510 A CN 202010390510A CN 111582182 A CN111582182 A CN 111582182A
Authority
CN
China
Prior art keywords
ship name
ship
image
neural network
name
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010390510.XA
Other languages
English (en)
Other versions
CN111582182B (zh
Inventor
毛茹
林嘉应
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiteng Information Technology Nanjing Co ltd
Original Assignee
Guangzhou Chuangyiyuan Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Chuangyiyuan Intelligent Technology Co ltd filed Critical Guangzhou Chuangyiyuan Intelligent Technology Co ltd
Priority to CN202010390510.XA priority Critical patent/CN111582182B/zh
Publication of CN111582182A publication Critical patent/CN111582182A/zh
Application granted granted Critical
Publication of CN111582182B publication Critical patent/CN111582182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种船舶名称识别方法、系统、计算机设备及存储介质，所述方法包括：获取待识别船舶图像；将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。本发明相对于目前在海事领域的现有技术在效率、成本、准确率上具有明显的优势，为进一步对航行船舶的身份识别的自动化监控提供了技术基础。

Description

船舶名称识别方法、系统、计算机设备及存储介质
技术领域
本发明涉及一种船舶名称识别方法、系统、计算机设备及存储介质，属于水上智能船舶监管领域。
背景技术
目前针对水上航行的船舶，现有自然场景文字识别算法仍然存在几个亟需解决的问题：1)船舶名称的位置因船而异，难以在自然场景下对船舶名称字符区域进行精确定位；2)水面背景具有波动性，且对光照十分敏感，导致图像采集噪音较多；3)江面没有像路面一样划定行驶线，船舶运动在江面呈现角度范围较车辆大得多，船舶船舶名称区域文字变形严重；4)江面船舶行驶场景广阔，而船舶体积相差可以达到10倍以上(这在车辆方面一般是不存在的)，而包含船舶名称区域的图像需要精确分析定位；5)不同于类似场景下面的车牌文字识别，船舶名称由于没有严格统一的命名标准，导致船舶名称汉字种类多(包含生僻字)，长度不定，为进一步在自然场景下进行文字识别提高了难度；6)船舶由于长时间在外航行，构建名称的材质容易出现腐蚀等情况，导致缺字和严重的字体变形，难以对字形的图像结构特征进行人为的分析。由于以上特点，智能视频图像分析在水上船舶监管上的应用一直受限，传统船舶电子监管手段都是以雷达、AIS(Automatic Identification System，船舶自动识别系统)相互补充来进行。
目前对于海事监管方面，主要是利用AIS系统和雷达系统，在直观程度上，AIS和雷达系统并不能给管理人员一个直观的信息感知。而雷达及AIS监测系统在应用上也存在着一定的不足：1)不能像视频一样直观监控水上船舶现场，而这个功能对水上交通事故调查及搜救指挥来说十分重要；2)AIS系统是一个主动发送船舶信息的设备，船主可以随意修改AIS信息，或关闭AIS设备，这样来逃避水上执法的监管。3)构建一个雷达系统的代价比较昂贵，而且雷达检测对于环境的依赖也比较来严重，容易受到建筑物、高大的植物的影响。
另外，目前国内对于船舶名称识别的研究主要有钱江、张桂荣、姚江等的《基于连通域分析和笔画宽度变换的船舶名称检测方法[J].珠江水运，2018，466(18):113-115.》，该方法使用Retinex算法对船舶图像预处理，随后基于MSER获取文字候选区域，根据先验知识和笔画宽度变换特征得到最终候选区域，最后使用级联分类器确定单字符区域，进而得到船舶名称位置完成船舶名称检测。
综上所述，目前海事上的在自然场景下的船舶名称识别方案主要问题有以下两点：1)采用的特征是十几年前的人工设计特征(如笔画宽度)，而这些特征不足以应对复杂的海面情况，而且这些人工设计特征在一定程度上是机械性的；2)纯粹检测船舶名称存在的区域并不能达到智能识别出对应字符的效果，导致了即使能检测出船舶名称对应的区域也需要人工地去识别对应的区域的文字。
发明内容
有鉴于此，本发明提供了一种船舶名称识别方法、系统、计算机设备及存储介质，其解决了水上船舶名称在视频监管中定位难、识别难的问题，采用了目前对于视觉感知具有高效处理能力的深度神经网络，先对船舶名称区域进行检测，然后针对检测出的船舶名称区域进行精确到字符级别的识别，实现了直接输入视频流然后通过判断视频中船舶名称区域的特征，直接端到端地输出对应船舶名称，相对于目前在海事领域的现有技术在效率、成本、准确率上具有明显的优势，为进一步对航行船舶的身份识别的自动化监控提供了技术基础。
本发明的第一个目的在于提供一种船舶名称识别方法。
本发明的第二个目的在于提供一种船舶名称识别系统。
本发明的第三个目的在于提供一种计算机设备。
本发明的第四个目的在于提供一种存储介质。
本发明的第一个目的可以通过采取如下技术方案达到：
一种船舶名称识别方法，所述方法包括：
获取待识别船舶图像；
将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
进一步的，所述获取待识别船舶图像之前，还包括：
建立自然场景的船舶名称区域训练数据集；其中，所述船舶名称区域训练数据集包括多张第一样本图像；
根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练；
获取目标图像；
将目标图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置；
根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像；
根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集；其中，所述船舶名称识别训练数据集包括多张第二样本图像；
根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
进一步的，所述根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练，具体包括：
对船舶名称区域训练数据集中每张第一样本图像的船舶位置进行标注；
对标注后的第一样本图像进行数据增强，得到不同批次的第一样本图像；其中，所述数据增强包括高斯噪声、动态模糊和平移旋转缩放；
分批次将不同船舶名称区域的第一样本图像输入到船舶名称定位神经网络中进行训练。
进一步的，所述根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集，具体包括：
从左到右对第二船舶名称区域图像的字符进行标注，并对第二船舶名称区域图像的船舶名称进行标注；
将标注后的第二船舶名称区域图像作为第二样本图像，建立自然场景的船舶名称识别训练数据集。
进一步的，所述根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练，具体包括：
将船舶名称识别训练数据集中的第二样本图像缩放到统一大小；
分批次将不同船舶名称区域的第二样本图像输入到船舶名称识别神经网络中进行训练。
进一步的，所述船舶名称识别神经网络包括相连的卷积神经网络和长短期记忆网络，所述卷积神经网络包括七个卷积层、七个激活函数层和四个最大池化层。
进一步的，所述船舶名称定位神经网络的损失函数包括预测中心坐标损失函数、预测边界框的宽高损失函数以及预测置信度损失函数；
所述预测中心坐标损失函数，如下式：
Figure BDA0002485521150000041
其中，λ为给定的常数；i为每个网格单元，i＝0,..,S2；j为每个网格单元的每个边界框预测值，j＝0,..,B；(x,y)为预测边界框的位置；
Figure BDA0002485521150000047
为从训练数据中得到的实际位置；
所述预测边界框的宽高损失函数，如下式：
Figure BDA0002485521150000042
其中，(w,h)为预测边界框的宽和高，
Figure BDA0002485521150000043
为从船舶名称识别训练数据集中得到的实际宽和高；
所述预测置信度损失函数，如下式：
Figure BDA0002485521150000044
其中，C为置信度得分，
Figure BDA0002485521150000045
为预测边界框与基本事实的交叉部分；当在一个单元格中有对象时，
Figure BDA0002485521150000046
等于1，否则取值为0。
进一步的，所述船舶名称识别神经网络包括相连的卷积神经网络和长短期记忆网络，所述卷积神经网络包括七个卷积层、七个激活函数层和四个最大池化层。
本发明的第二个目的可以通过采取如下技术方案达到：
一种船舶名称识别系统，所述系统包括：
获取模块，用于获取待识别船舶图像；
检测模块，用于将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
定位模块，用于当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
分割模块，用于根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
识别模块，用于将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
本发明的第三个目的可以通过采取如下技术方案达到：
一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的船舶名称识别方法。
本发明的第四个目的可以通过采取如下技术方案达到：
一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的船舶名称识别方法。
本发明相对于现有技术具有如下的有益效果：
1、本发明通过视频图像分析，利用训练好的船舶名称定位神经网络和船舶名称识别神经网络，能够实现对视频流采集的船舶图像进行船舶名称的识别，即通过视频监控可以全自动识别水上航行的船舶名称，解决在传统情况下船舶身份识别难的问题，对海事交通管理、事故调查、水利打击非法采砂、航道船舶过闸收费、海关打击走私活动等都有智能辅助作用，同时也是水上各监管部门迫切需求的一个智能水上船舶身份识别手段；此外，由于船舶名称特征是利用深度神经网络提取，具备高层感知语义，具有高度的鲁棒性。
2、本发明的船舶名称识别神经网络包括卷积神经网络和长短期记忆网络，即采用卷积神经网络与循环神经网络所结合的方法进行船舶名称识别，通过卷积神经网络提取图像的特征，而通过循环神经网络关注船舶名称文本分布的特征，与现有方法只关心图像特征相比具有根本性的不同，输出得到的识别结果更符合实际船舶名称分布的情况。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例1的船舶名称识别方法的流程图。
图2为本发明实施例1的船舶名称识别方法的原理图。
图3为本发明实施例1的船舶名称定位神经网络的检测示意图。
图4为本发明实施例1的船舶名称定位神经网络的检测结果图。
图5为本发明实施例1的船舶名称识别神经网络的结构图。
图6为本发明实施例1的船舶名称识别神经网络中卷积神经网络的结构图。
图7a～图7f为本发明实施例1的船舶名称识别的结果图。
图8为本发明实施例1的船舶名称定位神经网络和船舶名称识别神经网络的设计流程图。
图9为本发明实施例1的船舶名称定位神经网络的训练流程图。
图10为本发明实施例1的船舶名称识别训练数据集的建立流程图。
图11为本发明实施例1的船舶名称识别神经网络的训练流程图。
图12为本发明实施例2的船舶名称识别系统的结构框图。
图13为本发明实施例2的连接的结构框图。
图14为本发明实施例2的第一训练模块的结构框图。
图15为本发明实施例2的第二建立模块的结构框图。
图16为本发明实施例2的第二训练模块的结构框图。
图17为本发明实施例3的计算机设备的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
如图1和图2所示，本实施例提供了一种船舶名称识别方法，该方法包括以下步骤：
S101、获取待识别船舶图像。
具体地，可以通过前端摄像头采集获取船舶的视频流数据，该视频流数据即为待识别船舶图像数据。
S102、将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测。
具体地，将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测，若检测到船舶名称区域，可以判定该待识别船舶图像存在船舶名称，进入步骤S103，若未检测到船舶名称区域，则继续进行检测，检测及检测结果如图3和图4所示。
S103、通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置。
S104、根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像。
具体地，利用图像学操作手段对待识别船舶图像进行分割，去除背景，减少后序步骤的噪声引入，将船舶名称区域裁剪出来，得到第一船舶名称区域图像；其中，图像学操作手段采用图像处理函数库OpenCV，OpenCV是一个基于BSD许可开源发行的跨平台计算机视觉库。
S105、将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
本实施例的船舶名称识别神经网络如图5和图6所示，其包括相连的卷积神经网络(Convolutional Neural Networks，简称CNN)和长短期记忆网络(Long Short-TermMemory，简称LSTM)，卷积神经网络包括七个卷积层(2D Convolution)、七个激活函数层(ReLU)和四个最大池化层(max pooling)；其中，长短期记忆网络采用BidirectionalLSTM，由于长短期记忆网络是一种循环神经网络，因此船舶名称识别神经网络结合了卷积神经网络和循环神经网络。
进一步地，七个卷积层分别为第一卷积层、第二卷积层、第三卷积层、第四卷积层、第五卷积层、第六卷积层和第七卷积层，七个激活函数层年分别为第一激活函数层、第二激活函数层、第三激活函数层、第四激活函数层、第五激活函数层、第六激活函数层和第七激活函数层，四个最大池化层分别为第一最大池化层、第二最大池化层、第三最大池化层和第四最大池化层，第一卷积层、第一激活函数层、第一最大池化层、第二卷积层、第二激活函数层、第二最大池化层、第三卷积层、第三激活函数层、第四卷积层、第四激活函数层、第三最大池化层、第五卷积层、第五激活函数层、第六卷积层、第六激活函数层、第四最大池化层、第七卷积层和第七激活函数层依次相连；其中，七个卷积层的卷积核大小均为3*3，四个最大池化层的大小均为2*2。
设第一船舶名称区域图像的通道数为1，将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，卷积神经网络提取第一船舶名称区域图像的特征图，然后通过长短期记忆网络判断船舶文本出现的特征分布情况，将初步估计的船舶名称优化到更加符合船舶名称数据库的文本规律实际出现的情况，最后输出最接近实际的识别结果，具体包括：
1)通过第一卷积层输出通道数64，经过第一激活函数层后，输入到第一最大池化层。
2)通过第二卷积层输出通道数128，经过第二激活函数层后，输入到第二最大池化层。
3)通过第三卷积层输出通道数256，经过第四激活函数层后，再通过第四卷积层和第四激活函数层输出通道数256，输入到第三最大池化层。
4)通过第五卷积层输出通道数256，经过第五激活函数层后，再通过第六卷积层和第六激活函数层输出通道数256，输入到第四最大池化层。
5)通过第七卷积层和第七激活函数层输出通道数512，此时特征图的宽度和高度都已缩小为输入的1/16。
6)经过长短期记忆网络输出得到船舶名称识别结果，部分船舶的识别结果如图7a～图7f所示。
如图8所示，为了设计船舶名称定位神经网络和船舶名称定位神经网络，本实施例在步骤S101之前，还可包括：
S801、建立自然场景的船舶名称区域训练数据集。
具体地，采用多种不同类型的含有船舶名称的船舶图像，采集不同船舶的种类尽量多，同一艘船舶的图像也尽量多(拍摄的角度多样化)，构成一个完整而庞大的数据集，作为自然场景的船舶名称区域训练数据集。
进一步地，采用5000多张名称不同的船舶且不低于每只船舶5张的图像作为船舶名称区域训练数据集，为了保证第一样本图像接近真实场景的复杂性，以提高模型在实际应用当中的鲁棒性，船舶名称区域训练数据集包含数量均匀的晴天、阴天、傍晚等不同光照条件下的实景拍摄图像；不同船舶的船舶名称背景的多样性可以保证船舶名称定位神经网络能学习到船舶名称字符特征的多样性，使得船舶名称字符特征的表达能力比较强，不同的船舶名称字符特征差异明显。
本实施例将船舶名称区域训练数据集中的图像记为第一样本图像。
S802、根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练。
利用船舶名称区域训练数据集训练船舶名称定位神经网络，使得该船舶名称定位神经网络对提取出来的特征对船舶名称的区域具有高度的区分特性；其中，船舶名称定位神经网络采用darknet中的YOLO(You Only Look Once:Unified,Real-Time ObjectDetection)模型。
进一步地，该步骤S802如图9所示，具体包括：
S8021、对船舶名称区域训练数据集中每张第一样本图像的船舶位置进行标注。
具体地，使用标注工具标注对船舶名称区域训练数据集中每张第一样本图像的船舶位置，并赋予标签。
S8022、对标注后的第一样本图像进行数据增强，得到不同批次的第一样本图像。
具体地，对标注后的第一样本图像进行高斯噪声、动态模糊(p＝0.1)、平移旋转缩放(p＝0.2)等数据增强方式，得到不同批次的第一样本图像。
S8023、分批次将不同船舶名称区域的第一样本图像输入到船舶名称定位神经网络中进行训练。
本实施例中，每一批次为64张训练样本，每次训练需要迭代3000次，直到每5次迭代的平均训练误差低于0.01即可结束训练；由于只做单一的船舶名称区域检测定位，因此检测船舶名称区域的专一性较高，按照规范进行训练，得到训练好参数的船舶名称定位神经网络。
进一步地，本实施例的船舶名称定位神经网络的损失函数包括预测中心坐标损失函数、预测边界框的宽高损失函数以及预测置信度损失函数。
预测中心坐标损失函数，如下式：
Figure BDA0002485521150000091
其中，λ为给定的常数；i为每个网格单元，i＝0,..,S2；j为每个网格单元的每个边界框预测值，j＝0,..,B；(x,y)为预测边界框的位置；
Figure BDA0002485521150000094
为从训练数据中得到的实际位置；
预测边界框的宽高损失函数，如下式：
Figure BDA0002485521150000092
其中，(w,h)为预测边界框的宽和高，
Figure BDA0002485521150000093
为从船舶名称识别训练数据集中得到的实际宽和高；
预测置信度损失函数，如下式：
Figure BDA0002485521150000101
其中，C为置信度得分，
Figure BDA0002485521150000102
为预测边界框与基本事实的交叉部分；当在一个单元格中有对象时，
Figure BDA0002485521150000103
等于1，否则取值为0。
S803、获取目标图像。
具体地，可以通过前端摄像头采集目标图像。
S804、将目标图像输入到训练好的船舶名称定位神经网络中进行检测。
具体地，将目标图像输入到训练好的船舶名称定位神经网络中进行检测，若检测到船舶名称区域，可以判定该目标图像存在船舶名称，进入步骤S805，若未检测到船舶名称区域，则继续进行检测。
S805、通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置。
S806、根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像。
具体地，利用图像处理函数库OpenCV对目标图像进行分割，去除背景，减少后序步骤的噪声引入，将船舶名称区域裁剪出来，得到第二船舶名称区域图像。
S807、根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集。
进一步地，该步骤S807如图10所示，具体包括：
S8071、从左到右对第二船舶名称区域图像的字符进行标注，并对第二船舶名称区域图像的船舶名称进行标注。
对第二船舶名称区域图像进行标注，并且标注的原则应该严格按照船舶名称在第二船舶名称区域图像中的相对位置，即从左往右对第二船舶名称区域图像的字符进行标注；同时，由于部分船舶名称存在断字缺字等情况，此处标注应尽量一起将原来的船名标注出来，让每一艘船舶的第二船舶名称区域图像对应一串字符串。
S8072、将标注后的第二船舶名称区域图像作为第二样本图像，建立自然场景的船舶名称识别训练数据集。
S808、根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
进一步地，该步骤S808如图11所示，具体包括：
S8081、将船舶名称识别训练数据集中的第二样本图像缩放到统一大小。
具体地，使用OpenCV库将船舶名称识别训练数据集中的第二样本图像缩放到统一大小。
S8082、分批次将不同船舶名称区域的第二样本图像输入到船舶名称识别神经网络中进行训练。
本实施例中，每一批次为128张训练样本，每次训练需要迭代5000次，直到每5次迭代的平均训练误差低于0.1即可结束训练。
本领域技术人员可以理解，实现上述实施例的方法中的全部或部分步骤可以通过程序来指令相关的硬件来完成，相应的程序可以存储于计算机可读存储介质中。
应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
实施例2：
如图12所示，本实施例提供了一种船舶名称识别系统，该系统包括第一获取模块1201、第一检测模块1202、第一定位模块1203、分割模块1204和识别模块1205，各个模块的具体功能如下：
所述第一获取模块1201，用于获取待识别船舶图像。
所述第一检测模块1202，用于将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测。
所述第一定位模块1203，用于当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置。
所述第一分割模块1204，用于根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像。
所述识别模块1205，用于将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
如图13所示，所述获取模块1201之前，还包括第一建立模块1301、第一训练模块1302、第二获取模块1303、第二检测模块1304、第二定位模块1305、第二分割模块1306、第二建立模块1307和第二训练模块1308，各个模块的具体功能如下：
所述第一建立模块1301，用于建立自然场景的船舶名称区域训练数据集；其中，所述船舶名称区域训练数据集包括多张第一样本图像。
所述第一训练模块1302，用于根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练。
所述第二获取模块1303，用于获取目标图像。
所述第二检测模块1304，用于将目标图像输入到训练好的船舶名称定位神经网络中进行检测。
所述第二定位模块1305，用于当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置。
所述第二分割模块1306，用于根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像。
所述第二建立模块1307，用于根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集；其中，所述船舶名称识别训练数据集包括多张第二样本图像。
所述第二训练模块1308，用于根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
进一步地，所述第一训练模块1302如图14所示，具体包括：
第一标注单元13021，用于对船舶名称区域训练数据集中每张第一样本图像的船舶位置进行标注。
数据增强单元13022，用于对标注后的第一样本图像进行数据增强，得到不同批次的第一样本图像；其中，所述数据增强包括高斯噪声、动态模糊和平移旋转缩放。
第一训练单元13023，用于分批次将不同船舶名称区域的第一样本图像输入到船舶名称定位神经网络中进行训练。
进一步地，所述第二建立模块1307如图15所示，具体包括：
第二标注单元13071，用于从左到右对第二船舶名称区域图像的字符进行标注，并对第二船舶名称区域图像的船舶名称进行标注。
建立单元13072，用于将标注后的第二船舶名称区域图像作为第二样本图像，建立自然场景的船舶名称识别训练数据集。
进一步地，所述第二训练模块1308如图16所示，具体包括：
缩放单元13081，用于将船舶名称识别训练数据集中的第二样本图像缩放到统一大小。
第二训练单元13082，用于分批次将不同船舶名称区域的第二样本图像输入到船舶名称识别神经网络中进行训练。
本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
可以理解，本实施例的装置所使用的术语“第一”、“第二”等可用于描述各种模块，但这些模块不受这些术语限制。这些术语仅用于将第一个模块与另一个模块区分。举例来说，在不脱离本发明的范围的情况下，可以将第一检测模块称为第二检测模块，且类似地，可将第一检测模块称为第一检测模块，第一检测模块和第二检测模块两者都是检测模块，但不是同一检测模块。
实施例3：
本实施例提供了一种计算机设备，该计算机设备为计算机，如图17所示，其包括通过系统总线1701连接的处理器1702、存储器、输入装置1703、显示器1704和网络接口1705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质1706和内存储器1707，该非易失性存储介质1706存储有操作系统、计算机程序和数据库，该内存储器1707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器1702执行存储器存储的计算机程序时，实现上述实施例1的船舶名称识别方法，如下：
获取待识别船舶图像；
将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
进一步地，所述获取待识别船舶图像之前，还包括：
建立自然场景的船舶名称区域训练数据集；其中，所述船舶名称区域训练数据集包括多张第一样本图像；
根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练；
获取目标图像；
将目标图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置；
根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像；
根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集；其中，所述船舶名称识别训练数据集包括多张第二样本图像；
根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
实施例4：
本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的船舶名称识别方法，如下：
获取待识别船舶图像；
将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
进一步地，所述获取待识别船舶图像之前，还包括：
建立自然场景的船舶名称区域训练数据集；其中，所述船舶名称区域训练数据集包括多张第一样本图像；
根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练；
获取目标图像；
将目标图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置；
根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像；
根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集；其中，所述船舶名称识别训练数据集包括多张第二样本图像；
根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、随机存取存储器(RAM，Random Access Memory)、U盘、移动硬盘等介质。
综上所述，本发明通过视频图像分析，利用训练好的船舶名称定位神经网络和船舶名称识别神经网络，能够实现对视频流采集的船舶图像进行船舶名称的识别，即通过视频监控可以全自动识别水上航行的船舶名称，解决在传统情况下船舶身份识别难的问题，对海事交通管理、事故调查、水利打击非法采砂、航道船舶过闸收费、海关打击走私活动等都有智能辅助作用，同时也是水上各监管部门迫切需求的一个智能水上船舶身份识别手段；此外，由于船舶名称特征是利用深度神经网络提取，具备高层感知语义，具有高度的鲁棒性。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (10)

1.一种船舶名称识别方法，其特征在于，所述方法包括：
获取待识别船舶图像；
将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
2.根据权利要求1所述的船舶名称识别方法，其特征在于，所述获取待识别船舶图像之前，还包括：
建立自然场景的船舶名称区域训练数据集；其中，所述船舶名称区域训练数据集包括多张第一样本图像；
根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练；
获取目标图像；
将目标图像输入到训练好的船舶名称定位神经网络中进行检测；
当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第二坐标位置；
根据第二坐标位置，对目标图像进行分割，得到第二船舶名称区域图像；
根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集；其中，所述船舶名称识别训练数据集包括多张第二样本图像；
根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练。
3.根据权利要求2所述的船舶名称识别方法，其特征在于，所述根据船舶名称区域训练数据集，对船舶名称定位神经网络进行训练，具体包括：
对船舶名称区域训练数据集中每张第一样本图像的船舶位置进行标注；
对标注后的第一样本图像进行数据增强，得到不同批次的第一样本图像；其中，所述数据增强包括高斯噪声、动态模糊和平移旋转缩放；
分批次将不同船舶名称区域的第一样本图像输入到船舶名称定位神经网络中进行训练。
4.根据权利要求2所述的船舶名称识别方法，其特征在于，所述根据第二船舶名称区域图像，建立自然场景的船舶名称识别训练数据集，具体包括：
从左到右对第二船舶名称区域图像的字符进行标注，并对第二船舶名称区域图像的船舶名称进行标注；
将标注后的第二船舶名称区域图像作为第二样本图像，建立自然场景的船舶名称识别训练数据集。
5.根据权利要求2所述的船舶名称识别方法，其特征在于，所述根据船舶名称识别训练数据集，对船舶名称识别神经网络进行训练，具体包括：
将船舶名称识别训练数据集中的第二样本图像缩放到统一大小；
分批次将不同船舶名称区域的第二样本图像输入到船舶名称识别神经网络中进行训练。
6.根据权利要求1-5任一项所述的船舶名称识别方法，其特征在于，所述船舶名称定位神经网络的损失函数包括预测中心坐标损失函数、预测边界框的宽高损失函数以及预测置信度损失函数；
所述预测中心坐标损失函数，如下式：
Figure FDA0002485521140000021
其中，为给定的常数；i为每个网格单元，i＝0,..,S2；j为每个网格单元的每个边界框预测值，j＝0,..,B；(x,y)为预测边界框的位置；
Figure FDA0002485521140000022
为从训练数据中得到的实际位置；
所述预测边界框的宽高损失函数，如下式：
Figure FDA0002485521140000023
其中，(w,h)为预测边界框的宽和高，
Figure FDA0002485521140000024
为从船舶名称识别训练数据集中得到的实际宽和高；
所述预测置信度损失函数，如下式：
Figure FDA0002485521140000031
其中，C为置信度得分，
Figure FDA0002485521140000032
为预测边界框与基本事实的交叉部分；当在一个单元格中有对象时，
Figure FDA0002485521140000033
等于1，否则取值为0。
7.根据权利要求1-5任一项所述的船舶名称识别方法，其特征在于，所述船舶名称识别神经网络包括相连的卷积神经网络和长短期记忆网络，所述卷积神经网络包括七个卷积层、七个激活函数层和四个最大池化层。
8.一种船舶名称识别系统，其特征在于，所述系统包括：
获取模块，用于获取待识别船舶图像；
检测模块，用于将待识别船舶图像输入到训练好的船舶名称定位神经网络中进行检测；
定位模块，用于当检测到船舶名称区域时，通过船舶名称定位神经网络对船舶名称区域进行定位，输出得到船舶名称区域对应的第一坐标位置；
分割模块，用于根据第一坐标位置，对待识别船舶图像进行分割，得到第一船舶名称区域图像；
识别模块，用于将第一船舶名称区域图像输入到训练好的船舶名称识别神经网络中进行识别，输出得到船舶名称识别结果。
9.一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-7任一项所述的船舶名称识别方法。
10.一种存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的船舶名称识别方法。
CN202010390510.XA 2020-05-11 2020-05-11 船舶名称识别方法、系统、计算机设备及存储介质 Active CN111582182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010390510.XA CN111582182B (zh) 2020-05-11 2020-05-11 船舶名称识别方法、系统、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010390510.XA CN111582182B (zh) 2020-05-11 2020-05-11 船舶名称识别方法、系统、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN111582182A true CN111582182A (zh) 2020-08-25
CN111582182B CN111582182B (zh) 2023-08-11

Family

ID=72113523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010390510.XA Active CN111582182B (zh) 2020-05-11 2020-05-11 船舶名称识别方法、系统、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN111582182B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036396A (zh) * 2020-09-14 2020-12-04 上海高德威智能交通系统有限公司 船名识别方法、装置、电子设备及计算机可读存储介质
CN112232269A (zh) * 2020-10-29 2021-01-15 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及系统
CN113139077A (zh) * 2020-11-04 2021-07-20 西安天和防务技术股份有限公司 一种识别船舶身份的方法、装置、终端及存储介质
CN114202581A (zh) * 2021-12-09 2022-03-18 云赛智联股份有限公司 一种长江禁渔智能管控系统及方法
CN114881336A (zh) * 2022-05-17 2022-08-09 广州海事科技有限公司 自动标示虚拟航标方法、系统、计算机设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230390A (zh) * 2017-06-26 2017-10-03 山东中创软件工程股份有限公司 一种船舶安全监管方法及装置
CN109284754A (zh) * 2018-11-01 2019-01-29 哈尔滨工业大学 基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法
CN109583451A (zh) * 2018-11-28 2019-04-05 上海鹰觉科技有限公司 基于舰船舷号的自动识别方法和系统
CN109993163A (zh) * 2019-03-19 2019-07-09 苏州大学 一种基于人工智能的非标铭牌识别系统及其识别方法
JP2019175462A (ja) * 2018-03-29 2019-10-10 コリア インスティテュート オブ オーシャン サイエンス テクノロジー 教師なし学習方法を用いた船舶の異常運航状態自動識別システムおよびその方法
CN110334703A (zh) * 2019-06-14 2019-10-15 武汉科技大学 一种昼夜图像中的船舶检测和识别方法
CN110598693A (zh) * 2019-08-12 2019-12-20 浙江工业大学 一种基于Faster-RCNN的船牌识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107230390A (zh) * 2017-06-26 2017-10-03 山东中创软件工程股份有限公司 一种船舶安全监管方法及装置
JP2019175462A (ja) * 2018-03-29 2019-10-10 コリア インスティテュート オブ オーシャン サイエンス テクノロジー 教師なし学習方法を用いた船舶の異常運航状態自動識別システムおよびその方法
CN109284754A (zh) * 2018-11-01 2019-01-29 哈尔滨工业大学 基于计算机视觉的桥梁区域船舶几何轮廓自动辨识方法
CN109583451A (zh) * 2018-11-28 2019-04-05 上海鹰觉科技有限公司 基于舰船舷号的自动识别方法和系统
CN109993163A (zh) * 2019-03-19 2019-07-09 苏州大学 一种基于人工智能的非标铭牌识别系统及其识别方法
CN110334703A (zh) * 2019-06-14 2019-10-15 武汉科技大学 一种昼夜图像中的船舶检测和识别方法
CN110598693A (zh) * 2019-08-12 2019-12-20 浙江工业大学 一种基于Faster-RCNN的船牌识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036396A (zh) * 2020-09-14 2020-12-04 上海高德威智能交通系统有限公司 船名识别方法、装置、电子设备及计算机可读存储介质
CN112232269A (zh) * 2020-10-29 2021-01-15 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及系统
CN112232269B (zh) * 2020-10-29 2024-02-09 南京莱斯网信技术研究院有限公司 一种基于孪生网络的船舶身份智能识别方法及系统
CN113139077A (zh) * 2020-11-04 2021-07-20 西安天和防务技术股份有限公司 一种识别船舶身份的方法、装置、终端及存储介质
CN113139077B (zh) * 2020-11-04 2023-03-10 西安天和防务技术股份有限公司 一种识别船舶身份的方法、装置、终端及存储介质
CN114202581A (zh) * 2021-12-09 2022-03-18 云赛智联股份有限公司 一种长江禁渔智能管控系统及方法
CN114881336A (zh) * 2022-05-17 2022-08-09 广州海事科技有限公司 自动标示虚拟航标方法、系统、计算机设备及存储介质

Also Published As

Publication number Publication date
CN111582182B (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
CN111582182A (zh) 船舶名称识别方法、系统、计算机设备及存储介质
US20240013402A1 (en) Ship image trajectory tracking and prediction method based on ship heading recognition
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Xiao et al. A target detection model based on improved tiny-yolov3 under the environment of mining truck
CN109255317B (zh) 一种基于双网络的航拍图像差异检测方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN112418028A (zh) 一种基于深度学习的卫星图像中船舶识别与分割方法
Xingxin et al. Adaptive auxiliary input extraction based on vanishing point detection for distant object detection in high-resolution railway scene
CN114429577B (zh) 一种基于高置信标注策略的旗帜检测方法及系统及设备
Lee et al. An intelligent driving assistance system based on lightweight deep learning models
Zhang et al. Improved Lane Detection Method Based on Convolutional Neural Network Using Self-attention Distillation.
CN118212523A (zh) 基于深度融合优化特征增强网络的sar图像船舰检测方法
CN109002750B (zh) 一种基于显著性检测与图像分割的相关滤波跟踪方法
Shao et al. An efficient model for small object detection in the maritime environment
Yang Intelligent recognition of traffic signs based on improved YOLO v3 algorithm
CN117671617A (zh) 一种集装箱港口环境下的实时车道识别方法
CN111832463A (zh) 一种基于深度学习的交通标志检测方法
CN115019107B (zh) 基于风格迁移的声呐仿真图像生成方法、系统及介质
CN114863103A (zh) 一种无人潜航器识别方法、设备和存储介质
Li et al. Chinese license plate recognition algorithm based on unet3+
Li et al. Ctmu-net: an improved u-net for semantic segmentation of remote-sensing images based on the combined attention mechanism
Hammedi et al. On reliable awareness system for autonomous river vessels
Zhang et al. Traffic sign detection algorithm based on improved YOLOv7
Yu et al. YOLOv5-Based Dense Small Target Detection Algorithm for Aerial Images Using DIOU-NMS.
Zhang et al. A Text-Detecting Method Based on Improved CTPN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230627

Address after: Room 1402, Building C3, No. 10 Minsheng Street, Huangpu District, Guangzhou City, Guangdong Province, 510700

Applicant after: Guangzhou Chuangyiyuan Intelligent Technology Co.,Ltd.

Applicant after: Guangdong yousuan Technology Co.,Ltd.

Address before: Room 1402, Building C3, No. 10 Minsheng Street, Huangpu District, Guangzhou City, Guangdong Province, 510700

Applicant before: Guangzhou Chuangyiyuan Intelligent Technology Co.,Ltd.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 305B, 3rd Floor, Building 22, Shunlian Machinery City, No. 18 Xingye Fourth Road, Guanglong Industrial Park, Chihua Community, Chencun Town, Shunde District, Foshan City, Guangdong Province, 528300

Applicant after: Guangdong chuangyiyuan Intelligent Technology Co.,Ltd.

Applicant after: Guangdong yousuan Technology Co.,Ltd.

Address before: Room 1402, Building C3, No. 10 Minsheng Street, Huangpu District, Guangzhou City, Guangdong Province, 510700

Applicant before: Guangzhou Chuangyiyuan Intelligent Technology Co.,Ltd.

Applicant before: Guangdong yousuan Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240219

Address after: Room E256, Building 9, No. 33 Maqun Street, Maqun Street, Qixia District, Nanjing City, Jiangsu Province, 211500

Patentee after: Weiteng Information Technology (Nanjing) Co.,Ltd.

Country or region after: China

Address before: Room 305B, 3rd Floor, Building 22, Shunlian Machinery City, No. 18 Xingye Fourth Road, Guanglong Industrial Park, Chihua Community, Chencun Town, Shunde District, Foshan City, Guangdong Province, 528300

Patentee before: Guangdong chuangyiyuan Intelligent Technology Co.,Ltd.

Country or region before: China

Patentee before: Guangdong yousuan Technology Co.,Ltd.