CN113780127A - 一种船舶定位与监控系统及方法 - Google Patents

一种船舶定位与监控系统及方法 Download PDF

Info

Publication number
CN113780127A
CN113780127A CN202111008304.9A CN202111008304A CN113780127A CN 113780127 A CN113780127 A CN 113780127A CN 202111008304 A CN202111008304 A CN 202111008304A CN 113780127 A CN113780127 A CN 113780127A
Authority
CN
China
Prior art keywords
ship
information
ais
monitoring
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111008304.9A
Other languages
English (en)
Inventor
杨杰
杨建豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202111008304.9A priority Critical patent/CN113780127A/zh
Publication of CN113780127A publication Critical patent/CN113780127A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/285Analysis of motion using a sequence of stereo image pairs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Abstract

本发明涉及一种船舶定位与监控系统及方法,该方法包括:采集船舶AIS信息和双目视觉图像;将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。本发明可以在港口的监控区域对船舶进行视频监视,同时在监控视频中可以自动标注出每个船舶的船号并且持续跟踪,并且可以选择目标船舶进行静态信息和动态信息的查询。

Description

一种船舶定位与监控系统及方法
技术领域
本发明涉及海上交通技术领域,尤其涉及一种船舶定位与监控系统及方法。
背景技术
随着海运业的发展,各港口进出的船舶数目急剧增加,港口交通运输事业日益繁重和复杂,港口交通的安全和效率问题已成为世界性的热点问题。最近几年,港口船舶交通事故一直居高不下,造成了严重的人员伤亡和财产损失,其原因主要表现:部分船舶违章航行,超载、超线造成事故;船员驾驶技术较差、操作不当或对航道环境不熟悉造成事故;港口通航条件较差,给驾驶人员的操作增加了难度。与此同时,港口调度指挥不当导致的塞港事件也急剧增多,大大降低了港口作业的效率,造成了严重的经济损失。
为减少港口船舶交通事故的发生,缓解港口船舶管理强度,提高港口的工作效率,建设现代化港口调度指挥和智能化进程迫在眉睫。因此,建立港口智能监控和调度指挥系统,在港口的监控区域对进出的船舶进行实时监控以及指挥,方便监管人员实时观察传播的航行信息,及时提醒船舶修正航速、航向,才可以有效地规避港口可能发生的交通事故,保障港口交通的顺畅和港口作业的有效运行。同时,建立港口智能监控和调度指挥系统,有利于监管人员查询监控区域船舶的船名、船号、国籍等静态信息,对可疑目标进行视频监控;在发生交通事故以后能直观地判断出事海域,及时给救险提供安全保障;同时保存交通事故视频,方便事故责任的认定和处理。
现有技术中,对港口区域各船舶的调度依旧采用传统的人工识别作业的方法,无法智能高效地确定船舶状态,从而难以展开快速实时的调度。因此,如何提高港口船舶监测的实时性和高效性是亟待解决的问题。
发明内容
有鉴于此,有必要提供一种船舶定位与监控系统,用以克服现有技术中港口船舶识别的实时性和高效性不强的问题。
本发明提供一种船舶定位与监控系统,包括信息采集模块和监控中心,其中:
所述信息采集模块,用于采集港口处各船舶的AIS信息和双目视觉图像;
所述监控中心,用于将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
进一步地,所述信息采集模块包括安装在港口岸边相同位置处的AIS信息采集装置和双目采集装置,其中:
所述AIS信息采集装置,用于采集各船舶的所述船舶AIS信息,且包括用于接收各船舶发出的发射AIS信号的VHF天线、用于获取信息采集模块的经纬度信息的外置GPS天线和用于传输所述发射AIS信号和所述经纬度信息的AIS收发机;
所述双目采集装置,用于采集反映各船舶监控图像的所述双目视觉图像,且包括旋转平台、用于固定所述旋转平台的基座和被所述旋转平台支撑的双目摄像机。
本发明还提供了一种船舶定位与监控方法,基于根据如上所述的船舶定位与监控系统,所述方法包括:
采集船舶AIS信息和双目视觉图像;
将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
进一步地,所述将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪包括:
根据所述双目视觉图像,对各船舶的类型进行识别,确定并标注各船舶对应的标注类型信息;
根据所述船舶AIS信息,确定各船舶与信息采集模块的真实距离信息;
根据所述标注类型信息和所述真实距离信息,对各船舶进行实时的定位和跟踪。
进一步地,所述根据所述双目视觉图像,对各船舶的类型进行识别,确定并标注各船舶对应的标注类型信息包括:
将所述双目视觉图像输入至训练完备的基于YOLOv5算法的神经网络;
根据所述神经网络的预测矩形框,对检测图像中的各船舶进行标注,生成所述标注类型信息。
进一步地,所述神经网络的网络结构包括输入层、主干网络Backbone层、Neck层和预测端Prediction层,且所述神经网络的边界损失函数通过如下公式表示:
Figure BDA0003237351410000031
其中,CIOULOSS表示所述边界损失函数,IOU表示所述预测矩形框和实际矩形框的交并比,r1表示所述预测矩形框对应的最小对角线距离,r2表示所述预测矩形框的中心点与所述实际矩形框的距离,v表示衡量所述预测矩形框的长宽比一致性的参数,通过如下公式表示:
Figure BDA0003237351410000032
其中,wgt和hgt表示所述实际矩形框的框宽和框高,wp和hp表示所述预测矩形框的框宽和框高。
进一步地,所述船舶AIS信息包括各船舶发出的发射AIS信号和各船舶的经纬度信息,所述根据所述船舶AIS信息,确定各船舶与信息采集模块的真实距离信息包括:
根据所述发射AIS信号中的经度信息和所述经纬度信息中的经度信息,确定各船舶与所述信息采集模块对应的东西向距离;
根据所述发射AIS信号中的纬度信息和所述经纬度信息中的纬度信息,确定各船舶与所述信息采集模块对应的南北向距离;
基于勾股定理,根据所述东西向距离和所述南北向距离计算各船舶对应的所述真实距离信息。
进一步地,所述根据所述标注类型信息和所述真实距离信息,对各船舶进行实时的定位和跟踪包括:
基于SURF特征点匹配算法,根据各船舶的所述标注类型信息,确定各船舶与所述信息采集模块之间的预测距离信息;
将所述预测距离信息和所述真实距离信息进行比较,生成第一比较结果;
将各船舶的所述标注类型信息中的船舶类型与对应的所述船舶AIS信息中的船舶类型进行比较,生成第二比较结果;
根据所述第一比较结果和所述第二比较结果,匹配所述船舶AIS信息和所述双目视觉图像中的预测目标框,并进行船号标注,得到最终检测框。
进一步地,所述基于SURF特征点匹配算法,根据各船舶的所述标注类型信息,确定各船舶与所述信息采集模块之间的预测距离信息包括:
基于SURF特征点匹配算法,对所述双目视觉图像的左视图和右视图进行特征点匹配;
结合各船舶的所述标注类型信息的预测矩形框,对匹配的特征点进行约束筛选,确定所述左视图和所述右视图之间的视差信息;
根据所述视差信息,确定所述预测距离信息。
进一步地,所述方法还包括:
获取多帧监测视频中的当前帧图像;
基于SORT的多目标跟踪算法,对所述当前帧图像和对应前一帧图像进行卡尔曼滤波器处理,确定对应前一帧图像的最终检测框的预测状态和预测协方差;
根据所述预测状态和所述预测协方差,确定所述当前帧图像的各个最终检测框和所述前一帧图像的各个最终检测框的交并比,并根据所述交并比,匹配两帧之间的各个最终检测框;
根据当前帧图像匹配到的最终检测框,更新卡尔曼滤波器,输出更新后的状态值,生成最终跟踪结果。
与现有技术相比,本发明的有益效果包括:首先,对港口处各船舶的AIS信息和双目视觉图像进行有效的获取,基于多方面信息,展开船舶识别;然后,利用船舶AIS信息和双目视觉图像进行相互匹配,达到互相验证的效果,避免某一方信息的识别不准确,造成船舶识别的失误,利用信息间的相互补充、相互验证,达到提高船舶识别的实时性、准确性和高效性的目的。综上,本发明可以在港口的监控区域对船舶进行视频监视,同时在监控视频中可以自动标注出每个船舶的船号并且持续跟踪,并且可以选择目标船舶进行静态信息和动态信息的查询。
附图说明
图1为本发明提供的船舶定位与监控系统一实施例的流程示意图;
图2为本发明提供的船舶定位与监控系统一具体实施例的硬件示意图;
图3为本发明提供的船舶定位与监控方法一实施例的流程示意图;
图4为本发明提供的图3中步骤S2一实施例的流程示意图;
图5为本发明提供的图4中步骤S21一实施例的流程示意图;
图6为本发明提供的图4中步骤S22一实施例的流程示意图;
图7为本发明提供的图4中步骤S23一实施例的流程示意图;
图8为本发明提供的图7中步骤S231一实施例的流程示意图;
图9为本发明提供的图3中后续步骤一实施例的流程示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例,其中,附图构成本申请一部分,并与本发明的实施例一起用于阐释本发明的原理,并非用于限定本发明的范围。
在本发明的描述中,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明的描述中,提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,所描述的实施例可以与其它实施例相结合。
本发明提供了一种船舶定位与监控系统,结合图1来看,图1为本发明提供的船舶定位与监控系统一实施例的流程示意图,结合船舶AIS信息和双目视觉图像,进行信息匹配,相互验证,为进一步提高船舶识别监测的实时性和高效性提供了新思路。以下分别进行详细说明:
本发明实施例提供了一种船舶定位与监控系统,船舶定位与监控系统000包括信息采集模块001和监控中心002,其中:
所述信息采集模块001,用于采集港口处各船舶的AIS信息和双目视觉图像;
所述监控中心002,用于将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
在本发明实施例中,首先,对港口处各船舶的AIS信息和双目视觉图像进行有效的获取,基于多方面信息,展开船舶识别;然后,利用船舶AIS信息和双目视觉图像进行相互匹配,达到互相验证的效果,避免某一方信息的识别不准确,造成船舶识别的失误,利用信息间的相互补充、相互验证,达到提高船舶识别的实时性、准确性和高效性的目的。
作为优选的实施例,所述信息采集模块包括安装在港口岸边相同位置处的AIS信息采集装置和双目采集装置,其中:
所述AIS信息采集装置,用于采集各船舶的所述船舶AIS信息,且包括用于接收各船舶发出的发射AIS信号的VHF天线10、用于获取信息采集模块的经纬度信息的外置GPS天线11和用于传输所述发射AIS信号和所述经纬度信息的AIS收发机4;
所述双目采集装置,用于采集反映各船舶监控图像的所述双目视觉图像,且包括旋转平台、用于固定所述旋转平台的基座和被所述旋转平台支撑的双目摄像机1。
在本发明实施例中,设置AIS信息采集装置中的VHF天线和外置GPS天线,分别采集各船舶发出的发射AIS信号和信息采集模块的经纬度信息,并将上述两种信息通过AIS收发机进行发送;设置双目采集装置中的旋转平台、基座和双目摄像机,从而对港口的各船舶进行监测,获取双目视觉图像。
作为优选的实施例,上述系统还包括信息传输装置,用于将所述AIS信息和所述双目视觉图像传输至所述监测中心,且包括网络视频服务器2、视频传输电缆5、控制线6、网线7、RS232接口9。在本发明实施例中,通过信息传输装置的通信连接,有效地将所述AIS信息和所述双目视觉图像从采集端发送至处理端。
作为优选的实施例,上述系统还包括供电与防雷设备,用于整套系统的供电与防护。在本发明实施例中,设置供电与防雷设备,保证这个系统的安全运行。
作为具体的实施例,结合图2来看,图2为本发明提供的船舶定位与监控系统一具体实施例的硬件示意图,该系统包括双目摄像机1、网络视频服务器2、监控中心的计算机3、AIS接收器4、视频传输电缆5、控制线6、网线7、外部硬盘8、RS232接口9、VHF天线10、GPS接收器11。双目摄像机1通过视频传输电缆5和控制线6与网络视频服务器2相连;VHF天线10和GPS接收器11连接在AIS接收器4上面;AIS接收器4通过RS232接口9与监控中心计算机3相连;网络视频服务器2和监控中心计算机3通过网线7相连;外部硬盘8插在监控中心的计算机3上面,用于存储数据信息。
在本发明一个具体的实施例中,港口船舶的AIS信息采集装置包括VHF天线10、AIS收发机4、外置GPS天线11。其中,AIS收发机4以串行(RS-232或RS-422)的方式从数据接口输出NMEA-0183格式的电文信息,由此,监控中心的计算机3不含串行接口,需要相应转换器将串口转换为USB接口;其中,AIS收发机4的VHF天线10用于接收港口船舶发出的AIS信号,外置GPS天线11用于获取信息采集装置的经纬度,两种信息在获取后会被AIS收发机4以串行(RS-232或RS-422)的方式从数据接口输出至监控中心的计算机,随后进行解码并且存入数据库中。
在本发明一个具体的实施例中,港口船舶的双目采集装置包括基座、旋转平台、双目摄像机1组成。基座用于固定旋转平台,旋转平台用于支撑双目摄像机,可以调整双目摄像机的拍摄角度;双目摄像机将左、右摄像头采集的实时视频信息传输至嵌入式系统终端,终端的视频压缩传输单元将视频信息压缩后,经网络传输设备发送至网络视频服务器2,以供监控中心的计算机3加载和读取。
其中,结合图1、图2来看,上述系统的运行原理如下:
AIS信息采集装置将采集的收发AIS信号和GPS信息传输至监控中心的计算机3内进行解码,并录入数据库中,同时,双目摄像机1采集实时的港口监控视频,并上传至网络视频服务器2以供监控中心计算机3读取和存储。在获取到港口船舶的收发AIS信息和装置的GPS信息,以及左、右摄像机拍摄的港口实时监控视频之后,监控中心002会根据AIS信息和双目图像中各船舶相对于云台摄像机的距离关系的比较以及船舶类型的比较,完成数据库中船舶AIS信号和监控视频中船舶图像的匹配,并用AIS信息的船号对监控视频中的船舶进行船号标注,并且在视频的后续帧中用矩形框持续跟踪,以供监控中心的工作人员查看,方便进一步进行港口船舶的调度指挥,同时将历史信息存储在插在监控中心的计算机3的外部硬盘8里,用于事故后责任认定的处理。
本发明实施例提供了一种船舶定位与监控方法,结合图3来看,图3为本发明提供的船舶定位与监控方法一实施例的流程示意图,包括步骤S1至步骤S2,其中:
在步骤S1中,采集船舶AIS信息和双目视觉图像;
在步骤S2中,将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
在本发明实施例中,首先,对港口处各船舶的AIS信息和双目视觉图像进行有效的获取,基于多方面信息,展开船舶识别;然后,利用船舶AIS信息和双目视觉图像进行相互匹配,达到互相验证的效果,避免某一方信息的识别不准确,造成船舶识别的失误,利用信息间的相互补充、相互验证,达到提高船舶识别的实时性、准确性和高效性的目的。
需要说明的是,船舶AIS信息包括各船舶发出的发射AIS信号和各船舶的经纬度信息,其中,发射AIS信号包括但不限于船舶的定位信息和航行状态信息,用于反馈船舶的地理位置、航行参数以及船舶信息,而船舶信息包括但不限于船舶类型、船舶识别号,以识别船舶身份。
需要说明的是,结合上述系统来看,本发明实施例的船舶定位与监控方法,在收集到某一时刻港口船舶发来的AIS信息以及港口双目监控视频后,监控中心的计算机3使用基于YOLOv5的船舶识别算法对监控视频中的船舶进行类型识别和标注,并将识别结果与数据库中AIS信息的船舶类型比较;同时,使用基于SURF特征点匹配的双目测距算法,根据左右相机的图像,计算各船舶与信息采集装置的距离,并且根据信息采集装置的经纬度和AIS信息中的各船舶经纬度,计算各船舶与信息采集装置之间的真实距离,完成距离的比较。通过距离关系与船舶类别的分别比较,完成数据库中船舶AIS信息和监控视频中船舶图像的匹配,并用AIS信息的船号以矩形框的形式对监控视频中的船舶进行船号标注,之后使用基于SORT的多目标跟踪算法,在视频的后续帧中用矩形框持续跟踪,以供监控中心002的工作人员查看,方便进一步进行港口船舶的调度指挥。
作为优选的实施例,结合图4来看,图4为本发明提供的图3中步骤S2一实施例的流程示意图,步骤S2具体包括步骤S21至步骤S23,其中:
在步骤S21中,根据所述双目视觉图像,对各船舶的类型进行识别,确定并标注各船舶对应的标注类型信息;
在步骤S22中,根据所述船舶AIS信息,确定各船舶与信息采集模块的真实距离信息;
在步骤S23中,根据所述标注类型信息和所述真实距离信息,对各船舶进行实时的定位和跟踪。
在本发明实施例中,通过双目视觉图像和船舶AIS信息,获取港口监控区域的信息,使用目标检测技术和双目测距技术的结合,在监控视频中自动标注出每个船舶的船号,以实现定位和跟踪。
作为优选的实施例,结合图5来看,图5为本发明提供的图4中步骤S21一实施例的流程示意图,步骤S21具体包括步骤S211至步骤S212,其中:
在步骤S211中,将所述双目视觉图像输入至训练完备的基于YOLOv5算法的神经网络;
在步骤S212中,根据所述神经网络的预测矩形框,对检测图像中的各船舶进行标注,生成所述标注类型信息。
在本发明实施例中,基于YOLOv5的船舶识别算法,准确率高,检测速度快,可以达到实时的效果,并且模型占用空间小。
作为优选的实施例,所述神经网络的网络结构包括输入层、主干网络Backbone层、Neck层和预测端Prediction层,且所述神经网络的边界损失函数通过如下公式表示:
Figure BDA0003237351410000101
其中,CIOULOSS表示所述边界损失函数,IOU表示所述预测矩形框和实际矩形框的交并比,r1表示所述预测矩形框对应的最小对角线距离,r2表示所述预测矩形框的中心点与所述实际矩形框的距离,v表示衡量所述预测矩形框的长宽比一致性的参数,通过如下公式表示:
Figure BDA0003237351410000111
其中,wgt和hgt表示所述实际矩形框的框宽和框高,wp和hp表示所述预测矩形框的框宽和框高。
在本发明实施例中,利用YOLOv5的船舶识别算法作为检测器,利用其边界损失函数,进行了有效的训练,保证网络的准确性。
在本发明一个具体的实施例中,基于YOLOv5的船舶识别算法在结构上可以分为4个模块,分别是输入端、主干网络Backbone、Neck和预测端Prediction。通过基于YOLOv5的船舶识别算法,计算机可以快速实时地检测出监控视频中每一帧图像上的船舶,并且通过矩形框将图像上船舶的类型标注出来。基于YOLOv5的船舶识别模型是在自己制作的数据集上进行训练的结果。在制作数据集时,采用AIS官方的船舶类型对数据集进行标注。
作为优选的实施例,结合图6来看,图6为本发明提供的图4中步骤S22一实施例的流程示意图,步骤S22具体包括步骤S221至步骤S223,其中:
在步骤S221中,根据所述发射AIS信号中的经度信息和所述经纬度信息中的经度信息,确定各船舶与所述信息采集模块对应的东西向距离;
在步骤S222中,根据所述发射AIS信号中的纬度信息和所述经纬度信息中的纬度信息,确定各船舶与所述信息采集模块对应的南北向距离;
在步骤S223中,基于勾股定理,根据所述东西向距离和所述南北向距离计算各船舶对应的所述真实距离信息。
在本发明实施例中,利用并结合发射AIS信号和经纬度信息,有效地确定各船舶的真实距离信息。
在本发明一个具体的实施例中,根据信息采集装置的经纬度和AIS信息中的各船舶经纬度,计算各船舶与信息采集装置之间的真实距离,包括:根据各船舶的经度和所述信息采集装置的经度计算各船舶和所述信息采集装置之间的东西向距离;根据各船舶的纬度和所述信息采集装置的纬度计算各船舶和所述信息采集装置之间的南北向距离;根据各东西向距离和对应的南北向距离结合勾股定理计算得到各船舶与所述信息采集装置之间的真实距离。
作为优选的实施例,结合图7来看,图7为本发明提供的图4中步骤S23一实施例的流程示意图,步骤S23具体包括步骤S231至步骤S234,其中:
在步骤S231中,基于SURF特征点匹配算法,根据各船舶的所述标注类型信息,确定各船舶与所述信息采集模块之间的预测距离信息;
在步骤S232中,将所述预测距离信息和所述真实距离信息进行比较,生成第一比较结果;
在步骤S233中,将各船舶的所述标注类型信息中的船舶类型与对应的所述船舶AIS信息中的船舶类型进行比较,生成第二比较结果;
在步骤S234中,根据所述第一比较结果和所述第二比较结果,匹配所述船舶AIS信息和所述双目视觉图像中的预测目标框,并进行船号标注,得到最终检测框。
在本发明实施例中,结合多种信息进行多方面相互验证和比较,保证了最终检测框的准确性。
其中,当所述预测距离信息和所述真实距离信息之间的误差小于预设阈值,则判断所述预测距离信息和所述真实距离信息一致,生成第一比较结果,说明了双目视觉图像中的预测距离信息与船舶AIS信号确定的真实距离信息一致,两个信息相互验证,提高了准确性。
其中,当所述标注类型信息中的船舶类型和所述船舶AIS信息中的船舶类型一致,生成第二比较结果,说明了双目视觉图像识别出的船舶类型与船舶AIS信号确定的船舶类型一致,两个信息相互验证,进一步提高了准确性。
其中,从距离信息和船舶类型进行多方面的匹配和验证,全面地保证了船号标注的准确性,确保了最终检测框的精准度。
在本发明一个具体的实施例中,在双目视觉图像与AIS信息匹配时,通过距离关系与船舶类别的分别比较,完成数据库中船舶AIS信息和监控视频中船舶图像的匹配,并用AIS信息的船号对视频中的船舶进行船号标注,如图4所示,包括:
将船舶与所述信息采集前端之间的真实距离和双目测距测得的船舶距离作差,与预设阈值进行比较;将所收到的AIS信号中的船舶类型与基于YOLOv5的船舶识别算法的检测结果进行比较;若船舶与前端之间的真实距离和双目测距测得的船舶距离的差值在预设阈值以下,且基于YOLOv5的船舶识别算法的检测结果与AIS信号中的船舶类型相同,则该条AIS信息与所述视频中船舶的图像对应,进而可以从该条AIS信息中获取所述监控视频中该船舶的船号,并且用矩形框标注出来。
作为优选的实施例,结合图8来看,图8为本发明提供的图7中步骤S231一实施例的流程示意图,步骤S231具体包括步骤S2311至步骤S2313,其中:
在步骤S2311中,基于SURF特征点匹配算法,对所述双目视觉图像的左视图和右视图进行特征点匹配;
在步骤S2312中,结合各船舶的所述标注类型信息的预测矩形框,对匹配的特征点进行约束筛选,确定所述左视图和所述右视图之间的视差信息;
在步骤S2313中,根据所述视差信息,确定所述预测距离信息。
在本发明实施例中,在船舶测距方面利用了基于SURF特征点匹配的双目测距算法,在对左、右视图进行特征点匹配时,该方法在亮度变化的情况下匹配效果更好、在模糊方面和运算速度表现更加优秀,极大地减小了系统运行所花费的时间。
在本发明一个具体的实施例中,基于SURF特征点匹配的双目测距算法可以根据左、右摄像机拍摄的图像计算出各个船舶离信息采集装置的距离。在对左、右视图进行特征点匹配时,使用在亮度变化的情况下匹配效果更好、在模糊方面和运算速度表现更加优秀的SURF算法。在系统运行时,首先利用SURF算法对左、右视图进行特征点匹配,然后在此基础上使用YOLOv5网络检测到的船舶边框对特征点对进行约束筛选,从而快速、准确地获得有效视差并进行距离计算和定位。
作为优选的实施例,结合图9来看,图9为本发明提供的图3中后续步骤一实施例的流程示意图,步骤S2之后还包括步骤S3至步骤S6,其中:
在步骤S3中,获取多帧监测视频中的当前帧图像;
在步骤S4中,基于SORT的多目标跟踪算法,对所述当前帧图像和对应前一帧图像进行卡尔曼滤波器处理,确定对应前一帧图像的最终检测框的预测状态和预测协方差;
在步骤S5中,根据所述预测状态和所述预测协方差,确定所述当前帧图像的各个最终检测框和所述前一帧图像的各个最终检测框的交并比,并根据所述交并比,匹配两帧之间的各个最终检测框;
在步骤S6中,根据当前帧图像匹配到的最终检测框,更新卡尔曼滤波器,输出更新后的状态值,生成最终跟踪结果。
在本发明实施例中,进行船舶的持续跟踪时利用了基于SORT的多目标跟踪算法,此算法结构简单,具有很快的运算速度,可以达到在线跟踪的要求,同时此算法的跟踪效果取决于检测器性能的好坏。
在本发明一个具体的实施例中,基于SORT的多目标跟踪算法可以结合基于YOLOv5的船舶识别算法的检测结果,在监控视频中进行船舶的船号标注和持续跟踪。基于SORT的多目标跟踪算法可以按以下内容详细说明:在收集到港口的监控视频后,首先在第一帧上检测船舶并且用矩形框标注船号;后续帧进来时,先到卡尔曼滤波器中得到由前面帧的检测框产生的状态预测和协方差预测;之后,求目标状态预测与本帧的检测框的IOU,通过匈牙利算法得到IOU最大的唯一匹配(数据关联部分);然后,用本帧中匹配到的目标检测框去更新卡尔曼跟踪器,计算卡尔曼增益、状态更新和协方差更新,并将状态更新值输出,作为本帧最终的检测框结果。
作为优选的实施例,上述方法可以应用于电子海图。在本发明实施例中,监管人员可以在监控中心得到所有港口范围内船舶的电子地图显示,通过本发明,监管人员可以选择指定区域的监控视频进行查看,方便进一步进行港口船舶的调度指挥。
作为优选的实施例,上述方法还包括:对监控视频中的指定船舶进行信息查询。在本发明实施例中,在完成数据库中船舶AIS信息和监控视频中船舶图像的匹配之后,点击监控视频中的指定船舶,可以查看船舶的静态信息和动态信息,这些信息都来自于船舶发出的AIS信息。
作为优选的实施例,上述方法还包括:将每次识别过程中的生成数据保存为历史信息。在本发明实施例中,在监控中心的计算机内显示实时的船舶监控视频后,系统会将跟踪结果和船舶信息保存下来,上传至网络视频服务器,方便在港口发生交通事故之后进行事故责任的认定和处理。
在本发明一个具体的实施例中,结合上述系统来看,整体通信方法和数据匹配方法的具体流程如下:
系统运行的步骤为:
第一步,通过信息采集前端的港口船舶AIS信息采集前端获取港口船舶发来的AIS信息,传输至监控中心的计算机内进行解码,并录入数据库中;
第二步,通过信息采集前端的港口船舶AIS信息采集前端中的外置GPS天线,获取信息采集前端的经纬度,传输至监控中心的计算机内进行解码,并录入数据库中;
第三步,通过信息采集前端的双目监控图像采集前端获取港口双目监控视频,并上传至网络视频服务器以供监控中心计算机读取和存储;
第四步,通过监控中心的计算机完成AIS信息和前端GPS信息以及港口双目监控视频的处理,并且在监控视频中进行船舶船号自动标注与持续跟踪;
其中,在监控中心完成的数据匹配的具体步骤如下:
首先,系统使用基于YOLOv5的船舶识别算法对监控视频中的船舶进行类型识别和标注,并将识别结果与数据库中AIS信息的船舶类型比较;同时,使用基于SURF特征点匹配的双目测距算法,根据左右相机的图像,计算各船舶与信息采集前端的距离,并且根据信息采集前端的经纬度和AIS信息中的各船舶经纬度,计算各船舶与信息采集前端之间的真实距离,完成距离的比较。具体比较过程为:将所收到的AIS信号中的船舶类型与基于YOLOv5的船舶识别算法的检测结果进行比较;将船舶与所述信息采集前端之间的真实距离和双目测距测得的船舶距离作差,与预设阈值进行比较;若基于YOLOv5的船舶识别算法的检测结果与AIS信号中的船舶类型相同,且船舶与前端之间的真实距离和双目测距测得的船舶距离的差值在预设阈值以下,则该条AIS信息与所述视频中船舶的图像对应。完成数据库中船舶AIS信息和监控视频中船舶图像的匹配后,用AIS信息的船号以矩形框的形式对监控视频中的船舶进行船号标注,之后使用基于SORT的多目标跟踪算法,在视频的后续帧中用矩形框持续跟踪,以供监控中心的工作人员查看,方便进一步进行港口船舶的调度指挥。
下面以一个具体的应用例更好地说明本发明技术方案:
在系统初始化之后,电子海图将会显示港口各路摄像机,此时监管人员可以选择需要监看的摄像头,然后进行云台的控制选择摄像头的拍摄角度,此时监控中心的计算机将会在显示器上显示具有船舶船号标注的监控视频,并且将此数据保存至硬盘中,监管人员在观察监控视频时,可以点击需要监控的船舶,计算机将会显示该船舶AIS信息里面的船位、航向、航速(矢量线)、转向速度和最近船舶会遇距离等动态信息和船名、呼号、船型、船长与船宽等静态信息,之后监管人员可以依据这些信息与船舶取得通信,进行调度和指挥。
本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时,实现如上所述的船舶定位与监控方法。
一般来说,用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质,除了临时性地传播中的信号本身。
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言,特别是可以使用适于神经网络计算的Python语言和基于TensorFlow、PyTorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本发明实施例还提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时,实现如上所述的船舶定位与监控方法。
根据本发明上述实施例提供的计算机可读存储介质和计算设备,可以参照根据本发明实现如上所述的船舶定位与监控方法具体描述的内容实现,并具有与如上所述的船舶定位与监控方法类似的有益效果,在此不再赘述。
本发明公开了一种船舶定位与监控系统及方法,首先,对港口处各船舶的AIS信息和双目视觉图像进行有效的获取,基于多方面信息,展开船舶识别;然后,利用船舶AIS信息和双目视觉图像进行相互匹配,达到互相验证的效果,避免某一方信息的识别不准确,造成船舶识别的失误,利用信息间的相互补充、相互验证,达到提高船舶识别的实时性、准确性和高效性的目的。
本发明技术方案,利用目标检测技术和AIS船舶自动识别系统结合,可以在监控视频中查询更多的船舶信息,可以在港口的监控区域对船舶进行视频监视,同时在监控视频中可以自动标注出每个船舶的船号并且持续跟踪,并且可以选择目标船舶进行静态信息和动态信息的查询,方便监管人员进行港口船舶的调度指挥,有效地规避港口可能发生的交通事故,保障港口交通的顺畅和港口作业的有效运行。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种船舶定位与监控系统,其特征在于,包括信息采集模块和监控中心,其中:
所述信息采集模块,用于采集港口处各船舶的AIS信息和双目视觉图像;
所述监控中心,用于将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
2.根据权利要求1所述的船舶定位与监控系统,其特征在于,所述信息采集模块包括安装在港口岸边相同位置处的AIS信息采集装置和双目采集装置,其中:
所述AIS信息采集装置,用于采集各船舶的所述船舶AIS信息,且包括用于接收各船舶发出的发射AIS信号的VHF天线、用于获取信息采集模块的经纬度信息的外置GPS天线和用于传输所述发射AIS信号和所述经纬度信息的AIS收发机;
所述双目采集装置,用于采集反映各船舶监控图像的所述双目视觉图像,且包括旋转平台、用于固定所述旋转平台的基座和被所述旋转平台支撑的双目摄像机。
3.一种船舶定位与监控方法,其特征在于,基于根据权利要求1至2任一项权利要求所述的船舶定位与监控系统,所述方法包括:
采集船舶AIS信息和双目视觉图像;
将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪。
4.根据权利要求3所述的船舶定位与监控方法,其特征在于,所述将接收到的所述船舶AIS信息和所述双目视觉图像进行相互匹配,对船舶进行实时的定位和跟踪包括:
根据所述双目视觉图像,对各船舶的类型进行识别,确定并标注各船舶对应的标注类型信息;
根据所述船舶AIS信息,确定各船舶与信息采集模块的真实距离信息;
根据所述标注类型信息和所述真实距离信息,对各船舶进行实时的定位和跟踪。
5.根据权利要求4所述的船舶定位与监控方法,其特征在于,所述根据所述双目视觉图像,对各船舶的类型进行识别,确定并标注各船舶对应的标注类型信息包括:
将所述双目视觉图像输入至训练完备的基于YOLOv5算法的神经网络;
根据所述神经网络的预测矩形框,对检测图像中的各船舶进行标注,生成所述标注类型信息。
6.根据权利要求5所述的船舶定位与监控方法,其特征在于,所述神经网络的网络结构包括输入层、主干网络Backbone层、Neck层和预测端Prediction层,且所述神经网络的边界损失函数通过如下公式表示:
Figure FDA0003237351400000021
其中,CIOULOSS表示所述边界损失函数,IOU表示所述预测矩形框和实际矩形框的交并比,r1表示所述预测矩形框对应的最小对角线距离,r2表示所述预测矩形框的中心点与所述实际矩形框的距离,v表示衡量所述预测矩形框的长宽比一致性的参数,通过如下公式表示:
Figure FDA0003237351400000022
其中,wgt和hgt表示所述实际矩形框的框宽和框高,wp和hp表示所述预测矩形框的框宽和框高。
7.根据权利要求4所述的船舶定位与监控方法,其特征在于,所述船舶AIS信息包括各船舶发出的发射AIS信号和各船舶的经纬度信息,所述根据所述船舶AIS信息,确定各船舶与信息采集模块的真实距离信息包括:
根据所述发射AIS信号中的经度信息和所述经纬度信息中的经度信息,确定各船舶与所述信息采集模块对应的东西向距离;
根据所述发射AIS信号中的纬度信息和所述经纬度信息中的纬度信息,确定各船舶与所述信息采集模块对应的南北向距离;
基于勾股定理,根据所述东西向距离和所述南北向距离计算各船舶对应的所述真实距离信息。
8.根据权利要求4所述的船舶定位与监控方法,其特征在于,所述根据所述标注类型信息和所述真实距离信息,对各船舶进行实时的定位和跟踪包括:
基于SURF特征点匹配算法,根据各船舶的所述标注类型信息,确定各船舶与所述信息采集模块之间的预测距离信息;
将所述预测距离信息和所述真实距离信息进行比较,生成第一比较结果;
将各船舶的所述标注类型信息中的船舶类型与对应的所述船舶AIS信息中的船舶类型进行比较,生成第二比较结果;
根据所述第一比较结果和所述第二比较结果,匹配所述船舶AIS信息和所述双目视觉图像中的预测目标框,并进行船号标注,得到最终检测框。
9.根据权利要求8所述的船舶定位与监控方法,其特征在于,所述基于SURF特征点匹配算法,根据各船舶的所述标注类型信息,确定各船舶与所述信息采集模块之间的预测距离信息包括:
基于SURF特征点匹配算法,对所述双目视觉图像的左视图和右视图进行特征点匹配;
结合各船舶的所述标注类型信息的预测矩形框,对匹配的特征点进行约束筛选,确定所述左视图和所述右视图之间的视差信息;
根据所述视差信息,确定所述预测距离信息。
10.根据权利要求8所述的船舶定位与监控方法,其特征在于,所述方法还包括:
获取多帧监测视频中的当前帧图像;
基于SORT的多目标跟踪算法,对所述当前帧图像和对应前一帧图像进行卡尔曼滤波器处理,确定对应前一帧图像的最终检测框的预测状态和预测协方差;
根据所述预测状态和所述预测协方差,确定所述当前帧图像的各个最终检测框和所述前一帧图像的各个最终检测框的交并比,并根据所述交并比,匹配两帧之间的各个最终检测框;
根据当前帧图像匹配到的最终检测框,更新卡尔曼滤波器,输出更新后的状态值,生成最终跟踪结果。
CN202111008304.9A 2021-08-30 2021-08-30 一种船舶定位与监控系统及方法 Pending CN113780127A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111008304.9A CN113780127A (zh) 2021-08-30 2021-08-30 一种船舶定位与监控系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111008304.9A CN113780127A (zh) 2021-08-30 2021-08-30 一种船舶定位与监控系统及方法

Publications (1)

Publication Number Publication Date
CN113780127A true CN113780127A (zh) 2021-12-10

Family

ID=78840127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111008304.9A Pending CN113780127A (zh) 2021-08-30 2021-08-30 一种船舶定位与监控系统及方法

Country Status (1)

Country Link
CN (1) CN113780127A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456970A (zh) * 2022-08-30 2022-12-09 苏州星航综测科技有限公司 一种基于降维回归的干舷分割船舶载重线识别方法
CN116337087A (zh) * 2023-05-30 2023-06-27 广州健新科技有限责任公司 一种基于ais与摄像头的船只定位方法及系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660994A (zh) * 2015-02-09 2015-05-27 武汉理工大学 海事专用摄像机及海事智能监控方法
CN109636921A (zh) * 2018-12-17 2019-04-16 武汉理工大学 基于云平台的智能视觉船舶感知系统以及数据处理方法
CN110718095A (zh) * 2019-09-12 2020-01-21 广州中交通信有限公司 一种内河航道船舶的ais监控系统及监控方法
CN111163290A (zh) * 2019-11-22 2020-05-15 东南大学 一种夜间航行船舶检测并跟踪的装置和方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力(南京)大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111899450A (zh) * 2020-07-24 2020-11-06 宁波盛洋电子科技有限公司 一种监控进出港口船舶并发现危险船舶的方法及系统
CN112101158A (zh) * 2020-09-04 2020-12-18 四川智海联科技有限公司 一种基于深度学习和视觉slam的船舶航行辅助系统与方法
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104660994A (zh) * 2015-02-09 2015-05-27 武汉理工大学 海事专用摄像机及海事智能监控方法
CN109636921A (zh) * 2018-12-17 2019-04-16 武汉理工大学 基于云平台的智能视觉船舶感知系统以及数据处理方法
CN110718095A (zh) * 2019-09-12 2020-01-21 广州中交通信有限公司 一种内河航道船舶的ais监控系统及监控方法
CN111163290A (zh) * 2019-11-22 2020-05-15 东南大学 一种夜间航行船舶检测并跟踪的装置和方法
CN111523465A (zh) * 2020-04-23 2020-08-11 中船重工鹏力(南京)大气海洋信息系统有限公司 基于摄像机标定及深度学习算法的船舶身份识别系统
CN111899450A (zh) * 2020-07-24 2020-11-06 宁波盛洋电子科技有限公司 一种监控进出港口船舶并发现危险船舶的方法及系统
CN112101158A (zh) * 2020-09-04 2020-12-18 四川智海联科技有限公司 一种基于深度学习和视觉slam的船舶航行辅助系统与方法
CN112598713A (zh) * 2021-03-03 2021-04-02 浙江大学 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法
CN113269073A (zh) * 2021-05-19 2021-08-17 青岛科技大学 一种基于yolo v5算法的船舶多目标追踪方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115456970A (zh) * 2022-08-30 2022-12-09 苏州星航综测科技有限公司 一种基于降维回归的干舷分割船舶载重线识别方法
CN115456970B (zh) * 2022-08-30 2023-09-05 苏州星航综测科技有限公司 一种基于降维回归的干舷分割船舶载重线识别方法
CN116337087A (zh) * 2023-05-30 2023-06-27 广州健新科技有限责任公司 一种基于ais与摄像头的船只定位方法及系统

Similar Documents

Publication Publication Date Title
CN111524392B (zh) 一种辅助智能船舶远程驾驶的综合系统
CN113780127A (zh) 一种船舶定位与监控系统及方法
CN111739345A (zh) 一种基于ais的水上智能监控管理方法及系统
CN110127000B (zh) 一种面向运输船舶的智能航行眼系统
CN109345876A (zh) 一种船舶监控系统及方法
CN112562417A (zh) 一种船舶应急指挥管理系统和方法
CN208985386U (zh) 一种船舶监控系统及船舶监控指挥装置
CN113204245A (zh) 基于无人机的航标巡查方法、系统、设备及存储介质
CN116453276A (zh) 一种海上风电电子围栏监控预警方法和系统
CN113256702B (zh) 基于无人机的船舶净空高度检测方法、系统、设备及介质
CN205142399U (zh) 船名自动核查抓拍系统
Wu et al. Cooperative unmanned surface vehicles and unmanned aerial vehicles platform as a tool for coastal monitoring activities
KR102298406B1 (ko) 항해 가이던스 제공 방법 및 장치
CN113191266B (zh) 船舶动力装置远程监控管理方法及系统
CN112906538A (zh) 一种基于无人值守平台的舰船目标图像识别系统及方法
CN114066941A (zh) 船舶综合跟踪系统和船舶执法终端
CN111836019A (zh) 一种用于海上安保的视频监控系统及其应用
KR102620098B1 (ko) Ar 기반의 해상 객체 전시 시스템 및 방법
CN113192234B (zh) 船舶动力装置故障检测方法及系统
Wang Development of AtoN real-time video surveillance system based on the AIS collision warning
CN111382773A (zh) 一种用于管道内部监测基于九宫原理的图像匹配方法
CN115547111B (zh) 一种船载航行海况、船况信息手机智能播放系统及运行方法
KR102638102B1 (ko) 해양 경계감시를 위한 선박 인식 방법 및 모바일 단말
KR102615735B1 (ko) 인공지능 기술을 이용한 선박 항적을 분석하는 모니터링시스템 및 방법
KR102289550B1 (ko) 항공 영상 데이터와 gis 데이터의 매칭을 위한 이미지 학습을 이용한 ar 정보 제공 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination