CN111899568B - 桥梁防撞预警系统、方法、装置和存储介质 - Google Patents
桥梁防撞预警系统、方法、装置和存储介质 Download PDFInfo
- Publication number
- CN111899568B CN111899568B CN202010691545.7A CN202010691545A CN111899568B CN 111899568 B CN111899568 B CN 111899568B CN 202010691545 A CN202010691545 A CN 202010691545A CN 111899568 B CN111899568 B CN 111899568B
- Authority
- CN
- China
- Prior art keywords
- ship
- early warning
- warning signal
- target
- navigable
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G3/00—Traffic control systems for marine craft
- G08G3/02—Anti-collision systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
- G01D21/00—Measuring or testing not otherwise provided for
- G01D21/02—Measuring two or more variables by means not covered by a single other subclass
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
Abstract
本发明公开了一种桥梁防撞预警系统、方法、装置和存储介质,桥梁防撞预警系统包括船舶超高监测预警模块、第一船舶偏航预警模块、第二船舶偏航预警模块和船舶目标雷达预警模块。本发明将集成无线传感技术和移动通信技术等现代技术相结合,实现全天候智能桥梁主动防撞监控预警功能,实时掌握桥梁面临的危险,为桥梁安全保驾护航,能全天时、全天候、远距离地对可能撞击桥梁的船舶进行监测和多种方式预警。通过各种技术和方案的融合,并结合智能分析来构建通航船舶探测、跟踪到预警的监测预警系统,实现对偏航目标与危险船舶实时地,精确地监控通航船舶的超高、超宽、偏航以及进行航迹跟踪。本发明广泛应用于桥梁安全保护技术领域。
Description
技术领域
本发明涉及桥梁安全保护技术领域,尤其是一种桥梁防撞预警系统、方法、装置和存储介质。
背景技术
铁路公路桥梁属于基础设施,为国民生活中提供重要支撑,因此桥梁运营安全问题,特别是防范因船舶超高和偏航引起的撞击桥梁事故已成为目前铁路公路桥梁安全管理的重中之重。由于大量跨江跨海大桥的修建,通航船舶的规模化,加上流速、风速、弯道冲刷、淤积、潮位等桥区环境的改变,导致经常发生船撞桥事故。
船舶撞桥事故不但威胁船舶通行的安全,严重影响桥梁的安全运营,还常常带来巨大的生命和财产损失,因此在桥梁设计时必须仔细考虑防撞策略。若按所有水中的桥墩均能承受最大船舶的撞击力来设计桥墩的防撞力,必然导致桥梁修建费用过高,这是很不经济合理的。但是若仅对通航孔的桥墩设防,则船只偏航可能导致灾难性事故,因而合理的设计应该是既经济又具有一定的“偏航容错”能力。
发明内容
针对上述至少一个技术问题,本发明的目的在于提供一种桥梁防撞预警系统、方法、装置和存储介质。
一方面,本发明实施例包括一种桥梁防撞预警系统,包括:
船舶超高监测预警模块,用于测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
第一船舶偏航预警模块,用于获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
第二船舶偏航预警模块,用于与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
船舶目标雷达预警模块,用于对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号。
进一步地,所述桥梁防撞预警系统还包括:
主控模块,所述主控模块分别与所述船舶超高监测预警模块、第一船舶偏航预警模块、第二船舶偏航预警模块和船舶目标雷达预警模块连接,所述主控模块用于将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据所述目标预警信号进行报警。
进一步地,所述将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,包括:
根据预设的对应关系,获取所述第一预警信号、第二预警信号、第三预警信号和第四预警信号各自对应的预警级别;
按照所对应的预警级别,将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号分组;
当存在唯一的包含最多预警信号的组,以所述包含最多预警信号的组中的一个预警信号确定为所述目标预警信号,反之,则以具有最高的预警级别的预警信号确定为所述目标预警信号。
进一步地,所述船舶超高监测预警模块包括:
激光发射单元,设置于所述通航船舶所在航道的一岸,用于向对岸发射激光;
激光接收单元,设置于所述通航船舶所在航道的另一岸,用于探测所述激光发射单元发射的激光;
第一控制单元,与所述激光发射单元和所述激光接收单元连接,用于当所述激光接收单元探测到所述激光发射单元发射的激光,生成并输出用于表示所述通航船舶超高的第一预警信号。
进一步地,所述第一船舶偏航预警模块包括:
可见光视频拍摄单元,用于拍摄所述通航船舶的可见光监控视频;
热红外成像视频拍摄单元,用于拍摄所述通航船舶的热红外成像监控视频;
前景目标建模目标检测单元,用于以所述通航船舶为检测目标,通过前景目标建模方法检测所述可见光监控视频;
第一YOLO目标检测单元,用于以所述通航船舶为检测目标,通过YOLOV3方法检测所述可见光监控视频;
第二YOLO目标检测单元,用于以所述通航船舶为检测目标,通过YOLOV3方法检测所述热红外成像监控视频;
第二控制单元,与所述前景目标建模目标检测单元、所述第一YOLO目标检测单元和所述第二YOLO目标检测单元连接,用于当所述前景目标建模目标检测单元、所述第一YOLO目标检测单元或所述第二YOLO目标检测单元中的任一者检测到所述通航船舶,确定所述通航船舶在所述前景目标建模目标检测单元、所述第一YOLO目标检测单元或所述第二YOLO目标检测单元的视野中的位置,当所述通航船舶在所述视野中的位置偏离预设的标准位置,生成并输出用于表示所述通航船舶偏航的第二预警信号。
进一步地,所述第二船舶偏航预警模块包括:
通信单元,用于与所述通航船舶上安装的船舶自动识别系统通信,获取所述船舶自动识别系统的反馈信息;
第三控制单元,与所述通信单元和显示单元连接,用于使用基于多项式卡尔曼滤波的行驶轨迹预测方法对所述反馈信息进行处理,获得所述通航船舶的预测航迹,当所述预测航迹偏离预设的标准航迹,生成并输出用于表示所述通航船舶偏航的第三预警信号;
所述第三控制单元还用于根据所述预测航迹生成点状航迹分布图和/或线状航迹分布图;
显示单元,用于显示所述点状航迹分布图和/或所述线状航迹分布图。
进一步地,所述船舶目标雷达预警模块包括:
频率调制连续波雷达单元,用于对所述通航船舶发出一系列调频脉冲信号,所述调频脉冲信号作为所述雷达探测信号,接收所述通航船舶反射回的差频信号;
第四控制单元,与所述频率调制连续波雷达单元连接,用于对所述差频信号进行逐个的距离维的第一快速傅里叶变换,然后对所有所述调频脉冲信号进行同一距离单元的第二快速傅里叶变换,根据所述第一快速傅里叶变换和所述第二快速傅里叶变换的结果,确定所述通航船舶的行驶速度,当所述行驶速度超过预设的标准速度,生成并输出用于表示所述通航船舶超速的第四预警信号。
另一方面,本发明实施例还包括一种桥梁防撞预警方法,包括:
测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号;
将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据所述目标预警信号进行报警。
另一方面,本发明实施例还包括一种计算机装置,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行实施例所述方法。
另一方面,本发明实施例还包括一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行实施例所述方法。
本发明的有益效果是:桥梁防撞预警系统将集成无线传感技术、移动通信技术、AIS系统、视频分析、激光探测、雷达探测等现代技术相结合,实现全天候智能桥梁主动防撞监控预警功能,实时掌握桥梁面临的危险,为桥梁安全保驾护航;基于上述各种技术融合的通航桥梁防撞监控预警系统,能全天时、全天候、远距离地对可能撞击桥梁的船舶进行监测和多种方式预警。通过各种技术和方案的融合,并结合智能分析来构建通航船舶探测、跟踪到预警的全方位、一体化、多维度的监测预警系统,实现对偏航目标与危险船舶实时地,精确地监控通航船舶的超高、超宽、偏航以及进行航迹跟踪。
附图说明
图1为实施例中桥梁防撞预警系统的结构示意图;
图2为实施例中船舶超高监测预警模块的结构示意图;
图3为实施例中激光发射单元和激光接收单元的设置示意图;
图4为实施例中第一船舶偏航预警模块的结构示意图;
图5为实施例中基于前景的目标检测处理流程示意图;
图6为实施例中本实施例中所使用的YOLO V3神经网络架构示意图;
图7为实施例中第二船舶偏航预警模块的结构示意图;
图8为实施例中船舶目标雷达预警模块的结构示意图;
图9为实施例中本实施例中使用的FMCW雷达系统基本组成框图;
图10为实施例中续波雷达所生成的三角波调频连续波示意图;
图11为实施例中FMCW雷达测量距离、速度和角度流程图;
图12为实施例中一个典型的Chirp信号示意图。
具体实施方式
本实施例中,参照图1,桥梁防撞预警系统包括:
船舶超高监测预警模块,用于测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
第一船舶偏航预警模块,用于获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
第二船舶偏航预警模块,用于与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
船舶目标雷达预警模块,用于对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号;
主控模块,分别与船舶超高监测预警模块、第一船舶偏航预警模块、第二船舶偏航预警模块和船舶目标雷达预警模块连接,主控模块用于将第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据目标预警信号进行报警。
本实施例中,参照图2,船舶超高监测预警模块包括激光发射单元、激光接收单元和第一控制单元。本实施例中,参照图3,在桥梁的上下游的两岸分别设置激光发射单元和激光接收单元,对进入桥梁一定的距离(如1500mm)的通航船舶,采用激光对射探测器或激光测距传感器进行高度测量。激光发射单元发出信号射向和对岸的激光接收单元,如果有目标物体遮挡,就发出报警信号。激光测距传感器是通过控制发光元件发出信号,射向目标物体,经物体反射后传回第一控制单元。当激光接收单元探测到激光发射单元发射的激光,第一控制单元生成并输出用于表示所述通航船舶超高的第一预警信号。第一预警信号对应一定的预警等级,例如通航船舶的高度越大,则第一预警信号对应的预警等级越高。
本实施例中,参照图4,第一船舶偏航预警模块包括:可见光视频拍摄单元、热红外成像视频拍摄单元、前景目标建模目标检测单元、第一YOLO目标检测单元、第二YOLO目标检测单元和第二控制单元。
本实施例中,前景目标建模目标检测单元以通航船舶为检测目标,通过前景目标建模方法检测可见光监控视频。基于前景目标建模的目标检测分为离线训练和在线检测两个阶段。离线训练是对训练样本前景目标与背景分别进行特征表达,建立起前景或背景的表观模型,再进行分类器训练得到分类器模型。在线检测是对测试样本在多个尺度上进行滑动窗口扫描,再采用同样的特征表达方法建立起表观模型,然后用离线训练得到的分类器模型对其进行分类,从而判断各个窗口是否为前景目标。基于前景的目标检测处理流程如图5所示。与基于背景建模方法相比,基于前景目标建模方法不受场景限制,检测结果不需再次进行分割。具有通用框架:特征表达+分类器。特征表达的含义是将原始图像像素映射到一个可区分维度空间数据的过程,它是打破底层像素与高层语义之间至关重要的一步。分类器(按能否通过自学习得到分):①基于人工设计的特征表达;基于学习的特征表达。基于人工设计的特征表达依赖于人类的先验知识与智慧。分类根据:①梯度特征、②模式特征、③形状特征、④颜色特征。①梯度特征通过计算空间区域上的梯度强度和方向来描述目标。最常用的梯度特征是Lowe提出的尺度不变特征(SIFT),改进型中比较出名的就是加速鲁棒特征(SURF),另外梯度直方图特征(HOG)可以用于解决静态图像中的行人检测问题。②模式特征是通过分析图像局部区域的相对差异而得到的一种特征描述。例如局部二值模式(LBP)可用于人脸特征描述相对于梯度特征,模式特征数据维度较高,计算负担相对较大。③形状特征用于对目标轮廓描述。常见形状特征有形状上下文、角矩阵、k近邻分割图形基元、线描述子等。形状特征忽略了纹理、颜色等有用信息,因此降低了检测可靠性。④颜色特征是通过计算局部的图像属性(灰度、颜色等)的概率分布而得到的一种特征描述。基于人工设计的特征表达的缺点是对目标的刻画不够本质。因为这种方法对问题的处理总有一个“显示”的预处理过程,因为哺乳动物的大脑对信号并没有一个“显示”的预处理过程,而是将输入信号在大脑中复杂的层次结构中进行传播。基于学习的特征表达就是通过无监督学习的方法让机器自动的从样本中学习到更加本质的特征,从而使计算机模拟人类感知信号。基于学习的特征表达主要是采用无监督学习的方法,是机器自动学习刻画样本更本质的特征。该类方法最常用的是基于深度学习的特征表达方式,其通过逐层地构建一个多层网络,使机器自动地学习隐含在数据内部的关系。基于深度学习的特征表达按构成单元不同可以分为基于限制玻尔兹曼机(RBM)、基于自编码机(AE)、基于卷积神经网络(CNN)的特征表达方法。
本实施例中,第一YOLO目标检测单元以通航船舶为检测目标,通过YOLOV3方法检测可见光监控视频。目标检测作为图像理解中的重要一环,其任务是找出图像中所有感兴趣的目标(物体),确定它们的位置和大小,是机器视觉领域的核心问题之一。随着深度学习理论的发展,目标检测进入了新阶段。与传统目标检测中的手工设计特征的方式相比较,通过深度卷积神经网络可以自动提取特征,在大量数据进行有监督学习的基础上,得到的特征具有很强的泛化性,对物体形变、背景、光照、遮挡物和噪声具有一定的鲁棒性。卷积神经网络(CNN)是目前目标检测和分类最成功的深度学习算法。CNN卷积网络有两大类发展路径:一大类如LeNet、AlexNet、VGG、GoogleNet面向于图像分类。二大类如RCNN、Fast RCNN、Faster RCNN、YOLO、YOLOv2/v3、SSD对目标检测效果更好。第二大类算法是基于回归方法的目标检测,其是依据回归思想,直接在输入图像的多个位置上回归出所有位置的目标类别和包围边框。YOLO算法是一种基于CNN和回归方法的目标检测算法。YOLO算法在处理图像时,比滑动窗口算法的时间复杂度更低,它只需“观察”图片一次,就可以检测出图片中的对象,并且可以检测多个对象,还能定位对象所在的位置(即边界)。YOLO算法是一种能够分类、定位的目标检测算法。YOLO是one-stage的方法,所以检测速度快。本实施例中所使用的YOLO V3神经网络架构如图6所示。
本实施例中,基于YOLO V3算法的通航船舶目标检测步骤如下:
1)准备/下载YOLO V3模型:预先训练好的网络和权重;
2)初始化参数:YOLOv3算法的预测结果就是边界框。每一个边界框旁都随着一个置信值。第一阶段中,全部低于置信度阀值的都会排除掉。对剩余的边界框执行非最大抑制算法,以去除重叠的边界框;非最大抑制由一个参数nmsThrehold控制;接下来,设置输入图片的宽度(inpWidth)和高度(inpHeight);
3)读取模型和类别:训练好的模型能识别的所有目标类别名字;
4)读取输入:读取图像、视频流或者摄像头以视频方式保存带有输出边界框的每一帧图片;
5)处理每一帧:输入到YOLO神经网络的图像需要以一种叫bolb的格式保存。读取了输入图片或者视频流的一帧图像后,这帧图像需要经过bolbFromImage()函数处理为神经网络的输入类型bolb;在这个过程中,图像像素以一个1/255的比例因子,被缩放到0到1之间;
6)网络输出:a)获取输出层的名字,b)处理网络输出,c)画出计算获得的边界框。
本实施例中,第二YOLO目标检测单元以通航船舶为检测目标,通过YOLOV3方法检测热红外成像监控视频。对夜间的图像处理和目标识别是一个重要问题,一直以来大量使用的方法为照明与微光夜视居多,而照明与微光夜视均受到光源强度,雨雾天气等复杂环境影响,探测效果不佳,探测距离有限。红外热成像与可见光相比,红外热成像反应的是物体的相对温度信息,受天气因素的影响较小,探测距离远,对于军事,安防,海运等环境具有很强应用价值。深度学习YOLO V3算法能够有效实时高效并准确稳定地对热成像图像中目标进行检测识别,即对夜间船舶目标的检测识别与跟踪。
本实施例中,第二YOLO目标检测单元执行以下步骤:
1)视频采集:从红外热成像仪采集红外视频并进行图像格式转化;
2)图像预处理(滤波):该环节主要作用在于提高原始图像对比度、强化图像细节、消除图像噪点、提高后期目标识别度。红外热成像图像为表征物体温度的灰度图像,虽然对夜间目标发现效率很高,但就图像本身而言,相对于可见光摄像头,其捕捉图像的分辨率较低,并且随目标距离、传输干扰等因素影响,使得热成像图像比可见光图像更为模糊。为了增强热成像图像的质量,提高后期算法的识别率,在采集图像后应进行图像预处理,提高图像对比度,增强图像细节,去除图像噪声;
a.提高图像对比度:目的在于突出热源与背景的反差,突出热源目标,采用高反差保留法,该方法主要是将图像中颜色、明暗反差较大两部分的交界处保留下来。在增强对比度后,对图像进行锐化,增强其细节特征;
b.图像锐化:采用高斯高通滤波器来补偿图像的轮廓,增强图像的边缘及灰度跳变的部分,使图像变得清晰,分为空间域处理和频域处理两类。图像锐化是为了突出图像上地物的边缘、轮廓,或某些线性目标要素的特征。这种滤波方法提高了地物边缘与周围像元之间的反差,因此也被称为边缘增强。在增强边沿、细节的同时,不会丢失源图像的低频成份;
c.去噪声:图像锐化在增强热成像图像细节特征的同时也会引入随机噪点,因此,图像预处理最后一步进行降噪工作,采用高斯低通滤波器平滑,降低图像中的噪点;
d.红外图像预处理算法流程图像预处理包括红外图像对比度增强、图像锐化和去噪声;
3)目标识别算法:采用YOLO V3网络结构(如上面节内容)对经过预处理后的红外视频图像中的船舶目标进行检测识别。YOLOv3的基本原理为通过特征提取网络对输入图像提取特征,得到一定尺寸的特征图,比如13×13,然后将输入图像分成13×13个网络栅格,如某个目标正确标注数据落入其中一个栅格中心,则由该栅格对目标进行预测。而每个网络栅格都会预测一定数量的边框,YOLOv3中预测边框数量为3个,其中只有最大正确标注值和重叠度的边框才用以预测该目标;
4)检测识别结果输出。
本实施例中,第二控制单元获取前景目标建模目标检测单元、第一YOLO目标检测单元和第二YOLO目标检测单元的检测结果,当前景目标建模目标检测单元、第一YOLO目标检测单元或第二YOLO目标检测单元中的任一个检测到所述通航船舶,第二控制单元获取这些检测单元通过前景目标建模方法或者YOLOV3算法等检测到的通航船舶在视野中的位置,将通航船舶在视野中的位置与预设的标准位置进行比较,如果发现存在偏离,第二控制单元生成并输出用于表示通航船舶偏航的第二预警信号。
本实施例中,参照图7,第二船舶偏航预警模块包括通信单元、第三控制单元和显示单元。
通航船舶上安装船舶自动识别系统。船舶自动识别系统(AIS)作为一种新型的助航设备,安装了AIS的船舶能够在不需要船舶驾驶员介入的情况下,周期性的在海上通过VHF频道自动广播船舶的运动信息。AIS能够提供有效的船舶相互避碰措施。船舶AIS向岸基接收机和其他过往船只AIS发送本船的运动信息与轨迹,以提示其他过往船只提前规划航道,避免发生碰撞。AIS有三大类。A类(Class A)AIS:接收与发射AIS信息,安装在符合IMOAIS运输规定下的船只,超过300吨的国际航线商用船只,强制安装A类AIS。B类(Class B)AIS:接收与发射AIS信息,IMO规范未强制必须安装AIS的船只,适用于休闲用途的船只,用于提高海上航行安全。C类AIS接收器:只限于接收AIS信息,无法传递AIS信息。通过AIS接收机可以获取一定范围内船舶的静态信息和动态信息。静态信息包括:IMO识别编码(唯一的);MMSI海上移动业务识别码;呼号和船名、船长、船宽及船舶类型;定位仪天线在船上的位置;船吃水深度;装载货物信息。动态消息包括:船的经纬度;UTC时间(GPS接收机设备产生);真航向;航向状态(例如抛锚等,人工输入);转向速率;船舶横倾角(基本电文中无该数据);纵、横摇(基本电文中无该数据)。AIS信息周期性地更新。静态信息在6分钟以内或则接收到发送消息。动态消息是根据航速不同,发送的时间间隔也不同,具体报告间隔在2秒到12秒之间。
本实施例中,通信单元可以是AIS接收机,通信单元可以与通航船舶上安装的船舶自动识别系统通信,获取船舶自动识别系统的反馈信息,反馈信息中包括经纬度、航向以及航速等。反馈信息被发送到第三控制单元中,经过基于多项式卡尔曼滤波的行驶轨迹预测方法的处理,可以获得通航船舶的预测航迹。航迹即船舶的运动轨迹。把一艘船的某一段时间的位置按照时间先后顺序连接起来,就构成了本船此段时间的航迹。航迹分布是指某一水域某一时间段内所有船舶航迹的空间分布,它反映了水面交通实况,是水面交通的一个基本要素。航迹分布能够间接反映船舶密度、交通量大小、会遇规律和是否有船只逾越设置的虚拟航道或进入非通航区域。航迹分布图有两种形式表达:一是点状图,把各个位置点在海图上描绘出来,绘制点状图需要密集的位置信息;另一种是线状图,把各个船运动轨迹用线连接起来形成的图。根据AIS数据采集系统所采集的数据,建立AIS数据库,通过航迹分布图绘制算法,在电子海图上画出航迹分布图。AIS采集系统收集了丰富的船舶位置信息,且信息中包含了船舶唯一标识MMSI,这就为每艘船舶的航迹绘制提供了可行性。AIS数据库包括了船舶动态和静态信息表、船舶资料表及各AIS点位置信息表等。其中,各AIS点位置信息表AIS_NAME记录了AIS点的名称、安装位置及最大覆盖范围。动态信息表记录MMSI、船舶位置、记录数据时间等信息。内河中船舶AIS数据更新相对缓慢。
目前,对船舶运动航迹的预测方法有通过离线时间序列轨迹数据预测船舶线性轨迹运动;采用支持向量机的方法对轨迹数据进行时间序列上的预测,特别是对桥区水域失控船舶航迹进行预测;采用神经网络对船舶在狭窄水域的轨迹预测;采用隐性马尔科夫模型HMM应用于移动对象的轨迹预测。在进行航迹预测前,一般先对AIS数据进行预处理。
在实际的船舶信息数据获取过程中,由于AIS设备发生信号漂移或人为遮掩、篡改等原因,往往会存在AIS数据显示在陆地或航速出现超速异常等行为,为了保证数据的使用质量,需要对船舶AIS信息进行预处理。某段时间内船舶的航行平均速度可由下式进行估算:
其中am为船舶前进时的正向加速度,bm为船舶前进时的反向加速度。当前的数据被鉴定为异常速度时,通过下式采取近两点的平均速度对数据进行更新:
对于数据的位置信息,同理可以通过下式进行检验:
考虑到实测AIS数据很难满足匀速、线性的要求,利用多项式卡尔曼滤波能够解决目标运行的实际情况。假设离散船舶航迹数据在Tj时刻的状态为:
其中αT,j为当前时刻的对地航向。考虑到AIS数据分布上并非等时间间隔,当船舶位置坐标更新频率较低时,在预测下一时刻船舶位置往往会因为预测位置相隔时间太长而失去最佳修正位置,影响预测位置精度;当船舶位置坐标更新频率过快时,过于冗余的位置预测步长会导致滤波时间过慢,失去船舶位置实时预测的时效性。因此更新频率过快时,通过设置时间间隔阈值在获得的航迹点中随机选择一点替代整个航段;更新频率过低时,利用船舶速度及加速度对航线进行航迹点插值。此时式可改进为:
其中为上一时刻通航船舶的加速度。对于复杂的船舶运动模式,客观存在的航迹往往会表现出类似分段多项式的特征,因此多项式预测滤波器可以估计类似多项式形式的航迹未来值,通过迭代获取各数据点的自适应状态转移矩阵,通过扩展卡尔曼滤波算法得到航迹预测点。这里利用多项式模型拟合前Tj-1时刻航迹,多项式阶数的选择通过计算前Tj-1步的实际运行位置与多项式阶数从1开始预测位置的最小距离进行确定。当其小于阈值时,确定多项式阶数。此时目标的运行轨迹多项式为:
其中X(t)为包括经纬度坐标随时间变化的多项式拟合曲线。此时模型的状态方程与测量方程分别为:
式中,和为两个时刻的状态向量,为Tj时刻的测量向量。是过程噪声,是测量噪声,且二者为相互独立、均值为零的高斯白噪声。为Tj-1时刻的转移矩阵,由式的多项式拟合轨迹由一阶泰勒展开得到的雅克比矩阵确定。为Tj时刻的测量矩阵。迭代过程中,状态向量的一步预测为:
系统状态向量的一步误差协方差矩阵为:
卡尔曼增益为:
更新误差协方差矩阵,迭代L次完成对轨迹的L步预测,获得:
本实施例中,第三控制单元所执行的基于多项式卡尔曼滤波的船舶轨迹预测算法的步骤如表1所示,包括:
(1)获取待处理的船舶轨迹数据集,通过速度、位置检验及插值、简化航迹后完成数据预处理:
(2)确定轨迹参数模型,利用多项式拟合航迹获取状态方程及观测方程所需的F、H等参数。
(3)确定初始时刻的状态估计值、误差协方差矩阵等,完成一步滤波。
(4)对于待处理的L个轨迹点依次迭代获取状态估计值及下一步的预测误差协方差,并将预测值与真实值相比较,得到每个航迹点的均方根误差,结束迭代)。
(5)输出总体预测均方根误差。
表1
本实施例中,第三控制单元利用船舶动态表的经纬度信息、记录数据时间和AIS点名称可以完成航迹分布图的绘制。AIS动态信息表数据量一般比较大,庞大的记录数据,并不是全部都是有用的,在应用这些数据之前,必须对数据作出预处理,以减小计算误差和服务器负荷。预处理的主要工作是删除动态信息表中MMSI为0的记录,根据AIS_NAME表删除超过AIS点扫描范围的记录等。航迹绘制算法步骤如下:
1)生成绘制航迹分布所需的全部且无重复记录的MMSI表。
2)对MMSI表的每个MMSI,按时间先后顺序搜索有关动态表的位置信息,接着设置经度、纬度、时间的最大差值(阀值)λlat、λlong、λtime,然后比较相邻的两个位置信息,当时间差≤λtime,经度差≤λlong,纬度差≤λlat,同时满足这三个条件时,才可以画线,否则,就不能画线.这样遍历所有的位置信息,就可以得到属于此MMSI的航迹。
3)然后对下一个MMSI重复上述步骤,直至遍历MMSI表中的所有MMSI.这样就得到了所监测水域或矩形区域的航迹分布图。
在这里,设置经度、纬度、时间阀值的原因在于有些船舶在较短的时间内出现了较大的位置变化,或者是间隔相当长的时间才有记录,或者是进入了AIS设备盲区。设置了阀值就可以避免航迹分布出现杂乱线的可能.时间阀值主要根据船舶最大报告频率设置;经纬度阀值主要根据船舶航行最大速度及时间阀值设置。
在实际过程中,AIS接收机提供的船舶运动点迹往往呈现出信息缺失、非线性、多机动的问题,从而导致利用AIS设备采集的数据难以准确判断船舶位置。研究表明基于多项式卡尔曼滤波器算法可以拟合非线性系统,补偿航迹定位数据信息缺失、更新较慢等问题,并基于经纬度信息预测船舶运动轨迹。例如正常情况下,B类动态AIS数据信息上报的时间间隔通常为30秒,但在实际过程中,由于AIS设备的信息发送不及时、人为等不可靠因素,导致无法准确的判断船舶位置。为解决船舶数据的完整性、连续性及精度等问题,基于AIS数据完整性地估计船舶航行轨迹需要有效的预测算法。
本实施例中,第三控制单元使用基于多项式卡尔曼滤波的行驶轨迹预测方法对反馈信息进行处理,获得通航船舶的预测航迹,将预测航迹与预设的标准航迹进行比较,如果发现存在偏离,生成并输出用于表示通航船舶偏航的第三预警信号。
本实施例中,第三控制单元还根据预测航迹生成点状航迹分布图和/或线状航迹分布图,控制显示单元显示点状航迹分布图和/或线状航迹分布图。
本实施例中,参照图8,船舶目标雷达预警模块包括频率调制连续波雷达单元和第四控制单元。
在AIS网络不覆盖的地区或当船舶AIS关闭的情况下,可以利用雷达探测技术监测预警船舶的偏航。在雨衰影响,在雨天、雾天使用时,雷达探测有明显的优势。可实现对目标区域的全天时、全天候、高可靠、低误报监测。系统可以全天候实时监控水域船舶目标,具有全面态势感知、实时监视预警功能。FMCW调频连续波体制的雷达,其辐射低,功耗小,环境辐射危害小,对微弱目标、小目标、低速目标探测能力强。FMCW雷达能够持续输出检测到的目标的方位、距离、速度来判断目标的准确位置,再融合视频进行目标复核,判断是否为需报警的目标。
沿海雷达应用主要是基于频率调制连续波(FMCW)和脉冲多普勒技术。脉冲多普勒雷达,是一种利用多普勒效应来探测运动目标的位置和相对运动速度的雷达。当雷达发射一固定频率的脉冲波对空扫描时,如遇到活动目标,回波的频率与发射波的频率出现频率差,称为多普勒频率。根据多普勒频率的大小,可测出目标对雷达的径向相对运动速度;根据发射脉冲和接收的时间差,可以测出目标的距离。频率调制连续波(FMCW)雷达也利用多普勒效应确定移动目标的速度。然而,由于静止目标不产生多普勒频移(Doppler Shift),所以FMCW雷达在特定时间范围内,在不改变其传输的信号振幅的情况下增加和降低其发射频率。FMCW雷达的吸引力在于它们具有良好的杂波分辨能力,相较于脉冲多普勒雷达,技术的复杂性和功耗较低,这大大降低了采购成本和运营成本。
FMCW雷达在扫频周期内发射频率变化的连续波,被物体反射后的回波与发射信号有一定的频率差,通过测量频率差可以获得目标与雷达之间的距离信息,该差频信号频率较低,一般为KHz,因此硬件处理相对简单、适合数据采集并进行数字信号处理。本实施例中使用的FMCW雷达系统基本组成框图如图9所示。
对船舶运动目标的检测是基于FMCW雷达的测距,测速和测角度的原理。FMCW雷达主要是通过检测回波时延来计算目标距离。FMCW雷达是通过检测目标运动产生的多普勒频移来计算目标速度。FMCW雷达是通过提取不同天线RX相位差来计算出目标角度。然后根据雷达测量到的船舶数据(距离,速度和角度)来实时预测其位置和轨迹。
连续波雷达的发射信号可以是单频连续波(CW)或者调频连续波(FMCW),调频方式有三角波、锯齿波、编码调制或者噪声调频等。本实施例中,连续波雷达所生成的三角波调频连续波如图10所示,其中扫频周期为T,扫频带宽为B,发射信号经过目标反射,回波信号会有延时,在三角形的频率变化中,可以在上升沿和下降沿两者上进行距离测量。
如果没有多普勒频率,上升沿期间的频率差值等于下降沿期间的测量值。对于运动船舶目标,则上升/下降沿期间的频率差不同,因此可以通过这二个频率差来测距和测速。差拍信号经低通滤波和放大后送数字信号处理器,完成对差拍信号的FFT、检测,对目标数据进行计算后送显控终端显示。三角波调频连续波雷达正是通过采用正负调频斜率来消除距离与速度的耦合,进而进行目标速度的估计。
为了获得目标的速度信息,雷达通常以帧为单位,均匀等时间间隔地发出一串chirps信号。然后利用信号相位差来测量出目标场中目标的速度。对与每个chirp对应的数字化采样点执行距离FFT,输出结果以连续行的形式存储在矩阵中。处理器接收并处理一帧中所有单个chirp后,开始对chirps串序列进行FFT(多普勒FFT)。本实施例中,FMCW雷达测量距离、速度和角度流程如图11所示。
距离FFT(逐行)和多普勒FFT(逐列)的联合操作可视作每帧对应数字化采样点的二维FFT。二维FFT可同时分辨出目标的距离和速度。也就是说,二维FFT的峰值位置对应雷达前方目标的距离和速度。对目标角度信息的解析需要多个RX天线。因此,处理器首先处理每个天线接收到的信号进行二维FFT。随后,对多个天线所得的二维FFT矩阵进行联合处理,最后得出目标的到达角。
本实施例中,从数学原理,针对对锯齿波体制FMCW雷达,推导雷达检测距离、速度和角度的计算公式。
图12是一个典型的Chirp信号示意图。从时域来看,信号是一个幅值恒定、频率变化的、时间连续的信号。从频域来看,信号的频率与时间呈现线性关系。其中B为信号带宽、f0为起始频率、S=B/Tc为斜率,这是Chirp信号的基本参数。
若为运动目标,将目标运动对传播时间τ的影响进行考虑。
同理,将发射信号与接收信号混频,可得SIF中频信号为:
可见,从严格的数学意义上来说,SIF也是一个线性调频信号。但是由于处理时间极短(通常在ms或者us量级),可忽略t的高次项;同时分母含有的项也可忽略。于是,可得中频信号为:
这依然是一个单频信号。与静止目标所不同的是,此单频信号的频率中同时含有目标速度和距离信息,通过FFT无法直接准确测量出目标的距离信息。此现象叫做“速度与距离的耦合”。同时,常数项包含着此次脉冲信号发射时目标的起始位置,这就给我们提供了测速的思路。即可以连续发射多个脉冲,测量脉冲的初始相位差。
上述结论可以很容易推广到多目标的情形。即在不同距离处均有一静止目标,这些目标都会对信号进行反射,从而接收机接收到的应是由多个不同延迟的信号的和。对于每一个目标而言,分析思路和方法与前面的单目标情况完全类相同。不难得到,对应于多目标的中频信号是多个单频信号的叠加,从而经过FFT运算之后的幅度谱会得到多个峰值,每个峰值出现的频点位置与该目标与雷达的距离成比例
雷达对目标距离的检测最后是通过FFT运算,转变为对中频信号谱峰的定位。那么一个自然的想法是,FFT运算的分辨率将会影响中频信号频谱的分辨,从而影响雷达对目标距离的分辨率,即雷达的最小作用距离表达为可见,雷达对目标距离的分辨率由发射信号的带宽决定,增加带宽,将会得到更好的距离分辨能力,但同时也会增加硬件成本了信号处理的难度。
一方面,目标距离雷达越远,得到的中频信号的频率也就越高。然而在实际运用中,雷达器件的采样率fs是有限的,那么这就限制了雷达可探测的最大距离。(此上限可以通过解模糊算法得到提高,后续在目标速度测量部分会有说明。)另一方面,目标信号也会对”雷达的最大可探测距离“这一参数产生影响。雷达系统有一个关键参数叫“最小可探测信噪比”,其含义是,如果接收到的目标回波信噪比低于这一参数,将无法准确检测出目标。在毫米波雷达领域,由于一般不涉及吸波材料,通常直观的将这一参数和目标的反射截面积RCS对应起来。简单来说,对于反射越强的目标,可以探测到的距离越远。上述两个方面的因素,均会影响”雷达的最大可探测距离“。但是,在设计雷达的时候,一般首先考虑雷达的中频采样率fs的影响。
FMCW雷达对目标速度测量的基本原理,是连续发射一系列调频脉冲信号,对接收到的差频信号逐个做距离维的FFT,再在所有脉冲信号的同一距离单元做第二次FFT,即可得到目标速度信息。前面已经推导得出单个脉冲回波的差频信号数学模型为:
在此模型上继续考虑如下3个实际情况:(1)时间是离散的,由采样周期Ts确定;(2)每个脉冲共采样N点数据;(3)连续发射L个脉冲;(4)目标运动速度径向分量为常数v。对上述单脉冲回波差频信号数学模型进行修改,可得:
式中,n=0,1,2,...,N-1为单脉冲采样点序列;R0为0时刻(雷达第一个发射脉冲的起始时刻)目标与雷达的径向距离;l=0,1,2,...,L-1为脉冲序列;Tc为脉冲重复时间(两相邻脉冲起始时刻之间的时间差)。对于此表达式进行分析可知,针对某一个特定的脉冲,信号sIF还是一个单频信号。与静止目标所不同的是多了一部分固定的值可以将这一项理解为原信号的复包络,也可以理解为对原信号的一个相移。针对同一个脉冲做FFT运算(即第一傅里叶变换,以n为自变量),可得上述信号的频率成分为对不同的脉冲做FFT(即第二傅里叶变换,以l为自变量),相当于对上述差频信号的相位成分做傅里叶分析,可得信号的相位信息,此相位信息包含这目标的速度。目标的速度信息是包含在回波的相位中的。连续发射L个脉冲,其相位信息是随l变化的。对此相位信息做FFT,即可提取出其中包含的速度信息。我们都知道,相位的导数是频率。其实对信号频率的测量,最后还是回到了信号相位改变上。FMCW信号对目标速度的测量,就是测量同一目标在相邻脉冲间的相位差,此相位差会反应在第二次FFT(以l为自变量)的频谱峰值上面。
在角度估计中,通过对接收差频信号在快慢时间维度的扩展,增加了空域的信息。扩展后的接收差频信号可以表示为:
其中k表示接收天线的个数,d为天线间距。
由于不同天线之间存在的相位差,利用这一关系,通过对两个相邻天线的相位差即可反求出目标的角度信息。比相测角的方法公式可表示为:
可以看出,只需要利用两个天线即可求出目标的角度,这种方法适用于一些天线阵元较少的场景,比如24G雷达用的就较多。
本实施例中,第四控制单元根据频率调制连续波雷达单元接收的差频信号进行处理,获得通航船舶的行驶速度,将通航船舶的行驶速度与预设的标准速度进行对比,如果通航船舶的行驶速度超过标准速度,第四控制单元生成并输出用于表示通航船舶超速的第四预警信号。
本实施例中,主控模块执行以下步骤A1-A3,以将第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号:
A1.根据预设的对应关系,获取所述第一预警信号、第二预警信号、第三预警信号和第四预警信号各自对应的预警级别;
本实施例中,可以根据第一预警信号中所包括的通航船舶超高的程度,确定第一预警信号对应预警级别为严重、中等或者轻微;根据第二预警信号中所包括的通航船舶偏航的程度,确定第二预警信号对应预警级别为严重、中等或者轻微;根据第三预警信号中所包括的通航船舶偏航的程度,确定第三预警信号对应预警级别为严重、中等或者轻微;根据第四预警信号中所包括的通航船舶超速的程度,确定第四预警信号对应预警级别为严重、中等或者轻微;
A2.按照所对应的预警级别,将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号分组;本实施例中,可以将预警级别同属严重的预警信号分为同一组,将预警级别同属中等的预警信号分为同一组,将预警级别同属轻微的预警信号分为同一组;
A3.当存在唯一的包含最多预警信号的组,以所述包含最多预警信号的组中的一个预警信号确定为所述目标预警信号,反之,则以具有最高的预警级别的预警信号确定为所述目标预警信号。
本实施例中,在第一预警信号、第二预警信号、第三预警信号和第四预警信号的情况下,可能会出现以下情况:(1)第一预警信号、第二预警信号、第三预警信号的预警级别均属于严重、第四预警信号的预警级别属于中等;(2)第一预警信号和第二预警信号的预警级别均属于中等,第三预警信号和第四预警信号的预警级别属于轻微;(3)第一预警信号和第二预警信号的预警级别均属于严重,第三预警信号的预警级别属于中等,第四预警信号的预警级别属于轻微。第(1)种情况,属于严重一组的预警信号有3个,第(3)种情况,属于严重一组的预警信号有2个,属于中等一组的预警信号有1个,属于轻微一组的预警信号有1个,因此第(1)种情况和第(3)种情况都属于存在唯一的包含最多预警信号的组的情况,唯一的包含最多预警信号的组就是属于严重的一组,此时以属于严重的一组中的预警信号确定为目标预警信号,即第(1)种情况的目标预警信号可以是第一预警信号、第二预警信号或第三预警信号,第(3)种情况的目标预警信号可以是第一预警信号和第二预警信号。第(2)种情况中,属于中等一组的预警信号有2个,属于轻微一组的预警信号有2个,因此第(2)种情况和第(3)种情况不属于存在唯一的包含最多预警信号的组的情况,以具有最高的预警级别的预警信号确定为所述目标预警信号,即以中等一组中的第一预警信号和第二预警信号确定为目标预警信号。
通过执行步骤A1-A3,可以充分利用本实施例中的桥梁防撞预警系统具有多个预警模块的优势,避免依赖个别预警模块的工作结果而导致输出结果不稳定。
本实施例中,主控模块在根据目标预警信号进行报警时,可以将目标预警信号发送至通航船舶或者航道主管部门。
本实施例中,桥梁防撞预警方法包括以下步骤:
S1.测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
S2.获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
S3.与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
S4.对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号;
S5.将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据所述目标预警信号进行报警。
本实施例中可以由桥梁防撞预警系统中的主控模块来执行步骤S1-S5,从而达到与桥梁防撞预警系统相同的技术效果。
本实施例中,一种计算机装置,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行实施例中的桥梁防撞预警方法,实现与实施例所述的相同的技术效果。
本实施例中,一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于执行实施例中的桥梁防撞预警方法,实现与实施例所述的相同的技术效果。
需要说明的是,如无特殊说明,当某一特征被称为“固定”、“连接”在另一个特征,它可以直接固定、连接在另一个特征上,也可以间接地固定、连接在另一个特征上。此外,本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。此外,除非另有定义,本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例,而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种元件,但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如,在不脱离本公开范围的情况下,第一元件也可以被称为第二元件,类似地,第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例,并且除非另外要求,否则不会对本发明的范围施加限制。
应当认识到,本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现,其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而,若需要,该程序可以以汇编或机器语言实现。在任何情况下,该语言可以是编译或解释的语言。此外,为此目的该程序能够在编程的专用集成电路上运行。
此外,可按任何合适的顺序来执行本实施例描述的过程的操作,除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行,并且可作为共同地在一个或多个处理器上执行的代码(例如,可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步,所述方法可以在可操作地连接至合适的任何类型的计算平台中实现,包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现,无论是可移动的还是集成至计算平台,如硬盘、光学读取和/或写入存储介质、RAM、ROM等,使得其可由可编程计算机读取,当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外,机器可读代码,或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时,本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时,本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能,从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中,转换的数据表示物理和有形的对象,包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述,只是本发明的较佳实施例而已,本发明并不局限于上述实施方式,只要其以相同的手段达到本发明的技术效果,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。
Claims (9)
1.一种桥梁防撞预警系统,其特征在于,包括:
船舶超高监测预警模块,用于测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
第一船舶偏航预警模块,用于获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
第二船舶偏航预警模块,用于与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
船舶目标雷达预警模块,用于对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号;
主控模块,所述主控模块分别与所述船舶超高监测预警模块、第一船舶偏航预警模块、第二船舶偏航预警模块和船舶目标雷达预警模块连接,所述主控模块用于将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据所述目标预警信号进行报警;所述主控模块还用于对所述船舶自动识别系统获得的船舶AIS信息进行预处理;所述对所述船舶自动识别系统获得的船舶AIS信息进行预处理,包括:
通过下式估算某段时间内船舶的航行平均速度:
其中am为船舶前进时的正向加速度,bm为船舶前进时的反向加速度;当前的数据被鉴定为异常速度时,通过下式采取近两点的平均速度对数据进行更新:
对于数据的位置信息,同理可以通过下式进行检验:
2.根据权利要求1所述的桥梁防撞预警系统,其特征在于,所述将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,包括:
根据预设的对应关系,获取所述第一预警信号、第二预警信号、第三预警信号和第四预警信号各自对应的预警级别;
按照所对应的预警级别,将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号分组;
当存在唯一的包含最多预警信号的组,以所述包含最多预警信号的组中的一个预警信号确定为所述目标预警信号,反之,则以具有最高的预警级别的预警信号确定为所述目标预警信号。
3.根据权利要求1或2所述的桥梁防撞预警系统,其特征在于,所述船舶超高监测预警模块包括:
激光发射单元,设置于所述通航船舶所在航道的一岸,用于向对岸发射激光;
激光接收单元,设置于所述通航船舶所在航道的另一岸,用于探测所述激光发射单元发射的激光;
第一控制单元,与所述激光发射单元和所述激光接收单元连接,用于当所述激光接收单元探测到所述激光发射单元发射的激光,生成并输出用于表示所述通航船舶超高的第一预警信号。
4.根据权利要求1或2所述的桥梁防撞预警系统,其特征在于,所述第一船舶偏航预警模块包括:
可见光视频拍摄单元,用于拍摄所述通航船舶的可见光监控视频;
热红外成像视频拍摄单元,用于拍摄所述通航船舶的热红外成像监控视频;
前景目标建模目标检测单元,用于以所述通航船舶为检测目标,通过前景目标建模方法检测所述可见光监控视频;
第一YOLO目标检测单元,用于以所述通航船舶为检测目标,通过YOLOV3方法检测所述可见光监控视频;
第二YOLO目标检测单元,用于以所述通航船舶为检测目标,通过YOLOV3方法检测所述热红外成像监控视频;
第二控制单元,与所述前景目标建模目标检测单元、所述第一YOLO目标检测单元和所述第二YOLO目标检测单元连接,用于当所述前景目标建模目标检测单元、所述第一YOLO目标检测单元或所述第二YOLO目标检测单元中的任一者检测到所述通航船舶,确定所述通航船舶在所述前景目标建模目标检测单元、所述第一YOLO目标检测单元或所述第二YOLO目标检测单元的视野中的位置,当所述通航船舶在所述视野中的位置偏离预设的标准位置,生成并输出用于表示所述通航船舶偏航的第二预警信号。
5.根据权利要求1或2所述的桥梁防撞预警系统,其特征在于,所述第二船舶偏航预警模块包括:
通信单元,用于与所述通航船舶上安装的船舶自动识别系统通信,获取所述船舶自动识别系统的反馈信息;
第三控制单元,与所述通信单元和显示单元连接,用于使用基于多项式卡尔曼滤波的行驶轨迹预测方法对所述反馈信息进行处理,获得所述通航船舶的预测航迹,当所述预测航迹偏离预设的标准航迹,生成并输出用于表示所述通航船舶偏航的第三预警信号;
所述第三控制单元还用于根据所述预测航迹生成点状航迹分布图和/或线状航迹分布图;
显示单元,用于显示所述点状航迹分布图和/或所述线状航迹分布图。
6.根据权利要求1或2所述的桥梁防撞预警系统,其特征在于,所述船舶目标雷达预警模块包括:
频率调制连续波雷达单元,用于对所述通航船舶发出一系列调频脉冲信号,所述调频脉冲信号作为所述雷达探测信号,接收所述通航船舶反射回的差频信号;
第四控制单元,与所述频率调制连续波雷达单元连接,用于对所述差频信号进行逐个的距离维的第一快速傅里叶变换,然后对所有所述调频脉冲信号进行同一距离单元的第二快速傅里叶变换,根据所述第一快速傅里叶变换和所述第二快速傅里叶变换的结果,确定所述通航船舶的行驶速度,当所述行驶速度超过预设的标准速度,生成并输出用于表示所述通航船舶超速的第四预警信号。
7.一种桥梁防撞预警方法,其特征在于,包括:
测量通航船舶的高度,根据测量结果确定所述通航船舶是否超高,当确定所述通航船舶超高,输出第一预警信号;
获取包含所述通航船舶的监控视频,根据对所述监控视频进行的图像分析结果确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第二预警信号;
与所述通航船舶上安装的船舶自动识别系统联动,根据所述船舶自动识别系统的反馈信息确定所述通航船舶是否偏航,当确定所述通航船舶偏航,输出第三预警信号;
对所述通航船舶发出雷达探测信号,根据反射的雷达信号确定所述通航船舶的行驶速度,当确定所述行驶速度超速,输出第四预警信号;
将所述第一预警信号、第二预警信号、第三预警信号和第四预警信号中的一个预警信号与其他至少一个预警信号进行比较,根据比较结果,将被比较的其中一个预警信号确定为目标预警信号,根据所述目标预警信号进行报警;
对所述船舶自动识别系统获得的船舶AIS信息进行预处理;所述对所述船舶自动识别系统获得的船舶AIS信息进行预处理,包括:
通过下式估算某段时间内船舶的航行平均速度:
其中am为船舶前进时的正向加速度,bm为船舶前进时的反向加速度;当前的数据被鉴定为异常速度时,通过下式采取近两点的平均速度对数据进行更新:
对于数据的位置信息,同理可以通过下式进行检验:
8.一种计算机装置,其特征在于,包括存储器和处理器,所述存储器用于存储至少一个程序,所述处理器用于加载所述至少一个程序以执行权利要求7所述方法。
9.一种存储介质,其中存储有处理器可执行的指令,其特征在于,所述处理器可执行的指令在由处理器执行时用于执行如权利要求7所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010691545.7A CN111899568B (zh) | 2020-07-17 | 2020-07-17 | 桥梁防撞预警系统、方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010691545.7A CN111899568B (zh) | 2020-07-17 | 2020-07-17 | 桥梁防撞预警系统、方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111899568A CN111899568A (zh) | 2020-11-06 |
CN111899568B true CN111899568B (zh) | 2021-09-07 |
Family
ID=73191029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010691545.7A Active CN111899568B (zh) | 2020-07-17 | 2020-07-17 | 桥梁防撞预警系统、方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111899568B (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112987015A (zh) * | 2021-02-10 | 2021-06-18 | 深圳市镭神智能系统有限公司 | 一种船舶检测方法、装置及激光雷达系统 |
CN113050121A (zh) * | 2021-03-22 | 2021-06-29 | 上海海事大学 | 一种船舶导航系统和船舶导航方法 |
CN113200077B (zh) * | 2021-03-26 | 2022-08-23 | 邯黄铁路有限责任公司 | 基于5g的铁路设备设施状态监测和管理方法及系统 |
CN113596391A (zh) * | 2021-06-25 | 2021-11-02 | 上海海事大学 | 一种内河船舶监测系统 |
CN115565408B (zh) * | 2022-08-15 | 2023-12-01 | 广州翔曦科技有限公司 | 一种水上桥梁防撞预警系统 |
CN115410419B (zh) * | 2022-08-23 | 2024-02-02 | 交通运输部天津水运工程科学研究所 | 一种船舶系泊预警方法、系统、电子设备及存储介质 |
CN117033486A (zh) * | 2023-08-10 | 2023-11-10 | 江苏海洋大学 | 一种基于跨海大桥水文数据的综合监测系统 |
CN117351781A (zh) * | 2023-10-11 | 2024-01-05 | 宁波朗达工程科技有限公司 | 一种跨海桥梁主动防撞预警系统及方法 |
Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3851958B1 (ja) * | 2006-02-06 | 2006-11-29 | 国土交通省国土技術政策総合研究所長 | 海面下存在物付近の海上移動体監視システム、及び海面下存在物付近の海上移動体監視方法 |
WO2009083012A1 (en) * | 2007-12-31 | 2009-07-09 | Mohsen Negm Attia Negm | Sea bottom pilotage stars |
CN104270277A (zh) * | 2014-10-24 | 2015-01-07 | 深圳中兴网信科技有限公司 | 报警信息处理方法和报警信息处理装置 |
CN104408874A (zh) * | 2014-11-28 | 2015-03-11 | 广东欧珀移动通信有限公司 | 一种安全预警方法及装置 |
CN104954178A (zh) * | 2015-05-29 | 2015-09-30 | 北京奇虎科技有限公司 | 优化系统报警的方法及装置 |
CN105678092A (zh) * | 2016-02-01 | 2016-06-15 | 中国人民解放军第三军医大学第三附属医院 | 基于物联网的重症监护智能报警管理系统 |
CN107783880A (zh) * | 2017-09-01 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种服务器系统的日志分析方法、装置及服务器系统 |
CN207517196U (zh) * | 2017-08-16 | 2018-06-19 | 广州忘平信息科技有限公司 | 桥梁主动防船撞监测预警系统 |
CN108417092A (zh) * | 2017-02-10 | 2018-08-17 | 福建双翔物联信息科技有限公司 | 一种水路桥梁防撞激光预警系统及实现方法 |
CN108645415A (zh) * | 2018-08-03 | 2018-10-12 | 上海海事大学 | 一种船舶航迹预测方法 |
CN109410649A (zh) * | 2018-11-30 | 2019-03-01 | 上海神添实业有限公司 | 一种桥梁主动防撞预警系统及方法 |
CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
CN109887340A (zh) * | 2019-04-25 | 2019-06-14 | 广东交通职业技术学院 | 一种桥区船舶航行防撞预警系统 |
CN110310518A (zh) * | 2019-07-18 | 2019-10-08 | 江苏宏远科技工程有限公司 | 一种桥梁防撞系统 |
CN110632586A (zh) * | 2019-10-10 | 2019-12-31 | 南京凌云科技发展有限公司 | 一种基于快速fmcw雷达的道路车辆低运算量监测方法 |
CN110837760A (zh) * | 2018-08-17 | 2020-02-25 | 北京四维图新科技股份有限公司 | 目标检测方法、用于目标检测的训练方法和装置 |
CN110840425A (zh) * | 2019-11-20 | 2020-02-28 | 首都医科大学宣武医院 | 一种急诊患者诊中健康监护系统及方法 |
CN110847974A (zh) * | 2019-12-06 | 2020-02-28 | 西安科技大学 | 一种基于神经网络的煤矿突水灾害预警的辅助方法 |
CN111130897A (zh) * | 2019-12-27 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 报警日志监控方法、系统、电子设备及可读存储介质 |
CN111341097A (zh) * | 2020-02-13 | 2020-06-26 | 中交第一公路勘察设计研究院有限公司 | 一种基于无人机视频的交通数据采集方法 |
CN111347923A (zh) * | 2018-12-20 | 2020-06-30 | 北汽福田汽车股份有限公司 | 电池预警方法、装置及车辆 |
CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
CN111372043A (zh) * | 2020-02-06 | 2020-07-03 | 浙江大华技术股份有限公司 | 异常检测方法以及相关设备、装置 |
CN111385459A (zh) * | 2018-12-28 | 2020-07-07 | 南京婆娑航空科技有限公司 | 一种无人机云台自动控制与对焦、测光方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN203520648U (zh) * | 2013-07-03 | 2014-04-02 | 佛山科学技术学院 | 一种改进的桥梁防撞监控系统 |
CN110345943A (zh) * | 2018-04-02 | 2019-10-18 | 哈尔滨工业大学(威海) | 船舶姿态监测预报系统及其预报方法 |
CN108630017A (zh) * | 2018-05-04 | 2018-10-09 | 上海海洋大学 | 一种船舶航行避碰方法及系统 |
CN108922247B (zh) * | 2018-07-25 | 2020-11-06 | 重庆大学 | 一种基于ais的船舶-航标碰撞危险度估算方法 |
CN109360451A (zh) * | 2018-12-12 | 2019-02-19 | 上海无线电设备研究所 | 一种桥梁主动防撞系统 |
CN110491174A (zh) * | 2019-08-26 | 2019-11-22 | 浙江华是科技股份有限公司 | 一种内河船舶桥梁防撞检测系统及方法 |
CN110796142B (zh) * | 2019-10-30 | 2023-04-18 | 青岛科技大学 | 一种基于船舶集群态势的船间相对领域获取方法 |
CN110956853B (zh) * | 2019-11-12 | 2022-02-22 | 武汉理工大学 | 一种多船碰撞预测方法、系统和存储介质 |
CN111326022B (zh) * | 2020-02-25 | 2020-12-25 | 广州中交通信有限公司 | 基于ais的船舶坐标修正方法、系统、装置和存储介质 |
-
2020
- 2020-07-17 CN CN202010691545.7A patent/CN111899568B/zh active Active
Patent Citations (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3851958B1 (ja) * | 2006-02-06 | 2006-11-29 | 国土交通省国土技術政策総合研究所長 | 海面下存在物付近の海上移動体監視システム、及び海面下存在物付近の海上移動体監視方法 |
WO2009083012A1 (en) * | 2007-12-31 | 2009-07-09 | Mohsen Negm Attia Negm | Sea bottom pilotage stars |
CN104270277A (zh) * | 2014-10-24 | 2015-01-07 | 深圳中兴网信科技有限公司 | 报警信息处理方法和报警信息处理装置 |
CN104408874A (zh) * | 2014-11-28 | 2015-03-11 | 广东欧珀移动通信有限公司 | 一种安全预警方法及装置 |
CN104954178A (zh) * | 2015-05-29 | 2015-09-30 | 北京奇虎科技有限公司 | 优化系统报警的方法及装置 |
CN105678092A (zh) * | 2016-02-01 | 2016-06-15 | 中国人民解放军第三军医大学第三附属医院 | 基于物联网的重症监护智能报警管理系统 |
CN108417092A (zh) * | 2017-02-10 | 2018-08-17 | 福建双翔物联信息科技有限公司 | 一种水路桥梁防撞激光预警系统及实现方法 |
CN207517196U (zh) * | 2017-08-16 | 2018-06-19 | 广州忘平信息科技有限公司 | 桥梁主动防船撞监测预警系统 |
CN107783880A (zh) * | 2017-09-01 | 2018-03-09 | 郑州云海信息技术有限公司 | 一种服务器系统的日志分析方法、装置及服务器系统 |
CN108645415A (zh) * | 2018-08-03 | 2018-10-12 | 上海海事大学 | 一种船舶航迹预测方法 |
CN110837760A (zh) * | 2018-08-17 | 2020-02-25 | 北京四维图新科技股份有限公司 | 目标检测方法、用于目标检测的训练方法和装置 |
CN109410649A (zh) * | 2018-11-30 | 2019-03-01 | 上海神添实业有限公司 | 一种桥梁主动防撞预警系统及方法 |
CN111347923A (zh) * | 2018-12-20 | 2020-06-30 | 北汽福田汽车股份有限公司 | 电池预警方法、装置及车辆 |
CN109447048A (zh) * | 2018-12-25 | 2019-03-08 | 苏州闪驰数控系统集成有限公司 | 一种人工智能预警系统 |
CN111385459A (zh) * | 2018-12-28 | 2020-07-07 | 南京婆娑航空科技有限公司 | 一种无人机云台自动控制与对焦、测光方法 |
CN109887340A (zh) * | 2019-04-25 | 2019-06-14 | 广东交通职业技术学院 | 一种桥区船舶航行防撞预警系统 |
CN110310518A (zh) * | 2019-07-18 | 2019-10-08 | 江苏宏远科技工程有限公司 | 一种桥梁防撞系统 |
CN110632586A (zh) * | 2019-10-10 | 2019-12-31 | 南京凌云科技发展有限公司 | 一种基于快速fmcw雷达的道路车辆低运算量监测方法 |
CN110840425A (zh) * | 2019-11-20 | 2020-02-28 | 首都医科大学宣武医院 | 一种急诊患者诊中健康监护系统及方法 |
CN110847974A (zh) * | 2019-12-06 | 2020-02-28 | 西安科技大学 | 一种基于神经网络的煤矿突水灾害预警的辅助方法 |
CN111130897A (zh) * | 2019-12-27 | 2020-05-08 | 北京奇艺世纪科技有限公司 | 报警日志监控方法、系统、电子设备及可读存储介质 |
CN111372043A (zh) * | 2020-02-06 | 2020-07-03 | 浙江大华技术股份有限公司 | 异常检测方法以及相关设备、装置 |
CN111341097A (zh) * | 2020-02-13 | 2020-06-26 | 中交第一公路勘察设计研究院有限公司 | 一种基于无人机视频的交通数据采集方法 |
CN111368690A (zh) * | 2020-02-28 | 2020-07-03 | 珠海大横琴科技发展有限公司 | 基于深度学习的海浪影响下视频图像船只检测方法及系统 |
Non-Patent Citations (5)
Title |
---|
一种基于YOLOv3的红外目标检测系统;季航;《电子设计工程》;20191130;第27卷(第22期);全文 * |
基于多项式卡尔曼滤波的船舶轨迹预测算法;姜佰辰;《信号处理》;20190531;第35卷(第5期);正文第741-745页 * |
基于深度学习的无人船水面目标检测与分割算法研究;柳欣;《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》;20200715(第7期);正文第18-34页 * |
基于红外热成像与 YOLOv3 的夜间目标识别方法;易诗;《红外技术》;20191031;第41卷(第10期);正文第970-974页 * |
毫米波雷达目标检测及恒虚警处理研究;汪洋;《中国优秀硕士学位论文全文数据库 信息科技辑》;20200215(第2期);正文第20-41页 * |
Also Published As
Publication number | Publication date |
---|---|
CN111899568A (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111899568B (zh) | 桥梁防撞预警系统、方法、装置和存储介质 | |
Thombre et al. | Sensors and AI techniques for situational awareness in autonomous ships: A review | |
CN101214851B (zh) | 船舶行驶智能型全天候主动安全预警系统及其预警方法 | |
EP0888560B1 (en) | Improved method of moment estimation and feature extraction for devices which measure spectra as a function of range or time | |
CN105158762A (zh) | 识别和跟踪对流天气单体 | |
CN103064086A (zh) | 一种基于深度信息的车辆跟踪方法 | |
CN113721262B (zh) | 基于激光雷达检测船舶航向和高度的桥梁防碰撞预警方法 | |
CN111913177A (zh) | 对目标物探测方法、装置以及存储介质 | |
Dimitrievski et al. | Weakly supervised deep learning method for vulnerable road user detection in FMCW radar | |
CN115346399B (zh) | 基于相控阵雷达、ais和lstm网络的大桥防船撞预警系统 | |
CN111323756A (zh) | 一种基于深度学习的航海雷达目标检测方法及装置 | |
Milios et al. | Automatic fusion of satellite imagery and AIS data for vessel detection | |
Chen et al. | Ship target detection algorithm for maritime surveillance video based on gaussian mixture model | |
Celona et al. | Automated detection, classification, and tracking of internal wave signatures using X-band radar in the inner shelf | |
CN115184915A (zh) | 基于杂波随机徘徊行为的海杂波抑制方法及系统 | |
Yao et al. | LiDAR-based simultaneous multi-object tracking and static mapping in nearshore scenario | |
Bloisi et al. | Integrated visual information for maritime surveillance | |
CN115965847A (zh) | 交叉视角下多模态特征融合的三维目标检测方法和系统 | |
Kim et al. | Semantic segmentation of marine radar images using convolutional neural networks | |
Mecocci et al. | Radar image processing for ship-traffic control | |
Lee et al. | Data association for autonomous ships based on virtual simulation environment | |
Freire et al. | Radar-based target tracking for Obstacle Avoidance for an Autonomous Surface Vehicle (ASV) | |
Park et al. | Bi-directional LSTM-based Overhead Target Classification for Automotive Radar Systems | |
CN116879863B (zh) | 一种连续波4d毫米波雷达多目标测量方法及系统 | |
Kim et al. | Multi-Target Tracking Considering the Uncertainty of Deep Learning-based Object Detection of Marine Radar Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |