CN113112540B - 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 - Google Patents
一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 Download PDFInfo
- Publication number
- CN113112540B CN113112540B CN202110381908.1A CN202110381908A CN113112540B CN 113112540 B CN113112540 B CN 113112540B CN 202110381908 A CN202110381908 A CN 202110381908A CN 113112540 B CN113112540 B CN 113112540B
- Authority
- CN
- China
- Prior art keywords
- ship
- calibration
- coordinates
- point
- real world
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000001514 detection method Methods 0.000 claims abstract description 37
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims abstract description 22
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 229930186657 Lat Natural products 0.000 claims description 10
- 238000009434 installation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 101100182248 Caenorhabditis elegans lat-2 gene Proteins 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003064 k means clustering Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013461 design Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，在一个实施例中，针对VTS系统的CCTV摄像头的标定设计包括如下步骤：在CCTV摄像头的监控画面中确定船舶标定点的像素坐标，通过船舶安装的A类AIS获得船舶的经度、纬度、实际航向和总体尺寸/位置参考，计算船舶标定点的真实世界坐标；通过多对船舶标定点的像素坐标和真实世界坐标计算单应性矩阵并消除标定时水位的影响；在图像的船舶目标检测任务中，利用检测算法获得的检测框、单应性矩阵和当时水位计算被检测船舶的经纬度坐标。具有标定方法简单、船舶目标定位准确的优点。
Description
技术领域
本发明属于船舶交通监管技术领域，具体涉及一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法。
背景技术
目前的船舶交通管理系统(VTS)中船舶目标的检测和定位主要依靠AIS和雷达进行。但是目前这两种传感器依然存在一定的缺陷。A类AIS仅在载重300吨及以上的船舶中规定安装，因此容易造成中小型船舶的漏检，且根据船舶运动状态的变化，信息更新速率从2s～3min不等，信息更新速率较慢。雷达受海浪杂波、雨雪天气的影响较大，且距离误差较大，IMO规定船用雷达的测距误差不能超过最大量程的1.5％且不能超过70m，雷达信息更新速率为2s～4s。而VTS系统中的闭路电视(CCTV)摄像头能够采集丰富的信息，且具有信息更新速率远大于AIS和雷达的优点，通过船载A类AIS提供的信息进行标定后，摄像头能够通过水面上某点的像素坐标计算该点对应的真实世界坐标。随着视频处理技术的发展，现在的图像识别技术已经能够快速准确地检测到视频帧的船舶并生成目标框，根据目标框的像素位置信息可以对检测到的船舶目标计算真实世界坐标。因此有必要为CCTV摄像头设计一种标定和目标定位方案。
使用普通的标定方法对现有VTS摄像头进行标定存在许多问题，直接进行标定难以找到所有VTS摄像头都适用的标定物，而拆除标定后再安装耗时耗力，标定物和实际船舶目标尺寸差距过大容易在使用时产生误差。
发明内容
本发明要解决的技术问题是在监控范围内装有A类AIS的船舶上选择标定点对CCTV摄像头进行标定，并利用标定好的摄像头在船舶检测任务后对产生检测框的船舶目标进行定位。
为解决上述技术问题，本发明提出了一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，具体包括如下步骤：
步骤1，根据摄像头拍摄到的船舶图像，确定标定点并计算标定点的真实世界坐标；
记录摄像头的经纬度位置，摄像头监控范围内船舶安装的A类AIS提供的数据和报告数据时的监控画面，通过监控画面确定标定点与艏艉线的位置关系并记录标定点的像素坐标，通过AIS提供的船舶经纬度位置和总体尺寸/参考位置以及摄像头的经纬度位置计算标定点的真实世界坐标。
步骤2，获得四个以上不在同一条线上且在监控画面中距离较远的标定点的像素坐标和真实世界坐标对应关系，计算像素坐标到真实世界坐标的单应性矩阵，根据摄像头安装高度和标定时的水位，计算消除水位影响的单应性矩阵HOM。
步骤3，使用标定后的CCTV摄像头进行船舶目标的检测和定位，基于深度学习的检测算法对标定后摄像头拍摄的任意监控图像进行船舶目标检测，生成检测框，根据检测框的像素坐标信息对图像进行切割、边缘提取和对边缘坐标进行聚类，并根据聚类结果对每个船舶目标确定多个船舶定位点，结合当时水位和单应性矩阵计算各定位点的真实世界坐标，通过各定位真实世界坐标和摄像头的经纬度位置计算船舶目标的WGS-84坐标系下的经纬度坐标。
有益效果：使用船载AIS提供的数据，在不需要拆装摄像头和不需要测量摄像头安装角度等外参的情况下方便地对岸基CCTV摄像头进行标定，并使标定后的CCTV摄像头能够较准确地用于船舶目标检测的定位。
附图说明
图1是根据本发明实施例的流程图；
图2是图像中的标定点；
图3是AIS提供的总体尺寸/位置参考示意图；
图4是深度学习检测算法生成的检测框示意图；
图5是根据检测框获得的局部矩形图像；
图6是本申请的方案得到的以秒为单位的定位误差。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明的一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，如图1所示，具体包括如下步骤：
步骤1，根据拍摄到的船舶图像，确定标定点并计算标定点的真实世界坐标；所述标定点的真实世界坐标是指WGS-84坐标系下标定点的经纬度位置减去摄像头的经纬度位置；
1.1、根据拍摄得到的图片选择标定点，并判断该标定点与艏艉线的位置关系。
如图2所示，将监控画面中拍摄到的船尾和尾舷的交线与水面的交点作为标定点，船尾和尾舷的交线与水面的交点如图中箭头所指位置，且该图中可以看出，设定艏艉线由船尾指向船头，标定位于艏艉线的左边。
1.2、根据ITU-R M.1371-5建议书，A类AIS提供用于报告位置的参考点和船舶的总尺寸，示意图如图3所示。
若在监控画面中判断标定点位于艏艉线的右边，报告位置的参考点与标定点间的方位角brng为：
若在监控画面中判断该标定点位于艏艉线的左边，报告位置的参考点与标定点间的方位角brng为：
其中，c是AIS报告的实际航向，B，C，D是AIS报告的总体尺寸/位置参考，B是报告位置的参考点到船尾的距离，C是报告位置的参考点到左船舷的距离，D是报告位置参考点到右船舷的距离。
1.3、计算标定点在WGS-84坐标系下的经纬度位置和真实世界坐标：
lat＝lat2-lat0
long＝long2-long0
其中，(lat0,long0)是摄像头的纬度和经度，(lat1,long1)是报告位置参考点的纬度和经度，(lat2,long2)是标定点的纬度和经度，(lat,long)是标定点的真实世界坐标，R为该区域的地球半径，d为报告位置参考点和标定点的水平距离，若在监控画面中判断该标定点位于艏艉线的右边，d的计算方法为：
若在监控画面中判断该标定点位于艏艉线的左边，d的计算方法为：
步骤2、根据步骤1获得四个以上不在同一条线上且在监控画面中距离较远的标定点的像素坐标和真实世界坐标对应关系，使用M估计样本一致性(MSAC)算法排除异常值，并根据各标定点的像素坐标和真实世界坐标对计算像素坐标到真实世界坐标的3*3几何变换矩阵hom，该矩阵是像素坐标到真实世界坐标的单应性矩阵，根据摄像头安装高度和标定时的水位，计算消除水位影响的单应性矩阵HOM：
其中，h是摄像头安装高度和标定时水位的高度差。
步骤3、使用标定后的CCTV摄像头进行船舶目标的检测和定位，基于深度学习的检测算法对标定后摄像头拍摄的任意监控图像进行船舶目标检测，生成检测框，利用检测框的像素坐标、单应性矩阵HOM和当时的水位，计算检测框内船舶的WGS-84坐标系下的经纬度坐标，具体方法如下：
3.1，如图4所示，为了解决检测框平行于图像边缘，而实际船舶的吃水线可能和图像边缘成一定角度的问题，根据检测框的底边截取局部矩形图像：
x＝x1
l＝l1
其中，(x1,y1)是检测框的左上角像素坐标，(l1,w1)是检测框的长和宽，(x,y)是局部矩形图像的左上角像素坐标，(l,w)是局部矩形图像的长和宽，局部矩形图像的长和检测框相同，宽为检测框的高度的1/2，其中1/3在检测框底边之上，1/6在检测框底边之下，局部矩形图像如图5所示。
3.2，使用该局部矩形图像生成局部灰度图像：
gray＝(0.2989*R+0.5870*G+0.1140*B)/255
其中，gray代表局部灰度图像的像素值，R代表局部矩形图像的R通道像素值，G代表局部矩形图像的G通道像素值，B代表局部矩形图像的B通道像素值。
3.3、船舶的吃水线通常在图像中产生较明显的边缘，对该灰度图进行维纳滤波减少水面杂波的影响，使用导数的Prewitt逼近方法提取局部灰度图像的边缘，记录所有属于边缘的像素坐标，并对这些像素坐标进行k-means聚类，得到k个船舶定位点，对于每个定位点，通过当前的水位和单应性矩阵HOM计算船舶定位点对应的真实世界坐标：
其中，h1是根据摄像头安装高度和当前水位计算的摄像头与水面的高度差，(u,v)是该定位点的像素坐标，(latP,longP)是该定位点在当前水位下的真实世界坐标。
将k个船舶定位点的真实世界坐标的平均值作为测得的船舶真实世界坐标，通过摄像头的经纬度坐标获得船舶的经纬度坐标：
其中，(lats,longs)表示测得的船舶纬度和经度，表示测得的船舶真实世界坐标。
固定摄像头，在小范围内模拟上述方法，采集27组目标变化的朝向、WGS-84坐标系下的经纬度坐标、总体尺寸/位置参考，和对应时刻拍摄到的该目标的无损压缩图像。随机选择其中7组数据根据步骤1和步骤2所述的步骤计算单应性矩阵HOM，另外20组数据在图像中的目标周围生成框，根据步骤3所述的步骤，用框的像素信息和得到的单应性矩阵HOM计算目标的经纬度位置，与记录的经纬度数据相减，得到以秒为单位的误差，如图6所示，第一列是纬度的误差，第二列是经度的误差，本申请中的实现方案计算得到的定位结果误差中，纬度的误差最大为0.16秒，经度的误差最大为0.30秒，具有较好的定位效果。
以上内容是结合具体优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员而言，在不脱离本发明构思的前提下，还可以作出若干推演或替换，都应当视为属于本发明的保护范围。
Claims (3)
1.一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，其特征在于，具体包括如下步骤：
步骤1，根据摄像头拍摄到的船舶图像，确定标定点并计算标定点的真实世界坐标；
步骤2，获得四个以上不在同一条线上且在监控画面中距离较远的标定点的像素坐标和真实世界坐标对应关系，计算像素坐标到真实世界坐标的单应性矩阵，根据摄像头安装高度和标定时的水位，计算消除水位影响的单应性矩阵HOM；
步骤3，使用标定后的CCTV摄像头进行船舶目标的检测和定位，基于深度学习的检测算法对标定后摄像头拍摄的任意监控图像进行船舶目标检测，生成检测框，利用检测框的像素坐标、单应性矩阵HOM和当时的水位，计算检测框内船舶的WGS-84坐标系下的经纬度坐标；
步骤3中计算检测框内船舶的WGS-84坐标系下的经纬度坐标的方法，具体步骤如下：
3.1，根据检测框的底边截取局部矩形图像：
x＝x1
l＝l1
其中，(x1,y1)是检测框的左上角像素坐标，(l1,w1)是检测框的长和宽，(x,y)是局部矩形图像的左上角像素坐标，(l,w)是局部矩形图像的长和宽，局部矩形图像的长和检测框相同，宽为检测框的高度的1/2，其中1/3在检测框底边之上，1/6在检测框底边之下；
3.2，使用该局部矩形图像生成局部灰度图像：
gray＝(0.2989*R+0.5870*G+0.1140*B)/255
其中，gray代表局部灰度图像的像素值，R代表局部矩形图像的R通道像素值，G代表局部矩形图像的G通道像素值，B代表局部矩形图像的B通道像素值；
3.3，船舶的吃水线通常在图像中产生较明显的边缘，对该灰度图进行维纳滤波减少水面杂波的影响，使用导数的Prewitt逼近方法提取局部灰度图像的边缘，记录所有属于边缘的像素坐标，并对这些像素坐标进行k-means聚类，得到k个船舶定位点，对于每个定位点，通过当前的水位和单应性矩阵HOM计算船舶定位点对应的真实世界坐标：
其中，h1是根据摄像头安装高度和当前水位计算的摄像头与水面的高度差，(u,v)是该定位点的像素坐标，(latP,longP)是该定位点在当前水位下的真实世界坐标；
将k个船舶定位点的真实世界坐标的平均值作为测得的船舶真实世界坐标，通过摄像头的经纬度坐标获得船舶的经纬度坐标：
其中，(lats,longs)表示测得的船舶纬度和经度，表示测得的船舶真实世界坐标。
2.根据权利要求1所述一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，其特征在于，步骤1中根据摄像头拍摄到的船舶图像，确定标定点并计算标定点的真实世界坐标的方法，具体包括如下步骤：
步骤1.1，根据拍摄得到的图片选择标定点，将监控画面中拍摄到的船尾和尾舷的交线与水面的交点作为标定；并判断该标定点与艏艉线的位置关系；
步骤1.2，若在监控画面中标定点位于艏艉线的右边，报告位置的参考点与标定点间的方位角brng为：
若在监控画面中该标定点位于艏艉线的左边，报告位置的参考点与标定点间的方位角brng为：
其中，c是AIS报告的实际航向，B，C，D是AIS报告的总体尺寸/位置参考，B是报告位置的参考点到船尾的距离，C是报告位置的参考点到左船舷的距离，D是报告位置参考点到右船舷的距离；
1.3，计算标定点在WGS-84坐标系下的经纬度位置和真实世界坐标：
lat＝lat2-lat0
long＝long2-long0
其中，(lat0,long0)是摄像头的纬度和经度，(lat1,long1)是报告位置参考点的纬度和经度，(lat2,long2)是标定点的纬度和经度，(lat,long)是标定点的真实世界坐标，R为该区域的地球半径，d为报告位置参考点和标定点的水平距离，若在监控画面中判断该标定点位于艏艉线的右边，d的计算方法为：
若在监控画面中判断该标定点位于艏艉线的左边，d的计算方法为：
3.根据权利要求1所述一种在VTS系统中使用AIS标定CCTV摄像头进行船舶图像目标定位的方法，其特征在于，步骤2中消除水位影响的单应性矩阵HOM的计算方法为：
获得四个以上不在同一条线上且在监控画面中距离较远的标定点的像素坐标和真实世界坐标对应关系，使用M估计样本一致性算法排除异常值，并根据各标定点的像素坐标和真实世界坐标对计算像素坐标到真实世界坐标的3*3几何变换矩阵hom，该矩阵是像素坐标到真实世界坐标的单应性矩阵，根据摄像头安装高度和标定时的水位，计算消除水位影响的单应性矩阵HOM：
其中，h是摄像头安装高度和标定时水位的高度差。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381908.1A CN113112540B (zh) | 2021-04-09 | 2021-04-09 | 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110381908.1A CN113112540B (zh) | 2021-04-09 | 2021-04-09 | 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113112540A CN113112540A (zh) | 2021-07-13 |
| CN113112540B true CN113112540B (zh) | 2024-03-29 |
Family
ID=76714865
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110381908.1A Active CN113112540B (zh) | 2021-04-09 | 2021-04-09 | 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113112540B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114022775B (zh) * | 2021-09-14 | 2024-04-30 | 南京智慧水运科技有限公司 | 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 |
| CN114926522B (zh) * | 2022-04-29 | 2024-03-15 | 湖北国际物流机场有限公司 | 基于ais系统和视频技术的目标船舶探测系统及方法 |
| CN114971595B (zh) * | 2022-07-28 | 2022-10-21 | 苏州市吴江区公安局 | 一种应用视频数据分析处理技术的船舶智慧监管系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105180943A (zh) * | 2015-09-17 | 2015-12-23 | 南京中大东博信息科技有限公司 | 船舶定位系统及方法 |
| CN112598733A (zh) * | 2020-12-10 | 2021-04-02 | 广州市赋安电子科技有限公司 | 一种基于多模态数据融合补偿自适应优化的船舶检测方法 |
-
2021
- 2021-04-09 CN CN202110381908.1A patent/CN113112540B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105180943A (zh) * | 2015-09-17 | 2015-12-23 | 南京中大东博信息科技有限公司 | 船舶定位系统及方法 |
| CN112598733A (zh) * | 2020-12-10 | 2021-04-02 | 广州市赋安电子科技有限公司 | 一种基于多模态数据融合补偿自适应优化的船舶检测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113112540A (zh) | 2021-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113112540B (zh) | 一种在vts系统中使用ais标定cctv摄像头进行船舶图像目标定位的方法 | |
| WO2016112714A1 (zh) | 一种船舶辅助泊岸方法和系统 | |
| CN111523465A (zh) | 基于摄像机标定及深度学习算法的船舶身份识别系统 | |
| CN109711353B (zh) | 一种基于机器视觉的船舶吃水线区域识别方法 | |
| US11010602B2 (en) | Method of verifying a triggered alert and alert verification processing apparatus | |
| CN113990108B (zh) | 一种船舶优化识别和实时跟踪方法及防撞预警系统 | |
| CN112614177B (zh) | 一种适用于船舶冰区走航测试的海冰厚度识别系统及海冰厚度识别方法 | |
| CN110619328A (zh) | 基于图像处理和深度学习的船舶水尺读数智能识别方法 | |
| CN112927233A (zh) | 一种船用激光雷达与视频联合目标捕捉方法 | |
| CN114898213A (zh) | 基于ais知识辅助的遥感图像旋转舰船目标检测方法 | |
| CN114581675A (zh) | 一种基于机器视觉与多源数据融合的海上船舶检测方法 | |
| CN114926786A (zh) | 船舶水尺跟踪方法、装置、存储介质和电子设备 | |
| CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
| CN110619653A (zh) | 基于人工智能的防止船舶与桥梁碰撞预警控制系统及方法 | |
| Heyn et al. | A system for automated vision-based sea-ice concentration detection and floe-size distribution indication from an icebreaker | |
| CN116704416A (zh) | 一种高压断路器机械特性自动提取方法及系统 | |
| CN116030113A (zh) | 一种水位识别方法及监测方法、水位识别系统及监测系统 | |
| CN115830140A (zh) | 一种海上近程光电监控方法、系统、介质、设备及终端 | |
| CN116310263A (zh) | 一种指针式航空地平仪示数自动读取实现方法 | |
| CN115308762A (zh) | 基于激光雷达和ais的船舶识别方法及装置 | |
| CN115684853A (zh) | 搭载紫外成像仪的无人机输电线路故障检测方法及系统 | |
| CN115201809A (zh) | 基于监控视频辅助的vts雷达目标解融合方法、系统和设备 | |
| CN111105419B (zh) | 一种基于极化sar图像的车辆船舶检测方法及装置 | |
| CN114879180A (zh) | 一种无人艇载多元多尺度雷达实时融合的无缝态势感知方法 | |
| CN114022775A (zh) | 一种基于雷达扫描变量的水上多目标视频影像坐标估计方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |