CN110543873B - 一种基于图像的无人船识别会遇局面的方法 - Google Patents
一种基于图像的无人船识别会遇局面的方法 Download PDFInfo
- Publication number
- CN110543873B CN110543873B CN201910883704.0A CN201910883704A CN110543873B CN 110543873 B CN110543873 B CN 110543873B CN 201910883704 A CN201910883704 A CN 201910883704A CN 110543873 B CN110543873 B CN 110543873B
- Authority
- CN
- China
- Prior art keywords
- image
- ship
- unmanned ship
- unmanned
- ships
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 6
- 238000000034 method Methods 0.000 claims abstract description 14
- 238000010586 diagram Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于图像的无人船识别会遇局面的方法，首先利用搭载在无人船上的双目彩色相机获取图像数据，然后对采集的图像进行直方图均衡化，并消除噪声。将预处理后的图像由RGB颜色空间转换到HSV颜色空间得到HSV分量图，根据检测的信号灯设置HSV各分量阈值范围，识别船舶信号灯的颜色。接着利用双目测距原理得到他船和无人船的相对位置关系，并通过采集多组图像计算出他船航向和航速。最后根据所识别船舶信号灯的颜色预判他船与无人船构成的会遇局面，从而提高无人船在自主作业时的安全。
Description
技术领域
本发明属于无人船信号识别技术领域，特别是一种基于图像的无人船识别会遇局面的方法。
背景技术
无人船在人工智能、信息处理以及自主控制等技术的支撑下得到广泛应用，相比于大众熟悉的有人船舶，现代无人船舶涵盖的技术十分广泛，其中包括自动导航技术、自动避障技术、多传感器融合技术等，这使得无人船能够自主完成水上救援、漏油收集、水下测绘等特殊任务。
同有人船舶一样，无人船在自主作业过程中也需要遵循《1972年国际海上避碰规则》，同时无人船在夜间航行时主要靠识别船舶信号灯来判断他船航行状态。公开号为CN107512371A名称为《一种新型的无人船用航行信号灯识别系统及方法》的专利，该专利主要通过观察者观察设定好的无人船信号灯频率，以判断无人船的航行状态。然而船舶的信号灯在夜间是不闪烁的，并且需要依靠人员值守来判断他船的航行状态。夜间的光源在图像中处于高亮状态，非常适合利用高亮信息对光源进行提取，从而确定船舶信号灯的颜色。无人船通过识别船舶信号灯能快速判断他船的航行状态，识别出会遇局面，使无人船在夜间行驶的安全性得到很大提高。因此设计一种基于图像的无人船自主识别会遇局面的方法尤为重要。
船舶的信号灯主要有桅灯白色，左舷红灯，右舷绿灯以及艉灯白色，可利用图像处理技术对船舶的航行状态进行识别，并判断出无人船和他船构成的会遇局面。
发明内容
本发明提供一种基于图像的无人船识别会遇局面的方法，该方法利用搭载在无人船上的双目彩色相机获取图像数据，经过图像处理技术识别出他船信号灯的颜色并判断他船的航行状态，最后依据《1972年国际海上避碰规则》判定会遇局面。
为解决上述问题，本发明采用的技术方案在于，一种基于图像的无人船识别会遇局面的方法，主要利用双目彩色相机采集图像，经过图像处理技术识别出船舶信号灯的颜色，并判断出他船的航行状态，其中主要包含以下步骤：
步骤1：利用双目彩色相机采集图像数据；
步骤2：对所述步骤1采集的图像进行直方图均衡化，滤波等预处理；
步骤3：对所述步骤2处理后的图像由RGB颜色空间转换到HSV颜色空间，得到HSV分量图；
步骤4：根据检测的信号灯设置HSV各分量阈值范围，识别船舶信号灯的颜色；
步骤5：根据所述步骤4的识别结果，利用双目彩色相机的测距原理，预判出他船在时间t之后与无人船的相对位置关系，具体的判断方法如下：
步骤5.1：在采集的第一幅图像中间显示白灯，经过时间t1之后，采集的第二幅图像中间同样显示白灯，则可计算出他船的航向和航速。在时间t之后可预判出他船与无人船构成追越情形；
步骤5.2：在采集的第一幅图像中左边显示绿灯，右边显示红灯，上边显示白灯，经过时间t1之后，采集的第二幅图像同样左边显示绿灯，右边显示红灯，上边显示白灯，则可计算出他船的航向和航速。并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，且无人船船首与他船船首交叉不大于5°舷角，即可预判出他船与无人船构成对遇情形；
步骤5.3：在采集的第一幅图像中在图像左边显示绿灯，上边显示白灯，经过时间t1之后采集的第二幅图像中在图像左边同样显示绿灯，上边显示白灯，则可计算出他船的航向和航速。若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船左舷方向且构成交叉相遇情形；
步骤5.4：在采集的第一幅图像中图像右边显示红灯，上边显示白灯，经过时间t1之后在采集的第二幅图像中图像右边同样显示红灯，上边显示白灯，则可计算出他船的航向和航速。若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船右舷方向且构成交叉相遇情形。
进一步的，所述步骤1中，利用双目彩色相机采集图像数据是以时间间隔为t1采集多组图像并进行分析；
进一步的，所述步骤2中，对采集图像进行直方图均衡化是指对每一通道(R通道、G通道、B通道)均进行直方图均衡化，再合并为一个3通道图像；
进一步的，所述步骤3中，由于RGB颜色空间受光照影响较大且R、G、B三者之间的关联性较大，但HSV颜色空间消除了三个分量的相关性，有利于图像处理，所以转换到HSV颜色空间进行处理；
进一步的，所述步骤4中，设置相应信号灯的HSV各分量阈值范围，以保证准确的识别出信号灯的颜色；
进一步的，所述步骤5中，利用双目彩色相机的测距原理可以计算出他船的航向和航速，从而再预判他船和无人船的相对位置关系。
附图说明
图1为本发明的号灯的水平照射弧度示意图；
图2为本发明判断他船航向和航速的示意图；
图3为本发明的无人船与他船构成追越局面示意图；
图4为本发明的无人船与他船构成对遇局面示意图；
图5为本发明的他船在无人船左舷并构成交叉相遇局面示意图；
图6为本发明的他船在无人船右舷并构成交叉相遇局面示意图。
具体实施方式
为了加深对本发明的理解，下面结合附图和实施例，对本发明中具体细节部分进行详细阐述。此外，所述的实施例只是本发明的一部分实例，并不是全部实例。
本发明提供一种基于图像的无人船识别会遇局面的方法。该方法主要利用搭载在无人船上的双目彩色相机获取图像数据，并经过图像处理技术识别出船舶信号灯的颜色，同时利用双目测距原理计算出他船的航向和航速从而判断他船的航行状态，最后依据《1972年国际海上避碰规则》判定会遇局面。
如图1所示，其为号灯的水平照射弧度示意图，其中1为桅灯白色，2为艉灯白色，3为右舷灯绿色，4为左舷灯红色。所述一种基于图像的无人船识别会遇局面的方法包括如下步骤：
步骤1：利用双目彩色相机采集图像数据；
步骤2：对所述步骤1采集的图像进行直方图均衡化，滤波等预处理；
步骤3：对所述步骤2处理后的图像由RGB颜色空间转换到HSV颜色空间，得到HSV分量图；
步骤4：根据检测的信号灯设置HSV各分量阈值范围，识别出船舶信号灯的颜色；
步骤5：根据所述步骤4的识别结果，利用双目彩色相机的测距原理，预判出他船在时间t之后与无人船的相对位置关系；
所述步骤1中，利用双目彩色相机采集图像数据是基于以时间间隔为t1采集多组图像并进行分析。
所述步骤2中，对采集图像进行直方图均衡化是指对每一通道(R通道、G通道、B通道)均进行直方图均衡化，再合并为一个3通道图像。
所述步骤3中，由于RGB颜色空间受光照影响较大且R、G、B三者之间的关联性较大，但HSV颜色空间消除了三个分量的相关性，有利于图像处理，所以转换到HSV颜色空间进行处理。RGB彩色图像转换到HSV空间的变换关系如下：
色调：
其中，
亮度分量：
饱和度：
式中，R，G，B分别为RGB颜色空间中像素点的像素值，归一化后其范围为R，G，B∈[0,1]，转换后，H∈[0,2π]，S∈[0,1]，V∈[0,1]。
所述步骤4中，根据检测的信号灯设置HSV各分量阈值范围，识别出船舶信号灯的颜色；
如图2所示，其为本发明提供的一种判断他船航向和航速的示意图，所述步骤5中，利用双目彩色相机的测距原理可以计算出他船的航向和航速，从而再预判他船和无人船的相对位置关系，他船的航向和航速具体计算方法如下所述：
已知无人船的航速为V，由双目相机可计算出采集第一幅图像时，无人船的中线面与他船船首的夹角为θ1，距离为d1，经过时间间隔t1后采集第二幅图像，此时无人船的中线面与他船船首的夹角为θ2，距离为d2，由此可计算出他船的航速V1:
其中，
L2＝V*t1+d2 cos(θ2)-d1 cos(θ1)-L1 cos(θ2) (11)
同时可计算出他船的航向角θ：
式中，D为他船在t1时间内的航行距离。
在时间t之后可预判出他船与无人船的空间位置关系。如图3所示，由所述步骤4识别出，在采集的第一幅图像中间显示白灯，经过时间t1之后，采集的第二幅图像中间同样显示白灯，则可计算出他船的航向和航速，并在时间t之后可预判出他船与无人船构成追越情形；
如图4所示，由所述步骤4识别出，在采集的第一幅图像中显示左边绿灯，右边显示红灯，上边显示白灯，经过时间t1之后，采集的第二幅图像同样左边显示绿灯，右边显示红灯，上边显示白灯，则可计算出他船的航向和航速。若在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，且无人船船首和他船船首交叉不大于5°舷角，即可预判出他船与无人船构成对遇情形；
如图5所示，由所述步骤4识别出，在采集的第一幅图像中在图像左边显示绿灯，上边显示白灯，经过时间t1之后采集的第二幅图像中在图像左边同样显示绿灯，上边显示白灯，则可计算出他船的航向和航速。若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船左舷方向且构成交叉相遇情形；
如图6所示，由所述步骤4识别出，在采集的第一幅图像中图像右边显示红灯，上边显示白灯，经过时间t1之后在采集的第二幅图像中图像右边同样显示红灯，上边显示白灯，则可计算出他船的航向和航速。若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船右舷方向且构成交叉相遇情形。
Claims (3)
1.一种基于图像的无人船识别会遇局面的方法，其特征在于，包含以下步骤：
步骤1：利用双目彩色相机采集图像数据；
步骤2：对所述步骤1采集的图像进行直方图均衡化，消除噪声；
步骤3：对所述步骤2处理后的图像由RGB颜色空间转换到HSV颜色空间，得到HSV分量图；
步骤4：根据检测的信号灯设置HSV各分量阈值范围，识别出船舶信号灯的颜色；
步骤5：根据所述步骤4的识别结果，利用双目彩色相机的测距原理，预判出他船在时间t之后与无人船的相对位置关系，具体的判断方法如下：
步骤5.1：在采集的第一幅图像中间显示白灯，经过时间t1之后，采集的第二幅图像中间同样显示白灯，则可计算出他船的航向和航速；在时间t之后可预判出他船与无人船构成追越情形；
步骤5.2：在采集的第一幅图像中左边显示绿灯，右边显示红灯，上边显示白灯，经过时间t1之后，采集的第二幅图像同样左边显示绿灯，右边显示红灯，上边显示白灯，则可计算出他船的航向和航速；并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，且无人船船首与他船船首交叉不大于5°舷角，即可预判出他船与无人船构成对遇情形；
步骤5.3：在采集的第一幅图像中在图像左边显示绿灯，上边显示白灯，经过时间t1之后采集的第二幅图像中在图像左边同样显示绿灯，上边显示白灯，则可计算出他船的航向和航速；若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船左舷方向且构成交叉相遇情形；
步骤5.4：在采集的第一幅图像中图像右边显示红灯，上边显示白灯，经过时间t1之后在采集的第二幅图像中图像右边同样显示红灯，上边显示白灯，则可计算出他船的航向和航速，若无人船船首和他船船首交叉大于6°舷角，但小于112.5°舷角，并在时间t之后两船达到《1972年国际海上避碰规则》规定的最小安全距离d，即可预判出他船在无人船右舷方向且构成交叉相遇情形。
2.如权利要求1所述的基于图像的无人船识别会遇局面的方法，其特征在于，所述步骤1中，利用双目彩色相机采集图像数据是以时间间隔为t1采集多组图像并进行分析。
3.如权利要求1所述的基于图像的无人船识别会遇局面的方法，其特征在于，所述步骤2中，对采集图像进行直方图均衡化时，对R通道、G通道、B通道均进行直方图均衡化，再合并为一个3通道图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883704.0A CN110543873B (zh) | 2019-09-18 | 2019-09-18 | 一种基于图像的无人船识别会遇局面的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910883704.0A CN110543873B (zh) | 2019-09-18 | 2019-09-18 | 一种基于图像的无人船识别会遇局面的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110543873A CN110543873A (zh) | 2019-12-06 |
| CN110543873B true CN110543873B (zh) | 2023-04-07 |
Family
ID=68713783
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910883704.0A Active CN110543873B (zh) | 2019-09-18 | 2019-09-18 | 一种基于图像的无人船识别会遇局面的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110543873B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111928944B (zh) * | 2020-08-18 | 2023-03-31 | 深圳市汇投智控科技有限公司 | 激光光线检测方法、装置和系统 |
| CN112364795B (zh) * | 2020-11-18 | 2024-01-30 | 大连海事大学 | 一种号灯自动识别及两船会遇态势感知方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013084866A1 (ja) * | 2011-12-09 | 2013-06-13 | 古野電気株式会社 | 画像処理装置、レーダ装置、画像処理方法、および画像処理プログラム |
| CN109491398A (zh) * | 2019-01-22 | 2019-03-19 | 上海海事大学 | 一种可实现自动避碰的无人船及其避碰方法 |
-
2019
- 2019-09-18 CN CN201910883704.0A patent/CN110543873B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013084866A1 (ja) * | 2011-12-09 | 2013-06-13 | 古野電気株式会社 | 画像処理装置、レーダ装置、画像処理方法、および画像処理プログラム |
| CN109491398A (zh) * | 2019-01-22 | 2019-03-19 | 上海海事大学 | 一种可实现自动避碰的无人船及其避碰方法 |
Non-Patent Citations (1)
| Title |
|---|
| 船舶会遇态势的判断;徐建红等;《航海技术》;20070130(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110543873A (zh) | 2019-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102682292B (zh) | 基于单目视觉的道路边缘检测及粗定位方法 | |
| CN107316488B (zh) | 信号灯的识别方法、装置和系统 | |
| CN110175186A (zh) | 一种智能船舶环境威胁目标感知系统及方法 | |
| CN109143247B (zh) | 一种声光成像的三目水下探测方法 | |
| CN109409283A (zh) | 一种海面舰船跟踪和监控的方法、系统和存储介质 | |
| US20220004761A1 (en) | System and method for identifying an object in water | |
| KR101589814B1 (ko) | 연안에서의 객체 인식 장치 및 그 방법 | |
| CN110543873B (zh) | 一种基于图像的无人船识别会遇局面的方法 | |
| CN105022990A (zh) | 一种基于无人艇应用的水面目标快速检测方法 | |
| CN104535066A (zh) | 一种船载红外视频图像中的海上目标与电子海图的叠加方法及系统 | |
| CN104867158A (zh) | 基于单目视觉的室内水面船舶精确定位系统和方法 | |
| CN110705485A (zh) | 一种交通信号灯识别方法及装置 | |
| CN110570537A (zh) | 基于视频识别的航标监测方法及船载航标智能巡检设备 | |
| Zhang et al. | Research on unmanned surface vehicles environment perception based on the fusion of vision and lidar | |
| CN110120073B (zh) | 一种基于灯标视觉信号引导无人艇回收的方法 | |
| Yu et al. | Navigation of autonomous underwater vehicles based on artificial underwater landmarks | |
| CN111105390B (zh) | 一种改进的海天线检测和评估方法 | |
| CN106340031A (zh) | 一种检测运动物体的方法和装置 | |
| JP4686773B2 (ja) | 動体認識方法および動体認識装置 | |
| CN114332682B (zh) | 一种海上全景去雾目标识别方法 | |
| WO2022137952A1 (ja) | 航路標識識別装置、自律航行システム、航路標識識別方法、及びプログラム | |
| Andalibi et al. | Automatic glare detection via photometric, geometric, and global positioning information | |
| CN113705503A (zh) | 一种基于多模态信息融合的异常行为检测系统及方法 | |
| KR102156338B1 (ko) | 선박의 통합 모니터링 방법 및 그 장치 | |
| CN108171746A (zh) | 一种基于视觉的球杆小球定位系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |