CN113900439B - 无人船自动进离码头的方法、系统和控制终端 - Google Patents
无人船自动进离码头的方法、系统和控制终端 Download PDFInfo
- Publication number
- CN113900439B CN113900439B CN202111502454.5A CN202111502454A CN113900439B CN 113900439 B CN113900439 B CN 113900439B CN 202111502454 A CN202111502454 A CN 202111502454A CN 113900439 B CN113900439 B CN 113900439B
- Authority
- CN
- China
- Prior art keywords
- wharf
- unmanned ship
- ship
- image
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000003550 marker Substances 0.000 claims abstract description 61
- 230000000007 visual effect Effects 0.000 claims abstract description 60
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 35
- 238000006073 displacement reaction Methods 0.000 claims abstract description 24
- 230000007613 environmental effect Effects 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims description 19
- 230000000750 progressive effect Effects 0.000 claims description 8
- 238000007499 fusion processing Methods 0.000 claims description 5
- 238000013519 translation Methods 0.000 claims description 5
- 238000003032 molecular docking Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 238000005096 rolling process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/0206—Control of position or course in two dimensions specially adapted to water vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种无人船自动进离码头的方法、系统和控制终端，涉及无人船技术领域，该方法应用于无人船进离码头低速、小位移时的自动控制，方法包括：获取无人船当前所处位置周围的环境图像；通过船体视觉定位系统识别环境图像的多帧关键帧图像；环境图像包括水面和码头标志物；码头标志物位于世界坐标系中的第一位置，第一位置预先配置；基于关键帧图像和第一位置确定无人船在进港或离港时的船体位姿信息；根据船体位姿信息控制无人船驶进或驶离码头。本发明改善了目前通过GPS定位对无人船进离港定位准确性较差的技术问题，提升了无人船在低速、小位移情况下的进离港控制的准确性。
Description
技术领域
本发明涉及无人船技术领域，尤其是涉及一种无人船自动进离码头的方法、系统和控制终端。
背景技术
目前，对于无人船航行时的位置确定，通常采用GPS定位系统通过报文解算得到。然而，由于无人船舶在进离码头时航速较低、位移较小，因此通过传统的GPS定位，无法准确的获取船体的位置信息。并且，由于进离港时靠近岸边较近，也可能会导致船体的GPS信号受到岸上电子设备的干扰，导致准确度进一步受到影响。
发明内容
本发明的目的在于提供一种无人船自动进离码头的方法、系统和控制终端，以改善了目前通过GPS定位对无人船进离港定位准确性较差的技术问题。
第一方面，本发明提供一种无人船自动进离码头的方法，所述方法应用于无人船进离码头低速、小位移时的自动控制，所述方法包括：
获取无人船当前所处位置周围的环境图像；
通过船体视觉定位系统识别所述环境图像的多帧关键帧图像；所述环境图像包括水面和码头标志物；所述码头标志物位于世界坐标系中的第一位置，所述第一位置预先配置；
基于所述关键帧图像和所述第一位置确定所述无人船在进港或离港时的船体位姿信息；
根据所述船体位姿信息控制无人船驶进或驶离码头。
在可选的实施方式中，所述船体视觉定位系统包括第一视觉定位系统和第二视觉定位系统；所述基于所述关键帧图像和第一位置确定所述无人船在进港或离港时的船体位姿信息的步骤，包括：
通过所述第一视觉定位系统识别所述水面图像，并确定所述无人船相对于水面标志物的第一位姿信息；
通过所述第二视觉定位系统识别所述码头标志物图像，并确定所述无人船相对于码头标志物的第二位姿信息；
对所述第一位姿信息和所述第二位姿信息进行融合处理，得到在进港或离港时当前所述无人船的所述船体位姿信息。
在可选的实施方式中，所述船体位姿信息包括航向角；所述基于所述关键帧图像和第一位置确定所述无人船在进港或离港时的船体位姿信息的步骤，包括：
对多帧所述关键帧图像进行特征点匹配，得到针对环境图像中的每个三维点对应的相机光束点；
通过所述相机光束点确定所述船体视觉定位系统的相机姿态；
基于相机姿态和第一位置确定无人船相对于码头停泊位置的所述航向角。
在可选的实施方式中，上述方法还包括：
基于船头的摄像头和船尾的摄像头在同一时刻各拍摄一张水平面的图像和一张码头的图像；码头的图像包括码头标志物；
基于水平面的图像确定无人船在世界坐标系中的第一俯仰参数和第一滚动参数；
基于所述码头的图像和所述第一位置，确定所述无人船在所述世界坐标系中的平移参数以及旋转参数；所述旋转参数包括偏航参数、第二滚动参数以及第二俯仰参数；
基于所述第一俯仰参数与第二俯仰参数，以及第一滚动参数和第二滚动参数之间的差别，确定所述偏航参数的可信度。
在可选的实施方式中，通过船体视觉定位系统确定无人船当前所处行驶进程的步骤，包括：
通过船体视觉定位系统确定无人船当前所处行驶进程；所述行驶进程包括驶进码头或驶离码头；
基于所述行驶进程、所述船体位姿信息和目标行进位置确定无人船行进轨迹；所述目标行进位置包括驶进码头的目标位置或驶离码头的目标位置；
根据所述无人船行进轨迹控制无人船驶进码头或驶离码头。
在可选的实施方式中，所述根据所述船体位姿信息控制无人船驶进或驶离码头的步骤，包括：
通过第一视觉定位系统识别水面图像，确定目前随帧递进的水面图像的第一目标物像素范围；
如果随帧递进的所述第一目标物像素范围是递增的，则确定无人船时驶离码头，反之则为驶进码头；
或者，
通过所述第二视觉定位系统识别码头标志物图像，确定目前随帧递进的码头标志物图像的第二目标物像素范围；
如果随帧递进的所述第二目标物像素范围是递增的，则确定无人船时驶进码头，反之则为驶离码头。
在可选的实施方式中，当所述无人船驶进码头时，所述方法还包括：
当无人船在距离码头预设距离时获取码头预设位置处设置的码头标志物信息；
对所述码头标志物信息进行解码识别，确认码头待载人员信息；所述码头待载人员信息包括待载人员待船位置；所述码头标志物信息携带有所述待载人员对应的人员信息；
基于所述待船位置和无人船当前所处位置确定载人接驳航线；
根据所述载人接驳航线校正当前船体位姿信息，并控制所述无人船基于校正后的船体位姿信息驶进码头。
第二方面，本发明提供一种无人船自动进离码头的系统，所述系统应用于无人船进离码头低速、小位移时的自动控制，所述系统包括：
图像获取单元，用于获取无人船当前所处位置周围的环境图像；
图像识别单元，用于通过船体视觉定位系统识别所述环境图像的多帧关键帧图像；所述环境图像包括水面和码头标志物；所述码头标志物位于世界坐标系中的第一位置，所述第一位置预先配置；
船体位姿确定单元，基于所述关键帧图像和第一位置确定所述无人船在进港或离港时的船体位姿信息；
进离码头控制单元，用于根据所述船体位姿信息控制无人船驶进或驶离码头。
第三方面，本发明提供一种控制终端，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现前述实施方式任一项所述的无人船自动进离码头的方法。
本发明提供的无人船自动进离码头的方法、系统和控制终端，该无人船自动进离码头的方法应用于无人船进离码头低速、小位移时的自动控制，首先获取无人船当前所处位置周围的环境图像；然后通过船体视觉定位系统识别环境图像的多帧关键帧图像，环境图像包括水面和码头标志物，码头标志物位于世界坐标系中的第一位置，第一位置预先配置；进而基于关键帧图像和第一位置确定无人船在进港或离港时的船体位姿信息；最终根据船体位姿信息控制无人船驶进或驶离码头。通过船体视觉定位系统识别环境图像的多帧关键帧图像，并基于关键帧图像和第一位置确定无人船当前的船体位姿信息，由于环境图像在无人船的低速、小位移的移动过程中是不断获取的，因此对不断增加的环境图像进行识别，得到一直更新的船体位姿信息，可以无需通过GPS系统进行定位，即可得到无人船当前的位置信息和姿态信息，并且，船体视觉定位系统针对低速小位移下的关键帧图像进行船体位姿定位，从而提升了低速小位移时的船体位姿确定的准确性，进一步提升了无人船在低速、小位移情况下的进离港控制的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种无人船自动进离码头的方法的流程示意图；
图2为本发明实施例提供的另一种无人船自动进离码头的方法的流程示意图；
图3为本发明实施例提供的一种无人船自动进离码头的系统的结构示意图；
图4为本发明实施例提供的一种控制终端的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
近年来，随着无人控制领域的发展，无人船的开发也越来越被重视。传统方式是利用GPS定位系统通过报文解算确定船体的航向角，但是当无人船在进港离港时，往往速度较低位移较小。通过GPS定位系统在处理低速、小位移的运动状态时，准确度十分有限，并且GPS信号也容易受到岸边其他电子设备的干扰。基于此，本发明实施例首先提供了一种无人船自动进离码头的方法，该方式提升了无人船在低速、小位移情况下的进离港控制的准确性。
参见图1所示，本发明实施例提供的一种无人船自动进离码头的方法，由于无人船在临近进港或者临近离港的时候，通常是处于低速、小位移的移动，因此，本实施例的方法应用于无人船进离码头低速、小位移时的自动控制，该方法主要包括以下步骤S102至步骤S108：
步骤S102，获取无人船当前所处位置周围的环境图像。
在本实施例中，无人船当前所处位置为无人船距离岸边指定距离的位置，该指定距离为无人船处于低速时距离岸边的距离。环境图像为无人船处于当前所处位置时，获取的当前所处位置周围的环境图像。在一种实施方式中，环境图像包括港口图像信息（也即岸边图像信息）和/或水面图像信息。
步骤S104，通过船体视觉定位系统识别环境图像的多帧关键帧图像。
在一种实施方式中，船体视觉定位系统可以采用基于计算机视觉的定位系统（Visual SLAM），也可以采用基于特征点的实时单目SLAM系统（ORB -SLAM2）。环境图像包括水面和码头标志物，水面包括无人船的航行介质，诸如海面、湖面等，码头标志物位于世界坐标系中的第一位置，第一位置预先配置。
在一种实施方式中，码头标志物可以包括多个不同类型的标志物，诸如固定标志物和非固定标志物，固定标志物可以包括诸如停泊位置标志、码头建筑物、标杆、竖旗、电子识别码（诸如二维码等）等，非固定标志物可以包括其他停放的无人船、码头的人员等等。由于在无人船要进行进港或离港时，速度较慢且位移较小，因此两种类型的标志物在处理时均不会影响准确性。与码头标志物对应，上述预先配置的第一位置也可以包括多个。
步骤S106，基于关键帧图像和第一位置确定无人船在进港或离港时的船体位姿信息。
关键帧图像为针对环境图像的一系列图像帧。当环境图像为水面图像时，对该水面图像进行识别得到的多帧关键帧图像可以为包括水面的标志物信息的帧序列；当环境图像为码头标志物图像时，对该码头标志物图像进行识别得到的多帧关键帧图像可以为包括上述各种码头标志物对应的图像帧序列。由于获取环境图像的摄像头设置于无人船的船体，船体视觉定位系统与摄像头相连接，通过船体视觉定位系统对环境图像进行识别，可以确定与视觉定位系统相连接的摄像头的相机位姿，因此可以确定无人船的船体位姿信息。
步骤S108，根据船体位姿信息控制无人船驶进或驶离码头。
在确定船体位姿信息之后，由于无人船此时处于近港位置，因此可以通过该船体位姿信息进行驶进码头或驶离码头的控制。
上述获取的环境图像是在无人船驶进码头或驶离码头时不断进行的，因此船体视觉定位系统可以对不断增加的环境图像进行识别，从而在无人船低速移动时不断的确定船体位姿信息，并根据该不断更新的船体位姿信息进行驶进或驶离码头的控制。
本发明实施例提供的无人船自动进离码头方法，通过船体视觉定位系统和获取的环境图像确定无人船当前的位姿信息，可以无需通过GPS系统进行定位，即可得到无人船当前的位置信息和姿态信息，并且，船体视觉定位系统可以得到针对低速小位移下获取的环境图像，以便准确地进行船体位姿确定，提升了无人船在低速、小位移情况下的进离港控制的准确性。
在一可选的实施方式中，为了便于对无人船进港和离港进行准确的船体位姿定位，上述船体视觉定位系统可以包括第一视觉定位系统和第二视觉定位系统，则针对上述步骤S106，基于关键帧图像和第一位置确定无人船在进港或离港时的船体位姿信息，在具体实施时，可以包括以下步骤2.1至步骤2.3：
步骤2.1，通过第一视觉定位系统识别水面图像，并确定无人船相对于水面标志物的第一位姿信息。第一视觉定位系统可以与设置于无人船的第一摄像头连接，该第一摄像头可以设置在船头或船尾。
步骤2.2，通过第二视觉定位系统识别码头标志物图像，并确定无人船相对于码头标志物的第二位姿信息；第二视觉定位系统可以与设置于无人船的第二摄像头连接，该第二摄像头可以设置在船尾或船头，所述第二摄像头与所述第一摄像头的设置位置不同。也即，当第一摄像头设置在船头，则第二摄像头则相应的设置在船尾。反之，当第一摄像头设置在船尾，则第二摄像头则相应的设置在船头。
步骤2.3，对第一位姿信息和第二位姿信息进行融合处理，得到在进港或离港时当前无人船的船体位姿信息。
在一可选的实施方式中，当无人船进港时，可以将第一视觉定位系统连接的第一摄像头设置于船尾的摄像头，第二视觉定位连接的第二摄像头设置于船头的摄像头。再者，当无人船离港时，也可以将第一视觉定位系统连接设置于船头的摄像头，第二视觉定位连接设置于船尾的摄像头。为了方便设置，两种方式可以任选一种，选定之后，分别采用对应的视觉定位系统获取对应摄像头采集到的环境图像。
由于人工智能的发展，智能摄像头的应用越来越多，为了摄像头的稳定性，通常采用嵌入式的摄像头，但是这种摄像头通常是在船舶出厂时就已经预制好的，但是需求通常是无限的，在船舶出厂之后，可能会存在预制的摄像头无法满足要求的情况，需要额外增加外挂式摄像头，尤其是可旋转、可伸缩的摄像头，增加了很大的便捷性。
但是由于这种可旋转、可伸缩的摄像头自身结构上的特点，固定性较差，也就造成摄像头的外参经常会不稳定，对数据的准确性生产一定的影响，尤其是在海上航行过程中气候多变，恶劣天气对其影响更大。
因此，在一种实施方式中，上述无人船安装的第一摄像头在无人船坐标系中的位姿信息可变，无人船上的第二位置处安装有无人船标识物，无人船标识物用于标识第一姿态和第一尺寸；该第二位置相对于世界坐标系的第一位置，第一、第二仅作区分。
上述方法还包括：
基于上述第一摄像头的当前朝向，拍摄包含第一标识物的船头图像信息；
基于所述第一姿态、所述第一尺寸以及所述包含第一标识物的船头图像信息对所述第一摄像头的外参数进行校验。
进一步，在进行校验时，可以采用以下校验过程：
基于所述第一摄像头的外参以及所述包含第一标识物的船头图像信息，确定所述第一标识物的第二姿态和第二尺寸；
基于所述第一尺寸与所述第二尺寸，以及所述第一姿态和所述第二姿态进行比对；
如果比对结果满足预期，则不用优化；
如果所述第一尺寸与所述第二尺寸的比对结果不满足预期，则基于所述第一尺寸与所述第二尺寸之间的比例关系，优化外参中的平移参数；
如果所述第一姿态和所述第二姿态的比对结果不满足预期，则基于所述第一姿态和所述第二姿态的角度关系，优化外参中的旋转参数。
通过上述方式进行摄像头的参数校验，可以在无人船在海上航行过程中，针对气候多变、恶劣天气对摄像头参数的影响进行及时的修正，从而提升了数据的准确性。
考虑到无人船舶在进离码头时，航向角是非常重要的船体位姿信息，得到准确的航向角是船舶自动泊岸与离岸的基础。因此，为了提升无人船的进港离港控制的准确性，在一种实施方式中，上述船体位姿信息包括航向角。则基于关键帧图像和第一位置确定无人船在进港或离港时的船体位姿信息，在具体实施时，可以包括以下步骤：
步骤3.1，对多帧关键帧图像进行特征点匹配，得到针对环境图像中的每个三维点对应的相机光束点；
步骤3.2，通过相机光束点确定船体视觉定位系统的相机姿态；
步骤3.3，基于相机姿态和第一位置确定无人船相对于码头停泊位置的航向角。
由于环境图像中包括水面的图像，该水面的图像也即水平面的图像，针对海面和湖面，则分别对应海平面和湖平面。通过该水面的图像可以计算相机的旋转矩阵，进一步还可以确定处理结果的可信度。计算过程具体可以包括以下步骤4.1至步骤4.4：
步骤4.1，基于船头的摄像头和船尾的摄像头在同一时刻各拍摄一张水平面的图像和一张码头的图像，码头的图像包括码头标志物。
步骤4.2，基于水平面的图像确定船舶在世界坐标系中的第一俯仰参数和第一滚动参数。
步骤4.3，基于所述码头的图像，以及所述第一位置，确定所述船舶在所述世界坐标系中的平移参数以及旋转参数，所述旋转参数包括偏航参数、第二滚动参数以及第二俯仰参数；
步骤4.4，基于所述第一俯仰参数与第二俯仰参数，以及第一滚动参数和第二滚动参数之间的差别，确定所述偏航参数的可信度。
由于上述环境图像包括获取到的场景中多个三维点，对于图像中的每个三维点，从获取图像信息的相机的光心发射出来并经过图像中相机光束点的光线，都将交于该三维点。对于所有三维点，则形成相当多的光束（bundle），因此，本实施例可以采用光束平差法首先确定多帧关键帧图像对应的三维点所对应的相机光束点，以便根据该相机光束点确定相机姿态。该相机姿态为与船体视觉定位系统连接的摄像机的相机姿态。
进一步，上述步骤S106，在根据船体位姿信息控制无人船驶进或驶离码头时，包括以下步骤：
步骤A，通过船体视觉定位系统确定无人船当前所处行驶进程；行驶进程包括驶进码头或驶离码头；
步骤B，基于行驶进程、船体位姿信息和目标行进位置确定无人船行进轨迹；目标行进位置包括驶进码头的目标位置或驶离码头的目标位置；
步骤C，根据无人船行进轨迹控制无人船驶进码头或驶离码头。
在另一可选的实施方式中，上述步骤A，在根据船体位姿信息控制无人船驶进或驶离码头时，根据第一视觉定位系统和第二视觉定位系统连接的摄像头的设置位置不同，该步骤可以包括以下步骤m和步骤n，或者步骤p和步骤q：
如若第一视觉定位系统连接设置于船头的摄像头时，则可以采用步骤m和步骤n：
步骤m，通过第一视觉定位系统识别水面图像，确定目前随帧递进的水面图像的第一目标物像素范围。该第一目标物为水面上的标志物，当无人船在海面行驶时，该第一目标物可以为海上的灯塔；当无人船在湖面行驶时，诸如公园用于游览的湖面，则该第一目标物可以为湖面上的凉亭或装饰石。由于关键帧图像是随着无人船不断的小位移移动时不断递进更新的图像，因此，第一目标物像素范围可能是递增或递减的。
步骤n，如果随帧递进的第一目标物像素范围是递增的，则确定无人船时驶离码头，反之则为驶进码头。
或者，如若第二视觉定位系统连接设置于船头的摄像头时，则可以采用步骤p和步骤q：
步骤p，通过第二视觉定位系统识别码头标志物图像，确定目前随帧递进的码头标志物图像的第二目标物像素范围。该第二目标物为码头上的标志物，诸如码头的建筑物、设置于码头的标杆、竖旗、以及预先设置的电子识别码等。
步骤q，如果随帧递进的第二目标物像素范围是递增的，则确定无人船时驶进码头，反之则为驶离码头。
本实施例可以应用于大型无人船在进出港口的场景，也可以应用于小型无人船在湖面（诸如公园用于游览的湖面）上进离岸边的场景，在一可选的实施方式中，当无人船驶进码头时，参见图2所示，该方法还包括以下步骤S202至步骤S208：
步骤S202，当无人船在距离码头预设距离时获取码头预设位置处设置的码头标志物信息。
步骤S204，对码头标志物信息进行解码识别，确认码头待载人员信息；码头待载人员信息包括待载人员待船位置；码头标志物信息携带有待载人员对应的人员信息。待载人员对应的人员信息可以包括个人信息、健康信息、疫苗信息、是否是新乘客（如果是，还可以推送一条乘坐指南等等），该人员信息可以通过待载人员预先扫码进行存储，无人船通过设置的摄像头进行扫码即可获取待载人员信息。
步骤S206，基于待船位置和无人船当前所处位置确定载人接驳航线。
步骤S208，根据载人接驳航线校正当前船体位姿信息，并控制无人船基于校正后的船体位姿信息驶进码头。
此外，该方法还可以应用于公园游戏设施的无人船，该无人船的行驶环境并非真实的湖面，而是游戏设施的浅水层。此时，环境图像可以包括与当前无人船处于同一游戏设施的浅水层的其他无人船。
进一步，还可以通过设置在每个无人船上的船体视觉定位系统之间进行通信，从而可以通过确定的每个无人船的船体位姿信息进行后续游戏策略的控制。该游戏策略控制诸如可以包括碰碰船游戏，也即，通过两个之间的无人船或者多个无人船的船体位姿信息进行相向而行，从而达到游戏碰碰船的效果。
综上，本发明实施例提供的无人船自动进离码头的方法，可以针对无人船在进离码头时，处于低速、小位移的情况下，通过船体视觉定位系统进行准确的识别无人船当前所处位置周围的环境图像，以准确的识别出船体位姿信息（包括航向角），进而可以准确的对无人船的进离码头的控制。
针对上述无人船自动进离码头的方法，本发明实施例还提供一种无人船自动进离码头的系统，应用于无人船进离码头低速、小位移时的自动控制，参见图3所示，该系统包括以下部分：
图像获取单元302，用于获取无人船当前所处位置周围的环境图像；
图像识别单元304，用于通过船体视觉定位系统识别所述环境图像的多帧关键帧图像；所述环境图像包括水面和码头标志物；所述码头标志物位于世界坐标系中的第一位置，所述第一位置预先配置；
船体位姿确定单元306，基于所述关键帧图像和第一位置确定所述无人船在进港或离港时的船体位姿信息；
进离码头控制单元308，用于根据船体位姿信息控制无人船驶进或驶离码头。
本发明实施例提供的无人船自动进离码头的系统，通过船体视觉定位系统和获取的环境图像确定无人船当前的位姿信息，可以无需通过GPS系统进行定位，即可得到无人船当前的位置信息和姿态信息，并且，船体视觉定位系统可以得到针对低速小位移下获取的环境图像，以便准确的进行船体位姿确定，提升了无人船在低速、小位移情况下的进离港控制的准确性。
在一种实施方式中，船体视觉定位系统包括第一视觉定位系统和第二视觉定位系统；图像识别单元304，还用于：通过第一视觉定位系统识别水面图像，并确定无人船相对于水面标志物的第一位姿信息；通过第二视觉定位系统识别码头标志物图像，并确定无人船相对于码头标志物的第二位姿信息；对第一位姿信息和第二位姿信息进行融合处理，得到在进港或离港时当前无人船的船体位姿信息。
在一种实施方式中，船体位姿信息包括航向角；图像识别单元304，还用于：对多帧关键帧图像进行特征点匹配，得到针对环境图像中的每个三维点对应的相机光束点；过相机光束点确定船体视觉定位系统的相机姿态；基于相机姿态和第一位置确定无人船相对于码头停泊位置的航向角。
在一种实施方式中，上述系统还包括：航行参数确定单元，用于基于船头的摄像头和船尾的摄像头在同一时刻各拍摄一张水平面的图像和一张码头的图像；码头的图像包括码头标志物；基于水平面的图像确定无人船在世界坐标系中的第一俯仰参数和第一滚动参数；基于码头的图像和第一位置，确定无人船在世界坐标系中的平移参数以及旋转参数；旋转参数包括偏航参数、第二滚动参数以及第二俯仰参数；基于第一俯仰参数与第二俯仰参数，以及第一滚动参数和第二滚动参数之间的差别，确定偏航参数的可信度。
在一种实施方式中，进离码头控制单元308，还用于通过船体视觉定位系统确定无人船当前所处行驶进程；行驶进程包括驶进码头或驶离码头；基于行驶进程、船体位姿信息和目标行进位置确定无人船行进轨迹；目标行进位置包括驶进码头的目标位置或驶离码头的目标位置；根据无人船行进轨迹控制无人船驶进码头或驶离码头。
在一种实施方式中，进离码头控制单元308，还用于通过第一视觉定位系统识别水面图像，确定目前随帧递进的水面图像的第一目标物像素范围；如果随帧递进的第一目标物像素范围是递增的，则确定无人船时驶离码头，反之则为驶进码头；
或者，
通过第二视觉定位系统识别码头标志物图像，确定目前随帧递进的码头标志物图像的第一目标物像素范围；如果随帧递进的第一目标物像素范围是递增的，则确定无人船时驶进码头，反之则为驶离码头。
在一种实施方式中，当无人船驶进码头时，系统还包括：载人接驳控制单元，用于当无人船在距离码头预设距离时获取码头预设位置处设置的码头标志物信息；对码头标志物信息进行解码识别，确认码头待载人员信息；码头待载人员信息包括待载人员待船位置；码头标志物信息携带有待载人员对应的人员信息；基于待船位置和无人船当前所处位置确定载人接驳航线；根据载人接驳航线校正当前船体位姿信息，并控制无人船基于校正后的船体位姿信息驶进码头。
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
本发明实施例提供了一种控制终端，该控制终端与船体视觉定位系统连接。具体的，该控制终端包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行如上实施方式的任一项的方法。
图4为本发明实施例提供的一种控制终端的结构示意图，该控制终端100包括：处理器40，存储器41，总线42和通信接口43，处理器40、通信接口43和存储器41通过总线42连接；处理器40用于执行存储器41中存储的可执行模块，例如计算机程序。
其中，存储器41可能包含高速随机存取存储器（RAM，Random Access Memory），也可能还包括非不稳定的存储器（non-volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口43（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线42可以是ISA总线、PCI总线或EISA总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
其中，存储器41用于存储程序，处理器40在接收到执行指令后，执行程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中，或者由处理器40实现。
处理器40可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital SignalProcessing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41，处理器40读取存储器41中的信息，结合其硬件完成上述方法的步骤。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
此外，术语“水平”、“竖直”、“悬垂”等术语并不表示要求部件绝对水平或悬垂，而是可以稍微倾斜。如“水平”仅仅是指其方向相对“竖直”而言更加水平，并不是表示该结构一定要完全水平，而是可以稍微倾斜。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种无人船自动进离码头的方法，其特征在于，所述方法应用于无人船进离码头低速、小位移时的自动控制，所述方法包括：
获取无人船当前所处位置周围的环境图像；
通过船体视觉定位系统识别所述环境图像的多帧关键帧图像；所述环境图像包括水面和码头标志物；所述码头标志物位于世界坐标系中的第一位置，所述第一位置预先配置；所述船体视觉定位系统包括第一视觉定位系统和第二视觉定位系统；
通过所述第一视觉定位系统识别水面图像，并确定所述无人船相对于水面标志物的第一位姿信息；
通过所述第二视觉定位系统识别所述码头标志物图像，并确定所述无人船相对于码头标志物的第二位姿信息；
对所述第一位姿信息和所述第二位姿信息进行融合处理，得到在进港或离港时当前所述无人船的所述船体位姿信息；
根据所述船体位姿信息控制无人船驶进或驶离码头。
2.根据权利要求1所述的无人船自动进离码头的方法，其特征在于，所述船体位姿信息包括航向角；基于所述关键帧图像和第一位置确定所述无人船在进港或离港时的船体位姿信息的步骤，包括：
对多帧所述关键帧图像进行特征点匹配，得到针对环境图像中的每个三维点对应的相机光束点；
通过所述相机光束点确定所述船体视觉定位系统的相机姿态；
基于相机姿态和第一位置确定无人船相对于码头停泊位置的所述航向角。
3.根据权利要求1所述的无人船自动进离码头的方法，其特征在于，所述方法还包括：
基于船头的摄像头和船尾的摄像头在同一时刻各拍摄一张水平面的图像和一张码头的图像；码头的图像包括码头标志物；
基于水平面的图像确定无人船在世界坐标系中的第一俯仰参数和第一滚动参数；
基于所述码头的图像和所述第一位置，确定所述无人船在所述世界坐标系中的平移参数以及旋转参数；所述旋转参数包括偏航参数、第二滚动参数以及第二俯仰参数；
基于所述第一俯仰参数与第二俯仰参数，以及第一滚动参数和第二滚动参数之间的差别，确定所述偏航参数的可信度。
4.根据权利要求1所述的无人船自动进离码头的方法，其特征在于，所述根据所述船体位姿信息控制无人船驶进或驶离码头的步骤，包括：
通过船体视觉定位系统确定无人船当前所处行驶进程；所述行驶进程包括驶进码头或驶离码头；
基于所述行驶进程、所述船体位姿信息和目标行进位置确定无人船行进轨迹；所述目标行进位置包括驶进码头的目标位置或驶离码头的目标位置；
根据所述无人船行进轨迹控制无人船驶进码头或驶离码头。
5.根据权利要求4所述的无人船自动进离码头的方法，其特征在于，通过船体视觉定位系统确定无人船当前所处行驶进程的步骤，包括：
通过第一视觉定位系统识别水面图像，确定目前随帧递进的水面图像的第一目标物像素范围；
如果随帧递进的所述第一目标物像素范围是递增的，则确定无人船时驶离码头，反之则为驶进码头；
或者，
通过所述第二视觉定位系统识别码头标志物图像，确定目前随帧递进的码头标志物图像的第二目标物像素范围；
如果随帧递进的所述第二目标物像素范围是递增的，则确定无人船时驶进码头，反之则为驶离码头。
6.根据权利要求1至5任一项所述的无人船自动进离码头的方法，其特征在于，当所述无人船驶进码头时，所述方法还包括：
当无人船在距离码头预设距离时获取码头预设位置处设置的码头标志物信息；
对所述码头标志物信息进行解码识别，确认码头待载人员信息；所述码头待载人员信息包括待载人员待船位置；所述码头标志物信息携带有所述待载人员对应的人员信息；
基于所述待船位置和无人船当前所处位置确定载人接驳航线；
根据所述载人接驳航线校正当前船体位姿信息，并控制所述无人船基于校正后的船体位姿信息驶进码头。
7.一种无人船自动进离码头的系统，其特征在于，所述系统包括：
图像获取单元，用于获取无人船当前所处位置周围的环境图像；
图像识别单元，用于通过船体视觉定位系统识别所述环境图像的多帧关键帧图像；所述环境图像包括水面和码头标志物；所述码头标志物位于世界坐标系中的第一位置，所述第一位置预先配置；所述船体视觉定位系统包括第一视觉定位系统和第二视觉定位系统；
船体位姿确定单元，用于通过所述第一视觉定位系统识别水面图像，并确定所述无人船相对于水面标志物的第一位姿信息；通过所述第二视觉定位系统识别所述码头标志物图像，并确定所述无人船相对于码头标志物的第二位姿信息；对所述第一位姿信息和所述第二位姿信息进行融合处理，得到在进港或离港时当前所述无人船的所述船体位姿信息；
进离码头控制单元，用于根据所述船体位姿信息控制无人船驶进或驶离码头。
8.一种控制终端，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器执行所述机器可执行指令以实现权利要求1至6任一项所述的无人船自动进离码头的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502454.5A CN113900439B (zh) | 2021-12-10 | 2021-12-10 | 无人船自动进离码头的方法、系统和控制终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111502454.5A CN113900439B (zh) | 2021-12-10 | 2021-12-10 | 无人船自动进离码头的方法、系统和控制终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113900439A CN113900439A (zh) | 2022-01-07 |
| CN113900439B true CN113900439B (zh) | 2022-03-11 |
Family
ID=79025481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111502454.5A Active CN113900439B (zh) | 2021-12-10 | 2021-12-10 | 无人船自动进离码头的方法、系统和控制终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113900439B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117419690B (zh) * | 2023-12-13 | 2024-03-12 | 陕西欧卡电子智能科技有限公司 | 一种无人船的位姿估计方法、装置及介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109319317A (zh) * | 2018-11-28 | 2019-02-12 | 上海国际港务（集团）股份有限公司尚东集装箱码头分公司 | 一种码头集装箱锁销自动装卸视觉定位系统 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10226395A (ja) * | 1997-02-17 | 1998-08-25 | Nissan Motor Co Ltd | 船舶の船位制御装置 |
| CN105549589A (zh) * | 2015-12-15 | 2016-05-04 | 吴宝举 | 一种基于前视雷达的无人船避碰方法 |
| CN105898698B (zh) * | 2016-04-26 | 2019-09-03 | 上海交通大学 | 一种基于uwb的船舶靠泊辅助方法和系统 |
| CN108394814A (zh) * | 2018-02-05 | 2018-08-14 | 上海振华重工(集团)股份有限公司 | 基于图像识别的岸桥大车引导系统及方法 |
| CN110914867A (zh) * | 2018-07-17 | 2020-03-24 | 深圳市大疆创新科技有限公司 | 位姿确定方法、设备、计算机可读存储介质 |
| CN110658826A (zh) * | 2019-10-22 | 2020-01-07 | 上海海事大学 | 一种基于视觉伺服的欠驱动无人水面艇自主靠泊方法 |
| CN213069195U (zh) * | 2020-09-22 | 2021-04-27 | 桂林电子科技大学 | 一种基于北斗定位系统的船舶靠泊辅助系统 |
| CN113253718B (zh) * | 2021-03-31 | 2022-10-28 | 航天时代(青岛)海洋装备科技发展有限公司 | 一种无人艇自主靠泊航迹规划方法及控制方法 |
-
2021
- 2021-12-10 CN CN202111502454.5A patent/CN113900439B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109319317A (zh) * | 2018-11-28 | 2019-02-12 | 上海国际港务（集团）股份有限公司尚东集装箱码头分公司 | 一种码头集装箱锁销自动装卸视觉定位系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113900439A (zh) | 2022-01-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12198418B2 (en) | System and method for measuring the distance to an object in water | |
| US11195011B2 (en) | Object detection and avoidance for aerial vehicles | |
| Carreras et al. | Vision-based localization of an underwater robot in a structured environment | |
| Venugopalan et al. | Autonomous landing of an unmanned aerial vehicle on an autonomous marine vehicle | |
| US9779315B2 (en) | Traffic signal recognition apparatus and traffic signal recognition method | |
| CN110304386B (zh) | 机器人及机器人丢码后的重新定位方法 | |
| CN111338382B (zh) | 一种安全态势引导的无人机路径规划方法 | |
| JP7172441B2 (ja) | 進行可能方向検出装置及び進行可能方向検出方法 | |
| KR20210007767A (ko) | 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템 | |
| KR102265980B1 (ko) | 선박 및 항만 모니터링 장치 및 방법 | |
| CN113900439B (zh) | 无人船自动进离码头的方法、系统和控制终端 | |
| US12118777B2 (en) | Method and device for situation awareness | |
| Yu | Development of real-time acoustic image recognition system using by autonomous marine vehicle | |
| CN110456793A (zh) | 一种无人艇自主停泊方法、装置及无人艇 | |
| CN110393165B (zh) | 一种基于自动投饵船的远海养殖网箱投饵方法 | |
| KR20220128141A (ko) | 실시간 레이더 이미지 기반 선박 운동정보 및 크기정보 제공시스템 및 방법 | |
| WO2020220158A1 (zh) | 一种无人机的控制方法、无人机及计算机可读存储介质 | |
| KR102585428B1 (ko) | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 | |
| CN110667783A (zh) | 一种无人艇辅助驾驶系统及其方法 | |
| CN114445572A (zh) | 一种基于DeeplabV3+的陌生海域中障碍物即时定位与地图构建方法 | |
| Duan et al. | Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance | |
| Cui et al. | Coarse-to-fine visual autonomous unmanned aerial vehicle landing on a moving platform | |
| CN114237262B (zh) | 一种水面无人船自动停泊方法及系统 | |
| CN116224321A (zh) | 一种基于计算机视觉的无人船自动目标探测方法及系统 | |
| CN117806328B (zh) | 一种基于基准标记的无人艇靠泊视觉引导控制方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |