CN117452430B - 船舱位定位方法、装置、服务器和计算机可读存储介质 - Google Patents

船舱位定位方法、装置、服务器和计算机可读存储介质 Download PDF

Info

Publication number
CN117452430B
CN117452430B CN202311776584.7A CN202311776584A CN117452430B CN 117452430 B CN117452430 B CN 117452430B CN 202311776584 A CN202311776584 A CN 202311776584A CN 117452430 B CN117452430 B CN 117452430B
Authority
CN
China
Prior art keywords
ship
cabin
target
berth
cloud data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311776584.7A
Other languages
English (en)
Other versions
CN117452430A (zh
Inventor
周振宇
彭海泉
尹俊奇
郑军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jushi Technology Shenzhen Co ltd
Original Assignee
Jushi Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jushi Technology Shenzhen Co ltd filed Critical Jushi Technology Shenzhen Co ltd
Priority to CN202311776584.7A priority Critical patent/CN117452430B/zh
Publication of CN117452430A publication Critical patent/CN117452430A/zh
Application granted granted Critical
Publication of CN117452430B publication Critical patent/CN117452430B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C5/00—Measuring height; Measuring distances transverse to line of sight; Levelling between separated points; Surveyors' levels
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及码头集装箱货运技术领域，提供了一种船舱位定位方法、装置、服务器和计算机可读存储介质，应用于与扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接的服务器，扫描设备安装有相机和激光雷达，方法包括：获取位置采集装置采集的扫描设备在岸桥坐标系中的参考位置、相机拍摄待定位船舱位得到的船舱位图像及激光雷达扫描待定位船舱位得到的多个点云数据；确定待定位船舱位在船舱位图像中的像素位置；根据像素位置及多个点云数据，确定待定位船舱位的船舱位高度；根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置。本发明能够实现船舱位的精确定位。

Description

船舱位定位方法、装置、服务器和计算机可读存储介质
技术领域
本发明涉及码头集装箱货运技术领域，具体而言，涉及一种船舱位定位方法、装置、服务器和计算机可读存储介质。
背景技术
船舱位扫描是港口的自动化改造中重要的组成部分。通过船舱位扫描得到精确完整的船舱位信息并反馈给码头的信息化系统，可以有效的提高码头对集装箱装卸的调度效率。
如何对船舱位进行精确定位是本领域技术人员亟待解决的技术问题。
发明内容
本发明的目的在于提供了一种船舱位定位方法、装置、服务器和计算机可读存储介质，其能够实现船舱位的精确定位。
本发明的实施例可以这样实现：
第一方面，本发明提供一种船舱位定位方法，应用于服务器，所述服务器与用于扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接，所述扫描设备安装有相机和激光雷达，所述方法包括：
获取所述位置采集装置采集的所述扫描设备在岸桥坐标系中的参考位置、所述相机拍摄所述待定位船舱位得到的船舱位图像及所述激光雷达扫描所述待定位船舱位得到的多个点云数据；
确定所述待定位船舱位在所述船舱位图像中的像素位置；
根据所述像素位置及所述多个点云数据，确定所述待定位船舱位的船舱位高度；
根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置。
在可选的实施方式中，所述像素位置为所述待定位船舱位的中心点在所述船舱位图像中的像素坐标，所述根据所述像素位置及所述多个点云数据，确定所述待定位船舱位的船舱位高度的步骤包括：
利用所述相机的内参及所述激光雷达与所述相机相关的外参，将每一所述点云数据投影至投影图像，得到每一所述点云数据在所述投影图像中的投影坐标；
根据每一所述点云数据的投影坐标和所述像素坐标之间的位置关系，从所述多个投影坐标中确定属于所述待定位船舱位的目标投影坐标；
根据所述目标投影坐标对应的目标点云数据确定所述待定位船舱位的船舱位高度。
在可选的实施方式中，所述目标点云数据为多个，所述根据所述目标投影坐标对应的目标点云数据确定所述待定位船舱位的船舱位高度的步骤包括：
根据所述激光雷达与所述相机相关的外参数，计算每一所述目标点云数据在相机坐标系中的相对坐标；
获取所述待定位船舱位的类别；
若所述类别为空舱位，则将多个所述相对坐标中与所述相机的视线方向平行的坐标轴的坐标值的最大值作为所述船舱位高度；
若所述类别为非空舱位，则将所有所述相对坐标与所述相机的视线方向平行的坐标轴的坐标值的平均值作为所述船舱位高度。
在可选的实施方式中，所述根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置的步骤包括：
根据所述像素位置和所述船舱位高度，计算所述像素位置在相机坐标系中的第一位置；
根据所述激光雷达与所述相机相关的外参数，计算所述第一位置在所述岸桥坐标系中的第二位置；
根据所述第二位置、所述参考位置及所述激光雷达与所述扫描设备相关的外参数，计算所述目标位置。
在可选的实施方式中，所述目标位置为多个，多个所述目标位置为根据多个相邻时刻获取的参考位置、船舱位图像及多个点云数据确定的，每一所述目标位置均对应一个表征该目标位置的可信程度的，所述方法还包括：
获取预设船舱位在所述岸桥坐标系中的参考目标位置及所述预设船舱位的贝号、排号及层号；
计算每一所述目标位置相对于所述参考目标位置的偏移量；
根据每一所述偏移量和所述预设船舱位的贝号、排号及层号，计算每一所述目标位置的贝号、排号及层号；
将贝号和排号均相同的多个目标位置中置信度最大的目标位置作为所述待定位船舱位的目标位置。
在可选的实施方式中，所述目标位置包括第一目标位置和第二目标位置，所述第一目标位置是根据第一时刻获取的参考位置、船舱位图像及多个点云数据确定的第一船舱位在所述岸桥坐标系中的位置，所述第二目标位置是根据第二时刻获取的参考位置、船舱位图像及多个点云数据确定的第二船舱位在所述岸桥坐标系中的位置，所述第一时刻和所述第二时刻相邻，所述方法还包括：
将所述第一目标位置投影至投影图像，得到所述第一目标位置在所述投影图像中的投影位置；
获取所述第二船舱位图像中的第二船舱位的像素位置；
若所述投影位置和所述第二船舱位的像素位置满足预设位置关系且所述第一船舱位和所述第二船舱位的类别相同，则将所述第一船舱位和所述第二船舱位判定为同一个待定位船舱位，否则将所述第一船舱位和所述第二船舱位判定为不同的待定位船舱位。
在可选的实施方式中，所述方法还包括：
若所述第一船舱位和所述第二船舱位为同一个待定位船舱位，则根据所述第一目标位置和所述第二目标位置，重新确定所述待定位船舱位在所述岸桥坐标系中的目标位置。
第二方面，本发明提供一种船舱位定位装置，应用于服务器，所述服务器与用于扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接，所述扫描设备安装有相机和激光雷达，所述装置包括：
获取模块，用于获取所述位置采集装置采集的所述扫描设备在岸桥坐标系中的参考位置、所述相机拍摄所述待定位船舱位得到的船舱位图像及所述激光雷达扫描所述待定位船舱位得到的多个点云数据；
确定模块，用于确定所述待定位船舱位在所述船舱位图像中的像素位置；
所述确定模块，还用于确定根据所述像素位置及所述多个点云数据，确定所述待定位船舱位的船舱位高度；
计算模块，用于根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置。
第三方面，本发明提供一种服务器，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现前述实施方式中任一项所述的船舱位定位方法。
第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项所述的船舱位定位方法。
本发明实施例根据待定位船舱位在所述船舱位图像中的像素位置及激光雷达扫描待定位船舱位得到的多个点云数据，确定待定位船舱位的船舱位高度，再根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置，通过先确定船舱位高度，再基于船舱位高度计算目标位置，实现了对船舱位的精确定位。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本实施例提供的应用场景的示例图。
图2为本实施例提供的服务器的方框示例图。
图3为本实施例提供的船舱位定位方法的流程示例图。
图4为本实施例提供的船舱位定位装置的方框示例图。
图标：10-服务器；20-扫描设备；30-位置采集装置；11-处理器；12-存储器；13-总线；100-船舱位定位装置；110-获取模块；120-确定模块；130-计算模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，若出现术语“上”、“下”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，若出现术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
需要说明的是，在不冲突的情况下，本发明的实施例中的特征可以相互结合。
请参考图1，图1为本实施例提供的应用场景的示例图，图1中，服务器10和扫描设备20及位置采集装置30均通信连接，扫描设备20安装有相机和激光雷达，扫描设备20带着相机和激光雷达沿着预设轨道从陆测区域移动至海侧区域时，利用相机和激光雷达对待定位船舱位进行图像采集和激光点云数据的采集。相机的Z轴（通常表示相机的前向或视线方向）与3D激光雷达的X轴（通常表示激光雷达的前向或扫描方向）平行，意味着相机的视线方向与激光雷达的扫描方向一致，这样能保证相机拍摄的二维图像与雷达扫描的三维点云在空间方向上有很好的一致性和对应关系，使得最终定位结果更准确。
服务器10可以是一台服务器或者由多台服务器组成的服务器集群，可以是硬件设备，也可以是通过软件虚拟而成的虚拟机，或者是云端服务器等。服务器10能够获取相机采集的图像、激光雷达采集的点云数据及位置采集装置30采集的位置信息，并对获取的数据进行分析处理，以对待定位船舱位进行定位。
位置采集装置30用于采集扫描设备在岸桥坐标系下的位置信息，扫描设备20在岸桥方向的距离及扫描设备20移动的距离等，位置采集装置30通常安装在岸桥上，可以是PLC（Programmable Logic Controller，可编程逻辑控制器）也可以是位置传感器等。
基于图1，本实施例还提供了一种图1中服务器10的方框示例图，服务器10用于实现本实施例中的船舱位定位方法，服务器10包括处理器11、存储器12和总线13，处理器11和存储器12通过总线13连接。
处理器11可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，本实施例的船舱位定位方法的各步骤可以通过处理器11中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器11可以是通用处理器，包括中央处理器（Central ProcessingUnit，简称CPU）、网络处理器（Network Processor，简称NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
存储器12用于存储实现本实施例的船舱位定位方法的程序，该程序可以是以软件或固件（firmware）的形式存储于存储器12中或固化在服务器10的操作系统（operatingsystem，OS）中的软件功能模块。处理器11在接收到执行指令后，执行程序以实现上述实施例揭示的船舱位定位方法。
基于图1和图2，本实施例还提供了一种应用于图1和图2中服务器10的船舱位定位方法，请参照图3，图3为本实施例提供的船舱位定位方法的流程示例图，该方法包括以下步骤：
步骤S101，获取位置采集装置采集的扫描设备在岸桥坐标系中的参考位置、相机拍摄待定位船舱位得到的船舱位图像及激光雷达扫描待定位船舱位得到的多个点云数据。
在本实施例中，可以采集一个时刻的参考位置、船舱位图像及点云数据，也可以采集一段时间内多个不同时刻的参考位置、船舱位图像及点云数据，得到每个时刻的参考位置、船舱位图像及点云数据。
在本实施例中，待定位船舱位可以是集装箱也可以是空舱位。
步骤S102，确定待定位船舱位在船舱位图像中的像素位置。
在本实施例中，可以利用预设船舱位识别模型识别船舱位图像中的待定位船舱位，得到待定位船舱位在船舱位图像中的像素位置，作为一种实现方式，像素位置可以是待定位船舱位的中心点在船舱位图像中的像素点的位置，当待定位船舱位的大小都是预先设定的、且为正方体时，作为另一种实现方式，也可以采用待定位船舱位在船舱位图像中的正方形区域的四个顶点中的任一顶点的像素点的位置作为像素位置。
需要说明的是，根据实际需要，还可以利用预设船舱位识别模型识别船舱位图像中的待定位船舱位的类别，例如是集装箱还是空舱位。
步骤S103，根据像素位置及多个点云数据，确定待定位船舱位的船舱位高度。
在本实施例中，像素位置是待定位船舱位在船舱位图像中的位置，是在像素坐标系中的位置，作为一种实现方式，先根据像素位置从多个点云数据中确定属于待定位船舱位的点云数据，再根据属于待定位船舱位的点云数据确定船舱位高度。
在本实施例中，船舱位的类别不同，船舱位高度也不一样，例如，当船舱位为集装箱时，其船舱位高度比为当船舱位为空舱位时的船舱位高度要高。
步骤S104，根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置。
在本实施例中，根据船舱位高度可以确定出像素位置在相机坐标系中的三维坐标，再根据三维坐标及参考位置，计算出其在岸桥坐标系中的目标位置。
本实施例提供的上述方法，通过先确定船舱位高度，再基于船舱位高度计算目标位置，实现了对船舱位的精确定位。
在本实施例中，在像素位置为待定位船舱位的中心点在船舱位图像中的像素坐标时，一种确定船舱位高度的方式为：
首先，利用相机的内参及激光雷达与相机相关的外参，将每一点云数据投影至投影图像，得到每一点云数据在投影图像中的投影坐标；
在本实施例中，相机的内参描述了相机坐标系到像素坐标系之间的变换关系，相机内参可以用矩阵表示，其中，/>为相机光心在像素坐标系中的坐标，/>和/>分别是相机在水平方向和垂直方向上的焦距。
在本实施例中，激光雷达的外参包括与相机相关的外参和与岸桥相关的外参，前者用于描述激光雷达坐标系到相机坐标系之间的变换关系，后者用于描述激光雷达和岸桥坐标系之间的变换关系。
在本实施例中，点云数据中的任一个三维点，计算其在相机坐标系的坐标/>，计算方式为：/>，进而计算其投影至投影图像中后的投影坐标/>，计算方式为：，其中，/>为激光雷达与相机相关的外参，K为相机的内参。
其次，根据每一点云数据的投影坐标和像素坐标之间的位置关系，从多个投影坐标中确定属于待定位船舱位的目标投影坐标；
在本实施例中，若投影坐标在像素坐标预设范围内，则可以断定该投影坐标对应的点云数据属于待定位船舱位，否则，则该投影坐标对应的点云数据不属于待定位船舱位，作为一种实现方式，可以利用预设船舱位识别模型识别船舱位图像中的待定位船舱位的区域大小，根据待定位船舱位的区域大小可以确定每一点云数据的投影坐标是否在像素坐标的预设范围内，具体判断方式可以是：若投影坐标满足/>，则判定投影坐标/>属于待定位船舱位，其中，/>为像素坐标，即待定位船舱位的中心点在船舱位图像中像素坐标。
最后，根据目标投影坐标对应的目标点云数据确定待定位船舱位的船舱位高度。
在本实施例中，目标点云数据为属于待定位船舱位的点云数据，目标点云数据为多个，一种根据目标投影坐标对应的目标点云数据确定待定位船舱位的船舱位高度的方式为：
根据激光雷达与相机相关的外参数，计算每一目标点云数据在相机坐标系中的相对坐标；获取待定位船舱位的类别；若类别为空舱位，则将多个相对坐标中与相机的视线方向平行的坐标轴的坐标值的最大值作为船舱位高度；若类别为非空舱位，则将所有相对坐标与相机的视线方向平行的坐标轴的坐标值的平均值作为船舱位高度。
目标点云数据在相机坐标系中的相对坐标可以用公式计算得到，在本实施例中，与相机的视线方向平行的坐标轴为Z轴，若类别为空舱位，则将所有目标点云数据的相对坐标中Z轴的最大值作为船舱位高度，若类别为非空舱位，则将所有目标点云数据的相对坐标中Z轴的平均值作为船舱位高度，由此得到较为准确的船舱位高度。
在本实施例中，得到船舱位高度之后，一种根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置的实现方式为：
首先，根据像素位置和船舱位高度，计算像素位置在相机坐标系中的第一位置；
在本实施例中，第一位置的计算方式可以为：，其中，/>为第一位置，/>为相机内参，为像素坐标，/>为船舱位高度。
其次，根据激光雷达与相机相关的外参数，计算第一位置在岸桥坐标系中的第二位置；
在本实施例中，第二位置的计算方式可以为：，其中，/>为第一位置，/>为激光雷达与相机相关的外参。
最后，根据第二位置、参考位置及激光雷达与扫描设备相关的外参数，计算目标位置。
在本实施例中，目标位置的计算方式为：，其中，/>为第二位置，为参考位置，/>为激光雷达与岸桥相关的外参。
在本实施例中，为了使船舱位的定位更准确，可以在一段时间内的多个时刻获取参考位置、船舱位图像及多个点云数据，每一时刻获取一次参考位置、船舱位图像及多个点云数据，根据每一时刻获取的参考位置、船舱位图像及多个点云数据利用本实施例提供的上述船舱位定位方法，得到每一时刻的目标位置，每一目标位置对应一个表征该目标位置的可信程度，为了得到更准确的船舱位，本实施例提供了一种实现方式：
首先，获取预设船舱位在岸桥坐标系中的参考目标位置及预设船舱位的贝号、排号及层号；
在本实施例中，预设船舱位是贝号、排号及层号均已知的船舱位、且其在岸桥坐标系中的参考目标位置也预先确定。
其次，计算每一目标位置相对于参考目标位置的偏移量；
第三，根据每一偏移量和预设船舱位的贝号、排号及层号，计算每一目标位置的贝号、排号及层号；
在本实施例中，任一目标位置和参考目标位置均各自包括在X、Y、Z三个坐标轴上的坐标，目标位置相对于参考目标位置的偏移量也包括在X、Y、Z三个坐标轴的偏移量，目标位置的贝号、排号及层号分别与Y轴、X轴及Z轴的偏移量相关，作为一种实现方式，对于任一目标位置，预设船舱位的贝号、排号及层号的计算方式分别为：
，其中，/>为预设船舱位的贝号，为目标位置相对于参考目标位置在Y轴上的偏移量，/>是符号函数，/>是将数字四舍五入到最接近的整数的函数；
，其中，/>为预设船舱位的排号，/>为目标位置相对于参考目标位置在X轴上的偏移量，/>表示向下取整；
，其中，/>为预设船舱位的层号，/>为目标位置相对于参考目标位置在Z轴上的偏移量，/>是将数字四舍五入到最接近的整数的函数。
最后，将贝号和排号均相同的多个目标位置中置信度最大的目标位置作为待定位船舱位的目标位置。
在本实施例中，在贝号和排号均相同的目标位置中，选择其中置信度最大的目标位置作为待定位船舱位最终的目标位置。
在本实施例中，作为一种确定置信度的实现方式，在得到多个目标位置后，首先将每一个目标位置的置信度初始化为1，然后判断多个目标位置中是否存在属于同一个船舱位的目标位置，对于属于同一个船舱位的多个目标位置，将其合并为一个新的目标位置，并根据属于同一个船舱位的多个目标位置的置信度确定新的目标位置的置信度。
为了更清楚地说明两个目标位置是否属于同一个船舱位，本实施例以相邻的两个时刻获取的参考位置、船舱位图像及多个点云数据进行分析后得到的第一船舱位的第一目标位置和第二船舱位的第二目标位置进行说明，判断第一船舱位和第二船舱位是否为同一个船舱位的方式为：
首先，将第一目标位置投影至投影图像，得到第一目标位置在投影图像中的投影位置；
在本实施例中，计算第一目标位置在投影图像中的投影位置的一种实现方式为：先计算第一目标位置投影在相机坐标系中的第一相对位置，再根据第一相对位置和激光雷达和相机相关的外参数，确定第一目标位置在投影图像中的投影位置，投影位置即为第一目标位置在投影图像中的像素位置。具体地，第一相对位置可以采用如下公式计算：，其中，/>为第一目标位置，/>为第一时刻的参考位置，为激光雷达与相机相关的外参，/>为激光雷达与岸桥相关的外参；进而计算第一相对位置在投影图像中的投影位置/>，计算方式为：，其中，K为相机的内参，。
其次，获取第二船舱位图像中的第二船舱位的像素位置；
在本实施例中，可以利用船舱位识别模型对第二船舱位图像进行识别，得到第二船舱位的像素位置。
最后，若投影位置和第二船舱位的像素位置满足预设位置关系且第一船舱位和第二船舱位的类别相同，则将第一船舱位和第二船舱位判定为同一个待定位船舱位，否则将第一船舱位和第二船舱位判定为不同的待定位船舱位。
在本实施例中，预设位置关系可以根据第二船舱位在第二船舱位图像中的区域大小确定投影位置是否在第二船舱位的像素位置的预设范围内进行判断，投影位置用投影坐标表示，像素位置用像素坐标表示，具体判断方式可以是：若投影坐标满足，则判定投影坐标/>属于待定位船舱位，其中，/>为像素坐标，即待定位船舱位的中心点在船舱位图像中像素坐标。
在可选的实施方式中，若第一船舱位和第二船舱位为同一个待定位船舱位，则还需要第一目标位置和第二目标位置合并为新的目标位置，并将新的目标位置作为该船舱位的目标位置，具体方式为：
根据第一目标位置和第二目标位置，重新确定待定位船舱位在岸桥坐标系中的目标位置。
在本实施例中，可以采用公式重新确定待定位船舱位在岸桥坐标系中的目标位置，其中，/>为重新确定的待定位船舱位在岸桥坐标系中的目标位置，为第一目标位置，/>为第二目标位置，/>为第一目标位置的置信度。除此之外，还可以设置重新确定的目标位置的置信度，将第一目标位置的置信度递增，将递增后的置信度作为重新确定的目标位置的置信度。
上述实施例提供的判断第一船舱位和第二船舱位是否为同一个船舱位的方式，还可以应用于相机抖动的场景中，例如，在相机抖动时拍摄了多张船舱位图像，可以将多张船舱位图像中属于同一个船舱位的目标位置进行合并，同时更新其置信度，可以解决由于相机抖动导致的船舱位的目标位置部分缺失导致目标位置识别错误的问题，进而得到更可靠的船舱位的目标位置。
为了执行上述实施例及各个可能的实施方式中的相应步骤，下面分别给出一种船舱位定位装置100的实现方式。请参照图4，图4为本发明实施例提供的船舱位定位装置的方框示意图，需要说明的是，本实施例所提供的船舱位定位装置100，其基本原理及产生的技术效果和对应的上述实施例相同，为简要描述，本实施例部分未提及指出。
船舱位定位装置100包括获取模块110、确定模块120及计算模块130。
获取模块110，用于获取位置采集装置采集的扫描设备在岸桥坐标系中的参考位置、相机拍摄待定位船舱位得到的船舱位图像及激光雷达扫描待定位船舱位得到的多个点云数据；
确定模块120，用于确定待定位船舱位在船舱位图像中的像素位置；
确定模块120，还用于确定根据像素位置及多个点云数据，确定待定位船舱位的船舱位高度；
计算模块130，用于根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置。
在可选的实施方式中，像素位置为待定位船舱位的中心点在船舱位图像中的像素坐标，确定模块120具体用于：利用相机的内参及激光雷达与相机相关的外参，将每一点云数据投影至投影图像，得到每一点云数据在投影图像中的投影坐标；根据每一点云数据的投影坐标和像素坐标之间的位置关系，从多个投影坐标中确定属于待定位船舱位的目标投影坐标；根据目标投影坐标对应的目标点云数据确定待定位船舱位的船舱位高度。
在可选的实施方式中，目标点云数据为多个，确定模块120在用于根据目标投影坐标对应的目标点云数据确定待定位船舱位的船舱位高度时具体用于：根据激光雷达与相机相关的外参数，计算每一目标点云数据在相机坐标系中的相对坐标；获取待定位船舱位的类别；若类别为空舱位，则将多个相对坐标中与相机的视线方向平行的坐标轴的坐标值的最大值作为船舱位高度；若类别为非空舱位，则将所有相对坐标与相机的视线方向平行的坐标轴的坐标值的平均值作为船舱位高度。
在可选的实施方式中，计算模块130具体用于：根据像素位置和船舱位高度，计算像素位置在相机坐标系中的第一位置；根据激光雷达与相机相关的外参数，计算第一位置在岸桥坐标系中的第二位置；根据第二位置、参考位置及激光雷达与扫描设备相关的外参数，计算目标位置。
在可选的实施方式中，目标位置为多个，多个目标位置为根据多个相邻时刻获取的参考位置、船舱位图像及多个点云数据确定的，每一目标位置均对应一个表征该目标位置的可信程度的，计算模块130还用于：获取预设船舱位在岸桥坐标系中的参考目标位置及预设船舱位的贝号、排号及层号；计算每一目标位置相对于参考目标位置的偏移量；根据每一偏移量和预设船舱位的贝号、排号及层号，计算每一目标位置的贝号、排号及层号；将贝号和排号均相同的多个目标位置中置信度最大的目标位置作为待定位船舱位的目标位置。
在可选的实施方式中，目标位置包括第一目标位置和第二目标位置，第一目标位置是根据第一时刻获取的参考位置、船舱位图像及多个点云数据确定的第一船舱位在岸桥坐标系中的位置，第二目标位置是根据第二时刻获取的参考位置、船舱位图像及多个点云数据确定的第二船舱位在岸桥坐标系中的位置，第一时刻和第二时刻相邻，计算模块130还用于：将第一目标位置投影至投影图像，得到第一目标位置在投影图像中的投影位置；获取第二船舱位图像中的第二船舱位的像素位置；若投影位置和第二船舱位的像素位置满足预设位置关系且第一船舱位和第二船舱位的类别相同，则将第一船舱位和第二船舱位判定为同一个待定位船舱位，否则将第一船舱位和第二船舱位判定为不同的待定位船舱位。
在可选的实施方式中，计算模块130还用于：若第一船舱位和第二船舱位为同一个待定位船舱位，则根据第一目标位置和第二目标位置，重新确定待定位船舱位在岸桥坐标系中的目标位置。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前述实施方式中任一项的船舱位定位方法。
综上所述，本发明实施例提供了一种船舱位定位方法、装置、服务器和计算机可读存储介质，应用于服务器，服务器与用于扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接，扫描设备安装有相机和激光雷达，方法包括：获取位置采集装置采集的扫描设备在岸桥坐标系中的参考位置、相机拍摄待定位船舱位得到的船舱位图像及激光雷达扫描待定位船舱位得到的多个点云数据；确定待定位船舱位在船舱位图像中的像素位置；根据像素位置、参考位置及多个点云数据，确定待定位船舱位的船舱位高度；根据船舱位高度、参考位置及像素位置，计算待定位船舱位在岸桥坐标系中的目标位置。与现有技术相比，本实施例至少具有以下优势：（1）通过先确定船舱位高度，再基于船舱位高度计算目标位置，实现了对船舱位的精确定位；（2）判断两个船舱位是否为同一个船舱位的方式，应用于相机抖动的场景中，解决了由于相机抖动导致的船舱位的目标位置部分缺失导致目标位置识别错误的问题，进而得到更可靠的船舱位的目标位置；（3）利用贝号、排号及层号均已知的预设船舱位、且其在岸桥坐标系中的参考目标位置，确定待定位船舱位的贝号、排号及层号，以得到待定位船舱位更详细的信息；（4）对于贝号、排号相同的船舱位，选择其中置信度大的船舱位的目标位置作为待定位船舱位的目标位置，实现了对待定位船舱位的更准确地定位。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种船舱位定位方法，其特征在于，应用于服务器，所述服务器与用于扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接，所述扫描设备安装有相机和激光雷达，所述方法包括：
获取所述位置采集装置采集的所述扫描设备在岸桥坐标系中的参考位置、所述相机拍摄所述待定位船舱位得到的船舱位图像及所述激光雷达扫描所述待定位船舱位得到的多个点云数据；
确定所述待定位船舱位在所述船舱位图像中的像素位置，所述像素位置为所述待定位船舱位的中心点在所述船舱位图像中的像素坐标；
根据每一所述点云数据的投影坐标和所述像素坐标之间的位置关系，从多个所述投影坐标中确定属于所述待定位船舱位的目标投影坐标；
根据所述目标投影坐标对应的目标点云数据确定所述待定位船舱位的船舱位高度；
根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置。
2.如权利要求1所述的船舱位定位方法，其特征在于，所述根据每一所述点云数据的投影坐标和所述像素坐标之间的位置关系，从多个所述投影坐标中确定属于所述待定位船舱位的目标投影坐标的步骤之前，包括：
利用所述相机的内参及所述激光雷达与所述相机相关的外参，将每一所述点云数据投影至投影图像，得到每一所述点云数据在所述投影图像中的投影坐标。
3.如权利要求1所述的船舱位定位方法，其特征在于，所述目标点云数据为多个，所述根据所述目标投影坐标对应的目标点云数据确定所述待定位船舱位的船舱位高度的步骤包括：
根据所述激光雷达与所述相机相关的外参数，计算每一所述目标点云数据在相机坐标系中的相对坐标；
获取所述待定位船舱位的类别；
若所述类别为空舱位，则将多个所述相对坐标中与所述相机的视线方向平行的坐标轴的坐标值的最大值作为所述船舱位高度；
若所述类别为非空舱位，则将所有所述相对坐标与所述相机的视线方向平行的坐标轴的坐标值的平均值作为所述船舱位高度。
4.如权利要求1所述的船舱位定位方法，其特征在于，所述根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置的步骤包括：
根据所述像素位置和所述船舱位高度，计算所述像素位置在相机坐标系中的第一位置；
根据所述激光雷达与所述相机相关的外参数，计算所述第一位置在所述岸桥坐标系中的第二位置；
根据所述第二位置、所述参考位置及所述激光雷达与所述扫描设备相关的外参数，计算所述目标位置。
5.如权利要求1所述的船舱位定位方法，其特征在于，所述目标位置为多个，多个所述目标位置为根据多个相邻时刻获取的参考位置、船舱位图像及多个点云数据确定的，每一所述目标位置均对应一个表征该目标位置的可信程度的，所述方法还包括：
获取预设船舱位在所述岸桥坐标系中的参考目标位置及所述预设船舱位的贝号、排号及层号；
计算每一所述目标位置相对于所述参考目标位置的偏移量；
根据每一所述偏移量和所述预设船舱位的贝号、排号及层号，计算每一所述目标位置的贝号、排号及层号；
将贝号和排号均相同的多个目标位置中置信度最大的目标位置作为所述待定位船舱位的目标位置。
6.如权利要求1所述的船舱位定位方法，其特征在于，所述目标位置包括第一目标位置和第二目标位置，所述第一目标位置是根据第一时刻获取的参考位置、船舱位图像及多个点云数据确定的第一船舱位在所述岸桥坐标系中的位置，所述第二目标位置是根据第二时刻获取的参考位置、船舱位图像及多个点云数据确定的第二船舱位在所述岸桥坐标系中的位置，所述第一时刻和所述第二时刻相邻，所述方法还包括：
将所述第一目标位置投影至投影图像，得到所述第一目标位置在所述投影图像中的投影位置；
获取所述第二船舱位图像中的第二船舱位的像素位置；
若所述投影位置和所述第二船舱位的像素位置满足预设位置关系且所述第一船舱位和所述第二船舱位的类别相同，则将所述第一船舱位和所述第二船舱位判定为同一个待定位船舱位，否则将所述第一船舱位和所述第二船舱位判定为不同的待定位船舱位。
7.如权利要求6所述的船舱位定位方法，其特征在于，所述方法还包括：
若所述第一船舱位和所述第二船舱位为同一个待定位船舱位，则根据所述第一目标位置和所述第二目标位置，重新确定所述待定位船舱位在所述岸桥坐标系中的目标位置。
8.一种船舱位定位装置，其特征在于，应用于服务器，所述服务器与用于扫描待定位船舱位的扫描设备及安装于岸桥的位置采集装置均通信连接，所述扫描设备安装有相机和激光雷达，所述装置包括：
获取模块，用于获取所述位置采集装置采集的所述扫描设备在岸桥坐标系中的参考位置、所述相机拍摄所述待定位船舱位得到的船舱位图像及所述激光雷达扫描所述待定位船舱位得到的多个点云数据；
确定模块，用于确定所述待定位船舱位在所述船舱位图像中的像素位置，所述像素位置为所述待定位船舱位的中心点在所述船舱位图像中的像素坐标；
所述确定模块，还用于根据每一所述点云数据的投影坐标和所述像素坐标之间的位置关系，从多个所述投影坐标中确定属于所述待定位船舱位的目标投影坐标、以及根据所述目标投影坐标对应的目标点云数据确定所述待定位船舱位的船舱位高度；
计算模块，用于根据所述船舱位高度、所述参考位置及所述像素位置，计算所述待定位船舱位在岸桥坐标系中的目标位置。
9.一种服务器，其特征在于，包括处理器和存储器，所述存储器用于存储程序，所述处理器用于在执行所述程序时，实现权利要求1-7中任一项所述的船舱位定位方法。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的船舱位定位方法。
CN202311776584.7A 2023-12-22 2023-12-22 船舱位定位方法、装置、服务器和计算机可读存储介质 Active CN117452430B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311776584.7A CN117452430B (zh) 2023-12-22 2023-12-22 船舱位定位方法、装置、服务器和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311776584.7A CN117452430B (zh) 2023-12-22 2023-12-22 船舱位定位方法、装置、服务器和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN117452430A CN117452430A (zh) 2024-01-26
CN117452430B true CN117452430B (zh) 2024-03-26

Family

ID=89584098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311776584.7A Active CN117452430B (zh) 2023-12-22 2023-12-22 船舱位定位方法、装置、服务器和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117452430B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105819341A (zh) * 2016-06-02 2016-08-03 北京国泰星云科技有限公司 集装箱码头岸桥下的船舶轮廓识别和吊具防撞系统及方法
CN114988283A (zh) * 2022-05-28 2022-09-02 聚时科技(上海)有限公司 一种面向自动化桥吊的高精度船舱位实时检测系统
CN116202417A (zh) * 2022-11-16 2023-06-02 华能(浙江)能源开发有限公司玉环分公司 一种船舱舱口及舱内物料激光实时扫描方法及系统
CN116359929A (zh) * 2023-02-21 2023-06-30 国能黄骅港务有限责任公司 船舱定位及舱内物料的扫描识别方法、系统和存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR202012012772U2 (pt) * 2012-05-28 2013-09-10 Gustavo Possas Pereira sistema de proteÇço para carregamento de navios
CN111017726B (zh) * 2019-11-19 2020-08-21 中联重科股份有限公司 起重机吊钩定位方法、装置、系统及工程机械

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105819341A (zh) * 2016-06-02 2016-08-03 北京国泰星云科技有限公司 集装箱码头岸桥下的船舶轮廓识别和吊具防撞系统及方法
CN114988283A (zh) * 2022-05-28 2022-09-02 聚时科技(上海)有限公司 一种面向自动化桥吊的高精度船舱位实时检测系统
CN116202417A (zh) * 2022-11-16 2023-06-02 华能(浙江)能源开发有限公司玉环分公司 一种船舱舱口及舱内物料激光实时扫描方法及系统
CN116359929A (zh) * 2023-02-21 2023-06-30 国能黄骅港务有限责任公司 船舱定位及舱内物料的扫描识别方法、系统和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的智能化抓斗卸船机关键技术研究;陆成浩;《中国优秀硕士学位论文全文数据库工程科技II辑》;20210815(第8期);C034-367-第23-24页 *

Also Published As

Publication number Publication date
CN117452430A (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
CN113748357B (zh) 激光雷达的姿态校正方法、装置和系统
EP3766644B1 (en) Workpiece picking device and workpiece picking method
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
WO2021016854A1 (zh) 一种标定方法、设备、可移动平台及存储介质
CN110956660A (zh) 定位方法、机器人以及计算机存储介质
EP3330921A1 (en) Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
CN114120149B (zh) 一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质
CN112648976A (zh) 实景影像测量方法、装置、电子设备及存储介质
CN111391327B (zh) 打印误差确定和打印方法、装置、电子设备及存储介质
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN116245937A (zh) 货物堆垛的堆高预测方法及装置、设备、存储介质
CN115825067A (zh) 一种基于无人机的地质信息采集方法、系统及电子设备
CN118429414A (zh) 一种基于单目相机的最优目标距离测量方法及其相关设备
CN117452430B (zh) 船舱位定位方法、装置、服务器和计算机可读存储介质
CN117848234A (zh) 物体扫描机构、方法及相关设备
CN115258959B (zh) 吊具控制方法、设备及存储介质
CN112102396A (zh) 桥吊下的车辆定位方法、装置、设备及存储介质
CN115131433B (zh) 一种非合作目标位姿的处理方法、装置及电子设备
CN114463444A (zh) 非接触式相对位姿检测方法及系统
CN115511944A (zh) 基于单相机的尺寸估计方法、装置、设备及存储介质
CN115311332A (zh) 一种自动引导车对接方法及装置
CN117745818A (zh) 机场场面目标定位方法、装置、计算机设备及存储介质
US20230213371A1 (en) Filling rate measurement method, information processing device, and recording medium
CN111986253B (zh) 电梯拥挤程度的检测方法、装置、设备及存储介质
US20240045062A1 (en) Augmented illumination and 3d dimensioning (ai3d) from 3d reconstruction within a single-pose image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant