CN115930791A - 一种多模态数据的集装箱货物位置与尺寸检测方法 - Google Patents
一种多模态数据的集装箱货物位置与尺寸检测方法 Download PDFInfo
- Publication number
- CN115930791A CN115930791A CN202211544559.1A CN202211544559A CN115930791A CN 115930791 A CN115930791 A CN 115930791A CN 202211544559 A CN202211544559 A CN 202211544559A CN 115930791 A CN115930791 A CN 115930791A
- Authority
- CN
- China
- Prior art keywords
- goods
- container
- data
- point cloud
- cargo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 6
- 230000003287 optical effect Effects 0.000 claims abstract description 5
- 238000011426 transformation method Methods 0.000 claims abstract description 3
- 239000013598 vector Substances 0.000 claims description 32
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 5
- 230000000737 periodic effect Effects 0.000 claims description 5
- 238000009434 installation Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000009385 viral infection Effects 0.000 abstract description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种多模态数据的集装箱货物位置与尺寸检测方法，包括以下步骤：步骤一、采用光学相机与激光雷达等传感器；步骤二、计算不同传感器坐标系的转换变换方法；步骤三、检测出集装箱货物在待检测空间中的位置；步骤四、生成了被检测区域的点云数据；步骤五、从被检测区域内的点云数据中，识别出货物的部分；步骤六、利用相机与点云的数据，计算出货物的空间位置与尺寸参数。该方法减少了人工检测过程的步骤，利用多种传感器融合的方式，获取集装箱内信息，包括货物摆放是否整齐、每一层货物位置。既能及时获取货物的运输状态，降低了人工因跨国物流感染病毒的风险，同时也能为货物的自动化装卸提供数据支持。
Description
技术领域
本发明涉及集装箱技术领域，具体为一种多模态数据的集装箱货物位置与尺寸检测方法。
背景技术
集装箱是一种能装载包装或无包装货物进行运输，并便于用机械设备进行装卸搬运的成组工具。其应用范围广泛，实现了全球范围内的船舶、港口、航线、公路、中转站、桥梁、隧道等多式联运相配套的物流系统。在集装箱货物自动装卸的过程中，集装箱内的货物摆放状态，会直接影响到自动卸货装置的卸货效率及成功率。现有的方法均是通过人工观测，通过人眼观测后再进行人工卸货或人工操作相关设备卸货。
但是常规的人工检测方法，需要工作人员近距离观测集装箱内部纸箱货物的状态。常规检测方法效率低下，占用了大量的人力物力资源，同时常规方法会提升工作人员通过集装箱货物感染病毒的风险。
发明内容
针对现有技术存在的不足，本发明目的是提供一种多模态数据的集装箱货物位置与尺寸检测方法，以解决上述背景技术中提出的问题。本发明自动化程度高，检测精准性高，节约了人力物力资源，信息采集更加全面可靠。
为了实现上述目的，本发明是通过如下的技术方案来实现：一种多模态数据的集装箱货物位置与尺寸检测方法，包括以下步骤：步骤一、采用光学相机与激光雷达等传感器，安装部署在集装箱开口处；步骤二、根据传感器间的安装位置，及被检测物体在不同传感器间的相关位置，计算不同传感器坐标系的转换变换方法；步骤三、激光雷达通过扫描获取到集装箱内部货物的三维点云数据，并通过算法检测出集装箱货物在待检测空间中的位置；步骤四、激光雷达通过发送周期性的激光脉冲并接受信号，通过发送与接收之间的时间差，计算出每个激光信号点与检测点之间的距离，通过密集的检测点的组合，生成了被检测区域的点云数据；步骤五、从被检测区域内的点云数据中，识别出货物的部分；步骤六、利用相机与点云的数据，计算出货物的空间位置与尺寸参数。
进一步的，所述步骤一中，两个传感器的检测方向相互平行，且两个传感器的位置为左右安装或上下安装。
进一步的，通过在标定的三维空间中放置若干组参考点，通过参考点在相机和激光雷达数据中的相关参数，联立方程即可计算出激光雷达与相机之间的旋转矩阵与平移矢量的值。
进一步的，所述步骤三中，激光雷达通过发送周期性的激光脉冲并接受信号，通过发送与接收之间的时间差，计算出每个激光信号点与检测点之间的距离。
进一步的，所述步骤五过程中，需要进行预处理，包括滤除掉数据中的噪声等操作。
进一步的，通过找出纸箱货物的大致区域，拟合出点云中的各个平面。
进一步的，计算各平面区域的法向量，且法向量的求解采用内积法，通过方程组计算出法向量的值。
进一步的，利用法向量参数对各平面进行滤除，仅保留法向量与地面近似平行，方向与集装箱开口处近似相同的部分。
进一步的，对于纸箱货物平整度检测，需要在检测出各纸箱货物平面的基础上，提取各纸箱平面的深度均值与法向量。
进一步的，通过传感器标定后的参数，换算出集装箱货物在相机图像中的位置，同时检测相机中相对区域中的图像信息，获取集装箱内货物的图像特征，所述步骤六中，通过获取到的货物图像特征，并结合对应位置的点云数据，可以计算出货物的空间位置与尺寸参数。
本发明的有益效果：
1.该多模态数据的集装箱货物位置与尺寸检测方法减少了人工检测集装箱货物状态的步骤，利用多种传感器融合的方式，获取集装箱内货物的状态信息，包括货物摆放是否整齐，每一层货物在空间中的位置。既能及时货物的运输状态，又能指导卸货设备自动搬卸货物。
2.该多模态数据的集装箱货物位置与尺寸检测方法利用多种传感器，采集不同模态的数据，通过智能算法检测出集装箱内货物的空间位置、平整度、尺寸参数等信息。提出的方法提升了货物装卸的自动化水平，同时降低了人工因跨国物流感染病毒的风险。
附图说明
图1为本发明一种多模态数据的集装箱货物位置与尺寸检测方法的流程图；
图2为本发明一种多模态数据的集装箱货物位置与尺寸检测方法的传感器第一种安装布局图；
图3为本发明一种多模态数据的集装箱货物位置与尺寸检测方法的传感器第二种安装布局图；
图4为本发明一种多模态数据的集装箱货物位置与尺寸检测方法蒙板矩阵作用示意图。
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
请参阅图1至图4，本发明提供一种技术方案：一种多模态数据的集装箱货物位置与尺寸检测方法，本方案包括：多线激光雷达，光学相机及配套的算法处理系统，其具体检测方法根据以下步骤进行。
(1)本方法采用光学相机与激光雷达等传感器，安装部署在集装箱开口处。两个传感器的检测方向相互平行，两个传感器的位置为左右安装或上下安装，其位置关系如图2和图3所示。
(2)传感器安装后，需要根据传感器间的安装位置，及被检测物体在不同传感器间的相关位置，计算不同传感器坐标系的转换变换方法。
传感器标定是指，通过检测空间中的相同位置，计算出不同传感器坐标系之间的转换关系。本方案将标定点在图像中的像素坐标记为(u,v)，在三维空间中坐标记为(x,y,z)，则其转换关系为：
本实施例，其中fu，fv，uo和v0为相机的内参，通过相机自身的标定可以获取。而R和t分别为激光雷达与相机之间的旋转矩阵与平移矢量，是联合标定中待确定的参数。本方法通过在标定的三维空间中放置若干组参考点，通过参考点在相机和激光雷达数据中的相关参数，联立方程即可计算出R和t值。
(3)激光雷达通过扫描获取到集装箱内部货物的三维点云数据，通过算法检测出集装箱货物在待检测空间中的位置；激光雷达通过发送周期性的激光脉冲并接受信号，通过发送与接收之间的时间差，计算出每个激光信号点与检测点之间的距离。通过密集的检测点的组合，生成了被检测区域的点云数据。
本实施例，从被检测区域内的点云数据中，识别出纸箱货物的部分。其步骤如下：
(3-1)预处理，包括滤除掉数据中的噪声等操作，其流程如下：
对每个点Xi，计算其到剩余各点之间的距离dij＝Xi-Xj。筛选出Kmean个Xi到其余各点之间最近的距离{dij1,dij2,…,dijkmean}。计算最近距离集合的均值
计算出所有点的Kmean平均距离di，并计算di的均值与方差。
设置过滤阈值threshold，其大小为threshold＝mean+multi×stddev。其中multi为阈值的参数。
(3-2)找出纸箱货物的大致区域，拟合出点云中的各个平面。以点云的深度值Zi为参考，对点云数据中所有的点进行排序，并找到中位数Zmid；以Zi为中心值，以△w为带宽，设置带通滤波器，通过点云的深度值对滤波器范围外的点云数据进行滤除；计算各点之间的欧氏距离，对剩余点云数据进行聚类，将点云分割为N个相互独立的子区域；使用滑窗法对各子区域计算法向量，将各子区域中的法向量角度保存在一个二维矩阵中；对各子区域法向量角度二维矩阵求梯度，在梯度变化的位置对子区域进行进一步的分割，从而生成各平面区域。
(3-3)计算各平面区域的法向量；法向量的求解采用内积法，假设点云平面Pi的法向量三维空间矢量为
在平面上选择两条不平行的向量
和
由法向量的定义可知，法向量与该平面内所有向量均为正交关系，则可通过方程组计算出法向量的值，其方程如下所示：
(3-4)利用法向量参数对各平面进行滤除，仅保留法向量与地面近似平行，方向与集装箱开口处近似相同的部分。由于纸箱货物摆放位置的特殊性，所以所有纸箱货物的点云数据拟合出的平面，其法向量均与地面近似平行，且法向量的方向近似指向集装箱开口处。由于集装箱开口的方向可标记为在
则根据余弦定理可知：
设置一个阈值Threshold，通过θi与Threshold之间的关系，即可筛选出纸箱货物对应的点云数据。
(4)纸箱货物平整度检测
在检测出各纸箱货物平面的基础上，提取各纸箱平面的深度均值Zi与法向量
Zi的计算方法为：
N为平面i包含的3D点数；通过计算各Zi之间的差异，及各
之间的夹角，即可对整个货物的平整度进行判断。
(5)通过传感器标定后的参数，换算出集装箱货物在相机图像中的位置；检测相机中相对区域中的图像信息，获取集装箱内货物的图像特征；
本实施例，利用检测到的纸箱在空间中的位置，与激光雷达-相机之间的变化矩阵，可以获取纸箱在相机图像中的位置；设点云中属于纸箱货物的点云数据为(xi,yi,zi)，则根据联合标定的结果，可以计算出该点在图像中的位置(ui,vi)为：
初始化一个全为0的矩阵mask，其矩阵大小与图像大小一致。将mask矩阵中，步骤②中所有计算出的(ui,vi)处的值全置为1，增生成了蒙板矩阵mask。
(6)通过货物图像特征在图像中的位置，结合对应的点云数据，可以计算出货物的空间位置与尺寸参数。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (10)
1.一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于包括以下步骤：步骤一、采用光学相机与激光雷达等传感器，安装部署在集装箱开口处；步骤二、根据传感器间的安装位置，及被检测物体在不同传感器间的相关位置，计算不同传感器坐标系的转换变换方法；步骤三、激光雷达通过扫描获取到集装箱内部货物的三维点云数据，并通过算法检测出集装箱货物在待检测空间中的位置；步骤四、激光雷达通过发送周期性的激光脉冲并接受信号，通过发送与接收之间的时间差，计算出每个激光信号点与检测点之间的距离，通过密集的检测点的组合，生成了被检测区域的点云数据；步骤五、从被检测区域内的点云数据中，识别出货物的部分；步骤六、利用相机与点云的数据，计算出货物的空间位置与尺寸参数。
2.根据权利要求1所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：所述步骤一中，两个传感器的检测方向相互平行，且两个传感器的位置为左右安装或上下安装。
3.根据权利要求2所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：通过在标定的三维空间中放置若干组参考点，通过参考点在相机和激光雷达数据中的相关参数，联立方程即可计算出激光雷达与相机之间的旋转矩阵与平移矢量的值。
4.根据权利要求2所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：所述步骤三中，激光雷达通过发送周期性的激光脉冲并接受信号，通过发送与接收之间的时间差，计算出每个激光信号点与检测点之间的距离。
5.根据权利要求1所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：所述步骤五过程中，需要进行预处理，包括滤除掉数据中的噪声等操作。
6.根据权利要求5所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：通过找出纸箱货物的大致区域，拟合出点云中的各个平面。
7.根据权利要求6所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：计算各平面区域的法向量，且法向量的求解采用内积法，通过方程组计算出法向量的值。
8.根据权利要求1所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：利用法向量参数对各平面进行滤除，仅保留法向量与地面近似平行，方向与集装箱开口处近似相同的部分。
9.根据权利要求8所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：对于纸箱货物平整度检测，需要在检测出各纸箱货物平面的基础上，提取各纸箱平面的深度均值与法向量。
10.根据权利要求9所述的一种多模态数据的集装箱货物位置与尺寸检测方法，其特征在于：通过传感器标定后的参数，换算出集装箱货物在相机图像中的位置，同时检测相机中相对区域中的图像信息，获取集装箱内货物的图像特征，所述步骤六中，通过获取到的货物图像特征，并结合对应位置的点云数据，可以计算出货物的空间位置与尺寸参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211544559.1A CN115930791B (zh) | 2022-12-02 | 2022-12-02 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211544559.1A CN115930791B (zh) | 2022-12-02 | 2022-12-02 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115930791A true CN115930791A (zh) | 2023-04-07 |
| CN115930791B CN115930791B (zh) | 2024-01-12 |
Family
ID=86653744
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211544559.1A Active CN115930791B (zh) | 2022-12-02 | 2022-12-02 | 一种多模态数据的集装箱货物位置与尺寸检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115930791B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784166A (zh) * | 2024-01-05 | 2024-03-29 | 湖北润铁轨道装备有限公司 | 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统 |
| CN117784166B (zh) * | 2024-01-05 | 2024-07-12 | 湖北润铁轨道装备有限公司 | 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932736A (zh) * | 2018-05-30 | 2018-12-04 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
| CN113281777A (zh) * | 2021-04-07 | 2021-08-20 | 深圳市异方科技有限公司 | 一种货物体积动态测量方法及其测量装置 |
| US20210272309A1 (en) * | 2020-02-28 | 2021-09-02 | United States Postal Service | System and methods for automatic determination of item dimensions |
| CN113376654A (zh) * | 2020-03-09 | 2021-09-10 | 长沙智能驾驶研究院有限公司 | 基于三维激光的集卡防砸检测方法、装置和计算机设备 |
| CN115205373A (zh) * | 2022-06-09 | 2022-10-18 | 劢微机器人(深圳)有限公司 | 基于雷达和相机融合的卸货方法、检测装置及存储介质 |
-
2022
- 2022-12-02 CN CN202211544559.1A patent/CN115930791B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108932736A (zh) * | 2018-05-30 | 2018-12-04 | 南昌大学 | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 |
| US20210272309A1 (en) * | 2020-02-28 | 2021-09-02 | United States Postal Service | System and methods for automatic determination of item dimensions |
| CN113376654A (zh) * | 2020-03-09 | 2021-09-10 | 长沙智能驾驶研究院有限公司 | 基于三维激光的集卡防砸检测方法、装置和计算机设备 |
| CN113281777A (zh) * | 2021-04-07 | 2021-08-20 | 深圳市异方科技有限公司 | 一种货物体积动态测量方法及其测量装置 |
| CN115205373A (zh) * | 2022-06-09 | 2022-10-18 | 劢微机器人(深圳)有限公司 | 基于雷达和相机融合的卸货方法、检测装置及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117784166A (zh) * | 2024-01-05 | 2024-03-29 | 湖北润铁轨道装备有限公司 | 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统 |
| CN117784166B (zh) * | 2024-01-05 | 2024-07-12 | 湖北润铁轨道装备有限公司 | 一种基于多模态数据的铁路货运敞车折叠式活动顶盖开闭结果检测方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115930791B (zh) | 2024-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10928508B2 (en) | Camera and radar fusion | |
| TWI693422B (zh) | 自然場景中的整合感測器校準 | |
| CN107862719B (zh) | 相机外参的标定方法、装置、计算机设备和存储介质 | |
| CN105431370A (zh) | 用于使用集装箱起重机将集装箱自动地卸货在卸货目标上的方法和系统 | |
| CN106462968B (zh) | 用于校准机动车的摄影机系统的方法和装置 | |
| CN103065323B (zh) | 一种基于单应性变换矩阵的分段空间对准方法 | |
| EP3032818B1 (en) | Image processing device | |
| KR102195164B1 (ko) | 다중 라이다를 이용한 다중 물체 인식 시스템 및 방법 | |
| CN112819903A (zh) | 基于l型标定板的相机和激光雷达联合标定的方法 | |
| CA2870677A1 (en) | Point cloud visualization of acceptable helicopter landing zones based on 4d lidar | |
| CN105157608A (zh) | 一种超限车辆的检测方法、装置及系统 | |
| US8487993B2 (en) | Estimating vehicle height using homographic projections | |
| CN113359097A (zh) | 一种毫米波雷达和相机联合标定的方法 | |
| CN112017249A (zh) | 车载摄像头滚转角获取、安装角度校正方法及设备 | |
| CN109074653A (zh) | 用于检测机动车辆的道路旁边的物体的方法、计算设备、驾驶员辅助系统以及机动车辆 | |
| CN112278891B (zh) | 一种车厢内部姿态检测方法 | |
| CN115908539A (zh) | 一种目标体积自动测量方法和装置、存储介质 | |
| CN112581519B (zh) | 一种放射性废物包识别定位方法与装置 | |
| US20220187428A1 (en) | Autonomous mobile aircraft inspection system | |
| CN115930791B (zh) | 一种多模态数据的集装箱货物位置与尺寸检测方法 | |
| KR20110069205A (ko) | 컨테이너 하역 시스템의 컨테이너 위치 및 거리 측정 장치 및 그 방법 | |
| Na et al. | Drivable space expansion from the ground base for complex structured roads | |
| CN111932576B (zh) | 一种基于深度相机的物体边界测量方法和装置 | |
| CN115909216A (zh) | 一种基于激光雷达和单目相机的货船舱口检测方法及系统 | |
| US11774593B2 (en) | Method of simultaneous localization and mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |