CN114972019B - 基于tof相机的深度图像拼接方法、装置及计算机设备 - Google Patents
基于tof相机的深度图像拼接方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114972019B CN114972019B CN202110402576.0A CN202110402576A CN114972019B CN 114972019 B CN114972019 B CN 114972019B CN 202110402576 A CN202110402576 A CN 202110402576A CN 114972019 B CN114972019 B CN 114972019B
- Authority
- CN
- China
- Prior art keywords
- spliced
- depth image
- depth
- tof
- tof camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000009434 installation Methods 0.000 claims description 33
- 238000012544 monitoring process Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 3
- 238000002366 time-of-flight method Methods 0.000 description 116
- 238000000926 separation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种基于TOF相机的深度图像拼接方法、装置及计算机设备，所述方法包括：获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像；依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；依次计算每幅待拼接深度图像中每个背景像素点的具体空间坐标；根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。本发明实现对深度图像的高效率、快速及高准确率的拼接。
Description
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于TOF相机的深度图像拼接方法、装置及计算机设备。
背景技术
随着电子商务行业的快速发展，各个电商平台每天都会有数以亿计的商品销售订单。每个消费者从电商平台购买商品后，都希望自己的包裹可以快速运输到自己手中，这种迫切的需求对所有物流公司包裹运输的时效性有着越来越高要求。为了提高包裹运输的时效性，减少包裹分离分拣所消耗的时间是至关重要的环节。
传统仓库的包裹分离分拣都是依靠人工来完成的，大量消耗劳动力且效率低下，包裹的处理能力以及场地的运转效率都受到了很大的限制。针对于此，市场对全自动化包裹分离分拣的物流包裹分离系统有着极大的需求量。物流包裹分离系统使用TOF相机拍摄分离区域，定位分离区域中每个包裹的位置，从而使用传输皮带对包裹进行分离。而物流包裹分离系统中所使用的单个TOF相机拍摄的范围有限，而使用多个TOF相机拍摄则会遇到深度图像难以拼接的问题。
此外，对于深度图像的拼接，现有技术中心有很多技术方案，如公告号为CN110880161A的发明专利中公开了一种多主机多深度摄像头的深度图像拼接融合方法及系统，投影主机连接多个节点主机，每个节点连接多个深度摄像头；将被采集识别画面的区域划分为多个摄像区域，每个摄像区域对应一个深度摄像头；所有深度摄像头同时采集对应摄像区域的深度数据；每个节点主机接收其对应的多个深度摄像头的深度数据，并基于每个深度摄像头的深度环境背景数据和三维空间识别范围参数，分别计算并线性变换深度数据，得到可处理和显示的第一深度图像；每个节点主机拼接融合多个深度摄像头的第一深度图像，得到第二深度图像；投影主机接收多个节点主机的第二深度图像，按指定顺序拼接第二深度图像，识别互动者的位置及显示拼接后的第三深度图像。
显然，市面上的深度图像拼接方法虽然能够实现一定图像拼接，但是大多深度图像的拼接所采用的方法均需要花费大量的时间，存在深度图像难以拼接、拼接效率低下、拼接速度慢及准确率低的问题。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高深度图像拼接效率、拼接速度及拼接准确率的基于TOF相机的深度图像拼接方法、装置及计算机设备。
本发明技术方案如下：
一种基于TOF相机的深度图像拼接方法，所述方法包括：
步骤S100：在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
步骤S300：依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
具体地，步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像；具体包括：
步骤S510：创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
步骤S520：遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
步骤S530：若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
步骤S540：若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
步骤S550：对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
具体地，步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；具体包括：
步骤S410：遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
步骤S420：根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
具体地，步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；具体包括：
在所述TOF相机使用红外线发射的方式采集深度图像时，每间隔特定间隔时间后采用外部触发的方式从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像。
具体地，在步骤S100中，在将多个TOF相机按照预设的特定安装方式安装后的步骤，具体包括：
步骤S110：将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行；
步骤S120：将各待安装的TOF相机安装为在水平方向前后、左右保持平行。
具体地一种基于TOF相机的深度图像拼接装置，所述装置包括：
TOF相机安装模块，用于在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
深度图像抓取模块，用于基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
像素点设置模块，用于依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
空间坐标计算模块，用于基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
已拼图像生成模块，用于根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
具体地，所述已拼图像生成模块包括：
存储矩阵创建模块，用于创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
重叠判断模块，用于遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
第一结果模块，用于若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
第二结果模块，用于若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
裁剪处理模块，用于对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
具体地，所述包括：
像素遍历模块，用于遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
公式计算模块，用于根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
具体地，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于TOF相机的深度图像拼接方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于TOF相机的深度图像拼接方法所述的步骤。
本发明实现技术效果如下：
上述基于TOF相机的深度图像拼接方法、装置及计算机设备，依次通过在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像，进而实现对深度图像的高效率、快速及高准确率的拼接。
附图说明
图1为一个实施例中基于TOF相机的深度图像拼接方法的流程示意图；
图2为一个实施例中TOF相机安装后在垂直方向上的安装示意图；
图3为一个实施例中TOF相机安装后在水平直方向上的安装示意图；
图4为一个实施例中基于TOF相机的深度图像拼接装置的结构框图；
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于TOF相机的深度图像拼接方法，所述方法包括：
步骤S100：在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
具体地，所述特定安装方式为满足获取深度图像设置。进一步地，特定安装方式为，将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行，如图2所示。以及，将将各待安装的TOF相机安装为在水平方向前后、左右保持平行，如图3所示。
步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
具体地，通过从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，使后续拼接时，能够针对同一时刻进行拼接，提升拼接准确率。
步骤S300：依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
具体地，将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度后，便于后续计算空间坐标。
步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
具体地，通过依次计算每幅待拼接深度图像中每个背景像素点的具体空间坐标，为后续图像拼接提供拼接数据支撑，进一步地提升拼接准确率和效率。
步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
依次通过在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像，进而实现对深度图像的高效率、快速及高准确率的拼接。
在一个实施例中，步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像；具体包括：
步骤S510：创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
具体地，本步骤中，所述拼接结果存储矩阵用于存储待拼接图像的像素点，进而通过对所述拼接结果存储矩阵的裁剪，以生成已拼接深度图像。
进一步地，使用OpenCV创建拼接结果存储矩阵。
步骤S520：遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
具体地，通过判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域，用于筛选出无用的像素，提升拼接效率。
步骤S530：若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
具体地，判断为是，即为所述具体空间坐标是处于各所述TOF相机的监测重叠区域，故为了提升拼接效率，需要将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半。
步骤S540：若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
具体地，判断为否，则为所述具体空间坐标不是处于各所述TOF相机的监测重叠区域，故将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中。
步骤S550：对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
进一步地，以拼接两个所述待拼接深度图像为例，如图2所示，
先按行遍历图2中左边TOF相机采取的深度图像，再根据其每个像素点的具体空间坐标，若具体空间坐标的y值小于两个TOF间距的一半，则把该像素点及深度值填入拼接结果存储矩阵中，反之，丢弃。
然后，接着按行遍历图2中右边TOF相机采取的深度图像，根据其每个像素点的具体空间坐标，若具体空间坐标的y值大于两个TOF间距的一半，则把该背景像素点及深度值填入拼接结果存储矩阵中，反之，丢弃。
接着，对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
在一个实施例中，步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；具体包括：
步骤S410：遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
具体地，所述像素坐标和深度值用于计算所述具体空间坐标。
步骤S420：根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
在一个实施例中，步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；具体包括：
在所述TOF相机使用红外线发射的方式采集深度图像时，每间隔特定间隔时间后采用外部触发的方式从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像。
具体地，TOF相机通常使用发射红外线与接收红外线的时间差乘以光在空气中的传播速度来计算物体的深度值。为了避免两个TOF相机发射的红外线相互干扰的情况发生，因此使用外部触发时需要几十纳秒的间隔时间，即所述特定间隔时间为几十纳秒，如此，提升图像拼接准确性。
在一个实施例中，在步骤S100中，在将多个TOF相机按照预设的特定安装方式安装后的步骤，具体包括：
步骤S110：将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行；
步骤S120：将各待安装的TOF相机安装为在水平方向前后、左右保持平行。
具体地，如图2和图3所示，通过将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行，以及在水平方向前后、左右保持平行，使获取的图像更准确，无偏差，提升图像拼接准确性。
在一个实施例中，如图4所示，一种基于TOF相机的深度图像拼接装置，其特征在于，所述装置包括：
TOF相机安装模块，用于在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
深度图像抓取模块，用于基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
像素点设置模块，用于依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
空间坐标计算模块，用于基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
已拼图像生成模块，用于根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
在一个实施例中，所述已拼图像生成模块包括：
存储矩阵创建模块，用于创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
重叠判断模块，用于遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
第一结果模块，用于若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
第二结果模块，用于若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
裁剪处理模块，用于对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
在一个实施例中，所述包括：
像素遍历模块，用于遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
公式计算模块，用于根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
在一个实施例中，所述用于：在所述TOF相机使用红外线发射的方式采集深度图像时，每间隔特定间隔时间后采用外部触发的方式从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像。
在一个实施例中，所述TOF相机安装模块用于将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行；将各待安装的TOF相机安装为在水平方向前后、左右保持平行。
在一个实施例中，如图5所示，一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述基于TOF相机的深度图像拼接方法所述的步骤。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于TOF相机的深度图像拼接方法所述的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于TOF相机的深度图像拼接方法，其特征在于，所述方法包括：
步骤S100：在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
步骤S300：依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
2.根据权利要求1所述的基于TOF相机的深度图像拼接方法，其特征在于，步骤S500：根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像；具体包括：
步骤S510：创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
步骤S520：遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
步骤S530：若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
步骤S540：若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
步骤S550：对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
3.根据权利要求1所述的基于TOF相机的深度图像拼接方法，其特征在于，步骤S400：基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；具体包括：
步骤S410：遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
步骤S420：根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
4.根据权利要求1-3任一项所述的基于TOF相机的深度图像拼接方法，其特征在于，步骤S200：基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；具体包括：
在所述TOF相机使用红外线发射的方式采集深度图像时，每间隔特定间隔时间后采用外部触发的方式从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像。
5.根据权利要求1-3任一项所述的基于TOF相机的深度图像拼接方法，其特征在于，在步骤S100中，在将多个TOF相机按照预设的特定安装方式安装后的步骤，具体包括：
步骤S110：将各待安装的TOF相机安装为满足在垂直方向上与拍摄区域保持平行；
步骤S120：将各待安装的TOF相机安装为在水平方向前后、左右保持平行。
6.一种基于TOF相机的深度图像拼接装置，其特征在于，所述装置包括：
TOF相机安装模块，用于在将多个TOF相机按照预设的特定安装方式安装后，获取各所述TOF相机的实际相机安装高度以及各所述TOF相机之间的实际相机安装间距；
深度图像抓取模块，用于基于各所述TOF相机从各所述TOF相机的视频流中抓取同一时刻的待拼接深度图像，其中，在同一时刻，一个TOF相机中对应抓取一个所述待拼接深度图像；
像素点设置模块，用于依次对各所述待拼接深度图像作像素点处理后获取各所述待拼接深度图像的背景像素点，并将各所述待拼接深度图像的背景像素点均设置为所述TOF相机的实际相机安装高度；
空间坐标计算模块，用于基于各所述待拼接深度图像像素点依次计算每幅待拼接深度图像中每个像素点的具体空间坐标；
已拼图像生成模块，用于根据计算得到的每个像素点的具体空间坐标对所述待拼接深度图像进行拼接，并生成已拼接深度图像。
7.根据权利要求6所述的基于TOF相机的深度图像拼接装置，其特征在于，所述已拼图像生成模块包括：
存储矩阵创建模块，用于创建拼接结果存储矩阵，其中，所述拼接结果存储矩阵的宽度与待拼接深度图像的宽度相同，所述拼接结果存储矩阵的高度为两个待拼接深度图像的总高度；
重叠判断模块，用于遍历待拼接深度图像中每个像素点的具体空间坐标，并判断所述具体空间坐标是否处于各所述TOF相机的监测重叠区域；
第一结果模块，用于若判断为是，则将处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点丢弃一半；
第二结果模块，用于若判断为否，则将不处于各所述TOF相机的监测重叠区域的具体空间坐标对应的像素点填入所述拼接结果存储矩阵中；
裁剪处理模块，用于对所述拼接结果存储矩阵作裁剪处理，并生成所述已拼接深度图像。
8.根据权利要求6所述的基于TOF相机的深度图像拼接装置，其特征在于，所述包括：
像素遍历模块，用于遍历各所述待拼接深度图像对应的像素点，并获取各所述像素点的像素坐标和深度值；
公式计算模块，用于根据所述像素坐标和所述深度值基于以下公式计算每幅待拼接深度图像中每个像素点的具体空间坐标：
x＝value*(j-cx)/fx；
y＝value*(i-cy)/fy；
z＝value；
其中，x、y和z为像素点的具体空间坐标的坐标值，value为深度值，cx、fx、cy和fy为TOF相机的内参，i和j为像素坐标的坐标值。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110402576.0A CN114972019B (zh) | 2021-04-14 | 2021-04-14 | 基于tof相机的深度图像拼接方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110402576.0A CN114972019B (zh) | 2021-04-14 | 2021-04-14 | 基于tof相机的深度图像拼接方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972019A CN114972019A (zh) | 2022-08-30 |
| CN114972019B true CN114972019B (zh) | 2024-05-24 |
Family
ID=82974026
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110402576.0A Active CN114972019B (zh) | 2021-04-14 | 2021-04-14 | 基于tof相机的深度图像拼接方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972019B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857739A (zh) * | 2012-08-20 | 2013-01-02 | 上海光亮光电科技有限公司 | 分布式全景监控系统及其方法 |
| CN104318538A (zh) * | 2014-10-14 | 2015-01-28 | 安徽游艺道网络科技有限公司 | 一种二维序列帧图片拼接成大图片的方法及其所用的装置 |
| WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
| CN108399602A (zh) * | 2018-03-19 | 2018-08-14 | 南京市测绘勘察研究院股份有限公司 | 一种大区域多条带侧扫声呐图像的联合拼接方法 |
| CN109300085A (zh) * | 2017-07-25 | 2019-02-01 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
| CN110223233A (zh) * | 2019-06-11 | 2019-09-10 | 西北工业大学 | 一种基于图像拼接的无人机航拍建图方法 |
| CN110689512A (zh) * | 2019-09-24 | 2020-01-14 | 中国科学院武汉岩土力学研究所 | 一种孔内全景视频环状图像快速拼接融合成图方法 |
| CN110689476A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 全景图像拼接方法及其装置、可读存储介质和电子设备 |
| CN112215266A (zh) * | 2020-09-25 | 2021-01-12 | 华东师范大学 | 一种基于小样本学习的x光图像违禁物品检测方法 |
| CN112422848A (zh) * | 2020-11-17 | 2021-02-26 | 深圳市歌华智能科技有限公司 | 一种基于深度图和彩色图的视频拼接方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
-
2021
- 2021-04-14 CN CN202110402576.0A patent/CN114972019B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102857739A (zh) * | 2012-08-20 | 2013-01-02 | 上海光亮光电科技有限公司 | 分布式全景监控系统及其方法 |
| CN104318538A (zh) * | 2014-10-14 | 2015-01-28 | 安徽游艺道网络科技有限公司 | 一种二维序列帧图片拼接成大图片的方法及其所用的装置 |
| WO2018081924A1 (zh) * | 2016-11-01 | 2018-05-11 | 深圳岚锋创视网络科技有限公司 | 一种全景图像的生成方法、系统及拍摄装置 |
| CN109300085A (zh) * | 2017-07-25 | 2019-02-01 | 杭州海康汽车技术有限公司 | 一种图像拼接方法、装置、电子设备及存储介质 |
| CN108399602A (zh) * | 2018-03-19 | 2018-08-14 | 南京市测绘勘察研究院股份有限公司 | 一种大区域多条带侧扫声呐图像的联合拼接方法 |
| CN110689476A (zh) * | 2018-07-04 | 2020-01-14 | 杭州海康威视数字技术股份有限公司 | 全景图像拼接方法及其装置、可读存储介质和电子设备 |
| CN110223233A (zh) * | 2019-06-11 | 2019-09-10 | 西北工业大学 | 一种基于图像拼接的无人机航拍建图方法 |
| CN110689512A (zh) * | 2019-09-24 | 2020-01-14 | 中国科学院武汉岩土力学研究所 | 一种孔内全景视频环状图像快速拼接融合成图方法 |
| CN112215266A (zh) * | 2020-09-25 | 2021-01-12 | 华东师范大学 | 一种基于小样本学习的x光图像违禁物品检测方法 |
| CN112422848A (zh) * | 2020-11-17 | 2021-02-26 | 深圳市歌华智能科技有限公司 | 一种基于深度图和彩色图的视频拼接方法 |
Non-Patent Citations (4)
| Title |
|---|
| 3-D reconstruction of maize plants using a time-of-flight camera;Manuel Vázquez-Arellano 等;Computers and Electronics in Agriculture 145 (2018);20180103;第235–247页 * |
| A New Image Stitching Approach for Resolution Enhancement in Camera Arrays;Mehmet BAYGIN 等;2015 9th International Conference on Electrical and Electronics Engineering (ELECO);20160201;第1186-1190页 * |
| 基于相机平移模式下的图像拼接技术研究;丁晓娜;李静;雷鸣;;电子设计工程;20091105(第11期);第82-84页 * |
| 基于视觉的单件分离系统设计与实现;杨赛;中国优秀硕士学位论文全文数据库 信息科技辑;20220415;文章第2-4章 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972019A (zh) | 2022-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111160302B (zh) | 基于自动驾驶环境的障碍物信息识别方法和装置 | |
| CN109117824B (zh) | 商品的管理方法、装置、电子设备及储存介质 | |
| EP3434626A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| CN111814739B (zh) | 快递包裹体积的检测方法、装置、设备及存储介质 | |
| EP3434622A1 (en) | Instruction projecting device, package sorting system and instruction projecting method | |
| JP7067410B2 (ja) | ラベル読取システム | |
| CN111626665A (zh) | 一种基于双目视觉的智能物流系统及方法 | |
| KR102082254B1 (ko) | 차량 인식 시스템 | |
| JP5780083B2 (ja) | 検品装置、検品システム、検品方法及びプログラム | |
| CN112378333B (zh) | 仓储货物测量方法和装置 | |
| EP3434623A1 (en) | Projection indicator, cargo assortment system, and projection indicating method | |
| CN118135543B (zh) | 车位及障碍物检测方法、装置、电子设备及存储介质 | |
| CN111666935B (zh) | 物品中心定位方法、装置以及物流系统和存储介质 | |
| CN114972019B (zh) | 基于tof相机的深度图像拼接方法、装置及计算机设备 | |
| CN114648233A (zh) | 一种动态工位货物搬运方法和系统 | |
| CN112489240B (zh) | 一种商品陈列巡检方法、巡检机器人以及存储介质 | |
| CN112686930B (zh) | 包裹分拣检测方法、装置、计算机设备和存储介质 | |
| CN107407930A (zh) | 作业指示系统 | |
| EP3647236B1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| CN115880626A (zh) | 一种缺货检测和补货方法和系统 | |
| CN113888617B (zh) | 一种关联区域多相机物体匹配方法与系统 | |
| US11763439B2 (en) | Systems and methods for assessing trailer utilization | |
| EP3434625A1 (en) | Projection instruction device, parcel sorting system, and projection instruction method | |
| CN115062737A (zh) | 基于2d相机获取货物位姿方法、装置、设备及存储介质 | |
| CN114998413A (zh) | 无序抓取系统中的包裹高度测量方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |