CN113689351B - 基于深度相机的危化品仓储监控方法、装置及设备 - Google Patents
基于深度相机的危化品仓储监控方法、装置及设备 Download PDFInfo
- Publication number
- CN113689351B CN113689351B CN202110974453.4A CN202110974453A CN113689351B CN 113689351 B CN113689351 B CN 113689351B CN 202110974453 A CN202110974453 A CN 202110974453A CN 113689351 B CN113689351 B CN 113689351B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- cloud data
- coordinate system
- point
- translation matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 239000000126 substance Substances 0.000 title claims abstract description 61
- 238000003860 storage Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 32
- 238000013519 translation Methods 0.000 claims abstract description 83
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000005457 optimization Methods 0.000 claims abstract description 25
- 238000012806 monitoring device Methods 0.000 claims abstract description 12
- 230000008030 elimination Effects 0.000 claims abstract description 10
- 238000003379 elimination reaction Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 95
- 230000006870 function Effects 0.000 claims description 36
- 238000007781 pre-processing Methods 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000005070 sampling Methods 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 abstract description 8
- 230000014616 translation Effects 0.000 description 58
- 238000010586 diagram Methods 0.000 description 42
- 230000000694 effects Effects 0.000 description 24
- 238000004422 calculation algorithm Methods 0.000 description 7
- 239000000383 hazardous chemical Substances 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 229920001940 conductive polymer Polymers 0.000 description 3
- 238000009616 inductively coupled plasma Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于深度相机的危化品仓储监控方法、装置及设备，属于三维建模技术领域，该方法通过获取不同视角下的点云数据，并对点云数据进行噪音消除预处理，以获得较为精准的点云数据，并对多视角的点云数据进行拼接，解决了现在技术中的遮挡问题；通过采用梯度下降优化的坐标系转换规则，将拼接后的点云数据进行坐标系的转换平移，得到真实坐标系的点云数据，实现了危化品仓库在真实世界坐标系下无死角的监测和显示。
Description
技术领域
本发明属于三维建模技术领域，具体涉及一种基于深度相机的危化品仓储监控方法、装置及设备。
背景技术
安全生产是化工行业中最重要的行业准则，危化品安全事故，会给人民和国家带来损害。对危化品仓储进行监控，是防止各种安全事故中的重要一环。
相关技术中，在对危化品仓储进行监管时，通常通过架设在仓库内的摄像头来采集危化品仓库内的图像，进行监控。但是，危化品仓库的面积通常较大，堆垛容易遮挡，从而使得摄像头采集到的图像不能反映整体危化品的情况，工作人员难以及时准确地对潜在地安全问题进行预警。
因此，如何解决危化品堆垛遮挡问题，成为现有技术中亟待解决的技术问题。
发明内容
本发明提供了一种基于深度相机的危化品仓储监控方法、装置及设备，以解决现有技术中危化品堆垛遮挡的技术问题。
本发明提供的技术方案如下：
一方面，一种基于深度相机的危化品仓储监控方法，包括：
获取至少两份点云数据，每份所述点云数据的视角不同；所述点云数据为深度相机坐标系下的点云数据，所述点云数据由深度相机采集得到；
对所述点云数据进行噪音消除预处理，得到与每份所述点云数据相对应的处理后的点云数据；
基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据；
基于梯度下降优化的坐标系转换规则，将所述拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据；
显示所述真实世界坐标系下的点云数据，以使监控人员根据显示的所述真实世界坐标系下的点云数据对危化品进行监控。
可选的，所述对所述点云数据进行噪音消除预处理，包括：
根据半径滤波技术对所述点云数据进行半径滤波，得到滤波后的点云数据；
根据均匀采样技术对所述滤波后的点云数据均匀采样，得到所述处理后的点云数据。
可选的，所述基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据，包括：
确定任一份处理后的点云数据作为模板点云数据，确定剩余份的点云数据作为目标点云数据；
根据欧式距离原理，在所述模板点云数据中确定与所述目标点云数据中任一点云的欧式距离值最小的点云，得到所述模板点云数据和所述目标点云数据之间的第一旋转矩阵和平移向量；
根据所述第一旋转矩阵和平移向量，旋转和平移所述目标点云数据，得到所述拼接后的点云数据。
可选的，所述基于梯度下降优化的坐标系转换规则，将所述拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据，包括：
确定相机坐标系下所述拼接后的点云数据中任一点和所述真实世界坐标系下对应点的关系为：；其中，Ps为目标点在真实世界坐标系中的坐标；Hs为第二旋转矩阵；T为平移矩阵；
根据所述第二旋转矩阵和所述平移矩阵确定旋转平移矩阵；
根据最小二乘法和梯度下降优化的坐标系转换规则，计算所述旋转平移矩阵；
根据计算得到的所述旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到所述真实世界坐标系下的点云数据。
可选的，所述根据最小二乘法和梯度下降优化的坐标系转换规则，计算所述旋转平移矩阵，包括：
根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵；
确定正交误差函数和代价函数；
根据所述正交误差函数和代价函数，使用梯度优化对所述初始旋转平移矩阵进行优化，得到优化后的初始旋转平移矩阵，将所述优化后的初始旋转平移矩阵作为所述旋转平移矩阵。
可选的，所述正交误差函数为：
。
可选的，所述代价函数为：
。
又一方面，一种基于深度相机的危化品仓储监控装置，包括：获取模块、预处理模块、拼接模块、转换模块和显示模块；
所述获取模块，用于获取至少两份点云数据，每份所述点云数据的视角不同；所述点云数据为深度相机坐标系下的点云数据，所述点云数据由深度相机采集得到；
所述预处理模块，用于对所述点云数据进行噪音消除预处理，得到与每份所述点云数据相对应的处理后的点云数据；
所述拼接模块，用于基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据；
所述转换模块，用于基于梯度下降优化的坐标系转换规则，将所述拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据；
所述显示模块，用于显示所述真实世界坐标系下的点云数据，以使监控人员根据显示的所述真实世界坐标系下的点云数据对危化品进行监控。
又一方面，一种基于深度相机的危化品仓储监控设备，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行上述任一项所述的基于深度相机的危化品仓储监控方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
本发明的有益效果为：
本发明实施例提供的基于深度相机的危化品仓储监控方法、装置及设备，通过获取不同视角下的点云数据，并对点云数据进行噪音消除预处理，以获得较为精准的点云数据，并对多视角的点云 数据进行拼接，解决了现在技术中的遮挡问题；通过采用梯度下降优化的坐标系转换规则，将拼接后的点云数据进行坐标系的转换平移，得到真实坐标系的点云数据，实现了危化品仓库在真实世界坐标系下无死角的监测和显示。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于深度相机的危化品仓储监控方法的流程示意图；
图2为本发明实施例提供的一种基于结构光的RGB-D相机原理示意图；
图3为本发明实施例提供的一种均匀采样技术的算法原理示意图；
图4为本发明实验实施例提供的危化品模拟仓库示意图；
图5为本发明实验实施例提供的左右视角单独重建效果图，其中，（a）为左视角重建效果图；（b）为右视角重建效果图；
图6为本发明实验实施例提供的左右视角点云预处理效果示意图，其中（a）为左视角点云预处理效果示意图，（b）为右视角点云预处理效果示意图；
图7为本发明实验实施例提供的拼接效果的俯视图和侧视图，其中（a）为拼接效果的俯视图，（b）为拼接效果的侧视图；
图8为本发明实验实施例提供的坐标系转换对应点选取示意图；
图9为本发明实验实施例提供的经优化后坐标系转换效果示意图，其中，（a）为相机坐标系示意图，（b）为仓库中国的世界坐标系示意图；
图10为本发明实验实施例提供的沿X轴方向误差示意图；
图11为本发明实验实施例提供的沿Y轴方向误差示意图；
图12为本发明实验实施例提供的沿Z轴方向误差示意图；
图13为本发明实验实施例提供的总体误差示意图；
图14为本发明实验实施例提供的三种灯光下的总体误差示意图；
图15为本发明实施例提供的一种基于深度相机的危化品仓储监控装置的结构示意图；
图16为本发明实施例提供的一种基于深度相机的危化品仓储监控设备结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性相关技术中，在对危化品仓储进行监管时，通常通过架设在仓库内的摄像头来采集危化品仓库内的图像，进行监控。但是，危化品仓库的面积通常较大，堆垛容易遮挡，从而使得摄像头采集到的图像不能反映整体危化品的情况，工作人员难以及时准确地对潜在地安全问题进行预警。
基于此，本发明实施例提供一种基于深度相机的危化品仓储监控方法。
图1为本发明实施例提供的一种基于深度相机的危化品仓储监控方法的流程示意图。
参阅图1，本发明实施例提供的方法，可以包括以下步骤：
S11、获取至少两份点云数据，每份点云数据的视角不同；点云数据为深度相机坐标系下的点云数据，点云数据由深度相机采集得到。
例如，可以采用至少2个深度相机，在仓库跺堆不同角度采集点云数据。其中，深度相机可以为RGB-D相机。本申请中，以2个深度相机为例，对技术方案进行说明。为了对不同视角的点云数据进行区分，可以设置点云数据为左右视角的点云数据。
其中，常见的RGB-D相机有三种，本申请中选用基于结构光的Astra plus相机作为深度相机，该相机有效距离为0.6m-8m。图2为本发明实施例提供的一种基于结构光的RGB-D相机原理示意图，参阅图2，Astra plus相机并不依赖目标物体的颜色与纹理，而是通过IR摄像头向目标物体主动投射具有一定结构特征的光线，该光线会由于所遇障碍物深度的不通而获取不同的信息，使用红外相机收集后，通过内置的运算单元可以转化为深度信息。
S12、对点云数据进行噪音消除预处理，得到与每份点云数据相对应的处理后的点云数据。
在获取到不同视角的点云数据后，点云数据过于庞大将制约对其后续的处理和计算效率。本实施例中，可以对点云数据进行噪音消除的预处理，并在精简点云规模的同时保留其几何结构特性。
在一些可选的实施例汇总，对点云数据进行噪音消除预处理，包括：根据半径滤波技术对点云数据进行半径滤波，得到滤波后的点云数据；根据均匀采样技术对滤波后的点云数据均匀采样，得到处理后的点云数据。
其中，半径滤波技术是一种经典的去除离群点的方法，其主要思想如下：设以某点为圆心，r为半径的范围内邻近点的数量为n，阈值为N，若该点的邻近点数量n小于阈值N，即n<N，则视该点为孤立点清除。
图3为本发明实施例提供的一种均匀采样技术的算法原理示意图，参阅图3，用均匀单元格的方式构建点云的拓扑关系，主要思想是将点云分隔成数个等长的立方体，最终选取距离立方体所有点的质心最近的点作为输出，在精简点云规模的同时又可以保留点云数据原有的结构。
本申请中，通过半径滤波和均匀采样，得到处理后的点云数据。
S13、基于迭代最近点技术，将处理后的点云数据进行拼接，得到拼接后的点云数据。
在一些可选的实施例中，包括确定任一份处理后的点云数据作为模板点云数据，确定剩余份的点云数据作为目标点云数据；
根据欧式距离原理，在模板点云数据中确定与目标点云数据中任一点云的欧式距离值最小的点云，得到模板点云数据和目标点云数据之间的第一旋转矩阵和平移向量；
根据第一旋转矩阵和平移向量，旋转和平移目标点云数据，得到拼接后的点云数据。
其中，迭代最近点技术（Iterative Closest Point，ICP）核心思想是通过不断迭代最小化误差函数。在每一次迭代的过程中，对目标点云P中的一点pi，按照一定的对应关系，在模板点云Q中寻找欧氏距离最近的点qi作为其对应点，并计算出最优匹配参数R和t，使得如式（1）所示的误差函数F（R，t）取得最小值。最终求解出一组最优的刚体变换参数，使得目标点云经过变换后可以和模板点云对应。
式（1）
式（1）之中，n是邻近点对的对数，R和t分别为两组点云之间的第一旋转矩阵和平移向量。
其中，模板点云为选取的任一份处理后的点云数据作为模板点云数据，确定剩余份的点云数据作为目标点云数据。一定的对应关系即为欧式距离关系。
S14、基于梯度下降优化的坐标系转换规则，将拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据。
在一些实施例中，可选的，包括：
确定相机坐标系下拼接后的点云数据中任一点和真实世界坐标系下对应点的关系为：；其中，Ps为目标点在真实世界坐标系中的坐标；Hs为第二旋转矩阵；T为平移矩阵；
根据第二旋转矩阵和平移矩阵确定旋转平移矩阵；
根据最小二乘法和梯度下降优化的坐标系转换规则，计算旋转平移矩阵；
根据计算得到的旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到真实世界坐标系下的点云数据。
在本申请中，相机坐标系是以相机的光心为原点，光轴为Z轴而建立的三维直角坐标系。本申请中，为了获取堆垛在危化品仓库中真实的位置，在仓库中设立真实世界坐标系。设Pg为一点在相机坐标系下的坐标， Ps为该点在世界坐标系中的坐标，Hs为第二旋转矩阵，T为平移矩阵。则相机坐标系下一点和世界坐标系下对应点的关系如式（2）所示，本申请中记Hs g为旋转平移矩阵，Hs g即为最终所求，其结构如式（3）所示：
式（2）
式（3）。
在构建完平移矩阵公式后，根据最小二乘法和梯度下降优化的坐标系转换规则，计算旋转平移矩阵，从而根据计算得到的旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到真实世界坐标系下的点云数据。
在一些实施例中，可选的，根据最小二乘法和梯度下降优化的坐标系转换规则，计算旋转平移矩阵，包括：
根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵；
确定正交误差函数和代价函数；
根据正交误差函数和代价函数，使用梯度优化对初始旋转平移矩阵进行优化，得到优化后的初始旋转平移矩阵，将优化后的初始旋转平移矩阵作为旋转平移矩阵。
例如，根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵：在仓库中的世界坐标系中下较为均匀地选取n个点记为PS，通过多次精确地测量获取这些点在世界坐标系下的三维坐标，第i个点的坐标记为，在相机坐标系下的点云中寻找这些点所对应的点，记录其坐标为PG，第i个点的坐标记为/>，PS和PG以如式（4）式（5）所示的矩阵形式记录：
式（4）
式（5）
根据最小二乘原理，可用式（6）计算两坐标之间的旋转平移矩阵：
式（6），
即，公式（6）则为初始旋转平移矩阵。
在获取到初始旋转平移矩阵后，由于最小二乘法仅需进行矩阵乘法计算，其计算过程是使得距离最小，所以虽然其满足的单位正交的要求，但空间上的误差较大。基于此，本申请中，为了减小误差，提升精度，使用梯度下降法对旋转平移矩阵进行优化，具体优化过程为：
其中，Tx，Ty，Tz，表示在X,Y,Z轴方向的平移。
可以构建正交误差函数为：
公式（7）
其中，h表示正交误差，r为旋转平移矩阵中的数值。
可以构建代价函数为：
公式（8）
其中，J为误差函数，为第i个点的世界坐标，/>为第i个点的相机坐标，M为惩罚系数，可自由定义，例如，本申请可以经过多次试验M取值为20，
使用记录的PS和PG两个矩阵，对代价函数进行梯度下降优化，得到更优的Hs g，以采集到的特殊点对Hs g优化，得到最终的相机坐标系到世界坐标系的旋转平移矩阵。其中，梯度下降优化的具体过程为现有技术，此处不做具体阐述。其中，特殊点为PG和PS矩阵中的点，使用记录的PS和PG两个矩阵，对代价函数进行梯度下降优化，就可以得到更优的，即为相机坐标系到世界坐标系的旋转平移矩阵。
在确定到最优的旋转平移矩阵后，根据最优的旋转平移矩阵将拼接后的点云数据转换为真实世界坐标系下的点云数据。
S15、显示真实世界坐标系下的点云数据，以使监控人员根据显示的真实世界坐标系下的点云数据对危化品进行监控。
在获取到真实世界坐标系下的点云数据后，可以根据真实世界坐标系下的点云数据对危化品仓库内堆垛进行监控，在发现堆垛异常时，进行报警。
本发明实施例提供的基于深度相机的危化品仓储监控方法，通过获取不同视角下的点云数据，并对点云数据进行噪音消除预处理，以获得较为精准的点云数据，并对多视角的点云 数据进行拼接，解决了现在技术中的遮挡问题；通过采用梯度下降优化的坐标系转换规则，将拼接后的点云数据进行坐标系的转换平移，得到真实坐标系的点云数据，实现了危化品仓库在真实世界坐标系下无死角的监测和显示。
为了对本发明实施例提供的方法进行验证，本实施提供对比实验。
图4为本发明实验实施例提供的危化品模拟仓库示意图，参阅图4，危化品模拟仓库可以设置为长3.5m、宽1.7m、高1.7m，危化品模拟仓库可以为基于某地真实危化品仓库等比例缩放所建。
在本实验中，可以采用两个基于结构光的Astra plus相机采集点云数据，分别将两个相机放置于仓库内的左上角和右上角。
对点云数据进行处理单视角重建和点云预处理：
图5为本发明实验实施例提供的左右视角单独重建效果图，其中，（a）为左视角重建效果图；（b）为右视角重建效果图。
Astra plus相机无需标定，可以由深度信息和RGB图像自动生成点云。左右视角单独三维重建效果图如图5所示，可以看出单个视角拍摄的仓库信息并不全面，为此需要将各视角的点云拼接起来，使其信息相互补充，消除仓库监测的盲点。
图6为本发明实验实施例提供的左右视角点云预处理效果示意图，其中（a）为左视角点云预处理效果示意图，（b）为右视角点云预处理效果示意图。
本实验实施例中，采用半径滤波算法对点云去噪，之后使用均匀采样对仓库的无序点云进行精简，其效果图如图6所示，预处理结果如表1所示：
表1：点云预处理结果示意表
| 不同情况的点云 | 左视角点云数据量/个 | 右视角点云数据量/个 |
| 原始点云 | 307200 | 307200 |
| 半径滤波后 | 271599 | 268927 |
| 均匀采样后 | 7230 | 9097 |
对左右视角ICP进行拼接：由图4左右视角单独重建可以看出，左视角的墙壁只有一部分在视野中，并且一些箱子的背面处于视野盲区，右视角包含了更大面积的墙壁，但箱子部分有所缺失。
图7为本发明实验实施例提供的拼接效果的俯视图和侧视图，其中（a）为拼接效果的俯视图，（b）为拼接效果的侧视图，如图7所示，为拼接后的示意图。
设左视角点云的相机坐标系为第一坐标系，右视角点云的相机坐标系为第二坐标系，第一坐标系中任一点的坐标为，第二坐标系中任一点经过ICP转换后的坐标为/>，其中/>。如式（9）所示为转后各对应点的平均的误差距离公式。
式（9）
均匀选取20组对应点，即m=20，代入式（9）后可求的平均误差为d=9.35mm。
坐标系转换结果：
图8为本发明实验实施例提供的坐标系转换对应点选取示意图，参阅图8，在仓库内固定好相机后，选定仓库地面拐角位置为世界坐标系的原点建立世界坐标系， 其中X轴、Y轴分别沿仓库的长宽方向，Z轴沿仓库的高度方向。
图9为本发明实验实施例提供的经优化后坐标系转换效果示意图，其中，（a）为相机坐标系示意图，（b）为仓库中国的世界坐标系示意图。
通过在仓库内放置多个棋盘格板，选取棋盘格的角点为世界坐标系下的点和相机坐标系下对应的点，选取30对点来计算旋转平移矩阵。经优化后坐标系转换效果如图9所示。
实验中所用货箱为边长20cm的正方体，图9中货箱角上一点在仓库世界坐标系下的实测坐标(单位m)为（1.80，0.65，0.20）,左图为经ICP拼接后在相机坐标系下的显示效果，右图为使用优化后的矩阵转移到仓库中的世界坐标系。在图中均匀选取15个点，其优化前和优化后在X轴、Y轴、Z轴方向随距离变化而变化的误差对比如图10、11、12所示：
图10为本发明实验实施例提供的沿X轴方向误差示意图；图11为本发明实验实施例提供的沿Y轴方向误差示意图；图12为本发明实验实施例提供的沿Z轴方向误差示意图；图13为本发明实验实施例提供的总体误差示意图。
阅图13，设世界坐标系某点真实实测坐标为，在转换后的世界坐标系下点云图中所对应点坐标为/>,则经转换后的总体误差即真实点与点云中对应点的欧式距离可由式（10）获得：
式（10）
由误差图可知，经梯度下降法优化后的整体从2%下降至0.67%，在3m距离内平均误差为2cm。
图14为本发明实验实施例提供的三种灯光下的总体误差示意图。
为验证本算法的鲁棒性，本文增加了光线强度干扰 ，根据式（10）可以算出其在光照强度分别为19lux、107lux、347lux下三维重建的整体误差如图14所示，由图14可知，本文提出的算法在日光和弱光下3.5m范围内的重建误差为0.67%，在照度为347lux的干扰下最大误差为1.1% ，具有较好的鲁棒性。
因此，本文提出了一种基于深度相机的危化品仓储监控方法，通过将多个视角的点云信息拼接起来，解决了危化品库内物品易遮挡、摄像头视角受限等问题；对基于最小二乘法的坐标系转移方法进行了进一步优化，从而将拼接后的点云转移到了仓库内的真实世界坐标系下显示，并对改算法进行了灯光干扰实验，验证了其鲁棒性，最终三维重建误差在3.5m测试范围内为0.67%，有效提升了准确度。
基于一个总的发明构思，本发明实施例还提供一种基于深度相机的危化品仓储监控装置。
图15为本发明实施例提供的一种基于深度相机的危化品仓储监控装置的结构示意图，参阅图15，本发明实施例提供的装置，可以包括以下结构：获取模块41、预处理模块42、拼接模块43、转换模块44和显示模块45；
获取模块41，用于获取至少两份点云数据，每份点云数据的视角不同；点云数据为深度相机坐标系下的点云数据，点云数据由深度相机采集得到；
预处理模块42，用于对点云数据进行噪音消除预处理，得到与每份点云数据相对应的处理后的点云数据；
拼接模块43，用于基于迭代最近点技术，将处理后的点云数据进行拼接，得到拼接后的点云数据；
转换模块44，用于基于梯度下降优化的坐标系转换规则，将拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据；
显示模块45，用于显示真实世界坐标系下的点云数据，以使监控人员根据显示的真实世界坐标系下的点云数据对危化品进行监控。
进一步的，预处理模块42，用于根据半径滤波技术对点云数据进行半径滤波，得到滤波后的点云数据；
根据均匀采样技术对滤波后的点云数据均匀采样，得到处理后的点云数据。
进一步的，拼接模块43，用于确定任一份处理后的点云数据作为模板点云数据，确定剩余份的点云数据作为目标点云数据；
根据欧式距离原理，在模板点云数据中确定与目标点云数据中任一点云的欧式距离值最小的点云，得到模板点云数据和目标点云数据之间的第一旋转矩阵和平移向量；
根据第一旋转矩阵和平移向量，旋转和平移目标点云数据，得到拼接后的点云数据。
进一步的，转换模块44，用于确定相机坐标系下拼接后的点云数据中任一点和真实世界坐标系下对应点的关系为：；其中，Ps为目标点在真实世界坐标系中的坐标；Hs为第二旋转矩阵；T为平移矩阵；
根据第二旋转矩阵和平移矩阵确定旋转平移矩阵；
根据最小二乘法和梯度下降优化的坐标系转换规则，计算旋转平移矩阵；
根据计算得到的旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到真实世界坐标系下的点云数据。
进一步的，转换模块44，用于根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵；
确定正交误差函数和代价函数；
根据正交误差函数和代价函数，使用梯度优化对初始旋转平移矩阵进行优化，得到优化后的初始旋转平移矩阵，将优化后的初始旋转平移矩阵作为旋转平移矩阵。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本发明实施例提供的基于深度相机的危化品仓储监控装置，通过获取不同视角下的点云数据，并对点云数据进行噪音消除预处理，以获得较为精准的点云数据，并对多视角的点云 数据进行拼接，解决了现在技术中的遮挡问题；通过采用梯度下降优化的坐标系转换规则，将拼接后的点云数据进行坐标系的转换平移，得到真实坐标系的点云数据，实现了危化品仓库在真实世界坐标系下无死角的监测和显示。
基于一个总的发明构思，本发明实施例还提供一种基于深度相机的危化品仓储监控设备。
图16为本发明实施例提供的一种基于深度相机的危化品仓储监控设备结构示意图，请参阅图16，本发明实施例提供的一种基于深度相机的危化品仓储监控设备，包括：处理器161，以及与处理器相连接的存储器162。
存储器162用于存储计算机程序，计算机程序至少用于上述任一实施例记载的基于深度相机的危化品仓储监控方法；
处理器161用于调用并执行存储器中的计算机程序。
基于一个总的发明构思，本发明实施例还提供一种存储介质。
一种存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，实现上述基于深度相机的危化品仓储监控方法中各个步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。
需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (5)
1.一种基于深度相机的危化品仓储监控方法，其特征在于，包括：
获取至少两份点云数据，每份所述点云数据的视角不同；所述点云数据为深度相机坐标系下的点云数据，所述点云数据由深度相机采集得到；
对所述点云数据进行噪音消除预处理，得到与每份所述点云数据相对应的处理后的点云数据；
基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据；
基于梯度下降优化的坐标系转换规则，将所述拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据，包括：
确定相机坐标系下所述拼接后的点云数据中任一点和所述真实世界坐标系下对应点的关系为：；其中，Ps为目标点在真实世界坐标系中的坐标；Hs为第二旋转矩阵；T为平移矩阵；Pg为一点在相机坐标系下的坐标；
根据所述第二旋转矩阵和所述平移矩阵确定旋转平移矩阵；
根据最小二乘法和梯度下降优化的坐标系转换规则，计算所述旋转平移矩阵，包括：根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵；确定正交误差函数和代价函数；根据所述正交误差函数和代价函数，使用梯度优化对所述初始旋转平移矩阵进行优化，得到优化后的初始旋转平移矩阵，将所述优化后的初始旋转平移矩阵作为所述旋转平移矩阵；
根据计算得到的所述旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到所述真实世界坐标系下的点云数据；
显示所述真实世界坐标系下的点云数据，以使监控人员根据显示的所述真实世界坐标系下的点云数据对危化品进行监控；
其中，所述正交误差函数为：
其中，h表示正交误差，r为旋转平移矩阵中的数值；
所述代价函数为：
其中，Pgi为第i个点的世界坐标，Psi为第i个点的相机坐标，M为惩罚系数。
2.根据权利要求1所述的方法，其特征在于，所述对所述点云数据进行噪音消除预处理，包括：
根据半径滤波技术对所述点云数据进行半径滤波，得到滤波后的点云数据；
根据均匀采样技术对所述滤波后的点云数据均匀采样，得到所述处理后的点云数据。
3.根据权利要求1所述的方法，其特征在于，所述基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据，包括：
确定任一份处理后的点云数据作为模板点云数据，确定剩余份的点云数据作为目标点云数据；
根据欧式距离原理，在所述模板点云数据中确定与所述目标点云数据中任一点云的欧式距离值最小的点云，得到所述模板点云数据和所述目标点云数据之间的第一旋转矩阵和平移向量；
根据所述第一旋转矩阵和平移向量，旋转和平移所述目标点云数据，得到所述拼接后的点云数据。
4.一种基于深度相机的危化品仓储监控装置，其特征在于，包括：获取模块、预处理模块、拼接模块、转换模块和显示模块；
所述获取模块，用于获取至少两份点云数据，每份所述点云数据的视角不同；所述点云数据为深度相机坐标系下的点云数据，所述点云数据由深度相机采集得到；
所述预处理模块，用于对所述点云数据进行噪音消除预处理，得到与每份所述点云数据相对应的处理后的点云数据；
所述拼接模块，用于基于迭代最近点技术，将所述处理后的点云数据进行拼接，得到拼接后的点云数据；
所述转换模块，用于基于梯度下降优化的坐标系转换规则，将所述拼接后的点云数据转换为真实世界坐标系下的点云数据，得到真实世界坐标系下的点云数据；具体用于确定相机坐标系下所述拼接后的点云数据中任一点和所述真实世界坐标系下对应点的关系为：；其中，Ps为目标点在真实世界坐标系中的坐标；Hs为第二旋转矩阵；T为平移矩阵；Pg为一点在相机坐标系下的坐标；
根据所述第二旋转矩阵和所述平移矩阵确定旋转平移矩阵；
根据最小二乘法和梯度下降优化的坐标系转换规则，计算所述旋转平移矩阵，包括：根据最小二乘法获取相机坐标系和真实坐标系之间的初始旋转平移矩阵；确定正交误差函数和代价函数；根据所述正交误差函数和代价函数，使用梯度优化对所述初始旋转平移矩阵进行优化，得到优化后的初始旋转平移矩阵，将所述优化后的初始旋转平移矩阵作为所述旋转平移矩阵；
根据计算得到的所述旋转平移矩阵，确定所有目标点在真实世界坐标系中的坐标，得到所述真实世界坐标系下的点云数据；
所述显示模块，用于显示所述真实世界坐标系下的点云数据，以使监控人员根据显示的所述真实世界坐标系下的点云数据对危化品进行监控；
其中，所述正交误差函数为：
其中，h表示正交误差，r为旋转平移矩阵中的数值；
所述代价函数为：
其中，Pgi为第i个点的世界坐标，Psi为第i个点的相机坐标，M为惩罚系数。
5.一种基于深度相机的危化品仓储监控设备，其特征在于，包括：处理器，以及与所述处理器相连接的存储器；
所述存储器用于存储计算机程序，所述计算机程序至少用于执行权利要求1~3任一项所述的基于深度相机的危化品仓储监控方法；
所述处理器用于调用并执行所述存储器中的所述计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974453.4A CN113689351B (zh) | 2021-08-24 | 2021-08-24 | 基于深度相机的危化品仓储监控方法、装置及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110974453.4A CN113689351B (zh) | 2021-08-24 | 2021-08-24 | 基于深度相机的危化品仓储监控方法、装置及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113689351A CN113689351A (zh) | 2021-11-23 |
| CN113689351B true CN113689351B (zh) | 2023-10-10 |
Family
ID=78581808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110974453.4A Active CN113689351B (zh) | 2021-08-24 | 2021-08-24 | 基于深度相机的危化品仓储监控方法、装置及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113689351B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427248A (zh) * | 2014-09-11 | 2016-03-23 | 富泰华工业（深圳）有限公司 | 点云拼接处理系统及方法 |
| CN107367738A (zh) * | 2017-04-27 | 2017-11-21 | 北京石油化工学院 | 危化品仓储障碍物监测方法、装置与系统 |
| CN109523581A (zh) * | 2017-09-19 | 2019-03-26 | 华为技术有限公司 | 一种三维点云对齐的方法和装置 |
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN110966932A (zh) * | 2019-11-22 | 2020-04-07 | 杭州思看科技有限公司 | 一种基于已知标记点的结构光三维扫描方法 |
| RU2736506C1 (ru) * | 2019-12-30 | 2020-11-17 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Способ автоматического локального повышения точности данных воздушного лазерного сканирования с использованием данных наземного лазерного сканирования |
| CN112241977A (zh) * | 2019-07-16 | 2021-01-19 | 北京京东乾石科技有限公司 | 一种特征点的深度估计方法和装置 |
| CN112347882A (zh) * | 2020-10-27 | 2021-02-09 | 中德（珠海）人工智能研究院有限公司 | 一种智能分拣控制方法和智能分拣控制系统 |
| CN112581451A (zh) * | 2020-12-21 | 2021-03-30 | 北京科技大学 | 一种基于激光雷达的仓库线卷位置检测系统及方法 |
| CN112700480A (zh) * | 2020-12-29 | 2021-04-23 | 河北工业大学 | 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用 |
| CN113223091A (zh) * | 2021-04-29 | 2021-08-06 | 达闼机器人有限公司 | 三维目标检测方法、抓取方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111060948B (zh) * | 2019-12-14 | 2021-10-29 | 深圳市优必选科技股份有限公司 | 一种定位方法、装置、头盔及计算机可读存储介质 |
-
2021
- 2021-08-24 CN CN202110974453.4A patent/CN113689351B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105427248A (zh) * | 2014-09-11 | 2016-03-23 | 富泰华工业（深圳）有限公司 | 点云拼接处理系统及方法 |
| CN107367738A (zh) * | 2017-04-27 | 2017-11-21 | 北京石油化工学院 | 危化品仓储障碍物监测方法、装置与系统 |
| CN109523581A (zh) * | 2017-09-19 | 2019-03-26 | 华为技术有限公司 | 一种三维点云对齐的方法和装置 |
| CN109816703A (zh) * | 2017-11-21 | 2019-05-28 | 西安交通大学 | 一种基于相机标定和icp算法的点云配准方法 |
| CN112241977A (zh) * | 2019-07-16 | 2021-01-19 | 北京京东乾石科技有限公司 | 一种特征点的深度估计方法和装置 |
| CN110966932A (zh) * | 2019-11-22 | 2020-04-07 | 杭州思看科技有限公司 | 一种基于已知标记点的结构光三维扫描方法 |
| RU2736506C1 (ru) * | 2019-12-30 | 2020-11-17 | федеральное государственное автономное образовательное учреждение высшего образования "Санкт-Петербургский политехнический университет Петра Великого" (ФГАОУ ВО "СПбПУ") | Способ автоматического локального повышения точности данных воздушного лазерного сканирования с использованием данных наземного лазерного сканирования |
| CN112347882A (zh) * | 2020-10-27 | 2021-02-09 | 中德（珠海）人工智能研究院有限公司 | 一种智能分拣控制方法和智能分拣控制系统 |
| CN112581451A (zh) * | 2020-12-21 | 2021-03-30 | 北京科技大学 | 一种基于激光雷达的仓库线卷位置检测系统及方法 |
| CN112700480A (zh) * | 2020-12-29 | 2021-04-23 | 河北工业大学 | 一种面向小尺寸物体旋转扫描的点云快速配准方法及应用 |
| CN113223091A (zh) * | 2021-04-29 | 2021-08-06 | 达闼机器人有限公司 | 三维目标检测方法、抓取方法、装置及电子设备 |
Non-Patent Citations (4)
| Title |
|---|
| Automatic reconstruction method for large scene based on multi-site point cloud stitching;Haonan Xu等;Measurement;第131卷;第590-596页 * |
| 一种闭合条件约束的全局最优多视点云配准方法;闫利等;测绘学报;第45卷(第4期);第44-50页 * |
| 基于图像的危化品堆垛三维几何动态建模;戴波等;控制工程;第27卷(第1期);第70-76页 * |
| 复杂点云三维配准算法研究;杜霞;中国优秀硕士学位论文全文数据库 信息科技辑(第1期);第I138-2688页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113689351A (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI491848B (zh) | 點雲提取系統及方法 | |
| CN107144236A (zh) | 一种机器人自动扫描仪及扫描方法 | |
| CN101329764B (zh) | 采用两个任意共面圆进行摄像机标定的方法 | |
| CN102901444B (zh) | 一种基于mp小波滤波的零件尺寸检测方法及其检测系统 | |
| Zhang et al. | Exploitation of photogrammetry measurement system | |
| CN107067431A (zh) | 一种基于Kinect的物体体积计算方法 | |
| CN112581421A (zh) | 三维点云处理方法、建筑物检测方法、装置、设备及介质 | |
| CN104567758B (zh) | 立体成像系统及其方法 | |
| CN103308000B (zh) | 基于双目视觉的曲线物体测量方法 | |
| CN102184563A (zh) | 植物器官形态的三维扫描方法及扫描系统和装置 | |
| CA3233222A1 (en) | Method, apparatus and device for photogrammetry, and storage medium | |
| CN115375842A (zh) | 一种植株三维重建方法、终端及存储介质 | |
| CN102607455A (zh) | 基于光学显微镜和变化光照的微观形貌三维测量方法 | |
| Shi et al. | Circular grid pattern based surface strain measurement system for sheet metal forming | |
| Akhloufi et al. | Multimodal registration and fusion for 3D thermal imaging | |
| CN113689351B (zh) | 基于深度相机的危化品仓储监控方法、装置及设备 | |
| CN115239801B (zh) | 一种对象定位方法及装置 | |
| CN111915666A (zh) | 基于移动终端的体积测量方法及装置 | |
| González-Jorge et al. | Metrological comparison of terrestrial laser scanning systems Riegl LMS Z390i and Trimble GX | |
| Calantropio et al. | Evaluation of photogrammetric block orientation using quality descriptors from statistically filtered tie points | |
| CN203038276U (zh) | 基于空间编码投影的逆向工程加工系统 | |
| CN115830092A (zh) | 一种基于旋转视角智能规划的植株叶片三维重建方法 | |
| WO2022014085A1 (ja) | 楕円検出方法、カメラ校正方法、楕円検出装置、及びプログラム | |
| CN115063489A (zh) | 一种外参标定方法、装置、设备和存储介质 | |
| Wang et al. | Kinect-based 3D reconstruction of leaf lettuce |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |