CN113506373A - 实时的行李三维建模方法、电子设备和存储介质 - Google Patents

实时的行李三维建模方法、电子设备和存储介质 Download PDF

Info

Publication number
CN113506373A
CN113506373A CN202110752065.1A CN202110752065A CN113506373A CN 113506373 A CN113506373 A CN 113506373A CN 202110752065 A CN202110752065 A CN 202110752065A CN 113506373 A CN113506373 A CN 113506373A
Authority
CN
China
Prior art keywords
point cloud
cloud data
dimensional
luggage
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110752065.1A
Other languages
English (en)
Inventor
刘晓涛
区士超
张凤娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Super Node Innovative Technology Shenzhen Co ltd
Original Assignee
Super Node Innovative Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Super Node Innovative Technology Shenzhen Co ltd filed Critical Super Node Innovative Technology Shenzhen Co ltd
Priority to CN202110752065.1A priority Critical patent/CN113506373A/zh
Publication of CN113506373A publication Critical patent/CN113506373A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G06Q10/0833—Tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种实时的行李三维建模方法、电子设备和存储介质，通过获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；并分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，将所有局部点云数据进行拼接之后，基于拼接后的三维点云数据，确定目标行李的三维模型；实现了根据目标行李的三维模型，来确定目标行李的状态。由于通过不同视场角采集的各个局部深度图，构建目标行李的三维模型，可以实现从全方位和角度还原目标行李的状态和面貌，进而能够有效的检测并记录行李在运输中的物品损坏，提高用户的体验效果。

Description

实时的行李三维建模方法、电子设备和存储介质
技术领域
本申请涉及目标检测技术领域，尤其涉及一种实时的行李三维建模方法、电子设备和存储介质。
背景技术
在行李托运过程中，通常需要对行李的状态进行跟踪检测，以便可以将软硬不同的行李进行分区托运，以及实时稽查行李是否发生破损，进而保证行李的安全运达。
目前，对行李很难进行360度无死角的检测，如果行李在运输过程中发生小面积的几何形变或者破损，则很难及时发现。导致在行李运输过程中，可能出现物品损坏或丢失的风险，影响用户的体验效果。
发明内容
本申请提供了一种实时的行李三维建模方法、电子设备和存储介质，旨在实现行李状态的360度无死角检测，提高用户的体验效果。
第一方面，本申请实施例提供了一种实时的行李三维建模方法，包括：
获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；
根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据；
根据各个相机之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型；
根据所述目标行李的三维模型，确定所述目标行李的状态。
第二方面，本申请实施例提供了一种电子设备，包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如上述第一方面所述的实时的行李三维建模方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述第一方面所述的实时的行李三维建模方法。
本申请实施例提供了一种实时的行李三维建模方法、电子设备和存储介质，通过获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；并分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，将所有局部点云数据进行拼接之后，基于拼接后的三维点云数据，确定目标行李的三维模型；实现了根据目标行李的三维模型，来确定目标行李的状态。由于通过不同视场角采集的各个局部深度图，来确定目标行李的三维模型，可以实现从全方位和角度还原目标行李的状态和面貌，进而能够有效的记录行李在运输中的物品损坏，提高用户的体验效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请实施例的公开内容。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本申请实施例提供的实时的行李三维建模方法的一应用场景示意图；
图1b是本申请实施例提供的多面立体靶标示意图；
图2是本申请实施例提供的实时的行李三维建模方法的实现流程示意图；
图3是本申请实施例提供的实时的行李三维建模装置的一示意性结构示意图；
图4是本申请实施例提供的电子设备的一示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
请参阅图1a，图1a是本申请实施例提供的实时的行李三维建模方法的一应用场景示意图。如图1a所示，在本实施例中，实时的行李三维建模方法应用于民航行李跟踪监测系统100。其中，民航行李跟踪监测系统100包括电子设备101和预先标定的各个相机102。
电子设备101与每个相机102通讯连接。电子设备101可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
各个相机102可以是结构光三维相机，每个相机102利用结构光引入特征可以提高单个相机的单视角重建精度，电子设备101将每个相机102分别采集的单视场场景信息，根据多视几何原理采用固定位置的多个深度相机完成目标对象的360°扫描重建。
其中，电子设备101在使用前，需要对每个相机102进行标定，需要标定出各个相机102之间的位置关系，也就数说，电子设备101需要对各个相机102进行单相机和多相机的标定。例如，如图1b所示，图1b是本申请实施例提供的多面立体靶标示意图。在本实施例中，电子设备101采用多面立体靶标103对各个相机102进行标定，具体包括对单个相机的参数标定和各个相机之间的位置关系标定。其中，立体靶标103包括五个靶标平面，每个靶标平面上附着规格已知的特征阵列图案，每个靶标平面上的图像可以不同，以便于标定算法自动识别不同的靶标平面。
具体地，在确定了立体靶标之后，可以通过传统的相机标定法对各个相机102进行单相机和多相机的标定。具体地标定过程在此不再赘述。
在完成各个相机102的标定之后，电子设备101获取多个相机102分别从不同的视角实时采集目标行李的局部深度图；根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据；根据各个相机102之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型；根据所述目标行李的三维模型，确定所述目标行李的状态。由于多个相机102从不同视场角采集到目标行李的各个局部深度图，进而根据目标行李的各个局部深度图来确定目标行李的三维模型，可以实现从全方位和角度还原目标行李的状态和面貌，进而能够有效的记录行李在运输中的物品损坏，提高用户的体验效果。
请参阅图2，图2是本申请实施例提供的实时的行李三维建模方法的实现流程示意图。所述的实时的行李三维建模方法可以应用在图1所示的电子设备101中。详述如下：
S201，获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图。
其中，各个相机从不同的视角对目标行李进行局部深度图采集，每个相机只能获得各自对应视角范围内目标行李的部分深度图(几何信息)。其中，每个相机的视角范围分别与各个相机的参考坐标相关，各个相机分别以各自的参考坐标为原点，在各自的视场范围内采集目标行李的局部深度图。
S202，根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据。
其中，各个相机的标定参数包括各个相机的内参和外参；示例性，根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，包括：根据各个相机的内参和外参，分别确定将各个相机各自采集的局部深度图转换为局部点云数据的转换公式；根据确定的各个转换公式，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据。
其中，深度图与点云数据之间存在对应的映射关系。在确定了任意相机的内参和外参之后，针对该任意相机采集的局部深度图，遍历该局部深度图，获取该局部深度图中的任意点，例如点(m，n)处的深度值，根据由该任意相机的内参合外参确定的转换公式，将该任意点(m，n)的深度值代入该转换公式，得到该任意点(m，n)对应的空间坐标，该空间坐标为该任意点(m，n)的点云坐标。
对应地，局部深度图的局部点云数据，由各个点云坐标组成。根据各个相机的内参和外参，分别确定将各个相机各自采集的局部深度图转换为局部点云数据的转换公式的过程，可以参考现有的公开资料，在此不再赘述。
S203，根据各个相机之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型。
其中，各个相机之间的位置关系由相机标定过程确定。具体地，可以参考现有公开的多相机之间的位置关系标定原理，在此不再赘述。
示例性地，根据各个相机之间的位置关系，将所有局部点云数据进行拼接，包括：根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，得到对所有局部点云数据进行拼接后的所述三维点云数据。
其中，根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，包括：根据各个相机之间的位置关系，基于迭代最近点算法，将各个相机各自对应的参考系下的局部点云数据，分别变换为统一坐标系下的点云数据。
其中，迭代最近点算法(Iterative Closest Point，ICP)的作用是微调各个相机的位姿，使得各个相机在各自对应拍摄角度下的局部点云能够更好的对齐，同时也得到更准确的相机位姿。
具体地，首先是找到一个可用的从任意坐标系，例如坐标系1到坐标系2的一个刚性变换。本质上是基于最小二乘法的最优配准方法，找到坐标系1下的待配准点云数据与坐标系2下的参考云数据之间的旋转参数R和平移参数T，使得两点数据之间满足某种度量准则下的最优匹配，重复进行选择对应关系点对，计算得到最优刚体变换，直到满足正确配准的收敛精度要求。具体地，假设给定坐标系1下的三维点集X1和坐标系2下的三维点集X2，ICP方法的配准步骤如下：首先计算X2中的每一个点在X1点集中的对应近点；然后，求得使上述对应点对平均距离最小的刚体变换，求得平移参数和旋转参数；其次，对X2使用上一步求得的平移和旋转参数，得到新的变换点集；最后，如果新的变换点集与参考点集满足两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求。
经过ICP匹配之后，可将局部点云数据进行拼接得到三维点云数据。其中，根据标定的各个相机之间的位置关系，经过ICP将所有局部点云数据进行拼接得到的三维点云数据，在空间中的分布通常是杂乱无章的，对应形成的物体表面不明显。因此，可以对变换之后的点云数据进行数据融合处理，得到平滑拼接的三维点云数据之后，再进行点云曲面重建，以实现对三维点云数据对应的物体的纹理恢复。
示例性地，基于拼接后的三维点云数据，确定所述目标行李的三维模型，包括：对拼接后的三维点云数据进行点云数据融合处理，基于融合处理之后的点云数据，确定所述目标行李的三维模型。
在一实施例中，基于融合处理之后的点云数据，确定所述目标行李的三维模型，包括：对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面；对所述三维曲面进行纹理恢复，得到所述目标行李的三维模型。
其中，对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面，包括：基于体数据算法，对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面。
具体地，对经过ICP匹配之后的点云数据进行数据融合，能够提高图像三维模型重建的精度。对应地，将经过ICP匹配之后的点云数据组成的空间划分为若干细小矩形，称其为体素。将体素附加上有效距离场(SDF)，具体地，有效距离场的值为体素到重建的物体三维模型表面的最短距离，有效距离场值越接近零，证明体素与重建的物体三维模型表面的距离越接近，若该距离大于零，证明体素位于重建的物体三维模型表面的前方，反之，位于重建的物体三维模型的后方。采用阶段符合距离场(Truncated Signed Distance Field，TSDF)算法，存储距真实表面较近的数层体素，可以降低计算过程中的内存消耗和冗余点，减少计算复杂度和存储量，能够适用于对行李箱进行实时建模并显示的要求。
具体地，在本实施例中，TSDF算法采用的公式为：
Figure BDA0003139641870000061
Wi(x)＝Wi-1(x，y，z)+wi(x，y，z)
其中，Di(x)为第i个体素的融合TSDF值，Wi为第i个体素的融合权重值，di为第i个体素当前帧的TSDF值，wi为第i个体素的当前帧权重值。
在本实施例中，通过TSDF算法对数据实施融合操作，实现了对三维模型的优化，扩大了三维模型的重建范围，并在利用TSDF算法对点云融合过程中考虑了权重的影响，对点云数据的降噪性能较强。
在物体的三维模型重建中，通过对融合之后的点云数据建立TSDF模型，进一步地，三维曲面重建可以通过移动立方体(Marching Cube)算法完成。具体地，将处于点云数据中心的数据置于立方体的顶点上，对处于同一条棱上的两个顶点数据，若存在一个数据大于给定常数T，另一个数据小于给定常数T，则说明该立方体上的这条棱上一定存在等值面的一个点，计算该立方体上各条棱与等值面的交点，对三角面进行构建。将该立方体构建的所有三角面相连构成等值面，合并立方体的所有等值面得到完整的三维表面，完成点云曲面重建。点云曲面重建是对图像进行处理操作后将得到图像进行配准操作的过程，能够得到完整的、将不同视角图像融合在一起的点云模型。具体地，在本实施例中，使用的三角面构建物体三维模型的方法称为三角网格，在对图像三维模型进行重建时，对复杂物体表面模型重建的效果良好，且属性简单，物体表面易于渲染。
具体地，在曲面重建之后，三维重建的最后一步纹理恢复可分为两种情况实现。第一，在模型检测距离较远或精度要求比较低的情况下，直接通过读取每个三角面对应的TSDF体素的颜色值作为三角面的颜色。第二，在其它的时候通过相机的位姿和内外参将每个三角面反映射到跟三角面最接近的摄像头拍摄的RGB图像上，把这块三角图像作为其纹理，最后再把所有纹理碎片合并到一张完整的纹理图上，完成纹理恢复和三维重建的过程。
S204，根据所述目标行李的三维模型，确定所述目标行李的状态。
在一实施例中，所述目标行李的状态包括行李的外包装状态，例如硬包行李、软包行李等，或者行李的破损状态，例如行李的外包是否有破损或无损等。
通过上述分析可知，本申请实施例提供的行李状态监测方法，通过获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，将所有局部点云数据进行拼接之后，基于拼接后的三维点云数据，确定目标行李的三维模型；实现了根据目标行李的三维模型，来确定目标行李的状态。由于通过不同视场角采集的各个局部深度图，来确定目标行李的三维模型，可以实现从全方位和角度还原目标行李的状态和面貌，进而能够有效的记录行李在运输中的物品损坏，提高用户的体验效果。
请参阅图3，图3是本申请实施例提供的实时的行李三维建模装置的一示意性结构示意图。如图3所示，在本实施例中，实时的行李三维建模装置300包括：
采集模块301，用于获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；
转换模块302，用于根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据；
第一确定模块303，用于根据各个相机之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型；
第二确定模块304，用于根据所述目标行李的三维模型，确定所述目标行李的状态。
在一实施例中，相机的标定参数包括相机的内参和外参；
所述转换模块302，具体用于：
根据各个相机的内参和外参，分别确定将各个相机各自采集的局部深度图转换为局部点云数据的转换公式；
根据确定的各个转换公式，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据。
在一实施例中，所述根据各个相机之间的位置关系，将所有局部点云数据进行拼接，包括：
根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，得到对所有局部点云数据进行拼接后的所述三维点云数据。
在一实施例中，所述根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，包括：
根据各个相机之间的位置关系，基于迭代最近点算法，将各个相机各自对应的参考系下的局部点云数据，分别变换为统一坐标系下的点云数据。
在一实施例中，所述基于拼接后的三维点云数据，确定所述目标行李的三维模型，包括：
对拼接后的三维点云数据进行点云数据融合处理，基于融合处理之后的点云数据，确定所述目标行李的三维模型。
在一实施例中，所述基于融合处理之后的点云数据，确定所述目标行李的三维模型，包括：
对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面；
对所述三维曲面进行纹理恢复，得到所述目标行李的三维模型。
在一实施例中，所述对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面，包括：
基于体数据算法，对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面。
在一实施例中，所述目标行李的状态包括行李的外包装状态和/或行李的破损状态。
本申请实施例提供的实时的行李三维建模装置的各模块具体原理和实现方式均与前述实施例的实时的行李三维建模方法类似，此处不再赘述。
请结合上述实施例参阅图4，图4是本申请实施例提供的电子设备的示意性框图。
示例性的，电子设备101可以包括终端设备或服务器；其中，终端设备可以是手机、平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也可以为服务器集群。
电子设备101包括处理器401和存储器402。
示例性的，处理器401和存储器402通过总线403连接，所述总线403比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器401可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器402可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，处理器401用于运行存储在存储器402中的计算机程序，并在执行所述计算机程序时实现前述的实时的行李三维建模方法。
示例性的，处理器401用于运行存储在存储器402中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；
根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据；
根据各个相机之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型；
根据所述目标行李的三维模型，确定所述目标行李的状态。
在一实施例中，相机的标定参数包括相机的内参和外参；
所述根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，包括：
根据各个相机的内参和外参，分别确定将各个相机各自采集的局部深度图转换为局部点云数据的转换公式；
根据确定的各个转换公式，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据。
在一实施例中，所述根据各个相机之间的位置关系，将所有局部点云数据进行拼接，包括：
根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，得到对所有局部点云数据进行拼接后的所述三维点云数据。
在一实施例中，所述根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，包括：
根据各个相机之间的位置关系，基于迭代最近点算法，将各个相机各自对应的参考系下的局部点云数据，分别变换为统一坐标系下的点云数据。
在一实施例中，所述基于拼接后的三维点云数据，确定所述目标行李的三维模型，包括：
对拼接后的三维点云数据进行点云数据融合处理，基于融合处理之后的点云数据，确定所述目标行李的三维模型。
在一实施例中，所述基于融合处理之后的点云数据，确定所述目标行李的三维模型，包括：
对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面；
对所述三维曲面进行纹理恢复，得到所述目标行李的三维模型。
在一实施例中，所述对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面，包括：
基于体数据算法，对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面。
在一实施例中，所述目标行李的状态包括行李的外包装状态和/或行李的破损状态。
本申请实施例提供的电子设备的具体原理和实现方式均与前述实施例的实时的行李三维建模方法类似，此处不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现上述实施例提供的实时的行李三维建模方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的电子设备的内部存储单元，例如所述电子设备的硬盘或内存。所述计算机可读存储介质也可以是所述电子设备的外部存储设备，例如所述电子设备上配备的插接式硬盘，智能存储卡(Smart MediaCard，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。
还应当理解，在本申请和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种实时的行李三维建模方法，其特征在于，包括：
获取预先标定的各个相机分别从不同的视角，实时采集目标行李的局部深度图；
根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据；
根据各个相机之间的位置关系，将所有局部点云数据进行拼接，基于拼接后的三维点云数据，确定所述目标行李的三维模型；
根据所述目标行李的三维模型，确定所述目标行李的状态。
2.根据权利要求1所述的实时的行李三维建模方法，其特征在于，相机的标定参数包括相机的内参和外参；
所述根据各个相机的标定参数，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据，包括：
根据各个相机的内参和外参，分别确定将各个相机各自采集的局部深度图转换为局部点云数据的转换公式；
根据确定的各个转换公式，分别将不同视角下采集的局部深度图转换为各自对应的局部点云数据。
3.根据权利要求2所述的实时的行李三维建模方法，其特征在于，所述根据各个相机之间的位置关系，将所有局部点云数据进行拼接，包括：
根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，得到对所有局部点云数据进行拼接后的所述三维点云数据。
4.根据权利要求3所述的实时的行李三维建模方法，其特征在于，所述根据各个相机之间的位置关系，将各个相机各自对应参考系下的局部点云数据，变换为统一坐标系下的点云数据，包括：
根据各个相机之间的位置关系，基于迭代最近点算法，将各个相机各自对应的参考系下的局部点云数据，分别变换为统一坐标系下的点云数据。
5.根据权利要求1至4任一项所述的实时的行李三维建模方法，其特征在于，所述基于拼接后的三维点云数据，确定所述目标行李的三维模型，包括：
对拼接后的三维点云数据进行点云数据融合处理，基于融合处理之后的点云数据，确定所述目标行李的三维模型。
6.根据权利要求4所述的实时的行李三维建模方法，其特征在于，所述基于融合处理之后的点云数据，确定所述目标行李的三维模型，包括：
对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面；
对所述三维曲面进行纹理恢复，得到所述目标行李的三维模型。
7.根据权利要求6所述的实时的行李三维建模方法，其特征在于，所述对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面，包括：
基于体数据算法，对融合处理之后的点云数据进行点云曲面重建，得到所述目标行李的三维曲面。
8.根据权利要求6或7所述的实时的行李三维建模方法，其特征在于，所述目标行李的状态包括行李的外包装状态和/或行李的破损状态。
9.一种电子设备，其特征在于，包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如权利要求1-8中任一项所述的实时的行李三维建模方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-8中任一项所述的实时的行李三维建模方法。
CN202110752065.1A 2021-06-29 2021-06-29 实时的行李三维建模方法、电子设备和存储介质 Pending CN113506373A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110752065.1A CN113506373A (zh) 2021-06-29 2021-06-29 实时的行李三维建模方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110752065.1A CN113506373A (zh) 2021-06-29 2021-06-29 实时的行李三维建模方法、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN113506373A true CN113506373A (zh) 2021-10-15

Family

ID=78009683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110752065.1A Pending CN113506373A (zh) 2021-06-29 2021-06-29 实时的行李三维建模方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113506373A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114264355A (zh) * 2021-11-18 2022-04-01 河南讯飞智元信息科技有限公司 重量检测方法、装置、电子设备及存储介质
CN114373060A (zh) * 2022-03-23 2022-04-19 超节点创新科技(深圳)有限公司 行李模型生成方法与设备
CN114723912A (zh) * 2022-06-10 2022-07-08 中国地质科学院地质力学研究所 一种基于gis建模的地质检测数据分析方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866944A (zh) * 2019-12-06 2020-03-06 民航成都物流技术有限公司 托运行李测量识别方法及系统
CN111353985A (zh) * 2020-03-02 2020-06-30 电子科技大学 一种基于深度相机的机场自助托运行李的检测方法
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110866944A (zh) * 2019-12-06 2020-03-06 民航成都物流技术有限公司 托运行李测量识别方法及系统
CN111353985A (zh) * 2020-03-02 2020-06-30 电子科技大学 一种基于深度相机的机场自助托运行李的检测方法
CN111369666A (zh) * 2020-03-02 2020-07-03 中国电子科技集团公司第五十二研究所 一种基于多台rgbd相机的动态目标重建方法和装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114264355A (zh) * 2021-11-18 2022-04-01 河南讯飞智元信息科技有限公司 重量检测方法、装置、电子设备及存储介质
CN114373060A (zh) * 2022-03-23 2022-04-19 超节点创新科技(深圳)有限公司 行李模型生成方法与设备
CN114723912A (zh) * 2022-06-10 2022-07-08 中国地质科学院地质力学研究所 一种基于gis建模的地质检测数据分析方法及系统
CN114723912B (zh) * 2022-06-10 2022-08-30 中国地质科学院地质力学研究所 一种基于gis建模的地质检测数据分析方法及系统

Similar Documents

Publication Publication Date Title
US10650546B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
US10062003B2 (en) Real-time, model-based object detection and pose estimation
WO2019157924A1 (zh) 三维物体的实时检测方法及系统
JP6216508B2 (ja) ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法
CN113506373A (zh) 实时的行李三维建模方法、电子设备和存储介质
KR101608253B1 (ko) 이미지 기반 멀티 뷰 3d 얼굴 생성
EP2751777B1 (en) Method for estimating a camera motion and for determining a three-dimensional model of a real environment
CN113298934B (zh) 一种基于双向匹配的单目视觉图像三维重建方法及系统
CN113362446B (zh) 基于点云数据重建对象的方法及装置
WO2014003081A1 (en) Method for registering data
US9147279B1 (en) Systems and methods for merging textures
KR101851303B1 (ko) 3차원 공간 재구성 장치 및 방법
CN111460937B (zh) 脸部特征点的定位方法、装置、终端设备及存储介质
CN116309880A (zh) 基于三维重建的物体位姿确定方法、装置、设备及介质
Weinmann et al. Geometric point quality assessment for the automated, markerless and robust registration of unordered TLS point clouds
Li et al. Fast and globally optimal rigid registration of 3d point sets by transformation decomposition
CN117788686A (zh) 一种基于2d影像的三维场景重建方法、装置及电子设备
JP2019105992A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
Guillemaut et al. Using points at infinity for parameter decoupling in camera calibration
Balzer et al. Volumetric reconstruction applied to perceptual studies of size and weight
Zhao et al. An Approach for 3D Reconstruction from Uncalibrated Images
Chen et al. Comparison and utilization of point cloud tools for 3D reconstruction of small assets in built environment using a monocular camera
Yan et al. A Local Reference Frame Construction Method Based on the Signed Surface Variation
CN117173377A (zh) 基于三维模型轻量化增强现实系统实现方法及系统
Garrett An initial matching and mapping for dense 3D object tracking in augmented reality applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20211015

RJ01 Rejection of invention patent application after publication