CN113920020B - 一种基于深度生成模型的人体点云实时修复方法 - Google Patents
一种基于深度生成模型的人体点云实时修复方法 Download PDFInfo
- Publication number
- CN113920020B CN113920020B CN202111129589.1A CN202111129589A CN113920020B CN 113920020 B CN113920020 B CN 113920020B CN 202111129589 A CN202111129589 A CN 202111129589A CN 113920020 B CN113920020 B CN 113920020B
- Authority
- CN
- China
- Prior art keywords
- human body
- image
- depth
- human
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 23
- 230000003238 somatosensory effect Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 12
- 230000009471 action Effects 0.000 claims description 10
- 230000000877 morphologic effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000003068 static effect Effects 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 4
- 230000007797 corrosion Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 3
- 230000000652 homosexual effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 230000008485 antagonism Effects 0.000 claims 1
- 230000004888 barrier function Effects 0.000 claims 1
- 230000001351 cycling effect Effects 0.000 claims 1
- 230000008439 repair process Effects 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 102220070930 rs794728599 Human genes 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。首先根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；然后利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；最后借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。
Description
技术领域
本发明涉及人机协作技术领域，尤其涉及一种基于深度生成模型的人体点云实时修复方法。
背景技术
近年来，人机协作已成为智能制造的关注热点。在传统的制造场景中，由于安全原因，操作员和机器人被隔离在不同的工作区域，独立完成各自所分配的任务。在人机协作系统中，机器人除了独立执行自己的任务，也需要协助操作员完成复杂的任务，从而提高生产效率，降低人的负荷。人机协作环境下，在机器人配合操作员完成任务过程中，机器人需要实时获取人体空间位置，并且需要在被障碍物遮挡的情况下获取被遮挡的人体空间位置信息，这对机器人安全地协助人完成复杂任务至关重要。
三维人体点云模型是通过激光扫描技术，对物理人体进行全方位扫描获取的,包括人体的身高、外形特征、体貌形态等元素。将采集到的数据经过三维建模软件可视化渲染后，方便后期参数调整和图像处理。
目前，现有的人体点云修复技术无法适应动态障碍物情况下的人体点云修复，且没有考虑人机协作的背景，同时也未考虑人体形态和动作的多样性，难以为机器人实时提供准确的人体点云修复结果。
发明内容
本发明要解决的技术问题是：提供一种基于深度生成模型的人体点云实时修复方法，能够在人机协作过程中人体被障碍物遮挡时，实时结合遮挡情况和人体形态特点，准确高效的修复人体点云。
为解决上述技术问题，本发明采用的技术方案是：
一种基于深度生成模型的人体点云实时修复方法，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题，所述转换策略具体如下：
A、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；
B、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；
C、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图。
进一步的，所述的一种基于深度生成模型的人体点云实时修复方法，具体包括如下步骤：
S1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；
S2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得模型收敛；
S3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图；
S4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为空间点云。
进一步的，所述步骤S1具体包括：
S11、根据人机协作环境中人体形态特点，确定要收集的人员样本；
S12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；
S13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至256×256。
进一步的，所述步骤S2具体包括：
S21、提取原始人体深度图像x，生成与深度图像数据集具有相同尺寸的障碍物图像M，将两张图像构造为被遮挡的人体深度图像z，其中z＝x⊙M；
S22、将z和M作为输入，生成预测人体深度图x'＝G(z,M)，并将x'的对应的障碍物区域的深度数据迁移到z中，输出结果其中G为生成对抗网络，/>为深度生成模型；
S23、循环步骤S21和步骤S22，直到生成对抗网络G收敛。
进一步的，所述步骤S3具体包括：
S31、将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；
S32、通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
S33、对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声，并进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；
S34、将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。
进一步的，所述步骤S4具体包括：
S41、向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；
S42、获取三维体感摄影机内参fx和fy，其中fx表示相机x轴焦距，fy表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，所述坐标系映射关系具体公式为：
其中，(XK,YK,ZK)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点OI在像素坐标系下的坐标，(u,v)表示像素坐标系下的坐标，dx和dy分别表示在x轴、y轴方向上的物理尺寸。
进一步的，步骤S11中所述人体形态特点具体包括身高、性别、体形；所述人员样本，男性与女性比例为1：1，男女性身高都均匀分布在多个范围内，同一身高范围内的同性人员具有不同体形。
进一步的，步骤S22中所述深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络；
在训练过程中，训练鉴别器网络若干次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数Lr与鉴别器损失函数LC公式为：
Lr(x)＝||M⊙(G((1-M)x)-x)||1
其中，为生成对抗网络的一个梯度惩罚因子，其中/>且t～U[0,1]。
一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如上述任一项所述的一种基于深度生成模型的人体点云实时修复方法。
本发明与现有技术相比具有以下主要的优点：
1、本发明提出了一种新颖的人机协作环境中人体点云实时修复方法，能够有效的修复被障碍物遮挡的人体点云。
2、通过分析，借助坐标系映射关系将三维人体点云的修复转换为二维人体深度图像修复的问题，利用训练收敛的基于生成对抗网络的深度生成模型对人体缺失的深度数据进行实时修复。
3、考虑到需实时检测空间中动态障碍物并生成障碍物掩码图像的问题，引入了一种障碍物实时检测方法，保证障碍物掩码图像生成效率。
4、结合人机协作场景，充分分析了人机协作单元中操作人员特点，实现对人体空间点云的实时修复。
附图说明
图1为本发明实施方案的整体流程图；
图2为本发明实施方案的具体流程图；
图3为本发明基于生成对抗网络的深度生成模型结构图；
图4为本发明障碍物实时检测方法流程图；
图5为本发明实施例障碍物图像；
图6为本发明人体深度图映射人体空间点云示意图；
图7为本发明人体点云修复结果图；
图8为本发明的人体点云修复效果数据图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。
本发明实施的一种基于深度生成模型的人体点云实时修复方法，如图1所示，根据深度图与空间点云的映射关系，采用转换策略将人体点云修复问题转换为人体深度图修复问题。
其中，所述转换策略具体如下：
A、根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；
B、利用基于生成对抗网络的深度生成模型对人体深度图进行实时修复；
C、借助三维体感摄影机内参以及坐标系映射关系，将修复后的像素坐标系下的人体深度图映射到空间坐标系下的人体点云图，达到人机协作环境下人体点云实时修复的目的。
本实例中所述三维体感摄影机具体为Kinect相机。
如图2所示，所述一种基于深度生成模型的人体点云实时修复方法，具体包括如下步骤：
S1，结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理。具体包括以下步骤：
S11，根据人机协作环境中操作员具有明显差异特点，被收集人体对象包含不同身高、不同性别以及不同形态的操作员，确定要收集的人员样本；
其中，男性操作员与女性操作员比例为1：1，男女性身高差距保持相对均匀分布到多个范围中，并且身高处在同一范围内的同性操作员要具有不同的形态特征，共安排16名操作人员。
S12，根据人机协作环境中同一操作员动作的多样性与连贯性等特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；
其中，根据同一操作员动作形态的多样性性与连贯性等特点，为每个操作员安排6种连贯性动作，根据深度学习对样本数据量的要求，收集操作人员约5000张人体连贯性动作深度图进行训练。
S13，对采集的深度图像数据集执行预处理操作，如离群点滤波。
具体的，对采集的人体深度图像数据集通过离群点滤波算法处理，仅保留人体的深度数据，并对将图片的大小截取至256×256。
S2，利用基于生成对抗网络的深度生成模型对人体深度图像数据集进行训练，使得模型收敛。具体包括以下步骤：
S21，提取原始人体深度图像x(未被遮挡的人体深度图)，生成与数据集图像具有相同尺寸的二进制掩码图像M(障碍物图像)，将两张图像构造为z(被遮挡的人体深度图像)，其中z＝x⊙M；
其中，所述掩码图像M是在大小为256×256的二进制图像中的任意位置生成任意大小的矩形掩码。在训练初始，掩码图像M与原始人体深度图x重新构造为图像z，其中z＝x⊙M。
S22，将z和M作为输入，生成预测人体深度图结果x'＝G(z,M)，并将x'的对应的掩码区域的深度数据迁移到z中，输出结果其中G为生成对抗网络，/>为深度生成模型；
进一步的，基于生成对抗网络的深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络，如图3所示；
另外，引入改进后的生成对抗网络的一个梯度惩罚因子其中且t～U[0,1]。在训练过程中，训练鉴别器网络5次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数Lr与鉴别器损失函数LC公式为：
Lr(x)＝||M⊙(G((1-M)⊙x)-x)||1
S3，引入一种人机协作环境中障碍物实时检测方法，对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图。如图4所示，具体包括以下步骤：
S31，将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；
S32，通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
其中，所述背景移除法是提取静态人机协作单元的背景图像，利用三维体感摄影机(Kinect相机)获取的每一帧图像与背景图像做差分，将差值图像进行二值化处理，获得原始动态障碍物图像。O(x,y)表示差值图像，即原始的障碍物图像，In(x,y)表示实时待检测的动态人机协作单元图像，Io(x,y)表示背景图像，T表示二值化阈值。阈值T的大小影响了障碍物区域的准确性和背景移除的效果，根据图像的效果来调整阈值T的大小。背景移除法的公式为：
如图5所示，为本实施例障碍物图像，图中(a)为障碍物二值图像，(b)为障碍物掩码图像。
S33，对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声。对图像进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；
其中，首先通过高斯滤波对障碍物图像进行初步滤波，再依次进行等参数的腐蚀和膨胀，滤除干扰，并增加连通体检测过程，检测多个动态障碍物，生成障碍物的二进制掩码图像。
S34，将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图。
其中，三维体感摄影机获取的人机协作单元的人体深度图为x，障碍物掩码图像为M，构造的带有遮挡区域的人体深度图为z＝x⊙M。
S4，修复被遮挡的人体深度图，并将修复后的人体深度图像映射为空间点云。
具体包括以下步骤：
S41，向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；
S42、获取三维体感摄影机内参fx和fy，其中fx表示相机x轴焦距，fy表示相机y轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，如图6所示，所述坐标系映射关系具体公式为：
其中，(XK,YK,ZK)表示三维体感摄影机空间坐标系中的空间点坐标，(u0,v0)表示像素坐标系的原点OI在像素坐标系下的坐标，(u,v)表示像素坐标系下的坐标，dx和dy分别表示在x轴、y轴方向上的物理尺寸。
如图7所示，为本发明人体点云修复结果图，图中(c)为原始人体点云，(d)为被障碍物遮挡的人体点云，(e)为修复后的人体点云。
实验测得的本实例人体点云修复效果数据如图8所示，图中GE为生成错误率，MDS为平均偏差，AGT为平均生成时间，
本发明是基于深度生成模型来进行人机协作环境中的人体点云实时修复，其目标是在保证可修复的基础上，对于单个或多个残缺区域的修复也能保证较高的准确率以及实时性，为人机协作环境中操作员的安全提供了保障，进一步提高了机器人的智能性。
采用本发明提出的一种新颖的人机协作环境中人体点云实时修复方法，能够有效的修复被障碍物遮挡的人体点云；
通过分析，借助坐标系映射关系将三维人体点云的修复转换为二维人体深度图像修复的问题，利用训练收敛的基于生成对抗网络的深度生成模型对人体缺失的深度数据进行实时修复；
考虑到需实时检测空间中动态障碍物并生成障碍物掩码图像的问题，引入了一种障碍物实时检测方法，保证障碍物掩码图像生成效率；
结合人机协作场景，充分分析了人机协作单元中操作人员特点，实现对人体空间点云的实时修复。
基于同一发明构思，本申请实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法的所有方法步骤或部分方法步骤。
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (5)
1.一种基于深度生成模型的人体点云实时修复方法，其特征在于，包括如下步骤：
S1、结合人机协作环境中人体形态特点采集相应的人体深度图数据集，并对数据集进行预处理；
S2、利用基于生成对抗网络的深度生成模型对人体深度图数据集进行训练，使得模型收敛，具体包括：
S21、提取原始人体深度图像X，生成与深度图像数据集具有相同尺寸的障碍物图像M，将两张图像构造为被遮挡的人体深度图像Z，其中Z=X⊙M；
S22、将Z和M作为输入，生成预测人体深度图X’=G（Z，M），并将X’的对应的障碍物区域的深度数据迁移到Z中，输出结果=Z＋G（Z，M）⊙M，其中G为生成对抗网络，/>为深度生成模型；
S23、循环步骤S21和步骤S22，直到生成对抗网络G收敛；
S3、对共享工作空间中的动态障碍物以及人体进行实时检测，并构建带有遮挡区域的人体深度图，具体包括：
根据坐标系映射关系，将三维体感摄影机空间坐标系下的人体点云图转换为三维体感摄影机像素坐标系下的人体深度图；
将三维体感摄影机捕获的完整人机协作单元的深度图像剔除共享工作空间之外的区域，突出共享工作空间，取该静态图像作为背景图像；
通过背景移除法去除背景图像中障碍物区域之外的部分，保留障碍物区域作为障碍物图像；
对障碍物图像进行高斯滤波、腐蚀和膨胀来移除图像中的噪声，并进行连通体检测，检测多个障碍物，生成用多个矩形来分别表示多个障碍物的掩码图像；
将三维体感摄影机检测的人体深度图像与障碍物掩码图像构建为带有遮挡区域的人体深度图；
所述背景移除法是提取静态人机协作单元的背景图像，利用三维体感摄影机获取的每一帧图像与背景图像做差分，将差值图像进行二值化处理，获得原始动态障碍物图像，具体公式为：
其中，表示差值图像，/>表示实时待检测的动态人机协作单元图像，表示背景图像，/>表示二值化阈值；
S4、修复被遮挡的人体深度图，并将修复后的人体深度图像映射为人体空间点云，具体包括：
S41、向训练收敛的深度生成模型输入带有遮挡区域的人体深度图以及障碍物掩码图像，生成修复后的人体深度图；
S42、获取三维体感摄影机内参和/>，其中/>表示相机/>轴焦距，/>表示相机/>轴焦距，通过坐标系映射关系，将人体深度图映射为人体空间点云，所述坐标系映射关系具体公式为：
其中，表示三维体感摄影机空间坐标系中的空间点坐标，/>表示像素坐标系的原点/>在像素坐标系下的坐标，/>表示像素坐标系下的坐标，/>和/>分别表示在/>轴、/>轴方向上的物理尺寸。
2.根据权利要求1所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于，所述步骤S1具体包括：
S11、根据人机协作环境中人体形态特点，确定要收集的人员样本；
S12、根据同一人员动作的多样性与连贯性特点，确定要获取的连续动作类型，获取满足深度学习样本量的人体深度图像数据集；
S13、对采集的深度图像数据集执行预处理操作，仅保留人体的深度数据，并对将图片的大小截取至。
3.根据权利要求2所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于步骤S11中，所述人体形态特点具体包括身高、性别、体形；所述人员样本，男性与女性比例为1：1，男女性身高都均匀分布在多个范围内，同一身高范围内的同性人员具有不同体形。
4.根据权利要求1所述的一种基于深度生成模型的人体点云实时修复方法，其特征在于步骤S22中，所述深度生成模型由两个编码器-解码器组合组成生成器网络以及由一个全局鉴别器和一个局部鉴别器组成鉴别器网络；
在训练过程中，训练鉴别器网络若干次后，再根据重建损失函数与鉴别器损失函数训练一次生成器网络，所述重建损失函数Lr与鉴别器损失函数LC公式为：
其中，为生成对抗网络的一个梯度惩罚因子，其中/>，且。
5.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述程序时实现如权利要求1至4中任一项所述的一种基于深度生成模型的人体点云实时修复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129589.1A CN113920020B (zh) | 2021-09-26 | 2021-09-26 | 一种基于深度生成模型的人体点云实时修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111129589.1A CN113920020B (zh) | 2021-09-26 | 2021-09-26 | 一种基于深度生成模型的人体点云实时修复方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113920020A CN113920020A (zh) | 2022-01-11 |
| CN113920020B true CN113920020B (zh) | 2023-07-18 |
Family
ID=79236401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111129589.1A Active CN113920020B (zh) | 2021-09-26 | 2021-09-26 | 一种基于深度生成模型的人体点云实时修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113920020B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115953410B (zh) * | 2023-03-15 | 2023-05-12 | 安格利(成都)仪器设备有限公司 | 一种基于目标检测监督学习的腐蚀坑自动检测方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223053A (zh) * | 2019-11-18 | 2020-06-02 | 北京邮电大学 | 基于深度图像的数据增强方法 |
| CN111369666A (zh) * | 2020-03-02 | 2020-07-03 | 中国电子科技集团公司第五十二研究所 | 一种基于多台rgbd相机的动态目标重建方法和装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10678256B2 (en) * | 2017-09-28 | 2020-06-09 | Nec Corporation | Generating occlusion-aware bird eye view representations of complex road scenes |
| CN110222628A (zh) * | 2019-06-03 | 2019-09-10 | 电子科技大学 | 一种基于生成式对抗网络的人脸修复方法 |
| GB2584469B (en) * | 2019-06-05 | 2023-10-18 | Sony Interactive Entertainment Inc | Digital model repair system and method |
| CN111079545A (zh) * | 2019-11-21 | 2020-04-28 | 上海工程技术大学 | 一种基于图像修复的三维目标检测方法和系统 |
| CN111899328B (zh) * | 2020-07-10 | 2022-08-09 | 西北工业大学 | 一种基于rgb数据与生成对抗网络的点云三维重建方法 |
| CN111899353A (zh) * | 2020-08-11 | 2020-11-06 | 长春工业大学 | 一种基于生成对抗网络的三维扫描点云孔洞填补方法 |
-
2021
- 2021-09-26 CN CN202111129589.1A patent/CN113920020B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111223053A (zh) * | 2019-11-18 | 2020-06-02 | 北京邮电大学 | 基于深度图像的数据增强方法 |
| CN111369666A (zh) * | 2020-03-02 | 2020-07-03 | 中国电子科技集团公司第五十二研究所 | 一种基于多台rgbd相机的动态目标重建方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113920020A (zh) | 2022-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062239A (zh) | 人体目标检测方法、装置、计算机设备及存储介质 | |
| CN104268519B (zh) | 基于模式匹配的图像识别终端及其识别方法 | |
| CN110532897A (zh) | 零部件图像识别的方法和装置 | |
| CN112200157A (zh) | 一种降低图像背景干扰的人体3d姿态识别方法及其系统 | |
| Wan et al. | A real-time branch detection and reconstruction mechanism for harvesting robot via convolutional neural network and image segmentation | |
| CN112581386B (zh) | 一种全自动避雷器检测与跟踪方法 | |
| CN113327298B (zh) | 基于图像实例分割和点云pca算法的一种抓取姿态估计方法 | |
| CN111696196A (zh) | 一种三维人脸模型重建方法及装置 | |
| CN113920020B (zh) | 一种基于深度生成模型的人体点云实时修复方法 | |
| CN115239882A (zh) | 一种基于弱光图像增强的农作物三维重建方法 | |
| Cherkasov et al. | The use of open and machine vision technologies for development of gesture recognition intelligent systems | |
| CN115393538A (zh) | 基于深度学习的室内动态场景的视觉slam方法及系统 | |
| Badeka et al. | Harvest crate detection for grapes harvesting robot based on YOLOv3 model | |
| CN114119987A (zh) | 基于卷积神经网络的特征提取和描述子生成方法及系统 | |
| Sheng et al. | Mobile robot localization and map building based on laser ranging and PTAM | |
| Kuang et al. | An effective skeleton extraction method based on Kinect depth image | |
| CN114353779B (zh) | 一种采用点云投影快速更新机器人局部代价地图的方法 | |
| Lv et al. | Design and research on vision system of apple harvesting robot | |
| CN115760575A (zh) | 一种激光点云数据处理方法、装置、电子设备及存储介质 | |
| Yang et al. | Cherry recognition based on color channel transform | |
| CN109934837B (zh) | 一种3d植物叶片轮廓的提取方法、装置及系统 | |
| Gao et al. | Vision localization algorithms for apple bagging robot | |
| CN113158942A (zh) | 一种运动人体行为检测的分割算法及装置 | |
| Xia et al. | Reasearch on pear inflorescence recognition based on fusion attention mechanism with yolov5. | |
| CN110404985A (zh) | 一种基于机器视觉的冷床智能控制系统及其使用方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |