CN113808184A - 基于点云识别的插值方法和装置、设备及存储介质 - Google Patents

Abstract

本申请涉及一种基于点云识别的插值方法和装置、设备及存储介质，其中方法包括：获取当前要识别的待处理图像，由待处理图像中识别出目标关键点；在目标关键点之间进行插值处理；将各目标关键点和进行插值处理后在目标关键点之间所插入的插值点，结合待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。通过在RGB图像上识别出2d关键点，并通过插值获得2d插值点，最终结合深度点云图，获得3d的关键点和插值点，实现了曲面插值点的获取，从而也就有效提高了数据识别的真实性和准确性。

Description

基于点云识别的插值方法和装置、设备及存储介质

技术领域

本申请涉及图像数据处理技术领域，尤其涉及一种基于点云识别的插值方法和装置、设备及存储介质。

背景技术

在人体关键点识别技术领域中，关键点识别通常多用来做姿态估计。其中，在相关技术中，进行关键点识别时只需要在所采集到的二维图像中识别出x，y坐标即可。但是，基于二维图像识别出的关键点无法获得真实的曲面插值点，这就使得最终通过插值得到的关键点点云的准确度偏低。

发明内容

有鉴于此，本申请提出了一种基于点云识别的插值方法，可以有效提高关键点点云识别的准确度。

根据本申请的一方面，提供了一种基于点云识别的插值方法，包括：

获取当前要识别的待处理图像，由所述待处理图像中识别出目标关键点；

在所述目标关键点之间进行插值处理；

将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

在一种可能的实现方式中，所述待处理图像所对应的深度图通过深度相机获取得到。

在一种可能的实现方式中，通过深度相机得到所述深度图后，将所述待处理图像中的各像素点与所述深度图中的各像素点进行一一对应，以使所述待处理图像中的各像素点均对应一个深度。

在一种可能的实现方式中，在所述目标关键点之间进行插值处理时，采用直线插值法进行。

在一种可能的实现方式中，由所述待处理图像中识别出目标关键点时，通过关键点识别神经网络进行。

在一种可能的实现方式中，将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换时，通过调用open3d的2d转3d接口函数进行。

根据本申请的另一方面，还提供了一种基于点云识别的插值装置，包括图像获取模块、关键点识别模块、插值处理模块和数据转换模块；

所述图像获取模块，被配置为获取当前要识别的待处理图像；

所述关键点识别模块，被配置为由所述待处理图像中识别出目标关键点；

所述插值处理模块，被配置为在所述目标关键点之间进行插值处理；

所述数据转换模块，被配置为将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

在一种可能的实现方式中，所述插值处理模块，被配置为在所述目标关键点之间进行插值处理时，采用直线插值法进行。

根据本申请的另一方面，还提供了一种基于点云识别的插值设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。

通过在RGB图像上识别出2d关键点，并通过插值获得2d插值点，最终结合深度点云图，获得3d的关键点和插值点，实现了曲面插值点的获取，从而也就有效提高了数据识别的真实性和准确性。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出本申请实施例的基于点云识别的插值方法的流程图；

图2示出本申请实施例的基于点云识别的插值方法应用到的人体智能调理设备的机械结构示意图；

图3示出本申请实施例的基于点云识别的插值方法中在目标关键点之间进行插值处理的示意图；

图4示出本申请实施例的基于点云识别的插值装置的结构框图；

图5示出本申请实施例的基于点云识别的插值设备的结构框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

首先，需要说明的是，本申请实施例的基于点云识别的插值方法主要是应用于人体智能调理设备中，对通过人体智能调理设备中所配置的图像采集设备(如：相机、摄像头等)所采集到的人体图像中人体穴位的识别。

也就是说，本申请实施例的基于点云识别的插值方法是用于识别出人体图像中的各个人体穴位的。即，在识别出人体图像中的各人体穴位时需要对人体图像中的目标关键点进行识别，并基于识别出的目标关键点，在每相邻两个目标关键点之间进行插值处理，得到多个插值点，进而将识别出的目标关键点和插值处理得到的各插值点共同构成点云。然后再在所构成的点云中提取出各人体穴位所对应的目标点。

其中，需要指出的是，在进行人体图像目标关键点的识别时，目标关键点的设置可以根据实际情况灵活设置，此处不进行具体限定。如：在本申请实施例的方法中，由于其主要是应用于人体智能调理设备中对人体穴位的识别，因此，在设置目标关键点的识别时可以根据人体穴位点进行。

图1示出根据本申请一实施例的基于点云识别的插值方法的流程图。如图1所示，该方法包括：步骤S100，获取当前要识别的待处理图像，由待处理图像中识别出目标关键点。此处，需要说明的是，所识别出的目标关键点可以为人体经络中的关键穴位点。步骤S200，在目标关键点之间进行插值处理；步骤S300，将各目标关键点和进行插值处理后在目标关键点之间所插入的插值点，结合待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

由此，本申请实施例的基于点云识别的插值方法，通过在人体智能调理设备所配置的图像采集设备所采集到的RGB图像(即，人体图像)上识别出2d关键点(即，目标关键点)，并通过插值获得2d插值点，最终结合深度点云图，获得3d的关键点和插值点，实现了曲面插值点的获取，从而也就有效提高了数据识别的真实性和准确性。

在一种可能的实现方式中，待处理图像所对应的深度图通过深度相机获取得到。即，参见图2，在本申请实施例的方法中，人体智能调理设备中所配置的图像采集设备可以为RGBD深度相机，通过该深度相机同时进行RGB彩色二维图像和Depth深度图像的采集，其中，彩色二维图像的尺寸和深度图像的尺寸相一致，并且彩色二维图像中每个像素点均对应一个深度，该深度由深度图像中得到。

也就是说，在本申请实施例的基于点云识别的插值方法中，通过深度相机得到深度图像后，将待处理图像(即，彩色二维图像)中的各像素点与深度图中的各像素点进行一一对应，以使待处理图像中的各像素点均对应一个深度。其中，将待处理图像(即，彩色二维图像)中的各像素点与深度图中的各像素点进行一一对应时，可以采用本领域的常规技术手段来实现，此处不再进行赘述。

其中，需要指出的是，由于本申请实施例的基于点云识别的插值方法主要是应用于人体经络调理设备中，用于实现对人体经络的识别后，根据识别结果来使得机械臂能够准确的进行径路穴位的选取和调理。因此，在通过图像采集设备进行人体图像(即，待处理图像)的采集时，需要保证所采集到的人体图像的完整性，才能有效保证通过本申请实施例的点云识别的插值处理所得到的点云识别结果的准确性，进而也才能最终保证对人体经络穴位的识别结果的准确性。

由此，在本申请实施例的方法中，对于实现人体图像的采集的图像采集设备在人体经络调理设备中的安装方式和分布可以通过以下方式来实现。

参阅图2，图像采集设备150为多个。至少一个图像采集设备150设于调理床110的一侧的上方，即，至少一个图像采集设备150设于调理床110的左侧的上方。当人体仰卧在调理床110上时，设于调理床110的左侧的上方的图像采集设备150位于人体的左侧面的斜上方，通过该图像采集设备150能够获取人体左侧及右腿内侧的经脉的图像；当人体俯卧在调理床110上时，设于调理床110的左侧的上方的图像采集设备150位于人体的右侧面的斜上方，通过该图像采集设备150能够获取人体右侧及左腿内侧的经脉的图像。至少一个图像采集设备150设于调理床110的另一侧的上方，即，至少一个图像采集设备150设于调理床110的右侧的上方。当人体仰卧在调理床110上时，设于调理床110的右侧的上方的图像采集设备150位于人体的右侧面的斜上方，通过该图像采集设备150能够获取人体右侧及左腿内侧的经脉的图像；当人体俯卧在调理床110上时，设于调理床110的右侧的上方的图像采集设备150位于人体的左侧面的斜上方，通过该图像采集设备150能够获取人体左侧及右腿内侧的经脉的图像。至少一个图像采集设备150设于调理床110的一端的上方，即，至少一个图像采集设备150设于调理床110的床头端的上方。设于调理床110的床头端的上方的图像采集设备150位于人体头部的斜上方。当人体仰卧在调理床110上时，通过该图像采集设备150能够获取头顶、面部和肩部的经脉的图像；当人体俯卧在调理床110上时，通过该图像采集设备150能够获取头顶、肩背的经脉的图像。至少一个图像采集设备150设于调理床110的正上方，即，至少一个图像采集设备150设于调理床110的正上方。当人体仰卧在调理床110上时，通过该图像采集设备150能够获取人体的前侧面的经脉；当人体俯卧在调理床110上时，通过该图像采集设备150能够获取人体的后侧面的经脉的图像。整体上，在人体进行仰卧或俯卧时，均能够对人体经脉进行全方位的识别，有利于人体经络调理设备中的按摩器120定位寻找每一种经脉的图像，保证最终识别出的人体经络结果的精确度和完整性。

其中，还需要指出的是，在上述实施方式中，图像采集设备在人体经络调理设备中的安装可以通过设置支撑杆的方式来实现。即，通过在人体经络调理设备中设置第一支撑杆160和第二支撑杆170。第一支撑杆160为两个，均竖直设置，分别设于调理床110的相对两侧，上部均朝向调理床110的正上方弯折以形成第一固定部161。其中一个第一支撑杆160的第一固定部161朝向调理床110的正上方的一侧面上固定有至少一个图像采集设备150，另一个第一支撑杆160的第一固定部161朝向调理床110的正上方的一侧面上固定有至少一个图像采集设备150。第一支撑杆160和第二支撑杆170整体为弧形结构，具有较好地机械强度。第一固定部161为“凸”型结构，在第一固定部161上还能够安装照明装置，以改善调理环境。第二支撑杆170为一个，竖直设置，设于调理床110的一端，上部朝向调理床110的正上方弯折以形成第二固定部171。需要指出的是，第二支撑杆170设置在调理床110的床头端，即第二支撑杆170设于床板112横截面较大的一端。第二支撑杆170的第二固定部171的底面上固定有至少一个图像采集设备150，中部朝向调理床110的一侧面上固定有至少一个图像采集设备150。第二固定部171从上向下的正投影为“凸”型结构，在第二固定部171的底面上安装照明装置，以改善调理环境。照明装置包括多个LED灯，多个LED呈阵列式排布。另外，固定于第二支撑杆170的中部的图像采集设备150的探测口的轴向与床板112所在平面的夹角为30-60度，固定于第二固定部171上的图像采集设备150的探测口的轴向与床板112所在平面的夹角为85°-95°，固定于第一固定部161上的图像采集设备150的探测口的轴向与床板112所在平面的夹角为30°-60°。如此，有利于改善图像采集设备150对经脉进行获取时的获取效果，降低遮挡风险，改善按摩器120的定位准度，从而改善了调理效果。

通过将图像采集设备按照上述方式进行设置，有效保证了图像采集设备采集到的人体图像的清晰度和完整度，从而也就更进一步地提高了最终基于该安装方式的图像采集设备所采集到的人体图像中点云识别结果的精确度。

进一步地，在通过上述任一种方式获取到彩色二维图像之后，即可由所得到的彩色二维图像(即，待处理图像)中进行二维关键点(即，目标关键点)的识别。在一种可能的实现方式中，由待处理图像中识别出目标关键点时，可以通过关键点识别神经网络进行。即，直接使用本领域常规的目标识别神经网络进行关键点的识别。其中，所使用的目标识别神经网络可以为本领域常规的神经网络，此处不再进行赘述。

其中，对于使用目标识别神经网络进行目标关键点的识别之前，需要对目标识别神经网络进行训练。在训练目标识别神经网络时，可以通过构建大量的训练样本，该训练样本可以为收集到的多种人体图像，并对人体图像进行各人体穴位点的标注。然后再将标注有各人体穴位点的人体图像作为训练样本对目标识别神经网络进行训练，从而使得所识别出的目标关键点能够与各人体穴位点相对应。

由此，本申请实施例的方法，通过将RGBD深度相机结合神经网络，可在RGB图像上识别出2d关键点，并通过插值获得2d插值点，最终结合深度点云图，获得3d的关键点和插值点，更加有效保证了所得到的3d关键点和插值点的准确性。

在通过上述任一种方式由待处理图像中识别出目标关键点之后，需要先在每两个目标关键点之间进行插值处理，得到相应的二维插值点。在一种可能的实现方式中，参阅图3，可以采用直线插值法进行。其中，通过直线插值法在两个目标关键点之间进行插值为本领域的常规技术手段，此处也不再进行赘述。

需要指出的是，在上述通过直线插值法在两个目标关键点之间进行插值处理，得到预设个数的插值点时，所插入的二维插值点的个数可以根据不用的应用场景灵活设置。如：在本申请实施例的方法中，在应用于人体智能调理设备对人体穴位进行按摩调理时，可以根据人体穴位的个数以及相邻两个目标关键点之间的距离等因素进行两个目标关键点之间二维插值点的预设个数的设置。

更加具体的，预设个数的取值范围可以为：4个-8个。在一种可能的实现方式中，相邻两个目标关键点之间的图像距离大于或等于50个像素点时，插值个数可以为8个。相邻两个目标关键点之间的图像距离小于50个像素点时，插值个数为4个。

在一种可能的实现方式中，将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换时，通过调用open3d的2d转3d接口函数进行。

需要说明的是，尽管以图1至图3作为示例介绍了如上所述的基于点云识别的插值方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够实现曲面插值点的获取即可。

相应的，基于前面任一所述的基于点云识别的插值方法，本申请还提供了一种基于点云识别的插值装置，由于本申请提供的基于点云识别的插值装置的工作原理与本申请实施例的基于点云识别的插值方法的原理相同或相似，因此重复之处不再赘述。

参见图4，本申请提供的基于点云识别的插值装置200包括图像获取模块210、关键点识别模块220、插值处理模块230和数据转换模块240。其中，图像获取模块210，被配置为获取当前要识别的待处理图像。关键点识别模块220，被配置为由所述待处理图像中识别出目标关键点。插值处理模块230，被配置为在所述目标关键点之间进行插值处理。数据转换模块240，被配置为将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

在一种可能的实现方式中，插值处理模块230，被配置为在目标关键点之间进行插值处理时，采用直线插值法进行。

更进一步地，根据本申请的另一方面，还提供了一种基于点云识别的插值设备300。参阅图5，本申请实施例的基于点云识别的插值设备300包括处理器310以及用于存储处理器310可执行指令的存储器320。其中，处理器310被配置为执行可执行指令时实现前面任一所述的基于点云识别的插值方法。

此处，应当指出的是，处理器310的个数可以为一个或多个。同时，在本申请实施例的基于点云识别的插值设备300中，还可以包括输入装置330和输出装置340。其中，处理器310、存储器320、输入装置330和输出装置340之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。

存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的基于点云识别的插值方法所对应的程序或模块。处理器310通过运行存储在存储器320中的软件程序或模块，从而执行基于点云识别的插值设备300的各种功能应用及数据处理。

输入装置330可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置340可以包括显示屏等显示设备。

根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器310执行时实现前面任一所述的基于点云识别的插值方法。

以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种基于点云识别的插值方法，其特征在于，包括：

获取当前要识别的待处理图像，由所述待处理图像中识别出目标关键点；

在所述目标关键点之间进行插值处理；

将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

2.根据权利要求1所述的方法，其特征在于，所述待处理图像所对应的深度图通过深度相机获取得到。

3.根据权利要求2所述的方法，其特征在于，通过深度相机得到所述深度图后，将所述待处理图像中的各像素点与所述深度图中的各像素点进行一一对应，以使所述待处理图像中的各像素点均对应一个深度。

4.根据权利要求1至3任一项所述的方法，其特征在于，在所述目标关键点之间进行插值处理时，采用直线插值法进行。

5.根据权利要求1至3任一项所述的方法，其特征在于，由所述待处理图像中识别出目标关键点时，通过关键点识别神经网络进行。

6.根据权利要求1至3任一项所述的方法，其特征在于，将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换时，通过调用open3d的2d转3d接口函数进行。

7.一种基于点云识别的插值装置，其特征在于，包括图像获取模块、关键点识别模块、插值处理模块和数据转换模块；

所述图像获取模块，被配置为获取当前要识别的待处理图像；

所述关键点识别模块，被配置为由所述待处理图像中识别出目标关键点；

所述插值处理模块，被配置为在所述目标关键点之间进行插值处理；

所述数据转换模块，被配置为将各所述目标关键点和进行插值处理后在所述目标关键点之间所插入的插值点，结合所述待处理图像所对应的深度图进行转换，得到三维坐标下的目标关键点和插值点。

8.根据权利要求7所述的装置，其特征在于，所述插值处理模块，被配置为在所述目标关键点之间进行插值处理时，采用直线插值法进行。

9.一种基于点云识别的插值设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至6中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至6中任意一项所述的方法。

Images