CN112837418A

CN112837418A - 按摩区域划分方法、装置、设备及存储介质

Info

Publication number: CN112837418A
Application number: CN202110170902.XA
Authority: CN
Inventors: 谈继勇; 李元伟; 孙熙; 杨道文; 李冰; 孙文; 李彬
Original assignee: Shenzhen Hanwei Intelligent Medical Technology Co ltd
Current assignee: Shenzhen Hanwei Intelligent Medical Technology Co ltd
Priority date: 2021-02-05
Filing date: 2021-02-05
Publication date: 2021-05-25
Anticipated expiration: 2041-02-05
Also published as: CN112837418B

Abstract

本申请公开一种按摩区域划分方法、装置、设备及存储介质，方法包括：获取用于对目标对象的待按摩区域进行划分的标准划分模板；所述标准划分模板包括多个对所述待按摩区域划分的按摩分区；采集对目标对象的待按摩区域拍摄的二维图像和三维点云信息；对所述三维点云信息进行拟合处理得到目标平面；基于所述二维图像和所述目标平面计算透视变换参数；根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加。本申请旨在对人体的待按摩区域进行自动地区域划分，提高体验感和舒适感。

Description

按摩区域划分方法、装置、设备及存储介质

技术领域

本申请涉及按摩领域，尤其涉及一种按摩区域划分方法、装置、设备及存储介质。

背景技术

随着人们生活水平的提高，人们对养生保健的需求越来越多，例如在按摩保健的领域消费日益提高。鉴于中医的理论，人体遍布着不同的经络、穴位，为了更针对性的对人体进行按摩，需要对人体的待按摩区域进行自动地区域划分，这样可以进行直观形象地可视化展示和智能分区域针对性按摩理疗。

上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

发明内容

本申请实施例提供一种按摩区域划分方法、装置、设备及存储介质，本申请旨在对人体的待按摩区域进行自动地区域划分，提高体验感和舒适感。

本申请实施例提供了一种按摩区域划分方法，包括：

获取用于对目标对象的待按摩区域进行划分的标准划分模板；所述标准划分模板包括多个对所述待按摩区域划分的按摩分区；

采集对目标对象的待按摩区域拍摄的二维图像和三维点云信息；

对所述三维点云信息进行拟合处理得到目标平面；基于所述二维图像和所述目标平面计算透视变换参数；

根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加。

在一些实施例中，所述基于所述二维图像和所述目标平面计算透视变换参数，包括：

检测所述二维图像上对应标准划分模板多个按摩分区的第一关键点；

对所述三维点云信息进行拟合处理得到目标平面；

将所述二维图像上的第一关键点投影至所述目标平面得到目标平面上的投影点；

基于所述第一关键点和所述投影点计算透视变换矩阵。

在一些实施例中，所述多个按摩分区的第一关键点包括标准划分模板上至少四个按摩分区的第一关键点，或者标准划分模板上所有按摩分区的第一关键点。

在一些实施例中，所述第一关键点选用所述按摩分区的中心点或重心点。

在一些实施例中，所述对所述三维点云信息进行拟合处理得到目标平面，包括：

对采集得到的所述三维点云信息基于连续性和平滑性条件进行分割，得到连续平滑点云曲面；

将所述连续平滑点云曲面进行裁剪，再通过平面拟合方法将连续平滑点云曲面拟合成目标平面。

在一些实施例中，所述根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加，包括：

获取所述标准分割模板中与所述投影点一一对应的第二关键点，基于所述第二关键点和所述投影点计算仿射变换矩阵，基于该仿射变换矩阵将所述标准划分模板变换至中间图像；

根据所述透视变换矩阵将所述中间图像变换为与当前拍摄待按摩区域匹配的目标划分模板；

将所述目标划分模板与拍摄的待按摩区域原图叠加。

在一些实施例中，所述标准划分模板中的每一按摩分区的颜色不同。

本申请还提出一种按摩区域划分装置，包括：

获取模块，用于获取对目标对象的待按摩区域进行划分的标准划分模板；所述标准划分模板包括多个对所述待按摩区域划分的按摩分区；

采集模块，用于采集对目标对象的待按摩区域拍摄的二维图像和三维点云信息；

计算模块，用于对所述三维点云信息进行拟合处理得到目标平面；基于所述二维图像和所述目标平面计算透视变换参数；

叠加模块，用于根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加。

本申请还提出一种按摩区域划分设备，所述设备包括处理器、与所述处理器电连接的存储器及存储在所述存储器上并可在所述处理器上运行的按摩区域划分程序；所述按摩区域划分程序被所述处理器执行时实现如所述的按摩区域划分方法的步骤。

本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如所述的按摩区域划分方法中的步骤。

本申请通过拍摄的二维图像和三维点云信息得到透视变换参数，基于透视变换参数对所述标准划分模板进行透视变换，从而得到与当前的拍摄的人体背部匹配的目标划分模板，再将目标划分模板与拍摄的待按摩区域原图叠加，得到与前的拍摄的目标对象的待按摩区域匹配的按摩分区划分方式，实现对人体的待按摩区域进行自动地区域划分，消除目标对象的身体差异，使得模板图叠加拍摄的待按摩区域原图后显得更加自然和准确。本申请实施例实现对人体的待按摩区域进行自动地区域划分，且能够直观形象地可视化展示和智能分区域针对性按摩理疗，提高体验感和舒适感。

附图说明

图1为本申请的按摩区域划分设备的一实施例的硬件框架图；

图2为本申请的按摩区域划分方法的一实施例的流程框图；

图3为本申请对三维点云信息进行拟合处理得到目标平面步骤的一实施例的流程框图；

图4为本申请对基于所述二维图像和所述目标平面计算透视变换参数步骤的一实施例的流程框图；

图5为图2中步骤S400的一实施例的流程框图；

图6为本申请的按摩区域划分装置的一实施例的模块示意图；

图7为本申请的标准划分模板的一实施例的示意图。

具体实施方式

为了更好的理解上述技术方案，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

因此，当前需要对人体的待按摩区域进行自动地区域划分，提高体验感和舒适感。鉴于此，本申请提出一种按摩区域划分方法、装置、设备及存储介质。

请参照图1，下面介绍一种按摩区域划分设备，该按摩区域划分设备可以包括：处理器1001，例如CPU，存储器1005，用户接口1003，网络接口1004，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选包括无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中出示的按摩区域划分设备结构并不构成对按摩区域划分设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及按摩区域划分程序。其中，操作系统是管理和控制按摩区域划分设备硬件和软件资源的程序，支持按摩区域划分程序以及其它软件或程序的运行。

在图1所示的按摩区域划分设备中，网络接口1004主要用于后台服务器，与后台服务器进行数据通信；处理器1001可以用于调用存储器1005中存储的按摩区域划分程序，并执行如上所述的按摩区域划分方法的步骤。

在一实施例中，处理器1001可以用于调用存储器1005中存储的按摩区域划分程序，并执行以所述方法包括：

所述基于所述二维图像和所述目标平面计算透视变换参数，包括：

对所述三维点云信息进行拟合处理得到目标平面；

基于所述第一关键点和所述投影点计算透视变换矩阵。

所述多个按摩分区的第一关键点包括标准划分模板上至少四个按摩分区的第一关键点，或者标准划分模板上所有按摩分区的第一关键点。

所述第一关键点选用所述按摩分区的中心点或重心点。

所述对所述三维点云信息进行拟合处理得到目标平面，包括：

所述根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加，包括：

将所述目标划分模板与拍摄的待按摩区域原图叠加。

所述标准划分模板中的每一按摩分区的颜色不同。

本申请的按摩区域划分设备通过拍摄的二维图像和三维点云信息得到透视变换参数，基于透视变换参数对所述标准划分模板进行透视变换，从而得到与当前的拍摄的人体背部匹配的目标划分模板，再将目标划分模板与拍摄的待按摩区域原图叠加，得到与前的拍摄的目标对象的待按摩区域匹配的按摩分区划分方式，实现对人体的待按摩区域进行自动地区域划分，消除目标对象的身体差异，使得模板图叠加拍摄的待按摩区域原图后显得更加自然和准确。本申请实施例实现对人体的待按摩区域进行自动地区域划分，且能够直观形象地可视化展示和智能分区域针对性按摩理疗，提高体验感和舒适感。

请参照图2，基于上述按摩区域划分设备硬件架构，下面提出本申请的按摩区域划分方法的实施例一，所述按摩区域划分方法包括以下步骤：

S100、获取用于对目标对象的待按摩区域进行划分的标准划分模板；所述标准划分模板包括多个对所述待按摩区域划分的按摩分区；

具体地，本实施例的中的目标对象一般是人体，当然在一些情况中也可以包括动物体。待按摩区域可以是目标对象上的各个身体区域。例如人体的腹部，背部，肩部，颈部，臀部，腿部，足部等。因此本实施例的待按摩区域并不限定为某个单独的区域，待按摩区域可以是人体不同的的各个身体区域。在本实施例中主要以背部为例进行举例说明。

需要说明的是，标准划分模板中至少包括两个对所述待按摩区域划分的按摩分区。具体地，背部的按摩分区设定需要结合理疗经络理论和具体场景的实际需求确定。例如，请参照图7，在一些实施例中，标准划分模板可以将人体的背部分成左肩按摩分区，右肩按摩分区、颈部中心按摩分区、左臀按摩分区、右臀按摩分区等具有代表性的11个按摩分区。另外，按摩分区可通过矩形、椭圆形、圆形、三角形等图形分区表示。当然，按摩分区还可以是其他形状，不限制为上面列举的形状。

进一步地，为了便于区分不同的按摩分区，可设置所述标准划分模板中的每一按摩分区的颜色不同。

S200、采集对目标对象的待按摩区域拍摄的二维图像和三维点云信息；

具体地，二维图像即是直接对人体的背部通过拍摄设备拍摄的二维彩色图像。三维点云信息可通过三维点云扫描仪扫描得到。三维点云信息表示按照规则格网排列的三维坐标点的数据集。数据集包括点的三维坐标信息和法线信息。

S300、对所述三维点云信息进行拟合处理得到目标平面；基于所述二维图像和所述目标平面计算透视变换参数；

由于人体之间高矮胖瘦的差异，导致每个人的背部的按摩分区与标准划分模板上设定的按摩分区可能存在差异。因此不能直接将标准划分模板套用在每一个人体的背部进行按摩，这样可能造成过大的误差。于是，本步骤先将所述三维点云信息进行拟合处理得到目标平面，再基于所述二维图像和所述目标平面计算透视变换参数，得到的透视变换参数用于对标准划分模板进行变换，从而得到适合拍摄的人体背部的按摩分区划分模板。

在一些实施例中，请参照图3，对所述三维点云信息进行拟合处理得到目标平面，具体包括如下细分步骤：

S310、对采集得到的所述三维点云信息基于连续性和平滑性条件进行分割，得到连续平滑点云曲面；

假设人体背部是一块连续平滑的区域，这样可以对采集得到的背部三维点云基于连续性和平滑性条件进行分割，得到人体背部的连续平滑点云曲面。具体地，可通过RegionGrowing Segmentation(区域生长分割算法)对采集得到的所述三维点云信息进行分割，得到连续平滑点云曲面。

S320、将所述连续平滑点云曲面进行裁剪，再通过平面拟合方法将连续平滑点云曲面拟合成目标平面。

在本实施例中，为简化问题，将得到的背部连续平滑点云曲面近似为平面。首先，对分割得到的背部连续平滑点云曲面进行裁剪，以移除那些身体侧边弯曲部分点云。具体方法就是，对所有三维点云进行平面拟合。

例如使用基于奇异值分解的方法，以平面法线方向为Z轴(正方向指向拍摄相机)构建局部坐标系，找出所有三维点云在局部坐标系中的Z轴最小值Mz，然后裁剪移除所有在局部坐标系中Z轴坐标值小于Mz-Tz的点云(Tz是一个固定阈值，如5cm)。然后，对筛选过后的三维点云，再次运用平面拟合方法计算出平面参数，这样就得到了背部的目标平面。

在一些实施例中，请参照图4，基于所述二维图像和所述目标平面计算透视变换参数具体包括如下细分步骤：

S330、检测所述二维图像上对应标准划分模板多个按摩分区的第一关键点；

本步骤只要是对采集的背部二维彩色图像上对应标准划分模板多个按摩分区的第一关键点。其中，所述多个按摩分区的第一关键点包括标准划分模板上至少四个按摩分区的第一关键点，或者标准划分模板上所有按摩分区的第一关键点。

需要说明的是，当检测到的按摩分区的第一关键点越多时，基于第一关键点的进行计算结果越准确，越有利于得到准确的透视变换矩阵，从而得到适合拍摄的人体背部的目标划分模板。因此，在一些实施例中，所述多个按摩分区的第一关键点包括标准划分模板上所有按摩分区的第一关键点。

但是在实际使用中，考虑到第一关键点检测的难度。在一些实施例中，至少四个按摩分区的第一关键点也可以是部分按摩分区的第一关键点(如左肩按摩分区，右肩按摩分区、颈部中心按摩分区、左臀按摩分区、右臀按摩分区等代表性的按摩分区的第一关键点)。值得一提的是，第一关键点可选用所述按摩分区的中心点或重心点。需要说明的是，按摩分区的中心点或重心点指的是按摩分区所在图形在几何意义上的中心点或重心点。

值得一提的是，上面检测所述二维图像上的第一关键点可通过多种关键点检测算法。例如OpenPose关键点检测算法，HandPose关键点检测算法等，这里可使用的关键点检测算法众多，恕在此不一一列举。

S340、将所述二维图像上的第一关键点投影至所述目标平面得到目标平面上的投影点；

具体地，以拍摄相机作为原点出发，将通过二维图像上第一关键点中的每个点的射线与目标平面的交点作为其在目标平面的投影点。

S350、基于所述第一关键点和所述投影点计算透视变换矩阵。

基于步骤S330得到的第一关键点和步骤S340得到的投影点，可以计算第一关键点与投影点之间的透视变换矩阵。透视变换矩阵的计算公式如下：

其中(x，y)表示原始图像像素坐标，(x’，y’)为透视变换之后的图像像素坐标。

表示为透视变换矩阵。只要给定透视变换对应的四对像素点坐标，即可求得透视变换矩阵。因此基于步骤S330得到的第一关键点和步骤S340得到的投影点，可以计算第一关键点与投影点之间的透视变换矩阵。

S400、根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加。

将步骤S350得到透视变换矩阵对所述标准划分模板进行透视变换，从而得到与当前的拍摄的人体背部匹配的目标划分模板，再将目标划分模板与拍摄的待按摩区域原图叠加，得到与前的拍摄的人体背部匹配的按摩分区划分，实现对人体的待按摩区域进行自动地区域划分，且能够直观形象地可视化展示和智能分区域针对性按摩理疗，提高体验感和舒适感。

在一些实施例中，请参照图5，步骤S400具体包括如下细分步骤：

S410、获取所述标准分割模板中与所述投影点一一对应的第二关键点，基于所述第二关键点和所述投影点计算仿射变换矩阵，基于该仿射变换矩阵将所述标准划分模板变换至中间图像；

具体地，在得到目标平面上的投影点后，通过查找可获得标准分割模板上与投影点对应的第二关键点。这里的第二关键点参照第一关键点也可以是按摩分区的中心点或重心点。上述与所述投影点一一对应的第二关键点指的是，与目标平面上的投影点一一对应的按摩分区的中心点或重心点。仿射变换的公式如下：

表示为仿射变换矩阵。基于第二关键点和投影点可以计算仿射变换矩阵，再通过仿射变换矩阵将所述标准划分模板变换至中间图像。

值得一提的是，这里的第二关键点和投影点的数量各自最少包括3个。

S420、根据所述透视变换矩阵将所述中间图像变换为与当前拍摄待按摩区域匹配的目标划分模板；

通过步骤S350获得的透视变换矩阵将步骤S410得到的中间图像变换成与当前拍摄待按摩区域匹配的目标划分模板。

S430、将所述目标划分模板与拍摄的待按摩区域原图叠加。

最后将步骤S420得到的目标划分模板与拍摄的待按摩区域原图叠加，得到与当前拍摄的人体背部匹配的按摩分区划分。实现对人体的待按摩区域进行自动地区域划分。

请参照图6，本申请还提出一种按摩区域划分装置，包括：获取模块101、采集模块102、计算模块103以及叠加模块104。

获取模块101，用于获取对目标对象的待按摩区域进行划分的标准划分模板；所述标准划分模板包括多个对所述待按摩区域划分的按摩分区；

采集模块102，用于采集对目标对象的待按摩区域拍摄的二维图像和三维点云信息；

计算模块103，用于对所述三维点云信息进行拟合处理得到目标平面；基于所述二维图像和所述目标平面计算透视变换参数；

叠加模块104，用于根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加。

其中，按摩区域划分装置的各个功能模块实现的步骤可参照本申请按摩区域划分方法的各个实施例，此处不再赘述。

本申请还提出一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述的按摩区域划分方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本申请可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims

1.一种按摩区域划分方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述基于所述二维图像和所述目标平面计算透视变换参数，包括：

基于所述第一关键点和所述投影点计算透视变换矩阵。

3.根据权利要求2所述的方法，其特征在于，所述多个按摩分区的第一关键点包括标准划分模板上至少四个按摩分区的第一关键点，或者标准划分模板上所有按摩分区的第一关键点。

4.根据权利要求3所述的方法，其特征在于，所述第一关键点选用所述按摩分区的中心点或重心点。

5.根据权利要求1所述的方法，其特征在于，所述对所述三维点云信息进行拟合处理得到目标平面，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据所述透视变换参数对所述标准划分模板进行透视变换，将变换后的模板与拍摄的待按摩区域原图叠加，包括：

获取所述标准分割模板中与所述投影点对应的第二关键点，基于所述第二关键点和所述投影点计算仿射变换矩阵，基于该仿射变换矩阵将所述标准划分模板变换至中间图像；

将所述目标划分模板与拍摄的待按摩区域原图叠加。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述标准划分模板中的每一按摩分区的颜色不同。

8.一种按摩区域划分装置，其特征在于，包括：

9.一种按摩区域划分设备，其特征在于，所述设备包括处理器、与所述处理器电连接的存储器及存储在所述存储器上并可在所述处理器上运行的按摩区域划分程序；所述按摩区域划分程序被所述处理器执行时实现如权利要求1至7任一项所述的按摩区域划分方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的按摩区域划分方法中的步骤。