CN107358658B - 一种乳房整形ar预测方法、装置和系统 - Google Patents

Abstract

本发明公开了一种乳房整形AR预测方法、装置和系统。所述乳房整形AR预测方法包括以下步骤：通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；建立乳房三维模型；将乳房三维模型叠加到所述承载装置上；实时调整所述乳房三维模型。本发明通过增强现实技术实时叠加乳房三维模型，采用虚拟与现实结合的方式，直观且多维度的展示乳房三维模型，并可根据整形者的需求，调整乳房参数，直观的观察乳房整形后的效果，解决了现有乳房整形行业中存在的术前整形效果描述难，导致的整形效果不理想的问题。

Description

一种乳房整形AR预测方法、装置和系统

技术领域

本发明涉及乳房整形领域，尤其涉及一种乳房整形AR预测方法、装置和系统。

背景技术

正常大小、形态和良好哺乳功能的乳房，是妇女体态健美和显示性征的主要标志之一。可是由于先天或后天的原因，乳房过小、乳房扁平、乳房缺失，乳房过大、乳房松垂、乳头内陷、乳头乳晕缺失的妇女临床并不少见。因此，围绕着以上乳房发育不良或畸形的乳房整形术也应运而生。

现有的乳房整形模式是整形者通过口述的形式描述想要的整形效果，医生根据患者的描述进行手术，但是由于患者不能很好的表述自己想要的结果与医生的理解偏差，导致最后的整形结果难以满足患者的期望。为提高术前整形效果描述的准确性，也有部分医院采用实体乳房模型来进行描述，但是由于这种模型参数不可调，一个模型只能对应一组参数，参数的不同需要模型数量的支撑，导致成本过高。由此可见目前的乳房整形行业中存在满足率低、沟通成本大等问题。

因此，现有技术还有待于改进和发展。

发明内容

鉴于上述现有技术的不足，本发明提供的一种乳房整形AR预测方法、装置和系统，通过增强现实技术实时叠加乳房三维模型，并可调整乳房参数，直观的观察乳房整形后的效果，解决了现有乳房整形行业中存在的术前整形效果描述难，导致的整形效果不理想的问题。

本发明的技术方案如下：

一种乳房整形AR预测方法，其特征在于，包括以下步骤：

通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；

建立乳房三维模型；

将乳房三维模型叠加到所述承载装置上；

实时调整所述乳房三维模型。

所述的用于乳房整形AR预测方法，其中，所述通过增强现实技术识别承载装置包括以下步骤：

提取承载装置的图像特征；

通过图像采集装置采集实时图像；

提取所述实时图像每帧的图像特征与承载装置的图像特征进行特征点匹配；

根据特征点匹配结果以及图像采集装置内参矩阵进行三维姿态计算，计算所述承载装置在三维空间的位置。

所述的用于乳房整形AR预测方法，其中，所述建立乳房三维模型包括以下步骤：

设置所述乳房三维模型的初始参数，包括乳房、乳晕以及乳头的初始参数；

所述乳房三维模型由若干层乳房三维模型层逐层堆积而成，依次堆积乳房模型、乳晕模型以及乳头模型；

根据乳房三维模型的形状，设定乳房三维模型层的高度与半径的关系；

当所述乳房三维模型层的半径大于乳晕半径时，绘制乳房模型；

当所述乳房三维模型层的半径小于或等于乳晕半径且大于乳头半径时，绘制乳晕模型；

当所述乳房三维模型层的半径小于或等于乳头半径时，绘制乳头模型；

所述绘制过程包括在每层乳房三维模型层上选取若干个点，相邻乳房三维模型层的点组成三角形网络，将所述三角形网络渲染成面，生成乳房表面。

所述的用于乳房整形AR预测方法，其中，所述将乳房三维模型叠加到所述承载装置上包括以下步骤：

返回所述承载装置相对于图像采集装置中的三维位置 ；

在返回的所述三维位置上绘制所述乳房三维模型；

以承载装置图像的宽为单位长度对乳房三维模型进行整体缩放，使得乳房三维模型底部面积与承载装置图像大小保持一致。

所述的用于乳房整形AR预测方法，其中，所述实时调整所述乳房三维模型中，可以调整的参数包括：乳房大小、乳房位置、乳房高度、乳房形状、乳房肤色、胸乳角、外展角、乳头长度、乳头颜色、乳头大小、乳头位置、乳晕大小以及乳晕颜色。

一种乳房整形AR预测装置，包括：

承载装置，用于承载虚拟的乳房三维模型；

图像采集装置，用于采集实时图像；

图像识别模块，与所述图像采集装置连接，用于判断实时图像中有无承载装置，识别实时图像中承载装置的三维位置；

建模模块，用于建立乳房三维模型；

模型叠加模块，与所述建模模块连接，用于将建模模块建立的乳房三维模型叠加到实时图像中的承载装置上；

参数调整模块，与所述建模模块连接，用于实时调整乳房三维模型的参数；

显示模块，与所述模型叠加模块连接，用于显示叠加到承载装置上的乳房三维模型。

所述的乳房整形AR预测装置，其中，所述承载装置为具有纹理图案的胸衣。

所述的乳房整形AR预测装置，其中，所述图像采集装置为智能手机、电脑、相机或平板电脑。

所述的乳房整形AR预测装置，其中，所述图像识别模块包括：

特征点提取模块，用于提取承载装置图像和实时图像的特征点；

特征点匹配模块，与所述特征点提取模块连接，用于承载装置图像和实时图像的特征点匹配；

三维计算模块，与所述特征点匹配模块以及图像采集装置连接，用于计算承载装置在实时图像中的三维位置。

一种乳房整形AR预测系统，包括如上所述的乳房整形AR预测装置。

本发明的有益效果：本发明提供的乳房整形AR预测方法、装置和系统，通过增强现实技术实时叠加乳房三维模型，采用虚拟与现实结合的方式，直观且多维度的展示乳房三维模型，并可根据整形者的需求，调整乳房参数，直观的观察乳房整形后的效果，解决了现有乳房整形行业中存在的术前整形效果描述难，导致的整形效果不理想的问题，提高了如乳房整形的满意率，降低了医生和整形者的沟通成本；另一方面，本发明的乳房三维模型为虚拟模型，无需构建实体模型，极大地节约了成本。

附图说明

图1为本发明提供的一种乳房整形AR预测方法的流程图。

图2为本发明实施例一提供的乳房整形AR预测方法的流程图。

图3为本发明实施例二提供的识别承载装置的流程图。

图4为本发明实施例三提供的建立乳房三维模型的流程图。

图5为本发明实施例三提供的乳房三维模型层半径与高度的关系曲线图。

图6为本发明实施例四提供的叠加乳房三维模型的流程图。

图7为本发明提供的乳房整形AR预测方法的效果图。

图8为本发明提供的乳房整形AR预测方法的另一角度效果图。

图9为本发明实施例一提供的乳房整形AR预测装置的结构示意图。

图10为本发明实施例二提供的图像识别模块的结构示意图。

具体实施方式

本发明提供一种乳房整形AR预测方法，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在目前的整形行业中，现有的乳房整形模式是整形者通过口述的形式描述想要的整形效果，医生根据患者的描述进行手术，但是由于患者不能很好的表述自己想要的结果与医生的理解偏差，导致最后的整形结果难以满足患者的期望。为解决该问题，市场上也出现了一些三维的乳房实体模型，但是这种模型存在参数不可以调整，一个模型只能对应一组参数，参数的不同需要模型数量的支撑，导致成本过高的问题。

为解决上述问题，如图1所示，本发明提供了一种乳房整形AR预测方法，具体包括以下步骤：

步骤100：通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；

步骤200：建立乳房三维模型；

步骤300：将乳房三维模型叠加到所述承载装置上；

步骤400：实时调整所述乳房三维模型。

通过增强现实技术，采用虚拟与现实结合的方式，建立起虚拟的乳房三维模型，并可根据整形者的需求进行实时调整，为后续的整形工作提供了直观的参考。

下面采用几个具体实施例对本发明的技术方案进行详细说明。

实施例一

图2为本发明乳房整形AR预测方法实施例一的流程图。如图2所示，本实施例的方法可以包括：

图像识别，通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型。本实施例的乳房三维模型为虚拟模型，采用增强现实技术进行展示时，乳房三维模型需要在现实世界中有承载装置进行承载。在实际应用中，通过识别承载装置的三维位置，以方便确定乳房三维模型展示时的三维位置。

生成乳房三维模型，在本实施例中，所述乳房三维模型为初步的模型，可通过输入一些身体参数设置乳房的初始参数，如乳房的基地直径大小、高度等。一般情况下，身高值乘以0.53得到的值一般为较为合理的胸围大小。该步骤主要是建立初步的乳房模型，具体形状大小可后续根据整形者的要求进行实时调整。在实际应用中，乳房三维模型可根据整形者的身体参数建立，包括乳房、乳晕和乳头等。

乳房三维模型叠加，通过增强现实技术，将乳房三维模型叠加到承载装置上，以更直观地向整形者展示整形后的乳房效果。

若整形者对乳房三维模型的效果不满意或医生认为整形效果不合理，则根据整形者或医生的要求，实时调整乳房三维模型的参数。相比传统的实体乳房模型，本实施例中的乳房模型为虚拟模型，可以实现参数的随意调整，极大地节约了成本。在实际应用中，可以调整的参数包括但不限于：乳房大小、乳房位置、乳房高度、乳房形状、乳房肤色、胸乳角、外展角、乳头长度、乳头颜色、乳头大小、乳头位置、乳晕大小以及乳晕颜色。

若整形者对乳房三维模型的效果满意或医生认为整形效果合理，则导出乳房三维模型的相应参数用于后续的整形工作。

实施例二

图3为本发明乳房整形AR预测方法实施例二的流程图，如图3所示，本实施例的方法基本步骤与实施例一相同，在本实施例中，图像识别的步骤具体包括：

步骤101，提取承载装置的图像特征，在实际应用中，为方便图像识别算法识别，选用的承载装置应具有较多的特征点，因此，承载装置上的图案应选用相应复杂的图案，在实际应用中，可以根据需求设定纹理图案将纹理图案印制在承载装置上作为模板图案，以方便后续的图像识别工序。

步骤102，通过图像采集装置采集实时图像，承载装置是现实中的实物，要将虚拟的乳房三维模型叠加到现实中的承载装置上，还需要通过图像采集装置采集实时图像，并判断承载装置是否在实时图像中，以及在实时图像中的具体位置。

步骤103，提取所述实时图像每帧的图像特征与承载装置的图像特征进行特征点匹配；

步骤104，根据特征点匹配结果以及图像采集装置内参矩阵进行三维姿态计算，计算所述承载装置在三维空间的位置。

举例说明，在实际应用中，可以通过手机拍摄承载装置，根据拍摄的照片的图像特征与承载装置的图像特征进行特征点匹配，根据特征点匹配结果以及图像采集装置内参矩阵进行三维姿态计算，以判断承载装置是否位于实时图像中，并计算所述承载装置在三维空间的位置，此步骤的工作可以为后续乳房三维模型确定叠加的具体位置。

本实施例的其他步骤和实施例一基本相同，在此不再赘述。

实施例三

图4为本发明乳房整形AR预测方法实施例三的流程图，本实施例的基本步骤同实施例二，具体包括：通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；建立乳房三维模型；将乳房三维模型叠加到所述承载装置上；实时调整所述乳房三维模型。上述步骤同实施例二的部分在此不再赘述。

如图4所示，本实施例建立乳房三维模型的具体步骤包括：

步骤201：设置所述乳房三维模型的初始参数，包括乳房、乳晕以及乳头的初始参数；

步骤202：所述乳房三维模型由若干层乳房三维模型层逐层堆积而成，依次堆积乳房模型、乳晕模型以及乳头模型；

步骤203：根据乳房三维模型的形状，设定乳房三维模型层的高度与半径的关系；当所述乳房三维模型层的半径大于乳晕半径时，绘制乳房模型；当所述乳房三维模型层的半径小于或等于乳晕半径且大于乳头半径时，绘制乳晕模型；当所述乳房三维模型层的半径小于或等于乳头半径时，绘制乳头模型；

步骤204：所述绘制过程包括在每层乳房三维模型层上选取若干个点，相邻乳房三维模型层的点组成三角形网络，将所述三角形网络渲染成面，生成乳房表面。

在实际应用中，所述乳房三维模型的初始参数包括但不限于：乳房基底半径、乳房高度、胸乳角、外展角、乳房颜色、乳晕大小、乳晕颜色、乳头大小 、乳头高度、乳头位置等参数。

在本实施例中，设定乳房基底半径为R、乳房高度为H、胸乳角为α、外展角为β、乳晕半径为Ry、乳头半径为Rt、乳头高度为Ht、乳头位置为p，乳房三维模型初始方向为乳头朝向X轴正方向。乳房基底中心设置为O1（0,0,0）。

根据乳房三维模型的形状的不同，乳房三维模型层的高度与半径的关系不同。在 本实施例中，乳房为半球形，由于半球形为轴对称图形，以椭球型为例，单个乳房三维模型 可以看成一系列的圆堆积组成。每个圆即每层乳房三维模型层，设定乳房三维模型层的半 径为Ri，其圆心到乳房基底中心的距离为Xi，则应该满足

，则

。如图5所示，当R=H时，建立的乳房三维模型为半球形乳房。

当外展角α和胸乳角β都为0时，则所有圆的中心位置都应该在X轴上，圆心坐标为（Xi,0,0）。当α与β不为0时，当圆心为一条直线时，则对应于每个圆的圆心坐标应为(Xi，Xi*tan(α)，Xi*tan(β))。

乳晕的建模同样使用上面同样的方式，只是调整的参数不一样，可调参数则有乳晕半径Ry，使用的建模方程同样使用与乳房模型一致的方程，当Ri大于Ry时绘制乳房，Ri小于等于Ry时绘制乳晕。这样即可达到乳房与乳晕之间完成平滑过渡。

乳头建立则与乳晕的建立相关，当Ri大于Rt时绘制乳晕，Ri小于等于Rt时绘制乳头。这样即可达到乳头与乳晕之间完成平滑过渡。乳头的绘制则为圆柱体加半球体。绘制方式与乳房绘制是一致的。乳头位置的修改则可以通过修改乳头基底圆心位置加上位置偏移值，即可修改乳头的位置参数。

所述绘制过程包括在每层乳房三维模型层上选取若干个点，相邻乳房三维模型层的点组成三角形网络，将所述三角形网络按照一定的顺序渲染成面，生成乳房表面。根据乳房、乳晕、乳头三个部位分别进行贴图、设置纹理，完成乳房的建模。

当需要对乳房三维模型做出实时调整时，只需要通过界面的滑动条的值与建立模型的参数相关联，即可完成实时的对乳房模型进行调整。如滑动乳房高度滑动条即可实时调整建立乳房模型中的乳房高度参数，当乳房高度参数修改后，系统将会对乳房模型重新建模，即可达到实时调整乳房模型的高度。

实施例四

图6为本发明乳房整形AR预测方法实施例四的流程图，本实施例的基本步骤同实施例二，具体包括：通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；建立乳房三维模型；将乳房三维模型叠加到所述承载装置上；实时调整所述乳房三维模型。上述步骤同实施例二的部分在此不再赘述。

如图6所示，本实施例将乳房三维模型叠加到所述承载装置上具体包括以下步骤：

步骤301，返回所述承载装置相对于图像采集装置中的三维位置，所述三维位置为图像识别步骤中所计算出的承载装置在实时图像中的三维位置，用来确定乳房三维模型的叠加位置；

步骤302，在返回的所述三维位置上绘制所述乳房三维模型；

步骤303，为确保乳房三维模型叠加的准确性，以承载装置图像的宽为单位长度对乳房三维模型进行整体缩放，使得乳房三维模型底部面积与承载装置图像大小保持一致。

为更直观的方便整形者观察乳房三维模型，在实际应用中，本发明允许多角度的观察乳房三维模型。为实现多角度观察，可以在从不同角度采集实时图像，从每个角度拍摄时，都实时按照上述步骤叠加乳房三维模型。如图7和图8所示，即为本发明提供的乳房整形AR预测方法不同角度的效果图。

图9为本发明实施例一提供的乳房整形AR预测装置的结构示意图。本发明除提供乳房整形AR预测方法外还提供了一种乳房整形AR预测装置。如图8所示，一种乳房整形AR预测装置，包括：

承载装置1，用于承载虚拟的乳房三维模型，在实际应用中，承载装置1可以为任何实际物体，但为方便图像识别以及整形者的观察，优选地，所述承载装置1为带有纹理图案的胸衣。进一步地，由于市面上胸衣的种类、颜色等其他参数不尽相同，算法层面很难做到识别所有的胸衣，因此，本发明可以采用带有识别模板图像的特制胸衣。

图像采集装置2，用于采集实时图像，在实际应用中，图像采集装置2可以为智能手机、电脑、平板电脑或者相机等，其作用是拍摄实时图像并传输给图像识别模块4。优选地，为方便使用者操作，可以采用智能手机进行拍摄，且将本装置其他模块集成到智能手机上，方便携带和使用。

图像识别模块4，与所述图像采集装置2连接，用于判断实时图像中有无承载装置，识别实时图像中承载装置的三维位置。在实际应用中，图像识别模块4通过匹配承载装置1图像和实时图像的特征点，并根据图像采集装置2内参矩阵进行计算，以确定实时图像中承载装置的三维位置，并返回给模型叠加模块5。在实际应用中，图像识别模块4可以集成到图像采集装置2上。

建模模块3，用于建立乳房三维模型；在实际应用中，可以输入整形者的身体参数来进行建模，得到的是初步的乳房三维模型，后续根据整形者的期望值进行调整。

模型叠加模块5，与所述建模模块3连接，用于将建模模块3建立的乳房三维模型叠加到实时图像中的承载装置1上；

参数调整模块7，与所述建模模块3连接，用于实时调整乳房三维模型的参数；

显示模块6，与所述模型叠加模块5连接，用于显示叠加到承载装置1上的乳房三维模型，在实际应用中，所述现实模块6可以为手机屏幕、电脑屏幕、平板电脑屏幕或相机显示屏等。

在实际应用中，图像采集装置2、建模模块3、图像识别模块4、模型叠加模块5、显示模块6、参数调整模块7均可以集成到同一装置上。

参见图10，为本发明实施例二提供的图像识别模块的结构示意图。在实际应用中，图像识别模块4还可以包括：特征点提取模块41，用于提取承载装置1图像和实时图像的特征点；特征点匹配模块42，与所述特征点提取模块41连接，用于承载装置图像和实时图像的特征点匹配；三维计算模块43，与所述特征点匹配模块42以及图像采集装置2连接，用于计算承载装置1在实时图像中的三维位置。本实施例的图像识别模块结构简单，实现了将现实中的承载装置1与虚拟的乳房三维模型的结合。

本发明还提供了一种乳房整形AR预测系统，包括上述所述的乳房整形AR预测装置。

本发明在实际使用时，可以直接打开图像采集装置采集实时图像，同时生成乳房三维模型并进行叠加，反应的时间极快。例如，可以直接打开手机摄像头，无需进行拍摄，便可在手机屏幕上看到叠加到胸衣上的乳房三维模型，并可以移动视角，从多角度进行观察，极大地提高了整形者与医生间的沟通效率，更加形象、直观地展示了整形效果。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (5)

1.一种乳房整形AR预测方法，其特征在于，包括以下步骤：

通过增强现实技术识别承载装置，所述承载装置用于承载乳房三维模型；

建立乳房三维模型；

将乳房三维模型叠加到所述承载装置上；

实时调整所述乳房三维模型；

所述建立乳房三维模型包括以下步骤：

设置所述乳房三维模型的初始参数，包括乳房、乳晕以及乳头的初始参数；

所述乳房三维模型由若干层乳房三维模型层逐层堆积而成，依次堆积乳房模型、乳晕模型以及乳头模型；

根据乳房三维模型的形状，设定乳房三维模型层的高度与半径的关系；

当所述乳房三维模型层的半径大于乳晕半径时，绘制乳房模型；

当所述乳房三维模型层的半径小于或等于乳晕半径且大于乳头半径时，绘制乳晕模型；

当所述乳房三维模型层的半径小于或等于乳头半径时，绘制乳头模型；

所述绘制过程包括在每层乳房三维模型层上选取若干个点，相邻乳房三维模型层的点组成三角形网络，将所述三角形网络渲染成面，生成乳房表面。

2.根据权利要求1所述的乳房整形AR预测方法，其特征在于，所述通过增强现实技术识别承载装置包括以下步骤：

提取承载装置的图像特征；

通过图像采集装置采集实时图像；

提取所述实时图像每帧的图像特征与承载装置的图像特征进行特征点匹配；

根据特征点匹配结果以及图像采集装置内参矩阵进行三维姿态计算，计算所述承载装置在三维空间的位置。

3.根据权利要求2所述的乳房整形AR预测方法，其特征在于，所述将乳房三维模型叠加到所述承载装置上包括以下步骤：

返回所述承载装置相对于图像采集装置中的三维位置 ；

在返回的所述三维位置上绘制所述乳房三维模型；

以承载装置图像的宽为单位长度对乳房三维模型进行整体缩放，使得乳房三维模型底部面积与承载装置图像大小保持一致。

4.根据权利要求1所述的乳房整形AR预测方法，其特征在于，所述实时调整所述乳房三维模型中，可以调整的参数包括：乳房大小、乳房位置、乳房高度、乳房形状、乳房肤色、胸乳角、外展角、乳头长度、乳头颜色、乳头大小、乳头位置、乳晕大小以及乳晕颜色。

5.一种乳房整形AR预测装置，其特征在于，包括：

承载装置，用于承载虚拟的乳房三维模型；

图像采集装置，用于采集实时图像；

图像识别模块，与所述图像采集装置连接，用于判断实时图像中有无承载装置，识别实时图像中承载装置的三维位置；

建模模块，用于建立乳房三维模型，具体为：

设置所述乳房三维模型的初始参数，包括乳房、乳晕以及乳头的初始参数；

所述乳房三维模型由若干层乳房三维模型层逐层堆积而成，依次堆积乳房模型、乳晕模型以及乳头模型；

根据乳房三维模型的形状，设定乳房三维模型层的高度与半径的关系；

当所述乳房三维模型层的半径大于乳晕半径时，绘制乳房模型；

当所述乳房三维模型层的半径小于或等于乳晕半径且大于乳头半径时，绘制乳晕模型；

当所述乳房三维模型层的半径小于或等于乳头半径时，绘制乳头模型；

所述绘制过程包括在每层乳房三维模型层上选取若干个点，相邻乳房三维模型层的点组成三角形网络，将所述三角形网络渲染成面，生成乳房表面；

模型叠加模块，与所述建模模块连接，用于将建模模块建立的乳房三维模型叠加到实时图像中的承载装置上；

参数调整模块，与所述建模模块连接，用于实时调整乳房三维模型的参数；

显示模块，与所述模型叠加模块连接，用于显示叠加到承载装置上的乳房三维模型，所述承载装置为带有识别模板的特制胸衣。

Images