CN109829915B - 基于三维空间面型的正畸专用微笑美学评测方法及系统 - Google Patents
基于三维空间面型的正畸专用微笑美学评测方法及系统 Download PDFInfo
- Publication number
- CN109829915B CN109829915B CN201910154109.3A CN201910154109A CN109829915B CN 109829915 B CN109829915 B CN 109829915B CN 201910154109 A CN201910154109 A CN 201910154109A CN 109829915 B CN109829915 B CN 109829915B
- Authority
- CN
- China
- Prior art keywords
- point
- lip
- midpoint
- smile
- method comprises
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 103
- 230000001815 facial effect Effects 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims description 98
- 210000004513 dentition Anatomy 0.000 claims description 45
- 230000036346 tooth eruption Effects 0.000 claims description 45
- 210000003128 head Anatomy 0.000 claims description 44
- 210000001747 pupil Anatomy 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 38
- 210000004283 incisor Anatomy 0.000 claims description 33
- 210000003464 cuspid Anatomy 0.000 claims description 30
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000007405 data analysis Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- NOQGZXFMHARMLW-UHFFFAOYSA-N Daminozide Chemical compound CN(C)NC(=O)CCC(O)=O NOQGZXFMHARMLW-UHFFFAOYSA-N 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 6
- 230000001179 pupillary effect Effects 0.000 claims description 4
- 241000083547 Columella Species 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000008685 targeting Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 210000003625 skull Anatomy 0.000 description 1
Images
Landscapes
- Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
Abstract
本发明提供一种基于三维空间面型的正畸专用微笑美学评测方法及系统，通过建立以两台摄像机的中点为世界坐标原点的三维坐标系；受试者在自然头位下发出姿势性微笑，左摄像头L、右摄像头R同时对受试者的微笑进行采集，获得面部图像；标定左、右图像上的面部特征点，确定面部特征点的三维世界坐标；确定参考平面及参考线，根据面部特征点的三维坐标计算出用于微笑评测的评测指标。该种基于三维空间面型的正畸专用微笑美学评测方法及系统，针对口腔医学治疗前、后微笑美学评测，所得到的指标能够辅助口腔医师对患者微笑作出客观、定量的评价，具有实用范围广，适应性强，操作简单，灵活性强的特点。
Description
技术领域
本发明涉及一种基于三维空间面型的正畸专用微笑美学评测方法及系统。
背景技术
微笑是人类共同的语言，在人际交往和情感表达中具有重要作用，在口腔医学的临床实践中，微笑的美观与和谐是口腔医师和就诊患者所共同追求的目标之一。微笑已成为口腔医学临床检查诊断、疗效预测及最终评价不可忽视的参考资料。
但是，针对口腔正畸治疗前后面部美学尤其是微笑美学的评定，至今主要通过医师和患者感受等定性判断，没有一个统一、标准、客观且量化的第三方测评系统。同时，能够针对基于三维空间的面型微笑进行评测的方法，国内外目前也鲜见报道。
上述问题是在正畸治疗前后的微笑美学评测过程中应当予以考虑并解决的问题。
发明内容
基于当今时代的需求和现有技术存在的不足，本发明的目的是提供一种基于三维空间面型的正畸专用微笑美学评测方法及系统解决现有技术中存在的通过医师和患者感受等定性判断，没有一个统一、标准、客观且量化的问题。
本发明的技术解决方案是：
一种基于三维空间面型的正畸专用微笑美学评测方法包括以下步骤，
S1、利用张正友标定法对左摄像头L、右摄像头R进行标定，得到摄像头的内参、外参及畸变参数，建立以两台摄像机的中点为世界坐标原点的三维坐标系；
S2、受试者在自然头位下发出姿势性微笑，左摄像头L、右摄像头R同时对受试者的微笑进行采集，获得面部图像；
S3、在步骤S2所获得面部图像上标定左、右图像上的面部特征点，确定面部特征点的三维世界坐标；
S4、确定参考平面及参考线，包括正中矢状面、咬合平面和牙列中线，根据面部特征点的三维坐标计算出用于微笑评测的评测指标。
进一步地，步骤S3包括：
S31、双目标定：根据步骤S1所获得的左、右摄像头的内参和畸变参数，结合标定角点对左右摄像头进行双目标定，得到左、右摄像头相机坐标系间的变换矩阵，包括旋转矢量和平移矢量，以及对应的本征矩阵和基础矩阵；
S32、立体矫正：根据步骤S1所获得的左、右摄像头的内参、畸变参数及步骤S31获得的左、右摄像头坐标系间的变换矩阵，对左、右摄像头得到的图像进行立体矫正，使得左、右摄像头的图像位于同一平面且行对准，求得到相应的重投影矩阵；
S33、标定面部特征点：标定立体矫正后的图像上的面部特征点，需标定的面部特征点包括：瞳孔点、鼻翼点、鼻下点、颏前点、口角点、上唇上缘中点、左唇峰点、右唇峰点、左侧上唇中点、右侧上唇中点、上口点、下口点、下唇下缘中点、左侧下唇中点和右侧下唇中点，具体为，
瞳孔点：瞳孔中心点，分为左瞳孔点Nlp和右瞳孔点Nrp；鼻翼点：鼻部宽度方向最远点，分为左鼻翼点Nln和右鼻翼点Nrn；鼻下点：鼻小柱与上唇连接点Nun；颏前点：颏部最凸点Ncf；口角点：口角两侧最外点，分为左口角点Nlm和右口角点Nrm；上唇上缘中点：上唇上缘的中点Nuluc，将上唇上缘分为左右两个部分；左唇峰点：左侧唇峰点Nllp；右唇峰点：右侧唇峰点Nrlp；左侧上唇中点：上唇上缘左侧的中点Nlulc；右侧上唇中点：上唇上缘右侧的中点Nrulc；上口点：上唇下缘中点Numc；下口点：下唇上缘中点Nlmc；下唇下缘中点：下唇下缘的中点Nllc，将下唇下缘分为左右两个部分；左侧下唇中点：下唇下缘左侧的中点Nllcl；右侧下唇中点：下唇下缘右侧的中点Nllcr；左上中切牙龈缘点：左上中切牙龈缘最上点Nltu；右上中切牙龈缘点：右上中切牙龈缘最上点Nrtu；左上中切牙切缘点：左上中切牙切缘最下点Nltl；左上尖牙远中点：左上尖牙最远中点Nltc；右上尖牙远中点：右上尖牙最远中点Nrtc；左上尖牙牙尖点：左上尖牙牙尖顶点Nltt；右上尖牙牙尖点：右上尖牙牙尖顶点Nrtt；牙列中线：左、右中切牙间的平行牙长轴作为牙列中线l；牙列中线上端点：牙列中线上方端点Ntcu；牙列中线下端点：牙列中线下方端点Ntcl；
S34、计算面部特征点的三维世界坐标：由步骤S33标记得到的面部特征点N在左、右图像上的二维坐标
得到面部特征点在左、右相机图像间的视差，根据步骤S32所获得的重投影矩阵，计算面部特征点在世界坐标系中的三维坐标(xN,yN,zN)。
进一步地，步骤S4具体为，
S41、确定头部正中矢状面S1：以左、右瞳孔连线作为头部水平基准线，过鼻下点作垂直于瞳孔连线的平面，将此平面作为头部正中矢状面，头部正中矢状面S1为：A1x+B1y+C1z+D1＝0，其中参数A1、B1、C1及D1的求解具体为，
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，左右瞳孔连线的方向向量为(xlp-xrp,ylp-yrp,zlp-zrp)，头部正中矢状面的法向量为(A1,B1,C1)，由于左右瞳孔连线垂直于头部正中矢状面，则左右瞳孔连线的方向向量与头部正中矢状面的法向量平行，则：
头部正中矢状面经过鼻下点Nun，鼻下点坐标为(xun,yun,zun)，将其带入平面方程，得到：A1xun+B1yun+C1zun+D1＝0
联立求解以上两个方程，可求得参数A1、B1、C1及D1；
S42、确定咬合平面S2：左上尖牙牙尖顶点、左上中切牙切缘点、右上尖牙牙尖顶点所成平面为咬合平面，咬合平面S2为：A2x+B2y+C2z+D2＝0，其中，参数A2、B2、C2及D2求解具体为，
由于左上尖牙牙尖顶点Nltt、左上中切牙切缘点Nltl、右上尖牙牙尖顶点Nrtt经过咬合平面，将三点坐标代入头部正中矢状面方程，求得参数A2、B2、C2及D2；
S43、确定牙列中线：左、右中切牙间的平行牙长轴作为牙列中线，分为上牙列中线和下牙列中线；
S44、根据步骤S3所得的三维坐标，计算出用于评价微笑的评测指标。进一步地，步骤S44，计算出用于评价微笑的评测指标，具体为，S441、对于左右口角对称性评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm，ylm，zlm)，左口角点Nlm到矢状面的距离：
右口角点Nrm的坐标为(xrm，yrm，zrm)，右口角点Nrm到矢状面的距离：
得出左右口角对称性评测指标为|d1-d2|；
S442、对于上唇对称性评测指标，计算过程如下：
上唇上缘中点Nuluc的坐标为(xuluc，yuluc，zuluc)，其到矢状面的距离：
左唇峰点Nllp的坐标为(xllp,yllp,zllp)到正中矢状面的距离为：
右唇峰点Nrlp的坐标为(xrlp,yrlp,zrlp)，其到正中矢状面的距离为：
最后，上唇对称性评测指标为d3+|d4-d5|；
S443、对于下唇对称性评测指标，计算过程如下：
下唇下缘中点Nllc的坐标为(xllc，yllc，zllc)，其到矢状面的距离为：
左侧下唇中点Nllcl的坐标为(xllcl，yllcl，zllcl)，其到正中矢状面的距离为：
右侧下唇中点Nllcr的坐标为(xllcr，yllcr，zllcr)，其到正中矢状面的距离为：
最后，下唇对称性评测指标为d6+|d7-d8|；
S444、对于牙列对称性评测指标，计算过程如下：
牙列中线上端点的坐标为(xtcu，ytcu，ztcu)，其到矢状面的距离为：
牙列中线下端点的坐标为(xtcl，ytcl，ztcl)，其到矢状面的距离为：
最后，牙列对称性评测指标为：
S445、对于鼻部对称性评测指标，计算过程如下：
左鼻翼点Nln的坐标为(xln，yln，zln)，其到矢状面的距离：
右鼻翼点Nrn的坐标为(xrn，yrn，zrn)，其到矢状面的距离：
最后，鼻部对称性评测指标为|d11-d12|；
S446、对于下巴颏对称性评测指标，计算过程如下：
颏前点Ncf的坐标为(xcf,ycf,zcf)，其到矢状面的距离即为下巴颏对称性评测指标为：
S447、对于口角宽度评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm，ylm，zlm)，右口角点Nrm的坐标为(xrm，yrm，zrm)，两点间的距离即为口角宽度评测指标为：
S448、对于唇间隙评测指标，计算过程如下：
上口点Numc的坐标为(xumc，yumc，zumc)，下口点Nlmc的坐标为(xlmc，ylmc，zlmc)，两点间的距离即为唇间隙评测指标为：
S449、对于牙龈暴露量评测指标，计算过程如下：
左侧上唇中点Nlulc的坐标为(xlulc，ylulc，zlulc)，左上中切牙龈缘点Nltu的坐标为(xltu，yltu，zltu)，两点间的距离为：
右侧上唇中点Nrulc的坐标为(xrulc，yrulc，zrulc)，右上中切牙龈缘点Nrtu的坐标为(xrtu，yrtu，zrtu)，两点间的距离为：
最后，牙龈暴露量评测指标为d16+d17；
S4410、对于笑容指数评测指标：口角宽度为d14，唇间隙为d15，最后笑容指数评测指标为d14/d15；
S4411、对于鼻唇沟高度评测指标，计算过程如下：鼻下点Nun的坐标为(xun，yun，zun)，上唇上缘中点Nuluc的坐标为(xuluc，yuluc，zuluc)，两点间的距离即为鼻唇沟高度评测指标为：
S4412、对于颏唇沟高度评测指标，计算过程如下：颏前点Ncf的坐标为(xcf,ycf,zcf)，下唇下缘中点Nllc的坐标为(xllc,yllc,zllc)，两点间的距离即为颏唇沟高度评测指标为：
S4413、对于颊廊比率评测指标，计算过程如下：左上尖牙最远中点Nltc的坐标为(xltc，yltc，zltc)，右上尖牙最远中点Nrtc的坐标为(xrtc，yrtc，zrtc)，两点间的距离为：
口角宽度为d14，该距离与口角宽度的比值即为颊廊比率评测指标为d20/d14；
S4414、对于咬合平面的倾斜度评测指标，计算过程如下：
咬合平面S2为A2x+B2y+C2z+D2＝0，其法向量m为(A2,B2,C2)；
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，所以瞳孔连线的方向向量n为(xlp-xrp,ylp-yrp,zlp-zrp)；
所以咬合平面和瞳孔连线的角度即为咬合平面的倾斜度评测指标为：
进一步地，步骤S2具体为，
S21、受试者坐于距左、右摄像头中点水平位置，双眼平视前方，调整采集器支架的高度使受试者头部处于两相机公共视场的区域内；
S22、操作者辅助受试者摆出自然头位并引导受试者自然微笑，同时左摄像头L、右摄像机R同步采集微笑照片，得到受试者在自然头位下微笑的面部图像。
一种基于三维空间面型的正畸专用微笑美学评测系统，包括面部图像采集模块、数据分析处理模块和显示模块；
面部图像采集模块：通过左摄像头L、右摄像头R同时对受试者进行采集，获得面部图像，并将所得面部图像发送给数据分析处理模块；
数据分析处理模块：获得面部图像采集模块发送的面部图像，对面部图像采用上述任一项所述基于三维空间面型的正畸专用微笑美学评测方法的进行分析，确定面部特征点的三维坐标，进而得出评测指标；
显示模块：用于显示面部图像采集模块传来的面部图像信息，使操作者对其进行面部特征点的人工标定，并显示数据分析处理模块所得评测指标。
进一步地，左摄像头L、右摄像头R分别设于图像采集支架上，图像采集支架包括横杆、云台、高度调节套管和三脚架底座，横杆的两端分别设有云台，左摄像头L、右摄像头R分别设有云台上，高度调节套管的一端连接横杆的中点，高度调节套管的另一端连接三脚架底座上。
进一步地，高度调节套管包括中轴、竖管和曲臂构成，中轴采用套管结构，中轴的端部设有通孔，通孔内设有竖管，中轴的侧部设有曲臂，曲臂的端部螺纹穿入中轴并接触竖管，竖管标有刻度，竖杆的端部连接横杆的中点。
本发明的有益效果是，该种基于三维空间面型的正畸专用微笑美学评测方法及系统，与现有技术相比，具有以下优点：
一、该种基于三维空间面型的正畸专用微笑美学评测方法及系统，针对口腔医学治疗前、后微笑美学评测，具有实用范围广，适应性强，操作简单，灵活性强的特点。
二、本发明首次提出基于三维空间的微笑评测系统及方法，能够推进微笑面像更好地应用于口腔正畸临床检查诊断、疗效预测及治疗效果评价。
三、本发明设计了一个统一、标准且客观的第三方测评系统及方法，实现口腔医学治疗后面部美学尤其是微笑美学的定量分析及评测，所得到的指标能够辅助口腔医师对患者微笑作出客观、定量的评价。
附图说明
图1是本发明实施例基于三维空间面型的正畸专用微笑美学评测方法的流程示意图；
图2是实施例中面部特征点及参考平面和参考线的说明示意图；
图3是实施例中采集器支架的示意图；
其中：1-云台，2-横杆，3-竖管，4-中轴，5-曲臂，6-三脚架底座。
具体实施方式
下面结合附图详细说明本发明的优选实施例。
实施例
一种基于三维空间面型的正畸专用微笑美学评测方法，如图1，包括以下步骤，
S1.利用张正友标定法对左摄像头L、右摄像头R进行标定，得到摄像头的内参、外参及畸变参数，建立以两台摄像机的中点为世界坐标原点的三维坐标系。其中，左摄像头L为受试者右手侧摄像头，右摄像头R为受试者左手侧摄像头。
建立以两台摄像机的中点为世界坐标原点的三维坐标系，具体为：取左摄像头镜头L的中心点O1与右摄像头镜头R的中心点Or连线中点O为坐标系原点，两台摄像机镜头中心连线为X轴，与地面平行，Y轴垂直于地面，Z轴垂直于X轴与Y轴。
S2.受试者在自然头位下发出姿势性微笑，左、右摄像机同时对此进行采集，获得面部图像。
步骤S2具体为，
S21.受试者坐于距左、右摄像头中点水平距离1.5m处，双眼平视前方，调整采集器支架的高度使受试者头部处于两相机公共视场的区域内。
S22.操作者辅助受试者摆出自然头位并引导受试者自然微笑，同时左、右摄像机同步采集微笑照片，得到受试者在自然头位下微笑的面部图像。
S3.由操作者人工标定左、右图像上的面部特征点，确定面部特征点的三维世界坐标。具体为，特征点N在摄像头L与摄像头R所采集的左、右图像上的对应点为Nl、Nr，坐标为
根据双目立体视觉的原理，由面部特征点的二维坐标和两摄像头的内参、外参，确定面部特征点的三维世界坐标(xN,yN,zN)。
步骤S3具体为，
S31.双目标定：根据步骤S1所获得的左、右摄像头的内参和畸变参数，结合标定角点对左右摄像头进行双目标定，得到左、右摄像头相机坐标系间的变换矩阵，包括旋转矢量和平移矢量，以及对应的本征矩阵和基础矩阵。
S32.立体矫正：根据步骤S1所获得的左、右摄像头的内参、畸变参数及步骤S31获得的左、右摄像头坐标系间的变换矩阵，对左、右摄像头得到的图像进行立体矫正，使得左、右摄像头的图像位于同一平面且行对准，求得到相应的重投影矩阵。
S33.标定面部特征点：操作者手工标定立体矫正后的图像上的面部特征点，需标定的面部特征点包括：瞳孔点、鼻翼点、鼻下点、颏前点、口角点、上唇上缘中点、左唇峰点、右唇峰点、左侧上唇中点、右侧上唇中点、上口点、下口点、下唇下缘中点、左侧下唇中点和右侧下唇中点，面部特征点位置及序号如图2所示，需标定的面部特征点具体包括：
瞳孔点：瞳孔中心点，分为左瞳孔点Nlp和右瞳孔点Nrp；
鼻翼点：鼻部宽度方向最远点，分为左鼻翼点Nln和右鼻翼点Nrn；
鼻下点：鼻小柱与上唇连接点Nun；
颏前点：颏部最凸点Ncf；
口角点：口角两侧最外点，分为左口角点Nlm和右口角点Nrm；
上唇上缘中点：上唇上缘的中点Nuluc，将上唇上缘分为左右两个部分；
左唇峰点：左侧唇峰点Nllp；
右唇峰点：右侧唇峰点Nrlp；
左侧上唇中点：上唇上缘左侧的中点Nlulc；
右侧上唇中点：上唇上缘右侧的中点Nrulc；
上口点：上唇下缘中点Numc；
下口点：下唇上缘中点Nlmc；
下唇下缘中点：下唇下缘的中点Nllc，将下唇下缘分为左右两个部分；
左侧下唇中点：下唇下缘左侧的中点Nllcl；
右侧下唇中点：下唇下缘右侧的中点Nllcr；
左上中切牙龈缘点：左上中切牙龈缘最上点Nltu；
右上中切牙龈缘点：右上中切牙龈缘最上点Nrtu；
左上中切牙切缘点：左上中切牙切缘最下点Nltl；
左上尖牙远中点：左上尖牙最远中点Nltc；
右上尖牙远中点：右上尖牙最远中点Nrtc；
左上尖牙牙尖点：左上尖牙牙尖顶点Nltt；
右上尖牙牙尖点：右上尖牙牙尖顶点Nrtt；
牙列中线：左、右中切牙间的平行牙长轴作为牙列中线l；
牙列中线上端点：牙列中线上方端点Ntcu；
牙列中线下端点：牙列中线下方端点Ntcl。
S34.计算特征点三维世界坐标：，由步骤S33标记得到的特征点N在左、右图像上的二维坐标
得到特征点在左、右相机图像间的视差，根据步骤S32所获得的重投影矩阵，计算特征点在世界坐标系中的三维坐标(xN,yN,zN)。
S4.确定参考平面及参考线，包括正中矢状面、咬合平面和牙列中线，根据面部特征点的三维坐标计算出用于微笑评测的各项评测指标。
步骤S4具体为，
S41.确定头部正中矢状面S1：以左、右瞳孔连线作为头部水平基准线，过鼻下点作垂直于瞳孔连线的平面，将此平面作为头部正中矢状面。
步骤S41中，定义头部正中矢状面S1为：A1x+B1y+C1z+D1＝0，其中参数A1、B1、C1及C1的求解具体为，
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，左右瞳孔连线的方向向量为(xlp-xrp,ylp-yrp,zlp-zrp)，头部正中矢状面的法向量为(A1,B1,C1)，由于左右瞳孔连线垂直于头部正中矢状面，则左右瞳孔连线的方向向量与头部正中矢状面的法向量平行，则：
头部正中矢状面经过鼻下点Nun，鼻下点坐标为(xun，yun，zun)，将其带入平面方程，得到：A1xun+B1yun+C1zun+D1＝0
联立求解以上两个方程，可求得参数A1、B1、C1及D1。
S42.确定咬合平面S2：左上尖牙牙尖顶点、左上中切牙切缘点、右上尖牙牙尖顶点所成平面为咬合平面。
步骤S42中，定义咬合平面S2为：A2x+B2y+C2z+D2＝0，其中，参数A2、B2、C2及D2求解具体为，
由于左上尖牙牙尖顶点Nltt、左上中切牙切缘点Nltl、右上尖牙牙尖顶点Nrtt经过咬合平面，将三点坐标代入头部正中矢状面方程，求得参数A2、B2、C2及D2。
S43.确定牙列中线：左、右中切牙间的平行牙长轴作为牙列中线，分为上牙列中线和下牙列中线。
S44.根据步骤S3所得的三维坐标，计算出用于评价微笑的评测指标。
步骤S44中，计算出用于评价微笑的评测指标，具体为，
S441、对于左右口角对称性评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm，ylm，zlm)，左口角点Nlm到矢状面的距离：
右口角点Nrm的坐标为(xrm，yrm，zrm)，右口角点Nrm到矢状面的距离：
得出左右口角对称性评测指标为|d1-d2|；
S442、对于上唇对称性评测指标，计算过程如下：
上唇上缘中点Nuluc的坐标为(xuluc，yuluc，zuluc)，其到矢状面的距离：
左唇峰点Nllp的坐标为(xllp,yllp,zllp)到正中矢状面的距离为：
右唇峰点Nrlp的坐标为(xrlp,yrlp,zrlp)，其到正中矢状面的距离为：
最后，上唇对称性评测指标为d3+|d4-d5|；
S443、对于下唇对称性评测指标，计算过程如下：
下唇下缘中点Nllc的坐标为(xllc，yllc，zllc)，其到矢状面的距离为：
左侧下唇中点Nllcl的坐标为(xllcl，yllcl，zllcl)，其到正中矢状面的距离为：
右侧下唇中点Nllcr的坐标为(xllcr，yllcr，zllcr)，其到正中矢状面的距离为：
最后，下唇对称性评测指标为d6+|d7-d8|；
S444、对于牙列对称性评测指标，计算过程如下：
牙列中线上端点的坐标为(xtcu，ytcu，ztcu)，其到矢状面的距离为：
牙列中线下端点的坐标为(xtcl，ytcl，ztcl)，其到矢状面的距离为：
最后，牙列对称性评测指标为：
S445、对于鼻部对称性评测指标，计算过程如下：
左鼻翼点Nln的坐标为(xln，yln，zln)，其到矢状面的距离：
右鼻翼点Nrn的坐标为(xrn，yrn，zrn)，其到矢状面的距离：
最后，鼻部对称性评测指标为|d11-d12|；
S446、对于下巴颏对称性评测指标，计算过程如下：
颏前点Ncf的坐标为(xcf,ycf,zcf)，其到矢状面的距离即为下巴颏对称性评测指标为：
S447、对于口角宽度评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm，ylm，zlm)，右口角点Nrm的坐标为(xrm，yrm，zrm)，两点间的距离即为口角宽度评测指标为：
S448、对于唇间隙评测指标，计算过程如下：
上口点Numc的坐标为(xumc，yumc，zumc)，下口点Nlmc的坐标为(xlmc，ylmc，zlmc)，两点间的距离即为唇间隙评测指标为：
S449、对于牙龈暴露量评测指标，计算过程如下：
左侧上唇中点Nlulc的坐标为(xlulc，ylulc，zlulc)，左上中切牙龈缘点Nltu的坐标为(xltu，yltu，zltu)，两点间的距离为：
右侧上唇中点Nrulc的坐标为(xrulc，yrulc，zrulc)，右上中切牙龈缘点Nrtu的坐标为(xrtu，yrtu，zrtu)，两点间的距离为：
最后，牙龈暴露量评测指标为d16+d17；
S4410、对于笑容指数评测指标：口角宽度为d14，唇间隙为d15，最后笑容指数评测指标为d14/d15；
S4411、对于鼻唇沟高度评测指标，计算过程如下：鼻下点Nun的坐标为(xun,yun,zun)，上唇上缘中点Nuluc的坐标为(xuluc，yuluc，zuluc)，两点间的距离即为鼻唇沟高度评测指标为：
S4412、对于颏唇沟高度评测指标，计算过程如下：颏前点Ncf的坐标为(xcf,ycf,zcf)，下唇下缘中点Nllc的坐标为(xllc,yllc,zllc)，两点间的距离即为颏唇沟高度评测指标为：
S4413、对于颊廊比率评测指标，计算过程如下：左上尖牙最远中点Nltc的坐标为(xltc，yltc，zltc)，右上尖牙最远中点Nrtc的坐标为(xrtc，yrtc，zrtc)，两点间的距离为：
口角宽度为d14，该距离与口角宽度的比值即为颊廊比率评测指标为d20/d14；
S4414、对于咬合平面的倾斜度评测指标，计算过程如下：
咬合平面S2为A2x+B2y+C2z+D2＝0，其法向量m为(A2,B2,C2)；
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，所以瞳孔连线的方向向量n为(xlp-xrp,ylp-yrp,zlp-zrp)；
所以咬合平面和瞳孔连线的角度即为咬合平面的倾斜度评测指标为：
实施例的步骤S44中，评测指标及其定义如下表1所示。
表1实施例中评测指标及其定义
实施例的基于三维空间面型的正畸专用微笑美学评测方法，能够进行统一、标准且客观的测评，实现口腔医学治疗后面部美学尤其是微笑美学的定量分析及评测，所得到的指标能够辅助口腔医师对患者微笑作出客观、定量的评价。
实施例还提供一种基于三维空间面型的正畸专用微笑美学评测系统，包括面部图像采集模块、数据分析处理模块和显示模块。
面部图像采集模块：通过左摄像头L、右摄像头R同时对受试者进行采集，获得面部图像，并将所得面部图像发送给数据分析处理模块。
数据分析处理模块：获得面部图像采集模块发送的面部图像，对面部图像采用上述任一项所述基于三维空间面型的正畸专用微笑美学评测方法的进行分析，确定面部特征点的三维坐标，进而得出评测指标。
显示模块：用于显示面部图像采集模块传来的面部图像信息，使操作者对其进行面部特征点的人工标定，并显示数据分析处理模块所得评测指标。
实施例中，如图3，左摄像头L、右摄像头R分别设于图像采集支架上，图像采集支架包括横杆2、云台1、高度调节套管和三脚架底座6，横杆2的两端分别设有云台1，左摄像头L、右摄像头R分别设有云台1上，高度调节套管的一端连接横杆2的中点，高度调节套管的另一端连接三脚架底座6上。
高度调节套管包括中轴4、竖管3和曲臂5构成，中轴4采用套管结构，中轴4的端部设有通孔，通孔内设有竖管3，中轴4的侧部设有曲臂5，曲臂5的端部螺纹穿入中轴4并接触竖管3，竖管3标有刻度，竖杆的端部连接横杆2的中点。
实施例中，摄像头的分辨率为2048X1536，拍摄范围为0.8-1.4m。分辨率和拍摄范围可以根据实际需求及情况进行调整，由此满足人体真实面部所需的精确率需求，适应头颅尺寸的个体差异。竖管3上标有的刻度，可以标定当前左摄像头L、右摄像头R所在的高度。图像采集支架为光学图像采集器提供机械支撑，并调节拍摄的范围。
该种基于三维空间面型的正畸专用微笑美学评测方法及系统，针对口腔医学治疗前、后微笑美学评测，具有实用范围广，适应性强，操作简单，灵活性强的特点。实施例首次提出基于三维空间的微笑评测方法及系统，能够推进微笑面像更好地应用于口腔正畸临床检查诊断、疗效预测及治疗效果评价。
Claims (7)
1.一种基于三维空间面型的正畸专用微笑美学评测方法，其特征在于：包括以下步骤，
S1、利用张正友标定法对左摄像头L、右摄像头R进行标定，得到摄像头的内参、外参及畸变参数，建立以两台摄像机的中点为世界坐标原点的三维坐标系；
S2、受试者在自然头位下发出姿势性微笑，左摄像头L、右摄像头R同时对受试者的微笑进行采集，获得面部图像；
S3、在步骤S2所获得面部图像上标定左、右图像上的面部特征点，确定面部特征点的三维世界坐标；
S31、双目标定：根据步骤S1所获得的左、右摄像头的内参和畸变参数，结合标定角点对左右摄像头进行双目标定，得到左、右摄像头相机坐标系间的变换矩阵，包括旋转矢量和平移矢量，以及对应的本征矩阵和基础矩阵；
S32、立体矫正：根据步骤S1所获得的左、右摄像头的内参、畸变参数及步骤S31获得的左、右摄像头坐标系间的变换矩阵，对左、右摄像头得到的图像进行立体矫正，使得左、右摄像头的图像位于同一平面且行对准，求得到相应的重投影矩阵；
S33、标定面部特征点：标定立体矫正后的图像上的面部特征点，需标定的面部特征点包括：瞳孔点、鼻翼点、鼻下点、颏前点、口角点、上唇上缘中点、左唇峰点、右唇峰点、左侧上唇中点、右侧上唇中点、上口点、下口点、下唇下缘中点、左侧下唇中点和右侧下唇中点，具体为，
瞳孔点：瞳孔中心点，分为左瞳孔点Nlp和右瞳孔点Nrp；鼻翼点：鼻部宽度方向最远点，分为左鼻翼点Nln和右鼻翼点Nrn；鼻下点：鼻小柱与上唇连接点Nun；颏前点：颏部最凸点Ncf；口角点：口角两侧最外点，分为左口角点Nlm和右口角点Nrm；上唇上缘中点：上唇上缘的中点Nuluc，将上唇上缘分为左右两个部分；左唇峰点：左侧唇峰点Nllp；右唇峰点：右侧唇峰点Nrlp；左侧上唇中点：上唇上缘左侧的中点Nlulc；右侧上唇中点：上唇上缘右侧的中点Nrulc；上口点：上唇下缘中点Numc；下口点：下唇上缘中点Nlmc；下唇下缘中点：下唇下缘的中点Nllc，将下唇下缘分为左右两个部分；左侧下唇中点：下唇下缘左侧的中点Nllcl；右侧下唇中点：下唇下缘右侧的中点Nllcr；左上中切牙龈缘点：左上中切牙龈缘最上点Nltu；右上中切牙龈缘点：右上中切牙龈缘最上点Nrtu；左上中切牙切缘点：左上中切牙切缘最下点Nltl；左上尖牙远中点：左上尖牙最远中点Nltc；右上尖牙远中点：右上尖牙最远中点Nrtc；左上尖牙牙尖点：左上尖牙牙尖顶点Nltt；右上尖牙牙尖点：右上尖牙牙尖顶点Nrtt；牙列中线：左、右中切牙间的平行牙长轴作为牙列中线l；牙列中线上端点：牙列中线上方端点Ntcu；牙列中线下端点：牙列中线下方端点Ntcl；
S34、计算面部特征点的三维世界坐标：由步骤S33标记得到的面部特征点N在左、右图像上的二维坐标
得到面部特征点在左、右相机图像间的视差，根据步骤S32所获得的重投影矩阵，计算面部特征点在世界坐标系中的三维坐标(xN,yN,zN)；
S4、确定参考平面及参考线，包括正中矢状面、咬合平面和牙列中线，根据面部特征点的三维坐标计算出用于微笑评测的评测指标。
2.如权利要求1所述的基于三维空间面型的正畸专用微笑美学评测方法，其特征在于：
步骤S4具体为，
S41、确定头部正中矢状面S1：以左、右瞳孔连线作为头部水平基准线，过鼻下点作垂直于瞳孔连线的平面，将此平面作为头部正中矢状面，头部正中矢状面S1为：A1x+B1y+C1z+D1＝0，其中参数A1、B1、C1及D1的求解具体为，
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，左右瞳孔连线的方向向量为(xlp-xrp,ylp-yrp,zlp-zrp)，头部正中矢状面的法向量为(A1,B1,C1)，由于左右瞳孔连线垂直于头部正中矢状面，则左右瞳孔连线的方向向量与头部正中矢状面的法向量平行，则：
头部正中矢状面经过鼻下点Nun，鼻下点坐标为(xun,yun,zun)，将其带入平面方程，得到：A1xun+B1yun+C1zun+D1＝0
联立求解以上两个方程，可求得参数A1、B1、C1及D1；
S42、确定咬合平面S2：左上尖牙牙尖顶点、左上中切牙切缘点、右上尖牙牙尖顶点所成平面为咬合平面，咬合平面S2为：A2x+B2y+C2z+D2＝0，其中，参数A2、B2、C2及D2求解具体为，
由于左上尖牙牙尖顶点Nltt、左上中切牙切缘点Nltl、右上尖牙牙尖顶点Nrtt经过咬合平面，将三点坐标代入头部正中矢状面方程，求得参数A2、B2、C2及D2；
S43、确定牙列中线：左、右中切牙间的平行牙长轴作为牙列中线，分为上牙列中线和下牙列中线；
S44、根据步骤S3所得的三维坐标，计算出用于评价微笑的评测指标。
3.如权利要求2所述的基于三维空间面型的正畸专用微笑美学评测方法，其特征在于：步骤S44，计算出用于评价微笑的评测指标，具体为，
S441、对于左右口角对称性评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm,ylm,zlm)，左口角点Nlm到矢状面的距离：
右口角点Nrm的坐标为(xrm,yrm,zrm)，右口角点Nrm到矢状面的距离：
得出左右口角对称性评测指标为|d1-d2|；
S442、对于上唇对称性评测指标，计算过程如下：
上唇上缘中点Nuluc的坐标为(xuluc,yuluc,zuluc)，其到矢状面的距离：
左唇峰点Nllp的坐标为(xllp,yllp,zllp)到正中矢状面的距离为：
右唇峰点Nrlp的坐标为(xrlp,yrlp,zrlp)，其到正中矢状面的距离为：
最后，上唇对称性评测指标为d3+|d4-d5|；
S443、对于下唇对称性评测指标，计算过程如下：
下唇下缘中点Nllc的坐标为(xllc,yllc,zllc)，其到矢状面的距离为：
左侧下唇中点Nllcl的坐标为(xllcl,yllcl,zllcl)，其到正中矢状面的距离为：
右侧下唇中点Nllcr的坐标为(xllcr,yllcr,zllcr)，其到正中矢状面的距离为：
最后，下唇对称性评测指标为d6+|d7-d8|；
S444、对于牙列对称性评测指标，计算过程如下：
牙列中线上端点的坐标为(xtcu,ytcu,ztcu)，其到矢状面的距离为：
牙列中线下端点的坐标为(xtcl,ytcl,ztcl)，其到矢状面的距离为：
最后，牙列对称性评测指标为：
S445、对于鼻部对称性评测指标，计算过程如下：
左鼻翼点Nln的坐标为(xln,yln,zln)，其到矢状面的距离：
右鼻翼点Nrn的坐标为(xrn,yrn,zrn)，其到矢状面的距离：
最后，鼻部对称性评测指标为|d11-d12|；
S446、对于下巴颏对称性评测指标，计算过程如下：
颏前点Ncf的坐标为(xcf,ycf,zcf)，其到矢状面的距离即为下巴颏对称性评测指标为：
S447、对于口角宽度评测指标，计算过程如下：
左口角点Nlm的坐标为(xlm,ylm,zlm)，右口角点Nrm的坐标为(xrm,yrm,zrm)，两点间的距离即为口角宽度评测指标为：
S448、对于唇间隙评测指标，计算过程如下：
上口点Numc的坐标为(xumc,yumc,zumc)，下口点Nlmc的坐标为(xlmc,ylmc,zlmc)，两点间的距离即为唇间隙评测指标为：
S449、对于牙龈暴露量评测指标，计算过程如下：
左侧上唇中点Nlulc的坐标为(xlulc,ylulc,zlulc)，左上中切牙龈缘点Nltu的坐标为(xltu,yltu,zltu)，两点间的距离为：
右侧上唇中点Nrulc的坐标为(xrulc,yrulc,zrulc)，右上中切牙龈缘点Nrtu的坐标为(xrtu,yrtu,zrtu)，两点间的距离为：
最后，牙龈暴露量评测指标为d16+d17；
S4410、对于笑容指数评测指标：口角宽度为d14，唇间隙为d15，最后笑容指数评测指标为d14/d15；
S4411、对于鼻唇沟高度评测指标，计算过程如下：鼻下点Nun的坐标为(xun,yun,zun)，上唇上缘中点Nuluc的坐标为(xuluc,yuluc,zuluc)，两点间的距离即为鼻唇沟高度评测指标为：
S4412、对于颏唇沟高度评测指标，计算过程如下：颏前点Ncf的坐标为(xcf,ycf,zcf)，下唇下缘中点Nllc的坐标为(xllc,yllc,zllc)，两点间的距离即为颏唇沟高度评测指标为：
S4413、对于颊廊比率评测指标，计算过程如下：左上尖牙最远中点Nltc的坐标为(xltc,yltc,zltc)，右上尖牙最远中点Nrtc的坐标为(xrtc,yrtc,zrtc)，两点间的距离为：
口角宽度为d14，该距离与口角宽度的比值即为颊廊比率评测指标为d20/d14；
S4414、对于咬合平面的倾斜度评测指标，计算过程如下：
咬合平面S2为A2x+B2y+C2z+D2＝0，其法向量m为(A2,B2,C2)；
左瞳孔点Nlp的坐标为(xlp,ylp,zlp)，右瞳孔点Nrp的坐标为(xrp,yrp,zrp)，所以瞳孔连线的方向向量n为(xlp-xrp,ylp-yrp,zlp-zrp)；
所以咬合平面和瞳孔连线的角度即为咬合平面的倾斜度评测指标为：
4.如权利要求1所述的基于三维空间面型的正畸专用微笑美学评测方法，其特征在于：步骤S2具体为，
S21、受试者坐于距左、右摄像头中点水平位置，双眼平视前方，调整采集器支架的高度使受试者头部处于两相机公共视场的区域内；
S22、操作者辅助受试者摆出自然头位并引导受试者自然微笑，同时左摄像头L、右摄像机R同步采集微笑照片，得到受试者在自然头位下微笑的面部图像。
5.一种基于三维空间面型的正畸专用微笑美学评测系统，其特征在于：包括面部图像采集模块、数据分析处理模块和显示模块；
面部图像采集模块：通过左摄像头L、右摄像头R同时对受试者进行采集，获得面部图像，并将所得面部图像发送给数据分析处理模块；
数据分析处理模块：获得面部图像采集模块发送的面部图像，对面部图像采用权利要求1-4任一项所述基于三维空间面型的正畸专用微笑美学评测方法的进行分析，确定面部特征点的三维坐标，进而得出评测指标；
显示模块：用于显示面部图像采集模块传来的面部图像信息，使操作者对其进行面部特征点的人工标定，并显示数据分析处理模块所得评测指标。
6.如权利要求5所述的基于三维空间面型的正畸专用微笑美学评测系统，其特征在于：左摄像头L、右摄像头R分别设于图像采集支架上，图像采集支架包括横杆、云台、高度调节套管和三脚架底座，横杆的两端分别设有云台，左摄像头L、右摄像头R分别设有云台上，高度调节套管的一端连接横杆的中点，高度调节套管的另一端连接三脚架底座上。
7.如权利要求6所述的基于三维空间面型的正畸专用微笑美学评测系统，其特征在于：高度调节套管包括中轴、竖管和曲臂构成，中轴采用套管结构，中轴的端部设有通孔，通孔内设有竖管，中轴的侧部设有曲臂，曲臂的端部螺纹穿入中轴并接触竖管，竖管标有刻度，竖杆的端部连接横杆的中点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154109.3A CN109829915B (zh) | 2019-02-28 | 2019-02-28 | 基于三维空间面型的正畸专用微笑美学评测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910154109.3A CN109829915B (zh) | 2019-02-28 | 2019-02-28 | 基于三维空间面型的正畸专用微笑美学评测方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109829915A CN109829915A (zh) | 2019-05-31 |
| CN109829915B true CN109829915B (zh) | 2023-05-02 |
Family
ID=66865079
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910154109.3A Active CN109829915B (zh) | 2019-02-28 | 2019-02-28 | 基于三维空间面型的正畸专用微笑美学评测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109829915B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111028251B (zh) * | 2019-12-27 | 2023-08-11 | 成都牙讯科技有限公司 | 一种牙科图片剪裁方法、系统、设备及存储介质 |
| CN112288725B (zh) * | 2020-10-30 | 2021-11-02 | 李艳 | 颅骨中轴垂线的确定方法、装置、存储介质及电子设备 |
| CN112288797B (zh) * | 2020-10-30 | 2021-11-30 | 李艳 | 颅骨矫正方案生成系统、构建方法、获取方法及装置 |
| CN113317902A (zh) * | 2021-07-14 | 2021-08-31 | 杭州泰利斯医疗科技有限公司 | 一种全瓷美白牙套及其制备方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103784202A (zh) * | 2012-10-31 | 2014-05-14 | 奥姆科公司 | 一种在一个或多个站点执行数字正畸的方法、系统和计算机程序产品 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN108846866A (zh) * | 2018-05-29 | 2018-11-20 | 南京医科大学附属口腔医院 | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9412166B2 (en) * | 2001-04-13 | 2016-08-09 | Orametrix, Inc. | Generating three dimensional digital dentition models from surface and volume scan data |
-
2019
- 2019-02-28 CN CN201910154109.3A patent/CN109829915B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103784202A (zh) * | 2012-10-31 | 2014-05-14 | 奥姆科公司 | 一种在一个或多个站点执行数字正畸的方法、系统和计算机程序产品 |
| CN106910222A (zh) * | 2017-02-15 | 2017-06-30 | 中国科学院半导体研究所 | 基于双目立体视觉的人脸三维重建方法 |
| CN108846866A (zh) * | 2018-05-29 | 2018-11-20 | 南京医科大学附属口腔医院 | 基于光学成像的颅颌面软组织矢状向中轴面确定方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Dynamic smile visualization and quantification: Part 1. Evolution of the concept and dynamic records for smile capture.;Sarver DM et al;《Am J Orthod Dentofacial Orthop》;20030731;4-12 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109829915A (zh) | 2019-05-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829915B (zh) | 基于三维空间面型的正畸专用微笑美学评测方法及系统 | |
| JP6904901B2 (ja) | 患者の口内の視覚化装置 | |
| JP6273149B2 (ja) | 顔面補正イメージ提供方法およびそのシステム | |
| Fernández‐Riveiro et al. | Angular photogrammetric analysis of the soft tissue facial profile | |
| CN110147647B (zh) | 基于颞下颌关节稳定性的牙颌骨三维数字建模方法 | |
| Othman et al. | Reproducibility of facial soft tissue landmarks on facial images captured on a 3D camera | |
| EP2775956B1 (en) | Method for producing a dental element or aid for adjusting the teeth | |
| US20190380811A1 (en) | Implant surgery guiding method | |
| CN113260335B (zh) | 用于测量牙周袋深度的系统 | |
| US8992217B2 (en) | Apparatus and method for use in creating dental prosthetics | |
| CN112451151B (zh) | 一种利用混合现实技术的正畸模型建立方法 | |
| US8747110B2 (en) | Orthognathic planning system and method | |
| CN102047292A (zh) | 提供面部分析服务的方法和装置 | |
| US20130084537A1 (en) | Apparatus and method for use in creating dental prosthetics | |
| CN112932703A (zh) | 一种利用混合现实技术的正畸托槽粘接方法 | |
| US8753119B2 (en) | Mounting method of dental cast | |
| CN117281637A (zh) | 基于全彩透视技术的正畸托槽直接粘接方法 | |
| CN112545650A (zh) | 一种用于牙科的导航定位方法及系统 | |
| CN115813426A (zh) | 一种上颌中切牙矢状定位的头影测量方法 | |
| EP3482680B1 (en) | Device for detecting images of the mouth of a patient | |
| Hack et al. | Comparative study regarding the evaluation of facial aesthetics using the classical and computerized method. | |
| CN114521911A (zh) | 基于头颅侧位的增强现实显示方法、系统及存储介质 | |
| KR20230109830A (ko) | 3차원 정상 치열 모형 생성 방법 | |
| TWM445961U (zh) | 具自動定位功能之三維斷層掃描機 | |
| Xia et al. | Controversial Issues in Computer‐Aided Surgical Planning for Craniomaxillofacial Surgery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |