CN109717966A - 用于牙齿整形的影像仿真方法及其影像仿真装置 - Google Patents

Abstract

本发明提供一种用于牙齿整形的影像仿真方法。首先，接收一脸部视频并从中取得一脸部画面，并在脸部画面上定义出多个脸部影像特征点以确认嘴巴区域。取得嘴巴区域内的牙齿影像。依据此牙齿影像，定义出多个牙齿影像特征点。随后，比对立体牙齿模型的特征点与相对应的牙齿影像特征点以调整立体牙齿模型。再利用对应于立体牙齿模型的特征点，将调整后的立体牙齿模型投影至脸部视频。本公开还提供一种用于牙齿整形的影像仿真装置。本发明提供的用于牙齿整形的影像仿真方法可以提供患者牙齿整形后仿真视频。

Description

用于牙齿整形的影像仿真方法及其影像仿真装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种计算机影像仿真方法。

背景技术

牙齿整形最容易构成的纠纷就是，患者预期的效果与手术后实际的状况不符。目前实务上，牙医师仅能倚靠口头描述或二维静态范例照片向患者做术前沟通。这种方式容易造成误解而引起纠纷。通过影像仿真可以让使用者可以在下决定前有更多参考条件。

发明内容

本发明提供一用于牙齿整形的影像仿真方法，包含：接收一脸部视频，并从中获取一脸部画面；在脸部画面上搜索多个脸部影像特征点，以确认一嘴巴区域；取得嘴巴区域内的一牙齿影像；依据牙齿影像，定义出多个牙齿影像特征点；将一立体牙齿模型的多个预设牙齿模型特征点与牙齿影像特征点进行比对，以调整到预设牙齿模型特征点符合牙齿影像特征点；以及将调整后的立体牙齿模型投影至脸部视频。

本发明所提供的用于牙齿整形的影像仿真装置括一数据库、一画面获取单元与一处理单元。数据库存储有一预先建立的立体牙齿模型数据以及对应至立体牙齿模型的多个预设特征点数据，预设特征点数据报括多个预设脸部特征点与多个预设牙齿模型特征点。画面获取单元用以接收一脸部视频，并从中获取一脸部画面。处理单元电性连接至内存与画面获取单元，以取得前述预先建立的立体牙齿模型、对应至此立体牙齿模型的多个预设特征点以及前述脸部画面。处理单元电性连接至数据库与画面获取单元，其用以：在脸部画面上搜索多个脸部影像特征点，以确认一嘴巴区域；取得嘴巴区域内的一牙齿影像；依据牙齿影像，定义出多个牙齿影像特征点；将一立体牙齿模型的多个预设牙齿模型特征点与这些牙齿影像特征点进行比对，以调整到这些预设牙齿模型特征点符合这些牙齿影像特征点；以及将调整后的立体牙齿模型投影至脸部视频。

通过本发明所提供的影像仿真方法及影像仿真装置，可以将预先建立的立体牙齿模型转换调整实际的牙齿影像后，实时地将调整后的立体牙齿模型投影叠加于脸部视频上，以仿真患者牙齿整形后的影像视频，提供参考，避免纠纷。

附图说明

为让本公开的上述和其他目的、特征、优点与实施例能更明显易懂，说明书附图的说明如下：

图1是本发明用于牙齿整形的影像仿真方法一实施例的流程图；

图2是图1的步骤S110所获取的一脸部画面与步骤S120所定义的多个脸部影像特征点一实施例的示意图；

图3是图1的步骤S120所确认的嘴巴区域的影像一实施例的示意图；

图4是图1的步骤S130从图3的嘴巴区域内找出牙齿影像一实施例的示意图；

图5是针对图4的牙齿影像进行边缘检测后所产生的牙齿边缘影像一实施例的示意图；

图6是针对图5的牙齿边缘影像进行角检测所找出的多个候选特征点一实施例的示意图；

图7是本发明一预先建立的立体牙齿模型一实施例的示意图；

图8是本发明用于牙齿整形的影像仿真方法另一实施例的流程图；

图9是本发明用于牙齿整形的影像仿真方法又一实施例的流程图；

图10是本发明用于牙齿整形的影像仿真装置一实施例的方框图；以及

图11是本发明用于牙齿整形的影像仿真装置另一实施例的方框图。

具体实施方式

下面将结合示意图对本发明的具体实施方式进行更详细的描述。根据下列描述和权利要求，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。

图1是本发明用于牙齿整形的影像仿真方法一实施例的流程图。如图中所示，本发明的影像仿真方法，包含以下步骤。

首先，在步骤S110中，从一视频来源接收一脸部视频(video)，并从中取得一脸部画面(image)300。此视频来源可以是录像机、手机的视频获取模块、或是影音播放器等。本步骤所使用的脸部视频并非限定于视频来源实时获取的视频，预先存储的视频亦可应用于本发明。

接下来，在步骤S120中，从所获取的脸部画面300上，依据一预设原则，找出多个脸部影像特征点Pm,Pf，以确认一嘴巴区域320。图2是步骤S110所获取的脸部画面300以及步骤S120所标示的多个脸部影像特征点Pm,Pf一实施例的示意图。举例来说，可预先设定眉毛、眼角、鼻头、鼻翼、嘴唇外围、脸部外围的特定位置为脸部影像特征点Pm,Pf的位置；随后再以此预设原则在所获取的脸部画面300上标示这些脸部影像特征点Pm,Pf。

在确定脸部影像特征点Pm,Pf的位置后，即可依据嘴巴区域320在脸部影像中的相对位置，或是依据脸部影像特征点Pm,Pf中对应至嘴巴区域320的特征点，来确认嘴巴区域320。图3即前述步骤S120所确认的嘴巴区域320的影像一实施例的示意图。

图3中的特征点Pm即为脸部影像特征点Pm,Pf中，对应于嘴巴区域的脸部影像特征点。本实施例利用这些特征点Pm定义出嘴巴区域320的范围。不过，本发明并不限于此。举例来说，由于嘴巴区域320大致是位于脸部的下方三分之一范围，在另一实施例中，亦可利用这些脸部影像特征点Pm,Pf确认脸部区域，然后将脸部区域下方三分之一的范围定义为嘴巴区域的范围。

随后，在步骤S130中，判断嘴巴区域320内是否存在一牙齿影像330。若是存在牙齿影像330，此流程会继续前进至步骤S140。若不存在牙齿影像330，则会发出一警示信号。同时中止此流程，此时使用者可选择结束流程，或回到步骤S110重新获取脸部画面300。

本实施例在判断不存在牙齿影像330时，可直接回到步骤S110重新获取脸部画面。不过，本发明并不限于此。举例来说，若判断不存在牙齿影像330或是牙齿影像330不够明显而无法执行后续步骤，可发出警示信号通知操作人员处理(例如要求被拍摄的人员张大嘴巴露出牙齿)。

图4步骤S130从嘴巴区域320内找出的牙齿影像330一实施例的示意图。如图中所示，由于牙齿部分与嘴唇、牙龈处的颜色不同，本实施例通过比较颜色差异，判断牙齿影像330是否存在，并确认牙齿影像的范围。就一实施例而言，可针对嘴巴区域320的影像进行色彩转换，如RGB至LAB的色彩转换，以凸显牙齿部分与周围区域的差异，然后再进行判断。

在步骤S140中，依据步骤S130确认的牙齿影像，在牙齿影像330上找出多个牙齿影像特征点Qa,Qb,Qc。进一步来说，请同时参照图4至图6，其中，图5是针对图4的牙齿影像330进行边缘检测(edge detection)后所产生的牙齿边缘影像340一实施例的示意图，图6是针对图5的牙齿边缘影像340进行角检测所找出的多个候选特征点Q一实施例的示意图。

如图5所示，在步骤S140中，针对牙齿影像330执行边缘检测，以确认牙齿影像330的边缘。本实施例是采用Sobel运算符(operator)进行边缘检测。不过，本发明并不限于此，其他边缘检测方法，如Prewitt运算符、Canny边缘检测等方法，亦可应用于本发明。

接下来，如图6所示，针对前述执行边缘检测后取得的牙齿边缘影像(即图5所示的影像340)，执行角检测(corner detection)，定义出多个候选特征点Q。本实施例是采用Harris角检测以取得候选特征点。不过，本发明并不限于此。其他角检测方法，如Moravec角检测、Forstner角检测等方法，亦可应用于本发明。

接下来，请参照图3与图6，比对候选特征点Q与位于嘴巴区域的脸部影像特征点Pm的相对位置，从这些候选特征点Q中定义出牙齿影像特征点Qa,Qb,Qc。就一实施例而言，此步骤可在这些候选特征点Q中，寻找与邻近脸部影像特征点Pm的位置距离最近的特征点，作为牙齿影像特征点Qa,Qb,Qc。

随后，在步骤S150中，将一预先建立的立体牙齿模型的多个预设牙齿模型特征点与前述牙齿影像特征点Qa,Qb,Qc进行比对，以调整到这些预设牙齿模型特征点符合这些牙齿影像特征点Qa,Qb,Qc。

图7是此预先建立的立体牙齿模型200一实施例的示意图。图中标示为A,B与C的特征点即为前述预设牙齿模型特征点的范例。就一实施例而言，对应至立体牙齿模型200的预设特征点除了这些预设牙齿模型特征点A,B与C外，还可包括多个预设脸部特征点(图未示，例如位于嘴角或鼻子的特征点)。这些数据可以预先存储于一内存或是一云端数据库，待需要使用时再进行选取。

进一步来说，在步骤150中，可利用立体牙齿模型200的预设特征点(例如图7中的特征点A,B,C)，将立体牙齿模型200转换为平面投影影像投影至脸部画面。此立体转换为平面的投影技术可为目前惯用的图像处理技术，在此不予赘述。

随后，比对投影于脸部画面的预设牙齿模型特征点A’,B’,C’的距离与相对应的牙齿影像特征点Qa,Qb,Qc的距离，以调整到(如：缩放)立体牙齿模型特征点A,B,C符合这些牙齿影像特征点Qa,Qb,Qc。举例来说，可以计算投影于脸部画面的预设牙齿模型特征点A’与C’的距离，以及相对应的牙齿影像特征点Qa与Qc的距离，以这两个距离的比例来缩放立体牙齿模型。

然后，在步骤S160中，利用对应于立体牙齿模型的预设特征点(例如图7中的预设牙齿模型特征点A,B,C与相对应的预设脸部特征点)，将调整后的立体牙齿模型投影至脸部视频。就一实施例而言，可利用步骤S150计算出的缩放比例，调整出缩放后的预设特征点的位置，然后再以此调整后的预设特征点，将调整后的立体牙齿模型投影叠加于脸部视频，覆盖原本的牙齿影像。

最后，在步骤S170中，将嘴巴区域320的影像，切除其中的牙齿影像330后，叠合于脸部视频，以覆盖突出的牙齿模型投影影像。此步骤是将嘴巴区域320的影像，切除其中的牙齿影像330后，叠合于脸部视频，以呈现牙齿整形后的仿真视频。不过，本发明并不限于此。在另一实施例中，亦可从嘴巴区域320内获取嘴唇部分的影像，叠合于脸部视频，以呈现牙齿整形后的仿真视频。

前述影像仿真方法在取得牙齿影像330前，会先执行步骤S130确认嘴巴区域320内存在牙齿影像330。不过，本发明并不限于此。在另一实施例中，亦可省略此判断步骤，直接从嘴巴区域320内取得牙齿影像330执行后续步骤。

图8是本发明用于牙齿整形的影像仿真方法另一实施例的流程图。本实施例的步骤S410至S470与图1的影像仿真方法的步骤S110至S170大致相同，在此不予赘述。不过，本实施例在完成步骤S450后，会再对立体牙齿模型的投影影像执行位移旋转调整(即图中步骤S455)。

步骤S455是比对对应于立体牙齿模型的预设脸部特征点的位置(例如嘴巴、鼻子的特征点的位置)与相对应的脸部影像特征点Pm,Pf的位置，以对调整后的立体牙齿模型的投影影像进行位移(translation)或旋转(rotation)调整。接下来再执行步骤S460，将调整后的投影影像投影叠加于脸部视频，覆盖原本的牙齿影像。

图9是本发明用于牙齿整形的影像仿真方法又一实施例的流程图。本实施例的步骤S510至S570与图1的影像仿真方法的步骤S110至S170大致相同，在此不予赘述。不过，本实施例在完成步骤S550后，会再执行一光线调整步骤(即图中步骤S555)。

在步骤S555中，本实施例会依据脸部画面分析画面中的亮度分布状况，以设定环境光线参数，然后再利用此环境光线参数调整立体牙齿模型的投影影像的色彩与亮度。接下来再执行步骤S560，将调整后的投影影像投影叠加于脸部视频，覆盖原本的牙齿影像。如此处理，可以使叠加于脸部视频的牙齿投影影像更为真实。

图10是本发明用于牙齿整形的影像仿真装置一实施例的方框示意图。如图中所示，此影像仿真装置600包括一数据库620、一画面获取单元640与一处理单元660。其中，数据库620是用以存储如图7所示的预先建立的立体牙齿模型200以及对应至此立体牙齿模型200的多个预设特征点A,B,C。

画面获取单元640用以接收一脸部视频，并从中取得一脸部画面300。举例来说，此画面获取单元640可电性连接至一外部视频来源800接收脸部视频，以获取脸部画面300进行后续处理。

处理单元660是电性连接至数据库620与画面获取单元640，取得如图7所示的预先建立的立体牙齿模型200、对应至此立体牙齿模型200的多个预设特征点A,B,C以及前述脸部画面300，以执行如图1、图8或图9的实施例所示的影像仿真流程。这部分详见图1、图8与图9的对应段落，在此不予赘述。

图11是本发明用于牙齿整形的影像仿真装置另一实施例的方框示意图。如图中所示，此影像仿真装置700包括一数据库720、一视频获取模块740与一处理单元760。其中，数据库720是用以存储如图7所示的预先建立的立体牙齿模型200以及对应至此立体牙齿模型200的多个预设特征点A,B,C。

视频获取模块740是用以获取一脸部画面以产生一脸部视频。举例来说，此视频获取模块740可以是手持式电子装置内建的摄影机模块(cameramodule)。此视频获取模块740并具有一画面获取单元742，以执行获取脸部画面300的动作。

处理单元760电性连接至数据库720与视频获取模块740，取得如图7所示的预先建立的立体牙齿模型200、对应至此立体牙齿模型200的多个预设特征点A,B,C以及前述脸部画面300，以执行如图1、图8或图9的实施例所示的影像仿真流程。这部分详见图1、图8与图9的对应段落，在此不予赘述。

前述图10与图11是以硬件方式实现本发明的影像仿真方法。不过，本发明并不限于此。前述图1、图8与图9的影像仿真方法亦可利用计算机可使用程序代码予以实现。举例来说，此计算机可使用程序代码可包括第一程序代码、第二程序代码与第三程序代码，分别用以描述图10中的数据库620、画面获取单元640与处理单元660的运行。

通过本发明所提供的影像仿真方法、及其影像仿真装置，可以将预先建立的立体牙齿模型转换为投影影像实时地叠加于脸部视频上，提供患者牙齿整形后仿真视频。如此，即可改善牙医师与患者的术前沟通，避免传统上受限于口头描述或二维静态范例照片而容易衍生的纠纷。

虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的构思和范围内，当可作些许变动与润饰，因此本发明的保护范围当视权利要求书所界定为准。

Claims (9)

1.一种用于牙齿整形的影像仿真方法，其特征是，包含：

接收脸部视频并从中获取脸部画面；

在上述脸部画面上搜索多个脸部影像特征点，以确认嘴巴区域；

取得上述嘴巴区域内的牙齿影像；

依据上述牙齿影像，定义出多个牙齿影像特征点；

将立体牙齿模型的多个预设牙齿模型特征点与上述这些牙齿影像特征点进行比对，以调整到上述这些预设牙齿模型特征点符合上述这些牙齿影像特征点；以及

将调整后的上述立体牙齿模型投影至上述脸部视频。

2.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，取得上述牙齿影像的步骤前，还包括：

确认上述嘴巴区域内是否存在上述牙齿影像；以及

若不存在上述牙齿影像，发出警示信号。

3.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，确认上述牙齿影像的步骤包括：利用色彩转换方式，确认上述嘴巴区域内是否存在上述牙齿影像。

4.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，定义上述这些牙齿影像特征点的步骤包括：

对上述牙齿影像执行边缘检测，以产生牙齿边缘影像；

利用上述牙齿边缘影像，执行角检测定义出多个候选特征点；以及

比对上述这些候选特征点与上述这些脸部影像特征点中位于嘴巴区域的上述这些脸部影像特征点的相对位置，从上述这些候选特征点中定义出上述这些牙齿影像特征点。

5.如权利要求4所述的用于牙齿整形的影像仿真方法，其特征是，定义出上述这些牙齿影像特征点的步骤包括：

比对上述这些候选特征点与上述这些脸部影像特征点中位于嘴巴区域的上述这些脸部影像特征点的相对位置，并找出与上述这些脸部影像特征点最为接近的至少两个上述候选特征点作为上述这些牙齿影像特征点。

6.如权利要求1所述的用于牙齿整形的影像仿真方法，其特征是，调整上述立体牙齿模型的步骤包括：

利用上述这些预设牙齿模型特征点以及上述立体牙齿模型对应的多个预设脸部特征点，将上述立体牙齿模型投影至上述脸部画面，并且比对投影于上述脸部画面的上述这些预设牙齿模型特征点的距离与相对应的上述这些牙齿影像特征点的距离，调整上述立体牙齿模型。

7.如权利要求1所述的用于牙齿整形的影像仿真方法，在调整上述立体牙齿模型的步骤后，还包括：

比对上述立体牙齿模型对应的多个预设脸部特征点与相对应的上述这些脸部影像特征点，对上述立体牙齿模型的投影影像进行位移或旋转的调整。

8.如权利要求1所述的用于牙齿整形的影像仿真方法，在将调整后的上述立体牙齿模型投影至上述脸部视频前，还包括：依据上述脸部画面设定环境光线，以调整上述立体牙齿模型的投影影像。

9.一种用于牙齿整形的影像仿真装置，包括：数据库，存储有预先建立的立体牙齿模型数据以及对应至上述立体牙齿模型的多个预设特征点数据，上述这些预设特征点数据报括多个预设脸部特征点与多个预设牙齿模型特征点；

画面获取单元，接收脸部视频，并从中获取脸部画面；

处理单元，电性连接至上述数据库与上述画面获取单元，用以：

在上述脸部画面上搜索多个脸部影像特征点，以确认嘴巴区域；

取得上述嘴巴区域内的牙齿影像；

依据上述牙齿影像，定义出多个牙齿影像特征点；

将立体牙齿模型的多个预设牙齿模型特征点与上述这些牙齿影像特征点进行比对，以调整到上述这些预设牙齿模型特征点符合上述这些牙齿影像特征点；以及

将调整后的上述立体牙齿模型投影至上述脸部视频。