CN115861322A - 口腔区域定位方法、系统、可读存储介质及电子设备 - Google Patents

Abstract

本发明提供一种口腔区域定位方法、系统、可读存储介质及电子设备，方法包括获取第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并通过第一口腔图像数据集得到第一关键点信息，获取相机在第二时刻采集到的第二口腔图像数据集，并获取在第二时刻机械臂的第二空间位置与相机的第二空间位置，通过第二口腔图像数据集得到第二关键点信息，根据机械臂的第一空间位置与第二空间位置、相机的第一空间位置与第二空间位置得到位置转换关系，基于位置转换关系、第一关键点信息、第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。本发明能精确的获取对应关键点的空间位置，结构简单成本低，有效的获取深度信息。

Description

口腔区域定位方法、系统、可读存储介质及电子设备

技术领域

本发明涉及机器视觉技术领域，特别涉及一种口腔区域定位方法、系统、可读存储介质及电子设备。

背景技术

公开号为CN 114998230 A的发明专利，其在不同环境下通过机器人对不同年龄段人群进行口腔图像采集，训练基于DeeplabV3+的网络模型对待采样口腔区域进行分割，得到分割的口腔区域结果，但该结果不能直接用于协作机器人的运动引导，缺少深度信息。

公开号为CN 115063851 A的发明专利，其对被测人员的嘴部张开尺寸进行检测，从而在嘴部张开尺寸达到采样条件时，根据张开的嘴部获取被测人员口腔内部图像并由其确定相应的采样位置。通过对嘴部张开尺寸的检测，无需多个被测人员在张嘴时共用张口器或咬合器对嘴部进行固定尺寸地张开。其使用全局的RGB-D摄像头结合采集器末端的内窥摄像头获取被测人员的口腔内部图像，确定口腔中对应位置的深度信息，由于其采用全局的RGB-D摄像头结合采集器末端的内窥摄像头获取被测人员的口腔内部头像，因此其产生的成本较高。

综上，现有技术当中，在咽拭子采样的过程中，内窥摄像头难以直接提供采样区域的深度信息，而采用全局的RGB-D摄像头结合采集器末端的内窥摄像头获取被测人员的口腔内部头像，其成本过高，较为复杂，并且现通常使用深度摄像头，而在采样的过程中，如果仅使用一个深度相机，由于尺寸和深度测量的精度限制，当采样机器探入口腔中后不可避免的存在量测盲区。

发明内容

基于此，本发明的目的是提供一种口腔区域定位方法、系统、可读存储介质及电子设备，以解决上述现有技术当中的不足。

本发明提供一种口腔区域定位方法，所述方法包括：

获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。

与现有技术相比，本发明的有益效果是：通过先获取机械臂以及机械臂上的相机在第一时刻的空间位置，并获取相机在第一时刻采集的第一口腔图像数据集，并对第一口腔图像数据集进行关键点检测，得到第一关键点信息，然后移动机械臂以及相机，使得相机在第二时刻采集第二口腔图像数据集，并对第二口腔图像数据集进行关键点检测，得到第二关键点信息，同时获取第二时刻的机械臂以及相机的第二空间位置，接着计算出相机的第一空间位置与第二空间位置的转换关系，并基于位置转换关系、第一关键点信息、第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息，使得相机能够精确的获取采样点的位置，避免产生检测盲区，并通过采用机械臂以及相机，相机可采用低成本的单目相机，使得结构简单，有效降低成本，且通过三角化原理能够有效的获取深度信息。

进一步的，所述获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息的步骤之前，所述方法还包括：

对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系。

进一步的，所述位姿关系的表达式为：

；

其中，Tc表示所述相机的第一空间位置，^cTg表示所述手眼标定的结果，Tg表示所述机械臂的第一空间位置。

进一步的，所述位置转换关系的表达式为：

；

其中，^C2Tc₁表示所述第一时刻所述相机的第一空间位置与所述第二时刻的所述相机的第二空间位置的转换关系，Tc₁表示所述第一时刻所述相机的第一空间位置，Tc₂表示所述第二时刻所述相机的第二空间位置，^cTg表示所述手眼标定的结果，Tg₁表示所述第一时刻所述机械臂的第一空间位置，Tg₂表示所述第二时刻所述机械臂的第二空间位置。

进一步的，所述并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息的步骤包括：

获取第一历史口腔图像数据集，并将所述第一历史口腔图像数据集送入第一神经网络模型；

基于所述第一历史口腔图像数据集对所述第一神经网络模型进行训练；

训练后的所述第一神经网络模型对所述第一口腔图像数据集进行关键点提取，以得到所述第一关键点信息。

进一步的，所述对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息的步骤包括：

获取第二历史口腔图像数据集，并将所述第二历史口腔图像数据集送入第二神经网络模型；

基于所述第二历史口腔图像数据集对所述第二神经网络模型进行训练；

训练后的所述第二神经网络模型对所述第二口腔图像数据集进行关键点提取，以得到所述第二关键点信息。

本发明还提出一种口腔区域定位系统，应用于采样机器人，所述采样机器人包括机械臂以及相机，所述相机设于所述机械臂上，其特征在于，所述系统包括：

第一获取模块，用于获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

第二获取模块，用于获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

第一计算模块，用于根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

第二计算模块，用于基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。

进一步的，所述系统还包括：

标定模块，用于对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系。

本发明还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的口腔区域定位方法。

本发明还提出一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的口腔区域定位方法。

附图说明

图1为本发明第一实施例中的口腔区域定位方法的流程图；

图2为本发明第二实施例中的口腔区域定位方法的流程图；

图3为本发明第三实施例中的口腔区域定位系统的结构框图；

图4为本发明第四实施例中的电子设备的结构框图。

主要元件符号说明：

第一获取模块	11	第二获取模块	12
				第一计算模块	13	第二计算模块	14
存储器	10	处理器	20
				计算机程序	30

如下具体实施方式将结合上述附图进一步说明本发明。

具体实施方式

为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。

需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。

实施例一

请参阅图1，所示为本发明第一实施例中的口腔区域定位方法，所述方法具体包括步骤S101至步骤S104：

S101，获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

在具体实施时，机械臂上的相机采集被检测人员的面部口腔图像，在本实施例中，第一时刻相机采集被检测人员的面部口腔图像或采集被检测人员口腔内部图像，因此，本实施例中，第一口腔图像数据集包括面部口腔图像以及口腔内部图像，并对第一口腔图像数据集进行关键点检测，得到第一关键点信息，当采集的是面部口腔区域图像时，第一关键点信息则是面部口腔区域的图像，当采集的是口腔内部图像时，第一关键点信息则是口腔内部采样点的图像，并在第一时刻，获取机械臂的第一空间位置以及相机的第一空间位置，也就是获取机械臂末端的执行端在空间中的三维坐标系位置，以及相机在空间中的三维坐标系位置，在本实施例中，被检测人员包括不同年龄段的检测人员，不同年龄段的人员的面部大小不同，以及口腔在面部位置的差异。

值得说明的是，在本实施例中，相机采用成本较低的单目相机。

S102，获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

在具体实施时，在第一时刻机械臂以及机械臂上的相机的位置不会一次性的获取准确的采样点的位置，因此需要移动机械臂，以使机械臂末端的执行端靠近采样点的位置，并使机械臂上的相机跟随机械臂移动，移动后，也就是第二时刻的相机，此时获取机械臂的第二空间位置以及相机的第二空间位置，同时相机采集第二口腔图像数据集，并对第二口腔图像数据集进行关键点检测，得到第二关键点信息，值得说明的是，当第一时刻相机位于口腔外部时，第一时刻相机采集的是面部口腔区域，此时第二时刻移动后的相机的位置采集的是面部口腔区域，此时第二关键点信息则是面部口腔区域的图像，当第一时刻相机采集的是口腔内部图像时，第一关键点信息则是口腔内部采样点的图像，第二时刻相机采集的第二口腔图像数据集则是口腔内部图像，第二关键点信息则是口腔内部采样的图像。

S103，根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

在具体实施时，机械臂以及机械臂上的相机在采集的过程中，其是一直处于运动状态的，在移动的过程中，因此有若干个第一时刻与第二时刻，也就是前后相邻的两个时刻，相机的第一空间位置与相机的第二空间位置进行计算，并根据机械臂的第一空间位置、机械臂的第二空间位置、相机的第一空间位置以及相机的第二空间位置，从而得到第一时刻相机的第一空间位置与第二时刻相机的第二空间位置的转换关系，进而能够计算出下一个第一时刻的机械臂以及相机的空间位置，以使机械臂与相机移动至下一个第一时刻的空间位置，以使得机械臂与机械臂上的相机按准确的路径在空间内进行移动。

需要说明的是，第一时刻机械臂上的相机在采集面部口腔图像数据集之前，需要对机械臂以及相机进行手眼标定，以得到手眼标定的结果，手眼标定的结果满足以下关系式：

；

其中，Tc表示相机的空间位置，^cTg表示手眼标定的结果，Tg表示机械臂的空间位置，根据手眼标定的结果可以推算第一时刻的机械臂和相机与第二时刻的机械臂和相机的位置转换关系，推算过程：

，/>

；

；

其中，Tc₁表示第一时刻相机的空间位置，也就是第一时刻相机在空间的三维坐标位置，^cTg表示手眼标定的结果，Tg₁表示第一时刻机械臂的空间位置，也就是第一时刻机械臂在空间的三维坐标位置，Tc₂表示第二时刻相机的空间位置，也就是第二时刻相机在空间的三维坐标位置，Tg₂表示第二时刻机械臂的空间位置，也就是第二时刻机械臂在空间的三维坐标位置，^C2Tc₁表示第一时刻相机的空间位置与第二时刻相机的空间位置的转换关系，也就是位置转换关系。

S104，基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息；

在具体实施时，三角化原理是指，在得知第一时刻以及第二时刻的相机的第一空间位置、相机的第二空间位置以及相机本身的参数的情况下，并根据位置转换关系，得出采样点的位置，具体的推算过程如下：

方程一：

；

方程二：

；

将上述方程一与方程二合并得到：

；/>

然后展开得到方程三：

；

最后得到

；

通过SVD分解展开后的方程三，从而就能够得到采样点的空间位置信息，也就是采样点在空间中的三维坐标位置。

其中，

表示（/>

，/>

），也就是表示第一关键点信息中的第i个关键点的像素坐标，P表示第一时刻下相机的投影矩阵，也就是将第一关键点信息投影到平面上的位置信息，/>

表示对应关键点的空间位置信息，/>

表示第一时刻下相机采集到的口腔图像数据集中的第i个关键点的像素的横向坐标，/>

表示第一时刻下相机采集到的口腔图像数据集中的第i个关键点的像素纵向坐标，/>

表示第一时刻相机的投影矩阵的第1行的向量，

表示第一时刻相机的投影矩阵的第2行的向量，/>

表示第一时刻相机的投影矩阵的第3行的向量，/>

表示（/>

，/>

），也就是表示第二关键点信息中的第i个关键点的像素坐标，P'表示第二时刻下相机的投影矩阵，也就是将第二关键点信息投影到平面上的位置信息，/>

表示第二时刻下相机采集到的口腔内部图像数据集中的第i个关键点的像素的横向坐标，/>

表示第二时刻下相机采集到的口腔内部图像数据集中的第i个关键点的像素的纵向坐标，/>

表示第二时刻相机的投影矩阵的第1行的向量，/>

表示第二时刻相机的投影矩阵的第2行的向量，/>

表示第二时刻相机的投影矩阵的第3行的向量，/>

、/>

、

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，A为/>

的统一表示。

值得说明的是，机械臂以及相机在移动的过程中，经历过若干个第一时刻与第二时刻，也就是慢慢的从口腔外部移动至口腔内部，根据第一时刻的相机的第一空间位置与第二时刻的相机的空间位置，以及第一时刻的机械臂的第一空间位置与第二时刻的机械臂的第二空间位置，计算出下一个第一时刻的机械臂的移动位置，也就是关键点位置，以使相机能够采集到对应关键点位置信息，进而使得机械臂的末端执行端移动至对应关键点，从而达到准确移动机械臂，以使机械臂准确达到对应关键点位置，也就是采样点的位置。

在具体实施时，当待采样人员就位后，此时待采样人员处于固定位置，此时安装于机械臂末端的摄像头对待采样人员的口腔位置图像进行采集，也就是第一时刻的第一口腔图像数据集，并对第一口腔图像数据集进行关键点检测，得到第一关键点信息，在此过程中，同时获取机械臂的第一空间位置与相机的第一空间位置，接着机械臂移动并带动摄像头移动，并再一次对待采样人员的口腔位置图像进行采集，也就是第二时刻的第二口腔图像数据集，并对第二口腔图像数据集进行关键点检测，得到第二关键点信息，并在此过程中，同时获取机械臂的第二空间位置与相机的第二空间位置，通过机械臂的第一空间位置、机械臂的第二空间位置、相机的第一空间位置以及相机的第二空间位置计算得到位置转换关系，并根据位置转换关系、第一关键点信息、第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息，也就是机械臂的目标移动位置，机械臂通过当前位置与该目标移动位置运动规划到下一时刻位置，在本实施例中，通过若干个第一时刻与第二时刻的交替进行，机械臂以及相机慢慢移动至口腔内部，直至达到最后一个对应关键点的空间位置信息，也就是采样点的空间位置信息。

综上，本发明上述实施例当中的口腔区域定位方法，通过先获取机械臂以及机械臂上的相机在第一时刻的空间位置，并获取相机在第一时刻采集的第一口腔图像数据集，并对第一口腔图像数据集进行关键点检测，得到第一关键点信息，然后移动机械臂以及相机，使得相机在第二时刻采集第二口腔图像数据集，并对第二口腔图像数据集进行关键点检测，得到第二关键点信息，同时获取第二时刻的机械臂以及相机的第二空间位置，接着计算出相机的第一空间位置与第二空间位置的转换关系，并基于位置转换关系、第一关键点信息、第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息，使得相机能够精确的获取采样点的位置，避免产生检测盲区，并通过采用机械臂以及相机，相机可采用低成本的单目相机，使得结构简单，有效降低成本，且能够通过三角化原理有效的获取深度信息。

实施例二

请参阅图2，所示为本发明第二实施例中的口腔区域定位方法，所述方法具体包括步骤S201至步骤S211：

S201，对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系；

在具体实施时，为了获得机械臂与相机之前的位姿关系，在采集之前需要对机械臂和相机进行手眼标定，手眼标定的结果表达式为；

；

其中，Tc表示所述相机的空间位置，^cTg表示所述手眼标定的结果，Tg表示所述机械臂的空间位置。

S202，获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置；

在具体实施时，机械臂上的相机采集被检测人员的面部口腔图像，在本实施例中，第一时刻相机采集被检测人员的面部口腔图像或采集被检测人员口腔内部图像，因此，本实施例中，第一口腔图像数据集包括面部口腔图像以及口腔内部图像，并在第一时刻，获取机械臂的第一空间位置以及相机的第一空间位置，也就是获取机械臂末端的执行端在空间中的三维坐标系位置，以及相机在空间中的三维坐标系位置，在本实施例中，被检测人员包括不同年龄段的检测人员，不同年龄段的人员的面部大小不同，以及口腔在面部位置的差异。

S203，获取第一历史口腔图像数据集，并将所述第一历史口腔图像数据集送入第一神经网络模型；

在具体实施时，获取相机在之前采集到的第一历史口腔图像数据集，第一历史口腔图像数据集包括若干个不同年龄段的口腔区域图像，然后将若干个不同年龄段的口腔区域图像送入至第一神经网络模型，在本实施例中，第一神经网络模型采用YuNet。

S204，基于所述第一历史口腔图像数据集对所述第一神经网络模型进行训练；

在具体实施时，第一神经网络模型，也就是YuNet基于若干个不同年龄段的口腔区域图像进行学习训练，训练过程是将历史口腔图像数据集标注好送入YuNet进行训练，在本实施例中，历史口腔图像数据集包括图像数据以及关键点信息。

S205，训练后的所述第一神经网络模型对所述第一口腔图像数据集进行关键点提取，以得到所述第一关键点信息；

在具体实施时，经过适当训练后的YuNet能够从第一口腔图像数据集中提取出第一关键点信息，以使机械臂上的相机能够快速的确认第一关键点信息，并使机械臂移动得更为的准确。

S206，获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置；

在具体实施时，在第一时刻机械臂以及机械臂上的相机的位置不会一次性的获取准确的采样点的位置，因此需要移动机械臂，以使机械臂末端的执行端靠近采样点的位置，并使机械臂上的相机跟随机械臂移动，移动后，也就是第二时刻的相机，此时获取机械臂的第二空间位置以及相机的第二空间位置，同时相机采集第二口腔图像数据集，值得说明的是，当第一时刻相机位于口腔外部时，第一时刻相机采集的是面部口腔区域，此时第二时刻移动后的相机的位置采集的是面部口腔区域，当第一时刻相机采集的是口腔内部图像时，第二时刻相机采集的第二口腔图像数据集则是口腔内部图像。

S207，获取第二历史口腔图像数据集，并将所述第二历史口腔图像数据集送入第二神经网络模型；

在具体实施时，获取相机在之前采集到的第二历史口腔图像数据集，第二历史口腔图像数据集包括若干个不同年龄段的口腔区域图像或者若干个不同年龄段的口腔内部图像，然后将若干个不同年龄段的口腔区域图像或者若干个不同年龄段的口腔内部图像送入至第二神经网络模型，在本实施例中，第二神经网络模型采用YuNet。

S208，基于所述第二历史口腔图像数据集对所述第二神经网络模型进行训练；

在具体实施时，第二神经网络模型，也就是YuNet基于若干个不同年龄段的口腔区域图像或者若干个不同年龄段的口腔内部图像进行学习训练，训练过程是将第二历史口腔图像数据集标注好送入YuNet进行训练，在本实施例中，第二历史口腔图像数据集包括图像数据以及关键点信息。

S209，训练后的所述第二神经网络模型对所述第二口腔图像数据集进行关键点提取，以得到所述第二关键点信息；

在具体实施时，经过适当训练后的YuNet能够从第二口腔图像数据集中提取出第二关键点信息，以使机械臂上的相机能够快速的确认第一关键点信息，并使机械臂移动得更为的准确。

S210，根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

在具体实施时，机械臂以及机械臂上的相机在采集的过程中，其是一直处于运动状态的，在移动的过程中，因此有若干个第一时刻与第二时刻，也就是前后相邻的两个时刻，相机的第一空间位置与相机的第二空间位置进行计算，从而得到第一时刻相机的第一空间位置与第二时刻相机的第二空间位置的转换关系，进而能够计算出下一个第一时刻的机械臂以及相机的空间位置，以使机械臂与相机移动至下一个第一时刻的空间位置，以使得机械臂与机械臂上的相机按准确的路径在空间内进行移动。

需要说明的是，第一时刻机械臂上的相机在采集面部口腔图像数据集之前，需要对机械臂以及相机进行手眼标定，以得到手眼标定的结果，手眼标定的结果满足以下关系式：

；

其中， Tc表示相机的空间位置，^cTg表示手眼标定的结果，Tg表示机械臂的空间位置，根据手眼标定的结果可以推算第一时刻的机械臂和相机与第二时刻的机械臂和相机的位置转换关系，推算过程：

，/>

；

；

其中，Tc₁表示第一时刻相机的空间位置，也就是第一时刻相机在空间的三维坐标位置，^cTg表示手眼标定的结果，Tg₁表示第一时刻机械臂的空间位置，也就是第一时刻机械臂在空间的三维坐标位置，Tc₂表示第二时刻相机的空间位置，也就是第二时刻相机在空间的三维坐标位置，Tg₂表示第二时刻机械臂的空间位置，也就是第二时刻机械臂在空间的三维坐标位置，^C2Tc₁表示第一时刻相机的空间位置与第二时刻相机的空间位置的转换关系，也就是位置转换关系。

S211，基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息；

在具体实施时，三角化原理是指，在得知第一时刻以及第二时刻的相机的第一空间位置、相机的第二空间位置以及相机本身的参数的情况下，并根据位置转换关系，得出采样点的位置，具体的推算过程如下：

方程一：

；

方程二：

；

将上述方程一与方程二合并得到：

；

然后展开得到方程三：

；

最后得到

；

通过SVD分解展开后的方程三，从而就能够得到采样点的空间位置信息，也就是采样点在空间中的三维坐标位置。

其中，

表示（/>

，/>

），也就是表示第一关键点信息中的第i个关键点的像素坐标，P表示第一时刻下相机的投影矩阵，也就是将第一关键点信息投影到平面上的位置信息，/>

表示对应关键点的空间位置信息，/>

表示第一时刻下相机采集到的口腔图像数据集中的第i个关键点的像素的横向坐标，/>

表示第一时刻下相机采集到的口腔图像数据集中的第i个关键点的像素纵向坐标，/>

表示第一时刻相机的投影矩阵的第1行的向量，

表示第一时刻相机的投影矩阵的第2行的向量，/>

表示第一时刻相机的投影矩阵的第3行的向量，/>

表示（/>

，/>

），也就是表示第二关键点信息中的第i个关键点的像素坐标，P'表示第二时刻下相机的投影矩阵，也就是将第二关键点信息投影到平面上的位置信息，/>

表示第二时刻下相机采集到的口腔内部图像数据集中的第i个关键点的像素的横向坐标，/>

表示第二时刻下相机采集到的口腔内部图像数据集中的第i个关键点的像素的纵向坐标，/>

表示第二时刻相机的投影矩阵的第1行的向量，/>

表示第二时刻相机的投影矩阵的第2行的向量，/>

表示第二时刻相机的投影矩阵的第3行的向量，/>

、/>

、

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，/>

、/>

、/>

、/>

表示/>

展开的四个元素，A为/>

的统一表示。

值得说明的是，机械臂以及相机在移动的过程中，经历过若干个第一时刻与第二时刻，也就是慢慢的从口腔外部移动至口腔内部，根据第一时刻的相机的第一空间位置与第二时刻的相机的空间位置，以及第一时刻的机械臂的第一空间位置与第二时刻的机械臂的第二空间位置，计算出下一个第一时刻的机械臂的移动位置，也就是关键点位置，以使相机能够采集到对应关键点位置信息，进而使得机械臂的末端执行端移动至对应关键点，从而达到准确移动机械臂，以使机械臂准确达到对应关键点位置，也就是采样点的位置。

综上，本发明上述实施例当中的口腔区域定位方法与实施例一相比，通过将第一历史口腔图像数据集以及第二历史口腔图像数据集分别送入第一神经网络模型以及第二神经网络模型进行训练，从而能够有效得提取出的第一关键点信息以及第二关键点信息，并使后续的机械臂末端的执行端的到达对应关键点更为的准确，也就是到达采样点的位置更为准确。

实施例三

本发明另一方面还提出一种口腔区域定位系统，请查阅图3，所示为本发明第三实施例中的口腔区域定位系统，所述系统包括：

第一获取模块11，用于获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

第二获取模块12，用于获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

第一计算模块13，用于根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

第二计算模块14，用于基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。

在一些可选实施例中，所述第一获取模块11包括：

第一获取单元，用于获取第一历史口腔图像数据集，并将所述第一历史口腔图像数据集送入第一神经网络模型；

第一训练单元，用于基于所述第一历史口腔图像数据集对所述第一神经网络模型进行训练；

第一提取单元，用于将训练后的所述第一神经网络模型对所述第一口腔图像数据集进行关键点提取，以得到所述第一关键点信息。

在一些可选实施例中，所述第二获取模块12包括：

第二获取单元，用于获取第二历史口腔图像数据集，并将所述第二历史口腔图像数据集送入第二神经网络模型；

第二训练单元，用于基于所述第二历史口腔图像数据集对所述第二神经网络模型进行训练；

第二提取单元，用于将训练后的所述第二神经网络模型对所述第二口腔图像数据集进行关键点提取，以得到所述第二关键点信息。

在一些可选实施例中，所述系统还包括：

标定模块，用于对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系；

所述位姿关系的表达式为：

；

其中，Tc表示所述相机的第一空间位置，^cTg表示所述手眼标定的结果，Tg表示所述机械臂的第一空间位置；

所述位置转换关系的表达式为：

；

其中，^C2Tc₁表示所述第一时刻所述相机的第一空间位置与所述第二时刻的所述相机的第二空间位置的转换关系，Tc₁表示所述第一时刻所述相机的第一空间位置，Tc₂表示所述第二时刻所述相机的第二空间位置，^cTg表示所述手眼标定的结果，Tg₁表示所述第一时刻所述机械臂的第一空间位置，Tg₂表示所述第二时刻所述机械臂的第二空间位置。

本发明实施例所提供的口腔区域定位系统，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，系统实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例四

本发明还提出一种电子设备，请参阅图4，所示为本发明第四实施例中的电子设备，包括存储器10、处理器20以及存储在所述存储器10上并可在所述处理器20上运行的计算机程序30，所述处理器20执行所述计算机程序30时实现上述的口腔区域定位方法。

其中，存储器10至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，SD或DX存储器等）、磁性存储器、磁盘、光盘等。存储器10在一些实施例中可以是计算机设备的内部存储单元，例如该计算机设备的硬盘。存储器10在另一些实施例中也可以是外部存储装置，例如插接式硬盘，智能存储卡（Smart MediaCard, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，存储器10还可以既包括计算机设备的内部存储单元也包括外部存储装置。存储器10不仅可以用于存储安装于计算机设备的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。

其中，处理器20在一些实施例中可以是电子控制单元 (Electronic ControlUnit，简称ECU，又称行车电脑)、中央处理器（Central Processing Unit,CPU）、控制器、微控制器、微处理器或其他数据处理芯片，用于运行存储器10中存储的程序代码或处理数据，例如执行访问限制程序等。

需要指出的是，图4示出的结构并不构成对计算机设备的限定，在其它实施例当中，该计算机设备可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。

本发明实施例还提出一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述的口腔区域定位方法。

本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种口腔区域定位方法，其特征在于，所述方法包括：

获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。

2.根据权利要求1所述的口腔区域定位方法，其特征在于，所述获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息的步骤之前，所述方法还包括：

对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系。

3.根据权利要求2所述的口腔区域定位方法，其特征在于，所述位姿关系的表达式为：

；

其中，Tc表示所述相机的第一空间位置，^cTg表示所述手眼标定的结果，Tg表示所述机械臂的第一空间位置。

4.根据权利要求3所述的口腔区域定位方法，其特征在于，所述位置转换关系的表达式为：

；

其中，^C2Tc₁表示所述第一时刻所述相机的第一空间位置与所述第二时刻的所述相机的第二空间位置的转换关系，Tc₁表示所述第一时刻所述相机的第一空间位置，Tc₂表示所述第二时刻所述相机的第二空间位置，^cTg表示所述手眼标定的结果，Tg₁表示所述第一时刻所述机械臂的第一空间位置，Tg₂表示所述第二时刻所述机械臂的第二空间位置。

5.根据权利要求1所述的口腔区域定位方法，其特征在于，所述并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息的步骤包括：

获取第一历史口腔图像数据集，并将所述第一历史口腔图像数据集送入第一神经网络模型；

基于所述第一历史口腔图像数据集对所述第一神经网络模型进行训练；

训练后的所述第一神经网络模型对所述第一口腔图像数据集进行关键点提取，以得到所述第一关键点信息。

6.根据权利要求1所述的口腔区域定位方法，其特征在于，所述对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息的步骤包括：

获取第二历史口腔图像数据集，并将所述第二历史口腔图像数据集送入第二神经网络模型；

基于所述第二历史口腔图像数据集对所述第二神经网络模型进行训练；

训练后的所述第二神经网络模型对所述第二口腔图像数据集进行关键点提取，以得到所述第二关键点信息。

7.一种口腔区域定位系统，应用于采样机器人，所述采样机器人包括机械臂以及相机，所述相机设于所述机械臂上，其特征在于，所述系统包括：

第一获取模块，用于获取第一时刻机械臂上的相机采集的第一口腔图像数据集以及机械臂的第一空间位置与相机的第一空间位置，并对所述第一口腔图像数据集进行关键点检测，以得到第一关键点信息；

第二获取模块，用于获取所述相机在第二时刻采集到的第二口腔图像数据集，并获取在所述第二时刻机械臂的第二空间位置与相机的第二空间位置，对所述第二口腔图像数据集进行关键点检测，以得到第二关键点信息；

第一计算模块，用于根据所述机械臂的第一空间位置、所述机械臂的第二空间位置、所述相机的第一空间位置以及所述相机的第二空间位置计算得到位置转换关系；

第二计算模块，用于基于所述位置转换关系、所述第一关键点信息、所述第二关键点信息以及三角化原理计算得到对应关键点的空间位置信息。

8.根据权利要求7所述的口腔区域定位系统，其特征在于，所述系统还包括：

标定模块，用于对所述机械臂以及所述机械臂上的所述相机进行手眼标定，以得到手眼标定的结果，所述手眼标定的结果包括所述机械臂与所述相机之间的位姿关系。

9.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6任一所述的口腔区域定位方法。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的口腔区域定位方法。

Images