CN107909609B - 一种图像处理方法及装置 - Google Patents

Abstract

本发明涉及图像处理领域，尤其涉及一种图像处理方法及装置，获取图像数据，进行拼接，获得拼接后的图像数据块；将拼接后的图像数据块中包含所述图像数据的图像数据块与三维图像框架数据库中区块的图像进行匹配，若获得至少一个映射关系，更新用户的三维图像模型，根据第一预设展示策略进行展示；若拼接后的图像数据块都没有获得映射关系，根据第二预设展示策略进行展示；若满足预设条件，将用户的三维图像模型、记录的已确定获得映射关系的区块的编号信息和/或未获得映射关系的图像数据块上传到云端服务器，使云端服务器更新三维图像框架数据库，无需对口腔连续有序扫描，就可以得到三维图像，并不断完善三维图像框架数据库，提高匹配成功率。

Description

一种图像处理方法及装置

技术领域

本发明涉及图像处理领域，尤其涉及一种图像处理方法及装置。

背景技术

传统的口腔内窥器是用于牙科光学取模的一种设备，在使用时需要把取模用的光学枪头在用户上牙列、下牙列有序移动，不支持扫描枪头在口腔内随意漫游，专业性很强，用户互动效果差，需要专业人士才能操作。

目前，也出现了一种用户自助式的口腔内窥器，用户手持这种设备，将摄像头部分放入口腔，转动摄像头对口腔进行内窥。但内窥图像每次只能看到一个很小的局部，虽然也能看到牙齿的画面，但难以确认这是哪一颗牙的画面，也不知道当前所看到的细节处于口腔的哪个具体位置。并且，缺乏三维图像信息，无法对接全口牙列取模，无法实时生成当下的全口牙列数字化模型，因而也无法支撑牙套式洁齿器3D打印等牙科应用。

发明内容

本发明实施例提供一种图像处理方法及装置，以解决现有技术中口腔图像呈现的用户互动效果差、难以支持用户自助式的三维真彩取模的问题。

本发明实施例提供的具体技术方案如下：

一种图像处理方法，包括：

步骤A：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

步骤B：针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；

步骤C：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

步骤D：若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，以及，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

步骤E：若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

较佳的，所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

较佳的，分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配之前，进一步包括：

根据拼接后的图像数据块和预设的图像模式识别算法，确定所述内窥器已放入口腔。

较佳的，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体包括：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

较佳的，进一步包括：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

较佳的，若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则所述步骤D进一步包括：

根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

较佳的，根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体包括：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

较佳的，若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则所述步骤D进一步包括：

根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，具体包括：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，进一步包括：

确定所述图像数据的个数大于预设阈值。

较佳的，进一步包括：

执行步骤D之后，返回执行所述步骤A。

一种图像处理方法，包括：

步骤A：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

步骤B：针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；

步骤C：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

步骤D：若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示；

步骤E：若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，具体包括：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块；

所述方法进一步包括：执行步骤D之后，返回执行所述步骤A。

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，进一步包括：

确定所述图像数据的个数大于预设阈值。

一种图像处理装置，包括：

接收单元，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

处理单元，用于针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，以及若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元，用于根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示；

发送单元，用于若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

较佳的，所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

较佳的，分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配之前，处理单元进一步用于：

根据拼接后的图像数据块和预设的图像模式识别算法，确定所述内窥器已放入口腔。

较佳的，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

较佳的，处理单元进一步用于：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

较佳的，处理单元进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元进一步用于：

根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

较佳的，根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

较佳的，处理单元进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元进一步用于：

根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元进一步用于：

确定所述图像数据的个数大于预设阈值。

较佳的，所述接收单元进一步用于在所述展示单元根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据。

一种图像处理装置，包括：

接收单元，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据；

处理单元，用于针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

展示单元，用于若处理单元确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示；

发送单元，用于若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块；

所述接收单元进一步用于在所述展示单元根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据；

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元进一步用于：

确定所述图像数据的个数大于预设阈值。

本发明实施例中，获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；所述采集到的用户的图像数据表示未进行拼接处理的；针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述区块的图像数据包括：编号信息、图像特征信息；根据不同的匹配结果，执行相应的不同的展示方法和上传到云端服务器不同的信息，以使云端服务器更新三维图像框架数据库，这样，对获取到的用户的图像数据进行拼接，获得拼接后的图像数据块，根据建立的三维图像框架数据库，对拼接后的图像数据块进行匹配处理，若至少一个匹配成功，则根据用户的三维图像轮廓，进行重构，更新当前保存的用户的三维图像模型，进而对用户的三维图像模型和未获得映射关系的图像数据块进行展示，若均未匹配成功，则展示拼接后的图像数据块，不需要内窥器对口腔连续有序扫描，用户可以使用内窥器随意扫描口腔，只要获得口腔内表面各处图像数据而不论是否有序，并且不管是否匹配成功，都可以展示口腔的三维图像，不需要专业人士操作，很好地支持了用户自助式口腔内窥，以及不仅可以呈现用户口腔的三维图像，而且可以动态进行展示，展示效果更好，提升了用户的使用体验和互动效果，可以很好地支持用户自助式的三维真彩取模。

并且，根据不同的匹配结果，向云端服务器可能发送不同的信息，但都可以使云端服务器根据这些信息更新三维图像框架数据库，解决了口腔的三维图像处理有条件执行区块匹配和展示的问题，可以不断更新三维图像框架数据库，从而逐步充实和完善三维图像框架数据库，流程更加完整，更能接近实际的工程实现，进而随着不断的使用和更新，在之后使用三维图像框架数据库时，可以提高匹配的成功率，从而可以使得用户的三维图像模型中包含的三维真彩图像越来越多，提高了展示效果。

附图说明

图1为本发明实施例一中图像处理方法流程图；

图2为本发明实施例一中当前界面中的展示区域划分的示意图；

图3为本发明实施例二中云端服务器的更新方法流程图；

图4为本发明实施例三中图像处理方法流程图；

图5为本发明实施例四中云端服务器的更新方法流程图；

图6为本发明实施例九中三维图像展示效果示意图；

图7为本发明实施例十中三维图像展示效果示意图；

图8为本发明实施例十一中三维图像展示效果示意图；

图9为本发明实施例十三中三维图像展示效果示意图；

图10为本发明实施例十五中图像处理装置结构示意图；

图11为本发明实施例十六中图像处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

值得说明的是，本发明实施例中，主要针对口腔三维图像，其中，内窥器可以为口腔内窥器，当然，本发明实施例中，并不仅限于口腔三维图像，对于其它领域的三维图像同样也可以适用，下面仅以口腔为例进行说明。

实施例一：

参阅图1所示，本发明实施例一中，图像处理方法的具体流程如下：

步骤100：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；所述采集到的用户的图像数据表示未进行拼接处理的。

其中，内窥器，例如为口腔内窥器，该内窥器中设置有摄像单元，用于拍摄图像，内窥器中可以设置有一个摄像单元，也可以设置有多个摄像单元，并且拍摄到的图像数据的类型为深度图像，也就是RGBD图像，为三维真彩图像，这样可以获取图像的三维信息，便于后续进行三维图像处理。

较佳的，本发明实施例中的口腔内窥器，可以在内窥头上背靠背设置有两个摄像单元，这两个摄像单元相对位置固定并预先标定、同步照明、同步摄像。这样，这两个摄像单元同步拍摄到的图像数据分别带有对应的摄像单元标识，例如摄像单元的编号信息，并且具有相同的时序戳信息，其中，时序戳信息表示从内窥器开机以来，第几次采集到图像数据，这样，可以针对每次采集到的图像数据，都设置时序戳，这样也便于区分不同时间采集到的图像数据。

这样，步骤100中获取到的图像数据为多个带有摄像单元标识和时序戳信息的未进行拼接处理的图像数据，这些图像数据可能带有相同的时序戳，也可能带有不同的时序戳，这根据内窥器中摄像单元的数目，即内窥器每次采集到的图像数据的数目，和设置的每次进行处理的图像数据的数目而定。

进一步地，执行步骤110之前，还包括：确定图像数据的个数大于预设阈值。

例如，内窥器每次采集到2个图像数据，预设阈值为6，即设置的每次进行处理的图像数据的数目为6个，则需要获取到内窥器3次拍摄采集到的用户的图像数据，才执行后续的拼接处理，例如，这6个图像数据分别为图像数据P(1)、P(2)、P(3)、P(4)、P(5)、P(6)，其中，P(1)、P(2)是时序戳相同(r＝1)而摄像单元编号分别为1和2的两幅图像数据；P(3)、P(4)是时序戳相同(r＝2)而摄像单元编号分别为1和2的两幅图像数据；P(5)、P(6)是时序戳相同(r＝3)而摄像单元编号分别为1和2的两幅图像数据。

也就是说，本发明实施例中，为了提高处理效率，并不一定是每次接收到内窥器采集到的图像数据就进行后续处理，因为内窥器一次采集到的图像数据可能比较少，并且，通常内窥器采集到的一个图像数据都是面积很小的一个曲面，因此，可以在达到一定个数后再进行处理，可以提高后续拼接、匹配等处理的准确性和效率。

步骤110：针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据。

本发明实施例中，将图像数据相互之间以及图像数据与保存的图像数据块相互之间分别进行判断和拼接，得到拼接后的图像数据块，进行保存，并根据拼接后的图像数据块更新保存的图像数据块，也就是说，本发明实施例中，拼接后的图像数据块，表示所有能够拼接和不能够拼接的拼接处理后的图像数据，其中，不仅包括能够拼接，并拼接成功、与其他图像数据拼接后组成的更大面积的图像数据，还包括经过判断后拼接不成功，依旧孤立存在的图像数据，不仅包括包含步骤100中获取到的图像数据即本次待处理的图像数据的图像数据块，还包括没有包含步骤100中获取到的图像数据的图像数据块，图像数据经过拼接处理后变换成图像数据块，拼接后的图像数据块中可以包括一个图像数据，表示不能够拼接的单个图像数据，也可以包括多个图像数据，表示这多个图像数据能够拼接并拼接后得到的更大的图像数据。

例如，接收到第N个图像数据P(N)，经过拼接处理后获得拼接后的图像数据块可以为T+M个相互独立(即相互不能拼接)的图像数据块，分别为Q^o(1)、…、Q^o(t)、…、Q^o(T)，以及Q(1)、Q(m)、…、Q(M)，其中，图像数据块Q^o(t)由n^o(t)个图像数据拼接而成，图像数据块Q(m)由n(m)个图像数据拼接而成，并且，[n^o(1)+…+n^o(t)+…n^o(T)]+[n(1)+n(2)+…n(m)+…n(M)]＝N；n(t)≥1，n(m)≥1。

进一步地，本发明实施例中，还可以记录拼接后的图像数据块包括的图像数据的个数，这样以便于后续对图像数据块进行排序。

这样，本发明实例中，先将获取到的图像数据进行拼接，再执行后续的匹配，拼接后的图像数据块面积也相对较大，可以提高匹配效率，也可以减少图像数目，减少图像与区块的匹配次数，减少时间，也提高了执行效率。

步骤120：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述区块的图像的数据包括：编号信息、图像特征信息。

本发明实施例中，预先建立了口腔的三维图像框架数据库和三维图像轮廓。

1)本发明实施例中，三维图像框架数据库，基于人类口腔的各种情况进行构建，该三维图像框架数据库存储了人类口腔的三维图像模型的通用框架数据，该框架数据涵盖了各种情况下人类口腔全部表面区域的图像特征信息，例如形状特征、色彩特征、纹理特征等信息。

三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息；区块的图像的位置信息包括：每个区块相互之间的空间位置关系；区块的图像数据包括：编号信息、图像特征信息。

2)本发明实施例中，三维图像轮廓存储了人类全口腔内表面各个区域(含各个区块)的三维图像的形状轮廓数据。其中，用户的三维图像轮廓至少存储了所述用户的口腔中各个区块的三维图像的形状轮廓数据。并且，本发明实施例中，在实际使用时，可以根据每个用户的实际情况，更新该用户的三维图像轮廓，随着不同用户的使用，针对每个用户，就会有属于自己口腔的三维图像轮廓。

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

执行步骤120时，具体包括：可以根据区块的图像特征信息、区块相互之间的空间位置关系和/或编号信息、或者根据图像数据块中图像数据携带的摄像单元的标识，确定的拼接后的图像数据块的相对空间位置关系，分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配。

其中，本发明实施例中，本次仅将拼接后的图像数据块中包含步骤100中图像数据的图像数据块与三维图像框架数据库中区块的图像进行匹配，其中，步骤100中的图像数据即是本次待处理的图像数据，这是因为，本次进行拼接处理之前，当前保存的图像数据块必定都是经过匹配处理后的，而本发明实施例中，若匹配成功的图像数据块都会重构于用户的三维图像轮廓中，因此当前保存的都是匹配未成功的图像数据块，若本次进行拼接处理后，是将所有的拼接后的图像数据块进行匹配，对于那些与新的图像数据不能拼接、仍是之前保存时的图像数据块，匹配也必定是不成功的，再次进行匹配只会增加匹配次数，降低处理效率，因此，本发明实施例中，对于这部分图像数据块就不需要再次进行匹配了，也节省时间，提高效率。

例如，获取内窥器采集到的用户的图像数据为P(1)和P(2)，保存的图像数据块为{Q′(1)、…、Q′(m)、…、Q′(32)，M＝32}，则针对P(1)、P(2)以及P(1)、P(2)与Q′(1)、…、Q′(m)、…、Q′(32)进行拼接，若图像数据P(1)与系统中保存的第1幅图像数据块Q′(1)能拼接、且与系统中保存的第4幅图像数据块Q′(4)能拼接，图像数据P(2)与任何其他图像数据块都无法拼接，则对图像数据P(1)、图像数据块Q′(1)、图像数据块Q′(4)进行拼接，形成新的图像数据块，记为Q′(Temp 1)，图像数据P(2)也构成一个独立的新的图像数据块，记为Q′(Temp 2)，则在匹配时，仅将Q′(Temp 1)和Q′(Temp 2)与三维图像框架数据库中区块的图像进行匹配。

进一步地，执行步骤120之前，还包括：

根据拼接后的图像数据块和预设的图像模式识别算法，确定所述内窥器已放入口腔。

这种方法，通过图像模式识别来判断内窥器是否已放入口腔，不需要用户通过开关手动开启是否开始进行口腔内窥，在实现时内窥器上就无需设置该开关，减少了硬件的设置，同时也提高了用户的使用体验。

当然，也可以采用其它方法判断内窥器是否已放入口腔，例如，在内窥器上设置开关，由用户手动控制，用户把内窥器放入口腔后，手动闭合开关，则系统认为内窥器已经放入口腔。

这样，本发明实施例中，主要是针对口腔的三维图像处理，因此，根据图像模式识别算法，若确定图像数据块不是口腔图像，则可以不用继续执行后续的匹配过程，避免无效的操作，若确定图像数据块为口腔图像，则可以判定内窥器已放入口腔，可以继续执行后续的匹配操作，

步骤130：若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，以及，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓。

执行步骤130时，具体包括：

首先，若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型。

其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓。

具体包括：1)根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置。

具体为：至少根据三维图像框架数据库中区块的图像特征信息，确定所述至少一个包含所述图像数据的图像数据块对应于用户的三维图像框架数据库中的区块，以及，根据所述至少一个包含所述图像数据的图像数据块对应于用户的三维图像框架数据库中的区块，确定所述至少一个包含所述图像数据的图像数据块对应于用户的三维图像轮廓中的位置。

当然，还可以结合区块相互之间的空间位置关系和/或编号信息、图像数据块相互之间的空间位置关系等方式，来确定在用户的三维图像轮廓中的位置，本发明实施例中并不进行限制。

2)将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据。

具体为：根据三维图像框架数据库中区块的边界特征信息，从所述至少一个包含所述图像数据的图像数据块中提取出属于对应的区块的三维曲面图像；其中，所述图像特征信息中至少包括区块的边界特征信息；将提取出的三维曲面图像替换用户的三维图像轮廓中对应的确定的位置上的图像，获得重构后的三维图像数据。

3)根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型。

具体为：将重构后的三维图像数据，替换掉当前保存的用户的三维图像模型中对应的确定的位置上的图像。

这样，每次得到重构后的三维图像数据后，都可以不断地替换用户的三维图像模型中相应位置上的图像，实现动态更新用户的三维图像模型的效果。

进一步地，还可以更新用户的三维图像轮廓，具体为：

根据更新后的用户的三维图像模型，获取更新后的用户的三维图像模型对应的三维图像轮廓，并根据更新后的所述用户的三维图像模型对应的三维图像轮廓，更新保存的用户的三维图像轮廓。

这样，可以针对不同的用户，会有相应的符合该用户的口腔三维图像轮廓，在之后再进行扫描口腔时，可以更容易看到该用户实际的口腔图像信息，并且，不断更新用户的三维图像模型和该用户的三维图像轮廓，也可以提高匹配的效率和准确性。

值得说明的是，本发明实施例中，一开始建立的三维图像框架数据库，可能并不是很全面，无法包含所有情况下的口腔图像，这样在将图像数据块与三维图像框架数据库中区块的图像进行匹配时，很有可能出现匹配不成功的情况，因此，本发明实施例中，主要针对实际中三维图像框架数据库的建立问题，解决了口腔三维图像处理时有条件执行区块匹配和展示的问题，解决如何不断更新和完善三维图像框架数据库，以及解决在匹配成功和不成功时如何进行展示和处理的问题，从而能够逐步充实、完善三维图像框架数据库，流程更加完整，更能接近实际的工程实现。

这样，在执行步骤130时，若确定获得至少一个包含所述图像数据的图像数据块与三维图像框架数据库中区块的映射关系，就可以更新用户的三维图像模型，实现后续三维图像模型的展示。

进一步地，还包括：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

本发明实施例中，记录已确定获得映射关系的区块的编号信息，是为了用于之后更新三维图像框架数据库，可以对三维图像框架数据库中区块的编号或位置、或区块的图像数据、区块的图像特征信息，也包括增加一个或一组区块等区块级别的操作等信息进行更新。

然后，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

具体包括：1)根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序。

本发明实施例中，图像数据块是由一个或多个图像数据组成，因此，通常图像数据块包括图像数据的个数越多，图像数据块的面积越大，当然也可能包括个数较少的图像数据块的面积反而更大，这对于之后的排序和展示没有影响，本发明实施例中，可以根据包括的图像数据的个数进行排序，也可以根据其面积进行排序，对此并不进行限制，可以择一方式进行排序。

其中，由于本发明实施例中，采集到的图像数据为深度图像，并携带有摄像单元标识，因此可以根据摄像单元的内标定参数和深度图像数据，计算获取图像数据块的面积，具体地计算图像数据块的面积的方法，可以基于现有技术中的方法，本发明实施例中，并不进行限制，这里就不再详述了。

例如，拼接后的图像数据块共有m个，其中，拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数为n，将拼接后的图像数据块中除已确定获得映射关系的其它图像数据块，按照包括图像数据的个数，从大到小排序后为Q′(1)、…、Q′(n)。

本发明实施例中，进行排序的目的是为了后续进行展示时，能够优先展示那些面积比较大或者包括图像数据个数比较多的图像数据块，因为面积越大或包括的图像数据个数越多，体现的图像信息就越多，便于用户查看和理解展示的图像。

2)确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小。

这里判断n与d-1的关系，是因为这时已经有图像数据块与区块匹配成功了，能够对用户的三维图像模型进行更新，在展示时需要预留一个区域来展示用户的三维图像模型，因此，对于未匹配成功的图像数据块的展示区域有d-1个。

3)若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块。

例如，n为5，d为3，判断5>(3-1)，则需要从排序后Q′(1)、…、Q′(n)中取出前2个即Q′(1)和Q′(2)，在展示时，参阅图2所示，为当前界面中的展示区域的划分，分为区域1、区域2和区域3，则在第一个展示区域，即区域1中展示更新后的用户的三维图像模型，在第二个展示区域，即区域2中展示Q′(1)，在第三个展示区域，即区域3中展示Q′(2)。

4)若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

例如，n为2，d为4，判断2<(4-1)，则说明当前展示区域的个数比较多，会有没有展示图像的空白区域，为进一步提升用户观看体验和提升展示效果，因此，需要减少展示区域的个数，将d减少为3，当前展示界面中变为有3个展示区域，则在展示时，在第一个展示区域中展示更新后的用户的三维图像模型，在第二个展示区域中展示Q′(1)，在第三个展示区域中展示Q′(2)。

本发明实施例中，在执行步骤130时，除了上述若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系的情况之外，还包括以下几种情况：

第一种情况：若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

本发明实施例中，从口腔内窥器开机，使用口腔内窥器开始进行内窥操作以来，会不断地获取到口腔内窥器采集到的图像数据，每当图像数据个数达到预设阈值，就开始执行一次拼接和匹配操作，直到内窥操作结束，这里的第一种情况，是针对本次进行拼接和匹配处理后，包含本次处理的图像数据的图像数据块没有获得与三维图像框架数据库中区块的映射关系，但是从口腔内窥器开机，使用口腔内窥器开始进行内窥操作以来，在本次进行拼接和匹配处理之前的某次处理中，已有获得与三维图像框架数据库中区块的映射关系的情况，这时，虽然本次不会对用户的三维图像模型进行更新，但是当前仍有保存的用户的三维图像模型，在展示时仍需要展示当前保存的用户的三维图像模型和本次拼接后的图像数据块。

具体包括：1)根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序。

2)确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小。

3)若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

4)若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

这里的第一种情况中的第一预设展示策略与步骤130中第一预设展示策略相同，只是展示的内容不同而已，因此，这里就不再详细进行介绍了。

第二种情况：若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

这里的第二种情况，是针对从口腔内窥器开机，使用口腔内窥器开始进行内窥操作以来，一直未获得与三维图像框架数据库中区块的映射关系的情况。

本发明实施例中，拼接后的图像数据块是多个相互独立的图像数据块。这是因为，本发明实施例中，内窥器设置有两个或以上的摄像单元，同步采集图像，因此本发明实施例中的图像处理方法支持用户自助式完成口腔内窥操作，无需用户有序、连续扫描。

具体包括：1)若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序。

2)确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

例如，将拼接后的图像数据块从大到小排序后，分别为Q′(1)、…、Q′(a)，若a为6，d为4，判断6>4，则从Q′(1)、…、Q′(a)中取出前4个图像数据块，分别为Q′(1)、Q′(2)、Q′(3)和Q′(4)，在展示时，在第一个展示区域中展示Q′(1)，在第二个展示区域中展示Q′(2)，在第三个展示区域中展示Q′(3)，在第四个展示区域中展示Q′(4)。

又例如，若a为3，d为4，判断3<4，则需要减少展示区域的个数，将d减少为3，当前展示界面中变为有3个展示区域，则在展示时，在第一个展示区域中展示Q′(1)，在第二个展示区域中展示Q′(2)，在第三个展示区域中展示Q′(3)。

进一步地，当再次获取到内窥器采集到的用户的图像数据，执行步骤130之后，返回执行上述步骤100。

这样，本发明实施例中，从内窥器开机，使用内窥器开始进行内窥操作以来，会不断地获取到内窥器采集到的图像数据，通过不断的拼接和匹配，更新当前展示的图像数据块和/或用户的三维图像模型，提升展示效果，用户可以看到用户的三维图像模型，对于匹配未成功的图像数据块，用户可以看到展示的拼接后的图像数据块。

步骤140：若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

其中，预设条件，可以为以下几种：确定内窥器关机、或用户的三维图像模型中已重构的区域的面积大于预设阈值、或拼接后的图像数据块的面积达到预设阈值等，本发明实施例中，并不进行限制，这样，本发明实施例中，不是每次更新完用户的三维图像模型和得到新的已确定获得映射关系的区块的编号信息就进行上传，而是达到一定条件时再统一进行上传，不仅可以减少上传次数，减少服务器压力，也可以提高云端服务器对三维图像框架数据库进行更新时的效率。

其中，上传到云端服务器的已确定获得映射关系的区块的编号信息，不仅包括本次进行拼接和匹配处理后记录的获得映射关系的区块的编号信息，还包括从内窥操作开始，每次进行拼接和匹配处理记录的所有已确定获得映射关系的区块的编号信息。

其中，上述预设的规则，例如为拼接后的图像数据块包括图像数据的个数不小于预设数目，例如5个，或者，拼接后的图像数据块的面积不小于预设面积，例如100mm²，本发明实施例中并不进行限制，可以根据实际情况进行设置。

也就是说，本发明实例中，上传到云端服务器的信息可以包括以下几部分：1)用户的三维图像模型。2)记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息。3)拼接后的图像数据块中除已确定获得与三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块。这样，云端服务器可以根据这些信息，不断更新三维图像框架数据库，具体为更新其中区块的编号信息、增加区块、增加不同情况下人类口腔的三维图像模型的通用框架数据等，逐渐更新和完善三维图像框架数据库，形成一个包括强大的完整的口腔三维图像框架数据库，具有完整的标签体系，提高了之后使用该三维图像框架数据库匹配的成功率。

值得说明的是，本发明实施例中，在实际实现过程中在不同阶段上传到云端服务器的信息可能是不同的，例如可以将实际实现过程分为三个阶段：

阶段一：在初期，由于三维图像框架数据库还很不完善，可能拼接后的图像数据块都不能与三维图像框架数据库中区块的图像匹配成功，也就不能获得与拼接后的图像数据块的映射关系的区块，因此，可能无法获得上述第一部分和二部分信息即1)用户的三维图像模型和2)记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，这时，上传到云端服务器的信息可能只有上述第三部分信息即3)拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，进而这时云端服务器也只能根据拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新三维图像框架数据库。

阶段二：随着不断使用和更新三维图像框架数据库，会提高匹配成功率，至少一个图像数据块能与三维图像框架数据库中区块的图像匹配成功，进而就会更新用户的三维图像模块，并可以获得已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，当然这时也很有可能会有不能匹配成功的图像数据块，因此，这时上传到云端服务器的信息会包括：1)用户的三维图像模型。2)记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息。3)拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，进而这时云端服务器可以根据这三部分信息，更新三维图像框架数据库。

阶段三：随着本发明实施例的图像处理方法运营很长时间后，可以达到成熟阶段，这时三维图像框架数据库已经比较完善了，能够包括所有口腔情况的图像，并三维图像框架数据库的标签体系也很完善，其中，标签体系至少包括区块的编号信息、相对位置信息、图像信息等，因此，在匹配时，成功率会极大提升，可能不会有匹配不成功的情况，因此，这时可能不会获得3)拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器的信息也就只有1)用户的三维图像模型和2)记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，进而这时云端服务器根据用户的三维图像模型和记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，更新三维图像框架数据库。

本发明实施例中，针对获取到的内窥器采集到的用户的图像数据，以及该图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，然后与保存的三维图像框架数据库中区块的图像进行匹配，根据不同的匹配结果和相应的不同的展示策略，展示用户的三维图像模型和拼接后的图像数据块，最后若确定满足预设条件时，将用户的三维图像模型、记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，以及拼接后的图像数据块中除已确定获得与三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器可以不断更新三维图像框架数据库，解决了口腔的三维图像处理时有条件执行区块匹配和展示的问题，可以不断更新和完善三维图像框架数据库，以及在匹配成功和不成功时有效地进行展示和处理，从而逐步充实和完善三维图像框架数据库，提高匹配成功率，进而随着三维图像框架数据库的不断完善，在后期进行匹配时，基本都可以匹配成功，可以不断将匹配成功的图像数据块重构于用户的三维图像轮廓中对应的确定的位置上，并更新用户的三维图像模型，这样，展示的用户的三维图像模型上会包含越来越多的三维真彩图像，若没有匹配不成功的图像数据块，则在展示时就会仅展示用户的三维图像模型，而用户的三维图像模型的展示效果更好，使得用户可以更直观查看到口腔的图像的具体部位；本发明实施例中，不仅可以获得用户口腔的三维图像，使得用户可以查看口腔的具体部位，而且，由于可以获得多个相互独立的图像数据块，每一个图像数据块都可以作为一个初始区域，因此可以有多个初始区域，用户可以随意扫描口腔中的任意位置，可以从这多个初始区域开始进行连续扫描，也可以从其它位置扫描从而形成一个新的初始区域，无需在口腔中从唯一的初始区域连续扫描，便于用户使用，提升了用户的使用体验，进而动态展示扫描到的口腔的三维图像，呈现效果更好，更加方便灵活。

实施例二：

基于上述实施例，参阅图3所示，本发明实施例二中，云端服务器的更新方法的具体流程如下：

步骤300：接收终端发送的更新请求，其中，所述更新请求中至少包括：用户的三维图像模型、记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，以及拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块。

其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像数据以及每个区块的图像的位置信息；所述区块的图像数据包括：编号信息、图像特征信息；所述拼接后的图像数据块为所述终端根据内窥器采集到的用户的图像数据进行拼接处理后得到的。

本发明实施例中，在实际实现过程中，更新请求中可能会包含不同的信息，具体地在上述实施例一中有详细介绍，这里就不再赘述了。

步骤310：根据所述更新请求，更新保存的所述三维图像框架数据库。

本发明实施例二中，主要针对拼接后的图像数据块与三维图像框架数据库的区块既有匹配成功的，也有未匹配成功时，云端服务器接收到三种信息，即用户的三维图像模型、区块的编号信息和未获得映射关系的图像数据块的情况。

本发明实施例中，在更新三维图像框架数据库时，具体地：

1)在用户的三维图像模型中，已确定获得与拼接后的图像数据块的映射关系的各个区块之外的其他三维真彩曲面图像部分，即是超出现有三维图像框架数据库中(现有标签体系)已知区块标签的图像。

对于这部分三维真彩曲面图像，在内窥过程中，本发明实施例的处理方法是通过执行传统的图像拼接，填补了已确定与拼接后的图像数据块的映射关系的各个区块之间的空隙，由此满足了用户口腔内窥和三维建模的需求。但是，本发明实施例中，仍需要将用户的三维图像模型和记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息发送给云端服务器。

云端服务器接收到之后，需要检测以下情况：用户的三维图像模型中的已确定获得映射关系的区块之间存在尚未被识别的其他三维真彩曲面图像部分。然后，云端服务器要把存在尚未被识别的其他三维真彩曲面图像部分的、用户的三维图像模型分发给相应的牙科专家，以便相应的牙科专家对那些尚未被识别的其他三维真彩曲面图像部分进行研究分析，并更新标签体系，从而更新得到最新的三维图像框架数据库(口腔内窥全景标签体系)。

2)对于拼接后的图像数据块中除已确定获得与保存的三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，云端服务器也可根据预先设定的策略，把这些图像数据块分发给相应的牙科专家，以便相应的牙科专家对这些图像数据块进行研究分析，并更新标签体系，从而更新得到最新的三维图像框架数据库(口腔内窥全景标签体系)。

这样，本发明实施例中，云端服务器可以不断更新三维图像框架数据库，解决了口腔的三维图像处理有条件执行区块匹配和展示的问题，可以不断更新和完善三维图像框架数据库，以及在匹配成功和不成功时有效地进行展示和处理，从而逐步充实和完善三维图像框架数据库，进而随着不断的使用和完善，在之后使用三维图像框架数据库时，可以提高匹配的成功率，从而可以使得用户的三维图像模型中包含的三维真彩图像越来越多，提高了展示效果。

实施例三：

基于上述实施例，参阅图4所示，本发明实施例三中，图像处理方法的具体流程如下：

步骤400：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；所述采集到的用户的图像数据表示未进行拼接处理的。

步骤410：针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据。

进一步地，执行步骤410之前，还包括：确定所述图像数据的个数大于预设阈值。

这样，累计获取到的图像数据，当图像数据的个数达到一定数量后，才开始执行本次拼接和后续处理，可以提高处理效率。

步骤420：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述区块的图像的数据包括：编号信息、图像特征信息。

进一步地，执行步骤420之前进一步包括：

根据拼接后的图像数据块和预设的图像模式识别算法，确定所述内窥器已放入口腔。

这样，针对口腔内窥的情况，根据图像模式识别，自动识别是否已放入口腔，并且当确定已放入口腔后再执行后续操作，避免无效的操作，节省处理资源，提高效率。

步骤430：若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

也就是说，进行匹配后，不仅包含本次处理的图像数据的图像数据块没有获得映射关系，而且内窥器开机开始进行内窥操作以来，拼接后的图像数据块都没有获得映射关系，这时就无法重构更新用户的三维图像模型，对于这种情况，本发明实施例中，仍可以进行三维图像的展示，是对获取到的图像数据进行拼接，得到多个相互独立的图像数据块，展示的是这些三维的图像数据块，满足用户的口腔三维图像查看的需求。

其中，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，具体包括：

1)若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序。

2)确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

步骤440：若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。

也就是说，本发明实施例三中，主要针对内窥器本次开始进行内窥操作以来，一直未有获得与三维图像框架数据库中区块的映射关系的图像数据块的情况，这时展示给用户的三维图像为拼接后的图像数据块，并且上传到云端服务器的也只有图像数据块，这样，虽然未获得映射关系，不能重构于用户的三维图像轮廓上，但仍可以展示拼接后的图像数据块，并且，由于图像数据块是多个独立的三维图像，每一个图像数据块都可以作为一个初始区域，因此可以有多个初始区域，用户可以随意扫描口腔中的任意位置，可以从这多个初始区域开始进行连续扫描，也可以从其它位置扫描从而形成一个新的初始区域，无需在口腔中从唯一的初始区域连续扫描，便于用户使用，支持用户自助式的三维真彩取模，提升了用户的使用体验。

并且通过将这些未获得映射关系的图像数据块上传到云端服务器，云端服务器可以根据这些图像数据块，更新三维图像框架数据库，例如，可以发送给牙科专业人士，对这些图像数据块进行辨认判断，为这些图像数据块建立标签体系，其中标签体系可以包括区块的划分、区块的编号信息、区块的图像数据、区块的图像的位置信息等，其中，区块的图像的位置信息包括：每个区块相互之间的空间位置关系。进而，可以不断更新充实三维图像框架数据库，这样，随着实际运营的不断使用，三维图像框架数据库包括的数据更为丰富全面，运营一段时间后，就提高了图像数据块与三维图像框架数据库中区块的图像进行匹配的成功率，从而可以重构获得用户的三维图像模型，展示用户的三维图像模型，可以极大提高用户对三维口腔图像的查看需求和体验，用户可以很好地查看到口腔图像的具体位置，互动效果更好。

实施例四：

基于上述实施例，参阅图5所示，本发明实施例四中，云端服务器的更新方法的具体流程如下：

步骤500：接收终端发送的更新请求，其中，所述更新请求中至少包括：拼接后的图像数据块的部分或全部图像数据块。

其中，所述拼接后的图像数据块为终端根据内窥器采集到的用户的图像数据进行拼接处理后得到的，并且所述拼接后的图像数据块均未获得与三维图像框架数据库中区块的映射关系。

步骤510：根据所述更新请求，更新保存的三维图像框架数据库。

本发明实施例四主要基于上述本发明实施例三的情况，这时云端服务器只接收到了图像数据块，进而可以根据图像数据块，不断更新和完善三维图像框架数据库，具体地可以参阅上述实施例一至三，这里就不再进行赘述了。

值得说明的是，在上述实施例一中也提到，随着本发明实施例的图像处理方法运营很长时间后，三维图像框架数据库不断更新和完善，因此，在匹配时，可能不会有匹配不成功的情况，也就不会获得未获得映射关系的图像数据块，拼接后的图像数据块都可以获得与三维图像框架数据库中区块的映射关系，这时，是将用户的三维图像模型和记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息上传到云端服务器，以使云端服务器根据用户的三维图像模型和记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，更新三维图像框架数据库。进而这时云端服务器可以根据用户的三维图像模型和记录的已确定获得与拼接后的图像数据块的映射关系的区块的编号信息，不断更新三维图像框架数据库，可以更加完善和充实三维图像框架数据库。

实施例五：

基于上述实施例中，本发明实施例五中，是以每接收到1幅图像数据就做1次处理循环，并且本次处理没有图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来也没有图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第100幅图像数据P(100)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(100)与系统中保存的图像数据块序列，例如为{Q′(1)、…、Q′(m)、…、Q′(9)，M＝9}中的每一个图像数据块Q′(1)、…、Q′(m)、…、Q′(9)相互之间是否能拼接。

经判断，确定该图像数据P(100)与保存的第2幅图像数据块Q′(2)能拼接、且与保存的第5幅图像数据块Q′(5)能拼接。

因此，将图像数据P(100)、图像数据块Q′(2)、图像数据块Q′(5)进行拼接，形成新的图像数据块Q′(Temp)。

步骤C)判断内窥器是否已放入用户口腔。

若为“否”，对于保存的图像数据块Q′(1)、Q′(3)、Q′(4)、Q′(6)、Q′(7)、Q′(8)、Q′(9)，以及新的图像数据块Q′(Temp)，按包括的图像数据的个数或面积从大到小顺序进行排列，由此获得当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(8)，M＝8}并予以保存。返回执行步骤A)。

若为“是”，继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(100)的图像数据块，即图像数据块Q′(Temp)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若无法获得前述新的图像数据块Q′(Temp)与三维图像框架数据库中区块的映射关系(也即T＝0)，则根据第二预设展示策略，展示拼接后的图像数据块，具体方法如下：

对于当前保存的图像数据块Q′(1)、Q′(3)、Q′(4)、Q′(6)、Q′(7)、Q′(8)、Q′(9)，以及新的图像数据块Q′(Temp)，从大到小顺序排序后获得当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(8)，M＝8}并予以保存。

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前3个图像数据块Q′(1)、Q′(2)、Q′(3)。并在该3个展示区域中分别展示取出的前3个图像数据块的三维真彩图像。

系统返回前述步骤A)。

例如，口腔内窥示意图：当前展示界面中有3个展示区域。

其中，区域1展示的是Q′(1)的三维真彩图像，例如为左上1唇侧区块及相应部分牙龈、左上2唇侧区块及相应部分牙龈、部分左上3唇侧区块及相应部分牙龈。区域2展示的是Q′(2)的三维真彩图像，例如为右上1唇侧的右侧部分区块及相应牙龈。区域3展示的是Q′(3)的三维真彩图像，例如为左下4舌侧部分区块及相应牙龈。

实施例六：

基于上述实施例中，本发明实施例六中，是以每接收到1幅图像数据就做1次处理循环，并且本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来共有1个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第120幅图像数据P(120)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(120)与系统中保存的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(16)，M＝16}中的每一个图像数据块Q′(1)、…、Q′(m)、…、Q′(16)相互之间是否能拼接。

经判断，确定该图像数据P(120)与系统中保存的第1幅图像数据块Q′(1)能拼接、且与系统中保存的第3幅图像数据块Q′(3)能拼接。

因此，将图像数据P(120)、图像数据块Q′(1)、图像数据块Q′(3)进行拼接，形成新的图像数据块Q′(Temp)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(120)的图像数据块，即前述新的图像数据块Q′(Temp)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp)获得与三维图像框架数据库中区块的映射关系，并且，本次内窥操作开始以来，前述新的图像数据块Q′(Temp)是目前唯一的1个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝1)。则系统对图像数据块的处理方法如下：

根据该映射关系，确定前述新的图像数据块Q′(Temp)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中本次匹配操作获得与前述新的图像数据块Q′(Temp)的映射关系的各个区块的编号信息进行记录，例如，已确定获得映射关系的区块包括：左上1牙齿远中邻面区块(编号07.032.001)、左上1牙齿唇侧区块(编号07.037.001)、右上1牙齿唇侧区块(编号07.042.001)，则记录已确定获得映射关系的区块的编号信息为，编号07.032.001、07.037.001、07.042.001。

对于前述新的图像数据块Q′(Temp)，系统记为Q^o(1)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(2)、Q′(4)、…….、Q′(16)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(14)，M＝14}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：区域1展示的内容为：更新后的用户的三维图像模型，例如该用户的三维图像模型为，带有用户的三维图像轮廓，以及左上3唇侧区块右侧部分曲面、左上2牙齿唇侧区块及相应部分牙龈、左上1牙齿唇侧区块及相应部分牙龈、右上1牙齿唇侧区块及相应牙龈、右上2牙齿唇侧区块左侧部分曲面及相应牙龈。区域2展示的内容为：图像数据块Q′(1)的三维真彩图像。区域3展示的内容为：图像数据块Q′(2)的三维真彩图像。

系统返回前述步骤A)。

实施例七：

基于上述实施例中，本发明实施例七中，是以每接收到1幅图像数据就做1次处理循环，并且本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来共有2个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第139幅图像数据P(139)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像；

步骤B)分别判断图像数据P(139)与系统中保存的图像数据块中已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)}和未获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(18)，M＝18}中的每一个图像数据块Q^o(1)、Q′(1)、…、Q′(m)、…、Q′(18)相互之间是否能拼接。

经判断，确定该图像数据P(139)与系统中保存的图像数据块Q′(2)能拼接、且与系统中保存的像数据块Q′(4)能拼接。

因此，将图像数据P(139)、图像数据块Q′(2)、图像数据块Q′(4)进行拼接，形成新的图像数据块Q′(Temp)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(139)的图像数据块，即前述新的图像数据块Q′(Temp)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp)获得与三维图像框架数据库中区块的映射关系，并且，本次内窥操作开始以来，前述新的图像数据块Q′(Temp)是目前第2个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝2)。则系统对图像数据块的处理方法如下：

根据该映射关系，确定前述新的图像数据块Q′(Temp)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中已确定获得与前述新的图像数据块Q′(Temp)的映射关系的各个区块的编号信息进行记录，例如，本次与图像数据块Q′(Temp)获得映射关系的区块为右上5牙齿颊侧区块(编号07.062.001)。

这时，例如本次拼接匹配处理之前，即第1个获得与三维图像框架数据库中区块的映射关系的图像数据块时，获得映射关系的区块的编号信息为07.032.001、07.037.001、07.042.001，则本次内窥操作开始以来，记录的所有已确定获得与拼接后的图像数据块的映射关系的各个区块的区块编号为：编号07.032.001、07.037.001、07.042.001、07.062.001。

对于前述新的图像数据块Q′(Temp)，系统记为Q^o(2)并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)、Q^o(2)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(1)、Q′(3)、Q′(5)、…….、Q′(18)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(16)，M＝16}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：区域1展示的内容为：更新后的用户的三维图像模型，例如，该用户的三维图像模型为，带有用户的三维图像轮廓，以及Q^o(1)和Q^o(2)图像数据块的三维真彩图像，例如包括左上3唇侧区块右侧部分曲面、左上2牙齿唇侧区块及相应部分牙龈、左上1牙齿唇侧区块及相应部分牙龈、右上1牙齿唇侧区块及相应牙龈、右上2牙齿唇侧区块左侧部分曲面及相应牙龈，右上4牙齿颊侧区块右侧部分曲面、右上5牙齿颊侧区块及相应牙龈、右上6牙齿颊侧区块部分曲面及相应牙龈。区域2展示的内容为：图像数据块Q′(1)的三维真彩图像。区域3展示的内容为：图像数据块Q′(2)的三维真彩图像。

系统返回前述步骤A)。

实施例八：

基于上述实施例中，本发明实施例八中，是以每接收到1幅图像数据就做1次处理循环，并本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系且本次处理后，使得之前两个已获得与三维图像框架数据库中区块的映射关系的图像数据块融合为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第168幅图像数据P(168)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(168)与系统中保存的图像数据块序列中已确定获得映射关系的图像数据块{Q^o(1)、Q^o(2)}和未获得映射关系的图像数据块{Q′(1)、…、Q′(m)、…、Q′(12)，M＝12}中的每一个图像数据块Q^o(1)、Q^o(2)、Q′(1)、…、Q′(m)、…、Q′(12)相互之间是否能拼接。

经判断，确定该图像数据P(168)与系统中保存的图像数据块Q^o(1)能拼接、且与系统中保存的像数据块Q^o(2)能拼接。

因此，将图像数据P(168)、图像数据块Q^o(1)、图像数据块Q^o(2)进行拼接，形成新的图像数据块Q′(Temp)，此时说明之前两个已获得与三维图像框架数据库中区块的映射关系的图像数据块通过P(168)融合在了一起，形成了一个新的图像数据块。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将前述新的图像数据块Q′(Temp)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp)获得与三维图像框架数据库中区块的映射关系，并且，本次内窥操作开始以来，前述新的图像数据块Q′(Temp)是目前唯一的1个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝1)。则系统对图像数据块的处理方法如下：

根据该映射关系，确定前述新的图像数据块Q′(Temp)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中已确定与前述新的图像数据块Q′(Temp)的映射关系的各个区块的区块编号予以记录，例如已确定获得映射关系的区块包括：左上2牙齿唇侧区块(编号07.032.001)、左上1牙齿唇侧区块(编号07.037.001)、右上1牙齿唇侧区块(编号07.042.001)、右上2牙齿唇侧区块(编号07.042.001)、右上5牙齿颊侧区块(编号07.062.001)，则记录的已确定获得映射关系的区块的编号信息为：07.032.001、07.037.001、07.042.001、07.047.001、07.062.001。

对于前述新的图像数据块Q′(Temp)，系统重新记为Q^o(1)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(1)、Q′(2)、Q′(3)、…….、Q′(12)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(12)，M＝12}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：区域1展示的内容为：更新后的用户的三维图像模型，其中该用户的三维图像模型为带有用户的三维图像轮廓，以及Q^o(1)图像数据块的三维真彩图像，例如包括左上3唇侧区块右侧部分曲面、左上2牙齿唇侧区块及相应部分牙龈、左上1牙齿唇侧区块及相应部分牙龈、右上1牙齿唇侧区块及相应牙龈、右上2牙齿唇侧区块及相应牙龈、右上2牙齿远中邻面区块，右上2牙齿远中邻面区块与右上4牙齿近中邻面区块之间的三维真彩曲面，右上5牙齿近中邻面区块、右上5牙齿颊侧区块及相应牙龈、右上6牙齿颊侧区块部分曲面及相应牙龈。区域2展示的内容为：图像数据块Q′(1)的三维真彩图像。区域3展示的内容为：图像数据块Q′(2)的三维真彩图像。

系统返回前述步骤A)。

实施例九：

基于上述实施例中，本发明实施例九中，是以每接收到2幅图像数据就做1次处理循环，并且本次处理没有图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来也没有图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第100和101幅图像数据P(100)、P(101)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(100)、P(101)相互之间，及其与系统中保存的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(18)，M＝18}中的每一个图像数据块Q′(1)、…、Q′(m)、…、Q′(18)相互之间是否能拼接。

经判断，确定图像数据P(100)与系统中保存的第2幅图像数据块Q′(2)能拼接、且与系统中保存的第5幅图像数据块Q′(5)能拼接。图像数据P(101)与任何其他图像数据块都无法拼接。

因此，将图像数据P(100)、图像数据块Q′(2)、图像数据块Q′(5)进行拼接，形成新的图像数据块，记为Q′(Temp 1)。图像数据P(101)也构成一个独立的新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若无法获得前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与三维图像框架数据库中区块的映射关系(并且，本次内窥操作以来，之前也还没有哪一个图像数据块获得与三维图像框架数据库中区块的映射关系，也即T＝0)，则根据第二预设展示策略，展示拼接后的图像数据块，具体方法如下：

对于当前保存的图像数据块Q′(1)、Q′(3)、Q′(4)、Q′(6)、Q′(7)、……、Q′(18)，以及新的图像数据块Q′(Temp 1)、Q′(Temp 2)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(18)，M＝18}并予以保存。

若当前展示界面中展示区域的个数为3，即d＝3，从排序后的图像数据块中取前3个图像数据块Q′(1)、Q′(2)、Q′(3)，并在该3个展示区域中分别展示取出的前3个图像数据块的三维真彩图像。

例如，参阅图6所示，口腔内窥示意图：当前展示界面中有3个展示区域。

其中，区域1展示的内容为Q′(1)的三维真彩图像，例如为右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块上半部曲面、右上2牙齿近中邻面区块上半部曲面、右上2牙齿唇侧区块上半部及相应牙龈曲面。区域2展示的内容为Q′(2)的三维真彩图像，例如为右上6牙齿腭侧区块的部分曲面。区域3展示的内容为Q′(3)的三维真彩图像，例如为左下3牙齿舌侧区块的部分曲面。

系统返回前述步骤A)。

实施例十：

基于上述实施例中，本发明实施例十中，是以每接收到2幅图像数据就做1次处理循环，并且本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来共有1个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第120、121幅图像数据P(120)、P(121)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(120)、P(121)相互之间，及其与系统中保存的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(32)，M＝32}中的每一个图像数据块Q′(1)、…、Q′(m)、…、Q′(32)相互之间是否能拼接。

经判断，确定图像数据P(120)与系统中保存的第1幅图像数据块Q′(1)能拼接、且与系统中保存的第4幅图像数据块Q′(4)能拼接。图像数据P(121)与任何其他图像数据块都无法拼接。

因此，将图像数据P(120)、图像数据块Q′(1)、图像数据块Q′(4)进行拼接，形成新的图像数据块，记为Q′(Temp 1)。图像数据P(101)也构成一个独立的新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)跟据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(120)、P(121)的图像数据块，即前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与保存的三维图像框架数据库中区块的图像特征进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp 1)获得与三维图像框架数据库中区块的映射关系，并前述新的图像数据块Q′(Temp 2)无法获得与三维图像框架数据库中区块的映射关系，本次内窥操作开始以来，前述新的图像数据块Q′(Temp 1)是目前唯一的1个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝1)，则系统对图像数据块的处理方法如下：根据该映射关系，确定前述新的图像数据块Q′(Temp 1)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp 1)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中本次匹配操作获得与前述新的图像数据块Q′(Temp 1)的映射关系的各个区块的区块编号予以记录，例如，已确定获得映射关系的区块包括：右上1牙齿远中邻面区块(编号07.045.001)、右上2牙齿近中邻面区块(编号07.046.001)、右上2牙齿唇侧区块及相应牙龈曲面(编号07.047.001)、右上2牙齿远中邻面区块(编号07.050.001)，则记录的包含本次内窥操作开始以来，已确定获得与拼接后的图像数据块的映射关系的各个区块的区块编号为，编号07.045.001、07.046.001、07.047.001、07.050.001。

对于前述新的图像数据块Q′(Temp 1)，系统记为Q^o(1)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(2)、Q′(3)、Q′(5)、…….、Q′(32)，以及新的图像数据块Q′(Temp 2)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(31)，M＝31}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：参阅图7所示，区域1展示的内容为：更新后的用户的三维图像模型，该用户的三维图像模型为带有该用户的三维图像轮廓，以及Q^o(1)的三维真彩曲面图像，例如为右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块、右上2牙齿近中邻面区块、右上2牙齿唇侧区块及相应牙龈曲面、右上2牙齿远中邻面区块、右上3牙齿唇侧区块左侧部分曲面。

区域2展示的内容为：图像数据块Q′(1)的三维真彩图像，例如为右下6牙齿舌侧区块的部分曲面。

区域3展示的内容为：图像数据块Q′(2)的三维真彩图像，例如为左下4牙齿舌侧区块的部分曲面。

系统返回前述步骤A)。

实施例十一：

基于上述实施例中，本发明实施例十一中，是以每接收到2幅图像数据就做1次处理循环，并且本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来共有2个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第138、139幅图像数据P(138)、P(139)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(138)、P(139)相互之间，及其与系统中保存的图像数据块序列中已确定获得与三维图像框架数据库中区块的映射关系的图像数据块{Q^o(1)}和未获得与三维图像框架数据库中区块的映射关系的图像数据块{Q′(1)、…、Q′(m)、…、Q′(18)，M＝18}中的每一个图像数据块Q^o(1)、Q′(1)、…、Q′(m)、…、Q′(18)相互之间是否能拼接。

经判断，确定图像数据P(139)与系统中保存的图像数据块Q′(3)能拼接、且与系统中保存的像数据块Q′(5)能拼接。图像数据P(138)与任何其他图像数据块都无法拼接。

因此，拼接处理后图像数据P(138)构成一个独立的新的图像数据块，记为Q′(Temp1)。并将图像数据P(139)、图像数据块Q′(3)和图像数据块Q′(5)进行拼接，形成新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于所述三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(138)或P(139)的图像数据块，即前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)分别与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp 1)无法获得与三维图像框架数据库中区块的映射关系，并且前述新的图像数据块Q′(Temp 2)获得与三维图像框架数据库中区块的映射关系。本次内窥操作开始以来，前述新的图像数据块Q′(Temp 2)是目前第2个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝2)，则系统对图像数据块的处理方法如下：

根据映射关系，确定前述新的图像数据块Q′(Temp 2)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp 2)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中已确定获得与前述新的图像数据块Q′(Temp 2)的映射关系的各个区块的区块编号予以记录，例如，已确定获得映射关系的区块包括：右上5牙齿近中邻面区块(编号07.061.001)、右上5牙齿颊侧区块(编号07.062.001)。

例如，本次匹配之前，已有记录的获得映射关系的区块的编号信息为07.045.001、07.046.001、07.047.001、07.050.001，则加上本次匹配记录的区块的编号信息，目前记录的所有包含本次内窥操作开始以来，已确定获得与拼接后的图像数据块的映射关系的各个区块的编号信息为，编号07.045.001、07.046.001、07.047.001、07.050.001，07.061.001、07.062.001。

对于前述新的图像数据块Q′(Temp 2)，系统记为Q^o(2)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)、Q^o(2)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(1)、Q′(2)、Q′(4)、Q′(6)、…….、Q′(18)，以及新的图像数据块Q′(Temp1)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(17)，M＝17}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：参阅图8所示，区域1展示的内容为：更新后的用户的三维图像模型，该用户的三维图像模型为带有用户的三维图像轮廓，以及Q^o(1)和Q^o(2)图像数据块的三维真彩图像，例如Q^o(1)的三维真彩曲面图像为，右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块、右上2牙齿近中邻面区块、右上2牙齿唇侧区块及相应牙龈曲面、右上2牙齿远中邻面区块、右上3牙齿唇侧区块左侧部分曲面；Q^o(2)的三维真彩曲面图像为，右上4牙齿颊侧区块右侧部分曲面、右上5牙齿近中邻面区块、右上5牙齿颊侧区块及相应牙龈。

区域2展示的内容为：图像数据块Q′(1)的三维真彩图像，例如为左下5牙齿颊侧区块的部分曲面。

区域3展示的内容为：图像数据块Q′(2)的三维真彩图像，例如为左下4牙齿咬合面区块的部分曲面。

系统返回前述步骤A)。

实施例十二：

基于上述实施例中，本发明实施例十二中，是以每接收到2幅图像数据就做1次处理循环，并且本次处理没有获得与三维图像框架数据库中区块的映射关系，但是内窥操作开始以来，在本次处理之前已有2个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第152、153幅图像数据P(152)、P(153)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(152)、P(153)相互之间、及其与系统中保存的图像数据块序列中已确定获得映射关系的图像数据块{Q^o(1)、Q^o(2)}和为获得映射关系的图像数据块{Q′(1)、…、Q′(m)、…、Q′(21)，M＝21}中的每一个图像数据块Q^o(1)、Q^o(2)、Q′(1)、…、Q′(m)、…、Q′(21)相互之间是否能拼接。

经判断，确定该图像数据P(152)与系统中保存的图像数据块Q′(3)能拼接。图像数据P(153)与任何其他图像数据块都无法拼接，例如为左下4牙齿咬合面区块的部分曲面。

因此，将图像数据P(152)、图像数据块Q′(3)进行拼接，形成新的图像数据块，记为Q′(Temp 1)。图像数据P(153)构成一个独立的新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据保存的三维图像框架数据库，根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(152)、P(153)的图像数据块，即前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)都无法获得与三维图像框架数据库中区块的映射关系，本次内窥操作开始以来，已获得与三维图像框架数据库中区块的映射关系的图像数据块依旧是系统中保存的图像数据块序列{Q^o(1)、Q^o(2)}中的图像数据块Q^o(1)和Q^o(2)，则系统对图像数据块的处理方法如下：

已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)、Q^o(2)}不变。

当前保存的用户的三维图像模型不变；其中记录的本次内窥操作开始以来、已确定获得与拼接后的图像数据块的映射关系的各个区块的编号信息不变。

对于当前保存的未获得与三维图像框架数据库中区块的映射关系的图像数据块Q′(1)、Q′(2)、Q′(4)、Q′(5)、…….、Q′(21)，以及新的图像数据块Q′(Temp 2)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(21)，M＝21}并予以保存。

根据第一预设展示策略，对当前保存的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和当前保存的用户的三维图像模型，具体地：

区域1展示的内容为：当前保存的用户的三维图像模型，该用户的三维图像模型为带有用户的三维图像轮廓，以及Q^o(1)和Q^o(2)图像数据块的三维真彩图像，例如，Q^o(1)的三维真彩曲面图像为，右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块、右上2牙齿近中邻面区块、右上2牙齿唇侧区块及相应牙龈曲面、右上2牙齿远中邻面区块、右上3牙齿唇侧区块左侧部分曲面；Q^o(2)的三维真彩曲面图像为，右上4牙齿颊侧区块右侧部分曲面、右上5牙齿近中邻面区块、右上5牙齿颊侧区块及相应牙龈。

区域2展示的内容为：图像数据块Q′(1)的三维真彩图像，例如为左下5牙齿咬合面区块的部分曲面。注：因为这个图像数据块拼接了图像数据P(152)，所以其面积会比拼接之前展示的该图像数据块的面积要大些。

区域3展示的内容为：图像数据块Q′(2)的三维真彩图像，例如为左下4牙齿颊侧区块的部分曲面。

系统返回前述步骤A)。

实施例十三：

基于上述实施例中，本发明实施例十三中，是以每接收到2幅图像数据就做1次处理循环，并本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系且本次处理后，使得之前两个已获得与三维图像框架数据库中区块的映射关系的图像数据块融合为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

步骤A)接收内窥器采集到的用户的第168、169幅图像数据P(168)、P(169)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据，并且所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(168)、P(169)相互之间、及其与系统中保存的图像数据块序列中已获得映射关系的图像数据块{Q^o(1)、Q^o(2)}和未获得映射关系的图像数据块{Q′(1)、…、Q′(m)、…、Q′(12)，M＝12}中的每一个图像数据块Q^o(1)、Q^o(2)、Q′(1)、…、Q′(m)、…、Q′(12)相互之间是否能拼接。

经判断，确定该图像数据P(168)与系统中保存的图像数据块Q^o(1)能拼接、且与系统中保存的像数据块Q^o(2)能拼接。图像数据P(169)与任何其他图像数据块都无法拼接。

因此，将图像数据P(168)、图像数据块Q^o(1)、图像数据块Q^o(2)进行拼接，形成新的图像数据块，记为Q′(Temp 1)。图像数据P(169)构成一个独立的新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将拼接后的图像数据块中包含P(168)、P(169)的图像数据块，即前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与保存的三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp 1)获得与三维图像框架数据库中区块的映射关系，并前述新的图像数据块Q′(Temp 2)无法获得与三维图像框架数据库中区块的映射关系。前述新的图像数据块Q′(Temp 1)是内窥操作开始以来，目前唯一的1个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝1)，则系统对图像数据块的处理方法如下：

根据映射关系，确定前述新的图像数据块Q′(Temp 1)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp 1)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对本次匹配操作时，三维图像框架数据库中已确定获得与前述新的图像数据块Q′(Temp 1)的映射关系的各个区块的区块编号予以记录，例如，已确定获得映射关系的区块包括：右上1牙齿近中邻面区块(编号07.041.001)、右上1牙齿唇侧区块(编号07.042.001)、右上1牙齿远中邻面区块(编号07.045.001)、右上2牙齿近中邻面区块(编号07.046.001)、右上2牙齿唇侧区块(编号07.047.001)、右上2牙齿远中邻面区块(编号07.050.001)、右上5牙齿近中邻面区块(编号07.061.001)、右上5牙齿颊侧区块(编号07.062.001)。则本次内窥操作开始以来，记录的已确定获得映射关系的区块的编号信息为，编号07.041.001、07.042.001、07.045.001、07.046.001、07.047.001、07.050.001、07.061.001、07.062.001。

对于前述新的图像数据块Q′(Temp 1)，系统记为Q^o(1)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定映射关系的其它图像数据块Q′(1)、Q′(2)、Q′(3)、…….、Q′(12)，以及新的图像数据块Q′(Temp2)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(13)，M＝13}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：

参阅图9所示，区域1展示的内容为：更新后的用户的三维图像模型，该用户的三维图像模型为带有用户的三维图像轮廓，以及Q^o(1)图像数据块的三维真彩图像。例如，Q^o(1)图像数据块的三维真彩图像为，右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块、右上2牙齿近中邻面区块、右上2牙齿唇侧区块及相应牙龈曲面、右上2牙齿远中邻面区块；右上2牙齿远中邻面区块与右上5牙齿近中邻面区块之间的三维真彩曲面；右上5牙齿近中邻面区块、右上5牙齿颊侧区块及相应牙龈。

区域2展示的内容为：图像数据块Q′(1)的三维真彩图像，例如为左下5牙齿颊侧区块的部分曲面。

区域3展示的内容为：图像数据块Q′(2)的三维真彩图像，例如为左下4牙齿咬合面区块的部分曲面。

系统返回前述步骤A)。

实施例十四：

基于上述实施例中，本发明实施例十四中，是以每接收到6幅图像数据就做1次处理循环，并且本次处理有1个图像数据块获得与三维图像框架数据库中区块的映射关系，以及加上本次处理之后，内窥操作开始以来共有2个图像数据块获得与三维图像框架数据库中区块的映射关系为例进行说明，其中，1次处理循环表示进行一次拼接、匹配和展示处理。

例如，每接收到F组时序戳相同而摄像单元编号不同的H幅图像数据，例如F＝3，H＝2，即F*H＝3*2＝6幅图像数据时，就执行后续处理步骤，也即每次处理3*2＝6幅新获取到的图像数据。

步骤A)接收内窥器采集到的用户的第138、139、140、141、142、143合计6幅图像数据P(138)、P(139)、P(140)、P(141)、P(142)、P(143)；其中，所述图像数据包括所述内窥器中摄像单元拍摄到的三维真彩图像数据并且P(138)、P(139)是时序戳相同(r＝69)而摄像单元编号分别为1和2的两幅图像数据；P(140)、P(141)是时序戳相同(r＝70)而摄像单元编号分别为1和2的两幅图像数据；P(142)、P(143)是时序戳相同(r＝71)而摄像单元编号分别为1和2的两幅图像数据；并且，所述图像数据的类型为深度图像。

步骤B)分别判断图像数据P(138)、P(139)、P(140)、P(141)、P(142)、P(143)相互之间，及其与系统中保存的图像数据块序列中已确定获得与三维图像框架数据库中区块的映射关系的图像数据块{Q^o(1)}和没有获得与三维图像框架数据库中区块的映射关系的图像数据块{Q′(1)、…、Q′(m)、…、Q′(18)，M＝18}中的每一个图像数据块Q^o(1)、Q′(1)、…、Q′(m)、…、Q′(18)相互之间是否能拼接。

经判断，确定图像数据P(138)、P(140)、P(142)能拼接、图像数据P(139)、P(141)、P(143)能拼接；图像数据P(139)、P(141)、P(143)拼接之后形成的图像数据块与系统中保存的图像数据块Q′(3)能拼接、且与系统中保存的像数据块Q′(5)能拼接；图像数据P(138)、P(140)、P(142)拼接之后形成的图像数据块与任何其他图像数据块都无法拼接。

因此，将图像数据P(138)、P(140)、P(142)拼接之后形成的图像数据块构成一个独立的新的图像数据块，记为Q′(Temp 1)。将图像数据P(139)、P(141)、P(143)、图像数据块Q′(3)、图像数据块Q′(5)进行拼接，形成新的图像数据块，记为Q′(Temp 2)。

步骤C)判断内窥器是否已放入用户口腔，若是，则继续执行步骤D)。

步骤D)根据预设的图像模式识别算法，基于三维图像框架数据库中区块的图像特征信息，将前述新的图像数据块Q′(Temp 1)、Q′(Temp 2)与所述三维图像框架数据库中区块的图像进行匹配。

步骤E)匹配之后，若前述新的图像数据块Q′(Temp 1)无法获得与三维图像框架数据库中区块的映射关系，前述新的图像数据块Q′(Temp 2)获得与三维图像框架数据库中区块的映射关系，本次内窥操作开始以来，前述新的图像数据块Q′(Temp 2)是目前第2个获得与三维图像框架数据库中区块的映射关系的图像数据块(也即T＝2)，则系统对图像数据块的处理方法如下：

根据映射关系，确定前述新的图像数据块Q′(Temp 2)对应的区块，并确定该区块在保存的用户的三维图像轮廓中的位置，并将前述新的图像数据块Q′(Temp 2)重构于用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据重构后的三维图像数据，更新当前保存的用户的三维图像模型。

并且，对三维图像框架数据库中已确定获得与前述新的图像数据块Q′(Temp 2)的映射关系的各个区块的区块编号予以记录，例如，已确定获得映射关系的区块包括：右上5牙齿近中邻面区块(编号07.061.001)、右上5牙齿颊侧区块(编号07.062.001)。

例如，本次匹配处理之前，已有记录的获得映射关系的区块的编号信息为，07.045.001、07.046.001、07.047.001、07.050.001，则加上本次处理之后记录的区块的编号信息，目前记录的所有本次内窥器开机以来，已确定获得与拼接后的图像数据块的映射关系的各个区块的编号信息为，编号07.045.001、07.046.001、07.047.001、07.050.001，07.061.001、07.062.001。

对于前述新的图像数据块Q′(Temp 2)，系统记为Q^o(2)，并记入已获得与三维图像框架数据库中区块的映射关系的图像数据块序列{Q^o(1)、Q^o(2)}。

对于当前保存的图像数据块，即拼接后的图像数据块中除已确定获得映射关系的其它图像数据块Q′(1)、Q′(2)、Q′(4)、Q′(6)、…….、Q′(18)，以及新的图像数据块Q′(Temp1)，按包括的图像数据的个数或面积从大到小顺序进行排序，获得排序后的当前最新的图像数据块序列{Q′(1)、…、Q′(m)、…、Q′(17)，M＝17}并予以保存。

根据第一预设展示策略，对更新后的用户的三维图像模型以及拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体为：

若当前展示界面中展示区域的个数为3，也即d＝3，从排序后的图像数据块中取前2个图像数据块Q′(1)、Q′(2)，并在该3个展示区域中分别展示取出的前2个图像数据块的三维真彩图像和更新后的用户的三维图像模型，具体地：

区域1展示的内容为：更新后的用户的三维图像模型，该用户的三维图像块模块为带有用户的三维图像轮廓，以及Q^o(1)和Q^o(2)图像数据块的三维真彩图像。例如，Q^o(1)的三维真彩曲面图像为，右上1牙齿唇侧区块右侧部分曲面、右上1牙齿远中邻面区块、右上2牙齿近中邻面区块、右上2牙齿唇侧区块及相应牙龈曲面、右上2牙齿远中邻面区块、右上3牙齿唇侧区块左侧部分曲面；Q^o(2)的三维真彩曲面图像为，右上4牙齿颊侧区块右侧部分曲面、右上5牙齿近中邻面区块、右上5牙齿颊侧区块及相应牙龈。

区域2展示的内容为：图像数据块Q′(1)的三维真彩图像，例如为左下5牙齿颊侧区块的部分曲面。

区域3展示的内容为：图像数据块Q′(2)的三维真彩图像，例如为左下4牙齿咬合面区块的部分曲面。

系统返回前述步骤A)。

实施例十五：

基于上述实施例，参阅图10所示，本发明实施例十五中，图像处理装置，具体包括：

接收单元10，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；所述采集到的用户的图像数据表示未进行拼接处理的；

处理单元11，用于针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，以及若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述区块的图像的数据包括：编号信息、图像特征信息；所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元12，用于根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示；

发送单元13，用于若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

较佳的，所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

较佳的，分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配之前，处理单元11进一步用于：

根据拼接后的图像数据块和预设的图像模式识别算法，确定所述内窥器已放入口腔。

较佳的，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元12具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

较佳的，处理单元11进一步用于：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

较佳的，处理单元11进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元12进一步用于：

根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

较佳的，根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元12具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

较佳的，处理单元11进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元12进一步用于：

根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元12具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元11进一步用于：

确定所述图像数据的个数大于预设阈值。

较佳的，所述接收单元10进一步用于在所述展示单元12根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据。

实施例十六：

基于上述实施例，参阅图11所示，本发明实施例十六中，图像处理装置，具体包括：

接收单元20，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像数据，并且所述图像数据的类型为深度图像；所述采集到的用户的图像数据表示未进行拼接处理的；

处理单元21，用于针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述区块的图像的数据包括：编号信息、图像特征信息；

展示单元22，用于若处理单元确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示；

发送单元23，用于若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。

较佳的，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元22具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块；

所述接收单元20进一步用于在所述展示单元22根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据。

较佳的，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元21进一步用于：

确定所述图像数据的个数大于预设阈值。

值得说明的是，本发明实施例中，上述对于实施例十五和实施例十六中的图像处理装置，其中接收单元、处理单元、展示单元和发送单元，都可以集成在一个用户终端中，例如都集成在手机中，当然，也可以分开，例如，对于带有手柄的内窥器，可以将接收单元、处理单元和发送单元集成在内窥器的手柄中，展示单元集成在手机中；又或者，将接收单元，以及处理单元的部分功能集成在内窥器的手柄中，处理单元的其它功能、展示单元和发送单元集成在手机中，在实际实现时，都是可以的，本发明实施例中并不进行限制。并且，内窥器将图像数据发送给手机，在手机上执行三维曲面图像拼接、处理，然后把处理后的三维真彩图像在手机上进行展示，这个都在本地进行，无需通过互联网连接云端，具体在实际实现时也可以在手机芯片内置引擎来实现，当然，也可以把内置ANN引擎的芯片设置在内窥器的手柄内来实现。

实施例十七：

基于上述实施例，本发明实施例中的图像处理方法，在实际工程实现时，可以包括以下执行操作：

步骤1)：获取内窥器采集到的图像数据，以及获得拼接后的图像数据块。

步骤2)：基于现有口腔图像数据库以及步骤1)中的图像数据块，构建人类口腔内窥全景标签体系，即三维图像框架数据库，其中三维图像框架数据库的标签体系至少包括区块的编号信息、相对位置信息、图像信息等。

步骤3)：基于步骤2)的标签体系，通过深度学习和/或强化学习等训练方法对ANN进行训练，得到最新版本的执行ANN，其中，ANN表示具备特定架构及权值的多层神经网络。

步骤4)：把最新版本的执行ANN置入芯片中以承担图像匹配处理功能，例如，寒武纪或麒麟970NPU等AI芯片。

步骤5)：对内窥器放入口腔后采集到的图像数据进行拼接、匹配、重构等处理，由此实现用户自助式的多初始点内窥图像三维真彩展示，即可以获得用户口腔的三维图像，进而可以基于用户口腔的三维图像，对用户当前的口腔健康状况进行人工智能检查。

步骤6)：对于超出现有标签体系的图像数据，一是对图像数据进行拼接操作，获得拼接后的图像数据块，以满足用户内窥需求，二是上传到云端服务器并可以分发给牙科专家以更新三维图像框架数据库的标签体系。随后，全系统得到最新版本的口腔内窥全景标签体系，即更新后的三维图像框架数据库。之后，重新执行步骤2)。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROA、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (30)

1.一种图像处理方法，其特征在于，包括：

步骤A：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像信息；

步骤B：针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；

步骤C：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

步骤D：若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型，以及，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示；其中，所述用户的三维图像模型的初始值为所述用户的三维图像轮廓。

2.如权利要求1所述的方法，其特征在于，所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

3.如权利要求1所述的方法，其特征在于，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体包括：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

4.如权利要求1所述的方法，其特征在于，进一步包括：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

5.如权利要求1所述的方法，其特征在于，若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则所述步骤D进一步包括：

根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

6.如权利要求5所述的方法，其特征在于，根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，具体包括：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

7.如权利要求1所述的方法，其特征在于，若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则所述步骤D进一步包括：

根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

8.如权利要求7所述的方法，其特征在于，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，具体包括：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

9.如权利要求1所述的方法，其特征在于，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，进一步包括：

确定所述图像数据的个数大于预设阈值。

10.如权利要求1-9任一项所述的方法，其特征在于，进一步包括：

若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

11.如权利要求1所述的方法，其特征在于，进一步包括：

执行步骤D之后，返回执行所述步骤A。

12.一种图像处理方法，其特征在于，包括：

步骤A：获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像信息；

步骤B：针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；

步骤C：分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

步骤D：若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

13.如权利要求12所述的方法，其特征在于，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，具体包括：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块；

所述方法进一步包括：执行步骤D之后，返回执行所述步骤A。

14.如权利要求12所述的方法，其特征在于，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，进一步包括：

确定所述图像数据的个数大于预设阈值。

15.如权利要求12-14任一项所述的方法，其特征在于，进一步包括：

若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。

16.一种图像处理装置，其特征在于，包括：

接收单元，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像信息；

处理单元，用于针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配，以及若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，确定所述至少一个包含所述图像数据的图像数据块对应的区块在保存的用户的三维图像轮廓中的位置，并将所述至少一个包含所述图像数据的图像数据块重构于所述用户的三维图像轮廓中对应的确定的位置上，获得重构后的三维图像数据，根据所述重构后的三维图像数据，更新当前保存的所述用户的三维图像模型；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；所述用户的三维图像模型的初始值为所述用户的三维图像轮廓；

展示单元，用于根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

17.如权利要求16所述的装置，其特征在于，所述区块的图像的位置信息包括：每个区块相互之间的空间位置关系；

所述三维图像轮廓中每一个区块的图像，为基于所述三维图像框架数据库或所述用户的三维图像模型中区块的图像的三维曲面形状，包括预设的单一颜色和单一纹理的图像。

18.如权利要求16所述的装置，其特征在于，根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示更新后的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示更新后的所述用户的三维图像模型和排序后的图像数据块。

19.如权利要求16所述的装置，其特征在于，处理单元进一步用于：

若确定获得至少一个包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，则根据所述映射关系，记录已确定获得映射关系的区块的编号信息。

20.如权利要求16所述的装置，其特征在于，处理单元进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中有至少一个已获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元进一步用于：

根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示。

21.如权利要求20所述的装置，其特征在于，根据第一预设展示策略，对当前保存的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示，展示单元具体用于：

根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d和所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的个数n，并判断n与d-1取值的大小；

若n不小于d-1，则从排序后的图像数据块中取出前d-1个图像数据块，并分别在所述d个展示区域中，依次展示当前保存的所述用户的三维图像模型和所述取出的前d-1个图像数据块；

若n小于d-1，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与n+1相同，并分别在调整后的当前展示界面中的展示区域中，依次展示当前保存的所述用户的三维图像模型和排序后的图像数据块。

22.如权利要求16所述的装置，其特征在于，处理单元进一步用于若确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则展示单元进一步用于：

根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

23.如权利要求22所述的装置，其特征在于，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块。

24.如权利要求16所述的装置，其特征在于，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元进一步用于：

确定所述图像数据的个数大于预设阈值。

25.如权利要求16-24任一项所述的装置，其特征在于，进一步包括：

发送单元，用于若确定满足预设条件，则将更新后的所述用户的三维图像模型和记录的已确定获得映射关系的区块的编号信息，以及根据预设的规则，将所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，上传到云端服务器，以使云端服务器根据更新后的所述用户的三维图像模型和已确定获得映射关系的区块的编号信息，以及所述拼接后的图像数据块中除已确定获得与所述三维图像框架数据库中区块的映射关系的图像数据块之外的部分或全部图像数据块，更新保存的所述三维图像框架数据库。

26.如权利要求16所述的装置，其特征在于，所述接收单元进一步用于在所述展示单元根据第一预设展示策略，对更新后的所述用户的三维图像模型以及所述拼接后的图像数据块中除已确定获得映射关系的其它图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据。

27.一种图像处理装置，其特征在于，包括：

接收单元，用于获取内窥器采集到的用户的图像数据；其中，所述图像数据至少包括所述内窥器中摄像单元拍摄到的图像信息；

处理单元，用于针对所述图像数据，和/或所述图像数据与保存的图像数据块进行拼接，获得拼接后的图像数据块，其中，所述图像数据块包括至少一个图像数据；并分别将所述拼接后的图像数据块中包含所述图像数据的图像数据块与保存的三维图像框架数据库中区块的图像进行匹配；其中，所述三维图像框架数据库存储有将三维图像框架图像划分出的区块的图像的数据以及每个区块的图像的位置信息；

展示单元，用于若处理单元确定未获得包含所述图像数据的图像数据块与所述三维图像框架数据库中区块的映射关系，并所述拼接后的图像数据块中没有获得与所述三维图像框架数据库中区块的映射关系的图像数据块，则根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示。

28.如权利要求27所述的装置，其特征在于，根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示，展示单元具体用于：

若所述拼接后的图像数据块的个数为a，根据图像数据块的面积或图像数据块包括图像数据的个数，将所述拼接后的图像数据块从大到小进行排序；

确定当前展示界面中的展示区域的个数d，判断a与d取值的大小，若a不小于d，则从排序后的a个图像数据块中取出前d个图像数据块，并分别在所述d个展示区域中，依次展示取出的所述前d个图像数据块，若a小于d，则调整当前展示界面中的展示区域的个数，使得展示区域的个数与a相同，并分别在调整后的当前展示界面中的展示区域中，依次展示所述a个图像数据块；

所述接收单元进一步用于在所述展示单元根据第二预设展示策略，对所述拼接后的图像数据块的全部或部分进行展示之后，返回执行获取内窥器采集到的用户的图像数据。

29.如权利要求27所述的装置，其特征在于，针对所述图像数据以及所述图像数据与保存的图像数据块进行拼接之前，处理单元进一步用于：

确定所述图像数据的个数大于预设阈值。

30.如权利要求27-29任一项所述的装置，其特征在于，进一步包括：

发送单元，用于若确定满足预设条件，则根据预设的规则，将所述拼接后的图像数据块的部分或全部，上传到云端服务器，以使云端服务器根据所述拼接后的图像数据块的部分或全部，更新保存的所述三维图像框架数据库。