CN101271526B - 一种图像处理中物体自动识别并三维重建的方法 - Google Patents

Abstract

本发明公开了一种图像处理中物体自动识别并三维重建的方法，其利用一通用计算装置以及图像记录设备，包括以下步骤：根据所述图像记录设备记录的图像类型，识别实物样本的图像样本形成物体图像样本库，形成识别并三维重建之知识库；根据与物体图像样本库同样结构的物体图像样本中物体之属性库，找到与待识别重建之物体图像足够相似的物体图像样本；从物体图像样本中物体之三维模型库中调取对应的三维模型进行三维重建。本发明方法解决了现有技术中只能针对特定物体、基于特定知识的弊端，提高了识别重建的自动化程度和速度，满足了数字城市、数字医学等数字技术对各种物体的自动高效图像识别重建的迫切需要。

Description

一种图像处理中物体自动识别并三维重建的方法

技术领域

本发明涉及一种图像处理方法，尤其涉及的是一种图像处理中对各种物体自动识别并三维重建的方法。

背景技术

以下为现有技术已知的技术词典：

知识库：根据知识库中的知识应用领域特征、对象特征(获取时的对象信息)、使用特征、属性特征等而被构成便于利用的、有结构的组织形式。知识库中还可存在一个通常被称作典型方法库的特殊部分。如果对于某些问题的解决途径是肯定和必然的，就可以把其作为一部分相当肯定的问题解决途径直接存储在典型方法库中。

知识库中的知识包括：应用领域特征、对象特征(获取时的对象信息)、使用特征、属性特征及问题的解决途径等。

推理机：推理机是专家系统的核心，它是模拟人类专家求解问题的思维活动，按照一定的推理策略，有效地选择知识库中的知识，根据用户提供的问题进行推理，得到用户满意的结论，是专家系统通过知识推理而实现问题求解的执行机构。推理机工作效率的高低直接影响到专家系统的性能。推理机的程序与知识库的具体内容无关，所以对知识库的修改不需要改动推理机。

图像处理中物体的识别并三维重建是数字城市、数字医学等数字技术所必需的关键技术：首先要从二维的图像中将物体识别出来，然后将识别出来的物体从二维重建为三维。其处理流程如图1所示，图像处理中物体的识别并三维重建过程包括：对现实世界中的三维物体进行采集，形成二维图像，并进行识别，生成二维图像中的物体，然后重建生产物体的三维模型。

具体例如：数字城市的数据来源为二维影像，由卫星遥感或航空遥感或数码相机或地面传感器等手段和设备，将城市中的三维物体采集为二维影像，但数字城市的理想输出为三维的，是城市的数字化和逼真再现，所以构建数字城市时，首先就需要将采集到的城市二维影像中物体识别出来并且进行三维重建后，放到该物体所在的三维地理坐标中。

再如数字医学的数据来源为二维影像，由CT或B超等手段和设备将人体中或动物体中的器官、病变部位采集为二维影像，但数字医学的理想输出为三维的，所以首先就需要从采集到的二维医学影像中识别出来器官、病变部位并且进行三维重建。

物体识别与三维重建作为数字技术所必需的关键技术，其主要数据来源为相应数字技术中采集到的二维图像。根据二维图像，识别并三维重建出其中的物体，必然需求大量的各种物体相关的知识、大量的各种对图像中物体进行识别与三维重建的典型方法。

但现有的“图像中物体识别”与“三维重建”应用程序是把问题求解的知识隐含地编码在程序中，只能隐含一些内容和结构较简单的知识，而且只有变动程序才能变动其中知识，所以现有的应用程序识别重建的能力有限，不易集成和扩展知识，因此其应用范围受到极大限制.也有些人研究用专家系统进行图像中物体识别或三维重建，但没有找到一种有效的知识组织和综合利用途径，来实现对各种物体的自动识别并三维重建.

所以现有的图像处理中物体的识别并三维重建的技术，主要针对特定物体或基于特定知识，也就是说只能识别并三维重建图像中特定物体，如图2所示；或者，只能根据特定知识进行图像中物体的识别与三维重建，如图3所示流程。

现有处理方式存在各自明显的缺点，其包括：

1、针对特定物体时，无法进行其它物体的识别并三维重建。由于识别并三维重建不同的物体使用的知识不尽相同，所以换一种物体后，便无法识别。因为现有技术处理方式把识别不同物体图像的不同方法，如当物体图像满足条件“颜色是**，纹理为**，灰度为**，等等”时，可以判定该物体图像中的物体为**，并具备**属性，编写进程序或放进知识库，作为识别时的判定依据，但物体千差万别，识别不同的物体需要使用不同的方法，不可能做到事先把辨别所有物体的方法都搜罗完全。

即使将已知的物体图像的识别方法都搜罗完全，但新类型的物体出现时，需要重新抽象并形式化出新类型物体图像的识别方法，否则照样无法对新类型的物体进行识别，所以现有技术也就不可能具备对各种物体图像都能识别的能力。

同理现有方式把三维重建不同物体图像的不同方法，如当物体图像满足条件“物体类型为**，颜色是**，纹理为**，灰度为**，等等”时，则先画**，再画**等等，编写进程序或放进知识库，作为三维重建时的绘制依据，但物体类型和细节千差万别，三维重建不同的物体需要使用不同的方法，不可能做到事先把三维重建所有物体的方法都搜罗完全。

即使将已知的物体图像的三维重建方法都搜罗完全，但新类型的物体出现时，需要重新抽象并形式化出新类型物体的三维重建方法，否则照样无法对新类型的物体进行三维重建，所以现有技术也就不可能具备对各种物体图像都能三维重建的能力。

2、基于特定知识时，但识别并三维重建物体往往需要综合多种知识，所以基于特定知识进行识别并三维重建，对大多数物体的识别并三维重建的效果往往不理想，不能满足数字技术的需要。因为，基于特定知识的识别，如通过纹理灰度共生矩阵分析来识别各种物体图像，当纹理为A1时，则判定该物体图像中的物体为T1类物体，当纹理为A2时，则判定该物体图像中的物体为T2类物体，如此类推，当纹理为Ai时，则判定该物体图像中的物体为Ti类物体；三维重建，如通过长宽高三个参数来三维重建各种物体图像，对任意物体，根据长宽高，画其六个面，虽然可以简化识别重建方法，使得在编写程序或知识库时能针对更多的物体，但不同的物体图像具备不同的特性，所以对其识别和三维重建时，往往要采用不同的方法，对一种物体图像有效的识别和三维重建方法，对另一种物体图像不一定有效，如识别重建时只用颜色和纹理特征方面的知识，则只对草等颜色纹理特征显著的物体适用，但对建筑等几何结构特征显著的物体就不适用，所以基于特定知识实现不了放之四海而皆准的适合于任何物体的识别和三维重建的方法。

现有的技术没有实现——“适用于各种物体”并“综合各种知识”的图像中物体的“自动”识别“并”三维重建——这样的功能，现有技术不能满足数字城市、数字医学等数字技术在此方面的迫切需要。例如，数字城市的输入是二维的城市图像，如卫星遥感图像、飞机遥感图像、无线传感器拍摄到的图像、等等，输出是三维的仿真城市，从输入到输出需要综合各种知识从城市图像中将各种物体如建筑物、树木、道路等等识别出来，并且需要将识别出来的各种物体如建筑物、树木、道路等等的二维图像重建为三维模型。

再如，数字医学的输入是二维的医学图像如超声图像、CT图像、等等，输出是三维的仿真人体或人体的某部分，从输入到输出需要综合各种知识从医学图像中将各种物体如器官、病灶等等识别出来，并且需要将识别出来的各种物体如器官、病灶等等的二维图像重建为三维模型。

因此，现有技术还有待于进一步改进和发展。

发明内容

本发明的目的在于提供一种图像处理中物体自动识别并三维重建的方法，针对现有技术只能识别重建图像中特定物体，或者只能根据特定知识进行图像中物体的识别重建，不能满足三维数字城市、三维数字医学等三维数字技术对图像中各种物体自动识别并三维重建的迫切需求的问题，提出一种能适用于各种物体，并能综合各种知识的，支持图像中物体自动识别并三维重建的方法。

本发明的技术方案包括：

一种图像处理中物体自动识别并三维重建的方法，其利用一通用计算装置以及图像记录设备，包括以下步骤：

A、根据所述图像记录设备记录的图像类型，识别实物样本的图像样本形成物体图像样本库，并根据所述图像样本的特征提取规则建立与所述物体图像样本库相关联的特征提取规则库，根据所述图像样本的特征比较规则建立与所述物体图像样本库相关联的特征比较规则库，根据所述图像样本的属性建立与所述物体图像样本库相关联的物体图像样本中物体之属性库，根据所述图像样本的三维模型建立与所述物体图像样本库相关联的物体图像样本之三维模型库，再建立与待识别重建之物体图像对应的分别指向特征提取规则库、特征比较规则库、物体图像样本中物体之属性库和物体图像样本之三维模型库中关联索引的特征提取规则字段、特征比较规则字段、物体之属性字段、物体之三维模型字段，形成识别并三维重建之知识库；

B、根据特征提取规则库和特征比较规则库选择物体图像样本的特征提取规则和特征比较规则，找到与待识别重建之物体图像足够相似的物体图像样本，所述过程还包括：

B1、根据被选中的物体图像样本所对应的特征提取规则字段中之特征提取规则关联索引，从特征提取规则库中调出相应的特征提取规则，分别对待识别重建之图像中未知物体图像和该物体图像样本进行特征提取；

B2、根据该物体图像样本所对应的特征比较规则字段中之特征比较规则关联索引，从特征比较规则库中调出相应的特征比较规则，分别对该未知物体图像的特征和该物体图像样本的特征进行比较，如果两者的特征足够相似，则认为该未知物体图像中的物体可以等同于该物体图像样本中的物体。

C、从物体图像样本中物体之属性库中调取对应的物体属性作为识别的结果，从物体图像样本中物体之三维模型库中调取对应的三维模型进行三维重建，所述过程还包括：

C1、根据物体图像样本所对应的物体图像样本中物体之属性字段中之物体图像样本中物体之属性关联索引，从物体图像样本中物体之属性库中调出相应的物体图像样本中物体之属性，并作为对该未知物体图像的识别结果；

C2、根据该物体图像样本所对应的物体图像样本中物体之三维模型字段中之物体图像样本中物体之三维模型关联索引，从物体图像样本中物体之三维模型库中调出相应的物体图像样本中物体之三维模型，并作为对该未知物体图像的三维重建结果。

所述的方法，其中，所述步骤B还包括：任何一级物体图像样本的特征提取规则字段的内容被其所有子孙级特征提取规则字段所继承；任何一级物体图像样本的特征比较规则字段的内容被其所有子孙级特征比较规则字段所继承。

所述的方法，其中，所述步骤C还包括：如果知道待识别重建之物体图像的领域，则选择物体图像样本的范围缩小到相应领域的子库，否则选择物体图像样本的范围是所有领域的子库。

所述的方法，其中，所述步骤C还包括：如果知道待识别重建之图像的图像类型，则选择物体图像样本的范围进一步缩小到相应图像类型的子库中。

本发明所提供的一种图像处理中物体自动识别并三维重建的方法，支持图像中各种物体的自动识别并三维重建，解决了现有技术中只能针对特定物体、基于特定知识的弊端；提高了识别重建的效果、效率、自动化程度和速度，满足了数字城市、数字医学等数字技术对各种物体的自动高效图像识别重建的迫切需要。

附图说明

图1为现有技术的图像处理方法流程示意图；

图2为现有技术中针对特定物体的识别并三维重建的流程示意图；

图3为现有技术中基于特定知识的识别并三维重建的流程示意图；

图4为本发明图像处理中物体自动识别并三维重建的方法基本流程示意图；

图5为本发明方法中物体图像样本库结构示意图；

图6为本发明方法中的母图示例图，为一数字城市领域中卫星遥感影像图；

图7为本发明方法中从图6中裁减出的部分物体图像样本示例图；

图8为本发明方法中特征提取规则库的结构示意图；

图9为本发明方法中特征比较规则库的结构示意图；

图10为本发明方法中物体图像样本中物体之属性库的结构示意图；

图11为本发明方法中的物体图像样本中物体之三维模型库结构示意图；

图12为本发明方法中的三维重建规则库结构示意图。

具体实施方式

以下结合附图，将对本发明的各较佳实施例进行更为详细的说明。

本发明图像处理中物体自动识别并三维重建的方法，针对现有技术只能识别重建图像中特定物体，或者只能根据特定知识进行图像中物体的识别重建，不能满足三维数字城市、三维数字医学等三维数字技术对图像中各种物体自动识别并三维重建的迫切需求的问题，提出一种能适用于各种物体，并能综合各种知识的，支持图像中物体自动识别并三维重建的系统.一方面，利用物体图像样本及属性库、物体特征提取及比较规则库充分集成各种物体的识别知识；利用物体三维模型库、物体三维重建规则库充分集成各种物体的重建知识；另一方面基于该知识库，通过其推理机提取图像与物体图像样本的特征并比较，从而根据相似性识别出图像中物体，该物体的重建结果为物体图像样本中物体的三维模型.

本发明方法将现有技术中识别重建的范围从特定物体扩展到了各种物体，满足了三维数字技术的迫切需要，且能通过其知识库提高识别重建的效果，通过其推理机和并行提高识别重建的自动化和速度。

本发明方法使用知识库与推理机技术，将待识别重建的图像中各未知物体图像与相同领域和类型的各物体图像样本进行比较，从而根据相似性识别出各未知物体图像中的物体，同时各未知物体图像中物体的三维模型可以等同于与其最相似的物体图像样本的三维模型。

如图4所示，本发明方法的实现流程包括：

1、利用物体图像样本库、物体特征提取规则库、物体特征比较规则库、物体图像样本中物体之属性库可以充分存储各种物体的各种识别知识；利用物体图像样本中物体之三维模型库、物体三维重建规则库充分存储各种物体的各种三维重建知识；而所有库中存储的知识都可以通过物体图像样本关联起来，从而实现识别与三维重建的知识综合集成。

这些所有子库构成“识别并三维重建之知识库”，具体包括如下步骤：

1)、根据领域，如数字城市领域、数字医学领域等等；图像类型，如数字城市领域中有卫星遥感图像、飞机遥感图像、数码相机图像等等，其中每一类可以一直继续划细分，如卫星遥感图像又可以分为10米分辨率的卫星遥感图像、1米分辨率的卫星遥感图像、0.5米分辨率的卫星遥感图像，直至已经涵盖需要识别重建的各种图像类型为止；物体种类，如数字城市领域中有建筑物、道路、花草等等，其中每一类可以一直继续细分，如建筑物又可以分为厂房、居民楼等等，直至已经涵盖需要识别重建的各种物体类型为止；分门别类地采集和归类各物体图像样本到物体图像样本库，其结构如图5所示。

各子库中表的字段包括：

领域字段，如医学领域，或，数字城市领域，还可以有更多领域设置；

图像类型字段，在每一领域下分别设置，如在数字城市领域下的数码相机图像，或，卫星遥感图像，或，飞机遥感图像，分别是通过不同的图像记录设备记录的图像，也可以有更多的图像类型设置；在每一图像类型下分别设置分辨率不同的图像，如10米分辨率卫星遥感图像，或1米分辨率卫星遥感图像，或0.5米分辨率卫星遥感图像，等等，还可以有其他可能的图像类型；

物体类型字段，在不同分辨率的图像下分别设置，例如包括水体、道路、建筑、树木、草等等；

物体图像样本字段，该字段的内容是指向二维图像文件的索引。

本发明方法通过提取“该物体图像样本”与“待识别重建之物体图像”的特征提取规则字段(该字段的内容是指向特征提取规则库中特征提取规则的关联索引，该内容等特征提取规则库建好后再添)，比较“该物体图像样本”特征与“待识别重建之物体图像”特征的特征比较规则字段(该字段的内容是指向特征比较规则库中特征比较规则的关联索引，该内容等特征比较规则库建好后再添)、该物体图像样本中物体之属性字段(该字段的内容是指向物体图像样本中物体之属性库中物体图像样本中物体之属性的关联索引)、该物体图像样本之三维模型字段(该字段的内容是指向物体图像样本之三维模型库中物体图像样本之三维模型的关联索引，该内容等物体图像样本之三维模型库建好后再添)。

该库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的物体图像样本。其中物体图像样本可以从母图中裁减出来，如图6是一母图——数字城市领域中的卫星遥感影像图，图7是从中裁减出来的草、底层建筑、路、树、水的图像样本，这些样本都可以在第一次处理遇到时记录入知识库。

2)、根据特征的类型(如亮度特征、颜色特征、纹理特征、结构特征等等，可以根据需要细分，如颜色特征可以分为红色特征、蓝色特征、绿色特征等等，直到已经涵盖需要提取的各种特征为止)、方法的类型(如提取亮度特征的方法有平均值法、最大值法、最小值法等等，可以根据需要细分，直到已经涵盖需要使用的各种方法为止)分门别类地采集和编写各种图像特征提取规则到特征提取规则库，如图8所示结构。该库中表的字段包括：特征类型字段、方法类型字段、特征提取规则字段(该字段的内容是指向具体方法代码或软件的索引)。该库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的特征提取规则。其中提取特征的具体方法的算法代码可以自主研发，也可以调用现有的算法代码或软件。

3)、根据特征的类型(如亮度特征、颜色特征、纹理特征、结构特征等等，可以根据需要细分，如颜色特征可以分为红色特征、蓝色特征、绿色特征等等，直到已经涵盖需要比较的各种特征为止)、方法的类型(如比较亮度特征的方法有差值法、方差法、商值法等等，可以根据需要细分，直到已经涵盖需要使用的各种方法为止)采集和编写各种图像特征比较规则到特征比较规则库，其结构如图9所示，其中特征分类必须与特征提取规则库的特征分类完全一致，是因为在进行物体图像识别时，首先需要使用一些特征提取规则进行特征提取，然后提取出来的特征需要使用属于同样的特征类型的特征比较规则才能进行比较。

该库中表的字段包括：特征类型字段、方法类型字段、特征比较规则字段(该字段的内容是指向具体方法代码或软件的索引)。该库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的特征比较规则。其中比较特征的具体方法的算法代码可以自主研发，也可以调用现有的算法代码或软件。

4)、根据与物体图像样本库同样的结构分门别类地采集和归类各物体图像样本中物体的属性到物体图像样本中物体之属性库，其结构如图10所示，其结构必须和物体图像样本库一致，且其中物体图像样本中物体之属性必须与物体图像样本库中的物体图像样本一一对应，因为在识别过程中找到与待识别重建之物体图像足够相似的物体图像样本，并认为该待识别重建之物体图像中物体可以等同于该物体图像样本中的物体后，可以认为对该待识别重建之物体图像中物体的识别结果即为该物体图像样本中物体之属性(如类型，特性等等)。

各子库中表的字段包括：领域字段、图像类型字段、物体类型字段、物体图像样本中物体之属性字段(该字段的内容是指向物体图像样本中物体之属性文件的索引)。物体图像样本中物体之属性库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的物体图像样本中物体之属性。其中物体图像样本中物体之属性可以根据物体图像样本及其所对应的实物进行编写采集。

5)、根据与物体图像样本库同样的结构分门别类地采集和归类各物体图像样本的三维模型到物体图像样本中物体之三维模型库，其结构如图11，其结构必须和物体图像样本库一致，且其中物体图像样本中物体之三维模型必须与物体图像样本库中的物体图像样本一一对应，因为在识别过程中找到与待识别重建之物体图像足够相似的物体图像样本，并认为该待识别重建之物体图像中物体可以等同于该物体图像样本中的物体后，可以认为对该待识别重建之物体图像中物体的三维重建结果即为该物体图像样本中物体之三维模型.

各子库中表的字段包括：领域字段、图像类型字段、物体类型字段、物体图像样本中物体之三维模型字段(该字段的内容是指向物体图像样本中物体之三维模型文件的索引)。物体图像样本中物体之三维模型库建成后，还可以根据需要扩展或修改其结构和内容，增删或替换其中的物体图像样本之三维模型库。其中物体图像样本中物体之三维模型可以根据物体图像样本，利用三维建模软件(如3DMAx或MAYA或其他)进行建模，也可以利用自主研发的三维重建算法代码或已有的三维重建算法代码进行建模，而这些用于三维重建的软件和代码可以采集进三维重建规则库，其结构如图12所示，便于使用。

6)、选择特征提取规则库中合适的特征提取规则的关联索引填写进物体图像样本库中各物体图像样本的“提取该物体图像样本与待识别重建之物体图像”的特征提取规则字段；选择特征比较规则库中合适的特征比较规则的关联索引填写进物体图像样本库中各物体图像样本所对应的“比较该物体图像样本特征与待识别重建之物体图像特征”的特征比较规则字段，如对于草的图像样本而言，颜色和纹理特征比较重要，可将特征提取规则库中的颜色提取规则和纹理提取规则以关联索引的形式添加到草的图像样本的特征提取规则字段中，并相应地将特征比较规则库中的颜色比较规则和纹理比较规则以关联索引的形式添加到草的图像样本的特征比较规则字段中。

再如对于建筑的图像样本而言，轮廓、面积、高度比较重要，可将特征提取规则库中的轮廓提取规则、高度提取规则和面积提取规则以关联索引的形式添加到建筑的图像样本的特征提取规则字段中，并相应地将特征比较规则库中的轮廓比较规则、高度比较规则和面积比较规则以关联索引的形式添加到草的图像样本的特征提取规则字段中。

其中，任何一级物体图像样本的特征提取规则字段的内容都会被其所有子孙级特征提取规则字段所继承；任何一级物体图像样本的特征比较规则字段的内容也都会被其所有子孙级特征比较规则字段所继承。

同时，任何一级物体图像样本的特征提取规则字段内容都可以增加其特有特征提取规则关联索引；任何一级物体图像样本的特征比较规则字段内容也都可以增加其特有的特征比较规则关联索引。如建筑图像样本的特征提取规则字段内容会被厂房特征提取规则字段所继承、被民房特征提取规则字段所继承、被写字楼特征提取规则字段所继承；建筑图像样本的特征比较规则字段内容也会被厂房特征比较规则字段所继承、被民房特征比较规则字段所继承、被写字楼特征比较规则字段所继承。同时，厂房图像样本的特征提取规则字段的内容又可以增加气体排放特征提取规则关联索引，并相应地在其特征比较规则字段的内容中增加气体排放特征比较规则关联索引。

因为“物体图像样本库中的物体图像样本”和“物体图像样本中物体之三维模型库中的物体图像样本中物体之三维模型”以及“物体图像样本中物体之属性库中的物体图像样本中物体之属性”是一一对应的关系，而且

“物体图像样本库”和“物体图像样本中物体之三维模型库”以及“物体图像样本中物体之属性库”的结构也是一致的，因此可以利用数据库技术中的不同库间的字段关联功能，将“物体图像样本库中的物体图像样本字段”和“物体图像样本中物体之三维模型库中的物体图像样本中物体之三维模型字段”进行关联，同时将“物体图像样本库中的物体图像样本字段”和“物体图像样本中物体之属性库中的物体图像样本中物体之属性字段”进行关联.

2、利用“识别并三维重建之推理机”选择“识别并三维重建之知识库”中的知识进行自动推理：从物体图像样本库中选择与待识别重建之图像的“领域、图像类型、感兴趣的物体类型”一致的各物体图像样本，从特征提取规则库中选择该物体图像样本的特征提取规则来提取该物体图像样本的特征和“待识别重建之图像”中各未知物体图像的特征，未知物体图像可通过调用现有的阈值法或基于种子窗口的区域生长方法或其他图像分割方法，将“待识别重建之图像”中各未知物体图像都分割出来。

从特征比较规则库中选择该物体图像样本的特征比较规则来比较该物体图像样本与该未知物体图像的特征，如果两者的特征足够相似，则认为该未知物体图像中的物体可以等同于该物体图像样本中的物体，所以对该未知物体图像识别的结果即为“物体图像样本中物体之属性库”中该物体图像样本中物体之属性，并且三维重建的结果即为“物体图像样本中物体之三维模型库”中该物体图像样本中物体之三维模型。且其中对“待识别重建之图像”中不同未知物体图像、被选择的不同物体图像样本可以并行地进行处理。

具体包括以下步骤：

1)、如果知道“待识别重建之图像”的领域，则选择物体图像样本的范围缩小到相应领域的子库，否则选择物体图像样本的范围是所有领域的子库；

如果进一步知道“待识别重建之图像”的图像类型，则选择物体图像样本的范围进一步缩小到相应图像类型的子库中；

如果进一步知道“待识别重建之图像”更细化的图像类型，则选择物体图像样本的范围也随之进一步缩小；

如果进一步知道需要对哪些物体类型进行识别重建，则选择物体图像样本的范围进一步缩小到相应物体类型的子库中；

如果进一步知道需要对哪些更细化的物体类型进行识别重建，则选择物体图像样本的范围也随之进一步缩小。

根据被选中的物体图像样本所对应的特征提取规则字段中之特征提取规则关联索引，从特征提取规则库中调出相应的特征提取规则，分别对“待识别重建之图像”中未知物体图像和该物体图像样本进行特征提取；然后根据该物体图像样本所对应的特征比较规则字段中之特征比较规则关联索引，从特征比较规则库中调出相应的特征比较规则，分别对该未知物体图像的特征和该物体图像样本的特征进行比较，如果两者的特征足够相似，则认为该未知物体图像中的物体可以等同于该物体图像样本中的物体。

然后根据该物体图像样本所对应的物体图像样本中物体之属性字段中之物体图像样本中物体之属性关联索引，从物体图像样本中物体之属性库中调出相应的物体图像样本中物体之属性，并作为对该未知物体图像的识别结果；根据该物体图像样本所对应的物体图像样本中物体之三维模型字段中之物体图像样本中物体之三维模型关联索引，从物体图像样本中物体之三维模型库中调出相应的物体图像样本中物体之三维模型，并作为对该未知物体图像的三维重建结果.

2)、对“待识别重建之图像”中不同未知物体图像、被选择的不同物体图像样本可以进行串行处理即逐个处理，也可以使用如下办法进行并行处理：先按“待识别重建之图像”中不同未知物体图像进行划分，如分成M个未知物体图像划分，每个划分中N个未知物体图像，再对被选择的不同物体图像样本进行划分，如分成K个物体图像样本划分，每个划分中L个物体图像样本；则将M个未知物体图像划分和K个物体图像样本划分组合成M*K个并行任务，每个并行任务中需要利用L个物体图像样本去识别并三维重建N个未知物体图像，可以在并行计算机上用M*K个并行进程来处理该M*K个并行任务。其中，当未知物体图像数目越多时，M可以越大；当被选择的物体图像样本数目越多时，K可以越大；当并行计算机的计算能力越强时，M*K可以越大。尽量上调M和K，以M*K可以被并行计算机承受为准，目的是尽量增加并行的程度，以加快识别并三维重建的速度。

本发明图像处理中各种物体的自动识别并三维重建的方法可以解决现有技术中只能针对特定物体、基于特定知识的弊端；可以提高识别重建的效果、效率、自动化程度和速度。对在图像识别重建方面的应用研究、对满足数字城市、数字医学等数字技术对各种物体的自动的高效的图像识别重建的迫切需要都有着重要的意义。

首先，数字城市、数字医学等数字技术迫切需要本发明的“针对各种物体”、“综合各种知识”而非“针对特定物体”、“基于特定知识”，进行图像自动识别并三维重建。例如，数字城市的输入是二维的城市图像(如卫星遥感图像、飞机遥感图像、无线传感器拍摄到的图像、等等)，输出是三维的仿真城市，从输入到输出需要综合各种知识，从城市图像中将各种物体(如建筑物、树木、道路等等)识别出来，并且需要将识别出来的各种物体(如建筑物、树木、道路等等)的二维图像重建为三维。

再如，数字医学的输入是二维的医学图像(如超声图像、CT图像、等等)，输出是三维的仿真人体或人体的某部分，从输入到输出需要综合各种知识从医学图像中将各种物体(如器官、病灶等等)识别出来，并且需要将识别出来的各种物体(如器官、病灶等等)的二维图像重建为三维。

其次，数字城市、数字医学等数字技术迫切需要本发明方法处理的自动化程度高且快速，实现图像自动识别并三维重建。因为数字城市、数字医学等数字技术的数据处理量非常大，如果自动化程度不高或速度不快，很难满足这些数字技术的处理需求。如，数字城市往往要求识别重建很多城市的遥感图像中的成万上亿的物体；再如，数字医学往往要求识别重建很多人的医学图像中的成千上万的人体器官和病变部位。

第三，数字城市、数字医学等数字技术迫切需要本发明的识别和三维重建的效果更好。对数字技术的需要来说，效果是与速度同样重要的一个指标。因为如果效果不好，数字技术就失去了其意义，甚至造成损失。例如，数字城市中如果其中物体识别重建后与现实中不一样，会导致政府做出错误的决策；再如，数字医学中如果其中病变部位识别重建后与实际不符，会导致医生做出错误的诊断和手术。

第四，数字城市、数字医学等数字技术迫切需要本发明方法的“识别”与“三维重建”高效集成。因为如果集成不高效，即使识别的效果好，三维重建的效果也好，但集成之后的效果不一定好，且效率低下的集成会在集成时浪费时间而影响总体速度。

需要说明的是，上述针对本发明较佳实施例的描述较为具体，可以采用其他等同替换的方案，例如可以不使用“识别并三维重建之推理机”，以别的形式使用其推理过程；也可以不使用“识别并三维重建之知识库”，以别的形式存储其知识；也可以增减知识库中的子库及其推理机中的流程，所述知识库亦可称之为数据库、信息库等，推理机亦可称之为引擎等，只是称呼不同，实质是一样的，并且本发明中可以将本发明中识别、重建的过程进行拆开使用，同样应属于本发明的所附权利要求的保护范畴.

Claims (4)

1.一种图像处理中物体自动识别并三维重建的方法，其利用一通用计算装置以及图像记录设备，包括以下步骤：

A、根据所述图像记录设备记录的图像类型，识别实物样本的图像样本形成物体图像样本库，并根据所述图像样本的特征提取规则建立与所述物体图像样本库相关联的特征提取规则库，根据所述图像样本的特征比较规则建立与所述物体图像样本库相关联的特征比较规则库，根据所述图像样本的属性建立与所述物体图像样本库相关联的物体图像样本中物体之属性库，根据所述图像样本的三维模型建立与所述物体图像样本库相关联的物体图像样本之三维模型库，再建立与待识别重建之物体图像对应的分别指向特征提取规则库、特征比较规则库、物体图像样本中物体之属性库和物体图像样本之三维模型库中关联索引的特征提取规则字段、特征比较规则字段、物体之属性字段、物体之三维模型字段，形成识别并三维重建之知识库；

B、根据特征提取规则库和特征比较规则库，找到与待识别重建之物体图像足够相似的物体图像样本，所述过程还包括：

B1、根据被选中的物体图像样本所对应的特征提取规则字段中之特征提取规则关联索引，从特征提取规则库中调出相应的特征提取规则，分别对待识别重建之图像中未知物体图像和该物体图像样本进行特征提取；

B2、根据该物体图像样本所对应的特征比较规则字段中之特征比较规则关联索引，从特征比较规则库中调出相应的特征比较规则，分别对该未知物体图像的特征和该物体图像样本的特征进行比较，如果两者的特征足够相似，则认为该未知物体图像中的物体可以等同于该物体图像样本中的物体。

C、从物体图像样本中物体之属性库中调取对应的物体属性作为识别的结果，从物体图像样本中物体之三维模型库中调取对应的三维模型进行三维重建，所述过程还包括：

C1、根据物体图像样本所对应的物体图像样本中物体之属性字段中之物体图像样本中物体之属性关联索引，从物体图像样本中物体之属性库中调出相应的物体图像样本中物体之属性，并作为对该未知物体图像的识别结果；

C2、根据该物体图像样本所对应的物体图像样本中物体之三维模型字段中之物体图像样本中物体之三维模型关联索引，从物体图像样本中物体之三维模型库中调出相应的物体图像样本中物体之三维模型，并作为对该未知物体图像的三维重建结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤B还包括：任何一级物体图像样本的特征提取规则字段的内容被其所有子孙级特征提取规则字段所继承；任何一级物体图像样本的特征比较规则字段的内容被其所有子孙级特征比较规则字段所继承。

3.根据权利要求1所述的方法，其特征在于，所述步骤C还包括：如果知道待识别重建之物体图像的领域，则选择物体图像样本的范围缩小到相应领域的子库，否则选择物体图像样本的范围是所有领域的子库。

4.根据权利要求3所述的方法，其特征在于，所述步骤C还包括：如果知道待识别重建之图像的图像类型，则选择物体图像样本的范围进一步缩小到相应图像类型的子库中。

Images