CN116524135A - 一种基于图像的三维模型生成方法及系统 - Google Patents

Abstract

本申请公开了一种基于图像的三维模型生成方法及系统。该三维模型生成方法包括：获取图像数据；对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。该三维模型生成方法能够提高三维模型的真实度，以及提高与真实对象之间的匹配度。

Description

一种基于图像的三维模型生成方法及系统

技术领域

本申请是关于三维建模技术领域，特别是关于一种基于图像的三维模型生成方法及系统。

背景技术

随着三维建模技术的发展，三维模型的应用也逐渐广泛。三维模型可以应用于各种场景中，例如，扩展现实场景、模拟仿真场景等。在这些场景中，通过构建三维模型，实现虚拟对象的构建；基于构建的虚拟对象，可以执行交互，或者模拟仿真等。

在模拟仿真场景中，所构建的三维模型，可以用于实现一些特定场景下的仿真效果，例如，构建物体的运动模型，以基于该运动模型对物体的运动数据进行分析等。

目前，在模拟仿真场景中，在构建三维的模拟仿真模型时，大多还是基于预先设置好的一些子模型，进行组合拼接，并没有与真实场景中的数据结合；从而，最终所构建的三维模型的真实度不够，与真实对象之间的匹配度也不够。

发明内容

本申请的目的在于提供一种基于图像的三维模型生成方法及系统，其能够提高三维模型的真实度，以及提高与真实对象之间的匹配度。

为实现上述目的，本申请的实施例提供了一种基于图像的三维模型生成方法，包括：获取图像数据；所述图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象；对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；所述分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，所述第一类型对象和所述第二类型对象之间对应有预设模型关联关系；基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。

在一种可能的实施方式中，该基于图像的三维模型生成方法应用于目标场所，所述目标场所中设置有第一图像采集设备和第二图像采集设备，所述获取图像数据，包括：获取所述第一图像采集设备在第一时间段内采集的多张第一图像，以及获取所述第二图像采集设备在第二时间段内采集的多张第二图像；其中，所述第一时间段和所述第二时间段属于所述预设时间段，且所述第一时间段和所述第二时间段覆盖所述预设时间段中的各个时间点；对所述多张第一图像进行处理，确定处理的多张第一图像；所述处理的多张第一图像中包括的对象属于预设对象集中的对象；对所述多张第二图像进行处理，确定处理的多张第二图像；所述处理的多张第二图像中包括的对象属于预设对象集中的对象；根据所述处理的多张第一图像和所述处理的多张第二图像确定所述图像数据。

在一种可能的实施方式中，所述根据所述处理的多张第一图像和所述处理的多张第二图像确定所述图像数据，包括：根据所述处理的多张第一图像的采集时间和所述处理的多张第二图像的采集时间，确定所述处理的多张第一图像与所述处理的第二图像之间的对应关系；确定具有对应关系的处理的第一图像和处理的第二图像之间的相似度，根据该相似度对所述处理的第一图像和所述处理的第二图像作删减处理；根据删减处理的多张图像确定所述图像数据。

在一种可能的实施方式中，所述对所述多张图像中包括的对象进行识别，包括：根据预先训练的对象识别模型确定所述多张图像中包括的对象；其中，所述预先训练的对象识别模型对应的训练数据集包括：多张样本图像和所述多张样本图像分别对应的对象标识，每张样本图像中包括的对象属于所述预设对象集中的对象。

在一种可能的实施方式中，所述根据识别结果确定分类的图像数据，包括：确定所述第一类型对象对应的多张第一原始图像；确定所述多张第一原始图像之间的相似度，以及确定所述多张第一原始图像的采集时间；基于所述多张第一原始图像之间的相似度和所述多张第一原始图像的采集时间，确定所述第一类型对象对应的图像；其中，若两张第一原始图像之间的相似度大于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第一类型对象对应的图像；若两张第一原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第一原始图像中仅保留一张第一原始图像作为第一类型对象对应的图像。

在一种可能的实施方式中，所述根据识别结果确定分类的图像数据还包括：确定所述第二类型对象对应的多张第二原始图像；确定所述多张第二原始图像之间的相似度，以及确定所述多张第二原始图像的采集时间；基于所述多张第二原始图像之间的相似度和所述多张第二原始图像的采集时间，确定所述第二类型对象对应的图像；其中，若两张第二原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第二类型对象对应的图像；若两张第二原始图像之间的相似度大于预设相似度，且该两张第二原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第二原始图像中仅保留一张第二原始图像作为第二类型对象对应的图像。

在一种可能的实施方式中，所述基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，包括：获取所述第一类型对象对应的第一预设三维模型，以及获取所述第一预设三维模型对应的多张图像；确定所述第一类型对象对应的图像与所述第一预设三维模型对应的多张图像之间的第一图像对应关系；所述第一图像对应关系用于表征所述第一类型对象在不同图像中的相似度关系；根据所述第一图像对应关系，对所述第一预设三维模型进行调整；根据调整的第一预设三维模型确定所述第一三维模型。

在一种可能的实施方式中，所述基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型，包括：获取所述第二类型对象对应的第二预设三维模型，以及获取所述第二预设三维模型对应的多张图像；确定所述第二类型对象对应的图像与所述第二预设三维模型对应的多张图像之间的第二图像对应关系；所述第二图像对应关系用于表征所述第二类型对象在不同图像中的相似度关系和位置关系；根据所述第二图像对应关系，对所述第二预设三维模型进行调整；根据调整的第二预设三维模型确定所述第二三维模型。

在一种可能的实施方式中，所述预设模型关联关系包括：第一关联关系和第二关联关系，所述第一关联关系对应有第一预设贴图，所述第二关联关系对应有第二预设贴图；所述基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型，包括：根据所述第一关联关系，将所述第一三维模型和所述第二三维模型进行整合，确定整合的第一目标三维模型；所述整合的第一目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹；根据所述第二关联关系，将不同的第二三维模型进行整合，确定整合的第二目标三维模型；所述整合的第二目标三维模型用于表征不同的第二类型对象之间的相对运动轨迹；基于所述第一预设贴图、所述第二预设贴图、所述第一目标三维模型和所述第二目标三维模型，确定所述目标三维模型。

本申请实施例还提供一种基于图像的三维模型生成系统，包括：图像获取单元，用于获取图像数据；所述图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象；对象识别单元，用于对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；所述分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，所述第一类型对象和所述第二类型对象之间对应有预设模型关联关系；建模单元，用于：基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。

与现有技术相比，本申请的实施例提供的基于图像的三维模型生成方法及系统，基于图像采集设备采集的多张图像进行三维模型的构建；先基于不同类型的对象对图像数据进行分类，再根据分类结果生成两类三维模型，最后再利用预设模型关联关系，将两类三维模型整合得到最终的目标三维模型。在这种三维模型生成方案中，一方面，利用图像采集设备采集的图像数据进行三维建模，使得构建的三维模型与真实对象的匹配度较高；另一方面，分别进行不同类型对象的三维模型的构建，再整合得到目标三维模型，使得目标三维模型的还原度较高，能够提高三维模型的真实度。

附图说明

图1是根据本申请一实施方式的三维建模系统的结构示意图；

图2是根据本申请一实施方式的基于图像的三维模型生成方法的流程图；

图3是根据本申请一实施方式的基于图像的三维模型生成装置的结构示意图；

图4是根据本申请一实施方式的终端设备的结构示意图。

具体实施方式

下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。

除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。

本申请实施例提供的技术方案可以应用于各种模拟仿真场景中，在这些模拟仿真场景中，构建三维的模拟仿真模型，该三维的模拟仿真模型可以用于分析对应的真实场景中的物体运动情况等。

例如，对一个场所中的各个对象进行三维建模，再利用这些对象的三维模型，生成该场所对应的三维模拟仿真运动模型，以分析这些对象在该场所中的运动轨迹等。

目前，在模拟仿真场景中，在构建三维的模拟仿真模型时，大多还是基于预先设置好的一些子模型，进行组合拼接，并没有与真实场景中的数据结合；从而，最终所构建的三维模型的真实度不够，与真实对象之间的匹配度也不够。

基于此，本申请的实施例提供一种基于图像的三维模型生成方案，一方面，利用图像采集设备采集的图像数据进行三维建模，使得构建的三维模型与真实对象的匹配度较高；另一方面，分别进行不同类型对象的三维模型的构建，再整合得到目标三维模型，使得目标三维模型的还原度较高，能够提高三维模型的真实度。

接下来请参照图1，为本申请实施例提供的三维建模系统的结构示意图，在该三维建模系统中，包括图像采集设备和终端处理设备，该图像采集设备和终端处理设备通信连接。

在一些实施例中，图像采集设备设置在真实场景中，用于采集真实场景中的图像数据。

在一些实施例中，终端处理设备作为后端处理设备，可以以不同的形式实现，例如：计算机、监控终端等。

从而，本申请实施例提供的三维模型生成方案可以应用于终端处理设备；在一些实施例中，该终端处理设备可以不单是一个设备，也可以是多个设备或者模块构成的系统设备。

接下来请参照图2，为本申请的实施例提供的基于图像的三维模型生成方法，该三维模型生成方法包括：

步骤201，获取图像数据。其中，图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象。

在一些实施例中，预设时间段可以根据终端处理设备的数据处理能力设定，也可以根据构建的三维仿真模型所需要覆盖的时间长度进行设定，在此不对具体值作限定。

在一些实施例中，构建的三维仿真模型与真实场景对应，所以，预设对象集中的对象可以是根据真实场景中涉及的对象进行配置。

在一些实施例中，由于真实场景中的部分对象没有建模的意义，所以，在预设对象集中配置的对象都是具有建模意义的对象。

作为一种可选的实施方式，该基于图像的三维模型生成方法应用于目标场所，目标场所中设置有第一图像采集设备和第二图像采集设备。

在一些实施例中，第一图像采集设备和第二图像采集设备设置在不同的位置；并且，第一图像采集设备和第二图像采集设备的图像采集策略也不同，从而，第一图像采集设备和第二图像采集设备可以采取到不同的图像数据。

进而，步骤201包括：获取第一图像采集设备在第一时间段内采集的多张第一图像，以及获取第二图像采集设备在第二时间段内采集的多张第二图像；其中，第一时间段和第二时间段属于预设时间段，且第一时间段和第二时间段覆盖预设时间段中的各个时间点；对多张第一图像进行处理，确定处理的多张第一图像；处理的多张第一图像中包括的对象属于预设对象集中的对象；对多张第二图像进行处理，确定处理的多张第二图像；处理的多张第二图像中包括的对象属于预设对象集中的对象；根据处理的多张第一图像和处理的多张第二图像确定图像数据。

在一些实施例中，第一时间段和第二时间段均可以包括多个时间点，以及，第一时间段可以不是连续的时间段，第二时间段同样也可以不是连续的时间段。

在一些实施例中，第一时间段和第二时间段覆盖预设时间段中的各个时间点，也即，将第一时间段的各个时间点与第二时间段的各个时间点，整合到一起，即为预设时间段对应的各个时间点。

在一些实施例中，可以根据不同的场所，结合第一图像采集设备和第二图像采集设备的实际情况，配置第一时间段和第二时间段。例如，如果第一图像采集设备相较于第二图像采集设备所能采集到的属于预设对象集中的对象更多，则第一时间段对应的时间点应当多与第二时间段对应的时间点。

在一些实施例中，对多张第一图像进行处理，确定处理的多张第一图像，包括：确定多张第一图像之间的相似度，针对相似度大于预设预设相似度的多张第一图像，只保留其中的一张即可。

在一些实施例中，对多张第一图像进行处理，还可以包括：图像预处理，例如一些可以提高图像处理精度的处理方式，在此不作限定。

在一些实施例中，对多张第二图像进行处理，确定处理的多张第二图像，包括：确定多张第二图像之间的相似度，针对相似度大于预设预设相似度的多张第二图像，只保留其中的一张即可。

在一些实施例中，对多张第二图像进行处理，还可以包括：图像预处理，例如一些可以提高图像处理精度的处理方式，在此不作限定。

在一些实施例中，还可以对多张第一图像和多张第二图像中包括的对象进行初步的识别，并根据识别结果筛选掉一部分图像，使得筛选的图像中包括的对象均为预设对象集中的对象。

在一些实施例中，根据处理的多张第一图像和处理的多张第二图像确定图像数据，包括：根据处理的多张第一图像的采集时间和处理的多张第二图像的采集时间，确定处理的多张第一图像与处理的第二图像之间的对应关系；确定具有对应关系的处理的第一图像和处理的第二图像之间的相似度，根据该相似度对处理的第一图像和处理的第二图像作删减处理；根据删减处理的多张图像确定图像数据。

在一些实施例中，图像的采集时间，在图像采集设备将图像发送给终端设备时，便会附带该信息，所以该信息可以很容易的获取到。

在一些实施例中，若第一图像的采集时间与第二图像的采集时间之间的时间间隔为预设时长，则第一图像与第二图像之间具有对应关系。其中，预设时长可以根据不同的应用场景进行设定，在此不作限定。

在一些实施例中，若具有对应关系的处理的第一图像和处理的第二图像之间的相似度大于预设相似度，则从中仅保留一张图像即可。若具有对应关系的处理的第一图像和处理的第二图像之间的相似度小于或者等于预设相似度，则两图像均保留。

从而，基于图像之间的对应关系，可对多张图像执行删减处理，将删减处理的多张图像确定为最终的图像数据。

步骤202，对多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据。

分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，第一类型对象和第二类型对象之间对应有预设模型关联关系。

在一些实施例中，第一类型对象可以是目标场所中的静态对象，第二类型对象可以是目标场所中的动态对象。以及，第一类型对象可以包括多个不同的对象，第二类型对象可以包括多个不同的对象。

在一些实施例中，第一类型对象和第二类型对象预先建立有预设模型关联关系，该预设模型关联关系可以用于限定第一类型对象和第二类型对象在最终的三维仿真模型之间的关系。从而，基于该预设模型关联关系，可以将第一类型对象和第二类型对象整合起来，构建所需的三维仿真模型。

在一些实施例中，预设模型关联关系，可以包括：位置关系、模型元素关系、模型构造关系等，可以用于实现不同的三维模型之间的整合的信息。

作为一种可选的实施方式，步骤202包括：根据预先训练的对象识别模型确定多张图像中包括的对象；其中，预先训练的对象识别模型对应的训练数据集包括：多张样本图像和多张样本图像分别对应的对象标识，每张样本图像中包括的对象属于预设对象集中的对象。

在一些实施例中，预先训练的对象识别模型可以是神经网络模型、随机森林模型等，在此不作限定。

在一些实施例中，预先配置训练数据集，该训练数据集中包括多张样本图像和多张样本图像分别对应的对象标识，每张样本图像中包括的对象属于预设对象集中的对象。

从而，利用该训练数据集对模型进行训练之后，训练的模型可以用于对多张图像中包括的图像进行识别，所输出的识别结果包括对象标识。

在一些实施例中，预先训练的对象识别模型的训练方式，可参照本领域的成熟技术，在此不作介绍。

作为一种可选的实施方式，根据识别结果确定分类的图像数据，包括：确定第一类型对象对应的多张第一原始图像；确定多张第一原始图像之间的相似度，以及确定多张第一原始图像的采集时间；基于多张第一原始图像之间的相似度和多张第一原始图像的采集时间，确定第一类型对象对应的图像；其中，若两张第一原始图像之间的相似度大于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第一类型对象对应的图像；若两张第一原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔小于预设时间间隔，则该两张第一原始图像中仅保留一张第一原始图像作为第一类型对象对应的图像。

在一些实施例中，基于前述的识别结果，可确定各第一类型对象分别对应的图像，即第一原始图像；然后，分别计算多张第一原始图像之间的相似度，并确定多张第一原始图像的采集时间，基于这两个信息，对第一类型对象对应的图像进行整合。

其中，若两张第一原始图像之间的相似度大于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第一类型对象对应的图像；若两张第一原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第一原始图像中仅保留一张第一原始图像作为第一类型对象对应的图像。

作为一种可选的实施方式，根据识别结果确定分类的图像数据还包括：确定第二类型对象对应的多张第二原始图像；确定多张第二原始图像之间的相似度，以及确定多张第二原始图像的采集时间；基于多张第二原始图像之间的相似度和多张第二原始图像的采集时间，确定第二类型对象对应的图像；其中，若两张第二原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第二类型对象对应的图像；若两张第二原始图像之间的相似度大于预设相似度，且该两张第二原始图像的采集时间之间的间隔小于预设时间间隔，则该两张第二原始图像中仅保留一张第二原始图像作为第二类型对象对应的图像。

与第一类型对象对应的图像处理方式类似，在此不对第二类型对应的图像处理方式作具体的介绍。

步骤203，基于第一类型对象和第一类型对象对应的图像确定第一三维模型，以及基于第二类型对象和第二类型对象对应的图像确定第二三维模型。

作为一种可选的实施方式，获取第一类型对象对应的第一预设三维模型，以及获取第一预设三维模型对应的多张图像；确定第一类型对象对应的图像与第一预设三维模型对应的多张图像之间的第一图像对应关系；第一图像对应关系用于表征第一类型对象在不同图像中的相似度关系；根据第一图像对应关系，对第一预设三维模型进行调整；根据调整的第一预设三维模型确定第一三维模型。

在一些实施例中，第一预设三维模型为预先设置好的模型，其对应有多张图像，这多张图像可以为该第一预设三维模型对应的真实场景中所采集到的图像。

在一些实施例中，计算第一类型对象对应的图像与第一预设三维模型对应的多张图像之间的相似度，以确定第一图像对应关系。其中，该相似度为第一类型对象在图像中的相似度，例如：第一类型对象在图像中的位置相似度。

从而，基于第一图像对应关系，对第一预设三维模型进行调整。在一些实施例中，若相似度大于预设相似度，则无需调整该部分；若相似度小于预设相似度，则需要按照当前采集的包括该对象的图像，对该部分模型进行调整。在调整时，可采用基于图像确定三维模型的技术实现，参照本领域的成熟技术。

进而，基于调整的第一预设三维模型，进行校准，包括人工校准、智能校准等，将校准的三维模型确定为第一三维模型。

作为一种可选的实施方式，基于第二类型对象和第二类型对象对应的图像确定第二三维模型，包括：获取第二类型对象对应的第二预设三维模型，以及获取第二预设三维模型对应的多张图像；确定第二类型对象对应的图像与第二预设三维模型对应的多张图像之间的第二图像对应关系；第二图像对应关系用于表征第二类型对象在不同图像中的相似度关系和位置关系；根据第二图像对应关系，对第二预设三维模型进行调整；根据调整的第二预设三维模型确定第二三维模型。

在一些实施例中，第二预设三维模型为预先设置好的模型，其对应有多张图像，这多张图像可以为该第二预设三维模型对应的真实场景中所采集到的图像。

在一些实施例中，计算第二类型对象对应的图像与第二预设三维模型对应的多张图像之间的相似度，以确定第二图像对应关系。其中，该相似度为第二类型对象在图像中的相似度，例如：第二类型对象在图像中的位置相似度。

从而，基于第二图像对应关系，对第二预设三维模型进行调整。在一些实施例中，若相似度大于预设相似度，则无需调整该部分；若相似度小于预设相似度，则需要按照当前采集的包括该对象的图像，对该部分模型进行调整。在调整时，可采用基于图像确定三维模型的技术实现，参照本领域的成熟技术。

进而，基于调整的第二预设三维模型，进行校准，包括人工校准、智能校准等，将校准的三维模型确定为第二三维模型。

步骤204，基于预设模型关联关系、第一三维模型和第二三维模型，确定目标三维模型。其中，目标三维模型用于表征第一类型对象与第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。

作为一种可选的实施方式，预设模型关联关系包括：第一关联关系和第二关联关系，第一关联关系对应有第一预设贴图，第二关联关系对应有第二预设贴图。步骤204，包括：根据第一关联关系，将第一三维模型和第二三维模型进行整合，确定整合的第一目标三维模型；整合的第一目标三维模型用于表征第一类型对象与第二类型对象之间的相对运动轨迹；根据第二关联关系，将不同的第二三维模型进行整合，确定整合的第二目标三维模型；整合的第二目标三维模型用于表征不同的第二类型对象之间的相对运动轨迹；基于第一预设贴图、第二预设贴图、第一目标三维模型和第二目标三维模型，确定目标三维模型。

在一些实施例中，可以预先配置三维模型整合模型，该三维模型整合模型通过预先的训练数据集训练得到，可用于对模型进行整合。

在一些实施例中，预先的训练数据集中可以包括：需要整合的模型，以及最终整合的模型。其中，最终整合的模型，相较于需要整合的模型，对第一类型对象和第二类型对象进行了融合，使得相互之间具有关联关系，从而可以反映不同对象之间的相对运动轨迹。因此，从另一方面说，最终整合的模型为一个动态模型，即动态的三维仿真模型，其中的静态对象不会运动，但是其中的动态对象会有运动。所以，不仅可以体现动态对象相较于静态对象的运动轨迹，还可以体现不同的动态对象之间的运动轨迹。

在一些实施例中，三维模型整合模型可以包括两种，一种是仅用于整合多个模型的模型；另一种是用于整合多个模型和预设贴图。

从而，基于两种三维模型整合模型，可实现目标三维模型的确定。

在一些实施例中，三维模型整合模型根据不同的应用场景进行配置，当应用于不同的应用场景时，采用不同的整合规则，以尽可能保证与真实场景的匹配度。

本申请的实施例提供的三维模型生成方法，基于图像采集设备采集的多张图像进行三维模型的构建；先基于不同类型的对象对图像数据进行分类，再根据分类结果生成两类三维模型，最后再利用预设模型关联关系，将两类三维模型整合得到最终的目标三维模型。在这种三维模型生成方案中，一方面，利用图像采集设备采集的图像数据进行三维建模，使得构建的三维模型与真实对象的匹配度较高；另一方面，分别进行不同类型对象的三维模型的构建，再整合得到目标三维模型，使得目标三维模型的还原度较高，能够提高三维模型的真实度。

接下来请参照图3，本申请的实施例提供一种基于图像的三维模型生成系统，包括：

图像获取单元301，用于获取图像数据；所述图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象；对象识别单元302，用于对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；所述分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，所述第一类型对象和所述第二类型对象之间对应有预设模型关联关系；建模单元303，用于：基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。

在一些实施例中，图像获取单元301进一步用于：获取所述第一图像采集设备在第一时间段内采集的多张第一图像，以及获取所述第二图像采集设备在第二时间段内采集的多张第二图像；其中，所述第一时间段和所述第二时间段属于所述预设时间段，且所述第一时间段和所述第二时间段覆盖所述预设时间段中的各个时间点；对所述多张第一图像进行处理，确定处理的多张第一图像；所述处理的多张第一图像中包括的对象属于预设对象集中的对象；对所述多张第二图像进行处理，确定处理的多张第二图像；所述处理的多张第二图像中包括的对象属于预设对象集中的对象；根据所述处理的多张第一图像和所述处理的多张第二图像确定所述图像数据。

在一些实施例中，图像获取单元301进一步用于：根据所述处理的多张第一图像的采集时间和所述处理的多张第二图像的采集时间，确定所述处理的多张第一图像与所述处理的第二图像之间的对应关系；确定具有对应关系的处理的第一图像和处理的第二图像之间的相似度，根据该相似度对所述处理的第一图像和所述处理的第二图像作删减处理；根据删减处理的多张图像确定所述图像数据。

在一些实施例中，对象识别单元302进一步用于：根据预先训练的对象识别模型确定所述多张图像中包括的对象；其中，所述预先训练的对象识别模型对应的训练数据集包括：多张样本图像和所述多张样本图像分别对应的对象标识，每张样本图像中包括的对象属于所述预设对象集中的对象。

在一些实施例中，对象识别单元302进一步用于：确定所述第一类型对象对应的多张第一原始图像；确定所述多张第一原始图像之间的相似度，以及确定所述多张第一原始图像的采集时间；基于所述多张第一原始图像之间的相似度和所述多张第一原始图像的采集时间，确定所述第一类型对象对应的图像；其中，若两张第一原始图像之间的相似度大于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第一类型对象对应的图像；若两张第一原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第一原始图像中仅保留一张第一原始图像作为第一类型对象对应的图像。

在一些实施例中，对象识别单元302进一步用于：确定所述第二类型对象对应的多张第二原始图像；确定所述多张第二原始图像之间的相似度，以及确定所述多张第二原始图像的采集时间；基于所述多张第二原始图像之间的相似度和所述多张第二原始图像的采集时间，确定所述第二类型对象对应的图像；其中，若两张第二原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第二类型对象对应的图像；若两张第二原始图像之间的相似度大于预设相似度，且该两张第二原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第二原始图像中仅保留一张第二原始图像作为第二类型对象对应的图像。

在一些实施例中，建模单元303进一步用于：获取所述第一类型对象对应的第一预设三维模型，以及获取所述第一预设三维模型对应的多张图像；确定所述第一类型对象对应的图像与所述第一预设三维模型对应的多张图像之间的第一图像对应关系；所述第一图像对应关系用于表征所述第一类型对象在不同图像中的相似度关系；根据所述第一图像对应关系，对所述第一预设三维模型进行调整；根据调整的第一预设三维模型确定所述第一三维模型。

在一些实施例中，建模单元303进一步用于：获取所述第二类型对象对应的第二预设三维模型，以及获取所述第二预设三维模型对应的多张图像；确定所述第二类型对象对应的图像与所述第二预设三维模型对应的多张图像之间的第二图像对应关系；所述第二图像对应关系用于表征所述第二类型对象在不同图像中的相似度关系和位置关系；根据所述第二图像对应关系，对所述第二预设三维模型进行调整；根据调整的第二预设三维模型确定所述第二三维模型。

在一些实施例中，建模单元303进一步用于：根据所述第一关联关系，将所述第一三维模型和所述第二三维模型进行整合，确定整合的第一目标三维模型；所述整合的第一目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹；根据所述第二关联关系，将不同的第二三维模型进行整合，确定整合的第二目标三维模型；所述整合的第二目标三维模型用于表征不同的第二类型对象之间的相对运动轨迹；基于所述第一预设贴图、所述第二预设贴图、所述第一目标三维模型和所述第二目标三维模型，确定所述目标三维模型。

如图4所示，本申请实施例还提供一种终端设备，包括处理器401和存储器402，处理器401和存储器402通信连接，该终端设备可作为前述的基于图像的三维模型生成方法的执行主体。

处理器401、存储器402之间直接或间接地电连接，以实现数据的传输或交互。例如，这些元件之间可以通过一条或多条通讯总线或信号总线实现电连接。前述的基于图像的三维模型生成方法分别包括至少一个可以以软件或固件（firmware）的形式存储于存储器402中的软件功能模块。

处理器401可以是一种集成电路芯片，具有信号处理能力。处理器401可以是通用处理器，包括CPU (Central Processing Unit，中央处理器)、NP (Network Processor，网络处理器)等；还可以是数字信号处理器、专用集成电路、现成可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器402可以存储各种软件程序以及模块，如本发明实施例提供的图像处理方法及装置对应的程序指令/模块。处理器401通过运行存储在存储器402中的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现本申请实施例中的方法。

存储器402可以包括但不限于RAM（Random Access Memory，随机存取存储器），ROM（Read Only Memory，只读存储器），PROM（Programmable Read-Only Memory，可编程只读存储器），EPROM（Erasable Programmable Read-Only Memory，可擦除只读存储器），EEPROM（Electric Erasable Programmable Read-Only Memory，电可擦除只读存储器）等。

可以理解，图4所示的结构仅为示意，终端设备还可包括比图4中所示更多或者更少的组件，或者具有与图4所示不同的配置。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。

前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种基于图像的三维模型生成方法，其特征在于，包括：

获取图像数据；所述图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象；

对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；所述分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，所述第一类型对象和所述第二类型对象之间对应有预设模型关联关系；

基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；

基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。

2.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，该基于图像的三维模型生成方法应用于目标场所，所述目标场所中设置有第一图像采集设备和第二图像采集设备，所述获取图像数据，包括：

获取所述第一图像采集设备在第一时间段内采集的多张第一图像，以及获取所述第二图像采集设备在第二时间段内采集的多张第二图像；其中，所述第一时间段和所述第二时间段属于所述预设时间段，且所述第一时间段和所述第二时间段覆盖所述预设时间段中的各个时间点；

对所述多张第一图像进行处理，确定处理的多张第一图像；所述处理的多张第一图像中包括的对象属于预设对象集中的对象；

对所述多张第二图像进行处理，确定处理的多张第二图像；所述处理的多张第二图像中包括的对象属于预设对象集中的对象；

根据所述处理的多张第一图像和所述处理的多张第二图像确定所述图像数据。

3.根据权利要求2所述的基于图像的三维模型生成方法，其特征在于，所述根据所述处理的多张第一图像和所述处理的多张第二图像确定所述图像数据，包括：

根据所述处理的多张第一图像的采集时间和所述处理的多张第二图像的采集时间，确定所述处理的多张第一图像与所述处理的第二图像之间的对应关系；

确定具有对应关系的处理的第一图像和处理的第二图像之间的相似度，根据该相似度对所述处理的第一图像和所述处理的第二图像作删减处理；

根据删减处理的多张图像确定所述图像数据。

4.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，所述对所述多张图像中包括的对象进行识别，包括：

根据预先训练的对象识别模型确定所述多张图像中包括的对象；其中，所述预先训练的对象识别模型对应的训练数据集包括：多张样本图像和所述多张样本图像分别对应的对象标识，每张样本图像中包括的对象属于所述预设对象集中的对象。

5.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，所述根据识别结果确定分类的图像数据，包括：

确定所述第一类型对象对应的多张第一原始图像；

确定所述多张第一原始图像之间的相似度，以及确定所述多张第一原始图像的采集时间；

基于所述多张第一原始图像之间的相似度和所述多张第一原始图像的采集时间，确定所述第一类型对象对应的图像；其中，若两张第一原始图像之间的相似度大于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第一类型对象对应的图像；若两张第一原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第一原始图像中仅保留一张第一原始图像作为第一类型对象对应的图像。

6.根据权利要求5所述的基于图像的三维模型生成方法，其特征在于，所述根据识别结果确定分类的图像数据还包括：

确定所述第二类型对象对应的多张第二原始图像；

确定所述多张第二原始图像之间的相似度，以及确定所述多张第二原始图像的采集时间；

基于所述多张第二原始图像之间的相似度和所述多张第二原始图像的采集时间，确定所述第二类型对象对应的图像；其中，若两张第二原始图像之间的相似度小于预设相似度，且该两张第一原始图像的采集时间之间的间隔大于预设时间间隔，则该两张第一原始图像均确定为第二类型对象对应的图像；若两张第二原始图像之间的相似度大于预设相似度，且该两张第二原始图像的采集时间之间的间隔小于所述预设时间间隔，则该两张第二原始图像中仅保留一张第二原始图像作为第二类型对象对应的图像。

7.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，所述基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，包括：

获取所述第一类型对象对应的第一预设三维模型，以及获取所述第一预设三维模型对应的多张图像；

确定所述第一类型对象对应的图像与所述第一预设三维模型对应的多张图像之间的第一图像对应关系；所述第一图像对应关系用于表征所述第一类型对象在不同图像中的相似度关系；

根据所述第一图像对应关系，对所述第一预设三维模型进行调整；

根据调整的第一预设三维模型确定所述第一三维模型。

8.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，所述基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型，包括：

获取所述第二类型对象对应的第二预设三维模型，以及获取所述第二预设三维模型对应的多张图像；

确定所述第二类型对象对应的图像与所述第二预设三维模型对应的多张图像之间的第二图像对应关系；所述第二图像对应关系用于表征所述第二类型对象在不同图像中的相似度关系和位置关系；

根据所述第二图像对应关系，对所述第二预设三维模型进行调整；

根据调整的第二预设三维模型确定所述第二三维模型。

9.根据权利要求1所述的基于图像的三维模型生成方法，其特征在于，所述预设模型关联关系包括：第一关联关系和第二关联关系，所述第一关联关系对应有第一预设贴图，所述第二关联关系对应有第二预设贴图；所述基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型，包括：

根据所述第一关联关系，将所述第一三维模型和所述第二三维模型进行整合，确定整合的第一目标三维模型；所述整合的第一目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹；

根据所述第二关联关系，将不同的第二三维模型进行整合，确定整合的第二目标三维模型；所述整合的第二目标三维模型用于表征不同的第二类型对象之间的相对运动轨迹；

基于所述第一预设贴图、所述第二预设贴图、所述第一目标三维模型和所述第二目标三维模型，确定所述目标三维模型。

10.一种基于图像的三维模型生成系统，其特征在于，包括：

图像获取单元，用于获取图像数据；所述图像数据包括图像采集设备在预设时间段内采集到的多张图像，每张图像中包括的对象属于预设对象集中的对象；

对象识别单元，用于对所述多张图像中包括的对象进行识别，并根据识别结果确定分类的图像数据；所述分类的图像数据中包括第一类型对象和第一类型对象对应的图像，以及第二类型对象和第二类型对象对应的图像，所述第一类型对象和所述第二类型对象之间对应有预设模型关联关系；

建模单元，用于：

基于所述第一类型对象和所述第一类型对象对应的图像确定第一三维模型，以及基于所述第二类型对象和所述第二类型对象对应的图像确定第二三维模型；

基于所述预设模型关联关系、所述第一三维模型和第二三维模型，确定目标三维模型；所述目标三维模型用于表征所述第一类型对象与所述第二类型对象之间的相对运动轨迹，以及表征不同的第二类型对象之间的相对运动轨迹。