CN113657179A - 图像识别及建模方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种图像识别及建模方法、装置、电子设备及存储介质，属于图像处理技术领域。本发明的图像识别及建模方法包括获取一个目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型；对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像。这种图像识别及建模方法能够根据一个目标二维图像完成建模，较大程度地缩短建模时间，提高图像处理效率。

Description

图像识别及建模方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像识别及建模方法、装置、电子设备及存储介质。

背景技术

目前，在对图像进行三维建模时，往往需要将图像拆分建模之后再合并，时间成本较高，因此，如何提供一种图像识别及建模方法，能够较大程度地缩短建模时间，提高图像处理效率，成为了亟待解决的问题。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种图像识别及建模方法，能够较大程度地缩短建模时间，提高图像处理效率。

本发明还提出一种具有上述图像识别及建模方法的图像识别及建模装置。

本发明还提出一种具有上述图像识别及建模方法的电子设备。

本发明还提出一种计算机可读存储介质。

根据本发明的第一方面实施例的图像识别及建模方法，包括：

获取一个目标二维图像；

根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数；

根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型；

对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像。

根据本发明实施例的图像识别及建模方法，至少具有如下有益效果：这种图像识别及建模方法通过获取一个目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

根据本发明的一些实施例，所述根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数，包括：

根据YOLO算法，对所述目标二维图像进行划分，得到方格矩阵；

根据所述方格矩阵对所述目标对象进行分析，得到所述目标对象的位置参数和置信概率。

根据本发明的一些实施例，所述特征参数包括类别参数，所述根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型，包括：

根据所述类别参数和所述YOLO算法，搜寻参考模型；

对搜寻到的参考模型进行筛选和分类，得到目标参考模型集；

根据所述目标参考模型集，确定每一所述目标对象对应的三维模型。

根据本发明的一些实施例，所述对搜寻到的参考模型进行筛选和分类，得到目标参考模型集，包括：

根据预设的颜色参数，对搜寻到的参考模型进行筛选和分类，得到目标参考模型集。

根据本发明的一些实施例，所述根据所述目标参考模型集，确定与每一所述目标对象对应的三维模型，包括：

对所述目标参考模型集中的所有三维模型进行相似度度量检索，确定每一所述三维模型与所述目标对象的相似度；

根据所述相似度，确定与每一所述目标对象对应的三维模型。

根据本发明的一些实施例，所述特征参数包括位置参数和置信概率，所述对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像，包括：

根据位置参数和置信概率，对所有所述三维模型进行拼合处理，得到所述三维图像。

根据本发明的一些实施例，所述图像识别及建模方法还包括：

对所述三维图像进行校准处理，得到最终的三维图像。

根据本发明的第二方面实施例的图像识别及建模装置，包括：

二维图像获取模块，用于获取一个目标二维图像；

特征参数获取模块，用于根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数；

三维模型确定模块，用于根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型；

三维图像生成模块，用于对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像。

根据本发明实施例的图像识别及建模装置，至少具有如下有益效果：这种图像识别及建模装置通过二维图像获取模块获取目标二维图像，特征参数获取模块根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。三维模型确定模块根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后三维图像生成模块对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

根据本发明的第三方面实施例的电子设备，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如第一方面实施例所述的图像识别及建模方法。

根据本发明实施例的电子设备，至少具有如下有益效果：这种电子设备采用上述图像识别及建模方法，通过获取目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

根据本发明的第四方面实施例的计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面实施例所述的图像识别及建模方法。

根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这种计算机可读存储介质执行上述图像识别及建模方法通过获取目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实施例对本发明做进一步的说明，其中：

图1为本发明实施例的图像识别及建模方法的流程图；

图2为图1中步骤S200的流程图；

图3为图1中步骤S300的流程图；

图4为图3中步骤S330的流程图；

图5为本发明实施例的图像识别及建模装置的结构示意图。

附图标记：510、二维图像获取模块；520、特征参数获取模块；530、三维模型确定模块；540、三维图像生成模块。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

在本发明的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

本发明的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

第一方面，参照图1，本发明实施例的图像识别及建模方法包括：

S100，获取一个目标二维图像；

S200，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数；

S300，根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型；

S400，对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像。

在对二维图像进行识别和建模时，首先获取一个目标二维图像。这一目标二维图像可以是人物图像、风景图像、建筑图像、动物图像等等，不做限制。根据YOLO算法对目标二维图像中的目标对象进行分析，通过YOLO算法对目标对象的类别、位置等等进行分析，能够较为方便地获取到目标对象的特征参数，其中，特征参数包括位置参数、置信概率、类别参数等等。根据类别参数和YOLO算法，在预设的资源库中搜寻参考模型。通过对搜寻到的参考模型进行筛选和分类，能够确定与每一目标对象对应的三维模型。根据每一目标对象的位置参数和置信概率，确定对应三维模型的位置，将所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像。通过该图像识别及建模方法能够根据一个目标二维图像完成建模，较大程度地缩短建模时间，提高图像处理效率。

需要说明的是，YOLO算法是一种基于深度神经网络的对象识别和定位算法；YOLO算法将物体检测作为一个回归问题进行求解，输入图像经过一次推断，能够得到图像中所有物体的位置和其所属类别及相应的置信概率。而通过rcnn或者fast rcnn或者fasterrcnn等检测算法将检测结果分为两部分求解：物体类别(即分类问题)，物体位置(即回归问题)。

参照图2，在一些实施例中，步骤S200，包括：

S210，根据YOLO算法，对目标二维图像进行划分，得到方格矩阵；

S220，根据方格矩阵对目标对象进行分析，得到目标对象的位置参数和置信概率。

在对二维图像进行识别和建模时，首先获取目标二维图像。根据YOLO算法，对目标二维图像进行划分，得到方格矩阵。例如，将目标二维图像分为S×S的方格矩阵。通过每一方格检测目标对象的位置和置信值。需要说明的是，置信值代表方格包含目标对象的置信度。置信值可以表示为

若当前方格内没有目标对象，则置信值为0。另外，为了使得预测的置信值与人工标注的评价函数结果一致，每一方格包含x，y，w，h以及置信度这5个值。其中，(x，y)表示与某一方格相关的目标对象的中心坐标；(w，h)表示与全图信息相关的目标对象的宽和高；置信度表示预测目标对象的人工标注的评价函数结果。通过每一方格对目标对象的置信概率预测时，每一方格预测条件概率值为C(Pr(Classi|Object))；其中，概率值C代表方格包含一个目标对象的概率，每一方格只预测一类概率。通过这种方式，每个目标对象通过类别概率以及置信度相乘能够得到特定类别置信分数有：

该置信分数表示这一类别出现在目标对象中的概率以及该类别与目标对象的合适度。通过YOLO算法能够较为方便地得到目标对象的位置参数和置信概率，准确性较高。

参照图3，在一些实施例中，特征参数包括类别参数，步骤S300，包括：

S310，根据类别参数和YOLO算法，搜寻参考模型；

S320，对搜寻到的参考模型进行筛选和分类，得到目标参考模型集；

S330，根据目标参考模型集，确定每一目标对象对应的三维模型。

在对二维图像进行识别和建模时，首先获取目标二维图像。根据YOLO算法对目标二维图像中的目标对象进行分析，通过YOLO算法对目标对象的类别、位置等等进行分析，能够较为方便地获取到目标对象的特征参数，其中，特征参数包括位置参数、置信概率、类别参数等等。根据类别参数和YOLO算法，在预设的资源库中搜寻参考模型。通过在预设的资源库中搜寻，能够得到大量与目标对象匹配的参考模型。为了使得确定的三维模型与目标对象最为接近，根据预设的筛选分类依据，对搜寻到的参考模型进行筛选和分类，得到目标参考模型集。对目标参考模型集中的参考模型进行二次筛选，能够方便地选取最为接近的三维模型，将这一三维模型作为目标对象对应的三维模型。准确度较高。

在一些实施例中，步骤S320，包括：

根据预设的颜色参数，对搜寻到的参考模型进行筛选和分类，得到目标参考模型集。

为了提高建模准确性，可以根据预设的颜色参数，对搜寻到的参考模型进行筛选和分类，将与目标对象颜色一致的模型归为一类，得到目标参考模型集。再对目标参考模型集中的模型进行筛选，确定目标对象对应的三维模型。需要说明的是，颜色参数可以包括色彩、分辨率、RGB值等等。在一些其他实施例中，还可以将模型尺寸等等作为筛选分类依据，不限于此。

参照图4，在一些实施例中，步骤S330，包括：

S331，对目标参考模型集中的所有三维模型进行相似度度量检索，确定每一三维模型与目标对象的相似度；

S332，根据相似度，确定与每一目标对象对应的三维模型。

为了使得选取的三维模型最接近目标对象，对目标参考模型集中的所有三维模型进行相似度度量检索，确定每一三维模型与目标对象的相似度。通过比较每一三维模型与目标对象的相似度，选取相似度最高的三维模型作为与目标对象对应的三维模型，能够提高建模准确性，同时也提高了图像识别与转换的准确性，使得最终的三维图像中的各个特征更为贴近目标二维图像。

在一些实施例中，步骤S400，包括：

根据位置参数和置信概率，对所有三维模型进行拼合处理，得到三维图像。

在对所有三维模型进行拼合时，先根据位置参数中包括的目标对象在X轴、Y轴以及Z轴上的位置，以及目标对象的比例等等，确定对应的三维模型在全图中的角度及位置。再对所有三维模型进行拼合处理，使得通过所有三维模型组成完整的三维图像。通过这一方法能够较大程度地缩短建模时间，提高图像处理效率。

在一些实施例中，图像识别及建模方法还包括：

对三维图像进行校准处理，得到最终的三维图像。

为了提高三维图像的准确性，还可以在对所有三维模型进行拼合处理，得到三维图像之后，对三维图像进行校准处理。例如，对三维图像的各个特征的坐标、色彩进行校正。通过对三维图像进行校准，得到最终的三维图像，提高了图像识别与转换的准确性，使得最终的三维图像中的各个特征更为贴近目标二维图像。

第二方面，参照图5，本发明实施例的图像识别及建模装置包括：

二维图像获取模块510，用于获取一个目标二维图像；

特征参数获取模块520，用于根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数；

三维模型确定模块530，用于根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型；

三维图像生成模块540，用于对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像。

在对二维图像进行识别和建模时，二维图像获取模块510首先获取一个目标二维图像。这一目标二维图像可以是人物图像、风景图像、动物图像等等，不做限制。特征参数获取模块520根据YOLO算法对目标二维图像中的目标对象进行分析，通过YOLO算法对目标对象的类别、位置等等进行分析，能够较为方便地获取到目标对象的特征参数，其中，特征参数包括位置参数、置信概率、类别参数等等。三维模型确定模块530根据类别参数和YOLO算法，在预设的资源库中搜寻参考模型。通过对搜寻到的参考模型进行筛选和分类，能够确定与每一目标对象对应的三维模型。三维图像生成模块540根据每一目标对象的位置参数和置信概率，确定对应三维模型的位置，将所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像。通过该图像识别及建模方法能够根据一个目标二维图像完成建模，较大程度地缩短建模时间，提高图像处理效率。

第三方面，本发明实施例的电子设备，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有指令，指令被至少一个处理器执行，以使至少一个处理器执行指令时实现如第一方面实施例的图像识别及建模方法。

根据本发明实施例的电子设备，至少具有如下有益效果：这种电子设备采用上述图像识别及建模方法，通过获取目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

第四方面，本发明还提出一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面实施例的图像识别及建模方法。

根据本发明实施例的计算机可读存储介质，至少具有如下有益效果：这种计算机可读存储介质执行上述图像识别及建模方法，通过获取目标二维图像，根据YOLO算法对目标二维图像中的目标对象进行分析，得到目标对象的特征参数。根据特征参数和YOLO算法，确定与每一目标对象对应的三维模型，能够缩短模型构建的时间。最后对所有三维模型进行拼合处理，得到与目标二维图像对应的三维图像，通过一个目标二维图像完成建模，能够较大程度地缩短建模时间，提高图像处理效率。

上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。此外，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

Claims (10)

1.图像识别及建模方法，其特征在于，包括：

获取一个目标二维图像；

根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数；

根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型；

对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像。

2.根据权利要求1所述的图像识别及建模方法，其特征在于，所述根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数，包括：

根据YOLO算法，对所述目标二维图像进行划分，得到方格矩阵；

根据所述方格矩阵对所述目标对象进行分析，得到所述目标对象的位置参数和置信概率。

3.根据权利要求1所述的图像识别及建模方法，其特征在于，所述特征参数包括类别参数，所述根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型，包括：

根据所述类别参数和所述YOLO算法，搜寻参考模型；

对搜寻到的参考模型进行筛选和分类，得到目标参考模型集；

根据所述目标参考模型集，确定每一所述目标对象对应的三维模型。

4.根据权利要求3所述的图像识别及建模方法，其特征在于，所述对搜寻到的参考模型进行筛选和分类，得到目标参考模型集，包括：

根据预设的颜色参数，对搜寻到的参考模型进行筛选和分类，得到目标参考模型集。

5.根据权利要求3所述的图像识别及建模方法，其特征在于，所述根据所述目标参考模型集，确定与每一所述目标对象对应的三维模型，包括：

对所述目标参考模型集中的所有三维模型进行相似度度量检索，确定每一所述三维模型与所述目标对象的相似度；

根据所述相似度，确定与每一所述目标对象对应的三维模型。

6.根据权利要求1所述的图像识别及建模方法，其特征在于，所述特征参数包括位置参数和置信概率，所述对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像，包括：

根据位置参数和置信概率，对所有所述三维模型进行拼合处理，得到所述三维图像。

7.根据权利要求1至6任一项所述的图像识别及建模方法，其特征在于，所述图像识别及建模方法还包括：

对所述三维图像进行校准处理，得到最终的三维图像。

8.图像识别及建模装置，其特征在于，包括：

二维图像获取模块，用于获取一个目标二维图像；

特征参数获取模块，用于根据YOLO算法对所述目标二维图像中的目标对象进行分析，得到所述目标对象的特征参数；

三维模型确定模块，用于根据所述特征参数和所述YOLO算法，确定与每一所述目标对象对应的三维模型；

三维图像生成模块，用于对所有所述三维模型进行拼合处理，得到与所述目标二维图像对应的三维图像。

9.电子设备，其特征在于，包括：

至少一个处理器，以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行所述指令时实现如权利要求1至7任一项所述的图像识别及建模方法。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的图像识别及建模方法。

Images