CN105631938B - 一种图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，所述方法包括：获得图像数据；识别所述图像数据中的场景特征信息，所述场景特征信息与所述图像数据中的目标对象相对应；基于所述场景特征信息，生成所述目标对象的三维模型特征参数；依据所述三维模型特征参数，生成所述目标对象的三维图像数据。本发明在获取目标对象的三维图像数据时，无需对特定模板进行训练，而是通过场景特征识别进而得到特征参数，最终得到三维图像，由此简化了三维图像的成像操作，减少需要处理的数据量，进而提高三维成像的效率。

Description

一种图像处理方法及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

目前，针对不同的目标物体实时显示三维图像时，主要是基于AR(AugmentedReality，增强现实)技术，通过事先训练特定模板获得特征信息，然后再识别目标物体，将识别的目标物体与获得的特征信息相结合生成三维图像。由此可以看出，现有的显示三维图像的过程，需要事先对特定模板进行训练，操作比较复杂，不能较快的实现目标物体的三维图像显示。

发明内容

有鉴于此，本发明的目的在于提供一种图像处理方法及电子设备，用以解决现有技术中需要对特定模板进行训练，才能实现目标物体的三维图像成像，操作复杂且数据量较大，导致效率较低的技术问题。

本发明提供了一种图像处理方法，应用于电子设备，所述方法包括：

获得图像数据；

识别所述图像数据中的场景特征信息，所述场景特征信息与所述图像数据中的目标对象相对应；

基于所述场景特征信息，生成所述目标对象的三维模型特征参数；

依据所述三维模型特征参数，生成所述目标对象的三维图像数据。

上述方法，优选的，识别所述图像数据中的场景特征信息，包括：

识别出所述图像数据中的目标对象；

获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息，所述图像边缘信息组成所述场景特征信息。

上述方法，优选的，基于所述场景特征信息，生成所述图像数据中目标对象的三维模型特征参数，包括：

确定与所述场景特征信息相对应的初始三维模型；

基于所述初始三维模型，利用所述当前场景的实时图像，获取所述目标对象与所述初始三维模型相对应的三维模型特征参数。

上述方法，优选的，所述三维模型特征参数包括：所述目标对象中各点的三维坐标数据。

上述方法，优选的，所述依据所述三维模型特征参数，生成所述目标对象的三维图像数据，包括：

将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

上述方法，优选的，还包括：

将生成的所述目标对象的三维图像数据在所述图像数据中进行显示，其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域。

本发明还提供了一种电子设备，包括：

数据获得单元，用于获得图像数据；

场景识别单元，用于识别所述图像数据中的场景特征信息，所述场景特征信息与所述图像数据中的目标对象相对应；

参数生成单元，用于基于所述场景特征信息，生成所述目标对象的三维模型特征参数；

图像生成单元，用于依据所述三维模型特征参数，生成所述目标对象的三维图像数据。

上述电子设备，优选的，所述场景识别单元包括：

对象识别子单元，用于识别出所述图像数据中的目标对象；

边缘获取子单元，用于获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息，所述图像边缘信息组成所述场景特征信息。

上述电子设备，优选的，所述参数生成单元包括：

初始模型确定子单元，用于确定与所述场景特征信息相对应的初始三维模型；

模型特征获取子单元，用于基于所述初始三维模型，利用所述当前场景的实时图像，获取所述目标对象与所述初始三维模型相对应的三维模型特征参数。

上述电子设备，优选的，所述三维模型特征参数包括：所述目标对象中各点的三维坐标数据。

上述电子设备，优选的，所述图像生成单元包括：

特征参数填充子单元，用于将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

上述电子设备，优选的，还包括：

图像显示单元，用于将生成的所述目标对象的三维图像数据在所述图像数据中进行显示，其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域。

由上述方案可知，本发明提供的一种图像处理方法及电子设备，在获取到当前场景的图像数据之后，通过识别图像数据中与目标对象对应的场景特征信息之后，基于该场景特征信息生成该目标对象的三维模型特征参数，进而利用这一三维模型特征参数生成目标对象的三围图像数据，实现目标的三维图像成像，这一过程中无需对特定模板进行训练，而是通过场景特征识别进而得到特征参数，最终得到三维图像，由此简化了三维图像的成像操作，减少需要处理的数据量，进而提高三维成像的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种图像处理方法的流程图；

图2为本发明实施例二提供的一种图像处理方法的部分流程图；

图3a与图3b分别为本发明实施例的应用示例图；

图4为本发明实施例二的另一部分流程图；

图5为本发明实施例二的流程图；

图6为本发明实施例三提供的一种图像处理方法的流程图；

图7为本发明实施例四提供的一种电子设备的结构示意图；

图8为本发明实施例五提供的一种电子设备的部分结构示意图；

图9为本发明实施例五的另一部分结构示意图；

图10为本发明实施例五的结构示意图；

图11为本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参考图1，为本发明实施例一提供的一种图像处理方法的流程图，其中所述方法应用于电子设备中，所述的电子设备可以为在通讯中使用的计算机设备，广义的讲包括个人计算机、手机、笔记本、平板电脑、车载电脑等设备。

在本实施例中，所述方法可以包括以下步骤：

步骤101：获得图像数据。

其中，所述图像数据可以为电子设备周边场景如所述电子设备前方场景的图像数据，如二维图像数据等。

具体的，本实施例中可以通过摄像头等图像采集设备来获得所述图像数据。

步骤102：识别所述图像数据中的场景特征信息。

其中，所述场景特征信息与所述图像数据中的目标对象相对应。需要说明的是，所述目标对象可以为：二维码、苹果、人像等对象。也就是说，所述场景特征信息为所述电子设备当前场景中与所述目标对象信息相关的，例如，所述场景特征信息为所述目标对象所代表的场景的特征信息或所述目标对象所处场景的特征信息，如二维码场景特征信息或人像场景特征信息。

步骤103：基于所述场景特征信息，生成所述目标对象的三维模型特征参数。

例如，所述目标对象所属的三维模型类型特征、三维模型尺寸大小等三维模型特征参数。

步骤104：依据所述三维模型特征参数，生成所述目标对象的三维图像数据。

也就是说，本实施例中在得到所述目标对象的三维模型特征参数之后，对这些特征参数进行三维成像处理，由此得到所述目标对象的三维图像数据。

由上述方案可知，本发明实施例一提供的一种图像处理方法，在获取到当前场景的图像数据之后，通过识别图像数据中与目标对象对应的场景特征信息之后，基于该场景特征信息生成该目标对象的三维模型特征参数，进而利用这一三维模型特征参数生成目标对象的三围图像数据，实现目标的三维图像成像，这一过程中无需对特定模板进行训练，而是通过场景特征识别进而得到特征参数，最终得到三维图像，由此简化了三维图像的成像操作，减少需要处理的数据量，进而提高三维成像的效率。

参考图2，为本发明实施例二提供的一种图像处理方法中所述步骤102的流程图，其中，所述步骤102可以通过以下步骤实现：

步骤121：识别出所述图像数据中的目标对象。

具体的，本实施例中可以通过图像识别算法来识别出所述图像数据中的目标对象，如识别动物、人像、食物、二维码或建筑物等对象。

步骤122：获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息。

其中，所述图像边缘信息组成所述场景特征信息。如图3a中所示，所述目标对象可以为二维码对象，其所在图像区域的图像边缘信息组成其场景特征信息。

相应的，参考图4，为本发明实施例中所述步骤103的实现流程图，其中，所述步骤103可以通过以下步骤实现：

步骤131：确定与所述场景特征信息相对应的初始三维模型。

其中，所述初始三维模型属于预设的模型库，本实施例中预先设置含有多个三维模型的模型库，其中的每个三维模型均具有对应的场景特征，进而本实施例在得到所述目标对象相关的场景特征信息之后，利用该场景特征信息，在所述模型库中确定与所述场景特征信息相对应的初始三维模型。

步骤132：基于所述初始三维模型，利用所述当前场景的实时图像，获取所述目标对象与所述初始三维模型相对应的三维模型特征参数。

具体的，本实施例中可以通过摄像头等图像采集设备的图像跟踪技术，对所述目标对象所在场景进行实时跟踪，进而采集到所述目标对象所在的当前场景的实时图像，进而对这些实时图像进行解析，得到所述目标对象与所述初始三维模型相对应的三维模型特征参数。例如，本实施例中通过相机采集图像数据之后，识别出图像数据中目标对象对应的场景特征信息，进而生成一个初始三维模型，在相机移动时，画面中的目标对象会跟着移动，进而采集到所述目标对象关于所述初始三维模型相对应的三维模型特征参数，如目标对象如二维码所占画面的大小、中心位置及模型的映射关系等特征参数。

在具体实现中，所述三维模型特征参数可以包括有：所述目标对象中各点的三维坐标数据，如二维码的中心位置坐标、四个角的位置坐标数据等。

由此，参考图5，为本发明实施例的实现流程图，其中所述步骤104可以通过以下步骤实现：

步骤141：将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

例如，本实施例中，在得到所述目标对象的三维模型特征参数之后，结合参数中的三维模型映射关系，利用参数中的各个位置坐标，基于所述初始三维模型，在所述图像数据中实时画出所述目标对象的三维模型，进而生成所述目标对象的三维图像数据。

在具体实现中，本实施例中所获取到的所述目标对象的三维图像数据可以在所述图像数据所在区域进行显示，或这将该目标对象的三维图像数据在所述图像数据中的部分区域上进行显示。

具体的，参考图6，为本发明实施例三提供的一种图像处理方法的实现流程图，其中，在所述步骤104之后，所述方法还可以包括以下步骤：

步骤105：将生成的所述目标对象的三维图像数据在所述图像数据中进行显示。

其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域，如图3b中所示，区域x1为所述图像数据的整体显示区域，区域x2为所述目标对象在二维的所述图像数据中的显示区域，在本实施例中，所述目标对象的三维图像数据覆盖其二维图像，在所述图像数据中进行显示。

参考图7，为本发明实施例四提供的一种电子设备的结构示意图，其中，所述电子设备可以为在通讯中使用的计算机设备，广义的讲包括个人计算机、手机、笔记本、平板电脑、车载电脑等设备。

在本实施例中，所述电子设备可以包括以下结构：

数据获得单元701，用于获得图像数据。

其中，所述图像数据可以为电子设备周边场景如所述电子设备前方场景的图像数据，如二维图像数据等。

具体的，本实施例中，所述数据获得单元701可以通过摄像头等图像采集设备来获得所述图像数据。

场景识别单元702，用于识别所述图像数据中的场景特征信息。

其中，所述场景特征信息与所述图像数据中的目标对象相对应。需要说明的是，所述目标对象可以为：二维码、苹果、人像等对象。也就是说，所述场景特征信息为所述电子设备当前场景中与所述目标对象信息相关的，例如，所述场景特征信息为所述目标对象所代表的场景的特征信息或所述目标对象所处场景的特征信息，如二维码场景特征信息或人像场景特征信息。

参数生成单元703，用于基于所述场景特征信息，生成所述目标对象的三维模型特征参数。

例如，所述目标对象所属的三维模型类型特征、三维模型尺寸大小等三维模型特征参数。

图像生成单元704，用于依据所述三维模型特征参数，生成所述目标对象的三维图像数据。

也就是说，本实施例中在得到所述目标对象的三维模型特征参数之后，对这些特征参数进行三维成像处理，由此得到所述目标对象的三维图像数据。

由上述方案可知，本发明实施例四提供的一种电子设备，在获取到当前场景的图像数据之后，通过识别图像数据中与目标对象对应的场景特征信息之后，基于该场景特征信息生成该目标对象的三维模型特征参数，进而利用这一三维模型特征参数生成目标对象的三围图像数据，实现目标的三维图像成像，这一过程中无需对特定模板进行训练，而是通过场景特征识别进而得到特征参数，最终得到三维图像，由此简化了三维图像的成像操作，减少需要处理的数据量，进而提高三维成像的效率。

参考图8，为本发明实施例五提供的一种电子设备中所述场景识别单元702的结构示意图，其中，所述场景识别单元702可以通过以下结构实现：

对象识别子单元721，用于识别出所述图像数据中的目标对象。

具体的，本实施例中，所述对象识别子单元721可以通过图像识别算法来识别出所述图像数据中的目标对象，如识别动物、人像、食物、二维码或建筑物等对象。

边缘获取子单元722，用于获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息。

其中，所述图像边缘信息组成所述场景特征信息。如图3a中所示，所述目标对象可以为二维码对象，其所在图像区域的图像边缘信息组成其场景特征信息。

相应的，参考图9，为本发明实施例中所述参数生成单元703的结构示意图，其中，所述参数生成单元703可以通过以下结构实现：

初始模型确定子单元731，用于确定与所述场景特征信息相对应的初始三维模型。

其中，所述初始三维模型属于预设的模型库，本实施例中预先设置含有多个三维模型的模型库，其中的每个三维模型均具有对应的场景特征，进而本实施例在得到所述目标对象相关的场景特征信息之后，所述初始模型确定子单元731可以利用该场景特征信息，在所述模型库中确定与所述场景特征信息相对应的初始三维模型。

模型特征获取子单元732，用于基于所述初始三维模型，利用所述当前场景的实时图像，获取所述目标对象与所述初始三维模型相对应的三维模型特征参数。

具体的，本实施例中，所述模型特征获取子单元732可以通过摄像头等图像采集设备的图像跟踪技术，对所述目标对象所在场景进行实时跟踪，进而采集到所述目标对象所在的当前场景的实时图像，进而对这些实时图像进行解析，得到所述目标对象与所述初始三维模型相对应的三维模型特征参数。例如，本实施例中通过相机采集图像数据之后，识别出图像数据中目标对象对应的场景特征信息，进而生成一个初始三维模型，在相机移动时，画面中的目标对象会跟着移动，进而采集到所述目标对象关于所述初始三维模型相对应的三维模型特征参数，如目标对象如二维码所占画面的大小、中心位置及模型的映射关系等特征参数。

在具体实现中，所述三维模型特征参数可以包括有：所述目标对象中各点的三维坐标数据，如二维码的中心位置坐标、四个角的位置坐标数据等。

由此，参考图10，为本发明实施例的结构示意图，其中，所述图像生成单元704可以通过以下结构实现；

特征参数填充子单元741，用于将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

例如，本实施例中，在得到所述目标对象的三维模型特征参数之后，结合参数中的三维模型映射关系，利用参数中的各个位置坐标，基于所述初始三维模型，在所述图像数据中实时画出所述目标对象的三维模型，进而生成所述目标对象的三维图像数据。

在具体实现中，本实施例中所获取到的所述目标对象的三维图像数据可以在所述图像数据所在区域进行显示，或这将该目标对象的三维图像数据在所述图像数据中的部分区域上进行显示。

具体的，参考图11，为本发明实施例六提供的一种电子设备的结构示意图，其中，所述电子设备还可以包括以下结构：

图像显示单元705，用于在所述图像生成单元704生成所述目标对象的三维图像数据之后，将生成的所述目标对象的三维图像数据在所述图像数据中进行显示。

其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域，如图3b中所示，区域x1为所述图像数据的整体显示区域，区域x2为所述目标对象在二维的所述图像数据中的显示区域，在本实施例中，所述目标对象的三维图像数据覆盖其二维图像，在所述图像数据中进行显示。

本实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本发明实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (6)

1.一种图像处理方法，应用于电子设备，其特征在于，所述方法包括：

获得图像数据；

识别所述图像数据中的场景特征信息，其中包括：识别出所述图像数据中的目标对象；获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息，所述图像边缘信息组成所述场景特征信息，所述场景特征信息与所述图像数据中的目标对象相对应；

基于所述场景特征信息，生成所述目标对象的三维模型特征参数，其中包括：在预设的模型库中，确定与所述场景特征信息相对应的初始三维模型；基于所述初始三维模型，利用当前场景的实时图像，获取所述目标对象关于所述初始三维模型相对应的三维模型特征参数，所述模型库中包含多个三维模型，所述模型库中的每个三维模型均具有对应的场景特征；

依据所述三维模型特征参数，生成所述目标对象的三维图像数据，其中包括：将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

2.根据权利要求1所述的方法，其特征在于，所述三维模型特征参数包括：所述目标对象中各点的三维坐标数据。

3.根据权利要求1所述的方法，其特征在于，还包括：

将生成的所述目标对象的三维图像数据在所述图像数据中进行显示，其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域。

4.一种电子设备，其特征在于，包括：

数据获得单元，用于获得图像数据；

场景识别单元，用于识别所述图像数据中的场景特征信息，所述场景特征信息与所述图像数据中的目标对象相对应；

参数生成单元，用于基于所述场景特征信息，生成所述目标对象的三维模型特征参数；

图像生成单元，用于依据所述三维模型特征参数，生成所述目标对象的三维图像数据；

其中，所述场景识别单元包括：

对象识别子单元，用于识别出所述图像数据中的目标对象；

边缘获取子单元，用于获取所述目标对象在所述图像数据中所属图像区域的图像边缘信息，所述图像边缘信息组成所述场景特征信息；

所述参数生成单元包括：

初始模型确定子单元，用于确定与所述场景特征信息相对应的初始三维模型；

模型特征获取子单元，用于基于所述初始三维模型，利用当前场景的实时图像，获取所述目标对象关于所述初始三维模型相对应的三维模型特征参数；

其中，所述初始模型确定子单元具体用于：

在预设的模型库中确定与所述场景特征信息相对应的初始三维模型；其中，所述模型库中包含多个三维模型，所述模型库中的每个三维模型均具有对应的场景特征；

所述图像生成单元包括：

特征参数填充子单元，用于将所述三维模型特征参数填充到所述初始三维模型中，以使得所述初始三维模型转换为所述目标对象的三维图像数据。

5.根据权利要求4所述的电子设备，其特征在于，所述三维模型特征参数包括：所述目标对象中各点的三维坐标数据。

6.根据权利要求4所述的电子设备，其特征在于，还包括：

图像显示单元，用于将生成的所述目标对象的三维图像数据在所述图像数据中进行显示，其中，所述三维图像数据覆盖所述图像数据中所述目标对象初始所在的图像区域。