CN109218619A

CN109218619A - 图像获取方法、装置和系统

Info

Publication number: CN109218619A
Application number: CN201811194164.7A
Authority: CN
Inventors: 廖声洋
Original assignee: Beijing Megvii Technology Co Ltd
Current assignee: Beijing Megvii Technology Co Ltd
Priority date: 2018-10-12
Filing date: 2018-10-12
Publication date: 2019-01-15

Abstract

本发明提供了一种图像获取方法、装置和系统，涉及图像处理技术领域，其中，该方法包括：获取目标场景的预览帧图像；从预览帧图像中识别目标场景的场景类型；根据识别出的场景类型确定与目标场景对应的摄像头组合；摄像头组合中至少包含多个摄像头中的一个摄像头；通过摄像头组合获取目标场景的图像数据。本发明可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

Description

图像获取方法、装置和系统

技术领域

本发明涉及图像处理技术领域，尤其是涉及一种图像获取方法、装置和系统。

背景技术

现有的终端设备上的摄像模组大多为单摄模组或双摄模组。其中，单摄模组设置有单个摄像头，该摄像头通常为彩色摄像头，适用于普通场景下的拍摄；双摄模组设置有两个摄像头，两个摄像头呈共基线或共支架的设置方式；相对于单摄模组，双摄模型能够满足光线增强、大动态范围、浅景深拍摄等应用需求，但由于两个摄像头视差较小，在某些特殊场景下的拍摄效果欠佳，难以满足全景深、三维应用等拍摄需求，导致应用范围依然有限。

发明内容

有鉴于此，本发明的目的在于提供一种图像获取方法、装置和系统，以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而提高在各个场景下的拍摄效果，扩展图像数据的应用范围。

第一方面，本发明实施例提供了一种图像获取方法，该方法应用于处理器；该处理器连接有多个摄像头，该方法包括：获取目标场景的预览帧图像；从预览帧图像中识别目标场景的场景类型；根据识别出的场景类型确定与目标场景对应的摄像头组合；摄像头组合中至少包含多个摄像头中的一个摄像头；通过摄像头组合获取目标场景的图像数据。

进一步，本发明实施例提供了第一方面的第一种可能的实施方式，上述获取目标场景的预览帧图像的步骤，包括：监听多个摄像头中的指定摄像头的工作状态；当指定摄像头开启时，获取目标场景的预览帧图像；或者，监听用户的触发指令；当接收到用户触发的图像采集指令时，获取目标场景的预览帧图像。

进一步，本发明实施例提供了第一方面的第二种可能的实施方式，从预览帧图像中识别目标场景的场景类型的步骤，包括：通过预先训练得到的场景识别模型，从预览帧图像中识别目标场景的场景类型；上述场景识别模型采用以下方式训练得到：获取训练样本集合；训练样本集合包括设定数量的多种场景图像；场景图像中携带有场景类型的标注信息；按照第一划分比例，从训练样本集合中划分出训练子集和验证子集；搭建初始的神经网络模型，并设置初始的训练参数；通过训练子集和训练参数训练神经网络模型，通过验证子集对训练后的神经网络模型进行验证；如果验证结果不满足预设的精度阈值，根据验证结果调整训练参数；继续通过训练子集和调整后的训练参数训练神经网络模型，直至神经网络模型的验证结果满足精度阈值，得到场景识别模型。

进一步，本发明实施例提供了第一方面的第三种可能的实施方式，上述根据识别出的场景类型确定与目标场景对应的摄像头组合的步骤，包括：从预先建立的场景类型和摄像头的匹配关系中，查找得到目标场景的场景类型对应的摄像头；将查找到的摄像头组合为目标场景对应的摄像头组合。

进一步，本发明实施例提供了第一方面的第四种可能的实施方式，上述方法还包括：将与三维应用或全景深相关联的场景类型确定为特定场景类型，特定场景类型对应的摄像头组合包括至少一个深度类型的摄像头和至少一个普通类型的摄像头。

进一步，本发明实施例提供了第一方面的第五种可能的实施方式，上述摄像头组合中包含两个或两个以上摄像头；上述通过摄像头组合获取目标场景的图像数据的步骤，包括：启动摄像头组合中的每个摄像头；控制启动后的每个摄像头同步采集数据；对每个摄像头采集到的数据进行图像融合处理，得到融合处理后目标场景的图像数据。

进一步，本发明实施例提供了第一方面的第六种可能的实施方式，上述对每个摄像头采集到的数据进行图像融合处理，得到融合处理后目标场景的图像数据的步骤，包括：如果摄像头组合中包含深度类型的摄像头和普通类型的摄像头；从深度类型的摄像头采集到的数据中提取目标场景的三维空间信息；从普通类型的摄像头采集到的数据中提取目标场景的图像信息；将图像信息融合至三维空间信息中，得到目标场景的三维重建模型，将三维重建模型确定为目标场景的图像数据。

第二方面，本发明实施例提供了一种图像获取装置，该装置设置于处理器；处理器连接有多个摄像头，该装置包括：数据帧获取模块，用于获取目标场景的预览帧图像；场景类型识别模块，用于通过预先训练得到的场景识别模型，从预览帧图像中识别目标场景的场景类型；摄像头组合确定模块，用于根据识别出的场景类型确定与目标场景对应的摄像头组合；摄像头组合中至少包含多个摄像头中的一个摄像头；图像数据获取模块，用于通过摄像头组合获取目标场景的图像数据。

第三方面，本发明实施例提供了一种图像获取系统，该系统包括：摄像头、处理器和存储装置；摄像头，用于获取预览帧图像或图像数据；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述图像获取方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述图像获取方法的步骤。

本发明实施例带来了以下有益效果：

本发明实施例提供的上述图像获取方法、装置和系统，获取到目标场景的预览帧图像后，通过预先训练得到的场景识别模型，从该预览帧图像中识别目标场景的场景类型；根据识别出的场景类型确定与目标场景对应的摄像头组合，进而通过该摄像头组合获取目标场景的图像数据。该方式可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

本发明的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本发明的上述技术即可得知。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施方式，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种电子系统的结构示意图；

图2为本发明实施例提供的一种图像获取方法的流程图；

图3为本发明实施例提供的另一种图像获取方法的流程图；

图4为本发明实施例提供的一种图像获取装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到现有的拍摄方式在某些特殊场景下的拍摄效果欠佳，难以满足全景深、三维应用等拍摄需求，导致应用范围依然有限的问题，本发明实施例提供了一种图像获取方法、装置和系统，该技术可以应用于相机、手机、平板电脑等多种终端设备中，该技术可采用相应的软件和硬件实现，以下对本发明实施例进行详细介绍。

实施例一：

首先，参照图1来描述用于实现本发明实施例的图像获取方法、装置和系统的示例电子设备100。

如图1所示的一种电子设备的结构示意图，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及一个或多个摄像头110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。

所述处理器102可以是网关，也可以为智能终端，或者是包含中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元的设备，可以对所述电子设备100中的其它组件的数据进行处理，还可以控制所述电子设备100中的其它组件以执行期望的功能。

所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。

所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。

所述输出装置108可以向外部(例如，用户)输出各种信息(例如，图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。

所述摄像头110可以采集预览帧图像或图像数据，并且将采集到的预览帧图像或图像数据存储在所述存储装置104中以供其它组件使用。

示例性地，用于实现根据本发明实施例的图像获取方法、装置和系统的示例电子设备中的各器件可以集成设置，也可以分散设置，诸如将处理器102、存储装置104、输入装置106和输出装置108集成设置于一体，而将摄像头110设置于可以采集到目标场景的指定位置。当上述电子设备中的各器件集成设置时，该电子设备可以被实现为诸如相机、智能手机、平板电脑、计算机等智能终端。

实施例二：

本实施例提供了一种图像获取方法，该方法可以应用于上述电子设备中的处理器；该处理器可以是具有数据处理能力的任何芯片或设备，诸如上位机、本地服务器、云服务器等。该处理器连接有多个摄像头；对于智能终端而言，处理器与多个摄像头集成设置在智能终端上；多个摄像头按照一定的排布规则设置在智能终端的指定位置。

如图2所示，该图像获取方法包括如下步骤：

步骤S202，获取目标场景的预览帧图像；

该目标场景可以理解为摄像头视野范围内的环境场景；该预览帧图像可以为单帧数据，也可以为连续或间断的多帧数据。在其中一种方式中，当用户开启摄像头后，即可通过开启的摄像头获取目标场景的预览帧图像；在摄像头开启的整个过程中，可以采取定时的方式获取该预览帧图像，以避免目标场景发生变换造成的后续场景类型识别错误；还可以实时检测目标场景的亮度、颜色、纹理等特征，如果这些特征发生较大变化，则再次获取上述预览帧图像，同样可以避免后续场景类型识别错误的情况。

在另外一种方式中，当用户点击拍摄按钮时，再获取上述预览帧图像；由于用户已经点击拍摄按钮，获取该预览帧图像与获取的图像数据的时间很短，二者的目标场景差异很小，因而通常不存在后续场景类型识别错误的情况。

步骤S204，从预览帧图像中识别目标场景的场景类型；

例如，该目标场景的场景类型可以为广场、建筑、人像、宠物、静物等；当然还可以包含其他场景类型，或者从其他角度划分的场景类型，例如根据光照情况，该场景类型还可以划分为白天户外、白天室内、夜晚户外、夜晚室内等。可以理解，划分的场景类型越多，识别的场景类型越精确，后续的场景与摄像头的匹配程度也就越高。

上述目标场景的场景类型可以通过预先训练的场景识别模型获得；该场景识别模型可以通过神经网络实现，也可以通过其他人工智能或机器学习方式实现。通过大量标注有场景类型的图像样本可以训练得到上述场景识别模型。在实际实现时，将预览帧图像输入至上述场景识别模型，该模型即可输出识别结果，从该识别结果中得到目标场景的场景类型。

步骤S206，根据识别出的场景类型确定与目标场景对应的摄像头组合；该摄像头组合中至少包含多个摄像头中的一个摄像头；

由上文描述可知，处理器连接有多个摄像头；为了使获取到的图像数据具有广泛的应用性，可以设置上述多个摄像头为不同种类的摄像头，例如，彩色摄像头、黑白摄像头，广角摄像头、长焦摄像头、深度摄像头等；在其中一种方式中，处理器连接的多个摄像头中，每个摄像头可以为上述不同种类的摄像头中的一种，此时，处理器连接的摄像头数量可能较多，例如，如果把上述各种摄像头都连接上，该处理器需要连接五个摄像头。考虑到成本问题或摄像头安装位置有限的因素，处理器连接的多个摄像头可以为上述不同种类的摄像头中多种，例如，组合一中，上述多个摄像头包括彩色摄像头、黑白摄像头和深度摄像头；组合二中，上述多个摄像头包括彩色摄像头、广角摄像头和深度摄像头等；此时，处理器需要连接的摄像头可能较少，但同时限制了获取到的图像数据的应用范围，如上述组合一中不包括广角摄像头和长焦摄像头，因而获取到的图像数据可能不能应用至全景拍摄或全景深拍摄的应用中。

在另外一种方式中，处理器连接的多个摄像头中，每个摄像头可以同时具有上述不同种类的摄像头中的多种种类属性，例如，处理器连接有三个摄像头(摄像头的数量仅为示例，不作为对本实施例的限定)，摄像头A、摄像头B和摄像头C；其中，摄像头A是彩色摄像头，同时也是广角摄像头，摄像头B是黑白摄像头，同时也是长焦摄像头；而摄像头C是深度摄像头；再如，处理器连接有三个摄像头，摄像头D、摄像头E和摄像头F；其中，摄像头D是彩色摄像头，同时也是广角摄像头和长焦摄像头，而摄像头B是黑白摄像头，摄像头C是深度摄像头。该方式可以在有限数量的摄像头下，同时保证获取到的图像数据也具有较为广泛的应用范围。

在根据识别出的场景类型确定与目标场景对应的摄像头组合的过程中，可以预先根据拍摄经验、以及当前处理器所连接的各个摄像头的种类或种类组合，设置场景类型与摄像头组合的对应关系；一种场景类型可以对应一个摄像头，也可以对应多个摄像头。当识别出目标场景的场景类型后，从上述对应关系中即可查找到对应的摄像头组合。

例如，如果目标场景的场景类型为广场，此时对应的摄像头组合可以为广角摄像头和长焦摄像头；如果目标场景的场景类型为宠物，此时对应的摄像头组合可以为彩色摄像头和黑白摄像头。如果目标场景的场景类型为静物，此时对应的摄像头组合可以仅为彩色摄像头。另外，对于与三维重建或全景深相关联的场景类型，例如上述广场、建筑、静物等，对应的摄像头组合中还可以包含深度摄像头，以获取较为丰富的空间信息，从而实现三维重建或全景深的应用需求。

步骤S208，通过上述摄像头组合获取目标场景的图像数据。

如果摄像头组合仅包含一个摄像头，通过该摄像头获取目标场景的图像数据；如果摄像头组合仅包含多个摄像头，可以控制该多个摄像头同时或者按照一定的时间间隔获取目标场景的图像数据。按照一定的时间间隔获取目标场景的图像数据可以应用于特殊摄像效果的拍摄，如长曝光等。

上述图像数据，可以为单张的图片，此时获取图像数据的过程可以理解为拍照过程；也可以为多帧连续的图像，此时获取图像数据的过程可以理解为录像过程。获取目标场景的图像数据的过程中，通常包含通过摄像头采集目标场景的原始图像，还包含对该原始图像进行处理的过程，如图像去噪、融合、场景虚化、夜视增强、景深处理、三维重建等，从而得到最终的目标场景的图像数据。

本发明实施例提供的上述图像获取方法，获取到目标场景的预览帧图像后，从该预览帧图像中识别目标场景的场景类型；根据识别出的该场景类型确定与目标场景对应的摄像头组合，进而通过摄像头组合获取目标场景的图像数据。该方式可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

实施例三：

上述实施例中，从预览帧图像中识别目标场景的场景类型；因此，本实施例中首先描述一种用于识别目标场景的场景类型的场景识别模型的训练方式。具体地，该场景识别模型采用以下方式训练得到：

步骤11，获取训练样本集合；该训练样本集合包括设定数量的多种场景图像；该场景图像中携带有场景类型的标注信息；

该训练样本集合中的场景图像的数量可以预先设定，例如10万张；可以理解，场景图像的数量越多，训练得到的场景识别模型的性能和能力越好，识别精确度就越高。这些场景图像可以从通用的场景图像库中获得，也可以从视频流中截取视频帧得到。上述标注信息可以由工程师手动标注，并与对应的场景图像关联，也可以由标注软件自动标注，再由工程师进行调整。场景类型的标注信息的标注越精确越细化，越有利于后续场景识别模型的识别精确度。

步骤12，按照第一划分比例，从训练样本集合中划分出训练子集和验证子集；

其中，该第一划分比例可以为具体的百分比，例如30％，此时可以将训练样本集合中30％的场景图像和对应的标注信息作为训练子集，将训练样本集合中30％的场景图像和对应的标注信息作为验证子集；该第一划分比例也可以为百分比组合，例如30％和40％，此时可以将训练样本集合中30％的场景图像和对应的标注信息作为训练子集，将训练样本集合中40％的场景图像和对应的标注信息作为验证子集。

由上述描述可知，训练子集和验证子集占训练样本集合的百分比可以相同，也可以不同；并且，训练子集和验证子集中的场景图像，可以完全不同，也可以存在部分交叉。例如，采用随机的方式从训练样本集合中分布划分出训练子集和验证子集，此时训练子集和验证子集中的场景图像就有可能存在相同的场景图像；而如果先从训练样本集合中划分出训练子集，再从训练样本集合中剩余的场景图像中划分出验证子集，此时训练子集和验证子集中的场景图像就可以完全不同。

步骤13，搭建初始的神经网络模型，并设置初始的训练参数；

通常，神经网络模型的训练参数包括网络节点、初始权值的确定、最小训练速率、动态参数、允许误差、迭代次数等。

步骤14，通过训练子集和训练参数训练神经网络模型，通过验证子集对训练后的神经网络模型进行验证；

在实际实现时，可以将上述训练子集和验证子集中的场景图像和对应的标注信息分别划分为多个小组；首先将训练子集中的一组场景图像和对应的标注信息输入至上述神经网络模型中进行训练，训练完成后，再将验证子集中的一组场景图像输入至训练后的神经网络模型中进行场景识别，将识别结果与该组场景图像对应的标注信息进行比对，得到当前神经网络模型的识别精确度，该识别精确度即为验证结果。

步骤15，如果验证结果不满足预设的精度阈值，根据验证结果调整训练参数；

为了提高神经网络模型的识别精确度，可以根据识别结果分析该神经网络模型识别精确度较低的原因，以及需要调整的训练参数，以对神经网络模型及其训练方式进行优化。

步骤16，继续通过训练子集和调整后的训练参数训练神经网络模型，直至神经网络模型的验证结果满足精度阈值，得到场景识别模型。

由上述步骤可知，对神经网络模型的训练和验证是相互交叉进行的过程，每次训练使用训练子集中的一组场景图像和对应的标注信息，每次验证使用验证子集中的一组场景图像和对应的标注信息，反复训练和验证，直至神经网络模型的识别结果满足精度阈值，即可得到该场景识别模型。

如果训练子集中的每组场景图像和对应的标注信息都使用完毕，但验证结果依然不能满足精度阈值，此时可以重复利用训练子集中的每组场景图像和对应的标注信息，也可以从上述训练样本集合中划分出新的训练子集继续训练。

另外，还可以从上述训练样本集合划分出第二划分比例的测试子集，为了保证测试结果的精确性，该测试子集中的场景图像通常与上述训练子集和验证子集中的场景图像完全不同，即不存在交叉。该测试子集可以用于对训练完成的场景识别模型进行全面测试，以衡量该场景识别模型的性能和能力，并可以生成该场景识别模型的评估报告。在实际实现时，可以训练得到多个场景识别模型，每个场景识别模型的性能和能力不同，根据目标场景识别的实际需求，如识别精确度、识别速度等，可以选择性能和能力较为匹配的场景识别模型。

本实施例中，通过上述方式训练得到的场景识别模型，具有较高的场景识别精确度，从而可以在图像获取过程中准确识别场景类型，有利于提高摄像头组合与目标场景的匹配程度，从而提高拍摄效果，进而使获取到的图像数据具有广泛的应用范围。

实施例四：

本发明实施例提供了另一种图像获取方法，该方法在上述实施例的基础上实现；本实施例中，重点描述目标场景对应的摄像头组合中包含两个或两个以上摄像头时，图像获取的具体方式；如图3所示，该图像获取方法包括如下步骤：

步骤S302，监听用户的触发指令；当接收到用户触发的图像采集指令时，获取目标场景的预览帧图像；

在一段时间内，处理器可能会接收到用户发出的多种触发指令，例如，开启摄像头的指令、调节亮度的指令等；可以预先设置上述图像采集指令对应的按钮，当检测到该按钮被按下时，即可确定接收到用户触发的图像采集指令；另一种方式中，还可以预先设置上述图像采集指令对应的语音特征，当从用户发出的语音中提取到该语音特征时，也可以确定接收到用户触发的图像采集指令。上述监听用户的触发指令的过程，可以是实时监听的方式，也可以是在预设的时间段内监听的方式，例如，当用户开启摄像头后开始监听。

上述步骤S302还具有另外一种实现方式：监听多个摄像头中的指定摄像头的工作状态；当指定摄像头开启时，获取目标场景的预览帧图像；其中，该指定摄像头通常为多个摄像头中的主摄像头，例如，彩色摄像头；从指定摄像头开启到用户触发图像采集指令，如果间隔时间较长，很可能目标场景的场景类型会发生变化，比如，由建筑变换为人物，由广场变换为宠物等；此时如果再根据指定摄像头开启时，获取到的目标场景的预览帧图像识别目标场景的场景类型，则很可能导致确定出的摄像头组合与用户触发图像采集指令时的场景类型不匹配；为了避免该问题，可以通过定时获取预览帧图像并进行场景识别，或通过实时检测目标场景的亮度、颜色、纹理等特征，当特征变化时再次获取上述预览帧图像并进行场景识别。

步骤S304，通过预先训练得到的场景识别模型，从预览帧图像中识别目标场景的场景类型；

步骤S306，从预先建立的场景类型和摄像头的匹配关系中，查找得到目标场景的场景类型对应的摄像头；

步骤S308，将查找到的摄像头组合为目标场景对应的摄像头组合。

上述场景类型和摄像头的匹配关系可以以文本、列表、程序段或其他形式保存在处理器或者数据库中；每个场景类型对应的摄像头组合可以用摄像头对应的摄像头ID进行标识，处理器可以通过摄像头ID查找到对应的摄像头。如下述表1所示为其中一种场景类型和摄像头的匹配关系的示例；当目标场景的场景类型确定后，即可从下述表1中查找到该场景类型对应的摄像头组合，在获取图像数据之前启动摄像头组合中的各个摄像头即可。

表1

场景类型	摄像头组合
		广场	广角摄像头、长焦摄像头和深度摄像头
人物	彩色摄像头和黑白摄像头
		静物	彩色摄像头和深度摄像头

在另外一种实现方式中，从预览帧图像中识别出的目标场景可能同时兼具多种场景类型；此时，需要从场景类型和摄像头的匹配关系中逐一查找每组场景类型对应的摄像头组合，再将所有的场景类型对应的摄像头组合进行综合，得到最终的摄像头组合，具体如下述表2所示：

表2

场景类型	摄像头组合
		广场	广角摄像头和深度摄像头
人物	彩色摄像头
		静物	彩色摄像头和深度摄像头
夜间	彩色摄像头和黑白摄像头
		建筑	长焦摄像头和深度摄像头

例如，目标场景的场景类型既是人物也是夜间，人物的场景类型对应的摄像头组合是彩色摄像头，夜间的场景类型对应的摄像头组合是彩色摄像头和黑白摄像头；将二者的摄像头组合进行综合处理，得到最终的摄像头组合为彩色摄像头和黑白摄像头。其中，黑白摄像头通常为辅助摄像头，以增加在光照不足的夜间拍摄的图像数据的细节纹理，使得图像效果更加清晰、细节丰富。

再如，目标场景的场景类型既是广场也是建筑，广场的场景类型对应的摄像头组合是广角摄像头和深度摄像头，建筑的场景类型对应的摄像头组合是长焦摄像头和深度摄像头；将二者的摄像头组合进行综合处理，得到最终的摄像头组合为广角摄像头、长焦摄像头和深度摄像头。其中，广角摄像头用于获得更大视野范围，长焦摄像头用于在大视野范围的基础上，获取某些区域的细节信息，而深度摄像头用于获取目标场景的三维空间信息，使得获取到的图像数据在较大视野范围基础上，细节更加丰富，同时三维立体感更强，得到目标场景的全景深图像数据。上述表1和表2及相关内容仅为示例，不代表对本实施例的限定。

为了进一步提高获取到的图像数据具有较为广泛的应用，当识别出的目标场景可能涉及到三维重建、全景深拍摄等应用时，则需要启动可以获取三维空间信息的摄像头，该摄像头通常为深度类型的摄像头，如上述深度摄像头；由于深度类型的摄像头的特殊性，如果任何场景类型下都开启，可能会消耗设备过多的内存和电能；基于此，本发明实施例中，将与三维应用或全景深相关联的场景类型确定为特定场景类型，该特定场景类型对应的摄像头组合包括至少一个深度类型的摄像头和至少一个普通类型的摄像头。

该特定场景类型具体可以为上述广场、静物、建筑等；为了准确判断当前的场景类型是否与三维应用或全景深相关联，还可以在获取图像数据之前向用户发出询问信息，如“是否应用于三维重建？”、“是否开启深度摄像头”等；如果用户反馈的信息表明当前的场景类型需要开启深度类型的摄像头，即使目标场景类型不属于上述特定场景类型，也需要开启深度类型的摄像头；同时，更新上述场景类型和摄像头的匹配关系，以使该匹配关系与该用户的个性化需要和习惯相匹配，从而提高用户体验度。

步骤S310，启动摄像头组合中的每个摄像头；

步骤S312，控制启动后的每个摄像头同步采集数据；

通常，摄像头从开始启动到进入正常状态，需要消耗一定的时间，且不同种类的摄像头消耗的时间也不同；因此，处理器启动每个摄像头后，可以监测各个摄像头是否进入正常的工作状态，当摄像头组合中的每个摄像头都进入正常的工作状态后，再执行上述步骤S312。

为了使摄像头组合中的每个摄像头采集到的数据为同一目标场景下的数据，处理器接收到用户发出的图像采集指令后，控制启动后的每个摄像头同步采集数据；具体地，处理器可以同时向每个摄像头发送数据采集指令，以使每个摄像头同步采集数据；另外，如果有摄像头采集数据时存在一定的延时，处理器可以根据各个摄像头的延时，调整向每个摄像头发送数据采集指令的时间差，以使每个摄像头同步采集数据。

步骤S314，对每个摄像头采集到的数据进行图像融合处理，得到融合处理后目标场景的图像数据。

在实际实现时，具体可以根据预设的融合权重，对每个摄像头采集到的数据中，相应像素位置的数据进行加权融合处理，从而得到融合处理后目标场景的图像数据。在进行图像融合处理之前，可以对每个摄像头采集到的数据进行预处理，例如，降噪处理，数据归一化等；在进行图像融合处理之后，可以对融合后的图像数据进行颜色、亮度等参数的调整，以获取符合用户实际应用需求的图像数据。

本发明实施例提供的上述图像获取方法，当接收到用户触发的图像采集指令时获取目标场景的预览帧图像，再通过预先训练得到的场景识别模型，从该预览帧图像中识别目标场景的场景类型；从预先建立的场景类型和摄像头的匹配关系中，查找得到该目标场景的场景类型对应的摄像头，进而通过摄像头组合获取目标场景的图像数据。该方式可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

实施例五：

本发明实施例提供了另一种图像获取方法，该方法在上述实施例的基础上实现；本实施例中，重点描述目标场景对应的摄像头组合中包含两个或两个以上摄像头，且同时包含深度类型的摄像头和普通类型的摄像头时，获取目标场景的图像数据，并对目标场景进行三维重建的方式；该图像获取方法具体描述如下：

步骤21，监听用户的触发指令；当接收到用户触发的图像采集指令时，获取目标场景的预览帧图像；

步骤22，通过预先训练得到的场景识别模型，从预览帧图像中识别目标场景的场景类型；

步骤23，从预先建立的场景类型和摄像头的匹配关系中，查找得到目标场景的场景类型对应的摄像头；

步骤24，将查找到的摄像头组合为目标场景对应的摄像头组合。

步骤25，启动摄像头组合中的每个摄像头；

步骤26，控制启动后的每个摄像头同步采集数据；

步骤27，从深度类型的摄像头采集到的数据中提取目标场景的三维空间信息；

以深度摄像头为例，深度摄像头可以通过结构光、双目视觉或者光线飞行时间等原理获取目标场景的深度信息(也可以称为距离信息)；以摄像头或者目标场景某一指定位置为基准，该基准作为原点坐标，生成目标场景内各个点的位置坐标，从而得到目标场景的三维空间信息。另外，上述深度摄像头还可以以激光扫描的方式采集数据，得到目标场景的点云数据，基于该点云数据得到目标场景的三维空间信息。

步骤28，从普通类型的摄像头采集到的数据中提取目标场景的图像信息；

该普通类型的摄像头是相对于深度类型的摄像头来讲的，如上述彩色摄像头、黑白摄像头、广角摄像头、长焦摄像头等；普通类型的摄像头通常不携带深度信息，但携带有目标场景的颜色、纹理、亮度等图像信息，通常还携带有目标场景内各个点的相对位置信息。根据实际需求，可以从普通类型的摄像头采集到的数据提取对应的图像信息，例如，仅提取目标场景的纹理信息，或者截取目标场景某一指定区域的图像信息。

步骤29，将图像信息融合至三维空间信息中，得到目标场景的三维重建模型，将三维重建模型确定为目标场景的图像数据。

上述图像信息可以通过图像拟合、3D贴图或像素级融合等多种方式融合至三维空间信息中。以3D贴图为例，首先可以根据目标场景的三维空间信息建立基础三维模型，对该基础三维模型进行三维网格划分后，再将上述图像信息按照对应的位置贴图至基础三维模型的各个三维网格上，从而得到目标场景的三维重建模型。

本发明实施例提供的上述图像获取方法，识别出目标场景的场景类型后，从场景类型和摄像头的匹配关系中，查找得到该目标场景的场景类型对应的摄像头组合，通过摄像头组合中的深度类型的摄像头可以得到目标场景的三维空间信息，通过普通类型的摄像头可以得到目标场景的图像信息，再基于该三维空间信息和图像信息对目标场景进行三维重建，得到三维重建模型。该方式可以自动识别目标场景的场景类型，当该场景类型涉及三维应用时，通过深度类型的摄像头和普通类型的摄像头同时采集数据，进而对目标场景进行三维重建；满足了用户的三维应用需求，扩展了图像数据的应用范围。

实施例六：

基于上述实施例的图像获取方法，本实施例提供一种具体的应用场景，即通过上述图像获取方法进行拍照，进行拍照的设备可以为智能终端，该智能终端上安装有三个摄像头；具体描述如下：

步骤31，开启智能终端的智能场景识别的三摄像头模组拍照模式；

步骤32，加载三摄像头模组应用方案查找表；该查找表相当于上述实施例中所述的场景类型和摄像头的匹配关系。

步骤33，开启三摄像头模组中的主摄像头，通过该主摄像头获取预览视频流；该主摄像头具体可以为彩色摄像头。

步骤34，检测用户是否发出拍照指令，如果是，执行步骤35；如果否，执行步骤39；

步骤35，获取预览帧图像，将该预览帧图像输入至场景识别模型，识别目标场景的场景类型；

步骤36，从上述应用方案查找表查找该场景类型推荐的摄像头组合；该摄像头组合包含有一个、两个或三个摄像头的摄像头ID；

步骤37，启动摄像头组合中包含的摄像头ID对应的摄像头；

步骤38，控制各个摄像头同步抓取拍照数据，对该拍照数据进行后续处理，得到目标场景的拍照结果。其中，该后续处理的过程可能包括数据融合、虚化、增强、景深处理、三维重建等。

步骤39，检测是否接收到用户发出的拍照模式的退出指令，如果是，退出并结束；如果否，执行步骤34。

上述拍照方式中，可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

实施例七：

对应于上述方法实施例，参加图4所示的一种图像获取装置的结构示意图，该装置设置于处理器；该处理器连接有多个摄像头，该装置包括：

数据帧获取模块40，用于获取目标场景的预览帧图像；

场景类型识别模块41，用于从预览帧图像中识别目标场景的场景类型；

摄像头组合确定模块42，用于根据识别出的场景类型确定与目标场景对应的摄像头组合；摄像头组合中至少包含多个摄像头中的一个摄像头；

图像数据获取模块43，用于通过摄像头组合获取目标场景的图像数据。

本发明实施例提供的上述图像获取装置，获取到目标场景的预览帧图像后，从该预览帧图像中识别目标场景的场景类型；根据识别出的该场景类型确定与目标场景对应的摄像头组合，进而通过摄像头组合获取目标场景的图像数据。该方式可以自动识别目标场景的场景类型，使用与该场景类型相匹配的摄像头获取图像，从而可以提高在各个场景下的拍摄效果，扩展了图像数据的应用范围。

上述场景类型识别模块还用于：监听多个摄像头中的指定摄像头的工作状态；当指定摄像头开启时，获取目标场景的预览帧图像；或者，监听用户的触发指令；当接收到用户触发的图像采集指令时，获取目标场景的预览帧图像。

进一步地，上述从预览帧图像中识别目标场景的场景类型的步骤，包括：通过预先训练得到的场景识别模型，从预览帧图像中识别目标场景的场景类型；该场景识别模型采用以下方式训练得到：获取训练样本集合；训练样本集合包括设定数量的多种场景图像；场景图像中携带有场景类型的标注信息；按照第一划分比例，从训练样本集合中划分出训练子集和验证子集；搭建初始的神经网络模型，并设置初始的训练参数；通过训练子集和训练参数训练神经网络模型，通过验证子集对训练后的神经网络模型进行验证；如果验证结果不满足预设的精度阈值，根据验证结果调整训练参数；继续通过训练子集和调整后的训练参数训练神经网络模型，直至神经网络模型的验证结果满足精度阈值，得到场景识别模型。

进一步地，上述摄像头组合确定模块还用于：从预先建立的场景类型和摄像头的匹配关系中，查找得到目标场景的场景类型对应的摄像头；将查找到的摄像头组合为目标场景对应的摄像头组合。

进一步地，上述装置还包括：特定场景类型确定模块，用于将与三维应用或全景深相关联的场景类型确定为特定场景类型，特定场景类型对应的摄像头组合包括至少一个深度类型的摄像头和至少一个普通类型的摄像头。

进一步地，上述摄像头组合中包含两个或两个以上摄像头；上述图像数据获取模块还用于：启动摄像头组合中的每个摄像头；控制启动后的每个摄像头同步采集数据；对每个摄像头采集到的数据进行图像融合处理，得到融合处理后目标场景的图像数据。

进一步地，上述图像数据获取模块还用于：如果摄像头组合中包含深度类型的摄像头和普通类型的摄像头；从深度类型的摄像头采集到的数据中提取目标场景的三维空间信息；从普通类型的摄像头采集到的数据中提取目标场景的图像信息；将图像信息融合至三维空间信息中，得到目标场景的三维重建模型，将三维重建模型确定为目标场景的图像数据。

本实施例所提供的装置，其实现原理及产生的技术效果和前述实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

实施例八：

本发明实施例提供了一种图像获取系统，该系统包括：摄像头、处理器和存储装置；摄像头，用于获取预览帧图像或图像数据；存储装置上存储有计算机程序，计算机程序在被处理器运行时执行上述实施例所述的图像获取方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

进一步地，本实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述实施例所述的图像获取方法的步骤。

本发明实施例所提供的图像获取方法、装置和系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种图像获取方法，其特征在于，所述方法应用于处理器；所述处理器连接有多个摄像头，所述方法包括：

获取目标场景的预览帧图像；

从所述预览帧图像中识别所述目标场景的场景类型；

根据识别出的场景类型确定与所述目标场景对应的摄像头组合；所述摄像头组合中至少包含所述多个摄像头中的一个摄像头；

通过所述摄像头组合获取所述目标场景的图像数据。

2.根据权利要求1所述的方法，其特征在于，获取目标场景的预览帧图像的步骤，包括：

监听所述多个摄像头中的指定摄像头的工作状态；当所述指定摄像头开启时，获取目标场景的预览帧图像；

或者，监听用户的触发指令；当接收到用户触发的图像采集指令时，获取目标场景的预览帧图像。

3.根据权利要求1所述的方法，其特征在于，从所述预览帧图像中识别所述目标场景的场景类型的步骤，包括：通过预先训练得到的场景识别模型，从所述预览帧图像中识别所述目标场景的场景类型；

所述场景识别模型采用以下方式训练得到：

获取训练样本集合；所述训练样本集合包括设定数量的多种场景图像；所述场景图像中携带有场景类型的标注信息；

按照第一划分比例，从所述训练样本集合中划分出训练子集和验证子集；

搭建初始的神经网络模型，并设置初始的训练参数；

通过所述训练子集和所述训练参数训练所述神经网络模型，通过所述验证子集对训练后的所述神经网络模型进行验证；

如果验证结果不满足预设的精度阈值，根据所述验证结果调整所述训练参数；

继续通过所述训练子集和调整后的所述训练参数训练所述神经网络模型，直至所述神经网络模型的验证结果满足所述精度阈值，得到场景识别模型。

4.根据权利要求1所述的方法，其特征在于，根据识别出的场景类型确定与所述目标场景对应的摄像头组合的步骤，包括：

从预先建立的所述场景类型和摄像头的匹配关系中，查找得到所述目标场景的场景类型对应的摄像头；

将查找到的所述摄像头组合为所述目标场景对应的摄像头组合。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：将与三维应用或全景深相关联的场景类型确定为特定场景类型，所述特定场景类型对应的摄像头组合包括至少一个深度类型的摄像头和至少一个普通类型的摄像头。

6.根据权利要求1所述的方法，其特征在于，所述摄像头组合中包含两个或两个以上摄像头；

通过所述摄像头组合获取所述目标场景的图像数据的步骤，包括：

启动所述摄像头组合中的每个摄像头；

控制启动后的每个所述摄像头同步采集数据；

对每个所述摄像头采集到的数据进行图像融合处理，得到融合处理后所述目标场景的图像数据。

7.根据权利要求6所述的方法，其特征在于，对每个所述摄像头采集到的数据进行图像融合处理，得到融合处理后所述目标场景的图像数据的步骤，包括：

如果所述摄像头组合中包含深度类型的摄像头和普通类型的摄像头；从所述深度类型的摄像头采集到的数据中提取所述目标场景的三维空间信息；

从所述普通类型的摄像头采集到的数据中提取所述目标场景的图像信息；

将所述图像信息融合至所述三维空间信息中，得到所述目标场景的三维重建模型，将所述三维重建模型确定为所述目标场景的图像数据。

8.一种图像获取装置，其特征在于，所述装置设置于处理器；所述处理器连接有多个摄像头，所述装置包括：

数据帧获取模块，用于获取目标场景的预览帧图像；

场景类型识别模块，用于从所述预览帧图像中识别所述目标场景的场景类型；

摄像头组合确定模块，用于根据识别出的场景类型确定与所述目标场景对应的摄像头组合；所述摄像头组合中至少包含所述多个摄像头中的一个摄像头；

图像数据获取模块，用于通过所述摄像头组合获取所述目标场景的图像数据。

9.一种图像获取系统，其特征在于，所述系统包括：摄像头、处理器和存储装置；

所述摄像头，用于获取预览帧图像或图像数据；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至7任一项所述的方法的步骤。