CN103945088A - 场景识别方法及装置 - Google Patents

Abstract

本发明涉及一种场景识别方法及装置。该场景识别方法包括：获取图像及所述图像对应的传感数据；提取所述图像的图像特征及传感数据的特征值；根据所述图像特征及传感数据的特征值，确定所述图像的场景。

Description

场景识别方法及装置

技术领域

本发明涉及图像技术领域，尤其涉及一种场景识别方法及装置。

背景技术

目前，数码相机上的智能场景识别功能已经非常普及，在不同场景下，相机会自动选择最合适当前场景的拍照参数来合成图片，以得到在实际场景下高质量的图片。因此，能否准确的识别图像的场景对于能否合成高质量的图片至关重要。而现有技术仅仅是根据图像内容判断图像的场景，这种判断方法的对于图片场景识别的准确率很低，因此利用现有技术的场景识别方法会影响图片合成的质量。

发明内容

有鉴于此，本发明提供了一种场景识别方法及装置，能够有效提高图像场景识别的正确率。

在第一方面，本发明提供一种场景识别方法，该方法包括：

获取图像及所述图像对应的传感数据；

提取所述图像的图像特征及传感数据的特征值；

根据所述图像特征及传感数据的特征值，确定所述图像的场景。

在第一方面的第一种可能的实现方式中，所述图像的图像特征及传感数据的特征值对应于待判断的所述场景。

结合第一方面或结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述根据所述图像特征及传感数据的特征值，确定所述图像的场景具体为：根据所述图像特征及传感数据的特征值确定所述图像的一个或多个场景；当确定的图像的场景为多个时，判断所述多个场景是否包括预先设定的综合场景；如果所述多个场景包括预先设定的综合场景，则确定所述图像的场景为所述综合场景；如果所述多个场景不包括预先设定的综合场景，则确定所述图像的场景为所述多个场景中置信度最高的场景。

在第一方面的第三种可能的实现方式中，在所述提取所述图像特征及传感数据的特征值之前，所述方法还包括：对所述图像进行降采样处理。

在第二方面，本发明提供一种场景识别装置，该装置包括：

获取单元，用于获取图像及所述图像对应的传感数据；

提取单元，用于提取所述图像的图像特征及传感数据的特征值；

确定单元，用于根据所述图像特征及传感数据的特征值，确定所述图像的场景。

在第一方面的第一种可能的实现方式中，所述图像的图像特征及传感数据的特征值对应于待判断的所述场景。

结合第一方面或结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述确定单元具体用于：根据所述图像特征及传感数据特征值确定所述图像的一个或多个场景；当确定的图像的场景为多个时，判断所述多个场景是否包括预先设定的综合场景；如果所述多个场景包括预先设定的综合场景，则确定所述图像的场景为所述综合场景；如果所述多个场景不包括预先设定的综合场景，则确定所述图像的场景为所述多个场景中置信度最高的场景。

在第一方面的第三种可能的实现方式中，所述装置还包括：图像处理单元，用于对所述图像进行降采样处理。

通过上述方案，通过获取图像及图像对应的传感数据，然后综合图像特征及传感数据的特征值对图像的场景进行判断，能够有效提高图像场景识别的正确率，从而提高合成图片的质量。

附图说明

图1为本发明实施例一提供的一种场景识别方法的流程图；

图2为本发明实施例二提供的一种场景识别装置的结构示意图；

图3为本发明实施例三提供的一种具有拍照功能的终端的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面以图1为例详细说明本发明实施例一提供的一种场景识别方法，图1为本发明实施例一提供的一种场景方法的流程图。该场景识别方法的执行主体为具有拍照功能的终端。如图1所示，该场景识别方法包括以下步骤：

步骤S101，获取图像及该图像对应的传感数据。

其中，该图像为终端拍照时的预览图像，传感数据为获取预览图像时通过传感器获取的传感数据。如，通过传感器获取的曝光时间，平均亮度及感光度（ISO），全球定位系统（Global Positioning System，GPS），拍照时间等传感器能够获取的所有数据。

步骤S102,提取该图像的图像特征及传感数据的特征值。

在判断不同的场景时，需要用到的图像特征及传感数据的特征值不同。因此在判断图像的场景是否为某一场景前，需要从获取到的图像及该图像对应的传感数据中提取判断图像的场景是否为该场景时所需要用到的图像特征及传感器的特征值。

例如，在判断图像的场景是否是夜景或低照度场景之前，需要提取的图像特征包括：平均亮度，低亮度像素比例，高亮度像素比例。需要提取的传感数据的特征值包括：曝光时间，拍照时间，GPS数据。通过综合上述图像特征及传感数据的特征值对图像的场景是否是夜景或低照度场景进行判断，能够有效提高判断的准确率。而在判断图像场景是否是日落或日出场景之前，需要提取的图像特征包括：红色像素比例，图像上半部和图像下半部像素均值差。需要提取的传感数据的特征值包括：拍照时间，GPS数据，磁力计数据。通过综合上述图像特征及传感数据的特征值对图像的场景是否是日落或日出场景进行判断，能够有效提高判断的准确率。

需要说明的是，根据终端配置的不同，需要判断的场景不同，相同的场景提取的图像特征及传感数据的特征值也不同。因此本发明不限制需要判断的场景及场景个数，也不限制每个场景需要提取的图像特征及传感数据的特征值。

步骤S103,根据提取到的图像特征及传感数据的特征值，确定图像的场景。

终端会预先设定判定图像的场景是否为某一场景的标准。由于在判定不同场景所需的图像特征及传感数据的特征值不同，因此不同场景的判定标准也不同。

例如，判断图像的场景是否是夜景或低照度场景时，当提取的图像特征具体为：平均亮度小于预先设定的阈值，低亮度像素比例大于预先设定的阈值，高亮度像素比例小于预先设定的阈值。且提取的传感数据的特征值具体为：曝光时间大于预先设定的阈值，结合拍照时间和GPS数据获知拍照时的地点及时间为某地的夜晚，则确定该图像的场景为夜景或低照度场景。通过综合上述图像特征和传感数据的特征值更够更加准确的确定出该图像的场景是夜景或低照度场景。

再如，在判断图像场景是否是日落或日出场景时，当提取的图像特征具体为：红色像素比例大于预先设定的阈值，图像上半部和图像下半部像素均值差大于预先设定的阈值。且提取的传感数据的特征值具体为：结合拍照时间和GPS数据获知拍照时的地点及时间为某地可能日出的时间，磁力计数据为向东（即手机拍照时镜头朝向东），则可确定图像的场景为日出场景。通过综合上述图像特征和传感数据的特征值更够更加准确的确定出该图像的场景是日出场景。

在经过场景判断之后，确定图像的场景为多个时，判断多个场景中是否包括预先设定的综合场景，如果包括，则最终确定图像的场景为多个场景包括的综合场景；如果不包括，则最终确定图像的场景为多个场景中置信度最高的场景。其中，每个确定的场景的置信度是根据该场景对应的图像的图像特征和传感数据的特征值计算得到的，计算置信度的方法可采用以下现有的方法，但不仅限于以下的方法：基于特征分类器的方法，基于似然比检验的方法，基于后验概率的方法等。

例如，终端中预先设定的综合场景包括：蓝天+背光，蓝天+绿植，食物+夜晚这三组综合场景。当确定图像的场景为食物，蓝天，绿植，等多个场景时，该多个场景中包括蓝天+绿植，则可最终确定该图像的场景为综合场景蓝天+绿植。需要说明的是，如果同时确定出多组综合场景，则可选择置信度最高的综合场景作为最终确定的场景。另外，当确定图像的场景为蓝天，夜晚等多个场景时，不包括预先设定的综合场景，其中蓝天场景的置信度最高，则最终确定该图像的场景为蓝天。

如果采用基于特征分类器的方法，则需要在配置相机之前，预先收集特定场景的正负样本，比如蓝天场景，收集大量蓝天图像以及当时的传感数据，作为正样本，同时收集大量非蓝天场景的图像以及传感数据作为负样本，将正负样本送入支持向量机（support vector machine，SVM）分类器，训练生成对应蓝天场景的分类模型文件。场景判断时，将场景对应的图像的图像特征和对应传感数据的特征值送入SVM分类器，SVM分类器会同时产生分类的判断以及对应的置信度值。

优选地，为了降低提取图像特征的耗时，可以在提取图像的图像特征之前对图像进行降采样处理。例如，图像的实际像素为1920×1080像素，在提取图像特征之前将该图像的像素降低到640×360像素，这样在提取图像特征时，能够减少耗时，从而提高识别场景的速度。

利用本发明实施例一提供的场景识别方法，通过获取图像及图像对应的传感数据，然后综合提取的图像特征及传感数据特征值对图像的场景进行判断，能够有效提高图像场景识别的正确率，从而提高合成图片的质量。

下面以图2为例详细说明本发明实施例二提供的一种场景识别装置，图2为本发明实施例二提供的一种场景识别装置的结构示意图。该场景识别装置置于具有拍照功能的终端，用以实现本发明实施例一提供的场景识别方法。如图2所示，该场景识别装置包括：获取单元210，提取单元220和确定单元230。

获取单元210用于获取图像及该图像对应的传感数据。

其中，该图像为终端拍照时的预览图像，传感数据为获取预览图像时通过传感器获取的传感数据。如，通过传感器获取的曝光时间，平均亮度及ISO，GPS，拍照时间等传感器能够获取的所有数据。

提取单元220用于提取获取单元210获取的图像的图像特征及传感数据的特征值。

在判断不同的场景时，需要用到的图像特征及传感数据的特征值不同。因此在判断图像的场景是否为某一场景前，提取单元220需要从获取到的图像及该图像对应的传感数据中提取确定单元230在判断图像的场景是否为该场景时所需要用到的图像特征及传感器的特征值。

需要说明的是，根据终端配置的不同，需要判断的场景不同，相同的场景提取的图像特征及传感数据的特征值也不同。因此本发明不限制需要判断的场景及场景个数，也不限制每个场景需要提取的图像特征及传感数据的特征值。

确定单元230用于根据提取单元220提取的图像特征及传感数据的特征值确定图像的场景。

确定单元230会预先设定判定图像的场景是否为某一场景的标准。由于在判定不同场景所需的图像特征及传感数据的特征值不同，因此不同场景的判定标准也不同。

确定单元230在经过场景判断之后，确定图像的场景为多个时，确定单元230还需要判断多个场景中是否包括预先设定的综合场景，如果包括，则最终确定图像的场景为多个场景包括的综合场景；如果不包括，则最终确定图像的场景为多个场景中置信度最高的场景。其中，每个确定的场景的置信度是根据该场景对应的图像的图像特征和传感数据的特征值计算得到的，计算置信度的方法可采用以下现有的方法，但不仅限于以下的方法：基于特征分类器的方法，基于似然比检验的方法，基于后验概率的方法等。

优选地，为了降低提取图像特征的耗时，该场景识别装置还可以包括图像处理单元240。该图像处理单元240用于在提取单元220提取图像的图像特征之前对图像进行降采样处理。例如，图像的实际像素为1920×1080像素，在提取图像特征之前将该图像的像素降低到640×360像素，这样在提取图像特征时，能够减少耗时，从而提高识别场景的速度。

利用本发明实施例二提供的场景识别装置，通过获取图像及图像对应的传感数据，然后综合提取的图像特征及传感数据特征值对图像的场景进行判断，能够有效提高图像场景识别的正确率，从而提高合成图片的质量。

在硬件实现上，以上获取单元210可以具体为摄像头和传感器。以上除获取单元210以外的其它单元可以以硬件形式内嵌于或独立于终端的处理器中，也可以以软件形式存储于终端的存储器中，以便于处理器调用执行以上各个模块对应的操作。该处理器可以为中央处理单元（CPU）、微处理器、单片机等。

如图3所示，其为本发明实施例三提供的一种具有拍照功能的终端的结构示意图。该终端包括摄像头310、传感器320，存储器330以及分别与摄像头310、传感器320，存储器330连接的处理器340。当然，终端还可以包括天线、基带处理部件、中射频处理部件、输入输出装置等通用部件，本发明实施例在此不做任何限制。

其中，摄像头310用于获取图像。传感器320用于获取3摄像头310获取的图像所对应的传感数据。

存储器330中存储一组程序代码，且处理器340用于调用存储器330中存储的程序代码，用于执行以下操作：

获取图像及所述图像对应的传感数据；

提取所述图像的图像特征及传感数据的特征值；

根据所述图像特征及传感数据的特征值，确定所述图像的场景。

进一步地，所述图像的图像特征及传感数据的特征值对应于待判断的场景。进一步地，所述根据所述图像特征及传感数据的特征值，确定所述图像的场景具体为：

根据所述图像特征及传感数据的特征值确定所述图像的一个或多个场景；

当确定的图像的场景为多个时，判断所述多个场景是否包括预先设定的综合场景；

如果所述多个场景包括预先设定的综合场景，则确定所述图像的场景为所述综合场景；

如果所述多个场景不包括预先设定的综合场景，则确定所述图像的场景为所述多个场景中置信度最高的场景。

所述处理器340调用所述存储器330中的程序代码，还用以执行以下操作：

对所述图像进行降采样处理。

利用本发明实施例三提供具有拍照功能的终端，通过获取图像及图像对应的传感数据，然后综合提取的图像特征及传感数据特征值对图像的场景进行判断，能够有效提高图像场景识别的正确率，从而提高合成图片的质量。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种场景识别方法，其特征在于，所述方法包括：

获取图像及所述图像对应的传感数据；

提取所述图像的图像特征及传感数据的特征值；

根据所述图像特征及传感数据的特征值，确定所述图像的场景。

2.根据权利要求1所述的方法，其特征在于，所述图像的图像特征及传感数据的特征值对应于待判断的所述场景。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述图像特征及传感数据的特征值，确定所述图像的场景具体为：

根据所述图像特征及传感数据的特征值确定所述图像的一个或多个场景；

当确定的图像的场景为多个时，判断所述多个场景是否包括预先设定的综合场景；

如果所述多个场景包括预先设定的综合场景，则确定所述图像的场景为所述综合场景；

如果所述多个场景不包括预先设定的综合场景，则确定所述图像的场景为所述多个场景中置信度最高的场景。

4.根据权利要求1所述的方法，其特征在于，在所述提取所述图像特征及传感数据的特征值之前，所述方法还包括：

对所述图像进行降采样处理。

5.一种场景识别装置，其特征在于，所述装置包括：

获取单元，用于获取图像及所述图像对应的传感数据；

提取单元，用于提取所述图像的图像特征及传感数据的特征值；

确定单元，用于根据所述图像特征及传感数据的特征值，确定所述图像的场景。

6.根据权利要求5所述的装置，其特征在于，所述图像的图像特征及传感数据的特征值对应于待判断的所述场景。

7.根据权利要求5或6所述的装置，其特征在于，所述确定单元具体用于：

根据所述图像特征及传感数据特征值确定所述图像的一个或多个场景；

当确定的图像的场景为多个时，判断所述多个场景是否包括预先设定的综合场景；

如果所述多个场景包括预先设定的综合场景，则确定所述图像的场景为所述综合场景；

如果所述多个场景不包括预先设定的综合场景，则确定所述图像的场景为所述多个场景中置信度最高的场景。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

图像处理单元，用于对所述图像进行降采样处理。