CN110969196B - 一种场景预测方法及终端、存储介质 - Google Patents
一种场景预测方法及终端、存储介质 Download PDFInfo
- Publication number
- CN110969196B CN110969196B CN201911157978.8A CN201911157978A CN110969196B CN 110969196 B CN110969196 B CN 110969196B CN 201911157978 A CN201911157978 A CN 201911157978A CN 110969196 B CN110969196 B CN 110969196B
- Authority
- CN
- China
- Prior art keywords
- information
- frequency information
- sample
- light
- light intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提供了一种场景预测方法及终端、存储介质，包括：通过色温传感器获取目标频率通道的目标直流分量；基于目标直流分量，获取第一光频率信息和第二光频率信息；获取与第一光频率信息对应的第一光强信息，第一光频率信息为目标直流分量中幅值最大的光频率信息；获取与第二光频率信息对应的第二光强信息，第二光频率信息的幅值与第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；将拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息输入预设分类模型中，得到场景预测结果。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种场景预测方法及终端、存储介质。
背景技术
在进行图像处理时，如果可以确定出当前图像所处的场景，如室内场景或室外场景，便有助于获得更高的图像还原效果。也就是说，场景预测会成为终端进行图像处理时所需要的重要功能之一。目前，终端在进行场景预测时，既可以通过部署一些额外的辅助设备采集特定数据后进行室内外场景的识别；还可以借助图像处理的方法进行室内外场景的区分。
然而，借助额外的辅助设备进行场景预测，在部署阶段代价较高并且准备工作复杂，极大地限制了场景预测的普适性和易用性，便捷性较差；而目前基于图像处理进行场景预测的方法，具有较高的计算复杂度，降低了预测效率，且场景预测的精确度较差。
发明内容
本申请实施例提供一种场景预测方法及终端、存储介质，能够减低预测的复杂度，提高预测效率和场景预测的精确度。
本申请的技术方案是这样实现的：
本申请实施例提供一种场景预测方法，所述方法包括：
通过色温传感器获取目标频率通道的目标直流分量；
基于所述目标直流分量，获取第一光频率信息和第二光频率信息；
获取与所述第一光频率信息对应的第一光强信息，所述第一光频率信息为所述目标直流分量中幅值最大的光频率信息；
获取与所述第二光频率信息对应的第二光强信息，所述第二光频率信息的幅值与所述第一光频率信息的幅值相邻；
根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；
将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果。
在上述方法中，所述通过色温传感器获取目标频率通道的目标直流分量，包括：
通过所述色温传感器，获取所述目标频率通道的第一时域信息；
对所述第一时域信息进行时频变换操作，得到第一频域信息；
对所述目标频率通道的所述第一频域信息取直流分量，得到所述目标直流分量。
在上述方法中，所述将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果，包括：
对所述拍摄参数进行归一化处理，得到归一化后的所述拍摄参数；
按照预设频率值，分别对所述第一光频率信息和所述第二光频率信息进行归一化处理，得到归一化后的所述第一光频率信息和归一化后的所述第二光频率信息；
按照预设光强值，分别对所述第一光强信息和所述第二光强信息进行归一化处理，得到归一化后的所述第一光强信息和归一化后的所述第二光强信息；
利用所述预设分类模型训练得到的分类参数，对所述归一化后的所述拍摄亮度特征、归一化后的所述第一光频率信息、归一化后的所述第一光强信息、归一化后的所述第二光频率信息和归一化后的所述第二光强信息进行场景预测，得到所述场景预测结果。
在上述方法中，所述将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果之前，所述方法还包括：
获取训练样本图像的训练样本数据和所述训练样本图像的训练样本场景；
将所述训练样本数据输入初始分类模型中，得到样本分类结果；
将所述训练样本场景和所述样本分类结果输入预设损失函数中，得到损失函数值；
利用所述损失函数值，对所述初始分类模型进行训练，得到预设分类模型和所述分类参数。
在上述方法中，所述获取训练样本图像的训练样本数据，包括：
获取所述训练样本图像中目标频率通道的目标样本直流分量；
从所述目标样本直流分量中，提取第一样本光频率信息和第二样本光频率信息，并获取所述第一样本光频率信息对应的所述第一样本光强信息和所述第二样本光频率信息对应的所述第二样本光强信息；
从所述训练样本图像的样本可交换图像文件信息中，获取样本拍摄亮度特征；
将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息确定为所述训练样本数据。
在上述方法中，所述将所述训练样本数据输入初始分类模型中，得到样本分类结果，包括：
将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息输入所述初始分类模型中，得到所述样本分类结果。
在上述方法中，所述拍摄亮度特征包括：光圈值、快门速度和感光度。
本申请实施例提供一种终端，所述终端包括：
获取单元，用于通过色温传感器获取目标频率通道的目标直流分量；基于所述目标直流分量，获取第一光频率信息和第二光频率信息；获取与所述第一光频率信息对应的第一光强信息，所述第一光频率信息为所述目标直流分量中幅值最大的光频率信息；获取与所述第二光频率信息对应的第二光强信息，所述第二光频率信息的幅值与所述第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；
场景预测单元，用于将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果。
本申请实施例提供一种终端，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如上述任一项所述的方法。
本申请实施例提供一种存储介质，其上存储有计算机程序，应用于终端，该计算机程序被处理器执行时实现如上述任一项所述的方法。
本申请实施例提供了一种场景预测方法及终端、存储介质，该方法包括：通过色温传感器获取目标频率通道的目标直流分量；基于目标直流分量，获取第一光频率信息和第二光频率信息；获取与第一光频率信息对应的第一光强信息，第一光频率信息为目标直流分量中幅值最大的光频率信息；获取与第二光频率信息对应的第二光强信息，第二光频率信息的幅值与第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；将拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息输入预设分类模型中，得到场景预测结果。采用上述实现方案，终端利用单通道的光频率信息和频率强度作为分类特征参与室内外分类，并利用拍摄亮度特征作为辅助分类特征参与室内外分类，能够根据室内外场景对应的不同的拍摄亮度特征进行室内外分类，进而提高场景预测的精确度，且终端利用拍摄亮度值、第一光强信息、第二光频率信息和第二光强信息进行场景预测，降低了预测的复杂度，进而提高了预测效率。
附图说明
图1为本申请实施例提供的一种场景预测方法的流程图一；
图2为本申请实施例提供的一种示例性的色温传感器在终端显示屏一侧的摆放位置示意图；
图3为本申请实施例提供的一种示例性的色温传感器在终端后置摄像头一侧的摆放位置示意图；
图4为本申请实施例提供的一种示例性的频率通道对应的时域信息示意图；
图5为本申请实施例提供的一种示例性的对时域信息进行时频转换得到的频域信息的示意图；
图6为本申请实施例提供的一种示例性的场景判断方法的流程示意图；
图7为本申请实施例提供的一种场景预测方法的流程图二；
图8为本申请实施例提供的一种终端的结构示意图一；
图9为本申请实施例提供的一种终端的结构示意图二。
具体实施方式
应当理解，此处描述的具体实施例仅仅用以解释本申请。并不用于限定本申请。
终端进行室内外场景预测有很多的方案，具体地，既有基于外部器件的方法，例如无线网(Wireless Fidelity，WiFi)、光感、红外等设备；也有基于图像本身的方法。其中，基于图像本身的方法又可以分为传统阈值分类方法和基于机器学习方法。
不同的场景中，终端进行图像处理时的方式可能有所不同，例如，在室内场景下，自动曝光(Automatic Exposure，AE)需要时刻考虑开启抗工频闪策略；而针对低亮度室外场景，则需要选择更加合适的自动白平衡(Automatic white balance，AWB)算法来还原图像，例如，在AWB算法中，如果可以判定当前光源为室外光源则可以简单的将AWB色温设定到D55的位置，画面就可以得到很好的色彩还原效果。
由此可见，良好的场景预测方法可以帮助AWB算法提高图像色彩还原效果，无论对于低亮度的室外场景，还是高亮度的室内场景，都可以降低AWB算法本身的还原难度。相应地，在AE算法中，如果可以准确的判定当前图像对应的场景为室外，则完全不需要考虑抗闪的问题，从而可以提供更多的灵活性。
目前，在使用图像处理方法进行场景预测时，一方面，特征提取需要依赖全尺寸的图像(如4000×3000)，并应用多尺度的滤波方法提取出大量的结构性特征，而如手机等便携式终端的图像信号处理(Image Signal Processing，ISP)通常只能提供小尺寸的图像，(如120×90)，此时终端使用基于全尺寸图像的滤波方法得到的特征的精度就会大为降低，从而降低了场景预测的准确性。另一方面，图像处理方法从当前图像中提取出高维的结构性相关的特征，特征数量通常较多，在如手机等便携式终端内使用时很难做的实时处理，从而降低了场景预测的预测效率。
进一步地，从实际效果来看，复杂的结构性特征在面对不规则分割的天空、纯色场景、室内人造建筑时，场景预测的预测精度都会降低。
基于YUV数据的场景识别算法在ISP上位于去马赛克demosaic算法之后，倾向于最终看到的景象，由于存在时域上的偏差而无法很好的为ISP前端的AE、AWB以及自动对焦(Automatic Focus，AF)所使用。
综上所述，现有技术中，基于图像处理的方式进行场景预测的方法，具有较高的计算复杂度，降低了预测效率，且场景预测的精确度较差。
实施例一
本申请实施例提供一种场景预测方法，如图1所示，该方法可以包括：
S101、通过色温传感器获取目标频率通道的目标直流分量。
本申请实施例提供的一种场景预测方法适用于在对采集到的图像进行图像处理的过程中判断室内外场景的场景下。
本申请实施例中，终端可以为任何具备通信和存储功能的设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
本申请实施例中，可以在终端的前置sensor设置前置色温传感器、在后置sensor设置后置色温传感器，其中，为了更好的感应环境光，前置色温传感器与前置sensor基本处于同一平面、后置色温传感器与后置sensor基本处于同一平面。具体的，图2为在终端的显示屏一侧，色温传感器的摆放位置示意图，图3为在终端的后置摄像头一侧，色温传感器的摆放位置示意图。还可以在终端顶部放置色温传感器。具体的色温传感器在终端的放置个数和放置位置根据具体情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，终端在采集当前图像信息时，启动色温传感器，终端通过色温传感器，获取目标频率通道的第一时域信息；对第一时域信息进行时频变换操作，得到第一频域信息；之后，终端对目标频率通道的第一频域信息取直流分量，得到目标直流分量。
示例性的，图4为目标频率通道对应的时域信息，图5为对图4的时域信息进行时频转换，得到的图5所示的时域信息对应的频域信息。
S102、基于目标直流分量，获取第一光频率信息和第二光频率信息。
当终端通过色温传感器获取目标频率通道的目标直流分量之后，终端基于目标直流分量，获取第一光频率信息和第二光频率信息。
本申请实施例中，终端从目标直流分量中提取出第一光频率信息和第二光频率信息，其中，第一光频率信息为目标直流分量中幅值最大的光频率信息，第二光频率信息的幅值与第一光频率信息的幅值相邻。
S103、获取与第一光频率信息对应的第一光强信息，第一光频率信息为目标直流分量中幅值最大的光频率信息。
当终端获取到第一光频率信息和第二光频率信息之后，终端获取第一光频率信息对应的第一光强信息。
S104、获取与第二光频率信息对应的第二光强信息，第二光频率信息的幅值与第一光频率信息的幅值相邻。
当终端获取到第一光频率信息和第二光频率信息之后，终端获取第二光频率信息对应的第二光强信息。
S105、从当前图像信息的可交换图像文件信息中，获取拍摄亮度特征。
本申请实施例中，终端读取当前图像信息的图像数据，并获取图像数据的可交换图像文件(Exchangeable image file format，Exif)信息，其中，Exif信息中存储有图像数据的属性信息和拍摄数据，终端从Exif信息中，获取拍摄亮度特征，其中，拍摄亮度特征包括：光圈值、快门速度和感光度，具体的拍摄亮度特征根据实际情况进行选择，本申请实施例不做具体的限定。
本申请实施例中，光圈值的量化表述为Av，如公式(1)所示，其中，光圈通常以F值表述，
Av＝log(F_number) (1)
本申请实施例中，快门速度的量化表述为Tv，如公式(2)所示，快门速度通常以1/x的分数形式表示，
Tv＝log(Shutter_Speed) (2)
本申请实施例中，感光度(ISO，International Organization forStandardization)的量化表述为Sv，如公式(3)所示，
Sv＝log(ISO) (3)
需要说明的是，AE算法通常通过调整光圈大小，快门速度及感光度来调整图像亮度。在室外自然光的场景下，其Av值大于室内的Av值，其Tv值大于室内的Tv值，而Sv值小于室内的Sv值。基于上述特性，可以使用Av、Tv、Sv这三个值归一化后作为分类特征，来辅助进行室内外分类。
S106、将拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息输入预设分类模型中，得到场景预测结果。
终端内部设置有预设分类模型，当终端分别获取到拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息之后，终端将拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息输入预设分类模型中，得到场景预测结果。
本申请实施例中，终端对拍摄参数进行归一化处理，得到归一化后的拍摄参数。
本申请实施例中，终端按照预设频率值，分别对第一光频率信息和第二光频率信息进行归一化处理，得到归一化后的第一光频率信息和归一化后的第二光频率信息。
本申请实施例中，终端按照预设光强值，分别对第一光强信息和第二光强信息进行归一化处理，得到归一化后的第一光强信息和归一化后的第二光强信息。
在实际应用中，终端利用200HZ，对第一光频率信息和第二光频率信息进行归一化处理；终端利用65535对第一光强信息和第二光强信息进行归一化处理。
本申请实施例中，终端利用预设分类模型训练得到的分类参数，对归一化后的拍摄亮度特征、归一化后的第一光频率信息、归一化后的第一光强信息、归一化后的第二光频率信息和归一化后的第二光强信息进行场景预测，得到场景预测结果。
可选的，预设分类模型可以为SVM模型、贝叶斯分类器、集成学习或决策树等，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
示例性的，如图6所示，为本申请实施例提供的一种示例性的场景判断流程，具体的执行过程包括：
1、终端读入色温传感器FD1时域信息；
2、终端针对FD1时域信息做时频变换，并获取其直流分量FD1DC；
3、从FD1DC中获取幅值最强的两个频率FD1Q1和FD1Q2、以及对应的强度FD1M1和FD1M2，并对FD1Q1和FD1Q2、FD1M1和FD1M2分别进行归一化处理；
4、终端从图像Exif信息中读取Av、Tv、Sv信息，并进行归一化处理；
5、终端选择预设训练模型的损失函数，并设定学习参数；
6、终端利用损失函数和学习参数度预设分类模型进行训练，得到预设分类模型；
7、终端将Av、Tv、Sv、FD1Q、FD1Q2、FD1M1和FD1M2输入预设分类模型中进行场景预测，得到预测结果。
需要说明的是，S101-S102和S103为S104之前的两个并列的步骤，具体的根据实际情况进行选择，本申请实施例不做具体的限定。
可以理解的是，终端利用单通道的光频率信息和频率强度作为分类特征参与室内外分类，并利用拍摄亮度特征作为辅助分类特征参与室内外分类，能够根据室内外场景对应的不同的拍摄亮度特征进行室内外分类，进而提高场景预测的精确度，且终端利用拍摄亮度值、第一光强信息、第二光频率信息和第二光强信息进行场景预测，降低了预测的复杂度，进而提高了预测效率。
实施例二
基于上述实施例一，在本申请的实施例中，终端通过色温传感器获取目标频率通道的目标直流分量、第二频率通道的第二直流分量和可见光波段分量之前，还提供一种场景预测方法，如图7所示，该方法可以包括：
S201、获取训练样本图像的训练样本数据和训练样本图像的训练样本场景。
本申请实施例提供的一种场景预测方法适用于对训练分类模型的场景下。
本申请实施例中，终端可以先对预存图像库进行划分处理，从而获得训练样本图像和测试样本图像。
本申请的实施例中，终端可以为任何具备通信和存储功能的设备。例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(Personal Computer，PC)、笔记本电脑、车载设备、网络电视、可穿戴设备等设备。
需要说明的是，在本申请的实施例中，预存图像库可以用于对预设分类模型进行训练和测试。
进一步地，在本申请的实施例中，预存图像库可以包括多张室内场景的图像和多张室外场景的图像。进一步地，在本申请中，终端可以对预存图像库中的不同场景的图像进行随机划分，从而可以获得训练样本图像和测试样本图像。其中，训练样本图像和测试样本图像是完全不同的，即预存图像库中的一个样本图像对应的样本数据只能为训练样本数据或者测试样本数据中的一种。
示例性地，终端存储的预存图像库中存储有1024张室内场景的图像，同时存储有1134张室外场景的图像，终端在进行预设分类模型的训练时，可以随机从预存图像库中抽取80％的图像作为训练图像，20％的图像作为测试图像。
本申请实施例中，终端获取训练样本图像中目标频率通道的目标样本直流分量；之后，终端从目标样本直流分量中，提取第一样本光频率信息和第二样本光频率信息，并获取第一样本光频率信息对应的第一样本光强信息和第二样本光频率信息对应的第二样本光强信息；终端从训练样本图像的样本Exif信息中，获取样本拍摄亮度特征；并将样本拍摄亮度特征、第一样本光频率信息、第一样本光强信息、第二样本光频率信息和第二样本光强信息确定为训练样本数据。
需要说明的是，终端在训练阶段获取训练样本数据的过程与终端在测试阶段获取拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息的过程一致，在此不再赘述。
S202、将训练样本数据输入初始分类模型中，得到样本分类结果。
当终端获取到训练样本图像的训练样本数据和训练样本图像的训练样本场景之后，终端将训练样本数据输入初始分类模型中，得到样本分类结果。
本申请实施例中，终端将样本拍摄亮度特征、第一样本光频率信息、第一样本光强信息、第二样本光频率信息和第二样本光强信息输入初始分类模型中，得到样本分类结果。
S203、将训练样本场景和样本分类结果输入预设损失函数中，得到损失函数值。
当终端将训练样本数据输入初始分类模型中，得到样本分类结果之后，终端将训练样本场景和样本分类结果输入预设损失函数中，得到损失函数值。
本申请实施例中，终端所使用的预设损失函数为合页损失函数。
本申请实施例中，终端将训练样本数据对应的样本分类结果，和该训练样本图像的训练样本场景输入预设损失函数中，得到损失函数值。
S204、利用损失函数值，对初始分类模型进行训练，得到预设分类模型。
当终端将训练样本场景和样本分类结果输入预设损失函数中，得到损失函数值之后，终端利用损失函数值，对初始分类模型进行训练，得到预设分类模型。
本申请实施例中，由于本申请中的训练样本数据包括7个训练特征参数，故，在训练参数的选择时，使用线性核对初始分类模型进行训练，具体的，步长为0.01，gamma为60000。
本申请实施例中，利用训练参数对初始分类模型进行训练，使得损失函数值最小，此时，训练出预设分类模型，之后，终端即可用预设分类模型实现场景预测的过程。
可以理解的是，终端利用单通道的光频率信息和频率强度作为分类特征参与室内外分类，并利用拍摄亮度特征作为辅助分类特征参与室内外分类，能够根据室内外场景对应的不同的拍摄亮度特征进行室内外分类，进而提高场景预测的精确度，且终端利用拍摄亮度值、第一光强信息、第二光频率信息和第二光强信息进行场景预测，降低了预测的复杂度，进而提高了预测效率。
实施例三
本申请实施例提供一种终端，如图8所示，该终端1包括：
获取单元10，用于通过色温传感器获取目标频率通道的目标直流分量；基于所述目标直流分量，获取第一光频率信息和第二光频率信息；获取与所述第一光频率信息对应的第一光强信息，所述第一光频率信息为所述目标直流分量中幅值最大的光频率信息；获取与所述第二光频率信息对应的第二光强信息，所述第二光频率信息的幅值与所述第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；
场景预测单元11，用于将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果。
可选的，所述终端还包括：时频变换单元和取直流分量单元；
所述获取单元10，还用于通过所述色温传感器，获取所述目标频率通道的第一时域信息；
所述时频变换单元，用于对所述第一时域信息进行时频变换操作，得到第一频域信息；
所述取直流分量单元，用于对所述目标频率通道的所述第一频域信息取直流分量，得到所述目标直流分量。
可选的，所述终端还包括：归一化单元；
所述归一化单元，用于对所述拍摄参数进行归一化处理，得到归一化后的所述拍摄参数；按照预设频率值，分别对所述第一光频率信息和所述第二光频率信息进行归一化处理，得到归一化后的所述第一光频率信息和归一化后的所述第二光频率信息；按照预设光强值，分别对所述第一光强信息和所述第二光强信息进行归一化处理，得到归一化后的所述第一光强信息和归一化后的所述第二光强信息；
所述场景预测单元11，还用于利用所述预设分类模型训练得到的分类参数，对所述归一化后的所述拍摄亮度特征、归一化后的所述第一光频率信息、归一化后的所述第一光强信息、归一化后的所述第二光频率信息和归一化后的所述第二光强信息进行场景预测，得到所述场景预测结果。
可选的，所述终端还包括：训练单元和输入单元；
所述获取单元10，还用于获取训练样本图像的训练样本数据和所述训练样本图像的训练样本场景；
所述输入单元，用于将所述训练样本数据输入初始分类模型中，得到样本分类结果；将所述训练样本场景和所述样本分类结果输入预设损失函数中，得到损失函数值；
所述训练单元，用于利用所述损失函数值，对所述初始分类模型进行训练，得到预设分类模型和所述分类参数。
可选的，所述终端还包括：确定单元和提取单元；
所述获取单元10，还用于获取所述训练样本图像中目标频率通道的目标样本直流分量；从所述训练样本图像的样本可交换图像文件信息中，获取样本拍摄亮度特征；
所述提取单元，用于从所述目标样本直流分量中，提取第一样本光频率信息和第二样本光频率信息，并获取所述第一样本光频率信息对应的所述第一样本光强信息和所述第二样本光频率信息对应的所述第二样本光强信息；
所述确定单元，用于将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息确定为所述训练样本数据。
可选的，所述训练单元，还用于将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息输入所述初始分类模型中，得到所述样本分类结果。
可选的，所述拍摄亮度特征包括：光圈值、快门速度和感光度。
本申请实施例提供的一种终端，通过色温传感器获取目标频率通道的目标直流分量；基于目标直流分量，获取第一光频率信息和第二光频率信息；获取与第一光频率信息对应的第一光强信息，第一光频率信息为目标直流分量中幅值最大的光频率信息；获取与第二光频率信息对应的第二光强信息，第二光频率信息的幅值与第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；将拍摄亮度特征、第一光频率信息、第一光强信息、第二光频率信息和第二光强信息输入预设分类模型中，得到场景预测结果。由此可见，本实施例提出的终端，终端利用单通道的光频率信息和频率强度作为分类特征参与室内外分类，并利用拍摄亮度特征作为辅助分类特征参与室内外分类，能够根据室内外场景对应的不同的拍摄亮度特征进行室内外分类，进而提高场景预测的精确度，且终端利用拍摄亮度值、第一光强信息、第二光频率信息和第二光强信息进行场景预测，降低了预测的复杂度，进而提高了预测效率。
图9为本申请实施例提供的一种终端1的组成结构示意图二，在实际应用中，基于上述实施例的同一公开构思下，如图9所示，本实施例的终端1包括：处理器12、存储器13及通信总线14。
在具体的实施例的过程中，上述获取单元10、提取单元、场景预测单元11、时频变换单元、取直流分量单元、归一化单元、输入单元、确定单元和训练单元可由位于终端1上的处理器12实现，上述处理器12可以为特定用途集成电路(ASIC，Application SpecificIntegrated Circuit)、数字信号处理器(DSP，Digital Signal Processor)、数字信号处理终端(DSPD，Digital Signal Processing Device)、可编程逻辑终端(PLD，ProgrammableLogic Device)、现场可编程门阵列(FPGA，Field Programmable Gate Array)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本实施例不作具体限定。
在本申请实施例中，上述通信总线14用于实现处理器12和存储器13之间的连接通信；上述处理器12执行存储器13中存储的运行程序时实现如下的场景预测方法：
所述处理器12，用于通过色温传感器获取目标频率通道的目标直流分量；基于目标直流分量，获取第一光频率信息和第二光频率信息；获取与第一光频率信息对应的第一光强信息，第一光频率信息为目标直流分量中幅值最大的光频率信息；获取与第二光频率信息对应的第二光强信息，第二光频率信息的幅值与第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果。
可选的，所述处理器12，还用于通过所述色温传感器，获取所述目标频率通道的第一时域信息；对所述第一时域信息进行时频变换操作，得到第一频域信息；对所述目标频率通道的所述第一频域信息取直流分量，得到所述目标直流分量。
可选的，所述处理器12，还用于对所述拍摄参数进行归一化处理，得到归一化后的所述拍摄参数；按照预设频率值，分别对所述第一光频率信息和所述第二光频率信息进行归一化处理，得到归一化后的所述第一光频率信息和归一化后的所述第二光频率信息；按照预设光强值，分别对所述第一光强信息和所述第二光强信息进行归一化处理，得到归一化后的所述第一光强信息和归一化后的所述第二光强信息；利用所述预设分类模型训练得到的分类参数，对所述归一化后的所述拍摄亮度特征、归一化后的所述第一光频率信息、归一化后的所述第一光强信息、归一化后的所述第二光频率信息和归一化后的所述第二光强信息进行场景预测，得到所述场景预测结果。
可选的，所述处理器12，还用于获取训练样本图像的训练样本数据和所述训练样本图像的训练样本场景；将所述训练样本数据输入初始分类模型中，得到样本分类结果；将所述训练样本场景和所述样本分类结果输入预设损失函数中，得到损失函数值；利用所述损失函数值，对所述初始分类模型进行训练，得到预设分类模型和所述分类参数。
可选的，所述处理器12，还用于获取所述训练样本图像中目标频率通道的目标样本直流分量；从所述目标样本直流分量中，提取第一样本光频率信息和第二样本光频率信息，并获取所述第一样本光频率信息对应的所述第一样本光强信息和所述第二样本光频率信息对应的所述第二样本光强信息；从所述训练样本图像的样本可交换图像文件信息中，获取样本拍摄亮度特征；将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息确定为所述训练样本数据。
可选的，所述处理器13，还用于将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息输入所述初始分类模型中，得到所述样本分类结果。
可选的，所述拍摄亮度特征包括：光圈值、快门速度和感光度。
本申请实施例提供一种存储介质，其上存储有计算机程序，上述计算机可读存储介质存储有一个或者多个程序，上述一个或者多个程序可被一个或者多个处理器执行，应用于终端中，该计算机程序实现如实施例一和实施例二所述的场景预测方法。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台图像显示设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (9)
1.一种场景预测方法，其特征在于，所述方法包括：
通过色温传感器获取目标频率通道的目标直流分量；
基于所述目标直流分量，获取第一光频率信息和第二光频率信息；
获取与所述第一光频率信息对应的第一光强信息，所述第一光频率信息为所述目标直流分量中幅值最大的光频率信息；
获取与所述第二光频率信息对应的第二光强信息，所述第二光频率信息的幅值与所述第一光频率信息的幅值相邻；
根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；其中，所述可交换图像文件信息存储有图像数据的属性信息和拍摄数据，所述拍摄亮度特征包括：光圈值、快门速度和感光度；
将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果；所述场景预测结果包括室内场景和室外场景。
2.根据权利要求1所述的方法，其特征在于，所述通过色温传感器获取目标频率通道的目标直流分量，包括：
通过所述色温传感器，获取所述目标频率通道的第一时域信息；
对所述第一时域信息进行时频变换操作，得到第一频域信息；
对所述目标频率通道的所述第一频域信息取直流分量，得到所述目标直流分量。
3.根据权利要求1所述的方法，其特征在于，所述将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果，包括：
对拍摄亮度特征进行归一化处理，得到归一化后的所述拍摄亮度特征；
按照预设频率值，分别对所述第一光频率信息和所述第二光频率信息进行归一化处理，得到归一化后的所述第一光频率信息和归一化后的所述第二光频率信息；
按照预设光强值，分别对所述第一光强信息和所述第二光强信息进行归一化处理，得到归一化后的所述第一光强信息和归一化后的所述第二光强信息；
利用所述预设分类模型训练得到的分类参数，对所述归一化后的所述拍摄亮度特征、归一化后的所述第一光频率信息、归一化后的所述第一光强信息、归一化后的所述第二光频率信息和归一化后的所述第二光强信息进行场景预测，得到所述场景预测结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果之前，所述方法还包括：
获取训练样本图像的训练样本数据和所述训练样本图像的训练样本场景；
将所述训练样本数据输入初始分类模型中，得到样本分类结果；
将所述训练样本场景和所述样本分类结果输入预设损失函数中，得到损失函数值；
利用所述损失函数值，对所述初始分类模型进行训练，得到预设分类模型和分类参数。
5.根据权利要求4所述的方法，其特征在于，所述获取训练样本图像的训练样本数据，包括：
获取所述训练样本图像中目标频率通道的目标样本直流分量；
从所述目标样本直流分量中，提取第一样本光频率信息和第二样本光频率信息，并获取所述第一样本光频率信息对应的第一样本光强信息和所述第二样本光频率信息对应的第二样本光强信息；
从所述训练样本图像的样本可交换图像文件信息中，获取样本拍摄亮度特征；
将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息确定为所述训练样本数据。
6.根据权利要求5所述的方法，其特征在于，所述将所述训练样本数据输入初始分类模型中，得到样本分类结果，包括：
将所述样本拍摄亮度特征、所述第一样本光频率信息、所述第一样本光强信息、所述第二样本光频率信息和所述第二样本光强信息输入所述初始分类模型中，得到所述样本分类结果。
7.一种终端，其特征在于，所述终端包括：
获取单元，用于通过色温传感器获取目标频率通道的目标直流分量；基于所述目标直流分量，获取第一光频率信息和第二光频率信息；获取与所述第一光频率信息对应的第一光强信息，所述第一光频率信息为所述目标直流分量中幅值最大的光频率信息；获取与所述第二光频率信息对应的第二光强信息，所述第二光频率信息的幅值与所述第一光频率信息的幅值相邻；根据当前图像信息的可交换图像文件信息，获取拍摄亮度特征；其中，所述可交换图像文件信息存储有图像数据的属性信息和拍摄数据，所述拍摄亮度特征包括：光圈值、快门速度和感光度；
场景预测单元，用于将所述拍摄亮度特征、所述第一光频率信息、所述第一光强信息、所述第二光频率信息和所述第二光强信息输入预设分类模型中，得到场景预测结果；所述场景预测结果包括室内场景和室外场景。
8.一种终端，其特征在于，所述终端包括：处理器、存储器及通信总线；所述处理器执行存储器存储的运行程序时实现如权利要求1-6任一项所述的方法。
9.一种存储介质，其上存储有计算机程序，应用于终端，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157978.8A CN110969196B (zh) | 2019-11-22 | 2019-11-22 | 一种场景预测方法及终端、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911157978.8A CN110969196B (zh) | 2019-11-22 | 2019-11-22 | 一种场景预测方法及终端、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110969196A CN110969196A (zh) | 2020-04-07 |
| CN110969196B true CN110969196B (zh) | 2023-08-18 |
Family
ID=70031286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911157978.8A Active CN110969196B (zh) | 2019-11-22 | 2019-11-22 | 一种场景预测方法及终端、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110969196B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102523379A (zh) * | 2011-11-09 | 2012-06-27 | 哈尔滨工业大学 | 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法 |
| CN103493212A (zh) * | 2011-03-29 | 2014-01-01 | 欧司朗光电半导体有限公司 | 借助于两个光电二极管确定主导光源的类型的单元 |
| CN107343195A (zh) * | 2017-07-10 | 2017-11-10 | 广东欧珀移动通信有限公司 | 拍摄场景检测方法、装置及其设备 |
| CN108009519A (zh) * | 2017-12-19 | 2018-05-08 | 中国医学科学院生物医学工程研究所 | 一种光辐照信息监测方法及装置 |
| CN109831629A (zh) * | 2019-03-14 | 2019-05-31 | Oppo广东移动通信有限公司 | 终端拍照模式的调整方法、装置、终端及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7668369B2 (en) * | 2006-04-26 | 2010-02-23 | Hewlett-Packard Development Company, L.P. | Using camera metadata to classify images into scene type classes |
| JP2009177271A (ja) * | 2008-01-22 | 2009-08-06 | Sony Corp | 撮像装置、その制御方法およびプログラム |
| JP5520038B2 (ja) * | 2009-12-25 | 2014-06-11 | キヤノン株式会社 | 映像処理装置及び映像処理方法 |
| CN107622281B (zh) * | 2017-09-20 | 2021-02-05 | Oppo广东移动通信有限公司 | 图像分类方法、装置、存储介质及移动终端 |
-
2019
- 2019-11-22 CN CN201911157978.8A patent/CN110969196B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103493212A (zh) * | 2011-03-29 | 2014-01-01 | 欧司朗光电半导体有限公司 | 借助于两个光电二极管确定主导光源的类型的单元 |
| CN102523379A (zh) * | 2011-11-09 | 2012-06-27 | 哈尔滨工业大学 | 频闪场景的图像拍摄方法及对该方法获得的频闪图像的处理方法 |
| CN107343195A (zh) * | 2017-07-10 | 2017-11-10 | 广东欧珀移动通信有限公司 | 拍摄场景检测方法、装置及其设备 |
| CN108009519A (zh) * | 2017-12-19 | 2018-05-08 | 中国医学科学院生物医学工程研究所 | 一种光辐照信息监测方法及装置 |
| CN109831629A (zh) * | 2019-03-14 | 2019-05-31 | Oppo广东移动通信有限公司 | 终端拍照模式的调整方法、装置、终端及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| Louise Kauffmann et al.Rapid scene categorization: Role of spatial frequency order,accumulation mode and luminance contrast.《ELSEVIER:Vision Research》.2014,第49-53页. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110969196A (zh) | 2020-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108174185B (zh) | 一种拍照方法、装置及终端 | |
| US9451173B2 (en) | Electronic device and control method of the same | |
| KR101858646B1 (ko) | 영상 융합 장치 및 방법 | |
| US9813635B2 (en) | Method and apparatus for auto exposure value detection for high dynamic range imaging | |
| US9357127B2 (en) | System for auto-HDR capture decision making | |
| CN111027489B (zh) | 图像处理方法、终端及存储介质 | |
| US10027878B2 (en) | Detection of object in digital image | |
| CN113411498B (zh) | 图像拍摄方法、移动终端及存储介质 | |
| US11416974B2 (en) | Image processing method and electronic device supporting the same | |
| CN113906730A (zh) | 获得皮肤图像的电子设备及其控制方法 | |
| CN111163302B (zh) | 一种场景颜色还原方法及终端、存储介质 | |
| CN113989387A (zh) | 相机拍摄参数调整方法、装置及电子设备 | |
| CN110929663B (zh) | 一种场景预测方法及终端、存储介质 | |
| KR20200064564A (ko) | 이미지 처리 방법 및 이를 지원하는 전자 장치 | |
| CN110969196B (zh) | 一种场景预测方法及终端、存储介质 | |
| CN111567034A (zh) | 曝光补偿的方法、装置及计算机可读存储介质 | |
| CN112036277A (zh) | 一种人脸识别方法、电子设备以及计算机可读存储介质 | |
| CN111310541B (zh) | 一种场景预测方法及终端、存储介质 | |
| CN105163040A (zh) | 一种图像处理方法及移动终端 | |
| CN113011328B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN111543047A (zh) | 视频拍摄方法、装置及计算机可读存储介质 | |
| CN111602390A (zh) | 终端白平衡处理方法、终端及计算机可读存储介质 | |
| CN113422893A (zh) | 图像采集方法、装置、存储介质及移动终端 | |
| CN111432124A (zh) | 拍照方法、电视机及存储介质 | |
| US11711619B2 (en) | Controlling exposure based on inverse gamma characteristic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |