CN110266914B - 图像拍摄方法、装置及计算机可读存储介质 - Google Patents
图像拍摄方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110266914B CN110266914B CN201910668088.7A CN201910668088A CN110266914B CN 110266914 B CN110266914 B CN 110266914B CN 201910668088 A CN201910668088 A CN 201910668088A CN 110266914 B CN110266914 B CN 110266914B
- Authority
- CN
- China
- Prior art keywords
- image
- image quality
- pixel value
- training sample
- video frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims abstract description 11
- 230000008569 process Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 72
- 230000006870 function Effects 0.000 claims description 30
- 238000001914 filtration Methods 0.000 claims description 29
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
- H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
Abstract
本公开是关于一种图像拍摄方法、装置及计算机可读存储介质，属于图像处理技术领域。所述方法包括：在通过摄像头捕捉图像的过程中，获取视频帧；根据所述视频帧，提取目标直方特征；将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。本公开在每次拍摄图像时，先基于图像画质识别模型对视频帧的画质进行识别，响应于识别出视频帧的画质模糊，提示用户对摄像头进行清洁，从而基于清洁后的摄像头进行拍摄，采用该种方法提高了所拍摄图像的画质。
Description
技术领域
本公开涉及图像处理技术领域，尤其涉及一种图像拍摄方法、装置及计算机可读存储介质。
背景技术
随着图像处理技术的发展，智能手机、平板电脑、摄像机等具有拍摄功能的终端普及率越来越高。在基于这些终端的摄像头拍摄图像时，对摄像头表面的清洁程度要求较高，如果摄像头表面洁净，则拍摄的图像较为清晰，图像画质较佳，而如果摄像头表面被灰尘、油渍等污染物污染了，则拍摄的图像较为模糊，图像画质较差。
然而，由于终端的尺寸较小，当用户使用终端时，用户手指可能会无意间触摸到摄像头，导致摄像头表面被污染，特别是用户手指粘有污渍时，摄像头表面污染的更为严重。在该种情况下，用户因不知摄像头表面被污染，继续采用该摄像头拍摄图像，导致拍摄的图像十分模糊。因此，为了改善用户的拍摄体现，亟需一种新的图像拍摄方法。
发明内容
本公开提供一种图像拍摄方法、装置及计算机可读存储介质。
根据本公开实施例的第一方面，提供一种图像拍摄方法，所述方法包括：
在通过摄像头捕捉图像的过程中，获取视频帧；
根据所述视频帧，提取目标直方特征；
将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。
在本公开的另一个实施例中，所述根据所述视频帧，提取目标直方特征，包括：
对所述视频帧进行缩放，得到缩放图像；
根据所述缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像；
从所述滤波图像中，提取所述目标直方特征。
在本公开的另一个实施例中，所述根据所述缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像，包括：
从每个像素点三个颜色通道的像素值中，获取最小的像素值；
将所有像素点的最小像素值组成最小像素值图像；
采用预设窗口在所述最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值；
将所有预设窗口内最小的像素值组成所述滤波图像。
在本公开的另一个实施例中，所述从所述滤波图像中，提取所述目标直方特征，包括：
统计所述滤波图像包括的每个像素值的像素点数量；
根据每个像素值及对应的像素点数量，绘制所述滤波图像对应的目标直方图；
从所述目标直方图中，提取所述目标直方特征。
在本公开的另一个实施例中，所述方法还包括对所述图像画质识别模型训练的步骤：
获取多个训练样本图像，每个训练样本图像标注有画质标签；
提取每个训练样本图像的直方特征；
确定初始图像画质识别模型；
将每个训练样本图像的直方特征输入到所述初始图像画质识别模型中，输出每个训练样本图像的预测值；
将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中；
根据所述目标损失函数的函数值，对所述初始图像画质识别模型的模型参数进行调整，得到所述图像画质识别模型。
根据本公开实施例的第二方面，提供一种图像拍摄装置，所述装置包括：
获取模块，用于在通过摄像头捕捉图像的过程中，获取视频帧；
提取模块，用于根据所述视频帧，提取目标直方特征；
处理模块，用于将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
提示模块，用于响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。
在本公开的另一个实施例中，所述提取模块，用于对所述视频帧进行缩放，得到缩放图像；根据所述缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像；从所述滤波图像中，提取所述目标直方特征。
在本公开的另一个实施例中，所述提取模块，用于从每个像素点三个颜色通道的像素值中，获取最小的像素值；将所有像素点的最小像素值组成最小像素值图像；采用预设窗口在所述最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值；将所有预设窗口内最小的像素值组成所述滤波图像。
在本公开的另一个实施例中，所述提取模块，用于统计所述滤波图像包括的每个像素值的像素点数量；根据每个像素值及对应的像素点数量，绘制所述滤波图像对应的目标直方图；从所述目标直方图中，提取所述目标直方特征。
在本公开的另一个实施例中，所述装置还包括：
所述获取模块，用于获取多个训练样本图像，每个训练样本图像标注有画质标签；
所述提取模块，用于提取每个训练样本图像的直方特征；
确定模块，用于确定初始图像画质识别模型；
训练模块，用于将每个训练样本图像的直方特征输入到所述初始图像画质识别模型中，输出每个训练样本图像的预测值；将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中；根据所述目标损失函数的函数值，对所述初始图像画质识别模型的模型参数进行调整，得到所述图像画质识别模型。
根据本公开实施例的第三方面，提供一种图像拍摄装置，包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为：
在通过摄像头捕捉图像的过程中，获取视频帧；
根据所述视频帧，提取目标直方特征；
将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。
根据本公开实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如图像拍摄方法。
本公开的实施例提供的技术方案可以包括以下有益效果：
在每次拍摄图像时，先基于图像画质识别模型对视频帧的画质进行识别，响应于识别出视频帧的画质模糊，提示用户对摄像头进行清洁，从而基于清洁后的摄像头进行拍摄，采用该种方法提高了所拍摄图像的画质。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种图像拍摄方法所涉及的实施环境。
图2是根据一示例性实施例示出的一种图像拍摄方法的流程图。
图3是根据一示例性实施例示出的另一种图像拍摄方法的流程图。
图4是根据一示例性实施例示出的一种训练图像画质识别模型的方法流程图。
图5是根据一示例性实施例示出的一种图像拍摄装置的框图。
图6根据一示例性实施例示出的一种用于图像拍摄的装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
请参考图1，其示出了本公开实施例提供的图像拍摄方法所涉及的实施环境，参见图1，该实施环境包括：终端101和服务器102。
其中，终端101配置有摄像头，所配置的摄像头包括前置摄像头、后置摄像头中至少一种。该终端101安装有拍照应用，该拍照应用可以调用摄像头，以实现拍照功能。该终端101可以为智能手机、平板电脑、数码相机等设备，本公开不对终端101的产品类型作具体的限定。
对于具有较强计算能力的终端101，能够训练出图像画质识别模型，并基于所训练的图像画质识别模型，确定视频帧的画质识别结果，进而在画质识别结果为模糊时，提示用户清洁摄像头，从而基于清洁后的摄像头拍摄图像。
服务器102为拍照应用的后台服务器，该服务器102可基于拍照应用提供拍摄服务。
对于计算能力较差的终端101，也可以通过服务器102训练出图像画质识别模型，并接收终端101发送的视频帧，基于所训练的图像画质识别模型，确定所接收视频帧的画质识别结果，并将识别结果发送给终端101，以便终端101在画质识别结果为模糊时，提示用户清洁摄像头，从而基于清洁后的摄像头拍摄图像。
基于图1所示的实施环境，图2是根据一示例性实施例示出的一种图像拍摄方法的流程图，如图2所示，图像拍摄方法可以应用于终端中，其中一些步骤也可以应用于服务器中，包括以下步骤：
在步骤S201中，终端在通过摄像头捕捉图像的过程中，获取视频帧。
其中，视频帧可以为通过摄像头正式拍摄的图像，也可以为通过摄像头拍摄图像前在预览界面中所呈现的图像。当检测到拍照应用被启动，终端通过摄像头捕捉图像，在通过摄像头捕捉图像的过程中，终端可在拍照应用的预览界面上显示视频帧。为确保所拍摄的图像能够具有清晰的画质，终端可从预览界面上获取至少一帧视频帧，通过对该至少一帧视频帧的画质进行识别，可确定摄像头是否被污染，从而通过清洁摄像头，改善所拍摄图像的画质。
在步骤S202中，根据视频帧，提取目标直方特征。
本步骤中，可以提取视频帧的目标直方特征。
在步骤S203中，将目标直方特征输入到图像画质识别模型中，输出对视频帧的画质识别结果。
其中，图像画质识别模型用于基于直方特征，确定图像的画质是否模糊。当获取到视频帧的目标直方特征后，终端通过将目标直方特征输入到图像画质识别模型中，可输出对视频帧的画质识别结果。如果画质识别结果为模糊，则终端可执行步骤S204，通过提示用户清洁摄像头，使得所拍摄图像能够具有较佳的画质；如果画质识别结果为清晰，则终端可直接拍摄图像。
进一步地，步骤S202～步骤S203也可以由服务器执行。即服务器接收终端获取到的视频帧提取目标直方特征，并得到对视频帧的画质识别结果之后，将画质识别结果发送给终端。
在步骤S204中，响应于画质识别结果为模糊，终端提示用户清洁摄像头。
当识别出视频帧的画质模糊，终端提示用户清洁摄像头的方式，包括但不限于如下几种：
第一种、终端可通过播放指定音频文件，以提示用户清洁摄像头。
第二种、终端还可以通过控制闪光灯按照第一预设频率闪动，以提示用户清洁摄像头。其中，第一预设频率可以为20次/分钟、30次/分钟等。
第三种、终端也可以通过控制振动马达按照第二预设频率振动，以提示用户清洁摄像头。其中，第二预设频率可以为10次/分钟、20次/分钟等。
当用户对摄像头进行清洁后，终端可直接基于清洁后的摄像头拍摄图像。由于拍摄图像的摄像头表面清洁，因而所拍摄的图像比较清晰，画质较佳。
本公开实施例提供的方法，在每次拍摄图像时，先基于图像画质识别模型对视频帧的画质进行识别，响应于识别出视频帧的画质模糊，提示用户对摄像头进行清洁，从而基于清洁后的摄像头进行拍摄，采用该种方法提高了所拍摄图像的画质。
基于图1所示的实施环境，图3是根据一示例性实施例示出的一种图像拍摄方法的流程图，如图3所示，图像拍摄方法用于终端中，包括以下步骤：
在步骤S301中，在通过摄像头捕捉图像的过程中，获取视频帧。
在步骤S302中，对视频帧进行缩放，得到缩放图像。
终端按照预设尺寸，对视频帧进行缩放，得到与预设尺寸大小相同的缩放图像。其中，预设尺寸可根据图像画质识别精度确定，该预设尺寸可以为256*256、128*128等。
在步骤S303中，根据缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像。
其中，三个颜色通道包括红、绿、蓝三个颜色通道。根据缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像时，具体步骤如下：
第一步，从每个像素点三个颜色通道的像素值中，获取最小的像素值。
获取缩放图像上每个像素点的三个颜色通道的像素值，并从每个像素点的红、绿、蓝三个颜色通道的像素值中，获取最小的像素值。
第二步，将所有像素点的最小像素值组成最小像素值图像。
第三步，采用预设窗口在最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值。
采用预设窗口在最小像素值图像上进行滑移，每次滑移的长度为预设步长。接着，遍历每个预设窗口内最小像素值图像中每个像素点的像素值，通过对最小值像素图像进行遍历，可获取每个预设窗口内最小的像素值。其中，预设窗口的大小可根据终端的处理精度确定，该预设窗口的大小可以为15*15、20*20等。为确保最小像素值图像中每个像素点均能被遍历，该预设步长应小于等于预设窗口的长度。这样同一像素点可能会在不同预设窗口内，该种情况并不会影响终端获取每个预设窗口内最小的像素值。
第四步，将所有预设窗口内最小的像素值组成滤波图像。
在步骤S304中，从滤波图像中，提取目标直方特征。
从滤波图像中，提取目标直方特征时，具体步骤如下：
第一步，统计滤波图像包括的每个像素值对应的像素点数量。
对于任一像素点，其对应的像素值大小为0～255之间，根据像素值的大小，像素值的数量有256种，256个像素值分别为数值为0的像素值、数值为1的像素值、…、数值为255的像素值。
第二步，根据每个像素值及对应的像素点数量，绘制滤波图像对应的目标直方图。
其中，直方图是一种统计报告图，是由一系列高度不等的纵向条纹或者线段表示数据分布情况，一般可用横轴表示数据类型，纵轴表示分布情况。统计滤波图像包括的每个像素值的像素点数量，并根据每个像素值及对应的像素点数量，绘制滤波图像对应的直方图，该直方图的横轴表示每种像素值，该直方图的纵轴表示每种像素值的像素点数量。考虑到像素点的像素值数量为256个，为了便于绘制滤波图像对应的直方图，可将256个像素值划分为16个像素值区间，进而基于像素值区间与像素值数量绘制直方图。终端在将256个像素值划分为16个像素区间时，可按照像素值大小，顺序将256个像素值划分为16个像素区间，例如，将数值为0～15的像素值划分为一个像素值区间、将数值为16～31的像素值划分为一个像素值区间、…、将数值为240～255的像素值划分为一个像素值区间。
第三步，从目标直方图中，提取目标直方特征。
以所划分的像素值区间为向量元素，以每个像素值区间对应的像素点数量为向量元素的系数，根据所绘制的目标直方图，构建一个特征向量，该特征向量即为目标直方特征。
例如，目标直方图中所划分的像素区间包括像素值0～15的像素区间、像素值为16～31的像素区间、…、像素值240～255的像素区间，其中，像素值为0～15的像素区间对应的像素点数量为20、像素值为16～31的像素区间对应的像素点数量为100、…、像素值为240～255的像素区间对应的像素点数量为50，则以所划分的像素值区间为向量元素、以每个像素值区间对应的像素点数量为向量元素的系数，构建的特征向量为20(0，15)+100(16，31)+…+50(240，255)，该特征向量即为目标直方特征。
步骤S305中，将目标直方特征输入到图像画质识别模型中，输出对视频帧的画质识别结果，如果画质识别结果为模糊，执行步骤S306；如果画质识别结果为清晰，执行步骤S307。
在步骤S306中，提示用户清洁摄像头。本流程结束。
在步骤S307中，基于摄像头拍摄图像。本流程结束。
本公开实施例提供的方法，在每次拍摄图像时，先基于图像画质识别模型对视频帧的画质进行识别，当识别出视频帧的画质模糊时，提示用户对摄像头进行清洁，从而基于清洁后的摄像头进行拍摄，采用该种方法提高了所拍摄图像的画质。
进一步地，步骤S302～步骤305的任意步骤均可以由终端执行或由服务器执行，例如：步骤S302～步骤S304由终端执行，步骤S305由服务器执行，或者步骤S302～步骤305均由服务器执行，或者其他分配方式，这里不再赘述。
基于图1所示的实施环境，图4是根据一示例性实施例示出的一种训练图像画质识别模型的流程图，如图4所示，训练图像画质识别模型的方法用于终端或者服务器中，且对于计算功能强大的终端，所训练的图像画质识别模型可以运行于终端中，用于确定终端所拍摄图像的画质识别结果。图4所示的实施例包括以下步骤：
在步骤S401中，获取多个训练样本图像。
其中，每个训练样本图像标注有画质标签，该画质标签包括清晰和模糊两种。在获取多个训练样本图像时，可从互联网上获取多张标注有画质标签的图像，并将所获取的图像作为训练样本图像。
在步骤S402中，提取每个训练样本图像的直方特征。
对于任一训练样本图像，提取该训练样本图像的直方特征时，具体步骤如下：
4021、对训练样本图像进行缩放，得到训练样本缩放图像。
按照预设尺寸，对训练样本图像进行缩放，得到与预设尺寸大小相同的训练样本缩放图像。
4022、根据训练样本缩放图像上每个像素点三个颜色通道的像素值，获取训练样本滤波图像。
根据训练样本缩放图像上每个像素点三个颜色通道的像素值，获取训练样本滤波图像时，具体步骤如下：
第一步，从每个像素点三个颜色通道的像素值中，获取最小的像素值。
获取训练样本缩放图像上每个像素点的三个颜色通道的像素值，并从每个像素点的红、绿、蓝三个颜色通道的像素值中，获取最小的像素值。例如，对于训练样本缩放图像上的任一像素点，该像素点的红、绿、蓝三个颜色通道的像素值分别为250、170、85，终端从该像素点的红、绿、蓝三个颜色通道的像素值中，获取到最小的像素值为85。
第二步，将所有像素点的最小像素值组成训练样本最小像素值图像。
从训练样本缩放图像中每个像素点的三个颜色通道的像素值中，获取每个像素点的最小像素值，进而将所有像素点的最小像素值组成训练样本最小像素值图像。例如，训练样本缩放图像中包括10000个像素点，从10000个像素点中获取的最小像素值分别为20、16、43、…、8，终端将10000个像素点的最小像素值20、16、43、…、8组成训练样本最小像素值图像。
第三步，采用预设窗口在训练样本最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值。
具体滑移方式可以参见上述实施例，这里不再赘述。
第四步，将所有预设窗口内最小的像素值组成训练样本滤波图像。
终端获取每个预设窗口内最小的像素值，并将所有预设窗口内最小的像素值组成训练样本滤波图像。
4023、从训练样本滤波图像中，提取直方特征。
进一步地，从训练样本滤波图像中，提取直方特征时，具体步骤如下：
第一步，统计训练样本滤波图像包括的每个像素值的像素点数量。
第二步，根据每个像素值及对应的像素点数量，绘制训练样本滤波图像对应的直方图。
第三步，从直方图中，提取直方特征。
具体的提取方式可以参见上述实施例，此处不再赘述。
在步骤S403中，确定初始图像画质识别模型。
其中，初始图像画质识别模型可以为SVM(Support Vector Machine，支持向量机)模型等。
在步骤S404中，将每个训练样本图像的直方特征输入到初始画质识别模型中，输出每个训练样本图像的预测值。
在步骤S405中，将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中。
本步骤中，可以预先为初始图像画质识别模型构建目标损失函数，并为初始图像画质识别模型的模型参数设置初始值，基于所设置的各个参数的初始值，可以确定出对每个训练样本图像的预测值，通过将每个训练样本图像的预测值和标注的画质标签值输入到目标损失函数中，可以计算出目标损失函数的函数值。
在步骤S406中，根据目标损失函数的函数值，对初始图像画质识别模型的模型参数进行调整，得到图像画质识别模型。
如果目标损失函数的函数值不满足阈值条件，对初始图像画质识别模型的模型参数进行调整，并继续计算目标损失函数的函数值，直至得到的函数值满足阈值条件。其中，阈值条件可根据处理精度进行设置。
获取满足阈值条件时各个参数的参数值，并将满足阈值条件时各个参数的参数值所对应的初始图像画质识别模型，作为训练得到的图像画质识别模型。其中，图像画质识别模型用于基于直方特征，确定图像的画质是否模糊。
图5是根据一示例性实施例示出的一种图像拍摄装置示意图。参照图5，该装置包括：获取模块501、提取模块502、处理模块503、提示模块504及拍摄模块505。
该获取模块501被配置为在通过摄像头捕捉图像的过程中，获取视频帧；
该提取模块502被配置为根据视频帧，提取目标直方特征；
该处理模块503被配置为将目标直方特征输入到图像画质识别模型中，输出对视频帧的画质识别结果，图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
该提示模块504被配置为响应于画质识别结果为模糊，提示用户清洁摄像头。
在本公开的另一个实施例中，该提取模块502被配置为对视频帧进行缩放，得到缩放图像；根据缩放图像上每个像素点三个颜色通道的像素值，获取滤波图像；从滤波图像中，提取目标直方特征。
在本公开的另一个实施例中，该提取模块502被配置为从每个像素点三个颜色通道的像素值中，获取最小的像素值；将所有像素点的最小像素值组成最小像素值图像；采用预设窗口在最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值；将所有预设窗口内最小的像素值组成滤波图像。
在本公开的另一个实施例中，该提取模块502被配置为统计滤波图像包括的每个像素值的像素点数量；根据每个像素值及对应的像素点数量，绘制滤波图像对应的目标直方图；从目标直方图中，提取目标直方特征。
在本公开的另一个实施例中，该装置还包括：训练模块。
该获取模块501被配置为获取多个训练样本图像，每个训练样本图像标注有画质标签；
该提取模块502被配置为提取每个训练样本图像的直方特征；
该获取模块501被配置为获取初始图像画质识别模型；
该训练模块被配置为将每个训练样本图像的直方特征输入到初始图像画质识别模型中，输出每个训练样本图像的预测值；将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中；根据目标损失函数的函数值，对初始图像画质识别模型的模型参数进行调整，得到图像画质识别模型。
本公开实施例提供的装置，在每次拍摄图像时，先基于图像画质识别模型对视频帧的画质进行识别，响应于识别出视频帧的画质模糊，提示用户对摄像头进行清洁，从而基于清洁后的摄像头进行拍摄，采用该种方法提高了所拍摄图像的画质。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图6是根据一示例性实施例示出的一种用于图像拍摄的装置600的框图。例如，装置600可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图6，装置600可以包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)接口612，传感器组件614，以及通信组件616。
处理组件602通常控制装置600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。
存储器604被配置为存储各种类型的数据以支持在装置600的操作。这些数据的示例包括用于在装置600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件606为装置600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为装置600生成、管理和分配电力相关联的组件。
多媒体组件608包括在所述装置600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当装置600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当装置600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。
I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件614包括一个或多个传感器，用于为装置600提供各个方面的状态评估。例如，传感器组件614可以检测到装置600的打开/关闭状态，组件的相对定位，例如所述组件为装置600的显示器和小键盘，传感器组件614还可以检测装置600或装置600一个组件的位置改变，用户与装置600接触的存在或不存在，装置600方位或加速/减速和装置600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件616被配置为便于装置600和其他设备之间有线或无线方式的通信。装置600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由装置600的处理器620执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行一种图像拍摄方法。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (8)
1.一种图像拍摄方法，其特征在于，所述方法包括：
在通过摄像头捕捉图像的过程中，获取视频帧；对所述视频帧进行缩放，得到缩放图像；
从所述缩放图像中每个像素点三个颜色通道的像素值中，获取最小的像素值，将所有像素点的最小像素值组成最小像素值图像；采用预设窗口在所述最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值，所述预设窗口的大小根据终端的处理精度确定；将所有预设窗口内最小的像素值组成滤波图像；从所述滤波图像中，提取目标直方特征；
将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。
2.根据权利要求1所述的方法，其特征在于，所述从所述滤波图像中，提取目标直方特征，包括：
统计所述滤波图像包括的每个像素值的像素点数量；
根据每个像素值及对应的像素点数量，绘制所述滤波图像对应的目标直方图；
从所述目标直方图中，提取目标直方特征。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括对所述图像画质识别模型训练的步骤：
获取多个训练样本图像，每个训练样本图像标注有画质标签；
提取每个训练样本图像的直方特征；
确定初始图像画质识别模型；
将每个训练样本图像的直方特征输入到所述初始图像画质识别模型中，输出每个训练样本图像的预测值；
将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中；
根据所述目标损失函数的函数值，对所述初始图像画质识别模型的模型参数进行调整，得到所述图像画质识别模型。
4.一种图像拍摄装置，其特征在于，所述装置包括：
获取模块，用于在通过摄像头捕捉图像的过程中，获取视频帧；
提取模块，用于根据所述视频帧，提取目标直方特征；
处理模块，用于将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
提示模块，用于响应于所述画质识别结果为模糊，提示用户清洁所述摄像头；
所述提取模块，用于对所述视频帧进行缩放，得到缩放图像；从所述缩放图像中每个像素点三个颜色通道的像素值中，获取最小的像素值，将所有像素点的最小像素值组成最小像素值图像；采用预设窗口在所述最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值，所述预设窗口的大小根据终端的处理精度确定；将所有预设窗口内最小的像素值组成滤波图像；从所述滤波图像中，提取目标直方特征。
5.根据权利要求4所述的装置，其特征在于，所述提取模块，用于统计所述滤波图像包括的每个像素值的像素点数量；根据每个像素值及对应的像素点数量，绘制所述滤波图像对应的目标直方图；从所述目标直方图中，提取目标直方特征。
6.根据权利要求4所述的装置，其特征在于，所述装置还包括：
所述获取模块，用于获取多个训练样本图像，每个训练样本图像标注有画质标签；
所述提取模块，用于提取每个训练样本图像的直方特征；
确定模块，用于确定初始图像画质识别模型；
训练模块，用于将每个训练样本图像的直方特征输入到所述初始图像画质识别模型中，输出每个训练样本图像的预测值；将每个训练样本图像的预测值和标注的画质标签值输入到预先构建的目标损失函数中；根据所述目标损失函数的函数值，对所述初始图像画质识别模型的模型参数进行调整，得到所述图像画质识别模型。
7.一种图像拍摄装置，其特征在于，包括：
处理器；
用于存储处理器可执行的指令的存储器；
其中，所述处理器被配置为：
在通过摄像头捕捉图像的过程中，获取视频帧；对所述视频帧进行缩放，得到缩放图像；
从所述缩放图像中每个像素点三个颜色通道的像素值中，获取最小的像素值，将所有像素点的最小像素值组成最小像素值图像；采用预设窗口在所述最小像素值图像上进行滑移，并获取每个预设窗口内最小的像素值，所述预设窗口的大小根据终端的处理精度确定；将所有预设窗口内最小的像素值组成滤波图像；从所述滤波图像中，提取目标直方特征；
将所述目标直方特征输入到图像画质识别模型中，输出对所述视频帧的画质识别结果，所述图像画质识别模型用于基于直方特征，确定图像的画质是否模糊；
响应于所述画质识别结果为模糊，提示用户清洁所述摄像头。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如权利要求1至3中任一项所述的图像拍摄方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910668088.7A CN110266914B (zh) | 2019-07-23 | 2019-07-23 | 图像拍摄方法、装置及计算机可读存储介质 |
| US16/699,619 US11176648B2 (en) | 2019-07-23 | 2019-11-30 | Image capturing method and device, computer readable storage medium |
| EP19219474.4A EP3770849B1 (en) | 2019-07-23 | 2019-12-23 | Image capturing method and device, computer readable storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910668088.7A CN110266914B (zh) | 2019-07-23 | 2019-07-23 | 图像拍摄方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110266914A CN110266914A (zh) | 2019-09-20 |
| CN110266914B true CN110266914B (zh) | 2021-08-24 |
Family
ID=67927851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910668088.7A Active CN110266914B (zh) | 2019-07-23 | 2019-07-23 | 图像拍摄方法、装置及计算机可读存储介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11176648B2 (zh) |
| EP (1) | EP3770849B1 (zh) |
| CN (1) | CN110266914B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109086709B (zh) * | 2018-07-27 | 2023-04-07 | 腾讯科技（深圳）有限公司 | 特征提取模型训练方法、装置及存储介质 |
| CN113470030B (zh) * | 2021-09-03 | 2021-11-23 | 北京字节跳动网络技术有限公司 | 组织腔清洁度的确定方法、装置、可读介质和电子设备 |
| CN116580000B (zh) * | 2023-05-08 | 2023-11-03 | 江阴市良友化工设备制造有限公司 | 化工换热器清洁效果辨识系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121942A (zh) * | 2016-11-30 | 2018-06-05 | 南昌欧菲生物识别技术有限公司 | 一种指纹识别的方法及装置 |
| CN108898592A (zh) * | 2018-06-22 | 2018-11-27 | 北京小米移动软件有限公司 | 提示镜头脏污程度的方法及装置、电子设备 |
| CN109104568A (zh) * | 2018-07-24 | 2018-12-28 | 苏州佳世达光电有限公司 | 监控摄像头的智能清洁驱动方法及驱动系统 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009083858A1 (en) * | 2007-12-20 | 2009-07-09 | Nxp B.V. | Image filtering |
| JP2011034178A (ja) * | 2009-07-30 | 2011-02-17 | Sony Corp | 画像処理装置および画像処理方法、並びにプログラム |
| US9674587B2 (en) * | 2012-06-26 | 2017-06-06 | Sonos, Inc. | Systems and methods for networked music playback including remote add to queue |
| US9253375B2 (en) * | 2013-04-02 | 2016-02-02 | Google Inc. | Camera obstruction detection |
| US9154697B2 (en) * | 2013-12-06 | 2015-10-06 | Google Inc. | Camera selection based on occlusion of field of view |
| US10185892B1 (en) * | 2014-05-30 | 2019-01-22 | Amazon Technologies, Inc. | Automatic large-scale imaging device diagnostics |
| EP3281147A1 (en) * | 2015-04-07 | 2018-02-14 | FotoNation Limited | Image processing method and apparatus |
| CN105160667A (zh) | 2015-08-26 | 2015-12-16 | 西安交通大学 | 联合梯度和拉普拉斯-高斯信号的盲图像质量评价方法 |
| US10496876B2 (en) * | 2016-06-30 | 2019-12-03 | Intel Corporation | Specular light shadow removal for image de-noising |
| US10061984B2 (en) * | 2016-10-24 | 2018-08-28 | Accenture Global Solutions Limited | Processing an image to identify a metric associated with the image and/or to determine a value for the metric |
| CN106683079B (zh) | 2016-12-14 | 2019-05-17 | 浙江科技学院 | 一种基于结构失真的无参考图像客观质量评价方法 |
| CN107146216A (zh) | 2017-04-07 | 2017-09-08 | 浙江科技学院 | 一种基于梯度自相似度的无参考图像客观质量评价方法 |
-
2019
- 2019-07-23 CN CN201910668088.7A patent/CN110266914B/zh active Active
- 2019-11-30 US US16/699,619 patent/US11176648B2/en active Active
- 2019-12-23 EP EP19219474.4A patent/EP3770849B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108121942A (zh) * | 2016-11-30 | 2018-06-05 | 南昌欧菲生物识别技术有限公司 | 一种指纹识别的方法及装置 |
| CN108898592A (zh) * | 2018-06-22 | 2018-11-27 | 北京小米移动软件有限公司 | 提示镜头脏污程度的方法及装置、电子设备 |
| CN109104568A (zh) * | 2018-07-24 | 2018-12-28 | 苏州佳世达光电有限公司 | 监控摄像头的智能清洁驱动方法及驱动系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210027438A1 (en) | 2021-01-28 |
| CN110266914A (zh) | 2019-09-20 |
| US11176648B2 (en) | 2021-11-16 |
| EP3770849A1 (en) | 2021-01-27 |
| EP3770849B1 (en) | 2021-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106557768B (zh) | 对图片中的文字进行识别的方法及装置 | |
| US9674395B2 (en) | Methods and apparatuses for generating photograph | |
| CN108154465B (zh) | 图像处理方法及装置 | |
| CN106331504B (zh) | 拍摄方法及装置 | |
| CN110557547B (zh) | 镜头位置调整方法及装置 | |
| EP3176709A1 (en) | Video categorization method and apparatus, computer program and recording medium | |
| CN108668080B (zh) | 提示镜头脏污程度的方法及装置、电子设备 | |
| CN110266914B (zh) | 图像拍摄方法、装置及计算机可读存储介质 | |
| EP3174283A1 (en) | Preview image display method and apparatus, computer program and recording medium | |
| CN107015648B (zh) | 图片处理方法及装置 | |
| CN111340733B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN106534951B (zh) | 视频分割方法和装置 | |
| CN109784164B (zh) | 前景识别方法、装置、电子设备及存储介质 | |
| US20170054906A1 (en) | Method and device for generating a panorama | |
| CN111523346B (zh) | 图像识别方法及装置、电子设备和存储介质 | |
| CN111756989A (zh) | 控制镜头对焦的方法及装置 | |
| CN109509195B (zh) | 前景处理方法、装置、电子设备及存储介质 | |
| CN114500821B (zh) | 拍照方法及装置、终端及存储介质 | |
| US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
| CN107895041B (zh) | 拍摄模式设置方法、装置及存储介质 | |
| CN112188096A (zh) | 拍照方法及装置、终端及存储介质 | |
| CN112312039A (zh) | 音视频信息获取方法、装置、设备及存储介质 | |
| CN109598183B (zh) | 一种人脸认证的方法、装置及系统 | |
| CN113506324B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
| CN113506325B (zh) | 图像处理方法及装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |