CN116091900A - 图像处理方法、装置及存储介质 - Google Patents

图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN116091900A
CN116091900A CN202111269694.5A CN202111269694A CN116091900A CN 116091900 A CN116091900 A CN 116091900A CN 202111269694 A CN202111269694 A CN 202111269694A CN 116091900 A CN116091900 A CN 116091900A
Authority
CN
China
Prior art keywords
image
target
objective
training
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111269694.5A
Other languages
English (en)
Inventor
张毅
覃广耀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202111269694.5A priority Critical patent/CN116091900A/zh
Priority to PCT/CN2022/113972 priority patent/WO2023071464A1/zh
Publication of CN116091900A publication Critical patent/CN116091900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)

Abstract

本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置及存储介质。所述方法包括：根据ISP参数对采集到的原始图像进行处理得到目标图像，根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，目标评估结果指示评估的目标图像的图像质量；根据目标评估结果对ISP参数进行调整。本申请实施例通过调用图像质量评估模型对目标图像进行图像质量评估，输出得到目标评估结果，根据目标评估结果自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。本申请实施例提供的方法、装置可应用于智能汽车、新能源汽车等。

Description

图像处理方法、装置及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种图像处理方法、装置及存储介质。
背景技术
在自动驾驶领域，摄像头输出图像的质量除了相机本身的模组、工艺等外，还取决于图像信号处理器(Image Signal Processor，ISP)技术。
相关技术中，如图1所示，图像成像过程包括：通过镜头11拍摄景物，将生成的光学图像投射到感光传感器12表面上，然后光学图像被光电转换为模拟电信号，模拟电信号被消噪声后经过模数转换器13转换后变为数字图像信号，将数字图像信号输入至数字信号处理芯片(Digital Signal Process，DSP)14中，经过DSP14的加工处理输出YUV(或者RGB)格式的数据，再通过I/O接口传输到中央处理器(central processing unit，CPU)中处理，最终转换成电子设备的屏幕上所显示的图像。其中，DSP14的结构框架包括图像信号处理器(image signal processor，ISP)、图像解码器(JPEG encoder，JPEG)和USB设备控制器(USBdevice controller，USB)。
ISP用于对感光传感器输出的数据进行后期处理，主要功能包括黑电平补偿(black level compensation)、镜头矫正(lens shading correction)、坏像素矫正(badpixel correction)、颜色插值(demosaic)、噪声去除、白平衡矫正、色彩矫正(colorcorrection)、伽马(gamma)矫正、色彩空间转换(比如RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像头的成像质量。
当前自动驾驶领域摄像头的图像质量取决于ISP参数，然而ISP参数的调试效果取决于调测的环境、参数标定方法、调测人员经验等，调试效果不佳。
发明内容
有鉴于此，提出了一种图像处理方法、装置及存储介质，能够根据图像质量评估模型输出的目标评估结果，自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。
第一方面，本申请的实施例提供了一种图像处理方法，所述方法包括：
根据ISP参数对采集到的原始图像进行处理得到目标图像；
根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
根据所述目标评估结果对所述ISP参数进行调整。
在该实现方式中，根据ISP参数对采集到的原始图像进行处理得到目标图像，根据目标图像，调用图像质量评估模型输出得到用于指示图像质量的目标评估结果，根据目标评估结果自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在该实现方式中，目标评估结果包括目标图像的客观质量信息和主观质量信息，使得图像质量评估模型输出的参数可以在客观指标和/或主观美学上指示目标图像的质量评估情况，进一步保证了图像质量评估模型的评估效果。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在该实现方式中，在图像质量评估模型中引入场景分类层，电子设备将目标图像输入至场景分类层输出得到场景分类结果，将目标图像和场景分类结果输入至客观评分层输出得到客观质量信息，并将目标图像和场景分类结果输入至主观评分层输出得到主观质量信息，提供了一种多任务的图像处理方法，以便后续能够自动的调优不同场景类型下的ISP参数，提升各个场景下的图像质量。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在该实现方式中，客观质量信息可以包括指定维度对应的客观评分值，主观质量信息可以包括指定维度对应的主观评分值，丰富了图像质量评估模型的输出参数，进一步保证了图像质量评估模型的评估效果。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在该实现方式中，根据指定维度对应的客观评分值和主观评分值确定指定维度对应的目标评分值，根据指定维度对应的目标评分值和预设参数阈值，对指定维度对应的ISP参数进行调整，从而能够自动的调优不同场景类型下的ISP参数，提升各个场景下的图像质量，可以自动的适配自动驾驶的全天候场景，从而满足自动驾驶感知算法对图像质量的需求。
在另一种可能的实现方式中，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和其中预先标注的正确评估结果。
在该实现方式中，根据至少一组样本数据组训练得到图像质量评估模型，每组样本数据组包括样本图像和预先标注的正确评估结果，以便后续基于训练完成的图像质量评估模型输出目标评估结果，从而自动调整ISP参数，为ISP参数的调试提供了前提条件。
在另一种可能的实现方式中，所述获取所述图像质量评估模型之前，还包括：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在该实现方式中，提供了一种可能的根据训练样本集对图像质量评估模型进行训练的方案，根据至少一组样本数据组各自对应的计算损失训练得到图像质量评估模型，保证了训练完成的图像质量评估模型的评估效果。
在另一种可能的实现方式中，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果之后，还包括：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
在该实现方式中，提供了一种客观指标的自动标注方法，可以自动标注目标图像的在指定维度上的客观标注值，根据标注信息对训练样本集进行筛选，从而优化训练样本集中的样本质量，增强图像质量评估模型的稳定性，提高后续图像处理方法的精度。
第二方面，本申请的实施例提供了一种图像质量评估方法，所述方法包括：
根据ISP参数对采集到的原始图像进行处理得到目标图像；
根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述方法还包括：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述获取所述图像质量评估模型之前，还包括：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在另一种可能的实现方式中，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果之后，还包括：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
第三方面，本申请的实施例提供了一种图像质量自动提升方法，所述方法包括：
根据ISP参数对采集到的原始图像进行处理得到目标图像；
根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
根据所述目标评估结果对所述ISP参数进行调整；
根据调整后的所述ISP参数对采集到的第一图像进行处理得到第二图像。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述获取所述图像质量评估模型之前，还包括：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在另一种可能的实现方式中，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果之后，还包括：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
第四方面，本申请的实施例提供了一种客观指标标注方法，所述方法包括：
根据ISP参数对采集到的原始图像进行处理得到目标图像；
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对预先训练完成的图像质量评估模型进行训练，得到更新后的图像质量评估模型，所述图像质量评估模型为用于对图像质量进行评估的神经网络模型。
在一种可能的实现方式中，所述根据所述筛选后的训练样本集对预先训练完成的图像质量评估模型进行训练，得到更新后的图像质量评估模型之前，还包括：
根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
根据所述目标评估结果对所述ISP参数进行调整。
在另一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果，包括：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述获取所述图像质量评估模型之前，还包括：
获取所述训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
第五方面，本申请的实施例提供了一种摄像头，所述摄像头包括：ISP和处理器；
所述处理器用于执行上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法，或者，用于执行上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法，或者，用于执行上述第三方面或第三方面中的任意一种可能的实现方式所提供的方法，或者，用于执行上述第四方面或第四方面中的任意一种可能的实现方式所提供的方法。
第六方面，本申请的实施例提供了一种车辆，所述车辆包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第三方面或第三方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第四方面或第四方面中的任意一种可能的实现方式所提供的方法。
第七方面，本申请的实施例提供了一种图像处理装置，所述装置包括：
处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；
输出单元，用于根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
调整单元，用于根据所述目标评估结果对所述ISP参数进行调整。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述输出单元，还用于：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述调整单元，还用于：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述装置还包括：获取单元；
所述获取单元，用于获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述装置还包括：训练单元；所述训练单元用于：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在另一种可能的实现方式中，所述装置还包括：重训练单元；所述重训练单元，用于：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
第八方面，本申请的实施例提供了一种图像质量评估装置，所述装置包括：
处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；
输出单元，用于根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述输出单元，还用于：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述装置还包括：调整单元；所述调整单元，用于：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述装置还包括：获取单元；所述获取单元，用于：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述装置还包括：训练单元；所述训练单元，用于：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在另一种可能的实现方式中，所述装置还包括：重训练单元，所述重训练单元，用于：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
第九方面，本申请的实施例提供了一种图像质量自动提升装置，所述装置包括：
第一处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；
输出单元，用于根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
调整单元，用于根据所述目标评估结果对所述ISP参数进行调整；
第二处理单元，用于根据调整后的所述ISP参数对采集到的第一图像进行处理得到第二图像。
在一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述输出单元，还用于：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述调整单元，还用于：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述装置还包括：获取单元；所述获取单元，用于：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述装置还包括：训练单元；所述训练单元用于：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
在另一种可能的实现方式中，所述装置还包括：重训练单元；所述重训练单元，用于：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
第十方面，本申请的实施例提供了一种客观指标标注装置，所述装置包括：
处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；
标定单元，用于对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
筛选单元，用于根据所述标注信息对训练样本集进行筛选得到筛选后的训练样本集；
重训练单元，用于根据所述筛选后的训练样本集对预先训练完成的图像质量评估模型进行训练，得到更新后的图像质量评估模型，所述图像质量评估模型为用于对图像质量进行评估的神经网络模型。
在一种可能的实现方式中，所述装置，还包括：
输出单元，用于根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
调整单元，用于根据所述目标评估结果对所述ISP参数进行调整。
在另一种可能的实现方式中，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述输出单元，还用于：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
在另一种可能的实现方式中，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述调整单元，还用于：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，所述装置还包括：获取单元；
所述获取单元，用于获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，所述装置还包括：训练单元；所述训练单元用于：
获取所述训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
第十一方面，本申请的实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第三方面或第三方面中的任意一种可能的实现方式所提供的方法，或者，实现上述第四方面或第四方面中的任意一种可能的实现方式所提供的方法。
第十二方面，本申请的实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机可读代码，或者承载有所述计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述第一方面或第一方面中的任意一种可能的实现方式所提供的方法，或者，执行上述第二方面或第二方面中的任意一种可能的实现方式所提供的方法，或者，执行上述第三方面或第三方面中的任意一种可能的实现方式所提供的方法，或者，执行上述第四方面或第四方面中的任意一种可能的实现方式所提供的方法。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出相关技术中图像成像过程的示意图。
图2示出了本申请一个示例性实施例提供的电子设备的结构示意图。
图3示出了本申请一个示例性实施例提供的图像处理方法的流程图。
图4示出了本申请另一个示例性实施例提供的图像处理方法的流程图。
图5示出了本申请一个示例性实施例提供的图像质量评估模型的结构示意图。
图6示出了本申请一个示例性实施例提供的图像质量评估模型的训练过程的流程图。
图7示出了本申请另一个示例性实施例提供的图像处理方法的流程图。
图8示出了本申请另一个示例性实施例提供的图像处理方法的流程图。
图9示出了本申请一个示例性实施例提供的图像处理装置的框图。
具体实施方式
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
首先，对本申请涉及的应用场景进行介绍。
本申请实施例提供的方法、装置可应用于智能汽车、新能源汽车等领域。下面仅以本申请实施例提供的方法的执行主体为电子设备为例进行说明。请参考图2，其示出了本申请一个示例性实施例提供的电子设备的结构示意图。该电子设备可以应用于自动驾驶(Autonomous Driving，AD)或高级驾驶辅助系统(Advance Driver Assistance System，ADAS)嵌入式平台。
电子设备可以包括车辆21，车辆21可以是具有无线通信功能的车辆，其中，无线通信功能可设置于该车辆21的车载终端、车载模组、车载单元、芯片(系统)或其他部件或组件。本申请的实施例中的车辆21可以处于自动驾驶状态，即车辆21完全自主驾驶，无需驾驶员的控制或仅需驾驶员的少量控制。
车辆21上设置有摄像头22，摄像头22用于在电子设备出厂前，通过预先训练完成的图像质量评估模型对ISP参数进行调优。可选地，摄像头22包括镜头、ISP和处理器，其中，镜头用于采集原始图像，ISP用于对原始图像进行后期处理，主要功能包括黑电平补偿、镜头矫正、坏像素矫正、颜色插值、噪声去除、白平衡矫正、色彩矫正、伽马矫正、色彩空间转换(比如RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强、自动曝光控制等。其中，处理器为新增的用于图像质量增强的处理器，该处理器用于根据图像质量评估模型输出的目标评估结果，自动调整ISP参数，保证了ISP参数的调试效果，从而提高了后续经过ISP处理后的图像质量。
在本申请实施例中，ISP用于对采集到的原始图像进行处理得到目标图像；处理器用于获取目标图像，根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，目标评估结果指示评估的目标图像的图像质量；根据目标评估结果对ISP参数进行调整。
车辆21还可以上设置至少一个其他的传感器23，如车载雷达(如毫米波雷达、激光雷达、超声波雷达等)、雨量传感器、车姿传感器(如陀螺仪)、惯性测量单元(inertialmeasurement unit，IMU)、全球导航卫星系统(global navigation satellite system，GNSS)等。上述传感器23可以设置在一个车辆21上，也可以设置在多个车辆21上。
车辆21上还可以设置有自动驾驶系统24，自动驾驶系统24可用于根据传感器采集的数据，生成用于应对路面情况的自动驾驶策略，并根据生成的策略实现车辆21的自动驾驶。
车辆21上还可以设置有人机界面(human machine interface，HMI)25，人机界面25可用于通过视觉图标、语音播报方式对当前的路面情况以及自动驾驶系统24对车辆21采取的策略进行播报，以提醒相关驾乘人员。
在一种可能的实现方式中，本申请实施例的电子设备还可以包括服务器20，服务器20可以作为车载计算单元位于上述车辆21上，也可以位于云端，可以是实体设备，也可以是虚拟设备如虚拟机、容器等，具有无线通信功能，比如服务器20为多个地点的服务器(空间上解耦)资源池化后提供的虚拟设备。其中，无线通信功能可设置于该服务器20的芯片(系统)或其他部件或组件。服务器20和车辆21可以通过无线连接的方式进行通信，例如可以通过2G/3G/4G/5G等移动通信技术，以及Wi-Fi、蓝牙、调频(frequency modulation，FM)、数传电台、卫星通信等无线通信方式进行通信，例如在测试中，服务器20可承载于车辆21上并与车辆21通过无线连接的方式进行通信，通过车辆21和服务器20之间的通信，服务器20可以收集一个或多个车辆21上、或是设置在道路上或其他地方的传感器采集到的数据进行计算，并将计算结果回传给对应的车辆21。
下面，采用几个示例性实施例对本申请实施例提供的图像处理方法的进行介绍。
请参考图3，其示出了本申请一个示例性实施例提供的图像处理方法的流程图，本实施例以该方法用于图2所示的电子设备中来举例说明。该方法包括以下几个步骤。
步骤301，根据ISP参数对采集到的原始图像进行处理得到目标图像。
可选地，电子设备采集原始图像，包括：通过摄像头采集光学图像，经过感光传感器、模数转换器的预处理得到数字图像信号即原始图像。
可选地，电子设备实时或者每隔预设时间间隔通过摄像头采集光学图像。其中，预设时间间隔为默认设置的，或者自定义设置的，本申请实施例对此不加以限定。
可选地，电子设备通过ISP对采集到的原始图像进行处理，包括：电子设备通过ISP对采集到的原始图像进行黑电平补偿、镜头矫正、坏像素矫正、颜色插值、噪声去除、白平衡矫正、色彩矫正、伽马矫正、色彩空间转换(比如RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强、自动曝光控制中的至少一种处理。
可选地，原始图像的图像格式为Bayer格式，目标图像的图像格式为YUV或RGB格式。
其中，ISP参数为图像信号处理的参数。可选地，ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个。
其中，目标图像的图像质量与ISP参数相关。可选地，目标图像的图像质量指示该目标图像在客观指标和/或主观美学上的性能。
可选地，目标图像的图像质量指示该目标图像在指定维度上的客观质量评估情况和/或主观质量评估情况。示意性的，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
步骤302，根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，目标评估结果指示评估的目标图像的图像质量。
电子设备获取预先训练完成的图像质量评估模型，将目标图像输入至图像质量评估模型中输出得到目标评估结果。
电子设备获取预先训练完成的图像质量评估模型，包括但不限于如下两种可能的实现方式。
在一种可能的实现方式中，电子设备预先训练并存储图像质量评估模型。电子设备获取自身存储的图像质量评估模型。
在另一种可能的实现方式中，服务器预先训练并存储图像质量评估模型，电子设备从服务器中获取图像质量评估模型。
图像质量评估模型为采用样本图像和正确评估结果对神经网络进行训练得到的模型。即图像质量评估模型是根据样本图像和正确评估结果所确定的。其中，正确评估结果包括预先标注的对样本图像的图像质量的评估结果。比如，神经网络为多任务的卷积神经网络(Convolutional Neural Network，CNN)。本申请实施例对神经网络的类型不加以限定。
图像质量评估模型用于将输入的目标图像转化为目标评估结果，该目标评估结果指示评估的目标图像的图像质量。
图像质量评估模型用于表示目标图像与目标评估结果之间的相关关系。
图像质量评估模型为预设的数学模型，该图像质量评估模型包括目标图像与目标评估结果之间的模型系数。模型系数可以为固定值，也可以是随时间动态修改的值，还可以是随着使用场景动态修改的值。
一种可能的实施方式，图像质量评估模型可以为能够对目标图像的图像质量进行评估的卷积神经网络模型。
需要说明的是，图像质量评估模型的训练过程可参考下面实施例中的相关细节，在此先不介绍。
可选地，目标评估结果包括目标图像的客观质量信息和/或主观质量信息，其中，客观质量信息指示目标图像在客观指标上的质量评估情况，主观质量信息指示目标图像在主观美学上的质量评估情况。
可选地，客观质量信息包括指定维度对应的客观评分值，主观质量信息包括指定维度对应的主观评分值，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
步骤303，根据目标评估结果对ISP参数进行调整。
电子设备根据目标评估结果对ISP参数进行调整，从而不断提高输出图像的图像质量。
可选地，电子设备根据调整后的ISP参数对采集到的第一图像进行处理得到第二图像，其中第二图像的图像质量高于第三图像的图像质量，第二图像为基于调整后的ISP参数所处理的图像，第三图像为基于调整前的ISP参数所处理的图像。
可选地，ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个。
可选地，电子设备根据目标评估结果对ISP参数进行调整，包括：对于每个指定维度，根据指定维度对应的客观评分值和主观评分值，确定指定维度对应的目标评分值；根据指定维度对应的目标评分值和预设参数阈值，对指定维度对应的ISP参数进行调整，预设参数阈值为预设的指定维度在场景分类结果所指示的场景类型下的参数阈值。
需要说明的是，针对不同的ISP参数类型，电子设备根据目标评估结果对ISP参数进行调整的方式可参考下面实施例中的相关细节，在此先不介绍。
综上所述，根据ISP参数对采集到的原始图像进行处理得到目标图像，根据目标图像，调用图像质量评估模型输出得到用于指示图像质量的目标评估结果，根据目标评估结果自动调整ISP参数，保证了ISP参数的调试效果，提高了后续经过ISP处理后的图像质量。
在一种可能的实现方式中，图像质量评估模型包括场景分类层、客观评分层和主观评分层。场景分类层用于对目标图像进行场景分类，输出得到场景分类结果；客观评分层用于根据场景分类结果对目标图像进行客观评分得到客观质量信息；主观评分层用于根据场景分类结果对目标图像进行主观评分得到主观质量信息。在一种可能的实现方式中，如图4所示，图像处理方法包括但不限于如下几个步骤：1、采集原始图像；2、对原始图像进行ISP调优，得到调优后的目标图像；3、对目标图像进行场景分类，即将目标图像输入至图像质量评估模型的场景分类层输出得到场景分类结果；4、根据目标图像和场景分类结果进行图像质量评估，即将目标图像和场景分类结果输入至客观评分层输出得到客观质量信息，并将目标图像和场景分类结果输入至主观评分层输出得到主观质量信息。5、根据客观质量信息和主观质量信息对ISP参数进行自动调整。该方法还可以包括：6、ISP输出目标图像的同时，对目标图像的客观指标进行自动标定得到标注信息，以便后续基于标注信息优化图像质量评估模型的训练样本集，增强图像质量评估模型的稳定性和精度。
其中，以图像质量评估模型为多任务的CNN模型为例，在一个示意性的例子中，如图5所示，图像质量评估模型包括CNN编码器51、场景分类解码器52、客观评分解码器53和主观评分解码器54。CNN编码器51包括分类网络的卷积和池化层，使用三个卷积层进行下采样。CNN编码器51用于提取目标图像中的图像特征，将提取的图像特征输入至场景分类解码器52。场景分类解码器52也称场景分类层，是带有softmax激活函数的全连接层，用于根据输入的图像特征对目标图像进行场景分类，输出得到场景分类结果。客观评分解码器53也称客观评分层，用于根据输入的场景分类结果对目标图像进行客观评分得到客观质量信息。客观评分解码器53在内部基于尺度不变性，使用了一个缩放层实现对客观指标的精确评分。主观评分解码器54也称主观评分层，用于根据输入的场景分类结果对目标图像进行主观评分得到主观质量信息。主观评分解码器54在编码器特征的基础上，使用三个转置卷积层进行上采样。
需要说明的是，在电子设备获取图像质量评估模型之前，需要对训练样本集进行训练得到图像质量评估模型。下面对图像质量评估模型的训练过程进行介绍。
在一种可能的实现方式中，如图6所示，对图像质量评估模型的训练过程包括如下几个步骤：
步骤601，获取训练样本集，训练样本集包括至少一组样本数据组。
图像质量评估模型是根据至少一组样本数据组训练得到的，每组样本数据组包括：样本图像和预先标注的正确评估结果。
其中，样本图像是图像数据库中的图像，正确评估结果包括预先标注的对样本图像的图像质量的评估结果。
步骤602，对于至少一组样本数据组中的每组样本数据组，将样本图像输入原始参数模型得到训练结果，原始参数模型为多任务的神经网络模型。
可选的，原始参数模型是根据神经网络模型建立的，比如：原始参数模型是根据CNN模型建立的。
示意性的，对于每组样本数据组，电子设备创建该组样本数据组对应的输入输出对，输入输出对的输入参数为该组样本数据组中的样本图像，目标参数为该组样本数据组中的正确评估结果；电子设备将输入参数输入原始参数模型，得到训练结果。
可选的，输入输出对通过特征向量表示。
步骤603，将训练结果与正确评估结果进行比较得到计算损失，计算损失指示训练结果与正确评估结果之间的误差。
在一种可能的实现方式中，计算损失为场景分类、主观指标和客观指标各自对应的计算损失的总和。针对每组样本数据组，训练结果包括：场景分类预测结果、主观质量预测信息和客观质量预测信息，正确评估结果包括：正确场景分类结果、正确主观质量信息和正确客观质量信息。其中，正确主观质量信息包括指定维度对应的正确主观评分值，正确客观质量信息包括指定维度对应的正确客观评分值。
可选地，采用交叉熵作为场景分类对应的计算损失，该计算损失Lossclass(p,q)的计算公式如下：
Figure BDA0003328256940000161
其中，p是场景分类预测结果，q是正确场景分类结果，c是场景类型的集合。
可选地，采用置信度(confidence)的交叉熵和客观指标的损失的和作为客观指标对应的计算损失，该计算损失Lossbox(p,q)的计算公式如下：
Figure BDA0003328256940000162
其中p是客观质量预测信息，q是正确客观质量信息，x、y、m、n分别表示亮度维度、色彩维度、对比度维度、清晰度和噪声维度，i指示单个场景，i的取值为正整数，I指示场景类型的集合。
可选地，采用基于经验模态分解的损失(empirical mode decomposition-basedloss，EMD-based loss)作为主观指标对应的计算损失，即根据人类对样本图像的评价概率分布对样本图像生成评分直方图来预测，该计算损失
Figure BDA0003328256940000163
的计算公式如下：
Figure BDA0003328256940000164
其中，p是主观质量预测信息，
Figure BDA0003328256940000165
是正确主观质量信息，k是指定指标的集合，r表示根的幂次方，r为预先设置的固定值。CDFp(k)表示预测主观评分的概率的累加值，预测主观评分越高，CDFp(k)的数值越大，在预测过程中用softmax函数确保每个独立概率都大于0。
步骤604，根据至少一组样本数据组各自对应的计算损失，训练得到图像质量评估模型。
可选的，电子设备通过反向传播算法根据计算损失确定图像质量评估模型的梯度方向，从图像质量评估模型的输出层逐层向前更新图像质量评估模型中的模型参数。
基于上述实施例中训练完成的图像质量评估模型，对目标图像进行图像质量评估。请参考图7，其示出了本申请另一个示例性实施例提供的图像处理方法的流程图，本实施例以该方法用于图1所示的电子设备中来举例说明。该方法包括以下几个步骤。
步骤701，根据ISP参数对采集到的原始图像进行处理得到目标图像。
需要说明的是，电子设备根据ISP参数对采集到的原始图像进行处理得到目标图像的过程可参考上述实施例中的相关细节，在此不再赘述。
步骤702，获取图像质量评估模型，图像质量评估模型是根据至少一组样本数据组训练得到的，每组样本数据组包括：样本图像和预先标注的正确评估结果。
需要说明的是，图像质量评估模型的训练过程可参考上述实施例中的相关细节，在此不再赘述。
步骤703，将目标图像输入至场景分类层输出得到场景分类结果。
电子设备将目标图像输入至场景分类层输出得到场景分类结果，目标图像的场景分类结果用于在场景类型集合中唯一指示该目标图像对应的场景类型。
可选地，场景分类层用于根据目标图像的色温和感光度(photosensibility，ISO)确定目标图像对应的场景类型。色温可以分为七种取值，比如D75，D65，D50，TL84，A和H，其拟合的曲线能够匹配自动驾驶全天候交通场景色温。感光度可以分为三个区间，比如低感光度ISO800以下，中感光度ISO800至6400，高感光度ISO6400以上，或者ISO还可以分为十六个区间，比如ISO100、ISO200、ISO400、ISO800、ISO1600、ISO3200、ISO6400、ISO12800、ISO25600、ISO51200、ISO102400、ISO204800、ISO409600、ISO819200、ISO1638400、ISO3276800这十六个区间，基本覆盖自动驾驶的全天候的交通场景光照情况。基于色温和感光度这两个尺度，基本覆盖自动驾驶所需要的全天候场景要求。
在一种可能的实现方式中，场景类型集合包括五种场景类型，分别为：场景类型1“正午”、场景类型2“上午和下午”、场景类型3“清晨和傍晚”、场景类型4“地库和隧道”、场景类型5“夜晚”。本申请实施例对场景类型的划分方式不加以限定。
步骤704，将目标图像和场景分类结果输入至客观评分层输出得到客观质量信息，并将目标图像和场景分类结果输入至主观评分层输出得到主观质量信息。
可选地，客观质量信息包括指定维度对应的客观评分值，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
客观评分层用于基于场景分类结果，对目标图像的白平衡进行客观指标评分得到亮度维度的客观评分值，和/或，对目标图像的色彩还原进行客观指标评分得到色彩维度的客观评分值，和/或，对目标图像的纹理细节进行客观指标评分得到对比度维度的客观评分值，和/或，对目标图像的清晰度和信噪比进行客观指标评分得到清晰度和噪声维度的客观评分值。
可选地，客观评分层包括深度物体检测(object detection)神经网络，用于基于场景分类结果，对目标图像的图像质量进行客观指标评分得到客观质量信息，从而能够针对目标图像的图像质量的描述维度的客观指标，定量的分析图像质量水平。
可选地，主观质量信息包括指定维度对应的主观评分值，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。主观评分值以主观美学进行评分。主观美学是色调，对比度和图像去燥美学质量的重要因素，可以通过多层拉普拉斯滤波器找到其参数在美学上接近最佳的设置。
主观评分层用于基于场景分类结果，对目标图像的白平衡进行主观指标评分得到亮度维度的主观评分值，和/或，对目标图像的色彩还原进行主观指标评分得到色彩维度的主观评分值，和/或，对目标图像的纹理细节进行主观指标评分得到对比度维度的主观评分值，和/或，对目标图像的清晰度和信噪比进行主观指标评分得到清晰度和噪声维度的主观评分值。
可选地，主观评分层包括深度物体检测神经网络和语义分割(semanticsegmentation)神经网络，用于基于场景分类结果，对目标图像的图像质量进行主观指标评分得到主观质量信息，从而能够从直接观感(技术角度)和吸引程度(美学角度)预测人类对图像的评估意见的分布。
在一种可能的实现方式中，目标图像为训练样本集中任意一个样本图像，ISP输出目标图像的同时，对目标图像的客观指标进行自动标定得到标注信息，以便后续基于标注信息优化图像质量评估模型的训练样本集。
可选地，对目标图像进行自动标定得到标注信息，标注信息包括指定维度对应的客观标注值，根据标注信息对训练样本集进行筛选得到筛选后的训练样本集；根据筛选后的训练样本集对图像质量评估模型进行训练，得到更新后的图像质量评估模型。
可选地，根据标注信息对训练样本集进行筛选得到筛选后的训练样本集，包括：当指定维度对应的客观标注值满足预设剔除条件时将该目标图像从训练样本集中剔除，得到筛选后的训练样本集。
示意性的，预设剔除条件包括指定维度对应的客观标注值与预先标注的正确客观评分值之间的差值绝对值大于第一预设阈值。其中，第一预设阈值是默认设置的，或者是自定义设置的。本申请实施例对此不加以限定。
示意性的，预设剔除条件包括指定维度对应的客观标注值大于第二预设阈值。其中，第二预设阈值是默认设置的，或者是自定义设置的。本申请实施例对此不加以限定。
可选地，获取至少一组候选样本数据组，每组候选样本数据组包括：候选样本图像和预先标注的正确评估结果；将至少一组候选样本数据组添加至筛选后的训练样本集，根据添加后的训练样本集对图像质量评估模型进行训练，得到更新后的图像质量评估模型。该方法可以不断的增加训练样本集中样本数量、优化样本质量，增强图像质量评估模型的稳定性和精度。
可选地，标注信息包括指定维度对应的客观标注值，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
可选地，指定维度包括亮度维度，亮度维度对应的客观标注值包括亮度偏差值，亮度偏差值指示曝光情况，针对不同的场景类型分别计算目标图像在灰度图上的均值和方差，当存在亮度异常时，均值会偏离均值点区间，方差也会偏小；通过计算灰度图的均值和方差，确定目标图像的亮度偏差值。
示意性的，计算目标图像在灰度图上的均值和方差，当存在亮度异常时，均值会偏离均值点(可以假设为128)，方差也会偏小；通过计算灰度图的均值和方差，确定目标图像是否存在过曝光或曝光不足。比如，第二预设阈值为1，亮度偏差值小于1或者等于1用于指示目标图像的亮度正常，无需剔除；亮度偏差值大于1用于指示目标图像的亮度异常，将该目标图像从训练样本集中剔除。又比如，针对不同的场景类型设定不同的阈值，亮度偏差值大于第三预设阈值时用于指示目标图像的亮度过亮，亮度偏差值小于第四预设阈值时用于指示目标图像的亮度过暗，第三预设阈值大于第四预设阈值。
可选地，指定维度包括色彩维度，色彩维度对应的客观标注值包括色偏值，示意性的，目标图像为RGB图像，将RGB图像转变到CIE Lab空间，其中L表示图像亮度，a表示图像红/绿分量，b表示图像黄/蓝分量。通常存在色偏的图像，在a和b分量上的均值会偏离原点很远，方差也会偏小；通过计算目标图像在a和b分量上的均值和方差，确定目标图像存在的色偏值。
可选地，指定维度包括对比度维度，对比度维度对应的客观标注值包括gamma值。
可选地，指定维度包括清晰度和噪声维度，清晰度和噪声维度对应的客观标注值包括Brenner梯度和峰值信噪比。
可选地，根据目标图像，调用图像质量评估模型输出得到目标评估结果之后，还包括：电子设备将目标图像和目标评估结果添加至训练样本集，得到更新后的训练样本集；根据更新后的训练样本集对图像质量评估模型进行训练，得到更新后的图像质量评估模型。
步骤705，根据客观质量信息和主观质量信息对ISP参数进行调整。
可选地，ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，根据目标评估结果对ISP参数进行调整，包括：对于每个指定维度，根据指定维度对应的客观评分值和主观评分值，确定指定维度对应的目标评分值；根据指定维度对应的目标评分值和预设参数阈值，对指定维度对应的ISP参数进行调整，预设参数阈值为预设的指定维度在场景分类结果所指示的场景类型下的参数阈值。
可选地，根据指定维度对应的客观评分值、主观评分值、客观评分值的第一权重值和主观评分值的第二权重值，确定指定维度对应的目标评分值。其中，客观评分值的第一权重值和主观评分值的第二权重值是默认设置的，或者自定义设置的，本申请实施例对此不加以限定。
可选地，根据调整后的ISP参数更新训练样本集，根据更新后的训练样本集对图像质量评估模型进行训练，得到更新后的图像质量评估模型。
综上所述，本方案提出的一种自动驾驶领域的多任务的图像处理方法，能够自动的调优不同场景类型下的ISP参数，提升各个场景下的图像质量，自动的适配自动驾驶的全天候场景，从而满足自动驾驶感知算法对图像质量的需求。同时提供了一种客观指标的自动标注方法，可以自动标注目标图像在指定维度上的客观标注值，根据标注信息对训练样本集进行筛选，从而优化训练样本集中的样本质量，还可以不断地增加样本数量、从而增强图像质量评估模型的稳定性，提高图像处理方法的精度。
请参考图8，其示出了本申请一个示例性实施例提供的图像质量自动提升方法的流程图，本实施例以该方法用于图1所示的电子设备中来举例说明。该方法包括以下几个步骤。
步骤801，根据ISP参数对采集到的原始图像进行处理得到目标图像。
步骤802，根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，目标评估结果指示评估的目标图像的图像质量。
步骤803，根据目标评估结果对ISP参数进行调整。
需要说明的是，电子设备根据图像质量评估模型输出的目标评估结果对ISP参数进行调整的过程可参考上述实施例中的相关细节，在此不再赘述。
步骤804，根据调整后的ISP参数对采集到的第一图像进行处理得到第二图像。
可选地，电子设备根据调整后的ISP参数对第一图像进行处理得到第二图像，其中第二图像的图像质量高于第三图像的图像质量，第二图像为基于调整后的ISP参数所处理的图像，第三图像为基于调整前的ISP参数所处理的图像。
需要说明的是，电子设备根据调整后的ISP参数对采集到的第一图像进行处理得到第二图像的过程可类比参考根据ISP参数对采集到的原始图像进行处理得到目标图像的过程的相关细节，在此不再赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图9，其示出了本申请一个示例性实施例提供的图像处理装置的框图。该装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或者一部分。该装置可以包括：处理单元910、输出单元920和调整单元930。
处理单元910，用于根据ISP参数对采集到的原始图像进行处理得到目标图像，目标图像的图像质量与ISP参数相关；
输出单元920，用于根据目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，目标评估结果指示评估的目标图像的图像质量；
调整单元930，用于根据目标评估结果对ISP参数进行调整。
在一种可能的实现方式中，目标评估结果包括目标图像的客观质量信息和主观质量信息；
其中，客观质量信息指示目标图像在客观指标上的质量评估情况，主观质量信息指示目标图像在主观美学上的质量评估情况。
在另一种可能的实现方式中，图像质量评估模型包括场景分类层、客观评分层和主观评分层，输出单元920，还用于：
将目标图像输入至场景分类层输出得到场景分类结果；
将目标图像和场景分类结果输入至客观评分层输出得到客观质量信息，并将目标图像和场景分类结果输入至主观评分层输出得到主观质量信息。
在另一种可能的实现方式中，客观质量信息包括指定维度对应的客观评分值，主观质量信息包括指定维度对应的主观评分值，指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
在另一种可能的实现方式中，ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，调整单元930，还用于：
对于每个指定维度，根据指定维度对应的客观评分值和主观评分值，确定指定维度对应的目标评分值；
根据指定维度对应的目标评分值和预设参数阈值，对指定维度对应的ISP参数进行调整，预设参数阈值为预设的指定维度在场景分类结果所指示的场景类型下的参数阈值。
在另一种可能的实现方式中，该装置还包括：获取单元；
获取单元，用于获取图像质量评估模型，图像质量评估模型是根据至少一组样本数据组训练得到的，每组样本数据组包括：样本图像和预先标注的正确评估结果。
在另一种可能的实现方式中，该装置还包括：训练单元；训练单元用于：
获取训练样本集，训练样本集包括至少一组样本数据组；
对于至少一组样本数据组中的每组样本数据组，将样本图像输入原始参数模型得到训练结果，原始参数模型为多任务的神经网络模型；
将训练结果与正确评估结果进行比较得到计算损失，计算损失指示训练结果与正确评估结果之间的误差；
根据至少一组样本数据组各自对应的计算损失，训练得到图像质量评估模型。
在另一种可能的实现方式中，该装置还包括：重训练单元；重训练单元，用于：
对目标图像进行自动标定得到标注信息，标注信息包括指定维度对应的客观标注值；
根据标注信息对训练样本集进行筛选得到筛选后的训练样本集；
根据筛选后的训练样本集对图像质量评估模型进行训练，得到更新后的图像质量评估模型。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本申请实施例提供了一种摄像头，该摄像头包括：ISP和处理器；处理器用于执行上述由电子设备执行的方法。
本申请的实施例提供了一种车辆，车辆包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令时实现上述由电子设备执行的方法。
本申请实施例提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当计算机可读代码在电子设备的处理器中运行时，电子设备中的处理器执行上述由电子设备执行的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器执行时实现上述由电子设备执行的方法。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RandomAccess Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(Electrically Programmable Read-Only-Memory，EPROM或闪存)、静态随机存取存储器(Static Random-Access Memory，SRAM)、便携式压缩盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、数字多功能盘(Digital Video Disc，DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
这里所描述的计算机可读程序指令或代码可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(Local Area Network，LAN)或广域网(WideArea Network，WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(Field-ProgrammableGate Array，FPGA)或可编程逻辑阵列(Programmable Logic Array，PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的装置、系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。
也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行相应的功能或动作的硬件(例如电路或ASIC(Application SpecificIntegrated Circuit，专用集成电路))来实现，或者可以用硬件和软件的组合，如固件等来实现。
尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其它变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其它单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (20)

1.一种图像处理方法，其特征在于，所述方法包括：
根据ISP参数对采集到的原始图像进行处理得到目标图像；
根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
根据所述目标评估结果对所述ISP参数进行调整。
2.根据权利要求1所述的方法，其特征在于，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
3.根据权利要求2所述的方法，其特征在于，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，包括：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
4.根据权利要求2或3所述的方法，其特征在于，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
5.根据权利要求4所述的方法，其特征在于，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述根据所述目标评估结果对所述ISP参数进行调整，包括：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
6.根据权利要求1至5任一所述的方法，其特征在于，所述根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果之前，还包括：
获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
7.根据权利要求6的方法，其特征在于，所述获取所述图像质量评估模型之前，还包括：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
8.根据权利要求7所述的方法，其特征在于，所述根据所述目标图像，调用所述图像质量评估模型输出得到目标评估结果之后，还包括：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
9.一种图像处理装置，其特征在于，所述装置包括：
处理单元，用于根据ISP参数对采集到的原始图像进行处理得到目标图像；
输出单元，用于根据所述目标图像，调用预先训练完成的图像质量评估模型输出得到目标评估结果，所述图像质量评估模型为采用样本图像对神经网络进行训练得到的模型，所述目标评估结果指示评估的所述目标图像的图像质量；
调整单元，用于根据所述目标评估结果对所述ISP参数进行调整。
10.根据权利要求9所述的装置，其特征在于，所述目标评估结果包括所述目标图像的客观质量信息和主观质量信息；
其中，所述客观质量信息指示所述目标图像在客观指标上的质量评估情况，所述主观质量信息指示所述目标图像在主观美学上的质量评估情况。
11.根据权利要求10所述的装置，其特征在于，所述图像质量评估模型包括场景分类层、客观评分层和主观评分层，所述输出单元，还用于：
将所述目标图像输入至所述场景分类层输出得到场景分类结果；
将所述目标图像和所述场景分类结果输入至所述客观评分层输出得到所述客观质量信息，并将所述目标图像和所述场景分类结果输入至所述主观评分层输出得到所述主观质量信息。
12.根据权利要求10或11所述的装置，其特征在于，所述客观质量信息包括指定维度对应的客观评分值，所述主观质量信息包括所述指定维度对应的主观评分值，所述指定维度包括亮度维度、色彩维度、对比度维度、清晰度和噪声维度中的至少一个。
13.根据权利要求12所述的装置，其特征在于，所述ISP参数包括亮度、色彩、对比度、清晰度和噪声中的至少一个，所述调整单元，还用于：
对于每个所述指定维度，根据所述指定维度对应的所述客观评分值和所述主观评分值，确定所述指定维度对应的目标评分值；
根据所述指定维度对应的所述目标评分值和预设参数阈值，对所述指定维度对应的所述ISP参数进行调整，所述预设参数阈值为预设的所述指定维度在所述场景分类结果所指示的场景类型下的参数阈值。
14.根据权利要求9至13任一所述的装置，其特征在于，所述装置还包括：获取单元；
所述获取单元，用于获取所述图像质量评估模型，所述图像质量评估模型是根据至少一组样本数据组训练得到的，每组所述样本数据组包括：所述样本图像和预先标注的正确评估结果。
15.根据权利要求14的装置，其特征在于，所述装置还包括：训练单元；所述训练单元用于：
获取训练样本集，所述训练样本集包括所述至少一组样本数据组；
对于所述至少一组样本数据组中的每组样本数据组，将所述样本图像输入原始参数模型得到训练结果，所述原始参数模型为多任务的神经网络模型；
将所述训练结果与所述正确评估结果进行比较得到计算损失，所述计算损失指示所述训练结果与所述正确评估结果之间的误差；
根据所述至少一组样本数据组各自对应的计算损失，训练得到所述图像质量评估模型。
16.根据权利要求15所述的装置，其特征在于，所述装置还包括：重训练单元；所述重训练单元，用于：
对所述目标图像进行自动标定得到标注信息，所述标注信息包括指定维度对应的客观标注值；
根据所述标注信息对所述训练样本集进行筛选得到筛选后的训练样本集；
根据所述筛选后的训练样本集对所述图像质量评估模型进行训练，得到更新后的图像质量评估模型。
17.一种摄像头，其特征在于，所述摄像头包括：ISP和处理器；
所述处理器用于执行权利要求1-8任意一项所述的方法。
18.一种车辆，其特征在于，所述车辆包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令时实现权利要求1-8任意一项所述的方法。
19.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1-8中任意一项所述的方法。
20.一种计算机程序产品，所述计算机程序产品包括计算机可读代码，或者承载有所述计算机可读代码的非易失性计算机可读存储介质，其特征在于，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行权利要求1-8任意一项所述的方法。
CN202111269694.5A 2021-10-29 2021-10-29 图像处理方法、装置及存储介质 Pending CN116091900A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111269694.5A CN116091900A (zh) 2021-10-29 2021-10-29 图像处理方法、装置及存储介质
PCT/CN2022/113972 WO2023071464A1 (zh) 2021-10-29 2022-08-22 图像处理方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111269694.5A CN116091900A (zh) 2021-10-29 2021-10-29 图像处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116091900A true CN116091900A (zh) 2023-05-09

Family

ID=86160200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111269694.5A Pending CN116091900A (zh) 2021-10-29 2021-10-29 图像处理方法、装置及存储介质

Country Status (2)

Country Link
CN (1) CN116091900A (zh)
WO (1) WO2023071464A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824116A (zh) * 2023-06-26 2023-09-29 爱尔眼科医院集团股份有限公司 一种超广角眼底影像识别方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116506622B (zh) * 2023-06-26 2023-09-08 瀚博半导体(上海)有限公司 模型训练方法及视频编码参数优化方法和装置
CN117649358B (zh) * 2024-01-30 2024-04-16 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103471709A (zh) * 2013-09-17 2013-12-25 吉林大学 乘用车车内噪声声品质预测方法
KR20200134374A (ko) * 2019-05-21 2020-12-02 삼성전자주식회사 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
CN111047182B (zh) * 2019-12-10 2021-12-28 北京航空航天大学 一种基于深度无监督学习的空域复杂度评估方法
CN111327824B (zh) * 2020-03-02 2022-04-22 Oppo广东移动通信有限公司 拍摄参数的选择方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116824116A (zh) * 2023-06-26 2023-09-29 爱尔眼科医院集团股份有限公司 一种超广角眼底影像识别方法、装置、设备及存储介质

Also Published As

Publication number Publication date
WO2023071464A1 (zh) 2023-05-04

Similar Documents

Publication Publication Date Title
CN116091900A (zh) 图像处理方法、装置及存储介质
CN107784654B (zh) 图像分割方法、装置及全卷积网络系统
US11127117B2 (en) Information processing method, information processing apparatus, and recording medium
CN108335306B (zh) 图像处理方法及装置、电子设备和存储介质
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
CN113056769A (zh) 利用软交叉熵损失的语义分段
CN109003297B (zh) 一种单目深度估计方法、装置、终端和存储介质
CN110796009A (zh) 基于多尺度卷积神经网络模型的海上船只检测方法及系统
CN107316286B (zh) 一种图像中雨雾同步合成、去除的方法和装置
CN111797983A (zh) 一种神经网络构建方法以及装置
CN109766828A (zh) 一种车辆目标分割方法、装置及通信设备
US11800076B2 (en) Spatially varying reduction of haze in images
CN109587392B (zh) 监控设备的调整方法及装置、存储介质、电子装置
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN115424264A (zh) 全景分割方法及相关装置、电子设备、存储介质
CN112465709A (zh) 一种图像增强方法、装置、存储介质及设备
CN113673474B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN114549373A (zh) Hdr图像生成方法、装置、电子设备及可读存储介质
CN111079807B (zh) 一种地物分类方法及装置
CN116310889A (zh) 无人机环境感知数据的处理方法、控制终端以及存储介质
Zhang et al. A compensation textures dehazing method for water alike area
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN113392723A (zh) 基于人工智能的无人机迫降区域筛选方法、装置及设备
CN116917954A (zh) 图像检测方法、装置和电子设备
KR101958725B1 (ko) Mars를 활용한 영상 컬러 맵핑 수행 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination