CN117615262A

CN117615262A - 图像信号处理方法及图像信号处理装置

Info

Publication number: CN117615262A
Application number: CN202211521917.7A
Authority: CN
Inventors: 高源�; 郭一民; 罗谌持
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2022-08-22
Filing date: 2022-11-30
Publication date: 2024-02-27

Abstract

本申请公开了一种图像信号处理方法，应用于图像处理场景，可自动调试ISP参数，提高ISP参数调试效率。该方法包括基于获取的图像内容进行用户感兴趣区域划分，随后分析该感兴趣区域待提升的图像属性，调节摄像机的采集状态获取相应的引导图像，最后，通过ISP参数搜索系统，以引导图像为目标，自动化搜索并调试相机的ISP参数，从而提升图像感兴趣区域的图像质量效果。

Description

图像信号处理方法及图像信号处理装置

本申请要求于2022年8月22日提交中国专利局、申请号为202211005661.4、发明名称为“一种自动调试拍摄参数的方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请涉及图像处理技术领域，尤其涉及图像信号处理方法及图像信号处理装置。

背景技术

在日常生活中，摄像机需要在地点、时间等不同场景因素下进行有效地场景拍摄，以良好记录场景内正在发生的事件。然而，摄像机应用场景多变，在暗光低照等恶劣成像环境下，摄像机无法将捕捉到的所有信息完全良好地呈现给用户。需要牺牲部分图像内容(即图像劣化)来确保用户感兴趣的关键内容真实且明晰地呈现。

由于图像拍摄场景多变，用户关注的内容也往往多变，因此，如何通过ISP参数调试最大程度上提升关键内容的显现质量，是一个极其困难的问题。

通常的ISP参数调试，是在提供调参装置和软件平台的基础上，人工对摄像机的ISP参数进行调试，该方法依赖个体经验，耗时费力且效率较低。

发明内容

本申请的第一方面提供了一种图像信号处理方法，包括：确定第一图像中的感兴趣区域对应的第一子图像，所述第一图像为摄像机采集的第一生RAW图像经第一ISP参数处理得到的图像；确定所述第一子图像的待优化的目标图像属性；根据所述第一子图像的第一引导图像调整所述第一ISP参数，所述第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

本申请提供的图像信号处理方法，通过分析第一图像的感兴趣区域中待优化的目标图像属性，基于在所述目标图像属性维度的图像效果优于所述感兴趣区域在所述目标图像属性维度的图像效果的第一引导图像，调整第一ISP参数。由此，可以提高图像信号处理装置对应于感兴趣区域在所述目标图像属性维度的图像效果。该图像信号处理方法可以通过图像信号处理装置自动化完成，无需依赖人工处理经验，可以提高ISP参数调试效率。

在第一方面的一种可能的实现方式中，所述确定所述第一子图像的待优化的目标图像属性，包括：从所述第一子图像的多个图像属性中确定所述目标图像属性，所述多个图像属性包括：亮度、色彩和噪声细节，所述噪声细节包括静态噪声细节和动态噪声细节。

本申请提供的图像信号处理方法，为了让用户感兴趣的关键内容真实明晰地呈现，可以从图像的不同图像属性维度进行考察，确定待优化的目标图像属性。这里，图像属性可以是衡量图像质量的各种维度的指标，例如亮度、色彩或噪声细节，此外，还可以是对比度等其他维度，具体维度数量和内容不做限定。具体地，对每个维度的衡量方式也有多种，例如色彩维度，可以考察色彩偏差和/或色彩饱和度；亮度或对比度维度，可以考察是否过亮、适中或过暗；噪声细节维度可以具体细分为静态噪声细节和动态噪声细节，其中，静态噪声细节用于衡量视频帧中相对摄像机保持静止的物体的噪声情况，动态噪声细节用于衡量视频帧中相对摄像机运动的物体的噪声情况，噪声细节维度，可以考察噪声是否较大、适中或较小。可以理解的是，为了提高图像质量，可以从更全面的维度中筛选目标图像属性，目标图像属性可以包括一个或多个。

在第一方面的一种可能的实现方式中，所述从所述第一子图像的多个图像属性中确定所述目标图像属性，包括：通过预设算法分别确定亮度、色彩和噪声细节是否为待优化的图像属性。

从多个图像属性中确定目标图像属性的方式有多种，具体地，可以基于预设算法分别判断每个考察的图像属性是否需要优化，需要优化的图像属性即确定为目标图像属性，这里的预设算法可以为各类已有算法，例如神经网络模型等，对于具体算法类型此处不做限定。需要说明的是，可以通过单个算法直接输出目标图像属性，也可以通过不同算法分别对每个图像属性维度进行判断。基于预设算法确定目标图像属性的实现方式简单易行。

在第一方面的一种可能的实现方式中，所述从所述第一子图像的多个图像属性中确定所述目标图像属性，包括：获取参考图像，所述参考图像在所述多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果；对比所述第一子图像和所述参考图像以确定所述目标图像属性。

在另一种可能的实现方式中，可以获取参考图像，通过参考图像与第一子图像的对比确定目标图像属性。相较直接通过算法获取目标图像属性的实现方式，基于图像效果较优的参考图像进行对比的实现方式可以提高判断目标图像属性的准确程度。

在第一方面的一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；所述获取参考图像，包括：调整所述摄像机至第二状态，以采集得到第二RAW图像，所述第二RAW图像的第二增益小于所述第一RAW图像的第一增益，且所述第二RAW图像与所述第一RAW图像的图像亮度差异小于阈值；将所述第二RAW图像经对应于所述第二增益的第二ISP参数处理，得到所述参考图像。

本申请提供的图像信号处理方法，提供了获取参考图像的具体实现方式，通过调节摄像机传感器状态，降低传感器增益参数，由此图像的动态范围增加，噪声降低，基于对应低增益参数的ISP处理后的图像质量提升，可以获取一个在多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果的参考图像。

值得说明的是，由于参考图像在多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果，因此，还可以作为第一子图像的引导图像进行ISP参数搜索(可简称搜参)。

在第一方面的一种可能的实现方式中，在所述第一状态下，所述摄像机未开启补光灯；所述调整所述摄像机至第二状态，包括开启所述摄像机的补光灯。

本申请提供的图像信号处理方法，提供了调整摄像机硬件状态以获取参考图像的一种具体方式，即对于正常工作状态(也就是拍摄第一图像时的第一状态)未开启摄像机的补光灯的前提下，通过开启摄像机的补光灯，降低摄像机传感器的增益参数。可以理解的是，对于补光灯亮度可调节的摄像机，基于同样的调整思路，无论第一状态下的补光灯是否开启，调整摄像机至第二状态的方式是提高补光灯亮度。此外，在补光灯状态不变的前提下，还可以通过增大摄像机光圈调整摄像机状态至第二状态，或者，补光灯亮度增加的同时，增大光圈。

在第一方面的一种可能的实现方式中，所述第二增益小于或等于所述第一增益的1/2。

本申请提供的图像信号处理方法，提供了调整摄像机以获取参考图像的一种具体方式，为获取图像效果较优的参考图像，降低摄像机传感器的第二增益系数至小于或等于第一增益系数的1/2，可选地，第二增益系数为第一增益系数的1/2至1/10000，具体数值不做限定。可以理解的是，可以通过调整摄像机硬件状态实现增益系数减少，或者通过调节摄像机软件状态(例如累加多帧图像，增加时域强度)模拟增益系数减少。

在第一方面的一种可能的实现方式中，所述第一引导图像为所述参考图像。

本申请提供的图像信号处理方法，在基于参考图像确定目标图像属性的实现方式中，可以直接将参考图像作为引导图像进行搜参。

在第一方面的一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；在所述目标图像属性包括静态噪声细节的情况下，所述方法还包括：将所述摄像机在所述第一状态下连续采集的多帧RAW图像进行累加得到第三RAW图像；根据与所述第三RAW图像的增益对应的第三ISP参数处理所述第三RAW图像得到所述第一引导图像。

本申请提供的图像信号处理方法，提供了目标图像属性包括静态噪声细节的情况下，获取引导图像的另一种实现方式，即通过提高时域强度，累加多帧RAW图像获取第二引导图像，该第二引导图像通过该方法获取的第二引导图像，在静态噪声细节维度的图像效果佳，可用于引导搜索与静态噪声细节相关的ISP参数。

在第一方面的一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：根据所述第一引导图像调整所述亮度ISP参数；或者，若所述目标图像属性包括色彩，所述根据所述第一引导图像调整所述第一ISP参数，包括；根据所述第一引导图像调整所述色彩ISP参数；或者，若所述目标图像属性包括噪声细节，所述根据所述第一引导图像调整所述第一ISP参数，包括：根据所述第一引导图像调整所述噪声细节ISP参数。

本申请提供的图像信号处理方法，可以针对待优化的目标图像属性，针对性调整与该目标图像属性相关的ISP参数，有效提升该目标图像属性的图像效果。

在第一方面的一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性中每个图像属性对应的ISP参数。

本申请提供的图像信号处理方法，在目标图像属性包括亮度、色彩和噪声细节中的至少两个的情况下，可以根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性对应的ISP参数。由于亮度指示整体图像信号强度，色彩代表信号的中频梯度，噪声细节代表信号的高频梯度。对亮度ISP参数的调整会影响图像色彩和噪声细节的呈现，对色彩ISP参数的调整会影响噪声细节的呈现，因此，以亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性对应的ISP参数可以避免对于已调整的图像属性维度的影响，更好提升图像效果。

在第一方面的一种可能的实现方式中，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：根据第一引导图像和搜索RAW图像，采用搜索算法搜索得到目标ISP参数；将所述第一ISP参数替换为所述目标ISP参数。

在第一方面的一种可能的实现方式中，根据该搜索算法确定多个搜索ISP参数；获取搜索RAW图像；将该搜索RAW图像分别经该多个搜索ISP参数处理，得到分别对应于该多个搜索ISP参数的多个搜索图像；根据该第一引导图像确定该多个搜索图像中的目标搜索图像，该目标搜索图像对应的搜索ISP参数为该目标ISP参数。

在第一方面的一种可能的实现方式中，该根据该第一引导图像确定该多个搜索图像中的目标搜索图像，包括：将该多个搜索图像和该第一引导图像输入图像质量评估算法，获取对应于该多个搜索图像的多个图像质量评分；根据该多个图像质量评分确定该目标搜索图像。

在第一方面的一种可能的实现方式中，根据该搜索算法确定第一搜索ISP参数组，第一搜索ISP参数组包括所述多个搜索ISP参数；将搜索RAW图像分别经该第一搜索ISP参数组处理，得到第一搜索图像组，第一搜索图像组包括分别对应于该多个搜索ISP参数的多个搜索图像；

将所述第一搜索图像组和所述第一引导图像输入图像质量评估算法，获取所述第一搜索图像组中每个搜索图像对应的图像质量评分；

根据所述图像质量评分从所述第一搜索ISP参数组中确定第一目标ISP参数组，所述第一目标ISP参数组中任一ISP参数的图像质量评分高于所述搜索ISP参数组中除所述第一目标ISP参数组中的ISP参数的图像质量评分；

将所述第一目标ISP参数组输入所述搜索算法，获取第二搜索ISP参数组；

将搜索RAW图像经第二搜索ISP参数组中的每个ISP参数分别处理，得到的第二搜索图像组；

将所述第二搜索图像组和所述第一引导图像输入图像质量评估算法，获取所述第二搜索图像组中每个搜索图像对应的图像质量评分；

根据所述图像质量评分从所述第一搜索ISP参数组和第二搜索ISP参数组中确定第二目标ISP参数组，所述第二目标ISP参数组中任一ISP参数的图像质量评分高于所述第一搜索ISP参数组和第二搜索ISP参数组中除所述第二目标ISP参数组中的ISP参数对应的图像质量评分，所述第二目标ISP参数组包括所述目标ISP参数。

若通过所述搜索算法搜索ISP参数的次数大于或等于预设阈值，或所述第一图像质量评分大于或等于预设分值，则停止获取所述第一搜索图像。

本申请提供的图像信号处理方法，以第一引导图像作为引导，根据搜索算法以及搜索RAW图像进行搜参，以确定目标ISP参数。具体地，搜索算法可以用于输出多个搜索ISP参数，即候选ISP参数集，搜索RAW图像可以是一个或多个，搜索图像分别经多个搜索ISP参数处理得到多个搜索图像，用搜索图像与第一引导图对比确定最优的搜索图像，该搜索图像对应的搜索ISP参数即为目标ISP参数。在一种可能的实现方式中，若目标图像属性为以下一项或多项：亮度、色彩、静态噪声细节，搜索RAW图像为摄像机在第一状态下采集得到的RAW图像。

在一种可能的实现方式中，若目标图像属性包括动态噪声细节：搜索RAW图像为摄像机在第二状态下采集并经加噪声处理得到的图像。通过加噪声处理可以获取图像内容对齐的数据，即没有晃动的，亮度无变化，只是有噪声减少的图像。

在第一方面的一种可能的实现方式中，所述确定第一图像中的感兴趣区域对应的第一子图像，包括：确定至少两个感兴趣区域；合并所述至少两个感兴趣区域得到所述第一子图像。

本申请提供的图像信号处理方法，若第一图像中用户感兴趣的区域有至少两个，例如多人合影的场景下，图像中的多个人脸区域均为感兴趣对象，通过合并该至少两个感兴趣对象得到第一子图像。

在第一方面的一种可能的实现方式中，所述确定第一图像中的感兴趣区域对应的第一子图像，包括：根据用户选择确定所述第一子图像，或者根据智能检测算法确定所述第一子图像。

本申请提供的图像信号处理方法，确定第一图像中的感兴趣区域对应的第一子图像的方式有多种，可选地，获取用户选取的第一图像中的感兴趣区域，感兴趣区域对应的图像即为第一子图像，例如，在用户显示界面显示选择框，用户可以移动或缩放选择框以确定第一子图像；可选地，可以根据智能检测算法确定感兴趣区域对应的第一子图像，这里对于智能检测算法的具体类型不做限定。

本申请的第二方面提供了一种图像信号处理装置，包括：确定单元，用于确定第一图像中的感兴趣区域对应的第一子图像，所述第一图像为摄像机采集的第一生RAW图像经第一ISP参数处理得到的图像；所述确定单元，还用于确定所述第一子图像的待优化的目标图像属性；处理单元，用于根据所述第一子图像的第一引导图像调整所述第一ISP参数，所述第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

在第二方面的一种可能的实现方式中，所述确定单元具体用于：从所述第一子图像的多个图像属性中确定所述目标图像属性，所述多个图像属性包括：亮度、色彩和噪声细节，所述噪声细节包括静态噪声细节和动态噪声细节。

在第二方面的一种可能的实现方式中，所述确定单元具体用于：通过预设算法分别确定亮度、色彩和噪声细节是否为待优化的图像属性。

在第二方面的一种可能的实现方式中，所述确定单元具体用于：获取参考图像，所述参考图像在所述多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果；对比所述第一子图像和所述参考图像以确定所述目标图像属性。

在第二方面的一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；所述确定单元具体用于：调整所述摄像机至第二状态，以采集得到第二RAW图像，所述第二RAW图像的第二增益小于所述第一RAW图像的第一增益，且所述第二RAW图像与所述第一RAW图像的图像亮度差异小于阈值；将所述第二RAW图像经对应于所述第二增益的第二ISP参数处理，得到所述参考图像。

在第二方面的一种可能的实现方式中，在所述第一状态下，所述摄像机未开启补光灯；所述调整摄像机至第二状态包括：开启所述摄像机的补光灯。

在第二方面的一种可能的实现方式中，所述第二增益小于或等于所述第一增益的1/2。

在第二方面的一种可能的实现方式中，所述第一引导图像为所述参考图像。

在第二方面的一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；在所述目标图像属性包括静态噪声细节的情况下，所述处理单元还用于：将所述摄像机在所述第一状态下连续采集的多帧RAW图像进行累加得到第三RAW图像；根据与所述第三RAW图像的增益对应的第三ISP参数处理所述第三RAW图像得到所述第一引导图像。

在第二方面的一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度，所述处理单元，具体用于：根据所述第一引导图像调整所述亮度ISP参数；或者，若所述目标图像属性包括色彩，所述处理单元，具体用于：根据所述第一引导图像调整所述色彩ISP参数；或者，若所述目标图像属性包括噪声细节，所述处理单元，具体用于：根据所述第一引导图像调整所述噪声细节ISP参数。

在第二方面的一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述处理单元，具体用于：根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性中每个图像属性对应的ISP参数。

在第二方面的一种可能的实现方式中，所述处理单元，具体用于：根据第一引导图像和搜索RAW图像，采用搜索算法搜索得到目标ISP参数；将所述第一ISP参数替换为所述目标ISP参数。

在第二方面的一种可能的实现方式中，所述确定单元，具体用于：确定至少两个感兴趣区域；合并所述至少两个感兴趣区域得到所述第一子图像。

在第二方面的一种可能的实现方式中，所述处理单元，具体用于：根据用户选择确定所述第一子图像，或者根据智能检测算法确定所述第一子图像。

本申请第三方面提供了一种图像信号处理装置，包括：存储器，所述存储器中存储有计算机可读指令；与所述存储器相连的处理器，所述计算机可读指令被所述处理器执行时，使得所述图像信号处理装置实现如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第四方面提供了计算机程序产品，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第五方面提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行如上述第一方面以及各种可能的实现方式中任一项所述的方法。

本申请第六方面提供了一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行上述任一方面任意可能的实现方式中的方法。可选地，该芯片该包括存储器，该存储器与该处理器通过电路或电线与存储器连接。进一步可选地，该芯片还包括通信接口，处理器与该通信接口连接。通信接口用于接收需要处理的数据和/或信息，处理器从该通信接口获取该数据和/或信息，并对该数据和/或信息进行处理，并通过该通信接口输出处理结果。该通信接口可以是输入输出接口。

其中，第二方面、第三方面、第四方面、第五方面或第六方面以及其中任一种实现方式所带来的技术效果可参见第一方面中相应实现方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请实施例提供的图像信号处理的应用场景架构图；

图2为本申请实施例中图像信号处理的方法的一个实施例示意图；

图3为本申请实施例中获取第一子图像的流程示意图；

图4为本申请实施例中图像属性的评判示意图；

图5为本申请实施例中获取待优化的目标图像属性的流程示意图；

图6为本申请实施例中获取引导图像的流程示意图；

图7为本申请实施例中搜索ISP参数的流程示意图；

图8为本申请实施例中ISP自动调节系统总框架示意图；

图9为本申请实施例中图像信号处理的方法的另一个实施例示意图；

图10为本申请实施例中图像信号处理装置的一个实施例示意图；

图11为本申请实施例中图像信号处理装置的另一个实施例示意图。

具体实施方式

本申请公开了一种图像信号处理方法，用于自动调试ISP参数，提高ISP参数调试效率。

下面结合附图，对本申请的实施例进行描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。在本申请中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相类似的技术效果即可。

本申请实施例提供了一种图像信号处理的方法，该方法可以由图像信号处理装置实现。该图像信号处理装置可以是具有图像拍摄功能的终端设备，如手机、相机、摄影机等，摄像机可以是视频监控设备或手持摄像机等，另外，该图像信号处理装置也可以是视频监控设备与其它设备的组合，视频监控设备仅负责拍摄图像，其它设备负责基于图像进行的各种处理。本申请实施例对于图像信号处理装置的具体设备形态不做限定。

下面对图像信号处理方法的应用场景架构进行介绍，请参阅图1，图1示出的图像信号处理装置用于拍摄生图像(即RAW图像)，对RAW图像进行ISP处理，得到ISP处理输出图像，然后对图像进行显示。

图像信号处理装置可以包括图像采集模块、处理器、存储模块和显示模块。

图像采集模块可以包括镜头、图像传感器和模数转换器。镜头可以由一个镜片或多个同轴的镜片组成，图像传感器(sensor)可以为互补金属氧化物半导体(complementarymetal oxide semiconductor，CMOS)或电荷耦合器件(charge coupled device，CCD)等。处理器可以为芯片级系统(system on chip，SoC)，可以包括ISP单元和人工智能(artificialintelligence，AI)单元。存储模块或称存储器、存储单元，可以在AI单元内部、ISP单元内部、处理器内部AI单元和ISP单元之外、处理器外部中的一处或多处设置，图1中以存储模块在处理器内部AI单元和ISP单元之外为例进行示意。可选的，图像采集模块还可以包括有线或无线通信模块。

镜头设置在图像信号处理装置的外壳上，图像传感器、模数转换器和处理器设置在外壳的内部。图像传感器位于镜头的主光轴上，其感光面与主光轴垂直。模数转换器与图像传感器电性连接。处理器与模数转换器电性连接。

镜头将光线汇聚到图像传感器，图像传感器进行光电转换，将光信号转换为模拟电信号，输入模数转换器，模数转换器将模拟电信号转换为数字电信号，即得到生(RAW)图像。模数转换器将RAW图像输入处理器，处理器中的ISP单元对RAW图像进行ISP处理，得到ISP单元输出图像，然后处理器中的AI单元对ISP单元输出图像进行编码获得编码后的图像。

RAW图像包括RGGB、RYYB、RCCC、RCCB、RGBW、CMYW等多种类型。RAW图像的文件格式例如是.3fr，.ari，.arw，.bay，.braw，.crw，.cap，.dcr，.dcs，.drf，.eip或.erf。RAW图像除了来自于摄像机，还可以来自于图像扫描仪等。RAW图像的数据可称为RAW数据或生数据。

ISP单元，用于对前端图像传感器输出的RAW图像进行信号处理的单元，由硬件进行图像信号的高速处理，也称为图像信号处理器(image signal processor)，是实现高清画面的高性能图像处理引擎，可以运行各种算法程序，实时处理图像信号。ISP处理可以把各种格式的RAW图像转换成RGB(Red Green Blue)格式或者YUV(Luminance BandwidthChrominance)格式，还有其他格式例如HSV格式、Lab格式、CMY格式、YCbCr格式等。经过ISP单元处理后的图像可以称为3通道图像。由于ISP单元包括多种ISP参数，本申请中将ISP单元的处理过程也称为经ISP参数处理。

可以理解的，按照ISP对RAW图像转换为预设格式的图像，ISP需要具备多种功能，如果按照ISP具备的功能对ISP进行模块划分，则ISP中可以包括多个算法模块。

下面对ISP处理中涉及的模块及参数进行介绍。

示例性的，ISP中可以包括DRC(dynamic range correction，动态范围校正)、LDCI(local dynamic contrast improvement，局域自动对比度增强)、CCM(色彩矫正矩阵)、CSC(color space conversion，色彩空间转换)、demosaic(去马赛克)、sharpen(锐度)、3DNR(三维降噪)等。其中，DRC中的动态范围指的是设备生成的拍摄图像中，图像中最亮部分的像素与最暗部分的像素的灰度的比值。当设备拍照的场景中存在强光源(如，正对日光、强反光，高亮度的照明设备等)，设备的拍摄场景中同时存在高亮区域和暗光区域，高亮区域可能出现曝光过度的现象，暗光区域可能存在曝光不够的现象。使得设备生成的拍摄图像中出现高亮区域因曝光过度呈现为白色，暗光区域因曝光不够呈现为黑色，影响图像质量。采用DRC可以解决高亮区域的曝光过度和暗光区域的曝光不够的问题，使得设备生成的拍摄图像中高亮区域和暗光区域均呈现出对应的图像。

Sharp模块用于对手机生成的图像进行锐化处理，还原图像中的相关细节。其中，当图像传感器采集到原始图像之后，将图像输入ISP。CMOS输入的图像中可能包括各种噪声，包括随机噪声、量化噪声和固定模式噪声等。ISP模块需要对原始图像进行降噪处理，在降噪处理的过程中，存在将图像中的细节消除，导致图像不够清晰的现象。在这种情况下，为了避免降噪处理过程中，使得图像中的细节损失，对图像进行锐化处理，以提高图像的显示效果。

可以理解的，本申请实施例中仅示出ISP中的部分模块。上述示例并不构成对ISP中模块的具体限定，ISP中可以包括更多或更少的模块。例如，还可以包括GAMMA校正模块或3D LUT模块等。

由于图像拍摄场景多变，用户关注的内容也往往多变，因此，如何通过ISP参数调试最大程度上提升关键内容的显现质量，是一个极其困难的问题。通常的ISP参数调试，是在提供调参装置和软件平台的基础上，人工对摄像机的ISP参数进行调试，该方法依赖个体经验，耗时费力且效率较低。

有鉴于此，本申请实施例提供了一种图像信号处理的方法，可以应用于图1所示的场景中。如图2所示，该方法包括如下步骤：

201、确定第一图像中的感兴趣区域对应的第一子图像。

图像信号处理装置呈现给用户的第一图像中，包括用户感兴趣区域，在部分拍摄场景中，由于拍摄环境等的限制，无法保证第一图像的所有信息完全良好地呈现给用户，此时可以通过优先保证用户感兴趣的关键内容真实且明晰地呈现，以提升用户对图像的满意度。

第一图像中的感兴趣区域包括一个或多个，若第一图像中用户感兴趣区域包括至少两个，可以通过合并该至少两个区域(即对该至少两个区域进行聚类)得到感兴趣区域，从而确定感兴趣区域对应的第一子图像。例如多人合影的场景下，图像中的多个人脸区域均为用户感兴趣区域。

请参阅图3，图3为获取第一子图像的流程示意图，获取第一子图像的流程包括：

步骤301，感兴趣区域获取。

获取一个或多个感兴趣区域。

步骤302，感兴趣区域聚类。

对步骤301获取的一个或多个感兴趣区域进行聚类，即可获取对应的第一子图像。

图像信号处理装置确定第一图像中的感兴趣区域的方式有多种，包括获取用户选取的感兴趣区域，或者通过智能检测算法检测感兴趣区域，下面分别进行介绍。

在一种可能的实现方式中，获取用户选取的第一图像中的一个或多个感兴趣区域。例如，在用户显示界面显示选择框，用户可以移动或缩放选择框以确定感兴趣区域，进而根据用户选择的感兴趣区域确定对应的第一子图像。

示例性地，通过用户选取的方式获取第一子图像的方法包括：

步骤1：基于用户交互接口，获取用户划定的矩形框获取感兴趣区域。记矩形框区域左上角坐标为(X1_k,Y1_k)，右下角坐标为(X2_k,Y2_k),其中k记第k个感兴趣区域，感兴趣区域总数设为N。搜集所有感兴趣区域坐标，记为感兴趣区域集Rset。

步骤2：聚类单元将感兴趣区域Rset内的所有感兴趣区域坐标进行聚类合并，获得整体感兴趣区域的矩形框坐标。记左上角坐标(X1,Y1)和右下角坐标(X2,Y2)，计算方式如下：

在另一种可能的实现方式中，可以根据智能检测算法确定感兴趣区域对应的第一子图像，这里对于智能检测算法的具体类型不做限定。

示例性的：图像信号处理装置通过AI智能检测算法联动，自动划定感兴趣区域。具体策略如下：

步骤1：通过智能检测算法检测出感兴趣目标的所在位置，并记录该位置的检测框(Xi,Yi)。共计记录500以上检测框；

步骤2：以一个检测框所覆盖的区域为单位热值1，将所有检测框的热值映射到图像上，产生热力图，即如下公式(I_x,y为图像中x,y坐标上的热力值)：

步骤3：统计所有像素点的热力值，记录最高热力值I_max，并记录所有热力值高于I_max的a％的像素点都作为感兴趣点；

步骤4：使用密度聚类法DBSCAN，将感兴趣点聚类成多个感兴趣区域，并记录感兴趣区域的外框坐标。即，计每个感兴趣区域内所有像素点的坐标为x_j,y_j,则感兴趣区域左上角坐标为X1，Y1，右下角坐标为X2，Y2。计算公式如下：

在一种可能的实现方种，图像信号处理装置的感兴趣区域划定单元获取摄像机YUV图像内容，基于图像中事件高发区域或用户指定区域产生图像感兴趣区域，确定第一子图像。

202、确定第一子图像的待优化的目标图像属性。

为了让用户感兴趣的关键内容真实明晰地呈现，可以从图像的不同图像属性维度对第一子图像进行考察，以确定第一子图像待优化的目标图像属性。

这里，图像属性可以是衡量图像质量的各种维度的指标，例如亮度、色彩或噪声细节，此外，还可以是对比度等其他维度，具体维度数量和内容不做限定。具体地，对每个维度的衡量方式也有多种，例如色彩维度，可以考察色彩偏差和/或色彩饱和度；亮度或对比度维度，可以考察是否过亮、适中或过暗；噪声细节维度可以具体细分为静态噪声细节和动态噪声细节，其中，静态噪声细节用于衡量视频帧中相对摄像机保持静止的物体的噪声效果，动态噪声细节用于衡量视频帧中相对摄像机运动的物体的噪声效果，噪声细节维度，可以考察噪声是否较大、适中或较小。可以理解的是，为了提高图像质量，可以从更全面的维度中筛选目标图像属性。

目标图像属性可以包括一个或多个。从多个图像属性中确定目标图像属性的方式有多种。

具体地，可以基于预设算法分别判断每个考察的图像属性是否需要优化，需要优化的图像属性即确定为目标图像属性，这里的预设算法可以为各类已有算法，例如神经网络模型等，对于具体算法类型此处不做限定。需要说明的是，可以通过单个算法直接输出目标图像属性，也可以通过不同算法分别对每个图像属性维度进行判断。基于预设算法确定目标图像属性的实现方式简单易行。

在另一种可能的实现方式中，获取在所述多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果的参考图像，通过参考图像与第一子图像的对比确定目标图像属性。相较直接通过算法获取目标图像属性的实现方式，基于图像效果较优的参考图像进行对比的实现方式可以提高判断目标图像属性的准确程度。

具体地，参考图像与第一子图像的对比过程包括，若多个图像属性中的第一图像属性对应的第一评判结果满足预设条件，则确定所述第一图像属性为所述目标图像属性。

可选地，将参考图像和第一子图像输入神经网络模型，以获取各个图像属性维度的评判结果。示例性的，亮度维度判断结果记为FI，色彩维度判断结果记为FC，动态噪声细节维度判断结果记为FTm，静态噪声细节维度判断结果记为FTs。在上述4个维度的评判中，若FI的值为0表示不用调试，值为1或2均满足预设条件代表亮度为目标图像属性，其中，1表示过暗需要提亮，2表示过亮需要压暗；FC的值为1满足预设条件，代表色彩为目标图像属性，需要针对色彩维度进行图像优化，值为0则表示色彩不属于目标图像属性，不需要优化；FTm为1满足预设条件，表明需要针对动态噪声细节维度进行图像优化，值为0则表示该维度不需要优化；FTs的值为1表明需要针对静态噪声细节维度进行图像优化，值为0则表示该维度不需要优化。

示例性的，图像信号处理装置的区域图像属性分类单元从多个维度对图像效果进行判别，以确认图像在相应维度上是否需要进行调整。该单元又可作为次级系统细分为3个子单元，包括：

1)验证状态控制单元：该单元用于控制摄像机状态在“应用场景效果状态(即第一状态)”和“标准效果状态(即第二状态)”间来回切换。其中，应用场景效果状态主要为当前场景摄像机正常工作时所处于的状态(即自动调试前的状态)。标准效果状态为非正常工作状态。在该状态下，摄像机将会控制补光灯、快门曝光等摄像机硬件或软件，使其可以获取不符合当前场景的应用条件，但效果较好的参考图像。此类图像将与正常工作状态中的图像进行对比，从而判断是否需要提升相应图像属性维度的图像效果；

2)验证数据采集单元：当验证状态控制单元针对某个图像属性维度将摄像机调整到对应的“标准效果状态”下后，验证数据采集单元负责使能摄像机采集应用场景下对应图像属性维度的标准效果参考图像(即参考图像)，需要说明的是，在一种可能的实现方式中，对于各图像属性维度的标准效果参考图像是相同的图像，也就是说标准效果参考图像在各个图像属性维度的图像效果均优于所述第一子图像在对应图像属性的图像效果；

3)图像属性分类单元：该单元将验证数据采集单元采集到的应用场景效果图像(即第一子图像)，以及各个图像属性维度的标准效果参考图像在通道维度上进行拼接，即设图像为长*宽*通道数的张量(一般彩色图像的通道数为3)，则拼接后为长*宽*拼接通道数，如下：

随后使用神经网络产生N个图像属性维度的评判结果，具体示意如图4所示。

在一种可能的实现方式中，区域图像属性分类单元获取待优化的目标图像属性的流程请参阅图5，具体流程包括：

步骤1：采集摄像机在正常工作下的效果图像I0；

步骤2：验证状态控制单元基于维度i调整摄像机状态，使其处于维度i标准效果状态；

步骤3：验证数据采集单元采集标准效果图像Ii；

步骤4：确认是否已采集完所有图像属性维度。若否，则返回步骤2。若是，则进入步骤5；

步骤5：图像属性分类单元将所有维度的标准效果图像Ii和I0进行拼接，并输出各维度的调整与否判决。若输出是，则表明需要对摄像机调整其在该维度的图像效果。

下面对介绍如何获取第一子图像的参考图像：

首先，对摄像机的工作状态进行介绍，“应用场景效果状态”，即摄像机的正常工作状态，符合当前拍摄场景的应用条件，在本申请实施例中又称第一状态；“标准效果状态”为摄像机获取参考图像时的工作状态，通常不符合当前拍摄场景的应用条件，但可以获取效果较好的参考图像，在本申请实施例中又称第二状态，图像信号处理装置可以通过控制摄像机硬件或软件，例如开闭补光灯、控制快门曝光或改变时域强度等，实现在第一状态和第二状态之间的来回切换。其中，与前述第一子图像对应的第一RAW图像，为所述摄像机在第一状态下采集得到，为获取参考图像，调整摄像机至第二状态，例如调整摄像机的硬件状态(例如补光、曝光时间)或软件状态(时域强度)等，使摄像机处于提升感兴趣区域内图像效果，而牺牲非感兴趣区域图像效果的状态。

调整摄像机软硬件状态的方式有多种，示例性的，第一状态下，摄像机未开启补光灯，通过开启补光灯调整至第二状态；或者，第一状态下，摄像机补光灯已开启，通过提高补光灯亮度调整摄像机至第二状态；或者，扩大摄像机的光圈大小至第二状态；或者，增加摄像机时域强度至第二状态等。

摄像机在调整至第二状态后，采集得到第二RAW图像与第一RAW图像的亮度差异较小，且相较第一RAW图像的增益较低。也就是说该第二RAW图像的第二增益小于第一RAW图像的第一增益，且第二RAW图像的图像亮度与第一RAW图像的图像亮度之间的差异小于预设阈值。可选地，所述第二增益参数小于或等于所述第一增益参数的1/2。可选地，第二RAW图像的图像亮度与第一RAW图像的图像亮度之间的差异小于10％，图像亮度的差异百分比的计算方法为：平均图像亮度差值的绝对值与平均图像亮度中的较大值的比值。

该第二RAW图像经对应于第二增益的第二ISP参数处理，即可得到所述参考图像。其中，参考图像是与第一子图像对应的图像，也就是说，参考图像也对应于第一图像的感兴趣区域的像素位置，具体地，第二RAW图像对应于该感兴趣区域的像素位置，或者是与第一图像像素大小对应的第二RAW图像经第二ISP参数处理后，该基于感兴趣区域的像素位置确定参考图像，具体实现方式此处不做限定。

203、根据第一子图像的第一引导图像调整第一ISP参数

下面对搜索ISP参数的具体过程进行介绍：根据第一引导图像和搜索RAW图像，采用搜索算法搜索得到目标ISP参数，该目标ISP参数用于替换第一ISP参数。第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

在采用搜索算法搜索目标ISP参数之前，需要第一引导图像和搜索RAW图像，下面介绍第一引导图像的获取方式。

在一种可能的实现方式中，所述第一引导图像为所述参考图像。

在另一种可能的实现方式中，在目标图像属性包括静态噪声细节的情况下，获取第一引导图像的方式还包括：将所述摄像机在所述第一状态下连续采集的多帧RAW图像进行累加得到第三RAW图像；采用与所述第一状态一致的ISP参数处理所述第三RAW图像得到所述第一引导图像。其中，摄像机的第一状态为采集第一RAW图像时的状态，即正常工作状态。

在第一子图像在静态噪声细节维度的图像效果需要调优时，连续采集多帧(例如200帧)RAW图像，通过RAW域强时域降噪(即叠加该200帧RAW图像)，获取软件模拟地低增益RAW图像，该低增益RAW图像经对应的ISP处理后，即可获取第一引导图像，可以理解的是，该第一引导图像用于对静态噪声细节相关的ISP参数进行搜参引导。而连续采集的200帧数据作为搜索RAW图像。

前面已经介绍了如何获取第一引导图像，下面对搜索RAW图像的获取方法进行介绍。需要说明的是，搜索RAW图像，可能是一帧或多帧RAW图像，可选地，搜索RAW图像包括第一RAW图像。

在一种可能的实现方式中，目标图像属性为以下一项或多项：亮度、色彩、静态噪声细节，搜索RAW图像为摄像机在第一状态下采集的RAW图像。其中，若目标图像属性为静态噪声细节，则搜索RAW图像可以包括该摄像机在第一状态下联系采集得到的多帧RAW图像，例如200帧RAW图像。

在另一种可能的实现方式中，目标图像属性为动态噪声细节，搜索RAW图像为所述摄像机在第二状态下采集并经加噪声处理得到的图像。示例性的，通过泊松-高斯噪声模型对低增益RAW图像增加噪声，获取用于动态噪声细节相关的ISP参数搜参的输入RAW图像。

示例性的，图像信号处理装置的引导图像生成单元，生成用于引导ISP自动调参的引导图像。即当区域图像属性分类单元判断需要针对感兴趣区域的部分图像属性维度(优化维度)进行调优时，引导图像生成单元便会根据不同维度采取不同的软硬件调整措施，从而获取效果优良的优品图像作为参考图像。该单元可作为次级系统，即可分解为如下单元：

1)参考状态控制单元：该单元基于优化维度，调节摄像机的硬件状态和软件状态，从而使摄像机系统处于能够采集相应优化维度引导图像的状态；

2)参考数据采集单元：该单元与参考状态控制单元相互配合，基于不同的优化维度，采用不同的采集方案，获取用于生成参考数据的RAW图像；

3)参考数据生成单元：该单元基于不同的优化维度，将参考数据采集单元获得的RAW图像进行处理，构建用于ISP自动化调参使用的调参RAW图像和引导图像。

基于上述3个子单元，引导图像生成单元获取引导图像的流程图如图6所示，具体流程如下：

步骤1：摄像机选取优化维度i作为当前采集方向，选取相应生成策略i；

步骤2：参考状态控制单元基于生成策略i调整摄像机的硬件状态(例如补光、曝光时间)或软件状态(时域强度)等，使摄像机处于提升感兴趣区域内维度i图像效果，而牺牲非感兴趣区域内其它维度图像效果的状态；

步骤3：基于生成策略i，参考数据采集单元采集相应的参考RAW图像GT-RAW-i和搜索RAW图像input-RAW-i；

步骤4：基于生成策略将GT-RAW-i灌入相机ISP流程中，并且参考数据生成单元基于生成策略中的ISP策略，获得引导图像(GT-YUV-i)；

步骤5：判断是否完成所有优化维度的搜索RAW图像和引导图像。若是，则完成引导图像生成单元的任务。若否，则将当前维度去除，回到步骤1。

获取第一引导图和搜索RAW图像之后，可以进行ISP参数搜索，由于ISP参数的种类较多，根据所述第一子图像的第一引导图像调整所述第一ISP参数的方式有多种：

方式一：直接根据第一引导图像调整第一ISP图像，即根据第一引导图搜索所有ISP参数。

方式二：考虑到所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；可以基于步骤202中确定的目标图像属性针对性调整对应的ISP参数。示例性地，亮度ISP参数包括负责亮度的模块(包括DRC和LDCI)对应的ISP参数，色彩ISP参数包括负责色彩的模块(包括CCM、CSC和DRC等)对应的ISP参数，噪声细节ISP参数包括负责细节噪声的模块(包括demosaic、sharpen、3DNR等)对应的ISP参数。可以理解的是，不同图像属性对应的ISP参数可能存在部分重合，例如DRC模块对应的ISP参数即属于亮度ISP参数，又属于色彩ISP参数。

具体地，若所述目标图像属性包括亮度，则根据所述第一引导图像调整所述亮度ISP参数；或者，若所述目标图像属性包括色彩，则根据所述第一引导图像调整所述色彩ISP参数；或者，若所述目标图像属性包括噪声细节，则根据所述第一引导图像调整所述噪声细节ISP参数。

在一种可能的实现方式中，目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性中每个图像属性对应的ISP参数。

在目标图像属性包括亮度、色彩和噪声细节中的至少两个的情况下，可以根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性对应的ISP参数。由于亮度指示整体图像信号强度，色彩代表信号的中频梯度，噪声细节代表信号的高频梯度。对亮度ISP参数的调整会影响图像色彩和噪声细节的呈现，对色彩ISP参数的调整会影响噪声细节的呈现，因此，以亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性对应的ISP参数可以避免对于已调整的图像属性维度的影响，更好提升图像效果。

示例性的，图像信号处理装置中的ISP参数搜索单元可用于搜索ISP参数，使感兴趣区域对应的图像在优化维度上得到效果提升。其以参考数据生成单元生成的搜索RAW图像作为相机ISP流程的输入，参考图像作为监督引导搜索RAW图像的ISP结果(搜索图像)。该单元又可作为次级系统细分为4个子单元，即：

1)相机ISP回放模块：该模块通过调整摄像机进入离线数据回放状态，使摄像机的ISP反复处理搜索RAW图像，即不断回放搜索生数据的图像内容(回放状态)。其基于ISP参数搜索单元产生的ISP参数，不断产生搜索RAW图像的ISP处理结果，即搜索图像；

2)图像质量评价模块：该模块负责将搜索图像和参考图像进行对比，进而从优化维度对图像进行打分，产生评价分数；

3)ISP参数搜索模块：ISP搜索模块基于图像质量评价单元的分数对当前ISP参数进行更新，产生新的ISP参数，发送给相机ISP回放单元；

4)相机ISP使能模块：搜索结束后，该模块将相机从回放状态还原会正常拍摄状态，并将最终搜索结果发送到摄像机的ISP中，作为调参结果ISP，完成ISP调参。

下面对用搜索算法搜索ISP参数(简称搜参)的具体过程进行介绍，可以理解的是，无论是针对特定图像属性维度对应的ISP参数的搜索，还是针对所有ISP参数的搜索，其搜索过程类似，下面具体进行介绍：

根据所述搜索算法确定多个搜索ISP参数；将搜索RAW图像分别经该多个搜索ISP参数处理，得到每个搜索RAW图像分别对应于所述多个搜索ISP参数的多个搜索图像，根据该第一引导图像确定所述多个搜索图像中的目标搜索图像，所述目标搜索图像对应的搜索ISP参数为所述目标ISP参数。其中，根据所述第一引导图像确定所述多个搜索图像中的目标搜索图像，具体包括：所述搜索图像和所述第一引导图像输入图像质量评估算法，获取对应于所述多个搜索图像的多个图像质量评分，根据所述多个图像质量评分确定所述目标搜索图像。目标搜索图像对应的ISP参数即为确定的目标ISP参数。

示例性的，图像信号处理装置中的ISP参数搜索单元用于搜索ISP参数，使感兴趣区域的图像在优化维度上得到效果提升。其以参考数据生成单元生成的搜索RAW图像作为相机ISP流程的输入，引导图像作为监督引导搜索RAW图像的ISP结果(搜索图像)。该单元又可作为次级系统细分为4个子单元，即：

1)相机ISP回放模块：该模块通过调整摄像机进入离线数据回放状态，使摄像机的ISP反复处理搜索RAW图像，即不断回放搜索RAW图像的图像内容(回放状态)。其基于ISP参数搜索单元产生的ISP参数，不断产生搜索RAW图像的ISP处理结果，即搜索图像；

2)图像质量评价模块：该模块负责将搜索图像和引导图像进行对比，进而从优化维度对图像进行打分，产生评价分数；

基于上述4个子单元，ISP参数搜索单元搜索ISP参数的流程如图7所示，该流程步骤包括：

步骤1：相机ISP回放单元将摄像机状态切换成回放状态，并将引导图像生成单元产生的搜索RAW图像灌入相机ISP，并基于ISP参数搜索单元产生的多组ISP参数，产生相对应的搜索图像；

步骤2：图像质量评价单元基于引导图像对当前产生的所有搜索图像进行评估打分。若分数高于设定需求或迭代已达到最大轮次，则前往步骤4。否则，前往步骤3；

步骤3：ISP参数搜索单元针对图像质量评价单元对当前多组ISP参数的打分高低进行排序，保留优先N(N包括且不仅限30)组ISP参数，并额外产生新的ISP参数，行程新的多组ISP参数，依次输入相机ISP回放单元，影响摄像机ISP过程(前往步骤1)；

步骤4：相机ISP使能单元对最终满足要求的所有ISP参数进行筛选(与人眼交互或基于评价分数)，选择最优ISP参数作为摄像机ISP调参结果。

本申请通过提取图像中的感兴趣区域，并分析其目标图像属性。随后，通过调整摄像机状态和ISP参数，产生相应的引导图像。最终基于当前图像与引导图的效果差距，通过ISP参数搜索算法，自动化调节ISP参数，从而提高感兴趣区域的图像质量效果。

从系统总框架的角度，本实施例还提供了一种ISP自动调节系统，请参阅图8，该ISP自动调节系统总框架如图8所示。

其具体可分为以下4个核心技术部分：

801、感兴趣区域划定单元：获取摄像机YUV图像内容，基于图像中事件高发区域或用户指定区域产生图像感兴趣区域；

802、区域图像属性分类单元：获取感兴趣区域后，调节摄像机状态，获取感兴趣区域图像序列。随后，通过AI分类网络对图像序列进行属性分类。从“动态/静态区域”、“过亮/适中/过暗区域”、“色彩偏差/不偏差区域”3个维度评价图像属性；

803、引导图像生成单元：基于图像属性，本发明通过调节摄像机状态和ISP参数，获取目标区域的效果引导图像；

804、ISP参数搜索单元：基于生成的效果引导图像与当前图像之间的效果差距，该单元自动化调试ISP参数进而提升感兴趣区域的图像效果。

各单元执行的具体流程可参考前述介绍，此处不再赘述。

本申请实施例提供的图像信号处理方法可用于摄像机的初始化现场标定，即用户安装摄像机后，需要让摄像机尝试适应当前成像环境，进行ISP参数精调。下面介绍本申请图像信号处理方法的另一个具体实现方法，请参阅图9。

该方法的具体步骤如下：

步骤1：感兴趣区域划定单元通过用户选取的方式获取第一子图像，具体步骤细节可参考图3对应的实施步骤，此处不再赘述。

步骤2：区域图像属性分类单元针对步骤1中获取的感兴趣区域对应的第一子图像，判断其待优化的目标图像属性。本实施例中，该单元针对亮度、色彩、噪声细节3个图像属性维度开展属性分类。该步骤又可分为如下子步骤：

步骤2.1：验证数据采集单元首先采集摄像机正常工作下的效果图像I0；

步骤2.2：验证状态控制单元修正摄像机状态。即：开启补光灯，待图像状态平稳后，连续采集多帧(包括但不仅为50帧)高照度下图像序列I_ref；

步骤2.3：将I₀与I_ref的每帧图像沿通道拼接，送入resnet-50的改良网络，即将原resnet-50网络的全连接层长度改为4，获取对应亮度维度判断结果FI，色彩维度判断结果FC，动态噪声细节维度判断结果FTm，以及静态噪声细节维度判断结果FTs。上述4个维度中，FI结果值为0表示不用调试，1表示过暗需要提亮，2表示过亮需要压暗；其余的结果值为1表明需要针对该维度进行图像优化，0表示不需要；

步骤3：基于区域图像属性分类单元结果FI，判别是否需要进行亮度调优。若否，进入步骤5。若是，引导图像生成单元获取用于亮度ISP参数搜索的引导图像。该单元又可分为如下子步骤：

步骤3.1：参考状态控制单元(亮度)调整摄像机状态至第二状态，通过开启补光灯，提高整体环境亮度。并通过调整补光亮度，使第一子图像的分区均值亮度满足要求的情况下，分区亮度方差达到最小。分区亮度方差的获取方法如下：首先将整张图划分为32*32的分块，随后计算每个分块的YUV状态下(YUV可基于BT709或BT601数字转换标准获取)Y的平均值Y_{mean_i}。随后分区均值亮度Y_mean则由统计全图所有分块Y_{mean_i}的平均值获得。分区亮度方差Y_var则由统计所有分块Y_{mean_i}的方差获得。

步骤3.2：参考数据采集单元(亮度)采集当前状态下的YUV图像，作为亮度ISP参数搜索的引导图像；

步骤3.3：关闭补光灯，即调整摄像头状态至正常工作状态(第一状态)，参考数据生成单元(亮度)获取相同场景下的用于亮度ISP参数搜索的亮度搜索RAW图像；

步骤4：完成亮度模块的数据准备(即用于亮度ISP参数搜索的引导图像和亮度搜索RAW图像)后，进入ISP参数搜索单元(亮度)。该单元负责搜索ISP参数中影响图像亮度效果的模块(DRC或LDCI等)对应的亮度ISP参数，进而调节相机ISP对亮度搜索RAW图像的处理效果，最终与用于亮度ISP参数搜索的引导图像进行比较，最终获得较好的亮度ISP参数。该步骤可分为如下子步骤：

步骤4.1：相机ISP回放单元(亮度)首先将相机从在线成像模式切换至离线RAW图像处理模式，即不再实时拍摄并播放当前场景，而是循环播放对亮度搜索RAW图像的ISP处理结果；

步骤4.2：ISP参数搜索单元将ISP参数传输给摄像机的ISP处理系统，调整ISP处理系统对亮度搜索RAW图像的ISP处理结果；

步骤4.3：图像质量评价单元使用PIEAPP图像质量评估网络作为图像质量评估系统，ISP处理结果与引导图像输入该评估系统，进行图像质量打分；

步骤4.4：ISP参数搜索单元(亮度)会不断记录不同ISP参数下ISP的图像处理结果的评分。基于当前ISP参数的ISP处理结果的得分与历史ISP参数的处理结果得分进行比较，相机ISP使能单元(亮度)得到新的ISP参数。

在一种实现方式中，该搜索单元的推导算法为一种遗传算法，生成多个子代ISP参数与当前ISP参数一起，构成ISP参数候选集。对ISP参数候选集进行筛选，获得新的ISP参数，使能到相机的ISP流程中。若迭代过程达到人工预期设定或图像质量评估系统打分到达要求分数，则完成亮度ISP参数搜索并前往步骤5。否则，返回步骤4.2；

步骤5：基于区域图像属性分类单元结果FC，判别是否需要进行色彩调优。若否，进入步骤7。若是，则引导图像生成单元获取用于色彩ISP参数搜索的引导图像。该单元又可分为如下子步骤：

步骤5.1：参考状态控制单元(色彩)调整摄像机状态至第二状态，例如开启补光灯，提高整体环境亮度。并通过调整补光亮度，使第一子图像的分区均值亮度满足要求，例如分区亮度方差达到最小。分区亮度方差的获取方法如下：即，首先将整张图划分为32*32的分块，随后计算每个分块的YUV状态下(YUV可基于BT709或BT601数字转换标准获取)Y的平均值Y_{mean_i}。随后分区均值亮度Y_mean则由统计全图所有分块Y_{mean_i}的平均值获得。

步骤5.2：参考数据采集单元(色彩)采集当前状态下的YUV图像，作为色彩ISP参数搜索的引导图像；

步骤5.3：关闭补光灯，即调整摄像头状态至正常工作状态(第一状态)，参考数据生成单元(色彩)获取相同场景下的用于色彩ISP参数搜索的色彩搜索RAW图像；

步骤6：完成色彩模块的数据准备(即用于色彩ISP参数搜索的引导图像和色彩搜索RAW图像)后，进入ISP参数搜索单元(色彩)。该单元负责搜索ISP参数中影响图像色彩效果的模块(CCM、CSC、DRC等)对应的色彩ISP参数，进而调节相机ISP对色彩搜索RAW图像的处理效果，最终与用于色彩ISP参数搜索的引导图像进行比较，最终获得较好的色彩ISP参数。该步骤可分为如下子步骤：

步骤6.1：相机ISP回放单元(色彩)首先将相机从在线成像模式切换至离线RAW图像处理模式。即不再实时拍摄并播放当前场景，而是循环播放对色彩搜索RAW图像的ISP处理结果；

步骤6.2：ISP参数搜索单元(色彩)将ISP参数传输给摄像机的ISP处理系统，调整ISP处理系统对色彩搜索RAW图像的ISP处理结果；

步骤6.3：图像质量评价单元(色彩)使用PIEAPP图像质量评估网络作为图像质量评估系统，ISP处理结果与引导图像输入该评估系统，进行图像质量打分；

步骤6.4：ISP参数搜索单元会不断记录不同ISP参数下ISP的图像处理结果的评分。基于当前ISP参数的ISP处理结果的得分与历史ISP参数的处理结果得分进行比较，相机ISP使能单元(色彩)得到新的ISP参数。

在一种实现方式中，该ISP参数搜索单元(色彩)的推导算法与步骤4.4相同，搜索获得新的ISP参数，使能到相机的ISP流程中。若迭代次数达到预期设定或图像质量评估系统打分到达要求分数，则完成色彩ISP参数搜索并前往步骤7。反之，回到步骤6.2；

步骤7：根据动态噪声细节维度判断结果FTm和静态噪声细节维度判断结果FTs，确定是否进行噪声细节维度的优化。若FTs和FTm都为0，则不进行。若否，进入步骤7。若是，则引导图像生成单元获取用于噪声细节ISP参数搜索的引导图像。该单元又可分为如下子步骤：

步骤7.1：若FTs为1，则表明目标区域需要对静止区域进行噪声细节的效果调优。参考状态控制单元(噪声细节)连续采集200帧的RAW图像。若FTm为1，则表明目标区域需要对运动区域进行噪声细节的效果调优。参考状态控制单元(噪声细节)开启补光灯，使相机增益降低(指相机获取的图像的增益降低)。

步骤7.2：若FTs为1，参考数据采集单元(噪声细节)将连续采集200帧的RAW图像通过RAW域强时域降噪，以及摄像机ISP处理后，获取用于静态噪声细节ISP参数搜索的引导图像。若FTm为1，参考数据采集单元(噪声细节)，采集低增益的RAW图像(该图像中包括运动物体)，并通过摄像机ISP处理后，获取噪声细节(运动)搜参引导图像；

步骤7.3：若FTs为1，参考数据生成单元(噪声细节)将连续采集的200帧数据作为用于静态噪声细节ISP参数搜索的静态噪声细节搜索RAW图像；若FTm为1，参考数据生成单元(噪声细节)通过泊松-高斯噪声模型对低增益RAW图像增加噪声，获取用于动态噪声细节ISP参数搜索的动态噪声细节搜索RAW图像；

需要说明的是，若FTm与FTs同为1，则将获取的静态噪声细节搜索RAW图像序列，与获取的动态噪声细节搜索RAW图像序列沿序列进行拼接统称为噪声细节输入RAW图像序列。

步骤8：完成噪声细节模块的数据准备后，进入ISP参数搜索单元(噪声细节)。该单元负责搜索ISP参数中影响细节噪声效果的模块(demosaic、sharpen、3DNR等)对应的噪声细节ISP参数，进而调节相机ISP对搜索RAW图的处理效果，最终与用于噪声细节ISP参数搜索的引导图像进行比较，最终获得较好的噪声细节ISP参数。该步骤可分为如下子步骤：

步骤8.1：相机ISP回放单元(噪声细节)首先将相机从在线成像模式切换至离线RAW图像处理模式。即不再实时拍摄并播放当前场景，而是循环播放对噪声细节搜索RAW图像的ISP处理结果；

步骤8.2：ISP参数搜索单元(噪声细节)将ISP参数传输给摄像机的ISP处理系统，调整ISP处理系统对噪声细节搜索RAW图像的ISP处理效果；

步骤8.3：图像质量评价单元(噪声细节)使用PIEAPP图像质量评估网络作为图像质量评估系统，ISP处理结果与引导图像输入该评估系统。其中：噪声细节(静止)输入对静态噪声细节搜索RAW序列的ISP处理结果与静态噪声细节的引导图像一起输入图像质量评估系统，噪声细节(运动)输入动态噪声细节RAW序列的ISP处理结果与动态噪声细节的引导图像一起输入图像质量评估系统，分别进行图像质量打分；

步骤8.4：ISP参数搜索单元(噪声细节)会不断记录不同ISP参数下ISP的图像处理结果的评分。相机ISP使能单元(噪声细节)基于当前ISP参数的ISP处理结果的得分与历史ISP参数的处理结果得分进行比较，得到新的ISP参数；

该搜索单元的推导算法与步骤4.4相同，搜索获得新的ISP参数，使能到相机的ISP流程中。若迭代次数达到预期设定或图像质量评估系统打分到达要求分数，则完成搜参过程。反之，回到步骤8.2；

经过上述流程，可以实现ISP参数的自动调优，提升第一图像的感兴趣区域的图像效果。

上面介绍了本申请提供的图像信号处理方法，下面对实现该图像信号处理方法的图像信号处理装置进行介绍，请参阅图10，为本申请实施例中图像信号处理装置的一个实施例示意图。

该图像信号处理装置，包括：确定单元1001，用于确定第一图像中的感兴趣区域对应的第一子图像，所述第一图像为摄像机采集的第一生RAW图像经第一ISP参数处理得到的图像；所述确定单元1001，还用于确定所述第一子图像的待优化的目标图像属性；处理单元1002，用于根据所述第一子图像的第一引导图像调整所述第一ISP参数，所述第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

在一种可能的实现方式中，所述确定单元1001具体用于：从所述第一子图像的多个图像属性中确定所述目标图像属性，所述多个图像属性包括：亮度、色彩和噪声细节，所述噪声细节包括静态噪声细节和动态噪声细节。

在一种可能的实现方式中，所述确定单元1001具体用于：通过预设算法分别确定亮度、色彩和噪声细节是否为待优化的图像属性。

在一种可能的实现方式中，所述确定单元1001具体用于：获取参考图像，所述参考图像在所述多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果；对比所述第一子图像和所述参考图像以确定所述目标图像属性。

在一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；所述确定单元1001具体用于：调整所述摄像机至第二状态，以采集得到第二RAW图像，所述第二RAW图像的第二增益小于所述第一RAW图像的第一增益，且所述第二RAW图像与所述第一RAW图像的图像亮度差异小于阈值；将所述第二RAW图像经对应于所述第二增益的第二ISP参数处理，得到所述参考图像。

在一种可能的实现方式中，在所述第一状态下，所述摄像机未开启补光灯；所述调整摄像机至第二状态包括开启所述摄像机的补光灯。

在一种可能的实现方式中，所述第二增益小于或等于所述第一增益的1/2。

在一种可能的实现方式中，所述第一RAW图像为所述摄像机在第一状态下采集得到的；在所述目标图像属性包括静态噪声细节的情况下，所述处理单元1002还用于：将所述摄像机在所述第一状态下连续采集的多帧RAW图像进行累加得到第三RAW图像；根据与所述第三RAW图像的增益对应的第三ISP参数处理所述第三RAW图像得到所述第一引导图像。

在一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度，所述处理单元1002，具体用于：根据所述第一引导图像调整所述亮度ISP参数；或者，若所述目标图像属性包括色彩，所述处理单元1002，具体用于：根据所述第一引导图像调整所述色彩ISP参数；或者，若所述目标图像属性包括噪声细节，所述处理单元1002，具体用于：根据所述第一引导图像调整所述噪声细节ISP参数。

在一种可能的实现方式中，所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；若所述目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述处理单元1002，具体用于：根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性中每个图像属性对应的ISP参数。

在一种可能的实现方式中，所述处理单元1002，具体用于：根据第一引导图像和搜索RAW图像，采用搜索算法搜索得到目标ISP参数；将所述第一ISP参数替换为所述目标ISP参数。

在一种可能的实现方式中，所述确定单元1001，具体用于：确定至少两个感兴趣区域；合并所述至少两个感兴趣区域得到所述第一子图像。

在一种可能的实现方式中，所述处理单元1002，具体用于：根据用户选择确定所述第一子图像，或者根据智能检测算法确定所述第一子图像。

应理解以上图像信号处理装置的各个单元的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元以硬件的形式实现。例如，以上这些单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，ASIC)，或，一个或多个微处理器(digitalsignal processor，DSP)，或，一个或者多个现场可编程门阵列(field programmable gatearray，FPGA)等。再如，当以上某个单元通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，CPU)或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system-on-a-chip，SOC)的形式实现。

请参阅图11，为本申请实施例中图像信号处理装置的另一个实施例示意图；本实施例提供的图像信号处理装置，可以是具有图像拍摄功能的手机、数码相机、摄像机、运动相机(GoPro)、智能手表、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、车载设备、行车记录仪、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本，以及蜂窝电话等。另外，电子设备还可以是车载电脑，个人数字助理(personal digitalassistant，PDA)、增强现实(augmented reality，AR)\虚拟现实(virtual reality，VR)设备等，本申请实施例对该电子设备的具体形态不作特殊限制。

图11为本申请实施例提供的一种图像信号处理装置的结构示意图。该图像信号处理装置100包括处理器110，摄像头120，显示屏130，和存储器140。

可以理解的是，本发明实施例示意的结构并不构成对图像信号处理装置100的具体限定。在本申请另一些实施例中，图像信号处理装置100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，ISP，控制器，存储器，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基带处理器和神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。需要说明的是，在一些可能的实现方式中，处理器110位于摄像机内部，或者位于云端，或者位于与摄像头通信连接的主机或服务器，具体此处不做限定。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，和/或通用输入输出(general-purposeinput/output，GPIO)接口等。

I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线，处理器110可以通过I2C总线耦合摄像头120。

MIPI接口可以被用于连接处理器110与显示屏130或摄像头120等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(displayserial interface，DSI)等。在一些实施例中，处理器110和摄像头120通过CSI接口通信，实现图像信号处理装置100的拍摄功能。处理器110和显示屏130通过DSI接口通信，实现图像信号处理装置100的显示功能。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对图像信号处理装置100的结构限定。在本申请另一些实施例中，图像信号处理装置100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

存储器140可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器110通过运行存储在存储器140的指令，从而执行图像信号处理装置100的各种功能应用以及数据处理。存储器140可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储图像信号处理装置100使用过程中所创建的数据(比如音频数据，图像数据等)等。此外，存储器140可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

可选地，图像信号处理装置100通过GPU，显示屏130，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏130和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏130用于显示图像，视频等。显示屏130包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，图像信号处理装置100可以包括1个或N个显示屏130，N为大于1的正整数。

图像信号处理装置100可以通过ISP，NPU，摄像头120，视频编解码器，GPU，显示屏130以及应用处理器等实现拍摄功能。

摄像头120用于捕获静态图像或视频。摄像头120包括镜头121和图像传感器122，镜头121可以由多个透镜组成。目标对象反射的光线通过镜头121传输至图像传感器122(即感光元件)，图像传感器122可以是CCD或CMOS光电晶体管。图像传感器122可以生成目标对象的RAW域图像，并将RAW域图像传输至ISP。ISP用于采用RAW域图像生成图像信号，图像信号最后转换成标准的RGB，YUV等格式的图像信号。显示屏130用于显示RGB，YUV等格式的图像信号。在一些实施例中，图像信号处理装置100可以包括1个或N个摄像头120，N为大于1的正整数。

ISP用于处理图像传感器122反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头120中的图像传感器122上，光信号转换为电信号形成原始图像，摄像头感光元件将原始图像传递给ISP处理，转化为肉眼可见的图像。在一些实施例中，ISP可以设置在摄像头150中。另一些实施例中，ISP可以设置在处理器110中。

在一些实施例中，ISP可以被当做一个芯片系统，ISP运行各种算法程序，用于实时处理图像信号。如，ISP可以对图像的噪点、亮度和图像中人物的肤色进行算法优化，ISP还可以对拍摄场景的曝光，色温等参数进行优化。ISP接收到图像传感器传输的RAW域图像，ISP可以将RAW域图像转换为肉眼可见的图像。其中，图像信号处理装置中设置有ISP数据库，ISP数据库中包括ISP运行各种算法程序的参数。当ISP运行时调用ISP数据库，使得ISP按照ISP数据库中的参数运行各种算法，将RAW域图像转换为预设格式的图像。

可选地，图像信号处理装置100还包括图11中未示出的一些模块，例如电池模块，传感器模块，按键或网络接口等。

其中，按键可以包括开机键，音量键，缩放键，拍摄键等。其中，按键可以是机械按键，也可以是触摸式按键。

本实施例中图像信号处理装置100中的处理器110所执行的流程可以参考前述方法实施例中描述的方法流程，此处不加赘述。

针对图10或图11的未详细描述的内容可以参考对图2的相关部分的描述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims

1.一种图像信号处理方法，其特征在于，包括：

确定第一图像中的感兴趣区域对应的第一子图像，所述第一图像为摄像机采集的第一生RAW图像经第一ISP参数处理得到的图像；

确定所述第一子图像的待优化的目标图像属性；

根据所述第一子图像的第一引导图像调整所述第一ISP参数，所述第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

2.根据权利要求1所述的方法，其特征在于，所述确定所述第一子图像的待优化的目标图像属性，包括：

从所述第一子图像的多个图像属性中确定所述目标图像属性，所述多个图像属性包括：亮度、色彩和噪声细节，所述噪声细节包括静态噪声细节和动态噪声细节。

3.根据权利要求2所述的方法，其特征在于，所述从所述第一子图像的多个图像属性中确定所述目标图像属性，包括：

通过预设算法分别确定亮度、色彩和噪声细节是否为待优化的图像属性。

4.根据权利要求2所述的方法，其特征在于，所述从所述第一子图像的多个图像属性中确定所述目标图像属性，包括：

获取参考图像，所述参考图像在所述多个图像属性中每个图像属性上的图像效果均优于所述第一子图像在对应图像属性的图像效果；

对比所述第一子图像和所述参考图像以确定所述目标图像属性。

5.根据权利要求4所述的方法，其特征在于，所述第一RAW图像为所述摄像机在第一状态下采集得到的；

所述获取参考图像，包括：

调整所述摄像机至第二状态，以采集得到第二RAW图像，所述第二RAW图像的第二增益小于所述第一RAW图像的第一增益，且所述第二RAW图像与所述第一RAW图像的图像亮度差异小于阈值；

将所述第二RAW图像经对应于所述第二增益的第二ISP参数处理，得到所述参考图像。

6.根据权利要求5所述的方法，其特征在于，在所述第一状态下，所述摄像机未开启补光灯；

所述调整所述摄像机至第二状态包括开启所述摄像机的补光灯。

7.根据权利要求5所述的方法，其特征在于，

所述第二增益小于或等于所述第一增益的1/2。

8.根据权利要求5至7中任一项所述的方法，其特征在于，

所述第一引导图像为所述参考图像。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一RAW图像为所述摄像机在第一状态下采集得到的；

在所述目标图像属性包括静态噪声细节的情况下，所述方法还包括：

将所述摄像机在所述第一状态下连续采集的多帧RAW图像进行累加得到第三RAW图像；

根据与所述第三RAW图像的增益对应的第三ISP参数处理所述第三RAW图像得到所述第一引导图像。

10.根据权利要求1至9中任一项所述的方法，其特征在于，

所述第一ISP参数包括亮度ISP参数、色彩ISP参数和噪声细节ISP参数；

若所述目标图像属性包括亮度，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：

根据所述第一引导图像调整所述亮度ISP参数；

或者，

若所述目标图像属性包括色彩，所述根据所述第一引导图像调整所述第一ISP参数，包括：

根据所述第一引导图像调整所述色彩ISP参数；

或者，

若所述目标图像属性包括噪声细节，所述根据所述第一引导图像调整所述第一ISP参数，包括：

根据所述第一引导图像调整所述噪声细节ISP参数。

11.根据权利要求1至10中任一项所述的方法，其特征在于，

若所述目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：

根据亮度、色彩和噪声细节的顺序，依次调整所述目标图像属性中每个图像属性对应的ISP参数。

12.根据权利要求1至11中任一项所述的方法，其特征在于，

所述根据所述第一子图像的第一引导图像调整所述第一ISP参数，包括：

根据第一引导图像和搜索RAW图像，采用搜索算法搜索得到目标ISP参数；

将所述第一ISP参数替换为所述目标ISP参数。

13.根据权利要求1至12中任一项所述的方法，其特征在于，所述确定第一图像中的感兴趣区域对应的第一子图像，包括：

确定至少两个感兴趣区域；

合并所述至少两个感兴趣区域得到所述第一子图像。

14.根据权利要求1至12中任一项所述的方法，其特征在于，所述确定第一图像中的感兴趣区域对应的第一子图像，包括：

根据用户选择确定所述第一子图像，或者根据智能检测算法确定所述第一子图像。

15.一种图像信号处理装置，其特征在于，包括：

确定单元，用于确定第一图像中的感兴趣区域对应的第一子图像，所述第一图像为摄像机采集的第一生RAW图像经第一ISP参数处理得到的图像；

所述确定单元，还用于确定所述第一子图像的待优化的目标图像属性；

处理单元，用于根据所述第一子图像的第一引导图像调整所述第一ISP参数，所述第一引导图像在所述目标图像属性上的图像效果优于所述第一子图像在所述目标图像属性上的图像效果。

16.根据权利要求15所述的装置，其特征在于，所述确定单元具体用于：

17.根据权利要求16所述的装置，其特征在于，所述确定单元具体用于：

18.根据权利要求16所述的装置，其特征在于，所述确定单元具体用于：

19.根据权利要求18所述的装置，其特征在于，所述第一RAW图像为所述摄像机在第一状态下采集得到的；

所述确定单元具体用于：

20.根据权利要求19所述的装置，其特征在于，在所述第一状态下，所述摄像机未开启补光灯；

所述调整摄像机至第二状态，包括开启所述摄像机的补光灯。

21.根据权利要求19所述的装置，其特征在于，

所述第二增益小于或等于所述第一增益的1/2。

22.根据权利要求19至21中任一项所述的装置，其特征在于，

所述第一引导图像为所述参考图像。

23.根据权利要求15至22中任一项所述的装置，其特征在于，所述第一RAW图像为所述摄像机在第一状态下采集得到的；

在所述目标图像属性包括静态噪声细节的情况下，所述处理单元还用于：

24.根据权利要求15至23中任一项所述的装置，其特征在于，

若所述目标图像属性包括亮度，所述处理单元，具体用于：

根据所述第一引导图像调整所述亮度ISP参数；

或者，

若所述目标图像属性包括色彩，所述处理单元，具体用于：

根据所述第一引导图像调整所述色彩ISP参数；

或者，

若所述目标图像属性包括噪声细节，所述处理单元，具体用于：

根据所述第一引导图像调整所述噪声细节ISP参数。

25.根据权利要求15至24中任一项所述的装置，其特征在于，

若所述目标图像属性包括亮度、色彩和噪声细节中的至少两个，所述处理单元，具体用于：

26.根据权利要求15至25中任一项所述的装置，其特征在于，所述处理单元，具体用于：

将所述第一ISP参数替换为所述目标ISP参数。

27.根据权利要求15至26中任一项所述的装置，其特征在于，所述确定单元，具体用于：

确定至少两个感兴趣区域；

合并所述至少两个感兴趣区域得到所述第一子图像。

28.根据权利要求15至26中任一项所述的装置，其特征在于，所述处理单元，具体用于：

29.一种图像信号处理装置，其特征在于，包括：

存储器，用于存储可执行指令；

处理器，用于调用并运行所述存储器中的所述可执行指令，以执行如权利要求1至14中任一项所述的方法。

30.一种计算机程序产品，其特征在于，包括计算机可读指令，当所述计算机可读指令在计算机上运行时，使得所述计算机执行如权利要求1至14任一项所述的方法。

31.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得所述计算机执行如权利要求1至14中任一项所述的方法。