CN116917954A - 图像检测方法、装置和电子设备 - Google Patents

图像检测方法、装置和电子设备 Download PDF

Info

Publication number
CN116917954A
CN116917954A CN202180094447.8A CN202180094447A CN116917954A CN 116917954 A CN116917954 A CN 116917954A CN 202180094447 A CN202180094447 A CN 202180094447A CN 116917954 A CN116917954 A CN 116917954A
Authority
CN
China
Prior art keywords
image
parameter prediction
detection
detected
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180094447.8A
Other languages
English (en)
Inventor
邱珏沁
刘劲松
付星尧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN116917954A publication Critical patent/CN116917954A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

一种图像检测方法、装置和电子设备，该图像检测方法包括：获取待检测图像；基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；基于所述参数预测值，调整所述图像处理算法的参数；利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。该方法，可以提高图像检测模型检测结果的准确性。

Description

图像检测方法、装置和电子设备 技术领域
本申请实施例涉及人工智能技术领域，尤其涉及一种图像检测方法、装置和电子设备。
背景技术
随着科学技术的发展，人工智能(AI，Artificial Intelligence)技术得到突飞猛进的提升。在一些人工智能技术中，通常采用机器学习的方法，构建各种结构的初始模型，例如神经网络模型、支持向量机模型、决策树模型等。然后，通过训练样本对初始模型进行训练，以实现图像检测、语音识别等功能。
基于图像检测的计算机视觉技术中，通过对诸如神经网络等初始模型训练得到感知模型，以实现场景识别、物体检测或者图像分割等图像检测任务。通常，感知模型是对所输入的图像进行特征提取和检测以输出检测结果的，因此，感知模型对所输入的图像的亮度、颜色、纹理等特征有特定需求，例如图像纹理清晰、亮度适中等。在诸如黑夜、起雾、眩光或者扬尘等场景中，用于形成图像的亮度、颜色、纹理等特征的指标发生改变，导致图像过暗、图像纹理不清晰等，从而导致感知模型输出的检测结果与真实结果之间存在较大的偏差。由此，针对各种场景采集的图像，如何使得感知模型均可以输出较为准确的检测结果，成为需要解决的问题。
发明内容
本申请提供的图像检测方法、装置和电子设备，可以使得图像检测模型针对各种场景采集的图像均可以输出较为准确的检测结果。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请实施例提供一种图像检测方法，该图像检测方法包括：获取待检测图像；基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；基于所述参数预测值，调整所述图像处理算法的参数；利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
本申请实施例通过设置参数预测模型对图像处理算法的参数进行预测，并且图像处理算法利用该参数预测值对待检测图像进行处理，使得输入至图像检测模型的图像的动态范围、噪声、对比度等参数，与用于训练图像检测模型的样本图像的动态范围、噪声水平、局部对比度等参数相同或相似，有利于提高图像检测模型检测结果的准确性。
基于第一方面，在一种可能的实现方式中，所述参数预测模型是通过比较样本图像的标注信息和图像检测模型对所述样本图像的检测结果、并且基于比较结果训练得到的。
基于第一方面，在一种可能的实现方式中，所述参数预测模型通过如下步骤训练得到：将所述样本图像的检测结果和所述样本图像的标注信息进行比较以得到所述比较结果；基于所述比较结果迭代调整所述参数预测模型的参数；在预设条件满足时，保存所述参数预测模型的参数。
这里的预设条件可以包括但不限于：误差小于或等于预设阈值，或者迭代次数大于等于预设阈值。
基于第一方面，在一种可能的实现方式中，所述比较结果为误差，所述基于所述比较结果迭代调整所述参数预测模型的参数，包括：基于所述样本图像的检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
基于第一方面，在一种可能的实现方式中，所述基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值，包括：对所述待检测图像进行特征提取，生成特征张量；将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
基于第一方面，在一种可能的实现方式中，所述基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值，包括：将所述待检测图像输入至所述参数预测模型，生成所述参数预测值。
基于第一方面，在一种可能的实现方式中，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
基于第一方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第二方面，本申请实施例提供一种图像检测装置，该图像检测装置包括：获取模块，被配置成获取待检测图像；生成模块，被配置成基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；调整模块，被配置成基于所述参数预测值，调整所述图像处理算法的参数；处理模块，被配置成利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；检测模块，被配置成将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
基于第二方面，在一种可能的实现方式中，所述参数预测模型是通过比较样本图像的标注信息和图像检测模型对所述样本图像的检测结果、并且基于比较结果训练得到的。
基于第二方面，在一种可能的实现方式中，所述图像检测装置还包括参数预测模型训练模块，所述参数预测模型训练模块包括：比较子模块，被配置成将所述样本图像的检测结果和所述样本图像的标注信息进行比较以得到所述比较结果调整子模块，被配置成基于所述比较结果迭代调整所述参数预测模型的参数；保存子模块，被配置成在预设条件满足时，保存所述参数预测模型的参数。
基于第二方面，在一种可能的实现方式中，所述比较结果为误差，所述调整子模块进一步被配置成：基于所述样本图像的检测结果和所述样本图像的标注信息之间的所述误 差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
基于第二方面，在一种可能的实现方式中，所述生成模块被配置成：对所述待检测图像进行特征提取，生成特征张量；将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
基于第二方面，在一种可能的实现方式中，所述生成模块被配置成：将所述待检测图像输入至所述参数预测模型，生成所述参数预测值。
基于第二方面，在一种可能的实现方式中，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
基于第二方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第三方面，本申请实施例提供一种用于训练参数预测模型的方法，该方法包括：基于样本图像的图像特征，利用参数预测模型，对用于处理所述样本图像的图像处理算法的参数进行预测，生成参数预测值；基于所述参数预测值，调整所述图像处理算法的参数；利用参数调整后的图像处理算法对所述样本图像进行图像处理，生成处理后的图像；将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果；比较所述检测结果和所述样本图像的标注信息之间的误差，得到比较结果；基于所述比较结果，调整所述参数预测模型的参数；在预设条件满足时，保存所述参数预测模型的参数。
基于第三方面，在一种可能的实现方式中，所述比较结果为误差，所述基于所述比较结果，调整所述参数预测模型的参数，包括：基于所述检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述参数预测模型的参数。
基于第三方面，在一种可能的实现方式中，所述比较结果为误差，所述基于所述比较结果，调整所述参数预测模型的参数，包括：基于所述检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述参数预测模型的参数。
基于第三方面，在一种可能的实现方式中，所述基于样本图像的图像特征，利用待训练的参数预测模型，对用于处理所述样本图像的图像处理算法的参数进行预测，生成参数预测值；包括：对所述样本图像进行特征提取，生成特征张量；将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
基于第三方面，在一种可能的实现方式中，所述基于样本图像的图像特征，利用待训练的参数预测模型，对用于处理所述样本图像的图像处理算法的参数进行预测，生成参数预测值，包括：将所述样本图像输入至所述参数预测模型，生成所述参数预测值。
基于第三方面，在一种可能的实现方式中，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
基于第三方面，在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项 检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
第四方面，本申请实施例提供一种电子设备，该电子设备包括：摄像装置，用于获取待检测图像；参数预测装置，用于基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；图像信号处理器，用于基于所述参数预测值，调整所述图像处理算法的参数，利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；人工智能处理器，用于将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
第五方面，本申请实施例提供一种图像检测装置，该图像检测装置包括一个或多个处理器和存储器；所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；所述一个或多个处理器用于运行所述一个或多个程序，以实现如第一方面所述的方法。
第六方面，本申请实施例提供一种用于训练参数预测模型的装置，该用于训练参数预测模型的装置包括一个或多个处理器和存储器；所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；所述一个或多个处理器用于运行所述一个或多个程序，以实现如第三方面所述的方法。
第七方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被至少一个处理器执行时用于实现如第一方面所述的方法。
第八方面，本申请实施例提供一种计算机程序产品，该计算机程序产品被至少一个处理器执行时用于实现如第一方面所述的方法。
应当理解的是，本申请的第二至八方面与本申请的第一方面的技术方案一致，各方面及对应的可行实施方式所取得的有益效果相似，不再赘述。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的电子设备的一个结构示意图；
图2a是本申请实施例提供的如图1所示的参数预测装置的一个结构示意图；
图2b是本申请实施例提供的如图1所示的参数预测装置的又一个结构示意图；
图3是本申请实施例提供的车辆的一个结构示意图；
图4是本申请实施例提供的如图1所述的各电子设备中各部件之间的一个交互流程图；
图5是本申请实施例提供的电子设备的又一个结构示意图；
图6是本申请实施例提供的如图5所述的电子设备中各部件之间的一个交互流程图；
图7是本申请实施例提供的对待检测图像进行特征提取以生成特征张量的方法的一个示意图；
图8是本申请实施例提供的图像处理算法所包括的参数的一个示意图；
图9是本申请实施例提供的包含用于对图像预测模型进行训练的电子设备的系统架构示意图；
图10是本申请实施例提供的用于训练参数预测模型的方法的一个流程图；
图11是本申请实施例提供的图像检测方法的一个流程图；
图12是本申请实施例提供的图像处理装置的一个结构示意图；
图13是本申请实施例提供的用于训练参数预测模型的装置的一个结构示意图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。以下描述中，参考形成本申请一部分并以说明之方式示出本申请实施例的具体方面或可使用本申请实施例的具体方面的附图。应理解，本申请实施例可在其它方面中使用，并可包括附图中未描绘的结构或逻辑变化。因此，以下详细描述不应以限制性的意义来理解，且本申请的范围由所附权利要求书界定。例如，应理解，结合所描述方法的揭示内容可以同样适用于用于执行所述方法的对应设备或系统，且反之亦然。例如，如果描述一个或多个具体方法步骤，则对应的设备可以包含如功能单元等一个或多个单元，来执行所描述的一个或多个方法步骤(例如，一个单元执行一个或多个步骤，或多个单元，其中每个都执行多个步骤中的一个或多个)，即使附图中未明确描述或说明这种一个或多个单元。另一方面，例如，如果基于如功能单元等一个或多个单元描述具体装置，则对应的方法可以包含一个步骤来执行一个或多个单元的功能性(例如，一个步骤执行一个或多个单元的功能性，或多个步骤，其中每个执行多个单元中一个或多个单元的功能性)，即使附图中未明确描述或说明这种一个或多个步骤。进一步，应理解的是，除非另外明确提出，本文中所描述的各示例性实施例和/或方面的特征可以相互组合。
本申请所述的图像检测方法，可以应用于计算机视觉领域、需要对输入至图像检测模型中的图像进行处理以输出适合于图像检测模型进行图像检测的场景中。
请参考图1，图1示出了本申请实施例提供的电子设备的一个结构示意图。如图1所示，电子设备100可以是一个用户设备(User Equipment,UE)，如手机、平板电脑、智能屏幕或者图像拍摄设备等各种类型的设备。此外，电子设备100还可以是车辆。在电子设备100中可以设置有摄像装置101，以用于采集图像数据。此外，电子设备100还可以包括或集成于电子设备内的模组、芯片、芯片组、电路板或部件，该芯片或芯片组或搭载有芯片或芯片组的电路板可在必要的软件驱动下工作。电子设备100包括一个或多个处理器，例如中央处理器(CPU，Central Processing Unit/Processor)、图像信号处理器(ISP，Image Signal Processor)103、AI处理器104等。可选地，所述一个或多个处理器可以集成在一个或多个芯片内，该一个或多个芯片可以被视为是一个芯片组，当一个或多个处理器被集成在同一个芯片内时该芯片也叫片上系统(System on a Chip，SOC)。在所述一个或多个处理器之外，电子设备100还包括一个或多个其他必要部件，例如存储器等。
如图1所示的摄像装置101，可以为单目摄像头。或者，摄像装置101还可以包括多目摄像头，这些摄像头可以在物理上合设于一个摄像装置中，还可以在物理上分设于多个摄像装置中。通过多目摄像头在同一时刻采集多张图像数据，并可以根据这些图像数据进行处理，得到一张图像。具体实现中，摄像装置101可以实时采集图像数据，或者周期性地采集图像数据。该周期如3s、5s、10s等。摄像装置101还可以通过其他方式采集图像，本申请实施例不做具体限定。摄像装置101可以对采集的图像数据预处理，生成待检测图 像，分别提供给参数预测装置102和ISP103。其中，所生成的待检测图像可以为彩色图像，例如红绿蓝(RGB，Red Green Blue)图像。
如图1所示的参数预测装置102，用于从摄像装置101接收待检测图像。然后，参数预测装置102基于待检测图像的图像特征，对ISP103中、用于处理待检测图像的图像处理算法的参数进行预测，生成参数预测值。下面通过两种可能的实现方式对参数预测装置102进行介绍。
在第一种可能的实现方式中，参数预测装置102包括专用集成电路1021和AI处理器1022，如图2a所示。专用集成电路1021可以专用于提取待检测图像的图像特征。该图像特征可以包括但不限于以下至少一项：颜色特征、亮度特征和边缘特征(特征提取的具体方法参考图7所示的实施例的相关描述)。专用集成电路1021可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于CPU。AI处理器1022可以包括神经网络处理器(NPU，Neural-network Processing Unit)、随机森林处理器、支持向量机处理器等专用处理器，包括但不限于卷积神经网络处理器、张量处理器或神经处理引擎。AI处理器1022可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于：CPU、GPU(图形处理器，Graphics Processing Unit)或者DSP(数字信号处理器，Digital Signal Processor)。示例性地，该CPU、GPU和DSP都是片上系统内的处理器。AI处理器1022中可以运行预先训练的参数预测模型。该可能的实现方式中，专用集成电路1021提取待检测图像的图像特征，基于特征提取结果，生成特征张量提供至AI处理器1022。AI处理器1022中运行的参数预测模型，基于特征张量对ISP103中所运行的图像处理算法的参数进行预测，生成参数预测值提供至ISP103。
在第二种可能的实现方式中，参数预测装置102可以不设置专用集成电路1021，仅设置AI处理器1022，如图2b所示。其中，AI处理器1022的硬件结构与图2a所示的AI处理器1022的硬件结构相同，在此不再赘述。在该实现方式中，AI处理器1022中同样可以运行预先训练的参数预测模型。与图2a所示的实现方式不同的是，该参数预测模型可以直接输入第一摄像装置101提供的待检测图像。参数预测模型可以完成待检测图像的图像特征提取过程以及参数预测过程，然后生成参数预测值提供至ISP103。
如图2a和图2b所示的AI处理器1022，该AI处理器1022中所运行的参数预测模型，均可以是通过比较样本图像S1的标注信息和图像检测模型对样本图像S1的检测结果、并且基于比较结果对初始模型训练得到的。该初始模型可以包括但不限于：神经网络模型、支持向量机模型或者随机森林模型。需要说明的是，参数预测模型是在离线端训练完成后部署在图2a或者图2b所示的AI处理1022中的。这里的离线端可以看作是服务器设备或者用于进行模型训练的设备。上述图像检测模型为运行在AI处理器104中的图像检测模型。其中，用于生成参数预测模型的方法具体参考图8所示的实施例。
如图1所示的ISP103，可以设置多个硬件模块或者运行必要的软件程序以对图像数据进行处理。ISP103可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于：CPU、GPU或者DSP。ISP103可以执行多个图像处理过程，该多个图像处理过程可以包括但不限于：阶调映射、对比度增强、边缘增强、降噪、颜色校正等。
需要说明的是，ISP103通过运行图像处理算法以执行上述多个图像处理过程。该图像处理算法可以包括但不限于：阶调映射算法、对比度增强算法、边缘增强算法、降噪算法、 和颜色校正算法等。上述多个图像处理过程中的每一个图像处理过程可以看作是独立的图像处理过程，从而，用于执行每一个图像处理过程的图像处理算法可以看作是独立的。基于此，ISP103可以包括多个逻辑模块。例如包括但不限于：阶调映射模块、对比度增强模块、边缘增强模块、颜色校正模块等。每一个逻辑模块用于执行一种图像处理过程。每一个逻辑模块可以各自使用其特定的硬件结构，多个逻辑模块也可以共用一套硬件结构，本申请实施例对此不做限定。该一个或多个图像处理过程通常顺序执行。例如，摄像装置101获取的图像提供至ISP103后，可以依次执行阶调映射、对比度增强、边缘增强、颜色校正…等处理过程。需要说明的是，本申请实施例对ISP103所执行的图像处理过程的先后顺序不作限定，例如，可以先执行对比度增强，再执行阶调映射。
本申请实施例中，ISP103运行的图像处理算法中，某些参数的值是可调的。例如，阶调映射算法中的Gamma函数参数γ；对比度增强算法中的对比度阈值参数；边缘增强算法中的边缘增强因子α；降噪算法中的空间域高斯核参数σs以及像素值域高斯核参数σr。其中，关于图像处理算法中各可调参数的详细描述参考图9所示的实施例。参数预测模型所生成的参数预测值，即为图像处理算法中这些可调参数的值。参数预测模型所输出的参数预测值可以包括多个，例如目标亮度参数值、目标饱和度参数值、滤波核参数值、边缘增强因子α值、空间域高斯核参数值和像素值域高斯核参数值。也即是说，ISP103可以从参数预测模型获得执行每一个图像处理流程的图像处理算法的可调参数的值，将相应可调参数的值更新为参数预测模型所生成的参数预测值。然后，ISP103采用参数调整后的图像处理算法对第一摄像装置101输入的图像进行图像处理。
如图1所示的AI处理器104，可以包括神经网络处理器(Neural-network Processing Unit,NPU)等专用神经处理器，包括但不限于卷积神经网络处理器、张量处理器或神经处理引擎。AI处理器可以单独作为一个部件或集成于其他数字逻辑器件中，该数字逻辑器件包括但不限于：CPU、GPU或者DSP。AI处理器104可以运行有图像检测模型，该图像检测模型是基于样本图像S2对深度神经网络训练得到的。该图像检测模型可以执行特定的检测任务。该特定的检测任务可以包括但不限于：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测或者图像分割等。需要说明的是，图像检测模型是在离线端训练完成后部署在图1所示的AI处理器104中的。这里的离线端可以看作是服务器设备或者用于进行模型训练的设备。
需要说明的是，参数预测装置102中的AI处理器1022和AI处理器104可以合设于同一个AI处理器中，该AI处理器既可以运行参数预测模型，还可以运行图像检测模型。此外，AI处理器1022和AI处理器104也可以是相互独立的处理器。
通常，AI处理器104中所运行的图像检测模型，其通常基于图像的亮度、颜色和纹理等特征进行图像检测。其中，亮度、颜色和纹理等特征通常通过图像的动态范围、噪声水平和对比度等指标体现。对于呈现相同对象的多张图像，当该多张图像的动态范围、噪声、对比度等指标不同时，该多张图像的亮度、颜色和纹理等特征也不同。图像检测模型对该多张图像的检测结果也会存在差异。通常，图像检测模型是在离线端训练完成后部署在终端设备中的，训练图像检测模型的专家通常与使用图像检测模型的用户不同。也即用户在使用图像检测模型时，通常并不能获得用于训练图像检测模型的样本图像的指标(例如动态范围、噪声、对比度)，这就导致在实际使用中，例如在如图3所示的自动驾驶场景中， 当外界环境发生变化时(例如黑夜、起雾、眩光、扬尘等)，摄像装置所采集的图像在动态范围、对比度和噪声等指标上，与用于训练图像检测模型的样本图像相比，均会发生变化。这就导致图像检测模型输出的检测结果与真实结果之间偏差较大，降低了图像检测模型检测的准确性。本申请实施例通过设置参数预测模型，利用参数预测模型基于待检测图像的图像特征，对图像的动态范围、噪声水平和局部对比度等指标进行预测，将参数预测值提供给ISP103，使得ISP103运行的图像处理算法基于该参数预测值对待检测图像进行处理，从而可以使得输入至图像检测模型的图像的动态范围、噪声水平、局部对比度等指标，与用于训练图像检测模型的样本图像的动态范围、噪声水平、局部对比度等指标相同或相似，由此提高图像检测模型检测结果的准确性。
传统计算机视觉技术中，实际使用中，为了提高图像检测模型的泛化能力，也即能够针对特殊环境(例如黑夜、起雾、眩光、扬尘等)采集的图像进行检测，通常在训练图像检测模型的样本中人为改变图像的移位、视角、尺寸、亮度、颜色等特征(或者以上变化的组合)，以生成数量更多、样本分布更离散的训练数据集，对已经训练的图像检测模型进行重训练或者调整，这就增加了训练图像检测模型的开销；此外，在图像检测模型的容量有限且固定的情况下，图像检测模型的泛化能力与检测精度不可兼得，为了提高图像检测模型的泛化能力，会导致图像检测模型检测性能下降，因此图像检测模型输出的检测结果的准确性仍然不理想。本申请实施例中通过设置参数预测模型，可以不需要对图像检测模型的参数进行任何更改，与传统技术相比，可以节省了对图像检测模型进行训练所需的时间和算力开销，并且还可以使得图像检测模型维持较高的检测精度；此外，由于参数预测模型是对图像处理算法的参数进行预测，不需要执行图像检测过程，因此，图像检测模型在训练过程中无需准备高质量参考图像，采用较少的训练样本即可完成训练，简化了参数预测模型的训练过程。
下面以自动驾驶场景为例，结合图1所示的电子设备100的结构示意图，对本申请实施例的应用场景进行更为具体的说明。请参考图3，图3示出了本申请实施例提供的车辆300的一个结构示意图。
耦合到车辆300或包括在车辆300中的组件可以包括控制系统10、推进系统20和传感器系统30。应理解，车辆300还可以包括更多的系统，在此不再赘述。控制系统10可被配置为控制车辆300及其组件的操作。如图1所示的参数预测装置102、ISP103和AI处理器104可以设置于控制系统10中，此外，控制系统10还可以包括中央处理器、存储器等设备，存储器用于存储各处理器运行所需的指令和数据。推进系统20可以用于车辆300提供动力运动，其可以包括但不限于：引擎/发动机、能量源、传动装置和车轮。传感器系统30可以包括但不限于：全球定位系统、惯性测量单元、激光雷达传感器或者毫米波雷达传感器，如图1所示的摄像装置101可以设置于传感器系统30。车辆300的组件和系统可通过系统总线、网络和/或其它连接机制耦合在一起，以与在其各自的系统内部和/或外部的其它组件互连的方式工作。具体工作中，车辆300中的各组件之间相互配合，实现多种自动驾驶功能。该自动驾驶功能可以包括但不限于：盲点检测、泊车辅助或者变道辅助等。
在实现上述自动驾驶功能的过程中，摄像装置101可以周期性的采集并生成待检测图像，将待检测图像提供至参数预测装置102。参数预测装置102基于待检测图像的图像特 征，对用于处理待检测图像的图像处理算法的参数进行预测，生成参数预测值提供至ISP103。ISP103基于参数预测值，调整ISP103所运行的图像处理算法中的可调参数的大小，然后利用参数调整后的图像处理算法执行多个图像处理过程对待检测图像进行处理，转换成AI处理器104所运行的图像检测模型可以识别或计算的图像提供至AI处理器104，从而使得AI处理器104实现特定任务的推理或检测，生成检测结果。控制系统10中的其他组件(例如执行决策的CPU)基于AI处理器104的检测结果，控制其他设备或组件执行自动驾驶功能。
下面以图2a所示的参数预测装置102的结构为例，对如图1所述的电子设备100中各部件之间的交互流程进行描述。请参考图4，图4示意性的示出了本申请实施例提供的如图1所述的各电子设备100中的各部件之间的交互流程400。该流程400包括如下步骤：
步骤401，摄像装置101采集图像数据，对所采集的图像数据进行处理，生成图像A。
步骤402，摄像装置101将图像A分别提供至专用集成电路1021和ISP103。
步骤403，专用集成电路1021对图像A进行特征提取，基于特征提取结果，生成特征张量。步骤404，专用集成电路1021将特征张量提供至AI处理器1022。
步骤405，AI处理器1022中运行的参数预测模型基于特征张量，对ISP103中所运行的图像处理算法的参数进行预测，生成参数预测值。步骤406，AI处理器1022将参数预测值提供至ISP103。
步骤407，ISP103基于参数预测值，调整图像处理算法的参数，采用参数调整后的图像处理算法对图像A进行处理，生成图像B。步骤408，ISP103将图像B提供至AI处理器104。
步骤409，AI处理器104中运行的图像检测模型对图像B进行检测，生成检测结果。
应理解，图4所示的交互流程400的步骤或操作仅是示例，本申请实施例还可以执行其他操作或者图4中的各个操作的变形。此外，本申请实施例还可以包括比图4所示的步骤更多或更少的步骤。例如，当参数预测装置102为如图2b所示的结构时，可以省略步骤403和步骤404，摄像装置101将图像A直接提供至AI处理器1022。
如图1所示的电子设备100中，摄像装置101所输出的图像为彩色图像。在其他可能的实现方式中，摄像装置101所输出的图像可以为原始图像格式(RAW Image Format)的图像。由于参数预测装置102无法基于RAW图像进行特征提取和预测，当摄像装置101所采集的图像为RAW图像时，ISP103还可以执行将RAW图像转换成彩色图像的过程。此时，摄像装置101可以将RAW图像提供至ISP103，ISP103对RAW图像进行处理，生成彩色图像后提供至参数预测装置102，如图5所示。ISP103中将RAW图像转换成彩色图像的图像处理算法可以包括但不限于：暗电流校正算法、镜头阴影校正算法和解马赛克算法等。如图5所示的参数预测装置102和AI处理器104的结构与图1所示的参数预测装置102和AI处理器104的结构相同，具体参考图1所示的实施例中的相关描述，在此不再赘述。
基于图5所示的电子设备100的结构示意图，请参考图6，图6示出了本申请实施例提供的如图5所述的各电子设备100中的各部件之间的交互流程600。如图6所示的交互流程600中，步骤403-步骤409与图4中所示的步骤403-步骤409相同，在此不再赘述。其中，图4中所示的交互流程400中的步骤401-步骤402被替换为图6中所示的步骤4011- 步骤4013：
步骤4011，摄像装置101采集图像数据，得到RAW图像。步骤4012，摄像装置101将RAW图像提供至ISP103。步骤4013，ISP103运行的图像处理算法对RAW图像进行处理，生成图像A。步骤4014，ISP103将图像A提供至专用集成电路1021。
基于图1-图6所示的实施例，下面以所提取的图像特征为颜色特征、亮度特征和边缘特征为例，结合图7，对上述各实施例中所述的对待检测图像进行特征提取以生成特征张量的方法，进行详细描述。
本申请实施例中，颜色特征可以通过红-蓝(R-B)色度直方图体现、亮度特征可以通过亮度-差分亮度直方图体现、边缘特征可以通过二维的边缘特征图体现。如上各实施例中所述的专用集成电路1021可以依次构建待检测图像的R-B色度直方图H C、亮度-差分亮度直方图H L以及边缘特征图I E。其中，R-B色度直方图H C、亮度-差分亮度直方图H L以及边缘特征图I E的分辨率相等。然后，专用集成电路1021可以将R-B色度直方图H C、亮度-差分亮度直方图H L以及边缘特征图I E联结，生成K×K×3的特征张量T F，其中，K×K分别为R-B色度直方图H C、亮度-差分亮度直方图H L以及边缘特征图I E的分辨率，即
T F＝concatenate axis＝channel(H C,H L,I E) 公式(1)
下面对R-B色度直方图H C、亮度-差分亮度直方图H L以及边缘特征图I E的构建方法进行详细描述。
R-B色度直方图H C的构建：
对于待检测图像中的每个像素，计算其绿色通道像素值与红色通道像素值之比(G/R)，记为r，同理，计算绿色通道像素值与蓝色通道像素值之比(G/B)，记为b。色度直方图中(r 0,b 0)位置处的直方柱高度H C(r 0,b 0)表示输入图像中色度坐标(r,b)落在(r 0,b 0)所对应的色度范围内的像素个数，即
其中Δr和Δb分别表示色度直方图中单个直方柱在r和b方向上的宽度，‖·‖表示集合内的元素个数。通过对输入图像中每个像素进行遍历并计算其在r-b平面中的坐标，即可完成R-B色度直方图H C的构建。R-B色度直方图H C的分辨率取决于r-b平面的统计区间大小以及直方柱的宽度，通常设为128×128即可。
亮度-差分亮度直方图H L的构建：
对于待检测图像中每个像素的亮度值Y定义为该像素处红色通道像素值R、绿色通道像素值G、蓝色通道像素值B三通道像素值的加权求和结果，即
Y＝0.299R+0.587G+0.114B公式(3)
每个像素的差分亮度值D定义为该像素处的亮度值与其领域8个像素的亮度值的平均绝对差异，即
其中，(x,y)表示图像中某一坐标点处的像素，Y(x,y)表示该坐标点处像素的亮度，(x+i,y+j)表示图像中与(x,y)该坐标点处的像素距离为(i，j)坐标的像素，Y(x+i,y+j)表示(x+i,y+j)该坐标点的像素亮度。某一像素处的差分亮度值通常可以反映该像素与周围像素的差异程度。亮度直方图中(Y 0,D 0)位置处的直方柱高度H L(Y 0,D 0)表示输入图 像的亮度及差分亮度坐标(Y,D)落在(Y 0,D 0)所对应的范围内的像素个数，即
其中ΔY和ΔD分别表示亮度直方图中单个直方柱在亮度值Y和差分亮度值D方向上的宽度。通过对输入图像中每个像素进行遍历并计算其在Y-D平面中的坐标，即可完成亮度-差分亮度直方图的H L构建。亮度-差分亮度直方图H L的分辨率取决于Y-D平面的统计区间大小以及直方柱的宽度。其中，亮度-差分亮度直方图H L的分辨率需设置为与R-B色度直方图H C的分辨率相等。
边缘特征图I E的构建：
待检测图像的亮度通道经Canny边缘检测算子、形态学闭合操作以及空间下采样后的生成，即
其中Resize(·)表示空间下采样操作，Canny(·)表示Canny边缘检测算子， 表示形态学中的膨胀操作， 表示腐蚀操作，B表示用于闭合操作的结构元素，通常选用圆盘结构(disk structure)即可。在构建图像边缘特征的过程中，Canny边缘检测算子用于检测出图像中的物体边缘区域；形态学闭合操作用于消除边缘图像中狭窄的间断和长细的鸿沟，消除小的空洞，并填补轮廓线中的断裂；空间下采样用于将边缘图像的分辨率处理至与色度直方图H C的分辨率及亮度直方图H L的分辨率相等。
基于图1-图5所示的实施例，下面以图像处理算法包括阶调映射算法、对比度增强算法、边缘增强算法以及降噪算法为例，结合图8，对ISP103中所运行的图像处理算法的参数进行详细描述。
阶调映射用于接收高位深的线性图像，将该线性图像转换为非线性图像，同时完成图像位深的压缩，输出8比特图像。当使用全局gamma函数作为阶调映射函数时，阶调映射算法中可调节的参数为γ参数；当使用对数变换算法对线性图像进行动态范围压缩时，阶调映射算法中可调节的参数为对数变换的底数；当使用更加复杂的阶调映射模型，例如基于人眼动态范围响应的retinex模型时，阶调映射算法中可调节的参数为其中的目标亮度参数(key)、目标饱和度参数(saturation)以及用于生成低通滤波图像的滤波核参数。
对比度增强用于增强图像的对比度。具体的，可以使用CLAHE(contrast limited adaptive histogram equalization，对比度限制的自适应直方图均衡化)算法对图像的对比度进行局部调节。CLAHE算法中可调节的参数包括：对比度阈值参数以及用于直方图统计的子图像块大小。本申请实施例一种可能的实现方式中，可以固定子图像块的大小，仅调整对比度阈值参数。更进一步的，可以将子图像块的大小固定为输入图像的大小。
图像的边缘增强中，首先对接收到的图像中的Y通道图像进行高斯滤波，得到低通Y通道图像Y L；将原始的Y通道图像与低通Y通道图像Y L之间的差值图像作为图像中的高频信号，即Y HF＝Y-Y L，该高频信号通常对应于图像中的边缘区域；通过对高频信号的强度进行放大并叠加至低通Y通道图像Y L中，可以得到边缘增强后的图像Y E，即Y E＝Y L+α·(Y-Y L)，其中α为边缘增强因子，图像边缘增强程度随α增大而增大。边缘增强算法中可调节的参数为边缘增强因子α。
图像降噪中，通常采用双边滤波(bilateral filter)降噪算法。双边滤波降噪算法中，可调节的参数可以包括：用于控制降噪强度与空间距离之间关系的空间域高斯核参数σs， 以及用于控制降噪强度与响应值差异之间关系的像素值域高斯核参数σr。
请继续参考图9，其示出了本申请实施例提供的包含用于生成参数预测模型的电子设备的系统架构示意图900。
在图9中，系统架构900包括模型训练设备901、存储设备902和显示设备903。存储设备902可以包括但不限于：只读存储器或者随机存取存储器等。存储设备902用于存储样本图像S1。此外，存储设备902中还可以存储有用于执行图像处理过程的图像处理算法的可执行程序和数据、用于执行图像特征提取的可执行程序和数据、待训练的参数预测模型的可执行程序和数据、以及用于执行图像检测的图像检测模型的可执行程序和数据。模型训练设备901可以运行特征提取算法、待训练的参数预测模型的可执行程序和数据、图像处理算法和图像检测模型，模型训练设备901还可以从存储设备902中调用样本图像S1、图像处理算法的可执行程序和数据、用于执行图像特征提取的可执行程序和数据、待训练的参数预测模型的可执行程序和数据、以及用于执行图像检测的图像检测模型的可执行程序和数据，以对参数预测模型的参数进行调试。另外，模型训练设备901还可以将运行产生的数据以及每次对参数预测模型的参数调试后的调试结果存储至存储设备902。此外，模型训练设备901和存储设备902还可以设置有I/O端口，以与显示设备903进行数据交互。用户设备903中可以包括屏幕等显示装置，以对样本图像S1进行标注。具体来说，模型训练设备901可以从存储设备902中获取样本图像S1，对样本图像S1进行图像处理后提供至显示设备903，以在显示设备903中呈现。用户通过显示设备903对样本图像S1进行标注，将样本图像S1的标注信息存储至存储设备902。
基于图1、图4所示的电子设备100的结构示意图、以及图9所示的系统架构900，下面结合图10，对用于生成参数预测模型的方法进行详细介绍。请参考图10，其示出了本申请实施例提供的用于生成参数预测模型的方法的流程1000。需要说明的是，本申请实施例中所述的用于生成参数预测模型的方法的执行主体可以为图9所示的模型训练设备901。如图10所示，用于生成参数预测模型的方法包括如下步骤：
步骤1001，基于样本图像集，对样本图像集中的样本图像S1进行特征提取，生成特征张量。
样本图像集中包括多个样本图像S1和每一个样本图像S1的标注信息。样本图像S1的标注信息是基于图像检测模型所执行的检测内容标注的。例如，当图像检测模型用于执行目标检测时，样本图像S1的标注信息可以包括目标对象和目标对象在样本图像S1中的位置；当图像检测模型用于执行行人意图检测时，样本图像S1的标注信息可以包括目标对象和目标对象的动作信息。
本申请实施例中，对样本图像S1进行特征提取生成特征张量的过程，与图7所示实施例中所述的生成特征张量的过程相同，具体参考图7所示的实施例的相关描述，在此不再赘述。
步骤1002，将特征张量输入至参数预测模型，生成用于处理样本图像S1的图像处理算法的参数。
本申请实施例中，图像处理算法包括但不限于：阶调映射算法、降噪算法、对比度增强算法或者边缘增强算法等。其中，图像处理算法的参数具体包括但不限于：阶调映射算法中的目标亮度参数(key)、目标饱和度参数(saturation)以及用于生成低通滤波图像的 滤波核参数；对比度增强算法中的对比度阈值参数；边缘增强算法中的边缘增强因子α；降噪算法中的空间域高斯核参数σs以及像素值域高斯核参数σr。
本申请实施例中所述的参数预测模型，可以包括以下之一：随机森林模型、支持向量机模型或者神经网络模型。下面以参数预测模型为神经网络模型为例，对参数预测模型的结构进行详细描述。参数预测模可以包括多层卷积层、多层池化层以及全连接层。其中，卷积层用于对图像进行特征提取以及卷积运算，生成特征图；池化层用于对特征图进行下采样和降维；全连接层使用若干级全连接神经网络，对最后一级卷积层输出的特征向量进行计算，最终输出参数预测值。在一种可能的实现方式中，每一个卷积层可以使用3×3卷积核，并将输出特征图的通道数设定为输入特征图的两倍，不改变特征图的空间分辨率；每一个池化层使用最大值池化(max pooling)算子将输入特征图的空间分辨率降为原有分辨率的1/2。假设输入至参数预测网络中的特征张量为K×K×3，则经过多个卷积层和池化层对特征张量的处理，生成1×1×3K的特征向量。全连接层对该1×1×3K的特征向量进行计算，生成1×1×n的参数预测向量，参数预测向量中的每一个元素分别对应图像处理算法中的可配置参数。
参数预测模型中的每一层卷积层的工作可以用数学表达式y＝a(W*x十b)来描述。其中，W为权重，x为输入向量(即输入神经元)，b为偏置数据，y为输出向量(即输出神经元)，a为常数。从物理层面深度神经网络中的每一层的工作可以理解为通过五种对输入空间(输入向量的集合)的操作，完成输入空间到输出空间的变换(即矩阵的行空间到列空间)，这五种操作包括:1、升维/降维；2、放大/缩小；3、旋转；4、平移；5、"弯曲"。其中1、2、3的操作由W*x完成，4的操作由+b完成，5的操作则由a()来实现。这里之所以用"空间"二字来表述是因为被处理的图像并不是单个事物，而是一类事物，空间是指这类事物所有个体的集合。其中，W是权重向量，该向量中的每一个值表示该层卷积层中的一个神经元的权重值。该向量W决定着上文所述的输入空间到输出空间的空间变换，即每一层的权重W控制着如何变换空间。
步骤1003，基于所生成的用于处理样本图像S1的图像处理算法的参数，调整图像处理算法，采用参数调整后的图像处理算法对样本图像S1进行处理，生成处理后的图像B。
步骤1004，利用图像检测模型对图像B进行检测，生成检测结果。
这里，图像检测模型可以执行以下至少一项检测：目标检测、车道线检测或者行人意图检测等。图像检测模型是基于图像数据集S1对深度神经网络训练得到的。其中，图像检测模型可以采用传统模型训练方法训练得到，在此不再赘述。
步骤1005，基于检测结果和样本图像S1的标注信息，构建损失函数。
基于样本图像数据集中每一个样本图像S1的检测结果和样本图像S1的标注信息之间的误差，构建损失函数。该损失函数可以包括但不限于：平均绝对误差(MAE)损失函数、均方误差(MSE)损失函数或者交叉熵函数等。其中，所构建的损失函数中包括参数预测模型中待调整的参数。其中，参数预测模型的参数，即为形成参数预测模型的所有卷积层的权重矩阵(由很多卷积层的向量W形成的权重矩阵)。
步骤1006，确定是否达到预设条件。
这里的预设条件包括以下至少一项：预设损失函数的损失值小于等于预设阈值；迭代调整参数预测模型的参数的次数大于等于预设阈值。当达到预设条件时，保存参数预测模 型的参数；当未达到预设条件时，则执行步骤1007。
步骤1007，利用反向传播算法和梯度下降算法调整参数预测模型的参数。
梯度下降算法具体可以包括但不限于：SGD、Adam等最优化算法。在基于预设损失函数进行反向传播时，可利用链式法则计算预设损失函数关于参数预测模型中各权重矩阵的梯度。
需要说明的是，基于预设损失函数采用反向传播算法调整图像处理算法的参数时，保持图像检测模型中的各参数均不变。此外，当采用机器学习的方法调整参数预测模型的参数时，本申请实施例所述的图像检测算法均具有可微分性，以便于基于链式法则进行反向传播。
如图10所示的参数预测模型的训练方法，通过重复执行步骤1002-步骤1007，也即对参数预测模型的参数进行多次迭代调整，可以得到参数预测模型中令损失函数达到极小值的最佳参数值。
结合上述实施例及相关附图，本申请实施例提供了一种图像检测方法，该图像检测方法可以在如图l、图5所示的电子设备中实现。图11是本申请实施例提供的图像检测方法的流程1100，如图11所示，该方法可以包括以下步骤:
步骤1101，获取待检测图像。
步骤1102，基于待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理待检测图像的图像处理算法的参数进行预测，生成参数预测值。
步骤1103，利用参数调整后的图像处理算法对待检测图像进行图像处理，生成处理后的图像。
步骤1104，将处理后的图像输入至预先训练的图像检测模型，生成检测结果。
可以理解的是，电子装置为了实现上述功能，其包含了执行各个功能相应的硬件和/或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本实施例可以根据上述方法示例对以上一个或多个处理器进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图12示出了上述实施例中涉及的图像检测装置1200的一种可能的组成示意图，如图12所示，该图像检测装置1200可以包括：获取模块1201、预测模块1202、调整模块1203、处理模块1204和检测模块1205。其中，获取模块1201，被配置成获取待检测图像；预测模块1202，被配置成基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；调整模块1203，被配置成基于所述参数预测值，调整所述图像处理算法的参数；处理模块1204，被配置成利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；检测模块1205，被配置成将所 述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
在一种可能的实现方式中，所述参数预测模型是通过比较样本图像的标注信息和图像检测模型对所述样本图像的检测结果、并且基于比较结果训练得到的。
在一种可能的实现方式中，所述图像检测装置还包括参数预测模型训练模块(图中未示出)，所述参数预测模型训练模块包括：比较子模块，被配置成将所述样本图像的检测结果和所述样本图像的标注信息进行比较以得到所述比较结果；调整子模块，被配置成基于所述比较结果迭代调整所述参数预测模型的参数；保存子模块，被配置成在预设条件满足时，保存所述参数预测模型的参数。
在一种可能的实现方式中，所述比较结果为误差，所述调整子模块进一步被配置成：基于所述样本图像的检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
在一种可能的实现方式中，所述预测模块1202被配置成：对所述待检测图像进行特征提取，生成特征张量；将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
在一种可能的实现方式中，所述预测模块1202被配置成：将所述待检测图像输入至所述参数预测模型，生成所述参数预测值。
在一种可能的实现方式中，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
在一种可能的实现方式中，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
本实施例提供的图像检测装置1200，用于执行电子设备100所执行的图像检测方法，可以达到与上述实现方法相同的效果。以上图12对应的各个模块可以通过软件、硬件或二者结合实现例如，每个模块可以以软件形式实现，以驱动如图1所示的电子设备100中的参数预测装置102、ISP103和AI处理器104。或者，每个模块可包括对应处理器和相应的驱动软件两部分。
在采用集成的单元的情况下，图像检测装置1200可以包括至少一个处理器和存储器。其中，至少一个处理器可以调用存储器存储的全部或部分计算机程序，对电子设备100的动作进行控制管理，例如，可以用于支持电子设备100执行上述各个模块执行的步骤。存储器可以用于支持电子设备100执行存储程序代码和数据等。处理器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑模块，其可以是实现计算功能的一个或多个微处理器组合，例如包括但不限于图1所示的图像信号处理器103和AI处理器104。此外，该微处理器组合还可以包括中央处理器和控制器等。此外，处理器除了包括图1所示的各处理器外，还可以包括其他可编程逻辑器件、晶体管逻辑器件、或者分立硬件组件等。存储器可以包括随机存取存储器(RAM)和只读存储器(ROM)等。该随机存取存储器可以包括易失性存储器(如SRAM、DRAM、DDR(双倍数据速率SDRAM，Double Data Rate SDRAM)或SDRAM等)和非易失性存储器。RAM中可以存储有参数预测装置102、ISP103和AI处理器104运行所需要的数据(诸如图像处理算法等)和参数、参数预测装置102、ISP103和AI处理器104运行所产生的中间数据、ISP103处理后的图像数据、AI处理器104运行后的输出结果等。只读存储器ROM中可以存储有参数预测装置102、 ISP103和AI处理器104的可执行程序。上述各部件可以通过加载可执行程序以执行各自的工作。存储器存储的可执行程序可以执行如图11所述的图像检测方法。
在采用对应各个功能划分各个功能模块的情况下，图13示出了上述实施例中涉及的用于训练参数预测模型的装置1300的一种可能的组成示意图，如图13所示，该用于训练参数预测模型的装置1300可以包括：预测模块1301、第一调整模块1302、处理模块1303、检测模块1304、比较模块1305和第二调整模块1306。其中，预测模块1301，被配置成基于样本图像的图像特征，利用参数预测模型，对用于处理所述样本图像的图像处理算法的参数进行预测，生成参数预测值；第一调整模块1302，被配置成基于所述参数预测值，调整所述图像处理算法的参数；处理模块1303，被配置成利用参数调整后的图像处理算法对所述样本图像进行图像处理，生成处理后的图像；检测模块1304，将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果；比较模块1305，被配置成比较所述检测结果和所述样本图像的标注信息之间的误差，得到比较结果；第二调整模块1306，被配置成基于所述比较结果，调整所述参数预测模型的参数；保存模块，被配置成在预设条件满足时，保存所述参数预测模型的参数。
在一种可能的实现方式中，所述比较结果为误差，第二调整模块1306被配置成：基于所述检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述参数预测模型的参数。
在一种可能的实现方式中，预测模块1301被配置成：对所述样本图像进行特征提取，生成特征张量；将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
在一种可能的实现方式中，预测模块1301被配置成：将所述样本图像输入至所述参数预测模型，生成所述参数预测值。
在采用集成的单元的情况下，用于训练参数预测模型的装置1300可以包括至少一个处理器和存储设备。其中，至少一个处理器可以调用存储器存储的全部或部分计算机程序，对如图9所示的模型训练设备901的动作进行控制管理，例如，可以用于支持模型训练设备901执行上述各个模块执行的步骤。存储器可以用于支持模型训练设备901执行存储程序代码和数据等。处理器可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑模块，其可以是实现计算功能的一个或多个微处理器组合，例如包括但不限于中央处理器和控制器等。此外，处理器还可以包括其他可编程逻辑器件、晶体管逻辑器件、或者分立硬件组件等。存储器可以包括随机存取存储器(RAM)和只读存储器ROM等。该随机存取存储器可以包括易失性存储器(如SRAM、DRAM、DDR(双倍数据速率SDRAM，Double Data Rate SDRAM)或SDRAM等)和非易失性存储器。RAM中可以存储有模型训练设备901运行所需要的数据(诸如图像处理算法等)和参数、模型训练设备901运行所产生的中间数据、模型训练设备901运行后的输出结果等。只读存储器ROM中可以存储有模型训练设备901的可执行程序。上述各部件可以通过加载可执行程序以执行各自的工作。存储器存储的可执行程序可以执行如图10所述的用于训练参数预测模型的方法。
本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行上述相关方法步骤实现上述实施例中的图像检测装置1100的图像检测方法，或者实现上述实施例中的用于训练参数预测 模型的装置1300的参数预测模型的训练方法。
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行上述相关步骤，以实现上述实施例中图像检测装置1100的图像检测方法，或者实现上述实施例中的用于训练参数预测模型的装置1300的参数预测模型的训练方法。
其中，本实施例提供的计算机可读存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (20)

  1. 一种图像检测方法，其特征在于，包括：
    获取待检测图像；
    基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；
    基于所述参数预测值，调整所述图像处理算法的参数；
    利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；
    将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
  2. 根据权利要求1所述的图像检测方法，其特征在于，所述参数预测模型是通过比较样本图像的标注信息和图像检测模型对所述样本图像的检测结果、并且基于比较结果训练得到的。
  3. 根据权利要求2所述的图像检测方法，其特征在于，所述参数预测模型通过如下步骤训练得到：
    将所述样本图像的检测结果和所述样本图像的标注信息进行比较以得到所述比较结果；
    基于所述比较结果迭代调整所述参数预测模型的参数；
    在预设条件满足时，保存所述参数预测模型的参数。
  4. 根据权利要求3所述的图像检测方法，其特征在于，所述比较结果为误差，所述基于所述比较结果迭代调整所述参数预测模型的参数，包括：
    基于所述样本图像的检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；
    基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
  5. 根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值，包括：
    对所述待检测图像进行特征提取，生成特征张量；
    将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
  6. 根据权利要求1-4任一项所述的图像检测方法，其特征在于，所述基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值，包括：
    将所述待检测图像输入至所述参数预测模型，生成所述参数预测值。
  7. 根据权利要求1-6任一项所述的图像检测方法，其特征在于，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
  8. 根据权利要求1-7任一项所述的图像检测方法，其特征在于，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
  9. 一种图像检测装置，其特征在于，包括：
    获取模块，被配置成获取待检测图像；
    生成模块，被配置成基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；
    调整模块，被配置成基于所述参数预测值，调整所述图像处理算法的参数；
    处理模块，被配置成利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；
    检测模块，被配置成将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
  10. 根据权利要求9所述的图像检测装置，其特征在于，所述参数预测模型是通过比较样本图像的标注信息和图像检测模型对所述样本图像的检测结果、并且基于比较结果训练得到的。
  11. 根据权利要求10所述的图像检测装置，其特征在于，所述图像检测装置还包括参数预测模型训练模块，所述参数预测模型训练模块包括：
    比较子模块，被配置成将所述样本图像的检测结果和所述样本图像的标注信息进行比较以得到所述比较结果；
    调整子模块，被配置成基于所述比较结果迭代调整所述参数预测模型的参数；
    保存子模块，被配置成在预设条件满足时，保存所述参数预测模型的参数。
  12. 根据权利要求11所述的图像检测装置，其特征在于，所述比较结果为误差，所述调整子模块进一步被配置成：
    基于所述样本图像的检测结果和所述样本图像的标注信息之间的所述误差，构建目标损失函数，其中所述目标损失函数包括所述参数预测模型中待调整的参数；
    基于所述目标损失函数，利用反向传播算法和梯度下降算法，迭代调整所述图像处理算法的参数。
  13. 根据权利要求9-12任一项所述的图像检测装置，其特征在于，所述生成模块被配置成：
    对所述待检测图像进行特征提取，生成特征张量；
    将所述特征张量输入至所述参数预测模型，生成所述参数预测值。
  14. 根据权利要求9-12任一项所述的图像检测装置，其特征在于，所述生成模块被配置成：
    将所述待检测图像输入至所述参数预测模型，生成所述参数预测值。
  15. 根据权利要求9-14任一项所述的图像检测装置，其特征在于，所述图像处理算法包括以下至少一项：阶调映射算法、对比度增强算法、图像边缘增强算法和图像降噪算法。
  16. 根据权利要求9-14任一项所述的图像检测装置，其特征在于，所述图像检测模型用于执行以下至少一项检测任务：检测框的标注、目标对象的识别、置信度的预测、目标对象运动轨迹的预测。
  17. 一种电子设备，其特征在于，包括：
    摄像装置，用于获取待检测图像；
    参数预测装置，用于基于所述待检测图像的图像特征，利用预先训练的参数预测模型，对用于处理所述待检测图像的图像处理算法的参数进行预测，生成参数预测值；
    图像信号处理器，用于基于所述参数预测值，调整所述图像处理算法的参数，利用参数调整后的图像处理算法对所述待检测图像进行图像处理，生成处理后的图像；
    人工智能处理器，用于将所述处理后的图像输入至预先训练的图像检测模型，生成检测结果。
  18. 一种图像检测装置，其特征在于，包括：
    一个或多个处理器和存储器；
    所述存储器耦合至所述处理器，所述存储器用于存储一个或多个程序；
    所述一个或多个处理器用于运行所述一个或多个程序，以实现如权利要求1-8任一项所述的方法。
  19. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，该计算机程序被至少一个处理器执行时用于实现如权利要求1-8任一项所述的方法。
  20. 一种计算机程序产品，其特征在于，当所述计算机程序产品被至少一个处理器执行时用于实现如权利要求1-8任一项所述的方法。
CN202180094447.8A 2021-03-16 2021-03-16 图像检测方法、装置和电子设备 Pending CN116917954A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/081086 WO2022193132A1 (zh) 2021-03-16 2021-03-16 图像检测方法、装置和电子设备

Publications (1)

Publication Number Publication Date
CN116917954A true CN116917954A (zh) 2023-10-20

Family

ID=83321791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180094447.8A Pending CN116917954A (zh) 2021-03-16 2021-03-16 图像检测方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN116917954A (zh)
WO (1) WO2022193132A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116953486B (zh) * 2023-09-18 2023-12-05 深圳华海达科技有限公司 一种芯片测试治具及芯片检测方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103413286B (zh) * 2013-08-02 2017-05-03 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN108968811A (zh) * 2018-06-20 2018-12-11 四川斐讯信息技术有限公司 一种扫地机器人的物体识别方法及系统
CN109410129A (zh) * 2018-09-28 2019-03-01 大连理工大学 一种低光照图像场景理解的方法
WO2020102988A1 (zh) * 2018-11-20 2020-05-28 西安电子科技大学 基于特征融合和稠密连接的红外面目标检测方法
CN111460964A (zh) * 2020-03-27 2020-07-28 浙江广播电视集团 一种广电传输机房低照度条件下运动目标检测方法

Also Published As

Publication number Publication date
WO2022193132A1 (zh) 2022-09-22

Similar Documents

Publication Publication Date Title
US11882357B2 (en) Image display method and device
US10628961B2 (en) Object tracking for neural network systems
CN111402146B (zh) 图像处理方法以及图像处理装置
US20220188999A1 (en) Image enhancement method and apparatus
US10977802B2 (en) Motion assisted image segmentation
US10708525B2 (en) Systems and methods for processing low light images
US20230214976A1 (en) Image fusion method and apparatus and training method and apparatus for image fusion model
WO2020152521A1 (en) Systems and methods for transforming raw sensor data captured in low-light conditions to well-exposed images using neural network architectures
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN113284054A (zh) 图像增强方法以及图像增强装置
CN112581379A (zh) 图像增强方法以及装置
WO2022133194A1 (en) Deep perceptual image enhancement
CN110807384A (zh) 低能见度下的小目标检测方法和系统
CN116681636B (zh) 基于卷积神经网络的轻量化红外与可见光图像融合方法
CN114627034A (zh) 一种图像增强方法、图像增强模型的训练方法及相关设备
CN115239581A (zh) 一种图像处理方法及相关装置
CN111563517A (zh) 图像处理方法、装置、电子设备及存储介质
WO2022193132A1 (zh) 图像检测方法、装置和电子设备
US20230132230A1 (en) Efficient Video Execution Method and System
WO2022183321A1 (zh) 图像检测方法、装置和电子设备
CN116263942A (zh) 一种调整图像对比度的方法、存储介质及计算机程序产品
US10878592B2 (en) Video data processing
CN115731115A (zh) 一种数据处理方法以及装置
CN112017128A (zh) 一种图像自适应去雾方法
Wei et al. Enhanced Object Detection by Integrating Camera Parameters into Raw Image-Based Faster R-CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination