CN115885310A - 图像信号处理器的控制方法以及执行该方法的控制设备 - Google Patents

图像信号处理器的控制方法以及执行该方法的控制设备 Download PDF

Info

Publication number
CN115885310A
CN115885310A CN202280004972.0A CN202280004972A CN115885310A CN 115885310 A CN115885310 A CN 115885310A CN 202280004972 A CN202280004972 A CN 202280004972A CN 115885310 A CN115885310 A CN 115885310A
Authority
CN
China
Prior art keywords
image
neural network
artificial neural
network model
signal processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280004972.0A
Other languages
English (en)
Inventor
金錄元
李善美
任一明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tipu Aikesi Co ltd
Original Assignee
Tipu Aikesi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tipu Aikesi Co ltd filed Critical Tipu Aikesi Co ltd
Publication of CN115885310A publication Critical patent/CN115885310A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本公开是一种用于人工神经网络的图像信号处理器的控制方法，上述方法可以被配置为包括：获取图像的步骤；确定与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据以及人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数(SFR预设)的步骤。

Description

图像信号处理器的控制方法以及执行该方法的控制设备
技术领域
本公开涉及一种图像信号处理器的控制方法以及执行该方法的控制设备。具体地，本公开涉及一种用于人工神经网络的图像信号处理器的控制方法以及执行该方法的控制设备。
背景技术
相机可以通过经由图像信号处理器(ISP)处理从图像传感器获取的RAW图像数据来改善图像质量。此种图像信号处理器(ISP)通常由成像专家调整到其设置。由此一来，即使使用相同的RAW图像数据，图像处理结果也会根据操作者的倾向、视觉感知、认知能力等而不同。
另一方面，随着各种人工神经网络因机器学习的最近发展而移接到计算机视觉领域，正在开发各种用于检测用相机拍摄的图像中的对象的技术。如果使用由人调整相机设置的图像信号处理器(ISP)，则用于学习/验证/推断的图像数据可能会根据操作者的特性而不均一，因此提高人工神经网络模型的推断准确度存在限制。反而，人工神经网络模型的推断准确度可能会降低。
已进行了作为本公开的背景的描述，以使本公开更容易理解。其不应解释为承认本公开的背景技术中描述的事项作为现有技术存在。
发明内容
技术问题
为了提高人工神经网络模型的检测率，既往公开过用于预处理传统RAW图像数据的分辨率的技术。然而，存在为此需要用于人工神经网络模型的单独的处理器的缺点。
另外，既往公开过在逐渐操纵传统图像信号处理器(ISP)的设置的同时，提高人工神经网络模型的检测率的技术。然而，由于没有从根本上考虑人工神经网络模型的特性，因此存在一个麻烦就是，每当向人工神经网络模型输入新的图像时，图像信号处理器必须重复执行上述操作。
由此，需要一种能够根据图像数据特性来选择人工神经网络模型的推断准确度属性并基于推断准确度属性来控制图像信号处理器(ISP)的参数的方法，以及用于执行该方法的装置。
由此，本公开的发明人试图开发一种能够根据图像数据特性来选择人工神经网络模型的推断准确度属性并基于推断准确度属性来控制图像信号处理器(ISP)的参数的方法，以及用于执行该方法的装置。
尤其是，本公开的发明人配置了一种方法及装置，以通过提供图像信号处理器(ISP)以根据图像特性细分预处理程度而使图像能够被均一地处理，从而显著提高人工神经网络模型的mAP(平均精度均值)。
本公开要解决的问题并不限于上述技术问题，本领域技术人员将通过以下描述清楚地理解其他尚未提及的技术问题。
技术方案
为了解决上述问题，提供了根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法。
根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法可以包括：获取图像的步骤；确定与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据以及至少一个人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数的步骤。
根据本公开的一示例，至少一个图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
根据本公开的一示例，确定图像校正参数的步骤可以包括：分析指示人工神经网络模型的推断准确度的变化的推断准确度属性的步骤；以及基于推断准确度属性以及图像特性数据来确定用于确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数的步骤。
根据本公开，分析推断准确度属性的步骤可以为确定基于图像的亮度、噪声、模糊水平、对比度以及色温中至少一个图像特性的人工神经网络模型的推断准确度的变化的步骤。
根据本公开的一示例，推断准确度的变化可以指示：根据图像的特性水平而变化的人工神经网络模型的推断准确度。
根据本公开的一示例，分析人工神经网络模型的推断准确度属性的步骤可以包括：基于至少一个图像特性来逐级调制应用于人工神经网络模型的参考图像数据集的步骤；以及计算针对在各个级调制的多个图像数据集的人工神经网络模型的平均精度均值(mAP)的步骤。
根据本公开的一示例，确定图像校正参数的步骤可以为利用与处理图像的图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个的步骤。
根据本公开的一示例，确定图像校正参数的步骤可以包括计算补偿函数的步骤，补偿函数用于通过将推断准确度属性与图像特性数据匹配来选择性地确定图像校正参数。
根据本公开的一示例，图像校正参数可以对应于处理图像的图像信号处理器的特殊功能寄存器的值。
根据本公开的一示例，用于人工神经网络的图像信号处理器的控制方法还可以包括：从处理图像的图像信号处理器接收基于图像校正参数的处理过的图像的步骤；以及通过向人工神经网络模型输入处理过的图像来输出推断结果的步骤。
根据本公开，用于人工神经网络的图像信号处理器的控制方法还可以包括识别能够获取和处理图像的图像传感器和图像信号处理器的步骤。
根据本公开的一示例，确定图像校正参数的步骤还可以包括通过控制图像传感器的拍摄参数来校正用于确定图像校正参数的补偿函数的步骤。
根据本公开的一示例，确定图像校正参数的步骤可以为基于存储于存储器中的多个人工神经网络模型的推断准确度属性来确定用于提高多个人工神经网络模型的推断准确度的图像校正参数的步骤。
为了解决上述问题，提供了根据本公开另一示例的用于人工神经网络的图像处理系统。
根据本公开的一示例，用于人工神经网络的图像处理系统可以包括：图像信号处理器，该图像信号处理器被配置为对图像执行图像处理；以及补偿单元，该补偿单元可操作地联接至图像信号处理器。
根据本公开的一示例，补偿单元可以被配置为获取图像，生成与图像对应的至少一个图像特性数据，获得至少一个推断准确度属性，并且基于至少一个图像特性数据以及至少一个推断准确度属性来确定图像信号处理器的图像校正参数。
根据本公开的一示例，图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
根据本公开的一示例，用于人工神经网络的图像处理系统还可以包括神经处理单元，该神经处理单元被配置为处理人工神经网络模型。
根据本公开的一示例，补偿单元可以被配置为基于至少一个推断准确度属性以及图像特性数据来选择性地确定用来确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数。
根据本公开的一示例，至少一个推断准确度属性可以包括关于与图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个对应的人工神经网络模型的推断准确度的变化的信息。
根据本公开的一示例，补偿单元还可以包括预设库，该预设库被配置为控制图像信号处理器。
根据本公开的一示例，补偿单元可以选择性地确定预设库的多个图像校正参数预设中的至少一个。
根据本公开的一示例，图像校正参数可以对应于图像信号处理器的特殊功能寄存器值。
根据本公开的一示例，神经处理单元可以被配置为接收由图像信号处理器处理过的图像，向人工神经网络模型输入处理过的图像，并且输出推断结果。
根据本公开的一示例，用于人工神经网络的图像处理系统还可以包括能够获取图像的图像传感器。
根据本公开的一示例，补偿单元可以被配置为基于至少一个推断准确度属性来控制图像传感器的拍摄参数。
根据本公开的一示例，补偿单元可以被配置为识别图像信号处理器。
根据本公开的一示例，神经处理单元可以被配置为基于处理过的图像以及人工神经网络模型的权重来处理人工神经网络模型的推断运算。
其他示例的具体细节包括在具体实施方式以及附图中。
发明效果
本公开选择图像特性以及人工神经网络模型的推断准确度属性，并且基于此来提供图像信号处理器(ISP)的详细的控制值，从而可以处理图像而不使至少一个属性偏移(biasing)。
另外，与通过逐渐的变换来简单提供图像信号处理器(ISP)控制值的现有技术相比，通过对根据图像特性的水平而变化的人工神经网络模型的推断准确度进行数值计算并基于此提供控制值，本公开能够缩减时间和成本。
另外，本公开能够通过对图像信号处理器(ISP)的控制值(图像校正参数，SFR预设)进行控制来提高人工神经网络模型的推断准确度。
另外，本公开根据图像传感器、图像信号处理器(ISP)和人工神经网络模型的类型来提供不同的控制值(图像校正参数，SFR预设)，从而提高推断准确度。
根据本公开的效果不受以上例示内容的限制，并且本公开包括各种更多效果。
附图说明
图1是示出了根据本公开一示例的用于人工神经网络的图像处理系统的示意性概念图。
图2和图3是示出了根据本公开一示例的用于人工神经网络的图像处理系统的各个元件所执行的功能的示意性概念图。
图4是根据本公开一示例的图像信号处理器的控制方法的示意性流程图。
图5是根据本公开一示例的图像信号处理器的控制方法的详细流程图。
图6a至图8d是用于解释根据本公开的一示例的基于图像特性来选择人工神经网络模型的推断准确度属性的方法的示意图。
图9至图13是示出了根据本公开的各种示例的用于人工神经网络的图像处理系统的各个元件所执行的功能的示意性概念图。
图14是示出了根据本公开另一示例的用于人工神经网络的图像处理系统的示意性概念图。
具体实施方式
参考下面结合附图详细描述的示例，本公开的优点和特征以及实现它们的方法将变得显而易见。然而，本公开不限于以下公开的示例并且将以各种形式实施。提供这些示例是为了使本公开完整，并且为了全面地向本公开所属领域的普通技术人员告知本公开的范围，本公开的范围仅由权利要求书的范围所限定。关于附图的描述，相似的附图标记可以用于相似的元件。
在本文件中，诸如“具有”、“可以具有”、“包括”或“可以包括”等的表述指示存在对应的特征(例如，诸如数值、功能、动作、或部件的元件)，并且不排除存在附加特征。
在本文件中，诸如“A或B”、“A或/和B中的至少一个”或“A或/和B中的一个或更多”等表述可以包括一起列出的项目的所有可能的组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可以指(1)包括至少一个A、(2)包括至少一个B、或(3)包括至少一个A和至少一个B的所有示例。
当在本文中使用时，诸如“第一”、“第二”、“第一”或“第二”之类的表述可以修饰各个元件而与顺序和/或重要性无关，并且仅用于将一个元件与另一个元件区分开，而不限制元件。例如，第一用户设备和第二用户设备可以代表不同的用户设备，而与顺序或重要性无关。例如，在不脱离本文件所描述的权利范围的情况下，可以将第一元件命名为第二元件，类似地，也可以将第二元件重命名为第一元件。
应当理解，当一个元件(例如，第一元件)被称为与另一个元件(例如，第二元件)“(在功能上或通信地)连接((可操作地或通信地)联接)”或者“接触(连接)”时，该元件可以与其他元件直接连接，或可以通过另一个元件(例如，第三元件)连接。另一方面，可以理解，当一个元件(例如，第一元件)被称为“直接连接至”或“直接接触于”另一个元件(例如第二元件)时，在该元件与另一个元件之间不存在其他元件(例如，第三元件)。
可以根据情况将本文件中使用的表述“～被配置为”与例如“～适合于”、“～有能力来”、“～被设计为”、“～适应于”、“～被制造为”或“～能够”互换地使用。术语“被配置(或被配置为)”不一定仅表示硬件中的“专门被设计为”。相反，在某些情况下，“设备被配置为”的表述可以表示该设备利用其他设备或部件而“能够……”。例如，短语“被配置(或被配置为执行)A、B和C的处理器”可以表示用于执行对应操作的专用处理器(例如，嵌入式处理器)或能够通过执行存储在存储设备中的一个或多个软件程序来执行对应操作的通用处理器(例如，CPU或应用处理器)。
本文件中使用的术语仅用于描述特定示例，而不旨在限制其他示例的范围。除非上下文另有明确规定，否则单数表述可以包括复数表述。本文使用的术语，包括技术术语或科学术语，可以具有与本文件中描述的领域的普通技术人员通常所理解的含义相同的含义。在本文件中使用的术语中，通用词典中定义的术语可以用与相关技术上下文中的含义相同或相似的含义来解释，并且除非本文明确定义，否则不应解释为理想或过度形式上的意义。在某些情况下，即便是在本文件中定义的术语也不能解释为排除本文件的示例。
本公开的各个示例的各个特征可以如本领域技术人员将充分理解的那样部分或全部组合或相互结合，在技术上的各种联动以及驱动是可能的，并且各个示例可以彼此独立实现，或者是以相关关系一同实现。
为了清楚解释本说明书，以下对本文中所使用的术语进行定义。
本说明书中的“图像”不仅可以包括从图像传感器获取的单个图像，还包括从一个图像传感器获取的多个图像或视频。更详细地，图像可以包括通过多个图像传感器获取的多个图像或视频。
本说明书的“人工神经网络模型”可以是被训练为执行对象检测、对象分割、图像/视频重构、图像/视频增强、对象追踪、事件识别、事件预测、异常检测、密度估计、事件搜索、测量等推断的模型。
例如，人工神经网络模型可以是诸如Bisenet、Shelfnet、Alexnet、Densenet、Efficientnet、EfficientDet、Googlenet、Mnasnet、Mobilenet、Resnet、Shufflenet、Squeezenet、VGG、Yolo、RNN、CNN、DBN、RBM、LSTM等的模型。然而，本公开不限于此，并且被训练为通过输入从图像信号处理器(ISP)处理的图像而推断对象或对象的位置的各种人工神经网络模型均可以应用于本公开。
以下，将参照附图详细描述本公开的一示例。
图1是示出了根据本公开一示例的用于人工神经网络的图像处理系统的示意性概念图。
参照图1，用于人工神经网络的图像处理系统10可以包括图像信号处理器(ISP)100、处理器150和第一存储器300。
在各个示例中，用于人工神经网络的图像处理系统10可以被配置为选择性地包括或排除第二存储器400。
在各种示例中，用于人工神经网络的图像处理系统10可以被配置为片上系统(SoC)。
图像信号处理器(ISP)100是图像处理处理器，并且可以可操作地连接至用于拍摄图像的相机模块。图像信号处理器(ISP)可以根据应用领域以各种方式处理从图像传感器获取的图像。
例如，图像信号处理器100可以被配置为将具有拜耳阵列的RAW图像数据去马赛克为RGB颜色空间。
例如，图像信号处理器100可以被配置为处理从RGB颜色空间到另一颜色空间的颜色空间转换。
例如，图像信号处理器100可以被配置为处理根据各种光学和电学特性条件对图像的色差进行校正的颜色校正矩阵。
例如，图像信号处理器100可以被配置为处理用于调整图像数据的伽马曲线的伽马校正。
例如，图像信号处理器100可以被配置为处理用于减少图像中的噪声以减少图像伪影的降噪。
例如，图像信号处理器100可以被配置为处理用于强调边缘的边缘增强。
例如，图像信号处理器100可以被配置为处理运动自适应降噪。
例如，图像信号处理器100可以被配置为处理整个图像的高动态范围成像(HDR)。
例如，图像信号处理器100可以包括执行上述功能的处理模块，并且每个处理模块可以流水线化。
然而，图像信号处理器100的图像处理功能不限于上述功能。
处理器150可以可操作地连接至图像信号处理器(ISP)100、第一存储器300和第二存储器400。处理器150可以对应于诸如中央处理器(CPU)或应用处理器(AP)的计算设备。例如，处理器150可以为微处理器(MPU)或微控制器(MCU)。作为另一示例，处理器150可以对应于图像信号处理器(ISP)100。
在各种示例中，处理器150可以实现为集成芯片(IC)的形式，该集成芯片例如为集成有诸如神经处理单元(NPU)、CPU和GPU的各种计算设备的片上系统(SoC)。
在各种示例中，处理器150可以运行为高级驾驶辅助系统(ADAS)的计算设备，并且也可以运行为各种对象识别应用系统的计算设备。
在各种示例中，处理器150可以实现为集成芯片的形式，在该集成芯片中集成有诸如接收拜耳阵列并输出转换成YUV输入的数据或RGB输入视频(图像)的ISP以及CPU的各种计算设备。
在各种示例中，当处理器150为神经处理单元(NPU)或被配置为包括神经处理单元(NPU)时，处理器150可以具有能够实时处理人工神经网络模型(DNN)的算力。换言之，由于人工神经网络模型(DNN)具有数据密集型计算特性，因此处理器150可以被配置为包括NPU以用于每秒三十帧或更多的推断运算。然而，本公开的示例不限于NPU。
第一存储器300是安装于半导体管芯上的存储器，并且可以为用于缓存或存储在用于人工神经网络的图像处理系统10中处理过的数据的存储器。第一存储器300可以包括诸如ROM、SRAM、DRAM、电阻RAM、磁阻RAM、相变RAM、铁电RAM、闪存存储器、HBM的存储器之一。第一存储器300可以包括至少一个存储器单元。第一存储器300可以被配置为同构存储器单元或异构存储器单元。
在各种示例中，第一存储器300可以被配置为内部存储器或片上存储器。
第二存储器400可以包括诸如ROM、SRAM、DRAM、电阻RAM、磁阻RAM、相变RAM、铁电RAM、闪存存储器和HBM的存储器之一。第二存储器400可以包括至少一个存储器单元。第二存储器400可以被配置为同构存储器单元或异构存储器单元。
在各种示例中，第二存储器400可以被配置为内部存储器或片上存储器。
用于人工神经网络的图像处理系统10的处理器150、图像信号处理器100、第一存储器300和第二存储器400可以电连接以彼此通信。
以下，将详细描述根据本公开的用于人工神经网络的图像处理系统的代表性的功能。
图2和图3是示出了根据本公开一示例的用于人工神经网络的图像处理系统的各个元件所执行的功能的示意性概念图。
参照图2，根据本公开的一示例的用于人工神经网络的图像处理系统10可以被配置为至少包括补偿单元210。
根据本公开的一示例的用于人工神经网络的图像处理系统10可以被配置为从图像传感器500接收图像。然而不限于此，并且用于人工神经网络的图像处理系统10可以被配置为还包括图像传感器500。
根据本公开的一示例的用于人工神经网络的图像处理系统10可以被配置为向图像信号处理器100提供控制信号。然而不限于此，并且用于人工神经网络的图像处理系统10可以被配置为还包括图像信号处理器100。
根据本公开的一示例的用于人工神经网络的图像处理系统10可以被配置为向处理器150提供用于人工神经网络的处理过的图像。然而不限于此，并且用于人工神经网络的图像处理系统10可以被配置为还包括处理器150。
根据本公开的一示例的用于人工神经网络的图像处理系统10包括补偿单元210，并且可以被配置为还包括图像传感器500、图像信号处理器100以及处理器150中的至少一个。
根据本公开的一示例的用于人工神经网络的图像处理系统10的补偿单元210可以被配置为分别与图像传感器500和/或图像信号处理器100通信。
补偿单元210可以被配置为分析要由处理器150推断的图像以控制图像信号处理器100。
具体地，补偿单元210的分析单元210a可以被配置为存储能够提高由处理器150处理的人工神经网络模型(DNN)的推断准确度的人工神经网络模型(DNN)的先前分析的推断准确度属性信息(profile information)。
补偿单元210可以被配置为单独的处理器。另选地，补偿单元210可以被配置为包括在处理器150中。另选地，补偿单元210可以被配置为包括在图像信号处理器100中。
补偿单元210可以被配置为包括分析单元210a、多路复用器单元210b和预设库210c。
分析单元210a可以被配置为分析从图像传感器500获得的图像的特性数据。分析单元210a可以被配置为基于经分析的图像的特性数据从预设库210c选择能够提高人工神经网络模型(DNN)的推断准确度的推断准确度属性。
预设库210c可以被配置为存储用于控制图像信号处理器100的多个设定值。图像信号处理器100可以被配置为接收特定的设定值并处理图像以提高要由处理器150处理的图像的推断准确度。预设库210c可以由多路复用器单元210b控制。预设库210c可以被配置为向图像信号处理器100提供响应于分析单元210a的选择信号而选择的设定值。
多路复用器单元210b可以被配置为接收由分析单元210a分析的特性数据并选择要提供给图像信号处理器100的控制值。
以下，将详细描述分析单元210a。分析单元210a可以被配置为分析要由处理器150处理的图像的特性数据并对比分析结果与人工神经网络模型(DNN)的推断准确度属性。
也就是说，根据本公开的一示例的推断准确度属性可以指特定的人工神经网络模型(DNN)的推断准确度属性。人工神经网络模型(DNN)的推断准确度的单位可以随人工神经网络模型(DNN)的应用而改变。
换言之，推断准确度属性可以表示根据图像的数据特性的变化而改变的人工神经网络模型(DNN)的对象检测率或图像分类率。对象检测率可以表示为平均精度均值(mAP)(％)。
换言之，推断准确度属性可以指通过分析根据输入至处理器150的图像的数据特性的变化由处理器150处理的特定的人工神经网络模型(DNN)的推断准确度的变化倾向而获得的信息。
换言之，推断准确度属性可以指分析了在图像具有带有某倾向的特性数据时特定的人工神经网络模型(DNN)是否能够提高推断准确度的信息。
还应该注意的是，人工神经网络模型(DNN)的推断准确度可以随正在进行训练的权重或已完成训练的权重而改变。
例如，特定的人工神经网络模型可以关于由被分类为一百类的一千个图像组成的训练数据集来对特定的人工神经网络模型进行机器学习。在此种情况下，人工神经网络模型的经训练的权重可以根据数据集的各个图像的特性数据的变化而改变。
换言之，当推断与经训练的数据集类似的图像时，经训练的人工神经网络模型可以具有高准确度。
换言之，当经训练的人工神经网络模型关于由暗图像组成的数据集来训练时，可以提高暗图像的推断准确度。
换言之，当经训练的人工神经网络模型关于由亮图像组成的数据集来训练时，可以提高亮图像的推断准确度。
换言之，当经训练的人工神经网络模型关于由清晰图像组成的数据集来训练时，可以提高清晰图像的推断准确度。
换言之，当经训练的人工神经网络模型关于由模糊图像组成的数据集来训练时，可以提高模糊图像的推断准确度。
也就是说，人工神经网络模型(DNN)的推断准确度由训练数据集的图像特性数据与要推断图像的特性之间的相似度所影响。这种趋势的原因在于人工神经网络模型(DNN)被设计为很好地推断与已训练的图像相似的图像。
也就是说，补偿单元210可以通过向图像信号处理器100提供用于控制图像处理的设定值来提高经训练的人工神经网络模型的推断准确度。
分析单元210a可以被配置为利用经训练的人工神经网络模型的推断准确度属性。
其中，人工神经网络模型的推断准确度属性可以指通过分析人工神经网络模型的推断准确度特性而获得的属性。也就是说，人工神经网络模型的推断准确度属性包括先前分析的人工神经网络模型的推断准确度特性。
当确定了要由处理器150处理的人工神经网络模型(DNN)时，可以选择人工神经网络模型(DNN)的推断准确度属性。通过选择推断准确度属性，可以生成根据图像的数据特性变化的人工神经网络模型(DNN)的推断准确度变化数据。稍后将参考图6a至图8d来描述推断准确度属性的选择。
例如，分析单元210a可以通过选择人工神经网络模型(DNN)的推断准确度属性来推断诸如人工神经网络模型(DNN)的训练图像数据集的亮度等级或噪声等级的数据。由此，图像信号处理器100如何对从对应的图像传感器500获取的图像进行图像处理决定了由处理器150推断的图像的准确度是否提高。
由此，补偿单元210可以向图像信号处理器100提供用于处理图像的图像信号处理器100的控制值。控制值可以称为特殊功能寄存器参数。特殊功能寄存器参数(SFRparameter)可以表示用于控制包括在图像信号处理器100中的各个处理模块的值。可以以预设的形式提供控制值。
也就是说，补偿单元210可以向图像信号处理器(ISP)100提供与要由处理器150处理的人工神经网络模型(DNN)的推断准确度属性对应的特殊功能寄存器参数的多个预设(SFR预设)之一。特殊功能寄存器参数可以称为图像校正参数。
换言之，补偿单元210可以向图像信号处理器100提供针对要由处理器150处理的各个图像确定图像的预处理程度的特殊功能寄存器参数的预设。
图像信号处理器100可以基于补偿单元210提供的图像校正参数对图像进行预处理。
参照图3，图像信号处理器100可以被配置为包括具有流水线结构的多个处理模块。各个处理模块可以被配置为执行特定功能的图像处理。作为特殊功能寄存器参数的图像校正参数可以输入至各个处理模块。
可以按图3所示的顺序执行图像信号处理器100的图像处理过程。例如，图像信号处理器100接收转换后的RGB图像数据并执行各个处理模块的图像处理功能。各个模块可以基于由补偿单元210提供的图像校正参数来处理图像。图像信号处理器100可以将处理过的图像传输至处理器150。其中，由于基于要由处理器150处理的人工神经网络模型(DNN)的推断准确度属性来对预处理的图像进行图像处理，因此可以提高推断准确度。
在各种示例中，根据图像信号处理器100的类型，可以执行除各个处理模块中所描述的图像处理之外的附加功能，或者可以删除或整合一些功能。
再来参照图2，处理器150可以向人工神经网络模型(DNN)输入经预处理的图像以执行诸如图像分类、对象识别的推断。
以此种方式，在将基于图像校正参数处理的图像用作输入的人工神经网络模型中，与传统技术相比，推断准确度能够得以提高。
以下，将参照图4至图8d详细描述使用补偿单元210来控制图像信号处理器100的一系列过程。
图4是根据本公开一示例的图像信号处理器的控制方法的示意性流程图。
参照图4，补偿单元210可以获取图像S110。例如，补偿单元210可以获取由图像传感器500提供的图像，或者通过通信接口(未示出)从外部设备接收图像。其中，图像传感器500可以为包括拜耳滤色器的传感器。在此种情况下，图像传感器500可以执行从具有拜耳阵列的RAW图像数据到RGB、YUV、HSV、YCBCR等的颜色空间转换。
参照图4，补偿单元210可以生成与图像对应的至少一个图像特性数据S120。具体地，补偿单元200的分析单元210a可以提取图像的各个通道的直方图、最大值、最小值、均值、标准差值、RGB值之和、信噪比(SNR)、频率组成以及边缘组成中的至少一个，并且分析对应的图像的图像特性数据，从而生成特性数据。
也就是说，分析单元210a可以分析要输入至人工神经网络模型(DNN)的图像的特性当中可能与推断准确度相关的各种图像特性数据。
同时，为了提取各种图像特性数据，分析单元210a可以包括运算单元，该运算单元能够执行能够分析上述图像特性数据的直方图运算、最小运算、最大运算、求和运算、求平均运算、求均值运算、标准差运算、卷积运算以及傅里叶变换运算中的至少一个运算。
例如，分析单元210a可以被配置为包括被配置为处理运算的处理器。例如，分析单元210a可以被配置为利用图像信号处理器100的一些模块以处理运算。例如，分析单元210a可以被配置为使用专用集成电路、应用处理器、中央处理单元、图形处理单元、微处理单元等来处理运算。
在步骤S120之后，补偿单元210可以基于至少一个图像特性数据和人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数(SFR预设)S130。
具体地，补偿单元210可以接收其中分析了要由处理器150处理的人工神经网络模型(DNN)的推断准确度的变化的属性。其中，术语推断准确度的变化是指：基于图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个图像特性，每当至少一个图像特性的水平逐渐变化时变化的人工神经网络模型(DNN)的推断准确度。
例如，人工神经网络模型(DNN)可以为被训练以执行诸如图像分类、对象检测、对象分割、对象追踪、事件识别、事件预测、异常检测、密度估计、测量等推断的模型。
这里，为了实施准确的运算，根据本公开的一示例，人工神经网络模型(DNN)可以为经训练的模型。另选地，人工神经网络模型(DNN)可以为已被训练至达到超过阈值推断准确度的水平的模型。当向神经网络模型提供附加训练时，可以改变推断准确度属性。由此，当提供经训练的人工神经网络模型时，可以执行补偿单元210的推断准确度属性选择。
以下，将描述要由补偿单元210所使用的人工神经网络模型的推断准确度属性的分析方法。可以向补偿单元210提供先前分析的人工神经网络模型的推断准确度属性。其中，可以对应于要由处理器150处理的人工神经网络模型来提供人工神经网络模型的推断准确度属性。
以下，使用平均精度均值(mAP)作为示例来分析人工神经网络模型的推断准确度属性，。
可以在确定要由处理器150推断的人工神经网络模型(DNN)之后，执行推断准确度属性分析。稍后将参照图6a至图8d描述推断准确度属性的选择。
例如，补偿单元210可以被配置为分析要由处理器150处理的图像特性数据。
分析单元210可以被配置为被提供所分析的人工神经网络模型(DNN)的推断准确度属性。
分析单元210可以被配置为对比所提供的推断准确度属性与图像特性数据以设定能够提高图像信号处理器100的推断准确度的图像校正参数值。
分析单元210可以被配置为包括库210c，库210c包括与所分析的推断准确度属性以及图像特性数据对应的多个图像校正参数预设。
也就是说，补偿单元200可以基于推断准确度属性以及所分析的图像特性数据来选择性地确定用于确定输入至人工神经网络的图像的预处理程度的图像校正参数。这里，图像校正参数(SFR预设)为要提供给图像信号处理器100的参数，并且可以对应于图像信号处理器100的特殊功能寄存器的值。
例如，图像校正参数(SFR预设)可以定义为如以下[表1]所示的可以提供给图像信号处理器100的特殊功能寄存器值。如[表1]所示的预设库210c可以根据图像信号处理器100的类型以及标识信息而不同，并且不同预设库210c可以存储于补偿单元200或单独的存储器中。例如，预设库210c可以存储于第一存储器300。然而不限于此，可以将预设库210c存储于补偿单元210内的存储器中。
[表1]
Figure BDA0003990832560000161
补偿单元210可以基于图像特性数据以及人工神经网络模型(DNN)的推断准确度属性从[表1]所示的N个图像校正参数(SFR预设)中确定最佳图像校正参数。
补偿单元210向图像信号处理器100传输所确定的最佳图像校正参数(SFR预设)。由此，处理器150可以从图像信号处理器100接收基于图像校正参数处理过的图像。例如，处理器150可以通过将处理过的图像输入到被训练以推理对象的人工神经网络模型(DNN)来输出对象推断结果。
在各种示例中，可以将人工神经网络模型(DNN)的权重值与处理过的图像一同提供给用于推断运算的处理器150。
在各种示例中，补偿单元210可以基于存储在特定存储器中的多个人工神经网络模型的推断准确度属性确定用于提高多个人工神经网络模型的推断准确度的图像校正参数。例如，特定存储器可以是第一存储器300或第二存储器400。具体地，即使是具有相同的层结构的人工神经网络模型，也可能根据训练图像数据集而具有不同的推断准确度。由此一来，当存在多个人工神经网络模型时，补偿单元210可以为多个人工神经网络模型中的每一个选择单独的用于提高推断准确度的图像校正参数。
这里，第一人工神经网络模型可以是图像分类模型。第二人工神经网络模型可以是对象识别模型。第三人工神经网络模型可以是对象分割模型。根据训练数据，各个人工神经网络模型的权重可能不同。由此，各个人工神经网络模型的推断准确度属性可能彼此不同。因此，可以不同地分析各个人工神经网络模型的推断准确度属性。可以将各个经分析的人工神经网络模型的推断准确度属性分别提供给补偿单元210。由此，补偿单元210可以被配置为接收或存储至少一个人工神经网络模型的推断准确度属性。
以下，将参照图5详细描述选择人工神经网络模型的推断准确度属性以确定最佳参数的方法。
图5是根据本公开一示例的图像信号处理器的控制方法的详细流程图。
参照图5，补偿单元210可以识别图像传感器500和图像信号处理器100S210。具体地，由于图像传感器500和图像信号处理器100按类型具有不同的处理图像数据特性，处理器150可以在选择图像信号处理器100的图像校正参数(SFR预设)之前设别这两个设备。然而，本公开不限于设备识别，可以省略设备识别步骤。
在步骤S210之后，处理器150可以确定要基于图像推断对象的人工神经网络模型(DNN)S220。具体地，第一存储器300可以存储多个人工神经网络模型，用户可以从中选择一个人工神经网络模型。
在步骤S220之后，处理器150可以逐级调制在先前步骤中确定的人工神经网络模型的参考图像数据集S230。这里，参考图像数据集例如可以是用于人工神经网络模型的性能评估的数万的验证图像数据集。
处理器150可以基于图像的亮度、噪声、模糊水平、对比度以及色温中至少一个图像特性来逐级调制图像的属性。
在步骤S230之后，处理器150可以针对在各个级进行调制的多个图像数据集计算人工神经网络模型的平均精度均值(mAP)S240，并且可以基于计算结果来选择人工神经网络模型的属性(S250)。
与此相关地，图6a至图8d是用于解释根据本公开的一示例的基于图像特性来选择人工神经网络模型的属性的方法的示意图。
在参照图6a至图8d进行描述之前，将理解的是，用于选择人工神经网络模型的参考图像数据集并分析属性的一些过程(例如创建经调制的图像数据集等)由用于人工神经网络的图像处理系统10中包括的处理器150或分析系统(未示出)来执行。另外，由于必须推断用于属性的数十万张分析图像，所以属性分析任务可能难以实时处理。此外，可能还需要存储器来存储用于属性的数十万张分析图像。因此，预先单独执行属性分析工作并仅单独利用分析过的属性结果可能是有效率的。
图6a至图6c用图像的亮度来分析人工神经网络模型的推断准确度属性。参照图6a，可以准备用于生成属性的参考图像数据集。作为可用数据集，可以使用公开可用的标准数据集或为训练特定功能而创建的数据集。
例如，可以将五万张能够评估人工神经网络推断的图像用作数据集。为了属性生成，可以通过基于参考图像数据集逐级调制图像的平均亮度而生成六个变更的(altered)图像数据集。一个经调制的图像数据集包括具有不同亮度的五万个图像。因此，六个经调制的数据集包括总共300,000个图像。另外，如果包括参考图像数据集，则可以准备具有总共七个亮度等级的包括350,000个图像的用于属性分析的图像数据集。
例如，可以通过以三十灰度级为单位改变在参考图像数据集中的YCbCr颜色空间的参考图像的亮度值Y来生成具有六个等级的图像亮度值Y的经调制的图像数据集。其中，改变亮度值的单位不限于此，可以由用户来设定改变亮度值的单位。
分析系统可以将各个图像数据集输入至人工神经网络模型(DNN)中以获得根据平均亮度变化的人工神经网络模型的平均精度均值(mAP)的属性。这里，图像数据集可以包括经调制的图像数据集以及参考图像数据集两者。可以在单独的系统或处理器150中执行属性分析。
参照图6b，作为获得属性(profiling)的结果，可以看出，当将参考图像数据集的平均亮度提升30级(ΔY＝30)时，人工神经网络模型(DNN)具有最高的mAP，而当将平均亮度降低90级(ΔY＝-90)时，mAP最低。
也就是说，参照获得属性的结果，可以基于参考图像数据集与经调制的图像数据集间的推断准确度之差来分析人工神经网络模型的推断准确度特性。例如，参照图6b的属性，可以确定相对更亮的图像被用作人工神经网络模型的训练图像数据集。例如，要由处理器150处理的人工神经网络模型可以被分析为在相对更亮三十级或更多的图像中具有最高的推断准确度。也就是说，可以将第四调制数据集(ΔY＝30)的平均亮度值确定为最佳值。由此，补偿单元210可以控制图像信号处理器100，以使要由处理器150处理的图像的平均亮度值变得近似于第四调制数据集的平均亮度值(ΔY＝30)。
由此，补偿单元210可以被配置为控制图像信号处理器100以根据人工神经网络模型的推断准确度特性来改变输入至人工神经网络模型(DNN)的图像的亮度。由此，补偿单元210可以提高人工神经网络模型的推断准确度。
参照图6c，补偿单元210可以用预设库210c来选择图像信号处理器100的图像校正参数(SFR预设)。
具体地，补偿单元210可以基于图像特性数据来计算输入图像的平均亮度。补偿单元210可以根据所计算的图像的平均亮度从预设库210c选择要应用于对应图像的图像校正参数预设。
例如，第一亮度校正预设A1可以意味着，当输入图像的平均亮度等级为0至32时，图像信号处理器100执行将图像的平均亮度提升八十级(ΔY＝80)的校正。作为另一示例，第八亮度校正预设A8可以意味着，当输入图像的平均亮度等级为224至255时，图像信号处理器100执行将图像的平均亮度降低十级(ΔY＝-10)的校正。
如此，补偿单元210可以通过考虑根据1.输入图像的平均亮度以及2.人工神经网络模型的平均亮度的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数。因此，可以提高人工神经网络模型的推断准确度。
更详细地，图像信号处理器100可以基于从补偿单元210接收的图像校正参数校正图像的亮度等级ΔY。例如，图像信号处理器100可以将具有拜耳阵列的RAW图像数据转换为YCbCr颜色空间，并且然后校正图像的亮度等级ΔY。而且，图像信号处理器100针对各个像素将具有拜耳阵列的RAW图像数据转换为RGB。接下来，图像信号处理器100可以通过调整RGB值或伽玛曲线值来校正图像的亮度等级以匹配基于YCbCr的图像校正参数ΔY。
在图7a至图7c，可以使用图像噪声来分析人工神经网络模型(DNN)的推断准确度属性。参照图7a，可以准备用于生成推断准确度属性的参考图像数据集。作为可用数据集，可以使用公开可用的标准数据集或为训练特定功能而创建的数据集。
例如，可以将30,000个能够评估人工神经网络推断的图像用作数据集。为了生成推断准确度属性，可以通过基于参考图像数据集逐级调制图像的噪声等级来生成四个变更的图像数据集。一个经调制的图像数据集包括具有不同的噪声等级的30,000个图像。因此，四个调制数据集包括总共120,000个图像。另外，如果包括参考图像数据集，则可以准备具有总共五个噪声等级的包含用于属性分析的150,000个图像的数据集。
更详细地，用于分析亮度属性的参考图像数据集与用于分析噪声属性的参考图像数据集可以彼此相同或相异。
例如，通过以三分贝(dB)为单位给参考图像数据集增加白噪声，能够生成进行了各级的噪声处理的四个不同的经调制的图像数据集。其中，噪声值添加单位不限于此，并且可以由用户指定噪声值添加的单位。
处理器150可以将各个经调制的图像数据集输入至人工神经网络模型(DNN)中以获得根据噪声的变化的人工神经网络模型的平均精度均值(mAP)的属性。这里，图像数据集可以包括经调制的图像数据集和参考图像数据集两者。
参照图7b，作为获得属性的结果，可以确认，人工神经网络模型以3dB为单位向参考图像数据集添加噪声，并且mAP随着信噪比(SNR)值下降而下降。
也就是说，参照推断准确度属性的结果，可以基于参考图像数据集与经调制的图像数据集间的推断准确度之差来分析人工神经网络模型的推断准确度特性。例如，参照图7b的推断准确度属性，可以估测到，具有低噪声的清晰的图像用作人工神经网络模型的训练图像数据集。例如，要由处理器150处理的人工神经网络模型(DNN)可以被分析为在具有相对高的信噪比的图像中具有最高的推断准确度。也就是说，可以将30dB或更高的信噪比值确定为最佳值。由此，补偿单元210可以控制图像信号处理器100，以使要由处理器150处理的图像的信噪比变得近似于30dB。
由此，补偿单元210可以被配置为控制图像信号处理器100，以使输入至人工神经网络模型(DNN)的图像的信噪比能够根据人工神经网络模型的推断准确度特性而改变。由此，补偿单元210可以提高人工神经网络模型的推断准确度。
参照图7c，补偿单元210可以用预设库210c来选择图像信号处理器100的图像校正参数(SFR预设)。
具体地，补偿单元210可以基于图像特性数据来计算图像的信噪比。补偿单元210可以根据所计算的图像的信噪比从预设库选择要应用于对应图像的图像校正参数预设。
例如，第一信噪比预设B1可以意味着当输入图像的平均的信噪比为15dB或更低时，图像信号处理器100将噪声滤波器等级处理为等级4。作为另一示例，第三信噪比预设B3可以意味着当输入图像的信噪比为25dB时，图像信号处理器100将噪声滤波器等级处理为等级2。在此种情况下，噪声校正特性可以随着噪声滤波器等级提升而提升。例如，噪声滤波器可以包括低通滤波器、平滑滤波器、卷积滤波器等，但是不限于此。例如，可以在图3所示的降噪和边缘增强模块中进行降噪。
如此，补偿单元210可以通过考虑根据输入图像的信噪比以及人工神经网络模型的信噪比的推断准确度属性来选择用于提高人工神经网络模型的推断准确度的图像校正参数(SFR预设)，并且将其提供给图像信号处理器100。因此，可以提高人工神经网络模型的推断准确度。
更详细地，图像信号处理器100可以基于从补偿单元210接收的图像校正参数来校正图像中的噪声。例如，图像信号处理器100可以通过调整噪声阈值来校正图像中的噪声。
在图8a至图8d中，可以用图像的模糊水平来分析人工神经网络模型(DNN)的推断准确度属性。参照图8a，可以准备用于生成推断准确度属性的参考图像数据集。作为可用数据集，可以使用公开可用的标准数据集或为训练特定功能而创建的数据集。
例如，可以将30,000个能够评估人工神经网络推断的图像用作数据集。为了生成推断准确度属性，可以通过基于参考图像数据集逐级调制图像的模糊水平(σ)来生成三个变更的图像数据集。一个经调制的图像数据集包括具有不同的模糊水平的三万个图像。因此，三个经调制的数据集包括总共九万个图像。另外，如果包括参考图像数据集，则可以准备具有总共四个模糊水平的包含用于属性分析的120,000个图像的数据集。
例如，可以通过将[等式1]的高斯滤波器应用到参考图像数据集来调整σ值。
[等式1]
Figure BDA0003990832560000211
处理器150可以通过基于模糊水平(σ＝0)以二为单位提高σ值来生成具有不同的模糊水平的三个经调制的图像数据集。其中，模糊水平变化的单位不限于此，可以由用户指定模糊水平变化的单位。
换言之，用于分析亮度属性、噪声属性以及模糊水平属性的参考图像数据集可以彼此相同或相异。
处理器150可以将各个经调制的图像数据集输入至人工神经网络模型(DNN)以获得根据模糊水平的变化的人工神经网络模型的mAP的属性。这里，图像数据集可以包括经调制的图像数据集和参考图像数据集两者。
参照图8b，作为获得属性的结果，可以确认，人工神经网络模型的mAP随模糊水平提升而逐渐降低。
也就是说，参照推断准确度属性的结果，能够基于参考图像数据集与经调制的图像数据集之间的mAP差来分析人工神经网络模型的推断准确度特性。例如，参照图8b的推断准确度属性结果，可以估测到，相对清晰的图像用作人工神经网络模型的训练图像数据集，例如，要由处理器150处理的人工神经网络模型可以被分析为在相对清晰的图像中具有最高的推断准确度。也就是说，可以将σ值为零的值确定为最佳值。由此，补偿单元210可以选择用于控制图像信号处理器100的图像校正参数(SFR预设)，以使要由处理器150处理的图像的模糊水平σ接近零。
由此一来，补偿单元210可以被配置为控制图像信号处理器100以根据人工神经网络模型的推断准确度特性来改变输入至人工神经网络模型(DNN)的图像的模糊水平。由此，补偿单元210可以提高人工神经网络模型的推断准确度。
参照图8c，补偿单元210可以用预设库210c来确定图像信号处理器100的图像校正参数(SFR预设)。
具体地，补偿单元210可以基于图像特性数据来计算图像的频率组成。其中，补偿单元210可以确定当图像的频率高时，其被认为是清晰的(sharp)，并且可以确定当图像的频率低时，其被认为是模糊的(blur)。补偿单元210可以根据所计算的频率信息从预设库选择要应用于对应的图像的图像校正参数预设(SFR预设)。
具体地，补偿单元210可以基于图像特性数据来计算模糊水平。补偿单元210可以映射对应于图像的频率的模糊水平。补偿单元210可以根据所映射的模糊水平从预设库选择性地确定要应用于对应的图像的图像校正参数。
例如，第一模糊预设C1可以意味着当输入图像的模糊水平为σ＝0时，图像信号处理器100不执行边缘增强功能。作为另一示例，第四模糊预设C4可以意味着当输入图像的模糊水平为σ＝6时，图像信号处理器100执行对应于边缘增强等级3的校正。在此种情况下，边缘特性可以随着边缘增强滤波器的等级提升而提升。
以此种方式，补偿单元210可以通过考虑根据1.输入图像的模糊水平以及2.人工神经网络模型的模糊水平的属性(mAP变化特性)来选择用于提高人工神经网络模型的mAP的图像校正参数，并且将其提供给图像信号处理器100。因此，可以提高人工神经网络模型的推断准确度。
更详细地，图像信号处理器100可以基于从补偿单元210接收的图像校正参数来校正图像的模糊水平。例如，如图8d所示，图像信号处理器100可以通过调整核滤波器的权重来执行用于强调图像的边缘的校正。例如，可以在图3所示的降噪以及边缘增强模块中执行边缘增强。
也就是说，补偿单元210可以利用对应于图像的亮度、噪声、模糊水平、对比度以及色温中至少一个图像特性的人工神经网络模型(DNN)的推断准确度属性。由此，补偿单元210可以选择性地提供图像信号处理器100的合适的图像校正参数(SFR预设)S260。
在各种本公开的示例中，还能够分析和反映附加的推断准确度属性。例如，可以在调制数据集的某些图像特性的值的同时，分析附加的推断准确度属性。
在各种示例中，补偿单元210可以利用两种方法来选择性地提供图像校正参数(SFR预设)。
作为一示例，如以上在[表1]中所示，补偿单元210可以通过使用预设库210c来选择性地提供多个图像校正参数预设中的至少一个S260-1。为了选择最佳图像校正参数，补偿单元210可以被配置为分析来自图像中的至少一个图像特性数据。补偿单元210可以针对各个图像帧分析图像特性数据。另选地，补偿单元210可以针对多个图像帧中的每一个分析图像特性数据。
作为另一示例，补偿单元210可以计算能够选择性地确定图像信号处理器100的各个图像校正参数的补偿函数，并且可以基于补偿函数来选择性地提供图像校正参数S260-2。这里，补偿函数可以为能够通过将人工神经网络模型(DNN)的推断准确度属性与要由处理器150处理的图像的图像特性数据匹配来确定图像校正参数的函数。此时，由于人工神经网络模型(DNN)的推断准确度属性根据训练图像数据集而不同，补偿单元210可以利用多个图像特性分别导出对应于一个人工神经网络模型的多个补偿函数。
在各种示例中，用于人工神经网络的图像处理系统10可以控制图像传感器500的拍摄参数以校正确定图像校正参数的补偿函数。例如，用于人工神经网络的图像处理系统10可以控制图像传感器500的信号放大值，或者控制曝光时间(快门速度)，并且可以由此校正补偿函数。
以下，将描述选择性地修改上述用于人工神经网络的图像处理系统10的配置的一示例。
图9至图13是示出了根据本公开的各种示例的用于人工神经网络的图像处理系统的各个元件所执行的功能的示意性概念图。
参照图9，根据本公开的一示例的用于人工神经网络的图像处理系统10可以被配置为包括与图2的补偿单元不同的在图像信号处理器100a中的补偿单元210。也就是说，图像信号处理器100a可以基于图像特性数据分析和人工神经网络模型的推断准确度属性来选择性地确定图像校正参数，并且可以执行在各个处理模块中所描述的图像处理。
如此，图像信号处理器100可以通过整合补偿单元210来确定图像校正参数，从而提高使用用于人工神经网络的图像处理系统10的便利性。
参照图10，根据本公开的一示例的用于人工神经网络的图像处理系统10可以利用补偿函数以选择性地确定图像校正参数。在上述方法中，要根据图像性质来确定的图像校正参数是从预设库逐个选择的。在另一方面，图10的图像信号处理器100a则可以通过补偿函数来确定图像校正参数。
图像信号处理器100a可以基于与图像的亮度、噪声、模糊水平、对比度以及色温中的每一个对应的多个补偿函数来选择性地确定图像校正参数。
在各种示例中，补偿函数可以基于函数逼近(function approximation)或曲线拟合算法选择性地确定图像校正参数。
在各种示例中，补偿函数可以被实施为单独的人工神经网络模型，并且在此种情况下，可以基于强化学习进行更新。
参照图11，当用于人工神经网络的图像处理系统10在特定的环境中运行时，图像信号处理器100a可以固定图像校正参数。例如，当图像信号处理器100a仅在特定的环境、特定的时间以及特定的位置运行时，可以将图像校正参数固定为优化的值。
在各种示例中，即使在动态的环境中，图像信号处理器100a也可以固定图像校正参数。例如，图像信号处理器100a可以计算在多个图像校正参数中具有高概率推断准确度的图像校正参数并将其指定为固定值。
参照图12，当应用于诸如自动驾驶和CCTV的需要对象识别功能的设备时，用于人工神经网络的图像处理系统10可以包括图像传感器500。图像信号处理器100a可以被配置为控制图像传感器500的拍摄参数。例如，图像信号处理器100a可以控制图像传感器500的信号放大，或者控制曝光时间(快门速度)。
同时，在各种示例中，如图9所示，图像信号处理器(ISP)在用于从预设库选择性地确定图像校正参数的预设选择模式下运行。另选地，如图10所示，图像信号处理器(ISP)可以在利用补偿函数来选择性地确定图像校正参数的图像校正参数(SFR)生成模式下运行。
参照图13，用于人工神经网络的图像处理系统10的处理器150可以被实现为专门用于人工神经网络模型(DNN)的推断运算的神经处理单元(NPU)200。也就是说，神经处理单元200被配置为将存储在第一存储器300中的人工神经网络模型的权重值与由图像信号处理器100处理过的图像一同进行处理。神经处理单元(NPU)200可以被配置为从处理过的图像推断图像分类、对象识别或分割等。
这里，人工神经网络模型指人工神经元的网络，所述人工神经元在接收到多个输入或刺激时，将权重相乘和相加，并且通过激活函数来变换并传输通过增加附加偏差而得到的值。可以将以此种方式训练的人工神经网络模型用于从输入数据输出推断结果。
在本公开的一示例中，神经处理单元(NPU)200可以为实施为电气/电子电路的半导体。电气/电子电路可以表示包括多个电子器件(例如，晶体管、电容器)。
具体地，神经处理单元(NPU)200可以包括多个处理元件(PE)220、NPU内部存储器230、控制单元240、NPU接口250和特殊函数单元(SFU)(以下称为“函数计算单元”)260。多个处理元件220、NPU内部存储器230、控制单元240和函数计算单元260中的每一个可以是连接有多个晶体管的半导体电路。由此，它们中一些可能难以用肉眼识别和区分，可以仅通过运算来识别。
例如，用于人工神经网络的图像处理系统10的神经处理单元(NPU)200中的任意电路可以在与多个处理元件220的连接的情况下下运行，或者可以在与控制单元240的连接的情况下下运行。控制单元240可以被配置为执行被配置为控制神经处理单元200的人工神经网络推断运算的控制单元的功能。
多个处理元件220可以执行用于人工神经网络的运算。具体地，可以设置被配置为计算人工神经网络模型(DNN)的特征图以及权重的多个处理元件220(例如：PE1、PE2、PE3…、PEn，其中，n为自然数)。例如，多个处理元件220可以根据人工神经网络模型(DNN)的特性被配置为(N×M)矩阵(其中，N和M为自然数)，并且由此可以包括(N×M)个处理元件。
多个处理元件220可以执行人工神经网络运算所需的诸如加法、乘法和累加之类的功能。换言之，多个处理元件220可以被配置为执行乘法和累加(MAC)运算。多个处理元件220可以被配置为包括MAC算子和/或算术逻辑单元(ALU)算子。然而，多个处理元件220的数量以及配置不限于此。
详细说明的话，多个处理元件220还可以可选地包括附加的特定功能单元以处理附加特殊功能。例如，至少一个处理元件还可以包括批标准化单元、激活函数单元、插值单元等。
同时，虽然已在图13中描述多个处理元件220以阵列形式配置，通过置换一个处理元件的MAC，可以平行布置用多个乘法器和加法器树实现的算子。在此种情况下，多个处理元件可以定义为包括多个算子的至少一个处理元件。
NPU内部存储器230可以存储可以从多个处理元件220推断的人工神经网络模型(DNN)的特征图和权重中的至少一些。
这里，人工神经网络模型(DNN)可以包括关于人工神经网络模型的结构或数据局部性信息的信息。
控制单元240可以基于关于人工神经网络模型的结构的信息或数据局部性信息来控制多个处理元件220和NPU内部存储器230。
函数计算单元260可以计算人工神经网络的特征值，或者计算各种网络层的函数，诸如激活函数计算、标准化、池化。例如，函数计算单元260可以连接至多个处理元件220以处理从多个处理元件220输出的数据。
控制单元240可以被配置为控制用于神经处理单元(NPU)200的推断运算的多个处理元件220的运算以及NPU内部存储器230的读写顺序。
在各种示例中，控制单元240可以被配置为基于关于人工神经网络模型(DNN)的结构的信息或数据局部性信息来控制多个处理元件220和NPU内部存储器230。
控制单元240可以分析要在多个处理元件220中运行的人工神经网络模型的结构，或者可以接收已经分析过的信息。例如，可以包括在人工神经网络模型(DNN)中的人工神经网络数据可以包括各个层的节点数据(即，特征图)、层的布局数据、局部性信息或关于结构的信息、关于各个层的信息、以及连接各个层的节点的各个连接网络的权重数据(即，权重核)的至少一部分。人工神经网络的数据可以存储于设置在控制单元240内部的存储器或NPU内部存储器230中。这里，各个层的特征图可以具有对应的各自的存储器地址值，并且各个权重数据可以具有对应的各自的存储器地址值。
更详细地，控制单元240可以基于人工神经网络模型(DNN)的结构信息或数据局部性信息通过第一存储器300获取存储有人工神经网络模型的层的权重数据和特征图的地址值。由此，控制单元240可以在NPU内部存储器230中存储通过第一存储器300获取的数据。
另外，控制单元240可以基于人工神经网络模型的结构信息或数据局部性信息(例如：人工神经网络层的布局数据)来调度要由神经处理单元200b执行的人工神经网络模型的运算顺序/多个处理元件220的运算顺序。
一般而言，CPU考虑诸如公平性、效率、稳定性、响应时间的数据来调度运算顺序，以使得可以在相同的时间内执行最多的处理。
与此不同的是，由于控制单元240基于人工神经网络模型的结构信息或数据局部性信息来执行调度，因此其可以与一般的CPU调度概念不同地运行。
换言之，控制单元240可以以基于人工神经网络模型的结构信息或数据局部性信息和/或要使用的神经处理单元200b的结构信息或数据局部性信息而确定的处理顺序来运行神经处理单元200b。然而，该调度方法不限于关于结构的信息或数据局部性信息。
为此，控制单元240可以存储关于人工神经网络的结构或数据局部性信息的信息，并且可以通过调度人工神经网络模型(DNN)的运算顺序来优化神经处理单元(NPU)200的处理。如此，由于用于人工神经网络的图像处理系统10通过单独的神经处理单元(NPU)200来推断对象，因此可以进一步提高图像的推断处理速度。
同时，图14是示出了根据本公开另一示例的用于人工神经网络的图像处理系统的示意性概念图。
参照图14，当用于人工神经网络的图像处理系统10如图12所示应用于诸如自动驾驶、CCTV的需要对象推断功能的设备时，还可以包括图像传感器500。
也就是说，当用于人工神经网络的图像处理系统10中包括图像传感器500时，基于人工神经网络模型(DNN)的推断准确度属性，每当推断新的图像时，处理器150可以立即确定并提供要提供给图像信号处理器100的图像校正参数。
目前为止描述了根据本公开的各种示例的用于人工神经网络的图像处理系统10。根据本公开，通过基于分析图像特性以及人工神经网络模型(DNN)的推断准确度属性来提供图像信号处理器100的详细控制值，可以对图像进行处理以提高人工神经网络的推断准确度，而不会根据用户的视觉感知而使至少一个特性偏移。
可以提供根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法。该方法可以包括：获取图像的步骤；生成与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据与人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数的步骤。
确定图像校正参数的步骤可以包括：分析指示人工神经网络模型的推断准确度的变化的推断准确度属性的步骤；以及基于推断准确度属性以及图像特性数据来确定用于确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数的步骤。
分析推断准确度属性的步骤可以为确定基于图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个图像特性的人工神经网络模型的推断准确度的变化的步骤。
推断准确度的变化可以指示根据图像的特性水平而变化的人工神经网络模型的推断准确度。
分析人工神经网络模型的推断准确度属性的步骤可以包括：基于至少一个图像特性来逐级调制应用于人工神经网络模型的参考图像数据集的步骤；以及计算针对在各个级调制的多个图像数据集的人工神经网络模型的平均精度均值(mAP)的步骤。
确定图像校正参数的步骤可以为利用与用于处理图像的图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个的步骤。
确定图像校正参数的步骤可以包括计算补偿函数的步骤，补偿函数用于通过将推断准确度属性与图像特性数据匹配来选择性地确定图像校正参数。
图像校正参数可以对应于处理图像的图像信号处理器的特殊功能寄存器的值。
可以包括从用于处理图像的图像信号处理器接收基于图像校正参数处理过的图像的步骤；以及通过向人工神经网络模型输入处理过的图像来输出推断结果的步骤。
可以包括识别能够获取和处理图像的图像传感器和图像信号处理器的步骤。
确定图像校正参数的步骤可以包括通过控制图像传感器的拍摄参数来校正用于确定图像校正参数的补偿函数的步骤。
在上述进行识别的步骤之后，本方法还可以包括确定要基于图像推断对象的人工神经网络模型的步骤。
确定图像校正参数的步骤可以为基于存储于存储器中的多个人工神经网络模型的推断准确度属性来确定用于提高多个人工神经网络模型的推断准确度的图像校正参数的步骤。
在接收处理过的图像的步骤之后，可以包括将人工神经网络模型的权重与处理过的图像一同提供给用于人工神经网络模型的推断运算的单独的处理器的步骤。
用于人工神经网络的图像处理系统包括存储器、被配置为处理存储于存储器中的图像的图像信号处理器、以及可操作地连接至存储器和图像信号处理器的处理器。处理器可以获取图像，生成与图像对应的至少一个图像特性数据，并且基于至少一个图像特性数据和人工神经网络模型的推断准确度属性来确定用于提高人工神经网络的推断准确度的图像校正参数。
根据本公开的一示例的用于人工神经网络的图像信号处理器的控制方法可以包括：获取图像的步骤；确定与图像对应的至少一个图像特性数据的步骤；以及基于至少一个图像特性数据和至少一个人工神经网络模型的推断准确度属性来确定用于提高人工神经网络的推断准确度的图像校正参数的步骤。
图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
确定图像校正参数的步骤还可以包括：分析表示人工神经网络模型的推断准确度的变化的推断准确度属性的步骤；以及基于推断准确度属性以及图像特性数据来确定用于确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数的步骤。
分析推断准确度属性的步骤可以为确定基于图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个图像特性的人工神经网络模型的推断准确度的变化的步骤。
推断准确度的变化可以指示根据图像的特性水平变化的人工神经网络模型的推断准确度。
分析人工神经网络模型的推断准确度属性的步骤可以包括：基于至少一个图像特性来逐级调制应用于人工神经网络模型的参考图像数据集的步骤；以及计算针对在各个级调制的多个图像数据集的人工神经网络模型的平均精度均值(mAP)的步骤。
确定图像的校正参数的步骤，
可以为使用与处理图像的图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个的步骤。
确定图像校正参数的步骤可以包括计算补偿函数的步骤，补偿函数用于通过将推断准确度属性与图像特性数据匹配来选择性地确定图像校正参数。
图像校正参数可以对应于处理图像的图像信号处理器的特殊功能寄存器的值。
用于人工神经网络的图像信号处理器的控制方法还可以包括：从处理图像的图像信号处理器接收基于图像校正参数的处理过的图像的步骤；以及通过向人工神经网络模型输入处理过的图像来输出推断结果的步骤。
用于人工神经网络的图像信号处理器的控制方法还可以包括识别能够获取和处理图像的图像传感器和图像信号处理器的步骤。
确定图像校正参数的步骤还可以包括通过控制图像传感器的拍摄参数来校正确定图像校正参数的补偿函数的步骤。
确定图像校正参数的步骤可以为基于存储于存储器中的多个人工神经网络模型的推断准确度属性确定用于提高多个人工神经网络模型的推断准确度的图像校正参数的步骤。
根据本公开的一示例，用于人工神经网络的图像处理系统可以包括：图像信号处理器，该图像信号处理器被配置为处理图像；以及补偿单元，该补偿单元可操作地联接至图像信号处理器。
补偿单元可以被配置为获取图像，生成与图像对应的至少一个图像特性数据，获取至少一个推断准确度属性，并且基于至少一个图像特性数据以及至少一个推断准确度属性来确定图像信号处理器的图像校正参数。
图像特性数据可以包括图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
用于人工神经网络的图像处理系统还可以包括被配置为处理人工神经网络模型的神经处理单元。
补偿单元可以被配置为基于至少一个推断准确度属性以及图像特性数据来选择性地确定用于确定输入至人工神经网络模型的图像的预处理的程度的图像校正参数。
至少一个推断准确度属性可以包括关于与图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个对应的人工神经网络模型的推断准确度的变化的信息。
补偿单元还可以包括预设库，该预设库被配置为控制图像信号处理器。
补偿单元可以选择性地确定预设库的多个图像校正参数预设中的至少一个。
图像校正参数可以对应于：图像信号处理器的特殊功能寄存器的值。
神经处理单元可以被配置为接收由图像信号处理器处理过的图像，向人工神经网络模型输入处理过的图像，并且输出推断结果。
用于人工神经网络的图像处理系统还可以包括能够获取图像的图像传感器。
补偿单元可以被配置为基于至少一个推断准确度属性控制图像传感器的成像参数。
补偿单元可以被配置为识别图像信号处理器。
神经处理单元可以被配置为基于处理过的图像和人工神经网络模型的权重来处理人工神经网络模型的推断运算。
尽管已经参照附图更详细地描述了本公开的示例，但是本公开不一定限于这些示例，并且可以在不背离本公开的精神的范围内进行各种修改。由此，本公开中公开的示例是为了解释而不是限制本公开的技术精神，并且本公开的技术精神的范围不受限于这些示例。因此，应当理解，上述示例在所有方面都是说明性的而不是限制性的。本公开的保护范围应由所附权利要求书来解释，并且在其等同范围内的技术构思均应理解为包含在本公开的范围之内。在本说明书和附图中公开的本公开的示例仅仅是为了容易地解释本公开的技术内容并有助于理解本公开的具体示例，并不旨在限制本公开的范围。对于本公开所属领域的普通技术人员来说显而易见的是，除了这里描述的示例之外，还可以实现基于本发明的技术精神的其他修改示例。
[支持本发明的韩国国家研发项目]
[项目唯一编号]1711170668
[项目编号]2022-0-00248-001
[部门名称]韩国科学与信息通信技术部
[课题管理(专门)机构名称]信息通信规划与评估院
[研究项目名称]PIM人工智能半导体核心技术开发(设计)
[研究标题]考虑了存储器一致性的用于多DRAM模块的基于CXL的PIM半导体技术的开发。
[贡献率]1/1
[执行任务的组织名称]DeepX有限公司
[研究时间]2022.04.01～2022.12.31

Claims (23)

1.一种用于人工神经网络的图像信号处理器的控制方法，该控制方法包括以下步骤：
获取图像的步骤；
确定与所述图像对应的至少一个图像特性数据的步骤；以及
基于所述至少一个图像特性数据以及至少一个人工神经网络模型的推断准确度属性来确定用于提高人工神经网络模型的推断准确度的图像校正参数的步骤。
2.根据权利要求1所述的控制方法，
其中，所述至少一个图像特性数据包括所述图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
3.根据权利要求1所述的控制方法，
其中，确定所述图像校正参数的步骤还包括以下步骤：
分析指示所述人工神经网络模型的推断准确度的变化的所述推断准确度属性的步骤；以及
基于所述推断准确度属性以及所述图像特性数据来确定用于确定输入至所述人工神经网络模型的所述图像的预处理的程度的所述图像校正参数的步骤。
4.根据权利要求3所述的控制方法，
其中，分析所述推断准确度属性的步骤为以下步骤：确定基于所述图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个图像特性的所述人工神经网络模型的所述推断准确度的变化。
5.根据权利要求4所述的控制方法，
其中，所述推断准确度的变化指示根据所述图像的特性水平而变化的所述人工神经网络模型的所述推断准确度。
6.根据权利要求4所述的控制方法，
其中，分析所述人工神经网络模型的所述推断准确度属性的步骤还包括以下步骤：
基于所述至少一个图像特性来逐级调制应用于所述人工神经网络模型的参考图像数据集的步骤；以及
针对在各个级调制的多个图像数据集计算所述人工神经网络模型的平均精度均值(mAP)的步骤。
7.根据权利要求3所述的控制方法，
其中，确定所述图像校正参数的步骤为以下步骤：利用与处理所述图像的所述图像信号处理器匹配的预设库来确定多个图像校正参数预设中的至少一个。
8.根据权利要求3所述的控制方法，
其中，确定所述图像校正参数的步骤还包括计算补偿函数的步骤，所述补偿函数用于通过将所述推断准确度属性与所述图像特性数据匹配来选择性地确定所述图像校正参数。
9.根据权利要求1所述的控制方法，
其中，所述图像校正参数对应于处理所述图像的所述图像信号处理器的特殊功能寄存器的值。
10.根据权利要求1所述的控制方法，
所述控制方法还包括以下步骤：
从处理所述图像的所述图像信号处理器接收基于所述图像校正参数的处理过的图像的步骤；以及
通过向所述人工神经网络模型输入所述处理过的图像来输出推断结果的步骤。
11.根据权利要求1所述的控制方法，
所述控制方法还包括以下步骤：
识别能够获取和处理所述图像的图像传感器和所述图像信号处理器的步骤。
12.根据权利要求1所述的控制方法，
其中，确定所述图像校正参数的步骤还包括通过控制图像传感器的拍摄参数来校正用于确定所述图像校正参数的补偿函数的步骤。
13.根据权利要求1所述的控制方法，
其中，确定所述图像校正参数的步骤为以下步骤：基于存储于存储器中的多个人工神经网络模型的推断准确度属性来确定用于提高所述多个人工神经网络模型的推断准确度的所述图像校正参数。
14.一种用于人工神经网络的图像处理系统，所述图像处理系统包括：
图像信号处理器，所述图像信号处理器被配置为对图像进行图像处理；以及
补偿单元，所述补偿单元能够操作地联接至所述图像信号处理器，
其中，所述补偿单元被配置为获取所述图像，生成与所述图像对应的至少一个图像特性数据，获得至少一个推断准确度属性，并且基于所述至少一个图像特性数据以及所述至少一个推断准确度属性来确定所述图像信号处理器的图像校正参数。
15.根据权利要求14所述的用于人工神经网络的图像处理系统，
其中，所述至少一个图像特性数据包括所述图像的直方图(RGB、CbCr、Y直方图)、RGB最大值、RGB最小值、像素值的均值、标准差、各个像素的RGB之和(色值之和)、信噪比(SNR)、频率组成以及边缘组成中的至少一个。
16.根据权利要求14所述的用于人工神经网络的图像处理系统，
所述图像处理系统还包括神经处理单元，所述神经处理单元被配置为处理人工神经网络模型，并且
其中，所述补偿单元被配置为基于所述至少一个推断准确度属性以及所述图像特性数据来选择性地确定所述图像校正参数，所述图像校正参数确定输入至所述人工神经网络模型的所述图像的预处理的程度。
17.根据权利要求16所述的用于人工神经网络的图像处理系统，
其中，所述至少一个推断准确度属性包括关于与所述图像的亮度、噪声、模糊水平、对比度以及色温中的至少一个对应的所述人工神经网络模型的推断准确度的变化的信息。
18.根据权利要求14所述的用于人工神经网络的图像处理系统，
其中，所述补偿单元还包括预设库，所述预设库被配置为控制所述图像信号处理器，并且
其中，所述补偿单元被配置为选择性地确定所述预设库的多个图像校正参数预设中的至少一个。
19.根据权利要求14所述的用于人工神经网络的图像处理系统，
其中，所述图像校正参数对应于所述图像信号处理器的特殊功能寄存器值。
20.根据权利要求16所述的用于人工神经网络的图像处理系统，
其中，所述神经处理单元被配置为接收由所述图像信号处理器处理过的图像，向所述人工神经网络模型输入所述处理过的图像，并且输出推断结果。
21.根据权利要求16所述的用于人工神经网络的图像处理系统，
所述图像处理系统还包括能够获取图像的图像传感器，并且
其中，所述补偿单元被配置为基于所述至少一个推断准确度属性来控制所述图像传感器的拍摄参数。
22.根据权利要求14所述的用于人工神经网络的图像处理系统，
其中，所述补偿单元被配置为识别所述图像信号处理器。
23.根据权利要求16所述的用于人工神经网络的图像处理系统，
其中，所述神经处理单元被配置为基于所述处理过的图像以及所述人工神经网络模型的权重来处理所述人工神经网络模型的推断运算。
CN202280004972.0A 2021-07-30 2022-08-01 图像信号处理器的控制方法以及执行该方法的控制设备 Pending CN115885310A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0100774 2021-07-30
KR20210100774 2021-07-30
PCT/KR2022/011341 WO2023008983A1 (ko) 2021-07-30 2022-08-01 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치

Publications (1)

Publication Number Publication Date
CN115885310A true CN115885310A (zh) 2023-03-31

Family

ID=85087111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280004972.0A Pending CN115885310A (zh) 2021-07-30 2022-08-01 图像信号处理器的控制方法以及执行该方法的控制设备

Country Status (4)

Country Link
US (1) US11941871B2 (zh)
KR (2) KR102617391B1 (zh)
CN (1) CN115885310A (zh)
WO (1) WO2023008983A1 (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8774515B2 (en) * 2011-04-20 2014-07-08 Xerox Corporation Learning structured prediction models for interactive image labeling
US8713037B2 (en) * 2011-06-30 2014-04-29 Xerox Corporation Translation system adapted for query translation via a reranking framework
CN106156807B (zh) 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
US9858496B2 (en) * 2016-01-20 2018-01-02 Microsoft Technology Licensing, Llc Object detection and classification in images
US10346740B2 (en) 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
KR20180044094A (ko) 2016-10-21 2018-05-02 주식회사 엘지유플러스 데이터 전처리 방법 및 데이터 전처리 장치
US11283991B2 (en) 2019-06-04 2022-03-22 Algolux Inc. Method and system for tuning a camera image signal processor for computer vision tasks
KR102383129B1 (ko) * 2017-09-27 2022-04-06 삼성전자주식회사 이미지에 포함된 오브젝트의 카테고리 및 인식률에 기반하여 이미지를 보정하는 방법 및 이를 구현한 전자 장치
KR102102405B1 (ko) * 2018-06-08 2020-04-20 부산대학교 산학협력단 머신 러닝을 통한 영상 인식을 위한 장치 및 방법
US20200005135A1 (en) * 2018-06-29 2020-01-02 Advanced Micro Devices, Inc. Optimizing inference for deep-learning neural networks in a heterogeneous system
KR102097905B1 (ko) 2019-06-04 2020-04-06 주식회사 딥엑스 이미지 객체 인식 장치 및 방법
KR102192016B1 (ko) * 2019-01-11 2020-12-16 연세대학교 산학협력단 의미 인식 기반의 이미지 보정 방법 및 그를 위한 장치
US11138469B2 (en) * 2019-01-15 2021-10-05 Naver Corporation Training and using a convolutional neural network for person re-identification
JP7446060B2 (ja) * 2019-03-27 2024-03-08 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
KR102242939B1 (ko) 2019-06-13 2021-04-21 엘지이노텍 주식회사 카메라 장치 및 카메라 장치의 이미지 생성 방법
KR102298541B1 (ko) * 2019-07-23 2021-09-07 엘지전자 주식회사 이미지 데이터에서 사용자를 인식하는 인공 지능 장치 및 그 방법
KR20210058404A (ko) 2019-11-14 2021-05-24 엘지전자 주식회사 이미지 처리방법 및 처리장치
KR102260246B1 (ko) 2020-12-22 2021-06-04 주식회사 모빌린트 자율 주행을 위한 딥러닝 알고리즘 설정 방법 및 장치

Also Published As

Publication number Publication date
KR102617391B1 (ko) 2023-12-27
US20230061884A1 (en) 2023-03-02
KR20230019060A (ko) 2023-02-07
KR20240001093A (ko) 2024-01-03
US11941871B2 (en) 2024-03-26
WO2023008983A1 (ko) 2023-02-02

Similar Documents

Publication Publication Date Title
EP3937481A1 (en) Image display method and device
CN113313657B (zh) 一种用于低光照图像增强的非监督学习方法和系统
WO2021164234A1 (zh) 图像处理方法以及图像处理装置
CN111723860A (zh) 一种目标检测方法及装置
CN110648334A (zh) 一种基于注意力机制的多特征循环卷积显著性目标检测方法
CN110276767A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN112215201B (zh) 评估人脸识别模型、针对图像的分类模型的方法及装置
CN111723822B (zh) 一种基于多层次融合的rgbd图像显著性检测方法及系统
US11455535B2 (en) Systems and methods for sensor-independent illuminant determination
WO2022199710A1 (zh) 图像融合方法、装置、计算机设备和存储介质
Saleh et al. Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement
CN114581318A (zh) 一种低照明度图像增强方法及系统
CN112102175B (zh) 图像对比度的增强方法、装置、存储介质及电子设备
Park et al. Multiple transformation function estimation for image enhancement
WO2022183321A1 (zh) 图像检测方法、装置和电子设备
KR102617391B1 (ko) 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치
CN114926876A (zh) 图像关键点检测方法、装置、计算机设备和存储介质
CN113781375A (zh) 一种基于多曝光融合的车载视觉增强方法
CN108986052B (zh) 一种自适应的图像去光照方法和系统
CN116917954A (zh) 图像检测方法、装置和电子设备
CN111899239A (zh) 图像处理方法和装置
WO2023028866A1 (zh) 图像处理方法、装置和车辆
Gu et al. Quality assessment of enhanced images
WO2024018906A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
CN117975048A (zh) 目标识别的方法及装置、设备、存储介质、程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination