CN107895359B - 使用图像分析算法给神经网络提供训练数据的方法和系统 - Google Patents

使用图像分析算法给神经网络提供训练数据的方法和系统 Download PDF

Info

Publication number
CN107895359B
CN107895359B CN201710905791.6A CN201710905791A CN107895359B CN 107895359 B CN107895359 B CN 107895359B CN 201710905791 A CN201710905791 A CN 201710905791A CN 107895359 B CN107895359 B CN 107895359B
Authority
CN
China
Prior art keywords
image
pixels
group
digital
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710905791.6A
Other languages
English (en)
Other versions
CN107895359A (zh
Inventor
尼克拉·丹尼尔松
范星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN107895359A publication Critical patent/CN107895359A/zh
Application granted granted Critical
Publication of CN107895359B publication Critical patent/CN107895359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明使用图像分析算法以给神经网络提供训练数据，大体涉及对神经网络进行训练的方法、计算机程序、计算机及系统，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。

Description

使用图像分析算法给神经网络提供训练数据的方法和系统
技术领域
本申请大体涉及对神经网络进行训练的方法、计算机程序、计算机及系统，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。
背景技术
图像处理中的许多应用需要向不同的图像区域可变地分配资源。例如，能够基于图像的特定特性选择压缩参数，或图像区域能够遭受可变的纠错度，以实现传输可靠性与效率等之间的优化权衡等等。对图像区域的相关度自动进行标识以确定应该向特定的图像区域分配多少资源具有重大意义，而运行此类算法还可能需要宝贵的CPU时间。这可能导致问题，例如，如果许多程序对诸如监控相机的嵌入式平台上的有限资源进行竞争。
发明内容
鉴于上述情况，本发明的目的是解决或至少降低以上所讨论的一个或几个缺陷。大体上通过所附的独立专利权利要求来实现以上目的。
根据第一方面，本发明由一种用于对神经网络进行训练的方法来实现，该神经网络接收多个输入数字图像，并且针对每个特定输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据。该方法包括通过以下步骤确定训练数据集：针对多个数字训练图像，通过使用被配置为自动地利用相关度对像素组进行标记的第一图像分析算法来确定多个数字训练图像中的每个特定数字训练图像中的像素组的相关度，将多个数字训练图像和标记纳为训练数据集，并将训练数据集用于神经网络的训练。
在本说明书的上下文中，术语“神经网络”应当理解为互连的节点组，类似于大脑中庞大的神经元网络。神经网络还可被称作“人工神经网络”(ANN)。此上下文中可以使用的一种特定类型的神经网络为卷积神经网络(CNN)。术语“深度学习”也被普遍使用。
在本说明书的上下文中，术语“相关度”应当理解为图像中对应区域的图像内容的兴趣(例如对于用户)等级。换言之，相关度与图像中的区域(像素组)相对应，且相关度定义图像的观看者对那一区域的图像内容有多感兴趣。这可以有利地用于分布关于图像的比特率预算。例如，相关度可以用于控制相应区域的压缩程度，例如，通过设置压缩度或确定编码器应该对那一区域进行怎样程度的跳过编码(skip coding)等。相关度可以进一步用于错误编码的目的，例如，确定传输被编码的图像时的纠错程度。图像的特定区域的相对较高的相关度意味着：相较于相关度较低的另一图像区域，可以对那一特定区域耗费较大部分的比特率预算。
现有技术中可以代替相关度而使用的其它术语包括“兴趣区域”或“ROI”。
在本发明的上下文中，术语“被配置为自动地利用相关度对像素组进行标记的图像分析算法”应当理解为能够用于基于那一部分的图像特性(即，图像分析)、对图像中的相应区域(例如，宏块)的图像内容的兴趣(例如对于用户)自动地(例如，通过计算机，无人工辅助)进行分级的任意合适的算法。图像特性可以是空域的，例如，存在于数字图像的部分中的边缘、噪声的存在、重复变形(repetitively textured)的部分、面部识别、物体检测等。图像特性还可以是时域的，例如动作检测。合适的图像分析算法的示例为安讯士网络通讯有限公司所提供的压缩流算法。例如，在编号为EP3021583的欧洲专利申请中描述了此算法的部分。
发明人已意识到采用使用如上所述的现有图像分析算法训练的神经网络具有数个优点。例如，神经网络的设计非常简单，使得其本身易于硬件实现，这是因为神经网络通过巨量的非常重复但非常简单的计算来运行。此外，在模型压缩领域内完成的正在进行的工作使得神经网络用于诸如监控相机的嵌入式平台逐步更为可行。照此，将神经网络用于例如监控相机的嵌入式平台可以优于在相机中运行实际的图像分析算法。
根据一些实施方式，第一图像分析算法被配置为通过以下步骤自动地利用相关度对像素组进行标记：计算像素组的空域统计度量，并且通过对多个数字训练图像的图像序列施加时域滤波来计算像素组的时域统计度量，图像序列包括特定数字训练图像。
两个统计度量然后可以用于通过加权像素组的时域统计度量和空域统计度量来计算加权后的统计度量，并且基于该加权后的统计度量用相关度对像素组进行标记。所使用的权重可以是静态权重，例如0.5、0.3、0.7等，或其可以基于关心的图像区域的图像特性而变化。
根据一些实施方式，确定训练数据集包括：针对第二多个数字训练图像，通过使用被配置为自动地利用相关度对像素组进行标记的第二图像分析算法，确定第二多个数字训练图像中的每个特定数字训练图像中的像素组的相关度，其中第二图像分析算法不同于第一图像分析算法。
例如，针对(较少的)多个图像，可以采用更复杂或更专用的图像分析算法，以给神经网络提供与例如数字图像的特定内容相关的训练数据。此类特定内容的示例可以是显示交通状况或显示许多人从相机旁走过的入口的图像内容。
本实施方式的优点在于：如果对神经网络进行正确的训练，相比较于诸如第一图像分析算法之类的手工算法，它们具有具有优越得多的性能的潜力。本实施方式的优点在于：能够根据第一图像分析算法生成巨大数量的训练数据，以快速得到与那一算法表现相当的算法。此后，可以用诸如第二多个图像及其度(由第二图像分析算法确定)之类的其它更为“高级”的训练数据对神经网络进行精调。而且精调一般所需的数据比初始训练(即使用第一多个图像)少得多。换言之，进行第二训练的目的是提供用户特有的相关度。一些图像区域对于一些用户很重要，但对其它类型的使用情况不感兴趣。增加此第二训练(使用第二多个图像和第二图像分析算法)可以便于辅助用户关于相关区域花费比特率预算。
第二多个数字训练图像可以包括作为第一多个数字训练图像的一部分的至少一个数字训练图像。第二多个数字训练图像可以例如由第一多个训练图像的子集组成。第二多个数字训练图像还可以包括不是第一多个数字训练图像的一部分的至少一个数字训练图像，即，第二多个数字训练图像不是第一多个数字训练图像的子集。
根据一些实施方式，通过手动地利用相关度对第一多个数字训练图像中的至少一个数字训练图像中的像素组进行标记来进一步确定训练数据集。根据一些实施方式，通过手动地利用相关度对第二多个数字训练图像中的至少一个数字训练图像中的像素组进行标记来进一步确定训练数据集。手动地对训练数据集的图像中的像素组进行标记可被用于对训练数据集进行精调。使用以上讨论的论据结合第二多个图像和第二图像分析方法的使用，此实施方式可以辅助用户便于为用户关于相关区域花费比特率预算。
在第二方面，本发明提供了一种计算机程序产品，包括具有适配为当由具有处理能力的设备执行时实现第一方面的方法的指令的计算机可读存储介质。
在第三方面，本发明提供计算机，包括被布置为用于对神经网络进行训练的处理器，该神经网络接收多个输入数字图像，并且针对于每个特定的输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据，其中神经网络的训练包括通过以下步骤确定训练数据集：针对多个数字训练图像，通过使用被配置为自动地利用相关度对像素组进行标记的第一图像分析算法来确定多个数字训练图像中的每个特定数字训练图像中的像素组的相关度，将多个数字训练图像和标记纳为训练数据集，且将训练数据集用于神经网络的训练。
在第四方面，本发明提供了包括视频相机和计算机的系统。该计算机具有被布置为对神经网络进行训练的处理器，该神经网络接收多个输入数字图像，并且针对每个特定的输入数字图像输出用于确定特定输入数字图像中的像素组的相关度的数据，其中神经网络的训练包括通过以下步骤确定训练数据集：针对多个数字训练图像，通过使用配置为自动地利用相关度对像素组进行标记的第一图像分析算法来确定多个数字训练图像中的每个特定数字训练图像中的像素组的相关度，将多个数字训练图像和标记纳为训练数据集，并将训练数据集用于神经网络的训练。该处理器进一步被布置为给相机提供产生的训练过的神经网络，该相机被布置为接收训练过的神经网络。该相机进一步被布置为捕获多个数字图像，提供多个数字图像中的图像数据给训练过的神经网络，并且针对多个数字图像中的每个特定数字图像获得多个相关度，每个相关度与特定数字图像中的像素组相对应。
在本说明书的上下文中，术语“训练过的神经网络”应当理解为例如规定神经网络中节点的设置(节点如何互联)以及神经网络中所用的权重(滤波、权重库等)的文本文件。在计算机和相机之间提供训练过的神经网络的其它方法也同样可能，例如通过二进制文件。
根据一些实施方式，相机进一步被布置为通过根据获得的相关度控制特定数字图像的压缩程度来对特定数字图像进行编码。
可以通过设置图像的特定部分(区域、面积等)的压缩率来控制压缩程度。压缩率可以由量化参数值体现，QP值，范围从例如0-51(H.264)、1-255(VP9)或1-100。应当注意的是，在此说明书中，广义上将术语“压缩程度”、“压缩率”和“压缩度”可互换地用于使用少于像素的原始的、未压缩的像素表示的比特来指示像素的编码。如上所述，诸如错误编码之类的编码过程的其它部分可以基于相关度，例如用于基于相关度确定传输编码的图像时的纠错程度。
第二、第三及第四方面大体可以具有与第一方面相同的特征及优点。
附图说明
通过以下本发明实施方式的说明性并且非限制性的详细描述，参考附图，将更好地理解本发明的以上目的及额外目的、特征及优点，相同的参考标记将用于类似的元件，其中
图1示意性地示出了卷积神经网络，
图2根据实施方式示出了如何训练神经网络，
图3根据实施方式示出了包括视频相机和计算机的系统
图4根据实施方式示出了用于训练神经网络的方法。
具体实施方式
图1以示例性方式示出了卷积神经网络(CNN)100。在此说明书的上下文中，应该注意到将CNN用于确定输入数字图像中的像素组的相关度仅是示例性的。出于此目的，可以运用任意合适的神经网络，例如另一类型的前馈神经网络(即除CNN之外的神经网络)、递归网络等。在CNN100中，可以存在两种类型的层，卷积层102和全连接层104。设想用具有多于一个的输出的层代替全连接层。在CNN100中，可以存在任意数目的两个不同层。在图1中，存在两个卷积层102a、102b。对于卷积层102，增加了两个回归头104。在此示例中，回归头104为全连接层集合104a-b；104c-d，对该全连接层集合馈送来自卷积层102的输出106。在此上下文中，CNN的优点可以是能够使用同一卷积层102(配置有滤波器以及滤波权重，以适配用于图像分析的目的)的集合以用于确定相关度的目的。对于此集合102，能够增加额外的回归头104(卷积层102的集合已连接到用于其它图像分析目的而训练的其它头)。然后可以对额外的回归头进行训练，以使用来自卷积层102的输出数据106来确定相关度。相较于卷积层102的集合，回归头104的计算复杂度较低，因此几乎没有对运行神经网络100的硬件的额外需求。
图2以示例性方式示出了布置为对神经网络100进行训练的设备200。现在将结合图2和图4解释该训练的实施方式。设备200可以是具有处理能力的任意设备，下文称作计算机200。计算机200可以通过首先接收多个数字训练图像208来确定训练数据集212。然后可以将数字训练图像208馈送给第一图像分析算法204，该第一图像分析算法204被配置为确定S402并且自动标记分组(label groups)数字训练图像208中的每个数字训练图像208中的像素组。根据一些实施方式，第一图像分析算法204可以聚焦于数字训练图像的空域统计度量。在此情况下，能够通过第一图像分析算法204分立地处理每个数字训练图像。典型的空域统计度量可以是边缘检测、色彩分布、面部检测和空域噪声检测。可代替换或额外地，第一图像分析算法204还可以考虑数字训练图像的时域特征，诸如数字训练图像序列中的物体的移动。出于这种原因，第一图像分析算法可被配置为通过对多个数字训练图像的图像序列施加时域滤波来针对每个特定数字训练图像中的像素组计算时域统计度量，图像序列包括特定数字训练图像。在此情况下，第一图像分析算法204需要在算法的一次运行中(即，当针对特定数字训练图像中的特定像素组计算时域统计度量时)考虑多个数字训练图像。时域统计度量的示例为动作检测、时域噪声检测、图像之间照明情况变化的检测等。
在针对特定像素组计算空域统计度量和时域统计度量两者的情况下，第一图像分析算法204可被配置为通过加权像素组的时域统计度量和空域统计度量来计算加权后的统计度量，并且基于加权后的统计度量用r对像素组进行标记。施加的权重可以是0和1之间的任意值(在时域统计度量和空域统计度量正则化的情况下是0和1之间的任意值，否则施加其它权重范围)，并且取决于第一图像分析算法204的焦点区域。
例如，如果第一图像算法204被适配为对包括移动的人的图像的部分花费比特率预算，则算法应当将此类图像的部分标记为高相关度。在此实现方式中，第一图像分析算法需要计算相应的空域及时域统计度量，以确定图像中的像素组是否与移动的人相对应。另一示例可以是第一图像分析算法204布置为聚焦于以完整细节保存显示街道的区域(即对此类区域花费比特率预算)，在此情况下可以仅需要计算空域统计度量。
总而言之，第一图像分析算法204被配置为自动地利用相关度对每个数字训练图像208中的特定像素组进行标记。对于仅有第一图像分析算法204用于此目的的实施方式，多个数字训练图像208和计算的标记将形成训练数据集212。
根据一些实施方式，训练数据集212的确定包括通过第二图像分析算法206运行第二多个数字训练图像。
第二多个数字训练图像可以是第一多个数字训练图像208的子集。
可替换地，第二多个数字训练图像不是第一多个数字训练图像208的子集。
例如，第二多个数字训练图像可以针对特定范围的关于神经网络的应用，例如交通状况、娱乐场所、零售、银行、飞机监视等。出于此原因，使用也可以针对这些特定情况的第二图像分析算法206来分析显示此类情况的图像210可能是有利的。换言之，根据一些实施方式，第一图像分析算法204可以是在所有类型的图像内容上表现良好的更为通用的算法，而第二图像分析算法206针对特定图像内容。根据一些实施方式，第一图像分析方法204的计算复杂度可能较小，因此可以关于非常多的图像(例如多于10000或多于1000000)运行，而第二图像分析算法206的计算复杂度可能更大。
针对第二多个数字训练图像，计算机200因此可被布置为通过使用被配置为自动地利用相关度对像素组进行标记的第二图像分析算法来确定S404第二多个数字训练图像的每个特定的数字训练图像中的像素组的相关度，其中第二图像分析算法不同于第一图像分析算法。如上所述，第一图像分析算法可以是在关于所有类型的输入图像同样表现良好的通用算法，而第二图像分析算法可以提供更加基于配置文件的分析(即，针对具有特定内容或显示特定情况的图像)。
根据一些实施方式，通过手动地(由人214)利用相关度对第一多个数字训练图像中的至少一个数字训练图像中的像素组进行标记，进一步确定S406训练数据集212。可替换地或额外地，通过手动地利用相关度对第二多个数字训练图像中的至少一个数字训练图像中的像素组进行标记，进一步确定训练数据集212。在需要针对第一和/或第二图像分析算法204、206无法用相关度进行正确标记的数字训练图像中的一些特定特征来对训练数据集进行精调的情况下，此实施方式可能是有利的。根据一些实施方式，可以通过手动地利用相关度对至少一个另一数字训练图像(不是第一/或第二多个数字训练图像的一部分)中的像素组进行标记进一步确定训练数据集212，并且将至少一个另一数字训练图像和相应的标记纳入训练数据集。图2中不包括此实施方式。
训练数据集212因此包括已由第一和/或第二图像分析算法204、206分析后的多个数字训练图像以及标记，可能由人214精调。
然后将训练数据集212用于对神经网络100进行训练S408。使用训练数据集212的神经网络100的训练留给技术人员来实现，且根据所用的神经网络100的架构来进行。通常，对神经网络进行训练，以通过使用损失函数以及标记来调整神经网络的内部权重来针对每个数字图像提供相关度的映射，以作为训练数字图像中的像素组的地面实况。损失函数可以例如基于L2-范数，使得均方误差最小化。可以基于例如可能的相关度的数目、输入数据的大小等来定义函数。当已定义函数时，权重更新通常通过标准化的反向传播算法以及例如用于优化器的随机梯度下降法。如本领域技术人员所熟知的，随机梯度下降法是用于计算如何更新神经网络中的权重以在训练期间获得尽可能接近基于输入图像生成想要的输出的模型的最公知的方法。
应当注意的是，第二多个训练图像用于训练，且为第一多个训练图像的子集，然后第二多个数字训练图像及其对应的标记通常在已使用第一多个数字训练图像对神经网络进行训练后用于神经网络的训练。
训练期间，将例如数万个图像输入神经网络100中，调整神经网络100的内部权重，直至它能基于不是训练数字图像的一部分的数字图像以快得多、计算复杂度小得多的方式产生可与第一和/或第二图像分析算法204、206相比(或更好)的结果。
由于神经网络的设计，有利的使用领域是在诸如视频相机之类的可能具有很低的可用计算资源(例如，不足以运行第一/第二图像算法)但具有特别设计为运行神经网络的硬件(诸如特定用途集成电路(ASIC)之类)的设备中。出于此原因，设备200可被布置为提供训练过的神经网络给此类设备304，例如经无线网络302，因此利用训练过的神经网络对该设备进行配置S410。这在图3中示出。应当注意的是，可以以任意适当方式传递训练过的神经网络，诸如包括训练过的神经网络的内部过滤器和权重的文本文件之类。还应当注意的是，可以使用将训练过的神经网络传递给相机的任意其它方式，诸如计算机存储器(例如USB)或有线连接。然后相机被布置为将训练过的神经网络用于确定由相机304捕获的、然后据此编码的图像的相关度。出于此原因，相机304可被布置为：
-捕获多个数字图像，
-提供多个数字图像的图像数据给训练过的神经网络，并且针对多个数字图像中的每个特定数字图像获得多个相关度，每个相关度与特定数字图像中的像素组相对应。
根据一些实施方式，相机可被布置为通过根据获得的多个相关度来控制特定数字图像的压缩程度，对特定数字图像进行编码。相关度与压缩程度之间的映射可以是线性的，即，相比较于相对低的相关度，相对较高的相关度可以总是与对应的像素组的较低压缩程度相对应。根据其它实现方式，该映射是阶梯式的的，即，对一相关度范围映射同一压缩程度。该映射还需要考虑可用带宽，以使得在图像、或图像序列的许多区域包括视作相关的图像内容的情况下，映射不会超出带宽。
如上所述，根据一些实施方式，相机304可以包括用于运行神经网络的专有硬件。在其它实施方式中，神经网络的软件实施方式用于获得要使用的相关度。无论如何，相较于实际运行第一/第二图像分析算法204、206来获得相关度，通过使用如上所述的神经网络所实现的结果可被显著提升。

Claims (10)

1.一种用于对神经网络进行训练的方法，所述神经网络接收多个输入数字图像，并且针对每个输入数字图像输出用于确定所述输入数字图像中的像素组的相关度的数据，所述方法包括：
通过以下步骤确定训练数据集：
针对第一多个数字训练图像，通过使用被配置为自动地利用相关度对所述第一多个数字训练图像中的每个数字训练图像中的像素组进行标记的第一图像分析算法，确定所述像素组的相关度，其中图像中的像素组的所述相关度定义所述图像的观看者对该像素组的图像内容有多感兴趣，并且其中所述第一图像分析算法基于图像中的像素组的空域及时域图像特性自动地对该像素组内的图像内容的观看者的兴趣进行分级，
将所述第一多个数字训练图像和标记纳为所述训练数据集，并将所述训练数据集用于所述神经网络的训练，
其中，所述第一图像分析算法被配置为通过以下步骤自动地利用相关度对所述像素组进行标记：
计算所述像素组的空域统计度量，
通过对所述第一多个数字训练图像的图像序列施加时域滤波，计算所述像素组的时域统计度量，所述图像序列包括数字训练图像，
通过加权所述像素组的所述时域统计度量和所述空域统计度量来计算加权后的统计度量，并且基于加权后的统计度量利用相关度对所述像素组进行标记。
2.根据权利要求1所述的方法，其中确定所述训练数据集包括：
针对第二多个数字训练图像，通过使用被配置为自动地利用相关度对所述第二多个数字训练图像中的每个数字训练图像中的像素组进行标记的第二图像分析算法，确定所述像素组的相关度，其中所述第二图像分析算法不同于所述第一图像分析算法。
3.根据权利要求2所述的方法，其中所述第二多个数字训练图像包括作为所述第一多个数字训练图像的一部分的至少一个数字训练图像。
4.根据权利要求2所述的方法，其中所述第二多个数字训练图像包括不是所述第一多个数字训练图像的一部分的至少一个数字训练图像。
5.根据权利要求1-4中的任一项所述的方法，其中通过手动地利用相关度对所述第一多个数字训练图像中的至少一个数字训练图像中的像素组进行标记来进一步确定所述训练数据集。
6.根据权利要求2-4中的任一项所述的方法，其中通过手动地利用相关度对所述第二多个数字训练图像中的至少一个数字训练图像中的像素组进行标记来进一步确定所述训练数据集。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有指令，所述指令被适配为当由具有处理能力的设备执行时实施权利要求1所述的方法。
8.一种计算机，包括被布置为对神经网络进行训练的处理器，所述神经网络接收多个输入数字图像，并且针对每个输入数字图像输出用于确定所述输入数字图像中的像素组的相关度的数据，其中所述神经网络的训练包括：
通过以下步骤确定训练数据集：
针对第一多个数字训练图像，通过使用被配置为自动地利用相关度对所述第一多个数字训练图像的每个数字训练图像中的像素组进行标记的第一图像分析算法来确定所述像素组的相关度，其中图像中的像素组的所述相关度定义了所述图像的观看者对该像素组的图像内容有多感兴趣，并且其中所述第一图像分析算法基于图像中的像素组的空域及时域图像特性自动地对该像素组内的图像内容的观看者的兴趣进行分级，
将所述第一多个数字训练图像和标记纳为所述训练数据集，并将所述训练数据集用于所述神经网络的训练，
其中，所述第一图像分析算法被配置为通过以下步骤自动地利用相关度对所述像素组进行标记：
计算所述像素组的空域统计度量，
通过对所述第一多个数字训练图像的图像序列施加时域滤波，计算所述像素组的时域统计度量，所述图像序列包括数字训练图像，
通过加权所述像素组的所述时域统计度量和所述空域统计度量来计算加权后的统计度量，并且基于加权后的统计度量利用相关度对所述像素组进行标记。
9.一种包括视频相机和计算机的系统，其中所述计算机具有被布置为对神经网络进行训练的处理器，所述神经网络接收多个输入数字图像，并且针对每个输入数字图像输出用于确定所述输入数字图像中的像素组的相关度的数据，其中所述神经网络的训练包括：
通过以下步骤确定训练数据集：
针对第一多个数字训练图像，通过使用被配置为自动地利用相关度对所述第一多个数字训练图像中的每个数字训练图像中的像素组进行标记的第一图像分析算法来确定所述像素组的相关度，其中图像中的像素组的所述相关度定义了所述图像的观看者对该像素组的图像内容有多感兴趣，并且其中所述第一图像分析算法基于图像中的像素组的空域及时域图像特性自动地对该像素组内的图像内容的观看者的兴趣进行分级，
将所述第一多个数字训练图像和标记纳为所述训练数据集，并将所述训练数据集用于所述神经网络的训练，
其中所述处理器进一步被布置为提供产生的训练过的神经网络给所述相机，
其中所述相机被布置为：
接收所述训练过的神经网络，
捕获多个数字图像，提供所述多个数字图像的图像数据给所述训练过的神经网络，并且针对所述多个数字图像中的每个数字图像获得多个相关度，每个相关度与所述数字图像中的像素组相对应，
其中，所述第一图像分析算法被配置为通过以下步骤自动地利用相关度对所述像素组进行标记：
计算所述像素组的空域统计度量，
通过对所述第一多个数字训练图像的图像序列施加时域滤波，计算所述像素组的时域统计度量，所述图像序列包括数字训练图像，
通过加权所述像素组的所述时域统计度量和所述空域统计度量来计算加权后的统计度量，并且基于加权后的统计度量利用相关度对所述像素组进行标记。
10.根据权利要求9所述的系统，其中所述相机进一步被布置为：
通过根据获得的所述相关度来控制所述数字图像的压缩程度，对所述数字图像进行编码。
CN201710905791.6A 2016-10-04 2017-09-29 使用图像分析算法给神经网络提供训练数据的方法和系统 Active CN107895359B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16192142.4 2016-10-04
EP16192142.4A EP3306528B1 (en) 2016-10-04 2016-10-04 Using image analysis algorithms for providing traning data to neural networks

Publications (2)

Publication Number Publication Date
CN107895359A CN107895359A (zh) 2018-04-10
CN107895359B true CN107895359B (zh) 2023-06-09

Family

ID=57083180

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710905791.6A Active CN107895359B (zh) 2016-10-04 2017-09-29 使用图像分析算法给神经网络提供训练数据的方法和系统

Country Status (6)

Country Link
US (1) US10496903B2 (zh)
EP (1) EP3306528B1 (zh)
JP (1) JP6842395B2 (zh)
KR (1) KR102203694B1 (zh)
CN (1) CN107895359B (zh)
TW (1) TWI735669B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6624125B2 (ja) * 2017-03-13 2019-12-25 コニカミノルタ株式会社 画像検査装置、画像形成システム及び画像圧縮方法
WO2019171121A1 (en) * 2018-03-05 2019-09-12 Omron Corporation Method, device, system and program for setting lighting condition and storage medium
DE102019208257A1 (de) * 2018-07-03 2020-01-09 Heidelberger Druckmaschinen Ag Druckqualitätsanalyse mit neuronalen Netzen
CN109271847B (zh) 2018-08-01 2023-04-07 创新先进技术有限公司 无人结算场景中异常检测方法、装置及设备
KR102194303B1 (ko) 2018-10-08 2020-12-22 단국대학교 산학협력단 ３ｄ 데이터 프로세싱에 이용되는 ａｉ 트레이닝을 위한 데이터 셋 확장 생성과 전처리를 위한 장치 및 방법
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
TWI701565B (zh) * 2018-12-19 2020-08-11 財團法人工業技術研究院 資料標記系統及資料標記方法
US11853812B2 (en) * 2018-12-20 2023-12-26 Here Global B.V. Single component data processing system and method utilizing a trained neural network
US10540572B1 (en) * 2019-01-31 2020-01-21 StradVision, Inc. Method for auto-labeling training images for use in deep learning network to analyze images with high precision, and auto-labeling device using the same
US10762393B2 (en) * 2019-01-31 2020-09-01 StradVision, Inc. Learning method and learning device for learning automatic labeling device capable of auto-labeling image of base vehicle using images of nearby vehicles, and testing method and testing device using the same
WO2020170036A1 (en) * 2019-02-22 2020-08-27 Stratuscent Inc. Systems and methods for learning across multiple chemical sensing units using a mutual latent representation
CN114127776A (zh) * 2019-05-17 2022-03-01 巴科股份有限公司 用于训练具有构数据的生成式对抗网络的方法和系统
DE102019207575A1 (de) * 2019-05-23 2020-11-26 Volkswagen Aktiengesellschaft Verfahren zum Beurteilen einer funktionsspezifischen Robustheit eines Neuronalen Netzes
KR102339181B1 (ko) * 2020-03-09 2021-12-13 에스케이 주식회사 Machine Learning을 이용한 데이터 연관성 자동 탐색 방법 및 시스템
TWI809266B (zh) * 2020-04-21 2023-07-21 中華電信股份有限公司 電梯事件偵測模型之產生與更新方法
EP3905659B1 (en) * 2020-04-28 2022-06-01 Axis AB Statistics-based electronics image stabilization
WO2021230675A1 (ko) * 2020-05-13 2021-11-18 (주)사맛디 딥러닝 기반 대상체 감성 인식 방법 및 장치
US11295430B2 (en) 2020-05-20 2022-04-05 Bank Of America Corporation Image analysis architecture employing logical operations
US11379697B2 (en) 2020-05-20 2022-07-05 Bank Of America Corporation Field programmable gate array architecture for image analysis
CN111767985B (zh) * 2020-06-19 2022-07-22 深圳市商汤科技有限公司 一种神经网络的训练方法、视频识别方法及装置
KR102213291B1 (ko) * 2020-07-30 2021-02-04 배도연 웹사이트 제작 시스템
WO2023085457A1 (ko) * 2021-11-11 2023-05-19 한국전자기술연구원 효율적인 딥러닝 학습을 위한 메모리 구조 및 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965112B1 (en) * 2013-12-09 2015-02-24 Google Inc. Sequence transcription with deep neural networks

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6757602B2 (en) * 1997-02-06 2004-06-29 Automotive Technologies International, Inc. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon
JP3524250B2 (ja) * 1995-11-27 2004-05-10 キヤノン株式会社 デジタル画像処理プロセッサ
US7444030B2 (en) * 2004-11-12 2008-10-28 Micron Technology, Inc. Image encoding with dynamic buffer-capacity-level-based compression adjustment
US7840502B2 (en) * 2007-06-13 2010-11-23 Microsoft Corporation Classification of images as advertisement images or non-advertisement images of web pages
JP5193931B2 (ja) * 2009-04-20 2013-05-08 富士フイルム株式会社 画像処理装置、画像処理方法およびプログラム
US9208405B2 (en) * 2010-08-06 2015-12-08 Sony Corporation Systems and methods for digital image analysis
EP2499960B1 (en) * 2011-03-18 2015-04-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for determining at least one parameter of two eyes by setting data rates and optical measuring device
EP2557789B1 (en) * 2011-08-09 2017-09-27 Dolby Laboratories Licensing Corporation Guided image up-sampling in video coding
US20140368737A1 (en) * 2013-06-17 2014-12-18 Spotify Ab System and method for playing media during navigation between media streams
CN104103033B (zh) * 2014-08-05 2017-06-06 广州国米科技有限公司 图像实时处理方法
EP3021583B1 (en) 2014-11-14 2019-10-23 Axis AB Method of identifying relevant areas in digital images, method of encoding digital images, and encoder system
EP3029937B1 (en) * 2014-12-03 2016-11-16 Axis AB Method and encoder for video encoding of a sequence of frames
CN104679863B (zh) 2015-02-28 2018-05-04 武汉烽火众智数字技术有限责任公司 一种基于深度学习的以图搜图方法和系统
CN105260734A (zh) * 2015-10-10 2016-01-20 燕山大学 一种具有自建模功能的商品油表面激光标码识别方法
CN105430394A (zh) 2015-11-23 2016-03-23 小米科技有限责任公司 视频数据压缩处理方法、装置和设备
CN105551036B (zh) * 2015-12-10 2019-10-08 中国科学院深圳先进技术研究院 一种深度学习网络的训练方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8965112B1 (en) * 2013-12-09 2015-02-24 Google Inc. Sequence transcription with deep neural networks

Also Published As

Publication number Publication date
JP2018101406A (ja) 2018-06-28
US20180096232A1 (en) 2018-04-05
CN107895359A (zh) 2018-04-10
US10496903B2 (en) 2019-12-03
EP3306528B1 (en) 2019-12-25
KR102203694B1 (ko) 2021-01-15
JP6842395B2 (ja) 2021-03-17
KR20180037593A (ko) 2018-04-12
TWI735669B (zh) 2021-08-11
EP3306528A1 (en) 2018-04-11
TW201814596A (zh) 2018-04-16

Similar Documents

Publication Publication Date Title
CN107895359B (zh) 使用图像分析算法给神经网络提供训练数据的方法和系统
US11729406B2 (en) Video compression using deep generative models
CN108780499B (zh) 基于量化参数的视频处理的系统和方法
Liu et al. PQA-Net: Deep no reference point cloud quality assessment via multi-view projection
US11297319B2 (en) Method for encoding images and corresponding terminals
CN110309732B (zh) 基于骨架视频的行为识别方法
CN110637460B (zh) 利用深层神经网络的视觉质量保持量化参数预测
Bovik Automatic prediction of perceptual image and video quality
CN104954791B (zh) 矿井无线分布式视频编码中的关键帧实时选取方法
KR100660725B1 (ko) 얼굴 추적 장치를 가지는 휴대용 단말기
KR20180004898A (ko) 딥러닝 기반의 이미지 처리 기술 및 그 방법
CN101395671A (zh) 用于提供内容自适应码率控制的视频编码系统和方法
US20200267396A1 (en) Human visual system adaptive video coding
Lyudvichenko et al. A semiautomatic saliency model and its application to video compression
US11798254B2 (en) Bandwidth limited context based adaptive acquisition of video frames and events for user defined tasks
TWI512685B (zh) 移動物體偵測方法及其裝置
Liu et al. Video quality assessment using space–time slice mappings
Hu et al. UAV image high fidelity compression algorithm based on generative adversarial networks under complex disaster conditions
Dikici et al. Attention-based video streaming
Sopov et al. Design efficient technologies for context image analysis in dialog HCI using self-configuring novelty search genetic algorithm
Fang et al. PIB: Prioritized Information Bottleneck Framework for Collaborative Edge Video Analytics
Khodadadi et al. Compressing face images using genetic and gray wolf meta-heuristic algorithms based on variable bit allocation
WO2024084660A1 (ja) 画像符号化装置、画像復号装置、画像処理システム、モデル学習装置、画像符号化方法、画像復号方法、および、コンピュータ可読記憶媒体
Dranoshchuk et al. About perceptual quality estimation for image compression
Beye et al. SwitchingNet: Edge-Assisted Model Switching for Accurate Video Recognition Over Best-Effort Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant