CN105938559B - 使用卷积神经网络的数字图像处理 - Google Patents

使用卷积神经网络的数字图像处理 Download PDF

Info

Publication number
CN105938559B
CN105938559B CN201610122298.2A CN201610122298A CN105938559B CN 105938559 B CN105938559 B CN 105938559B CN 201610122298 A CN201610122298 A CN 201610122298A CN 105938559 B CN105938559 B CN 105938559B
Authority
CN
China
Prior art keywords
image
cnn
layer
candidate
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610122298.2A
Other languages
English (en)
Other versions
CN105938559A (zh
Inventor
A·拉文德兰
O·塞利克-汀马兹
M·巴达维
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Services GmbH
Original Assignee
Accenture Global Services GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Services GmbH filed Critical Accenture Global Services GmbH
Publication of CN105938559A publication Critical patent/CN105938559A/zh
Application granted granted Critical
Publication of CN105938559B publication Critical patent/CN105938559B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

根据示例，可以通过卷积神经网络(CNN)集合对数字图像进行处理，以对数字图像中的对象进行分类。对于每个CNN，可以选择候选架构和候选参数以构建多个CNN。一旦确定每个对于所选择的候选参数具有不同的值的预定数量的CNN满足验证阈值，就可以从预定数量的CNN生成CNN集合。然后，可以聚集来自CNN集合的预测以准确地对数字图像中的对象进行分类。

Description

使用卷积神经网络的数字图像处理
背景技术
数字图像处理通常涉及处理数字图像(例如，来自数字静止图像或数字视频)以确知、检测和/或分类图像中的具体特征或对象。可以在图像处理期间应用模式识别以检测图像中的具体对象。具有模式识别的数字图像处理已经在广泛多种应用(诸如面部识别、来自航空照片的土地特征的检测、车辆牌照确定等)中使用。不同类型的常规机器学习功能可以用于模式识别，然而，许多常规机器学习功能不适合于或可能难以适合于数字图像处理中的模式识别。
附图说明
通过示例的方式图示本公开的特征，并且不局限于以下附图，其中，类似的标号指示类似的元件，其中：
图1示出了根据本公开的示例的图像处理系统的系统图；
图2示出了根据本公开的示例的指示对资产(property)损坏的程度的分类类别；
图3示出了根据本公开的示例的图像处理服务器的数据存储(data store)；
图4示出了根据本公开的示例的用于使用卷积神经网络(CNN)对数字图像中的对象进行分类的计算设备的框图；
图5示出了根据本公开的示例的使用CNN对数字图像中的对象进行分类的方法的流程图；和
图6示出了根据本公开的示例的优化CNN的流程图。
具体实施方式
出于简化和说明目的，主要通过参照其示例对本公开进行描述。在以下描述中，阐述了许多具体细节，以便提供对本公开的透彻理解。然而，显而易见的是，在不局限于这些具体细节的情况下，也可以实践本公开。在其它实例中，没有对一些方法和结构进行详细描述，以免不必要地模糊本公开。如本文中所使用的，术语“一”和“一个”旨在表示至少一个具体元素，术语“包括(includes)”意味着包括(includes)但不限于，术语“包括(including)”意味着包括(including)但不限于，并且术语“基于”意味着至少部分基于。
根据示例，图像处理系统构建并且训练深度学习模型(诸如卷积神经网络(CNN))集合(ensemble)，以精确地且自动地执行图像处理来检测数字图像中的对象的具体属性，并且根据所检测的属性对对象进行分类。然而，CNN包括许多功能部件，其使得它很难确定准确执行以检测并分类对于手头问题是相关的图像的具体特征所必需的网络架构。更进一步地，CNN的每个部件通常具有与它相关联的大量参数。在没有应用任何鲁棒的图像处理系统的情况下，成功且准确的图像分类所必需的那些参数的特定值不是先验已知的。因此，图像处理系统提供了一种用于构建并且微调证明输出图像的准确分类的CNN的方法。通过迭代过程，可以选择用于CNN的候选架构和候选参数来构建、训练、并优化CNN。例如，迭代过程可以包括：从多个候选架构选择候选架构并且验证用于所选择的候选架构的候选参数集。候选架构可以包括分类器类型以及若干个卷积层和子采样(subsampling)层。候选参数可以包括学习率、批量大小、训练历元(training epoch)的最大数量、输入图像大小、CNN每一层处的特征映射图(feature map)数量、卷积滤波器大小、子采样池大小、隐含层数量、每个隐含层中的单元数量、所选择的分类器算法、以及输出种类的数量。另外，还可以选择预处理协议，以增强用于所选择的候选架构和所选择的候选参数的图像中的具体内容。
迭代过程可以包括：使用训练集构建中间CNN并且评价(evaluate)中间CNN在验证集上的性能。比如，该评价确定中间CNN是否满足验证阈诸(诸如小于20％错误率)。重复该迭代过程直到预定数量(例如，25个)的中间CNN满足验证阈值为止。根据示例，每个中间CNN对于所选择的候选参数具有不同的值。然后，从预定数量的中间CNN生成最准确的中间CNN集合。例如，该集合可能是前5个最准确的中间CNN。下一步骤可以包括：选择集合算法以聚集和/或组合该集合中的每个中间CNN的预测以形成集合预测。然后，该集合中的每个中间CNN的预测可以用来对图像或图像中的对象进行分类。
所公开的示例的技术优势和优点包括：提供了表现出优良的分类准确度以评估(assess)资产损坏的先进深度学习架构和确定先进深度学习架构的迭代图像处理系统。通过迭代过程由图像处理系统生成的CNN比其它规则的前馈神经网络更容易训练，并且具有较少的估计参数，从而使其成为用来评估资产损坏的更有效的架构。
根据示例，由图像处理系统生成的CNN可以用来对在数字图像中捕获的资产的损坏程度间分类。损坏可以是指损害资产外观的任何类型的损伤或伤害。图像或数字图像可以包括静止图像和运动图像(例如，视频)。资产可能是包括但不限于房子、家具、服装、车辆设备、土地、计算设备、玩具等的任何有形对象。在其中投保客户的有形资产意外受损的示例中，投保客户可以通过用智能手机和/或相机拍摄数码照片来记录对受损资产的损坏。然后，受损资产的数字图像可以被馈给到图像处理系统。图像处理系统可以自动基于从所接收的数字图像的图像处理确定的损坏量来对受损资产进行分类。在本示例中，图像处理系统提供了一种自动检测对如在数字图像中捕获的资产的损坏程度的机器视觉方法和装置。
根据示例，图像处理系统生成集合模型(例如，包括多个优化CNN)，以在准确度提高的情况下对图像或者该图像中的对象进行分类。在示例中，使用集合模型的图像处理系统对验证集中的图像的准确度接近90％。
如上文所讨论的，根据示例，图像处理系统可以用于对在图像中捕获的资产损坏的程度进行分类。然而，图像处理系统可以基本上用于任何应用以将数字图像中的特征分类为预先定义的类别。
参照图1，示出了根据本公开的示例的图像处理系统100的系统图。应当理解，在不脱离该系统100的范围的情况下，该系统100可以包括附加的部件，并且本文中所描述的部件的一个或多个部件可以被移除和/或修改。该系统100可以包括至少一个图像捕获设备110、通信网络120、图像处理服务器130、以及数据存储140。
图像捕获设备110可以经由通信网络120与图像处理服务器130通信。图像捕获设备110可以是任何计算设备，其包括相机(诸如但不限于智能电话、计算平板电脑、膝上型计算机、台式计算机、或任何可穿戴计算设备)。根据示例，图像捕获设备110可以捕获有形资产150的图像并且将有形资产150的图像发送到图像处理服务器130以自动对有形资产150的损坏程度进行分类。
通信网络120可以包括局域网(LAN)和广域网(WAN)(诸如因特网)。通信网络120可以包括可以由软件、应用程序和/或逻辑控制的信号承载介质。通信网络120可以包括支持数据通信服务的网络元件的组合。例如，通信网络120可以通过使用物理连接(诸如铜电缆、同轴电缆和光纤电缆)或通过无线技术(诸如无线电、微波、或卫星)将图像捕获设备110连接到图像处理服务器130。
例如，图像处理服务器130可以在图像预处理器105处从训练集接收数字图像。图像预处理器可以裁剪并增强来自训练集的图像中的具体内容以输入到中间CNN构建器(builder)115。中间CNN构建器115可以选择各种架构和参数来训练中间CNN125。然后，可以在由验证电路135生成的验证集上对中间CNN125进行评估。验证电路135可以确定是否标记满足指定验证阈值的中间CNN125。如果中间CNN125不满足验证阈值，则中间CNN不被标记，并且继续通过中间CNN构建器115在来自训练集的数字图像上进行训练。然而，如果中间CNN125确实满足验证阈值，则中间CNN125现在是标记的中间CNN145。因此，标记的中间CNN145有资格被选择作为由集合生成器155生成的优化CNN集合的一部分。例如，集合生成器155可以创建优化CNN集合165。从集合165聚集的预测可以用来准确分类来自输入数字图像的对象175。下文在图4、图5和图6中对图像处理服务器130的处理功能进一步详细说明。
根据示例，图像处理服务器130可以接收有形资产150的图像并且使用CNN对有形资产150的损坏程度自动分类，以识别并分类有形资产150的图像中的损坏。根据示例，如图2所图示的，图像处理服务器130可以将有形资产150的损坏程度分类为各种预先确定的分类类别200(诸如但不限于未受损的、受损的、严重受损的或总计的)。
如图4中下文进一步所详述的，图像处理服务器130可以被耦合到数据存储140。如图3所图示的，数据存储140可以通过图像处理服务器130存储对有形资产150的损坏程度分类所依赖的数据。例如，数据存储140可以存储训练集和包括资产310、受损资产320和总计损坏的资产330的数字图像的验证集。图像处理服务器130依赖这些数字图像以构建准确评估并分类对有形资产150的损坏程度的模型。
参照图4，示出了根据本公开的示例的用于使用卷积神经网络(CNN)进行图像处理的计算设备400的框图。根据示例，计算设备400是图像处理服务器130。应当理解，在不脱离计算设备400的范围的情况下，计算设备400可以包括附加的部件，并且本文中所描述的部件的一个或多个部件可以被移除和/或修改。
计算设备400被描绘为包括处理器402、数据存储140、输入/输出(I/O)接口406和图像处理平台410。作为示例，计算设备400的部件在单个计算机或服务器上示出，并且在其它示例中，部件可以存在于多个计算机或服务器上。计算设备400可以将数据存储在数据存储140中和/或可以管理比如通过I/O接口406存储在单独的计算设备中的数据的存储。数据存储140可以包括物理存储器(诸如硬盘驱动器、光盘驱动器、闪存驱动器、驱动器阵列或它们的任意组合)，并且可以包括易失性和/或非易失性数据存储。
图像处理平台410被描绘为包括训练电路412、模型构建器414、验证电路416和分类器418。可以包括微处理器、微控制器、专用集成电路(ASIC)、图形处理单元(GPU)等等的处理器402要在计算设备400中执行各种处理功能。处理功能可以包括图像处理平台410的训练电路412、模型构建器414、验证电路416和分类器418的功能。
例如，训练电路412可以从受损资产或对象的图像创建训练集。该训练集可以通过模型构建器414用来构建CNN模型。例如，模型构建器414可以根据用于CNN模型的所选择的候选架构和候选参数在训练集上构建CNN模型。例如，验证电路416可以评价由模型构建器414构建的CNN模型在验证集上的性能，并且确定CNN模型是否满足验证阈值。例如，分类器418可以分类验证集中的每幅图像中的对象的损坏程度。该分类器还可以聚集来自优化CNN模型集合的预测以更准确地评估数字图像中的受损对象。
在示例中，图像处理平台410包括存储在非暂态计算机可读介质413上并且由处理器执行的机器可读指令。非暂态计算机可读介质的示例包括动态随机存取存储器(DRAM)、电可擦除可编程只读存储器(EEPROM)、磁阻随机存取存储器(MRAM)、忆阻器、闪存、硬盘驱动器等。计算机可读介质413可以被包括在数据存储140中或可以是单独的存储设备。在另一示例中，图像处理平台410包括硬件设备(诸如电路或布置在板上的多个电路)。在该示例中，训练电路412、模型构建器414、验证电路416和分类器418包括电路部件或单独电路(诸如嵌入式系统、ASIC或现场可编程门阵列(FPGA))。
处理器402可以通过总线405被耦合到数据存储140和I/O接口406，其中，总线405可以是在计算设备400的各种部件之间传送数据的通信系统。在示例中，总线405可以是外围部件互连(PCI)、工业标准架构(ISA)、PCI-Express、NuBus、专用总线等等。
I/O接口406包括硬件和/或软件接口。I/O接口406可以是通过网络设备连接到网络的网络接口，通过该网络接口，图像处理平台410可以接收并且传送信息(比如关于对资产的损坏程度的信息)。例如，输入/输出接口406可以是无线局域网(WLAN)或网络接口控制器(NIC)。WLAN可以通过无线电信号将计算设备400链接到网络设备。类似地，NIC可以通过物理连接(诸如电缆)将计算设备400链接到网络设备。计算设备400还可以通过无线广域网(WWAN)链接到网络设备，其使用移动数据信号与移动电话塔通信。处理器402可以将通过输入/输出接口406接收的信息存储在数据存储140中，并且可以使用在实施图像处理平台410的训练电路412、模型生成器414、验证电路416和分类器418中的信息。
下文在图5和图6中所公开的方法描述了使用CNN进行数字图像处理例如以分类对在图像中所捕获的资产的损坏程度的方法的示例。对于本领域技术人员，应该显而易见的是，在不背离方法的范围的情况下，这些方法表示广义的图示，并且其它序列可以被添加或者现有的序列可以被移除、修改或重新布置。
图5示出了根据本公开的示例的使用CNN进行数字图像处理的方法500的流程图。CNN可以用于推进图像中的对象的分类性能。因此，图5中所图示的方法500提供了一种用于训练并构建CNN以输出图像中的对象的准确分类的方法。例如，图像处理服务器130的处理器402可以实施图像处理平台410以准确评估图像中的资产损坏。
在框505中，训练电路412比如可以从受损资产或对象的图像创建训练集。根据示例，训练集数据可以包括新(未受损的)对象、受损对象和总计对象的图像。可以通过模型构建器414处理这个训练集，以发现预测性关系并且调整模型(诸如CNN)。
在已经创建训练集之后，方法500可以迭代地选择候选架构和候选参数以优化CNN的例如准确分类对图像中的对象的损坏程度的能力。该迭代过程可以包括方法500的框510-545。
在框510中，模型构建器414比如可以从多个候选架构中选择候选架构。根据示例，多个候选架构可以包括分类器类型、以及若干个卷积层和子采样层的不同组合。分类器类型可以包括多层感知器(MLP)、支持向量机(SVM)等等。
在框515中，模型构建器414比如可以选择用于所选择的候选架构的候选参数。根据示例，候选参数可以包括学习率、批量大小、训练历元的最大数量、卷积滤波器大小、CNN每一层的特征映射图数量、子采样池大小、输入图像大小、隐含层数量、每个隐含层中的单元数量、所选择的分类器算法、以及输出种类数量。
学习参数的示例包括学习率、批量大小和训练历元的最大数量。学习率参数是其中CNN从训练集学习最佳滤波系数的速率。理想情况下，学习率不是太高(其中，CNN超量学习并且不太普及)或太低。根据示例，用于学习率参数的范围包括但不限于0.05至0.10。批量大小参数是当在最小化中计算梯度下降的估计时，一起被处理的图像的数量(与一次使用一幅图像相对)。在训练期间，将若干幅图像聚束在批量中通过使用图像(高度×宽度)的三维(3D)矩阵表示(批量大小×高度×宽度)而非两维(2D)矩阵表示来加快计算。根据示例，批量大小参数的范围包括但不限于每个批量2-128幅图像。训练历元的最大数量参数是整个训练集在更新最小化参数中重新使用的最大次数。训练图像的数量除以批量大小是在一个历元中的迭代总数。根据示例，训练历元的最大数量参数的范围介于100和200之间。
卷积和子采样参数的示例包括卷积滤波器大小、CNN每一层的特征映射图数量、以及子采样池大小。卷积滤波器大小参数是卷积层中的滤波器大小。根据示例，用于卷积滤波器大小参数的范围介于2×2个像素和114×114像素之间。特征映射图数量参数是从每个卷积层中若干个滤波器或内核输出的特征映射图数量。根据示例，用于特征映射图数量参数的范围介于用于第一卷积层的60个特征映射图和512个特征映射图之间。子采样池大小参数是图像中的像素的正方形贴片(patch)的大小，该像素在经由最大池化(pooling)的操作之后，被降采样(down-sampled)成并且替代为一个像素，该最大池化设置所得像素的值作为像素的初始正方形贴片中的像素的最大值。根据示例，用于子采样池大小参数的值的范围包括但不限于介于2×2和4×4的范围。根据示例，就最终卷积层的输出而言，选择卷积层的网络的参数以将输入图像大小减少至1×1像素值。
分类器参数的示例包括图像输入大小、隐含层数量、每一层中的单元数量、所选择的分类器算法和输出种类数量。图像输入大小是其中来自最终卷积层的数据将被分类的空间维数，并且因此，等于特征映射图数量和最终卷积层的图像大小的乘积。根据示例，输入图像大小是乘以1×1的最终卷积层上的特征映射图的数量。根据示例，隐含层是全连接MLP层并且隐含层的数量包括2。隐含层的数量应该至多限于三个隐含层。每个隐含层中的单元数量是使用在卷积和子采样层中学习的信息以检测损坏程度的隐含层中的单元数量。根据示例，每个隐含层中的单元数量参数的范围包括但不限于介于6个单元和1024个单元之间。所选择的分类器算法可以包括但不限于多层感知器(MLP)、支持向量机(SVM)等等。输出种类数量是输入图像被分成的类型的数量。根据示例，输出种类数量可以包括但不限于3。
然后，如框520所示，模型构建器414比如可以选择预处理协议，以针对所选择的候选架构和所选择的候选参数增强受损对象的图像中的信息内容。预处理协议可以包括但不限于局部对比度归一化或零相成分分析(ZCA)缩放、以及用于增白(whitening)的独立成分分析(ICA)。
在框525中，模型构建器414比如可以训练并使用训练集构建中间CNN。如框530所示，在训练并构建中间CNN之后，验证电路416比如可以评价中间CNN在验证集上的性能。根据示例，验证集包括与来自训练集的图像集分开并且不同的新的(未受损的)对象、受损对象和总计对象的图像集。在这方面，验证集用来评估中间CNN相对于分类验证集的图像的每幅图像的损坏程度的准确度。
在框535中，验证电路416比如可以确定中间CNN是否满足验证阈值。验证阈值可以是验证错误率。根据该示例，如果其验证错误率相对于分类预测小于20％，则中间CNN可能符合或满足验证阈值。如果中间CNN不满足验证阈值，则迭代过程在框510处重新开始。
另一方面，如果中间CNN满足验证阈值，则验证电路416可以标记中间CNN以指示它已经满足了如框540中所示的验证阈值。在框545中，验证电路416可以确定当满足验证阈值时，预定数量的中间CNN是否已经被标记。预定数量的标记的中间CNN例如可以是25个标记的中间CNN。根据示例，使用用于所选择的候选参数的不同值构建标记的中间CNN的每个中间CNN。如果标记的中间CNN的数量还未达到预先确定数量(例如，25)，则迭代过程再次在框510处开始。
可替代地，如框550所示，如果标记的中间CNN的数量已经达到预先确定数量(例如，25)，则验证电路416可以从预先确定数量的中间CNN创建中间CNN集合。例如，5个最准确的中间CNN可以被选择作为集合。
在框555中，分类器418比如可以对验证集中的每幅图像中的对象的损坏程度进行分类。根据示例，分类包括：聚集来自标记的中间CNN集合的预测以在对验证集中的每幅图像中的对象的损坏程度分类中实现更高的准确度。现在描述用于聚集来自各个CNN的预测以形成集合预测的技术的示例。在示例中，所有的中间CNN同时被训练以确定用于CNN集合的系数或权重并且所训练的集合用于做出预测。在另一示例中，代数规则可以用来组合中间CNN的输出。用于组合中间CNN的输出的代数规则的示例可以包括最大、总和、平均和加权平均。在另一示例中，中间CNN组合使用验证集合测试以确定哪些组合具有最高的预测准确度。当测试组合时，多数投票(vote)可以应用于每个组合，以确定用于该类别的预测。执行研究，并且确定采取来自10-24个标记的中间CNN集合的多数投票的准确度约为90％，其通常比准确度通常约为80-85％导致的单个CNN的性能更高。
图6示出了根据本公开的示例的优化卷积神经网络(CNN)600的流程图。CNN 600是根据上文所描述的方法500构建的优化CNN。用于该CNN600的架构包括4个卷积和子采样层、2个隐含层和逻辑回归分类器(诸如MLP)。在这方面，比如，该CNN600可以对在图像中捕获的资产的损坏程度进行分类，准确度约为88％。
如上文所讨论的，投保客户可以将权利要求中的资产的图像提交给保险公司。保险公司可以使用所提交的图像利用该CNN600自动地对资产的损坏程度进行分类。例如，所提交的图像可以被输入到CNN600中。
所提交的受损资产的图像可以被预先处理610以增强图像中的信息内容以供CNN600处理。在该示例中，所提交的图像是480×640个像素。例如，预处理610可以将所提交的受损资产的图像裁剪成96×96个像素并且从所提交的受损资产的图像中提取3个RGB通道层以作为输入图像呈现给CNN600。
在第一卷积层(C1)620中，CNN600可以用每个大小为5×5的60个不同的第一层滤波器卷积输入图像，以产生大小为92×92的60个特征映射图。卷积层的每个滤波器应用降低输入图像的分辨率。如果输入图像的分辨率是N×N，则卷积滤波器的大小为M×M，那么由此产生的图像的分辨率为N-M+1×N-M+1。然后，CNN600可以对特征映射图执行非线性子采样形式的最大池化。将输入图像最大池化划分成非重叠正方形贴片集，从而更换单个像素值等于初始正方形贴片中的所有像素的最大值的每个贴片。在示例中，CNN可以对C1 620上的60个特征映射图的2×2区域进行最大池化。然后，进一步对C1 620中大小为46×46的所得的60个特征映射图进行卷积并且在第二卷积层(C2)630中进行最大池化。
在C2 630中，用每个大小为3×3的第二层卷积滤波器卷积来自C1 620的大小为46×46的所得的60个特征映射图，以产生大小为44×44的128个特征映射图。然后，可以对128个特征映射图的4×4区域执行最大池化。然后，进一步对C2 630中大小为11×11的所得的128个特征映射图进行卷积并且在第三卷积层(C3)640中进行最大池化。
在C3 640中，用每个大小为4×4的第三层卷积滤波器卷积来自C2 630的大小为11×11的所得的128个特征映射图，以产生大小为8×8的128个特征映射图。然后，可以对128个特征映射图的2×2区域执行最大池化。然后，进一步对C3 640中大小为4×4的所得的128个特征映射图进行卷积并且在第四卷积层(C4)650中进行最大池化。
在C4 650中，用每个大小为3×3的第四层滤波器卷积来自C3640的大小为4×4的所得的128个特征映射图，以产生大小为2×2的256个特征映射图。然后，可以对256个特征映射图的2×2区域进行最大池化。然后，进一步对C4 650中大小为1×1的所得的256个特征映射图被输入到第一隐含层(H1)660以开始分类过程。
为了执行分类，CNN600应用卷积层后面的全连接神经网络层。在H1 660的第一分类层，例如，512个单元的每个单元采用从C 4650产生的所有的256个特征映射图的每个像素的值，将每个值乘以预先确定的权重，并且使总和去线性化。事实上，512个单元的每个单元的输出例如表示关于受损资产e的原始提交的图像的判断。第二隐含层(H2)670被添加以从H2 670的第二分类层中的100个单元的每个单元的输出中导出关于受损资产的所提交的图像的更抽象的结论。因此，CNN 600的逻辑回归分类器680然后可以根据第三分类层中的3个单元的输出准确地分类对作为新的、受损的或总计的所提交的图像中的资产的损坏程度。
本文所述和所图示的是本公开的示例和一些变化。本文中所使用的术语、描述和附图仅通过图示的方式阐述，并且不意味着作为限制。许多变化都可能落入旨在通过所附权利要求-及其等价物-定义的本发明的精神和范围之内，其中，除非另外指明，所有的术语都被意指其最广的合理意义。

Claims (13)

1.一种对受损对象进行分类的方法，所述方法包括：
从受损对象的图像创建训练图像集；
选择用于卷积神经网络(CNN)的候选架构和候选参数以通过迭代过程对所述训练图像集中的所述对象的损坏程度进行分类，其中所述候选架构包括卷积层、子采样层和分类器类型，并且其中，所述迭代过程包括：
从多个候选架构中选择所述候选架构；
选择用于所选择的候选架构的所述候选参数，其中所选择的候选参数包括学习率、批量大小、训练历元的最大数量、图像输入大小、卷积层和子采样层中的每个层的特征映射图数量、卷积滤波器大小、子采样池大小、隐含层的定义数量、每个隐含层中的单元数量、所选择的分类器算法、以及输出种类数量；
针对所选择的候选架构和所选择的候选参数选择预处理协议以增强所述受损对象的所述训练图像集中的信息内容，其中所述预处理协议包括裁剪所述图像以及从所述图像提取RGB通道层的定义数量；
使用所述训练图像集构建中间CNN；
评价所述中间CNN在验证图像集上的性能，所述验证图像集包括未受损对象、受损对象以及总计对象的图像，其中所述验证图像集与所述训练图像集分开并且不同；
确定所述中间CNN是否满足验证阈值；以及
重复所述迭代过程直到预先确定数量的中间CNN满足所述验证阈值，其中，每个中间CNN对于所选择的候选参数具有不同的值；
从所述预先确定数量的中间CNN创建中间CNN集合；以及
对所述验证图像集中的每幅图像中的所述对象的损坏程度进行分类，其中，所述分类包括聚集来自所述中间CNN集合的预测。
2.根据权利要求1所述的方法，其中，所述学习率介于0.05和0.1之间，所述批量大小介于2幅图像和128幅图像之间，并且所述训练历元的最大数量介于100和200之间。
3.根据权利要求1所述的方法，其中，所述候选参数包括卷积和子采样参数，其中，所述卷积和子采样参数包括卷积滤波器大小、特征映射图数量、以及子采样池大小。
4.根据权利要求3所述的方法，其中，所述卷积滤波器大小介于2×2个像素和114×114个像素之间，第一卷积层中的所述特征映射图数量介于60和512之间，并且所述子采样池大小介于2×2个像素和4×4像素之间。
5.根据权利要求1所述的方法，其中，所述图像输入大小是等于特征映射图数量和最终卷积层的图像大小的乘积的数量，所述隐含层数量是2，所述每个隐含层中的单元数量介于6个单元和1024个单元之间，所选择的分类器算法是多层感知器(MLP)算法，并且所述输出种类数量是3。
6.根据权利要求1所述的方法，其中，确定所述中间CNN是否满足所述验证阈值包括：确定所述中间CNN在所述验证图像集上的错误率是否小于20％。
7.根据权利要求1所述的方法，其中，中间CNN的所述预先确定数量是25。
8.一种图像分类服务器，包括：
处理器；以及
存储机器可读指令的存储器，所述机器可读指令使所述处理器：
从受损对象的图像创建训练图像集；
选择用于卷积神经网络(CNN)的候选架构和候选参数以通过迭代过程对所述图像中的所述对象的损坏程度进行分类，其中所述候选架构包括卷积层、子采样层和分类器类型，并且其中，所述迭代过程包括：
从多个候选架构中选择所述候选架构；
选择用于所选择的候选架构的所述候选参数，其中所选择的候选参数包括学习率、批量大小、训练历元的最大数量、图像输入大小、卷积层和子采样层中的每个层的特征映射图数量、卷积滤波器大小、子采样池大小、隐含层的定义数量、每个隐含层中的单元数量、所选择的分类器算法、以及输出种类数量；
针对所选择的候选架构和所选择的候选参数选择预处理协议以增强所述受损对象的所述训练图像集中的信息内容，其中所述预处理协议包括裁剪所述图像以及从所述图像提取RGB通道层的定义数量；
使用所述训练图像集构建中间CNN；
评价所述中间CNN在验证图像集上的性能，所述验证图像集包括未受损对象、受损对象以及总计对象的图像，其中所述验证图像集与所述训练图像集分开并且不同，以及
重复所述迭代过程，直到确定预先确定数量的中间CNN满足验证阈值，其中，每个中间CNN对于所选择的候选参数具有不同的值；
从预先确定数量的中间CNN创建中间CNN集合，以及
对所述验证图像集中的每个图像中的所述对象的损坏程度进行分类，其中，分类是聚集来自所述中间CNN集合的预测。
9.根据权利要求8所述的图像分类服务器，其中，所述机器可读指令使所述处理器：
选择介于0.05和0.1之间的所述学习率、介于2幅图像和128幅图像之间的所述批量大小、介于100和200之间的训练历元的所述最大数量、介于2×2个像素和114×114个像素之间的所述卷积滤波器大小、介于60和512之间的第一卷积层中的所述特征映射图数量、介于2×2像素和4×4像素之间的所述子采样池大小、为2的所述隐含层数量、介于6个单元和1024个单元之间的每个隐含层中的所述单元数量、作为多层感知器(MLP)算法的分类器算法、以及为3的所述输出种类数量。
10.根据权利要求8所述的图像分类服务器，其中，为了确定所述中间CNN是否满足所述验证阈值，所述机器可读指令使所述处理器确定所述中间CNN在所述验证图像集上的误差率是否小于20％。
11.根据权利要求8所述的图像分类服务器，其中，中间CNN的所述预先确定数量是25。
12.一种对受损对象进行分类的非暂态计算机可读介质，所述非暂态计算机可读介质包括机器可读指令，所述机器可读指令可由处理器执行以：
从受损对象的图像创建训练图像集；
选择用于卷积神经网络(CNN)的候选架构和候选参数以通过迭代过程对所述图像中的所述对象的损坏程度进行分类，其中所述候选架构包括卷积层、子采样层和分类器类型，并且其中，所述迭代过程包括；
从多个候选架构中选择所述候选架构；
选择用于所选择的候选架构的所述候选参数，其中所选择的候选参数包括学习率、批量大小、训练历元的最大数量、图像输入大小、卷积层和子采样层中的每个层的特征映射图数量、卷积滤波器大小、子采样池大小、隐含层的定义数量、每个隐含层中的单元数量、所选择的分类器算法、以及输出种类数量；
针对所选择的候选架构和所选择的候选参数选择预处理协议以增强所述受损对象的所述训练图像集中的信息内容，其中所述预处理协议包括裁剪所述图像以及从所述图像提取RGB通道层的定义数量；
使用所述训练图像集构建中间CNN；
评价所述中间CNN在验证图像集上的性能，所述验证图像集包括未受损对象、受损对象以及总计对象的图像，其中所述验证图像集与所述训练图像集分开并且不同；以及
重复所述迭代过程直到确定预先确定数量的中间CNN满足验证阈值，其中，每个中间CNN对于所选择的候选参数具有不同的值；
从所述预先确定数量的中间CNN创建中间CNN集合；以及
对所述验证图像集中的每幅图像中的所述对象的损坏程度进行分类，其中，所述分类包括聚集来自所述中间CNN集合的预测。
13.根据权利要求12所述的非暂态计算机可读介质，其中，为了选择候选参数，所述机器可读指令能够由所述处理器执行以：
选择介于0.05和0.1之间的所述学习率、介于2幅图像和128幅图像之间的所述批量大小、介于100和200之间的训练历元的所述最大数量、介于2×2个像素和114×114个像素之间的所述卷积滤波器大小、介于60和512之间的第一卷积层中的所述特征映射图数量、介于2×2像素和4×4像素之间的所述子采样池大小、为2的所述隐含层数量、介于6个单元和1024个单元之间的每个隐含层中的所述单元数量、作为多层感知器(MLP)算法的分类器算法、以及为3的所述输出种类数量。
CN201610122298.2A 2015-03-04 2016-03-03 使用卷积神经网络的数字图像处理 Active CN105938559B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/638,873 US9524450B2 (en) 2015-03-04 2015-03-04 Digital image processing using convolutional neural networks
US14/638,873 2015-03-04

Publications (2)

Publication Number Publication Date
CN105938559A CN105938559A (zh) 2016-09-14
CN105938559B true CN105938559B (zh) 2019-09-06

Family

ID=55588031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610122298.2A Active CN105938559B (zh) 2015-03-04 2016-03-03 使用卷积神经网络的数字图像处理

Country Status (5)

Country Link
US (1) US9524450B2 (zh)
EP (1) EP3065085B1 (zh)
CN (1) CN105938559B (zh)
AU (1) AU2016201292B2 (zh)
CA (1) CA2921672C (zh)

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6706788B2 (ja) * 2015-03-06 2020-06-10 パナソニックＩｐマネジメント株式会社 画像認識方法、画像認識装置およびプログラム
CN106156807B (zh) * 2015-04-02 2020-06-02 华中科技大学 卷积神经网络模型的训练方法及装置
US10095950B2 (en) * 2015-06-03 2018-10-09 Hyperverge Inc. Systems and methods for image processing
CN105138963A (zh) * 2015-07-31 2015-12-09 小米科技有限责任公司 图片场景判定方法、装置以及服务器
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US10296982B1 (en) * 2015-10-15 2019-05-21 State Farm Mutual Automobile Insurance Company Using images and voice recordings to facilitate underwriting life insurance
US11237528B2 (en) * 2016-02-16 2022-02-01 Ademco Inc. System and method for handing off the configuration of a building device from a contractor to a customer using a hang tag or the like
US9965269B2 (en) * 2016-04-06 2018-05-08 Orcam Technologies Ltd. Systems and methods for determining and distributing an update to an inference model for wearable apparatuses
US10657647B1 (en) 2016-05-20 2020-05-19 Ccc Information Services Image processing system to detect changes to target objects using base object models
US10740891B1 (en) 2016-05-20 2020-08-11 Ccc Information Services Inc. Technology for analyzing images depicting vehicles according to base image models
US10636148B1 (en) * 2016-05-20 2020-04-28 Ccc Information Services Inc. Image processing system to detect contours of an object in a target object image
US10319094B1 (en) * 2016-05-20 2019-06-11 Ccc Information Services Inc. Technology for capturing, transmitting, and analyzing images of objects
US11288789B1 (en) * 2016-05-20 2022-03-29 Ccc Intelligent Solutions Inc. Systems and methods for repairing a damaged vehicle using image processing
US10706321B1 (en) 2016-05-20 2020-07-07 Ccc Information Services Inc. Image processing system to align a target object in a target object image with an object model
US9886771B1 (en) * 2016-05-20 2018-02-06 Ccc Information Services Inc. Heat map of vehicle damage
US11392625B2 (en) 2016-06-27 2022-07-19 Omniearth, Inc. Systems and methods for utilizing property features from images
US10303977B2 (en) * 2016-06-28 2019-05-28 Conduent Business Services, Llc System and method for expanding and training convolutional neural networks for large size input images
DE112016007110T5 (de) * 2016-09-06 2019-04-18 Mitsubishi Electric Corporation Lernvorrichtung, signalverarbeitungsvorrichtung und lernverfahren
GB2554361B8 (en) 2016-09-21 2022-07-06 Emergent Network Intelligence Ltd Automatic image based object damage assessment
US10650285B1 (en) 2016-09-23 2020-05-12 Aon Benfield Inc. Platform, systems, and methods for identifying property characteristics and property feature conditions through aerial imagery analysis
JP6773899B2 (ja) * 2016-09-23 2020-10-21 エーオン・ベンフィールド・インコーポレイテッドＡｏｎ Ｂｅｎｆｉｅｌｄ Ｉｎｃ． 資産特性を分類するためのプラットフォーム、システム、ならびに方法および航空画像解析による資産特徴保守管理
US11017269B2 (en) * 2016-09-30 2021-05-25 General Electric Company System and method for optimization of deep learning architecture
CN107953329B (zh) * 2016-10-17 2021-06-15 中国科学院深圳先进技术研究院 物体识别和姿态估计方法、装置及机械臂抓取系统
CN115097937A (zh) * 2016-11-15 2022-09-23 奇跃公司 用于长方体检测的深度学习系统
KR102567525B1 (ko) * 2016-11-17 2023-08-16 삼성전자주식회사 이동 로봇 시스템, 이동 로봇 및 이동 로봇 시스템의 제어 방법
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
KR101834791B1 (ko) * 2016-12-05 2018-03-07 대한민국 합성곱신경망을 이용한 주자본과 목판본의 분류 정보 제공 방법
US10699184B2 (en) * 2016-12-29 2020-06-30 Facebook, Inc. Updating predictions for a deep-learning model
WO2018120000A1 (en) * 2016-12-30 2018-07-05 Nokia Technologies Oy Artificial neural network
WO2018120013A1 (en) * 2016-12-30 2018-07-05 Nokia Technologies Oy Artificial neural network
CN106845383B (zh) * 2017-01-16 2023-06-06 腾讯科技（上海）有限公司 人头检测方法和装置
KR20180092778A (ko) 2017-02-10 2018-08-20 한국전자통신연구원 실감정보 제공 장치, 영상분석 서버 및 실감정보 제공 방법
US10726558B2 (en) * 2017-02-27 2020-07-28 Dolphin AI, Inc. Machine learning-based image recognition of weather damage
GB2560177A (en) 2017-03-01 2018-09-05 Thirdeye Labs Ltd Training a computational neural network
GB2560387B (en) 2017-03-10 2022-03-09 Standard Cognition Corp Action identification using neural networks
US10395141B2 (en) * 2017-03-20 2019-08-27 Sap Se Weight initialization for machine learning models
US10769532B2 (en) * 2017-04-05 2020-09-08 Accenture Global Solutions Limited Network rating prediction engine
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
KR102332525B1 (ko) 2017-06-01 2021-11-29 삼성전자주식회사 전자 장치 및 그 동작방법
US11144845B2 (en) * 2017-06-02 2021-10-12 Stitch Fix, Inc. Using artificial intelligence to design a product
US11521045B2 (en) 2017-06-14 2022-12-06 Knowm, Inc. Anti-Hebbian and Hebbian (AHAH) computing
KR102419136B1 (ko) 2017-06-15 2022-07-08 삼성전자주식회사 다채널 특징맵을 이용하는 영상 처리 장치 및 방법
CN107451189A (zh) * 2017-06-20 2017-12-08 中山大学 一种基于哈希编码的无监督图像检索方法
CN107480599B (zh) * 2017-07-19 2021-01-22 董伟 一种基于深度学习算法的共享单车还车管理方法
CN107239803A (zh) * 2017-07-21 2017-10-10 国家海洋局第海洋研究所 利用深度学习神经网络的海底底质自动分类方法
CN107368857A (zh) * 2017-07-24 2017-11-21 深圳市图芯智能科技有限公司 图像对象检测方法、系统及模型处理方法、设备、终端
CN107316066B (zh) * 2017-07-28 2021-01-01 北京工商大学 基于多通路卷积神经网络的图像分类方法及系统
CN107610091A (zh) * 2017-07-31 2018-01-19 阿里巴巴集团控股有限公司 车险图像处理方法、装置、服务器及系统
US10474925B2 (en) 2017-07-31 2019-11-12 Industrial Technology Research Institute Deep neural network with side branches for recognizing and classifying media data and method for using the same
US10853965B2 (en) 2017-08-07 2020-12-01 Standard Cognition, Corp Directional impression analysis using deep learning
US11200692B2 (en) 2017-08-07 2021-12-14 Standard Cognition, Corp Systems and methods to check-in shoppers in a cashier-less store
US10650545B2 (en) 2017-08-07 2020-05-12 Standard Cognition, Corp. Systems and methods to check-in shoppers in a cashier-less store
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
US11232687B2 (en) 2017-08-07 2022-01-25 Standard Cognition, Corp Deep learning-based shopper statuses in a cashier-less store
US11250376B2 (en) 2017-08-07 2022-02-15 Standard Cognition, Corp Product correlation analysis using deep learning
US10474991B2 (en) 2017-08-07 2019-11-12 Standard Cognition, Corp. Deep learning-based store realograms
JP7072049B2 (ja) 2017-08-15 2022-05-19 シーメンス ヘルスケア ゲゼルシヤフト ミツト ベシユレンクテル ハフツング コンボリューショナル・ニューラルを用いた、ホログラフィック顕微鏡で取得した細胞画像の品質の識別方法
CN109426782B (zh) 2017-08-29 2023-09-19 北京三星通信技术研究有限公司 对象检测方法和用于对象检测的神经网络系统
AU2018324087A1 (en) * 2017-08-31 2020-01-23 Eagle View Technologies, Inc. Systems and methods for automatic estimation of object characteristics from digital images
KR101934443B1 (ko) * 2017-09-20 2019-01-02 대한민국 합성곱신경망과 이미지 추출을 이용한 주자본과 목판본의 분류 정보 제공 방법
US11094043B2 (en) * 2017-09-25 2021-08-17 The Regents Of The University Of California Generation of high dynamic range visual media
US10497250B1 (en) 2017-09-27 2019-12-03 State Farm Mutual Automobile Insurance Company Real property monitoring systems and methods for detecting damage and other conditions
US10043113B1 (en) * 2017-10-04 2018-08-07 StradVision, Inc. Method and device for generating feature maps by using feature upsampling networks
US11126914B2 (en) * 2017-10-11 2021-09-21 General Electric Company Image generation using machine learning
AU2018369977A1 (en) * 2017-11-17 2020-05-28 C 3 Limited Object measurement system
CN108009579A (zh) * 2017-11-29 2018-05-08 合肥寰景信息技术有限公司 基于深度学习的特种车辆检测与识别系统
JP7157154B2 (ja) * 2017-11-30 2022-10-19 グーグル エルエルシー 性能予測ニューラルネットワークを使用したニューラルアーキテクチャ探索
DE102017222964A1 (de) * 2017-12-15 2019-06-19 Zf Friedrichshafen Ag Verfahren und System zur Schadenserkennung eines Bauteils
WO2019134753A1 (en) * 2018-01-08 2019-07-11 Siemens Healthcare Gmbh Biologically-inspired network generation
US10922871B2 (en) 2018-01-19 2021-02-16 Bamtech, Llc Casting a ray projection from a perspective view
WO2019152929A1 (en) 2018-02-02 2019-08-08 Google Llc Regularized neural network architecture search
US11119915B2 (en) 2018-02-08 2021-09-14 Samsung Electronics Co., Ltd. Dynamic memory mapping for neural networks
TWI657346B (zh) * 2018-02-14 2019-04-21 倍加科技股份有限公司 資料減量及建立資料識別模型的方法、電腦系統及電腦可讀取的記錄媒體
US10984503B1 (en) * 2018-03-02 2021-04-20 Autodata Solutions, Inc. Method and system for vehicle image repositioning using machine learning
US11270168B1 (en) 2018-03-02 2022-03-08 Autodata Solutions, Inc. Method and system for vehicle image classification
US10140553B1 (en) 2018-03-08 2018-11-27 Capital One Services, Llc Machine learning artificial intelligence system for identifying vehicles
US20190286984A1 (en) * 2018-03-13 2019-09-19 Google Llc Neural architecture search by proxy
CN110276362A (zh) * 2018-03-13 2019-09-24 富士通株式会社 训练图像模型的方法和装置以及分类预测方法和装置
CN108875752B (zh) * 2018-03-21 2022-06-07 北京迈格威科技有限公司 图像处理方法和装置、计算机可读存储介质
WO2019194460A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 컨벌루션 뉴럴 네트워크를 이용한 영상 코딩 방법 및 그 장치
US10949676B2 (en) 2018-04-09 2021-03-16 Accenture Global Solutions Limited Aerial monitoring system and method for identifying and locating object features
US11948073B2 (en) 2018-04-20 2024-04-02 Advanced Micro Devices, Inc. Machine learning inference engine scalability
US11367222B2 (en) 2018-04-20 2022-06-21 Hewlett-Packard Development Company, L.P. Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
CN108596090B (zh) * 2018-04-24 2019-08-27 北京达佳互联信息技术有限公司 人脸图像关键点检测方法、装置、计算机设备及存储介质
US11875251B2 (en) 2018-05-03 2024-01-16 Samsung Electronics Co., Ltd. Neural network method and apparatus
US11048921B2 (en) 2018-05-09 2021-06-29 Nviso Sa Image processing system for extracting a behavioral profile from images of an individual specific to an event
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
CN108681999B (zh) * 2018-05-22 2022-05-31 浙江理工大学 基于深度卷积神经网络模型的sar图像目标形状生成方法
CN111819580A (zh) * 2018-05-29 2020-10-23 谷歌有限责任公司 用于密集图像预测任务的神经架构搜索
US11106911B1 (en) 2018-06-13 2021-08-31 Pointivo, Inc. Image acquisition planning systems and methods used to generate information for structures of interest
US10832065B1 (en) 2018-06-15 2020-11-10 State Farm Mutual Automobile Insurance Company Methods and systems for automatically predicting the repair costs of a damaged vehicle from images
US11238506B1 (en) 2018-06-15 2022-02-01 State Farm Mutual Automobile Insurance Company Methods and systems for automatic processing of images of a damaged vehicle and estimating a repair cost
US11120574B1 (en) 2018-06-15 2021-09-14 State Farm Mutual Automobile Insurance Company Methods and systems for obtaining image data of a vehicle for automatic damage assessment
US20230230166A1 (en) * 2018-06-15 2023-07-20 State Farm Mutual Automobile Insurance Company Methods and systems for automatic classification of a level of vehicle damage
EP3814981A4 (en) * 2018-06-26 2022-01-26 Nokia Technologies OY METHOD AND DEVICE FOR COMPUTER VIEWING
US10672174B2 (en) * 2018-06-28 2020-06-02 Adobe Inc. Determining image handle locations
GB2589495B (en) * 2018-07-12 2023-05-17 Teledyne Flir Commercial Systems Inc Closed loop automatic dataset creation systems and methods
JP6578607B1 (ja) * 2018-07-18 2019-09-25 ゼアーウィンスリーサービス株式会社 タイヤパンク修理判定システム、タイヤパンクの保証申請の可否を判断する装置及び、タイヤパンクの保証申請の可否を判断する装置の作動方法
US20200034279A1 (en) * 2018-07-24 2020-01-30 Sap Se Deep machine learning in software test automation
CN110795976B (zh) * 2018-08-03 2023-05-05 华为云计算技术有限公司 一种训练物体检测模型的方法、装置以及设备
CN109344695B (zh) * 2018-08-14 2022-03-22 中山大学 一种基于特征选择卷积神经网络的目标重识别方法和装置
US10831702B2 (en) 2018-09-20 2020-11-10 Ceva D.S.P. Ltd. Efficient utilization of systolic arrays in computational processing
CN109285112A (zh) * 2018-09-25 2019-01-29 京东方科技集团股份有限公司 基于神经网络的图像处理方法、图像处理装置
CN110956190A (zh) * 2018-09-27 2020-04-03 深圳云天励飞技术有限公司 图像识别方法及装置、计算机装置和计算机可读存储介质
CN109472292A (zh) * 2018-10-11 2019-03-15 平安科技（深圳）有限公司 一种图像的情感分类方法、存储介质和服务器
CN109447247B (zh) * 2018-10-23 2021-11-16 北京旷视科技有限公司 获得用于图像处理任务的卷积神经网络的方法及装置
US11769041B2 (en) 2018-10-31 2023-09-26 Advanced Micro Devices, Inc. Low latency long short-term memory inference with sequence interleaving
CN109635941B (zh) * 2018-11-06 2022-02-15 华中科技大学 一种基于1t1r存储器件的最大池化处理器
GB2578771A (en) * 2018-11-08 2020-05-27 Robinson Healthcare Ltd Vaginal speculum
TWI717655B (zh) * 2018-11-09 2021-02-01 財團法人資訊工業策進會 適應多物件尺寸之特徵決定裝置及方法
CN109559302A (zh) * 2018-11-23 2019-04-02 北京市新技术应用研究所 基于卷积神经网络的管道视频缺陷检测方法
KR102200496B1 (ko) * 2018-12-06 2021-01-08 주식회사 엘지씨엔에스 딥러닝을 이용한 이미지 인식 방법 및 서버
US10332245B1 (en) * 2018-12-11 2019-06-25 Capital One Services, Llc Systems and methods for quality assurance of image recognition model
KR102641423B1 (ko) 2018-12-11 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 동작방법
US10963757B2 (en) 2018-12-14 2021-03-30 Industrial Technology Research Institute Neural network model fusion method and electronic device using the same
CN111353575A (zh) 2018-12-20 2020-06-30 超威半导体公司 用于卷积神经网络的图块化格式
CN111382757B (zh) * 2018-12-28 2023-09-08 深圳市优必选科技有限公司 深度学习分类算法中动态调节训练样本的方法及终端设备
CN109829484B (zh) * 2019-01-08 2021-10-15 深圳禾思众成科技有限公司 一种服饰分类方法、设备及计算机可读存储介质
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
US10430691B1 (en) * 2019-01-22 2019-10-01 StradVision, Inc. Learning method and learning device for object detector based on CNN, adaptable to customers' requirements such as key performance index, using target object merging network and target region estimating network, and testing method and testing device using the same to be used for multi-camera or surround view monitoring
US10410120B1 (en) * 2019-01-25 2019-09-10 StradVision, Inc. Learning method and testing method of object detector to be used for surveillance based on R-CNN capable of converting modes according to aspect ratios or scales of objects, and learning device and testing device using the same
KR102354674B1 (ko) * 2019-01-29 2022-01-24 연세대학교 산학협력단 요속과 잔뇨를 동시에 측정함으로써 배뇨 장애를 진단하기 위한 방법 및 장치
EP3690704B1 (en) 2019-01-29 2021-02-24 Accenture Global Solutions Limited Distributed and self-validating dense object detection in digital images
CN111507128A (zh) * 2019-01-30 2020-08-07 北京沃东天骏信息技术有限公司 人脸识别方法、装置、电子设备及可读介质
JP7261022B2 (ja) * 2019-01-30 2023-04-19 キヤノン株式会社 情報処理システム、端末装置及びその制御方法、プログラム、記憶媒体
US10915809B2 (en) 2019-02-04 2021-02-09 Bank Of America Corporation Neural network image recognition with watermark protection
US10902295B2 (en) * 2019-02-08 2021-01-26 Sap Se Using transformations to verify computer vision quality
US11107205B2 (en) 2019-02-18 2021-08-31 Samsung Electronics Co., Ltd. Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN111723918A (zh) * 2019-03-18 2020-09-29 超威半导体公司 用于卷积内核的自动生成和调谐工具
CN110334724B (zh) * 2019-04-16 2022-06-17 武汉理工大学 基于lstm的遥感对象自然语言描述及多尺度矫正方法
US11232575B2 (en) 2019-04-18 2022-01-25 Standard Cognition, Corp Systems and methods for deep learning-based subject persistence
US11062436B2 (en) 2019-05-10 2021-07-13 Samsung Electronics Co., Ltd. Techniques for combining image frames captured using different exposure settings into blended images
KR20200130602A (ko) 2019-05-10 2020-11-19 한국전자통신연구원 영상 인식 장치, 영상 인식 장치의 동작 방법, 그리고 영상 인식 장치를 포함하는 컴퓨팅 장치
US11860852B1 (en) 2019-06-03 2024-01-02 State Farm Mutual Automobile Insurance Company Systems and methods for analyzing veracity of statements
WO2020247513A1 (en) 2019-06-07 2020-12-10 Pictometry International Corp. Systems and methods for automated detection of changes in extent of structures using imagery
US11095829B2 (en) 2019-06-11 2021-08-17 Samsung Electronics Co., Ltd. Apparatus and method for high dynamic range (HDR) image creation of dynamic scenes using graph cut-based labeling
JP2022536731A (ja) * 2019-06-12 2022-08-18 カーネギー メロン ユニバーシティ 画像処理のための深層学習モデル
US11386144B2 (en) 2019-09-09 2022-07-12 Adobe Inc. Identifying digital attributes from multiple attribute groups within target digital images utilizing a deep cognitive attribution neural network
CA3149080A1 (en) 2019-09-20 2021-03-25 Shadrian Strong Roof condition assessment using machine learning
WO2021062152A1 (en) 2019-09-25 2021-04-01 Pictometry International Corp. Systems and methods for creating automated faux-manual markings on digital images imitating manual inspection results
US11694354B2 (en) 2019-10-18 2023-07-04 Pictometry International Corp. Geospatial object geometry extraction from imagery
CN110866608B (zh) * 2019-10-31 2022-06-07 同济大学 一种自适应学习率计算方法
US11763932B2 (en) 2019-11-14 2023-09-19 International Business Machines Corporation Classifying images using deep neural network with integrated acquisition information
US11334771B2 (en) 2019-12-12 2022-05-17 Vade Usa, Incorporated Methods, devices and systems for combining object detection models
US11676365B2 (en) 2019-12-16 2023-06-13 Accenture Global Solutions Limited Explainable artificial intelligence (AI) based image analytic, automatic damage detection and estimation system
US11687778B2 (en) 2020-01-06 2023-06-27 The Research Foundation For The State University Of New York Fakecatcher: detection of synthetic portrait videos using biological signals
CN111242070A (zh) * 2020-01-19 2020-06-05 上海眼控科技股份有限公司 目标物体检测方法、计算机设备和存储介质
RU2724797C1 (ru) * 2020-01-22 2020-06-25 Общество с ограниченной ответственностью "Ай Ти Ви групп" Кассовая система и способ для идентификации блюд на подносе
US11616760B1 (en) * 2020-02-20 2023-03-28 Meta Platforms, Inc. Model thresholds for digital content management and selection
KR20210132420A (ko) * 2020-04-27 2021-11-04 엘지전자 주식회사 공기조화기 시스템 및 그 동작 방법
US11587180B2 (en) * 2020-05-14 2023-02-21 Ccc Information Services Inc. Image processing system
US11514530B2 (en) * 2020-05-14 2022-11-29 Ccc Information Services Inc. Image processing system using convolutional neural networks
US11361468B2 (en) 2020-06-26 2022-06-14 Standard Cognition, Corp. Systems and methods for automated recalibration of sensors for autonomous checkout
US11303853B2 (en) 2020-06-26 2022-04-12 Standard Cognition, Corp. Systems and methods for automated design of camera placement and cameras arrangements for autonomous checkout
CN111751253B (zh) * 2020-07-06 2022-10-14 重庆理工大学 一种混凝土骨料检测模型的形成方法及质量检测方法
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
US11537813B1 (en) * 2020-09-30 2022-12-27 Amazon Technologies, Inc. System for synthesizing data
US20240062530A1 (en) * 2020-12-17 2024-02-22 Trustees Of Tufts College Deep perceptual image enhancement
US11838522B2 (en) * 2020-12-29 2023-12-05 Tencent America LLC Method and apparatus for video coding
CN112953565B (zh) * 2021-01-19 2022-06-14 华南理工大学 一种基于卷积神经网络的归零卷积码译码方法和系统
KR20220169373A (ko) * 2021-06-17 2022-12-27 센스타임 인터내셔널 피티이. 리미티드. 타겟 검출 방법들, 장치들, 전자 디바이스들 및 컴퓨터 판독가능한 저장 매체
US11417069B1 (en) * 2021-10-05 2022-08-16 Awe Company Limited Object and camera localization system and localization method for mapping of the real world
WO2023075564A1 (ko) * 2021-11-01 2023-05-04 엘지전자 주식회사 피쳐 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11948119B2 (en) 2021-11-30 2024-04-02 Zebra Technologies Corporation Systems and methods for lost asset management using photo-matching
WO2023102223A1 (en) * 2021-12-03 2023-06-08 Innopeak Technology, Inc. Cross-coupled multi-task learning for depth mapping and semantic segmentation
US11776206B1 (en) 2022-12-23 2023-10-03 Awe Company Limited Extended reality system and extended reality method with two-way digital interactive digital twins

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1378855B1 (en) 2002-07-05 2007-10-17 Honda Research Institute Europe GmbH Exploiting ensemble diversity for automatic feature extraction
US7912246B1 (en) * 2002-10-28 2011-03-22 Videomining Corporation Method and system for determining the age category of people based on facial images
US7577297B2 (en) * 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
EP3358501B1 (en) * 2003-07-18 2020-01-01 Canon Kabushiki Kaisha Image processing device, imaging device, image processing method
JP4532915B2 (ja) * 2004-01-29 2010-08-25 キヤノン株式会社 パターン認識用学習方法、パターン認識用学習装置、画像入力装置、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体
US7809587B2 (en) 2004-05-07 2010-10-05 International Business Machines Corporation Rapid business support of insured property using image analysis
JP4878283B2 (ja) * 2006-12-22 2012-02-15 キヤノン株式会社 特徴検出方法及び装置、プログラム、記憶媒体
US20090182693A1 (en) 2008-01-14 2009-07-16 Halliburton Energy Services, Inc. Determining stimulation design parameters using artificial neural networks optimized with a genetic algorithm
US8503539B2 (en) * 2010-02-26 2013-08-06 Bao Tran High definition personal computer (PC) cam
EP2748765B1 (en) * 2011-08-25 2022-12-14 Cornell University Retinal encoder for machine vision
US20140270347A1 (en) * 2013-03-13 2014-09-18 Sharp Laboratories Of America, Inc. Hierarchical image classification system
US9202144B2 (en) * 2013-10-30 2015-12-01 Nec Laboratories America, Inc. Regionlets with shift invariant neural patterns for object detection
US9400925B2 (en) * 2013-11-15 2016-07-26 Facebook, Inc. Pose-aligned networks for deep attribute modeling
JP6582416B2 (ja) * 2014-05-15 2019-10-02 株式会社リコー 画像処理装置、画像処理方法及びプログラム
US20150347860A1 (en) * 2014-05-30 2015-12-03 Apple Inc. Systems And Methods For Character Sequence Recognition With No Explicit Segmentation
US9251431B2 (en) * 2014-05-30 2016-02-02 Apple Inc. Object-of-interest detection and recognition with split, full-resolution image processing pipeline
US20160034814A1 (en) * 2014-08-01 2016-02-04 University Of Southern California Noise-boosted back propagation and deep learning neural networks
US9568611B2 (en) * 2014-08-20 2017-02-14 Nec Corporation Detecting objects obstructing a driver's view of a road

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217214A (zh) * 2014-08-21 2014-12-17 广东顺德中山大学卡内基梅隆大学国际联合研究院 基于可配置卷积神经网络的rgb-d人物行为识别方法

Also Published As

Publication number Publication date
EP3065085B1 (en) 2020-04-01
AU2016201292B2 (en) 2017-05-04
US9524450B2 (en) 2016-12-20
CA2921672A1 (en) 2016-09-04
CA2921672C (en) 2019-03-05
EP3065085A1 (en) 2016-09-07
AU2016201292A1 (en) 2016-09-22
US20160259994A1 (en) 2016-09-08
CN105938559A (zh) 2016-09-14

Similar Documents

Publication Publication Date Title
CN105938559B (zh) 使用卷积神经网络的数字图像处理
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Rahmouni et al. Distinguishing computer graphics from natural images using convolution neural networks
US10198689B2 (en) Method for object detection in digital image and video using spiking neural networks
US11182644B2 (en) Method and apparatus for pose planar constraining on the basis of planar feature extraction
CN109583483B (zh) 一种基于卷积神经网络的目标检测方法和系统
CN113065558A (zh) 一种结合注意力机制的轻量级小目标检测方法
WO2016054779A1 (en) Spatial pyramid pooling networks for image processing
CN111401516A (zh) 一种神经网络通道参数的搜索方法及相关设备
CN111738344A (zh) 一种基于多尺度融合的快速目标检测方法
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
CN113728335A (zh) 用于3d图像的分类和可视化的方法和系统
CN110059728B (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN110222718B (zh) 图像处理的方法及装置
CN112288011A (zh) 一种基于自注意力深度神经网络的图像匹配方法
CN111738403B (zh) 一种神经网络的优化方法及相关设备
US11256915B2 (en) Object tracking across multiple images
CN113191489B (zh) 二值神经网络模型的训练方法、图像处理方法和装置
CN113159300A (zh) 图像检测神经网络模型及其训练方法、图像检测方法
CN110879982A (zh) 一种人群计数系统及方法
CN117157678A (zh) 用于基于图的全景分割的方法和系统
CN111696196A (zh) 一种三维人脸模型重建方法及装置
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN109784171A (zh) 车辆定损图像筛选方法、装置、可读存储介质及服务器
CN110321867B (zh) 基于部件约束网络的遮挡目标检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant