CN111630356B - 用于使用神经网络来表征样本的方法 - Google Patents

用于使用神经网络来表征样本的方法 Download PDF

Info

Publication number
CN111630356B
CN111630356B CN201880077916.3A CN201880077916A CN111630356B CN 111630356 B CN111630356 B CN 111630356B CN 201880077916 A CN201880077916 A CN 201880077916A CN 111630356 B CN111630356 B CN 111630356B
Authority
CN
China
Prior art keywords
sample
neural network
cnn
input data
spectral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880077916.3A
Other languages
English (en)
Other versions
CN111630356A (zh
Inventor
瓦雷里·弗拉比厄
埃里克·佩兰
西赫姆·梅兹加尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Crete Madz
Universite de Reims Champagne Ardenne URCA
Original Assignee
Crete Madz
Universite de Reims Champagne Ardenne URCA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Crete Madz, Universite de Reims Champagne Ardenne URCA filed Critical Crete Madz
Publication of CN111630356A publication Critical patent/CN111630356A/zh
Application granted granted Critical
Publication of CN111630356B publication Critical patent/CN111630356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Abstract

本发明涉及一种用于使用待表征的样本的一组光谱图像和至少一个神经网络来表征所述样本的方法，所述光谱图像已经预先获取、特别是通过红外热成像或光谱成像预先获取，所述方法包括以下步骤：‑针对所述图像的像素的多个坐标和多个获取，由所述光谱图像生成被观察参数的值的至少一个值卷，‑从所述数据卷中提取至少一个输入数据的集合，所述输入数据对应于针对于根据不同获取的具有相同坐标的像素的所述被观察参数的值，其中，已经对所述值应用了至少一个转换函数，‑使用所述输入数据训练所述至少一个神经网络，以便提取所述待表征的样本的至少一个特征。

Description

用于使用神经网络来表征样本的方法
技术领域
本发明涉及用于基于光谱图像(特别是通过红外热成像获得的光谱图像)并且使用深度神经网络来表征样本的方法和设备。
背景技术
大多数已知的监测系统(特别是用于预防事故、路由流量或做出决定的监测系统，例如用于检测和/或用于非破坏性地测试部件和/或各种影响的监测系统)是基于许多传感器的使用和已知检测技术的使用。可以使用红外、近红外(near-infrared，NIR)和紫外(UV)辐射。特别地，使用由温度高于绝对零度(-273.15℃)的任何物体连续发射的远红外电磁辐射(也被称为辐射热)。特定的检测器允许在特定波长下感测到该辐射并将这些波长转换为与物体的表面温度相关的亮度值，从而创建热图像。
红外热成像摄像机的小型化、其购置成本的降低以及计算机计算能力的发展已经促进将这种摄像机在多种应用(例如，工业检测；评估损害、材料的疲劳度；或估算涂层厚度)中用作替代的非破坏性技术。在对颜料没有任何影响的情况下穿透到涂层中的能力证明了使用红外技术来检查涂层(诸如油漆)厚度的合理性。
该技术具有某些局限性，例如对外部反射的高灵敏度、发射率变化、以及使用热源作为激发源(从能量的角度来看，热源不能被认为是均匀的，因为例如一个或多个大功率闪光灯的使用)。这种不均匀性将在加热期和冷却期两者期间直接地影响所观察目标的涂层的热签名特性。为了解决该问题，已经研究了在热成像检查期间的温度分布，并且已经提议了旨在减少不均匀温度分布的影响的措施，例如使用基于傅立叶变换的图像重建算法以便抑制不均匀加热的影响。使用其它方法来改善热对比度并且克服这些外部伪像，所述其它方法特别是涉及使用热对比度、绝对热对比度或经修正的绝对差分对比度的方法。还已知使用基于偏最小二乘回归的算法通过部分地去除背景噪声来自动地提高样本中的缺陷的可见性。已经开发了基于使用高阶统计量或实际上是奇异值分解的其它方法。然而，这些去噪结果仍不是最佳的。
多层感知器神经网络已经被用于使用脉冲红外热成像来检测和表征缺陷。结果表明，相位图像对噪声较不敏感，但强烈建议针对该研究增大采样频率。例如在1999年3月的Thermosense XXI的Proc.SPIE 3700中Steve Vallerand等人的文章“Defect detectionin pulsed thermography:a comparison of Kohonen and Perceptron neuralnetworks”中找到了这种结果的说明。
最近已经证明，可以通过从数据(例如图像、声音或文本)中提取特征来使用深度学习算法对数据进行分类，以便以各种抽象级别表示数据。深度学习的使用允许获取稳健的结果并且允许设想各种应用。这些算法采用由多个有监督层或无监督层组成的模型，其中处理信息的非线性步骤本质上是等级化的。如已知的，卷积神经网络(convolutionalneural networks，CNN)由多个层组成，每个层用作过滤器并且导致数据的维数的减少，这些数据然后被传输到下一层。这些层由神经元组成，这些神经元本身由激活函数、权重和其每个输入的偏差构成。
如图1中所示，其示出了现有技术，在这种结构中，输入数据DE由传感器S1、S2、S3接收，每个传感器能够收集表示待分析的样本的特征F的信号。这些信号被传输到由多个层组成的神经网络M。使用一个或多个学习数据DApp的集合来训练该模型M，所述学习数据DApp特别是由图像组成，其中特征F已经被注释并且经历过允许识别待学习的所述特征的学习算法AApp。获得作为输入而传送的数据DE的分类C(分类为一组类别C1、C2、C3)作为输出。
这些算法(并且特别是卷积神经网络)需要学习许多数据模型；因此，这些算法消耗大量的计算能力，并且需要大型数据库来教导它们。这些算法在板载系统中的实现受到计算能力和可用资源(尤其是存储资源)的限制。最近开发的系统(例如使用诸如RaspberryPi的纳米计算机的系统)目前能够每秒分析来自视频流的2至4个图像帧。然而，这还不够快以令人满意地管理视频流。
专利申请CN 10 6022365公开了一种使用RBF神经网络(RBF为径向基函数(acronym of radial basis function)的缩写)和红外热成像图像来检测材料表面中的缺陷以创建分类器的方法。
在监测采矿设备的运行状态的领域中，专利申请CN 10 5760883描述了一种方法，该方法用于使用红外热成像和所谓的BP神经网络(BP为反向传播(back-propagation)的缩写)来自动地识别传送带的关键部件以提取部件的特征。
专利申请CN 10 2621150涉及一种用于使用基于灰度共生矩阵和表征各种类型的损害的信号的支持向量机(support vector machine，SVM)算法来识别飞机蒙皮以建立分类器的方法。可以对飞机蒙皮损害的检测以及损害本身进行分类和识别，以进行后续维护处理。
特别是基于特定DSP(DSP是数字信号处理器(digital signal processor)的缩写)和软件系统来执行学习任务、或者实际上使用现场可编程门阵列(field-programmablegate array，FPGA)来执行学习任务的其它方法(例如S.Jagannathan等人在IEEEInternational Conference on Consumer Electronics 2016的文章“OptimizingConvolutional Neural Network on DSP”中所提出的)允许实现有利的性能水平，其是基于图形处理单元(graphics processing unit，GPU)的系统的约三倍快。
已知的是，使用仅对其最终层进行了修改的预训练的CNN，这允许提供混合网络，所述混合网络由特别是在具有高计算能力的机器上的预训练的CNN以及由待训练的监督分类器(例如SVM算法)组成。这允许缩小所需的学习数据库的大小，并且允许设想其在低成本板载系统(例如纳米计算机，如Raspberry Pi)上的实现。Huang F.J.等人在IEEE CVPR2006第2卷第4页的文章“Large-scale learning with SVM and convolutional nets forgeneric object categorization”描述了一种由卷积网络和SVM组成的混合网络，该混合网络致力于物体的分类。
国际专利申请WO 99/05487描述了使用光纤探针和混合神经网络来提高组织损伤分析的精度。
因此，仍然需要进一步改善来自光谱图像的样本的特定特征的可靠估计，所述光谱图像特别是通过红外热成像表征设备使用激发条件可变且不均匀的设备而获得的。
发明内容
根据本发明的一个方面，本发明满足了用于使用待表征的样本的一组光谱图像和至少一个神经网络来表征样本的方法所满足的上面提到的需求，该光谱图像是预先获取的，特别是通过红外热成像或者光谱成像获取的，该方法包括以下步骤：
-针对所述光谱图像的像素N的多个坐标(x，y)和多个获取Ne，由所述光谱图像生成被观察参数的值的至少一个值卷D(Nx，Ny，Ne)，
-从所述数据卷D(Nx，Ny，Ne)中提取至少一个输入数据D’x，y(Ne)的集合，这些输入数据对应于针对于在各个获取Ne中的具有给定坐标的像素的所述被观察参数的值，已经对所述值应用了至少一个转换函数，
-使用所述输入数据训练所述至少一个神经网络、特别是所述神经网络的至少一个层，以便从所述输入数据中提取所述待表征的样本的至少一个特征，以及
-使用通过所述神经网络提取的所述至少一个特征来将所述输入数据分类成多个类别，每个类别表示所述待表征的样本的至少一个特征。
优选地，所述至少一个神经网络、特别是所述网络的至少一个层是通过不是真实光谱图像的图像(即，从真实样本获得的图像)预先训练的。根据第一变型，可以使用所谓的“自然图像”，特别是动物、物体、植物、人的自然图像来预先训练所述至少一个神经网络。根据第二变型，可以使用所谓的“虚拟图像”，即由人人工地创建的图像来预先训练所述至少一个神经网络，以非限制性示例的方式，所述“虚拟图像”例如：
●通过计算机模拟/创建虚拟样本的模型而生成的“虚拟光谱图像”，
●由人人工地创建的“虚拟自然图像”(动物、物体、植物或人的图像)(计算机修饰的照片、至少部分地通过人工智能(AI)创建的照片等)。
根据第三变型，可以以混合的方式使用自然图像和虚拟图像来训练所述至少一个神经网络。
甚至更优选地，仅所述网络的最后一层需要利用输入数据来训练。
优选地，通过独立于神经网络的分类器进行分类。分类器可以是支持向量机(SVM)。在一变型中，分类器是Softamx分类器或Gaussian RBF分类器。可以在感知器的至少一个层中进行分类。在一变型中，通过用于提取特征的神经网络来进行分类，并且优选地通过该网络的最后一层来进行分类。
通过使用包括预训练的网络和分类器的混合结构，本发明允许系统的快速实施，数据库的尺寸小并且学习时间短。因此，根据本发明的方法可以在低成本的板载系统(例如纳米计算机(也称为纳米PC)或专用电路板)中实施，从而允许资源密集型应用和/或必须实时工作的应用使用。
使用SVM分类器允许处理更高维度的数据，这使得可以处理各种类型的大量数据，以显著地提高识别性能，并极大地减少计算时间。
根据本发明的混合架构的鲁棒性允许提供一种对红外热成像数据进行后处理的技术，该技术对由激发系统生成的能量沉积的不均匀性以及对测量条件不是非常敏感，该测量条件例如是用于获取光谱图像的摄像机的在距离方面的不同位置或实际上是物体相对于样本的角度，或者是对于不同获取的取决于一天中的时间、温度或一年中的季节的照明条件。
一维信号
各种获取可以对应于预定的获取周期中的不同的获取时间(特别是在红外热成像的情况下)。
在一变型中，特别是在光谱成像的情况下，各种获取对应于同时进行的各种波长的获取。
光谱成像包括多光谱成像和高光谱成像两者。多光谱成像包括获取低的且有限数量的离散波段，并且不需要使用光谱仪来分析数据。高光谱成像允许通过使用用于分离光谱波段的系统(诸如光谱仪)来获取大量的窄光谱波段。
有利地，数据卷D包含P个像素，并且对于镜头x、y中的每个像素N，存在对应的坐标(Nx，Ny，Ne)，其中Ne是获取的坐标。因此，同一像素P从一个镜头到下一个镜头以不同的时间或以不同的波长来记录是一个问题。
因此，像素的光谱变化(例如，温度随时间的变化)被视为一维信号(从而形成值的n元组)，并直接用于分类。
有利地，输入数据以图像的形式被传输至神经网络，该图像表示对应于作为获取Ne的函数的输入数据的集合的值D’x，y(Ne)的曲线。这允许将深度学习网络的原理移调至用于研究自然图像、特别是用于提取特征的卷积和降维的一维信号。在自然图像上对神经网络进行预训练的事实减少了所需的学习数据的数量，而在“虚拟图像”上对神经网络进行预训练的事实允许精确地精细所需的学习。
为了学习，可以将图像重新调维为使用的神经网络所需的标准维度。
应用于被观察参数的值Dx，y(Ne)的转换函数可以是恒等函数，这些值保持不变并且被神经网络按照原样使用。
在一变型中，应用于被观察参数Dx，y(Ne)的值的所述至少一个转换函数是定心函数、归一化函数和/或平滑函数。因此，光谱响应Dx，y(Ne)可以例如关于利用用于教导所述网络的所有图像计算出的平均值或者关于在第一获取中获得的第一图像而定心，和/或关于所述光谱响应Dx，y(Ne)的最大值或关于参考值、特别是对应于预定波长的参考值而归一化。
所使用的平滑方法可以是“Savitzky-Golay(SG)”方法，该方法包括在尺寸为m的滑动窗口中使用n阶多项式近似计算光谱响应的分段，其中m介于10点和20点之间并且n介于1和6之间，例如m＝15点并且n＝4。平滑允许降低响应不规则性和奇异性。使用平滑后的频谱响应来计算导数允许避免出现伪像或由于所得信号中的衍生物导致的噪声放大。
可以将用于计算一阶导数的函数应用于被观察参数的值D(Nx，Ny，Ne)，以便获得输入数据(D’x，y(Ne))。在被观察参数是样本的温度的情况下，该计算允许考虑样本的冷却速率。
可以将用于计算二阶导数的函数应用于被观察参数的值D(Nx，Ny，Ne)，以获得输入数据(D’x，y(Ne))。在被观察参数是样本的温度的情况下，该计算允许考虑样本的冷却加速度。
红外热成像
优选地，所使用的光谱图像是通过红外热成像获得的热图像，被观察参数是样本的温度。
红外热成像的原理是基于在给定的波长间隔内对由主体的表面发射的能量的测量，这对应于电磁谱的红外波段中热辐射的时域获取。该能量通过合适的光学器件传输至检测器。这些所谓的辐射系统允许对表面温度场进行非接触式测量，其速率对于平均尺寸约为80000个像素的图像可以达到数百赫兹。通常，测量过程只会导致温度略有升高，这意味着没有中断数据获取的风险。众所周知，可检测到的温度变化范围为从十分之几摄氏/开氏温度到几十摄氏/开氏温度。样本可以被热激发。然后进行热数据的数字分析。
待表征的样本的表面可以在获取热图像之前被热激发，例如使用脉冲照明区域激发装置(例如闪光灯)进行热激发。
一维信号和虚拟图像
在本发明的特定变型中，使用虚拟图像、并且优选地通过从通过计算机对虚拟样本的数学模型的模拟/创建获得的虚拟光谱图像来训练神经网络。
在本发明的其中所使用的光谱图像是通过红外热成像获得的热图像的变型中，被观察参数是样本的温度。
在这种情况下，计算机模拟的虚拟样本可以例如采取双层材料的形式，即覆盖有涂层的基板的形式。然而，本领域技术人员将能够选择适合于目标应用的材料(基板和/或涂层)的层数。
可以将所述涂层数字地离散为体素，针对每个体素，表示温度随时间t的变化的曲线LT可以被限定(例如，从数据库等中选择)或者由本领域技术人员从输入的参数计算成数学模型。
每个体素包括为沉积在基板上的所述涂层提供的所有(一个或多于一个)的层。
所述将涂层离散成体素是特别有利的，因为可以生成所需数量的体素，这允许模拟所述涂层中的各种能量的分布。
因此，在其优选的变型中，所述数学模型尤其实现了具有以下形式的广义方程式EQM：
T(x，y，t)＝F[QE(x，y，t)；PS；PR；ER；t；…](EQM)
其中，函数F尤其至少取决于：
●QE：在平面坐标(x，y)的给定体素中沉积的能量的量。该值允许模拟通过理想的热激发装置(例如：闪光灯)沉积在涂层中的能量的分布。有利地，这是一个“狄拉克(Dirac)”脉冲响应的问题，该“狄拉克”脉冲响应将被称为LRIDQE。然而，可以设想使用其它理想的脉冲响应。
●PS：表征基板的一组物理参数(例如：材料的组成、材料的颜色、材料的外观(光滑的、无光泽的等)、热扩散率、热散逸性等)，例如，这些物理参数是通过与所述数学模型进行通信的数据库获得的和/或是在所述模型内计算的。该组参数PS可以包括表征所述基板的单个层和/或整体表征所述基板的所有构成层的参数PS。
●PR：表征沉积在基板上的(一个或多于一个的)涂层的一组物理参数(例如：材料的组成、材料的颜色、材料的外观(光滑的、无光泽的等)，热扩散率、热散逸性等)。该组参数PR可以包括表征所述涂层的单个层和/或整体上表征所述涂层的所有构成层的参数PR。例如，这些参数是通过与所述数学模型通信的数据库获得的和/或是在所述模型内计算的。
●ER：表征涂层的(一个或多于一个的)厚度的一组参数。该组参数ER可以包括表征所述涂层的单个层和/或整体上表征所述涂层的多个层的至少一个子集的参数ER，每个层具有特定的厚度(该厚度可以与其它层相同或不同)。
当然，输入到数学模型中的参数可以是任何类型：鉴于各种分布(均匀分布、高斯分布等)而是常量或变量。例如，这允许模拟以下内容：着色颜料的异质性、涂层表面的异质性等。
数学模型输出虚拟频谱图像ISVx作为输出，所述虚拟频谱图像ISVx在本发明的特定变型中允许训练神经网络。
优选地，虚拟光谱图像ISVx由曲线LT(由模型的方程式EQM产生的响应)与“脉冲响应”曲线LRI(例如“Π门函数”)的卷积产生。该脉冲响应对应于真实热激发装置的作用。当然，可以设想使用其它现实的脉冲响应来代替Π门函数。
此外，在所述数学模型的高级变型中，一旦已经执行了卷积步骤，则也可以考虑环境热噪声b(x，y，t)，例如使用方程式[T(x，y，t)*Π]+b(x，y，t)来考虑。
要注意的是，噪声的增加：
●使得可以尽可能地接近现实生活情况，
●可以改善分类。
因此，在本发明的虚拟光谱图像ISVx允许训练神经网络的变型中，设想的数学模型允许生成各种各样的热响应。
特别地，对于涂层的(一个或多个)层的(一个或多个)厚度ER的给定布置，可以通过至少使参数QE、PS和PR改变来生成各种各样(的组)的热响应，这允许针对给定的布置考虑内部和外部起源的变化。
因此，可以：
●针对涂层厚度ER的给定布置而生成一组热响应，
●对应于如下，将同一类别内的多组响应分组在一起(例如：类别1对应于范围从51μm至60μm的涂层厚度，依此类推)：
○相同的厚度布置，其它参数(EQ、PS、PR等)从一个响应到下一个响应不同，和/或
○(不同)涂层的不同的厚度布置。
神经网络和特征提取
所述至少一个神经网络可以是卷积神经网络。
所述神经网络可以包括一个或多个卷积层和/或一个或多个全连接层。
众所周知，每个卷积层产生输入图像的激活，第一层提取基本特征(例如轮廓)，并且更高的层提取更高级的特征(例如关于纹理的信息)。
从输入数据中提取的所述至少一个特征可以是样本或样本的特定部分的厚度或厚度范围，或者是表示样本性质的量，例如油漆涂层的厚度、中间层的厚度(例如源自溶胶-凝胶过程的溶胶-凝胶类型的中间层的厚度)、植物的水应力水平、植物(例如植物的叶子、花或果实)的色素沉着的变化。
表征设备
根据本发明的另一方面，本发明的又一主题是一种特别是通过红外热成像或光谱成像来表征样本的设备，该设备包括：
-用于获取待表征的样本的一组光谱图像的装置，该装置特别是热成像摄像机，
-数据处理模块，所述数据处理模块能够：
●针对所述光谱图像的像素的多个坐标(Nx，Ny)和多个获取(Ne)，由所述光谱图像生成被观察参数的值的至少一个值卷(D(Nx，Ny，Ne))，
●从所述数据卷(D(Nx，Ny，Ne))中提取至少一个输入数据(D’x，y(Ne))的集合，这些输入数据对应于针对于在各个获取(Ne)中的具有给定坐标(x，y)的像素的所述被观察参数的值，已经对所述值应用了至少一个转换函数，以及
-分析模块，所述分析模块包括至少一个神经网络，能够至少使用所述输入数据来训练所述至少一个神经网络，以便从所述输入数据中提取所述待表征的样本的至少一个特征并且使用通过所述神经网络提取的所述特征来将所述输入数据分类成多个类别，每个类别表示所述待表征的样本的至少一个特征。
优选地，所述至少一个神经网络在不是光谱图像的图像上预先训练，特别是在动物、物体、植物或人的自然图像和/或“虚拟图像”上预先训练。
所述神经网络可以包括一个或多个卷积层和/或一个或多个全连接层。
根据本发明的所述设备可以包括独立于神经网络的用于执行所述分类的分类器。
该设备可以包括用于热激发所述待表征的样本的装置，该装置特别是照明区域激发装置、优选为脉冲照明区域激发装置，例如闪光灯。
另外，该设备可以包括与分析模块通信的决策模块，以及能够作用在样本上的作用装置，所述决策模块能够利用取决于从所述分析模块获得的分类结果的反馈自动地控制所述作用装置并能够触发适于样本的动作。这允许例如在非破坏性测试应用中在样本上进行测试，并允许执行可靠的监控。
作用装置可以是用于在农作物上喷洒植物防病害产品的喷嘴，该喷嘴能够喷洒适应于分类结果的量的产品。待提取的特征可以是比叶质量、植被类型、或甚至是被检查植物的病害类型。
以上关于方法描述的特征适于所述设备，且反之亦然。
根据本发明的表征设备可以容易地安装在板载系统中，取决于目标应用，该板载系统要么是低成本的(例如纳米PC，例如Raspberry Pi)，要么是专用的(例如专用电路板，例如来自的TX1)。大部分处理可以在智能板载系统中进行，所述智能板载系统例如能够配备有高清摄像头的纳米PC。
测试方法
根据本发明的另一方面，本发明的又一主题是一种用于测试样本的方法，该方法包括在于以下的步骤：利用如上所述的用于表征样本的设备，根据分类结果，生成关于所述样本的信息，以做出决定，该决定在于决定在待表征的所述样本上要进行的动作，并且特别地，该决定在于将动作设定点传输至能够执行所述动作的作用装置。
计算机程序产品
根据本发明的另一方面，本发明的又一主题是一种计算机程序产品，该计算机程序产品用于使用待表征的样本的一组光谱图像和至少一个神经网络来实施如上所述的用于表征样本的方法，该光谱图像是预先获取的、特别是通过红外热成像或光谱成像预先获取的，
该计算机程序产品包括介质和存储在该介质上的处理器可读指令，使得当这些处理器可读指令被执行时：
-针对所述图像的像素的多个坐标(Nx，Ny)和多个获取(Ne)，由所述光谱图像生成被观察参数的值的至少一个值卷(D(Nx，Ny，Ne))，
-从所述数据卷(D(Nx，Ny，Ne))中提取至少一个输入数据(D’x，y(Ne))的集合，这些输入数据对应于针对于在各个获取(Ne)中的具有给定坐标(x，y)的像素的所述被观察到参数的值，已经对所述值应用了至少一个转换函数，
-使用所述输入数据训练所述至少一个神经网络，以便从所述输入数据中提取所述待表征的样本的至少一个特征，以及
-使用通过所述神经网络提取的所述至少一个特征来将所述输入数据分类成多个类别，每个类别表示所述待表征的样本的至少一个特征。
附图说明
通过阅读以下对本发明的实施方式的非限制性示例的描述并查阅附图，将可以更好地理解本发明，其中：
-图1(上面已描述)示出了根据现有技术的使用深度学习算法的分类方法，
-图2示出了在根据本发明的方法中准备数据以将其输入至少一个神经网络的步骤的示例，
-图3示出了在根据本发明的方法中利用神经网络对数据进行分类的步骤，
-图4示出了根据本发明的用于表征样本的设备的示例，以及
-图5至图10是示出根据本发明的方法的分类性能的表，
-图11示出了获得用于训练神经网络的虚拟光谱图像的步骤。
具体实施方式
图2示出了在根据本发明的方法中准备数据以将其输入到至少一个神经网络中的步骤的示例。在该示例中，光谱图像是由热成像摄像机获取的，从而形成所谓的热图像。基于这些图像的被观察参数是样本E的表面的温度。
在步骤A中，在预定的获取周期T中例如使用红外热成像摄像机从待表征的样本E中获取一组热图像2。
在步骤B中，在坐标系中从热图像2生成对应于瞬时温度值的数据卷D(Nx，Ny，Ne)，其中Nx和Ny对应于图像2的像素N的沿方向(x，y)的坐标，并且Ne对应于以图像数量或以时间来表示、或者在多光谱成像或高光谱成像的情况下以波长来表示的获取。
在步骤EP中，从数据卷D(Nx，Ny，Ne)中提取一个一维输入数据D’x，y(Ne)的集合。在所讨论的示例中，这些输入数据D’x，y(Ne)对应于针对于在各个记录时间Ne下具有给定坐标(x，y)的像素的瞬时温度值，对所述瞬时温度值应用了至少一个转换函数，如下面详细描述的。
在步骤I中，针对每个数据的集合生成表示与作为记录时间Ne的函数的输入数据的集合的值D’x，y相对应的曲线的图像IJx，并将图像IJx传输至神经网络RN(CNN)，在所讨论的示例中，神经网络RN(CNN)为卷积神经网络。但是，在根据所述的方法中使用的神经网络可以是任何类型。
此外，有利地，根据本发明的方法还包括在提取步骤EP之后对数据进行预处理的步骤PT。优选地，准备数据的该步骤PT包括将至少一个转换函数应用于值Dx，y(Ne)，所述至少一个转换函数特别是定心函数、归一化函数和/或平滑函数。在步骤NL中，可以将各种函数应用于输入数据的集合，例如，所述各种函数为形成对应于原始数据的集合的集合J0的恒等函数(该集合J0可以被预处理或不被预处理)、和/或用于计算形成集合J1的一阶导数的函数、和/或用于计算形成集合J2的二阶导数的函数。
在所讨论的示例中，在评估油漆涂层的不均匀性的应用中，待检查的样本E是370mm×500mm尺寸的金属钢板，该金属钢板具有沉积在4个条带中的油漆涂层，该油漆涂层的厚度从59μm至95μm变化，如图2中可以看到的。该样本水平地放置在绝缘支架上，以防止样本与地面之间的任何传导效应。为了快速地加热整个表面，可以对样本进行地毯式区域热激发(blanket areal thermal excitation)。优选地，并且如在示出的示例中所示，使用脉冲红外热成像技术：激发轮廓尽可能的接近狄拉克脉冲(Dirac pulse)的热波被发送至样本的表面。可以使用卤素灯，但是由于长时间照明而导致的温度升高可能会损坏样本的表面。可替选地并且优选地，使用在非常短的时间内生成大量能量并且以各种角度定位的多个闪光灯。
在所讨论的示例中，热成像摄像机每5ms记录一次样本表面的正面的热图像或热分析图。在获取这些热图像之后，生成如上所述的数据卷。获取周期为0.5秒至2秒，例如等于1秒。
如上所述并且如在图3中可以看到的，由摄像机记录的数据卷的每个像素是一维信号，该一维信号由图像IJx表示，该图像IJx被用作神经网络RNCNN的输入。优选地，该神经网络RNCNN在不是光谱图像的其它图像上预先训练，所述不是光谱图像的其它图像即被称为自然图像的图像，该自然图像例如源自数据库“www.image.net”，该数据库包含多于1000个图像类别和多于1百万个图像。该神经网络还可以属于分析模型MP，分析模型MP包括感知器P，例如，包括输入层、一个或多个隐藏层和输出层的感知器P。该分析模型MP最初能够利用神经网络RN对图像分类，然后利用感知器P将图像分类为类别K(K1、K2等)。
如上所述，使用输入数据IJx来训练神经网络，以便从输入数据IJx中提取特征EF，特征EF对应于所讨论的示例中的涂料的各种厚度。在神经网络属于包括感知器P的分析模型MP的情况下，可以通过感知器的多个层中的至少一个层来提取特征。
提取的特征用于执行将热响应分类为多个类别C1、C2，每个类别表示待表征的样本的特征，在这里是各种厚度。在该示例中并且优选地，通过独立于神经网络的支持向量机(SVM)类型的分类器来进行分类。
在所讨论的示例中，油漆涂层的每个厚度(所述厚度可以在图2中看到)与不同空间维度的类别C1、C2、C3、C4相关联。在两个不同的时间T1和T2，对该涂层进行获取，从而创建两个数据卷，第一数据卷具有110×611×400的尺寸，并且第二数据卷具有103×631×400的尺寸。由于对于每次测量难以实现相同的测量条件，即难以再现样本、灯和摄像机的相同定位，因此除了时间维度是相同的(因为获取周期总是相同的)之外，数据卷的大小不同。如上所述，从这些数据卷生成一维数据的集合J0、J1和J2。
图5示出了从第二数据卷获得的数据的集合J0的分类性能，所述第二数据卷即随机选择的包括8000个信号(每个类别2000个)的集合。数据的70％被随机选择用于训练(对应于“训练数据集”)，并且剩下的30％用于分类测试(对应于“测试数据集”)。在对角线上可以看到，类别1的测量的97％、类别2的测量的95％、类别3的测量的92％和类别4的测量的91％被正确地分类并且平均精度为93.5％。
同样地，图6示出了数据的集合J1的分类性能。通过观察对角线可以看出，类别1的测量的96％、类别2的测量的91％、类别3的测量的91％和类别4的测量的87％被正确地分类并且平均精度为91.25％。
图7示出了数据的集合J2的分类性能。通过观察对角线可以看出，类别1的测量的94％、类别2的测量的86％、类别3的测量的85％和类别4的测量的89％被正确地分类并且平均精度为88.1％。3个集合J0、J1和J2的分类别结果的比较表明最佳结果是使用归一化和平滑的输入数据J0获得的结果。
根据所述的方法允许识别每个像素的热响应并将其与正确的类别相关联，以便在所描述的示例中可靠地确定样本的涂层的每个条带的厚度。
图8的表示出了分类结果相对于能量沉积的独立性，即证实了以下事实：样本上的能量沉积的均匀性的变化对数据卷的每个像素的分类结果具有非常小的影响。这允许进行实验测量，其中能量沉积的均匀性的参数是不重要的。
这些分类性能是利用包含16000个信号的数据的集合J0获得的，即每个类别4000个信号，每个类别包括利用四个闪光灯获取的1000个信号、利用三个闪光灯获取的1000个信号、利用两个闪光灯获取的1000个信号以及利用单个闪光灯获取的1000个信号。因此，每个类别都包含利用不同数量的闪光灯照明的像素。这种类型的数据选择根据照明情况而显著地增加了不同类型的热响应，并因此允许网络RNCNN提取可能的最重要的特征，从而提高了算法的性能，并因此提高了分类结果的可靠性。
通过观察对角线可以看出，类别1的测量的97％、类别2的测量的92％、类别3的测量的86％和类别4的测量的91％被正确地分类。平均精度为91.5％。
通过将分类器应用于4000个信号而产生图9的表，这4000个信号与用于利用神经网络RNCNN训练和提取特征的信号不同、但是是在同一时间周期T2获取的，这些信号的每一个类别都以与训练期间相同的方式构建，即利用四个闪光灯获取1000个信号、利用三个闪光灯获取1000个信号、利用两个闪光灯获取1000个信号以及利用一个闪光灯获取1000个信号。如从图9中可以看出的，类别1的测量的93.075％、类别2的测量的97.65％、类别3的测量的97.8％和类别4的测量的94.8％被正确地分类。
图10的表示出了分类结果相对于测量条件的独立性。具体地，几乎不可能对同一样本在不同时间执行完全相同的两次测量。灯的位置、摄像机相对于样本的距离、样本相对于摄像机的倾斜角度以及旋转都是可以影响分类结果的可变参数。
在该示例中，在时间周期T2获取的训练数据集与所采用的用于产生图9的表的数据集相同，在时间周期T2获取的训练数据集的分类性能是通过将算法应用于4000个信号所评估的，这4000个信号与用于训练所采用的并在不同的时间周期T1获取的信号不同，这4000个信号的每个类别以与训练期间相同的方式构建，即利用四个闪光灯获取1000个信号、利用三个闪光灯获取1000个信号、利用两个闪光灯获取1000个信号以及利用一个闪光灯获取1000个信号。
如从图10中可以看出的，类别1的测量的98.6％、类别2的测量的91.65％、类别3的测量的91.975％和类别4的测量的95.65％被正确地分类。属于4个不同类别的各个像素的分类结果对测量条件的变化的依赖性非常弱。
图11示出了获得旨在用于训练神经网络的虚拟图像的步骤。
在本发明的所使用的光谱图像是通过红外热成像获取的热图像的变型中，被观察参数是样本的温度T。
在这种情况下，虚拟样本3可以例如采取堆叠材料的形式，即，涂覆有(可选地多层)涂层5的(可选地多层)基板4，该涂层5被离散为在样本3的X-Y平面中的位置(x，y)的体素V(x，y)。
沿轴线Z观察，该示例的每个体素V(x，y)包括所述涂层5的所有的(或多于一个的)层Fzi，所述涂层5沉积在平面X-Y中。为了不使图11混乱，仅以灰色体素示出了多个层Fzi，所述多个层Fzi在这里数量为三个(Fz1，Fz2，Fz3)。
表示温度随时间t的变化的曲线LT与所述体素V中的每一者相关联。该曲线是从数学模型内采用的方程式EQM获得的响应：
T(x，y，t)＝F[QE(x，y，t)；PS；PR；ER；t；…](EQM)
最后，数学模型提供作为输出的虚拟光谱图像ISVx，该虚拟光谱图像ISVx是由曲线LT与“脉冲响应”曲线LRI(例如“Π门函数”)的卷积得到的并且旨在用于训练神经网络RN(CNN)。
参考图4，现在将描述根据本发明的用于表征样本E的设备20的示例。在所讨论的示例中，该设备20是用于通过光谱成像执行非破坏性测试的无人机。
表征设备20包括用于获取样本E的一组光谱图像的装置AQ，装置AQ特别是光谱摄像机或热成像摄像机，该装置AQ扫描感兴趣的所有光谱范围，例如红外光谱、可见光谱、近红外光谱、中红外光谱和远红外光谱(对应于所谓的热红外光谱或热成像红外光谱)、或这些范围的任意组合，尤其是可见光谱和近红外光谱的组合。
表征设备20还包括数据处理模块MAM，该数据处理模块MAM能够生成至少一个瞬时数据值D的值卷(Nx，Ny，Ne)，并从所述数据卷D(Nx，Ny，Ne)中提取至少一个输入数据D’x，y(Ne)的集合，如上所述。
此外，在所讨论的示例中，表征设备20还包括分析模块MP，分析模块MP包括至少一个神经网络RNCNN，所述至少一个神经网络RNCNN允许从输入数据中提取特征，分析模块MP能够使用提取的特征来将输入数据的特征分类成多个类别。
表征设备20可以包括用于热激发待表征的样本E的装置EX。
此外，表征设备20可以包括与分析模块MP通信的决策模块MD和能够作用在样本E上的作用装置ACT。有利地，决策模块能够利用取决于于获得的分类结果的反馈来自动地控制所述作用装置ACT，并且能够触发适合于样本E的动作。
本发明不限于刚刚已经描述的示例。
本发明的一个可能的应用是在智能农业的情况下设计智能喷雾设备20。在这样的智能喷雾器中，每个喷雾喷嘴(对应于作用装置ACT)可以与根据本发明的混合板载网络相关联，该混合板载网络例如可以安装在使用低成本摄像机(例如在可见光和/或近红外域内成像)的纳米PC上，从而允许检测每个区域的比叶质量、植被类型、或甚至被检查植物的病害类型，以便允许以恰好正确的量喷洒合适的植物防病害产品。然后可以使用多光谱或高光谱成像来获取图像。这些植物可以是玉米、小麦、或者甚至藤本植物。还可以借助本发明跟踪植物的生长并预测病害的潜在外观。
本发明不限于卷积神经网络。可以设想深度神经网络(DNN)或深度信念网络(DBN)。
多个数据的集合可以通过并行网络并行地处理。
例如，本发明可以在任何类型的硬件、个人计算机、智能电话、纳米计算机或专用电路板上实现。
本发明不限于通过红外热成像表征涂层的应用。可以使用可见光、近红外光、中红外光、远红外光、太赫兹或者甚至紫外线域的辐射。本发明特别适于非破坏性测试，因为非破坏性测试可以用来保持被测样本的质量。
本发明可以用于各种应用，例如用于低成本的智能板载传感器或用于雾计算，其中，目的是提高效率并减少传输的数据量。
本发明可以用于许多其它领域，例如军事领域、网格监视领域、地质领域，或者甚至是生物学或生物信息学领域，特别是用于监控制造过程和材料质量。

Claims (35)

1.一种用于使用待表征的样本(E)的一组光谱图像以及至少一个神经网络(RNCNN)来表征所述样本的方法，所述光谱图像是预先获取的，所述方法包括在于以下的步骤：
-针对所述图像的像素(N)的多个坐标(x，y)和多个获取(Ne)，由所述光谱图像生成被观察参数的值(D(Nx，Ny，Ne))的至少一个值卷，
-从所述值(D(Nx，Ny，Ne))的所述值卷中提取至少一个输入数据(D’x，y(Ne))的集合(Jx)，这些输入数据对应于针对于在各个获取(Ne)中的具有给定坐标的像素的所述被观察参数的值，已经对所述值应用了至少一个转换函数，
-使用所述输入数据(Jx)训练所述至少一个神经网络(RNCNN)，以便从所述输入数据中提取所述待表征的样本(E)的至少一个特征，以及
-使用通过所述神经网络(RNCNN)提取的所述至少一个特征来将所述输入数据分类为多个类别，每个类别表示所述待表征的样本(E)的至少一个特征。
2.根据权利要求1所述的方法，其中，所述光谱图像是通过红外热成像或光谱成像预先获取的。
3.根据权利要求1所述的方法，其中，所述至少一个神经网络(RNCNN)在不是光谱图像的图像上预先训练。
4.根据权利要求3所述的方法，其中，所述至少一个神经网络(RNCNN)在动物、物体、植物或人的图像上预先训练。
5.根据权利要求1至4中任一项所述的方法，其中，所述至少一个神经网络(RNCNN)在虚拟图像上预先训练。
6.根据权利要求5所述的方法，其中，所述至少一个神经网络(RNCNN)在虚拟光谱图像上预先训练。
7.根据权利要求1所述的方法，其中，所述至少一个神经网络(RNCNN)是卷积神经网络(CNN)。
8.根据权利要求1所述的方法，其中，所述分类是由独立于所述神经网络的分类器进行的。
9.根据权利要求8所述的方法，其中，所述分类器是支持向量机。
10.根据权利要求1所述的方法，其中，所述输入数据(Jx)以图像(IJx)的形式传输至所述神经网络(RNCNN)，所述图像(IJx)表示对应于作为所述获取(Ne)的函数的输入数据的集合的值(D’x，y)的曲线。
11.根据权利要求1所述的方法，其中，应用于所述被观察参数的所述值(D(Nx，Ny，Ne))的所述至少一个转换函数是定心函数、归一化函数和/或平滑函数。
12.根据权利要求1所述的方法，其中，应用于所述被观察参数的所述值(D(Nx，Ny，Ne))的所述至少一个转换函数是恒等函数。
13.根据权利要求1所述的方法，其中，将用于计算一阶导数的函数应用于所述被观察参数的所述值(D(Nx，Ny，Ne))，以便获得所述输入数据(D’x，y(Ne))。
14.根据权利要求1所述的方法，其中，将用于计算二阶导数的函数应用于所述被观察参数的所述值(D(Nx，Ny，Ne))，以便获得所述输入数据(D’x，y(Ne))。
15.根据权利要求1所述的方法，其中，从所述输入数据中提取的所述至少一个特征是所述样本(E)或所述样本的特定部分的厚度或厚度范围、表示所述样本的性质的量。
16.根据权利要求15所述的方法，其中，从所述输入数据中提取的所述至少一个特征是油漆涂层的厚度、中间层的厚度、植物的水应力水平、植物的色素沉着的变化。
17.根据权利要求1所述的方法，其中，使用的所述光谱图像是通过红外热成像获得的热图像，所述被观察参数是所述样本(E)的温度。
18.根据权利要求17所述的方法，其中，在获取所述热图像之前，对所述待表征的样本(E)的表面进行热激发。
19.一种用于表征样本(E)的设备(20)，所述设备(20)包括：
-用于获取待表征的所述样本(E)的一组光谱图像的装置(AQ)，
-数据处理模块(MAM)，所述数据处理模块(MAM)能够：
·针对所述图像的像素(N)的多个坐标(x，y)和多个获取(Ne)，
由所述光谱图像生成被观察参数的值(D(Nx，Ny，Ne))的至少一个值卷，
·从所述值(D(Nx，Ny，Ne))的所述值卷中提取至少一个输入数据(D’x，y(Ne))的集合，这些输入数据对应于针对于在各个获取(Ne)
中的具有给定坐标的像素的所述被观察参数的值，已经对所述值应用了至少一个转换函数，以及
-分析模块(MP)，所述分析模块(MP)包括至少一个神经网络(RNCNN)，所述分析模块(MP)至少能够使用所述输入数据来训练所述至少一个神经网络，以便从所述输入数据中提取待表征的所述样本(E)的至少一个特征并使用通过所述神经网络提取的所述特征来将所述输入数据分类成多个类别，每个类别表示待表征的所述样本(E)的特征。
20.根据权利要求19所述的设备，其中，所述表征是通过红外热成像或光谱成像进行表征，所述装置(AQ)是热成像摄像机。
21.根据权利要求19所述的设备，其中，所述至少一个神经网络(RNCNN)在不是光谱图像的图像上预先训练。
22.根据权利要求21所述的设备，其中，所述至少一个神经网络(RNCNN)在动物、物体、植物或人的图像上预先训练。
23.根据权利要求19至22中任一项所述的设备，其中，所述至少一个神经网络(RNCNN)在虚拟图像上预先训练。
24.根据权利要求23所述的设备，其中，所述至少一个神经网络(RNCNN)在虚拟光谱图像上预先训练。
25.根据权利要求19所述的设备，所述神经网络(RNCNN)包括一个或多个卷积层和/或一个或多个全连接层。
26.根据权利要求19所述的设备，包括独立于所述神经网络(RNCNN)的用于执行分类的分类器。
27.根据权利要求19所述的设备，包括用于热激发待表征的所述样本(E)的装置(EX)。
28.根据权利要求27所述的设备，所述装置(EX)是照明区域激发装置。
29.根据权利要求28所述的设备，所述照明区域激发装置是脉冲照明区域激发装置。
30.根据权利要求29所述的设备，所述脉冲照明区域激发装置是闪光灯。
31.根据权利要求19所述的设备，还包括与所述分析模块(MP)通信的决策模块(MD)以及能够作用在所述样本(E)上的作用装置(ACT)，所述决策模块能够利用取决于从所述分析模块获得的分类结果的反馈自动地控制所述作用装置并能够触发适于所述样本的动作。
32.根据权利要求31所述的设备，其中，所述作用装置(ACT)是用于在农作物上喷洒植物防病害产品的喷嘴，所述喷嘴能够喷洒适应于分类结果的量的产品。
33.一种用于测试样本(E)的方法，所述方法包括在于以下的步骤：利用根据权利要求19所述的用于表征样本的设备(20)，根据所述分类结果，生成关于所述样本的信息，以做出决定，所述决定在于决定在待表征的所述样本上要进行的动作，并且，所述决定在于将动作设定点传输至能够实施所述动作的作用装置。
34.一种计算机介质，所述计算机介质用于使用待表征的样本(E)的一组光谱图像和至少一个神经网络(RNCNN)来实施根据权利要求1所述的用于表征所述样本的方法，所述光谱图像是预先获取的，所述计算机介质包括存储在所述计算机介质上的处理器可读指令，使得当所述指令被执行时：
-针对所述图像的像素(N)的多个坐标(x，y)和多个获取(Ne)，由所述光谱图像生成被观察参数的值(D(Nx，Ny，Ne))的至少一个值卷，
-从所述值(D(Nx，Ny，Ne))的所述值卷中提取至少一个输入数据(D’x，y(Ne))的集合，这些输入数据对应于针对于在各个获取(Ne)中的具有给定坐标的像素的所述被观察参数的值，已经对所述值应用了至少一个转换函数，
-使用所述输入数据来训练所述至少一个神经网络(RNCNN)，以便从所述输入数据中提取所述待表征的样本(E)的至少一个特征，以及
-使用通过所述神经网络(RNCNN)提取的所述至少一个特征来将所述输入数据分类成多个类别，每个类别表示所述待表征的样本(E)的至少一个特征。
35.根据权利要求34所述的计算机介质，其中，所述光谱图像是通过红外热成像或光谱成像预先获取的。
CN201880077916.3A 2017-12-01 2018-11-30 用于使用神经网络来表征样本的方法 Active CN111630356B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1761522 2017-12-01
FR1761522A FR3074596B1 (fr) 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones
PCT/EP2018/083210 WO2019106179A2 (fr) 2017-12-01 2018-11-30 Procede de caracterisation d'echantillons utilisant des reseaux de neurones

Publications (2)

Publication Number Publication Date
CN111630356A CN111630356A (zh) 2020-09-04
CN111630356B true CN111630356B (zh) 2023-10-03

Family

ID=62067607

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880077916.3A Active CN111630356B (zh) 2017-12-01 2018-11-30 用于使用神经网络来表征样本的方法

Country Status (7)

Country Link
US (1) US11828652B2 (zh)
EP (1) EP3717877A2 (zh)
JP (1) JP2021504864A (zh)
CN (1) CN111630356B (zh)
CA (1) CA3083079A1 (zh)
FR (1) FR3074596B1 (zh)
WO (1) WO2019106179A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
US11244050B2 (en) * 2018-12-03 2022-02-08 Mayachitra, Inc. Malware classification and detection using audio descriptors
CN110333260B (zh) * 2019-07-19 2022-07-26 北京锐百凌科技有限公司 防爆高光谱远红外气云成像控制传输及信息处理、定向发布系统
KR102256181B1 (ko) * 2019-12-30 2021-05-27 한국과학기술원 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
DE102020205456A1 (de) 2020-04-29 2021-11-04 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Erzeugen von Qualitätsinformation über ein Beschichtungsprofil, Verfahren, Vorrichtung und Computerprogramm zum Erzeugen einer Datenbank, Überwachungsgerät
US11393182B2 (en) 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
FR3114653A1 (fr) 2020-09-30 2022-04-01 Antonin VAN EXEM Procede d’analyse de la pollution des sols
FR3117297B1 (fr) * 2020-12-08 2023-05-05 Otodo Procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée
CN113228116A (zh) * 2020-12-28 2021-08-06 商汤国际私人有限公司 图像识别方法和装置、图像生成方法和装置、神经网络的训练方法和装置
CN113063751B (zh) * 2021-03-25 2022-04-22 司法鉴定科学研究院 一种基于红外光谱成像技术的法医学肺脂肪栓塞分析方法
CN113888507A (zh) * 2021-09-30 2022-01-04 浙江大学 一种抗白叶枯病水稻光谱指标筛选方法及系统
CN113984772A (zh) * 2021-10-25 2022-01-28 浙江大学 基于多源数据融合的作物病害信息检测方法、系统及装置
WO2024051907A1 (en) * 2022-09-06 2024-03-14 Frontier Innovation Aps System of a fleet of surface characterizing device systems
WO2024051906A1 (en) * 2022-09-06 2024-03-14 Frontier Innovation Aps Surface characterizing device system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991028A (en) * 1991-02-22 1999-11-23 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for cell classification
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058352A (en) * 1997-07-25 2000-05-02 Physical Optics Corporation Accurate tissue injury assessment using hybrid neural network analysis
ES2390069B1 (es) * 2011-04-06 2013-10-30 Universitat Autònoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
CN102621150B (zh) 2012-03-23 2014-02-05 南京航空航天大学 基于灰度共生矩阵和支持向量机的飞机蒙皮损伤识别方法
JP6451741B2 (ja) * 2014-07-11 2019-01-16 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、及び画像解析プログラム
US10139279B2 (en) 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
CN107846848A (zh) * 2015-07-02 2018-03-27 益高环保机器人股份公司 机器人车辆和使用机器人用于植物生物体的自动处理的方法
WO2017096353A1 (en) * 2015-12-03 2017-06-08 The Cleveland Clinic Foundation Automated clinical evaluation of the eye
CN105760883A (zh) 2016-02-15 2016-07-13 西安科技大学 基于红外热像的带式输送机关键部件自动识别方法
US9865052B2 (en) * 2016-03-18 2018-01-09 Niramai Health Analytix Pvt Ltd Contour-based determination of malignant tissue in a thermal image
CN106022365B (zh) 2016-05-16 2019-04-02 电子科技大学 基于数据融合和rbf神经网络的表面缺陷深度估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5991028A (en) * 1991-02-22 1999-11-23 Applied Spectral Imaging Ltd. Spectral bio-imaging methods for cell classification
US9519844B1 (en) * 2016-01-22 2016-12-13 The Boeing Company Infrared thermographic methods for wrinkle characterization in composite structures

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Deep Convolutional Neural Networks for Hyperspectral Image Classification;Wei Hu 等;《Journal of Sensors》;20150101;正文第3-5页CNN-Based HSI Classification *
Large-scale_Learning_with_SVM_and_Convolutional_for_Generic_Object_Categorization;Fu Jie Huang 等;《Computer Society Conference on Computer Vision and Pattern Recognition》;20060617;正文第5页第4部分，图2 *
Wei Hu 等.Deep Convolutional Neural Networks for Hyperspectral Image Classification.《Journal of Sensors》.2015,正文第3-5页CNN-Based HSI Classification. *

Also Published As

Publication number Publication date
EP3717877A2 (fr) 2020-10-07
JP2021504864A (ja) 2021-02-15
WO2019106179A3 (fr) 2019-07-25
WO2019106179A2 (fr) 2019-06-06
CN111630356A (zh) 2020-09-04
US11828652B2 (en) 2023-11-28
FR3074596B1 (fr) 2019-12-06
CA3083079A1 (fr) 2019-06-06
FR3074596A1 (fr) 2019-06-07
US20200333185A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
CN111630356B (zh) 用于使用神经网络来表征样本的方法
Zhang et al. Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review
Martins et al. Automatic detection of surface defects on rolled steel using computer vision and artificial neural networks
Feng et al. Detection of subtle bruises on winter jujube using hyperspectral imaging with pixel-wise deep learning method
Han et al. A novel computer vision-based approach to automatic detection and severity assessment of crop diseases
CN109919241B (zh) 基于概率模型和深度学习的高光谱未知类别目标检测方法
Morchhale et al. Classification of pixel-level fused hyperspectral and lidar data using deep convolutional neural networks
Xia et al. In situ detection of small-size insect pests sampled on traps using multifractal analysis
Zhu et al. Support vector machine and YOLO for a mobile food grading system
Narang et al. Face recognition in the SWIR band when using single sensor multi-wavelength imaging systems
Zhou et al. Identification of the variety of maize seeds based on hyperspectral images coupled with convolutional neural networks and subregional voting
Sahu et al. A systematic literature review of machine learning techniques deployed in agriculture: A case study of banana crop
Monigari et al. Plant leaf disease prediction
Hu et al. Study on intelligent and visualization method of ultrasonic testing of composite materials based on deep learning
Kumar et al. Multiclass support vector machine based plant leaf diseases identification from color, texture and shape features
Mandal et al. An experiment-based comparative analysis of pigment classification algorithms using hyperspectral imaging
Moshou et al. Multisensor fusion of remote sensing data for crop disease detection
Tzortzis et al. Automatic inspection of cultural monuments using deep and tensor-based learning on hyperspectral imagery
Qi et al. Extraction and Classification of Image Features for Fire Recognition Based on Convolutional Neural Network.
Kalaivani et al. A novel custom optimized convolutional neural network for a satellite image by using forest fire detection
Lopez-Juarez et al. A hybrid non-invasive method for internal/external quality assessment of potatoes
Jia et al. Apple surface pesticide residue detection method based on hyperspectral imaging
Ladi et al. A novel strategy for classifying spectral-spatial shallow and deep hyperspectral image features using 1D-EWT and 3D-CNN
Sachan et al. An efficient algorithm for object detection in thermal images using convolutional neural networks and thermal signature of the objects
CN112364773A (zh) 基于l1正则约束深度多示例学习的高光谱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant