JP2021504864A - ニューラルネットワークを使用してサンプルを特徴付けるための方法 - Google Patents

ニューラルネットワークを使用してサンプルを特徴付けるための方法 Download PDF

Info

Publication number
JP2021504864A
JP2021504864A JP2020547304A JP2020547304A JP2021504864A JP 2021504864 A JP2021504864 A JP 2021504864A JP 2020547304 A JP2020547304 A JP 2020547304A JP 2020547304 A JP2020547304 A JP 2020547304A JP 2021504864 A JP2021504864 A JP 2021504864A
Authority
JP
Japan
Prior art keywords
sample
neural network
input data
image
cnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020547304A
Other languages
English (en)
Inventor
ヴァレリウ・ヴラビー
エリック・ペリン
シエム・メズガハニ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite de Reims Champagne Ardenne URCA
Original Assignee
Universite de Reims Champagne Ardenne URCA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite de Reims Champagne Ardenne URCA filed Critical Universite de Reims Champagne Ardenne URCA
Publication of JP2021504864A publication Critical patent/JP2021504864A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G01J2003/2826—Multispectral imaging, e.g. filter imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10036—Multispectral image; Hyperspectral image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiation Pyrometers (AREA)
  • Investigating Or Analyzing Materials Using Thermal Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Character Discrimination (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本発明は、特に赤外線サーモグラフィまたはスペクトルイメージングによって、そのスペクトル画像があらかじめ取得される特徴付けられるべきサンプルのスペクトル画像のセット、および少なくとも1つのニューラルネットワークを使用して、サンプルを特徴付けるための方法に関し、方法は、- 画像のピクセルの複数の座標、および複数の取得に対して、前記スペクトル画像からの観測パラメータの値の少なくとも1つのボリュームを生成することと、- データの前記ボリュームから入力データの少なくとも1つのセットを抽出することであって、少なくとも1つの変換関数がその値に適用されている、様々な取得における所与の座標のピクセルに対して、これらの入力データが観測パラメータの値に対応する、抽出することと、- 特徴付けられるべきサンプルの少なくとも1つの特徴をそこから抽出するために、入力データを使用して前記少なくとも1つのニューラルネットワークをトレーニングすることとからなるステップを備える。

Description

本発明は、特に赤外線サーモグラフィによって取得された、スペクトル画像に基づいて、かつ深層ニューラルネットワークを使用して、サンプルを特徴付けるための方法およびデバイスに関する。
特に事故を防止し、交通の経路を定め、あるいは決定を行うための、たとえば、成分および/または様々な影響を検出および/または非破壊的にテストするための、最もよく知られている監視システムは、多くのセンサーの使用および知られている検出技法の使用に基づく。赤外線放射、近赤外線(NIR:near-infrared)放射、および紫外線(UV:ultraviolet)放射が使用され得る。特に、絶対零度(-273.15°C)よりも温度が高い任意の物体によって継続的に放射される、放射熱とも呼ばれる遠赤外線の電磁放射が使用される。特定の検出器は、一定の波長においてこの放射を感知し、またこれらの波長を物体の表面温度に関係する輝度値に変換して、熱画像を作成することを可能にする。
赤外線サーモグラフィックカメラの小型化、それらの取得コストの低減、およびコンピュータの計算能力の進歩が、工業検査、損傷の評価、材料の疲労、または被覆物厚さの推定などの、複数の用途における代替非破壊技法として、そのようなカメラの使用を促進している。顔料に対していかなる影響も有することなく被覆物層の中に透過する能力は、塗料などの被覆物の厚さを検査するために、赤外線技法の使用を正当化する。
この技法は、たとえば、外反射に対する高い感度、放射率変動、および、たとえば、1つまたは複数の大電力フラッシュの使用のために、エネルギーの観点から均一であるものと見なすことができない励起源としての熱源の使用など、一定の限界を有する。この不均一性は、加熱期間中と冷却期間中の両方で、観測されるターゲットの被覆物の熱シグネチャに直接影響を及ぼす。この問題を解決するために、サーモグラフィック検査中の温度分布が研究されており、不均一な加熱の影響を抑制するために、フーリエ変換に基づく画像再構成アルゴリズムの使用などの、不均一な温度分布の影響を減らすことを狙う措置が提案されている。熱コントラストを改善するとともにこれらの外部アーテファクトを克服するために、他の方法、特に熱コントラストの、絶対熱コントラストの、または修正された絶対差分コントラストの、使用を伴う方法が使用される。背景雑音を部分的に除去することによってサンプルにおける欠陥の可視性を自動的に改善するために、部分最小2乗回帰に基づくアルゴリズムを使用することも知られている。より高次の統計学、すなわち、実際には特異値分解の使用に基づく、他の方法が開発されている。しかしながら、これらの雑音除去結果は依然として最適ではない。
パルス赤外線サーモグラフィを使用して欠陥を検出し特徴付けるために、多層パーセプトロンニューラルネットワークが採用されている。その成果は、この研究に対して、位相画像は雑音にあまり敏感でないが、サンプリング周波数を高くすることが大いに推奨されることを示す。そのような成果の例示は、たとえば、Steve Vallerandらによる論文「Defect detection in pulsed thermography: a comparison of Kohonen and Perceptron neural networks」、Proc.SPIE3700、Thermosense XXI、1999年3月の中に見られる。
様々なレベルの抽象化においてデータを表すために、データ、たとえば、画像、サウンド、またはテキストを、それらから特徴を抽出することによって分類するために、深層学習アルゴリズムを使用することが可能であることが、最近実証されている。深層学習の使用により、ロバストな結果が取得されるとともに多様な適用例が想定されることが可能になる。これらのアルゴリズムは、複数の教師ありレイヤまたは教師なしレイヤからなるモデルを採用し、ここで、情報を処理する非線形ステップが、本質的に階層化される。畳み込みニューラルネットワーク(CNN:convolutional neural network)は、知られているように、複数のレイヤから構成され、各レイヤはフィルタの働きをし、次に後続のレイヤへ送信されるデータの次元数の低減につながる。レイヤはニューロンから構成され、ニューロン自体は、それらの入力の各々における重みおよびバイアスの、活性化関数から構成される。
従来技術を図示する図1に示すように、そのような構造では、センサーS1、S2、S3によって入力データDEが受信され、各センサーは、分析されるべきサンプルの特徴Fを表す信号を収集することが可能である。これらの信号は、複数のレイヤからなるニューラルネットワークMへ送信される。このモデルMは、特に、その中で特徴Fに注釈が付けられているとともに、前記特徴の認識が学習されることを可能にする学習アルゴリズムAAppにかけられる画像からなる、学習データDAppの1つまたは複数のセットを使用してトレーニングされる。入力として送達されたデータDEの、1組のクラスC1、C2、C3への分類Cが、出力として取得される。
これらのアルゴリズム(および、特に畳み込みニューラルネットワーク)は、学習されるべき多くのデータモデルを必要とし、したがって、大量の計算能力を消費し、それらに教示するための大きいデータベースを必要とする。オンボードシステムにおけるこれらのアルゴリズムの実装は、計算能力によって、かつ利用可能なリソース、特にメモリリソースによって限定される。最近開発されたシステム、たとえば、Raspberry Piなどのナノコンピュータを使用するシステムは、現時点において、1秒当りビデオストリームからの2個と4個との間の画像フレームを分析することが可能である。このことは、ビデオストリームを満足に管理するのに依然として十分高速ではない。
特許出願CN10 6022365は、RBFニューラルネットワーク(RBFとは放射基底関数の頭字語である)および赤外線サーモグラフィ画像を使用して分類器を作成する、材料の表面における欠陥を検出するための方法を開示する。
特許出願CN10 5760883は、採鉱機器の動作状態の監視の分野において、赤外線サーモグラフィおよびいわゆるBPニューラルネットワーク(BPとは逆伝搬の頭字語である)を使用してコンポーネントの特徴を抽出するために、コンベヤベルトの主要なコンポーネントを自動的に識別するための方法を説明している。
特許出願CN10 2621150は、グレースケール共起行列、および様々なタイプの損傷を特徴付ける信号に基づく、サポートベクターマシン(SVM:support vector machine)アルゴリズムを使用して分類器を確立する、航空機スキンの損傷を識別するための方法に関する。航空機のスキンへの損傷の検出および損傷自体が、その後の保守処置のために分類および識別され得る。
たとえば、S.Jagannathanらによる論文「Optimizing Convolutional Neural Network on DSP」、IEEE International Conference on Consumer Electronics、2016年の中で提示されるような、特に特定のDSPおよびソフトウェアシステム(DSPとはデジタルシグナルプロセッサの頭字語である)に基づいて、または実際はフィールドプログラマブルゲートアレイ(FPGA)を使用して、学習タスクを実行することに対する他の手法が、グラフィックス処理装置(GPU)に基づくシステムよりも約3倍高速な、有利な性能レベルが達成されることを可能にする。
その最終レイヤだけが修正される事前トレーニングされたCNNを使用することが知られており、このことにより、特に計算能力が大きい機械において、事前トレーニングされているCNN、および教師あり分類器からなる、ハイブリッドネットワークがトレーニングされること、たとえば、SVMアルゴリズムが提供されることが可能になる。このことにより、必要とされる学習データベースのサイズが縮小されること、および低コストオンボードシステム、たとえば、Raspberry Piなどのナノコンピュータ上でのそれらの実装が想定されることが可能になる。Huang F.Jらによる論文「Large-scale learning with SVM and convolutional nets for generic object categorization」、IEEE CVPR2006、第2巻、4頁は、畳み込みネットワーク、および物体の分類に専用であるSVMからなる、ハイブリッドネットワークを説明している。
国際特許出願WO99/05487は、組織病変の分析の精度を高めるための、光ファイバプローブおよびハイブリッドニューラルネットワークの使用を説明している。
特許出願CN10 6022365 特許出願CN10 5760883 特許出願CN10 2621150 国際特許出願WO99/05487
Steve Vallerandらによる、「Defect detection in pulsed thermography: a comparison of Kohonen and Perceptron neural networks」、Proc.SPIE3700、Thermosense XXI、1999年3月 S.Jagannathanらによる、「Optimizing Convolutional Neural Network on DSP」、IEEE International Conference on Consumer Electronics、2016年 Huang F.Jらによる、「Large-scale learning with SVM and convolutional nets for generic object categorization」、IEEE CVPR2006、第2巻、4頁
したがって、その励起条件が可変かつ不均一であるデバイスを使用して、特に赤外線サーモグラフィ特徴付けデバイスを介して、取得されたスペクトル画像からのサンプルのいくつかの特徴の、信頼できる推定をさらに改善する必要が残されている。
本発明は、その態様のうちの1つによれば、特に赤外線サーモグラフィまたはスペクトルイメージングによって、そのスペクトル画像があらかじめ取得される特徴付けられるべきサンプルのスペクトル画像のセット、および少なくとも1つのニューラルネットワークを使用して、サンプルを特徴付けるための方法によって、上記で想起された必要を満たし、方法は、
- 画像のピクセルNの複数の座標(x,y)、および複数の取得Neに対して、前記スペクトル画像からの観測パラメータの値D(Nx,Ny,Ne)の少なくとも1つのボリュームを生成することと、
- データD(Nx,Ny,Ne)の前記ボリュームから入力データD'x,y(Ne)の少なくとも1つのセットを抽出することであって、少なくとも1つの変換関数がその値に適用されている、様々な取得Neにおける所与の座標のピクセルに対して、これらの入力データが観測パラメータの値に対応することと、
- 特徴付けられるべきサンプルの少なくとも1つの特徴をそこから抽出するために、入力データを使用して前記少なくとも1つのニューラルネットワーク、および特にネットワークの少なくとも1つのレイヤをトレーニングすることと、
- 複数のクラスへの入力データの分類を実行するために、ニューラルネットワークによって抽出された前記少なくとも1つの特徴を使用することであって、各クラスが、特徴付けられるべきサンプルの少なくとも1つの特徴を表す、使用することとからなるステップを備える。
好ましくは、前記少なくとも1つのニューラルネットワーク、特にネットワークの少なくとも1つのレイヤは、実際のスペクトル画像(すなわち、実際のサンプルから取得される画像)以外の画像によって、あらかじめトレーニングされた。第1の変形形態によれば、前記少なくとも1つのニューラルネットワークは、「自然画像」と呼ばれるもの、特に動物、物体、植物、人間の自然画像を使用して、あらかじめトレーニングされ得る。第2の変形形態によれば、前記少なくとも1つのニューラルネットワークは、「仮想画像」と呼ばれるもの、すなわち、非限定的な例として、
・仮想的なサンプルのモデルの、コンピュータによるシミュレーション/作成によって生成された「仮想スペクトル画像」、
・人によって人工的に作成された「仮想自然画像」(動物、物体、植物、または人間の画像)(コンピュータによって手を加えられた写真、少なくとも部分的にAIによって作成された写真など)などの、
人によって人工的に作成された画像を使用して、あらかじめトレーニングされ得る。
第3の変形形態によれば、前記少なくとも1つのニューラルネットワークは、自然画像および仮想画像を使用する混合方式でトレーニングされ得る。
なお一層好ましくは、ネットワークの最終レイヤしか入力データを用いてトレーニングされる必要がない。
好ましくは、分類は、ニューラルネットワークから独立した分類器によって実行される。分類器はサポートベクターマシン(SVM)であってよい。1つの変形形態では、分類器は、ソフトマックス分類器またはガウス型RBF分類器である。分類は、パーセプトロンの少なくとも1つのレイヤの中で実行され得る。1つの変形形態では、分類は、特徴を抽出するために使用されるニューラルネットワークによって、また好ましくはこのネットワークの最終レイヤによって、実行される。
事前トレーニングされたネットワークおよび分類器を備えるハイブリッド構造の使用により、本発明はシステムの迅速な実装を可能にし、データベースはサイズが小さく、学習時間は短い。本発明による方法は、低コストオンボードシステム、たとえば、ナノコンピュータ(ナノPCとも呼ばれる)または専用基板においてそのように実施されてよく、リソース集約的でありかつ/またはリアルタイムで作動しなければならないアプリケーションが動作することを可能にする。
SVM分類器の使用により、より高次元のデータが扱われることが可能になり、このことは、様々なタイプの数多くのデータを処理して、認識性能を著しく改善すること、および計算時間を大幅に短縮することを可能にする。
本発明によるハイブリッドアーキテクチャのロバストネスにより、システムを励起させることによって生成されるエネルギー堆積の不均一性、および測定条件、たとえば、サンプルに対する目標の距離または実際には角度の観点からの、スペクトル画像を取得するためのカメラの異なる位置、あるいは時刻、温度、または年間の季節に応じた、異なる取得に対する照明条件にそれほど敏感でない、赤外線サーモグラフィックデータを後処理するための技法が提供されることが可能になる。
1次元信号
様々な取得は、特に赤外線サーモグラフィの場合には、既定の取得期間の中の異なる取得時間に対応し得る。
1つの変形形態では、特にスペクトルイメージングの場合には、様々な取得は、同時に実行される様々な波長における取得に対応する。
スペクトルイメージングは、マルチスペクトルイメージングとハイパースペクトルイメージングの両方を包含する。マルチスペクトルイメージングは、少数かつ限定された数の離散帯域を取得することからなり、データを分析するための分光計の使用を必要としない。ハイパースペクトルイメージングは、分光計などのスペクトル帯域を分割するためのシステムの使用を介して、多数の狭いスペクトル帯域が取得されることを可能にする。
データDのボリュームは有利なことにP個のピクセルを含み、撮影x,yの中の各ピクセルNに対応する座標(Nx,Ny,Ne)があり、ここで、Neは取得の座標である。したがって、問題は、ある撮影から次の撮影までの同じピクセルPが、異なる時間または異なる波長において記録されることである。
ピクセルのスペクトル変動、たとえば、時間の関数としての温度の変動は、したがって、n組の値を形成する1次元信号であるものと見なされ、分類のために直接使用される。
入力データは、有利なことに、取得Neに応じて入力データセットの値D'x,y(Ne)に対応する曲線を表す画像の形態で、ニューラルネットワークへ送信される。このことにより、自然画像の学習、特に畳み込み、および特徴の抽出に対する次元数の低減のために、深層学習ネットワークの原理が1次元信号に入れ換えられることが可能になる。自然画像に対してニューラルネットワークが事前トレーニングされるという事実は、必要とされる学習データの数を低減するが、「仮想画像」に対してニューラルネットワークが事前トレーニングされるという事実は、所望の学習が精密に改善されることを可能にする。
学習のために、画像は、使用されるニューラルネットワークによって必要とされる標準的な次元に、次元が再び定められてよい。
観測パラメータの値Dx,y(Ne)に適用される変換関数は恒等関数であってよく、値は変更されないままでありニューラルネットワークによってそのように使用される。
1つの変形形態では、観測パラメータの値Dx,y(Ne)に適用される前記少なくとも1つの変換関数は、センタリング関数、正規化関数、および/または平滑化関数である。したがって、スペクトル応答Dx,y(Ne)は各々、たとえば、前記ネットワークに教示するために使用されるすべての画像を用いて計算された平均値に関して、もしくは第1の取得において取得された第1の画像に関して、センタリングされてよく、かつ/またはそれらの最大値に関して、もしくは基準値、特に既定の波長に対応する基準値に関して、正規化されてよい。
使用される平滑化方法は、mが10点と20点との間に備えられ、nが1と6との間に備えられて、- たとえば、m=15点かつn=4であって、サイズmのスライディングウィンドウの中で、次数nの多項式を使用してスペクトル応答のセグメントを近似することからなる、「サビツキ-ゴレイ」(SG:Savitzky-Golay)方法であってよい。平滑化により、応答不規則性および特異性が低減されることが可能になる。導関数を計算するために平滑化スペクトル応答を使用することにより、結果として生じる信号の導出に起因するアーテファクトの出現または雑音の増幅が回避されることが可能になる。
入力データ(D'x,y(Ne))を取得するために、1次導関数を計算するための関数が観測パラメータの値D(Nx,Ny,Ne)に適用されてよい。観測パラメータがサンプルの温度である場合には、この計算によりサンプルの冷却速度が考慮に入れられることが可能になる。
入力データ(D'x,y(Ne))を取得するために、2次導関数を計算するための関数が観測パラメータの値D(Nx,Ny,Ne)に適用されてよい。観測パラメータがサンプルの温度である場合には、この計算によりサンプルの冷却の加速度が考慮に入れられることが可能になる。
赤外線サーモグラフィ
好ましくは、使用されるスペクトル画像は、赤外線サーモグラフィによって取得される熱画像であり、観測パラメータは、サンプルの温度である。
赤外線サーモグラフィの原理は、電磁スペクトルの赤外線帯域の中の熱放射の時間領域取得に対応する、所与の波長区間の中で物体の表面によって放射されるエネルギーの測定に基づく。このエネルギーは、適切な光学系を通して検出器に伝送される。これらのいわゆるラジオメトリックシステムにより、その平均サイズが約80000ピクセルである画像に対して、数100ヘルツに達し得る速度での表面温度場の非接触測定が可能になる。測定プロセスは、概して、温度のわずかな上昇しか引き起こさず、データの取得を中断させるリスクがないことを意味する。知られているように、検出可能な温度変動は、数10分の1から数10摂氏度/ケルビンまでに及ぶ。標本は、熱励起され得る。熱データのデジタル分析が、次いで、実行される。
特徴付けられるべきサンプルの表面は、たとえば、フラッシュランプなどのパルス照明面励起手段を使用して、熱画像の取得の前に熱励起され得る。
1次元信号および仮想画像
本発明のいくつかの変形形態では、ニューラルネットワークは、好ましくは、仮想的なサンプルの数学的モデルの、コンピュータによるシミュレーション/作成から取得された仮想スペクトル画像を介して、仮想画像を使用してトレーニングされる。
使用されるスペクトル画像が赤外線サーモグラフィによって取得された熱画像である本発明の変形形態では、観測パラメータはサンプルの温度である。
この場合、コンピュータでシミュレートされた仮想的なサンプルは、たとえば、材料の二重層、すなわち、被覆物でカバーされた基板の形態をとってよい。しかしながら、当業者はターゲットにされる用途に適した(基板および/または被覆物)材料の層の数を選ぶことが可能である。
前記被覆物は、デジタル的にボクセルに離散化されてよく、その各々に対して、時間tにわたる温度の変動を表す曲線LTが、規定(たとえば、データベースから選択など)され得るか、または当業者によって数学的モデルの中に入力されるパラメータから計算され得る。
各ボクセルは、基板上に堆積した前記被覆物に対して設けられた(または、2つ以上の)層のすべてを含む。
被覆物のボクセルへのこの離散化は、所望されるのと同数のボクセルを生成することが可能であるので特に有利であり、このことは、前記被覆物の中でのエネルギーの多種多様な分布がシミュレートされることを可能にする。
したがって、その好ましい変形形態では、前記数学的モデルは、とりわけ、以下の形式、すなわち、
T(x,y,t)=F[QE(x,y,t);PS;PR;ER;t;…] (EQM)
を有する一般化方程式EQMを実施し、関数Fは、とりわけ、少なくとも以下のものに依存する。
・QE:平面座標(x,y)の所与のボクセルの中に堆積したエネルギーの量。この値により、理想的な熱励起手段(たとえば、フラッシュランプ)によって被覆物の中に堆積したエネルギーの分布がシミュレートされることが可能になる。有利なことに、問題は、LRIDQEと呼ばれる「ディラック」インパルス応答である。しかしながら、他の理想的なインパルス応答の使用が想定され得る。
・PS:たとえば、前記数学的モデルと通信するデータベースを介して取得され、かつ/または前記モデル内で計算される、基板を特徴付ける物理パラメータのセット(たとえば、材料の組成、材料の色、材料の外観(光沢、つや消しなど)、熱拡散性、熱噴出性など)。パラメータPSのこのセットは、単一の層を特徴付ける、かつ/または前記基板の構成要素である層のすべてを大域的に特徴付ける、パラメータPSを含んでよい。
・PR:基板上に堆積した(または、2つ以上の)被覆物層を特徴付ける物理パラメータのセット(たとえば、材料の組成、材料の色、材料の外観(光沢、つや消しなど)、熱拡散性、熱噴出性など)。パラメータPRのこのセットは、単一の層を特徴付ける、かつ/または前記被覆物の構成要素である層のすべてを大域的に特徴付ける、パラメータPRを含んでよい。これらのパラメータは、たとえば、前記数学的モデルと通信する、かつ/または前記モデル内で計算される、データベースを介して取得される。
・ER:被覆物の(または、2つ以上の)厚さを特徴付けるパラメータのセット。パラメータERのこのセットは、単一の層を特徴付ける、かつ/または前記被覆物の層の少なくとも1つのサブセットを大域的に特徴付ける、パラメータERを含んでよく、各層は、(他の層と同一であっても異なってもよい)特定の厚さを有する。
もちろん、数学的モデルの中に入力されるパラメータは、多様な分布(一様分布、ガウス性分布など)を表す任意のタイプ、すなわち、定数または変数のものであってよい。このことにより、たとえば、以下のもの、すなわち、着色顔料の異質性、被覆物の表面の異質性などが、シミュレートされることが可能になる。
数学的モデルは、本発明のいくつかの変形形態においてニューラルネットワークがトレーニングされることを可能にする、仮想スペクトル画像ISVxを出力として与える。
好ましくは、仮想スペクトル画像ISVxは、たとえば、「Πゲート関数」などの、「インパルス応答」曲線LRIとの曲線LT(モデルの式EQMの結果として生じる応答)の畳み込みの結果として生じる。このインパルス応答は、実際の熱励起手段のアクションに対応する。もちろん、Πゲート関数ではなく現実的な他のインパルス応答の使用が想定され得る。
その上、前記数学的モデルの高度な変形形態では、たとえば、式:[T(x,y,t)*Π]+b(x,y,t)を使用して、畳み込みステップが実行されていると、環境熱雑音b(x,y,t)も考慮に入れられてよい。
雑音の付加が、
・できる限り現実の状況に近くなることを可能にすること、
・分類を改善し得ること
が留意される。
したがって、ニューラルネットワークがトレーニングされることを仮想スペクトル画像ISVxが可能にする本発明の変形形態では、想定される数学的モデルは、非常に多様な熱応答が生成されることを可能にする。
詳細には、少なくともパラメータQE、PS、およびPRを、被覆物の層の厚さERの所与の構成に対して変化させることによって、非常に多様な熱の応答(のセット)を生成することが可能であり、このことにより、所与の構成に対して内部起点および外部起点の変動が考慮に入れられることが可能になる。
したがって、以下のことが可能である。
・被覆物厚さERの所与の構成に対して熱応答のセットを生成すること。
・応答の複数のセットを、
・ある応答から次の応答まで他のパラメータ(EQ、PS、PRなど)が異なる、厚さの同一の構成、および/または
・(異なる)被覆物厚さの異なる構成
に対応する同じクラス内で一緒にグループ化すること(たとえば、クラス1が51μmから60μmまでに及ぶ被覆物厚さに対応するなど)。
ニューラルネットワークおよび特徴の抽出
前記少なくとも1つのニューラルネットワークは、畳み込みニューラルネットワークであってよい。
ニューラルネットワークは、1つもしくは複数の畳み込みレイヤおよび/または1つもしくは複数の全結合レイヤを備えてよい。
知られているように、各畳み込みレイヤは、入力画像の活性化を引き起こし、最初のレイヤは、輪郭などの基本特徴を抽出し、より高位のレイヤは、テクスチャについての情報などのもっと高レベルの特徴を抽出する。
入力データから抽出される前記少なくとも1つの特徴は、サンプルまたはサンプルのいくつかの部分の厚さまたは厚さ範囲、あるいはサンプルの特性を表す数量、たとえば、塗料の塗りの厚さ、中間層の、たとえば、ゾルゲルプロセスから生じるゾルゲルタイプの厚さ、植物の水分ストレスのレベル、植物の、たとえば、植物の葉、花、または果物の、色素沈着の変動であってよい。
特徴付けデバイス
本発明のまた別の主題は、その態様のうちの別の態様によれば、特に赤外線サーモグラフィまたはスペクトルイメージングによって、サンプルを特徴付けるためのデバイスであって、
- 特徴付けられるべきサンプルのスペクトル画像のセットを取得するための手段、特に熱カメラと、
・画像のピクセルの複数の座標(Nx,Ny)、および複数の取得(Ne)に対して、前記スペクトル画像からの観測パラメータの値(D(Nx,Ny,Ne))の少なくとも1つのボリュームを生成すること、
・データ(D(Nx,Ny,Ne))の前記ボリュームから少なくとも1つの入力データセット(D'x,y(Ne))を抽出することであって、少なくとも1つの変換関数がその値に適用されている、様々な取得(Ne)における所与の座標(x,y)のピクセルに対して、これらの入力データが観測パラメータの値に対応することが可能な
- データ処理モジュールと、
- 特徴付けられるべきサンプルの少なくとも1つの特徴をそこから抽出するために、入力データを使用して前記少なくとも1つのニューラルネットワークをトレーニングすること、および複数のクラスへの入力データの分類を実行するために、ニューラルネットワークによって抽出された前記特徴を使用することであって、各クラスが、特徴付けられるべきサンプルの少なくとも1つの特徴を表す、使用することが少なくとも可能な少なくとも1つのニューラルネットワークを備える分析モジュールとを備えるデバイスである。
前記少なくとも1つのニューラルネットワークは、好ましくは、スペクトル画像以外の画像、特に動物、物体、植物、もしくは人間の自然画像、および/または「仮想画像」に対して、あらかじめトレーニングされている。
ニューラルネットワークは、1つもしくは複数の畳み込みレイヤおよび/または1つもしくは複数の全結合レイヤを備えてよい。
本発明によるデバイスは、分類を実行するために、ニューラルネットワークから独立した分類器を備えてよい。
デバイスは、特徴付けられるべきサンプルを熱励起させるための手段、特に照明面励起手段、好ましくはフラッシュランプなどのパルス照明面励起手段を備えてよい。
デバイスは、追加として、分析モジュールと通信する意思決定モジュール、およびサンプルに作用することが可能な作用手段を備えてよく、前記意思決定モジュールは、前記分析モジュールから取得された分類結果に応じたフィードバックを用いて前記作用手段を自動的に制御すること、およびサンプルに適したアクションをトリガすることが可能である。このことにより、たとえば、非破壊テスト用途において、テストがサンプル上で実行されること、および信頼できる監視が実行されることが可能になる。
作用手段は、分類結果に合わせられた、ある量の生成物を噴霧できる、植物衛生の生成物を農産物に噴霧するためのノズルであってよい。抽出されるべき特徴は、エリア当りの葉の質量、植生のタイプ、さらには検査される植物の病気のタイプであってよい。
方法に関して上記で説明した特徴はデバイスに適用され、逆も同様である。
本発明による特徴付けデバイスは、ターゲットにされる適用例に応じて、低コストの、たとえば、ナノPC、たとえば、Raspberry Pi、または特定の、たとえば、Nvidia(登録商標)からのTX1などの専用基板のいずれかである、オンボードシステムにおいて容易に設置され得る。処理の大部分は、スマートオンボードシステム、たとえば、高精細カメラを装備することが可能なナノPCにおいて実行され得る。
テスト方法
本発明のまた別の主題は、その態様のうちの別の態様によれば、サンプルを特徴付けるための上記で規定したようなデバイスを用いて、分類結果に応じて、特徴付けられるべきサンプルに対して実行されるべきアクションを決定することからなる決定を行うことを目的としてサンプルについての情報を生成することと、特にそれを実施できる作用手段へアクション設定値を送信することとからなるステップを備える、サンプルをテストするための方法である。
コンピュータプログラム製品
本発明のまた別の主題は、その態様のうちの別の態様によれば、特に赤外線サーモグラフィまたはスペクトルイメージングによって、そのスペクトル画像があらかじめ取得される特徴付けられるべきサンプルのスペクトル画像のセット、および少なくとも1つのニューラルネットワークを使用して、サンプルを特徴付けるための上記で規定したような方法を実施するためのコンピュータプログラム製品であり、
コンピュータプログラム製品は、媒体と、この媒体上に記憶されたプロセッサ可読命令とを備え、その結果、それらが実行されるとき、
- 画像のピクセルの複数の座標(Nx,Ny)、および複数の取得(Ne)に対して、前記スペクトル画像から観測されるパラメータの値(D(Nx,Ny,Ne))の少なくとも1つのボリュームが生成され、
- 入力データ(D'x,y(Ne))の少なくとも1つのセットが、データ(D(Nx,Ny,Ne))の前記ボリュームから抽出され、少なくとも1つの変換関数がその値に適用されている、様々な取得(Ne)における所与の座標(x,y)のピクセルに対して、これらの入力データが観測パラメータの値に対応し、
- 特徴付けられるべきサンプルの少なくとも1つの特徴をそこから抽出するために、入力データを使用して前記少なくとも1つのニューラルネットワークがトレーニングされ、
- 複数のクラスへの入力データの分類を実行するために、ニューラルネットワークによって抽出された前記少なくとも1つの特徴が使用され、各クラスが、特徴付けられるべきサンプルの少なくとも1つの特徴を表す。
本発明は、場合によっては、本発明の実装形態の非限定的な例の以下の説明を読み、かつ添付の図面を考察すると、よりよく理解されよう。
上記で説明した、従来技術による深層学習アルゴリズムを使用する分類方法を示す図である。 少なくとも1つのニューラルネットワークへのそれらの入力を目的として、本発明による方法においてデータを準備するステップの一例を示す図である。 本発明による方法においてニューラルネットワークを用いてデータを分類するステップを示す図である。 本発明によるサンプルを特徴付けるためのデバイスの一例を示す図である。 本発明による方法の分類性能を示す表である。 本発明による方法の分類性能を示す表である。 本発明による方法の分類性能を示す表である。 本発明による方法の分類性能を示す表である。 本発明による方法の分類性能を示す表である。 本発明による方法の分類性能を示す表である。 ニューラルネットワークをトレーニングするための仮想スペクトル画像を取得するステップを示す図である。
図2は、少なくとも1つのニューラルネットワークへのそれらの入力を目的として、本発明による方法においてデータを準備するステップの一例を示す。この例では、スペクトル画像は熱カメラによって取得され、したがって、いわゆる熱画像を形成する。これらの画像に基づいて観測されるパラメータは、サンプルEの表面の温度である。
特徴付けられるべきサンプルEから、ステップAにおいて、熱画像2のセットが、たとえば、赤外線熱カメラを使用して、既定の取得期間Tの中で取得される。
ステップBにおいて、NxおよびNyが、方向(x,y)での画像2のピクセルNの座標に対応するとともに、Neが、画像番号もしくは時間のいずれかまたはマルチスペクトルイメージングもしくはハイパースペクトルイメージングの場合には波長で表現された取得に対応する座標系の中で、瞬間温度値に対応するデータD(Nx,Ny,Ne)のボリュームが熱画像2から生成される。
1次元入力データD'x,y(Ne)のセットが、ステップEPにおいてデータD(Nx,Ny,Ne)のボリュームから抽出される。問題の例では、これらの入力データD'x,y(Ne)は、以下で詳述するように、少なくとも1つの変換関数が適用される、様々な記録時間Neにおける所与の座標(x,y)のピクセルに対する瞬間温度値に対応する。
ステップIにおいて、記録時間Neに応じて入力データセットの値D'x,yに対応する曲線を表す画像Ijxが、データセットごとに生成され、問題の例では畳み込みニューラルネットワークである、ニューラルネットワークRN(CNN)へ送信される。とはいえ、記載による方法において使用されるニューラルネットワークは、任意のタイプのものであってよい。
有利なことに、本発明による方法は、抽出ステップEPに後続する、データを事前処理するステップPTをさらに備える。好ましくは、データを準備するこのステップPTは、少なくとも1つの変換関数、特にセンタリング関数、正規化関数、および/または平滑化関数を、値Dx,y(Ne)に適用することからなる。ステップNLにおいて、様々な関数、たとえば、事前処理されてもされなくてもよいデータの元のセットに相当するセットJ0を形成する恒等関数、および/またはセットJ1を形成する1次導関数を計算するための関数、および/またはセットJ2を形成する2次導関数を計算するための関数が、入力データセットに適用され得る。
問題の例では、塗料の塗りの不均一性を評価する用途において、検査されるべきサンプルEは、図2においてわかり得るように、その厚さが59μmから95μmまで変化する4つの帯状をなして塗料の塗りが堆積した、370×500mmサイズの鋼鉄製金属シートである。このサンプルは、サンプルと接地との間のいかなる導通効果も防止するために、絶縁ホルダーに対して水平に配置された。表面の全体を急速に加熱するために、サンプルのブランケット面熱励起が実行されてよい。好ましくは、また図示の例におけるように、パルス赤外線サーモグラフィの技法が使用され、すなわち、その励起プロファイルができる限りディラックパルスに近い熱波動が、サンプルの表面へ送られる。ハロゲンランプが使用されてよいが、非常に長い照明によって引き起こされる温度の上昇は、サンプルの表面に損傷を与えることがある。代替として、また好ましくは、極めて短い時間の中で大量のエネルギーを生成し、かつ様々な角度で配置される、複数のフラッシュランプが使用される。
問題の例では、熱カメラは、サンプルの表面の前側の熱画像またはサーモグラムを5msごとに記録する。これらの熱画像の取得に続いて、上記で説明したようなデータのボリュームが生成される。取得期間が0.5秒と2秒との間に備えられ、たとえば、1秒に等しい。
上記で説明したように、また図3においてわかり得るように、カメラによって記録されるデータのボリュームの各ピクセルは、ニューラルネットワークRNCNNに対する入力として使用される画像IJxによって表される1次元信号である。このニューラルネットワークRNCNNは、好ましくは、スペクトル画像以外の画像、すなわち、たとえば、画像の1000個のクラスよりも多くを、また100万個の画像よりも多くを含む、データベース「www.image.net」から生じる、自然画像と呼ばれるものに対してあらかじめトレーニングされた。このニューラルネットワークは、パーセプトロンPをさらに備える分析モデルMPに属してよく、たとえば、パーセプトロンPは、入力レイヤ、1つまたは複数の隠れレイヤ、および出力レイヤを備える。この分析モデルMPは、最初にニューラルネットワークRNを用いて画像を分類することができ、次いで、パーセプトロンPをクラスK(K1,K2など)に分類することができる。
上記で説明したように、ニューラルネットワークは、問題の例では塗料の様々な厚さに対応する特徴EFをそれらから抽出するために、入力データIJxを使用してトレーニングされる。ニューラルネットワークが、パーセプトロンPを備える分析モデルMPに属する場合には、特徴は、パーセプトロンのレイヤのうちの少なくとも1つによって抽出され得る。
抽出された特徴は、複数のクラスC1、C2への熱応答の分類を実行するために使用され、各クラスは、特徴付けられるべきサンプルの特徴、ここでは様々な厚さを表す。分類は、この例では、また好ましくは、サポートベクターマシン(SVM)タイプの、ニューラルネットワークから独立している分類器によって実行される。
問題の例では、異なる空間次元のクラスC1、C2、C3、C4は、塗料の塗りの厚さの各々(その厚さは図2においてわかり得る)に関連付けられる。2つの異なる時間T1およびT2において、この被覆物に対して取得が実行されて、データの2つのボリューム、すなわち、110×611×400サイズの第1のボリューム、および103×631×400サイズの第2のボリュームを作成した。同一の測定条件を達成すること、すなわち、測定ごとにサンプルの、ランプの、およびカメラの、同じ配置を再現することは困難であるので、取得期間が常に同じであるので時間次元を除いて、データのボリュームは同じサイズではなかった。上記で説明したように、1次元データセットJ0、J1、およびJ2は、これらのボリュームから生成された。
図5は、第2のボリュームから取得されるデータセットJ0、すなわち、ランダムに選択された8000個の信号のセット(クラスごとに2000個)に対する、分類性能を示す。「トレーニングデータセット」に対応する、データのうちの70%がトレーニングのためにランダムに選択されたが、「テストデータセット」に対応する、残りの30%が分類テストのために使用された。クラス1の測定値のうちの97%、クラス2の測定値のうちの95%、クラス3の測定値のうちの92%、およびクラス4の測定値のうちの91%が正しく分類されていること、ならびに平均精度が93.5%であることが、対角線上でわかり得る。
同様に、図6はデータセットJ1に対する分類性能を示す。クラス1の測定値のうちの96%、クラス2の測定値のうちの91%、クラス3の測定値のうちの91%、およびクラス4の測定値のうちの87%が正しく分類されていること、ならびに平均精度が91.25%であることが、対角線を観測することによってわかり得る。
図7は、データセットJ2に対する分類性能を示す。クラス1の測定値のうちの94%、クラス2の測定値のうちの86%、クラス3の測定値のうちの85%、およびクラス4の測定値のうちの89%が正しく分類されていること、ならびに平均精度が88.1%であることが、対角線を観測することによってわかり得る。3つのセットJ0、J1、およびJ2に対する分類結果の比較は、正規化かつ平滑化された入力データJ0を使用して取得された結果が最良の結果であることを示す。
記載による方法は、説明する例では、サンプルの帯状の各被覆物の厚さを確実に決定するために、各ピクセルの熱応答が認識され正しいクラスに関連付けられることを可能にする。
図8の表は、エネルギー堆積に関する分類結果の独立性、すなわち、サンプルにわたるエネルギー堆積の均一性の変動が、データのボリュームのピクセルの各々の分類の結果に対して、極めて小さい影響しか有しないという事実の確証を示す。このことにより、エネルギー堆積の均一性のパラメータが重要でない、実験的な測定が実行されることが可能になる。
これらの分類性能は、16000個の信号、すなわち、クラス当り4000個の信号を含む、データセットJ0を用いて取得されたが、各クラスは、4つのフラッシュランプを用いて取得された1000個の信号、3つのフラッシュランプを用いて取得された1000個の信号、2つのフラッシュランプを用いて取得された1000個の信号、および1つのフラッシュランプを用いて取得された1000個の信号を備える。したがって、クラスの各々は、異なる個数のフラッシュランプを用いて照明されたピクセルを含む。このタイプのデータ選択は、照明に応じて異なるタイプの熱応答を大幅に増大させ、したがって、ネットワークRNCNNが最も著しい可能な特徴を抽出することを可能にし、アルゴリズムの性能、したがって、分類結果の信頼性を高める。
クラス1の測定値のうちの97%、クラス2の測定値のうちの92%、クラス3の測定値のうちの86%、およびクラス4の測定値のうちの91%が正しく分類されていることが、対角線を観測することによってわかり得る。平均精度は91.5%である。
図9の表は、トレーニングおよびニューラルネットワークRNCNNを用いた特徴の抽出のために採用される信号とは異なっていたが同じ時間期間T2とともに取得された、4000個の信号に分類器を適用することによって作り出されており、これらの信号の各クラスは、トレーニング中と同じ方法で、すなわち、4つのフラッシュを用いた1000個の信号、3つのフラッシュを用いた1000個の信号、2つのフラッシュを用いた1000個の信号、および1つのフラッシュを用いた1000個の信号で構成されている。図9においてわかり得るように、クラス1の測定値のうちの93.075%、クラス2の測定値のうちの97.65%、クラス3の測定値のうちの97.8%、およびクラス4の測定値のうちの94.8%が正しく分類されている。
図10の表は、測定条件に対する分類結果の独立性を示す。詳細には、厳密に同一である2つの測定を異なる時間において同じサンプルに対して実行することは、ほとんど不可能である。ランプの位置、サンプルに対するカメラの距離、傾斜の角度、カメラに対するサンプルの回転は、分類の結果に影響を及ぼすことがある可変パラメータである。
この例では、時間期間T2とともに取得されたトレーニングデータセットは、図9の表を作り出すために採用されたデータセットと同一であり、その部分に対する分類性能は、トレーニングのために採用される信号とは異なった、異なる時間期間T1とともに取得された4000個の信号に、アルゴリズムを適用することによって評価されており、信号の各クラスは、トレーニング中と同じ方法で、すなわち、4つのフラッシュを用いた1000個の信号、3つのフラッシュを用いた1000個の信号、2つのフラッシュを用いた1000個の信号、および1つのフラッシュを用いた1000個の信号で構成されている。
図10においてわかり得るように、クラス1の測定値のうちの98.6%、クラス2の測定値のうちの91.65%、クラス3の測定値のうちの91.975%、およびクラス4の測定値のうちの95.65%が正しく分類されている。4つの異なるクラスに属する様々なピクセルの分類の結果は、極めて弱く測定条件の変動に依存する。
図11は、ニューラルネットワークをトレーニングすることを対象とする仮想画像を取得するステップを示す。
使用されるスペクトル画像が赤外線サーモグラフィによって取得された熱画像である本発明の変形形態では、観測パラメータはサンプルの温度Tである。
この場合、仮想的なサンプル3は、たとえば、材料の積層の形態をとってよく、すなわち、(随意に、多層の)基板4は、サンプル3のX-Y平面の中の位置(x,y)のボクセルV(x,y)に離散化されている(随意に、多層の)被覆物5で被覆される。
軸Zに沿って見られるこの例の各ボクセルV(x,y)は、平面X-Yにおいて堆積している前記被覆物5の(または、2つ以上の)層Fziのすべてを含む。図11を乱雑にしないために、ここでは個数が3個(Fz1,Fz2,Fz3)である層Fziは、グレーに着色したボクセルの中にしか示されない。
時間tにわたる温度の変動を表す曲線LTは、前記ボクセルVの各々に関連する。この曲線は、数学的モデル内で採用される式EQM、すなわち、
T(x,y,t)=F[QE(x,y,t);PS;PR;ER;t;…] (EQM)
から取得された応答である。
最後に、数学的モデルは、「Πゲート関数」などの「インパルス応答」曲線LRIとの曲線LTの畳み込みの結果として生じ、かつニューラルネットワークRN(CNN)をトレーニングすることを対象とする、仮想スペクトル画像ISVxを出力として与える。
図4を参照しながら、本発明によるサンプルEを特徴付けるためのデバイス20の一例が、ここで説明される。このデバイス20は、問題の例では、スペクトルイメージングによる非破壊テストを実行するためのドローンである。
特徴付けデバイス20は、関係するすべてのスペクトル範囲、たとえば、いわゆる熱またはサーモグラフィック赤外線に対応する、赤外線、可視光線、近赤外線、中間赤外線、および遠赤外線、またはこれらの範囲の任意の組合せ、特に可視光線および近赤外線を走査する、サンプルEのスペクトル画像のセットを取得するための手段AQ、特にスペクトルカメラまたは熱カメラを備える。
特徴付けデバイス20はまた、上記で説明したように、瞬間データ値D(Nx,Ny,Ne)の少なくとも1つのボリュームを生成すること、およびデータD(Nx,Ny,Ne)の前記ボリュームから少なくとも1つの入力データセットD'x,y(Ne)を抽出することが可能な、データ処理モジュールMAMを備える。
問題の例では、特徴付けデバイス20は、入力データから特徴が抽出されることを可能にする少なくとも1つのニューラルネットワークRNCNNを備える分析モジュールMPをさらに備え、分析モジュールMPは、抽出された特徴を使用して複数のクラスへの入力データの分類を実行することが可能である。
特徴付けデバイス20は、特徴付けられるべきサンプルEを熱励起させるための手段EXを備えてよい。
特徴付けデバイス20は、分析モジュールMPと通信する意思決定モジュールMD、およびサンプルEに作用することが可能な作用手段ACTをさらに備えてよい。意思決定モジュールは、有利なことに、取得された分類結果に応じたフィードバックを用いて前記作用手段ACTを自動的に制御すること、およびサンプルEに適したアクションをトリガすることが可能である。
本発明は、説明した例に限定されない。
本発明の1つの可能な適用例は、スマート農業のコンテキストにおけるスマート噴霧デバイス20の設計に対するものである。そのようなスマート噴霧器では、たとえば、各噴霧ノズル(作用手段ACTに相当する)は、たとえば、可視光線および/または近赤外線の領域の中でイメージングする低コストカメラを使用するナノPC上に設置され得る、発明によるハイブリッドオンボードネットワークに関連してよく、まさに正確な量での適切な植物衛生の生成物が噴霧されることを可能にするように、エリア当りの葉の質量、植生のタイプ、さらには検査される植物の病気のタイプが検出されることを可能にする。次いで、画像を取得するためにマルチスペクトルイメージングまたはハイパースペクトルイメージングが使用され得る。植物は、トウモロコシ、小麦、さらには葡萄の木であってよい。植物の成長も本発明によって追跡されてよく、病気の潜在的な発生が予測される。
本発明は、畳み込みニューラルネットワークに限定されない。深層ニューラルネットワーク(DNN:deep neural network)または深層信念ネットワーク(DBN:deep belief network)が想定され得る。
データの複数のグループは、並列ネットワークによって並行して処理され得る。
本発明は、たとえば、任意のタイプのハードウェア、パーソナルコンピュータ、スマートフォン、ナノコンピュータ、または専用基板上で実施され得る。
本発明は、赤外線サーモグラフィによって被覆物を特徴付ける適用例に限定されない。可視光線の、近赤外線の、中間赤外線の、遠赤外線の、テラヘルツの、さらには紫外線の、領域の中での放射が使用され得る。本発明は、詳細には、テストされるサンプルの品質を保持するために使用され得るので、非破壊テストの用途に適する。
本発明は、効率を高めるとともに転送されるデータの量を減らすことが目的である多様な適用例において、たとえば、低コストスマートオンボードセンサーにおいて、またはフォグコンピューティングにおいて、使用され得る。
本発明は、特に製造プロセス、および材料の品質を監視するために、軍事分野、グリッド監視の分野、地質学の分野、さらには生物学または生命情報科学の分野などの、多くの他の分野において使用され得る。
2 熱画像
3 サンプル
4 基板
5 被覆物
20 特徴付けデバイス

Claims (24)

  1. 特に赤外線サーモグラフィまたはスペクトルイメージングによって、そのスペクトル画像があらかじめ取得される特徴付けられるべきサンプル(E)のスペクトル画像のセット、および少なくとも1つのニューラルネットワーク(RNCNN)を使用して、前記サンプルを特徴付けるための方法であって、
    - 前記画像のピクセル(N)の複数の座標(x,y)、および複数の取得(Ne)に対して、前記スペクトル画像からの観測パラメータの値(D(Nx,Ny,Ne))の少なくとも1つのボリュームを生成するステップと、
    - データ(D(Nx,Ny,Ne))の前記ボリュームから入力データ(D'x,y(Ne))の少なくとも1つのセット(Jx)を抽出するステップであって、少なくとも1つの変換関数がその値に適用されている、様々な取得(Ne)における所与の座標のピクセルに対して、これらの入力データが前記観測パラメータの前記値に対応する、ステップと、
    - 特徴付けられるべき前記サンプル(E)の少なくとも1つの特徴をそこから抽出するために、前記入力データ(Jx)を使用して前記少なくとも1つのニューラルネットワーク(RNCNN)をトレーニングするステップと、
    - 複数のクラスへの前記入力データの分類を実行するために、前記ニューラルネットワーク(RNCNN)によって抽出された前記少なくとも1つの特徴を使用するステップであって、各クラスが、特徴付けられるべき前記サンプル(E)の少なくとも1つの特徴を表す、ステップとからなるステップを備える方法。
  2. スペクトル画像以外の画像、特に動物、物体、植物、または人間の画像に対して、前記少なくとも1つのニューラルネットワーク(RNCNN)があらかじめトレーニングされた、請求項1に記載の方法。
  3. 仮想画像、特に仮想スペクトル画像に対して、前記少なくとも1つのニューラルネットワーク(RNCNN)があらかじめトレーニングされた、請求項1または2に記載の方法。
  4. 前記少なくとも1つのニューラルネットワーク(RNCNN)が畳み込みニューラルネットワーク(CNN)である、請求項1から3のいずれか一項に記載の方法。
  5. 前記分類が、前記ニューラルネットワークから独立した分類器によって実行される、請求項1から4のいずれか一項に記載の方法。
  6. 前記分類器がサポートベクターマシンである、請求項5に記載の方法。
  7. 前記入力データ(Jx)が、前記取得(Ne)に応じて前記入力データセットの前記値(D'x,y)に対応する曲線を表す画像(IJx)の形態で、前記ニューラルネットワーク(RNCNN)へ送信される、請求項1から6のいずれか一項に記載の方法。
  8. 前記観測パラメータ(D(Nx,Ny,Ne))の前記値に適用される前記少なくとも1つの変換関数が、センタリング関数、正規化関数、および/または平滑化関数である、請求項1から7のいずれか一項に記載の方法。
  9. 前記観測パラメータ(D(Nx,Ny,Ne))の前記値に適用される前記少なくとも1つの変換関数が恒等関数である、請求項1から7のいずれか一項に記載の方法。
  10. 前記入力データ(D'x,y(Ne))を取得するために、1次導関数を計算するための関数が前記観測パラメータ(D(Nx,Ny,Ne))の前記値に適用される、請求項1から8のいずれか一項に記載の方法。
  11. 前記入力データ(D'x,y(Ne))を取得するために、2次導関数を計算するための関数が前記観測パラメータ(D(Nx,Ny,Ne))の前記値に適用される、請求項1から10のいずれか一項に記載の方法。
  12. 前記入力データから抽出される前記少なくとも1つの特徴が、前記サンプル(E)または前記サンプルのいくつかの部分の厚さまたは厚さ範囲、前記サンプルの特性を表す数量、特に塗料の塗りの厚さ、中間層の厚さ、植物の水分ストレスのレベル、植物の色素沈着の変動である、請求項1から11のいずれか一項に記載の方法。
  13. 使用される前記スペクトル画像が、赤外線サーモグラフィによって取得された熱画像であり、前記観測パラメータが、前記サンプル(E)の温度である、請求項1から12のいずれか一項に記載の方法。
  14. 特徴付けられるべき前記サンプル(E)の表面が、前記熱画像の前記取得の前に熱励起される、請求項13に記載の方法。
  15. 特に赤外線サーモグラフィまたはスペクトルイメージングによって、サンプル(E)を特徴付けるためのデバイス(20)であって、
    - 特徴付けられるべき前記サンプル(E)のスペクトル画像のセットを取得するための手段(AQ)、特に熱カメラと、
    ・前記画像のピクセル(N)の複数の座標(x,y)、および複数の取得(Ne)に対して、前記スペクトル画像からの観測パラメータの値(D(Nx,Ny,Ne))の少なくとも1つのボリュームを生成すること、
    ・データ(D(Nx,Ny,Ne))の前記ボリュームから少なくとも1つの入力データセット(D'x,y(Ne))を抽出することであって、少なくとも1つの変換関数がその値に適用されている、様々な取得(Ne)における所与の座標のピクセルに対して、これらの入力データが前記観測パラメータの前記値に対応する、抽出すること
    - が可能なデータ処理モジュール(MAM)と、
    - 特徴付けられるべき前記サンプル(E)の少なくとも1つの特徴をそこから抽出するために、前記入力データを使用して前記少なくとも1つのニューラルネットワークをトレーニングすること、および複数のクラスへの前記入力データの分類を実行するために、前記ニューラルネットワークによって抽出された前記特徴を使用することであって、各クラスが、特徴付けられるべき前記サンプル(E)の特徴を表す、使用することが少なくとも可能な少なくとも1つのニューラルネットワーク(RNCNN)を備える分析モジュール(MP)と
    を備えるデバイス(20)。
  16. スペクトル画像以外の画像、特に動物、物体、植物、または人間の画像に対して、前記少なくとも1つのニューラルネットワーク(RNCNN)があらかじめトレーニングされた、請求項15に記載のデバイス。
  17. 仮想画像、特に仮想スペクトル画像に対して、前記少なくとも1つのニューラルネットワーク(RNCNN)があらかじめトレーニングされた、請求項15または16に記載のデバイス。
  18. 前記ニューラルネットワーク(RNCNN)が、1つもしくは複数の畳み込みレイヤおよび/または1つもしくは複数の全結合レイヤを備える、請求項15から17のいずれか一項に記載のデバイス。
  19. 前記分類を実行するために、前記ニューラルネットワーク(RNCNN)から独立した分類器を備える、請求項15から18のいずれか一項に記載のデバイス。
  20. 特徴付けられるべき前記サンプル(E)を熱励起させるための手段(EX)、特に照明面励起手段、好ましくはフラッシュランプなどのパルス照明面励起手段を備える、請求項15から19のいずれか一項に記載のデバイス。
  21. 前記分析モジュール(MP)と通信する意思決定モジュール(MD)、および前記サンプル(E)に作用することが可能な作用手段(ACT)をさらに備え、前記意思決定モジュールは、前記分析モジュールから取得された分類結果に応じたフィードバックを用いて前記作用手段を自動的に制御すること、および前記サンプルに適したアクションをトリガすることが可能である、請求項15から20のいずれか一項に記載のデバイス。
  22. 前記作用手段(ACT)が、前記分類結果に合わせられた、ある量の生成物を噴霧できる、植物衛生の生成物を農産物に噴霧するためのノズルである、請求項21に記載のデバイス。
  23. サンプル(E)をテストするための方法であって、請求項15から22のいずれか一項に記載の、サンプルを特徴付けるための前記デバイス(20)を用いて、前記分類結果に応じて、特徴付けられるべき前記サンプルに対して実行されるべきアクションを決定することからなる決定を行うことを目的として前記サンプルについての情報を生成することと、特にそれを実施できる作用手段へアクション設定値を送信することとからなるステップを備える方法。
  24. 特に赤外線サーモグラフィまたはスペクトルイメージングによって、そのスペクトル画像があらかじめ取得される特徴付けられるべきサンプル(E)のスペクトル画像のセット、および少なくとも1つのニューラルネットワーク(RNCNN)を使用して、請求項1から14のいずれか一項に記載の、前記サンプルを特徴付けるための方法を実施するためのコンピュータプログラムであって、前記コンピュータプログラムが、媒体と、この媒体上に記憶されたプロセッサ可読命令とを備え、その結果、それらが実行されるとき、
    - 前記画像のピクセル(N)の複数の座標(x,y)、および複数の取得(Ne)に対して、前記スペクトル画像から観測されるパラメータの値(D(Nx,Ny,Ne))の少なくとも1つのボリュームが生成され、
    - 入力データ(D'x,y(Ne))の少なくとも1つのセットが、データ(D(Nx,Ny,Ne))の前記ボリュームから抽出され、少なくとも1つの変換関数がその値に適用されている、様々な取得(Ne)における所与の座標のピクセルに対して、これらの入力データが前記観測パラメータの前記値に対応し、
    - 特徴付けられるべき前記サンプル(E)の少なくとも1つの特徴をそこから抽出するために、前記入力データを使用して前記少なくとも1つのニューラルネットワーク(RNCNN)がトレーニングされ、
    - 複数のクラスへの前記入力データの分類を実行するために、前記ニューラルネットワーク(RNCNN)によって抽出された前記少なくとも1つの特徴が使用され、各クラスが、特徴付けられるべき前記サンプル(E)の少なくとも1つの特徴を表す、
    コンピュータプログラム。
JP2020547304A 2017-12-01 2018-11-30 ニューラルネットワークを使用してサンプルを特徴付けるための方法 Pending JP2021504864A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1761522 2017-12-01
FR1761522A FR3074596B1 (fr) 2017-12-01 2017-12-01 Procede de caracterisation d'echantillons utilisant des reseaux de neurones
PCT/EP2018/083210 WO2019106179A2 (fr) 2017-12-01 2018-11-30 Procede de caracterisation d'echantillons utilisant des reseaux de neurones

Publications (1)

Publication Number Publication Date
JP2021504864A true JP2021504864A (ja) 2021-02-15

Family

ID=62067607

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020547304A Pending JP2021504864A (ja) 2017-12-01 2018-11-30 ニューラルネットワークを使用してサンプルを特徴付けるための方法

Country Status (7)

Country Link
US (1) US11828652B2 (ja)
EP (1) EP3717877A2 (ja)
JP (1) JP2021504864A (ja)
CN (1) CN111630356B (ja)
CA (1) CA3083079A1 (ja)
FR (1) FR3074596B1 (ja)
WO (1) WO2019106179A2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220114256A1 (en) * 2018-12-03 2022-04-14 Mayachitra, Inc. Malware classification and detection using audio descriptors

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3608701A1 (de) * 2018-08-09 2020-02-12 Olympus Soft Imaging Solutions GmbH Verfahren zur bereitstellung wenigstens einer auswertemethode für proben
CN110333260B (zh) * 2019-07-19 2022-07-26 北京锐百凌科技有限公司 防爆高光谱远红外气云成像控制传输及信息处理、定向发布系统
KR102256181B1 (ko) * 2019-12-30 2021-05-27 한국과학기술원 강구조물의 도막 상태 검사 및 평가 방법과 이를 위한 시스템
DE102020205456A1 (de) 2020-04-29 2021-11-04 Volkswagen Aktiengesellschaft Verfahren, Vorrichtung und Computerprogramm zum Erzeugen von Qualitätsinformation über ein Beschichtungsprofil, Verfahren, Vorrichtung und Computerprogramm zum Erzeugen einer Datenbank, Überwachungsgerät
US11393182B2 (en) * 2020-05-29 2022-07-19 X Development Llc Data band selection using machine learning
FR3114653A1 (fr) 2020-09-30 2022-04-01 Antonin VAN EXEM Procede d’analyse de la pollution des sols
FR3117297B1 (fr) * 2020-12-08 2023-05-05 Otodo Procédé d’aide à l’appairage d’un objet domestique connecté avec une unité centralisée
KR20220098313A (ko) * 2020-12-28 2022-07-12 센스타임 인터내셔널 피티이. 리미티드. 화상 인식 방법과 장치, 이미지 생성 방법과 장치 및 신경망의 훈련 방법과 장치
CN113063751B (zh) * 2021-03-25 2022-04-22 司法鉴定科学研究院 一种基于红外光谱成像技术的法医学肺脂肪栓塞分析方法
US20230095405A1 (en) * 2021-09-30 2023-03-30 Zhejiang University Method and system for screening spectral indexes of rice resistant to bacterial blight
CN113984772A (zh) * 2021-10-25 2022-01-28 浙江大学 基于多源数据融合的作物病害信息检测方法、系统及装置
CN114387226A (zh) * 2021-12-23 2022-04-22 中国联合网络通信集团有限公司 大米等级划分方法、装置、设备及存储介质
WO2024051907A1 (en) * 2022-09-06 2024-03-14 Frontier Innovation Aps System of a fleet of surface characterizing device systems
WO2024051906A1 (en) * 2022-09-06 2024-03-14 Frontier Innovation Aps Surface characterizing device system
CN117538658A (zh) * 2023-11-16 2024-02-09 深圳市美信检测技术股份有限公司 基于红外光谱及热成像的人工智能故障定位方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523334A (ja) * 1997-03-25 2001-11-20 アプライド スペクトラル イメージング リミテッド 細胞分類のためのスペクトル生体結像方法
WO2016006113A1 (ja) * 2014-07-11 2016-01-14 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
WO2017002093A1 (en) * 2015-07-02 2017-01-05 Ecorobotix Sàrl Robot vehicle and method using a robot for an automatic treatment of vegetable organisms
JP2017129560A (ja) * 2016-01-22 2017-07-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 複合構造物におけるリンクル特徴付けのための赤外線サーモグラフィ方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6058352A (en) * 1997-07-25 2000-05-02 Physical Optics Corporation Accurate tissue injury assessment using hybrid neural network analysis
ES2390069B1 (es) * 2011-04-06 2013-10-30 Universitat Autònoma De Barcelona Procedimiento de caracterización y clasificación de cálculos renales
CN102621150B (zh) 2012-03-23 2014-02-05 南京航空航天大学 基于灰度共生矩阵和支持向量机的飞机蒙皮损伤识别方法
US10139279B2 (en) 2015-05-12 2018-11-27 BioSensing Systems, LLC Apparatuses and methods for bio-sensing using unmanned aerial vehicles
US10052016B2 (en) * 2015-12-03 2018-08-21 The Cleveland Clinic Foundation Automated clinical evaluation of the eye
CN105760883A (zh) 2016-02-15 2016-07-13 西安科技大学 基于红外热像的带式输送机关键部件自动识别方法
US9865052B2 (en) * 2016-03-18 2018-01-09 Niramai Health Analytix Pvt Ltd Contour-based determination of malignant tissue in a thermal image
CN106022365B (zh) 2016-05-16 2019-04-02 电子科技大学 基于数据融合和rbf神经网络的表面缺陷深度估计方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001523334A (ja) * 1997-03-25 2001-11-20 アプライド スペクトラル イメージング リミテッド 細胞分類のためのスペクトル生体結像方法
WO2016006113A1 (ja) * 2014-07-11 2016-01-14 株式会社ニコン 画像解析装置、撮像システム、手術支援システム、画像解析方法、及び画像解析プログラム
WO2017002093A1 (en) * 2015-07-02 2017-01-05 Ecorobotix Sàrl Robot vehicle and method using a robot for an automatic treatment of vegetable organisms
JP2017129560A (ja) * 2016-01-22 2017-07-27 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ 複合構造物におけるリンクル特徴付けのための赤外線サーモグラフィ方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIABING LENG ET AL.: "Cube-CNN-SVM: A Novel Hyperspectral Image Classification Method", [ONLINE], JPN6022047235, 2016, ISSN: 0005108581 *
R.K. GULATI ET AL.: "A comparison of synthetic and observed spectra for G-K dwarfs using artificial neural networks", [ONLINE], JPN7022005243, 1997, ISSN: 0005108583 *
VALERIU VRABIE ET AL.: "ACTIVE IR THERMOGRAPHY PROCESSING BASED ON HIGHER ORDER STATISTICS FOR NONDESTRUCTIVEEVALUATION", [ONLINE], JPN6022047234, 2012, ISSN: 0005108582 *
WEI HU ET AL.: "Deep Convolutional Neural Networks for Hyperspectral Image Classification", [ONLINE], JPN7022005244, 2015, ISSN: 0005108584 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220114256A1 (en) * 2018-12-03 2022-04-14 Mayachitra, Inc. Malware classification and detection using audio descriptors

Also Published As

Publication number Publication date
WO2019106179A2 (fr) 2019-06-06
CN111630356B (zh) 2023-10-03
CN111630356A (zh) 2020-09-04
FR3074596A1 (fr) 2019-06-07
US11828652B2 (en) 2023-11-28
CA3083079A1 (fr) 2019-06-06
WO2019106179A3 (fr) 2019-07-25
FR3074596B1 (fr) 2019-12-06
US20200333185A1 (en) 2020-10-22
EP3717877A2 (fr) 2020-10-07

Similar Documents

Publication Publication Date Title
US11828652B2 (en) Method for characterising samples using neural networks
Ma et al. Rapid and non-destructive seed viability prediction using near-infrared hyperspectral imaging coupled with a deep learning approach
Serranti et al. Classification of oat and groat kernels using NIR hyperspectral imaging
Saeed et al. Automatic defects detection in CFRP thermograms, using convolutional neural networks and transfer learning
Zhang et al. Principles, developments and applications of computer vision for external quality inspection of fruits and vegetables: A review
Feng et al. Detection of subtle bruises on winter jujube using hyperspectral imaging with pixel-wise deep learning method
Senni et al. On-line automatic detection of foreign bodies in biscuits by infrared thermography and image processing
Dudzik Two-stage neural algorithm for defect detection and characterization uses an active thermography
CN110322429B (zh) 一种基于深度学习的蜂窝复合材料缺陷分类方法
CN108932711A (zh) 图像分析神经网络系统
CN103439342A (zh) 基于热图时序特征的红外无损检测方法
CN111781244B (zh) 基于长短期记忆网络的红外热成像式涂层检测方法
Benmoussat et al. Automatic metal parts inspection: Use of thermographic images and anomaly detection algorithms
Thakur et al. Deep transfer learning based photonics sensor for assessment of seed-quality
Ouyang et al. A novel hyperspectral microscope imaging technology for rapid evaluation of particle size distribution in matcha
Mireei et al. Selecting optimal wavelengths for detection of insect infested tomatoes based on SIMCA-aided CFS algorithm
Hu et al. Study on intelligent and visualization method of ultrasonic testing of composite materials based on deep learning
Shrestha et al. Infrared thermography: philosophy, approaches, analysis—processing, and guidelines
Moradi et al. Rectifying the emissivity variations problem caused by pigments in artworks inspected by infrared thermography: A simple, useful, effective, and optimized approach for the cultural heritage field
Pedrayes et al. Semantic segmentation for non-destructive testing with step-heating thermography for composite laminates
Taylor et al. A methodology for sorting haploid and diploid corn seed using terahertz time domain spectroscopy and machine learning
Mariyam et al. Automatized Food Quality Detection and Processing System Using Neural Networks
García-Allende et al. New raw material discrimination system based on a spatial optical spectroscopy technique
Lopez-Juarez et al. A hybrid non-invasive method for internal/external quality assessment of potatoes
Li et al. Optimizing terahertz waveform selection of a pharmaceutical film coating process using recurrent network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230718