JP2022514054A - 臨床現場即時検査結果の画像を分析するためのシステム及び方法 - Google Patents
臨床現場即時検査結果の画像を分析するためのシステム及び方法 Download PDFInfo
- Publication number
- JP2022514054A JP2022514054A JP2021535316A JP2021535316A JP2022514054A JP 2022514054 A JP2022514054 A JP 2022514054A JP 2021535316 A JP2021535316 A JP 2021535316A JP 2021535316 A JP2021535316 A JP 2021535316A JP 2022514054 A JP2022514054 A JP 2022514054A
- Authority
- JP
- Japan
- Prior art keywords
- image
- test
- neural network
- ann
- artificial neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/8483—Investigating reagent band
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/1032—Determining colour for diagnostic purposes
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
- G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
- G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
- G01N21/80—Indicating pH value
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/52—Use of compounds or compositions for colorimetric, spectrophotometric or fluorometric investigation, e.g. use of reagent paper and including single- and multilayer analytical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/94—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving narcotics or drugs or pharmaceuticals, neurotransmitters or associated receptors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/75—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated
- G01N21/77—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator
- G01N21/78—Systems in which material is subjected to a chemical reaction, the progress or the result of the reaction being investigated by observing the effect on a chemical indicator producing a change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Immunology (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Hematology (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Urology & Nephrology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Food Science & Technology (AREA)
- Biotechnology (AREA)
- Cell Biology (AREA)
- Microbiology (AREA)
- Medicinal Chemistry (AREA)
- Plasma & Fusion (AREA)
- Chemical Kinetics & Catalysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
Abstract
臨床現場(POC)即時検査結果を分析するための遠隔通信ネットワークにおける本発明の方法は、臨床現場(POC)即時検査を行うことと、検査結果を得ることを含む。検査結果からの信号が遠隔通信端末のカメラで検出されて、画像が取得される。画像は、画像の分析のための決定をする人工ニューラルネットワーク(ANN)によって解釈される。解釈された画像の分析の結果は、エンドユーザーのユーザーインターフェースに送信される。臨床現場(POC)即時検査の結果を分析するための本発明のシステムは、臨床現場即時検査の検査結果と、カメラ(2)とユーザーインターフェースを有する端末と、カメラによって撮影された検査結果の画像を解釈するためのソフトウェアを含む。ソフトウェアは、画像を解釈して分析をするために人工ニューラルネットワークを使用する。【選択図】図2
Description
技術分野
本発明は、臨床現場(Point-of-Care, POC)即時検査結果を分析するための方法及びシステムに関する。
本発明は、臨床現場(Point-of-Care, POC)即時検査結果を分析するための方法及びシステムに関する。
背景
臨床現場即時検査(Point-of-Care Testing, POCT)ないしベッドサイド検査は、概し
て、検体を医療検査機関(medical laboratory)に送ってから結果を得るまで数時間から数日待つことなく、患者の看護が行われる時点及び場所で、看護の現場またはその付近で行われる医療診断検査と定義される。
臨床現場即時検査(Point-of-Care Testing, POCT)ないしベッドサイド検査は、概し
て、検体を医療検査機関(medical laboratory)に送ってから結果を得るまで数時間から数日待つことなく、患者の看護が行われる時点及び場所で、看護の現場またはその付近で行われる医療診断検査と定義される。
POCTにはいくつかの定義があるが、確立した共通の定義はない。正確な定義に関わらず、POCTの最も重要な要素は、同一の臨床上の体験における、臨床上の決定を導く結果の迅速な伝達と、検査の完了と、診断後のフォローアップ行為である。したがって、看護の提供者への検査結果の迅速な報告のためのシステムと、検査結果を適切なカウンセリングと治療にリンクするためのメカニズムが、技術それ自体と同程度に重要である。
POC検査結果の出力画面は、目視でまたは結果を画像として読み取るための専用のリー
ダー(読み取り装置)を使用して評価され得る。そのような検査リーダーが使用する画像分析アルゴリズムは、ユーザーに定性的結果、半定量的結果及び定量的結果を提供し得る。
ダー(読み取り装置)を使用して評価され得る。そのような検査リーダーが使用する画像分析アルゴリズムは、ユーザーに定性的結果、半定量的結果及び定量的結果を提供し得る。
検査リーダーにおいて臨床現場即時検査結果の解釈に使用されるアルゴリズムは、計算、データ処理及び自動推論の各タスクを実行することによって検査結果の解釈をどのように解決するかの仕様である。アルゴリズムは、「演算のシークエンスを正確に定義する一連の規則」と定義し得る。アルゴリズムは、指定されたタスクを行うためにコンピュータが実行すべき特定の指令を特定の順序で列挙する。
検査結果の評価のための人工ニューラルネットワーク(ANN)を開発しようとする試み
がこれまでにいくつか行われた。
がこれまでにいくつか行われた。
「Artificial Neural Network Approach in Laboratory Test Reporting」(Am J Clin
Pathol August 2016, 146:227-237, DOI:10.1093/AJCP/AQW104)と題する論文のFerhat Denirci医学博士らによる学習アルゴリズムを数値に基づく検査報告におけるアルゴリズ
ムの使用に関する先行技術文献として提示する。人工ニューラルネットワーク(ANN)を
使用する決定アルゴリズムモデルが測定結果について開発されており、専門家の意思決定の補助に使用し得るが、医療検査結果を直接評価するためには使用されない。
Pathol August 2016, 146:227-237, DOI:10.1093/AJCP/AQW104)と題する論文のFerhat Denirci医学博士らによる学習アルゴリズムを数値に基づく検査報告におけるアルゴリズ
ムの使用に関する先行技術文献として提示する。人工ニューラルネットワーク(ANN)を
使用する決定アルゴリズムモデルが測定結果について開発されており、専門家の意思決定の補助に使用し得るが、医療検査結果を直接評価するためには使用されない。
コンピュータビジョン(computer vision)は、サンプル中の分析対象の量を決定する
ための、例えば、ラテラルフロー検査における、検査ラインの色の強度の測定による定量的結果に有用なツールであることが証明されている。これは、高い再現性で検査ラインの客観的な色の強度の測定値を得るために、検査画像を捕捉し処理することによって行う。
ための、例えば、ラテラルフロー検査における、検査ラインの色の強度の測定による定量的結果に有用なツールであることが証明されている。これは、高い再現性で検査ラインの客観的な色の強度の測定値を得るために、検査画像を捕捉し処理することによって行う。
ラテラルフロー検査の解釈に利用される、スマートフォンの使用のためのソリューションが存在する。Sensors(2015, 15, 29569-29593; doi:10.3390/s151129569)に掲載のAdrian Carrio*、Carlos Sampedro 1、Jose Luis Sanchez-Lopez 1、Miguel Pimienta 2及
びPascual Campoyによる「Automated Low-Cost Smartphone-Based Lateral Flow Saliva Test Reader for Drugs-of-Abuse Detection」と題する論文は、薬物乱用ラテラルフローアッセイ検査のための、ライトボックスとスマートフォンデバイスからなるスマートフォンベースの自動リーダーを提案する。スマートフォンのカメラが捕捉した検査画像をコンピュータビジョンと機械学習の手法を使用する装置で処理して結果の自動抽出を行う。アルゴリズムの開発には、検査画像のセグメンテーション(区分け)が関わり、このセグメンテーションは、区分けされた一片を示す所望の複数の領域を事前処理して検査画像の数値データを取得した後で、分類ステップの実行前である。人工ニューラルネットワーク(ANN)に基づく教師あり機械学習の分類器(classifier)は、多層パーセプトロン(MLP)であり、これが数値の画像データの分類に実行されてきた。
びPascual Campoyによる「Automated Low-Cost Smartphone-Based Lateral Flow Saliva Test Reader for Drugs-of-Abuse Detection」と題する論文は、薬物乱用ラテラルフローアッセイ検査のための、ライトボックスとスマートフォンデバイスからなるスマートフォンベースの自動リーダーを提案する。スマートフォンのカメラが捕捉した検査画像をコンピュータビジョンと機械学習の手法を使用する装置で処理して結果の自動抽出を行う。アルゴリズムの開発には、検査画像のセグメンテーション(区分け)が関わり、このセグメンテーションは、区分けされた一片を示す所望の複数の領域を事前処理して検査画像の数値データを取得した後で、分類ステップの実行前である。人工ニューラルネットワーク(ANN)に基づく教師あり機械学習の分類器(classifier)は、多層パーセプトロン(MLP)であり、これが数値の画像データの分類に実行されてきた。
スマートフォンベースの比色検出システムは、Shenら(Shen L.,Hagen J.A.,Papautsky I.,Lab Chip,2012;12:4240-4243,doi: 10.1039/c2lc40741h)によって開発された
。このシステムは、スマートフォンを較正技術と共に使用して、環境光の変動による測定誤差を補正するPOTの比色検出に関する。
。このシステムは、スマートフォンを較正技術と共に使用して、環境光の変動による測定誤差を補正するPOTの比色検出に関する。
John A. Quinnらによる「Deep Convolutional Neural Networks for Microscopy-Based
Point-of care Diagnostics」と題する論文(ヘルスケアのための機械学習に関する2016年国際会議の学術記録, JMLR W&C Track Volume 56))は、サンプルの画像形成における、畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)を使用した
病原体の特徴識別の学習を提示する。モデルの訓練は、所望の客体の形態での、例えば、厚層血液塗抹画像中のマラリア原虫や、喀痰サンプル中の結核菌等の病原体の位置を含む、アノテーションソフトウェアを使った画像のアノテーション(ラベル付け作業)を必要とする。CNNが完了すると、得られたモデルは、小さな画像パッチを所望の客体を含むま
たは含まないものとして分類できるが、オーバーラップするパッチを特定してしまうため、パッチの特殊な選別が必要である。
Point-of care Diagnostics」と題する論文(ヘルスケアのための機械学習に関する2016年国際会議の学術記録, JMLR W&C Track Volume 56))は、サンプルの画像形成における、畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)を使用した
病原体の特徴識別の学習を提示する。モデルの訓練は、所望の客体の形態での、例えば、厚層血液塗抹画像中のマラリア原虫や、喀痰サンプル中の結核菌等の病原体の位置を含む、アノテーションソフトウェアを使った画像のアノテーション(ラベル付け作業)を必要とする。CNNが完了すると、得られたモデルは、小さな画像パッチを所望の客体を含むま
たは含まないものとして分類できるが、オーバーラップするパッチを特定してしまうため、パッチの特殊な選別が必要である。
免疫測定技術の有効性は、空間的特徴の正確かつ高感度の解釈に依存する。そのため、その器具類の設置に、該技術の進化する要求に応えるための根本的な修正とカスタマイズを要求するようになった。SPIEウェブサイトの生物医学用光学系及び医療用画像形成分野のニュースの、Onur Mudanyali、Justin White、Chieh-I Chen及びNeven Karlovacによる2015年5月8日付論文(「High-sensitivity, imaging-based immunoassay analysis for mobile applications」)DOI:10.1117/2.1201504.005861は、検査機関外の診断に使用される免疫測定検査の感度を向上させる、画像形成ベースの分析を用いるリーダープラットフォームを提示する。このソリューションは、データの収集と解釈のためのスマートフォンベースのリーダーアプリケーションと、リーダーの構成と較正のための検査開発ソフトウェア(TDS)と、検査結果の追跡のためのクラウドデータベースを含む。
発明の目的
本発明の目的は、特殊なリーダーも先進の画像処理も必要とせずに、画像収集の問題を解決して臨床現場即時検査結果を正確に解釈する、検査結果分析のための迅速かつ携帯可能なソリューションである。
本発明の目的は、特殊なリーダーも先進の画像処理も必要とせずに、画像収集の問題を解決して臨床現場即時検査結果を正確に解釈する、検査結果分析のための迅速かつ携帯可能なソリューションである。
用語
「ニューラルネットワーク(Neural Networks)」は、概して、大脳皮質の構造とニュ
ーロン間の相互接続に関する脳の生物学の我々の理解に基づいている。パーセプトロンを基本レベルでいうと、生物学上のニューロンを数理的に表現したものである。大脳皮質におけるのと同様に、パーセプトロンにもいくつかの層があり得る。しかし、生物学上の脳
では任意のニューロンが、所定の物理的距離内で原則として他の全てのニューロンに接続し得るが、これとは違って、これらの人工ニューラルネットワークでは、層、接続及びデータ伝播の方向は不連続である。パーセプトロンは線形分類器である。直線で2つのカテ
ゴリに分離して入力を分類するアルゴリズムである。パーセプトロンは、二項分類(binary classification)を行う(即ち、入力が所望の所定カテゴリに属するか否かを予測す
る)ように意図された単純なアルゴリズムである。
「ニューラルネットワーク(Neural Networks)」は、概して、大脳皮質の構造とニュ
ーロン間の相互接続に関する脳の生物学の我々の理解に基づいている。パーセプトロンを基本レベルでいうと、生物学上のニューロンを数理的に表現したものである。大脳皮質におけるのと同様に、パーセプトロンにもいくつかの層があり得る。しかし、生物学上の脳
では任意のニューロンが、所定の物理的距離内で原則として他の全てのニューロンに接続し得るが、これとは違って、これらの人工ニューラルネットワークでは、層、接続及びデータ伝播の方向は不連続である。パーセプトロンは線形分類器である。直線で2つのカテ
ゴリに分離して入力を分類するアルゴリズムである。パーセプトロンは、二項分類(binary classification)を行う(即ち、入力が所望の所定カテゴリに属するか否かを予測す
る)ように意図された単純なアルゴリズムである。
ニューラルネットワークでは、各ニューロンは、直前層の複数の位置から入力を受け取る。全結合層では、各ニューロンは、直前層の全要素の各々から入力を受け取る。畳み込み層では、ニューロンは、直前層の制限されたサブエリアだけから入力を受け取る。したがって、全結合層において、受容野は直前層全体である。畳み込み層では、受容エリアは直前層全体よりも小さい。
「ディープラーニング(Deep Learning)」は、「深層構造学習」または「階層型学習
」としても知られ、従来の機械学習アルゴリズムと異なる。ディープラーニングアルゴリズムの長所は、インクリメントの方法でデータから高レベルの特徴を学習することにある。これにより、従来のタスク特異的アルゴリズムに必要とされていた特徴抽出が必要なくなった。ディープラーニングは、学習に「多層ニューラルネットワーク(Multilayer Neural Network)」と呼ばれる特定のタイプのアルゴリズムを使用し、これは、1つの入力層と1つの出力層と、これらの間の少なくとも1つの隠れ層から構成される。ディープラーニングネットワークでは、ノードの各層が直前層の出力に基づく別個のセットの特徴について訓練する。
」としても知られ、従来の機械学習アルゴリズムと異なる。ディープラーニングアルゴリズムの長所は、インクリメントの方法でデータから高レベルの特徴を学習することにある。これにより、従来のタスク特異的アルゴリズムに必要とされていた特徴抽出が必要なくなった。ディープラーニングは、学習に「多層ニューラルネットワーク(Multilayer Neural Network)」と呼ばれる特定のタイプのアルゴリズムを使用し、これは、1つの入力層と1つの出力層と、これらの間の少なくとも1つの隠れ層から構成される。ディープラーニングネットワークでは、ノードの各層が直前層の出力に基づく別個のセットの特徴について訓練する。
「人工ニューラルネットワーク(Artificial Neural Networks, ANN)」は、2層より多い層を有するニューラルネットワークであり、入力層、複数の層を含んでいてもよい隠れ層と、出力層という、3つの互いに接続された層に整理される。
「畳み込みニューラルネットワーク(Convolutional Neural Network, CNN)」は、デ
ィープ(深層)フィードフォーワード(順伝播型)人工ニューラルネットワーク(ANN)
の1種であり、可視画像の分析に最も一般的に応用される。CNNは、入力層と出力層と、複数の隠れ層からなる。
ィープ(深層)フィードフォーワード(順伝播型)人工ニューラルネットワーク(ANN)
の1種であり、可視画像の分析に最も一般的に応用される。CNNは、入力層と出力層と、複数の隠れ層からなる。
本発明の概要
臨床現場(POC)即時検査結果を分析するための遠隔通信ネットワークにおける本発明
の方法は、臨床現場(POC)即時検査を行うことと、検査結果を得ることを含む。検査結
果からの信号が遠隔通信端末のカメラで検出されて、画像が取得される。画像は、画像の分析について決定をする人工ニューラルネットワーク(ANN)によって解釈される。解釈
された画像の分析の結果は、エンドユーザーのユーザーインターフェースに送信される。
臨床現場(POC)即時検査結果を分析するための遠隔通信ネットワークにおける本発明
の方法は、臨床現場(POC)即時検査を行うことと、検査結果を得ることを含む。検査結
果からの信号が遠隔通信端末のカメラで検出されて、画像が取得される。画像は、画像の分析について決定をする人工ニューラルネットワーク(ANN)によって解釈される。解釈
された画像の分析の結果は、エンドユーザーのユーザーインターフェースに送信される。
臨床現場(POC)即時検査の結果を分析するための本発明のシステムは、臨床現場即時
検査の検査結果と、カメラとユーザーインターフェースを有する端末と、カメラが撮影した検査結果の画像を解釈するためのソフトウェアを含む。ソフトウェアは、画像の解釈と分析を行うために人工ニューラルネットワークを使用する。
検査の検査結果と、カメラとユーザーインターフェースを有する端末と、カメラが撮影した検査結果の画像を解釈するためのソフトウェアを含む。ソフトウェアは、画像の解釈と分析を行うために人工ニューラルネットワークを使用する。
本発明の好ましい実施態様は、従属請求項の特徴を有する。
そのような実施態様の1つでは、得られた画像は、システムに属するサービスプロバイ
ダが提供するANNを使用してクラウドサービスに送信される。他の実施態様では、得られ
た画像は遠隔通信端末内のアプリケーションによって受け取られる。後者の実施態様にお
いては、画像はさらにクラウドサービスに送信されてサービスプロバイダにおいてANNに
よって解釈されるが、アプリケーションがクラウドサービスへのアクセスを有するか、またはその場でアプリケーションがソフトウェアによる解釈のためのANNを使用する。解釈
された画像の分析は、携帯スマートフォン及び/またはエンドユーザーである医療機関に返信されてもよい。
ダが提供するANNを使用してクラウドサービスに送信される。他の実施態様では、得られ
た画像は遠隔通信端末内のアプリケーションによって受け取られる。後者の実施態様にお
いては、画像はさらにクラウドサービスに送信されてサービスプロバイダにおいてANNに
よって解釈されるが、アプリケーションがクラウドサービスへのアクセスを有するか、またはその場でアプリケーションがソフトウェアによる解釈のためのANNを使用する。解釈
された画像の分析は、携帯スマートフォン及び/またはエンドユーザーである医療機関に返信されてもよい。
得られた画像のカラーバランスは、遠隔通信端末内のアプリケーションによって修正されてもよく、ここで、ソフトウェアが画像形成の対象とする画像の区域の選択もしてもよい。遠隔通信端末は、例えば、携帯スマートフォン、パソコン、タブレットまたはノートパソコンであり得る。
検査結果は可視形式であり、カメラに検出される視覚信号を発する。代替的に、検査結果からの信号は、特定のフィルタを使用して視覚信号に修正される。
人工ニューラルネットワーク(ANN)は、解釈に使用する前にディープラーニングによ
って訓練される。訓練は、POC検査結果の分析のためにANNを使用する前の未加工の形式の画像で行われる。訓練に使用される未加工の画像は、使用された背景、採光、共鳴色及び/または色調の範囲について、これらの差異が解釈に影響しないように、質の異なるものであってもよい。また、異なるカメラからの画像を訓練に使用してもよい。そのような場合には、人工ニューラルネットワーク(ANN)のアルゴリズムは、端末の型式及び/また
はモデル及び/またはカメラの型式等の、使用機器を示すコードでラベル付けした画像を使用して訓練してもよい。
って訓練される。訓練は、POC検査結果の分析のためにANNを使用する前の未加工の形式の画像で行われる。訓練に使用される未加工の画像は、使用された背景、採光、共鳴色及び/または色調の範囲について、これらの差異が解釈に影響しないように、質の異なるものであってもよい。また、異なるカメラからの画像を訓練に使用してもよい。そのような場合には、人工ニューラルネットワーク(ANN)のアルゴリズムは、端末の型式及び/また
はモデル及び/またはカメラの型式等の、使用機器を示すコードでラベル付けした画像を使用して訓練してもよい。
さらにまた、人工ニューラルネットワーク(ANN)のアルゴリズムは、解釈において送
信者情報を考慮してもよく、そのため、送信者情報を使用して訓練されている。
信者情報を考慮してもよく、そのため、送信者情報を使用して訓練されている。
全ての訓練画像と訓練データは、システムに属するデータベースに保存されてもよい。
人工ニューラルネットワーク(ANN)は、分類器であってもよく、それにより、先に診
断された陰性または陽性の結果のペアの分類でラベル付けされた画像を含む訓練データで訓練されてもよい。
断された陰性または陽性の結果のペアの分類でラベル付けされた画像を含む訓練データで訓練されてもよい。
また、人工ニューラルネットワーク(ANN)は、回帰モデルであってもよく、また、POC検査で検査される物質の濃度の割合(percental)値でラベル付けされた画像を含む訓練
データで訓練されてもよく、この割合(percentual)値は、先に診断された検査結果に一致する。これに関連して、画像は、割合値の正規化された値でラベル付けされていてもよく、それにより、正規化が、各割合値をその対数関数に変換することで行われてもよい。さらにまた、割合値はグループに分割されてもよく、そして各グループの値が個別に正規化される。
データで訓練されてもよく、この割合(percentual)値は、先に診断された検査結果に一致する。これに関連して、画像は、割合値の正規化された値でラベル付けされていてもよく、それにより、正規化が、各割合値をその対数関数に変換することで行われてもよい。さらにまた、割合値はグループに分割されてもよく、そして各グループの値が個別に正規化される。
さらにまた、人工ニューラルネットワーク(ANN)は、症状の患者データを分析結果と
組み合わせることによってさらに訓練されてもよい。
組み合わせることによってさらに訓練されてもよい。
本発明は、人工ニューラルネットワーク(ANN)が、畳み込みニューラルネットワーク
(CNN)等のフィードフォーワード人工ニューラルネットワークである場合に特に有利で
ある。そのような畳み込みニューラルネットワーク(CNN)は、本発明においてセマンテ
ィックセグメンテーションによって訓練され、かつ、解釈される画像において所望の区域を指摘するためにこれを使用する。
(CNN)等のフィードフォーワード人工ニューラルネットワークである場合に特に有利で
ある。そのような畳み込みニューラルネットワーク(CNN)は、本発明においてセマンテ
ィックセグメンテーションによって訓練され、かつ、解釈される画像において所望の区域を指摘するためにこれを使用する。
また、人工ニューラルネットワーク(ANN)のアルゴリズムは、好ましくは使用された
臨床現場(POC)即時検査の種類を示すコードでラベル付けされた画像で訓練されている
。
臨床現場(POC)即時検査の種類を示すコードでラベル付けされた画像で訓練されている
。
臨床現場(POC)即時検査は、特に、フロースルー検査、ラテラルフロー検査、薬物ス
クリーニング検査、例えば、ライン、スポットまたはパターンのある試験片(strip)の
形態で検出され得る色または信号を生成するpH検査または酵素検査等であり、検査結果の画像の解釈においてその外観が人工ニューラルネットワーク(ANN)による分析に使用さ
れる。
クリーニング検査、例えば、ライン、スポットまたはパターンのある試験片(strip)の
形態で検出され得る色または信号を生成するpH検査または酵素検査等であり、検査結果の画像の解釈においてその外観が人工ニューラルネットワーク(ANN)による分析に使用さ
れる。
また、臨床現場(POC)は、薬物スクリーニング検査、例えば、ライン、スポットまた
はパターンの形態で検出され得る色または信号を生成するpH検査または酵素検査等であってもよい。
はパターンの形態で検出され得る色または信号を生成するpH検査または酵素検査等であってもよい。
本発明の方法は、ユーザーが現場で行う、臨床現場即時検査結果の分析を意図している。画像は、検査結果から発せられる信号からカメラで撮影されるが、この信号は視覚的なものでも特定のフィルタを使用して可視的に修正されたもののいずれでもよく、例えば、蛍光信号またはその他の目に見えない信号である。カメラは任意の端末内にあってもよく、例えば携帯デバイスであり、好ましくはスマートフォンである。スマートフォンは、好ましくはアプリケーションを有し、これがユーザーの画像の撮影をガイドし、好ましくはサービスプロバイダによって提供されるクラウドサービスへのアクセスを有する。画像は、その場合、解釈のためのサービスに送信されてもよい。解釈は、人工ニューラルネットワーク(ANN)によって行われ、これは好ましくは畳み込みニューラルネットワーク(CNN)であって、検査結果の解釈を行って分析のための決定ができるようにディープラーニングによって訓練されている。その後、分析がエンドユーザーのユーザーインターフェースに送信されてもよい。エンドユーザーは、例えば、患者、患者データシステム、医師またはその他のデータ収集者のいずれであってもよい。
臨床現場即時検査の検査結果(視覚的検査結果であり得る)の分析のための本発明のシステムは、好ましくは携帯デバイス等の端末を含み、これは好ましくは、カメラと、クラウドサービスへのアクセスを有するアプリケーションと、解釈された画像の分析が示されるユーザーインターフェースを有するスマートフォンである。さらに、カメラが撮影した検査結果の画像を解釈するためのソフトウェアを提供する上記のクラウドサービスのサービスプロバイダを含む。ソフトウェアは、画像の解釈のためにディープラーニングによって訓練された人工ニューラルネットワーク(ANN)を使用する。
この文脈において、遠隔通信「端末」は、任意のデバイスまたは機器であり、ここで遠隔通信リンクが終了するとともに、信号がネットワークに入ったり及び/または出たりするポイントである。ネットワーク終端を含みかつ本発明において有用な、そのような機器の例は、携帯スマートフォン等の電話機や、ネットワークデバイス、パソコン、ノートパソコン、タブレット(アイパッド(登録商標)等)及びワークステーション等の無線または有線のコンピュータ端末である。また、画像は、スキャナで取り込まれてコンピュータに送信されることもあり得る。
この文脈において、「カメラ」とは、任意の撮像装置、画像センサ、画像スキャナまたはセンサであって、可視蛍光信号、または特定のフィルタを使用して可視に修正されてもよい信号を含む視覚信号を検出または受け取ることができるものの総称である。そのようなフィルタは、カメラから分離されていてもよく、またはカメラと一体であってもよい。可視に修正されてもよい信号は、紫外線(UV)、赤外線(IR)、非可視蛍光信号及びその他のアップコンバージョンを起こす粒子(UCP)のようなものを含む。いくつかの波長の
蛍光は、例えば、アレイ検出器によっても検出され得る。
蛍光は、例えば、アレイ検出器によっても検出され得る。
「臨床現場即時検査(POCT)」は、技術と、ユーザーと、例えば自宅から病院までの複数の環境の帯として考えてもよい。POCT内におけるターゲットプロダクトプロファイル(TPP)のこの多様性は、POCTが、自宅(TPP1)、地域社会(TPP2)、クリニック(TPP3)
、外部の検査機関(TPP4)及び病院(TPP5)という少なくとも5つの別個独立の複数の環
境において行われてもよいという事実によって説明される。それぞれのレベルで固有の障壁が働いてPOCTの採用と使用を妨げるかもしれない。
、外部の検査機関(TPP4)及び病院(TPP5)という少なくとも5つの別個独立の複数の環
境において行われてもよいという事実によって説明される。それぞれのレベルで固有の障壁が働いてPOCTの採用と使用を妨げるかもしれない。
そのような枠組みでは、デバイスの種類はPOC検査の本質的な特徴ではない。POC検査は、最も単純なディップスティックから複雑高度な自動分子検査、携帯分析器、及び画像形成システムまで様々であり得る。同じラテラルフローアッセイが、例えば、全TPPに渡っ
て使用されることもあり得る。ゆえに、デバイスがTPPを自動的に特徴づけることはない
が、ただし、デバイスによっては、専門職のまたは少なくとも訓練されたユーザーと品質保証メカニズムを必要とし、技術を検査機関や病院に限定する場合があり得るので、ある種のデバイスは直ちにある種のTPPないしユーザーを除外することがあり得る。
て使用されることもあり得る。ゆえに、デバイスがTPPを自動的に特徴づけることはない
が、ただし、デバイスによっては、専門職のまたは少なくとも訓練されたユーザーと品質保証メカニズムを必要とし、技術を検査機関や病院に限定する場合があり得るので、ある種のデバイスは直ちにある種のTPPないしユーザーを除外することがあり得る。
また、検査のエンドユーザーもPOC検査を自動的に特徴づけることはない。同じデバイ
ス(例、ラテラルフローアッセイ)が、訓練されていない(素人の)人々から地域の保健師まで、看護師まで、医師まで及び検査技師まで、全TPPに渡って数人のユーザーによっ
て実行されてもよい。
ス(例、ラテラルフローアッセイ)が、訓練されていない(素人の)人々から地域の保健師まで、看護師まで、医師まで及び検査技師まで、全TPPに渡って数人のユーザーによっ
て実行されてもよい。
エンドユーザーと実際の状況次第で、POC検査の目的も、トリアージや紹介から、診断
、治療及びモニタリングまで様々であり得る。
、治療及びモニタリングまで様々であり得る。
いずれにしても、これらの検査は迅速に結果を提供して、適切な治療法の速やかな開始及び/または診療と紹介の連携の促進を可能にする。最も重要なことは、POC検査が、一
次診療レベルでも及び検査機関のインフラが全くない僻地の状況下でも使用できるほどに、十分に単純なことである。
次診療レベルでも及び検査機関のインフラが全くない僻地の状況下でも使用できるほどに、十分に単純なことである。
POCTは、特に、臨床診断、健康モニタリング、食品安全及び環境に使用される。これには、例えば、血糖検査、血液ガス及び電解質分析、迅速凝固検査、迅速心臓マーカー診断、薬物乱用スクリーニング、尿たんぱく検査、妊娠検査、妊娠モニタリング、便潜血分析、食品病原体スクリーニング、ヘモグロビン診断、感染症検査、炎症状態分析、コレステロールスクリーニング、代謝スクリーニング及びその他多数のバイオマーカー分析が含まれる。
このように、POCTは、主に多様な臨床サンプルから取得され、概して、血液、血清、血漿、唾液、(便、尿及び汗のような)排泄物、体組織及び(腹水、膣液/頸管粘液、羊水及び骨髄液のような)組織液を含む、非感染性の人由来または動物由来の材料と定義される。
臨床現場(POC)即時検査の例は、フロースルー検査またはラテラルフロー検査、薬物
スクリーニング検査であり、例えば、検出され得る色または信号を出すpH検査または酵素検査等である。POC検査は、1以上の分析対象の定量化に使用されてもよい。
スクリーニング検査であり、例えば、検出され得る色または信号を出すpH検査または酵素検査等である。POC検査は、1以上の分析対象の定量化に使用されてもよい。
「フロースルー検査(flow-through test)」または免疫濃縮アッセイ(immunoconcentration assay)」は、診断アッセイの形態の臨床現場即時検査の一種であり、特殊な検査機器や訓練を必要とせずに、通常は、血液等のサンプル中の特定の抗体を使用して、ユーザーがバイオマーカーの存在を迅速に検査できるようにする。フロースルー検査は、イムノストリップ(immunostrip)開発における初期のタイプの1つであったが、ラテラルフロ
ー検査が、その後、イムノストリップの支配的なPOCデバイスとなった。
ー検査が、その後、イムノストリップの支配的なPOCデバイスとなった。
「ラテラルフロー検査(lateral flow test)」は、ラテラルフロー免疫クロマトグラ
フィーアッセイとしても知られる臨床現場即時検査の一種であり、単純な紙ベースのデバイスが、特殊で高価な機器を必要とすることなく液体サンプル(マトリックス)中の目的の分析対象の存在(または不存在)を検出するが、一方で読み取り機器やデジタル機器によってサポートされる検査機関内での応用やリーダーも多く存在する。広く普及している周知の応用は、家庭用妊娠検査である。
フィーアッセイとしても知られる臨床現場即時検査の一種であり、単純な紙ベースのデバイスが、特殊で高価な機器を必要とすることなく液体サンプル(マトリックス)中の目的の分析対象の存在(または不存在)を検出するが、一方で読み取り機器やデジタル機器によってサポートされる検査機関内での応用やリーダーも多く存在する。広く普及している周知の応用は、家庭用妊娠検査である。
ラテラルフローアッセイ(LFA)検査の基本的な性質は、検査用試験片の一端から他端
へと通る流体の受動的流動への依存である。分析対象を含んだサンプルの液体の流動は、(紙等の)多孔性膜の毛管現象によって、外部の力の作用なく達成される。
へと通る流体の受動的流動への依存である。分析対象を含んだサンプルの液体の流動は、(紙等の)多孔性膜の毛管現象によって、外部の力の作用なく達成される。
通常、LF検査は、プラスチック製フィルム上に組み立てられた、ニトロセルロース膜と、吸収パッドと、サンプルパッドと、共役パッドからなる。さもなければ、この検査用試験片の組立体は、機械的支持を提供するプラスチック製ハウジングによって覆われていてもよい。この種のLF検査は、検査用試験片の多孔性の材料を通る液体の流れを可能にする。現在、LF検査の最も一般的な検出方法は、膜上に出る検査ラインの色の形成の視覚的な解釈に基づいている。分析対象の存在下では着色された検出粒子(例えば、ラテックスまたは金コロイド)の濃度で色が形成されるが、分析対象の不存在下では色の形成がない。いくつかの分析対象(例えば、小分子)については、このアセンブリはその逆の(競合とも呼ばれる)色の形成がない場合を分析対象の存在を意味するとしてもよい。
検査結果は、試験片の検出区域に生成される。検出区域は、検査ラインと対照ラインに固定された特定の生物学的成分(大抵の場合は抗体または抗原)を有する(通常ニトロセルロースで構成される)多孔性膜である。その役割は、共役抗体に結合された分析対象と反応することである。それら可視ラインの外観が、検査結果の評価の手段である。出力は、異なる強度で現れるラインによって表現され、目視でまたは専用のリーダーを使用して評価され得る。
ラテラルフローアッセイ(LFA)ベースのPOCデバイスは、定性的分析と定量的分析の両方に使用され得る。ただし、LF検査は、実務では、定性的アッセイまたは半定量的アッセイに限られているので、多くの臨床的に重要なバイオマーカーの検出に必要な分析感度がないかもしれない。また、互換性のあるリーダーがなかったり分析感度が低かったりするため、同じLF検査でいくつかのバイオマーカーを組合わせる(多重化する)ことは難問である。
POCTデバイスと電子医療記録を連結させると、検査結果が即座に医療提供者と共有できるようになる。
ラテラルフローアッセイ検査の定性的結果は、大抵、検査について着色された区域の人間のオペーレータによる視覚的解釈に基づく。このため、主観が入り込むことになり、検査結果の解釈に誤りやバイアスの可能性を生じ得る。
視覚的に検出されるアッセイ信号は、通常LFアッセイの強みと考えられているが、検査結果を読み込んで解釈するための単純で安価な器具に対する需要が拡大している。
目視による解釈だけでは、定量的結果を得ることはできない。これらの検査結果は、主観的解釈にもなりがちであり、不明確なまたは偽りの結果を導くかもしれない。検査を行う条件もまた、視覚的な読み取りの信頼性に影響を与えうる。例えば、急性の状況では、
検査の解釈が、急性の臨床上の状況で慌てているためだけでなく、不十分な採光と客体の動作に妨げられるかもしれない。この理由で、着色された検出粒子に基づくLF検査は、検査の色の形成の強度を測定できる光学式リーダーと組み合わせてもよい。
検査の解釈が、急性の臨床上の状況で慌てているためだけでなく、不十分な採光と客体の動作に妨げられるかもしれない。この理由で、着色された検出粒子に基づくLF検査は、検査の色の形成の強度を測定できる光学式リーダーと組み合わせてもよい。
このように、ラテラルフローアッセイリーダーとして知られる、片手で持てるサイズの診断デバイスが検査結果の自動解釈を提供してもよい。既知の自動の臨床上の分析器は、より信頼できる、結果に一貫性のある解決法を提供するが、通常は携帯できない。
可視光を検出するリーダーは、狭い濃度範囲内の定量化を可能にするが、臨床分析器に比べて分析感度が比較的低い。このため、臨床及びPOCでの将来性が高く期待されるいく
つかの新規なバイオマーカーの検出を除外する。この理由で、器具に補助されるLF検査の最も重要な特徴は向上した検査性能であり、例えば、分析感度、より広い測定範囲、定量化の精度及び正確性である。他のラベル(例えば、蛍光、アップコンバージョンを起こすものまたは赤外線)を使用することにより、LFアッセイにおいて、より高感度で定量的なアッセイを生成し得る。
つかの新規なバイオマーカーの検出を除外する。この理由で、器具に補助されるLF検査の最も重要な特徴は向上した検査性能であり、例えば、分析感度、より広い測定範囲、定量化の精度及び正確性である。他のラベル(例えば、蛍光、アップコンバージョンを起こすものまたは赤外線)を使用することにより、LFアッセイにおいて、より高感度で定量的なアッセイを生成し得る。
本発明におけるPOCのためのさらに有用な検査形式はチップ上に検査機能を有するマイ
クロ流体工学のチップであり、その理由は、単一のチップ上に多くの診断検査の集積を可能にするからである。マイクロ流体工学は、マイクロメートルの大きさのチャネル内の液体の流動を扱う。マイクロ流体工学は、「lab-on-a-chip(チップ上に集積された検査機
能、LOC)」等の応用のための、マイクロ流体工学デバイス内のマイクロチャネル内の流
体の動きを研究する。マイクロ流体チップは、材料(ガラス、シリコンまたはポリジメチルシロキサン(PDMS)等のポリマー)内にエッチングまたは型で成形された一連のマイクロチャネルである。マイクロ流体チップを形成するマイクロチャネルは、所望の特徴(生化学環境の混合、ポンプ、ソートまたは制御)を達成するために一緒に接続される。マイクロ流体工学は、POC診断デバイスのための追加的技術である。LOCに関連する応用を可能にする、マイクロ流体工学の最近の発展がある。
クロ流体工学のチップであり、その理由は、単一のチップ上に多くの診断検査の集積を可能にするからである。マイクロ流体工学は、マイクロメートルの大きさのチャネル内の液体の流動を扱う。マイクロ流体工学は、「lab-on-a-chip(チップ上に集積された検査機
能、LOC)」等の応用のための、マイクロ流体工学デバイス内のマイクロチャネル内の流
体の動きを研究する。マイクロ流体チップは、材料(ガラス、シリコンまたはポリジメチルシロキサン(PDMS)等のポリマー)内にエッチングまたは型で成形された一連のマイクロチャネルである。マイクロ流体チップを形成するマイクロチャネルは、所望の特徴(生化学環境の混合、ポンプ、ソートまたは制御)を達成するために一緒に接続される。マイクロ流体工学は、POC診断デバイスのための追加的技術である。LOCに関連する応用を可能にする、マイクロ流体工学の最近の発展がある。
LOCは、1以上の検査機関の機能を数ミリメートルから数平方センチメートルしかない単一の集積回路(一般的に「チップ」と呼ばれる)に集積して、自動の高スループットのスクリーニングを実現するデバイスである。LOCは、ピコリットル未満の極めて小さい流体
の体積を扱うことができる。LOCデバイスは、微小電気機械システム(MEMS)のデバイス
の一分野である。ただし、「lab-on-a-chip」は、厳密には、概して単一のまたは複数の
検査機能のプロセスをチップの形式にサイズダウンすることを示す。多くのマイクロ流体工学チップは、LF検査において行われる、リーダーによる読み込みの対象となる区域を有する。
の体積を扱うことができる。LOCデバイスは、微小電気機械システム(MEMS)のデバイス
の一分野である。ただし、「lab-on-a-chip」は、厳密には、概して単一のまたは複数の
検査機能のプロセスをチップの形式にサイズダウンすることを示す。多くのマイクロ流体工学チップは、LF検査において行われる、リーダーによる読み込みの対象となる区域を有する。
臨床現場(POC)即時検査がフロースルー検査またはラテラルフロー検査である場合、
検査結果は、着色されたラインを有する、または選択によりスポット及び/またはパターンを使用する試験片の形態で示される。これらのライン、スポットまたはパターンの外観が、検査結果自体の分析の根拠である。本発明は、これらのラインの解釈のためにディープラーニングによって訓練された人工ニューラルネットワーク(ANN)を使用する。人工
ニューラルネットワーク(ANN)は、好ましくは、畳み込みニューラルネットワーク(CNN)等のフィードフォーワード人工ニューラルネットワークである。
検査結果は、着色されたラインを有する、または選択によりスポット及び/またはパターンを使用する試験片の形態で示される。これらのライン、スポットまたはパターンの外観が、検査結果自体の分析の根拠である。本発明は、これらのラインの解釈のためにディープラーニングによって訓練された人工ニューラルネットワーク(ANN)を使用する。人工
ニューラルネットワーク(ANN)は、好ましくは、畳み込みニューラルネットワーク(CNN)等のフィードフォーワード人工ニューラルネットワークである。
本発明は、定性的結果や半定量的結果だけでなく、定量的結果も十分な正確性をもって得られるので、特に、POCラテラルフロー検査の結果の解釈にCNNを使用する場合に有用である。本発明及び定量的結果の取得は、トロポニンI、トロポニンT、コペプチン、CK-MB
、D-ダイマー、FABP3、ガレクチン3、ミエロペルオキシダーゼ、ミオグロビン、NT-proBNP及びproBNP、レニン、S100B及びST2等の迅速心臓バイオマーカー、及びAAT、CRP、カル
プロテクチン、IL-6、IL-8、ラクトフェリン、NGAL、PCT、血清アミロイドA、トランスフェリン及びトリプシノーゲン-2等の炎症状態分析のバイオマーカー、特に、CRP及びカル
プロテクチン、に関連して特に有用である。
、D-ダイマー、FABP3、ガレクチン3、ミエロペルオキシダーゼ、ミオグロビン、NT-proBNP及びproBNP、レニン、S100B及びST2等の迅速心臓バイオマーカー、及びAAT、CRP、カル
プロテクチン、IL-6、IL-8、ラクトフェリン、NGAL、PCT、血清アミロイドA、トランスフェリン及びトリプシノーゲン-2等の炎症状態分析のバイオマーカー、特に、CRP及びカル
プロテクチン、に関連して特に有用である。
ANNまたはCNNは、十分に訓練されていると考えられる場合に分析に使用される。ANNま
たはCNNは既知の参照結果に対してテストされ、その結果が十分に正確である場合に採用
されて使用される。ただし、ANNまたはCNNは、新たな結果によって、例えば、患者の分析済み検査結果を症状にリンクさせることによって絶えず訓練されてもよく、これにより、分析をするための新たな関係を学習する。ユーザーの福利は、症状、健康、食事、運動またはその他の記録のような別のデータ照会に提示されてもよい。
たはCNNは既知の参照結果に対してテストされ、その結果が十分に正確である場合に採用
されて使用される。ただし、ANNまたはCNNは、新たな結果によって、例えば、患者の分析済み検査結果を症状にリンクさせることによって絶えず訓練されてもよく、これにより、分析をするための新たな関係を学習する。ユーザーの福利は、症状、健康、食事、運動またはその他の記録のような別のデータ照会に提示されてもよい。
ラインを使用する代わりに、検査結果がライン以外の他の形態、例えば、スポットの一定のパターンの形態等のパターンの形態やスポットの形態で与えられるようにも設計し得る。
本発明の方法において使用されるANNまたはCNNは、分類と回帰の両方に使用することができる。分類はラベル(「はい」または「いいえ」)を予測し、回帰の値は量を予測する。それゆえ、人工ニューラルネットワークは、分類器であってもよく、陰性結果または陽性結果の決定を示す知覚の1以上の層からなるか、そうでなければ、ANNまたはCNNは決定
を割合値として示す回帰モデルである。分類においては、ANNまたはCNNは画像によって訓練されるが、その画像は先に診断された陰性結果または陽性結果のペアの分類でラベル付けされる。回帰においては、ANNまたはCNNは画像によって訓練されるが、その画像は先に検出されたまたは既知の対応する検査結果に関する割合値でラベル付けされる。
を割合値として示す回帰モデルである。分類においては、ANNまたはCNNは画像によって訓練されるが、その画像は先に診断された陰性結果または陽性結果のペアの分類でラベル付けされる。回帰においては、ANNまたはCNNは画像によって訓練されるが、その画像は先に検出されたまたは既知の対応する検査結果に関する割合値でラベル付けされる。
アノテーションにおいて、画像は、使用された臨床現場(POC)即時検査を示すコード
及び/または、携帯電話の型式及び/またはカメラの型式等の、使用された機器を示すコード、または検出時間、ロット番号および検査有効期間の日付等のその他の種類の情報でラベル付けされ得る。
及び/または、携帯電話の型式及び/またはカメラの型式等の、使用された機器を示すコード、または検出時間、ロット番号および検査有効期間の日付等のその他の種類の情報でラベル付けされ得る。
ANNまたはCNNアルゴリズムは、好ましい実施態様においては、使用された背景、採光、共鳴色、及び/または色調の範囲について、異なるカメラからの画像、及び/または異なる質の画像で訓練されている。
画像収集は、獲得した画像の質がその後の全ての画像処理ステップを左右するので、コンピュータビジョンの応用における極めて重要なステップである。画像は、最良の結果が得られるように、画像の品質とカメラと捕捉される客体の相対的な位置に関する一定の要件を満たさなければならない。携帯デバイスは片手で持つタイプのものであり、したがって検査について固定された位置がなく、これは難問である。さらにまた、携帯デバイスは動的な環境でも使用されるので、これは、照明条件に関わらず再現性のある結果を得るために環境照明が考慮されなければならないことを暗示する。
画像の「カラーバランス」は、異なるカメラで撮影された画像や、異なるコードリーダーによる解釈では異なる場合がある。また、検査ロットのばらつきも異なったカラーバランスをもたらし得る。したがって、本発明のいくつかの実施態様では、遠隔通信端末のアプリケーションのソフトウェアが、色補正のためにホワイトバランスやQRコード補正等のカラーバランス法によって色の強度を調整し得る。
また、本発明のいくつかの実施態様において、遠隔通信端末のアプリケーションのソフトウェアが画像形成の対象物について正しく画像の区域を選択し得る。
画像は品質だけでなく性質にもばらつきがあり得る。また、ラテラルフロー試験片や検査ロット等の検査機器のばらつきにも幅があり得、異なる性質の画像をもたらす性質を有し得る。ANNまたはCNNは、これらの変動に対しても訓練されている。
ANNまたはCNNが訓練される材料が多ければ多いほど、より正確になるのが通常である。訓練は、多くの、例えば、100画像~10,000,000画像と1回~数百万回までのイテレーション(即ち、訓練サイクル)を含み得る。
訓練において、解釈対象の画像はサーバーに送信される。
ANNまたはCNNアルゴリズムは、いくつかの実施態様では、解釈において送信者情報も考慮し得る。
解釈は、ANNまたはCNNにおける、異なる知覚間のイテレーションの結果である。
解釈された画像の分析は、分析結果として、携帯スマートフォン等の遠隔通信端末、及び/または医療機関、医師または他のデータベースまたはエンドユーザーに返信される。
臨床現場即時検査の結果を分析するためのシステムは、臨床現場即時検査の可視検査結果と、携帯スマートフォン等の遠隔通信端末を含む。携帯スマートフォンは、カメラと、クラウドサービスへのアクセスを有するアプリケーションと、解釈された画像の分析が示されるユーザーインターフェースを有する。クラウドサービスのサービスプロバイダは、視覚的カメラが撮影した検査結果の画像を解釈するためのソフトウェアを提供する。ソフトウェアは、画像の解釈が可能なように、ディープラーニングで訓練された人工ニューラルネットワークアルゴリズムを使用する。
さらに、システムは、画像の訓練データを有するデータベースと、先に診断されたとおりの陰性及び陽性結果としてラベル付けされた画像のペアまたは先に検出された通りの若しくは既知の検査結果と対応する割合値でラベル付けされた画像を含む。また、訓練データには、異なるカメラからの画像、背景、及び採光条件も含まれ得る。さらにまた、訓練データは、使用したカメラ、使用した端末/スマートフォン及び/またはインターフェー
スの情報をさらに含む。
スの情報をさらに含む。
本発明の長所は、臨床現場即時検査結果の解釈と、解釈に基づく分析にディープラーニングを使用することである。厳格な規則を使用する従来の機械学習は、例えば、画像とテキストの分類による検査結果画像の解釈に使用されてきたが、本発明は、使用されたディープラーニング法が特徴間の関連を引き出して所定の関連する特徴と最良の結果の間の相関関係を認識するように学習するという点において、そのようなタスクを現実の人間よりもうまく実行することを示す。
本発明は、ディープラーニングを使用して未加工の画像でANN/CNNを直接に、好ましく
はCNNを使って、訓練できるという点において、POC検査結果を分析するための新しいアプローチ(定量化を含む)を提供する。「未加工の画像(raw image)」とは、まだ加工さ
れていないが、カメラのセンサデータから可視画像を生成するのに必要な情報を含む画像を指す用語である。
はCNNを使って、訓練できるという点において、POC検査結果を分析するための新しいアプローチ(定量化を含む)を提供する。「未加工の画像(raw image)」とは、まだ加工さ
れていないが、カメラのセンサデータから可視画像を生成するのに必要な情報を含む画像を指す用語である。
本発明に従う分類のためのラテラルフロー検査において、訓練材料は、検査結果を示す着色ラインの外観に従って陰性または陽性にラベル付けされた検査結果の未加工の画像からなる。未加工の画像は、異なる背景色間、光条件間及び異なるカメラからの結果間を区別することをANN/CNNに教授するための訓練材料を含む。回帰用には、訓練材料は、検査
結果を示す着色ラインの強度に従う割合でラベル付けされた検査結果の未加工の画像からなる。
結果を示す着色ラインの強度に従う割合でラベル付けされた検査結果の未加工の画像からなる。
本発明は、ANN/CNNに、検査結果の画像内において所望の区域を見つけるように教授す
るためのセマンティックセグメンテーションを使用する。分析におけるいくつかの時点で、その画像のどの像点または領域がさらなる処理に関係があるかについて、決定がされる。セマンティックセグメンテーションにおいて、ある画像の各領域は、画像を意味的に有意味な部分に区分けし、かつ、各部分を所定のクラスに分類するためにラベル付けされる。
るためのセマンティックセグメンテーションを使用する。分析におけるいくつかの時点で、その画像のどの像点または領域がさらなる処理に関係があるかについて、決定がされる。セマンティックセグメンテーションにおいて、ある画像の各領域は、画像を意味的に有意味な部分に区分けし、かつ、各部分を所定のクラスに分類するためにラベル付けされる。
本発明において使用されるネットワークは、特徴を検出する「知覚」の複数の層からなる。各層は、それより前の層からの入力の異なる組合せに応答する多くのニューロンを有する。それらの層は、第1の層が入力における一連の原始的なパターンを検出し、第2の層がパターンのパターンを検出し、第3の層がこれらのパターンのパターンを検出する、と
いうように積み重ねられる。パターン認識の4~1000個の別個の層が典型的には使用され
る。
いうように積み重ねられる。パターン認識の4~1000個の別個の層が典型的には使用され
る。
訓練は、意図された出力応答でタグ付けされた代表的な入力パターンの広範な寄せ集めの中の、入力の「ラベル付けされた」データセットを使用して行われる。パターン認識のための伝統的モデルでは、特徴抽出器は、手動で設計される。CNNでは、分類に使用され
る全結合層のほか、特徴抽出に使用される畳み込み層の重みが訓練プロセス中に決定される。本発明において使用されるCNNでは、畳み込み層は手動設計ではない特徴抽出器の役
割を果たす。
る全結合層のほか、特徴抽出に使用される畳み込み層の重みが訓練プロセス中に決定される。本発明において使用されるCNNでは、畳み込み層は手動設計ではない特徴抽出器の役
割を果たす。
さらにまた、解釈された画像は、患者データと組み合わせられてもよく、また、患者の症状を同じ患者の分析結果と組み合わせることでさらなる訓練を行うことができる。
以下、図を参照していくつかの有利な実施態様によって本発明を説明する。本発明は、これらの実施態様の詳細に限定されない。
詳細な説明
図1は、本発明が実施され得るシステムのアーキテクチャを示す図である。
図1は、本発明が実施され得るシステムのアーキテクチャを示す図である。
携帯スマートフォン1は、臨床現場即時検査の検査結果の画像が撮影され得るカメラ2を有する。画像は、携帯スマートフォン1のアプリケーション3に転送される。アプリケーション3は、さらに画像をサービスプロバイダ4によって提供されるクラウドサービスにインターネット5経由で送信する。
クラウドサービスにおいて、撮影された画像は人工ニューラルネットワーク(ANN)6によって解釈されるが、これは分析するための画像の解釈を行うためにディープラーニング
によって訓練されている。人工ニューラルネットワーク(ANN)は、好ましくは畳み込み
ニューラルネットワーク(CNN)である。
によって訓練されている。人工ニューラルネットワーク(ANN)は、好ましくは畳み込み
ニューラルネットワーク(CNN)である。
解釈された画像の分析は、エンドユーザーのユーザーインターフェースに送信される。エンドユーザーは、クラウドサービスが直接リンクでまたはインターネット5経由で接続
された医療システム8であってもよい。また、エンドユーザーは、携帯スマートフォン1のユーザーであってもよく、そのため、インターフェースは、スマートフォン1内にあって
もよく、またはこれへのリンクを有していてもよい。インターフェースは、クラウドサービス内、スマートフォン内、及び/または医療システム内にあり得る。
された医療システム8であってもよい。また、エンドユーザーは、携帯スマートフォン1のユーザーであってもよく、そのため、インターフェースは、スマートフォン1内にあって
もよく、またはこれへのリンクを有していてもよい。インターフェースは、クラウドサービス内、スマートフォン内、及び/または医療システム内にあり得る。
また、クラウドサービスは、患者(patent)データシステム9と検査機関データシステ
ム10を有する医療システム8に接続されていてもよい。接続は、直接リンクでもインター
ネット5経由でもよい。インターフェースは、医療システム8へのリンクを有し得る。
ム10を有する医療システム8に接続されていてもよい。接続は、直接リンクでもインター
ネット5経由でもよい。インターフェースは、医療システム8へのリンクを有し得る。
図2は、本発明の方法がどのように実施され得るかを示す全体的なフロー概要である。
ユーザーが、ステップ1で試験片を使って臨床現場(POC)即時検査を行い、結果が試験片上に可視ラインとして異なる強度で現れる。その可視ラインの外観が分析対象である。代替的に、検査結果は、ラインに替えて、必ずしも目に見えなくてもよい特定のパターン、ラインまたはスポットからなっていてもよく、これが特定のフィルタを使用して目に見えるようにフィルタされるようにしてもよい。
検査結果の試験片の画像は、ステップ2で携帯スマートフォンのカメラで撮影される。
次いでステップ3で、画像が携帯スマートフォン内のアプリケーションに転送される。
ステップ4で、画像は、さらに、アプリケーションからサービスプロバイダによって提
供されるクラウドサービスに送信される。
供されるクラウドサービスに送信される。
ステップ5で、画像は、検査結果の分析について決定をするための解釈についてディー
プラーニングで訓練されている人工ニューラルネットワーク(ANN)、好ましくは畳み込
みニューラルネットワーク(CNN)を使用してクラウドサービスによって解釈される。
プラーニングで訓練されている人工ニューラルネットワーク(ANN)、好ましくは畳み込
みニューラルネットワーク(CNN)を使用してクラウドサービスによって解釈される。
ステップ6で、解釈された画像の分析は、エンドユーザーのユーザーインターフェース
に送信される。
に送信される。
図3は、本発明の方法の、本発明において使用される人工ニューラルネットワーク(ANN)、好ましくは、畳み込みニューラルネットワーク(CNN)が訓練される部分のフロー概
要である。
要である。
まずステップ1で、ラテラルフロー臨床現場即時検査の検査結果の十分な枚数の画像が
、例えばスマートフォン内の、1以上のカメラによって撮影される。そのため、画像は、
背景や採光条件が異なり得るとともに、画像は、異なるスマートフォン内の異なるカメラで撮影され得る。
、例えばスマートフォン内の、1以上のカメラによって撮影される。そのため、画像は、
背景や採光条件が異なり得るとともに、画像は、異なるスマートフォン内の異なるカメラで撮影され得る。
ステップ2で、画像を未加工の形式でスマートフォン内のアプリケーションまたはサー
ビスによって保持されるソフトウェアに送信する。
ビスによって保持されるソフトウェアに送信する。
ステップ3で、ラテラルフロー検査結果の着色ラインを含む未加工の形式の画像内の所
望の領域のラベル付けを行うが、これは同じ画像で異なる背景及び採光条件のものと、異
なるスマートフォン内の異なるカメラを使用して撮影した画像とを使用して、セマンティックセグメンテーション用のソフトウェアによって行う。
望の領域のラベル付けを行うが、これは同じ画像で異なる背景及び採光条件のものと、異
なるスマートフォン内の異なるカメラを使用して撮影した画像とを使用して、セマンティックセグメンテーション用のソフトウェアによって行う。
ステップ4で、画像は、畳み込みニューラルネットワーク(CNN)を教授するために情報でラベル付けされる。
ラベル付けの方法は、CNNが分類モデルと回帰モデルのいずれの作成に使用されるかに
よって異なる。
よって異なる。
分類では、画像は、異なる背景及び採光条件の画像を使用して、所定のクラスに属することに関して陽性(肯定)または陰性(否定)のペアでラベル付けされる。
回帰では、画像は、POC検査において測定された物質の濃度について割合値でラベル付
けされる。割合値は、先に診断された検査結果と一致する。異なる背景及び採光条件の画像が、好ましくはここでも使用される。
けされる。割合値は、先に診断された検査結果と一致する。異なる背景及び採光条件の画像が、好ましくはここでも使用される。
いくつかの回帰の実施態様において、割合値は、より正確な結果を得るために、ラベル付けに使用される値を調整することによって正規化され得る。調整は、例えば、対数正規化によって行われてもよく、ここで、各値がその対数関数に変換され、それにより濃度が対数スケールで与えられる。他の正規化方法もまた実行され得る。
また、値は、多数の異なるグループ(例、濃度区域に基づいて、例、4グループ)に分
割されてもよく、ここで、値の各グループは、異なる方法で正規化されていてもよい。
割されてもよく、ここで、値の各グループは、異なる方法で正規化されていてもよい。
正規化の方法は、POC検査の種類に基づいて選択される。
ステップ5で、データベースにラベル付けした画像を保存する。
ステップ6で、畳み込みニューラルネットワーク(CNN)をラベル付けした画像で訓練する。
ステップ7で、CNNを既知の検査結果でテストし、CNNがどのように処理するかによって
、及び
ステップ6(または追加の訓練材料を得るための全ステップ1~6)を反復することによっ
てステップ8の参照試験における参照と比較して十分良好になるまで追加の訓練材料で訓
練を続けるか、またはステップ9においてCNNが使用できることを確認する。基準は、比較による品質評価のために設定される。
、及び
ステップ6(または追加の訓練材料を得るための全ステップ1~6)を反復することによっ
てステップ8の参照試験における参照と比較して十分良好になるまで追加の訓練材料で訓
練を続けるか、またはステップ9においてCNNが使用できることを確認する。基準は、比較による品質評価のために設定される。
試験例
図4は、本発明に従う畳み込みニューラルネットワーク(CNN)の訓練の結果を例として記載するものである。
図4は、本発明に従う畳み込みニューラルネットワーク(CNN)の訓練の結果を例として記載するものである。
合計で1084個の携帯画像が、Actim社のカルプロテクチン検査の結果から撮影されて、
本発明に従うCNNの訓練に使用された。Actim(登録商標)カルプロテクチン検査は、クローン病や潰瘍性大腸炎等の炎症性腸疾患(IBD)の診断のためのラテラルフローPOC検査である。この検査は半定量的結果に使用することもできる。
本発明に従うCNNの訓練に使用された。Actim(登録商標)カルプロテクチン検査は、クローン病や潰瘍性大腸炎等の炎症性腸疾患(IBD)の診断のためのラテラルフローPOC検査である。この検査は半定量的結果に使用することもできる。
合計で1084個の携帯画像が、Actim社のカルプロテクチン検査の結果から撮影されて、CNNの訓練に使用された。検査を製造メーカーのガイドラインに従って行い、iPhone 7(IP7)とサムソン社のGalaxy S8(S8)の2台の携帯カメラを使用して撮影した。
画像は、データベースに転送され、ラベル付けされてからCNN訓練に使用された。結果
は以下に示す通りである。
は以下に示す通りである。
A) 画像Aに示す通りの検査用試験片中央にマークされたカルプロテクチン検査の分析
領域(即ち、検出区域)を非常に高い統計的信頼性の訓練後にCNNが認めた。偽陰性誤差
は0.06%であり擬陽性誤差は0.02%である。
ここで、偽陰性誤差は、検出区域(are)がない場合に、そのような区域の存在を示す結
果であり、
擬陽性誤差は、存在する検出区域(are)が実際にはあった場合に、存在する検出区域を
示さない結果である。
領域(即ち、検出区域)を非常に高い統計的信頼性の訓練後にCNNが認めた。偽陰性誤差
は0.06%であり擬陽性誤差は0.02%である。
ここで、偽陰性誤差は、検出区域(are)がない場合に、そのような区域の存在を示す結
果であり、
擬陽性誤差は、存在する検出区域(are)が実際にはあった場合に、存在する検出区域を
示さない結果である。
B) 画像Bは、訓練後の回帰の値を示し、ここで、
x軸は訓練後の既知のカルプロテクチン濃度(μg/g)を示し、
y軸は分析後のカルプロテクチン濃度(μg/g)を示す。
x軸は訓練後の既知のカルプロテクチン濃度(μg/g)を示し、
y軸は分析後のカルプロテクチン濃度(μg/g)を示す。
訓練後の既知のカルプロテクチン濃度(μg/g)は、分析後のカルプロテクチン濃度(
μg/g)として示された、分析後の回帰の値と高い相関関係があった。
μg/g)として示された、分析後の回帰の値と高い相関関係があった。
C) 画像Cは、訓練後の回帰の値を示し、ここで、
x軸は訓練後の既知のカルプロテクチン濃度(μg/g)を示し、
y軸は分析後のカルプロテクチン濃度(μg/g)を示す。
x軸は訓練後の既知のカルプロテクチン濃度(μg/g)を示し、
y軸は分析後のカルプロテクチン濃度(μg/g)を示す。
左側の棒はiPhone 7(IP7)スマートフォンのカメラで撮影した画像からの結果であり
、右側の棒はサムソンGalaxy S8スマートフォンのカメラで撮影した画像からの結果であ
る。
、右側の棒はサムソンGalaxy S8スマートフォンのカメラで撮影した画像からの結果であ
る。
相関関係は使用された両方の携帯電話で類似していた。結論として、ここに示される訓練後のCNNアルゴリズムは、高い分析性能、定量的挙動、広い検出範囲で処理を行い、か
つ、使用された携帯カメラから十分に独立している。
つ、使用された携帯カメラから十分に独立している。
まださらに高い精度が要求されるような場合には、本発明の上述の実施態様に異なるカメラの性能を考慮に入れて必要な補正(例えば、カラーバランスについて)を行ってもよい。
図5は、本発明の性能の試験例を示す。
合計30個の便サンプルを製造メーカーの指示書に従ってActim社のカルプロテクチン検
査を使用して分析した。
査を使用して分析した。
Actim社のカルプロテクチン検査の結果を視覚的に、上記で訓練したCNNアルゴリズムを使用して携帯画像から解釈した。
検査結果を2台の携帯カメラ(iPhone 7(IP7)及びサムソンGalaxy S8(S8))を使用
して撮影した。
して撮影した。
携帯の画像をデータベースに転送してCNN分析に使用した。
視覚的にCNNによって分析されたActim社のカルプロテクチン検査の性能を定量的Buhlmann社のfCAL ELISA参照検査を使用して比較した。
結果を以下に示す。
A) 画像Aに示すカルプロテクチン検査の分析領域を完全な統計的信頼性のCNN分析の後に認めたが、調べた30個のサンプル中に検出誤差はなかった。
B) 画像Bは、視覚的解釈を示し、ここで、
x軸は、Actim社のカルプロテクチンによって視覚的に解釈されたカルプロテクチンの濃度(μg/g)を示し、及び
y軸は、参照検査として使用した市販のBuhlmann社のfCAL ELISA検査によって解釈された
カルプロテクチンの濃度(μg/g)を示し、
x軸(Actim社のカルプロテクチン(μg/g))は、y軸(Buhlmann社のfCAL ELISA(μg/g
))の参照検査値と(およそ96.7%の全体的な一致度で)高い相関関係があった。
x軸は、Actim社のカルプロテクチンによって視覚的に解釈されたカルプロテクチンの濃度(μg/g)を示し、及び
y軸は、参照検査として使用した市販のBuhlmann社のfCAL ELISA検査によって解釈された
カルプロテクチンの濃度(μg/g)を示し、
x軸(Actim社のカルプロテクチン(μg/g))は、y軸(Buhlmann社のfCAL ELISA(μg/g
))の参照検査値と(およそ96.7%の全体的な一致度で)高い相関関係があった。
C) 画像Cは、正規化していない(No Norm)、対数正規化した(Log Norm)及び区域正規化した(4PI Norm)CNN訓練アルゴリズムを使用した携帯の分析を示す。
全てのこれらの分析は、Buhlmann社のfCAL ELISAによって分析された参照検査の結果と比較して、統計的に有意な相関関係を示した(確率値P<0.001、***ピアソン両側検定)。
結論として、本発明に従い訓練されたCNNアルゴリズムは、Actim社のカルプロテクチン検査の分析領域(即ち、検出領域)に100%の信頼度を認める。また、Actim社のカルプロ
テクチン検査結果は、視覚的に解釈された場合またはCNN分析と組み合わせた画像形成を
使用して解釈された場合に、Buhlmann社の参照検査と高い相関関係があった。
テクチン検査結果は、視覚的に解釈された場合またはCNN分析と組み合わせた画像形成を
使用して解釈された場合に、Buhlmann社の参照検査と高い相関関係があった。
Claims (33)
- 臨床現場(POC)即時検査結果を前記検査結果の画像を解釈する人工ニューラルネット
ワーク(ANN)を使用することによって分析するための遠隔通信ネットワークにおける方
法であって、前記方法において前記人工ニューラルネットワーク(ANN)は、畳み込みニ
ューラルネットワーク(CNN)であるフィードフォーワード人工ニューラルネットワーク
であり、前記方法は、
a) 未加工の形式の画像を所望の区域と先に診断された検査結果の情報でラベル付けして、前記ラベル付けされた画像をデータベースに保存することと、
b) 前記畳み込みニューラルネットワーク(CNN)を前記ラベル付けされた画像で訓練
することと、
c) 臨床現場(POC)即時検査を行って検査結果を得ることと、
d) 信号を前記検査結果から遠隔通信端末のカメラ(2)で検出して、画像を取得する
ことと、
e) 解釈対象の前記画像における所望の区域を指摘して前記画像の分析について決定する前記畳み込みニューラルネットワーク(CNN)によって、前記画像を解釈することと、
f) 前記解釈された画像の前記分析の結果をエンドユーザーのユーザーインターフェースに送信すること
を含む、方法。 - ステップbで得られた前記画像が、サービスプロバイダによって提供される前記ANNを使用してクラウドサービス(6)に送信される、請求項1に記載の方法。
- ステップbで得られた前記画像が、前記遠隔通信端末内のアプリケーション(3)によって受け取られる、請求項1または2に記載の方法。
- ステップbで得られた前記画像が、前記遠隔通信端末内のアプリケーション(3)によって受け取られ、かつ、前記アプリケーション(3)が前記ANNを使用する、請求項1に記載
の方法。 - 得られた前記画像のカラーバランスが、前記アプリケーション(3)によって補正され
る、請求項3または4に記載の方法。 - 前記遠隔通信端末の前記アプリケーション(3)におけるソフトウェアが、前記画像形
成の対象とする前記画像の前記区域を選択する、請求項3~5のいずれかに記載の方法。 - 前記遠隔通信端末が、携帯スマートフォン(1)、パソコン、タブレットまたはノート
パソコンである、請求項1~6のいずれかに記載の方法。 - 前記臨床現場(POC)即時検査が、パターン、スポットまたは着色ラインを有する試験
片の形態で前記検査結果を示すフロースルー検査またはラテラルフロー検査であって、前記検査結果の前記画像の前記解釈において、その外観が前記人工ニューラルネットワーク(ANN)による前記分析に使用される、請求項1~7のいずれかに記載の方法。 - 前記臨床現場(POC)即時検査が、ライン、スポットまたはパターンの形態で検出され
得る色または信号を生成するpH検査または酵素検査等の薬物スクリーニング検査である、請求項1~7のいずれかに記載の方法。 - 前記検査結果が、可視形式であり、前記カメラ(2)によって検出される視覚信号を発
する、請求項1~9のいずれかに記載の方法。 - 前記検査結果からの前記信号が、可視でなく、特定のフィルタを使用して視覚信号に修正される特定のパターン、ラインまたはスポットからなる、請求項1~9のいずれかに記載の方法。
- 前記人工ニューラルネットワーク(ANN)のアルゴリズムが、使用された背景、採光、
共鳴色、及び/または色調の範囲について異なる質の未加工の画像で訓練されている、請求項1~11のいずれかに記載の方法。 - 前記人工ニューラルネットワーク(ANN)のアルゴリズムが、異なるカメラからの画像
で訓練されている、請求項1~12のいずれかに記載の方法。 - 前記人工ニューラルネットワーク(ANN)のアルゴリズムが、使用された臨床現場(POC)即時検査の種類を示すコードでラベル付けされた画像で訓練されている、請求項1~13
のいずれかに記載の方法。 - 前記人工ニューラルネットワーク(ANN)のアルゴリズムが、端末の型式及び/または
モデル及び/またはカメラの型式等の、使用された機器を示すコードでラベル付けされた画像で訓練されている、請求項1~14のいずれかに記載の方法。 - 前記人工ニューラルネットワーク(ANN)が、分類器であり、先に診断された陰性また
は陽性結果のペアの分類でラベル付けされた画像によって訓練される、請求項1~15のい
ずれかに記載の方法。 - 前記人工ニューラルネットワーク(ANN)が、回帰モデルであり、前記POC検査の検査対象である物質の濃度について、先に診断された検査結果と一致する割合値でラベル付けされた画像によって訓練される、請求項1~15のいずれかに記載の方法。
- 前記画像が、前記割合値の正規化された値でラベル付けされる、請求項17に記載の方法。
- 前記正規化が、各割合値をその対数関数に変換することによって行われる、請求項18に記載の方法。
- 前記割合値がグループに分割され、かつ、各グループの前記値が個別に正規化される、請求項18に記載の方法。
- 前記人工ニューラルネットワーク(ANN)が、症状の患者データを分析結果と組み合わ
せることによってさらに訓練される、請求項1~20のいずれかに記載の方法。 - 前記畳み込みニューラルネットワーク(CNN)が、解釈の対象の前記画像における所望
の前記区域を指摘するためのセマンティックセグメンテーションによって訓練され、かつこれを使用する、請求項1~21のいずれかに記載の方法。 - 前記解釈された画像の前記分析が、前記携帯スマートフォン及び/または前記エンドユーザーである医療機関に返信される、請求項1~22のいずれかに記載の方法。
- 臨床現場(POC)即時検査の結果を分析するためのシステムであって、前記システムが
、
前記臨床現場即時検査の検査結果と、
所望の区域と先に診断された検査結果の情報でラベル付けされた未加工の形式の画像を保存するデータベースと、
カメラ(2)と、ユーザーインターフェースを有する端末と、
前記カメラ(2)によって撮影された前記検査結果の画像を解釈するためのソフトウェ
アを含み、
前記ソフトウェアが、解釈対象の前記画像内の所望の区域を指摘して前記画像の分析のための決定をすることによって前記画像の解釈をするために、人工ニューラルネットワーク(ANN)を使用する前記システムにおいて、前記人工ニューラルネットワーク(ANN)が、畳み込みニューラルネットワーク(CNN)であるフィードフォーワード人工ニューラル
ネットワークである、システム。 - 前記カメラ(2)によって撮影された前記検査結果の画像を解釈するために、前記人工
ニューラルネットワーク(ANN)を使用する前記ソフトウェアを提供するクラウドサービ
ス(6)を有するサービスプロバイダ(4)をさらに含む、請求項24に記載のシステム。 - 前記カメラによって撮影された前記検査結果の画像を解釈するために、前記人工ニューラルネットワーク(ANN)を使用する前記ソフトウェアを有するアプリケーション(3)をさらに含む、請求項24に記載のシステム。
- 前記端末が、前記クラウドサービスへのアクセスを有するアプリケーションを有する、請求項26に記載のシステム。
- 前記遠隔通信端末が、携帯スマートフォン(1)、パソコン、タブレットまたはノート
パソコンである、請求項24~27のいずれかに記載のシステム。 - 前記臨床現場即時検査が、ライン、スポットまたはパターンを有する試験片の形態で検出され得る色または信号を生成するpH検査または酵素検査等のフロースルー検査、ラテラルフロー検査、薬物スクリーニング検査であって、その外観が、前記検査結果の前記画像の解釈において、前記人工ニューラルネットワーク(ANN)による前記分析に使用される
、請求項24~28のいずれかに記載のシステム。 - 前記検査結果が、可視形式であり、前記カメラ(2)によって検出される視覚信号を発
する、請求項24~29のいずれかのいずれかに記載のシステム。 - 前記検査結果を視覚信号に修正するための1以上の特定のフィルタをさらに含む、請求
項24~30のいずれかに記載のシステム。 - 前記人工ニューラルネットワーク(ANN)が、分類器であり、陰性結果または陽性結果
の決定を示す知覚の1以上の層からなる、請求項24~31のいずれかに記載のシステム。 - 前記人工ニューラルネットワーク(ANN)が、決定を割合値として示す回帰モデルであ
る、請求項24~32のいずれかに記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FI20186112A FI20186112A1 (en) | 2018-12-19 | 2018-12-19 | SYSTEM AND METHOD FOR ANALYZING THE RESULT OF THE CARE SITE TEST |
FI20186112 | 2018-12-19 | ||
PCT/FI2019/050800 WO2020128146A1 (en) | 2018-12-19 | 2019-11-11 | System and method for analysing the image of a point-of-care test result |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022514054A true JP2022514054A (ja) | 2022-02-09 |
Family
ID=68621329
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021535316A Pending JP2022514054A (ja) | 2018-12-19 | 2019-11-11 | 臨床現場即時検査結果の画像を分析するためのシステム及び方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20210287766A1 (ja) |
EP (1) | EP3899504A1 (ja) |
JP (1) | JP2022514054A (ja) |
KR (1) | KR20210104857A (ja) |
CN (1) | CN113286999A (ja) |
BR (1) | BR112021010970A2 (ja) |
CA (1) | CA3124254A1 (ja) |
FI (1) | FI20186112A1 (ja) |
WO (1) | WO2020128146A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020256041A1 (ja) * | 2019-06-19 | 2020-12-24 | 合同会社H.U.グループ中央研究所 | プログラム、検査装置、情報処理装置及び情報処理方法 |
GB2583149B (en) * | 2019-07-19 | 2021-03-17 | Forsite Diagnostics Ltd | Assay reading method |
CN115151275A (zh) | 2019-08-30 | 2022-10-04 | 耶鲁大学 | 用于向细胞递送核酸的组合物和方法 |
US20220003754A1 (en) * | 2020-07-01 | 2022-01-06 | Neil Mitra | Two dimensional material based paper microfluidic device to detect and predict analyte concentrations in medical and non-medical applications |
US10991185B1 (en) | 2020-07-20 | 2021-04-27 | Abbott Laboratories | Digital pass verification systems and methods |
WO2022086945A1 (en) * | 2020-10-19 | 2022-04-28 | Safe Health Systems, Inc. | Imaging for remote lateral flow immunoassay testing |
CN112964712A (zh) * | 2021-02-05 | 2021-06-15 | 中南大学 | 一种快速检测沥青路面状态的方法 |
WO2022169764A1 (en) * | 2021-02-05 | 2022-08-11 | BioReference Health, LLC | Linkage of a point of care (poc) testing media and a test result form using image analysis |
GB202106143D0 (en) * | 2021-04-29 | 2021-06-16 | Adaptive Diagnostics Ltd | Determination of the presence of a target species |
WO2023034441A1 (en) * | 2021-09-01 | 2023-03-09 | Exa Health, Inc. | Imaging test strips |
KR20230034053A (ko) * | 2021-09-02 | 2023-03-09 | 광운대학교 산학협력단 | 딥러닝 기반 분석 결과 예측 방법 및 장치 |
WO2024058319A1 (ko) * | 2022-09-16 | 2024-03-21 | 주식회사 켈스 | 영상 정보를 기반으로 감염 상태 정보를 생성하는 장치 및 방법 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8655009B2 (en) * | 2010-09-15 | 2014-02-18 | Stephen L. Chen | Method and apparatus for performing color-based reaction testing of biological materials |
WO2015022318A1 (en) * | 2013-08-13 | 2015-02-19 | Anitest Oy | Test method for determining biomarkers |
CN105488534B (zh) * | 2015-12-04 | 2018-12-07 | 中国科学院深圳先进技术研究院 | 交通场景深度解析方法、装置及系统 |
US10460231B2 (en) * | 2015-12-29 | 2019-10-29 | Samsung Electronics Co., Ltd. | Method and apparatus of neural network based image signal processor |
CN205665697U (zh) * | 2016-04-05 | 2016-10-26 | 陈进民 | 基于细胞神经网络或卷积神经网络的医学影像识别诊断系统 |
US10049284B2 (en) * | 2016-04-11 | 2018-08-14 | Ford Global Technologies | Vision-based rain detection using deep learning |
US20180136140A1 (en) * | 2016-11-15 | 2018-05-17 | Jon Brendsel | System for monitoring and managing biomarkers found in a bodily fluid via client device |
EP3612963B1 (en) * | 2017-04-18 | 2021-05-12 | Yeditepe Universitesi | Biochemical analyser based on a machine learning algorithm using test strips and a smartdevice |
CN108446631B (zh) * | 2018-03-20 | 2020-07-31 | 北京邮电大学 | 基于卷积神经网络的深度学习的智能频谱图分析方法 |
US11250601B2 (en) * | 2019-04-03 | 2022-02-15 | University Of Southern California | Learning-assisted multi-modality dielectric imaging |
-
2018
- 2018-12-19 FI FI20186112A patent/FI20186112A1/en not_active Application Discontinuation
-
2019
- 2019-11-11 BR BR112021010970-6A patent/BR112021010970A2/pt not_active Application Discontinuation
- 2019-11-11 CN CN201980084328.7A patent/CN113286999A/zh active Pending
- 2019-11-11 JP JP2021535316A patent/JP2022514054A/ja active Pending
- 2019-11-11 WO PCT/FI2019/050800 patent/WO2020128146A1/en unknown
- 2019-11-11 CA CA3124254A patent/CA3124254A1/en active Pending
- 2019-11-11 KR KR1020217022845A patent/KR20210104857A/ko unknown
- 2019-11-11 EP EP19806306.7A patent/EP3899504A1/en active Pending
-
2021
- 2021-06-02 US US17/336,425 patent/US20210287766A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20210104857A (ko) | 2021-08-25 |
WO2020128146A1 (en) | 2020-06-25 |
US20210287766A1 (en) | 2021-09-16 |
FI20186112A1 (en) | 2020-06-20 |
EP3899504A1 (en) | 2021-10-27 |
CA3124254A1 (en) | 2020-06-25 |
CN113286999A (zh) | 2021-08-20 |
BR112021010970A2 (pt) | 2021-09-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210287766A1 (en) | System and method for analysing the image of a point-of-care test result | |
US20210172945A1 (en) | System for analyzing quantitative lateral flow chromatography | |
US9619627B2 (en) | Systems and methods for collecting and transmitting assay results | |
US9322767B2 (en) | Device for performing a blood, cell, and/or pathogen count and methods for use thereof | |
US20140335505A1 (en) | Systems and methods for collecting and transmitting assay results | |
US11468991B2 (en) | System and method for machine learning application for providing medical test results using visual indicia | |
US10835122B2 (en) | System and method for image processing of medical test results using generalized curve field transform | |
CA2901016A1 (en) | Systems and methods for collecting and transmitting assay results | |
KR102091832B1 (ko) | 멀티미디어 정보를 이용한 휴대용 체외진단키트 해석장치 | |
Soda et al. | A multiple expert system for classifying fluorescent intensity in antinuclear autoantibodies analysis | |
US20190257822A1 (en) | Secure machine readable code-embedded diagnostic test | |
Jing et al. | A novel method for quantitative analysis of C-reactive protein lateral flow immunoassays images via CMOS sensor and recurrent neural networks | |
Duan et al. | Deep learning-assisted ultra-accurate smartphone testing of paper-based colorimetric ELISA assays | |
Gonzalez et al. | Clinical update on home testing for male fertility | |
Lee et al. | Sample-to-answer platform for the clinical evaluation of COVID-19 using a deep learning-assisted smartphone-based assay | |
Khan et al. | Artificial intelligence in point-of-care testing | |
US20210382052A1 (en) | Serodiagnostic testing device and system for early-stage lyme disease using a multiplexed immunoassay | |
US20170329935A1 (en) | Systems and Methods for Collecting and Transmitting Assay Results | |
Yu et al. | Patient-level performance evaluation of a smartphone-based malaria diagnostic application | |
WO2020242993A1 (en) | Computational sensing with a multiplexed flow assays for high-sensitivity analyte quantification | |
CN110243823B (zh) | 基于支持向量机的小儿佝偻病自动筛查装置及其使用方法 | |
WO2022123069A1 (en) | Image classification of diagnostic tests | |
FI20205774A1 (en) | SYSTEMS AND PROCEDURES FOR ANALYSIS OF THE RESULTS OF A PATIENT TEST | |
Zeb et al. | Towards the Selection of the Best Machine Learning Techniques and Methods for Urinalysis | |
Iqbal et al. | Smartphone Integration with Point-of-Care Devices for Disease Diagnostics |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210810 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20210810 |