JP2022093314A - 画像復元を応用する光学システム及び光学画像処理方法 - Google Patents
画像復元を応用する光学システム及び光学画像処理方法 Download PDFInfo
- Publication number
- JP2022093314A JP2022093314A JP2021200745A JP2021200745A JP2022093314A JP 2022093314 A JP2022093314 A JP 2022093314A JP 2021200745 A JP2021200745 A JP 2021200745A JP 2021200745 A JP2021200745 A JP 2021200745A JP 2022093314 A JP2022093314 A JP 2022093314A
- Authority
- JP
- Japan
- Prior art keywords
- image
- optical
- diffraction signal
- optical diffraction
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 114
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000012545 processing Methods 0.000 claims abstract description 42
- 230000005540 biological transmission Effects 0.000 claims abstract description 7
- 238000001514 detection method Methods 0.000 claims description 64
- 238000000605 extraction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000008878 coupling Effects 0.000 claims description 6
- 238000010168 coupling process Methods 0.000 claims description 6
- 238000005859 coupling reaction Methods 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 5
- 239000008280 blood Substances 0.000 claims description 5
- 230000008034 disappearance Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 239000013307 optical fiber Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 239000010410 layer Substances 0.000 description 19
- 238000012549 training Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000011176 pooling Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012634 optical imaging Methods 0.000 description 5
- 210000000601 blood cell Anatomy 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 210000003743 erythrocyte Anatomy 0.000 description 2
- 210000000265 leukocyte Anatomy 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 208000035473 Communicable disease Diseases 0.000 description 1
- 208000001894 Nasopharyngeal Neoplasms Diseases 0.000 description 1
- 206010061306 Nasopharyngeal cancer Diseases 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000005945 translocation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- High Energy & Nuclear Physics (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Microscoopes, Condenser (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
【課題】本発明は、画像復元を応用する光学システムに関する。
【解決手段】該光学システムは、光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置を含む。ピンホールは、該光源の光伝達経路に設けられ、検出プラットホームは、該光源の該光伝達経路に設けられ、かつ該ピンホールが該光源と該検出プラットホームとの間に位置し、該検出プラットホームは、検出サンプルを放置する。画像検知器は、検出プラットホームの下方に設けられ、かつ検出サンプルを検出して光学回折信号を出力する。画像処理装置は、画像検知器に電気接続され、検出サンプルの光学回折信号に対して信号処理及び光学信号識別を行って検出サンプルの高画質画像を取得する。
【選択図】図１
【解決手段】該光学システムは、光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置を含む。ピンホールは、該光源の光伝達経路に設けられ、検出プラットホームは、該光源の該光伝達経路に設けられ、かつ該ピンホールが該光源と該検出プラットホームとの間に位置し、該検出プラットホームは、検出サンプルを放置する。画像検知器は、検出プラットホームの下方に設けられ、かつ検出サンプルを検出して光学回折信号を出力する。画像処理装置は、画像検知器に電気接続され、検出サンプルの光学回折信号に対して信号処理及び光学信号識別を行って検出サンプルの高画質画像を取得する。
【選択図】図１
Description
本発明は、光学システム及び光学画像処理方法に関し、特に、ディープラーニングによる画像復元を応用する光学システム及び光学画像処理方法に関する。
光学顕微鏡は、工学物理学や、生物医学などの分野において重要な役割を果たし、光学顕微鏡により、肉眼で見えない表面構成、細胞又は微生物などを観察でき、検査医学において、各病院が疾患を診断する時に、光学イメージング技術に非常に依存し、例えば、各類型の癌及び感染症について、いずれも、生体組織診断又は血液塗抹標本により細胞状態が病変であるか否かを評価する。しかしながら、現在の光学イメージングプラットホームの複雑性及び高いコストにより、その実際応用が制限され、必ず、専門的な訓練を受けた実験室の人員により操作され、特に、辺ぴな地域及び資源が有限である地域に、光学イメージングプラットホームの幅広い応用を制限した。
ディープラーニングは、大量のデータを利用して構築される演算モデルを訓練してデータ特徴を抽出するラーニング方式であり、訓練データセットのデータ量は、訓練効果を決める重要な条件であり、訓練セットのデータが不足すると、訓練されたネットワークモデルは、訓練したデータを精確的に予測できるが、未知のデータを予測する時に、訓練セットを予測する時の正確率よりも遥かに低く、このような情況を過剰適合（Ｏｖｅｒｆｉｔｔｉｎｇ）と称し、特に、生物医学の関連分野において、非常に大きなデータセットを取得し難く、データ量が不足する問題を解決するために、データ拡張（Ｄａｔａ Ａｕｇｍｅｎｔａｔｉｏｎ）は、この問題を解決するための重要な手段になっている。
ラーニング技術における光学イメージングプラットホームの複雑性及び高いコストにより、その実際応用が制限され、特に、生物医学の関連分野においてデータ量が不足する問題を解決する必要がある。従って、一般的なレンズレスの光学画像技術を応用し、かつデータ拡張を組み合わせて、顕微システムを超小型化させ、かつ画像視野を大幅に向上できる機能を有する必要がある。
本発明は、顕微システムを超小型化し、画像視野を大幅に向上する機能を有し、かつディープラーニング演算法により画像再構成を行い、かつ自動識別機能を実行することができるレンズレスの光学画像復元システム及び演算方法を提供することを目的としている。
本発明は、光学レンズがなくてディープラーニング演算法により画像再構成を行い、かつ自動識別機能を実行できるディープラーニングの画像復元技術を応用する光学画像処理方法を提供することを別の目的としている。
上記目的によれば、本発明は、画像復元を応用する光学システムを開示し、光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置を含む。ピンホールは、該光源の光伝達経路に設けられ、検出プラットホームは、該光源の該光伝達経路に設けられ、かつ該ピンホールが該光源と該検出プラットホームとの間に位置し、該検出プラットホームは、検出サンプルを放置する。画像検知器は、検出プラットホームの下方に設けられ、かつ検出サンプルを検出して光学回折信号を出力する。画像処理装置は、画像検知器に電気接続され、検出サンプルの光学回折信号に対して信号処理及び光学信号識別を行って検出サンプルの高画質画像を取得する。
上記目的によれば、本発明は、画像復元を応用する光学画像処理方法を開示し、検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行い、検出対象の検出サンプルを検出プラットホームに載置し、光源調光とピンホールを介して、画像検知器により前記検出サンプルの光学回折信号を検知し、画像特徴抽出モジュールにより検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、検出サンプルの光学回折信号の複数の画像特徴を抽出し、画像再構成モジュールにより、残差ネットワークモジュールが抽出する光学回折信号の複数の画像特徴に基づいてアンサンプリングし、検出サンプルの光学回折信号の元の解像度を復元し、直列連結モジュールにより、検出サンプルの複数の画像特徴を融合し、高画質画像を取得することを含む。
本発明は、以下のメリットを有する。本発明のレンズレスの光学画像復元システム及び演算方法によれば、従来の高価な光学顕微鏡に代ることができ、短い時間に最終の画像再構成結果を取得することができ、かつ画像の解像度及び識別度は、光学顕微鏡の効果に近似し、かつ比較的大きな可視視野を有する。
以下、図面及び本発明のこの好ましい実施例を組み合わせて、本発明が所定の目的を達成するために採用する技術的手段を説明する。
図１は、本発明に係る画像復元を応用する光学システムの模式図である。図１に示すように、本発明に係る画像復元を応用する光学システム１０は、主に、光源１１と、ピンホール１２と、検出プラットホーム１３と、画像検知器１４と、画像処理装置１５とを含む。
光源１１は、発光ダイオード（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ、ＬＥＤ）などであってもよく、かつ選択される光源１１は、波長変更可能であり、或いは広波長の光源（例えば、白光など）を使用することができ、かつ本発明に係る光学システム１０には、さらにフィルターレンズが設けられて波長を選択し、しかし、それに限定されていない。ピンホール１２は、光源１１の光伝達経路に設けられ、光学式ピンホールであってもよく、ピンホール１２のサイズがミクロングレードであり、マイクロメートルのピンホール又は光ファイバなどにより構成されることができる。検出プラットホーム１３は、ピンホール１２の下方に設けられ、かつピンホール１２を通過する光の伝達経路に位置し、検出対象の検出サンプルが検出プラットホーム１３に設けられ、検出サンプルが生体組織切片又は血液塗抹標本であってもよいが、それに限定されていない。光源１１は、光をピンホール１２に伝達して光を検出プラットホーム１３に収束して伝達し、光は、検出プラットホーム１３に置かれる検出サンプルを通過し、その後に画像検知器１４により検出サンプルの画像を検知する。画像検知器１４が検知する検出サンプルの画像は、回折写真であり、その解像度及び鮮明度は、医学検査に適用しないので、画像検知器１４により取得する検出サンプルの画像をさらに画像処理する必要があり、それにより、その画像の解像度及び鮮明度が医学検査用の標準に達する。
例を挙げて、本発明は、サンプル目標物の形態、撮影する時の角度差、光学回折信号の再構成などの面に基づいて、選択されるデータ拡張方式が、画像の平行移動、回転、反転を含む。平行移動とは、画像を入力画像サイズの１０パーセント以下の範囲に上下左右へランダム的に水平移動させ、回転とは、画像の中心点から３６０度内のランダム的な角度で画像を回転させ、反転とは、画像を左右又は上下に鏡像反転させ、ディープラーニング画像再構成モデルが実際に訓練される演算プローには、入力する光学回折信号及び該画像に対応する従来の顕微鏡での画像は、それぞれの訓練周期に新たなランダムなパラメータで画像をデータ拡張し、それぞれの訓練周期に同じ訓練データセットを入力したが、それぞれの訓練周期の初期に血球細胞画像に対して新たにデータの平行移動、回転及び反転を行い、それによりモデル訓練に既存のデータセットをより有効的に使用することができると共に、モデルの一般化能力を大幅に増強し、検証セットでモデルを評価すると、検証セットにおけるモデルの目標画像に対する再構成効果は、訓練セットに対する画像再構成よりも僅かに低いと発見できる。
画像処理装置１５は、画像検知器１４に電気接続され、検出サンプルの画像を受信し、検出サンプルの画像の画像処理及び画像識別を行う。画像処理装置１５は、計算機装置、例えば、コンピュータや、サーバなどであってもよいが、それに限定されていない。画像処理装置１５は、機械学習機が使用される教師あり機械学習演算法、例えば、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、転置畳み込み（Ｔｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）、マスク領域畳み込みニューラルネットワーク（Ｍａｓｋ Ｒｅｇｉｏｎ－ｂａｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、 Ｍａｓｋ Ｒ－ＣＮＮ）、残差ニューラルネットワーク（ＲｅｓＮｅｔ）、特徴ピラミッドネットワーク（Ｆｅａｔｕｒｅ Ｐｙｒａｍｉｄ Ｎｅｔｗｏｒｋ、ＦＰＮ）、ニアレストネイバー法（Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間法（Ｂｉ－Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（Ｂｉ－Ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、ロジスティック回帰（Ｌｏｇｉｓｔｉｃ Ｒｅｇｒｅｓｓｉｏｎ）、ｋ近傍法（ｋ Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、決定木演算法（Ｄｅｃｉｓｉｏｎ Ｔｒｅｅ Ｉｎｄｕｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ）、ランダムフォレスト演算法（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ Ａｌｇｏｒｉｔｈｍ）及び／又はベイズ式分類法（Ｂａｙｅｓｉａｎ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ａｌｇｏｒｉｔｈｍｓ）などを含むが、それに限定されていない。
なお、本発明において、画像処理装置１５が備えるディープラーニング技術において、まず、高画質画像の画像識別を行う。例を挙げて、検出サンプルが血液塗抹標本である時、まず、高画質画像を入力し、画像処理装置１５により血液塗抹標本における白血球や赤血球などの画像特徴を識別し、その後に本発明に係る画像検知器１４が検知する大量の検出サンプルの画像データを入力し、大量の画像データにより画像識別及び画像処理を行い、画像処理装置１５は、画像検知器１４が発生する画像データにおける騒音及び強化画像データにおける特徴をフィルタすることができ、最後に高画質画像を取得することができる。
図２に示すように、本発明に係る画像処理装置１５は、強度を記録した光学回折信号が顕微鏡で観察される画像になるように再構成することを主な目的としており、画像処理装置１５は、主に、特徴抽出（サブサンプリング（subsampling））及び画像再構成（アップサンプリング（upsampling））という２つの部分に分かれ、本発明の好ましい実施例において、２つの部分の特徴訓練は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を採用し、画像処理装置１５は、画像を入力する時に、特徴画像を２回サブサンプリングし、３つの平行演算サブネットワークの初期特徴を形成し、その目的は、異なる解像度での画像（回折信号）特徴を取得するということである。そして、３種の異なる解像度の画像により、残差ニューラルネットワーク（ＲｅｓＮｅｔ）をバックボーンとして平行的に特徴抽出を行い、その後に、サブネットワークが抽出される解像度の違いにより、元の入力画像の解像度を復元するまでに異なる回数に分けて段階的にアップサンプリングし、最後に、３つのサブネットワークにより復元される特徴を連結し、かつ一層の畳み込みニューラルネットワークを経って、顕微鏡により観測される画像のような高画質画像を取得する。
本発明では、復号層序により、画像に対して、異なるサイズ及び有益な特徴を検索し、入力した画像に対して、一連の畳み込み及び次元削減を行い、全体構築は、畳み込み層を利用して画像を特徴検索し、かつ活性化層を組み合わせてディープラーニングモデルが複雑かつ非線形の出力を学習し、このモデルにおいて、畳み込み層により構成される残差ニューラルネットワークの方式で画像特徴を抽出する。復号層序は、復号層序の特徴次元について、段階的にアップサンプリングし、最初に入力される次元に復元し、かつ再構成した顕微画像を出力する。
さらに、本発明に係る画像処理装置１５は、画像特徴抽出モジュール１５１と、残差ネットワークモジュール１５２と、画像再構成モジュール１５３と、直列連結モジュール１５４とを含む。画像特徴抽出モジュール１５１は、主に、検出サンプルの複数の初期特徴を抽出し、画像特徴抽出モジュール１５１は、ディープラーニング分野において、主にサブサンプリングの画像処理ステップを行い、残差ネットワークモジュール１５２は、画像特徴抽出モジュール１５１に接続し、複数の初期特徴に基づいて、検出サンプルの画像の複数の画像特徴を抽出する。画像再構成モジュール１５３は、残差ネットワークモジュール１５２に接続され、残差ネットワークモジュール１５２が抽出する画像の画像特徴に基づいてアップサンプリングし、検出サンプルの画像の元の解像度を復元する。直列連結モジュール１５４は、画像再構成モジュール１５３に接続され、検出サンプルの複数の画像特徴を融合して該高画質画像を取得することができる。
画像特徴抽出モジュール１５１において、光学回折信号を入力する時に、まず、２回サブサンプリングし、光学回折信号の３つの平行演算サブネットワークの初期特徴を取得し、その目的は、異なる解像度での画像（回折写真）特徴を抽出し、２つのステップの畳み込み演算により通常のプーリング層（Ｐｏｏｌｉｎｇ Ｌａｙｅｒ）を置換して特徴損失を低下させる。残差ネットワークモジュール１５２において、特徴抽出を行う時に、残差ネットワーク（ＲｅｓＮｅｔ５０）をバックボーンとして、それぞれ、３つの異なる解像度を有する画像のサブネットワークに対して平行的に特徴抽出を行い、入力した光学回折信号に対して一連の畳み込み演算及び次元削減を行い、それにより、異なるサイズでの有利な特徴を検索し、全体構築は、畳み込み層、活性化層及び結合層を含み、それぞれ、まず、光学回折信号に対し、畳み込み層により特徴を検索し、活性化層は、出力する光学回折信号に対して線形正規化変換を行って勾配消失の問題を克服し、最後に、結合層に元の入力と非線形変換を経って出力した光学回折信号を重畳し、このようにして、ニューラルネットワークは、表層ネットワークの重みを有効的に調整することができ、勾配消失が発生し難い。
画像再構成モジュール１５３において、サブネットワークが抽出する解像度の違いにより、元の入力画像の解像度を復元するまでに転置畳み込み（Ｔｒａｎｓｐｏｓｅｄ Ｃｏｎｖｏｌｕｔｉｏｎ）の方式で異なる回数に分けて段階的にアップサンプリングし、画像次元を上昇させることにおいて、一般的な方法は、ニアレストネイバー法（Ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイリニア補間法（Ｂｉ－Ｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）、バイキュービック法（Ｂｉ－Ｃｕｂｉｃ ｉｎｔｅｒｐｏｌａｔｉｏｎ）などをさらに有し、 しかしながら、これらの方式に対して、転置畳み込みは、畳み込みの概念でニューラルネットワークを利用してより良い補間方式を学習し、画像再構成の精度を向上する。最後に、直列連結モジュール１５４において、連結（ｃｏｎｃａｔｅｎａｔｅ）の方式で３つのサブネットワークが復元する特徴を融合し、残差ネットワークにおいて採用される結合の方式と異なり、次元が変化しない情況で複数の特徴を融合し、連結の方式により多くの次元情報を残し、最後の畳み込み層が異なる解像度で抽出する特徴は、重要な特徴をより自由に選択し、画像再構成において好ましい。
例を挙げて、図２に示すように、残差ネットワークモジュール１５２は、画像特徴抽出モジュール１５１から入力した血球細胞画像を受信した後に、複数回サブサンプリングし、順次に複数の特徴図の画像を発生し、本発明において使用されるサブサンプリング方式は、残差ネットワークをバックボーンとし、その内には畳み込み層、活性化層及び結合層が含まれ、残差ネットワークが層に渡って連接する特性を利用し、ネットワークを有効的に深めて特徴検索を行うことができ、それと同時に演算過程において、毎回に次元削減して取得するそれぞれのサイズの特徴図を保存し、後続きに画像特徴の融合を行うことに有利である。画像再構成モジュール１５３は、残差ネットワークモジュール１５２は、最も小さいサイズの特徴図の画像を畳み込み演算を介して特徴図の深さを調整してその画像を取得し、さらに、該画像を最近傍アップサンプリング（ｎｅａｒｅｓｔ ｎｅｉｇｈｂｏｒ ｕｐｓａｍｐｌｉｎｇ）で段階的にアップサンプリングし、かつアップサンプリングする同時に、それぞれ、残差ネットワークモジュール１５２において取得する各特徴図の画像を特徴融合し、このようにして、残差ネットワークモジュール１５２により異なるサイズで抽出する画像特徴情報を有効的に利用することができる。
特徴融合する過程において、画像再構成モジュール１５３においてアップサンプリング演算を行う時に発生可能なエイリアシング効果（ａｌｉａｓｉｎｇ ｅｆｆｅｃｔ）、即ち、特徴図をアップサンプリングして画素を補間することによる歪み現象を回避するために、ここで、残差ネットワークモジュール１５２及び画像再構成モジュール１５３が融合した特徴図を畳み込み演算して画像特徴の歪みを大幅に低下することができ、それにより複数の特徴図が得られ、かつ最終の特徴図を一回最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）し、最大プーリング（Ｍａｘ Ｐｏｏｌｉｎｇ）とは、ある画像をフィルタしていくつかの特徴値を抽出し、そのうちの最大のプーリング層を保持値として抽出し、そのほかの特徴値が全部放棄され、値が最大であることは、これらの特徴において最も強いもののみを残し、他の弱い特徴を放棄することを示し、その目的は、サイズがより小さい特徴を取得して組み合わせて、後続きに画像において比較的大きな目標物を検出して位置決めするということである。
直列連結モジュール１５４は、最終の画像特徴図を取得した後に、取得した画像特徴図のうちのそれぞれの目標検出物を位置決めし、かつ方形のバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）で目標検出物の画像における具体的な位置を標識し、直列連結モジュール１５４において、異なる解像度で抽出した特徴は、より自由的に重要な特徴を選択し、画像再構成において好ましいものである。
図３Ａは、本発明に係る画像検知器１４が検知する光学回折信号の模式図であり、図３Ｂは、本発明に係る画像処理装置１５により処理された高画質画像の模式図であり、図３Ｃは、光学顕微鏡の画像模式図である。図３Ａに示すように、明らかに、画像検知器１４が検知する光学回折信号３１の画像の鮮明度が悪く、かつ白血球又は紅血球を明らかに観察できないが、図３Ｂに示すように、本発明に係る画像処理装置１５により処理された高画質画像３２が光学回折信号３１に対して、より鮮明になり、かつその解像度と鮮明度が図３Ｃに示す光学顕微鏡により発生する画像３３と近似する。図３Ｄと図３Ｅは、本発明に係る画像処理装置の入力画像と処理した出力画像の対比図であり、図３Ｄと図３Ｅに示すように、本発明に係る画像処理装置１５は、本発明により撮像される、形態を弁別できない血液細胞及び鼻咽頭癌細胞の光学回折信号画像を顕微鏡により撮影される画像のように鮮明に識別できる画像に再構成する。かつ、本発明により復元される検証セット画像をディープラーニングのモデルに入力し、後続きに血液細胞画像を分類し、位置決めし、及びマスク生成を実現する。
本発明に係る画像復元を応用する光学システム１０は、高価な光学顕微鏡を使用する必要がなく、光学顕微鏡が発生する鮮明な画像に近似する画像を取得することができる。
図４は、本発明に係る画像復元を応用する光学画像処理方法のステップのフローチャートである。図４に示すように、ステップＳ４０１において、検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行う。本発明の画像処理装置は、光学顕微鏡が発生する高画質画像に近似する画像を発生する効果を有することができるために、画像処理装置に対して、データラーニング及びモデル訓練を行う必要があり、画像処理装置は、ラーニング過程において、大量の画像データが必要であるので、異なる検出サンプルの高画質画像と本発明に係る画像検知器により収集される光学回折信号をモデル訓練して、識別度を向上する必要がある。
ステップＳ４０２では、検出対象の検出サンプルを検出プラットホームに置き、光源調光及びピンホールを介して、画像検知器により検出サンプルの光学回折信号を検知する。本発明は、スカラー回折理論を利用して光学イメージング設備を簡易化し、非常に大きくかつ複雑な光学素子を必要としていない。インコヒーレント光源、ピンホール及び光学画像検知器から構成すればよく、レンズが視野（Ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）の大きさを限定せず、広い視野を有し（光学画像検知器の面積と一致する）かつ同時にマイクロメートルスケールの画像解像度を達成でき、光源の空間コヒーレンスを制御することによりセンサに光学回折信号を記録し、光学レンズを必要としなくて、機械学習演算法により画像再構成を行い、かつ自動識別機能を実行でき、このレンズレスの光学画像復元システム及び演算方法により、短い時間に最終の画像再構成結果を取得することができる。
ステップＳ４０３において、画像特徴抽出モジュールにより検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、検出サンプルの光学回折信号の複数の画像特徴を抽出する。ステップＳ４０４において、画像再構成モジュールにより、残差ネットワークモジュールが抽出する光学回折信号の画像特徴に基づいてアップサンプリングし、検出サンプルの光学回折信号の元の解像度を復元し、最後、ステップＳ４０５において、直列連結モジュールにより、検出サンプルの複数の画像特徴を融合し、高画質画像を取得する。上記の画像処理及び画像識別により、元の光学回折信号を光学顕微鏡が発生するような高画質画像を変換することができる。
本発明は、レンズレスの光学画像復元システム及び画像復元を応用する光学画像処理方法は、光学顕微システムを超小型化させ、画像視野を大幅に向上する機能を有し、かつ機械学習演算法を使用して画像再構成を行い、かつ自動識別機能を実行することができ、生物医学検出業界の応用において、良好な見込み及び応用価値を有する。
上記の実施形態は、好ましい実施例であり、本発明の特許請求の範囲を限定しない。本発明の特許請求の範囲及び明細書に基づいて行った同等変化及び修飾は、いずれも、本発明の下記特許請求の範囲に含まれる。
１０ 光学システム
１１ 光源
１２ ピンホール
１３ 検出プラットホーム
１４ 画像検知器
１５ 画像処理装置
１５１ 画像特徴抽出モジュール
１５２ 残差ネットワークモジュール
１５３ 画像再構成モジュール
１５４ 直列連結モジュール
３１ 光学回折信号
３２ 高画質画像
３３ 画像
Ｓ４０１～Ｓ４０５ ステップ
１１ 光源
１２ ピンホール
１３ 検出プラットホーム
１４ 画像検知器
１５ 画像処理装置
１５１ 画像特徴抽出モジュール
１５２ 残差ネットワークモジュール
１５３ 画像再構成モジュール
１５４ 直列連結モジュール
３１ 光学回折信号
３２ 高画質画像
３３ 画像
Ｓ４０１～Ｓ４０５ ステップ
Claims (10)
- 画像復元を応用する光学システムであって、
光源と、ピンホールと、検出プラットホームと、画像検知器と、画像処理装置とを含み、
前記ピンホールは前記光源の光伝達経路に設けられ、
前記検出プラットホームは前記光源の前記光伝達経路に設けられ、かつ前記ピンホールが前記光源と前記検出プラットホームとの間に位置し、前記検出プラットホームは検出サンプルを載置するために用いられ、
前記画像検知器は前記検出プラットホームの下方に設置され、前記検出サンプルを検知して光学回折信号を出力し、
前記画像処理装置は前記画像検知器に電気接続され、前記検出サンプルの前記光学回折信号に対して信号処理及び光学信号識別を行って前記検出サンプルの高画質画像を取得することを特徴とする光学システム。 - 前記光源は、発光ダイオードからなる点光源であり、かつ前記ピンホールは、マイクロメートルサイズの光学ピンホール又は光ファイバからなることを特徴とする請求項１に記載の光学システム。
- 前記検出サンプルは、生体組織切片又は血液塗抹標本であることを特徴とする請求項１に記載の光学システム。
- 前記画像処理装置は、
前記検出サンプルの前記光学回折信号の複数の初期特徴を抽出するための画像特徴抽出モジュールと、
前記画像特徴抽出モジュールに接続され、前記複数の初期特徴に基づいて、前記検出サンプルの前記光学回折信号の複数の画像特徴を抽出するための残差ネットワークモジュールと、
前記残差ネットワークモジュールに接続され、前記残差ネットワークモジュールが抽出する前記画像の前記画像特徴に基づいてアップサンプリングし、前記検出サンプルの前記光学回折信号の元の解像度を復元する画像再構成モジュールと、
前記画像再構成モジュールに接続され、前記検出サンプルの前記複数の画像特徴を融合して、前記高画質画像を取得する直列連結モジュールとを含むことを特徴とする請求項１に記載の光学システム。 - 前記画像特徴抽出モジュールは、前記光学回折信号に対してサブサンプリングを行い、かつ前記残差ネットワークが畳み込み層、活性化層及び結合層を備えることを特徴とする請求項４に記載の光学システム。
- 前記画像再構成モジュールは、前記光学回折信号をサブサンプリングし、前記光学回折信号の元の解像度を復元することを特徴とする請求項５に記載の光学システム。
- 画像復元を応用する光学画像処理方法であって、
検出サンプルの高画質画像と複数の光学回折信号を光学画像システムの画像処理装置に入力して画像再構成と予測識別を行うことと、
検出対象の検出サンプルを検出プラットホームに載置し、光源調光とピンホールを介して、画像検知器により前記検出サンプルを検知して前記光学回折信号を出力することと、
画像特徴抽出モジュールにより前記検出サンプルの複数の初期特徴を抽出し、かつ残差ネットワークモジュールにより、複数の初期特徴に基づいて、前記検出サンプルの前記光学回折信号の複数の画像特徴を抽出し、画像再構成モジュールにより、前記残差ネットワークモジュールが抽出する前記光学回折信号の複数の前記画像特徴に基づいてアップサンプリングし、前記検出サンプルの前記光学回折信号の元の解像度を復元することと、
直列連結モジュールにより、前記検出サンプルの複数の前記画像特徴を融合し、高画質画像を取得することとを含むことを特徴とする光学画像処理方法。 - 前記画像特徴抽出モジュールは、前記光学回折信号をサブサンプリングし、前記光学回折信号の３つのサブネットワークの前記初期特徴を取得することを特徴とする請求項７に記載の光学画像処理方法。
- 前記残差ネットワークモジュールは、畳み込み層、活性化層及び結合層を含み、それぞれ、まず前記光学回折信号に対して前記畳み込み層により特徴を検索し、前記活性化層が前記光学回折信号の出力を線形正規化変換して勾配消失の問題を克服し、最後、結合層に元の入力と非線形変換した前記光学回折信号を重畳することを特徴とする請求項７に記載の光学画像処理方法。
- 前記光学画像処理方法は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を応用して前記光学回折信号の画像処理を行うことを特徴とする請求項７に記載の光学画像処理方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063124220P | 2020-12-11 | 2020-12-11 | |
| US63/124,220 | 2020-12-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022093314A true JP2022093314A (ja) | 2022-06-23 |
| JP7378164B2 JP7378164B2 (ja) | 2023-11-13 |
Family
ID=81941596
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021200745A Active JP7378164B2 (ja) | 2020-12-11 | 2021-12-10 | 画像復元を応用する光学システム及び光学画像処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220188981A1 (ja) |
| JP (1) | JP7378164B2 (ja) |
| TW (1) | TWI831078B (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294108A1 (en) * | 2018-03-21 | 2019-09-26 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
| WO2020219468A1 (en) * | 2019-04-22 | 2020-10-29 | The Regents Of The University Of California | System and method for deep learning-based color holographic microscopy |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5609611B2 (ja) * | 2010-03-11 | 2014-10-22 | 株式会社リコー | 分光特性取得装置、画像評価装置、及び画像形成装置 |
| US10649189B2 (en) * | 2010-04-19 | 2020-05-12 | Witec Wissenschaftliche Instrumente Und Technologie Gmbh | Device for imaging a sample surface |
| WO2013086527A1 (en) * | 2011-12-09 | 2013-06-13 | Massachusetts Institute Of Technology | Systems and methods self-referenced quantitative phase microscopy |
| JP5761458B2 (ja) * | 2012-06-05 | 2015-08-12 | 株式会社ニコン | 顕微鏡装置 |
| WO2014083489A1 (en) * | 2012-11-28 | 2014-06-05 | Corephotonics Ltd. | High-resolution thin multi-aperture imaging systems |
| EP2818851B1 (en) * | 2013-06-26 | 2023-07-26 | Malvern Panalytical B.V. | Diffraction Imaging |
| DE102014002514B4 (de) * | 2014-02-21 | 2015-10-29 | Universität Stuttgart | Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie |
| WO2015145428A1 (en) * | 2014-03-24 | 2015-10-01 | B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University | Optical sectioning using a phase pinhole |
| WO2016019324A2 (en) * | 2014-08-01 | 2016-02-04 | The Regents Of The University Of California | Device and method for iterative phase recovery based on pixel super-resolved on-chip holography |
| WO2016195925A1 (en) * | 2015-06-02 | 2016-12-08 | Life Technologies Corporation | Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system |
| JP6712429B2 (ja) * | 2015-06-02 | 2020-06-24 | ライフ テクノロジーズ コーポレーション | 構造化照明イメージングシステムにおいてサンプルステージを固定するためのシステムおよび方法 |
| US11239275B2 (en) * | 2016-05-23 | 2022-02-01 | Apple Inc. | Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods |
| US11175627B2 (en) * | 2016-11-04 | 2021-11-16 | miDiagnostics NV | System and method for reconstruction of holographic lens-free images by multi-depth sparse phase recovery |
| CN106683067B (zh) * | 2017-01-20 | 2020-06-23 | 福建帝视信息科技有限公司 | 一种基于残差子图像的深度学习超分辨率重建方法 |
| US11265449B2 (en) * | 2017-06-20 | 2022-03-01 | Academia Sinica | Microscope-based system and method for image-guided microscopic illumination |
-
2021
- 2021-11-09 TW TW110141716A patent/TWI831078B/zh active
- 2021-12-07 US US17/543,730 patent/US20220188981A1/en active Pending
- 2021-12-10 JP JP2021200745A patent/JP7378164B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190294108A1 (en) * | 2018-03-21 | 2019-09-26 | The Regents Of The University Of California | Method and system for phase recovery and holographic image reconstruction using a neural network |
| WO2020219468A1 (en) * | 2019-04-22 | 2020-10-29 | The Regents Of The University Of California | System and method for deep learning-based color holographic microscopy |
Also Published As
| Publication number | Publication date |
|---|---|
| TWI831078B (zh) | 2024-02-01 |
| TW202238610A (zh) | 2022-10-01 |
| JP7378164B2 (ja) | 2023-11-13 |
| US20220188981A1 (en) | 2022-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12008764B2 (en) | Systems, devices, and methods for image processing to generate an image having predictive tagging | |
| Khojasteh et al. | Fundus images analysis using deep features for detection of exudates, hemorrhages and microaneurysms | |
| KR102311654B1 (ko) | 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템 | |
| Natarajan et al. | Segmentation of nuclei in histopathology images using fully convolutional deep neural architecture | |
| CN112733950A (zh) | 一种基于图像融合与目标检测结合的电力设备故障诊断方法 | |
| US20150213599A1 (en) | Automated histological diagnosis of bacterial infection using image analysis | |
| CN110806636B (zh) | 显微镜分析方法 | |
| CN108038847A (zh) | 基于深度学习的变压器巡检图像智能识别和故障检测系统 | |
| CN112528782B (zh) | 水下鱼类目标检测方法及装置 | |
| Karthiga et al. | Transfer learning based breast cancer classification using one-hot encoding technique | |
| More et al. | Convolutional neural network based brain tumor detection | |
| CN115471448A (zh) | 基于人工智能的胸腺瘤组织病理的分型方法及装置 | |
| CN115220211A (zh) | 基于深度学习和光场成像的显微成像系统及方法 | |
| Matlock et al. | Physical model simulator-trained neural network for computational 3d phase imaging of multiple-scattering samples | |
| CN115661066A (zh) | 基于分割和分类相融合的糖尿病性视网膜病变检测方法 | |
| WO2022176396A1 (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム | |
| Kiefer et al. | A survey of glaucoma detection algorithms using fundus and OCT images | |
| JP7378164B2 (ja) | 画像復元を応用する光学システム及び光学画像処理方法 | |
| Rehman et al. | Deep retinanet for melanoma lesion detection | |
| Khan et al. | Ocular inspection to prevent vision impairment caused by diabetic retinopathy | |
| Nair et al. | Segmentation of Retinal Images Using Improved Segmentation Network, MesU-Net. | |
| de Almeida Simões | Image Quality Improvement of Medical Images Using Deep Learning for Computer-Aided Diagnosis | |
| Mackay et al. | Deep Learning for the Automated Feature Labelling of 3-Dimensional Imaged Placenta | |
| Kavyashree et al. | A Survey on the Cervical Cancer Detection using Deep Learning methods | |
| Ram et al. | Impact of Cell Type Selection on Binary Classification of Cervical Cancer using Convolutional Neural Networks: A Compatibility Analysis of Herlev and SIPaKMeD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230104 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230330 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230703 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230926 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7378164 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |