JP2022542752A - 生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡 - Google Patents
生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡 Download PDFInfo
- Publication number
- JP2022542752A JP2022542752A JP2021572431A JP2021572431A JP2022542752A JP 2022542752 A JP2022542752 A JP 2022542752A JP 2021572431 A JP2021572431 A JP 2021572431A JP 2021572431 A JP2021572431 A JP 2021572431A JP 2022542752 A JP2022542752 A JP 2022542752A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional representation
- image
- dimensional
- representations
- microscope
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims description 67
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 148
- 238000010801 machine learning Methods 0.000 claims abstract description 137
- 230000000007 visual effect Effects 0.000 claims abstract description 110
- 238000003860 storage Methods 0.000 claims abstract description 34
- 108090000623 proteins and genes Proteins 0.000 claims description 32
- 102000004169 proteins and genes Human genes 0.000 claims description 32
- 230000006870 function Effects 0.000 claims description 30
- 238000013528 artificial neural network Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 claims description 19
- 108091028043 Nucleic acid sequence Proteins 0.000 claims description 17
- 230000008827 biological function Effects 0.000 claims description 16
- 230000004071 biological effect Effects 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 6
- 239000002775 capsule Substances 0.000 claims description 5
- 238000003064 k means clustering Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 description 96
- 238000002474 experimental method Methods 0.000 description 46
- 239000002773 nucleotide Substances 0.000 description 19
- 125000003729 nucleotide group Chemical group 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000003066 decision tree Methods 0.000 description 8
- 210000001519 tissue Anatomy 0.000 description 8
- 230000006399 behavior Effects 0.000 description 7
- 210000004027 cell Anatomy 0.000 description 7
- 238000012706 support-vector machine Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 150000001413 amino acids Chemical class 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 230000003197 catalytic effect Effects 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000002787 reinforcement Effects 0.000 description 4
- 210000003855 cell nucleus Anatomy 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000004292 cytoskeleton Anatomy 0.000 description 3
- 210000000172 cytosol Anatomy 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 238000012432 intermediate storage Methods 0.000 description 3
- 150000002632 lipids Chemical class 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 210000004940 nucleus Anatomy 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000037361 pathway Effects 0.000 description 3
- 108090000765 processed proteins & peptides Proteins 0.000 description 3
- 102000004196 processed proteins & peptides Human genes 0.000 description 3
- 238000007637 random forest analysis Methods 0.000 description 3
- 108020004414 DNA Proteins 0.000 description 2
- BAWFJGJZGIEFAR-NNYOXOHSSA-N NAD zwitterion Chemical compound NC(=O)C1=CC=C[N+]([C@H]2[C@@H]([C@H](O)[C@@H](COP([O-])(=O)OP(O)(=O)OC[C@@H]3[C@H]([C@@H](O)[C@@H](O3)N3C4=NC=NC(N)=C4N=C3)O)O2)O)=C1 BAWFJGJZGIEFAR-NNYOXOHSSA-N 0.000 description 2
- 108091034117 Oligonucleotide Proteins 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000004791 biological behavior Effects 0.000 description 2
- 238000013501 data transformation Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000005284 excitation Effects 0.000 description 2
- 150000004676 glycans Chemical class 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229950006238 nadide Drugs 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000002220 organoid Anatomy 0.000 description 2
- 229920001184 polypeptide Polymers 0.000 description 2
- 229920001282 polysaccharide Polymers 0.000 description 2
- 239000005017 polysaccharide Substances 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000002864 sequence alignment Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000004960 subcellular localization Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000995051 Brenda Species 0.000 description 1
- 108090000790 Enzymes Proteins 0.000 description 1
- 102000004190 Enzymes Human genes 0.000 description 1
- 101150090421 GO gene Proteins 0.000 description 1
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 108700026244 Open Reading Frames Proteins 0.000 description 1
- 241000726445 Viroids Species 0.000 description 1
- 241000700605 Viruses Species 0.000 description 1
- 125000002015 acyclic group Chemical group 0.000 description 1
- 230000006907 apoptotic process Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000006696 biosynthetic metabolic pathway Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003990 capacitor Substances 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003436 cytoskeletal effect Effects 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000007876 drug discovery Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005714 functional activity Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000004110 gluconeogenesis Effects 0.000 description 1
- 230000034659 glycolysis Effects 0.000 description 1
- 238000007901 in situ hybridization Methods 0.000 description 1
- 238000000338 in vitro Methods 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000004879 molecular function Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 1
- 108020004707 nucleic acids Proteins 0.000 description 1
- 102000039446 nucleic acids Human genes 0.000 description 1
- 150000007523 nucleic acids Chemical class 0.000 description 1
- 238000012576 optical tweezer Methods 0.000 description 1
- 210000003463 organelle Anatomy 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 102000054765 polymorphisms of proteins Human genes 0.000 description 1
- 108091033319 polynucleotide Proteins 0.000 description 1
- 230000004481 post-translational protein modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 108091008146 restriction endonucleases Proteins 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 231100000041 toxicology testing Toxicity 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Radiology & Medical Imaging (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
Description
1.画像から意味論的トークン埋め込みを予測するようにトレーニングされた視覚モデルは、クエリ画像を、関連する意味論的埋め込みに変換することができるステップと、
2.同じ視覚モデルは、撮像デバイスまたはデータベースから到来する一連の画像の各埋め込みを生成することもできるステップと、
3.クエリの意味論的埋め込みと画像との間の埋め込み空間内の距離メトリックに従って、関連する最も近いヒットが検索され、スコア化されるステップと、
4.任意選択的に、実行中の実験において、ヒットの物理的座標を実験の変更のために使用し、これらの座標において画像の代替的な記録を開始することができるステップと、
に基づいていてもよい。モデルは、以下で説明するようにトレーニングされてもよいが、異なる手法でトレーニングされてもよい。
a)ユーザによる手動入力、
b)(同じまたは他の)撮像デバイスによる実験の結果、
c)データベースから(例えば、撮像デバイスまたは別の実験デバイスの使用による手動クエリまたは自動クエリ)、
d)撮像デバイスおよびモデルによって生成された画像埋め込みの教師なしクラスタリングおよび算術的組み合わせ、
であってもよい。
103 生物学関連の画像ベースの検索データ
105 第2の高次元表現
110 1つまたは複数のプロセッサ
120 1つまたは複数のストレージデバイス
200 生物学関連のデータを処理するためのシステム
201 クエリ、検索クエリ、生物学関連の画像ベースの検索データ
210 視覚モデル、分類器
220 トレーニングされた視覚認識機械学習アルゴリズム、視覚モデル
230 トレーニングされた視覚認識機械学習アルゴリズム、視覚モデル
240 データベース
250 埋め込み、複数の第2の高次元表現
255 データベース、中間ストレージ
257 バイパスする
260 埋め込み、第1の高次元表現
270 埋め込み空間における比較
280 最も近い埋め込み
290 各画像
300 生物学関連のデータを処理するためのシステム
315 スキップされた事前分類
381 最も近い埋め込みに対応する画像を戻す
383 データによる画像ソースへの供給
385 ユーザ
387 データベース
389 パブリックデータベース
390 科学刊行物、ソーシャルメディアへのエントリ、またはブログ投稿
393 生物学的分子の画像
395 生物学的配列
400 顕微鏡を制御するためのシステム
401 画像ベースの検索データ
405 第2の高次元表現
411 制御信号
500 顕微鏡を制御するためのシステム
501 顕微鏡
510 画像
550 クエリ、検索クエリ、画像ベースの検索データ
580 各座標を見つける
590 各座標を顕微鏡に戻す
595 各座標、新規の座標
600 顕微鏡を制御するためのシステム
700 顕微鏡を制御するためのシステム
740 クラスタリングアルゴリズム
750 クラスター中心の決定
760 クラスター中心の潜在ベクトル
770 距離メトリックの適用
790 クラスタリングアルゴリズムの使用によって生物学関連のデータを処理するためのシステム
791 画像モダリティの変更
792 ユーザ
793 リポジトリ
794 パブリックデータベース
795 科学刊行物、ソーシャルメディアへのエントリ、またはブログ投稿
796 生物学的分子の画像
797 生物学的配列
800 機械学習アルゴリズムをトレーニングするためのシステム
810 顕微鏡
820 コンピュータデバイス
900 生物学関連の画像ベースの検索データを処理するための方法
910 生物学関連の画像ベースの検索データを受信するステップ
920 第1の高次元表現を生成するステップ
930 複数の第2の高次元表現を取得するステップ
940 第1の高次元表現を各第2の高次元表現と比較するステップ
1000 顕微鏡を制御するための方法
1010 画像ベースの検索データを受信するステップ
1020 第1の高次元表現を生成するステップ
1030 複数の第2の高次元表現を取得するステップ
1040 第2の高次元表現を選択するステップ
1050 顕微鏡の動作を制御するステップ
1100 顕微鏡を制御するための方法
1110 複数のクラスターを決定するステップ
1120 第1の高次元表現を決定するステップ
1130 第2の高次元表現を選択するステップ
1140 制御信号を供給するステップ
Claims (35)
- 1つまたは複数のプロセッサ(110)および1つまたは複数のストレージデバイス(120)を含むシステム(100,200,300)であって、前記システム(100,200,300)は、
生物学関連の画像ベースの検索データ(103)を受信し、
前記1つまたは複数のプロセッサ(110)によって実行されるトレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの検索データ(103)の第1の高次元表現(260)を生成し、前記第1の高次元表現(260)は、それぞれ異なる値を有する少なくとも3つのエントリを含み、
複数の生物学関連の画像ベースの入力データセットまたは複数の生物学関連の言語ベースの入力データセットの複数の第2の高次元表現(105,250)を取得し、
前記第1の高次元表現(260)を、前記複数の第2の高次元表現(105,250)の各第2の高次元表現(105,250)と比較するように構成されている、
システム(100,200,300)。 - 前記生物学関連の画像ベースの検索データ(103)は、ヌクレオチド配列を含む生物学的構造、タンパク質配列を含む生物学的構造、生物学的分子、生物学的組織、特定の挙動を有する生物学的構造、または、特定の生物学的機能もしくは特定の生物学的活動を有する生物学的構造の少なくとも1つの画像の画像データである、
請求項1記載のシステム。 - 前記第1の高次元表現(260)の1つまたは複数のエントリの値は、特定の生物学的機能または特定の生物学的活動が存在する尤度に比例する、
請求項1または2記載のシステム。 - 前記第2の高次元表現(105,250)の1つまたは複数のエントリの値は、特定の生物学的機能または特定の生物学的活性の存在の確度に比例する、
請求項1から3までのいずれか1項記載のシステム。 - 前記システム(100)は、前記比較に基づいて、前記複数の第2の高次元表現(105,250)のうちの前記第1の高次元表現(260)に最も近い第2の高次元表現を選択するように構成されている、
請求項1から4までのいずれか1項記載のシステム。 - 前記システム(100)は、前記最も近い第2の高次元表現、前記複数の生物学関連の画像ベースの入力データセットのうちの前記最も近い第2の高次元表現に対応する生物学関連の画像ベースの入力データセット、または前記複数の生物学関連の言語ベースの入力データセットのうちの前記最も近い第2の高次元表現に対応する生物学関連の言語ベースの入力データセットのうちの少なくとも1つを出力するように構成されている、
請求項5記載のシステム。 - 前記第1の高次元表現(260)と、前記複数の第2の高次元表現の各第2の高次元表現(105,250)と、の比較は、ユークリッド距離関数またはearth mover’s distance関数に基づいている、
請求項1から6までのいずれか1項記載のシステム。 - 前記第1の高次元表現(260)および前記第2の高次元表現(105,250)は、数値表現である、
請求項1から7までのいずれか1項記載のシステム。 - 前記第1の高次元表現(260)および前記第2の高次元表現(105,250)は、それぞれ100を超える次元を含む、
請求項1から8までのいずれか1項記載のシステム。 - 前記第1の高次元表現(260)は、第1のベクトルであり、
前記第2の高次元表現(105,250)は、第2のベクトルである、
請求項1から9までのいずれか1項記載のシステム。 - 前記第1の高次元表現(260)のエントリの値の50%超および前記第2の高次元表現(105,250)のエントリの値の50%超は、0に等しくない、
請求項1から10までのいずれか1項記載のシステム。 - 前記第1の高次元表現(260)の5つを超えるエントリの値は、前記第1の高次元表現(260)のエントリの最大絶対値の10%よりも大きく、
前記複数の第2の高次元表現の各第2の高次元表現(105,250)の5つを超えるエントリの値は、前記第2の高次元表現(105,250)の各最大絶対値の10%よりも大きい、
請求項1から11までのいずれか1項記載のシステム。 - 前記トレーニングされた視覚認識機械学習アルゴリズムは、トレーニングされた視覚認識ニューラルネットワークを含む、
請求項1から12までのいずれか1項記載のシステム。 - 前記トレーニングされた視覚認識ニューラルネットワークは、30を超える層を含む、
請求項13記載のシステム。 - 前記トレーニングされた視覚認識ニューラルネットワークは、畳み込みニューラルネットワークまたはカプセルネットワークである、
請求項13または14記載のシステム。 - 前記トレーニングされた視覚認識ニューラルネットワークは、複数の畳み込み層と、複数のプーリング層と、を含む、
請求項13、14、または15記載のシステム。 - 前記トレーニングされた視覚認識ニューラルネットワークは、正規化線形ユニット活性化関数を使用する、
請求項13から16までのいずれか1項記載のシステム。 - 前記システム(100)は、前記1つまたは複数のプロセッサによって実行される前記トレーニングされた視覚認識機械学習アルゴリズムによって、前記複数の生物学関連の画像ベースの入力データセットまたは前記複数の生物学関連の言語ベースの入力データセットの前記複数の第2の高次元表現の所定の第2の高次元表現(105,250)を生成することによって、前記第2の高次元表現(105,250)を取得するように構成され、前記複数の第2の高次元表現の各第2の高次元表現(105,250)は、それぞれ異なる値を有する少なくとも3つのエントリを含む、
請求項1から17までのいずれか1項記載のシステム。 - 前記システムは、生物学的標本の画像を撮像することによって、前記複数の生物学関連の画像ベースの入力データセットを取得するように構成された顕微鏡(501,810)をさらに含む、
請求項1から18までのいずれか1項記載のシステム。 - 前記システム(100)は、前記生物学関連の画像ベースの検索データ(103)に基づいて、前記複数のトレーニングされた視覚認識機械学習アルゴリズムから所定のトレーニングされた視覚認識機械学習アルゴリズムを選択するように構成されている、
請求項1から19までのいずれか1項記載のシステム。 - 前記システム(100)は、
第2の生物学関連の画像ベースの検索データおよび論理演算子に基づく情報を受信し、
前記1つまたは複数のプロセッサ(110)によって実行される前記トレーニングされた視覚認識機械学習アルゴリズムによって、前記第2の生物学関連の画像ベースの検索データの第1の高次元表現を生成し、
前記論理演算子に従って、第1の生物学関連の画像ベースの検索データ(103)の前記第1の高次元表現(260)と、第2の生物学関連の画像ベースの検索データの前記第1の高次元表現と、の組み合わせに基づき、結合された高次元表現を決定し、
前記結合された高次元表現を、複数の第2の高次元表現の各第2の高次元表現(105,250)と比較する、
ように構成されている、
請求項1から20までのいずれか1項記載のシステム。 - 前記論理演算子は、AND演算子であり、前記結合された高次元表現は、前記第1の生物学関連の画像ベースの検索データ(103)の前記第1の高次元表現(260)および前記第2の生物学関連の画像ベースの検索データの前記第1の高次元表現を加算することによって決定される、
請求項21記載のシステム。 - 前記システム(100)は、顕微鏡(501,810)の動作を制御するように構成されている、
請求項1から22までのいずれか1項記載のシステム。 - 1つまたは複数のプロセッサ(110)および1つまたは複数のストレージデバイス(120)を含むシステム(400,500)であって、前記システム(400,500)は、
画像ベースの検索データ(401)を受信し、
前記1つまたは複数のプロセッサ(110)によって実行されるトレーニングされた視覚認識機械学習アルゴリズムによって、前記画像ベースの検索データ(401)の第1の高次元表現を生成し、前記第1の高次元表現は、それぞれ異なる値を有する少なくとも3つのエントリを含み、
複数の画像ベースの入力データセットの複数の第2の高次元表現(405)を取得し、
前記第1の高次元表現と、前記複数の第2の高次元表現の各第2の高次元表現(405)と、の比較に基づいて、前記複数の第2の高次元表現から1つの第2の高次元表現(405)を選択し、
前記選択された第2の高次元表現に基づいて、顕微鏡(501,810)の動作を制御するための制御信号(411)を提供する、
ように構成されているシステム(400,500)。 - 1つまたは複数のプロセッサ(110)および1つまたは複数のストレージデバイス(120)を含むシステム(600,700,790)であって、前記システム(600,700,790)は、
前記1つまたは複数のプロセッサ(110)によって実行されるクラスタリングアルゴリズムによって、複数の画像ベースの入力データセットの複数の第2の高次元表現(405)の複数のクラスターを決定し、
前記複数のクラスターの所定のクラスターのクラスター中心の第1の高次元表現を決定し、
前記第1の高次元表現と、前記複数の第2の高次元表現の各第2の高次元表現(405)またはそのサブセットと、の比較に基づいて、前記複数の第2の高次元表現から1つの第2の高次元表現(405)を選択し、
前記選択された第2の高次元表現に基づいて、顕微鏡の動作を制御するための制御信号(411)を提供する、
ように構成されているシステム(600,700,790)。 - 前記クラスタリングアルゴリズムは、k平均クラスタリングアルゴリズムまたは平均シフトクラスタリングアルゴリズムを含む、
請求項24記載のシステム。 - 前記システムは、前記選択された第2の高次元表現に基づいて顕微鏡ターゲット位置を決定するように構成され、前記顕微鏡ターゲット位置は、前記選択された第2の高次元表現に対応する、画像ベースの入力データによって表された画像が撮像された位置であり、前記制御信号は、前記顕微鏡ターゲット位置まで駆動するために前記顕微鏡をトリガするように構成されている、
請求項24から26までのいずれか1項記載のシステム。 - 前記システムは、前記1つまたは複数のプロセッサ(110)によって実行される視覚認識機械学習アルゴリズムによって、前記複数の画像ベースの入力データセットの前記複数の第2の高次元表現を生成するように構成されている、
請求項24から27までのいずれか1項記載のシステム。 - 前記システムは、前記比較に基づいて、前記複数の第2の高次元表現のうちの前記第1の高次元表現に最も近い第2の高次元表現を選択するように構成されている、
請求項24から28までのいずれか1項記載のシステム。 - 前記システムは、検体の複数の画像を撮像するように構成された顕微鏡をさらに含み、前記複数の画像ベースの入力データセットは、前記検体の複数の画像を表す、
請求項24から29までのいずれか1項記載のシステム。 - 顕微鏡であって、請求項1から30までのいずれか1項記載のシステムを含んでいる、顕微鏡。
- 生物学関連の画像ベースの検索データを処理するための方法(900)であって、前記方法は、
生物学関連の画像ベースの検索データを受信するステップ(910)と、
トレーニングされた視覚認識機械学習アルゴリズムによって、前記生物学関連の画像ベースの検索データの第1の高次元表現を生成するステップ(920)であって、前記第1の高次元表現は、それぞれ異なる値を有する少なくとも3つのエントリを含むステップ(920)と、
複数の生物学関連の画像ベースの入力データセットまたは複数の生物学関連の言語ベースの入力データセットの複数の第2の高次元表現を取得するステップ(930)と、
前記第1の高次元表現を、前記複数の第2の高次元表現の各第2の高次元表現と比較するステップ(940)と、
を含む方法(900)。 - 顕微鏡を制御するための方法(1000)であって、前記方法は、
画像ベースの検索データを受信するステップ(1010)と、
トレーニングされた視覚認識機械学習アルゴリズムによって、前記画像ベースの検索データの第1の高次元表現を生成するステップ(1020)であって、前記第1の高次元表現は、それぞれ異なる値を有する少なくとも3つのエントリを有するステップ(1020)と、
複数の画像ベースの入力データセットの複数の第2の高次元表現を取得するステップ(1030)と、
前記第1の高次元表現と、前記複数の第2の高次元表現の各第2の高次元表現と、の比較に基づいて、前記複数の第2の高次元表現から1つの第2の高次元表現を選択するステップ(1040)と、
前記選択された前記第2の高次元表現に基づいて、前記顕微鏡の動作を制御するステップ(1050)と、
を含む方法(1000)。 - 顕微鏡を制御するための方法(1100)であって、前記方法は、
クラスタリングアルゴリズムによって、複数の画像ベースの入力データセットの複数の第2の高次元表現の複数のクラスターを決定するステップ(1110)と、
前記複数のクラスターの所定のクラスターのクラスター中心の第1の高次元表現を決定するステップ(1120)と、
前記第1の高次元表現と、前記複数の第2の高次元表現の各第2の高次元表現またはそのサブセットと、の比較に基づいて、前記複数の第2の高次元表現から1つの第2の高次元表現を選択するステップ(1130)と、
前記選択された第2の高次元表現に基づいて、前記顕微鏡の動作を制御するための制御信号を提供するステップ(1140)と、
を含む方法(1100)。 - コンピュータプログラムであって、プログラムがプロセッサによって実行されるときに、請求項32から34までのいずれか1項記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/EP2019/064978 WO2020244779A1 (en) | 2019-06-07 | 2019-06-07 | A system and method for processing biology-related data, a system and method for controlling a microscope and a microscope |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022542752A true JP2022542752A (ja) | 2022-10-07 |
JP7526211B2 JP7526211B2 (ja) | 2024-07-31 |
Family
ID=66867116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021572431A Active JP7526211B2 (ja) | 2019-06-07 | 2019-06-07 | 生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12026191B2 (ja) |
EP (1) | EP3981008A1 (ja) |
JP (1) | JP7526211B2 (ja) |
CN (1) | CN114375477A (ja) |
WO (1) | WO2020244779A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11599749B1 (en) * | 2019-12-23 | 2023-03-07 | Thales Sa | Method of and system for explainable knowledge-based visual question answering |
US12001491B2 (en) * | 2022-02-01 | 2024-06-04 | Jpmorgan Chase Bank, N.A. | Method and system for automated public information discovery |
CN116030454B (zh) * | 2023-03-28 | 2023-07-18 | 中南民族大学 | 一种基于胶囊网络和多语言模型的文字识别方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259061A (ja) * | 2003-02-26 | 2004-09-16 | Intec Web & Genome Informatics Corp | 情報検索装置、情報検索方法、及び情報検索プログラム |
WO2014103664A1 (ja) * | 2012-12-26 | 2014-07-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2017520864A (ja) * | 2014-04-09 | 2017-07-27 | エントルピー インコーポレーテッドEntrupy Inc. | 微視的差異からの機械学習を使用する物体の真贋鑑定 |
JP2018119969A (ja) * | 2014-06-16 | 2018-08-02 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 血液学用デジタルホログラフィ顕微鏡検査データ分析 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
ATE422064T1 (de) * | 2001-04-12 | 2009-02-15 | Cellavision Ab | Verfahren in der mikroskopie und mikroskop, wobei teilbilder aufgezeichnet und in demselben koordinatensystem im puzzle-verfahren angeordnet werden, um eine präzise positionierung der mikroskopstufe zu ermöglichen |
JP2005269605A (ja) * | 2004-02-20 | 2005-09-29 | Fuji Photo Film Co Ltd | デジタル図鑑システム、図鑑検索方法、図鑑検索プログラム |
US8319829B2 (en) | 2008-05-16 | 2012-11-27 | Ffei Limited | Method and system for controlling the position of a microscope lens |
JP6160187B2 (ja) * | 2013-04-09 | 2017-07-12 | ソニー株式会社 | 分析装置、分析プログラム及び分析システム |
US10769501B1 (en) * | 2017-02-15 | 2020-09-08 | Google Llc | Analysis of perturbed subjects using semantic embeddings |
US11531844B2 (en) * | 2018-03-16 | 2022-12-20 | The United States Of America, As Represented By The Secretary, Department Of Health & Human Services | Using machine learning and/or neural networks to validate stem cells and their derivatives (2-D cells and 3-D tissues) for use in cell therapy and tissue engineered products |
-
2019
- 2019-06-07 US US17/596,274 patent/US12026191B2/en active Active
- 2019-06-07 WO PCT/EP2019/064978 patent/WO2020244779A1/en unknown
- 2019-06-07 EP EP19730729.1A patent/EP3981008A1/en active Pending
- 2019-06-07 JP JP2021572431A patent/JP7526211B2/ja active Active
- 2019-06-07 CN CN201980099034.1A patent/CN114375477A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004259061A (ja) * | 2003-02-26 | 2004-09-16 | Intec Web & Genome Informatics Corp | 情報検索装置、情報検索方法、及び情報検索プログラム |
WO2014103664A1 (ja) * | 2012-12-26 | 2014-07-03 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2017520864A (ja) * | 2014-04-09 | 2017-07-27 | エントルピー インコーポレーテッドEntrupy Inc. | 微視的差異からの機械学習を使用する物体の真贋鑑定 |
JP2018119969A (ja) * | 2014-06-16 | 2018-08-02 | シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. | 血液学用デジタルホログラフィ顕微鏡検査データ分析 |
Also Published As
Publication number | Publication date |
---|---|
JP7526211B2 (ja) | 2024-07-31 |
US20220245188A1 (en) | 2022-08-04 |
EP3981008A1 (en) | 2022-04-13 |
CN114375477A (zh) | 2022-04-19 |
US12026191B2 (en) | 2024-07-02 |
WO2020244779A1 (en) | 2020-12-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7443401B2 (ja) | 生物学関連のデータを処理するための機械学習アルゴリズムをトレーニングするためのシステムおよび方法、顕微鏡ならびにトレーニングされた機械学習アルゴリズム | |
Bolón-Canedo et al. | Recent advances and emerging challenges of feature selection in the context of big data | |
Sommer et al. | Machine learning in cell biology–teaching computers to recognize phenotypes | |
Pastore et al. | Annotation-free learning of plankton for classification and anomaly detection | |
Huang et al. | From quantitative microscopy to automated image understanding | |
Glory et al. | Automated subcellular location determination and high-throughput microscopy | |
Zhou et al. | Informatics challenges of high-throughput microscopy | |
Cai et al. | Joint stage recognition and anatomical annotation of drosophila gene expression patterns | |
JP7526211B2 (ja) | 生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡 | |
JP7526210B2 (ja) | 生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡 | |
Sanchez-Fernandez et al. | CLOOME: contrastive learning unlocks bioimaging databases for queries with chemical structures | |
JP7346603B2 (ja) | 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡 | |
Tizhoosh et al. | On image search in histopathology | |
Yuan et al. | Automated annotation of developmental stages of Drosophila embryos in images containing spatial patterns of expression | |
Chowdhury et al. | Active deep learning reduces annotation burden in automatic cell segmentation | |
Tiwari et al. | An optimal feature selection method for histopathology tissue image classification using adaptive jaya algorithm | |
WO2023205478A1 (en) | Data integration, knowledge extraction and methods thereof | |
Gancheva et al. | SOA based system for big genomic data analytics and knowledge discovery | |
Janosch et al. | Unbiased phenotype detection using negative controls | |
US20240273877A1 (en) | Methods, systems, and computer programs for adjusting a first and a second machine-learning model and for pro-cessing a set of images, imaging system | |
Verma et al. | Systems biology-driven hypotheses tested in vivo: the need to advancing molecular imaging tools | |
Sharma et al. | Bio-inspired algorithm-based hyperparameter tuning for drug-target binding affinity prediction in healthcare | |
WO2020244777A1 (en) | A system and method for generating a biology-related image-based output data set of a typical image of a biological structure and a system and method for training a generative adversarial network | |
Islam et al. | Deep Multi-Modal Approach for Protein Function Prediction and Classification | |
Gou et al. | Application of attention mechanism in image search |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220607 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240610 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240703 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240719 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7526211 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |