JP2023100825A - 画像アトラスシステム及び方法 - Google Patents
画像アトラスシステム及び方法 Download PDFInfo
- Publication number
- JP2023100825A JP2023100825A JP2023076100A JP2023076100A JP2023100825A JP 2023100825 A JP2023100825 A JP 2023100825A JP 2023076100 A JP2023076100 A JP 2023076100A JP 2023076100 A JP2023076100 A JP 2023076100A JP 2023100825 A JP2023100825 A JP 2023100825A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- sample
- reference image
- cells
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title abstract description 53
- 239000000523 sample Substances 0.000 abstract description 130
- 239000002245 particle Substances 0.000 abstract description 61
- 230000008569 process Effects 0.000 abstract description 28
- 238000004458 analytical method Methods 0.000 abstract description 17
- 239000012472 biological sample Substances 0.000 abstract description 11
- 210000004027 cell Anatomy 0.000 description 121
- 210000003743 erythrocyte Anatomy 0.000 description 34
- 210000000265 leukocyte Anatomy 0.000 description 22
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000010606 normalization Methods 0.000 description 11
- 238000010191 image analysis Methods 0.000 description 8
- 210000001772 blood platelet Anatomy 0.000 description 7
- 210000000440 neutrophil Anatomy 0.000 description 6
- 210000001519 tissue Anatomy 0.000 description 6
- 210000003651 basophil Anatomy 0.000 description 5
- 230000001413 cellular effect Effects 0.000 description 5
- 210000003979 eosinophil Anatomy 0.000 description 5
- 210000004698 lymphocyte Anatomy 0.000 description 5
- 210000001995 reticulocyte Anatomy 0.000 description 5
- 210000002700 urine Anatomy 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 240000004808 Saccharomyces cerevisiae Species 0.000 description 4
- 239000013060 biological fluid Substances 0.000 description 4
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 210000000601 blood cell Anatomy 0.000 description 4
- 239000013078 crystal Substances 0.000 description 4
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241000224526 Trichomonas Species 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 210000002468 fat body Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001616 monocyte Anatomy 0.000 description 3
- 210000003887 myelocyte Anatomy 0.000 description 3
- 244000045947 parasite Species 0.000 description 3
- 210000004765 promyelocyte Anatomy 0.000 description 3
- 239000013049 sediment Substances 0.000 description 3
- VTYYLEPIZMXCLO-UHFFFAOYSA-L Calcium carbonate Chemical compound [Ca+2].[O-]C([O-])=O VTYYLEPIZMXCLO-UHFFFAOYSA-L 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 210000001124 body fluid Anatomy 0.000 description 2
- 239000010839 body fluid Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000002919 epithelial cell Anatomy 0.000 description 2
- 210000000981 epithelium Anatomy 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000003097 mucus Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001539 phagocyte Anatomy 0.000 description 2
- 210000001082 somatic cell Anatomy 0.000 description 2
- 210000004926 tubular epithelial cell Anatomy 0.000 description 2
- LEVWYRKDKASIDU-QWWZWVQMSA-N D-cystine Chemical compound OC(=O)[C@H](N)CSSC[C@@H](N)C(O)=O LEVWYRKDKASIDU-QWWZWVQMSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- ROHFNLRQFUQHCH-YFKPBYRVSA-N L-leucine Chemical compound CC(C)C[C@H](N)C(O)=O ROHFNLRQFUQHCH-YFKPBYRVSA-N 0.000 description 1
- OUYCCCASQSFEME-QMMMGPOBSA-N L-tyrosine Chemical compound OC(=O)[C@@H](N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-QMMMGPOBSA-N 0.000 description 1
- ROHFNLRQFUQHCH-UHFFFAOYSA-N Leucine Natural products CC(C)CC(N)C(O)=O ROHFNLRQFUQHCH-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 229910019142 PO4 Inorganic materials 0.000 description 1
- 241000235343 Saccharomycetales Species 0.000 description 1
- 235000017276 Salvia Nutrition 0.000 description 1
- 241001072909 Salvia Species 0.000 description 1
- LEHOTFFKMJEONL-UHFFFAOYSA-N Uric Acid Chemical compound N1C(=O)NC(=O)C2=C1NC(=O)N2 LEHOTFFKMJEONL-UHFFFAOYSA-N 0.000 description 1
- TVWHNULVHGKJHS-UHFFFAOYSA-N Uric acid Natural products N1C(=O)NC(=O)C2NC(=O)NC21 TVWHNULVHGKJHS-UHFFFAOYSA-N 0.000 description 1
- 229910000019 calcium carbonate Inorganic materials 0.000 description 1
- QXDMQSPYEZFLGF-UHFFFAOYSA-L calcium oxalate Chemical compound [Ca+2].[O-]C(=O)C([O-])=O QXDMQSPYEZFLGF-UHFFFAOYSA-L 0.000 description 1
- 239000001506 calcium phosphate Substances 0.000 description 1
- 229910000389 calcium phosphate Inorganic materials 0.000 description 1
- 235000011010 calcium phosphates Nutrition 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229960003067 cystine Drugs 0.000 description 1
- 230000001605 fetal effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 210000004276 hyalin Anatomy 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000441 neoplastic stem cell Anatomy 0.000 description 1
- 239000013618 particulate matter Substances 0.000 description 1
- NBIIXXVUZAFLBC-UHFFFAOYSA-K phosphate Chemical compound [O-]P([O-])([O-])=O NBIIXXVUZAFLBC-UHFFFAOYSA-K 0.000 description 1
- 239000010452 phosphate Substances 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000004085 squamous epithelial cell Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- QORWJWZARLRLPR-UHFFFAOYSA-H tricalcium bis(phosphate) Chemical compound [Ca+2].[Ca+2].[Ca+2].[O-]P([O-])([O-])=O.[O-]P([O-])([O-])=O QORWJWZARLRLPR-UHFFFAOYSA-H 0.000 description 1
- OUYCCCASQSFEME-UHFFFAOYSA-N tyrosine Natural products OC(=O)C(N)CC1=CC=C(O)C=C1 OUYCCCASQSFEME-UHFFFAOYSA-N 0.000 description 1
- 229940116269 uric acid Drugs 0.000 description 1
- 230000002485 urinary effect Effects 0.000 description 1
- 238000005353 urine analysis Methods 0.000 description 1
- 210000003741 urothelium Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/5005—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells
- G01N33/5094—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving human or animal cells for blood cell populations
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1404—Fluid conditioning in flow cytometers, e.g. flow cells; Supply; Control of flow
-
- G01N15/1433—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Electro-optical investigation, e.g. flow cytometers
- G01N15/1434—Electro-optical investigation, e.g. flow cytometers using an analyser being characterised by its optical arrangement
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/96—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing involving blood or serum control standard
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G06T5/77—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/945—User interactive design; Environments; Toolboxes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N2015/1006—Investigating individual particles for cytology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Abstract
【課題】臨床用途の画像の分析を提供すること【解決手段】いくつかの実施形態において、細胞の試料画像を分類するためのユーザインターフェースを生成するためのプロセス及びシステムが提供され、当該分類することは、生体試料から試料粒子の試料画像を受信することと、それぞれが生体試料の基準粒子を描写する基準画像を選択することとを含む。基準画像は、類似度に基づいて順序付けすることができ、基準画像は、順序に基づいて選択することができる。第1の選択された基準画像は、試料画像と整列させ、基準画像及び試料画像の隣接する縁部が同じであるように拡大することができる。拡大した画像は、動的に塗り潰すことができる。試料画像及び拡大した基準画像は、ユーザインターフェースに表示することができる。【選択図】なし
Description
本開示は、概して、臨床用途の画像の分析に関する。より具体的には、それらに限定するものではないが、本開示は、ユーザが、画像間の不適切な不一致に基づく混乱なしに、臨床分析を行うことを可能にするための、血液学及び尿分析等の臨床診断のために収集された細胞及び粒子の画像の分析、並びに画像の表示の正規化に関する。
生きている組織(例えば、人間、動物、及び植物)からの細胞又は粒子の分析は、疾患及び細胞障害、並びに健康な細胞を識別するために使用される医学的診断ツールとして使用することができる。分析のために細胞又は粒子を捕捉することは、例えば生きている組織(すなわち、生体試料)からの流体を通して粒子を収集することによって行うことができる。例えば、ヒトからの血液試料は、分析して、細胞が健康かどうか、又は分析することができる何らかの問題を有するかどうかを判定する細胞を含む。例えば、医師の治療を受けている患者からの血液試料は、2015年9月11日に出願され、2016年2月11日にUS2016-0041083A1として公開された、特許出願第14/775,448号、名称「HEMATOLOGY SYSTEMS AND METHODS」に記載されているシステム等の、複数の光角度検出パラメータを取得するように備えられる血液学システムを使用して評価することができる。別の例として、尿試料を評価することができる。細胞又は粒子を分析するには、細胞を撮像し、その細胞と、既知の特徴を有する他の細胞の画像との比較を行うことが有益であり得る。いくらかの分析及び比較は、自動化されたシステムを通して行うことができるが、全ての細胞の画像が十分に鮮明であるとは限らず、既知の課題を有するとは限らず、又は既知の課題を有する細胞の画像と十分に類似して自動化が適切に、若しくは効果的に機能するとは限らない。その場合、医療診断要員による手動の比較が行われ得る。必要に応じて、診断又は分類されるべき試料細胞の画像、及び既知の特徴を有する細胞の基準画像を提供するユーザインターフェースを提供することができる。分類のための試料画像は、基準画像及び試料画像内の細胞が同じ特徴若しくは特性を有し得る、又は同じ種類の細胞であり得る場合であっても、比較によって混乱し得る、基準画像との違いを有し得る。画像のサイズ、配向、及び表示された画像間のギャップ等の違いは、全て、細胞画像の比較によって混乱し得る違いの例である。本明細書に記載される実施形態は、そうした混乱を補償することができ、また、画像アトラスを使用して試料を基準画像と比較するための最適化されたユーザインターフェースを提供することができる。
明示的に別段の定めをした場合を除き、本開示でなされる「粒子」又は「複数の粒子」への言及は、流体中に分散された任意の離散した、又は形成された物体を包含することを理解する。本明細書で用いられるように、「粒子」は生体液中の全ての測定可能で検出可能な(例えば、画像及び/又は他の測定可能パラメータにより)構成要素を含むことができる。粒子は任意の物質、任意の形状及び任意のサイズのものである。粒子は細胞を含み得る。粒子の例は、限定するものではないが、血球、胎児細胞、上皮細胞、幹細胞、腫瘍細胞を含む細胞、又は細菌、寄生虫、又は先述のいずれかの破片若しくは生体液中の別の破片を含む。血球は、潜在的に生体液中に存在する任意の正常又は異常、成熟又は未熟細胞を含む任意の血球、例えば赤血球(RBC)、白血球(WBC)、血小板(PLT)、及び他の細胞であってもよい。構成物は、更に未熟又は異常細胞を含む。未熟WBCは、後骨髄球、骨髄球、前骨髄球及び芽球を含んでもよい。成熟RBCに加えて、RBCの構成物は、有核RBC(NTRC)及び網赤血球を含んでもよい。PLTは、「巨大」PLT及びPLT凝集を含んでもよい。血小板、網赤血球、有核RBC、並びに好中球、リンパ球、単球、好酸球、好塩基球を含むWBC、及び、芽球、前骨髄球、骨髄球又は後骨髄球を含む未熟WBCは、粒子として計数されて分析される。本明細書を通して、画像は細胞又は粒子の画像であるものとして記載される。多くの場合、細胞として参照されるが、画像は任意の粒子であり得る。「画像」は、レンズ、鏡、カメラ、又は顕微鏡等の光学デバイスによって生成された何らかの視覚的印象を意味する。
例示的な尿粒子は、尿沈渣粒子を含み得る。例示的な尿沈渣粒子は、赤血球(RBC)、変形赤血球、白血球(WBC)、好中球、リンパ球、食細胞、好酸球、好塩基球、扁平上皮細胞、移行上皮細胞、デコイ細胞、腎尿細管上皮細胞、円柱、結晶、細菌、酵母、寄生虫、卵円形脂肪体、脂肪小滴、精子、粘液、トリコモナス、細胞凝集及び細胞破片を含み得る。例示的な細胞は、赤血球、白血球及び上皮を含み得る。例示的な円柱は、無細胞色素円柱、分類不能円柱(例えば、顆粒円柱)を含み得る。例示的な無細胞円柱は、例えば、ろう様円柱、幅広円柱、脂肪円柱及び結晶円柱を含み得る。例示的な細胞性円柱は、例えば、RBC円柱、WBC円柱及び細胞性円柱を含み得る。例示的な結晶は、例えば、シュウ酸カルシウム、トリプルリン酸、カルシウムリン酸、尿酸、炭酸カルシウム、ロイシン、シスチン、チロシン及び無晶性結晶を含み得る。例示的な非扁平上皮細胞は、例えば、腎上皮及び移行上皮を含み得る。例示的な酵母は、例えば、出芽酵母及び仮性菌糸を有する酵母を含み得る。例示的な尿沈渣粒子はまた、RBC凝集、脂肪、卵円形脂肪体及びトリコモナスを含み得る。記載されたシステム及び方法は、例えば、赤血球(例えば、RBC)、変形赤血球、白血球(例えば、WBC)、好中球、リンパ球、食細胞、好酸球、好塩基球、扁平上皮細胞、移行上皮細胞、デコイ細胞、腎尿細管上皮細胞、円柱、結晶、細菌、酵母、寄生虫、卵円形脂肪体、脂肪小滴、精子、粘液、トリコモナス、細胞凝集及び細胞破片の検出と定量化のような生体液中の粒子の特徴付け、分類と下位分類、計数と分析に有用であり得る。
以下の記載においては、説明の適用上、具体的詳細が本発明の実施形態の完全な理解を提供するために示される。しかしながら、様々な実施形態は、これらの具体的詳細なしに実施されてもよいことが明らかである。図面及び説明は、限定することを意図していない。
いくつかの図面で記載されるシステムは、様々な構成で提供されてもよい。必要に応じて、システムは、1つ以上のシステムの構成要素がクラウドコンピューティングシステムの1つ又は2つ以上のネットワークに分散される分散システムとして構成されてもよい。記載されたシステムの全ての機能は、記載された方法に変更を加えて適用可能であり、またその逆も適用可能である。
本発明は、例えば、以下を提供する。
(項目1)
生体試料粒子の分析を支援するための医療用デバイスであって、
プロセッサと、
前記プロセッサにより実行可能な命令を格納するメモリデバイスであって、前記命令は、前記プロセッサに、
生体試料から試料粒子の試料画像を受信することと、
基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記第1の基準画像を前記試料画像と整列させることと、
前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を行わせるために格納されている、メモリデバイスと、を備える、医療用デバイス。
(項目2)
前記複数の基準画像の前記順序を決定するための前記命令が、前記プロセッサに、
前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記試料画像に対する前記各基準画像の類似度を決定することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1に記載の医療用デバイス。
(項目3)
前記試料画像を前記複数の基準画像の各基準画像と比較するための前記命令が、前記プロセッサに、
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記試料画像との、前記複数の基準画像の各基準画像の距離メトリックを計算することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1又は2に記載の医療用デバイス。
(項目4)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目3に記載の医療用デバイス。
(項目5)
前記第1の基準画像を前記試料画像と整列させるための前記命令が、前記プロセッサに、
前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1~4に記載の医療用デバイス。
(項目6)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すための前記命令が、前記プロセッサに、
前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記第1の基準画像の背景色を決定することと、
前記第1の基準画像の前記拡大した背景を前記背景色で塗り潰すことと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1~5に記載の医療用デバイス。
(項目7)
前記第1の基準画像の前記背景色を決定するための前記命令が、前記プロセッサに、
前記第1の基準画像の四隅画素を決定することと、
前記四隅画素の平均色値を計算することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目6に記載の医療用デバイス。
(項目8)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目1~7に記載の医療用デバイス。
(項目9)
方法であって、
コンピュータシステムにおいて、生体試料から試料粒子の試料画像を受信することと、
前記コンピュータシステムによって、基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記コンピュータシステムによって、前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記コンピュータシステムによって、前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記コンピュータシステムによって、前記第1の基準画像を前記試料画像と整列させることと、
前記コンピュータシステムによって、前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記コンピュータシステムによって、前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を含む、方法。
(項目10)
前記複数の基準画像の前記順序を前記決定することが、
前記コンピュータシステムによって、前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記コンピュータシステムによって、前記試料画像に対する前記各基準画像の類似度を決定することと、を含む、項目9に記載の方法。
(項目11)
前記試料画像を前記複数の基準画像の各基準画像と前記比較することが、
前記コンピュータシステムによって、前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記コンピュータシステムによって、画像ごとの前記生成した特徴ベクトルに基づいて、前記試料画像からの前記複数の基準画像の各基準画像の距離メトリックを計算することと、を含む、項目10に記載の方法。
(項目12)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目11に記載の方法。
(項目13)
前記第1の基準画像を前記試料画像と整列させることが、
前記コンピュータシステムによって、前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記コンピュータシステムによって、前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記コンピュータシステムによって、前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を含む、項目9~12のいずれか一項に記載の方法。
(項目14)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すことが、
前記コンピュータシステムによって、前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記コンピュータシステムによって、前記第1の基準画像の背景色を決定することと、
前記コンピュータシステムによって、前記第1の基準画像の前記拡大した背景を前記背景色で塗り潰すことと、を含む、項目9~13のいずれか一項に記載の方法。
(項目15)
前記第1の基準セルの前記背景色を決定することが、
前記コンピュータシステムによって、前記第1の基準画像の四隅画素を決定することと、
前記コンピュータシステムによって、前記四隅画素の平均色値を計算することと、を含む、項目14に記載の方法。
(項目16)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目9~15のいずれか一項に記載のコンピュータで実施される方法。(項目17)
プログラムコードを備えるコンピュータ読み取り可能なメモリデバイスであって、該プログラムコードが、プロセッサによって実行されたときに、前記プロセッサに、
生体試料から試料粒子の試料画像を受信することと、
基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記第1の基準画像を前記試料画像と整列させることと、
前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を行わせる、コンピュータ読み取り可能なメモリデバイス。(項目18)
前記複数の基準画像の前記順序を決定するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記試料画像に対する前記各基準画像の類似度を決定することと、を行わせるプログラムコードを含む、項目17に記載のコンピュータ読み取り可能なメモリデバイス。
(項目19)
前記試料画像を前記複数の基準画像の各基準画像と比較するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記試料画像との、前記複数の基準画像の各基準画像の距離メトリックを計算することと、を行わせるプログラムコードを含む、項目18に記載のコンピュータ読み取り可能なメモリデバイス。
(項目20)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目19に記載のコンピュータ読み取り可能なメモリデバイス。
(項目21)
前記第1の基準画像を前記試料画像と整列させるための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、 前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を行わせるプログラムコードを含む、項目17~20のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
(項目22)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記第1の基準画像の背景色を決定することと、
前記第1の基準画像の前記拡大された背景を前記背景色で塗り潰すことと、を行わせるプログラムコードを含む、項目17~21のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
(項目23)
前記第1の基準画像の前記背景色を決定するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記第1の基準画像の四隅画素を決定することと、
前記四隅画素の平均色値を計算することと、を行わせるプログラムコードを含む、項目22に記載のコンピュータ読み取り可能なメモリデバイス。
(項目24)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目17~23のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
本発明は、例えば、以下を提供する。
(項目1)
生体試料粒子の分析を支援するための医療用デバイスであって、
プロセッサと、
前記プロセッサにより実行可能な命令を格納するメモリデバイスであって、前記命令は、前記プロセッサに、
生体試料から試料粒子の試料画像を受信することと、
基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記第1の基準画像を前記試料画像と整列させることと、
前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を行わせるために格納されている、メモリデバイスと、を備える、医療用デバイス。
(項目2)
前記複数の基準画像の前記順序を決定するための前記命令が、前記プロセッサに、
前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記試料画像に対する前記各基準画像の類似度を決定することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1に記載の医療用デバイス。
(項目3)
前記試料画像を前記複数の基準画像の各基準画像と比較するための前記命令が、前記プロセッサに、
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記試料画像との、前記複数の基準画像の各基準画像の距離メトリックを計算することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1又は2に記載の医療用デバイス。
(項目4)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目3に記載の医療用デバイス。
(項目5)
前記第1の基準画像を前記試料画像と整列させるための前記命令が、前記プロセッサに、
前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1~4に記載の医療用デバイス。
(項目6)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すための前記命令が、前記プロセッサに、
前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記第1の基準画像の背景色を決定することと、
前記第1の基準画像の前記拡大した背景を前記背景色で塗り潰すことと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目1~5に記載の医療用デバイス。
(項目7)
前記第1の基準画像の前記背景色を決定するための前記命令が、前記プロセッサに、
前記第1の基準画像の四隅画素を決定することと、
前記四隅画素の平均色値を計算することと、を行わせるための、前記プロセッサによって実行可能な命令を備える、項目6に記載の医療用デバイス。
(項目8)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目1~7に記載の医療用デバイス。
(項目9)
方法であって、
コンピュータシステムにおいて、生体試料から試料粒子の試料画像を受信することと、
前記コンピュータシステムによって、基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記コンピュータシステムによって、前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記コンピュータシステムによって、前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記コンピュータシステムによって、前記第1の基準画像を前記試料画像と整列させることと、
前記コンピュータシステムによって、前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記コンピュータシステムによって、前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を含む、方法。
(項目10)
前記複数の基準画像の前記順序を前記決定することが、
前記コンピュータシステムによって、前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記コンピュータシステムによって、前記試料画像に対する前記各基準画像の類似度を決定することと、を含む、項目9に記載の方法。
(項目11)
前記試料画像を前記複数の基準画像の各基準画像と前記比較することが、
前記コンピュータシステムによって、前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記コンピュータシステムによって、画像ごとの前記生成した特徴ベクトルに基づいて、前記試料画像からの前記複数の基準画像の各基準画像の距離メトリックを計算することと、を含む、項目10に記載の方法。
(項目12)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目11に記載の方法。
(項目13)
前記第1の基準画像を前記試料画像と整列させることが、
前記コンピュータシステムによって、前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記コンピュータシステムによって、前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記コンピュータシステムによって、前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を含む、項目9~12のいずれか一項に記載の方法。
(項目14)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すことが、
前記コンピュータシステムによって、前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記コンピュータシステムによって、前記第1の基準画像の背景色を決定することと、
前記コンピュータシステムによって、前記第1の基準画像の前記拡大した背景を前記背景色で塗り潰すことと、を含む、項目9~13のいずれか一項に記載の方法。
(項目15)
前記第1の基準セルの前記背景色を決定することが、
前記コンピュータシステムによって、前記第1の基準画像の四隅画素を決定することと、
前記コンピュータシステムによって、前記四隅画素の平均色値を計算することと、を含む、項目14に記載の方法。
(項目16)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目9~15のいずれか一項に記載のコンピュータで実施される方法。(項目17)
プログラムコードを備えるコンピュータ読み取り可能なメモリデバイスであって、該プログラムコードが、プロセッサによって実行されたときに、前記プロセッサに、
生体試料から試料粒子の試料画像を受信することと、
基準画像のデータベースから複数の基準画像を選択することであって、前記複数の基準画像の各基準画像が、1つ以上の生体試料からの複数の基準粒子からの基準粒子の基準画像である、選択することと、
前記試料画像に対する各基準画像の類似度に基づいて、前記複数の基準画像の順序を決定することと、
前記決定した順序に基づいて、前記複数の基準画像から第1の基準画像を選択することと、
前記第1の基準画像を前記試料画像と整列させることと、
前記整列させた第1の基準画像の背景を動的に塗り潰すことと、
前記試料画像、及び前記動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することと、を行わせる、コンピュータ読み取り可能なメモリデバイス。(項目18)
前記複数の基準画像の前記順序を決定するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記試料画像を前記複数の基準画像の各基準画像と比較することと、
前記試料画像に対する前記各基準画像の類似度を決定することと、を行わせるプログラムコードを含む、項目17に記載のコンピュータ読み取り可能なメモリデバイス。
(項目19)
前記試料画像を前記複数の基準画像の各基準画像と比較するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の特徴ベクトルを生成することと、
前記試料画像との、前記複数の基準画像の各基準画像の距離メトリックを計算することと、を行わせるプログラムコードを含む、項目18に記載のコンピュータ読み取り可能なメモリデバイス。
(項目20)
前記複数の基準画像のうちの前記基準画像の各々及び前記試料画像の前記特徴ベクトルを生成するために使用される特徴が、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び画像平均グレースケール値のうちの少なくとも1つを含む、項目19に記載のコンピュータ読み取り可能なメモリデバイス。
(項目21)
前記第1の基準画像を前記試料画像と整列させるための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、 前記ユーザインターフェースにおける前記試料画像を表示するための第1の表示位置を決定することであって、前記第1の表示位置が、セルのグリッドの第1のセル内にある、決定することと、
前記ユーザインターフェースにおける前記第1の基準画像を表示するための前記第1の表示位置に隣接する第2の表示位置を決定することであって、前記第2の表示位置が、前記セルのグリッドの第2のセル内にある、決定することと、
前記第2の表示位置内の前記第1の基準画像の図心を前記第1の表示位置内の前記試料画像の図心と整列させることと、を行わせるプログラムコードを含む、項目17~20のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
(項目22)
前記整列させた第1の基準画像の前記背景を動的に塗り潰すための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記第2のセル内の前記第1の基準画像の前記背景を拡大して、前記第2のセルを塗り潰すことと、
前記第1の基準画像の背景色を決定することと、
前記第1の基準画像の前記拡大された背景を前記背景色で塗り潰すことと、を行わせるプログラムコードを含む、項目17~21のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
(項目23)
前記第1の基準画像の前記背景色を決定するための前記プログラムコードが、前記プロセッサによって実行されたときに、前記プロセッサに、
前記第1の基準画像の四隅画素を決定することと、
前記四隅画素の平均色値を計算することと、を行わせるプログラムコードを含む、項目22に記載のコンピュータ読み取り可能なメモリデバイス。
(項目24)
前記複数の基準画像が、前記複数の基準画像の各基準画像と関連付けられたタグに基づいて選択される、項目17~23のいずれか一項に記載のコンピュータ読み取り可能なメモリデバイス。
様々な例の性質及び利点の更なる理解は、以下の図面を参照することにより実現されてもよい。
図1は、画像分析、正規化、及び表示を行うために使用可能な例示的なシステム100のブロック図を例示する。システム100は、データベース120、データベース125、サーバ110、コンピューティングデバイス115、分析装置130を含む、様々な構成要素が通信することができるネットワーク105を含むことができる。
分析装置130は、例えば、2015年9月11日に出願された特許出願第14/775,448号、名称「HEMATOLOGY SYSTEMS AND METHODS」に詳細に記載されているように、体液細胞の画像を捕捉する体液システムを通して、生きている組織粒子及び細胞の画像を収集することができる。分析装置130は、画像を収集し、その画像を試料細胞画像としてデータベース120に格納することができる。基準画像は、比較のために、分析装置130を通して、及び/又は他の捕捉方法を通して収集し、そして、データベースに125に格納することができる。
データベース120は、分析のための試料画像を格納することができる。データベース125は、データベース120に格納された試料画像の分析中に、比較のための画像アトラス(すなわち、基準画像のデータベース)を格納することができる。必要に応じて、データベース120及びデータベース125は、単一のデータベース(例えば、基準画像以外の、異なるテーブルに格納された試料画像を有する)であり得る。データベース120及び125は、例えば、Microsoft(登録商標)SQL Server(登録商標)データベース、Oracle(登録商標)データベース、又はMicrosoft(登録商標)Excel(登録商標)スプレッドシートを含む、任意の適切なデータベースであり得る。
ネットワーク105は、任意の適切な数又はタイプのネットワーク又はリンクであり得て、限定するものではないが、ダイヤルアップネットワーク、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、公衆交換電話網(「PSTN」)、セルラーネットワーク、WiFiネットワーク、インターネット、イントラネット、あるいは、有線及び/又は無線通信リンクの任意の組み合わせが挙げられる。ネットワーク105は、1つ以上のサブネットワークを含み得る。いくつかの例では、システムの2つ以上の構成要素(例えば、コンピューティングデバイス115、サーバ110、データベース120及び125、分析装置130、又はこれらの任意の組み合わせ)は、ネットワーク105に接続され、かつネットワーク105を介して通信され得る。
コンピューティングデバイス115は、図2に関して記載されるようにコンピュータシステム200であり得る。コンピューティングデバイス115は、本明細書でより詳細に論じられるように、画像分析、正規化、及び表示を行うことができるシステムであり得る。コンピューティングデバイス115は、ユーザによって利用されるシステムであり得、また、デスクトップコンピュータとして表されるが、ラップトップ又は無線デバイス(例えば、スマートフォン、タブレット、携帯情報端末(PDA)、eリーダー、又はスマートウォッチ)を含む任意のユーザデバイスであり得る。
必要に応じて、サーバ110は、図2に関して記載されるようにコンピュータシステム200であり得る。サーバ110は、例えば、画像分析及び正規化を行うことができ、また、サーバは、あるときにはそれ自体の表示デバイスを含まないので、ユーザインターフェースに表示するために、結果として生じる画像をコンピューティングデバイス115に送信することができる。必要に応じて、サーバ110は、任意の適切なタイプのサーバであり得る。サーバは、例えば、サーバファーム又はラックサーバ内にあり得る。コンピューティングデバイス115及びサーバ110は、例えば、クラウドコンピューティング環境内にあり得る。
図2は、画像分析、正規化、及び表示を行うために使用可能な例示的なコンピュータシステム200のブロック図を例示する。コンピューティングデバイス200は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、タブレット、eリーダー、スマートフォン若しくはモバイルデバイス、スマートウォッチ、携帯情報端末(PDA)、又は他の電子機器を含み得る。コンピューティングデバイス200は、例えば、コンピューティングデバイス115又はサーバ110であり得る。
コンピューティングデバイス200は、バス205を介して他のハードウェアと連動するプロセッサ240を含み得る。RAM、ROM、EEPROM等のような任意の適切な有形(及び非一時的)コンピュータ読み取り可能媒体を含み得るメモリ210は、コンピューティングデバイス200の演算を構成するプログラム構成要素(例えば、命令215)を具現化できる。いくつかの例では、コンピューティングデバイス200は、入力/出力(「I/O」)インターフェース構成要素225(例えば、ディスプレイ245、キーボード、又はマウスとの連動用)、及び追加記憶機構230を含み得る。
コンピューティングデバイス200は、ネットワーク構成要素220を含み得る。ネットワーク構成要素220は、ネットワーク接続を容易にする任意の構成要素のうちの1つ以上を表すことができる。いくつかの例では、ネットワーク構成要素220は、無線接続を容易にでき、IEEE802.11、Bluetooth(登録商標)のような無線インターフェース、又は携帯電話ネットワークにアクセスするための無線インターフェース(例えば、CDMA、GSM(登録商標)、UMTS、若しくは他のモバイル通信ネットワークにアクセスするためのトランシーバ/アンテナ)を含むことができる。別の例では、ネットワーク構成要素220は、有線であり得て、Ethernet(登録商標)、USB、又はIEEE1394のようなインターフェースを含み得る。
図2は、単一プロセッサ240を有する単一コンピューティングデバイス200を示すが、システムは、任意の数のコンピューティングデバイス200と任意の数のプロセッサ240を含むことができる。例えば、複数のコンピューティングデバイス200又は複数のプロセッサ240は、有線又は無線ネットワーク(例えば、広域ネットワーク、ローカルエリアネットワーク、又はインターネット)、例えば、ネットワーク105上に分散され得る。複数のコンピューティングデバイス200又は複数のプロセッサ240は、本開示の任意の工程を個別に、又は互いに調整して実行できる。例えば、プロセッサ240及び/又はコンピューティングデバイス200は、例えば、図1のコンピューティングデバイス115及び/又はサーバ110であり得る。
図3は、画像分析、正規化、及び表示を行うためのプロセス300の一実施例のフローチャートを例示する。このプロセス300は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
プロセス300は、例えば図2のコンピュータシステム200上で、305から始まる。310で、コンピュータシステム200は、生きた組織から試料粒子(例えば、細胞)の試料画像を受信することができる。上で簡潔に論じたように、生きている組織の細胞及び粒子は、微生物から収集した生体試料(例えば、尿又は血液試料)を使用する画像処理システム(例えば、分析装置130)を使用して撮像又は撮影することができる。画像は、図9の試料画像905のように、捕捉前又は後に拡大し、単一の細胞又は粒子の画像を表すことができる。試料画像は、コンピューティングデバイス115(図2のコンピュータシステム200としてより詳細に示される)において、例えば図1のデータベース120から、図1のネットワーク105を通して受信することができる。
315で、コンピュータシステム200は、基準画像のデータベースから複数の基準画像を選択することができる。基準画像のデータベースは、例えば、図1のデータベース125であり得る。データベースは、任意の数の基準画像を含むことができる。基準画像は、試料画像に関して上に記載したように、類似の捕捉方法を通してポピュレートすることができる。基準画像は、例えば、図9の基準画像910であり得る。基準画像は、データベース125に格納された基準画像のユーザ選択ライブラリを通してポピュレートすることができる。必要に応じて、ユーザ選択画像は、以前に捕捉した基準画像のライブラリからのものであり得る。必要に応じて、ユーザ選択画像は、ユーザが基準画像データベースに加える試料画像であった画像を含むことができる。必要に応じて、ユーザ選択画像は、システム間での一意性及び移植性を確実にするために、ランダムに生成されたグローバル一意識別子(GUID)に基づくファイル名を使用することができる。基準画像は、任意の適切なフォーマット(例えば、*.png、*.gif、*.jpg)で格納することができる。基準画像は、捕捉したとおりに格納することができるが、それは、画像が、例えば、撮像した細胞のファイルサイズ、画素高、画素幅、及び/又は倍率が異なるものであり得ることを意味する。
基準画像は、既知の特徴を含む細胞若しくは粒子であり得、又は特定のタイプの既知の細胞若しくは粒子である。例えば、全血試料は、通常、赤血球(red blood cells、erythrocytes)、白血球(white blood cells、leukocytes)、及び血小板(platelets、thrombocytes)を含む、3つの主要な分類の血球を含む。各分類は、下位分類の構成物に
更に分けることができる。例えば、白血球(WBC)の5つの主要なタイプの下位分類は、異なる形状及び機能を有する。白血球は、好中球、リンパ球、単球、好酸球、及び好塩基球を含み得る。また、赤血球タイプの下位分類も存在する。試料内の粒子の外観は、病態、細胞成熟度、及び他の要因によって異なり得る。赤血球の下位分類は、網赤血球及び有核赤血球を含み得る。別の例として、撮像した細胞は、鎌状細胞であり得る。基準画像は、基準画像内の細胞のカテゴリを確認することができる注釈、又は基準画像内の細胞の特徴若しくは特性を識別するタグを含むことができる。一例として、鎌状細胞であることが分かっている細胞の画像に関する注釈は、その細胞を鎌状細胞として識別することができる。別の例として、赤血球であることが分かっている細胞の画像に関する注釈は、その細胞を赤血球として識別することができる。いくつかの基準画像は、細胞の複数の特徴又は特性を識別する複数のタグを含むことができる。例えば、細胞は、赤血球として注釈を付すことができ、また、細胞を網赤血球として識別する追加のタグを有することができる。細胞又は粒子は、例えば、好中球、リンパ球、単球、好酸球、好塩基球、血小板、網赤血球、有核赤血球(RBC)、芽球、前骨髄球、骨髄球、後骨髄球、赤血球(RBC)、細胞、細菌、粒子状物質、細胞凝集、又は細胞破片若しくは成分としてタグ付けすることができる。必要に応じて、コンピュータシステム200は、例えば固有のタグ及び/又は注釈を有する全ての基準画像を選択することによって、基準画像のデータベースから複数の基準画像を選択することができる。一例として、コンピュータシステム200は、データベースから、赤血球として注釈が付された全ての基準画像を選択することができる。別の例として、コンピュータシステム200は、データベースから、白血球の注釈を有する全ての基準画像を選択することができる。必要に応じて、コンピュータシステム200は、ユーザが、基準画像を選択するために使用されるタグ又は注釈を選択することを可能にすることができる。必要に応じて、コンピュータシステム200は、基準画像データベース内の全ての基準画像を選択することができる。必要に応じて、コンピュータシステム200は、ユーザが、基準画像データベースから所望の基準画像を選択することを可能にすることができる。必要に応じて、コンピュータシステム200は、ユーザが、フィルタとして追加のタグを選択すること、例えば、白血球として分類され、更に、好中球としてタグ付けされた全ての画像を選択することを可能にすることができる。
更に分けることができる。例えば、白血球(WBC)の5つの主要なタイプの下位分類は、異なる形状及び機能を有する。白血球は、好中球、リンパ球、単球、好酸球、及び好塩基球を含み得る。また、赤血球タイプの下位分類も存在する。試料内の粒子の外観は、病態、細胞成熟度、及び他の要因によって異なり得る。赤血球の下位分類は、網赤血球及び有核赤血球を含み得る。別の例として、撮像した細胞は、鎌状細胞であり得る。基準画像は、基準画像内の細胞のカテゴリを確認することができる注釈、又は基準画像内の細胞の特徴若しくは特性を識別するタグを含むことができる。一例として、鎌状細胞であることが分かっている細胞の画像に関する注釈は、その細胞を鎌状細胞として識別することができる。別の例として、赤血球であることが分かっている細胞の画像に関する注釈は、その細胞を赤血球として識別することができる。いくつかの基準画像は、細胞の複数の特徴又は特性を識別する複数のタグを含むことができる。例えば、細胞は、赤血球として注釈を付すことができ、また、細胞を網赤血球として識別する追加のタグを有することができる。細胞又は粒子は、例えば、好中球、リンパ球、単球、好酸球、好塩基球、血小板、網赤血球、有核赤血球(RBC)、芽球、前骨髄球、骨髄球、後骨髄球、赤血球(RBC)、細胞、細菌、粒子状物質、細胞凝集、又は細胞破片若しくは成分としてタグ付けすることができる。必要に応じて、コンピュータシステム200は、例えば固有のタグ及び/又は注釈を有する全ての基準画像を選択することによって、基準画像のデータベースから複数の基準画像を選択することができる。一例として、コンピュータシステム200は、データベースから、赤血球として注釈が付された全ての基準画像を選択することができる。別の例として、コンピュータシステム200は、データベースから、白血球の注釈を有する全ての基準画像を選択することができる。必要に応じて、コンピュータシステム200は、ユーザが、基準画像を選択するために使用されるタグ又は注釈を選択することを可能にすることができる。必要に応じて、コンピュータシステム200は、基準画像データベース内の全ての基準画像を選択することができる。必要に応じて、コンピュータシステム200は、ユーザが、基準画像データベースから所望の基準画像を選択することを可能にすることができる。必要に応じて、コンピュータシステム200は、ユーザが、フィルタとして追加のタグを選択すること、例えば、白血球として分類され、更に、好中球としてタグ付けされた全ての画像を選択することを可能にすることができる。
画像にタグ又は注釈を付すことで、高速な画像検索のための有効な方法を提供することができる。潜在的に多くの異なるサブタイプを有する多数の基準画像の場合は、身体的な特徴又は同じ分類タイプに関する疾患ステージのいずれかの変動に基づいて、1つ以上のサブタイプを標的にするサブセットを提供することが有益であり得る。これは、撮像した細胞の分類を識別する注釈内のタグ付け等の階層タグ付けを介して行うことができる。例えば、基準画像は、細胞が赤血球(「RBC」)である旨の注釈(すなわち、撮像した細胞がRBC分類内である旨のRBCの注釈)、及び特定の特性並びにRBCの注釈を有するものとして基準画像にマーク付けするタグ、を含むことができ、例えば有核赤血球は、それを有核として識別するタグを有することができる。
320で、コンピュータシステム200は、試料画像に対する各基準画像の類似度に基づいて、複数の基準画像の順序を決定することができる。これは、最も類似するものが最初に表示されるように基準画像を順序付けるための時間を大幅に節約することができる。上で論じたように、試料画像は、試料画像内で撮像した細胞の特性、特徴、又はタイプを比較して識別するために、ユーザインターフェースの基準画像と共に表示することができる。最初に最も類似する画像を表示することで、試料画像を基準画像内の同じタイプの細胞に分類するために、又は試料画像が基準画像と同じ特性又は特徴を有することを識別するために、試料画像に一致する基準画像を見出すためにかかる時間の量を制限することができる。コンピュータシステム200は、例えば、図4及び図5に関してより詳細に記載されているように、試料画像を選択した基準画像の各々と比較することによって、順序を決定することができる。
325で、コンピュータシステム200は、決定した順序に基づいて、複数の基準画像から第1の基準画像を選択することができる。第1の基準画像が最も類似していると決定されたものである、第2の基準画像が2番目に最も類似していると決定されたものである、等のように、コンピュータシステム200が基準画像の順序を決定した後に、コンピュータシステム200は、分析、正規化、及び表示を行うための第1の基準画像を選択することができる。第1の基準画像に対するプロセス300の残りの工程を行った後に、コンピュータシステム200は、プロセス300の残りの工程において分析、正規化、及び表示を行うための第2の基準画像を選択し、そして、選択した全ての基準画像がプロセス300に従って分析、正規化、及び表示されるまで、複数の基準画像の各基準画像に対して工程を繰り返し続けることができる。
330で、コンピュータシステム200は、第1の基準画像を試料画像と整列させることができる。第1の基準画像と試料画像との整列は、例えば、ユーザインターフェースを通して画像をユーザに表示するためのものであり得る。整列は、ユーザインターフェースに表示するために、画像の隣接する縁部を整列させること、及び画像を互いにセンタリングすることを含み得る。行うことができる整列の1つのタイプの一実施例は、図6に関してより詳細に記載されている。必要に応じて、試料画像及び基準画像の隣接する縁部は、同じサイズではない。そのような場合、より小さい画像を拡大して、より大きい画像のサイズに一致させることができる。例えば、必要に応じて、より小さい画像をズームして、より大きい画像と同じサイズまで拡大することができる。随意に、画像は、より大きい画像と同じサイズの隣接する縁部を有する画像パッチの上に重ね合わせることができる。必要に応じて、各画像は、グリッドのセル内に表示するために配置することができ、グリッドのセルは、より小さい画像の大きさをより大きい画像のサイズにリサイズするためにディスプレイに現れる、マッチング背景色を有することができる。
必要に応じて、ユーザインターフェースに表示するための基準画像の数は、1~8個とすることができる。整列及び拡大は、任意の数の基準画像について行うことができ、基準画像は、隣接する縁部を共有する画像に基づいて、順々に整列させ、拡大することができる。任意選択の画像表示レイアウトに関する更なる詳細については、図11に関する記載を参照されたい。数学的用語において、Ii,jは、Wi,jの幅及びHi,jの高さを有する、i∈[0,m-1]、j∈[0,n-1]を有するm×n個のグリッド内のi番目の行、j番目の列の基準画像とする。整列及び拡大は、次式のように、表示グリッドのi番目の行高さRHi及びj番目の列幅CWjを計算することによって行うことができる。
試料画像の相対的サイズ及び表示するための基準画像のリストに応じて、表示グリッド内の特定の行/列の最終的な行高さ又は列幅は、試料画像又は基準画像のいずれかの拡大を必要とさせ得る。必要に応じて、画像背景の塗り潰しを、計算したグリッドセルの幅又は高さと異なるサイズを有する任意の画像に適用することができる。また、原画像に対する100%の忠実度を保つためにスケーリング又はリサイズすることなく、画像自体を、関連付けられたグリッドセルの中央に位置付けることができる。
335で、コンピュータシステム200は、整列させた第1の基準画像の背景を動的に塗り潰すことができる。整列工程中に、第1の基準画像の背景を拡大して、表示されたイメージが試料画像に対して同じサイズの隣接する縁部を有することを確実にすることができる。拡大した背景は、基準画像の既存の背景と実質的に同じ色で動的に塗り潰して、均一性を確実にすることができ、また、異なる背景色を含む画像間に隔たりがあるといった混乱を取り除くことができる。任意の画像の色は、例えば、赤、緑、青、及びアルファチャンネルを含むことができる。図7に関してより詳細に記載されるように、背景は、基準画像の背景に一致する色を決定し、拡大した背景内を決定した色で塗り潰すことによって、塗り潰すことができる。必要に応じて、背景は、基準画像を決定した背景色で塗り潰したパッチの上に重ね合わせることによって塗り潰される。表示中に、パッチは、例えば、セルのグリッドの1つのセルであり得る。この時点で、本明細書では、2つの異なるタイプのcell(細胞またはセル)を論じていることに留意されたい。cell(細胞)の画像(すなわち、基準画像又は試料画像)は、生きた組織の体細胞の画像である。グリッドのcell(セル)は、表内のセルのような、異なるタイプのセルである。本明細書の全体を通して、cellに関して述べるときには、特にグリッドのセルが述べられていない限り、撮像した体細胞を意図している。
必要に応じて、試料画像及び基準画像の整列は、(例えば、試料画像が基準画像よりも小さいので)リサイズされて、拡大された試料画像をもたらし得る。そのような場合、試料画像の背景は、第1の基準画像の背景を動的に塗り潰すことに関して上に記載した様態と同じ様態で動的に塗り潰すことができる。
340で、コンピュータシステム200は、試料画像及び動的に塗り潰し、整列させた第1の基準画像をユーザインターフェースに表示することができる。試料画像及び1つ以上の基準画像のユーザインターフェース表示の例は、図9~図18に示される。必要に応じて、ユーザインターフェースは、コンピュータシステム200と関連付けられた表示デバイスに表示することができる。例えば、デスクトップ、ラップトップ、スマートフォン、タブレット、又は表示モニタを含む任意の他の適切なコンピューティングデバイス115を含む、ユーザインターフェースを表示することができるモニタを有する任意のユーザデバイスであり得るコンピューティングデバイス115は、コンピュータシステム200であり得る。必要に応じて、コンピュータシステム200は、サーバ110であり得る。そのような実施形態において、サーバ110は、特定の表示モニタを含まない場合があり、よって、サーバ110は、表示するための情報(例えば、基準画像及び試料画像、及び関連付けられた計算したレイアウト及び色情報)を、ユーザインターフェースにおいてユーザに表示するためのコンピューティングデバイス115に送信することができる。
プロセス300は、345で終了し得る。上で論じたように、必要に応じて、工程325、330、及び335は、第1の基準画像に関して行うことができ、また、選択した基準画像の各々が整列され、動的に塗り潰されるまで、基準画像ごとに繰り返すことができる。必要に応じて、基準画像がそれぞれ整列され、動的に塗り潰されると、個々の基準画像ごとに、選択した全ての基準画像について同時に(選択した全ての基準画像を整列させ、動的に塗り潰した後に一度だけ)、又は特定の数の一組の基準画像を同時に、表示工程を行う(例えば、図12のように、8つの基準画像を試料画像と共に同時に表示する)ことができる。
図4は、類似度に基づいて画像の順序を決定するためのプロセス400の一実施例のフローチャートを例示する。プロセス400は、図3の工程320の一部として行うことができる。プロセス400は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
405で、コンピュータシステム200は、試料画像を複数の基準画像の各基準画像と比較することができる。比較は、図5に関してより詳細に記載されているように、例えば、基準画像及び試料画像ごとに特徴ベクトルを生成し、各基準画像と試料画像との間の距離メトリックを計算することによって行うことができる。
410で、コンピュータシステム200は、試料画像に対する各基準画像の類似度を決定することができる。この決定は、例えば、図5に関して論じられる計算した距離メトリックに基づいて行うことができる。
図5は、画像間の類似度を決定するためのプロセス500の一実施例のフローチャートを例示する。プロセス500は、図4の工程405の一部として行うことができる。プロセス500は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
505で、コンピュータシステム200は、複数の基準画像のうちの基準画像の各々及び試料画像の特徴ベクトルを生成することができる。特徴ベクトルは、各画像の複数の特徴に関する情報を含むことができる。例えば、特徴ベクトルは、パッチサイズ、粒子サイズ、粒子形状、平均ピクセル強度、及び/又は画像平均グレースケール値を識別することができる。パッチサイズは、全体の画像サイズであり得る。画像サイズは、上で論じたように、ズームすることができる。背景もまた、上で論じたように、拡大することもできる。パッチサイズは、これらの変更のうちのいずれかに先行する画像のサイズである。粒子サイズは、画像内の試料細胞又は基準細胞のサイズであり得る。必要に応じて、細胞サイズは、例えば図9に示されるように、画像内でより大きく又はより小さく現れ得る。試料画像905内の試料細胞の粒子サイズは、基準画像910内の基準細胞の粒子サイズよりも小さい。粒子サイズは、例えば画像捕捉中に使用される拡大に基づいて、画像内でより大きく又はより小さく現れ得る。粒子形状は、画像内の試料細胞又は基準細胞の形状であり得る。平均画素強度は、画像から複数の画素を選択し、選択した画素の各々の強度を決定し、そして、選択した画素の平均強度を計算することによって、計算することができる。画像の平均グレースケール値は、画像から複数の画素を選択し、画素ごとにグレースケール値を決定し、そして、複数の計算したグレースケール値の平均値を計算することによって、計算することができる。他の特徴は、各画像の特徴ベクトルについて識別し、利用することができる。
510で、コンピュータシステム200は、試料画像からの複数の基準画像のうちの基準画像ごとに、距離メトリックを計算することができる。例えば、コンピュータシステム200は、特徴ベクトルを利用して、各基準画像と試料画像との間の距離メトリックを計算することができる。距離メトリック値が少ないほど、基準画像が試料画像に類似している。距離メトリック値は、次いで、試料画像に最も類似するものから順々に基準画像をランク付けするために利用することができる。
必要に応じて、距離メトリックは、以下のように定義することができる。
この距離メトリックの定義において、i番目の基準画像特徴ベクトル
は、fi,kのk番目の成分有し、式中、k∈[0,N-1]であり、Nは、特徴ベクトルの次元数である。候補特徴は、例えば、画像サイズ、画像の粒子サイズ、画像の粒子形状、画像の平均ピクセル強度、又は粒子/パッチの平均グレースケール値に基づくことができる。距離メトリック値が少ないほど、i番目の画像(基準)とj番目の画像(試料)とがより類似している。
は、fi,kのk番目の成分有し、式中、k∈[0,N-1]であり、Nは、特徴ベクトルの次元数である。候補特徴は、例えば、画像サイズ、画像の粒子サイズ、画像の粒子形状、画像の平均ピクセル強度、又は粒子/パッチの平均グレースケール値に基づくことができる。距離メトリック値が少ないほど、i番目の画像(基準)とj番目の画像(試料)とがより類似している。
図6は、画像を整列させるためのプロセス600の一実施例のフローチャートを例示する。プロセス600は、図3の工程330の一部として行うことができる。プロセス600は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
605で、コンピュータシステム200は、グリッドの第1のセル内で、試料画像をユーザインターフェースに表示するための第1の表示位置を決定することができる。例えば、画像は、試料画像が中央にあり、基準画像が試料画像に隣接するように、グリッド内で、ユーザインターフェースに表示することができる。例えば、図9は、基準画像910に隣接する試料画像905を示す。同様に、別の例として、図11は、基準画像1110及び1115の両方に隣接する試料画像1105を示す。更に別の例として、図12は、基準画像1210、1215、1220、及び1225に隣接する試料画像1205を示す。図12は、隅を、それぞれが他の基準画像に隣接する基準画像1230、1235、1240、及び1245と共有する試料画像も示す。必要に応じて、図12に示されるように、試料画像は、できる限り多くの基準画像に隣接し得るように、グリッドの中央に配置される。
610で、コンピュータシステム200は、グリッドの第2のセル内で、第1の基準画像をユーザインターフェースに表示するための、第1の表示位置に隣接する第2の表示位置を決定することができる。基準画像に隣接する試料画像の例は、図9~図14に見出され得る。例えば、試料画像905は、図9に示されるように、基準画像910に隣接し得る。
615で、コンピュータシステム200は、第2の表示位置内の第1の基準画像の図心を、第1の表示位置内の試料画像の図心と整列させることができる。例えば、試料画像の中心は、それが第1の表示位置の中心に位置付けられるように決定し、配置することができ、それが、グリッドの第1のセルの中心(例えば、図9の試料画像905の位置)であり得る。コンピュータシステム200はまた、第1の基準画像の中心を決定し、第2の表示位置の中心に位置付けられるように配置することもでき、それが、グリッドの第2のセルの中心(例えば、図9の試料画像910の位置)であり得る。グリッドの定義のため、グリッド内で隣接する第1の表示位置の中心及び第2の表示位置の中心は、(図9に示されるように)隣接する縁部の共通中心を有する。必要に応じて、各画像の図心が整列される結果ごとに表示位置を選択することによって、試料画像及び第1の基準画像の中心を整列させることができるように、他の方法を使用することができる。
図7は、画像の背景を動的に塗り潰すためのプロセス700の一実施例のフローチャートを例示する。プロセス700は、図3の工程335の一部として行うことができる。プロセス700は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
705で、コンピュータシステム200は、第2のセル内の第1の基準画像の背景を拡大して、第2のセルを塗り潰すことができる。必要に応じて、第1の基準画像は、例えば、試料画像よりも低い高さを有することができる。例えば、試料画像及び第1の基準画像の隣接する側部が、垂直側部である場合、第1の基準画像及び試料画像の隣接する側部は異なる。同様に、例えば、試料画像及び第1の基準画像の隣接する側部が水平側部であり、第1の基準画像の幅が試料画像の幅よりも狭い場合、画像の隣接する側部は異なる。第1の基準画像の背景は、拡大して、第1の基準画像及び試料画像の隣接する側部が同じになることを確実にすることができる。必要に応じて、試料画像のサイズ(高さ及び/又は幅)は、第1の基準画像のサイズよりも小さくなり得る。そのような実施形態では、試料画像の背景を拡大することができる。
710で、コンピュータシステム200は、第1の基準画像の背景色を決定することができる。第1の基準画像の背景色は、いくつかの方法で決定することができる。例えば、図8で詳細に説明されるように平均背景色を決定するためのプロセスを使用して、背景色を決定することができる。必要に応じて、標準色を選択することで、基準画像の背景色として使用することができる。例えば、全ての基準画像が同じ背景色を有する場合、背景色は、常時同じになり、また、既知であり得る。
715で、コンピュータシステム200は、第1の基準画像の拡大した背景を背景色で塗り潰すことができる。例えば、グリッドの第2のセルは、決定した背景色で塗り潰することができ、よって、ユーザインターフェースに表示されたときに、第1の基準画像は、第1の基準画像自体を修正することなく拡大したように現れる。必要に応じて、第1の基準画像は、画像サイズを拡大し、拡大した画素を決定した背景色で塗り潰すように処理することができる。
図8は、画像の背景色を決定するためのプロセス800の一実施例のフローチャートを例示する。プロセス800は、図7の工程710の一部として行うことができる。プロセス800は、例えば図1のシステム100上で、より具体的には、図2のコンピュータシステム200上のプログラムコードとして実施することができる。
805で、コンピュータシステム200は、第1の基準画像の四隅画素を決定することができる。典型的な画像は、四隅を有し、各隅において隅画素を使用することができる。例えば、画像パッチがサイズW×H画素である場合、四隅画素は、[0,0]、[W-1,0]、[0,H-1]、[W-1,H-1]である。必要に応じて、より多い、又はより少ない画素を使用することができる。必要に応じて、任意の画素数を、縁部画素から選択して使用することができる。必要に応じて、縁部画素は、画像の縁部に沿った任意の画素であり得る。必要に応じて、縁部は、画像の絶対縁部に対する閾値距離の範囲内の画素、例えば、画像の絶対縁部から3画素の距離であり得る。
810で、コンピュータシステム200は、四隅画素の平均色値を計算することができる。平均色値は、四隅画素の各々(又は、例えば、他の縁部画素が使用される場合に、背景色を決定するために識別される各画素)の色値を最初に決定することによって、決定することができる。四隅画素の各々の色値が決定されると、コンピュータシステム200は、四隅画素の各々からの色値を使用して、四隅画素の平均色値を計算することができる。平均は、色成分、例えば赤色、緑色、青色、及びアルファごとに計算することができる。必要に応じて、任意の選択したピクセルを使用して、背景の平均色値を計算することができる。次いで、平均色値を画像の背景色として使用することができる。平均色値を決定することで、基準画像の背景を画像の背景全体に実質的に一致する色で塗り潰すことによって、混乱を低減させるのを補助することができる。試料画像及び8つの基準画像を整列させ、動的に塗り潰したグリッドの実施例は、図12~図14に示される。
図9~図14は、実施形態に従って表示される画像の実施例を例示する。図9は、試料粒子930の試料画像905を基準粒子935の基準画像910と比較するために使用することができる、ユーザインターフェース900の一部分を表示する。ユーザインターフェース900は、分類インジケータ915と、進むナビゲーションボタン925と、戻るナビゲーションボタン920とを含むことができる。
分類インジケータ915は、基準画像910と関連付けられた注釈の指示であり得る。図9に示されるように、基準画像910は、それと関連付けられた注釈「HYAL」を有し得る。HYALは、例えば、基準画像910が硝子様円柱に分類されたことを意味し得る。分類の注釈又は特徴タグは、図9に示されるように、例えばドロップダウン選択リストを使用して、ユーザによって選択することができる。選択のために含まれるオプションは、例えば、表1で提供されるリストを含むことができる。表1で提供されるリストは、識別することができる異なる細胞のタイプ又は細胞の特徴を含む。分類インジケータ915についてユーザによって選択が行われると、例えば図3の工程315に関して詳細に説明されるように、基準画像の選択を行うことができる。
図9に示されるように、画像間で異なる色を有することと関連付けられた混乱を取り除くために、ユーザインターフェース900に示される画像905と910と間にはいかなるギャップも存在しない。試料画像905は、図3の工程310で試料画像を受信することに関して記載されるように取得することができる。基準画像910は、図3の工程315で基準画像を選択することに関して記載されるように選択することができる。
進むナビゲーションボタン925は、ユーザによって選択されたときに、基準画像910を、ユーザインターフェースディスプレイ内の別の基準画像と置き換えさせることができる。必要に応じて、進むナビゲーションボタン925は、図3の工程325に関して説明されるように、類似度によって決定された、順序付けしたリスト内の次の基準画像を選択することができる。必要に応じて、進むナビゲーションボタン925は、例えば、分類インジケータ915によって示される注釈又はタグを含む基準画像の群からランダムな順序でコンピュータシステムによって選択される次の基準画像を選択することができる。
戻るナビゲーションボタン920は、ユーザによって選択されたときに、基準画像910を、ユーザインターフェースディスプレイ内の別の基準画像と置き換えさせることができる。必要に応じて、戻るナビゲーションボタン920は、図3の工程325に関して説明されるように、類似度によって決定された、順序付けしたリスト内の前の基準画像を選択することができる。必要に応じて、戻るナビゲーションボタン920は、順序付けしたリストからであるかどうかにかかわらず、前に閲覧した基準画像を選択することができる。
図10は、図9のユーザインターフェース900の一部分に非常に類似したユーザインターフェース1000を示す。図10に示されるように、試料画像1005は、図9の試料画像905と同じ画像である。試料画像1005は、試料粒子1030の画像であり、基準画像910は、基準粒子1035の画像である。ユーザインターフェース1000はまた、分類インジケータ1015、進むナビゲーションボタン1025、及び戻るナビゲーションボタン1020も含む。ユーザインターフェース1000は、ユーザによって識別された新しい選択を有する図9の分類インジケータ915からの結果であり得る。例えば、ユーザがユーザインターフェース900を利用し、図9の分類インジケータ915に示されるHYALから図10の分類インジケータ1015によって示されるWBCに、分類インジケータ915を使用して選択する場合。WBCは、白血球を意味し得る。次いで、結果として生じるユーザインターフェース1000は、WBCの注釈を有する基準画像1010を示すことができる。
分類インジケータ1015は、図9の分類インジケータ915に関して上で説明した方法と同じ方法で実施することができる。進むナビゲーションボタン1025は、図9の進むナビゲーションボタン925に関して上で説明した方法と同じ方法で実施することができる。戻るナビゲーションボタン1020は、図9の戻るナビゲーションボタン920に関して上で説明した方法と同じ方法で実施することができる。
図9及び図10に示されるように、ユーザインターフェース900の一部分は、ユーザインターフェース1000の一部分よりも大きい。図9及び図10を見ることによって、試料画像905が、試料画像1005と同じ幅であるが、試料画像905の高さが、試料画像1005の高さよりも高いことが分かる。試料画像905及び試料画像1005は、どちらも同じ試料細胞であり、また、同じ試料画像である。しかしながら、試料画像905及び試料画像1005は、異なるサイズ(高さ)である。これは、基準画像910が基準画像1010よりも大きいからであり得る。そのような場合、試料画像905の高さを、図3の工程330及び335関して説明されるように、拡大し、動的に塗り潰して、試料画像905及び基準画像910の隣接する縁部が同じサイズであることを確実にすることができる。
図11は、ユーザインターフェース900及びユーザインターフェース1000に類似するユーザインターフェース1100の一部分を例示する。ユーザインターフェース1100は、試料粒子1135の試料画像1105と、基準粒子1140及び1145のそれぞれ基準画像1110及び1130と、進むナビゲーションボタン1125と、戻るナビゲーションボタン1120と、分類インジケータ1115とを含む。分類インジケータ1115は、図9の分類インジケータ915に関して上で説明した方法と同じ方法で実施することができる。往路ナビゲーションボタン1125は、図9の進むナビゲーションボタン925に関して上で説明した方法と同じ方法で実施することができる。戻るナビゲーションボタン1120は、図9の戻るナビゲーションボタン920に関して上で説明した方法と同じ方法で実施することができる。
試料画像1105は、図3の工程310で試料画像を受信することに関して説明されるように取得することができる。基準画像1110及び1130は、図3の工程315で基準画像を選択することに関して記載されるように選択することができる。実例による説明の目的でのみ、基準粒子1140及び1145の基準画像1110及び1130は、同じ画像であり、また、試験粒子のものである。必要に応じて、例えば、基準データベースが基準画像を殆ど有しない場合は、同じ基準画像をユーザに表示して、試料画像と基準画像との類似度を識別するユーザの能力を高めることができる。必要に応じて、進むナビゲーションボタン1120又は戻るナビゲーションボタン1125の選択の後に、同じ基準画像をグリッド表示の同じ又は異なる位置に複数回表示することができる。マルチディスプレイは、例えば、基準データベース内の基準賢士の数、表示グリッドの全てのセルを塗り潰したいという要望に起因し得る。
図11では、それぞれ試料画像1105の異なる隣接する縁部に2つの基準画像1110及び1130が表示されることが分かる。基準画像1110及び基準画像1130の位置の選択は、例えば、画像の類似度に基づくことができる。より類似する画像を最初に表示することができ、そこに基準画像1110が位置付けられ、2番目に類似する画像を2番目に表示することができ、そこに基準画像1130が位置付けられる。
2つ以上の基準画像を提示することを含み、大部分が1つの次元である画像レイアウトモード、例えば(図19に記載されるように)「3×1」レイアウトの場合、基準画像は、X軸の方向における画像の類似性メトリックに従って順序付けることができる。以下の図は、点を例示する。
同様に、2つの次元を含む「3×3」の画像レイアウトモードの場合、基準画像は、画像近傍によって定義されるスパイラル座標に基づいて順序付けることができる。以下の図は、基準画像の順序付け([0]、[1]、・・・、[7])が自然な画像近傍順序と一致することを示す。
基準画像の数がスライディングウインドウサイズによって割り切れないとき(m×nの画像レイアウトのスライディングウインドウサイズは、m×n-1であり、例えば、「3×3」の画像レイアウトモードは、3×3-1=8のスライディングウインドウサイズを有する)、選択は、基準画像を表示するときにいかなる空のグリッドセルも存在しないように調整される。例えば、ナビゲーション方向にかかわらず(例えば、図9に関して説明されるように、進む又は戻るナビゲーションボタンを使用して、基準画像のリスト内を進む又は戻ること)、いかなる選択の違いも存在しない場合がある。例えば、「3×3」の画像レイアウトモードに9つの基準画像がある、すなわち、スライディングウインドウサイズが8である場合、表示が可能な2つのスライディングウインドウが存在し、第1のウインドウは、最初の8つの基準画像を使用し、最後のウインドウは、最後の8つの基準画像を使用する。具体的には、N個の基準画像のリストの場合、m×nの画像レイアウトについて、スライディングウインドウのカウントは、次式によって与えられる。
式中、m≠1又はn≠1であり、modは、数学的モジュロ演算を表す。また、(N個の基準画像のリストへの)i番目のスライディングウインドウ開始インデックスは、次式によって与えられる。
式中、m≠1又はn≠1、i∈[0,K-1]
図12は、図9~図11のユーザインターフェースに類似するユーザインターフェース1200の一部分を例示する。ユーザインターフェース1200は、8つの基準画像1210、1215、1220、1225、1230、1235、1240、及び1245を表示する。図12はまた、進むナビゲーションボタン、戻るナビゲーションボタン、及び分類インジケータも含む。
図13は、図9~図12のユーザインターフェースに類似するユーザインターフェース1300の一部分を例示する。ユーザインターフェース1300は、8つの基準画像(番号付さず)を表示する。図13はまた、進むナビゲーションボタン、戻るナビゲーションボタン、及び分類インジケータも含む。ユーザインターフェース1300は、ユーザが画像の中央の箱内にある試料画像を8つの基準画像と比較するために使用することができ、基準画像が試料画像を取り囲む、ユーザインターフェースの一実施例である。
図14は、図9~図13のユーザインターフェースに類似するユーザインターフェース1400の一部分を例示する。ユーザインターフェース1400は、8つの基準画像(番号付さず)を表示する。図14は、進むナビゲーションボタン、戻るナビゲーションボタン、及び分類インジケータも含む。ユーザインターフェース1400は、ユーザが図14の中央の箱内にある試料画像を8つの基準画像と比較するために使用することができ、基準画像が試料画像を取り囲む、ユーザインターフェースの一実施例である。
図15~図18は、ユーザインターフェースの追加の実施例を例示する。図15は、例えば図19に示されるようなユーザインターフェース1900の一部分であり得る、フローティングウインドウ1505を含む、ユーザインターフェース1500を例示する。フローティングウインドウ1505は、ユーザがフローティングウインドウ1505内で右クリックしたときに表示され得る、コンテキストメニュー1510を含むことができる。フローティングウインドウ1505内に(コンテキストメニュー1510の背面に)表示される試料画像は、例えば、ユーザが画像選択セクション1515の画像のうちの1つを選択することによって選択することができる。コンテキストメニュー内で利用することができるオプションの選択は、例えば、表示レイアウトの変更、基準画像ソースの変更、1つ以上のタグの選択、1つ以上の画像の配向の変更、及び1つ以上の画像の拡大又は縮小を含むことができる。
図16は、例えば図20に示されるようなユーザインターフェース2000の一部分であり得る、フローティングウインドウ1605を含む、ユーザインターフェース1600を例示する。フローティングウインドウ1605は、ユーザがフローティングウインドウ1605内で右クリックしたときに表示され得る、コンテキストメニュー1610を含むことができる。フローティングウインドウ1605内表示される試料画像1620は、例えば、ユーザが画像選択セクション1615から1つの画像を選択することによって選択することができる。この場合では、試料画像1620は、ユーザが画像選択セクション1615から画像1625を選択することによって選択されている。
図17は、例えば図21に示されるようなユーザインターフェース2100の一部分であり得る、フローティングウインドウ1705を含む、ユーザインターフェース1700を例示する。フローティングウインドウ1705は、図3の工程325に関して記載されるように、ユーザが基準画像を選択するためのタグ又は注釈を選択することを可能にすることができる、分類識別子1710を含むことができる。フローティングウインドウ1705内に表示される試料画像1720は、例えば、ユーザが画像選択セクション1715から1つの画像を選択することによって選択することができる。この場合では、試料画像1720は、ユーザが画像選択セクション1715から画像1725を選択することによって選択されている。
図18は、例えば図21に示されるようなユーザインターフェース2100の一部分であり得る、フローティングウインドウ1805を含む、ユーザインターフェース1800を例示する。フローティングウインドウ1805は、ユーザがフローティングウインドウ1805内で右クリックしたときに表示され得る、コンテキストメニュー1810を含むことができる。
図19は、図15に示されるようなフローティングウインドウ1505として表されるユーザインターフェースの一部分であり得る、ユーザインターフェース1900の一部分を例示する。コンテキストメニュー1905は、ユーザがユーザインターフェース1900の一部分を右クリックしたときに表示され得る。コンテキストメニュー1905は、試料画像及び基準画像の表示レイアウトを変えることができる。表示が既に3×1のグリッドに設定されているので、「3×1」の選択がグレー表示されている。3×1のオプションは、例えば、図11に示される。別のオプションの選択は、例えば図9及び図10に示される、「2×1」を含むことができる。別のオプションの選択は、例えば図12~図14に示される、「3×3」を含むことができる。
図20は、図16に示されるようなフローティングウインドウ1605として表されるユーザインターフェースの一部分であり得る、ユーザインターフェース2000の一部分を例示する。コンテキストメニュー2005は、ユーザがユーザインターフェース2000の一部分を右クリックしたときに表示され得る。コンテキストメニュー2005は、ユーザが、「タグを選択する」ことを可能にし、これは、基準画像データベース内で選択するために基準画像を識別するためのタグの選択とすることができ、また、表示された画像を、選択した分類にだけでなく、選択したタグによっても、更に絞り込むことができる。このようにして、ユーザは、フィルタリングのために、分類及びタグの多重選択をカスタマイズすることができる。図20では、必要に応じて、ユーザが、基準画像の分類を選択して、分類選択ボックス2010によって示されるものから選択できることが分かる。この場合、選択した分類は、「HYST」である。加えて、タグは、基準データベース内の基準画像にタグ付けされた粒子の他の特徴に基づいて、選択を更に絞り込むように選択することができる。コンテキストメニュー2005は、ユーザが、表示される基準画像をフィルタリングするために、1つ以上のタグを選択することを可能にする。選択したタグは、2015で示される。表示される基準画像は、基準画像が選択した分類内に分類されているかどうか、また、選択したタグが基準画像と関連付けられているかどうかに基づいて、基準画像データベースから選択することができる。
図21は、図18に示されるようなフローティングウインドウ1805として表されるユーザインターフェースの一部分であり得る、ユーザインターフェース2100の一部分を例示する。コンテキストメニュー2105は、ユーザがユーザインターフェース2100の一部分を右クリックしたときに表示され得る。コンテキストメニュー2105は、ユーザが画像ソースを変更することを可能にする。画像ソースの選択は、基準画像が選択されるデータベースを選択することができる。画像ソースの選択に関するオプションは、例えば、組み込まれたソースを使用すること、又は、例えば、ユーザ選択の基準画像データベースを使用することであり得る。ユーザ選択の基準画像データベースは、例えば、上で説明したように生成することができる。
本明細書に記載される計算、つまり演算はそれぞれ、ハードウェア、ソフトウェア、及び/又はファームウェアを有するコンピュータ又はその他プロセッサを用いて実行されてよい。様々な方法工程はモジュールによって実行されてよく、モジュールは、本明細書に記載される方法工程を実行するために配置される、任意の広範なデジタル及び/又はアナログデータ処理ハードウェア及び/又はソフトウェアを備えてよい。データ処理ハードウェアを任意に備えるモジュールは、これらに伴って適当な機械プログラミングコードを有することによって、これらの工程のうち1つ以上を実行するのに適しており、2つ以上の工程(又は2つ以上の工程の部分)に対するモジュールは、任意の広範な統合処理及び/又は分散処理アーキテクチャにおいて、単一のプロセッサボードに組み込まれている、又は、異なるプロセッサボードに分かれている。これらの方法及びシステムは、多くの場合、上記方法工程を実行するための命令を伴う、コンピュータ読み取り可能なコードを組み込む有形媒体を利用するだろう。適切な有形媒体は、メモリ(揮発性メモリ及び/又は非揮発性メモリを含む)、記憶媒体(フロッピー(登録商標)ディスク、ハードディスク、テープ等のような磁気記憶、CD、CD-R/W、CD-ROM、DVD等のような光メモリ、又は任意の他のデジタル若しくはアナログ記憶媒体)等を含んでもよい。
図に描写する又は上述する構成要素の異なる配置は、示していない又は記載していない構成要素及び工程と同様に可能である。同様に、いくつかの特徴及び部分的組み合わせが有益であり、他の特徴及び部分的組み合わせへの参照なしに用いられてもよい。本発明の実施形態は、限定目的ではなく例示目的で説明しており、本発明の読者には、別の実施形態が明らかになるであろう。特定の場合では、方法工程又は操作が異なる順序で実施、つまり実行されてよく、あるいは、操作を追加、削除、又は変更してもよい。本発明の特定の態様では、ある要素若しくは構造を提供するため、又は、ある機能を実行するために、単一の構成要素を複数の構成要素と置き換えてよく、複数の構成要素を単一の構成要素と置き換えてよいことが理解され得る。かかる置換が本発明の特定の実施形態の実行に有効でない場合を除き、かかる置換は本発明の範囲内であると見なされる。
当然のことながら、本発明の実施形態の図及び説明を簡略化して、本発明の明確な理解に関連する要素を説明している。しかしながら、当業者は、これらの及び他の要素が望ましい場合があると認識するであろう。しかしながら、かかる要素は当該技術分野において周知であり、本発明のより良い理解を助けるものではないため、本明細書にかかる要素の説明は提供されない。当然のことながら、図は、組立図としてではなく、例示目的で示されている。省略された詳細点及び変更点、又は別の実施形態は、当業者の専門範囲内である。
本発明の特定の態様では、ある要素若しくは構造を提供するため、又は、ある機能を実行するために、単一の構成要素を複数の構成要素と置き換えてよく、複数の構成要素を単一の構成要素と置き換えてよいことが理解され得る。かかる置換が本発明の特定の実施形態の実行に有効でない場合を除き、かかる置換は本発明の範囲内であると見なされる。
本明細書に示される実施例は、本発明の潜在的かつ特定の実施例を例示することを意図している。当業者には、実施例は、主に本発明の説明を目的としていると理解され得る。本発明の趣旨から逸脱することなく、本明細書に記載されるこれらの図又は操作に対して変更があってもよい。例えば、特定の場合では、方法工程又は操作が異なる順序で実施、つまり実行されてよく、あるいは、操作を追加、削除、又は変更してもよい。
更に、一方では、本発明の特定の実施形態は、本発明を説明する目的であり、本発明を限定する目的ではなく本明細書に記載されているが、当業者によって、本発明の原理及び範囲の内で、特許請求の範囲に記載される本発明から逸脱することなく、詳細、材料、及び要素、工程、構造の配置、並びに/又は部品において多くの変更がなされ得ることが理解されるであろう。
本開示で論じた全ての特許、特許公開、特許出願、雑誌論文、書籍、技術文献などは、それらの全体があらゆる目的で参照により本明細書に組み込まれる。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662354520P | 2016-06-24 | 2016-06-24 | |
US62/354,520 | 2016-06-24 | ||
JP2021114790A JP7275202B2 (ja) | 2016-06-24 | 2021-07-12 | 画像アトラスシステム及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021114790A Division JP7275202B2 (ja) | 2016-06-24 | 2021-07-12 | 画像アトラスシステム及び方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023100825A true JP2023100825A (ja) | 2023-07-19 |
Family
ID=59295339
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018566963A Active JP6913697B2 (ja) | 2016-06-24 | 2017-06-23 | 画像アトラスシステム及び方法 |
JP2021114790A Active JP7275202B2 (ja) | 2016-06-24 | 2021-07-12 | 画像アトラスシステム及び方法 |
JP2023076100A Pending JP2023100825A (ja) | 2016-06-24 | 2023-05-02 | 画像アトラスシステム及び方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018566963A Active JP6913697B2 (ja) | 2016-06-24 | 2017-06-23 | 画像アトラスシステム及び方法 |
JP2021114790A Active JP7275202B2 (ja) | 2016-06-24 | 2021-07-12 | 画像アトラスシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (2) | US11448583B2 (ja) |
EP (2) | EP3475683B1 (ja) |
JP (3) | JP6913697B2 (ja) |
KR (1) | KR102309995B1 (ja) |
CN (1) | CN109416313A (ja) |
BR (1) | BR112018076406A2 (ja) |
WO (1) | WO2017223412A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017223412A1 (en) | 2016-06-24 | 2017-12-28 | Beckman Coulter, Inc. | Image atlas systems and methods |
CN108538379A (zh) * | 2017-12-29 | 2018-09-14 | 上海联影医疗科技有限公司 | 磁共振参数卡中参数的处理方法及磁共振参数卡界面 |
US10747811B2 (en) * | 2018-05-22 | 2020-08-18 | Adobe Inc. | Compositing aware digital image search |
US11380045B2 (en) | 2018-10-29 | 2022-07-05 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
JP7175158B2 (ja) * | 2018-10-29 | 2022-11-18 | アークレイ株式会社 | 情報処理装置、測定システム、及びプログラム |
US11126330B2 (en) * | 2018-10-29 | 2021-09-21 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
US11741662B2 (en) | 2018-10-29 | 2023-08-29 | Autodesk, Inc. | Shaped-based techniques for exploring design spaces |
WO2020146341A1 (en) * | 2019-01-07 | 2020-07-16 | Futurewei Technologies, Inc. | Point cloud bitstream structure and auxiliary information differential coding |
CN112257508B (zh) * | 2020-06-30 | 2022-03-11 | 华为技术有限公司 | 识别物体的卫生状况方法及相关电子设备 |
CN116897282A (zh) * | 2021-02-26 | 2023-10-17 | 富士胶片株式会社 | 图像显示装置、图像显示方法及程序 |
Family Cites Families (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH055733A (ja) | 1991-06-28 | 1993-01-14 | Sanyo Electric Co Ltd | 血液像検査装置 |
JP3165309B2 (ja) | 1993-12-22 | 2001-05-14 | 株式会社日立製作所 | 粒子画像解析装置 |
US5732230A (en) | 1995-05-19 | 1998-03-24 | Richo Company Ltd. | Computer user interface for manipulating image fragments using drag, drop and merge operations |
JPH11132932A (ja) * | 1997-10-29 | 1999-05-21 | Hitachi Ltd | 生体に関する粒子画像分類システムおよび粒子の再分類方法 |
US7319907B2 (en) | 2002-11-18 | 2008-01-15 | International Remote Imaging Systems, Inc. | Multi-level controller system |
EP1929274B1 (en) | 2005-09-21 | 2016-07-27 | Luminex Corporation | Methods and systems for image data processing |
JP2008059088A (ja) * | 2006-08-29 | 2008-03-13 | Toshiba Corp | 画像表示システム、及び画像表示装置 |
JP4875470B2 (ja) | 2006-11-24 | 2012-02-15 | 富士フイルム株式会社 | 色補正装置および色補正プログラム |
CN100573523C (zh) * | 2006-12-30 | 2009-12-23 | 中国科学院计算技术研究所 | 一种基于显著区域的图像查询方法 |
JP2008188177A (ja) | 2007-02-02 | 2008-08-21 | Hitachi Medical Corp | 画像処理装置 |
CN101339556B (zh) | 2008-08-18 | 2010-09-29 | 福建四通石材有限公司 | 一种利用圆锥坐标实现图像颜色相似对比的方法 |
WO2010033383A1 (en) * | 2008-09-16 | 2010-03-25 | Beckman Coulter, Inc. | Interactive tree plot for flow cytometry data |
JP2010151523A (ja) * | 2008-12-24 | 2010-07-08 | Hitachi High-Technologies Corp | 粒子画像解析方法および装置 |
JP5438962B2 (ja) | 2008-12-25 | 2014-03-12 | シスメックス株式会社 | 細胞画像表示装置 |
CN101539930B (zh) * | 2009-04-21 | 2011-06-15 | 武汉大学 | 一种相关反馈图像检索方法 |
GB0917154D0 (en) | 2009-09-30 | 2009-11-11 | Imp Innovations Ltd | Method and apparatus for processing medical images |
JP2011257979A (ja) | 2010-06-09 | 2011-12-22 | Olympus Imaging Corp | 画像検索装置、画像検索方法、およびカメラ |
CN102467564B (zh) | 2010-11-12 | 2013-06-05 | 中国科学院烟台海岸带研究所 | 一种基于改进支持向量机相关反馈的遥感图像检索方法 |
WO2013001678A1 (ja) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | 類似症例検索装置および関連度データベース作成装置並びに類似症例検索方法および関連度データベース作成方法 |
US9076076B1 (en) * | 2012-03-30 | 2015-07-07 | Google Inc. | Image similarity determination |
WO2014164757A1 (en) | 2013-03-11 | 2014-10-09 | Roche Diagnostics Hematology, Inc. | Imaging blood cells |
EP2972214B1 (en) * | 2013-03-15 | 2018-10-31 | Iris International, Inc. | Sheath fluid systems and methods for particle analysis in blood samples |
CN105210083B (zh) | 2013-03-15 | 2019-05-21 | 霍罗杰克股份有限公司 | 用于查验和分析细胞学标本的系统和方法 |
JP2014235494A (ja) | 2013-05-31 | 2014-12-15 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
AU2014321165B2 (en) * | 2013-09-11 | 2020-04-09 | See-Out Pty Ltd | Image searching method and apparatus |
JP6099593B2 (ja) * | 2014-03-27 | 2017-03-22 | 富士フイルム株式会社 | 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム |
JP5810251B1 (ja) * | 2014-04-09 | 2015-11-11 | パナソニック株式会社 | 情報端末の制御方法及びプログラム |
US10599810B2 (en) | 2014-06-04 | 2020-03-24 | Panasonic Corporation | Control method and recording system |
US11598763B2 (en) | 2014-08-11 | 2023-03-07 | Ascensia Diabetes Care Holdings Ag | Reconfigurable measurement system |
CN104809245A (zh) | 2015-05-13 | 2015-07-29 | 信阳师范学院 | 一种图像检索方法 |
KR101774746B1 (ko) * | 2015-08-13 | 2017-09-05 | 주식회사 슈프리마 | 지문 인증 방법 및 그 지문 인증 방법을 이용한 장치 |
CN105631872B (zh) | 2015-12-28 | 2018-06-26 | 西安电子科技大学 | 基于多特征点的遥感图像配准方法 |
WO2017223412A1 (en) | 2016-06-24 | 2017-12-28 | Beckman Coulter, Inc. | Image atlas systems and methods |
-
2017
- 2017-06-23 WO PCT/US2017/038953 patent/WO2017223412A1/en unknown
- 2017-06-23 CN CN201780039295.5A patent/CN109416313A/zh active Pending
- 2017-06-23 JP JP2018566963A patent/JP6913697B2/ja active Active
- 2017-06-23 KR KR1020197000075A patent/KR102309995B1/ko active IP Right Grant
- 2017-06-23 EP EP17736838.8A patent/EP3475683B1/en active Active
- 2017-06-23 EP EP22166474.1A patent/EP4092403A1/en active Pending
- 2017-06-23 BR BR112018076406A patent/BR112018076406A2/pt active Search and Examination
- 2017-06-23 US US16/312,882 patent/US11448583B2/en active Active
-
2021
- 2021-07-12 JP JP2021114790A patent/JP7275202B2/ja active Active
-
2022
- 2022-08-30 US US17/898,910 patent/US20230087210A1/en active Pending
-
2023
- 2023-05-02 JP JP2023076100A patent/JP2023100825A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021177407A (ja) | 2021-11-11 |
EP3475683A1 (en) | 2019-05-01 |
US11448583B2 (en) | 2022-09-20 |
EP3475683B1 (en) | 2022-04-06 |
CN109416313A (zh) | 2019-03-01 |
WO2017223412A1 (en) | 2017-12-28 |
JP6913697B2 (ja) | 2021-08-04 |
US20230087210A1 (en) | 2023-03-23 |
BR112018076406A2 (pt) | 2019-04-09 |
JP7275202B2 (ja) | 2023-05-17 |
KR20190022612A (ko) | 2019-03-06 |
EP4092403A1 (en) | 2022-11-23 |
KR102309995B1 (ko) | 2021-10-06 |
US20190271632A1 (en) | 2019-09-05 |
JP2019527876A (ja) | 2019-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7275202B2 (ja) | 画像アトラスシステム及び方法 | |
US8340389B2 (en) | Cellular- or sub-cellular-based visualization information using virtual stains | |
US20230105220A1 (en) | Systems and methods for analyses of biological samples | |
US8564623B2 (en) | Integrated data visualization for multi-dimensional microscopy | |
US8391575B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
US9177102B2 (en) | Database and imaging processing system and methods for analyzing images acquired using an image acquisition system | |
CN105095910B (zh) | 一种dicom图像的分类方法 | |
US8542899B2 (en) | Automatic image analysis and quantification for fluorescence in situ hybridization | |
JP2009527063A (ja) | 仮想環境において見本及びデータを使用及び統合するシステム及びその方法 | |
RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
Jessup et al. | Scope2screen: Focus+ context techniques for pathology tumor assessment in multivariate image data | |
Abbasi-Sureshjani et al. | Boosted exudate segmentation in retinal images using residual nets | |
Pérez-Pérez et al. | Dataset for localization and classification of Medjool dates in digital images | |
Fu et al. | M3ResU-Net: a deep residual network for multi-center colorectal polyp segmentation based on multi-scale learning and attention mechanism | |
Candia et al. | Understanding health and disease with multidimensional single-cell methods | |
Holmes et al. | An interactive java statistical image segmentation system: GemIdent | |
Farella et al. | Analysing key steps of the photogrammetric pipeline for Museum artefacts 3D digitisation | |
US20230230398A1 (en) | Image processing device, image processing method, image processing program, and diagnosis support system | |
Gomez-Gelvez et al. | Comparative analysis reveals potential utility of digital microscopy in the evaluation of peripheral blood smears with some barriers to implementation | |
Wang et al. | CW-NET for multitype cell detection and classification in bone marrow examination and mitotic figure examination | |
Li et al. | iPad for bioimage informatics | |
McGenity et al. | AIM in Surgical Pathology | |
McGenity et al. | AIM in Surgical Pathology 37 | |
Petersen et al. | Effective user interaction in online interactive semantic segmentation of glioblastoma magnetic resonance imaging | |
KR20230144555A (ko) | 진단적 중요도의 순서대로 세포 및 조직을 동적으로 우선순위를 매기고 조직화하며 표시하는 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230526 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230526 |