CN116075852A - 图像解析装置 - Google Patents

图像解析装置 Download PDF

Info

Publication number
CN116075852A
CN116075852A CN202180061616.8A CN202180061616A CN116075852A CN 116075852 A CN116075852 A CN 116075852A CN 202180061616 A CN202180061616 A CN 202180061616A CN 116075852 A CN116075852 A CN 116075852A
Authority
CN
China
Prior art keywords
learning
analysis
image
data set
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180061616.8A
Other languages
English (en)
Inventor
泽田隆二
山本周平
大野刚士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN116075852A publication Critical patent/CN116075852A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • C12Q1/04—Determining presence or kind of microorganism; Use of selective media for testing antibiotics or bacteriocides; Compositions containing a chemical indicator therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Organic Chemistry (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Immunology (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Genetics & Genomics (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Toxicology (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)

Abstract

图像解析装置(1)具备：图像保持部(8)，其保持图像；学习完毕模型登记部(10)，其构成为对通过机器学习而制作出的学习完毕模型进行登记；学习完毕模型保持部(12)，其保持由所述学习完毕模型登记部(10)登记的学习完毕模型；算法保持部(14)，其保持用于执行图像的解析处理的多个解析算法；制程制作部(18)，其构成为：针对从所述图像保持部(8)所保持的图像中任意选定的解析对象图像，将从所述学习完毕模型保持部(10)所保持的学习完毕模型中选定的学习完毕模型以及从所述算法保持部(14)所保持的解析算法中任意选定的解析算法进行组合，从而制作用于进行所述解析对象图像的解析的解析制程；以及解析执行部(20)，其构成为基于由所述制程制作部(18)制作出的解析制程来执行所述解析对象图像的解析。

Description

图像解析装置
技术领域
本发明涉及一种图像解析装置。
背景技术
在使用图像处理的解析中，进行对解析对象图像所拍进的细胞、细胞核之类的解析对象物的区域、位置进行估计的估计处理，但在该估计处理中需要用于区分解析对象物和非解析对象物的部分的参数，这样的参数的设定并不容易，是需要时间的作业。
近年来，提出了使用机器学习的图像解析的方案，并且也实施了该方案(参照专利文献1)。在使用机器学习的图像解析中，使计算机比较解析对象图像和标签图像(表示该解析对象图像所拍进的解析对象物的边界等的图像)，由此计算机自动地获取确定在解析对象图像中解析对象物的区域、特定部位的位置所需的参数等。然后，使计算机记住该获取到的结果来作为学习完毕模型并对其它解析对象图像应用学习完毕模型，由此还能够使计算机自动地进行解析对象图像中的解析对象物的区域、特定位置的估计。
现有技术文献
专利文献
专利文献1：日本特开2019-148950号公报
发明内容
发明要解决的问题
对解析对象图像执行何种解析因用户而异。然而，在现有的图像解析装置中，存在如下问题：新制作适合于解析对象图像的学习完毕模型、或者使期望的解析处理与所制作的新的学习完毕模型自由组合的作业并不容易，用户的作业负担大。
因此，本发明的目的在于减轻用户在使用机器学习的图像解析中的作业负担。
用于解决问题的方案
本发明所涉及的图像解析装置的第一实施方式具备：图像保持部，其保持图像；学习完毕模型登记部，其构成为对通过机器学习而制作出的学习完毕模型进行登记；学习完毕模型保持部，其保持由所述学习完毕模型登记部登记的学习完毕模型；算法保持部，其保持用于执行图像的解析处理的多个解析算法；制程制作部，其构成为：针对从所述图像保持部所保持的图像中任意选定的解析对象图像，将从所述学习完毕模型保持部所保持的学习完毕模型中选定的学习完毕模型以及从所述算法保持部所保持的解析算法中任意选定的解析算法进行组合，从而制作用于进行所述解析对象图像的解析的解析制程；以及解析执行部，其构成为基于由所述制程制作部制作出的解析制程来执行所述解析对象图像的解析。
在此，“解析制程”是指为了对解析对象图像执行期望的解析所需的多个算法的集合。
本发明所涉及的图像解析装置的第二实施方式具备：图像保持部，其将对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的多个图像以分别与所拍摄的细胞培养孔内的细胞的培养条件相关联的状态保持；制程制作部，其构成为：从所述图像保持部所保持的图像中选定与从所述图像保持部所保持的图像中任意选定的多个解析对象图像对应的多个学习用图像，基于与各图像相关联的所述培养条件将相互对应的所述解析对象图像与所述学习用图像进行组合来制作多个学习用数据集，从而制作使用所述学习用数据集进行机器学习来制作用于图像解析的学习完毕模型的解析制程；以及解析执行部，其构成为基于由所述制程制作部制作出的解析制程来制作所述学习完毕模型。
发明的效果
根据本发明所涉及的图像解析装置的第一实施方式，使学习完毕模型保持部不仅能够保持已有的学习完毕模型还能够保持新的学习完毕模型，并且能够针对解析对象图像将学习完毕模型所保持的学习完毕模型和算法保持部所保持的解析算法中的任意的解析算法进行组合来制作解析制程，因此能够容易地制作执行用户期望的解析处理所需的解析制程。由此，减轻了用户在使用机器学习的图像解析中的作业负担。
根据本发明所涉及的图像解析装置的第二实施方式，基于与图像相关联的培养条件来自动地选定与多个解析对象图像中的各解析对象图像对应的学习用图像，从而制作用于机器学习的学习用数据集，因此减轻了用户的与学习完毕模型的制作有关的作业负担。
附图说明
图1是示出图像解析装置的一个实施例的框图。
图2是概要性地示出同一实施例中的在图像解析之前的动作的一例的流程图。
图3是示出使用学习完毕模型的图像解析的动作的一例的流程图。
图4是示出与通过机器学习来制作学习完毕模型有关的一系列的动作的一例的流程图。
图5是示出用于学习完毕模型的制作的学习用数据集的列表显示的一例的流程图。
图6是示出标签图像的制作过程的一例的概念图。
图7是学习用数据集的列表显示的一例。
具体实施方式
下面，参照附图来说明本发明所涉及的图像解析装置的一个实施例。
图1中示出图像解析装置1的概要结构。
图像解析装置1具备信息处理装置2和信息显示装置4。信息处理装置2具有获取由图像获取部6获取到的图像数据后进行解析处理的功能。信息处理装置2是具备电子电路的计算机装置(例如个人计算机)，该电子电路具备硬盘驱动器等信息存储介质以及CPU(中央运算装置)，信息处理装置2被导入用于实现后述的各功能的计算机程序。信息显示装置4是以能够通信的方式与信息处理装置2连接的显示器(例如液晶显示器)。作为图像获取部6，可以列举用于对细胞培养板的各孔内进行拍摄的显微镜(例如相位差显微镜、荧光显微镜)。
信息处理装置2具备图像保持部8、学习完毕模型登记部10、学习完毕模型保持部12、算法保持部14、算法登记部16、制程制作部18以及解析执行部20。学习完毕模型登记部10、算法登记部16、制程制作部18以及解析执行部20是通过由CPU执行导入到信息处理装置2的规定的计算机程序而实现的功能。图像保持部8、学习完毕模型保持部12以及算法保持部14是由信息处理装置2内的信息存储介质的一部分存储区域实现的功能。
在图像保持部8中，将利用相位差显微镜对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的图像、对相同细胞培养孔内的细胞或核进行荧光染色并利用荧光显微镜进行拍摄所得到的图像、对荧光显微镜图像进行加工所得到的标签图像等以与各细胞培养孔内的细胞的培养条件相关联的状态保持。图像与培养条件的关联例如能够通过按照规定的规则对图像数据的文件名附加培养条件来实现。
学习完毕模型登记部10构成为对图像解析所需的新的学习完毕模型进行登记。学习完毕模型是通过使用某个图像和该图像的标签图像执行的机器学习从而获取的、图像解析所需的参数等信息。通过将学习完毕模型应用于其它解析对象图像，能够对解析对象图像所拍进的细胞区域进行估计，能够进行使用该估计结果求出图像中的细胞区域的面积、对细胞核的数量进行计数之类的解析。由学习完毕模型登记部10登记的学习完毕模型既可以利用该图像解析装置1制作，也可以利用其它图像解析装置制作。由学习完毕模型10登记的学习完毕模型保持于学习完毕模型保持部12。
算法保持部14保持执行图像解析所需的多种解析算法。在算法保持部14所保持的解析算法中除了包含用于执行使用学习完毕模型进行的解析对象图像中的细胞区域的估计、图像中的细胞区域的面积的计算、细胞数的计数之类的解析处理的算法以外，还包含用于执行使用解析对象图像和标签图像来制作学习完毕模型的学习处理的算法。即，该图像解析装置1具有如下功能：即使不存在已有的学习完毕模型，也使用解析对象图像和标签图像来制作新的学习完毕模型，并使用该学习完毕模型执行期望的解析处理。
算法登记部16构成为对新的解析算法进行登记。由算法登记部16登记的解析算法保持于算法保持部14。
制程制作部18构成为制作对解析对象图像执行用户所期望的解析处理所需的解析制程。在制作解析制程时，用户能够任意地选定想要对解析对象图像应用的学习完毕模型、想要执行的解析处理的算法，制程制作部18将由用户选定的学习完毕模型、解析算法进行组合，来制作针对解析对象图像的解析处理的解析制程。
解析执行部20构成为基于由制程制作部18制作出的解析制程来执行针对解析对象图像的解析处理。
使用图2的流程图来说明在对解析对象图像执行解析处理之前的一系列的流程。
制程制作部18在信息显示装置4显示用于选择解析对象图像、学习完毕模型、解析算法的输入画面，用户在该画面上进行解析对象图像的选定(步骤101)、学习完毕模型的选定(步骤102)、解析算法的选定(103)。此外，在选定学习完毕模型时，在不存在已有的学习完毕模型的情况、不存在应对解析对象图像应用的学习完毕模型的情况、期望进行无需通过学习完毕模型的应用来进行估计处理的图像解析的情况等情况下，用户能够不选择任何学习完毕模型。另外，在选定解析算法时，用户能够选择多个解析算法。
制程制作部18基于步骤101～103中的来自用户的输入信息来判断是否需要制作新的学习完毕模型(步骤104)，如果不需要制作新的学习完毕模型，制作包含使用所选定的学习完毕模型的估计处理的解析制程、或者不使用学习完毕模型的(没有选定学习完毕模型的情况)解析制程(步骤105)。解析执行部20按照由解析制程制作部18制作出的解析制程来执行使用所选定的解析算法的解析处理(步骤106)。
另外，制程制作部18在判断为需要制作新的学习完毕模型的情况下(在步骤104中为“是”)，在进行了制作学习完毕模型所需的学习用数据集的制作等之后，制作包含机器学习的解析制程(步骤107)。解析执行部20按照由解析制程制作部18制作出的解析制程，制作学习完毕模型(步骤108)，执行使用所制作出的学习完毕模型及所选定的解析算法的解析处理(步骤109)。
图3是与使用学习完毕模型的解析有关的流程的一例。
在使用学习完毕模型的解析处理中，对解析对象图像应用学习完毕模型(步骤201)，使用学习完毕模型的各参数信息对解析对象图像中的细胞区域的边界位置、细胞核的位置等进行估计(步骤202)。在之后的解析处理中，使用通过估计处理估计出的细胞区域的边界位置、细胞核的位置等，进行细胞区域的总计面积、细胞核的计数等(步骤203)。
同时参照图5～图7和图4的流程图来说明与学习完毕模型的制作有关的一系列的动作。
如图5所示，为了制作学习完毕模型，需要解析对象图像以及与各解析对象图像对应的标签图像。如图6所示，标签图像能够通过如下方式获取：对与解析对象图像相同细胞培养孔内的细胞或核进行荧光染色后由荧光显微镜拍摄得到荧光染色图像，对该荧光染色图像中的各图像实施二值化处理等加工，将各图像中的解析对象部分的边界部分数值化，将数值化后的加工完毕图像合成。
在此，将与各解析对象图像一起用于机器学习的标签图像或成为标签图像的基础的图像(例如荧光染色图像)定义为“学习用图像”。然后，将解析对象图像以及与解析对象图像对应的标签图像或成为标签图像的基础的图像的集合定义为“学习用数据集”。
当按照图4的流程图进行说明时，制程制作部18在制作包含机器学习的解析制程时，从图像保持部8所保持的图像中选定与各解析对象图像一起用于机器学习的学习用图像(步骤301)。由于图像保持部8所保持的各图像关联有与该图像所拍进的细胞的培养条件有关的信息，因此能够通过参照与各图像相关联的培养条件来确定与各解析对象图像对应的学习用图像。制程制作部18通过将相同培养条件(孔的位置等)的解析对象图像与学习用图像进行组合来制作学习用数据集(步骤302)，并以容易通过目视来识别构成各学习用数据集的解析对象图像及学习用图像的方式在信息显示装置4进行列表显示(步骤303)。用户能够在对信息显示装置4的列表显示进行确认的同时根据需要来进行如变更构成各学习用数据集的图像等的编辑(步骤304)。在学习用图像是成为标签图像的基础的图像的情况下，用户也能够选择用于使该图像成为标签图像的加工处理。
在图7的列表显示的例子中，各学习用数据集沿纵向排列显示，在最左侧的栏显示与各数据集的培养条件有关的信息。构成各数据集的解析对象图像、学习用图像沿横向排列显示，在各图像的下方显示与各图像相关联的培养条件等信息。
并且，在该列表显示中，显示有用于设定各学习用数据集的用途的项目，能够将各学习用数据集分配给“学习”、“评价”、“测试”中的任一者。分配给“学习”的学习用数据集用于通过机器学习制作学习完毕模型，分配给“评价”的学习用数据集(也称为评价用数据集)用于评价所制作出的学习完毕模型。在将多个学习用数据集分配给“学习”的情况下，制作多个学习完毕模型，但会使用评价数据集来评价各学习完毕模型，并且最终仅采用评价最高的学习完毕模型。分配给“测试”的学习用数据集(也称为测试用数据集)用于最终采用的学习完毕模型的测试。
针对各学习用数据集的用途的分配能够由用户任意进行，但也能够在用户期望的情况下由制程制作部18自动地执行。在期望针对各学习用数据集自动进行用途的分配的情况下，制程制作部18根据培养条件的不同将各学习用数据集划分为多个分类，以分别分配给“学习”、“评价”、“测试”的学习用数据集大致均等地存在于各分类的方式对各学习用数据集分配用途。
如上所述，当学习用数据集的编辑完成(制程的制作完成)时，解析执行部20在根据需要进行了各图像的预处理(例如荧光检测图像的二值化处理等)之后，使用分配给“学习”的各学习用数据集执行机器学习(步骤306)，从而制作学习完毕模型(步骤307)。之后，使用评价用数据集对所制作出的学习完毕模型实施评价(步骤308)。学习完毕模型登记部10对评价最高的学习完毕模型进行登记，使学习完毕模型保持部12保持该学习完毕模型(步骤309)。
以上所说明的实施例只不过是本发明所涉及的图像解析装置的实施方式的例示，本发明所涉及的图像解析装置的实施方式如下所示。
在本发明所涉及的图像解析装置的第一实施方式中，具备：图像保持部，其保持图像；学习完毕模型登记部，其构成为对通过机器学习而制作出的学习完毕模型进行登记；学习完毕模型保持部，其保持由所述学习完毕模型登记部登记的学习完毕模型；算法保持部，其保持用于执行图像的解析处理的多个解析算法；制程制作部，其构成为：针对从所述图像保持部所保持的图像中任意选定的解析对象图像，将从所述学习完毕模型保持部所保持的学习完毕模型中选定的学习完毕模型以及从所述算法保持部所保持的解析算法中任意选定的解析算法进行组合，从而制作用于进行所述解析对象图像的解析的解析制程；以及解析执行部，其构成为基于由所述制程制作部制作出的解析制程来执行所述解析对象图像的解析。
在上述第一实施方式中的第一方式中，所述算法保持部保持有用于进行机器学习来制作学习完毕模型的解析算法，所述制程制作部构成为：在基于由用户输入的信息判断为需要制作学习完毕模型的情况下，制作所述解析对象图像的包含制作所述学习完毕模型的机器学习的解析制程，并且构成为：在制作包含所述机器学习的解析制程时，从所述图像保持部所保持的图像中选定用于所述机器学习的学习用图像，制作由所述学习用图像和所述解析对象图像形成的学习用数据集，所述学习完毕模型登记部构成为对通过使用所述学习用数据集的所述机器学习而制作出的学习完毕模型进行登记。根据这样的方式，用户仅需准备与解析对象图像对应的学习用图像就能够自动地制作机器学习所需的数据集，并自动地执行基于该数据集的机器学习，从而获取新的学习完毕模型。
作为上述第一方式中的第一个实施例，可以列举如下例子：所述图像是对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的图像，各图像以与所拍摄的细胞培养孔内的细胞的培养条件相关联的状态保持于所述图像保持部，所述制程制作部构成为：在制作包含所述机器学习的所述解析制程时，在所述解析对象图像和所述学习用图像分别存在多个的情况下，基于与各图像相关联的所述培养条件将相互对应的所述解析对象图像与所述学习用图像进行组合来制作多个所述学习用数据集。在存在大量解析对象图像及学习用图像的情况下，将这些解析对象图像与学习用图像关联来制作机器学习用的数据集的作业需要时间，还存在弄错解析对象图像与学习用图像的组合的可能性，但在该第一个实施例中，根据与各图像相关联的培养条件自动地组合解析对象图像与学习用图像来制作学习用数据集，因此大幅减轻了在执行机器学习时的用户的作业负担。
在上述第一个实施例中，也可以是，所述制程制作部构成为：在制作出多个所述学习用数据集时，将构成各学习用数据集的所述解析对象图像及所述学习用图像的列表与同各学习用数据集相关联的培养条件一起呈现给用户。根据这样的方式，用户能够通过目视来容易地确认自动制作出的各学习用数据集的详细情况。
另外，在上述第一个实施例中，也可以是，所述制程制作部构成为：基于由用户输入的信息，将多个所述学习用数据集的一部分设为用于评价所制作出的学习完毕模型的评价用数据集，在该情况下，也可以是，所述解析执行部构成为：通过使用所述学习用数据集进行所述机器学习来制作学习完毕模型，对所制作的所述学习完毕模型执行使用所述评价用数据集的评价，所述学习完毕模型登记部构成为对所述评价的结果最高的所述学习完毕模型进行登记。根据这样的方式，能够获取对于解析对象图像具有高解析精度的学习完毕模型。
在上述的情况下，也可以是，所述制程制作部构成为：在用户期望自动选择设为所述评价用数据集的所述学习用数据集时，根据所述培养条件将多个所述学习用数据集划分为多个分类，将属于各分类的至少一个所述学习用数据集设为所述评价用数据集。根据这样的方式，能够获取能够应用于广泛的培养条件的学习完毕模型。
在上述第一实施方式中的第二方式中，还具备算法登记部，所述算法登记部构成为对未保持于所述算法保持部的新的解析算法进行登记，所述算法保持部构成为保持由所述算法登记部登记的解析算法。根据这样的方式，能够增加能够对解析对象图像执行的解析算法。
在本发明所涉及的图像解析装置的第二实施方式中，具备：图像保持部，其将对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的多个图像以分别与所拍摄的细胞培养孔内的细胞的培养条件相关联的状态保持；制程制作部，其构成为：从所述图像保持部所保持的图像中选定与从所述图像保持部所保持的图像中任意选定的多个解析对象图像对应的多个学习用图像，基于与各图像相关联的所述培养条件将相互对应的所述解析对象图像与所述学习用图像进行组合来制作多个学习用数据集，从而制作使用所述学习用数据集进行机器学习来制作用于图像解析的学习完毕模型的解析制程；以及解析执行部，其构成为基于由所述制程制作部制作出的解析制程来制作所述学习完毕模型。
在上述第二实施方式的第一方式中，所述制程制作部构成为：在制作出多个所述学习用数据集时，将构成各学习用数据集的所述解析对象图像及所述学习用图像的列表与同各学习用数据集相关联的培养条件一起呈现给用户。根据这样的方式，用户能够通过目视来容易地确认自动制作出的各学习用数据集的详细情况。
另外，在上述第二实施方式的第二方式中，所述制程制作部构成为：基于由用户输入的信息，将多个所述学习用数据集的一部分设为用于评价所制作出的学习完毕模型的评价用数据集，所述解析执行部构成为：通过使用所述学习用数据集进行所述机器学习来制作学习完毕模型，对所制作的所述学习完毕模型执行使用所述评价用数据集的评价。根据这样的方式，能够自动地执行学习完毕模型的评价。
在上述第二方式中，也可以是，所述制程制作部构成为：在用户期望自动选择设为所述评价用数据集的所述学习用数据集时，根据所述培养条件将多个所述学习用数据集划分为多个分类，将属于各分类的至少一个所述学习用数据集设为所述评价用数据集。根据这样的方式，能够评价所制作出的学习完毕模型是否能够应用于广泛的培养条件。
附图标记说明
1：图像解析装置；2：信息处理装置；4：信息显示装置；6：图像获取部；8：图像保持部；10：学习完毕模型登记部；12：学习完毕模型保持部；14：算法保持部；16：算法登记部；18：制程制作部；20：解析执行部。

Claims (11)

1.一种图像解析装置，具备：
图像保持部，其保持图像；
学习完毕模型登记部，其构成为对通过机器学习而制作出的学习完毕模型进行登记；
学习完毕模型保持部，其保持由所述学习完毕模型登记部登记的学习完毕模型；
算法保持部，其保持用于执行图像的解析处理的多个解析算法；
制程制作部，其构成为：针对从所述图像保持部所保持的图像中任意选定的解析对象图像，将从所述学习完毕模型保持部所保持的学习完毕模型中选定的学习完毕模型以及从所述算法保持部所保持的解析算法中任意选定的解析算法进行组合，从而制作用于进行所述解析对象图像的解析的解析制程；以及
解析执行部，其构成为基于由所述制程制作部制作出的解析制程来执行所述解析对象图像的解析。
2.根据权利要求1所述的图像解析装置，其中，
所述算法保持部保持有用于进行机器学习来制作学习完毕模型的解析算法，
所述制程制作部构成为：在基于由用户输入的信息判断为需要制作学习完毕模型的情况下，制作所述解析对象图像的包含制作所述学习完毕模型的机器学习的解析制程，并且构成为：在制作包含所述机器学习的解析制程时，从所述图像保持部所保持的图像中选定用于所述机器学习的学习用图像，制作由所述学习用图像和所述解析对象图像形成的学习用数据集，
所述学习完毕模型登记部构成为对通过使用所述学习用数据集的所述机器学习而制作出的学习完毕模型进行登记。
3.根据权利要求2所述的图像解析装置，其中，
所述图像是对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的图像，各图像以与所拍摄的细胞培养孔内的细胞的培养条件相关联的状态保持于所述图像保持部，
所述制程制作部构成为：在制作包含所述机器学习的所述解析制程时，在所述解析对象图像和所述学习用图像分别存在多个的情况下，基于与各图像相关联的所述培养条件将相互对应的所述解析对象图像与所述学习用图像进行组合来制作多个所述学习用数据集。
4.根据权利要求3所述的图像解析装置，其中，
所述制程制作部构成为：在制作出多个所述学习用数据集时，将构成各学习用数据集的所述解析对象图像及所述学习用图像的列表与同各学习用数据集相关联的培养条件一起呈现给用户。
5.根据权利要求3所述的图像解析装置，其中，
所述制程制作部构成为：基于由用户输入的信息，将多个所述学习用数据集的一部分设为用于评价所制作出的学习完毕模型的评价用数据集，
所述解析执行部构成为：通过使用所述学习用数据集进行所述机器学习来制作学习完毕模型，对所制作出的所述学习完毕模型执行使用所述评价用数据集的评价，
所述学习完毕模型登记部构成为对所述评价的结果最高的所述学习完毕模型进行登记。
6.根据权利要求5所述的图像解析装置，其中，
所述制程制作部构成为：在用户期望自动选择设为所述评价用数据集的所述学习用数据集时，根据所述培养条件将多个所述学习用数据集划分为多个分类，将属于各分类的至少一个所述学习用数据集设为所述评价用数据集。
7.根据权利要求1所述的图像解析装置，其中，
还具备算法登记部，所述算法登记部构成为对未保持于所述算法保持部的新的解析算法进行登记，
所述算法保持部构成为保持由所述算法登记部登记的解析算法。
8.一种图像解析装置，具备：
图像保持部，其将对设置于细胞培养板的多个细胞培养孔内分别进行拍摄所得到的多个图像以分别与所拍摄的细胞培养孔内的细胞的培养条件相关联的状态保持；
制程制作部，其构成为：从所述图像保持部所保持的图像中选定与从所述图像保持部所保持的图像中任意选定的多个解析对象图像对应的多个学习用图像，基于与各图像相关联的所述培养条件将相互对应的所述解析对象图像与所述学习用图像进行组合来制作多个学习用数据集，从而制作使用所述学习用数据集进行机器学习来制作用于图像解析的学习完毕模型的解析制程；以及
解析执行部，其构成为基于由所述制程制作部制作出的解析制程来制作所述学习完毕模型。
9.根据权利要求8所述的图像解析装置，其中，
所述制程制作部构成为：在制作出多个所述学习用数据集时，将构成各学习用数据集的所述解析对象图像及所述学习用图像的列表与同各学习用数据集相关联的培养条件一起呈现给用户。
10.根据权利要求8所述的图像解析装置，其中，
所述制程制作部构成为：基于由用户输入的信息，将多个所述学习用数据集的一部分设为用于评价所制作出的学习完毕模型的评价用数据集，
所述解析执行部构成为：通过使用所述学习用数据集进行所述机器学习来制作学习完毕模型，对所制作出的所述学习完毕模型执行使用所述评价用数据集的评价。
11.根据权利要求10所述的图像解析装置，其中，
所述制程制作部构成为：在用户期望自动选择设为所述评价用数据集的所述学习用数据集时，根据所述培养条件将多个所述学习用数据集划分为多个分类，将属于各分类的至少一个所述学习用数据集设为所述评价用数据集。
CN202180061616.8A 2020-09-29 2021-04-27 图像解析装置 Pending CN116075852A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-163306 2020-09-29
JP2020163306 2020-09-29
PCT/JP2021/016739 WO2022070491A1 (ja) 2020-09-29 2021-04-27 画像解析装置

Publications (1)

Publication Number Publication Date
CN116075852A true CN116075852A (zh) 2023-05-05

Family

ID=80950079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180061616.8A Pending CN116075852A (zh) 2020-09-29 2021-04-27 图像解析装置

Country Status (4)

Country Link
US (1) US20230334832A1 (zh)
JP (1) JPWO2022070491A1 (zh)
CN (1) CN116075852A (zh)
WO (1) WO2022070491A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023228229A1 (ja) * 2022-05-23 2023-11-30 日本電気株式会社 画像処理装置、画像処理方法、およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0844851A (ja) * 1994-07-28 1996-02-16 Hitachi Medical Corp 医用画像診断装置
JP6329651B1 (ja) * 2017-01-16 2018-05-23 エルピクセル株式会社 画像処理装置及び画像処理方法
WO2019003355A1 (ja) * 2017-06-28 2019-01-03 株式会社オプティム 画像解析結果提供システム、画像解析結果提供方法、およびプログラム

Also Published As

Publication number Publication date
WO2022070491A1 (ja) 2022-04-07
JPWO2022070491A1 (zh) 2022-04-07
US20230334832A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
EP2095332B1 (en) Feature-based registration of sectional images
US7050613B2 (en) Method for supporting cell image analysis
EP1586897B1 (en) Image analysis supporting method, image analysis supporting program, and image analysis supporting device
JP2019087044A (ja) 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム
US10089518B2 (en) Graphical user interface for analysis of red blood cells
US8861810B2 (en) Automated image analysis with GUI management and control of a pipeline workflow
CN111275717B (zh) 不同染色切片的对比展示方法、电子设备及可读介质
CN107644425B (zh) 目标图像选取方法、装置、计算机设备及存储介质
JP6355082B2 (ja) 病理診断支援装置及び病理診断支援方法
WO2018207261A1 (ja) 画像解析装置
US20240013867A1 (en) Computer device for detecting an optimal candidate compound and methods thereof
JP6045292B2 (ja) 細胞計数装置及び細胞計数プログラム
CN111656393A (zh) 组织学图像分析
CN116075852A (zh) 图像解析装置
CN108627695A (zh) 一种异常信号显示方法及频谱分析系统、数字频谱分析仪
JP2007198968A (ja) 画像分類方法及び画像分類装置
Meruvia-Pastor et al. Estimating cell count and distribution in labeled histological samples using incremental cell search
Olson Image analysis using the Aperio ScanScope
Tang et al. Simultaneous skull-stripping and lateral ventricle segmentation via fast multi-atlas likelihood fusion
CN114334092B (zh) 医用影像ai模型的管理方法及设备
US9589172B1 (en) Systems and methods for interactive image analysis of digital pathology images
US20230143489A1 (en) Data analysis apparatus and data analysis method
WO2023195405A1 (ja) 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム
CN117237272A (zh) 图像处理设备、控制方法及存储介质
Beare et al. Spot: cDNA Microarray Image Analysis—User’s Guide

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination