JP2017009314A - 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 - Google Patents

教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 Download PDF

Info

Publication number
JP2017009314A
JP2017009314A JP2015121978A JP2015121978A JP2017009314A JP 2017009314 A JP2017009314 A JP 2017009314A JP 2015121978 A JP2015121978 A JP 2015121978A JP 2015121978 A JP2015121978 A JP 2015121978A JP 2017009314 A JP2017009314 A JP 2017009314A
Authority
JP
Japan
Prior art keywords
teaching
teaching data
data
data creation
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015121978A
Other languages
English (en)
Other versions
JP2017009314A5 (ja
Inventor
治郎 津村
Jiro Tsumura
治郎 津村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2015121978A priority Critical patent/JP2017009314A/ja
Priority to PCT/JP2016/066240 priority patent/WO2016203956A1/ja
Priority to US15/736,240 priority patent/US20180189606A1/en
Publication of JP2017009314A publication Critical patent/JP2017009314A/ja
Publication of JP2017009314A5 publication Critical patent/JP2017009314A5/ja
Pending legal-status Critical Current

Links

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/48—Automatic or computerized control
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M47/00—Means for after-treatment of the produced biomass or of the fermentation or metabolic products, e.g. storage of biomass
    • C12M47/04—Cell isolation or sorting
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/02—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving viable microorganisms
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N2015/1488—Methods for deciding

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Sustainable Development (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Immunology (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Cell Biology (AREA)
  • Databases & Information Systems (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Urology & Nephrology (AREA)
  • Medicinal Chemistry (AREA)

Abstract

【課題】細胞を担持する担持体を撮像して得られる対象物の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データを、ユーザーフレンドリーな操作で作成する。
【解決手段】教示データを作成するための対象物を含む教示画像を表示部に表示して対象物の分類を可能とする表示工程と、表示部に表示された対象物の分類結果を受け取り、分類結果と教示画像とを関連付けて教示データを作成するデータ作成工程とを備えている。
【選択図】図６

Description

この発明は、細胞を担持する担持体を撮像して得られる対象物（細胞、細菌、スフェロイドなど）の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成を支援する技術に関するものである。
医療や生物科学の実験においては、細胞、細菌あるいは多数の細胞が球状に集まった細胞集塊（スフェロイド）をマイクロウェルプレートや透明容器などの担持体で培養し、その培養中に細胞を非破壊的あるいは非侵襲的に撮像している。そして、細胞やスフェロイドなどの対象物の品質や生死などを撮像された画像から評価する試みが行われている。このとき、対象物の形態が重要であることが知られており、形態情報から対象物を分類する技術が提案されている（例えば非特許文献１、２参照）。
加藤竜司、本田裕之，「細胞画像インフォマティクスによる細胞品質評価法」，生物工学，２０１０年，第８８巻，第１２号，ｐ.６４６−６４８ 国立大学法人熊本大学、"コンピューターを用いたヒト iPS 細胞の形態診断法の開発 ―iPS 細胞とその分化における自動分類と質の保証― "、［online］、平成２６年１１月１１日、［平成２７年６月１日検索］、インターネット＜URL：http://www.kumamoto-u.ac.jp/whatsnew/seimei/20141111＞
ところで、原画像から対象物（細胞やスフェロイド）を分類する操作を自動的に行うために機械学習が用いられている。例えば非特許文献２では、「体細胞」、「完全なｉＰＳ細胞」および「不完全なｉＰＳ細胞」毎の画像（本発明の「教示画像」に相当）を教示データとして準備している。そして、複数の教示データに基づいて機械学習を実行することで学習データを作成し、当該学習データに基づいて上記分類がコンピュータにより自動的に行われる。したがって、機械学習に適した教示データを準備することは分類精度を高める上で重要となる。
しかしながら、教示データを円滑に作成するための具体的な操作提案はなく、教示データの作成に多大な労力が費やされていた。そこで、ユーザーフレンドリーな操作で教示データを作成することができる技術が要望されている。
この発明は上記課題に鑑みなされたものであり、細胞を担持する担持体を撮像して得られる対象物の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データを、ユーザーフレンドリーな操作で作成することができる教示データの作成支援技術を提供することを目的とする。
この発明の第１態様は、細胞を担持する担持体を撮像して得られる対象物の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成支援方法であって、教示データを作成するための対象物を含む教示画像を表示部に表示して対象物の分類を可能とする表示工程と、表示部に表示された対象物の分類結果を受け取り、分類結果と教示画像とを関連付けて教示データを作成するデータ作成工程とを備えることを特徴としている。
また、この発明の第２態様は、細胞を担持する担持体を撮像して得られる対象物の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成支援装置であって、教示データを作成するための対象物を含む教示画像を表示する表示部と、表示部に表示された教示画像に基づいて分類される分類結果を受け付ける入力部と、表示部に表示された教示画像と、入力部により受け付けた分類結果とを関連付けて教示データを作成するデータ作成部とを備えることを特徴としている。
また、この発明の第３態様は、コンピュータを用いて、細胞を担持する担持体を撮像して得られる対象物の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成を支援するプログラムであって、教示データを作成するための対象物を含む教示画像を表示部に表示して対象物の分類を可能とする表示工程と、表示部に表示された対象物の分類結果を受け取り、分類結果と教示画像とを関連付けて教示データを作成するデータ作成工程とを、コンピュータに実行させることを特徴としている。
さらに、この発明の第４態様は、プログラム記録媒体であって、上記プログラムを記録したことを特徴としている。
この発明では、教示データを作成するための対象物を含む教示画像が表示部に表示される。このため、ユーザーは表示部に表示された画像を見ながら対象物の分類を行うことができる。そして、ユーザーによる対象物の分類結果を教示画像と関連付けて教示データが作成される。したがって、教示データをユーザーフレンドリーな操作で作成することができる。
本発明にかかる教示データの作成支援装置の一実施形態を装備する細胞判定システムの概略構成を示す図である。 本発明にかかる教示データの作成支援方法の第１実施形態を実行して学習データを作成する機械学習処理の一例を示すフローチャートである。 本発明にかかる教示データの作成支援方法の第１実施形態である教示処理の一例を示すフローチャートである。 第１実施形態における教示処理を模式的に示す図である。 第１実施形態における教示処理を模式的に示す図である。 第１実施形態における教示処理を模式的に示す図である。 教示画像の構成を模式的に示す図である。 第１実施形態における教示処理を模式的に示す図である。 本発明にかかる教示データの作成支援方法の第２実施形態を説明するための模式図である。 第２実施形態における教示処理を模式的に示す図である。
図１は本発明にかかる教示データの作成支援装置の一実施形態を装備する細胞判定システムの概略構成を示す図である。この細胞判定システムは、マイクロウェルプレートＷＰの上面に形成されたウェルＷと称される窪部に注入された液体中の試料を撮像する撮像ユニット１と、撮像された画像に対し画像処理を施す画像処理ユニット２とを備えている。
マイクロウェルプレートＷＰは、創薬や生物科学の分野において一般的に使用されているものであり、平板状のプレートの上面に、断面が略円形の筒状に形成され底面が透明で平坦なウェルＷが複数設けられている。１つのマイクロウェルプレートＷＰにおけるウェルＷの数は任意であるが、例えば９６個（１２×８のマトリクス配列）のものを用いることができる。各ウェルＷの直径および深さは代表的には数ｍｍ程度である。なお、この撮像ユニット１が対象とするマイクロウェルプレートのサイズやウェルの数はこれらに限定されるものではなく任意であり、例えば３８４穴のものであってもよい。
マイクロウェルプレートＷＰの各ウェルＷには、培地としての液体が所定量注入され、この液体中において所定の培養条件で培養された細胞や細菌等が、この撮像ユニット１の撮像対象となる。培地は適宜の試薬が添加されたものでもよく、また液状でウェルＷに投入された後ゲル化するものであってもよい。
撮像ユニット１は、試料を液体とともに各ウェルＷに担持するマイクロウェルプレートＷＰの下面周縁部に当接して、マイクロウェルプレートＷＰを略水平姿勢に保持するホルダ１１と、ホルダ１１の上方に配置される照明部１２と、ホルダ１１の下方に配置される撮像部１３と、これら各部の動作を制御する制御部１４とを備えている。
照明部１２は、ホルダ１１により保持されたマイクロウェルプレートＷＰに向けて照明光Ｌｉを出射する。照明光Ｌｉとしては例えば白色光を用いることができる。照明部１２により、マイクロウェルプレートＷＰに設けられたウェルＷ内の試料が上方から照明される。
ホルダ１１により保持されたマイクロウェルプレートＷＰの下方に、撮像部１３が設けられる。撮像部１３では、マイクロウェルプレートＷＰの直下位置に対物レンズ１３１が配置されている。対物レンズ１３１の光軸ＯＡは鉛直方向に向けられており、対物レンズ１３１の光軸ＯＡに沿って上から下に向かって順に、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４がさらに設けられている。対物レンズ１３１、開口絞り１３２および結像レンズ１３３は、それぞれの中心が鉛直方向に沿って一列に並ぶように配置されて、これらが一体として撮像光学系１３０を構成している。なお、この例では撮像部１３を構成する各部が鉛直方向に一列に配列されているが、反射鏡等により光路が折り返されていてもよい。
撮像部１３は、制御部１４に設けられたメカ駆動部１４１により移動可能となっている。具体的には、メカ駆動部１４１が、撮像部１３を構成する対物レンズ１３１、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４を一体的に水平方向に移動させることにより、撮像部１３がウェルＷに対し水平方向に移動する。１つのウェルＷ内の撮像対象物が撮像されるときには、メカ駆動部１４１は、撮像光学系１３０の光軸が当該ウェルＷの中心と一致するように、撮像部１３を水平方向に位置決めする。
また、メカ駆動部１４１は、撮像部１３を鉛直方向に移動させることにより、撮像対象物に対する撮像部のフォーカス合わせを行う。具体的には、撮像対象物たる試料が存在するウェルＷの内底面に対物レンズ１３１の焦点が合うように、メカ駆動部１４１が、対物レンズ１３１、開口絞り１３２、結像レンズ１３３および撮像デバイス１３４を一体的に上下動させる。
また、メカ駆動部１４１は、撮像部１３を水平方向に移動させる際、照明部１２を撮像部１３と一体的に水平方向に移動させる。すなわち、照明部１２は、その光中心が撮像光学系１３０の光軸ＯＡと略一致するように配置されており、対物レンズ１３１を含む撮像部１３が水平方向に移動するとき、これと連動して水平方向に移動する。これにより、どのウェルＷが撮像される場合でも、ウェルＷに対する照明条件を一定にして、撮像条件を良好に維持することができる。
撮像部１３により、ウェルＷ内の試料が撮像される。具体的には、照明部１２から出射されウェルＷの上方から液体に入射した光が撮像対象物を照明し、ウェルＷ底面から下方へ透過した光が対物レンズ１３１により集光され、開口絞り１３２、結像レンズ１３３を介して最終的に撮像デバイス１３４の受光面に撮像対象物の像が結像し、これが撮像デバイス１３４の受光素子１３４１により受光される。受光素子１３４１は一次元イメージセンサであり、その表面に結像した撮像対象物の一次元画像を電気信号に変換する。受光素子１３４１としては、例えばＣＣＤセンサを用いることができる。受光素子１３４１がマイクロウェルプレートＷＰに対し相対的に走査移動することにより、ウェルＷの二次元画像が得られる。
受光素子１３４１から出力される画像信号は、制御部１４に送られる。すなわち、画像信号は制御部１４に設けられたＡＤコンバータ（Ａ／Ｄ）１４２に入力されてデジタル画像データに変換される。こうして得られたデジタル画像データはインターフェース（Ｉ／Ｆ）１４３を介して外部へ出力される。
画像処理ユニット２は、システム各部の動作を制御して後述する教示データ作成部および分類処理部（＝学習データ作成機能部＋分類処理機能部）として機能するＣＰＵ２０１を有する制御部２０を備えている。制御部２０はまた、画像処理を受け持つグラフィックプロセッサ（ＧＰ）２０２と、画像データを記憶保存するための画像メモリ２０３と、ＣＰＵ２０１およびＧＰ２０２が実行すべきプログラムやこれらにより生成されるデータを記憶保存するためのメモリ２０４とを有している。なお、ＣＰＵ２０１がグラフィックプロセッサ２０２としての機能を兼ねてもよい。また、画像メモリ２０３とメモリ２０４とは一体のものであってもよい。また、本実施形態では、メモリ２０４に保存されるプログラムのうち教示データの作成を支援するための教示支援プログラムを記録媒体から読み取るためのリーダー２０６を装備している。
その他に、制御部２０には、インターフェース（Ｉ／Ｆ）２０５が設けられている。インターフェース２０５は、ユーザーおよび外部装置との情報交換を担う。具体的には、インターフェース２０５は撮像ユニット１のインターフェース１４３と通信回線により接続されており、ＣＰＵ２０１が撮像ユニット１を制御するための制御指令を撮像ユニット１に送信する。また、撮像ユニット１のＡＤコンバータ１４２から出力される画像データを受信する。
また、インターフェース２０５には、例えば操作ボタン、マウス、キーボードまたはタブレット等の入力デバイスもしくはそれらを組み合わせてなる入力部２１が接続されている。入力部２１により受け付けられたユーザーからの操作入力が、インターフェース２０５を介してＣＰＵ２０１に伝達される。さらに、インターフェース２０５には、例えば液晶ディスプレイなどの表示デバイスを有する表示部２２が接続されている。表示部２２は、ＣＰＵ２０１からインターフェース２０５を介して与えられる画像信号に対応する画像を表示することで、ユーザーへの処理結果等の情報提示を行う。また、上記教示支援プログラムにしがたって教示データの作成を行う時、つまり教示処理の実行時に、教示用の画像などを表示してユーザーによる教示作業をアシストするマンマシンインタフェースとして機能する。
なお、上記した構成を有する画像処理ユニット２は、一般的なパーソナルコンピュータの構成と概ね同じである。すなわち、この細胞判定システムの画像処理ユニット２として、汎用のコンピュータ装置を利用することが可能である。
次に、このように構成された細胞判定システムの動作について説明する。この細胞判定システムでは、撮像ユニット１が各ウェルＷの二次元画像を撮像し、画像データを画像処理ユニット２に与える。一方、画像処理ユニット２は、受け取った画像データを解析して二次元画像に含まれる細胞、細菌やスフェロイドなどの対象物の形態を認識し、対象物を分類する。例えば、本実施形態では、以下に説明するようにスフェロイドを対象物とし、スフェロイドを撮像した画像オブジェクトからスフェロイドの形態を認識し、当該形態からスフェロイドの生死を学習データに基づいて分類して生死判定を行う。
ここで、上記分類および判定を正確に行うためには、分類・判定に適した学習データを機械学習により作成する必要がある。そこで、本実施形態では、次に説明する機械学習処理を行っており、その機械学習処理において機械学習に適した教示データをユーザーフレンドリーな教示操作で作成することが可能となっている。以下、図２ないし図８を参照しつつ機械学習処理ならびに当該機械学習処理で行われる教示データの作成支援方法について詳述する。
図２は、本発明にかかる教示データの作成支援方法の第１実施形態を実行して学習データを作成する機械学習処理の一例を示すフローチャートである。また、図３は、本発明にかかる教示データの作成支援方法の第１実施形態である教示処理の一例を示すフローチャートである。さらに、図４ないし図６は第１実施形態における教示処理を模式的に示す図である。機械学習処理は、学習データに基づくスフェロイドの生死の分類および判定を行う前に実行されるものであり、少なくとも１つ以上のウェルＷに学習用のスフェロイドが培養液とともに担持されたマイクロウェルプレートＷＰを用いて行われる。この機械学習処理はＣＰＵ２０１がメモリ２０４に予め記憶された学習プログラムを実行して装置各部を制御することにより実現される。また、機械学習処理のために教示データを作成する必要があるが、これを行う教示処理はリーダー２０６を介してメモリ２０４に読み込まれた教示支援プログラムをＣＰＵ２０１が実行して装置各部を制御することにより実現される。
機械学習を実行するために、まず、学習用のスフェロイドを培養液とともにウェルＷに担持するマイクロウェルプレートＷＰが撮像ユニット１に搬入され、ホルダ１１にセットされる（ステップＳ１）。そして、撮像対象となるウェルＷに対し撮像光学系１３が位置決めされて、撮像デバイス１３４による撮像が行われる（ステップＳ２）。これにより、学習用のスフェロイドを含む原画像が取得される。
こうして得られた原画像に対し、グラフィックプロセッサ２０２が所定の画像処理を行い、原画像中に含まれる画像オブジェクトの領域を検出する（ステップＳ３）。原画像中のオブジェクトの抽出には公知の技術を適用することができる。例えば、原画像を適宜の閾値で２値化して背景領域とオブジェクト領域とに区分する方法を適用可能である。
次のステップＳ４では、教示処理パネル２３と学習機能パネル２４とが表示部２２に表示される。これらのうち教示処理パネル２３では、例えば図４や図５に示すように、タブの選択により２つの画面、つまり「Ｗｅｌｌｓ Ｏｖｅｒｖｉｅｗ」画面（以下「ＷＯ画面」という）２３１と「Ｗｅｌｌ ｉｎｆｏｒｍａｔｉｏｎ」画面（以下「ＷＩ画面」という）２３２とを切替可能となっている。各ウェルＷの原画像を撮像した直後においては、基本的に図４に示すように、教示処理パネル２３ではＷＯ画面２３１に切り替わり、撮像されたウェルＷの原画像がマトリックス状に表示される。なお、図４のＷＯ画面２３１中のチェックボックスは教示処理を既に完了していることを示している。
一方、学習機能パネル２４では、機械学習に関連する各種情報が表示される。学習機能パネル２４の最上部に位置する「学習ファイル」の欄には、学習データを含む学習ファイルに関する情報が表示される。ここでは、「Ｎａｍｅ」直下に配置されたボックスに対し、ユーザーが学習データのファイル名を指定可能となっている。本実施形態では、ファイル名の指定方式として複数種類を用意している。すなわち、当該ボックスに入力部２１を介してファイル名を直接入力することが可能となっている。また、「学習ファイル」の欄の右上に配置された「リスト表示」ボタンをユーザーが押下することでメモリ２０４に記憶保存されている既存の学習ファイルがリスト表示される。それに続いて、ユーザーがリストから選択することで当該選択されたファイル名が上記ボックスに入力される。もちろん、当該ボックスをコンボボックスで構成し、コンボボックスを選択することでコンボボックスに表示されるリストからユーザーが所望のファイル名を指定するように構成してもよい。なお、「学習ファイル」の欄中の「Ｃｏｍｍｅｎｔ」は上記ボックスに表示された学習ファイルに対するコメントを表示する。
「学習ファイル」の欄の直下に、３つのボタンが横方向に並べられている。これらのうち「教示開始」ボタンがユーザーにより押下されると、教示処理を開始する。また、「教示完了」ボタンがユーザーにより押下されると、教示処理を完了し、教示処理による教示データに基づく学習処理を開始する。さらに、「キャンセル」ボタンがユーザーにより押下されると、現在の作業をキャンセルする。
これらのボタンの直下に、「教示対象ウェル」の欄が設けられている。この「教示対象ウェル」の欄では、ウェルＷを分類するための「ウェルＩＤ」が設定されている。また、「ウェルＩＤ」毎に、ユーザーによって、生きていると判定されたスフェロイド（以下「生スフェロイド」という）の数が「生スフェロイド数」として表示されるとともに、死んでいると判定されたスフェロイド（以下「死スフェロイド」という）の数が「死スフェロイド数」として表示される。このように教示対象となるウェルＷ毎に、生スフェロイド数および死スフェロイド数がテーブル形式で表示される。このテーブルの直下には、「教示対象ウェルの設定」ボタンが配置されている。ユーザーにより教示対象ウェルが選択された状態で、「教示対象ウェルの設定」ボタンが押下されると、教示対象ウェルが設定される。
さらに、学習機能パネル２４の最下段では、教示処理により教示された生スフェロイドの総数と死スフェロイドの総数とが算出され、「教示データ情報」の欄に表示される。
図２に戻って機械学習処理の説明を続ける。上記した学習機能パネル２４に対してユーザーによる学習ファイルの指定が入力部２１を介して行われると、制御部２０は学習ファイルの指定を受け付ける（ステップＳ５）。そして、学習ファイルの指定後に「教示開始」ボタンが押下される（ステップＳ６で「ＹＥＳ」）と、制御部２０は図３に示す教示処理を実行する（ステップＳ７）。
教示処理では、まずユーザーによる教示対象ウェルの特定のために、教示処理パネル２３ではＷＯ画面２３１が表示される（ステップＳ７１）。これによって、教示処理の開始時点では、既に撮像されたウェルＷの原画像がマトリックス状に表示される。例えば図４では、Ｂ行目、Ｃ行目およびＤ行目の各々に６個の原画像が配列されており、合計１８個の原画像が表示されている。なお、本明細書では、原画像を特定するために、ｍ行目ｎ列目のウェルＷを（ｍ−ｎ）ウェルと称し、学習機能パネル２４中のウェルＩＤも（ｍ−ｎ）で特定する。
このように本実施形態では、撮像された（Ｂ−２）、（Ｂ−３）、…（Ｄ−７）ウェルＷの原画像が表示部２２に表示されており、ユーザーによる教示対象ウェルの選択が容易となっている。なお、「教示対象ウェル」とは、教示データを作成するのに適したスフェロイドが存在するとユーザーが判断したウェルＷを意味しており、教示対象ウェルの原画像には、上記スフェロイドを含む画像（以下「教示画像」という）が映し出されている。
そして、次のステップＳ７２でユーザーによる教示対象ウェルの選択が行われると、制御部２０は教示対象ウェルの選択を受け付け（ステップＳ７３）、選択されたウェルＷに対応するＷＩ画面２３２を表示する（ステップＳ７４）。これによって、例えば図５に示すように選択された（Ｃ−４）ウェルＷのＷＩ画面２３２が表示部２２に表示され、ユーザーはＷＩ画面２３２の画像表示領域２３２ａで教示対象ウェル（ここでは、（Ｃ−４）ウェルＷ）の原画像の部分拡大図を観察することが可能となる。ここでは、説明のために、（Ｃ−４）ウェルＷの原画像に３種類の教示画像、つまり、
・生スフェロイドＳｐ１、Ｓｐ４、Ｓｐ５、…を含む教示画像、
・死スフェロイドＳｐ２、…を含む教示画像、
・デブリＳｐ３、…を含む教示画像、
が含まれている場合を例示している。なお、「デブリ」とは、生スフェロイドおよび死スフェロイド以外の異物、例えばウェルＷに混入した微細な埃やゴミ、マイクロウェルプレートＷＰの傷、汚れ等を意味している。このような異物の像は教示データの作成の妨げとなる。したがって、後述するように、「デブリ」を教示データから除外するのが望ましい。
図５に示すように、（Ｃ−４）ウェルＷのＷＩ画面２３２には、複数のスフェロイドが表示されているが、教示データを作成するために、ユーザーはそれらの一部あるいは全部に対して「生スフェロイド」、「死スフェロイド」、「デブリ」のいずれかの判定を行って、３種類に分類する。より具体的には、ユーザーは入力部２１を操作することでＷＩ画面２３２に表示されたスフェロイドのひとつを教示対象となる画像オブジェクトとして選択し、スフェロイドの分類を行う。こうしたユーザー操作を入力部２１により受け取り、それに対応して制御部２０は、ユーザーに選択された画像オブジェクトを特定し、当該画像オブジェクトに対する分類結果を設定する作業（以下「ジョブ」という）を行う（ステップＳ７５）。このジョブ内容について図６を参照しつつ詳述する。
制御部２０は、ユーザーにより例えばスフェロイドＳｐ１が選択されると、教示処理パネル２３の「Ｊｏｂ」の欄に選択されたスフェロイドＳｐ１を示す「Ｓｐ１」をジョブ名として表示する。また、制御部２０はスフェロイドＳｐ１の近傍位置にポップアップ画面２３２ｂを表示してスフェロイドＳｐ１に対して種々のステータス設定や処理を加えることが可能となっている。ここでは、６種類の操作、つまり、上から順に
・選択スフェロイドのステータスを「生スフェロイド」に変更、
・選択スフェロイドのステータスを「死スフェロイド」に変更、
・選択スフェロイドのステータスを「デブリ」に変更、
・選択外のスフェロイドのステータスを「デブリ」に変更、
・スフェロイドの追加、
・選択スフェロイドの削除、
が可能となっている。
また、本実施形態では、選択されたスフェロイドを含む教示画像は、図７に示すように、当該スフェロイドを含むオブジェクト領域Ｒ１の画像データと、当該スフェロイドに対応する領域Ｒ２を特定するマスクデータと、上記領域Ｒ２に付すべき色の色データとに基づいて表示される。つまり、画像データは原画像から抜き出された画像オブジェクトを示すデータである。また、マスクデータは選択されたスフェロイドの形態を示すものであり、当該マスクデータに基づいてスフェロイドの形態を特定することができる。さらに、色データはスフェロイドのステータスに応じて設定されるものである。そして、本実施形態では、ユーザーによる判定が行われる毎に判定設定に応じた色データが設定され、領域Ｒ２の色を変更させる。したがって、ユーザーはＷＩ画面２３２に表示された画像を見ることで各スフェロイドが「生スフェロイド（図面では模様ＰＴ１が付されている）」、「死スフェロイド（図面では模様ＰＴ２が付されている）」および「デブリ（図面では模様ＰＴ３が付されている）」のうちのいずれに該当するかを容易に視認することが可能となる。また、判定済か否かについても容易に視認することができる。なお、図６中の「Ｌｉｖｅ ｏｒ ＮｏｔＡｌｉｖｅ」のチェックボックスは生スフェロイドおよび死スフェロイドのみを画像表示領域２３２ａに表示させるか否かを設定するものであり、チェック設定によりデブリＳｐ３を非表示することができ、教示処理をより円滑なものとすることができる。
ここでは、個々のスフェロイドを選択した上で上記判定を行って当該スフェロイドの分類を行っているが、複数のスフェロイドを選択して上記分類を行ってもよい。例えば図８の破線で示すように選択範囲を指定することで複数のスフェロイドＳｐ４、Ｓｐ５を一括して選択し、それらを同一の種類に分類してもよい。また、入力部２１の特定キー（例えばキーボードのＣｔｒｌキー）を押下しながら複数のスフェロイドを順次選択してもよい。
また、選択されたスフェロイドの判定設定が行われると、制御部２０は、教示画像のうち色データを除いたデータ（＝画像データ＋マスクデータ）および判定結果を示すデータを相互に関連付け、これを教示データとして作成し、メモリ２０４に記憶する。また、制御部２０は、「デブリ」を除き、生スフェロイド数および死スフェロイド数を集計し、表示する（ステップＳ７６）。すなわち、制御部２０は、現在教示処理を行っているウェルＷ（図６では、ウェルＩＤが（Ｃ−４）のウェルＷ）について、ステップＳ７５で新たに判定された判定結果と既に判定されている判定結果とに基づいて生スフェロイド数および死スフェロイド数を集計し、学習機能パネル２４の中段のテーブルに表示する。また、教示対象となっている全ウェルＷについて生スフェロイド数および死スフェロイド数を集計し、学習機能パネル２４の最下段に配置された教示データ情報の欄に表示する。これにより、教示処理中にユーザーは生スフェロイドおよび死スフェロイドの各々の教示データ数をリアルタイムに把握することができ、教示処理の続行、終了および中止を容易に判断することができる。
このようにして１つの教示対象ウェルＷに対して行われる教示データの作成（ステップＳ７５）は、学習機能パネル２４の「教示対象ウェルの設定」ボタンが押下されるまで繰り返される。そして、「教示対象ウェルの設定」ボタンが押下される（ステップＳ７７で「ＹＥＳ」）と、次のステップＳ７８に進んで、制御部２０は他のウェルＷに担持されたスフェロイドを用いた教示データの作成を続行するか否かを判定する。この実施形態では、「教示完了」ボタンが押下されない間、制御部２０は教示データの作成を続行すると判定し、ステップＳ７１に戻って上記一連の処理を実行して新たな教示データを作成する。一方、「教示完了」ボタンが押下される（ステップＳ７８で「ＮＯ」）と、制御部２０は教示処理を終了する。そして、制御部２０はメモリ２０４に記憶された教示データを読み出し、機械学習を開始する（ステップＳ８）。また、制御部２０は、機械学習によって作成された学習データをステップＳ５で指定された学習ファイルに書き込み、当該学習ファイルをメモリ２０４に保存する（ステップＳ９）。
以上のように、本実施形態では、機械学習のための教示データを作成するための教示画像を表示部２２に表示し、当該表示内容を見ながらユーザーによるスフェロイドの判定分類を行って教示データを作成している。したがって、教示データをユーザーフレンドリーな操作で作成することができる。その結果、教示データの作成に要する時間や労力などを大幅に削減することができる。
また、上記実施形態では、教示用のスフェロイドを、「生スフェロイド」、「死スフェロイド」、「デブリ」の３種類のいずれかに分類し、そのなかでも学習データに関連する「生スフェロイド」および「死スフェロイド」を抽出して教示データの作成を行っている。このように「デブリ」を省くことで精度の高い教示データが得られる。
また、「生スフェロイド」および「死スフェロイド」に区分されたスフェロイドの数を表示部２２に表示してユーザーに報知し、「生スフェロイド」の教示データ数および「死スフェロイド」の教示データ数をそれぞれ区分してユーザーに知らせている。したがって、ユーザーはこれらの数値を参照することで適切な教示処理を行うことができる。というのも、機械学習を適切に行うためには、分類毎の教示データ（例えば、本実施形態では、生スフェロイド数および死スフェロイド数、また非特許文献２では、「体細胞」に関する画像数、「完全なｉＰＳ細胞」に関する画像数および「不完全なｉＰＳ細胞」に関する画像数）がほぼ同程度の数に収める必要があるからである。また、この条件を満足したとしても、分類毎の教示データの数が少ないと、適切な機械学習とは言えない。このような状況下において、本実施形態によれば、教示処理中に分類毎の作成済のデータ数をリアルタイムに知ることができる。その結果、機械学習に適切な数の教示データを作成することができ、機械学習の精度を高めることができる。
ここで、機械学習に適切な数としては、上記したように生スフェロイド数と死スフェロイド数との総和数と、生スフェロイド数と死スフェロイド数との比率とを考慮するのが望ましい。したがって、上記実施形態において「教示完了」ボタンが押下された時点（ステップＳ７８で「ＮＯ」）で、制御部２０が以下の２つのデータ数条件、
・上記総和数が学習許容数を超えている、
・上記比率が学習許容比の範囲内に収まっている、
という条件をともに満足している否かを判定するように構成してもよい。そして、２つとも満足されている場合に機械学習に移行し、それ以外の場合には移行を制限し、教示データの追加教示を提案するメッセージなどを報知するように構成してもよい。これによって、適正な機械学習を担保することができる。
また、上記実施形態では、表示部２２に表示されたスフェロイドの分類が行われると、表示部２２でのスフェロイドの表示、具体的には色を分類結果に応じて変更している。このため、ユーザーは、各スフェロイドが「生スフェロイド」、「死スフェロイド」および「デブリ」のうちのいずれに該当するかを容易に視認することができ、しかも判定分類済か否かについても容易に視認することができる。
ところで、上記第１実施形態では、撮像ユニット１に搬入されるマイクロウェルプレートＷＰに特段の工夫を設けておらず、通常に培養されて生スフェロイドと死スフェロイドとがランダムな割合で混在している中からユーザーが生スフェロイドと死スフェロイドを区別しながら教示データを作成する必要があった。また、培養目的は生スフェロイドを作成することであり、ウェルＷに含まれる死スフェロイドの数は一般的には生スフェロイドよりも少ない傾向にある。このため、上記比率を学習許容比の範囲内に収めながら一定数以上の死スフェロイド数を見つけ出すのが困難なことがあり、これが教示処理に要する時間や労力の低減させる上で障害となることがある。
しかしながら、薬品を使用することで予め大量の死スフェロイドを準備することは比較的簡単であり、この点を考慮することで教示処理に要する時間および労力の低減を図ることができる。以下、図９および図１０を参照しつつ本発明にかかる教示データの作成支援方法の第２実施形態について説明する。
図９は本発明にかかる教示データの作成支援方法の第２実施形態を説明するための模式図である。また、図１０は、第２実施形態における教示処理を模式的に示す図である。この第２実施形態が第１実施形態と大きく相違する点は、図９の（ａ）欄に示すように、マイクロウェルプレートＷＰに設けられた複数のウェルＷのうち一のウェルＷ（本実施形態では、（Ｄ−７）ウェルＷ）にスフェロイドを死滅させる薬品３を投与して当該（Ｄ−７）ウェルＷに存在するスフェロイドをほぼ死滅させている点であり、その他の構成は第１実施形態と基本的に同一である。したがって、以下においては相違点を中心に説明し、同一構成の説明を省略する。
第２実施形態においても、第１実施形態と同様に、マイクロウェルプレートＷＰが撮像ユニット１に搬入され、ホルダ１１にセットされる（ステップＳ１）。そして、撮像対象となるウェルＷに対し撮像光学系１３が位置決めされて、撮像デバイス１３４による撮像が行われる（ステップＳ２）。これにより、学習用のスフェロイドを含む原画像が取得される。そして、撮像されたウェルＷの原画像が図９の（ｂ）欄に示すように教示処理パネル２３のＷＯ画面２３１にマトリックス状に表示される。第２実施形態では、上記したように（Ｄ−７）ウェルＷに存在するスフェロイドはほぼ全部死滅している。したがって、当該（Ｄ−７）ウェルＷを教示対象ウェルとして選択すると、その中に含まれるスフェロイドの大半は「死スフェロイド」であり、それを前提としてユーザーはスフェロイドの判定分類を行うことができる。例えば（Ｄ−７）ウェルＷに存在するスフェロイドの多くを一括して選択し、「死スフェロイド」と判定して分類することができ、その結果、例えば図１０に示すように、学習機能パネル２４の中段のテーブルに表示されているように（Ｄ−７）ウェルを用いることで数多くの「死スフェロイド」の教示データを比較的簡単にしかも迅速に作成することができる。
そして、上記薬品３を投入していないウェル、例えば図１０に示すように（Ｃ−７）ウェルＷを新たな教示対象ウェルとして選択し、第１実施形態と同様にして生スフェロイドの教示データの作成を行うことで上記２つのデータ数条件を比較的短時間で、かつ少ない労力で満足させることができる。すなわち、通常培養したウェルＷと、薬品３によって強制的に死スフェロイドの比率を大幅に高めたウェルＷとを準備し、これらを用いて教示処理を行うことで教示処理に要する時間および労力のさらなる低減を図ることができる。
以上説明したように、上記実施形態では、画像処理ユニット２が本発明の「教示データの作成支援装置」として機能しており、制御部２０が本発明の「データ作成部」として機能している。また、ステップＳ７４、Ｓ７５、Ｓ７６がそれぞれ本発明の「表示工程」、「データ作成工程」および「報知工程」の一例に相当している。また、ステップＳ７５のうちユーザーによる判定が行われる毎に判定設定に応じて領域Ｒ２の色を変更させる工程が本発明の「表示変更工程」の一例に相当している。また、生スフェロイド数および死スフェロイド数が本発明の「種類毎の教示データの数」の一例に相当している。さらに、生スフェロイド数および死スフェロイド数がそれぞれ本発明の「生きている対象物の数」および「死んでいる対象物の数」の一例に相当している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では、スフェロイドを本発明の「対象物」とし、生スフェロイドと死スフェロイドとの２種類に分類するための教示データを作成しているが、細胞や細菌を本発明の「対象物」とする場合も同様である。また、分類内容も生死の２種類に限定されるものではなく、例えばスフェロイド、細胞や細菌を３種類以上に分類するための機械学習用の教示データを作成する場合にも、本発明を適用することができる。また、「デブリ」と「デブリではないもの」とに分類するための機械学習用の教示データを作成する場合にも、本発明を適用することができる。
また、上記実施形態では、生スフェロイド数および死スフェロイド数の表示部２２への表示によりユーザーに種類毎の教示データの数を報知しているが、報知手段は表示部２２に限定されるものではなく、用紙への印刷や音声などの他の報知手段により報知するように構成してもよい。
また、上記実施形態では、撮像ユニット１とともに細胞判定システムに装備された画像処理ユニット２が本発明の「教示データの作成支援装置」として機能しているが、撮像ユニット１を備えない構成で本発明にかかる「教示データの作成支援装置」を構成してもよい。また、リーダー２０６を介して原画像の画像データを受け取る態様においても、本発明は有効に機能する。
また、上記実施形態では、ＣＰＵ２０１がメモリ２０４に予め記憶された制御プログラムを実行することで本発明が実施されるが、前記したように、この実施形態における画像処理ユニット２としては汎用のコンピュータ装置を用いることが可能である。したがって、このようなコンピュータ装置に読み込まれることを前提に、上記した教示処理をコンピュータ装置に実行させる教示支援プログラムとして、またこれを適宜の記録媒体に記録した態様で、本発明をユーザーに提供することも可能である。これにより、例えば既に運用されている細胞判定システムに新たな機能を付加することも可能となる。
また、上記実施形態では、教示データの作成支援方法を実行する教示支援プログラムを、ＣＤ−ＲＯＭ、光ディスク、光磁気ディスク、不揮発性メモリカードなどの記録媒体に記録させ、この記録媒体からメモリ２０４に保存したプログラムをコードとして読み出し、コンピュータにおいて実行させている。つまり、上記プログラムを記録した記録媒体、コンピュータプログラム自体も本発明の一実施形態に含まれる。
この発明は、細胞を担持する担持体を撮像して得られる対象物（細胞、細胞、スフェロイドなど）の形態から対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成を支援する技術全般に適用することができる。
２…画像処理ユニット（教示データの作成支援装置）
２０…制御部（データ作成部）
２１…入力部
２２…表示部
２３…教示処理パネル
２４…学習機能パネル
２０１…ＣＰＵ（データ作成部）
２３１…ＷＯ画面
２３２…ＷＩ画面
Ｓｐ１〜Ｓｐ５…スフェロイド
Ｗ…ウェル、教示対象ウェル
ＷＰ…マイクロウェルプレート（担持体）

Claims (9)

  1. 細胞を担持する担持体を撮像して得られる対象物の形態から前記対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成支援方法であって、
    前記教示データを作成するための対象物を含む教示画像を表示部に表示して前記対象物の分類を可能とする表示工程と、
    前記表示部に表示された前記対象物の分類結果を受け取り、前記分類結果と前記教示画像とを関連付けて前記教示データを作成するデータ作成工程と
    を備えることを特徴とする教示データの作成支援方法。
  2. 請求項１に記載の教示データの作成支援方法であって、
    前記分類結果を複数の種類に区分し、種類毎の前記教示データの数を報知する報知工程をさらに備える教示データの作成支援方法。
  3. 請求項２に記載の教示データの作成支援方法であって、
    前記データ作成工程は、前記表示部に複数の対象物を表示し、前記複数の対象物のうち前記教示データとして採用しない対象物を除いて各対象物を生きているか死んでいるかの２種類に区分し、
    前記報知工程は、生きている対象物の数と、死んでいる対象物の数を表示して報知する教示データの作成支援方法。
  4. 請求項３に記載の教示データの作成支援方法であって、
    前記生きている対象物の数と前記死んでいる対象物の数との総和数が学習許容数を超え、しかも前記生きている対象物の数と前記死んでいる対象物の数との比率が学習許容比の範囲内に収まるときに、教示データの作成を終了する教示データの作成支援方法。
  5. 請求項２ないし４のいずれか一項に記載の教示データの作成支援方法であって、
    前記表示部に表示された前記対象物の分類が行われると、前記表示部での前記対象物の表示を分類結果に応じて変更する表示変更工程をさらに備える教示データの作成支援方法。
  6. 細胞を担持する担持体を撮像して得られる対象物の形態から前記対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成支援装置であって、
    前記教示データを作成するための対象物を含む教示画像を表示する表示部と、
    前記表示部に表示された教示画像に基づいて分類される分類結果を受け付ける入力部と、
    前記表示部に表示された教示画像と、前記入力部により受け付けた分類結果とを関連付けて前記教示データを作成するデータ作成部と
    を備えることを特徴とする教示データの作成支援装置。
  7. 請求項６に記載の教示データの作成支援装置であって、
    前記データ作成部は、前記分類結果を複数の種類に区分し、種類毎の前記教示データの数を報知する教示データの作成支援装置。
  8. コンピュータを用いて、細胞を担持する担持体を撮像して得られる対象物の形態から前記対象物を分類するのに使用される、学習データを機械学習させるための教示データの作成を支援するプログラムであって、
    前記教示データを作成するための対象物を含む教示画像を表示部に表示して前記対象物の分類を可能とする表示工程と、
    前記表示部に表示された前記対象物の分類結果を受け取り、前記分類結果と前記教示画像とを関連付けて前記教示データを作成するデータ作成工程と
    を、コンピュータに実行させることを特徴とするプログラム。
  9. 請求項８に記載のプログラムを記録したことを特徴とするプログラム記録媒体。
JP2015121978A 2015-06-17 2015-06-17 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体 Pending JP2017009314A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015121978A JP2017009314A (ja) 2015-06-17 2015-06-17 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
PCT/JP2016/066240 WO2016203956A1 (ja) 2015-06-17 2016-06-01 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
US15/736,240 US20180189606A1 (en) 2015-06-17 2016-06-01 Method and device for supporting creation of teaching data, program and program recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015121978A JP2017009314A (ja) 2015-06-17 2015-06-17 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体

Publications (2)

Publication Number Publication Date
JP2017009314A true JP2017009314A (ja) 2017-01-12
JP2017009314A5 JP2017009314A5 (ja) 2017-06-22

Family

ID=57545570

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015121978A Pending JP2017009314A (ja) 2015-06-17 2015-06-17 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体

Country Status (3)

Country Link
US (1) US20180189606A1 (ja)
JP (1) JP2017009314A (ja)
WO (1) WO2016203956A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240008A1 (ja) 2018-06-13 2019-12-19 富士フイルム株式会社 情報処理装置、導出方法、及び導出プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019150755A1 (ja) 2018-01-31 2019-08-08 ヤマハ発動機株式会社 撮像システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265190A (ja) * 2003-03-03 2004-09-24 Japan Energy Electronic Materials Inc 階層型ニューラルネットワークの学習方法、そのプログラム及びそのプログラムを記録した記録媒体
JP2011002995A (ja) * 2009-06-18 2011-01-06 Riron Soyaku Kenkyusho:Kk 細胞認識装置、インキュベータおよびプログラム
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
WO2014030379A1 (ja) * 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
WO2014087689A1 (ja) * 2012-12-07 2014-06-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
JP2014137284A (ja) * 2013-01-17 2014-07-28 Dainippon Screen Mfg Co Ltd 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP2014142871A (ja) * 2013-01-25 2014-08-07 Dainippon Screen Mfg Co Ltd 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5871946A (en) * 1995-05-18 1999-02-16 Coulter Corporation Method for determining activity of enzymes in metabolically active whole cells
JP4155496B2 (ja) * 2002-04-25 2008-09-24 大日本スクリーン製造株式会社 分類支援装置、分類装置およびプログラム
US8524488B2 (en) * 2002-09-10 2013-09-03 The Regents Of The University Of California Methods and devices for determining a cell characteristic, and applications employing the same
US8321136B2 (en) * 2003-06-12 2012-11-27 Cytyc Corporation Method and system for classifying slides using scatter plot distribution
JP3834041B2 (ja) * 2004-03-31 2006-10-18 オリンパス株式会社 学習型分類装置及び学習型分類方法
US7323318B2 (en) * 2004-07-15 2008-01-29 Cytokinetics, Inc. Assay for distinguishing live and dead cells
US7958063B2 (en) * 2004-11-11 2011-06-07 Trustees Of Columbia University In The City Of New York Methods and systems for identifying and localizing objects based on features of the objects that are mapped to a vector
US20080279441A1 (en) * 2005-03-29 2008-11-13 Yuichiro Matsuo Cell-Image Analysis Method, Cell-Image Analysis Program, Cell-Image Analysis Apparatus, Screening Method, and Screening Apparatus
JP5426181B2 (ja) * 2009-01-21 2014-02-26 シスメックス株式会社 検体処理システム、細胞画像分類装置、及び検体処理方法
EP2631872A4 (en) * 2010-10-18 2015-10-28 Univ Osaka CHARACTER EXTRACTION DEVICE, CHARACTER EXTRACTION METHOD AND PROGRAM THEREFOR
JP5698208B2 (ja) * 2012-11-30 2015-04-08 株式会社Ｓｃｒｅｅｎホールディングス 画像処理装置、画像処理方法、および画像処理プログラム
WO2014094790A1 (en) * 2012-12-19 2014-06-26 Unisensor A/S System and method for classification of particles in a fluid sample
JP5560351B1 (ja) * 2013-01-11 2014-07-23 大日本スクリーン製造株式会社 理化学装置および画像処理方法
JP6289044B2 (ja) * 2013-11-15 2018-03-07 オリンパス株式会社 観察装置
JP6277818B2 (ja) * 2014-03-26 2018-02-14 日本電気株式会社 機械学習装置、機械学習方法、及びプログラム
US10226484B2 (en) * 2014-12-01 2019-03-12 Peter Y Novak Pharmaceutical composition for improving health, cure abnormalities and degenerative disease, achieve anti-aging effect of therapy and therapeutic effect on mammals and method thereof
FR3034197B1 (fr) * 2015-03-24 2020-05-01 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de determination de l'etat d'une cellule

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004265190A (ja) * 2003-03-03 2004-09-24 Japan Energy Electronic Materials Inc 階層型ニューラルネットワークの学習方法、そのプログラム及びそのプログラムを記録した記録媒体
JP2011002995A (ja) * 2009-06-18 2011-01-06 Riron Soyaku Kenkyusho:Kk 細胞認識装置、インキュベータおよびプログラム
JP2011229409A (ja) * 2010-04-23 2011-11-17 Nagoya Univ 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法
WO2014030379A1 (ja) * 2012-08-23 2014-02-27 富士ゼロックス株式会社 画像処理装置、プログラム、画像処理方法及びコンピュータ読み取り媒体並びに画像処理システム
WO2014087689A1 (ja) * 2012-12-07 2014-06-12 富士ゼロックス株式会社 画像処理装置、画像処理システム及びプログラム
JP2014137284A (ja) * 2013-01-17 2014-07-28 Dainippon Screen Mfg Co Ltd 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP2014142871A (ja) * 2013-01-25 2014-08-07 Dainippon Screen Mfg Co Ltd 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019240008A1 (ja) 2018-06-13 2019-12-19 富士フイルム株式会社 情報処理装置、導出方法、及び導出プログラム

Also Published As

Publication number Publication date
US20180189606A1 (en) 2018-07-05
WO2016203956A1 (ja) 2016-12-22

Similar Documents

Publication Publication Date Title
JP5783043B2 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2006049964A (ja) 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム
JP2021515240A (ja) 定量的バイオマーカデータのオーバレイを有する病理学用拡張現実顕微鏡
JP5677441B2 (ja) 観察装置、観察プログラム及び観察システム
CN110476101A (zh) 用于病理学的增强现实显微镜
JP5274731B1 (ja) 観察システム、プログラム及び観察システムの制御方法
CN105210083A (zh) 用于查验和分析细胞学标本的系统和方法
JP7183286B2 (ja) ディジタル病理スキャニング・インターフェースおよびワークフロー
WO2010146802A1 (ja) 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP2007020422A (ja) 生体試料培養観察装置、生体試料培養観察方法、および生体試料培養観察用プログラム
JPWO2012117647A1 (ja) 観察プログラムおよび観察装置
JPWO2013094434A1 (ja) 観察システム、観察システムの制御方法及びプログラム
JP4801025B2 (ja) 細胞画像解析装置及び細胞画像解析ソフトウェア
EP4130843A1 (en) Microscope system, projection unit, and sperm sorting assistance method
CN109416465A (zh) 用于图像捕获和显示的系统、方法和设备
WO2016203956A1 (ja) 教示データの作成支援方法、作成支援装置、プログラムおよびプログラム記録媒体
JP2021177765A (ja) コロニー検出システム
JP2013109119A (ja) 顕微鏡制御装置およびプログラム
JP5466976B2 (ja) 顕微鏡システム、観察画像の表示方法、プログラム
WO2012112697A2 (en) Method and system to digitize pathology specimens in a stepwise fashion for review
JP2012039929A (ja) 受精卵観察の画像処理方法、画像処理プログラム及び画像処理装置、並びに受精卵の製造方法
JP6470399B2 (ja) 画像処理方法、制御プログラムおよび画像処理装置
JP2015069441A (ja) 管理システム、管理プログラム、及び容器、並びに容器及び識別票から成るキット
JP4646847B2 (ja) 蛋白質結晶化観察方法及び蛋白質結晶化観察装置
JP6946807B2 (ja) 画像表示装置、プログラム及び制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170509

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170509

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170523

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170719

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20170725

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170801