JP2022131937A - アノテーションを支援するシステム、方法、及び、プログラム - Google Patents
アノテーションを支援するシステム、方法、及び、プログラム Download PDFInfo
- Publication number
- JP2022131937A JP2022131937A JP2021031192A JP2021031192A JP2022131937A JP 2022131937 A JP2022131937 A JP 2022131937A JP 2021031192 A JP2021031192 A JP 2021031192A JP 2021031192 A JP2021031192 A JP 2021031192A JP 2022131937 A JP2022131937 A JP 2022131937A
- Authority
- JP
- Japan
- Prior art keywords
- image
- classified
- images
- target
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 85
- 238000012545 processing Methods 0.000 claims description 81
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000008569 process Effects 0.000 claims description 41
- 238000002834 transmittance Methods 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 61
- 230000008859 change Effects 0.000 description 34
- 239000010410 layer Substances 0.000 description 24
- 210000004027 cell Anatomy 0.000 description 13
- 210000004748 cultured cell Anatomy 0.000 description 13
- 238000010606 normalization Methods 0.000 description 12
- 239000003086 colorant Substances 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000007621 cluster analysis Methods 0.000 description 7
- 238000009792 diffusion process Methods 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000015654 memory Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 238000004113 cell culture Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 239000001963 growth medium Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 239000002609 medium Substances 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012258 culturing Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
- G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
【課題】アノテーションを支援する。【解決手段】画像のアノテーションを支援するシステムは、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、表示装置の画面上に、分類情報を可視化した分類画像を、対象画像と対比可能に配置する制御部と、を備える。【選択図】図5
Description
本明細書の開示は、画像のアノテーションを支援するシステム、方法、及び、プログラムに関する。
現在、細胞培養の分野では、教師あり学習を実行することで構築された学習済みモデルを用いて、画像から非侵襲的に培養状態を把握することが行われている。ところで、画像処理に用いられる学習済みモデルの構築には、画像にタグ(正解ラベル)が付された大量の教師データが必要である。このような教師データを作成する作業はアノテーションと呼ばれている。
アノテーションでは、大量の画像の一枚一枚に人間によって手動でタグ付けが行われる。その作業量は膨大であり、アノテーションの作業負荷を軽減する技術が求められている。このような課題に関連する技術は、例えば、特許文献1に記載されている。特許文献1には、アノテーションに適したユーザインターフェースが開示されている。
特許文献1に記載の技術を採用することで、アノテーションにおけるユーザの操作を支援することが可能であり、その結果として、アノテーションの効率の改善が期待できる。しかしながら、特許文献1に記載の技術は、ユーザの操作を支援するものであり、アノテーションにおいてユーザに求められる各種の判断を支援するものではない。例えば、画像のどの領域にタグ付けするかといった判断は、引き続きユーザに委ねられており、そのような判断を支援する技術は記載されていない。
以上のような実情を踏まえ、本発明の一側面に係る目的は、アノテーションを支援する新たな技術を提供することである。
本発明の一態様に係るシステムは、画像のアノテーションを支援するシステムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備える。
本発明の別の態様に係るシステムは、画像のアノテーションを支援するシステムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する制御部と、を備える。
本発明の一態様に係る方法は、画像のアノテーションを支援する方法であって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成することと、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置することと、を含む。
本発明の別の態様に係る方法は、画像のアノテーションを支援する方法であって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成することと、表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置することと、を含む。
本発明の一態様に係るプログラムは、画像のアノテーションを支援するプログラムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する処理をコンピュータに実行させる。
本発明の別の態様に係るプログラムは、画像のアノテーションを支援するプログラムであって、アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する処理をコンピュータに実行させる。
上記の態様によれば、アノテーションを支援する新たな技術を提供することが可能となる。
[第1の実施形態]
図1は、本実施形態に係るシステム200の構成を例示した図である。図2は、撮影装置100の構成を例示した図である。図3は、光源ユニット104と撮影ユニット105の構成を例示した図である。図4は、制御装置130の構成を例示した図である。以下、図1から図4を参照しながら、システム200の構成について説明する。
図1は、本実施形態に係るシステム200の構成を例示した図である。図2は、撮影装置100の構成を例示した図である。図3は、光源ユニット104と撮影ユニット105の構成を例示した図である。図4は、制御装置130の構成を例示した図である。以下、図1から図4を参照しながら、システム200の構成について説明する。
図1に示すシステム200は、容器Cに収容された細胞を培養しながら撮影する細胞培養システムである。また、システム200は、画像のアノテーションを支援するシステムである。ここで、アノテーションとは、画像に対して情報(タグ)を付与して教師データを作成する作業のこと、または、作業としてのアノテーションによって画像に対して付加される情報(タグ)のことをいう。
システム200は、容器Cに収容された培養細胞を容器Cの下方から撮影する1つ以上の撮影装置100と、撮影装置100を制御する制御装置130と、を備えている。撮影装置100の各々と制御装置130は、互いにデータをやり取りできればよい。従って、撮影装置100の各々と制御装置130は、有線で通信可能に接続されてもよく、無線で通信可能に接続されてもよい。また、培養細胞を収容する容器Cは、例えば、フラスコである。ただし、容器Cは、フラスコに限らず、ディッシュ、ウェルプレートなどその他の培養容器であってもよい。
培養細胞をインキュベータ120から取り出すことなく撮影するために、撮影装置100は、例えば、図1に示すように、インキュベータ120内に配置された状態で使用される。より詳細には、撮影装置100は、図1に示すように、容器Cが撮影装置100の透過窓101に載置された状態でインキュベータ120内に配置され、制御装置130からの指示に従って容器C内の試料(細胞)の画像を取得する。なお、透過窓101は、撮影装置100の筐体102の上面を構成する透明な天板であり、容器を載置する載置面を構成する。透過窓101は、例えば、ガラスや透明な樹脂などからなる。
撮影装置100は、図1に示すように、容器Cが配置される透明な透過窓101を上面とする箱型の筐体102と、透過窓101(載置面)上で容器Cを所定の位置へ位置決めする位置決め部材110を備えている。なお、位置決め部材110は、筐体102に固定されている。ただし、位置決め部材110は、必要に応じて取り外すことが可能であり、使用される容器に応じて形状の異なる別の位置決め部材と交換されてもよい。
撮影装置100は、図2及び図3に示すように、さらに、筐体102内を移動するステージ103と、培養細胞を照明する1対の光源ユニット104と、培養細胞の画像を取得する撮影ユニット105と、を備えている。ステージ103と光源ユニット104と撮影ユニット105は、筐体102内部に収容されている。光源ユニット104と撮影ユニット105は、ステージ103上に設置されていて、筐体102内でステージ103が移動することで容器Cに対して移動する。
ステージ103は、容器Cに対する撮影ユニット105の相対位置を変更する。ステージ103は、透過窓101(載置面)と平行で且つ互いに直交しているX方向とY方向に移動可能である。ただし、ステージ103は、さらに、X方向とY方向の両方に直交するZ方向(高さ方向)にも移動してもよい。
なお、図2及び図3には、光源ユニット104と撮影ユニット105がステージ103上に設置され、その結果、一体となって筐体102内を移動する例が示されているが、光源ユニット104と撮影ユニット105は、それぞれ独立して筐体102内を移動してもよい。また、図2及び図3には、1対の光源ユニット104が撮影ユニット105を挟んで左右に配置されている例を示したが、光源ユニット104の配置と数はこの例に限らない。例えば、光源ユニット104は、ステージ103上に3つ以上設けられてもよく、1つだけ設けられてもよい。
光源ユニット104は、図3に示すように、光源106と、拡散板107を備えている。光源106は、例えば、発光ダイオード(LED)などを含んでいる。光源106は、白色LEDを含んでもよく、R(赤)、G(緑)、B(青)など、複数の異なる波長の光を出射する複数のLEDを含んでもよい。光源106から出射した光は、拡散板107に入射する。
拡散板107は、光源106から出射した光を拡散させる。拡散板107は、特に限定しないが、例えば、表面に凹凸を形成したフロスト型の拡散板である。ただし、拡散板107は、表面をコーティングしたオパール型の拡散板であってもよく、その他のタイプの拡散板であってもよい。さらに、拡散板107には拡散光の出射領域を制限するためのマスク107aが形成されてもよい。拡散板107から出射した光は、様々な方向に進行する。
撮影ユニット105は、図3に示すように、光学系108と、撮像素子109を備えている。光学系108は、透過窓101を透過することによって筐体102内に入射した光を集光する。培養細胞が存在する容器Cの底面に焦点を合わせた光学系108が筐体102内に入射した光を撮像素子109上に集光することで、撮像素子109上に培養細胞の光学像が形成される。
撮像素子109は、検出した光を電気信号に変換する光センサである。撮像素子109には、特に限定しないが、例えば、CCD(Charge-Coupled Device)、CMOS(Complementary MOS)などが用いられる。
以上のように構成された撮影装置100では、位相物体である容器C内の試料S(培養細胞)を可視化するために、偏射照明が採用されている。具体的には、光源106が発した光は、拡散板107で拡散し、筐体102外へ出射する。即ち、光源ユニット104は、光学系108を経由することなく、筐体102外へ向けて様々な方向へ進行する光を出射する。その後、筐体102外へ出射した光のうちの一部が、例えば、容器Cの上面などで反射することで、試料S上方で偏向され、さらに、試料S上方で偏向された光のうちの一部が、試料Sに照射され、試料S及び透過窓101を透過することによって筐体102内に入射する。そして、筐体102内に入射した光のうちの一部が、光学系108によって集光され、撮像素子109上に試料Sの像を形成する。最後に、撮影装置100は、撮像素子109から出力された電気信号に基づいて試料S(培養細胞)の画像を生成し、制御装置130へ出力する。
制御装置130は、撮影装置100を制御する装置である。制御装置130は、インキュベータ120内に置かれた撮影装置100へ撮影指示を送信し、撮影装置100によって取得された画像を受信する。
また、制御装置130は、撮影装置100で取得した画像を処理する画像処理装置である。制御装置130は、画像から抽出したその画像の特徴に基づいてその画像を構成する領域をいくつかのクラスに分類した分類情報を生成する。
さらに、制御装置130は、分類情報を可視化して表示する表示制御装置である。制御装置130は、利用者からの要求に応じて分類情報を可視化して画面上に配置する。以降では、分類情報が可視化された画像を分類画像と記す。
なお、制御装置130は、1つ以上のプロセッサと、1つ以上の非一時的なコンピュータ読取可能媒体と、を含んでいればよく、例えば、一般的なコンピュータである。より具体的には、制御装置130は、例えば、図4に示すように、例えば、1つ以上のプロセッサ131と、1つ以上の記憶装置132と、入力装置133と、表示装置134と、通信装置135を備えていてもよく、それがバス136を通じて接続されていてもよい。
1つ以上のプロセッサ131のそれぞれは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)などを含むハードウェアであり、1つ以上の記憶装置132に記憶されているプログラム132aを実行することで、プログラムされた処理を行う。プログラムされた処理には、例えば、分類情報を生成する分類処理や、分類画像を画面上に配置する表示制御処理などが含まれる。即ち、プロセッサ131は、システム200の分類部の一例であり、また、システム200の制御部の一例である。また、1つ以上のプロセッサ131は、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などを含んでもよい。
1つ以上の記憶装置132のそれぞれは、例えば、1つ又は複数の任意の半導体メモリを含み、さらに、1つ又は複数のその他の記憶装置を含んでもよい。半導体メモリは、例えば、RAM(Random Access Memory)などの揮発性メモリ、ROM(Read Only Memory)、プログラマブルROM、フラッシュメモリなどの不揮発性メモリを含んでいる。RAMには、例えば、DRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)などが含まれてもよい。その他の記憶装置には、例えば、磁気ディスクを含む磁気記憶装置、光ディスクを含む光学記憶装置などが含まれてもよい。
なお、1つ以上の記憶装置132は、非一時的なコンピュータ読取可能媒体であり、システム200の記憶部の一例である。記憶装置132の少なくとも1つは、分類画像の生成に用いられる学習済みデータ132bを記憶する。
入力装置133は、利用者が直接操作する装置であり、例えば、キーボード、マウス、タッチパネルなどである。表示装置134は、例えば、液晶ディスプレイ、有機ELディスプレイ、CRT(Cathode Ray Tube)ディスプレイなどである。ディスプレイには、タッチパネルが内蔵されてもよい。通信装置135は、有線通信モジュールであっても、無線通信モジュールであってもよい。
なお、図4に示す構成は、制御装置130のハードウェア構成の一例であり、制御装置130はこの構成に限定されるものではない。制御装置130は、汎用装置に限らず、専用装置であってもよい。
図5は、本実施形態に係るシステム200が行う処理の一例を示すフローチャートである。図6から図9は、アノテーション画面を例示した図である。アノテーション画面とは、利用者の操作に基づいて、画像に対してアノテーションを付与可能な画面のことである。システム200は、図5に示す処理を行うことで、画像に対してアノテーションを付与するための作業環境を、アノテーションにおいてユーザが下すべき各種の判断を支援する情報とともに提供する。以下、図5から図9を参照しながら、システム200によって行われるアノテーションを支援する方法の具体例について説明する。図5に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図5に示す処理が開始されると、まず、システム200は、アノテーションを付与する候補となる画像を取得する(ステップS1)。ここでは、撮影装置100が容器C内の培養細胞を撮影して、アノテーションを付与する候補となる画像(以降、対象画像と記す。)を取得する。さらに、撮影装置100は、取得した対象画像を制御装置130へ出力する。
次に、システム200は、対象画像に表れる特徴に基づいて対象画像の各領域を分類する(ステップS2)。ここでは、制御装置130は、撮影装置100が出力した対象画像を取得する。さらに、制御装置130において、分類部の一例であるプロセッサ131が、記憶装置132に記憶されている学習済みデータ132bを用いることで、対象画像を構成する複数の対象領域を対象画像に表れる特徴に基づいて分類した分類情報を生成する。
なお、複数の対象領域の各々は、例えば、対象画像を構成する1つ以上の画素である。1画素が1つの対象領域を構成してもよく、複数画素(例えば、3×3画素)が1つの対象領域を構成してもよい。複数の対象領域の各々は、ユーザやシステムによって分割数を自由に定められてよい。例えば分割単位として画素数3*3の場合を例示したが、必ずしも縦横の画素数が同じでなくてもよい。分類情報には、少なくとも、複数の対象領域の各々に対応するクラス情報が含まれている。クラス情報は、各対象領域が分類されたクラスを示す情報である。
分類情報が生成されると、システム200は、分類情報を可視化した分類画像を対象画像と対比可能に表示装置134の画面上に配置する(ステップS3)。ここでは、制御装置130において、制御部の一例であるプロセッサ131が、分類情報に基づいて、例えば、各領域に各領域が分類されたクラスに対応する色又はパターンを割り当てることで、分類情報を可視化した分類画像を生成する。プロセッサ131は、さらに、分類画像を、対象画像と対比可能にアノテーション画面上に配置する。
図6は、領域R1で“撮影画像”が選択され、その結果、撮影装置100が撮影した対象画像(画像1)が領域R0に配置された様子を示している。また、図7には、領域R1で“分類画像”が選択され、その結果、分類画像(画像8)が領域R0に配置された様子を示している。ステップS3では、プロセッサ131は、図6及び図7に示すように、対象画像である画像1と分類画像である画像8を切り替えて画面上に配置することによって、分類画像を対象画像と対比可能に配置してもよい。なお、画像1と画像8の切替は、利用者の操作(例えば、領域R1内のラジオボタンの選択)によって行われてもよく、また、利用者の操作によらず自動的に行われてもよい。例えば、一定時間ごとに画像1と画像8が切り替わってもよい。
図8は、領域R1で“撮影画像と分類画像”が選択され、その結果、対象画像(画像1)と分類画像(画像8)が領域R0に重なって配置された様子を示している。即ち、制御装置130は、対象画像に分類画像を重畳している。さらに、制御装置130は、所定の指示(例えば、領域R2の操作)に応じて、対象画像に重畳する分類画像の透過率を変更可能である。これにより、利用者は、両方の画像を同時に確認可能である。ステップS3では、プロセッサ131は、図8に示すように、対象画像である画像1と分類画像である画像8を画面上に重ねて配置することによって、分類画像を対象画像と対比可能に配置してもよい。
なお、図8には、領域R2で分類画像の透過率を調整可能な例が示されているが、対象画像と分類画像の少なくとも一方の透過率を調整できればよい。また、透過率の調整は自動的に行われてもよい。例えば、画像の拡大表示を要求する操作に応じて透過率を調整してもよい。
分類画像が画面上に配置されると、その後、システム200は、利用者の入力を受け付けて画像にアノテーションを付与する(ステップS4)。ここでは、まず、利用者が画面上に表示されている対象画像を、アノテーションを付すべき画像であると判断し、アノテーションを対象画像に対して付すための入力が行われる。これを受けて、プロセッサ131は、利用者の入力に従って対象画像にアノテーションを付し、教師データを生成する。
システム200が図5に示す処理を行うことで、システム200は、利用者によるアノテーションを支援することができる。以下、この点について具体的に説明する。
まず、分類画像が表示されることで、利用者は、アノテーションを付与すべき部分に当たりをつけることができる。これは、上述したように、分類画像が対象画像の特徴に基づいて分類された分類情報(クラス情報を含む)を可視化した画像であるためである。
より詳細に説明すると、分類情報は、分類部が対象画像に写っている細胞を模様として捉えて細胞の大きさやコントラストなどの違いによって生じる対象画像内のテクスチャの違いを分類することで生成される、と見做すことができる。このため、対象画像の領域のうち同じクラスに分類された領域には、外観上似通った形態を有する細胞などが写っていると考えられる。また、反対に、対象画像の領域のうち異なるクラスに分類された領域には、外観上異なる形態を有する細胞などが写っていると考えられる。例えば、培養中のiPS細胞の画像に対して、未分化領域と分化領域をそれぞれアノテーションする場合を想定すると、未分化領域と分化領域は異なる形態を有しているため異なるクラスに分類されるのに対して、未分化領域(又は分化領域)同士は似通った形態を有するため同じクラスに分類される。このため、未分化領域と分化領域が混在した対象画像が撮影された場合、利用者は、対象画像から生成される分類画像のいずれかのクラスに対応する領域が未分化領域であると予想可能であり、その前提に基づいて分類画像から未分化領域に当たりを付けることができる。また、分化領域についても同様に、分類画像から分化領域に当たりを付けることができる。
さらに、分類画像が対象画像と対比可能に配置されることで、利用者は、分類画像を用いて当たりを付けた部分について対象画像を確認し、アノテーションを付けるべき部分か否かを決定することができる。なお、図9は、分類画像(画像8)を参照しながら、分類画像の下に透けて見える対象画像(画像1)にアノテーション9を付与している様子を示している。付与するアノテーションの種類は、例えば、領域R3で選択可能である。このように、利用者は、分類画像を用いてある程度まで絞り込まれた範囲について対象画像を詳細に確認すればよいため、アノテーションを正確に且つ効率良く付与することが可能となる。
以上のように、システム200によれば、分類画像を表示することで、アノテーションを行う作業者に、各種の判断を支援する情報を提供することができる。このため、アノテーションの効率と信頼性の向上が期待できる。また、システム200がアノテーションに必要な判断を支援する情報を利用者に提供することで、必ずしも専門的な知見を有しない者であってもアノテーションを正確に付与することが可能となるため、作業者を選定する上での制約も緩和される。従って、作業効率の向上とともに作業者の確保も容易になるため、従来と比較して大量の画像に対して効率良くアノテーションを行うことが可能となる。
なお、本実施形態では、制御装置130が撮影装置100の制御とアノテーションの支援に用いられる分類画像の生成を行う例を示したが、これらは別々の装置によって行われてもよい。例えば、制御装置130が撮影装置100の制御を行い、制御装置130とは異なる装置が分類画像の生成を行ってもよく、その制御装置130とは異なる装置が利用者からの要求に応じて分類画像を表示してもよい。また、制御装置130が撮影装置100の制御と分類画像の生成を行い、制御装置130とは異なる装置が利用者からの要求に応じて分類画像を表示してもよい。制御装置130とは異なる装置とは例えばクライアント端末であり、タブレット、スマートフォン、コンピュータなどを含む。これらのクライアント端末は、制御装置130と通信可能に構成されていてもよい。クライアント端末は制御装置130と同じく、1つ以上のプロセッサと、1つ以上の非一時的なコンピュータ読取可能媒体と、を含んでいればよい。
図10は、システム200が学習段階に行う処理の一例を示すフローチャートである。図11は、特徴抽出方法の学習処理の一例を示すフローチャートである。図12は、特徴抽出モデルM1の一例を示す図である。図13は、正規化方法の学習処理の一例を示すフローチャートである。図14は、情報量削減方法の学習処理の一例を示すフローチャートである。図15は、分類方法の学習処理の一例を示すフローチャートである。図16は、システム200による分類処理の一例を示すフローチャートである。図17は、分類処理における入出力の前半部分を例示した図である。図18は、分類処理における入出力の後半部分を例示した図である。以下、図10から図18を参照しながら、図5のステップS2の分類処理と、分類処理を実行可能とするために予め行われる学習処理について、詳細に説明する。
上述した図5のステップS2の分類処理は、機械学習により得られた学習済みデータを用いて行われる。まず、図10から図15を参照しながら、学習済みデータを得るために行われる学習処理について説明する。なお、学習処理は、アノテーションの対象毎に行われることが望ましい。例えば、iPS細胞の分化領域と未分化領域をアノテーションする場合であれば、iPS細胞の培養過程で取得した複数の画像を用いて学習を行うことが望ましい。
図10に示す学習処理は、例えば、制御装置130で行われるが、制御装置130とは異なる装置で行われてもよい。また、学習に用いる画像は、例えば、撮影装置100で取得されるが、撮影装置100とは異なる装置で取得されてもよい。即ち、分類を行う装置が学習により得られた学習済みデータを用いる限り、学習と分類は別々の装置で行われてもよい。以降では、学習用画像として撮影装置100で取得した培養細胞の画像を用いて、制御装置130が学習処理を実行する場合を例に説明する。
図10に示す学習処理は、特徴抽出方法を学習する処理(ステップS10)と、特徴抽出結果の正規化方法を学習する処理(ステップS20)と、情報量を削減する方法を学習する処理(ステップS30)と、分類方法を学習する処理(ステップS40)と、を含んでいる。
特徴抽出方法を学習するステップS10では、図11に示すように、制御装置130は、まず、学習用画像を取得し(ステップS11)、取得した学習用画像を用いて深層学習で自己符号化を学習する(ステップS12)。制御装置130は、ステップS11及びステップS12の処理をすべての学習用画像に対して繰り返す。
ステップS12では、ニューラルネットワークの入力データと教師データの両方に同じ学習用画像を設定してニューラルネットワークを繰り返し訓練する。即ち、複数の学習用画像を用いてニューラルネットワークを訓練し、それによって、画像の特徴を抽出するオートエンコーダ(自己符号化器)を構築する。具体的なネットワークの構成例を図12に示すが、図12に示すモデルM1は、あくまで一例であり、チャンネル数や階層数は適宜変更可能である。なお、図12には、中間層が5層あるオートエンコーダが例示されている。また、ステップS12における学習は、モデルM1の中間層を1層のみ使用した場合から5層全てを使用した場合の計5つの損失関数が平均化されるように行われる。
制御装置130は、すべての学習用画像に対してステップS11とステップS12の処理を行うと、学習を終了するか否か判定する(ステップS13)。ここでは、損失関数が基準値以下か否かに基づいて判定してもよい。損失関数が基準値以下であると判定すると、制御装置130は学習を終了し(ステップS13YES)、ステップS12で構築されたオートエンコーダ(以降、特徴抽出用の学習済みデータAと記す)を学習済みデータとして出力する(ステップS14)。なお、学習済みデータAは、オートエンコーダを構成するニューラルネットワークの全部または一部(例えば、入力層から第5中間層までの情報)であってもよい。
正規化方法を学習するステップS20では、図13に示すように、制御装置130は、まず、学習用画像を取得し(ステップS21)、その後、ステップS10で得られた学習済みデータAを用いて中間層画像を生成する(ステップS22)。
ステップS22では、制御装置130は、例えば、モデルM1に学習用画像を入力し、学習用画像が圧縮され特徴が抽出された中間層のデータを中間層画像として出力する。なお、中間層のデータが2次元配列(画像形式)でなく1次元配列の場合には、2次元配列(画像形式)に変換することで中間層画像として出力する。例えば、モデルM1の第1中間層から第5中間層の全てを用いる場合であれば、ステップS22では、計368(=16+32+64+128+128)チャンネルの中間層画像が生成される。
ステップS22で中間層画像が生成されると、制御装置130は、チャンネル毎に中間層画像に統計処理を施して、統計画像を生成する(ステップS23)。ここで、統計処理とは、統計演算を行う画像フィルタ処理のことであり、統計演算は、例えば平均や分散などの演算である。換言すると、統計処理とは、注目画素とその周辺の画素の情報を用いた空間フィルタリング処理である。
なお、ステップS23の統計処理で行われる統計演算は1種類(例えば、平均化のみ)であってもよく、2種類以上(例えば、平均化と分散算出)であってもよい。2種類以上の統計演算が行われる場合には、制御装置130は、それぞれの演算結果を別のチャンネルとして出力すればよい。
制御装置130は、ステップS21からステップS23の処理をすべての学習用画像に対して繰り返す(ステップS24NO)。全ての学習用画像に対して処理が行われると(ステップS24YES)、制御装置130は、チャンネル毎に正規化を学習し(ステップS25)、学習済みデータを出力する(ステップS26)。
ステップS25では、制御装置130は、ステップS23で生成された複数の統計画像から、チャンネル毎に、最大の画素値と最小の画素値を正規化パラメータとして抽出する。ステップS26では、制御装置130は、抽出した正規化パラメータ(以降、正規化用の学習済みデータBと記す)を学習済みデータとして出力する。
最後に、制御装置130は、正規化用の学習済みデータBを用いてチャンネル毎に統計画像を正規化して特徴画像を生成し、生成した特徴画像を出力する(ステップS27)。ここでは、制御装置130は、学習済みデータBを用いて統計画像を変換して、画素値が0から1に収まる特徴画像を生成する。
情報量削減方法を学習するステップS30では、図14に示すように、制御装置130は、まず、特徴画像を取得する(ステップS31)。その後、制御装置130は、特徴画像の画像サイズを削減して第2の特徴画像を生成し、生成した第2の特徴画像を出力する(ステップS32)。
ステップS32では、制御装置130は、特徴画像から所定のルールに基づいて画素を間引くことによって画像サイズを削減してもよい。また、制御装置130は、補間法を用いて任意のサイズに画像を縮小してもよい。
制御装置130は、ステップS31及びステップS32の処理をすべての特徴画像に対して繰り返す(ステップS33NO)。全ての特徴画像に対して処理が行われると(ステップS33YES)、制御装置130は、画像サイズが削減された第2の特徴画像の特徴ベクトルに対して主成分分析を行う(ステップS34)。なお、主成分分析は、必要に応じて第2の特徴画像を1次元配列に変換してから行われてもよい。
制御装置130は、第2の特徴画像の入力に対してステップS34の主成分分析によって特定された主成分を出力する変換行列(以降、情報量削減用の学習済みデータCと記す)を学習済みデータとして出力する(ステップS35)。なお、変換行列によって出力される主成分数は、分類対象の複雑さに応じて適宜設定することが望ましく、分類対象が複雑なほど多くの主成分を残すことが望ましい。
分類方法を学習するステップS40では、図15に示すように、制御装置130は、まず、第2の特徴画像を取得し(ステップS41)、その後、ステップS30で得られた学習済みデータCを用いて第3の特徴画像を生成する(ステップS42)。なお、第3の特徴画像は、第2の特徴画像の主成分で構成された画像であり、第3の特徴画像よりも特徴ベクトルの次元数(つまり、チャンネル数)が低い画像である。
制御装置130は、ステップS41及びステップS42の処理をすべての第2の特徴画像に対して繰り返す(ステップS43NO)。全ての第2の特徴画像に対して処理が行われると(ステップS43YES)、制御装置130は、次元数が削減された第3の特徴画像の特徴ベクトルについてクラスター分析を行う(ステップS44)。
ステップS44で行われるクラスター分析としては、例えば、K-means法などを採用し得る。K-means法は、学習した分類ルールを保存可能な点で望ましいが、クラスター分析の方法は、K-means法に限らない。なお、クラスター分析は、必要に応じて第3の特徴画像を1次元配列に変換してから行われてもよい。
制御装置130は、ステップS44のクラスター分析で作成された分類ルール(以降、分類用の学習済みデータDと記す)を学習済みデータとして出力する(ステップS45)。なお、分類結果のクラスター数(クラス数)は、ステップS44のクラスター分析が行われる前に、分類対象に応じて適宜設定することが望ましい。
システム200は、上述した学習処理により得られた学習済みデータ132b(学習済みデータAからD)を記憶装置132に記憶する。システム200は、利用者がアノテーションを行う際に、これらの学習済みデータを用いて利用者のアノテーションを支援する。
次に、図16から図18を参照しながら、図5のステップS2の分類処理について、図10から図15に示す学習処理で生成された学習済みデータの活用方法に着目して詳細に説明する。
制御装置130は、まず、対象画像を取得する(ステップS101)。ここでは、例えば、ステップS1において、撮影装置100が容器C内で培養される細胞を撮影した画像を、制御装置130が対象画像として取得する。対象画像(画像1)は、図17に示すように、例えば、1枚(1チャンネル)の画像である。
対象画像を取得すると、制御装置130は、学習済みデータAを用いて中間層画像を生成する(ステップS102)。ここでは、プロセッサ131は、学習済みデータAとして記憶装置132に記憶されているオートエンコーダに中間層画像を入力し、中間層のデータを中間層画像として取得する。対象画像(画像1)の特徴を抽出した中間層画像(画像2)は、図17に示すように、例えば、中間層のチャンネル数と同数のチャンネル数を有している。
中間層画像が生成されると、制御装置130は、チャンネル毎に中間層画像に統計処理を施して統計画像を生成する(ステップS103)。ここでは、プロセッサ131は、中間層画像に空間フィルタリング処理を行うことで、統計画像を生成する。なお、この工程で行われる空間フィルタリング処理は、図13のステップS23の処理と同様である。統計画像(画像3)は、図17に示すように、中間層画像(画像2)と同数のチャンネル数を有している。
統計画像が生成されると、制御装置130は、学習済みデータBを用いてチャンネル毎に統計画像を正規化して特徴画像を生成する(ステップS104)。ここでは、プロセッサ131は、学習済みデータBとして記憶装置132に記憶されている正規化パラメータを用いて、統計画像を画素値が0から1に収まる特徴画像に変換する。なお、正規化パラメータはチャンネル毎に記憶されているため、ステップS104では統計画像のチャンネルに対応する正規化パラメータが使用される。特徴画像(画像4)は、図17に示すように、統計画像(画像3)と同数のチャンネル数を有している。
特徴画像が生成されると、制御装置130は、特徴画像の画像サイズを削減して第2の特徴画像を生成する(ステップS105)。ここでは、プロセッサ131は、図14のステップS32の処理と同様に、特徴画像から所定のルールに基づいて画素を間引くことによって画像サイズを削減してもよく、補間法を用いて任意のサイズに画像を縮小してもよい。第2の特徴画像(画像5)は、図18に示すように、特徴画像(画像4)と同数のチャンネル数を有している。
第2の特徴画像が生成されると、制御装置130は、学習済みデータCを用いて第2の特徴画像から特徴ベクトルの次元数を抑えた第3の特徴画像を生成する(ステップS106)。ここでは、プロセッサ131は、学習済みデータCとして記憶装置132に記憶されている変換行列を用いて、第2の特徴画像を第2の特徴画像の主成分からなる第3の特徴画像に変換する。第3の特徴画像(画像6)は、図18に示すように、第2の特徴画像(画像5)よりも少ないチャンネル数(この例では、3チャンネル)を有している。
第3の特徴画像が生成されると、制御装置130は、学習済みデータDを用いて第3の特徴画像の特徴ベクトル(この例では3次元)を分類してインデックス画像(分類情報)を生成する(ステップS107)。ここでは、プロセッサ131は、学習済みデータDとして記憶装置132に記憶されている分類ルールを用いて、第3の特徴画像を構成する複数の画素に対応する複数の特徴ベクトルをクラスタリングする。プロセッサ131は、さらに、分類されたクラスに示すインデックス(クラス情報)を二次元に配列してインデックス画像を生成する。インデックス画像(画像7)は、図18に示すように、例えば、1枚(1チャンネル)の画像であり、上述した分類情報の一例である。
システム200は、上述した分類処理によって得られたインデックス画像を記憶装置132に記憶する。そして、利用者がアノテーションを行う際に、システム200は、図19に示すように、インデックス画像をインデックスに応じて可視化した分類画像を生成し、対象画像と対比可能に画面上に配置する。これにより、アノテーションを行う作業者を支援することができる。
図20は、アノテーション画面の更に別の例を示した図である。分類画像と対象画像の関係は、図20に示すように、アノテーション画面上で確認可能であってもよい。図20では、アノテーション画面上にウィンドウWを表示することで、分類画像上の色とその色に分類される対象画像内の領域の凡例との関係が、クラス毎に示されている。なお、凡例は、クラス毎に1つに限らず、複数表示されてもよい。また、ウィンドウWには、図20に示すように、凡例と色が示す対象(又はクラス)についての説明を入力可能である。例えば、この分野の熟練者が説明を入力することで、経験の浅い作業者が熟練者の入力した説明を参照することが可能となるため、分類画像における分類について正しく把握することができる。
図21は、クラスに割り当てる色を変更する様子を示した図である。図22は、図21に示す色の割り当て変更前後の分類画像を例示した図である。図23は、クラスに割り当てる色を変更する様子を示した別の図である。図24は、図23に示す色の割り当て変更前後の分類画像を例示した図である。図25は、アノテーション画面の更に別の例を示した図である。図26は、分類画像の透過率の決定方法について説明するための図である。図27は、分類画像の別の例を示した図である。図28は、分類画像の更に別の例を示した図である。インデックス画像の可視化に関する設定は、利用者が適宜変更してもよい。以下、図21から図28を参照しながら、利用者が設定を変更して分類画像の表示態様を変更する例について説明する。
制御装置130は、図21及び図22に示すように、利用者が行うウィンドウWへの操作に応じて、クラスに割り当てられる色を変更してもよい。図21では、3番目のクラスに割り当てる色を2番目のクラスに割り当てられている色と同じ色に変更し、さらに、3番目のクラスの説明を2番目のクラスの説明と共通にした例が示されている。利用者のこのような操作に応じて、制御装置130は、図22に示すように、画面上に配置される分類画像を、画像8から画像8aに変更してもよい。画像8aは、図21に示す変更後の設定に従ってインデックス画像を可視化した分類画像であり、2番目のクラスと3番目のクラスに同じ色が割り当てられた画像である。このように、システム200による分類に人間が調整を加えることで、アノテーションを行いやすい環境が構築されてもよい。
制御装置130は、図23及び図24に示すように、利用者が行うウィンドウWへの操作に応じて、クラスに割り当てられる色を透明色に変更してもよい。図23では、2番目のクラスに割り当てる色を透明色に変更する例が示されている。利用者のこのような操作に応じて、システム200は、図24に示すように、画面上に配置される分類画像を、画像8aから画像8bに変更してもよい。画像8aから画像8bに変更することで、透明色に変更されたクラスに分類された領域が透明になり、分類画像の下に配置されている対象画像(画像1)をみることができる。このように、一部のクラスに分類された領域のみ透明にして、実際の画像(対象画像)で詳しく対象(細胞)の状態を確認してもよい。
図21から図24に示すように、制御装置130は、所定の指示(例えば、利用者の操作)に応じて、分類画像においてクラス情報に割り当てられる表示態様を変更してもよい。
図23及び図24では、分類画像の透過率をクラスごとに変更する例を示したが、システム200は、分類画像の透過率を領域毎に変更してもよい。制御装置130は、図25及び図26に示すように、分類の信頼性に基づいて分類画像の透過率を自動的に決定してもよい。図25には、制御装置130が、利用者の所定の指示(例えば、領域R2で“オート”を選択する操作)に応じて、対象画像に重畳する分類画像の透過率を領域毎に自動的に変更する例が示されている。なお、図25に示す分類画像8cの透過率は、例えば、分類の信頼性に応じて決定される。
このような信頼性に応じた透過率を実現するためには、インデックス画像(分類情報)を生成する際に、図26に示すように、インデックス(クラス情報)とともに、分類の信頼性、つまり、クラスへの分類に対する確率的スコアを示すスコア情報を、領域毎に出力すればよい。従って、分類情報は、複数の対象領域の各々毎に、分類されたクラスを示すクラス情報と、クラスへの分類に対する確率的スコアを示すスコア情報と、を含んでいればよい。制御装置130は、例えば、インデックス画像生成時のクラスター分析でK-means法が用いられる場合であれば、クラスターの重心からの距離(又は距離を正規化した情報)を確率的スコアとして出力してもよい。
分類情報にスコア情報が含まれていることで、制御装置130は、分類画像を構成する複数の分類領域の透過率を、複数の対象領域のうちの対応する対象領域のスコア情報に基づいて決定してもよい。より具体的には、確率的スコアが低い場合に透過率を高く設定することで、分類の信頼性の低い領域に関して対象画像で実際の細胞の状態をより良く確認することが可能となる。一方で、信頼性の高い分類が行われている領域については、主に分類画像の情報に基づいてアノテーションを行うことができる。なお、図26には、スコア70%を閾値として、分類画像の各領域の透過率を調整する例が示されている。
以上では、分類情報が色の違いを用いて可視化される例を示したが、色の割り当て方法には様々な方法が採用し得る。例えば、HLS色空間などのH(色相)にインデックスを割り当ててもよい。また、人間が識別しやすい色を選定して、選定した色にインデックスを割り当ててもよい。さらに、上記の例に限らずに目的に応じて任意の色にインデックスを割り当ててもよい。
また、分類情報は色の違いではなく色の濃淡を用いて可視化されてもよい。さらに、分類情報はパターンを用いて可視化されてもよい。制御装置130は、例えば、図27に示すように、クラス毎に異なるパターンを用いて領域を可視化した画像8dを、分類画像として画面上に配置してもよい。
また、以上では、領域を特定の色やパターンで満たすことで分類情報が可視化される例を示したが、分類情報は、異なる分類の領域を区別可能に区画できればよく、例えば、領域を満たす代わりに領域の輪郭を描くことによって可視化されてもよい。制御装置130は、例えば、図28に示すように、同じクラスに分類された領域の輪郭を描いた画像8eを、分類画像として画面上に配置してもよい。輪郭は、クラス毎に異なる色の線で描かれてもよく、クラス毎に異なる太さの線で描かれてもよく、クラス毎に異なる線種の線で描かれてもよく、これらの組み合わせで描かれてもよい。
[第2の実施形態]
図29は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図30は、タイムラプス撮影処理の一例を示すフローチャートである。図31及び図32は、時系列順に配置された分類画像を例示した図である。以下、図29から図32を参照しながら、本実施形態に係るシステムが行う処理について説明する。図29に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図29は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図30は、タイムラプス撮影処理の一例を示すフローチャートである。図31及び図32は、時系列順に配置された分類画像を例示した図である。以下、図29から図32を参照しながら、本実施形態に係るシステムが行う処理について説明する。図29に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
なお、本実施形態に係るシステムは、図29に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図5に示す処理の代わりに又は加えて、図29に示す処理を行う点が第1の実施形態に係るシステム200とは異なるが、その他の点については、システム200と同様である。
図29に示す処理が開始されると、まず、システムは、タイムラプス撮影を行う(ステップS200)。具体的には、図30に示すように、制御装置130は、撮影時刻や撮影位置などのタイムラプス撮影の条件を取得し(ステップS201)、撮影時刻になると(ステップS202YES)、撮影装置100に撮影指示を送信する(ステップS203)。制御装置130から撮影指示を受けた撮影装置100は、撮影指示に従って撮影を行い、取得した対象画像を制御装置130へ送信する。対象画像を受信した制御装置130は、例えば、図16に示す分類処理を行い(ステップS204)、分類処理により生成された分類情報を出力する(ステップS205)。制御装置130は、以上の処理をタイムラプス撮影の終了時刻になるまで(ステップS206YES)、繰り返す。
タイムラプス撮影が終了すると、制御装置130は、タイムラプス撮影によって得られた複数の分類情報を取得する(ステップS210)。なお、ここで取得した複数の分類情報は、互いに異なる時刻に撮影した複数の対象画像に対応する。
その後、制御装置130は、取得した複数の分類情報を可視化した複数の分類画像を生成する。そして、生成した複数の分類画像を、図31に示すように、複数の分類画像に対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する(ステップS220)。
図31には、複数の分類画像(画像P1から画像P24)が時系列順に従って配置された様子が示されている。具体的には、図31には、初日の15時から4時間置きに撮影された対象画像に基づいて生成された複数の分類画像が、撮影時刻順に並べられている。
“ME”が付された矢印は、培地交換が行われたことを示し、“P”が付された矢印は、継代が行われたことを示している。培地交換や継代が行われる時刻に関する情報は、撮影装置100に設けられた操作ボタンを作業者が押下することで記録される。制御装置130は、撮影装置100に記録された時刻情報に基づいて、培地交換や継代のタイミングを示す表示を分類画像とともに表示してもよい。培地交換や継代によって培養環境が大きく変化することから、これらがいつ行われたか分かるように情報を提供することはアノテーション画像の選択に有益である。
図32には、撮影時刻に基づいて配置された複数の分類画像の中から、利用者がアノテーションを付与すべき画像を選択した様子が示されている。この例では、画像P6、画像P17、画像P19の3枚の画像が選択されている。また、利用者がアノテーションを実際に付与しているステップの最中である場合には、アノテーションを付与すべき画像のみでなく、既に利用者がアノテーションを付与済みの画像である旨の表示を行ってもよい。具体的には、画像に1つ以上のアノテーションを付与した撮影時刻にマークを表示してもよい。また、アノテーションを付与済みの画像にマークを表示してもよい。これにより、更にアノテーション作業の手間を低減することができる。
複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する(ステップS230)。なお、ステップS230の処理は、図5のステップS4の処理と同様である。
図29に示す処理を行うことで、システムは、利用者によるアノテーションを付すべき画像の選択を支援することができる。以下、この点について具体的に説明する。
機械学習において比較的少ない画像で高い学習効率を実現するためには、アノテーションにより作成する教師データは、バラエティに富んだ様々な画像を含むことが望ましい。本実施形態に係るシステムでは、画面上に撮影時刻に基づいて複数の分類画像が配置されるため、利用者は、複数の分類画像を見比べることで、対象画像に生じた変化を容易に把握することができる。例えば、利用者は大きな変化が生じた画像を優先するといった基準で画像を選択するだけで、バラエティに富んだ画像を選択することができる。このため、利用者はアノテーションを付すべき画像の選択を容易に且つ適切に行うことができる。特に、複数の対象画像を並べて表示するのではなく複数の分類画像を並べて表示することで、利用者は画像に生じた変化を一見して把握することができる。従って、短時間でアノテーションを付すべき画像を選択することが可能となり、アノテーションの作業効率が向上する。また、第1の実施形態に係るアノテーション支援方法と組み合わせることで、アノテーションを付すべき画像の選択からアノテーションを付す作業までが一貫して支援されるため、利用者は、さらに効率的にアノテーションを行うことができる。
なお、以上では、タイムラプス撮影が終了した後に、アノテーションを付すべき画像を選択する場合を例に説明したが、アノテーションを付すべき画像の選択は、タイムラプス撮影期間中に行われてもよい。制御装置130がすでに取得した画像から作成された分類画像を時系列表示することで、利用者が随時アノテーションを付すべき画像を選択してもよい。
図33は、培養データ一覧画面の一例を示した図である。図34は、培養データトップ画面の一例を示した図である。図35は、時系列表示画面の一例を示した図である。図36は、貼り合わせ画像表示画面の一例を示した図である。図37は、貼り合わせ要素画像表示画面の一例を示した図である。以下、図33から図37を参照しながら、アノテーションを付すべき画像が選択されるまでの画面遷移の一例について具体的に説明する。
制御装置130は、まず、図33に示すように、タイムラプス撮影により取得した培養データのリストを表示装置134に表示し、利用者に選択させる。培養データは、継続中のタイムラプス撮影のデータを含んでもよい。図33には、装置ID“Device2”の装置で継続中のタイムラプス撮影の培養データである“テスト4”が、利用者によって選択された様子が示されている。
培養データが選択されると、制御装置130は、表示装置134の画面上に、培養容器を模した容器画像(画像CT)を配置する。制御装置130は、さらに、容器画像上に、容器内の試料を撮影した対象画像に基づく分類画像を配置してもよい。分類画像は、培養容器上における対象画像の撮影位置に基づいて、容器画像上に配置されてもよい。
図34には、培養容器がマルチウェルプレートである場合の例が示されている。マルチウェルプレートを模した容器画像(画像CT)には、複数のウェルを模したウェル画像W1~W6が含まれている。制御装置130は、複数のウェル画像に対応する位置に、対応するウェル内の細胞を撮影した複数の対象画像に対応する複数の分類画像(画像8)を配置してもよい。
培養容器が、図34に示すように、例えばマルチウェルプレートなど複数の培養領域を有する容器である場合には、培養領域ごとにその培養領域の状態を表す分類画像を配置することが望ましい。これにより、各培養領域の状態を利用者が一目で把握可能となるため、さらに詳しく確認すべき培養領域の選択が容易になる。なお、分類画像が最新の対象画像に対応する分類画像であれば、さらに望ましい。
容器画像上で培養領域(例えば、ウェル画像W6)が選択されると、制御装置130は、図35に示すように、その培養領域で撮影された複数の対象画像に基づいて生成された複数の分類画像を、撮影時刻に基づいて、画面上に配置する。なお、図35に示す画像Paから画像Piは、それぞれウェル内をスキャンして撮影した5枚×5枚の対象画像を貼り合わせた分類画像である。
さらに、時系列に従って配置された複数の分類画像(貼り合わせ画像)から特定の分類画像(貼り合わせ画像)が選択されると、制御装置130は、図36に示すように、選択された分類画像(貼り合わせ画像である画像Pc)を拡大して表示する。なお、異なる時刻に対応する分類画像(貼り合わせ画像)を表示したい場合には、分類画像の左右に配置されたボタンを押下すればよい。
その後、分類画像(画像Pc)内の特に詳細に観察したい領域が選択されると、制御装置130は、図37に示すように、選択された領域を含む分類画像(貼り合わせ要素画像である画像Pc9)を拡大して表示する。利用者は、十分に拡大された分類画像(画像Pc9)を確認して対応する対象画像にアノテーションを付すか否かを決定する。利用者による所定の操作(例えば、“アノテーション”ボタンの押下)を検出すると、制御装置130は、アノテーション画面へ画面遷移する。
以上のように、本実施形態に係るシステムによれば、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。これにより、利用者は適切な画像を選択することが可能となるため、画像選択のやり直しなどを回避して効率良くアノテーションを行うことができる。
なお、本実施形態では、アノテーション画面へ遷移するまでは、分類画像のみを表示する例を示したが、アノテーションを付すべき画像の選択には、分類画像に加えて対象画像が用いられてもよい。例えば、第1の実施形態と同様に、分類画像と対象画像を重ねて表示してもよく、分類画像と対象画像を切り替えて表示してもよい。即ち、対象画像と対比可能に複数の分類画像が時系列に従って画面上に配置されてもよい。
また、本実施形態では、撮影が行われた撮影時刻の分類画像を時系列順に従って一覧で表示する例を示したが、必ずしも、撮影が行われた撮影時刻の分類画像のすべてを表示しなくてもよい。例えば、図32に示す画面上で利用者が非表示にすべき画像を選択してもよく、利用者は例えば、隣接する画像と比較して変化が少ない画像を非表示にすべき画像として選択してもよい。システムは、利用者の選択に従って選択された画像の表示を省略してもよく、これにより、一覧表示される画像が絞り込まれてもよい。一覧表示される画像枚数を抑えることで一覧性が改善されて、画像の対比が容易になる。このため、アノテーションを付すべき画像の選択をさらに容易に行うことができる。
[第3の実施形態]
図38は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図39は、分類画像の選択方法について説明するための図である。図40は、時系列に配置された分類画像の別の例を示した図である。以下、図38から図40を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図38に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図38に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図38に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図38は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図39は、分類画像の選択方法について説明するための図である。図40は、時系列に配置された分類画像の別の例を示した図である。以下、図38から図40を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図38に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図38に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図38に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図38に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い(ステップS310)、タイムラプス撮影によって得られた複数の分類情報を取得する(ステップS320)。なお、ステップS310とステップS320の処理は、図29のステップS200とステップS210の処理と同様である。
その後、制御装置130は、ステップS320で取得した複数の分類情報の比較に基づいて、画面上に配置する複数の分類画像を選択する(ステップS330)。ここでは、制御装置130は、大きな変化が生じた画像を優先して選択できればよく、具体的な選択方法は特に限定しない。制御装置130は、例えば、図39に示すように、時系列に並べられた複数の分類画像(画像Pa、Pb、Pc・・・)において、隣接する2画像間の変化率を算出し、変化率が閾値以上の分類画像(この例では、画像Pc)を選択してもよい。また、制御装置130は、隣接する画像の変化率に基づいて画像を選択する代わりに、例えば、選択した画像(例えば、画像Pa)に対する変化率に基づいて次に選択する画像(例えば、画像Pc)を選択してもよい。
複数の分類画像が選択されると、制御装置130は、選択された複数の分類画像を、対応する複数の対象画像の撮影時刻に基づいて画面上に配置する(ステップS340)。なお、ステップS340の処理は、タイムラプス撮影によって得られた分類画像の全てを画面上に配置する代わりに、ステップS330で選択された分類画像のみを画面上に配置する点を除き、図29のステップS220の処理と同様である。
図40には、ステップS330で選択された複数の分類画像(画像Pc、Pd、Pi)が時系列順に従って配置された様子が示されている。なお、ステップS330で選択されなかった画像は、画面上から完全に取り除かれてもよく、図40に示すように、類似する画像の後ろに隠れるように配置されてもよい。
選択された複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する(ステップS350)。なお、ステップS350の処理は、図5のステップS4の処理と同様である。
図38に示す処理を行うことで、システムは、利用者によるアノテーションを付すべき画像の選択を支援することができる。特に、本実施形態では、分類画像の比較に基づいて対象画像の変化が自動的に検出され、変化の大きさに基づいて画面上に配置される分類画像が自動的に選択される。このため、大量の画像からアノテーションを付すべき画像を選択する場合であっても、似通った画像の表示が省略されることで、利用者が確認すべき画像の枚数を抑えることが可能であり、利用者の負担を大幅に軽減することができる。さらに、似通った画像の表示が省略されるため、意図せずに同じような画像にばかりアノテーションを付してしまうことを避けることが可能であり、学習効率の高い教師データの作成が可能となる。
本実施形態では、変化の大きさに基づいて画面上に配置される分類画像を自動的に選択する例を記載したが、この選択は必ずしもシステムによって自動選択を行われなくても良い。例えば、システムによる自動選択が行われずとも、各分類画像が時系列順で複数表示されていれば、利用者は各時間における変化量を視覚的に把握することができる。このため、第3の実施形態において上述したように、利用者は、変化量が大きいと判断した画像のみをアノテーションすればよく、アノテーションを付すべき画像の候補とならない画像を手動で選択して非表示にしてもよい。また、本実施形態では、画像間の変化率が算出されるため、時系列順で表示される複数の分類画像の近くに変化率情報を表示してもよい。利用者は、表示された変化率情報に基づいて非表示にする画像を手動で選択してもよく、また、変化率情報に基づいてアノテーションを付すべき画像を選択してもよい。
以上のように、本実施形態に係るシステムによっても、第2の実施形態に係るシステムと同様に、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。
[第4の実施形態]
図41は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図42は、分類画像の透過率決定方法について説明するための図である。以下、図41及び図42を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図41に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図41に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図41に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図41は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図42は、分類画像の透過率決定方法について説明するための図である。以下、図41及び図42を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図41に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図41に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図41に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図41に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い(ステップS410)、タイムラプス撮影によって得られた複数の分類情報を取得する(ステップS420)。なお、ステップS410とステップS420の処理は、図29のステップS200とステップS210の処理と同様である。
その後、制御装置130は、ステップS420で取得した複数の分類情報の比較に基づいて、画面上に配置する複数の分類画像の透過率を選択する(ステップS430)。ここでは、制御装置130は、大きな変化が生じた画像に対して高い透過率を選択できればよく、具体的な選択方法は特に限定しない。図42に示すように、制御装置130は、例えば、時系列に並べられた複数の分類画像(画像Pa、Pb、Pz(又はPy)、・・・)において、隣接する2画像間の変化率を算出し、変化率が閾値以上の分類画像(この例では、画像Pz、画像Py)に対して高い透過率を選択してもよい。なお、画像単位で比較して画像単位で透過率を調整してもよく(例えば、画像Pz参照)、貼り合わせ画像単位で比較して貼り合わせ画像単位で透過率を調整してよい(例えば、画像Py参照)。また、画像内の所定領域単位(例えば、10×10画素)で比較して所定領域単位で透過率を調整してもよい。
透過率が選択されると、制御装置130は、選択した透過率で、複数の分類画像を、対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する(ステップS440)。ここでは、制御装置130は、複数の分類画像を、選択された透過率で、対応する複数の対象画像に重畳して配置する。これにより、大きな変化が生じた対象画像を、分類画像を通して透かし見て、アノテーションを付すべき画像の選択の参考とすることができる。
複数の分類画像が画面上に配置されると、その後、システムは、利用者の入力を受け付けて画像にアノテーションを付与する(ステップS450)。なお、ステップS450の処理は、図5のステップS4の処理と同様である。
以上のように、本実施形態に係るシステムによっても、第2の実施形態に係るシステムと同様に、アノテーション画面へ遷移するまでに利用者が行う画像の選択を、分類画像の時系列表示を用いることで支援することができる。
[第5の実施形態]
図43は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図44は、アノテーション画面の更に別の例を示した図である。図45から図47は、アノテーションの調整方法について説明するための図である。以下、図43から図47を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図43に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図43に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図43に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図43は、本実施形態に係るシステムが行う処理の一例を示すフローチャートである。図44は、アノテーション画面の更に別の例を示した図である。図45から図47は、アノテーションの調整方法について説明するための図である。以下、図43から図47を参照しながら、本実施形態に係るシステムが行う処理について説明する。なお、本実施形態に係るシステムは、図43に示す処理を行うことで、アノテーションを付与すべき画像の選択を支援する。本実施形態に係るシステム(以降、単にシステムと記す)は、図29に示す処理の代わりに図43に示す処理を行う点が第2の実施形態に係るシステムとは異なるが、その他の点については、第2の実施形態に係るシステムと同様である。なお、図43に示す処理は、例えば、プロセッサ131がプログラム132aを実行することによって開始される。
図43に示す処理が開始されると、まず、システムは、タイムラプス撮影を行い(ステップS510)、タイムラプス撮影によって得られた複数の分類情報を取得する(ステップS520)。システムは、さらに、生成した複数の分類画像を、図31に示すように、複数の分類画像に対応する複数の対象画像の撮影時刻に基づいて、画面上に配置する(ステップS530)。なお、ステップS510からステップS530の処理は、図29のステップS200からステップS220の処理と同様である。
その後、画面上に配置された複数の分類画像に基づいてアノテーションを付与すべき対象画像を利用者が選択すると、制御装置130は、利用者が選択した対象画像にアノテーションを付与する(ステップS540)。ここでは、制御装置130は、利用者が選択した対象画像に対応する分類画像に基づいて、利用者が選択した対象画像に自動的にアノテーションを付してもよい。具体的には、制御装置130は、予め決められたクラスに属する領域にアノテーションを付してもよい。制御装置130は、例えば、利用者が選択した対象画像に対応する分類画像に基づいて予め決められたクラスに属する領域を特定し、利用者が選択した対象画像のうちのその特定した領域にアノテーションを付してもよい。なお、制御装置130は、予め決められたクラスに属する領域であって、信頼性の高い分類が行われた領域にアノテーションを付してもよい。
自動的にアノテーションが付されると、制御装置130は、自動付与したアノテーションとクラスの関係を表示装置134に表示させる(ステップS550)。ここでは、制御装置130は、例えば、図44に示すアノテーション画面を表示装置134に表示させてもよい。図44に示すアノテーション画面には、アノテーションの自動付与設定である設定1001と、アノテーションの手動付与設定である設定1002と、アノテーションを付した画像1003と、が含まれている。設定1001は、クラスとアノテーションの関係を示していて、この例では、上から2つの目のクラスに自動的にアノテーションを付す設定が示されている。
なお、教師データとしては、対象画像にアノテーションを付した画像が利用されるが、アノテーション画面に表示されるアノテーションを付した画像1003は、対象画像にアノテーションを付した画像に限らない。図44に示すように、分類画像にアノテーションを付した画像が表示されてもよい。また、分類画像と対象画像を重ねた画像にアノテーションを付した画像が表示されてもよく、対象画像にアノテーションを付した画像が表示されてもよい。即ち、分類画像と対象画像の少なくとも一方(にアノテーションを付した画像)が表示されればよい。
利用者は、アノテーション画面でアノテーションを付した画像1003などを確認して、アノテーションが適切に行われているかを判断する。そして、アノテーションの修正の必要性を認識すると、利用者は、アノテーション自動付与設定の変更やアノテーション手動付与設定の有効化などの操作を行って、制御装置130にアノテーションの修正を指示する。制御装置130は、利用者の入力を受け付けてアノテーションを修正する(ステップS560)。
なお、以下では、アノテーションを修正するための利用者の入力がマウスを用いたクリック操作によって行われる例を示すが、利用者の入力は、指やスタイラスによる直接入力により行われてもよい。また、入力装置133を介して利用者が入力した情報(アノテーション情報)は、制御装置130の受付部によって受け付けられる。受付部は、例えば制御装置130内のプロセッサなどである。受付部は、受け付けたアノテーション情報を表示装置に出力する際、出力に適した形態に適宜変換しても良い。
図45には、利用者がアノテーション自動付与設定を変更することで、アノテーションを修正する様子が示されている。ここでは、2つ目のクラスにのみアノテーションを付与する設定1001から2つ目と3つ目のクラスにアノテーションを付与する設定1001aに変更することで、アノテーションを付した画像が画像1003から画像1003aに変化している。このように、利用者は、自動付与設定を変更することでアノテーションを修正してもよく、この場合、設定を変更するだけで容易に修正が可能である。
また、図46には、利用者がアノテーション手動付与設定を有効化して、画像の任意の領域にアノテーションを付す様子が示されている。利用者がアノテーション手動付与をOFFからONに変更する(手動付与設定を設定1002から設定1002aに変更する)と、アノテーションを付した画像上にアノテーションの手動付与を支援するグリッド線が表示される。グリッド線は画像を設定で指定された個数(グリッド数)の小領域(この例ではN×M個の小領域)に分割する線であり、小領域はグリッド線で囲まれた領域である。手動で付与するアノテーションは、小領域単位に付与することが可能である。即ち、制御装置130は、利用者の入力に従って、グリッド線で囲まれた小領域単位で、対象画像にアノテーションを付与することができる。なお、この小領域単位は、分類情報を生成する際に用いられた対象領域の単位とは同じであってもよく、異なっていてもよい。図46に示す例では、手動でアノテーションを追加することで、アノテーションを付した画像が画像1003から画像1003bに変化している。このように、利用者は、手動付与設定を有効化してアノテーションを修正してもよく、この場合、より高い自由度でアノテーションを修正可能である。
また、利用者は、必要に応じてグリッド数を変更してもよく、例えば、図47に示すように、設定1002aから設定1002bに変更してもよい。即ち、制御装置130は、利用者の入力に従って、小領域のサイズを変更してもよい。図47に示す例では、グリッド数を変更しながら手動でアノテーションを追加することで、アノテーションを付した画像が画像1003bから画像1003cに変化している。このように、利用者は、比較的少ないグリッド数の設定でアノテーションを付すことで効率良くアノテーションを付すことができる。また、反対に、比較的多いグリッド数の設定でアノテーションを付すことで、例えば、細胞の縁の部分など細かな領域指定が必要な場合にも対応可能であり、アノテーションを付すべき領域の形状に合わせて正確にアノテーションを付すことができる。従って、必要に応じてグリッド数を変更しながら手動でアノテーションを付すことで、効率良く適切なアノテーションを行うことができる。さらに、グリッド線が表示されることで、利用者は1回の選択によりどの範囲にアノテーションが付されるかを正確に把握することができる。
以上のように、本実施形態に係るシステムによっても、第2の実施形態に係るシステムと同様の効果を得ることができる。また、本実施形態に係るシステムによれば、利用者が選択した画像にアノテーションが自動的に付されるため、利用者のアノテーション作業の負担を大幅に軽減することができる。さらに、利用者が自動的に付されたアノテーションを確認して必要な箇所のみ修正することでアノテーションの信頼性を手動で行う場合と同程度の高い水準に保つことができる。このため、適切なアノテーションを効率良く行うことが可能となる。また、アノテーションを付す単位を利用者が自由に設定可能とすることで、アノテーション作業の効率と正確さをさらに高い水準で両立することができる。
上述した実施形態は、発明の理解を容易にするために具体例を示したものであり、本発明はこれらの実施形態に限定されるものではない。上述の実施形態を変形した変形形態および上述した実施形態に代替する代替形態が包含され得る。つまり、各実施形態は、その趣旨および範囲を逸脱しない範囲で構成要素を変形することが可能である。また、1つ以上の実施形態に開示されている複数の構成要素を適宜組み合わせることにより、新たな実施形態を実施することができる。また、各実施形態に示される構成要素からいくつかの構成要素を削除してもよく、または実施形態に示される構成要素にいくつかの構成要素を追加してもよい。さらに、各実施形態に示す処理手順は、矛盾しない限り順序を入れ替えて行われてもよい。即ち、本発明のアノテーションを支援するシステム、方法、及び、プログラムは、特許請求の範囲の記載を逸脱しない範囲において、さまざまな変形、変更が可能である。
上述した実施形態では、分類画像を時系列に並べて表示することで、対象画像に生じた変化を利用者が容易に把握可能とする例を示した。しかしながら、制御装置130は、分類画像を時系列に従って1枚ずつ順番に表示してもよい。また、制御装置130は、分類画像の時系列表示の代わりに又は加えて、図48に示すように、クラスの面積比率の時間変化を示すグラフG1や、クラスの増加率の時間変化を示すグラスG2を表示装置134に表示させてもよい。このような表示によっても、利用者が対象画像に生じた変化を把握することを支援可能である。
また、上述した実施形態では、対象画像を取得する撮影装置100がインキュベータ内で培養細胞を撮影する装置である例を示したが、撮影装置は特に限定しない。例えば、内視鏡、生物顕微鏡、工業用顕微鏡であってもよい。また、対象画像は培養細胞の画像に限られず、例えば、病理診断に用いられる画像であってもよく、工業製品などを撮影した画像であってもよい。また、撮影装置と制御装置はインターネットなどを介して接続されてもよい。また、図49に示すように、アノテーションを支援するシステム300は、複数の撮影装置310(撮影装置311、顕微鏡312、撮影装置313)を備えてもよく、インターネット330を経由して制御装置320に接続されてもよい。また、制御装置320は、インターネット経由でアクセスするクライアント端末340(クライアント端末341、クライアント端末342、クライアント端末343)の画面上に分類画像を配置してもよい。さらに、制御装置320は、分類情報を生成する分類部としてのみ機能し、クライアント端末が、分類画像を画面上に配置する制御部として機能してもよい。即ち、分類部と制御部は、システム内の任意の装置に設けられてもよく、これらの役割は異なる装置で分担してもよい。クライアント端末340から、利用者によるアノテーション入力を受け付けても良い。この場合、クライアント端末340は、受け付けたアノテーションに関する情報を制御装置320に送信すればよい。クライアント端末340または制御装置320に含まれるプロセッサは、互いの装置間でデータをやり取りする際に互いに適した形にデータを変換しても良い。この場合、利用者は場所に関わらずアノテーションを行うことが出来る。
100、310、311、312、313 撮影装置
130、320 制御装置
131 プロセッサ
132 記憶装置
132a プログラム
132b 学習済みデータ
133 入力装置
134 表示装置
200、300 システム
C 容器
S 試料
130、320 制御装置
131 プロセッサ
132 記憶装置
132a プログラム
132b 学習済みデータ
133 入力装置
134 表示装置
200、300 システム
C 容器
S 試料
Claims (20)
- 画像のアノテーションを支援するシステムであって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、
表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する制御部と、を備える
ことを特徴とするシステム。 - 請求項1に記載のシステムにおいて、
前記制御部は、前記対象画像に前記分類画像を重畳する
ことを特徴とするシステム。 - 請求項2に記載のシステムにおいて、
前記制御部は、所定の指示に応じて、前記対象画像に重畳する前記分類画像の透過率を変更する
ことを特徴とするシステム。 - 請求項2又は請求項3に記載のシステムにおいて、
前記制御部は、前記分類画像の信頼性に基づいて、前記分類画像の透過率を決定する
ことを特徴とするシステム。 - 請求項2乃至請求項4のいずれか1項に記載のシステムにおいて、
前記分類情報は、前記複数の対象領域の各々毎に、
分類されたクラスを示すクラス情報と、
前記クラスへの分類に対する確率的スコアを示すスコア情報と、を含み、
前記制御部は、前記分類画像を構成する複数の分類領域の透過率を、前記複数の対象領域のうちの対応する対象領域の前記スコア情報に基づいて決定する
ことを特徴とするシステム。 - 請求項1乃至請求項5のいずれか1項に記載のシステムにおいて、
前記制御部は、前記表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する
ことを特徴とするシステム。 - 請求項6に記載のシステムにおいて、
前記制御部は、前記表示装置の画面上に配置する前記複数の分類画像を、前記分類部で生成された複数の分類情報の比較に基づいて選択する
ことを特徴とするシステム。 - 請求項6又は請求項7に記載のシステムにおいて、
前記制御部は、
前記複数の分類画像を対応する前記複数の対象画像に重畳し、
前記複数の分類画像の透過率を、前記複数の分類画像に対応する複数の分類情報の比較に基づいて決定する
ことを特徴とするシステム。 - 請求項1乃至請求項8のいずれか1項に記載のシステムにおいて、
前記分類情報は、分類されたクラスを示すクラス情報を含み、
前記制御部は、所定の指示に応じて、前記分類画像において前記クラス情報に割り当てられる表示態様を変更する
ことを特徴とするシステム。 - 請求項1乃至請求項9のいずれか1項に記載のシステムにおいて、
前記対象画像は、培養容器内で培養される細胞を撮影した画像であり、
前記制御部は、
前記表示装置の画面上に、前記培養容器を模した容器画像を配置し、
前記容器画像上に、前記対象画像の前記培養容器上における撮影位置に基づいて、前記対象画像に対応する前記分類画像を配置する
ことを特徴とするシステム。 - 請求項10に記載のシステムにおいて、
前記培養容器は、マルチウェルプレートであり、
前記容器画像は、前記マルチウェルプレートに含まれる複数のウェルを模した複数のウェル画像を含み、
前記制御部は、前記複数のウェル画像に対応する位置に、対応するウェル内の細胞を撮影した複数の対象画像に対応する複数の分類画像を配置する
ことを特徴とするシステム。 - 請求項1乃至請求項11のいずれか1項に記載のシステムにおいて、
前記分類部は、オートエンコーダを構成するニューラルネットワークの全部又は一部を含む
ことを特徴とするシステム。 - 請求項1乃至請求項12のいずれか1項に記載のシステムにおいて、
前記制御部は、前記分類画像に基づいて、前記対象画像にアノテーションを付与する
ことを特徴とするシステム。 - 請求項1乃至請求項13のいずれか1項に記載のシステムにおいて、
前記制御部は、
前記表示装置の画面上に配置した対象画像又は分類画像の少なくとも一方の上にグリッド線を配置し、
前記利用者の入力に従って、前記グリッド線で囲まれた小領域単位で、前記対象画像にアノテーションを付与する
ことを特徴とするシステム。 - 請求項14に記載のシステムにおいて、
前記制御部は、前記利用者の入力に従って、前記小領域のサイズを変更する
ことを特徴とするシステム。 - 画像のアノテーションを支援するシステムであって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成する分類部と、
表示装置の画面上に、前記分類部で生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する制御部と、を備える
ことを特徴とするシステム。 - 画像のアノテーションを支援する方法であって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する
ことを特徴とする方法。 - 画像のアノテーションを支援する方法であって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
表示装置の画面上に、生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する
ことを特徴とする方法。 - 画像のアノテーションを支援するプログラムであって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
表示装置の画面上に、前記分類情報を可視化した分類画像を、前記対象画像と対比可能に配置する
処理をコンピュータに実行させることを特徴とするプログラム。 - 画像のアノテーションを支援するプログラムであって、
アノテーションを付与する候補となる画像である対象画像を構成する複数の対象領域を、前記対象画像に表れる特徴に基づいて分類した分類情報を生成し、
表示装置の画面上に、生成された複数の分類情報を可視化した複数の分類画像であって、互いに異なる時刻に撮影した複数の対象画像に対応する複数の分類画像を、前記複数の対象画像の撮影時刻に基づいて、配置する
処理をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031192A JP2022131937A (ja) | 2021-02-26 | 2021-02-26 | アノテーションを支援するシステム、方法、及び、プログラム |
US17/668,536 US20220277571A1 (en) | 2021-02-26 | 2022-02-10 | System, method and computer-readable medium for supporting annotation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021031192A JP2022131937A (ja) | 2021-02-26 | 2021-02-26 | アノテーションを支援するシステム、方法、及び、プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022131937A true JP2022131937A (ja) | 2022-09-07 |
Family
ID=83006537
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021031192A Pending JP2022131937A (ja) | 2021-02-26 | 2021-02-26 | アノテーションを支援するシステム、方法、及び、プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220277571A1 (ja) |
JP (1) | JP2022131937A (ja) |
-
2021
- 2021-02-26 JP JP2021031192A patent/JP2022131937A/ja active Pending
-
2022
- 2022-02-10 US US17/668,536 patent/US20220277571A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220277571A1 (en) | 2022-09-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6915349B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
JP7422825B2 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
US20210018742A1 (en) | Augmented reality microscope for pathology with overlay of quantitative biomarker data | |
WO2010146802A1 (ja) | 細胞塊の状態判別手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法 | |
CN104662463A (zh) | 图像处理装置、成像系统和图像处理系统 | |
JP2012010275A (ja) | 情報処理装置、情報処理方法、及びそのプログラム | |
CN109951635A (zh) | 拍照处理方法、装置、移动终端以及存储介质 | |
JP2019525365A (ja) | コンピュータプログラムを生成するデバイス及びコンピュータプログラムを生成する方法 | |
CN112189236A (zh) | 学习数据收集装置、学习数据收集方法和程序、学习系统、学习完毕模型、以及内窥镜图像处理装置 | |
US20200311931A1 (en) | Method for analyzing image of biopsy specimen to determine cancerous probability thereof | |
JP2021184766A (ja) | 細胞観察装置及び細胞観察方法 | |
CN109064525A (zh) | 一种图片格式转换方法、装置、设备和存储介质 | |
EP3844772A1 (en) | Medical system, medical apparatus, and medical method | |
CN105612555B (zh) | 针对mdx的基于图像的roi追踪 | |
CN111641822A (zh) | 一种重定位立体图像质量评价方法 | |
JP5259348B2 (ja) | 高さ情報取得装置、高さ情報取得方法、及びプログラム | |
JP2013125524A (ja) | 学習用装置、および、遺伝子学習方法 | |
TW202131352A (zh) | 透過問答生成訓練資料的系統及其方法 | |
JP2022131937A (ja) | アノテーションを支援するシステム、方法、及び、プログラム | |
CN113052166A (zh) | 病理图像的显示方法及装置 | |
JP6405603B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
JP7148776B2 (ja) | コロニー識別システム、コロニー識別方法およびコロニー識別プログラム | |
US20200074628A1 (en) | Image processing apparatus, imaging system, image processing method and computer readable recoding medium | |
KR102505705B1 (ko) | 이미지 분석 서버, 이미지 분석 서버를 이용한 객체 카운팅 방법 및 객체 카운팅 시스템 | |
KR102607174B1 (ko) | 이미지 분석 서버를 이용한 복수 개의 이미지에 포함된 객체의 카운팅 방법 및 객체 카운팅 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20220622 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231117 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20231117 |