JP2023058726A - データ生成装置、データ生成方法及びプログラム - Google Patents
データ生成装置、データ生成方法及びプログラム Download PDFInfo
- Publication number
- JP2023058726A JP2023058726A JP2023025993A JP2023025993A JP2023058726A JP 2023058726 A JP2023058726 A JP 2023058726A JP 2023025993 A JP2023025993 A JP 2023025993A JP 2023025993 A JP2023025993 A JP 2023025993A JP 2023058726 A JP2023058726 A JP 2023058726A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- partial images
- input
- partial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 239000003086 colorant Substances 0.000 claims description 6
- 230000001575 pathological effect Effects 0.000 description 89
- 238000012545 processing Methods 0.000 description 26
- 230000007170 pathology Effects 0.000 description 12
- 206010028980 Neoplasm Diseases 0.000 description 11
- 238000002372 labelling Methods 0.000 description 10
- 230000005856 abnormality Effects 0.000 description 8
- 238000010186 staining Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 210000004881 tumor cell Anatomy 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- LPXQRXLUHJKZIE-UHFFFAOYSA-N 8-azaguanine Chemical compound NC1=NC(O)=C2NN=NC2=N1 LPXQRXLUHJKZIE-UHFFFAOYSA-N 0.000 description 1
- 101100322583 Caenorhabditis elegans add-2 gene Proteins 0.000 description 1
- 238000002738 Giemsa staining Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000004882 non-tumor cell Anatomy 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007447 staining method Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
【課題】画像に関する学習用データを、より簡易に生成することを可能にする技術を提供すること。【解決手段】画像と、画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、複数の部分画像の各々と、複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、を有するデータ生成装置を提供する。【選択図】図4
Description
本発明は、データ生成装置、データ生成方法及びプログラムに関する。
現在、人工知能を利用して病理画像を解析し、病理診断を行うシステムが知られている。例えば、特許文献1には、注釈を付けた複数のデジタル病理画像を用いて機械学習アルゴリズムを学習させること、学習により生成された識別モデルを使用して異常画像パターンが病理学的異常に対応するかどうかを識別すること等が記載されている。
学習モデルを学習させるためには、学習用データとして、異常有無を示すラベルを含む病理画像を大量に用意する必要がある。このとき、病理画像に異常が含まれるのか否かは医師による判断が必要であることから、大量の学習用データを生成する際、医師の負担が非常に大きいという課題があった。なお、同様の課題は、病理画像に限定されず、どのような種類の画像にも生じ得る。
そこで、本発明は、画像に関する学習用データを、より簡易に生成することを可能にする技術を提供することを目的とする。
本発明の一態様に係るデータ生成装置は、画像と、画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、複数の部分画像の各々と、複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、を有する。
本発明によれば、画像に関する学習用データを、より簡易に生成することを可能にする技術を提供することができる。
添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。なお、本実施形態は、入力された病理画像から、病理画像に関する学習用データを生成する場合を例に説明するが、これに限定されない。本実施形態は、様々な画像から学習用データを生成する場合に適用することが可能である。例えば、超音波画像、CT画像及び内視鏡画像等の医療用途に関する2次元画像データに適用することも可能である。また、医療用途以外の画像にも適用することも可能である。
<システム構成>
図1は、病理画像に異常が存在するか否かを判定する画像処理システム1の一例を示す図である。データ生成装置10は、データ生成装置10に入力された病理画像を用いて、診断装置20が備える学習モデルを学習させるための学習用データ(教師データ)を生成する装置である。診断装置20は、データ生成装置10で生成された学習用データを用いて学習した学習済モデルを用いて、病理画像に異常が存在するか否かの判定を行う装置である。データ生成装置10及び診断装置20は、無線又は有線の通信ネットワークNを介してお互いに通信することができる。
図1は、病理画像に異常が存在するか否かを判定する画像処理システム1の一例を示す図である。データ生成装置10は、データ生成装置10に入力された病理画像を用いて、診断装置20が備える学習モデルを学習させるための学習用データ(教師データ)を生成する装置である。診断装置20は、データ生成装置10で生成された学習用データを用いて学習した学習済モデルを用いて、病理画像に異常が存在するか否かの判定を行う装置である。データ生成装置10及び診断装置20は、無線又は有線の通信ネットワークNを介してお互いに通信することができる。
データ生成装置10は、データ生成装置10に入力された病理画像と、当該病理画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示する。部分画像は、タイルと称してもよい。部分画像のサイズ(縦方向及び横方向のピクセル数)は、学習モデルに入力可能な学習用データと同一サイズである。また、データ生成装置10は、画面に表示された部分画像1枚1枚について、データ生成装置10を利用する病理医等(以下、「ユーザ」と言う。)から、部分画像に付与する、病理に関するラベルの入力を受け付ける。以下の説明では、ラベルは、部分画像に病理学上の異常が存在するか否かを示す2種類のラベルである前提で説明するが、本実施形態がこれに限定されるものではない。本実施形態は、3種類以上のラベルを付与する場合にも適用することができる。
データ生成装置10は、1枚の病理画像から学習用データを生成してもよいし、複数の病理画像から学習用データを生成してもよい。複数の病理画像から学習用データを生成する場合、データ生成装置10は、病理画像を複数の部分画像に分割してラベルの入力を受け付ける処理を、病理画像ごとに繰り返す。全ての病理画像についてユーザによるラベルの付与が完了すると、データ生成装置10は、各部分画像の画像データと、各部分画像に付与されたラベルとを対応づけることで学習用データを生成する。生成された学習用データは、診断装置20に送られる。
診断装置20は、データ生成装置10から送られてきた学習用データを用いて学習モデルを学習(訓練)させる。学習モデルとは、例えば、学習により所定の能力を持たせることが可能なニューラルネットワークである。診断装置20は、学習により生成された学習済みモデルに診断対象の病理画像を入力し、学習済みモデルからの出力結果に基づいて、当該病理画像に異常が存在するか否かを判断する。
なお、図1の例では、データ生成装置10は1つの情報処理装置として図示されているが、本実施形態はこれに限定されない。例えば、データ生成装置10は、1又は複数の物理的なサーバ等から構成されていてもよいし、ハイパーバイザー(hypervisor)上で動作する仮想的なサーバを用いて構成されていてもよいし、クラウドサーバを用いて構成されていてもよい。
<ハードウェア構成>
図2は、データ生成装置10のハードウェア構成例を示す図である。データ生成装置10は、CPU(Central Processing Unit)、GPU(Graphical processing unit)等のプロセッサ11、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、入力操作を受け付ける入力デバイス14、及び情報の出力を行う出力デバイス15を有する。入力デバイス14は、例えば、キーボード、タッチパネル、マウス及び/又はマイク等である。出力デバイス15は、例えば、ディスプレイ、タッチパネル及び/又はスピーカ等である。
図2は、データ生成装置10のハードウェア構成例を示す図である。データ生成装置10は、CPU(Central Processing Unit)、GPU(Graphical processing unit)等のプロセッサ11、メモリ、HDD(Hard Disk Drive)及び/又はSSD(Solid State Drive)等の記憶装置12、有線又は無線通信を行う通信IF(Interface)13、入力操作を受け付ける入力デバイス14、及び情報の出力を行う出力デバイス15を有する。入力デバイス14は、例えば、キーボード、タッチパネル、マウス及び/又はマイク等である。出力デバイス15は、例えば、ディスプレイ、タッチパネル及び/又はスピーカ等である。
<機能ブロック構成>
図3は、データ生成装置10の機能ブロック構成例を示す図である。データ生成装置10は、記憶部100と、表示制御部101と、入力部102と、生成部103と、画像処理部104とを含む。記憶部100は、データ生成装置10が備える記憶装置12を用いて実現することができる。また、表示制御部101と、入力部102と、生成部103と、画像処理部104とは、データ生成装置10のプロセッサ11が、記憶装置12に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USBメモリ又はCD-ROM等の記憶媒体であってもよい。
図3は、データ生成装置10の機能ブロック構成例を示す図である。データ生成装置10は、記憶部100と、表示制御部101と、入力部102と、生成部103と、画像処理部104とを含む。記憶部100は、データ生成装置10が備える記憶装置12を用いて実現することができる。また、表示制御部101と、入力部102と、生成部103と、画像処理部104とは、データ生成装置10のプロセッサ11が、記憶装置12に記憶されたプログラムを実行することにより実現することができる。また、当該プログラムは、記憶媒体に格納することができる。当該プログラムを格納した記憶媒体は、コンピュータ読み取り可能な非一時的な記憶媒体(Non-transitory computer readable medium)であってもよい。非一時的な記憶媒体は特に限定されないが、例えば、USBメモリ又はCD-ROM等の記憶媒体であってもよい。
記憶部100は、学習用データの生成に用いる1以上の病理画像(画像)を格納する病理画像DB(画像DB)と、ユーザにより部分画像に付与されたラベルを格納するラベルDBと、生成された学習用データを格納する学習用データDBとを記憶する。
表示制御部101は、ディスプレイ等の出力デバイス15や、データ生成装置10と通信する他の情報処理装置等に、本実施形態に係る各種の画面を表示させる。また、表示制御部101は、病理画像(画像)に、部分画像の境界線を重ねた画面を表示させる。
入力部102は、ユーザから各種の入力を受け付ける。また、入力部102は、入力デバイス14を介して、ユーザから、複数の部分画像の各々に付与するラベルの入力を受け付ける。入力部102は、各部分画像に付与されたラベルを、ラベルDBに格納する。入力部102は、例えば、各部分画像を一意に識別する部分画像IDと、各部分画像に付与されたラベルとを対応づけてラベルDBに格納するようにしてもよい。ラベルの入力は、例えば、画面上に表示された各部分画像の中からラベルを入力する部分画像を選択し、当該部分画像に付与するラベルを指定を受け付けることで行われることとしてもよい。
また、入力部102は、複数の病理画像(複数の画像)から学習用データを生成する場合、複数の病理画像に対応する病理の種別(複数の病理画像に共通である病理の種別、複数の画像に対応する画像種別)に関する情報の入力を受け付けるようにしてもよい。
生成部103は、複数の部分画像の各々と、入力部102により当該複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する。例えば、生成部103は、ラベルDBから、部分画像IDとラベルとを取得すると共に、病理画像DB(画像DB)に格納されている病理画像(画像)から、部分画像IDに対応する部分画像の画像データを抽出する。続いて、生成部103は、抽出した部分画像の画像データと、部分画像IDに対応するラベルとを組み合わせることで、学習用データを生成する。
画像処理部104は、入力部102に入力された病理の種別(画像種別)に応じて定められた色の変更方法に従って、複数の病理画像(複数の画像)の色を変更する。当該変更方法には、複数の病理画像(複数の画像)における各画素のRGB値を標準化した値に変更する方法、及び、複数の病理画像(複数の画像)における各画素のRGB値をランダムに変更する方法が含まれていてもよい。
<処理手順>
図4は、データ生成装置10が行う処理手順の一例を示すフローチャートである。まず、入力部102は、ユーザから、学習用データの生成に用いる病理画像の入力を受け付け、入力された病理画像を病理画像DBに格納する(S10)。病理画像は、異常かどうかの判断を付けやすくするため、染色されることが通常行われる。染色方法としては、ヘマトキシリン・エオジン染色、PAS染色、メイ・ギムザ染色、アルシアンブルー染色、パパニコロウ染色、アザン染色、エラスチカ・ワンギーソン染色、エラスチカ・マッソン染色などが例として挙げられる。なお、ユーザは、複数の病理画像を入力する場合、病理の種別が同一である病理画像を入力する。以下の説明では、ユーザにより複数の病理画像が入力されたものとする。
図4は、データ生成装置10が行う処理手順の一例を示すフローチャートである。まず、入力部102は、ユーザから、学習用データの生成に用いる病理画像の入力を受け付け、入力された病理画像を病理画像DBに格納する(S10)。病理画像は、異常かどうかの判断を付けやすくするため、染色されることが通常行われる。染色方法としては、ヘマトキシリン・エオジン染色、PAS染色、メイ・ギムザ染色、アルシアンブルー染色、パパニコロウ染色、アザン染色、エラスチカ・ワンギーソン染色、エラスチカ・マッソン染色などが例として挙げられる。なお、ユーザは、複数の病理画像を入力する場合、病理の種別が同一である病理画像を入力する。以下の説明では、ユーザにより複数の病理画像が入力されたものとする。
続いて、入力部102は、ユーザから、ステップS10の処理手順で入力された複数の病理画像について、病理の種別に関する情報の入力を受け付ける(S11)。入力可能な病理の種別は、例えば、「腫瘍」又は「超変異」のいずれか一方であってもよい。ユーザは、複数の病理画像の各々が腫瘍の画像である場合、病理の種別として「腫瘍」を入力し、複数の病理画像の各々が超変異の画像である場合、病理の種別として「超変異」を入力する。
続いて、画像処理部104は、ステップS11の処理手順で入力された病理の種別に応じた色の変更方法に従って、複数の病理画像の色を変更する(S12)。例えば、病理の種別が「腫瘍」である場合、色の変更方法は、複数の病理画像における各画素のRGB値を標準化した値に変更することであってもよい。まず、画像処理部104は、複数の病理画像内の全ての画素について、R(Red)値の平均値及び標準偏差、G(Green)値の平均値及び標準偏差、B(Blue)値の平均値及び標準偏差を算出する。続いて、画像処理部104は、複数の病理画像内の全ての画素の各々のR値について、R値の平均値及び標準偏差を用いて標準化を行う。具体的には、「標準化したR値=(R値-R値の平均値)÷R値の標準偏差」の式を用いることで、標準化したR値を算出することができる。同様の計算をG値及びB値についても行うことで、標準化したG値及び標準化したB値を算出する。これにより、複数の病理画像の色味を均一にすることができる。
また、病理の種別が「超変異」である場合、色の変更方法は、複数の病理画像における各画素のRGB値を、病理画像ごとにランダムにシフトさせる方法であってもよい。まず、画像処理部104は、病理画像ごとに、RGB値をシフトさせる数をランダムに決定し、決定した値で、R値、G値及びB値をシフトさせる。例えば、画像処理部104は、1枚目の病理画像について、RGB値をシフトさせる数を「5」と決定した場合、当該病理画像に含まれる各画素のR値、G値及びB値に、5を加算する。続いて、画像処理部104は、2枚目の病理画像について、RGB値をシフトさせる数を「-2」と決定した場合、当該病理画像に含まれる各画素のR値、G値及びB値に、-2を加算する。画像処理部104は、同様の処理を全ての病理画像について繰り返す。これにより、複数の病理画像の色味をばらつかせることができる。
続いて、表示制御部101は、入力された複数の病理画像の中から1つの病理画像を選択し、選択した病理画像に、部分画像の境界線を重ねた画面を表示させる(S13)。続いて、入力部102は、部分画像ごとに、付与するラベルの入力を受け付ける(S14)。入力された複数の病理画像が腫瘍の画像である場合、ユーザが各部分画像に付与するラベルは、部分画像が腫瘍の画像であることを示すラベル、又は、部分画像は腫瘍の画像ではないことを示すラベルのいずれかである。また、入力された複数の病理画像が超変異の画像である場合、ユーザが各部分画像に付与するラベルは、部分画像が超変異の画像であることを示すラベル、又は、部分画像は超変異の画像ではないことを示すラベルのいずれかである。
入力部102は、受け付けたラベルを、部分画像IDと対応づけてラベルDBに格納する。データ生成装置10は、各部分画像についてラベルの入力が完了していない場合(S15-No)、ステップS14の処理手順を繰り返す。各部分画像についてラベルの入力が完了した場合(S15-Yes)、生成部103は、ラベル付けが完了した各部分画像の画像データに、付与されたラベルを対応づけることで学習用データを生成する(S16)。ラベルの入力が完了したか否かの判定については、画面上で所定のボタン(例えば学習用データの生成を開始するボタン等)が押下されたことを入力部102が検出したか否かにより行われてもよい。若しくは、所定枚数の部分画像にラベルが付与されたか否かにより行われてもよい。また、所定枚数の部分画像にラベルが付与され、かつ、付与されたラベルの比率(ラベルの種類ごとの比率)が所定の範囲内である場合(例えば、腫瘍の画像を示すラベルと腫瘍の画像ではないことを示すラベルとの比率が概ね1:4である等)に、ラベルの付与が完了したと自動的に判定が行われてもよい。
生成部103は、生成した学習用データを、ラベルごとにフォルダ分けして学習用データDBに格納するようにしてもよい。例えば腫瘍有りのラベルが付与された部分画像の画像データと、腫瘍無しのラベルが付与された部分画像の画像データとを別々のフォルダに格納するようにしてもよい。
以上説明した処理手順において、組織が存在していない部分が所定の割合以上である部分画像(所定条件を満たす部分画像)については、学習用データから除外するようにしてもよい。例えば、入力部102は、ステップS14の処理手順において、各病理画像における複数の部分画像のうち、特定色の部分(例えば白色部分)が所定の割合以上である部分画像については、ラベルの入力を受け付けないようにしてもよい。また、生成部103は、ステップS16の処理手順において、複数の部分画像のうち、入力部102でラベルの入力を受け付けなかった部分画像については、生成する学習用データに含めないようにしてもよい。これにより、学習モデルの学習に不適切な学習用データが生成されることを抑止することができる。
図5は、ラベル付けを行う画面の一例を示す図である。図5は、病理画像が腫瘍細胞を含む画像である場合の例を示している。選択メニューM10は、ユーザが入力した病理画像の種別を指定するメニューである。選択メニューM11は、複数の病理画像が入力された場合に、画面に表示する病理画像を指定するメニューである。図5の例では、腫瘍細胞に関する病理画像が40枚入力されており、現在は3枚目の病理画像が表示されていることが示されている。
図5の表示エリアW10には、病理画像の一部を拡大した画像の上に、格子状の境界線が重ねて表示されている。表示エリアW10において、境界線で囲まれた1つの領域が1つの部分画像に該当する。また、オーバービュー表示エリアW11には、病理画像全体の画像と、病理画像のうち表示領域W10に拡大表示されている領域を示す表示枠V11とが表示される。表示枠V11は、例えばマウス操作等により位置又は大きさを任意に変更可能としてもよい。入力部102は、表示枠V11の位置又は大きさの変更を受け付けた場合、表示制御部101は、変更された表示枠V11の位置及び大きさに応じて、表示領域W10に拡大表示する病理画像を変更する。
部分画像の大きさ(縦方向及び横方向の画素数)は、学習対象の学習モデルに応じて予め定められることから、ユーザが任意に変更することはできないこととしてもよい。図5の例では、部分画像の大きさは、縦方向に300画素(ピクセル)、横方向に300画素(ピクセル)であることが表示されている。
また、表示エリアW10には、ユーザからラベルの入力を受け付ける部分画像の位置を示す表示枠T10が表示されている。表示枠T10の位置は、ユーザがラベルを入力したい部分画像を選択することで任意に変更することができる。表示枠T10が表示されることで、ユーザは、どの位置の部分画像についてラベルを付与しようとしているのかを認識することができる。
また、ラベルの入力が完了した部分画像については、入力されたラベルを示す情報が部分画像に重ねて表示される。図5の例では、部分画像が腫瘍細胞の画像であることを示すラベルが付与された部分画像については、左上に「T」の文字が表示され、部分画像が腫瘍細胞の画像ではないことを示すラベルが付与された部分画像については、左上に「N」の文字が表示されている。
表示制御部101は、ラベル付けを行う画面に、複数の部分画像の各々に付与するラベルの目標値であるラベルごとの比率を示す情報と、複数の部分画像に付与されたラベルごとの比率の実績値を示す情報との両方を表示させるようにしてもよい。例えば、学習用データとして、腫瘍細胞の画像と腫瘍ではない画像との比率を1:4とした場合に、学習モデルの認識精度が高くなるといった条件が存在すると仮定する。図5の例では、ラベル付けする際の基準を表示するメモ表示領域A10に、目標値として「TとNのラベル比率の目標値は、T:N=1:4です」との基準が表示されている。これは、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率が、1:4になるようにラベルを付与することが望ましいことを示している。また、表示領域N10には、複数の部分画像に付与されたラベルごとの比率の実績値を示す情報として、既に付与されたラベルの比率が表示されている。つまり、図5の例では、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率を1:4にすることが望ましいが、現時点では、Tをラベル付けした部分画像の数と、Nをラベル付した部分画像の数の比率は1:2であることが示されている。従って、ユーザは、表示領域N10に表示される比率が1:4になるまで、腫瘍細胞の画像ではない部分画像を探してラベル付けする必要があると認識することができる。
また、表示制御部101は、ラベル付けを行う画面に、ラベル付けする部分画像の数の目標値と、ラベルが付与された部分画像の数の実績値を示す情報との両方を表示させるようにしてもよい。例えば、学習用データとして、2,000枚の画像を学習させた場合に学習モデルの認識精度が高くなるといった条件が存在すると仮定する。図5の例では、メモ表示領域A10に、目標値として「ラベル付けするタイル数の目標枚数は、2,000枚です」との基準が表示されている。これは、ラベルを付与するユーザは、2,000枚の部分画像にラベルを付与することが望ましいことを示している。また、表示領域N11には、ラベルを付与済みである部分画像の数の実績値が表示されている。これにより、ユーザは、更に1,000枚の部分画像にラベルを付与する必要があると認識することができる。
複数の部分画像は、病理画像内における基準となる点(例えば左上の画素)から、右方向及び下方向に所定間隔(例えば右方向に300ピクセル間隔、下方向に300ピクセル間隔等)で分割することで生成される画像であってもよい。これに限定されず、複数の部分画像は、病理画像内における基準となる点から所定距離ずらした点を左右方向及び上下方向に所定間隔(例えば右左方向に300ピクセル間隔、上下方向に300ピクセル間隔等)で分割することで生成される画像であってもよい。例えば、病理画像内における基準となる点(左上の画像)から右方向及び/又は下方向に所定距離ずらした点(画素)を基準に、病理画像を右方向及び下方向に所定間隔で分割することで生成される画像とするようにしてもよい。オフセット値指定領域M12は、病理画像内における基準となる点を、右方向に何ピクセルずらすのかを指定する領域である。オフセット値指定領域M13は、病理画像内における基準となる点を、下方向に何ピクセルずらすのかを指定する領域である。入力部102により、所定距離の指定が受け付けられると、表示制御部101は、病理画像の左上の点から指定された所定距離ずらした点を基準に、部分画像を分割して画面に表示する。
図6を用いて具体例を説明する。部分画像P1は、病理画像の左上を基準に、右方向及び下方向に所定間隔で分割することで部分画像を生成する場合において、病理画像の最も左上に位置する部分画像を示しており、部分画像P6は、部分画像P1の右隣りの部分画像を示している。この状態で、図5のオフセット値指定領域M12及びM13に、それぞれ50ピクセル及び0ピクセルが入力されたとする。この場合、病理画像の左上から右に50ピクセルずらした点を基準に、部分画像P2が生成される。同様に、図5のオフセット値指定領域M12及びM13に、それぞれ100ピクセル及び0ピクセルが入力されたとする。この場合、病理画像の左上から右に100ピクセルずらした点を基準に、部分画像P3が生成される。
<まとめ>
以上説明した実施形態によれば、データ生成装置10は、画像を複数の部分画像に分割して表示し、部分画像ごとに、ユーザからラベルの入力を受け付けるようにした。これにより、画像に関する学習用データを、より簡易に生成することが可能になる。
以上説明した実施形態によれば、データ生成装置10は、画像を複数の部分画像に分割して表示し、部分画像ごとに、ユーザからラベルの入力を受け付けるようにした。これにより、画像に関する学習用データを、より簡易に生成することが可能になる。
また、データ生成装置10は、複数の画像に対応する画像種別に応じて定められた画素値の変更方法に従って、複数の病理画像の色に関する画素値を変更するようにした。これにより、画像種別に応じて、複数の画像の色味を、学習モデルの学習に適したより適切な色味に変更することができ、より認識精度の高い学習モデルを生成することが可能になる。
また、データ生成装置10は、各部分画像に付与するラベルの種別ごとの比率について、目標値と実績値とを表示するようにした。これにより、ユーザは、実績値が目標値に近づくように、各部分画像にラベルを付与することができることから、より認識精度の高い学習モデルを生成するための学習用データの生成を効率的に行うことが可能になる。
また、データ生成装置10は、画像を部分画像に分割する際に、画像上の任意の点(画素)を基準として部分画像に分割することを可能とした。これにより、ユーザは、ラベル付けを行った後、画像を部分画像に分割する際の基準点をずらして再度ラベル付けを行う作業を繰り返すことで、入力される画像の枚数が少ない場合であっても多数の学習用データを生成することが可能になる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態で説明したフローチャート、シーケンス、実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
1…画像処理システム、10…データ生成装置、11…プロセッサ、12…記憶装置、13…通信IF、14…入力デバイス、15…出力デバイス、20…診断装置、100…記憶部、101…表示制御部、102…入力部、103…生成部、104…画像処理部
Claims (8)
- 画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させる表示制御部と、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付ける入力部と、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成する生成部と、
を有するデータ生成装置。 - 前記画像は、複数の画像を含み、
前記入力部は、前記複数の画像に対応する画像種別に関する情報の入力を受け付け、
前記入力部に入力された前記画像種別に応じて定められた変更方法に従って、前記複数の画像の色に関する画素値を変更する変更部、を更に有する、
請求項1に記載のデータ生成装置。 - 前記変更方法には、前記複数の画像における各画素のRGB値を標準化した値に変更する方法、及び、前記複数の画像における各画素のRGB値をランダムに変更する方法が含まれる、
請求項2に記載のデータ生成装置。 - 前記表示制御部は、前記複数の部分画像の各々に付与するラベルの目標値であるラベルごとの比率を示す情報と、前記複数の部分画像に対して付与されたラベルごとの比率の実績値を示す情報との両方を表示させる、
請求項1~3のいずれか一項に記載のデータ生成装置。 - 前記入力部は、前記複数の部分画像のうち、所定条件を満たす部分画像については、ラベルの入力を受け付けないようにし、
前記生成部は、前記複数の部分画像のうち、ラベルの入力が受け付けられなかった部分画像については、前記学習用データに含めないようにする、
請求項1~4のいずれか一項に記載のデータ生成装置。 - 前記複数の部分画像は、前記画像内における基準となる点から所定距離ずらした点を基準に、前記画像を右左方向及び上下方向に所定間隔で分割することで生成される画像であり、
前記入力部は、前記所定距離の指定を受け付ける、
請求項1~5のいずれか一項に記載のデータ生成装置。 - データ生成装置が実行するデータ生成方法であって、
画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させるステップと、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付けるステップと、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成するステップと、
を含むデータ生成方法。 - コンピュータに、
画像と、前記画像を複数に分割することで生成される複数の部分画像の境界線とを重ねて画面に表示させるステップと、
前記複数の部分画像の各々に付与される、ラベルの入力を受け付けるステップと、
前記複数の部分画像の各々と、前記複数の部分画像の各々に付与されたラベルとを対応づけることで、学習モデルを学習させるための学習用データを生成するステップと、
を実行させるためのプログラム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020068413 | 2020-04-06 | ||
JP2020068413 | 2020-04-06 | ||
JP2022514063A JP7236202B2 (ja) | 2020-04-06 | 2021-04-05 | データ生成装置、データ生成方法及びプログラム |
PCT/JP2021/014494 WO2021206053A1 (ja) | 2020-04-06 | 2021-04-05 | データ生成装置、データ生成方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022514063A Division JP7236202B2 (ja) | 2020-04-06 | 2021-04-05 | データ生成装置、データ生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023058726A true JP2023058726A (ja) | 2023-04-25 |
JP2023058726A5 JP2023058726A5 (ja) | 2024-04-15 |
Family
ID=78023254
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022514063A Active JP7236202B2 (ja) | 2020-04-06 | 2021-04-05 | データ生成装置、データ生成方法及びプログラム |
JP2023025993A Pending JP2023058726A (ja) | 2020-04-06 | 2023-02-22 | データ生成装置、データ生成方法及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022514063A Active JP7236202B2 (ja) | 2020-04-06 | 2021-04-05 | データ生成装置、データ生成方法及びプログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230148243A1 (ja) |
EP (1) | EP4134909A4 (ja) |
JP (2) | JP7236202B2 (ja) |
KR (1) | KR20220164755A (ja) |
CN (1) | CN115380307A (ja) |
WO (1) | WO2021206053A1 (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005185560A (ja) * | 2003-12-25 | 2005-07-14 | Konica Minolta Medical & Graphic Inc | 医用画像処理装置及び医用画像処理システム |
JP6067264B2 (ja) * | 2012-07-17 | 2017-01-25 | Hoya株式会社 | 画像処理装置及び内視鏡装置 |
JP2017099721A (ja) * | 2015-12-02 | 2017-06-08 | パナソニックIpマネジメント株式会社 | 画像処理装置及び画像処理方法 |
JP6702716B2 (ja) * | 2015-12-21 | 2020-06-03 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP6623851B2 (ja) * | 2016-03-08 | 2019-12-25 | 富士通株式会社 | 学習方法、情報処理装置および学習プログラム |
US10572996B2 (en) | 2016-06-28 | 2020-02-25 | Contextvision Ab | Method and system for detecting pathological anomalies in a digital pathology image and method for annotating a tissue slide |
JP7027070B2 (ja) * | 2017-08-31 | 2022-03-01 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN115684569A (zh) * | 2018-02-15 | 2023-02-03 | 国立大学法人新潟大学 | 超突变型癌的判别系统、程序及方法 |
JP6945474B2 (ja) * | 2018-02-28 | 2021-10-06 | 富士フイルム株式会社 | 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム |
JP7235272B2 (ja) * | 2018-05-16 | 2023-03-08 | 株式会社アドダイス | 画像処理装置及び検査システム |
US10943346B2 (en) * | 2018-05-21 | 2021-03-09 | Corista, LLC | Multi-sample whole slide image processing in digital pathology via multi-resolution registration and machine learning |
-
2021
- 2021-04-05 CN CN202180024507.9A patent/CN115380307A/zh active Pending
- 2021-04-05 WO PCT/JP2021/014494 patent/WO2021206053A1/ja unknown
- 2021-04-05 US US17/917,542 patent/US20230148243A1/en active Pending
- 2021-04-05 KR KR1020227038232A patent/KR20220164755A/ko unknown
- 2021-04-05 JP JP2022514063A patent/JP7236202B2/ja active Active
- 2021-04-05 EP EP21785651.7A patent/EP4134909A4/en active Pending
-
2023
- 2023-02-22 JP JP2023025993A patent/JP2023058726A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230148243A1 (en) | 2023-05-11 |
WO2021206053A1 (ja) | 2021-10-14 |
JPWO2021206053A1 (ja) | 2021-10-14 |
EP4134909A1 (en) | 2023-02-15 |
JP7236202B2 (ja) | 2023-03-09 |
EP4134909A4 (en) | 2024-02-21 |
KR20220164755A (ko) | 2022-12-13 |
CN115380307A (zh) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007279828A (ja) | 帳票処理装置、帳票様式作成装置、帳票、帳票処理用のプログラム、帳票様式作成用のプログラム | |
CN101448459B (zh) | 医用图像显示装置和程序 | |
US10095940B2 (en) | Image processing apparatus, image processing method and non-transitory computer readable medium | |
US20230237777A1 (en) | Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium | |
JP2020101860A (ja) | 医用画像処理装置、システム及びプログラム | |
JP2018045396A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Waldin et al. | Chameleon: dynamic color mapping for multi-scale structural biology models | |
JP2013111359A (ja) | 画像処理装置、方法、及びプログラム | |
JP7236202B2 (ja) | データ生成装置、データ生成方法及びプログラム | |
US10366515B2 (en) | Image processing apparatus, image processing system, and non-transitory computer readable medium | |
JP7045103B1 (ja) | データ拡張装置、データ拡張システム、及びデータ拡張プログラム | |
US11163504B2 (en) | Dividing a spanning region of adjacent sub-images to generate print data | |
JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
US7587086B2 (en) | Identifying selected pixels in a digital image | |
JP2020027363A (ja) | 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム | |
WO2024038651A1 (ja) | プログラム、画像処理方法及び画像処理装置 | |
JP2009225247A (ja) | 画像表示装置及び画像表示方法 | |
JP2009176217A (ja) | 画像表示装置 | |
JP2006031690A (ja) | 特定画像領域区画装置および方法,ならびに特定画像領域区画処理をコンピュータに実行させるプログラム | |
WO2020031222A1 (ja) | データ作成支援装置、データ作成支援方法およびデータ作成支援プログラム | |
JP2017034376A (ja) | 画像処理装置、画像処理方法、コンピュータプログラム | |
JP2023031373A (ja) | 画像処理装置、画像処理システムおよびプログラム | |
JP2023058726A5 (ja) | ||
Waldin et al. | Dynamic color mapping for multi-scale structural biology models | |
JP2024147914A (ja) | 学習データ生成方法、該プログラムおよび該装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240405 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240405 |