JP2022007281A - 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム - Google Patents

画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム Download PDF

Info

Publication number
JP2022007281A
JP2022007281A JP2020110156A JP2020110156A JP2022007281A JP 2022007281 A JP2022007281 A JP 2022007281A JP 2020110156 A JP2020110156 A JP 2020110156A JP 2020110156 A JP2020110156 A JP 2020110156A JP 2022007281 A JP2022007281 A JP 2022007281A
Authority
JP
Japan
Prior art keywords
image
image processing
information
feature amount
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020110156A
Other languages
English (en)
Inventor
洋平 小林
Yohei Kobayashi
威 國弘
Takeshi Kunihiro
潤一郎 榎
Junichiro Enoki
健治 山根
Kenji Yamane
寛 長谷川
Hiroshi Hasegawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to JP2020110156A priority Critical patent/JP2022007281A/ja
Priority to US18/002,423 priority patent/US20230230398A1/en
Priority to PCT/JP2021/020921 priority patent/WO2021261185A1/ja
Publication of JP2022007281A publication Critical patent/JP2022007281A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Databases & Information Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Hematology (AREA)
  • Data Mining & Analysis (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】形態の見た目の特徴を定量化した特徴量を適切に表示して、識別器の調整項目の設定を容易に行うことができる画像処理装置、画像処理方法、画像処理プログラム及び診断支援システムを提案する。【解決手段】画像処理装置１００は、病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成する生成部１５４と、前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する画像処理部１５５とを備える。【選択図】図１０

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム及び診断支援システムに関する。
ガラススライドに収められた観察対象物を顕微鏡で撮影して、デジタル化した病理画像を生成し、病理画像に対して、各種の画像解析を行うシステムがある。たとえば、観察対象物は、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等に対応する。
画像解析に関する従来技術として、病理画像を形態検出器に入力して、病理画像に含まれる細胞核、細胞膜等の形態や状態を検出し、形態の特徴を定量化した特徴量を算出する技術がある。病理医や研究者等の熟練者は、かかる特徴量の算出結果と、専門知識に基づき、特定の特徴を有する形態や状態を分類または抽出するための識別器の調整項目の設定を行っている。
特表２０１８－５０２２７９号公報
専門知識に乏しいユーザは、従来技術により算出される形態や状態の特徴を定量化した特徴量と、ユーザの専門知識に基づく特徴とを対応付けることが難しく、改善の余地がある。
そこで、本開示では、形態の見た目の特徴を定量化した特徴量を適切に表示して、識別器の調整項目の設定を容易に行うことができる画像処理装置、画像処理方法、画像処理プログラム及び診断支援システムを提案する。
上記の課題を解決するために、本開示に係る一形態の画像処理装置は、病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成する生成部と、前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する画像処理部とを備える。
本実施形態に係る診断支援システムを示す図である。 本実施形態に係る撮像処理を説明するための図である。 本実施形態に係る撮像処理を説明するための図である。 部分画像（タイル画像）の生成処理を説明するための図である。 本実施形態に係る病理画像を説明するための図である。 本実施形態に係る病理画像を説明するための図である。 病理画像の閲覧者による閲覧態様の一例を示す図である。 サーバが有する閲覧履歴記憶部の一例を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 医療情報システムが有する診断情報記憶部を示す図である。 本実施形態に係る画像処理装置の一例を示す図である。 病理画像ＤＢのデータ構造の一例を示す図である。 特徴量テーブルのデータ構造の一例を示す図である。 病理画像から抽出される部分領域の一例を示す図である。 表示制御部の処理を説明するための図である。 第１の補助情報の一例を示す図である。 第２の補助情報の一例を示す図である。 第２の補助情報のその他の表示例を示す図である。 第３の補助情報の一例を示す図である。 第４の補助情報の一例を示す図である。 画像処理部が実行する分類処理の一例を説明するための図である。 画像処理部が実行する分類処理の一例を説明するための図である。 画像処理部が実行する分類処理の一例を説明するための図である。 本実施形態に係る画像処理装置の処理手順を示すフローチャートである。 画像処理装置のその他の処理を説明するための図である。 画像処理装置のその他の処理を説明するための図である。 画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
また、以下に示す項目順序に従って本開示を説明する。
＜本実施形態＞
１．本実施形態に係るシステムの構成
２．各種情報について
２－１．病理画像
２－２．閲覧履歴情報
２－３．診断情報
３．本実施形態に係る画像処理装置
４．処理手順
５．その他の処理
６．本実施形態に係る画像処理装置の効果
７．ハードウェア構成
８．むすび
（本実施形態）
［１．本実施形態に係るシステムの構成］
まず、図１を用いて、本実施形態に係る診断支援システム１について説明する。図１は、本実施形態に係る診断支援システム１を示す図である。図１に示すように、診断支援システム１は、病理システム１０と、画像処理装置１００とを含む。
病理システム１０は、主に病理医が使用するシステムであり、例えば研究所や病院に適用される。図１に示すように、病理システム１０は、顕微鏡１１と、サーバ１２と、表示制御装置１３と、表示装置１４とを含む。
顕微鏡１１は、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物を撮像し、デジタル画像である病理画像を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。
サーバ１２は、顕微鏡１１によって撮像された病理画像を図示しない記憶部に記憶、保存する装置である。サーバ１２は、表示制御装置１３から閲覧要求を受け付けた場合に、図示しない記憶部から病理画像を検索し、検索した病理画像を表示制御装置１３に送る。また、サーバ１２は、画像処理装置１００から病理画像の取得要求を受け付けた場合に、記憶部から病理画像を検索し、検索した病理画像を、画像処理装置１００に送る。
表示制御装置１３は、ユーザから受け付けた病理画像の閲覧要求をサーバ１２に送る。そして、表示制御装置１３は、サーバ１２から受け付けた病理画像を表示するよう表示装置１４を制御する。
表示装置１４は、例えば、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（Cathode Ray Tube）などが用いられた画面を有する。表示装置１４は４Ｋや８Ｋに対応していてもよいし、複数の表示装置により形成されてもよい。表示装置１４は、表示制御装置１３によって表示するよう制御された病理画像を表示する。なお、詳細は後述するが、サーバ１２は、表示装置１４を介して病理医に観察された病理画像の領域に関する閲覧履歴情報を記憶する。
画像処理装置１００は、サーバ１２に対して病理画像の取得要求を送り、サーバ１２から受け付けた病理画像に対して画像処理を実行する装置である。
［２．各種情報について］
［２－１．病理画像］
上記の通り、病理画像は、顕微鏡１１によって観察対象物が撮像されることで生成される。まず、図２及び図３を用いて、顕微鏡１１による撮像処理を説明する。図２及び図３は、第１の実施形態に係る撮像処理を説明するための図である。以下に説明する顕微鏡１１は、低解像度で撮像するための低解像度撮像部と、高解像度で撮像するための高解像度撮像部とを有する。
図２には、顕微鏡１１の撮影可能な領域である撮像領域Ｒ１０に、観察対象物Ａ１０が収められたガラススライドＧ１０が含まれる。ガラススライドＧ１０は、例えば図示しないステージに置かれる。顕微鏡１１は、低解像度撮像部により撮像領域Ｒ１０を撮像することで観察対象物Ａ１０が全体的に撮像された病理画像である全体画像を生成する。図２に示すラベル情報Ｌ１０は、観察対象物Ａ１０を識別するための識別情報（例えば、文字列やＱＲコード（登録商標））が記載される。ラベル情報Ｌ１０に記載される識別情報と患者を対応付けておくことで、全体画像に対応する患者を特定することが可能になる。図２の例では、識別情報として「＃００１」が記載されている。なお、ラベル情報Ｌ１０には、例えば、観察対象物Ａ１０の簡単な説明が記載されてもよい。
続いて、顕微鏡１１は、全体画像を生成した後に、全体画像から観察対象物Ａ１０が存在する領域を特定し、観察対象物Ａ１０が存在する領域を所定サイズ毎に分割した各分割領域を高解像度撮像部により順次撮像する。例えば、図３に示すように、顕微鏡１１は、最初に領域Ｒ１１を撮像し、観察対象物Ａ１０の一部領域を示す画像である高解像度画像Ｉ１１を生成する。続いて、顕微鏡１１は、ステージを移動させることで、領域Ｒ１２を高解像度撮像部により撮像し、領域Ｒ１２に対応する高解像度画像Ｉ１２を生成する。同様にして、顕微鏡１１は、領域Ｒ１３、Ｒ１４、・・・に対応する高解像度画像Ｉ１３、Ｉ１４、・・・を生成する。図３では領域Ｒ１８までしか図示していないが、顕微鏡１１は、ステージを順次移動させることで、観察対象物Ａ１０に対応する全ての分割領域を高解像度撮像部により撮像し、各分割領域に対応する高解像度画像を生成する。
ところで、ステージを移動させる際にガラススライドＧ１０がステージ上で移動することがある。ガラススライドＧ１０が移動すると、観察対象物Ａ１０のうち未撮影の領域が発生するおそれがある。顕微鏡１１は、図３に示すように、隣り合う分割領域が一部重なるように、高解像度撮像部により撮像することで、ガラススライドＧ１０が移動した場合であっても、未撮影領域の発生を防止することができる。
なお、上述した低解像度撮像部と高解像度撮像部とは、異なる光学系であってもよいし、同一の光学系であってもよい。同一の光学系である場合には、顕微鏡１１は、撮像対象に応じて解像度を変更する。また、上記では、ステージを移動させることで撮像領域を変更する例を示したが、顕微鏡１１が光学系（高解像度撮像部など）を移動させることで撮像領域を変更してもよい。高解像度撮像部に設けられる撮像素子は、２次元撮像素子（エリアセンサ）であってもよく、１次元撮像素子（ラインセンサ）であってもよい。観察対象物からの光を、対物レンズを用いて集光して撮像しても、分光光学系を用いて波長ごとに分光して撮像してもよい。また、図３では、顕微鏡１１が観察対象物Ａ１０の中央部から撮像する例を示した。しかし、顕微鏡１１は、図３に示した撮像順とは異なる順序で観察対象物Ａ１０を撮像してもよい。例えば、顕微鏡１１は、観察対象物Ａ１０の外周部から撮像してもよい。また、上記では、観察対象物Ａ１０が存在する領域のみを高解像度撮像部で撮像する例を示した。しかし、観察対象物Ａ１０が存在する領域を正確に抽出できない場合もあるので、顕微鏡１１は、図２に示した撮像領域Ｒ１０又はガラススライドＧ１０の全領域を分割して高解像度撮像部で撮像してもよい。なお、高解像度画像の撮像方法は、どの様な方法を用いてもよい。ステージの停止、移動を繰り返しながら分割領域を撮像して高解像度画像を取得してもよいし、所定の速度でステージを移動しながら分割領域を撮像してストリップ上の高解像度画像を取得してもよい。
続いて、顕微鏡１１によって生成された各々の高解像度画像は、所定のサイズに分割される。これにより、高解像度画像から部分画像（以下、タイル画像と表記する）が生成される。この点について、図４を用いて説明する。図４は、部分画像（タイル画像）の生成処理を説明するための図である。図４には、図３に示した領域Ｒ１１に対応する高解像度画像Ｉ１１を示す。なお、以下では、サーバ１２によって、高解像度画像から部分画像が生成されるものとして説明する。しかし、サーバ１２以外の装置（例えば、顕微鏡１１内部に搭載される情報処理装置など）によって部分画像が生成されてもよい。
図４に示す例では、サーバ１２は、１つの高解像度画像Ｉ１１を分割することで、１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。例えば、高解像度画像Ｉ１１の解像度が２５６０×２５６０［pixel：ピクセル］である場合、サーバ１２は、高解像度画像Ｉ１１から、解像度が２５６×２５６［pixel：ピクセル］である１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。同様にして、サーバ１２は、他の高解像度画像も同様のサイズに分割することでタイル画像を生成する。
なお、図４の例において、領域Ｒ１１１、Ｒ１１２、Ｒ１１３、Ｒ１１４は、隣り合う他の高解像度画像（図４には図示しない）と重複する領域である。サーバ１２は、重複する領域をテンプレートマッチング等の技法により位置合わせを行うことで、互いに隣り合う高解像度画像にスティッチング処理を施す。この場合、サーバ１２は、スティッチング処理後に高解像度画像を分割することでタイル画像を生成してもよい。または、サーバ１２は、スティッチング処理前に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４以外の領域のタイル画像を生成し、スティッチング処理後に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４のタイル画像を生成してもよい。
このようにして、サーバ１２は、観察対象物Ａ１０の撮像画像の最小単位となるタイル画像を生成する。そして、サーバ１２は、最小単位のタイル画像を順次合成することで、階層の異なるタイル画像を生成する。具体的には、サーバ１２は、隣り合う所定数のタイル画像を合成することで、１つのタイル画像を生成する。この点について、図５及び図６を用いて説明する。図５及び図６は、第１の実施形態に係る病理画像を説明するための図である。
図５の上段には、サーバ１２によって各高解像度画像から生成された最小単位のタイル画像群を示す。図５の上段の例において、サーバ１２は、タイル画像のうち、互いに隣り合う４つのタイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２を合成することで、１つのタイル画像Ｔ１１０を生成する。例えば、タイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２の解像度がそれぞれ２５６×２５６である場合、サーバ１２は、解像度が２５６×２５６であるタイル画像Ｔ１１０を生成する。同様にして、サーバ１２は、互いに隣り合う４つのタイル画像Ｔ１１３、Ｔ１１４、Ｔ２１３、Ｔ２１４を合成することで、タイル画像Ｔ１２０を生成する。このようにして、サーバ１２は、最小単位のタイル画像を所定数ずつ合成したタイル画像を生成する。
また、サーバ１２は、最小単位のタイル画像を合成した後のタイル画像のうち、互いに隣り合うタイル画像を更に合成したタイル画像を生成する。図５の例において、サーバ１２は、互いに隣り合う４つのタイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０を合成することで、１つのタイル画像Ｔ１００を生成する。例えば、タイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０の解像度が２５６×２５６である場合、サーバ１２は、解像度が２５６×２５６であるタイル画像Ｔ１００を生成する。例えば、サーバ１２は、互いに隣り合う４つのタイル画像を合成した解像度５１２×５１２の画像から、４画素平均や、重み付けフィルタ（近い画素を遠い画素よりも強く反映する処理）や、１／２間引き処理等を施すことにより、解像度が２５６×２５６であるタイル画像を生成する。
サーバ１２は、このような合成処理を繰り返すことで、最終的には、最小単位のタイル画像の解像度と同様の解像度を有する１つのタイル画像を生成する。例えば、上記例のように、最小単位のタイル画像の解像度が２５６×２５６である場合、サーバ１２は、上述した合成処理を繰り返すことにより、最終的に解像度が２５６×２５６である１つのタイル画像Ｔ１を生成する。
図６に、図５に示したタイル画像を模式的に示す。図６に示した例では、最下層のタイル画像群は、サーバ１２によって生成された最小単位のタイル画像である。また、下から２階層目のタイル画像群は、最下層のタイル画像群が合成された後のタイル画像である。そして、最上層のタイル画像Ｔ１は、最終的に生成される１つのタイル画像であることを示す。このようにして、サーバ１２は、病理画像として、図６に示すピラミッド構造のような階層を有するタイル画像群を生成する。
なお、図５に示す領域Ｄは、表示装置１４等のディスプレイ画面に表示される領域の一例を示す。例えば、表示装置が表示可能な解像度が、縦３個分のタイル画像であり、横４個分のタイル画像であるものとする。この場合、図５に示す領域Ｄのように、表示対象のタイル画像が属する階層によって、表示装置に表示される観察対象物Ａ１０の詳細度が変わる。例えば、最下層のタイル画像が用いられる場合には、観察対象物Ａ１０の狭い領域が詳細に表示される。また、上層のタイル画像が用いられるほど観察対象物Ａ１０の広い領域が粗く表示される。
サーバ１２は、図６に示したような各階層のタイル画像を図示しない記憶部に記憶する。例えば、サーバ１２は、各タイル画像を一意に識別可能なタイル識別情報（部分画像情報の一例）とともに、各タイル画像を記憶する。この場合、サーバ１２は、他の装置（例えば、表示制御装置１３）からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像を他の装置へ送信する。また、例えば、サーバ１２は、各階層を識別する階層識別情報と、同一階層内で一意に識別可能なタイル識別情報とともに、各タイル画像を記憶してもよい。この場合、サーバ１２は、他の装置から階層識別情報とタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、階層識別情報に対応する階層に属するタイル画像のうち、タイル識別情報に対応するタイル画像を他の装置へ送信する。
なお、サーバ１２は、図６に示したような各階層のタイル画像をサーバ１２以外の他の記憶装置に記憶してもよい。例えば、サーバ１２は、クラウドサーバ等に各階層のタイル画像を記憶してもよい。また、図５及び図６に示したタイル画像の生成処理はクラウドサーバ等で実行されてもよい。
また、サーバ１２は、全ての階層のタイル画像を記憶しなくてもよい。例えば、サーバ１２は、最下層のタイル画像のみを記憶してもよいし、最下層のタイル画像と最上層のタイル画像のみを記憶してもよいし、所定の階層（例えば、奇数番目の階層、偶数番目の階層など）のタイル画像のみを記憶してもよい。このとき、サーバ１２は、記憶していない階層のタイル画像を他の装置から要求された場合には、記憶しているタイル画像を動的に合成することで、他の装置から要求されたタイル画像を生成する。このように、サーバ１２は、保存対象のタイル画像を間引くことで、記憶容量の圧迫を防止することができる。
また、上記例では撮像条件について言及しなかったが、サーバ１２は、撮像条件毎に、図６に示したような各階層のタイル画像を記憶してもよい。撮像条件の例としては、被写体（観察対象物Ａ１０など）に対する焦点距離が挙げられる。例えば、顕微鏡１１は、同一の被写体に対して焦点距離を変更しながら撮像してもよい。この場合、サーバ１２は、焦点距離毎に、図６に示したような各階層のタイル画像を記憶してもよい。なお、焦点距離を変更する理由は、観察対象物Ａ１０によっては半透明であるため、観察対象物Ａ１０の表面を撮像するために適した焦点距離や、観察対象物Ａ１０の内部を撮像するために適した焦点距離があるからである。言い換えれば、顕微鏡１１は、焦点距離を変更することで、観察対象物Ａ１０の表面を撮像した病理画像や、観察対象物Ａ１０の内部を撮像した病理画像を生成することができる。
また、撮像条件の他の例として、観察対象物Ａ１０に対する染色条件が挙げられる。具体的に説明すると、病理診断では、観察対象物Ａ１０のうち特定の部分（例えば、細胞の核など）に蛍光試薬を用いて染色を行う場合がある。蛍光試薬とは、例えば、特定の波長の光が照射されると励起して発光する物質である。そして、同一の観察対象物Ａ１０に対して異なる発光物が染色される場合がある。この場合、サーバ１２は、染色された発光物毎に、図６に示したような各階層のタイル画像を記憶してもよい。
また、上述したタイル画像の数や解像度は一例であってシステムによって適宜変更可能である。例えば、サーバ１２が合成するタイル画像の数は４つに限られない。例えば、サーバ１２は、３×３＝９個のタイル画像を合成する処理を繰り返してもよい。また、上記例ではタイル画像の解像度が２５６×２５６である例を示したが、タイル画像の解像度は２５６×２５６以外であってもよい。
表示制御装置１３は、上述した階層構造のタイル画像群に対応可能なシステムを採用するソフトウェアを用い、ユーザの表示制御装置１３を介した入力操作に応じて、階層構造のタイル画像群から所望のタイル画像を抽出し、これを表示装置１４に出力する。具体的には、表示装置１４は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、表示制御装置１３は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
［２－２．閲覧履歴情報］
次に、図７を用いて、サーバ１２に保存される病理画像の閲覧履歴情報について説明する。図７は、病理画像の閲覧者による閲覧態様の一例を示す図である。図７に示した例では、病理医等の閲覧者が、病理画像Ｉ１０のうち、領域Ｄ１、Ｄ２、Ｄ３、・・・、Ｄ７の順に閲覧したものとする。この場合、表示制御装置１３は、閲覧者による閲覧操作に従って、最初に領域Ｄ１に対応する病理画像をサーバ１２から取得する。サーバ１２は、表示制御装置１３からの要求に応じて、領域Ｄ１に対応する病理画像を形成する１以上のタイル画像を記憶部から取得し、取得した１以上のタイル画像を表示制御装置１３へ送信する。そして、表示制御装置１３は、サーバ１２から取得した１以上のタイル画像から形成される病理画像を表示装置１４に表示する。例えば、表示制御装置１３は、タイル画像が複数である場合には、複数のタイル画像を並べて表示する。同様にして、表示制御装置１３は、閲覧者によって表示領域の変更操作が行われるたびに、表示対象の領域（領域Ｄ２、Ｄ３、・・・、Ｄ７など）に対応する病理画像をサーバ１２から取得し、表示装置１４に表示する。
図７の例では、閲覧者は、最初に比較的広い領域Ｄ１を閲覧し、領域Ｄ１内に注意深く観察する領域がなかったため、閲覧領域を領域Ｄ２に移動させている。そして、閲覧者は、領域Ｄ２内に注意深く観察したい領域があったため、領域Ｄ２の一部領域を拡大して領域Ｄ３を閲覧している。そして、閲覧者は、さらに領域Ｄ２の一部領域である領域Ｄ４へ移動させている。そして、閲覧者は、領域Ｄ４内にさらに注意深く観察したい領域があったため、領域Ｄ４の一部領域を拡大して領域Ｄ５を閲覧している。このようにして、閲覧者は、領域Ｄ６、Ｄ７についても閲覧している。例えば、領域Ｄ１、Ｄ２、Ｄ７に対応する病理画像が１．２５倍率の表示画像であり、領域Ｄ３、Ｄ４に対応する病理画像が２０倍率の表示画像であり、領域Ｄ５、Ｄ６に対応する病理画像が４０倍率の表示画像である。表示制御装置１３は、サーバ１２に記憶されている階層構造のタイル画像群のうち、各倍率に対応する階層のタイル画像を取得して表示することになる。例えば、領域Ｄ１及びＤ２に対応するタイル画像の階層は、領域Ｄ３に対応するタイル画像の階層よりも上（すわなち、図６に示したタイル画像Ｔ１に近い階層）になる。
上記のように病理画像が閲覧されている間、表示制御装置１３は、所定のサンプリング周期で閲覧情報を取得する。具体的には、表示制御装置１３は、所定のタイミング毎に、閲覧された病理画像の中心座標と表示倍率を取得し、取得した閲覧情報をサーバ１２の記憶部に格納する。
この点について、図８を用いて説明する。図８は、サーバ１２が有する閲覧履歴記憶部１２ａの一例を示す図である。図８に示すように、閲覧履歴記憶部１２ａは、「サンプリング」、「中心座標」、「倍率」、「時間」といった情報を記憶する。「サンプリング」は、閲覧情報を記憶するタイミングの順番を示す。「中心座標」は、閲覧された病理画像の位置情報を示す。ここの例では、中心座標は、閲覧された病理画像の中心位置が示す座標であって、最下層のタイル画像群の座標系の座標に該当する。「倍率」は、閲覧された病理画像の表示倍率を示す。「時間」は、閲覧が開始されてからの経過時間を示す。図８の例では、サンプリング周期が３０秒であることを示す。すなわち、表示制御装置１３は、３０秒毎に閲覧情報を閲覧履歴記憶部１２ａに保存する。ただし、この例に限られず、サンプリング周期は、例えば０．１～１０秒であってもよいし、この範囲外であってもよい。
図８の例において、サンプリング「１」は図７に示す領域Ｄ１の閲覧情報を示し、サンプリング「２」は領域Ｄ２の閲覧情報を示し、サンプリング「３」及び「４」は領域Ｄ３の閲覧情報を示し、サンプリング「５」は領域Ｄ４の閲覧情報を示し、サンプリング「６」、「７」及び「８」は領域Ｄ５の閲覧情報を示す。つまり、図８の例では、領域Ｄ１が３０秒程度閲覧され、領域Ｄ２が３０秒程度閲覧され、領域Ｄ３が６０秒程度閲覧され、領域Ｄ４が３０秒程度閲覧され、領域Ｄ５が９０秒程度閲覧されたことを示す。このように、閲覧履歴情報から、各領域の閲覧時間を抽出することができる。
また、閲覧履歴情報から各領域を閲覧した回数を抽出することができる。例えば、表示領域の変更操作（例えば、表示領域の移動操作、表示サイズの変更操作）が行われるたびに、表示された病理画像の各画素の表示回数が１回ずつ増加するものとする。例えば、図７に示した例において、最初に領域Ｄ１が表示された場合、領域Ｄ１に含まれる各画素の表示回数は１回となる。次に領域Ｄ２が表示された場合には、領域Ｄ１と領域Ｄ２との双方に含まれる各画素の表示回数は２回となり、領域Ｄ１には含まれず領域Ｄ２に含まれる各画素の表示回数は１回となる。閲覧履歴記憶部１２ａの中心座標及び倍率を参照することで表示領域を特定可能であるので、閲覧履歴記憶部１２ａに記憶されている閲覧履歴情報を分析することで、病理画像の各画素（各座標ともいえる）が表示された回数を抽出することができる。
表示制御装置１３は、閲覧者から所定時間（例えば５分）、表示位置を変更する操作が行われなかった場合には、閲覧情報の記憶処理を中断してもよい。また、上記例では、中心座標と倍率によって閲覧された病理画像を閲覧情報として記憶する例を示したが、この例に限られず、閲覧情報は、閲覧された病理画像の領域を特定可能な情報であれば如何なる情報であってもよい。例えば、表示制御装置１３は、閲覧された病理画像に対応するタイル画像を識別するタイル識別情報や、閲覧された病理画像に対応するタイル画像の位置示す情報を、病理画像の閲覧情報として記憶してもよい。また、図８では、図示することを省略したが、閲覧履歴記憶部１２ａには、患者、カルテ等を識別する情報が記憶される。すなわち、図８に示した閲覧履歴記憶部１２ａは、閲覧情報と、患者やカルテ等と対応付け可能に記憶される。
［２－３．診断情報］
次に、図９Ａ～図９Ｃを用いて、医療情報システム３０に記憶される診断情報について説明する。図９Ａ～図９Ｃは、医療情報システム３０が有する診断情報記憶部を示す図である。図９Ａ～図９Ｃでは、それぞれ検査対象の臓器毎に異なるテーブルで診断情報を記憶する例を示す。例えば、図９Ａは、乳がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｂは、肺がん検査に関する診断情報を記憶するテーブルの例を示し、図９Ｃは、大腸検査に関する診断情報を記憶するテーブルの例を示す。
図９Ａに示す診断情報記憶部３０Ａは、「患者ＩＤ」、「病理画像」、「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を記憶する。「患者ＩＤ」は、患者を識別するための識別情報を示す。「病理画像」は、病理医が診断時に保存した病理画像を示す。「病理画像」には、画像自体ではなく、全体画像に対する、保存対象の画像領域を示す位置情報（中心座標と倍率など）が記憶されてもよい。「診断結果」は、病理医による診断結果であり、例えば、病変部位の有無、病変部位の種類を示す。「グレード」は、病気部位の進行度を示す。「組織型」は、病気部位の種類を示す。「遺伝子検査」は、遺伝子検査の結果を示す。「超音波検査」は、超音波検査の結果を示す。投薬は、患者への投薬に関する情報を示す。
図９Ｂに示す診断情報記憶部３０Ｂは、図９Ａに示した診断情報記憶部３０Ａに記憶される「超音波検査」の代わりに、肺がん検査で行われる「ＣＴ検査」に関する情報を記憶する。図９Ｃに示す診断情報記憶部３０Ｃは、図９Ａに示した診断情報記憶部３０Ａに記憶される「超音波検査」の代わりに、大腸検査で行われる「内視鏡検査」に関する情報を記憶する。
図９Ａ～図９Ｃの例において、「診断結果」に「正常」が記憶されている場合には、病理診断の結果が陰性であったことを示し、「診断結果」に「正常」以外の情報が記憶されている場合には、病理診断の結果が陽性であったことを示す。なお、図９Ａ～図９Ｃでは、患者ＩＤについて、各項目（病理画像、診断結果、グレード、組織型、遺伝子検査、超音波検査、投薬）を対応付けて記憶する場合について説明したが、診断、検査に関わる情報を、患者ＩＤに対応付けて記憶すればよく、全ての項目が必要なわけではない。
［３．本実施形態に係る画像処理装置］
次に、本実施形態に係る画像処理装置１００について説明する。図１０は、本実施形態に係る画像処理装置の一例を示す図である。図１０に示すように、この画像処理装置１００は、通信部１１０と、入力部１２０と、表示部１３０と、記憶部１４０と、制御部１５０とを有する。
通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、図示しないネットワークと有線又は無線で接続され、ネットワークを介して、病理システム１０等との間で情報の送受信を行う。後述する制御部１５０は、通信部１１０を介して、これらの装置との間で情報の送受信を行う。
入力部１２０は、各種の情報を、画像処理装置１００に入力する入力装置である。入力部１１１は、キーボードやマウス、タッチパネル等に対応する。
表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。表示部１３０は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、タッチパネル等に対応する。
記憶部１４０は、病理画像ＤＢ（Data Base）１４１と、特徴量テーブル１４２とを有する。記憶部１４０は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ（Flash Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。
病理画像ＤＢ１４１は、複数の病理画像を格納するデータベースである。図１１は、病理画像ＤＢのデータ構造の一例を示す図である。図１１に示すように、この病理画像ＤＢ１４１は、「患者ＩＤ」と、「病理画像」とを有する。患者ＩＤは、患者を一意に識別する情報である。病理画像は、病理医が診断時に保存した病理画像を示す。病理画像は、サーバ１２から送信される。病理画像ＤＢ１４１は、患者ＩＤ、病理画像の他に、図９Ａ～９Ｃで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報を保持していてもよい。
特徴量テーブル１４２は、病理画像から抽出される細胞核や細胞膜に対応する部分領域の特徴量のデータを保持するテーブルである。図１２は、特徴量テーブルのデータ構造の一例を示す図である。図１２に示すように、この特徴量テーブル１４２は、領域ＩＤと、座標と、特徴量とを対応付ける。領域ＩＤは、部分領域を一意に識別する情報である。座標は、部分領域の座標（位置）を示すものである。
特徴量は、部分領域から算出される病理画像内に存在する組織形態や状態を含む様々なパターンの特性を定量化したものである。たとえば、特徴量は、ＣＮＮ（Convolutional Neural Network）等のＮＮ（Neural Network）から出力される特徴量が対応する。また、特徴量は、細胞核または細胞核の色特徴（輝度、彩度、波長、スペクトル等）、形状特徴（円形度、周長等）、密度、特定の形態からの距離、局所特徴量、構造抽出処理（核検出等）、それらを集計した情報(細胞密度や配向等)等に対応する。ここでは、各特徴量を、特徴量ｆ１～ｆ１０によって示す。なお、特徴量は、特徴量ｆ１～ｆ１０以外の特徴量ｆｎを更に含んでいてもよい。
図１０の説明に戻る。制御部１５０は、取得部１５１、解析部１５２、表示制御部１５３、生成部１５４、画像処理部１５５を有する。制御部１５０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ(Micro Processing Unit)によって、画像処理装置１００内部に記憶されたプログラム（画像処理プログラムの一例）がＲＡＭ（random Access Memory）等を作業領域として実行されることにより実現される。また、制御部１５０は、例えばＡＳＩＣ（Application specific Integrated Circuit）やＦＰＧＡ（Field Programmable gate Array）等の集積回路により実行されてもよい。
取得部１５１は、サーバ１２に対して病理画像の取得要求を送り、サーバ１２から病理画像を取得する処理部である。取得部１５１は、取得した病理画像を、病理画像ＤＢ１４１に登録する。ユーザは、入力部１２０を操作して、取得対象とする病理画像を取得部１５１に指示してもよい。この場合、取得部１５１は、指示された病理画像の取得要求をサーバ１２に送り、指示された病理画像を取得する。
取得部１５１が取得する病理画像は、ＷＳＩ（Whole Slide Imaging）に対応する。病理画像には、病理画像の一部を指し示すアノテーションデータが添付されていてもよい。アノテーションデータは、病理医や研究者が示した腫瘍領域等を示す。ＷＳＩは１枚に限らず、連続切片等複数のＷＳＩが含まれていてもよい。また、病理画像には、患者ＩＤの他に、図９Ａ～９Ｃで説明した「診断結果」、「グレード」、「組織型」、「遺伝子検査」、「超音波検査」、「投薬」といった情報が添付されていてもよい。
解析部１５２は、病理画像ＤＢ１４１に格納された病理画像を解析して特徴量を算出する処理部である。ユーザは、入力部１２０を操作して、解析対象となる病理画像を指定してもよい。
解析部１５２は、病理画像ＤＢ１４１から、ユーザに指定された病理画像を取得し、取得した病理画像に対してセグメンテーションを実行することで、病理画像から複数の部分領域（パターン）を抽出する。複数の部分領域は、個々の細胞や細胞器官（細胞核、細胞膜等）、細胞や細胞器官の集合による細胞形態が含まれる。また、部分領域は、細胞形態が正常の場合、特定の疾患である場合に有する特異的特徴に対応する領域であってもよい。ここで、セグメンテーションは、画像から画素単位で部位のオブジェクトのラベルを付与する技術である。たとえば、正解ラベルをもつ画像データセットを畳み込みニューラルネットワークに学習させることで学習済みモデルを生成し、かかる学習済みモデルに、処理を行いたい画像（病理画像）を入力することで、出力として画素単位でオブジェクトクラスのラベルが割り振られたラベル画像を得ることができ、かかるラベルを参照することで、画素毎に部分領域を抽出することができる。
図１３は、病理画像から抽出される部分領域の一例を示す図である。図１３に示すように、病理画像Ｉｍａ１から、複数の部分領域「Ｐ」が抽出されている。以下の説明では、複数の部分領域を特に区別しない場合には、単に部分領域と表記する。解析部１５２は、部分領域に領域ＩＤを割り当て、部分領域の座標を特定する。解析部１５２は、領域ＩＤに対応付けて、部分領域の座標を、特徴量テーブル１４２に登録する。
続いて、解析部１５２は、部分領域から特徴量を算出する。たとえば、解析部１５２は、部分領域の画像をＣＮＮに入力することで、各特徴量を算出する。また、解析部１５２は、部分領域の画像を基にして、色特徴（輝度値、染色強度等）、形状特徴（円形度、周長など）、密度、特定の形態からの距離、局所特徴量を算出する。解析部１５２が、色特徴、形状特徴、密度、特定の形態からの距離、局所特徴量を算出する処理は、如何なる従来技術を用いてもよい。解析部１５２は、領域ＩＤに対応付けて、部分領域の特徴量（たとえば、特徴量ｆ１～ｆ１０）を、特徴量テーブル１４２に登録する。
解析部１５２は、ユーザから解析対象となる病理画像の指示を受け付けてから、上記処理を実行してもよいし、事前に全体の病理画像を解析した結果から、部分領域の特徴量を算出してもよい。また、病理システム１０が、病理画像の全体に対する解析を行い、病理画像に病理システム１０の解析結果が添付されていてもよく、解析部１５２は、病理システム１０の解析結果を用いて、部分領域の特徴量を算出してもよい。
表示制御部１５３は、解析部１５２によって抽出された部分領域（組織形態を含む様々なパターン）を示す病理画像の画面情報を、表示部１３０に表示させ、部分領域の指定を受け付ける処理部である。たとえば、表示制御部１５３は、各部分領域の座標を、特徴量テーブル１４２から取得し、画面情報に反映する。
図１４は、表示制御部の処理を説明するための図である。図１４に示すように、表示制御部１５３は、画面情報Ｄｉｓ１を、部分領域を指定可能にして表示部１３０に表示させる。ユーザは、入力部１２０を操作して、複数の部分領域から、一部の部分領域を指定し、カテゴリを指定する。たとえば、第１カテゴリとして部分領域ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４が選択されたものとする。第２カテゴリとして部分領域ＰＢ，ＰＢ２，ＰＢ３が選択されたものとする。第３カテゴリとして、部分領域ＰＣ１，ＰＣ２が選択されたものとする。以下の説明では、適宜、部分領域ＰＡ１，ＰＡ２，ＰＡ３，ＰＡ４をまとめて、部分領域「ＰＡ」と表記する。適宜、部分領域ＰＢ，ＰＢ２，ＰＢ３をまとめて、部分領域「ＰＢ」と表記する。適宜、部分領域ＰＣ１，ＰＣ２をまとめて、部分領域「ＰＣ」と表記する。表示制御部１５３は、同一のカテゴリに属する部分領域を、同一の色で表示してもよい。
図１４に示す例では、表示制御部１５３が、部分領域の指定を受け付ける処理は上記の処理に限定されない。たとえば、ユーザが一つの部分領域を指定した場合に、表示制御部１５３は、指定された部分領域の形状に類似する他の部分領域を自動で選択し、同一のカテゴリに属する部分領域として判定してもよい。
図１４に示す例では、セグメンテーションで抽出された部分領域を選択する場合について説明したが、ユーザが指定する領域は、ユーザによって描画される自由領域または幾何領域でもよい。表示制御部１５３は、病理医や研究者によって事前に指定された腫瘍領域等のアノテーション領域を、指定された部分領域として取り扱ってもよい。また、表示制御部１５３は、特定の組織を抽出するための抽出器を用いて、抽出器によって抽出される組織の部分領域を、指定された部分領域としてもよい。
表示制御部１５３は、指定された部分領域の領域ＩＤおよび部分領域のカテゴリの情報を、生成部１５４に出力する。以下の説明では、指定された部分領域の領域ＩＤを適宜「指定領域ＩＤ」と表記し、指定領域ＩＤには、ユーザに指定されたカテゴリの情報が対応付けられているものとする。なお、表示制御部１５３は、後述する生成部１５４に生成される第１～第４の補助情報を、表示部１３０に出力して表示させる。
生成部１５４は、指定領域ＩＤに対応する特徴量を、特徴量テーブル１４２から取得し、病理画像の特徴量に関する補助情報を生成する処理部である。補助情報には、分類または抽出したい領域の特徴を表現する上で重要な特徴量を識別可能とするものや、特徴量の分布等が含まれる。たとえば、生成部１５４は、補助情報として、第１～第４の補助情報を生成する。
生成部１５４が「第１の補助情報」を生成する処理について説明する。生成部１５４は、病理画像から算出される複数の特徴量（たとえば、特徴量ｆ１～ｆ１０）に対して、指定領域ＩＤの部分領域をそれぞれカテゴリ毎に分類または抽出する際の寄与率（または重要度）を計算し、第１の補助情報を生成する。
図１４に示したように、第１カテゴリの部分領域ＰＡ、第２カテゴリの部分領域ＰＢ、第３カテゴリの部分領域ＰＣが指定された場合、生成部１５４は、部分領域ＰＡ、ＰＢ、ＰＣをそれぞれ分類するための寄与率を、因子分析や予測分析等を基にして算出する。たとえば、因子分析の結果、特徴量ｆ１～ｆ１０のうち、特徴量ｆ２の寄与率が大きくなる場合には、部分領域ＰＡ、ＰＢ、ＰＣをそれぞれ分類する際に、特徴量ｆ２に重きをおくことが適切であることを意味する。生成部１５４は、図１５に示す第１の補助情報を生成する。
図１５は、第１の補助情報の一例を示す図である。図１５に示すように、第１の補助情報では、特徴量ｆ１～ｆ１０と、寄与率とを対応付ける。図１５に示す例では、特徴量ｆ１～ｆ１０のうち、特徴量ｆ２，ｆ６，ｆ９の寄与率が大きくなっているため、部分領域ＰＡ、ＰＢ、ＰＣをそれぞれ分類する場合、特徴量ｆ２，ｆ６，ｆ９を用いることが適切であることを意味する。生成部１５４は、第１の補助情報を表示制御部１５３に出力して、第１の補助情報の表示を要求する。表示制御部１５３は、第１の補助情報を、表示部１３０に表示させる。なお、表示制御部１５３は、第１の補助情報を表示する場合に、各特徴量を、寄与率の大きさに応じて、ソートして表示させてもよい。
生成部１５４が「第２の補助情報」を生成する処理について説明する。生成部１５４は、指定領域ＩＤに対応する各特徴量と、各特徴量について予め設定される閾値とを比較し、閾値以上となる特徴量を特定する処理を、カテゴリ毎に実行することで、第２の補助情報を生成する。
図１６は、第２の補助情報の一例を示す図である。生成部１５４は、第１カテゴリに対応する指定領域ＩＤの特徴量ｆ１～ｆ１０と、各特徴量の閾値Ｔｈ１～Ｔｈ１０とをそれぞれ比較する。たとえば、特徴量ｆ１が閾値Ｔｈ１以上となり、特徴量ｆ３が閾値Ｔｈ３以上となり、特徴量ｆ６が閾値Ｔｈ６以上となり、特徴量ｆ９が閾値Ｔｈ９以上となる場合、生成部１５４は、第１カテゴリの特性を表す特徴量として、特徴量ｆ１，ｆ３，ｆ６，ｆ９を設定する。
生成部１５４は、第２カテゴリに対応する指定領域ＩＤの特徴量ｆ１～ｆ１０と、各特徴量の閾値Ｔｈ１～Ｔｈ１０とをそれぞれ比較する。たとえば、特徴量ｆ１が閾値Ｔｈ１以上となり、特徴量ｆ３が閾値Ｔｈ３以上となる場合、生成部１５４は、第２カテゴリの特性を表す特徴量として、特徴量ｆ１，ｆ３を設定する。
生成部１５４は、第３カテゴリに対応する指定領域ＩＤの特徴量ｆ１～ｆ１０と、各特徴量の閾値Ｔｈ１～Ｔｈ１０とをそれぞれ比較する。たとえば、特徴量ｆ５が閾値Ｔｈ５以上となり、特徴量ｆ３が閾値Ｔｈ３以上となり、特徴量ｆ２が閾値Ｔｈ２以上となる場合、生成部１５４は、第３カテゴリの特性を表す特徴量として、特徴量ｆ５，ｆ３，ｆ２を設定する。
生成部１５４は、上記処理を実行することで、図１６に示す第２の補助情報を生成する。図１６に示す例では、第１カテゴリの部分領域を抽出する場合には、特徴量ｆ１，ｆ３，ｆ６，ｆ９が適していることを意味する。第２カテゴリの部分領域を抽出する場合には、特徴量ｆ１，ｆ３が適していることを意味する。第３カテゴリの部分領域を抽出する場合には、特徴量ｆ５，ｆ３，ｆ２が適していることを意味する。
生成部１５４は、第２の補助情報を表示制御部１５３に出力して、第２の補助情報の表示を要求する。表示制御部１５３は、第２の補助情報を、表示部１３０に表示させる。なお、表示制御部１５３は、図１７に示す表形式によって、第２の補助情報を、表示部１３０に表示させてもよい。
図１７は、第２の補助情報のその他の表示例を示す図である。図１７に示す表示例の第１カテゴリの特性を示す特徴量の行において、特徴量ｆ１，ｆ３，ｆ６，ｆ９がマル印で示され、特徴量ｆ１，ｆ３，ｆ６，ｆ９が適していることを示す。第２カテゴリの特性を示す特徴量の行において、特徴量ｆ１，ｆ３，ｆ５がマル印で示され、特徴量ｆ１，ｆ３，ｆ５が適していることを示す。第３カテゴリの特性を示す特徴量の行において、特徴量ｆ５，ｆ３，ｆ２がマル印で示され、特徴量ｆ５，ｆ３，ｆ２が適していることを示す。図１６の表示と比較して、図１７では、適している特徴量と、適していない特徴量とを容易に把握することができる。
生成部１５４が「第３の補助情報」を生成する処理について説明する。生成部１５４は、各特徴量ｆ１～ｆ１０のうち、第１の特徴量ｆｉと、第２の特徴量ｆｊとを軸とする特徴空間に、各部分領域の分布を配置した第３の補助情報を生成する。第１の特徴量ｆｉおよび第２の特徴量ｆｊは、事前に設定されていてもよいし、図１５の第１の補助情報を生成する場合に算出した寄与率等を基にして、上位の寄与率に対応する特徴量を、第１の特徴量ｆｉおよび第２の特徴量ｆｊとしてもよい。
図１８は、第３の補助情報の一例を示す図である。図１８に示す特徴空間Ｇｒ１の縦軸は、第１の特徴量ｆｉに対応する軸であり、横軸は、第２の特徴量ｆｊに対応する軸である。生成部１５４は、特徴量テーブル１４２を参照し、各部分領域の第１の特徴量ｆｉおよび第２の特徴量ｆｊを特定し、特徴空間Ｇｒ１上に、各部分領域に対応する点をプロットする。また、生成部１５４は、各部分領域に対応する点のうち、指定領域ＩＤに対応する部分領域の点を識別可能に設定する。
たとえば、生成部１５４は、図１４で指定された第１カテゴリの部分領域ＰＡ１が、図１８の点ｄｏ１に対応する場合には、第１カテゴリに属することを示す第１の色によって、点ｄｏ１を配置する。図１４で指定された第１カテゴリの部分領域ＰＡ２が、図１８の点ｄｏ２に対応する場合には、第１カテゴリに属することを示す第１の色によって、点ｄｏ１を配置する。
生成部１５４は、図１４で指定された第２カテゴリの部分領域ＰＢ１が、図１８の点ｄｏ３に対応する場合には、第２カテゴリに属することを示す第２の色によって、点ｄｏ３を配置する。図１４で指定された第３カテゴリの部分領域ＰＣ１が、図１８の点ｄｏ４に対応する場合には、第３カテゴリに属することを示す第３の色によって、点ｄｏ４を配置する。第１の色、第２の色、第３の色は、それぞれ異なる色であるものとする。
生成部１５４は、第３の補助情報を表示制御部１５３に出力して、第３の補助情報の表示を要求する。表示制御部１５３は、第３の補助情報を、表示部１３０に表示させる。なお、生成部１５４は、多次元の特徴量においては、主成分分析やTSNE等の次元圧縮を用いて求められた低次元特徴量を算出し、低次元特徴量の特徴空間において、各部分領域に対応する点をプロットしてもよい。
生成部１５４が「第４の補助情報」を生成する処理について説明する。生成部１５４は、特徴量テーブル１４２を基にして、各特徴量ｆ１～ｆ１０のヒストグラムを、第４の補助情報として生成する。
図１９は、第４の補助情報の一例を示す図である。図１９では、一例として、各特徴量のヒストグラムｈ１－１～ｈ４－１を示す。生成部１５４は、各ヒストグラムにおいて、指定領域ＩＤに対応する部分領域の特徴量に対応する階級値の度数を識別可能に設定してもよい。
ヒストグラムｈ１－１は、特徴量ｆ１に対応するヒストグラムである。生成部１５４は、第１カテゴリの部分領域ＰＡ１の特徴量ｆ１が、階級値ｃｍ１に対応する場合には、階級値ｃｍ１に対応する度数の色を、第１の色に設定する。生成部１５４は、第２カテゴリの部分領域ＰＢ１の特徴量ｆ１が、階級値ｃｍ２に対応する場合には、階級値ｃｍ２に対応する度数の色を、第２の色に設定する。生成部１５４は、第３カテゴリの部分領域ＰＣ１の特徴量ｆ１が、階級値ｃｍ３に対応する場合には、階級値ｃｍ３に対応する度数の色を、第３の色に設定する。
ヒストグラムｈ２－１は、特徴量ｆ２に対応するヒストグラムである。生成部１５４は、第１カテゴリの部分領域ＰＡ１の特徴量ｆ２が、階級値ｃｍ１に対応する場合には、階級値ｃｍ１に対応する度数の色を、第１の色に設定する。生成部１５４は、第２カテゴリの部分領域ＰＢ１の特徴量ｆ２が、階級値ｃｍ２に対応する場合には、階級値ｃｍ２に対応する度数の色を、第２の色に設定する。生成部１５４は、第３カテゴリの部分領域ＰＣ１の特徴量ｆ２が、階級値ｃｍ３に対応する場合には、階級値ｃｍ３に対応する度数の色を、第３の色に設定する。
ヒストグラムｈ３－１は、特徴量ｆ３に対応するヒストグラムである。生成部１５４は、第１カテゴリの部分領域ＰＡ１の特徴量ｆ３が、階級値ｃｍ１に対応する場合には、階級値ｃｍ１に対応する度数の色を、第１の色に設定する。生成部１５４は、第２カテゴリの部分領域ＰＢ１の特徴量ｆ３が、階級値ｃｍ２に対応する場合には、階級値ｃｍ２に対応する度数の色を、第２の色に設定する。生成部１５４は、第３カテゴリの部分領域ＰＣ１の特徴量ｆ３が、階級値ｃｍ３に対応する場合には、階級値ｃｍ３に対応する度数の色を、第３の色に設定する。
ヒストグラムｈ４－１は、特徴量ｆ４に対応するヒストグラムである。生成部１５４は、第１カテゴリの部分領域ＰＡ１の特徴量ｆ４が、階級値ｃｍ１に対応する場合には、階級値ｃｍ１に対応する度数の色を、第１の色に設定する。生成部１５４は、第２カテゴリの部分領域ＰＢ１の特徴量ｆ４が、階級値ｃｍ２に対応する場合には、階級値ｃｍ２に対応する度数の色を、第２の色に設定する。生成部１５４は、第３カテゴリの部分領域ＰＣ１の特徴量ｆ４が、階級値ｃｍ３に対応する場合には、階級値ｃｍ３に対応する度数の色を、第３の色に設定する。
図示を省略するが、生成部１５４は、特徴量ｆ５～ｆ１０に対応するヒストグラムも同様にして生成する。生成部１５４は、第４の補助情報を表示制御部１５３に出力して、第４の補助情報の表示を要求する。表示制御部１５３は、第４の補助情報を、表示部１３０に表示させる。
ここで、表示制御装置１５３は、第１～４の補助情報を全て表示部１３０に表示させてもよいし、一部の補助情報のみを表示させてもよい。また、ユーザは、入力部１２０を操作して、表示対象とする補助情報を指定してもよい。以下の説明では、第１～４の補助情報を特に区別しない場合には、単に、補助情報と表記する。
また、ユーザは、補助情報を参照した後に、入力部１３０を操作して、図１４に示した画面情報Ｄｉｓ１を再度参照し、部分領域および部分領域のカテゴリを選択し直してもよい。表示制御部１５３は、部分領域および部分領域のカテゴリが選択し直された場合には、新たな指定領域ＩＤを、生成部１５４に出力する。生成部１５４は、新たな指定領域ＩＤを基にして、新たな補助情報を生成し、表示制御部１５３は、新たな補助情報を、表示部１３０に出力して表示させる。表示制御部１５３および生成部１５４は、ユーザに、部分領域および部分領域のカテゴリを選択し直される度に、上記処理を繰り返し実行する。
図１０の説明に戻る。画像処理部１５５は、ユーザから病理画像の指定を受け付けた場合に、病理画像に対する各種の画像処理を実行する処理部である。たとえば、画像処理部１５５は、パラメータを基にして、病理画像に含まれる部分領域を特徴量に応じて分類する処理、特定の特徴量を有する部分領域を抽出する処理などを実行する。パラメータは、補助情報を参照したユーザによって設定されるものである。
画像処理部１５５が、病理画像に含まれる部分領域を特徴量に応じて分類する画像処理を実行する場合には、ユーザは、入力部１２０を操作して、分類する際に使用するする特徴量（特徴量ｆ１～ｆ１０のうち、一部の特徴量）や、特徴量の重要度などをパラメータとして設定する。
画像処理部１５５が、病理画像に含まれる部分領域から、特定の特徴量を有する部分領域を抽出する画像処理を実行する場合には、ユーザは、入力部１２０を操作して、抽出する場合に利用する特徴量（特徴量ｆ１～ｆ１０のうち、一部の特徴量）や、抽出する際の特徴量毎の閾値などをパラメータとして設置する。
ここで、画像処理部１５５の処理結果の一例について説明する。図２０、図２１、図２２は、画像処理部１５５が実行する分類処理の一例を説明するための図である。図２０について説明する。病理画像Ｉｍａ１－１は、分類処理を実行する前の病理画像である。病理画像Ｉｍａ１－１において、ユーザは、第１カテゴリとして、部分領域ＰＡを指定し、第２カテゴリとして、部分領域ＰＢを指定し、第３カテゴリとして、部分領域ＰＣを選択したものとする。部分領域ＰＡを第１の色で示す。部分領域ＰＢを第２の色で示す。部分領域ＰＣを第３の色で示す。
画像処理部１５５は、ユーザに設定されるパラメータを基にして、病理画像Ｉｍａ１－１に含まれる各部分領域を、第１カテゴリ、第２カテゴリ、第３カテゴリのいずれかに分類する。分類結果は、病理画像Ｉｍａ１－２に示すものとなる。病理画像Ｉｍａ１－２において、第１の色で示す各部分領域は、第１カテゴリに分類された部分領域である。第２の色で示す各部分領域は、第２カテゴリに分類された部分領域である。第３の色で示す各部分領域は、第３カテゴリに分類された部分領域である。画像処理部１５５は、分類結果となる病理画像Ｉｍａ１－２を、表示部１３０に出力して表示させてもよい。
図２１について説明する。図２１では、画像処理部１５５が、第１カテゴリ、第２カテゴリ、第３カテゴリにそれぞれ分類された部分領域を、特徴量に応じて、特徴空間Ｇｒ１にプロットした場合を示す。特徴空間Ｇｒ１の縦軸は、第１の特徴量ｆｉに対応する軸であり、横軸は、第２の特徴量ｆｊに対応する軸である。図２１に示す例では、第１カテゴリに分類された部分領域が、領域Ａｒ１に位置する。第２カテゴリに分類された部分領域が、領域Ａｒ２に位置する。第３カテゴリに分類された部分領域が、領域Ａｒ３に位置する。画像処理部１５５は、図２１に示した特徴空間Ｇｒ１の情報を、表示部１３０に出力して表示させてもよい。
図２２について説明する。図２２では、各特徴量のヒストグラムｈ１－２～４－２を示す。画像処理部１５５は、第１カテゴリに分類された部分領域の特徴量の分布と、第２カテゴリに分類された部分領域の特徴量の分布と、第３カテゴリに分類された部分領域の特徴量の分布とを識別可能にして、ヒストグラムｈ１－２～４－２を生成する。
ヒストグラムｈ１－２は、特徴量ｆ１に対応するヒストグラムである。ヒストグラムｈ１－２において、分布４１ａは、第１カテゴリに分類された部分領域の特徴量の分布である。分布４２ａは、第２カテゴリに分類された部分領域の特徴量の分布である。分布４３ａは、第３カテゴリに分類された部分領域の特徴量の分布である。
ヒストグラムｈ２－２は、特徴量ｆ２に対応するヒストグラムである。ヒストグラムｈ２－２において、分布４１ｂは、第１カテゴリに分類された部分領域の特徴量の分布である。分布４２ｂは、第２カテゴリに分類された部分領域の特徴量の分布である。分布４３ｂは、第３カテゴリに分類された部分領域の特徴量の分布である。
ヒストグラムｈ３－２は、特徴量ｆ３に対応するヒストグラムである。ヒストグラムｈ３－２において、分布４１ｃは、第１カテゴリに分類された部分領域の特徴量の分布である。分布４２ｃは、第２カテゴリに分類された部分領域の特徴量の分布である。分布４３ｃは、第３カテゴリに分類された部分領域の特徴量の分布である。
ヒストグラムｈ４－２は、特徴量ｆ４に対応するヒストグラムである。ヒストグラムｈ４－２において、分布４１ｄは、第１カテゴリに分類された部分領域の特徴量の分布である。分布４２ｄは、第２カテゴリに分類された部分領域の特徴量の分布である。分布４３ｄは、第３カテゴリに分類された部分領域の特徴量の分布である。
図示を省略するが、画像処理部１５５は、特徴量ｆ５～ｆ１０に対応するヒストグラムも同様にして生成する。画像処理部１５５は、図２２に示したヒストグラムｈ１－２～ｈ４－２の情報を、表示部１３０に出力して表示させてもよい。
［４．処理手順］
図２３は、本実施形態に係る画像処理装置１００の処理手順を示すフローチャートである。図２３に示すように、画像処理装置１００の取得部１５１は、病理画像を取得する（ステップＳ１０１）。画像処理装置１００の解析部１５２は、病理画像に対してセグメンテーションを実行し、部分領域を抽出する（ステップＳ１０２）。
解析部１５２は、各部分領域の特徴量を算出する（ステップＳ１０３）。表示制御部１５３は、部分領域を示す病理画像を表示部１３０に表示させる（ステップＳ１０４）。表示制御部１５３は、部分領域の指定を受け付ける（ステップＳ１０５）。
画像処理装置１００の生成部１５４は、補助情報を生成する（ステップＳ１０６）。表示制御部１５３は、補助情報を、表示部１３０に表示させる（ステップＳ１０７）。
画像処理装置１００は、指定対象の部分領域の変更または追加を受け付けた場合には（ステップＳ１０８，Ｙｅｓ）、ステップＳ１０５に移行する。一方、画像処理装置１００は、指定対象の部分領域の変更または追加を受け付けていない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０９に移行する。
画像処理装置１００の画像処理部１５５は、パラメータの調整を受け付ける（ステップＳ１０９）。画像処理部１５５は、調整されたパラメータを基にして、分類または抽出処理を実行する（ステップＳ１１０）。
画像処理装置１００は、パラメータの再調整を受け付けた場合には（ステップＳ１１１，Ｙｅｓ）、ステップＳ１０９に移行する。画像処理装置１００は、パラメータの再調整を受け付けない場合には（ステップＳ１１１，Ｎｏ）、処理を終了する。
［５．その他の処理］
画像処理装置１００は、病理画像全体の状況など、病理画像内の複数の部分領域の状況を把握することができる情報を、補助情報として生成し、かかる補助情報を表示させてもよい。
図２４および図２５は、画像処理装置１００のその他の処理を説明するための図である。図２４について説明する。画像処理装置１００の表示制御部１５３は、複数のＲＯＩ（Region Of Interest）に分割した病理画像Ｉｍａ１０を表示する。ユーザは、入力部１２０を操作して、複数のＲＯＩを指定する。図２４に示す例では、ＲＯＩ４０ａ，４０ｂ，４０ｃ，４０ｄ，４０ｅが指定された場合を示す。表示制御部１５３は、ＲＯＩの指定を受け付けると、図２５に示す画面情報を表示する。
図２５について説明する。表示制御部１５３は、画面情報４５に、拡大したＲＯＩの画像４１ａ～４１ｅを表示させる。画像４１ａは、ＲＯＩ４０ａを拡大した画像である。画像４１ｂは、ＲＯＩ４０ｂを拡大した画像である。画像４１ｃは、ＲＯＩ４０ｃを拡大した画像である。画像４１ｄは、ＲＯＩ４０ｄを拡大した画像である。画像４１ｅは、ＲＯＩ４０ｅを拡大した画像である。
画像処理装置１００の解析部１５２は、上記処理と同様にして、ＲＯＩ４０ａから部分領域を抽出し、各部分領域の特徴量を算出する。画像処理装置１００の生成部１５４は、ＲＯＩ４０ａの各部分領域の特徴量を基にして、補助情報４２ａを生成し、画面情報４５に設定する。たとえば、補助情報４２ａは、図１８で説明した第３の補助情報であってもよいし、他の補助情報であってもよい。生成部１５４は、ＲＯＩ４０ｂ～４０ｅについても、の各部分領域の特徴量を基にして、補助情報４２ｂ～４２ｅを生成し、画面情報４５に設定する。
ユーザは、画面情報４５を参照することによって、病理画像全体の特徴を把握することができ、画像処理を実行する場合のパラメータ調整に役立てることができる。
［６．本実施形態に係る画像処理装置の効果］
本実施形態に係る画像処理装置１００は、病理画像から複数の部分領域を抽出し、部分領域の指定を受け付けた場合に、病理画像から算出される複数の特徴量に対して、部分画像を分類または抽出する場合に有効な特徴量を示す補助情報を生成する。画像処理装置１００は、補助情報を参照したユーザから、パラメータの設定を受け付けた場合、受け付けたパラメータを用いて、病理画像に対して画像処理を実行する。これによって、形態の見た目の特徴を定量化した特徴量を、補助情報によって適切に表示することができ、画像処理のパラメータの調整を容易にすることができる。たとえば、病理医などの専門家の「肉眼的・可視的な特徴」と、「算出された定量的特徴」との対応を容易に行うことができる。
画像処理装置１００は、指定された複数の部分領域をそれぞれ分類する際の寄与率を算出し、特徴量と寄与率とを対応付けた情報を補助情報として生成して表示する。ユーザは、かかる補助情報を参照することで、複数の部分領域をカテゴリ毎に分類する場合に、どの特徴量に重きをおいて、パラメータの設定を行えばよいかを容易に把握することができる。
画像処理装置１００は、指定された複数の部分領域から算出される複数の特徴量の大きさを基にして、一部の特徴量を選択し、選択した特徴量を補助情報として生成する。ユーザは、かかる補助情報を参照することで、指定した部分領域と同一のカテゴリとなる部分領域を抽出する場合に、利用すべき特徴量を容易に把握することができる。
画像処理装置１００は、病理画像に対してセグメンテーションを実行し、複数の部分領域を抽出する。これによって、ユーザは、病理画像に含まれる細胞形態に相当する領域を容易に指定することができる。
画像処理装置１００は、病理画像に含まれる全ての部分領域を表示し、全ての部分領域のうち、複数の部分領域の選択を受け付ける。これによって、ユーザは、補助情報の作成で用いる部分領域を容易に選択することができる。
画像処理装置１００は、因子分析または予測分析等を実行して、寄与率を算出する。これによって、指定された異なるカテゴリ毎に、部分領域を適切に分類する場合に有効となる特徴量を算出することができる。
画像処理装置１００は、一部の特徴量に対応する特徴空間を生成し、指定を受け付けた部分領域の特徴量に基づいて、指定を受け付けた部分領域に対応する特徴量空間上の位置を特定する。これによって、ユーザは、指定した部分領域に対する特徴空間上の位置を容易に把握することができる。
画像処理装置１００は、寄与率が上位となる特徴量を特定し、特定した特徴量の特徴空間を生成する。これによって、ユーザは、寄与率の高い特徴量の特徴空間における、指定した部分領域の分布を把握することができる。
画像処理装置１００は、病理画像全体に対して複数のＲＯＩが指定された場合に、各ＲＯＩに含まれる部分領域の特徴量を基にして、補助情報を生成する。これによって、病理画像全体の特徴を把握することができ、画像処理を実行する場合のパラメータ調整に役立てることができる。
＜＜３．ハードウェア構成＞＞
上述してきた各実施形態に係る画像処理装置は、たとえば、図２６に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る撮像システム１００を例に挙げて説明する。図２６は、画像処理装置の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read Only Memory）１３００、ＨＤＤ（Hard Disk Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic Input Output System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
また、コンピュータ１０００は、入出力インターフェイス１６００を介して、ミリ波レーダや、カメラモジュール（画像生成部１０７等に相当）に接続する。
例えば、コンピュータ１０００が実施形態に係る画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた画像処理プログラムを実行することにより、取得部１５１、解析部１５２、表示制御部１５３、生成部１５４、画像処理部１５５等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る画像処理プログラム等が格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
＜＜４．むすび＞＞
画像処理装置は、生成部と、画像処理部とを有する。生成部は、病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成する。画像処理部は、前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する。これによって、形態の見た目の特徴を定量化した特徴量を、補助情報によって適切に表示することができ、画像処理のパラメータの調整を容易にすることができる。たとえば、「病理医などの専門家の知識に基づく特徴」と、「算出された定量的特徴」との対応を容易に行うことができる。
前記生成部は、指定された前記複数の部分領域をそれぞれ分類する際の寄与率を算出し、前記特徴量と前記寄与率とをそれぞれ対応付けた情報を、前記補助情報として生成する。ユーザは、かかる補助情報を参照することで、複数の部分領域をカテゴリ毎に分類する場合に、どの特徴量に重きをおいて、パラメータの設定を行えばよいかを容易に把握することができる。
前記生成部は、指定された複数の部分領域から算出される複数の特徴量の大きさを基にして、一部の特徴量を選択し、選択した特徴量の情報を、前記補助情報として生成する。ユーザは、かかる補助情報を参照することで、指定した部分領域と同一のカテゴリとなる部分領域を抽出する場合に、利用すべき特徴量を容易に把握することができる。
画像処理装置は、前記画像に対してセグメンテーションを実行し、前記複数の部分領域を抽出する。これによって、ユーザは、病理画像に含まれる細胞形態に相当する領域を容易に指定することができる。
画像処理装置は、前記解析部に抽出された全ての部分領域を表示し、前記全ての部分領域のうち、複数の部分領域の指定を受け付ける表示制御部を更に有する。前記表示制御部は、前記補助情報を更に表示する。これによって、ユーザは、補助情報の作成で用いる部分領域を容易に選択することができる。
前記生成部は、因子分析または予測分析を実行して前記寄与率を算出する。これによって、指定された異なるカテゴリ毎に部分領域を適切に分類する場合に有効となる特徴量を算出することができる。
前記生成部は、一部の特徴量に対応する特徴空間を生成し、指定を受け付けた部分領域の特徴量に基づいて、指定を受け付けた部分領域に対応する前記特徴量空間上の位置を特定する。これによって、ユーザは、指定した部分領域に対する特徴空間上の位置を容易に把握することができる。
前記生成部は、寄与率が上位となる特徴量を特定し、特定した特徴量の特徴空間を生成する。これによって、ユーザは、寄与率の高い特徴量の特徴空間における、指定した部分領域の分布を把握することができる。
前記生成部は、前記病理画像に対して複数の領域を指定された場合に、複数の領域それぞれに対して補助情報を生成する。これによって、病理画像全体の特徴を把握することができ、画像処理を実行する場合のパラメータ調整に役立てることができる。
１ 診断支援システム
１０ 病理システム
１１ 顕微鏡
１２ サーバ
１３ 表示制御装置
１４ 表示装置
１００ 画像処理装置
１１０ 通信部
１２０ 入力部
１３０ 表示部
１４０ 記憶部
１４１ 病理画像ＤＢ
１４２ 特徴量テーブル
１５０ 制御部
１５１ 取得部
１５２ 解析部
１５３ 表示制御部
１５４ 生成部
１５５ 画像処理部

Claims (13)

  1. 病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成する生成部と、
    前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する画像処理部と
    を有する画像処理装置。
  2. 前記生成部は、指定された前記複数の部分領域をそれぞれ分類する際の寄与率を算出し、前記特徴量と前記寄与率とをそれぞれ対応付けた情報を、前記補助情報として生成する請求項１に記載の画像処理装置。
  3. 前記生成部は、指定された複数の部分領域から算出される複数の特徴量の大きさを基にして、一部の特徴量を選択し、選択した特徴量の情報を、前記補助情報として生成する請求項１に記載の画像処理装置。
  4. 前記画像に対してセグメンテーションを実行し、前記複数の部分領域を抽出する解析部を更に有する請求項１に記載の画像処理装置。
  5. 前記解析部に抽出された全ての部分領域を表示し、前記全ての部分領域のうち、複数の部分領域の指定を受け付ける表示制御部を更に有する請求項４に記載の画像処理装置。
  6. 前記表示制御部は、前記補助情報を更に表示する請求項５に記載の画像処理装置。
  7. 前記生成部は、因子分析または予測分析を実行して前記寄与率を算出する請求項２に記載の画像処理装置。
  8. 前記生成部は、一部の特徴量に対応する特徴空間を生成し、指定を受け付けた部分領域の特徴量に基づいて、指定を受け付けた部分領域に対応する前記特徴量空間上の位置を特定する請求項５に記載の画像処理装置。
  9. 前記生成部は、寄与率が上位となる特徴量を特定し、特定した特徴量の特徴空間を生成する請求項６に記載の画像処理装置。
  10. 前記生成部は、前記病理画像に対して複数の領域を指定された場合に、複数の領域それぞれに対して補助情報を生成する請求項１に記載の画像処理装置。
  11. コンピュータが、
    病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成し、
    前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する
    画像処理方法。
  12. コンピュータを、
    病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成する生成部と、
    前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対して画像処理を実行する画像処理部と
    として機能させるための画像処理プログラム。
  13. 医療画像取得装置と、前記医療画像取得装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
    前記ソフトウェアは、
    病理画像から抽出される複数の部分領域であって、細胞形態に対応する前記複数の部分領域の指定を受け付けた場合、前記画像から算出される複数の特徴量に対して、複数の部分領域をそれぞれ分類または抽出する際に有効な特徴量の情報を示す補助情報を生成し、
    前記補助情報に応じた調整項目の設定情報を受け付けた場合、前記設定情報を用いて前記画像に対する画像処理を画像処理装置に実行させる
    診断支援システム。
JP2020110156A 2020-06-26 2020-06-26 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム Pending JP2022007281A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020110156A JP2022007281A (ja) 2020-06-26 2020-06-26 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム
US18/002,423 US20230230398A1 (en) 2020-06-26 2021-06-02 Image processing device, image processing method, image processing program, and diagnosis support system
PCT/JP2021/020921 WO2021261185A1 (ja) 2020-06-26 2021-06-02 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020110156A JP2022007281A (ja) 2020-06-26 2020-06-26 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム

Publications (1)

Publication Number Publication Date
JP2022007281A true JP2022007281A (ja) 2022-01-13

Family

ID=79282542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020110156A Pending JP2022007281A (ja) 2020-06-26 2020-06-26 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム

Country Status (3)

Country Link
US (1) US20230230398A1 (ja)
JP (1) JP2022007281A (ja)
WO (1) WO2021261185A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034374A1 (ja) * 2022-08-12 2024-02-15 株式会社日立ハイテク オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5442542B2 (ja) * 2010-06-25 2014-03-12 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
WO2015198620A1 (ja) * 2014-06-23 2015-12-30 オリンパス株式会社 組織地図作成方法
JP6624369B2 (ja) * 2015-01-23 2019-12-25 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、画像表示装置およびコンピュータプログラム
JP6646552B2 (ja) * 2016-09-13 2020-02-14 株式会社日立ハイテクノロジーズ 画像診断支援装置、画像診断支援方法及び試料分析システム
JP7079631B2 (ja) * 2018-03-19 2022-06-02 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP2020115283A (ja) * 2019-01-17 2020-07-30 パナソニックＩｐマネジメント株式会社 特徴量決定方法、学習用データ生成方法、学習用データセット、評価システム、プログラム、及び、学習方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024034374A1 (ja) * 2022-08-12 2024-02-15 株式会社日立ハイテク オブジェクト分類装置、オブジェクト分類方法及びオブジェクト分類システム

Also Published As

Publication number Publication date
WO2021261185A1 (ja) 2021-12-30
US20230230398A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
JP6816196B2 (ja) 包括的なマルチアッセイ組織分析のためのシステムおよび方法
US10726295B2 (en) Control method and recording medium
KR20220012830A (ko) 신경망 기반 디지털 병리학 이미지의 관심 영역의 식별
WO2020182078A1 (zh) 影像分析方法、显微镜视频流处理方法和相关装置
US9891804B2 (en) Selection and display of biomarker expressions
US20150310652A1 (en) Systems and methods for split screen display of biological specimen and for capturing records thereof
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
US20100260395A1 (en) Graphical user interface for in-vivo imaging
US11776692B2 (en) Training data collection apparatus, training data collection method, program, training system, trained model, and endoscopic image processing apparatus
EP2546802A2 (en) Generating artificial hyperspectral images using correlated analysis of co-registered images
WO2021230000A1 (ja) 情報処理装置、情報処理方法及び情報処理システム
US20230393380A1 (en) Method And System For Identifying Objects In A Blood Sample
JP2009527063A (ja) 仮想環境において見本及びデータを使用及び統合するシステム及びその方法
WO2021261185A1 (ja) 画像処理装置、画像処理方法、画像処理プログラム及び診断支援システム
WO2022004337A1 (ja) 判断支援装置、情報処理装置及び学習方法
US11610395B2 (en) Systems and methods for generating encoded representations for multiple magnifications of image data
WO2021220873A1 (ja) 生成装置、生成方法、生成プログラム及び診断支援システム
WO2021157405A1 (ja) 解析装置、解析方法、解析プログラム及び診断支援システム
WO2020174863A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
WO2021261323A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
WO2021220803A1 (ja) 表示制御方法、表示制御装置、表示制御プログラム及び診断支援システム
WO2022202233A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル
WO2021157397A1 (ja) 情報処理装置及び情報処理システム
JP2019519794A (ja) サンプルの画像の中の、生体要素のうち少なくとも１つの関心ある要素の判別を支援するための方法及び電子デバイス、関連するコンピュータプログラム
CN101421718A (zh) 聚集和使用物理样本