JP2011137780A - 画像診断方法、画像診断装置および画像診断プログラム - Google Patents

画像診断方法、画像診断装置および画像診断プログラム Download PDF

Info

Publication number
JP2011137780A
JP2011137780A JP2010000149A JP2010000149A JP2011137780A JP 2011137780 A JP2011137780 A JP 2011137780A JP 2010000149 A JP2010000149 A JP 2010000149A JP 2010000149 A JP2010000149 A JP 2010000149A JP 2011137780 A JP2011137780 A JP 2011137780A
Authority
JP
Japan
Prior art keywords
image
resolution
feature
roi
diagnostic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010000149A
Other languages
English (en)
Other versions
JP5660273B2 (ja
Inventor
Atsushi Marukame
敦 丸亀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010000149A priority Critical patent/JP5660273B2/ja
Priority to EP10840917.8A priority patent/EP2522998A4/en
Priority to CN201080060594.5A priority patent/CN102687006B/zh
Priority to PCT/JP2010/073014 priority patent/WO2011081060A1/ja
Priority to US13/520,490 priority patent/US9014443B2/en
Publication of JP2011137780A publication Critical patent/JP2011137780A/ja
Application granted granted Critical
Publication of JP5660273B2 publication Critical patent/JP5660273B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

【課題】診断対象物のうち診断基準となる特徴部を診断に適した倍率で実用的な画像サイズの出力画像を作成することができる新しい画像診断方法を提供する。
【解決手段】診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得する取得手段11と、前記画像の解像度を、前記第1解像度より低い第2解像度に変換する変換手段12と、前記第2解像度に変換された前記画像を解析し、前記診断対象物のROIを抽出する抽出手段13と、抽出手段13により抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定する判定手段14と、前記特徴領域が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズ内に収まり、、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する作成手段15と、を含む画像診断装置。
【選択図】図2

Description

本発明は、画像診断方法、画像診断装置および画像診断プログラムに関する。
従来より、患者の診断方法の一つとして、たとえば、患者の人体より採取された病変の組織や細胞などの標本(病理標本)を、ガラスのスライド上に貼り付けて顕微鏡を用いて診断する病理診断がある。病理診断においては、病変の特徴として、低倍率で確認しやすい腺管のような特徴、および高倍率で確認しやすい細胞核内部のような特徴が存在する。顕微鏡を用いた病理診断は、まず、顕微鏡の倍率を低倍率に設定して標本を粗検索し、次いで、段階的に倍率を高倍率に設定して診断の基準となる特定の領域(ROI)を絞り込むことによって行われていた。
そして、近年、顕微鏡による病理診断以外にも、スライド上の標本を電子画像として取り込む画像スキャナを用いた病理診断(画像診断)が行われている。この画像診断は、標本を含むスライド全体を高倍率で撮像した電子画像(病理画像)からダウンサンプリングによって、撮像した倍率以下の画像を作成することで行われる。
画像診断としては、特許文献1に記載の技術のように、病理画像全体を一定の大きさのブロックに分割して、ROIの解析を各ブロック内で行うことが多く、また、画像の解像度を段階的に変える多重解像度による分析でも、ブロックを4分割や16分割など整数倍分割することが多い。ここで、画像処理の対象とするブロックサイズは、CPUやストレージなどのハードウェアの処理能力や、モニタなどの表示装置による解像度によって制限されることによって制限されるのが一般的である。
特開2009−009290号公報
しかしながら、固定倍率で取得した画像に基づいて画像診断する場合、上記の一定のブロックサイズによる処理では、病理画像の病変に該当する部位を診断に適した倍率で実用的な画像サイズに収めることは困難であるという問題点があった。すなわち、固定倍率が上記診断に適した倍率より低い場合、病理画像の病変に該当する部位全体が画像サイズ内や1つのブロックサイズ内に収まらない状況が生じ得る。一方、固定倍率が上記診断に適した倍率より高い場合、病理画像の病変に該当する部位全体が画像サイズ内や1つのブロックサイズ内の小領域内のみに収まる状況も生じ得る。
したがって、本発明は、上記問題点を解決し、診断基準となる特徴部を診断に適した倍率で実用的な画像サイズの出力画像を作成することができる新しい画像診断装置、画像診断方法、および画像診断プログラムを提供することを目的とする。
本発明による画像診断装置によれば、診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得する取得手段と、前記画像の解像度を、前記第1解像度より低い第2解像度に変換する変換手段と、前記第2解像度に変換された前記画像を解析し、前記診断対象物のROIを抽出する抽出手段と、前記抽出手段により抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定する判定手段と、前記特徴領域が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する作成手段と、を含む。
本発明による画像診断方法によれば、診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得する取得工程と、前記画像の解像度を、前記第1解像度より低い第2解像度に変換する変換工程と、前記第2解像度に変換された前記画像を解析し、前記診断対象物のROIを抽出する抽出工程と、前記抽出工程により抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定する判定工程と、前記特徴領域が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する作成工程と、を含む。
本発明による画像診断プログラムによれば、診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得するステップと、前記画像の解像度を、前記第1解像度より低い第2解像度に変換するステップと、前記第2解像度に変換された画像を解析し、前記診断対象物のROIを抽出するステップと、前記抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定するステップと、前記特徴が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成するステップと、を含む。
以上のように構成された本発明によれば、診断基準となる特徴部を診断に適した倍率で実用的な画像サイズの出力画像を作成することができる。
第1実施形態の画像診断装置10のハードウェア構成を示す概略図である。 第1実施形態の画像診断装置10の概略構成の一例を示す図である。 補間関数による画像信号のダウンサンプリングを説明するための図である。 近接する病理特徴の包含矩形の作成を説明するための図である。 第1実施形態の画像診断方法の処理内容を示すフローチャートである。 第2実施形態の画像診断装置10の概略構成の一例を示す図である。 異なる倍率での異なる病理特徴をWEBページに配置して表示する例を示す図である。 第2実施形態の画像診断方法の処理内容を示すフローチャートである。
以下、本発明を実施するための好適な各実施形態を、図面を参照しながら説明する。なお、各実施形態では、診断対象物として、人体より採取された病理標本を例に挙げて説明する。病理標本は、たとえば、臓器摘出によって得たブロック標本や針生検によって得た標本を厚さ数ミクロン程度に薄切した標本である。
<第1実施形態>
図1は、本発明の第1実施形態の画像診断装置10のハードウェア構成を示す概略図であって、図2は、本発明の第1実施形態の画像診断装置10の概略構成の一例を示す図である。
画像診断装置10は、ハードウェアとして、図1に示すように、たとえば、CPU(中央処理演算装置)、CPUにバス結合されたROM、RAM、記憶部、入力部、表示部、および入出力インタフェースなど、通常のコンピュータ装置と同様のハードウェアを備える。画像診断装置10は、物理的には、専用化したシステム、あるいは汎用の情報処理装置のいずれであってもよい。たとえば、一般的な構成の情報処理装置において、本発明の画像診断方法における各処理を規定したソフトウェアを起動することにより、画像診断装置10を実現することもできる。
画像診断装置10は、図2に示すように、画像データ取得手段11と、解像度変換手段12と、対象領域抽出手段13と、病理特徴判定手段14と、出力画像作成手段15と、出力画像表示手段16と、を含んで構成される。これらの各手段は、主にCPUがROMやRAMに格納されるプログラムを実行し、各ハードウェアを制御することにより、実現される。
画像データ取得手段(取得手段)11は、病理標本を撮影することによって生成された、第1解像度を有する最高倍率画像(画像)のデータを取得する。最高倍率画像は、たとえば、染色された病理標本をスライド上に貼り付け、画像スキャナによりスライド全体を最高倍率で撮像した画像であって、画像スキャナから取得することができる。第1解像度は、画像スキャナの最高倍率に対応した解像度である。
解像度変換手段(変換手段)12は、画像の解像度を、第1解像度より低い解像度に変換する。すなわち、解像度を変換することによって、最高倍率画像から小さい解像度で表現した縮小画像をデジタル信号処理で作成する。具体的には、解像度変換手段12は、画像の解像度を、第1解像度より低い第2解像度に変換する。第2解像度は、後述する対象領域抽出手段13によって病理標本のROIを抽出する際に、最初に指定する初期倍率に対応する解像度であって、病変に応じて設定することができる。初期倍率は、たとえば、顕微鏡を用いた病理診断を行う際、顕微鏡で見るときに最初に低倍率で設定する倍率よりも少し低い倍率に設定されることが望ましい。また、解像度変換手段12は、病理特徴領域の大きさに応じて、画像の解像度を、第1解像度以下で、かつ、第2解像度より高い第3解像度に変換して設定する。
ここで、第1解像度から、たとえば、第2解像度に変換する方法(縮小画像の生成方法)は、第2解像度が第1解像度の整数分の1の場合、第1解像度の画像において、一定間隔で平均値や中央値をとることで実現できる。また、任意の倍率の縮小画像を作成する場合は、信号処理技術で用いられるダウンサンプリングによって生成可能である。ダウンサンプリングは、たとえば、図3に示すように、元画像(高倍率画像)のサンプリング信号間の値を特定の補間関数(たとえば、B−spline関数、Lanczos関数など)でモデル化し、縮小画像時の間隔で必要な値を与える。なお、解像度の変換方法は、上記方法を含め、一般的に従来から知られている種々の方法を用いることができる。
対象領域抽出手段(抽出手段)13は、第2解像度に変換された画像(縮小画像)を解析し、病理標本の関心領域(ROI)を抽出する。抽出方法の具体例としては、がん細胞の細胞核が病理標本の診断基準となる病変の特徴(病理特徴)とすれば、がん細胞は正常細胞に対して密集増殖することが多いため、細胞核の高密度領域が疑わしい領域、すなわち特定の領域として抽出することができる。病理標本が、ヘマトキシリン−エオジン(HE)染色されている場合、細胞核の部分が青紫色に、細胞質の部分が赤紫色となるので、画像中の青紫画素の密度が高い部分、つまり、単位領域内で青紫色の画素が一定数以上の領域をROIとして抽出すると良い。なお、ROIの抽出方法は、上記方法を含め、従来のROI判定方法の技術を利用することができる。
病理特徴判定手段(判定手段)14は、抽出されたROIで、所定の画像特徴を示す特徴領域(病理特徴領域)が存在するか否かを判定する。病理特徴領域が存在するか否かの判定方法は、ROIに、その病理特徴の色、形に該当する病理特徴が抽出できるか否かで判定することができる。たとえば、病理特徴の色、形などを特徴量ベクトルとして、ニューラルネットワークやサポートベクターマシンなどの機械学習方式であらかじめ学習された識別器を用いることもできる。なお、病理特徴の判定方法は、上記方法を含め、従来の病理特徴の判定方法の技術を利用することができる。
病理特徴判定手段14は、病理特徴領域が見つかれば、縮小画像の倍率、縮小画像中での病理特徴の大きさおよび位置情報、その最高倍率画像中での換算値を出力画像作成手段15に送る。また、病理特徴判定手段14は、病理特徴領域が見つからなければ、画像の解像度を、第1解像度以下で、かつ、第2解像度より高い第3解像度に変換するよう、解像度変換手段12に指示情報を送る。その結果、解像度変換手段12によって新たに変換された解像度を表示する縮小画像において、対象領域抽出手段13と病理特徴判定手段14は、再度、ROIを抽出し、病理特徴領域が存在するか否かを判定する。なお、2回目以降のROIの抽出は、処理時間削減のため、前回の解像度での情報を利用してもよい。これら解像度変換手段12、対象領域抽出手段13、および病理特徴判定手段14は、病理特徴が見つかるまで、または、第1解像度(最高倍率)に到達するまでそれぞれの処理を実行する。もし、最高倍率においても病理特徴領域が見つからなかった場合、病理特徴領域の不在情報を出力画像作成手段15に送る。
出力画像作成手段(作成手段)15は、病理特徴領域が存在する場合、その病理特徴領域の適切な倍率を計算し、その倍率と、最高倍率画像での対応位置から、最高倍率画像のうち病理特徴領域に該当する部位を、出力する画像サイズの所定範囲に収まるように解像度変換して出力画像を作成する。
すなわち、縮小画像の解像度(倍率)の情報、縮小画像中での病理特徴の大きさおよび位置情報、最高倍率画像中での換算値の情報を受け取ると、これらの情報に基づいて、CPUやストレージなどのハードウェアの処理能力等に基づいて予め設定されたサイズの出力画像を作成する。この際、病理特徴領域が、出力画像のサイズに収まり、かつ、所定割合以上を占めるように、出力画像の解像度を調節する。
たとえば、出力画像のサイズが2048×2048画素であり、病理特徴領域が出力画像の50%を占めるように解像度を調節する場合を考える。この場合、出力画像の解像度は、縮小画像での病理特徴領域の総画素数をAとすると、出力画像サイズとの比率P(2097152/A)と、縮小画像の倍率xとから、P×xとして算出することができる。なお、病理特徴領域の出力画像に占める割合は、上記50%の場合に限られず、100%未満であれば、病理特徴に応じて適宜自由に設定することができる。
解像度を算出した後、出力画像作成手段15は、最高倍率画像を、前記算出した解像度の縮小画像に変換し、次に、病理特徴領域の位置情報に基づき、該縮小画像において対応する病理特徴領域を切り出すことにより、出力画像を生成する。なお、縦横比が極端に大きいか、または小さい場合に対応して縦方向50%以上、横方向50%以上のように各方向での最低比率を設定してもよい。また、病理特徴領域が、たとえば、図4に示すように、同一倍率で、一定距離内で近接(隣接)する場合、近接する病理特徴領域をまとめて包含矩形(バウンディングボックス)を作成し、該包含矩形を一つの病理特徴領域とみなして、上述した出力画像を生成してもよい。
出力画像表示手段16は、たとえば、作成した出力画像を表示するモニタである。また、表示手段16は、病理特徴領域が存在しない場合、すなわち、病理特徴領域の不在情報を受けた場合、たとえば、「病理特徴は見つかりませんでした」と表示部に表示し、または非表示のままとすることができる。
以下、図5に示すフローチャートを参照して、画像診断装置10において実施される本実施形態の画像診断方法を説明する。なお、図5のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
まず、画像データ取得手段11は、第1解像度を有する最高倍率画像のデータを取得する(ステップS100)。最高倍率画像は、たとえば、染色された病理標本をスライド上に貼り付け、画像スキャナによりスライド全体を最高倍率で撮像した画像である。
次いで、解像度変換手段12は、最高倍率画像の変換する解像度を設定する(ステップS101)。初期設定としては、第1解像度より低い第2解像度を設定する。第2解像度は、病理標本の特徴的な領域を抽出する際に、最初に指定する初期倍率に対応する解像度である。
次いで、解像度変換手段12は、解像度を変換することによって、最高倍率画像から小さい解像度で表現した縮小画像をデジタル信号処理で作成する(ステップS102)。縮小画像の生成方法については、上述したように、種々の方法を用いることができ、たとえばダウンサンプリングを用いる。
次いで、対象領域抽出手段13は、解像度が変換された縮小画像を解析し、病理標本のROIを抽出する(ステップS103)。たとえば、がん細胞の細胞核が病理標本の診断基準となる特徴(病理特徴)とすれば、がん細胞は正常細胞に対して密集増殖することが多いため、細胞核の高密度領域が疑わしい領域、すなわち特定の領域(ROI)として抽出することができる。
ROIが抽出された場合(ステップS104:Yes)、病理特徴判定手段14は、ROIに、病理特徴領域が存在するか否かを判定する(ステップS105)。病理特徴領域が存在するか否かの判定方法は、ROIに、その病理特徴の色、形に該当する特徴が抽出できるか否かで判定することができる。
病理特徴領域が存在する場合(ステップS106:Yes)、出力画像作成手段15は、最高倍率画像のうち病理特徴領域が、出力画像のサイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する(ステップS107)。出力画像の生成は、上述したように、病理特徴領域が存在する場合に、病理特徴判定手段14から送られてくる縮小画像の倍率、縮小画像中での病理特徴の大きさおよび位置情報、その最高倍率画像中での換算値に基づいて行われる。作成された出力画像を、表示手段16によって表示し、必要に応じて画像処理を施すことで、病理医は画像診断を行うことができる。
ROIが抽出されない場合(ステップS104:No)、または、病理特徴領域が存在しない場合(ステップS106:No)、現在設定されている解像度が最高倍率の解像度(第1解像度)であるか否かを判定する(ステップS108)。
現在設定されている解像度が最高倍率の解像度である場合(ステップS108:Yes)、本処理フローを終了する。一方、最高倍率の解像度でない場合(ステップS108:No)、ステップS101の処理に戻り、解像度変換手段12は、現在設定されている解像度を一定の割合で高くした解像度を、最高倍率画像の変換する解像度として設定し、上記ステップS101〜S108の処理を繰り返す。
なお、上記第1実施形態の画像診断方法を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読取自在な情報記憶媒体(メモリ)に格納して、その計算機上において上記処理フローで示す処理を実行することで、本実施形態の画像診断プログラムを提供することができる。
以上、本実施形態によれば、診断基準となる特徴部を診断に適した倍率で実用的な画像サイズの出力画像を作成することができる。たとえば、がん診断のための病理診断に対して、レンズの倍率にないさまざまな倍率で、診断基準となる病理特徴の明確な表示が可能である。
また、病理画像のROI抽出処理と、画像のダウンサンプリング処理による縮小画像作成の反復処理によって、病理特徴を診断に適した倍率で、実用的な画像サイズで画像内に収めることができる。
さらに、電子化された病理画像で診断する際に、CPUやストレージなどのハードウェアの処理能力や、モニタなどの表示装置による解像度によって制限される画像サイズ内で、最大限、見やすい病理特徴を表示することができる。
さらに、病理画像特徴が明確な倍率、画像サイズで電子データとして保存することで、病理画像診断の訓練材料の蓄積を可能とする。
<第2実施形態>
以下、本発明の第2実施形態の画像診断装置20について説明する。
第2実施形態は、複数の病理特徴に対して適切な倍率の出力画像を作成し、かつ、それらを関連付けて画像出力する。本実施形態では、異なる倍率で確認可能な2つの病理特徴(第1病理特徴および第2病理特徴)を有する場合を例に取って説明するが、本発明はこれに限られず、たとえば、3つ以上の病理特徴を有していてもよい。
図6は、本発明の第2実施形態の画像診断装置20の概略構成の一例を示す図である。
画像診断装置20は、図6に示すように、画像データ取得手段11、解像度変換手段12と、第1対象領域抽出手段13Aおよび第2対象領域抽出手段13Bと、第1病理特徴判定手段14Aおよび第2病理特徴判定手段14Bと、出力画像表示手段16と、出力画像統合手段17と、を含んで構成される。これらの各手段は、主にCPUがROMやRAMに格納されるプログラムを実行し、各ハードウェアを制御することにより、実現される。なお、各手段について、上記第1実施形態の各手段と原則として共通とすることができる構成は、ここでの詳細な説明を省略する。
第1対象領域抽出手段13Aは、第2解像度に変換された画像(縮小画像)を解析し、第1病理特徴のROIを抽出し、第2対象領域抽出手段13Bは、第2解像度に変換された画像(縮小画像)を解析し、第2病理特徴のROIを抽出する。なお、第1対象領域抽出手段13Aおよび第2対象領域抽出手段13B自体の機能は、第1実施形態の対象領域抽出手段13と共通とすることができるので、ここでの詳細な説明は省略する。
第1病理特徴判定手段14Aは、抽出されたROIで、第1病理特徴が存在するか否かを判定し、第1病理特徴判定手段14Bは、抽出されたROIで、第2病理特徴が存在するか否かを判定する。なお、第1病理特徴判定手段14Aおよび第2病理特徴判定手段14B自体の機能は、第1実施形態の病理特徴判定手段14と共通とすることができるので、ここでの詳細な説明は省略する。
出力画像統合手段17は、第1実施形態の出力画像作成手段15の機能に加えて、病理特徴ごとに作成された出力画像を関連付ける機能を有する。たとえば、第1病理特徴の領域と、第2病理特徴の領域とが異なる倍率において同じ位置にある場合は、それぞれの出力画像を関連付けた上で統合し、表示手段16に表示させる。関連付けの方法としては、各出力画像の画像ヘッダに相互の画像情報を表示させたり、WEBページ上に配置して表示する方法が考えられる。なお、WEBページに配置する場合は、図7に示すように、情報リンク等を設定してもよい。
以下、図8に示すフローチャートを参照して、画像診断装置20において実施される本実施形態の画像診断方法を説明する。本実施形態では、異なる倍率で確認可能な2つの病理特徴(腺管構造に特徴を有する第1病理特徴、細胞核構造に特徴を有する第2病理特徴)を用いて説明する。なお、図8のフローチャートで示される各処理は、処理内容に矛盾を生じない範囲で任意に順番を変更して又は並列に実行することができる。
まず、画像データ取得手段11は、第1解像度を有する最高倍率画像のデータを取得する(ステップS200)。
次いで、出力画像を生成する病理特徴を設定する(ステップS201)。たとえば、最初に、腺管構造に特徴を有する第1病理特徴の出力画像を生成するものとして、第1病理特徴を設定する。
次いで、ステップS202〜S209の各処理を実行する。なお、ステップS202〜S209の各処理は、第1実施形態のステップS101〜S108の処理と同様であるので、ここでの詳細な説明は省略する。
ステップS208の処理、またはステップS209の処理の後、次の病理特徴が有るか否かを判定する(ステップS210)。
次の病理特徴が有れば(ステップS210:Yes)、ステップS201の処理に戻り、次の病理特徴である、細胞核構造に特徴を有する第2病理特徴の出力画像を生成するものとして、第2病理特徴を設定し、上記ステップS202〜S209の処理を繰り返す。
次の病理特徴がなければ(ステップS210:No)、出力画像統合手段16は、病理特徴ごとに作成された出力画像を関連付けて表示する(ステップS211)。たとえば、第1病理特徴と、第2病理特徴が異なる倍率において同じ位置にある場合は、図7に示すように、それぞれの出力画像を関連付けた上で統合して表示する。
なお、上記第2実施形態の画像診断方法を計算機上で実行可能なプログラムとして構成し、そのプログラムを計算機で読取自在な情報記憶媒体(メモリ)に格納して、その計算機上において上記処理フローで示す処理を実行することで、本実施形態の画像診断プログラムを提供することができる。
以上、本実施形態によれば、病理特徴ごとに、それぞれ病理特徴領域を診断に適した倍率で実用的な画像サイズの出力画像を作成することができる。また、異なる病理特徴を関連付けて表示することで、病理診断する病理医に対して、有用な情報を提供し、診断の効率を向上させることができる。
<変形例>
以上のように本発明の好適な実施形態について説明したが、本発明は、以上の実施形態に限定されるべきものではなく、特許請求の範囲に表現された思想および範囲を逸脱することなく、種々の変形、追加、および省略が当業者によって可能である。
たとえば、上記各実施形態では、出力画像をモニタなどの表示部で表示する場合を例にとって説明したが、本発明はこれに限られず、たとえば、画像診断装置10,20に接続されたプリンタなどの印刷装置で出力画像を印刷してもよい。
また、上記各実施形態では、診断対象物として病理標本を例にとって説明したが、本発明はこれに限られず、他の生体標本を用いてもよい。
さらに、各実施形態において、画像診断装置10,20には、用途に応じた各手段が備えられているが、画像診断装置10,20に備えられている各手段は、そのいくつかを一纏めにして構成されていてもよいし、一つの手段をさらに複数の手段に分割して構成されていてもよい。
10,20 画像診断装置、
11 画像データ取得手段、
12 解像度変換手段、
13 対象領域抽出手段、
14 病理特徴判定手段、
15 出力画像作成手段、
16 出力画像表示手段。

Claims (6)

  1. 診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得する取得手段と、
    前記画像の解像度を、前記第1解像度より低い第2解像度に変換する変換手段と、
    前記第2解像度に変換された前記画像を解析し、前記診断対象物のROIを抽出する抽出手段と、
    前記抽出手段により抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定する判定手段と、
    前記特徴領域が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する作成手段と、
    を含む画像診断装置。
  2. 前記抽出手段によってROIが抽出されない場合、
    前記変換手段は、前記画像の解像度を、前記第1解像度以下で、かつ、前記第2解像度より高い第3解像度に変換し、
    前記抽出手段は、前記第3解像度に変換された前記画像を解析し、前記診断対象物の前記ROIを抽出する、請求項1に記載の画像診断装置。
  3. 前記作成手段は、複数存在する前記所定の画像特徴ごとに出力画像を作成し、
    異なる画像特徴が前記画像の同じ位置に存在する場合は、該異なる画像特徴の各出力画像を関連付けて表示する表示手段をさらに含む、請求項1または請求項2に記載の画像診断装置。
  4. 前記診断対象物は、病理標本である請求項1〜3のいずれか1項に記載の画像診断装置。
  5. 診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得する取得工程と、
    前記画像の解像度を、前記第1解像度より低い第2解像度に変換する変換工程と、
    前記第2解像度に変換された前記画像を解析し、前記診断対象物のROIを抽出する抽出工程と、
    前記抽出工程により抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定する判定工程と、
    前記特徴領域が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成する作成工程と、
    を含む画像診断方法。
  6. 診断対象物を撮影することによって生成された第1解像度を有する画像のデータを取得するステップと、
    前記画像の解像度を、前記第1解像度より低い第2解像度に変換するステップと、
    前記第2解像度に変換された画像を解析し、前記診断対象物のROIを抽出するステップと、
    前記抽出されたROIに、所定の画像特徴を示す特徴領域が存在するか否かを判定するステップと、
    前記特徴が存在する場合、前記画像のうち前記特徴領域が、出力する画像サイズに収まり、かつ、所定割合以上を占めるように解像度変換して出力画像を作成するステップと、
    を含む画像診断プログラム。
JP2010000149A 2010-01-04 2010-01-04 画像診断方法、画像診断装置および画像診断プログラム Active JP5660273B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010000149A JP5660273B2 (ja) 2010-01-04 2010-01-04 画像診断方法、画像診断装置および画像診断プログラム
EP10840917.8A EP2522998A4 (en) 2010-01-04 2010-12-21 IMAGE DIAGNOSIS PROCEDURE, IMAGE DIAGNOSIS DEVICE AND IMAGE DIAGNOSTIC PROGRAM
CN201080060594.5A CN102687006B (zh) 2010-01-04 2010-12-21 图像诊断方法、图像诊断装置
PCT/JP2010/073014 WO2011081060A1 (ja) 2010-01-04 2010-12-21 画像診断方法、画像診断装置および画像診断プログラム
US13/520,490 US9014443B2 (en) 2010-01-04 2010-12-21 Image diagnostic method, image diagnostic apparatus, and image diagnostic program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010000149A JP5660273B2 (ja) 2010-01-04 2010-01-04 画像診断方法、画像診断装置および画像診断プログラム

Publications (2)

Publication Number Publication Date
JP2011137780A true JP2011137780A (ja) 2011-07-14
JP5660273B2 JP5660273B2 (ja) 2015-01-28

Family

ID=44226467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010000149A Active JP5660273B2 (ja) 2010-01-04 2010-01-04 画像診断方法、画像診断装置および画像診断プログラム

Country Status (5)

Country Link
US (1) US9014443B2 (ja)
EP (1) EP2522998A4 (ja)
JP (1) JP5660273B2 (ja)
CN (1) CN102687006B (ja)
WO (1) WO2011081060A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190429A (ja) * 2012-03-14 2013-09-26 Sony Corp デジタル病理画像のための自動同期ナビゲーションシステム
JP2014140335A (ja) * 2013-01-24 2014-08-07 Dainippon Printing Co Ltd 培地画像解析装置、培地情報登録システム、プログラム及び衛生管理システム
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP2018180635A (ja) * 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
US10274716B2 (en) 2013-01-16 2019-04-30 Sony Corporation Image acquisition apparatus, image acquisition method, and information processing program
KR20190067560A (ko) * 2017-12-07 2019-06-17 울산대학교 산학협력단 이식 거부반응 판별 모델 생성 방법 및 장치
KR102064957B1 (ko) * 2018-04-10 2020-01-10 가톨릭대학교 산학협력단 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템
JP2020042754A (ja) * 2018-09-07 2020-03-19 株式会社フジクラ 分類装置、分類方法、分類プログラム、及び検査装置
KR102218255B1 (ko) * 2020-09-25 2021-02-19 정안수 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램
JP6908806B1 (ja) * 2020-09-16 2021-07-28 BonBon株式会社 プログラム、情報処理装置、方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9582897B2 (en) * 2012-02-09 2017-02-28 Nec Corporation Lifeform image analysis system, lifeform image analysis method, and lifeform image analysis program
US9389229B2 (en) * 2012-07-18 2016-07-12 Theranos, Inc. Methods for detecting and measuring aggregation
KR101534089B1 (ko) * 2013-06-25 2015-07-06 삼성메디슨 주식회사 초음파 진단 장치 및 그 동작방법
KR102125525B1 (ko) * 2013-11-20 2020-06-23 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
CN107209111B (zh) * 2015-01-31 2020-08-28 文塔纳医疗系统公司 自动化整体载片分析的质量控制
JP6719104B2 (ja) * 2015-08-28 2020-07-08 パナソニックIpマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
CN109905717A (zh) * 2017-12-11 2019-06-18 四川大学 一种基于空时域下采样与重建的h.264/avc编码优化方法
CN113439227B (zh) * 2019-01-22 2023-06-09 应用材料公司 放大图像的捕获和存储
JP2021056004A (ja) * 2019-09-26 2021-04-08 キヤノン株式会社 画像判定装置及び画像判定方法
US11798165B2 (en) * 2020-10-28 2023-10-24 Sony Group Corporation Tumor detection and segmentation for DPI AI platform routes
WO2023195405A1 (ja) * 2022-04-04 2023-10-12 京セラコミュニケーションシステム株式会社 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010884A (ja) * 2003-06-17 2005-01-13 Canon Inc 遠隔診断システム
JP2006301965A (ja) * 2005-04-20 2006-11-02 Canon Inc 情報処理装置、画像処理装置、画像処理システム及び方法、並びに記憶媒体
JP2008093172A (ja) * 2006-10-11 2008-04-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2008535528A (ja) * 2005-01-18 2008-09-04 トレストル コーポレーション スライドの可変品質画像を形成するためのシステムおよび方法
JP2009229203A (ja) * 2008-03-21 2009-10-08 Nec Corp 病理画像診断装置、病理画像診断方法及びプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5644366A (en) * 1992-01-29 1997-07-01 Canon Kabushiki Kaisha Image reproduction involving enlargement or reduction of extracted contour vector data for binary regions in images having both binary and halftone regions
JP3077745B2 (ja) * 1997-07-31 2000-08-14 日本電気株式会社 データ処理方法および装置、情報記憶媒体
EP1122939A3 (en) * 2000-01-31 2003-08-27 Canon Kabushiki Kaisha Image processing system
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
JP3706817B2 (ja) * 2000-06-27 2005-10-19 キヤノン株式会社 画像処理装置及びその処理方法
US20040202357A1 (en) * 2003-04-11 2004-10-14 Perz Cynthia B. Silhouette image acquisition
US20050142608A1 (en) * 2003-09-22 2005-06-30 Yokogawa Electric Corporation Screening method and device, and new drug screening method and device
EP1774910A4 (en) 2004-07-30 2009-11-11 Hitachi Medical Corp MEDICAL DIAGNOSTIC ASSIST SYSTEM BY IMAGE, IMAGE PROCESSING DEVICE AND PROGRAM
CN1775171B (zh) 2004-08-30 2011-12-14 株式会社东芝 医用图像显示装置
US20060159325A1 (en) 2005-01-18 2006-07-20 Trestle Corporation System and method for review in studies including toxicity and risk assessment studies
US20070031043A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of intelligently directed segmentation analysis for automated microscope systems
US20070135999A1 (en) * 2005-12-13 2007-06-14 Applied Spectral Imaging Ltd. Method, apparatus and system for characterizing pathological specimen
EP2034349B2 (en) * 2006-06-08 2023-07-19 Nikon Corporation Observing apparatus and observing method
JP4947589B2 (ja) 2007-06-27 2012-06-06 Kddi株式会社 類似画像検索装置
JP5503119B2 (ja) 2008-06-18 2014-05-28 株式会社三共 遊技機

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005010884A (ja) * 2003-06-17 2005-01-13 Canon Inc 遠隔診断システム
JP2008535528A (ja) * 2005-01-18 2008-09-04 トレストル コーポレーション スライドの可変品質画像を形成するためのシステムおよび方法
JP2006301965A (ja) * 2005-04-20 2006-11-02 Canon Inc 情報処理装置、画像処理装置、画像処理システム及び方法、並びに記憶媒体
JP2008093172A (ja) * 2006-10-11 2008-04-24 Olympus Corp 画像処理装置、画像処理方法、および画像処理プログラム
JP2009229203A (ja) * 2008-03-21 2009-10-08 Nec Corp 病理画像診断装置、病理画像診断方法及びプログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013190429A (ja) * 2012-03-14 2013-09-26 Sony Corp デジタル病理画像のための自動同期ナビゲーションシステム
US10274716B2 (en) 2013-01-16 2019-04-30 Sony Corporation Image acquisition apparatus, image acquisition method, and information processing program
JP2014140335A (ja) * 2013-01-24 2014-08-07 Dainippon Printing Co Ltd 培地画像解析装置、培地情報登録システム、プログラム及び衛生管理システム
JP2018022484A (ja) * 2016-08-02 2018-02-08 三菱電機株式会社 画像内の物体を検出する方法及び物体検出システム
US11606516B2 (en) 2016-12-28 2023-03-14 Sony Semiconductor Solutions Corporation Image processing device, image processing method, and image processing system
JP2018107759A (ja) * 2016-12-28 2018-07-05 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び画像処理システム
JP2018180635A (ja) * 2017-04-04 2018-11-15 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
KR20190067560A (ko) * 2017-12-07 2019-06-17 울산대학교 산학협력단 이식 거부반응 판별 모델 생성 방법 및 장치
KR102044525B1 (ko) 2017-12-07 2019-11-14 울산대학교 산학협력단 이식 거부반응 판별 모델 생성 방법 및 장치
KR102064957B1 (ko) * 2018-04-10 2020-01-10 가톨릭대학교 산학협력단 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템
JP2020042754A (ja) * 2018-09-07 2020-03-19 株式会社フジクラ 分類装置、分類方法、分類プログラム、及び検査装置
JP7289658B2 (ja) 2018-09-07 2023-06-12 株式会社フジクラ 分類装置、分類方法、分類プログラム、及び検査装置
JP6908806B1 (ja) * 2020-09-16 2021-07-28 BonBon株式会社 プログラム、情報処理装置、方法
JP2022049586A (ja) * 2020-09-16 2022-03-29 BonBon株式会社 プログラム、情報処理装置、方法
KR102218255B1 (ko) * 2020-09-25 2021-02-19 정안수 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
WO2011081060A1 (ja) 2011-07-07
EP2522998A4 (en) 2013-08-14
JP5660273B2 (ja) 2015-01-28
CN102687006A (zh) 2012-09-19
US20130011028A1 (en) 2013-01-10
EP2522998A1 (en) 2012-11-14
US9014443B2 (en) 2015-04-21
CN102687006B (zh) 2014-12-31

Similar Documents

Publication Publication Date Title
JP5660273B2 (ja) 画像診断方法、画像診断装置および画像診断プログラム
JP6091137B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP5589366B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
WO2020253886A1 (zh) 一种病理辅助诊断方法
JP2009542369A (ja) Dicomを介した大画像保存および取得方法
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2014130221A (ja) 画像処理装置、その制御方法、画像処理システム、及びプログラム
JP2013152454A (ja) 画像処理装置、画像処理システム、画像処理方法および画像処理プログラム
CN108830149B (zh) 一种目标细菌的检测方法及终端设备
JP2013200640A (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
JP2012073179A (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP2018180794A (ja) 画像診断支援装置及び画像診断支援システム、並びに画像診断支援方法
Pereira et al. Creating high-resolution multiscale maps of human tissue using multi-beam SEM
JP2013152701A (ja) 画像処理装置、画像処理システム、画像処理方法
JP2006346094A (ja) 検出情報の出力方法及び医用画像処理システム
CN115410693B (zh) 一种数字病理切片的存储系统、浏览系统及方法
JP5832281B2 (ja) 画像処理装置、画像処理システム、画像処理方法、およびプログラム
EP4174764A1 (en) Information processing device, information processing method, program, and information processing system
JP4591142B2 (ja) 医用画像システム
Hamdi et al. Analysis of WSI Images by Hybrid Systems with Fusion Features for Early Diagnosis of Cervical Cancer
de Haan et al. Deep learning-based transformation of the H&E stain into special stains improves kidney disease diagnosis
WO2022202233A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル
Ashman et al. A Camera-Assisted Pathology Microscope to Capture the Lost Data in Clinical Glass Slide Diagnosis
Yoo et al. Visualizing cells and humans in 3D: biomedical image analysis at nanometer and meter scales
Williams et al. The JCB DataViewer scales up

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141118

R150 Certificate of patent or registration of utility model

Ref document number: 5660273

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150