JP2019030584A - 画像処理システム、装置、方法およびプログラム - Google Patents

画像処理システム、装置、方法およびプログラム Download PDF

Info

Publication number
JP2019030584A
JP2019030584A JP2017154460A JP2017154460A JP2019030584A JP 2019030584 A JP2019030584 A JP 2019030584A JP 2017154460 A JP2017154460 A JP 2017154460A JP 2017154460 A JP2017154460 A JP 2017154460A JP 2019030584 A JP2019030584 A JP 2019030584A
Authority
JP
Japan
Prior art keywords
image
region
attribute
interest
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017154460A
Other languages
English (en)
Other versions
JP6824845B2 (ja
Inventor
斌 陳
Hin Chin
斌 陳
大介 古川
Daisuke Furukawa
大介 古川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017154460A priority Critical patent/JP6824845B2/ja
Priority to US16/055,618 priority patent/US10748282B2/en
Publication of JP2019030584A publication Critical patent/JP2019030584A/ja
Application granted granted Critical
Publication of JP6824845B2 publication Critical patent/JP6824845B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】 再現性よく推論結果が得られる技術を提供する。【解決手段】 画像処理システムは、学習用画に描出されている注目部位を示す注目領域に属する互いに異なる複数の位置座標を前記学習用画像に設定する第1設定手段と、前記注目領域を、前記複数の位置座標の各々を用いて抽出する抽出手段と、前記複数の位置座標に対応する前記注目領域の複数の抽出結果それぞれから、前記注目部位の属性を決定するための特徴量を計算する計算手段と、前記注目領域の複数の抽出結果に対応する複数の前記特徴量と前記学習用画像に描出されている前記注目部位の属性の正解値とに基づいて、前記属性を決定するための識別器を構築する構築手段と、を有する。【選択図】 図6

Description

明細書に開示の技術は、画像処理システム、装置、方法およびプログラムに関する。
近年、医療現場ではコンピュータ断層撮影(CT)画像、核磁気共鳴(MR)画像などの医用画像を用いた診断および治療が数多く行われている。これらの医用画像を用いた診断(画像診断)は、医師が診断対象である医用画像から異常陰影等を発見してその異常陰影の属性を得ることと、前記属性ならびに事前に得た臨床情報に基づいて、当該異常陰影が何であるかを鑑別することとなる。
医師による画像診断の支援を目的として、医用画像における異常陰影が何であるかを自動的に推論して提示するコンピュータ診断支援(Computer Aided Diagnosis: CAD)装置の開発が行われている。例えば、胸部CT像のある異常陰影(肺結節)が悪性腫瘍である確率と良性腫瘍である確率を算出して、これを提示するような装置が考えられている。
下記特許文献1には、医用画像から対象となる異常陰影(以下、対象異常陰影)の領域と特徴量を取得することによって、対象異常陰影の良悪性を鑑別する技術が記載されている。この技術は、まず医師が入力した対象異常陰影の位置情報(シード点)に基づいて、対象異常陰影の領域を医用画像から特定(領域抽出)する。その後、特定された領域の特徴量を算出し、得られた特徴量に基づいて当該対象異常陰影の良悪性を推論する。
特開2016−7270号公報
特許文献1の技術では、医師が対象異常陰影の位置情報を入力する際、同じ異常陰影であっても、異なる時期に異なる位置情報を入力する可能性が高い。それによって、異なる時期に特定される同一対象異常陰影の領域および属性にずれが発生し、最終的に鑑別診断推論結果の再現性が低下する可能性がある。
なお、前記課題に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の課題の1つとして位置付けることができる。
上記の目的を達成するための、開示の画像処理システムは、学習用画に描出されている注目部位を示す注目領域に属する互いに異なる複数の位置座標を前記学習用画像に設定する第1設定手段と、前記注目領域を、前記複数の位置座標の各々を用いて抽出する抽出手段と、前記複数の位置座標に対応する前記注目領域の複数の抽出結果それぞれから、前記注目部位の属性を決定するための特徴量を計算する計算手段と、前記注目領域の複数の抽出結果に対応する複数の前記特徴量と前記学習用画像に描出されている前記注目部位の属性の正解値とに基づいて、前記属性を決定するための識別器を構築する構築手段と、識別用画像に描出されている前記注目部位を示す注目領域に属する位置座標を前記識別用画像に設定する第2設定手段と、前記識別器と前記第2設定手段により設定された位置座標を用いて、前記識別用画像に描出されている前記注目部位の属性を決定する決定手段と、を有する。
明細書に開示の技術によれば、再現性よく推論結果が得られる技術を提供することが可能となる。
第1実施形態に係る画像処理システムの装置構成の一例を示す図である。 第1実施形態に係る画像処理システムの機能構成の一例を示す図である。 第1実施形態に係る画像処理装置100の処理手順の一例を示す図である。 第1実施形態に係る基準点情報の生成の一例を説明する図である。 第1実施形態に係る領域データ群の生成の一例を説明する図である。 第1実施形態に係る特徴量データ群の生成と識別器の構築の一例を説明する図である。 第2実施形態に係る画像処理システムの機能構成の一例を示す図である。 第2実施形態に係る画像処理装置の処理手順の一例を示す図である。 第2実施形態に係る基準点生成モデルの構築の一例を説明する図である。 第3実施形態に係る画像処理システムの機能構成の一例を示す図である。 第3実施形態に係る画像処理装置の処理手順の一例を示す図である。
以下、図面を参照して、実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。
(第1の実施形態)
(概要)
本実施形態に係る画像処理装置は、学習過程と識別過程の2つの処理を行う。学習過程では、画像処理装置は、まず学習用画像から、処理対象である肺結節(以下、対象肺結節)に属する複数の位置座標(基準点)を取得し、それぞれの基準点に基づいて対象肺結節の抽出結果(マスク画像)を複数個取得する。肺結節は注目部位の一例に相当し、肺結節の領域は、注目領域の一例に相当する。次に、画像処理装置は、取得されたそれぞれのマスク画像に対応する対象肺結節の特徴量を算出し、求める対象である当該対象肺結節の属性の正解値と同時に学習データに登録する。画像処理装置は、登録された複数の学習データを用いて対象肺結節の属性を求める(推論する)識別器を構築する。そして、識別過程では、画像処理装置は、学習過程で構築された識別器を用いて、識別用画像における肺結節の属性を推論する。ここで、属性とは例えば肺結節の良悪性や肺結節の画像所見を指す。以下の説明では、CT画像上の肺結節を処理対象とする場合について説明するが、本実施形態の適用範囲は、対象臓器、腫瘍やモダリティの種類に限定されるものではない。以下、具体的な装置構成、機能構成および処理フローを説明する。
(装置構成)
図1に基づいて本発明の第1の実施形態に係る画像処理装置100及び、画像処理装置100と接続される各装置から構成される画像処理システム190について詳しく説明する。画像処理システム190は、画像を撮影する画像撮影装置110と、撮影された画像を記憶するデータサーバ120と、画像処理を行う画像処理装置100と、取得された入力画像及び画像処理結果を表示する表示部160と、ユーザからの指示を入力するための操作部170、を有する。画像処理装置100は、入力画像を取得し、当該入力画像に写った注目領域に対して、画像処理を実施する。入力画像とは、例えば画像撮影装置110により取得された画像データを、診断に好適な画像とするための画像処理等を施して得られる画像である。また、本実施形態における入力画像は、学習用画像あるいは識別用画像となる。以下、各部について説明する。 画像処理装置100は、例えばコンピュータであり、本実施形態に係る画像処理を行う。画像処理装置100は、中央演算処理装置(CPU:Central Processing Unit)11、主メモリ12、磁気ディスク13、表示メモリ14を有する。CPU11は、画像処理装置100の各構成要素の動作を統合的に制御する。
CPU11の制御により、画像処理装置100が画像撮影装置110の動作も併せて制御するようにしてもよい。主メモリ12は、CPU11が実行する制御プログラムを格納し、CPU11によるプログラム実行時の作業領域を提供する。磁気ディスク13は、オペレーティングシステム(OS:Operating System)、周辺機器のデバイスドライバ、後述する本実施形態に係る画像処理を行うためのプログラムを含む各種アプリケーションソフトウェアを格納する。表示メモリ14は、表示部160に表示するデータを一時的に格納する。表示部160は、例えば液晶モニタであり、表示メモリ14からの出力に基づいて画像を表示する。操作部170は、例えばマウスやキーボードであり、操作者による位置情報の入力や文字等の入力を行う。表示部160は操作入力を受け付けるタッチパネルモニタであってもよく、操作部170はスタイラスペンであってもよい。上記の各構成要素は共通バス18により互いに通信可能に接続されている。
画像撮影装置110は、例えば、コンピュータ断層撮影装置(CT:Computed Tomography)、核磁気共鳴映像装置(MRI:Magnetic Resonance Imaging)、2次元の放射線画像を撮像する放射線撮影装置(DR:Digital Radiography)などである。画像撮影装置110は取得した画像をデータサーバ120へ送信する。画像撮影装置110を制御する不図示の撮影制御部が、画像処理装置100に含まれていてもよい。
データサーバ120は、画像撮影装置110が撮影した画像を保持する。データサーバ120は、例えばPACS(Picture Archiving and Communication System)サーバである。画像処理装置100は、LAN(Local Area Network)等のネットワークを介してデータサーバ120から画像を取得する。
(機能構成)
次に、図2に基づいて本実施形態に係る画像処理装置100を含む画像処理システムの機能構成について説明する。主メモリ12に格納されたプログラムをCPU11が実行ことにより、図2に示した各部の機能が実現される。なお、プログラムを実行する主体は1以上のCPUであってもよいし、プログラムを記憶する主メモリも1以上のメモリであってもよい。また、CPUに替えてもしくはCPUと併用してGPU(Graphics Processing Unit)など他のプロセッサを用いることとしてもよい。すなわち、少なくとも1以上のプロセッサ(ハードウエア)が当該プロセッサと通信可能に接続された少なくとも1以上のメモリに記憶されたプログラムを実行することで、図2に示した各部の機能が実現される。
画像処理装置100は、機能構成として、学習部130、識別部140及び表示制御部1090を有する。学習部130はさらに、学習用データ取得部1000、基準点群生成部1010、領域データ群生成部1020、特徴量データ群生成部1030、識別器構築部1040を有する。また、識別部140は、識別用データ取得部1005、基準点取得部1015、領域抽出部1025、特徴量算出部1035、属性推論部1050から構成される。画像処理装置100は、データサーバ120、表示部160と通信可能に接続されている。
学習部130は、対象肺結節の属性を推論するための識別器を構築する。
学習用データ取得部1000は、本実施形態に係る識別器を構築するための学習データを取得する。学習データは、データサーバ120から取得する画像処理の対象とする学習用画像と、操作部170から取得する学習用画像に描画されている対象肺結節の属性の正解データを含む。
基準点群生成部1010は、学習用データ取得部1000が取得した学習用画像から、対象肺結節の領域に属する複数の点(以下、基準点と称する)に関する情報(以下、基準点情報と称する)を生成する。
領域データ群生成部1020は、学習用データ取得部1000が取得した学習用画像と、基準点群生成部1010が取得した複数の基準点情報に基づいて、対象肺結節領域を表す複数の領域データ(マスク画像)を生成する。すなわち、領域データ群生成部1020は、は、複数の基準点情報のそれぞれに対して領域データを生成することで、対象肺結節領域を表す複数の領域データを生成する。なお、領域データ群生成部1020は領域拡張法など任意のセグメンテーション方法を用いてマスク画像を生成することができる。領域データ群生成部1020は、例えば基準点情報に対応する画素の画素値(濃度値)などの画像特徴量に基づいて領域拡張法を実行することでマスク画像を生成することができる。
特徴量データ群生成部1030は、学習用データ取得部1000が取得した学習用画像と、領域データ群生成部1020が取得した複数の領域データを用いて、対象肺結節の特徴を表す特徴量データ群を取得する。
識別器構築部1040は、学習用データ取得部1000が取得した対象肺結節の属性の正解データと、特徴量データ群生成部1030が取得した特徴量データ群を学習データとして登録し、属性を推論するための識別器を構築する。
識別部140は、識別データ取得部1005が取得した識別用の処理対象画像(識別用画像)を用いて、当該識別用画像に描画されている対象肺結節の属性を推論する。
識別用データ取得部1005は、本実施形態に係る識別の対象が含まれる識別用画像をデータサーバ120から取得する。
基準点取得部1015は、識別用データ取得部1005が取得した識別用画像に描画されている対象肺結節の領域に属する基準点の情報を取得する。
領域抽出部1025は、識別用データ取得部1005が取得した識別用画像と、基準点取得部1015が取得した対象肺結節の基準点情報に基づいて、対象肺結節の領域を表すマスク画像(抽出結果)を取得する。領域抽出部1025は領域拡張法など任意のセグメンテーション方法を用いてマスク画像を生成することができる。領域抽出部1025は、例えば基準点情報に対応する画素の画素値(濃度値)などの画像特徴量に基づいて領域拡張法を実行することでマスク画像を生成することができる。
特徴量算出部1035は、識別用データ取得部1005が取得した識別用画像と、領域抽出部1025が取得した対象肺結節の抽出結果を用いて、対象肺結節の特徴量を算出する。
属性推論部1050は、特徴量算出部1035が取得した特徴量を識別器構築部1040で構築された識別器に入力することによって、対象肺結節の属性を推論する。
表示制御部1090は、識別部140の各処理で取得した対象物に関する情報を表示部160に出力し、表示部160に各処理の結果を表示させる。
なお、画像処理装置100が有する各部の少なくとも一部を独立した装置として実現してもよい。画像処理装置100はワークステーションでもよい。各部の機能はコンピュータ上で動作するソフトウェアとして実現してもよく、各部の機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。以下に説明する本実施形態では、各部はローカル環境に設置したコンピュータ上で動作するソフトウェアによりそれぞれ実現されているものとする。
(処理フロー)
続いて、本発明の第1の実施形態に係る画像処理について説明する。図3は本実施形態の画像処理装置100が実行する処理の処理手順を示す図である。本実施形態は、主メモリ12に格納されている各部の機能を実現するプログラムをCPU11が実行することにより実現される。本実施形態では、処理対象画像はCT画像であるとして説明する。CT画像は3次元濃淡画像として取得される。また、本実施形態では肺結節を処理対象画像に含まれる処理対象物の例として説明する。
はじめに、第1の実施形態に係る画像処理装置100が学習過程で実施される処理(ステップS1100〜S1140)について説明する。この処理は、本実施形態に係る画像処理装置100を構築する段階で実施される。学習過程では、第1の実施形態に係る画像処理装置100は複数の学習用データ(詳細は後述)のそれぞれについてステップS1100〜S1130までの処理を適用した後、そのすべての結果を用いてステップS1140の処理を行う。以下では重複した説明を省略するために、ステップS1110からステップS1130までの処理が1つの学習用データに適用される場合を説明する。
(S1100)
ステップS1100において、学習用データ取得部1000は、対象肺結節の属性を識別する識別器を構築するために、学習用データAを取得する。学習用データAは、処理対象画像(学習用画像)I(x,y,z)と学習用画像に描出されている対象肺結節の属性の正解データDのセットとなる。
ここで、本実施形態における学習用画像は、3次元直交座標(x,y,z)によって位置が特定できる複数の画素により構成される。画像の属性の一つである画素サイズは、3軸の座標方向それぞれに対して定義される。本実施形態では、x,y,zの各方向に対する画素サイズを、r_size_x,r_size_y,r_size_zと記すこととし、いずれの値も1.0mmである場合の例を説明するがこの値に限定されるものではない。対象画像の各画素値は3次元座標(x,y,z)の値毎に決定されるため、対象画像を、3次元座標値を引数とする関数I(x,y,z)によって定義されるデータと見なすことができる。
まず、学習用データ取得部1000は処理対象画像であるCT画像をデータサーバ120から取得し、画像処理装置100の主メモリ12上に記憶する。別の例では、学習データ取得部1000は画像撮影装置110で撮影した画像データを通信手段を介して取得し、診断に好適な画像とするための画像処理等を施した後、本実施形態に係る学習用画像として取得する。画像撮影装置110が例えばCT装置であった場合、画像撮影装置110からHU(Hounsfield Unit)値と呼ばれる画素値から成るCT画像データを取得する。
次に、学習データ取得部1000は、取得した学習用画像に描画されている対象肺結節の属性の正解データDを取得する。属性の正解データの取得は、例えば操作者(医師)が操作部170を介して、I(x,y,z)に描出されている対象肺結節の属性の正解値を入力することによって実施される。
(S1110)
ステップS1110において、基準点群生成部1010は、学習用画像I(x,y,z)中の対象肺結節に属するn個の点PAi(xAi,yAi,zAi)(i=1,2,・・・,n)を基準点として生成する。n個の点PAiは例えばそれぞれ異なる位置の点である。ここで、PAiを要素として持つ集合を基準点群P={PAi|i=1,2,・・・,n}とする。学習用画像から基準点群の生成についての例を説明する。
まず、表示部160に表示される学習用画像I(x,y,z)の、例えば横断面(Axial)、矢状面(Sagittal)、冠状面(Coronal)の断層像を参照しながら、操作者は操作部170を介して対象肺結節に含まれる1つの画素を選択する。すると基準点群生成部1010は、当該操作入力によって得られた画素を初期基準点PA1として取得する。次に、基準点群生成部1010は、PA1を参照して、他の基準点を選択し基準点群PAi(i=2,3,・・・,n)を取得する。この処理は例えばPA1を含む局所画像領域V(x,y,z)において実施される。局所領域V(x,y,z)は、PA1を中心とし、事前に決められた大きさに基づいて、学習用画像I(x,y,z)からクロップされる。また、操作者が操作部170を介して、I(x,y,z)から手動でクロップすることもできる。さらに、Laplacian of Gaussian(LoG)カーネルなどのスケールスペースに基づく技術を用いて、対象物肺結節の大まかな大きさを推定し、推定された大きさに基づいて、局所画像領域V(x,y,z)を設定することもできる。図4に、学習用画像500から取得された、対象肺結節550を含む局所画像510および、初期基準点600の例を示す。
基準点群Pは、局所画像領域V(x,y,z)に対して、画像処理手段1を適用することによって取得される。画像処理手段1とは、例えばV(x,y,z)からPA1と類似した特徴を有する画素を探索する処理のことである。ここで、特徴とは濃度値、V(x,y,z)などを指す。また、画像処理手段1は、事前知識に基づいて、V(x,y,z)から対象肺結節に属する可能性(尤度)が高い画素を探索する処理でもよい。この場合の例として、ヘッセ行例の固有値に基づく塊状構造強調フィルタをV(x,y,z)に適用し、フィルタ出力値の上位画素を基準点として選択し、基準点集合Pを生成することが挙げられる。また、前記塊状構造強調フィルタでなくて、LoGカーネル、Scale−Invariant Feature Transform(SIFT)特徴点検出処理を画像処理手段1として利用してもよい。
(S1120)
ステップS1120において、領域データ群生成部1020は、領域抽出処理によって学習用画像I(x,y,z)から対象肺結節の領域データ群を生成する。領域データ群生成部1020は、ステップS1100で取得した学習用画像I(x,y,z)、ステップS1110で取得した基準点群Pと局所画像領域V(x,y,z)を用いて、夫々の基準点から領域抽出処理を行う。本処理によって、各基準点と1対1の対応関係を持つ肺結節の領域データ(マスク画像)が取得される。以下、図5を用いて、ステップS1110で4点(n=4)の基準点を取得した場合での領域抽出処理を説明する。なお基準点の数は複数であればよく上記の値に限定されるものではない。
図5(a)に示すように、領域データ群生成部1020は、基準点600、基準点601、基準点602、基準点603、に基づいて、対象肺結節550の領域抽出処理を行い、各基準点と対応する領域データを取得する。領域抽出処理は、I(x,y,z)を対象として実施してもよいが、局所画像領域V(x,y,z)を対象として実施してもよい。本実施形態では、局所画像領域510を用いて領域抽出処理を実施する場合を説明する。領域抽出処理は、基準点を対象肺結節領域の前景領域(シード)とし、領域拡張法や、Level−set法(レベルセット法)や、Graph−cut法などの領域抽出アルゴリズムによって実施される。領域抽出処理は、全ての対象肺結節に対して、事前に決まった1つの領域抽出アルゴリズムを用いても良いし、対象肺結節の形状、性状などによって領域抽出アルゴリズムを切り替えてもよい。例えば、スリガラス状の肺結節(GGO)に対しては、機械学習またはGraph−cut法を利用し、形状が不規則かつ体積が小さい肺結節に対してはレベルセットを利用する。さらに、同じ対象肺結節における異なる基準点の夫々の特徴に基づいて、抽出アルゴリズムを切り替えてもよい。
取得された対象肺結節の複数の領域データから、操作者が目視で抽出精度を評価し、精度が低い領域データを削除してもよい。そして、最終的に学習用画像I(x,y,z)から取得された領域データ群をR={RAj|j=1,2,…,m}(m≦n)とする。図5(b)に、基準点600、基準点601、基準点602、基準点603夫々に基づいて取得された領域データ710、領域データ711、領域データ712、領域データ713の例を示す。
(S1130)
ステップS1130において、特徴量データ群生成部1030は、対象肺結節の特徴量データ群を取得する。特徴量データ群生成部1030は、ステップS1100で取得した学習用画像I(x,y,z)、ステップS1110で取得した局所画像領域V(x,y,z)とステップS1120で取得した対象肺結節の領域データ群Rに基づいて、対象肺結節の特徴量を計算する。
対象肺結節の特徴量の計算は、ステップS1120で取得した対象肺結節の領域データ群Rでの夫々の領域データRAjから行う。例えば、領域データRA1を用いて特徴量を計算する場合、特徴量データ群生成部1030は、領域データRA1が示す形状特徴量、I(x,y,z)において、RA1と重なる領域や、RA1が示す領域の周辺領域のテクスチャー特徴量などを計算する。また、特徴量の種類は、周知されている一般画像特徴量や、求めたい対象肺結節の属性に応じた計算方法によって算出される特徴量などを含む。例えば、画像処理装置100が推論する属性が対象肺結節の画像所見である場合、医師が臨床上よく利用する画像所見項目に合わせて、特殊な特徴量を算出する場合がある。
領域データRA1に基づいて算出された特徴量データをFA1とする。そして、全ての領域データRに基づいて特徴量計算を実施した後、取得される特徴量データ群をF={FAj|j=1,2,・・・,m}とする。
学習用画像において、対象肺結節の正解領域Rが事前に用意されている場合は、特徴量データ群生成部1030は、正解領域Rに基づいて対象肺結節の特徴量の計算を行い、取得された特徴量をFAGとする。特徴量データ群生成部1030は、F={FAj|j=1,2,・・・,m}の各特徴量に対して、FAGとの整合度を計算し、整合度が低い特徴量をFから削除してもよい。ここで、整合度の計算は例えば、特徴量空間におけるマハラノビス距離などが挙げられる。この処理によって、精度が低い抽出結果から計算される特徴量データを識別器構築用の教師データから除外され、次のステップで構築される識別器の精度低下を防ぐことができる。
(S1140)
ステップS1140において、識別器構築部1040は、肺結節の属性を推論するための識別器を構築する。まず、識別器構築部1040は、ステップS1100で取得した属性の正解データDと、ステップS1130で取得した特徴量群データFのセットを教師データとして、画像処理装置100の主メモリ12に登録する。すなわち、識別器構築部1040は、正解データDと特徴量群データFとを対応付けて主メモリ12に登録する。ここで、ステップS1100からステップS1130までの処理を必要に応じて繰り返すことにより、複数の教師データ(教師データ群)を登録する。
図6を用いて、教師データ群の登録を説明する。対象肺結節550の4つの基準点から取得された領域データ710、711、712、713に対応する特徴量を特徴量810、811、812、813とする。それぞれの特徴量と属性の正解900とセットすることによって、教師データ910、911、912と913が取得される。他の対象肺結節に対しても同じ処理を行い、取得された全ての教師データを教師データ群として登録する。
教師データ群を登録した後、識別器構築部1040は、登録された教師データ群を用いて識別器を構築する。識別器は、Random Forest(RF)、Support Vector Machine(SVM)、Neural Networkなどの周知されている技術を利用する。前記教師データ群を識別器に入力し、特徴量から属性を求める最適なパラメータを探索することによって、肺結節の属性を識別する識別器を構築する。そして、構築された識別器をCproとする。
以上で、本実施形態に係る画像処理装置100が学習用データを用いて識別器Cproを構築する処理(学習過程の処理)についての説明を終える。ここからは、構築されたCproを用いて、未知の画像(識別用画像)中に描出されている肺結節の属性を推論する処理(識別過程の処理、ステップS1150〜S1200)について説明する。
(S1150)
ステップS1150において、識別用データ取得部1005は肺結節の属性を識別するための識別用画像を取得する。すなわち、識別用データ取得部1005は識別用画像をデータサーバ120から取得し画像処理装置100の主メモリ12に記憶する。
識別用画像の取得は、ステップS1100で学習データ取得部1000がデータサーバ120から学習用データの取得と同じ処理であるため、重複した説明を省略する。取得された識別用画像をIrec(i,j,k)とする。
(S1160)
ステップS1160において、基準点取得部1015は識別対象となる肺結節(識別対象肺結節)の基準点を取得する。基準点取得部1015は、ステップS1150で取得した識別用画像Irec(i,j,k)に描出されている識別対象肺結節の領域に属する画素Pseed_recを取得する。
seed_recはステップS1100での初期基準点PA1と同じく、操作者が表示部160に表示される識別用画像Irec(i,j,k)の断層像を参照しながら、手動で選択することができる。また、基準点検出手法を用いてIrec(i,j,k)から初期基準点PA1を自動検出してもよい。
(S1170)
ステップS1170において、領域抽出部1025は、識別用画像から識別対象肺結節の領域を抽出する。領域抽出部1025は、ステップS1150で取得した識別用画像Irec(i,j,k)、ステップS1160で取得した基準点Pseed_recに基づいて、Irec(i,j,k)における識別対象肺結節の領域を抽出し抽出結果を取得する。
領域抽出部1025による識別対象肺結節の領域抽出は、ステップS1120において領域データ群生成部1020が各基準点とそれに対応する領域データを取得する処理と同じであるため、重複した説明を省略する。識別用画像から取得された識別対象肺結節の抽出結果(マスク画像)をRrec(i,j,k)とする。
(S1180)
ステップS1180において、特徴量算出部1035は、識別対象肺結節の特徴量を計算する。特徴量算出部1035は、ステップS1150で取得した識別用画像Irec(i,j,k)ならびにステップS1170で取得した抽出結果Rrec(i,j,k)に基づいて、識別対象肺結節の特徴量を算出する。
識別対象肺結節の特徴量の算出は、ステップS1130において特徴量データ群生成部1030が領域データ群Rの各領域データに対応する特徴量を計算する処理と同じであるため、重複した説明を省略する。取得された識別対象肺結節の特徴量をFrecとする。
(S1190)
ステップS1190において、属性推論部1050は、識別対象肺結節の属性を推論する。属性推論部1050は、ステップS1180で取得した特徴量FrecをステップS1140で構築された識別器Cproに入力し、対象肺結節の属性を求める。
識別器Cproに入力された特徴量Frecは、Cproの構築時に利用された教師データの特徴量から作られた識別空間に投影され、識別空間における特徴量Frecが属する属性のクラスを求めることによって、対象肺結節の属性が推論される。
(S1200)
ステップS1200において、表示制御部1090は処理結果を表示部160に表示させる。表示制御部1090は、識別対象肺結節の抽出結果、特徴量情報、および属性の推論結果を少なくとも1つを表示部160に表示させる。この場合、表示制御部1090は、抽出結果、特徴量情報および属性に関する情報を画像処理装置100に接続された表示部160に送信し、表示部160に表示させる制御を行う。
なお、表示制御部1090は、これらの情報を入力画像である識別用画像Irec(i,j,k)と重畳して、表示部160に表示させてもよい。この場合、表示制御部1090は、これらの情報が重畳された3次元画像情報をボリュームレンダリングにより生成し、表示部160に表示させてもよい。また、表示制御部1090は、重畳された3次元の画像の所定の断面画像を生成し、表示部160に表示させてもよい。
第1の実施形態に係る画像処理装置の効果について説明する。本実施形態における画像処理装置は、公知の異常陰影の属性鑑別技術に存在する課題を解決する。この課題とはすなわち、従来の鑑別技術では、たとえ同じ肺結節領域であっても、異なる位置情報が入力されると、異なる領域抽出結果と異なる特徴量計算結果が得られ、結果的に異なる属性の鑑別結果が取得されることである。換言すれば、再現性についての課題である。このような再現性の課題は、例えば同一肺結節領域に対して異なる操作者が属性鑑別処理を行った場合に容易に生じる。異なる操作者が同一肺結節領域に対して位置情報を入力すると、異なる位置情報が入力されるためである。また、この課題は同一操作者であっても生じる。たとえ同一操作者であっても、同一肺結節領域に対して異なる時期に位置情報を入力すると、入力される位置情報が異なるためである。
一方、本実施形態に係る画像処理装置では、1つの学習用画像に対して、許容範囲内の複数の位置情報により異常陰影領域の抽出、特徴量計算を行う。そして、それらの結果と当該学習用画像における異常陰影の属性の正解値を学習データとして用い、属性を推論するための識別器を構築する。このような識別器は、操作者が異なる位置情報を入力しても、抽出と特徴量計算で発生したぶれを吸収でき、高い再現性をもつ属性の推論結果を得ることが可能となる。
上述のことから、本発明の第1の実施形態に係る画像処理装置では、操作者が異常陰影の異なる位置情報を入力しても、当該異常陰影の属性を高い再現性で推論することができる、という効果がある。
(第2の実施形態)
(概要)
次に、図面を参照して、第2の実施形態の一例を詳しく説明する。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
第2の実施形態に係る画像処理装置では、ステップS2000でモデル生成部150が、基準点生成モデルを構築する。ステップS2110で基準点群生成部1018は、前記基準点生成モデルを用いて、学習用画像に描画されている対象肺結節の基準点を生成する。基準点生成モデルは操作者が実際に入力した基準点から構築されるため、それに基づいて生成される基準点群は実際の現場で設定される確率が高く、より適切な属性識別器の構築が可能となる。以下、具体的な機能構成および処理フローを説明する。
(機能構成)
図7に基づいて、本発明の第二の実施形態に係る画像処理装置200を構成する各機能構成について説明する。本実施形態において、第1実施形態と同様の機能を持つ構成要素には図2と同一の番号を付しており、重複した説明は省略する。図7に示すように、本実施形態における画像処理装置200は、機能構成として、モデル生成部150、学習部133、識別部140、表示制御部1090を有する。モデル生成部150についても第1実施形態と同様にプロセッサにより実現される。学習部133はさらに、学習用データ取得部1000、基準点群生成部1018、領域データ群生成部1020、特徴量データ生成部1030、識別器構築部1040を有する。また、識別部140は、識別用データ取得部1005、基準点取得部1015、領域抽出部1025、特徴量算出部1035、属性推論部1050から構成される。画像処理装置200は、データサーバ120、表示部160に接続する。
モデル生成部150は、画像空間の各位置(画素)が基準点として設定される可能性(尤度)を表す確率モデルである基準点生成モデルを構築する。基準点群生成部1018は、基準点生成モデルに基づいて学習用画像から複数の基準点を生成する。
(処理フロー)
続いて、第二の実施形態に係る画像処理について説明する。図8(a)、(b)、(c)は本実施形態の画像処理装置200が実行するモデル構築過程、学習過程、及び識別過程の処理手順を示す図である。本実施形態は、主メモリ12に格納されている各部の機能を実現するプログラムをCPU11が実行することにより実現される。
ステップS2100、ステップS2120からステップS2200までの処理は図3に示すステップS1100、ステップS1120からステップS1200までの処理とそれぞれ同様であるため、詳細な説明を省略する。
(S2000)
ステップS2000において、モデル生成部150は、基準点生成モデルを構築する。モデル生成部150は、データサーバ120から、複数の入力画像(基準点生成モデル構築用の教師画像)と夫々の画像に描画されている対象肺結節に属する基準点情報を用いて学習し、基準点生成モデルを構築する。ここで、基準点情報は事前(過去)に入力されてもよいし、操作者が操作部170を介して入力してもよい。
図9を用いて基準点生成モデルの構築を説明する。基準点生成モデルは、同モデルが持つ画像空間において、各画素が基準点として指定される可能性(尤度)を示す確率モデルである。基準点生成モデルの構築はまず、図9(a)に示すように、それぞれ対象肺結節350−352を含む複数枚の基準点生成モデル構築用の入力教師画像310−312と基準点400,410,420に関する基準点情報を正規化画像空間530に投影する。ここで、投影される画像は入力教師画像でもよいし、対象肺結節領域を含む入力教師画像の部分画像でもよい。本実施形態では、対象肺結節領域のバウンディングボックスでクロップした部分画像B(i,j,k)を投影される画像とする。投影される各画像において、1つ以上の基準点が指定されていることが必要である。基準点は、全ての同一操作者によって指定されてもよいし、複数名の操作者によって指定されてもよい。
部分画像B(i,j,k)と基準点情報が正規化画像空間530に投影される際、正規化画像空間530の各画素位置に投影された基準点の数を当該画素位置における基準点の生成尤度を表すパラメータとする。
モデル生成部150は、全ての基準点生成モデル構築用の入力教師画像に対して、前記投影および尤度計算処理を実施し、図9(b)に示すような、正規化画像空間の各画素が基準点となる確率を表すモデルいわいる基準点生成モデル540を構築する。
(S2110)
ステップS2110において、基準点群生成部1018は、基準点集合(基準点群)を作成する。基準点群生成部1018は、ステップS2000で構築された基準点生成モデルとS2100で取得された学習用画像を用いて、学習用画像に描画されている対象肺結節に属する複数の点を基準点集合(基準点群)として取得する。
基準点群生成モデルを用いて、学習用画像から、基準点群を生成する処理について述べる。まず、基準点群生成部1018は、学習用画像を基準点生成モデルが持つ正規化空間に投影する。ここで、基準点生成モデルを構築する時と同じく、基準点群生成部1018は、学習用画像から対象肺結節のバウンディングボックスでクロップした部分画像を投影する。そして、基準点群生成部1018は、基準点群生成モデルにおける生成尤度が高い順で上位n個の画素位置に投影された学習用画像の部分画像上の画素を選択し、基準点群P′とする。
その後、ステップS2120からステップS2140の処理が順次実施され、肺結節の属性を識別する識別器Cproが構築される。さらに、ステップS2120からステップS2200までの識別過程の処理が、ステップS1150からステップS1200までの処理と同様に実施され、識別用対象肺結節の属性が推論される。
上述の通り、第2の実施形態では、操作者が入力した基準点に基づいて基準点生成モデルを構築し、それを用いて学習用画像から対象肺結節の基準点群を生成する。それによって、実際の現場で操作者が入力する可能性高い位置に基準点群が生成され、より現場に適した識別器を構築することが可能となる。そして、構築された識別器を用いて、より正しく鑑別診断支援を行うことができる、という効果がある。
(第3の実施形態)
(概要)
次に、図面を参照して、第3の実施形態の一例を詳しく説明する。なお、上記の実施形態と同様の構成、機能、及び動作についての説明は省略し、主に本実施形態との差異について説明する。
第3の実施形態に係る画像処理装置では、識別過程のステップS3300において、記憶部1060は、ステップS3160で操作者が入力した基準点情報などの情報を記憶する。そして、ステップS3005でモデル生成部155は、新たに記憶された基準点情報を基準点モデルに追加して再学習(追加学習)を行うことによって基準点生成モデルを更新する。前記追加学習処理によって、基準点生成モデルは、実際の操作者の習慣により適するように更新される。以下、具体的な機能構成および処理フローを説明する。 (機能構成)
図10に基づいて、本発明の第3の実施形態に係る画像処理装置300を構成する各機能構成について説明する。本実施形態において、第2実施形態と同様の機能を持つ構成要素には図7と同一の番号を付しており、重複した説明は省略する。図10に示すように、本実施形態における画像処理装置300は、機能構成として、モデル生成部155、学習部133、識別部145、表示制御部1090を有する。モデル生成部155についても第1実施形態と同様にプロセッサにより実現される。学習部133はさらに、学習用データ取得部1000、基準点群生成部1018、領域データ群生成部1020、特徴量データ生成部1030、識別器構築部1040を有する。また、識別部145は、識別用データ取得部1005、基準点取得部1015、領域抽出部1025、特徴量算出部1035、属性推論部1050、記憶部1060から構成される。画像処理装置300は、データサーバ120、表示部160に接続する。記憶部1060は、基準点取得部1015、領域抽出部1025、特徴量算出部1035、属性推論部1050で取得された情報を主メモリ12に格納する。モデル生成部155は、新たに主メモリ12に格納された基準点情報を取得し、追加学習を行うことによって既存の基準点生成モデルを更新する。前記更新によって、同一操作者の入力情報が徐々に基準点生成モデルに取り入れられ、同操作者の習慣に適したモデルを構築することができる。
(処理フロー)
続いて、第3の実施形態に係る画像処理について説明する。図11(a)、(b)、(c)、(d)は本実施形態の画像処理装置300が実行するモデル構築過程、学習過程、識別過程およびモデル更新過程の処理手順を示す図である。本実施形態は、主メモリ12に格納されている各部の機能を実現するプログラムをCPU11が実行することにより実現される。
モデル構築過程、学習過程および識別過程のステップS3300以外の処理は、図8に示す第2実施形態の構築過程、学習過程、識別過程の処理と同様であるため、詳細な説明を省略する。
(S3300)
ステップS3300において、記憶部1060は、ステップS3160で取得された基準点情報を主メモリ12に格納する。また、記憶部1060は、ステップS3170で取得された領域データ、ステップS3180で取得された特徴量情報、ステップS3190で取得された属性情報などを同時に主メモリ12に格納してもよい。
(S3005)
ステップS3005において、モデル生成部155は、基準点生成モデルを更新する。モデル生成部155は、主メモリ12に格納されている識別用画像と操作者が入力した基準点情報を取得する。取得された識別用画像と基準点情報を用いて、ステップS3000で構築された基準点生成モデルの追加学習を行う。追加学習は、ステップS2000で記述されているモデル構築時の学習と同じく、識別用画像と基準点情報を既存の基準点生成モデルの正規化画像空間に投影し、正規化空間における各画素の基準点尤度を再計算する。前記投影および尤度再計算処理によって、基準点生成モデルが更新される。
基準点モデルが更新されたら、ステップS3100からステップS3140までの学習過程の処理を再実行し、識別器Cproを更新する。さらに、操作者がCproを用いて、新しい識別用画像から対象肺結節の属性を識別する処理を実施したら、図11(c)の識別過程、図11(d)のモデル更新過程、図11(b)の学習過程を順次に繰り返す。
このように、第3実施形態では、同一操作者が多くの識別用画像から対象肺結節の属性識別処理を実施することによって、基準点モデルならびに識別器Cproは、当該操作者の習慣に適するように更新されるため、より高い属性識別精度を得ることができる。
<その他の実施形態>
上述の各実施形態における画像処理装置および画像処理システムは、単体の装置として実現してもよいし、複数の情報処理装置を含む装置を互いに通信可能に組合せて上述の処理を実行する形態としてもよく、いずれも本発明の実施形態に含まれる。共通のサーバ装置あるいはサーバ群で、上述の処理を実行することとしてもよい。この場合、当該共通のサーバ装置は実施形態に係る画像処理装置に対応し、当該サーバ群は実施形態に係る画像処理システムに対応する。画像処理装置および画像処理システムを構成する複数の装置は所定の通信レートで通信可能であればよく、また同一の施設内あるいは同一の国に存在することを要しない。
以上、実施形態例を詳述したが、本発明は例えば、システム、装置、方法、プログラム若しくは記録媒体(記憶媒体)等としての実施態様をとることが可能である。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮像装置、Webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコード(コンピュータプログラム)を記録した記録媒体(または記憶媒体)を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
上述の実施形態を適宜組み合わせた形態も、本発明の実施形態に含まれる。
100 画像処理装置
130 学習部
1000 画像取得部
1010 基準点群生成部
1020 領域データ群生成部
1030 特徴量データ群生成部
1040 識別器構築部
140 識別部
1005 識別用データ取得部
1015 機重点取得部
1025 領域抽出部
1035 特徴量算出部
1050 属性推論部
1090 表示制御部
150 モデル生成部
1018 基準点群生成部
155 モデル生成部
1060 記憶部

Claims (10)

  1. 学習用画像に描出されている注目部位を示す注目領域に属する互いに異なる複数の位置座標を前記学習用画像に設定する第1設定手段と、
    前記注目領域を、前記複数の位置座標の各々を用いて抽出する抽出手段と、
    前記複数の位置座標に対応する前記注目領域の複数の抽出結果それぞれから、前記注目部位の属性を決定するための特徴量を計算する計算手段と、
    前記注目領域の複数の抽出結果に対応する複数の前記特徴量と前記学習用画像に描出されている前記注目部位の属性の正解値とに基づいて、前記属性を決定するための識別器を構築する構築手段と、
    識別用画像に描出されている前記注目部位を示す注目領域に属する位置座標を前記識別用画像に設定する第2設定手段と、
    前記識別器と前記第2設定手段により設定された位置座標を用いて、前記識別用画像に描出されている前記注目部位の属性を決定する決定手段と、
    を有することを特徴とする画像処理システム。
  2. 前記第1設定手段は、前記学習用画像に描出されている前記注目領域の特徴に基づいて前記位置座標を前記学習用画像に設定することを特徴とする請求項1に記載の画像処理システム。
  3. 前記特徴は前記学習用画像に描出されている前記注目領域の濃度値であることを特徴とする請求項2に記載の画像処理システム。
  4. 前記第1設定手段は、過去に設定された位置座標に基づいて前記位置座標を前記学習用画像に設定することを特徴とする請求項1に記載の画像処理システム。
  5. 前記過去に設定された位置座標に基づいてモデルを生成する生成手段を更に備え、
    前記第1設定手段は、前記モデルに基づいて前記位置座標を前記学習用画像に設定することを特徴とする請求項4に記載の画像処理システム。
  6. 前記モデルは、画像における各画素が位置座標として指定される確率を表すモデルであることを特徴とする請求項5に記載の画像処理装置。
  7. 前記識別用画像に対して設定された位置情報を用いて、前記モデルが更新されることを特徴とする請求項5又は請求項6に記載の画像処理システム。
  8. 学習用画像に描出されている注目部位を示す注目領域に属する複数の位置座標を前記学習用画像に設定する設定手段と、
    前記注目領域を、前記複数の位置座標の各々を用いて抽出する抽出手段と、
    前記複数の位置座標に対応する前記注目領域の複数の抽出結果それぞれから、前記注目部位の属性を決定するための特徴量を計算する計算手段と、
    前記注目領域の複数の抽出結果に対応する複数の前記特徴量と前記注目部位の属性の正解値とに基づいて、前記属性を決定するための識別器を構築する構築手段と、
    を備える装置。
  9. 学習用画像に描出されている注目部位を示す注目領域に属する複数の位置座標を前記学習用画像に設定する設定工程と、
    前記注目領域を、前記複数の位置座標の各々を用いて抽出する抽出工程と、
    前記複数の位置座標に対応する前記注目領域の複数の抽出結果それぞれから、前記注目部位の属性を決定するための特徴量を計算する計算工程と、
    前記注目領域の複数の抽出結果に対応する複数の前記特徴量と前記注目部位の属性の正解値とに基づいて、前記属性を決定するための識別器を構築する構築工程と、
    を備える方法。
  10. 請求項9記載の方法の各工程をコンピュータに実行させることを特徴とするプログラム。
JP2017154460A 2017-08-09 2017-08-09 画像処理システム、装置、方法およびプログラム Active JP6824845B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017154460A JP6824845B2 (ja) 2017-08-09 2017-08-09 画像処理システム、装置、方法およびプログラム
US16/055,618 US10748282B2 (en) 2017-08-09 2018-08-06 Image processing system, apparatus, method and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017154460A JP6824845B2 (ja) 2017-08-09 2017-08-09 画像処理システム、装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019030584A true JP2019030584A (ja) 2019-02-28
JP6824845B2 JP6824845B2 (ja) 2021-02-03

Family

ID=65275388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017154460A Active JP6824845B2 (ja) 2017-08-09 2017-08-09 画像処理システム、装置、方法およびプログラム

Country Status (2)

Country Link
US (1) US10748282B2 (ja)
JP (1) JP6824845B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020202680A1 (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 情報処理装置及び情報処理方法
WO2021079451A1 (ja) * 2019-10-24 2021-04-29 日本電気株式会社 学習装置、学習方法、推論装置、推論方法、及び、記録媒体
JP2021133255A (ja) * 2020-02-27 2021-09-13 国立陽明交通大学 良性腫瘍の進行傾向評価システム、そのサーバコンピュータ装置及びコンピュータ読み取り可能な記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112241936B (zh) * 2019-07-18 2023-08-25 杭州海康威视数字技术股份有限公司 图像处理方法、装置及设备、存储介质
CN110555833B (zh) * 2019-08-30 2023-03-21 联想(北京)有限公司 图像处理方法、装置、电子设备以及介质
JP2021074360A (ja) * 2019-11-12 2021-05-20 株式会社日立製作所 医用画像処理装置及び医用画像処理方法、医用画像処理プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515365A (zh) * 2009-03-25 2009-08-26 沈阳东软医疗系统有限公司 一种ct影像中的粘连血管型肺结节自动分割方法
JP2012245374A (ja) * 2012-09-07 2012-12-13 Mitsubishi Precision Co Ltd 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
JP2014061072A (ja) * 2012-09-20 2014-04-10 Fujifilm Corp 画像処理装置および方法ならびにプログラム
JP2016007270A (ja) * 2014-06-23 2016-01-18 東芝メディカルシステムズ株式会社 医用画像処理装置
JP2017012446A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 画像処理装置
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005010206A1 (ja) * 2003-07-29 2005-02-03 Nec Corporation 染色体状態の評価方法および評価システム
EP1780672A1 (en) * 2005-10-25 2007-05-02 Bracco Imaging, S.P.A. Method of registering images, algorithm for carrying out the method of registering images, a program for registering images using the said algorithm and a method of treating biomedical images to reduce imaging artefacts caused by object movement
US8295575B2 (en) * 2007-10-29 2012-10-23 The Trustees of the University of PA. Computer assisted diagnosis (CAD) of cancer using multi-functional, multi-modal in-vivo magnetic resonance spectroscopy (MRS) and imaging (MRI)
US20120014578A1 (en) * 2010-07-19 2012-01-19 Qview Medical, Inc. Computer Aided Detection Of Abnormalities In Volumetric Breast Ultrasound Scans And User Interface
US11074495B2 (en) * 2013-02-28 2021-07-27 Z Advanced Computing, Inc. (Zac) System and method for extremely efficient image and pattern recognition and artificial intelligence platform
US20160135776A1 (en) * 2013-06-10 2016-05-19 Howard C. Chandler, JR. Method and system for intraoperative imaging of soft tissue in the dorsal cavity
CN107624192B (zh) * 2015-05-11 2020-10-27 西门子公司 通过内窥镜组织分化的外科引导和术中病理的系统和方法
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
JP6957152B2 (ja) * 2016-12-28 2021-11-02 キヤノン株式会社 情報処理装置、抽出方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515365A (zh) * 2009-03-25 2009-08-26 沈阳东软医疗系统有限公司 一种ct影像中的粘连血管型肺结节自动分割方法
JP2012245374A (ja) * 2012-09-07 2012-12-13 Mitsubishi Precision Co Ltd 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
JP2014061072A (ja) * 2012-09-20 2014-04-10 Fujifilm Corp 画像処理装置および方法ならびにプログラム
JP2016007270A (ja) * 2014-06-23 2016-01-18 東芝メディカルシステムズ株式会社 医用画像処理装置
JP2017012446A (ja) * 2015-06-30 2017-01-19 キヤノン株式会社 画像処理装置
US20170035381A1 (en) * 2015-08-06 2017-02-09 Case Western Reserve University Characterizing disease and treatment response with quantitative vessel tortuosity radiomics

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020202680A1 (ja) * 2019-03-29 2020-10-08 キヤノン株式会社 情報処理装置及び情報処理方法
WO2021079451A1 (ja) * 2019-10-24 2021-04-29 日本電気株式会社 学習装置、学習方法、推論装置、推論方法、及び、記録媒体
JPWO2021079451A1 (ja) * 2019-10-24 2021-04-29
JP7351344B2 (ja) 2019-10-24 2023-09-27 日本電気株式会社 学習装置、学習方法、推論装置、推論方法、及び、プログラム
JP2021133255A (ja) * 2020-02-27 2021-09-13 国立陽明交通大学 良性腫瘍の進行傾向評価システム、そのサーバコンピュータ装置及びコンピュータ読み取り可能な記憶媒体
JP7198300B2 (ja) 2020-02-27 2022-12-28 国立陽明交通大学 良性腫瘍の進行傾向評価システム、そのサーバコンピュータ装置及びコンピュータ読み取り可能な記憶媒体

Also Published As

Publication number Publication date
US20190050983A1 (en) 2019-02-14
US10748282B2 (en) 2020-08-18
JP6824845B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
JP6824845B2 (ja) 画像処理システム、装置、方法およびプログラム
US10980493B2 (en) Medical image display device, method, and program
CN105167793B (zh) 图像显示装置、显示控制装置及显示控制方法
US20190131012A1 (en) Image search device, image search method, and image search program
JP7005191B2 (ja) 画像処理装置、医用画像診断装置、及びプログラム
US10949698B2 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US11276490B2 (en) Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image
US20180064409A1 (en) Simultaneously displaying medical images
US11200443B2 (en) Image processing apparatus, image processing method, and image processing system
CN106485691A (zh) 信息处理装置、信息处理系统和信息处理方法
JP6983573B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP3537447A1 (en) Display of medical image data
JP2023033639A (ja) 情報処理装置、情報処理方法およびプログラム
US11715279B2 (en) Weighted image generation apparatus, method, and program, determiner learning apparatus, method, and program, region extraction apparatus, method, and program, and determiner
US20180271460A1 (en) System for Synthetic Display of Multi-Modality Data
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6073632B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP6643821B2 (ja) 画像処理装置
JP2017189394A (ja) 情報処理装置および情報処理システム
CN116664476A (zh) 确定医学图像数据中描绘的解剖异常的变化的方法和系统
US20210256741A1 (en) Region correction apparatus, region correction method, and region correction program
CN115527655A (zh) 提供第二结果数据集的方法、系统和计算机可读存储介质
WO2020174770A1 (ja) 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器
WO2020137092A1 (ja) 領域特定装置、方法およびプログラム
US11972570B2 (en) Image processing apparatus, image processing method, and image processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210113

R151 Written notification of patent or utility model registration

Ref document number: 6824845

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151