JP2020009160A - 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 - Google Patents

機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 Download PDF

Info

Publication number
JP2020009160A
JP2020009160A JP2018129776A JP2018129776A JP2020009160A JP 2020009160 A JP2020009160 A JP 2020009160A JP 2018129776 A JP2018129776 A JP 2018129776A JP 2018129776 A JP2018129776 A JP 2018129776A JP 2020009160 A JP2020009160 A JP 2020009160A
Authority
JP
Japan
Prior art keywords
identification value
image
local
diagnosis support
overall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018129776A
Other languages
English (en)
Other versions
JP7046745B2 (ja
Inventor
英春 服部
Hideharu Hattori
英春 服部
容弓 柿下
Yasuki Kakishita
容弓 柿下
内田 憲孝
Noritaka Uchida
憲孝 内田
定光 麻生
Sadamitsu Aso
定光 麻生
智也 桜井
Tomoya Sakurai
智也 桜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi High Tech Corp
Original Assignee
Hitachi High Technologies Corp
Hitachi High Tech Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi High Technologies Corp, Hitachi High Tech Corp filed Critical Hitachi High Technologies Corp
Priority to JP2018129776A priority Critical patent/JP7046745B2/ja
Priority to US17/254,547 priority patent/US11972560B2/en
Priority to PCT/JP2019/024953 priority patent/WO2020012935A1/ja
Priority to EP19833707.3A priority patent/EP3822911A4/en
Publication of JP2020009160A publication Critical patent/JP2020009160A/ja
Application granted granted Critical
Publication of JP7046745B2 publication Critical patent/JP7046745B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10132Ultrasound image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体の分類を実現する。【解決手段】プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。【選択図】図1

Description

本発明は、画像診断支援装置およびシステム、画像診断支援方法に関する。
近年、画像認識技術においては、Deep Learning等の機械学習を用いた画像認識技術の検討が行われている。Deep Learningを用いることで、画像内の物体の検出精度を向上させている。
画像内の物体を検出するための識別器を開発するために、例えば、特許文献1に提案される技術が知られている。当該特許文献1では、各隠れ層から直接出力層につなげるニューラルネットワークを構成して機械学習を行い、画像内の物体の特徴を抽出して物体を識別する。
米国特許出願公開第2013/282635号明細書
しかしながら、特許文献1のように、各隠れ層から直接出力層につなげて機械学習をしたとしても、意図しない画像内の特徴を抽出するため、画像内の物体の検出漏れや誤検出になるという課題がある。
同様に、特許文献1では、組織や細胞画像内の組織や細胞を分類したとしても、異常組織(例:がん)や異常細胞(例:がん)を検出できず、検出漏れや誤検出になるという課題が存在する。
本発明はこのような状況に鑑みてなされたものであり、画像から意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、組織や細胞等)の分類を実現するための技術を提供するものである。
本発明は、プロセッサとメモリを有する機械学習装置であって、前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する。
本発明によれば、ニューラルネットワークの機械学習により自動抽出した特徴だけでは検出すべき物体か否かを判定できない場合でも、意図した画像の特徴を自動的に抽出することができる。ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、組織や細胞等)の分類を実現することができるようになる。
本発明の実施例1を示し、画像診断支援装置の機能を示すブロック図である。 本発明の実施例1を示し、画像診断支援装置のハードウェア構成の一例を示すブロック図である。 本発明の実施例1を示し、特徴抽出部の処理の一例を説明する図である。 本発明の実施例1を示し、特徴抽出部の処理の一例を説明する図である。 本発明の実施例1を示し、局所識別部の処理の一例を説明する図である。 本発明の実施例1を示し、全体識別部の処理の一例を説明する図である。 本発明の実施例1を示し、学習部の処理の一例を説明する図である。 本発明の実施例1を示し、描画部の処理の一例を説明する図である。 本発明の実施例1を示し、学習部で行われる処理の一例を説明するフローチャートである。 本発明の実施例1を示し、画像診断支援装置で行われる処理の一例を説明するフローチャートである。 本発明の実施例1を示し、描画部の判定結果表示画面の一例を説明するための図である。 本発明の実施例2を示し、画像診断支援装置の機能を示すブロック図である。 本発明の実施例2を示し、特徴量から大局識別値を算出する例を説明する図である。 本発明の実施例2を示し、大局識別値と教師ラベルから基本識別値を算出する例を説明する図である。 本発明の実施例2を示し、生成された指定パターンを修正するGUIの一例を示す図である。 本発明の実施例2を示し、画像診断支援装置1で行われる処理の一例を説明するフローチャートである。 本発明の実施例3を示し、画像診断支援装置を搭載した遠隔診断支援システムの概略構成を示す図である。 本発明の実施例4を示し、画像診断支援装置を搭載したネット受託サービス提供システムの概略構成を示す図である。
本発明の実施形態は、画像から、画像の特徴量を算出し、さらに、意図した画像の特徴を自動的に抽出する構成を加え、ニューラルネットワークにて機械学習する特徴を変更することで、画像内の物体(例えば、異常組織や異常細胞の病変等)の検出漏れや誤検出抑制を実現する画像診断支援装置およびその方法を提供する。
以下、添付図面を参照して本発明の実施形態について説明する。添付図面では、機能的に同じ要素は同じ符号で表示される場合もある。なお、添付図面は本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。
本実施形態では、当業者が本発明を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本発明の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。
更に、本発明の実施形態は、後述されるように、汎用コンピュータ上で稼動するソフトウェアで実装しても良いし専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装しても良い。
以下では「プログラムとしての各処理部(例えば、特徴抽出部等)」を主語(処理の主体)として本発明の実施形態における各処理について説明を行うが、プログラムはプロセッサ(CPU等)によって実行されることで定められた処理をメモリ及び通信ポート(通信制御装置)を用いながら行うため、プロセッサを主語とした説明としてもよい。
<画像診断支援装置の機能構成>
図1は、本発明の実施形態による画像診断支援装置1の機能構成を示すブロック図である。画像診断支援装置1は、入力部10と、特徴抽出部11と、局所識別部12と、全体識別部13と、描画部14と、記録部15と、学習部16と、制御部91と、記憶装置90と、を有している。
当該画像診断支援装置1は、バーチャルスライド等の組織及び細胞画像取得装置内に実装しても良いし、後述する(実施例3乃至実施例4)のように、組織及び細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。
画像診断支援装置1における、入力部10、特徴抽出部11、局所識別部12、全体識別部13、描画部14、記録部15、及び学習部16は、プログラムによって実現しても良いし、モジュール化して実現しても良い。
入力部10には画像データが入力される。例えば、入力部10は、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、JPG、Jpeg2000、PNG、BMP形式等の符号化された静止画像データ等を取得して、その画像を入力画像としてもよい。
また、入力部10は、MotionJPEG、MPEG、H.264、HD/SDI形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像を入力画像としてもよい。また、入力部10は、撮像手段がバスやネットワーク等を介して取得した画像を入力画像としてもよい。また、入力部10は、脱着可能な記録媒体に、既に記録されていた画像を入力画像としてもよい。
特徴抽出部11は、入力画像内から物体(例えば、組織や細胞等)に関する特徴量を算出する。
局所識別部12は、抽出した特徴量から局所的に物体の識別値(局所識別値)を算出し、入力画像内の局所毎に、検出すべき物体か否かを分類する。なお、本実施例において、局所は、例えば、所定の領域や所定の臓器や器官または組織や細胞などを示す。
全体識別部13は、局所識別部12で算出した局所識別値を用いて、入力画像の全体の識別結果を算出する。
描画部14は、前記全体識別部13で分類した物体(例えば、異常組織や異常細胞等)を囲むように検出枠を画像上に描画する。
記録部15は、前記描画部14で原画像上に検出枠を描画した画像を記憶装置90に保存する。
学習部16は、入力画像内の物体を物体として識別するように、すなわち、正常の組織や細胞を正常の組織や細胞と識別するように、また、入力画像内の異常の組織や細胞を異常の組織や細胞と識別するように、機械学習を行って識別に必要な各パラメータ(フィルター係数、オフセット値等)を算出する。
ただし、入力画像と一緒に任意のパターンを示す画像(以降、指定パターンと呼ぶ)が与えられているときは、局所識別部12で算出した局所識別値と指定パターンを用いて、画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。換言すれば、指定パターンは、画像内で優先して特徴を抽出したい箇所を示すデータである。
局所識別値と算出した追加識別値を用いて全体識別部13で入力画像の全体の識別結果を全体識別値として算出するように機械学習を行う。一方、指定パターンがない場合は、局所識別値のみを用いて全体識別部13で入力画像の全体の識別結果を算出するように機械学習を行う。以上のように機械学習を行って必要な各パラメータ(フィルター係数、オフセット値等)を算出する。
なお、学習部16は、図示しないニューラルネットワークを用いて学習を実施する。ニューラルネットワークは、外部の計算機で稼働するサービスを利用しても良いし、ハードウェアによって実装されても良い。
制御部91は、プロセッサで実現され、画像診断支援装置1内の各要素に接続される。画像診断支援装置1の各要素の処理は、上述した各構成要素の自律的な処理、又は制御部91の指示により処理を行う。
このように本実施形例態の画像診断支援装置1では、特徴抽出部11で算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と、指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出する。そして、画像診断支援装置1では局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の物体を分類することを特徴とする。
<画像診断支援装置のハードウェア構成>
図2は、本発明の実施形態による画像診断支援装置1のハードウェア構成例を示す図である。
画像診断支援装置1は、各種プログラムを実行するCPU(プロセッサ)201と、各種プログラムを格納するメモリ202と、各種データを格納する記憶装置(記憶装置90に相当)203と、検出後画像を出力するための出力装置204と、ユーザによる指示や画像等を入力するための入力装置205と、他の装置と通信を行うための通信デバイス206と、を有し、これらがバス207によって相互に接続されている。
CPU201は、必要に応じてメモリ202から各種プログラムを読み込み、実行する。
メモリ202は、プログラムとしての、入力部10と、特徴抽出部11と、局所識別部12と、全体識別部13と、描画部14と、記録部15と、学習部16とを格納する。ただし、実施例1の画像診断支援装置1のメモリ202には、画像生成部20は含まない。
記憶装置203は、処理対象画像、局所識別部12によって生成された入力画像に関する局所識別値、全体識別部13によって生成された入力画像に関する分類結果とその数値、描画部14によって生成された検出枠を描画するための位置情報、学習部16によって生成した後述の式1、式2および式5の各パラメータ等を記憶している。
出力装置204は、ディスプレイ、プリンタ、スピーカー等のデバイスで構成される。例えば、出力装置204は、描画部14によって生成されたデータをディスプレイ画面上に表示する。
入力装置205は、キーボード、マウス、マイク等のデバイスで構成される。入力装置205によってユーザによる指示(処理対象画像の決定を含む)が画像診断支援装置1に入力される。
通信デバイス206は、画像診断支援装置1としては必須の構成ではなく、画像取得装置に接続されたパソコン等に通信デバイスが含まれる場合には、画像診断支援装置1は通信デバイス206を保持していなくても良い。通信デバイス206は、例えば、ネットワークを介して接続される他の装置(例えば、サーバー)から送信されてきたデータ(画像を含む)を受信し、記憶装置203に格納する処理を行う。
本発明の画像診断支援装置1は、入力画像に関する各物体(組織や細胞等)の特徴量を算出し、算出した特徴量から入力画像の局所を識別する局所識別値を算出し、さらに、入力画像と対の指定パターンがある場合は局所識別値と指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値を算出し、局所識別値もしくは局所識別値と追加識別値を用いて入力画像の全体の識別結果を算出して、入力画像内の各物体(組織や細胞の病変らしさ等)を判定する。
<各部の構成と処理>
以下、各要素の構成と処理について詳細に説明する。
(i)特徴抽出部11
特徴抽出部11は、入力画像の特徴量を算出する。一例として、各特徴量を算出する例を図3に示す。図3のCNNは、Convolutional Neural Networkを表す。
例えば、特徴抽出器Aを用いて、以下の式1により、入力画像A1から入力画像A1の物体(例えば、組織や細胞等)の特徴量FAiを算出する。式1に示すフィルタ係数wjは、各物体を各物体(正常組織や正常細胞を正常組織や正常細胞、もしくは異常組織や異常細胞を異常組織や異常細胞等)と識別するように、機械学習等により算出した係数である。式1において、pjは画素値、biはオフセット値、mはフィルタ係数の数、hは非線形関数を示す。
図4に示すように、式1を用いて、対象画像の左上から右下に対して、各フィルタの計算結果を算出することで、フィルタiの特徴量fiを算出する。例えば、特徴抽出器Aで算出した特徴量fiの行列を、入力画像A1の特徴量FAiとする。特徴抽出器Aの生成方法については、後述する学習部16にて説明する。
(ii)局所識別部12
局所識別部12は、図5に示すように、前記特徴抽出部11で算出した特徴抽出器Aの特徴量FAiと非線形関数(例えば、sigmoid関数等)を用いて、式2により、局所領域毎に物体らしさ(例えば、病変らしさ等)の値を算出して、入力画像A1内の物体が検出すべき物体か否か(例えば、正常細胞、もしくは異常細胞等)を判定する。
以下の式2において、LSはクラス、高さ、幅の3次元配列から成る局所識別値、FAiは特徴抽出部11で算出した特徴量の番号、高さ、幅の3次元配列から成る特徴量、Wはクラス、特徴量の番号、高さ、幅の4次元配列から成る局所識別値を算出するためのフィルタ、Bはクラスの1次元配列から成る局所識別値算出のためのオフセット値、cはクラスのインデックス、yは特徴量の垂直方向のインデックス、xは特徴量の水平方向のインデックス、fyはフィルタの垂直方向のインデックス、fxはフィルタの水平方向のインデックス、jはフィルタのインデックスを示す。
式2ではConvolution処理を用いて局所識別値LSを算出しているが、局所識別値LSの算出方法はこれに限らない。例えば、Convolution処理や非線形関数等を複数回適用して算出しても良いし、各座標における特徴量をRandom forestやSVM等、その他の識別手法に入力して局所識別値LSを算出しても良い。
(iii)全体識別部13
全体識別部13は、図6に示すように、前記局所識別部12で算出した局所識別値LSもしくは局所識別値LSおよび後述する追加識別値ASと非線形関数(例えば、sigmoid関数等)を用いて、指定パターンがある場合は以下の式3、または、指定パターンがない場合は以下の式4により、入力画像内の各物体の物体らしさ(例えば、病変らしさ等)の値を示す計算結果Rを算出する。そして、全体識別部13は、入力画像A1内の物体が検出すべき物体か否か(例えば、正常細胞、もしくは異常細胞等)を判定する。
ただし、以下の式3、式4に示す基礎識別値BSは、以下の式5の大局識別値GSと式6を用いて算出する。
式5において、GSはクラスの1次元配列から成る大局識別値、FAiは特徴抽出部11で算出した特徴量の番号、高さ、幅の3次元配列から成る特徴量、Wはクラス、特徴量の番号、高さ、幅の4次元配列から成る大局識別値算出のためのフィルタ、Bはクラスの1次元配列から成る大局識別値算出のためのオフセット値、cはクラスのインデックス、yは特徴量の垂直方向のインデックス、xは特徴量の水平方向のインデックス、fyはフィルタの垂直方向のインデックス、fxはフィルタの水平方向のインデックス、jはフィルタのインデックスを示す。
また、式6のLabelは、クラスの1次元配列から成る画像単位の教師ラベルを示す。後述する学習部16にて、機械学習により、式5のフィルタWの係数とオフセット値Bを算出する。
式5ではConvolution処理と水平及び垂直方向の平均処理を用いて大局識別値GSを算出しているが、大局識別値GSの算出方法はこれに限らない。例えばConvolution処理や非線形関数等を複数回適用した後に、水平及び垂直方向の平均処理を行っても良いし、各座標における特徴量をRandom forestやSVM等、その他の識別手法に入力して得られた値の水平及び垂直方向の平均値を算出しても良い。また水平及び垂直方向の平均処理に限らず、総和処理等を用いても良い。
また、式3の各項には、出現頻度や追加識別値ASおよび基礎識別値BSの値等に応じて算出した重みを掛けてもよい。
ただし、式6において、NLLは損失関数、例えば、Negative log likelihoodを示す。
一例として、画像内の物体(例えば、細胞の病変等)の有無の判定が出来ない場合でも、後述する学習部16での追加識別値を反映した特徴抽出器Aや、局所識別値や、大局識別値および後述する追加識別値を用いることで、従来の機械学習の技術では抽出できなかった物体の特徴(例えば、基底細胞の有無や上皮細胞での病変有無等)が明確となり、画像内の各物体を精度よく判定することが可能となる。
(iv)学習部16
学習部16は、前記の特徴抽出部11、局所識別部12、全体識別部13、後述する追加識別部17から構成される。追加識別部17は、局所識別値LSと指定パターンを用いて画像内の指定パターンの箇所を優先して識別するように追加識別値ASを算出する。
追加識別部17は、入力画像と対に指定パターンが与えられている場合、式7より、局所識別部12で算出した局所識別値LSと指定パターン(Pattern)を用いて、追加識別値ASを算出する。
式7において、Patternは、クラス、高さ、幅の3次元配列であり、局所識別器の目標識別値を0または1で指定する。
学習部16は、指定パターンがある場合、局所識別値LSと指定パターンを用いて追加識別値ASを算出する。
そして、全体識別部13にて、従来技術である機械学習の技術を用いて、局所識別値LSと追加識別値ASを用いて入力画像内の各物体を各物体(例えば、正常組織や正常細胞を正常組織や正常細胞、異常組織や異常細胞を異常組織や異常細胞)と識別するように、各物体の特徴量を学習して、フィルタWの係数とオフセット値Bを算出する。
例えば、機械学習の技術として、Convolutional Neural Networkを用いてもよい。一方、指定パターンがない場合は、局所識別値LSのみを用いて、全体識別部13にて、入力画像内の各物体を各物体と識別するように、各物体の特徴量を学習して、フィルタWの係数とオフセット値Bを算出する。
学習部16は、図7に示すように、事前の機械学習により、入力画像A1(例えば、病理画像)を用いて、式1により、入力画像A1の特徴量fi(FAiとする)を算出する。
次に、学習部16は、式2により、特徴量fiから局所識別値LSを算出し、式7により、局所識別値LSと指定パターンB1を用いて追加識別値ASを算出する。
さらに、局所識別値LSから算出した基礎識別値BSと追加識別値ASを用いて、各対象物体を各対象物体(例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞)と判定するように、式1から式7までの各パラメータを算出する。
このように、指定パターンによる追加識別値ASを反映した特徴抽出器Aや全体識別部13を含めた識別器Cを生成することで、指定パターンで示した箇所を優先して識別するための特徴量を算出することが可能となる。
学習部16は、複数の学習用画像を用いて、前記特徴抽出部11と前記局所識別部12、前記全体識別部13、前記追加識別部17の処理を繰り返して行い、式1、式2および式5に示す各パラメータ(フィルタ係数wj、フィルタWの係数、オフセット値biとB等)を算出する。そして、学習部16は、入力画像A1から入力画像A1の特徴量FAiを算出する特徴抽出器A、局所識別値を算出する局所識別器L、大局識別値を算出する大局識別器Mから成る識別器Cを生成する。
また、学習部16は、算出した各パラメータ(フィルタ係数wj、フィルタWの係数、オフセット値biとB等)を記憶装置90に格納する。
(v)描画部14
描画部14は、全体識別部13において、画像内の物体を所定の物体(例えば、異常組織や異常細胞)と判定された場合、図8に示すように、検出すべき物体の箇所(例えば、異常組織や異常細胞が疑われる箇所等)を示すために、入力した対象画像内に検出枠を描画して出力装置204に出力する。
一方、描画部14は、正常組織や正常細胞と判定された場合は、入力した対象画像上に検出枠を描画せず、入力した対象画像をそのまま表示する。また、図8に示すように、判定した病変らしさの結果(例えば、腫瘍)を表示する。
また、描画部14は、一例として、図11に示すGUI(グラフィカルユーザーインタフェース)にて、病変らしさ判定の結果を表示する。図11は、胃がんの場合の一例であり、低分化管状腺がん、中分化管状腺がん、高分化管状腺がん、乳頭状腺がん、印環細胞がんの分類結果を示す図である。
図11の判定結果表示画面141では、病変の名称142と、判定結果(正常143、がん144)と、病変らしさの値145と、表示ボタン146で構成される。
図11の例では、低分化管状腺がんについて、全体識別部13は、入力された対象画像に異常組織または細胞である低分化管状腺がんを含むと分類し、低分化管状腺がんの病変らしさの値145を0.69と算出した例である。
また、中分化管状腺がんについて、全体識別部13は、入力された対象画像に異常組織または細胞である中分化管状腺がんを含まず、正常組織または細胞と分類し、中分化管状腺がんの病変らしさの値145を0.11と算出した例である。
また、高分化管状腺がんについて、全体識別部13は、入力された対象画像に異常組織または細胞である高分化管状腺がんを含まず、正常組織または細胞と分類し、高分化管状腺がんの病変らしさの値145を0.09と算出した例である。
また、乳頭状腺がんについて、全体識別部13は、入力された対象画像に異常組織または細胞である乳頭状腺がんを含まず、正常組織または細胞と分類し、乳頭状腺がんの病変らしさの値145を0.06と算出した例である。また、印環細胞がんについて、全体識別部13は、入力された対象画像に異常組織または細胞である印環細胞がんを含まず、正常組織または細胞と分類し、印環細胞がんの病変らしさの値145を0.05と算出した例である。
(vi)記録部15
記録部15は、描画部14で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置90に保存する。
<画像診断支援装置の処理手順>
図9は、本発明の実施例1による画像診断支援装置1の学習部16で行われる処理の一例を説明するためのフローチャートである。以下では、学習部16を処理の主体として記述するが、CPU201を処理の主体とし、CPU201がプログラムとしての各処理部を実行するように読み替えても良い。
(i)ステップS901
入力部10は、学習用に入力された画像を受け付け、当該入力画像を学習部16に出力する。
(ii)ステップS902
学習部16は、機械学習によって、上述の式1により、フィルタを用いて入力画像A1の物体(例えば、組織や細胞等)の特徴量FAiを算出し、特徴抽出器Aを生成する。学習部16は、特徴量FAiについて、フィルタ係数wj、オフセット値biを算出する。
(iii)ステップS903
学習部16は、機械学習によって、上述の式2により、特徴量FAiから局所識別値LSを算出し、局所領域毎に物体らしさ(例えば、病変らしさ等)の値を算出して、入力画像A1内の物体が検出すべき物体か否か(例えば、正常細胞、もしくは異常細胞等)を判定するように、局所識別値LSを算出するための式2の各パラメータ(フィルタWの係数、オフセット値B等)を算出する。
(iv)ステップS904
学習部16は、機械学習によって、上述の式7により、局所識別値LSと指定パターン(Pattern)B1を用いて、優先して指定パターンB1で示す画像内の領域の特徴を捉えるように、追加識別値ASを算出する。
(v)ステップS905
学習部16は、機械学習によって、上述の式3もしくは式4により、局所識別値LSから算出した基礎識別値BSと追加識別値ASを用いて、各対象物体を所定の対象物体(例えば、異常組織や異常細胞を異常組織や異常細胞、正常組織や正常細胞を正常組織や正常細胞)と判定するように、式5の各パラメータ(フィルタWの係数、オフセット値B等)を算出する。そして、学習部16は、上記式3または式4により、入力画像内の各物体の物体らしさ(例えば、病変らしさ等)の値を示す計算結果Rを算出する。
(vi)ステップS906
学習部16は、式1、式2および式5の各パラメータ(フィルタ係数wj、フィルタWの係数、オフセット値bi、B等)を記憶装置90に保存する。
上記ステップS901〜S906の処理によって、指定パターンB1による追加識別値ASを反映した特徴抽出器Aや全体識別部13を含めた識別器Cを生成し、指定パターンB1で示した箇所を優先して識別する特徴量を算出することができる。
図10は、本発明の実施例1による画像診断支援装置1の処理を説明するためのフローチャートである。以下では、各処理部(入力部10、特徴抽出部11等)を処理の主体として記述するが、CPU201を処理の主体とし、CPU201がプログラムとしての各処理部を実行するように読み替えても良い。
(i)ステップS1001
入力部10は、当該入力画像A1を特徴抽出部11に出力する。
(ii)ステップS1002
特徴抽出部11は、記憶装置90から特徴抽出器Aのフィルタ係数wjと、オフセットbiを読込み、上述の式1により、フィルタを用いて入力画像A1の画像内の物体(例えば、組織・細胞等)の特徴量FAiを算出する。
(iii)ステップS1003
局所識別部12は、記憶装置90からフィルタ係数Wの係数、オフセットBを読込み、式2により、特徴量FAiから局所識別値LSを算出する。
(iv)ステップS1004
全体識別部13は、記憶装置90からフィルタ係数Wの係数、オフセットBを読込み、式5と式3もしくは式4により、計算結果Rを算出する。
(v)ステップS1005
全体識別部13は、算出した計算結果Rと閾値Th1を比較する。すなわち、計算結果R≧閾値Th1の場合、処理はステップS1006に移行する。一方、計算結果R<閾値Th1の場合、処理はステップS1007に移行する。
(vi)ステップS1006
全体識別部13は、入力画像内の物体が検出すべき対象物体(例えば、異常組織・異常細胞等)であると判定し、分類結果resに例えば、「1」を設定する。
(vii)ステップS1007
全体識別部13は、入力画像内の物体が検出すべき物体ではない(例えば、正常組織・正常細胞等)と判定し、分類結果resに例えば、「0」を設定する。
(viii)ステップS1008
全体識別部13は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果resにより、病変有無(例えば、腫瘍等)や病変らしさ(R=0.69:値域(0〜1))を精度よく算出することが可能となる。
(ix)ステップS1009
描画部14は、検出すべき物体(例えば、異常組織や異常細胞等)として分類した場合は、図8に示すように、異常組織や異常細胞を示す検出枠を画像上に描画して出力装置204に表示する。
描画部14は、検出すべき物体ではない(例えば、正常組織や正常細胞等)と分類された場合は、検出枠を画像上に描画することはしない。また、描画部14は、図11に示すように、入力画像から算出した検出すべき物体らしさ(例えば、病変らしさ等)の値を表示する。
(x)ステップS1010
記録部15は、描画部14で入力した対象画像上に検出枠を描画するための座標情報と当該対象画像を記憶装置90(記憶装置203に相当)に保存する。
以上のように、実施例1形態によれば、指定パターンB1で示す画像内の領域の特徴を優先して捉えるように画像の特徴量を機械学習し、各パラメータ(フィルター係数、オフセット等)を算出して、検出すべき物体(例えば、異常組織や細胞等)か否かを分類する識別器を生成するため、各物体(例えば、病変等)の誤検出や過検出を抑制して、画像から検出すべき物体(異常組織や異常細胞等)か否かを分類することが可能となる。
また、学習用画像数が少なく、機械学習において意図した画像内の物体の特徴量が捉えられない場合でも、指定パターンB1を用いることでニューラルネットワークが意図した画像内の特徴量を優先して捉えるように機械学習して識別器を生成するため、学習用画像数が少なくても精度よく画像内の物体や物体らしさ(例えば、病変らしさ等)を判定することが可能となる。
また、学習用の画像数が増えても、機械学習時に意図しない画像の特徴量の抽出を抑えつつ、意図した画像内の特徴量を優先的に捉えるため、精度よく画像内の物体や物体らしさ(例えば、病変らしさ等)を判定することが可能となる。
図12に示す実施例2に係る画像診断支援装置1は、前記実施例1の図1と同じ構成を多く含むが、実施例1と異なり、画像生成部20を含む。また、本実施例2では、前記実施例1の学習部16に代わって、学習部26を採用する。従って、ここでは図1と異なる構成について説明をする。
本発明の実施例2にかかる画像診断支援装置1は、事前の機械学習によって指定パターンの画像を生成し、生成した指定パターンの画像を用いて、前記実施例1と同様に、学習部26で機械学習を行う。学習部26は、追加識別値を反映した画像内の物体(例えば、組織や細胞等)の特徴量を算出して、それらの特徴量を用いて入力画像内の物体(例えば、組織や細胞等)について所定の物体(例えば、病変)らしさを判定する。
<各部の構成と処理>
以下、図1と異なる各要素の構成と処理について詳細に説明する。
(i)画像生成部20
画像生成部20は、特に重点的に特徴量を捉えたい物体を含む複数の学習用画像P1を用いて、事前に機械学習を行って、図13Aと図13Bで示す基礎識別値BSを算出する過程で算出した図5に示す局所識別値から成るパターンを指定パターンとして生成する。
図13Aは、特徴量FAiから大局識別値GSを算出する例を説明する図である。図13Bは、大局識別値GSと教師ラベルLabelから基礎識別値BSを算出する例を説明する図である。図13Cは、生成された指定パターンを修正するGUIの一例を示す図である。
図13Aと図13Bにおいて、特徴量の平均を用いたが、総和等の別な計算処理を行ってもよい。画像生成部20は、生成した指定パターンを記憶装置90に格納する。また、指定パターンを機械学習に使用するときは、そのまま使用してもよいし、図13Cに示すように、生成した指定パターンの一部をGUI等にて修正した修正後指定パターンを使用してもよい。
(ii)学習部26
学習部26は、画像生成部20で生成した指定パターンと学習用画像P1を含む学習用画像P2を用いて、実施例1の学習部16と同様に機械学習を行い、識別器Cを生成する。また、学習部26は、前記実施例1に示した、式1、式2および式5に示す各パラメータ(フィルタ係数wj、フィルタWの係数、オフセット値biとB等)を算出し、記憶装置90に格納する。
学習部26は、生成した識別器Cおよび各パラメータを用いて、実施例1と同様に、入力画像A1を入力して特徴量FAiおよび基礎識別値BSを算出し、入力画像A1内の物体が検出すべき物体(例えば、異常組織や異常細胞等)か否かを判定し、さらに物体(例えば、病変等)らしさも判定する。
<画像診断支援装置のハードウェア構成>
本発明の実施例2による画像診断支援装置1のハードウェア構成例は、前記実施例1の図2と同様の構成を有するが、画像診断支援装置1と異なり、メモリ202に画像生成部20を含む。
画像診断支援装置2の記憶装置203は、処理対象の画像や、全体識別部13によって生成された入力画像に関する分類結果とその数値、画像生成部20によって生成された指定パターンの画像や、描画部14によって生成された検出枠を描画するための位置情報や、学習部26によって生成した式1、式2および式5の各パラメータ等を記憶している。
図14は、本発明の実施形態による画像診断支援装置1の処理を説明するためのフローチャートである。以下では、各処理部(入力部10、特徴抽出部11等)を処理の主体として記述するが、CPU201を処理の主体とし、CPU201がプログラムとしての各処理部を実行するように読み替えても良い。
(i)ステップS1401
入力部10は、指定パターンと学習用画像P1を含む学習用画像P2と、入力画像A1とを受け付けて、学習用画像P1を画像生成部20に出力する。
(ii)ステップS1402
画像生成部20は、学習用画像P1から指定パターンの画像D1を生成する。
(iii)ステップS1403
学習部26は、学習用画像P2と指定パターンの画像D1を用いて機械学習を行い、前記実施例1の式1、式2および式5に示す各パラメータ(フィルタ係数wj、フィルタWの係数、オフセット値biとB等)を算出し、記憶装置90に格納する。
(iv)ステップS1404
特徴抽出部11は、記憶装置90から式1に示す各パラメータ(フィルタ係数wj、オフセット値bi)を読込み、上述の式1により、フィルタを用いて入力部10から渡された入力画像A1の物体の特徴量FAiを算出する。
(v)ステップS1405
局所識別部12は、記憶装置90から上述の式2に示す各パラメータ(フィルターWの係数、オフセットB)を読込み、式2により、局所識別値LSを算出する。
(vi)ステップS1406
全体識別部13は、記憶装置90から上述の式5に示す各パラメータ(フィルターWの係数、オフセットB)を読込み、式5と式6、式3もしくは式4により、基礎識別値BSと計算結果Rを算出する。
(vii)ステップS1407
全体識別部13は、算出した計算結果Rと閾値Th1を比較する。すなわち、計算結果R≧閾値Th1の場合、処理はステップS1408に移行する。一方、計算結果R<閾値Th1の場合、処理はステップS1409に移行する。
(viii)ステップS1408
全体識別部13は、分類結果resに検出すべき対象物体(例えば、異常組織・異常細胞等)であると判定し、分類結果resに例えば、「1」を設定する。
(ix)ステップS1409
全体識別部13は、検出すべき物体ではない(例えば、正常組織・正常細胞等)と判定し、分類結果resに例えば、「0」を設定する。
(x)ステップS1410
全体識別部13は、分類結果resから病変らしさを分類する。例えば、前立腺については、分類結果resには、非腫瘍、腫瘍等の結果が設定される。従って、機械学習時に追加識別値を反映して算出した各パラメータを用いることで、分類結果resにより、物体(例えば、病変等)有無(例えば、腫瘍等)や物体(例えば、病変等)らしさ(R=0.69:値域(0〜1))を精度よく算出することが可能となる。
(xi)ステップS1411
描画部14は、検出すべき物体(例えば、異常組織や異常細胞等)と分類された場合は、前記実施例1の図8で示したように、異常組織や異常細胞を示す検出枠を画像上に描画して表示する。描画部14は、検出すべき物体ではない(例えば、正常組織や正常細胞等)と分類された場合は、検出枠を画像上に描画することはしない。また、描画部14は、図11に示すように、入力画像から算出した検出すべき物体らしさ(例えば、病変らしさ等)の値を表示する。
(xii)ステップS1412
記録部15は、描画部14で入力した対象画像上に検出枠を描画するための座標情報とその対象画像を記憶装置90(記憶装置203に相当)に保存する。
以上のように、本実施例2によれば、画像診断支援装置1は、指定パターンで示す画像内の領域の特徴を優先して捉えように画像の特徴量を機械学習し、各パラメータ(フィルター係数、オフセット等)を算出する。そして、画像診断支援装置1は、検出すべき物体(例えば、異常組織や細胞等)か否かを分類する識別器を生成するため、各物体(例えば、病変等)の誤検出や過検出を抑制して、画像から検出すべき物体(異常組織や異常細胞等)か否かを分類することが可能となる。
また、画像診断支援装置1は、事前に重点的に学習したい学習用画像P1を用いて指定パターンの画像D1を生成し、画像数を増やした学習用画像と生成した指定パターンの画像D1を用いて画像内の物体の特徴量を算出することができる。これにより、指定パターンの画像D1の生成コストを抑えつつ、精度よく画像内の物体や物体らしさ(例えば、病変らしさ等)を判定することが可能となる。
また、画像診断支援装置1は、学習用の画像数を増やして再度機械学習を行った場合でも、画像を増やす前の機械学習にて捉えていた特徴量が変わることを抑制しつつ、精度よく画像内の物体や物体らしさ(例えば、病変らしさ等)を判定することが可能となる。
図15は、本発明の実施例3による遠隔診断支援システム1500の構成を示す機能ブロック図である。遠隔診断支援システム1500は、サーバー1503と、画像取得装置1505と、を有する。
画像取得装置1505は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部1501と、サーバー1503から伝送されてきた判定結果を表示するための表示部1504と、を有している。なお、画像取得装置1505は、図示されてはいないが、画像データをサーバー1503に送信したり、サーバー1503から送信されてきたデータを受信したりする通信デバイスを有している。
サーバー1503は、画像取得装置1505から伝送されてきた画像データに対して、本発明の実施例1や実施例2による画像処理を行う画像診断支援装置1と、画像診断支援装置1から出力された判定結果を格納する格納部1502と、を有している。
なお、サーバー1503は、図示されてはいないが、画像取得装置1505から送信されてきた画像データを受信したり、画像取得装置1505に判定結果データを送信したりする通信デバイスを有している。また、サーバー1503は、画像診断支援装置1と格納部1502を含む装置であればよく、サーバーに限定されるものではない。
画像診断支援装置1は、画像取得装置1505の撮像部1501で撮影した画像データ内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞(例:がん)等)の有無を分類する。
また、前記実施例1、2と同様にして指定パターンを使用した機械学習によって算出した各パラメータを用いて、入力画像内の物体(例えば、組織・細胞等)の特徴量を算出する識別器による分類結果を用いて、物体(例えば、異常組織や異常細胞(例:がん)等)の状態に応じた物体(例えば、異常組織や異常細胞(例:がん)等)の所定の物体(例えば、病変)らしさの分類を行う。表示部1504は、サーバー1503から伝送された分類結果を、画像取得装置1505の表示画面に表示する。
画像取得装置1505として、撮影部を有する再生医療装置やiPS細胞の培養装置、もしくはMRIや超音波画像撮像装置等を用いてもよい。
以上のように、実施例3によれば、地点の異なる施設等から伝送された画像内の物体(例えば、組織や細胞等)について、指定パターンを反映した識別器の各パラメータを用いて検出すべき物体(異常組織や異常細胞等)か否かを精度よく分類し、分類結果を地点の異なる施設等に伝送して、その施設等にある画像取得装置の表示部で分類結果を表示することで、遠隔診断支援システムを提供することが可能となる。
図16は、本発明の実施例4によるネット受託サービス提供システム1600の構成を示す機能ブロック図である。ネット受託サービス提供システム1600は、サーバー1603と、画像取得装置1605と、を有している。
画像取得装置1605は、例えばバーチャルスライド装置やカメラを装備したパーソナルコンピュータのような装置であり、画像データを撮影する撮像部1601と、サーバー1603から伝送された識別器を格納する格納部1604と、画像診断支援装置1とを有している。
画像診断支援装置1は、サーバー1603から伝送された識別器を読込んで、画像取得装置1605の撮像部1601にて新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞等)か否かを分類する。画像診断支援装置1は、前記実施例1、2と同様の画像処理を行う。
なお、画像取得装置1605は、図示されてはいないが、画像データをサーバー1603に送信したり、サーバー1603から送信されてきたデータを受信したりする通信デバイスを有している。
サーバー1603は、画像取得装置1605から伝送されてきた画像データに対して、本発明の実施例1や実施例2による画像処理を行う画像診断支援装置1と、画像診断支援装置1から出力された識別器を格納する格納部1602と、を有している。
なお、サーバー1603は、図示されてはいないが、画像取得装置1605から送信されてきた画像データを受信したり、画像取得装置1605に識別器を送信したりする通信デバイスを有している。
画像診断支援装置1は、撮像部1601で撮影した画像データ内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等)と判定するように指定パターンを使用した機械学習を行い、地点の異なる施設等の画像内の物体(例えば、組織・細胞等)の特徴量を算出する識別器を生成する。格納部1604は、サーバー1603から伝送された識別器等を格納する。
画像取得装置1605内の画像診断支援装置1は、格納部1604から指定パターンを反映したパラメータから成る識別器等を読込み、当該識別器を用いて、画像取得装置1605の撮像部1601にて新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞等)か否かを分類し、画像診断支援装置1の出力装置204の表示画面に分類結果を表示する。
画像取得装置1605として、撮影部を有する再生医療装置やiPS細胞の培養装置、もしくはMRIや超音波画像撮像装置等を用いてもよい。
以上のように、実施例4によれば、地点の異なる施設等から伝送された画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、正常の組織や細胞は正常の組織や細胞、異常の組織や細胞は異常の組織や細胞等)として分類するように指定パターンを使用した機械学習を行って識別器等を生成し、識別器等を地点の異なる施設等に伝送する。
そして、当該施設等にある画像取得装置1605にて識別器を読込み、新たに撮影した画像内の物体(例えば、組織や細胞等)について、検出すべき物体(例えば、異常組織や異常細胞等)か否かを分類することで、ネット受託サービス提供システムを提供することが可能となる。
以上説明した各実施例1〜4については、次のような変形が可能である。
特徴抽出部11や学習部16、26では、機械学習によりフィルタを用いて複数特徴量を算出したが、HOG等の他の特徴量を用いてもよく、同様の効果を有する。
全体識別部13や学習部16、26では、損失関数としてNegative log likelihoodを用いたが、2乗誤差やHinge loss等を用いてもよく、同様の効果を有する。
本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ(又はCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、CD−ROM、DVD−ROM、ハードディスク、光ディスク、光磁気ディスク、CD−R、磁気テープ、不揮発性のメモリカード、ROMなどが用いられる。
また、プログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのCPUなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はCD−RW、CD−R等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はCPUやMPU)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。
最後に、ここで述べたプロセス及び技術は本質的に如何なる特定の装置に関連することはなく、コンポーネントの如何なる相応しい組み合わせによってでも実装できる。更に、汎用目的の多様なタイプのデバイスがここで記述した方法に従って使用可能である。ここで述べた方法のステップを実行するのに、専用の装置を構築するのが有益である場合もある。また、実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
さらに、異なる実施例にわたる構成要素を適宜組み合わせてもよい。本発明は、具体例に関連して記述したが、これらは、すべての観点に於いて限定の為ではなく説明の為である。本分野にスキルのある者には、本発明を実施するのに相応しいハードウェア、ソフトウェア、及びファームウエアの多数の組み合わせがあることが解るであろう。例えば、記述したソフトウェアは、アセンブラ、C/C++、perl、Shell、PHP、Java(登録商標)等の広範囲のプログラム又はスクリプト言語で実装できる。
さらに、上述の実施形態において、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていても良い。
加えて、本技術分野の通常の知識を有する者には、本発明のその他の実装がここに開示された本発明の明細書及び実施形態の考察から明らかになる。記述された実施形態の多様な態様及び/又はコンポーネントは、単独又は如何なる組み合わせでも使用することが出来る。
<補足>
特許請求の範囲に記載した以外の本発明の観点の代表的なものとして、次のものがあげ
られる。
<16>
画像データを撮影する撮像装置を有する画像取得装置と、
<4>または<7>に記載の画像診断支援装置として機能するサーバーと、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と判定結果をメモリに格納するとともに、前記画像取得装置に送信し、前記画像取得装置は、受信した前記判定された物体の画像と判定結果を表示装置に表示することを特徴とする遠隔診断支援システム。
<17>
画像データを撮影する撮像装置を有する画像取得装置と、
<4>または<7>に記載の画像診断支援装置として機能するサーバーと、を有し、
前記画像取得装置は、前記サーバーに前記画像データを送信し、
前記サーバーは、受信した前記画像データを前記画像診断支援装置で処理して前記判定された物体の画像と識別器をメモリに格納するとともに、前記判定された物体の画像と識別器を前記画像取得装置に送信し、
前記画像取得装置は、受信した前記判定された物体の画像と識別器を格納し、
前記画像取得装置内の<4>または<7>に記載の画像診断支援装置は、識別器を用いて他の画像を判定するとともに、判定結果を表示装置に表示することを特徴とするネット受託サービス提供システム。
1 画像診断支援装置
10 入力部
11 特徴抽出部
12 局所識別部
13 全体識別部
14 描画部
15 記録部
16、26 学習部
20 画像生成部
91 制御部
1500 遠隔診断支援システム
1600 ネット受託サービス提供システム

Claims (15)

  1. プロセッサとメモリを有する機械学習装置であって、
    前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
    前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
    前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
    前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納することを特徴とする機械学習装置。
  2. 請求項1に記載の機械学習装置であって、
    前記プロセッサは、指定された画像を指定パターンとして受け付けて、
    前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
  3. 請求項1に記載の機械学習装置であって、
    前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
    前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習装置。
  4. プロセッサとメモリを有する画像診断支援装置であって、
    前記プロセッサは、画像を受け付けて、前記画像に含まれる物体の特徴量を算出し、
    前記プロセッサは、前記特徴量から局所を識別して局所識別値を算出し、
    前記プロセッサは、前記局所識別値を用いて全体識別値を算出し、
    前記プロセッサは、前記局所識別値と前記全体識別値を用いて識別結果を算出することを特徴とする画像診断支援装置。
  5. 請求項4に記載の画像診断支援装置であって、
    前記プロセッサは、指定された画像を指定パターンとして受け付けて、
    前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
  6. 請求項4に記載の画像診断支援装置であって、
    前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
  7. 請求項4に記載の画像診断支援装置であって、
    前記プロセッサは、特定の領域を示した指定パターンの画像を生成し、
    前記プロセッサは、前記局所識別値と前記指定パターンから追加識別値を算出し、
    前記全体識別値を算出する際には、前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援装置。
  8. 請求項7に記載の画像診断支援装置であって、
    前記プロセッサは、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定することを特徴とする画像診断支援装置。
  9. プロセッサとメモリを有する計算機で、画像の機械学習を行う機械学習方法であって、
    前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
    前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
    前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
    前記計算機が、前記局所識別値と前記全体識別値を用いて識別器を生成し、前記メモリへ格納する識別器生成ステップと、
    を含むことを特徴とする機械学習方法。
  10. 請求項9に記載の機械学習方法であって、
    前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
    前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    前記全体識別値算出ステップは、
    前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
  11. 請求項9に記載の機械学習方法であって、
    前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
    前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    前記全体識別値算出ステップは、
    前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする機械学習方法。
  12. プロセッサとメモリを有する計算機で、画像の診断を支援する画像診断支援方法であって、
    前記計算機が、画像を受け付けて、前記画像に含まれる物体の特徴量を算出する特徴量算出ステップと、
    前記計算機が、前記特徴量から局所を識別して局所識別値を算出する局所識別値算出ステップと、
    前記計算機が、前記局所識別値を用いて全体識別値を算出する全体識別値算出ステップと、
    前記計算機が、前記局所識別値と前記全体識別値を用いて識別結果を算出する識別結果算出ステップと、
    を含むことを特徴とする画像診断支援方法。
  13. 請求項12に記載の画像診断支援方法であって、
    前記計算機が、指定された画像を指定パターンとして受け付ける指定パターン受け付けステップと、
    前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップと、
    をさらに含み、
    前記全体識別値算出ステップは、
    前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
  14. 請求項12に記載の画像診断支援方法であって、
    前記計算機が、前記識別結果を用いて、前記画像内の物体の有無および物体の確からしさを判定する判定ステップを、さらに含むことを特徴とする画像診断支援方法。
  15. 請求項12に記載の画像診断支援方法であって、
    前記計算機が、特定の領域を示した指定パターンの画像を生成する指定パターン生成ステップと、
    前記計算機が、前記局所識別値と前記指定パターンから追加識別値を算出する追加識別値算出ステップ
    と、
    をさらに含み、
    前記全体識別値算出ステップは、
    前記追加識別値と前記局所識別値から前記全体識別値を算出することを特徴とする画像診断支援方法。
JP2018129776A 2018-07-09 2018-07-09 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法 Active JP7046745B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018129776A JP7046745B2 (ja) 2018-07-09 2018-07-09 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
US17/254,547 US11972560B2 (en) 2018-07-09 2019-06-24 Machine learning device, image diagnosis support device, machine learning method and image diagnosis support method
PCT/JP2019/024953 WO2020012935A1 (ja) 2018-07-09 2019-06-24 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
EP19833707.3A EP3822911A4 (en) 2018-07-09 2019-06-24 MACHINE LEARNING DEVICE, IMAGE DIAGNOSTIC ASSISTING DEVICE, MACHINE LEARNING METHOD AND IMAGE DIAGNOSTIC ASSISTING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018129776A JP7046745B2 (ja) 2018-07-09 2018-07-09 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法

Publications (2)

Publication Number Publication Date
JP2020009160A true JP2020009160A (ja) 2020-01-16
JP7046745B2 JP7046745B2 (ja) 2022-04-04

Family

ID=69142934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018129776A Active JP7046745B2 (ja) 2018-07-09 2018-07-09 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法

Country Status (4)

Country Link
US (1) US11972560B2 (ja)
EP (1) EP3822911A4 (ja)
JP (1) JP7046745B2 (ja)
WO (1) WO2020012935A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185905A1 (ja) * 2021-03-03 2022-09-09 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11443193B2 (en) * 2020-04-24 2022-09-13 Adobe Inc. Domain adaptation for machine learning models
EP4156093A4 (en) * 2020-06-30 2023-12-06 Sony Group Corporation EVALUATION SUPPORT DEVICE, INFORMATION PROCESSING DEVICE AND LEARNING METHOD

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215883A (ja) * 2010-03-31 2011-10-27 Secom Co Ltd 対象物検知装置及びその学習装置
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4846924B2 (ja) * 2001-05-31 2011-12-28 キヤノン株式会社 パターン認識装置
JP2008152611A (ja) * 2006-12-19 2008-07-03 Seiko Epson Corp 画像認識装置、電子機器、画像認識方法及び画像認識プログラム
JP4796599B2 (ja) * 2008-04-17 2011-10-19 日本電信電話株式会社 画像識別装置、画像識別方法、プログラム
JP5547597B2 (ja) 2010-09-29 2014-07-16 大日本スクリーン製造株式会社 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
KR101608283B1 (ko) 2010-12-10 2016-04-01 지멘스 악티엔게젤샤프트 기술 시스템의 컴퓨터―보조 모델링을 위한 방법
US9740925B2 (en) * 2012-11-19 2017-08-22 Imds America Inc. Method and system for the spotting of arbitrary words in handwritten documents
JP2016029568A (ja) * 2014-07-23 2016-03-03 国立大学法人電気通信大学 線形識別器、大規模一般物体認識装置、電子計算機、モバイル端末、データ処理装置、および画像認識システム
JP7098272B2 (ja) 2017-02-10 2022-07-11 日本電信電話株式会社 通信装置、通信方法及び通信プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011215883A (ja) * 2010-03-31 2011-10-27 Secom Co Ltd 対象物検知装置及びその学習装置
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022185905A1 (ja) * 2021-03-03 2022-09-09 株式会社日立ハイテク 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム

Also Published As

Publication number Publication date
EP3822911A1 (en) 2021-05-19
JP7046745B2 (ja) 2022-04-04
EP3822911A4 (en) 2022-04-20
WO2020012935A1 (ja) 2020-01-16
US11972560B2 (en) 2024-04-30
US20210271929A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
US10872411B2 (en) Diagnostic imaging assistance apparatus and system, and diagnostic imaging assistance method
US10453192B2 (en) Cytologic diagnosis support apparatus, cytologic diagnosis support method, remote diagnosis support system, service providing system, and image processing method
KR102251242B1 (ko) 컴퓨터 보조 진단 장치 및 방법
US11676268B2 (en) Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method
WO2020012935A1 (ja) 機械学習装置、画像診断支援装置、機械学習方法及び画像診断支援方法
JP2015207280A (ja) 目標識別方法及び目標識別装置
TW202014984A (zh) 一種圖像處理方法、電子設備及存儲介質
US10186030B2 (en) Apparatus and method for avoiding region of interest re-detection
CN111445457B (zh) 网络模型的训练方法及装置、识别方法及装置、电子设备
CN113256672B (zh) 图像处理方法及装置,模型的训练方法及装置,电子设备
JP2009211138A (ja) 対象領域抽出方法および装置ならびにプログラム
KR20190087681A (ko) 자궁경부암에 대한 피검체의 발병 여부를 판정하는 방법
JP2023517058A (ja) 画像処理に基づく腫瘍の自動検出
Major et al. Interpreting medical image classifiers by optimization based counterfactual impact analysis
CN113261012A (zh) 处理图像的方法、装置及系统
JP6785181B2 (ja) 物体認識装置、物体認識システム、及び物体認識方法
GB2457022A (en) Creating a fuzzy inference model for medical image analysis
JP6041781B2 (ja) 医用画像処理装置およびその作動方法並びに医用画像処理プログラム
WO2021065937A1 (ja) 機械学習装置
JP7412279B2 (ja) 画像診断方法、画像診断支援装置、及び計算機システム
CN113990432A (zh) 基于rpa和ai的影像报告推送方法、装置及计算设备
WO2023248788A1 (ja) 識別器生成装置および画像診断支援装置
JP2022133479A (ja) 予後推定装置及び予後推定方法
WO2022185905A1 (ja) 画像診断支援装置、画像診断支援方法、遠隔診断支援システム、ネット受託サービスシステム
Chen Deep Learning for Lesion Detection on Medical Retinal Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220308

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220323

R150 Certificate of patent or registration of utility model

Ref document number: 7046745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150