JP2020110371A - 学習プログラム、学習装置及び学習方法 - Google Patents

学習プログラム、学習装置及び学習方法 Download PDF

Info

Publication number
JP2020110371A
JP2020110371A JP2019003830A JP2019003830A JP2020110371A JP 2020110371 A JP2020110371 A JP 2020110371A JP 2019003830 A JP2019003830 A JP 2019003830A JP 2019003830 A JP2019003830 A JP 2019003830A JP 2020110371 A JP2020110371 A JP 2020110371A
Authority
JP
Japan
Prior art keywords
image
decoder
learning
shadow
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019003830A
Other languages
English (en)
Other versions
JP7180393B2 (ja
Inventor
優 安富
Masaru Yasutomi
優 安富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019003830A priority Critical patent/JP7180393B2/ja
Priority to EP19217485.2A priority patent/EP3680821B1/en
Priority to US16/720,667 priority patent/US11100678B2/en
Publication of JP2020110371A publication Critical patent/JP2020110371A/ja
Application granted granted Critical
Publication of JP7180393B2 publication Critical patent/JP7180393B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】超音波画像における影の有無の判別を適切に行うこと。【解決手段】学習装置は、入力画像が入力されたエンコーダからの出力を、影デコーダと対象物デコーダとに入力する。また、学習装置は、再構成誤差、影の画像についての超音波画像における影に関するＮＬＬ、及び、対象物の画像についての超音波画像における対象物に関するＮＬＬに基づき、エンコーダ、影デコーダ、及び、対象物デコーダの学習を実行する。再構成誤差は、影の画像と対象物の画像とを合成する結合関数の出力画像と入力画像との誤差である。【選択図】図２

Description

本発明は、学習プログラム、学習装置及び学習方法に関する。
従来、医療における診察や対象物の非破壊検査等を目的として、超音波画像を用いた画像処理による物体検出や状態判別等が行われている。このような超音波画像の画像処理には、機械学習により学習が行われたディープニューラルネット（ＤＮＮ：deep neural net）等のモデルが利用される。
また、超音波画像には、物質ごとの超音波の伝達速度の違いや超音波の反射等に起因し、影が映り込む場合がある。その場合、画像処理の精度が低下することになる。これに対し、影の有無をラベルとして付与した画像を用いてＤＮＮの学習を行う技術が提案されている。
Meng, Qingjie, et al. "Automatic Shadow Detection in 2D Ultrasound."(2018).
しかしながら、上記の技術では、超音波画像における影の有無の判別を適切に行うことが困難な場合があるという問題がある。例えば、上記の技術は、いわゆる教師あり学習を行うものであるが、教師データのラベルの付与、すなわち画像中の影の有無の判断は人手で行われる。例えば、影が存在しないと判断された画像に、薄い影が含まれる場合がある。このため、上記の技術では、判断基準を統一することが困難であり、結果として教師データの質が一定でなくなり、適切な学習を行うことができない場合があり得る。
１つの側面では、超音波画像における影の有無の判別を適切に行うことを目的とする。
１つの態様において、学習プログラムは、コンピュータに、入力画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する処理を実行させる。学習プログラムは、コンピュータに、再構成誤差、第１の尤度関数及び第２の尤度関数に基づき、エンコーダ、第１のデコーダ、及び、第２のデコーダの学習を実行させる。再構成誤差は、第１のデコーダの出力である第１の画像と第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と入力画像との誤差である。第１の尤度関数は、第１の画像についての超音波画像における影に関する尤度関数である。第２の尤度関数は、第２の画像についての超音波画像における対象物に関する尤度関数である。
１つの側面では、超音波画像における影の有無の判別を適切に行うことができる。
図１は、実施例に係る学習装置の機能構成の一例を示す図である。 図２は、学習処理について説明するための図である。 図３は、ベータ分布について説明するための図である。 図４は、実施例に係る画像処理システムの一例を示す図である。 図５は、実施例に係る認識装置の機能構成の一例を示す図である。 図６は、認識処理について説明するための図である。 図７は、学習処理の流れを示すフローチャートである。 図８は、更新処理の流れを示すフローチャートである。 図９は、認識処理の流れを示すフローチャートである。 図１０は、後処理の流れを示すフローチャートである。 図１１は、ハードウェア構成例を説明する図である。
以下に、本発明にかかる学習プログラム、学習装置及び学習方法の実施例を図面に基づいて詳細に説明する。なお、この実施例により本発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
実施例１について説明する。ここで、実施例１におけるモデルは、ＤＮＮを利用したオートエンコーダに基づくものであって、１つのエンコーダと、影デコーダ及び対象物デコーダの２つのデコーダを有する。さらに、モデルは、２つのデコーダの出力を合成する結合関数を有する。なお。影デコーダは第１のデコーダの一例である。また、対象物デコーダは第２のデコーダの一例である。
［機能構成］
図１を用いて、実施例に係る学習装置の機能構成について説明する。図１は、実施例に係る学習装置の機能構成の一例を示す図である。図１に示すように、学習装置１０は、インタフェース部１１、記憶部１２及び制御部１３を有する。
インタフェース部１１は、入出力装置との間のデータの入出力、及び他の装置との間でのデータの通信を行うためのインタフェースである。例えば、インタフェース部１１は、キーボードやマウス等の入力装置、ディスプレイやスピーカ等の出力装置、ＵＳＢメモリ等の外部記憶装置との間でデータの入出力を行う。また、例えば、インタフェース部１１はＮＩＣ（Network Interface Card）であり、インターネットを介してデータの通信を行う。
記憶部１２は、データや制御部１３が実行するプログラム等を記憶する記憶装置の一例であり、例えばハードディスクやメモリ等である。記憶部１２は、学習情報１２１、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４を記憶する。
学習情報１２１は、モデルの学習の際に用いられるハイパーパラメータ等の情報である。例えば、学習情報１２１には、学習率、バッチサイズ、尤度関数の分布パラメータ等が含まれる。
エンコーダ情報１２２は、エンコーダのパラメータである。また、影デコーダ情報１２３は、影デコーダのパラメータである。また、対象物デコーダ情報１２４は、対象物デコーダのパラメータである。以降、エンコーダ及び各デコーダの学習可能なパラメータをモデルパラメータと呼ぶ。例えば、モデルパラメータは、ＤＮＮの重み及びバイアスである。また、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４は、モデルの学習の際に更新される。
制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。制御部１３は、入力部１３１、結合部１３２及び学習部１３３を有する。また、学習部１３３は、計算部１３３ａ及び更新部１３３ｂを有する。
入力部１３１は、入力画像が入力されたエンコーダからの出力を、影デコーダと対象物デコーダとに入力する。また、結合部１３２は、結合関数を用いて、影デコーダの出力である影の画像と対象物デコーダの出力である対象物の画像とを合成する。なお、影の画像は第１の画像の一例である。また、対象物の画像は第２の画像の一例である。
学習部１３３は、再構成誤差、第１の尤度関数及び第２の尤度関数に基づき、エンコーダ、影デコーダ、及び、対象物デコーダの学習を実行する。再構成誤差は、影デコーダの出力である影の画像と対象物デコーダの出力である対象物の画像とを合成する結合関数の出力画像と入力画像との誤差である。第１の尤度関数は、影の画像についての超音波画像における影に関する尤度関数である。第２の尤度関数は、対象物の画像についての超音波画像における対象物に関する尤度関数である。
計算部１３３ａは、再構成誤差、第１の尤度関数に基づく尤度及び第２の尤度関数に基づく尤度から損失関数を計算する。また、更新部１３３ｂは、損失関数が小さくなるようにエンコーダ、影デコーダ及び対象物デコーダのモデルパラメータを更新する。具体的には、更新部１３３ｂは、エンコーダ情報１２２、影デコーダ情報１２３及び対象物デコーダ情報１２４を更新する。
ここで、図２を用いて、学習装置１０による学習処理について説明する。図２は、学習処理について説明するための図である。図２に示すように、入力部１３１は、入力画像をエンコーダに入力する。
図２の入力画像は、医療用のプローブを用いて得られた人の体内の超音波画像である。なお、以降の説明では、プローブから得られた信号を可視化した画像を超音波画像と呼ぶ。超音波画像においては、超音波を反射する臓器等の対象物がある部分が明るく表示されるものとする。一方、超音波画像において、映り込んだ影は暗く表示されるものとする。
例えば、超音波が人体の内部を伝わる速度は、超音波が水中を伝わる速度と同程度であるが、人の体内を撮像する際に、撮像領域に空気があると、超音波が伝わりにくくなり、超音波画像に影が発生することがある。図２の入力画像は、図面の上側から対象物に超音波を当てて撮像した超音波画像である。また、入力画像の斜線部は影である。
入力部１３１は、入力画像が入力されたエンコーダからの出力を影デコーダ及び対象物デコーダに入力する。つまり、エンコーダを、第１層として所定数のノードを持ち、最終層として第１層よりも少ない数のノードを持つニューラルネットワークとすると、当該最終層は、同じくニューラルネットワークである各デコーダの第１層に接続されている。
影デコーダ及び対象物デコーダは、画像を出力する。ここで、各デコーダの最終層のノード数をエンコーダの第１層のノード数と等しくすることで、各デコーダに入力画像と同サイズの画像を出力させることができる。
図２に示すように、結合部１３２は、対象物の画像を加算し、影の画像を減算する結合関数を用いて各画像を合成し、出力画像を生成する。結合部１３２は、対応する画素の画素値の加算及び減算を行う。画素値は、輝度を表す値であり、画素ごとに例えば０から２５５までの範囲（８ｂｉｔ）の数値で表される。
例えば、影の画像の座標（ｉ，ｊ）の画素の画素値をｐｉｊ、対象物の画像の座標（ｉ，ｊ）の画素の画素値をｑｉｊとすると、結合部１３２は、出力画像の座標（ｉ，ｊ）の画素の画素値ｒｉｊを、ｒｉｊ＝ｑｉｊ−ｐｉｊのように計算することができる。
ここで、超音波画像において影は暗く表示されるのに対し、影デコーダから出力される影の画像における影の部分は明るく表示される。つまり、影の画像における影の部分の画素値は他の部分と比べ大きくなる。これは、結合部１３２が影の画像の画素値の符号を反転させるためである。すなわち、学習において、影デコーダのモデルパラメータは、結合部１３２による影の画像の画素値の符号の反転に適合するように更新される。
計算部１３３ａは、入力画像と、結合部１３２によって合成された出力画像との再構成誤差を計算する。計算部１３３ａは、既知のオートエンコーダと同様の手法で再構成誤差を計算することができる。
さらに、計算部１３３ａは、影の画像及び対象物の画像の尤度として、ＮＬＬ（negative log likelihood）を計算する。このとき、計算部１３３ａは、尤度関数として、画像の画素値に対応する値を変数とする関数であって、最大の画素値及び最小の画素値のいずれでもない所定の画素値に対応する変数に対して最大値をとる関数を用いる。これは、影の画像及び構成物の画像のいずれかが、全ての画素が最大画素値である画像、すなわち白一色の画像、又は、全ての画素が最小画素値である画像、すなわち黒一色の画像に近づくことを抑止するためである。
例えば、仮に影デコーダが黒一色の画像を出力するようになった場合、対象物デコーダが入力画像と同一の画像を出力するようにすれば、再構成誤差は小さくなるが、影の画像が得られなくなる。
具体的には、計算部１３３ａは、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を用いる。ベータ分布の確率密度関数は、（１）式のように表される。なお、（１）式のＢ（・）はベータ関数である。また、α、βはベータ分布の分布形状を決定するパラメータである。
Figure 2020110371
図３を用いて、α、βに応じたベータ分布の形状について説明する。図３は、ベータ分布について説明するための図である。ここで、図３に示すように、例えばα＝０．５、β＝０．５の場合、確率変数ｘが０又は１のときにＰＤＦ（確率密度関数：probability density function）が最大値を取る。また、例えばα＝２、β＝５の場合、確率変数ｘが約０．２のときにＰＤＦが最大値を取る。
ここで、図３のα、βの組み合わせのうち、「画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取る」という条件を満たすのは、「α＝２、β＝２」及び「α＝２、β＝５」である。このため、計算部１３３ａは、例えばα＝２、β＝２が設定されたベータ分布の確率密度関数、及び、例えばα＝２、β＝５が設定されたベータ分布の確率密度関数を尤度関数として用いることができる。なお、有効なα、βの設定値はここで説明したものに限られず、条件を満たす任意の設定値であってよい。
各デコーダから出力される画像の画素値が０から２５５までの範囲で表されている場合であっても、計算部１３３ａは、画素値に１／２５５を掛けること等により正規化を行うことで、当該正規化した画素値を０から１までの確率変数とすることができる。
具体的には、計算部１３３ａは、（２）式のように各デコーダから出力された画像のＮＬＬを計算する。（２）式のｐ（・｜・）は、（１）式のベータ分布の確率密度関数である。また、α、βには、前述の通り条件を満たす値が設定される。また、（２）式のｍは、画像の各画素を示すインデックスである。また、ｘｍは、画素ｍの正規化された画素値である。
Figure 2020110371
計算部１３３ａは、影の画像のＮＬＬと、対象物の画像のＮＬＬと、出力画像及び入力画像の構成誤差との線形和を損失関数として計算する。例えば、計算部１３３ａは、損失関数を、Ｗ１×（構成誤差）＋Ｗ２×（影の画像のＮＬＬ）＋Ｗ３×（対象物の画像のＮＬＬ）のように計算する。ここで、Ｗ１、Ｗ２及びＷ３は、あらかじめ設定される重みであり、ハイパーパラメータとして学習情報１２１に含まれていてもよい。また、Ｗ１、Ｗ２及びＷ３は、いずれも正かつＷ１＋Ｗ２＋Ｗ３＝１を満たすように設定されてもよい。
更新部１３３ｂは、損失関数が小さくなるように、エンコーダ、影デコーダ及び対象物デコーダのモデルパラメータを更新する。例えば、更新部１３３ｂは、誤差逆伝播法を用いてモデルパラメータの更新を行う。
画像処理システムは、学習装置１０において学習が行われたエンコーダ及び影デコーダを用いて画像処理を行うことができる。ここで、図４を用いて、画像処理システムについて説明する。図４は、実施例に係る画像処理システムの一例を示す図である。
図４に示すように、画像処理システム１は、認識装置２０、表示装置３０及びプローブ４０を有する。認識装置２０は、プローブ４０から受け取った信号を基に、超音波画像の生成及び所定の後処理等を行い、生成した超音波画像及び後処理の結果を表示装置３０に出力する。プローブ４０は、超音波を発生させ、さらに反射してきた超音波を受信する。また、プローブ４０は、超音波画像の生成を行い、生成した超音波画像を認識装置２０に送信するようにしてもよい。
画像処理システム１は、医師による診察に用いられる。例えば、プローブ４０は、医師によって患者の体表に当てられ、受信した超音波を信号として認識装置２０に送信する。認識装置２０は、プローブ４０から受け取った信号を基に生成した超音波画像を表示装置３０に表示させる。さらに、認識装置２０は、超音波画像における影の有無を判別し、影の有無に応じた後処理を行う。
認識装置２０は、後処理として、表示装置３０又は他の出力装置を介して、超音波画像に影が映っていることを医師に通知する処理を行うことができる。また、図４のように、認識装置２０は、生成した影の画像を表示装置３０に表示させてもよい。また、認識装置２０は、超音波画像と影の画像を合成し、超音波画像から影を取り除いた画像を生成してもよい。
ここでは、認識装置２０は、後処理として、超音波画像における影の有無に基づき、超音波画像に対して所定の画像認識を適用可能か否かを判定し、可能であれば画像認識を行うものとする。なお、画像認識には、例えば物体検出や状態判別等が含まれる。
図５を用いて、実施例に係る認識装置の機能構成について説明する。図５は、実施例に係る認識装置の機能構成の一例を示す図である。図５に示すように、認識装置２０は、インタフェース部２１、記憶部２２及び制御部２３を有する。
インタフェース部２１は、入出力装置との間のデータの入出力、及び他の装置との間でのデータの通信を行うためのインタフェースである。例えば、インタフェース部２１は、表示装置３０及びプローブ４０との間でデータの入出力を行う。
記憶部２２は、データや制御部２３が実行するプログラム等を記憶する記憶装置の一例であり、例えばハードディスクやメモリ等である。記憶部２２は、エンコーダ情報２２２及び影デコーダ情報２２３を記憶する。
エンコーダ情報２２２は、学習装置１０において学習が行われた後のエンコーダ情報１２２と同様のデータである。また、影デコーダ情報２２３は、学習装置１０において学習が行われた後の影デコーダ情報１２３と同様のデータである。このため、認識装置２０は、エンコーダ情報２２２及び影デコーダ情報２２３を用いて、学習済みのエンコーダ及び影デコーダを構築することができる。
制御部２３は、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部２３は、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されるようにしてもよい。制御部２３は、入力部２３１、判定部２３２、認識部２３３及び表示制御部２３４を有する。
入力部２３１は、学習装置１０の入力部１３１と同様の処理を行う。すなわち、入力部２３１は、入力画像が入力されたエンコーダからの出力を、影デコーダに入力する。また、判定部２３２は、影の画像に基づき、入力画像に画像認識を適用可能であるか否かを判定する。認識部２３３は、画像認識を適用可能と判定された場合に画像認識を実行する。また、表示制御部２３４は、超音波画像を表示装置３０に表示させる。また、表示制御部２３４は、判定部２３２による判定処理、及び認識部２３３による画像認識の結果を表示装置３０に表示させてもよい。
ここで、図６を用いて、認識装置２０による認識処理について説明する。図６は、認識処理について説明するための図である。図６に示すように、入力部２３１は、入力画像をエンコーダに入力する。ここで、図６の入力画像は、プローブ４０を用いて得られた超音波画像である。
入力部２３１は、入力画像が入力されたエンコーダからの出力を影デコーダに入力する。そして、認識装置２０は、影デコーダによって出力された影の画像を基に、画像認識の適用可否判定及び画像認識処理を行う。例えば、判定部２３２は、影の画像の各画素の画素値の合計が閾値以上である場合に影があると判定する。
［処理の流れ］
図７を用いて、学習装置１０による学習処理の流れを説明する。図７は、学習処理の流れを示すフローチャートである。図７に示すように、まず、学習装置１０は、入力画像を取得し（ステップＳ１１）、取得した入力画像をエンコーダに入力する（ステップＳ１２）。次に、学習装置１０は、エンコーダからの出力を影デコーダに入力する（ステップＳ１３）とともに、エンコーダからの出力を対象物デコーダに入力する（ステップＳ１４）。
ここで、学習装置１０は、影デコーダから出力された影の画像と対象物デコーダから出力された対象物の画像とを結合関数により合成する（ステップＳ１５）。このとき、学習装置１０は、対象物の画像を加算し、影の画像を減算する。そして、学習装置１０は、各モデルパラメータの更新処理を行い（ステップＳ１６）、更新処理が収束したか否かを判定する（ステップＳ１７）。
学習装置１０は、更新処理が収束したと判定した場合（ステップＳ１７、Ｙｅｓ）、学習処理を終了する。一方、学習装置１０は、更新処理が収束していないと判定した場合（ステップＳ１７、Ｎｏ）、ステップＳ１２に戻り処理を繰り返す。例えば、学習装置１０は、更新処理があらかじめ設定された回数だけ行われた場合、及び、モデルパラメータの更新量が閾値以下になった場合等に更新処理が収束したと判定する。
ここで、図８を用いて、ステップ１６の更新処理の流れを説明する。図８は、更新処理の流れを示すフローチャートである。図８に示すように、まず、学習装置１０は、影の画像のＮＬＬ（ステップＳ１６１）及び対象物の画像のＮＬＬ（ステップＳ１６２）を計算する。次に、学習装置１０は、合成した出力画像と入力画像との再構成誤差を計算する（ステップＳ１６３）。
さらに、学習装置１０は、損失関数として各誤差（各ＮＬＬ及び再構成誤差）の線形和を計算する（ステップＳ１６４）。そして、学習装置１０は、損失関数が小さくなるようにモデルパラメータを更新する（ステップＳ１６５）。
図９を用いて、認識装置２０による認識処理の流れを説明する。図９は、認識処理の流れを示すフローチャートである。図９に示すように、まず、認識装置２０は、入力画像を取得し（ステップＳ２１）、取得した入力画像をエンコーダに入力する（ステップＳ２２）。次に、認識装置２０は、エンコーダからの出力を影デコーダに入力する（ステップＳ２３）。そして、認識装置２０は、影デコーダから出力された影の画像を使った後処理を実行する（ステップＳ２４）。
図１０を用いて、ステップ２４の後処理の流れを説明する。図１０は、後処理の流れを示すフローチャートである。図１０に示すように、まず、認識装置２０は、影の画像の画素値の合計を計算し（ステップＳ２４１）、合計値が閾値以上であるか否かを判定する（ステップＳ２４２）。
認識装置２０は、合計値が閾値以上でない場合（ステップＳ２４２、Ｎｏ）、影がないと判定し画像認識処理を実行する（ステップＳ２４３）。一方、認識装置２０は、合計値が閾値以上である場合（ステップＳ２４２、Ｙｅｓ）、影があると判定し画像認識処理を実行しない。
そして、認識装置２０は、入力画像を表示装置３０に表示させる（ステップＳ２４４）。さらに、認識装置２０は、影がないと判定し画像認識処理を行った場合は、画像認識処理の結果を表示装置３０に表示させる。一方、認識装置２０は、影があると判定し画像認識処理を行った場合は、影がある旨のメッセージとともに影の画像を表示装置３０に表示させる。
［効果］
上述したように、学習装置１０は、入力画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する。学習装置１０は、再構成誤差、第１の尤度関数及び第２の尤度関数に基づき、エンコーダ、影デコーダ、及び、対象物デコーダの学習を実行する。再構成誤差は、影デコーダの出力である影の画像と対象物デコーダの出力である対象物の画像とを合成する結合関数の出力画像と入力画像との誤差である。第１の尤度関数は、影の画像についての超音波画像における影に関する尤度関数である。第２の尤度関数は、対象物の画像についての超音波画像における対象物に関する尤度関数である。このように、学習装置１０は、入力画像にラベルが付与されていない場合であっても、影の画像を出力するモデルの学習を教師なし学習により行うことができる。このため、実施例によれば、超音波画像における影の有無の判別を適切に行うことが可能になる。
学習装置１０は、画像の画素値に対応する値を変数とする尤度関数であって、最大の画素値及び最小の画素値のいずれでもない所定の画素値に対応する変数に対して最大値をとる尤度関数を、第１の尤度関数及び第２の尤度関数の少なくともいずれかとして用いて学習を実行する。このため、実施例によれば、最小値又は最大値に画素値が集中するような画像が生成されることを抑止することができる。
学習装置１０は、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を、第１の尤度関数及び第２の尤度関数の少なくともいずれかとして用いて学習を実行する。このため、実施例によれば、０から１までの範囲に正規化した画素値が、０又は１に集中するような画像が生成されることを抑止することができる。
学習装置１０は、第２の画像を加算し、第１の画像を減算する結合関数の出力画像と入力画像との再構成誤差に基づき学習を実行する。これにより、影の画像と対象物の画像が単に画素値を２つに割っただけの画像になることを抑止し、影の画像に影が明確に現れるようになる。
なお、上記の実施例では、エンコーダへの入力データ、及び各デコーダの出力データが画像データであるものとしたが、これらの入力データ及び出力データは、画像として復元可能なものであれば画像データでなくてもよい。例えば、学習装置１０は、プローブから得られた超音波信号そのものを入力データ及び出力データとして扱ってもよい。その場合、学習装置１０は、超音波信号として出力された影デコーダから出力されたデータを、必要に応じて画像に変換することができる。
また、画像処理システム１において、プローブ４０が認識装置２０と同等の機能を持つようにしてもよい。その場合、プローブ４０は、超音波画像から影デコーダを用いて出力した影の画像から影の有無を判定し、判定結果を通知音等により通知することができる。
［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値等は、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
［ハードウェア］
図１１は、ハードウェア構成例を説明する図である。図１１に示すように、学習装置１０は、通信インタフェース１０ａ、ＨＤＤ（Hard Disk Drive）１０ｂ、メモリ１０ｃ、プロセッサ１０ｄを有する。また、図１１に示した各部は、バス等で相互に接続される。
通信インタフェース１０ａは、ネットワークインタフェースカード等であり、他のサーバとの通信を行う。ＨＤＤ１０ｂは、図１に示した機能を動作させるプログラムやＤＢを記憶する。
プロセッサ１０ｄは、図１に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１０ｂ等から読み出してメモリ１０ｃに展開することで、図１等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、学習装置１０が有する各処理部と同様の機能を実行する。具体的には、プロセッサ１０ｄは、入力部１３１、結合部１３２、学習部１３３と同様の機能を有するプログラムをＨＤＤ１０ｂ等から読み出す。そして、プロセッサ１０ｄは、入力部１３１、結合部１３２、学習部１３３等と同様の処理を実行するプロセスを実行する。プロセッサ１０ｄは、例えば、ＣＰＵ、ＭＰＵ、ＡＳＩＣ等のハードウェア回路である。
このように学習装置１０は、プログラムを読み出して実行することで分類方法を実行する情報処理装置として動作する。また、学習装置１０は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、学習装置１０によって実行されることに限定されるものではない。例えば、他のコンピュータ又はサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネット等のネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ（Magneto−Optical disk）、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
１ 画像処理システム
１０ 学習装置
１１、２１ インタフェース部
１２、２２ 記憶部
１３、２３ 制御部
２０ 認識装置
３０ 表示装置
４０ プローブ
１２１ 学習情報
１２２、２２２ エンコーダ情報
１２３、２２３ 影デコーダ情報
１２４ 対象物デコーダ情報
１３１、２３１ 入力部
１３２ 結合部
１３３ 学習部
１３３ａ 計算部
１３３ｂ 更新部
２３２ 判定部
２３３ 認識部
２３４ 表示制御部

Claims (6)

  1. コンピュータに、
    入力画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力し、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記入力画像との再構成誤差、前記第１の画像についての超音波画像における影に関する第１の尤度関数、前記第２の画像についての前記超音波画像における対象物に関する第２の尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する、
    処理を実行させることを特徴とする学習プログラム。
  2. 前記学習を実行する処理は、画像の画素値に対応する値を変数とする尤度関数であって、最大の画素値及び最小の画素値のいずれでもない所定の画素値に対応する変数に対して最大値をとる尤度関数を、前記第１の尤度関数及び前記第２の尤度関数の少なくともいずれかとして用いて学習を実行することを特徴とする請求項１に記載の学習プログラム。
  3. 前記学習を実行する処理は、画像の画素値に対応する確率変数が０より大きく１より小さい所定の値であるときに最大値を取るようにパラメータが設定されたベータ分布の確率密度関数に基づく尤度関数を、前記第１の尤度関数及び前記第２の尤度関数の少なくともいずれかとして用いて学習を実行することを特徴とする請求項１に記載の学習プログラム。
  4. 前記学習を実行する処理は、前記第２の画像を加算し、前記第１の画像を減算する結合関数の出力画像と前記入力画像との再構成誤差に基づき学習を実行することを特徴とする請求項１から３のいずれか１項に記載の学習プログラム。
  5. 入力画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力する入力部と、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記入力画像との再構成誤差、前記第１の画像についての超音波画像における影に関する第１の尤度関数、前記第２の画像についての前記超音波画像における対象物に関する第２の尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する学習部と、
    を有することを特徴とする学習装置。
  6. 入力画像が入力されたエンコーダからの出力を、第１のデコーダと第２のデコーダとに入力し、
    前記第１のデコーダの出力である第１の画像と前記第２のデコーダの出力である第２の画像とを合成する結合関数の出力画像と前記入力画像との再構成誤差、前記第１の画像についての超音波画像における影に関する第１の尤度関数、前記第２の画像についての前記超音波画像における対象物に関する第２の尤度関数に基づき、前記エンコーダ、前記第１のデコーダ、及び、前記第２のデコーダの学習を実行する、
    処理をコンピュータが実行することを特徴とする学習方法。
JP2019003830A 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法 Active JP7180393B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019003830A JP7180393B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法
EP19217485.2A EP3680821B1 (en) 2019-01-11 2019-12-18 Learning program, learning device and learning method
US16/720,667 US11100678B2 (en) 2019-01-11 2019-12-19 Learning device, learning method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019003830A JP7180393B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法

Publications (2)

Publication Number Publication Date
JP2020110371A true JP2020110371A (ja) 2020-07-27
JP7180393B2 JP7180393B2 (ja) 2022-11-30

Family

ID=68944623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019003830A Active JP7180393B2 (ja) 2019-01-11 2019-01-11 学習プログラム、学習装置及び学習方法

Country Status (3)

Country Link
US (1) US11100678B2 (ja)
EP (1) EP3680821B1 (ja)
JP (1) JP7180393B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113083A (ja) * 2019-01-11 2020-07-27 富士通株式会社 学習プログラム、学習装置及び学習方法
EP4239570A1 (en) 2022-03-03 2023-09-06 Fujitsu Limited Generation program, generation method, and information processing device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279368B2 (ja) * 2019-01-17 2023-05-23 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP7156049B2 (ja) * 2019-01-17 2022-10-19 富士通株式会社 学習方法、学習プログラムおよび学習装置
JP7163786B2 (ja) * 2019-01-17 2022-11-01 富士通株式会社 学習方法、学習プログラムおよび学習装置
EP3716150A1 (en) * 2019-03-27 2020-09-30 Nvidia Corporation Improved image segmentation using a neural network translation model

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10430688B2 (en) * 2015-05-27 2019-10-01 Siemens Medical Solutions Usa, Inc. Knowledge-based ultrasound image enhancement
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
AU2017281281B2 (en) * 2016-06-20 2022-03-10 Butterfly Network, Inc. Automated image acquisition for assisting a user to operate an ultrasound device
US10387765B2 (en) * 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
US10698063B2 (en) * 2017-11-01 2020-06-30 Siemens Healthcare Gmbh Motion artifact reduction of magnetic resonance images with an adversarial trained network
US10852379B2 (en) * 2018-06-07 2020-12-01 Siemens Healthcare Gmbh Artifact reduction by image-to-image network in magnetic resonance imaging
JP7192512B2 (ja) * 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
QINGJIE MENG, ET AL.: "Automatic Shadow Detection in 2D Ultrasound", 1ST CONFERENCE ON MEDICAL IMAGING WIYH DEEP LEARNING, JPN6022043905, 2018, pages 1 - 3, ISSN: 0004897652 *
SUKESH ADIGA V, ET AL.: "Shared Encoder based Denoising of Optical Coherence Tomography Images", ICVGIP'18, JPN6022043904, 2018, ISSN: 0004897651 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020113083A (ja) * 2019-01-11 2020-07-27 富士通株式会社 学習プログラム、学習装置及び学習方法
JP7192512B2 (ja) 2019-01-11 2022-12-20 富士通株式会社 学習プログラム、学習装置及び学習方法
EP4239570A1 (en) 2022-03-03 2023-09-06 Fujitsu Limited Generation program, generation method, and information processing device

Also Published As

Publication number Publication date
JP7180393B2 (ja) 2022-11-30
EP3680821A1 (en) 2020-07-15
EP3680821B1 (en) 2024-04-24
US20200226796A1 (en) 2020-07-16
US11100678B2 (en) 2021-08-24

Similar Documents

Publication Publication Date Title
JP7180393B2 (ja) 学習プログラム、学習装置及び学習方法
JP7192512B2 (ja) 学習プログラム、学習装置及び学習方法
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
CN110622175A (zh) 神经网络分类
KR102650078B1 (ko) 중이염 진단을 위한 기계 학습
CN113066090B (zh) 血管分割模型的训练方法及装置、应用方法及装置
WO2021059909A1 (ja) データ生成システム、学習装置、データ生成装置、データ生成方法及びデータ生成プログラム
US10726948B2 (en) Medical imaging device- and display-invariant segmentation and measurement
CN112602155A (zh) 生成针对经训练的模型的元数据
CN111523593B (zh) 用于分析医学影像的方法和装置
Figliolia et al. An FPGA multiprocessor architecture for Bayesian online change point detection using stochastic computation
Suresh et al. Generation of synthetic tympanic membrane images: Development, human validation, and clinical implications of synthetic data
JP2021135603A (ja) 判定装置、モデル生成装置、判定方法及び判定プログラム
US20240054404A1 (en) Information processing system, information processing apparatus, method for training inference model, and non-transitory storage medium
Siqueira et al. Proposal for computer-aided diagnosis based on ultrasound images of the kidney: is it possible to compare shades of gray among such images?
JP7094562B2 (ja) 生体画像取得装置、変換器生産装置、生体画像の生産方法、変換器の生産方法、およびプログラム
US20220301291A1 (en) Uncertainty-refined image segmentation under domain shift
Man et al. Denoising Low-Dose CT Images Using Noise2Noise and Evaluation of Hyperparameters
US20240104718A1 (en) Machine learning image analysis based on explicit equipment parameters
US11379991B2 (en) Uncertainty-refined image segmentation under domain shift
Elborolosy et al. Predicting Difficulty Level of Surgical Removal of Impacted Mandibular Third Molar using Deep Learning Approaches
JP2022035432A (ja) 情報処理プログラム，情報処理方法および情報処理装置
JP2024008511A (ja) 情報処理システム及び情報処理方法
Thomas et al. Original Research Article Deep learning-based uncertainty estimation for accurate lung ultrasound image analysis
Apopei et al. A review of several applications of FL in modeling and in 1D/2D signal processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211007

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180393

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150