JP2021120815A - 推定処理プログラム、推定処理方法、及び情報処理装置 - Google Patents

推定処理プログラム、推定処理方法、及び情報処理装置 Download PDF

Info

Publication number
JP2021120815A
JP2021120815A JP2020014106A JP2020014106A JP2021120815A JP 2021120815 A JP2021120815 A JP 2021120815A JP 2020014106 A JP2020014106 A JP 2020014106A JP 2020014106 A JP2020014106 A JP 2020014106A JP 2021120815 A JP2021120815 A JP 2021120815A
Authority
JP
Japan
Prior art keywords
region
estimation
image
annular surface
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020014106A
Other languages
English (en)
Other versions
JP7316611B2 (ja
Inventor
彬 酒井
Akira Sakai
彬 酒井
正明 小松
Masaaki Komatsu
正明 小松
貫人 生水
Kanto Shozu
貫人 生水
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NATIONAL CANCER CENTER
Fujitsu Ltd
RIKEN Institute of Physical and Chemical Research
Original Assignee
NATIONAL CANCER CENTER
Fujitsu Ltd
RIKEN Institute of Physical and Chemical Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NATIONAL CANCER CENTER, Fujitsu Ltd, RIKEN Institute of Physical and Chemical Research filed Critical NATIONAL CANCER CENTER
Priority to JP2020014106A priority Critical patent/JP7316611B2/ja
Priority to US17/144,180 priority patent/US11869193B2/en
Priority to EP21150699.3A priority patent/EP3859668A1/en
Publication of JP2021120815A publication Critical patent/JP2021120815A/ja
Application granted granted Critical
Publication of JP7316611B2 publication Critical patent/JP7316611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

【課題】対象物の環状面の推定における精度向上を図る。【解決手段】対象物を撮影した入力画像２を、前記対象物の環状面の領域を推定する第１推定モデル３ａ、前記環状面の外周内の領域を推定する第２推定モデル３ｂ、前記環状面の内周内の領域を推定する第３推定モデル３ｃのそれぞれに入力し、前記入力画像２の入力に応じて取得される第１、第２及び第３領域のうち、前記第１推定モデル３ａの推定結果として出力された前記第１領域４ａを和集合の算出に用いる第１要素とし、前記第２推定モデル３ｂの推定結果として出力された前記第２領域４ｂを和集合の算出に用いる第２要素とし、前記第３推定モデル３ｃの推定結果として出力された前記第３領域４ｃを差集合の算出に用いる第３要素として、前記第１、第２及び第３要素を合成した領域を、前記入力画像２における前記対象物の前記環状面であると推定した領域５として出力する処理をコンピュータに実行させる。【選択図】図１

Description

本発明は、推定処理プログラム、推定処理方法、及び情報処理装置に関する。
筒や管の切断面の確認、又は、断面のスキャン画像の確認等を行なうために、筒形状の対象物の断面画像をセグメンテーションするニーズがある。
例えば、セグメンテーションを行なう第１の手法として、円又は楕円の外周部上及び内周部上の点を複数抽出し、抽出した点を結ぶ円又は楕円を最小二乗法によりフィッティングする技術が知られている。
また、セグメンテーションを行なう第２の手法として、機械学習手法を用いて断面画像における断面の縁取りを学習する技術が知られている。
Olaf Ronneberger et al., "U-Net: Convolutional Networks for Biomedical Image Segmentation", Computer Science Department and BIOSS Centre for Biological Signalling Studies, University of Freiburg, Germany, 公開日: 2015年5月18日
上述した第１の手法では、筒の断面の形状が円又は楕円に限定されてしまう。また、内縁の円と外縁の円とが交差し易い。
また、上述した第２の手法では、機械学習手法の傾向として、縁取りの領域が途切れ易く、筒形状であるという事前知識が生かせない。
このように、上述した第１及び第２の手法では、いずれも、筒形状の対象物の断面、例えば環状面のセグメンテーションを行なう際に、筒の厚み及び円筒面の穴の有無について誤判定が生じる可能性がある。
１つの側面では、本発明は、対象物の環状面の推定における精度向上を図ることを目的とする。
１つの側面では、推定処理プログラムは、コンピュータに以下の処理を実行させてよい。前記処理は、対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力してよい。また、前記処理は、前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力してよい。
１つの側面では、対象物の環状面の推定における精度を向上させることができる。
一実施形態に係る情報処理装置による対象物の環状面の推定処理の一例を説明するための図である。 比較例に係る情報処理装置を説明するための図である。 比較例に係る情報処理装置を説明するための図である。 超音波により撮像した胎児胸部の断面図の一例を示す図である。 胸郭領域のセグメンテーション結果の一例を示す図である。 一実施形態に係るサーバの機能構成例を示すブロック図である。 訓練データセットの一例を示す図である。 入力データの一例を示す図である。 学習部により生成されるマスク画像の一例を示す図である。 学習部による推定部の機械学習処理の一例を説明するための図である。 実行部による推定処理の一例を説明するための図である。 ノイズ除去部によるノイズ除去処理の一例を説明するための図である。 出力データの一例を示す図である。 推定部の学習フェーズの動作例を説明するためのフローチャートである。 推定部の推定フェーズの動作例を説明するためのフローチャートである。 一実施形態に係るコンピュータのハードウェア構成例を示すブロック図である。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の実施形態で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。
〔１〕一実施形態
〔１−１〕情報処理装置による推定処理の説明
図１は、一実施形態に係る情報処理装置１による対象物の環状面の推定処理の一例を説明するための図である。なお、図１の説明では、「対象物」は、例えば、筒形状の物体であるものとする。また、入力画像２は、筒形状の対象物の断面を環状面が写るように撮像した画像である。
図１に例示するように、情報処理装置１は、入力画像２を用いて、以下の（ａ）及び（ｂ）の処理を実行することで、対象物の環状面の推定精度を向上させることができる。
（ａ）情報処理装置１は、対象物を撮影した入力画像２を、対象物の環状面の領域を推定する第１推定モデル３ａ、環状面の外周内の領域を推定する第２推定モデル３ｂ、環状面の内周内の領域を推定する第３推定モデル３ｃ、のそれぞれに入力する。
なお、第１推定モデル３ａ、第２推定モデル３ｂ及び第３推定モデル３ｃは、それぞれ、機械学習手法を用いて画像のセグメンテーションを学習済みのニューラルネットワークであってよい。
例えば、図１に示すように、第１推定モデル３ａは、対象物の環状面の第１領域４ａをマスクするセグメンテーションを行なうように学習されてよい。また、第２推定モデル３ｂは、対象物の外周内の第２領域４ｂをマスクするセグメンテーションを行なうように学習されてよく、第３推定モデル３ｃは、対象物の内周内の第３領域４ｃをマスクするセグメンテーションを行なうように学習されてよい。
（ｂ）第１推定モデル３ａの推定結果として出力された第１領域４ａを和集合の算出に用いる第１要素とし、第２推定モデル３ｂの推定結果として出力された第２領域４ｂを和集合の算出に用いる第２要素とし、第３推定モデル３ｃの推定結果として出力された第３領域４ｃを差集合の算出に用いる第３要素とする。情報処理装置１は、第１要素、第２要素及び第３要素を合成した領域を、入力画像２における対象物の環状面であると推定した領域５として出力する。
図１の例では、対象物の環状面の第１領域４ａ及び環状面の外周内の第２領域４ｂのそれぞれにおけるマスクされた領域を網掛けで示し、環状面の内周内の第３領域４ｃにおけるマスクされた領域を斜線で示す。図１の例において、丸枠内の「＋」（プラス）は、和集合の演算を示し、丸枠内の「−」（マイナス）は、差集合の演算を示す。
なお、領域５は、環状面であると推定した部分のセグメンテーションを少なくとも含む画像データであってよい。また、情報処理装置１は、図１に例示するように、領域５に対してノイズ除去処理６を実行してノイズを除去し、筒形状のセグメンテーション画像７を出力してもよい。
このように、一実施形態に係る情報処理装置１によれば、対象物である筒の断面形状が円又は楕円等の定まった形でなくとも、入力画像２における対象物の環状面の推定を行なうことが可能となる。
また、対象物の環状面の第１領域４ａ、環状面の外周内の第２領域４ｂ、及び、環状面の内周内の第３領域４ｃを、それぞれ第１要素、第２要素及び第３要素として合成した領域５を出力することで、環状面の推定結果に途切れや欠けを生じ難くすることができる。
従って、対象物の環状面の推定における精度を向上させることができる。これにより、例えば、対象物の環状面の厚みの判定、及び、環状面の穴の有無の判定等を正確に行なうことが可能となる。
図２及び図３は、それぞれ、比較例に係る情報処理装置１００Ａ及び１００Ｂを説明するための図である。
図２に示す比較例では、情報処理装置１００Ａにより、入力画像２の入力に応じて取得される、対象物の環状面の領域を推定する推定モデル３００ａの推定結果として出力された領域４００ａが、領域５００ａとして出力される場合を示す。図２の例のように、領域４００ａにおけるセグメンテーションされた筒形状には、符号Ａ〜Ｄに示すような欠損が生じる場合がある。これらの欠損は、入力画像２における対象物の環状面であると推定した領域５００ａに残存するため、対象物が筒形状として認識されなくなる可能性がある。
図３に示す比較例では、情報処理装置１００Ｂにより、入力画像２の入力に応じて取得される、環状面の外周内の領域を推定する推定モデル３００ｂの推定結果として出力された領域４００ｂから、環状面の内周内の領域を推定する推定モデル３００ｃの推定結果として出力された領域４００ｃを除外した領域が、領域５００ｂとして出力される場合を示す。図３の例のように、領域４００ｂから領域４００ｃを除外する際に、領域４００ｂ及び４００ｃの一方又は双方の位置にズレが生じる場合がある。この場合、領域５００ｂの環状面の推定結果においては、符号Ｅ及びＦに示すように、環状面の厚みが誤判定されたり、符号Ｇに示すように、途切れや欠けが生じて筒形状として認識されなくなったりする場合がある。
このように、推定モデルの推定結果として出力された１つ又は２つの領域を用いる場合、対象物の環状面の推定における精度が低下する可能性がある。
これに対し、一実施形態に係る情報処理装置１によれば、環状面と推定された第１領域４ａに生じる可能性のある欠損部分を、環状面の外周内と推定された第２領域４ｂにより補う（補完する）ことができる。
また、環状面の内周内と推定された第３領域４ｃにより、第２領域４ｂから環状面の中心部を差し引くことで、例えばノイズ除去処理６によって環状面の内周が埋まってしまうことを回避できる。
従って、一実施形態に係る情報処理装置１によれば、図２及び図３に示す比較例において生じ得る、対象物の環状面の推定における精度低下を抑制できる、換言すれば、対象物の環状面の推定における精度を向上させることが可能となる。
なお、第１領域４ａ、第２領域４ｂ及び第３領域４ｃの組み合わせ順序には、いくつかのパターンが考えられる。これらのパターンについては後述する。
〔１−２〕一実施形態の構成例
以下の説明では、情報処理装置１による推定処理が、超音波画像診断における胸郭の検出に利用される場合を例に挙げる。図４に例示するように、エコー画像における胎児胸部の皮膚から肋骨までの領域は、「胸郭」と呼ばれる部位である。胎児に何らかの先天性疾患がある場合、胸郭部分に、腹水に起因する膨らみや臓器の萎縮による陥没が生じる。
このような先天性疾患の判定の際に、胸郭の厚みの判定、及び、胸郭に穴が空いているか否かの判定等が行なわれる。このため、図５に例示するように、胸郭の領域を、内周及び外周を含めてピクセル単位でセグメンテーションすることが、胎児超音波診断において重要となる。
そこで、一実施形態の説明において、対象物は、胎児であり、セグメンテーションが行なわれる画像は、胎児の胸郭を撮像した、エコー画像等の超音波画像であり、セグメンテーション対象である環状面は、胎児の胸郭であるものとする。
図６は、一実施形態に係るサーバ１０の機能構成例を示すブロック図である。サーバ１０は、対象物の環状面を推定する装置であり、図１に示す情報処理装置１の一例である。
図６に示すように、サーバ１０は、例示的に、メモリ部１１、筒推定部１２、外周推定部１３、内周推定部１４、取得部１５、学習部１６、実行部１７、ノイズ除去部１８及び出力部１９を備えてよい。以下、筒推定部１２、外周推定部１３及び内周推定部１４を総称して、「推定部１２〜１４」と表記する場合がある。
メモリ部１１は、記憶領域の一例であり、筒推定部１２、外周推定部１３及び内周推定部１４の学習、実行（推定）及び出力等に用いられる種々の情報を記憶する。図６に示すように、メモリ部１１は、例示的に、複数のモデル情報１１ａ、訓練データセット１１ｂ、入力データ１１ｃ及び出力データ１１ｄを記憶可能であってよい。
筒推定部１２は、図１に示す第１推定モデル３ａの一例であり、例えば、対象物を撮影した画像（画像データ）の入力に応じて、対象物の環状面の領域を推定する。
外周推定部１３は、図１に示す第２推定モデル３ｂの一例であり、例えば、上記の画像（画像データ）の入力に応じて、対象物の環状面の外周内の領域を推定する。
内周推定部１４は、図１に示す第３推定モデル３ｃの一例であり、例えば、上記の画像（画像データ）の入力に応じて、対象物の環状面の内周内の領域を推定する。
推定部１２〜１４は、それぞれ、機械学習手法を用いて画像のセグメンテーションを行なうニューラルネットワークであってよく、一例として、U-Netが挙げられる。なお、推定部１２〜１４は、U-Netに限定されるものではなく、Semantic Segmentationを実行する他のニューラルネットワークであってもよく、Semantic Segmentation以外のセグメンテーション手法を用いるニューラルネットワークであってもよい。
推定部１２〜１４を実現するためのネットワーク構造や各種パラメータ等の情報は、例えば、推定部１２〜１４別にモデル情報１１ａとしてメモリ部１１に記憶されてよい。
取得部１５は、推定部１２〜１４の学習及び実行に用いる情報を、例えば図示しないコンピュータから取得する。
例えば、取得部１５は、推定部１２〜１４の学習に用いる訓練データセット１１ｂを取得し、メモリ部１１に格納してよい。
訓練データセット１１ｂは、訓練用対象物を撮影した訓練画像と、当該訓練画像中の訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットの一例である。
例えば、訓練データセット１１ｂは、図７に示すように、ｎ個（ｎは２以上の整数）の訓練データ１１０を含んでよい。各訓練データ１１０は、訓練用対象物の環状面を撮影した画像１１１と、当該画像１１１のセグメンテーションの正解データとしてのアノテーションマスク画像（以下、「マスク画像」と表記する場合がある）１１２とを含んでよい。
画像１１１は、訓練画像の一例であり、例えば、図７に示すように、訓練用対象物の一例である胎児の胸郭を撮像したエコー画像であってよい。複数の訓練データ１１０における各エコー画像は、一連のエコー映像から時系列（例えばｔ＝０〜（ｎ−１））に切り出されたフレームであってもよい。なお、各画像１１１は、互いに異なる動画像から切り出されたフレームであってもよいし、静止画像として撮影された画像であってもよい。
アノテーションマスク画像１１２は、アノテーションデータの一例であり、例えば、図７に示すように、訓練データ１１０の画像１１１におけるセグメンテーション対象の環状面（図７の例では「胸郭」）をマスクした画像である。なお、「マスク」とは、例えば、マスク対象の領域を、マスク対象ではない領域と区別可能な態様で表示することを意味し、一例として、マスク対象の領域を所定の色で塗り潰す（マスク対象の領域のピクセルに所定の色を設定する）ことであってよい。図７の例では、マスクされた領域、換言すれば胸郭に対応する領域を白塗りで示し、その他の領域、換言すれば胸郭以外の領域を黒塗りで示す。
一実施形態では、マスク画像１１２は、第１アノテーションデータの一例であり、筒推定部１２の機械学習に用いられる正解データである。
また、取得部１５は、推定部１２〜１４による推定処理に用いる入力データ１１ｃを取得し、メモリ部１１に格納してよい。
入力データ１１ｃは、１以上の入力画像を含む画像セットであり、例えば、複数のフレームを含む映像等の動画像であってよい。一実施形態では、入力データ１１ｃは、図８に示すように、エコー画像等である画像１１５を複数含むエコー映像であってよい。画像１１５は、推定処理において推定部１２〜１４に入力される入力画像の一例である。
学習部１６は、学習実行部の一例であり、取得部１５が取得した訓練データセット１１ｂを用いて、推定部１２〜１４のそれぞれの学習を行なう。
なお、学習部１６は、訓練データセット１１ｂに含まれるマスク画像１１２に基づき、図９に示すように、複数のアノテーションマスク画像１１３及び１１４を生成してよい。
マスク画像１１３は、マスク画像１１２を訓練画像中の訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータの一例であり、外周推定部１３の機械学習に用いられる正解データである。
例えば、学習部１６は、環状面がマスクされたマスク画像１１２に対して、内周内をさらにマスクすることにより、図９に示すように、外周内全域をマスクしたマスク画像１１３を生成してよい。
マスク画像１１４は、マスク画像１１２を訓練画像中の訓練用対象物の環状面の内周内の領域を示すように加工して得られる第３アノテーションデータの一例であり、外周推定部１３の機械学習に用いられる正解データである。
例えば、学習部１６は、環状面がマスクされたマスク画像１１２に対して、環状面のマスクを解除するとともに、内周内をマスクすることにより、内周内全域をマスクしたマスク画像１１４を生成してよい。なお、学習部１６は、マスク画像１１３からマスク画像１１２を除外する、例えばマスク画像１１３のマスク部分のピクセルの集合からマスク画像１１２のマスク部分のピクセルの集合を除外する、差集合を求めることで、マスク画像１１４を生成してもよい。
以上のように、学習部１６は、訓練データセット１１ｂに含まれる訓練データ１１０ごとに、マスク画像１１３及び１１４を生成し、生成したマスク画像１１３及び１１４を対応する訓練データ１１０に含めてよい。
なお、各訓練データ１１０に、画像１１１と、マスク画像１１２〜１１４とが含まれる場合には、学習部１６によるマスク画像１１３及び１１４の生成は省略されてもよい。
図１０は、学習部１６による推定部１２〜１４の機械学習処理の一例を説明するための図である。図１０に示すように、学習部１６は、画像１１１を推定部１２〜１４のそれぞれに入力する。そして、学習部１６は、画像１１１の入力に応じて取得される、筒推定部１２が出力した推定結果と、マスク画像１１２とに基づいて、筒推定部１２の機械学習を実行する。また、学習部１６は、当該画像１１１の入力に応じて取得される、外周推定部１３が出力した推定結果と、マスク画像１１３とに基づいて、外周推定部１３の機械学習を実行する。さらに、学習部１６は、当該画像１１１の入力に応じて取得される、内周推定部１４が出力した推定結果と、マスク画像１１４とに基づいて、内周推定部１４の機械学習を実行する。
学習部１６による推定部１２〜１４の機械学習処理により、筒推定部１２は、入力される画像に対して、マスク画像１１２と同様に、対象物の環状面の領域をマスクするセグメンテーションを行なうように学習される。また、外周推定部１３は、マスク画像１１３と同様に、対象物の外周内の領域をマスクするセグメンテーションを行なうように学習される。さらに、内周推定部１４は、マスク画像１１４と同様に、対象物の内周内の領域をマスクするセグメンテーションを行なうように学習される。
正解データ（マスク画像１１２〜１１４）を用いた推定部１２〜１４の機械学習手法としては、既知の種々の手法が採用されてよい。一例として、機械学習処理では、画像１１１の入力に応じて推定部１２〜１４の順伝播処理により得られる推定結果と、マスク画像１１２〜１１４とに基づき得られる誤差関数の値を小さくするために、順伝播方向の処理で使用するパラメータを決定する逆伝播処理が実行されてよい。そして、機械学習処理では、逆伝播処理の結果に基づいて重み等の変数を更新する更新処理が実行されてよい。
これらのパラメータや変数等は、モデル情報１１ａに含まれてよく、学習部１６は、機械学習処理の実行に応じて、モデル情報１１ａを更新してよい。
学習部１６は、例えば、訓練データセット１１ｂに含まれる複数の訓練データ１１０を用いて、繰り返し回数又は精度等が閾値に達するまで、推定部１２〜１４の各々の機械学習処理を繰り返し実行してよい。なお、学習が終了した推定部１２〜１４は、訓練済みモデルの一例である。
学習部１６によれば、閉じた筒等の環状面のアノテーションマスク画像１１２を用いて、外周推定部１３の学習データであるアノテーションマスク画像１１３、及び、内周推定部１４の学習データであるアノテーションマスク画像１１４を生成することができる。
従って、訓練データセット１１ｂの提供元における、訓練データセット１１ｂの生成の処理負荷を低減できるとともに、及び、訓練データセット１１ｂの記憶領域の消費量を削減できる。
実行部１７は、学習部１６による訓練済みの推定部１２〜１４を用いて、入力データ１１ｃに対する対象物のセグメンテーションの推定処理を実行する。
図１１は、実行部１７による推定処理の一例を説明するための図である。推定処理は、各推定部１２〜１４から出力される推定結果画像（マスク画像）の取得処理と、取得したそれぞれの推定結果画像の合成処理とを含んでよい。
図１１に示すように、実行部１７は、取得処理において、入力データ１１ｃに含まれる画像１１５を抽出し、同一の画像１１５を、筒推定部１２、外周推定部１３及び内周推定部１４にそれぞれ入力する。
換言すれば、実行部１７は、画像１１５を、筒推定部１２、外周推定部１３、及び、内周推定部１４、のそれぞれに入力する画像入力部の一例である。
そして、実行部１７は、筒推定部１２から出力される推定結果画像であるマスク画像１２ａ、外周推定部１３から出力される推定結果画像であるマスク画像１３ａ、及び、内周推定部１４から出力される推定結果画像であるマスク画像１４ａ、をそれぞれ取得する。
環状面のマスク画像１２ａは、筒推定部１２の推定結果として出力された第１領域の一例である。外周内のマスク画像１３ａは、外周推定部１３の推定結果として出力された第２領域の一例である。内周内のマスク画像１４ａは、内周推定部１４の推定結果として出力された第３領域の一例である。
実行部１７は、合成処理において、取得した環状面のマスク画像１２ａ、外周内のマスク画像１３ａ、並びに、内周内のマスク画像１４ａを合成して、合成画像１１６を生成する。合成画像１１６は、画像１１５における対象物の環状面であると推定した領域の一例であり、環状面であると推定した部分のセグメンテーションを少なくとも含む画像データであってよい。
ここで、実行部１７は、例えば、環状面のマスク画像１２ａを和集合の算出に用いる第１要素とし、外周内のマスク画像１３ａを和集合の算出に用いる第２要素とし、内周内のマスク画像１４ａを差集合の算出に用いる第３要素として利用してよい。
合成処理は、環状面のマスク画像１２ａのマスク部分のピクセルの集合をＣとし、外周内のマスク画像１３ａのマスク部分のピクセルの集合をＯとし、内周内のマスク画像１４ａのマスク部分のピクセルの集合をＩとすると、下記式（１）により表されてよい。
合成画像１１６ ＝ （Ｃ Ｕ Ｏ） ／ Ｉ （１）
ここで、上記式（１）において、“Ｕ”は和（和集合）を意味し、“／”は差（差集合）を意味する。
実行部１７は、上記式（１）を演算することで、環状面のマスク画像１２ａと外周内のマスク画像１３ａとの和集合の領域から内周内のマスク画像１４ａを除外した領域を、合成画像１１６として出力してよい。
或いは、合成処理は、下記式（２）により表されてもよい。
合成画像１１６ ＝ （Ｏ ／ Ｉ） Ｕ Ｃ （２）
実行部１７は、上記式（２）を演算することで、外周内のマスク画像１３ａから内周内のマスク画像１４ａを除外した領域と、環状面のマスク画像１２ａとの和集合の領域を、合成画像１１６として出力してよい。
実行部１７は、上記式（１）及び式（２）のうちの少なくともいずれか一方を用いた合成処理を実行してよい。なお、実行部１７は、上記式（１）を用いた合成処理、及び、上記式（２）を用いた合成処理、の双方を実行する場合、それぞれの合成画像１１６を区別して出力もよいし、２つの合成画像１１６をさらに合成（例えば和集合を演算）して出力してもよい。双方の合成処理を実行することにより、入力データ１１ｃに適した合成処理を実行できる可能性を高めることができ、推定処理の精度を向上できる。
実行部１７は、上述した入力データ１１ｃに含まれる複数の画像１１５を、例えば映像内の先頭フレームから最終フレームに向かって順に抽出し、抽出した画像１１５ごとに推定処理を実行してよい。或いは、実行部１７は、複数の画像１１５のうちの２以上の画像１１５のセットを、推定部１２〜１４にそれぞれ入力して推定処理を実行してもよい。
ここで、図１１に例示するように、環状面のマスク画像１２ａにおいて、「筒」に欠損が生じている（図２参照）。特に、画像１１５のようなエコー画像は、対象物の移動が少ないが、エコー画像内のノイズが多いという特性がある。このようなノイズ等の影響により、マスク画像１２ａの環状部分に欠損が生じる可能性が高い。
これに対し、上記式（１）又は式（２）を用いた合成処理によれば、当該欠損は、外周内のマスク画像１３ａとの合成により埋められる。従って、実行部１７は、一繋がりの「筒」の形状となった合成画像１１６を出力することができる。
また、図３を用いて説明したように、外周内の領域４００ｂのマスク部分のピクセルの集合から、内周内の領域４００ｃのマスク部分のピクセルの集合を除外する（差集合を実行する）場合、位置ズレにより領域５００ｂの「筒」に欠損等が生じる場合がある。
これに対し、上記式（２）を用いた合成処理によれば、（Ｏ ／ Ｉ）により「筒」に欠損等が生じたとしても、当該欠損は、環状面のマスク画像１２ａとの合成により埋められる。従って、実行部１７は、一繋がりの「筒」の形状となった合成画像１１６を出力することができる。また、上記（１）を用いた合成処理によれば、差集合の実行の際の位置ズレにより生じる欠損については、後述するノイズ除去部１８によるノイズ処理工程に依存して補間される。従って、上記（１）を用いた合成処理において位置ズレの影響が大きい場合には、上記（２）を用いた合成処理が採用されてよい。
また、実行部１７は、推定部１２〜１４のそれぞれの推定結果画像を合成して、合成画像１１６を生成するため、対象物の環状面の形状が円又は楕円等の定まった形状でない場合においても、対象物の環状面を正確に推定することができる。
ノイズ除去部１８は、画像１１５における対象物の環状面であると推定した合成画像１１６に対して、合成画像１１６に含まれるノイズを除去するノイズ除去処理を行なった結果であるセグメンテーション画像１１７を、出力部１９に出力する。ノイズ除去部１８としては、例えば、モルフォロジフィルタ等の種々の画像処理フィルタが用いられてよい。
ノイズ除去部１８によるノイズ除去処理により、図１２に例示するように、合成画像１１６におけるノイズを除去できるとともに、環状面と非環状面との間の境界を明確化したセグメンテーション画像１１７を出力することができる。
なお、サーバ１０がノイズ除去部１８を備えない構成も許容されてよい。この場合、実行部１７は、合成画像１１６を出力部１９に出力してよい。
出力部１９は、実行部１７又はノイズ除去部１８から入力される合成画像１１６又はセグメンテーション画像１１７をメモリ部１１に出力（蓄積）し、蓄積した複数の画像１１７に基づき、出力データ１１ｄを作成してよい。
出力データ１１ｄは、１以上の合成画像１１６又はセグメンテーション画像１１７、換言すれば１以上の出力画像を含む画像セットであり、例えば、複数のフレームを含む映像等の動画像であってよい。一実施形態では、出力部１９は、図１３に例示するように、各合成画像１１６又は各セグメンテーション画像１１７（図１３の例ではセグメンテーション画像１１７）をフレームとして時系列に結合した映像であってよい。
なお、出力部１９は、出力データ１１ｄを、例えば図示しないコンピュータに送信してもよい。
以上のように、実行部１７及び出力部１９は、マスク画像１２ａを和集合の算出に用いる第１要素とし、マスク画像１３ａを和集合の算出に用いる第２要素とし、マスク画像１４ａを差集合の算出に用いる第３要素として、第１要素〜第３要素を合成した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。
他の側面では、実行部１７及び出力部１９は、マスク画像１２ａとマスク画像１３ａとの和集合の領域からマスク画像１４ａを除外した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。
さらに他の側面では、実行部１７及び出力部１９は、マスク画像１２ａとマスク画像１３ａとの和集合の領域からマスク画像１４ａを除外した領域を、画像１１５における対象物の環状面であると推定した領域として出力する領域出力部の一例である。
〔１−３〕動作例
次に、図１４及び図１５を参照して、上述の如く構成されたサーバ１０の動作例を説明する。
〔１−３−１〕学習フェーズの動作例
図１４は、推定部１２〜１４の学習フェーズの動作例を説明するためのフローチャートである。
図１４に例示するように、取得部１５は、訓練データセット１１ｂを取得し（ステップＳ１）、メモリ部１１に格納する。
学習部１６は、各訓練データ１１０に含まれる、対象物の環状面をマスクした第１マスク画像１１２に基づき、環状面の外周内をマスクした第２マスク画像１１３、及び、環状面の内周内をマスクした第３マスク画像１１４をそれぞれ生成する（ステップＳ２）。
学習部１６は、訓練データ１１０に含まれる画像１１１を、各推定部１２〜１４に入力し、機械学習を実行する（ステップＳ３）。機械学習では、学習部１６は、筒推定部１２に対して第１マスク画像１１２を正解データとして与え、外周推定部１３に対して第２マスク画像１１３を正解データとして与え、内周推定部１４に対して第３マスク画像１１４を正解データとして与える。
なお、学習部１６は、訓練データセット１１ｂ内の複数の訓練データ１１０を用いて各推定部１２〜１４の機械学習を行ない、処理が終了する
〔１−３−２〕推定フェーズの動作例
図１５は、推定部１２〜１４の推定フェーズの動作例を説明するためのフローチャートである。
図１５に例示するように、取得部１５は、入力データ１１ｃを取得し（ステップＳ１１）、メモリ部１１に格納する。
実行部１７は、入力データ１１ｃ内の画像１１５を推定部１２〜１４の各々に入力する（ステップＳ１２）。
実行部１７は、筒推定部１２及び外周推定部１３から出力されたマスク画像１２ａ及び１３ａをそれぞれ和集合の要素とし、内周推定部１４から出力されたマスク画像１４ａを差集合の要素とする。そして、実行部１７は、マスク画像１２ａ〜１４ａを合成して合成画像１１６を生成する（ステップＳ１３）。なお、和集合の要素及び差集合の要素の組み合わせ順序は、上記式（１）又は式（２）に基づいてよい。
ノイズ除去部１８は、合成画像１１６に対してノイズ除去処理を実行してセグメンテーション画像１１７を出力する（ステップＳ１４）。なお、ステップＳ１４の処理は省略されてもよい。
出力部１９は、セグメンテーション画像１１７を蓄積し、蓄積したセグメンテーション画像１１７を結合した出力データ１１ｄを出力し（ステップＳ１５）、処理が終了する。なお、出力データ１１ｄの出力先としては、例えば、メモリ部１１の他に、図示しないコンピュータ等が挙げられる。
〔１−４〕ハードウェア構成例
図１６は、情報処理装置１及びサーバ１０の機能を実現するコンピュータ２０のハードウェア（ＨＷ）構成例を示すブロック図である。情報処理装置１及びサーバ１０の機能を実現するＨＷリソースとして、複数のコンピュータが用いられる場合は、各コンピュータが図１６に例示するＨＷ構成を備えてよい。
図１６に示すように、コンピュータ２０は、ＨＷ構成として、例示的に、プロセッサ２０ａ、メモリ２０ｂ、記憶部２０ｃ、ＩＦ（Interface）部２０ｄ、Ｉ／Ｏ（Input / Output）部２０ｅ、及び読取部２０ｆを備えてよい。
プロセッサ２０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ２０ａは、コンピュータ２０内の各ブロックとバス２０ｉで相互に通信可能に接続されてよい。なお、プロセッサ２０ａは、複数のプロセッサを含むマルチプロセッサであってもよいし、複数のプロセッサコアを有するマルチコアプロセッサであってもよく、或いは、マルチコアプロセッサを複数有する構成であってもよい。
プロセッサ２０ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＡＰＵ、ＤＳＰ、ＡＳＩＣ、ＦＰＧＡ等の集積回路（ＩＣ：Integrated Circuit）が挙げられる。なお、プロセッサ２０ａとして、これらの集積回路の２以上の組み合わせが用いられてもよい。
例えば、情報処理装置１の少なくとも一部、サーバ１０の取得部１５、実行部１７の少なくとも一部、ノイズ除去部１８、及び、出力部１９の処理機能は、プロセッサ２０ａとしてのＣＰＵ又はＭＰＵ等により実現されてもよい。また、情報処理装置１の少なくとも一部、サーバ１０の推定部１２〜１４、学習部１６、及び、実行部１７の少なくとも一部の処理機能は、プロセッサ２０ａのうちのＧＰＵ又はＡＳＩＣ（例えばＴＰＵ）等のアクセラレータにより実現されてもよい。
ＣＰＵはCentral Processing Unitの略称であり、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＡＰＵはAccelerated Processing Unitの略称である。ＤＳＰはDigital Signal Processorの略称であり、ＡＳＩＣはApplication Specific ICの略称であり、ＦＰＧＡはField-Programmable Gate Arrayの略称である。ＴＰＵはTensor Processing Unitの略称である。
メモリ２０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ２０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。
記憶部２０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部２０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。
また、記憶部２０ｃは、コンピュータ２０の各種機能の全部若しくは一部を実現するプログラム２０ｇ（推定処理プログラム）を格納してよい。例えば、情報処理装置１のプロセッサ２０ａは、記憶部２０ｃに格納されたプログラム２０ｇをメモリ２０ｂに展開して実行することにより、図１に例示する情報処理装置１としての機能を実現できる。また、サーバ１０のプロセッサ２０ａは、記憶部２０ｃに格納されたプログラム２０ｇをメモリ２０ｂに展開して実行することにより、図６に例示するサーバ１０としての機能を実現できる。
なお、メモリ２０ｂ及び記憶部２０ｃの少なくとも１つが有する記憶領域は、図６に示す各情報１１ａ〜１１ｄを記憶可能であってよい。換言すれば、図６に示すメモリ部１１は、メモリ２０ｂ及び記憶部２０ｃの少なくとも１つが有する記憶領域により実現されてよい。
ＩＦ部２０ｄは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部２０ｄは、イーサネット（登録商標）等のＬＡＮ（Local Area Network）、或いは、ＦＣ（Fibre Channel）等の光通信等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、サーバ１０は、ＩＦ部２０ｄを介して、他の装置と相互に通信可能に接続されてよい。また、例えば、プログラム２０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ２０にダウンロードされ、記憶部２０ｃに格納されてもよい。
Ｉ／Ｏ部２０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。
読取部２０ｆは、記録媒体２０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部２０ｆは、記録媒体２０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部２０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体２０ｈにはプログラム２０ｇが格納されてもよく、読取部２０ｆが記録媒体２０ｈからプログラム２０ｇを読み出して記憶部２０ｃに格納してもよい。
記録媒体２０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。
上述したコンピュータ２０のＨＷ構成は例示である。従って、コンピュータ２０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、情報処理装置１及びサーバ１０において、Ｉ／Ｏ部２０ｅ及び読取部２０ｆの少なくとも一方は、省略されてもよい。
〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。
例えば、図６に示すサーバ１０が備える各処理機能１２〜１９は、それぞれ任意の組み合わせで併合してもよく、分割してもよい。
なお、一実施形態では、対象物、画像及び環状面が、それぞれ、胎児、胎児のエコー画像、及び、胸郭であるものとしたが、これらに限定されるものではない。一実施形態に係る手法は、下記のように、種々の対象物、画像及び環状面についても適用可能である。
対象物としては、例えば、人体の部位、土管、鋼管又はホース等の構造物等、筒又は略筒形状を有する種々の物体が挙げられる。画像としては、対象物の環状面の延在方向に交差する面で撮像された種々の画像が挙げられる。例えば、画像としては、エコー画像以外の超音波画像、磁気共鳴画像、Ｘ線画像、温度又は電磁波等を捉えるセンサによる検出画像、並びに、可視光又は非可視光を捉えるイメージセンサによる撮像画像、等の種々の画像が挙げられる。環状面としては、画像における、対象物の外壁又は内壁等の固体部分の他、液体部分又は気体（空間）部分が挙げられる。
また、図６に示すサーバ１０は、複数の装置がネットワークを介して互いに連携することにより、各処理機能を実現する構成であってもよい。一例として、取得部１５及び出力部１９はＷｅｂサーバ、推定部１２〜１４、学習部１６、実行部１７及びノイズ除去部１８はアプリケーションサーバ、メモリ部１１はＤＢ（Database）サーバ、であってもよい。この場合、Ｗｅｂサーバ、アプリケーションサーバ及びＤＢサーバが、ネットワークを介して互いに連携することにより、サーバ１０としての各処理機能を実現してもよい。
さらに、推定部１２〜１４の学習処理（推定部１２〜１４、取得部１５及び学習部１６）、並びに、推定処理（実行部１７、ノイズ除去部１８及び出力部１９）に係る各処理機能が、互いに異なる装置により提供されてもよい。この場合においても、これらの装置がネットワークを介して互いに連携することにより、サーバ１０としての各処理機能を実現してもよい。
〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータに実行させる、推定処理プログラム。
（付記２）
前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１に記載の推定処理プログラム。
（付記３）
前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１に記載の推定処理プログラム。
（付記４）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
処理を前記コンピュータに実行させる、付記１〜付記３のいずれか１項に記載の推定処理プログラム。
（付記５）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
処理を前記コンピュータに実行させる、付記１〜付記４のいずれか１項に記載の推定処理プログラム。
（付記６）
前記入力画像は、超音波画像である、
付記１〜付記５のいずれか１項に記載の推定処理プログラム。
（付記７）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
処理をコンピュータが実行する、推定処理方法。
（付記８）
前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記７に記載の推定処理方法。
（付記９）
前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記７に記載の推定処理方法。
（付記１０）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
処理を前記コンピュータが実行する、付記７〜付記９のいずれか１項に記載の推定処理方法。
（付記１１）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
処理を前記コンピュータが実行する、付記７〜付記１０のいずれか１項に記載の推定処理方法。
（付記１２）
前記入力画像は、超音波画像である、
付記７〜付記１１のいずれか１項に記載の推定処理方法。
（付記１３）
対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力する画像入力部と、
前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する領域出力部と、
を備える、情報処理装置。
（付記１４）
前記領域出力部は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１３に記載の情報処理装置。
（付記１５）
前記領域出力部は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
付記１３に記載の情報処理装置。
（付記１６）
訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得する取得部と、
前記第１推定モデル、前記第２推定モデル及び前記第３推定モデルの機械学習を実行する学習実行部と、を備え、
前記学習実行部は、
前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
付記１３〜付記１５のいずれか１項に記載の情報処理装置。
（付記１７）
前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力するノイズ除去部、
を備える、付記１３〜付記１６のいずれか１項に記載の情報処理装置。
（付記１８）
前記入力画像は、超音波画像である、
付記１３〜付記１７のいずれか１項に記載の情報処理装置。
１ 情報処理装置
２ 入力画像
３ａ 第１推定モデル
３ｂ 第２推定モデル
３ｃ 第３推定モデル
４ａ 第１領域
４ｂ 第２領域
４ｃ 第３領域
５ 領域
６ ノイズ除去処理
７、１１７ セグメンテーション画像
１０ サーバ
１１ メモリ部
１１ａ モデル情報
１１ｂ 訓練データセット
１１ｃ 入力データ
１１ｄ 出力データ
１１０ 訓練データ
１１１、１１５ 画像
１１２、１１３、１１４ アノテーションマスク画像、マスク画像
１１６ 合成画像
１２ 筒推定部、推定部
１３ 外周推定部、推定部
１４ 内周推定部、推定部
１５ 取得部
１６ 学習部
１７ 実行部
１８ ノイズ除去部
１９ 出力部
２０ コンピュータ

Claims (8)

  1. 対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
    前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
    処理をコンピュータに実行させる、推定処理プログラム。
  2. 前記出力は、前記第１領域と前記第２領域との和集合の領域から前記第３領域を除外した領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
    請求項１に記載の推定処理プログラム。
  3. 前記出力は、前記第２領域から前記第３領域を除外した領域と、前記第１領域との和集合の領域を、前記入力画像における前記対象物の前記環状面であると推定した前記領域として出力する、
    請求項１に記載の推定処理プログラム。
  4. 訓練用対象物を撮影した訓練画像と、前記訓練画像中の前記訓練用対象物に対応する領域を示すアノテーションデータと、をそれぞれに含む訓練データのデータセットを取得し、
    前記訓練画像の入力に応じて取得される、前記第１推定モデルが出力した推定結果と、第１アノテーションデータとしての前記アノテーションデータとに基づいて、前記第１推定モデルの機械学習を実行し、
    前記訓練画像の入力に応じて取得される、前記第２推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の環状面の外周内の領域を示すように加工して得られる第２アノテーションデータとに基づいて、前記第２推定モデルの機械学習を実行し、
    前記訓練画像の入力に応じて取得される、前記第３推定モデルが出力した推定結果と、前記アノテーションデータを前記訓練画像中の前記訓練用対象物の前記環状面の内周内の領域を示すように加工して得られる第３アノテーションデータとに基づいて、前記第３推定モデルの機械学習を実行する、
    処理を前記コンピュータに実行させる、請求項１〜請求項３のいずれか１項に記載の推定処理プログラム。
  5. 前記入力画像における前記対象物の前記環状面であると推定した前記領域に対してノイズ除去処理を行なった結果を出力する、
    処理を前記コンピュータに実行させる、請求項１〜請求項４のいずれか１項に記載の推定処理プログラム。
  6. 前記入力画像は、超音波画像である、
    請求項１〜請求項５のいずれか１項に記載の推定処理プログラム。
  7. 対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力し、
    前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する、
    処理をコンピュータが実行する、推定処理方法。
  8. 対象物を撮影した入力画像を、前記対象物の環状面の領域を推定する第１推定モデル、前記環状面の外周内の領域を推定する第２推定モデル、前記環状面の内周内の領域を推定する第３推定モデル、のそれぞれに入力する画像入力部と、
    前記入力画像の入力に応じて取得される第１領域、第２領域及び第３領域のうち、前記第１推定モデルの推定結果として出力された前記第１領域を和集合の算出に用いる第１要素とし、前記第２推定モデルの推定結果として出力された前記第２領域を和集合の算出に用いる第２要素とし、前記第３推定モデルの推定結果として出力された前記第３領域を差集合の算出に用いる第３要素として、前記第１要素、前記第２要素及び前記第３要素を合成した領域を、前記入力画像における前記対象物の前記環状面であると推定した領域として出力する領域出力部と、
    を備える、情報処理装置。
JP2020014106A 2020-01-30 2020-01-30 推定処理プログラム、推定処理方法、及び情報処理装置 Active JP7316611B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020014106A JP7316611B2 (ja) 2020-01-30 2020-01-30 推定処理プログラム、推定処理方法、及び情報処理装置
US17/144,180 US11869193B2 (en) 2020-01-30 2021-01-08 Computer-readable recoding medium having stored therein estimation processing program, estimation processing method and information processing apparatus
EP21150699.3A EP3859668A1 (en) 2020-01-30 2021-01-08 Estimation processing program, estimation processing method and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020014106A JP7316611B2 (ja) 2020-01-30 2020-01-30 推定処理プログラム、推定処理方法、及び情報処理装置

Publications (2)

Publication Number Publication Date
JP2021120815A true JP2021120815A (ja) 2021-08-19
JP7316611B2 JP7316611B2 (ja) 2023-07-28

Family

ID=74125083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020014106A Active JP7316611B2 (ja) 2020-01-30 2020-01-30 推定処理プログラム、推定処理方法、及び情報処理装置

Country Status (3)

Country Link
US (1) US11869193B2 (ja)
EP (1) EP3859668A1 (ja)
JP (1) JP7316611B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2013061697A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 個体識別装置、個体識別方法、及びプログラム
JP2016007270A (ja) * 2014-06-23 2016-01-18 東芝メディカルシステムズ株式会社 医用画像処理装置
WO2018118373A1 (en) * 2016-12-21 2018-06-28 Elekta, Inc. Online learning enhanced atlas-based auto-segmentation
JP2021511577A (ja) * 2018-01-10 2021-05-06 アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ−イ・エール・セ・ア・デ ３ｄ医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる３ｄ医用画像の自動セグメンテーションプロセス

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070014452A1 (en) * 2003-12-01 2007-01-18 Mitta Suresh Method and system for image processing and assessment of a state of a heart
US20060280348A1 (en) * 2005-06-01 2006-12-14 Smith Matthew W Method of screening cellular tissue
EP2339534A1 (en) * 2009-11-18 2011-06-29 Panasonic Corporation Specular reflection compensation
US9122950B2 (en) * 2013-03-01 2015-09-01 Impac Medical Systems, Inc. Method and apparatus for learning-enhanced atlas-based auto-segmentation
JP7024954B2 (ja) * 2017-04-12 2022-02-24 キヤノンメディカルシステムズ株式会社 医用画像処理装置及びｘ線ｃｔ装置
US10918326B2 (en) * 2018-05-31 2021-02-16 The Regents Of The University Of Michigan Automated assessment of bowel damage in intestinal diseases

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009147814A1 (ja) * 2008-06-02 2009-12-10 パナソニック株式会社 法線情報を生成する画像処理装置、方法、コンピュータプログラム、および、視点変換画像生成装置
JP2013061697A (ja) * 2011-09-12 2013-04-04 Dainippon Printing Co Ltd 個体識別装置、個体識別方法、及びプログラム
JP2016007270A (ja) * 2014-06-23 2016-01-18 東芝メディカルシステムズ株式会社 医用画像処理装置
WO2018118373A1 (en) * 2016-12-21 2018-06-28 Elekta, Inc. Online learning enhanced atlas-based auto-segmentation
JP2020503923A (ja) * 2016-12-21 2020-02-06 エレクタ、インク.Elekta, Inc. オンライン学習により強化されたアトラスベース自動セグメンテーション
JP2021511577A (ja) * 2018-01-10 2021-05-06 アンスティテュ・ドゥ・ルシェルシュ・シュール・レ・カンセール・ドゥ・ラパレイユ・ディジェスティフ−イ・エール・セ・ア・デ ３ｄ医用画像のジオメトリに従った、構造化された畳み込みを通したいくつかのニューラルネットワークによる３ｄ医用画像の自動セグメンテーションプロセス

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
池本 健介 KENSUKE IKEMOTO: "胸壁および血管の正常構造を考慮したＸ線ＣＴからの肺結節の認識 Recognition of lung nodules in CT imag", 電子情報通信学会技術研究報告 ＶＯＬ．１０４ ＮＯ．５８０ IEICE TECHNICAL REPORT, vol. 第104巻, JPN6023025813, JP, ISSN: 0005091699 *

Also Published As

Publication number Publication date
JP7316611B2 (ja) 2023-07-28
US11869193B2 (en) 2024-01-09
US20210241461A1 (en) 2021-08-05
EP3859668A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
US20170358100A1 (en) Image processing apparatus and image processing method
US11676361B2 (en) Computer-readable recording medium having stored therein training program, training method, and information processing apparatus
CN110287956B (zh) 血管中心线自动匹配方法及装置
JP2021106044A (ja) 画像処理装置、画像処理方法およびプログラム
WO2016032271A1 (ko) 스마트 기기를 이용한 초음파 신호의 고속 병렬 처리 방법
JP7212554B2 (ja) 情報処理方法、情報処理装置、及びプログラム
Shi et al. Tracing vocal fold vibrations using level set segmentation method
CN113658196A (zh) 红外图像中船舶的检测方法、装置、电子设备和介质
JP2021120815A (ja) 推定処理プログラム、推定処理方法、及び情報処理装置
JP7105369B2 (ja) トラッキング装置、学習済モデル、内視鏡システム及びトラッキング方法
KR101751750B1 (ko) X선 의료 영상에서의 디펙트 보정 방법
WO2018030519A1 (ja) 乳房領域検出システム、乳房領域検出方法、及びプログラム
CN110517239A (zh) 一种医学影像检测方法及装置
JP5430492B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2010220904A (ja) 画像処理装置および方法ならびにプログラム
JP2014006745A (ja) 画像処理装置及びその制御方法
US20240087118A1 (en) Medical image processing apparatus and medical image processing method
WO2023152810A1 (ja) 画像処理装置、画像処理方法およびプログラム
JP2020004179A (ja) 画像処理プログラム、画像処理装置及び画像処理方法
JP6563964B2 (ja) 映像生成装置、映像生成方法、プログラム
JP2024516016A (ja) 入力画像の処理方法、入力画像の処理装置及びプログラム
KR100828194B1 (ko) 디지털 화상의 경계 흐림을 판단하는 장치와 방법 및 이를이용한 이미지 처리 시스템
WO2018220706A1 (ja) 画像処理装置および画像処理方法
JP2000283725A (ja) 中空糸測定装置および方法
CN116485683A (zh) 多孔径合成光学相干断层的成像方法、装置、设备及介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220801

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20221102

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230609

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230627

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230707

R150 Certificate of patent or registration of utility model

Ref document number: 7316611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150