JP2020137974A

JP2020137974A - 超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置

Info

Publication number: JP2020137974A
Application number: JP2019038098A
Authority: JP
Inventors: 河村　哲; Satoru Kawamura; 哲河村; 国之古田; Kuniyuki Furuta
Original assignee: LEQUIO POWER TECHNOLOGY CORP
Current assignee: LEQUIO POWER TECHNOLOGY CORP
Priority date: 2019-03-03
Filing date: 2019-03-03
Publication date: 2020-09-03
Anticipated expiration: 2039-03-03
Also published as: JP7204106B2

Abstract

【課題】誰でも簡単に超音波計測を行えるようにして、超音波計測の利用促進を図る。【解決手段】入力部２ａは、超音波プローブによって時系列的に取得された被検体の超音波画像をリアルタイムで受け付ける。学習モデル２ｂは、入力部２ａによって受け付けられた超音波画像に基づいて複数種の生体部位を識別して、識別された生体部位の適正度を示す個別スコアを生体部位毎にリアルタイムで出力する。画像評価部２ｄは、学習モデル２ｂより出力された生体部位毎の個別スコアに基づき算出された総合スコアを所定のしきい値と比較することによって、超音波画像が対象物の計測に適しているか否かをリアルタイムで評価する。ナビゲート表示装置２ｉは、入力部２ａによって受け付けられた超音波画像と、この超音波画像に関する生体部位毎の個別スコアと、この超音波画像に関する総合スコアとを随時更新しながらリアルタイムで表示する。【選択図】図２

Description

本発明は、超音波プローブ用ナビゲートシステム、および、そのナビゲート表示装置に係り、特に、超音波プローブを操作するためのナビゲートに関する。

例えば、特許文献１には、被検体内の組織を撮像した超音波画像について、対象物（胎児）の計測に適しているかを評価する超音波診断装置が開示されている。この超音波診断装置が備える適正度判定部は、超音波を送受信する探触子によって取得された取得画像が、被検体を計測するために用いる計測画像として適正であるか否かを判定する。具体的には、まず、取得画像から所定の形および大きさで第１部分画像が抽出され、この第１部分画像から、計測対象部位が描出されているものが特定される。つぎに、計測対象部位が描出されている第１部分画像から、所定の形および大きさで複数の第２部分画像が抽出され、これらの第２部分画像から、計測対象部位に含まれる構成要素が抽出される。つぎに、抽出された構成要素の位置関係が基準値と照合した結果の評価値として算出されると共に、構成要素ごとの平均輝度値が算出される。そして、構成要素の評価値と構成要素ごとの平均輝度値とを用いて、取得画像が計測用画像として適正か否かを示す適正度が算出される。

特許第６４６７０４１号公報

超音波計測は様々な用途で用いられる。例えば、産前検診では、超音波プローブを用いて胎児の超音波画像を取得し、この超音波画像に描出された胎児の必要部位を計測することで、週数における体重（成長）管理が行われている。しかしながら、途上国では、胎児の計測に代表される超音波計測が未だ普及しておらず、医療サービスが低水準に止まっているのが現状である。その理由としては、超音波計測の操作手法を学ぶ機会が少ないこと、学ぶ機会があっても、習熟した人が身近にいないため学んだ手法が適切かどうか分からないこと、更には、最終月経や母体の腹部計測といった不正確な情報で事足りるとの考え方が根強いことなどが挙げられる。また、同様のことは、日本においても現場の課題となっている。その背景には、実習で教えてもらえる機会が少ないこと、胎児の位置は診断毎に変わるので教科書通りに行かないこと、使用頻度が低く技術が向上し難いこと等が存在する。以上に述べた事項は、胎児の計測に限らず、超音波計測全般の問題として懸念されている。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、誰でも簡単に超音波計測を行えるようにして、超音波計測の利用促進を図ることである。

かかる課題を解決すべく、第１の発明は、入力部と、学習モデルと、画像評価部と、ナビゲート表示部とを有する超音波プローブ用ナビゲートシステムを提供する。入力部は、超音波プローブによって時系列的に取得された被検体の超音波画像をリアルタイムで受け付ける。学習モデルは、入力部によって受け付けられた超音波画像に基づいて複数種の生体部位を識別して、識別された生体部位の適正度を示す個別スコアを生体部位毎にリアルタイムで出力する。それぞれの生体部位は、被検体内における所定の対象物を特徴付けるものとして予め定められている。画像評価部は、学習モデルより出力された生体部位毎の個別スコアに基づき算出された総合スコアを所定のしきい値と比較することによって、超音波画像が対象物の計測に適しているか否かをリアルタイムで評価する。ナビゲート表示部は、入力部によって受け付けられた超音波画像と、この超音波画像に関する生体部位毎の個別スコアと、この超音波画像に関する総合スコアとを随時更新しながらリアルタイムで表示する。

ここで、第１の発明において、上記学習モデルは、ニューラルネットワークを有することが好ましい。この場合、学習処理部を設けてもよい。学習処理部は、対象物の超音波画像と、この超音波画像に描出された生体部位の分類情報とを有する教師データを用いた教師あり学習によって、ニューラルネットワークモデルの内部パラメータを調整する。また、画像評価部によって対象物の計測に適していると評価された超音波画像を用いて、対象物の計測を自動で行う対象物計測部を設けてもよい。さらに、上記しきい値は、ユーザによって調整可能であることが好ましい。

第１の発明において、上記ナビゲート表示部は、学習モデルによって識別された生体部位のそれぞれの位置を示す生体ナビゲート画像を、超音波画像に重ねた上で、リアルタイムで表示することが好ましい。また、上記ナビゲート表示部は、超音波プローブの現在の位置を基準とした超音波プローブの動かし方をナビゲートする動作ナビゲート画像をリアルタイムで表示することが好ましい。さらに、画像評価部によって、超音波画像が対象物の計測に適していると評価された場合、画像評価部における評価を終了してもよい。

第２の発明は、ナビゲート表示画面と、画面制御部とを有し、超音波プローブによって時系列的に取得された被検体の超音波画像をリアルタイムで表示する超音波プローブ用ナビゲート表示装置を提供する。ナビゲート表示画面は、画像表示領域と、スコア表示領域とを有する。画面制御部は、超音波プローブによって取得された超音波画像の時系列的な推移に応じて、ナビゲート表示画面を制御する。ここで、画面制御部は、超音波プローブによって第１の超音波画像が取得された場合、画像表示領域において、第１の超音波画像を表示させ、スコア表示領域において、複数の第１の個別スコアと、複数の第１の個別スコアに基づき算出された第１の総合スコアとを表示させる。複数の第１の個別スコアは、複数種の生体部位のそれぞれの適正度を示す。生体部位は、被検体内における所定の対象物を特徴付けるものとして予め定められており、かつ、第１の超音波画像の解析によって識別されたものである。また、画面制御部は、超音波プローブによって第１の超音波画像よりも後の第２の超音波画像が取得された場合、画像表示領域に表示された第１の超音波画像を第２の超音波画像に更新し、スコア表示領域に表示された複数の第１の個別スコアを複数の第２の個別スコアに更新し、スコア表示領域に表示された第１の総合スコアを、複数の第２の個別スコアに基づき算出された第２の総合スコアに更新する。複数の第２の個別スコアは、第２の超音波画像の解析によって識別された複数種の生体部位のそれぞれの適正度を示す。

ここで、第２の発明において、上記画面制御部は、画像表示領域に表示された第１の超音波画像に、第１の超音波画像の解析によって識別された複数種の生体部位のそれぞれの位置を示す第１の生体ナビゲート画像を重ね合わせて表示させることが好ましい。また、上記画面制御部は、画像表示領域に重ね合わせて表示された第１の生体ナビゲート画像を、第２の超音波画像の解析によって識別された複数種の生体部位のそれぞれの位置を示す第２の生体ナビゲート画像に更新することが好ましい。

第２の発明において、上記ナビゲート表示画面は、動作ナビゲート表示領域を有していてもよい。この場合、上記画面制御部は、超音波プローブによって第１の超音波画像が取得された場合、動作ナビゲート表示領域において、第１の超音波画像が取得された時点における超音波プローブの位置を基準とした超音波プローブの動かし方をナビゲートする第１の動作ナビゲート画像を表示させることが好ましい。また、上記画面制御部は、超音波プローブによって第２の超音波画像が取得された場合、動作ナビゲート表示領域に表示された第１の動作ナビゲート画像を、第２の超音波画像が取得された時点における超音波プローブの位置を基準とした超音波プローブの動かし方をナビゲートする第２の動作ナビゲート画像に更新することが好ましい。

本発明によれば、超音波プローブによって取得された超音波画像と、この超音波画像を解析することによって取得される生体部位毎の個別スコアと、これらの総合スコアとをリアルタイムで表示する。これにより、対象物の計測に適した超音波画像が得られるようにユーザをナビゲートできるので、誰でも簡単に超音波計測を行うことができ、超音波計測の利用促進を図ることができる。

超音波計測システムの構成図超音波プローブ用のナビゲートシステムのブロック図児頭大横径（ＢＰＤ）の生体部位の説明図ナビゲート表示画面の説明図ナビゲート表示画面の説明図ナビゲート表示画面の説明図ＢＰＤ値の妊娠週数に対する回帰曲線胎児体重の妊娠週数に対する回帰曲線

図１は、超音波計測システムの構成図である。この計測システムは、超音波プローブ１と、これに接続されたコンピュータ２とを有する。超音波プローブ１は、振動子１ａと、電源回路１ｂと、パルス発生回路１ｃと、高耐圧スイッチ１ｄと、ノーノイズアンプ１ｅと、ＡＤコンバータ１ｆと、ＦＰＧＡ（field-programmable gate array）１ｇとを有する。振動子１ａは、被検体内に向けて発信した超音波のエコーを測定することにより、被検体の断層像を取得する。電源回路１ｂは、ＵＳＢ（ユニバーサル・シリアル・バス）より取得した電力に基づいて電源電圧を生成して、発生回路１ｃやＡＤコンバータ１ｆなどのユニットに供給する。パルス発生回路１ｃは、所定周波数のパルスを生成し、高耐圧スイッチ１ｄを介して振動子１ａを駆動させる。振動子１ａによって所定の間隔（フレームレート）で取得されたアナログ画像信号は、高圧スイッチ１ｄを介してＡＤコンバータ１ｆに供給され、デジタル画像信号に変換される。そして、このデジタル画像信号は、必要な論理機能が実装されたＦＰＧＡ１ｇを介して、ＵＳＢ接続された外部のコンピュータ２に送信される。

コンピュータ２は、ビューワソフトにより、時系列的に受信した超音波画像に対して所定の画像処理を行い、その処理結果を表示する。また、コンピュータ２は、スキャン、モードの制御、計測関連の機能を有する。さらに、コンピュータ２は、超音波画像および計測結果の記録機能を有し、かつ、外部ネットワークに画像やデータを転送するための接続機能を有する。なお、詳細については後述するが、コンピュータ２によって実現される自動計測支援や自動計測といった機能は、ＵＳＢポータブルエコー、据置型エコー、ディスプレイ一体型エコー等に幅広く活用でき、また、汎用的なソフトウェアとして既存のハードウェアに後から機能追加できるようにしてもよい。

図２は、超音波プローブ１用のナビゲートシステム（コンピュータ２）のブロック図である。このナビゲートシステム２は、超音波プローブ１に接続されたコンピュータ２において実現される。ナビゲートシステム２は、大別して、画像処理系、ナビゲート表示系という２つの処理系を有する。以下、被検体内の対象物の一例として、母体内の胎児の頭部を対象とし、その児頭大横径（ＢＰＤ）を計測する場合について説明する。

画像処理系は、入力部２ａと、学習モデル２ｂと、学習処理部２ｃと、画像評価部２ｄとを有する。入力部２ｂは、例えばＵＳＢインターフェースであり、ユーザが超音波プローブ１を操作することによって取得されたフレーム単位の超音波画像をリアルタイムで時系列的に受け付ける。

学習モデル２ｂは、入力部２ａによって受け付けられた１フレームの超音波画像について、複数種の生体部位を識別する。この識別処理は、リアルタイムかつフレーム単位（例えば、数フレームに１回の如く間引きされたフレーム単位を含む。以下同様。）で繰り返し実行される。ここで、識別対象となる生体部位の条件は２つある。第１は、被検体内の対象物（計測対象）を特徴付ける固有性を有することであり、第２は、特定の生体部位としての特徴が超音波画像上に描出されること（描出性）である。これらの２条件を満たす生体部位は、対象物自体の構成要素であってもよいが、対象物の近傍に位置するような対象物外のものであってもよい。識別対象となる生体部位は、計測すべき対象物に応じて予め定められている。例えば、対象物が胎児の頭部の場合、その特徴的な生体部位（計測点）としては、図３に示すように、頭部輪郭、正中線、透明中核、四丘体槽が従来知られているが、本実施形態では、計測誤差を少なくできるとの新規な知得に基づき、頭部輪郭、正中線および視床を識別対象とする。ただし、胎児の頭部を特徴付ける生体部位をどのように組み合わせるかは任意であり、従来どおりの組み合わせを特段排除するものではない。

学習モデル２ｂは、深層学習による学習モデルとして構成することができ、所定の問題解決能力を備えたニューラルネットワークを主体に構成されている。ここで、「ニューラルネットワーク」とは、ニューロンを数理モデル化したものの組み合わせであって、ニューラルネットワークとしての最も原始的な構成のみならず、畳み込みニューラルネットワーク（ＣＮＮ）や再起型ニューラルネットワーク（ＲＮＮ）の如く、その派生形や発展形などを広く包含する。本実施形態では、一例として、３層完全結合型ニューラルネットワークを採用している。

学習モデル２ｂは、所定の関数（Ｙ＝ｆ(Ｘ，θ))を備えており、その内部パラメータθ、具体的には、ニューラルネットワークの結合重みは、入力された超音波画像（または、これを特徴化したもの）の特徴に基づいた適切な分類結果（出力）が得られるように、事前の学習によって予め調整されている。

学習処理部２ｃは、教師データを用いた教師あり学習によって、学習モデル２ｂの内部パラメータθを調整する。教師データは、対象物である胎児の頭部が描出されている超音波画像と、この超音波画像に描出された生体部位（頭部輪郭、正中線および視床）の分類情報とを有する。大量かつ多様な教師データを用いた教師あり学習を繰り返し実行することで、様々な入力に対して適切な出力が得られるように、学習モデル２ｂが最適化される。

また、学習モデル２ｂは、超音波画像の入力に基づいて、識別された生体部位のそれぞれに関する個別スコアをリアルタイムで出力する。個別スコアは、識別された生体部位の適正度を示しており、本実施形態では、頭部輪郭の個別スコアｓ１、正中線の個別スコアｓ２、および、視床の個別スコアｓ３が算出される。ここで、個別スコアｓ１〜ｓ３は、例えば、テンソルフロー（TensorFlow）やケラス（Keras）と呼ばれる既知のライブラリで学習モデル２ｂを構築し、そこから出力される確度（accuracy）をそのまま用いることができる。テンソルフローは、ｇｏｏｇｏｌｅが開発・公開している機械学習用のオープンソース・ソフトウェア・ライブラリである。また、ケラスとは、ｐｙｔｈｏｎで記述されたオープンソース・ニューラルネットワーク・ライブラリである。

画像評価部２ｄは、学習モデル２ｂより出力された各生体部位の個別スコアｓ１〜ｓ３に基づいて、これらをまとめた総合スコアＳをリアルタイムかつフレーム単位で算出する。総合スコアＳは、例えば、個別スコアｓ１〜ｓ３の合計値として算出してもよいし、個別スコアｓ１〜ｓ３のワーストケース（最低値）を総合スコアＳとしてもよい。これら以外にも、識別された対象物全体の適正さを正しく評価できる手法であれば、任意のものを採用することができる。

また、画像評価部２ｄは、総合スコアＳを所定のしきい値Ｓthと比較することによって、超音波画像が対象物の計測に適しているか否かを、リアルタイムかつフレーム単位で評価する。具体的には、総合スコアＳがしきい値Ｓth未満の場合、超音波画像は、対象物の計測に適していないと評価される。これに対して、総合スコアＳがしきい値Ｓth以上の場合、超音波画像は、対象物の計測に適していると評価される。対象物の計測に適した超音波画像が得られない限り、対象物計測部２ｅによる対象物の計測は実行されない。対象物計測部２ｅは、対象物の計測に適した超音波画像が得られた場合、この超音波画像を用いて、対象物の計測を実行する。

超音波画像が対象物の計測に適しているか否かの基準となるしきい値Ｓthは、ユーザが調整できるようにすることが好ましい。例えば、低精度の練習時には８０％、初心者の練習／救急時には９０％、診断時の推奨レベルとして９５％、精度の高い確定診断時には９９％に設定するといった如くである。

ナビゲート表示系は、超音波プローブ１を動かするユーザ（計測者）に対して、有用な各種情報を提示する。ナビゲート表示系は、生体ナビゲート画像生成部２ｆと、動作ナビゲート画像生成部２ｇと、位置センサ２ｈと、ナビゲート表示装置２ｉとを有する。

生体ナビゲート画像生成部２ｆは、生体ナビゲート画像を生成する。この生体ナビゲート画像は、学習モデル２ｂによって識別された生体部位に関する超音波画像上の位置を示すインジケータを含み、このインジケータとしては、枠、矢印、図、記号、文字などが用いられる。生体ナビゲート画像は、入力部２ａによって取得された超音波画像の時系列的な推移に応じて、リアルタイムかつフレーム単位で生成される。

動作ナビゲート画像生成部２ｇは、動作ナビゲート画像を生成する。この動作ナビゲート画像は、超音波プローブ１の現在の位置（角度を含んでいてもよい。）を基準とした超音波プローブ１の動かし方をナビゲートする。超音波プローブ１の位置情報（角度情報を含んでいてもよい。）は、例えば、超音波プローブ１に搭載された加速度センサ、ＧＰＳ（Global Positioning System）、ジャイロなどの位置センサによって検知することができる。また、被検体を撮像するカメラを設置し、カメラによって撮像された被検体上における超音波プローブ１の位置に基づいて、超音波プローブ１の位置を特定してもよい。さらに、超音波画像に描出された「紋」と呼ばれる特徴的な生体部位の位置的関係に基づいて、超音波画像の描写状態から超音波プローブ１の位置を推定してもよい。動作ナビゲート画像は、入力部２ａによって取得された超音波画像の時系列的な推移に応じて、リアルタイムかつフレーム単位で生成される。

ナビゲート表示装置２ｉは、ナビゲート表示画面２ｊと、画面制御部２ｋとを有する。ナビゲート表示画面２ｊは、画面上の異なる位置に配置された複数の表示領域を有する。画面制御部２ｋは、超音波プローブ１によって取得された超音波画像の時系列的な推移に応じて、ナビゲート表示画面２ｊを制御する。

図４は、一例としてのナビゲート表示画面２ｊの説明図である。このナビゲート表示画面２ｊは、画像表示領域Ａと、スコア表示領域Ｂとを有する。画像表示領域Ａには、超音波プローブ１によって取得された超音波画像が表示対象として表示される。また、この画像表示領域Ａには、この表示対象に関して、生体ナビゲート画像生成部２ｆによって生成された生体ナビゲート画像が、超音波画像に重ね合わせて表示される。ただし、同図の場合、学習モデル２ｂにおいて、いずれの生体部位も未だ識別されていないので、生体部位を指し示すインジケータは存在しない。一方、スコア表示領域Ｂには、表示対象に関する個別スコアｓ１〜ｓ３と、総合スコアＳとが数値およびゲージで表示される。これらの数値やゲージは、スコアに応じて色を可変にしてもよい。同図のナビゲート表示画面２ｊを視認したユーザ（計測者）は、個別スコアｓ１〜ｓ３および総合スコアＳのいずれもが低く、現状の超音波画像が対象物の計測に適していないことを容易に理解する。

画面制御部２ｋは、超音波プローブ１によって取得された超音波画像の時系列的な推移に応じて、ナビゲート表示画面２ｊを制御する。具体的には、超音波プローブ１によって現状の超音波画像（現フレーム）よりも後の超音波画像（次フレーム）が取得された場合、画像表示領域Ａに表示されている現フレームの超音波画像は、次フレームの超音波画像に更新される。また、超音波画像に重ね合わせられる生体ナビゲート画像についても、現フレームのものから次フレームのものに更新される。さらに、スコア表示領域Ｂに表示されている現フレームのスコアｓ１〜ｓ３，Ｓは、次フレームのそれらに更新される。ユーザは、現在のスコアｓ１〜ｓ３，Ｓを確認しながら、これらが高くなるように、超音波プローブ１を動かしていく。

このようなユーザの操作を通じて、図５に示すように、ターゲットとなる対象物（胎児の頭部）が徐々に捕捉されていき、スコアｓ１〜ｓ３，Ｓが高まっていく。適度に対象物が捕捉された時点で、ナビゲート表示画面２ｊに動作ナビゲート表示領域Ｃが表示される。この動作ナビゲート表示領域Ｃには、表示対象に関して、動作ナビゲート画像生成部２ｇによって生成された動作ナビゲート画像が表示される。

画面制御部２ｋは、超音波プローブ１によって取得された超音波画像の時系列的な推移に応じて、ナビゲート表示画面２ｊ上の動作ナビゲート画像を制御する。具体的には、超音波プローブ１によって現状の超音波画像（現フレーム）よりも後の超音波画像（次フレーム）が取得された場合、動作ナビゲート表示領域Ｃに表示されている現フレームの動作ナビゲート画像が、次フレームのそれに更新される。ユーザは、表示された動作ナビゲート画像を確認しながら、超音波プローブ１を指示された方向に動かしていく。

やがて、図６に示すように、総合スコアＳがしきい値Ｓth以上になった時点で、現フレームの超音波画像が対象物の計測に適していると評価される。この場合、以後のフレームの処理は最早不要なので、画像評価部２ｄにおける評価を終了する。

現フレームの超音波画像が対象物の計測に適していると評価された場合、対象物計測部２ｅは、現フレームの超音波画像を用いた対象物の計測を開始する。具体的には、現フレームの超音波画像に描出されている胎児の頭部に計測線が引かれて、児頭大横径（ＢＰＤ）が自動で計測される。対象物計測部２ｅの計測結果、すなわち、対象物の計測に用いられた超音波画像、計測線、および、児頭大横径（ＢＰＤ）は、計測結果格納部２ｍに格納され、事後的な確認や分析などの用途に供される。

また、対象物計測部２ｅは、この計測結果に基づいて、図７に示すようなＢＰＤ値の妊娠週数に対する回帰曲線や、図８に示すような胎児体重の妊娠週数に対する回帰曲線を参照して、推定体重や週数などの数値を自動で計算してもよい。その場合、過去の同一患者データと合わせて基準値のデータ上にプロットしてもよいし、基準値に基づいて異常の可能性があればメッセージを表示してもよい。また、同一人物に関する他の生体データや一般的な統計データと組み合わせて疾病予測や妊婦への提言を表示してもよい。また、データをクラウドで共有することで、例えば、途上国の巡回医療先で取得した異常値を即座に大きな病院にアラートすることで、計測現場外での検証が可能になる。

このように、本実施形態によれば、超音波プローブ１によって取得された超音波画像と、この超音波画像に関する生体部位毎の個別スコアｓ１〜ｓ３と、この超音波画像に関する総合スコアＳとをリアルタイムで表示する。これにより、対象物の計測に適した超音波画像が得られるようにユーザをナビゲートできるので、誰でも簡単に超音波計測を行うことができ、超音波計測の利用促進を図ることができる。

また、本実施形態によれば、画像評価部２ｄの評価結果に応じて、対象物の計測を自動で行うことで、ユーザの利便性を一層高めることができる。

また、本実施形態によれば、超音波画像が対象物の計測に適しているか否かの基準となるしきい値Ｓ、すなわち、計測精度をユーザが調整可能にすることで、ユーザのレベルに適した水準で自動計測を行うことができる。

さらに、本実施形態によれば、生体ナビゲート画像や動作ナビゲート画像をリアルタイムで表示することで、よりユーザフレンドリなナビゲートを実現できる。

なお、上述した実施形態では、被検体内の対象物として胎児の頭部（ＢＰＤ）を例に説明したが、胎児の頭殿長（ＣＲＬ）、すなわち、頭から臀部までの長さについても同様に適用できる。この場合、胎児を特徴付ける生体部位の組み合わせとして、頭部、臀部、心臓などに着目すればよい。また、超音波計測の対象物は、胎児以外であってもよい。例えば、肝臓を対象とする場合、肝臓を特徴付ける生体部位の組み合わせとして、クイノーの肝区域分類、尾状葉区域、後外側区域（外側上区域）、前外側区域（外側下区域）、内側上下区域（方形葉）、前下区域、後下区域、後上区域、前上区域などに着目すればよい。また、腎臓を対象とする場合、腎臓を特徴付ける生体部位の組み合わせとして、腎動脈、腎静脈、尿管、腎洞などに着目すればよい。さらに、心臓を対象とする場合、心臓を特徴付ける生体部位の組み合わせとして、右心室、左心室、大動脈、肺動脈などに着目すればよい。このように、本発明は、識別可能な生体部位によって特徴付けられる対象物である限り、様々な対象物に対しても広く適用可能である。

さらに、上述した実施形態では、１つの対象物に関する１つの断面を走査する例について説明したが、本発明はこれに限定されるものではなく、複数の対象物を走査する場合や、特定の対象物に関する複数の異なる断面を走査する場合などにも適用できる。一般に、超音波エコーの基本走査手順には、目的の臓器から進める手順と、系統立てて進める手順とが存在する。例えば、日本超音波検査学会が提唱する消化器、循環器、表在臓器、泌尿器、産婦人科の標準化された走査法が知られている。また、FAST（focused assessment with sonography for trauma）、FATE(Focus Assessed Transthoracic Echocardiography)、RUSH(Rapid Ultrasound for Shock and Hypotension) Examinationなど、日本超音波検査学会が提唱するもの以外の標準的走査法を知られている。

具体的には、一連の走査手順において、複数の対象物を走査する場合、学習モデル２ｂを対象物毎に用意し、走査の進捗に応じて学習モデル２ｂが切り替えられる。例えば、第１の対象物および第２の対象物を連続走査する場合、まず、第１の学習モデルを用いた第１の対象物のナビゲートが開始される。第１の学習モデルは、第１の対象物を特徴付ける生体部位を識別するように構築されている。そして、第１の対象物に関する超音波画像が取得された時点で、第２の学習モデルを用いた第２の対象物のナビゲートが開始される。第２の学習モデルは、第２の対象物を特徴付ける生体部位（第１の対象物とは生体部位が異なる。）を識別するように構築されている。

また、一連の走査手順において、特定の対象物に関する複数の異なる断面を走査する場合、学習モデル２ｂを断面毎に用意し、走査の進捗に応じて学習モデル２ｂが切り替えられる。例えば、特定の対象物に関する第１の断面および第２の断面を連続走査する場合、まず、第１の学習モデルを用いた第１の断面のナビゲートが開始される。第１の学習モデルは、第１の断面に描出される対象物を特徴付ける生体部位を識別するように構築されている。そして、第１の断面に関する超音波画像が取得された時点で、第２の学習モデルを用いた第２の断面のナビゲートが開始される。第２の学習モデルは、第２の断面に描出される対象物を特徴付ける生体部位（第１の断面とは生体部位の組み合わせが異なる。）を識別するように構築されている。

１超音波プローブ
２ナビゲートシステム（コンピュータ）
２ａ入力部
２ｂ学習モデル
２ｃ学習処理部
２ｄ画像評価部
２ｅ対象物計測部
２ｆ生体ナビゲート画像生成部
２ｇ動作ナビゲート画像生成部
２ｈ位置センサ
２ｉナビゲート表示装置
２ｊナビゲート表示画面
２ｋ画面制御部
２ｍ計測結果格納部

Claims

超音波プローブ用ナビゲートシステムにおいて、
超音波プローブによって時系列的に取得された被検体の超音波画像をリアルタイムで受け付ける入力部と、
前記入力部によって受け付けられた超音波画像に基づいて、被検体内における所定の対象物を特徴付けるものとして予め定められた複数種の生体部位を識別して、識別された生体部位の適正度を示す個別スコアを生体部位毎にリアルタイムで出力する学習モデルと、
前記学習モデルより出力された生体部位毎の個別スコアに基づき算出された総合スコアを所定のしきい値と比較することによって、前記超音波画像が前記対象物の計測に適しているか否かをリアルタイムで評価する画像評価部と、
前記入力部によって受け付けられた超音波画像と、当該超音波画像に関する生体部位毎の個別スコアと、当該超音波画像に関する総合スコアとを随時更新しながらリアルタイムで表示するナビゲート表示部と
を有することを特徴とする超音波プローブ用ナビゲートシステム。
前記学習モデルは、ニューラルネットワークを有し、
前記対象物の超音波画像と、当該超音波画像に描出された前記生体部位の分類情報とを有する教師データを用いた教師あり学習によって、前記ニューラルネットワークの内部パラメータを調整する学習処理部をさらに有することを特徴とする請求項１に記載された超音波プローブ用ナビゲートシステム。
前記画像評価部によって前記対象物の計測に適していると評価された超音波画像を用いて、前記対象物の計測を自動で行う対象物計測部をさらに有することを特徴とする請求項１に記載された超音波プローブ用ナビゲートシステム。
前記しきい値は、ユーザによって調整可能であることを特徴とする請求項１に記載された超音波プローブ用ナビゲートシステム。
前記ナビゲート表示部は、前記学習モデルによって識別された生体部位のそれぞれの位置を示す生体ナビゲート画像を、前記超音波画像に重ねた上で、リアルタイムで表示することを特徴とする請求項１に記載された超音波プローブ用ナビゲートシステム。
前記ナビゲート表示部は、前記超音波プローブの現在の位置を基準とした前記超音波プローブの動かし方をナビゲートする動作ナビゲート画像をリアルタイムで表示することを特徴とする請求項１または５に記載された超音波プローブ用ナビゲートシステム。
前記画像評価部によって、前記超音波画像が前記対象物の計測に適していると評価された場合、前記画像評価部における評価を終了することを特徴とする請求項１に記載された超音波プローブ用ナビゲートシステム。
超音波プローブによって時系列的に取得された被検体の超音波画像をリアルタイムで表示する超音波プローブ用ナビゲート表示装置において、
画像表示領域と、スコア表示領域とを有するナビゲート表示画面と、
前記超音波プローブによって取得された超音波画像の時系列的な推移に応じて、前記ナビゲート表示画面を制御する画面制御部とを有し、
前記画面制御部は、
前記超音波プローブによって第１の超音波画像が取得された場合、前記画像表示領域において、前記第１の超音波画像を表示させ、前記スコア表示領域において、検体体内における所定の対象物を特徴付けるものとして予め定められており、かつ、前記第１の超音波画像の解析によって識別された複数種の生体部位のそれぞれの適正度を示す複数の第１の個別スコアと、前記複数の第１の個別スコアに基づき算出された第１の総合スコアとを表示させ、
前記超音波プローブによって前記第１の超音波画像よりも後の第２の超音波画像が取得された場合、前記画像表示領域に表示された前記第１の超音波画像を、前記第２の超音波画像に更新し、前記スコア表示領域に表示された前記複数の第１の個別スコアを、前記第２の超音波画像の解析によって識別された複数種の生体部位のそれぞれの適正度を示す複数の第２の個別スコアに更新し、前記スコア表示領域に表示された前記第１の総合スコアを、前記複数の第２の個別スコアに基づき算出された第２の総合スコアに更新することを特徴とする超音波プローブ用ナビゲート表示装置。
前記画面制御部は、
前記画像表示領域に表示された前記第１の超音波画像に、前記第１の超音波画像の解析によって識別された複数種の生体部位のそれぞれの位置を示す第１の生体ナビゲート画像を重ね合わせて表示させ、
前記画像表示領域に重ね合わせて表示された前記第１の生体ナビゲート画像を、前記第２の超音波画像の解析によって識別された複数種の生体部位のそれぞれの位置を示す第２の生体ナビゲート画像に更新することを特徴とする請求項８に記載された超音波プローブ用ナビゲート表示装置。
前記ナビゲート表示画面は、動作ナビゲート表示領域をさらに有し、
前記画面制御部は、
前記超音波プローブによって前記第１の超音波画像が取得された場合、前記動作ナビゲート表示領域において、前記第１の超音波画像が取得された時点における前記超音波プローブの位置を基準とした前記超音波プローブの動かし方をナビゲートする第１の動作ナビゲート画像を表示させ、
前記超音波プローブによって前記第２の超音波画像が取得された場合、前記動作ナビゲート表示領域に表示された前記第１の動作ナビゲート画像を、前記第２の超音波画像が取得された時点における前記超音波プローブの位置を基準とした前記超音波プローブの動かし方をナビゲートする前記第１の動作ナビゲート画像とは異なる第２の動作ナビゲート画像に更新することを特徴とする請求項８または９に記載された超音波プローブ用ナビゲート表示装置。