JP2020536666A - インテリジェントな超音波に基づく受胎能監視 - Google Patents

Abstract

本開示は、前処理された超音波画像フレームにニューラルネットワークを適用することにより卵胞を識別するよう構成される超音波画像システム及び方法を記載する。システムは、目標領域へ向けて送信された超音波パルスに応答するエコー信号を取得するよう構成される超音波トランスデューサを含んでよい。超音波トランスデューサに通信可能に結合される１つ以上のプロセッサは、超音波エコーから少なくとも１つの画像を生成するよう構成されてよい。目標領域内に存在する卵胞を表すピクセルを他の内容から区別する閾値が画像に適用されてよい。プロセッサは、ニューラルネットワークを閾値処理された画像フレームに適用してよい。ここで、ニューラルネットワークは、閾値処理された画像フレーム内の卵胞の存在を決定する。プロセッサは、卵胞の存在に基づき指示子を生成し、指示子をユーザインタフェース上に表示してよい。

Description

［関連出願］
本願は、参照により全体が組み込まれる米国仮出願番号第６２／５７０，９５１号、２０１７年１０月１１日出願の利益及び優先権を主張する。
［技術分野］
本開示は、ニューラルネットワークを用いて超音波画像内の特徴を識別する超音波システム及び方法に関する。特定の実装は、画像を前処理し及びそれらをトレーニングされたニューラルネットワークに入力することにより、超音波画像内の卵胞を識別するよう構成されるシステムを含む。

不妊は、夫婦の人生における特定の時点で８％〜１２％の夫婦に影響を与えると推定される世界的な問題である。不妊の原因は、広範囲に及び、多嚢胞性卵巣症候群（polycystic ovarian syndrome：ＰＣＯＳ）、卵巣予備能の低下、卵管の要因、甲状腺機能低下症、及び様々な男性側の条件、のような条件を含む。子を産むために、不妊患者は、平均的に３回の子宮内人工授精（intra-uterine-insemination：ＩＵＩ）治療周期、及び役１．６回の体外受精（in vitro fertilization：ＩＶＦ）治療周期を経験し得る。各周期は不妊クリニックへの約４〜５回の通院を必要とする。各通院の間に、受胎能状態を監視するために、最も多くは、排卵の間に成熟卵の放出される液体で満たされた嚢である卵胞を探して卵巣の経膣超音波スキャンにより、超音波撮像が実行され得る。卵胞の超音波スキャンは、排卵誘発の間中、特に卵胞期の間に、例えば誘発の最初の２週間、連続的に実行される。時間に渡り卵胞の数及びサイズ、発育状態に従い後に卵胞を分類するため及び必要に応じて患者固有の治療計画を採用するために使用される情報を監視するために、多くの場合、繰り返しスキャンが実施される。通常、このような監視は、卵胞のうちの少なくとも幾つかが直径約１７〜１８ｍｍに達するまで、定期的に実行され得る。

卵胞の発育を監視することは、したがって、頻繁な通院を必要とする反復的過程である。このような通院は、特に最寄りの不妊クリニックから遠距離に位置する地方の患者にとっては、時間がかかり、高価である。卵胞スキャンを実行するために訓練された超音波専門家の広範囲に及ぶ不足は、人工生殖技術を使用する患者のアクセスの障壁を高くするだけである。クリニックで費やされる時間、及び関連する移動及び医療コストを削減するために、遠隔で実施される受胎能監視及び管理システムが望ましいことがある。

本開示は、受胎能を監視するシステム及び方法を記載する。幾つかの例では、監視は、クリニックの場所から離れて、例えばユーザの家で、実行されてよい。ここに記載する方法は、超音波画像技術において訓練されていない初心者により実施されてよい。開示のシステムは、卵胞を目立たせるために、先ず超音波画像データを前処理することにより、卵胞検出の精度及び効率を向上するよう構成される。前処理は、卵胞を表すピクセルを他の特徴と区別するために、画像フレームを閾値処理することを含んでよい。閾値より下及び／又は上にあるピクセルの色又は明るさは、卵胞の外観を強調するために反転され、それによりそれらを他の背景特徴から区別する。前処理の後に、開示の超音波画像システムは、前処理の間に強調表示された卵胞のような、受胎能状態指示子を識別するよう機械トレーニングされたニューラルネットワークを実施するよう構成されてよい。画像データを前処理することは、卵胞を積極的に識別するニューラルネットワークの能力を向上し、更に、ニューラルネットワークの必要な処理を削減する。それにより、システムがリアルタイムに遠隔ポイントオブケア装置上で実施されることを可能にする。ここに記載のシステムに従い受胎状態を監視し及び管理するために、様々な特徴が識別され得るが、卵胞は一貫性のために記載される。ニューラルネットワークによる卵胞識別の後に、卵胞の存在を伝達する指示子が、超音波スキャンの間に収集された生超音波画像を表示するユーザインタフェースを介してユーザに提示されてよい。超音波スキャンを通じてユーザを誘導する指示もせいせいされ、ユーザインタフェースにより表示され又は発せられてよい。このような指示は、訓練された専門家による確認又は監督を有しなくても、卵胞を含む良質な超音波画像がスキャン中にキャプチャされることを保証するために、超音波画像システムの操作においてユーザを支援してよい。卵胞を含む画像は、追加分析のために専門家へ送信されてよい。

幾つかの例によると、超音波画像システムは、目標領域へ向けて送信された超音波パルスに応答するエコー信号を取得するよう構成される超音波トランスデューサを含んでよい。システムは、超音波トランスデューサと通信する１つ以上のプロセッサも含んでよい。前記プロセッサは、前記超音波エコーから少なくとも１つの画像フレームを生成し、前記目標領域内に存在する卵胞を表すピクセルを前記目標領域内の他の内容と区別する閾値を前記画像フレームに適用し、前記の閾値処理された画像フレームにニューラルネットワークを適用し、前記ニューラルネットワークは、前記閾値処理された画像フレーム内の前記卵胞の存在を決定し、前記卵胞の前記の決定した存在に基づき，指示子を生成し、前記指示子を前記プロセッサと通信するユーザインタフェース上に表示する、よう構成されてよい。

幾つかの例では、前記プロセッサは、前記閾値処理された画像フレームから超音波画像を生成し、前記ユーザインタフェース上に表示するよう更に構成されてよい。幾つかの実施形態では、前記プロセッサは、前記閾値処理された画像フレーム内の前記卵胞の外観を強調するよう更に構成されてよい。幾つかの例では、前記閾値はオツの閾値であってよく、前記卵胞の前記外観は、前記オツの閾値より下及び上のピクセルの色を反転することにより強調されてよい。幾つかの実施形態では、前記ユーザインタフェースは、前記指示子に応答して超音波スキャンを通じてユーザを誘導するよう構成されてよい。幾つかの実施形態では、前記ユーザインタフェースは、前記スキャン中に前記ユーザに指示を提供することにより、前記超音波スキャンを通じてユーザを誘導するよう構成されてよい。指示は、少なくとも１つの感覚的合図を含んでよい。幾つかの例では、前記ユーザインタフェースは、前記閾値処理された画像フレームから超音波画像を生成し、前記超音波画像をリモート受信機へ送信するよう構成されてよい。

幾つかの実施形態では、ニューラルネットワークは、深層ニューラルネットワーク（ＤＮＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）であってよい。幾つかの例では、前記ニューラルネットワークは、１つ以上の畳み込み層と１つ以上の完全結合層とを含んでよい。幾つかの実施形態では、ニューラルネットワークは、トレーニング入力及び既知の出力のアレイを受信するよう構成されるトレーニングアルゴリズムに動作可能に関連付けられてよい。トレーニング入力は、卵巣超音波画像フレームを含んでよく、既知の出力は、卵胞を含む卵巣超音波画像フレームを含んでよい。幾つかの例では、前記ニューラルネットワークは、少なくとも部分的に、実行可能命令を含むコンピュータ可読媒体内に実装され、前記実行可能命令は、前記超音波トランスデューサに結合される前記プロセッサにより実行されると、前記プロセッサに、前記取得されたエコー信号に基づき前記指示子を生成するために機械トレーニングアルゴリズムを実行させる。

本開示による方法は、超音波システムに動作可能に結合されたトランスデューサにより、目標領域に送信された超音波パルスに応答するエコー信号を取得するステップと、前記超音波エコーから少なくとも１つの画像フレームを生成するステップと、前記目標領域内に存在する卵胞を表すピクセルを前記目標領域内の他の内容と区別する閾値を前記画像フレームに適用するステップと、前記の閾値処理された画像フレームにニューラルネットワークを適用するステップであって、前記ニューラルネットワークは、前記閾値処理された画像フレーム内の前記卵胞の存在を決定する、ステップと、前記卵胞の前記の決定した存在に基づき，指示子を生成するステップと、前記指示子をユーザインタフェース上に表示するステップと、を含んでよい。

幾つかの例では、前記方法は、前記閾値処理された画像フレームから超音波画像を生成し、前記ユーザインタフェース上に表示するよう更に構成されてよい。幾つかの実施形態では、前記閾値より上及び下に含まれるピクセルの色を反転するステップを更に含んでよい。幾つかの例では、前記方法は、前記卵胞の前記存在又は不存在に応答してユーザ指示を提供するステップを更に含んでよい。前記ユーザ指示は、卵巣の超音波スキャンを実行するための誘導を含んでよい。

幾つかの実施形態では、ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）であってよい。幾つかの例では、卵巣を含む超音波画像フレームを用いて前記ニューラルネットワークをトレーニングするステップを更に含んでよい。幾つかの実施形態では、前記方法は、前記閾値処理された画像フレームから超音波画像を生成し、前記超音波画像を医師に送信するステップであって、前記医師は遠隔地に位置する、ステップを更に含んでよい。幾つかの例では、前記指示子は、前記トランスデューサの動きに応答して、リアルタイムに更新されてよい。

ここに記載の方法、又はそのステップのうちのいずれかは、実行可能命令を含む非一時的コンピュータ可読記憶媒体内に具現化されてよい。該実行可能命令は、医療画像システムのプロセッサに、ここに記載の方法又はステップを実行させてよい。

本発明の原理に従う超音波システムのブロック図である。

本発明の原理に従う別の超音波システムのブロック図である。

本発明の原理に従う超音波画像内の卵胞を識別するようトレーニングされた畳み込みニューラルネットワークのブロック図である。

実行中の超音波スキャンの写真、及び本発明の原理に従い生成された対応する超音波画像である。

実行中の超音波スキャンの別の写真、及び本発明の原理に従い生成された対応する超音波画像である。

本発明の原理に従いユーザインタフェース上に表示された超音波画像の写真及び卵胞指示子である。

本発明の原理に従い前処理されていない卵胞の超音波画像の写真である。

本発明の原理に従い前処理された卵胞の超音波画像の写真である。

本発明の原理に従い実行された超音波画像化方法のフロー図である。

特定の実施形態の以下の説明は、本質的に単なる説明であり、本発明又はその用途若しくは使用を限定することを意図しない。以下の本発明のシステム及び方法の実施形態の詳細な説明は、添付の図面を参照する。該図面は、本願の一部を形成し、記載のシステム及び方法が実施され得る例である特定の実施形態を示す。これらの実施形態は、登頂者がここに開示のシステム及び方法を実施可能なように十分に詳細に記載される。他の実施形態が利用されてよいこと、構造及び論理的変更が本発明のシステムの精神及び範囲から逸脱することなく行われ得ることが理解されるべきである。更に、明確化の目的で、特定の特徴の詳細な説明は、本発明のシステムの説明を不明瞭にしないために、それらが当業者に明らかであるとき、議論されない。以下の詳細な説明は、したがって、限定的意味であると考えられず、本発明のシステムの範囲は、添付の請求項によってのみ定められる。

本開示による超音波システムは、超音波撮像により検出される様々な特徴、例えば卵胞を識別するために、ニューラルネットワーク、例えば深層ニューラルネットワーク（deep neural network：ＤＮＮ）、畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）等を利用してよい。幾つかの例では、超音波画像フレームの形式の入力データを分析し及び１つ以上の卵胞の存在又は不存在を含む特定の特徴を識別できるニューラルネットワーク（例えば、機械トレーニングされたアルゴリズム、又はハードウェアに基づくノードのシステム）を得るために、ニューラルネットワークは、種々の現在知られている又は将来開発される機械学習技術のうちのいかなるものを用いてトレーニングされてよい。ニューラルネットワークは、専用コンピュータコードに依存するのではなくデータセットサンプルを分析することにより、データセット特徴を認識するために一般化されトレーニングされ得る伝統的な形式のコンピュータプログラミングアルゴリズムに勝る利点を提供する。適切な入力及び出力データをニューラルネットワークトレーニングアルゴリズムに提示することにより、本開示による超音波システムのニューラルネットワークは、卵胞を識別し、卵胞識別に基づく卵巣の超音波スキャンを通じてユーザを誘導するよう、トレーニングできる。

本発明の原理に従う超音波システムは、媒体、例えば人体若しくはその特定部分に向けて超音波パルスを送信し及び超音波パルスに応答してエコー信号を生成するよう構成される超音波トランスデューサを含み又はそれに動作可能に結合されてよい。超音波システムは、送信及び／又は受信ビーム形成を実行するよう構成されるビームフォーマと、幾つかの例では超音波画像システムにより生成される超音波画像を表示するよう構成されるディスプレイと、を含んでよい。超音波画像システムは、１つ以上のプロセッサと、ニューラルネットワークと、を含んでよい。ニューラルネットワークは、ハードウェア及び／又はソフトウェアコンポーネントで実装されてよく、卵胞のような１つ以上の身体特徴を識別し、及びその存在及び／又は不存在の指示を出力するよう機械トレーニングされ得る。

本開示に従うニューラルネットワークは、ハードウェア（例えば、ニューロンが物理コンポーネントにより表される）又はソフトウェア（例えば、ニューロン及び経路がソフトウェアアプリケーションに実装される）に基づいてよく、所望の出力を生成するようニューラルネットワークをトレーニングするために種々のトポロジ及び学習アルゴリズムを使用できる。例えば、ソフトウェアに基づくニューラルネットワークは、命令を実行するよう構成されるプロセッサ（例えば、単一若しくはマルチコアＣＰＵ、単一のＧＰＵ、又はＧＰＵクラスタ、又は並列処理のために構成された複数のプロセッサ）を用いて実装されてよい。該命令は、コンピュータ可読媒体に格納されてよく、実行されると、プロセッサに、超音波画像内の卵胞を識別する機械トレーニングされたアルゴリズムを実行させ、幾つかの例では卵胞の存在又は不存在の指示を出力させる。超音波システムは、注釈、組織情報、患者情報、指示子、及び他のグラフィカルコンポーネントを含み得る超音波画像及び／又は追加グラフィック情報をディスプレイウインドウ内に超音波システムのユーザインタフェース上に表示するために構成するよう動作可能なディスプレイまたはグラフィックプロセッサを含んでよい。幾つかの実施形態では、卵胞の存在又は不存在に関する情報を含む超音波画像及び組織情報は、報告目的で又は将来の機械トレーニングのために（例えば、ニューラルネットワークの性能を向上し続けるために）画像保管通信システム（picture archiving and communication system：ＰＡＣＳ）のような記憶及び／又はメモリ装置に提供されてよい。幾つかの例では、スキャン中に取得された超音波画像は、超音波システムを操作するユーザに表示されなくてよいが、例えば通信ネットワークを介して、画像内に埋め込まれた情報を解釈するために訓練された専門家、例えば生殖専門家、超音波専門家、医師、又は他の医師に選択的又は自動的に送信されてよい。それにより、ユーザが、通院することなく受胎能監視、管理、及び／又は診断に必要な超音波スキャンを実行することを可能にする。超音波画像システムを操作するユーザ及び専門家は、超音波スキャンの間、離れた場所に位置してよい。その結果、超音波画像及び／又はそれから収集された情報の送信は、地理的距離を介して生じてよい。幾つかの例では、ユーザは家に位置し、一方で専門家はクリニックに位置する。ここの記載のシステム及び方法は、広範な条件により生じる不妊を監視するために実施されてよい。女性側の条件は、排卵障害、例えばＰＣＯＳ、及び卵巣予備能力の低下、卵管の要因、例えば卵管水腫及び骨盤内感染症、及びホルモンの要因、例えば甲状腺機能低下症及び高プロラクチン血症を含んでよい。不妊の男性側の原因も、ここの開示のシステムで検査可能であり得る。

図１は、本開示の原理に従う例示的な超音波システムを示す。超音波システム１００は、超音波データ取得ユニット１１０を含んでよい。超音波データ取得ユニット１１０は、超音波パルス１１４を被写体の領域１１６、例えば下腹部に送信し及び送信したパルスに応答して超音波エコー１１８を受信するよう構成される超音波センサアレイ１１２を含む超音波プローブを含んでよい。更に示されるように、超音波データ取得ユニット１１０は、ビームフォーマ１２０及び信号プロセッサ１２２を含んでよい。信号プロセッサ１２２は、アレイ１１２で受信した超音波エコー１１８から複数の個別超音波画像フレーム１２４を生成するよう構成されてよい。システムは、画像フレーム１２４を前処理し及びニューラルネットワーク１２８を実装するよう構成されるデータプロセッサ１２６、例えば計算モジュール又は回路も含んでよい。ニューラルネットワーク１２８は、信号プロセッサ１２２から直接に又はデータプロセッサ１２６を介して画像フレーム１２４を受信し、及び各フレーム内の少なくとも１つの卵胞の存在又は不存在を決定するよう構成されてよい。幾つかの例では、システム１００は、ニューラルネットワーク１２８及びユーザインタフェース１３２に結合されたディスプレイプロセッサ１３０を更に含む。幾つかの例では、ディスプレイプロセッサ１３０は、画像フレーム１２４から超音波画像１３４を生成し及び画像フレーム１２４の各々の中の卵胞の存在又は不存在を伝達する指示子１３６を生成するよう構成されてよい。ユーザインタフェース１３２は、超音波スキャンが実行されているときにリアルタイムに、指示子１３６と一緒に、領域１１６の超音波画像１３４を表示するよう構成されてよい。幾つかの実施形態では、ユーザインタフェース１３２は、超音波画像を表示しなくてよいが、指示子を表示してよい。その結果、ユーザは、検出された卵胞を見ることができなくてよいが、依然としてそれらの超音波検出を通知される。ユーザインタフェース１３２は、超音波スキャンの前、最中、又は後のいかなるときにも、ユーザ入力１３８を受信するよう構成されてよい。図１に示したシステム１００の構成は変化してよい。例えば、システム１００は、ポータブル又は固定的であり得る。種々のポータブル装置、例えばラップトップ、タブレット、スマートフォン、等が、システム１００の１つ以上の機能を実施するために使用されてよい。このような装置を組み込んだ例では、超音波センサアレイ１１２は、例えばＵＳＢインタフェースを介して接続可能であってよい。

超音波データ取得ユニット１１０は、１つ以上の卵巣を含み得る１つ以上の関心領域から超音波データを取得するよう構成されてよい。超音波センサアレイ１１２は、超音波エネルギを送信し及び受信するよう構成される少なくとも１つのトランスデューサアレイを含んでよい。種々のトランスデューサアレイ、例えば直線アレイ、凸状アレイ、又はフェイズドアレイが使用されてよい。センサアレイ１１２に含まれるトランスデューサ要素の数及び配置は、異なる例において変化してよい。例えば、超音波センサアレイ１１２は、直線アレイ及びマトリクスアレイプローブにそれぞれ対応するトランスデューサ要素の１Ｄ又は２Ｄアレイを含んでよい。２Ｄマトリクスアレイは、２Ｄ又は３Ｄ撮像のために（フェーズドアレイビーム形成により）仰角及び方位角次元の両方で電子的にスキャンするよう構成されてよい。

種々のユーザが、超音波データ取得ユニット１１０を扱い操作してよい。幾つかの例では、ユーザは、自己評価を実行する患者を含んでよい。種々の実施形態では、ユーザは、診療及び／又は超音波技術において訓練されていなくてよい。したがって、データ取得ユニット１１０は、初心者ユーザにより実施される自宅で監視するシステムの部分でよい。

図１に更に示すように、データ取得ユニット１１０は、例えばマイクロビームフォーマ又はマイクロビームフォーマとメインビームフォーマとの組み合わせを含む、超音波センサアレイ１１２に結合されるビームフォーマ１２０も含んでよい。ビームフォーマ１２０は、例えば超音波パルスを合焦（focused）ビームへと形成することにより超音波エネルギの送信を制御してよい。ビームフォーマ１２０は、超音波信号の受信を制御するよう更に構成されてよい。その結果、識別可能な画像データが生成され、他のシステムコンポーネントの支援により処理されてよい。ビームフォーマ１２０の役割は、異なる超音波プローブ種類において変化してよい。幾つかの実施形態では、ビームフォーマ１２０は、２つの個別ビームフォーマを含んでよい。つまり、被写体への送信のために超音波エネルギのパルスシーケンスを受信し及び処理するよう構成される送信ビームフォーマ、及び、受信した超音波エコー信号を増幅し、遅延し、及び／又は加算するよう構成される個別受信ビームフォーマである。幾つかの実施形態では、ビームフォーマ１２０は、送信及び受信ビーム形成の両方のためのセンサ要素グループ上で動作する、それぞれ送信及び受信ビーム形成の両方のためにグループ入力及び出力に対して作用するメインビームフォーマに結合されるマイクロビームフォーマを含んでよい。

信号プロセッサ１２２は、センサアレイ１１２及び／又はビームフォーマ１２０に通信可能に、動作可能に、及び／又は物理的に結合されてよい。図１に示す例では、信号プロセッサ１２２は、データ取得ユニット１１０の統合コンポーネントとして含まれるが、他の例では、信号プロセッサ１２２は別個のコンポーネントであってよい。信号プロセッサ１２２は、センサアレイ１１２で受信された超音波エコー１１８を具現化するフィルタリングされていない組織化されていない超音波データを受信するよう構成されてよい。このデータから、信号プロセッサ１２２は、ユーザが領域１１６をスキャンするにつれ、複数の超音波画像フレーム１２４を連続的に生成してよい。

データプロセッサ１２６は、信号プロセッサ１２２に通信可能に結合され、信号プロセッサ１２２により実行される１つ以上の動作に加えて又はそれに代わって、１つ以上の動作を実行してよい。例えば、データプロセッサ１２６及び／又は信号プロセッサ１２２は、画像フレーム１２４を前処理し、前処理した画像フレームをニューラルネットワーク１２８に送信し若しくは入力するよう構成されてよい。前処理は、ニューラルネットワークにおける入力の前に、目標特徴を識別する際のニューラルネットワーク１２８の感度を向上するために、目標特徴を増強し又は強調できる。データプロセッサ１２６により実行される特定の前処理ステップは、変化してよく、システム１００により対称とされる特定の特徴に依存してよい。例えば、卵胞識別を含む実施形態では、前処理は、所与の画像フレーム１２４内の非目標特徴及び背景強度に対して、卵胞の外観を強調するために実行されてよい。超音波画像では、卵胞は、形状がおよそ楕円形であり、周囲の特徴に比べて暗い場合がある。しかしながら、画像内の他の暗い特徴又は領域は、個々の卵胞の境界を不明瞭にし、ニューラルネットワーク１２８により処理されるとき卵胞を見逃し又は数え違え易くする。したがって、ニューラルネットワークの感度を向上し、ニューラルネットワークの必要な処理を削減するために、前処理は、超音波画像データの背景強度に対して、卵胞の画像強度特性を強調することを含んでよい。前処理の例示的な方法は、各超音波画像フレームを含むピクセルの強度を決定し、ピクセルに輝度閾値を適用することを含んでよい。幾つかの実施形態では、輝度閾値は、画像フレームをピクセルの２値集合（binary collection）に削減するオツ（Otsu）の閾値であってよい。オツの閾値より上にある全てのピクセルは、値、例えばゼロを割り当てられ、一方で、残りのピクセル値は反転されてよい。結果として、暗い卵胞領域は、閾値処理された後に、より明るくなり、例えば白に近くなり、逆も同様である。それにより、卵胞と周囲の特徴との間のコントラストを先鋭化することにより、所与の画像フレーム内に存在するいかなる卵胞の視認性も向上する。前処理とニューラルネットワーク処理との結合を利用することは、ニューラルネットワークのみにより実行される卵胞識別に依存する実施形態と比べて、卵胞識別を最適化し又は少なくとも向上できる。特に、前処理は、卵胞を積極的に識別するニューラルネットワーク１２８の能力を向上し、ニューラルネットワークの必要な処理を有意に削減できる。その結果、卵胞識別処理全体が、病院の画像システムとは対照的に、ポイントオブケア装置によりリアルタイムに実行できる。幾つかの例では、卵胞識別の感度は、前処理されていない超音波画像へのニューラルネットワークの直接適用により達成される約８５％の感度に比べて、前処理画像にニューラルネットワークを適用した後に約９１％になり得る。

種々の実施形態では、ニューラルネットワーク１２８は、信号プロセッサ１２２及び／又はデータプロセッサ１２６内に実装されてよく又は少なくとも通信してよい。ニューラルネットワーク１２８は、超音波画像フレーム１２４を信号プロセッサ１２２から直接に又はデータプロセッサ１２６、信号プロセッサ、若しくは両方により実行された前処理の後に受信し及び入力し、画像フレーム１２４の各々の中に１つ以上の卵胞が存在するか否かを決定するよう構成されてよい。上述のように、ニューラルネットワーク１２８に入力する前に画像フレーム１２４を前処理することは、ニューラルネットワークの効率及び精度を向上できる。幾つかの例では、ニューラルネットワーク１２８は、超音波画像内の卵胞を認識するよう集合的にトレーニングされる種々の組織化されたニューラル層及び下位層を含む畳み込みニューラルネットワーク（ＣＮＮ）であってよい。ニューラルネットワーク１２８は、各々の受信した画像フレーム１２４の中の卵胞の存在又は不存在を自動的に検出してよく、２又は３次元超音波画像システムにより実装されてよい。

幾つかの例では、システム１００は、１つ以上の画像フレーム内で識別された卵胞の数を計数するよう更に構成されてよい。卵胞計数は、種々のシステムコンポーネント、例えば１つ以上のプロセッサ、例えばデータプロセッサ１２６、及びニューラルネットワーク１２８を用いて実行されてよい。ニューラルネットワーク１２８は、種々の技術に従い、例えば、参照によりここに全体が組み込まれる「Learning to count with deep object features」（Segui et al.）に記載された教師あり学習概念により、卵胞を計数するよう構成されてよい。Ｓｅｇｕｉにより記載された技術は、第１処理段階で卵胞に関する判別可能な譲歩をキャプチャすること、及び続いて完全結合処理段階で、卵胞の数を計数すること、を含む。追加又は代替として、ニューラルネットワーク１２８は、参照により全体がここに組み込まれる「Count-ception: Counting by Fully Convolutional Redundant Counting」（Cohen et al.）に記載された技術に従い、卵胞を計数するよう構成されてよい。Ｃｏｈｅｎにより開示された方法は、Ｓｅｇｕｉにより記載された概念をオブジェクト密度マッピングと融合する重複する卵胞を計数する技術を含む。幾つかの実装では、例えば参照により全体がここに組み込まれる欧州特許出願番号第１７３０５１８８．９号、２０１７年２月１７日出願に記載のように、１つ以上のプロセッサは、ニューラルネットワーク１２８からの、少なくとも１つの卵胞を含むより多数の選択された画像フレームに対して画像セグメント化計数技術を実行することにより、卵胞を計数するよう構成されてよい。このような画像セグメント化技術は、各卵胞の平均直径を決定するために、２Ｄ超音波画像フレーム内で検出された卵胞の自動セグメント化を含む。種々の実施形態では、１つ以上の追加又は代替の卵胞計数技術が利用されてよい。その結果は、ユーザ又は遠隔に位置する医師に表示され又は伝達されてよい。

ニューラルネットワーク１２８と通信可能に結合されたディスプレイプロセッサ１３０は、ニューラルネットワーク１２８により行われた決定に基づき、指示子１３６を生成するよう構成されてよい。例えば、指示子１３６は、少なくとも１つの卵胞の存在又は不存在を示してよい。超音波画像１３４及び／又は指示子１３６を受信すると、ユーザインタフェース１３２は、次に、画像及び／又は指示子を表示してよい。指示子１３６は、例えば、画像が取得されるにつれ、リアルタイムに、超音波画像１３４と同時に、例えばその上に重ねて又はその隣に表示されてよい。したがって、指示子１３６は、ユーザに１つ以上の卵胞の存在又は不存在を直ちに通知し得る。幾つかの例では、指示子１３６は、超音波プローブの振動又は超音波システム１００に結合されたスピーカから出される聴覚的合図のような視覚的に表示されない感覚的合図を含んでよい。指示子１３６は、点灯及び消灯する又は色の変わる光も含んでよい。例えば、卵胞の存在は、緑色光により示されてよく、一方で、卵胞の不存在は赤色光又は光の不存在により示されてよい。幾つかの実施形態では、指示子１３６は、超音波画像の同時表示を伴わずに、表示されてよい。指示子が卵胞の存在又は不存在をユーザに通知するならば、指示子１３６の特定の性質は重要ではない。

幾つかの例では、ユーザインタフェース１３２は、超音波スキャンを通じてユーザを誘導し又は支援するよう更に構成されてよい。このような誘導は、ニューラルネットワーク１２８及びディスプレイプロセッサ１３０により生成された指示子１３６に応答してよい。例えば、ユーザインタフェース１３２は、卵胞の存在を伝達する指示子１３６を受信することに応答して、ユーザに第１指示を提供してよく、卵胞の不存在を伝達する指示子１３６を受信することに応答して、第２の異なる指示をユーザに提供してよい。このような指示は、存在する場合には全ての卵胞がスキャン中に検出されることを保証する特定の方法で超音波スキャンを実行するよう、ユーザを促してよい。指示は、方向コマンド、例えば「超音波プローブを横方向に動かす」を含んでよい。指示は、技術に基づくコマンド、例えば「超音波プローブをもっとゆっくり動かす」、「スピードを落とす」、「止める」、又は「続ける」も含んでよい。幾つかの例では、指示は、卵胞が検出されたときに、超音波プローブを１つの位置に安定して保持するようユーザに命令してよい。したがって、卵胞の少なくとも１つの画像がキャプチャされることを保証する。指示は、卵胞が検出されたとき、超音波プローブの位置及び／又は方向を微調整するよう、更にユーザを促してよい。それにより、卵胞の画像鮮明度が、画像を吟味する専門家による後の分析のために十分になる可能性を向上する。指示は、例えば１つ以上の卵胞の識別に成功すると、スキャンが完了したことをユーザに通知してよい。

図２は、本発明の原理に従う別の超音波システム２００のブロック図である。図２に示す１つ以上のコンポーネントは、被写体の領域内の卵胞を識別し、卵胞の存在又は不存在の指示を提供し、このような卵胞を探す超音波スキャンと通じてシステムを操作するユーザを誘導し、及び／又は卵胞を含む１つ以上の超音波画像を専門家に送信するよう構成されるシステム内に含まれてよい。例えば、信号プロセッサ１２２のいかなる上述の機能も、例えば信号プロセッサ２２６、Ｂモードプロセッサ２２８、スキャンコンバータ２３０、多断面再構成部２３２、体積レンダラ２３４、及び／又は画像プロセッサ２３６を含む図２に示す処理コンポーネントのうちの１つ以上により実施され及び／又は制御されてよい。

図２の超音波画像システムでは、超音波プローブ２１２は、超音波を卵巣を含む領域に送信し及び送信した波に応答するエコー情報を受信するトランスデューサアレイ２１４を含む。種々の実施形態では、トランスデューサアレイ２１４は、マトリクスアレイ又は１次元直線アレイであってよい。トランスデューサアレイ２１４は、アレイ内のトランスデューサ要素による信号の送信及び受信を制御し得る、プローブ２１２内のマイクロビームフォーマ２１６に結合されてよい。図示の例では、マイクロビームフォーマ２１６は、プローブケーブルにより送信／受信（Ｔ／Ｒ）スイッチ２１８に結合される。Ｔ／Ｒスイッチ２１８は、送信と受信との間を切り替え、メインビームフォーマ２２２を高いエネルギ送信信号から保護する。幾つかの実施形態では、Ｔ／Ｒスイッチ２１８及びシステム内の他の要素は、別個の超音波システムコンポーネントではなく、トランスデューサプローブに含まれ得る。マイクロビームフォーマ２１６の制御下でのトランスデューサアレイ２１４からの超音波ビームの送信は、Ｔ／Ｒスイッチ２１８及びビームフォーマ２２２に結合された、例えばユーザインタフェース又は制御パネル２２４のユーザの操作からの入力を受信する送信制御部２２０により指示されてよい。送信制御部２２０により制御され得る機能は、ビームがステアリングされる方向である。ビームは、トランスデューサアレイから真っ直ぐ前方に（直交して）、又は広範なビューのために異なる角度で、ステアリングされてよい。マイクロビームフォーマ２１６により生成された特にビーム形成された信号は、メインビームフォーマ２２２に結合される。メインビームフォーマ２２２では、トランスデューサ要素の個々のパッチからの部分的にビーム形成された信号が、完全にビーム形成された信号へと結合される。

ビーム形成された信号は、信号プロセッサ２２６に通信されてよい。信号プロセッサ２２６は、受信したエコー信号を種々の方法で、例えば帯域通過フィルタリング、デシメーション、Ｉ及びＱ成分分離、及び／又は高調波信号分離で処理してよい。信号プロセッサ２２６は、スペックル低減、信号合成、及び／又は雑音除去により、更に追加信号強調を実行してよい。幾つかの例では、信号プロセッサ２２６は、所与の画像に含まれる卵胞の外観を向上させるために、上述の画像フレーム前処理ステップのうちの１つ以上を実行してよい。幾つかの例では、信号プロセッサ２２６により利用される異なる処理技術により生成されたデータは、データプロセッサ及び／又はニューラルネットワークにより、１つ以上の卵胞を識別するために使用されてよい。処理された信号は、例えば卵巣及びその近くにあるいかなる卵胞を含む身体内の構造を画像化するために振幅検出を利用し得るＢモードプロセッサ２２８に結合されてよい。Ｂモードプロセッサ２２８により生成された信号は、スキャンコンバータ２３０及び多断面再構成部２３２に結合されてよい。スキャンコンバータ２３０は、エコー信号を、エコー信号が所望の画像フォーマットで受信された空間的関係に構成してよい。例えば、スキャンコンバータ２３０は、エコー信号を２次元（２Ｄ）セクタ形状フォーマットに構成してよい。多断面再構成部２３２は、米国特許番号第６，４４３，８９６号（Detmer）に記載されたように、身体の体積（volumetric）領域内の共用平面内の点から受信されたエコー信号を、該平面の超音波画像に変換してよい。幾つかの例では、例えば米国特許番号第６，５３０，８８５号（Entrekin et al.）に記載のように、体積レンダラ２３４は、３Ｄデータセットのエコー信号を、所与の基準点から見た投影３Ｄ画像に変換してよい。２Ｄ又は３Ｄ画像は、スキャンコンバータ２３０、多断面再構成部２３２、及び体積レンダラ２３４から、画像プロセッサ２３６へ、更なる向上、バッファリグ、及び／又は画像ディスプレイ２３７上に表示するための一時的記憶のために、通信されてよい。画像は、表示の前に、卵胞を強調表示するよう前処理されてよく、ニューラルネットワーク２３８は、各画像が１つ以上の卵胞を含むか否かを識別するために実施されてよい。実施形態では、ニューラルネットワーク２３８は、種々の処理段階で、例えば画像プロセッサ２３６、体積レンダラ２３４、多断面再構成部２３２、及び／又はスキャンコンバータ２３０により実行される処理の前に、実施されてよい。グラフィックプロセッサ２４０は、超音波画像と共に表示するためにグラフィックオーバレイを生成できる。これらのグラフィックオーバレイは、例えば標準的な識別情報、例えば、患者名、画像の日時、画像パラメータ等、及び更に、ニューラルネットワーク２３８により生成された種々の出力、例えば卵胞の存在又は不存在を伝達する１つ以上の指示子、を含んでよい。グラフィックオーバレイは、更に、システム２００のユーザを超音波スキャンを通じて誘導するための、視覚的指示、例えば、テキスト及び／又はシンボルを含んでよい。幾つかの例では、グラフィックプロセッサは、ユーザインタフェース２２４から入力、例えばタイプされた患者名又は表示された若しくはインタフェースから発せられた指示がシステム２００のユーザにより認められたことの確認を受信してよい。ユーザインタフェース２２４は、更に、システム２００により使用される設定及び／又はパラメータの調整を促す入力、超音波スキャンを実行するための追加指示又は支援を要求する入力、及び／又は、１つ以上の超音波画像が保存され及び／又は遠隔受信機へ送信されることを要求する入力を受信してよい。ユーザインタフェースは、更に、複数の多断面再構成（multiplanar reformatted：MPR)）画像を選択し及び制御するために、多断面再構成部２３２に結合されてよい。

図３は、本発明の原理に従う超音波画像内の卵胞を識別するようトレーニングされたニューラルネットワーク３００のブロック図である。図示の例では、ニューラルネットワークは、畳み込みニューラルネットワーク（convolutional neural network：ＣＮＮ）である。幾つかの実施形態では、ニューラルネットワーク３００は、深層学習又は単純な深層ニューラルネットワーク（deep neural network：ＤＮＮ）であってよい。幾つかの例では、ＤＮＮ、例えば深層畳み込みニューラルネットワーク（深層ＣＮＮ）は、完全な畳み込みニューラルネットワーク（fully convolutional network：ＦＮＣ）とも呼ばれ、超音波画像内の卵胞の存在を識別するために使用されてもよい。図３に示すネットワークアーキテクチャは、前処理された超音波画像内で卵胞識別を実行するためにカスタマイズされており、本発明の実施形態に従い実装され得るニューラル層及び下位層並びにそれらの間の接続の構成の単なる一例を示す。例えば、畳み込み（convnet）層及び／又は完全結合層の数は、前処理されていない超音波画像内の乱歩を識別するために、更に多くてよい。同様に、畳み込み（convnet）層及び／又は完全結合層の数は、広範囲に渡り前処理された画像については、減少されてよい。

図３に示すＣＮＮは、ニューラルネットワークに到着する前に前処理され得る超音波画像の形式で入力３０２を受信するようトレーニングされる。入力３０２は、「入力層」と呼ばれてよい第１畳み込み層３０５内の並行に構成された畳み込みニューロンの２つのセット３０４ａ、３０４ｂにより受信されてよい。幾つかの例では、第１畳み込み層３０５は、各受信した画像フレーム内の種々の特徴のエッジ及び／又は強度レベルを認識するようトレーニングされてよい。第１畳み込み層３０５による処理の後に、処理は、卵胞を同様の強度レベルを有する他の特徴と分離するようトレーニングされ得る第２畳み込み層３０７内の並行に構成された畳み込みニューロンの２つより多くのセット３０６ａ、３０６ｂの中で継続してよい。第３畳み込み層３０９内の畳み込みニューロン３０８の追加セットは、先行する畳み込み層３０７からの畳み込みニューロンの各セット３０６ａ、３０６ｂに結合されてよい。第３畳み込み層３０９は、第２畳み込み層３０７の中で識別された卵胞をハイライトし又は強調するようトレーニングされてよい。図３に示す各畳み込み層は、１つ以上の下位層、例えば畳み込み下位層、正規化下位層、及び／又はプーリング下位層を含んでよい。

畳み込み層の後に、それぞれ完全結合層３１１、３１３、及び３１５内に構成された完全結合ニューロンの３つのセット３１０、３１２、３１４が続いてよい。完全結合ニューロンの各セットは、該セットの前及び後にあるニューラル層に完全に結合されてよい。完全結合ニューロン３１４の最後のセットから、出力３１６が生成されてよい。この理由で、最後の完全結合層３１５は、幾つかの例では「出力層」とも呼ばれてよい。出力３１６は、元の入力３０２内に存在する１つ以上の卵胞の存在又は不存在の指示を含んでよい。出力３１６は、指示を例えばユーザインタフェース上で表示するために構成される指示子に変換し得るディスプレイプロセッサ、例えば図１に示すディスプレイプロセッサ１３０に結合されてよい。

ニューラルネットワーク３００は、少なくとも部分的に、実行可能命令を含むコンピュータ可読媒体内に実装されてよく、実行可能命令は、超音波トランスデューサに結合されるデータプロセッサ１２６のようなプロセッサにより実行されると、プロセッサに、取得されたエコー信号に基づき、卵胞の存在又は不存在の指示子を生成するために機械トレーニングされたアルゴリズムを実行させてよい。ニューラルネットワーク３００は、特徴検出で動作するよう構成され、特に卵胞を識別するようにトレーニングされてよい。ニューラルネットワーク３００をトレーニングするために、入力アレイ及び出力分類の複数のインスタンスを含むトレーニングセットが、ニューラルネットワーク３００のトレーニングアルゴリズムに提示されてよい（例えば、Krizhevsky,A.,Sutskever,I.及びHinton,G.E.による「ImageNet Classification with Deep Convolutional Neural Networks」、NIPS２０１２又はそれ以降に記載されたAlexNetトレーニングアルゴリズム）。トレーニングデータセットの中で、入力データは、卵巣スキャンを監視するＩＵＩ及びＩＶＦにより生成された超音波画像を含んでよく、出力データは、超音波画像に含まれる、知られている特徴、例えば卵胞を含んでよい。種々の例で、入力データは、１つ以上の卵胞を含む超音波画像フレーム、及び卵胞を含まない超音波画像フレームを含んでよい。幾つかの実施形態では、トレーニングプロセスの出力は、動作中にニューラルネットワーク３００により使用され得る重みのセットであってよい。幾つかの実施形態では、トレーニングデータセットの入力及び出力データは、従来の超音波画像のコンポーネントを有する超音波画像システムにより取得されてよい。ニューラルネットワーク３００を実装するよう構成される超音波画像システムは、従来のビーム形成、信号、及び画像処理コンポーネントを含んでよい。その結果、該超音波画像システムは、従来のノードにおいて動作するとき、トレーニングアルゴリズムへのトレーニングセットとして使用するために、追加入力及び出力データセットを取得するよう構成されてよい。

ニューラルネットワーク３００に関連付けられたニューラルネットワークトレーニングアルゴリズムは、卵巣の超音波画像内の卵胞を識別するようニューラルネットワークをトレーニングするために、数千又は数百万ものトレーニングデータセットを提示されてよい。例えば、ＣＮＮの重みは、３０エポックを用いてトレーニングされてよい。各エポックは、トレーニングセット、及び卵巣スキャンを監視するＩＵＩ及びＩＶＦの約７００００枚の超音波画像の１回の通過を表す。図３に示したニューラルネットワーク３００の図は簡略表現である。幾つかの例では、ニューラルネットワーク３００は、何十万〜何億ものニューロンまたはノード、及びそれらの間の結合を含んでよい。ニューラルネットワーク３００内の人工ニューロンの信号及び状態は、実数、例えば０〜１の間であってよく、閾値関数又は制限関数は、各結合及び／又はノード自体に関連付けられてよい。その結果、信号は、伝搬する前に閾値／限度に等しいか又はそれを超えていなければならない。ニューラルネットワーク３００がトレーニングされ確定されると、例えばＡｎｄｒｏｉｄと互換性のある深層学習ライブラリが、トレーニングされたＣＮＮモデルを実装するために使用されてよい。

図４Ａは、ここに開示されたシステム及び方法に従い実行されている超音波スキャンの写真である。図示のように、ユーザ４０２は、ハンドヘルド超音波プローブ４０４を操作して、下腹部に広がり得る、被写体の領域４０６をスキャンしてよい。プローブ４０４は、幾つかの例ではスキャンされた領域の生（live）超音波画像を表示するよう構成されてよいユーザインタフェース４０８に結合されてよい。図示の特定の例では、現在の超音波画像４１０ａは、卵胞を含まない。したがって、ユーザインタフェース４０８は、画像内の卵胞の不存在を伝達する否定的指示子４１２ａを表示し、又は指示子を何も表示しなくてよい。プローブ４０４が動くと、指示子４１２ａは、続いて表示された画像内での１つ以上の卵胞の発見により、消失し又は変化してよい。一緒に、プローブ４０４及びユーザインタフェース４０８は、患者の受胎能状態を監視するよう構成されるモバイル超音波画像システムを含んでよい。

図４Ｂは、ここに開示されたシステム及び方法に従い実行されている超音波スキャンの別の写真である。図示のように、プローブ４０４の動きは、少なくとも１つの卵胞を含む異なる超音波画像４１０ｂを生成してよく、それにより、卵胞の存在の肯定的指示子４１２ｂを生成し表示するようシステムを促す。否定的指示子と肯定的指示子との間の差は、変化してよい。例えば、指示子は、色、形状及び／又は明るさに基づき差別化されてよい。幾つかの例では、１つ以上の卵胞の識別は，スキャンが正しく行われたことをユーザ４０２に示してよい。

図４Ａ及び４Ｂに示したシステム４１４は、例えばユーザ４０２の自宅内での遠隔の使用のために特に帝王されてよい。プローブ４０４により生成される各々の超音波画像について、システム４１４内で実行するニューラルネットワークを含むバックグラウンドインテリジェンスは、卵胞の存在又は不存在を検出し、それをユーザ４０２に即座に通知してよい。実施形態では、システム４１４は、スキャン中にユーザに指示を提供することにより、超音波スキャンを通じてユーザ４０２を誘導し及び／又は支援するよう構成されてよい。指示は、感覚的合図を含んでよい。例えば、指示は、複数の音、ビープ音、又は言葉の指示のような、スピーカを通じて発せられる聴覚的合図を含んでよい。追加又は代替として、命令は、ユーザインタフェース４０８上に表示される可読な文字の合図、及び／又は他の感覚的合図、例えばプローブ４０４の振動を含んでよい。

画像及び／又は指示子をユーザ４０２に表示した後に又はそれと同時に、システム４１４のコンポーネントは、超音波画像又は画像データを、メモリに自動的に格納し及び／又は専門家による更なる分析のために遠隔受信機に送信するよう構成されてよい。専門家は、様々な位置から様々な時間に、受信した情報を分析してよい。幾つかの例では、指示子４１２ｂのような肯定的指示子に関連付けられた画像データは、自動的に格納され及び／又は遠隔受信機へ送信されてよい。その結果、利用可能な記憶空間が予約さら、及び／又は、受信単におけるユーザ、例えば医師は、卵胞を含まない又は明確性の欠けた卵胞を含む画像を削除するために、複数の画像を通じて分類する必要がない。幾つかの実施形態では、画像送信は、ユーザ４０２により指示されてよい。その結果、ユーザは、卵胞が識別された成功したスキャンを実行した後に、選択した超音波画像または画像データを遠隔受信機へ送信してよい。幾つかの実施形態では、ユーザ４０２は、最初に教師なし又は自己（in-person）トレーニングのためにシステム４１４を使用してよい。システム４１４は、種々の場所において、例えば病院又はクリニックから離れて実装されてよく、したがって、家庭内受胎能監視ソリューションを提供し得る。

図５は、ここに開示されたシステム及び方法に従い生成された超音波画像の写真である。図示のように、ユーザインタフェース５０２は、画像データを前処理し及びトレーニングされたニューラルネットワークを実装するよう構成される１つ以上のプロセッサに結合された超音波トランスデューサにより生成された生超音波画像５０４を表示するよう構成されてよい。図示の特定の画像内に、卵胞５０６が見える。したがって、肯定的指示子５０８も、ユーザインタフェース５０２上に表示される。この特定の例に示される肯定的指示子５０８は、超音波画像５０４に隣接して表示された円形のドットで構成される。ドットは、卵胞の存在を示すために緑色であり、卵胞の不存在を示すために赤色に切り替わってよいが、色は例により変化してよい。他の実施形態では、指示子５０８は、種々の感覚的合図、例えば視覚的文字又は記号、可聴音、及び／又はユーザインタフェース５０２又は超音波プローブのような他のシステムコンポーネントにおいて伝達される振動を含んでよい。幾つかの例では、ユーザインタフェース５０２は、種々の卵胞統計を表示するよう更に構成されてよい。例えば、所与の超音波画像内に存在する卵胞の数及び／又は寸法が表示されてよい。

図６Ａは、本発明の原理に従い前処理されていない卵胞６０４ａの超音波画像６０２ａの写真である。図示のように、卵胞６０４ａは、前処理する前の画像内の周辺ピクセルより暗く見え得る。卵胞６０４ａは、このように、特に大量の暗いピクセル及び／又は卵胞の近傍に位置する暗いピクセルを含む超音波画像内で示されるとき、ニューラルネットワークにより一貫して識別することが困難な場合がある。

図６Ｂは、図６Ａに示した画像内でキャプチャされた同じ卵胞の超音波画像６０２ｂの写真であるが、卵胞６０４ｂの改良画像を生成するために画像が処理されていることが異なる。前処理の間に、輝度閾値が元の超音波画像６０２ａに適用された。適用された輝度閾値より下にある全ての画像ピクセルは、ゼロ値を割り当てられ、白色に転化され、閾値より上にある全ての画像ピクセルは黒色に転化された。卵胞６０４ａの元の画像は黒色に近かったので、卵胞を含むピクセルは、輝度閾値より下になり、ピクセルを白色に転化するよう、画像を分析する１つ以上のプロセッサを促す。結果として、卵胞６０４ｂは、前処理された画像６０２ｂ内にキャプチャされた周囲の特徴に対して先鋭なコントラストを有し、ポイントオブケアシステム上でニューラルネットワークによる卵胞の信頼できるリアルタイム検出を可能にする。

図７は、本開示の原理に従う超音波画像化方法のブロック図である。図７の例示的な方法７００は、いかなる順序で、超音波スキャンの間に卵胞を識別するここに記載のシステム及び／又は機器により利用され得るステップを示す。これらのステップは、システム及び／又は機器によりリアルタイムに提供される命令を介して初心者ユーザにより実行されてよい。方法７００は、システム７００のような超音波画像システム、又は例えばKoninklijke Philips N.V.（Philips）によるLUMIFYのようなモバイルシステムを含む他のシステムにより実行されてよい。更なる例示的なシステムは、これもPhilipsにより生産されるSPARQ及び／またはEPIQを含んでよい。

図示の実施形態では、方法７００はブロック７０２で開始し、超音波システムに動作可能に結合されたトランスデューサにより目標領域内に送信された超音波パルスに応答するエコー信号を取得する。エコー信号は、図１に関して上述したような種々の構成のセンサアレイ及びコンポーネントを含み得る超音波データ取得ユニットにより集められてよい。幾つかの例では、超音波データ取得ユニットは、ポータブルであり、ユーザにより操作可能なハンドヘルド超音波プローブを有してよい。超音波プローブは、ユーザインタフェースを含んでよく、及び／又はデスクトップコンピュータ、ポータブルラップトップ、又はスマートフォンに結合されてよい。ユーザは、超音波操作における正式な訓練を欠いていてよい。

ブロック７０４で、方法は、超音波エコーから少なくとも１つの画像フレームを生成するステップを含む。画像フレームは、１つ以上のプロセッサを用いて生成されてよい。幾つかの例では、別個の信号プロセッサ及びデータプロセッサが含まれてよい。

ブロック７０６で、方法は、目標領域内に存在する卵胞を表すピクセルを目標領域内の他の内容から区別する閾値を画像に適用するステップを含む。幾つかの例では、閾値処理された画像フレーム内の差別化されたピクセルの色又は輝度は、反転され得る。

ブロック７０８で、方法は、ニューラルネットワークを閾値処理された画像フレームに適用するステップを含む。ここで、ニューラルネットワークは、閾値処理された画像フレーム内の卵胞の存在を決定する。幾つかの例では、ニューラルネットワークは、畳み込みニューラルネットワークである。ニューラルネットワークは、卵巣を含む超音波画像を用いてトレーニングされてよい。

ブロック７１０で、方法は、卵胞の決定された存在に基づき、指示子を生成するステップを含む。幾つかの例では、指示子は、トランスデューサの動きに応答して、リアルタイムに更新され得る。指示子は、バイナリ、オン又はオフ指示子であり得る。或いは、指示子は、例えば検出された卵胞の数に基づき徐々に変化し得る。

ブロック７１２で、方法は、ユーザインタフェース上に指示子を表示するステップを含む。幾つかの例では、方法は、閾値処理された画像フレームから超音波画像を生成し、ユーザインタフェース上に表示するステップを更に含み得る。このような例に従い、指示子は、超音波画像に隣接して又はそれに重ねられて表示されてよい。実施形態は、超音波画像を専門家、例えば医師に送信するステップを更に含んでよい。専門家は、スキャンが実行されている場所に対して遠隔の場所に位置してよい。

種々の実施形態では、コンポーネント、システム及び／又は方法がポータブル装置、例えばコンピュータに基づくシステム又はプログラマブルロジックを用いて実装される場合、上述のシステム及び方法は種々の知られている又は後に開発されるプログラミング言語、例えばＣ、Ｃ＋＋、ＦＯＲＴＲＡＮ、Ｐａｓｃａｌ、ＶＨＤＬ、等を用いて実装できることが理解されるべきである。したがって、コンピュータのような装置に上述のシステム及び／又は方法を実装するよう指示可能な情報を含み得る種々の記憶媒体、例えば磁気コンピュータディスク、光ディスク、電子メモリ等が準備され得る。適切な装置が記憶媒体に含まれる情報及びプログラムへのアクセスを有すると、記憶媒体は、情報及びプログラムを装置に提供し、従って、装置がここに記載のシステム及び／又方法の機能を実行できるようにする。例えば，ソースファイル、オブジェクトファイル、実行ファイル等のような適切な素材を含むコンピュータディスクがコンピュータに提供された場合、該コンピュータは、情報を受信し、自身を適切に構成し、上述の図及びフローチャートに概説された種々のシステム及び方法の機能を実行して、種々の機能を実施し得る。つまり、コンピュータは、種々の情報部分を上述のシステム及び／又は方法の異なる要素に関連するディスクから受信し、個々のシステム及び／又は方法を実装し、上述の個々のシステム及び／又は方法の機能を調整し得る。

本開示を考慮すると、ここに記載の種々の方法及び装置は、ハードウェア、ソフトウェア、及びファームウェアで実装できる。さらに、種々の方法及びパラメータは、例としてのみ含まれ、いかなる限定的意味ではない。本開示を考慮すると、本発明の範囲に留まりながら、当業者は、彼ら自身の技術及びこれらの技術に影響を与えるために必要な設備を決定する際に、本発明の教示を実施できる。ここに記載のプロセッサのうちの１つ以上の機能は、ここに記載の機能を実行するために実行可能命令に応答してプログラミングされるより少数の又は単一の処理ユニット（例えばＣＰＵ）に組み込まれてよく、特定用途向け集積回路（ＡＳＩＣ）又は汎用処理回路を用いて実装されてよい。

本発明のシステムは特に超音波画像システムを参照して記載されたが、本発明のシステムは、１つ以上の画像が組織的方法で取得される他の医療画像システムに伸展され得る。したがって、本発明のシステムは、限定ではないが、腎臓、精巣、胸部、卵巣、子宮、甲状腺、肝臓、肺、筋骨格、脾臓、心臓、動脈、及び血管系に関連する画像情報を取得し及び／又は記録するために、並びに超音波により誘導される介入に関連する他の画像化用途に使用されてよい。さらに、本発明のシステムは、従来の画像化システムと共に使用され得る１つ以上のプログラムも含んでよい。その結果、従来の画像化システムが本発明のシステムの特徴及び利点を提供し得る。本開示の特定の追加の利点及び特徴は、本開示を研究することにより当業者に明らかになり得、又は本開示の新規なシステム及び方法を利用する当業者により経験されてよい。本発明のシステム及び方法の別の利点は、従来の医療画像システムが本発明のシステム、装置、及び方法の特徴及び利点を組み込むよう簡単にアップグレードできることであってよい。

もちろん、ここに記載の例、実施形態、又は処理のうちのいかなる１つも、１つ以上の他の例、実施形態、及び／又は処理と結合されてよく、又は本発明のシステム、装置、及び方法に従う別個の装置又は装置の部分の間で分離され及び／又は実行されてよい。

最後に、以上の議論は、単に本発明のシステムの説明を意図しており、いかなる特定の実施形態または実施形態のグループに添付の請求の範囲を限定すると考えられるべきではない。したがって、本発明のシステムは、例示的な実施形態を参照して特に詳細に記載されたが、以下の請求の範囲に記載された本発明のシステムの広範な意図された精神及び範囲から逸脱することなく、多数の変更及び代替の実施形態が、当業者により考案され得ることが理解されるべきである。したがって、明細書及び図面は、説明的であると考えられ、添付の請求の範囲の範囲を限定することを意図しない。

Claims (20)

1. 超音波画像システムであって、
   目標領域に向けて送信された超音波パルスに応答するエコー信号を取得するよう構成される超音波トランスデューサと、
   前記超音波トランスデューサと通信する１つ以上のプロセッサと、
   を含み、前記１つ以上のプロセッサは、
   前記超音波エコーから少なくとも１つの画像フレームを生成し、
   前記目標領域内に存在する卵胞を表すピクセルを前記目標領域内の他の内容と区別する閾値を前記画像フレームに適用し、
   前記の閾値処理された画像フレームにニューラルネットワークを適用し、前記ニューラルネットワークは、前記閾値処理された画像フレーム内の前記卵胞の存在を決定し、
   前記卵胞の前記の決定した存在に基づき，指示子を生成し、
   前記指示子を前記プロセッサと通信するユーザインタフェース上に表示する、よう構成される、超音波画像システム。
2. 前記プロセッサは、前記閾値処理された画像フレームから超音波画像を生成し、前記ユーザインタフェース上に表示するよう更に構成される、請求項１に記載の超音波画像システム。
3. 前記プロセッサは、前記閾値処理された画像フレーム内の前記卵胞の外観を強調するよう更に構成される、請求項１に記載の超音波画像システム。
4. 前記閾値はオツの閾値であり、前記卵胞の前記外観は、前記オツの閾値より下及び上のピクセルの色を反転することにより強調される、請求項３に記載の超音波画像システム。
5. 前記ユーザインタフェースは、前記指示子に応答して、超音波スキャンを通じてユーザを誘導するよう構成される、請求項１に記載の超音波画像システム。
6. 前記ユーザインタフェースは、前記スキャンの間に前記ユーザに指示を提供することにより、前記超音波スキャンを通じて前記ユーザを誘導するよう構成され、前記指示は少なくとも１つの感覚的合図を含む、請求項５に記載の超音波画像システム。
7. 前記ユーザインタフェースは、前記閾値処理された画像フレームから超音波画像を生成し、前記超音波画像をリモート受信機へ送信するよう構成される、請求項１に記載の超音波画像システム。
8. 前記ニューラルネットワークは、深層ニューラルネットワーク（ＤＮ）又は畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１に記載の超音波画像システム。
9. 前記ニューラルネットワークは、１つ以上の畳み込み層と１つ以上の完全結合層とを含む、請求項１に記載の超音波画像システム。
10. 前記ニューラルネットワークは、トレーニング入力と既知の出力とのアレイを受信するよう構成されるトレーニングアルゴリズムに動作可能に関連付けられ、前記トレーニング入力は卵巣超音波画像フレームを含み、前記既知の出力は卵胞を含む卵巣超音波画像フレームを含む、請求項１に記載の超音波画像システム。
11. 前記ニューラルネットワークは、少なくとも部分的に、実行可能命令を含むコンピュータ可読媒体内に実装され、前記実行可能命令は、前記超音波トランスデューサに結合される前記プロセッサにより実行されると、前記プロセッサに、前記取得されたエコー信号に基づき前記指示子を生成するために機械トレーニングアルゴリズムを実行させる、請求項１に記載の超音波画像システム。
12. 超音波画像化方法であって、前記方法は、
    超音波システムに動作可能に結合されたトランスデューサにより、目標領域に送信された超音波パルスに応答するエコー信号を取得するステップと、
    前記超音波エコーから少なくとも１つの画像フレームを生成するステップと、
    前記目標領域内に存在する卵胞を表すピクセルを前記目標領域内の他の内容と区別する閾値を前記画像フレームに適用するステップと、
    前記の閾値処理された画像フレームにニューラルネットワークを適用するステップであって、前記ニューラルネットワークは、前記閾値処理された画像フレーム内の前記卵胞の存在を決定する、ステップと、
    前記卵胞の前記の決定した存在に基づき，指示子を生成するステップと、
    前記指示子をユーザインタフェース上に表示するステップと、
    を含む方法。
13. 前記閾値処理された画像フレームから超音波画像を生成し、前記ユーザインタフェース上に表示するステップ、を更に含む請求項１２に記載の方法。
14. 前記閾値より上及び下に含まれるピクセルの色を反転するステップ、を更に含む請求項１２に記載の方法。
15. 前記卵胞の前記存在又は不存在に応答して、ユーザ指示を提供するステップであって、前記ユーザ指示は、卵巣の超音波スキャンを実行するための誘導を含む、ステップ、を更に含む請求項１２に記載の方法。
16. 前記ニューラルネットワークは、畳み込みニューラルネットワーク（ＣＮＮ）を含む、請求項１２に記載の方法。
17. 卵巣を含む超音波画像フレームを用いて前記ニューラルネットワークをトレーニングするステップ、を更に含む請求項１２に記載の方法。
18. 前記閾値処理された画像フレームから超音波画像を生成し、前記超音波画像を医師に送信するステップであって、前記医師は遠隔地に位置する、ステップ、を更に含む請求項１２に記載の方法。
19. 前記指示子は、前記トランスデューサの動きに応答してリアルタイムに更新される、請求項１２に記載の方法。
20. 実行可能命令を含む非一時的コンピュータ可読媒体であって、前記実行可能命令は、実行されると、医療画像システムのプロセッサに請求項１２乃至１９に記載のいずれかの方法を実行させる、非一時的コンピュータ可読媒体。
    

Images