JP2019530490A - 検出精度を向上させるために関心領域の異なるビューからの複数の画像を用いるコンピュータ支援検出 - Google Patents

Abstract

【課題】【解決手段】 偽陽性を減少させ、真の病変の検出の可能性を向上させるために、シーケンスの画像間の持続性を利用して、アーチファクトからの干渉が少ない状態で検出された関心領域を識別し、それによって、自動的なＲＯＩ病変の検出のための静的ＣＡＤｅ法に勝る改善された性能を提供する、医用画像のコンピュータ支援検出（ＣＡＤ又はＣＡＤｅ）のシステム及び方法。【選択図】 図１Ｂ

Description

関連出願の相互参照
[0001] 本願は、２０１６年８月２２日出願の「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国仮特許出願第６２／３７７，９４５号への優先権を主張する、「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国特許出願第１５／３３８，７０７号の継続出願であり、各々の内容の全体が参照により本明細書に組み込まれる。

[0002] 本願は、２０１６年８月２２日出願の「Method and System of Computer-Aided Detection Using Multiple Images from Different Views of a Region of Interest to Improve Detection Accuracy」という名称の米国仮特許出願第６２／３７７，９４５号への優先権も主張し、その全体が参照により本明細書に組み込まれている。

[0003] １．分野
[0004] 本発明の概念は、一般に、医用画像のコンピュータ支援検出及び疑わしい異常又は病変の検出の分野に関する。特に、本発明の概念は、異なる視点から収集した複数の画像を介して、及び、ある期間にわたって、検出される潜在的な病変の持続性（persistence）を決定するためにオプティカルフロー法及びブロックマッチング法を使用する、医用画像を処理するための方法及びシステムに関する。

[0005] ２．背景
[0006] コンピュータ支援診断（ＣＡＤ）は、時にはＣＡＤｅ又はＣＡＤｘと呼ばれ、脳の異常、乳がん、肺がん、結腸がん、前立腺がん、骨転移、冠動脈疾患、先天性心臓欠陥、及びアルツハイマー病の診断に使用される。従来のシステムは、単一画像内の病変を検出するために使用される。これらのシステムは、病変の境界形状（形態特徴）及び病変内のグレーレベルの均一性（テクスチャ特徴）を特徴付ける、特徴の抽出を必要とする。病変のサイズ、形状、配向、並びに、不明瞭又は拡散的な境界、及び背景ノイズにおける変動は、身体内に見られる他の超音波アーチファクトから真の病変を検出するのを困難にする。

[0007] 超音波医用画像診断システムは、病変の検出をより困難にする可能性のある多数のアーチファクトに対処しなければならない。一般に、超音波アーチファクトは、誤検出を発生させ、時には、病変の正確な検出を隠してしまう可能性がある。超音波画像診断で遭遇する一般的なアーチファクトは、異方性、残響、音響陰影、音響増強、縁部陰影、ビーム幅アーチファクト、スライス厚アーチファクト、サイドローブアーチファクト、鏡像、二重像、機器生成アーチファクト、及び屈折アーチファクトを含む。

[0008] 異方性とは、腱が超音波ビームに対して９０度の場合は明るく、角度が変化すると暗く見える効果である。その理由は、特に平滑な境界にある場合、従来の鏡を用いる場合と全く同様に、反射と入射の角度が同じであるためである。残響とは、音響インピーダンスの不整合性が高い２つのインターフェース間で反復される反射に起因する、偽エコーの生成である。超音波画像上の音響陰影は、超音波を強力に吸収又は反射する構造後方の信号空隙によって特徴付けられる。音響増強は、後部増強と呼ばれるか又は伝達を介して増強されることもあり、音を並外れて良好に伝達する構造深部の増大エコーを言い表す。超音波ビーム幅アーチファクトは、拡幅された超音波ビームの向こう側に配置された反射物が、収束ゾーン後に、対象の構造と重複して表示される検出可能な偽エコーを作成する場合に発生する。スライス厚アーチファクトはビームの厚みに起因し、ビーム幅アーチファクトと同様である。サイドローブアーチファクトは、サイドローブが、中心ビームの外側にある強力なリフレクタから音を反射させる場合、及び、エコーがあたかも中心ビーム内から発せられているかのように表示される場合に、発生する。超音波検査法における鏡像アーチファクトは、１次ビームの経路内に高反射性表面が存在する場合に見られる。二重像アーチファクトは、リフレクタの第２の画像を生成するレンズとして作用する筋などの領域の屈折に起因する。間違った設定に起因する機器生成アーチファクトは、アーチファクトの発生につながる可能性がある。屈折アーチファクトは、媒体間の移動に起因する音方向の変化に起因する。

[0009] 本発明の概念の様々な態様が想起及び開発されたのは、とりわけ、こうした観察を念頭に置いたものである。

[0010] 有利なことに、持続特性を決定することで、いくつかのビューでは検出されるが、動きフィールド及び／又はブロック追跡情報とは一致しないアーチファクトからの、真の病変の識別、及び／又は、数個の時間フレーム内でのみ検出されるか、あるいは、動きフィールド又は追跡情報に従うことのないランダムな場所に見られる、瞬間的な異常からの、真の病変の識別を、容易にすることが発見された。したがって、本発明の概念の一実装は、複数の画像フレームにアクセスする動作と、複数の画像フレームのうちの第１の画像フレームから関心領域を識別する動作と、関心領域が第１の画像フレーム及び第２の画像フレームにわたって持続するかどうかを判定するために第１の画像フレームの特徴と第２の画像フレームの特徴とを比較することによって、関心領域が偽陽性であるかどうかを判定するために複数の画像フレームのうちの第１の画像フレーム及び第２の画像フレームを処理する動作とを、実施するために、プロセッサによって実行される、命令を記憶するためのメモリを備えるコンピューティングデバイスを利用すること、を含む、方法の形を取り得る。

[0011] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって、達成され得る。方法は、順次画像データ、ビデオクリップ、容積測定設定、及び／又はそれらのシーケンス、及び／又はそれらの組み合わせを収集するステップと、画像データに関連付けられた時間／順序情報を収集するステップと、画像データ及び時間／順序データに関連付けられた相違を検出し、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間／順序データを処理するステップと、を含む。画像データは、２Ｄ画像データであってよい。方法は、システムの性能を向上させるために、少なくとも１つのオプティカルフロー技法を一時的に使用するステップを含み得る。

[0012] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するように構成された、コンピュータ支援検出システムを提供することによって、達成され得る。システムは、時間情報を使用して真の検出の感度又は数を保持しながら、偽陽性の数を減少させるように構成された、プロセッサを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。システムは、追跡情報を使用して各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つかったＲＯＩ間の相関関係を決定するように構成された、相関エンジンを含み得る。プロセッサは、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用して、ＲＯＩが現れるフレームの数として持続性を測定するように構成され得る。プロセッサは、予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するように構成され得る。ＲＯＩは、静的ＣＡＤｅ法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。

[0013] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得る。システムは、画像データ及び時間情報を受信するように構成されたプロセッサ、及び／又は、画像データ及び時間情報を記憶するように構成されたメモリを含み得る。プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成され得る。

[0014] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するために、コンピュータ支援検出の方法を提供することによって達成され得、方法は、真の検出の感度又は数を保持又は増大させながら、偽陽性の数を減少させるために、２つの隣り合う画像フレームに関連付けられた持続的な空間及び／又は時間情報を使用するステップを含む。

[0015] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって達成され得、方法は、画像データ、ビデオクリップ、及び／又はシーケンスを収集するステップと、画像データに関連付けられた時間情報を収集するステップと、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するステップとを、含む。

[0016] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するように構成された、コンピュータ支援検出システムを提供することによって達成され得、システムは、時間情報を使用して真の検出の感度又は数を保持しながら、偽陽性の数を減少させるように構成された、プロセッサを備える。

[0017] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得、システムは、画像データ及び時間情報を受信するように構成されたプロセッサと、画像データ及び時間情報を記憶するように構成されたメモリとを備え、プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成される。

[0018] 前述の内容は、本発明の概念の別の態様において、少なくとも１つの有形記憶媒体と通信する少なくとも１つの処理ユニットを備えるコンピューティングデバイスを利用することを含む、方法を提供することによって達成され得、有形記憶媒体は、所定の時間間隔に関連付けられた順次画像フレームにアクセスする動作と、順次画像フレームに関連付けられた関心領域を識別する動作と、順次画像フレーム間で追跡又はマッピング情報を生成するためにオプティカルフローを利用する動作と、関心領域が現れるか、あるいは、追跡又はマッピング情報を使用して順次画像フレームのうちの特定のフレーム間で相関可能な、順次画像フレームの数として、持続性値を生成する動作とを、実施するためのコンピュータ実行可能命令を含む。

[0019] 前述の内容は、本発明の概念の別の態様において、所定の時間間隔にわたる画像フレームに関連付けられた関心領域の時間持続性値を決定するために、画像フレームと共にオプティカルフローを利用するように動作可能な、コンピュータ支援検出（ＣＡＤ）デバイスを備える装置を提供することによって、達成され得る。

[0020] 本発明の概念の前述及び他の態様を、限定するためではなく説明の目的で、添付の図面を参照しながらより詳細に説明する。

[0021]本発明の概念の態様を実施するための例示的システムを示す図である。 [0022]本発明の概念の態様を実施するための例示的システムを示す図である。 [0023]相対的に識別がより困難であり、偽陽性に対する感度又は真陽性検出の数におけるトレードオフと共に、ｙ軸上の真陽性の感度を画像当たりの偽陽性の数の関数としてｘ軸上に示す、病変の検出の自由応答受信者動作特性（ＦＲＯＣ）曲線を示す図である。 [0024]相対的に識別がそれほど困難ではない、偽陽性に対する感度又は真陽性検出の数におけるトレードオフと共に、ｙ軸上の真陽性の感度を画像当たりの偽陽性の数の関数としてｘ軸上に示す、病変の検出のＦＲＯＣ曲線を示す図である。 [0025]図３Ｂ及び図３Ｄに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の１つ以上のオプティカルフロー技法を使用して、図３Ａ及び図３Ｃの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。 [0025]図３Ｂ及び図３Ｄに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の１つ以上のオプティカルフロー技法を使用して、図３Ａ及び図３Ｃの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。 [0025]図３Ｂ及び図３Ｄに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の１つ以上のオプティカルフロー技法を使用して、図３Ａ及び図３Ｃの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。 [0025]図３Ｂ及び図３Ｄに示されるように、検出された関心領域の時間持続性をチェックするために、本発明の概念の１つ以上のオプティカルフロー技法を使用して、図３Ａ及び図３Ｃの画像内で検出された偽陽性をどのようにして除去することが可能であるかを示す図である。 [0026]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、Ａ（すなわち、外側四角形及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0026]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、Ａ（すなわち、外側四角形及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0026]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、Ａ（すなわち、外側四角形及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0026]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルース、例えば真の病変境界と比較した、Ａ（すなわち、外側四角形、及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0027]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルースと比較した、Ａ（すなわち、外側四角形、及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0027]Ｂ（すなわち、内側四角形）によって手動でマーク及び表示されるグランドトゥルースと比較した、Ａ（すなわち、外側四角形、及びいかなる内側四角形もない四角形）によって示されるオプティカルフローを使用して、検出結果を示す図である。 [0028]Ｂ（すなわち、一番上に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0028]Ｂ（すなわち、一番上に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0029]Ｂ（すなわち、一番左に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0029]Ｂ（すなわち、一番左に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0030]Ｂ（すなわち、一番左及び一番右に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0030]Ｂ（すなわち、一番左及び一番右に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0031]Ｂ（すなわち、一番上及び一番下に延在する四角形）によって手動でマークされるグランドトゥルースと比較した、Ａによって示されるオプティカルフローを使用して、検出結果を示す図である。 [0032]本発明の概念の態様についての例示的プロセスフローである。 [0033]本発明の概念の態様についての別の例示的プロセスフローである。

[0034] 図面は、本発明の概念を、本明細書において開示及び説明される特定の実施形態に限定するものではない。図面は必ずしも一定の縮尺ではなく、本発明の概念の或る実施形態の原理を明白に示すことに重点が置かれている。

[0035] 下記の詳細な説明は、本発明の概念の様々な実施形態を示す添付の図面を参照する。図及び説明は、当業者が本発明の概念を実践できるようにするために、本発明の概念の態様及び実施形態を十分詳細に説明することが意図されている。本発明の概念の範囲を逸脱することなく、他の構成要素が利用可能であり、変更が可能である。したがって、下記の詳細な説明は限定的な意味で行われるものではない。本発明の概念の範囲は、添付の特許請求の範囲、並びにこうした特許請求の範囲に与えられた権利と等価の全範囲によってのみ定義される。

[0036] Ｉ．用語
[0037] 本説明において、本発明の概念の特徴を説明するための用語が使用される。例えば、「一実施形態」、「或る実施形態」、「この実施形態」、又は「複数の実施形態」という用語への言及は、１つ以上の特徴が本発明の概念の少なくとも１つの態様に含まれることを指すことを意味する。本説明において、「一実施形態」、「或る実施形態」、「この実施形態」、又は「複数の実施形態」という用語への別々の言及は、必ずしも同じ実施形態を指すものではなく、そのように言明されていない限り、及び／又は、当業者であれば本説明から容易に明らかとなる場合を除き、相互に排他的でもない。例えば、一実施形態において説明される特徴、構造、プロセス、ステップ、動作などは、他の実施形態にも含まれ得るが、必ずしも含まれるものではない。したがって、本発明の概念は、本明細書で説明される実施形態の様々な組み合わせ及び／又は統合を含み得る。加えて、本明細書で説明される本発明の概念のすべての態様は、その実践に不可欠ではない。

[0038] 「アルゴリズム」という用語は、本明細書で具体的に説明されるか、又は、本説明に照らして当業者に容易に明らかになる、本発明の概念のそれらの機能を含むが限定されない、１つ以上の機能を実行するように構成された、論理、ハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせを指す。こうした論理は、データ処理及び／又は記憶機能を有する回路を含み得る。こうした回路の例は、マイクロプロセッサ、１つ以上のプロセッサ、例えばプロセッサコア、プログラマブルゲートアレイ、マイクロコントローラ、特定用途向け集積回路、ワイヤレス受信器、送信器、及び／又は送受信器回路、半導体メモリ、あるいは組み合わせ論理を含むが、限定されない。

[0039] 「論理」という用語は、実行可能アプリケーションの形の実行可能コード、アプリケーションプログラミングインターフェース（ＡＰＩ）、サブルーチン、関数、プロシージャ、アプレット、サーブレット、ルーチン、ソースコード、オブジェクトコード、共有ライブラリ／動的負荷ライブラリ、あるいは、１つ以上の命令などの、１つ以上のソフトウェアモジュールの形の、コンピュータコード及び／又は命令を指す。これらのソフトウェアモジュールは、任意のタイプの好適な非一時的記憶媒体、又は一時的記憶媒体、例えば、電気、光、音、あるいは、搬送波、赤外線信号、又はデジタル信号などの他の形の伝搬信号に記憶され得る。非一時的記憶媒体の例は、プログラマブル回路、半導体メモリ、揮発性メモリ（例えば、任意のタイプのランダムアクセスメモリ「ＲＡＭ」）などの非持続性ストレージ、不揮発性メモリ（例えば、読み取り専用メモリ「ＲＯＭ」、電力支援ＲＡＭ、フラッシュメモリ、相変化メモリなど）、ソリッドステートドライブ、ハードディスクドライブ、光ディスクドライブ、又はポータブルメモリデバイスなどの、持続性ストレージを含み得るが、限定又は制約されない。ファームウェアとして、実行可能コードは持続性ストレージに記憶される。

[0040] 「ユーザ」という用語は、本発明の概念のシステム及び／又は方法のユーザを表すために、本明細書では一般に同意語として使用される。本明細書における目的の場合、ユーザは、臨床医、診断医、医師、技術者、学生、及び／又は管理者であってよい。

[0041] 「識別される」、「処理される」、及び「選択される」という用語は、少なくとも１つのプロセッサを介して、１つ以上のプロセスにおいてシステムによって自動的に実施又は実行されるコンピュータ化されたプロセスを表すために、一般に、時制に関係なく、本明細書では同意語として使用される。

[0042] 頭字語「ＣＡＤ」は、コンピュータ支援診断を意味する。

[0043] 「クライアント」という用語は、ＣＡＤ病変アプリケーションに接続するソフトウェアの任意のプログラムを意味する。

[0044] 「サーバ」という用語は、特に指定のない限り、典型的には１つ以上のクライアントについてリッスンしているＣＡＤ病変アプリケーションを指す。

[0045] 「後処理」という用語は、入力された超音波画像に適用されるアルゴリズムを意味する。

[0046] 頭字語「ＰＡＣＳ」は、画像保管通信システムを意味する。

[0047] 頭字語「ＧＳＰＳ」は、グレースケールソフトコピー提示状態を意味する。

[0048] 頭字語「ＤＩＣＯＭ」は、医用におけるデジタル画像と通信を意味する。

[0049] 頭字語「ＵＩ」は、ユーザインターフェースを意味する。

[0050] 頭字語「ＰＨＩ」は、民間医療情報を意味する。

[0051] 「コンピュータ化された」という用語は、一般に、任意の対応する動作が、ソフトウェア及び／又はファームウェアと組み合わせてハードウェアによって実行されることを表す。

[0052] 最後に、「又は」及び「及び／又は」という用語は、本明細書で使用される場合、包括的であるか、あるいは任意の１つ又は任意の組み合わせを意味するものと解釈されるべきである。したがって、「Ａ、Ｂ、又はＣ」あるいは「Ａ、Ｂ、及び／又はＣ」は「以下のうちのいずれか、Ａ、Ｂ、Ｃ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、Ａ、Ｂ、及びＣ」を意味する。この定義の例外は、要素、関数、ステップ、又は作用の組み合わせが、何らかの様式で本質的に相互排他的である場合にのみ生じることになる。

[0053] 本発明の概念が多くの異なる形の実施形態の影響を受けやすいため、本発明の概念は、本発明の概念の原理の一例として見なされるものと意図され、本発明の概念を図示及び説明する特定の実施形態に限定することは意図されない。

[0054] ＩＩ．一般的なアーキテクチャ
[0055] 放射線科医などのトレーニングされた医療専門家は、一般に、医用画像内の疑惑領域又は関心領域を、手動で又はコンピュータソフトウェアを使用して、識別及び分類するように試みる。その後、放射線科医は、関連する格付けシステムに従って、各疑惑領域を手動で特徴付けることができる。例えば、がんの病変を含む可能性のある胸部内の疑わしい関心領域は、Breast Imaging Reporting and Data Systems（胸部画像化レポート及びデータシステム／ＢＩ−ＲＡＤＳ）ガイドラインに従って特徴付けることができる。

[0056] 超音波技術者は、検出エラーを生じさせる可能性のあるアーチファクト及びノイズに起因する病変検出の際の不確実性を減少させるために、関心領域（ＲＯＩ）周辺でトランスデューサを動かして、様々な視点を取得するようにトレーニングされ得る。真の病変は異なる視点から識別され得るが、その一方で、ほとんどのアーチファクトは異なる視野角で大幅に変化することになる。本発明の概念の態様によれば、関心領域の様々な視点の観察は、人間のオペレータによる病変の最適な検出にとって重要な因子であり得る。従来のＣＡＤｅシステムは、一般に、視野（ＦＯＶ）内に病変が存在するかどうかを検出するために、１つの画像又は２つの直交画像のみを注視する。本発明の概念は、本明細書で説明するようなＣＡＤシステムによってリアルタイム又はオフラインで分析可能な、複数の様々な視野角にわたって持続するＲＯＩの一部を決定することを企図する。

[0057] 本発明の概念の態様は、オプティカルフロー法及びブロックマッチング（又は追跡）法を使用して、又は、隣り合う画像間のＲＯＩのマッピング機能を順次生成することによって、医用画像を処理するためのシステム及び方法を含む。本発明の概念のマッピング機能は、変動する視点からの医用画像の連続する時間フレーム間で動き又は追跡情報を決定するための振幅及びベクトルマッピングを含み得る。

[0058] オプティカルフロー又はオプティックフローは、画像に関連付けられた相対的な動きを考慮しながら、与えられた画像（又は画像セット）のオブジェクト、表面、縁部、又は他の視覚的特徴のパターンとして説明され得る。オプティカルフロー法を使用して、時間間隔に基づく２つの画像フレーム間の動きを計算することができる。画像のセットを順次使用して、動きを画像速度又は離散画像変位として推定することができる。本明細書で説明するオプティカルフロー法は、位相相関、ブロックベース法、差分法、離散最適化法などを含み得る。一実施形態において、ブロックベース法を利用して、二乗差の合計又は絶対差の合計を最小化するか、あるいは、シーケンス内の隣り合う画像に関連付けられた正規化相互相関を最大化することができる。追跡法も利用可能である。具体的には、角及びテクスチャエリアなどの視覚特徴を抽出し、それらを複数のフレームにわたって追跡することを含む、特徴追跡が利用可能である。特徴追跡の実施の一例として、２つの後続のフレームが与えられた場合、ポイント変換を推定することができる。

[0059] マッピング又は追跡情報を使用して、静的な２次元（２Ｄ）ＣＡＤｅ手法を使用して各時間フレーム内に見つかった関心領域（ＲＯＩ）に基づいて、画像フレームが相関可能であるかどうかを判定することができる。画像又は複数画像のフレームを、容積測定胸部全体超音波データにおいて任意角を介した順次トラバースから導出されるシーケンスとしてシミュレートすることもできる。本発明の概念のシステム及び方法を使用すると、真の病変は、いくつかの視点を介して追跡可能なＲＯＩとして現れ得る。他方で、偽陽性は、相対的に数個の視点について持続するように、及び、ＲＯＩのオプティカルフロー及びブロックマッチング追跡情報と相関されない場所に現れるように、示され得る。

[0060] したがって、本発明の概念は、関心領域の複数のビューから隣り合う画像、すなわち、複数の画像の各々が関心領域の異なるビューのものである関心領域の複数の画像を処理することによって、現行のＣＡＤｅシステムの制限を克服する。本発明の概念のシステム及び方法は、本発明の概念の範囲を逸脱することなく、関心領域の同じビューの複数の画像を利用できることが予見される。複数の画像を使用して、病変のコンピュータ支援検出ＣＡＤｅにおけるアーチファクトの干渉効果を減少させることができる。

[0061] 本発明の概念は、有利には、現行の単一、二重、又は容積測定視点画像ＣＡＤｅシステム全体にわたって性能を向上させるために、トランスデューサ角度を変えること、又は、容積測定胸部全体超音波データからのシーケンスをシミュレートすることから取得される、多数の視点に関連する情報を利用する。例えば、特定の関心領域についての一連の画像を処理して、シーケンス内の１つの画像から次の画像への、画像のパッチの変位ベクトルを見つけることができる。パッチは、画像のシーケンスにわたるパッチ内に、形態学的特徴及びテクスチャ特徴の同様のセットを有するものとして定義される。ＲＯＩについてＣＡＤｅを使用する病変の検出可能性を増加又は減少させるために、結果として生じる変位ベクトル及びシーケンス全体にわたるパッチの平均グレースケール変化が使用される。

[0062] 更に、静的ＣＡＤｅシステムから検出される病変の信頼水準を提供するために、画像間のＲＯＩの持続性を使用することができる。オペレータは、最高の信頼水準で、関心領域及びその周囲でのＣＡＤｘ診断のために画像を記録することができる。

[0063] 図１Ａは、１つ以上の段階を含む画像分析プロセスを実行するために利用可能な、例示的なＣＡＤシステム２０を示す。図に示されるように、ＣＡＤシステム２０は、放射線ワークステーション２２、ＤＩＣＯＭウェブビューワアクセス２４、ＰＡＣＳサーバ２６、及びＣＡＤデバイス２８を備え得る。放射線ワークステーション２２は、少なくとも１つの高精細モニタ、調節可能な臨床医／オペレータデスク、電源、デスクトップコンピュータ又は他のこうしたコンピューティングデバイス、ケーブル周辺機器、電源、及びＰＡＣＳバックライトなどのＰＡＣＳ特有の周辺機器、並びに、ＰＡＣＳモニタデバイスホルダ／フレームを備え得る。

[0064] ＰＡＣＳサーバ２６は、放射線画像などの医用画像のデジタル記憶、伝送、及び取り出しのためのシステムを備え得る。ＰＡＣＳサーバ２６は、画像診断法と直接インターフェースするソフトウェア及びハードウェア構成要素を備え得る。画像は、表示及びレポートのために、ＰＡＣＳサーバ２６から外部デバイスに転送され得る。ＣＡＤデバイス２８は、ＰＡＣＳサーバ２６からの画像、又は放射線ワークステーション２２から直接の画像に、アクセスし得る。

[0065] ＣＡＤウェブ及び処理サーバ又は他のＣＡＤコンピューティングデバイスを備え得る、ＣＡＤデバイス２８は、アプリケーションサーバ、ウェブサーバ、処理サーバ、ネットワークサーバ、メインフレーム、デスクトップコンピュータ、又は他のコンピューティングデバイスのうちの少なくとも１つを備え得る。ＣＡＤデバイス２８は、少なくとも１つのWindowsベース、タワー、又はラック型のファクタサーバを更に備え得る。ＣＡＤデバイス２８は、JavaScript、ＨＴＭＬ、又はＣＳＳで実装されるクライアント側ユーザインターフェースを提供するように動作可能であり得る。ＣＡＤデバイス２８は、例えば、Microsoft ASP/.NET、Ｃ＃／ＰＨＰなどにおいて実装されるサーバ側インターフェースを備え得る。ＣＡＤデバイス２８は１つ以上のクラウドサービスを利用して、放射線ワークステーション２２などの他のデバイスへとアクセス及びサービスを拡張することができる。

[0066] ＣＡＤデバイス２８は、ＤＩＣＯＭウェブビューワアクセス２４、ウェブインターフェースを使用するネットワークを介して、又はアプリケーションプログラミングインターフェース（ＡＰＩ）のうちの１つ以上を使用して、放射線ワークステーション２２と通信し得る。ＤＩＣＯＭウェブビューワアクセス２４は、医用画像ビューワを備え得、ラップトップ、タブレット、スマートフォン、インターネットテレビジョン、又は他のコンピューティングデバイスなどの現代のブラウザを備える、任意のプラットフォーム上で実行可能である。これは、ローカル又はリモードのデータをＤＩＣＯＭフォーマット（磁気共鳴映像法（ＭＲＩ）、コンピュータ断層撮影（ＣＴ）、エコー、マンモグラフィなどの医用画像データのための標準）でロードするように動作可能であり、或る画像領域についてのコントラスト、ズーム、ドラッグ、ドローイングなどの操作のための標準ツール、並びに、閾値及び鮮明化などの画像フィルタを、提供する。一実施形態において、放射線ワークステーション２２は、放射線ワークステーション２２のコンピューティングデバイスのウェブブラウザを介してＤＩＣＯＭウェブビューワアクセス２４を実装することによって、ＣＡＤデバイス２８と通信し得る。本発明の概念の態様は、１つ以上の医用画像に既にアクセスしている可能性のあるＣＡＤデバイス２８上に単独で実装され得ることを理解されたい。

[0067] ＣＡＤデバイス２８は、Ｃ＋＋で開発されたＣＡＤアプリケーション１２を使用して本発明の概念の態様を実装し得るが、他のプログラミング言語も企図される。ＣＡＤアプリケーション１２は、Windows XP、Windows Vista、Windows 7、Windows 8、Windows 10、及びそれらの組み込まれた相対物などの、オペレーティングシステムの態様と互換性があり、それらを利用することができる。ＣＡＤ病変アプリケーション１２は、ハードウェアに依存せず、アプリケーションサーバ、ネットワークサーバ、メインフレーム、デスクトップコンピュータなどの、様々な異なるコンピューティングデバイス上で実装され得る。ＣＡＤアプリケーション１２は、臨床医などのユーザによるアクセスが可能な、外部インターフェースを利用し得る。

[0068] ＣＡＤアプリケーション１２は、ＣＡＤデバイス２８などの、コンピューティングデバイスのオペレーティングシステム上にインストールされるか、又は他の方法で常駐し得る。ＣＡＤアプリケーション１２は、内部に常駐しているオペレーティングシステムの外部の任意のコア機能に依拠する必要のない、自己完結型アプリケーションを備え得る。ＣＡＤアプリケーション１２は、ＣＡＤ病変アプリケーション１２がＤＩＣＯＭデータを受信すること、並びにトランザクションの発信元へこうしたデータを戻すことを可能にする、ＤＩＣＯＭインターフェースを含み得る。

[0069] 図１Ｂは、本明細書で説明するような図１Ａのシステム２０と同様の１つ以上の段階を含む画像分析プロセスを実行することを含む、画像処理を実装するためのシステム１００の別の実施形態である。図に示されるように、システム１００は、画像生成デバイス１０２、画像のセット１０４又は画像フレーム、及び画像１０４を処理するためのコンピューティングデバイス１０６を備える。システム２０及びシステム１００は相互排他的ではないため、本明細書で説明するＣＡＤ処理の発明の概念は、システム２０及び／又はシステム１００からの特徴を含み得ることを理解されたい。

[0070] 図１Ａ及び図１Ｂは、図１０のプロセスフロー１０００を参照しながら説明し得る。ブロック１００２において、複数の画像フレームがコンピューティングデバイスによってアクセスされ得る。図１０のコンピューティングデバイスは、ＣＡＤデバイス２８又はコンピューティングデバイス１０６であってよい。コンピューティングデバイス１０６はＣＡＤデバイスに限定されず、デスクトップ、ラップトップ、あるいはサーバ又はモバイルデバイスであってよい。画像フレームは、トランスデューサ、３Ｄ超音波、連続Ｘ線ビームを使用する蛍光透視デバイスなどの、任意の数又はタイプの画像生成デバイスを含み得る、画像生成デバイス１０２を使用して生成され得る。画像フレーム又は画像は、画像生成デバイス１０２を使用して生成されるような図１Ｂの画像１０４として示される。画像１０４は、時間レンジにわたって撮影され得るか、又は空間関係及び位置に基づいて生成され得る。例えばオペレータは、或る時間期間の間、患者の或るエリアのわずかに上でトランスデューサを動かし、その時間期間の間に画像１０４の多くを生成し得るため、画像の各々は所定の時間間隔に関連付けられることになる。他の実施形態において、例えば３Ｄ超音波の場合、画像１０４などの複数の画像はほぼ同時に撮影され得る。この場合、画像は固有の空間識別子に関連付けられ、すなわち画像は、特定の時間間隔ではなく、患者の特定の位置又はセクションに関連付けられ得る。本明細書で説明するように、関心領域が経時的又は空間的に複数の画像フレームにわたって持続するものと決定された場合、ＲＯＩは偽陽性として除外され得る。

[0071] ブロック１００４に示されるように、関心領域はブロック１００２の複数の画像フレームのうちの第１の画像フレームから識別される。言い換えれば、ブロック１００４は、更なる評価を必要とする病変又は異常の可能性がある画像１０４から、関心領域（ＲＯＩ）を自動的に検出することを含み得る、画像処理／分析の段階を含み得る。この段階はＣＡＤｅと示され得、下付き文字ｅは関心領域内での推定上の病変又は異常の検出を示す。複数の画像フレームには、ＰＡＣＳサーバ２６などのＰＡＣＳサーバからアクセス可能であるか、又は、画像生成デバイス１０２によって生成され得る。

[0072] ブロック１００６に記載されるように、コンピューティングデバイス１０６などのコンピューティングデバイスは、画像１０４の第１の画像フレーム及び他の画像フレームを処理して、関心領域（ＲＯＩ）が偽陽性であるか、又は更なる分析が必要であるかを判定するために使用され得る。より具体的に言えば、ブロック１００４において、ＲＯＩが病変又は異常を含み得るものと識別された場合、ＣＡＤｘプロセス／段階が実行され得る。ＣＡＤｘ段階において、含まれる病変ががん性又は良性である可能性を決定するために、ＲＯＩが分析される。下付き文字ｘは診断を示す。ブロック１００８に示されるように、処理は、関心領域が複数のフレームにわたって又はそれらの間で、持続しているかどうかを判定するために、第１の画像フレームの特徴を他の画像フレームの特徴と比較することを含む。

[0073] ブロック１００６及びブロック１００８に記載されるように、ＣＡＤｘ段階を使用して画像フレームを処理することは、本明細書で説明するようなオプティカルフロー法、ブロックベース法、マッピング機能などの、様々な異なる可能なサブ方法を含み得る。例えば、ＣＡＤデバイス２８又はコンピューティングデバイス１０６の少なくとも１つのプロセッサを使用して、フレーム間のオブジェクトの追跡情報を決定するために、オプティカルフロー技法及びブロックマッチングを介して、時間／順次フレーム間のマッピングを計算することができる。独立したＲＯＩは、シーケンスの視点ごとに１つの画像を処理する静的なＣＡＤｅ技法を使用して識別され得る。その後、追跡情報を使用して、フレームにわたるＲＯＩが持続性ＲＯＩと相関するかどうかを判定することができる。真の病変又は異常は多くのフレームにわたって持続するはずであるが、その一方で、偽陽性はそうではない。真陽性率を低下させることを犠牲にして偽陽性の減少を制御するために、例えば、コンピューティングデバイス又はＣＡＤデバイス２８のインターフェースを介して、フレームの数をユーザによって手動で又は自動的に適合させることができる。

[0074] オプティカルフロー法を用いて取得される追跡情報を使用する、ＲＯＩの重複の度合いを使用して、フレーム間で病変が同じであるか、又は単なる２つの偽陽性であるかを、判定することも可能である。より多くの偽陽性を減少させるか、又は真の検出の数を増加させるために、重複の度合いを調節することができる。本明細書で説明する方法の実行は、静的ＣＡＤｅ手法を使用して達成されたものと同じ真陽性率を維持しながら、偽陽性の数を減少させることがわかっている。

[0075] 一実施形態において、ブロック１００６及びブロック１００８の態様を実装するために、関心領域に関連付けられたピクセル及びベクトルを分析することによって、画像フレームは第１の画像フレームと相関され得る。言い換えれば、画像フレームは第１の画像フレームと相関され得、画像フレームと第１の画像フレームとが同じ方向に移動する同様のピクセル及びベクトルを示す。

[0076] ＣＡＤシステム２０又はシステム１００を使用して画像から抽出される病変の形態、テクスチャ、及び他の特徴は、推定上の病変を検出するように分類器をトレーニングするための特徴として使用可能であることが企図される。更に、ビデオの個々のフレーム又は静止医用画像について推定上の病変を検出するために、静的方法が使用可能であることが企図される。本明細書における目的の場合、静的方法は、１つの独立した、２つの直交した画像視点、又は容積測定データセットからキャプチャ又は要約された画像のいくつかのサブセットについて処理可能な、ＣＡＤｅ法である。ＣＡＤｅ法は、形態及びテクスチャに限定されず、１つの画像内の疑わしいエリアについて探索する任意の方法を含む。例えば、Viola-Jones法のようなカスケードアダブースト法、畳み込みニューラルネットワーク（ＣＮＮ）、Haralickを使用するサポートベクターマシン（ＳＶＭ）、及び他の特徴は、静的ＣＡＤｅ法に使用され得る技法である。ＣＡＤシステム２０又はシステム１００及び本明細書で説明する方法を、リアルタイムの医用画像アプリケーション、例えば超音波画像システムで使用可能な動的な情報と共に使用することで、静的ＣＡＤｅシステムの性能を強化させることができる。オプティカルフロー又はオプティックフローは、視覚シーンにおけるオブジェクト、表面、及び縁部の明らかな動きのパターンである。順序付けされた画像のシーケンスにより、瞬間画像速度又は離散画像変位のいずれかとして動きを推定することができる。オプティカルフロー法は、勾配ベース又は特徴ベースの方法に分割され、動きが推定されるオブジェクトの確率又は決定性のモデルを使用することができる。オプティカルフローアルゴリズムは、位相層間、ブロックベース法、Lucas-Kanade法のような差分法、Horn-Schunck法、Buxton-Buxton法、Black-Jepson法、一般変分法、及び離散最適化法を含むが、限定されない。ブロックマッチング法は、ここでは、シーケンス内の画像間でピクセルのパッチにおけるグレースケール変化の追跡として説明され得る。

[0077] 一実施形態において、本発明の概念のシステム及び方法は、有利には、静的ベースのＣＡＤｅ手法を使用して各フレームについてＲＯＩを別々に計算することができる。本発明の概念のシステム及び方法は、様々な視点から撮影したＲＯＩのビデオシーケンス内の連続するフレーム間での追跡情報を決定するために、オプティカルフロー法のうちの好ましい方法を使用することが可能であった。具体的に言えば、追跡情報は、静的ＣＡＤｅ手法を使用して各フレーム内で独立に取得されるＲＯＩが、オプティカルフローベクトル場を使用して相互に相関可能であるかどうかを特定するために使用され得る。持続性は、ＲＯＩの重複の割合に基づいてＲＯＩが追跡され得るフレームの数として測定される。持続性因子は、持続性の低い推定上の病変をフィルタ除去するために使用される。オプティカルフロー法を使用していくつかのフレームを介して追跡されないいずれのＲＯＩも、偽陽性であるものと判定又は見なされ得る。フレームの持続性因子又は数は、病変が見逃される可能性が大きくなることを犠牲にして、偽陽性を更に減少させるように適合可能である。追跡される予測及び実際のＲＯＩの位置に基づくＲＯＩの重複の度合いを、偽陽性の数を減少させるか又は真陽性の数を増加させるように適合することも可能である。前述の内容は、本発明の概念の一態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するために、コンピュータ支援検出の方法を提供することによって達成され得る。

[0078] いくつかの実施形態において、本明細書で説明するようにＣＡＤシステムを利用する例示的な方法は、真の検出の感度又は数を保持しながら、偽陽性の数を減少させるために時間情報を使用するステップを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。

[0079] 例示的方法は、追跡情報を使用する各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つけられたＲＯＩ間の相関を決定するステップを更に含み得る。例示的方法は、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用してＲＯＩが現れるフレームの数として、持続性を測定するステップを更に含み得る。例示的方法は、予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するステップを更に含み得る。本発明の概念は、リアルタイムで、又はシネループなどの記録されたビデオ上で、実装可能である。本発明の概念によってキャプチャされる任意の画像及び／又はビデオは、シネループなどであるが限定されない、２次元画像及び／又はビデオであり得ることが予見される。例えば、超音波プロシージャにおいて使用されるシネループは、本発明の概念のプロセス及び／又は方法に組み込むことができる。更に、本発明の概念のシステム及び方法のうちの少なくとも１つ以上の部分及び好ましくはすべての部分は、医用におけるデジタル画像と通信（ＤＩＣＯＭ）フォーマット基準を利用し、これに準拠することが予見される。このようにして、本発明の概念のシステム及び方法は、ＤＩＣＯＭファイルフォーマットの定義、ネットワーク通信プロトコルなどを利用する。

[0080] フレーム間の対応及び関係を決定することに加えて、本明細書で説明するオプティカルフロー法は、せん断力及び圧縮力に対する組織の反応を特徴付けるために使用することができる。オペレータがトランスデューサに圧力を印加することによって、試験の間にそれらの力がトランスデューサを移動させるため、これらの力が付与され得る。セル密度における変化の結果として、ある種の病変は異なるレベルの剛性及び変形性を示す場合があることは周知の事実である。本明細書で説明するシステムは、空間又は時間フレームにわたって関心領域の位置及び形状を追跡する際に、その周囲に関してその領域の圧縮率も推測することができる。その後、この特徴を利用して、その領域が異常又は正常な組織に相当するか否かの判定を支援することができる。

[0081] 本発明の概念の態様は、本明細書で説明する画像間のマッピング又は追跡情報を生成するために、１つ以上のオプティカルフローセンサを利用し得る。オプティカルフローセンサは、オプティカルフロー又は視覚的動きを測定し、測定値を出力するように動作可能な、視覚センサを備え得る。説明するようなオプティカルセンサの様々な実施形態は、オプティカルフローアプリケーションを実行するように動作可能なプロセッサと共に、プロセッサに結合された画像センサチップを含み得る。他の実施形態は、密度を増加させ空間を減少させるために共通ダイ又は同様の構成要素上に配設される画像センサ及びプロセッサを備える、集積回路としての視覚チップを含み得る。

[0082] 別の実施形態において、検出精度を向上させるために、特徴特性を時間的に分析するプロセスが（単独で、又は上記と組み合わせて）実装され得る。持続特性を決定することで、数個の時間フレーム内でのみ検出され、動きフィールド又は追跡情報に従わないランダムな場所に現れる瞬間的な異常から、真の病変を識別することを容易にし得る。具体的に言えば、上記で説明したものと同様のオプティカルフロー法を利用して、マッピング機能を見つけることができる。マッピング又は追跡情報を使用して、追跡情報が、静的（２Ｄ）ＣＡＤｅ手法を使用して各時間フレーム（又は、少なくとも複数の時間フレーム）内で見つかった関心領域（ＲＯＩ）と相関可能であるかどうかを特定することができる。偽陽性は一般に非常にわずかなフレームの間のみ持続し、オプティカルフロー追跡情報と相関しないランダムな位置に現れるという理解の下で、真の病変は、多くのフレームにわたって追跡可能なＲＯＩとして識別され得る。言い換えれば、本新規な概念は、有利には、任意の静的ＣＡＤｅシステムの性能を向上させるために時間情報を利用する。本発明の概念のマッピング機能は、医用画像の連続する時間フレーム間の動き又は追跡情報を決定するために振幅及びベクトルマッピングを含み得る。

[0083] 本発明の概念は、２つの段階を含み得る画像分析プロセスを実行するために、ＣＡＤシステム２０などのＣＡＤシステムを利用することを含み得る。プロセスの第１の段階は、更なる評価を必要とする病変又は異常であり得る関心領域（ＲＯＩ）を自動的に検出することであり得る。この段階はＣＡＤｅと示され得、下付き文字ｅは、関心領域内の推定上の病変又は異常の検出を示す。ＲＯＩが病変又は異常を含み得るものと識別された場合、プロセスの次の段階、すなわちＣＡＤｘが自動的に実行され得る。ＣＡＤｘ段階において、含まれる病変ががん性又は良性である可能性を決定するためにＲＯＩが分析される。下付き文字ｘは診断を示す。

[0084] 説明したシステムを使用して、順次ビデオフレーム内で自動的に検出されるＲＯＩの時間持続性を検出するために医用画像のコンピュータ支援検出が実行され得る。ＲＯＩの時間持続性の検出を使用して、偽陽性の数を減少させながら、真の病変又は他の異常の検出の確率を高めることができる。一実施形態において、本発明の概念は、フレーム間のオブジェクトの追跡情報を決定するために、オプティカルフロー技法を介した時間フレーム間のマッピングを利用する。独立したＲＯＩは、いかなる時間情報もなしに、一度に１つのフレームを処理する静的ＣＡＤｅ技法を使用して識別され得る。追跡されるグループとＲＯＩがフレームにわたって相関するかどうかを判定するために、追跡情報が使用される。真の病変又は異常は多くのフレームにわたって持続するはずであるのに対して、偽陽性はそうではない。真陽性率を低下させることを犠牲にして偽陽性の減少を制御するために、例えば、本発明の概念のインターフェース及び／又は所定の構成を介して、フレームの数をユーザによって手動で又は自動的に適合させることができる。オプティカルフロー法を用いて取得される追跡情報を使用する、ＲＯＩの重複の度合いを使用して、フレーム間で病変が同じであるか、又は単なる２つの偽陽性であるかを、判定することも可能である。より多くの偽陽性を減少させるか、又は真の検出の数を増加させるために、重複の度合いを調節することができる。本新規の動的方法の実行は、静的ＣＡＤｅ手法を使用して達成されたものと同じ真陽性率を維持しながら、偽陽性の数を減少させることがわかっている。

[0085] 分類のための病変の形態、テクスチャ、及び他の特徴は、そのうちのいくつかが一般に使用される特徴であり得、その立場でこの推定上の病変を検出するように分類器をトレーニングするための特徴として使用可能であることが予見される。更に、ビデオの個々のフレーム又は静止医用画像について推定上の病変を検出するために、静的方法が使用可能であることが予見される。本明細書における目的の場合、静的方法はＣＡＤｅ法を含み得る。ＣＡＤｅ法は、形態及びテクスチャに限定されず、１つの画像内の疑わしいエリアについて探索する任意の方法を含む。例えば、Viola-Jones法のようなカスケードアダブースト法、畳み込みニューラルネットワーク（ＣＮＮ）、Haralickを使用するサポートベクターマシン（ＳＶＭ）、及び他の特徴は、静的ＣＡＤｅ法に使用され得る技法である。本発明の概念のシステム及び方法を、リアルタイムの医用画像アプリケーション、例えば超音波画像システムで使用可能な動的な情報と共に使用することで、静的ＣＡＤｅシステムの性能を高めることができる。

[0086] オプティカルフロー又はオプティックフローは、視覚シーンにおけるオブジェクト、表面、及び縁部の明らかな動きのパターンである。順序付けされた画像のシーケンスにより、瞬間画像速度又は離散画像変位のいずれかとして動きを推定することができる。オプティカルフロー法は、勾配ベース又は特徴ベースの方法に分割され、動きが推定されるオブジェクトの確率又は決定性のモデルを使用することができる。オプティカルフローアルゴリズムは、位相層間、ブロックベース法、Lucas-Kanade法のような差分法、Horn-Schunck法、Buxton-Buxton法、Black-Jepson法、一般変分法、及び離散最適化法を含むが、限定されない。

[0087] 一実施形態において、本発明の概念のシステム及び方法は、有利には、検出されたＲＯＩにおいて真の病変を検出する可能性を向上させるために、ビデオ画像の順次フレーム間でマッチングプロセスを利用する。本発明の概念のシステム及び方法は、有利には、１つの画像内のＲＯＩのサブ領域を別の画像の同様のサブ領域とマッチングするために、オプティカルフロー法を利用する。

[0088] 一実施形態において、本発明の概念のシステム及び方法は、有利には、静的ベースのＣＡＤｅ手法を使用して各フレームについてＲＯＩを別々に計算する。本発明の概念のシステム及び方法は、ビデオシーケンス内の連続するフレーム間での追跡情報を決定するために、オプティカルフロー法を更に利用し得る。追跡情報は、静的ＣＡＤｅ手法を使用して各フレーム内で独立に取得されるＲＯＩが、オプティカルフローベクトル場を使用して相互に相関可能であるかどうかを特定するために使用される。持続性は、ＲＯＩの重複の割合に基づいてＲＯＩが追跡され得るフレームの数として測定される。持続性因子は、持続性の低い推定上の病変をフィルタ除去するために使用される。オプティカルフロー法を使用していくつかのフレームを介して追跡されないいずれのＲＯＩも、偽陽性であるものと判定される。フレームの持続性因子又は数は、病変が見逃される可能性が大きくなることを犠牲にして、偽陽性を更に減少させるように適合可能である。追跡される予測及び実際のＲＯＩの位置に基づくＲＯＩの重複の度合いを、偽陽性の数を減少させるか又は真陽性の数を増加させるように適合することも可能である。

[0089] 前述の内容は、本発明の概念の一態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するために、コンピュータ支援検出の方法を提供することによって達成され得る。方法は、真の検出の感度又は数を保持しながら、偽陽性の数を減少させるために時間情報を使用するステップを含み得る。時間情報は、オプティカルフロー技法を使用して決定され得る。

[0090] 方法は、追跡情報を使用する各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つけられたＲＯＩ間の相関を決定するステップを含み得る。方法は、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用してＲＯＩが現れるフレームの数として、持続性を測定するステップを含み得る。方法は、予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するステップを更に含み得る。

[0091] 本発明の概念によってキャプチャされる任意の画像及び／又はビデオは、シネループなどであるが限定されない、２次元画像及び／又はビデオであり得ることが予見される。例えば、超音波プロシージャにおいて使用されるシネループは、本発明の概念のプロセス及び／又は方法に組み込むことができる。更に、本発明の概念のシステム及び方法のうちの少なくとも１つ以上の部分及び好ましくはすべての部分は、医用におけるデジタル画像と通信（ＤＩＣＯＭ）フォーマット基準を利用し、これに準拠することが予見される。このようにして、本発明の概念のシステム及び方法は、ＤＩＣＯＭファイルフォーマットの定義、ネットワーク通信プロトコルなどを利用する。

[0092] ＲＯＩは静的ＣＡＤｅ法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。

[0093] 前述の内容は、本発明の概念の別の態様において、コンピュータ支援検出システムを使用して病変又は異常を検出する方法を提供することによって達成され得る。方法は、画像データ、ビデオクリップ、及び／又はそれらのシーケンス、及び／又はそれらの組み合わせを収集するステップと、画像データに関連付けられた時間情報を収集するステップと、及び／又は、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するステップとを、含む。画像データは２Ｄ画像データであってよい。方法は、システムの性能を向上させるために、少なくとも１つのオプティカルフロー技法を一時的に使用するステップを含み得る。

[0094] 前述の内容は、本発明の概念の別の態様において、病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するように構成された、コンピュータ支援検出システムを提供することによって達成され得る。システムは、減少させるように構成された、プロセッサを含み得る。

[0095] 本開示のシステムは、追跡情報を使用して各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つかったＲＯＩ間の相関関係を決定するように構成された、（例えば、ＣＡＤデバイス２８の）プロセッサによって実行される、相関エンジンを含み得る。プロセッサは、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、追跡情報を使用して、ＲＯＩが現れるフレームの数として持続性を測定するように構成され得る。プロセッサは、予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するように構成され得る。ＲＯＩは、静的ＣＡＤｅ法を使用して検出され得る。重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する。

[0096] 前述の内容は、本発明の概念の別の態様において、病変又は異常を検出するように構成されたシステムを提供することによって達成され得る。システムは、画像データ及び時間情報を受信するように構成されたプロセッサ、及び／又は、画像データ及び時間情報を記憶するように構成されたメモリを含み得る。プロセッサは、画像データ及び時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、画像データ及び時間データを処理するように構成され得る。

[0097] 要するに、コンピュータ支援検出（ＣＡＤ又はＣＡＤｅ）システムを使用して、医用画像内の病変又は関心領域（ＲＯＩ）を検出することができる。ＣＡＤシステムは、ＲＯＩが画像内に病変を含む可能性を推定するために形態及びテクスチャ特徴を使用し得る。病変のサイズ、形状、配向、及び不明瞭な境界、並びに背景ノイズにおける大きな変動は、通常の背景構造又は組織特性から実際の病変を区別するのを困難にする。従来の検出法は、システムが偽陰性又は見逃される病変の受け入れ可能な数について設定されたときに、１つも存在しない場合、多くの偽陽性又は病変の検出を生成し得る。マンモグラフィＣＡＤでは、真に検出されるあらゆるがんについて何千もの偽陽性を有することは普通であるため、システムを放射線科医が使用するには非効率的である。説明する本発明の概念は、経時的な持続性を伴って検出されたＲＯＩを識別するためにオプティカルフロー法を使用することによって、この制限を克服する。潜在的な病変の持続特性は、偽陽性を減少させるのと同時に、真の病変の検出の可能性を向上させるのに役立つ。この新しい動的な方法は、自動ＲＯＩ病変検出のための静的ＣＡＤｅ法に勝る、改善された性能を提供する。

[0098] 図１１は、図１０のプロセスフロー１０００と同様の、本発明の概念の態様を実装するための別の例示的なプロセスフロー１１００である。ブロック１１０２に示されるように、或る機能を実行するためにＣＡＤデバイスが実装され得る。具体的に言えば、ブロック１１０４において、ＣＡＤデバイスは、患者の所定の時間間隔又は空間エリアに関連付けられた順次画像フレームにアクセスすることができる。ブロック１１０６において、１つ以上の順次画像フレーム内の関心領域が識別され得る。ブロック１１０８において、順次画像フレームを処理するため、及び、シーケンス内の１つ以上の画像フレーム間で関心領域が持続するかどうかを判定するために、オプティカルフロー又はマッピング機能が実装され得る。ブロック１１１０において、持続性値が生成され得る。ブロック１１１２に示されるように、持続性値は、順次画像フレームのフレーム間での関心領域の重複の度合いに基づくものである。

[0099] ディスプレイデバイス１０８は、画像を処理するため、又は処理後に画像１０４を表示するために、コンピューティングデバイス１０６を用いて更に実装され得る。いくつかの実施形態において、ディスプレイデバイスはコンピューティングデバイス１０６に直接結合されるか、又はデバイスは同じデバイスの一部である。

[0100] 本発明の概念の追加の態様、利点、及び効用は、一部は本説明及び図面に記載され、一部は本説明及び図面から明らかとなるか、又は、本発明の概念の実践によって習得され得る。本説明及び図面は例示的なものであることが意図され、限定的であるものとは意図されていない。本発明の概念の多くの特徴及びサブコンビネーションが作成可能であり、本説明及び図面を研究することで容易に明白となろう。これらの特徴及びサブコンビネーションは、他の特徴及びサブコンビネーションを考慮することなく用いられ得る。

Claims (52)

1. 命令を記憶するためのメモリを備えるコンピューティングデバイスを利用することを含む、方法であって、前記命令は、
   複数の画像フレームにアクセスする動作と、
   前記複数の画像フレームのうちの第１の画像フレームから関心領域を識別する動作と、
   前記関心領域が偽陽性であるかどうかを判定するために前記複数の画像フレームのうちの前記第１の画像フレーム及び第２の画像フレームを処理する動作であって、前記関心領域が偽陽性であるかどうかは、
   前記関心領域が前記第１の画像フレーム及び前記第２の画像フレームにわたって持続するかどうかを判定するために、前記第１の画像フレームの特徴と前記第２の画像フレームの特徴とを比較することによって、判定される、
   処理する動作と、
   を実施するために、プロセッサによって実行される、方法。
2. 前記複数の画像フレームが共に時間的に近い画像特徴のシーケンスを備えるように、所定の時間レンジ内に前記複数の画像フレームを生成すること、
   を更に含む、請求項１に記載の方法。
3. 前記複数の画像フレームが互いにごく接近しているように、所定の時間レンジ内に前記複数の画像フレームを生成すること、
   を更に含む、請求項１に記載の方法。
4. 二乗差の合計又は絶対差の合計を最小化するため、又は、前記第１の画像フレームの前記特徴と前記第２の画像フレームの前記特徴との間の前記オプティカルフロー又は動きに関連付けられた正規化相互相関を最大化するために、ブロックベース法を利用することによって、前記第１の画像フレームの前記特徴を、前記第２の画像フレームの前記特徴と比較すること、
   を更に含む、請求項１に記載の方法。
5. 前記関心領域の位置及び形状を追跡すること、及び、
   前記関心領域が異常又は正常な組織に相当するかどうかを判定するために、周囲の特徴に関して前記関心領域の圧縮率を推測すること、
   によって、前記第１の画像フレームの前記特徴を前記第２の画像フレームの前記特徴と比較すること、
   を更に含む、請求項１に記載の方法。
6. トランスデューサ、超音波、又は蛍光透視デバイスを使用して前記複数の画像特徴を生成すること、を更に含み、
   前記コンピューティングデバイスはコンピュータ支援診断デバイスを備える、
   請求項１に記載の方法。
7. 前記関心領域に関連付けられたピクセルのグループを識別すること、
   前記関心領域に関連付けられた第１のベクトルを生成すること、
   前記ピクセルのグループの動きを決定すること、及び、
   前記ピクセルのグループの前記動きに関連付けられた第２のベクトルを生成すること、
   によって、前記第１の画像フレームの前記特徴を前記複数の画像フレームの追加の画像フレームの特徴と比較すること、
   を更に含む、請求項１に記載の方法。
8. 前記第１の画像フレームの前記特徴及び前記第２の画像フレームの前記特徴に関連付けられた、画像速度又は離散画像変位を利用すること、
   によって、前記第１の画像フレームの前記特徴を前記複数の画像フレームの追加の画像フレームの特徴と比較すること、
   を更に含む、請求項１に記載の方法。
9. 前記関心領域が存在する前記複数の画像フレームの画像フレームの数を測定すること、
   前記関心領域が存在する前記複数の画像フレームの前記画像フレームの数が、所定の値よりも下である場合、関心領域が前記偽陽性であると決定すること、
   によって、前記第１の画像フレームの前記特徴を前記複数の画像フレームの追加の画像フレームの特徴と比較すること、
   を更に含む、請求項１に記載の方法。
10. 病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するためのコンピュータ支援検出の方法であって、
    真の検出の感度又は数を保持又は増大させながら、偽陽性の数を減少させるために、２つの隣り合う画像フレームに関連付けられた持続的な空間及び／又は時間情報を使用するステップ、
    を含む、コンピュータ支援検出の方法。
11. １つ以上のオプティカルフロー技法を使用して、持続的な空間及び／又は時間情報を決定するステップ、
    を更に含む、請求項１０に記載の方法。
12. 追跡情報を使用して各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つかったＲＯＩ間の１つ以上の相関関係を決定するステップ、
    を更に含む、請求項１０に記載の方法。
13. 低持続性を有するものと偽陽性を決定するため、及び高持続性を有するものと真陽性を決定するために、前記追跡情報を使用して、ＲＯＩが現れるフレームの数として持続性を測定するステップ、
    を更に含む、請求項１２に記載の方法。
14. 予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するステップ、
    を更に含む、請求項１２に記載の方法。
15. 前記ＲＯＩは、前記静的ＣＡＤｅ法を使用して検出される、
    請求項１４に記載の方法。
16. 重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する、
    請求項９に記載の方法。
17. コンピュータ支援検出システムを使用して病変又は異常を検出する方法であって、
    画像データ、ビデオクリップ、及び／又はシーケンスを収集するステップと、
    前記画像データに関連付けられた時間情報を収集するステップと、
    前記画像データ及び前記時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、前記画像データ及び前記時間データを処理するステップと、
    を含む、病変又は異常を検出する方法。
18. 前記画像データは２Ｄ画像データである、
    請求項１７に記載の方法。
19. 前記システムの性能を向上させるために、少なくとも１つのオプティカルフロー技法を一時的に使用するステップ、
    を更に含む、請求項１３に記載の方法。
20. 病変又は異常を含む可能性が高い関心領域（ＲＯＩ）を識別するように構成された、コンピュータ支援検出システムであって、
    時間情報を使用して真の検出の感度又は数を保持しながら、偽陽性の数を減少させるように構成された、プロセッサ、
    を備える、コンピュータ支援検出システム。
21. 前記時間情報は、１つ以上のオプティカルフロー技法を使用して決定される、
    請求項２０に記載のシステム。
22. 追跡情報を使用して各画像フレームについて別々に、従来の静的ＣＡＤｅ手法を使用して見つかったＲＯＩ間の相関関係を決定するように構成された、相関エンジン、
    を更に備える、請求項２０に記載のシステム。
23. 前記プロセッサは、偽陽性又は低持続性及び真陽性又は高持続性を決定するために、前記追跡情報を使用して、ＲＯＩが現れるフレームの数として持続性を測定するように構成される、
    請求項２０に記載のシステム。
24. 前記プロセッサは、予測されるＲＯＩの重複の度合いを追跡運動ベクトルによって与えられるものとして決定することによって、持続性を測定するように構成される、
    請求項２０に記載のシステム。
25. 前記ＲＯＩは前記静的ＣＡＤｅ法を使用して検出される、
    請求項２２に記載のシステム。
26. 重複の度合いが大きいほど、真の病変の可能性が高いか、又は偽陽性の可能性が低いことに対応する、
    請求項２２に記載のシステム。
27. 病変又は異常を検出するように構成されたシステムであって、前記システムは、画像データ及び時間情報を受信するように構成されたプロセッサと、前記画像データ及び前記時間情報を記憶するように構成されたメモリとを備え、
    前記プロセッサは、前記画像データ及び前記時間データに関連付けられた相違を検出するため、及び、偽陽性の病変又は異常の検出数を減少させるために、前記画像データ及び前記時間データを処理するように構成される、
    病変又は異常を検出するように構成されたシステム。
28. 前記画像データは２Ｄ画像データである、
    請求項２７に記載のシステム。
29. 前記プロセッサは、前記システムの性能を向上させるために少なくとも１つのオプティカルフロー技法を一時的に使用するように構成される、
    請求項２８に記載のシステム。
30. 前記プロセッサを介して、オプティカルフロー計算によって生成される１つ以上のベクトル場から圧縮率を推測するステップと、
    前記オプティカルフロー計算によって生成される前記１つ以上のベクトル場から前記圧縮率を利用することによって、診断結論を形成するステップと、
    を更に含む、請求項２４に記載のシステム。
31. 少なくとも１つの有形記憶媒体と通信する少なくとも１つの処理ユニットを備えるコンピューティングデバイスを利用することを含む、方法であって、前記有形記憶媒体は、
    所定の時間間隔に関連付けられた順次画像フレームにアクセスする動作と、
    前記順次画像フレームに関連付けられた関心領域を識別する動作と、
    前記順次画像フレーム間で追跡又はマッピング情報を生成するために、オプティカルフローを利用する動作と、
    前記関心領域が現れるか、あるいは、前記追跡又はマッピング情報を使用して前記順次画像フレームのうちの特定のフレーム間で相関可能な、前記順次画像フレームの数として、持続性値を生成する動作と、
    を実施するための、コンピュータ実行可能命令を含む、
    方法。
32. 前記持続性値は、追跡運動ベクトルによって与えられる前記順次画像フレームのフレーム間での前記関心領域の所定の重複の度合いに基づくものであり、前記所定の重複の度合いは、偽陽性を更に減少させるため、又は真の検出の数を増加させるために調節可能である、
    請求項３１に記載の方法。
33. 前記持続性値を生成することは、前記順次画像フレームの第１のフレームに関連付けられた第１の関心領域が、オプティカルフローベクトル場を使用して、前記順次画像フレームの第２のフレームに関連付けられた第２の関心領域と相関可能であるかどうかを、判別することを含む、
    請求項３１に記載の方法。
34. 一度に１つの前記順次画像フレームの少なくとも一部の各々の内部の前記関心領域を検出する、静的な２次元ＣＡＤｅ手法を使用して、前記順次画像フレームに関連付けられたものとして前記関心領域を識別することを更に含み、前記関心領域は、更なる評価を必要とする可能な病変又は異常に関連付けられる、
    請求項３１に記載の方法。
35. 前記追跡又はマッピング情報を生成するために、前記オプティカルフローを使用する機能を生成すること、
    を更に含み、
    前記機能は、前記順次画像フレームの連続する時間フレーム間で動き又は追跡情報を決定するための振幅及びベクトルマッピングを含み、前記順次画像フレームは、医用画像の連続する時間フレームを含む、
    請求項３１に記載の方法。
36. 真陽性率を低下させることを犠牲にして偽陽性の減少を制御するために、前記コンピューティングデバイスに結合されたインターフェースを介して、前記順次画像フレームの数を適合させること、
    を更に含む、請求項３１に記載の方法。
37. コンピュータ支援検出（ＣＡＤ）デバイスを備える装置であって、
    前記コンピュータ支援検出（ＣＡＤ）デバイスは、
    所定の時間期間にわたる画像フレームに関連付けられた関心領域の時間持続性値を決定するために、画像フレームと共にオプティカルフローを利用するように動作可能である、
    コンピュータ支援検出（ＣＡＤ）デバイスを備える装置。
38. 前記持続性値は、前記画像フレームの数の前記関心領域の重複の割合に基づいて前記関心領域が追跡可能である、前記画像フレームの前記数として測定される、
    請求項３７に記載の装置。
39. 前記ＣＡＤデバイスは、前記画像フレームの第１の画像フレームに関連付けられた第１の関心領域のサブ領域を、前記画像フレームの第２の画像フレームの同様のサブ領域とマッチングするように構成される、
    請求項３７に記載の装置。
40. 前記ＣＡＤデバイスは、推定上の病変に関連付けられた画像特徴に基づいて前記関心領域を検出するように分類器をトレーニングするために利用される、
    請求項３７に記載の装置。
41. 前記ＣＡＤデバイスは、前記オプティカルフローからマッピング又は追跡情報を生成するように構成され、
    前記ＣＡＤデバイスは、偽陽性画像特徴から前記関心領域を区別するように構成され、前記偽陽性画像特徴は、前記所定の時間期間にわたる前記画像フレームの少なくとも所定の数にわたって持続しない、
    請求項３７に記載の装置。
42. 前記ＣＡＤデバイスは、偽陽性の数を減少させながら、真の病変の検出の可能性を増大させるために、順次ビデオフレーム内で検出される関心領域の時間持続性を利用するように構成される、
    請求項３７に記載の装置。
43. 前記ＣＡＤデバイスは、前記時間フレーム間でオブジェクトの追跡情報を決定するために、オプティカルフロー技法を介して前記画像フレームの時間フレーム間でマッピングするように構成される、
    請求項３７に記載の装置。
44. 前記画像フレームは画像又はビデオを含み、
    前記画像フレームは、記憶デバイスからアクセスされ、医用におけるデジタル画像と通信（ＤＩＣＯＭ）ファイルフォーマット定義を含む、
    請求項３７に記載の装置。
45. 前記関心領域はコンピュータ支援検出ＣＡＤｅ法によって識別される、請求項１に記載の方法。
46. 前記ＣＡＤｅ法によって識別される前記関心領域は、前記ＣＡＤｅ法によって行われる真の検出から偽を識別及びラベル付けするように、オペレータによって編集される、請求項４５に記載の方法。
47. 前記オペレータが編集及びラベル付けした検出は、偽陽性を生成する可能性を減少させるように前記ＣＡＤｅ法を再トレーニングするために使用される、請求項４５に記載の方法。
48. 前記ＣＡＤｅ法によって検出されない追加の関心領域を識別することを更に含む、請求項４５に記載の方法。
49. 前記オペレータが編集及びラベル付けした検出は、偽陰性の可能性を減少させるように前記ＣＡＤｅ法を再トレーニングするために使用される、請求項４８に記載の方法。
50. 前記ＣＡＤｅ法は、複数のオペレータから収集されたデータの集約を使用して再トレーニングされる、請求項４７に記載の方法。
51. 前記ＣＡＤｅ方は、複数のオペレータから収集されたデータの集約を使用して再トレーニングされる、請求項４９に記載の方法。
52. 前記関心領域が病変に関連付けられた真の関心領域であるかどうかの決定に関して、前記オペレータにフィードバックを提供することを更に含む、請求項５１に記載の方法。

Images