JP2019536132A - 医療画像解釈用のシステムおよび方法 - Google Patents

Abstract

人工知能所見システムが所見エンジンを含み、所見エンジンは、医療画像データを受信し、医療画像データと、ユーザに関する記憶されている嗜好を考慮に入れる画像解釈アルゴリズムとに基づいて所見を生成する。クライアントビューアは、所見をユーザに提示する。調節エンジンは、ユーザが所見を調節してレポートを生成することを可能にする。追跡モジュールは、レポートを生成するときに、所見、およびユーザによって所見に対して成された調節を追跡する。追跡モジュールは、追跡情報を生成する。機械学習エンジンは追跡情報を受信し、ユーザによる所見に対して成された調節に基づいて、ユーザに関する記憶されている嗜好を調節する。

Description

本発明の実施形態は、概して、医療情報処理システムに関する。より詳細には、本発明の実施形態は、人工知能、反復画像処理エンジン訓練、および画像処理エンジン結果と医師との双方向対話を使用した医療画像解釈に関する。

今日、医療画像レビュープロセスでは、医師はしばしば、医師のレビュー用に準備された一部未完成のレポートをレビューする。未完成のレポートは、例えば、患者の病歴、医療的所見、および医療画像を含む。医療画像を前処理して、例えば、１組の２次元もしくは３次元、または時間分解４次元の所見を含むように自動的にまたは半自動的に所見を生成することができる。そのような所見は、画像から、画像処理エンジンによって画像データ内部で見出される属性に基づいて、ライン、関心領域、オーバーレイ、融合画像、体積輪郭、および情報を抽出するための計算方法によって抽出された他の特徴、解剖学的領域、病理学、生理学的徴候、時間分解所見、および他の先進の画像処理技法、またはそれらの組合せを含むことができる。現在の画像データセットを他の同様の以前に診断された患者ファイルと比較して、最新の研究結果、一連の現在の研究結果において、または以前の関連の画像研究結果の比較および分析において、もしくは新しい研究結果と古い研究結果との比較において見出される可能な所見、類似性、または異常を示唆することができる。臨床所見および測定に加えて、元の画像もしくは画像オーバーレイ、またはセグメント化された解剖学的領域、ならびに識別された特徴を記述する分析値の処理から、新たな画像を導出することができる。臨床報告システムで閲覧されることに加えて、これらの項目は、医療画像ビューア、画像保管通信システム（ＰＡＣＳ；Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）システム、および電子健康記録（ＥＨＲ；Ｅｌｅｃｔｒｏｎｉｃ Ｈｅａｌｔｈ Ｒｅｃｏｒｄ）システムで閲覧される。

一実施形態による医療データレビューシステムを示すブロック図である。 一実施形態による画像処理サーバの一例を示すブロック図である。 一実施形態による医療画像処理の処理フローを示す流れ図である。 特定の実施形態による画像処理エンジンの構成の例を示すブロック図である。 別の実施形態による医療画像処理の処理フローを示す流れ図である。 一実施形態で使用され得るデータ処理システムのブロック図である。 一実施形態による人工知能所見システムを示すブロック図である。 様々な実施形態による人工知能所見システム内の双方向データフローを示すブロック図である。 一実施形態による人工知能所見システムの一例を示す図である。 一実施形態による人工知能所見システム内部の論理フローを示す簡略化したフローチャートである。 一実施形態によるピアレビュープロセスのワークフローを示す流れ図である。

一態様によれば、ローカルに設置されたシステムおよび／またはクラウドベースのプラットフォームを利用して、研究結果の匿名化、研究結果のアップロード、新規アカウントの登録およびアクセス、コミュニティの設立、臨床諮問委員会またはグループに関するガバナンスの指定、機械学習アルゴリズム／エンジンの訓練および作成のためのツールへのアクセス、アルゴリズム／エンジンのアップロードまたはダウンロード、研究結果に関する公開アルゴリズム／エンジンへのアクセスおよび実行、ならびに確認または却下された所見に基づく使用数、精度、および信頼性レベルなどアウトカム／結果の伝達を容易にする。本システムは、ビッグデータを分析してそれらの類似性およびクラウドソース化された共通のプラクティスを決定すると共に、個人の信念またはグループの信念に基づいて構成可能な機械学習アルゴリズムを組み込む解釈ワークフローベストプラクティスを決定するためのフレームワークを有することができる。個人の信念またはグループの信念に基づいて構成可能なアルゴリズムは、１つまたは複数の医療機関で共有することができる。

本システムは、１つまたは複数の場所にある１つの医療機関のためのローカルクラウドシステムでよい。クラウドベースのシステムは、１つまたは複数の地理的場所にある１つの医療機関のためのプライベートクラウドでよい。本システムは、１つまたは複数の場所にある１つまたは複数の医療機関を接続することができるシステムでもよい。クラウドベースのシステムは、パブリッククラウドでもよい。複数のローカルクラウドシステムを接続することができるメインクラウドシステムが存在し得る。例えば、複数の機関からの複数のプライベートクラウドシステムを接続することができるメインクラウドシステムが存在し得る。メインクラウドシステムからプライベートクラウドシステムへの情報アクセスの度合いおよびツールは、医療機関による事前設定されたセッティングに応じて異なることがある。

画像処理エンジンは、マルチサイドプラットフォームで発動または使用可能にされたときに、独立してまたは互いに組み合わさって動作することができる。マルチサイドプラットフォームは、医療画像データ、医療メタデータ、ならびに他の患者および処置関連コンテンツに対して実行される機械学習、深層学習、および決定論的な統計学的方法（エンジン）を利用して、医師および臨床医によって確認された特定の目標所見を有する試験前確率または信頼性がより高いまたはより低い画像および情報の改良されたコホートを実現する。目標所見は、独立して医師が同意するかどうかを判断するための盲目的信頼で保持されるか、または医師の解釈プロセスにおいて所見が提示されて応答を誘発し、任意のフィードバック、調節、同意、または不同意が、提案を作成したエンジンに対する性能フィードバックとして捕捉されて利用される。

所見は、対象の解剖学的構造、測定値、標示、関連し得る参考資料、本研究と同様の先行研究、ツールの提案、および診断またはリサーチ解釈プロセスにおいて使用が望まれるほぼ任意の当時の情報または自動化ツールを表す。エンジンは、医療データレビューシステムにおいて交換可能である。したがって、所見のタイプおよびエンジンの機能は様々であり、時間と共に変化する。エンジン処理データと医療データレビューシステム利用データとの両方から受信された性能フィードバックは、統計的対話データの形で捕捉され、以下のものを決定するために利用される。処理およびレビューされた現在の画像データコホートの相対値；ならびに、任意のツールの値および精度；自動化された対話；研究結果を準備するまたは医師もしくは臨床医のレビューのために研究結果を表示するプロセスにおいて意図的に誘発された所見および他のデータ；および／またはエンジン自体の値；ならびにそれらの様々な組合せ。

したがって、医師の同意、調節、または不同意のために、画像、データ、および所見のあらゆる意図的または偶発的な提示を盲目的または非盲目的に測定することができ、これは、以下のいずれかまたは全てを可能にする貴重なデータを生成する：ａ）新たなフィードバックが返されたときにエンジンが改良されて、より高い確認率、および医師による見逃し所見の減少を可能にする；ｂ）レビューアの性能を測定し、医療画像（または他の）ビューア内で一般に必要とされるアイテムへの労力およびアクセスを減少するようにレビューツールおよび画像／コンテンツ表示を適合させることによってワークフローが改良される；ｃ）既知の所見を含むキュレーションされた画像コホートが医療データレビューのために送信（または導入）されるときに医師の質が測定され、盲目的所見が、コホート内の実際の既知の所見と比較される；ｄ）解読されていない処理前の研究結果への医療データレビューシステムの予測適用。これは、医療画像研究結果のリアルタイム医師初期解釈が盲目的または非盲目的な自動生成された並列の医療データレビューシステムの所見を予測的に組み込むことを可能にする；およびｅ）そのような画像、データ、対話、および所見の機械および人間可読データベースのアセンブリ。これらは、反復的または継続的に更新されて、傾向を査定できる機能を提供し、および／または教師ありもしくは教師なしエンジンにこのデータを継続的または反復的に分析させて、エンジンを最適化し、このエンジンを使用して、次の画像コホート、ツール、およびレイアウト選択／提案、任意のエンジン利用可能性、ならびに、このコホート（エンジンのエンジン）の医療データレビューおよび診断解釈に必要な他の特徴およびデータを作成する。

一実施形態は、エンジンの教師なし（または教師あり）エンジン（マスタエンジン、スーパーバイザエンジン、または管理エンジンとも呼ばれる）が自律的に実行し、実行するエンジン（例えば、二次エンジンまたはスレーブエンジン）、ならびに例えば分散的に同時に（例えば複数のスレッドを介して）エンジンごとに実行される画像研究結果または患者コンテンツセットの数を選択することを可能にする。自律機能を実現するために、医療データレビューシステム管理者は、エンジンのエンジンに、それがコホートに入れるまたは医療データレビューのために送信する研究結果またはコンテンツセットの数に対する制限を与える必要があり、それぞれ、期間によって、または任意のコホート内でのエンジンの使用の制限、所見のタイプおよび質に関する制限または目標、コホートのグループに関する指定、もしくは期間によって制限される。

エンジンの教師なしエンジンは、これらのエンジンを実行するためおよび／または医師がこれらのプロセスを行うために、画像のタイプおよび／または数／量、画像コホート、コンテンツ、所見、対話、ならびに処理時間に対する個別および／または集約的な制限（最小値、最大値、平均、または他の統計的に重要なまたは設定された制限／目標）を与えられ、それにより、エンジンのエンジンがその作業を最適化し、医療データレビューに医師が費やす時間を多くしすぎないようにし、また多くの計算リソースを消費しすぎないようにする（これらはどちらも多大なコストを伴う）。教師なしエンジンの観察および選択と、所見の最大化された臨床的価値、注釈の調節、画像コホートのアセンブリ、ならびに医療データレビューおよび臨床診断解釈で受信される医師／臨床医フィードバックとの整合性を保証するために、以下のものの１つまたは複数に対して（等しいまたは等しくない）加重値が課される。ａ）エンジン、ｂ）各エンジンによって行われる所見の量およびタイプ（所見なしを含む）、ｃ）複数のエンジンによって所見が確認または却下された場合に適用される乗数、ならびにｄ）所見（または所見なし）を決定するための画像またはコンテンツセットに複数のエンジンが作用した場合に適用される乗数。

エンジンは、医療データレビューシステムを開発したのと同じまたは異なる個人または企業によって開発されることがあり、エンジンは、それらの入力および出力スキーマの共通性を利用して、複数のエンジンを直列にまたは階層的に実行できるようにする（アンサンブルエンジンとも呼ばれる）。これらのアンサンブルエンジンは、エンジンの教師ありエンジン、または出力に置かれた値を有するエンジンの教師なしエンジン、もしくはエンジンの実行もしくは所見の所見を使用して、プログラム的にアセンブルすることができる。エンジンおよび医療データレビューシステムによる通信およびそれらの間での通信、またはエンジンと他のエンジンとの間の通信のための事前定義された入力および出力スキーマは、様々なエンジンによって要求される様々な形式への入力および出力の抽象化を可能にする。例えば、エンジン１が、無限の正および負の範囲のドメインの中間値としてゼロを有するデータポイント座標を承認し、エンジン２が、無限の常に正の範囲のドメインにおいて最小値として０を有するデータポイント座標を承認した場合、通信スキーマで行われる抽象化は、これら２つのドメインの範囲値を、取り得る共有値の指定された範囲にわたってマッピングすることである。コンテナ化されたエンジン、およびエンジンのエンジンの動作を実装するための抽象化方法の実装は、全ての取り得る値のタイプと範囲にわたって作用する。

所見は、限定はしないが以下のものを含むことができる。導出された画像、輪郭、セグメント化、オーバーレイ、数、類似性、量、および、企業電子健康記録システム、ピクチャアーカイブおよび通信システム、コンテンツ管理システム、医療データレビューシステム、実験室システム、および／または先進の視覚化システムで一般に閲覧、測定、導出、または発見される任意の他の値。医療データレビュー生成結果と医師または臨床医生成結果との相違は、将来の分析およびエンジンの最適化のために医療データレビューシステムによって捕捉し、比較し、出力することができる。

マルチテナントプラットフォームとして、医療データレビューシステムは、エンジン作成者およびエンドユーザ（医師および臨床医を含む医療提供者、研究者、業界エンティティ、またはこれらのグループ）などの様々な利害関係者によってアクセスされ得る。特定の画像、画像コホート、エンドユーザの医師または臨床医のフィードバック、ガバナンス、アップロードまたは削除用のエンジン、画像および臨床コンテンツの実行用のエンジン、ならびにユーザ設定に対するアクセス制御は、画像やエンジンの混合、またはその認証された所有者からの許可なしでの使用を防止するように制御することが可能である。利害関係者は、エンドユーザがアルゴリズム、コード、または画像データへのアクセス権を有さずに、エンドユーザが使用することができるアルゴリズムを作成することができるエンジン作成者でよい。これは、研究結果をプライベートまたはマルチテナントの安全なサーバに送信することによって行うことができる。このサーバは、クラウドベースでも、ローカルに設置されてもよく、多くのコンテナ化されたエンジン／アルゴリズムを用いて研究結果を処理することができる。アクセス制御は、アルゴリズム開発者が、認証および管理特権を付与できるようにする。

アルゴリズムおよび使用認証の一実施形態は、様々なエンドユーザにアルゴリズムを使用できる権能を付与する権能をアルゴリズム開発者に与え、または書面もしくはクリックスルー契約条件で提供されるプラットフォームおよびライセンス契約に同意するようにエンドユーザに求めて、公での使用のために公開できるようにする。管理者特権により、アルゴリズム開発者は、他のアルゴリズム開発者にアルゴリズムを修正させるもしくは新しいバージョンのアルゴリズムを作成させる、またはエンジンもしくはエンジンのエンジンにアルゴリズムを修正させることができる権能を与えられる。バージョン制御により、アルゴリズム開発者は、規制認可のためのアルゴリズム技術ファイルへの変更を追跡しながら、自分のアルゴリズムの異なる世代を作成できるようになる。同様に、画像および臨床コンテンツコホートならびに医療データレビューフィードバックデータの異なる世代もバージョニングおよび安全化されて、本来の価値を保護し、意図しないデータの拡散を回避する。

一実施形態では、画像処理エンジン（画像処理モジュールまたは画像処理ユニットとも呼ばれる。これらは、任意の画像に関係するもしくは関係しないデータも処理する、またはそのようなデータのみを処理することもある）は、様々な組織または企業エンティティによって運営されることがある様々な開発者が開発することができる。画像処理エンジンは、画像に特定の画像処理（形状認識、サイズ測定など）を実施するために、場合によってはハードウェア処理リソース（例えば、グラフィックスプロセッシングユニットまたはＧＰＵなどのグラフィックアクセラレーションデバイス）と組み合わせて、プロセッサによって個々にかつ独立して起動して実行することができる実行可能な画像またはバイナリコードを表す。画像処理エンジンは、ウェブサーバにアップロードしてリスト化することができ、ユーザが、意図された動作パラメータを選択してプログラムすること、および／または１つもしくは複数の画像処理エンジンをダウンロードして、孤立したローカルに設置された医療データレビューシステムソリューションとして、および／または別のシステムとの通信および組合せによって（ハイブリッドモードで）特定の場所で独立して実行することを可能にする。選択された画像処理エンジンは、一連の１つまたは複数の画像処理操作を実施するために様々な構成（例えば、直列、並列、または両方）で構成することができる。

別の態様によれば、画像処理エンジンを利用して、１組の医師によって識別された医学的所見をレビューするために設計された他の市販のまたは独立して開発された医療データレビューシステムに研究結果を導入することができる。一実施形態では、画像処理エンジンは、医師による所見を確認または検証するために使用され、ここで、エンジンは、医療データレビューシステムとして動作する。また、画像処理エンジンを利用して、異常な所見を有する可能性がより高い任意の画像をスクリーニングおよび識別し、それらをサードパーティシステムでの医療データレビューのために送信する、または医療データレビューシステムでの診断レビューを誘発することができる。

次いで、識別された画像は、所見を検証して確認するために１組の医師によってレビューされる。後者の場合、エンジンは予備レビューアとして働く。その結果、レビューされる必要がある多数の医療画像に関して、画像処理エンジンは大規模な画像処理操作を実施して、異常な画像を予備的に識別することができ、エンジンは、診断解釈中に医師によってこれらの画像がレビューされるときにフィードバックから、先を見越して「学習」することができる。画像処理エンジンと、レビューする医師との所見が一致している場合、当該の画像処理エンジンの動作を有効化することができ、すなわち画像処理エンジンによって使用されるアルゴリズムを有効化することができる。一致しない場合には、そのようなアルゴリズムは、例えば機械学習法を使用してさらなる微調整または訓練を必要とすることがある。時として、エンジンの機能がアルゴリズムと呼ばれる。医師またはエンジンがアクションを実施する、またはアルゴリズム／入力もしくはツールを適用するとき、それは時として操作と呼ばれる。これらの操作が所見をもたらし、所見は、医療データレビュー研究の全体的な解釈アウトカムの一部である。医療データレビューアークフローと同様であるが、エンジンに関連して、医療データレビューシステムでは、（医師、エンジン、エンジンのエンジン、または操作からの）第１の結果があり、これが、（医師、エンジン、エンジンのエンジン、または操作からの）第２の結果と比較され、不一致の場合には、これらは、（医師、エンジン、エンジンのエンジン、または操作からの）第３の結果によって判定される。したがって、医療データレビューシステムにおいて、実現技術は、医療データレビューの役割および用途を新規に拡張する。これは、解釈する医師に関して、医師の前に、または医師の後に操作を行い、この対話を使用して、人間と機械（エンジン）が発見した所見の比較をサポートし、典型的な医療データレビュー環境に加えて、人間入力、エンジン、コンテンツ、および所見をリアルタイム画像解釈環境で捕捉、校合、および複合する技術プラットフォームおよび方法を提供することによって行われる。医療データレビューシステムの場合、これは、医師、エンジン（またはエンジンのエンジン）、コンテンツ／画像コホート、およびサードパーティにより有効化されたデータ源の任意の組合せの間の対話（同期的または非同期的に）を含む。

医師の確認および却下、ならびに医療データレビューシステムを使用して医師が提供する他の収集可能なワークフロー入力は、閉ループ方式で訓練データとして使用することができ、エンジンは、教師ありまたは教師なしで機械学習技法を使用して連続的または反復的に訓練される。エンジンの所見と医師の所見（医師の調節、確認、または却下を含む）とに不一致がある場合、イベントを記録するデータベースにメッセージが送信され、任意選択的に、予備解釈プロセスまたは医療データレビューシステムプロセス中でさえ、任意の所定のデバイス、個人、またはグループにメッセージを送信することができ、何かに注意を払う必要があることを示す。これは、教師なしで行われることがあり、エンジンが他のエンジンにフィードバックを提供し、依然として閉ループ学習シナリオを作成する。そのような場合、第１、第２、さらには第３の結果は、人間ではなくエンジン（またはエンジンのエンジン）から提供され、医療データレビューシステムによって使用されるエンジンを増強する目的で使用され得る。第１、第２、第３の結果が完全に人間からのものである場合、これは典型的な医療データレビューであり、医療データレビューシステムの一部ではない。しかし、そのような場合、有効化された所見を含むこれらの解釈の画像およびコンテンツコホートを、画像／コンテンツコホートとして捕捉することができる。そのようなコホートは、遡及的に学習するためにエンジンが使用することができ、これらのデータは、医療データレビューシステムによって医療データレビュープロセスに導入することができ、医師のパフォーマンスをさらに検証し、画像／コンテンツコホートをさらに改良し、新たなエンジンおよび／またはエンジンのエンジンを開発する。

エンジン（およびエンジンのエンジン）は、画像／コンテンツコホートだけではなく、着信臨床データのライブストリームに関しても良好に機能しなければならない。解釈を必要とするこれらのリアルタイムの臨床画像およびコンテンツセットは、しばしば不完全である。これは、スキャンプロトコルエラー、患者の動き、金属アーチファクト、肥満患者など、患者スキャンの欠陥があるために生じ得る。また、これは、現在の研究に関係する先行撮像研究結果の利用可能性の欠如、または欠落した臨床情報もしくは医療エラーなどにより生じることもある。これらの理由から、リアルタイム研究評価は、画像／コンテンツコホートの処理よりも困難であり、様々なエンジン／操作が失敗することが予想され得る。医療データレビューシステムは、提示されたデータの使用事例および品質係数を考えて任意の所与のアンサンブル、エンジン、または操作が成功する可能性を決定するために、挑戦または失敗した研究のコホートを利用することができる。データを分析し、どのエンジン、アンサンブル、および操作が実行されるかに影響を与えるエンジンのエンジンにおいてこの情報を利用することができ、任意の特定の研究、さらには難しい画像のコホートに関しても所要／所望の所見を最良に提供する。このように最適化することによって、医療データレビューシステムは、無駄な計算量を減少し、医師が低品質の所見をレビューする無駄な時間を減らし、エンジンおよびアンサンブルの一貫性および性能を高め、それによって、医療データレビューシステムの知能を利用して医療データレビューシステム自体の性能を改良する。

１つまたは複数のエンジンまたはアンサンブルによって返された、一致、不一致、正常、異常、高品質、低品質、失敗、または成功の結果が存在する場合、アラートを提供することができる。さらに、教師ありまたは教師なしの機械学習エンジンを使用して、様々な状況における様々なエンジンの有効性を監視および学習し、様々な使用事例に最良に適用されるように様々なエンジンの使用を最適化し始めることができ、医師によって確認する必要がある所見、または通常であればマークされていない場合に医師が見逃す可能性が高い所見の数を増加し、または通常であればエンジンによって測定、言及、指示、もしくはマークされ、クラウドプラットフォームによって供給される所見の数を増加し、医療データレビュープロセス、もしくは別の医師もしくは臨床医画像解釈もしくはレビュープロセス内であるか、または電子健康記録、閲覧システム、ＰＡＣＳ、もしくは３Ｄ先進視覚化システム内であるかにかかわらない。

一実施形態によれば、特定の臨床研究に関連する医療画像の第１のセットが医療データ源から受信されるとき、１つまたは複数の画像処理エンジンが、特定のタイプの撮像研究に関して構成されたエンジン操作を実施するための所定のまたは機械学習されて提案された順序に従って医療画像（またはデータ。本出願では同義として使用される）を処理する（画像または他のデータもしくは測定における形状、特徴、傾向を認識する）ように誘発される。画像処理エンジンは、画像処理操作を実施して、医療画像の任意の異常な所見を検出し、またはエンドユーザの嗜好もしくはコンピュータにより観察された作業様式に従って臨床ワークフローを最適化し（それらが解釈のために使用しているシステムに基づいて、または医療データレビューシステム機能の一部として、エンドユーザによりカスタマイズされた様式で）、画像の異常な所見または好ましい提示ならびに正常および／または異常な所見を表す第１の結果を生成するように構成される。医師の入力は、第２の結果を表す。医療データレビューシステムは、結果と所見の同意または不同意を検出し、結果が一致しない場合にはさらなる判定のためのアラートを送信するか、または相違を記録してこれらをアルゴリズム／エンジンの所有者に提供し、このフィードバックが受け入れられるかどうか（すなわち、医師入力を真として受け入れるべきかどうか、およびこの研究を新たなまたは更新するコホートに含めるべきかどうか）管理できるようにする。

一実施形態は、画像獲得品質に基づいて推論および画像コホート収集を調整する。エンジン規格が満たされていることを保証するために、予測エンジンが発動される前または後に画質をチェックして検証する必要がある。これは、画像情報学において品質管理を担当する規制団体および監視団体の基準を含むことがある。この一例は、肺塞栓症の研究に関連している。肺塞栓症を検出するための感度および特異性は、画像獲得品質に直接関係している。呼吸運動アーチファクトまたは技術的獲得パラメータ（例えば、造影剤ボーラスタイミング）などの画像劣化をもたらすアーチファクトは、エンジンが所与の所見を高信頼性で識別できる能力に直接影響を与える。医師に提示すべきまたは検証すべき肺塞栓症検出エンジンの結果に関して、品質管理エンジンが、造影剤ボーラスタイミングおよび呼吸運動アーチファクトを査定して、肺塞栓症検出エンジンの信頼性を修正しなければならない。画像を処理するために自動的に選択することができる所与のアーチファクトの有無を仮定して、動作性能がより高いまたはより低いエンジンがあり得る。処理されるエンジンの組合せが、所与の所見に関する所見出力の最適かつ適切な信頼性を保証する。したがって、所見の有無は、研究の質の範囲または関数として生じることがあり、必ずしも離散値ではないことがある。これは、品質管理および画像アーチファクトの取扱い、ならびに技術的な画像獲得品質のばらつきに関するエンジンのエンジンのセレクタの一実施形態である。

同様の品質管理パラダイムが、画像コホートキュレーション品質スコアリングにも当てはまる。医師とエンジンとの組合せによってキュレーションされる所与の画像コホートに記憶された各画像について、撮像アーチファクトの有無を伴う品質スコアが所見と共にデータベースに記憶される。自動化された品質管理スコアは、診断画像解釈者または提供者によって承認または却下され得る。高品質ラベルセットと低品質ラベルセットの両方がキュレーションされる。特定のアーチファクトが存在する場合にエンジンを使用することができるかどうかを判断するために、所与のエンジンの性能が、高品質データセットと低品質データセットとの両方に対してスコアリングされる。

具体的には、一実施形態では、画像処理エンジンは、同じまたは異なるエンティティまたは組織によって運営され得る１つまたは複数の画像処理エンジン開発者によって提供される。第２の組の医療画像が第１のレビューシステムに送信され、ここで、第２の組の医療画像は、第１の組の医療画像のサブセットである。一実施形態では、第２の組の医療画像は、画像処理エンジンによって異常画像として分類されている。医療データレビューシステムとして動作するレビューシステムは、第２の組の医療画像をレビューして、画像の異常を検証もしくは確認または未検証もしくは却下し、第２の結果を生成するように構成される。第２の結果がレビューシステムから受信されたのに応答して、医療データレビューシステムで実行される画像処理エンジンの動作は、第１の結果および第２の結果に基づいて有効化または無効化される（これは、そのような機能を有するサードパーティの従来の医療データレビューシステム、または本明細書に記載の医療データレビューシステムで行われる）。

機械学習エンジンは、この情報から学習することができ、および／またはアルゴリズムのガバナンスおよび／または所有者は、学習プロセスへのそのようなフィードバックを承諾または却下することができ、または教師なしエンジンは、それ自体、様々なシナリオで実験して、いくつかのフィードバックを承諾して他のフィードバックを却下する統計的に理想的な組合せを見出すことができる。エンジン／アンサンブルの性能は、品質管理を実施するために、訓練データとしてエンジン作成者に利用可能ではない参照標準画像コホートと突き合わせて検証することができ、エンジンのバージョニングはこれらの性能基準を表示し、および／または、所与のアルゴリズムと、作成者に提供される画像のコホートとをバージョニングして、典型的な医療規制および参照標準に従って追跡できるようにする。アルゴリズム検証およびエンジン認定のために特別に組み立てられた導入された画像または画像コホートは、アルゴリズムの所与のバージョンの過剰適合を防止するように提供される画像の数および種類に関してランダム化される（すなわち、データを調節して、アルゴリズムが良く見えるようにし、または良い評価になるようにする）。そのようなバージョニングは、参照標準コホートを使用して有効化を実施するのが適切でない場合に、訓練データと有効化データとの規定の切離しを保証する。

一実施形態では、画像処理エンジンの結果を一貫して多くのユーザによって有効化することによって、画像処理エンジンは、これらのデータを利用して、ＦＤＡなど外部のサードパーティエンティティによる規制認可をサポートすることによって、「認可された」または「承認された」画像処理エンジンになり得る。画像処理エンジンをその使用結果に基づいて有効化することができない場合、画像処理エンジンのパラメータまたはアルゴリズムは、例えばこれらの以前の結果（画像コホートおよび臨床コンテンツコホート）に基づく機械学習法を使用して調節または再訓練する必要があり得る。さらに、エンジンの改訂、画像コホート、臨床コホート、および全ての医療データレビューシステム利用データの保存は、エンジンのエンジンが学習して適応するため、およびエンジン作成者がこれらの記録されたイベントに基づいてエンジンの性能を改良するための方法を提供する。

図１は、一実施形態による医療データ医療データレビューシステムを示すブロック図である。図１を参照すると、医療データレビューシステム１００は、ネットワーク１０３を介して医療画像処理サーバ１１０に通信可能に結合された１つまたは複数のクライアントデバイス１０１〜１０２を含む。クライアントデバイス１０１〜１０２は、デスクトップ、ラップトップ、モバイルデバイス、ワークステーションなどでよい。ネットワーク１０３は、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、インターネットやイントラネットなどのワイドエリアネットワーク（ＷＡＮ）、プライベートクラウドネットワーク、パブリッククラウドネットワーク、またはそれらの組合せでよい。

画像処理サーバ１１０は、医療データ源１０５によって提供され得る医療画像および臨床コンテンツに対して一連の１つまたは複数の画像処理操作または臨床コンテンツ処理操作を実施するように発動および構成することができるいくつかの画像処理エンジン１１３〜１１５をホストする。医療データ源１０５は、実験室情報システム（ＬＩＳ）、放射線学情報システム（ＲＩＳ）、企業コンテンツ管理システム（ＥＣＭ）、電子医療記録（ＥＭＲ）、病院情報システム（ＨＩＳ）、画像保管通信システム（ＰＡＣＳ）、ＶＮＡ（ＶｅｎｄｏｒＮｅｕｔｒａｌＡｒｃｈｉｖｅ）、先進の視覚化３Ｄシステム、ＥＭＲデータ、様々なディレクトリ、ならびにＨＩＥ（医療情報交換）サーバおよび個人または組織のリポジトリなどの他のデータ源を含むことができる。医療データ源１０５は、画像処理サーバ１１０を運営する組織とは異なる組織または情報提供者によって管理および／または運営され得る。医療画像データ源１０５は、クラウドベースのストレージ、ローカルドライブ、ＣＤ、ハードドライブ、ＤＶＤ、ＵＳＢ、ウェブアップローダ、任意のＤＩＣＯＭリポジトリもしくはソース、画像および臨床コンテンツの他のソース、またはそれらの任意の組合せからの画像データを含むことができる。画像処理サーバ１１０は、医療画像データ源１０５からネットワークを介して画像データ（例えば、研究結果、臨床レポート、画像、患者データ、利用データ、またはそれらの任意の組合せ）を受信することができる。例えば、画像データは、使用の制約を可能にするためのセキュリティ情報を含む。これは、例えば、透かしを含むセキュリティ情報に、根底の認可または検証システムの有無にかかわらず、埋め込まれたメタデータを含めることによって達成され得る。

医療データレビューシステムは、人間の知能および検証を必要とするラベル付きデータの本来の価値、または大量のラベルなしデータの意図的な収集を認識する。ラベル付きデータの盗難によるエンジンのリバースエンジニアリングを防止するため、またはこのタスクを実施することができるエンジンを盗むことによるラベル付きデータセットの複製を防止するためのオプションとして、医療データレビューシステムは、根底の認可または検証システムの有無にかかわらず、透かし入れ、画像ラベル付け、および／または暗号化機能を含み、これを利用して、エンジン作成者の許可なく、ラベル付きデータ、ソースデータがアクセス、実行、復号、もしくはエクスポートされるのを防止する、またはそのようなマークが有る状態または無い状態でのエンジン／アンサンブルの実行を制約することができる。

医療データレビューシステムの一実施形態は、作成者の許可なしに注釈付きデータを収集することによるエンジンのリバースエンジニアリングを防止することによって、エンジンの知的財産の著作者を保護することができる。これは、ＥＵＬＡ、ならびに作成者およびエンドユーザによって設定される許可によって異なることがある。この機能のいくつかのサンプル実装は、限定はしないが以下のものを含む。ａ）ブロックチェーンベースの（例えば、ｅｔｈｅｒｕｍ）ＤＡｐｐ（分散型アプリケーション）を使用してメタデータまたは画像データに注釈を付けることによって研究結果を追跡すること；ｂ）エンジンによって生成された画像オーバーレイに透かしを加えること；ｃ）認証されたビューアまたはＰＡＣＳ環境で閲覧されるエンジンの出力を暗号化すること；ｄ）注釈付き画像データおよび／またはメタデータの大量データエクスポートを防止すること；ｅ）注釈付き画像コホートの使用のログを取ること；ｆ）検証認可を受信していない状態でのエンジン／アンサンブルの実行を防止すること；およびｇ）特定のマーキングもしくは注釈付きメタデータ、または暗号化されたアクセスキーなどを含まない限り、エンジンがデータに対して動作するのを防止すること。

一実施形態では、データ源１０５によって提供される医療データは、以下のものを含んでいてよい。ＤＩＣＯＭ形式での医療画像データ、非ＤＩＣＯＭ形式での医療画像データ、スケジュールデータ、登録データ、人口統計データ、処方データ、請求データ、保険データ、口述データ、レポートデータ、ワークフローデータ、ＥＫＧデータ、ベストプラクティス参考資料、参考資料、訓練資料など。これらのデータは、ＨＩＳ、ＲＩＳ、ＰＡＣＳ、ＬＩＳ、ＥＣＭ、ＥＭＲ、または他のシステムを含む、いくつかの場所またはシステムに常駐することがある。非ＤＩＣＯＭデータは、Ａ／Ｖ、ＭＰＥＧ、ＷＡＶ、ＪＰＧ、ＰＤＦ、Ｍｉｃｒｏｓｏｆｔ Ｏｆｆｉｃｅ（商標）フォーマット、および他のフォーマットを含むいくつかのフォーマットでよい。一般に、ＰＡＣＳでのデータはＤＩＣＯＭデータを含み、ＨＩＳ、ＲＩＳ、およびＬＩＳ、ＥＣＭ、ＥＭＲでのデータは、画像データと非画像データの両方を含む非ＤＩＣＯＭデータを含む。ＨＩＥデータは、健康情報交換システムを介して利用可能なデータを含む。これらのデータは、一般に、地域、コミュニティ、または病院システム内の様々な組織にわたって利用可能なデータを含み、テキストベース、ファイルベース、ＤＩＣＯＭ、または非ＤＩＣＯＭの画像データでよい。他のデータは、コンピュータ上のディレクトリ、データベース、ホワイトペーパーおよび臨床リポジトリ、ならびに研究機関にあるデータ、ならびに、ユーザから、モバイル機器から、および臨床使用の過程で収集されたデータを含む、任意の他の関連データを含んでいてよい。

画像処理エンジン１１３〜１１５は、様々な組織または企業エンティティによって運営され得る様々なベンダによって開発および提供することができる。一実施形態は、実行可能な画像、コンテナ、仮想環境、またはバイナリコードとしての画像処理エンジンであり、これは、いくつかの場合にはハードウェア処理リソース（例えば、グラフィックスプロセッシングユニットまたはＧＰＵなどのグラフィックアクセラレータデバイス）と組み合わせて、プロセッサによって個々にかつ独立して起動および実行することができ、傾向、比較、特定の値、特性、形状または類似（相似性）認識、関心領域、サイズ、測定値など、画像（または同義で使用される「データセット」）に対して特定の画像処理を実施する。画像処理エンジン１１３〜１１５は、ウェブサーバ１０９、この例ではアプリケーションストアにアップロードしてリストすることができ、クライアント１０１〜１０２のユーザが、それぞれクライアントアプリケーション１１１〜１１２の一部として１つまたは複数の画像処理エンジンを購入、選択、およびダウンロードすることを可能にする。選択された画像処理エンジンは、一連の１つまたは複数の画像処理操作を実施するために様々な構成（例えば、直列、並列、または両方）で構成することができる。画像処理エンジン１１３〜１１５は、操作を実施するためにクライアントシステム１０１〜１０２にダウンロードすることができる。代替として、画像処理エンジン１１３〜１１５は、ＳａａＳ（ｓｏｆｔｗａｒｅ ａｓ ａ ｓｅｒｖｉｃｅ）および／またはＰａａｓ（ｐｌａｔｆｏｒｍ ａｓ ａ ｓｅｒｖｉｃｅ）の一部として、画像処理サーバ１１０などのクラウドベースのシステムにおいてホストすることができ、操作を実施して、エンジンの作成者がアクセスを制御し、バージョンおよび規制順守を維持できるようにする。

一実施形態では、画像処理エンジンまたはモジュール１１３〜１１５はそれぞれ、例えば肺結節の検出、骨折の検出、臓器識別およびセグメント化、血栓の検出、画像内の身体部分の分類、慢性閉塞性肺疾患（ＣＯＰＤ）の検出、または軟組織の特徴付けなど、特定の画像処理操作を医療画像に対して実施するように構成することができる。画像処理エンジンは、形状、テクスチャ、球形度の測定値、色、または、医療画像から得られる、もしくは臨床コンテンツによって導出もしくは示唆される他の特徴に基づいてそのような検出を行うことができる。一実施形態では、複数のベンダによって提供される複数の画像処理エンジンを、画像処理操作を実施するように直列、並列、または両方の組合せで構成することができ、画像処理操作は、医療画像処理サーバ１１０の構成インターフェースを介して、またはクライアントアプリケーション１１１〜１１２を介して構成され得る。

一実施形態では、画像処理エンジン１１３〜１１５のうちのいずれか１つが発動されるとき、画像処理システム１０６の１つまたは複数の画像処理ツール１０７をさらに発動することができ、これらは、画像処理サーバ１１０の一部として、または代替形態では、画像処理サーバ１１０に通信可能に結合された遠隔医療画像処理システム（またはシステムもしくはサーバのクラスタ）として一体化することができる。画像処理システム１０６は、ＴｅｒａＲｅｃｏｎ（登録商標）ＡｑｕａｒｉｕｓＮＥＴ（商標）サーバおよび／またはＴｅｒａＲｅｃｏｎ（登録商標）ＡｑｕａｒｉｕｓＡＰＳ（商標）サーバの一部として実装され得る。各画像処理エンジンは、医療画像処理システム１０６を発動して、患者の身体部分の画像に対する画像処理操作を実施することができ、そのような画像は、エンジンもしくはエンジンのエンジンにナビゲートされ、またはエンジンもしくはエンジンのエンジンによって自動的に検出して、そのような画像に関する特定の画像定量データまたは測定データを生成することができる。同様に、臨床コンテンツも調査することができる。

画像定量データは、医療画像の特定の身体部分のサイズおよび／または特性を手動または半自動で決定または測定するために使用することができる。画像定量データは、特定の病状、医学的問題、または疾患が存在するまたは疑われるかどうかを判断するために、画像の種類に関連する対応するベンチマークと比較することができる。そのような発生の可能性は、さらに、患者の病歴の一部としての患者の同種の医療データおよび／または他の患者のデータの傾向に基づいて予測または決定することができる。一実施形態では、アンサンブルエンジンを組み合わせることができ、例えば、身体部分を見つけるエンジン、それをセグメント化するエンジン、その内部の解剖学的構造にラベルを付けるエンジン、およびその領域内の主要な疾患の徴候を検出するエンジン、ならびに最後に、これらの所見を臨床情報リソースおよび推奨と照合して、医師に支援および指令示を提供することができるエンジンを組み合わせることができる。

一実施形態では、処理エンジンを患者の特定の身体部分と関連付けることができる。身体のどの部分に関係しているか、またはどのような撮像モダリティのタイプ（撮像手順のタイプ）が使用されているかに応じて、特定のエンジンのみが適用される。これは、上述したエンジンのエンジンが良い選択をし、何が作用するかを学習するのに役立つ。

画像処理サーバ１１０は、１つまたは複数のｅスイートをさらに含むことができる（すなわち、アンサンブルとも呼ばれるｅスイートは、１つまたは複数の画像処理エンジンの組合せでよい）。したがって、粒度を増加させるためにアンサンブルをカスケード接続することができ、それによってアンサンブルエンジンの特定の意図されたアクションに対する感度および特異性を高める。

エンジンまたはｅスイートは、所見（例えば、疾患、標示、特徴、物体、形状、テクスチャ、測定値、保険金詐欺、またはそれらの任意の組合せ）を検出することができる。１つもしくは複数のエンジンおよび／または１つもしくは複数のｅスイートは、メタデータ、画像内分析の既知の方法、またはそれらの任意の組合せに基づいて、研究結果（例えば、臨床レポート、画像、患者データ、画像データ、メタデータ、またはそれらの任意の組合せ）から所見を検出することができる。画像処理サーバ１１０の画像処理エンジン１１３〜１１５は、所見を含む画像データにフラグを立てることができ、例えば画像データが異常であることを示す。

フラグ設定は、以下のものを表示することを含むことができる。実際の所見、もしくはエンジン／ｅスイートによって発見された所見の組合せを利用して導出された要約標示、エンジン／ｅスイート名、研究結果が画像処理サーバ１１０によって処理されたことを表す単純なマーク（研究結果が正常／異常であったことをマークする）、所見のリスクを表す一連のマクロレベルの標示選択（例えば、赤、黄、緑、もしくはオレンジ；重症度（例えば、軽度、中度、もしくは重度）と共にマークする）、もしくは所見を示すアイコン（例えば、所見が存在することを示す単純なマーク）、画像閲覧システムにおいて自動的に誘発される関連ツール、もしくはそれらの任意の組合せ、またはその他、エンジン／ｅスイート／アンサンブルもしくはエンジンのエンジンによって提供されるもの。

フラグ設定は、研究時に、または研究とは別に行うことができる。フラグ設定は、１つまたは複数のＲｅｐｒｅｓｅｎｔａｔｉｏｎａｌ Ｓｔａｔｅ Ｔｒａｎｓｆｅｒ（ｒｅｓｔｆｕｌ）サービス、ＡＰＩ、通知システムを介して利用可能でありアクセス可能であり得て、またはサードパーティアプリケーションもしくは画像処理サーバもしくは医療データレビューシステムのデータベースにプッシュされる。一実施形態では、フラグ設定は、３Ｄ医療撮像ソフトウェアアプリケーション（例えばクライアントアプリケーション１１１〜１１２）で表示または閲覧することができる。エンジンおよび／またはｅスイートは、エンジン／ｅスイートがより多くの研究を処理するにつれてより正確に所見を検出することができるように、以前の所見に基づいて定期的に機械引き裂きアルゴリズムを定期的に用いて機械学習または訓練され得る。言い換えると、所見を検出する信頼性レベルは、より多くの研究が処理されるにつれて高まる。エンジンおよび／またはｅスイートの所見に基づいて、画像処理サーバ１１０は、例えば、所見の種類、所見の重度、患者の健康に対するリスク、またはそれらの任意の組合せに基づいて研究ワークリストに優先順位を付けてソートすることができる。これは、一次画像解釈の過程で使用することができる結果およびマクロ所見のリストを含むプラットフォームの最終的な出力であり、これらの所見はいずれも開くことができ、もしくは調節に関する根底の仮定に関してさらに問い合わせることができ、または、画像データもしくは臨床データの品質を、適切性および可能な交換もしくは編集に関して査定することができる。

ＲＥＳＴｆｕｌサービスを有するインターフェース、またはＡＰＩは、医療データレビューシステム、他の一般的な医療データレビューシステム、および他の医療画像ビューアの間の双方向通信を提供し、それにより、これらの第３部アプリケーションで提供される任意のフィードバックを医療データレビューシステムに返すことができ、エンジン学習、ならびに追加の画像データコホートおよび臨床コンテンツコホートのキュレーションを容易にする。

アプリケーションストア１０９は、１つもしくは複数のエンジン、１つもしくは複数のｅスイート、またはそれらの任意の組合せを記憶することができる電子商取引サーバでよい。画像処理サーバ１１０は、アプリケーションストア１０９と同じまたは異なるエンジンまたはｅスイートを記憶することができる。画像処理サーバ１１０のエンジンまたはｅスイートは、画像処理サーバ１１０のグラフィカルユーザインターフェース（ＧＵＩ）またはウェブサイト（ローカルもしくはインターネット上）を介してユーザによってどのエンジンが選択されるかに応じて研究結果を処理することができる。画像処理サーバ１１０は、更新／改良されたエンジンまたはｅスイートをアプリケーションストア１０９に送信することができる。アプリケーションストア１０９または画像処理サーバ１１０は、ユーザプロファイルおよび／またはグループプロファイルを記憶することができる。ユーザプロファイルは、１つまたは複数のユーザに特有のものでよい。グループプロファイルは、１つまたは複数のグループ、例えば、ガバナンス委員会、放射線科医グループ、心臓科医グループ、技術者グループ、開発者グループ、またはそれらの任意の組合せに特有のものでよい。ユーザプロファイルおよびグループプロファイルは、ツール、エンジン、ｅスイート、訓練ツール、コーディングツール、またはそれらの任意の組合せに対するアクセス制御を有することができる。ユーザおよび／またはグループは、他のユーザおよび／またはグループに対するアクセス制御を拡大または縮小することができる。

ツール、エンジン、ｅスイート、訓練ツール、コーディングツール、またはそれらの任意の組合せは、画像処理サーバ１１０を介して、または２Ｄおよび／または３Ｄ医療撮像ソフトウェアアプリケーション、もしくは医療データレビューシステム、もしくは新規の医療データレビューシステムにおいて表示して使用することができる。医療撮像ソフトウェアアプリケーションは、画像処理システム１０６の画像処理ツール１０７の出力にアクセスするクライアントアプリケーションである。例えば、第１のユーザは、アプリケーションストア１０９に記憶することができるクライアントデバイス（例えば、ウェブサイト、携帯電話、ワークステーション、コンピュータ、ｉＰａｄ（登録商標）、ラップトップ、もしくは任意の他の方法もしくはタイプ、またはそれらの組合せ）を介して第１のエンジンをアップロードすることができる。第１のユーザまたはガバナンス委員会は、第２のユーザまたはグループに特定のツール、例えば機械学習／訓練ツールへのアクセスを提供することができる。第２のユーザまたはグループは、機械学習／訓練ツールを使用することができ、この使用からのフィードバックを適用して、第１のエンジンを訓練し、より高い精度で所見を検出することができる。第１のエンジンは、画像処理サーバ１１０によって更新し、アプリケーションストア１０９に記憶することができる。エンジンによる画像データの処理およびエンジンの更新は、画像処理サーバ１１０、画像処理アプリケーションストア１０９、またはそれらの任意の組合せで行われ得る。

これらのエンジンは、測定された性能属性を有することができ、測定された性能属性は、規範的であるか、教師あり学習を通じて実装されるか、または教師ありもしくは教師なし学習を通じてエンジン（エンジンのエンジン）によって自己開発されることを可能にされることに留意されたい。次いで、ガバナンスを通じて、エンジンをアップロードする者は、変更を承認もしくは却下し、および／またはそれらを他の者が使用できるように公開する、またはしないことができる。

画像処理サーバ１１０は、異なる場所にある１つもしくは複数の医療機関からのエンジンもしくはｅスイート、１人もしくは数人のユーザ、１つもしくは複数のグループ、またはそれらの任意の組合せによって実装することができる。１人または数人のユーザが１つもしくは複数のエンジンまたは１つもしくは複数のｅスイートをアップロードまたはダウンロードすることができるように、画像処理サーバ１１０はグラフィカルユーザインターフェース（ＧＵＩ）を有することができる。画像処理サーバ１１０は、１人もしくは数人のユーザまたは１つもしくは複数のグループがエンジンまたはｅスイート上でデータを訓練、コーディング、開発、アップロード、削除、追跡、購入、更新、または処理するためのＧＵＩを有することができる。画像処理サーバ１１０は、アクセス制御を有することができる。画像処理サーバ１１０は、マルチテナント環境をサポートするためにパスワード保護することができ、マルチテナント環境は、エンジン、アンサンブルエンジン、エンジンのエンジン、およびそれらの構成への制御されたアクセスをサポートするために、独立したセキュリティおよびクラウドアクセス制御を提供する。これらのパスワード（および／または他のシステムとの統合ワークフローに関する認証方法）は、画像コホート、臨床データコホート、エンジンアクセシビリティ、および対話式データベースの個別のアクセス制御をサポートする。

画像処理サーバ１１０は、ユーザまたはグループが、ツールおよびエンジンへのアクセス制御を、同じ医療機関または他の医療機関（例えばマルチテナント構成）からの他のユーザまたはグループに与えることを可能にすることができる。これは、所見を検出するためにエンジンまたはｅスイートを改良するために、１つまたは複数の医療機関からの１人または数人のユーザまたは１つまたは複数のグループ間の共同作業を促進することができる。画像処理サーバ１１０は、ユーザがエンジンまたはｅスイートを実行して画像データを処理することを可能にすることができるＧＵＩを有することができる。一実施形態では、医療データレビューシステムの出力は、ＲＥＳＴｆｕｌおよび／またはＡＰＩ通信をサポートする、またはプラットフォームのデータベースに読み書きすることが可能である任意のサードパーティシステムによって統合および／または消費され得る。代替として、医療データレビューシステムの閲覧部分は、このコンテンツの消費部でよく、および／またはサードパーティシステムに組み込む、またはスタンドアローンとして使用することができる。エンジン所有者、ならびに医療データレビューおよび／または診断解釈を行う医療データレビューシステムユーザによって適用されるセキュリティおよびガバナンスに関する設定に応じて、任意の画像処理エンジン１１３〜１１５は、画像処理システム１０６の画像処理ツール１０７をさらに発動することができる。

エンジン作成者は、ウェブインターフェースなどのグラフィカルインターフェースを使用して、任意の画像処理エンジンまたはｅスイートを画像処理サーバ１１０を介してアプリケーションストア１０９にアップロードすることができる。画像処理サーバ１１０は、画像処理サーバ１１０上の任意のエンジンの更新、変更、訓練、機械学習、またはそれらの任意の組合せを行うための１つまたは複数のエンジン開発者のための開発者プラットフォームを有することができる。エンジンは、例えば、機械学習アルゴリズムを使用した訓練によって、または所与のエンジンに関する予測方法のコンテナ化されたバージョンを修正することによって、開発者プラットフォームで所見を検出するように改良することができる。この手法を達成することができる１つの方法は、所与のエンジンを改良するためにデータを集約し、反復訓練査定のために使用されるデータをバージョニングし、所与のソフトウェアコンテナまたはラッパー内のエンジンソースコードを非同期でバージョニングすることによって、クラウドでの使用時、または展開されたコンテナ化されたアルゴリズムプレーヤーソフトウェアにおける遠隔での使用時にアルゴリズムの分散および更新を可能にし、このソフトウェアは、プラットフォームで共同して作業しているエンドユーザおよびアルゴリズム／エンジン作成者のアクションによって管理および支配される。

１つまたは複数の個別の処理エンジンは、規定の１組の入力および出力を用いてソフトウェアコンテナにラップすることができる。互換性のある入力および出力を有する処理エンジンを直列または並列に（例えば、複数のスレッドを介して）実行して、より正確な最終出力を生成することができる。一実施形態では、プラットフォームによってサポートおよび更新される標準公開スキーマへの特定のエンジン／アルゴリズムの所要の入力および出力の抽象化を可能にする標準化されたＲＥＳＴｆｕｌウェブサービスＡＰＩ（または同様のもの）を利用することができる。これには、あらゆるエンジンが、マッピングおよび抽象化を可能にする抽象化レイヤを入力側と出力側に有することが必要である。次いで、１つまたは複数の抽象化された出力を１つまたは複数の抽象化された入力にマッピングすることができる。

例えば、エンジン開発者は、肺結節を検出するための様々な特徴（例えば、幾何形状、テクスチャ、肺結節の検出をもたらす特徴の他の組合せ、またはそれらの任意の組合せ）に基づいてエンジンを訓練することによって、アプリケーションストア１０９の開発者プラットフォームまたはデータ分析システム（図示せず）で、研究結果において肺結節を検出するように肺結節検出エンジンを訓練することができる。別の例では、エンジン開発者は開発者プラットフォーム上で血栓エンジンを訓練することができる。別の例では、骨折エンジンは、画像処理サーバ１１０からの骨折エンジンデータに基づいて開発者プラットフォーム上で機械学習することができる。別の例では、ＣＯＰＤエンジンは、同じＣＯＰＤエンジンデータ、別のＣＯＰＤエンジンデータ、またはそれらの任意の組合せに基づいて機械学習することができる。

図２は、一実施形態による画像処理サーバの一例を示すブロック図である。図２を参照すると、画像処理サーバ１１０は、１つまたは複数の画像処理エンジン１１３〜１１５をホストするメモリ２０１（例えばダイナミックランダムアクセスメモリまたはＤＲＡＭ）を含み、画像処理エンジン１１３〜１１５は、永続性記憶装置２０２（例えばハードディスク）にインストールし、そこからロードし、１つまたは複数のプロセッサ（図示せず）によって実行することができる。画像処理サーバ１１０は、さらに、追跡モジュール２１１、アラートモジュール２１２、分析モジュール２１３、および報告モジュール２１４を含む。画像処理エンジン１１３〜１１５は、プロセス構成２２４に従って様々な構成で構成することができる。プロセス構成２２４は、ユーザによって、または特定の研究結果または画像に対して特に構成された構成ファイルに記憶することができる。医療画像処理サーバ１１０は、マルチテナントクラウドサーバでよい。複数の構成ファイルが存在してもよく、各構成ファイルが、ユーザに、または構成インターフェース（図示せず）を介して構成され得るユーザのグループに関連付けられてもよい。

例えば、図２および図３を参照すると、医療データ（この例では医療画像）は、画像処理サーバ１１０で医療データ源１０５から受信することができる。画像処理エンジン１１３〜１１５のうちの１つまたは複数は、プロセス構成データ２２４に基づく順序に従って配置することができる。画像処理エンジン１１３〜１１５は、さらに、医療画像処理システム１０６の画像処理ツール１０７を発動することができる。１つまたは複数の結果２５０を生成し、出力データ２２２の一部として永続性記憶装置２２４に記憶することができる。一実施形態では、画像処理エンジン１１３〜１１５を直列に配置することができ、図４Ａに示すように、第１の画像処理エンジンの出力を第２の画像処理エンジンの入力として利用することができる。代替として、図４Ｂに示すように、画像処理エンジン１１３〜１１５を並列に配置して、同じまたは異なる画像処理操作を同時に実施することができる。次いで、画像処理エンジンの出力が集約されて、最終結果が生成される。さらに、図４Ｃに示すように、画像処理エンジン１１３〜１１５を直列と並列の両方で配置することもできる。

一実施形態では、画像処理サーバ１１０は、さらに、自然言語処理（ＮＬＰ）システム３１０を発動して、出力２５０のテキストまたは言語を処理することができる。ＮＬＰシステム３１０は、画像処理サーバ１１０によって抽出された特徴をスキャン、分析、および照合して、見逃し所見または誤解釈所見を含む研究結果を識別して、出力２５０と相関させることができる。ＮＬＰは、コンピュータ言語と人間（自然）言語との対話に関係する、特に、大きな自然言語コーパスを有益に処理するためのコンピュータのプログラミングに関係するコンピュータ科学、人工知能、および言語学の分野である。多くの異なるクラスの機械学習アルゴリズムが、ＮＬＰタスクに適用されている。これらのアルゴリズムは、入力データから生成された１組の大きな「特徴」を入力として受け取る。

例えば、第１のエンジンは、所見を検出するためのアルゴリズムを実行することができる。第１のエンジンは、第１のエンジンの所見の出力を作成することができる。第１のエンジンによる所見は、統計的インターフェース、レポート（図示せず）、診断解釈ビューア（図示せず）、またはＲＥＳＴｆｕｌサービスおよび／またはＡＰＩを介して結果およびコホートにアクセスすることが可能な任意のシステムもしくはデータベースに含めることができる。医師が、所見の出力をレビューすることができる。医師は、第１のエンジンの所見を有効化／無効化することができる。第１のエンジンの所見の有効化／無効化は、出力データ２２２の一部として含めることができる。第１のエンジンは、１つまたは複数の医療機関からの研究結果を処理することができ、結果を出力データ２２２に含めることができる。

利害関係者は、エンドユーザがアルゴリズム、アルゴリズムを訓練するために必要とされるコード、または画像データへのアクセス権を有さずに、エンドユーザが使用することができるアルゴリズムを作成することができるエンジン作成者でよい。これは、研究結果をプライベートまたはマルチテナントの安全なサーバに送信することによって行うことができる。このサーバは、クラウドベースでも、ローカルに設置されてもよく、多くのコンテナ化されたエンジン／アルゴリズムを用いて研究結果を処理することができる。アクセス制御は、アルゴリズム開発者が、認証および管理特権を付与できるようにする。アルゴリズムおよび使用認証の一実施形態は、様々なエンドユーザにアルゴリズムを使用できる権能を付与する権能をアルゴリズム開発者に与え、または書面もしくはクリックスルー契約条件で提供されるプラットフォームおよびライセンス契約に同意するようにエンドユーザに求めて、公での使用のために公開できるようにする。管理者特権により、アルゴリズム開発者は、他のアルゴリズム開発者にアルゴリズムを修正させるもしくは新しいバージョンのアルゴリズムを作成させる、またはエンジンもしくはエンジンのエンジンにアルゴリズムを修正させることができる権能を与えられる。バージョン制御により、アルゴリズム開発者は、規制認可のためのアルゴリズム技術ファイルへの変更を追跡しながら、自分のアルゴリズムの異なる世代を作成できるようになる。同様に、画像および臨床コンテンツコホートならびに医療データレビューフィードバックデータの異なる世代もバージョニングおよび安全化されて、本来の価値を保護し、意図しないデータの拡散を回避する。

一実施形態では、腹部の造影後ＣＴスキャンは、ＣＴ蛍光透視法手順の前に処理される。造影後画像は、レジストレーションエンジンを使用してＣＴ蛍光透視法データセットにレジストレーションされる。レジストレーションと解剖学的セグメント化との結果を、ＣＴ蛍光透視データに関してトグルして、ＣＴ誘導生検またはアブレーション中に非造影ＣＴ蛍光透視画像上に血管を表示することができる。したがって、仮想の造影増強された蛍光透視結果が得られる。これは、ＭＲＩなど他のモダリティと同様にサポートすることができる。一実施形態では、ｅスイートの所見の出力の有効化または無効化を、追跡データ２２１および／または統計２２３に含めることができる。

別のシナリオによれば、例えば、ＰＡＣＳサーバもしくはＣＴ、ＭＲＩ、超音波、Ｘ線、または他の撮像モダリティもしくは情報システムが、研究結果をｅスイートの第１のエンジンに送信することができる。第１のエンジンが研究結果を処理した後、第１のエンジンからの所見の出力を、第２のエンジンおよび第３のエンジンに送信することができる。第２のエンジンと第３のエンジンは並行して実行することができる。第２のエンジンと第３のエンジンの所見の出力を組み合わせることができる。第２のエンジンと第３のエンジンの複合の出力が、ｅスイートの所見の出力になり得る。代替として、プロセスは、複数のエンジンが処理用のデータを受信することから始めることができ、これらのエンジンは、上述したようにそれらの結果を１つまたは複数の他のエンジンに送信する。最終的な出力は、ソースモダリティ、またはＰＡＣＳ、または医療データレビューシステムに返送することができ、ｅスイートアンサンブルの出力の所見を確認または否定するために医師によってレビューされる。

第１のエンジンの出力は、第１の重み係数を有することができる。第２のエンジンの出力は、第２の重み係数を有することができ、以下同様である。第１の重み係数および第２の重み係数は、−１００％〜＋１００％の範囲の任意のパーセント、または対数スケール、または、実行されるテストおよびコホートの種類に適した、作成者が割り当てた任意の種類のスケールでよい。所見の重み付けされた出力は、あるエンジンが別のエンジンよりも大きい重みを有することを可能にし、１つのエンジン内の１つのタイプの所見が、所見ごとに異なる重みを有することもできる。ユーザは、画像処理サーバ１１０上のインターフェースから各エンジンの重みを操作することができる。代替として、エンジンのエンジンを適用して、教師ありまたは教師なし機械学習技術を使用してこれらの値を設定することができる。

例えば、第１のエンジンは、縁部検出用のエンジンでよい。第２のエンジンは、軟組織検出用のエンジンでよい。ユーザは、第１のエンジンが２０％で重み付けされ、第２のエンジンが８０％で重み付けされるように各エンジンを操作することができる。第１および第２のエンジンの出力は、そのような重みを反映することができる。同一の研究結果に関して、複数のエンジンまたはｅスイートを同時に並行して実行することができる。同じ患者からの、または異なる患者からの異なる研究結果に関して、複数のエンジンまたはｅスイートを同時に実行することができる。

同様の所見を見つける同様のエンジンは、並列に、直列に、またはそれらの任意の組合せで実行することができ、同じ所見を検出するための異なるエンジンでよい。例えば、第１のエンジン、第２のエンジン、および第３のエンジンは肺結節検出エンジンでよいが、それらは、異なるエンジン開発者または異なる医療機関からのものでよい。そのような構成は、異なるベンダからの３つのエンジンからの所見を比較することを可能にすることができ、医療データレビュー中に行われる診断解釈プロセス中に直ちに、複数のツールへの即時アクセスおよび各エンジンからの所見の迅速な概観を医者に提供する。代替として、医療データレビューシステムは、一般的なＰＡＣＳシステムで診断レビューを行い、次いで、そのようなレビュー後に医療データレビューシステムを使用して医療データレビューを行って、これらの診断解釈間で同様の所見および異なる所見を測定することを可能にする。

典型的な医療データレビューと医療データレビューシステムとの相違点は、一般的な医療データレビューは解釈の全体的な結果について同意を確認しようとするだけであるのに対し、医療データレビューシステムは、所見を含めたより高い粒度レベルでの同意の測定を可能にし、したがって、改善された将来の結果を提供するために画像処理またはデータ処理エンジンを訓練するのに必要な詳細を提供する。医療データレビューシステムは、開始時により長い医師の従事時間を必要とし得るが、高度に調整されたアルゴリズムの利用可能性は、継続的な使用の結果として得られるものであり、将来の全体的な医師の解釈時間を短縮し、時間と共に改善された医療データレビュー結果を提供する。

一実施形態によれば、処理エンジンは、同様のモダリティを有する複数の研究を分析し、「有意な間隔変化なし」という分析結果を生成することができる。例えば、処理エンジンは、異なる時点で生じる、同じモダリティおよび身体部分の２つのヘッドＣＴ研究を取ることができる。フォロースタディから簡単に抽出されるレポート機能は、「有意な間隔変化なし」である。次いで、処理エンジンは、両方のＣＴ研究に対して実行されて、相違がないかどうかそれらを比較する。最新の報告が「有意な間隔変化なし」と考えられる場合、医療データレビューシステムの機能は、類似性を検証することができるエンジンを実行し、したがってその陳述に同意または不同意することができる能力を提供することであり得る。多くの場合、報告された所見はレポートに維持され、エンジンが動作するとき、プラットフォームへの入力である電子通信および関連のコンテンツがエンジンに提供される。

別の実施形態によれば、単一の研究で実行するエンジンは、異常の安定性を査定するために、関連の比較について実行するように別のエンジンを呼び出すことができる。これは、比較研究においてＣＴ肝病変エンジンとＭＲＩ肝病変エンジンを比較するなど、マルチモダリティでよい。この実施形態では、ＣＴ画像コホートに対して動作するＣＴアルゴリズムを実行する処理エンジンは、単一の比較タスクを実施するために、別の処理エンジンを呼び出すか、または同じ患者に関するＭＲＩ画像コホートに対してＭＲＩアルゴリズムを実行する推論エンジンの以前の結果を呼び出す。

エンジンおよび／またはｅスイートは、所見を検出する（または、所見がないことの確認が目標であれば、それを行う）確率が高いおよび／または最適化されるように、任意の構成で実行させることができる。エンジンおよび／またはｅスイートは、所見を検出するために信頼性レベルを最大にするように任意の構成で実行させることができる。エンジンは、所見の出力がどのようなものか（例えば、所見を検出する高い可能性、所見を検出する低い可能性、特定の所見を除外すること、特定の所見を含むこと、正常な研究を選択すること、またはそれらの任意の組合せ）をユーザが設定することができるように任意の構成で実行させることができる。

例えば、ユーザがＣＯＰＤおよび／またはＣＯＰＤの特徴を検出したい場合、ユーザは、１つまたは複数のＣＯＰＤエンジンを並列に、直列に、またはそれらの任意の組合せ（すなわち、ＣＯＰＤ ｅスイート）で構成することができ、それにより、エンジンの構成は、ＣＯＰＤまたはＣＯＰＤの特徴を検出する高い可能性を有することができる。これは、医師によって確認された目標所見をどの患者が有していたかについての情報がレポートに提供される場合、検出アルゴリズムの重み付けを自己最適化することができるエンジンのエンジンにとって理想的な使用例である。ＣＯＰＤ ｅスイートを使用してＣＯＰＤ ｅスイートの所見の出力を確認（有効化）する医師が増えるにつれて、ｅスイートが有することができるレーティングは高くなる。高いレーティングおよび／または向上された確認は、どのＣＯＰＤ ｅスイートが最良の所見検出レートを有しているかを他の医師が認識することを可能にし得る。これは、電子商取引サイトでレーティングシステムを提供することによってユーザに明らかになる。

別の例では、ユーザが肺結節を検出したい場合、ユーザは、肺結節の特定の特徴を検出するエンジン、例えばテクスチャ用のエンジン、および結節形状用のエンジン、強度用のエンジン、またはそれらの任意の組合せを選択することができる。そのようなエンジンは、並列に、直列に、またはそれらの任意の組合せで実行させることができる。多くの肺スキャンは所見を有しているので、検出に最も重要なのは、医師からの秩序立ったフォローアップをもたらす可能性が高い所見である。したがって、フォローアップを必要とする可能性が最も高い肺所見の検出を改良するために、エンジンまたはエンジンのエンジンにレポート情報または他の臨床情報を提供することができる。偶発的所見は見逃し所見ではないので、一実施形態は、これらの所見を提示しないことによってか、またはそれらを提示して偶発的である可能性があるものとしてマークを付けることによって、医療データレビューおよび診断解釈プロセスにおいて偶発的所見を除外するシステムである。いくつかの偶発的所見は、臨床アウトカムに影響を及ぼす臨床的重要性を有することも有さないこともあるので、前述のプロセスを具現化するための別の方法は、臨床的重症度スコアとしてのものである。ユーザは、画像処理サーバ１１０の構成インターフェース（図示せず）を介して手動でエンジンを別のエンジンと交換することができる。

図２に戻って参照すると、一実施形態によれば、追跡モジュール２１１は、画像処理エンジン１１３〜１１５の割当ておよびプロセスを追跡または記録するように構成される。画像処理エンジン１１３〜１１５は、マルチテナント動作環境における複数のインスタンス（例えば複数のスレッド）において実行され得ることに留意されたい。マルチテナント運用環境では、様々なユーザがログインして認証を受けることができる。ユーザが認証されて許可されると、ユーザは、様々な研究や様々な組織などに関する自分のサービスまたは加入契約に従って画像処理エンジンを構成して利用することができる。追跡モジュール２１１は、どの医学的研究結果に関して、またはどのユーザによって、どの画像コホートおよび臨床コンテンツコホートに対して、どの画像処理エンジンが利用されるか、それがどのインデックス付きユーザデータをもたらしたかを追跡するように構成され、次いで、データベースとも呼ばれる永続性記憶装置２０２に記憶された追跡データ２２１（エンジンデータとも呼ばれる）を生成する。

図５は、一実施形態による医療画像を処理する処理フローである。図５を参照すると、医療画像５０１が受信されるとき、画像処理エンジン１１３〜１１５の１つまたは複数を有する処理エンジン５０２は、医療画像を処理して結果５０３を生成するように構成される。画像５０１は、単一の研究における複数の画像、１つの研究における複数のシリーズ、または異なるモダリティの複数の研究からのシリーズと画像との組合せを表すことがあることに留意されたい。結果５０３は、統計データを生成するために分析モジュール２１３によって分析される。その一方で、追跡モジュール２１１は、処理エンジン５０２の動作を追跡するように構成されている。結果５０３は、出力データ２２２の一部として記憶することができる。追跡データおよび統計データ５０４が生成され、これは、追跡データ２２１および／または統計２２３の一部として記憶することができる。追跡データ／統計データ５０４に基づいて、異常な所見または不一致の所見など、所定の条件を満たすデータがある場合、アラートモジュール２１２は、アラートを生成して所定のデバイス、データベース、またはシステムに送信するように構成される。報告モジュール２１４によって追跡／統計データ５０４に基づいてレポートを生成することもできる。

追跡モジュール２１１は、１つまたは複数のエンジン（例えば、第１のエンジン）に関してエンジンデータ（例えば、どの研究結果が画像処理サーバ１１０に送信されているか；どの研究結果がどのエンジンによって処理されたか；どの研究結果がどのエンジンによってフラグを立てられているか；どの研究結果が複数のエンジンによってフラグを立てられているか；どの研究結果が、医療データレビューサンプルの一部として送信されているか；エンジン名；所見；有効化および／または無効化、機械学習、場合によっては疾患研究結果のより高い可能性に関するデータ；研究結果における画像の特徴に関するデータ（限定はしないが、壁の厚さ、テクスチャ、勾配、測定値、密度、異質性、ある範囲のボクセルの標準偏差、またはそれらの任意の組合せ；解釈する医師およびシステムを使用する他の任意の他の人員のユーザインタラクション）；診断に関する時間；例えば患者の健康に対するリスクに基づく研究結果のフラグ設定；リスクに基づく研究結果の順序；またはそれらの任意の組合せ）を追跡することができる。エンジンデータは、各研究が１つまたは複数のエンジンまたはｅスイートによって実行された後に、手動で、継続的に、または自動的に追跡および更新することができる。医療データレビュー機能は、１つ、２つ、または３つよりも多い医師の解釈を含むことができ、医療データレビューシステムは、医師による無関係の研究結果または臨床試験の連続診断解釈に使用することができる。

さらに、統計データエンジンとも呼ばれる分析モジュール２１３は、画像処理エンジンに関する追跡されたエンジンデータに対して分析を実施することができる。統計データエンジン２１３は、医療データレビューシステムに関連する１つまたは複数の画像処理サーバおよび１つまたは複数のデータベース、ならびに外部ソース、例えば、エンジンを提供する１つまたは複数の医療機関からのもの、および画像と臨床コンテンツコホートのみを提供するものからのエンジンデータを集約することができる。統計データエンジン２１３は、エンジンレーティングの一部としてアプリケーションストア１０９上で更新することができるエンジンデータに基づいて、全てのエンジンおよびエンジンのエンジンに関する統計データを更新することができる。また、統計データは、統計データ２２３の一部として永続性記憶装置２０２に記憶されてもよい。画像コホートおよび臨床データコホートについても同様のフィードバックが収集されて表示される。

上で図示して説明した構成要素のいくつかまたは全ては、ソフトウェア、ハードウェア、またはそれらの組合せで実装することができることに留意されたい。例えば、そのような構成要素は、永続性記憶装置にインストールおよび記憶されるソフトウェアとして実装することができ、このソフトウェアは、本出願を通して述べるプロセスまたは操作を実施するためにプロセッサ（図示せず）によってメモリにロードされて実行され得る。代替として、そのような構成要素は、集積回路（例えば特定用途向けＩＣまたはＡＳＩＣ）、ＧＰＵ（グラフィックスプロセッシングユニット）、デジタル信号プロセッサ（ＤＳＰ）、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）などの専用ハードウェアにプログラムされたまたは埋め込まれた実行可能コードとして実装することができ、アプリケーションから対応するドライバおよび／またはオペレーティングシステムを介してアクセスすることができる。さらに、そのような構成要素は、１つまたは複数の特定の命令によってソフトウェア構成要素がアクセス可能な命令セットの一部として、プロセッサまたはプロセッサコア内の特定のハードウェア論理として実装することができる。

別の態様によれば、画像処理エンジンを医療データレビューシステムの一部として利用して、１組の医師によって識別された医学的所見をレビューすることができる。画像処理エンジンを利用して、異常な所見を有する可能性が高い任意の画像をスクリーニングおよび識別する。次いで、識別された画像は、所見を検証して確認するために１組の医師によってレビューされる。その結果、レビューされる必要がある多数の医療画像に関して、画像処理エンジンは大規模な画像処理操作を実施して、異常な画像を予備的に識別することができる。次いで、それらの画像は、所見を確認するために１組の医師によってレビューされる。画像処理エンジンと、レビューする医師との所見が一致している場合、当該の画像処理エンジンの動作を有効化することができ、すなわち画像処理エンジンによって使用されるアルゴリズムを有効化することができる。一致しない場合には、そのようなアルゴリズムは、例えば機械学習法を使用してさらなる微調整または訓練を必要とすることがある。

代替として、機械所見と医師所見とに不一致がある場合、データベース内の標示、ならびにＲＥＳＴｆｕｌサービスおよび／またはＡＰＩ内の通知は、所望のシステムおよびスタッフに通知を送信する効果を有する。次いで、これらの識別された矛盾する研究結果は、二次医師レビューのために送信される。両方のレビュー結果がわかると、分析モジュールによる調停により、エンジンの精度の確認またはエンジンの改良をもたらすことができる。

特定の実施形態によれば、医療データレビューシステムの診断画像処理機能を使用して、様々な画像処理ツールにユーザがアクセスすることができる。代替として、そのような画像処理ツールは、画像処理エンジン１１３〜１１５として実装することができ、これらは次いで、ＰＡＣＳもしくはＥＭＲなど他のサードパーティシステム、または他の臨床もしくは情報システムにおいて発動される。以下は、上述した画像処理システムの一部として含まれる、および／またはさらには自動化される、またはエンジンに変換されることがある、現在の主要な半自動画像閲覧および先進視覚化システムに存在する医療画像処理ツールの例である。これらの例は、例示の目的で提供され、限定とは意図されていない。

血管分析ツールは、冠動脈から大動脈へのエンドグラフト計画、ならびに頸動脈および腎動脈を含むより全般的な血管レビューまで、広範な血管分析タスクが可能なＣＴおよびＭＲ血管造影のための包括的な血管分析パッケージを含むことがある。自動中心線抽出、真直化された視野、直径および長さの測定、ＣＰＲおよびアキシャルレンダリング、ならびに自動薄スラブＭＩＰのための血管追跡モードが含まれてもよい。

カルシウムスコアリングツールは、Ａｇａｔｓｔｏｎによる冠動脈カルシウムの同定、体積およびミネラル質量アルゴリズムを含むことがある。カスタマイズオプション付きの統合報告パッケージが含まれることがある。

時間依存分析（ＴＤＡ）ツールは、ＣＴまたはＭＲで獲得された時間分解平面または体積４Ｄ脳灌流検査を含むことがある。ＴＤＡツールは、分析を迅速化するために、入力関数およびベースラインの半自動選択を用いて、平均増強時間および増強積分などの様々なパラメータのカラーまたはマッピングをサポートすることができる。ＴＤＡツールは、獲得から数分以内での解釈を保証するために、動的４Ｄエリア検出器ＣＴ検査の迅速な自動化処理をサポートすることができる。

ＣＴ／ＣＴＡ（コンピュータ断層撮影血管造影）サブトラクションツールは、ＣＴ血管造影検査からの非増強構造（例えば骨）の除去に使用され、ＣＴ／ＣＴＡオプションは、造影前後の画像の自動レジストレーションと、それに続く高密度ボクセルマスキングアルゴリズムとを含み、このアルゴリズムは、ノイズを増加させることなくＣＴＡスキャンから（骨や外科用クリップのような）高強度構造を取り除き、造影増強血管構造の分離に役立つ。

小葉分解ツールは、関心体積内のツリー状構造、例えば、血管床を含むスキャン領域、または肝臓などの臓器を識別する。次いで、ＬＤツールは、ツリーの所与のブランチまたはそのサブブランチの１つへの近接性に基づいて、関心サブ体積を識別することができる。リサーチ用途は、臓器の小葉構造の分析を含む。

低露光量ツールを用いた汎用の増強およびノイズ処理は、ソース画像の質が最適でないときでさえ、ノイズ管理技法を適用して３Ｄ、中心線、ならびに輪郭付けおよびセグメント化アルゴリズムの有効性を改良する先進体積フィルタアーキテクチャを含むことがある。

Ｓｐｈｅｒｅｆｉｎｄｅｒツールは、高い球形度指数（ｓｐｈｅｒｉｃｉｔｙ ｉｎｄｅｘ；多くの結節およびポリープによって示される特徴）を有する構造の位置を識別するために、体積検査の自動分析を実施する。Ｓｐｈｅｒｅｆｉｎｄｅｒは、取り得る関心領域を識別するために、肺または結腸ＣＴスキャンと共に使用されることが多い。

セグメント化、分析、および追跡ツールは、孤立性肺結節または他の潜在的な病変など、質量および構造の分析および特徴付けをサポートする。ツールは関心領域を識別してセグメント化し、次いでＲＥＣＩＳＴやＷＨＯなどの測定基準を適用することができ、表形式での所見の報告とフォローアップ比較をもたらす。Ｓｐｈｅｒｅｆｉｎｄｅｒを含む、任意の検出エンジンからの候補マーカーの表示および管理がサポートされることがある。

時間体積分析ツールは、心室など律動運動する室からの駆出率の自動計算を提供することができる。ユーザが対象の壁境界（例えば、心外膜および心内膜）を識別し、これらのユーザが確認した関心領域に基づいて、多相ＣＴデータから駆出率、壁体積（質量）、および壁肥厚を報告することを可能にするために、高速で効率的なワークフローが含まれることがある。表形式のレポート出力が含まれる。

顎顔面（Ｍａｘｉｌｌｏ−ｆａｃｉａｌ）ツールは、顎顔面領域のＣＴ検査の分析および視覚化をサポートし、これらのツールは、ＣＰＲツールを適用して、様々な平面内および様々な厚さの「パノラマ」投影、ならびに定義された曲面に沿った設定された増分での断面ＭＰＲビューを生成する。

Ｆｌｙｔｈｒｏｕｇｈツールは、結腸、肺、または血管などの管腔内ＣＴまたはＭＲ検査に適用可能であり、横並びレビュー、以前に閲覧した領域の色付け、パーセントカバレッジ追跡、ならびに前送り、逆戻し、魚眼、平坦ボリュームレンダリングビューを含む複数のスクリーンレイアウトをサポートする。コントラストサブトラクション用のツール「Ｃｕｂｅ Ｖｉｅｗ」、および統合コンテキスト報告がサポートされることがある。ｉＮｔｕｉｔｉｏｎのＳｐｈｅｒｅｆｉｎｄｅｒを含め、任意の検出エンジンからの候補マーカーの表示および管理をサポートすることができる。

体積ヒストグラムツールは、関心体積をセグメント化して組成を分析することを可能にする。リサーチ用途は、肺の低減衰領域の分析、ボクセル集団への腫瘍の閾値ベースの分割、血栓血管もしくは動脈瘤の検査、または他の病理学的分析を含む。

所見ワークフローツールは、一連の検査にわたって所見を追跡するためのフレームワークを提供する。データベースは、測定値および重要な画像を保持し、連続比較を提示するためのＲＥＣＩＳＴ １．１の手法など、時間にわたって、構造化された比較および表形式での所見の報告に関するサポートを提供する。音声認識システムまたは臨床データベースとの自動統合のために、注釈および画像マークアップ（ＡＩＭ）ＸＭＬスキーマがサポートされることがあり、データベースからＷｏｒｄベースのレポートが導出されることがある。

これらのツールを用いて、任意の２つのＣＴ、ＰＥＴ、ＭＲ、もしくはＳＰＥＣＴシリーズ、またはそれらの任意の２シリーズの組合せを重ね合わせることができ、一方に、半透明のカラーコーディングを割り当て、他方は、解剖学的基準に関するグレースケールおよびボリュームレンダリングで示される。自動レジストレーションが提供され、一時的なシリーズまたは保存された第３のシリーズへのサブトラクションが可能である。ＰＥＴ／ＭＲ視覚化のためのサポートが含まれる。

特定のＭＲ検査（例えば、乳房ＭＲ）は、ある期間にわたって撮影された一連の画像獲得を含み、特定の構造が、他の構造と比較して時間と共に増強される。これらのツールは、増強構造（例えば、血管構造および他の増強組織）の視覚化を強調するために、全ての増強後画像から増強前画像をサブトラクションすることができる機能を特徴とする。所与の領域の時間強度グラフをプロットするために、時間依存の関心領域ツールを提供することもできる。

パラメトリックマッピングツールは、多相ＭＲツールに対する拡張であり、パラメトリックマッピングオプションは、オーバーレイマップを事前計算し、ピクセル強度の時間依存挙動に応じて画像内の各ピクセルがカラーコード化される。一例として、このツールを乳房ＭＲで使用して、増強領域の識別および調査を迅速化することができる。

ＭｕｌｔｉＫｖツールは、複数のベンダからのデュアルエネルギー（Ｄｕａｌ Ｅｎｅｒｇｙ）およびスペクトル撮像（Ｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ）獲得のためのサポートを提供し、セグメント化または造影抑制などの標準的な画像処理アルゴリズム、ならびに新たな技法の正確な分析および開発のための汎用ツールキットを提供する。

これらの例、ならびに現在の先進の画像分析および臨床データ分析のほとんどの機能は、医療データレビュープラットフォームにおいてサポートすることが可能である。しかし、エンジンおよびエンジンのエンジンの機能もさらに進化し、より高度な知能および自動化を備えたツールに対応することができ、さらに、エンジンを個人またはグループの嗜好に適合させることによって、個別に調整されたワークフローを提供することができる。

上述した実施形態は、様々な医療分野に適用することができる。例えば、上述した技法は、血管分析（血管内大動脈修復（ＥＶＡＲ）および電気生理学（ＥＰ）計画を含む）に適用することができる。そのような血管分析は、大動脈エンドグラフトおよび電気生理学計画に加えて、冠動脈血管の分析と頸動脈および腎動脈など全般的な血管の分析との両方の解釈のために実施される。ローカルに設置されるまたはクラウドに設置される配備用のプラットフォームのクラウドサービスとして提供されるツールには、自動中心線抽出、真直化された視野、直径と長さの測定、カラーオーバーレイ、フュージョンマッピング、曲面再構成（ＣＰＲ）、アキシャルレンダリング、ならびに血管径と距離および断面図のチャート化が含まれる。血管追跡ツールは、ナビゲーションおよび深い調査を容易にするために、血管の中心線に沿って移動してその周りを回転する２つの直交する平面で最大強度投影（ＭＩＰ）ビューを提供する。プラーク分析ツールは、軟質プラーク、石灰化プラーク、および壁内病変などの非管腔構造の詳細な描写を提供する。

さらに、上述した技術は、血管内大動脈修復の分野で利用することができる。いくつかの実施形態によれば、同様のクラウドサービスとして提供される血管分析ツールは、エンドグラフトサイズ設定に関する測定を捕捉するレポートテンプレートの定義をサポートする。複数のアクセスポイントでＥＶＡＲ手順の計画を可能にするために、複数の中心線を抽出することができる。血管に垂直な直径を、２つの大動脈−腸骨路に沿った距離と共に測定することができる。カスタムワークフローテンプレートを使用して、大動脈エンドグラフト製造業者の測定仕様を、ステントサイズ設定に関する必要に応じて作成することができる。有窓および分岐デバイス計画のための分岐血管の向きおよび位置を表すのを助けるための「クロックフェース」オーバーレイを用いたＳａｃセグメント化および体積決定も使用され得る。必要な測定値およびデータを含むレポートが生成され得る。

上述した技法は、左心房分析モードにおいても適用することができ、各肺静脈口の半自動左心房セグメント化が、大静脈直径および小静脈直径の査定のためにクラウドサービスとして提供される距離対ツールを用いてサポートされる。測定値は、自動的に検出され、統合報告システムに捕捉される。これらの機能を他の血管分析ツールと組み合わせて、アブレーションおよびリードアプローチ計画のための包括的でありカスタマイズされたＥＰ計画ワークフローを提供することができる。

上述した技法は、カルシウムスコアリングにも利用することができる。冠動脈カルシウムの同定は、Ａｇａｔｓｔｏｎでサポートされており、体積およびミネラル質量アルゴリズムが合計されて報告されている。結果は、患者および患者の心血管歴およびリスク因子に関する他の様々なデータと共にオープンフォーマットデータベースに保存することができる。これらのデータに基づいて、カスタマイズされたレポートを自動的に生成することができる。また、ＳＣＣＴ（Ｓｏｃｉｅｔｙ ｏｆ Ｃａｒｄｉｏｖａｓｃｕｌａｒ Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）のガイドラインによって定義されているレポート生成も含む。

上述した技法は、時間−容積分析（ＴＶＡ）でも利用することができ、多相データからの左心室容積、駆出率、心筋容積（質量）、および壁肥厚の完全自動化計算を含むことがある。

上述した技法は、セグメント化分析および追跡（ＳＡＴ）の分野においても利用することができ、これは、肺ＣＴ検査を含む様々なスキャンにおける質量および構造の分析および特徴付けのサポートを含む。特徴には、質量のセグメント化、寸法および体積の報告、選択された領域のグラフィカル３Ｄ表示、体積変化率および倍加時間を含むフォローアップ比較のためのサポート、ならびにフィルタ結果（例えば、球形度）の適用およびレビューに関するサポートが含まれる。

上述した技法は、フライスルー（ｆｌｙｔｈｒｏｕｇｈ）の分野でも利用することができ、これは、結腸の自動セグメント化および中心線抽出の特徴を含むことがあり、２Ｄレビューは、代表的な同期化された腔内ビューと共に、アキシャル、冠状、または矢状ビューのいずれかで、横並びでの同期された仰臥および腹臥データセットを含む。３Ｄレビューには、大きな腔内ビューと、結腸全体を表示する展開ビューとを備えた、アキシャル、冠状、矢状方向のＭＰＲまたはＭＩＰ画像表示が含まれる。カバレッジ追跡は、閲覧していないセクションの段階的なレビュー、ポリープの識別、ブックマークおよびマージの所見、ならびに関心体積を隔離するためのキューブビュー、および統合コンテキスト報告ツールにより、１００％のカバレッジを保証する。フィルタ結果（例えば球形度）の使用に関するサポートが提供される。

上述した技法は、時間依存分析（ＴＤＡ）の分野でも利用することができ、これは、脳灌流研究においてなど、適切なコンピュータ断層撮影血管造影法（ＣＴＡ）および／またはＭＲＩ検査の時間依存的挙動の査定分析を提供する。複数の時間依存シリーズが同時に分析され、入力および出力機能、ならびに関心領域を選択するための手続き型ワークフローが提供される。血流、血液体積、および通過時間マップに関する値のエクスポートは、ＤＩＣＯＭまたは他の画像フォーマットでサポートまたはエクスポートされる。他の出力には、様々な時間依存パラメータの計算が含まれる。

上述した技法は、ＣＴＡ−ＣＴサブトラクションの分野でも利用することができ、これは、造影前後の画像の自動レジストレーションと、それに続くサブトラクションまたは高密度ボクセルマスキング技法とを含み、この技法は、ノイズを増加させることなく、造影増強血管構造を傷付けずに、ＣＴＡスキャンから（骨および外科用クリップなどの）高強度構造を除去する。

上述した技法は、歯科分析でも利用することができ、これは、歯科用ＣＴスキャンのレビューに適用することができるＣＰＲツールを提供し、様々な平面内および様々な厚さの「パノラマ」投影、ならびに定義された曲面に沿った設定された増分での断面ＭＰＲビューを生成することができる機能を提供する。

上述した技法は、多相ＭＲ（基本的、例えば乳房、前立腺ＭＲ）の分野でも利用することができる。特定のＭＲ検査（例えば、乳房、前立腺ＭＲ）は、ある期間にわたって撮影された一連の画像獲得を含み、特定の構造が、他の構造と比較して時間と共に増強される。機能は、増強構造（例えば、血管構造および他の増強組織）の視覚化を強調するために、全ての増強後画像から増強前画像をサブトラクションすることができる機能を含む。所与の領域の時間強度グラフをプロットするために、時間依存の関心領域ツールが提供される。

上述した技法は、パラメトリックマッピング（例えば、多相乳房ＭＲ用）においても利用することができ、パラメトリックマッピングモジュールは、オーバーレイマップを事前計算し、ピクセル強度の時間依存挙動に応じて画像内の各ピクセルがカラーコード化される。

上述した技法は、画像データセット内のオブジェクトにおける球形度を見出す際に利用することもできる。これは、取り得る関心領域を識別するために、肺または結腸ＣＴスキャンと共に使用されることが多い。

上述した技法は、ＣＴ／ＭＲ／ＰＥＴ／ＳＰＥＣＴに関する融合で利用することもできる。任意の２つのＣＴ、ＰＥＴ、ＭＲ、もしくはＳＰＥＣＴシリーズ、またはそれらの任意の２シリーズの組合せを重ね合わせることができ、一方に、半透明のカラーコーディングを割り当て、他方は、解剖学的基準に関するグレースケールおよびボリュームレンダリングで示される。自動レジストレーションが提供され、一時的なシリーズまたは保存された第３のシリーズへのサブトラクションが可能である。

上述の技法は、小葉分解の分野でも利用することができる。小葉分解は、解剖学的構造を検出してセグメント化するように設計された分析およびセグメント化ツールである。ツリー状構造（動脈および／または静脈ツリーなど）と絡み合っている任意の構造または臓器領域に関して、ツールは、関心体積とそれに関連するツリーを計算し、その体積を、ツリーもしくはその任意の特定のサブブランチに最も近いローブまたはテリトリーに区分する。この汎用性および柔軟性のあるツールは、肝臓、肺、心臓、ならびに様々な他の臓器および病理学的構造の分析において潜在的なリサーチ用途がある。

上述した技法は、容積ヒストグラム計算の分野でも利用することができる。容積ヒストグラムは、異なる強度または密度範囲のグループまたは集団を作成する成分ボクセルに基づいて所与の関心体積を区分する。これは、例えば、癌（活性腫瘍、壊死組織、および浮腫のバランスを理解するために、腫瘍の成分を分析することが望ましい）または肺気腫（肺ＣＴ検査における低減衰ボクセルの集団が早期疾患の有意な指標となり得る）などの疾患プロセスのリサーチをサポートするために使用することができる。

上述した技法は、運動分析の分野でも利用することができる。インタラクティブな３Ｄまたは４Ｄ表示が利用可能でないとき、運動分析は、４Ｄプロセスの強力な２Ｄ表現を提供する。鼓動している心臓など任意の動的体積獲得に運動分析を施して、動的シーケンス全体にわたって、重要な境界の外形のカラーコード化された「形跡」を生成することができ、文献で容易に報告することができる様式で、単一の２Ｄフレームが動きを捕捉して示すことができるようにする。カラーパターンの均一性、またはその欠如は、運動が調和的である程度を反映し、単一の画像からの即座の視覚的フィードバックを提供する。

図６は、一実施形態と共に使用することができるデータ処理システムのブロック図である。例えば、システム１７００は、上述したようにサーバまたはクライアントの一部として使用することができる。例えば、システム１７００は、上述した画像処理サーバ１１０を表すことがあり、ネットワークインターフェース１７１０を介してリモートクライアントデバイスまたは別のサーバに通信可能に結合されている。図６はコンピュータシステムの様々な構成要素を示しているが、構成要素を相互接続する任意の特定のアーキテクチャまたは様式を表すことを意図しないことに留意されたい。なぜなら、そのような詳細は本発明と密接な関係がないからである。また、より少数の構成要素またはおそらくはより多数の構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、および他のデータ処理システムも本発明と共に使用することができることも理解されたい。

図６に示すように、データ処理システムの一形態であるコンピュータシステム１７００は、バスまたは相互接続１７０２を含み、バスまたは相互接続１７０２は、１つまたは複数のマイクロプロセッサ１７０３と、ＲＯＭ１７０７と、揮発性ＲＡＭ１７０５と、不揮発性メモリ１７０６とに結合されている。マイクロプロセッサ１７０３は、キャッシュメモリ１７０４に結合されている。バス１７０２は、これらの様々な構成要素を互いに相互接続し、またこれらの構成要素１７０３、１７０７、１７０５、および１７０６をディスプレイ制御装置およびディスプレイデバイス１７０８、ならびに入出力（Ｉ／Ｏ）デバイス１７１０に相互接続する。入出力デバイス１７１０は、マウス、キーボード、モデム、ネットワークインターフェース、プリンタ、および当技術分野でよく知られている他のデバイスでよい。

典型的には、入出力デバイス１７１０は、入出力制御装置１７０９を介してシステムに結合される。揮発性ＲＡＭ１７０５は、典型的には、メモリ内のデータをリフレッシュまたは維持するために継続的に電力を必要とするダイナミックＲＡＭ（ＤＲＡＭ）として実装される。不揮発性メモリ１７０６は、典型的には、磁気ハードドライブ、光磁気ドライブ、光学ドライブ、もしくはＤＶＤ ＲＡＭ、またはシステムから電力が除去された後でさえデータを維持する他の種類のメモリシステムである。典型的には、不揮発性メモリもランダムアクセスメモリであるが、これは必須ではない。

図６は、不揮発性メモリがデータ処理システム内の残りの構成要素に直接結合されたローカルデバイスであることを示しているが、システムは、システムの遠隔にある不揮発性メモリ、例えば、モデムまたはＥｔｈｅｒｎｅｔインターフェースなどのネットワークインターフェースを介してデータ処理システムに結合されたネットワーク記憶デバイスを利用してもよい。バス１７０２は、当技術分野でよく知られているように、様々なブリッジ、制御装置、および／またはアダプタを介して互いに接続された１つまたは複数のバスを含むことがある。一実施形態では、Ｉ／Ｏ制御装置１７０９は、ＵＳＢ周辺機器を制御するためのＵＳＢ（ユニバーサルシリアルバス）アダプタを含む。代替として、Ｉ／Ｏ制御装置１７０９は、ＦｉｒｅＷｉｒｅデバイスを制御するためのＦｉｒｅＷｉｒｅアダプタとしても知られているＩＥＥＥ−１３９４アダプタを含むことがある。

未完成のレポートをレビューするとき、医師は、Ｎｕａｎｃｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ， Ｉｎｃ．から入手可能な製品ＰｏｗｅｒＳｃｒｉｂｅ ３６０ Ｒｅｐｏｒｔｉｎｇなどの報告ソリューションを使用することができ、これにより、医師は、自然言語の口述またはタイピングを使用して、未完成のレポートを修正することができる。代替として、または追加として、患者の状態および以前の選択に基づいて関連語を選択するようにプログラムされた論理を使用する構造化された報告ソリューションを医師が使用して、より一様なレポートを作成することができる。そのような機能は、医師の所見とレポートとの一方向コミュニケーションを利用する。

画像から引き出された情報または推論を使用して画像解釈レポートの一部または全部を投入することができるように画像処理および報告に適用される人工知能または機械学習の新興分野もある。例えば、Ｇａｌｉｌｅｏ ＣＤＳ， Ｉｎｃ．から入手可能なＧａｌｉｌｅｏ Ｃｌｉｎｉｃａｌ Ｄｅｃｉｓｉｏｎ Ｓｕｐｐｏｒｔシステム、ＲａｄＬｏｇｉｃｓ， Ｉｎｃ．から入手可能な医療画像解析のための機械学習ソリューション、およびＥｎｌｉｔｉｃ， Ｉｎｃ．から入手可能な臨床支援製品を参照されたい。

以下で述べるように、システムは、画像ビューアとソリューション報告ソリューションとの双方向通信を可能にする。このシステムは、コンピュータ生成された所見をビューア内で示すことができる機能を含み、それにより、生成された所見を、レビューしている医師が見る、承諾する、調節する、削除する、または置き換えることができる。そのようなレポートは、医師が提供した情報に基づくレポートを物理的に自動的に更新することによって変わる。同様に、医師が、レポート内の数字を、画像ビューア内で、別の測定によって成された別の測定値に置き換える場合、システムは、置き換えられた古い測定値の削除を承諾するように医師に促し、またはこの嗜好および他の嗜好に基づいてこれを自動的に行う。

画像ビューアとソリューション報告ソリューションとの双方向通信を可能にするそのようなシステムは、医師が画像から始める自然な傾向を助け、先験的な知識による偏見が生じるのを防止する助けとなる。これはまた、事前投入されたレポートから始める医師が、コンピュータにより生成された所見を盲目的に承諾しなければならない、またはそれらを検証して、所見と画像との間で揺れなければならない場合を回避する助けとなる。画像ビューア内の所見の変更がレポート内の結果を更新しないことがあるので、ワークフローは中断されない。より重要なことには、画像における医師のさらなる調査および測定によって行われたレポート内の所見の変更が調整され、それにより、コンピュータ自動化方法によって画像において行われた元の測定または注釈が除去される、または置き換えられる。これにより、画像が最終レポートと共に記憶されるときに生じ得る患者記録の混乱を回避し、コンピュータにより生成された所見を、それらが複製されるが更新されない場合に削除するための不要な作業をなくす。そのようなワークフローの混乱および非効率性は、レポートと診断解釈ビューアとにおける医師が調節、追加、または削除した所見の双方向更新によって解決され、変更点に関係なく、新たな結果値を作成するために、変更されるのがレポート値であるか、それとも画像ビューアで使用される測定または画像プロセスが調節されるかにかかわらない。

画像解釈環境（総称して人工知能所見と呼ぶ）システムおよび方法における人工知能所見は、画像解釈環境から構造化されたレポートへの双方向データフローを有することができる。人工知能所見は、画像解釈環境レポートからクラウド（例えばＷＩＡクラウド）への双方向フローを有することができる。

手動の報告方法を使用する医師がレポート内の値にリンクされた測定値をビューア内で生成することを可能にするのにシステムが有用であるように、レポートを構造化または非構造化することができる。より先進の構造化されたまたは他の報告システムまたは画像処理エンジンでは、以前に医師の入力がなかった完全に完成した報告まで含めて、すでに作成された複数の測定値および所見が存在し得る。

人工知能所見は、画像解釈環境からの双方向フローを有することができ、画像処理システムが、自動化された所見を画像内で生成する。さらに、人工知能所見は、医師が行った変更を画像処理システムに通信して返すことができ、システムを、この「訓練データ」および医師のグラウンドトゥルースに基づいて改良できるようにし、それにより、コンピュータ生成された所見は、さらに上述したように、医師によって調節および／または承諾される。

人工知能所見は、画像解釈環境においてユーザが調節することができる所見を有することができ、これが次いで、報告された所見を調節する。報告された所見は、構造化されたレポート内にあり得る。人工知能所見は、ユーザの目／視覚／集中が画像解釈環境内に留まることを可能にするワークフローを有することができ、人工知能所見は、画像内に効率的に提示される。人工知能所見は、改良されたワークフローを提供するために追跡、分類、学習、および最適化することができる画像のユーザ調節を可能にし得る。人工知能所見は、ユーザまたはユーザグループによる所見に対する調節に基づいて、画像解釈環境および機械学習および／または深層学習において所見を生成することができる。機械学習および／または深層学習に基づいて、人工知能所見は、特定のユーザおよび／またはグループに関する所見を予測および／または生成することができる。

例えば、画像処理システムで動作するコンピュータ処理エンジンは、最初に血管を通る中心線を三次元で設定することによって患者の腹部大動脈の最大直径の領域を示し、次いで、不規則であり真円ではない長い血管壁の円周に沿った輪郭または表面縁部を作成することができる。次いで、コンピュータ処理エンジンは、この中心線に対して９０度の角度で多数の平面を設定し、この平面がその平面内に存在する場所を見つける。これらの関心領域は、ＲＥＳＩＳＴ測定値または総面積の計算など、様々な方法を使用して測定されて、どれが最高値を有し、したがって最大であるかを決定する。この縁部輪郭および測定は、リンクによって解釈ビューアおよび報告システムに返され、このリンクは、測定が行われた特定の場所でのそのタイプのこの測定が相関されることを両方のシステムが認識できるようにする。

さらに、コンピュータ処理エンジンは、特定の種類の所見を有する研究結果を解釈するときに最適化されたワークフローを可能にするために、ビューアを医師の嗜好に適合させることができる。さらに、自動生成された所見自体を、医師、医師のグループ、またはシステムのユーザの全体が時間と共に提供する「訓練」に基づいて個別化および／または改良することができる。

図７は、医療画像解釈システムまたは別の画像解釈環境内の人工知能所見システム７０を示す簡略ブロック図である。例えば、人工知能所見システム７０は、ネットワークを介して人工知能所見インターフェース７２に送信された画像データ７１を含むことができる。人工知能所見インターフェース７２は、例えば、ネットワークを介して、ワークステーション７３によって表されるような少なくとも１つのワークステーションに通信可能に接続することができる。ワークステーション７３は、例えば、タブレット、モバイルデバイス、ラップトップ、デスクトップ、またはそれらの任意の組合せでよい。ワークステーション７３は、クライアントビューア７４、レポート７５（構造化されていても構造化されていなくてもよい）、ウェブページ出力、インターフェースと通信することが可能な任意のシステムによるピックアップに利用可能な結果、またはそれらの任意の組合せを含むことができる診断レビューシステムとして機能する。診断レビューシステムにより、ユーザが所見を閲覧および確認できるようになる。診断レビューシステムは、所見が未閲覧、閲覧済み、未確認、または確認済みのいずれであるかを追跡する。診断レビューシステムにより、ユーザが画像を修正し、導出画像を生成することが可能になる。レポートに対して成された変更は、ビューアによって表示される画像に反映される。ビューアによって表示される画像に対して成された変更は、レポートに反映される。図７は、クライアントビューア７４とレポートとの両方を含む診断レビューシステムを示しているが、診断レビューシステムは、レポートまたは報告システムなしのクライアントビューアだけを含んでいてもよく、クライアントビューアなしのレポートまたは報告システムだけを含んでもよい。

図７は、医療画像解釈システムまたは別の画像解釈環境内の人工知能所見システム７０を示す簡略ブロック図である。例えば、人工知能所見システム７０は、ネットワークを介して人工知能所見インターフェース７２に送信された画像データ７１を含むことができる。人工知能所見インターフェース７２は、例えば、ネットワークを介して、ワークステーション７３によって表されるような少なくとも１つのワークステーションに通信可能に接続することができる。ワークステーション７３は、例えば、タブレット、モバイルデバイス、ラップトップ、デスクトップ、またはそれらの任意の組合せでよい。ワークステーション７３は、クライアントビューア７４、レポート７５（構造化されていても構造化されていなくてもよい）、ウェブページ出力、インターフェースと通信することが可能な任意のシステムによるピックアップに利用可能な結果、またはそれらの任意の組合せを含むことができる診断レビューシステムとして機能する。診断レビューシステムにより、ユーザは、いずれのユーザエクスペリエンスインターフェースでも所見を閲覧、調節、および確認できる。所見は、ビューアのみ、レポートのみ、またはビューアとレポートとの両方に表示することができる。追跡されるユーザ挙動を伴う設定およびユーザ嗜好は、これらの挙動を示す所見の種類および量を修正することが可能である。診断レビューシステムは、所見が未閲覧、閲覧済み、調節済み、未調節、未確認、確認済み、未報告、または報告済みのいずれであるかを追跡する。診断レビューシステムにより、ユーザは、画像を修正して新しいまたは調節された所見を生成する、所見を削除する、所見を伴う新たな導出画像を作成する、または所見なしで新たな導出シリーズを作成することが可能になる。レポートに対して成された変更は、ビューアに表示される所見、またはビューアによってどの画像が表示されるかに反映される。画像内の所見、またはビューアによって表示される画像に対して成された変更、追加、または削除は、レポートに反映される。

例えば、レポート７５は、医師が画像データに基づいて所見を報告することによって完成される報告データ構造を表す。レポート７５は、ＡＩＦインターフェースおよび／またはクライアントビューア７４による画像データの解釈に基づいて候補所見を事前投入することができる。ユーザ（例えば医師）は、レポートをレビューし、かつ／またはクライアントビューア７４と対話すると、候補所見を調節してレポートを完成させる。レポート７４内の候補所見に対して成された変更は、クライアントビューア７４に示されている画像に対する調節を行うために医療画像解釈システムによって使用される。同様に、クライアントビューア７４に示される画像に対して成された変更は、レポート７４内の所見に対して調節を行うために医療画像解釈システムによって使用される。ユーザが所見の調節を完了したとき、レポート７４は最終形式になる。

人工知能所見システム７０とワークステーション７３との間の矢印は、人工知能所見システム７０が、人工知能所見システム７０からワークステーション７３内の診断レビューシステムに所見を提供する通信インターフェースを含むことを示す。例えば、人工知能所見システム７０とワークステーション７３とはどちらも、医療画像解釈システム内にある。

画像データ７１は、画像の任意のモダリティ（例えば、Ｘ線、ＣＴ、ＭＲＩ、またはそれらの任意の組合せ）を含むことができる。画像データ７１は、所見を生成するために所見エンジン７７によって解釈される。所見は、例えば、疾患、標示、特徴、物体、形状、テクスチャ、測定値、フラグ、レンダリング、輪郭、またはそれらの任意の組合せなど、医学的に重要なものであり得る。データのみの要素（非画像データ）は、同時にまたは独立してサポートされる。典型的には、これらの所見は臨床的に重要であるが、ワークフローの面でも重要であり得て、さらにはシステム性能の面でも重要であり得る。そのような所見は、業界標準の通信および／または方法を使用するものでよいが、使用される画像または情報処理エンジンに特有のものでもよく、人工知能所見システム７０の機能に違いはない。所見エンジン７１は、画像データを受信し、画像データ、関連の患者情報、および記憶されているユーザの嗜好を考慮に入れた画像解釈アルゴリズムに基づいて画像データを解釈して所見を生成する。

人工知能所見インターフェース７２は、画像プロセッサ７６、所見エンジン７７、追跡モジュール７８、調節エンジン７９、記憶装置（図示せず）、またはそれらの任意の組合せを含むことができる。画像プロセッサ７６は、例えば所見を生成するために画像データ７１を処理することができる。例えば、画像プロセッサ７６は、カラーマップオーバーレイなどの処理機能を有することができ、特定のピクセルまたは近くのピクセルの密度または信号強度が、画像獲得中に時間と共に変化する。これは、パラメトリックマッピングとも呼ばれる。また、処理機能は、高いおよび低い強度または信号が変化した場合に領域を画定する輪郭付けを含むこともでき、これは縁部または「輪郭」を画定し、次いでこれを使用して、心臓の心室、または肝臓の臨床的に画定されるセグメントの任意のものなど、臓器または臓器内の特定の関心領域の縁部を画定することができる。多くの場合、これらの輪郭付けおよびセグメント化手順は、臓器の体積や、組織タイプの区別など、分析計算のための基礎として使用される。そのような輪郭付けは、１次元（ポイントツーポイント）でよく、または間隔を空けて３次元で接続された点の群でよく、さらには時間にわたる一連の多点輪郭（例えば４次元）として時間にわたって追跡されてもよい。そのような輪郭付けおよびセグメント化は、臨床知識に従って所望の結果を得るために明るさまたは信号を調節する閾値を選択することによってしばしば実装される。人工知能エンジンの目的は、医師による閾値設定および輪郭付けされた大量のこれらの画像を見て、医師のアクションをシミュレートして、レビューしている医師のために画像を生成することである。これにより、レビューしている医師は、生成された画像を承諾する、または微調整を加えることが可能になり、他の多くのステップをなくせる。いくつかの場合には、定量化は不要であり得るが、医師によって認識され、さらなる評価なしに承諾されることがある。例えば、冠動脈中のカルシウムの量は、手動、半自動、または完全自動のシステムによって計算することができる。医師が心機能をレビューしている場合、完全に自動化されたカルシウムスコアを含めて、上述したようにこれをレポートにプッシュすることが良く受け入れられることがある。レポートは豊富に投入され、どれに関して医師がレビューされ、どれが自動的に生成されているのかが明確である。しばしばこれらのデータが含まれている場合、これがデフォルトの挙動かどうかについて医師に確認することができる。レポートは、特定の所見が調節されたか、承諾されたか、置き換えられたか、もしくは却下されたか、またはエンドユーザによって元の独立した所見として作成されたかについて、所見ごとのステータス表示を含むことがある。レポートユーザの嗜好やアクションを追跡して測定し、最初のレポートの品質を改良し、承諾されるレポートを実現するために必要な入力をさらに減らすことができ、場合によっては時間と共に入力が必要なくなる。

調節エンジン７９は、レポート７５および／または画像解釈環境で調節を閲覧することができるように、ユーザが画像解釈環境（すなわち、クライアントビューア７４）内の所見を調節することを可能にすることができる。調節エンジン７９は、画像解釈環境で調節を閲覧することができるように、ユーザがレポート７５内の所見を調節することを可能にすることができる。調節は、リアルタイムで、定期的に、またはそれらの任意の組合せで行うことができる。いかなる調節も、そのような所見の調節を確認するようにユーザに指示するための確認標示を有することができる。例えば、ワークステーション７３内のクライアントビューアまたは報告システムによって所見に対する変更が通知されるとき、人工知能インターフェース７２内の通信インターフェースによって調節が促される。所見エンジン７７は、画像データ７１および／または画像プロセッサ７６に基づいて所見を生成することができる。所見エンジン７７は、画像処理機能に関連する所見を生成することができる。追跡エンジン７８は、初期所見、操作後の所見、調節後の所見、またはそれらの任意の組合せを追跡することができる。例えば、見逃しを回避するために、ユーザが見ていない、またはユーザが調節していない所見の要約をユーザに提供することができる。代替として、医師は、画像解釈から始めて、医師が承諾または却下することができる無効化された測定にわたって行うことを望むことがある。これは、レポート内で、ユーザが見ていない、削除した、調節した、全く新たに追加した測定を、レポート内で一意に示すことを可能にすることを意味する（色もしくは注記、またはレポート内でのカテゴリー分けによってなど）。例えば、ユーザは、閲覧、確認、却下、報告、または調節されていない所見をレビューするように促される。ユーザに対して所見がクライアントビューアに表示され、ユーザが、表示された所見とのさらなる対話を行わない、または表示された所見を確認しないとき、却下されたものとして所見にマークする、またはレポートから所見を除外するようにシステムに求めるユーザオプションが提供される。

例えば、人工知能所見インターフェース７２は、例えば、図７に示す医療画像解釈システムによって、または同様のアプリストアシステムによって実装することができる。代替として、人工知能所見インターフェース７２は、例えば、単一のサーバ、サーバの組合せ、クラウド上で利用可能なアプリケーション、または何らかの他のシステムに実装することができる。代替として、単一の個別のサーバではなく、例えば、ビューアが、画像処理クラウドからの測定値の受信をサポートし、調節を提供して返す場合には、通信インターフェースを使用することができる。

図８、図９、および図１０は、特定の実施形態によるデータの双方向の流れを示すブロック図である。図８において、ユーザ８１は、人工知能所見インターフェース７２によって生成されたクライアントビューア７４、レポート７５、またはそれらの任意の組合せに表示された初期所見を調節することができる。例えば、ユーザ８１は、医師、放射線科医、技術者、他のタイプの医療専門家、または人工知能所見インターフェース７２の任意のユーザである。ユーザ８１がクライアントビューア７４において所見を操作するとき、レポート７５内で所見を更新することができる。

図９は、ユーザ８１が、人工知能所見サーバによって生成されたクライアントビューア７４に表示された初期所見を調節することができることを示す。操作後の所見は、追跡、更新、最適化、機械学習、またはそれらの任意の組合せを行われるように、人工知能所見インターフェース７２に送信することができる。人工知能所見インターフェース７２は、操作後の所見をレポート７５に送信することができ、それにより、初期所見を操作後の所見で置き換えることができる。レポート７５は、操作後の所見を表示することができる。

図１０は、ユーザ８１がレポート７５に表示された初期所見を操作することができ、操作後の所見を人工知能所見インターフェース７２に送信することができることを示す。人工知能所見インターフェース７２は、クライアントビューア７４に表示することができるユーザ操作後の所見でクライアントビューア７４を更新することができる。

図１１は、人工知能所見システム７０の一例である。肺からの画像データは、人工知能所見インターフェース７２によって処理することができる。画像データに基づく初期所見、例えば肺の一部の体積Ｘを、人工知能所見インターフェース７２によって生成し、画像解釈環境（すなわち、クライアントビューア７４）および／またはレポート７５に表示することができる。初期所見は、追跡モジュール７８を介して追跡することができる。例えば、追跡モジュールは、所見と、ワークステーション７３内に実装されているものなど診断レビューシステムをユーザが使用するときにユーザによって所見に対して成された調節を追跡する。例えば、追跡モジュール７８は、所見、および現在のユーザによって所見に対して成された調節、ならびに他のユーザに基づいて確認可能な使用パターンに基づいて、追跡情報を生成する。

ユーザ８１は、図１１に示されるように、画像解釈環境内で、初期所見を操作し、および／または初期輪郭付けを変更して、例えば体積Ｘから体積Ｙに体積を変えることができる。追跡エンジン７８は、追跡モジュール７８が画像データ７１からの初期所見および操作後の所見をメモリに記憶することができるように、操作後の所見を追跡することができる。調節エンジン７９は、クライアントビューア７４および／またはレポート７５を更新して、操作後の所見を表示する（すなわち、体積Ｘの初期所見を体積Ｙの操作後の所見で置き換える）ことができる。そのようなワークフローは、ユーザ８１がクライアントビューア７４内の所見を調節できるようにし、次いで、レポート７５を自動的に更新することができ、ユーザ８１が画像に集中できるようにする。機械学習エンジンは、ユーザ調節（例えば、ユーザ８１が肺の容量を容量Ｘから容量Ｙに変更する）に基づいて学習することができる。そのような機械学習は、その後の所見において、ユーザ８１の正確な所見を可能にすることができる。

一実施形態では、自動化された輪郭付けが、測定値を生成することができる。測定値が、ユーザ８１が測定または調節したものと一致しない場合、不一致とフラグを立てることができる。人工知能エンジンは、相違を学習し（深層学習、機械学習、ログ、またはそれらの任意の組合せ）、フィードバックにおいて傾向を認識し始めて、改善された所見をユーザに提案し、もしくはシステム設定の変更を提案し、またはさらには、ベストプラクティス、グループプラクティス、もしくは特定の同僚のプラクティスにより良く合致する臨床ワークフローの変更を提案することができる。これらは、現在のユーザの嗜好と検出されたプラクティスの相違に基づいて個別に調整される。さらに、ある医師が他の医師よりも一貫して大きくまたはより寛大に解剖学的構造に輪郭を付ける場合など、いくつかの相違に対応することができる。医師のプラクティスを変更するのではなく、またはベストプラクティスの差異が問題であると考えるのではなく、システムは、医師がこの嗜好を有していることを受け入れ、その双方向学習機能を使用して、医師が調節せずに承諾する可能性が高い形に調節された所見を医師に提示することを試みる。これは、病変の輪郭を大きく取る人と病変の輪郭を小さく取る人とが、個人化された提案を得ることができるように、ユーザごとの適合によって行うことができる。

例えば、追跡モジュール７８と組み合わさって動作する処理エンジンは、表示嗜好を本質的に「学習」し、それらをユーザ嗜好または信念システムに適合させることができる。例えば、他の全ての変数が一定であるとき、医師が測定する面積または体積には、医師間で時として４０％以上の差異がある。そのような場合、処理エンジンは、集約的使用に基づいて「グループシンク」グランドトゥルース正常結果を学習することができる。次いで、追跡モジュール７８からの情報を考慮して、どの所見がユーザ８１に重要であるかを適合し、ユーザの信念および調節アクションとそのようなグランドトゥルースグループシンク基準結果との間の測定された差異に従って、これらの初期所見を調節することができる。これは、所見だけでなく、画像のレイアウトや、解釈中にどのツールが発動されるまたは利用可能であるかにも適用することができる。これは、コンピュータで生成された結果がほとんどまたはまったく調節されずに承諾される可能性、または使用および学習の増加につれて時間と共に医師の生産性および解釈システムの有用性が向上される可能性を高めることによって、医師によるこの自動化の採用を増加させる。さらに、この手法を使用する将来の解釈システムでは、システム事前構成の大幅な削減が必要になる。例えば、処理エンジンは、ベストプラクティスユーザグループと比較した、または臨床で受け入れられているプラクティスガイドラインと比較した現在のユーザまたはユーザプラクティスの比較に基づいて、特定のツールまたは画像ビューを使用することを提案することもできる。例えば、ワークステーション７３内などの診断レビューシステムは、ビューアを使用して、医師の解釈ワークフローに組み込まれた画像を表示する。ユーザは、診断レビューシステムを使用して、所見を表示および確認する。例えば、追跡モジュール７８または診断レビューシステムは、所見が未閲覧、閲覧済み、未確認もしくは確認済み、調節済み、未調節、削除済み、追加済み、報告済みもしくは未報告のいずれであるかを追跡する。例えば、診断レビューシステムは、ユーザがレポート７５内の所見７７を修正できるようにし、これらの変化は、ユーザ（例えば医師）がワークステーション７３を使用して画像および所見を閲覧するときに反映される。レポート７５とワークステーション７３との両方で、所見のステータスを同期させることができる。例えば、画像プロセッサ７６は、所見エンジン７７、追跡モジュール７８、および調節エンジン７９の何らかの組合せに依拠して、所見、オーバーレイ、輪郭付け、測定値、または他の標示を含む、または含まない導出画像を生成する。

一実施形態では、ユーザ８１は閾値を調節することができ、したがって、画像処理エンジンが選択した第１の閾値が２であり、ユーザ８１が読取り中に同意せず、ツール、おそらくは閾値設定ツールを使用して４を選択する場合、報告システムが完成したレポートを４に更新することができる。ここで、調節エンジンは、４を使用すべきであることを知る。画像処理エンジンは、ａ）新たなアルゴリズムまたはフィルタが必要とされることを（自動または専門家による）訓練を通じて決定することができるか、またはｂ）所見計算を行うとき、または導出画像を生成するときに、ビューア内で異なる閾値を単に設定することができる。画像および他の医師が有効化した出力は、記録システム、例えばＶＮＡ、ＰＡＣＳ、ＥＣＭ、またはＥＭＲにプッシュすることができる。

例えば、重要な種類としては、閾値の調節、パラメトリックマッピング用の設定の調節、および具体的には、（ＴｅｒａＲｅｃｏｎ ＣＯＦファイル、またはＪＳＯＮ構造化オブジェクトファイルと同様、または機能的に同様の）ファイルの入力を挙げることができる。これは、研究結果に対して成された編集、輪郭付け、および測定を全て取り消すこと、ならびに画像体積を、ユーザ８１がやめた時点に回復することを可能にする。このファイルには、取り得る多くの形態の調節可能なメタデータがあり、これらのメタデータは、デジタル記録された任意のオブジェクト、編集、変換、ルックアップテーブル、ベクトルファイル、およびピクセルまたはボクセルから成る処理済み医療画像を構成する他のデータを組み込む。

一実施形態では、人工知能所見システム７０を使用して、ユーザおよび／またはグループの好ましいハンギングプロトコルを決定することができる。ハンギングプロトコルは、ＰＡＣＳビューアと呼ばれる放射線学読影システムで様々な画像を閲覧するための標準的な方法である。ハンギングプロトコルでは、コンピュータ画面上の画像は、複数のモニタ上の複数の画像と共に特定の順序で表示される。例えば、人工知能所見システム７０は、画像の順序についてのユーザ８１の嗜好に関するフィードバックを受信し、どの画像がどこに行くのかを自ら学習し始める。例えば、１人のユーザが正しいと信じるものと測定されたユーザグループの挙動との測定可能な違いは、グループエンジンの結果が個人の信念体系や嗜好に適合される場合などの提案に使用される。これらのシステム（表示プロトコルに関してはＧＥ特許を参照）は、ＤＩＣＯＭ画像ヘッダ情報を使用して画像タイプを決定し、次いで、エンドユーザがどのような画像順序を好むかについてエンドユーザによる使用を監視する。人工知能システムを用いて、一実施形態は、画像内を見る画像処理エンジンが、ＤＩＣＯＭ画像ヘッダを完全に考慮することなく画像タイプを決定するためにランドマークを形成することを可能にする。例えば、個人の解読の仕方とグループの信念との大きな測定可能な相違は、そのユーザに関する変更および提案を引き起こし、ユーザ嗜好設定として承認または却下することができ、その応答は、個人の解読の仕方およびツール嗜好プロトコルの一部として学習される。一実施形態では、取り得る嗜好設定を表す人工知能所見が自動的に誘発される。別の実施形態では、これらの取り得る嗜好設定は、確認のためにエンドユーザに提示され、それらをシステム挙動の制御時に保つと共に、ユーザの解読の仕方および測定された活動に関するベストプラクティスを促す。同様に、解釈の前、途中、および後に画像を処理するために使用される画像処理エンジンは、ａ）個々のユーザ選択された嗜好に従って、またはｂ）データにより引き起こされた提案に従って調節することができることがあり、そのような提案は、追跡エンジンおよび調節エンジンの使用または適用からのデータの機械学習および使用により決定されて、これらのエンジンの教師ありまたは教師なし訓練、ならびにエンドユーザによって承認または却下され得るシステムプロンプトを実施する。

人工知能所見は、最良のクラスまたはグループ信念体系ハンギングプロトコル（すなわち、画像およびツールのレイアウト）を作成することができ、次いで、これが、個人の信念体系または変更されたレイアウトと比較される。これは、提案することができる統計的ベストプラクティスまたは改善に影響を与えることがある。

一実施形態では、人工知能所見は、患者リストまたは各画像提示パネルに表示するための赤色光、黄色光、緑色光インジケータを有することができ、インジケータは、良い、普通、悪い、実行中、または非実行（すなわち、画像解釈環境内で）など、エンジンからのステータスおよび全体的な出力所見を示す。画像または研究結果のために複数のインジケータを有することが可能であり得る。また、複数の撮像研究結果をビューア内に同時に提示して、ビューア内で複数の研究結果を同時にレビューすることができる機能を医師に提供することもできる。これは、所見を生み出す画像処理エンジンからのクイックルックアラートを提供することができる。各レベルを表す所見のレベルまたは所見の数は、人工知能システムまたは解釈システムでの設定として、画像処理エンジンの作成者によって調節および設定することができる。例えば、ライト、文字、数字、音、またはそれらの任意の組合せなど、任意のインジケータを使用することができる。

本明細書で述べる人工知能所見システムは、医師がビュービューアに目を留めて、レポート内の所見に相関する自動的に生成された所見を閲覧することを可能にする。これは、ビューアでの所見とレポートでの所見との明確な１対１の関係を提供する。ビューアにおける複数の異なる測定値が「中度」という１つの所見をもたらす場合でさえ、レポート内の所見が変更されたときには、根底の所見を有効化するようにユーザ８１に促すことが依然として可能である。さらに、所見が調節されて、例えば重度へのレベルの変化をもたらすとき、レポートが更新され、その変更が成されたことがユーザ８１に通知される。レポートが完成されると、何が見られたか、何が見られなかったか、およびどの所見が観察によって有効化され、どの所見が有効化されなかったかの記録を伴って、得られたラベル付きイメージと共に記憶することができる。このレポートは、システムからの全ての結果を示す、選択された結果のみを示す、結果を示さないか、または医師が有効化した結果のみを示すというオプションを有することができる。

図１２は、人工知能所見システム７０内の論理フローを示す単純化されたフローチャートである。ブロック９１において、所見エンジン７７は、画像データ７１を受信し、画像データを解釈して、画像データ７１に基づいて、およびユーザ８１に関する記憶されている嗜好を考慮に入れる画像解釈アルゴリズムに基づいて、所見を生成する。例えば、ユーザ、システム管理者、または医療画像解釈システムの他のユーザによって、ユーザに関する記憶されている嗜好をさらに手動で調節することができる。例えば、記憶されている嗜好は、追跡情報を受信する機械学習エンジンに基づいて調節することもでき、追跡情報に基づいてユーザに関して記憶されている嗜好を調節する。例えば、所見は、医療画像内の異常である。例えば、所見は、疾患、医学的に重要な解剖学的異常、医学的に重要な標示、医学的に重要な特徴、医学的に重要な物体、医学的に重要な形状、医学的に重要なテクスチャ、医学的に重要な測定、医学的に重要なフラグ、医学的に重要なレンダリング、医学的に重要な輪郭、ソース画像データにおける医学的に重要な欠陥、臨床データにおける医学的に重要な欠陥、基準画像またはデータに対する医学的に重要な類似性、測定された活動とベスト／正常プラクティスビューア使用および／または解釈ワークフローとの間の医学的に重要な差異、またはレポート７５の準備における使用に対する何らかの他の対象の所見、または使用される画像プロセッサエンジン７６または画像データ７１の由来における医学的に重要な欠陥。例えば、画像解釈アルゴリズムは、現在のベストプラクティス、人工所見システムのユーザの一般的なプラクティス、臨床参考ガイドライン、グループプラクティス、決定論的な式、または他の何らかの基準を決定する研究結果に基づく。代替として、または追加として、所見は、少なくとも一部、人工所見システムのユーザのプラクティスに関する統計的に導出された情報に基づくか、または人工所見システムのユーザのプラクティスに関する機械学習された情報に基づく。

ブロック９２において、所見がユーザ８１に提示される。例えば、所見は、クライアントビューア７４およびレポート７５から構成される診断レビューシステムによって提示される。例えば、所見は、クライアントビューア７４から利用可能な画像データ７１に対する調節を含むデータ画像内でユーザ８１に提示される。例えば、画像データ７１に対する調節は、医療画像内の２Ｄ、３Ｄ、もしくは４Ｄ空間内の縁部、または多くの医療画像によって表される体積を画定する輪郭付け、医療画像の関心領域を示すセグメント化、レポート７５を準備する際のユーザ８１への画像オーバーレイまたは他の対象の情報を含むことができる。代替として、所見は、クライアントビューア７４から利用可能な画像データ７１への調節を含むデータ画像において、および事前投入バージョンのレポート７５内の候補所見においてユーザ８１に提示される。例えば、事前投入レポートは、画像内の所見に対するリアルタイムでの調節を含む。例えば、レポート内の候補所見に対する調節は、調節された測定値をもたらし、または測定値を調節するように医師に促し、したがってこれらは画像データに対する調節に反映される。調節は、例えば、以下のうちの少なくとも１つを含む：医療画像内の縁部を画定する、または画像内の測定の一部である輪郭の標示；医療画像もしくは医療画像の体積内の関心領域を示すセグメント化、または医師のレビュー、測定、もしくは医師のレビューと測定との両方に関する臨床関心領域を定義するための出発点としての関心領域の使用；不透明度または透明度が異なるカラーマップを示す画像オーバーレイ；輪郭付け、セグメント化、および画像オーバーレイを使用して新たなソース画像データセットを生成する導出画像；輪郭付け、セグメント化、および画像オーバーレイを使用して新たなソース画像データセットを生成する画像シリーズ。

ブロック９３において、調節エンジン７９は、ユーザ８１が所見を調節して最終バージョンのレポート７５を生成することを可能にする。クライアントビューア７４を使用して画像データに対して成された変更は、レポート７５に反映される。レポート７５内で行われた変更は、クライアントビューア７４を使用して示される画像データに加えられる変更に反映される。

ブロック９４において、追跡モジュール７８は、最終バージョンのレポート７５を生成するときに、所見、およびユーザ８１によって所見に対して成された調節を追跡する。追跡モジュールは、レポート７５に対して成された変更とクライアントビューア７４内の画像データに対して成された変更との両方を反映する追跡情報を生成する。

ブロック９５において、機械学習エンジン８２は追跡情報を受信し、ユーザ８１による所見に対して成された調節に基づいて、ユーザ８１に関する記憶されている嗜好を調節する。例えば、画像解釈アルゴリズムが、少なくとも一部、人工所見システムのユーザのプラクティスに関する統計的に導出されたまたは機械学習された情報に基づいているとき、ユーザ８１による所見に対して成される調節は、人工所見システムのユーザのプラクティスに関する導出情報と共に含まれる。

画像処理サーバ１１０は、図１３に示すようにピアレビューシステムに組み込むことができる。図１３は、一実施形態によるピアレビューシステムの新規ワークフローの例を示すワークフローループ図を示す。図１３を参照すると、ワークフローは、ピアレビュー高信頼性導入ワークフローループを含む。このワークフローループ中、画像処理サーバ１１０は、撮像研究結果または画像研究結果および提供者解釈（レポートとしても示される）が画像処理サーバ１１０に到着することによって開始される（ステップ１として示す）。複数のエンジンおよびエンジンの組合せが画像研究結果を処理した後、出力が、ステップ２として示される。ステップ３で、潜在的な所見、または提供者解釈と不一致であり得る信頼性が高い判断された所見を含む研究結果または画像が、ピアレビューのための選択に導入される。ステップ４で、この注射された研究結果が、（適用可能であれば、最初の提供者解釈を行わなかった）医師によって評価される。その解釈の結果は、ピアレビューシステムの解釈と共に、ステップ５としてデータベースに記憶され、画像処理サーバ１１０およびピアレビューシステム内部のエンジンおよびエンジンのエンジンの将来の訓練に使用することができる。さらに、ステップＢで、ユーザインタラクションデータもデータベースに記憶される。

ワークフローは、ピアレビュー導入医師確認所見ワークフローループをさらに含む。このワークフローループ中、画像処理サーバ１１０は、撮像研究結果または画像研究結果および提供者解釈（レポートとしても示される）が画像処理サーバ１１０に到着することによって開始される（ステップ１として示す）。複数のエンジンおよびエンジンの組合せが画像研究結果を処理した後、出力が、ステップ２として示される。ステップ３で、潜在的な所見、または提供者解釈と不一致であり得る信頼性が高いと判断された所見を含む研究結果または画像が、ピアレビューのための選択に導入される。ステップＡにおいて、高信頼性の所見の値に重みを付け、医師のレビューのための特定の最適化された数および種類の研究結果（または画像）を選ぶエンジンのエンジンによって研究結果が選択される。ステップＢにおいて、研究結果が、（適用可能であれば、最初の提供者解釈を行わなかった）医師によって評価される。その解釈の肯定的な結果は、ステップＤにおいてピアレビューシステムへの研究結果の自動導入を引き起こす。ステップＤは、研究結果が否定的であると医師がみなした場合には生じない。肯定の場合も否定の場合も、この解釈の結果（および任意の以前の解釈）とピアレビューシステムの解釈との両方が、ステップＣとしてデータベースに記憶され、画像処理サーバ１１０およびピアレビューシステム内部のエンジンおよびエンジンのエンジンの将来の訓練に使用することができる。さらに、ステップＢで、ユーザインタラクションデータが記憶される。

ワークフローは、盲目的ピアレビューエンジン訓練ワークフローループを用いたルーチンの最初の解読診断解釈をさらに含む。このワークフローループ中、画像処理サーバ１１０は、撮像研究結果または画像研究結果および提供者解釈（レポートとしても示される）が画像処理サーバ１１０に到着することによって開始される（ステップ１として示す）。複数のエンジンおよびエンジンの組合せが画像研究結果を処理した後、出力が、ステップ２として示される。ステップＥにおいて、提供者の一次解釈中に潜在的所見の高い信頼性を有すると判断された所見を含む研究結果または画像が、実際の医師所見との比較のために計算される。ステップＢにおいて、研究結果が、（適用可能であれば、最初の提供者解釈を行わなかった）医師によって評価される。ステップＣで、この解釈の結果（および任意の以前の解釈）とピアレビューシステムの解釈との両方がデータベースに記憶され、画像処理サーバ１１０およびピアレビューシステム内部のエンジンおよびエンジンのエンジンの将来の訓練に使用することができる。さらに、ステップＢで、ユーザインタラクションデータが記憶される。

例えば、ピアレビューシステムによるピアレビューは、自然言語処理システム３１０からの開始に応答して、または医療画像データに基づいて生成された所見、もしくは所見に対するユーザの調節に応答して誘発される。例えば、入力および出力の抽象化の一般的な方法を可能にするために、所見エンジン７７とピアレビューシステムとによる通信およびそれらの間での通信、ならびに所見エンジン７７と他のエンジンとの間での通信のための事前定義された入力および出力スキーマ。

前の各図に示されたプロセスまたは方法は、ハードウェア（例えば回路、専用論理など）、ファームウェア、ソフトウェア（例えば非一時的コンピュータ可読媒体で具現化される）、または両方の組合せを含む処理論理によって実施されてもよい。プロセスまたは方法をいくつかの順次の操作に関して上述してきたが、上述した操作のいくつかが異なる順序で実施されてもよいことを理解されたい。さらに、いくつかの操作は、順次ではなく並行して実施されてもよい。

Claims (19)

1. 人工知能所見システムを備える医療画像解釈システムであって、
   前記人工知能所見システムが、
   画像データを受信し、前記画像データを解釈して、前記画像データに基づいて、およびユーザに関する記憶されている嗜好を考慮に入れる画像解釈アルゴリズムに基づいて所見を生成する所見エンジンと、
   前記所見を前記ユーザに提示する診断レビューシステムに前記所見を提供する通信インターフェースであって、提示される前記所見が画像を含むデータを含む、通信インターフェースと、
   前記診断レビューシステムを使用するときに、ユーザによって成された所見に対する変更の通知を前記通信インターフェースを介して受信する調節エンジンと、
   前記診断レビューシステムを使用するときに、所見、およびユーザによって前記所見に対して成された調節を追跡する追跡モジュールであって、前記所見、および前記ユーザによる前記所見に対して成された調節、ならびに、他のユーザに基づいて確認可能な使用パターンに基づいて追跡情報を生成する、追跡モジュールと、
   前記追跡情報を受信し、前記追跡情報に基づいて、前記ユーザに関する記憶されている嗜好を調節する機械学習エンジンと
   を備える、医療画像解釈システム。
2. 前記ユーザに関する前記記憶されている嗜好が、前記ユーザ、前記システム管理者、または前記医療画像解釈システムの他のユーザによって手動でさらに調節され得る、請求項１に記載の医療画像解釈システム。
3. 前記診断レビューシステムが、
   医師解釈ワークフローに組み込まれた前記画像を表示するビューアと、
   レポートと
   を含み、
   前記診断レビューシステムが、前記ユーザが所見を閲覧して確認することを可能にし、
   前記診断レビューシステムが、前記ユーザが前記画像を修正して導出画像を生成することを可能にし、
   前記レポートに対して成された変更が、前記ビューアによって表示される前記画像に反映され、
   前記ビューアによって表示される前記画像に対して成された変更が前記レポートに反映される
   請求項１に記載の医療画像解釈システム。
4. 前記ユーザに元々提示された前記レポートが、候補所見と共に事前投入される、請求項３に記載の医療画像解釈システム。
5. 前記事前投入されたレポートが、測定から得られる候補所見を含み、前記候補所見が、前記画像データに対する調節に反映され、前記調節が、
   医療画像内の縁部を画定する、または画像内の測定の一部である輪郭の標示と、
   医療画像もしくは医療画像の体積内の関心領域を示すセグメント化、または医師のレビュー、測定、もしくは医師のレビューと測定との両方に関する臨床関心領域を定義するための出発点としての関心領域の使用と、
   不透明度または透明度の異なるカラーマップを示す画像オーバーレイと、
   輪郭付け、セグメント化、および画像オーバーレイを使用して新たなソース画像データセットを生成する導出画像と、
   輪郭付け、セグメント化、および画像オーバーレイを使用して新たなソース画像データセットを生成する画像シリーズと
   のうちの少なくとも１つを含む、請求項３に記載の医療画像解釈システム。
6. 前記診断レビューシステムが、
   報告システムを使用せずに、前記追跡された使用情報に基づいてそれ自体を適合させる医師解釈ワークフローに組み込まれた前記画像を表示するビューアを含み、
   前記診断レビューシステムが、前記ユーザが所見を閲覧および確認できるようにし、前記追跡エンジンが、前記所見が未閲覧、閲覧済み、追加、削除、調節済み、未確認、確認済み、報告済み、または未報告のいずれであるかを追跡し、
   前記診断レビューシステムが、前記ユーザが前記画像を修正して導出画像を生成することを可能にし、
   前記レポートに対して成された変更が、前記ビューアによって表示される前記画像に反映され、
   前記ビューアによって表示される前記画像に対して成された変更がレポートに反映される
   請求項１に記載の医療画像解釈システム。
7. 前記画像解釈アルゴリズムが、
   現在のベストプラクティスを決定する研究結果と、
   前記人工所見システムのユーザの一般的なプラクティスと、
   臨床参考ガイドラインと、
   グループプラクティスと
   のうちの少なくとも１つに基づく、請求項１に記載の医療画像解釈システム。
8. 前記画像解釈アルゴリズムが、少なくとも一部、前記人工所見システムのユーザのプラクティスに関する統計的に導出されたまたは機械学習された情報に基づき、
   前記ユーザによる前記所見に対して成される前記調節が、前記人工所見システムのユーザのプラクティスに関する統計的に導出されたまたは機械学習された情報と共に含まれる
   請求項１に記載の医療画像解釈システム。
9. 医療画像データからレポートを生成するための方法であって、
   前記医療画像データに基づいて所見を生成するステップであって、前記所見が、人工知能所見システム内の所見エンジンによって生成され、前記所見エンジンが、画像データを解釈して、ユーザに関する記憶されている嗜好を考慮に入れる画像解釈アルゴリズムに基づいて前記所見を生成するステップと、
   前記所見をクライアントビューア上でユーザに提示するステップであって、前記クライアントビューアが、前記医療画像データに基づいて画像を表示し、前記画像が、前記画像解釈アルゴリズムに基づいて生成されるステップと、
   ユーザインタラクションの前に所見を調節することを可能にする調節エンジンを提供するステップであって、ユーザインタラクションにより、調節された所見が、前記クライアントビューアおよび前記レポートの一方または両方に現れるステップと、
   前記ユーザが前記クライアントビューアおよび前記レポートの少なくとも一方での前記所見を調節するとき、前記ユーザが前記クライアントビューアの閲覧嗜好を調節するとき、および前記ユーザが前記レポートの閲覧嗜好を調節するときに、追跡情報を生成するために、前記所見と、前記ユーザによって前記所見に対して成される調節とを追跡するステップと、
   機械学習エンジンによって前記追跡情報を受信し、前記ユーザによる所見に対して成された前記調節に基づいて、前記機械学習エンジンが、前記ユーザに関する前記記憶されている嗜好を調節するステップと
   を含む方法。
10. 前記クライアントビューアが、前記所見に対する調節および前記医療画像データのための提示表示プロトコルを含む事前投入されたレポートに前記所見が現れるとき、前記所見を前記ユーザに提示する、請求項１０に記載の方法。
11. 前記クライアントビューアが、前記医療画像データに対する調節を含む事前投入されたレポート内で前記ユーザに前記所見を提示し、前記医療画像データに対する前記調節が、
    医療画像内の縁部を画定する輪郭と、
    医療画像の関心領域を示すセグメント化と、
    画像オーバーレイと
    のうちの少なくとも１つを含む、請求項１０に記載の方法。
12. 前記所見が、医療画像内の異常であり、前記画像解釈アルゴリズムが、
    現在のベストプラクティスを決定する研究結果と、
    前記人工所見システムのユーザの一般的なプラクティスと、
    臨床参考ガイドラインと、
    グループプラクティスと
    のうちの少なくとも１つに基づく、請求項１０に記載の方法。
13. 前記所見が、医療画像内の異常であり、前記画像解釈アルゴリズムが、少なくとも一部、前記人工所見システムのユーザのプラクティスに関する統計的に導出されたまたは機械学習された情報に基づき、
    前記ユーザによる前記所見に対して成される前記調節が、前記人工所見システムのユーザのプラクティスに関する統計的に導出されたまたは機械学習された情報と共に含まれる
    請求項１０に記載の方法。
14. 所見が、
    疾患、
    医学的に重要な解剖学的異常、
    医学的に重要な標示、
    医学的に重要な特徴、
    医学的に重要な物体、
    医学的に重要な形状、
    医学的に重要なテクスチャ、
    医学的に重要な測定、
    医学的に重要なフラグ、
    医学的に重要なレンダリング、
    医学的に重要な輪郭、
    ソース画像データにおける医学的に重要な欠陥、
    臨床データにおける医学的に重要な欠陥、
    参照画像またはデータとの医学的に重要な類似性、ならびに
    測定された活動とベスト／正常プラクティスビューア使用および／または解釈ワークフローとの間の医学的に重要な差異
    のうちの少なくとも１つの医学的所見または医学的所見候補を含む、請求項１０に記載の方法。
15. 前記所見と、前記ユーザによって前記所見に対して成される調節とを追跡するステップが、
    閲覧、確認、却下、報告、または調節されていない所見をレビューするように前記ユーザに促すステップと、
    前記ユーザに対して所見が前記クライアントビューアに表示され、前記ユーザが、前記表示された所見とのさらなる対話を行わない、または前記表示された所見を確認しないとき、却下されたものとして前記所見にマークする、または前記レポートから所見を除外することをもたらすユーザオプションを提供するステップと
    を含む請求項１０に記載の方法。
16. さらに、
    使用の制限を可能にするために前記画像データ内にセキュリティ情報を含むステップを含み、前記セキュリティ情報が、
    透かしと、
    根底の認可または検証システムの有無にかかわらず、埋め込まれたメタデータと
    のうち少なくとも１つを含む、請求項１０に記載の方法。
17. さらに、
    ピアレビューシステムによるピアレビューを、自然言語処理システムからの開始に応答して誘発するステップ
    を含む請求項１０に記載の方法。
18. さらに、
    ピアレビューシステムによるピアレビューを、前記医療画像データに基づいて生成された所見、または前記所見に対するユーザの調節に応答して誘発するステップと
    を含む請求項１０に記載の方法。
19. さらに、
    前記画像プロセッサ、エンジンアルゴリズム、およびビューアの入力および出力の抽象化の一般的な方法を可能にするために、前記所見エンジンとピアレビューシステムとによる通信およびそれらの間での通信、ならびに前記所見エンジンと他のエンジンとの間での通信のための事前定義された入力および出力スキーマを使用するステップ
    を含む請求項１０に記載の方法。

Images