JP2013527503A - アドバンストマルチメディア構造化報告 - Google Patents

Abstract

複合マルチメディアベースの報告書を生成するための方法、システム、および装置の態様が説明される。一態様において、方法は、医用画像表示装置上で表示されるように構成された医用画像を取り込む工程を含む。本方法は、医用画像ディスプレイから独立したものであり得、任意の著作権のある医用画像ビューアから画像を取り込むことも可能である。また方法は、医用画像に関連した記述データを取り込む工程も含み得る。加えて、方法は、データ処理装置上で医用画像と医用画像に関連した記述データとを処理する工程も含み得る。また方法は、医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶する工程も含み得る。

Description

本出願は、その全内容が参照により本明細書に組み入れられる、2009年11月25日に出願された米国仮出願第61/264,577号と、2010年9月20日に出願された米国仮出願第61/384,599号の優先権の恩典を主張するものである。

1.発明の分野
本発明は、一般に、放射線学の分野に関する。より詳細には、本発明は、放射線像を組み込んだアドバンストマルチメディア構造化報告のための装置、システムおよび方法に関する。本発明の態様は、例えば、皮膚科学、病理学、写真術、衛星映像、軍事目標設定などの、画像コンテンツと記述情報とのリンクを必要とする他の画像ベースの分野において使用されてもよい。

2.関連技術の説明
放射線科の報告は、典型的には、放射線専門医に画像または一連の画像を目視で検査させ、次いで、画像所見の注釈を口述させることからなる。口述は、放射線科医によって内容、明確さ、および様式の異なるテキスト報告書を作成するために、人間の転記者または音声からテキストへの変換コンピュータシステムによって転記され得る（Sobel et al.,1996（非特許文献1））。American College of Radiologyは診断画像所見の伝達のためのガイドラインを公表しているが、このガイドラインは、汎用の報告書式を指定していない（American College of Radiology,2005（非特許文献2））。

構造化報告（Structured Reporting）（SR）は、画像所見および関連付けられる情報内容を検索可能なデータベースへと編成するために、Radiological Society of North Americaなどの専門家団体によって提唱されている（Kahn et al.,2009（非特許文献3）;Reiner et al.,2007（非特許文献4））。SRの利点は、データマイニング、疾患追跡、利用管理などの応用を円滑化し得ることである。多くのSR解決策が提案されているが、一般的な導入は2つの主要な課題によって妨げられている。第1に、大部分のSR解決策は、放射線科医が自然に行うやり方を変えようとする。例えば、SR解決策の中には、放射線科医が既定の報告テンプレートを完成させ、またはコンピュータマウスで画像をポイント・アンド・クリックすることを必要とするものもある。しかし、放射線科医の自然な作業の流れでは、画像を見た後で、場合によっては最初の観察の後で行われ得る画像所見の口述記録を行う。第2に、放射線科医によって使用される様々な画像表示システムは、FDA規則に従う、著作権のある市販の製品であり、SR規格が提案されてはいるが、供給業者にこれらのSRのための規格を採用し、実施するよう要求することは、大きな統合化および事業化の課題である。

これまでのSR解決策にはいくつかの欠陥がある。そのような欠陥の一つは、著作権のある市販の画像表示システム（画像保管通信システム（picture archiving and communication system）、すなわちPACSなど）、および他の情報システム（放射線科情報システム（radiology information system）（RIS）および/または電子医療記録（electronic medical record）（EMR）など）とのソフトウェア統合の必要である。現行の方法の別の欠陥は、疲労および手根管症候群（human fatigue and carpal tunnel syndrome）につながり得る放射線科医による反復的なマウス動作および画像所見のクリックである。さらに別の欠陥は、放射線科医が、カスケード表示されたプルダウンメニューのセットからの用語で、または限られた音声パターンでの音声認識からの用語で画像所見にラベルを付けるために画像表示画面から報告書生成画面へ目を転じる必要がある際に、放射線科医の注意力が散漫になることである。また、現行の方法は、多くの場合、一連の構造化報告書にまたがって画像所見をリンクし、または接続するという冗長なプロセスも含み、このプロセスは、テキストベースの報告では困難であり、コンピュータベースの報告方式でさえもかなりのユーザ対話を必要とする。

Sobel et al.,1996 American College of Radiology,2005 Kahn et al.,2009 Reiner et al.,2007

マルチメディアベースの構造化報告書を生成するための方法の態様が説明される。一態様において、方法は、医用画像表示装置上で表示されるように構成された医用画像を取り込む工程を含む。また方法は、医用画像に関連した記述データを取り込む工程も含み得る。加えて方法は、データ処理装置上で医用画像と医用画像に関連した記述データとを処理する工程も含み得る。また方法は、医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶する工程も含み得る。

加えて方法は、データ記憶装置内の医用画像と医用画像に関連した記述データとの間のデータ結合を作成する工程も含み得る。例えば一態様は、医用画像を患者識別子にリンクする工程を含み得る。また方法の一態様は、医用画像を一つまたは複数のリンク可能な医用画像にリンクする工程も含み得る。一態様において、医用画像とリンク可能な医用画像とは、共通の検査に従ってリンクされ得る。別の態様においては、医用画像と異なる検査からのリンク可能な医用画像とがリンク基準に従ってリンクされ得る。加えて、医用画像は課金コードにもリンクされ得る。当業者は、本発明の態様に従って医用画像に有利にリンクされ得る他のデータも理解するであろう。

また、一態様において方法は、医用画像を含む複合医用報告書を生成する工程も含み得る。また複合医用報告書は、医用画像にリンクされたリンク可能な医用画像のうちの少なくとも一つも含んでいてもよい。一態様において、医用画像およびリンク可能な各医用画像は、患者の全放射線写真歴を構成する。また別の態様においては、検査結果、臨床検査結果、病歴なども報告書に表示され得る。一態様において、複合医用報告書は表として構成される。表は、医用画像と、医用画像に関連した記述データの少なくとも一部分とを含み得る。別の態様において、複合医用報告書は、ホムンクルス（homunculus）を含むグラフィカルな報告書とすることができる。別の態様において、複合医用報告書はタイムラインとすることができる。タイムラインも同様に、医用画像と、リンク可能な医用画像のうちの少なくとも一つとを含み得る。

一態様において、医用画像表示装置は、画像保管通信システム（PACS）を含む。

一態様において、記述データは、音声データ、ビデオデータ、テキストなどを含み得る。加えて記述データは、視線追跡データも含み得る。視線追跡日付は、一つまたは複数の視線位置、および一つまたは複数の視線停留時間を含み得る。加えて記述日付は、ポインタ位置とポインタクリックとの少なくとも一方を含み得る。

医用画像を処理する工程は、診断画像構成部分を分離するための取り込まれた医用画像を自動的にトリミングする工程を含み得る。トリミングされた画像は、複合医用報告書に含まれてもよい。別の態様において、医用画像を処理する工程は、光学式文字認識（Optical Character Recognition）（OCR）ユーティリティで医用画像からテキスト情報を抽出する工程と、医用画像と関連付けられた抽出テキストをデータ記憶装置に記憶する工程とを含み得る。加えて処理する工程は、画像の表現と記述データの表現とを有するグラフィカル・ユーザ・インターフェースを表示する工程と、画像を記述データとリンクするためのユーザコマンドを受け取る工程も含み得る。例えば、グラフィカル・ユーザ・インターフェースは、タイムラインを含み得る。また、サーバ上で画像、記述データを処理する工程は、視線位置と視線停留時間との少なくとも一方に応答して画像を記述データと自動的にリンクする工程も含み得る。例えば、一態様は、特定の視線位置における視線停留時間が閾値に達したことに応答して画像取込みを自動的にトリガする工程を含み得る。

一態様において、方法は、医用画像の特徴と関連付けられる以前の検査所見を表示する半透明のポップアップウィンドウを表示する工程を含み得る。

別の態様において、医用画像を処理する工程は、医用画像に対して画像マッチングアルゴリズムを実行して、医用画像と関連付けられる一意のディジタル署名を生成する工程を含み得る。また、医用画像を処理する工程は、自動定量化ツールを用いて医用画像の特徴を定量化する工程も含み得る。

また、医用画像を処理する工程は、一つまたは複数のリンク可能な画像と関連付けられた医用画像記述データにリンクされた複数のリンク可能な医用画像に応答して疾患悪化を自動的に追跡する工程も含み得る。一態様において、処理する工程は、医用画像と医用画像に関連した記述データとに応答して、固形腫瘍の効果判定基準（Response Evaluation Criteria in Solid Tumors）（RECIST）値を自動的に計算する工程を含む。また、処理する工程は、医用画像の特徴と医用画像と関連付けられた記述データとに応答して病期を自動的に判定する工程も含み得る。

一態様において、医用画像と関連付けられた記述データは、医用画像と関連付けられたラベルを含む。ラベルは、医用画像の特徴と関連付けられていてもよい。一態様において、ラベルは、自然言語処理アルゴリズムに従って分離された音声クリップから決定され得る。またラベルは、画像上に表示されるテキストの光学式文字認識からも決定され得る。別の態様において、ラベルは、ユーザから受け取られるコンピュータ入力から決定され得る。

別の態様において、方法は、重複する医用画像がデータ記憶装置に存在するかどうか判定する工程と、医用画像と関連付けられた重複する記述データがデータ記憶装置に存在するかどうか判定する工程と、重複する医用画像と重複する記述データとをマージする工程とを含み得る。

実行されると、コンピュータに、前述の方法工程と関連付けられた動作を実施させる命令を有するコンピュータ可読媒体を含む有形のコンピュータプログラム製品の態様。例えば動作は、医用画像表示装置上で取り込まれた医用画像を受け取ること、医用画像に関連した記述データを受け取ること、データ処理装置上で医用画像と医用画像に関連した記述データとを処理すること、および医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶することを含み得る。

命令を有するコンピュータ可読媒体を含む有形のコンピュータプログラム製品の別の態様が説明される。一態様において、コンピュータによって実行される動作は、医用画像表示装置上で医用画像を取り込むこと、医用画像に関連した記述データを取り込むこと、および医用画像と医用画像に関連した記述データとを、データ処理装置上で医用画像と医用画像に関連した記述データとを処理し、医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶するように構成された処理装置に伝達することを含み得る。

また、マルチメディアベースの構造化報告のための装置の態様も説明される。装置の一態様は、医用画像と医用画像に関連した記述データとを受け取るように構成されたインターフェースを含み得る。加えて、そのような装置は、医用画像と医用画像に関連した記述データとを処理するように構成された、インターフェースに結合された処理装置も含み得る。また装置は、医用画像と医用画像に関連した記述データとを記憶するように構成された、処理装置に結合されたデータ記憶インターフェースも含み得る。

様々な態様において、装置は、装置に、前述の方法に従った動作を実行させるように構成された有形のコンピュータプログラム製品に記憶された命令に応答して動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含み得る。

装置の別の態様は、医用画像を表示するように構成された医用画像表示装置を含み得る。またこの態様は、医用画像を取り込むように構成された、医用画像表示装置に結合された画像取込みユーティリティも含み得る。加えて装置は、ユーザから記述データを収集するように構成されたユーザインターフェース装置も含み得る。また、一態様において装置は、医用画像と医用画像に関連した記述データとを、データ処理装置上で医用画像と医用画像に関連した記述データとを処理し、医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶するように構成された処理装置に伝達するように構成された、画像取込み装置とユーザインターフェース装置とに結合された通信アダプタも含み得る。

一態様において、画像取込み装置は、画面取込み機能を装備するオペレーティングシステムを有する、表示装置に結合されたコンピュータを含み得る。一態様において、医用画像表示装置は、画像保管通信システム（PACS）であり得る。例えばPACSは、著作権のあるシステムであり得る。本発明の態様の一利点は、画像取込み装置が、著作権のある医用画像ディスプレイとの直接統合を必要とせずに、著作権のある医用画像ディスプレイから医用画像を取り込み得ることである。この点に関して、本発明の態様は、著作権のあるシステムと直接統合することを必要とせずに、任意の著作権のあるシステムと共に使用することができるという点においてユビキタスであるといってもよい。この利益は、本発明の態様のコストおよび複雑さを大幅に低減し、より均一で標準化された報告プラットフォームを可能にする。

一態様において、ユーザインターフェース装置は、視線追跡装置を含み得る。ユーザインターフェース装置はビデオカメラとすることができる。別の態様において、ユーザインターフェース装置は、音声記録装置とすることができる。例えば音声記録装置は、トリガ構成部品を有する口述録音装置とすることができる。

別の態様において、装置は、有形のコンピュータプログラム製品に記憶された命令に応答して動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含み得る。そのような態様において、動作は、医用画像表示装置上で医用画像を取り込むこと、医用画像に関連した記述データを取り込むこと、および医用画像と医用画像に関連した記述データとを、データ処理装置上で医用画像と医用画像に関連した記述データとを処理し、医用画像と医用画像に関連した記述データとをデータ記憶装置に記憶するように構成された処理装置に伝達することを含み得る。

また、システムの態様も提示される。一態様は、サーバと、データ記憶装置と、医用画像ビューアとを含み得る。一態様においてサーバは、医用画像と医用画像に関連した記述データとを受け取るように構成されたインターフェースを含み得る。またサーバは、医用画像と医用画像に関連した記述データとを処理するように構成された、インターフェースに結合された処理装置も含み得る。加えてサーバは、医用画像と医用画像に関連した記述データとを記憶するように構成された、処理装置に結合されたデータ記憶インターフェースも含み得る。

データ記憶装置はデータ記憶インターフェースに結合され得る。一態様において、データ記憶装置は、医用画像と医用画像に関連した記述データとを受け取り、記憶するように構成され得る。

一態様において、医用画像ビューアは、サーバとデータ記憶装置との少なくとも一方に結合され得る。医用画像ビューアは、医用画像を表示するように構成された医用画像表示装置を含み得る。また医用画像ビューアは、医用画像を取り込むように構成された、医用画像表示装置に結合された画像取込みユーティリティも含み得る。例えば、画像取込みユーティリティは、Microsoft Windows（登録商標）オペレーティングシステムの画面取込み機能を含み得る。また医用画像ビューアは、ユーザから記述データを収集するように構成されたユーザインターフェース装置も含み得る。加えて医用画像ビューアは、医用画像と医用画像に関連した記述データとをサーバに伝達するように構成された、画像取込み装置とユーザインターフェース装置とに結合された通信アダプタも含み得る。

様々な態様において、システムは、前述の方法の態様による動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含み得る。

一態様において、システムは、X線機器を含み得る。医用撮像装置は、コンピュータ断層撮影（Computed Tomography）（CT）スキャナであり得る。医用撮像装置は、磁気共鳴撮像（Magnetic Resonance Imaging）（MRI）機器であり得る。あるいは、医用撮像装置は、超音波撮像装置であり得る。当業者は、本発明の装置、システム、および方法の態様と併用され得る様々な医用撮像装置を認めるであろう。

一態様において、システムは、医用画像であるDICOMデータを受け取るように構成されたPACSサーバを含み得る。またシステムは、医用画像である画像データを記憶するように構成された、PACSサーバに結合されたPACSデータ記憶装置も含み得る。

またシステムは、医用画像と医用画像に関連した記述データとに応答してサーバによって生成される、患者の全放射線写真歴を単一のグラフィカルビューに含むメディアベースの報告書を受け取るように構成された報告書ビューアも含み得る。

「結合された（coupled）」という用語は、接続されたとして定義されるが、必ずしも直接的に接続されるとは限らず、必ずしも機械的に接続されるとは限らない。

「リンクされた（linked）」という用語は、関係を形成する媒介構成要素によって、または媒介構成要素を介して接続されたとして定義される。例えば、リンクされた表は、あるデータグループを別のデータグループにリンクするメタデータを有していてもよく、その場合メタデータは論理的関係を生じさせる。また、2台のコンピュータもケーブルによってリンクされ得る。

「a」および「an」という用語は、本開示で特に明示的に要求しない限り、一つまたは複数のとして定義される。

「実質的に（substantially）」という用語およびその変形は、当業者によって理解される指定されるものの大部分であるが必ずしも全部であるとは限らないとこととして定義され、ある非限定的態様において、「実質的に」は、指定されるものの10％以内の範囲、好ましくは5％以内の範囲、より好ましくは1％以内の範囲、最も好ましくは0.5％以内の範囲をいう。

「を含む（comprise）」（および「comprises」や「comprising」などのcompriseの任意の形態）、「を有する（have）」（および「has」や「having」などのhaveの任意の形態）、「を含む（include）」（および「includes」や「including」などのincludeの任意の形態）、ならびに「を含む（contain）」（および「contains」や「containing」などのcontainの任意の形態）は、非制限的連結動詞である。結果として、一つまたは複数の工程または要素を「含む（comprises）」、「有する（has）」、「含む（includes）」、または「含む（contains）」方法または装置は、それら一つまたは複数の工程または要素を持っているが、それら一つまたは複数の工程または要素だけを持っていることだけに限定されない。同様に、一つまたは複数の特徴を「含む（comprises）」、「有する（has）」、「含む（includes）」、または「含む（contains）」方法の工程または装置の要素も、それら一つまたは複数の特徴を持っているが、それら一つまたは複数の特徴だけを持っていることだけに限定されない。さらに、ある特定のやり方で構成されている装置または構造は、少なくともその様式で構成されているが、記載されていないやり方においても構成されていてもよい。

他の特徴および関連付けられる利点は、以下の具体的態様の詳細な説明を添付の図面と関連付けて参照すれば明らかになるであろう。

以下の図面は本明細書の一部を形成し、本発明の態様のいくつかの局面をさらに説明するために含まれるものである。各態様は、これらの図面の一つまたは複数を、本明細書において提示される具体的態様の詳細な説明と組み合わせて参照すればよりよく理解され得る。

アドバンストマルチメディア構造化報告のためのシステムの一態様を示す概略的ブロック図である。 医用画像ビューアシステムの一態様を示す概略的ブロック図である。 コンピュータシステムの一態様を示す概略的ブロック図である。 アドバンストマルチメディア構造化報告のためのクライアントの一態様を示す概略的ブロック図である。 アドバンストマルチメディア報告書サーバの一態様を示す概略的ブロック図である。 アドバンストマルチメディア報告書サーバの別の態様を示す概略的ブロック図である。 アドバンストマルチメディア構造化報告のための方法の一態様を示す概略的流れ図である。 アドバンストマルチメディア構造化報告のための方法の別の態様を示す概略的流れ図である。 音声取込み装置の一態様を示す斜視図である。 複合医用報告書において使用するための医用画像を自動的にトリミングするための方法の一態様を示す論理ビューである。 複合医用報告書を生成するための方法の一態様を示す論理ビューである。 医用画像を取り込み、複合報告書において使用するために医用画像を記憶する方法の一態様を示す論理ビューである。 医用画像と所見とをリンクして複合医用報告書を形成する方法の一態様を示す論理ビューである。 リストビュー複合医用報告書の一態様を示すスクリーンショットである。 複合医用報告書のホムンクルスビューの一態様を示すスクリーンショットである。 複合医用報告書のホムンクルスビューの別の態様を示すスクリーンショットである。 タイムラインと画像メトリクスとを含む複合報告書のさらに別の態様を示す論理ビューである。 図18Aは、RECIST結果の一態様を示すグラフである。図18Bは、RECISTパーセント変化結果の一態様を示すグラフである。 本発明の態様に従って取り込まれた画像を含むグラフィカルなRECIST結果の一態様を示すスクリーンショットである。 図20Aは、緊急と記された所見を有するリストビュー報告書の一態様を示すスクリーンショットである。図20Bは、図20Aに示す緊急所見に対応する緊急通知を受け取るためのアプリケーションを有するモバイル機器を示す正面図である。 本発明の態様と共に使用するように適合された視線追跡システムの一態様を示す概略的ブロック図である。 画像と関連付けられた視線追跡データとを示す図である。 取り込まれた医用画像を分離された音声クリップから自然言語処理によって導出されたラベルと関連付けるための方法の一態様を示す論理図である。

例示的態様の説明
様々な特徴および有利な詳細を、添付の図面に例示され、以下の説明において詳述される非限定的態様を参照してさらに詳細に説明する。周知の出発原料、加工技術、構成要素、および装置の説明は、本発明の詳細を不必要にあいまいにすることのないように省略する。しかし、詳細な説明および具体例は、本発明の態様を示すものであるが、限定としてではなく、例示として提示するにすぎないことを理解すべきである。基礎をなす発明概念の趣旨および/または範囲内の様々な置換、改変、追加、および/または再配置は、本開示を読めば当業者には明らかになるであろう。

本明細書で説明するいくつかの装置は、それらの実施に際しての独立性をより強調するために、モジュールとしてラベル付けされている。モジュールとは、「より大きなシステムと対話する自己完結型のハードウェアまたはソフトウェア構成要素」（Alan Freedman,"The Computer Glossary"268（8th ed.1998））である。モジュールは、機械、または機械実行可能命令を含む。例えば、モジュールは、カスタムVLSI回路もしくはゲートアレイ、論理チップ、トランジスタ、他のディスクリート部品などの既製の半導体を含むハードウェア回路として実施され得る。またモジュールは、フィールド・プログラマブル・ゲート・アレイ、プログラム可能アレイ論理、プログラマブル論理回路などのプログラマブル・ハードウェア・デバイスとしても実施され得る。

またモジュールは、処理機器または装置によって実行されると、データ記憶装置に記憶されたデータを第1の状態から第2の状態へ変換するソフトウェアで定義されたユニットまたは命令も含み得る。実行可能コードの識別されるモジュールは、例えば、オブジェクト、プロシージャ、または関数として編成され得るコンピュータ命令の一つまたは複数の物理ブロックまたは論理ブロックを含み得る。とはいえ、識別されるモジュールの実行可能ファイルは、物理的に一緒に位置している必要はなく、論理的に結合されるとモジュールを構成し、プロセッサによって実行されると、前述のデータ変換を成し遂げる異なる位置に記憶された異種の命令を含んでいてもよい。

実際、実行可能コードのモジュールは、単一の命令でも多数の命令でもよく、たとえいくつかの異なるコードセグメントにわたって、異なるプログラムの間で、また、いくつかのメモリデバイスにまたがって分散されていてもよい。同様に動作データも、この場合、モジュール内において識別され、例示されてもよく、任意の適切な形態で実施され、任意の適切な種類のデータ構造内で編成されてもよい。動作データは、単一のデータセットとして収集されてもよく、異なる記憶装置上を含め、異なる位置にわたって分散されていてもよい。

以下の説明では、本発明の態様の十分な理解を提供するために、プログラミング、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベース問い合わせ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップの例などの多数の具体的詳細が示される。しかし当業者は、本発明がそれらの具体的詳細のうちの一つまたは複数を欠いても、あるいは他の方法、構成要素、材料などを用いても実施され得ることを理解するであろう。場合によっては、本発明の局面をあいまいにすることを回避するために、周知の構造、材料、または動作が詳細に図示または説明されないこともある。

図1に、アドバンストマルチメディア構造化報告のためのシステム100の一態様を示す。システム100は、サーバ114と、データ記憶装置116と、医用画像ビューア112とを含み得る。さらに別の態様において、システム100は、医用撮像装置102と、医用画像処理装置104とを含み得る。医用撮像装置102は、医用画像データを生成し、医用画像データをさらに処理するために医用画像処理装置104に伝達し得る。特定の態様において、医用画像データは、著作権のあるフォーマット方式に従って、またはDigital Imaging and Communications in Medicine（DICOM）などの業界標準のフォーマット方式に従ってフォーマットされ得る。当業者は、本発明の態様と併用され得る様々なフォーマット方式を理解するであろう。

また、システム100がPACS112を含む一態様において、システム100は、医用画像である画像データを受け取るように構成されたPACSサーバ108も含み得る。またシステム100は、医用画像である画像データを記憶するように構成された、PACSサーバ108に結合されたPACSデータ記憶装置110も含み得る。一態様において、システム100の様々な構成要素はそれぞれ、ネットワーク106によって相互に結合され得る。例えばネットワーク106は、単独で、または様々な組み合わせとして、ローカル・エリア・ネットワーク（LAN）、広域ネットワーク（WAN）、ストレージ・エリア・ネットワーク（SAN）、パーソナル・エリア・ネットワーク（PAN）、およびインターネットを含み得る。

一態様において、医用画像ビューア112は、サーバ114とデータ記憶装置116との少なくとも一方に結合され得る。医用画像ビューア112は、医用画像を表示するように構成された医用画像表示装置112を含み得る。例えば、図2に医用画像ビューア112の一態様を示す。一態様において、医用画像ビューア112は、第1のPACSビューア204、第2のPACSビューア206、RISディスプレイ202、および処理装置208を含み得る。また、医用画像ビューア112は、マウスポインタ210、音声記録装置212、ビデオカメラやウェブカメラ（不図示）などのビデオ取込み装置、図21Aに示すような視線追跡装置などを含む一つまたは複数のユーザインターフェース装置も含み得る。ユーザインターフェース装置は、ユーザから画像記述データを収集し得る。例えば、放射線科医は、第1のPACSビューア204上で放射線像を見、音声記録装置212に自分の所見を口述してもよい。

図9に、本発明の態様に従って使用され得る音声記録装置212の一態様を示す。特に音声記録装置は、音声データを記録するためのマイクロフォン1202、音声クリップを再生するためのスピーカ1204、PACSとインターフェースするためのトリガボタン1206、クライアント400、および/または処理装置208を含み得る。

また、医用画像ビューア112は、コンピュータなどの処理装置208も含み得る。画像取込みユーティリティ406は、図4でさらに説明するように、医用画像表示装置112に結合され得る。例えば、画像取込みユーティリティ406は、処理装置208上で実行されるように構成され、第1のPACSビューア204と第2のPACSビューア206との少なくとも一方から医用画像を取り込むように構成されたソフトウェアクライアント400とすることができる。クライアント400の一態様が図4に示されている。あるいは、画像取込みユーティリティ406は、医用画像ビューア112とインターフェースし、医用画像または医用画像のコピーを取り込むように構成された別個の装置またはコンピュータとすることもできる。一態様において、画像取込みユーティリティ406は、処理装置208、または医用画像ビューア112に結合された別のコンピュータのMicrosoft Windows（登録商標）オペレーティングシステムの画面取込み機能を含み得る。そのような態様の利益の一つは、クライアント400が、PACSビューア204、206にインストールされ、またはこれらと直接統合される必要がないことである。したがって、本発明の態様は、製造者、モデル、または著作権要件にかかわらず、任意の医用画像ビューアからの画像を取り込むのに使用され得る。よって、本発明の態様はプラットフォームに依存しないものとすることができる。

加えて、医用画像ビューア112は、画像取込みユーティリティ406とユーザインターフェース装置212とに結合された通信アダプタ314も含んでいてもよく、通信アダプタ314は、医用画像と医用画像に関連した記述データとをサーバ114に伝達し得る。

図3に、本発明の態様による様々なサーバ108、114、処理装置208、および/または報告書ビューア118のいくつかの態様に従って適合されたコンピュータシステム300を示す。中央処理装置（CPU）302はシステムバス304に結合されている。CPU302は、汎用CPUまたはマイクロプロセッサとすることができる。本発明の態様は、CPU302が本明細書において説明するモジュールおよび動作をサポートする限り、CPU302のアーキテクチャによって制限されない。CPU302は本発明の態様による様々な論理命令を実行し得る。例えばCPU302は、図7および図8を参照して後述する例示的な動作による機械レベルの命令を実行し得る。

また、コンピュータシステム300は、ランダム・アクセス・メモリ（RAM）308も含んでいてもよく、RAM308は、SRAM、DRAM、SDRAMなどとすることができる。コンピュータシステム300は、RAM308を利用して、患者の病歴の複合報告書を生成するように構成されたソフトウェアアプリケーションによって使用される様々なデータ構造を記憶し得る。またコンピュータシステム300は、PROM、EPROM、EEPROM、光記憶などとすることのできる読取り専用メモリ（ROM）306も含み得る。ROMは、コンピュータシステム300をブートするための構成情報を記憶し得る。RAM308およびROM306は、ユーザおよびシステム100のデータを保持する。

またコンピュータシステム300は、入力/出力（I/O）アダプタ310、通信アダプタ314、ユーザ・インターフェース・アダプタ316、およびディスプレイアダプタ322も含み得る。I/Oアダプタ310および/またはユーザ・インターフェース・アダプタ316は、いくつかの態様では、ユーザが、医用画像に関連した記述データおよび検査と関連付けられる他の所見を記入するための情報を入力するためにコンピュータシステム300と対話することを可能にし得る。別の態様において、ディスプレイアダプタ322は、メトリクスを転送する、画像を分類するなどのためのソフトウェアまたはウェブベースのアプリケーションと関連付けられたグラフィカル・ユーザ・インターフェースを表示し得る。

I/Oアダプタ310は、ハードドライブ、コンパクトディスク（CD）ドライブ、フロッピー・ディスク・ドライブ、テープドライブのうちの一つまたは複数といった一つまたは複数の記憶装置312をコンピュータシステム300に接続し得る。通信アダプタ314は、コンピュータシステム300をネットワーク106に結合するように適合されてもよく、ネットワーク106はLANおよび/またはWANおよび/またはインターネットのうちの一つまたは複数とすることができる。ユーザ・インターフェース・アダプタ316は、キーボード320やポインティングデバイス318などのユーザ入力装置をコンピュータシステム300に結合する。ディスプレイアダプタ322は、CPU302によって、表示装置324上のディスプレイを制御するように駆動され得る。

本発明の態様は、システム300のアーキテクチャだけに制限されない。むしろ、コンピュータシステム300は、サーバ102および/またはユーザインターフェース装置110の機能を果たすように適合され得るコンピューティング装置の一種の一例として示すものである。例えば、それだけに限定されるわけではないが、携帯情報端末（PDA）、タブレットコンピュータ、コンピュータ・ゲーム・コンソール、およびマルチプロセッササーバを含む、任意の適切なプロセッサベースの装置が利用され得る。さらに、本発明の態様は、特定用途向け集積回路（ASIC）または超大規模集積（VLSI）回路上でも実施され得る。事実、当業者は、前述の態様による論理動作を実行することのできる任意の数の適切な構造を利用し得る。

図5に示す態様などの様々な態様において、サーバ114は、医用画像と医用画像に関連した記述データとを受け取るように構成された、受信機502などのインターフェースを含み得る。またサーバ114は、受信機502に結合されたデータプロセッサ506も含んでいてもよく、データプロセッサ506は、医用画像と医用画像に関連した記述データとを処理するように構成され得る。加えてサーバ114は、データプロセッサ506に結合されたデータ記憶インターフェース512も含み得る。データ記憶インターフェース512は、医用画像と医用画像に関連した記述データとをデータ記憶装置116に記憶するように構成され得る。

データ記憶装置116はデータ記憶インターフェース512に結合され得る。一態様において、データ記憶装置116は、医用画像と医用画像に関連した記述データとを受け取り、記憶するように構成され得る。例えば、データ記憶装置116は、データベーススキーマに従って構成された一つまたは複数のデータ記憶媒体を含み得る。データベースは、論理データ結合に従って医用画像と記述データとを記憶するように構成され得る。例えば、複数の医用画像が、共通の検査に従って、または別のリンク基準に従ってリンクされ得る。例えば、複数の画像が同じ検査データから取り込まれる場合、それらはリンクされ得る。これらの画像は、放射線科医などの医療専門家によって記録された画像所見にリンクされ得る。別の態様においては、第1の検査からの画像と記述データとが第2の検査からの画像と記述データとにリンクされ得る。例えば、この種のリンクは、疾患進行分析、RECIST計算などに使用され得る。

一態様において、システム100は、医用撮像装置102を含み得る。例えば、医用撮像装置はX線機器などとすることができる。医用撮像装置は、コンピュータ断層撮影（CT）スキャナとすることもできる。医用撮像装置は、高周波（RF）撮像装置とすることもできる。医用撮像装置は、磁気共鳴撮像（MRI）機器とすることもできる。あるいは、医用撮像装置は、超音波撮像装置とすることもできる。当業者は、本発明の装置、システム、および方法の態様と併用され得る様々な医用撮像装置を理解するであろう。

またシステム100は、医用画像と医用画像に関連した記述データとに応答してサーバ114によって生成される、患者の全放射線写真歴を単一のグラフィカルビューに含むメディアベースの報告書を受け取るように構成された報告書ビューア118も含み得る。ある特定の態様において、報告書ビューアは、例えばタブレットコンピュータなどとすることができる。タブレットコンピュータは、報告用アプリケーションを実行するように構成され得る。例えば、報告用アプリケーションは、インターネット上でサーバ114にログオンすることによって報告書ビューアにアクセスすることのできるウェブベースのアプリケーションとすることができる。あるいは、報告用アプリケーションは、ネイティブアプリケーションとして報告書ビューア118上にインストールされていてもよい。様々な態様において、報告書ビューアは、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、またはPDAとすることができる。当業者は、報告書ビューア118として構成することのできる様々な適切なハードウェアプラットフォームを理解するであろう。

一態様において、システム100は、クライアント・サーバ構成を含み得る。例えば、図4に示すようなクライアント400が処理装置208上にインストールされ得る。そのような態様において、クライアント400は、入力インターフェース402、認証モジュール404、画像取込みユーティリティ406、および送信機414を含み得る。加えてクライアント400は、音声取込みユーティリティ408、ビデオ取込みユーティリティ410、および入力取込みユーティリティ412のうちの少なくとも一つも含み得る。

サーバ114は、図5に示す態様に従って構成され得る。例えば、サーバ114は、受信機502、認証モジュール504、データプロセッサ506、報告書ジェネレータ508、所見リンカ510、データ記憶インターフェース512、および送信機514を含み得る。

一態様において、患者は、図1に示すようなCTスキャナ102から検査を受けることができる。CTスキャンからの画像データは画像処理装置104に伝達され得る。次いで画像処理装置104は、ネットワーク106を介して画像データをPACSサーバ108に伝達し得る。次いでPACSサーバ108は、画像データをPACSデータ記憶装置110に記憶し得る。

次いで、放射線科医などの医療専門家がPACSビューア112にアクセスし得る。次いで放射線科医は、クライアント400の認証モジュール404にユーザ名とパスワードなどの認証資格証明を送ることにより、クライアント400にログオンし得る。また放射線科医は、サーバ114の認証モジュール504に認証資格証明を送ることにより、アドバンストマルチメディアサーバ114にもログオンし得る。

放射線科医は、RISディスプレイ202上の患者記録にアクセスし、PACSサーバ108に画像データを要求し得る。次いでPACSサーバ108は、ネットワーク106上で画像データを第1のPACSビューア204に伝達し得る。次いで放射線科医は、画像取込みユーティリティ406を使用して第1のPACSビューア112上に表示された医用画像のコピーを取り込み得る。例えば放射線科医は、音声記録装置212上に組み込まれたトリガまたはファンクションボタンをクリックしてもよい。また放射線科医は、マウスポインタ210、音声記録装置212、ビデオ取込み装置（不図示）などを使用して、音声情報および医用画像に関する他の記述データを記録してもよく、それらの情報およびデータは、それぞれ、入力取込みユーティリティ412、音声取込みユーティリティ408、およびビデオ取込みユーティリティ410によって取り込まれ得る。

次いでクライアント400は、医用画像と記述データとを送信機414によってサーバ114に伝達し得る。サーバ114上の受信機502は、医用画像と記述データとを受信し得る。さらに処理が必要とされる場合に、データプロセッサ506は、次いで、医用画像と記述データとを自動的に処理し得る。また、医用画像と記述データとは、所見リンカ510によって別の所見にもリンクされ得る。データ記憶インターフェース512は、医用画像と記述データとをデータ記憶装置116に記憶し得る。医用画像と記述データとは、患者識別子、試験番号、記録番号などによってリンクされ得る。

次いでユーザは、報告書ビューア118を使用してサーバ114に複合医用報告書を要求し得る。受信機502は、報告書要求を受信し得る。例えば、一態様において、受信機502は、インターネット106上でサーバ114にアクセスする報告書ビューア118からウェブ要求を受信し得る。次いで報告書ジェネレータ508は、報告書要求のパラメータに従ってデータベース要求または問い合わせを生成し得る。パラメータは、患者識別情報、リンクパラメータなどを含み得る。次いでデータ記憶インターフェース512は、要求された情報をデータ記憶装置から検索し得る。次いで報告書ジェネレータは複合医用報告書を生成し得る。報告書は、図14に示すようなリストビュー報告書、または図18〜図19に示すようなホムンクルス様式の報告書とすることができる。次いで送信機514は、レンダリングのためにインターネット106上で報告書ビューア118に報告書を送信し得る。

図6にサーバ114の別の態様を示す。図5を参照して前述したように、サーバ114は、受信機502、認証モジュール504、データプロセッサ506、報告書ジェネレータ508、所見リンカ510、データ記憶インターフェース512、および送信機514を含み得る。

一態様において、所見リンカ510は、データ記憶装置116内の医用画像と医用画像に関連した記述データとの間のデータ結合を作成し得る。例えば所見リンカ510は、医用画像を患者識別子にリンクし得る。また所見リンカは、医用画像を一つまたは複数のリンク可能な医用画像にもリンクし得る。一態様において、医用画像とリンク可能な医用画像とは、共通の検査に従ってリンクされ得る。別の態様においては、医用画像と異なる検査からのリンク可能な医用画像とがリンク基準に従ってリンクされ得る。加えて医用画像は、課金コードにもリンクされ得る。当業者は、本発明の態様に従って医用画像に有利にリンクされ得る他のデータを理解するであろう。

別の態様において、データプロセッサ506は、画像クロッパ602、画像ラベラ604、RECIST計算器614、疾患追跡ユーティリティ616、疾患病期診断ユーティリティ618、および重複マージユーティリティ620を含み得る。一態様において、データプロセッサ506は、図3に示すようなCPU302とすることができる。データプロセッサ506は、受信機502に結合され得る。データプロセッサ506は、一般に、医用画像と医用画像に関連した記述データとを処理し得る。

例えば、データプロセッサ506は、画像クロッパ602を含み得る。画像クロッパ602は、診断画像構成部分を分離するために医用画像を自動的にトリミングし得る。代替の態様において、画像クロッパ602は、クライアント400と統合され得る。図10に、画像クロッパ602の機能の一態様を示す。一態様において、画像クロッパ602は、画像取込みユーティリティ406によって取り込まれた医用画像をトリミングするためにハードコードされた画像座標を使用し得る。例えば、Philips（登録商標）のPACSシステムまたはBRIT（登録商標）のPACSシステムは、既知の画素座標系を含み得る。画像クロッパ602は、一部分のPACS画素内に含まれるよう画像を切り詰めるようにハードコードされ得る。最適な画像座標は、PACSまたは3Dワークステーションのブランドと画像レイアウトとによって異なり得る。別の態様においては、管理者に、特定のワークステーション構成のためのラバーバンドボックスを描くことによってトリミング座標を設定させるためのグラフィカル・ユーザ・インターフェース（GUI）ツールが提供され得る。図10に示すように、ラバーバンドボックスのサイズは、ユーザによって調整され得る。次いで、トリミングされた画像は、複合報告書などのマルチメディアベースの報告書において使用するためにデータ記憶装置に記憶され得る。

一態様において、画像ラベラ604は、自然言語プロセッサ606、光学式文字認識（OCR）ユーティリティ608、ユーザ入力プロセッサ610、またはデータベース・リンク・ユーティリティ612のうちの一つまたは複数を含み得る。一般に、画像ラベラ604は、画像取込みユーティリティ406によって取り込まれた画像に記述データを追加するためのユーティリティを含み得る。記述データを追加することは、放射線科医などの医療専門家から新しい記述データを収集することを含み得る。別の態様において、記述データを追加することは、既存の記述データを取り込み、転送し、または別の方法で獲得すること、および記述データを取り込まれた医用画像と関連付けることを含み得る。

例えば、画像ラベラ604は、自然言語プロセッサ606を含み得る。図21Cに、分離された音声クリップに取り込まれた記述データを医用画像とリンクするための方法の一態様を示す。自然言語処理モジュール606は、医療専門家にとっての一般的な作業の流れの問題を解決する。例えば、放射線科医が第1の画像を見て、第1の画像内の注目すべき特徴を識別する場合がある。その場合、注目すべき特徴を記述している間に、放射線科医は同時に、第2の注目すべき特徴を識別するために第2の画像をスキャンしている可能性もある。一態様において、放射線科医は、音声取込みユーティリティ408を使用して音声クリップを記録し得る。次いで自然言語プロセッサ606は、一般的な音声認識プログラムを使用して音声をテキストに転記し得る。次いで自然言語プロセッサ606は、テキストをスキャンして特徴を記述するメトリクスを識別してもよく、キーワードおよび同義語を識別してもよい。例えば、キーワードの中には、「安定している」、「変化なし」、「改善された」、「悪化した」などが含まれ得る。加えて、自然言語処理は、解剖学的、病理学的、および優先的特徴を識別し、割り当てるのにも使用され得る。例えば、肺のCT画像を見ている放射線科医が、「画像は、緊急対応を必要とする左肺の新生物を含む」と述べる場合がある。自然言語プロセッサ606は、キーワード「肺」、「新生物」、および「緊急」を識別し、解剖学フィールド、病理学フィールド、および優先事項フィールドをしかるべく割り当てることができる。

一態様において、画像ラベラ604は、OCRユーティリティ608を含み得る。OCRユーティリティ608は、画像取込みユーティリティ406によって取り込まれた医用画像をスキャンして画像に表示されるテキストを識別し得る。一態様においては、医用画像全体がスキャンされ得る。あるいは、テキストを含むことがわかっているいくつかの対象となる領域がスキャンされてもよい。別の態様において、テキストは、画像処理を使用してOCR用に改善され得る。また、OCRユーティリティ608は、ある特定の記述データフィールドにどんなテキストが割り当てられ得るか自動的に判定してもよい。例えばOCRユーティリティ608は、患者の名前、医療記録番号、データ、時刻、画像位置などを自動的に識別し得る。OCRユーティリティ608によって判定されたテキストはデータ記憶装置116に記憶され得る。

一態様において、画像ラベラ604は、ユーザ入力プロセッサ610を含み得る。ユーザ入力プロセッサ610は、ユーザに医用画像に割り当てるためのラベルを選択させる一つまたは複数のメニューを生成し得る。例えばメニューは、カスケードメニュー、ドロップダウン・ボックス・メニュー、テキスト選択ボックスなどとすることができる。別の態様において、メニューは、一つまたは複数のテキスト入力フィールドを含み得る。例えば、医用画像内の特徴のサイズを定義する一つまたは複数のメトリクスがテキスト入力フィールドを使用して割り当てられてもよい。別の態様においては、例えば選択肢のカスケードメニューなどを使用して、解剖学フィールド、病理学フィールド、優先事項フィールドなどが割り当てられ得る。各選択肢は、次のレベルのカスケードメニューに読み込まれ、ユーザにさらに別の関連する選択肢のセットを提供し得る。

一態様においては、図21A〜Cに示すように、ユーザ入力プロセッサ610は、視線追跡データを受け取り、処理し得る。視線追跡システムの一態様が図21Aに示されている。ユーザは自分の視線を特定の位置に特定の時間量にわたって保持し得る。視線追跡カメラは、視線位置を追跡し、それらの位置を医用画像の一部分に関連付けることができる。例えば図21Bに、図21Aの視線追跡装置によって判定された視線位置の一態様を示す。視線追跡位置に加えて、ユーザ入力プロセッサ610は、図21Cに示すような視線位置の変更のタイミングも追跡し得る。特定の態様において、ユーザ入力プロセッサ610と自然言語プロセッサ606とは、視線位置によって指示される医用画像の特徴にラベルを割り当てるように連動して動作し得る。これの一態様が図21Cに示されている。一態様において、音声クリップは、視線追跡装置によって収集された視線位置情報から分離され得る。そのような態様においては、音声クリップが時間ごとに分析されてもよく、視線位置情報が時間ごとに分析されてもよい。

一般的な視線追跡技術と異なり、本発明の態様は、取り込まれた画像に重要さの度合いを与える、放射線科医の口述からの情報内容（および当該情報内容の固有の医学的重要性）とキー画像との結合を含む。放射線科医の典型的な作業の流れにおいて、放射線科医が紛らわしいが最終的には重要でない画像所見を見るときには長い停留時間が生じる可能性があり、他方、放射線科医は、より明白な重要所見を見るのにより短い時間ですむ可能性がある。情報内容とキー画像とのリンクは、先行技術と比べて、重要な画像に値を割り当てるより正確な手段を提供する。

別の態様においては、別個の視線追跡モジュールがクライアント400に含まれ得る。別の態様においては、ユーザが自分の視線を、所定の閾値に達する期間にわたって特定の位置に保持するときに、このイベントは画像取込みを自動的にトリガし得る。

別の態様において、画像ラベラ604は、データベース・リンク・ユーティリティ612を含み得る。例えば、第1のPACSビューア204などに表示された最初の医用画像に関連した記述データがPACSデータ記憶装置110に記憶される場合がある。一態様において、記述データは、データベース・リンク・ユーティリティ612によってPACSデータ記憶装置110から自動的に検索され得る。別の態様において、データ記憶装置116内に記憶された医用画像と記述データとは、例えば、解剖学、モダリティなどに基づいて別個のデータベースに記憶され得る。一態様において、データベース・リンク・ユーティリティ612は、索引またはキーフィールドを使用して複数のデータベースからの情報をリンクし、または検索し得る。例えば、ある患者名、患者IDなどに関連したすべての画像および記述データがデータベース・リンク・ユーティリティ612によってリンクされ、検索され得る。

一態様において、RECIST計算器614は、RECIST計算を自動的に行い得る。例えば、図18A〜図21Cに、RECIST計算器614の結果例が示されている。一態様において、RECIST計算器614は、癌患者が治療中に改善する（「応答する」）、同じ状態のままである（「安定する」）、または悪化する（「進行する」）ときを定義する公表された規則に従って結果を計算し得る。RECIST計算器614は、記述データに含まれる腫瘍メトリクスに基づいて数値を計算し得る。別の態様において、RECIST計算器628は、RECIST計算器614によって計算された結果に基づき、図18A〜Bに示すような腫瘍応答レベルまたはパーセント変化レベルを表すグラフを生成し得る。別の態様において、RECIST計算器628は、図21Cに示すような画像取込みユーティリティ406によって取り込まれたリンクされた医用画像を含み得る、RECIST計算器614によって行われたRECIST計算に基づくRECIST報告書を生成し得る。

また、様々な態様において、サーバ114は、疾患追跡ユーティリティ616と疾患病期診断ユーティリティ618も含み得る。RECIST計算器614によって生成されたRECIST値は、疾患追跡と疾患病期診断に使用され得る。特定の態様においては、疾患病期診断報告書が疾患病期診断ユーティリティ618によって生成され得る。病期には、病期0、病期1、病期2、病期3、病期4、および再発が含まれ得る。例えば、患者が大腸癌と診断される場合、癌の病期は、記述データに応答して、疾患病期診断ユーティリティ618によって自動的に判定され得る。この例では、病期0は、癌が結腸または直腸の最も内側の層においてのみ見られることを示すはずである。病期1は、腫瘍が結腸または直腸の内壁まで成長していることを示すはずである。腫瘍は、壁を貫通して成長してはいない。病期2は、腫瘍が結腸もしくは直腸の壁の内部により深く、もしくは壁を貫通して延在していること、または腫瘍が近くの組織に浸潤している可能性があるが、癌細胞がまだリンパ節に転移していないことを示すはずである。病期3は、癌が近くのリンパ節に転移しているが、身体の他の部分には転移していないことを示すはずである。病期4は、癌が、肝臓や肺などの身体の他の部分に転移していることを示すはずである。再発は、これが、治療されたことがあり、癌を検出することができなかったある期間の後で再発した癌であること、および疾患が結腸もしくは直腸において、または身体の別の部分において再発した可能性があることを示すはずである。これらの病期、および他の種類のがんについての対応する病期の基準は、US National Institutes of Healthによって決定されている。疾患追跡モジュール616は、病期診断情報、RECIST情報、および記述データに含まれる他のメトリクスを使用して疾患の進行を自動的に追跡し得る。疾患追跡モジュール616は、グラフ、表、タイムラインなどの形で疾患を追跡し得る。

重複マージユーティリティ620は、重複所見をマージし得る。マージされた所見は、所見が複数の連続画像（例えば、動脈相、静脈相、および遅延相の撮像を有するCTスキャンなど）において識別されるときに有用である。一態様において、マージユーティリティ620は、各医用画像の組の特徴を分析することにより重複所見を自動的に検出し得る。あるいは、重複マージユーティリティ620は、ユーザにマージするための重複所見を手動で選択させるためのユーザインターフェースを提供してもよい。

一態様において、報告書ジェネレータ508は、リスト・ビュー・ジェネレータ622、ホムンクルスビュージェネレータ624、タイムラインジェネレータ626、RECIST報告書ジェネレータ628、および緊急通知ジェネレータ630を含み得る。一般に、医用画像と医用画像と関連付けられた記述データとは、リストビュー報告書、ホムンクルスビュー報告書、タイムライン報告書、RECIST報告書などのうちの一つまたは複数を生成するためにデータ記憶装置116内のデータベースから検索され得る。ある特定の態様において、リストビュー報告書および/またはホムンクルスビュー報告書は、複合報告書とすることができる。複合報告書は、任意のモダリティからの最新の画像所見が（ホムンクルス様式の報告書における）特定の解剖学的位置、または（リスト様式の報告書における）解剖学的カテゴリに表示され、いくつかの画像所見が前の所見にリンクされることを示す標識を有する（積み重なった画像の外観など）、すべての画像所見の集約であり得る。これは、撮像された特定のモダリティ/日付/時刻/解剖学的組織（ある特定の日時に得られた胸部X線写真など）に付随する画像所見のリストを含む従来の報告書とは異なる。しかし、データベース116上に記憶された画像所見のデータベースから、特定の検査に付随する所見を選別して、従来の放射線科報告書と同等の所見の部分が作成され得る。

図14に、複合リストビュー報告書の一態様を示す。図14に示すように、リストビュー報告書は表形式で表示され得る。リストビュー報告書は一つまたは複数の医用画像サムネイルを含み得る。報告書は、解剖学、病理学、時間、またはユーザによって指定される他の任意の基準に従ってリストビュー報告書ジェネレータ622へ編成され得る。図14の態様において、リストビュー報告書は、所見カテゴリ、医用画像のサムネイル画像、向きの指示、解剖図内の位置、病理学標識、優先事項標識、特徴メトリクス、疾患追跡ユーティリティ616によって生成される変更標識、所見を記述する医療専門家のビデオまたはオーディオ、医療専門家の所見のテキスト転記、およびさらに別の裏付け画像の標識を含む。当然ながら当業者は、リストビュー報告書に含まれ得るフィールドはより多くても少なくてもよいことを理解するであろう。

図15に、ホムンクルスビュージェネレータ624によって生成されるホムンクルスビュー報告書の一態様を示す。図16に代替の態様を示す。当業者は、ホムンクルスおよびホムンクルスビュー報告書の多くの異なる態様を認めるであろう。図18および図19のホムンクルスビュー報告書の一態様においては、患者の人体解剖学的構造に関連するホムンクルス上の位置に最新の所見が表示され得る。一態様においては、最新の所見の解剖学的構造に関連した追加所見が存在する場合、追加所見が存在するという標識がホムンクルス報告書上に表示され得る。例えば、図18および図19に示すように、複数の所見が積み重なった画像として表示され得る。あるいは、ボックス、星形、または他の標識で、追加所見が存在することを指示してもよい。その場合ユーザは所見のサムネイルをクリックし、所見に関する追加情報または追加所見が、新しい表示パネルに、または同じ表示パネルに表示され得る。

図17に示すように、タイムラインジェネレータ626は、画像のタイムラインを生成し得る。一態様において、タイムラインジェネレータ626は、複数の異なるモダリティからの画像および所見を含む疾患タイムラインを生成し得る。例えば疾患タイムラインは、CT所見、超音波所見、臨床検査所見などへのリンクを含み得る。一態様において、リンクには医用画像に対応するサムネイル画像が含まれ得る。

図17に示す詳細ビューには追加情報が含まれ得る。例えば、詳細ビューは、特徴メトリクス、グラフ、RECIST情報、病期情報、疾患追跡情報、および記述データに含まれる他の情報を含み得る。

一態様において、報告書ジェネレータ508は、緊急通知ジェネレータ630を含み得る。緊急通知ジェネレータ630は、所見が緊急優先事項を有するという判定に応答して、例えば医療専門家などへの通知を自動的に生成し得る。例えば、放射線科医が、患者が虫垂炎を発症しているかどうか、および患者の虫垂に破裂する危険があるかどうか判定するために腹部CTを調べる場合がある。放射線科医が優先事項フィールドを緊急に設定する場合、緊急通知ジェネレータ630は、委託する内科医、外科医、手術室スタッフなどに、緊急対応が必要であることを通知し得る。緊急通知ジェネレータ630は、自動電話通話、呼出し、電子メール、テキストメッセージなどを生成し得る。別の態様において、緊急通知ジェネレータ630は、モバイル機器上にロードされたモバイルアプリケーションとインターフェースし得る。例えば、図20Aおよび図20Bに示すように、優先事項フィールドが緊急に設定されているときに、リモートのモバイル機器上のモバイルアプリケーションは通知をトリガし得る。一態様において、通知は、医用画像のコピー、優先事項の標識、放射線科医の所見のオーディオを聴き、またはビデオを見るためのリンクを含み得る。

以下の概略的流れ図は、一般に、論理流れ図として示されている。したがって、図示の順序およびラベル付けされた工程は、提示の方法の一態様を示すものである。機能、論理、もしくは効果において、例示の方法の一つもしくは複数の工程、またはその部分と等価である他の工程および方法も想定され得る。加えて、用いられる形式および記号は、方法の論理工程を説明するためのものであり、方法の範囲を限定するためのものではないことも理解される。様々な種類の矢印および線が流れ図において用いられ得るが、それらは対応する方法の範囲を限定するためのものではないことが理解される。実際、矢印または他の結合記号の中には、方法の論理的流れだけを示すために使用され得るものもある。例えば矢印は、図示の方法の列挙される工程間の不特定の長さの待機またはモニタ期間を指示し得る。加えて、特定の方法が行われる順序は、図示の対応する工程の順序に厳密に準拠しても準拠しなくてもよい。

図7に、複合医用報告書を生成するための方法700の一態様を示す。一態様において、方法700は、画像取込みユーティリティ406が医用画像表示装置112上に表示されるように構成された医用画像を取り込む702ときに開始する。一態様において、画像取込みユーティリティ406は、市販のPACSビューア204上に表示された画像をコピーし得る。例えば、画像取込みユーティリティ406は、画面取込み機能を含み得る。次いで、音声取込みユーティリティ408、ビデオ取込みユーティリティ410、および入力取込みユーティリティ412が、医用画像に関連した記述データを取り込み704得る。例えば、音声取込みユーティリティ408は、所見を口述する医療専門家の音声クリップを取り込み得る。ビデオ取込みユーティリティ410は、所見を口述する医療専門家のビデオ記録を取り込むように構成されたウェブカム（不図示）を含み得る。入力取込みユーティリティは、視線追跡データ、メニュー選択肢、テキスト入力などを含み得る。加えて方法700は、サーバ114などのデータ処理装置上で医用画像と医用画像に関連した記述データとを処理すること706も含み得る。特に、サーバ114上のデータプロセッサ506が医用画像と記述データとを処理し得る。また方法700は、医用画像と医用画像に関連した記述データとをデータ記憶装置116に記憶すること708も含み得る。例えばデータ記憶インターフェース512が、医用画像と記述データとをデータ記憶装置116に記憶し得る。

方法の別の態様800が図8に示されている。方法800は、ユーザがPACSビューアにアクセスする802ときに開始し得る。次いでユーザは、アドバンストマルチメディア報告クライアント400にアクセスし804得る。例えば、ユーザは、認証モジュール404に資格証明を送ることによってクライアント400にログオンし得る。次いでユーザは、PACSで見るための患者を選択し806得る。例えばユーザは、RISシステム202において患者を選択し得る。次いでユーザはアドバンストマルチメディア報告サーバ114にアクセスし808得る。次いでユーザは、クライアント上で画像取込みユーティリティ406をトリガして、PACSビューア204上に表示された画像のコピーを取り込み702得る。この画面取込み702は、どんな画像表示プラットフォームとでも機能し、PACSビューアとの統合を必要としない。例えばユーザは、Philips（登録商標）Speechmikeなどの口述録音装置212のトリガまたは機能を使用し得る。あるいはユーザは、マウス210のクリックまたはキーボードの打鍵により取込みをトリガしてもよい。次いで、音声取込みユーティリティ408、ビデオ取込みユーティリティ410、および入力取込みユーティリティ412のうちの一つまたは複数が、医用画像と関連付けられた記述データを取り込み得る。このプロセスが図11におおまかに示されている。

医用画像と関連付けられた記述データとは、図12に示すように、送信機414を使用してサーバ114に送信され得る。サーバ114は、上記態様で説明したように医用画像と記述データとを処理し706得る。例えば記述データは、OCRユーティリティ608、自然言語プロセッサ606、およびユーザ入力プロセッサ610によってさらに生成され、または洗練されてもよい。次いでデータ記憶インターフェース512は、医用画像と医用画像に関連した記述データとをデータ記憶装置116に記憶し708得る。別の態様において、所見リンカ510は、データベース内のリンクフィールドなどに基づいて、医用画像と記述データとを他の医用画像と記述データとにリンクし得る。このプロセスが図13におおまかに示されている。

次に、第2のユーザがサーバ114に報告書を要求し得る。例えば第2のユーザは、報告書ビューア118を介してサーバ114に、選択された患者と関連付けられた複合報告書を求める要求を送り得る。サーバ114は、複合報告書を求める要求を受け取り810、報告書ジェネレータ508は、データ記憶装置116上に記憶された医用画像と記述データとのデータベースから医用画像と記述データとにアクセスすることによって複合報告書を生成し812得る。次いで送信機514は、ネットワーク106上で報告書ビューア118に複合報告書を伝達し814得る。複合報告書は、図14に示すようなリストビュー報告書、または図15〜図16に示すようなホムンクルスビュー報告書とすることができる。複合報告書上の画像サムネイルのクリックに応答して、報告書ビューアは、サーバ114に、選択された所見に関する追加情報を要求し得る。サーバ114は、データ記憶装置116に記憶されたデータベースに問い合わせ、報告書ビューア118に追加報告書情報を返すことができる。

また別の態様において、方法800は、医用画像を含む複合医用報告書を生成することも含み得る。また複合医用報告書は、医用画像にリンクされたリンク可能な医用画像のうちの少なくとも一つも含み得る。一態様において、医用画像およびリンク可能な各医用画像は、患者の全放射線写真歴を構成する。別の態様においては、検査結果、臨床検査結果、病歴なども、報告書に表され得る。一態様において、複合医用報告書は表として構成される。表は、医用画像と、医用画像に関連した記述データの少なくとも一部分を含み得る。別の態様において、複合医用報告書は、ホムンクルスを含むグラフィカルな報告書とすることができる。別の態様において、複合医用報告書はタイムラインとすることができる。タイムラインも同様に、医用画像とリンク可能な医用画像のうちの少なくとも一つを含み得る。

医用画像を処理すること706は、診断画像構成部分を分離するために取り込まれた医用画像を自動的にトリミングすることを含み得る。トリミングされた画像は複合医用報告書に含まれ得る。別の態様において、医用画像を処理すること706は、光学式文字認識（OCR）ユーティリティを用いて医用画像からテキスト情報を抽出することと、医用画像と関連付けられた抽出テキストをデータ記憶装置116に記憶することとを含み得る。加えて処理することは、画像の表現と記述データの表現とを有するグラフィカル・ユーザ・インターフェースを表示することと、画像を記述データとリンクするためのユーザコマンドを受け取ることとを含み得る。例えば、グラフィカル・ユーザ・インターフェースはタイムラインを含み得る。また、サーバ114上で画像と記述データとを処理することは、視線位置と視線停留時間との少なくとも一方に応答して画像を記述データと自動的にリンクすることも含み得る。例えば一態様は、特定の視線位置における視線停留時間が閾値に達したことに応答して、画像取込みを自動的にトリガすることを含み得る。

別の態様において、医用画像を処理すること706は、医用画像に対して画像マッチングアルゴリズムを実行して、医用画像と関連付けられる一意のディジタル署名を生成することを含み得る。また、医用画像を処理すること706は、自動定量化ツールを用いて医用画像の特徴を定量化することも含み得る。

また、医用画像を処理すること706は、一つまたは複数のリンク可能な画像と関連付けられた医用画像記述データにリンクされた複数のリンク可能な医用画像に応答して疾患進行を自動的に追跡することも含み得る。一態様において、処理することは、医用画像と医用画像に関連した記述データとに応答して、固形腫瘍の効果判定基準（RECIST）値を自動的に計算することを含む。また、処理することは、医用画像の特徴と医用画像と関連付けられた記述データとに応答して病期を自動的に判定することも含み得る。

一態様において、医用画像と関連付けられた記述データは、医用画像と関連付けられたラベルを含む。ラベルは、医用画像の特徴と関連付けられ得る。一態様において、ラベルは、自然言語処理アルゴリズムに従って分離された音声クリップから決定され得る。またラベルは、画像上に表示されるテキストの光学式文字認識からも決定され得る。別の態様において、ラベルは、ユーザから受け取られるコンピュータ入力から決定され得る。

別の態様において、方法700は、重複する医用画像がデータ記憶装置116に存在するかどうか判定することと、医用画像と関連付けられた重複する記述データがデータ記憶装置116に存在するかどうか判定することと、重複する医用画像と重複する記述データとをマージすることとを含み得る。

一態様において、コンピュータ可読媒体を含む有形のコンピュータプログラム製品は、実行されると、サーバ114などのコンピュータに、前述の方法700の各工程と関連付けられた動作を実施させる命令を含み得る。例えば動作には、医用画像表示装置112上で取り込まれた医用画像を受け取ることと、医用画像に関連した記述データを受け取ることと、データ処理装置上で医用画像と医用画像に関連した記述データとを処理すること706と、医用画像と医用画像に関連した記述データとをデータ記憶装置116に記憶すること708とが含まれ得る。

命令を有するコンピュータ可読媒体を含む有形のコンピュータプログラム製品の別の態様において、処理装置208などのコンピュータによって実行される動作には、医用画像表示装置112上で医用画像を取り込むこと702と、医用画像に関連した記述データを取り込むこと704と、医用画像と医用画像に関連した記述データとを、データ処理装置上で医用画像と医用画像に関連した記述データとを処理し、医用画像と医用画像に関連した記述データとをデータ記憶装置116に記憶するように構成された処理装置に伝達することとが含まれ得る。

本出願において開示され、特許請求されるすべての装置、システム、および/または方法は、本開示に照らして必要以上の実験を行わずに製造し、実行することができる。本発明の構成物および方法をいくつかの態様の観点において説明したが、本発明の概念、趣旨および範囲を逸脱することなく、本明細書において説明した構成物および方法に対して、また方法の工程または工程のシーケンスにおいて変形が適用され得ることが当業者には明らかであろう。より具体的には、同じ、または類似の結果が達成されるはずである限り、本明細書において説明した作用物質の代わりに、化学的にも生理学的にも関連したある特定の作用物質が使用されてもよいことが明らかになるであろう。当業者に明らかなそのような類似の代替物および改変はすべて、添付の特許請求の範囲によって定義される発明の趣旨、範囲および概念に含まれるものとみなされる。

Claims (98)

1. 医用画像表示装置上で表示されるように構成された医用画像を取り込む工程;
   前記医用画像に関連した記述データを取り込む工程;
   データ処理装置上で、前記医用画像と前記医用画像に関連した前記記述データとを処理する工程;および
   前記医用画像と前記医用画像に関連した前記記述データとをデータ記憶装置に記憶する工程
   を含む方法。
2. データ記憶装置内の医用画像と前記医用画像に関連した記述データとの間のデータ結合を作成する工程をさらに含む、請求項1記載の方法。
3. 医用画像を患者識別子にリンクする工程をさらに含む、請求項1〜2のいずれか一項記載の方法。
4. 医用画像を一つまたは複数のリンク可能な医用画像にリンクする工程をさらに含む、請求項1〜3のいずれか一項記載の方法。
5. 医用画像とリンク可能な医用画像とが共通の検査に従ってリンクされる、請求項1〜4のいずれか一項記載の方法。
6. 医用画像と異なる検査からのリンク可能な医用画像とがリンク基準に従ってリンクされる、請求項1〜5のいずれか一項記載の方法。
7. 医用画像を課金コードにリンクする工程をさらに含む、請求項1〜6のいずれか一項記載の方法。
8. 医用画像を含む複合医用報告書を生成する工程をさらに含む、請求項1〜7のいずれか一項記載の方法。
9. 医用画像と前記医用画像にリンクされたリンク可能な医用画像のうちの少なくとも一つとを含む複合医用報告書を生成する工程をさらに含む、請求項1〜8のいずれか一項記載の方法。
10. 患者の全放射線写真歴を構成する医用画像とリンク可能な各医用画像とを含む複合医用報告書を生成する工程をさらに含む、請求項1〜9のいずれか一項記載の方法。
11. 複合医用報告書が、医用画像と前記医用画像に関連した記述データの少なくとも一部分とを含む表を含む、請求項1〜10のいずれか一項記載の方法。
12. 複合医用報告書が、関連付けられる画像所見が付されたホムンクルス（homunculus）を含むグラフィカルな報告書を含む、請求項1〜11のいずれか一項記載の方法。
13. 複合医用報告書が、医用画像とリンク可能な医用画像のうちの少なくとも一つとを含むタイムラインを含むグラフィカルな報告書を含む、請求項1〜12のいずれか一項記載の方法。
14. 医用画像表示装置が画像保管通信システム（Picture Archiving and Communication System）（PACS）を含む、請求項1〜13のいずれか一項記載の方法。
15. 医用画像表示装置が、著作権のある医用画像データ形式に従って構成された医用画像を表示するように構成されている、請求項1〜14のいずれか一項記載の方法。
16. 記述データが音声データを含む、請求項1〜15のいずれか一項記載の方法。
17. 記述データがビデオデータを含む、請求項1〜16のいずれか一項記載の方法。
18. 記述データがテキストを含む、請求項1〜17のいずれか一項記載の方法。
19. 記述データが、
    一つまたは複数の視線位置;および
    一つまたは複数の視線停留時間
    を含む視線追跡データを含む、請求項1〜18のいずれか一項記載の方法。
20. 記述データが、ポインタ位置とポインタクリックとの少なくとも一方を含む、請求項1〜19のいずれか一項記載の方法。
21. 医用画像を処理する工程が、診断画像構成部分を分離するために取り込まれた医用画像を自動的にトリミングする工程を含む、請求項1〜20のいずれか一項記載の方法。
22. 医用画像を処理する工程が、光学式文字認識（Optical Character Recognition）（OCR）ユーティリティを用いて前記医用画像からテキスト情報を抽出する工程、および前記医用画像と関連付けられた前記抽出テキストをデータ記憶装置に記憶する工程を含む、請求項1〜21のいずれか一項記載の方法。
23. データ処理装置上で医用画像を処理し、かつデータ処理装置上で記述データを処理する工程が、前記画像の描写と前記記述データの描写とを有するグラフィカル・ユーザ・インターフェースを表示する工程、および前記画像を前記記述データとリンクするためのユーザコマンドを受け取る工程をさらに含む、請求項1〜22のいずれか一項記載の方法。
24. グラフィカル・ユーザ・インターフェースがタイムラインを含む、請求項1〜23のいずれか一項記載の方法。
25. サーバ上で画像を処理し、かつサーバ上で記述データを処理する工程が、視線位置と視線停留時間との少なくとも一方に応答して前記画像を前記記述データと自動的にリンクする工程をさらに含む、請求項1〜24のいずれか一項記載の方法。
26. 特定の視線位置における視線停留時間が閾値に達したことに応答して画像取込みを自動的にトリガする工程を含む、請求項1〜25のいずれか一項記載の方法。
27. 医用画像の特徴と関連付けられる、以前の検査所見を表示する半透明のポップアップウィンドウを表示する工程を含む、請求項1〜26のいずれか一項記載の方法。
28. 医用画像を処理する工程が、前記医用画像に対して画像マッチングアルゴリズムを実行して、前記医用画像と関連付けられる一意のディジタル署名を生成する工程を含む、請求項1〜27のいずれか一項記載の方法。
29. 医用画像を処理する工程が、自動定量化ツールを用いて前記医用画像の特徴を定量化する工程を含む、請求項1〜28のいずれか一項記載の方法。
30. 医用画像を処理する工程が、一つまたは複数のリンク可能な画像と関連付けられた医用画像記述データにリンクされた複数のリンク可能な医用画像に応答して疾患進行を自動的に追跡する工程を含む、請求項1〜29のいずれか一項記載の方法。
31. 医用画像を処理する工程が、前記医用画像と前記医用画像に関連した記述データとに応答して、固形腫瘍の効果判定基準（Response Evaluation Criteria in Solid Tumors）（RECIST）値を自動的に計算する工程を含む、請求項1〜30のいずれか一項記載の方法。
32. 医用画像を処理する工程が、前記医用画像の特徴と前記医用画像と関連付けられた記述データとに応答して病期を自動的に判定する工程を含む、請求項1〜31のいずれか一項記載の方法。
33. 医用画像と関連付けられた記述データが前記医用画像と関連付けられたラベルを含む、請求項1〜32のいずれか一項記載の方法。
34. ラベルが医用画像の特徴と関連付けられる、請求項1〜33のいずれか一項記載の方法。
35. 自然言語処理アルゴリズムに従って分離された音声クリップからラベルを決定する工程を含む、請求項1〜34のいずれか一項記載の方法。
36. 画像に現れているテキストの光学式文字認識からラベルを決定する工程を含む、請求項1〜35のいずれか一項記載の方法。
37. ユーザから受け取られるコンピュータ入力からラベルを決定する工程を含む、請求項1〜36のいずれか一項記載の方法。
38. 重複する医用画像がデータ記憶装置に存在するかどうか判定する工程;
    前記医用画像と関連付けられた重複する記述データが前記データ記憶装置に存在するかどうか判定する工程;および
    重複する医用画像と重複する記述データとをマージする工程
    を含む、請求項1〜37のいずれか一項記載の方法。
39. 実行されると、コンピュータに、
    医用画像表示装置上で取り込まれた医用画像を受け取ることと、
    前記医用画像に関連した記述データを受け取ることと、
    データ処理装置上で前記医用画像と前記医用画像に関連した前記記述データとを処理することと、
    前記医用画像と前記医用画像に関連した前記記述データとをデータ記憶装置に記憶することと
    を含む動作を実施させる命令を有するコンピュータ可読媒体を含む有形のコンピュータプログラム製品。
40. 動作が、データ記憶装置内の医用画像と前記医用画像に関連した記述データとの間のデータ結合を作成することをさらに含む、請求項39記載の有形のコンピュータプログラム製品。
41. 動作が、医用画像を患者識別子にリンクすることをさらに含む、請求項39〜40のいずれか一項記載の有形のコンピュータプログラム製品。
42. 動作が、医用画像を一つまたは複数のリンク可能な医用画像にリンクすることをさらに含む、請求項39〜41のいずれか一項記載の有形のコンピュータプログラム製品。
43. 医用画像とリンク可能な医用画像とが共通の検査に従ってリンクされる、請求項39〜42のいずれか一項記載の有形のコンピュータプログラム製品。
44. 医用画像と異なる検査からのリンク可能な医用画像とがリンク基準に従ってリンクされる、請求項39〜43のいずれか一項記載の有形のコンピュータプログラム製品。
45. 動作が、医用画像を課金コードにリンクすることをさらに含む、請求項39〜44のいずれか一項記載の有形のコンピュータプログラム製品。
46. 動作が、医用画像を含む複合医用報告書を生成することをさらに含む、請求項39〜45のいずれか一項記載の有形のコンピュータプログラム製品。
47. 動作が、医用画像と前記医用画像にリンクされたリンク可能な医用画像のうちの少なくとも一つとを含む複合医用報告書を生成することをさらに含む、請求項39〜46のいずれか一項記載の有形のコンピュータプログラム製品。
48. 動作が、患者の全放射線写真歴を構成する医用画像とリンク可能な各医用画像とを含む複合医用報告書を生成することをさらに含む、請求項39〜47のいずれか一項記載の有形のコンピュータプログラム製品。
49. 複合医用報告書が、医用画像と前記医用画像に関連した記述データの少なくとも一部分とを含む表を含む、請求項39〜48のいずれか一項記載の有形のコンピュータプログラム製品。
50. 複合医用報告書が、ホムンクルスを含むグラフィカルな報告書を含む、請求項39〜49のいずれか一項記載の有形のコンピュータプログラム製品。
51. 複合医用報告書が、医用画像とリンク可能な医用画像のうちの少なくとも一つとを含むタイムラインを含むグラフィカルな報告書を含む、請求項39〜50のいずれか一項記載の有形のコンピュータプログラム製品。
52. 医用画像表示装置が画像保管通信システム（PACS）を含む、請求項39〜51のいずれか一項記載の有形のコンピュータプログラム製品。
53. 医用画像表示装置が、著作権のある医用画像データ形式に従って構成された医用画像を表示するように構成されている、請求項39〜52のいずれか一項記載の有形のコンピュータプログラム製品。
54. 記述データが音声データを含む、請求項39〜53のいずれか一項記載の有形のコンピュータプログラム製品。
55. 記述データがビデオデータを含む、請求項39〜54のいずれか一項記載の有形のコンピュータプログラム製品。
56. 記述データがテキストを含む、請求項39〜55のいずれか一項記載の有形のコンピュータプログラム製品。
57. 記述データが、
    一つまたは複数の視線位置;および
    一つまたは複数の視線停留時間
    を含む視線追跡データを含む、請求項39〜56のいずれか一項記載の有形のコンピュータプログラム製品。
58. 記述データが、ポインタ位置とポインタクリックとの少なくとも一方を含む、請求項39〜57のいずれか一項記載の有形のコンピュータプログラム製品。
59. 医用画像を処理することが、診断画像構成部分を分離するために前記画像を自動的にトリミングすることを含む、請求項39〜58のいずれか一項記載の有形のコンピュータプログラム製品。
60. 医用画像を処理することが、光学式文字認識（OCR）ユーティリティを用いて前記医用画像からテキスト情報を抽出することと、前記医用画像と関連付けられた前記抽出テキストをデータ記憶装置に記憶することとを含む、請求項39〜59のいずれか一項記載の有形のコンピュータプログラム製品。
61. データ処理装置上で医用画像を処理すること、およびデータ処理装置上で記述データを処理することが、前記画像の描写と前記記述データの描写とを有するグラフィカル・ユーザ・インターフェースを表示することと、前記画像を前記記述データとリンクするためのユーザコマンドを受け取ることとをさらに含む、請求項39〜60のいずれか一項記載の有形のコンピュータプログラム製品。
62. グラフィカル・ユーザ・インターフェースがタイムラインを含む、請求項39〜61のいずれか一項記載の有形のコンピュータプログラム製品。
63. サーバ上で画像を処理すること、およびサーバ上で記述データを処理することが、視線位置と視線停留時間との少なくとも一方に応答して前記画像を前記記述データと自動的にリンクすることをさらに含む、請求項39〜62のいずれか一項記載の有形のコンピュータプログラム製品。
64. 動作が、特定の視線位置における視線停留時間が閾値に達したことに応答して画像取込みを自動的にトリガすることを含む、請求項39〜63のいずれか一項記載の有形のコンピュータプログラム製品。
65. 動作が、医用画像の特徴と関連付けられる以前の検査所見を表示する半透明のポップアップウィンドウを表示することを含む、請求項39〜64のいずれか一項記載の有形のコンピュータプログラム製品。
66. 医用画像を処理することが、前記医用画像に対して画像マッチングアルゴリズムを実行して、前記医用画像と関連付けられる一意のディジタル署名を生成することを含む、請求項39〜65のいずれか一項記載の有形のコンピュータプログラム製品。
67. 医用画像を処理することが、自動定量化ツールを用いて前記医用画像の特徴を定量化することを含む、請求項39〜66のいずれか一項記載の有形のコンピュータプログラム製品。
68. 医用画像を処理することが、一つまたは複数のリンク可能な画像と関連付けられた医用画像記述データにリンクされた複数のリンク可能な医用画像に応答して疾患進行を自動的に追跡することを含む、請求項39〜67のいずれか一項記載の有形のコンピュータプログラム製品。
69. 医用画像を処理することが、前記医用画像と前記医用画像に関連した記述データとに応答して、固形腫瘍の効果判定基準（RECIST）値を自動的に計算することを含む、請求項39〜68のいずれか一項記載の有形のコンピュータプログラム製品。
70. 医用画像を処理することが、前記医用画像の特徴と前記医用画像と関連付けられた記述データとに応答して病期を自動的に判定することを含む、請求項39〜69のいずれか一項記載の有形のコンピュータプログラム製品。
71. 医用画像と関連付けられた記述データが前記医用画像と関連付けられたラベルを含む、請求項39〜70のいずれか一項記載の有形のコンピュータプログラム製品。
72. ラベルが医用画像の特徴と関連付けられる、請求項39〜71のいずれか一項記載の有形のコンピュータプログラム製品。
73. 動作が、自然言語処理アルゴリズムに従って分離された音声クリップからラベルを決定することを含む、請求項39〜72のいずれか一項記載の有形のコンピュータプログラム製品。
74. 動作が、画像に現れているテキストの光学式文字認識からラベルを決定することを含む、請求項39〜73のいずれか一項記載の有形のコンピュータプログラム製品。
75. 動作が、ユーザから受け取られるコンピュータ入力からラベルを決定することを含む、請求項39〜74のいずれか一項記載の有形のコンピュータプログラム製品。
76. 動作が、
    重複する医用画像がデータ記憶装置に存在するかどうか判定することと、
    前記医用画像と関連付けられた重複する記述データが前記データ記憶装置に存在するかどうか判定することと、
    重複する医用画像と重複する記述データとをマージすることと
    を含む、請求項39〜75のいずれか一項記載の有形のコンピュータプログラム製品。
77. 実行されると、コンピュータに、
    医用画像表示装置上で医用画像を取り込むことと、
    前記医用画像に関連した記述データを取り込むことと、
    前記医用画像と前記医用画像に関連した前記記述データとを、データ処理装置上で前記医用画像と前記医用画像に関連した前記記述データとを処理し、かつ前記医用画像と前記医用画像に関連した前記記述データとをデータ記憶装置に記憶するように構成された処理装置に伝達することと
    を含む動作を実施させる命令を有するコンピュータ可読媒体を含む有形のコンピュータプログラム製品。
78. 医用画像と前記医用画像に関連した記述データとを受け取るように構成されたインターフェースと、
    前記医用画像と前記医用画像に関連した前記記述データとを処理するように構成された、前記インターフェースに結合された処理装置と、
    前記医用画像と前記医用画像に関連した前記記述データとを記憶するように構成された、前記処理装置に結合されたデータ記憶インターフェースと
    を含む装置。
79. 請求項39〜76のいずれか一項記載の有形のコンピュータプログラム製品に記憶された命令に応答して動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含む、請求項78記載の装置。
80. 医用画像を表示するように構成された医用画像表示装置と、
    前記医用画像を取り込むように構成された、前記医用画像表示装置に結合された画像取込みユーティリティと、
    ユーザから記述データを収集するように構成されたユーザインターフェース装置と、
    前記医用画像と前記医用画像に関連した前記記述データとを、データ処理装置上で前記医用画像と前記医用画像に関連した前記記述データとを処理し、かつ前記医用画像と前記医用画像に関連した前記記述データとをデータ記憶装置に記憶するように構成された処理装置に伝達するように構成された、画像取込み装置と前記ユーザインターフェース装置とに結合された通信アダプタと
    を含む装置。
81. 画像取込み装置が、画面取込み機能を装備するオペレーティングシステムを有する、表示装置に結合されたコンピュータを含む、請求項80記載の装置。
82. 医用画像表示装置が画像保管通信システム（PACS）を含む、請求項80〜81のいずれか一項記載の装置。
83. ユーザインターフェース装置が視線追跡装置を含む、請求項80〜82のいずれか一項記載の装置。
84. ユーザインターフェース装置がビデオカメラを含む、請求項80〜83のいずれか一項記載の装置。
85. ユーザインターフェース装置が音声記録装置を含む、請求項80〜84のいずれか一項記載の装置。
86. 音声記録装置がトリガ構成部品を有する口述録音装置を含む、請求項80〜85のいずれか一項記載の装置。
87. 請求項77記載の有形のコンピュータプログラム製品に記憶された命令に応答して動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含む、請求項80〜86のいずれか一項記載の装置。
88. 医用画像と前記医用画像に関連した記述データとを受け取るように構成されたインターフェースと、
    前記医用画像と前記医用画像に関連した前記記述データとを処理するように構成された、前記インターフェースに結合された処理装置と、
    前記医用画像と前記医用画像に関連した前記記述データとを記憶するように構成された、前記処理装置に結合されたデータ記憶インターフェースと
    を含むサーバ;
    前記医用画像と前記医用画像に関連した前記記述データとを受け取りかつ記憶するように構成された、前記データ記憶インターフェースに結合されたデータ記憶装置;ならびに
    医用画像を表示するように構成された医用画像表示装置と、
    前記医用画像を取り込むように構成された、前記医用画像表示装置に結合された画像取込みユーティリティと、
    ユーザから記述データを収集するように構成されたユーザインターフェース装置と、
    前記医用画像と前記医用画像に関連した前記記述データとを前記サーバに伝達するように構成された、前記画像取込み装置と前記ユーザインターフェース装置とに結合された通信アダプタと
    を含み、前記サーバと前記データ記憶装置との少なくとも一方に結合された医用画像ビューア
    を含むシステム。
89. 請求項39〜77のいずれか一項記載の有形のコンピュータプログラム製品に記憶された命令に応答して動作を実施するように構成された一つまたは複数のソフトウェアで定義されたモジュールを含む、請求項86記載のシステム。
90. 医用画像ビューアに結合された医用撮像装置を含む、請求項86〜87のいずれか一項記載のシステム。
91. 医用撮像装置がX線機器を含む、請求項86〜88のいずれか一項記載のシステム。
92. 医用撮像装置がコンピュータ断層撮影（Computed Tomography）（CT）スキャナを含む、請求項86〜89のいずれか一項記載のシステム。
93. 医用撮像装置が高周波（Radio Frequency）（RF）撮像装置を含む、請求項86〜90のいずれか一項記載のシステム。
94. 医用撮像装置が磁気共鳴撮像（Magnetic Resonance Imaging）（MRI）機器を含む、請求項86〜91のいずれか一項記載のシステム。
95. 医用撮像装置が超音波撮像装置を含む、請求項86〜92のいずれか一項記載のシステム。
96. 医用画像である画像データを受け取るように構成されたPACSサーバをさらに含む、請求項86〜93のいずれか一項記載のシステム。
97. 医用画像である画像データを記憶するように構成された、PACSサーバに結合されたPACSデータ記憶装置をさらに含む、請求項86〜94のいずれか一項記載のシステム。
98. 医用画像と前記医用画像に関連した記述データとに応答してサーバによって生成される、患者の全放射線写真歴を単一のグラフィカルビューに含むメディアベースの報告書を受け取るように構成された報告書ビューアをさらに含む、請求項86〜95のいずれか一項記載のシステム。

Images