JP2018537177A - 画像解釈ワークフローにおけるサードパーティアプリケーションの統合のための構造化所見オブジェクト - Google Patents
画像解釈ワークフローにおけるサードパーティアプリケーションの統合のための構造化所見オブジェクト Download PDFInfo
- Publication number
- JP2018537177A JP2018537177A JP2018526647A JP2018526647A JP2018537177A JP 2018537177 A JP2018537177 A JP 2018537177A JP 2018526647 A JP2018526647 A JP 2018526647A JP 2018526647 A JP2018526647 A JP 2018526647A JP 2018537177 A JP2018537177 A JP 2018537177A
- Authority
- JP
- Japan
- Prior art keywords
- sfo
- radiation
- findings
- annotation
- interpretation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010354 integration Effects 0.000 title description 2
- 230000005855 radiation Effects 0.000 claims abstract description 180
- 230000009471 action Effects 0.000 claims abstract description 95
- 238000000034 method Methods 0.000 claims abstract description 29
- 210000003484 anatomy Anatomy 0.000 claims description 17
- 238000003384 imaging method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 14
- 238000013479 data entry Methods 0.000 claims description 10
- 238000000275 quality assurance Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000013500 data storage Methods 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 6
- 238000004195 computer-aided diagnosis Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 5
- 238000001514 detection method Methods 0.000 claims 1
- 206010028980 Neoplasm Diseases 0.000 description 22
- 238000013459 approach Methods 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 10
- 238000003745 diagnosis Methods 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 206010027476 Metastases Diseases 0.000 description 7
- 230000009401 metastasis Effects 0.000 description 7
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 6
- 230000002308 calcification Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 201000005202 lung cancer Diseases 0.000 description 6
- 208000020816 lung neoplasm Diseases 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 210000003734 kidney Anatomy 0.000 description 5
- 210000004185 liver Anatomy 0.000 description 5
- 210000000056 organ Anatomy 0.000 description 5
- 238000002600 positron emission tomography Methods 0.000 description 5
- 238000012552 review Methods 0.000 description 5
- 208000031513 cyst Diseases 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 210000004072 lung Anatomy 0.000 description 4
- 206010011732 Cyst Diseases 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 206010056342 Pulmonary mass Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000001394 metastastic effect Effects 0.000 description 2
- 206010061289 metastatic neoplasm Diseases 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 208000026292 Cystic Kidney disease Diseases 0.000 description 1
- 206010019695 Hepatic neoplasm Diseases 0.000 description 1
- 206010038423 Renal cyst Diseases 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000014018 liver neoplasm Diseases 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 231100001028 renal lesion Toxicity 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000011269 treatment regimen Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/169—Annotation, e.g. comment data or footnotes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/174—Form filling; Merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
- G06F40/186—Templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
放射線ワークステーション（１６）は、ディスプレイデバイス（２５）及び少なくとも１つのユーザ入力デバイス（２０、２２、２４）を含む。サーバコンピュータ（１０）は、放射線ワークステーションとともに動作して、放射線読影サポート方法を含む放射線読影タスク（１４）を実行するようにプログラムされており、放射線読影サポート方法は、放射線所見を特定するユーザ入力を受信することと、放射線所見についての構造化所見オブジェクト（ＳＦＯ）テンプレートを取得することと、取得されたＳＦＯテンプレートに注釈付けするための注釈データ入力フィールドを有するＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログ（４０）を表示することと、ＳＦＯ注釈付けＧＵＩダイアログを介してＳＦＯテンプレートに注釈付けすることにより、放射線所見を表すＳＦＯ（６０）を構築することと、ＳＦＯから、放射線所見を説明する自然言語テキストを生成することと、を含む。アプリケーションプログラムインタフェース（ＡＰＩ）アクションルール（５４）が、構築されているＳＦＯが何らかのＡＰＩアクションルールを満たしているかどうかを判定するために適用され得、そうである場合、対応するアプリケーションプログラムが呼び出される。
Description
以下は、一般に、放射線技術、放射線読影技術、放射線ワークステーション技術、放射線ワークステーションユーザインタフェース技術、及び関連技術に関する。
放射線診療は、いく人かの協力し合う医療専門家が関わる複雑なプロセスである。典型的なシーケンスにおいて、患者の医師が、放射線検査を指示する。放射線技師は、磁気共鳴イメージング（ＭＲＩ）システム、コンピュータ断層撮影（ＣＴ）イメージングシステム、陽電子放射断層撮影（ＰＥＴ）イメージングシステム等のイメージングシステム又はイメージングシステムの組合せ（例えば、ＰＥＴ／ＣＴ）を操作して、医師の指示に従った、患者の解剖学的領域の画像を取得する。これらの画像は、画像保存通信システム（ＰＡＣＳ）に記憶され、放射線医により、一般的には放射線読影環境を実行する専用の放射線ワークステーションを使用して、後で観察される又は「読影される」。放射線読影の主な成果物は、放射線レポートである。放射線レポートは、一般的に、患者の臨床歴、主画像所見、及び結論をそれぞれ詳述するいくつかのセクションで分けられた説明文書である。ワークフローは、放射線レポートを口述するための音声認識等の改良の利用や標準化されたボキャブラリと組み合わせたＲＳＮＡテンプレート等の標準化されたレポーティングテンプレートの使用等を通じて、より効率的にされ得る。
放射線読影は複雑なタスクであり、その結果は、タイムリーで正確な医療診断及び結果として生じる治療レジメンを提供するのに重要となり得る。医学文献、電子医療記録（ＥＭＲ）において利用可能な患者データ、様々な状態のための治療ガイドライン、コンピュータ支援診断（ＣＡＤｘ）システム、及び、ＰＡＣＳにおいて利用可能であり得る、患者の過去の放射線検査等の様々な支援ツールが、放射線医を支援するために利用可能である。これらのツールは、一般的に、放射線読影環境とは別個のサードパーティリソースとして実装されるが、通常、放射線医の自発性をもって、放射線ワークステーションから病院の電子データネットワークを介してアクセスされ得る。
放射線イメージングは、比較的単純な骨折から複雑な腫瘍病期分類及び腫瘍分類タスクに至る、広範な医学的状態の診断及び評価において使用されている。多くの医療機関において、放射線科は、放射線医が作業シフトあたり多くの読影タスクを行うように要求される高処理能力部門である。例えば、典型的な放射線部門は、２分以下の時間フレーム内でＸ線又は超音波の読影を行うように放射線医に要求し得るのに対し、マルチスライスＣＴ又はＭＲＩ等についてのより複雑な読影タスクは、およそ５〜７分で行われるように要求され得る。これらの時間制約の下、放射線医は、ＥＭＲ、ＰＡＣＳに記憶されている過去の放射線検査、及び様々なＣＡＤｘ又は電子治療ガイドラインリソース等の利用可能なツールを認識して利用することが難しいと判断する場合がある。厳しい時間制約の下で作業することはまた、放射線医が、書面による放射線レポートにおける放射線所見の十分なサポートを提供できない又は適切な二次的所見を作成及び記録できない可能性を増大させる。
本出願において開示される改良は、既存の放射線読影システム、方法等の前述の欠点及び他の欠点に対処する。
１つの例示的な例に従うと、放射線読影デバイスは、放射線ワークステーションとともに動作して、ＳＦＯベースの放射線読影サポート方法を実行することを含む放射線読影タスクを実行するようにプログラムされているサーバコンピュータであって、前記ＳＦＯベースの放射線読影サポート方法は、前記放射線ワークステーションの少なくとも１つのユーザ入力デバイスを介して、放射線所見を特定するユーザ入力を受信する動作と、特定された前記放射線所見を表すよう構成されている構造化データオブジェクトを含む構造化所見オブジェクト（ＳＦＯ）テンプレートを、データストレージから取得する動作と、前記放射線ワークステーションのディスプレイデバイス上に、取得された前記ＳＦＯテンプレートに注釈付けするための注釈データ入力フィールドを有するＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログを表示する動作と、少なくとも部分的に、前記放射線ワークステーションの前記ディスプレイデバイス上に表示された前記ＳＦＯ注釈付けＧＵＩダイアログとインタラクトする前記少なくとも１つのユーザ入力デバイスを介して受信された情報を用いて、取得された前記ＳＦＯテンプレートに注釈付けすることにより、特定された前記放射線所見を表すＳＦＯを構築する動作と、特定された前記放射線所見を表す前記ＳＦＯから、特定された前記放射線所見を説明する自然言語テキストを生成する動作と、を含む、サーバコンピュータを有する。
別の例示的な例に従うと、放射線読影システムは、構造化所見オブジェクト（ＳＦＯ）テンプレートを記憶しているデータストレージを有する。各ＳＦＯテンプレートは、放射線所見を表すよう構成されている構造化データオブジェクトである。放射線ワークステーションは、ディスプレイデバイス及び少なくとも１つのユーザ入力デバイスを含む。本放射線読影システムは、前記放射線ワークステーションとともに動作して、前記ＳＦＯベースの放射線読影サポート方法を実行することを含む前記放射線読影タスクを実行するようにプログラムされている直前の段落に記載のサーバコンピュータを有する放射線読影デバイスをさらに含む。
別の例示的な例に従うと、放射線読影タスクをサポートする放射線読影サポート方法を実行するように電子デバイスにより読み取り可能であり実行可能である命令を記憶している非一時的な記憶媒体であって、前記放射線読影タスクも、放射線ワークステーションとともに動作する前記電子デバイス上で実行される、非一時的な記憶媒体が開示される。前記放射線読影サポート方法は、前記放射線ワークステーションの少なくとも１つのユーザ入力デバイスを介して、放射線所見を特定するユーザ入力を受信する動作と、少なくとも、＜キー，値＞ペアを定義することにより、特定された前記放射線所見を表すよう構成されている構造化所見オブジェクト（ＳＦＯ）テンプレートを、データストレージから取得する動作であって、前記キーは、前記放射線所見をサポートする又は特徴付ける情報を表す、前記ＳＦＯのディメンションを表し、前記値は、前記ディメンションについての値を表す、動作と、前記放射線ワークステーションのディスプレイデバイス上に、ＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログを表示する動作であって、前記ＳＦＯ注釈付けＧＵＩダイアログは、前記ＳＦＯテンプレートのディメンションについての値を入力するための注釈データ入力フィールドを有する、動作と、少なくとも、表示された前記ＳＦＯ注釈付けＧＵＩダイアログとインタラクトする、前記放射線ワークステーションの前記少なくとも１つのユーザ入力デバイスを使用して、前記ＳＦＯテンプレートのディメンションについての値を受信することにより、特定された前記放射線所見を表すＳＦＯを構築する動作と、特定された前記放射線所見を表す前記ＳＦＯから、特定された前記放射線所見を説明する自然言語テキストを生成する動作と、を含む。
１つの利点は、放射線所見の適切なサポートの収集及び記録を容易にし、二次的所見及びサードパーティツールの適切な使用をトリガするために、構造化所見オブジェクトに基づいて放射線読影プロセスを編成することにある。
別の利点は、より効果的で効率的な放射線ワークステーションユーザインタフェースを提供することにある。
本発明のさらなる利点は、以下の詳細な説明を読んで理解すると当業者に理解されるであろう。所与の実施形態は、これらの利点のうちの１つ、２つ、又は３つ以上を提供し得ることが理解されよう。
本発明は、様々なコンポーネント及びコンポーネントの配置、また、様々なステップ及びステップの配置の形態をとることができる。図面は、好ましい実施形態を例示するためだけにあり、本発明を限定するものとして解釈されるべきではない。
放射線所見のサポート又は特徴付けの収集及び記録を容易にし、二次的所見をトリガし、サードパーティツールとインタフェースするために、構造化所見オブジェクト（ＳＦＯ）ベースのツールによりサポートされる又はＳＦＯベースのツールを組み込んでいる放射線読影デバイスを概略的に示す図。
図１の放射線読影デバイスを使用して適宜に実行される放射線読影タスクワークフローを概略的に示す図。
開示される放射線読影デバイス及び方法は、デジタルエンティティ（実体）であって、好ましくは、（北米放射線学会（ＲＳＮＡ）により公布された）ＲａｄＬｅｘ又は（米国病理学会（ＣＡＰ）により公布された）国際医療用語集（ＳｎｏＭｅｄ ＣＴ）等の放射線医学オントロジで体系化される構造化所見オブジェクト（ＳＦＯ）のコンセプトを利用する。ＳＦＯは、放射線領域固有のＸＭＬ構文であるアノテーションイメージングマークアップ（ＡＩＭ：annotation imaging mark-up）等の構文を使用する構造化フォーマットで画像所見を少なくとも部分的に特徴付ける。いくつかの好ましい実施形態において、ＳＦＯは、＜キー，値＞ペアを使用して各々体系化されたディメンション（dimensions）により表され、ここで、「キー」は、ディメンションを識別するものであり、「値」は、現在の読影タスクにおける放射線所見についてのディメンションの値である。ディメンションは、通常型付きであり、所与のディメンションの値は、それ自体複雑な（例えば、階層的な）データ構造であり得る。非限定的な例として、いくつかの可能なＳＦＯディメンションは次の通りである：「診断」ディメンションは、「病変」、「結節」、「嚢胞」、「転移性病変」、「腫瘍」等といった、放射線医学オントロジから選択される可能な診断のセットからの文字列値をとることができ、［０，１］の範囲内の尤度若しくは確率値等の追加のパラメータ、又は、「可能性が高い（likely）」、「可能性が低い（unlikely）」、若しくは「おそらく（presumably）」等の別個の文字列値を任意的に有する。「空間」ディメンションは、所見（例えば、腫瘍）のＸ方向、Ｙ方向、及びＺ方向におけるサイズを表す整数又は実数の順序付き三つ組を含む値を有することができる。「空間」ディメンションはまた、例えば腫瘍を全く発見しない等の否定の所見に注釈付けするための、「不存在」又は特別な三つ組「０，０，０」等の特別な値を任意的にとることができる。追加的又は代替的に、例えば、「大きい」又は「小さい」といった定性的な値をとる等、定性的な「サイズ」ディメンションが提供されてもよい。「解剖学的構造／身体部分」ディメンションは、解剖学的領域を指定し、「腎臓」、「左肺」、「肝臓」等、オントロジからの文字列値をとることができる。「亜部位」ディメンションは、「腎皮質」、「左下葉」、「肝臓区域１」等、解剖学的構造をさらに特定することができる。「亜部位」ディメンションについての許容値のセットは、「解剖学的構造／身体部分」ディメンションに依存する。「時間」ディメンションは、「安定している」、「サイズのインターバル増大（interval increase）」等の値をとることができる。「時間」ディメンションについての値を割り当てるためには、放射線医は、例えば最後の検査の後に腫瘍サイズがどのように変化したかを評価するために、患者の過去の放射線検査を参照する必要があることがある。「複数性（plurality）」ディメンションは、「１つ」、「複数」、「様々」等の値をとることができ、例えば、画像内で観察された結節の数を指定するために使用される。追加のディメンション又は他のディメンションが、所与のタイプの所見に適切であることもあり、例えば、「追加診断」ディメンションは、腫瘍をさらに特徴付けるための「石灰化有り」等の値をとることができる。これらは、ＳＦＯについての非限定的な例示的なディメンションに過ぎず、所与のタイプのＳＦＯは、追加のディメンション又は他のディメンションを有することができる。
概して、本出願において開示されるＳＦＯベースのツールは、まず、レポートされる特定の所見に適したディメンションを有するが、これらのディメンションの値が（少なくとも大部分）ブランクであるＳＦＯデータ構造であるＳＦＯ「テンプレート」を、放射線医に提供する。より一般的に、ＳＦＯテンプレートは、例えば、＜キー，値＞ペアを定義することにより、放射線所見を表すよう構成されている構造化データオブジェクトであり、ここで、キーは、放射線所見をサポートする又は特徴付ける情報を表す、ＳＦＯのディメンションを表し、値は、ディメンションの値を表す。ＳＦＯテンプレートで始まって、放射線医は、所見の文書サポート又はより正確な特徴付けを提供するために、放射線ワークステーション上に表示されたＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログを介して、ＳＦＯのディメンションの値を入力する（又は、いくつかの場合において、１つ以上の値が、ＳＦＯベースのツール自体により自動的に割り当てられることもあるし、ＳＦＯベースのツールにより呼び出されたサードパーティツールにより割り当てられることもある）。ＳＦＯのディメンションの値を入力するこのプロセスは、本開示において、ＳＦＯの「注釈付け」と呼ばれる。ＳＦＯ注釈付けの完了は、ＳＦＯの多くのディメンション、場合によってはほとんど又は全てのディメンションに値が入力された完成したＳＦＯをもたらす。一般に、異なるＳＦＯテンプレートが、異なるタイプの放射線所見について提供される。注釈付けが進むときに、ＳＦＯベースのツールは、ＳＦＯをモニタリングして、アクションルールのセットのうちの何らかのアクションルールが満たされているかどうかを判定する。アクションルールは、例えば、ＳＦＯにディメンションを追加すること、既存のディメンションについて値を提案すること、又は、（二次的）ＳＦＯ注釈付けＧＵＩダイアログを開くこと等、注釈付けプロセスの変更をトリガすることができる。他のアクションルールは、ＳＦＯベースのツールの適切なアプリケーションプログラムインタフェース（ＡＰＩ）を介して、サードパーティツール（すなわちアプリケーション）の呼び出しをトリガすることができる。さらに他のアクションルールは、例えば、２つの関連するディメンションの間の不整合（例えば、定量的な「空間」ディメンション値は、大きい腫瘍を示しているのに対し、定性的な「サイズ」ディメンションは、値「小さい」に設定されていること）を放射線医に通知する通知バブル又はウィンドウの表示をトリガすること、又は、欠落しているデータ（例えば、所見を十分にサポートする又は特徴付けるために提供されるべきデータ）を特定すること等といった、質管理アクションをトリガすることができる。このアプローチは、ＳＦＯの構造化性を利用して、放射線医により記録されている所見の状態に基づいて、アクションを自動的にトリガする。完成したＳＦＯは、注釈付け中にアクションルールによりトリガされたサードパーティアプリケーションにより生成された情報とともに、自然言語生成（ＮＬＧ）コンポーネントへの入力として機能し、ＮＬＧコンポーネントは、ＳＦＯ及び所見に関する追加の情報を、放射線レポートに含めるための自然言語テキストに変換する。
次に図１を参照して、そのような構造化所見オブジェクト（ＳＦＯ）ベースのツールによりサポートされる又はそのようなＳＦＯベースのツールを組み込んでいる例示的な放射線読影デバイスが説明される。放射線読影デバイスは、ネットワークサーバコンピュータ、アドホック相互接続コンピュータを含むクラウドコンピューティングリソース、クラスタコンピューティングシステム等といったサーバシステム１０において実装され、サーバシステム１０は、超音波イメージングシステム、磁気共鳴イメージング（ＭＲＩ）システム、コンピュータ断層撮影（ＣＴ）イメージングシステム、陽電子放射断層撮影（ＰＥＴ）イメージングシステム、及び／若しくは他のイメージングシステム等のイメージングデバイス（図示せず）により取得された、且つ／又は、ＰＥＴ／ＣＴイメージングシステム等のハイブリッドイメージングシステム若しくは組み合わされたイメージングシステムにより取得された放射線画像を記憶する画像保存通信システム（ＰＡＣＳ）１２も実装する又はそのようなＰＡＣＳ１２にアクセスすることができる。サーバ１０は、例えば、（オランダのアイントホーフェンのコーニンクレッカ フィリップス（登録商標） エヌ ヴェから入手可能である）Ｐｈｉｌｉｐｓ（登録商標） ｉＳｉｔｅ Ｅｎｔｅｒｐｒｉｓｅ放射線読影環境である放射線読影環境１４を実装する。放射線医は、放射線ワークステーション１６を介して、放射線読影環境にアクセスする。放射線ワークステーション１６は、典型的には、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、無線ローカルエリアネットワーク（ＷＬＡＮ）、インターネット等を介してサーバコンピュータ１０と接続される１つ以上のディスプレイデバイス及び／又はコンピュータを含み得る。放射線読影環境１４と放射線医とをインタフェースさせることに加えて、放射線ワークステーション１６はまた、通常、放射線医が、例えばＲＳＮＡ放射線レポーティングテンプレート等の標準化されたレポーティングテンプレートを使用して、放射線レポートを記録させる放射線レポーティング環境１８と、放射線医とをインタフェースさせる。放射線レポーティング環境１８は、図１において、放射線ワークステーション１６に組み込まれているものとして示されているが、代わりに、サーバ１０において実装され、放射線ワークステーション１６によりアクセスされてもよい。さらに、いくつかの実施形態において、放射線ワークステーションは、放射線読影環境の一体コンポーネントである、すなわち、組み合わされた又は統合された放射線読影及びレポーティング環境が提供されてもよい。放射線ワークステーションは、放射線医が（例えば、画像をパン又はズームするために）放射線読影環境１４とインタラクトし得る１つ以上のユーザ入力デバイス２０、２２、２４と、画像が、ユーザインタラクションのためのグラフィカルユーザインタフェース（ＧＵＩ）ダイアログ、患者データ等とともに表示されるディスプレイデバイス又はコンポーネント２５と、をさらに含む。放射線レポーティング環境１８は、図示されているように、放射線レポートを入力するために同じユーザ入力デバイス２０、２２、２４を使用してもよいし、専用のユーザ入力デバイス（図示せず）を有してもよい。例示的なユーザ入力デバイス２０、２２、２４は、キーボード２０、トラックパッド又は他のポインティングデバイス２２、及びディクテーションマイクロフォン２４を含むが、タッチ感知ディスプレイ等、異なる、追加の、又は他のユーザ入力デバイスが設けられてもよい。１つの放射線ワークステーション１６が一例として図示されているが、大規模の医療機関の放射線部門は、サーバベースの放射線読影環境１４にそれぞれアクセスするとともに、放射線レポーティング環境１８の自身のインスタンスをそれぞれ実行する又はサーバベースの共通の放射線レポーティング環境にそれぞれアクセスする、２つ、３つ、若しくは４つ以上、又は多くの放射線ワークステーションを含んでもよいことを理解されたい。
放射線読影環境１４は、構造化所見オブジェクト（ＳＦＯ）ベースのツール又はコンポーネントを含み、その一例が、図１に概略的に示されている。ＳＦＯベースのツールは、適切なアプリケーションプログラムインタフェース（ＡＰＩ）コンポーネント２６を介して、コンテキストに応じてトリガされる、様々なサードパーティアプリケーション（すなわちツール）の自動呼び出しを提供し、放射線レポーティング環境１８が放射線読影環境１４とは別個のものである図示されている実施形態等の実施形態において、ＳＦＯベースのツールはまた、適切なＡＰＩ２８を介して、自然言語テキスト入力を放射線レポーティング環境１８に提供する（放射線レポーティング環境が放射線読影環境と統合されている場合、ＡＰＩ２８は必要とされない）。ＳＦＯベースのツールはまた、放射線医が所見をサポートする又は特徴付ける情報を入力できる、放射線ワークステーション（のディスプレイデバイス）上に表示されるＳＦＯ注釈付けＧＵＩダイアログを提供する。
引き続き図１を参照すると、放射線医は、所見選択器３０を介して放射線所見を選択することにより、ＳＦＯベースのツールを呼び出す。選択器３０は、様々に動作することができる。１つのアプローチにおいて、放射線医は、解剖学的構造選択器３２を作動させて、放射線ワークステーション１６のディスプレイコンポーネント２５上に表示された画像３３内の解剖学的特徴、画像ピクセル等を選択し、放射線所見選択器３０は、その特徴又は画像位置に関連付けられている所見を特定する。放射線所見選択器３０はまた、ＳＦＯテンプレートデータベース３４から適切なＳＦＯテンプレートを取得する。非限定的な例として、放射線読影タスクが、器官における腫瘍を特定することを必要とする場合、ユーザは、これが行われるタスクであることを示すことができ、ユーザが、マウス、トラックパッド２２等を使用して画像位置をクリックすると、ＳＦＯベースのツールは、ＳＦＯテンプレートデータベース３４から腫瘍所見オブジェクトテンプレートを選択する。他のアプローチが使用されてもよく、例えば、放射線医は、放射線所見に関連付けられている名称を、キーボード２０を介してタイプすることにより入力することもできるし、又は、ディクテーションマイクロフォン２４を介して名称を口述することもでき（例えば、名称は、例えば、「結節」、「腫瘍」、「転移領域」、又は「放射状骨折」等、所見自体の名称であってもよいし、又は、より一般的に、例えば、「肺」等、所見に関連するものであってもよい）、次いで、放射線所見選択器３０は、入力された名称に基づいて、放射線所見を特定する。
１つの企図されているアプローチにおいて、解剖学的構造選択器３２は、画像内の１つ以上のピクセル又はボクセルを入力として識別するために放射線医により使用される。次いで、放射線所見選択器３０は、予め定められた解剖学的構造の確率分布を生成する。解剖学的構造選択器３２からの入力は、２次元リニア測定から、例えば、測定の開始点ピクセル及び終了点ピクセルを、これが交差する全てのピクセルを伴って又は伴わずに得ることにより、導出され得る。一実施形態において、出力は、１つの解剖学的構造が１．０としてマークされるとともに他の全ての解剖学的構造が０．０としてマークされる些少な確率分布である。確率分布は、既知の画像セグメンテーション技術を用いて生成され得る。次いで、放射線所見選択器３０は、特定された解剖学的構造に関連する可能性が最も高い所見についてのＳＦＯテンプレートを取得する。
次いで、放射線医は、少なくとも部分的に、放射線ワークステーション１６のディスプレイデバイス２５上に表示されたＳＦＯ注釈付けＧＵＩダイアログ４０を介して、ＳＦＯテンプレートに情報（すなわち注釈）を入力することにより、特定された放射線所見を表すＳＦＯを構築する（図１は、ディスプレイ２５上のＳＦＯ注釈付けＧＵＩ４０の一例を示しており、また、処理フローにおけるその場所を示すために、図１の機能図におけるＳＦＯ注釈付けＧＵＩ４０の拡大表現を示している）。例示的なＳＦＯ注釈付けＧＵＩダイアログ４０は、注釈付けレチクル（reticle）４０の形態であり、これは、注釈データ入力フィールドが、様々な注釈値を入力するための、レチクル４０の円弧セグメントとして表されるコンパクトなデザインである（又は、円弧セグメントは、ある円弧セグメントに対応する１つ以上の注釈データ入力フィールドを提示するために選択され得る）。概して、各注釈データ入力フィールド（例えば円弧セグメント）は、ＳＦＯにおける＜キー，値＞ペアにより表されるディメンションに対応する（なお、再度、「値」は、ベクトル、配列、階層的なデータ構造、又は他の複雑なデータ構造であり得ることを理解されたい）。任意的なより効率的な注釈付けアプローチにおいて、注釈付けレチクル４０のセグメント（すなわち注釈データ入力フィールド）をクリックすると、以前に選択された要素が、必要に応じて、患者の以前のレポートにおける出現頻度によって潜在的にランク付けされる選択のために提示され得る。
例示的なレチクルデザインは例に過ぎず、他のＧＵＩダイアログが、放射線所見を表すよう構成されている取得されたＳＦＯテンプレートに注釈付けすることにより、特定された放射線所見を表すＳＦＯを構築するために使用されてもよい。例えば、別の実施形態において、ＳＦＯ注釈付けＧＵＩダイアログは、ディメンションの値の選択の際に反復的に広がるツリー構造である。この実施形態において、ツリーの各レベルは、ディメンションに対応し、各レベルにおけるノードは、必要に応じて出現率によってソートされる、ディメンションの値に対応する。
ＳＦＯ注釈付けＧＵＩダイアログ４０は、放射線医がディクテーションマイクロフォン２４を介してＳＦＯ注釈付けＧＵＩダイアログ４０とインタラクトできるように、任意的に、音声認識技術にリンクされてもよい。このような実施形態において、放射線医は、所見を口述し、音声認識は、音声において検出された、ＳＦＯのディメンションの値を入力する。例えば、「右上葉肺結節」は、ディメンション「部位」に値「肺」を入力させ、ディメンション「一次診断」に値「結節」を入力させ、ディメンション「亜部位」に値「上葉」を入力させ、ディメンション「左右性（laterality）」に「右」を入力させ得る。
ＳＦＯ及びその注釈付けＧＵＩダイアログは、様々な追加の特徴を有することができる。例えば、いくつかの実施形態において、所定のディメンションは、新たな入力により手動で拡張され得る。いくつかの実施形態において、新たな要素が、ＳＮＯＭＥＤ ＣＴのＲａｄＬｅｘ等のバックグラウンドボキャブラリから入力され得る。いくつかの実施形態において、ディメンションは、「保護された」メタデータ要素を有することができる。例えば、３次元における所見のボリュームをモデル化する「空間」ディメンションは、所見（例えば腫瘍）の対象が画像内で放射線医により観察されないことを示すための保護されたメタ要素「不存在」を有することができる。
所与のＳＦＯが、特別な注釈内容を含む又は多数のディメンションを有する場合、これは、（例えば、コンパクトさを維持するようにセグメントが放射状に外側に拡張している）（一次的）注釈付けレチクル４０における追加のフィールドとして、且つ／又は、第１の（一次的）注釈付けレチクル４０と同様の機能を有する追加の（二次的）注釈付けレチクル４２を提供することにより、適応され得る。
一方ではＳＦＯコンセプト、他方ではＳＦＯディメンションコンセプトが、放射線所見を体系づけるための相当のフレキシビリティを提供する。例えば、注釈が注釈付けレチクル４０を使用して入力されている最中であるＳＦＯにより表される肺癌の所見を考えてみる。肺癌ＳＦＯは、レチクル４０の円弧セグメントのうちの１つの円弧セグメントにより表される「転移」というディメンションを有する。肺癌が転移したことを示す、「転移」ディメンションの値を放射線医が入力する場合、転移の性質及び程度を特徴付けるための追加の情報が必要とされる。１つのアプローチにおいて、これらの追加の情報は、「転移」ディメンションの階層的に「下方」にある追加のディメンションとして肺癌ＳＦＯに組み込まれ、これらの追加のディメンションについての注釈は、元々の注釈付けレチクル４０の放射状に外側に拡張しているセグメントを使用して、又は、例えば二次的レチクル４２といった新たな注釈付けレチクルを提示することにより、適宜に入力される。あるいは、肺癌が転移したことを示す、「転移」ディメンションの値を放射線医が入力したとき、これは、「転移」という新たな所見を特定するものとみなされ、したがって、転移所見についての新たなＳＦＯテンプレートを取得するために、放射線所見選択器３０にフィードバックされ得る。このアプローチにおいて、注釈付けレチクル４２は、この新たに特定された転移ＳＦＯに注釈付けするために使用される。すなわち、注釈付けレチクル４２は、このアプローチにおいて、転移ＳＦＯのための新たな一次的注釈付けレチクルとみなされる。
ＳＦＯテンプレートデータベース３４のＳＦＯテンプレートは、ＳＦＯテンプレート構成エディタ４４を介して、放射線医により適切に作成及びキュレーションされる。ＳＦＯテンプレート構成エディタ４４は、例えば、放射線領域固有のＸＭＬ構文であるアノテーションイメージングマークアップ（ＡＩＭ）等の構文を用いた、ＳＦＯテンプレートの初期作成及びその後の編集を可能にする。概して、これは、ＳＦＯテンプレートのディメンションを定義すること、及び、各ディメンションについての、データ型と、許容値の範囲及び／又は許容値の別個のセットと、を記述すること、を伴う。ディメンション間の階層関係は、ＡＩＭの階層構文を使用して設定され得、これは、データ構造を含む複雑なデータ型も可能にする。いくつかの実施形態において、個々の放射線医は、ＳＦＯテンプレートを編集することを許可され得る。いくつかの実施形態において、ＳＦＯテンプレートデータベース３４は、ＳＦＯテンプレートを編集し、変更されたＳＦＯテンプレートを放射線医の個人ディレクトリ又はフォルダに保存することができる個々の放射線医用の個人ディレクトリ又はフォルダを含み得る。
引き続き図１を参照すると、ＳＦＯ注釈付け中、ＳＦＯベースのツールは、注釈付けすることにより作成されているＳＦＯによりアクションルールが満たされている場合に所定のアクションをトリガするアクションルールのセットを適用することにより、ＳＦＯの状態をモニタリングする。例えば、ＳＦＯベースのツールは、注釈付けアクションルール５０を実装することができる。注釈付けアクションルールがトリガされたとき、これは、注釈提案をポップアップウィンドウ内に表示する等のアクションを実行する。例えば、放射線医が、定量的な「空間」ディメンションの値を入力した場合、注釈付けアクションルールは、「空間」ディメンションに対して注釈付けされた値に基づいて、「サイズ」ディメンションに対して「小さい」又は「大きい」と注釈付けすることを提案することができる。別の例として、「部位」ディメンションへの「腎皮質」の入力は、診断＝「嚢胞」であることを提案するアクションルールをトリガさせ得る。なぜならば、これが、この状況において一般的な診断であるからである。この注釈付けアクションルールは、例えばＰｒ（診断=「嚢胞」｜部位＝「腎皮質」）といった条件付き確率として共起統計を使用して構築され得る。このアクションルールは、さらに、例えばＰｒ（診断＝「腫瘍」｜部位＝「乳房」，性別=「女性」）といった条件付き要素としてコンテキストデータを使用することができる。注釈付けアクションルールは、さらに、頻繁に共起する注釈の組合せを返すよう構成され得る。これは、注釈の入力ベクトルが、以前の注釈のデータベースにおいて出現率によってランク付けされたより多くの注釈を含む注釈の提示として実装され得る。このように、安定している腎嚢胞が最も頻繁なタイプの腎臓所見である場合、単一の注釈である部位＝「腎臓」を有するＳＦＯは、（「腎臓」，「安定している」，「嚢胞」）を返すであろう。満たされている注釈付けアクションルールに関連付けられている注釈を提案するのではなく、満たされているアクションルールに関連付けられている注釈でＳＦＯに自動的に注釈付けすることが企図されている。このアプローチは、例えば、アクションルールが実質的にトートロジーである場合、例えば、定量的な「空間」ディメンションについて入力された値が、「サイズ」ディメンションに値「小さい」が割り当てられるべきであることを必然的に意味する場合に適切であり得、これは、まずそれを放射線医に提案し、それにより放射線医の承認を得るのではなく、ＳＦＯに対して直ちに注釈付けされ得る。
他のアクションルールは、質保証（ＱＡ）アクションルール５２として分類され得る。これらのアクションルールは、データ不整合又は欠落しているデータについて警告する。例えば、「空間」ディメンションが大きい腫瘍を示しているが、「サイズ」ディメンションが「小さい」という値を有する場合、この不整合が、２番目の（整合していない）注釈値が入力されたときに、ポップアップ警告ウィンドウ内に示され得る。警告は、欠落しているデータについても同様に発せられ得る。例えば、「サイズ」ディメンションが、「小さい」と注釈付けされているが、「部位」ディメンションが、注釈付けされていない場合、部位が提供される必要があることを警告するポップアップウィンドウが表示され得る。他のＱＡアクションルールは、ディメンションに対して注釈付けされた値が、そのディメンションについての値の予期範囲外である場合（この場合における範囲は、例えば、［下限値，上限値］又は許容値のセット等の数値範囲であり得る）、警告を発することができる。いくつかの他のＱＡアクションルールは、次のものを含み得る：部位＝「肝臓」である場合、亜部位（すなわち葉１〜７）を指定する；部位＝「肺」であり、診断＝「結節」である場合、空間ディメンションを指定する；又は、部位＝「肝臓」である場合、「葉１」、．．．、「葉７」以外の他の亜部位を入力することはできない。
他のアクションルールは、アプリケーションプログラムインタフェース（ＡＰＩ）アクションルール５４として分類され得る。これらのアクションルールは、サードパーティプログラム（すなわちツール）が有用に呼び出され得る状況を検出する。「サードパーティ」は、サードパーティプログラムが、放射線読影環境１４とは別個のプログラムであり、したがって、サードパーティプログラムが、ＡＰＩ２６を介して呼び出されることを意味するに過ぎない。サードパーティアプリケーションは、放射線読影環境１４と同じサーバ１０上で実行されてもよいし、電子データネットワークを介してアクセスされる異なるサーバ上で実行されてよい。ＡＰＩアクションルール５４は、サードパーティプログラムが、コンテキストに応じて呼び出され、実行されている放射線読影タスクからの関連データとともにロードされ得る（いくつかの例においては、より具体的に、呼び出されたアプリケーションプログラムが、ＳＦＯからの情報とともにロードされ得る）メカニズムを提供する。特定のＡＰＩアクションルール５４は、利用可能なサードパーティアプリケーションに基づいて適切に選択される。非限定的な例として、図１のＳＦＯベースのツールは、医学文献ビューワ１６０と、電子医療記録（ＥＭＲ）システム１６２と、コンピュータ支援診断（ＣＡＤｘ）システム１６４と、１つ以上の画像処理アプリケーション１６６と、ＰＡＣＳナビゲータ１６８と、電子治療ガイドライン１７０と、を含むサードパーティアプリケーションをコンテキストに応じて呼び出すためのＡＰＩアクションルールを含む。さらなる例として、これらの例示的なサードパーティアプリケーションのうちのいくつかのサードパーティアプリケーションとのインタラクションが以下で説明される。
文献ビューワ１６０は、最近の画期的な医学出版物の主題であった特定の所見特性を特定するＡＰＩアクションルールにより呼び出され得る。例えば、このＡＰＩアクションルールは、特定の解剖学的部位における特定のタイプの腫瘍と石灰化との組合せによりトリガされ得る。このアクションルールがトリガされたとき、このアクションルールは、ＡＰＩ２６を利用して、対象医学出版物を指し示すＵＲＬ又は他の文書識別子とともにロードされる医学文献ビューワ１６０を呼び出す。これは、医学文献ビューワ１６０を起動させ、医学文献ビューワ１６０に対象医学出版物をロードさせる。医学文献ビューワ１６０の機能及びＡＰＩ２６を介したそれらの機能のアクセス可能性に応じて、医学文献ビューワ１６０は、さらに、対象医学出版物の所定の関連箇所を強調表示するよう構成され得る。
ＥＭＲシステム１６２は、ＥＭＲに含まれ得る所定の情報が有用であり得ることを特定するＡＰＩアクションルールにより呼び出され得る。例えば、年齢、民族性、又は性別等の人口統計学的情報は、所定の注釈で所見をサポートする（又は否定する）のに有用であり得、したがって、これらの注釈がなされたとき、このアクションルールがトリガされ、ＥＭＲシステム１６２が、患者の人口統計学的情報についての問合せをもって、呼び出される（上記の患者は、読影タスクの開始時に放射線読影環境１４に入力された患者識別子に基づいて、問合せにおいて特定される）。
ＣＡＤｘシステム１６４は、ＣＡＤｘシステム１６４により実行されるコンピュータ支援診断によりサポートされ得る所見又はＣＡＤｘシステム１６４により実行されるコンピュータ支援診断により特性が豊富化され得る所見を特定するＡＰＩアクションルールにより呼び出され得る。例えば、いくつかのＣＡＤｘ分析は、画像の前処理、セグメンテーション、自動セグメンテーション、及び画像のセグメント化された領域の自動分析を実行することにより、放射線画像に対して直接的に作用する。このアクションルールが、適切なタイプの所見及び放射線画像を検出したとき、このアクションルールは、ＡＰＩ２６を介してＣＡＤｘシステム１６４を呼び出し、これを、放射線画像、及び、ＣＡＤｘシステム１６４が分析を実行するのに必要とされる任意の他の情報とともに、ロードする。
画像処理アプリケーション１６６は、特定のタイプの画像処理が有用であり得る状態を検出するＡＰＩアクションルールにより呼び出され得る。例えば、石灰化について腫瘍を評価する場合、特定のタイプの画像フィルタリングが、石灰化の視認性を高めることが既知であり得る。したがって、放射線医が、「石灰化有り」というディメンションについて肯定的な値を入力したとき、これは、画像、及び、石灰化強調フィルタリングを実行するための適切なフィルタパラメータの識別情報とともにロードされる画像フィルタリングアプリケーションを自動的に呼び出す。そうする前に、様々なレベルの放射線医承認が求められ得る。例えば、まず、このフィルタが有効であることを示し、放射線医がこのフィルタを適用したいかどうかを尋ねるポップアップウィンドウが出現し得、放射線医がこのアクションを承認した場合に限り、このフィルタが適用される。別のアプローチにおいて、フィルタが迅速に実行されるフィルタである場合、これが適用され得、フィルタリングされた画像が、ＳＦＯベースのツールに返され、次いで、ＳＦＯベースのツールは、フィルタリングされた画像を、フィルタリングされていない画像と並べて表示し、フィルタリングされた画像が使用されるべきであるかどうかを示すように放射線医に要求する。
ＰＡＣＳナビゲータ１６８は、ＡＰＩアクションルールが、被検者の過去の放射線検査のレビューが現在の放射線検査と有用に比較され得る状態を検出したとき、呼び出され得る。例えば、アクションルールが、「安定している」、「サイズのインターバル増大」等の値をとる「時間」ディメンションを有するＳＦＯの注釈を検出した場合、このルールは、ＰＡＣＳナビゲータを呼び出して、ＰＡＣＳが、患者についての比較可能な以前の放射線検査を含んでいるかどうかを問い合わせることができ、そうである場合、これが、放射線医がこれらの検査をレビューすることを望んでいるかどうかについての質問とともに、放射線医にレポートされる。放射線医がそのように示した場合、これらの過去の検査についての１つ以上の放射線レポート及び／又はそれらの画像が、放射線医によるレビューのために、放射線ワークステーション１６上に表示される。企図されているより自動化された実施形態において、アクションルールは、腫瘍の「空間」ディメンションの値の入力を、腫瘍の注釈付けされていない「時間」ディメンションとともに検出することができ、これに応じて、ＰＡＣＳナビゲータ１６８を呼び出して、過去の検査について自動的に問い合わせて最も直近の検査についての放射線レポートを解析して腫瘍サイズを抽出し、この腫瘍サイズを、ＳＦＯの「空間」ディメンションに入力された値と比較し、この比較に基づいて、「時間」ディメンションに自動的に入力するか、又は、ＳＦＯを更新する前に、承認のために、まず、提案された「時間」ディメンション値を放射線医に提示するか、のいずれかを行う。
別の例示的な例において、ＰＡＣＳナビゲータ１６８が呼び出されて、以前の検査における関連する画像スライスが取得され、画像スライスが、現在のＳＦＯ注釈と以前の画像について記憶されたＳＦＯとの照合に基づく比較のために、放射線医に提示される。２つ以上の合致が見つかった場合、合致する全てのスライスが提示され得る。照合ルーチンは、バイナリサブセットルーチンとして実装され得、現在の注釈が有する全ての注釈を有する全てのＳＦＯが返される。照合ルーチンは、任意的に、ディメンション注釈の所定の部分が外れることを許容されるファジィロジックを使用して実装されてもよい。これは、空間ディメンションのコンテキストにおいて特に有用であり得る。なぜならば、測定値は、時間とともに変化する可能性が高いからである。
治療ガイドライン１７０は、関連するアクションルールを満たしている注釈で所見が注釈付けされたとき、呼び出される。呼び出された治療ガイドライン１７０は、関連するガイドラインを、例えば、（好ましくは関連するセクションが強調表示されている）テキスト文書として又はガイドラインから取り出された推奨されるアクションコースとして示すウィンドウを表示する。例えば、アクションルールが、ＰＥＴ画像の読影中に、（例えば、「空間」ディメンションを介した）結節サイズを有する肺癌の所見の注釈を検出したとき、このアクションルールは、まず、ＥＭＲシステム１６２を呼び出して、関連する患者データ（例えば、喫煙や他のリスク因子に関する情報）を取得し、次いで、フライシャーガイドラインアプリケーションを呼び出して、フライシャー学会推奨を適用し、測定された肺結節サイズとともに、取得されたリスク因子情報を、フォローアップ推奨にマッピングする。
この最後の例において示されているように、様々なアクションルール５０、５２、５４は、様々な一連のアクションを実行するように設計され得、そうする際、注釈付けアクションルール、ＱＡアクションルール、及びＡＰＩアクションルールの例示的な線引きは厳密ではないことが理解されよう。例えば、アクションルールは、サードパーティアプリケーションを呼び出して、データを生成又は取得することができ（ＡＰＩアクションルール）、次いで、そのデータが、整合性を評価するためにＳＦＯの既存の注釈と比較され（ＱＡアクションルール）、次いで、ディメンション値が更新される（注釈付けアクションルール）。アクションルールはまた、サードパーティアプリケーションへの以前のＡＰＩ呼び出しにより生成された情報によりトリガされ得る。より一般的に、アクションルールは、読影されている放射線検査の内容（例えば、イメージングモダリティ、検査プロトコル等）、放射線医に関する情報（例えば、医学文献ビューワ１６０を呼び出すためのアクションルールは、関連分野において既に非常に知識のある放射線医に文献を提示するのを避けるために、放射線医の専門性を考慮に入れることができる）、臨床コンテキスト（例えば、読影中に放射線読影環境１４に提供される又はＥＭＲシステム１６２から取得される患者情報）、ＳＦＯの現在の状態、放射線医により既に作成されている関連所見を特徴付けている他のＳＦＯの存在、サードパーティアプリケーションへのＡＰＩ呼び出しにより生成された情報等といった様々なタイプのコンテキスト情報を利用することができる。
引き続き図１を参照すると、サードパーティ情報提示器５６が、呼び出されたサードパーティアプリケーションから得られた情報を、放射線読影環境１４と効果的に融合する形式で放射線医に提示するために提供される。情報提示エンジン５６は、ユーザインタフェースの同質性を確実にするために、多様な出力タイプが適合される１つ以上の提示テンプレートを有することができる。提示テンプレートは、提示された要素に対するクリック又はホバリング等の制御されたユーザインタラクションを提供することができる。インタラクションのセマンティクスは、ケースバイケースで定義され得る。サードパーティ情報提示器５６は、任意的に、例えば、ＳＦＯディメンションと同様に表される追加のデータ入力フィールドとして（注釈付けレチクルダイアログの例示的な場合においては円弧セグメントとして）、ＳＦＯ注釈付けＧＵＩダイアログ４０と同じフォーマットを使用して、情報を提示してもよい。
所与の所見についてのＳＦＯベースのツールの情報出力は、完成した（すなわち構築された）ＳＦＯ６０と、情報提示器５６を介して放射線医に提示され、放射線レポートに含めるために放射線医により承認された、サードパーティアプリケーションにより生成された任意の追加の情報と、を含む。完成したＳＦＯ６０は、（完成したＳＦＯ６０を生成するために注釈付けされたＳＦＯテンプレートにより一般に定義される）所見を含む情報と、所見をサポートする又は特徴付ける情報を提供する、ＳＦＯテンプレートに対する注釈と、を含む。サードパーティアプリケーションにより生成された情報は、サードパーティ情報提示器５６によりフォーマット化され、したがって、何らかの構造化フォーマットでもある。
一方、放射線レポーティング環境１８を使用して放射線医が準備する放射線レポートは、通常あまり構造化されない。放射線レポートは、ＲＳＮＡ放射線レポーティングテンプレート等の標準化されたレポーティングテンプレートを使用して、放射線医により準備され得るが、このようなテンプレートは、一般に、放射線医が所見を構造化されていない形で入力する自由形式テキストフィールドを含む。
完成したＳＦＯ６０の構造化フォーマット（及び情報提示器５６により構造化された任意のサードパーティアプリケーション情報）と放射線レポートの自由形式テキストフォーマットとの間のギャップを埋めるために、例示的なＳＦＯベースのツールは、完成したＳＦＯ６０の情報及び任意のサードパーティアプリケーション情報を表現する自然言語テキストコンテンツを、放射線レポートに含めるのに適したフォーマットで生成する自然言語生成（ＮＬＧ）コンポーネント６２をさらに含む。一実施形態において、ＮＬＧコンポーネント６２は、例えば「造影されていない腎臓病変」又は「１×２．１ｃｍの葉３肝腫瘍」等、可読性のために必要とされる場合に、ディメンションに割り当てられた適切なラベルと、空でない値を連結する。より複雑な実施形態において、ルールを使用して、又は、完成したＳＦＯ６０のディメンション値が入力されるフィールドを有する自然言語テンプレートを使用して、所定の情報が集められ得る。例えば、英語でのそのような自然言語テンプレートは、「＜構造＞が、＜器官＞の＜亜部位＞において観察される（A <structure> is observed in the <sub-location> of the <organ>）」である。ＮＬＧコンポーネント６２は、完成したＳＦＯ６０において特定される構造についての英語のラベルを＜構造＞（<structure>）フィールドに入力する（例えば、必要に応じて、「腫瘍（tumor）」若しくは「結節（nodule）」又は「病変（lesion）」を＜構造＞（<structure>）に入力する）。ＮＬＧコンポーネント６２は、腫瘍等が観察された器官についての英語のラベルを＜器官＞（<organ>）フィールドに入力する。例えば、＜器官＞（<organ>）フィールドには、ＳＦＯの「解剖学的構造」ディメンションから得られる「肝臓（liver）」又は「腎臓（kidney）」等が入力され得る。同様に、ＮＬＧコンポーネント６２は、完成したＳＦＯ６０の「亜部位」ディメンションの値により特定される適切な構造を＜亜部位＞（<sub-location>）フィールドに入力する。いくつかの実施形態において、ＮＬＧコンポーネント６２は、文法パーサを利用する等、自然言語テキストを生成するためにかなり複雑な処理を用いてもよい。
ＮＬＧコンポーネント６２のテキスト出力は、放射線レポートに含めるためにフォーマット化され、放射線医により使用されている特定の放射線レポーティング環境１８とインタフェースするように設計されている適切なＡＰＩ２８を介して放射線レポーティング環境１８に提供される。一実施形態において、ＮＬＧコンポーネント６２からの自然言語コンテンツの統合は、放射線医により仲介される。例えば、ＡＰＩ２８は、自然言語コンテンツをクリップボードにコピーすることができ、クリップボードは、放射線レポーティング環境１８からもアクセス可能であり、これにより、放射線医は、ワードプロセッシング又はテキストエディタユーザインタフェースにおいて貼り付け操作用に一般に使用されているキーストロークの組合せ（「ＣＴＲＬ＋Ｖ」）等のユーザ操作を介して、自然言語コンテンツを放射線レポートに貼り付ける（ペーストする）ことができる。ＡＰＩ２８のより洗練された実施形態において、自然言語コンテンツは、放射線医が、レポートを完成させてファイルする前にレビューすることが促進されるように、放射線レポートの適切なセクションに自動的にコピーされ任意的に強調表示される。いくつかの実施形態において、ＡＰＩ２８は完全に省かれてもよいことに留意されたい。例えば、ＮＬＧコンポーネント６２は、生成された自然言語コンテンツを、ＳＦＯベースのツールのウィンドウ内に表示することができ、次いで、放射線医は、システムレベルのカットアンドペースト又はコピーアンドペースト操作を用いて、自然言語コンテンツを放射線レポートに移すことが必要とされる。例えば、放射線ワークステーション１６が、従来のＷｉｎｄｏｗｓ（登録商標）又はＭａｃＯＳ（登録商標）のユーザインタフェースシステムを使用する場合、テキストは、ＣＴＲＬ−Ｘ又はＣＴＲＬ−Ｃを用いて、ウィンドウからそれぞれ切り取られ得（カットされ得）又はコピーされ得、ＣＴＲＬ−Ｖを用いて、放射線レポートに貼り付けられ得る。
さらに、放射線レポーティング環境が放射線読影環境と統合されている場合、ＡＰＩ２８は、ＮＬＧコンポーネント６２により生成された自然言語テキストを読影レポートに移す、組み合わされた読影／レポーティング環境の同等の処理ブロックで適宜に置き換えられる。
次に図２を参照して、図１のシステムを使用して放射線読影を行う際にＳＦＯベースのツールを使用する例示的なプロセスが説明される。動作７０において、放射線所見が、所見選択器３０を使用して、例えば、解剖学的構造選択器３２を使用して又は口述された所見を検出して、選択される。動作７２において、選択された所見についてのＳＦＯテンプレートが、ＳＦＯテンプレートデータベース３４から取得される。動作７４において、ＳＦＯベースのツールは、ＳＦＯ注釈付けＧＵＩダイアログ４０を介して、選択された放射線所見をサポートする又は特徴付ける注釈を受信する。この注釈付け７４中に、動作７６において、アクションルール５０、５２、５４が、注釈付けを受けているＳＦＯに適用されて、作成中のＳＦＯが何らかのアクションルールを満たしているかどうかが判定される。注釈付けプロセス７４中の何らかの時点でアクションルールが満たされている場合、適切なアクションが行われ、例えば、例示的な動作７８において、サードパーティアプリケーション（例えば、図１の例示的なサードパーティアプリケーション１６０、１６２、１６４、１６６、１６８、１７０のうちの１つ又はそのようなアプリケーションの順序付きシーケンス）が、トリガされたＡＰＩアクションルールに従って呼び出される。１つ以上のサードパーティアプリケーションが呼び出された場合、動作８０において、サードパーティアプリケーションにより生成された情報が、放射線医によるレビューのために、情報提示器５６によりフォーマット化される。注釈付け７４が完了したとき、ＮＬＧ動作８２が実行され、ＮＬＧ動作８２において、ＮＬＧコンポーネント６２が、完成したＳＦＯの情報コンテンツとともに、サードパーティアプリケーションから生成された（且つ、放射線医の承認により任意的にフィルタリングされた）任意の他の情報を、自然言語テキストにフォーマット化し、動作８４において、自然言語テキストが放射線レポートに移される。
例えば、コンポーネント２６、２８、３０、３２、５６、６２といった、ＳＦＯベースのツールの例示的な演算コンポーネント、データ処理コンポーネント、又はデータインタフェースコンポーネントは、開示された動作を実行するように電子プロセッサ（例えば、サーバ１０）により実行可能である命令を記憶する非一時的な記憶媒体として具現化され得る。非一時的な記憶媒体は、例えば、ハードディスクドライブ、ＲＡＩＤ、又は他の磁気記憶媒体；ソリッドステートドライブ、フラッシュドライブ、電気的に消去可能な読み取り専用メモリ（ＥＥＲＯＭ）、又は他の電子メモリ；光ディスク又は他の光ストレージ；これらの様々な組合せ等を含み得る。
本発明が、好ましい実施形態を参照して説明された。前述の詳細な説明を読んで理解すると、変形形態及び変更形態が想起されるであろう。本発明は、請求項又はその均等の構成の範囲に含まれる限りにおいて全てのそのような変形形態及び変更形態を含むものと解釈されることが意図されている。
Claims (20)
- 放射線ワークステーションとともに動作して、ＳＦＯベースの放射線読影サポート方法を実行することを含む放射線読影タスクを実行するようにプログラムされているサーバコンピュータであって、前記ＳＦＯベースの放射線読影サポート方法は、
前記放射線ワークステーションの少なくとも１つのユーザ入力デバイスを介して、放射線所見を特定するユーザ入力を受信する動作と、
特定された前記放射線所見を表すよう構成されている構造化データオブジェクトを含む構造化所見オブジェクト（ＳＦＯ）テンプレートを、データストレージから取得する動作と、
前記放射線ワークステーションのディスプレイデバイス上に、ＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログを表示する動作であって、前記ＳＦＯ注釈付けＧＵＩダイアログは、取得された前記ＳＦＯテンプレートに注釈付けするための注釈データ入力フィールドを有する、動作と、
少なくとも部分的に、前記放射線ワークステーションの前記ディスプレイデバイス上に表示された前記ＳＦＯ注釈付けＧＵＩダイアログとインタラクトする前記少なくとも１つのユーザ入力デバイスを介して受信された情報を用いて、取得された前記ＳＦＯテンプレートに注釈付けすることにより、特定された前記放射線所見を表すＳＦＯを構築する動作と、
特定された前記放射線所見を表す前記ＳＦＯから、特定された前記放射線所見を説明する自然言語テキストを生成する動作と、
を含む、サーバコンピュータ
を有する放射線読影デバイス。 - 前記ＳＦＯテンプレートは、少なくとも、＜キー，値＞ペアを定義することにより、特定された前記放射線所見を表すよう構成されており、前記キーは、特定された前記放射線所見をサポートする又は特徴付ける情報を表す、前記ＳＦＯのディメンションを表し、前記値は、前記ディメンションについての値を表し、
前記ＳＦＯ注釈付けＧＵＩダイアログは、取得された前記ＳＦＯテンプレートのディメンションについての値を入力するための注釈データ入力フィールドを有し、
特定された前記放射線所見を表す前記ＳＦＯは、少なくとも部分的に、表示された前記ＳＦＯ注釈付けＧＵＩダイアログとインタラクトする前記少なくとも１つのユーザ入力デバイスを使用して、取得された前記ＳＦＯテンプレートのディメンションについての値を受信することにより、構築される、請求項１記載の放射線読影デバイス。 - 前記ＳＦＯテンプレートは、構造化アノテーションイメージングマークアップ（ＡＩＭ）オブジェクトである、請求項２記載の放射線読影デバイス。
- 各ＳＦＯテンプレートは、＜キー，値＞ペアを定義し、該値は、放射線医学オントロジから選択される可能な値のセットからの値のみをとるよう構成されている、請求項２又は３記載の放射線読影デバイス。
- 自然言語テキストを生成する前記動作は、
自然言語テンプレートの１つ以上のフィールドに、前記ＳＦＯのディメンションの値を入力することにより、自然言語テキストを生成する動作
を含む、請求項２乃至４いずれか一項記載の放射線読影デバイス。 - 前記ＳＦＯベースの放射線読影サポート方法は、
特定された前記放射線所見を表す前記ＳＦＯの構築中に、注釈付けアクションルールを前記ＳＦＯに適用して、前記ＳＦＯが何らかの注釈付けアクションルールを満たしているかどうかを判定する動作と、
注釈付けアクションルールが満たされていると判定したことに応じて、（ｉ）満たされている前記注釈付けアクションルールに関連付けられている注釈を表示する動作と、（ｉｉ）満たされている前記注釈付けアクションルールに関連付けられている前記注釈で、取得された前記ＳＦＯテンプレートに注釈付けする動作と、のうちの一方と、
をさらに含む、請求項１乃至５いずれか一項記載の放射線読影デバイス。 - 前記ＳＦＯベースの放射線読影サポート方法は、
特定された前記放射線所見を表す前記ＳＦＯの構築中に、質保証（ＱＡ）アクションルールを使用して、前記ＳＦＯの欠落している若しくは整合していない又は範囲外の注釈を検出する動作と、
前記検出に応じて、前記ＳＦＯの前記欠落している若しくは整合していない又は範囲外の注釈の警告を表示する動作と、
をさらに含む、請求項１乃至６いずれか一項記載の放射線読影デバイス。 - 前記ＳＦＯベースの放射線読影サポート方法は、
特定された前記放射線所見を表す前記ＳＦＯの構築中に、アプリケーションプログラムインタフェース（ＡＰＩ）アクションルールを前記ＳＦＯに適用して、前記ＳＦＯが何らかのＡＰＩアクションルールを満たしているかどうかを判定する動作と、
ＡＰＩアクションルールが前記ＳＦＯにより満たされていることに応じて、満たされている前記ＡＰＩアクションルールに対応するアプリケーションプログラムを呼び出す動作と、
をさらに含む、請求項１乃至７いずれか一項記載の放射線読影デバイス。 - 満たされている前記ＡＰＩアクションルールに対応する前記アプリケーションプログラムの呼び出しは、前記放射線読影タスクからのデータとともに、呼び出された前記アプリケーションプログラムをロードすることを含む、請求項８記載の放射線読影デバイス。
- 前記ＡＰＩアクションルールは、医学文献ビューワと、電子医療記録システムと、コンピュータ支援診断システムと、画像処理アプリケーションと、画像保存通信システム（ＰＡＣＳ）ナビゲータと、電子治療ガイドラインと、からなる群から選択されるアプリケーションプログラムを呼び出すためのＡＰＩアクションルールを含む、請求項８又は９記載の放射線読影デバイス。
- 前記ＳＦＯベースの放射線読影サポート方法は、
アプリケーションプログラムインタフェース（ＡＰＩ）を介して、呼び出された前記アプリケーションプログラムから情報を受信する動作と、
異なるアプリケーションプログラムから受信された情報を共通フォーマットで提示する提示エンジンを使用して、前記ＡＰＩを介して受信された前記情報を表示する動作と、
をさらに含む、請求項８乃至１０いずれか一項記載の放射線読影デバイス。 - 放射線所見を特定するユーザ入力を受信する前記動作は、読影されている放射線画像内の画像位置の識別情報を受信し、識別された前記画像位置に関連付けられている解剖学的構造を決定し、前記解剖学的構造に基づいて、前記放射線所見を特定する動作を含む、請求項１乃至１１いずれか一項記載の放射線読影デバイス。
- 放射線所見を特定するユーザ入力を受信する前記動作は、キーボード上でタイプされた又はディクテーションマイクロフォンを介して口述された、前記放射線所見に関連付けられている名称を受信し、前記放射線所見に関連付けられている受信された前記名称に基づいて、前記放射線所見を特定する動作を含む、請求項１乃至１１いずれか一項記載の放射線読影デバイス。
- 表示された前記ＳＦＯ注釈付けＧＵＩダイアログは、注釈付けレチクルを含み、注釈データ入力フィールドが、前記注釈付けレチクルの円弧セグメントにより表される、請求項１乃至１３いずれか一項記載の放射線読影デバイス。
- 前記ＳＦＯベースの放射線読影サポート方法は、
特定された前記放射線所見を説明する前記自然言語テキストを、前記放射線ワークステーションで動作する放射線レポーティングタスクにおける起草中の放射線レポートに移す動作
をさらに含む、請求項１乃至１４いずれか一項記載の放射線読影デバイス。 - 構造化所見オブジェクト（ＳＦＯ）テンプレートを記憶しているデータストレージであって、各ＳＦＯテンプレートは、放射線所見を表すよう構成されている構造化データオブジェクトである、データストレージと、
ディスプレイデバイス及び少なくとも１つのユーザ入力デバイスを含む放射線ワークステーションと、
前記放射線ワークステーションとともに動作して、前記ＳＦＯベースの放射線読影サポート方法を実行することを含む前記放射線読影タスクを実行するようにプログラムされている請求項１乃至１５いずれか一項記載のサーバコンピュータを有する放射線読影デバイスと、
を有する放射線読影システム。 - 放射線読影タスクをサポートする放射線読影サポート方法を実行するように電子デバイスにより読み取り可能であり実行可能である命令を記憶している非一時的な記憶媒体であって、前記放射線読影タスクも、放射線ワークステーションとともに動作する前記電子デバイス上で実行され、前記放射線読影サポート方法は、
前記放射線ワークステーションの少なくとも１つのユーザ入力デバイスを介して、放射線所見を特定するユーザ入力を受信する動作と、
少なくとも、＜キー，値＞ペアを定義することにより、特定された前記放射線所見を表すよう構成されている構造化所見オブジェクト（ＳＦＯ）テンプレートを、データストレージから取得する動作であって、前記キーは、前記放射線所見をサポートする又は特徴付ける情報を表す、前記ＳＦＯのディメンションを表し、前記値は、前記ディメンションについての値を表す、動作と、
前記放射線ワークステーションのディスプレイデバイス上に、ＳＦＯ注釈付けグラフィカルユーザインタフェース（ＧＵＩ）ダイアログを表示する動作であって、前記ＳＦＯ注釈付けＧＵＩダイアログは、前記ＳＦＯテンプレートのディメンションについての値を入力するための注釈データ入力フィールドを有する、動作と、
少なくとも、表示された前記ＳＦＯ注釈付けＧＵＩダイアログとインタラクトする、前記放射線ワークステーションの前記少なくとも１つのユーザ入力デバイスを使用して、前記ＳＦＯテンプレートのディメンションについての値を受信することにより、特定された前記放射線所見を表すＳＦＯを構築する動作と、
特定された前記放射線所見を表す前記ＳＦＯから、特定された前記放射線所見を説明する自然言語テキストを生成する動作と、
を含む、非一時的な記憶媒体。 - ＳＦＯベースの前記放射線読影サポート方法は、
特定された前記放射線所見を表す前記ＳＦＯの構築中に、アクションルールを前記ＳＦＯに適用して、前記ＳＦＯの前記ディメンションの前記値が何らかのアクションルールを満たしているかどうかを判定する動作と、
アクションルールが満たされていると判定したことに応じて、満たされている前記アクションルールに関連付けられている、注釈付け、質保証、又は、アプリケーションプログラムインタフェースアクションを実行する動作と、
をさらに含む、請求項１７記載の非一時的な記憶媒体。 - ＳＦＯベースの前記放射線読影サポート方法は、
特定された前記放射線所見を表す前記ＳＦＯの構築中に、アプリケーションプログラムインタフェース（ＡＰＩ）アクションルールを前記ＳＦＯに適用して、前記ＳＦＯが何らかのＡＰＩアクションルールを満たしているかどうかを判定する動作と、
ＡＰＩアクションルールが前記ＳＦＯにより満たされていることに応じて、満たされている前記ＡＰＩアクションルールに対応するアプリケーションプログラムを呼び出す動作であって、呼び出された前記アプリケーションプログラムは、前記放射線読影タスクからのデータとともに、ロードされる、動作と、
をさらに含む、請求項１７又は１８記載の非一時的な記憶媒体。 - 放射線所見を特定するユーザ入力を受信する前記動作は、
読影されている放射線画像内の画像位置の識別情報を受信し、識別された前記画像位置に関連付けられている解剖学的構造を決定し、前記解剖学的構造に基づいて、前記放射線所見を特定する動作と、
キーボード上でタイプされた又はディクテーションマイクロフォンを介して口述された、前記放射線所見に関連付けられている名称を受信し、前記放射線所見に関連付けられている受信された前記名称に基づいて、前記放射線所見を特定する動作
のうちの一方を含む、請求項１７乃至１９いずれか一項記載の非一時的な記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562258750P | 2015-11-23 | 2015-11-23 | |
| US62/258,750 | 2015-11-23 | ||
| PCT/EP2016/078478 WO2017089360A1 (en) | 2015-11-23 | 2016-11-22 | Structured finding objects for integration of third party applications in the image interpretation workflow |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018537177A true JP2018537177A (ja) | 2018-12-20 |
| JP6967512B2 JP6967512B2 (ja) | 2021-11-17 |
Family
ID=57389452
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018526647A Active JP6967512B2 (ja) | 2015-11-23 | 2016-11-22 | 画像解釈ワークフローにおけるサードパーティアプリケーションの統合のための構造化所見オブジェクト |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10037407B2 (ja) |
| EP (1) | EP3380966B1 (ja) |
| JP (1) | JP6967512B2 (ja) |
| CN (1) | CN108475538B (ja) |
| WO (1) | WO2017089360A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196106A1 (ja) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 文書作成装置、方法およびプログラム |
Families Citing this family (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11871901B2 (en) | 2012-05-20 | 2024-01-16 | Cilag Gmbh International | Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage |
| EP3846176B1 (en) * | 2013-09-25 | 2024-09-04 | HeartFlow, Inc. | Systems and methods for validating and correcting automated medical image annotations |
| US20170083665A1 (en) * | 2015-09-23 | 2017-03-23 | Siemens Healthcare Gmbh | Method and System for Radiology Structured Report Creation Based on Patient-Specific Image-Derived Information |
| US10037407B2 (en) * | 2015-11-23 | 2018-07-31 | Koninklijke Philips N.V. | Structured finding objects for integration of third party applications in the image interpretation workflow |
| JP7138634B2 (ja) * | 2016-11-22 | 2022-09-16 | コーニンクレッカ フィリップス エヌ ヴェ | 患者病歴に敏感な構造化所見オブジェクトレコメンデーションのためのシステム及び方法 |
| EP3665702A4 (en) * | 2017-08-11 | 2021-05-26 | Elucid Bioimaging Inc. | QUANTITATIVE MEDICAL IMAGING REPORTING |
| US11510741B2 (en) | 2017-10-30 | 2022-11-29 | Cilag Gmbh International | Method for producing a surgical instrument comprising a smart electrical system |
| US11129636B2 (en) | 2017-10-30 | 2021-09-28 | Cilag Gmbh International | Surgical instruments comprising an articulation drive that provides for high articulation angles |
| US11424020B2 (en) | 2017-12-08 | 2022-08-23 | Actual Healthcare Solutions | Cloud-based interactive digital medical imaging and patient health information exchange platform |
| US11672605B2 (en) | 2017-12-28 | 2023-06-13 | Cilag Gmbh International | Sterile field interactive control displays |
| US11857152B2 (en) | 2017-12-28 | 2024-01-02 | Cilag Gmbh International | Surgical hub spatial awareness to determine devices in operating theater |
| US11612408B2 (en) | 2017-12-28 | 2023-03-28 | Cilag Gmbh International | Determining tissue composition via an ultrasonic system |
| US11832899B2 (en) | 2017-12-28 | 2023-12-05 | Cilag Gmbh International | Surgical systems with autonomously adjustable control programs |
| US11076921B2 (en) | 2017-12-28 | 2021-08-03 | Cilag Gmbh International | Adaptive control program updates for surgical hubs |
| US20190206569A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of cloud based data analytics for use with the hub |
| US11998193B2 (en) | 2017-12-28 | 2024-06-04 | Cilag Gmbh International | Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation |
| US11844579B2 (en) | 2017-12-28 | 2023-12-19 | Cilag Gmbh International | Adjustments based on airborne particle properties |
| US12062442B2 (en) | 2017-12-28 | 2024-08-13 | Cilag Gmbh International | Method for operating surgical instrument systems |
| US11969216B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution |
| US11464559B2 (en) | 2017-12-28 | 2022-10-11 | Cilag Gmbh International | Estimating state of ultrasonic end effector and control system therefor |
| US11109866B2 (en) | 2017-12-28 | 2021-09-07 | Cilag Gmbh International | Method for circular stapler control algorithm adjustment based on situational awareness |
| US11896322B2 (en) | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub |
| US11969142B2 (en) | 2017-12-28 | 2024-04-30 | Cilag Gmbh International | Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws |
| US20190201113A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Controls for robot-assisted surgical platforms |
| US11257589B2 (en) | 2017-12-28 | 2022-02-22 | Cilag Gmbh International | Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes |
| US11864728B2 (en) | 2017-12-28 | 2024-01-09 | Cilag Gmbh International | Characterization of tissue irregularities through the use of mono-chromatic light refractivity |
| US20190201594A1 (en) | 2017-12-28 | 2019-07-04 | Ethicon Llc | Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub |
| US11896443B2 (en) * | 2017-12-28 | 2024-02-13 | Cilag Gmbh International | Control of a surgical system through a surgical barrier |
| US11839396B2 (en) | 2018-03-08 | 2023-12-12 | Cilag Gmbh International | Fine dissection mode for tissue classification |
| US11337746B2 (en) | 2018-03-08 | 2022-05-24 | Cilag Gmbh International | Smart blade and power pulsing |
| US11657087B2 (en) * | 2018-03-19 | 2023-05-23 | Verily Life Sciences Llc | Surgical video retrieval based on preoperative images |
| US11090047B2 (en) | 2018-03-28 | 2021-08-17 | Cilag Gmbh International | Surgical instrument comprising an adaptive control system |
| WO2019215109A1 (en) | 2018-05-08 | 2019-11-14 | Koninklijke Philips N.V. | Convolutional localization networks for intelligent captioning of medical images |
| EP3637428A1 (en) * | 2018-10-12 | 2020-04-15 | Siemens Healthcare GmbH | Natural language sentence generation for radiology reports |
| US11517309B2 (en) | 2019-02-19 | 2022-12-06 | Cilag Gmbh International | Staple cartridge retainer with retractable authentication key |
| US11373739B2 (en) * | 2019-04-17 | 2022-06-28 | Tempus Labs, Inc. | Systems and methods for interrogating clinical documents for characteristic data |
| US11911200B1 (en) * | 2020-08-25 | 2024-02-27 | Amazon Technologies, Inc. | Contextual image cropping and report generation |
| CN112364156B (zh) * | 2020-11-10 | 2024-07-23 | 珠海豹趣科技有限公司 | 一种信息显示方法、装置及计算机可读存储介质 |
| US12004891B1 (en) | 2021-03-30 | 2024-06-11 | Amazon Technologies, Inc. | Methods and systems for detection of errors in medical reports |
| CN115878935B (zh) * | 2023-01-29 | 2023-05-23 | 北京全路通信信号研究设计院集团有限公司 | 一种图表的局部刷新方法、系统、装置、设备及介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08123647A (ja) * | 1994-10-25 | 1996-05-17 | Sharp Corp | 情報処理装置 |
| JP2003208472A (ja) * | 2001-10-10 | 2003-07-25 | Siemens Medical Solution Health Services Corp | ヘルスケア情報データベースのアクセス権の供与方法および患者関連データ要素の統合を支援するユーザインタフェースを供与する方法 |
| JP2014509030A (ja) * | 2011-03-25 | 2014-04-10 | コーニンクレッカ フィリップス エヌ ヴェ | 画像データに基づくレポートの生成 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2344074A1 (en) * | 2001-04-17 | 2002-10-17 | George Wesley Bradley | Method and system for cross-platform form creation and deployment |
| EP1501526A1 (en) * | 2002-04-16 | 2005-02-02 | Isis Innovation Limited | Curcumin for the prevention and/or treatment of tissue damage |
| CN102365641A (zh) * | 2009-03-26 | 2012-02-29 | 皇家飞利浦电子股份有限公司 | 基于诊断信息自动检索报告模板的系统 |
| BR112012026477B1 (pt) * | 2010-04-19 | 2021-02-02 | Koninklijke Philips N.V. | método para visualizar um relatório médico descrevendo imagens radiológicas |
| EP2583245B1 (en) * | 2010-06-16 | 2019-11-20 | A² Surgical | Method and system of automatic determination of geometric elements from a 3d medical image of a bone |
| RU2013130230A (ru) * | 2010-12-03 | 2015-01-10 | Конинклейке Филипс Электроникс Н.В. | Создание набора правил системы медицинской информации и/или оценочный графический интерфейс пользователя |
| EP2657866A1 (en) | 2012-04-24 | 2013-10-30 | Koninklijke Philips N.V. | Creating a radiology report |
| US9195721B2 (en) * | 2012-06-04 | 2015-11-24 | Apple Inc. | Mobile device with localized app recommendations |
| US9298730B2 (en) | 2012-07-04 | 2016-03-29 | International Medical Solutions, Inc. | System and method for viewing medical images |
| US9886546B2 (en) * | 2012-11-20 | 2018-02-06 | General Electric Company | Methods and apparatus to label radiology images |
| CN106104538A (zh) * | 2014-02-26 | 2016-11-09 | 凡巴茨赛勒艾姆卡有限公司 | 用于辅助确定医学病症的方法及系统 |
| US11031121B2 (en) * | 2014-05-06 | 2021-06-08 | Koninklijke Philips N.V. | System and method for indicating the quality of information to support decision making |
| US10037407B2 (en) * | 2015-11-23 | 2018-07-31 | Koninklijke Philips N.V. | Structured finding objects for integration of third party applications in the image interpretation workflow |
| US10998096B2 (en) * | 2016-07-21 | 2021-05-04 | Koninklijke Philips N.V. | Annotating medical images |
-
2016
- 2016-11-21 US US15/356,774 patent/US10037407B2/en active Active
- 2016-11-22 JP JP2018526647A patent/JP6967512B2/ja active Active
- 2016-11-22 EP EP16798772.6A patent/EP3380966B1/en active Active
- 2016-11-22 CN CN201680075729.2A patent/CN108475538B/zh active Active
- 2016-11-22 WO PCT/EP2016/078478 patent/WO2017089360A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08123647A (ja) * | 1994-10-25 | 1996-05-17 | Sharp Corp | 情報処理装置 |
| JP2003208472A (ja) * | 2001-10-10 | 2003-07-25 | Siemens Medical Solution Health Services Corp | ヘルスケア情報データベースのアクセス権の供与方法および患者関連データ要素の統合を支援するユーザインタフェースを供与する方法 |
| JP2014509030A (ja) * | 2011-03-25 | 2014-04-10 | コーニンクレッカ フィリップス エヌ ヴェ | 画像データに基づくレポートの生成 |
Non-Patent Citations (1)
| Title |
|---|
| ZIMMERMAN,STEFAN L.: ""Automated Structured Reporting of Imaging Findings Using the AIM Standard and XML"", RADIOGRAPHICS, vol. 3, no. 3, JPN7020003290, 2011, pages 881 - 887, XP055193561, ISSN: 0004366571, DOI: 10.1148/rg.313105195 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022196106A1 (ja) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | 文書作成装置、方法およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6967512B2 (ja) | 2021-11-17 |
| EP3380966A1 (en) | 2018-10-03 |
| CN108475538A (zh) | 2018-08-31 |
| US10037407B2 (en) | 2018-07-31 |
| US20170154156A1 (en) | 2017-06-01 |
| EP3380966B1 (en) | 2022-10-19 |
| CN108475538B (zh) | 2023-05-09 |
| WO2017089360A1 (en) | 2017-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6967512B2 (ja) | 画像解釈ワークフローにおけるサードパーティアプリケーションの統合のための構造化所見オブジェクト | |
| US10372802B2 (en) | Generating a report based on image data | |
| US20220068449A1 (en) | Integrated diagnostics systems and methods | |
| JP2016151827A (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
| Zimmerman et al. | Informatics in radiology: automated structured reporting of imaging findings using the AIM standard and XML | |
| US20190272919A1 (en) | Proactive follow-up of clinical findings | |
| US11037660B2 (en) | Communication system for dynamic checklists to support radiology reporting | |
| JP6796060B2 (ja) | 画像レポート注釈同定 | |
| US20200126648A1 (en) | Holistic patient radiology viewer | |
| US11557384B2 (en) | Collaborative synthesis-based clinical documentation | |
| US20190108175A1 (en) | Automated contextual determination of icd code relevance for ranking and efficient consumption | |
| US20240021280A1 (en) | Oncology workflow for clinical decision support | |
| JP7370865B2 (ja) | 画像読影環境において所見ベースの関連する臨床的コンテキストを提供する動的システム | |
| US20200043583A1 (en) | System and method for workflow-sensitive structured finding object (sfo) recommendation for clinical care continuum | |
| US20180330807A1 (en) | Clinical discovery wheel - a system to explore clinical concepts | |
| US11189026B2 (en) | Intelligent organization of medical study timeline by order codes | |
| JP7547041B2 (ja) | 医療検査資料を含むユーザインターフェイスの構成及び表示 | |
| JP6970728B2 (ja) | 情報処理装置、情報処理方法、情報処理システム、およびプログラム | |
| JP2023048985A (ja) | 医用レポート生成方法、医用レポート生成システム及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180724 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201009 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201020 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20201030 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20201215 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210930 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211025 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6967512 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |