JP2008506188A - ジェスチャ・ベース報告方法およびシステム - Google Patents
ジェスチャ・ベース報告方法およびシステム Download PDFInfo
- Publication number
- JP2008506188A JP2008506188A JP2007520438A JP2007520438A JP2008506188A JP 2008506188 A JP2008506188 A JP 2008506188A JP 2007520438 A JP2007520438 A JP 2007520438A JP 2007520438 A JP2007520438 A JP 2007520438A JP 2008506188 A JP2008506188 A JP 2008506188A
- Authority
- JP
- Japan
- Prior art keywords
- image
- symbol
- symbols
- user
- embedded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H70/00—ICT specially adapted for the handling or processing of medical references
- G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】時宜に適った正確なやり方で全てのタスクを行い、効率目的のためにこれらのタスクのいずれかを組み合わせることのできる方法およびシステム。
【解決手段】本発明は、ジェスチャ・ベース報告システムおよび方法を対象とし、高解像度画像表示デバイス付き、かつプログラム可能スタイラスである入力デバイス付きのクライアント・コンピュータを含み、レポート内に含まれる既定の情報は一連の記号またはジェスチャにより規定され、かかる記号またはジェスチャは、画像表示デバイスに表示された画像の上にプログラム可能スタイラスを用いて直接描かれる。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる状況、モダリティ、病理などに適用することができる。
【選択図】図2
【解決手段】本発明は、ジェスチャ・ベース報告システムおよび方法を対象とし、高解像度画像表示デバイス付き、かつプログラム可能スタイラスである入力デバイス付きのクライアント・コンピュータを含み、レポート内に含まれる既定の情報は一連の記号またはジェスチャにより規定され、かかる記号またはジェスチャは、画像表示デバイスに表示された画像の上にプログラム可能スタイラスを用いて直接描かれる。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる状況、モダリティ、病理などに適用することができる。
【選択図】図2
Description
関連出願の相互参照表示
本願は、2004年7月9日に出願された米国特許仮出願第60/586,415号の優先権を主張し、同仮出願の内容は参照により全体として本願に組み込まれるものとする。
本発明は、画像報告方法およびシステムに関するものであり、より具体的には、放射線医学環境において所見を報告するためのジェスチャ・ベース、記号ベースまたはアイコン・ベースの方法およびシステムに関するものである。
本願は、2004年7月9日に出願された米国特許仮出願第60/586,415号の優先権を主張し、同仮出願の内容は参照により全体として本願に組み込まれるものとする。
本発明は、画像報告方法およびシステムに関するものであり、より具体的には、放射線医学環境において所見を報告するためのジェスチャ・ベース、記号ベースまたはアイコン・ベースの方法およびシステムに関するものである。
医学分野、特に放射線医学で使用される画像報告方法およびシステムでは、放射線医がレントゲン(X線)・フィルムにワックス・クレヨンで注意書きまたは印付けを行うことが必要とされており、かかる印は、消去可能で一貫性がなく、再現不可能である。しかしながら、タイピストおよび放射線医がこの手法を用いてレポートを生成するには日数を要し、大量のレポートが生成される場合、この手法は時宜に適ったものでも正確なものでもなかった。
従来使用されている別の画像報告方法では、放射線医が、医用画像内に含まれる所見を精査して解釈した後、レポートをマイクロホンに吹き込むことが必要とされる。その後、口述レポートは、タイピストにより筆記されるか、またはコンピュータにより音声認識ソフトウェアを用いて筆記される。
いずれの取り組み方法でも入力は音声で生成され、その後、文字レポートに変換される。しかしながら、この取り組み方法の短所は、様々な発話パターンの登録における問題により潜在的に精度に欠ける点である。
さらに従来の報告方策では、ユーザは画像のナビゲーション、処理、操作および報告のような付随的タスクを(最も一般的には、入力デバイスとしてコンピュータ・キーボードまたはマウスを用いて)行うために画像から注意を逸らす必要がある。
さらに従来の報告方策では、ユーザは画像のナビゲーション、処理、操作および報告のような付随的タスクを(最も一般的には、入力デバイスとしてコンピュータ・キーボードまたはマウスを用いて)行うために画像から注意を逸らす必要がある。
よって、時宜に適った正確なやり方でこれら全てのタスクを行い、効率目的のためにこれらのタスクのいずれかを組み合わせることのできる方法およびシステムが望まれている。
本発明は、ジェスチャ・ベース報告システムおよび方法に関するものであり、高解像度画像表示デバイス付き、かつ、プログラム可能スタイラスまたは電子ペンである入力デバイス付きのクライアント・コンピュータまたはワークステーションを含み、レポート内に含まれる個々の概念(すなわち放射線所見)は一連の記号、アイコンまたはジェスチャにより定義され、かかる記号、アイコンまたはジェスチャは、プログラム可能スタイラスを用いて放射線医により、画像表示デバイスに表示された画像の上に直接描かれる。
チェックマーク、点などのような記号は、ある特定の情報を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザ人口に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、画像研究を解釈するために様々な異なる特定の状況、モダリティ、病理などに適用されることができる。
従って、従来の文字(テキスト)レポート(画像と文字レポートとが異質のもので互いに分離している)と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートとは不可分である。所見または概念(すなわち、放射線適用における拡張型心筋症)を画像からテキストに翻訳する代わりに、概念が直接、画像内に保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれの高い潜在的な書き誤りおよび認識誤りが回避される。
画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより、本発明は、特化した意思決定支援ツールを直接、画像およびレポートに同時に組み込むための独自の能力を提供する。普遍的に受け入れられる標準化された身振り(ジェスチャ)言語を用いることで潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
ジェスチャ・ベース報告を実行するコンピュータ・プログラムは、ジェスチャ付きで画像を記憶するという機能を果たすことができる。さらに、特定の所見および概念へのマッピングに使用される身振り言語は、ジェスチャ認識ソフトウェア・プログラムにより認識され、これらの所見および概念はジェスチャを用いたレポートに翻訳できる。さらにまた、画像のタイプも当該コンピュータ・プログラムにより認識されるであろうし、当該コンピュータ・プログラムは画像を生成し、選択された画像の適切な部位に記号を配置することができるであろう。このように本発明は双方向的に機能する。
ジェスチャ・ベース報告を実行するコンピュータ・プログラムは、ジェスチャ付きで画像を記憶するという機能を果たすことができる。さらに、特定の所見および概念へのマッピングに使用される身振り言語は、ジェスチャ認識ソフトウェア・プログラムにより認識され、これらの所見および概念はジェスチャを用いたレポートに翻訳できる。さらにまた、画像のタイプも当該コンピュータ・プログラムにより認識されるであろうし、当該コンピュータ・プログラムは画像を生成し、選択された画像の適切な部位に記号を配置することができるであろう。このように本発明は双方向的に機能する。
本発明の双方向性により、従来の散文レポートは、散文を記号に変換するための自然言語処理(NLP)を用いてジェスチャ・レポートに変換されることができる。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行われることもできるはずであり、異なるユーザ間のレポートの、標準化された報告フォーマットでの直接比較を提供する。
本発明と一致する別の実施形態では、詳細な記述的情報は(記述された所見に対し)、高度に構築され組織化されたやり方で、追加の修飾語および記述子を身振り言語に組み込むことにより提供できる。これらの修飾子および記述子はユーザに、あらかじめ定義され限定された用語で自身の分析を識別して定量化することを強い、記述される意義および正確な所見に関しては美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
ジェスチャ・ベース報告方法およびシステムの報告フォーマットは、従来の文字レポートを補うものであり、より大きい融通性をユーザに付加することができる。このように、生成される様々なレポートは、システムのユーザにより選択的にオンまたはオフされることができ、次のものを含むことができる。1)本発明に従って特定の所見および概念へマッピングする、画像に埋め込まれた単体のジェスチャまたは記号、2)構築された文字フォーマットによる所見(および各所見に関連する修飾語)の項目別リスト、および3)自然言語処理(NLP)ツールを用いて所見が散文フォーマットに翻訳された従来の文字レポート。
ジェスチャ・ベース・レポートおよびジェスチャ埋め込み画像または「キー画像」は、その後、あらかじめ定義された通信プロトコルを用いて参照臨床医に自動的にルーティングされることができる。
従来の報告方法と比べた場合のジェスチャ・ベース報告利用の利点には、ユーザがターゲット画像から決して目を離さず、それにより、焦点となる対象との継続的接触を維持するという重要な利点が含まれる。これは、視標追跡、ワークフローおよび診断精度に関していくつかの理論的利点を提供する。
従来の報告方法と比べた場合のジェスチャ・ベース報告利用の利点には、ユーザがターゲット画像から決して目を離さず、それにより、焦点となる対象との継続的接触を維持するという重要な利点が含まれる。これは、視標追跡、ワークフローおよび診断精度に関していくつかの理論的利点を提供する。
本発明と一致するある実施形態では、本発明はプログラム可能スタイラスのような入力デバイスを利用することができ、入力とナビゲーションとの組み合わせデバイスとして同スタイラスを用いて画像のナビゲーション、処理、操作および報告のような付随的タスクを行うことができる。このプログラム可能スタイラスは、画像の上に記号を描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスによる方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる。これにより、画像のナビゲーションおよび表示は、ユーザが画像から決して目を離すことのない連続プロセスとなることができ、生産性およびワークフローを高め、また画像認知プロセスを改善する。
標準化された身振り言語を用いて構築されたレポートが作成されると、調査目的のためにユーザが照会することのできる参照可能なデータベースの作成が可能となる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
本発明と一致する別の実施形態では対話式(インタラクティブ)診察が行われることができ、エンド・ユーザは、組み合わされた画像/レポートが2人のユーザ間の電子診察ツールになるように、埋め込まれたジェスチャまたは記号を「オンおよびオフする」ための能力を有する。これは、ユーザが画像(および画像内に含まれる所見)からレポートに移動しなければならない(画像とレポートとは分断され互いに分離している)現行の方法を改善する。
本発明と一致する別の実施形態では対話式(インタラクティブ)診察が行われることができ、エンド・ユーザは、組み合わされた画像/レポートが2人のユーザ間の電子診察ツールになるように、埋め込まれたジェスチャまたは記号を「オンおよびオフする」ための能力を有する。これは、ユーザが画像(および画像内に含まれる所見)からレポートに移動しなければならない(画像とレポートとは分断され互いに分離している)現行の方法を改善する。
本発明と一致する別の実施形態では、ユーザたちが分析結果に関して矛盾した場合、画像解釈をより正確に定義するためにニューラル・ネットワークを使用できる。
最終的に、ジェスチャ・ベース報告では、レポートの様々なオーバーレイまたは層が提供でき、かかるレポートは、経時的に異なる所見または所見の異なる局面を示すことができ、それにより、1枚の画像で出来るだけ多くの情報をユーザに提供する。
最終的に、ジェスチャ・ベース報告では、レポートの様々なオーバーレイまたは層が提供でき、かかるレポートは、経時的に異なる所見または所見の異なる局面を示すことができ、それにより、1枚の画像で出来るだけ多くの情報をユーザに提供する。
このように、本発明と一致するいくつかの特徴は、下記の発明の詳細な説明がよりよく理解され、かつ、当該技術に対するこの寄与がより正しく評価されるように略述されてきた。当然、本発明と一致する追加の特徴も存在し、かかる特徴は下記に説明され、本願の末尾に添付された特許請求の範囲の主題を形成する。
この点で、本発明と一致する少なくともひとつの実施形態について詳しく説明する前に、本発明がその適用において、下記の説明に記載されたかまたは図面に示された構造の詳細および構成部品の構成に限定されないことが理解されるべきである。本発明と一致する方法および装置は、その他の実施形態が可能であり、様々な方法で実施され実行されることができる。また、本願で用いられる術語および用語が、以下に記載された要約と同様に説明目的のためのもので、限定的なものと見なされないことが理解されるべきである。
この点で、本発明と一致する少なくともひとつの実施形態について詳しく説明する前に、本発明がその適用において、下記の説明に記載されたかまたは図面に示された構造の詳細および構成部品の構成に限定されないことが理解されるべきである。本発明と一致する方法および装置は、その他の実施形態が可能であり、様々な方法で実施され実行されることができる。また、本願で用いられる術語および用語が、以下に記載された要約と同様に説明目的のためのもので、限定的なものと見なされないことが理解されるべきである。
このようなものとして、当業者は、本開示が基づいている概念が、本発明のいくつかの目的を遂行するためのその他の構造、方法およびシステムの設計基盤として容易に利用できることを正しく理解するはずである。従って、本発明と一致する方法および装置の精神および適用範囲から、かかる均等の構造物が外れていない限りにおいて、特許請求の範囲がそれらの構造物を含むと見なされるということが重要である。
本発明は、画像ベース・レポートの作成に対する代替アプローチに関するものである。このジェスチャ・ベース(または記号ベースもしくはアイコン・ベース)報告の適用は、医学(すなわち放射線医学)、造園、建築などの分野のような、正確で記述的な「速記法」から利益を得ると思われるあらゆるタイプの画像報告に利用できる。
しかしながら、医学(すなわち放射線医学)への適用は、以下で検討される例示的な実施形態である。例示的な放射線医学適用では、本発明は、ジェスチャ埋め込み画像レポートのデータベースを作成するために、コンピュータで実施される方法およびコンピュータ・システム機能を含む。このジェスチャ埋め込み画像レポートからは、文字レポートを生成でき、データ・マイニングおよびその他の分析を行うことができる。
しかしながら、医学(すなわち放射線医学)への適用は、以下で検討される例示的な実施形態である。例示的な放射線医学適用では、本発明は、ジェスチャ埋め込み画像レポートのデータベースを作成するために、コンピュータで実施される方法およびコンピュータ・システム機能を含む。このジェスチャ埋め込み画像レポートからは、文字レポートを生成でき、データ・マイニングおよびその他の分析を行うことができる。
本発明の方法およびシステムは、デジタル画像の分析向けものとして説明されるが、本発明は、従来のレントゲン・フィルム、写真または紙ベース画像のようなアナログ画像と併せた使用にも適合させることができる。
医学(放射線医学)適用の例示的な実施形態では、本発明の報告システム100(図1参照)は、病院情報システム(HIS)10、放射線情報システム(RIS)20、および画像保管通信システム(PACS)30のような既存の情報システムとのインタフェースを有し、かつ、医用デジタル画像および通信(DICOM)規格、DICOM構築報告(SR)規格、または北米放射線学会の医療連携のための情報統合化(IHE)イニシアチブのような関連規格に適合するようにも設計される。
医学(放射線医学)適用の例示的な実施形態では、本発明の報告システム100(図1参照)は、病院情報システム(HIS)10、放射線情報システム(RIS)20、および画像保管通信システム(PACS)30のような既存の情報システムとのインタフェースを有し、かつ、医用デジタル画像および通信(DICOM)規格、DICOM構築報告(SR)規格、または北米放射線学会の医療連携のための情報統合化(IHE)イニシアチブのような関連規格に適合するようにも設計される。
よって、本発明のジェスチャ・ベース報告システム100と、HIS10、RIS20およびPACS30などのような情報システムとの間の双方向通信は、報告システム100がこれらのシステムから情報を検索し、その中の情報を更新し、報告システム100により生成された所望のレポートを提供することを可能にする。
本発明の報告システム100(図1参照)には、PACS30とのインタフェースを有するかもしくは有さない、またはPACS30と統合されているかもしくはされていないPCのようなクライアント・コンピュータ101が含まれ、また、高解像度のデジタル画像を例えば2Dまたは3Dで提供することのできる画像表示デバイス102が含まれる。しかしながら、画像解像度を十分に高くできる場合、クライアントは、ユーザにより操作されてクライアントから遠隔でプログラムにアクセスするモバイル・コンピューティング・デバイスまたはモバイル・データ・オーガナイザ(PDA)のような携帯端末であることができる(図2参照)。
本発明の報告システム100(図1参照)には、PACS30とのインタフェースを有するかもしくは有さない、またはPACS30と統合されているかもしくはされていないPCのようなクライアント・コンピュータ101が含まれ、また、高解像度のデジタル画像を例えば2Dまたは3Dで提供することのできる画像表示デバイス102が含まれる。しかしながら、画像解像度を十分に高くできる場合、クライアントは、ユーザにより操作されてクライアントから遠隔でプログラムにアクセスするモバイル・コンピューティング・デバイスまたはモバイル・データ・オーガナイザ(PDA)のような携帯端末であることができる(図2参照)。
本発明と一致する方法およびシステムは、入力手段104(図1参照)、またはホット・クリッカブルアイコンなどが含まれるユーザ選択手段、または、クライアント101に設けられたインタフェースのメニュー、ダイアログボックスもしくはロールダウン・ウィンドウの選択ボタンを設けることにより実行され、ユーザは、プログラム可能スタイラス、キーボード、マウス、音声処理手段、レーザー・ポインター、タッチ・スクリーンまたはその他の入力手段104を通じてコマンドを入力することができる。
入力手段または選択手段104は、専用のハードウェアにより構成されるか、またはその機能は、選択ウィンドウを表示するための表示装置102および例えば選択を入力するためのスタイラスもしくはキーボードを含むクライアント・プロセッサ106で実行されるコード指示により実行されることができる。
しかしながら、ユーザによるジェスチャ、記号またはアイコンの入力は、望ましくは多機能プログラム可能スタイラス104を用いて遂行され、同スタイラスは、記号を画像の上に描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスを用いた方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる(PACS内と電子カルテ(EMR)内との両方において)。
しかしながら、ユーザによるジェスチャ、記号またはアイコンの入力は、望ましくは多機能プログラム可能スタイラス104を用いて遂行され、同スタイラスは、記号を画像の上に描くために使用できるだけでなく、従来のコンピュータ・キーボードまたはマウスを用いた方法よりも優れた画像の表示、ナビゲーション、解釈および報告のプロセスに固有の、その他のタスクを遂行することもできる(PACS内と電子カルテ(EMR)内との両方において)。
クライアント101には多くの場合、クライアント・データ処理手段としてプロセッサ106が含まれ、同プロセッサには中央処置装置(CPU)107または並列プロセッサおよび入力/出力(I/O)インタフェース108が含まれ、メモリ109にはデータ構造111を有するプログラム110が入っており、これら全てはバス112により接続される。さらに、クライアント101には入力デバイスまたは入力手段104、ディスプレイ102も含まれ、また、ひとつ以上の二次記憶デバイス113も含まれてもよい。バス112は、クライアント101の内側にあってもよく、キーボードもしくは入力デバイス104のアダプタを含むか、または外部接続を含むことができる。
本発明用の画像表示デバイス102は高解像度のタッチ・スクリーン・コンピュータ・モニタであり、これにより、レントゲン写真のような画像が判読可能となり、ジェスチャまたは記号は容易かつ正確に適用されるようになる。また画像表示デバイス102は、タブレット、ポケットPCおよびプラズマ・スクリーンを含むその他のタッチ感知式デバイスでもよい。タッチ・スクリーンは、本発明のジェスチャまたは記号を画像表示デバイス102の上に直接描くために使用されるスタイラス104の、入力を圧力感知してそれに応答する。
加えて、高解像度ゴーグルが、外部コンピュータの物理的制約なしに画像を精査できるようにエンド・ユーザに提供される場合がある。例えば、脳腫瘍の放射線断面画像を3Dフォーマットで表示することに特化した高解像度ゴーグルを着用した外科医は、手術中のガイドとして役立てるために画像上にジェスチャを記入し、問題の病理を強調(ハイライト)表示して関連特徴(すなわち解剖学的局在性、サイズなど)を報告することができる。このゴーグルは画像誘導手術に使用され、ジェスチャ・ベース報告は、手術の過程において関連所見に関する診察を提供するために役立つことになる。
別の例では内科医が、埋め込まれたジェスチャまたは記号付きの画像を精査するために、病院外でこの特化したゴーグルを使用することができる。画像は無線技術を用いてダウンロードされ、ゴーグルに表示されることができ、それにより、画像表示のためのコンピュータ・スクリーンは不要になる。
クライアント・システム101に関しては、グラフィック・ユーザ・インタフェースが、既存のコンピュータ・オペレーティング・システムで作動するように書かれたクライアント・アプリケーションであり、このクライアント・アプリケーションは、その他のパーソナル・コンピュータ(PC)ソフトウェア、パーソナル・デジタル・アシスタント(PDA)および携帯電話、並びに、スクリーンまたはビジュアル・コンポーネントおよび適切な記憶能力を有するその他のデジタル・デバイスに移植(ポート)できることに注意されたい。
クライアント・システム101に関しては、グラフィック・ユーザ・インタフェースが、既存のコンピュータ・オペレーティング・システムで作動するように書かれたクライアント・アプリケーションであり、このクライアント・アプリケーションは、その他のパーソナル・コンピュータ(PC)ソフトウェア、パーソナル・デジタル・アシスタント(PDA)および携帯電話、並びに、スクリーンまたはビジュアル・コンポーネントおよび適切な記憶能力を有するその他のデジタル・デバイスに移植(ポート)できることに注意されたい。
クライアント101のプロセッサ106は内部にあっても外部にあってもよく、既定の動作に適したプログラム110を実行する。プロセッサ106は、既定の動作を行うためのプログラム110およびデータ構造111を含むコード指示の、少なくともひとつのシーケンスを記憶するメモリ109にアクセスできる。メモリ109およびプログラム110はクライアント101の内部または外部に配置できる。
場合によっては本発明のシステムが、ある機能を果たすものとして説明されることに注意されたい。しかしながら、当業者は、プログラム110がシステム自体のエンティティというよりもむしろ機能を果たしているものであることを知っているであろう。
本発明のジェスチャ・ベース報告方法およびシステムを実行するプログラム110は、所望の動作を行うための別個のプログラム・コードを含むことができ、または、ある動作の下位動作を行う複数のモジュールであってもよく、もしくはその動作を提供する大型プログラム110の単一モジュールの一部であってもよい。
本発明のジェスチャ・ベース報告方法およびシステムを実行するプログラム110は、所望の動作を行うための別個のプログラム・コードを含むことができ、または、ある動作の下位動作を行う複数のモジュールであってもよく、もしくはその動作を提供する大型プログラム110の単一モジュールの一部であってもよい。
プロセッサ106は、複数の動作に対応する複数のプログラム110へのアクセスおよび/またはかかるプログラムを実行するために適したものであることができる。プログラム110により提供される動作は、例えば、ユーザ・インタフェースのサポート、データ・マイニング機能、Eメール・アプリケーションの実行などである。
データ構造111には複数のエントリが含まれてもよく、各エントリには、例えばジェスチャ記号のデータベースもしくはライブラリまたは画像ファイルを記憶する少なくとも第1の記憶領域が含まれる。
データ構造111には複数のエントリが含まれてもよく、各エントリには、例えばジェスチャ記号のデータベースもしくはライブラリまたは画像ファイルを記憶する少なくとも第1の記憶領域が含まれる。
記憶デバイス113は、特定の動作を提供しているとき、画像ファイル、文字(テキスト)ファイル、データ・ファイル、音声、ビデオ・ファイルなどのような少なくともひとつのデータ・ファイルを記憶する。記憶手段113としてのデータ記憶デバイスは、例えばネットワークを介して接続される分散データベースを含め、例えばデータベースであってもよい。このデータベースは、コンピュータ検索可能データベースであってもよく、リレーショナル・データベースであってもよい。記憶デバイスは直接的に、またはLANまたはWANのような通信ネットワークを通じて、サーバ120および/またはクライアント101に接続される。内部記憶デバイス113または外部記憶デバイス114はオプションであり、データも、ネットワーク経由で受信され直接処理されてもよい。
本発明と一致する方法およびシステムでは、クライアント101は、アドレスまたはポートにより指定される通信エンド・ポートを用いて、クライアント通信手段としての通信リンク116経由で、管理システム、料金請求システムまたはその他のシステムを含むその他のクライアント101またはサーバ120に接続されてもよく、通信リンク116は、移動体通信リンク、切り替え回路通信リンクを含むか、またはLAN、WAN、インターネットもしくはそれらの組み合わせのようなデータ処理デバイスのネットワークを伴うことができる。特に通信リンクは、Eメール・システム、ファックス、電話、ページャおよび携帯電話のような無線通信システム、無線PDA並びにその他の通信システムであってもよい。
通信リンク116は、例えばサーバ120との通信を確立して維持するために、様々な通信プロトコルを実行できるアダプタ装置であってもよい。通信リンク116は、特化したハードウェアにより構成されてもよく、または対応するプログラム指示を実行する一般CPUにより実現される場合がある。通信リンク116は少なくとも部分的には、対応するプログラム指示を実行するプロセッサ106に含まれてもよい。
本発明に一致するある実施形態では、サーバ120が非分散環境において使用される場合、サーバ120は、CPU122またはサーバのデータ処理手段である並列プロセッサおよびI/Oインタフェース123を有するプロセッサ121を含むが、ひとつまたは複数の機械に置かれた複数の個別プロセッサ121を含む分散CPU122によっても構成されることができる。サーバ120のプロセッサ121は一般的なデータ処理装置で構わないが、大型リソース(すなわち、高処理能力および大量データ記憶用大型メモリ)を有するデータ処理装置であることが望ましい。
サーバ120には、データ構造126を有するプログラム125の入ったメモリ124も含まれ、これら全てはバス127により接続されている。サーバ120が分散システムにより構成される場合、バス127または類似の接続線は外部接続からなることもできる。サーバ・プロセッサ121は、様々な動作をユーザに提供するためのプログラム、望ましくは多数のそういったプログラムを記憶するための記憶デバイス128にアクセスできる。
データ構造126は複数のエントリを含む場合があり、各エントリは、例えば画像ファイルを記憶する少なくとも第1の記憶領域を含むが、当業者なら正しく理解するであろう通り、その他の記憶情報に関連する実施形態を含め、代替実施形態を有することもできる。
サーバ120は単一の装置(ユニット)であってもよく、または、複数のサーバ120もしくはデータ処理装置の分散システムであってもよく、互いの直接接続また間接接続を通して複数のユーザにより共有されてもよい。サーバ120は、所望の動作のために少なくともひとつのサーバ・プログラムを実行し、かかるプログラムは、クライアント101から要求を出す際に必要となる。
サーバ120は単一の装置(ユニット)であってもよく、または、複数のサーバ120もしくはデータ処理装置の分散システムであってもよく、互いの直接接続また間接接続を通して複数のユーザにより共有されてもよい。サーバ120は、所望の動作のために少なくともひとつのサーバ・プログラムを実行し、かかるプログラムは、クライアント101から要求を出す際に必要となる。
サーバ120からの通信リンク129は、複数のクライアントとの通信に適合するものであることが望ましい。
本発明は、クライアントおよびサーバ環境において提供されるソフトウェア内で実施されるか、または、いくつかのクライアント・システム間のコンピュータ化されたネットワーク上の分散システム内で実施される。よって、本発明では、個別の動作は、クライアントまたはサーバにおいてネットワークの縁端もしくは中心またはその両方で行われる。従って、クライアントもしくはサーバまたはその両方において、所望の動作/サービスに対応するプログラムが利用可能である。
本発明は、クライアントおよびサーバ環境において提供されるソフトウェア内で実施されるか、または、いくつかのクライアント・システム間のコンピュータ化されたネットワーク上の分散システム内で実施される。よって、本発明では、個別の動作は、クライアントまたはサーバにおいてネットワークの縁端もしくは中心またはその両方で行われる。従って、クライアントもしくはサーバまたはその両方において、所望の動作/サービスに対応するプログラムが利用可能である。
クライアント‐サーバ環境では、少なくとも1個のクライアントおよび少なくとも1個のサーバが各々、通信リンク116、129を通じて、ローカル・エリア・ネットワーク(LAN)、ワイド・エリア・ネットワーク(WAN)もしくはインターネットまたはそれらの組み合わせのようなネットワーク220に接続される。さらに、HIS10およびRIS20並びにPACS30の諸システム(分離している場合)はクライアント101に直接接続するものとして示されているにもかかわらず、これらのシステムが通信リンクを介してLAN、WANもしくはインターネットまたはそれらの組み合わせを通じてクライアントに接続できることが分かる。ユーザとの相互作用は、暗号化および非暗号化インターネット接続性を通じたものであることができる。よって、本発明と一致する方法のステップは、クライアントもしくはサーバまたはその両方において実行され、サーバ(使用される場合)は、ブラウザ・アプリケーション等を用いて、例えばインターネットを通じて、クライアントによりアクセス可能である。
クライアント・システム101には、無線サービス接続を介する通信が含まれてもよい。サーバ・システム120には、例えば音声認識に接続する無線サーバを介して、ネットワーク/セキュリティ機能との通信が含まれてもよい。しかしながら、当業者は、その他のシステムが含まれてもよいことが分かるであろう。
本発明と一致する別の実施形態では、クライアント・システムは基本システムでもよく、サーバは、本発明のソフトウェア・プラットフォームをサポートするために必要なすべてのコンポーネントを含むことができる。さらに本クライアント‐サーバ・システムは、クライアント・システムがサーバ・システムから独立して動作できるが、サーバ・システムが任意接続できるように構成されることができる。前者の状況では、代わりに追加モジュールがクライアント・システムに接続される。本発明と一致する別の実施形態では、クライアント・システムおよびサーバ・システムは、2つのシステムに分離されるよりもむしろひとつのシステム内に配置されることができる。
本発明と一致する別の実施形態では、クライアント・システムは基本システムでもよく、サーバは、本発明のソフトウェア・プラットフォームをサポートするために必要なすべてのコンポーネントを含むことができる。さらに本クライアント‐サーバ・システムは、クライアント・システムがサーバ・システムから独立して動作できるが、サーバ・システムが任意接続できるように構成されることができる。前者の状況では、代わりに追加モジュールがクライアント・システムに接続される。本発明と一致する別の実施形態では、クライアント・システムおよびサーバ・システムは、2つのシステムに分離されるよりもむしろひとつのシステム内に配置されることができる。
上記の物理的構造は、上記ではクライアント側コンポーネントまたはサーバ側コンポーネントとして説明されたが、当業者は、物理的構造の上記コンポーネントがクライアント内もしくはサーバ内または分散環境に置かれ得ることが分かるであろう。
さらに、上記の機能および処理動作が専用ハードウェアにより実現されてもよく、または、データ処理装置で実行されるコード指示を含むプログラムとして実現されてもよいが、上記動作シーケンスの部分がハードウェアにおいて実行される一方で、上記処理動作の残り部分がソフトウェアを用いて実行されることがさらに可能である。
さらに、上記の機能および処理動作が専用ハードウェアにより実現されてもよく、または、データ処理装置で実行されるコード指示を含むプログラムとして実現されてもよいが、上記動作シーケンスの部分がハードウェアにおいて実行される一方で、上記処理動作の残り部分がソフトウェアを用いて実行されることがさらに可能である。
基盤技術により様々なその他のサイトへの複製が可能となる。新たな各サイトは、壊滅的故障の場合に、その他のサーバ・システムがアプリケーションを実行し続けて、システムが必要に応じて領域的にアプリケーションの負荷バランシングを行うことができるように近隣サイトとの「状態」を維持することができる。
さらに、本発明のある実施の諸側面はメモリに記憶されるものとして説明されるが、当業者は、本発明と一致する方法およびシステムの全部または一部が、ハード・ディスク、フロッピー(登録商標)・ディスク、CD‐ROM、インターネットのようなネットワークから受信される搬送波、または現在知られているかもしくは後に開発されるその他の形態のROMもしくはRAMのような2次記憶デバイスのようなその他のコンピュータ可読媒体に記憶されるか、またはかかる媒体から読み込まれてもよいことを正しく理解するであろう。さらに、システムの特定コンポーネントについて説明されたが、当業者は、本発明と一致する方法およびシステムと併せて使用するために適したシステムが、追加コンポーネントまたは異なるコンポーネントを含んでもよいことを理解するであろう。
さらに、本発明のある実施の諸側面はメモリに記憶されるものとして説明されるが、当業者は、本発明と一致する方法およびシステムの全部または一部が、ハード・ディスク、フロッピー(登録商標)・ディスク、CD‐ROM、インターネットのようなネットワークから受信される搬送波、または現在知られているかもしくは後に開発されるその他の形態のROMもしくはRAMのような2次記憶デバイスのようなその他のコンピュータ可読媒体に記憶されるか、またはかかる媒体から読み込まれてもよいことを正しく理解するであろう。さらに、システムの特定コンポーネントについて説明されたが、当業者は、本発明と一致する方法およびシステムと併せて使用するために適したシステムが、追加コンポーネントまたは異なるコンポーネントを含んでもよいことを理解するであろう。
これに応じて、本発明と一致するある実施形態では、例示的な放射線医学の方法およびシステムで使用されるジェスチャ・ベース報告システム100および方法には、画像表示デバイス102およびプログラム可能スタイラスである入力デバイス104付きのクライアント・コンピュータ101が含まれる。プログラム可能スタイラス104は入力手段として使用され、画像上に記号を描くために使用できるだけでなく、本発明の画像の表示、ナビゲーション、解釈および報告のプロセスに固有のその他のタスクを遂行することもできる。
このように、放射線医は、スタンド・アロン型PC、または、放射線分野においてPACSワークステーション30として知られるクライアント・ワークステーションの一部に、もしくは同ワークステーションに接続されたものでありうるクライアント・コンピュータ・システム101のスイッチを入れる。この例示的な実施形態では、クライアント・コンピュータ101はPACS30であり、画像表示デバイス102、コンピュータ・メモリ109およびプログラム110などに関しては、本発明の一部または全部では別個に設けられる代わりにPACS30内に収容される。
よって、クライアント101がいったん稼働すると、ユーザはPACSシステム30にログオンする。
すると、ステップ200においてコンピュータ・プログラム110はユーザにメニューを提示し、ステップ201において放射線医は、提示されたメニューから、分析に利用可能な画像ファイルをリストするワークリスト・フォルダを選択することができ、プログラム110はそのフォルダを開く。
すると、ステップ200においてコンピュータ・プログラム110はユーザにメニューを提示し、ステップ201において放射線医は、提示されたメニューから、分析に利用可能な画像ファイルをリストするワークリスト・フォルダを選択することができ、プログラム110はそのフォルダを開く。
ステップ202において、放射線医は選択を行うことができ、コンピュータ・プログラム110は、患者の放射線検査に対応するPACS30からの画像データを含む(そのようなもに限定されるわけではない)、ステップ201で選択された画像研究(すなわち患者データ)と、検査室データ、電子カルテ(EMR)からの病理レポート、患者人口統計および料金請求を含む(そのようなもに限定されるわけではない)、データ記憶113からの追加的情報とをディスプレイ102に取り込む(ロードする)。PACS30がDICOMのような既存の規格に従って情報を記憶することに注意すること。PACS30からのデータは、画像表示デバイス102に表示するためにクライアント・コンピュータ101を介してアクセスできる場合には、例えば検査画像記憶デバイス114、128に記憶される。あるいは、報告システム100は、例えば中間記憶デバイス114または128を必要とせず、記憶113内のPACS画像に直接アクセスすることができる。
当該患者に関連する全ての未読み込み(または読み込み済み)検査ファイルを含め、選択された画像研究はコンピュータ・プログラム110によりクライアント101に表示される。画像研究は、表示される前にDICOMシリーズによるコンピュータ・プログラム110により体系づけられる。
画像研究が少数の画像しか含まない場合(放射線撮影またはマンモグラフィ)、放射線医は静態的に画像を精査する。画像研究が多数の画像を含む場合(CT、MRI)、画像は、映画フォーマット(画像が逐次的に素早くスクロール・アップおよびスクロール・ダウンする映画に類似した形式)を用いて動態的に精査される。
画像研究が少数の画像しか含まない場合(放射線撮影またはマンモグラフィ)、放射線医は静態的に画像を精査する。画像研究が多数の画像を含む場合(CT、MRI)、画像は、映画フォーマット(画像が逐次的に素早くスクロール・アップおよびスクロール・ダウンする映画に類似した形式)を用いて動態的に精査される。
ステップ203において放射線医は、望みの画像表示フォーマット(静態または動態)を選択し、画像の精査を開始する。放射線医が関連所見を観察するときには、対象とされる特定の画像が(スタイラス104を用いて)指し示され、適切なジェスチャまたは記号を用いて「キー画像」として表示される(図3参照)。放射線医は「埋め込み」画像を作成するために、確立された身振り(ジェスチャ)言語に基づき、あらかじめ定義された記号を記録された所見の上に描く。
チェックマーク、点などのようなジェスチャまたは記号(表1参照)は、特定のタイプの病理を意味するようにあらかじめ決められたジェスチャまたは記号である。使用されるジェスチャまたは記号は、エンド・ユーザである異種の人々(すなわち放射線医)に対して広範な訴求力を有する様々な性質の記号の秩序を利用する。同時に、それらは、すべての画像モダリティ、解剖学諸分野、および、放射線医が画像研究において解釈することを求められる様々なタイプの病理に適用できる。
例えば、表1に示された通り、チェックマークは「正常な」画像を示すために、脊柱の長軸を通る「S」字形の線は脊柱側彎症を示すために、三角形を形成する3つの点は気腔疾病を示すために、3本の水平な止め線は間質性疾患を示すために、などのように使用できる。しかしながら、様々な異なるジェスチャ、記号またはアイコンが異なる症状および疾患を識別するために使用でき、これらのジェスチャまたは記号が、放射線医にあらかじめテキストで教示されるか、またはクライアント・コンピュータ101のチュートリアルで提供され得ることは当業者には明白であろう。
放射線医が主要な所見を定義した後、表2にその例が示された事前定義済みの記号およびアイコンを同様に使用して、放射線医によりスタイラス104を用いて修飾子が画像に記録されてもよい。修飾語および記述子は、放射線医に、事前定義され限定された用語で自身の分析を識別して定量化することを強い、記述される所見の臨床的意義および正確な病因に関しては、美文調で冗長で不明瞭な場合のある従来の散文フォーマットの不確かさを事前に除去する。
例えば、放射線医が肺結節の解剖学的位置を指定したい場合、放射線医は、指定された「解剖」のアイコンを例えば「クリック」し、スタイラス104を用いて対応する3次元解剖地図上に対象とする部位を局在化することができる。これらの修飾用のジェスチャまたは記号は、サイズ、形態、臨床学的意義およびに診断に関する追加情報(表2および図3参照)を提供するが、当業者は、示されているもの以外のその他の記号がこれらの用語およびその他の用語のために使用できることが分かるであろう。
画像の精査および解釈が完了した後、放射線医は、自身のイニシャルを(スタイラス104を用いて)画像上に、例えばキー画像の1枚の右下角に電子的に付すことにより、ジェスチャ埋め込み画像に署名することができる。
ジェスチャおよび修飾子、またはジェスチャもしくは修飾子をその上に記録された画像は、ステップ204においてクライアント・コンピュータ101に保存されることができる。
ジェスチャおよび修飾子、またはジェスチャもしくは修飾子をその上に記録された画像は、ステップ204においてクライアント・コンピュータ101に保存されることができる。
「保存」を指示された後、コンピュータ・プログラム110はステップ205において、画像に記録されたジェスチャまたは修飾子と、そのジェスチャまたは修飾子の相関性に関するテキストを提供する例えばジェスチャのデータベース113、114または128とを相互に関連させる。プログラム110はその後、ステップ206において、ジェスチャまたは修飾子のすぐ隣に、ジェスチャまたは修飾子と関連するテキストを表示するようにディスプレイ104を更新する。コンピュータ・プログラム110はステップ207において、入力されたジェスチャまたは記号に対応するテキストをジェスチャの位置で明滅させることにより、保存されるべきジェスチャまたは修飾子の確認および検証を提示する。
コンピュータ・プログラムが、入力されたジェスチャまたは記号の解釈を誤り、ジェスチャまたは記号に関するテキストが正しくない場合、放射線医は、ジェスチャまたは記号の上に(「削除」のために)例えば「X」を付け、コンピュータ・プログラム110はステップ208において、画像に関するテキストおよびジェスチャもしくは記号、またはテキストもしくはジェスチャもしくは記号、並びに、そのジェスチャに関連して対応するレポートを消去または削除する。
その後、放射線医は、ステップ204の通りに、ジェスチャ・ベース記号を再入力し、そのプロセスを繰り返し、正しい対応するテキストを視覚化する時にジェスチャを最終的に確認する。コンピュータ・プログラム110はステップ209において、テキストを正しいものとして確認し、その後、ステップ210においてジェスチャ埋め込み画像を保存する。
「保存済み」の注釈付き「キー画像」は、包括的な画像データセットに加えて、例えばデータベースまたはアーカイブ113、114もしくは128にも別個に記憶される。埋め込みジェスチャ・ベース記号付きのこれらの「キー画像」は、ステップ211において参照臨床医に直接(Eメールなどのような事前定義された通信プロトコルに基づき)、電子的に送信されることもできる。
画像/レポートがいったんサインオフされ保存されると、コンピュータ・プログラム110は放射線ワークリスト・フォルダを持ち出し、放射線医は新しい画像ファイルをクリックして上記のプロセスを繰り返すことができる。
本発明と一致する別の実施形態では、放射線医が過去の比較研究と関係していて、以前報告されたいくつかの所見がそのまま残っていることに気づいた場合、放射線医は以前の画像を引き出し、その後、スタイラス104を用いて適切なジェスチャもしくは記号を改めて描くか、または新たな研究の上まで当該ジェスチャをドラッグすることにより、先の研究からのジェスチャもしくは記号を再伝搬する。このようにコンピュータ・プログラム110は、言語処理における「コピー」または「カット・アンド・ペースト」機能と同様のやり方で、ある画像から別の画像へのジェスチャの移動を可能にする。
本発明と一致する別の実施形態では、放射線医が過去の比較研究と関係していて、以前報告されたいくつかの所見がそのまま残っていることに気づいた場合、放射線医は以前の画像を引き出し、その後、スタイラス104を用いて適切なジェスチャもしくは記号を改めて描くか、または新たな研究の上まで当該ジェスチャをドラッグすることにより、先の研究からのジェスチャもしくは記号を再伝搬する。このようにコンピュータ・プログラム110は、言語処理における「コピー」または「カット・アンド・ペースト」機能と同様のやり方で、ある画像から別の画像へのジェスチャの移動を可能にする。
本発明と一致する別の実施形態では、解釈プロセスを容易にするために放射線医は、対応するアイコンをスタイラス104でクリックすることにより自動意思決定支援を利用することができる。自動意思決定支援の例には、経時的サブトラクション法(経時的変化に注目する)、コンピュータ支援検出(CAD)(事前定義された病理を検出する)、コンピュータ生成測定および鑑別診断(放射線所見に応じて潜在的病理のリストを提供する)が含まれる。これらの自動意思決定支援システムは、自動意思決定支援システムがどのように機能するかに応じて、放射線医によりジェスチャで画像に記録されることのできる所見、または自動的にジェスチャに翻訳されることのできる所見を提供することができ、本発明のジェスチャ・ベース報告方法およびシステムに統合されることができる。
例えば、肺癌の存在について胸部CTを解釈する放射線医は、解釈プロセスを支援するためにコンピュータ支援検出(CAD)ソフトウェアを利用することができる。本発明と一致するある実施形態では、CAD所見は、コンピュータ・プログラム110によりジェスチャ・ベース報告記号とは異なる色/フォーマットを用いて画像上に重ね合わされることができる。これにより、臨床医または放射線医は自身の裁量でジェスチャ・ベース報告およびCADを実質的に「オンおよびオフする」ことができるようになる。画像は、これらの「データ層」付きまたは無しで見ることができ、データセット全体は、プログラム110により一括して永久的にアーカイブ/記憶される。
ジェスチャ・ベース報告方法およびシステムからレポートを生成する際には、デジタル・インク技術(すなわち、電子的に記号を作成しそれらの記号をテキストに翻訳する技術)、および、特定の放射線所見および概念へのマッピングに使用されたジェスチャまたは記号を項目別文字レポートに翻訳することに特化した認識ソフトウェアが提供される。この認識兼レポート生成ソフトウェアを含むプログラム110は、コンピュータ・プログラム110内に備えられ、本発明と一致するある実施形態では、(医用画像と医用レポートとの両方の)画像の表示、分散および記憶を担当するPACSと統合されている可能性がある。自然言語処理(NLP)は、ジェスチャおよび項目別テキストを標準的散文フォーマットに変換するための知能を備えている。
ジェスチャ・ベース記号がいったん画像に埋め込まれると、レポートは要望に応じて、少なくとも3つのフォーマットで生成されることができる。本発明に一致するある実施形態では、ジェスチャ・ベース報告フォーマットを用いて生成されるレポートは各々、システムのユーザにより選択的にオンまたはオフされることができ、次のいずれかを含む。
1) 本発明の通りに、特定の所見および概念へマッピングする、画像に埋め込まれた単一のジェスチャまたは記号
2) 構築された文字(テキスト)フォーマットによる所見(および各所見に関連する修飾語)の項目別リスト
3) 自然言語処理(NLP)ツールを用いて所見が散文フォーマットに翻訳された従来の文字(テキスト)レポート
しかしながら、従来のレポートと異なり、標準化された身振り言語を用いて構築されたレポートが作成されると、臨床目的および調査目的のために照会できる参照可能なデータベース(例えば記憶114)の作成が可能となる。
1) 本発明の通りに、特定の所見および概念へマッピングする、画像に埋め込まれた単一のジェスチャまたは記号
2) 構築された文字(テキスト)フォーマットによる所見(および各所見に関連する修飾語)の項目別リスト
3) 自然言語処理(NLP)ツールを用いて所見が散文フォーマットに翻訳された従来の文字(テキスト)レポート
しかしながら、従来のレポートと異なり、標準化された身振り言語を用いて構築されたレポートが作成されると、臨床目的および調査目的のために照会できる参照可能なデータベース(例えば記憶114)の作成が可能となる。
従って、従来の文字レポート(画像と文字レポートとが異質のもので互いに分離している)と異なり、画像内に含まれる情報内容とジェスチャ・ベース・レポートは不可分である。所見または概念(すなわち心臓肥大)を画像からテキストに翻訳する代わりに、概念が画像内に直接保持される。これにより、画像からテキストへの翻訳プロセスにおいて生じるおそれのある潜在的な書き誤りおよび認識誤りが回避される。
このように、画像データ、所見およびレポートをまとめてひとつのデータセットにすることにより本発明は、特化した意思決定支援ツールを直接、画像とレポートとに同時に組み込むための独自の能力を提示する。例えば従来の散文報告では、大量の曖昧な表現が、類似の(ただし、時に異なる)概念を記述するためによく用いられる同義語の使用を通じて持ち込まれる。臨床分野には類義語「浸潤物」、「気腔疾患」、「硬化」および「肺炎」について様々な臨床的受け止め方があり得る。普遍的に受け入れられる標準化された身振り言語を用いることで、潜在的な誤解は軽減され、言語障壁はもはや問題にならなくなる。
よって、上記「浸潤物」に関して本発明と一致するある実施形態では、ユーザは、所見に関する普遍的記号を使用し、特定の日付の間の期間中にこの報告所見を有したか、または、ある一定の人口統計的もしくは臨床的なプロファイルを満たしたかについて、すべての患者のレポート・データベースを照会することができる。これにより、業務管理、臨床調査、品質保証または利用審査のための価値あるリソースがつくり出される。
加えて、本発明と一致するある実施形態ではレポートは、そのレポートで詳述された特定の所見を示す画像を生成するために使用できる。例えば、レントゲン写真のタイプ(すなわち胸部など)はコンピュータ・プログラム110により認識され、コンピュータ・プログラム110はレントゲン写真を生成し、レポートを根拠として用いて、選択されたフィルム上の適切な部位にジェスチャまたは記号を付けることができる。このように本発明は双方向的に機能する。
本発明の双方向性は、散文を記号に変換するための自然言語処理(NLP)を用いて従来の散文レポートがジェスチャ・レポートに変換されることを可能にする。これは、過去の散文レポートをジェスチャ・ベース・レポートに変換するために遡及的に行うこともできる(標準化された報告フォーマットによる異ユーザ間のレポートの直接比較を提供する)。
本発明と一致する別の実施形態では、対話式(インタラクティブ)診察が臨床医と共に行われることができる。本発明の通りに、所見を医用画像に直接埋め込み、かつ、これらの埋め込み記号を「オンおよびオフする」ための能力をエンド・ユーザに提供することにより、組み合わされた画像/レポートは電子診察ツールになる。
例えばステップ300(図4参照)において、コンピュータ・プログラム110は、図2で前述された通りに胸部CT検査を精査して、「キー画像」に適切なジェスチャまたは記号および修飾子を埋め込むことにより以下のような所見を行っていた放射線医により、解釈された埋め込み画像を保存する。
1.肺塞栓
2.肺炎
3.胸水
4.肺門リンパ腺炎
臨床医が、精査のためにクライアント・コンピュータ101にCTを呼び出すと、コンピュータ・プログラム110はステップ301において、全体として(初めから終わりまで、600枚の個別画像からなる)研究を精査するかまたは「キー画像」のみ(4枚の画像からなる)を精査するかのオプションをユーザに提示する。
例えばステップ300(図4参照)において、コンピュータ・プログラム110は、図2で前述された通りに胸部CT検査を精査して、「キー画像」に適切なジェスチャまたは記号および修飾子を埋め込むことにより以下のような所見を行っていた放射線医により、解釈された埋め込み画像を保存する。
1.肺塞栓
2.肺炎
3.胸水
4.肺門リンパ腺炎
臨床医が、精査のためにクライアント・コンピュータ101にCTを呼び出すと、コンピュータ・プログラム110はステップ301において、全体として(初めから終わりまで、600枚の個別画像からなる)研究を精査するかまたは「キー画像」のみ(4枚の画像からなる)を精査するかのオプションをユーザに提示する。
ユーザが「キー画像」のみを表示することを選択した場合、コンピュータ・プログラム110はステップ302において、ユーザの優先選択に基づき事前に選択されたフォーマットで4枚の「キー画像」をユーザに提示する。例えば臨床医Aに関しては、これは、例えば4:1表示フォーマットを用いて単一のディスプレイまたはモニタ102に表示される4枚すべての画像からなる。例えば臨床医Bに関しては、4枚の個別画像が例えば1:1表示フォーマットを用いて個別に表示され、この臨床医は、自身の優先選択による入力デバイス104(すなわちスタイラス、トラックボール、マウス)を用いて画像間を自由に移動することができる。
臨床医が第1の「キー画像」を(所望の入力デバイス104を再度用いて)強調(ハイライト)表示すると、コンピュータ・プログラム110はステップ303において、例えば次のような3つのやり方で画像を精査するためのオプションをユーザに提示する。
1. 画像を記号なしで
2. 画像を記号付きで(静態モード)
3. 画像を記号付きで(動態モード)
本発明と一致するある実施形態では、臨床医の個別の優先選択がコンピュータ・プログラム110においてデフォルトとしてあらかじめ確立されコンピュータ・サインオン・プロセスに組み込まれているものとすることができるが、臨床医は、どの時点でもプログラム110のデフォルトに優先する能力を有することに注意されたい。加えて、臨床医は、例えば手動で当該表示モードに関する適切なアイコンをアクティブにすることにより、「実行中に」様々なオプション間で切り替えを行うことができる。
1. 画像を記号なしで
2. 画像を記号付きで(静態モード)
3. 画像を記号付きで(動態モード)
本発明と一致するある実施形態では、臨床医の個別の優先選択がコンピュータ・プログラム110においてデフォルトとしてあらかじめ確立されコンピュータ・サインオン・プロセスに組み込まれているものとすることができるが、臨床医は、どの時点でもプログラム110のデフォルトに優先する能力を有することに注意されたい。加えて、臨床医は、例えば手動で当該表示モードに関する適切なアイコンをアクティブにすることにより、「実行中に」様々なオプション間で切り替えを行うことができる。
例えば、臨床医がオプション3(動態モードを用いる記号付き画像表示)をデフォルトとして選択した場合、コンピュータ・プログラム110はステップ304において、放射線医が解釈の際に埋め込み記号を記録した正確な順序で同記号を逐次的に表示しながら、強調表示された「キー画像」を提示する。これは事実上動画となり、エンド・ユーザが解釈プロセス全体を初めから終わりまで見る(さらに、自身の優先選択に基づき速度を制御することができる)ことになる。
CT事例の例では、臨床医により選択された第1の強調表示された「キー画像」は、記号を適用する時点で放射線医が用いていた正確な表示状態で肺塞栓を示す。このためには、例えば、用いられた特定のウィンドウ/レベル設定、拡大率、用いられた特定の処理アルゴリズム、特定の解剖学的方位(矢状縫合、軸、冠状縫合に関するもの)および使用された3Dボリューム・レンダリングを含む(これらに限定されるものではない)、事前選択されたいくつかの変数が必要となる。本発明と一致するある実施形態では、事前選択変数は、ユーザによるキー画像の強調表示の前に選択されることができる。ステップ305においてキー画像を強調表示すると、時間のかかる画像操作プロセスを臨床医が回避するための「ショートカット」が生成され、臨床医は、解釈する放射線医とまったく同じやり方で画像を精査することができるようになる。
ステップ305においてコンピュータ・プログラム110によりジェスチャまたは記号が自動的に適用されている間、臨床医は、電子診察を受動的に見る。コンピュータ・プログラム110は、コンピュータ・プログラム110のジェスチャ認識ソフトウェアにより各記号が認識されている間、ジェスチャまたは記号それ自体に加えて、対応するテキストを臨床医に示す。これは事実上、臨床医向けのジェスチャまたは記号の認識に関する教育ツールを作成し、適用された各ジェスチャとそれに対応するテキストとを積極的に関係づけることを可能にするという利点を有する。
肺塞栓に関するジェスチャまたは記号がコンピュータ・プログラム110により適用された後、臨床医は、プログラム110により適用される様々な修飾記号を見る。かかる修飾記号は、例えばサイズ(すなわち、線状測定値または容積測定値)、解剖学的位置(すなわち、右上肺葉肺動脈2次分枝)、内部構成(すなわち、非石灰化および閉塞性)、臨床的意義(すなわち、極めて高い)および診断信頼レベル(すなわち、高い)を記述する。ジェスチャが、記録された順序で適用されながら示されることができるか、またはユーザの選択に応じて一度にすべて示されることができることに注意されたい。
本発明と一致する別の実施形態では、コンピュータ・プログラム110による記号適用の全シーケンス(典型的な例では、5〜10秒を要する)の完了後、臨床医はステップ306において、教育アイコンをクリックして「オン」にすることにより「追加データ」の表示を選択することができる。すると、コンピュータ・プログラム110は、事前定義されたユーザの優先選択に基づきデータベースを検索する検索エンジンを用いて、例えば雑誌(ジャーナル)記事、ウェブ・リンク、関連事例の教示ファイル事例を含む、いくつかのリソースを臨床医に提示する。
本発明のある実施形態のステップ307においてコンピュータ・プログラム110により臨床医に提示される別のオプションは、上記の通りの臨床医の既定の優先選択のみならず、例えば、報告所見および臨床的徴候用にカスタマイズされた意思決定支援ツール(すなわち画像処理、CAD、セグメンテーション、鑑別診断)をも適用するというものである。
臨床医が「追加データ」を表示しないことを選択した場合、この画像の電子診療はステップ308においてコンピュータ・プログラム110により終了され、第2の強調表示された「キー画像」がステップ309においてコンピュータ・プログラムにより提示され、この例示の事例では、5日前に行われた比較CT検査に比べて全容積が20%減少した右下肺葉上区内の肺炎の所見が示される。
コンピュータ・プログラム110によるこのシーケンスは比較的短く(およそ5〜10秒)、コンピュータ・プログラム110は第3および第4の強調表示「キー画像」の提示を続け、その後、電子診察は終了する。
イベントの全シーケンスは、臨床医により用いられるオプションに応じて短い期間(約1〜3分)を要する。診察中いつでも臨床医は、画像またはデータの特定のポイントを(スタイラス104を用いて)強調表示することができ、プログラム110は、例えば病状、放射線所見、患者名、モダリティなどのような既定の因子によりアクセスされることのできる当該プログラム自体の画像フォルダに電子的に送信するために、「それ(強調表示ポイント)を保存」する。
イベントの全シーケンスは、臨床医により用いられるオプションに応じて短い期間(約1〜3分)を要する。診察中いつでも臨床医は、画像またはデータの特定のポイントを(スタイラス104を用いて)強調表示することができ、プログラム110は、例えば病状、放射線所見、患者名、モダリティなどのような既定の因子によりアクセスされることのできる当該プログラム自体の画像フォルダに電子的に送信するために、「それ(強調表示ポイント)を保存」する。
本発明のジェスチャ・ベース報告を用いる電子診察は双方向性を有し、コンピュータ・プログラム110は、臨床医が最初に報告を行う場合には同一シーケンスが逆の順序で精査されることを可能にする。この例示的な場合、臨床医(すなわちER内科医)が最初に(すなわち午前1時30分に)胸部レントゲン写真を精査し、自身の仮解釈を適切な身振り言語を用いて記録した。例えば、臨床医は次のような記号を(この順序に)記録した。
1. 密度、範囲不明確、右下肺葉、臨床的意義不確か
2. 心臓肥大、軽度、臨床的意義極小
3. 退行性変化、中央胸椎、急性の臨床的意義なし
この例では放射線医は、この研究を例えば午前8時に解釈し、ジェスチャ・ベース報告方法を用いてER内科医の解釈を精査する(ほんの数秒(すなわち5〜10秒)しか掛からない)。EMRへの自動検索により得られた追加データは、患者の白血球(WBC)数が正常であり発熱がないことを示す。
1. 密度、範囲不明確、右下肺葉、臨床的意義不確か
2. 心臓肥大、軽度、臨床的意義極小
3. 退行性変化、中央胸椎、急性の臨床的意義なし
この例では放射線医は、この研究を例えば午前8時に解釈し、ジェスチャ・ベース報告方法を用いてER内科医の解釈を精査する(ほんの数秒(すなわち5〜10秒)しか掛からない)。EMRへの自動検索により得られた追加データは、患者の白血球(WBC)数が正常であり発熱がないことを示す。
加えて、この例では患者の画像ファイルには、1年前に行われたCT検査が含まれ、当該検査では例えば同様の、濃度の範囲が不明確な右下肺葉上区が見られ、鑑別診断は肺炎、吸引および癌を(統計的尤度の逐次順に)示した。
これらの(同一解剖学的部位の)様々なモダリティを相関させると放射線医は、例えば慢性の所見、サイズの経時的増大、および炎症性の経過を示唆する対症データの欠如により主に癌腫が懸念されると結論づけることができる。ジェスチャ・ベース報告方法を用いて画像にジェスチャを入力する時に放射線医により用いられる対応するジェスチャまたは記号は、例えば次のようなデータを(適用順に)表す。
1. 濃度、範囲不明確、右下肺葉上区、前回04年4月30日の胸部CTと比較したサイズ増はゆるやか、主診断は癌腫、臨床的意義高し、フォローアップ推奨事項:胸部CTおよび腫瘍診察
2. 心臓肥大;仮解釈からの変更なし
3. 胸部脊柱の退行性変化;仮解釈からの変更なし
放射線医の精査および解釈の過程で放射線医は、ER内科医により当初行われた心臓肥大および退行性変化の所見を「原状のまま」確認することを選択することができる。これは例えば、ER内科医により入力された対応する記号の上に「チェックマーク」のジェスチャを付けることにより行うことができる。その後、放射線医は、範囲が不明確な右下肺葉の濃度を表すジェスチャまたは記号を修飾し、次いで「統計画像診察」に関してER内科医に電子的にページングするための指示を付けて画像/レポートを高優先キューに入れることができる。
これらの(同一解剖学的部位の)様々なモダリティを相関させると放射線医は、例えば慢性の所見、サイズの経時的増大、および炎症性の経過を示唆する対症データの欠如により主に癌腫が懸念されると結論づけることができる。ジェスチャ・ベース報告方法を用いて画像にジェスチャを入力する時に放射線医により用いられる対応するジェスチャまたは記号は、例えば次のようなデータを(適用順に)表す。
1. 濃度、範囲不明確、右下肺葉上区、前回04年4月30日の胸部CTと比較したサイズ増はゆるやか、主診断は癌腫、臨床的意義高し、フォローアップ推奨事項:胸部CTおよび腫瘍診察
2. 心臓肥大;仮解釈からの変更なし
3. 胸部脊柱の退行性変化;仮解釈からの変更なし
放射線医の精査および解釈の過程で放射線医は、ER内科医により当初行われた心臓肥大および退行性変化の所見を「原状のまま」確認することを選択することができる。これは例えば、ER内科医により入力された対応する記号の上に「チェックマーク」のジェスチャを付けることにより行うことができる。その後、放射線医は、範囲が不明確な右下肺葉の濃度を表すジェスチャまたは記号を修飾し、次いで「統計画像診察」に関してER内科医に電子的にページングするための指示を付けて画像/レポートを高優先キューに入れることができる。
するとER内科医は、対応する患者情報および画像/レポート情報の記載された統計ページを受信することができる。その後、今度はER内科医が放射線医の解釈/電子診療を精査し、ER内科医がかかる診察を受信し、かかる解釈に同意し、推奨されたCTおよび腫瘍診察を指図済みであることを記載した電子文字メッセージ(すなわち高優先事項)を放射線医に返信することができる。
臨床医が画像を精査して、解釈する放射線医が見落としたものを見つけたと思う場合には当然、対話式診察が開始できる。その場合、臨床医は、適切なジェスチャを(臨床医独自の色またはその他の識別用フォーマットを用いて)記録し、解明のために、解釈を行った放射線医に画像を電子的に送信することができる。文字メッセージを打ち込むかまたは単に新規追加記号のすぐ隣に疑問符を付すことにより、放射線医には臨床医からの照会だと分かり、放射線医は画像を修飾して臨床医に再送信することができる。この電子診察はその後、将来の参照に備えて患者の画像フォルダに記憶されることができる。すべての連絡は身振り言語の形態を取り、画像データの追加「層(レイヤー)」として記録されることができる。
続いて、診察する腫瘍医によりこの画像/レポートが例えば3時間後に精査される場合、腫瘍医は、行われた所見、解釈、およびその結果行われた診察の一部または全部を精査することができる。腫瘍医が「すべての所見」を精査すことを選択した場合、コンピュータ・プログラム110は、まず、ER内科医のジェスチャ・ベース・レポートの所見を(例えば青のような特定の色のカラーコードで)、次いで、放射線医のジェスチャ・ベース・レポートの所見を(例えば赤のような特定の色のカラーコードで)提示する。腫瘍医も同様に、画像に追加所見を加えるか、または追加の臨床的/履歴データを組み込むことができる。
この特定の例では腫瘍医は、肋骨破壊(すなわち、第4右後部肋骨、重篤度は軽度、診断信頼度不確か、臨床的意義高し)を識別する。この「不審な食い違い」は、腫瘍医による入力時にコンピュータ・プログラム110により識別され、コンピュータ・プログラム110はこの識別に基づき「食い違いキュー」を入力する際、解釈を行った放射線医に電子的にレポートを送信する。
その後、放射線医が腫瘍医の所見を精査し、腫瘍医に文字メッセージを送信して、例えば、行われた追加所見を承認し、かかる追加所見は、指図された胸部CTにおいてより十分に評価される。この連絡(音声ファイルを含む、所望の任意のフォーマットによる)は、来るべき胸部CTを解釈する放射線医が、胸部レントゲン写真に関与する3人すべての内科医の画像所見および臨床メモに直接アクセスできるように画像に(例えば診察タブで)添付されることもできる。
次に、これら3人の内科医が、胸部ジェスチャ・ベース・レポートを(注釈付きのキー画像付きで)電子メッセージにより自動的に受信する。このプロセス全体は簡単に遂行でき、極わずかな時間しか要さない。実際には、各内科医が相手の所見を精査して修飾を入力し通信プロトコルを開始するために必要な時間は、例えば3分未満であるべきである。
本発明と一致する別の実施形態では、ユーザ独自の署名が、画像報告に対するある一定の特権を定義するために使用できる。あるユーザが他のユーザのジェスチャを積極的に変更または削除することができる(すなわち、放射線医が参照臨床医のジェスチャを変更または削除することができる)場合、これにより「セカンド・オピニオン」、診察および照会の権限が提供される。
本発明と一致する別の実施形態では、ユーザ独自の署名が、画像報告に対するある一定の特権を定義するために使用できる。あるユーザが他のユーザのジェスチャを積極的に変更または削除することができる(すなわち、放射線医が参照臨床医のジェスチャを変更または削除することができる)場合、これにより「セカンド・オピニオン」、診察および照会の権限が提供される。
例えば、放射線分科専門医は、主要放射線医、参照臨床医または患者により、画像を精査して「セカンド・オピニオン」または診察を提供することを求められる場合がある。診察する放射線医は、原レポートに対してジェスチャを追加または削除する。その際、(ジェスチャまたは記号の形態での)変更は、プログラム110により異なる色またはその他のフォーマットで記録され、そのため、ユーザは主要診察放射線医のレポートの性質が異なることを認識することができる。各「個別」レポートは個々に選択またはアクティブ化されることができ、レポートの「最終」バージョン(画像アーカイブに記憶された通りのもの)はすべてのバージョンを記録する。参照臨床医が画像/レポートを精査したいと考える場合、プログラム110は参照臨床医に、どのレポートをデフォルトとして使用するかを選択するように求める。
本発明と一致する別の実施形態では、臨床医は、これと同じ概念を用いて自身の患者の記録内に自身が解釈した画像所見を記録することができる。例えば、腫瘍医は、解釈を行った放射線医により言及されていない追加所見を記録したいと考える場合がある。腫瘍医は、対応する画像に追加の記号またはジェスチャを記録し、それら注釈付き画像を、患者の腫瘍フォルダに収められる「キー画像」として「保存する」。これらの画像はその後、患者の次の来診時または治療時に精査される。患者がフォローアップ画像検査(治療に対する反応を測定するためのもの)を有する場合、腫瘍医により照会が行われると、注釈付きの画像が(腫瘍医により自身のデフォルトとして選択された通りに)引き出される。コンピュータ(意思決定支援の形態として人工知能を用いる)は、腫瘍医によるジェスチャまたは記号を認識し、フォローアップ検査時に当該解剖学的部位および画像特徴を強調表示する。これにより、腫瘍医は自身の埋め込みジェスチャを用いて画像所見を連続的に追跡することができる。
本発明と一致する別の実施形態では、多層的な取り組み方法が、一部の放射線学的データ(すなわちマンモグラフィ)の分析に対して取られることができる。この実施形態では、RISおよびモダリティが第1の2つの情報層を提供する一方で、第3および第4の層は放射線医により入力される。さらに、NLPが等式に追加されると、先の画像/レポートは、関連データについて事前に選別され、CADオーバーレイと同様のやり方で解釈時に放射線医に提示されることができる。
この実施形態における個別の層は、エクセルのスプレッドシートとほぼ同じように組み込まれることができ、ユーザは、関係する特定のタブをクリックすることになる。「層1」のタブがクリックされると、この層内に収容された個別データ(すなわち、履歴データ、臨床的徴候、履歴比較のような背景データ)が、リンクされた歴史的画像を直接表示するための能力と共に表示される。「層2」のタブがアクティブにされると、個別データ(すなわち、QA記述子、手法、乳腺密度および局在マーカのような技術的側面)が表示される。これにより、個々の放射線医または臨床医は、自身の表示プロトコルを標準的デフォルトとしてカスタマイズすることができるようになる。すべてのデータは画像内に埋め込まれるかまたはリンクされるが、何が表示されるかは、個々のエンド・ユーザの裁量による。
「層3」は、上記の通りの本発明の方法およびシステムに従って放射線医の画像所見を収容し、「層4」は、所見の臨床的意義、フォローアップ推奨事項および診断信頼度のような解釈である。比較研究およびレポートは電子的にリンクでき、ジェスチャ・ベース報告を用いて解釈される場合、経時的サブトラクション法が、指定された病理部位に対する有用なツールとなることがある。
本発明と一致するその他の実施形態では、下記のような修正が、ジェスチャ・ベース報告が企てられるか、補助的技術が用いられるか、または出力が生成される個別のやり方で行われることができる。
例えば、上記の通りの異なる入力デバイス104または異なる表示デバイス102以外の潜在的修正には、表で特定されたものとは異なる身振り言語または記号言語が含まれる。例えば、ユーザは、自分独自のジェスチャおよび記号を作成する能力を有し、かかるジェスチャおよび記号が今度は、従来のソフトウェアを用いて、標準化された言語にマッピングし戻されることができる。提案された図式言語に加えて、アルファベット数字式記号も同じタスクを遂行できるが、国際的ユーザ間の言語の相違により制限を受けるはずである。
例えば、上記の通りの異なる入力デバイス104または異なる表示デバイス102以外の潜在的修正には、表で特定されたものとは異なる身振り言語または記号言語が含まれる。例えば、ユーザは、自分独自のジェスチャおよび記号を作成する能力を有し、かかるジェスチャおよび記号が今度は、従来のソフトウェアを用いて、標準化された言語にマッピングし戻されることができる。提案された図式言語に加えて、アルファベット数字式記号も同じタスクを遂行できるが、国際的ユーザ間の言語の相違により制限を受けるはずである。
前記の通り、異なる出力(すなわちレポート)が使用できる。生成される出力は、ユーザの特定の優先選択に合わせてカスタマイズできる。画像の上にジェスチャ・ベース報告記号を重ね合わせるグラフィック表示に加えて、ジェスチャは、EMRがこれらのジェスチャを未加工フォーマットで記憶するXMLスキーマに対してマッピングされることができる。
さらに、医用画像以外の、ジェスチャ・ベース報告の追加適用が存在する。ジェスチャ・ベース報告は、データが図解、線図または写真の形態で提示または記録される場合にはいつでも、実行可能な報告代替手段になる。医用画像は、内視鏡検査、心臓科、眼科、気管支鏡検査、皮膚科および結腸内視術を含め(それらに限らず)、いくつかの非画像専門部門において記録される。得られた画像は現在、EMRに記憶されており、記号を用いてレポートを生成するために容易に使用できる。
例えば、冠動脈血管造影を行う心臓医は、すべて身振り言語を用いて血管狭窄(重篤度、位置、臨床的意義)および提案される治療オプションを記述するために、画像に埋め込まれたジェスチャまたは記号を使用することができる。この心臓医は身振り言語を用いて(心臓壁運動異常のような)機能異常を報告することもでき、かかる身振り言語は従来の散文報告よりも容易に伝わるはずである。
電子的に(意思決定支援を用いて)所見を識別し経時的変化を追跡する能力は、診断および患者管理の大部分が視覚的入力に基づく皮膚科のような専門部門では極めて有用である。多病巣性発疹の写真を撮る皮膚医は、皮膚症状の数、サイズおよび領域的分布の経時的変化を定量化するために経時的サブトラクション技術を用いることができる。ジェスチャ・ベース報告は、関連所見を識別して記述するために身振り言語または記号言語を使用することができ、コンピュータ・プログラムは、フォローアップ検査時に、以前識別された異常部位を自動的に強調表示して、一連の定量的および定性的比較を行うことができる。これによりジェスチャ・ベース報告は、診断と治療との両方のための価値あるリソースになる。
医用写真は、病理を明らかにするために一般には手術室で撮られており、これらの写真は同様のやり方で容易に使用できるはずである。外科医は単に、病理部位の上にジェスチャを重ね合わせることで、拡大および画像処理を提供して懸念部位を強調するためのコンピュータ・ワークステーションの機能を使用する。病理部位と周囲の正常な組織および器官との解剖学的関係は医用写真撮影を用いて最もよく表され、ジェスチャ・ベース報告は論理的な報告手段となる。
手術中に撮られる「巨視的」写真に加えて、「微視的」写真も病理医により広く使用されており、ジェスチャ・ベース報告に十分適する。病理学では、正常細胞と異常細胞との間の境界が特に重要で、文字(テキスト)レポートはこれらの微妙な違いを伝えることが困難である。特殊染色された顕微鏡試料の拡大表示によって、正常細胞と異常細胞との間のこれらの境界の線引きと、異常細胞の明確な識別との両方が行われる。これら個別細胞の特定の異常は、ジェスチャ・ベース記号を用いて強調表示され報告されることができ、かかる記号は再度標準化される。これは、「外部専門家」による診察が求められることの多い病理学では利益になるはずである。標準化された身振り言語または記号言語を用いて強調表示された所見を付けて、巨視的画像および微視的画像を電子的に伝送するための能力は、特に訴求力を有する。
さらに、文字(テキスト)フォーマットで現在書かれている様々な医療メモは、線図上に重ね合わされるジェスチャを用いてジェスチャ・ベース報告フォーマットに容易に変換できる。例えば、病歴および健康診断を記録する内科医は、関連所見ならびに関係する修飾語および以前記述された概念を記録するために、各器官系のコンピュータ生成線図上に重ね合わされた記号を使用することができる。同じ原理が手技メモ、診察および経過メモに適用できる。
ジェスチャ・ベース報告適用向けカルテの別の範疇は、グラフィック表現(EEG、EMG、EKG)で表示される既存の試験である。EEGを解釈する神経医は、異常所見に対応するグラフィック表示の「キー部分」を強調表示し、ジェスチャ・ベース報告を用いてこれらの所見に注釈を付けることができる。すると、強調表示されたこれらのグラフィック分析キー部分は、コンピュータ・プログラムにより包括的データセットとは別に記憶され、フォローアップ検査時の詳細な比較に使用される。意思決定支援のこの適用は、解釈および報告のためにジェスチャ・ベース報告と併せて使用できる。
いくつかの非医用適用は、ジェスチャ・ベース報告に十分適するはずであり、かかる適用には、絵表現または図解表現に基づく一切のものが含まれる。交通事故を調査する警察官または保険査定人は、一連の写真および線図を通じて事故現場、自動車およびその後の損害の図解表現を用いることができ、かかる写真および線図が次には、報告のためにジェスチャまたは記号で注釈を付けられることができる。同様の適用が工学、設計(デザイン)および建築専門化向けに利用できる。
一般医および専門医のこれらの非常に異なるニーズおよび期待に応えるために、2層のジェスチャ・ベース報告言語が、一般放射線医および分科専門放射線医の間で等しい習熟度で使用されることできる。基本セットのジェスチャまたは記号(表1〜2参照)は、共通して見られるいくつかの放射線所見に適用可能であり、すべての画像モダリティおよび解剖学的領域に共通することになるはずである。専門セットのジェスチャ・ベース報告記号は、性質がより粒状で、異なる器官系および画像モダリティ向けに特化される。専門セットの記号に関する知識が不足していても、下記の通り、ジェスチャ・ベース報告方法およびシステムを使用するための人の能力に支障は生じない。
この例として2人の異なる放射線医が、例えば嘔吐および頭痛のある8歳男児の脳CTの解釈にジェスチャ・ベース報告を利用している。一般放射線医は、脳の後頭蓋窩にある塊を識別し「キー画像」を強調表示する。未確認の塊を記述するジェスチャ・ベース報告プロセスを行いながら、この放射線医は、次のような記述子でその塊を記述する。すなわち、塊、範囲不明確、小脳、質量効果極小、臨床的意義高し、病因不確か、MRIのフォローアップ推奨。
当該研究を解釈する神経放射線医もジェスチャ・ベース報告を利用するが、塊を少し異なる用語で次のように記述する。すなわち、塊、小脳虫部、範囲明確、関連水頭症、内部の嚢胞性変化および石灰化、臨床的意義高し、髄芽細胞腫、神経外科診察。
事前プログラムされソフトウェアに入れられたニューラル・ネットワークを用いる本発明のコンピュータ・プログラム110は、意思決定支援、およびEMRから得られた追加情報を用いて、特徴付けを改善するためのいくつかの標的質問を一般放射線医に行う。プログラム110は、まず、解剖マップを用いて塊を局在化することを一般放射線医に求める。その際、対応する参照脳CTがプログラム110により持ち出され、一般放射線医は、問題の塊のある正確な部位にスタイラスを置く。すると、コンピュータ・プログラム110は、その解剖学的位置が「小脳虫部」であることを明らかにする。
事前プログラムされソフトウェアに入れられたニューラル・ネットワークを用いる本発明のコンピュータ・プログラム110は、意思決定支援、およびEMRから得られた追加情報を用いて、特徴付けを改善するためのいくつかの標的質問を一般放射線医に行う。プログラム110は、まず、解剖マップを用いて塊を局在化することを一般放射線医に求める。その際、対応する参照脳CTがプログラム110により持ち出され、一般放射線医は、問題の塊のある正確な部位にスタイラスを置く。すると、コンピュータ・プログラム110は、その解剖学的位置が「小脳虫部」であることを明らかにする。
コンピュータ・プログラム110が行う第2の質問は、「関連水頭症はあるか?」である。一般放射線医は画像を精査し「はい」と答える。コンピュータ・プログラム110により提示される第3の質問は、「この塊は内部に石灰化、出血または嚢胞性変化を含むか?」である。当該放射線医は、嚢胞性変化と石灰化との両方の上を、その存在を指し示すためにスタイラス104で指す。コンピュータ110は(ニューラル・ネットワークを用いて)、問題の塊を髄芽細胞腫として識別し、電子データベースから教示ファイル事例を当該放射線医に提示する。
これらの画像が問題の病型に対応するか否かをコンピュータ・プログラム110により尋ねられたとき、当該放射線医は「はい」と答え、これを「高臨床信頼度」の推定診断として入力する。
最終結果は、両放射線医の最終レポートにおいて塊がほとんど同一であることを記述するために使用されたジェスチャ・ベース言語となる。両者がたどった道筋はわずかに異なっていた可能性はあるが、最終結果および対応するレポートはほぼ同じである。ジェスチャ・ベース報告解釈プロセスへの意思決定支援の組み込みに加えて、身振り言語または記号言語に関する教育的フィードバックもまた、継続的学習のためにエンド・ユーザに提供される。
最終結果は、両放射線医の最終レポートにおいて塊がほとんど同一であることを記述するために使用されたジェスチャ・ベース言語となる。両者がたどった道筋はわずかに異なっていた可能性はあるが、最終結果および対応するレポートはほぼ同じである。ジェスチャ・ベース報告解釈プロセスへの意思決定支援の組み込みに加えて、身振り言語または記号言語に関する教育的フィードバックもまた、継続的学習のためにエンド・ユーザに提供される。
ジェスチャ・ベース報告方法およびシステムの使用に関する学習プロセスも双方向性を有する。コンピュータ・プログラム110が各エンド・ユーザにより独自に作成されたジェスチャまたは記号を正確に把握するために学習している間、エンド・ユーザは、身振り言語または記号言語および記述方法を学習しなければならない。コンピュータ・プログラム110によるジェスチャ認識のこの双方向(対話式)学習プロセスは、音声認識技術で現在用いられているものと類似している。本発明と一致するある実施形態では、入力された記号をコンピュータ・プログラム110が不正確に識別したことが放射線医に分かった場合、放射線医は「学習アイコン」をクリックする。するとコンピュータ・プログラム110は、望みの記号を3回描くことをエンド・ユーザに求め、その記号を対応するテキストにマッピングすることをエンド・ユーザに求める。
本発明と一致するある実施形態では、コンピュータ・プログラム110は、各個別のジェスチャまたは記号が各放射線医により使用される頻度をも追跡し、最もよく使用されるジェスチャまたは記号の統計プロフィールを作成する。合わせて、これは、コンピュータ・プログラム110がジェスチャ認識の精度を高めることを可能にする。
エンド・ユーザ教育は、例えば、よく使用されるジェスチャまたは記号およびユーザ独自の記号の作成法を放射線医に教示するオンライン学習を含む、いくつかの手段を通じて提供されることができる。また、コンピュータ・プログラム110は、スタイラス104を用いて望みのジェスチャまたは記号を画像に「タッチ・アンド・ドラッグする」ことにより使用できる標準化されたジェスチャまたは記号(対応するテキスト付き)のライブラリを提供することもできる。すべての概念がジェスチャ単体により記述できるわけではないので、これらの場合のために、代替入力(音声またはプルダウン・メニュー)が報告システム100に含まれることができる。
エンド・ユーザ教育は、例えば、よく使用されるジェスチャまたは記号およびユーザ独自の記号の作成法を放射線医に教示するオンライン学習を含む、いくつかの手段を通じて提供されることができる。また、コンピュータ・プログラム110は、スタイラス104を用いて望みのジェスチャまたは記号を画像に「タッチ・アンド・ドラッグする」ことにより使用できる標準化されたジェスチャまたは記号(対応するテキスト付き)のライブラリを提供することもできる。すべての概念がジェスチャ単体により記述できるわけではないので、これらの場合のために、代替入力(音声またはプルダウン・メニュー)が報告システム100に含まれることができる。
本発明の上記実施形態が、本発明の原理の明確な理解のために記載された単に考え得る実施の具体例にすぎないことが強調される。変形および変更は、本発明の精神および原理から逸脱することなく本発明の上記実施形態に合わせて行うことができる。かかる変更および変形はすべて、本願においては本発明の適用範囲内に含まれ、かつ、以下の特許請求の範囲により保護されることが意図される。
Claims (58)
- コンピュータで実施される画像報告方法であって、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第1の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。 - あらかじめ定められた情報に対応する少なくとも第2の記号を前記画像に埋め込むステップをさらに有する、請求項1に記載の方法。
- 前記第2の記号が修飾子記号である、請求項2に記載の方法。
- 入力デバイスが、前記少なくとも第1の記号および前記第2の記号を埋め込むために使用される、請求項2に記載の方法。
- 前記入力デバイスがプログラム可能スタイラスである、請求項4に記載の方法。
- 画像研究における複数の画像から前記画像を提供するステップをさらに有する、請求項3に記載の方法。
- 前記画像研究を、静態的態様および動態的態様のいずれかで表示のために提供することができる、請求項6に記載の方法。
- 前記あらかじめ定められた情報が、医用適用における病理に対応している、請求項3に記載の方法。
- 前記修飾子が前記病理を識別して定量化する、請求項8に記載の方法。
- 前記第1および前記第2の記号の少なくとも一方のすぐ隣に、前記あらかじめ定められた情報と相互に関係しているテキストを提供するステップと、
前記テキストが前記第1および前記第2の記号の前記少なくとも一方を正確に示していることを確認するステップとをさらに有する、請求項3に記載の方法。 - 前記テキストが前記対応する記号を正確に示していない場合、ユーザのコマンドに応答して前記テキストおよび前記対応する記号を削除するステップをさらに有する、請求項10に記載の方法。
- 前記埋め込み記号付きの前記画像を、選択されたユーザに送付するステップをさらに有する、請求項10に記載の方法。
- 前記埋め込み記号付きの前記画像を、前記画像研究において前記画像から別の画像に移すことのできる、請求項6に記載の方法。
- 前記画像を解釈するために自動意思決定支援システムを適用するステップをさらに有する、請求項3に記載の方法。
- 前記自動意思決定支援システムからの所見を、前記以前の埋め込み記号と異なるフォーマットおよび色のいずれかで埋め込み記号として前記画像上に示すことのできる、請求項14に記載の方法。
- 前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項12に記載の方法。
- 埋め込み記号を有する前記画像のデータベースを、選択された埋め込み記号について検索することのできる、請求項1に記載の方法。
- レポートからの埋め込み記号を別の画像上に配置することにより、当該別の画像を生成するステップをさらに有する、請求項16に記載の方法。
- 埋め込み記号付きの画像が、前記画像研究においてその他の画像とは別個にキー画像として記憶される、請求項6に記載の方法。
- 前記キー画像が、事前に選択された変数を含む事前選択ユーザ・フォーマットで表示される、請求項19に記載の方法。
- 前記記号がユーザにより適用された順序で前記画像上に示される、請求項7に記載の方法。
- 画像解釈を支援するためにユーザに追加データを提供するステップをさらに有する、請求項3に記載の方法。
- 複数のレポートを、異なるフォーマットおよび色で提供される記号付きで生成し、かつ、以前の埋め込み記号付きの前記画像の上に重ねることのできる、請求項18に記載の方法。
- 前記医用適用が放射線医学である、請求項23に記載の方法。
- 前記記号がグラフィック表現および数字表現のいずれかひとつである、請求項1に記載の方法。
- 経時的サブトラクション法を、前記画像の変化を示すために前記レポートに適用することのできる、請求項23に記載の方法。
- 前記画像がレントゲン写真、デジタル表現、写真、グラフィック表現、青写真および医用プリントアウトのいずれかを含む、請求項1に記載の方法。
- ニューラル・ネットワークが、前記画像をさらに定義して解釈するために適用される、請求項14に記載の方法。
- よく使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡するステップをさらに有する、請求項2に記載の方法。
- 画像報告を行うためのプログラムを有するコンピュータ・システムであって、
画像を表示する手段と、
あらかじめ定められた情報に対応する少なくとも第1の記号を前記画像に埋め込む手段と、
前記埋め込み記号付きの前記画像を記憶する手段とを有するコンピュータ・システム。 - あらかじめ定められた情報に対応する少なくとも第2の記号を前記画像に埋め込む手段をさらに有する、請求項31のコンピュータ・システム。
- 前記埋め込み記号付きの前記画像を、選択されたユーザに送付する手段をさらに有する、請求項32のコンピュータ・システム。
- 前記画像を解釈するために自動意思決定支援システムを適用する手段をさらに有する、請求項33に記載のコンピュータ・システム。
- 前記埋め込み記号を有する前記画像上でレポートを生成する手段をさらに有する、請求項36に記載のコンピュータ・システム。
- レポートからの埋め込み記号を別の画像上に配置することにより当該別の画像を生成する手段をさらに有する、請求項37に記載のコンピュータ・システム。
- 画像解釈を支援するために追加データをユーザに提供する手段をさらに有する、請求項38に記載のコンピュータ・システム。
- 一般に使用される記号の統計プロフィールを作成して記号認識の精度を高めるために、前記画像に適用される記号の頻度を追跡する手段をさらに有する、請求項39に記載のコンピュータ・システム。
- 画像報告を行うためのコンピュータ・システムであって、
画像を表示するステップと、あらかじめ定められた情報に対応する少なくとも第1の記号を前記画像に埋め込むステップと、前記埋め込み記号付きの前記画像を記憶するステップとを有する、少なくともひとつのプログラムを格納している少なくともひとつのメモリと、
前記プログラムを実行するための少なくともひとつのプロセッサとを有するコンピュータ・システム。 - 画像報告を行うための装置であって、
画像を表示するディスプレイと、
あらかじめ定められた情報に対応する少なくともひとつの記号を前記画像に入力する入力デバイスと、
前記埋め込み記号付きの前記画像を記憶する記憶デバイスとを有する装置。 - 前記入力デバイスがプログラム可能スタイラスである、請求項42に記載の装置。
- 前記画像を解釈する自動意思決定支援システムをさらに有する、請求項42に記載の装置。
- 前記ディスプレイがタッチ・スクリーン・モニタである、請求項42に記載の装置。
- 前記ディスプレイがPACSの一部である、請求項42に記載の装置。
- 前記記憶デバイスがPACSの一部である、請求項42に記載の装置。
- 前記記号を認識し、かつ、前記記号と対応するテキストとを関連づけるプロセッサをさらに有する、請求項42に記載の装置。
- コンピュータ可読媒体であって、この媒体の内容がコンピュータ・システムに画像報告を行わせるものであり、前記コンピュータ・システムは、プログラムを有しており、このプログラムが、
画像を表示するステップと、
あらかじめ定められた情報に対応する少なくとも第1の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する、コンピュータ可読媒体。 - コンピュータ・システムを用いる画像報告用のデータ構造によりコード化されたコンピュータ可読記憶デバイスであって、前記データ構造がエントリを有し、
各エントリが、あらかじめ定められた情報に対応する複数の記号を有する、コンピュータ可読記憶デバイス。 - 前記あらかじめ定められた情報に対応するテキストをさらに有する、請求項50に記載のコンピュータ可読記憶デバイス。
- 前記表示するステップがPACSにより行われる、請求項1に記載の方法。
- 前記記憶するステップがPACSにより行われる、請求項1に記載の方法。
- 医用適用における画像報告の、コンピュータで実施される方法であって、
画像を表示するステップと、
病理所見に対応する少なくとも第1の記号を前記画像に埋め込むステップと、
前記埋め込み記号付きの前記画像を記憶するステップとを有する方法。 - 前記病理を識別して定量化する修飾子に対応する少なくとも第2の記号を、前記画像上に埋め込むステップをさらに有する、請求項54に記載の方法。
- 前記埋め込み記号を有する前記画像上でレポートを生成するステップをさらに有する、請求項55に記載の方法。
- 前記ディスプレイがタッチ・スクリーンおよび1対のゴーグルのいずれかである、請求項1に記載の方法。
- 前記画像にユーザの署名を記憶させるステップをさらに有する、請求項23に記載の方法。
- 前記レポートを、前記ユーザの前記署名により前記画像上でソートできる、請求項58に記載の方法。
- 前記ユーザの各署名を、前記画像およびレポートの異なる編集特権に割り当てることのできる、請求項58に記載の方法。
- 少なくとも2人のユーザ間で電子診察を行う方法であって、
画像を表示するステップと、
第1のユーザにおいて、あらかじめ定められた情報に対応する少なくとも第1の記号を前記画像に埋め込むステップと、
前記第1のユーザから少なくとも第2のユーザに、前記埋め込み記号付きの前記画像を送付するステップと、
前記少なくとも第2のユーザから前記第1のユーザに、あらかじめ定められた情報に対応する少なくとも第2の記号付きの前記画像を送付するステップと、
前記第1のユーザにおいて必要な場合、前記画像を変更するステップと、
前記少なくとも第2のユーザに前記画像を送付し返すステップとを有する方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US58641504P | 2004-07-09 | 2004-07-09 | |
PCT/US2005/023807 WO2006017079A2 (en) | 2004-07-09 | 2005-07-08 | Gesture-based reporting method and system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008506188A true JP2008506188A (ja) | 2008-02-28 |
Family
ID=35839716
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007520438A Pending JP2008506188A (ja) | 2004-07-09 | 2005-07-08 | ジェスチャ・ベース報告方法およびシステム |
Country Status (4)
Country | Link |
---|---|
US (1) | US7421647B2 (ja) |
EP (1) | EP1774508A2 (ja) |
JP (1) | JP2008506188A (ja) |
WO (1) | WO2006017079A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029255A1 (ja) * | 2010-08-30 | 2012-03-08 | 富士フイルム株式会社 | 医療情報表示装置および方法、並びにプログラム |
JP2014049125A (ja) * | 2012-08-31 | 2014-03-17 | General Electric Co <Ge> | 手順を文書記録する方法及び装置 |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130304453A9 (en) * | 2004-08-20 | 2013-11-14 | Juergen Fritsch | Automated Extraction of Semantic Content and Generation of a Structured Document from Speech |
US7584103B2 (en) * | 2004-08-20 | 2009-09-01 | Multimodal Technologies, Inc. | Automated extraction of semantic content and generation of a structured document from speech |
US8117549B2 (en) * | 2005-10-26 | 2012-02-14 | Bruce Reiner | System and method for capturing user actions within electronic workflow templates |
DE102005061796A1 (de) * | 2005-12-23 | 2007-06-28 | Siemens Ag | Verfahren zur Modifikation einer Anzahl von Prozesssteuerungsprotokollen |
DE102006020399A1 (de) * | 2006-04-28 | 2007-10-31 | Siemens Ag | Medizintechnisches Diagnose- und Datenverarbeitungssystem |
US7831423B2 (en) * | 2006-05-25 | 2010-11-09 | Multimodal Technologies, Inc. | Replacing text representing a concept with an alternate written form of the concept |
US7716040B2 (en) * | 2006-06-22 | 2010-05-11 | Multimodal Technologies, Inc. | Verification of extracted data |
US7694240B2 (en) * | 2006-11-22 | 2010-04-06 | General Electric Company | Methods and systems for creation of hanging protocols using graffiti-enabled devices |
US20080117230A1 (en) * | 2006-11-22 | 2008-05-22 | Rainer Wegenkittl | Hanging Protocol Display System and Method |
US8781193B2 (en) | 2007-03-08 | 2014-07-15 | Sync-Rx, Ltd. | Automatic quantitative vessel analysis |
US9375164B2 (en) | 2007-03-08 | 2016-06-28 | Sync-Rx, Ltd. | Co-use of endoluminal data and extraluminal imaging |
US9629571B2 (en) | 2007-03-08 | 2017-04-25 | Sync-Rx, Ltd. | Co-use of endoluminal data and extraluminal imaging |
US11197651B2 (en) | 2007-03-08 | 2021-12-14 | Sync-Rx, Ltd. | Identification and presentation of device-to-vessel relative motion |
US9968256B2 (en) | 2007-03-08 | 2018-05-15 | Sync-Rx Ltd. | Automatic identification of a tool |
JP5639764B2 (ja) | 2007-03-08 | 2014-12-10 | シンク−アールエックス,リミティド | 運動する器官と共に使用するイメージング及びツール |
US11064964B2 (en) * | 2007-03-08 | 2021-07-20 | Sync-Rx, Ltd | Determining a characteristic of a lumen by measuring velocity of a contrast agent |
US10716528B2 (en) | 2007-03-08 | 2020-07-21 | Sync-Rx, Ltd. | Automatic display of previously-acquired endoluminal images |
JP4934513B2 (ja) * | 2007-06-08 | 2012-05-16 | 株式会社日立メディコ | 超音波撮像装置 |
US8249892B2 (en) * | 2007-06-12 | 2012-08-21 | Bruce Reiner | Method of data mining in medical applications |
US8655677B2 (en) * | 2007-06-12 | 2014-02-18 | Bruce Reiner | Productivity workflow index |
US8315482B2 (en) * | 2007-06-26 | 2012-11-20 | Microsoft Corporation | Integrated platform for user input of digital ink |
US8094939B2 (en) * | 2007-06-26 | 2012-01-10 | Microsoft Corporation | Digital ink-based search |
WO2009078297A1 (ja) * | 2007-12-19 | 2009-06-25 | Konica Minolta Medical & Graphic, Inc. | 動態画像処理システム |
US8184092B2 (en) * | 2008-05-22 | 2012-05-22 | International Business Machines Corporation | Simulation of writing on game consoles through the use of motion-sensing technology |
US20090291759A1 (en) * | 2008-05-22 | 2009-11-26 | International Business Machines Corporation | Simulation of writing on game consoles through the use of motion-sensing technology |
US8160347B2 (en) * | 2008-06-03 | 2012-04-17 | Siemens Medical Solutions Usa, Inc. | System and method for intelligent CAD processing |
US20100081923A1 (en) * | 2008-09-29 | 2010-04-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Histological facilitation systems and methods |
US20100081190A1 (en) * | 2008-09-29 | 2010-04-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Histological facilitation systems and methods |
US20100081925A1 (en) * | 2008-09-29 | 2010-04-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Histological facilitation systems and methods |
US20100081919A1 (en) * | 2008-09-29 | 2010-04-01 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Histological facilitation systems and methods |
WO2010051037A1 (en) * | 2008-11-03 | 2010-05-06 | Bruce Reiner | Visually directed human-computer interaction for medical applications |
US10362962B2 (en) | 2008-11-18 | 2019-07-30 | Synx-Rx, Ltd. | Accounting for skipped imaging locations during movement of an endoluminal imaging probe |
US9095313B2 (en) | 2008-11-18 | 2015-08-04 | Sync-Rx, Ltd. | Accounting for non-uniform longitudinal motion during movement of an endoluminal imaging probe |
US9144394B2 (en) | 2008-11-18 | 2015-09-29 | Sync-Rx, Ltd. | Apparatus and methods for determining a plurality of local calibration factors for an image |
US9101286B2 (en) | 2008-11-18 | 2015-08-11 | Sync-Rx, Ltd. | Apparatus and methods for determining a dimension of a portion of a stack of endoluminal data points |
US9974509B2 (en) | 2008-11-18 | 2018-05-22 | Sync-Rx Ltd. | Image super enhancement |
US11064903B2 (en) | 2008-11-18 | 2021-07-20 | Sync-Rx, Ltd | Apparatus and methods for mapping a sequence of images to a roadmap image |
KR101593598B1 (ko) * | 2009-04-03 | 2016-02-12 | 삼성전자주식회사 | 휴대단말에서 제스처를 이용한 기능 실행 방법 |
WO2011127459A1 (en) | 2010-04-09 | 2011-10-13 | Zoll Medical Corporation | Systems and methods for ems device communications interface |
US8321196B2 (en) * | 2009-08-05 | 2012-11-27 | Fujifilm Medical Systems Usa, Inc. | System and method for generating radiological prose text utilizing radiological prose text definition ontology |
US20110087624A1 (en) * | 2009-08-05 | 2011-04-14 | Fujifilm Medical Systems Usa, Inc. | System and Method for Generating Knowledge Based Radiological Report Information Via Ontology Driven Graphical User Interface |
US8504511B2 (en) * | 2009-08-05 | 2013-08-06 | Fujifilm Medical Systems Usa, Inc. | System and method for providing localization of radiological information utilizing radiological domain ontology |
US20110035235A1 (en) * | 2009-08-05 | 2011-02-10 | Hale Charles R | System and Method for Processing Radiological Information Utilizing Radiological Domain Ontology |
US20110035208A1 (en) * | 2009-08-05 | 2011-02-10 | Hale Charles R | System and Method for Extracting Radiological Information Utilizing Radiological Domain Report Ontology and Natural Language Processing |
US20110035352A1 (en) * | 2009-08-05 | 2011-02-10 | Hale Charles R | System and Method for Processing Radiological Information Utilizing Radiological Domain Ontology |
US8832585B2 (en) * | 2009-09-25 | 2014-09-09 | Apple Inc. | Device, method, and graphical user interface for manipulating workspace views |
US8692774B2 (en) * | 2009-11-24 | 2014-04-08 | General Electric Company | Virtual colonoscopy navigation methods using a mobile device |
US20110282194A1 (en) * | 2010-05-06 | 2011-11-17 | Bruce Reiner | Method and apparatus of quantitative analysis and data mining of medical imaging agent administration |
US8959102B2 (en) | 2010-10-08 | 2015-02-17 | Mmodal Ip Llc | Structured searching of dynamic structured document corpuses |
US10485490B2 (en) | 2010-11-11 | 2019-11-26 | Zoll Medical Corporation | Acute care treatment systems dashboard |
US9870141B2 (en) * | 2010-11-19 | 2018-01-16 | Microsoft Technology Licensing, Llc | Gesture recognition |
BR122017007260A8 (pt) | 2010-12-08 | 2017-12-05 | Bayer Healthcare Llc | Método implementado por computador para determinar uma estimativa da dose de radiação absorvida por um indivíduo ao receber uma varredura de imagem, sistema e meio de armazenamento não-transitório legível por computador |
EP2723231A4 (en) | 2011-06-23 | 2015-02-25 | Sync Rx Ltd | LUMINAL BACKGROUND CLEANING |
US10423248B2 (en) | 2011-10-28 | 2019-09-24 | Wacom Co., Ltd. | Touch-sensitive system with motion filtering |
JP2013101526A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
US9025111B2 (en) | 2012-04-20 | 2015-05-05 | Google Inc. | Seamless display panel using fiber optic carpet |
JP6134789B2 (ja) | 2012-06-26 | 2017-05-24 | シンク−アールエックス,リミティド | 管腔器官における流れに関連する画像処理 |
US8826128B2 (en) * | 2012-07-26 | 2014-09-02 | Cerner Innovation, Inc. | Multi-action rows with incremental gestures |
WO2014052802A2 (en) | 2012-09-28 | 2014-04-03 | Zoll Medical Corporation | Systems and methods for three-dimensional interaction monitoring in an ems environment |
US9164596B1 (en) | 2012-10-22 | 2015-10-20 | Google Inc. | Method and apparatus for gesture interaction with a photo-active painted surface |
US9014417B1 (en) | 2012-10-22 | 2015-04-21 | Google Inc. | Method and apparatus for themes using photo-active surface paint |
US9195320B1 (en) | 2012-10-22 | 2015-11-24 | Google Inc. | Method and apparatus for dynamic signage using a painted surface display system |
US9265458B2 (en) | 2012-12-04 | 2016-02-23 | Sync-Think, Inc. | Application of smooth pursuit cognitive testing paradigms to clinical drug development |
US9380976B2 (en) | 2013-03-11 | 2016-07-05 | Sync-Think, Inc. | Optical neuroinformatics |
US9317125B2 (en) * | 2013-04-24 | 2016-04-19 | Microsoft Technology Licensing, Llc | Searching of line pattern representations using gestures |
US9721362B2 (en) | 2013-04-24 | 2017-08-01 | Microsoft Technology Licensing, Llc | Auto-completion of partial line pattern |
US9275480B2 (en) | 2013-04-24 | 2016-03-01 | Microsoft Technology Licensing, Llc | Encoding of line pattern representation |
US10114808B2 (en) * | 2014-05-07 | 2018-10-30 | International Business Machines Corporation | Conflict resolution of originally paper based data entry |
US9858385B2 (en) | 2015-07-23 | 2018-01-02 | International Business Machines Corporation | Identifying errors in medical data |
EP3458987A1 (en) | 2016-05-20 | 2019-03-27 | Bayer Healthcare LLC | Flexible, extensible and automated systems and methods for scoring the quality of radiology examinations |
WO2018050247A1 (en) | 2016-09-16 | 2018-03-22 | Siemens Healthcare Gmbh | Controlling cloud-based image processing by assuring data confidentiality |
US10719580B2 (en) | 2017-11-06 | 2020-07-21 | International Business Machines Corporation | Medical image manager with automated synthetic image generator |
Family Cites Families (58)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4974194A (en) * | 1986-04-04 | 1990-11-27 | International Business Machines Corporation | Method for modifying intermingled text object and graphic object within an object set individually or correspondingly |
US5148366A (en) * | 1989-10-16 | 1992-09-15 | Medical Documenting Systems, Inc. | Computer-assisted documentation system for enhancing or replacing the process of dictating and transcribing |
JPH05108288A (ja) * | 1991-10-17 | 1993-04-30 | Fuji Xerox Co Ltd | 情報分類支援装置 |
US5734915A (en) * | 1992-11-25 | 1998-03-31 | Eastman Kodak Company | Method and apparatus for composing digital medical imagery |
US5369704A (en) * | 1993-03-24 | 1994-11-29 | Engate Incorporated | Down-line transcription system for manipulating real-time testimony |
US6434262B2 (en) * | 1993-09-29 | 2002-08-13 | Shih-Ping Wang | Computer-aided diagnosis system and method |
US5522022A (en) * | 1993-11-24 | 1996-05-28 | Xerox Corporation | Analyzing an image showing a node-link structure |
JPH07200155A (ja) * | 1993-12-10 | 1995-08-04 | Microsoft Corp | ペン型コンピュータシステムの非目的結果検出 |
US5897648A (en) * | 1994-06-27 | 1999-04-27 | Numonics Corporation | Apparatus and method for editing electronic documents |
US5768607A (en) * | 1994-09-30 | 1998-06-16 | Intel Corporation | Method and apparatus for freehand annotation and drawings incorporating sound and for compressing and synchronizing sound |
US6694163B1 (en) * | 1994-10-27 | 2004-02-17 | Wake Forest University Health Sciences | Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen |
US5782762A (en) * | 1994-10-27 | 1998-07-21 | Wake Forest University | Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen |
JP4356847B2 (ja) * | 1995-11-10 | 2009-11-04 | 万太郎 矢島 | フィールド定義情報生成方法、ならびび、フィールド定義情報生成装置 |
US5838313A (en) * | 1995-11-20 | 1998-11-17 | Siemens Corporate Research, Inc. | Multimedia-based reporting system with recording and playback of dynamic annotation |
US5832474A (en) * | 1996-02-26 | 1998-11-03 | Matsushita Electric Industrial Co., Ltd. | Document search and retrieval system with partial match searching of user-drawn annotations |
US5890177A (en) * | 1996-04-24 | 1999-03-30 | International Business Machines Corporation | Method and apparatus for consolidating edits made by multiple editors working on multiple document copies |
US5920317A (en) * | 1996-06-11 | 1999-07-06 | Vmi Technologies Incorporated | System and method for storing and displaying ultrasound images |
US5924074A (en) * | 1996-09-27 | 1999-07-13 | Azron Incorporated | Electronic medical records system |
US5889888A (en) * | 1996-12-05 | 1999-03-30 | 3Com Corporation | Method and apparatus for immediate response handwriting recognition system that handles multiple character sets |
US6601055B1 (en) * | 1996-12-27 | 2003-07-29 | Linda M. Roberts | Explanation generation system for a diagnosis support tool employing an inference system |
US6041335A (en) * | 1997-02-10 | 2000-03-21 | Merritt; Charles R. | Method of annotating a primary image with an image and for transmitting the annotated primary image |
CA2239146C (en) * | 1997-05-30 | 2007-08-07 | Alan D. Ableson | Method and apparatus for determining internal n-dimensional topology of a system within a space |
US6687404B1 (en) * | 1997-06-20 | 2004-02-03 | Xerox Corporation | Automatic training of layout parameters in a 2D image model |
US6058322A (en) * | 1997-07-25 | 2000-05-02 | Arch Development Corporation | Methods for improving the accuracy in differential diagnosis on radiologic examinations |
US6915265B1 (en) * | 1997-10-29 | 2005-07-05 | Janice Johnson | Method and system for consolidating and distributing information |
US6057845A (en) * | 1997-11-14 | 2000-05-02 | Sensiva, Inc. | System, method, and apparatus for generation and recognizing universal commands |
US6122539A (en) * | 1997-12-31 | 2000-09-19 | General Electric Company | Method for verifying accuracy during intra-operative MR imaging |
JP3619027B2 (ja) * | 1998-09-30 | 2005-02-09 | キヤノン株式会社 | X線撮影装置、x線撮影システム、x線画像処理方法、及びコンピュータ読み取り可能な記録媒体 |
US6687876B1 (en) * | 1998-12-30 | 2004-02-03 | Fuji Xerox Co., Ltd. | Method and system for maintaining freeform ink annotations on changing views |
US6366683B1 (en) * | 1999-03-16 | 2002-04-02 | Curtis P. Langlotz | Apparatus and method for recording image analysis information |
US6785410B2 (en) * | 1999-08-09 | 2004-08-31 | Wake Forest University Health Sciences | Image reporting method and system |
US6738053B1 (en) * | 2000-02-16 | 2004-05-18 | Telefonaktiebolaget Lm Ericsson (Publ) | Predefined electronic pen applications in specially formatted paper |
CN1443329A (zh) * | 2000-11-22 | 2003-09-17 | 里科尔公司 | 记录医疗体检结果的系统和方法 |
US6925200B2 (en) * | 2000-11-22 | 2005-08-02 | R2 Technology, Inc. | Graphical user interface for display of anatomical information |
US20040085443A1 (en) * | 2000-12-13 | 2004-05-06 | Kallioniemi Olli P | Method and system for processing regions of interest for objects comprising biological material |
US7346841B2 (en) * | 2000-12-19 | 2008-03-18 | Xerox Corporation | Method and apparatus for collaborative annotation of a document |
US6883145B2 (en) * | 2001-02-15 | 2005-04-19 | Denny Jaeger | Arrow logic system for creating and operating control systems |
US20030004991A1 (en) * | 2001-06-29 | 2003-01-02 | Keskar Dhananjay V. | Correlating handwritten annotations to a document |
US6901277B2 (en) * | 2001-07-17 | 2005-05-31 | Accuimage Diagnostics Corp. | Methods for generating a lung report |
US7747943B2 (en) * | 2001-09-07 | 2010-06-29 | Microsoft Corporation | Robust anchoring of annotations to content |
WO2003023696A1 (en) * | 2001-09-12 | 2003-03-20 | Auburn University | System and method of handwritten character recognition |
US20030110178A1 (en) * | 2001-11-21 | 2003-06-12 | Icad, Inc. | Method and system of tracking medical films and associated digital images for computer-aided and diagnostic analysis |
US7120299B2 (en) * | 2001-12-28 | 2006-10-10 | Intel Corporation | Recognizing commands written onto a medium |
US20030147099A1 (en) * | 2002-02-07 | 2003-08-07 | Heimendinger Larry M. | Annotation of electronically-transmitted images |
JP3697233B2 (ja) * | 2002-04-03 | 2005-09-21 | キヤノン株式会社 | 放射線画像処理方法及び放射線画像処理装置 |
AU2003247452A1 (en) * | 2002-05-31 | 2004-07-14 | University Of Utah Research Foundation | System and method for visual annotation and knowledge representation |
JP4065507B2 (ja) * | 2002-07-31 | 2008-03-26 | キヤノン株式会社 | 情報提示装置および情報処理方法 |
US7305611B2 (en) * | 2002-08-22 | 2007-12-04 | Platform Digital Llc | Authoring tool for remote experience lessons |
US8386568B2 (en) * | 2002-09-05 | 2013-02-26 | International Business Machines Corporation | Annotating and routing message content |
JP2004208858A (ja) * | 2002-12-27 | 2004-07-29 | Toshiba Corp | 超音波診断装置及び超音波画像処理装置 |
US6988990B2 (en) * | 2003-05-29 | 2006-01-24 | General Electric Company | Automatic annotation filler system and method for use in ultrasound imaging |
JP2005026834A (ja) * | 2003-06-30 | 2005-01-27 | Minolta Co Ltd | 注釈付与装置および注釈付与プログラム |
US7065705B1 (en) * | 2003-12-02 | 2006-06-20 | Inbit, Inc. | Automatic labeling in images |
US7111230B2 (en) * | 2003-12-22 | 2006-09-19 | Pitney Bowes Inc. | System and method for annotating documents |
US7958132B2 (en) * | 2004-02-10 | 2011-06-07 | Microsoft Corporation | Voting based scheme for electronic document node reuse |
US7376903B2 (en) * | 2004-06-29 | 2008-05-20 | Ge Medical Systems Information Technologies | 3D display system and method |
US7574048B2 (en) * | 2004-09-03 | 2009-08-11 | Microsoft Corporation | Freeform digital ink annotation recognition |
US8230326B2 (en) * | 2004-12-17 | 2012-07-24 | International Business Machines Corporation | Method for associating annotations with document families |
-
2005
- 2005-07-08 WO PCT/US2005/023807 patent/WO2006017079A2/en active Application Filing
- 2005-07-08 EP EP05769225A patent/EP1774508A2/en not_active Withdrawn
- 2005-07-08 US US11/176,427 patent/US7421647B2/en not_active Expired - Fee Related
- 2005-07-08 JP JP2007520438A patent/JP2008506188A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012029255A1 (ja) * | 2010-08-30 | 2012-03-08 | 富士フイルム株式会社 | 医療情報表示装置および方法、並びにプログラム |
JP2012048602A (ja) * | 2010-08-30 | 2012-03-08 | Fujifilm Corp | 医療情報表示装置および方法、並びにプログラム |
JP2014049125A (ja) * | 2012-08-31 | 2014-03-17 | General Electric Co <Ge> | 手順を文書記録する方法及び装置 |
JP2018142353A (ja) * | 2012-08-31 | 2018-09-13 | ゼネラル・エレクトリック・カンパニイ | 手順を文書記録する方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
US7421647B2 (en) | 2008-09-02 |
US20060007188A1 (en) | 2006-01-12 |
EP1774508A2 (en) | 2007-04-18 |
WO2006017079A3 (en) | 2007-09-13 |
WO2006017079A2 (en) | 2006-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7421647B2 (en) | Gesture-based reporting method and system | |
US8335694B2 (en) | Gesture-based communication and reporting system | |
JP6997234B2 (ja) | 統合された臨床ケアのための情報科学プラットフォーム | |
AU2018206741B2 (en) | Characterizing states of subject | |
US7607079B2 (en) | Multi-input reporting and editing tool | |
US8117549B2 (en) | System and method for capturing user actions within electronic workflow templates | |
US20100145720A1 (en) | Method of extracting real-time structured data and performing data analysis and decision support in medical reporting | |
WO2009073185A1 (en) | Systems and methods for efficient imaging | |
JP2005510326A (ja) | 画像レポート作成方法及びそのシステム | |
US20080175460A1 (en) | Pacs portal with automated data mining and software selection | |
JP2024515534A (ja) | 人工知能支援の画像解析のためのシステムおよび方法 | |
US20230335261A1 (en) | Combining natural language understanding and image segmentation to intelligently populate text reports | |
US20230334663A1 (en) | Development of medical imaging ai analysis algorithms leveraging image segmentation | |
WO2007050962A2 (en) | Method for capturing user actions within electronic template | |
Andriole et al. | Transforming medical imaging: the first SCAR TRIP™ conference: a position paper from the SCAR TRIP™ Subcommittee of the SCAR Research and Development Committee | |
US20240021318A1 (en) | System and method for medical imaging using virtual reality | |
WO2007143084A2 (en) | Multi-input reporting and editing tool | |
Calisto | MIMBCD-UI |