JP2014527420A - 3次元インターフェイス及びデータベースのためのシステム - Google Patents

3次元インターフェイス及びデータベースのためのシステム Download PDF

Info

Publication number
JP2014527420A
JP2014527420A JP2014519014A JP2014519014A JP2014527420A JP 2014527420 A JP2014527420 A JP 2014527420A JP 2014519014 A JP2014519014 A JP 2014519014A JP 2014519014 A JP2014519014 A JP 2014519014A JP 2014527420 A JP2014527420 A JP 2014527420A
Authority
JP
Japan
Prior art keywords
database
atlas
dimensional
interface
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2014519014A
Other languages
English (en)
Inventor
進 森
進 森
アイ ミラー マイケル
アイ ミラー マイケル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of JP2014527420A publication Critical patent/JP2014527420A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16ZINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
    • G16Z99/00Subject matter not provided for in other main groups of this subclass
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44Browsing; Visualisation therefor
    • G06F16/444Spatial browsing, e.g. 2D maps, 3D or virtual spaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Library & Information Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本発明の実施の形態では、データベースと相互作用するための3次元インターフェイスのためのシステム及び方法を提供する。前記3次元インターフェイスは、生体構造の要素、機械、デバイス、又は他のオブジェクトを表す相互作用的な3次元アトラスを含むことができる。前記アトラスが前記3次元的性質を有するとすると、ユーザーは、より特異的にそれらを見るために特定の領域にズームインすることができる。生体構造の異なる構造点は、ユーザーが、構造点のいずれか1つを選択し、その特定の構造点に関連する情報のデータベースをサーチできるように、名称又は座標で標識される。前記ユーザーは前記選択した特定の構造点に関連してサーチするために、特定のキーワードを使用することもできる。前記3次元インターフェイス及びアトラスは、コンピューティングデバイス上でユーザーに表示され、該コンピューティングデバイスは、該コンピューティングデバイスのメモリ内に前記データベースを収容する、又は、ネットワークを介して前記データベースと交互に通信する。【選択図】図3

Description

[政府権益の声明]
本発明は、国立衛生研究所が授与する助成番号.AG 020012、EB 003543、及びRR 015241の下で、米国政府による援助を受けてなされたものである。利を有する。
[関連出願の相互参照]
本願は、2011年6月29日に出願の米国仮特許出願第61/502,272号、および、2012年3月8日に出願の米国仮特許出願第61/608,261号の利益を主張するものである。斯かる米国仮特許出願は、これらの出願の全てを引用によりここに援用する。
本発明は、概して、情報管理及び情報配信に関する。本発明は、特に、データベースと相互作用する三次元インターフェイスに関する。
市場には、多数の解剖学的なアトラス本がある。印刷媒体に制限があるとすると、これらのアトラス本は、解剖学的構造を二次元で表す。これらの本は、組織構造画像、核磁気共鳴画像等の画像を含み、これらのアトラスは、研究コミュニティーに対して多大に貢献する一方、個別の根本的な制限がある。第一に、二次元の画像パネルでの位置及び方位は、制限されている。異なる組織構造染色もしくは核磁気共鳴画像コントラストのような2種類の画像コントラストが提示されるならば、必要なパネル数は、倍増するであろう。例えば、120頁であった場合、2つのコントラスト及び3方位(冠状方向、矢状方向、軸方向)で、わずかに20スライス位置が示されるだけである。これは、アトラスが約200の脳用であれば、スライス間隔としては、各約5−10mmである。さらに、画像のサイズは固定される。非常に高解像度の画像を潜在的に提供可能な組織構造セクションでさえも、前記パネルが、全体の生体構造の要素もしくは該生体構造の要素内での全体の構造を網羅しようとすると、約8−11インチのパネルサイズにより、実質的な拡大率が決定されて、ユーザーは、高拡大率の画像を利用できない。すなわち、生データの空間的な解像度にもかかわらず、送達可能な解像度は、あらかじめ定められたアトラスのパネル型式によって、決定される。さらに、現存するアトラスの多くは、一連の二次元パネルに基づいており、現実の3次元情報には基づいておらず、参照及び教育を超える研究用途を制限している。
解剖学的構造を表す電子アトラスも利用可能である。脳の典型的な電子アトラスは、69枚のミエリン染色の冠状組織構造セクションと、対応する手書きの構造定義マップとからなる。前記電子型式は、対応する印刷媒体よりも、多数のパネルを含むことを出版業者に許容し、該パネルは異なるコントラストを伴う。ユーザーは、セクションの拡大率だけでなく、前記スライス及び前記セクションのコントラストをダイナミックに調節することができる。このアトラスは、参照/教育のための及びデータベースとしての有力な資料である。例えば、アレン研究所のヒト脳アトラスは、死体解剖MRIに基づくものであり、遺伝子マッピングのためにデザインされているが、これらは、未だ作成途中であり、制限された性能しかない。多数の非商用のウェブアトラスもあり、該ウェブアトラスとしては、例えば、要点と注釈で標識された、MRI及び/又は組織構造セクションに基づく、ミシガン州立大学のヒト脳アトラス(www.msu.edu/Home/Atlases)、全体脳アトラス(www.med.harvard.edu/aanlib)がある。脳地図(www.brainmaps.org)も、座標及び注釈はないが、種々の高解像度組織構造セクションの2次元パネルを提供する。
しかしながら、これらのアトラスで、一貫した座標システム、区分け、及び、豊富なマルチコンテント知識データベースへの接続を伴うマルチスケール機能を提供するものはない。したがって、生体構造の要素の特定部位に関連する情報のデータベースをサーチするだけでなく、生体構造の要素の観察及び相互作用するための、3次元インターフェイスを提供することは、有益であろう。
前述の要求は、本発明により、大いに満たされるものであり、第一の形態は、3次元実体に関連する情報を提供及び検索するシステムであって、該システムは、実体を表す3次元のアトラスを備え、該3次元のアトラスは、少なくとも1つの標識を含む。前記システムは、実体に関連する情報を含むデータベースをも含む。前記情報は、前記標識に関連して分類される。前記データベースのサーチするインターフェイスは、ユーザーが、前記データベースをサーチするために、前記3次元アトラスから前記少なくとも1つの標識のいずれか1つを選択することができるように構成される。前記インターフェイスは、前記データベースにおいて少なくとも1つの標識のいずれか1つに関連して分類されたサーチ結果を返送する。前記三次元アトラス、前記データベース、及び前記インターフェイスは、少なくとも1つのコンピューティングデバイスでプログラムされる。
本発明の他の形態によれば、前記3次元データベースで表される前記実体は、生体構造の要素である。前記3次元アトラスは、磁気共鳴イメージング(MRI)画像、組織構造画像、PET−スキャン画像、及びCAT−スキャン画像等の画像を含む。前記少なくとも1つの標識は、空間座標又は解剖構造の名称であり得る。前記インターフェイスは、前記データベースにおける前記少なくとも1つの標識に関連して分類された前記情報内で前記ユーザーがサーチできるように構成され得る。さらに、前記インターフェイスは、前記ユーザーが前記データベースのキーワードサーチを実行できるように構成され得る。前記データベースは、監視されたデータベース及び監視されていないデータベースの形態をとり得、前記監視されていないデータベースは、前記インターネットで利用可能な情報から構築される。
本発明の他の形態によれば、実体に関連する情報をサーチするための方法は、前記実体の3次元アトラスをレビューするために、コンピュータ化されたユーザーインターフェイスに相互作用するステップを含む。前記方法は、前記実体の前記3次元アトラスの領域に対応する前記コンピュータ化されたユーザーインターフェイス上の標識を選択するステップを含む。前記方法は、前記3次元アトラスの前記領域に対応する標識に関連する前記コンピュータ化されたユーザーインターフェイスにクエリーを入力するステップをも含む。さらに、前記方法は、前記ユーザーインターフェイスに入力した前記クエリーに関連する結果をレビューするステップを含む。
本発明のさらに他の形態によれば、前記データベースは、リモート(遠隔)サーバ上に配置される。代わりに、前記データベースは、前記コンピュータ化されたユーザーインターフェイス上に配置され得る。前記方法は、3次元アトラスの領域に対応する標識に関連するキーワードサーチを実行することを更に含み得る。
本発明のさらに他の形態によれば、臓器又は組織に関連する情報を検索するためのシステムは、前記臓器又は組織を表す3次元アトラスを備える。前記3次元アトラスは、少なくとも1つの標識を含み、該3次元アトラスは、ユーザーが相互作用するように構成される。前記アトラスは、マルチプルスケール(例えば、cm、mm、及びμmスケール)でも提示され得、異なる解剖スケールを伴う異なる解剖標識が、各スケールレベルにおいて含まれ得る。前記システムは、前記臓器又は組織に関連する情報を含むデータベースをも含む。前記情報は、前記少なくとも1つの標識に関連して分類される。前記データベースをサーチするためのインターフェイスは、前記データベースをサーチするため、前記3次元アトラスから前記少なくとも1つの標識のいずれか1つを、ユーザーが選択できるように構成されている。前記インターフェイスは、前記データベースにおいて、前記少なくとも1つの標識のいずれか1つに関連して分類されたサーチ結果を、返送する。前記3次元アトラス、前記データベース、及び前記インターフェイスは、少なくとも1つのコンピュータ化されたデバイスでプログラムされる。
本発明の他の態様によれば、前記3次元アトラスは、磁気共鳴イメージング(MRI)画像、組織構造画像、PET−スキャン画像、及びCAT−スキャン画像等の画像を含む。前記少なくとも1つの標識は、空間座標及び/又は名称であり得る。前記インターフェイスは、前記データベースにおける前記少なくとも1つの標識に関連して分類された情報内で、ユーザーがサーチできるように構成される。前記データベースは、監視されたデータベース及び監視されていないデータベースを含み、前記監視されていないデータベースは、前記インターネットで利用可能な情報から構築される。
前記3次元アトラスは、前記3次元的に配置されたインデックスとして利用され得、教科書、雑誌、絵、及び写真といった、多様なタイプの文書又は他のタイプの電子的な知的財産をサーチ及び検索するのに用い得、前記知的財産は、前記監視されたデータベースの一つとして考えられる。前記同一の三次元アトラスは、複数の知的財産の共有されたインデックスとして用いられ得る。前記3Dアトラスを通じて、要求及び検索される情報は、前記知的財産の一部であり得、前記知的財産のうち、前記要求された一部のみの取引が許容され得る。これは、前記知的財産をより効果的な方法で、共有及び販売することを促進するであろう。
添付の図は、本明細書で開示する代表的な形態をより十分に描写するのに用いられる視覚表示を付与し、その技術分野における当業者が、それら及びそれらの固有の利点を、十分に理解するのに用いられ得る。斯かる図において、同様の参照番号は、対応する要素を同定する。
図1は、本発明の形態の、3次元アトラス及びデータベースと相互作用するためのシステムの模式図を図示する。 図2は、本発明の形態の、3次元アトラス及びデータベースと相互作用するためのシステム用の、コンピューティングデバイスの模式図を図示する。 図3は、本発明の形態のユーザーインターフェイス、サーバ、及びネットワークの模式図を図示する。 図4は、本発明の形態の、実体に関連する情報をサーチするための方法のフローチャートを図示する。 図5は、異なるスケールでの、マルチスケールの解剖学的情報及び構造的概念の例を図示する。 図6は、本発明の形態の、3次元アトラスと監視されたアトラスとの間の接続を図示する。 図7Aから7Eは、150μmでの、マルチプルMRI/DTIコントラストを図示し、本発明の例示的な形態の、局所のセル構築物に基づく、異なるタイプの構造を明らかにする。
本開示の主題は、添付の図を参照して、本明細書で十分に記載されるが、本発明の形態の一部が示されているに過ぎず、本発明の形態の全てが示されているわけではない。同様の番号は、全体に亘って、同様の要素を言及する。本開示の主題は、多数の異なる形式で例示され、本明細書に記載の形態に限定されるように解釈されるべきでない。むしろ、これらの形態は、本開示の内容が、適用される法的要求を満たすように提供されている。実際に、本明細書に記載された本開示の主題についての多くの変形例及び他の形態は、本開示の主題に関連する技術分野の当業者に対して先の記載及び添付の図において示された教示の利益を有することを想起させる。したがって、本開示の主題は、開示された特定の形態に制限されるものではなく、変形例や他の形態は、添付の特許請求の範囲内に含まれるように意図されると理解される。
本発明による実施形態は、データベースに相互作用するための3次元インターフェイスの、システム及び方法を提供する。前記3次元インターフェイスは、生体構造の要素、機械、デバイス、又は他のオブジェクトを表す、相互作用性の3次元アトラスを含み得る。前記アトラスの前記3次元的性質を考慮すれば、ユーザーは、特定の領域において、それらをより特異的に見るためにズームインすることができる。生体構造の異なる構造の点は、名称又は座標で標識され、前記ユーザーは、斯かる構造の点の一つを選択でき、その特異的な構造の点に関連する情報のデータベースをサーチすることができる。前記ユーザーは、特定のキーワードを用いて、前記特異的な構造の点に関連してサーチすることができる。前記3次元のインターフェイス及びアトラスは、コンピューティングデバイス上で、前記ユーザーに表示され、前記デバイスは、デバイスのメモリ内にデータベースを収容する、又は、ネットワークでデータベースへ交互に通信することができる。
本発明の3次元電子アトラスは、3次元的に配置された標識(キーワード)を伴うポータルとしての役割をし得、インターネットと同様に、ローカルコンピュータで利用可能なデータベースへも接続される。前記インターネットに基づくデータベースに対して、データベース及びアトラスが、要求に応じて中央化されたサーバから情報を検索するためのポータルとしての役割を果たすように、前記中央化されたサーバが主催し得る。さらに、前記3次元電子アトラスは、関心がある生体構造の実体に関連する前記要求されたセクションのみを転送でき、テキストブック等の知的財産の効率的且つ独自な販売方法を創作するであろう。斯かる構造により、従来の紙ベースの本でのような、本の内容全体を転送することを回避することにより、不必要な情報のトラフィックを低減する。さらに、前記3次元電子アトラスは、複数のテキストブックの共通インデックスとみなすことができる。従来のインデックスでは、前記キーワードが、アルファベット順に配列されている。
したがって、本発明の3次元アトラスは、1.前記標識が3Dの生体構造の実体に従って配列され、読者がより直観的に相互作用するのを容易にできる点、並びに、2.解剖学的スケールの概念をより適切に扱うことができ、解剖学的名称が10cmスケールの構造を言及する一方、いくつかの名称が10ミクロンスケールの構造にも名称を言及する点で、優れる。前記3次元アトラスへのアクセスの様々なレベルに対し、異なる料金を請求できることにも、注目すべきである。前記データベースからの情報の料金は、「1回使用」の方式でも請求し得る。したがって、ユーザーは、前記3次元データベース全体へのアクセス権を購入する必要はないが、代わりに、特定の情報及び必要に応じたアクセス権の購入をし得る。
1つの形態によれば、図1で示すように、データベースに相互作用するための3次元インターフェイスを備えるシステムは、ユーザーインターフェイスデバイス10、及び、遠隔データベースデバイス20を含み得る。ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20は、パーソナルコンピュータ(PC)、UNIXワークステーション、サーバー、大型汎用コンピュータ、パーソナルデジタルアシスタント(PDA)、スマートフォン、携帯電話機、タブレットコンピュータ、スレイトコンピュータ、又は、これらの組み合わせ、等の一般的なコンピューティングデバイスであってもよい。代わりに、前記ユーザーインターフェイスデバイス10及び前記遠隔データベースデバイス20は、その技術分野の当業者によって想到され得る特化されたコンピューティングデバイスであってもよい。残りの構成要素は、コンピュータが読み取ることができる媒体に記憶された、ソースコード、オブジェクトコード又は実行コード等のプログラミングコードを含んでいてもよく、前記媒体は、前記メモリにロードされ、前記システムの前記所望の機能を実行するために、プロセッサーにより処理される。
ユーザーインターフェイス10及び遠隔データベースデバイス20は、図2のエレメント130によって例示されるように、各コミュニケーションインターフェイスを介し、コミュニケーションネットワーク30を通じて、互いに通信し得る。コミュニケーションネットワーク30は、コンピュータベースシステムに接続可能な、デバイス及びシステムのいかなる可能な組み合わせも含み得る。前記コンピュータベースシステムとしては、例えば、インターネット;イントラネット若しくはエクストラネット;ローカルエリアネットワーク(LAN);広域ネットワーク(WAN);直接のケーブル接続;プライベートネットワーク;公的ネットワーク;イーサーネット系システム;トークンリング;付加価値ネットワーク;例えば、T1若しくはE1デバイスを含む電話系システム;アシンクロナストランスファーモード(ATM)ネットワーク;有線システム;無線システム;オプティカルシステム;セルラーシステム;サテライトシステム;販売されたプロセシングネットワーク若しくはシステム若しくは同等物のいくつかの組み合わせ;を含む。ここで、図2に言及すると、ユーザーインターフェイスデバイス10及び遠隔診断デバイス20は、それぞれ、プロセッサー100、メモリ110、コミュニケーションデバイス120、コミュニケーションインターフェイス130、ディスプレイ140、入力デバイス150、及びコミュニケーションバス160を含み得る。プロセッサー100は、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20の各々の異なる形態で、異なる方法で実行され得る。1つの選択肢として、プロセッサー100は、メモリ110で記録若しくは外部情報源から受け取ったプログラム指示等のデータを、読み取り及び処理をすることができるデバイスである。斯かるプロセッサー100は、マイクロコントローラーによって、具体化され得る。一方で、プロセッサー100は、電気回路コンポーネントの集積となり得て、特定の電気的信号を解釈し、特定のタスクをそれらの信号に応答して実行するように構築される、又は、プロセッサー100は、集積回路、フィールドプログラマブルゲートアレイ(FPGA)、コンプレックスプログラマブルロジックデバイス(CPLD)、プログラマブルロジックアレイ(PLA)、アプリケーションスペシフィックインテグレーティッド回路(ASIC)、若しくはそれらの組み合わせがあり得る。前記プログラミングにおける異なる複雑さは、プロセッサー100を構成する上記の種類又は組み合わせの選択に影響し得る。
プロセッサー100の選択と同様に、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20のソフトウェアの設計(さらに本明細書で論じるように)は、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20に用いられるメモリ110の選択に影響を及ぼし得る。他の要因も、メモリ110の選択に影響を及ぼし得、価格、スピード、耐久性、サイズ、容量及び再プログラム可能性等のタイプがある。したがって、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20のメモリ110としては、例えば、揮発性メモリ、不揮発性メモリ、固体メモリ、磁性メモリ、光学メモリ、永久メモリ、脱着式メモリ、書き込み可能メモリ、再書き込み可能メモリ、又は、リードオンリメモリを挙げることができる。メモリ110が、脱着式メモリである場合、例示として、CD、DVD、又はUSBフラッシュメモリを含み得、CD及び/又はDVDリーダー/ライター(図示せず)、又はUSBポート(図示せず)に挿入されたり、取り外されたりし得る。前記CD及び/又はDVDリーダー/ライター、並びに、前記USBのポートは、ユーザーインターフェイス10及び遠隔データベースデバイス20に、一体的に、又は、周辺的に、接続され得る。
様々な形態において、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20は、コミュニケーションデバイス120を介して、コミュニケーションネットワーク30に接続され得る(図1を参照)。様々な形態において、コミュニケーションデバイス120は、任意の関連するソフトウェア若しくはファームウェアと同様に、デバイスの任意の組み合わせを組み込み得、プロセッサー系システムに連結されるように構成される。前記プロセッサー系システムとしては、例えば、任意の関連するトランスミッションプロトコールに加え、モデム、ネットワークインターフェイスカード、シリアルバス、パラレルバス、LAN、又はWANインターフェイス、ワイヤレス若しくは光学インターフェイス、及び同等物があり、設計により望まれ、要求され得る。
コミュニケーションデバイス120に組み合わせて作動すると、コミュニケーションインターフェイス130は、ワイヤー若しくはワイヤレスの接続用のハードウェアを供給できる。例えば、コミュニケーションインターフェイス130は、OBD接続、イーサーネット接続、シリアル接続若しくはパラレル接続、又は他の物理的な接続を含み得る。他の形態によると、コミュニケーションインターフェイス130は、Bluetooth、Wi−Fi、ZigBee、携帯電話、及び他のラジオ周波数(RF)プロトコルといった、様々なプロトコルによるワイヤレス信号を送信及び受信するためのアンテナを含み得る。ユーザーインターフェイス10及び遠隔データベースデバイス20は、同一、若しくは、異なるタイプのコミュニケーション用に設計された、1以上のコミュニケーションインターフェイス130を含み得る。さらに、コミュニケーションインターフェイス130は、それ自体が、1種超のコミュニケーションを扱うために、設計され得る。
さらに、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20の形態は、ディスプレイ140を通じてユーザーに情報を通信し得、対話型インターフェース、メニュー形式のインターフェイス、ビジュアルディスプレイ系ユーザーインターフェイス又はグラフィックユーザーインターフェイス(GUI)の方法により、入力デバイス150を通じたユーザー入力を要求し得る。代わりに、前記通信は、文字列のみに基づくもの、又は、文字列及びグラフィックスの組み合わせとなり得る。ユーザーインターフェイスは、例えば、マウスやキーボードを伴う、パーソナルコンピュータ(PC)で実行され得、ユーザーは、相互作用的にGUIの直接操作を用いて、情報を入力し得る。直接操作は、マウス又はタッチペン等のポインティングデバイスの使用を含み、選択可能なメニュー、ドロップダウンメニュー、タブ、ボタン、チェックボックス、テキストボックス、そして同等品を含む、多様な選択可能なフィールドから選択する。にもかかわらず、本発明の様々な形態は、マウス、ボタン、キーの使用有り又は無しで、このインターフェイススキームに代えて、任意数の追加的機能のユーザーインターフェイススキームを組み込み得、例えば、トラックボール、スクロール車輪、タッチスクリーン、又はボイス駆動システムを含む。
ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20の異なるコンポーネントは、共に、コミュニケーションバス160を介して、互いに通信するように接続され得る。様々な形態で、コンポーネントの任意の組み合わせは、コミュニケーションバス160に接続され得、一方、他のコンポーネントは、ユーザーインターフェイスデバイス10及び遠隔データベースデバイス20から分離され得、コミュニケーションインターフェイス130を経由して、他のコンポーネントへ通信し得る。
データベースに相互作用するための3次元インターフェイス用のシステムアプリケーションのいくつかは、システムのエレメントの全てが分離ピースであることを要求しないであろう。例えば、いくつかの形態によれば、ユーザーインターフェイス10と遠隔データベースデバイス20の組み合わせは、可能である。斯かる実施は、インターネット接続が迅速に利用できない場合又は携帯性が必要な場合に、有用であろう。
図3は、本発明の形態の、データベースに相互作用するための3次元インターフェイスを備えるシステム200の模式図である。ユーザーインターフェイス210は、ディスプレイ212、コンピューティングデバイス214、及び入力/出力デバイス224を含む。コンピュータデバイス214は、ユーザーインターフェイス216、3次元アトラス218、サーチインターフェイス220、及びメモリ222を表示するための、プログラム、ソフトウェア、及び/又は、インターネット/イントラネット接続を含む。コンピューティングデバイス212は、また、第一コミュニケーションインターフェイス226を介して、ネットワーク228と通信するように構成される。第一コミュニケーションインターフェイス226と同一となり得る第二コミュニケーションインターフェイス230は、サーバ240との通信を許容する。サーバ240は、監視されたデータベース242及び監視されていないデータベース244の一方又は両方を含む。代わりに、第三コミュニケーションインターフェイス246は、望ましいトピックに関連する追加的な関連情報を収集するために、インターネット248と通信するのに用いられ得る。
より具体的には、インターフェイス216は、ユーザーが、ディスプレイ212上に示された画像及び入力/出力デバイス224を介して提供される入力を通じて、所望の生体構造の要素、機械、デバイス、他のオブジェクトを表示する3次元アトラス218に相互作用することを許容する。3次元アトラス218は、写真、組織構造画像、MR画像、CT画像、PETスキャン画像、若しくは、その技術分野における当業者に望まれた又は知られた画像の他の任意のソース、を含むことができる。前記3次元アトラスは、探索しようとするアトラス画像の特定領域を選択するための、構造標識又は座標を含む。3次元アトラス218における画像は、異なるスケールで探索され得、拡大スケールアトラス画像において明確でない領域が、縮小スケール画像において、明らかとなり得る。
ユーザーが、アトラス218に相互作用し、探索しようとする領域を選択するとき、ユーザーは、また、監視されたデータベース242及び監視されていないデータベース244における、その領域に関連する追加情報を検索することもできる。ユーザーは、その領域に関連するあらゆる情報を見ることができ、又は、ユーザーは、代わりに、データベースに含まれ、その領域に関連する、記事、画像、及び他の情報の中で、キーワードサーチをすることができる。実際、斯かる情報は、また、関連する領域に基づくデータベース内で整理され得る。監視されたデータベース242は、所有権のある内容、及び、システム提供者によって管理された他の内容を含むことができる。監視されていないデータベース244は、監視されたデータベース242と供にサーバ240上に存在することができ、外部ソースによって提供される情報で満たされ得、又は、マニュアル若しくはインターネットの機械的サーチの間に見出され得る。代わりに、監視されていないデータベース244は、ユーザーによって検索が要求されるときに、単に、プログラムによって実行されるインターネットサーチからなることができる。
図4は、実体に関連する情報を検索するための方法を示す。方法300は、前記実体の3次元アトラスをレビューするためのコンピュータ化されたユーザーインターフェイスと、相互作用する、ステップ302を含む。斯かる方法は、また、前記実体の3次元アトラスの領域に対応するコンピュータ化されたユーザーインターフェイス上の標識を選択するステップ304を含む。斯かる方法は、前記3次元のアトラスの前記領域に対応する前記標識に関連する前記コンピュータ化されたユーザーインターフェイスに、クエリーを入力するステップ306をも含む。
さらに、斯かる方法は、前記ユーザーインターフェイスへ入力した前記クエリーに関連する結果をレビューするステップ308を含む。斯かる方法は、さらに、前記3次元アトラスの前記領域に対応する前記標識に関連したキーワードサーチを実行することを含み得る。
3次元脳アトラス、及び、データベースに相互作用するためのインターフェイスを対象にする、本発明の典型的な形態を、以下に述べる。本実施例は、本発明をさらに説明するために含まれ、限定されるように意味されるものではない。典型的な形態が脳アトラスに関して説明されているが、その技術分野における当業者に知られるような、他の生体構造の要素、機械、デバイス、若しくは、他の適したオブジェクトは、3次元的にマップ化され得、データベースと相互作用するためのインターフェイスを提供するように用いられ得ることに、注意されたい。
典型的な形態は、脳のマルチスケールの電子アトラスは、監視された知識データベース及び監視されていない知識データベースへの3次元及びビジュアルのポータルである。前記監視されたデータベースは、神経科学のテキストブック及びアトラスを含み得る。電子アトラスのビジュアルのインターフェイスを通じ、ユーザーは、興味の構造を同定することができ、データベースにおいて、関連する組織構造パネル、診断、及び構造のテキスト情報へアクセスすることができる。すなわち、この電子アトラスは、膨大な出版物の、統合され、3次元であり、且つ、視覚的なインデックスとしての役割を果たし得る。前記アトラスは、定位座標で配置されて、広範な灰白質と白質で、3次元的な分割物(300超の構造)を有し、さらに、パーソナルタブレットデバイスで利用可能であり、クラウドサポートにも依存できる。
従来のアトラスでは、スケールは先に定まっており、固定されている。多くのアトラス本では、組織構造セクションを用い、該組織構造セクションは、高解像度を有し、各パネルの拡大率は固定されている。本発明の典型的な脳アトラスは、ユーザーに、相互作用的に、各画像を拡大させたり、縮小させたりすることを許容するが、元の画像の空間的な解像度は、同じである。真のマルチスケールアトラスは、異なる空間解像度を伴う多様な画像ソースからなる。高解像度画像の組織をカバーすると、必然的に、小さくなり、それゆえ、空間ガイダンスのように、低解像度画像を用いて、定位座標システムを保存するモザイクとして配列されなければならない。これは、非常に多大な解剖学的な内容を必要とし、電子形式だけが、提供可能である。
多様な画像ソースからなる、マルチスケールアトラスのためには、ソース間において正確な空間登録を保証し、引き続き一定の解剖角度で2次元のリスライシングを保証するために、各ソースは、3次元である必要がある。これは、小さな死後組織ブロックの3次元マイクロMR画像(マイクロMRI)によって、達成され得る。局所の、3次元の、高解像度のデータは、解剖学的に登録され、位置及び方位を補正し、一定の座標を維持する。
従来の脳アトラスの役割は、構造、位置、及び名称を定義することである。しかしながら、本発明のアトラスは、多種類のデータベースへのポータルとしての、アトラスの新しい可能性を定義する。例えば、本発明の脳アトラスの典型例は、約300の構造名称及び位置を含む。各名称は、インターネットを介してデータベースをサーチするためのキーワードとしての役割を果たす。本発明の典型的な脳アトラスは、インターネットにおけるデータベース(PubMed、Science Direct、及びBrain Navigator)に接続される。PubMed、Science Direct、及びBrain Navigatorは、監視されていないデータベースの例である。その技術分野における当業者に知られている他のいかなる情報源も用いられ得ることに注目されるべきである。監視された知識データベースへのインターフェイスも含まれ、前記アトラスで定義された各々の名称又は座標は、監視されたデータベースの情報の宝庫に接続されている。マルチスケールアプローチは、マルチコンテントアトラスにとって不可欠である。なぜなら、各空間スケールに特徴的な多くの解剖学的な定義が存在するからである。例えば、「放射冠」の概念は、グローバルマップでのみ定義され得、一方、「下部オリーブ核」の定義は、高解像度のマップを要求する。
典型的なインターフェイス及びデータベースの内容は、中央化サーバ上に収容され得る。しかしながら、インターフェイス及びデータベースのセットアップは、その技術分野における当業者によって、知られ得、又は、想到し得る。クラウドアプローチで、情報は、ローカルシステムへ一度に全体のデータが伝達されるというより、オンデマンドで伝達される。新しい知識の追加及び管理が、はるかに簡素になり、版権のある製品のトラフィックはモニターされ得、理想的なビジネスプラットフォームを提供する。
図5は、異なるスケールでのマルチスケールの解剖学的情報及び構造の概念の例を示す。iPadアトラスにおけるインビボMRIの2.2mmは、橋、脊髄、及び小脳に関連する髄質の位置についての肉眼での情報を提供する。死体解剖サンプルの250μmマイクロ−MRIは、水平の動物走査デバイスから得て、典型的な脳アトラスに登録し、高解像度表示を提供している。より小さい死体解剖サンプルは、垂直のNMRにより走査され、生体構造の100μmの表示を提供し、より小さい構造でさえ明らかにする。
マイクロイメージングの専門知識及び資料は、マルチスケールアトラスにとっては重要である。画像の拡大率を提供することは、容易である。しかしながら、真のマルチスケールアトラスは、図5で示したように、異なる空間的な解像度を伴うデータを一体化する。従来のインビボ3次元MRIは、本発明に従う脳アトラスの例として用いられるが、肉眼で見える構造を、3次元的に、脳に歪み及び損傷を付与することなく、解剖学的に高い忠実度で映し出すことができる。一方、典型的なヒト走査デバイスは、画像解像度を1mmのオーダーで提供することができ、死体解剖組織のマイクロMRIは、上限40μmの画像解像度を提供することができる。100μm解像度のヒト脳の画像を作成するためには、画像のマトリックスサイズは、脳全体では、およそ14GBとなる。将来、げっ歯類MRIとして日常的に実施するものとして50μmの解像度まで拡大するためには、データサイズは、100GBに達するであろう。さらに、マイクロMRIのプローブサイズは、解像度が上昇するのに伴い小型化する。例えば、水平型11.7TMRIスキャナーは、上限10cmまでのサンプルに適応できる。垂直型11.7TNMRは、より高い勾配強度を有し、高解像度を送達できる。しかしながら、最大のプローブは3cmである。プローブ及び画像マトリックスサイズにおける制限は、高解像度画像は、必然的に、脳の部分に基づかなければならず、各脳組織の座標は、本発明の脳アトラスの典型的な形態において定めた全体的な3次元座標に登録される必要があることを、示唆する。これは、3次元的イメージング、それに続く弾性画像登録によって、正確になされる。
典型的な脳アトラスは、監視された知識データベースが豊富である。マルチスケールのディメンションは、図6に示すように、マルチディメンションのポータルシステムとしての可能性を高める。監視された情報は、本及び記事、又は、その技術における当業者に知られている他の情報源からもたらされる。
マイクロMRイメージング、特に、スーパーハイレゾリューション(super−high−resolution)の拡散異方性画像(DTI)は、典型的な脳アトラスを提供するように用いられる。マイクロMRI/DTIは、T2強調画像コントラスト、拡散強調画像コントラスト、平均拡散率の画像コントラスト、部分異方性の画像、色分けされた構造の方向地図(カラーマップ)を含む複数の画像コントラストを提供する。図7A−7Eに示すように、これらの画像の中で、DTI由来のカラーマップは、圧倒的に大容量の解剖学的情報を保有する。図7A−7Eは、複数の150μmでのMRI/DTIコントラストを示し、局所の小区画の構造に基づく異なる種類の構造を明らかにする。図7Aは、T2強調画像を示す。図7Bは、拡散強調画像を示す。図7Cは、平均拡散率画像を示す。図7Dは、色分けされた方位地図を示し、図7Eは、マウス胎児DTIデータの50μmの例を示す。
緩和強調画像及び拡散強調画像は、様々な顕微鏡レベルの解剖学的実体を解読するのに十分なコントラストがない。コントラストに基づく拡散異方性及び組織方位は、白質構造にのみ有用であると広く信じされている。これは、画像解像度が、複雑な灰白色構造に関して、低いからである。図5、6、及び7A−7Eで示すように、多くの灰白質構造は、特徴的な拡散異方性及び組織方位を有し、それゆえ、DTIで明瞭に描写される。典型的な脳アトラスを作成するために、死体解剖脳サンプルは、5−10cmのブロックを250μmの解像度で走査する。サンプルは、さらに、2−3cmのブロックについて150μm且つ高解像度でセクションされ、複数の解像度により、重要な脳構造を多くカバーする。
小組織ブロックの高解像度MRイメージが、一旦得られると、図5で示すように、3次元の全体の座標に登録される必要がある。CBISは、画像描出、画像変換及び画像登録ソフトのMriStudio(www.mristudio.org)を開発した。このソフトウェアは、クラウドタイプの遠隔解析技術を通じて、IBMのiDataPlex2000コアコンピュータ上で操作され、ユーザーに、最先端の画像変換アルゴリズムへのアクセスを許諾する。典型的な脳アトラスについて記載された、3次元から3次元へのマルチスケール画像登録は、この技術に基づくものである。しかしながら、その技術分野における当業者に知られ得、又は、想到され得る、他の適した技術も、用いられ得る。より詳細には、技術は、ミラー博士によって開発されたLarge Deformation Diffeomorphic Metric Mapping(LDDMM)に基づくものであり、MriStudioインターフェイスは、標識に基づく初期の弾性ワーピング(warping)、及び、それに続く3次元の容量に基づく画像から画像への弾性マッピングを許容する。
監視された知識データベースのサイズは、高解像度の組織構造パネル、図表、及びテキストの膨大な量とともに、急速に膨大化すると考えられるため、中央化サーバにおいて全体の知識データベースを主催し、要求に応じてそれらに供給することは、購入時に各デバイスにデータベース全体を移行させるよりも、より実用的である。このクラウドアプローチは、データベースを常にデータベースの1つのコピーでアップデートする点で、特有の利点を有する。
例えば、マスターアトラス(Master Atlas)は全体の脳アトラスであるが、イブアトラス(Eve atlas)として広く知られ、FSL、Slicer3及びMriStudio等の通常用いられる画像解析ソフトウェアのパッケージの一部として、アトラス系3次元画像解析に用いられる。これは、あらゆる次世代のマルチスケールアトラスが登録されたマスターアトラスとして、用いられている。この例におけるマルチスケールデータは、脳幹について現存の高解像度MRI/DTIに基づく。つまり、脳幹全体のDTIは、水平型11.7TNMRスペクトロメーターで、12ショット3次元拡散強調のエコープラナーイメージング(EPI)シーケンス(TE/TR=27/500ms,1シグナル平均)を用いて実施された。イメージング視野及びマトリックスサイズは、それぞれ、43x43x65mm、168x168x256であり、255x255x255μmの同位体の空間解像度を与えた。2個のb0画像と、30の拡散強調画像が、全体のスキャン時間13.5時間で得られた。頸髄は、直径20mmのRFコイルを用いた垂直ボアの11.7Tスキャナーでイメージ化された。3次元の拡散強調勾配、及びツインナビケーターエコーフェーズコレクション(twin−navigator echo phase correction)のスピンエコー(DW−GRASE)シーケンスは、(TE/TR=32/800ms,δ/Δ=3/15ms,4シグナル平均)で用いた。イメージング視野及びマトリックスサイズは、それぞれ、16x12.5x17.2mm、128x100x138であり、125x125x125μmの同位体の空間解像度を与えた。DTI拡散強調画像として、方位は、18時間の全体スキャニング時間で得られた。髄質は、直径30mmのRFコイルを用いた垂直ボアの11.7Tスキャナーでイメージングした。3次元の拡散強調マルチプルスピンエコーシーケンスは、DTI(TE/TR=34/400ms、δ/Δ=3/15ms、2シグナル平均)が用いられた。イメージング視野及びマトリックスサイズは、それぞれ、30x26x24.6mm、176x152x144であり、170x170x170μmの等方性の解像度を与える。6つの拡散強調方位が得られ、全体の走査時間は37時間であった。
典型的なアトラスのイメージアラインメントの全ては、MriStudio(www.mristudio.org)を用いて行った。初期のアラインメントは、手作業で配置されたランドマークによって決定される厳格な変換に基づくものである。約20のランドマークは、脳アトラス全体及び脳幹の高解像度イメージの両方において、明瞭に確認できる解剖学的ランドマーク上に配置される。これは、組織セクションから全体脳アトラスに至る画像を登録する。テンソル情報は、適したテンソル再方位法が必要となり、MriStudioではすでに実行されている。初期のアラインメントの後に、エキソビボの組織に対応するマスターアトラスのセクションは、最終の弾性的レジストレーションのためにトリミングされる(cropped)。容量系3次元の画像と画像のマッチングは、FA及び追跡マップを用いる、デュアルチャンネルLDDMMに基づくものである。変換後、変換マトリックスは、DTI由来のスカラーマップ(scalar maps)が作成されるテンソルマップに適用される。
典型的な脳アトラスは、15の軸パネル、15の冠状パネル、及び9の矢状パネルを含み、これらのパネルは脳幹領域を含む。39の対応高解像度パネルは、同様のマルチレイヤー構造を用いて、作成され、セグメント化され、注釈が付けられる。高解像度画像は、T2強調マップ、拡散強調マップ、拡散定数マップ、及び方位コード化異方性マップ(カラーマップ)を伴うマルチコントラストデータであるため、パネルの数は、39×4コントラスト=156パネルであり、上書きする注釈及び分節化ファイルは、層構造であり、それゆえ、異なるコントラストを伴う全ての画像により共有され得る。Paxinos&Huangの脳幹アトラスの解剖学命名方法が用いられる。しかしながら、その技術分野における当業者が知り得又は想到し得る、他の適した命名方法を用いることもできる。
高解像度イメージングは、他の様々な脳構造で行うこともできる。脳構造としては、深部の灰白質構造(レンズ核、尾状核、視床、視床下部、海馬、及び扁桃)及び代表的な皮質領域の全てを含みうるが、これらに限定されるものではない。脳幹のために、250及び150mデータが利用可能であり、複雑な網状の構造の領域において50μmデータに向かうであろう。これらの3次元の対象は、全て、マスターアトラスへ、セグメント化され、注釈が付けらた、標準軸のパネル、冠状のパネル、及び、矢状のパネルにリスライスされて登録されるであろう。さらに、現在、2次元パネルは、2.5mmインターバルでのみ利用可能であるが、1mmインターバルへ拡張される。
マルチスケールデータは、全て3次元であるが、アトラスは、3つの標準方位で、スライスされた2次元のパネルに基づいて成り立ち得る。通常、3次元に拡張する工程で最も困難で時間を要する工程は、物体を3次元の空間で定義することであり、広範なマニュアル図表を要する。マスターアトラスにおいては、200超の体積構造及び90超の白質の3次元流線型物体が、10年を超えるヒトアトラスプロジェクト(ROl AG20012,“Human White Matter Tract Mapping by Diffusion MSI)に基づき決定されている。MriStudioの視覚化インターフェイスは、PI(Hangyi Jiang)により開発され、これらの物体を、トリプレイン(tri−plane)、表面レンダリング、及びOpenGLに基づく流線型を用いて表すことができる。これらのプログラム及び物体は、iPad及び他の種類のポータルデバイスでのXCODE環境に移され得る。3次元の視覚化のための高解像度データの組み込みも、遠隔の3次元レンダリングで用いられ得る。
本発明の多くの特徴及び利点は、詳細な説明から明らかである。したがって、本発明の真の趣旨及び範囲内である、本発明の特徴及び利点の全てをカバーすることが、添付の請求項によって意図されている。さらに、多くの変更及び変形は、その技術分野における当業者において容易に想到し得るので、本発明は、示され記載された、正確な構成及び手順に限定されものではない。したがって、本発明の範囲内となる、適切な変形及び等価物が、用いられるであろう。
本発明は、本発明の好ましい実施態様と関連付けて記載されているが、添付の請求項に定義された本発明の趣旨及び範囲から逸脱することなく、その技術分野における当業者によって、特に記載されていない追加、削除、修正、及び置換がなされ得る。

Claims (25)

  1. 3次元実体に関連する情報を提供及び検索するためのシステムであって、
    該システムは、前記実体を表す3次元アトラスを備え、前記3次元アトラスは、少なくとも1つの標識を含み、
    前記システムは、前記実体に関連する情報を含むデータベースを備え、前記情報は、少なくとも1つの標識に関連して分類され、
    前記システムは、前記データベースをサーチするためのインターフェイスを備え、該インターフェイスは、ユーザーが、前記データベースをサーチするために、前記3次元アトラスから前記少なくとも1つの標識のいずれか1つを選択でき、前記データベースにおける前記少なくとも1つの標識のいずれか1つに関連して分類されたサーチ結果を返送するように構成され、
    前記3次元アトラス、前記データベース、及び前記インターフェイスが、少なくとも1つのコンピューティングデバイスにプログラムされるシステム。
  2. 前記実体が、生体構造の要素である請求項1に記載のシステム。
  3. 前記3次元アトラスが、画像を含み、該画像が、磁気共鳴イメージング(MRI)画像、組織構造画像、PETスキャン画像、及びCATスキャン画像の群から選択される少なくとも1種からなる請求項1に記載のシステム。
  4. 前記少なくとも1つの標識が、空間座標である請求項1に記載のシステム。
  5. 前記少なくとも1つの標識が、解剖構造の名称である請求項1に記載のシステム。
  6. 前記インターフェイスは、前記ユーザーが、前記データベースにおける前記少なくとも1つの標識に関連して分類された前記情報内でサーチできるように構成される請求項1に記載のシステム。
  7. 前記インターフェイスは、前記ユーザーが前記データベースのキーワードサーチを実行できるように構成されている請求項1に記載のシステム。
  8. 前記データベースが、監視されたデータベース及び監視されていないデータベースを含む請求項1に記載のシステム。
  9. 前記監視されていないデータベースが、前記インターネットで利用可能な情報から構築されている請求項8に記載のシステム。
  10. 実体に関連する情報をサーチする方法であって、
    前記実体の3次元アトラスをレビューするために、コンピュータ化されたユーザーインターフェイスと相互作用するステップと、
    前記実体の3次元アトラスの領域に対応する前記コンピュータ化されたユーザーインターフェイス上で標識を選択するステップと、
    前記3次元アトラスの前記領域に対応する前記標識に関連する前記コンピュータ化されたユーザーインターフェイスにクエリーを入力するステップと、
    前記ユーザーインターフェイスに入力したクエリーに関連する結果をレビューするステップと、を含む方法。
  11. 前記データベースが、リモートサーバ上に配置される請求項10に記載の方法。
  12. 前記データベースが、前記コンピュータ化されたユーザーインターフェイス上に配置される請求項10に記載の方法。
  13. 前記3次元アトラスの前記領域に対応する前記標識に関連するキーワードサーチを行うステップを更に含む請求項10に記載の方法。
  14. 脳に関連する情報を検索するためのシステムであって、
    該システムは、脳を表す3次元アトラスを備え、該3次元アトラスは、少なくとも1つの標識を含み、ユーザーが複数のスケールで前記アトラスと相互作用するように構成され、
    前記システムは、前記脳に関連する情報を含むデータベースを備え、前記情報は、少なくとも1つの標識に関連して分類され、
    前記システムは、前記データベースをサーチするためのインターフェイスを備え、該インターフェイスは、ユーザーが前記データベースをサーチするために、前記3次元アトラスから前記少なくとも1つの標識のいずれか1つを選択でき、前記データベースにおける前記少なくとも1つの標識のいずれか1つに関連して分類されたサーチ結果を返送するように構成され、
    前記3次元アトラス、前記データベース、及び前記インターフェイスが、少なくとも1つのコンピューティングデバイスにプログラムされるシステム。
  15. 前記3次元アトラスが、画像を含み、該画像が、磁気共鳴イメージング(MRI)画像、組織構造画像、PETスキャン画像、及びCATスキャン画像の群から選択される少なくとも1種からなる請求項14に記載のシステム。
  16. 前記少なくとも1つの標識が、空間座標である請求項14に記載のシステム。
  17. 前記少なくとも1つの標識が、前記脳の内部の構造の名称である請求項14に記載のシステム。
  18. 前記インターフェイスが、前記ユーザーが、前記データベースにおける前記少なくとも1つの標識に関連して分類された前記情報内でサーチできるように構成される請求項14に記載のシステム。
  19. 前記データベースが、監視されたデータベース及び監視されていないデータベースを含む請求項14に記載のシステム。
  20. 前記監視されていないデータベースが、前記インターネットで利用可能な情報から構築されている請求項19に記載のシステム。
  21. 前記3次元アトラスが、異なる空間スケールでの解剖学的名称の総合リストについての複数の空間スケールを含む請求項14に記載のシステム。
  22. 前記監視されたデータベースが、電子形式での情報としての、テキスト、本、絵、写真又は臨床画像を更に含む請求項19に記載のシステム。
  23. 前記標識が、前記監視されたデータベースにおける前記情報の少なくとも一部に接続され、前記標識に関連する前記要求された情報は前記ユーザーへ転送される請求項22に記載のシステム。
  24. ローカルコンピュータに事前転送される、又は、中央化サーバ内に残って要求に応じて転送される前記情報をさらに含む請求項22に記載のシステム。
  25. 中央化サーバに存在して要求に応じて転送される前記情報をさらに含む請求項22に記載のシステム。
JP2014519014A 2011-06-29 2012-06-28 3次元インターフェイス及びデータベースのためのシステム Withdrawn JP2014527420A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161502372P 2011-06-29 2011-06-29
US61/502,372 2011-06-29
US201261608261P 2012-03-08 2012-03-08
US61/608,261 2012-03-08
PCT/US2012/044611 WO2013003571A1 (en) 2011-06-29 2012-06-28 System for a three-dimensional interface and database

Publications (1)

Publication Number Publication Date
JP2014527420A true JP2014527420A (ja) 2014-10-16

Family

ID=47424542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014519014A Withdrawn JP2014527420A (ja) 2011-06-29 2012-06-28 3次元インターフェイス及びデータベースのためのシステム

Country Status (4)

Country Link
US (1) US11294547B2 (ja)
EP (1) EP2727030A4 (ja)
JP (1) JP2014527420A (ja)
WO (1) WO2013003571A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10140708B2 (en) * 2016-01-21 2018-11-27 Riverside Research Institute Method for gestational age estimation and embryonic mutant detection
US10346356B2 (en) * 2016-01-22 2019-07-09 Robert Bosch Gmbh Methods and systems for searching computer-aided design data
US11139070B2 (en) * 2017-01-25 2021-10-05 Holoeyes, Inc. Medical information virtual reality server system, medical information virtual reality program, medical information virtual reality system, method of creating medical information virtual reality data, and medical information virtual reality data
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
US11515041B1 (en) * 2021-09-02 2022-11-29 Omniscient Neurotechnology Pty Limited Display of subset brain graph by shading nodes

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970499A (en) * 1997-04-11 1999-10-19 Smith; Kurt R. Method and apparatus for producing and accessing composite data
US6608628B1 (en) * 1998-11-06 2003-08-19 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration (Nasa) Method and apparatus for virtual interactive medical imaging by multiple remotely-located users
AU2001291175A1 (en) * 2000-09-21 2002-04-02 Md Online Inc. Medical image processing systems
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
AU2001215678A1 (en) * 2000-11-24 2002-06-03 Kent Ridge Digital Labs Methods and apparatus for processing medical images
ATE539681T1 (de) * 2001-01-30 2012-01-15 R Christopher Decharms Methoden für die physiologische überwachung, schulung und regulierung
US20050283053A1 (en) * 2002-01-30 2005-12-22 Decharms Richard C Methods for physiological monitoring, training, exercise and regulation
US20020103429A1 (en) * 2001-01-30 2002-08-01 Decharms R. Christopher Methods for physiological monitoring, training, exercise and regulation
US6862530B2 (en) * 2003-04-11 2005-03-01 Schlumberger Technology Corporation System and method for visualizing multi-scale data alongside a 3D trajectory
US20050063251A1 (en) * 2003-09-04 2005-03-24 Schlumberger Technology Corporation Dynamic generation of vector graphics and animation of bottom hole assembly
US20050171558A1 (en) * 2003-10-17 2005-08-04 Abovitz Rony A. Neurosurgery targeting and delivery system for brain structures
US7027925B2 (en) * 2004-04-01 2006-04-11 Schlumberger Technology Corporation Adaptive borehole assembly visualization in a three-dimensional scene
US7346382B2 (en) * 2004-07-07 2008-03-18 The Cleveland Clinic Foundation Brain stimulation models, systems, devices, and methods
ITMI20042007A1 (it) * 2004-10-21 2005-01-21 Consiglio Nazionale Ricerche "modulatori del ricettore gpr17 e loro impieghi terapeutici"
CN101084526B (zh) * 2004-12-21 2013-12-18 皇家飞利浦电子股份有限公司 数据集的处理
US20080232658A1 (en) * 2005-01-11 2008-09-25 Kiminobu Sugaya Interactive Multiple Gene Expression Map System
WO2006124878A2 (en) * 2005-05-12 2006-11-23 Mark Lawson Palmer Method for achieving virtual resolution enhancement of a diagnostic imaging modality by using coupled fea analyses
US7979383B2 (en) * 2005-06-06 2011-07-12 Atlas Reporting, Llc Atlas reporting
WO2007027101A1 (en) * 2005-08-29 2007-03-08 Go Virtual Medical Limited Medical instruction system
US7889898B2 (en) * 2005-09-16 2011-02-15 Siemens Medical Solutions Usa, Inc. System and method for semantic indexing and navigation of volumetric images
WO2007043922A1 (en) * 2005-10-13 2007-04-19 Patric Ljung Computer processing of multi-dimensional data
US8676302B2 (en) * 2006-01-03 2014-03-18 University Of Iowa Research Foundation Systems and methods for multi-spectral bioluminescence tomography
US7719568B2 (en) * 2006-12-16 2010-05-18 National Chiao Tung University Image processing system for integrating multi-resolution images
US7688318B2 (en) * 2007-02-02 2010-03-30 Dassault Systemes Solidworks Corporation Reusable data constructs for a modeling system
CN101765843A (zh) * 2007-08-01 2010-06-30 皇家飞利浦电子股份有限公司 使用医学相关术语访问医学图像数据库
US20090074265A1 (en) * 2007-09-17 2009-03-19 Capsovision Inc. Imaging review and navigation workstation system
US8761466B2 (en) * 2008-01-02 2014-06-24 Bio-Tree Systems, Inc. Methods of obtaining geometry from images
US20090192813A1 (en) * 2008-01-29 2009-07-30 Roche Diagnostics Operations, Inc. Information transfer through optical character recognition
KR101257999B1 (ko) * 2008-04-30 2013-04-24 고리츠다이가쿠호징 오사카후리츠다이가쿠 3차원 물체 인식용 화상 데이터베이스의 작성 방법, 처리 장치 및 처리용 프로그램
US8233685B2 (en) * 2008-05-02 2012-07-31 Academia Sinica Three-dimensional microscopic magnetic resonance angiography
US20090289937A1 (en) * 2008-05-22 2009-11-26 Microsoft Corporation Multi-scale navigational visualtization
US20090319388A1 (en) * 2008-06-20 2009-12-24 Jian Yuan Image Capture for Purchases
US8229928B2 (en) * 2009-02-27 2012-07-24 Empire Technology Development Llc 3D object descriptors
WO2010101660A2 (en) * 2009-03-06 2010-09-10 Bio-Tree Sytems, Inc. Vascular analysis methods and apparatus
EP2414976B1 (en) * 2009-04-02 2018-12-26 Koninklijke Philips N.V. Automated anatomy delineation for image guided therapy planning
TWI406181B (zh) * 2009-05-11 2013-08-21 Nat Univ Tsing Hua 一種建構和搜尋三維影像資料庫之方法
US8213726B2 (en) * 2009-06-19 2012-07-03 Microsoft Corporation Image labeling using multi-scale processing
US8456163B2 (en) * 2009-07-10 2013-06-04 Siemens Medical Solutions Usa, Inc. Variable image resolution MR imaging system
US9128612B2 (en) * 2009-08-19 2015-09-08 Siemens Aktiengesellschaft Continuous determination of a perspective
US8819591B2 (en) * 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
MY148824A (en) * 2009-12-09 2013-06-14 Mimos Berhad System and method for visualizing and learning of human anatomy
KR101730696B1 (ko) * 2010-04-20 2017-04-26 이미징 사이언시즈 인터내셔널 엘엘씨 표면 스캔 정보를 이용한 3차원 치과용 x 레이 데이터 세트로부터의 아티팩트의 감소 및 제거
US20110289086A1 (en) * 2010-05-21 2011-11-24 Philip Martin Jordan System, method and apparatus for data analysis
US8315791B2 (en) * 2010-06-18 2012-11-20 Nokia Coporation Method and apparatus for providing smart zooming of a geographic representation
WO2011163391A2 (en) * 2010-06-22 2011-12-29 The Johns Hopkins University Atlas-based analysis for image-based anatomic and functional data of organism
US9053562B1 (en) * 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
US20150178321A1 (en) * 2012-04-10 2015-06-25 Google Inc. Image-based 3d model search and retrieval

Also Published As

Publication number Publication date
EP2727030A1 (en) 2014-05-07
US20140181754A1 (en) 2014-06-26
WO2013003571A1 (en) 2013-01-03
US11294547B2 (en) 2022-04-05
EP2727030A4 (en) 2015-05-27

Similar Documents

Publication Publication Date Title
Walter et al. Visualization of image data from cells to organisms
MacKenzie‐Graham et al. A multimodal, multidimensional atlas of the C57BL/6J mouse brain
Majka et al. Open access resource for cellular-resolution analyses of corticocortical connectivity in the marmoset monkey
Liu et al. Prostate cancer diagnosis using deep learning with 3D multiparametric MRI
Pantanowitz et al. Twenty years of digital pathology: an overview of the road travelled, what is on the horizon, and the emergence of vendor-neutral archives
Rojo et al. Critical comparison of 31 commercially available digital slide systems in pathology
Agarwal et al. Transfer learning for Alzheimer’s disease through neuroimaging biomarkers: a systematic review
CN103608843B (zh) 图像显示装置
JP2014527420A (ja) 3次元インターフェイス及びデータベースのためのシステム
Lella et al. An ensemble learning approach based on diffusion tensor imaging measures for Alzheimer’s disease classification
Wang et al. Application of neuroanatomical features to tractography clustering
Huang et al. Integrating point-of-interest density and spatial heterogeneity to identify urban functional areas
Patel et al. LONI MiND: metadata in NIfTI for DWI
Verbeek et al. Developmental bioinformatics: linking genetic data to virtual embryos
Haq et al. A novel brain tumor detection and coloring technique from 2D MRI images
Zaslavsky et al. Cyberinfrastructure for the digital brain: spatial standards for integrating rodent brain atlases
Gustafson et al. Design and implementation of software for assembly and browsing of 3D brain atlases
Liu et al. Improved multi-modal patch based lymphoma segmentation with negative sample augmentation and label guidance on PET/CT scans
Zhou et al. Progressively-growing ambientgans for learning stochastic object models from imaging measurements
Vincze et al. 3D Visualization in Digital Medicine Using XR Technology
Garrison et al. SpectraMosaic: An Exploratory Tool for the Interactive Visual Analysis of Magnetic Resonance Spectroscopy Data.
Majarian et al. Cellorganizer: Learning and using cell geometries for spatial cell simulations
Burns et al. The NeuARt II system: a viewing tool for neuroanatomical data based on published neuroanatomical atlases
Donelli et al. A Semi-Unsupervised Segmentation Methodology Based on Texture Recognition for Radiomics: A Preliminary Study on Brain Tumours
Nikitaev Experimental high-technology information-measuring complexes of cancer diagnosis: Problems and key points of the construction methodology

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150629

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20150722