JP2018047258A - 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法 - Google Patents

仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法 Download PDF

Info

Publication number
JP2018047258A
JP2018047258A JP2017212569A JP2017212569A JP2018047258A JP 2018047258 A JP2018047258 A JP 2018047258A JP 2017212569 A JP2017212569 A JP 2017212569A JP 2017212569 A JP2017212569 A JP 2017212569A JP 2018047258 A JP2018047258 A JP 2018047258A
Authority
JP
Japan
Prior art keywords
vector
location
determining
view
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017212569A
Other languages
English (en)
Other versions
JP6402230B2 (ja
Inventor
メルキン ラハフ
Merkine Rahaf
メルキン ラハフ
アベルブッチ ドリアン
Averbuch Dorian
アベルブッチ ドリアン
ディー． ラシュマノヴィッチ エラッド
D Lachmanovich Elad
ディー． ラシュマノヴィッチ エラッド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Covidien LP
Original Assignee
Covidien LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Covidien LP filed Critical Covidien LP
Publication of JP2018047258A publication Critical patent/JP2018047258A/ja
Application granted granted Critical
Publication of JP6402230B2 publication Critical patent/JP6402230B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computerised tomographs
    • A61B6/032—Transmission computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Abstract

【課題】仮想気管支鏡検査視野における気道を通ってナビゲートするシステムおよび方法を提供する。【解決手段】仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示するシステムおよび方法であって、第１の場所および第１の場所における第１の方向を決定することと、第１の場所および第１の方向をメモリに記憶することと、第１の場所に対応する第１の仮想カメラ視野を表示することと、仮想気管支鏡検査の気道を通した移動に対応する第２の場所を決定することと、第２の場所をメモリに記憶することと、第２の場所に対応する第２の仮想カメラ視野を表示することと、第１の場所および第２の場所に基づいて第２の方向を決定することと、第２の方向をメモリに記憶することと、仮想気管支鏡検査を通したさらなる移動に対応する第３の場所を決定することと、さらなる移動が順方向であるか逆方向であるかを決定することとを含む。【選択図】図２

Description

本開示は、動的かつ変化する様式で医療画像を表示するためのシステムおよび方法に関する。より具体的には、本開示は、肺の気道を通してナビゲートされている仮想カメラの位置および方向に基づいて、経路計画中の仮想気管支鏡検査における前後移動中に医療画像を動的に表示するためのシステムおよび方法に関する。
経路計画視覚化技法が、種々の医療分野で急速に成長している。視覚化技法は、切開のサイズを最小限にし、手術において患者の疾患を非侵襲的に治療し、標的病変を識別して治療するように患者の内側で非侵襲的にナビゲートすることに役立つ。しかしながら、視覚化は、誤った情報が表示される場合、予期しない危険を及ぼし得る。例えば、肺の気道を通して逆または後退方向に仮想カメラ視野をナビゲートする場合、臨床医に提供される視野は、臨床医が以前に取ったステップを再追跡して以前の場所に戻ることを困難にし得る。さらに、ユーザは、肺の気道の外側でナビゲートする仮想カメラ視野も見出し得る。
一側面では、本開示は、仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示する方法を特徴とする。本方法は、第１の場所および第１の場所における第１の方向を決定することと、第１の場所および第１の方向をメモリに記憶することと、第１の場所に対応する第１の仮想カメラ視野を表示することと、仮想気管支鏡検査の気道を通した移動に対応する第２の場所を決定することと、第２の場所をメモリに記憶することと、第２の場所に対応する第２の仮想カメラ視野を表示することと、第１の場所および第２の場所に基づいて第２の方向を決定することと、第２の方向をメモリに記憶することと、仮想気管支鏡検査を通したさらなる移動に対応する第３の場所を決定することと、さらなる移動が順方向であるか、または逆方向であるかを決定することとを含む。
さらなる移動が順方向であると決定される場合、本方法は、第３の場所に対応する第３の仮想カメラ視野を表示することを含む。移動が逆方向であると決定される場合、本方法は、メモリから記憶された第１の方向および記憶された第２の方向を読み出すことと、記憶された第１の方向および記憶された第２の方向に基づいて平滑化ベクトルを決定することと、平滑化ベクトルに基づいて、平滑化された仮想カメラ視野を得ることと、平滑化された仮想カメラ視野を表示することとを含む。
実施形態では、さらなる移動が順方向であるか、または逆方向であるかを決定することは、仮想気管支鏡検査画面上での次のポインタ場所および現在のポインタ場所を決定することと、次のポインタ場所の座標と次のポインタ場所の座標との間の差を計算することとを含む。計算された差が正である場合、さらなる移動が逆方向であることを決定する。そして計算された差が負である場合、さらなる移動が順方向であることを決定する。
実施形態では、第１の場所、第２の場所、および第３の場所は、仮想カメラ視野を表示している画面上のポインタまたはカーソルの場所に基づいて決定される。さらに別の実施形態では、本方法はさらに、さらなる移動が順方向であると決定される場合、第２の場所および第３の場所に基づいて第３の方向を決定することと、第３の方向をメモリに記憶することとを含む。
実施形態では、平滑化ベクトルを決定することは、第１の場所および第１の方向に基づいて第１のベクトルを決定することと、第１の場所および第２の方向に基づいて第２のベクトルを決定することと、第１のベクトルと第２のベクトルとを平均し、平滑化ベクトルを得ることとを含む。
実施形態では、スプラインは、２次のスプラインまたは４次のスプラインである。実施形態では、本方法はさらに、第１の、第２の、第３の、または平滑化された仮想カメラ視野を変更する入力をユーザから受信することと、変更された第１の、第２の、第３の、または平滑化された仮想カメラ視野を記憶することとを含む。さらなる実施形態では、平滑化ベクトルを決定することは、第１の方向と第２の方向との間の方向を有するベクトルを決定することを含む。
別の側面では、本開示は、仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示するための装置を特徴とする。本装置は、ナビゲーション計器の少なくとも１つの位置センサから位置情報を受信するように構成されているネットワークインターフェースであって、位置情報は、物理的場所を含む、ネットワークインターフェースと、仮想気管支鏡検査の複数の仮想カメラ視野、命令、第１の場所、第１の場所における第１の方向、第２の場所、および第２の場所における第２の方向を記憶しているメモリと、命令を実行するように構成されているプロセッサとを含む。命令は、プロセッサによって実行されると、プロセッサに、仮想気管支鏡検査の気道を通した移動が順方向であるか、または逆方向であるかを決定させる。移動が順方向であると決定される場合、命令はさらに、プロセッサに、仮想気管支鏡検査の気道を通した移動に対応する第３の場所を決定させ、第２の場所および第３の場所に基づいて第３の方向を決定させる。移動が逆方向であると決定される場合、命令はさらに、プロセッサに、メモリから第１の方向および第２の方向を読み出させ、第１の方向および第２の方向に基づいて平滑化ベクトルを決定させる。本装置はさらに、決定された平滑化ベクトルに対応する平滑化された仮想カメラ視野の画像を画面上で動的に表示するように構成されるディスプレイを含む。
本開示の上記の側面および実施形態のうちのいずれかは、本開示の範囲から逸脱することなく組み合わせられ得る。
例えば、本発明は、以下を提供する。
（項目１）
仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示する方法であって、前記方法は、
第１の場所および前記第１の場所における第１の方向を決定することと、
前記第１の場所および前記第１の方向をメモリに記憶することと、
前記第１の場所に対応する第１の仮想カメラ視野を表示することと、
前記仮想気管支鏡検査の前記気道を通した移動に対応する第２の場所を決定することと、
前記第２の場所を前記メモリに記憶することと、
前記第２の場所に対応する第２の仮想カメラ視野を表示することと、
前記第１の場所と前記第２の場所とに基づいて第２の方向を決定することと、
前記第２の方向を前記メモリに記憶することと、
前記仮想気管支鏡検査を通したさらなる移動に対応する第３の場所を決定することと、
前記さらなる移動が順方向であるか、または逆方向であるかを決定することと、
前記さらなる移動が前記順方向であると決定される場合、
前記第３の場所に対応する第３の仮想カメラ視野を表示することと、
移動が前記逆方向であると決定される場合、
前記メモリから前記記憶された第１の方向および前記記憶された第２の方向を読み出すことと、
前記記憶された第１の方向と前記記憶された第２の方向とに基づいて平滑化ベクトルを決定することと、
前記平滑化ベクトルに基づいて、平滑化された仮想カメラ視野を得ることと、
前記平滑化された仮想カメラ視野を表示することと
を含む、方法。
（項目２）
前記さらなる移動が順方向であるか、または逆方向であるかを決定することは、
仮想気管支鏡検査画面上の次のポインタ場所および現在のポインタ場所を決定することと、
前記次のポインタ場所の座標と前記次のポインタ場所の座標との間の差を計算することと、
前記計算された差が正である場合、前記さらなる移動が前記逆方向であることを決定することと、
前記計算された差が負である場合、前記さらなる移動が前記順方向であることを決定することと
を含む、上記項目のいずれか１項に記載の方法。
（項目３）
前記第１の場所、前記第２の場所、および前記第３の場所は、前記仮想カメラ視野を表示している画面上のポインタまたはカーソルの場所に基づいて決定される、上記項目のいずれか１項に記載の方法。
（項目４）
前記さらなる移動が前記順方向であると決定される場合、
前記第２の場所と前記第３の場所とに基づいて第３の方向を決定することと、
前記第３の方向を前記メモリに記憶することと
をさらに含む、上記項目のいずれか１項に記載の方法。
（項目５）
前記平滑化ベクトルを決定することは、
前記第１の場所と第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
前記第１のベクトルと前記第２のベクトルとを平均し、前記平滑化ベクトルを得ることと
を含む、上記項目のいずれか１項に記載の方法。
（項目６）
前記平滑化ベクトルを決定することは、
前記第１の場所と前記第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
スプラインまたはランチョスアルゴリズムを前記第１のベクトルと前記第２のベクトルとに適用し、前記平滑化ベクトルを得ることと
を含む、上記項目のいずれか１項に記載の方法。
（項目７）
前記スプラインは、２次のスプラインまたは４次のスプラインである、上記項目のいずれか１項に記載の方法。
（項目８）
前記第１の、第２の、第３の、または平滑化された仮想カメラ視野を変更する入力をユーザから受信することと、
前記変更された第１の、第２の、第３の、または平滑化された仮想カメラ視野を記憶することと
をさらに含む、上記項目のいずれか１項に記載の方法。
（項目９）
前記平滑化ベクトルを決定することは、前記第１の方向と前記第２の方向との間の方向を有するベクトルを決定することを含む、上記項目のいずれか１項に記載の方法。
（項目１０）
仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示するための装置であって、
ナビゲーション計器の少なくとも１つの位置センサから前記ナビゲーション計器の位置情報を受信するように構成されているネットワークインターフェースであって、前記位置情報は、物理的場所を含む、ネットワークインターフェースと、
前記仮想気管支鏡検査の複数の仮想カメラ視野、命令、第１の場所、前記第１の場所における第１の方向、第２の場所、および前記第２の場所における第２の方向を記憶しているメモリと、
前記命令を実行するように構成されているプロセッサであって、
前記命令は、前記プロセッサによって実行されると、
前記仮想気管支鏡検査の前記気道を通した移動が順方向であるか、または逆方向であるかを決定することと、
前記移動が前記順方向であると決定される場合、
前記仮想気管支鏡検査の前記気道を通した前記移動に対応する第３の場所を決定することと、
前記第２の場所と前記第３の場所とに基づいて第３の方向を決定することと、
移動が前記逆方向であると決定される場合、
前記メモリから前記第１の方向および前記第２の方向を読み出すことと、
前記第１の方向と前記第２の方向とに基づいて平滑化ベクトルを決定することと
を前記プロセッサに行わせる、プロセッサと、
前記決定された平滑化ベクトルに対応する平滑化された仮想カメラ視野の画像を画面上で動的に表示するように構成されているディスプレイと
を備えている、装置。
（項目１１）
前記第１の場所、前記第２の場所、および前記第３の場所は、前記画面上のポインタの場所に基づいて決定される、上記項目のいずれか１項に記載の装置。
（項目１２）
前記命令は、前記プロセッサによって実行されると、
前記仮想カメラ視野を表示する前記画面上での第１のポインタ場所および第２のポインタ場所を決定することと、
前記第１のポインタ場所の座標と前記第２のポインタ場所の座標との間の差を計算することと、
前記計算された差が正である場合、前記移動が前記逆方向であることを決定することと、
前記計算された差が負である場合、前記移動が前記順方向であることを決定することと
を前記プロセッサにさらに行わせる、上記項目のいずれか１項に記載の装置。
（項目１３）
前記命令は、前記プロセッサによって実行されると、
前記第１の場所と前記第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
前記第１のベクトルと前記第２のベクトルとを平均し、前記平滑化ベクトルを得ることと
を前記プロセッサにさらに行わせる、上記項目のいずれか１項に記載の装置。
（項目１４）
前記命令は、前記プロセッサによって実行されると、前記第１の方向と前記第２の方向との間にある方向を有する前記平滑化ベクトルを前記プロセッサに決定させる、上記項目のいずれか１項に記載の装置。
（項目１５）
前記命令は、前記プロセッサによって実行されると、
前記第１の場所と第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
スプラインを前記第１のベクトルと前記第２のベクトルとに適用し、前記平滑化ベクトルを得ることと
を前記プロセッサに行わせる、上記項目のいずれか１項に記載の装置。
（項目１６）
前記スプラインは、２次のスプラインまたは４次のスプラインである、上記項目のいずれか１項に記載の装置。
（項目１７）
仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示する方法であって、前記方法は、
第１の場所および前記第１の場所における第１の方向を決定することと、
第１の場所および前記第１の方向をメモリに記憶することと、
前記第１の場所に対応する第１の仮想カメラ視野を表示することと、
前記仮想気管支鏡検査の前記気道を通した移動に対応する第２の場所、および第２の方向を決定することと、
前記記憶された第１の方向および前記第２の方向に基づいて平滑化ベクトルを決定することと、
前記平滑化ベクトルを前記メモリに記憶することと、
前記第２の場所に対応する第２の仮想カメラ視野を表示することと、
前記仮想気管支鏡検査の気道を通したさらなる移動に対応する第３の場所を決定することと、
前記さらなる移動が順方向であるか、または逆方向であるかを決定することと、
前記さらなる移動が前記順方向であると決定される場合、
前記第３の場所に対応する第３の仮想カメラ視野を表示することと、
移動が前記逆方向であると決定される場合、
前記メモリに記憶された前記平滑化ベクトルを読み出すことと、
前記読み出された平滑化ベクトルに基づいて、平滑化された仮想カメラ視野を得ることと、
前記平滑化された仮想カメラ視野を表示することと
を含む、方法。
（項目１８）
前記平滑化ベクトルを決定することは、
前記第１の場所と第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
前記第１のベクトルと前記第２のベクトルとを平均し、前記平滑化ベクトルを得ることと
を含む、上記項目のいずれか１項に記載の方法。
（項目１９）
前記平滑化ベクトルを決定することは、
前記第１の場所と第１の方向とに基づいて第１のベクトルを決定することと、
前記第１の場所と前記第２の方向とに基づいて第２のベクトルを決定することと、
スプラインまたはランチョスアルゴリズムを前記第１のベクトルと前記第２のベクトルとに適用し、前記平滑化ベクトルを得ることと
を含む、上記項目のいずれか１項に記載の方法。
（項目２０）
前記スプラインは、２次のスプラインまたは４次のスプラインである、上記項目のいずれか１項に記載の方法。
（摘要）
仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示するためのシステムおよび方法が、開示される。本方法は、第１の場所および第１の場所における第１の方向を決定することと、第１の場所および第１の方向をメモリに記憶することと、第１の場所に対応する第１の仮想カメラ視野を表示することと、仮想気管支鏡検査の気道を通した移動に対応する第２の場所を決定することと、第２の場所をメモリに記憶することと、第２の場所に対応する第２の仮想カメラ視野を表示することと、第１の場所および第２の場所に基づいて第２の方向を決定することと、第２の方向をメモリに記憶することと、仮想気管支鏡検査を通したさらなる移動に対応する第３の場所を決定することと、さらなる移動が順方向であるか、または逆方向であるかを決定することとを含む。
本開示されるシステムおよび方法の目的および特徴は、種々の実施形態の説明が添付図面を参照して読まれたときに当業者に明白となるであろう。
図１は、本開示の実施形態による、経路計画のためのコンピュータデバイスの概略図である。 図２は、本開示による、経路計画の４つの段階を図示する、略図である。 図３は、本開示の実施形態による、肺気道内の前後運動のために仮想カメラ視野を動的に決定して表示する方法を図示する、フローチャートである。 図４は、本開示の実施形態による、肺気道内で順または逆方向を決定する方法を図示する、フローチャートである。 図５および６Ａ−６Ｃは、本開示の実施形態による、肺気道内でナビゲートしている間の視野の図式的説明図である。 図５および６Ａ−６Ｃは、本開示の実施形態による、肺気道内でナビゲートしている間の視野の図式的説明図である。 図５および６Ａ−６Ｃは、本開示の実施形態による、肺気道内でナビゲートしている間の視野の図式的説明図である。 図５および６Ａ−６Ｃは、本開示の実施形態による、肺気道内でナビゲートしている間の視野の図式的説明図である。 図７は、本開示のいくつかの実施形態による、肺気道を通してナビゲートするために取られるステップの図式的説明図である。
仮想気管支鏡検査（ＶＢ）視野は、ユーザが仮想カメラ（またはユーザの視点）と相互作用すること、および肺の気道の内側の仮想カメラ視野の場所および方向の両方を修正することを可能にする。ＶＢ視野内の後方への移動は、平面視野（軸方向、冠状、矢状）のうちの１つの上で仮想カメラ（またはユーザ視点）を調節し、次いで、ＶＢ視野内で直線に後方に進むことによって、達成されることができる。しかしながら、本方法は、少なくとも２つの視野を伴い得、実際のステップを再追跡し、以前の場所に戻ることは困難であり得る。ユーザは、気道の外側でナビゲートする仮想カメラも見出し得る。
本開示の実施形態によると、旋回を含む前方への移動は、各個々のステップをスタックに記憶することによって記録され、仮想カメラが後方に移動するとき、その後方ステップがスタックから取り出され、したがって、仮想カメラの実際の場所および方向を保持する。前方への移動は、直線で移動することによって行われる。横向きの移動は、ＶＢ視野上のある位置においてマウスポインタ等のデータ入力デバイスを操作することによって行われ、ＶＢ視野の中心は、より良好なユーザ体験を可能にするように、動画を介してその位置に対して更新する。
画面上のカーソルまたはポインタの移動、および／またはマウスもしくはタッチパッド等のユーザ入力デバイスを操作するユーザによるボタンの選択に応答して前方に移動しながら、仮想カメラ視野が（右または左に）旋回される場合、直線での移動が行われた後に旋回が行われる。ソフトウェアは、前方へのステップまたはいくつかのステップをスタックに保存し、次いで、旋回を伴うステップを保存する。旋回のステップは、円滑な旋回を提供するように単一の動画において行われる。動画は、仮想カメラの現在の場所、現在の方向、新しい回転軸、および視野の２Ｄのｘ軸における差分、すなわち、左または右方向の変化に基づいて計算される。
逆方向に移動するときに類似ユーザ体験を提供するために、本開示によるシステムおよび方法は、カーソルまたはポインタが、マウス、タッチパッド、トラックボール、またはタッチスクリーン等のデータ入力デバイスの動作を介して、ユーザによって移動させられた後の、ディスプレイデバイス上のカーソルまたはポインタの場所を記録する。本明細書で議論されるように、ディスプレイデバイス上のカーソルまたはポインタの場所のｘ座標およびｙ座標は、スタックに記憶され、仮想カメラの前後移動を決定するために使用される。仮想カメラが後方へ移動するとき、現在の場所および現在の場所における方向が、以前の場所および方向ともに、スタックから取り出される。後方移動の間または前に、平均方向ベクトル、または後方ナビゲーションのために最適化される他の平滑化ベクトルが、スタック内の２つの隣接ステップ（例えば、ステップｉおよびｉ−１）に対して計算される。いくつかの実施形態では、平滑化ベクトルは、第１のベクトルおよび第２のベクトルに適用されているスプラインまたはランチョスアルゴリズムに基づく。後方移動では、計算された平均方向ベクトルまたは他の平滑化ベクトルに対応する仮想カメラ視野が、使用される。これは、後方へ移動しながら旋回を行うときに、より円滑な動画を可能にする。
ここで図１を参照すると、本開示は、概して、手術中に使用するための患者の解剖学的管腔網を通した経路を計画するための経路計画システム１０および方法を対象とする。経路計画システム１０は、例えば、ラップトップ、デスクトップ、タブレット、または他の類似デバイス等のコンピュータデバイス１００を含み得、コンピュータデバイス１００は、ディスプレイ１０２、メモリ１０４、１つ以上のプロセッサ１０６、および／またはコンピュータデバイスで典型的に見出されるタイプの他の構成要素を有する。ディスプレイ１０２は、ディスプレイ１０２が入力および出力デバイスの両方としての機能を果たすことを可能にする、タッチセンサ式および／または音声起動型であり得る。代替として、キーボード１１３、マウス１１４、または他のデータ入力デバイスが、採用され得る。
メモリ１０４は、プロセッサ１０６によって実行可能であり、コンピュータデバイス１００の動作を制御するデータおよび／またはソフトウェアを記憶するための任意の非一過性のコンピュータ読み取り可能な媒体を含む。実施形態では、メモリ１０４は、フラッシュメモリチップ等の１つ以上のソリッドステート記憶デバイスを含み得る。代替実施形態では、メモリ１０４は、大容量記憶コントローラ（図示せず）および通信バス（図示せず）を通してプロセッサ１０６に接続される大容量記憶デバイスであり得る。
本明細書に含まれるコンピュータ読み取り可能な媒体の説明は、ソリッドステート記憶装置を指すが、コンピュータ読み取り可能な記憶媒体は、プロセッサ１０６によってアクセスされることができる任意の利用可能な媒体であり得ることが当業者によって理解されるべきである。つまり、コンピュータ読み取り可能な記憶媒体は、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、または他のデータ等の情報の記憶のための任意の方法または技術で実装される、非一過性、揮発性および不揮発性、取り外し可能および非取り外し可能な媒体を含む。例えば、コンピュータ読み取り可能な記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のソリッドステートメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ、または他の光学記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、または他の磁気記憶デバイス、もしくは所望の情報を記憶するために使用されることができ、コンピュータデバイス１００によってアクセスされることができる任意の他の媒体を含む。
コンピュータデバイス１００はまた、他のソースへのデータへの伝送および他のソースからのデータの受信のための有線または無線接続を介して、分散型ネットワークもしくはインターネットに接続されるネットワークモジュール１０８を含み得る。例えば、コンピュータデバイス１００は、経路計画中に使用するために、サーバ、例えば、病院サーバ、インターネットサーバ、または他の類似サーバから、患者のコンピュータ断層撮影（ＣＴ）画像を受信し得る。患者ＣＴ画像はまた、取り外し可能なメモリであり得るメモリ１０４を介して、コンピュータデバイス１００に提供され得る。
経路計画モジュール２００は、メモリ１０４に記憶され、コンピュータデバイス１００のプロセッサ１０６によって実行されるソフトウェアプログラムを含む。以下でさらに詳細に説明されるように、経路計画モジュール２００は、医療手技中に後の使用のための経路計画を開発するための一連のステップを通して臨床医を誘導する。経路計画モジュール２００は、ディスプレイ１０２上で視覚的双方向特徴を臨床医に表示するための、および臨床医入力を受信するためのユーザインターフェースモジュール２０２と通信する。
本明細書で使用される場合、「臨床医」という用語は、任意の医療専門家（すなわち、医師、外科医、看護師等）、または本明細書に説明されるシステム、方法、および装置の実施形態の使用を伴う医療手技を計画し、行い、監視し、および／または管理することに関与する、経路計画システム１０の他のユーザを指す。
ここで図２を参照すると、実施形態では、経路計画モジュール２００を使用する経路計画は、４つの別個の段階で行われ得る。第１の段階Ｓ１では、臨床医が、経路計画のために患者を選択する。第２の段階Ｓ２では、臨床医が、標的を追加する。第３の段階Ｓ３では、臨床医が、標的への経路を作成する。最終的に、第４の段階Ｓ４では、臨床医が、計画を再検討して容認し、医療手技で使用するために計画をエクスポートし得る。臨床医は、必要に応じて第２および第３の段階Ｓ２ならびにＳ３のいずれか一方または両方を繰り返し、追加の標的を選択し、および／または特定の患者のための追加の経路を作成し得る。例えば、臨床医は、追加の標的を選択し、各標的への経路を作成し得る。臨床医はまた、または代替として、同一の標的への複数の経路を作成し得る。経路計画が生成されると、仮想気管支鏡検査視野（図６Ａ−６Ｃで図示される）が表示され得、それは、臨床医が経路計画に基づいて患者の仮想気道内でナビゲートすることを可能にする。
図３は、本開示の実施形態による、仮想カメラの位置および方向情報に基づいて仮想気管支鏡検査視野を動的に表示する方法３００を図示するフローチャートである。ステップ３０５−３１０では、仮想気管支鏡検査視野内のディスプレイ１０２上でデータ入力デバイス１１２によって指し示される場所が、表示される。いくつかの実施形態では、場所は、患者の気管または進入点等の既知の気道の中に設定される。ディスプレイ１０２上でデータ入力デバイス１１２によって指し示される場所は、２Ｄｘ座標およびｙ座標として得られる。仮想場所は、ステップ３１５において、仮想場所で仮想カメラ視野を生成するために利用される。臨床医が仮想気管支鏡検査視野内で患者の気道を通って進行する場合、臨床医は、気道内の種々の場所をクリックまたは選択することにより、前方または後方へ移動する。
（ポインタまたはカーソルを使用することによって等）ディスプレイ１０２上でデータ入力デバイス１１２によって指し示される仮想場所が、（図７に関して以下でさらに説明されるように）ステップ３１０において場所Ｌｉに到達すると、視野方向Ｄｉが、利用される。場所Ｌｉに基づいて、１つ以上のプロセッサ１０６は、場所Ｌｉに対応する視野方向Ｄｉを決定する。場所Ｌｉは、気道のディスプレイ１０２上の位置に対してｘ座標およびｙ座標を有する２Ｄ座標である。
視野方向Ｄｉは、規模および角度Θｉを有する、ベクトル
Figure 2018047258
 として表現され得る。角度Θｉは、図７で図示されるように、現在のベクトル
Figure 2018047258
 の角度と前のベクトル
Figure 2018047258
 の角度との間の差として定義され得る。例えば、第１の場所Ｌ１から第２の場所Ｌ２まで延びる第１のベクトル
Figure 2018047258
 、および第１のベクトル
Figure 2018047258
 に対して直角な方向に第２の場所Ｌ２から延びる第２のベクトル
Figure 2018047258
 に対して、第２のベクトル
Figure 2018047258
 の角度Θ２は、９０°である。
場所Ｌｉおよび視野方向Ｄｉが決定されると、１つ以上のプロセッサ１０６は、ステップ３１５において、場所Ｌｉおよび視野方向Ｄｉに基づいてメモリ１０４から仮想カメラ視野Ｃｉを得る。仮想カメラ視野Ｃｉは、仮想気管支鏡検査窓６００（図６Ａ、６Ｂ、および６Ｃに示される）の中で表示される２Ｄ仮想画像である。仮想カメラ視野Ｃｉは、仮想カメラの先端の視点からの気道の内側の視野である。仮想カメラ視野Ｃｉの例が、図６Ａ−６Ｃに示される。
ステップ３２０では、１つ以上のプロセッサ１０６が、例えば、ステップＳｉにおいてスタックまたは参照テーブル内に、第１の場所Ｌｉおよび視野方向Ｄｉをメモリ１０４に記憶する。参照テーブル（ＬＵＴ）の例が、以下に示される。
Figure 2018047258
 本明細書で使用される場合、場所という用語は、ディスプレイ１０２上でポインタまたはカーソルの場所を示す座標値およびデータを指す。視野方向とは、図７でさらに図示されるように、現在の場所からの直線（第１のベクトル）における視野と前の場所からの直線（第２のベクトル）における視野との間の角度差を指す。
ステップ３２５では、仮想カメラ視野Ｃｉが、図６Ａ−６Ｃに示されるように、仮想気管支鏡検査窓６００の中でディスプレイ１０２上に表示される。いくつかの実施形態では、ユーザは、マウス１１４上のボタンをクリックすること、またはキーボード１１３上のキーもしくはキーの組み合わせを押下することによって、仮想カメラ視野Ｃｉを変更および更新し得る。例えば、ユーザは、方向を変化させ、それによって、異なる視野方向において新しい仮想カメラ視野を表示し得る。
（前方移動）
図３のステップ３３０−３５５は、気道を通した順方向への仮想カメラの移動を例証する。ステップ３３０では、仮想カメラの次の場所Ｌｉ＋１および次の視野方向Ｄｉ＋１が、ディスプレイ１０２上のポインタまたはカーソルの場所に基づいて得られる。次の視野方向Ｄｉ＋１は、場所Ｌｉから次の場所Ｌｉ＋１まで延びるベクトルの方向を決定することによって、決定され得る。ステップ３３５では、図４を参照して以下で説明されるように、仮想カメラが順方向に場所Ｌｉから次の場所Ｌｉ＋１まで移動したかどうかに関して決定が行われる。
仮想カメラが場所Ｌｉから次の場所Ｌｉ＋１まで順方向に移動していることが決定される場合、本方法は、ステップ３４０へ進む。ステップ３４０では、次の場所Ｌｉ＋１および視野方向Ｄｉ＋１の両方が決定されると、１つ以上のプロセッサ１０６は、次の場所Ｌｉ＋１および次の視野方向Ｄｉ＋１に基づいてメモリ１０４から次の仮想カメラ視野Ｃｉ＋１を得る。
ステップ３４５では、１つ以上のプロセッサ１０６が、次のステップＳｉ＋１において次の場所Ｌｉ＋１および次の視野方向Ｄｉ＋１をメモリ１０４に記憶する。ステップ３５０では、次の仮想カメラ視野Ｃｉ＋１が、仮想気管支鏡検査窓６００の中でディスプレイ１０２上に表示される。ステップ３５５では、１つ以上のプロセッサ１０６が、ステップ３３０に戻り、次の場所Ｌｉ＋１を決定する前に、次のステップＳｉ＋１における現在の場所Ｌｉ＋１を現在のステップＳｉに設定する。
（後方移動）
いくつかの実施形態では、ステップ３３５において、仮想カメラが順方向に移動していないことが決定される場合、本方法は、ステップ３６０へ進む。ステップ３６０では、仮想カメラが逆方向に移動しているかどうかが決定される。ステップ３６０は、仮想カメラが逆方向に移動していることを確認するために使用される。逆方向への移動は、以前に訪れた位置またはその付近への移動として定義され得る。ステップ３６０において、移動が逆方向ではないことが決定される場合、本方法は、仮想カメラの移動が順方向であるかどうかを決定するように、ステップ３３５に戻る。
ステップ３６０において、移動が逆方向であることが決定される場合、本方法は、ステップ３７０へ進む。逆方向である次の場所Ｌｉ＋１に基づいて、１つ以上のプロセッサ１０６は、メモリ１０４内の参照テーブルにアクセスし、次の場所Ｌｉ＋１に対応する参照テーブル内の以前の記憶されたステップを決定する。例えば、次の場所Ｌｉ＋１において、座標がｘｉ＋１，ｙｉ＋１である場合、プロセッサは、上記の表１で図示される参照テーブルにアクセスし、前の場所ＬｉおよびＬｉ−１が、それぞれ、ステップＳｉおよびＳｉ−１に対応することを決定するであろう。ステップＳｉおよびＳｉ−１が決定されると、１つ以上のプロセッサ１０６は、ステップ３７０で、表１からステップＳｉにおける視野方向ＤｉおよびステップＳｉ−１における視野方向Ｄｉ−１を得る。したがって、例えば、仮想カメラの移動が逆方向であり、場所がステップＳ５に対応することが決定される場合、１つ以上のプロセッサ１０６は、表１で図示される参照テーブルから視野方向Ｄ４および視野方向Ｄ３を得る。
ステップ３７５では、１つ以上のプロセッサ１０６が、視野方向Ｄｉ−１および視野方向Ｄｉに基づいて平滑化ベクトルＶを計算する。上記の表１に示されるように、視野方向Ｄｉ−１およびＤｉは、それぞれ、ベクトル角度Θｉ−１およびΘｉに対応する。いくつかの実施形態では、平滑化ベクトルは、ベクトル角度Θｉ−１およびΘｉを二等分する角度ΘＮｉ＋１を有する、新しいベクトルである。したがって、後方運動に対して、平滑化ベクトルを視野方向Ｄｉの角度Θｉに適用することによって、場所Ｌｉ＋１における新しい視野方向が、Θｉ／２に等しい新しい角度を伴って作成される。
実施形態では、平滑化ベクトルＶは、（１）場所Ｌｉ−１および方向Ｄｉ−１によって定義される第１または前のベクトルと、（２）場所Ｌｉおよび方向Ｄｉによって定義される第２または現在のベクトルとに基づき、例えば、カメラ視野が気道から離れず、および／またはカメラ視野の動画が平滑に見えるように、後方ナビゲーションのために最適化されるベクトルである。平滑化ベクトルＶは、第１および第２のベクトルの平均または加重平均であるベクトル等の第１および第２のベクトルの間のベクトルであり得る。平滑化ベクトルＶは、代替として、スプラインまたはランチョスアルゴリズム等の平滑化アルゴリズムを使用することによって決定され得る。スプラインは、二次スプライン（次数２のスプライン）または三次スプライン（次数４のスプライン）であり得る。
平滑化ベクトルに基づいて、場所Ｌｉ＋１における新しい視野方向ＤＮｉ＋１を決定した後、１つ以上のプロセッサ１０６は、ステップ３８０で、場所Ｌｉ＋１における新しい仮想カメラ視野ＣＮｉ＋１を決定する。いくつかの実施形態では、場所Ｌｉ＋１は、場所Ｌｉ−１または場所Ｌｉ−１付近の場所であり得る。したがって、場所Ｌｉ＋１における元の仮想カメラ視野Ｃｉ＋１を使用する代わりに、１つ以上のプロセッサ１０６は、メモリ１０４から元の仮想カメラ視野Ｃｉ＋１を得て、平滑化ベクトルを使用して新しい視野方向Ｄｉ＋１によって仮想カメラ視野Ｃｉ＋１を変更し、新しい仮想カメラ視野ＣＮｉ＋１を生成する。ステップ３８５では、新しい仮想カメラ視野ＣＮｉ＋１が、仮想気管支鏡検査窓の中でディスプレイ１０２上に表示される。ステップ３８５に続いて、１つ以上のプロセッサ１０６は、ステップ３３０に戻り、次の場所Ｌｉ＋１を決定する前に、ステップ３９０で、ステップＳｉ＋１のための現在の場所Ｌｉ＋１をステップＳｉに設定する。
ここで図４を参照すると、図３のステップ３３５および３６０の前後運動の決定のための方法４００を図示するフローチャートが、さらに詳細に説明される。ディスプレイ１０２上のポインタまたはカーソルの現在の場所Ｌｉおよび前の場所Ｌｉ−１を使用して、前方および後方のどちらの方向に、仮想カメラが現在の場所Ｌｉにおいて移動しているかという決定が行われることができる。
ステップ４０５では、１つ以上のプロセッサ１０６が、ディスプレイ１０２上のポインタの現在の場所Ｌｉの２Ｄｘ座標およびｙ座標を得る。次に、ステップ４１０では、１つ以上のプロセッサ１０６が、ディスプレイ１０２上の（データ入力デバイス１１２のユーザの操作によって場所Ｌｉから移動させられる）次の仮想場所Ｌｉ＋１の２Ｄｘ座標およびｙ座標を得る。
ステップ４１５では、１つ以上のプロセッサ１０６が、ディスプレイ１０２上のポインタの次の場所Ｌｉ＋１のｙ座標値と場所Ｌｉのｙ座標値との間の差がゼロ未満であるかどうかを決定する。ステップ４１５において、次の場所Ｌｉ＋１のｙ座標値と場所Ｌｉのｙ座標値との間の差がゼロ未満であることが決定される場合、１つ以上のプロセッサ１０６は、仮想カメラが順方向に移動していることを決定する。
ステップ４１５において、ディスプレイ１０２上のポインタの場所Ｌｉ＋１のｙ座標値と場所Ｌｉのｙ座標値との間の差がゼロ未満ではないことが決定される場合、方法４００は、次の場所Ｌｉ＋１のｙ座標値と場所Ｌｉのｙ座標値との間の差がゼロを上回ることが決定される、ステップ４２０へ進む。ステップ４１５において、次の場所Ｌｉ＋１のｙ座標値と場所Ｌｉのｙ座標値との間の差がゼロを上回ることが決定される場合には、１つ以上のプロセッサ１０６は、仮想カメラが逆方向に移動していることを決定する。
ここで図５および６Ａ−６Ｃを参照すると、仮想気管支鏡検査のための３Ｄマップ窓５００が、表示される。標的が識別され、経路がコンピュータデバイス１００によって識別されると、臨床医は、ナビゲーション再検討モードで経路を再検討することを望み得る。図５は、本開示の実施形態による、コンピュータデバイス１００がディスプレイ１０２の画面上に３Ｄマップ窓５００および仮想気管支鏡検査窓６００（図６Ａ−６Ｃ）を示す、計画段階のナビゲーション再検討モードを図示する。
３Ｄマップ窓５００は、３Ｄマップを示し、仮想気管支鏡検査窓６００は、仮想気管支鏡ビデオ画像を示す。３Ｄマップ窓５００は、標的５５０への経路５０５と現在位置インジケータ５０７とを表示し、重ね合せる。ナビゲーション再検討モードでは、ディスプレイ１０２は、気管から標的５５０までのフライスルー視野として仮想気管支鏡検査窓６００を示す。
仮想気管支鏡検査窓６００はまた、再検討のために標的５５０に向かった経路６６０も示す。現在位置インジケータ５０７は、仮想気管支鏡検査窓６００に示される現在の位置に基づいて、かつそれに従って、３Ｄマップ窓５００の中で移動する。一側面では、経路６６０または５０５は、臨床医が経路の表示と経路の非表示との間で設定し得る表示オプションに基づいて、表示されないこともある。
仮想気管支鏡検査窓６００は、不透明度のためのスライダ６７０を含む。スライダ６７０を移動させることによって、仮想気管支鏡ビデオ画像の不透明度は、不透明から透明に変化し得る。しかしながら、仮想気管支鏡検査の不透明度状態は、３Ｄマップ窓５００に示される３Ｄマップに同期させられない。
図５に示されるように、気道通路５０１は、３つのそれぞれの場所５１０、５２０、および５３０における３つのカメラ視野を含む。仮想カメラが場所５１０、５２０、および５３０の各々において標的５５０の方へナビゲートすると、視野方向５１０ａ、５２０ａ、および５３０ａが、それぞれ、仮想気管支鏡検査窓６００内で表示される。各視野方向５１０ａ、５２０ａ、および５３０ａは、それぞれ、図６Ａ、６Ｂ、および６Ｃに示される仮想気管支鏡ビデオ画像に対応する。仮想カメラが場所５１０から５３０まで進行するにつれて、ユーザによって見られる視野は、それぞれ、図６Ａ−６Ｃに示されるように変更される。
図６Ａでは、ユーザは、仮想気管支鏡検査窓６００の中で、気道通路５０１の分岐とともに場所５１０、５２０、および５３０を含む経路６６０を見ることができる。仮想カメラが場所５２０に接近するにつれて（図６Ｂ）、仮想気管支鏡検査窓６００に示される視野は、分岐に接近している。仮想カメラが場所５３０に到達すると（図６Ｃ）、気道通路が場所５３０において表示される。前方運動中に、ユーザは、マウス、キーボード、またはタッチパッド等の入力デバイスを用いてポインタまたはカーソルを移動させ、場所５１０、５２０、および５３０等の経路６６０に沿う前方の場所を選択する。したがって、ユーザが分岐に注目すると、ユーザは、場所５３０等の分岐に進入する経路６６０に沿った場所を選択することができる。各場所が前方運動中に選択されると、仮想カメラは、その場所に視野の中心を置く。後方運動中、ユーザがポインタまたはカーソルを移動させ、経路６６０に沿う後方の場所を選択すると、本開示のシステムおよび方法は、その後方場所に中心に置かれた仮想カメラ視野を表示することとは対照的に、後方場所における視野を変更して平滑化し、それによって、ユーザが仮想気管支鏡検査窓６００の中で見る視野が気道の外側にあることを防止するカメラ視野をユーザに提供する。例えば、本開示のシステムおよび方法は、図６Ｃの気道内の後方運動を選択するユーザのために、ユーザが見る視野が、仮想カメラが気道の分岐において気道の外側に位置したかのように表示されることを防止するであろう。
図７は、気道および仮想気管支鏡検査視野の気道内の移動に関連付けられるベクトルの図式的説明図７００である。図式的説明図７００は、図６の場所５１０、５２０、および５３０等の気道内の種々の場所におけるベクトルおよび平滑化ベクトルを示す。図７に示されるように、気道通路５０１は、５つの場所Ｌ０−Ｌ４（７０５−７４０）およびそれぞれの視野方向Ｄ０−Ｄ４（７０５ａ−７４０ａ）を含む。各視野方向７０５ａ−７４０ａは、場所７０５−７４０から延びるベクトル実線として図示される。
前方運動の場合、仮想カメラが場所Ｌ０から場所Ｌ４まで進行すると、各場所７０５−７４０においてユーザによって見られるような仮想カメラ視野は、それぞれ、視野方向７０５ａ−７４０ａに沿った方向に表示される。
例えば、場所７４０−７３０−７２０を横断する後方運動の場合、前の場所において表示される各視野方向、例えば、７３０ａおよび７２０ａは、平滑化ベクトルによって変更される。例えば、現在のベクトルと現在の場所における前のベクトルとの平均である平滑化ベクトルに対して、変更された視野方向７３０ｃは、点線によって図示され、７３０ａと７３０ｂとの二等分線として示される。変更された視野方向７３０ｃは、場所Ｌ３７３０の通常視野方向７３０ａと、場所Ｌ３７３０から延びる鎖線７３０ｂによって図示される前の場所Ｌ２７２０の視野方向との二等分線として作成される。
同様に、場所Ｌ３７３０から場所Ｌ２７２０までの後方運動に関して、変更された視野方向７２０ｃが、点線によって図示され、場所Ｌ２７２０の通常視野方向７２０ａと、場所Ｌ２７２０から延びる鎖線７２０ｂとして示される前の場所Ｌ１７１０の視野方向との二等分線として示される。
本開示は、具体的な例証的実施形態に関して説明されているが、本開示の精神から逸脱することなく、種々の修正、再配列、および置換が行われ得ることが、当業者に容易に明白となるであろう。例えば、平滑化ベクトルの決定は、仮想カメラの移動中にオンラインで、または動的に行われるものとして上記で例証される。他の実施形態では、平滑化ベクトルは、気道の全体を通した所定の場所において、オフラインで、またはナビゲーションモードの開始に先立って決定され得ることが考慮される。本他方の実施形態は、逆方向に移動するときに仮想カメラ視野を最適化するために平滑化ベクトルまたは他のベクトルを決定するためのより複雑な方法を利用するときに有益であり得る。本開示の範囲は、本明細書に添付される請求項によって定義される。
前述に加えて、本明細書に説明されるシステムに関連する、いくつかある特徴の中で特に、画像処理およびユーザインターフェース更新の特徴を説明する、以下の同一出願人による出願、すなわち、２０１４年７月２日に出願された、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｎａｖｉｇａｔｉｎｇ Ｗｉｔｈｉｎ Ｔｈｅ Ｌｕｎｇ」と題された米国仮特許出願第６２／０２０，２４０号、２０１４年７月２日に出願された、「Ｒｅａｌ−Ｔｉｍｅ Ａｕｔｏｍａｔｉｃ Ｒｅｇｉｓｔｒａｔｉｏｎ Ｆｅｅｄｂａｃｋ」と題された米国仮特許出願第６２／０２０，２２０号、２０１４年７月２日に出願された、「Ｍｅｔｈｏｄｓ ｆｏｒ Ｍａｒｋｉｎｇ Ｂｉｏｐｓｙ Ｌｏｃａｔｉｏｎ」と題された米国仮特許出願第６２／０２０，１７７号、２０１４年７月２日に出願された、「Ｕｎｉｆｉｅｄ Ｃｏｏｒｄｉｎａｔｅ Ｓｙｓｔｅｍ Ｆｏｒ Ｍｕｌｔｉｐｌｅ ＣＴ Ｓｃａｎｓ Ｏｆ Ｐａｔｉｅｎｔ Ｌｕｎｇｓ」と題された米国仮特許出願第６２／０２０，２４２号、Ｋｌｅｉｎらによって２０１４年７月２日に出願された、「Ａｌｉｇｎｍｅｎｔ ＣＴ」と題された米国仮特許出願第６２／０２０，２４５号、２０１４年７月２日に出願された、「Ａｌｇｏｒｉｔｈｍ ｆｏｒ Ｆｌｕｏｒｏｓｃｏｐｉｃ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ」と題された米国仮特許出願第６２／０２０，２５０号、２０１４年７月２日に出願された、「Ｔｒａｃｈｅａ Ｍａｒｋｉｎｇ」と題された米国仮特許出願第６２／０２０，２５３号、２０１４年７月２日に出願された、「Ｌｕｎｇ Ａｎｄ Ｐｌｅｕｒａ Ｓｅｇｍｅｎｔａｔｉｏｎ」と題された米国仮特許出願第６２／０２０，２６１号、２０１４年７月２日に出願された、「Ｃｏｎｅ Ｖｉｅｗ−Ａ Ｍｅｔｈｏｄ Ｏｆ Ｐｒｏｖｉｄｉｎｇ Ｄｉｓｔａｎｃｅ Ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｗｈｉｌｅ Ｎａｖｉｇａｔｉｎｇ Ｉｎ ３Ｄ」と題された米国仮特許出願第６２／０２０，２５８号、２０１４年７月２日に出願された、「Ｄｙｎａｍｉｃ ３Ｄ Ｌｕｎｇ Ｍａｐ Ｖｉｅｗ ｆｏｒ Ｔｏｏｌ Ｎａｖｉｇａｔｉｏｎ Ｉｎｓｉｄｅ ｔｈｅ Ｌｕｎｇ」と題された米国仮特許出願第６２／０２０，２６２号、２０１４年７月２日に出願された、「Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｌｕｎｇ」と題された米国仮特許出願第６２／０２０，２６１号、および２０１４年７月２日に出願された、「Ａｕｔｏｍａｔｉｃ Ｄｅｔｅｃｔｉｏｎ Ｏｆ Ｈｕｍａｎ Ｌｕｎｇ Ｔｒａｃｈｅａ」と題された米国仮特許出願第６２／０２０，２５７号が参照される。これら全ての参考文献は、とりわけ、肺治療計画およびナビゲーションに関する分析、診断、および治療システムの増進した明確性および性能を提供するように、ＤＩＣＯＭ画像を処理し、気管を検出し、肺内でナビゲートし、ＤＩＣＯＭ画像および処理画像を表示するという側面を対象とする。全ての上記で参照される出願の内容は、参照することによって本明細書に組み込まれる。

Claims (19)

  1. 仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示する方法であって、前記方法は、
    前記仮想気管支鏡検査を通した移動に対応する場所を決定することと、
    前記移動が順方向であるか逆方向であるかを決定することと、
    前記移動が前記順方向であると決定される場合、
    前記決定された場所における順方向の仮想カメラ視野を表示することと、
    移動が前記逆方向であると決定される場合、
    メモリから第１の方向および第２の方向を読み出すことと、
    前記第１の方向と前記第２の方向とに基づいて、前記決定された場所における平滑化ベクトルを決定することと、
    前記平滑化ベクトルに基づいて、平滑化された仮想カメラ視野を得ることと、
    前記決定された場所における前記平滑化された仮想カメラ視野を表示することと
    を含む、方法。
  2. 前記移動が順方向であるか逆方向であるかを決定することは、
    仮想気管支鏡検査画面上の次のポインタ場所および現在のポインタ場所を決定することと、
    前記次のポインタ場所の座標と前記現在のポインタ場所の座標との間の差を計算することと、
    前記計算された差が正である場合、前記移動が前記逆方向であることを決定することと、
    前記計算された差が負である場合、前記移動が前記順方向であることを決定することと
    を含む、請求項１に記載の方法。
  3. 前記場所は、仮想カメラ視野を表示している画面上のポインタまたはカーソルの場所に基づいて決定される、請求項１に記載の方法。
  4. 前記平滑化ベクトルを決定することは、
    前記第１の方向に基づいて第１のベクトルを決定することと、
    前記第２の方向に基づいて第２のベクトルを決定することと、
    前記第１のベクトルと前記第２のベクトルとを平均化することにより、前記平滑化ベクトルを得ることと
    を含む、請求項１に記載の方法。
  5. 前記平滑化ベクトルを決定することは、
    前記第１の方向に基づいて第１のベクトルを決定することと、
    前記第２の方向に基づいて第２のベクトルを決定することと、
    スプラインまたはランチョスアルゴリズムを前記第１のベクトルと前記第２のベクトルとに適用することにより、前記平滑化ベクトルを得ることと
    を含む、請求項１に記載の方法。
  6. 前記スプラインは、２次のスプラインまたは４次のスプラインである、請求項５に記載の方法。
  7. 前記順方向の仮想カメラ視野または前記平滑化された仮想カメラ視野を変更する入力をユーザから受信することと、
    前記変更された順方向の仮想カメラ視野または前記変更された平滑化された仮想カメラ視野を前記メモリに記憶することと
    をさらに含む、請求項１に記載の方法。
  8. 前記平滑化ベクトルを決定することは、前記第１の方向と前記第２の方向との間の方向を有するベクトルを決定することを含む、請求項１に記載の方法。
  9. 仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示するための装置であって、
    前記仮想気管支鏡検査の複数の仮想カメラ視野と、命令と、第１の方向と、第２の方向とを記憶しているメモリと、
    前記命令を実行するように構成されているプロセッサであって、
    前記命令は、前記プロセッサによって実行されると、
    前記仮想気管支鏡検査の前記気道を通した移動が逆方向であるか否かを決定することと、
    移動が前記逆方向であると決定される場合、
    前記メモリから前記第１の方向および前記第２の方向を読み出すことと、
    前記第１の方向と前記第２の方向とに基づいて現在の場所における平滑化ベクトルを決定することと
    を前記プロセッサに行わせる、プロセッサと、
    前記現在の場所における前記決定された平滑化ベクトルに対応する平滑化された仮想カメラ視野の画像を画面上に表示するように構成されているディスプレイと
    を備えている、装置。
  10. 前記現在の場所は、前記画面上のポインタの場所に基づいて決定される、請求項９に記載の装置。
  11. 前記命令は、前記プロセッサによって実行されると、
    前記仮想カメラ視野を表示する前記画面上での第１のポインタ場所および第２のポインタ場所を決定することと、
    前記第１のポインタ場所の座標と前記第２のポインタ場所の座標との間の差を計算することと、
    前記計算された差が正である場合、前記移動が前記逆方向であることを決定することと
    を前記プロセッサにさらに行わせる、請求項９に記載の装置。
  12. 前記命令は、前記プロセッサによって実行されると、
    前記第１の方向に基づいて第１のベクトルを決定することと、
    前記第２の方向に基づいて第２のベクトルを決定することと、
    前記第１のベクトルと前記第２のベクトルとを平均化することにより、前記平滑化ベクトルを得ることと
    を前記プロセッサにさらに行わせる、請求項９に記載の装置。
  13. 前記命令は、前記プロセッサによって実行されると、前記第１の方向と前記第２の方向との間にある方向を有する前記平滑化ベクトルを決定することを前記プロセッサに行わせる、請求項９に記載の装置。
  14. 前記命令は、前記プロセッサによって実行されると、
    第１の方向に基づいて第１のベクトルを決定することと、
    第２の方向に基づいて第２のベクトルを決定することと、
    スプラインを前記第１のベクトルと前記第２のベクトルとに適用することにより、前記平滑化ベクトルを得ることと
    を前記プロセッサにさらに行わせる、請求項９に記載の装置。
  15. 前記スプラインは、２次のスプラインまたは４次のスプラインである、請求項１４に記載の装置。
  16. 仮想気管支鏡検査の気道を通ってナビゲートしながら仮想気管支鏡検査視野を表示する方法であって、前記方法は、
    前記仮想気管支鏡検査の前記気道を通した移動に対応する場所を決定することと、
    前記移動が順方向であるか逆方向であるかを決定することと、
    前記移動が前記順方向であると決定される場合、
    前記決定された場所における順方向の仮想カメラ視野を表示することと、
    移動が前記逆方向であると決定される場合、
    平滑化ベクトルを得ることと、
    前記得られた平滑化ベクトルに基づいて、前記決定された場所における平滑化された仮想カメラ視野を得ることと、
    前記決定された場所における前記平滑化された仮想カメラ視野を表示することと
    を含む、方法。
  17. 第１の方向に基づいて第１のベクトルを決定することと、
    第２の方向に基づいて第２のベクトルを決定することと、
    前記第１のベクトルと前記第２のベクトルとを平均化することにより、前記平滑化ベクトルを得ることと
    をさらに含む、請求項１６に記載の方法。
  18. 第１の方向に基づいて第１のベクトルを決定することと、
    第２の方向に基づいて第２のベクトルを決定することと、
    スプラインまたはランチョスアルゴリズムを前記第１のベクトルと前記第２のベクトルとに適用することにより、前記平滑化ベクトルを得ることと
    をさらに含む、請求項１６に記載の方法。
  19. 前記スプラインは、２次のスプラインまたは４次のスプラインである、請求項１８に記載の方法。
JP2017212569A 2015-06-19 2017-11-02 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法 Active JP6402230B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562181824P 2015-06-19 2015-06-19
US62/181,824 2015-06-19
US15/184,057 2016-06-16
US15/184,057 US10163262B2 (en) 2015-06-19 2016-06-16 Systems and methods for navigating through airways in a virtual bronchoscopy view

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016120830A Division JP6240263B2 (ja) 2015-06-19 2016-06-17 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018168861A Division JP6628844B2 (ja) 2015-06-19 2018-09-10 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法

Publications (2)

Publication Number Publication Date
JP2018047258A true JP2018047258A (ja) 2018-03-29
JP6402230B2 JP6402230B2 (ja) 2018-10-10

Family

ID=56296497

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016120830A Active JP6240263B2 (ja) 2015-06-19 2016-06-17 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法
JP2017212569A Active JP6402230B2 (ja) 2015-06-19 2017-11-02 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法
JP2018168861A Active JP6628844B2 (ja) 2015-06-19 2018-09-10 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016120830A Active JP6240263B2 (ja) 2015-06-19 2016-06-17 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018168861A Active JP6628844B2 (ja) 2015-06-19 2018-09-10 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法

Country Status (6)

Country Link
US (2) US10163262B2 (ja)
EP (1) EP3106117B1 (ja)
JP (3) JP6240263B2 (ja)
CN (2) CN106256331B (ja)
AU (2) AU2016204103B2 (ja)
CA (1) CA2933503C (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9754367B2 (en) * 2014-07-02 2017-09-05 Covidien Lp Trachea marking
US10242488B1 (en) * 2015-03-02 2019-03-26 Kentucky Imaging Technologies, LLC One-sided transparency: a novel visualization for tubular objects
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
CN108024833B (zh) 2016-06-30 2021-06-04 直观外科手术操作公司 用于在图像引导过程期间显示引导信息的图形用户界面
KR20230164237A (ko) * 2016-06-30 2023-12-01 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 안내식 시술 중에 복수의 모드에서 안내 정보를 디스플레이하기 위한 그래픽 사용자 인터페이스
US11350995B2 (en) 2016-10-05 2022-06-07 Nuvasive, Inc. Surgical navigation systems and methods
US11571262B2 (en) * 2017-04-18 2023-02-07 Intuitive Surgical Operations, Inc. Graphical user interface for planning a procedure
JP2020518326A (ja) * 2017-04-18 2020-06-25 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導処置を監視するためのグラフィカル・ユーザインターフェイス
GB201706497D0 (en) * 2017-04-25 2017-06-07 Kwong Tsong Yun New product
US10712810B2 (en) 2017-12-08 2020-07-14 Telefonaktiebolaget Lm Ericsson (Publ) System and method for interactive 360 video playback based on user location
CN110368089A (zh) * 2019-08-07 2019-10-25 湖南省华芯医疗器械有限公司 一种支气管内窥镜三维导航方法
US11612440B2 (en) 2019-09-05 2023-03-28 Nuvasive, Inc. Surgical instrument tracking devices and related methods
CN111513854A (zh) * 2020-05-11 2020-08-11 绍兴梅奥心磁医疗科技有限公司 导管的操控装置及系统
CN112450960A (zh) * 2020-12-21 2021-03-09 周永 基于vr/ar联合数字肺技术的虚拟内窥镜显示方法
CN114366295B (zh) * 2021-12-31 2023-07-25 杭州脉流科技有限公司 微导管路径生成方法、塑形针的塑形方法、计算机设备、可读存储介质和程序产品
CN114404042B (zh) * 2022-03-31 2022-07-08 珠海维尔康生物科技有限公司 一种手术机器人导航板及导航方法
CN115607284B (zh) * 2022-12-05 2023-03-14 珠海视新医用科技有限公司 内窥镜的术中导航控制装置、设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10295639A (ja) * 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
US20070052724A1 (en) * 2005-09-02 2007-03-08 Alan Graham Method for navigating a virtual camera along a biological object with a lumen
JP2014124384A (ja) * 2012-12-27 2014-07-07 Fujifilm Corp 仮想内視鏡画像表示装置および方法並びにプログラム

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4998972A (en) 1988-04-28 1991-03-12 Thomas J. Fogarty Real time angioscopy imaging system
US5699798A (en) 1990-08-10 1997-12-23 University Of Washington Method for optically imaging solid tumor tissue
US5734384A (en) 1991-11-29 1998-03-31 Picker International, Inc. Cross-referenced sectioning and reprojection of diagnostic image volumes
US5359637A (en) 1992-04-28 1994-10-25 Wake Forest University Self-calibrated tomosynthetic, radiographic-imaging system, method, and device
US5987149A (en) 1992-07-08 1999-11-16 Uniscore Incorporated Method for scoring and control of scoring open-ended assessments using scorers in diverse locations
US5381786A (en) 1993-02-11 1995-01-17 Wayne State University Method and apparatus for measurement of luminal dimensions
US5469353A (en) 1993-11-26 1995-11-21 Access Radiology Corp. Radiological image interpretation apparatus and method
US5920319A (en) 1994-10-27 1999-07-06 Wake Forest University Automatic analysis in virtual endoscopy
US5782762A (en) 1994-10-27 1998-07-21 Wake Forest University Method and system for producing interactive, three-dimensional renderings of selected body organs having hollow lumens to enable simulated movement through the lumen
US5687259A (en) 1995-03-17 1997-11-11 Virtual Eyes, Incorporated Aesthetic imaging system
US6201988B1 (en) 1996-02-09 2001-03-13 Wake Forest University Baptist Medical Center Radiotherapy treatment using medical axis transformation
JP3555912B2 (ja) 1996-07-04 2004-08-18 富士写真フイルム株式会社 画像読取伝送システム
US6343936B1 (en) * 1996-09-16 2002-02-05 The Research Foundation Of State University Of New York System and method for performing a three-dimensional virtual examination, navigation and visualization
US5891030A (en) 1997-01-24 1999-04-06 Mayo Foundation For Medical Education And Research System for two dimensional and three dimensional imaging of tubular structures in the human body
JPH11164833A (ja) 1997-09-30 1999-06-22 Toshiba Corp 医用画像診断装置
US6369812B1 (en) 1997-11-26 2002-04-09 Philips Medical Systems, (Cleveland), Inc. Inter-active viewing system for generating virtual endoscopy studies of medical diagnostic data with a continuous sequence of spherical panoramic views and viewing the studies over networks
US6349373B2 (en) 1998-02-20 2002-02-19 Eastman Kodak Company Digital image management system having method for managing images according to image groups
US6289235B1 (en) 1998-03-05 2001-09-11 Wake Forest University Method and system for creating three-dimensional images using tomosynthetic computed tomography
US6212420B1 (en) 1998-03-13 2001-04-03 University Of Iowa Research Foundation Curved cross-section based system and method for gastrointestinal tract unraveling
US6081577A (en) 1998-07-24 2000-06-27 Wake Forest University Method and system for creating task-dependent three-dimensional images
JP4334037B2 (ja) 1998-08-13 2009-09-16 株式会社東芝 医用画像処理装置
US6381557B1 (en) 1998-11-25 2002-04-30 Ge Medical Systems Global Technology Company, Llc Medical imaging system service evaluation method and apparatus
US6381029B1 (en) 1998-12-23 2002-04-30 Etrauma, Llc Systems and methods for remote viewing of patient images
US6510340B1 (en) 2000-01-10 2003-01-21 Jordan Neuroscience, Inc. Method and apparatus for electroencephalography
US20030152897A1 (en) 2001-12-20 2003-08-14 Bernhard Geiger Automatic navigation for virtual endoscopy
JP4648629B2 (ja) 2002-03-14 2011-03-09 ネットケイアイエスアール インコーポレイテッド コンピュータ連動断層撮影データの解析およびディスプレイシステムおよび方法
EP2380487B1 (en) 2002-04-17 2021-03-31 Covidien LP Endoscope structures for navigating to a target in branched structure
US7894648B2 (en) 2005-06-17 2011-02-22 Mayo Foundation For Medical Education And Research Colonoscopy video processing for quality metrics determination
US20070167714A1 (en) * 2005-12-07 2007-07-19 Siemens Corporate Research, Inc. System and Method For Bronchoscopic Navigational Assistance
US20080074422A1 (en) * 2006-09-22 2008-03-27 Doron Dekel Method, system and computer program product for providing user-customizable standardized anatomical viewing protocols for volumetric data
US9129359B2 (en) 2006-11-10 2015-09-08 Covidien Lp Adaptive navigation technique for navigating a catheter through a body channel or cavity
US7853058B2 (en) 2006-11-22 2010-12-14 Toshiba Medical Visualization Systems Europe, Limited Determining a viewpoint for navigating a virtual camera through a biological object with a lumen
WO2009116465A1 (ja) 2008-03-21 2009-09-24 株式会社 日立メディコ 医用画像表示装置及び医用画像表示方法
US9026223B2 (en) * 2009-04-30 2015-05-05 Medtronic, Inc. Therapy system including multiple posture sensors
GB0920938D0 (en) * 2009-11-30 2010-01-13 Imp Innovations Ltd Steerable probes
JP5457841B2 (ja) * 2010-01-07 2014-04-02 株式会社東芝 医用画像処理装置、及び医用画像処理プログラム
WO2011094518A2 (en) * 2010-01-28 2011-08-04 The Penn State Research Foundation Image-based global registration system and method applicable to bronchoscopy guidance
EP2377457B1 (en) * 2010-02-22 2016-07-27 Olympus Corporation Medical apparatus
EP2632382B1 (de) * 2010-10-28 2017-09-20 Fiagon AG Medical Technologies Navigationsaufsatz für optische geräte in der medizin und verfahren
JP5369078B2 (ja) 2010-11-26 2013-12-18 富士フイルム株式会社 医用画像処理装置および方法、並びにプログラム
WO2012090197A1 (en) * 2010-12-30 2012-07-05 Given Imaging Ltd. System and method for automatic navigation of a capsule based on image stream captured in-vivo
WO2012095809A1 (en) * 2011-01-14 2012-07-19 Koninklijke Philips Electronics N.V. Ariadne wall taping for bronchoscopic path planning and guidance
WO2012106310A1 (en) 2011-02-04 2012-08-09 The Penn State Research Foundation Method and device for determining the location of an endoscope
CA2794898C (en) * 2011-11-10 2019-10-29 Victor Yang Method of rendering and manipulating anatomical images on mobile computing device
BR112014012955A2 (pt) * 2011-12-03 2017-06-13 Koninklijke Philips Nv sistema de planejamento, sistema tendo portas de visualização acopladas operatoriamente, método para o planejamento de um procedimento, e, método para o acoplamento operacional de portas de visualização
JP5826082B2 (ja) 2012-03-21 2015-12-02 富士フイルム株式会社 医用画像診断支援装置および方法並びにプログラム
ES2387785B1 (es) 2012-05-14 2013-05-08 Universitat Politècnica De Catalunya Procedimiento y sistema de generación de un recorrido para una broncoscopia virtual
CN104797186B (zh) * 2013-03-06 2016-10-12 奥林巴斯株式会社 内窥镜系统
US9925009B2 (en) 2013-03-15 2018-03-27 Covidien Lp Pathway planning system and method
US9459770B2 (en) 2013-03-15 2016-10-04 Covidien Lp Pathway planning system and method
JP6206869B2 (ja) * 2013-05-28 2017-10-04 国立大学法人名古屋大学 内視鏡観察支援装置
US10163262B2 (en) 2015-06-19 2018-12-25 Covidien Lp Systems and methods for navigating through airways in a virtual bronchoscopy view
CN105231978B (zh) * 2015-09-14 2017-03-22 袁非牛 一种引导式虚拟内窥镜导航方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10295639A (ja) * 1997-02-27 1998-11-10 Toshiba Corp 画像処理システム
US20070052724A1 (en) * 2005-09-02 2007-03-08 Alan Graham Method for navigating a virtual camera along a biological object with a lumen
JP2014124384A (ja) * 2012-12-27 2014-07-07 Fujifilm Corp 仮想内視鏡画像表示装置および方法並びにプログラム

Also Published As

Publication number Publication date
AU2017232198B2 (en) 2019-02-21
CN106256331A (zh) 2016-12-28
US10163262B2 (en) 2018-12-25
JP2017006671A (ja) 2017-01-12
EP3106117A1 (en) 2016-12-21
CN110151116B (zh) 2021-12-10
CN106256331B (zh) 2019-06-25
AU2016204103A1 (en) 2017-01-12
US20160371883A1 (en) 2016-12-22
AU2017232198A1 (en) 2017-10-12
JP6240263B2 (ja) 2017-11-29
US10453257B2 (en) 2019-10-22
EP3106117B1 (en) 2020-03-25
US20190122434A1 (en) 2019-04-25
CA2933503A1 (en) 2016-12-19
JP6628844B2 (ja) 2020-01-15
CA2933503C (en) 2019-02-12
AU2016204103B2 (en) 2017-06-29
JP2019030673A (ja) 2019-02-28
JP6402230B2 (ja) 2018-10-10
CN110151116A (zh) 2019-08-23

Similar Documents

Publication Publication Date Title
JP6402230B2 (ja) 仮想気管支鏡検査視野における気道を通ってナビゲートするためのシステムおよび方法
US11793389B2 (en) Intelligent display
JP6438545B2 (ja) プランニングシステム及び方法
US10653485B2 (en) System and method of intraluminal navigation using a 3D model
US9757021B2 (en) Global and semi-global registration for image-based bronchoscopy guidance
US20150223902A1 (en) Navigation with 3d localization using 2d images
JP2019531113A (ja) 軟性点特徴部を使用して呼吸周期を予測し、端部位置合わせを改善する方法
Merritt et al. Method for continuous guidance of endoscopy
Khare et al. Image-based global registration system for bronchoscopy guidance

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180724

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180810

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180910

R150 Certificate of patent or registration of utility model

Ref document number: 6402230

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250