JP2021019967A - Augmented reality information display method, surgical operation support device, and program - Google Patents
Augmented reality information display method, surgical operation support device, and program Download PDFInfo
- Publication number
- JP2021019967A JP2021019967A JP2019139364A JP2019139364A JP2021019967A JP 2021019967 A JP2021019967 A JP 2021019967A JP 2019139364 A JP2019139364 A JP 2019139364A JP 2019139364 A JP2019139364 A JP 2019139364A JP 2021019967 A JP2021019967 A JP 2021019967A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- support device
- patient
- operator
- field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 14
- 238000003384 imaging method Methods 0.000 claims abstract description 38
- 210000004705 lumbosacral region Anatomy 0.000 claims abstract description 22
- 230000000007 visual effect Effects 0.000 claims abstract description 17
- 238000001356 surgical procedure Methods 0.000 claims description 41
- 238000012285 ultrasound imaging Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000002591 computed tomography Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000399 orthopedic effect Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Landscapes
- Surgical Instruments (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は拡張現実情報表示方法、手術支援装置、及びプログラムに関し、具体的には手術前に撮影した画像に基づく三次元骨格モデルを術者の視野に正確に重畳表示することができる拡張現実情報表示方法、手術支援装置、及びプログラムに関する。 The present invention relates to an augmented reality information display method, a surgical support device, and a program, and specifically, augmented reality information capable of accurately superimposing a three-dimensional skeletal model based on an image taken before surgery on the operator's field of view. Regarding display methods, surgical support devices, and programs.
従来から、拡張現実（Ａｒｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）や複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を医療分野に応用する技術として、例えば特許文献１の整形外科インプラントの位置決めのための装置が知られている。 Conventionally, as a technique for applying augmented reality or mixed reality to the medical field, for example, a device for positioning an orthopedic implant of Patent Document 1 has been known.
医療分野において前述の拡張現実或いは複合現実を用いた支援を行うには、事前にＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｓｅ Ｉｍａｇｉｎｇ）により患者を撮影し、当該撮影した画像に基づいて患者の骨格又は骨格の一部を三次元モデル化し、当該三次元モデルを手術中の術者の視野に重畳表示することが考えられる。 In the medical field, in order to provide support using the above-mentioned augmented reality or compound reality, a patient is photographed in advance by CT (Computed Tomography) or MRI (Magnetic Resonance Imaging), and the patient's skeleton or the patient's skeleton or the patient's skeleton is performed based on the photographed image. It is conceivable to make a part of the skeleton into a three-dimensional model and superimpose the three-dimensional model on the visual field of the operator during the operation.
しかしながら、前述のＣＴやＭＲＩを用いた撮影の際の患者の姿勢は、必ずしも手術中の患者の姿勢と一致しないのが通常である。例えば、事前のＣＴやＭＲＩによる撮影では患者が仰向けの状態で行い、一方で、手術は患者がうつ伏せの状態で行われる場合がある。人体の骨格は姿勢その他により骨同士の相対的な位置関係が変化するので、三次元モデルを正確に術者の視野に合成することが難しいという問題があった。 However, the posture of the patient at the time of imaging using the above-mentioned CT or MRI does not always match the posture of the patient during surgery. For example, prior CT or MRI imaging may be performed with the patient lying on his back, while surgery may be performed with the patient lying down. Since the relative positional relationship between bones of the human skeleton changes depending on the posture and other factors, there is a problem that it is difficult to accurately synthesize a three-dimensional model into the field of view of the operator.
また、従来の拡張現実或いは複合現実を用いた技術では、事前に作成した三次元モデルを現実の術者の視野と重畳表示する際に、金属製等のマーカと呼ばれる部品を患者に埋め込むことが通常である。このマーカは、例えば手術によって患者に埋め込まれるインプラントの一部を形成する場合もあるが、手術後に不要な場合はこれを取り除く必要があり、患者に負担となる問題があった。 In addition, in the conventional technology using augmented reality or mixed reality, when a three-dimensional model created in advance is superimposed and displayed on the field of view of a real surgeon, a part called a marker made of metal or the like can be embedded in the patient. It is normal. This marker may form a part of an implant to be implanted in a patient by surgery, for example, but if it is not needed after surgery, it must be removed, which is a burden on the patient.
本発明は前述の問題に鑑み、手術前に撮影した画像に基づく三次元骨格モデルを術者の視野に正確に重畳表示することができる拡張現実情報表示方法、手術支援装置、及びプログラムを提供することをその目的とする。 In view of the above problems, the present invention provides an augmented reality information display method, a surgery support device, and a program capable of accurately superimposing a three-dimensional skeleton model based on an image taken before surgery on the field of view of an operator. That is the purpose.
前述の問題を解決することを目的としてなされた本発明に係る拡張現実情報表示方法は、 コンピュータを用いて、利用者の視界に該視界に写る対象者の三次元骨格モデルを重畳表示させる拡張現実情報表示方法であって、前記利用者の視界を特定するステップと、三次元超音波撮影装置により前記対象者を撮影するステップと、前記撮影した前記対象者の映像から、前記対象者の骨格における所定の部位の位置を特定するステップと、前記特定した位置に基づいて、前記視界に前記三次元骨格モデルを重畳表示させるステップと、を備えることを特徴としている。 The augmented reality information display method according to the present invention, which has been made for the purpose of solving the above-mentioned problems, uses a computer to superimpose and display a three-dimensional skeleton model of the target person in the field of view of the user. In the information display method, from the step of specifying the field of view of the user, the step of photographing the target person with a three-dimensional ultrasonic imaging device, and the photographed image of the target person, in the skeleton of the target person. It is characterized by including a step of specifying a position of a predetermined portion and a step of superimposing and displaying the three-dimensional skeleton model on the field of view based on the specified position.
本発明に係る拡張現実表示方法は、前記三次元骨格モデルは、前記利用者が装着するヘッドマウントディスプレイの表示部に重畳表示されるようにしてもよい。 In the augmented reality display method according to the present invention, the three-dimensional skeleton model may be superimposed and displayed on the display unit of the head-mounted display worn by the user.
本発明に係る拡張現実表示方法は、前記所定の部位が腰椎の棘突起であるようにしてもよい。 In the augmented reality display method according to the present invention, the predetermined site may be a spinous process of the lumbar spine.
前述の問題を解決することを目的としてなされた本発明に係る手術支援装置は、手術中の患者の三次元骨格モデルを術者の視野に重畳表示する手術支援装置であって、前記術者の視野を特定する視野特定部と、前記患者を三次元超音波撮影装置により撮影する三次元超音波撮影部と、前記三次元超音波撮影装置により撮影した三次元超音波映像から、前記患者の骨格における所定の部位の位置を特定する部位特定部と、前記特定した位置に基づいて、前記視野に前記三次元骨格モデルを重畳表示させる重畳表示部と、を備えることを特徴としている。 The surgical support device according to the present invention, which is made for the purpose of solving the above-mentioned problems, is a surgical support device that superimposes and displays a three-dimensional skeletal model of a patient undergoing surgery on the operator's field of view. The skeleton of the patient from a visual field specifying unit that specifies a visual field, a three-dimensional ultrasonic imaging unit that photographs the patient with a three-dimensional ultrasonic imaging device, and a three-dimensional ultrasonic image captured by the three-dimensional ultrasonic imaging device. It is characterized in that it includes a part specifying part that specifies the position of a predetermined part in the above, and a superimposing display part that superimposes and displays the three-dimensional skeleton model on the visual field based on the specified position.
本発明に係る手術支援装置は、前記三次元骨格モデルは、前記術者が装着するヘッドマウントディスプレイの表示部に重畳表示されるようにしてもよい。 In the surgical support device according to the present invention, the three-dimensional skeleton model may be superimposed and displayed on the display unit of the head-mounted display worn by the operator.
本発明に係る手術支援装置は、前記所定の部位が腰椎の棘突起であるようにしてもよい。 In the surgical support device according to the present invention, the predetermined site may be a spinous process of the lumbar spine.
本発明によれば、対象者の三次元骨格モデルを利用者の視界に重畳表示させるに際して、対象者を三次元超音波撮影装置により撮影し、該撮影した映像から対象者の骨格における所定の部位の位置を特定し、当該特定した位置に基づいて三次元骨格モデルを利用者の視界に重畳表示させる。この構成により、重畳表示を行う時点での対象者の骨格の所定の部位の位置に基づいて三次元骨格モデルを重畳表示するので、三次元骨格モデルを正確に利用者の視野に重畳表示させることができる。 According to the present invention, when the three-dimensional skeleton model of the subject is superimposed and displayed in the user's field of view, the subject is photographed by a three-dimensional ultrasonic imaging device, and a predetermined portion in the skeleton of the subject is photographed from the photographed image. The position of is specified, and the three-dimensional skeleton model is superimposed and displayed in the user's field of view based on the specified position. With this configuration, the 3D skeleton model is superimposed and displayed based on the position of a predetermined part of the target person's skeleton at the time of superimposed display, so that the 3D skeleton model can be accurately superimposed and displayed in the user's field of view. Can be done.
以下、本発明の実施の形態について、図面を参照して説明する。図１は、本発明の実施の形態に係る手術支援装置の構成を概念的に示すブロック図である。なお、本実施形態における手術支援装置１００は、腰椎の手術を支援する装置である。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram conceptually showing a configuration of a surgical support device according to an embodiment of the present invention. The surgery support device 100 in this embodiment is a device that supports surgery on the lumbar spine.
図１で示すように、本実施形態に係る手術支援装置１００は、三次元超音波撮影装置２００及び手術を行う術者（図示しない）の頭部に装着するヘッドマウントディスプレイ３００と通信可能に接続されており、視野特定部１０１、三次元超音波撮影部１０２、部位特定部１０３、及び重畳表示部１０４を備えている。 As shown in FIG. 1, the surgery support device 100 according to the present embodiment is communicably connected to the three-dimensional ultrasonic imaging device 200 and the head-mounted display 300 attached to the head of the surgeon (not shown) performing the surgery. The field of view identification unit 101, the three-dimensional ultrasonic imaging unit 102, the site identification unit 103, and the superimposed display unit 104 are provided.
本実施形態における手術支援装置１００は、周知のコンピュータを用いて構成されている。本実施形態における手術支援装置１００として用いるコンピュータの二次記憶装置には、予め後述する処理を実行するプログラムが記憶されており、当該プログラムをコンピュータのメモリ等一次記憶装置にロードして、ＣＰＵ（中央演算装置）が当該ロードされたプログラムを実行することにより、上記コンピュータを手術支援装置１００として機能させる。 The surgery support device 100 in this embodiment is configured by using a well-known computer. A program for executing a process described later is stored in advance in the secondary storage device of the computer used as the operation support device 100 in the present embodiment, and the program is loaded into a primary storage device such as a memory of the computer, and the CPU ( The central processing unit) executes the loaded program to make the computer function as the operation support device 100.
手術支援装置１００として用いるコンピュータは周知の物を適宜選択してよい。例えば、サーバ用途のコンピュータを用いてもよいし、或いは、処理速度等が要求を満たしている場合には一般的なパーソナル・コンピュータを用いてもよい。 A well-known computer may be appropriately selected as the computer used as the operation support device 100. For example, a computer for server use may be used, or a general personal computer may be used when the processing speed or the like satisfies the requirements.
前述の通り、本実施形態における手術支援装置１００は三次元超音波撮影装置２００及びヘッドマウントディスプレイ３００と通信可能に接続されているが、当該通信の方式やプロトコル等についても、適宜選択してよい。例えば、手術支援装置１００と三次元超音波撮影装置２００を有線のシリアル通信ケーブルで接続してもよいし、手術支援装置１００とヘッドマウントディスプレイを無線ネットワークにより接続してもよい。無線ネットワークは周知の無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を使用してもよいし、電波の影響等を考慮して赤外線その他の近距離無線通信を行うネットワークを用いてもよい。 As described above, the surgery support device 100 in the present embodiment is communicably connected to the three-dimensional ultrasonic imaging device 200 and the head-mounted display 300, but the communication method, protocol, and the like may be appropriately selected. .. For example, the surgery support device 100 and the three-dimensional ultrasonic imaging device 200 may be connected by a wired serial communication cable, or the surgery support device 100 and the head-mounted display may be connected by a wireless network. As the wireless network, a well-known wireless LAN (Local Area Network) may be used, or an infrared network or other short-range wireless communication network may be used in consideration of the influence of radio waves and the like.
また、本実施形態における手術支援装置１００は、三次元超音波撮影装置２００及びヘッドマウントディスプレイと速度や帯域、レイテンシや距離等の通信を行う上で必要な要件を満たす限りにおいて、何処に配置してもよい。例えば、前述のように手術支援装置１００と三次元超音波撮影装置をシリアル通信ケーブルで接続する場合には、使用するシリアル通信の規格で定めたケーブル長を超えない範囲に手術支援装置１００及び三次元超音波撮影装置２００を配置する必要があり、三次元超音波撮影装置２００は後述するように手術中に患者（図示しない）を撮影する必要上手術室に配置しなければならない。この場合には、必然的に、手術支援装置１００も手術室内か、或いはその近傍に配置する必要性が生じる。一方で、例えば手術支援装置１００と三次元超音波撮影装置２００及びヘッドマウントディスプレイ３００が周知のネットワークにより接続される場合には、当該ネットワークが許容する距離的な範囲に配置すればよいので、例えば病院等施設のサーバ室等に配置してもよい。また、ネットワークとしていわゆるインターネット等の広域ネットワークを介して通信を行う場合には、手術支援装置１００を遠隔地のデータセンター等に配置してもよい。 Further, the surgical support device 100 in the present embodiment is arranged anywhere as long as it satisfies the requirements necessary for communicating with the three-dimensional ultrasonic imaging device 200 and the head-mounted display such as speed, band, latency and distance. You may. For example, when connecting the surgery support device 100 and the three-dimensional ultrasonic imaging device with a serial communication cable as described above, the surgery support device 100 and the tertiary are within a range not exceeding the cable length defined by the serial communication standard to be used. The original ultrasound imaging device 200 needs to be placed, and the three-dimensional ultrasound imaging device 200 must be placed in the operating room because it is necessary to image a patient (not shown) during surgery as described later. In this case, it is inevitably necessary to arrange the surgical support device 100 in or near the operating room. On the other hand, for example, when the surgery support device 100, the three-dimensional ultrasonic imaging device 200, and the head-mounted display 300 are connected by a well-known network, they may be arranged within a distance range allowed by the network, for example. It may be placed in a server room of a facility such as a hospital. Further, when communicating via a wide area network such as the so-called Internet as a network, the surgery support device 100 may be arranged in a remote data center or the like.
視野特定部１０１は、ヘッドマウントディスプレイ３００を介して術者がどの位置からどの方向を向いているかを検出する。検出の方法は周知の方法を適宜選択してよく、例えば、ヘッドマウントディスプレイ３００が備えるジャイロセンサ等のセンサを用いて検出するようにしてもよいし、或いは、別途トラッキング用カメラを手術室に設置して、当該カメラが撮影する映像からヘッドマウントディスプレイ３００の位置や向きを検出するようにしてもよい。視野特定部１０１で特定した視野すなわち、術者がどの位置からどの方向を向いているのかを示す情報は、後述する重畳表示部１０４が使用する。 The field of view specifying unit 101 detects from which position to which direction the operator is facing through the head-mounted display 300. A well-known method may be appropriately selected as the detection method, for example, the detection may be performed using a sensor such as a gyro sensor included in the head-mounted display 300, or a tracking camera may be separately installed in the operating room. Then, the position and orientation of the head-mounted display 300 may be detected from the image captured by the camera. The field of view specified by the field of view specifying unit 101, that is, information indicating from which position to which direction the operator is facing is used by the superimposed display unit 104 described later.
三次元超音波撮影部１０２は、三次元超音波撮影装置２００を操作して、手術中の患者の三次元超音波撮影を行う。三次元超音波撮影部１０２により三次元超音波撮影装置２００が撮影した三次元超音波映像は、後述する部位特定部１０３が使用する。 The three-dimensional ultrasonic imaging unit 102 operates the three-dimensional ultrasonic imaging device 200 to perform three-dimensional ultrasonic imaging of a patient undergoing surgery. The three-dimensional ultrasonic image captured by the three-dimensional ultrasonic imaging apparatus 200 by the three-dimensional ultrasonic imaging unit 102 is used by the site identification unit 103, which will be described later.
部位特定部１０３は、前述の三次元超音波撮影部１０２により三次元超音波撮影装置２００が撮影した患者の三次元超音波映像を解析して、当該映像に含まれる所定の部位の位置を特定する。本実施形態では所定の部位として腰椎の棘突起の位置を特定する。当該特定した棘突起の位置を示す情報は、後述する重畳表示部１０４が使用する。 The site identification unit 103 analyzes the patient's three-dimensional ultrasonic image captured by the three-dimensional ultrasonic imaging device 200 by the three-dimensional ultrasonic imaging unit 102 described above, and identifies the position of a predetermined site included in the image. To do. In this embodiment, the position of the spinous process of the lumbar spine is specified as a predetermined site. The information indicating the position of the specified spinous process is used by the superimposed display unit 104 described later.
重畳表示部１０４は、前述の視野特定部１０１により特定された術者の視野、すなわち術者がどの位置からどの方向を向いているのかを示す情報と、部位特定部１０３により特定された所定の部位の位置に基づいて、ヘッドマウントディスプレイの表示部に予め生成された患者の三次元骨格モデルを重畳表示する。本実施形態では、前述の通り手術支援装置１００により腰椎の手術の支援を行う。当該支援を行うために、手術前に予め患者をＣＴやＭＲＩを用いて撮影し、当該撮影した映像に基づいて当該患者の三次元骨格モデルを生成する。本実施形態における当該三次元骨格モデルは、患者の背骨を構成する腰椎のそれぞれが独立した三次元骨格モデルとして構成されている。重畳表示部１０４は、部位特定部１０３により特定した所定の部位、すなわち、手術中における患者の腰椎の棘突起の位置に基づいて、前述の三次元骨格モデルの腰椎のそれぞれをヘッドマウントディスプレイの表示部に表示する。前述の三次元骨格モデルの内、術者の視野に含まれないものは重畳表示が行われない。 The superimposed display unit 104 includes information indicating the operator's field of view specified by the above-mentioned visual field identification unit 101, that is, from which position to which direction the operator is facing, and a predetermined position specified by the site identification unit 103. Based on the position of the site, the patient's three-dimensional skeletal model generated in advance is superimposed and displayed on the display unit of the head-mounted display. In the present embodiment, as described above, the surgery support device 100 supports the surgery of the lumbar spine. In order to provide the support, the patient is photographed in advance by using CT or MRI before the operation, and a three-dimensional skeletal model of the patient is generated based on the photographed image. The three-dimensional skeleton model in the present embodiment is configured as an independent three-dimensional skeleton model for each of the lumbar vertebrae constituting the spine of the patient. The superimposition display unit 104 displays each of the lumbar vertebrae of the above-mentioned three-dimensional skeletal model on a head-mounted display based on a predetermined site specified by the site identification unit 103, that is, the position of the spinous process of the patient's lumbar spine during surgery. Display in the section. Of the above-mentioned three-dimensional skeleton models, those not included in the operator's field of view are not superimposed and displayed.
三次元超音波撮影装置２００は、前述の超音波撮影部１０２により操作され、手術中に患者の腰椎付近の三次元超音波映像を撮影する装置である。三次元超音波撮影装置２００は周知の三次元超音波撮影を行う装置を用いてよい。 The three-dimensional ultrasonic imaging device 200 is a device operated by the above-mentioned ultrasonic imaging unit 102 to capture a three-dimensional ultrasonic image in the vicinity of the lumbar spine of a patient during surgery. As the three-dimensional ultrasonic imaging apparatus 200, a well-known apparatus for performing three-dimensional ultrasonic imaging may be used.
ヘッドマウントディスプレイ装置３００は、手術を行う術者の視野に所定の映像を重畳表示させる装置である。本実施形態のヘッドマウントディスプレイ装置３００は、フレーム３０１にハーフミラーからなる映像投影部３０２ａと、当該映像投影部３０２ａに投影する映像を出力する映像出力部３０２ｂからなる表示部３０２を備えており、前述の重畳表示部１０４により、術者の視野に前述の三次元骨格モデルを重畳表示する。 The head-mounted display device 300 is a device that superimposes and displays a predetermined image on the field of view of the operator performing the operation. The head-mounted display device 300 of the present embodiment includes a display unit 302 including a video projection unit 302a formed of a half mirror on the frame 301 and a video output unit 302b for outputting an image projected on the video projection unit 302a. The above-mentioned superimposed display unit 104 superimposes and displays the above-mentioned three-dimensional skeleton model on the operator's field of view.
以上が本実施形態に係る手術支援装置１００の構成である。 The above is the configuration of the surgery support device 100 according to the present embodiment.
次いで、本実施形態に係る手術支援装置１００による、三次元骨格モデルの重畳表示の処理の流れについて説明する。当該処理は本発明に係る拡張実現表示方法の実施の形態の例であり、手術支援装置１００として用いるコンピュータの二次記憶装置にあらかじめ当該処理を実行させるプログラムを記憶しておき、当該プログラムをコンピュータのメモリにロードしてＣＰＵが実行することにより、コンピュータを手術支援装置１００として機能させる。 Next, the flow of processing of the superimposed display of the three-dimensional skeleton model by the operation support device 100 according to the present embodiment will be described. The process is an example of an embodiment of the extended realization display method according to the present invention. A program for executing the process is stored in advance in the secondary storage device of the computer used as the operation support device 100, and the program is stored in the computer. The computer functions as the operation support device 100 by loading it into the memory of the computer and executing it by the CPU.
図２は、本実施形態に係る手術支援装置１００による三次元骨格モデルの重畳表示の処理の流れを概念的に示したフロー図である。なお、手術中において図２で示すフローをどのように開始するかは任意に選択してよく、例えば、手術中に術者の指示によりオペレータが手術支援装置１００を操作して、処理を開始するようにしてよい。 FIG. 2 is a flow chart conceptually showing the flow of processing of the superimposed display of the three-dimensional skeleton model by the surgical support device 100 according to the present embodiment. It should be noted that how to start the flow shown in FIG. 2 during the operation may be arbitrarily selected. For example, during the operation, the operator operates the operation support device 100 according to the instruction of the operator to start the process. You may do so.
手術支援装置１００による重畳表示処理が開始されると、手術支援装置１００の視野特定部１０１により術者の視野を特定する（ステップＳ１０１）。 When the superimposition display process by the surgery support device 100 is started, the field of view of the operator is specified by the field of view specifying unit 101 of the surgery support device 100 (step S101).
本実施形態において、術者の視野、すなわち、術者がどの位置からどの方向を向いているのかを示す情報を特定する手段は周知の手段を用いてよく、例えば、ヘッドマウントディスプレイ装置３００がジャイロセンサ等のセンサを備えている場合には、当該センサを用いて術者の視野を特定するようにしてよい。また、手術室内にヘッドマウントディスプレイの位置等を捕捉するためのトラッキング用カメラ装置を設置し、当該カメラ装置が撮影した映像に基づいて視野を特定するようにしてもよい。 In the present embodiment, a well-known means may be used as a means for specifying the field of view of the operator, that is, information indicating from which position the operator is facing in which direction. For example, the head-mounted display device 300 is a gyro. When a sensor such as a sensor is provided, the operator's field of view may be specified by using the sensor. Further, a tracking camera device for capturing the position of the head-mounted display or the like may be installed in the operating room, and the field of view may be specified based on the image captured by the camera device.
前述のステップＳ１０１において、視野特定部１０１は、術者の視野が特定すると当該特定した視野、すなわち、術者がどの位置からどの方向を向いているのかを示す情報を手術支援装置１００の所定の領域に格納する。本実施形態における所定の領域は、手術支援装置１００として用いるコンピュータのメモリ上に確保された領域である。当該格納した情報は、後述するステップＳ１０４で使用される。 In step S101 described above, when the visual field of the surgeon is specified, the visual field specifying unit 101 provides information indicating the specified visual field, that is, from which position to which direction the surgeon is facing, in a predetermined operation support device 100. Store in the area. The predetermined area in the present embodiment is an area reserved in the memory of the computer used as the surgery support device 100. The stored information is used in step S104, which will be described later.
手術支援装置１００は、前述のステップＳ１０１を繰り返し連続して実行し、術者の視野を特定し続ける。 The surgery support device 100 repeatedly and continuously executes the above-mentioned step S101 to continuously identify the operator's field of view.
また、手術支援装置１００は、前述のステップＳ１０１と並行して、三次元超音波撮影部１０２により三次元超音波撮影装置２００を操作して患者の手術中の三次元超音波映像を撮影する（ステップＳ１０２）。撮影した三次元超音波映像は、手術支援装置１００の所定の領域に格納される。本実施形態における当該所定の領域は、手術支援装置１００が二次記憶装置として備えるＨＤＤ（ハードディスクドライブ）上に確保された領域である。当該格納した三次元超音波映像は、後述するステップＳ１０３で使用される。 Further, the surgery support device 100 operates the three-dimensional ultrasonic imaging device 200 by the three-dimensional ultrasonic imaging unit 102 in parallel with the above-mentioned step S101 to capture a three-dimensional ultrasonic image during the operation of the patient (surgery). Step S102). The captured three-dimensional ultrasonic image is stored in a predetermined area of the surgical support device 100. The predetermined area in the present embodiment is an area secured on the HDD (hard disk drive) included in the surgery support device 100 as the secondary storage device. The stored three-dimensional ultrasonic image is used in step S103, which will be described later.
なお、前述のステップＳ１０２で撮影され、格納される三次元超音波映像の保存形式は周知の形式を任意に選択してよく、また、後述するステップＳ１０３で使用する際の予備的な処理や、不要な情報のトリミング処理等を行ったものでもよい。 A well-known format may be arbitrarily selected as the storage format of the three-dimensional ultrasonic image captured and stored in step S102 described above, and preliminary processing when used in step S103 described later and It may be the one obtained by trimming unnecessary information.
三次元超音波映像が撮影されると、手術支援装置１００の部位特定１０３により、撮影された映像に含まれる所定の部位の位置が特定される（ステップＳ１０３）。 When the three-dimensional ultrasonic image is captured, the site identification 103 of the surgery support device 100 identifies the position of a predetermined site included in the captured image (step S103).
図３は、人体における背骨の側面図であり、図４（ａ）は腰椎の平面図、図４（ｂ）は腰椎の側面図である。図３で示すように、人体における背骨は７つの頸椎４１０と、１２の胸椎４２０と、５つの腰椎４３０と、仙骨４４０から構成されている。腰椎４３０は、図４（ａ）（ｂ）で示すように、円柱状の椎体４３１と、椎体４３１の背面側に位置する椎弓４３２から構成されており、椎弓４３２は左右両側面方向に延びる横突起４３３、４３４と、背面方向に延びる棘突起４３５を備えている。本実施形態のステップＳ１０３は、前述のステップＳ１０２で撮影した三次元超音波映像から、当該棘突起４３５の位置を画像解析により特定する。 3A and 3B are side views of the spine in the human body, FIG. 4A is a plan view of the lumbar spine, and FIG. 4B is a side view of the lumbar spine. As shown in FIG. 3, the spine in the human body is composed of seven cervical vertebrae 410, twelve thoracic vertebrae 420, five lumbar vertebrae 430, and sacrum 440. As shown in FIGS. 4A and 4B, the lumbar vertebra 430 is composed of a columnar vertebral body 431 and a vertebral arch 432 located on the back side of the vertebral body 431, and the vertebral arch 432 has both left and right sides. It has lateral protrusions 433 and 434 extending in the direction and spinous processes 435 extending in the back direction. In step S103 of the present embodiment, the position of the spinous process 435 is specified by image analysis from the three-dimensional ultrasonic image taken in step S102 described above.
なお、図３で示すように、人体の背骨は５つの腰椎４３０を備えているが、当該５つの腰椎４３０全てについて上記ステップＳ１０３による位置の特定を行うか、或いは、一部の腰椎４３０について位置の特定を行うかは任意に選択してよい。例えば、手術の対象となる腰椎が第２腰椎に限られる場合には、前述のステップＳ１０２において撮影する対象を当該第２腰椎に限定してよく、また、ステップＳ１０３により位置を特定する対象も第２腰椎に限定してよい。 As shown in FIG. 3, the spine of the human body has five lumbar vertebrae 430, and the positions of all the five lumbar vertebrae 430 are specified by the above step S103, or the positions of some of the lumbar vertebrae 430 are located. It may be arbitrarily selected whether to specify. For example, when the lumbar vertebra to be operated on is limited to the second lumbar vertebra, the object to be imaged in step S102 may be limited to the second lumbar vertebra, and the object whose position is specified by step S103 is also the first. 2 May be limited to the lumbar spine.
図５は、手術中の患者の腰椎を三次元超音波映像装置により撮影した映像の一例である。なお、図５は、手術中に伏臥位すなわちうつ伏せ状態の患者を、当該患者の上方から三次元超音波撮影装置２００により撮影した映像の一例であり、図５の左側映像は当該患者腰椎背面側の矢状面、右側映像は当該患者腰椎背面側の冠状面を示す映像である。図５で示す三次元超音波映像の一例では、人体における背骨に含まれる５つの腰椎４３０の内、２つの腰椎４３０の背面側に位置する棘突起４３５の端部が表されており、前述のステップＳ１０３では、三次元超音波撮影装置２００により撮影した映像を解析して、棘突起４３５の位置を特定する。なお、上記三次元超音波映像に含まれる棘突起４３５の位置が現実の手術室乃至前述のステップＳ１０１により特定した術者の視野のどの位置に該当するかは、周知の技術を適宜選択して特定して良い。例えば、三次元超音波装置２００が備えるプローブに、当該プローブの位置を補足するためのマーカを付すと共に、手術室に備えたカメラにより手術室を撮影して上記マーカの位置を特定し、当該特定したマーカの位置にもとづいて上記三次元超音波映像に含まれる棘突起４３５の位置を特定するようにして良い。 FIG. 5 is an example of an image of the lumbar spine of a patient undergoing surgery taken by a three-dimensional ultrasonic imaging device. Note that FIG. 5 is an example of an image of a patient in a prone position, that is, a prone position during surgery, taken from above the patient by a three-dimensional ultrasonic imaging device 200, and the left image of FIG. 5 is the posterior side of the lumbar spine of the patient. The sagittal plane and the right side image of the patient are images showing the coronal plane on the posterior side of the patient's lumbar spine. In an example of the three-dimensional ultrasonic image shown in FIG. 5, among the five lumbar vertebrae 430 included in the spine in the human body, the ends of the spinous processes 435 located on the dorsal side of the two lumbar vertebrae 430 are shown, which is described above. In step S103, the image captured by the three-dimensional ultrasonic imaging device 200 is analyzed to identify the position of the spinous process 435. It should be noted that a well-known technique is appropriately selected to determine which position of the spinous process 435 included in the three-dimensional ultrasonic image corresponds to in the actual operating room or in the field of view of the operator specified in step S101 described above. You can specify it. For example, the probe provided in the three-dimensional ultrasonic apparatus 200 is provided with a marker for supplementing the position of the probe, and the operating room is photographed by a camera provided in the operating room to identify the position of the marker. The position of the spinous process 435 included in the three-dimensional ultrasonic image may be specified based on the position of the marker.
前述のステップＳ１０１による術者の視野の特定と、ステップＳ１０２及びＳ１０３による患者の棘突起４３５の位置の特定が完了すると、手術支援装置１００の重畳表示部１０４により、術者の頭部に装着したヘッドマウントディスプレイ３００の表示部３０２に患者の三次元骨格モデルを重畳表示させる（ステップＳ１０４）。前述のステップＳ１０３により患者の棘突起４３５の位置が特定されており、当該特定された位置と上記三次元骨格モデルの対応する棘突起の位置が一致するように、上記表示部３０２に三次元骨格モデルを重畳表示する。 When the identification of the operator's visual field by step S101 and the identification of the position of the patient's spinous process 435 by steps S102 and S103 are completed, the surgical support device 100 is attached to the operator's head by the superimposed display unit 104. The patient's three-dimensional skeleton model is superimposed and displayed on the display unit 302 of the head-mounted display 300 (step S104). The position of the spinous process 435 of the patient is specified by step S103 described above, and the three-dimensional skeleton is displayed on the display unit 302 so that the specified position matches the position of the corresponding spinous process of the three-dimensional skeleton model. Overlay the model.
前述のように、ステップＳ１０１、及びステップＳ１０２〜Ｓ１０３は、それぞれが処理を繰り返し実行され、所定の周期で術者の視野及び患者の腰椎の位置が更新される。本実施形態の手術支援装置１００は当該更新されたことをトリガーとしてステップＳ１０４を再度実行することにより、前述の周期でヘッドマウントディスプレイの重畳表示を更新する。 As described above, each of steps S101 and S102 to S103 is repeatedly executed, and the visual field of the operator and the position of the lumbar spine of the patient are updated at predetermined cycles. The operation support device 100 of the present embodiment updates the superimposed display of the head-mounted display at the above-mentioned cycle by executing step S104 again with the update as a trigger.
以上が本実施形態に係る三次元骨格モデルの重畳表示の処理の流れである。本実施形態では、術前に撮影した三次元骨格モデルを術中の患者に合わせて術者の視野に重畳表示させるに際して、前述のように、術中の患者を三次元超音波撮影装置により撮影し、当該撮影した映像から患者の腰椎の棘突起の位置を特定し、当該特定した棘突起の位置に基づいて三次元骨格モデルを術者の視野に重畳表示させる。三次元骨格モデルを重畳表示させる位置決めを手術中の患者を三次元超音波撮影装置により撮影した映像に基づいて行うので、三次元骨格モデルを正確に重畳表示させることができる。また、金属製マーカ等を用いずに患者の骨格自体をいわばマーカの代わりとして使用するので、患者に過度の負担を強いずに手術を支援することができる。 The above is the flow of the processing of the superimposed display of the three-dimensional skeleton model according to the present embodiment. In the present embodiment, when the three-dimensional skeletal model photographed before the operation is superimposed and displayed on the operator's field of view according to the patient during the operation, the patient during the operation is photographed by a three-dimensional ultrasonic imaging device as described above. The position of the spinous process of the patient's lumbar spine is specified from the captured image, and the three-dimensional skeletal model is superimposed and displayed on the operator's field of view based on the position of the specified spinous process. Since the positioning for superimposing and displaying the three-dimensional skeleton model is performed based on the image of the patient undergoing surgery taken by the three-dimensional ultrasonic imaging device, the three-dimensional skeleton model can be accurately superimposed and displayed. Further, since the patient's skeleton itself is used as a substitute for the marker without using a metal marker or the like, it is possible to support the operation without imposing an excessive burden on the patient.
本実施形態の説明は以上であるが、本発明の実施の形態はこれに限られるものではない。例えば、本実施形態では手術支援装置１００が支援する対象は腰椎の手術であり、三次元骨格モデルを重畳表示させるために位置を特定する部位を腰椎の棘突起としたが、支援する手術の内容、及び、特定する部位の位置は適宜選択してよい。例えば、前腕の手術を支援する装置として、橈骨の茎上突起や橈骨粗面等を所定の部位として当該部位の位置を特定するようにしてもよい。 Although the description of the present embodiment has been described above, the embodiment of the present invention is not limited to this. For example, in the present embodiment, the target supported by the surgery support device 100 is the surgery of the lumbar spine, and the site for specifying the position in order to superimpose and display the three-dimensional skeletal model is the spinous process of the lumbar spine. , And the position of the part to be specified may be appropriately selected. For example, as a device for supporting the operation of the forearm, the position of the site may be specified with the pedicle protrusion of the radius, the rough surface of the radius, or the like as a predetermined site.
また、三次元骨格モデルを重畳表示する際に、検査や検討の際に挙げられた注意事項等を付加情報として三次元骨格モデルとともに重畳表示するようにしてもよい。 Further, when the three-dimensional skeleton model is superimposed and displayed, the precautions and the like given at the time of inspection and examination may be superimposed and displayed together with the three-dimensional skeleton model as additional information.
その他の具体的な構成も本実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において様々な変更が可能である。 Other specific configurations are not limited to the present embodiment, and various modifications can be made without departing from the spirit of the present invention.
１００ 手術支援装置
１０１ 視野特定部
１０２ 三次元超音波撮影部
１０３ 部位特定部
１０４ 重畳表示部
２００ 三次元超音波撮影装置
３００ ヘッドマウントディスプレイ
３０１ フレーム
３０２ 表示部
100 Surgical support device 101 Field identification unit 102 Three-dimensional ultrasonic imaging unit 103 Site identification unit 104 Overlapping display unit 200 Three-dimensional ultrasonic imaging device 300 Head-mounted display 301 Frame 302 Display unit
Claims (7)
前記利用者の視界を特定するステップと、
三次元超音波撮影装置により前記対象者を撮影するステップと、
前記撮影した前記対象者の映像から、前記対象者の骨格における所定の部位の位置を特定するステップと、
前記特定した位置に基づいて、前記視界に前記三次元骨格モデルを重畳表示させるステップと、
を備えることを特徴とする、拡張実情報表示方法。 This is an augmented reality information display method in which a computer is used to superimpose and display a three-dimensional skeleton model of the target person in the field of view of the user.
The step of identifying the user's field of view and
Steps to photograph the subject with a three-dimensional ultrasonic imaging device,
A step of specifying the position of a predetermined part in the skeleton of the subject from the photographed image of the subject, and
A step of superimposing the three-dimensional skeleton model on the field of view based on the specified position, and
An extended real information display method, characterized in that the information is provided.
前記術者の視野を特定する視野特定部と、
前記患者を三次元超音波撮影装置により撮影する三次元超音波撮影部と、
前記三次元超音波撮影装置により撮影した三次元超音波映像から、前記患者の骨格における所定の部位の位置を特定する部位特定部と、
前記特定した位置に基づいて、前記視野に前記三次元骨格モデルを重畳表示させる重畳表示部と、
を備えることを特徴とする、手術支援装置。 It is a surgical support device that superimposes and displays a three-dimensional skeletal model of a patient undergoing surgery on the operator's field of view.
A visual field specifying part that specifies the visual field of the operator,
A three-dimensional ultrasound imaging unit that photographs the patient with a three-dimensional ultrasound imaging device,
From the three-dimensional ultrasonic image taken by the three-dimensional ultrasonic imaging device, a site specifying portion that specifies the position of a predetermined site in the skeleton of the patient, and a site specifying portion.
A superimposed display unit that superimposes and displays the three-dimensional skeleton model on the visual field based on the specified position.
A surgical support device characterized by being equipped with.
A program that causes a computer to function as the surgical support device according to any one of claims 4 to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019139364A JP2021019967A (en) | 2019-07-30 | 2019-07-30 | Augmented reality information display method, surgical operation support device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019139364A JP2021019967A (en) | 2019-07-30 | 2019-07-30 | Augmented reality information display method, surgical operation support device, and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021019967A true JP2021019967A (en) | 2021-02-18 |
Family
ID=74573975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019139364A Pending JP2021019967A (en) | 2019-07-30 | 2019-07-30 | Augmented reality information display method, surgical operation support device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021019967A (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006515187A (en) * | 2002-11-12 | 2006-05-25 | アキュレイ インコーポレイテッド | Apparatus and method for tracking an internal target site without using an embedded fiducial |
| JP2010259497A (en) * | 2009-04-30 | 2010-11-18 | Osaka Univ | Surgery navigation system using retina projection type head-mounted display device and method of superimposing simulation images |
| JP2014155207A (en) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
| JP2017200537A (en) * | 2016-05-06 | 2017-11-09 | 岳 芳本 | Treatment support system, treatment support device, treatment support method, and computer program |
| JP2018047240A (en) * | 2016-09-16 | 2018-03-29 | インテリジェンスファクトリー合同会社 | Surgery support terminal and program |
| JP2018047035A (en) * | 2016-09-21 | 2018-03-29 | 学校法人自治医科大学 | Medical support method and medical support device |
| WO2018195529A1 (en) * | 2017-04-21 | 2018-10-25 | Samadani Uzma | Using augmented reality in surgical navigation |
| JP2019502460A (en) * | 2015-12-22 | 2019-01-31 | シュピーネミント・アクチェンゲゼルシャフトＳｐｉｎｅＭｉｎｄ ＡＧ | Intraoperative image-controlled navigation device during a surgical procedure in the spinal column and adjacent regions of the rib cage, pelvis or head |
-
2019
- 2019-07-30 JP JP2019139364A patent/JP2021019967A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006515187A (en) * | 2002-11-12 | 2006-05-25 | アキュレイ インコーポレイテッド | Apparatus and method for tracking an internal target site without using an embedded fiducial |
| JP2010259497A (en) * | 2009-04-30 | 2010-11-18 | Osaka Univ | Surgery navigation system using retina projection type head-mounted display device and method of superimposing simulation images |
| JP2014155207A (en) * | 2013-02-14 | 2014-08-25 | Seiko Epson Corp | Head-mounted display device and control method of head-mounted display device |
| JP2019502460A (en) * | 2015-12-22 | 2019-01-31 | シュピーネミント・アクチェンゲゼルシャフトＳｐｉｎｅＭｉｎｄ ＡＧ | Intraoperative image-controlled navigation device during a surgical procedure in the spinal column and adjacent regions of the rib cage, pelvis or head |
| JP2017200537A (en) * | 2016-05-06 | 2017-11-09 | 岳 芳本 | Treatment support system, treatment support device, treatment support method, and computer program |
| JP2018047240A (en) * | 2016-09-16 | 2018-03-29 | インテリジェンスファクトリー合同会社 | Surgery support terminal and program |
| JP2018047035A (en) * | 2016-09-21 | 2018-03-29 | 学校法人自治医科大学 | Medical support method and medical support device |
| WO2018195529A1 (en) * | 2017-04-21 | 2018-10-25 | Samadani Uzma | Using augmented reality in surgical navigation |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11275249B2 (en) | Augmented visualization during surgery | |
| US11350072B1 (en) | Augmented reality guidance for bone removal and osteotomies in spinal surgery including deformity correction | |
| RU2714665C2 (en) | Guide system for positioning patient for medical imaging | |
| JP2019519257A (en) | System and method for image processing to generate three-dimensional (3D) views of anatomical parts | |
| JP2017514614A (en) | Vertebral level imaging system | |
| JP7012302B2 (en) | Surgery support terminals and programs | |
| US20100063420A1 (en) | Method for verifying the relative position of bone structures | |
| US20210330250A1 (en) | Clinical diagnosis and treatment planning system and methods of use | |
| JP2021019967A (en) | Augmented reality information display method, surgical operation support device, and program | |
| US11564767B2 (en) | Clinical diagnosis and treatment planning system and methods of use | |
| CN116457831A (en) | System and method for generating virtual images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210305 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220628 |