JP2020527087A - 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム - Google Patents

超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム Download PDF

Info

Publication number
JP2020527087A
JP2020527087A JP2020504215A JP2020504215A JP2020527087A JP 2020527087 A JP2020527087 A JP 2020527087A JP 2020504215 A JP2020504215 A JP 2020504215A JP 2020504215 A JP2020504215 A JP 2020504215A JP 2020527087 A JP2020527087 A JP 2020527087A
Authority
JP
Japan
Prior art keywords
ultrasonic
image
spinal
patient
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020504215A
Other languages
English (en)
Other versions
JP7162793B2 (ja
Inventor
天健 劉
天健 劉
永堅 朱
永堅 朱
陳　高
高 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Publication of JP2020527087A publication Critical patent/JP2020527087A/ja
Application granted granted Critical
Publication of JP7162793B2 publication Critical patent/JP7162793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Quality & Reliability (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本発明は超音波拓本技術に基づく脊椎画像生成システムを提供し、当該システムは収集ユニットと処理ユニットとを含み、二次元的な脊椎表面構造の特徴的輪郭の超音波画像に基づいて超音波拓本を生成し、デジタル医用画像の輪郭とマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られる。当該脊椎画像生成システムに基づく脊柱手術用のナビゲーション・位置確認システムを提供し、当該システムはナビゲーションモジュールと上記した超音波拓本技術に基づく脊椎画像生成システムとを含み、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得て、この脊椎表面トポグラフィーに基づいて手術中ナビゲーションをリアルタイムで行うことができる。本発明によれば、脊柱手術の難易度が大幅に低下し、放射なしの精確な誘導穿刺やリアルタイムなナビゲーション並びに簡便性・信頼性などの手術支援目的が実現され、特に脊柱内視鏡に代表される脊柱低侵襲手術手技の基礎医療機関への普及と応用に役立っている。
【選択図】図５

Description

本発明は医学の分野に関し、具体的には、脊椎画像生成システム、脊椎画像生成方法、並びに、脊柱手術用のナビゲーション・位置確認システム、脊柱手術用のナビゲーション・位置確認方法に関する。
現在、脊柱変性関連疾患の発症率や患者数は日増しに増えており、人々の健康や労働能力にひどく影響を与えている。脊柱手術は椎間板突出や腫瘍等の脊柱疾患を治療する主要手段であり、その中では、脊柱内視鏡に代表される低侵襲手術手技は、科学技術の進歩による手術器械の進化でますます確立されてきているだけでなく、創傷が小さく、患者の回復速度が高いという優位性から、より多くの分野において認められるようになっている。しかしながら、これらの低侵襲技術は、病変部位の位置確認精度に対する要求が高く、また、人体脊柱の特殊性、つまり骨性構造で構成され、解剖箇所が狭くて長く、重要な血管や神経が豊富である等の複雑性から、低侵襲手技を習得する敷居が高く、主としては、手術の難易度及びリスクが大きく、手術者の育成にはかなりの時間を要し、短期間に普及することは難しい。ナビゲーション・位置確認技術によれば、低侵襲手術手技の敷居を下げることができ、手術操作の簡便性の向上や手術の安全性の保障に役立つ。
超音波で人体の骨構造を走査することは以下の特性がある。１）超音波が骨構造を透過できないため、超音波画像には骨表面による線形の強エコーしか表示できず、得られる情報が少なく、臨床応用の範囲が制限されており、前記線形の強エコーは医用超音波学の概念で、超音波画像に対する特徴的描写を言い、線形のハイライト画像として現れている。２）超音波で骨構造を走査する場合、回折によるノイズが発生しやすく、骨構造の超音波画像の表示にばらつきが生じるようになり、前記ノイズは、医用超音波学の概念で、超音波画像に現れるぼけやばりのある不鮮明な画像を言い、骨構造のノイズは、ぼけやばりのある不鮮明な線形又は片状のハイライト画像として現れている。現在の臨床に応用されていた超音波走査技術（超音波走査機器及び超音波処理技術を含む）は上記問題を解決できず、そのため、骨構造関連疾患の診療においての応用はかなり制限されていた。
上記した超音波で骨構造を走査することの特性は、超音波で脊椎を走査する場合にも同様に存在しており、それ以外、人体中の他の骨構造、例えば上腕骨や大腿骨等とは異なり、脊椎構造を超音波で走査する場合には以下のような特殊性がある。例えば図６（１）に示されるように、人体脊柱は狭くて長い骨性構造の領域で、体の支柱となるものであり、頚椎セグメント、胸椎セグメント、腰椎セグメント、仙椎セグメント及び尾椎セグメントの五つの部分に分けられ、３３個の椎骨（頚椎骨７個、胸椎骨１２個、腰椎骨５個、仙骨と尾骨の合計９個）が靱帯や関節及び椎間板で接続されてなる。脊柱内部には、上から下へ縦列の脊柱管が１本形成されており、脊柱管には脊髄がある。脊椎は、横突起、棘突起、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分で構成される。超音波で脊椎を走査することの特殊性は以下のとおりである。１）超音波走査による脊椎骨情報が少なく、脊柱は狭くて長い骨性構造で、複数個の椎骨で構成されるものから、一つの超音波走査画像にすべての椎骨セグメントを表すことができず、情報が少ないながら骨表面エコーに関する情報のみとなる。２）他の骨構造に比べて、超音波走査による脊椎骨情報にはより大きくて多くのばらつきがあり、例えば図６（２）、図６（３）に示されるように、脊椎は、数多くの骨性突起、例えば棘突起、横突起、関節突起等を有する一方、超音波画像において骨エコーが強く、超音波画像は骨構造に特有の明るくてノイズのたくさんある不鮮明な画像として現れることが多く、骨エコーに起因した回折とノイズにより、脊椎の解剖構造（横突起、棘突起、関節突起、椎板及び脊椎を構成する他の骨格部分を含む）の超音波画像での表示に大きなばらつきが発生する。よく発生するばらつきとしては、前記解剖構造中のある点が回折の原因で超音波画像において一つの面として現れることや、前記解剖構造中のある面と超音波画像中の面との間の大きさや割合が正確ではないことや、前記解剖構造中の鮮明な隣接・接続構造、例えば関節突起関節や横突起と椎体との接続根元等が超音波画像においてぼけた面状構造として現れ、接続箇所が不鮮明になることがある。上記のばらつきにより、一般的な超音波走査方式では脊椎の骨構造に対する超音波画像の鮮明度が低いという問題を解決できず、超音波で骨構造を走査する場合の多くの問題の他、超音波で脊椎骨を走査する場合の情報にはより多くて大きな問題がある。
あるセグメントの脊椎、例えば図６（２）に示される腰椎については、一個の腰椎が有する解剖構造は、横突起、棘突起、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分を含み、異なる解剖構造は超音波画像での表示が著しく相違している。つまり、１）棘突起は、椎体における人体の背側へ伸びる骨構造であり、その構造が狭くて長く、骨が薄く、棘突起先端という識別されやすい特徴があり、前記骨が薄いこととは、棘突起の人体の横断面に平行な方向では、左側の骨表面から右側の骨表面までの厚さが薄いことを言い、前記棘突起先端は棘突起の解剖学的構造であり、棘突起の脊柱方向から離れた根元は尖状構造をなし、棘突起の末端となることで、棘突起が脊椎における最も特徴的な解剖構造として超音波画像において完全に表示されることは非常に容易になる。２）横突起、関節突起などの構造は、超音波画像での表示が棘突起よりも悪いものであり、これは、その両者は棘突起のように背側へ伸びて椎体と大きな夾角が出来るものではなく、椎体との夾角が小さく、棘突起先端のような識別されやすい特徴がない一方、体位や走査角度に制限されることで、両者と隣り合う骨構造例えば椎体から鮮明に見分けることができない。また、上記の超音波で骨構造を走査する場合のばらつきの原因で、超音波走査による両者の骨エコー情報は完全ではなく、十分に鮮明かつ正確なものにならないためであり、前記した体位や走査角度に制限されることとは、横突起や関節突起の骨エコー情報を取得する場合、脊椎の他の構造や脊椎に隣り合う器官を走査してしまうことは不可避的であるから、脊椎の他の構造や脊椎に隣り合う器官の画像により横突起や関節突起の骨エコー情報に干渉を与えて、横突起や関節突起の骨エコー情報は完全ではなく、十分に鮮明かつ正確なものにならないことを言う。３）椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分については、上記した超音波で骨構造を走査する場合の数多くの欠陥及びこれらの構造間の特殊な解剖学的位置の関係の原因で、これらの構造まで超音波が走査できず、あるいは、超音波画像においてこれらの構造のすべての骨エコー情報を表示することは不可能である。これらの構造の一部の情報を走査できたとしても、情報の正確度が不十分でばらつきが発生している問題がある。具体的には、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分の解剖構造では、ある点が回折の原因で超音波画像において一つの面として現れることや、前記解剖構造中のある面と超音波画像中の対応する面との間の大きさや割合が正確ではないことや、前記解剖構造中の接続部位例えば横突起と椎体との接続根元（図６（２）の１５を参照）が超音波画像においてぼけた面状構造として現れ、接続箇所が不鮮明になり、正確に識別できなくなることがある。
現在、臨床での脊柱低侵襲手術は以下のような手順となる。つまり、１）手術前に患者に対してＣＴ走査を行い、２）手術のための位置確認を行い、即ち、現在の手術状況での患者の手術中体位を例えばＸ線透視技術により把握し、３）手術のための位置確認が完了した後、低侵襲手術や開放手術を含む手術操作を行う。そのうち、一回当たりのＸ線透視では一つの静的画像しか生成できず、手術のための位置確認によっても、ある時刻での患者の手術中体位しか把握できないが、正常人の脊柱は一定の活動度があり、各部位の活動度も異なり、頚椎セグメントや腰椎セグメントは活動度が大きく、胸椎セグメントは活動度が極めて小さく、仙椎セグメントはほとんど活動度がなく、そして、脊柱の天然の活動度及び正常の呼吸運動により、脊柱の位置や湾曲度は手術操作中に変位するようになり、一つの静的画像だけでは、リアルタイムな患者体位を正確に反映することはできない。医者による手術には、患者の手術状況でのリアルタイムな手術中体位を把握することが要求されており、現在では、医者は経験的に手術を行わなければならず、医者の経験及び手術時の状態等の主観的要因に対する手術の依存度が高く、信頼性が高くない。
以上から分かるように、超音波で骨構造を走査することの特性についてまとめると、１）超音波で骨構造を走査する場合に問題があることや、２）他の骨構造に比べて、脊椎を超音波で走査する難易度が非常に高いことや、３）臨床向けの従来の超音波走査技術（超音波走査機器と超音波処理技術を含む）では走査情報が完全ではなく、鮮明度や正確度が高くはないという欠陥があり、脊柱手術の臨床応用に適応できず、画像問題が脊柱低侵襲手術に基づく治療の発展の最大の障害となることがある。
現在、臨床的な脊柱手術のための位置確認の最も代表的なものは、Ｃアーム型透視・位置確認技術である。この技術の操作手順は図１に示されるようにまとめることができ、即ち、「穿刺−照射−評価−調整−照射による検証」である。具体的なフローとしては、手術前に患者の手術部位に穿刺針を刺入して、一回目のＸ線照射を行った後、穿刺針の患者体内での刺入深さや角度が分かるようになり、そして調整してから二回目のＸ線照射を行い、再度穿刺針の患者体内での刺入深さや角度が分かるようになり、刺入深さや角度が予定部位になると、位置確認が完了し、手術操作を行う。そうでなければ、穿刺位置確認が完了するまで、「評価−調整−照射による検証」の工程を繰り返す。Ｃアーム型透視・位置確認技術により、正確な位置確認が確保されているが、以下のような問題点がある。
１）手術者は経験的に判断して、患者の体表に何度も繰り返して穿刺する必要があるから、患者に大きな創傷を与えてしまう。位置確認中では、患者の手術部位に穿刺針を刺入する必要があり、穿刺針が脊椎表面まで達しなければならず、望ましい穿刺深さや角度にするには、一般に何度も調整を行いながら患者体内で繰り返して穿刺する必要があり、手術感覚が悪い。
２）手術者は、患者の手術部位に穿刺針を刺入する度にＸ線照射を行い、穿刺針の患者体内での刺入深さや角度を把握してから調整を行い、その後再度Ｘ線照射を行い、穿刺針の患者体内での刺入深さや角度が再度分かるようになり、そして、刺入深さや角度が予定部位になると、位置確認が完了する。位置確認中にはＸ線透視が必要なものであり、それによる損傷が非常に大きく、患者と手術者に対して潜在的な放射線被害を与えてしまう。
３）この位置確認技術は手術者の経験に対する依存度が非常に大きなものである。低侵襲手技では、病変部位の位置確認精度が高く要求されており、手術者の経験は操作中の穿刺や照射の回数と正相関の関係にある。現在の臨床業務では、一般に、十年程度の手術経験を持つ手術者でも手術中において穿刺針を６−１０回刺入する必要であり、経験の浅い手術者であれば、より回数の多い穿刺と位置確認を繰り返して行う必要になり、効率が低いだけでなく、患者と手術者に対するより多くのＸ線放射や、患者に対するより大きな穿刺損傷を与えてしまい、この技術の普及と応用に不利になっていた。
４）Ｃアーム型透視・位置確認技術による静的画像によれば、後続の手術に対するナビゲーションを行うことができない。Ｃアーム型透視・位置確認技術による画像は、患者の現在の手術状況での手術中体位で、静的Ｘ線画像であり、手術中の脊柱の動きによる変化を正確に反映できず、後続の手術操作をリアルタイムで指導できない。そのため、Ｃアーム型透視・位置確認技術は、手術前の位置確認を行い、手術のアプローチポイントを決定するためだけに適用されており、決定されたものに基づく手術が開始されると、患者の手術中のどの時点の手術状況における手術中体位も提示することができなくなり、手術者は完全に経験に基づき手術操作を行うことになる。
Ｃアーム型透視・位置確認技術の優位性や問題点に鑑みて、近年、複数種類の画像から融合画像を形成し（劉彦斌等、「超音波ボリュームナビゲーション技術により経皮的後外側アプローチでの完全内視鏡下の腰椎低侵襲手術のための椎間孔を介する穿刺を誘導する応用と検討」、修士学位論文、第二軍医大学、２０１５年５月）、さらに位置確認を指導する方法が提案されており、その代表的なものは超音波ボリュームナビゲーション技術である。この技術の操作手順は図２に示されるようにまとめることができる。つまり、超音波走査により取得された超音波画像を手術前に収集されたＣＴ又はＭＲＩ三次元データと画像融合を行う。画像融合が完了した後、電磁追従システム（電磁トラッカーから超音波プローブまでの距離＜８０ｃｍ、手術を通してトラッカーの位置が変わらない）を用いて、超音波専門家の協力で脊柱手術者はリアルタイム画像から病変部位を見つける。具体的なフローとしては、手術前にＣＴ走査を行って三次元再構成を行い、三次元ＣＴデータを超音波計測器に導入し、三点法で画像レジストレーションを行う。同一画面にＣＴ画像と超音波画像を表示し、患者体表における４つの標識点から任意の３点（３点は同一直線上にない）を選択し、３点に関連するＣＴ画像及び超音波画像のそれぞれを順に精確に探してロックすることで、外標記点のレジストレーションが完了し、外標記点は、皮膚を切開又は穿刺して金属ピン等の器材により設置される必要のあるものである。外標記点のレジストレーションが完了した後、内標記点のレジストレーションを行い、ＣＴ図から任意の椎体の棘突起の頂点を探してロックし、そして超音波画像から対応点をリアルタイムで探してロックし、レジストレーション誤差を計測する。誤差＞５ｍｍであれば、他の椎体の棘突起の頂点を別の内標記点として選択し補正する。内外標記点の二重のレジストレーションにより、画像レジストレーションの誤差は５ｍｍ以内に縮小され、画像融合が完了した。画像融合の後、電磁トラッカーと患者との相対位置が変わらないようにし、消毒済みの隔離シースでプローブを包んで腹腔鏡を用いてリアルタイムで穿刺を誘導する。ＣＴ画像における病変セグメントの椎間孔の最下縁を刺入点としてロックし、超音波画像によりこの点をリアルタイムで表示しながら精確に探してロックし、超音波計測器によるナビゲーションにより穿刺針を病変セグメントの平面で穿刺させるようにリアルタイムで誘導する。穿刺前の位置確認及び穿刺中の穿刺方向の確認は、Ｃアーム型透視装置の協力により行うことができる。穿刺中、患者に下肢の放散痛が生じると、Ｃアーム型透視装置により透視を行う必要があり、穿刺方向がずれると、誘導穿刺針が確実に所定の位置に達するまで、標記点に基づいて再度画像レジストレーション及び融合を行う。穿刺が成功した後、Ｃアーム型透視装置により透視を行い、さらに穿刺針の位置を確認する。
超音波ボリュームナビゲーション技術によれば、手術者はレジストレーション画像に基づいて穿刺と手術操作を行うことが可能になり、Ｃアーム型透視・位置確認技術に比べて、Ｘ線による放射線被害が大幅に低減されるが、以下のような問題点がある。
１）患者体表に何度も繰り返して穿刺する必要があり、患者に対して大きな創傷を与えてしまい、操作が複雑で、手順が冗長且つ面倒なものとなり、時間がかかってしまう。ＣＴ画像と超音波画像とのレジストレーション融合では３つの標記点を設置する必要があり、また、皮膚を切開又は穿刺し、針やネジ又は金属釘等の器材により外標記点を設置する必要がある。内標記点は、直接に画像を見ながら画像から選択したものである。外標記点と内標記点のレジストレーションを行い補正することで、画像融合が完了した。融合した画像により穿刺針を誘導して標的部位まで達するように穿刺させ、穿刺方向がずれると、穿刺針が確実に所定の位置に達するまで、外標記点と内標記点に基づいて再度画像レジストレーション及び融合を行う。
２）手術を通して超音波専門家の協力は必要なものである。超音波画像における解剖部位の識別、レジストレーション融合に必要な超音波画像及びＣＴ画像の選択、並びに、画像融合後の病変位置の確認のすべての手順において、手術者と超音波専門家が緊密に協力しなければならないから、手術者は迅速且つ独自に手術をすることは不可能である。
３）この位置確認技術は、脊柱手術者の経験に対する依存度が大きなものである。この位置確認技術によるナビゲーション画像の精度が高くないが、低侵襲手技は病変部位の位置確認精度に対する要求が高いため、手術者は一定の操作経験を持っていなければ、正確な操作を確実に行えず、そのため、この技術は経験に対する依存度がＣアーム型透視・位置確認技術よりも小さいが、手術者に対する依存から脱却できなかった。
４）ナビゲーション画像の精度が高くない。超音波ボリュームナビゲーション技術による融合画像について、ナビゲーション・位置確認の時、その画像の精度は主に三つのことによって決まる。第一は、点レジストレーションモードは精度が低く、超音波画像とＣＴ又はＭＲＩ画像には多大な情報が含まれており、幾つかの特徴点のみを選択してレジストレーションを行うと、精度を保証できず、手術に悪影響を与えてしまうことである。第二は、以上の幾つかの特徴点の選択は超音波専門家に依存し、主観的要因に影響されており、画像の精度に悪影響を与えてしまうことである。第三は、超音波画像の精度が低く、脊柱は狭くて長い骨性構造の領域であるが、超音波画像中の骨エコーが強く、超音波画像は骨構造に特有の明るくてノイズのたくさんある不鮮明な画像として現れることが多く、骨エコーに起因した回折とノイズにより、解剖構造の超音波画像での表示にばらつきが発生することである。よく発生しているばらつきとしては、解剖構造中のある点が超音波画像において一つの面として現れることや、解剖構造中の面と超音波画像中の面との間の大きさや割合が正確ではないことや、解剖構造中の鮮明な隣接・接続構造、例えば関節突起関節や横突起と椎体との接続根元等が超音波画像においてぼけた面状構造として現れ、接続箇所が不鮮明になることがある。上記のばらつきのため、一般的な超音波走査方式では、骨構造の超音波画像の鮮明度が低いという問題を解決できず、ＣＴ又はＭＲＩ画像の鮮明度よりもはるかに低いものとなり、超音波画像から選択した標記点とＣＴ又はＭＲＩ画像から選択した標記点は完全に正確に一対一に対応できず、ナビゲーション画像の精度が高くなくなった。
５）超音波ボリュームナビゲーションによる位置確認技術は操作が面倒で、時間と労力がかかる。脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療することを例とすれば、穿刺を開始してから標的部位に到達するまでは、Ｃアーム型透視装置により透視を行う必要があり、穿刺方向がずれると、誘導穿刺針が確実に所定の位置に達するまで、標記点に基づいて再度画像レジストレーション及び融合を行う必要がある。穿刺が成功した後も、Ｃアーム型透視装置により透視を行い、さらに穿刺針の位置を確認する必要がある。上記の位置確認と穿刺が完了した後、脊柱内視鏡を入れて深くまで徐々に降下させ、手術者は、臨床経験に基づき、棘突起、黄色靱帯、椎板、神経根、椎間板等の解剖構造を識別し、突出した髄核又は線維輪等に到達し摘出を行って関連手術操作が完了するまで、手術者は臨床経験に基づき手術器械を用いて操作を行うことしかできない。
上記をまとめると、従来の脊柱ナビゲーション・位置確認技術は、主にＣアーム型透視・位置確認技術により精度の高い穿刺位置確認が実現されているが、複数回のＸ線照射が行われることで放射線被害が大きく、複数回の穿刺が行われることで穿刺創傷が大きく、位置確認技術の手術者の経験に対する依存度が大きく、手術時間が長くて時間と労力がかかるという問題点がある。そして得られた静的画像は後続の手術ナビゲーションの助けになることができず、また、超音波ボリュームナビゲーション技術によれば、Ｘ線による放射線被害は大幅に低減されるが、同様に、複数回の穿刺が行われることで穿刺創傷が大きく、超音波専門家の協力が必要となり、ナビゲーション画像の精度が低いという欠点がある。そのため、この二つの技術に共通の欠点としては、操作が複雑で、手術者の経験に対する依存度が大きいこと、患者体表に何度も繰り返して穿刺し、損傷が大きいこと、手術者と患者へのＸ線放射による放射線被害が大きいこと、位置確認操作が面倒で、時間と労力がかかること、体表での穿刺位置確認しか実現できず、後続の関連手術操作に対するナビゲーションが実現できない（ナビゲーション画像の精度が高くなく、ナビゲーションシステムによる支援がない）ことがある。
このため、臨床においては、正確かつ迅速なもので放射がなく、創傷のないリアルタイムなナビゲーション・位置確認手段により脊柱手術を指導することは望ましく、それによれば、脊柱手術の精確な治療操作が実現可能になり、そのためには、少なくとも必要な部位（横突起と棘突起）に関する正確な空間位置情報を取得する必要があるが、従来技術では棘突起の正確な空間位置情報のみが得られ、横突起の正確な空間位置情報を取得できないことで、脊柱手術の精確な治療操作の正確度が高くなくなっていた。さらには、脊柱手術において特定部位の正確な空間位置情報を取得する必要もあり、前記特定部位とは、関節突起、椎板、椎板間隙、椎間孔のいずれか又は任意の複数種を言う。要するに、従来技術では、脊柱手術に必要な関連部位（必要部位と特定部位を含む）の正確な空間位置情報を完全かつ正確に取得できなかった。そのため、脊柱手術の精確な治療操作を実現するには、手術に必要とする必要部位の情報を正確でなければならず、前記必要部位の情報が正確である場合のみにおいて脊柱手術の精確な治療操作の正確性を確保でき、また、手術に必要な特定部位の空間位置情報を正確でなければならず、前記特定部位の情報が多くかつ正確であればあるほど、脊柱手術の精確な治療操作の正確性が向上することができる。従来技術では、手術に必要な特定部位の十分かつ正確な空間位置情報を取得して、ナビゲーション技術により脊柱手術の精確な治療操作を指導することはまだできていなかった。
従来技術の問題点に対して、本発明は超音波拓本技術に基づく脊椎画像生成システムと方法を提供し、つまり、進歩性について述べると、取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理し、超音波拓本が形成され、前記超音波拓本は患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化した三次元的な超音波骨格画像であり、前記超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーがさらに得られ、それにより、従来技術による脊柱手術に必要な関連部位（必要部位と特定部位を含む）の正確な空間位置情報を取得できない問題、及び、従来技術によるリアルタイム性が遅れリアルタイムで動的に表示できない問題は徹底的に解決されるようになり、ナビゲーション技術により脊柱手術の精確な治療操作を指導することは実現されている。本発明は、超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムと方法をさらに提供し、つまり、前記した超音波拓本技術に基づく脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーによれば、リアルタイムな手術中ナビゲーションが実現可能になり、手術者は経験に依存することなく、超音波専門家の協力を必要とせず、患者の体に複数回穿刺することによる複数回の創傷がなくなり、Ｘ線放射による患者と手術者への損傷を最大限低減しながら、一回の穿刺により標的部位まで正確かつ迅速に到達することを可能にし、ナビゲーション技術により脊柱手術の精確な治療操作を指導することは実現されている。
本発明による脊柱手術用のナビゲーション・位置確認システムによれば、標的部位まで到達するように穿刺した後、後続の関連手術操作を終えるように手術者を指導して、後続の手術のためのナビゲーションを継続して行うこともでき、操作が簡単で、時間も労力も節約されている。脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療することを例とすれば、標的部位まで到達するように穿刺した後、手術ナビゲーション・位置確認システムによる指導で脊柱内視鏡を深くまで徐々に降下させ、棘突起、黄色靱帯、椎板、神経根、椎間板等の解剖構造の識別を行い、突出した髄核又は線維輪等に到達し摘出を行って関連手術操作を終え、それにより、従来技術によるＸ線と穿刺に起因した損傷が大きく、操作経験に対する依存度が高く、正確にリアルタイムでナビゲーション画像を表示し難い等の問題点を克服した。
超音波拓本技術に基づく脊椎画像生成システムであって、二次元的な脊椎表面構造の超音波画像に基づいて超音波拓本を生成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、
収集ユニットと処理ユニットとを含み、
前記収集ユニットは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得するものであり、前記処理ユニットは、収集ユニットで取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得るものであり、前記超音波画像は脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、前記超音波拓本は患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。
本発明による超音波拓本技術に基づく脊椎画像生成システムに基づいて、超音波拓本技術に基づく脊椎画像生成方法をさらに提供する。前記の脊椎画像生成方法は、超音波画像取得、超音波拓本生成及び脊椎表面トポグラフィー生成を含み、
１）超音波画像取得では、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得し、前記超音波画像は脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、
２）超音波拓本生成では、ステップ１）で取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を生成し、前記超音波拓本は患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像であり、
３）脊椎表面トポグラフィー生成では、ステップ２）で得られた前記超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得る。
本発明による超音波拓本技術に基づく脊椎画像生成システムに基づいて、超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムをさらに提供する。前記脊柱手術用のナビゲーション・位置確認システムは、ナビゲーションモジュールと超音波拓本技術に基づく脊椎画像生成システムとを含み、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得て、この脊椎表面トポグラフィーに基づいてリアルタイムな手術中ナビゲーションを行うことができ、
前記超音波拓本技術に基づく脊椎画像生成システムでは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。好ましくは、前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像である。
本発明による超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムに基づいて、超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法をさらに提供する。前記方法はステップ１）〜ステップ３）を含み、
ステップ１）では、手術器械のソリッド幾何モデルを確立し表面モデルへ変換させてから、脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示すことで、手術器械に対するリアルタイムな追従が実現され、前記ソリッド幾何モデルの表面モデルへの変換方法は三次元ＣＡＤモデリングが好ましく、
ステップ２）では、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、前記したトポグラフィー座標系と患者座標系における対応点間の関係を特定する方法は反復最近接点アルゴリズムが好ましく、
ステップ３）では、ステップ１）で得られた手術器械の表面モデルをステップ２）で形成された統一座標系に表示し、手術器械と患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーとが統一座標系にあるようになり、リアルタイムな手術中ナビゲーションが実現される。
脊柱手術操作システムをさらに提供し、前記脊柱手術操作システムは、前記いずれかの超音波拓本技術に基づく脊椎画像生成システム及び／又は前記いずれかの超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムを含む。この操作システムは脊柱部位の開放・低侵襲手術に適用され、椎間板の突出部分の摘出、腫瘍切除、神経剥離、血腫除去等のみに限られない様々な手術操作を行うことができる。
従来技術に比べて、本発明による超音波拓本技術に基づく脊椎画像生成システムと方法によれば、従来技術による脊柱手術に必要な関連部位（必要部位と特定部位を含む）の正確な空間位置情報を取得できない問題、及び、従来技術によるリアルタイム性が遅れリアルタイムで動的に表示できない問題は解決され、ナビゲーション技術により脊柱手術の精確な治療操作を指導することは実現されている。本発明による超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムと方法によれば、リアルタイムな手術中ナビゲーションが実現可能になり、手術者は経験に依存することなく、超音波専門家の協力を必要とせず、患者の体に複数回穿刺することによる複数回の創傷がなくなり、Ｘ線放射による患者と手術者への損傷を最大限低減しながら、一回の穿刺により標的部位まで正確かつ迅速に到達することを可能にし、ナビゲーション技術により脊柱手術の精確な治療操作を指導することは実現されている。
この脊柱手術用のナビゲーション・位置確認システムによれば、標的部位まで到達するように穿刺した後、後続の関連手術操作を終えるように手術者を指導して、後続の手術のためのナビゲーションを継続して行うことができ、操作が簡単で、時間も労力も節約されている。脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療することを例とすれば、標的部位まで到達するように穿刺した後、手術ナビゲーション・位置確認システムによる指導で脊柱内視鏡を深くまで徐々に降下させ、棘突起、黄色靱帯、椎板、神経根、椎間板等の解剖構造の識別を行い、突出した髄核又は線維輪等に到達し摘出を行って関連手術操作を終える。具体的にまとめると、以下の効果がある。
１）Ｘ線による患者と手術者への放射線被害を最大限低減している。
２）患者体表に１回穿刺すればよく、穿刺による患者への創傷を最大限低減している。
３）手術者の経験に対する依存度が非常に小さくなり、脊椎画像生成システムによれば、患者体位の変動と共にリアルタイムで更新される個人化の脊椎表面トポグラフィーが提供可能になり、及び、この脊椎表面トポグラフィーに基づいて手術中ナビゲーションをリアルタイムで行う脊柱手術用のナビゲーション・位置確認システムによれば、手術者は経験に依存することなく、超音波専門家の協力を必要とせず、脊柱手術の普及と応用に役立っている。
４）患者体位の変動と共にリアルタイムで更新される個人化の脊椎表面トポグラフィーは、後続の手術ナビゲーションの大きな助けになる。
５）本発明による脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システムによれば、操作が簡単になり、時間も労力も節約されている。
６）ナビゲーション画像は精度が高く、患者のリアルタイムな手術中体位に合致している。
７）本発明による脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システムによれば、位置確認技術におけるリアルタイム性が遅れ動的に表示できない問題がなくなる。Ｃアーム型透視装置はある程度のリアルタイム性があるが、遅れることが発生し、動的に表示できないという問題がある。
８）体表での穿刺位置確認の後でも、さらに後続の関連手術操作を指導することが可能である。脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療することを例とすれば、標的部位まで到達するように穿刺した後（位置確認・穿刺工程）、手術者は内視鏡を深くまで徐々に降下させ、臨床経験に基づき、棘突起、黄色靱帯、椎板、神経根、椎間板等の解剖構造を識別できたら、脊柱手術用のナビゲーション・位置確認システムによる指導で手術者は正確な角度や距離で手術器械を操作し、突出した髄核又は線維輪等に到達し摘出を行って関連手術操作を終えることができる。
従来技術に比べて、本発明の優位性としては、第一は、外標記点の設置を不要とし、創傷を大幅に低減していることであり、第二は、超音波画像の精度が向上し、さらに患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーというナビゲーション画像の精度が向上していることであり、第三は、臨床経験に対する依存度が低下し、ナビゲーション画像によれば、手術の難易度が大幅に低下し、手術者の操作経験や超音波専門家に対する依存度が低下していることである。第四は、従来技術の問題点を克服し、本発明のシステムによれば、正確な位置確認と穿刺が実現され得るばかりか、脊柱手術の後続操作に対するリアルタイムなナビゲーションも実現可能になることである。
本発明による脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システムによれば、脊柱内視鏡手術に代表される脊柱低侵襲手技は急速に発展し短期間で普及していくようになり、脊柱関連疾患に悩む民衆の福祉が図られている。本発明は脊柱内視鏡に代表される脊柱低侵襲手技に適用されるが、これに限らず、超音波拓本を取得し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得られるものであれば、脊柱関連疾患についての低侵襲・開放手術にも同様に適用される。
Ｃアーム型透視・位置確認技術の操作フロー模式図である。 超音波ボリュームナビゲーション技術の操作フロー模式図である。 本発明にかかる超音波拓本技術に基づく脊椎画像生成システムの構成模式図である。 本発明にかかる超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムの操作フロー模式図である。 本発明にかかる超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法のフロー図である。 人体脊柱及び脊椎解剖の模式図であり、（１）は脊柱の全面視での模式図であり、Ａは前面視、Ｂは後面視、Ｃは側面視であり、（２）は腰椎解剖の模式図であり、Ａは右側面視、Ｂは上面視であり、（３）は頚椎の上面視である。 体積レンダリング中のシアー・ワープ法の基本原理の模式図である。
以下、図面と実施例に合わせて本発明についてさらに説明する。これらの実施例は本発明を説明するためのものに過ぎず、本発明の範囲の制限となるものではないことは理解されたい。また、本発明において示唆された内容のもとに、当業者は本発明について様々な変形や変更を行うことができ、これらの等価のものは同様に本願中の特許請求の範囲に含まれていることは理解されたい。
超音波拓本技術に基づく脊椎画像生成システムを提供し、前記システムは、二次元的な脊椎表面構造の超音波画像に基づいて超音波拓本を生成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、
収集ユニットと処理ユニットとを含み、
前記収集ユニットは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得するものであり、前記処理ユニットは、収集ユニットで取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得るものであり、前記超音波画像は脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。
好ましくは、前記超音波画像はその輪郭エッジと輪郭内部の情報を含む。好ましくは、前記脊椎表面は、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分的のいずれか又は任意の複数種をさらに含む。
好ましくは、前記超音波画像の取得方法としては、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。さらに好ましくは、前記患者の空間位置確認情報を有する超音波走査機器は位置確認タグを有する超音波プローブである。
好ましくは、前記超音波拓本の取得方法としては、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成する。
好ましくは、前記輪郭マッチングの実施方法としては、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得る。
好ましくは、前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体表面画像である。好ましくは、前記超音波拓本が有するリアルタイムな動的空間情報は、脊椎表面と筋骨格境界とともに構成される空間情報であり、この空間情報は超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものである。好ましくは、前記立体的な表面様子は脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であり、前記見掛け上の三次元画像中のグルーヴは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャである。
好ましくは、前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ又はデジタルＸ線撮影ＤＲによる画像であってもよい。
さらには、前記収集ユニットは超音波画像走査モジュールと超音波画像情報抽出モジュールとを含む。
前記超音波画像走査モジュールは、患者体表を繰り返し走査し、筋骨格境界が識別できたら、生データを取得するものであり、前記超音波画像情報抽出モジュールは、前記生データについて抽出を行い、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を取得し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とするものであり、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータである。前記生データは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号であり、前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係である。
好ましくは、前記患者の空間位置確認情報を有する超音波走査機器は、位置確認タグを有する超音波プローブであり、前記生データは、超音波プローブから発する無線周波信号である。
さらには、前記処理ユニットは、超音波画像最適化モジュール、超音波画像重ね合わせモジュール、超音波拓本生成モジュール及び画像輪郭マッチングモジュールを含む。
前記超音波画像最適化モジュールは、前記収集ユニットで得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得るものである。好ましくは、前記超音波画像最適化モジュールは、超音波フィルタ強調技術により前記収集ユニットで取得された超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得るものであり、前記超音波フィルタ強調技術は適応中央値フィルタと数学的モルフォロジーフィルタとを組み合わせたものが好ましい。
前記超音波画像重ね合わせモジュールは、前記超音波画像最適化モジュールで得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果の強調した重ね合わせ超音波画像を得るものである。好ましくは、前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用する。
前記超音波拓本生成モジュールは、前記超音波画像重ね合わせモジュールで得られた重ね合わせ超音波画像について処理することで、超音波拓本を形成するものである。好ましくは、前記処理の方法は三次元再構成であり、さらに好ましくは、前記三次元再構成の方法は体積レンダリング法であり、体積レンダリング加速技術であることが好ましい。
前記画像輪郭マッチングモジュールは、前記超音波拓本生成モジュールで得られた超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成するものである。前記輪郭マッチングの方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましく、前記マルチモダリティレジストレーション法は、画像の空間変換、階調補間、類似度評価、検索最適化を含む。好ましくは、前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像から選ばれる。
本発明による超音波拓本技術に基づく脊椎画像生成システムに基づいて、超音波拓本技術に基づく脊椎画像生成方法をさらに提供し、前記の脊椎画像生成方法は、超音波画像取得、超音波拓本生成及び脊椎表面トポグラフィー生成を含み、
１）超音波画像取得では、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得し、前記超音波画像は脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、
２）超音波拓本生成では、ステップ１）で取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を生成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像であり、
３）脊椎表面トポグラフィー生成では、ステップ２）で得られた前記超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得る。
好ましくは、前記超音波画像は、その輪郭エッジと輪郭内部の情報を含む。好ましくは、前記脊椎表面は、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分的のいずれか又は任意の複数種をさらに含む。
好ましくは、前記超音波画像の取得方法としては、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータである。さらに好ましくは、前記患者の空間位置確認情報を有する超音波走査機器は位置確認タグを有する超音波プローブである。
好ましくは、前記超音波拓本の生成方法としては、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成する。
好ましくは、前記脊椎表面トポグラフィーの生成方法としては、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得る。
好ましくは、前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体的な表面様子である。好ましくは、前記超音波拓本が有するリアルタイムな動的空間情報は、脊椎表面と筋骨格境界とともに構成される空間情報であり、この空間情報は、超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものである。好ましくは、前記立体的な表面様子は脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であり、前記見掛け上の三次元画像中のグルーヴは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャである。
好ましくは、前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ又はデジタルＸ線撮影ＤＲによる画像であってもよい。
さらには、前記ステップ１）は超音波画像走査と超音波画像情報抽出とを含む。
超音波画像走査では、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、生データを取得し、前記生データは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号であり、前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係である。好ましくは、位置確認タグを有する超音波プローブで走査して生データを取得し、前記生データは、超音波プローブから発する無線周波信号である。
超音波画像情報抽出では、超音波画像走査モジュールで取得された生データから抽出を行い、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を取得し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。
さらには、前記ステップ２）は超音波画像最適化、超音波画像重ね合わせ及び超音波拓本生成を含む。
超音波画像最適化では、ステップ１）で得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得る。好ましくは、超音波画像最適化に超音波フィルタ強調技術を採用し、干渉ノイズが除去され最適化した超音波画像を得る。さらに好ましくは、前記超音波フィルタ強調技術は中央値フィルタと数学的モルフォロジーフィルタとを組み合わせたものであってもよい。
超音波画像重ね合わせでは、超音波画像最適化により得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果の強調した重ね合わせ超音波画像を得る。好ましくは、前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用する。
超音波拓本生成では、超音波画像重ね合わせを行った重ね合わせ超音波画像について処理して超音波拓本を形成し、好ましくは、処理の方法は三次元再構成である。さらに好ましくは、前記三次元再構成の方法は体積レンダリング法であり、体積レンダリング加速技術であることが好ましい。
さらには、前記ステップ３）に記載の輪郭マッチング方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましく、前記マルチモダリティレジストレーション法は画像の空間変換、階調補間、類似度評価、検索最適化を含む。
本発明による超音波拓本技術に基づく脊椎画像生成システムに基づいて、超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムをさらに提供し、前記脊柱手術用のナビゲーション・位置確認システムは、ナビゲーションモジュールと超音波拓本技術に基づく脊椎画像生成システムとを含み、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得て、この脊椎表面トポグラフィーに基づいてリアルタイムな手術中ナビゲーションを行うことができる。
前記超音波拓本技術に基づく脊椎画像生成システムでは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。好ましくは、前記デジタル医用画像はＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像である。
前記ナビゲーションモジュールは、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、位置確認機能を有する手術器械のソリッド幾何モデルを表面モデルへ変換させ、そして脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示し、また、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、また、変換された手術器械の表面モデルを統一座標系に組み込んで、リアルタイムな手術中ナビゲーションが実現され、手術操作を行うように手術者を指導する。
さらには、前記位置確認機能を有する手術器械は、磁気的な空間位置確認タグを有する手術器械である。
本発明による超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムに基づいて、超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法をさらに提供する。前記方法は、ステップ１）〜ステップ３）を含み、
ステップ１）では、手術器械のソリッド幾何モデルを確立し表面モデルへ変換させてから、脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示すことで、手術器械に対するリアルタイムな追従が実現され、前記ソリッド幾何モデルの表面モデルへの変換方法は三次元ＣＡＤモデリングが好ましく、
ステップ２）では、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、前記したトポグラフィー座標系と患者座標系における対応点間の関係を特定する方法は反復最近接点アルゴリズムが好ましく、
ステップ３）では、ステップ１）で得られた手術器械の表面モデルをステップ２）で形成された統一座標系に表示し、手術器械と患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーとが統一座標系にあるようになり、リアルタイムな手術中ナビゲーションが実現される。
脊柱手術操作システムをさらに提供し、前記脊柱手術操作システムは、前記いずれかの超音波拓本技術に基づく脊椎画像生成システム及び／又は前記いずれかの超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムを含む。この操作システムは脊柱部位の開放・低侵襲手術に適用され、椎間板の突出部分の摘出、腫瘍切除、神経剥離、血腫除去等のみに限られない様々な手術操作を行うことができる。
例えば図３に示されるように、本発明にかかる超音波拓本技術に基づく脊椎画像生成システムでは、二次元的な脊椎表面構造の超音波画像に基づいて超音波拓本を生成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、前記システムは収集ユニットと処理ユニットとを含む。
前記収集ユニットは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得するものであり、前記処理ユニットは、収集ユニットで取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得るものである。前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。前記超音波画像は、脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成される。前記超音波画像は、その輪郭エッジと輪郭内部の情報を含む。前記脊椎表面は横突起と棘突起とを含み、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格のいずれか又は任意の複数種をさらに含んでもよい。前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体的な表面様子である。前記超音波拓本が有するリアルタイムな動的空間情報とは、脊椎表面と筋骨格境界とともに構成される空間情報を言い、この空間情報は、超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものである。前記立体的な表面様子は、脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であり、前記見掛け上の三次元画像中のグルーヴとは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャを言う。
前記デジタル医用画像とは、数値で表すことのできる画像情報を言い、コンピュータにより画像の記憶、再構成、計測、識別、処理を行う。前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ又はデジタルＸ線撮影ＤＲによる画像であってもよい。
前記手術中体位は手術中の患者がなす体位であり、主に仰臥位、腹臥位又は側臥位の一つが採用されるが、手術の需要を満たすための特殊体位もある。前記脊椎領域の深部筋組織は臨床解剖学的な概念であり、具体的には、人体背部の脊柱起立筋及びその深部構造を言う。前記脊椎表面とは、人体脊椎の体表に近い側の骨表面を言う。前記の棘突起、横突起、関節突起、椎板、椎板間隙、椎間孔は医学的概念であり、具体的には、人体脊柱を構成する各々の椎体における解剖学的意味のある骨性構造を言う。背景技術に述べたように、従来の超音波走査機器や処理技術では、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分のすべての超音波画像情報を得ることあるいは正確に得ることが難しかったが、本発明のシステムによれば、脊柱手術に必要な関連部位の正確な空間位置情報を取得することが可能にある。
前記収集ユニットは、超音波画像走査モジュールと超音波画像情報抽出モジュールとを含み、前記超音波画像走査モジュールは、走査を行って生データを取得するものであり、前記超音波画像情報抽出モジュールは、前記超音波画像走査モジュールによる走査で取得された生データに含まれる手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とするものであり、前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。前記生データとは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号を言い、前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係である。
超音波画像の取得方法としては、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とするようにしてもよく、前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。
前記患者の空間位置確認情報を有する超音波走査機器は位置確認タグを有する超音波プローブであり、前記生データとは、超音波プローブから発する無線周波信号を言う。
前記処理ユニットは、超音波画像最適化モジュール、超音波画像重ね合わせモジュール、超音波拓本生成モジュール及び画像輪郭マッチングモジュールを含む。前記超音波画像最適化モジュールは、前記収集ユニットで得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得るものである。前記超音波画像重ね合わせモジュールは、前記超音波画像最適化モジュールで得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果の強調した重ね合わせ超音波画像を得るものである。前記超音波拓本生成モジュールは、前記超音波画像重ね合わせモジュールで得られた重ね合わせ超音波画像について処理することで、超音波拓本を形成するものである。
超音波拓本の取得方法としては、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成するようにしてもよい。
前記超音波画像最適化モジュールは、超音波フィルタ強調技術により前記収集ユニットで取得された超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像が得られ、前記フィルタ強調は、信号中の特定周波帯に属する周波数をろ過して除去する操作であり、干渉を抑制し防止する重要な措置となる。
前記超音波フィルタ強調技術は、適応中央値フィルタと数学的モルフォロジーフィルタとを組み合わせた方法であってもよく、具体的には、まず適応中央値フィルタにより画像前処理を行うことで、スペックルノイズを抑制しながら必要な細部を保ち、そして数学的モルフォロジー方法により画像について二次フィルタとコントラスト強調を行うことで、一層ノイズをろ過し除去しながら境界の細部を保つようにする。
前記中央値フィルタは非線形フィルタであり、画像中のインパルスノイズやごま塩ノイズを除去可能で、画像エッジのぼけが生じないように良好に保護でき、二値画像や階調画像の処理に利用され得る。その基本原理は、デジタル画像中のある点の値を、この点の一つの近傍にある各点の値の中央値に置き換えることである。その基本的な技術思想としては、ウインドウ内のすべての画素階調をソートし、ソート結果の中央値を元のウインドウの中央における画素の階調とすることである。中央値フィルタは、周りの画素値が大きく相違している値を周りの画素値に近いものである中央値に変更することで、特異なノイズ点を除去することをその主要機能としている。前記適応中央値フィルタによれば、超音波画像中のスペックルノイズを抑制しながら境界の細部を良好に保護できるが、計算量が大きくて、並列性を持つアルゴリズムではないから、速度が遅くなり、リアルタイム性の要求を満たすことが困難であり、その応用は超音波画像の後処理に限られている。適応中央値フィルタは、一定領域内の画像の統計的特性を考慮して中央値フィルタを改良したものであり、そのろ波手法としては、ウインドウを使用し、ろ波中に画像の局所の統計的特性に基づいて自動的にウインドウの大きさや形状を変え、ウインドウ中央の画素がノイズであると判断した場合、その値を中央値に置き換え、そうでない場合、現在の画素値を変更しないようにする。ウインドウ内の各画素の重みは調節可能なものであり、ウインドウの選択は分割や統合等の方法により行われてもよく、形状が制限されておらず、そして、適応フィルタの設計の技術思想は以下のとおりである。
画素毎の局所領域での平均値μと推定分散σ２は以下の式となる。
σ２をノイズ分散とし、すべての局所領域の推定分散の平均値に置き換えれば、適応フィルタの推定式は以下の式となる。
式中、ηは画像中のＭ＊Ｎ画素からなる矩形の局所領域であり、ＭとＮのそれぞれはこの近傍画素行列の行数と列数であり、ｎ１、ｎ２は画素座標であり、ａ（ｎ１、ｎ２）は元画像中の（ｎ１、ｎ２）画素の階調値であり、ｂ（ｎ１、ｎ２）は画像の適応フィルタ後の（ｎ１、ｎ２）画素の階調値である。
前記数学的モルフォロジーフィルタは幾何構造の領域フィルタを行うものであり、即ち、一つのノイズブロックでは一つの点が判定条件を満たしていれば、領域全体のノイズをすべて除去できるものである。このため、この方法によれば、モルフォロジーフィルタの品質を保証でき、ノイズがよく除去可能で、画像の細部を良好に保つことができるが、満足できるフィルタ効果を達成するには、適切な構造要素を選択する必要があり、要求の高いリアルタイム性を満たし得る。数学的モルフォロジーフィルタは新規な非線形フィルタであり、幾何学を基礎として画像の幾何構造を検討することに着目するものである。その基本思想は、画像を集合と見なして、予め定義された構造要素により画像を検知し、構造要素を良好に画像内部に入れ得るかどうかを観測するとともに、構造要素を入れる方法が正確であるかどうかを検証する。図中における構造要素を入れるのに適する位置をマークすれば、画像に関する構造情報が得られ、そして画像の構造情報について解析することで、次に選択すべき構造要素を判定できる。そうすれば、より効率よくろ波によって興味のある情報をさらに取得できる。このように最適な構造要素を見つけ出して現在最も望ましい情報を抽出し、興味のない情報を抑えることで、すべてのノイズをろ過し除去して有用な情報が残る。前記構造要素は一定の寸法を有する背景画像であり、大きさや形状、階調、色度等の情報を持ち、その寸法が検討される目標よりもはるかに小さく、画像において変換されてフィルタウインドウに類似するものとなり、構造要素が適切に選択されているか否かは入力画像についての処理結果に直接影響しており、形態変換は形態フィルタを構築する基礎であり、基本的な形態変換は膨張、浸食、開演算及び閉演算を含み、それぞれ以下のように定義されている。
上式では、ｆは入力画像、ｂは構造要素を示し、前記構造要素とは、情報を収集する「プローブ」を言い、画像を検知するものであり、画像において構造要素を移動させていくことで、構造要素と画像対象との相互作用により画像の各部分間の関係を検討し、さらに画像処理に必要な幾何パラメータを判定することができる。ＤｆとＤｂはそれぞれｆとｂの定義域である。実際の応用では、開演算は入力画像を平滑化させるものであり、入力画像のエッジのばりや孤立したスペックル、即ち、ろ過信号中の正パルスノイズを除去でき、閉演算は入力画像をろ過するものであり、入力画像のクラックやホールを埋め、つまり信号中の負パルスのノイズをろ過することができる。
上記した適応中央値フィルタと数学的モルフォロジーフィルタとを組み合わせた方法によれば、本モジュールでは、収集ユニットで得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を入力し、超音波フィルタ強調により最適化させ、最終的に、干渉ノイズが除去され最適化した超音波画像を出力するようになる。
前記超音波画像重ね合わせモジュールは、前記超音波画像最適化モジュールで得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果を強調するものである。前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用してもよい。画像レジストレーションは、一方の医学画像について一種又は一連の空間変換を行うことで、他方の医学画像における対応点と空間的に一致させることであり、レジストレーションの結果、両方の画像におけるすべての解剖点、あるいは、少なくともすべての診断意味のある点及び手術上の興味のある点がいずれもマッチングするようになるべきであり、前記の空間的に一致させることは、人体における同一解剖点が二つのマッチング画像において同様な空間位置にあるようにすることを言う。単一モダリティレジストレーションでは、同一物体は画像取得条件の相違又は物体自身に発生する空間位置変化により、結像に相違が発生することがある。この時、レジストレーション待ち画像間の画素の階調分布はいつも一定の線形関係にあるから、相関係数法によりレジストレーションを行うと良く、前記相関係数（ＣＣ）は二つの変数の線形相関の近さを記述する量であり、以下のように定義されている。
ただし、
はｆ（ｘｎ）、ｇ（ｘｎ）の平均値であり、医学画像の単一モダリティレジストレーションでは、同一結像方式（超音波）で同一組織を結像させれば、相関性を計算する時に誤りが生じることがないため、相関係数法は医学画像の単一モダリティレジストレーションに適している。
上記処理により、本モジュールでは、超音波画像最適化モジュールで得られた干渉ノイズが除去され最適化した超音波画像を入力し重ね合わせていくことに従って、重ね合わせた画像において超音波骨エコー情報の強エコーと弱エコーの間の相違が大きくなり、それにより、出力された重ね合わせ超音波画像は効果が強調され、相違が明らかになり、干渉ノイズが除去されている。前記線形の強エコーは医用超音波学概念で、超音波画像を特徴的に記述するものであり、線形のハイライト画像として現れる。
前記超音波拓本生成モジュールは、前記超音波画像重ね合わせモジュールで得られた重ね合わせ超音波画像について処理することで、超音波拓本を形成するものである。前記超音波拓本は、超音波画像重ね合わせモジュールで得られた超音波画像について三次元再構成処理を行って得られたものであり、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。超音波画像の三次元再構成は、一定のデータ処理方法により、超音波プローブ走査による二次元画像を三次元画像に変換するようにしてもよく、一連の的二次元画像から三次元画像モデルを再構成し、定性・定量分析を行う技術であり、二次元画像から三次元構造情報を抽出することは実現されている。三次元再構成のレンダリングにおいて、データ記述方法には、主に表面レンダリング法、体積レンダリング法及びハイブリッドレンダリング法の三つの種類がある。前記超音波拓本生成モジュールは、体積レンダリング法及び体積レンダリング加速技術により、脊椎エコーの重ね合わせによる画像について三次元再構成を行うことで、二次元的な脊椎表面構造の超音波画像の超音波拓本への変換を実現することができ、正確性と低コスト化の要求が達成される。体積レンダリング法は、光線が三次元体のデータ場を通過する場合のボクセルとの相互作用を直接検討し、皮膚や骨格、筋等の物質情報を一括して表示し、等値面の輪郭を抽出する必要のない方法である。体積レンダリングは、ボリュームデータの表面情報や内部情報のいずれをも表示でき、主に投影、隠線除去、レンダリング及び統合等を含む。本実施例では、体積レンダリング法中のシアー・ワープ法を採用してもよく、それは、二次元離散データ場の射影変換を二次元データ場せん断変換と二次元画像変形の二つの段階に分けて行うものであり、それにより、二次元空間のリサンプリングが二次元平面のリサンプリングに変換され、計算量が大幅に低減する。シアー・ワープ法によれば、最終画像の品質を著しく低下させることなく、二次元データ場の体積レンダリングをグラフィックスワークステーションにおいてほぼリアルタイムに行うことが可能になる。もちろん、体積レンダリング法はハードウェア要求が高く、多大なメモリを必要とし、計算量が大きくなるという短所もあり、これについては、体積レンダリング加速技術により解決可能である。体積レンダリング加速技術は、画像空間に基づく体積レンダリングアルゴリズム加速、物体空間再構成に基づくアルゴリズム加速、及び、ハードウェア加速を含む。前記画像空間に基づく体積レンダリングアルゴリズム加速では、第一、画像空間の相関性により射線的の数を低減する。隣り合う画素同士は相関性があり、類似した色を有するため、画像平面におけるすべての画素から光線を透過させる必要がなく、間隔的に光線を投影させればよい。第二、対象空間の相関性から不必要なサンプリング点数を低減する。ボリュームデータには数多くの空ボクセルつまり透明ボクセルが存在しており、これらの空ボクセルは体積レンダリングによる最終画像になんら関与せず、そして、ボリュームデータの記憶構造を工夫することで、空ボクセルをスキップし、サンプリング点数を低減することができる。前記物体空間再構成に基づくアルゴリズム加速については、現在、成熟のアルゴリズムとしてボクセル投影法やサブ領域投影法等があり、また、特殊なボリュームデータ構造、例えばソート済みボリュームデータ、ランレングス符号化等を確立することによって、ボリュームデータに対するトラバースを早くすることもできる。前記ハードウェア加速については、超音波拓本の結像範囲は全脊柱セグメントのみにされており、中規模のボリュームデータ場となるため、総合的に考慮すれば、ハードウェア加速を導入したテクスチャレンダリングアルゴリズムが好適であり、このアルゴリズムによれば、他の加速アルゴリズムよりも迅速な体積レンダリングが出来ている。将来、ボリュームデータ場の急速な拡大が必要になる場合、並列計算関連アルゴリズムを導入して、さらなる加速を実現することも可能である。
以下、シアー・ワープ法を例（図７）としてその基本原理を説明する。シアー・ワープ法の主な思想は、三次元離散データ場の直接射影を三次元データ場のせん断変換と二次元画像の変形に分けることである。例えば図７に示されるように、まず、視線方向（射影方向）に応じて一つの中間平面を決定し、この平面は物体空間のある軸方向に垂直であり、物体空間をせん断変換させてから垂直に中間平面に射影させることで、中間画像Ａ’Ｂ’が得られる。垂直射影となるから、その計算量は必ず斜射影よりもかなり低くなる。最後に、得られた中間画像Ａ’Ｂ’について変形変換を行うことで、最終画像ＡＢが得られる。元の射影変換のビュー変換Ｍｖｉｅｗを二つの行列、つまりズレ行列Ｍｓｈｅａｒと変形Ｍｗａｒｐ行列に分けている。従って、Ｍｖｉｅｗ＝Ｍｓｈｅａｒ×Ｍｗａｒｐ。さらに、平行射影については、一組の水平線で三次元離散データ場の一つの横断面を示し、観測方向を座標系の一つの軸と平行にするとともに、三次元データ場の各データ平面と垂直にすると、せん断変換では、各データ平面はある距離を平行移動するようになり、この距離は各データ平面が所在する座標値に比例するだけでなく、初期観測方向に対する定義にもよるものであり、また、透視射影については、三次元離散データ場がせん断物体空間に変換される場合、データ平面毎は平行移動変換ばかりかスケール変換をも行う必要になり、このため、せん断変換したデータ場の射影による画像は最終画像ではなく、単に中間画像になり、さらなる画像変形は必要である。
上記した三次元離散データ場のせん断変換及び二次元画像変形は、以下のような観測変換行列に統合されてもよい。
式中、Ｐは座標変換行列であり、それにより、座標系のＺ軸と三次元離散データ場の主要観測方向は重なり合うようになり、Ｓは三次元データ場をせん断物体空間に変換させるもので、Ｍｗａｒｐはせん断物体空間を画像空間に変換させるものである。平行射影については、せん断はＺ軸に垂直な方向に行われるため、以下の式が出来る。
そのうち、Ｓｘ、ＳｙはＭｖｉｅｗのパラメータから求まる。透視射影については、以下の式が出来る。
上式から分かるように、ｚ＝ｚ０のデータ平面を物体空間からせん断物体空間に変換させた場合、このデータ平面は（Ｚ０Ｓ’ｘ，Ｚ０Ｓ’ｙ）の距離を平行移動し、係数 １／（１＋Ｚ０Ｓ’ｗ）に応じてスケール変換を行うべきである。上式における最後の項のＭｗａｒｐはせん断物体空間を画像空間に変換させる行列である。
上記アルゴリズムによれば、前記超音波画像重ね合わせモジュールで得られた超音波画像について処理し、つまり、Ｚ軸方向を三次元離散データ場の主要観測方向とするように座標系の軸と重なり合わせ、それと平行な部分について平行射影を行い、脊椎表面のすべての骨エコー情報の平行移動のみが行われ、透視射影については、上記平行移動が完了した後、さらにスケール変換を行う。前記変換は、せん断物体空間で、脊椎表面のすべての骨エコー情報をせん断してからせん断物体空間の中間画像平面に投影させることで、中間画像が形成され、そして中間画像平面での画像を二次元画像変形Ｍｗａｒｐにより画像空間に変換させて、最終画像が得られることである。
上記によれば、重ね合わせ超音波画像は、体積レンダリング法及び加速技術により超音波拓本になり、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像として次の処理に用いられる。
前記画像輪郭マッチングモジュールは、前記超音波拓本生成モジュールで得られた超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成するものである。前記超音波拓本が有するリアルタイムな動的空間情報とは、脊椎表面と筋骨格境界とともに構成される空間情報を言い、この空間情報は、脊椎表面と深部筋組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものである。前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体的な表面様子であり、前記立体的な表面様子は、脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であり、前記見掛け上の三次元画像中のグルーヴとは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャを言う。前記輪郭マッチングとは、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることを言う。以下、ＣＴボリュームレンダリング再構成画像を例として輪郭マッチング工程について説明する。超音波拓本の輪郭に含まれるリアルタイムな動的空間位置情報とＣＴボリュームレンダリング再構成画像の輪郭に含まれる空間位置情報とについて、対応点一つ毎にマッチングさせることで、画像輪郭のマッチングが実現され、さらに三次元レベルでのマッチングが実現される。
前記輪郭マッチングの実施方法は、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得るようにしてもよい。前記輪郭マッチングの方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましく、前記マルチモダリティレジストレーション法は画像の空間変換、階調補間、類似度評価、検索最適化を含む。本実施例で採用される輪郭マッチングは、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましく、前記マルチモダリティレジストレーション法は、脊椎画像の空間変換、階調補間、類似度評価、検索最適化を含む。前記相互情報アルゴリズムは、レジストレーション待ち画像の独立エントロピー及び結合エントロピーを計算することで得られた相互情報量に基づいて、画像レジストレーションの効果を判断する。つまり、二つの画像の重なり合い度合いが最高になる場合、結合エントロピーが最も小さく、相互情報量が最も大きくなり、最良のレジストレーション効果が達成され、また、相互情報アルゴリズムは画像の階調の統計情報を利用しているから、ノイズによる干渉が少なく、良好なロバスト性を有する。前記ロバスト性とは、一定の構造や大きさのパラメータによる摂動でも、制御システムは何らかの性能を維持する特性を言う。そして、超音波結像とＣＴボリュームレンダリング結像は、その結像方式と原理が異なるが、画像における対応位置での階調分布は類似しており、異なるモダリティの画像のそれぞれの密度変化が線形関係にあるかどうかは相互情報を解くことに関係なく、また、脊柱の各々の椎体は剛体に近いものと見なすことができるため、脊椎画像マッチングは剛体レジストレーションに属し、剛体は歪みが生じにくい特性があり、相互情報アルゴリズムによる剛体レジストレーションの効果がより良好になる。
画像マッチング工程は、主に画像の空間変換、階調補間、類似度評価、検索最適化を含み、この工程では、空間変換策、階調補間アルゴリズム、類似性測定方法及び最適化アルゴリズムを選択する必要がある。前記画像の空間変換とは、一定の規則で画像ｆ（ｘ，ｙ）中の画素点を新しい位置に変換させることで、新しい画像ｆ（ｘ’，ｙ’、）が得られることを言い、即ち、
であり、画像の空間変換方式の自由度によっては、剛体変換、アフィン変換及び非線形変換の三つに分けられている。好ましくは、画像の特徴に応じて異なる方式を選択し、それらを組み合わせて全体の画像変換を実現する。脊柱椎体の骨表面については、剛体変換とアフィン変換の組合せが採用され、剛体変換は画像の平行移動と回転を含み、画像中の物体の位置と方向のみが変更され、すべての物体の長さや角度、面積及び体積はいずれも変わらない。このような変換は一つの３×３の行列で表すことができ、つまり、変換行列Ｔにより画像中の元の座標（ｘ，ｙ）の点を新しい座標に変換させ、以下の表現式となる。
ただし、θは画像の回転角度であり、ｄｙ、ｄｘは画像のｚ軸方向とｙ軸方向での平行移動量である。剛体変換では、画像中の物体の相対位置は変化していない。前記アフィン変換は画像の真直度と平行度を保持する空間変換である。前記真直度とは、変換後の画像中の直線が湾曲せず、円弧の弧度も変わらないことを言う。前記平行度とは、画像中の物体間の平行関係が変わらないが、物体の大きさや物体間の角度が変わり得ることを言う。剛体変換に対して、前記アフィン変換には変換自由度つまり各座標方向におけるズーム係数が加えられ、各方向のズーム比が一致する場合、一様アフィン変換と称され、そうでない場合、非一様アフィン変換又はせん断変換と称されるようになる。一様アフィン変換はレンズ結像システムに用いられることが多く、このシステムによる画像の大きさは撮影中の物体からカメラまでの距離と密接に関係しており、せん断変換は機器に起因した画像の歪みを校正するために用いられることが多い。アフィン変換は以下の式で表される。
マルチモダリティ画像レジストレーションでは、アフィン変換は、結像方法の違いによる画像中の物体の大きさの不一致を直すことや、操作上の人的ミスによる画像の歪みを直すこと、及び、結像角度の違いによる画像表現の違いをなくすことに用いられる。
前記非線形変換について、人体軟組織の画像では、異なる時刻や角度で撮影された組織は捻られたり歪みが発生したりことが多いため、レジストレーションにて非線形変換がよく採用されている。超音波走査において、プローブと接触する人体組織は小さな局所歪みが発生するため、弾性モデルに適用される。前記弾性モデルとは、浮動画像からテンプレート画像への変換を弾性材料の伸縮過程と見なすことができ、外部からの材料への外力や材料内部からの反発による内力はこの過程に亘って発生し、外力により材料に歪みが生じる。また、内力は外力の受け入れに応じた材料からのフィードバックであり、内力と外力がバランスを取ると、レジストレーションが終了する。その歪みは、以下のＮａｖｉｅｒ偏微分方程式で表すことができる。
ただし、μ（ｘ，ｙ）は物体のｘ方向とｙ方向での歪みを示し、λとψは物体の弾性性質を記述するＬａｍｅ弾性定数であり、物体に作用する二つの方向での外力を示す。弾性モデルでは、弾力は歪みの大きさに比例して変化し、局所歪みが大きくなるほど、弾力が大きくなる。
前記階調補間アルゴリズムについて、マッチング工程が完了し、浮動画像について空間変換を行った後、整数座標にあった画素は新しい画像において非整数座標になる可能性があり、その問題を解決し、歪んだ画像をより良好に記述するために、階調補間アルゴリズムを採用する。レジストレーション工程において、浮動画像について一定の空間変換を行うことで、可能な限りテンプレート画像に類似させる必要があり、変換後、一般的には、新しい画像中の整数座標点について逆変換を行うことで、この点の元画像での対応座標が得られ、得られた点は補間点となる。階調補間アルゴリズムでは、補間点及びその周りの点の階調値の計算により新しい画像における座標の階調値を得ることができるため、画像の元の情報を最大限保持する。相互情報からレジストレーションを行うアルゴリズムでは、画像の階調分布情報を十分に保持するために、ＰＶ補間アルゴリズムを使用することが多い。前記ＰＶ補間アルゴリズムは、補間により新しい画像の階調分布を直接得るものであり、空間変換前の浮動画像中の画素毎は画像の階調分布にある程度関与しているため、ＰＶ補間は、すべての補間点及びその周りの近傍画素の階調値を考慮したものとなる。一般に、階調ヒストグラムの計算において、階調値ｎ０が出現すると、統計する度に、ヒストグラムにおけるガンマに対応する数値に１が加算されるようになる。双線形補間と同様に、新しい画像中の画素点（ｘ，ｙ）毎は元画像中の一つの補間点（ｘ’，ｙ’）に対応しており、補間点周りの四つの整数点の階調値をｎ１１、ｎ１２、ｎ２１、ｎ２２とし、補間点からこれらの点までの距離に基づいて各点の重みｗｉｊを求める。そして、新しい画像の階調ヒストグラムｈ（ａ）において、その分、階調値ｎｉｊの出現回数にｗｉｊを加算する。
テンプレート画像中の階調をｍとすると、補間点のジョイント階調ヒストグラムＨ（ａ，ｂ）による計算は以下の式となる。
すべての補間点について計算し終えると、新しい階調ヒストグラムが得られ、それにより、浮動画像の変換後のマージン階調分布とジョイント階調分布が得られる。ＰＶ補間アルゴリズムでは、直接補間する代わりに、画像の階調統計情報を直接変えることで新しい画像を生成するため、相互情報のような階調分布に非常に敏感なレジストレーションアルゴリズムに適している。
前記類似度評価とは、医学画像レジストレーション、特にマルチモダリティ医学画像のレジストレーションでは、二つの画像間の類似度を評価する標準を定義する必要があることを言い、二つの画像の類似度が最大になると、二つの画像の最良のレジストレーション効果が達成されるとする。好ましくは、上記画像の空間変換と階調補間アルゴリズムが完了した後、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づいて類似度の計測を行う。階調値のもとに、二つのレジストレーション待ち画像ＡとＢについて、その対応点の階調値特徴同士を階調ペアとし、相互情報の計算は、画像Ａに画像Ｂの情報がどれだけ含まれているかを計算することになる。二つの画像の最良のマッチングが達成されると、それらの階調分布の相関性が最高になる。
従来の相互情報アルゴリズムは画像レジストレーションにおいて大きな欠陥がある。つまり、画像に存在する空間情報が無視されているため、相互情報から二つの画像の類似度を評価する場合に、二つの画像間に共通である空間関係が無視されることで、レジストレーションの誤りが生じる場合がある。従来のアルゴリズムを改良しても、膨大な計算量により計算時間が長くなるため、空間情報を相互情報計算に導入する方法、即ち、条件相互情報を提案した。前記条件相互情報は、レジストレーション待ち画像を異なる小領域に区画し、二つの画像における対応する小領域のすべてのレジストレーション効果のそれぞれにより、画像全体のレジストレーション効果が達成されることであり、演算量が増加することなく、画像中の空間情報を考慮した。条件相互情報ＣＭＩは、ジョイントヒストグラムを拡張し、画像中の小領域の空間分布と階調分布とを結合したものである。
ただし、ｐ（ｓ）は、レジストレーションの時に画像中の領域ｓを選択してレジストレーションを行う確率であり、レジストレーション待ち画像を同じ大きさの領域に区画すれば、この確率は同じになる。一つの画像では、階調値ｉの画素点は画像の異なる領域に分布している可能性がある。条件相互情報の計算において、異なる領域に分布している階調値ｉの画素点による相互情報量全体への寄与はその点の空間位置に関係している。条件相互情報は、領域ｓにおける画像Ａに含まれる画像Ｂの情報量を示しており、すべての領域の情報量の加重平均値を、画像類似度を評価する最終の基準とする。
上記により、本モジュールでは、超音波拓本生成モジュールで得られた超音波拓本が入力されてデジタル医用画像と輪郭マッチングが行われ、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが出力される。この画像は、手術者による患者の手術中体位での手術に関連する解剖構造の位置関係の観測・分析や、穿刺位置確認への指導及び後続の手術操作を支援するものになる。
例えば図４に示されるように、本発明による超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムは、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得て、この脊椎表面トポグラフィーに基づいてリアルタイムな手術中ナビゲーションを行うことができ、前記脊柱手術用のナビゲーション・位置確認システムは、ナビゲーションモジュールと超音波拓本技術に基づく脊椎画像生成システムとを含む。
前記超音波拓本技術に基づく脊椎画像生成システムでは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像である。前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像から選ばれてもよい。
前記ナビゲーションモジュールは、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、位置確認機能を有する手術器械のソリッド幾何モデルを確立し表面モデルへ変換させ、そして脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示し、また、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、また、変換された手術器械の表面モデルを統一座標系に組み込んで、リアルタイムな手術中ナビゲーションが実現され、手術操作を行うように手術者を指導するようになる。前記位置確認機能を有する手術器械は、磁気的な空間位置確認タグを有する手術器械である。
例えば図５に示されるように、本発明による超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法は以下のステップがある。
ステップ１では、手術者は手術適応症に合致する患者について手術の用意をする。前記手術適応症は、脊柱関連疾患、例えば脊柱腫瘍や椎間板突出を含み、診療規則に規定される標準的なものであり、非手術治療では治癒できず、手術により治療を促進できる。
ステップ２では、手術治療を予定している患者に対して手術前ＣＴ走査を行い、それによる画像に対してボリュームレンダリング再構成を行うことで、この患者のデジタル医用画像が得られる。ここでＣＴ走査を行う時、患者の体位を手術にて採用する予定の体位と一致させるべきである。例えば、腹臥位で手術を行う予定の患者については、手術前ＣＴ走査の時にも腹臥位で走査を行うようにする。
ステップ３では、患者のＣＴ走査とボリュームレンダリング再構成画像に基づいて、手術チームは手術前分析を行うことで、手術標的部位が特定される。前記手術標的部位とは、手術にて到達しようとする脊椎の骨性の解剖学的位置を言い、例えば、脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療する場合、手術標的部位は目標腰椎の椎板構造となる。
ステップ４では、通常の手術準備及び麻酔を行った後、手術者は手術目標領域に対して超音波走査を行う。つまり、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出して、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とする。前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。前記患者の空間位置確認情報を有する超音波走査機器は、位置確認タグを有する超音波プローブであってもよい。前記手術目標領域とは、手術が行われる関連領域を言い、手術が行われる具体的な部位及びその隣接構造を含む。例えば、脊柱内視鏡を用いて腰椎椎間板ヘルニア手術を行う場合、目標領域は、病変髄核の所在する腰椎椎体、隣り合う上下の椎体、及び、対応する腰椎の近傍領域となる。前記超音波画像は、脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記超音波画像は、前記超音波画像輪郭と超音波画像エッジの情報を含む。前記脊椎表面は、横突起と棘突起とを含み、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分的のいずれか又は任意の複数種をさらに含んでもよい。
ステップ４は、超音波画像走査と超音波画像情報抽出とを含んでもよい。
超音波画像走査では、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、生データを取得する。前記生データとは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号を言う。前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係である。患者の空間位置確認情報を有する超音波走査機器は位置確認タグを有する超音波プローブであってもよく、走査により生データが取得され、前記生データとは、超音波プローブから発する無線周波信号を言う。
超音波画像情報抽出では、超音波画像走査により取得された生データから手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出して、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とする。前記手術中の二次元空間位置パラメータとは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータを言う。
ステップ５では、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成する。
ステップ５は、超音波画像最適化、超音波画像重ね合わせ及び超音波拓本生成を含んでもよい。
超音波画像最適化では、ステップ４で得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得る。好ましくは、超音波画像最適化に超音波フィルタ強調技術を採用し、干渉ノイズが除去され最適化した超音波画像が得られる。さらに好ましくは、前記超音波フィルタ強調技術は、中央値フィルタと数学的モルフォロジーフィルタとを組み合わせたものであってもよい。
超音波画像重ね合わせでは、前記超音波画像最適化を行った超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像を強調し、前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用してもよい。
超音波拓本生成では、前記超音波画像最適化・重ね合わせを行った超音波画像について三次元再構成処理を行うことで、超音波拓本を生成し、前記三次元再構成の方法は体積レンダリング法及び体積レンダリング加速技術であってもよい。
ステップ６では、ステップ５で得られた前記超音波拓本をデジタル医用画像と輪郭マッチングを行う。つまり、超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られる。前記輪郭マッチングの方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましく、前記マルチモダリティレジストレーション法は、画像の空間変換、階調補間、類似度評価、検索最適化を含む。前記輪郭マッチングとは、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることを言う。前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体表面画像である。前記超音波拓本が有するリアルタイムな動的空間情報とは、脊椎表面と筋骨格境界とともに構成される空間情報を言い、この空間情報は、脊椎表面と深部筋の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものであり、前記立体的な表面様子は脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であり、前記見掛け上の三次元画像中のグルーヴとは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャを言う。前記リアルタイムな動的空間情報は、超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、位置確認タグを有する超音波プローブの移動と共に動的にリアルタイムで表示され得るものである。前記デジタル医用画像はＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像である。
ステップ７では、手術器械のソリッド幾何モデルを確立し表面モデルへ変換させてから、脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示すことで、手術器械に対するリアルタイムな追従が実現される。前記ソリッド幾何モデルの表面モデルへの変換方法は三次元ＣＡＤモデリングが好ましい。
ステップ８では、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にする。前記したトポグラフィー座標系と患者座標系における対応点間の関係を特定する方法は反復最近接点アルゴリズムが好ましい。
ステップ９では、変換された手術器械の表面モデルを統一座標系に表示し、手術器械と患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーとが統一座標系にあるようにし、リアルタイムな手術中ナビゲーションが実現される。
ステップ１０では、ナビゲーション画像に基づいて、手術者は統一座標系において座標系が表示する手術器械と患者の脊柱解剖構造との位置関係に応じて後続操作を行う。このステップでは、手術者は、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーによる誘導で、位置確認タグを有する手術器械を用いて両手のみ又はロボットによる補助で位置確認と穿刺を行った後、継続してナビゲーション画像により、画像に示されている手術器械と脊柱の骨性構造との位置関係及び手術者から見えている解剖構造の両者による確認で、後続の手術操作を終える。脊柱内視鏡を用いて椎板後部アプローチ髄核摘出術により腰椎椎間板ヘルニアを治療することを例とすれば、その後続の手術操作としては、手術者は、臨床経験に基づき、棘突起、黄色靱帯、椎板、神経根、椎間板等の解剖構造を識別し、突出した髄核又は線維輪等に到達し摘出を行って関連手術操作が完了するまで、手術者は脊柱手術用のナビゲーション・位置確認システムによる指導で手術器械を用いて正確な角度と距離で操作を行う。
１ 頚椎、２ 胸椎、３ 腰椎、４ 仙骨、５ 尾骨、６ 上関節突起、７ 棘突起、８ 下関節突起、９ 横突起、１０ 椎体、１１ 乳様突起、１２ 椎孔、１３ 横突孔、１４ 椎板、１５ 横突起と椎体との接続根元

Claims (47)

  1. 超音波拓本技術に基づく脊椎画像生成システムであって、二次元的な脊椎表面構造の超音波画像に基づいて超音波拓本を生成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、
    収集ユニットと処理ユニットとを含み、
    前記収集ユニットは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得するものであり、前記処理ユニットは、収集ユニットで取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得るものであり、前記超音波画像は、脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像であることを特徴とする超音波拓本技術に基づく脊椎画像生成システム。
  2. 前記超音波画像は、その輪郭エッジと輪郭内部の情報を含むことを特徴とする、請求項１に記載の超音波拓本技術に基づく脊椎画像生成システム。
  3. 前記脊椎表面は、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分的のいずれか又は任意の複数種をさらに含むことを特徴とする、請求項１に記載の超音波拓本技術に基づく脊椎画像生成システム。
  4. 前記超音波画像の取得方法としては、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータであることを特徴とする、請求項１〜３のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  5. 前記患者の空間位置確認情報を有する超音波走査機器は位置確認タグを有する超音波プローブであることを特徴とする、請求項４に記載の超音波拓本技術に基づく脊椎画像生成システム。
  6. 前記超音波拓本の取得方法としては、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成することを特徴とする、請求項１〜５のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  7. 前記輪郭マッチングの実施方法としては、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体表面画像であり、前記立体的な表面様子は脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であることを特徴とする、請求項１〜５のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  8. 前記見掛け上の三次元画像中のグルーヴは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャであることを特徴とする、請求項７に記載の超音波拓本技術に基づく脊椎画像生成システム。
  9. 前記超音波拓本が有するリアルタイムな動的空間情報は、脊椎表面と筋骨格境界とともに構成される空間情報であり、この空間情報は、超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものであることを特徴とする、請求項７に記載の超音波拓本技術に基づく脊椎画像生成システム。
  10. 前記収集ユニットは超音波画像走査モジュールと超音波画像情報抽出モジュールとを含み、
    前記超音波画像走査モジュールは、患者体表を繰り返し走査し、筋骨格境界が識別できたら、生データを取得するものであり、前記超音波画像情報抽出モジュールは、前記生データについて抽出を行い、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を取得し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とするものであり、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータであることを特徴とする、請求項１〜９のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  11. 前記生データは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号であり、前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係であることを特徴とする、請求項１０に記載の超音波拓本技術に基づく脊椎画像生成システム。
  12. 前記患者の空間位置確認情報を有する超音波走査機器は、位置確認タグを有する超音波プローブであり、前記生データは、超音波プローブから発する無線周波信号であることを特徴とする、請求項１０に記載の超音波拓本技術に基づく脊椎画像生成システム。
  13. 前記処理ユニットは、超音波画像最適化モジュール、超音波画像重ね合わせモジュール、超音波拓本生成モジュール及び画像輪郭マッチングモジュールを含み、
    前記超音波画像最適化モジュールは、前記収集ユニットで得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得るものであり、
    前記超音波画像重ね合わせモジュールは、前記超音波画像最適化モジュールで得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果の強調した重ね合わせ超音波画像を得るものであり、
    前記超音波拓本生成モジュールは、前記超音波画像重ね合わせモジュールで得られた重ね合わせ超音波画像について処理することで、超音波拓本を形成するものであり、
    前記画像輪郭マッチングモジュールは、前記超音波拓本生成モジュールで得られた超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成するものであることを特徴とする、請求項１〜１２のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  14. 前記超音波画像最適化モジュールは超音波フィルタ強調技術により前記収集ユニットで取得された超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像を得ることを特徴とする、請求項１３に記載の超音波拓本技術に基づく脊椎画像生成システム。
  15. 前記超音波フィルタ強調技術は適応中央値フィルタと数学的モルフォロジーフィルタとを組み合わせたものが好ましいことを特徴とする、請求項１４に記載の超音波拓本技術に基づく脊椎画像生成システム。
  16. 前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用することを特徴とする、請求項１３に記載の超音波拓本技術に基づく脊椎画像生成システム。
  17. 前記処理の方法は三次元再構成であることを特徴とする、請求項１３に記載の超音波拓本技術に基づく脊椎画像生成システム。
  18. 前記三次元再構成の方法は体積レンダリング法であり、体積レンダリング加速技術であることが好ましいことを特徴とする、請求項１７に記載の超音波拓本技術に基づく脊椎画像生成システム。
  19. 前記輪郭マッチングの方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法であることを特徴とする、請求項１３に記載の超音波拓本技術に基づく脊椎画像生成システム。
  20. 前記マルチモダリティレジストレーション法は、画像の空間変換、階調補間、類似度評価、検索最適化を含むことを特徴とする、請求項１９に記載の超音波拓本技術に基づく脊椎画像生成システム。
  21. 前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像から選ばれることを特徴とする、請求項１〜２０のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム。
  22. 超音波拓本技術に基づく脊椎画像生成方法であって、超音波画像取得、超音波拓本生成及び脊椎表面トポグラフィー生成を含み、
    １）超音波画像取得では、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を取得し、前記超音波画像は脊椎領域の深部筋組織と脊椎表面とを含むすべてのエコー情報から構成され、前記脊椎表面は横突起と棘突起とを含み、
    ２）超音波拓本生成では、ステップ１）で取得された患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を生成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像であり、
    ３）脊椎表面トポグラフィー生成では、ステップ２）で得られた前記超音波拓本をデジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得ることを特徴とする超音波拓本技術に基づく脊椎画像生成方法。
  23. 前記超音波画像は、その輪郭エッジと輪郭内部の情報を含むことを特徴とする、請求項２２に記載の超音波拓本技術に基づく脊椎画像生成方法。
  24. 前記脊椎表面は、関節突起、椎板、椎板間隙、椎間孔及び脊椎を構成する他の骨格部分的のいずれか又は任意の複数種をさらに含むことを特徴とする、請求項２２に記載の超音波拓本技術に基づく脊椎画像生成方法。
  25. 前記超音波画像の取得方法としては、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を抽出し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータであることを特徴とする、請求項２２〜２４のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  26. 前記超音波拓本の生成方法としては、前記患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させ重ね合わせてから、さらに処理して超音波拓本を生成することを特徴とする、請求項２２に記載の超音波拓本技術に基づく脊椎画像生成方法。
  27. 前記脊椎表面トポグラフィーの生成方法としては、前記超音波拓本に含まれる脊椎表面のすべての骨エコー情報をデジタル医用画像の輪郭と一点ずつマッチングさせることで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーが得られ、前記脊椎表面トポグラフィーは、超音波拓本が有するリアルタイムな動的空間情報をデジタル医用画像に付与してなる立体表面画像であり、前記立体的な表面様子は脊椎表面の空間情報に基づいて形成される見掛け上の三次元画像であることを特徴とする、請求項２２〜２６のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  28. 前記超音波拓本が有するリアルタイムな動的空間情報は、脊椎表面と筋骨格境界とともに構成される空間情報であり、この空間情報は、超音波走査による脊椎表面、深部筋及び脂肪組織の超音波画像情報と空間位置情報を含み、リアルタイムで動的に表示され得るものであることを特徴とする、請求項２７に記載の超音波拓本技術に基づく脊椎画像生成方法。
  29. 前記見掛け上の三次元画像中のグルーヴは、前記すべての超音波画像情報に含まれる脊椎表面のテクスチャであることを特徴とする、請求項２７に記載の超音波拓本技術に基づく脊椎画像生成方法。
  30. 前記ステップ１）は超音波画像走査と超音波画像情報抽出とを含み、
    超音波画像走査では、患者の空間位置確認情報を有する超音波走査機器により患者体表を繰り返し走査し、筋骨格境界が識別できたら、生データを取得し、前記生データは、患者の空間位置確認情報を有する超音波走査機器から発する無線周波信号であり、
    超音波画像情報抽出では、超音波画像走査モジュールで取得された生データから抽出を行い、手術中の二次元空間位置パラメータを含む脊椎表面のすべての骨エコー情報を取得し、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像とし、前記手術中の二次元空間位置パラメータは、患者の手術状況での脊椎のリアルタイムな二次元空間位置パラメータであることを特徴とする、請求項２２〜２９のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  31. 前記走査は各種の異なる角度や方向で行われてもよく、前記方向は上下、前後、左右、斜方向を含み、前記角度は患者体表に垂直又は任意の傾斜角を含み、走査順とは無関係であることを特徴とする請求項３０に記載の超音波拓本技術に基づく脊椎画像生成方法。
  32. 位置確認タグを有する超音波プローブで走査して生データを取得し、前記生データは、超音波プローブから発する無線周波信号であることを特徴とする、請求項３０に記載の超音波拓本技術に基づく脊椎画像生成方法。
  33. 前記ステップ２）は超音波画像最適化、超音波画像重ね合わせ及び超音波拓本生成を含み、
    超音波画像最適化では、ステップ１）で得られた患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像を最適化させることで、干渉ノイズが除去され最適化した超音波画像が得られ、
    超音波画像重ね合わせでは、超音波画像最適化により得られた最適化超音波画像を重ね合わせ、超音波骨エコー情報における強エコーと弱エコーの間の相違を一層大きくすることで、画像効果の強調した重ね合わせ超音波画像が得られ、
    超音波拓本生成では、超音波画像重ね合わせを行った重ね合わせ超音波画像について処理して超音波拓本を形成することを特徴とする、請求項２２〜２９のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  34. 超音波画像最適化に超音波フィルタ強調技術を採用し、干渉ノイズが除去され最適化した超音波画像を得ることを特徴とする、請求項３３に記載の超音波拓本技術に基づく脊椎画像生成方法。
  35. 前記超音波フィルタ強調技術は、中央値フィルタと数学的モルフォロジーフィルタとを組み合わせたものであることを特徴とする、請求項３４に記載の超音波拓本技術に基づく脊椎画像生成方法。
  36. 前記超音波画像重ね合わせに単一モダリティレジストレーション法を採用することを特徴とする、請求項３３に記載の超音波拓本技術に基づく脊椎画像生成方法。
  37. 前記処理の方法は三次元再構成であることを特徴とする、請求項３３に記載の超音波拓本技術に基づく脊椎画像生成方法。
  38. 前記三次元再構成の方法は体積レンダリング法であり、体積レンダリング加速技術であることが好ましいことを特徴とする、請求項３７に記載の超音波拓本技術に基づく脊椎画像生成方法。
  39. ステップ３）に記載の輪郭マッチング方法は、画素階調アルゴリズムのうちの相互情報アルゴリズムに基づくマルチモダリティレジストレーション法が好ましいことを特徴とする、請求項２２〜２９のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  40. 前記マルチモダリティレジストレーション法は、画像の空間変換、階調補間、類似度評価、検索最適化を含むことを特徴とする、請求項３９に記載の超音波拓本技術に基づく脊椎画像生成方法。
  41. 前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像から選ばれることを特徴とする、請求項２２〜４０のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成方法。
  42. 超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムであって、ナビゲーションモジュールと請求項１〜２１のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システムとを含み、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを得て、この脊椎表面トポグラフィーに基づいて手術中ナビゲーションをリアルタイムで行うことができ、
    前記超音波拓本技術に基づく脊椎画像生成システムでは、患者の手術状況でのリアルタイムな手術中体位に対応する二次元的な脊椎表面構造の超音波画像について処理して超音波拓本を形成し、デジタル医用画像と輪郭マッチングを行うことで、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーを形成し、前記超音波拓本は、患者の空間位置確認情報を有しながら患者の位置変動と共にリアルタイムで動的に更新される個人化の三次元的な超音波骨格画像であり、
    前記ナビゲーションモジュールは、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、位置確認機能を有する手術器械のソリッド幾何モデルを表面モデルへ変換させ、そして脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示し、また、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、また、変換された手術器械の表面モデルを統一座標系に組み込んで、リアルタイムな手術中ナビゲーションが実現され、手術操作を行うように手術者を指導することを特徴とする超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システム。
  43. 前記デジタル医用画像は、ＣＴボリュームレンダリング再構成画像や磁気共鳴ＭＲ、コンピュータＸ線撮影ＣＲ、デジタルＸ線撮影ＤＲによる画像から選ばれることを特徴とする、請求項４２に記載の超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システム。
  44. 前記位置確認機能を有する手術器械は、磁気的な空間位置確認タグを有する手術器械であることを特徴とする、請求項４２に記載の超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システム。
  45. 超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法であって、ステップ１）〜ステップ３）を含み、
    ステップ１）では、手術器械のソリッド幾何モデルを確立し表面モデルへ変換させてから、請求項１〜２１のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システムで得られた患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに示し、手術器械に対するリアルタイムな追従が実現され、
    ステップ２）では、患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーに含まれる空間位置情報に基づいてトポグラフィー座標系を確立し、患者の手術中体位の空間位置情報から患者座標系を確立し、トポグラフィー座標系と患者座標系における対応点間の関係を特定してから統一座標系にし、前記したトポグラフィー座標系と患者座標系における対応点間の関係を特定する方法は反復最近接点アルゴリズムが好ましく、
    ステップ３）では、ステップ１）で得られた手術器械の表面モデルをステップ２）で形成された統一座標系に表示し、手術器械と患者の手術中体位に合致するリアルタイムで更新される個人化の脊椎表面トポグラフィーとが統一座標系にあるようになり、リアルタイムな手術中ナビゲーションが実現されることを特徴とする超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法。
  46. 前記ソリッド幾何モデルの表面モデルへの変換方法は三次元ＣＡＤモデリングであることを特徴とする、請求項４５に記載の超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認方法。
  47. 脊柱手術操作システムであって、請求項１〜２１のいずれか１つに記載の超音波拓本技術に基づく脊椎画像生成システム、及び／又は、請求項４２〜４４のいずれか１つに記載の超音波拓本技術に基づく脊柱手術用のナビゲーション・位置確認システムを含むことを特徴とする脊柱手術操作システム。
JP2020504215A 2017-07-28 2018-07-25 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム Active JP7162793B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710630811.3 2017-07-28
CN201710630811.3A CN107595387B (zh) 2017-07-28 2017-07-28 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
PCT/CN2018/096999 WO2019020048A1 (zh) 2017-07-28 2018-07-25 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统

Publications (2)

Publication Number Publication Date
JP2020527087A true JP2020527087A (ja) 2020-09-03
JP7162793B2 JP7162793B2 (ja) 2022-10-31

Family

ID=61059985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020504215A Active JP7162793B2 (ja) 2017-07-28 2018-07-25 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム

Country Status (4)

Country Link
US (1) US11304680B2 (ja)
JP (1) JP7162793B2 (ja)
CN (1) CN107595387B (ja)
WO (1) WO2019020048A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581606A (zh) * 2020-12-25 2021-03-30 江苏集萃复合材料装备研究所有限公司 一种脊柱椎弓根螺钉植入手术导航方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107595387B (zh) * 2017-07-28 2020-08-07 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统
CN108335326B (zh) * 2018-01-31 2022-07-26 上海联影医疗科技股份有限公司 穿刺系统的校正方法、装置及系统
CN110368026B (zh) * 2018-04-13 2021-03-12 北京柏惠维康医疗机器人科技有限公司 一种手术辅助装置及系统
CN108765473B (zh) * 2018-05-24 2021-12-17 常州市速瑞医疗科技有限公司 全高清3d电子腹腔镜系统的图像配准方法
CN108670301B (zh) * 2018-06-06 2020-11-06 西北工业大学 一种基于超声影像的脊柱横突定位方法
CN108711187B (zh) * 2018-08-03 2021-12-31 华侨大学 配准融合ct和mri信号建立人体腰椎三维仿真模型的方法
CN109646089B (zh) * 2019-01-15 2021-04-13 浙江大学 一种基于多模式医学融合图像的脊柱脊髓体表穿刺入路点智能定位系统及方法
CN111821032B (zh) * 2019-04-16 2022-06-07 上银科技股份有限公司 医疗影像对位方法
TWI715075B (zh) 2019-06-24 2021-01-01 瑞昱半導體股份有限公司 膚色影像的色域權重偵測方法及其裝置
CN110464460B (zh) * 2019-07-16 2020-11-17 江苏霆升科技有限公司 一种心脏介入手术的方法及系统
CN110505383B (zh) * 2019-08-29 2021-07-23 重庆金山医疗技术研究院有限公司 一种图像获取方法、图像获取装置及内窥镜系统
US20210100530A1 (en) * 2019-10-04 2021-04-08 GE Precision Healthcare LLC Methods and systems for diagnosing tendon damage via ultrasound imaging
US11282218B2 (en) * 2019-11-25 2022-03-22 Shanghai United Imaging Intelligence Co., Ltd. Systems and methods for providing medical guidance using a patient depth image
CN110974299A (zh) * 2019-12-31 2020-04-10 上海杏脉信息科技有限公司 超声扫查机器人系统、超声扫查方法及介质
US11701176B2 (en) * 2020-05-06 2023-07-18 Warsaw Orthopedic, Inc. Spinal surgery system and methods of use
CN111627560B (zh) * 2020-05-27 2022-03-22 四川大学华西医院 基于有限元和机器学习的脊柱近端交界角的手术优化方法
CN111631817A (zh) * 2020-06-05 2020-09-08 温州医科大学附属第二医院、温州医科大学附属育英儿童医院 脊柱内镜下实时超声影像系统及其使用方法
CN111789634B (zh) * 2020-06-09 2021-04-20 浙江大学 一种人体脊柱自动化超声扫查的路径规划方法
CN111784664B (zh) * 2020-06-30 2021-07-20 广州柏视医疗科技有限公司 肿瘤淋巴结分布图谱生成方法
CN113902654A (zh) 2020-07-06 2022-01-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
CN113516614A (zh) * 2020-07-06 2021-10-19 阿里巴巴集团控股有限公司 脊柱影像的处理方法、模型训练方法、装置及存储介质
CN111938819A (zh) * 2020-08-15 2020-11-17 山东大学齐鲁医院 一种脊柱外科微创手术导航系统
CN112085833B (zh) * 2020-08-24 2022-09-06 南昌大学第一附属医院 一种锥束ct与影像融合结合的颈椎在体三维运动的分析方法
JP2024506686A (ja) * 2021-02-17 2024-02-14 ボストン サイエンティフィック サイムド，インコーポレイテッド 画像処理システムおよびそれを使用する方法
CN113469935B (zh) * 2021-04-15 2023-06-13 卡本(深圳)医疗器械有限公司 一种基于ct图像的髂后上棘自动检测与定位方法
WO2022226126A1 (en) * 2021-04-21 2022-10-27 Polarisar, Inc. Surgical navigation systems and methods including matching of model to anatomy within boundaries
CN113724301B (zh) * 2021-04-23 2023-09-08 天津师范大学 一种基于互卷积的生物组织透射图像配准系统
CN113813005B (zh) * 2021-08-20 2023-01-24 中国科学院深圳先进技术研究院 一种用于切除脊柱椎板的机器人
CN114128741B (zh) * 2021-09-16 2024-02-13 广东春浩食品集团有限公司 三点式心脑麻电机智能操控平台
CN114451992B (zh) * 2021-10-11 2023-08-15 佗道医疗科技有限公司 一种术后置钉精度评价方法
CN114224485B (zh) * 2021-11-01 2024-03-26 中国医学科学院北京协和医院 用于开放式脊柱椎板减压手术导航系统及控制方法
CN114698595A (zh) * 2022-02-15 2022-07-05 浙江大学 肿瘤原位瘤动物模型的造模方法及肿瘤原位瘤动物模型
CN114903518A (zh) * 2022-04-14 2022-08-16 深圳市第二人民医院(深圳市转化医学研究院) 一种基于三维超声的智能化脊柱侧弯Cobb角测量方法
CN115393338B (zh) * 2022-09-02 2024-09-27 复旦大学附属中山医院 一种生物组织识别模型构建方法、装置及电子设备
CN117237268A (zh) * 2022-11-18 2023-12-15 杭州海康慧影科技有限公司 一种超声图像处理方法、装置、电子设备及存储介质
CN116492052B (zh) * 2023-04-24 2024-04-23 中科智博(珠海)科技有限公司 一种基于混合现实脊柱三维可视化手术导航系统
CN116570370B (zh) * 2023-04-24 2024-01-30 中山大学附属第五医院 一种脊柱针刀穿刺导航系统
CN116549800A (zh) * 2023-06-27 2023-08-08 中国人民解放军海军第九七一医院 一种椎管内麻醉实时三维模拟图像导航系统及方法
CN116563379B (zh) * 2023-07-06 2023-09-29 湖南卓世创思科技有限公司 一种基于模型融合的标志物定位方法、装置及系统
CN118161262A (zh) * 2024-02-01 2024-06-11 首都医科大学附属北京朝阳医院 脊柱微创手术机器人的辅助定位方法
CN117853570B (zh) * 2024-03-08 2024-05-10 科普云医疗软件(深圳)有限公司 一种麻醉穿刺辅助定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102538A (ja) * 1998-09-29 2000-04-11 Koninkl Philips Electronics Nv 骨性構造の医用超音波画像の処理方法、並びにコンピュ―タ支援手術のための方法及び装置
US20150223777A1 (en) * 2014-02-11 2015-08-13 The University Of British Columbia Methods of, and apparatuses for, producing augmented images of a spine
WO2016178579A1 (en) * 2015-05-06 2016-11-10 Erasmus University Medical Center Rotterdam A spinal navigation method, a spinal navigation system and a computer program product
JP2016540604A (ja) * 2013-12-20 2016-12-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 刺入器具を追跡するシステム及び方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8771188B2 (en) * 2007-06-20 2014-07-08 Perception Raisonnement Action En Medecine Ultrasonic bone motion tracking system
US8900146B2 (en) * 2009-07-27 2014-12-02 The Hong Kong Polytechnic University Three-dimensional (3D) ultrasound imaging system for assessing scoliosis
US9675321B2 (en) * 2012-04-30 2017-06-13 Christopher Schlenger Ultrasonographic systems and methods for examining and treating spinal conditions
CN103417243B (zh) * 2012-05-24 2015-05-27 中慧医学成像有限公司 一种三维超声成像装置、系统和方法
EP3122281B1 (en) 2014-03-28 2022-07-20 Intuitive Surgical Operations, Inc. Quantitative three-dimensional imaging and 3d modeling of surgical implants
EP3443925B1 (en) * 2014-05-14 2021-02-24 Stryker European Holdings I, LLC Processor arrangement for tracking the position of a work target
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
EP3184071A1 (de) * 2015-12-22 2017-06-28 SpineMind AG Vorrichtung für die intraoperative bildgesteuerte navigation bei chirurgischen eingriffen im bereich der wirbelsäule und im daran angrenzenden thorax-, becken- oder kopfbereich
CN114376588A (zh) * 2016-03-13 2022-04-22 乌泽医疗有限公司 用于与骨骼手术一起使用的设备及方法
CN106960439B (zh) * 2017-03-28 2018-10-26 安徽医科大学第二附属医院 一种脊椎骨识别装置及方法
CN107595387B (zh) * 2017-07-28 2020-08-07 浙江大学 一种基于超声拓片技术的脊椎图像生成系统以及脊柱手术导航定位系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102538A (ja) * 1998-09-29 2000-04-11 Koninkl Philips Electronics Nv 骨性構造の医用超音波画像の処理方法、並びにコンピュ―タ支援手術のための方法及び装置
JP2016540604A (ja) * 2013-12-20 2016-12-28 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 刺入器具を追跡するシステム及び方法
US20150223777A1 (en) * 2014-02-11 2015-08-13 The University Of British Columbia Methods of, and apparatuses for, producing augmented images of a spine
WO2016178579A1 (en) * 2015-05-06 2016-11-10 Erasmus University Medical Center Rotterdam A spinal navigation method, a spinal navigation system and a computer program product

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581606A (zh) * 2020-12-25 2021-03-30 江苏集萃复合材料装备研究所有限公司 一种脊柱椎弓根螺钉植入手术导航方法
CN112581606B (zh) * 2020-12-25 2024-03-12 江苏集萃复合材料装备研究所有限公司 一种脊柱椎弓根螺钉植入手术导航方法

Also Published As

Publication number Publication date
CN107595387A (zh) 2018-01-19
JP7162793B2 (ja) 2022-10-31
US20200178937A1 (en) 2020-06-11
WO2019020048A1 (zh) 2019-01-31
CN107595387B (zh) 2020-08-07
US11304680B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
JP7162793B2 (ja) 超音波拓本技術に基づく脊椎画像生成システム及び脊柱手術用のナビゲーション・位置確認システム
US9317661B2 (en) Automatic implant detection from image artifacts
EP3393391B1 (de) Vorrichtung für die intraoperative bildgesteuerte navigation bei chirurgischen eingriffen im bereich der wirbelsäule und im daran angrenzenden thorax-, becken- oder kopfbereich
US20220183760A1 (en) Systems and methods for generating a three-dimensional model of a joint from two-dimensional images
Nagpal et al. A multi-vertebrae CT to US registration of the lumbar spine in clinical data
CN116492052B (zh) 一种基于混合现实脊柱三维可视化手术导航系统
Chen et al. Ultrasound guided spine needle insertion
CN116570370B (zh) 一种脊柱针刀穿刺导航系统
CN113907879A (zh) 一种个性化颈椎内镜定位方法及系统
Hacihaliloglu 3D ultrasound for orthopedic interventions
Behnami et al. Model-based registration of preprocedure MR and intraprocedure US of the lumbar spine
Khallaghi et al. Biomechanically constrained groupwise statistical shape model to ultrasound registration of the lumbar spine
US11406471B1 (en) Hand-held stereovision system for image updating in surgery
Gill et al. Biomechanically constrained groupwise US to CT registration of the lumbar spine
Muratore et al. Vertebral surface extraction from ultrasound images for technology-guided therapy
Nagpal et al. CT to US registration of the lumbar spine: a clinical feasibility study
CN115426938A (zh) 临床诊断和治疗计划系统及使用方法
Hohlmann et al. The interleaved partial active shape model (IPASM) search algorithm–towards 3D ultrasound-based bone surface reconstruction
Penney et al. Cadaver validation of intensity-based ultrasound to CT registration
KR102367095B1 (ko) 타겟 뼈의 2d 이미지가 반영된 3d 뼈 모형 제조 방법 및 상기 방법에 따라 제조된 3d 뼈 모형
CN110428483B (zh) 一种图像处理方法及计算设备
Tranchon et al. Preoperative MRI Whole-Vertebrae Segmentation in Patients with Severe Adolescent Idiopathic Scoliosis
Kryvanos Computer assisted surgery for fracture reduction and deformity correction of the pelvis and long bones
Lai et al. Computer-Aided Preoperative Planning and Virtual Simulation in Orthopedic
Purnama et al. Imaging the Whole Spine using a Freehand 3D Ultrasound System

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200311

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200311

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200612

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210310

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210310

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210310

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210325

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210330

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20210528

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20210601

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20210706

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220809

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220906

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220906

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220908

R150 Certificate of patent or registration of utility model

Ref document number: 7162793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150