CN101385036A - 在医疗成像系统所提供的图像中自动检测手术器具 - Google Patents

在医疗成像系统所提供的图像中自动检测手术器具 Download PDF

Info

Publication number
CN101385036A
CN101385036A CNA2007800059395A CN200780005939A CN101385036A CN 101385036 A CN101385036 A CN 101385036A CN A2007800059395 A CNA2007800059395 A CN A2007800059395A CN 200780005939 A CN200780005939 A CN 200780005939A CN 101385036 A CN101385036 A CN 101385036A
Authority
CN
China
Prior art keywords
pixel
otch
projection
image
surgical instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800059395A
Other languages
English (en)
Inventor
菲利浦·桑甘
桑德琳·佛伦斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Universite Joseph Fourier Grenoble 1
Original Assignee
Universite Joseph Fourier Grenoble 1
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universite Joseph Fourier Grenoble 1 filed Critical Universite Joseph Fourier Grenoble 1
Publication of CN101385036A publication Critical patent/CN101385036A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30021Catheter; Guide wire
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/034Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及一种在图像中检测手术器具的设备,所述手术器具通过在患者皮肤(14)或者其一个器官内形成的切口。该设备包括:用于存储手术器具的形状参数的装置(28);确定切口在图像平面上投影位置的装置(28);和基于形状参数和切口投影的位置确定手术器具在图像上投影的点和/或直线特征的装置(28)。

Description

在医疗成像系统所提供的图像中自动检测手术器具
技术领域
本发明涉及一种计算机辅助外科手术,其中医师借助医疗成像系统所提供的图像进行手术。本发明更特别是涉及一种在医疗成像系统所提供的图像中自动检测手术器具。
背景技术
在腹腔镜检查外科手术中,使用二氧化碳对患者的腹腔充气。在腹腔壁上进行小切口,并将套管针(trocart)置入每个切口。切口数取决于设想手术的类型并且通常为2个至5个。每个套管针对应其中手术器具可能滑动的紧密中空管。内窥镜和手术器具通过套管针被置入腹腔。内窥镜所提供的图像由照相机接收并显示在显示屏上。在外科手术期间,助手根据医师给出的指令移动内窥镜。通过连接至内窥镜的照相机所提供的视频图像,医师根据待进行的手术在腹腔中操作手术器具。
腹腔镜检查外科手术的优点在于因为所进行的切口较小所以对患者仅仅有非常小的创伤。但是,医师不能直接看到位于腹腔中的手术器具的端部,而是仅仅具有被连至内窥镜的照相机所提供的视频图像以进行手术。因此腹腔镜检查外科手术要求医师非常有经验。
可采用定位系统而非助手来移动内窥镜。该系统的实例为ComputerMotion Company以商标Aesop出售的定位工具或者Armstrong HealthcareComapany以商标EndoAssist出售的定位系统。可由医师通过人/机界面例如踏板、声音控制系统、或者基于对医师头部动作的检测的控制系统控制该定位系统。例如,遵循声音命令例如“左”、“右”、“上”、“下”,定位系统可将腹腔壁中的内窥镜的端部移至左边、右边、上方或者下方。
该定位系统的缺点在于通常仅仅可获得对应于内窥镜简单移动的基本控制。医师在操作手术器具的同时然后必须向内窥镜定位系统提供频繁的移动命令例如跟随专用手术器具的移动,这一点是一个主要的约束。将期望能够以更复杂的指令控制内窥镜定位系统的移动。例如有利的是,医师能够指定专业的手术器具,这一点将使得内窥镜向指定器具自动移动。然后医师将不再必须为内窥镜定位系统频繁提供新的移动命令并且可自由地完全投入到手术中。为执行这样的移动命令,一种可能是自动确定手术器具在被连至内窥镜的照相机所提供的视频图像上的位置。然后可基于手术器具被确定的位置以及例如基于医师所给出的初始指令自动控制内窥镜定位系统。
Wei等人在IEEE Engineering in Medicine and Biology第40-45页,1997上的标题为“Real-Time Visual Servoing for Laparoscopic Surgery.Controlling Robot with Color Image Segmentation”的出版物描述了一种基于手术器具在其中器具带有示踪燃料的视频图像中的确定位置控制内窥镜定位系统位移的方法。示踪燃料的检测允许确定器具在视频图像上的位置。这种方法的不足在于有必要更改手术器具以将示踪燃料施加在那里,这一点明显增加了成本。另外,一旦相关的示踪燃料在视频图像上看不到则不可能进行器具检测。
发明内容
本发明旨在克服全部或者部分上述缺点。
更特别是,本发明旨在提供一种用于在医疗成像系统所提供的图像上检测手术器具的方法和设备,该系统不需要更改在外科手术中通常使用的手术器具。
根据本发明的另一个目标,手术器具被实时检测。
为实现这些目标,本发明提供了一种在图像中检测手术器具的设备,所述手术器具通过在患者皮肤或者其一个器官内形成的切口,该设备包括用于存储手术器具的形状参数的装置;确定切口在图像平面上投影位置的装置;和基于形状参数和切口投影的位置确定手术器具在图像上投影的点和/或直线特征的装置。
根据本发明的实施例,该设备包括采集切口第一和第二图像的装置;确定切口在第一图像上投影点的第一位置以及所述点在第二图像上的第二位置的装置;和从第一和第二位置确定所述点相对于患者的位置的装置。
根据本发明的实施例,手术器具具有细长形状,以及器具在图像平面中对应直线的投影的横向边沿,用于确定特征点和/或直线的装置能够确定图像的一组像素从而对该组像素中的每个像素取决于像素颜色的函数梯度大于阈值;并且能够选择每个跨过该像素并且垂直于该梯度的直线处于图像平面中切口投影的高度的像素。
根据本发明的实施例,用于确定特征点和/或直线的装置能够从所选择的像素确定手术器具在图像上投影的对称轴;确定图像上属于器具投影的对称轴的像素;以及确定对应器具末端的对称轴的像素。
根据本发明的实施例,确定特征点和/或直线的装置能够从所选择的像素确定该组像素从而对该组像素中的每对像素,该对的垂直二等分线处于图像平面中切口的投影高度;将垂直二等分线划分为相邻的垂直二等分线组;以及从包括最大数量垂直二等分线的垂直二等分线组确定对称轴。
根据本发明的实施例,确定特征点和/或直线的装置能够将颜色等级从第一或第二颜色等级分配至对称轴的每个像素;选择包括最大数量第一颜色等级相邻像素的第一组相邻像素和包括最大数量第二颜色等级相邻像素的第二组相邻像素;和从第一或者第二组像素选择最接近图像平面中切口投影的像素组。
本发明还提供一种控制采集患者图像的装置的定位系统的设备,在该患者体内至少形成一个允许器具通过的切口,该控制设备包括提供用户所发出指令的装置;例如前面所描述的检测设备;和基于检测设备所提供的手术器具的点和/或直线特征以及由提供指令的装置所提供的指令而向定位系统提供控制信号的装置。
根据本发明的实施例,图像采集装置包括内窥镜和照相机。
本发明还提供一种检测图像中手术器具的方法,所述器具经过在患者皮肤或者其一个器官中所形成的切口,该方法包括如下步骤:存储手术器具的形状参数;确定切口投影在图像平面中的位置;基于形状参数和切口投影的位置确定图像上手术器具投影的点和/或直线特征。
根据本发明的实施例,手术器具具有细长形状,以及器具在图像平面中对应直线的投影的横向边沿,该方法还包括如下步骤:确定图像的一组像素从而对该组像素中的每个像素取决于像素颜色的函数梯度大于阈值;和选择每个跨过该像素并且垂直于该梯度的直线处于图像平面中切口投影的高度的像素。
附图说明
将在下面对特别实例的非限制性描述中结合附图详细讨论本发明的前述和其它目标、特征和优点,其中:
图1示意性示出了用于控制实施根据本发明的手术器具检测方法的内窥镜定位系统的系统的实例;
图2示意性示出了图1定位系统的实施例;
图3描述了空间点的位置和该点在照相机图像平面上投影之间的关系;
图4示出了根据本发明用于检测手术器具的方法步骤的实例;以及
图5示意性示出了根据本发明的手术器具检测方法的概念。
具体实施方式
为简便起见,在不同的附图中相同的元件以相同的附图标记指代。
本发明基于如下事实:对某些外科手术而言,例如腹腔镜检查,将手术材料置于脊椎骨高度等等,手术器具通过小切口置入患者体内。因此本发明提供了在医疗成像系统所提供的图像上对该手术器具的检测,同时考虑到该器具必要地经过可在先前确定位置的切口以及已知器具的形状。这一点使得图像上的器具检测放松从而可自动且实时地进行检测。
图1示出了用于控制定位内窥镜12、实施根据本发明的手术器具检测方法的系统10的设备5的实施例。对于内窥镜检查,定位系统10被置于腹腔已经被充入气体的患者的腹部14。定位系统10支撑容纳内窥镜12并经切口16刺入腹腔的套管针15。照相机17被连至腹腔内部的内窥镜12的端部。定位系统10能够移动套管针15以及具有多个自由度的内窥镜12,例如一个移动自由度和两个旋转自由度。
通过照相机17获得的图像被传送至能够在显示屏22上显示视频图像的图像采集系统20。采集系统20经连接装置26例如S-视频线缆被连至采集板24。采集板24经连接装置29例如带电电缆(IEEE1394线缆)被连至处理单元28例如计算机。采集板24预处理被传送至处理单元28的视频图像。如下文将更详细地描述,处理单元28能够分析用于检测图像上是否存在手术器具的视频图像。
处理单元28另外能够经连接装置32向控制箱30发送移动命令。控制箱30能够将经连接装置32发送的移动命令转化为定位系统10的控制信号并且经过连接装置34将控制信号发送至定位系统10。医师可经踏板36激活控制箱30或者使其失效。另外,医师可经可包括声音控制系统和/或检测医师头部运动的系统的人/机界面38向处理单元28发送指令。
图2示出了定位系统10更加详细的实施例。其例如为在授予PRAXIM的出版物WO03/094759中所描述的定位系统。内窥镜12具有轴Ω大约为40厘米长、直径为几厘米的圆筒管。轴Ω例如对应内窥镜12和照相机17的光轴。图2中没有示出照相机17。
定位系统10包括具有围绕切口16环形平面中部41的基本上平坦的底座40,四个臂42从中部延伸。定位系统10可被连至臂42的带连接。底座40还可被粘至患者腹部14。固定环43被设置在环形底座41上。固定环43可为具有底座41的立体。基本上垂直于和在切口16高度与腹部14相切的平面的轴(0z)的移动环44可被旋转组装在轴(0z)周围的固定环43。固定环43在其外部侧面上具有未示出的周齿。
镫形物46被沿着基本上垂直于轴(Oz)的轴旋转组装在移动环44上,并且包括在位于切口16高度与腹部14相切的平面中。套管针15可通过例如旋转在镫形物46上的固定夹48固定与镫形物46上,这一点可使得简单而快速地连接和分离套管针15以及镫形物46。套管针15包括位于和中部41相对的固定夹48的侧面上的突起50。突起50可对应手柄、密封阀、连接器等等。移动环44和中心环形部分的内径被选择为能够在不移动套管针15的手术中取回系统10或者能够在不移动系统10的情况下从患者腹部取回套管针15。
期望相对于固定环43旋转移动环44的第一电动机56可经板58被固定地组装为移动环44。第一电动机56被连至图2中没有示出的控制箱30。由第一电动机56的轴驱动、在图2中没有示出的齿形轮与固定环43的齿啮合。第一电动机56对齿形轮的旋转引起移动环44相对于轴(Oz)周围的固定环43旋转。
第二电动机60经板62被连至镫形物46,并位于和固定夹48相对的镫形物46侧边上。沿镫形物46的旋转轴设置在未在图2中显示的第二电动机60的轴。板62包括未图2中显示的使第二电动机60的轴可通过的开口。第二电动机60被连至控制箱30。驱动元件64包括其端部被连至移动环44的直线部分68连接的圆拱66。驱动元件64基本上在垂直于包括移动环44的平面的平面上延伸。圆拱66的轴对应镫形物46的旋转轴。正对直线部分68的圆拱66的侧壁包括齿(未示出)。第二电动机60的轴支承和圆拱66的齿协作的齿轮(未示出)从而当由第二电动机60旋转齿轮时相对于移动环44旋转驱动镫形物46。
内窥镜12的自由端包括圆柱止档70,针72从那里突起。压缩环74的一端处于圆柱止档70上、另一端处于套管针15的突起50的另一端。第三电动机76经板78被连至和第二电动机60相邻的镫形物46。板78包括允许第三电动机76的未在图2中显示的轴通过的开口80。第三电动机76的轴沿着镫形物46的旋转轴设置。第三电动机76被连至控制箱30。曲柄82被设置在第三电动机76的柄的自由端。在曲柄82的外表面上形成螺纹(未示出)。电缆84在其端部被连至针72和曲柄82并且缠绕在柄82周围。当第三电动机76旋转柄82时,电缆84缠绕在柄82周围并使得柱状止档70距离套管针15更近。内窥镜12然后沿着轴Ω在套管针15中滑动并压缩弹簧74。当不再致动第三电动机76时,弹簧74膨胀并使得内窥镜12回到静止位置。可提供在手术开始前由医师定位的支承臂以支承定位系统10并避免定位系统10的所有重量施加在患者上。
前面描述的定位系统10使得内窥镜12基于控制箱提供给电动机56、60、76的控制信号根据两个旋转自由度和一个移动自由度移动内窥镜12。
其余套管针90、91被设置在在患者腹腔壁14中形成的小尺寸切口92、93的高度。其余套管针90、91使得可将图2所部分示出的手术器具94、95置于腹腔中。
在下面的描述中,称RO(O,x,y,z)为例如正交坐标系,其原点O例如对应定位系统10的“固定点”,即移动环44的旋转轴和镫形物46的旋转轴之间的交点。轴(Ox)和(Oy)对应于垂直于轴(Oz)的两个垂直的轴,轴(Oz)垂直于切口60高度的腹腔壁14。在外科手术期间坐标系RO被认为相对于患者固定。在手术中照相机17和内窥镜12互相相对固定。称C为相对于照相机17的固定点,其位于轴Ω上距离点0的距r处。角度0对应轴n和轴(Oz)之间的角,并且角度对应平面(0xy)中轴Q的投影和轴(Ox)之间的角度。点c在坐标系RO中的坐标为(rsinθ 
Figure A200780005939D00122
rsin θ 
Figure A200780005939D00123
,rcos θ)。
将RC
Figure A200780005939D00124
命名为关于点C的球面坐标系。坐标系RC为相对于照相机17的固定坐标系。注意(x,Y,z)为在坐标系中表示的任意点P的坐标,(1,m,n)为在坐标系RC中表示的点P的坐标。在外科手术之前,校正定位系统10的步骤包括从坐标(x,y,z)确定提供点P的坐标(1,m,n)的转换阵列以及处理单元28向控制箱30提供的移动命令与参数γ、θ、和φ的误差之间的相关性。在外科手术中,处理单元28然后能够在任意时间基于提供给控制箱30的移动命令确定坐标系RC相对于坐标系RO的位置。应当清楚的是可从先前描述的内容不同地定义坐标系RO和RC。唯一的条件为能够在手术期间将坐标系RO看作相对于患者是固定的、能够在手术期间将坐标系RC看作是固定的、以及能够在任意时间确定坐标系RC相对于坐标系RO的位置。
在图3中,坐标系RO和RC被示意性示出为具有位于内窥镜12的光轴Ω上的源点O和C。照相机17被当作根据针孔照相机模型工作。例如Olivier Faugeras在系列:Artificial Intelligence,the MIT Press,CambridgeMassachusetts,ISBN 0-262-06158-9(第三章)中的标题为“ThreeDimensional Computer Vision-A Geometric Viewpoint”的著作中描述了这样的照相机模型。照相机17然后可由投影中心F和图像平面PI表示。图像平面PI对应其中形成照相机17所获得并传送至采集系统20的图像的平面。图像平面PI和投影中心F可相对于坐标系RC固定。空间上的任意点P在图像平面PI中投影形成点I。两维坐标系RO
Figure A200780005939D00131
与图像平面PI相关,其中O′例如对应图像平面PI在光轴Ω上的点,并且坐标系RO′中点I的坐标为(u,v)。
在外科手术之前,进行校准照相机17的步骤。该步骤包括定义转换阵列,该阵列基于以坐标系RC表示的点P的坐标(l,m,n)提供在坐标系RO′中所表示点I的坐标(u,v)。根据针孔模型,点I对应图像平面P和经过点P与投影中心F的直线的交叉点。从点F的坐标和以坐标系RC表示的图像平面PI的等式获得转换阵列,该坐标和等式取决于所使用照相机17的规格。可采用其它照相机模型。
在校准定位系统10和照相机17的步骤之后,处理单元28可对具有固定坐标系RO中的已经在前面确定的并且存储于处理单元28中的坐标(X,Y,Z)的点P确定作为图像平面PI中点P投影的点I的坐标(u,v),而不论照相机17在坐标系RO中的位置。
图4描述了根据本发明的用于在照相机17所提供的图像上检测手术器具、由处理单元28进行的方法实例的步骤。
假定医师意见在患者腹腔壁14中进行了切口16、92、93,将套管针15、90、91置于相应的切口中、将内窥镜12置于套管针15中并且将定位系统10设置在患者的腹腔壁14上。另外,完成了定位系统10和照相机17的校准步骤。另外,对每个切口-器具对标识例如号码已经被存储在除了单元28中。最后,假定为柱形的每个器具94、95的半径被存储在处理单元28中。
在步骤100,确定坐标系RO上的切口92、93的位置。对每个切口92、93,在坐标系RO中确定基本上位于切口“中心”的点或者切口点的位置。可通过任何方法确定切口位置。例如,对每个切口92、93,医师可命令移动照相机17以获得照相机17不同位置上的切口92、93的两帧图像。对每帧所获得的图像,医师可经界面38向处理单元28表示插入点投影在屏幕22所显示图像上的位置,即表示插入点在坐标系RO'中的投影位置。例如,医师可将显示在屏幕22上的标签移至插入点的投影位置。基于插入点在两帧不同图像上的投影位置,处理单元28可确定插入点在坐标系RO中的位置。可根据在标题为“Reconstruction d′une arborescence spatiale àpartir d′un nombre minimal de projections: application à l′angiographienumérisée des structures vasculaires”的出版物,即Eric Coste关于productics,automatic control engineering,and industrial data processing of LilleUniversity of Science and Technologies(1996)的博士论文特别是第1章第III部分和附录4中所描述的方法实现这一点。对每个切口92、93重复步骤100。先前描述的确定插入点的方法特别有利,这是因为其在外科手术期间不需要通常使用的其它仪器。根据另一种插入点确定方法,可经位于跟踪系统所提供的坐标系RO的触角获得每个插入点在坐标系RO中的位置。实际的外科手术然后开始并在步骤102进行该方法。
在步骤102,处理单元28经采集系统24接收照相机17所提供的图像。
图5示意性示出了图像106例如显示在屏幕22上的图像。连续的线106对应照相机17所提供的图像的物理界限。图像106因此对应照相机17的图像平面PI的一部分。每帧图像由像素阵列形成。例如,像素Pix被示出为图像106的方向部分。该方法在步骤104进行。
在步骤104,处理单元28一个所搜索器具的插入点或者多个所搜索器具的插入点在图像平面PI中的投影位置。在图5中,点O1和O2对应关于切口92、93的插入点在平面PI中的投影位置,并且将在下文被称为投影的插入点。在本实例中,投影的插入点O1和O2处于照相机17所提供的图像之外,并且在图像106中不可见。对每个投影的插入点O1和O2,处理单元28确定其中心对应点O1和O2并且半径R1、R2取决于所考虑的点O1和O2的圆C1和C2。例如,如果该器具平行于图像平面PI,则半径R1、R2基本上对应器具94、95关于所考虑的投影插入点的表观半径。该方法在步骤108进行。
在步骤108,处理单元28对图像106的每个像素确定该像素是否可能属于手术器具94、95的投影轮廓。为此,本发明基于如下事实,每个手术器具94、95有必要涉及切口92、93以及每个手术器具94、95的形状已知。在本实施例中,认为每个柱形器具94、95具有长圆柱形。
处理单元28根据梯度方法确定通过分割而出现于图像中的轮廓。在Masson,1995,ISBN:2-225-84923-4中标题为“Analyse d′images:filtrageet segmentation”的著作中描述了灰度级图像的梯度方法,该著作是J.-P.Cocquerez和S.Phillip,与作者Ph.Bolon、J.-M.Chassery、J.-P.Cocquerez、D.Demigny、C.Graffigne、A.Montanvery、S.Phillip、R.Zéboudj和J.Zérubia的共同著作。对于灰度级图像,将F称作将像素灰度级位置(u,v)的每个像素发生联系的函数,并对每个图像像素获得在位置(u,v)(像素位置)垂直于轮廓、并且轮廓“尖”时标准更高的梯度向量
Figure A200780005939D00161
(F(u,v))。对于彩色图像,可将彩色图像分解为灰度级三帧图像(红色为图像R、绿色为图像G、以及蓝色为图像B)。对坐标(u,v)的每个像素,可定义分别与图像R、图像G和图像B相关的三个梯度向量
Figure A200780005939D00162
(R(u,v))、
Figure A200780005939D00163
(G(u,v))、
Figure A200780005939D00164
(B(u,v))。像素梯度
Figure A200780005939D00165
(F(u,v))(或者(F)然后被定义为三个梯度向量
Figure A200780005939D00167
(R(u,v))、(G(u,v))、
Figure A200780005939D00169
(B(u,v))的最大值。处理单元28仅仅考虑梯度
Figure A200780005939D001610
(F)值大于确定的阈值的图像106的像素。这样的像素可能对于两个图像目标106例如器官、器具等等之间的转换。例如,图5中示出了和像素Pix相关的梯度向量
Figure A200780005939D001611
(F)。
对于该像素,处理单元28确定经过像素并且垂直于梯度
Figure A200780005939D001612
(F)的直线是否切割其中一个圆C1、C2。如果满足该条件,则像素可能属于其中一个手术器具94、95的投影边沿并且在下面被称为潜在的像素。前面的条件转换为如下事实:所搜索的手术器具94、95具有柱形,即器具在图像106上的投影边沿必须对应直线,并且手术器具94、95经过切口92、93,即器具的投影边沿必须通过投影的插入点O1、O2。在图5的实例中,垂直于像素Pix的梯度
Figure A200780005939D001613
(F)的直线D切割圆C2。处理单元28在该方法的步骤从那里推出像素Pix可能属于和投影插入点O2相关的手术器具的投影边沿。最后获得一组潜在像素。单元28然后进行各种处理以减小潜在的像素数。例如,可消除被与其它潜在像素隔离并且明显不属于手术器具投影边沿的潜在像素。在步骤108结束时,获得被称为每个都粗略地为直线细长形状的候选像素的较密潜在像素集。
在步骤110,处理单元28确定每个器具94、95在图像106上投影的对称轴M1、M2。实际上,因为该器具为柱形,所以器具的投影边沿对应两条直线D1、D1′、D2、D2′,其因此具有对称轴。应当注意的是器具投影的对称轴M1、M2除了某些特殊情况以外不与器具对称轴的投影对应,这是因为中心投影不会保持距离之间的比例。器具投影的对称轴M1、M2因此不一定经过和器具相关的投影插入点O1、O2。对每个候选像素对,处理单元28确定和后续像素对相关的垂直二等分线是否切削其中一个圆C1、C2。如果如此,则这一点意味着被称为候选垂直二等分线的垂直二等分线可能对应对称轴。处理单元28然后基于例如在下面著作中所描述的Hough方法执行分类方法,即Richard O.和Peter E.Hart在Communications of theACM,Vol.15(1),pp.11-15,1972中的标题为“Use of the HoughTransformation To Detect Lines and Curves in Pictures”的著作。由参数对(ρ,α)定义每条和投影插入点例如点O1相关的候选二等分线,其中ρ为将候选的垂直二等分线与投影的插入点O1隔开的距离,α为候选的垂直二等分线与优先方向例如直线(O1,A200780005939D0017155716QIETU.GIF)之间的角度。对于指定的候选垂直二等分线,ρ可在区间[0,R1]内变化,α可在区间[0,2π]内变化。区间[0,R1]被划分为相邻的子区间[ai,ai+1],其中i为在1和N之间变化的整数,a1=0,aN+1=R1,且ai<ai+1。相似地,区间[0,2π]被划分为相邻的子区间[bj,bj+1],其中j为在1和M之间变化的整数,b1=0,bM+1=2π,并且bj<bj+1。然后定义具有N行、M列,其指数i与子区间[ai,ai+1]相关,其指数j列与子区间[bj,bj+1]相关的阵列T。阵列的每个元素Ti,j对应初始设置为0的计数器。对每个候选的二等分线,和包括与所述候选二等分线相关的参数(ρ,α)的子区间[ai,ai+1]以及[bj,bj+1]相关的计数器累加。当考虑所有的候选垂直二等分线时,处理单元28确定最高计数器TiMAX,jMAX的指数iMAX和jMAX。和投影插入点O1相关的手术器具的对称轴然后可对应由ρ=(aiMAX+aiMAX+1)/2和α=(bjMAX+bjMAX+1)/2限定的直线。
处理单元28还存储参与每个计数器Ti,j的累加的像素对。可基于和计数器TiMAX,jMAX相关的像素对定义对应和投影插入点O1相关的手术器具的投影边沿的直线D1、D1′。为增加像素数,处理单元28可对每个与计数器TiMAX,jMAX相关的像素添加对应关于对称轴的像素对称性的新像素。器具投影的第一边沿然后可对应通过直线回归从位于对称轴一侧的像素获得的直线D1,并且器具投影的第二边沿任何可对应通过直线回归从位于对称轴另一侧的像素获得的直线D1′。可对医师所搜索的所有器具重复该方法然后在步骤112进行该方法。
在步骤112,对每个对称轴M1、M2,处理单元28确定对称轴的哪些像素属于器具。为此,可采用基于Otsu’s方法的像素选择方法,该方法包括将两个颜色级的颜色级分配至每个像素。Otsu’s方法例如N.Otsu的在IEEE Trans.System,Man and Cybernetics,Vol.9,pp.62-66,1979中的标题为“A threshold selection method from gray level histograms”的出版物中有所描述。例如,处理单元28对所有的对称轴像素根据取决于对函数H编码的精度的等级或者颜色级数确定表示像素颜色的函数H的直方图。然后根据Otsu’s方法定义阈值。第一颜色级然后被分配至函数H小于阈值的像素,例如直方图中的最低颜色级,并且第二颜色级被分配至函数H大于阈值的像素,例如直方图中的最高颜色级。对称轴的像素然后分为第一或者第二颜色级的相邻像素组。对每个像素级,然后确定具有最大像素数的像素组。为确定对应手术器具的颜色级和对应图像背景的颜色级,认为在最接近于投影插入点O1的对称轴M1上的图像106的像素组必要地属于和投影插入点O1相关的器具。因此获得和器具相关的颜色级。可使得步骤112仅仅对照相机17所提供的第一图像进行。对于由照相机17随后提供的图像,可认为器具对应具有最大像素数并且和前面所确定器具的颜色级相关的像素组。该方法在步骤114进行。
在步骤114,处理单元28确定手术器具94、95在图像106上的投影末端或者器具的尖端S1、S2。尖端S1、S2对应和投影插入点O1、O2相对的器具相关的像素组末段。当如此确定的尖端S1、S2处于图像106的边沿上时,其实际上意味着器具的尖端在图像106上不可见。为更加精确地确定器具尖端的位置,有必要更详细地考虑器具尖端周围对称轴M1、M2的像素,以及施加颜色限制以有效确定其是否属于器具。在手术器具检测方法结束时,处理单元28因此对每个手术器具94、95确定对称轴M1、M2、边沿D1、D1′、D2、D2′和尖端S1、S2。该方法在步骤102执行对照相机17所提供的另一帧图像的处理。
本发明能够通过处理单元28实施复杂的移动命令以移动照相机17的定位系统10。例如,处理单元28可控制定位系统10移动内窥镜12直到专用手术器具94、95的尖端S1、S2处于照相机17所提供的图像106中心。为此,医师可通过声音控制系统38向处理单元28提供“集中于标识”类型的命令。处理单元28然后可检测出现于照相机17所提供图像上的器具。如果对应医师所提供标识的器具尖端处于图像中,则处理单元28控制定位系统10移动内窥镜12从而器具尖端处于器具尖端处于图像预定中心区域的高度。如果对应于医师所提供标识的器具处于图像上但是器具尖端在图像之外,则处理单元28能够控制定位系统10使得内窥镜12向器具尖端移动,这是因为和器具相关的插入点位置已知。如果对应医师所提供标识的器具不在图像上,则控制单元28可控制定位系统10以引导内窥镜12朝向和所搜索器具相关的插入点。该器具然后必须处于照相机17所提供的图像上并且如前所述集中于器具尖端。
另一个控制实例包括移动内窥镜12从而手术器具的尖端永久地处于照相机17所提供图像中心区域的高度。为此,医师可经过声音控制系统38向处理单元28提供“跟随标识”类型的命令。处理单元28然后如前所述控制定位系统10以使照相机17所提供图像集中于对应医师所提供标识的器具尖端。之后,对于每帧新的由处理单元28所接收的图像,如果必要则单元28控制定位系统10向后集中图像于器具尖端。
另一个控制实例包括在专用器具尖端的高度控制图像的“放大率”。为此,医师可经声音控制系统38向处理单元28提供“缩放标识”的命令。处理单元28然后如前所述控制定位系统10时照相机17所提供的图像对准于和医师所提供标识对应的器具的尖端。处理单元28然后可确定和在器具尖端所考虑的器具相关的边沿的直线D1、D1′、D2、D2′之间的距离并从此确定表示图像放大率的值。处理单元28然后可控制定位系统10移动内窥镜12以增大或者缩小该放大率从而实现预定的放大率或者医师所提供的放大率。根据一种变更,照相机17可包括缩放功能。处理单元28然后能够基于对直线D1、D1′、D2、D2′之间距离的检测而控制照相机17的缩放功能。
处理单元28对图像的处理持续期可从数十毫秒至数百毫秒。处理单元28然后可接收待在高频下处理的新图像。因此然后可实施执行根据本发明的手术器具检测方法。
因此本发明能够在外科手术期间放松医师,其不必系统控制内窥镜12的每次移动。实际上,前面所描述的控制使得医师能够集中注意力于外科手术,而处理单元28同时自动控制根据医师所发出原始命令的内窥镜12的移动。
当手术器具不是柱形时也可实施本发明。上述实施例容易适用于长形且在平面上投影具有直线边沿的器具。对圆锥形、棱形、锥体形等等同样如此。更一般地,甚至对形状更复杂的器具而言,可将器具的几何参数特征存储在处理单元28中。然后可根据每种手术器具的几何参数特征改变前述器具检测方法的步骤108至114。
当然,本发明可能具有对本领域技术人员而言能够进行的各种更改和变更。特别是,虽然已经对外科手术描述了本发明,其视频图像由连至内窥镜的照相机提供,但是本发明可适用于任何类型的由医疗成像系统所提供的任何类型的图像。例如对于超声波图像、荧光图像、或者扫描图像同样如此。另外,尽管对专用定位系统实例描述了本发明,但是其适用于任何类型的定位系统。

Claims (14)

1.一种在图像(106)中检测手术器具(94,95)的设备,所述手术器具通过在患者皮肤(14)或者其一个器官内形成的切口(92,93),该设备包括:
用于存储手术器具的形状参数的装置(28);
确定切口在图像平面(PI)上投影(O1、O2)位置的装置(28);和
基于形状参数和切口投影的位置,确定手术器具在图像上投影的点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)特征的装置(28)。
2.如权利要求1所述的设备,包括:
采集图像的装置(12、17、20、24);以及
校准所述采集装置的装置。
3.如权利要求1所述的设备,包括:
确定切口(92,93)相对于患者的位置的装置(28);和
基于切口(92,93)相对于患者的位置确定切口投影(O1、O2)在图像平面(PI)中的位置的装置(28)。
4.如权利要求1所述的设备,包括:
采集(12,17,20,24)切口(94,95)的第一和第二图像的装置;
确定切口在第一图像上投影点的第一位置以及所述点在第二图像上的第二位置的装置;和
基于第一和第二位置确定所述点相对于患者的位置的装置。
5.如权利要求1所述的设备,其中所述手术器具(94,95)具有细长形状,以及器具在图像平面(PI)中对应直线(D1、D1′、D2、D2′)的投影的横向边沿,用于确定特征点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)的装置(28)能够:
确定图像(106)的一组像素(Pix),对于该组像素中的每个像素,取决于像素颜色的函数梯度((F))大于阈值;并且
选择每个像素,跨过该像素并且垂直于该梯度的直线(D)处于图像平面中切口(92,93)投影(O1、O2)的高度。
6.如权利要求5所述的设备,其中用于确定特征点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)的装置(28)能够:
从所选择的像素确定手术器具(94,95)在图像(106)上投影的对称轴(M1,M2);
确定图像上属于器具投影的对称轴的像素;以及
确定对应器具(S1、S2)末端的对称轴的像素。
7.如权利要求6所述的设备,其中确定特征点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)的装置(28)能够:
从所选择的像素,确定该组像素从而对该组像素中的每对像素,该对像素的垂直二等分线处于图像平面(PI)中切口(92,93)的投影(O1、O2)高度;
将垂直二等分线划分为相邻的垂直二等分线组;以及
从包括最大数量的垂直二等分线的垂直二等分线组确定对称轴(M1、M2)。
8.如权利要求6所述的设备,其中确定特征点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)的装置(28)能够:
将颜色等级从第一或第二颜色等级分配至对称轴(M1、M2)的每个像素;
选择包括最大数量第一颜色等级相邻像素的第一组相邻像素和包括最大数量第二颜色等级相邻像素的第二组相邻像素;和
从第一或者第二组像素选择最接近图像平面(PI)中切口(92、93)投影(O1、O2)的像素组。
9.一种控制采集患者图像(106)的装置(12,17)的定位系统(10)的设备(5),在该患者体内至少形成一个允许器具(94、95)通过的切口(92、93),该控制设备包括:
提供由用户所发出指令的装置(36、38);
根据权利要求1至8任一项的检测设备(28);和
基于检测设备所提供的手术器具的点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)特征以及由提供指令的装置所提供的指令而向定位系统提供控制信号的装置(28、30)。
10.如权利要求9所述的控制设备,其中所述图像采集装置包括内窥镜(12)和照相机(17)。
11.一种检测图像(106)中手术器具(94、95)的方法,所述器具经过在患者皮肤(14)或者其一个器官中所形成的切口(92、93),该方法包括如下步骤:
存储手术器具的形状参数;
确定切口投影(O1、O2)在图像平面(PI)中的位置;和
基于形状参数和切口投影的位置确定图像上手术器具投影的点和/或直线(D1、D1′、D2、D2′、M1、M2、S1、S2)特征。
12.如权利要求11所述的方法,其中确定切口投影(O1、O2)在图像平面(PI)中的位置的步骤包括如下步骤:
确定切口(92、93)相对于患者的位置;以及
从切口(92、93)相对于患者的位置确定图像平面(PI)中切口的投影(O1、O2)的位置。
13.如权利要求11所述的方法,其中经图像采集装置(12、17、20、24)执行确定切口投影(O1、O2)在图像平面(PI)中的位置的步骤,该方法包括在先的采集装置校准步骤。
14.如权利要求11所述的方法,其中所述手术器具(94、95)具有细长形状,器具在图像平面(PI)中对应直线(D1、D1′、D2、D2′、M1、M2、S1、S2)的投影的横向边沿,该方法还包括如下步骤:
确定图像(106)的一组像素(Pix),从而对于该组像素中的每个像素,取决于像素颜色的函数梯度(
Figure A200780005939C00041
(F))大于阈值;和
选择每个像素,跨过该像素并且垂直于该梯度的直线(D)处于图像平面中切口(92、93)投影(O1、O2)的高度。
CNA2007800059395A 2006-02-20 2007-02-16 在医疗成像系统所提供的图像中自动检测手术器具 Pending CN101385036A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0650591 2006-02-20
FR0650591A FR2897703B1 (fr) 2006-02-20 2006-02-20 Detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale

Publications (1)

Publication Number Publication Date
CN101385036A true CN101385036A (zh) 2009-03-11

Family

ID=36940323

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800059395A Pending CN101385036A (zh) 2006-02-20 2007-02-16 在医疗成像系统所提供的图像中自动检测手术器具

Country Status (10)

Country Link
US (1) US8391571B2 (zh)
EP (1) EP1987473B1 (zh)
JP (1) JP2009527267A (zh)
KR (1) KR20080106282A (zh)
CN (1) CN101385036A (zh)
AT (1) ATE526646T1 (zh)
CA (1) CA2642913A1 (zh)
ES (1) ES2372705T3 (zh)
FR (1) FR2897703B1 (zh)
WO (1) WO2007096557A2 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104487977A (zh) * 2012-07-19 2015-04-01 皇家飞利浦有限公司 医学应用中的设备感测
CN110215339A (zh) * 2019-07-03 2019-09-10 中山大学 一种实现自动化无缝合角膜主切口的方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7794396B2 (en) * 2006-11-03 2010-09-14 Stryker Corporation System and method for the automated zooming of a surgical camera
FR2920086A1 (fr) 2007-08-24 2009-02-27 Univ Grenoble 1 Systeme et procede d'analyse pour une operation chirurgicale par endoscopie
KR101159469B1 (ko) * 2009-05-14 2012-06-25 국립암센터 수술도구 검출 방법, 수술도구 검출 방법을 기록한 기록매체, 수술도구 검출 방법을 수행하는 수술 시스템 및 수술도구 검출 방법을 수행하는 수술 보조시스템
US8887556B2 (en) 2011-02-15 2014-11-18 Michael A. Silveri Amperometric sensor system
JP5701140B2 (ja) * 2011-04-21 2015-04-15 キヤノン株式会社 立体内視鏡装置
US8887551B2 (en) * 2011-09-06 2014-11-18 Trig Medical Ltd. Calibration of instrument relative to ultrasonic probe
US9480539B2 (en) 2011-11-03 2016-11-01 James Ortlieb Viewing system and viewing method for assisting user in carrying out surgery by identifying a target image
JP6306024B2 (ja) 2012-10-01 2018-04-04 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. デバイス形状センシングを用いた臨床意思決定支援及びトレーニングシステム
US8880151B1 (en) 2013-11-27 2014-11-04 Clear Guide Medical, Llc Surgical needle for a surgical system with optical recognition
US9622720B2 (en) 2013-11-27 2017-04-18 Clear Guide Medical, Inc. Ultrasound system with stereo image guidance or tracking
US9905000B2 (en) 2015-02-19 2018-02-27 Sony Corporation Method and system for surgical tool localization during anatomical surgery
FR3039910B1 (fr) * 2015-08-04 2018-08-24 Université Grenoble Alpes Dispositif et procede de detection automatique d'un outil chirurgical sur une image fournie par un systeme d'imagerie medicale
US10201267B2 (en) 2016-05-24 2019-02-12 Phoenix Spine Holdings, Inc. Methods and apparatus for facilitating direct visualized rhizotomy
US10376382B2 (en) 2016-11-16 2019-08-13 Phoenix Spine Holdings, Inc. Methods and apparatus for facilitating a posterior lumbar interbody fusion procedure
US20200015655A1 (en) * 2017-03-28 2020-01-16 Sony Olympus Medical Solutions Inc. Medical observation apparatus and observation visual field correction method
US11076902B2 (en) 2018-02-22 2021-08-03 Phoenix Spine Holdings, Inc. Locking screw assembly for facilitating direct lateral interbody fusion procedures
US11857151B2 (en) * 2018-09-12 2024-01-02 Steris Instrument Management Services, Inc. Systems and methods for standalone endoscopic objective image analysis
FR3119306B1 (fr) * 2021-02-03 2024-06-14 Surgar Procédé et dispositif de traitement d’images pour l’estimation automatique de la position d’un trocart pour la chirurgie endoscopique

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JP3236070B2 (ja) * 1992-06-04 2001-12-04 オリンパス光学工業株式会社 スコープ保持装置およびスコープ装置
JP3618413B2 (ja) * 1995-05-15 2005-02-09 オリンパス株式会社 内視鏡装置
JPH08215205A (ja) * 1995-02-13 1996-08-27 Olympus Optical Co Ltd 医療用マニピュレータ
US5649021A (en) * 1995-06-07 1997-07-15 David Sarnoff Research Center, Inc. Method and system for object detection for instrument control
JP3532660B2 (ja) * 1995-06-09 2004-05-31 オリンパス株式会社 体腔内観察装置
JPH09149876A (ja) * 1995-11-30 1997-06-10 Olympus Optical Co Ltd 内視鏡装置
US6806899B1 (en) * 1999-07-17 2004-10-19 David F. Schaack Focusing systems for perspective dimensional measurements and optical metrology
US7583853B2 (en) * 2003-07-28 2009-09-01 Fluidigm Corporation Image processing method and system for microfluidic devices
US7440793B2 (en) * 2004-07-22 2008-10-21 Sunita Chauhan Apparatus and method for removing abnormal tissue

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104487977A (zh) * 2012-07-19 2015-04-01 皇家飞利浦有限公司 医学应用中的设备感测
CN110215339A (zh) * 2019-07-03 2019-09-10 中山大学 一种实现自动化无缝合角膜主切口的方法

Also Published As

Publication number Publication date
WO2007096557A3 (fr) 2007-10-18
WO2007096557A2 (fr) 2007-08-30
CA2642913A1 (en) 2007-08-30
US8391571B2 (en) 2013-03-05
ES2372705T3 (es) 2012-01-25
US20090220131A1 (en) 2009-09-03
KR20080106282A (ko) 2008-12-04
ATE526646T1 (de) 2011-10-15
JP2009527267A (ja) 2009-07-30
FR2897703A1 (fr) 2007-08-24
EP1987473B1 (fr) 2011-09-28
EP1987473A2 (fr) 2008-11-05
FR2897703B1 (fr) 2008-04-25

Similar Documents

Publication Publication Date Title
CN101385036A (zh) 在医疗成像系统所提供的图像中自动检测手术器具
KR101650161B1 (ko) 이미지 내에서 수술기기를 찾기 위한 기준 마커 디자인 및 탐지
JP6348130B2 (ja) デュアルデータ同期を用いた解剖学的部位の位置の再特定
KR101709277B1 (ko) 기기 트래킹을 위한 컨피규레이션 마커 디자인 및 탐지
US8911358B2 (en) Endoscopic vision system
Doignon et al. Segmentation and guidance of multiple rigid objects for intra-operative endoscopic vision
JP2021531910A (ja) ロボット操作手術器具の位置を追跡システムおよび方法
WO2015151098A2 (en) An articulated structured light based-laparoscope
WO2010078018A2 (en) Efficient 3-d telestration for local and remote robotic proctoring
CN102791214A (zh) 采用实时速度优化的不经校准的视觉伺服
CN112292092A (zh) 用于使用立体内窥镜测量距离的系统和方法
US20230009335A1 (en) Guided anatomical manipulation for endoscopic procedures
JP2022514635A (ja) デュアル画像センサを有する内視鏡
JPWO2015046152A1 (ja) 内視鏡システム
EP2031559A1 (en) Augmented visualization in two-dimensional images
US11793402B2 (en) System and method for generating a three-dimensional model of a surgical site
CN114730454A (zh) 场景感知系统和方法
CN112584735B (zh) 手术内窥镜视频流的图像校正
US20220287776A1 (en) Systems and methods for performance of external body wall data and internal depth data-based performance of operations associated with a computer-assisted surgical system
CN114830638A (zh) 用于具有空间记忆的远程图解的系统和方法
JP7506264B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
KR101114237B1 (ko) 체감형 수술용 영상 처리 장치 및 방법
CN116152331A (zh) 图像获取组件的调节方法、装置及操作系统
CN116568219A (zh) 自动导航数字手术显微镜
CN114727860A (zh) 物理医疗元件放置系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090311