CN101564305B - 处理和显示乳房超声信息的方法 - Google Patents

处理和显示乳房超声信息的方法 Download PDF

Info

Publication number
CN101564305B
CN101564305B CN200910004732.7A CN200910004732A CN101564305B CN 101564305 B CN101564305 B CN 101564305B CN 200910004732 A CN200910004732 A CN 200910004732A CN 101564305 B CN101564305 B CN 101564305B
Authority
CN
China
Prior art keywords
breast
subvolumes
thick
crown
sectioning image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200910004732.7A
Other languages
English (en)
Other versions
CN101564305A (zh
Inventor
张伟
王士平
陈驾宇
俞增平
汤米·厄尔·库普利斯
麦克尔·E·里德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
U Systems Inc
Original Assignee
U Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US10/997,293 external-priority patent/US7615008B2/en
Application filed by U Systems Inc filed Critical U Systems Inc
Publication of CN101564305A publication Critical patent/CN101564305A/zh
Application granted granted Critical
Publication of CN101564305B publication Critical patent/CN101564305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

公开了处理和显示乳房超声信息的方法。描述了在交互式用户界面上显示乳房超声信息,该用户界面在附加的超声乳房照相术环境和/或仅超声乳房照相术环境中有用。通过成对显示对应于左乳房和右乳房中类似的板状子体积的厚切片图像来促成双边比较。描述了冠状厚切片成像以及在冠状厚切片图像上和在冠状厚切片图像之间进行的方便浏览。在优选实施例中,乳头标记显示在冠状厚切片图像上,表示乳头位置在冠状厚切片图像上的投影。还显示了方便的乳房图标,其包括以反映光标和该乳头标记之间的相对位置的方式可变地设置在该乳房图标上的光标位置指示器。优选地,该乳房图标被配置为至少大致近似钟面,钟面中心表示乳头标记位置。

Description

处理和显示乳房超声信息的方法
本申请是国际申请号为PCT/US2005/019604、申请日为2005年6月1日的PCT申请在进入中国国家阶段后的申请号为200580018087.4、发明名称为“处理和显示乳房超声信息”的专利申请的分案申请。
对相关申请的交叉引用
本申请要求了于2004年11月23日提交的U.S.10/997,293、2004年6月4日提交的临时申请60/577,326和2004年6月4日提交的临时申请60/577,388的权益,这些申请通过引用结合于此。
技术领域
本专利说明书涉及医学超声成像。更具体地,本专利说明书涉及用于乳腺癌筛查和/或诊断的乳房超声信息的处理和/或显示。
背景技术
乳房的体积式超声扫描可用作如例如通过引用结合于此的共同转让的US 2003/0007598A1和US 2003/0212327A1中所描述的乳腺癌筛查的补充疗法。传统的二维X射线乳房照片仅检测整个乳房中独立乳房组织切片的X射线不透明度总和,而超声波可分别检测独立乳房组织切片的声谱特性,并因此能检测X射线乳房照相术不能单独检测的乳房病变。对于乳房致密的妇女,包括其乳房中纤维腺体组织含量高的患者,可发现X射线乳房照相术实践的另一公知的缺点。因为纤维腺体组织比周围的脂肪组织具有更高的X射线吸收性,所以具有高纤维腺体组织含量的乳房部分不能良好地被X射线穿透,并因此导致乳房照片所包含的存在纤维腺体组织的区域的信息减少。X射线乳房照相术实践的又另一缺点涉及在胸壁附近成像困难,因为为了正确成像而将这些组织向外延展到压迫板上是困难的。已知相当数量的癌症发生于胸壁的3cm内,这从而可能被X射线乳房照相术遗漏。
除了用作X射线乳房照相术的补充疗法之外,超声乳房照相术还可以很好地成为至少某些患者群体的唯一乳腺癌筛查疗法。例如,人们相信,预防性的健康护理政策将向着对于越来越年轻的妇女(例如40岁以下的妇女,且如果有家族癌症史甚至30岁以下的妇女)采取常规乳腺癌筛查过程的方向发展。因为较年轻的妇女通常具有较致密的乳房,传统的二维X射线乳房照相术的缺点预期将变得特别明显。而且,因为暴露于X射线辐射的危险是在一生中积累的,所以超声乳房照相术可很好地成为这些较低年龄群体中的妇女的唯一乳腺癌筛查疗法。指示在特定群体、地区或国家中存在较高乳房密度的其它人口统计情况也可导致更多地采用乳房超声波作为这些群体、地区或国家的唯一的或附加的筛查疗法。
一旦获得了一组全面的乳房超声扫描,就在处理并向临床医生显示乳房超声信息方面产生了挑战。通常,以下二者之间存在矛盾冲突:(i)在筛查和/或诊断过程中提高查全率/查准率,以及(ii)提高设备使用率以保持成本可控制。因此,例如,尽管由受过良好训练的放射科医生逐个切片地仔细检查原始超声扫描将提高查全率和查准率,但考虑到要为每个患者查看上百个独立的原始超声切片,该方法的总体工作流程效率将是低的,并因此成本将是高的。
因此,需要提供用于查看乳房超声信息的交互式用户界面,其能对以下有效:(i)附加超声乳房照相术环境,其中超声信息补充X射线乳房照片信息,和/或(ii)仅超声乳房照相术环境,其中超声波是唯一筛查疗法。
还需要以提高乳腺癌筛查和/或诊断过程中的查准率和查全率的方式提供乳房超声信息的处理和显示。
还需要在提供这样的乳房超声信息的处理和显示的同时还提高乳腺癌筛查和/或诊断过程中的设备使用率并降低每个患者的成本。
还需要提供这样的乳房超声信息的处理和显示,其对许多种乳房尺寸有效,包括较小尺寸的乳房。
还需要提供用于超声乳房照相术系统的交互式用户界面,其使放射科医生能迅速和直观地浏览乳房超声信息的不同表示。
还需要提供这样的乳房超声信息的处理和显示,其能有效暴露紧靠产生相当高百分比的乳房异常的患者胸壁的乳房异常。
发明内容
提供了用于处理和显示乳房超声信息的系统、方法和计算机程序产品,其中根据乳房的声谱特性的三维数据体产生多个二维冠状厚切片图像,每个冠状厚切片图像表示基本平行于冠状平面的乳房的板状子体积内的声谱特性。冠状厚切片图像在用户显示器上显示给观察者如临床医生。在一个优选实施例中,多个冠状厚切片图像共同表示整个乳房体积,并同时显示。
有利地,冠状厚切片图像列包括对应于紧靠胸壁的子体积的一个或多个成员,这使得能对胸壁附近的组织结构进行详细的可视检查。优选地,当将乳房向胸的方向压迫并用高频超声探头扫描时获得了三维数据体,这使得冠状厚切片图像的分辨率高。但是,诸优选实施例的范围不局限于此,在其他优选实施例中,不压迫或沿着其他取向压迫乳房也可使乳房被扫描。
在另一优选实施例中,根据三维数据体产生多个二维标准平面厚切片图像,标准平面厚切片图像对应于基本平行于诸如头尾向(craniocaudal)(CC)或中侧斜向(mediolateral oblique)(MLO)视平面的标准X射线乳房照片视平面的板状子体积。然后标准平面厚切片图像和冠状厚切片图像一起显示在用户显示器上,优选地并排呈现使得两种图像同时可见。在另一优选实施例中,传统的X射线乳房照片图像也与厚切片超声图像并排显示。
在一个优选实施例中,所有对应于冠状厚切片图像的板状子体积具有相同厚度。在一个替选优选实施例中,离胸壁较近的第一子组的板状子体积的平均厚度小于离胸壁较远的第二子组的所述板状子体积的平均厚度,由此促成在越接近胸壁处检测到越小的结构,同时避免向观察的临床医生呈现“太多信息”。可替选地或与之相结合地,根据至少一个计算机辅助检测(CAD)算法来处理三维数据体以检测乳房中的解剖学异常(例如针状块病变、微钙化等),且冠状厚切片图像对应地显示在用户显示器上。
在另一优选实施例中,提供了用于显示乳房超声信息的方法、设备和相关的计算机程序产品,包括可以在附加超声乳房照相术环境和/或仅超声乳房照相术环境中使用的交互式用户界面。根据一个优选实施例,通过显示表示患者的第一乳房的第一板状子体积内的声谱特性的第一厚切片图像,并且显示相邻于第一厚切片图像的第二厚切片图像,来促成双边比较。第二厚切片图像表示与第一乳房相对的第二乳房的第二板状子体积内的声谱特性,第一和第二板状子体积分别占据第一和第二乳房内大致相似的位置。
根据另一优选实施例,显示了表示乳房的板状子体积内的乳房的声谱特性的厚切片图像,其中板状子体积具有2mm到20mm之间的厚度,且其中板状子体积基本平行于冠状平面。厚切片图像可以是对应于基本平行于冠状平面的乳房内的连续的板状子体积的厚切片图像列的成员,其中多个可同时显示以便快速总览内部乳房组织。
在另一优选实施例中,显示了对应于整个乳房体积的单个合成厚切片图像。优选地,合成厚切片图像根据对所获取的三维乳房体积进行运算的至少一个计算机辅助检测(CAD)算法而增强。
在另一优选实施例中,在显示监视器上显示了厚切片图像,所述厚切片图像表示乳房的板状子体积内的乳房的声谱特性,所述板状子体积基本平行于冠状平面。乳头标记显示在厚切片图像上,表示乳头位置在该厚切片图像上的投影。光标也根据观察者对与显示监视器相关联的指示设备的操作而显示在厚切片图像上。为了促成简单和直观地浏览和观察,在厚切片图像旁显示乳房图标,所述乳房图标包括光标位置指示器,光标位置指示器以反映厚切片图像上光标和乳头标记之间的相对当前位置的方式可移动地设置在乳房图标上。优选地,乳房图标配置为至少大致相似于钟面,并且该钟面的中心表示乳头标记位置,即,光标位置指示器以反映厚切片图像上的光标相对于乳头标记的当前位置的方式相对于钟面的中心而放置。
为了进一步促成迅速和直观地观察,提供了书签能力,其使观察者能将书签放置在厚切片图像上以及所显示的任何平面超声图像上。有利地,提供了以书签为中心的浏览能力,其允许观察者迅速地精确进入厚切片图像上的下一书签,以及使得平面超声图像迅速与下一标签位置对应。可替选地或与之相结合地,提供了以计算机辅助诊断(CAD)为中心的浏览能力,其允许观察者迅速地进入CAD检测,即,厚切片图像和在平面超声图像上的由计算机辅助诊断系统确定为可疑的位置。
根据本发明的又一方面,一种处理乳房的声谱特性的三维数据体的方法,所述三维数据体是在向胸部的方向压迫乳房时通过对所述乳房进行的超声扫描获得的,所述方法包括:根据所述三维数据体产生多个二维冠状厚切片图像,每个冠状厚切片图像表示在乳房的基本平行于冠状平面的冠状板状子体积内的乳房的所述声谱特性,所述冠状板状子体积的厚度介于约2mm和20mm之间,其中所述产生包括对位于所述冠状板状子体积内的至少两个独立的超声切片的声谱特性进行整合;根据所述三维数据体产生多个二维标准平面厚切片图像,所述标准平面厚切片图像表示在乳房的基本平行于标准X射线乳房照片视平面的板状子体积内的乳房的所述声谱特性;以及在用户显示器上同时显示所述标准平面厚切片图像和所述冠状厚切片图像。
附图说明
图1所示为根据优选实施例的乳腺癌筛查和/或诊断系统的概念图;
图2所示为乳房体积及其基本平行于冠状平面的板状子体积的透视图以及对应于所述板状子体积的二维冠状厚切片图像列;
图3所示为根据优选实施例的用于处理和显示乳房超声信息的方法;
图4所示为根据优选实施例的乳房的前视图、其基本平行于标准X射线乳房照片平面的板状子体积的前视图、以及用于与图2的冠状厚切片图像相结合而显示的对应于所述板状子体积的标准平面厚切片图像列;
图5所示为根据优选实施例的用户显示器;
图6A和6B所示为根据优选实施例的乳房侧视图以及不同的板状冠状子体积厚度方案的例子;
图7所示为根据优选实施例的用于处理和显示乳房超声信息的方法;
图8所示为根据优选实施例的用户显示器;
图9所示为根据优选实施例的用户显示器;
图10所示为根据优选实施例的乳房超声显示;
图11所示为根据优选实施例的乳房超声显示的菜单条;
图12和13所示为根据优选实施例的身体标记图标;
图14所示为根据优选实施例的厚切片图像和平面视图;
图15所示为根据优选实施例的厚切片图像的双边比较列、对应的身体标记图标和显示控制按钮;
图16所示为根据优选实施例的厚切片图像的双边比较视图和对应的身体标记图标;
图17所示为根据优选实施例的带有乳头标记的厚切片图像列、身体标记图标和正面乳房图标;
图18所示为根据优选实施例的带有显示的书签的厚切片图像和平面图像、身体标记图标、正面乳房图标、标记显示按钮和标记浏览按钮;
图19所示为根据优选实施例的带有观察者移位的乳头标记的厚切片图像列、身体标记图标和正面乳房图标;
图20所示为根据优选实施例的带有乳头标记和书签的厚切片图像列、标记显示按钮和标记浏览按钮;
图21和22所示为根据一个或多个优选实施例的乳房超声体积获取、处理和显示;
图23所示为根据优选实施例的厚切片图像的双边比较列视图和对应的身体标记图标;
图24所示为根据优选实施例的虚拟探头重建平面的例子;
图25所示为根据优选实施例的完整乳房合成厚切片图像、身体标记图标和正面乳房图标;以及
图26所示为根据优选实施例的其中进行了表面呈现的计算机辅助诊断(CAD)检测的体积呈现的乳房超声体积。
具体实施方式
图1所示为根据优选实施例的乳腺癌筛查和/或诊断系统的概念图。当患者101处于俯卧位置(设备102)、竖直位置(设备102’)、仰卧位置(设备102”)或其他位置(未示出)时,用自动扫描设备对该患者的乳房进行超声扫描。通过减少至胸壁所需的超声穿透深度,被向胸部压迫的乳房的扫描可以较高频率例如10-20MHz进行,这可产生非常高的分辨率的图像,足以促成在胸壁附近检测到1mm量级的微钙化或其他结构。但是,应理解,优选实施例的范围不局限于向胸部压迫的情形,其中根据优选实施例的乳房超声信息处理和显示通常对于从中可得到乳房的声谱特性的三维体积表示的任何扫描系统有用。
乳房扫描在包括例如监视器106、键盘108、鼠标110以及扫描引擎(未示出)的扫描引擎和工作站104的控制下获得。在扫描过程中或之后,超声扫描数据通过计算机网络112提供给超声服务器114,超声服务器114根据此处所述的功能处理并产生显示信息。超声服务器114可执行其他HIS/RIS(医院信息系统/放射科信息系统)操作如存档、调度等。应理解,超声扫描数据的处理可通过以不脱离优选实施例的范围的各种组合耦合至计算机网络112的多种不同的计算设备中的任何一种来执行。
根据优选实施例,提供观察工作站122,向临床医生121显示冠状厚切片图像列124,每个冠状厚切片图像表示基本平行于冠状平面的乳房的板状子体积内的乳房的声谱特性。如此处所使用的那样,术语“临床医生”通常指医学专业人员,如放射科医生或其他分析医学图像并根据其作出临床判断的人,应理解,这些人取决于他们特定的医学环境的国家或地区而可能头衔不同,或业务能力不同。在另一优选实施例中,如图1所示,向临床医生121显示一个或多个标准平面厚切片图像,如头尾向(CC)厚切片图像列126和中侧斜向(MLO)厚切片图像列128。
在另一优选实施例中(未示出),还为临床医生提供如所需地(沿着矢状的(sagittal)、轴的、冠状的或其他穿过三维乳房体积的剖面)观察独立的平面超声切片的能力。在上面的共同转让的US2003/0212327A1中和在此处所述的其他优选实施例中提供了一种期望的平面超声显示和浏览方案的例子。
图2所示为根据优选实施例的乳房体积201及其基本平行于冠状平面的板状子体积204-210的透视图,以及根据所述板状子体积产生的二维冠状厚切片图像列124。由平面202分离的冠状板状子体积204-210分别对应于冠状厚切片图像212-218。一般说来,离胸壁较近的冠状板状子体积(例如204-206)比离乳头203较近的冠状板状子体积(例如208-210)在冠状平面上具有较大的横截面。如这里所使用的那样,冠状板状子体积通常指大致平行于患者的胸壁的乳房内的板状子体积。冠状板状子体积204-210典型地具有2-20mm范围内的厚度。任选地,冠状板状子体积可以被轻微地变形以与胸壁的外形更加一致。在这种情况下,冠状板状子体积将具有大致近似于双曲面的一部分的表面或大致近似于薯片的表面。
一般来说,冠状厚切片图像包括处于一个冠状板状子体积内的多个独立的超声切片的集合。因此,例如,如果冠状板状子体积204用标量值的三维体元阵柱V(x,y,z)表示,则对应的冠状厚切片图像212将是标量值的二维像素阵柱PCOR(x,y)。在一个优选实施例中,将每个像素值PCOR(x,y)简单计算为沿着对应的具有体元值V(x,y,z0),V(x,y,z1),V(x,y,z2),…,V(x,y,zN)的(x,y)处的体元柱的算术平均,其中N是处于冠状板状子体积中的独立的超声切片的数目。为了便于说明,具有体元值V(x,y,z0),V(x,y,z1),V(x,y,z2),...V(x,y,zN)的(x,y)处的体元柱在此表示为Vxy(z)。
根据优选实施例的将作为成分的超声切片整合成冠状厚切片图像PCOR(x,y)的技术包括:取算术平均、取几何平均、取倒数平均、取指数平均和其他取平均方法,在每种情况下都包括加权和未加权取平均技术。其他合适的整合方法可基于共同位置处的作为成分的超声切片的总体的统计特性,如最大值、最小值、平均值、方差或其他统计算法。
优选地,冠状板状子体积具有与要检测的病变的尺寸相关的厚度。在上端,如果期望忽略大多数乳房细节而使用户注意力集中于10mm量级尺寸的较大特征,则可使用例如较大的20mm厚度。在下端,如果期望观察1mm量级尺寸的小的结构如微钙化,则可使用例如较小的2mm厚度。4mm-10mm范围内的厚度可能适合用于大多数乳腺癌筛查。
在其他优选实施例中,像素值PCOR(x,y)可根据处理体元柱Vxy(z)周围的体元柱的邻域的算法来计算,该算法设计为产生强调预定尺寸范围的病变的冠状厚切片图像。在一个这种优选实施例中,整合方法包括通过权向量将对应的体元柱中的体元加权并然后对结果求和,该权向量根据该体元柱周围的邻域特征来计算。这可用以下等式(1)概括:
P COR ( x , y ) = FUNC { V xy ( z ) } = Σ n = 1 N W xy ( n ) V xy ( z p ) - - - { 1 }
使用公知的三维分割和计算机辅助检测(CAD)技术,直接地或通过从总体的三维乳房体积映射来标识冠状厚切片体积中的病变的位置和尺寸。可使用多种公知的三维分割和/或CAD算法中的任何一种,如通过引用结合于此的Gilhuijs、Giger和Bick的U.S.6,317,617中所描述的那些。在一个优选实施例中,对于给定的体元柱,权向量Wxy(n)包括处于病变中的位置的峰和其他位置的谷,于是使得产生的冠状厚切片图像在输出中强调块病变。在另一优选实施例中,权向量Wxy(n)可如通过引用结合于此的共同转让的WO 02/101303A1中所描述地来计算。CAD检测的异常可包括微钙化、可疑块和/或其他公知的乳房异常。
图3所示为根据优选实施例的用于处理和显示乳房超声信息的方法。在步骤302,被向胸部压迫的乳房的体积式超声扫描当扫描乳房时实时地获取、或以离线方式从以前获取的图像的数据库或存档中获取。在步骤304,计算冠状厚切片图像,其对应于基本平行于冠状平面的被向胸部压迫的乳房的板状子体积。在步骤306,冠状厚切片图像列优选地以并排方式显示在用户显示器上。然而,冠状厚切片图像的多种不同的空间排列包括在优选实施例的范围内。例如,该列可呈现为圆形或矩阵。在一个优选实施例中,共同地对应于整个乳房体积的所有冠状厚切片图像同时显示给观察者,使得整个乳房被同时有效地示出,从而提高了临床工作流程效率。在另一优选实施例中,冠状厚切片图像可以自动地或响应于用户控制以连续的时间间隔逐渐显示。
根据一个优选实施例,在步骤308,计算为一种类型的标准平面厚切片图像的头尾向(CC)厚切片图像,其对应于基本平行于对应于CC视图的轴平面的被向胸部压迫的乳房的板状子体积。在步骤310,计算为另一种类型的标准平面厚切片图像的中侧斜向(MLO)厚切片图像,其对应于基本平行于MLO平面的被向胸部压迫的乳房的板状子体积。在步骤312,CC和MLO厚切片图像列呈现在用户显示器上。
图4所示为乳房201的概念前视图,其中有(i)对应于CC板状子体积的板状子体积A到H的前视略图,以及(ii)对应于MLO板状子体积的板状子体积I到VI的前视略图。图4中还示出了观察工作站122的一部分,其图示了CC厚切片图像列126和MLO厚切片图像列128,指示器将它们分别映射到板状子体积A到H和I到Ⅵ。可以以与上面的WO02/101303A1中所描述的方式相似的方式根据三维乳房体积产生CC和MLO厚切片图像列。本领域中公知,MLO平面通常偏离CC平面约55度。但是,应理解,可针对MLO平面使用多种角度而不脱离优选实施例的范围,该多种角度包括90度(在这种情况下其对应于中侧向“ML”视图)或更大。
再参考图3,根据一个优选实施例,在步骤314和316分别显示乳房的标准CC和MLO X射线乳房照片视图。图5所示为与上面的观察工作站122类似的观察工作站502,其分别外加了CC和MLO X射线乳房照片图像504和506,这可通过往复观察感兴趣区域来进一步促成筛查和诊断。为了实用起见,CC和MLO X射线乳房照片图像504和506优选地为数字化的形式,尽管它们为灯箱背景上的基于胶片的X射线乳房照片也在优选实施例的范围之内。
图6A和6B所示为根据优选实施例的为了描述冠状板状子体积厚度方案的紧接于胸壁602的乳房201的侧视图。在图6A的优选实施例中,冠状板状子体积1-5的厚度基本相等。但是,在图6B的优选实施例中,存在对冠状板状子体积1-5的厚度分级或分阶段的方法。更具体地,内部的子体积1-2比外部的子体积4-5薄。因此,离胸壁较近的第一子组的所述板状子体积的平均厚度小于离胸壁较远的第二子组的所述板状子体积的平均厚度。
图6B的分级或分阶段的方法具有优点,因为大百分比的乳房病变在胸壁附近,因此保证了更精确地观察这些组织(即接近传统薄切片超声图像的精度)。但是,同时仍期望避免用户显示器上“信息过多”,因此离胸壁较远的区使用较厚的子体积,使所需图像的总数保持在可管理水平。
图7所示为根据优选实施例的用于处理和显示乳房超声信息的方法。在步骤702,根据至少一个计算机辅助检测(CAD)算法来处理三维数据体以检测其中的解剖学异常。这些CAD算法可以与上面所使用的用于增强厚切片图像中的病变的可视外观的算法相同,或可替选地是不同的和/或附加的CAD算法。在步骤704,将三维数据体中的检测到的病变映射到其对应的冠状厚切片图像。检测到的病变还被映射到其对应的CC和/或MLO厚切片图像,如果存在的话。在步骤706,根据检测到的解剖学异常的类型和位置在对应的冠状、CC和/或MLO厚切片图像上叠加注释。
图8所示为根据优选实施例的观察工作站802,它与观察工作站122相似但还包括冠状、CC和MLO厚切片图像上的CAD注释。根据检测到的解剖学异常的类型和位置放置CAD注释。在图8的例子中,CAD检测的可疑微钙化团由分别在冠状、CC和MLO厚切片图像列的适当成员上的三角形804a、804b和804c表示。CAD检测的可疑块由分别在冠状、CC和MLO厚切片图像列的适当成员上的星形标记806a、806b和806c表示。
图9所示为根据优选实施例的观察工作站的一部分902,包括冠状厚切片图像列904。已发现有用的是,在用户显示器上标识乳头相对于冠状厚切片图像的x-y位置,如乳头标记906所示。例如,由于解剖学原因以及乳房上的向胸部压迫的力的施加角度可能存在变化的事实,乳头并不总是将在每个冠状厚切片图像的中心。这些施加角度的变化可能是无意的,如患者位置不完美的情况,或可能是有意的,如后续扫描(follow-upscan)中乳房的特定区域(例如上部靠内的四分之一)可能有意义的情况。乳头位置可用CAD算法在三维数据体上基于乳头阴影效应而确定。可替选地,乳头位置可由技术人员在扫描时人工识别,例如,通过确保乳头落在压迫板上的预定点上,或通过基于用探头快速探测性地扫过乳房来与扫描系统交互,或者通过人工地将探头定位在乳头位置并按下乳头识别按钮,或通过多种其他人工乳头识别方案中的任何一种。
图10所示为根据优选实施例的乳房超声显示器1002,一般包括图像区域1004和菜单条1006。在图10的具体显示器中,显示了6个厚切片图像1008a-1008e的列,以及2个平面超声图像1010a-1010b。显示器1002可在上面的图1的观察工作站122中使用。显示器1002可用作多疗法PACS工作站的一部分、用作为独立设备、和/或与X射线乳房照相术软拷贝或硬拷贝(即灯箱)观察站相结合使用。
图11所示为菜单条1006的较近视图,包括与图像区域1004相关的多种控件和信息显示。菜单条1006包括身体标记图标1102、摄影控制(软)按钮1103、标记显示按钮1104、标记浏览按钮1106、双边比较控制按钮1108、声谱照片按钮1110、反转按钮1112和多种文件控制按钮1114。文件控制按钮1114中与视图相关的一个上的标号“/N”(N=2,3,...)表示对于该视图可获得N组数据用于显示,例如,进行了对应于该视图的N次扫描。“/N”之前的数字表示正显示这些组中的哪一个。
摄影控制按钮1103使观察者能开始进行当前乳房视图的逐切片超声视图摄影循环序列。其将开始于当前光标位置,向乳房体积的第一边缘移动。其将在那里延迟一个短的时间段,然后在乳房体积的另一边缘重新开始。当摄影正进行时按下任何按钮或移动鼠标将停止摄影循环,将光标留置在其最新近的摄影位置。反转按钮1112使厚切片图像能在两种不同的灰度映射模式之间切换,一种通常称为白在黑上的图像模式,另一种通常称为黑在白上的图像模式。
双边比较控制按钮1108使观察者能在如下面针对图15-16和图19-20进一步描述的显示双边比较视图格式或者单个乳房的厚切片视图之间动态地切换。声谱照片按钮1110使观察者能在仅示出平面视图的第一配置、仅示出厚切片图像的第二配置、以及示出厚切片图像和平面图像的组合的第三配置之间切换。
标记显示按钮1104使观察者能在(i)所显示图像的非注释版本,和(ii)示出如下面所进一步描述的书签的版本之间切换。标记浏览按钮1106使观察者能执行以书签为中心的浏览,其中,一旦选择,则自动显示与下一书签(向前)或前一书签(向后)的位置相关联的厚切片图像中对应的一个,以及对应于该位置的一个或多个平面超声图像。书签本身可由观察者使用简单的右击和下拉菜单方法来输入,尽管优选实施例的范围不限于此。例如,书签可由其他用户提供、根据存档数据自动产生或通过多种其他方法中的任何一种产生。
虽然图11中未示出,但在另一优选实施例中,提供了CAD显示按钮和CAD浏览按钮,它们与标记显示按钮1104和标记浏览按钮1106具有相似的浏览功能。在又另一优选实施例中,提供了乳头标记显示按钮,其用于在如下面所进一步描述的显示乳头标记与不显示乳头标记之间切换。
身体标记图标1102自动产生并且快速提供所显示的图像的几个不同方面的表达。文本部分1116表达压迫角(针对非正面的即非冠状的压迫平面,如CC、MLO、LAT等而言的)、压迫板之间的分隔距离(还是针对非正面的压迫平面而言的)、以及扫描期间使用的压迫力。身体标记图标1102还显示压迫乳房的压迫平面1117、对应于所显示的厚切片图像的深度的厚切片深度标记1118(当显示一个厚切片图像时)、以及对应于所显示的平面超声图像的平面标记1120(如果可应用)。
图12所示为用于各种非正面压迫情形的身体标记图标。身体标记图标1202对应于右乳房的LAT视图,身体标记图标1204对应于右乳房的CC视图,而身体标记图标1206对应于左乳房的MLO视图。
图13所示为用于各种正面压迫情形的身体标记图标1302、1304和1306,每个包括指示扫描乳房的线性扫描探头的取向和轨迹的探头扫掠指示器(例如1303)。身体标记图标1302对应于从下到上方向的左乳房内侧的正面扫描,身体标记图标1306对应于接近从下到上方向的右乳房内侧的正面扫描,而身体标记图标1304对应于接近从外侧到内侧方向的左乳房中心区域的正面扫描。
图14所示为单个厚切片图像1401,其当光标点击在图10中所示位置时对应于厚切片图像1008f。应理解,菜单条1006优选地显示在所有图像下方,但是为了清楚起见在此图和后面的图中省略。图14还示出了分别对应于平面指示器1402和1404(它们在当前光标位置处相交)的平面超声图像1406和1408。
图15所示为通过选择双边比较控制按钮1108得到的厚切片图像的双边比较列1502,包括LMLO厚切片图像列的成员和位置上与之成对的对应的RMLO厚切片图像列的成员,其中对应于LMLO厚切片图像列的左乳房的板状子体积与对应于RMLO厚切片图像列的右乳房的板状子体积具有至少大致的位置对应。身体标记图标1504示出了与每个体积式扫描相关联的扫描取向和其他扫描参数。
图16所示为双边比较列1502的第四厚切片图像对的放大的双边比较视图1602,其当观察者在图15的显示器上点击这些第四厚切片图像中的任何一个时显示。身体标记图标1604包括厚切片深度标记1606,它表示左乳房和右乳房中的每一个内的第四厚切片子体积的位置。乳头位置也显示在身体标记图标1602上。
值得注意,对于图15-16的优选实施例,左乳房和右乳房的板状子体积之间的对应无需精确。相对的乳房可以具有不同尺寸且其扫描方式之间可存在很多偶然变化。尽管如此,仍发现以诸如图15-16的格式的双边比较格式来呈现厚切片图像数据是很有用的。例如,易于分析乳房对称性。
图17所示为根据优选实施例的厚切片图像列1702、对应于所选厚切片图像上的当前光标位置1708的两个平面图像1704a-b、身体标记图标1710、乳头标记1706和正面乳房图标1712。乳头标记1706可根据下列中的任何一个而置于厚切片图像上:(i)利用相关的体积式超声扫描来提供的人工输入的乳头位置,(ii)根据相关的体积式超声扫描来自动产生的计算机获得的乳头位置,(iii)针对相关的体积式超声扫描基于人工放置物理乳头标志来自动产生的计算机获得的乳头位置,以及(iv)观察者确定的乳头标记的位置。物理乳头标志可以指放置在乳头位置处的乳房皮肤上的标记,其至少部分对超声波透明但是也提供足以自动识别其存在的一定程度的不透明。例子可包括其中任选地带有金属斑点的小硅树脂球,或可具有相似效果的多种其他物体中的任何一种。物理乳头标志可替选地指放置在乳头位置处的超声扫描设备自身上、例如压:迫板之一上的标志。
正面乳房图标1712包括以这样的方式可变地设置在其上的光标位置指示器1716,该方式反映所选厚切片图像上光标1708和乳头标记1706之间的相对位置。优选地,正面乳房图标1712具有至少大致近似钟面的布局,且光标位置指示器1716相对于该钟面的中心而放置,以反映(i)光标1708和乳头标记1706之间的距离“D”,以及(ii)在显示器上,光标1708相对于乳头标记1706的方向(例如在图17的例子中约为1:00)。当光标1708在厚切片图像上到处移动时,光标位置指示器1716的位置动态地在钟面上移动。正面乳房图标1712和身体标记图标1710的组合显示促成快速、直观地理解被显示图像的物理的和位置的相关性。正面乳房图标1712还包括文本部分1714,其用数字表示(i)距离“D”,以及(ii)当前选择的厚切片图像距超声探头扫过的被压迫表面的深度。
图18所示为厚切片图像1802,对应于该厚切片图像上的当前光标位置的两个平面图像1804a-b,身体标记图标1810,乳头标记1806,多个书签1822、1824和1826,以及正面乳房图标1812。根据优选实施例,假设书签点在体积上处于对应于厚切片图像的板状子体积的中间平面上,则书签被投影在当前显示的平面图像1804a-b的对应位置上(如果可应用)。因此,图18示出从上到下的平面图像1804b上的对应的书签1822’和1824’,因为书签1822和1824的位置沿着穿过当前光标位置的竖直平面指示器1825。中间横向平面图像1804a仅示出对应的书签1822,因为仅书签1822位置沿着水平平面指示器1827。因为平面指示器1825或1827都不与书签1826相交,所以对于该书签,在平面图像1804a-b上没有对应的书签。
通过按下标记显示按钮1104,可开启和关闭所有书签的显示。标记浏览按钮1106使观察者能执行以书签为中心的浏览,其中,一旦选择,光标就移动到下一书签(向前)或前一书签(向后),并立即显示对应的平面图像。作为默认设置,标签之间的浏览顺序与观察者输入书签的顺序相同,虽然优选实施例的范围不限于此。在图18的例子中,观察者按下了标记浏览按钮之一就到达了书签1822。值得注意,如光标位置指示器1816所示,正面乳房图标1812自动跟上当前光标位置,在图18中,当前光标位置距乳头标记位置约3厘米、钟角大致为4:00。乳头标记和书签可具有多种形状、尺寸、颜色等中的任何一种,而不脱离优选实施例的范围。
图19所示为带有已被观察者(例如使用点击并拖动的方法)移位的乳头标记1906的厚切片图像列1902。虽然在此例子中不必要确保(因为原始位置基于乳头阴影位置看起来是精确的),但可能需要观察者基于其观察或其他外在信息来移动乳头标记位置。光标1908相对于乳头标记1906的位置已移动,光标位置指示器1916的位置在正面乳房图标的钟面上从1916-旧自动移动到1916-新(例如,从约0.5cm、12:00处到约3cm、4:00处)。
图20所示为根据优选实施例的上面放置了书签2010、2011、2012和2013的厚切片图像列2002,用于图示多切片的以书签为中心的浏览方法。通过观察者点击向前标记浏览按钮1106,光标立即被带到下一书签,且显示对应的平面图像(未示出)。
一般来说,如图20的例子中,在若干厚切片图像上常常存在书签。当一次仅显示一个厚切片图像时(例如见上面的图14),提供与图20所示相似的方便的浏览。特别地,当仅显示单个厚切片图像且按下标记浏览按钮1106之一时,当前的厚切片图像被对应于下一书签的下一厚切片图像替代(如果可应用),且光标被放置在该厚切片图像中的下一书签处,显示对应的平面视图。因此实现了书签之间的快速浏览。
在另一优选实施例中,在CAD检测之间提供了相似的浏览能力,即,通过观察者按下CAD浏览按钮,光标立即被带到下一CAD标记位置,且显示对应的平面图像。除了其他优点之外,根据优选实施例的以书签为中心的和/或以CAD为中心的浏览还可以相当地减少检查病例所需的时间并提高放射科医生的工作效率。
图21所示为根据优选实施例的乳房超声体积处理和显示。在步骤2102,人工或自动获得相对于优选地向胸部压迫以便迎面扫描的所获取的乳房体积的乳头位置。在步骤2104,显示一个或多个厚切片超声图像。在步骤2106,乳头标记显示在厚切片图像上,乳头标记位置表示乳头位置在厚切片图像上的投影。在步骤2108,相对于所显示的乳头标记位置的当前光标位置标识在钟面风格的图标上。在步骤2110,允许观察者通过在厚切片图像上直接交互来改变相对于乳房体积的乳头标记位置。
图22所示为根据优选实施例的乳房超声体积处理和显示。在步骤2202,通过书签命令添加书签,该书签命令例如厚切片图像上或平面图像上的右击和下拉菜单风格的命令。在步骤2204,该书签位置与其在3D乳房体积内的对应位置相对应。在步骤2206,该书签被投影到正确反映它在3D乳房体积内的位置所需的所有相关的显示的厚切片和平面超声图像上。在步骤2208,如果接收到标记浏览命令,则在步骤2210,显示器自动浏览至下一书签位置并示出适当的厚切片图像和对应的平面图像。
图23所示为通过选择上面的双边比较控制按钮1108而容易地浏览至的厚切片图像的双边比较列2302,其包括LAP(左前面-后面)厚切片图像列的成员和位置上与之成对的对应的RAP(右前面-后面)厚切片图像列的成员,其中对应于LAP厚切片图像列的左乳房板状子体积与对应于RAP厚切片图像列的右乳房板状子体积具有至少大致的位置对应。身体标记图标2304示出了每一乳房体积的扫描取向。
图24所示为根据优选实施例的乳房体积2402内围绕点“P”的虚拟探头重建(VPR)平面“S”的例子。观察者被提供有指示设备,其可以是特定模式的规则鼠标,或可以是单独的操纵杆或类似的控制件。当至少一个厚切片图像和至少一个平面图像被显示时,观察者可对当前光标位置调用VPR命令。这使光标固定在乳房体积内的当前位置“P”,其中在指示设备控制下,观察者然后可以将对应于所显示的平面图像的平面“S”的取向从图24(i)的乳房体积内的正常的“竖直”位置改变为多种不同取向中的任一种。例如,如图24所示,提供了图24(ii)的滚动能力、图24(iii)的偏转能力以及图24(iv)的滚动和偏转的组合。
图25所示为根据优选实施例的完整乳房合成厚切片图像2502、对应的平面图像2504a-b、身体标记图标2510和正面乳房图标2512。合成厚切片图像2502优选地是基本整个乳房体积、即由体积式超声扫描所成像的所有组织的声谱特性的CAD增强的表达。可使用多种CAD算法中的任一种,如上面的US6,317,617和上面的共同转让的WO 03/101303 A1中所描述的算法。然后在合成厚切片图像2502上,病变可根据其为恶性的可能性(或其他感兴趣的标准)而被增强。合成厚切片图像2502可用作观察平面超声图像和其他厚切片图像的有用“向导”或“路线图”,且可以在增强的病变位置被任选地提供有清楚的CAD标记。
图26所示为显示器2602,其包括根据优选实施例的其中进行了表面呈现的计算机辅助诊断(CAD)检测2606的体积呈现的乳房超声体积2604。提供三维乳头标记2608以使观察者在观察乳房体积时正确地定向。在一个优选实施例中,体积呈现的乳房超声体积2604以类似摄影的方式旋转,如图26中的序列A-D所示。
尽管在阅读上面的描述后,本发明的许多变更和修改无疑将对于本领域技术人员显而易见,但应理解,通过例证示出和描述的具体实施例并非旨在为限制性的。例如,虽然上文主要描述了超声成像,但应理解,可以根据一个或多个所描述的优选实施例有利地处理和显示来自其他全场乳房成像疗法(例如,MRI、CT、PET)的数据。此处所述的显示器中的一个或多个与San Jose,California的U-Systems,Inc.提供的SOMOGRAMTM显示器类似。进一步例如,虽然上文描述为体积分割,但计算冠状厚切片图像所用的冠状板状子体积可以是部分重叠的,这在处理会跨子体积边界的病变时可能有用。更进一步例如,虽然在上面的优选实施例中描述了大多数乳头标记在冠状厚切片图像中,但在其他实施例中,乳头标记显示在MLO、CC和其他厚切片图像视图上。
进一步例如,应理解,基本平行于冠状平面在这里用来大致反映实际情况如迎面扫描乳房,并且应理解,可能存在对胸壁平面的某种偏离。例如,对于具有高度下垂乳房的特定患者,最好以某个小角度压迫乳房,如偏离胸壁平面15度。在这种情况下,被取为平行于压迫平面的板状子体积仍被认为基本平行于冠状平面。
又进一步例如,在可替选的优选实施例中,可以用薄切片冠状图像、即沿着基本平行于冠状平面的平面的薄切片平面超声图像来代替上述冠状板状子体积。这对需要精细的细节以便观察的后续诊断设置可能特别有用。又进一步例如,在其他可替选的优选实施例中,给予临床医生在显示冠状板状子体积和薄切片冠状图像之间可交换地切换或仔细挑选的能力。因此,对优选实施例的细节的参考并非旨在限制其范围,该范围仅由下面阐明的权利要求的范围来限制。

Claims (8)

1.一种处理乳房的声谱特性的三维数据体的方法,所述三维数据体是在向胸部的方向压迫乳房时通过对所述乳房进行的超声扫描获得的,所述方法包括:
根据所述三维数据体产生多个二维冠状厚切片图像(212,214),每个冠状厚切片图像表示在乳房的基本平行于冠状平面的冠状板状子体积(204,206)内的乳房的所述声谱特性,所述冠状板状子体积的厚度介于2mm和20mm之间,其中所述产生包括对位于所述冠状板状子体积内的至少两个独立的超声切片的声谱特性进行整合;
特征在于所述方法还包括:
根据所述三维数据体产生多个二维标准平面厚切片图像(126,128),所述标准平面厚切片图像表示在乳房的基本平行于标准X射线乳房照片视平面的板状子体积内的乳房的所述声谱特性;以及
在用户显示器(502)上同时显示所述标准平面厚切片图像(126,128)和所述冠状厚切片图像(122,502)。
2.如权利要求1的方法,所述冠状板状子体积(204)包括N个独立的超声切片Vxy(z1),......Vxy(zN),N≥2,其中二维冠状厚切片图像(212)PCOR(x,y)是按照加权求和算法根据所述N个独立的超声切片Vxy(z1),......Vxy(ZN)计算出的,所述加权求和算法包括通过权向量将对应的体元柱中的体元加权并对结果求和,所述权向量根据所述体元柱周围的邻域特征来计算。
3.如权利要求1的方法,其中所述标准X射线乳房照片视平面是头尾向或中侧斜向的视平面。
4.如权利要求3的方法,还包括:
接收乳房的对应于所述标准X射线乳房照片视平面的X射线乳房照片图像(504,506);以及
与所述标准平面厚切片图像(126,128)和所述冠状厚切片图像(124)的所述同时显示同时地在所述用户显示器(502)上显示所述X射线乳房照片图像(504,506)。
5.如权利要求4的方法,每个冠状板状子体积被限定在基本平行于所述冠状平面的第一和第二平面之间,每一冠状板状子体积具有在所述第一和第二平面之间测量的2mm到20mm之间的所述厚度。
6.如权利要求5的方法,所述厚度在4mm到10mm之间。
7.如权利要求6的方法,其中所有的所述冠状板状子体积具有相同的厚度。
8.如权利要求7的方法,其中离胸壁较近的第一子组的所述冠状板状子体积的平均厚度小于离胸壁较远的第二子组的所述冠状板状子体积的平均厚度,由此促成离胸壁较近的较小结构的检测。
CN200910004732.7A 2004-06-04 2005-06-01 处理和显示乳房超声信息的方法 Active CN101564305B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US57738804P 2004-06-04 2004-06-04
US57732604P 2004-06-04 2004-06-04
US60/577,388 2004-06-04
US60/577,326 2004-06-04
US10/997,293 US7615008B2 (en) 2000-11-24 2004-11-23 Processing and displaying breast ultrasound information
US10/997,293 2004-11-23

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN 200580018087 Division CN1976633A (zh) 2004-06-04 2005-06-01 处理和显示乳房超声信息

Publications (2)

Publication Number Publication Date
CN101564305A CN101564305A (zh) 2009-10-28
CN101564305B true CN101564305B (zh) 2014-08-20

Family

ID=38126270

Family Applications (2)

Application Number Title Priority Date Filing Date
CN 200580018087 Pending CN1976633A (zh) 2004-06-04 2005-06-01 处理和显示乳房超声信息
CN200910004732.7A Active CN101564305B (zh) 2004-06-04 2005-06-01 处理和显示乳房超声信息的方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN 200580018087 Pending CN1976633A (zh) 2004-06-04 2005-06-01 处理和显示乳房超声信息

Country Status (1)

Country Link
CN (2) CN1976633A (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8834391B2 (en) * 2008-01-09 2014-09-16 Allergan, Inc. Computer analysis of a breast shape to assist breast surgery
EP2303127A1 (en) * 2008-06-11 2011-04-06 Koninklijke Philips Electronics N.V. Multiple modality computer aided diagnostic system and method
CN104622508A (zh) * 2013-11-15 2015-05-20 通用电气公司 一种乳腺超声机及超声诊断系统
JP2015104465A (ja) * 2013-11-29 2015-06-08 コニカミノルタ株式会社 医用画像システム及びプログラム
CN105806473B (zh) * 2016-03-14 2018-12-11 苏州佳世达电通有限公司 超音波探头的参数设定方法
CN206080562U (zh) * 2016-06-16 2017-04-12 深圳市前海安测信息技术有限公司 具有自动扫描功能的乳腺筛查装置
CN112272540B (zh) * 2018-04-04 2024-08-06 特姆威(苏州)医学影像有限公司 定量成像系统和其用途
CN111248941A (zh) * 2018-11-30 2020-06-09 深圳迈瑞生物医疗电子股份有限公司 超声图像的显示方法、系统及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6190334B1 (en) * 1999-05-24 2001-02-20 Rbp, Inc. Method and apparatus for the imaging of tissue
US6450962B1 (en) * 2001-09-18 2002-09-17 Kretztechnik Ag Ultrasonic diagnostic methods and apparatus for generating images from multiple 2D slices
US6630937B2 (en) * 1997-10-30 2003-10-07 University Of South Florida Workstation interface for use in digital mammography and associated methods

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6434262B2 (en) * 1993-09-29 2002-08-13 Shih-Ping Wang Computer-aided diagnosis system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6630937B2 (en) * 1997-10-30 2003-10-07 University Of South Florida Workstation interface for use in digital mammography and associated methods
US6190334B1 (en) * 1999-05-24 2001-02-20 Rbp, Inc. Method and apparatus for the imaging of tissue
US6450962B1 (en) * 2001-09-18 2002-09-17 Kretztechnik Ag Ultrasonic diagnostic methods and apparatus for generating images from multiple 2D slices

Also Published As

Publication number Publication date
CN1976633A (zh) 2007-06-06
CN101564305A (zh) 2009-10-28

Similar Documents

Publication Publication Date Title
JP5274834B2 (ja) 乳房超音波情報の処理及び表示
US7727151B2 (en) Navigation among multiple breast ultrasound volumes
US7828732B2 (en) Breast cancer screening with adjunctive ultrasound mammography
US10540803B2 (en) Method and system for rule-based display of sets of images
CN105832360B (zh) 用于由层析数据集生成2d图像的系统和方法
CN101564305B (zh) 处理和显示乳房超声信息的方法
EP2269515A1 (en) Breast cancer screening with adjunctive ultra-sound mammography
US9861342B2 (en) Adjunctive ultrasound processing and display for breast cancer screening
Van Zelst et al. Improved cancer detection in automated breast ultrasound by radiologists using computer aided detection
CA3070770A1 (en) Method and system for rule-based display of sets of images using image content derived parameters
US20140343420A1 (en) Reduced Image Reading Time and Improved Patient Flow in Automated Breast Ultrasound Using Enchanced, Whole Breast Navigator Overview Images
EP3027116B1 (en) Reduced image reading time and improved patient flow in automated breast ultrasound using enhanced, whole-breast navigator overview images
US11763516B2 (en) Method and system for rule based display of sets of images using image content derived parameters
McDonald 3-Dimensional breast ultrasonography: What have we been missing?
de Azevedo-Marques et al. Introduction to Content-based Image Retrieval

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant