CN103745496A - 基于二维图像为交互界面的转换函数的直接体绘制方法 - Google Patents

基于二维图像为交互界面的转换函数的直接体绘制方法 Download PDF

Info

Publication number
CN103745496A
CN103745496A CN201310664190.2A CN201310664190A CN103745496A CN 103745496 A CN103745496 A CN 103745496A CN 201310664190 A CN201310664190 A CN 201310664190A CN 103745496 A CN103745496 A CN 103745496A
Authority
CN
China
Prior art keywords
node
linked list
transfer function
doubly linked
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310664190.2A
Other languages
English (en)
Other versions
CN103745496B (zh
Inventor
贠照强
阳维
冯前进
陈武凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southern Medical University
Original Assignee
Southern Medical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southern Medical University filed Critical Southern Medical University
Priority to CN201310664190.2A priority Critical patent/CN103745496B/zh
Publication of CN103745496A publication Critical patent/CN103745496A/zh
Application granted granted Critical
Publication of CN103745496B publication Critical patent/CN103745496B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

一种基于二维图像为交互界面的转换函数的直接体绘制方法，依次包括如下步骤，（1）根据三维数据获得的二位图像作为交互界面；（2）选择感兴趣区域并进行标注,每标注一个感兴趣区域，产生与之对应的标注动作，相应的参数记为数据特征信息；（3）将步骤（2）的数据特征信息封装形成数据特征信息结构体，根据数据特征信息结构体构建数据信息管理单元；（4）根据步骤（3）的数据信息管理单元生成基于数据特征信息的转换函数；（5）根据步骤（4）的转换函数生成二维纹理；（6）将步骤（5）的二维纹理作为分类器生成重建图像。该方法以二维界面为交互界面，用户交互界面直观、易于理解，用户交互目标明确、操作方便、效率高的特点。

Description

基于二维图像为交互界面的转换函数的直接体绘制方法
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于二维图像为交互界面的转换函数的直接体绘制方法。
 
背景技术
医学图像的三维重建技术,可以将二维图像序列在计算机上以三维效果图的形式直观展现出来，能够直观地得到器官或病灶的形状和大小，在临床上具有非常重要的价值。
直接体绘制（Direct Volume Rendering）是三维重建技术的一种非常重要方法之一，转换函数（Transfer Function）在直接体绘制（Direct Volume Rendering）中是必不可少的， 其主要作用是对三维数据场中的数据进行分类，将三维数据场中各采样点处的灰度值转换为相应的光学特性（颜色、亮度和不透明度等），以达到增强显示特定组织或结构的目的。
目前，直接体绘制中使用最广泛的仍然是一维转换函数,如附图1所示，一维转换函数一般以三维数据的直方图统计为背景，用来辅助用户进行人机交互。一维转换函数通过单纯的灰度信息对数据进行分类，所以其在分类功能上有很大的局限性，特别是对医学数据，如CT或MR数据，这是由于医学数据本身的复杂性造成的，使得使用单一灰度特征很难对数据进行有效的分类；另外一维转换函数的人机交互方式是一种不断尝试和纠错的过程，用户需要不断的尝试才能获得需要的显示效果，这种方式缺少明确的目标性，直方图统计无法指示用户感兴趣区域；用户很难确定自己感兴趣的组织位于哪个区域内，特别是对那些没有经验或缺少经验的用户。
高维转换函数使用更多的特征空间来对数据经进行分类，但由于使用的特征越多，用户越难以理解，人机交互就更加复杂，所以在实际应用中，以灰度和梯度为特征的二维转换函数，如附图2所示，更加具有实际应用价值。以灰度和梯度来构建二维转换函数，可以有效的提取不同组织之间的边界特征，其人机交互界面的背景为梯度和灰度联合统计信息，图像横坐标代表三维数据的灰度信息，图像的纵坐标表示三维数据的梯度统计信息，用户通过在交换界面上构建不同的控件，以选择相应的区域来增强显示感兴趣组织或抑制非感兴趣组织。二维转换函数最突出的问题之一是其交互界面过于抽象，即使是经验丰富的用户，也很难将自己感兴趣的区域和二维转换函数上的某个区域对应起来；其次由于交互界面上的控件是用户自己选择的，完全脱离的数据本身的特性；用户对选择的控件的修改和调整变得异常困难，以一个长方形控件为例子，用户需要调整控件的四个顶点、四个边和对长方形控件的平移操作，这样就有9个参数需要调节，交互过于繁琐。
预存模板的方式是设计者按照设备产生数据的特点，根据不同的部位和组织，提前制作好转换函数，并将这些转换函数保存起来，当用户使用时，根据自己的需要，来选择特定的模板。预存模板的方式人机交互非常简单，用户通过对模板的选择就可以实现不同的显示效果，但这种方法只适用于特定的设备产生的数据，对其它设备产生的数据并不适用，另外由于用户的需求总是无法提前全部预知的，所以该方法缺乏灵活性，适用性较差。
现有的转换函数缺乏友善的人机交互界面，无法以一种用户容易理解的、直观的方式来指导用户对转换函数进行调节，从而快速得到用户期望的结果；另外现存的转换函数中人机交互相当复杂，需要耗过多的时间和精力来不断调整转换函数控件的交互参数，更新转换函数，以达到用户需要的显示效果，这种调节是一种盲目的、脱离数据的一种尝试性交互，需要消耗用户过多的时间和精力。因此，针对现有技术不足，提供一种可以有效改善用户交互感受，提高工作效率的基于二维图像为交互界面的转换函数的直接体绘制方法以克服现有技术不足甚为必要。
 
发明内容
本发明的目的在于针对现有技术不足，提供一种基于二维图像为交互界面的转换函数的直接体绘制方法，该方法用户交互界面直观、易于理解，用户交互目标明确、操作方便、效率高。
本发明的上述目的通过如下技术方案实现。
一种基于二维图像为交互界面的转换函数的直接体绘制方法，依次包括如下步骤，
   （1）根据三维数据获得的二位图像作为交互窗口；
   （2）选择感兴趣区域并进行标注, 每标注一个感兴趣区域，产生与之对应的标注动作，与标注动作相应的参数作为数据特征信息；
   （3）将步骤（2）的数据特征信息封装形成数据特征信息结构体，根据数据特征信息结构体构建数据信息管理单元；
   （4）根据步骤（3）的数据信息管理单元生成基于数据特征信息的转换函数；
   （5）根据步骤（4）的转换函数生成二维纹理；
   （6）将步骤（5）的二维纹理作为分类器生成重建图像。
上述步骤（3）中的数据信息管理单元具体为双向链表，所述双向链表由多个按照均值以从小到大的顺序进行升序排列的节点及指向当前节点前面节点和后面节点的指针构成，每个数据特征结构体是双向链表中的一个节点。
建立步骤（3）中的双向链表包括双向链表中新节点的添加和双向链表中节点的删除；
双向链表中新节点的添加具体是：
从双向链表中的第一个节点开始，依次遍历链表中的所有节点，并将链表中节点的数据特征信息与新节点中的数据特征信息进行比较，具体的公式为：
Figure 281904DEST_PATH_IMAGE002
  ……式（1）；
其中
Figure 2013106641902100002DEST_PATH_IMAGE003
表示双向链表中当前节点的均值，
Figure 606706DEST_PATH_IMAGE004
表示新节点的均值；表示当前链表中节点的均方差，
Figure 150077DEST_PATH_IMAGE006
表示新节点的均方差；
如果
Figure 837410DEST_PATH_IMAGE008
﹤ 0,则认为新增加的节点与双向链表的当前节点相匹配，新增加的节点与当前节点代表的是同一个感兴趣区域，则对新增加的节点与当前节点进行合并；
具体的合并方法为：
Figure 40989DEST_PATH_IMAGE010
 ……式（2）；
Figure 180984DEST_PATH_IMAGE012
；
Figure 761001DEST_PATH_IMAGE014
；
Figure 302840DEST_PATH_IMAGE016
；
其中
Figure 2013106641902100002DEST_PATH_IMAGE017
和
Figure 208480DEST_PATH_IMAGE018
分别为双向链表当前节点的梯度最小值和新节点的梯度最小值；
Figure 2013106641902100002DEST_PATH_IMAGE019
和
Figure 740830DEST_PATH_IMAGE020
分别为双向链表当前节点的梯度最大值和新节点的梯度最大值；
Figure 2013106641902100002DEST_PATH_IMAGE021
表示取两者中较大的值；min表示取两者中较小的值；
双向链表中当前节点的其它参数保持不变；
如果遍历双向链表中所有的节点，均不满足
Figure 2013106641902100002DEST_PATH_IMAGE023
﹤ 0，则需要向链表中添加该新节点；
添加方法为：
依次遍历双向链表中的所有节点，当双向链表当前节点的均值小于新节点的均值并且当前节点后面的节点的均值大于新节点的均值时，在双向链表的当前节点与当前节点后面的节点之间添加新节点，公式为：
……式（3）；
其中
Figure 62221DEST_PATH_IMAGE003
为双向链表中当前节点的均值；
Figure 599513DEST_PATH_IMAGE026
表示当前节点的后一个节点的均值，如果满足上面的公式，则在双向链表中的当前节点的后面添加该新节点；
双向链表中节点的删除具体是：
当撤销选择的感兴趣区域时，根据对待撤销的感兴趣区域进行选择操作时产生的数据特征信息，取出该数据特征信息中的均值作为待删除参考数据特征信息，然后遍历双向链表中的每个节点，并将取出的节点中的均值与待删除参考数据特征信息的均值进行比对，如果两个均值相等，判定此节点为与待删除参考数据特征信息相匹配的匹配节点，然后在双向链表中删除该匹配节点；
具体的删除方法是：将双向链表当前节点前一个节点指向下一个节点的指针指向当前节点保存的下一个节点的指针，然后在双向链表中删除匹配节点。
上述步骤（4）生成基于特征的转换函数具体是，
双向链表中的每个节点都产生一个局部转换函数分布，节点中的均值减去均方差是该局部转换函数在整个转换函数中的起始点，节点中的均值加上均方差是该局部转换函数在整个转换函数中的终止点，节点中保存的梯度最小值和最大值对应起始点和终止点区间内高度的范围；
将双向链表中每个节点的数据特征信息生成一个局部转换函数分布，将每个局部转换函数分布产生的值分别填充于整个转换函数存储区域对应的一块子区域，遍历整个双向链表，生成整个转换函数；
双向链表中的节点每添加一个新的节点或者删除一个旧节点，均对转换函数进行更新。
进一步的,转换函数的结果被保存到一块矩形区域，区域的宽是三维数据中数据有效位表示bit数的次方，宽表示三维数据的灰度分布范围；高为固定高度，等于512，表示梯度的最小值为0，最大值为511。
矩形区域存储的是RGBA值，R表示红色分量；G表示绿色分量；B表示蓝色分量；A表示不透明度，存储区域内的每个单元由RGBA四个分量组成。
具体的,生成局部转换函数的具体方法为： 
 ......式（4）,   其中 
Figure 760946DEST_PATH_IMAGE030
；
 
Figure 541820DEST_PATH_IMAGE032
 ……式（5）,   其中 
Figure 933618DEST_PATH_IMAGE034
；
Figure 774535DEST_PATH_IMAGE036
......式（6）；
其中
Figure DEST_PATH_IMAGE037
为构建的高斯密度分布函数，
Figure 782943DEST_PATH_IMAGE038
和
Figure DEST_PATH_IMAGE039
为双向链表中节点的均值和均方差，
Figure 774032DEST_PATH_IMAGE040
表示节点宽的范围，从均值减去均方差开始，到均值加上均方差的地方结束；
Figure DEST_PATH_IMAGE041
为梯度衰减函数，
Figure DEST_PATH_IMAGE043
和
Figure DEST_PATH_IMAGE045
为双向链表中节点梯度的最小值和最大值，
Figure 987714DEST_PATH_IMAGE046
表示节点在高上的作用域，从梯度最小值开始，到梯度最大值结束；
Figure DEST_PATH_IMAGE047
为调节参数，用户可以对梯度分布函数进行必要的修正，
Figure DEST_PATH_IMAGE049
为局部转换函数分布，是高斯密度分布函数和梯度衰减函数的乘积，代表了整个转换函数区域的一个子集，其中
Figure 140478DEST_PATH_IMAGE040
和
Figure 839443DEST_PATH_IMAGE046
表示局部转换函数在整个转换函数中的具体区域。
当出现当前节点的局部转换函数分布
Figure 227699DEST_PATH_IMAGE050
与其相邻的局部转换函数分布存在交集时，对其相交的部分进行特殊的处理，具体处理方法为：
根据当前均值与两个交集节点均值的空间距离，产生权重参数，利用权重对重合区域内的RGBA值进行修正。  
    优选的,上述步骤（1）中的二维图像呈现方式为单幅二维图像或者MPR联合显示或者单幅二维图像与MPR联合显示同时显示。 
   优选的,上述步骤（2）中的数据特征信息参数包括：工具类型、均值、均方差、梯度最大值和梯度最小值。
优选的,上述步骤（5）具体是,将更新完成的整个转换函数保存为一个二维纹理，二维纹理的宽代表灰度，高代表梯度，保存到二维纹理之后转换函数中的数据被归一化到0至1之间的浮点型数据；
所述步骤（6）具体是，将步骤（5）生成的二维纹理传入片元着色器，光线投射算法获取当前采样点的灰度值和梯度后作为输入二维纹理之中，二维纹理分类后输出对应的RGBA值，并利用RGBA值进行合成生成重建图像。
本发明具有如下优点:
（1）本发明将易于理解的二维图像作为转换函数交互的界面，该二维图像是三维数据的一部分，用户通过对二维图像的观察，可以直接确定哪些组织或区域是其希望在三维重建中增强显示的，哪些是需要抑制或去除的，用户只需要在要增强显示的组织上，利用鼠标进行简单的拖拽就可以得到自己期望得到的重建结果。与现有方法相比，本发明方法可以提供直观的、友善的和易于用户理解的交互界面；另外交互方式更加简洁，减少了用户交互的时间；
（2）本发明根据用户的交互方式，自动生成以数据特征为依据的二维转换函数，该转换函数仍然以灰度和梯度为输入，与现有技术所不同的是，并不是用户来确定用什么样的形状来生成该转换函数，而是根据对二维图像上数据本身的特征来自动生成二维转换函数，从而可以更加有效的对数据进行分类,得到良好的图像重建结果。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1是现有技术的一维转换函数常用交互界面； 
图2为现有二维转换函数常用交互界面；
图3为本发明的二维图像为交互界面的体绘制转换函数交互界面；
图4为MPR联合显示方式；
图5为本发明基于二维图像为交互界面的转换函数的直接体绘制方法的示意图；
图6为本发明的重建结果示意图。
具体实施方式
下面结合具体的实施例对本发明进行详细描述。
实施例1。
一种基于二维图像为交互界面的转换函数的直接体绘制方法，依次包括如下步骤，
（1）根据三维数据获得的二位图像以二维图像作为交互窗口。
该二维图像是由三维数据任意切面产生的数据所生成；二维图像的呈现方式有：单幅二维图像如图3所示、MPR联合显示如图4所示等。
单幅二维图像：单幅二维图像显示时，提供给用户对图像选择的工具，用户可以使用鼠标中间的滚轮，向前或向后滚动可以相应的改变切面在三维数据中的空间位置，从而根据新切面产生新的二维图像。
MPR联合显示：MPR表示多平面重建（图），是对三维数据场的冠状面、矢状面和横断面分别产生切面，产生三幅二维图像，每张二维图像上都有定位线，用户通过鼠标左键单击来指定任意一张二维图像上定位线的空间位置，通过该空间位置可以快速更新冠状面、矢状面和横断面切面的空间位置，进而产生三幅新的二维图像，供用户进行观察。
需要说明的是，步骤（1）中的二维图像呈现方式，并不限于单幅二维图像和MPR联合显示，二维图像可以是对三维数据切割产生的任意切片生成的二维图像，图像之间的组合也可以是多样化的，可以将切片产生的二维图像和MPR联合显示一起作为用户交互的窗口，也可以根据具体的需要组合用户交互的窗口显示方式。
（2）选择感兴趣区域并进行标注, 每标注一个感兴趣区域，产生与之对应的标注动作，与标注动作相应的参数作为数据特征信息。数据特征信息参数包括：工具类型、均值、均方差、梯度最大值和梯度最小值。
用户对感兴趣区域进行标注，可以根据不同的情形设置不同的工具，这样用户在使用时就可以根据需要灵活选择工具。
定义用户在二维图像上操作的行为：
勾画虚线线段工具：该工具适用于对不同组织进行标注；用户对二维图像进行观察，获取感兴趣区域，若感兴趣区域包含有两种以上组织，则使用该工具在感兴趣区域内勾画虚线线段，要求线段的一段位于一种组织内，另外一段位于另外一种组织内；当不同组织过多时，可重复使用该工具。
勾画任意线条工具：该工具适用于对同一种组织进行标注；当感兴趣区域为同一只组织时，用户可以使用该工具在组织上勾画任意线条；要求线条覆盖同一种组织。
选取任意一点工具：该工具适用于对较小组织的标注；当感兴趣区域较小时，可以用点来选取该区域，不再分不同组织，只对区域进行标注；要求点要尽量位于感兴趣区域中心位置。
撤销工具：该工具用于取消用户的操作；当用户对使用的虚线线段、任意线条或点工具标注位置不满意时，可用撤销工具对操作进行取消。
以二维图像为转换函数交互界面，根据步骤（1）和（2），在产生的交互界面和可在界面上的操作行为，用户通过观察二维图像，确定其感兴趣的区域，并选择合适的操作工具，在感兴趣区域上进行标注。同一种工具可进行多次标注。
需要说明的是，步骤（2）中用户的操作行为，可以使用鼠标进行交互，也可以利用其它输入设备；且对输入设备的交互行为，可以根据实际的情况适当改变、增加或删除，虚线线段、任意线条和点工具的具体形式可以变更，但使用这些工具产生的交互参数是不变的。
 然后，进入步骤（3）。
（3）将步骤（2）的数据特征信息封装形成数据特征信息结构体，根据数据特征信息结构体构建数据信息管理单元。
  数据信息管理单元可以为双向链表，也可为使用其它数据结构来实现。
当步骤（3）中的数据信息管理单元具体为双向链表时，双向链表由多个按照均值以从小到大的顺序进行升序排列的节点及指向当前节点前面节点和后面节点的指针构成，每个数据特征结构体是双向链表中的一个节点。
建立步骤（3）中的双向链表包括双向链表中新节点的添加和双向链表中节点的删除；
双向链表中新节点的添加具体是：
从双向链表中的第一个节点开始，依次遍历链表中的所有节点，并将链表中节点的数据特征信息与新节点中的数据特征信息进行比较，具体的公式为：
  ……式（1）；
其中
Figure 767658DEST_PATH_IMAGE003
表示双向链表中当前节点的均值，
Figure 950378DEST_PATH_IMAGE004
表示新节点的均值；
Figure 402219DEST_PATH_IMAGE005
表示当前链表中节点的均方差，
Figure 328587DEST_PATH_IMAGE006
表示新节点的均方差。
如果
Figure 283904DEST_PATH_IMAGE023
﹤ 0,则认为新增加的节点与双向链表的当前节点相匹配，新增加的节点与当前节点代表的是同一个感兴趣区域，则对新增加的节点与当前节点进行合并；
具体的合并方法为：
 ……式（2）；
Figure 808164DEST_PATH_IMAGE056
；
Figure DEST_PATH_IMAGE057
；
Figure 12881DEST_PATH_IMAGE058
；
其中
Figure 477360DEST_PATH_IMAGE017
和
Figure 552764DEST_PATH_IMAGE018
分别为双向链表当前节点的梯度最小值和新节点的梯度最小值；
Figure 342865DEST_PATH_IMAGE019
和
Figure 238140DEST_PATH_IMAGE020
分别为双向链表当前节点的梯度最大值和新节点的梯度最大值；
Figure 771889DEST_PATH_IMAGE021
表示两者中较大的值；min表示两者中较小的值。双向链表中当前节点的其它参数保持不变。
如果遍历双向链表中所有的节点，均不满足
Figure 191545DEST_PATH_IMAGE060
﹤ 0，则需要向链表中添加该新节点；
添加方法为：
依次遍历双向链表中的所有节点，当双向链表当前节点的均值小于新节点的均值并且当前节点后面的节点的均值大于新节点的均值时，在双向链表的当前节点与当前节点后面的节点之间添加新节点，公式为：
……式（3）；
其中
Figure 800698DEST_PATH_IMAGE003
为双向链表中当前节点的均值；
Figure 872560DEST_PATH_IMAGE026
表示当前节点的后一个节点的均值，如果满足上面的公式，则在双向链表中的当前节点的后面添加该新节点。
双向链表中节点的删除具体是：
当撤销选择的感兴趣区域时，根据对待撤销的感兴趣区域进行选择操作时产生的数据特征信息，取出该数据特征信息中的均值作为待删除参考数据特征信息，然后遍历双向链表中的每个节点，并将取出的节点中的均值与待删除参考数据特征信息的均值进行比对，如果两个均值相等，判定此节点为与待删除参考数据特征信息相匹配的匹配节点，然后在双向链表中删除该匹配节点；
具体的删除方法是：将双向链表当前节点前一个节点指向下一个节点的指针指向当前节点保存的下一个节点的指针，然后在双向链表中删除匹配节点。
然后再进入步骤（4），根据步骤（3）的数据信息管理单元生成基于特征的转换函数；
步骤（4）中生成基于特征的转换函数具体是，
双向链表中的每个节点都产生一个局部转换函数分布，节点中的均值减去均方差是该局部转换函数在整个转换函数中的起始点，节点中的均值加上均方差是该局部转换函数在整个转换函数中的终止点，节点中保存的梯度最小值和最大值对应起始点和终止点区间内高度的范围。
将双向链表中每个节点的数据特征信息生成一个局部转换函数分布，将每个局部转换函数分布产生的值分别填充于整个转换函数存储区域对应的一块子区域，遍历整个双向链表，生成整个转换函数；双向链表中的节点每添加一个新的节点或者删除一个旧节点，均对转换函数进行更新。
转换函数的结果被保存到一块矩形区域，区域的宽是三维数据中数据有效位表示bit数的次方，宽表示三维数据的灰度分布范围；高为固定高度，等于512，表示梯度的最小值为0，最大值为511。
矩形区域存储的是RGBA值，R表示红色分量；G表示绿色分量；B表示蓝色分量；A表示不透明度，存储区域内的每个单元由RGBA四个分量组成。
具体的,生成局部转换函数的具体方法为： 
 ......式（4）；   其中 ；
 
Figure 658747DEST_PATH_IMAGE066
 ……式（5）；   其中 
Figure 534299DEST_PATH_IMAGE068
；
Figure 937336DEST_PATH_IMAGE070
......式（6）；
其中为构建的高斯密度分布函数，
Figure 925201DEST_PATH_IMAGE038
和
Figure 214231DEST_PATH_IMAGE039
为双向链表中节点的均值和均方差，
Figure 363453DEST_PATH_IMAGE040
表示节点宽的范围，从均值减去均方差开始，到均值加上均方差的地方结束；
Figure 446946DEST_PATH_IMAGE041
为梯度衰减函数，
Figure DEST_PATH_IMAGE071
和为双向链表中节点梯度的最小值和最大值，
Figure 508760DEST_PATH_IMAGE046
表示节点在高上的作用域，从梯度最小值开始，到梯度最大值结束；
Figure 450171DEST_PATH_IMAGE074
为调节参数，用户可以对梯度分布函数进行必要的修正，
Figure 94779DEST_PATH_IMAGE076
为局部转换函数分布，是高斯密度分布函数和梯度衰减函数的乘积，代表了整个转换函数区域的一个子集，其中
Figure 928000DEST_PATH_IMAGE040
和
Figure 949045DEST_PATH_IMAGE046
表示局部转换函数在整个转换函数中的具体区域。
当出现当前节点的局部转换函数分布
Figure 682646DEST_PATH_IMAGE050
与其相邻的局部转换函数分布存在交集时，对其相交的部分进行特殊的处理，具体处理方法为：
根据当前均值
Figure 701418DEST_PATH_IMAGE051
与两个交集节点均值的空间距离，产生权重参数，利用权重对重合区域内的RGBA值进行修正。  
    （5）根据步骤（4）的转换函数生成二维纹理，具体是将更新完成的整个转换函数保存为一个二维纹理，二维纹理的宽代表灰度，高代表梯度，保存到二维纹理之后转换函数中的数据被归一化到0至1之间的浮点型数据。
（6）根据步骤（5）的二维纹理生成重建图像。具体是将步骤（5）生成的二维纹理传入片元着色器，光线投射算法获取当前采样点的灰度值和梯度后作为输入传入二维纹理之中，二维纹理分类后输出对应的RGBA值，并利用RGBA值进行合成生成重建图像。
本发明将易于理解的二维图像作为转换函数交互的界面，该二维图像是三维数据的一部分，用户通过对二维图像的观察，可以直接确定哪些感兴趣区域，利用鼠标进行简单的拖拽就可以得到自己期望得到的重建结果。与现有方法相比，本发明方法可以提供直观的、友善的和易于用户理解的交互界面；另外交互方式更加简洁，减少了用户交互的时间。
此外，本发明根据用户的交互方式，自动生成以数据特征为依据的二维转换函数，该转换函数仍然以灰度和梯度为输入，与现有技术所不同的是，并不是用户来确定用什么样的形状来生成该转换函数，而是根据对二维图像上数据本身的特征来自动生成二维转换函数，从而可以更加有效的对数据进行分类,得到良好的图像重建结果。
实施例2。
采用本发明的方法用直接体绘制对一组CT数据进行交互调节的具体过程如下：
步骤1，将CT三维数据读入内存，数据的大小为512×512×460，数据类型为unsigned short,在三维数据中心处沿X轴、Y轴和Z轴垂直方向，分别生成横断面、矢状面、冠状面三个切面，并将三个切面上的数据根据窗宽和窗位，转换为三幅BMP二维位图显示出来，即采用MPR显示，如图4所示。
步骤2，MPR联合显示的图像定位。通过鼠标左键在MPR显示的任意一张二维图像上点击，根据鼠标点击的位置，重新沿着X轴、Y轴和Z轴垂直方向产生新的横断面、矢状面、冠状面三个切面，进而产生三幅新的BMP位图，通过此方式用户可以快速找到自己的感兴趣区域。
步骤 3，调用OpenGL API（Open Graphics Library, Application Programming Interface）函数，将三维数据存储为三维纹理。
初始化转换函数，CT数据为unsigned short类型，但其中有效bit只有12位，故生成的转换函数的宽度应该为2的12次方，为4096；转换函数对应的高度为固定高度512，以4096宽，512高，RGBA分量每个为一个字节，分配4096*512*4大小的内存，并将内存全部初始化为0，保存为二维纹理，为利用GPU进行体绘制准备好数据和转换函数。
步骤 4，用户观察MPR联合显示，选择定位功能，通过鼠标左键单击，快速定位感兴趣区域的位置，并通过MPR显示出来；用户根据定义好的鼠标操作行为，选择合适的工具，如选择点工具后，用户使用鼠标左键点击感兴趣区域，在鼠标点击出将显示一个小的点。
步骤5，记录用户操作行为，根据用户得操作行为获取对应的数据特征信息。
以点操作为例，当用户在二维图像上标注一点后，以该点所在空间位置为中心，索取该中心对应三维数据中
Figure DEST_PATH_IMAGE077
小立方体内所有灰度值,统计该区域内灰度值的均值和均方差，以及梯度的最大值和最小值。具体求法如下：
均值：
Figure DEST_PATH_IMAGE079
  ； 。
方差：
Figure DEST_PATH_IMAGE083
；
均方差：
Figure DEST_PATH_IMAGE085
；
其中
Figure 520469DEST_PATH_IMAGE086
表示
Figure 453528DEST_PATH_IMAGE077
立方体中的一点的灰度值；n表示区域内采样点的总个数。 梯度采用中心差分方法求:
Figure 369531DEST_PATH_IMAGE088
Figure 355942DEST_PATH_IMAGE090
；
Figure 662289DEST_PATH_IMAGE092
 ；
其中
Figure DEST_PATH_IMAGE093
表示梯度算子；
Figure 431662DEST_PATH_IMAGE094
是三维数据中立方体中的一个单元，
Figure DEST_PATH_IMAGE095
表示沿X轴方向增加一个单元后的在三维数据中的空间位置，表示沿X轴方向减少一个单元后的在三维数据中的空间位置；
Figure 766008DEST_PATH_IMAGE098
；
Figure 684286DEST_PATH_IMAGE100
分别是沿Y轴增加和减少一个单元后再三维数据中的空间位置；
Figure 962077DEST_PATH_IMAGE102
分别是沿Z轴增加和减少一个单元后再三维数据中的空间位置；
Figure DEST_PATH_IMAGE103
表示灰度值；表示梯度的模；
Figure 852990DEST_PATH_IMAGE106
表示将梯度值归一化至0到256范围之内。
任意线条工具：任意线条不使用
Figure 992984DEST_PATH_IMAGE077
的小立方体去三维数据中获取感兴趣区域的灰度值，而是提取任意线条覆盖在二维图像上空间位置的灰度值，均值和均方差以及梯度信息的计算和点工具的一样。
虚线线段工具：同样不使用
Figure 635318DEST_PATH_IMAGE077
的小立方体去三维数据中获取感兴趣区域的灰度值，而是提取任意线条覆盖在二维图像上空间位置的灰度值，与点工具和任意线条工具不同的是，统计梯度变化最大空间位置上的均值和均方差。
步骤6，信息整合，将步骤5中每种工具产生的参数信息对应整合为数据特征信息，数据特征信息的组合方式为：工具类型、均值、均方差、梯度最大值和梯度最小值。其中工具类型为虚线线段、任意线条和点工具之中的一种，使用0、1、2标识，其余信息采用步骤5中的方式计算得到后保存起来即可。
步骤7，双向链表的构建，首先定义结构体，结构体中保存有两个指针类型变量，分布用来指示前一个结构体的指针和后一个结构体的指针，另外将步骤6中的数据特征信息保存到结构体之中，每个结构体就双向链表中的一个节点，将每个节点中的指针分布指向当前节点的前一个节点和后一个节点，就形成了双向链表。如果当前节点是第一个节点，则其指向前一个节点的指针为空，表示该节点是第一个节点；如果当前节点是双向链表中最后一个节点，则该节点指向后一个节点的指针为空，表示该节点是最后一个节点。
初始化状态下双向链表为空，当用户在二维图像上使用点工具标识感兴趣区域后，就会生成一个节点，由于当前链表为空，直接将该节点添加到链表之中。
当用户使用交互工具标识第二个感兴趣区域后，会生成第二个包含数据特征信息的节点；从链表的第一个节点开始，遍历链表中所有的节点，并把每个遍历到的节点与当前节点中的信息进行对比，对比方式是取得两个节点的均值和均方差，用两个节点均值的差的绝对值除以均方差的和，如果结果小于1，则认为两个节点代表的是同一个组织，需要对两个节点进行合并，去两个节点均值的平均值作为链表中当前节点的均值，去两个节点均方差最大的值，赋给当前链表中节点的均方差，完成合并后，停止对链表的编译。如果编译整个链表没有符合要求的节点，重新编译链表，并按照节点中均值的大小将新节点插入合适的位置，完成对链表的更新。
步骤8， 根据步骤7中的双向链表来生成转换函数，具体实现为从双向链表中依次遍历节点，每遍历一个节点，取出节点内保存的数据特征信息，主要是均值、均方差、梯度最大值和梯度最小值，以当前节点的均值为中心点，同时均值也是步骤3中转换函数宽的位置，以节点中的均值和均方差来构建高斯函数；并以节点中的梯度最大值和最小值来构建指数函数，并将两者相乘，产生二维分布函数。 
Figure 52524DEST_PATH_IMAGE108
 ，   其中 
Figure 817217DEST_PATH_IMAGE110
；
Figure 319874DEST_PATH_IMAGE112
  ，   其中 
Figure DEST_PATH_IMAGE114
；
 
Figure DEST_PATH_IMAGE116
   ，    
Figure 202117DEST_PATH_IMAGE040
和
Figure 864043DEST_PATH_IMAGE046
表示需要更新的转换函数中的区域。
链表中每个节点都会生成该相应的
Figure DEST_PATH_IMAGE118
函数，并用
Figure 206162DEST_PATH_IMAGE118
来更新转换函数中对应的区域。
步骤9，利用新生成的转换函数数据更新转换函数对应的纹理，进行光线投射算法，获取三维数据中采样点的灰度值，并计算当前采样点处的梯度值，将计算得到的灰度值和梯度值作为参数输入到转换函数纹理之中，转换函数纹理输出RGBA信息，光线投射算法利用该RGBA信息进行光线合成，产生重建结果。
步骤10，用户观察重建结果，如果对当前结果不满意，重复步骤4-9，到产生用户满意要求的结果时结束。
本发明将易于理解的二维图像作为转换函数交互的界面，该二维图像是三维数据的一部分，用户通过对二维图像的观察，可以直接确定哪些感兴趣区域，利用鼠标进行简单的拖拽就可以得到自己期望得到的重建结果。与现有方法相比，本发明方法可以提供直观的、友善的和易于用户理解的交互界面；另外交互方式更加简洁，减少了用户交互的时间。
此外，本发明根据用户的交互方式，自动生成以数据特征为依据的二维转换函数，该转换函数仍然以灰度和梯度为输入，与现有技术所不同的是，并不是用户来确定用什么样的形状来生成该转换函数，而是根据对二维图像上数据本身的特征来自动生成二维转换函数，从而可以更加有效的对数据进行分类,得到良好的图像重建结果。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：依次包括如下步骤，
(1)根据三维数据获得的二位图像作为交互窗口；
(2)选择感兴趣区域并进行标注, 每标注一个感兴趣区域，产生与之对应的标注动作，与标注动作相应的参数作为数据特征信息；
(3)将步骤（2）的数据特征信息封装形成数据特征信息结构体，根据数据特征信息结构体构建数据信息管理单元；
(4)根据步骤（3）的数据信息管理单元生成基于数据特征信息的转换函数；
(5)根据步骤（4）的转换函数生成二维纹理；
(6)将步骤（5）的二维纹理作为分类器生成重建图像。
2.根据权利要求1所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：所述步骤（3）中的数据信息管理单元具体为双向链表，所述双向链表由多个按照均值以从小到大顺序进行升序排列的节点及指向当前节点前面节点和后面节点的指针构成，每个数据特征结构体是双向链表中的一个节点。
3.根据权利要求2所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：
建立步骤（3）中的双向链表包括双向链表中新节点的添加和双向链表中节点的删除；
双向链表中新节点的添加具体是：
从双向链表中的第一个节点开始，依次遍历链表中的所有节点，并将链表中节点的数据特征信息与新节点中的数据特征信息进行比较，具体的公式为：
Figure 2013106641902100001DEST_PATH_IMAGE001
  ……式（1）；
其中
Figure 2013106641902100001DEST_PATH_IMAGE002
表示双向链表中当前节点的均值，
Figure DEST_PATH_IMAGE003
表示新节点的均值；
Figure 2013106641902100001DEST_PATH_IMAGE004
表示当前链表中节点的均方差，
Figure DEST_PATH_IMAGE005
表示新节点的均方差；
如果
Figure 2013106641902100001DEST_PATH_IMAGE006
﹤ 0,则认为新增加的节点与双向链表的当前节点相匹配，新增加的节点与当前节点代表的是同一个感兴趣区域，则对新增加的节点与当前节点进行合并；
具体的合并方法为：
Figure DEST_PATH_IMAGE007
 ……式（2）；
Figure 2013106641902100001DEST_PATH_IMAGE008
；
Figure DEST_PATH_IMAGE009
；
Figure 2013106641902100001DEST_PATH_IMAGE010
；
其中
Figure DEST_PATH_IMAGE011
和
Figure 2013106641902100001DEST_PATH_IMAGE012
分别为双向链表当前节点的梯度最小值和新节点的梯度最小值；
Figure DEST_PATH_IMAGE013
和
Figure 2013106641902100001DEST_PATH_IMAGE014
分别为双向链表当前节点的梯度最大值和新节点的梯度最大值；max表示取两者中较大的值；min表示取两者中较小的值；
双向链表中当前节点的其它参数保持不变；
如果遍历双向链表中所有的节点，均不满足
Figure DEST_PATH_IMAGE015
，则需要向链表中添加该新节点；
添加方法为：
依次遍历双向链表中的所有节点，当双向链表当前节点的均值小于新节点的均值并且当前节点后面的节点的均值大于新节点的均值时，在双向链表的当前节点与当前节点后面的节点之间添加新节点，公式为：
Figure 2013106641902100001DEST_PATH_IMAGE016
……式（3）；
其中
Figure 31796DEST_PATH_IMAGE002
为双向链表中当前节点的均值；
Figure DEST_PATH_IMAGE017
表示当前节点的后一个节点的均值，如果满足上面的公式，则在双向链表中的当前节点的后面添加该新节点；
双向链表中节点的删除具体是：
当撤销选择的感兴趣区域时，根据对待撤销的感兴趣区域进行选择操作时产生的数据特征信息，取出该数据特征信息中的均值作为待删除参考数据特征信息，然后遍历双向链表中的每个节点，并将取出的节点中的均值与待删除参考数据特征信息的均值进行比对，如果两个均值相等，判定此节点为与待删除参考数据特征信息相匹配的匹配节点，然后在双向链表中删除该匹配节点；
具体的删除方法是：将双向链表当前节点前一个节点指向下一个节点的指针指向当前节点保存的下一个节点的指针，然后在双向链表中删除匹配节点。
4.根据权利要求3所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：所述步骤（4）生成基于特征的转换函数具体是，
双向链表中的每个节点都产生一个局部转换函数分布，节点中的均值减去均方差是该局部转换函数在整个转换函数中的起始点，节点中的均值加上均方差是该局部转换函数在整个转换函数中的终止点，节点中保存的梯度最小值和最大值对应起始点和终止点区间内高度的范围；
将双向链表中每个节点的数据特征信息生成一个局部转换函数分布，将每个局部转换函数分布产生的值分别填充于整个转换函数存储区域对应的一块子区域，遍历整个双向链表，生成整个转换函数；
双向链表中的节点每添加一个新的节点或者删除一个旧节点，均对转换函数进行更新。
5.根据权利要求4所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：转换函数的结果被保存到一块矩形区域，区域的宽是三维数据中数据有效位表示bit数的次方，宽表示三维数据的灰度分布范围；高为固定高度，等于512，表示梯度的最小值为0，最大值为511。
6.根据权利要求5所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：矩形区域存储的是RGBA值，R表示红色分量；G表示绿色分量；B表示蓝色分量；A表示不透明度，存储区域内的每个单元由RGBA四个分量组成。
7.根据权利要求6所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：生成局部转换函数的具体方法为：
Figure 2013106641902100001DEST_PATH_IMAGE018
 ......式（4）,   其中 
Figure DEST_PATH_IMAGE019
；
 
Figure 2013106641902100001DEST_PATH_IMAGE020
 ......式（5）,   其中
Figure DEST_PATH_IMAGE021
；
Figure DEST_PATH_IMAGE022
......式（6）；
其中
Figure DEST_PATH_IMAGE023
为构建的高斯密度分布函数，
Figure DEST_PATH_IMAGE024
和为双向链表中节点的均值和均方差，
Figure DEST_PATH_IMAGE026
表示节点宽的范围，从均值减去均方差开始，到均值加上均方差的地方结束；
Figure DEST_PATH_IMAGE027
为梯度衰减函数，
Figure DEST_PATH_IMAGE028
和为双向链表中节点梯度的最小值和最大值，
Figure DEST_PATH_IMAGE030
表示节点在高上的作用域，从梯度最小值开始，到梯度最大值结束；
Figure DEST_PATH_IMAGE031
为调节参数，用户可以对梯度分布函数进行必要的修正，
Figure DEST_PATH_IMAGE032
为局部转换函数分布，是高斯密度分布函数和梯度衰减函数的乘积，代表了整个转换函数区域的一个子集，其中
Figure 135887DEST_PATH_IMAGE026
和
Figure 915624DEST_PATH_IMAGE030
表示局部转换函数在整个转换函数中的具体区域；
当出现当前节点的局部转换函数分布
Figure DEST_PATH_IMAGE033
与其相邻的局部转换函数分布存在交集时，对其相交的部分进行特殊的处理，具体处理方法为：
根据当前均值
Figure DEST_PATH_IMAGE034
与两个交集节点均值的空间距离，产生权重参数，利用权重对重合区域内的RGBA值进行修正。
8.根据权利要求1至7任意一项所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：所述步骤（1）中的二维图像呈现方式为单幅二维图像或者MPR联合显示或者单幅二维图像与MPR联合显示同时显示。
9.根据权利要求1至7任意一项所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：所述步骤（2）中的数据特征信息参数包括：工具类型、均值、均方差、梯度最大值和梯度最小值。
10.根据权利要求1至7任意一项所述的基于二维图像为交互界面的转换函数的直接体绘制方法，其特征在于：
所述步骤（5）具体是,将更新完成的整个转换函数保存为一个二维纹理，二维纹理的宽代表灰度，高代表梯度，保存到二维纹理之后转换函数中的数据被归一化到0至1之间的浮点型数据；
所述步骤（6）具体是，将步骤（5）生成的二维纹理传入片元着色器，光线投射算法获取当前采样点的灰度值和梯度后作为输入二维纹理之中，二维纹理分类后输出对应的RGBA值，并利用RGBA值进行合成生成重建图像。
CN201310664190.2A 2013-12-11 2013-12-11 基于二维图像为交互界面的转换函数的直接体绘制方法 Active CN103745496B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310664190.2A CN103745496B (zh) 2013-12-11 2013-12-11 基于二维图像为交互界面的转换函数的直接体绘制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310664190.2A CN103745496B (zh) 2013-12-11 2013-12-11 基于二维图像为交互界面的转换函数的直接体绘制方法

Publications (2)

Publication Number Publication Date
CN103745496A true CN103745496A (zh) 2014-04-23
CN103745496B CN103745496B (zh) 2017-01-18

Family

ID=50502511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310664190.2A Active CN103745496B (zh) 2013-12-11 2013-12-11 基于二维图像为交互界面的转换函数的直接体绘制方法

Country Status (1)

Country Link
CN (1) CN103745496B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897965A (zh) * 2015-12-14 2017-06-27 国基电子（上海）有限公司 彩色图像处理系统及彩色图像处理方法
CN108257202A (zh) * 2017-12-29 2018-07-06 四川师范大学 一种基于使用场景的医学图像容积重建优化方法
CN109685899A (zh) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 三维可视化标注管理系统、方法和计算机存储介质
CN109951704A (zh) * 2017-12-20 2019-06-28 三星电子株式会社 用于处理图像交互的方法和装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090036749A1 (en) * 2007-08-03 2009-02-05 Paul Donald Freiburger Multi-volume rendering of single mode data in medical diagnostic imaging
CN101373541A (zh) * 2008-10-17 2009-02-25 东软集团股份有限公司 医学图像体绘制方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090036749A1 (en) * 2007-08-03 2009-02-05 Paul Donald Freiburger Multi-volume rendering of single mode data in medical diagnostic imaging
CN101373541A (zh) * 2008-10-17 2009-02-25 东软集团股份有限公司 医学图像体绘制方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STEFAN BRUCKNER等: "Illustrative Context-Preserving Exploration of Volume Data", 《IEEE TRANSACTIONS ON VISUALIZATION AND COMPUTER GRAPHICS》, vol. 12, no. 6, 31 December 2006 (2006-12-31), pages 1 - 5 *
贠照强: "保留上下文环境体绘制模型研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 4, 15 April 2011 (2011-04-15) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106897965A (zh) * 2015-12-14 2017-06-27 国基电子（上海）有限公司 彩色图像处理系统及彩色图像处理方法
CN106897965B (zh) * 2015-12-14 2020-04-28 国基电子（上海）有限公司 彩色图像处理系统及彩色图像处理方法
CN109951704A (zh) * 2017-12-20 2019-06-28 三星电子株式会社 用于处理图像交互的方法和装置
CN108257202A (zh) * 2017-12-29 2018-07-06 四川师范大学 一种基于使用场景的医学图像容积重建优化方法
CN108257202B (zh) * 2017-12-29 2021-09-10 四川师范大学 一种基于使用场景的医学图像容积重建优化方法
CN109685899A (zh) * 2018-12-25 2019-04-26 成都四方伟业软件股份有限公司 三维可视化标注管理系统、方法和计算机存储介质

Also Published As

Publication number Publication date
CN103745496B (zh) 2017-01-18

Similar Documents

Publication Publication Date Title
Ljung et al. State of the art in transfer functions for direct volume rendering
Guo et al. Wysiwyg (what you see is what you get) volume visualization
Ji et al. Easy mesh cutting
Kazi et al. Vignette: interactive texture design and manipulation with freeform gestures for pen-and-ink illustration
DE102017124573A1 (de) Systeme und verfahren zum beschneiden von neuronalen netzen für eine betriebsmitteleffiziente folgerung
CN107507134A (zh) 基于卷积神经网络的超分辨率方法
CN105719327A (zh) 一种艺术风格化图像处理方法
CN110249367A (zh) 用于实时渲染复杂数据的系统和方法
Tian et al. Multi-step medical image segmentation based on reinforcement learning
CN103077557B (zh) 一种自适应分层次胸部大数据显示的实现方法
Sýkora et al. StyleBlit: Fast Example‐Based Stylization with Local Guidance
DE102017007967A1 (de) Verarbeiten und rendern eines dreidimensionalen Modells
CN103745496A (zh) 基于二维图像为交互界面的转换函数的直接体绘制方法
CN104616327B (zh) 一种基于曲面细分的着色器简化方法、装置及图形渲染方法
CN108597038B (zh) 一种三维表面建模方法及装置、计算机存储介质
Vinker et al. Image shape manipulation from a single augmented training sample
Lin et al. Interactive lighting design with hierarchical light representation
DE102022112888A1 (de) Benutzerschnittstellen und Verfahren zum Erzeugen eines neuen Artefakts auf der Grundlage vorhandener Artefakte
Gai et al. Artistic low poly rendering for images
Chen et al. Image vectorization with real-time thin-plate spline
CN106683160A (zh) 一种基于二维直方图的传递函数设计方法及装置
Marniok et al. An efficient octree design for local variational range image fusion
Mattingly et al. 3D modeling of branching structures for anatomical instruction
dos Passos et al. Sample-based synthesis of illustrative patterns
DE112022002137T5 (de) Hybrides differenzierbares Rendering für Lichttransportsimulationssysteme und -Anwendungen

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant