CN112083799A - 一种增强现实辅助穿刺定位方法 - Google Patents
一种增强现实辅助穿刺定位方法 Download PDFInfo
- Publication number
- CN112083799A CN112083799A CN202010715407.8A CN202010715407A CN112083799A CN 112083799 A CN112083799 A CN 112083799A CN 202010715407 A CN202010715407 A CN 202010715407A CN 112083799 A CN112083799 A CN 112083799A
- Authority
- CN
- China
- Prior art keywords
- puncture
- image
- puncture needle
- gaussian
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 20
- 230000007246 mechanism Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 2
- 210000004872 soft tissue Anatomy 0.000 description 7
- 108010010803 Gelatin Proteins 0.000 description 5
- 229920000159 gelatin Polymers 0.000 description 5
- 239000008273 gelatin Substances 0.000 description 5
- 235000019322 gelatine Nutrition 0.000 description 5
- 235000011852 gelatine desserts Nutrition 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 210000002307 prostate Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B17/34—Trocars; Puncturing needles
- A61B17/3403—Needle locating or guiding means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Computer Hardware Design (AREA)
- Artificial Intelligence (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- Software Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种增强现实辅助穿刺定位方法，包括以下步骤1)打开混合虚拟现实设备，将混合虚拟模型导入到混合现实设备中，2)将虚拟模型和三维物体进行拟合，3)拟合完成，将识别图和穿刺针进行绑定，4)打开设备中识别图像的功能，开始识别图像，5)识别完成后，将会出现和穿刺针一样的穿刺针模型，并且两个是重合的，6)开始穿刺，移动穿刺针，混合虚拟现实设备中的穿刺针模型会跟随三维真实的穿刺针，7)确认穿刺针进入的点，当穿刺针触碰到穿刺进入的点后，设备中提示进针点已确认完毕，8)调整穿刺的方向，当穿刺方向正确后，设备中提示，9)开始穿刺，当穿刺到目标位置后，提示穿刺，10)整个穿刺过程完成。
Description
技术领域
本发明属于医疗穿刺介入技术领域，特别涉及一种增强现实辅助穿刺定位方法。
背景技术
穿刺介入手术是一种典型的微创手术，因创伤小、患者痛苦小及恢复快等优点受到广泛应用。目前大多数都是通过CT、超声或C臂机等医学影像设备扫描后，本着穿刺路径最短的原则，医师会在穿刺介入手术实施前规划出一条最佳的直线穿刺路径，然后根据经验进行穿刺手术，然而软组织为非均质、各向异性材料，穿刺针进入软组织后会因受力不均而产生横向偏斜，使针尖偏离靶点，进而影响治疗效果，导致手术时间长，此外，软组织为不可视材料，穿刺针进入软组织后其偏斜状态无法直接观察，而且穿刺过程中人体需要进行呼吸，需要穿刺的病灶位置可能会随人体呼吸进行移动，传统的自动穿刺方法无法对呼吸导致的位移进行调整，导致人体呼吸时穿刺装置不能对病灶进行精准穿刺，可能会对穿刺对象造成意外的伤害；同时，CT、超声或C臂机等医学影像设备的价格昂贵、操作复杂、占用空间大，还会对人体产生辐射。
另外一些学者尝试使用类生物明胶进行穿刺过程的模拟研究，对明胶内设置的目标靶点进行针尖定位实验，此方法中穿刺对象的可视化问题虽然得到了有效解决，但明胶与软组织的材料力学性能相差较大。穿刺明胶的模拟研究中所得穿刺针的结构参数和进针策略并不能完全适用于动物软组织的穿刺过程，大大降低了优化实验的作用。此外，面向不同动物软组织的穿刺过程，如肝脏、肾脏、前列腺等，往往需要花费大量的时间和精力去配置具有相近材料力学性能的明胶模型，严重影响实验进展。
发明内容
本发明的目的是克服现有技术存在的缺陷，提供一种能够快速的进行穿刺、命中目标点，降低整个穿刺过程所用的时间和误差的增强现实辅助穿刺定位方法。
实现本发明目的的技术方案是：一种增强现实辅助穿刺定位方法，包括以下步骤：
(1)在需要拟合的模型上选取3～7个特征点，打开虚拟混合现实设备，将模型导入虚拟混合现实设备中；具体为：使用混合现实设备扫描到手，在手指尖的位置放置一个虚拟的球，然后手指移动在空间中逐一找到各实体特征点，并且记录位置，确认进行拟合并查看虚拟模型和实体的位置、角度的关系，手部跟踪拟合完成；
(2)在虚拟模型上选取穿刺进入点、穿刺点和穿刺通道；
(3)将虚拟模型导入到混合现实设备中，并将虚拟模型和三维物体进行拟合；
(4)将识别图片和穿刺针进行绑定；具体为：在穿刺针上绑有一张二维码的图片；
(5)打开混合现实设备中识别图像的功能，开始识别图片并读取穿刺的深度和角度信息；
(6)识别完成后，出现和穿刺针相同的穿刺针模型，并且两者重合；
(7)开始穿刺，移动穿刺针，混合虚拟现实设备中的穿刺针模型会跟随追踪三维真实的穿刺针；
(8)确认穿刺针进入的点，当穿刺针触碰到穿刺进入的点后，设备中提示进针点已确认完毕；
(9)调整穿刺的方向，当穿刺方向正确后，设备中提示开始穿刺，当穿刺到目标位置后，提示穿刺；
(10)整个穿刺过程完成。
上述技术方案所述步骤(5)中的识别图像包括图像采集、图像预处理、特征提取和图像识别；具体为：记经过高斯滤波器σn平滑处理的采集图像为I(x，y)；
构建用于寻找特征点的尺度为σ的高斯差分图像，该高斯差分图像由尺度为kσ的图像L(x，y，kσ)与尺度为σ的L图像L(x，y，σ)差分生成，一系列的σi则可以生成一系列的L(x，y，σi)图像，这一系列的L(x，y，σ)图像构建成尺度空间图像，其中，L(x，y，σ)表示由一个高斯滤波器与原图像卷积而生成的图像，且
当查找空间S层的极小值时，通过S+3层尺度空间图像来构建出S+2层高斯差分图像，然后查找其中的第2层到第S-1层，极小值通过同一组内S层高斯差分图像和S层高斯差分图像的上下相邻高斯差分图像的相邻点比较，并利用已知的离散空间点插值得到连续空间极值点，其中S为高斯金字塔每一组的层数，O为高斯金字塔的组数。
上述技术方案所述高斯差分图像的高斯差分DOG的计算公式为：
k为相邻尺度空间倍数的常数，G(x，y，σ)表示高斯滤波器，且
上述技术方案构建的尺度空间图像的第一组的索引为0或-1，当索引为0时，第一组第一层的图像是由经过高斯滤波器σn平滑处理的图像I(x，y)与高斯滤波器σo卷积生成，对图像I(x，y)用高斯滤波器σ平滑，其公式为：
当索引为-1时，将I(x，y)双性差值放大后得到Is(x，y)，第一组第一层的图像是由经过高斯滤波器2σn平滑处理的图像I(x，y)与高斯滤波器σo卷积生成；对图像I(x，y)用高斯滤波器σ′平滑，其公式为：
其中，FirstLayer(x，y)表示整个尺度空间为第1组第1层的图像，
σ0＝1.6，σn＝0.5。
上述技术方案利用子像元插值的方法得到极值点具体为：在尺度为σ的尺度图像D(x，y)上检测到了一个局部极值点，空间位置为(x，y，σ)，设其偏离了(x，y，σ)的坐标为(Δx，Δy，Δσ).则对D(Δx，Δy，Δσ)表示为在(x，y，σ)处的泰勒展开：
将泰勒展开式写成矢量形式：
令矢量形式的一阶倒数等于0，可求得
通过多次迭代，得到最终候选点的精确位置与尺度
将其代入矢量形式的公式求得
求其绝对值
如果其绝对值低于阈值将被删除。
上述技术方案删除主曲率比值大于阀值γ的极值点，具体为：主曲率可以通过2×2的Hessian矩阵H求出：
其中，D值通过求取邻近点像素的差分得到，H的特征值与D的主曲率成正比，令α＝λmax为最大的特征值，β＝λmax为最小的特征值，那么通过H矩阵直接计算两者的和，通过H矩阵的行列计算它们的乘积：
Tr(H)＝Dxx+Dyy＝α+β，
Det(H)＝DxxDyy-(Dxy)2＝αβ，
如果γ为最大特征值与最小特征值之间的比例，那么α＝γβ，得到，
当
不成立时，删除该极值点。
上述技术方案所述步骤(7)中的跟随追踪为目标进行编码来代表目标的外观，通过分类器判别是目标还是背景，当使用的多个目标之间存在较大的重叠区域时，通过正则化最小二乘法的
寻找一组权值W，得到w＝(XTX+λI)-1XTy，w*＝(XHX+λI)-1XHy，其中，X，y就是对应的样本和类别，XH是X的共轭转置，w*是w的共轭，最终得到
上述技术方案所述步骤(1)具体为：把特征点的目标输出ri投影到一个随机方向w上，并且选择一对特征(u，v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有样本相关性，根据公式
训练每个回归器rt，并使用最小二乘法最小化误差，回归器的输入参数为图像I和上一级回归器更新后的形状，其中Ii(u’)为训练数据，Ii(v’)为训练数据，t表示级联序号，
表示当前形状估计，rt(·，·)表示当前级的回归器，I表示采集到的图像。
上述技术方案所述手部跟踪包括掌上检测器、手部标志和手势识别器；所述掌上检测器对整个图像进行操作，并返回一个定向的手部边界框；所述手部标志在掌上探测器定义的裁剪图像区域上操作，并返回高保真的3D手部关键点；所述手势识别器根据关节的角度识别每根手指的状态，并配置分类为一组离散的手势。
上述技术方案所述步骤(8)中，将导轨固定在床边，调节调节杆，找到穿刺进入点后固定调节杆，通过旋转按钮将穿刺轨道调节好穿刺方向，通过微调装置进行角度位置的调整，然后固定，进行穿刺。
上述技术方案所述导轨包括固定装置、支撑杆、方向调节机构、方向调节杆、微调装置、固定夹和夹持装置；所述固定装置的一端通过固定夹与床固定，另一端与第一支撑杆的一端套接；所述第一支撑杆的另一端与方向调节机构的一端转动连接；所述方向调节机构的另一端与第二支撑杆的一端铰接相连，且方向调节机构上延伸出方向调节杆；所述第二支撑杆的另一端一次通过微调装置、调节杆、夹持装置与穿刺轨道相连接；所述微调装置上延伸有上下方向调节杆和左右方向调节杆。
采用上述技术方案后，本发明具有以下积极的效果：
(1)本发明能够快速的进行穿刺，降低整个穿刺过程所用的时间；穿刺过程中引导穿刺进入点和方向，节省时间；能够快速的命中目标点，并且提高整个过程中所用的时间和人力；减少成本，降低了操作的复杂度，能够让新手可以快速的进行操作，缩短了培育人才的时间，调高了工作效率；能够快速到达穿刺点，降低了整个穿刺过程中的误差。
(2)本发明能够快速的将虚拟混合现实中的模型快速和真实的三维人体进行拟合，并且将拟合的误差降低，整个过程能够在最短的时间内完成，降低了拟合过程所使用的时间，降低了操作的复杂度，能够让使用者快速上手。
附图说明
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中
图1为本发明的高斯金字塔每一组的层数为3的示意图；
图2为本发明的寻找尺度空间的极值点的比较示意图；
图3为本发明的子像元插值法示意图；
图4为本发明的手部跟踪原理框架图；
图5为本发明的导轨的结构示意图。
具体实施方式
(实施例1)
本发明涉及一种增强现实辅助穿刺定位方法，包括以下步骤：
(1)在需要拟合的模型上选取特征点，打开虚拟混合现实设备，将模型导入虚拟混合现实设备中；具体为：使用混合现实设备扫描到手，在手指尖的位置放置一个虚拟的球，然后手指移动在空间中找到特征点，并且记录位置，最后进行拟合；
(2)在虚拟模型上选取穿刺进入点、穿刺点和穿刺通道；
(3)将虚拟模型导入到混合现实设备中，并将虚拟模型和三维物体进行拟合；
(4)将识别图片和穿刺针进行绑定；具体为：在穿刺针上绑有一张二维码的图片；
(5)打开混合现实设备中识别图像的功能，开始识别图片并读取穿刺的深度和角度信息；
(6)识别完成后，出现和穿刺针相同的穿刺针模型，并且两者重合；
(7)开始穿刺，移动穿刺针，混合虚拟现实设备中的穿刺针模型会跟随追踪三维真实的穿刺针；
(8)确认穿刺针进入的点，当穿刺针触碰到穿刺进入的点后，设备中提示进针点已确认完毕；
(9)调整穿刺的方向，当穿刺方向正确后，设备中提示开始穿刺，当穿刺到目标位置后，提示穿刺；
(10)整个穿刺过程完成。
步骤(5)中，图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。图像识别是以图像的主要特征为基础的，每个图像都有它的特征，如字母A有个尖，P有个圈、而Y的中心有个锐角等。对图像识别时眼动的研究表明，视线总是集中在图像的主要特征上，也就是集中在图像轮廓曲度最大或轮廓方向突然改变的地方，这些地方的信息量最大，而且眼睛的扫描路线也总是依次从一个特征转到另一个特征上。由此可见，在图像识别过程中，知觉机制必须排除输入的多余信息，抽出关键的信息。同时，在大脑里必定有一个负责整合信息的机制，它能把分阶段获得的信息整理成一个完整的知觉映象。
该步骤中识别图像包括图像采集、图像预处理、特征提取和图像识别；具体为：记经过高斯滤波器σn平滑处理的采集图像为I(x，y)；
构建用于寻找特征点的尺度为σ的高斯差分图像，该高斯差分图像由尺度为kσ的图像L(x，y，kσ)与尺度为σ的L图像L(x，y，σ)差分生成，一系列的σi则可以生成一系列的L(x，y，σi)图像，这一系列的L(x，y，σ)图像构建成尺度空间图像，其中，L(x，y，σ)表示由一个高斯滤波器与原图像卷积而生成的图像，且
特征点的寻找需要查找的是空间局部极小值，即在某一层上查找局部极值点的时候需要用到上一层与下一层的高斯差分图像，当查找空间S层的极小值(特征点)时，通过S+3层尺度空间图像来构建出S+2层高斯差分图像，然后查找其中的第2层到第S-1层，极小值通过同一组内S层高斯差分图像和S层高斯差分图像的上下相邻高斯差分图像的相邻点比较，并利用已知的离散空间点插值得到连续空间极值点，其中S为高斯金字塔每一组的层数，o为高斯金字塔的组数。如果整个尺度空间一共有0组，则每层有S+3层图像，共o*(S+3)张尺度图。
而每一个高斯差分图像G(x，y，σ)都需要两幅尺度空间的图像L(x，y，kσ)与L(x，y，σ)进行差分生成。
见图1，假设S＝3，则需要的高斯差分图像有S+2＝5张，分别为G(x，y，σ)，G(x，y，kσ)，G(x，y，k2σ)，G(x，y，k3σ)，G(x，y，k4σ).其中G(x，y，kσ)，G(x，y，k2σ)，G(x，y，k3σ)这三张图像是用来查找极值点的图像，需要S+3＝6张尺度空间图像生成上面那些高斯差分图像，它们分别为：L(x，y，σ)，L(x，y，kσ))，L(x，y，k2σ)，L(x，y，k3σ)，L(x，y，k4σ)，L(x，y，，k5σ)。
见图2，为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点进行比较，看其是否比它的图像域和尺度域的相邻点大或小。对于其中的任意一个检测点都要和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像位置空间都检测到极值点。也就是，比较是在一个3×3的立方体内进行。
搜索过程从每组的第二层开始，以第二层为当前层，对第二层的DOG图像中的每个点取一个3×3的立方体，立方体上下层为第一层与第三层.这样，搜索得到的极值点既有位置坐标(DOG的图像坐标)，又有空间尺度坐标(层坐标).当第二层搜索完成后，再以第三层作为当前层，其过程与第二层的搜索类似.当S＝3时，每组里面要搜索3层。
高斯差分图像的高斯差分DOG的计算公式为：
k为相邻尺度空间倍数的常数，G(x，y，σ)表示高斯滤波器，且
构建的尺度空间图像的第一组的索引为0或-1，当索引为0时，第一组第一层的图像是由经过高斯滤波器σn平滑处理的图像I(x，y)与高斯滤波器σo卷积生成，对图像I(x，y)用高斯滤波器σ平滑，其公式为：
当索引为-1时，整个尺度空间的第1组的第1层图像已经是由原图像模糊生成的了，依旧是说已经丢失了细节信息，原图像完全没有利用上，将I(x，y)双性差值放大2倍后得到Is(x，y)，这样原图像的细节就隐藏在了其中，由于上面索引为0的分析已经知道了I(x，y)看成是已经被σn＝0.5模糊过的图像，那么将I(x，y)放大2倍后得到Is(x，y)，则可以看为是被2σn＝1的高斯核模糊过的图像，那么由Is生成第1组第1层的图像用的高斯滤波器
可以表示为：对图像I(x，y)用高斯滤波器σ′平滑，其公式为：
其中，FirstLayer(x，y)表示整个尺度空间为第1组第1层的图像，
σ0＝1.6，σn＝0.5，σn为半个像元。
见图3，利用子像元插值的方法得到极值点具体为：在尺度为σ的尺度图像D(x，y)上检测到了一个局部极值点，空间位置为(x，y，σ)，设其偏离了(x，y，σ)的坐标为(Δx，Δy，Δσ).则对D(Δx，Δy，Δσ)表示为在(x，y，σ)处的泰勒展开：
将泰勒展开式写成矢量形式：
令矢量形式的一阶倒数等于0，可求得
通过多次迭代，得到最终候选点的精确位置与尺度
将其代入矢量形式的公式求得
求其绝对值
如果其绝对值低于阈值将被删除。
为了得到稳定的特征点，只是删除高斯差分DOG响应值低的点是不够的。由于高斯差分DOG对图像中的边缘有比较强的响应值，而一旦特征点落在图像的边缘上，这些点就是不稳定的点。一方面图像边缘上的点是很难定位的，具有定位歧义性；另一方面这样的点很容易受到噪声的干扰而变得不稳定。
一个平坦的高斯差分DOG响应峰值往往在横跨边缘的地方有较大的主曲率，而在垂直边缘的方向有较小的主曲率。
删除主曲率比值大于阀值γ的极值点，具体为：主曲率可以通过2×2的Hessian矩阵H求出：
其中，D值通过求取邻近点像素的差分得到，H的特征值与D的主曲率成正比，可以避免求取具体的特征值，只关心特征值的比例。令α＝λmax为最大的特征值，β＝λmax为最小的特征值，那么通过H矩阵直接计算两者的和，通过H矩阵的行列计算它们的乘积：
Tr(H)＝Dxx+Dyy＝α+β，Det(H)＝DxxDyy-(Dxy)2＝αβ，
如果γ为最大特征值与最小特征值之间的比例，那么α＝γβ，得到，
该结果只与两个特征值的比例有关，而与具体特征值无关。当两个特征值相等时，
的值最小，随着γ的增加，
的值也增加.所以要想检查主曲率的比例小于某一阀值γ，
只要检查
是否成立，
当
不成立时，删除该极值点，也就是说对于主曲率比值大于10的特征点将被删除。
图像跟中中，首先，思考下跟踪时目标是在当前帧找到在前面的所有或绝大部分帧中正确跟踪的目标。由于追踪目标到当前帧，所以已知它是如何运动的，也即知道运行模型的参数。所谓运行模型，就是知道前面帧中的目标的位置和速度。即便对目标一无所知，但是根据当前运行模型也可以预测目标的可能位置，并且这个预测可能会很准确。
但是，本方案有更多的信息，比如可以对目标进行编码来代表目标的外观模型。此模型可以用来搜索，由运动模型预测的临近范围内的目标来获得更加准确的预测。运动模型预测目标的大概位置，外观模型微调此预估，来获得一个更准确的预测.
如果说目标很简单，并且外观改变不大的话，可以简单地使用一个模板作为外观模型并在图像中搜索模板就可以。分类器的任务就是简单地判别一个矩形框是目标还是背景。分类器的输入是一个图像patch，返回一个0到1之间的分值。分值为0代表是背景，1则为目标。在机器学习中，通常用在线学习代表算法可以在运行时飞快地训练完，而离线分类器需要几千个样本来训练一个分类器，而在线算法仅需要几个样本就可以。
分类器由正样本(目标)和负样本(非目标)来训练得到，以此分类器学习到目标与非目标之间的差异。
步骤(7)中的跟随追踪为目标进行编码来代表目标的外观，通过分类器判别是目标还是背景，当使用的多个目标之间存在较大的重叠区域时，通过正则化最小二乘法的
寻找一组权值W，得到w＝(XTX+λI)-1XTy，w*＝(XHX+λI)- 1XHy，其中，X，y就是对应的样本和类别，XH是X的共轭转置，w*是w的共轭，最终得到
步骤(1)具体为：把特征点的目标输出ri投影到一个随机方向w上，并且选择一对特征(u，v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有样本相关性，根据公式
训练每个回归器rt，并使用最小二乘法最小化误差，回归器的输入参数为图像I和上一级回归器更新后的形状，采用的特征可以是灰度值或者其它，每个回归器由很多棵树(tree)组成，每棵树参数是根据初步估计形状和真实得到的数据的坐标差和随机挑选的像素对训练得到的。其中Ii(u’)为训练数据，Ii(v’)为训练数据，t表示级联序号，
表示当前形状估计，rt(·，·)表示当前级的回归器，I表示采集到的图像。
手势识别能够对手的形状和运动轨迹进行感知是改善用户在不同的技术领域和平台上的体验的一个重要组成部分。例如，它可以实现手语理解和手势控制，还可以使数字内容和信息叠加在增强现实(AR)的物理世界之上。
见图4，手部跟踪包括掌上检测器、手部标志和手势识别器；掌上检测器对整个图像进行操作，并返回一个定向的手部边界框，这是一个可识别单帧图像的模型，主要用于识别手掌初始位置，可识别多种不同手掌大小，具备较大的缩放范围，还能识别手部遮挡，并且能通过对手臂、躯干或个人特征等的识别来准确定位手部，弥补手部对于高对比度纹理特征的缺失；手部标志在掌上探测器定义的裁剪图像区域上操作，并返回高保真的3D手部关键点，在掌上检测器识别到的首张范围内可识别到21个立体节点坐标；手势识别器根据关节的角度识别每根手指的状态，将每根手指的状态映射到的预定于的手势上，并通过这种方法来预测基础的静态手势，并配置分类为一组离散的手势，如：弯曲或伸直。
(实施例2)
本实施例与实施例1基本相似，其区别在于：增加了导轨，在步骤(8)中，将导轨固定在床边，调节调节杆8，找到穿刺进入点后固定调节杆8，通过旋转按钮将穿刺轨道7调节好穿刺方向，通过微调装置5进行角度位置的调整，然后固定，进行穿刺。
见图5，导轨包括固定装置1、支撑杆、方向调节机构3、方向调节杆4、微调装置5、固定夹6和夹持装置；固定装置1的一端通过固定夹6与床固定，另一端与第一支撑杆2的一端套接；第一支撑杆2的另一端与方向调节机构3的一端转动连接；方向调节机构3的另一端与第二支撑杆6的一端铰接相连，且方向调节机构3上延伸出方向调节杆9；第二支撑杆6的另一端一次通过微调装置5、调节杆8、夹持装置与穿刺轨道7相连接；微调装置5上延伸有上下方向调节杆10和左右方向调节杆11。
本发明的实现过程：首先准备一个混合虚拟现实设备、混合现实虚拟模型、穿刺针和需要识别的图像。
首先在需要拟合的手部模型上选取特征点，其次打开虚拟混合现实设备，将模型导入虚拟混合现实设备，使用混合现实设备扫描到手，在手指尖的位置放置一个虚拟的球，然后手指移动在空间中找到特征点，并且记录位置，最后进行自己的手和虚拟混合现实设备中的手模型重合。
首先在虚拟模型上选取穿刺进入点，其次选取穿刺点，最后选择穿刺通道；将虚拟模型导入到混合现实设备中，然后将虚拟模型和三维实体进行拟合，拟合完成后开始进行图像识别，在穿刺针上会有一张二维码的图片，使用混合现实设备进行识别这张二维码，识别到二维码之后开始穿刺，在穿刺的过程中会显示穿刺的深度和角度信息，到达穿刺点后，穿刺过程完成。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种增强现实辅助穿刺定位方法，其特征在于，包括以下步骤：
(1)在需要拟合的模型上选取3～7个特征点，打开虚拟混合现实设备，将模型导入虚拟混合现实设备中；具体为：使用混合现实设备扫描到手，在手指尖的位置放置一个虚拟的球，然后手指移动在空间中逐一找到各实体特征点，并且记录位置，确认进行拟合并查看虚拟模型和实体的位置、角度的关系，手部跟踪拟合完成；
(2)在虚拟模型上选取穿刺进入点、穿刺点和穿刺通道；
(3)将虚拟模型导入到混合现实设备中，并将虚拟模型和三维物体进行拟合；
(4)将识别图片和穿刺针进行绑定；具体为：在穿刺针上绑有一张二维码的图片；
(5)打开混合现实设备中识别图像的功能，开始识别图片并读取穿刺的深度和角度信息；
(6)识别完成后，出现和穿刺针相同的穿刺针模型，并且两者重合；
(7)开始穿刺，移动穿刺针，混合虚拟现实设备中的穿刺针模型会跟随追踪三维真实的穿刺针；
(8)确认穿刺针进入的点，当穿刺针触碰到穿刺进入的点后，设备中提示进针点已确认完毕；
(9)调整穿刺的方向，当穿刺方向正确后，设备中提示开始穿刺，当穿刺到目标位置后，提示穿刺；
(10)整个穿刺过程完成。
2.根据权利要求1所述的一种增强现实辅助穿刺定位方法，其特征在于：所述步骤(5)中的识别图像包括图像采集、图像预处理、特征提取和图像识别；具体为：记经过高斯滤波器σn平滑处理的采集图像为I(x，y)；
构建用于寻找特征点的尺度为σ的高斯差分图像，该高斯差分图像由尺度为kσ的图像L(x，y，kσ)与尺度为σ的L图像L(x，y，σ)差分生成，一系列的σi则可以生成一系列的L(x，y，σi)图像，这一系列的L(x，y，σ)图像构建成尺度空间图像，其中，L(x，y，σ)表示由一个高斯滤波器与原图像卷积而生成的图像，且
当查找空间S层的极小值时，通过S+3层尺度空间图像来构建出S+2层高斯差分图像，然后查找其中的第2层到第S-1层，极小值通过同一组内S层高斯差分图像和S层高斯差分图像的上下相邻高斯差分图像的相邻点比较，并利用已知的离散空间点插值得到连续空间极值点，其中S为高斯金字塔每一组的层数，O为高斯金字塔的组数。
3.根据权利要求2所述的一种增强现实辅助穿刺定位方法，其特征在于：所述高斯差分图像的高斯差分DOG的计算公式为：
k为相邻尺度空间倍数的常数，G(x，y，σ)表示高斯滤波器，且
构建的尺度空间图像的第一组的索引为0或-1，当索引为0时，第一组第一层的图像是由经过高斯滤波器σn平滑处理的图像I(x，y)与高斯滤波器σo卷积生成，对图像I(x，y)用高斯滤波器σ平滑，其公式为：
当索引为-1时，将I(x，y)双性差值放大后得到Is(x，y)，第一组第一层的图像是由经过高斯滤波器2σn平滑处理的图像I(x，y)与高斯滤波器σo卷积生成；对图像I(x，y)用高斯滤波器σ′平滑，其公式为：
其中，FirstLayer(x，y)表示整个尺度空间为第1组第1层的图像，
σ0＝1.6，σn＝0.5。
4.根据权利要求2所述的一种增强现实辅助穿刺定位方法，其特征在于：在尺度为σ的尺度图像D(x，y)上检测到了一个局部极值点，空间位置为(x，y，σ)，设其偏离了(x，y，σ)的坐标为(Δx，Δy，Δσ).则对D(Δx，Δy，Δσ)表示为在(x，y，σ)处的泰勒展开：
将泰勒展开式写成矢量形式：
令矢量形式的一阶倒数等于0，可求得
通过多次迭代，得到最终候选点的精确位置与尺度
将其代入矢量形式的公式求得
求其绝对值
如果其绝对值低于阈值将被删除。
5.根据权利要求4所述的一种增强现实辅助穿刺定位方法，其特征在于：删除主曲率比值大于阀值γ的极值点，具体为：主曲率可以通过2×2的Hessian矩阵H求出：
其中，D值通过求取邻近点像素的差分得到，H的特征值与D的主曲率成正比，令α＝λmax为最大的特征值，β＝λmax为最小的特征值，那么通过H矩阵直接计算两者的和，通过H矩阵的行列计算它们的乘积：
Tr(H)＝Dxx+Dyy＝α+β，
Det(H)＝DxxDyy-(Dxy)2＝αβ，
如果γ为最大特征值与最小特征值之间的比例，那么α＝γβ，得到，
当
不成立时，删除该极值点。
6.根据权利要求1所述的一种增强现实辅助穿刺定位方法，其特征在于：所述步骤(7)中的跟随追踪为目标进行编码来代表目标的外观，通过分类器判别是目标还是背景，当使用的多个目标之间存在较大的重叠区域时，通过正则化最小二乘法的
寻找一组权值W，得到w＝(XTX+λI)-1XTy，w*＝(XHX+λI)-1XHy，其中，X，y就是对应的样本和类别，XH是X的共轭转置，w*是w的共轭，最终得到
7.根据权利要求1所述的一种增强现实辅助穿刺定位方法，其特征在于：所述步骤(1)具体为：把特征点的目标输出ri投影到一个随机方向w上，并且选择一对特征(u，v)，使得Ii(u’)-Ii(v’)与被投影的目标wTri在训练数据上拥有样本相关性，根据公式
训练每个回归器rt，并使用最小二乘法最小化误差，回归器的输入参数为图像I和上一级回归器更新后的形状，其中Ii(u’)为训练数据，Ii(v’)为训练数据，t表示级联序号，
表示当前形状估计，rt(·，·)表示当前级的回归器，I表示采集到的图像。
8.根据权利要求7所述的一种增强现实辅助穿刺定位方法，其特征在于：所述手部跟踪包括掌上检测器、手部标志和手势识别器；所述掌上检测器对整个图像进行操作，并返回一个定向的手部边界框；所述手部标志在掌上探测器定义的裁剪图像区域上操作，并返回高保真的3D手部关键点；所述手势识别器根据关节的角度识别每根手指的状态，并配置分类为一组离散的手势。
9.根据权利要求1所述的一种增强现实辅助穿刺定位方法，其特征在于：所述步骤(8)中，将导轨固定在床边，调节调节杆，找到穿刺进入点后固定调节杆，通过旋转按钮将穿刺轨道调节好穿刺方向，通过微调装置进行角度位置的调整，然后固定，进行穿刺。
10.根据权利要求9所述的一种增强现实辅助穿刺定位方法，其特征在于：所述导轨包括固定装置、支撑杆、方向调节机构、方向调节杆、微调装置、固定夹和夹持装置；所述固定装置的一端通过固定夹与床固定，另一端与第一支撑杆的一端套接；所述第一支撑杆的另一端与方向调节机构的一端转动连接；所述方向调节机构的另一端与第二支撑杆的一端铰接相连，且方向调节机构上延伸出方向调节杆；所述第二支撑杆的另一端一次通过微调装置、调节杆、夹持装置与穿刺轨道相连接；所述微调装置上延伸有上下方向调节杆和左右方向调节杆。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715407.8A CN112083799A (zh) | 2020-07-23 | 2020-07-23 | 一种增强现实辅助穿刺定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010715407.8A CN112083799A (zh) | 2020-07-23 | 2020-07-23 | 一种增强现实辅助穿刺定位方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112083799A true CN112083799A (zh) | 2020-12-15 |
Family
ID=73735692
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010715407.8A Pending CN112083799A (zh) | 2020-07-23 | 2020-07-23 | 一种增强现实辅助穿刺定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112083799A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114271912A (zh) * | 2021-12-22 | 2022-04-05 | 苏州睿酷医疗科技有限责任公司 | 一种医学穿刺手术导航系统及方法 |
| CN117994346A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属协和医院 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020082611A1 (en) * | 1998-08-11 | 2002-06-27 | Toshiyuki Irie | Device for guiding puncture needle |
| CN108294814A (zh) * | 2018-04-13 | 2018-07-20 | 首都医科大学宣武医院 | 一种基于混合现实的颅内穿刺定位方法 |
| CN110537980A (zh) * | 2019-09-24 | 2019-12-06 | 上海理工大学 | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 |
-
2020
- 2020-07-23 CN CN202010715407.8A patent/CN112083799A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020082611A1 (en) * | 1998-08-11 | 2002-06-27 | Toshiyuki Irie | Device for guiding puncture needle |
| CN108294814A (zh) * | 2018-04-13 | 2018-07-20 | 首都医科大学宣武医院 | 一种基于混合现实的颅内穿刺定位方法 |
| CN110537980A (zh) * | 2019-09-24 | 2019-12-06 | 上海理工大学 | 一种基于运动捕捉和混合现实技术的穿刺手术导航方法 |
Non-Patent Citations (4)
| Title |
|---|
| 冯文斌: "《基于改进SIFT算法的图像匹配研究》", 中国优秀硕士学位论文全文数据库信息科技辑2018年, no. 04, pages 20 - 33 * |
| 董莲: "《基于边缘计算的视频监控系统》", 中国优秀硕士学位论文全文数据库信息科技辑2020年, no. 07, pages 42 * |
| 赵启明: "《基于方向空间多尺度相关滤波跟踪》", 国优秀硕士学位论文全文数据库信息科技辑2020年, no. 02, pages 3 * |
| 雷锋网LEIPHONE: "《谷歌开源基于ML的手部跟踪算法》", pages 1 - 14, Retrieved from the Internet <URL:https://baijiahao.baidu.com/s?id=1642530869622642917&wfr=spider&for=pc> * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114271912A (zh) * | 2021-12-22 | 2022-04-05 | 苏州睿酷医疗科技有限责任公司 | 一种医学穿刺手术导航系统及方法 |
| CN117994346A (zh) * | 2024-04-03 | 2024-05-07 | 华中科技大学同济医学院附属协和医院 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
| CN117994346B (zh) * | 2024-04-03 | 2024-06-14 | 华中科技大学同济医学院附属协和医院 | 基于数字孪生的穿刺器械检测方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103908300B (zh) | 诊断超声成像中的针增强 | |
| Zhao et al. | Tracking-by-detection of surgical instruments in minimally invasive surgery via the convolutional neural network deep learning-based method | |
| CN108420529A (zh) | 基于电磁定位技术和术中图像引导的手术导航仿真方法 | |
| CN107862282A (zh) | 一种手指静脉识别与安全认证方法及其终端及系统 | |
| CN106529188B (zh) | 应用于手术导航的图像处理方法 | |
| CN107335192A (zh) | 运动辅助训练方法、装置及存储装置 | |
| CN105869166B (zh) | 一种基于双目视觉的人体动作识别方法及系统 | |
| CN109087261B (zh) | 基于非受限采集场景的人脸矫正方法 | |
| CN109754396A (zh) | 图像的配准方法、装置、计算机设备和存储介质 | |
| CN109086706A (zh) | 应用于人机协作中的基于分割人体模型的动作识别方法 | |
| JP5748636B2 (ja) | 画像処理装置および方法並びにプログラム | |
| KR102450931B1 (ko) | 이미지 정합 방법 및 연관된 모델 훈련 방법, 기기, 장치 | |
| CN103914823B (zh) | 基于稀疏表示的快速精确非线性配准立体医学影像的方法 | |
| JP2007283108A (ja) | 画像の位置合わせを容易にするシステム及び方法 | |
| CN112083799A (zh) | 一种增强现实辅助穿刺定位方法 | |
| CN108628306A (zh) | 机器人行走障碍检测方法、装置、计算机设备和存储介质 | |
| CN108122219B (zh) | 基于联合稀疏与非负稀疏的红外与可见光图像融合方法 | |
| Chen et al. | Automatic and accurate needle detection in 2D ultrasound during robot-assisted needle insertion process | |
| CN105631899A (zh) | 一种基于灰度纹理特征的超声图像运动目标跟踪方法 | |
| CN111460976A (zh) | 一种数据驱动的基于rgb视频的实时手部动作评估方法 | |
| CN108154176A (zh) | 一种针对单一深度图像的3d人体姿态估计算法 | |
| CN115578320A (zh) | 一种骨科手术机器人全自动空间注册方法及系统 | |
| Zou et al. | Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking | |
| CN115272429A (zh) | 基于特征点的图像配准方法、系统和计算机可读存储介质 | |
| CN108876776B (zh) | 一种分类模型生成方法、眼底图像分类方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |