CN113180709A - 一种基于摄影测量的人体待检测部位姿态识别方法 - Google Patents
一种基于摄影测量的人体待检测部位姿态识别方法 Download PDFInfo
- Publication number
- CN113180709A CN113180709A CN202110740006.2A CN202110740006A CN113180709A CN 113180709 A CN113180709 A CN 113180709A CN 202110740006 A CN202110740006 A CN 202110740006A CN 113180709 A CN113180709 A CN 113180709A
- Authority
- CN
- China
- Prior art keywords
- detected
- human body
- point
- rgb
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims description 23
- 238000005070 sampling Methods 0.000 claims description 19
- 239000013598 vector Substances 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000036544 posture Effects 0.000 description 32
- 210000000038 chest Anatomy 0.000 description 18
- 238000003745 diagnosis Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241001456553 Chanodichthys dabryi Species 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000002594 fluoroscopy Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/04—Positioning of patients; Tiltable beds or the like
- A61B6/0492—Positioning of patients; Tiltable beds or the like using markers or indicia for aiding patient positioning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/08—Auxiliary means for directing the radiation beam to a particular spot, e.g. using light beams
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/44—Constructional features of apparatus for radiation diagnosis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/06—Diaphragms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
- A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
- A61B6/4233—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using matrix detectors
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Radiology & Medical Imaging (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本申请公开了一种基于摄影测量的人体待检测部位姿态识别方法,包括以下步骤:输入人体待检测部位预设摆位信息E0;分别利用RGB相机和深度相机拍摄获得人体待检测部位的自然图像PRGB和深度图像Pdep;建立待检测部位相对于X光机球管所在空间坐标系的空间姿态偏差。本发明通过实时获取人体目标部位的位置和姿态,能够实时给医护人员反馈患者当前的姿态与理论最佳拍摄姿态的差距,使得医护人员能够直观的知道患者如何调整当前的位置和姿态,以使得能够将患者目标位快速调整至理论最佳位置范围内,从而一次性获得高质量的X光片,消除因为姿态和距离问题带来的X光片质量低的问题。
Description
技术领域
本发明涉及摄影测量技术领域,尤其涉及基于摄影测量实现对人体包括空间位置、偏转角度和姿态在内的测量,具体涉及一种基于摄影测量的人体待检测部位姿态识别方法。
背景技术
X射线透视扫描是当前医疗领域非常常用的检查手段,尤其是针对骨质部位情况能够有很好的影像呈现,以供医生对患者目标部位进行诊断参考。
X光片的质量是影响医生判断患部情况最大的因素,而影响X光片质量的因素除了设备本身外,最为重要的就是患部与X光设备(主要指球管)之间的距离和角度,现有的X光片在拍摄的时候,患者的站位只能依靠医护人员目测进行,并没有科学的根据和调整的依据,也不能进行量化。因此,这就是使得现有的X光片要想一次性获得最佳质量,在人体站位这个因素上并不能得到解决,如果拍摄的X光片因为站位的问题导致质量不高,或将就查看,或重新拍摄;如果采用低质量的X光片作为医生诊断的依据,将不利于医生快速、准确的获得最客观的患处信息;如果重新拍摄,那么依然可能存在患者姿态偏斜导致二次失败,同时患者还要二次承受射线的辐射。
为了解决这一问题,本发明提供一种能够实时识别当前人体部位相对于X光设备(主要指球管)位置和姿态的方法,以使得在拍摄前,医护人员能够一目了然的掌握当前人体目标部位与最佳拍摄中心位置之间的偏差,以指导患者进行实时调整,从而尽可能的接近最佳姿态进行拍摄,一次性获得最佳或者接近最佳质量的X光片。
发明内容
为了解决背景技术中提及的现有的X光片拍摄技术存在的只能依靠医护人员经验和目测进行操作,无法获知患者目标部位当前姿态和位置与X光设备理论最佳拍摄姿态与位置之间的偏差导致无法获取到最佳X光片的问题,本申请提供一种基于摄影测量的人体待检测部位姿态识别方法,能够通过RGB相机和深度相机实时捕捉并计算人体待检测部位的空间姿态,从而获知相对于X光机球管理论最佳位置之间的偏斜,以便于医护人员指导患者调整姿势和位置,尽可能的与理论最佳位置重合,再进行拍摄,最终达到消除因人体站立位置或者姿态偏斜导致的X光片质量低的问题。当然,值得说明的是,虽然通过RGB相机和深度相机能够实时量化患者当前所处状态,但人体由于无法保持绝对静止,同时微小的位置和姿态偏斜并不会带来X光片质量的本质影响,因此,在实际操作时,也并非要求患者当前姿态与理论最佳位置和姿态100%重合,只要误差在预设范围内,均可视为获得的X光片质量足以满足现实诊断所需,技术效果得以实现。当然,结合本发明的指导下,同时时间条件允许的情况下,亦可以花费更多的时间尽可能的指导患者将姿态保持得无限接近于理论最佳位置和姿态,获得尽可能高质量的X光片。
通俗且直观的讲,如本发明检测到当前患者的位置在水平方向上与理论最佳位置之间向左偏离了5厘米,那么医护人员在进行X光片拍摄前,可以直观的指导患者向右移动,直到5厘米的偏移误差缩小到预设范围内或者可接受范围内;该预设范围是人为设定的,基于不同拍摄部位可以实时调整。再者,如当前患者姿态明显过于含胸驼背,那么本发明可获取患者当前胸部姿态与预设姿态的偏差通过欧拉角表示,以使得医护人员可以通过指导患者调整俯仰角,即需要站直,挺胸,以消除当前俯仰角的偏差,最终再姿态和位置均符合预设拍摄条件后再进行X光片的拍摄,从而获得理想的X光片。
为了达到上述目的,本申请所采用的技术方案为:
本发明提供了一种基于摄影测量的人体待检测部位姿态识别方法,包括以下步骤:
STP100,输入人体待检测部位预设摆位信息E0;所述的预设摆位信息E0;包括前后位、后前位、左侧位和右侧位,根据不同的部位其摆位信息E0包含的内容存在不同,具体可根据实际情况设定录入。
STP200,将人体当前待检测部位调整到相机视野范围内,分别利用RGB相机和深度相机拍摄获得人体待检测部位的自然图像PRGB和深度图像Pdep;
STP300,基于YOLO V3算法根据步骤STP200中获得的自然图像PRGB和深度图像Pdep获取当前人体待检测部位的摆位信息E1、待检测部位中心点O及由高为h,宽为w围成的矩形待检测部位;同时,将摆位信息E1与步骤STP100中的摆位信息E0对比;
若E1=E0,则执行步骤STP400,若E1≠E0,则执行步骤STP200;
STP400,获取待检测部位中心点O的空间坐标;
读取待检测部位的中心点O的像素坐标O(x,y),并利用RGB相机内参intrinsicsRGB,深度相机内参intrinsicsdepth,深度相机空间坐标到RGB相机空间坐标之间的变换矩阵extrinsicsd2c,输出待检测部位的中心点O在RGB空间坐标系下的坐标O' (xc',yc',zc' );上述相机内参均可直接由相机读取使用,无需经过计算获得。其中,读取中心点O的像素坐标为已知,可通过视觉处理库OpenCV中直接获得,属于现有技术内容,并为本领域技术人员广泛采用。
STP500,根据待检测部位的中心点O的像素坐标O(x,y)获取待检测部位矩形框的四个顶点P1、P2、P3、P4的像素坐标;
STP600,通过在步骤STP200中获得的自然图像PRGB上进行区域采样拟合人体表面所在参考平面PPLA;
STP700,将步骤STP500中获得的P1、P2、P3、P4映射到所述参考平面PPLA上,获得映射点
STP800,以O'为坐标原点建立空间坐标系,具体如下:
X轴
进而可求解出人体待检测部位所在空间坐标系O'XYZ相对于高压发生器的欧拉角θx,θy,θz;
最终获得人体待检测部位相对于高压发生器的姿态偏差;其中,
作为本发明的优选计算方式,所述STP400 获取待检测部位中心点O的空间坐标计算步骤如下:
STP410,获取RGB相机内参intrinsicsRGB;
STP420,获取深度相机内参intrinsicsdepth;
STP430,获取深度相机空间坐标系到RGB相机空间坐标系之间的变换矩阵extrinsicsd2c;
STP440,获取深度图像Pdep的高H和宽W;其中,x方向的起始位置为xbegin=0,结束为止为xend=W,y方向的起始位置为ybegin=0,结束为止为yend=H;
STP460,计算D点对应的空间坐标Dd'=(xd',yd',zd' ),其中
计算深度相机空间坐标系到RGB相机空间坐标系下的映射坐标Dc'=(xc',yc',zc' ),其中
STP470,将Dc'转换到RGB像素坐标系下Dc=(xc,yc ),其中
STP480,将计算待检测部位中心点O与步骤STP470中Dc的误差Ea0,其中
通过对比误差Ea0是否属于预设误差阈值范围,若误差Ea0不满足阈值条件,则返回步骤STP450;若误差Ea0满足阈值条件,则输出检测部位中心点O在RGB相机空间坐标系下的空间坐标O' (xc',yc',zc' )。
优选地,步骤STP460 还包括将深度图像Pdep中任一点的图像单位和标准长度单位之间的转换步骤,具体如下:
计算D点坐标zd= value(xd,yd )×scale,其中value(xd,yd )为D点的像素值,scale为深度相机中提取的图像单位与标准长度单位之间的映射关系。
优选地,步骤STP500中检测部位矩形框的四个顶点P1、P2、P3、P4的像素坐标采用下述方式计算获得:
P1=(x-w/2,y-h/2)
P2=(x+w/2,y-h/2)
P3=(x+w/2,y+h/2)
P4=(x-w/2,y+h/2)
其中,h和w分别为待检测部位矩形的高和宽。
优选地,步骤STP600中所述参考平面PPLA的拟合步骤如下:
STP610,以点O为中心,间距上下左右等距采样,采样点两两成对且左右对称,并在采样区域内随机采样N×N个点,获得采样点集合S={(x11,y11 ),(x12,y12 ),⋯,(xNN,yNN )},将采样点集合S转换为空间坐标点集合T={(x11,y11,z11),(x12,y12,z12),⋯,(xNN,yNN,zNN)};其中,N≥5。
作为优选方式,为了更进一步提升精度,步骤STP610中还包括将点集合T进行修正的步骤以获得修正后的点集合T',具体包括步骤如下:
STP611,采m行中,n列上的点Tm,n(xm,n,ym,n,zm,n )和等距分布在O'点另一侧N-n列的点Tm,N-n(xm,N-n,ym,N-n,zm,N-n),分别修正为:
STP612,将步骤STP611获得的点集合T'的数据建立步骤STP620所述参考平面PPLA。
STP620 以步骤STP610中的点集合T或T'为数据建立人体表面所在参考平面PPLA方程Ax+By+Cz=D,采用最小二乘法拟合参数A、B、C、D;
STP630,最小能量方程Eq如下:
其中,i={1,2,…,N×N},xi,yi,zi分别是第i个点的空间坐标;
STP640,通过梯度下降法迭代计算,使得Eq获得最小值的参数M=[A,B,C,D],参数M即为参考平面PPLA方程所需最优参数。
优选地,步骤STP700中将P1、P2、P3、P4映射到所述参考平面PPLA上的映射方法包括以下步骤:
STP710,已知探测器的宽wd,高hd;
STP720,设定人体表面参考平面PPLA的边界顶点为U1、U2、U3、U4,则有
STP730,设置参考平面PPLAX方向的起始位置xbegin=x-wd,结束位置xend=x+wd;设置y方向的起始位置ybegin=y-hd,结束位置yend=y+hd;
STP740,采用二分法选取人体表面平面空间坐标U(xf,yf,zf ),其中
xf=(xbegin+xend)/2, yf=(ybegin+yend)/2,zf=(D-Axf-Byf)/C;
STP750,将U转换到RGB像素坐标系下U'=(x'f, y'f )
其中,intrinsicsRGB为RGB相机内参;
STP760,计算Pn,n ∈{1,2,3,4}点与U'的误差Ea1为:
通过判断误差Ea1与Emin的大小输出Pn,其中,n ∈{1,2,3,4},xn,yn分别为Pn的在RGB像素坐标系的像素值;将Pn映射到所述参考平面PPLA上的映射点Pn'(xPn',yPn',zPn' ),判断方法如下:
STP761,若Ea1≤Emin即此时可得U'即为Pn点最优近似点,U为Pn点在参考平面PPLA的映射,执行步骤STP760;
STP762,若Ea1>Emin,则判断xf与xn的大小,yf与yn的大小,若xn<xf,xbegin=xf,否则xend=xf,同理若yn<yf,ybegin=yf,否则yend=yf,则返回到步骤STP740。
有益效果:
本发明通过实时获取人体目标部位的位置和姿态,能够实时给医护人员反馈患者当前的姿态与理论最佳拍摄姿态的差距,使得医护人员能够直观的知道患者如何调整当前的位置和姿态,以使得能够将患者目标位快速对准理论最佳位置范围内,从而一次性获得高质量的X光片,消除因为姿态和距离问题带来的X光片质量低的问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例1中胸部识别示意图;
图2是本发明实施例1中胸部采样示意图;
图3是本发明实施例1中空间坐标法向示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更为直观,详细的阐述本发明的要旨,以及其针对现有X光片拍摄领域所存在的实际问题所带来的实际技术效果和应用便捷,下面将以本发明的优选实施例结合具体拍摄部位详细阐述。
实施例1:
本实施例提供一种基于摄影测量的人体待检测部位姿态识别方法,用于在进行X光拍摄时,实时识别人体待检测部位的位置和姿态,从而获知当前位置和姿态与X光机球管预设最佳位置和姿态之间的偏差,以便于实时调整,快速调整正确站位,一次性获得高质量X光片;消除现有技术中只能依赖于操作人员的个人感官经验来指导患者进行站位所带来的主观性和不确定性。本实施例以拍摄胸片为例进行阐述,具体包括以下步骤:
STP100,输入胸部预设摆位信息E0;本实施例中所述的预设摆位信息E0包括前后位、后前位、左侧位和右侧位,当然,在不同的应用场景存在不同,根据不同的部位其摆位信息E0包含的内容可能少于或者多余本实施例所述摆位,具体可根据实际情况设定录入,针对特殊部位的特殊摆位不属于本实施例针对的范围,在此不做详述。
STP200,将人体胸部调整到相机视野范围内,分别利用RGB相机和深度相机拍摄获得胸部的自然图像PRGB和深度图像Pdep;
STP300,基于YOLO V3算法根据步骤STP200中获得的自然图像PRGB和深度图像Pdep获取当前胸部的摆位信息E1、胸部中心点O及由高为h,宽为w围成的矩形胸部;同时,将摆位信息E1与步骤STP100中的摆位信息E0对比;
若E1=E0,则执行步骤STP400,若E1≠E0,则执行步骤STP200;
STP400,获取胸部中心点O的空间坐标;
读取胸部的中心点O的像素坐标O(x,y),并利用RGB相机内参intrinsicsRGB,深度相机内参intrinsicsdepth,深度相机空间坐标到RGB相机空间坐标之间的变换矩阵extrinsicsd2c,输出胸部的中心点O在RGB空间坐标系下的坐标O' (xc',yc',zc' );其中,读取中心点O的像素坐标为已知,可通过视觉处理库OpenCV中直接获得,属于现有技术内容,并为本领域技术人员广泛采用。
所述胸部中心点O的空间坐标计算步骤如下:
STP410,获取RGB相机内参intrinsicsRGB;
STP420,获取深度相机内参intrinsicsdepth;
STP430,获取深度相机空间坐标系到RGB相机空间坐标系之间的变换矩阵extrinsicsd2c;
STP440,获取深度图像Pdep的高H和宽W;其中,x方向的起始位置为xbegin=0,结束为止为xend=W,y方向的起始位置为ybegin=0,结束为止为yend=H;
STP460,计算D点对应的空间坐标Dd'=(xd',yd',zd' ),其中
计算深度相机空间坐标系到RGB相机空间坐标系下的映射坐标Dc'=(xc',yc',zc' ),其中
本步骤中还包括将深度图像Pdep中任一点的图像单位和标准长度单位之间的转换步骤,具体如下:
计算D点坐标zd= value(xd,yd )×scale,其中value(xd,yd )为D点的像素坐标,scale为深度相机中提取的图像单位与标准长度单位之间的映射关系。
STP470,将Dc'转换到RGB像素坐标系下Dc=(xc,yc ),其中
STP480,将计算胸部中心点O与步骤STP470中Dc的误差Ea0,其中
通过对比误差Ea0是否属于预设误差阈值范围,若误差Ea0不满足阈值条件,则返回步骤STP450;若误差Ea0满足阈值条件,则输出胸部中心点O在RGB相机空间坐标系下的空间坐标O' (xc',yc',zc' )。
STP500 根据胸部的中心点O的像素坐标O(x,y)获取胸部矩形框的四个顶点P1、P2、P3、P4的像素坐标,具体如图1所示;胸部矩形框的四个顶点P1、P2、P3、P4的像素坐标采用下述方式计算获得:
P1=(x-w/2,y-h/2)
P2=(x+w/2,y-h/2)
P3=(x+w/2,y+h/2)
P4=(x-w/2,y+h/2)
其中,h和w分别为胸部矩形的高和宽。
STP600,通过在步骤STP200中获得的自然图像PRGB上进行区域采样拟合人体表面所在参考平面PPLA;所述参考平面PPLA的拟合步骤如下:
STP610,以点O为中心,间距上下左右等距采样,采样点两两成对且左右对称,如图2所示,并在采样区域内随机采样N×N个点,获得采样点集合S={(x11,y11 ),(x12,y12 ),⋯,(xNN,yNN )},将采样点集合S转换为空间坐标点集合T={(x11,y11,z11),(x12,y12,z12 ),⋯,(xNN,yNN,zNN)};其中,N≥5。
为了更进一步提升精度,步骤STP610中还包括将点集合T进行修正的步骤以获得修正后的点集合T',具体包括步骤如下:
STP611,采m行中,n列上的点Tm,n(xm,n,ym,n,zm,n )和等距分布在O'点另一侧N-n列的点Tm,N-n(xm,N-n,ym,N-n,zm,N-n),分别修正为:
STP612,将步骤STP611获得的点集合T'的数据建立步骤STP620所述参考平面PPLA。
STP620,以步骤STP610中的修正后的点集合T'为数据建立人体表面所在参考平面PPLA方程Ax+By+Cz=D,采用最小二乘法拟合参数A、B、C、D;
STP630,最小能量方程Eq如下:
其中,i={1,2,…,N×N},xi,yi,zi分别是第i个点的空间坐标;
STP640,通过梯度下降法迭代计算,使得Eq获得最小值的参数M=[A,B,C,D],参数M即为参考平面PPLA方程所需最优参数。
STP700,将步骤STP500中获得的P1、P2、P3、P4映射到所述参考平面PPLA上,获得映射点
将P1、P2、P3、P4映射到所述参考平面PPLA上的映射方法包括以下步骤:
STP710,已知探测器的宽wd,高hd;
STP720,设定人体表面参考平面PPLA的边界顶点为U1、U2、U3、U4,则有
STP730,设置参考平面PPLAX方向的起始位置xbegin=x-wd,结束位置xend=x+wd;设置y方向的起始位置ybegin=y-hd,结束位置yend=y+hd;
STP740,采用二分法选取人体表面平面空间坐标U(xf,yf,zf ),其中
xf=(xbegin+xend)/2, yf=(ybegin+yend)/2,zf=(D-Axf-Byf)/C;
STP750,将U转换到RGB像素坐标系下U'=(x'f, y'f )
其中,intrinsicsRGB为RGB相机内参;
STP760,计算Pn,n ∈{1,2,3,4}点与U'的误差Ea1为:
通过判断误差Ea1与Emin的大小输出Pn,其中,n ∈{1,2,3,4},xn,yn分别为Pn的在RGB像素坐标系的像素值;将Pn映射到所述参考平面PPLA上的映射点Pn'(xPn',yPn',zPn' ),判断方法如下:
STP761,Ea1≤Emin即此时可得U'即为Pn点最优近似点,U为Pn点在参考平面PPLA的映射,执行步骤STP760;
STP762,若Ea1>Emin,则判断xf与xn的大小,yf与yn的大小,若xn<xf,xbegin=xf,否则xend=xf,同理若yn<yf,ybegin=yf,否则yend=yf,则返回到步骤STP740。
STP800,以O'为坐标原点建立空间坐标系,具体如下:
X轴
进而可求解出胸部所在空间坐标系O'XYZ相对于高压发生器的欧拉角:
θx,θy,θz;
需要强调的是,本申请中所述RGB空间坐标系、X光设备上的高压发生器所在空间坐标系是同一坐标系或者存在平移向量的两个无空间偏转的坐标系,如果存在空间平移向量,那么系统软件可通过算法消除该平移向量,那么也就是说,无论深度相机、RGB相机以及高压发生器球管采用何种位置安装,存在多少的平移向量,那么在进行计算的过程中,始终以高压发生器球管为中心作为空间向量的坐标中心来表达其他任意空间坐标系的空间坐标,如深度相机、RGB相机和人体中心所在空间坐标系的任一空间坐标,从而达到快速获取两个空间坐标系之间的偏转欧拉角的目的,从而使得两个对象在空间坐标系之间的相对位置关系。在本发明中体现的就是在进行X光拍摄时,医务操作人员能够实时的掌握患者目标拍摄部位的位置,从而指导患者进行对应的姿态调整,以使得目标拍摄部位都能够纳入到预设的拍摄范围内,以获得理想的X光片。
获得姿态偏差后通过现有的显示器显示患者胸部实时位置与理论预设位置之间的偏差情况,以便于医护操作人员一目了然的指导患者应当如何调整姿态,使得调整快速,位置准确,有标准位置进行参照,消除了医护操作人员主观认知带来的不确定性。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (7)
1.一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:包括以下步骤:
STP100,输入人体待检测部位预设摆位信息E0;
STP200,将人体当前待检测部位调整到相机视野范围内,分别利用RGB相机和深度相机拍摄获得人体待检测部位的自然图像PRGB和深度图像Pdep;
STP300,基于YOLO V3算法根据步骤STP200中获得的自然图像PRGB和深度图像Pdep获取当前人体待检测部位的摆位信息E1、待检测部位中心点O及由高为h,宽为w围成的矩形待检测部位;同时,将摆位信息E1与步骤STP100中的摆位信息E0对比;
若E1=E0,则执行步骤STP400,若E1≠E0,则执行步骤STP200;
STP400,获取待检测部位中心点O的空间坐标;
读取待检测部位的中心点O的像素坐标O(x,y),并利用读取的RGB相机内参intrinsicsRGB,深度相机内参intrinsicsdepth,深度相机空间坐标到RGB相机空间坐标之间的变换矩阵extrinsicsd2c,输出待检测部位的中心点O在RGB空间坐标系下的坐标O' (xc',yc',zc' );
STP500,根据待检测部位的中心点O的像素坐标O(x,y)获取待检测部位矩形框的四个顶点P1、P2、P3、P4的像素坐标;
STP600,通过在步骤STP200中获得的自然图像PRGB上进行区域采样拟合人体表面所在参考平面PPLA;
STP700,将步骤STP500中获得的P1、P2、P3、P4映射到所述参考平面PPLA上,获得映射点
STP800,以O'为坐标原点建立空间坐标系,具体如下:
X轴
进而可求解出人体待检测部位所在空间坐标系O'XYZ相对于高压发生器的欧拉角θx,θy,θz;
2.根据权利要求1所述的一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:所述步骤STP100中所述的预设摆位信息E0包括前后位、后前位、左侧位和右侧位。
3.根据权利要求1所述的一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:所述步骤STP400获取待检测部位中心点O的空间坐标计算步骤如下:
STP410,获取RGB相机内参intrinsicsRGB;
STP420,获取深度相机内参intrinsicsdepth;
STP430,获取深度相机空间坐标系到RGB相机空间坐标系之间的变换矩阵extrinsicsd2c;
STP440,获取深度图像Pdep的高H和宽W;其中,x方向的起始位置为xbegin=0,结束为止为xend=W,y方向的起始位置为ybegin=0,结束为止为yend=H;
STP450,采用二分法选取深度图上像素点坐标D(xd,yd),其中
STP460,计算D点对应的空间坐标Dd'=(xd',yd',zd' ),并将深度图像Pdep中任一点的图像单位和标准长度单位之间的转换步骤,具体如下:
计算D点坐标zd= value(xd,yd )×scale,其中value(xd,yd )为D点的像素值,scale为深度相机中提取的图像单位与标准长度单位之间的映射关系;
其中
计算深度相机空间坐标系到RGB相机空间坐标系下的映射坐标Dc'=(xc',yc',zc' ),其中
STP470,将Dc'转换到RGB像素坐标系下Dc=(xc,yc ),其中
STP480将计算待检测部位中心点O与步骤STP470中Dc的误差Ea0,其中
通过对比误差Ea0是否属于预设误差阈值范围,若误差Ea0不满足阈值条件,则返回步骤STP450;若误差Ea0满足阈值条件,则输出检测部位中心点O在RGB相机空间坐标系下的空间坐标O' (xc',yc',zc' )。
4.根据权利要求1-3任一项所述的一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:步骤STP500中检测部位矩形框的四个顶点P1、P2、P3、P4的像素坐标采用下述方式计算获得:
P1=(x-w/2,y-h/2)
P2=(x+w/2,y-h/2)
P3=(x+w/2,y+h/2)
P4=(x-w/2,y+h/2)
其中,h和w分别为待检测部位矩形的高和宽。
5.根据权利要求1-3任一项所述的一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:步骤STP600中所述参考平面PPLA的拟合步骤如下:
STP610,以点O为中心,间距上下左右等距采样,采样点两两成对且左右对称,并在采样区域内随机采样N×N个点,获得采样点集合S={(x11,y11 ),(x12,y12 ),⋯,(xNN,yNN )},将采样点集合S转换为空间坐标点集合T={(x11,y11,z11),(x12,y12,z12 ),⋯,(xNN,yNN,zNN)};其中,N≥5;
STP620,以步骤STP610中的点集合T为数据建立人体表面所在参考平面PPLA方程Ax+By+Cz=D,采用最小二乘法拟合参数A、B、C、D;
STP630,建立最小能量方程Eq如下:
其中,i={1,2,…,N×N},xi,yi,zi分别是第i个点的空间坐标;
STP640,通过梯度下降法迭代计算,使得Eq获得最小值的参数M=[A,B,C,D],参数M即为参考平面PPLA方程所需最优参数。
6.根据权利要求5所述的一种基于摄影测量的人体待检测部位姿态识别方法,其特征在于:步骤STP700中将P1、P2、P3、P4映射到所述参考平面PPLA上的映射方法包括以下步骤:
STP710,已知探测器的宽wd,高hd;
STP720,设定人体表面参考平面PPLA的边界顶点为U1、U2、U3、U4,则有
STP730,设置参考平面PPLAX方向的起始位置xbegin=x-wd,结束位置xend=x+wd,设置y方向的起始位置ybegin=y-hd,结束位置yend=y+hd;
STP740,采用二分法选取人体表面平面空间坐标U(xf,yf,zf ),其中
xf=(xbegin+xend)/2, yf=(ybegin+yend)/2,zf=(D-Axf-Byf)/C;
STP750,将U转换到RGB像素坐标系下U'=(x'f, y'f )
其中,intrinsicsRGB为RGB相机内参;
STP760,计算Pn,n ∈{1,2,3,4}点与U'的误差Ea1为:
通过判断误差Ea1与Emin的大小输出Pn,其中,n ∈{1,2,3,4},xn,yn分别为Pn的在RGB像素坐标系的像素值;将Pn映射到所述参考平面PPLA上的映射点Pn'(xPn',yPn',zPn' ),判断方法如下:
STP761,若Ea1≤Emin即此时可得U'即为Pn点最优近似点,U为Pn点在参考平面PPLA的映射,执行步骤STP760;
STP762,若Ea1>Emin,则判断xf与xn的大小,yf与yn的大小,若xn<xf,xbegin=xf,否则xend=xf,同理若yn<yf,ybegin=yf,否则yend=yf,则返回到步骤STP740。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110740006.2A CN113180709B (zh) | 2021-07-01 | 2021-07-01 | 一种基于摄影测量的人体待检测部位姿态识别方法 |
CA3225622A CA3225622A1 (en) | 2021-07-01 | 2021-11-23 | Method for recognizing posture of human body parts to be detected based on photogrammetry |
PCT/CA2021/051667 WO2023272372A1 (en) | 2021-07-01 | 2021-11-23 | Method for recognizing posture of human body parts to be detected based on photogrammetry |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110740006.2A CN113180709B (zh) | 2021-07-01 | 2021-07-01 | 一种基于摄影测量的人体待检测部位姿态识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113180709A true CN113180709A (zh) | 2021-07-30 |
CN113180709B CN113180709B (zh) | 2021-09-07 |
Family
ID=76976711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110740006.2A Active CN113180709B (zh) | 2021-07-01 | 2021-07-01 | 一种基于摄影测量的人体待检测部位姿态识别方法 |
Country Status (3)
Country | Link |
---|---|
CN (1) | CN113180709B (zh) |
CA (1) | CA3225622A1 (zh) |
WO (1) | WO2023272372A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114343689A (zh) * | 2022-03-17 | 2022-04-15 | 晓智未来(成都)科技有限公司 | 基于摄影测量的限束器开口面积测量方法及应用 |
CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN115462811A (zh) * | 2022-09-29 | 2022-12-13 | 中国人民解放军总医院第八医学中心 | 放射性医疗影像设备 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116725730B (zh) * | 2023-08-11 | 2023-12-05 | 北京市农林科学院智能装备技术研究中心 | 一种基于视觉引导的猪只疫苗注射方法、系统及存储介质 |
Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104224212A (zh) * | 2013-06-14 | 2014-12-24 | Ge医疗系统环球技术有限公司 | Ct系统、其扫描定位方法及校准方法 |
US20170091940A1 (en) * | 2015-09-25 | 2017-03-30 | Siemens Healthcare Gmbh | Calibrating RGB-D Sensors to Medical Image Scanners |
CN106780576A (zh) * | 2016-11-23 | 2017-05-31 | 北京航空航天大学 | 一种面向rgbd数据流的相机位姿估计方法 |
CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
CN106949896A (zh) * | 2017-05-14 | 2017-07-14 | 北京工业大学 | 一种基于鼠脑海马的情景认知地图构建及导航方法 |
CN107016717A (zh) * | 2015-09-25 | 2017-08-04 | 西门子保健有限责任公司 | 用于患者的透视视图的系统和方法 |
CN108451536A (zh) * | 2017-02-21 | 2018-08-28 | 西门子保健有限责任公司 | 自动地定位x射线系统的x射线源的方法和x射线系统 |
US20180247427A1 (en) * | 2017-02-24 | 2018-08-30 | Siemens Healthcare Gmbh | Patient Position Control for Scanning |
US20190000564A1 (en) * | 2015-12-30 | 2019-01-03 | The Johns Hopkins University | System and method for medical imaging |
CN109924994A (zh) * | 2019-04-02 | 2019-06-25 | 晓智科技(成都)有限公司 | 一种x光拍摄过程中的检测位置自动校准方法及系统 |
CN109949260A (zh) * | 2019-04-02 | 2019-06-28 | 晓智科技(成都)有限公司 | 一种x光探测器高度调节进行图像自动拼接方法 |
CN110458041A (zh) * | 2019-07-19 | 2019-11-15 | 国网安徽省电力有限公司建设分公司 | 一种基于rgb-d相机的人脸识别方法及系统 |
CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
CN112006710A (zh) * | 2020-11-02 | 2020-12-01 | 晓智未来(成都)科技有限公司 | 基于x光机探测器动态摄影测量系统及方法 |
US20200394821A1 (en) * | 2019-06-12 | 2020-12-17 | GE Precision Healthcare LLC | System and method for calibration between coordinate systems of 3d camera and medical imaging apparatus and application thereof |
CN112381884A (zh) * | 2020-11-12 | 2021-02-19 | 北京航空航天大学 | 基于rgbd相机的空间圆目标位姿测量方法 |
CN213182389U (zh) * | 2021-04-08 | 2021-05-11 | 晓智未来(成都)科技有限公司 | 一种数字智能控制器及影像采集控制系统 |
CN112836544A (zh) * | 2019-11-25 | 2021-05-25 | 南京林业大学 | 一种新型的坐姿检测方法 |
CN112927297A (zh) * | 2021-02-20 | 2021-06-08 | 华南理工大学 | 一种基于yolo系列的目标检测和视觉定位方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10334073A1 (de) * | 2003-07-25 | 2005-02-10 | Siemens Ag | Medizintechnisches Steuerungsystem |
-
2021
- 2021-07-01 CN CN202110740006.2A patent/CN113180709B/zh active Active
- 2021-11-23 WO PCT/CA2021/051667 patent/WO2023272372A1/en unknown
- 2021-11-23 CA CA3225622A patent/CA3225622A1/en active Pending
Patent Citations (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104224212A (zh) * | 2013-06-14 | 2014-12-24 | Ge医疗系统环球技术有限公司 | Ct系统、其扫描定位方法及校准方法 |
US20170091940A1 (en) * | 2015-09-25 | 2017-03-30 | Siemens Healthcare Gmbh | Calibrating RGB-D Sensors to Medical Image Scanners |
CN107016717A (zh) * | 2015-09-25 | 2017-08-04 | 西门子保健有限责任公司 | 用于患者的透视视图的系统和方法 |
US20190000564A1 (en) * | 2015-12-30 | 2019-01-03 | The Johns Hopkins University | System and method for medical imaging |
CN106780576A (zh) * | 2016-11-23 | 2017-05-31 | 北京航空航天大学 | 一种面向rgbd数据流的相机位姿估计方法 |
CN106826815A (zh) * | 2016-12-21 | 2017-06-13 | 江苏物联网研究发展中心 | 基于彩色图像与深度图像的目标物体识别与定位的方法 |
CN108451536A (zh) * | 2017-02-21 | 2018-08-28 | 西门子保健有限责任公司 | 自动地定位x射线系统的x射线源的方法和x射线系统 |
US20180247427A1 (en) * | 2017-02-24 | 2018-08-30 | Siemens Healthcare Gmbh | Patient Position Control for Scanning |
CN106949896A (zh) * | 2017-05-14 | 2017-07-14 | 北京工业大学 | 一种基于鼠脑海马的情景认知地图构建及导航方法 |
CN111414798A (zh) * | 2019-02-03 | 2020-07-14 | 沈阳工业大学 | 基于rgb-d图像的头部姿态检测方法及系统 |
CN109924994A (zh) * | 2019-04-02 | 2019-06-25 | 晓智科技(成都)有限公司 | 一种x光拍摄过程中的检测位置自动校准方法及系统 |
CN109949260A (zh) * | 2019-04-02 | 2019-06-28 | 晓智科技(成都)有限公司 | 一种x光探测器高度调节进行图像自动拼接方法 |
US20200394821A1 (en) * | 2019-06-12 | 2020-12-17 | GE Precision Healthcare LLC | System and method for calibration between coordinate systems of 3d camera and medical imaging apparatus and application thereof |
CN110458041A (zh) * | 2019-07-19 | 2019-11-15 | 国网安徽省电力有限公司建设分公司 | 一种基于rgb-d相机的人脸识别方法及系统 |
CN112836544A (zh) * | 2019-11-25 | 2021-05-25 | 南京林业大学 | 一种新型的坐姿检测方法 |
CN112006710A (zh) * | 2020-11-02 | 2020-12-01 | 晓智未来(成都)科技有限公司 | 基于x光机探测器动态摄影测量系统及方法 |
CN112381884A (zh) * | 2020-11-12 | 2021-02-19 | 北京航空航天大学 | 基于rgbd相机的空间圆目标位姿测量方法 |
CN112927297A (zh) * | 2021-02-20 | 2021-06-08 | 华南理工大学 | 一种基于yolo系列的目标检测和视觉定位方法 |
CN213182389U (zh) * | 2021-04-08 | 2021-05-11 | 晓智未来(成都)科技有限公司 | 一种数字智能控制器及影像采集控制系统 |
Non-Patent Citations (1)
Title |
---|
SING CHUN LEE 等: "Calibration of RGBD camera and cone-beam CT for 3D intra-operative mixed reality visualization", 《INTERNATIONAL JOURNAL OF COMPUTER ASSISTED RADIOLOGY AND SURGERY》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114748086A (zh) * | 2021-12-21 | 2022-07-15 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN114748086B (zh) * | 2021-12-21 | 2023-08-08 | 首都医科大学附属北京友谊医院 | Ct扫描方法和系统、电子设备和计算机可读存储介质 |
CN114343689A (zh) * | 2022-03-17 | 2022-04-15 | 晓智未来(成都)科技有限公司 | 基于摄影测量的限束器开口面积测量方法及应用 |
CN114343689B (zh) * | 2022-03-17 | 2022-05-27 | 晓智未来(成都)科技有限公司 | 基于摄影测量的限束器开口面积测量方法及应用 |
CN115462811A (zh) * | 2022-09-29 | 2022-12-13 | 中国人民解放军总医院第八医学中心 | 放射性医疗影像设备 |
Also Published As
Publication number | Publication date |
---|---|
CA3225622A1 (en) | 2023-01-05 |
CN113180709B (zh) | 2021-09-07 |
WO2023272372A1 (en) | 2023-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113180709B (zh) | 一种基于摄影测量的人体待检测部位姿态识别方法 | |
US20190142359A1 (en) | Surgical positioning system and positioning method | |
US10441240B2 (en) | Method and system for configuring an X-ray imaging system | |
US20140221819A1 (en) | Apparatus, system and method for surgical navigation | |
EP3406196A1 (en) | X-ray system and method for standing subject | |
US11576578B2 (en) | Systems and methods for scanning a patient in an imaging system | |
CN110740687B (zh) | X射线照相装置 | |
CN102124320A (zh) | 用于将多个图像拼接成全景图像的方法和系统 | |
JP7145929B2 (ja) | 放射線治療装置とともに使用される患者モニタリングシステムのキャリブレーション方法 | |
CN107049489B (zh) | 一种手术导航方法及系统 | |
JP6591229B2 (ja) | 患者の位置決め装置、装置の作動方法及びプログラム | |
CN108245788B (zh) | 一种双目测距装置及方法、包括该装置的加速器放疗系统 | |
JP3910239B2 (ja) | 医用画像合成装置 | |
JP2008216089A (ja) | 被験体の3次元的位置及び向き測定装置 | |
CN112949478A (zh) | 基于云台相机的目标检测方法 | |
Galantucci et al. | New method to calibrate and validate a high-resolution 3D scanner, based on photogrammetry | |
EP3206183A1 (en) | Method and apparatus for user guidance for the choice of a two-dimensional angiographic projection | |
CN111627521A (zh) | 增强现实在放疗中的应用 | |
US20190231284A1 (en) | Portable bite part for determining an imaging area of a patient in panoramic, computed tomography, or cephalometric x-ray imaging | |
US9254106B2 (en) | Method for completing a medical image data set | |
KR102285337B1 (ko) | 엑스선 장치의 캘리브레이션 방법 및 장치 | |
CN116370848B (zh) | 放射治疗的摆位方法及系统 | |
CN103519834B (zh) | 用于借助x射线成像确定距离的方法以及x射线设备 | |
Krell et al. | Assessment of iterative closest point registration accuracy for different phantom surfaces captured by an optical 3D sensor in radiotherapy | |
CN112566693B (zh) | 治疗系统、校准方法及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |