CN110675349B - 内窥镜成像方法及装置 - Google Patents
内窥镜成像方法及装置 Download PDFInfo
- Publication number
- CN110675349B CN110675349B CN201910944889.1A CN201910944889A CN110675349B CN 110675349 B CN110675349 B CN 110675349B CN 201910944889 A CN201910944889 A CN 201910944889A CN 110675349 B CN110675349 B CN 110675349B
- Authority
- CN
- China
- Prior art keywords
- standard
- images
- image
- focal length
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 238000012937 correction Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 67
- 238000000034 method Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 14
- 230000003321 amplification Effects 0.000 claims description 13
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 13
- 230000001131 transforming effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000004590 computer program Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000001835 viscera Anatomy 0.000 description 3
- 208000005646 Pneumoperitoneum Diseases 0.000 description 2
- 210000000683 abdominal cavity Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002357 laparoscopic surgery Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
- A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种内窥镜成像方法及装置，通过获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应；根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域；对所述多个校正图像进行拼接与校正处理，获取对所述待成像位置的成像图像，提高了腹腔镜视场角的范围。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种内窥镜成像方法及装置。
背景技术
腹腔镜是用于腹腔内检查和治疗的内窥镜，腹腔镜手术是一门新发展起来的微创方法，是未来手术方法发展的一个必然趋势。
现有技术中，腹腔镜与电子胃镜类似，是一种带有微型摄像头的医疗器械，一般由5个基本系统组成：腹腔镜摄录像监视系统、CO2气腹系统、电切割系统、冲洗—吸引系统、手术器械等。腹腔镜摄录像监视系统由腹腔镜、光源及光路、微型摄像头、摄像转换器、监视器、自动冷光源、录像机组成。
然而，现有技术中的腹腔镜视场角范围较小。
发明内容
本发明实施例提供一种内窥镜成像方法及装置，可以提高腹腔镜视场角的范围。
本发明实施例的第一方面，提供一种内窥镜成像方法，包括
获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应；
根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域；
对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像。
可选地，在第一方面的一种可能实现方式中，根据所述初始图像，得到多个校正图像，其中，所述多个校正图像具有相同的视角，包括：
对多个所述初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，在第一方面的一种可能实现方式中，根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述多个初始图像中的标准初始图像和非标准初始图像；
根据所述标准初始图像对多个所述非标准初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，在第一方面的一种可能实现方式中，根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述非标准初始图像的所有非标准像素点数据；
对所述非标准像素点数据进行变换处理，获取标准像素点数据；
根据所述标准像素点数据获取所述校正图像。
可选地，在第一方面的一种可能实现方式中，所述对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
对所述多个校正图像进行缩放处理，获取多个标准图像；
对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
可选地，在第一方面的一种可能实现方式中，所述对所述多个校正图像进行缩放处理，获取多个标准图像，包括：
获取多个所述校正图像对应的多个焦距，并确定所述焦距中标准焦距和非标准焦距，其中，所述标准焦距为所述焦距中的最大焦距；
根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像。
可选地，在第一方面的一种可能实现方式中，所述根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像，包括：
根据所述非标准焦距获取所述校正图像中的非标准焦距校正图像；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像。
可选地，在第一方面的一种可能实现方式中，所述根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像，包括：
根据所述标准焦距获取所述校正图像中的标准焦距校正图像，并获取所述标准焦距校正图像中的标准像素个数；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个非标准图像像素；
根据所述标准像素个数和所述多个非标准图像像素，确定所述标准图像像素；
根据所述标准图像像素，获取多个所述标准图像。
可选地，在第一方面的一种可能实现方式中，所述对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
获取所述多个校正图像的特征点，并获取相邻所述校正图像之间的公共特征点；
对相邻所述校正图像之间的公共特征点做对齐重合处理，获取对所述待成像位置的成像图像。
本发明实施例的第二方面，提供一种成像装置，包括：
第一模块，用于获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应；
第二模块，用于根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域；
第三模块，用于对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像。
可选地，在第二方面的一种可能实现方式中，第二模块根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
对多个所述初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，在第二方面的一种可能实现方式中，第二模块根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述多个初始图像中的标准初始图像和非标准初始图像；
根据所述标准初始图像对多个所述非标准初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，在第二方面的一种可能实现方式中，第二模块根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述非标准初始图像的所有非标准像素点数据；
对所述非标准像素点数据进行变换处理，获取标准像素点数据；
根据所述标准像素点数据获取所述校正图像。
可选地，在第二方面的一种可能实现方式中，所述第三模块对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
对所述多个校正图像进行缩放处理，获取多个标准图像；
对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
可选地，在第二方面的一种可能实现方式中，所述对所述多个校正图像进行缩放处理，获取多个标准图像，包括：
获取多个所述校正图像对应的多个焦距，并确定所述焦距中标准焦距和非标准焦距，其中，所述标准焦距为所述焦距中的最大焦距；
根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像。
可选地，在第二方面的一种可能实现方式中，所述根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像，包括：
根据所述非标准焦距获取所述校正图像中的非标准焦距校正图像；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像。
可选地，在第二方面的一种可能实现方式中，所述根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像，包括：
根据所述标准焦距获取所述校正图像中的标准焦距校正图像，并获取所述标准焦距校正图像中的标准像素个数；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个非标准图像像素；
根据所述标准像素个数和所述多个非标准图像像素，确定所述标准图像像素；
根据所述标准图像像素，获取多个所述标准图像。
可选地，在第二方面的一种可能实现方式中，所述第三模块对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
获取所述多个校正图像的特征点，并获取相邻所述校正图像之间的公共特征点；
对相邻所述校正图像之间的公共特征点做对齐重合处理，获取对所述待成像位置的成像图像。
本发明实施例的第三方面，提供一种成像设备，包括：存储器、处理器以及计算机程序，所述计算机程序存储在所述存储器中，所述处理器运行所述计算机程序执行本发明第一方面及第一方面各种可能设计的所述方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现本发明第一方面及第一方面各种可能设计的所述方法。
本发明提供的一种内窥镜成像方法及装置，获取待成像位置多个角度的初始图像，其中的初始图像与角度一一对应，即从多个角度拍摄待成像位置作为初始图像，可以获得待成像位置处更广泛的视野。由于摄像头朝向不完全一致导致可能出现的图像几何失真，本公开对初始图像进行处理，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，即将多个初始图像处理成相邻所述校正图像之间具有相互重复区域的图像。再利用多个校正图像之间的重叠部分进行拼接得到一个完整的视图。即本公开首先获得待成像位置的多个角度图像，以更大范围的采集待成像位置处的图像，然后对多个图像进行一系列处理，获取一个整体的图像，此整体图像可以观察到待成像位置处较大范围的视野，获取更大的视场角度，进而可以在使用腹腔镜检查人体内部情况时获得更广泛的视野以达到更好的观察效果。
附图说明
图1是本发明实施例提供的一种内窥镜成像方法的流程示意图；
图2是本发明实施例提供的又一种内窥镜成像方法的流程示意图；
图3是本发明实施例提供的一种内腔镜成像装置的结构示意图；
图4是本发明实施例提供的一种内腔镜成像设备的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
首先，对本发明涉及到的名词进行解释说明：
尺度不变特征变换方法，即shape invariant feature transfer(SIFT)，是计算机视觉领域中的一种经典特征点检测方法，用于提取目标场景中那些不随亮度、角度变化而发生变化的点，常见的SIFT特征点包括刚体的几何拐角点等。本发明的应用场景可以是腹腔镜的拍摄，腹腔镜是用于腹腔内检查和治疗的内窥镜，腹腔镜手术是一门新发展起来的微创方法，是未来手术方法发展的一个必然趋势。现有技术中，腹腔镜与电子胃镜类似，是一种带有微型摄像头的医疗器械，一般由5个基本系统组成：腹腔镜摄录像监视系统、CO2气腹系统、电切割系统、冲洗—吸引系统、手术器械等。腹腔镜摄录像监视系统由腹腔镜、光源及光路、微型摄像头、摄像转换器、监视器、自动冷光源、录像机组成。然而，现有技术中使用的腹腔镜摄录像监视系统仅包含一个摄像头，视场角范围小，图像分辨率小，在实际操作中需要频繁移动和旋转摄像头来对手术区域进行观察。
为了解决上述技术问题，本公开提供一种内窥镜成像方法及装置，可以扩大视场角范围，并提高图像分辨率。
参见图1，是本发明实施例提供的一种内窥镜成像方法的流程示意图，图1所示方法的执行主体可以是软件和/或硬件装置。例如可以是具有图片显示功能的软件和/或硬件，例如是图片显示处理装置。图片显示处理装置例如可以是手机、个人数字助理(PersonalDigitalAssistant，简称：PDA)、平板电脑、便携设备(例如，便携式计算机、袖珍式计算机或手持式计算机)等具有图像显示功能的移动设备，也可以是门禁、智能固定电话、控制台等具有图像显示功能的固定设备。另外，图片显示处理装置还可以是存储于这些设备中提供有图像显示功能的应用程序。本申请实施例对图片显示处理装置的形式并不限定。本实施例对此不做限制。图1所示方法包括步骤S101至步骤S103，具体如下：
S101，获取待成像位置多个角度的初始图像，其中，初始图像与角度一一对应。
具体地，待成像位置即需要拍摄的位置，例如，带拍摄的人体内部器官，多个角度可以理解为，对需要拍摄的位置进行多个方位的拍摄，以较大程度的覆盖需要拍摄的位置，从而获得需要拍摄的位置较大范围的视野。可以理解，初始图像与角度一一对应，即每个初始图像对应一个角度，以防止重复拍摄的现象出现，也可以减少后续对初始图像处理的复杂程度。
其中，获取待成像位置多个角度的初始图像，可以采用多个摄像头进行拍摄，可以理解，采用多个摄像头进行拍摄时，每个摄像头的拍摄角度不同。在一些实施例中，多个摄像头可以呈方形排布，例如，摄像头设有4个，可以以每排2个摄像头，排成2列设置，此排布方式可以在较大范围的拍摄待成像位置的同时，减少多个摄像头拍摄图片的重复区域。在另一些实施例中，多个摄像头的排布方式不受限制，可以多个角度拍摄待成像位置即可。
由于在拍摄人体内部器官时，需要光线。因此在一些实施例中，还包括有光源，发出光线通过光源通道后照射人体内部器官，以让摄像头可以拍摄较清晰的图像。在另一些实施例中，光源可以为可替换光源，例如可以是LED冷光源，也可以是红外线光源等。
S102，根据初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
具体地，为了后续对图像进行更好的拼接处理，需要对初始图像进行校正处理，使得相邻的处理后的图像之间具有一定面积的交叠区域。可以理解，相互重复区域即多个图像之间具有相互交叠区域，即有一定面积的交叠区域，可以让校正后的图像之间能够利用交叠区域进行拼接
由于摄像头朝向不完全一致导致可能出现的图像几何失真，在对初始图像进行校正处理之前，需要对初始图像进行预处理，具体如下：
在针对平面拼接模式的一些实施例中，预处理之后的结果是所有图像的视角角度保持一致，但是视角位置不同。例如对初始图像进行处理时，可以以初始图像中的一个图像的拍摄角度为基准，将其余图像全部转换为此拍摄角度，例如，其中一个初始图像的拍摄角度为60°，则将其余图像全部转换为60°拍摄出来的图像。在另一些实施例中，可以选择一个标准角度，将全部的初始图像转换为此标准角度。例如，选择75°作为标准角度，将所有的初始图像均转换为75°视角。
在针对球面拼接模式的一些实施例中，预处理后的图像要视角位置一致，但是角度各不一致。
在针对任意拼接模式的一些实施例中，可以根据需要采用上述两种方式中的任一种进行预处理。
S103，对多个校正图像进行拼接处理，获取对待成像位置的成像图像。
具体地，由于上述处理完成的校正图像虽然进行了角度变换的处理，但是其是多个分散的图像，为了获取待成像位置处的成像图像，需要将多个校正图像拼接到一起，即对多个校正图像进行拼接处理。
在一些实施例中，在对齐重合处理完成之后，还需要对重合区域及相邻区域做光照的平滑处理，以保证不同视点间的图象视觉效果平顺一致。可以理解，即将重叠区域的亮度与图像之间的亮度差值缩小，减小亮度的不同对拼接后的图像造成影响。
上述实施例提供的一种内窥镜成像方法，从多个角度拍摄待成像位置作为初始图像，可以获得待成像位置处更广泛的视野。由于摄像头朝向不完全一致导致可能出现的图像几何失真，本公开对初始图像进行处理，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，即将多个初始图像处理成相邻所述校正图像之间具有相互重复区域的图像。再利用多个校正图像之间的重叠部分进行拼接得到一个完整的视图。即本公开首先获得待成像位置的多个角度图像，以更大范围的采集待成像位置处的图像，然后对多个图像进行一系列处理，获取一个整体的图像，此整体图像可以观察到待成像位置处较大范围的视野，进而可以在使用腹腔镜检查人体内部情况时获得更广泛的视野以达到更好的观察效果。
在上述实施例的基础上步骤S102(根据初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域)的具体实现方式可以是：
对多个初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
具体地，可以理解，几何校正处理是对初始图像进行几何变换，使相邻所述校正图像之间具有相互重复区域。
在上述实施例的基础上步骤S102(根据初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域)的具体实现方式可以是：
获取多个初始图像中的标准初始图像和非标准初始图像；根据标准初始图像对多个非标准初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
其中，以平面拼接模式为例，获取多个初始图像中的标准初始图像和非标准初始图像，可以理解，从多个初始图像中选择一个初始图像为标准的初始图像，并确定其视角为标准，其余的就为非标准初始图像，例如，选择出的标准初始图像的拍摄角度为60°，则标准的角度为60°。然后将多个非标准初始图像以60°为基准进行几何校正处理，获取校正图像，使得相邻所述校正图像之间具有相互重复区域。
在上述实施例的基础上步骤S102(根据初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域)的具体实现方式可以是：
获取非标准初始图像的所有非标准像素点数据，对非标准像素点数据进行变换处理，获取标准像素点数据，根据标准像素点数据获取校正图像。
具体地，本实施例是将非标准初始图像的所有非标准像素点数据进行变换，对失真的图像进行处理，从而获取到校正图像。在一些实施例中，可以利用单应性矩阵对所有非标准像素点数据进行变换，即利用单应性矩阵对失真的图像进行处理。
本实施例按照平面拼接模式、球面拼接模式和任意拼接模式三种不同的拼接模式分三种情况分别具体介绍：
对于平面拼接模式：
第一步，可以利用但不限于尺度不变特征变换方法，提取出非标准初始图像和标准初始图像中所有的特征点和特征描述，可以理解，特征描述的含义是，用什么数据来刻画这个特征点，具体而言，特征描述包括这个点在图像中的坐标(x,y)，颜色分量(rgb)，在不同分辨率(即尺度)下的上述数据，在不同变换空间下的上述数据。第二步，使用最近邻近似匹配方法，以K-D树作为最近邻搜索的数据结构，将前面提取出来的两幅图像的特征点进行匹配，其中，KD树是进行离散数据匹配的一种典型数据结构和方法，在此不再赘述。第二步，在完成特征点的匹配后，可以计算出两幅图像之间的单应性矩阵，例如，假设非标准初始图像和标准初始图像中对应的特征点的齐次坐标分别为(x,y,1)和(x′,y′,1)，则
其中
即为单应性矩阵，其中h11、h22、h33等于1，h31、h32等于0，公式中仅含有4个未知量。
其中，齐次坐标的含义是将一个原本是n维的向量用一个n+1维向量来表示，常用于表示几何坐标系的投影变换；如上述公式，本来仅涉及图像二维坐标x,y的变换关系，但是为了刻画三维空间的变化，因此在x,y的基础上多加了z，并把z用1进行赋值，于是形成了3维的变换。
在一些实施例中，为了使得单应性矩阵的求解更加精确，可以使用远大于四个匹配到的特征点参与计算，由于远大于4个匹配点，因此会导致h11～h33这9个系数的解超定，为此需要使用最小二乘法等优化方法进行误差最小化的求解。
将上述获取到的单应性矩阵作用于几何失真图像的每个像素点进行坐标变换即可得到经过几何校正后的图像，即对非标准像素点数据进行坐标变换处理，获取校正图像。其中，坐标变换可以例如，在上面的公式中，x’,y’是校正后的坐标，x,y是校正前的坐标，经过前面3个步骤之后可以得到单应矩阵中的全部参数，因此，将该矩阵乘以待校正图像中的每一组x,y就可以得到校正后的图像中的每一组x’,y’，完成坐标变换。
对于球面拼接模式：
上述公式中的9个分量均为未知数，因此需要使用大于等于9个匹配点进行变换矩阵的求解。在获得变换矩阵之后，利用上述公式可进行图像的变换。图像拼接后再利用现有的平面-球面投影变换实现球面拼接的目标。
对于任意拼接模式：
与球面拼接模式类似，上述公式中的9个分量均为未知数，因此需要使用大于等于9个匹配点进行变换矩阵的求解。在获得变换矩阵之后，利用上述公式可进行图像的变换，变换后则进行拼接即可。
在上述实施例的基础上步骤S103(对多个校正图像进行拼接处理，获取对待成像位置的成像图像)的具体实现方式可以是：
获取所述多个校正图像的特征点，并获取相邻校正图像之间的公共特征点；对相邻校正图像之间的公共特征点做对齐重合处理，获取对待成像位置的成像图像。
具体地，利用相邻图像之间的公共特征点的对齐重合处理，将相邻的图像之间片接起来，从而形成一个整体的图像，例如，第一幅图像为[x1x2x3…xn](xi＝[x1ix2i…xni]T)，第二幅图像为[y1y2y3…yn](yi＝[y1iy2i…yni]T)，其中xn＝y1为两幅图像的匹配特征点，则拼接后的图像为[x1x2x3…xn-1y1y2y3…yn]。
本实施例可以将多个相邻的图片拼接起来，形成一个整体的图像，此整体图像可以观察到待成像位置处较大范围的视野，进而可以在使用腹腔镜检查人体内部情况时获得更广泛的视野以达到更好的观察效果。
现有技术中，通常在拍摄位置与被摄对象距离不变的情况下，镜头的焦距越短，则其视场角越宽，拍摄范围越大；反之，镜头的焦距越长，视角越窄，拍摄范围越小。由于拍摄初始图像时的焦距不完全相同，在对图像进行拼接时，会导致分辨率不同，图像的比例也不相同，从而会导致拼接好的图像产生错误，影响观察者的判断。
为了解决上述技术问题，参见图2，是本发明实施例提供的又一种内窥镜成像方法的流程示意图，图2所示方法的执行主体可以是软件和/或硬件装置，包括步骤S201至步骤S204，具体如下：
S201，获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应。
具体地，步骤S201和步骤S101实现过程和效果类似，在此不再赘述。
S202，根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
具体地，步骤S202和步骤S102实现过程和效果类似，在此不再赘述。
S203，对多个校正图像进行缩放处理，获取多个标准图像。
具体地，对多个图像进行缩放，使得多个图像的比例和分辨率相同，形成多个标准图像，从而使得图像之间能够较准备的对接。
在一些实施例中，对校正图像进行缩放时，可以选择其中的一个校正图像为基准进行缩放处理，也可以选择一个标准焦距，对所有的校正图像进行缩放处理，获取到标准图像。
S204，对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
具体地，步骤S202和步骤S103实现过程和效果类似，在此不再赘述。
上述实施例对多个校正图像进行缩放处理，然后再进行拼接，使得拼接好的图像的各个区域的比例和分辨率一致，从而便于观察者进行观察，减小对判断结果的影响。
在上述实施例的基础上步骤S203(对多个校正图像进行缩放处理，获取多个标准图像)的具体实现方式可以是：
获取多个所述校正图像对应的多个焦距，并确定所述焦距中标准焦距和非标准焦距，其中，所述标准焦距为所述焦距中的最大焦距；根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像。
具体地，首先得到与校正图像对应的多个焦距，可以理解，一个校正图像对应一个焦距，然后比对多个焦距的大小，从多个焦距中确定出一个标准焦距，则其余的为非标准焦距，例如，校正图像有四张，焦距分别为4mm、3mm、2mm和1mm，例如确定出2mm为标准焦距，则剩余的4mm、3mm和1mm为非标准焦距。本实施例中以最大的焦距为标准焦距，例如以4mm为标准焦距。然后以标准焦距为基准，对其余的校正图像进行缩放处理，获取多个比例相同的标准图像。
在上述实施例的基础上步骤S203(对多个校正图像进行缩放处理，获取多个标准图像)的具体实现方式可以是：
根据非标准焦距获取校正图像中的非标准焦距校正图像，根据标准焦距和非标准焦距对非标准焦距校正图像进行插值放大处理，获取多个标准图像。
具体地，可以是根据标准焦距获取校正图像中的标准焦距校正图像，并获取标准焦距校正图像中的标准像素个数，可以理解，像素是图像处理的专业术语，表示图像的最小单位，即图像中的一个点；根据标准焦距和非标准焦距对非标准焦距校正图像进行插值放大处理，获取多个非标准图像像素；根据标准像素个数和多个非标准图像像素，确定标准图像像素；根据标准图像像素，获取多个标准图像。
可以理解，首先找到标准焦距，设其拍摄到的图像有x个像素，对其他摄像头拍摄到的图像，以该摄像头的焦距和标准焦距的平方比作为比例对图像进行插值放大，可以理解，即插值放大即图像的上采样，视觉上为图像的放大操作，其属于现有技术，在此不再累述。得到的图像像素
最后在这y个像素中仅保留x个像素，然后由保留的x个像素形成标准图像。
参见图3，是本发明实施例提供的一种内腔镜成像装置，该装置30包括：
第一模块31，用于获取待成像位置多个角度的初始图像，其中，所述初始图像与角度一一对应；
第二模块32，用于根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域；
第三模块33，用于对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像。
图3所示实施例的成像装置对应地可用于执行图1所示方法执行的步骤，其实现原理和技术效果类似，此处不再赘述。
可选地，第二模块32根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
对多个所述初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，第二模块32根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述多个初始图像中的标准初始图像和非标准初始图像；根据所述标准初始图像对多个所述非标准初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
可选地，第二模块32根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述非标准初始图像的所有非标准像素点数据；对所述非标准像素点数据进行变换处理，获取标准像素点数据；
根据所述标准像素点数据获取所述校正图像。
可选地，所述第三模块33对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
对所述多个校正图像进行缩放处理，获取多个标准图像；对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
可选地，所述对所述多个校正图像进行缩放处理，获取多个标准图像，包括：
获取多个所述校正图像对应的多个焦距，并确定所述焦距中标准焦距和非标准焦距，其中，所述标准焦距为所述焦距中的最大焦距；根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像。
可选地，所述根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像，包括：
根据所述非标准焦距获取所述校正图像中的非标准焦距校正图像；根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像。
可选地，所述根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像，包括：
根据所述标准焦距获取所述校正图像中的标准焦距校正图像，并获取所述标准焦距校正图像中的标准像素个数；根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个非标准图像像素；根据所述标准像素个数和所述多个非标准图像像素，确定所述标准图像像素。
根据所述标准图像像素，获取多个所述标准图像。
可选地，所述第三模块33对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
获取所述多个校正图像的特征点，并获取相邻所述校正图像之间的公共特征点；对相邻所述校正图像之间的公共特征点做对齐重合处理，获取对所述待成像位置的成像图像。
参见图4，是本发明实施例提供的一种内腔镜成像设备的硬件结构示意图，该成像设备40包括：处理器41、存储器42和计算机程序；其中
存储器42，用于存储所述计算机程序，该存储器还可以是闪存(flash)。所述计算机程序例如是实现上述方法的应用程序、功能模块等。
处理器41，用于执行所述存储器存储的计算机程序，以实现上述方法中设备执行的各个步骤。具体可以参见前面方法实施例中的相关描述。
可选地，存储器42既可以是独立的，也可以跟处理器41集成在一起。
当所述存储器42是独立于处理器41之外的器件时，所述设备40还可以包括：
总线43，用于连接所述存储器42和处理器41。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述的各种实施方式提供的方法。
其中，可读存储介质可以是计算机存储介质，也可以是通信介质。通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。计算机存储介质可以是通用或专用计算机能够存取的任何可用介质。例如，可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecific Integrated Circuits，简称：ASIC)中。另外，该ASIC可以位于用户设备中。当然，处理器和可读存储介质也可以作为分立组件存在于通信设备中。可读存储介质可以是只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本发明还提供一种程序产品，该程序产品包括执行指令，该执行指令存储在可读存储介质中。设备的至少一个处理器可以从可读存储介质读取该执行指令，至少一个处理器执行该执行指令使得设备实施上述的各种实施方式提供的方法。
在上述成像设备的实施例中，应理解，处理器可以是中央处理单元(英文：CentralProcessing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：DigitalSignal Processor，简称：DSP)、专用集成电路(英文：Application Specific IntegratedCircuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (8)
1.一种内窥镜成像方法，其特征在于，包括
获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应；
根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域；
所述根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取多个初始图像中的标准初始图像和非标准初始图像；
获取所述非标准初始图像的所有非标准像素点数据；
利用单应性矩阵对所述非标准像素点数据进行变换处理，获取标准像素点数据；
根据所述标准像素点数据获取所述校正图像，其中，相邻所述校正图像之间具有相互重复区域；
对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像；
其中，所述对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
对所述多个校正图像进行缩放处理，使得多个校正图像的比例和分辨率相同，获取多个标准图像；
对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
2.根据权利要求1所述的方法，其特征在于，根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
对多个所述初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
3.根据权利要求1或2所述的方法，其特征在于，根据所述初始图像，得到多个校正图像，其中，相邻所述校正图像之间具有相互重复区域，包括：
获取所述多个初始图像中的标准初始图像和非标准初始图像；
根据所述标准初始图像对多个所述非标准初始图像进行几何校正处理，获取多个校正图像，其中，相邻所述校正图像之间具有相互重复区域。
4.根据权利要求1所述的方法，其特征在于，所述对所述多个校正图像进行缩放处理，获取多个标准图像，包括：
获取多个所述校正图像对应的多个焦距，并确定所述焦距中标准焦距和非标准焦距，其中，所述标准焦距为所述焦距中的最大焦距；
根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像。
5.根据权利要求4所述的方法，其特征在于，所述根据所述标准焦距和所述非标准焦距对所述校正图像进行缩放处理，获取多个标准图像，包括：
根据所述非标准焦距获取所述校正图像中的非标准焦距校正图像；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像。
6.根据权利要求5所述的方法，其特征在于，所述根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个所述标准图像，包括：
根据所述标准焦距获取所述校正图像中的标准焦距校正图像，并获取所述标准焦距校正图像中的标准像素个数；
根据所述标准焦距和所述非标准焦距对所述非标准焦距校正图像进行插值放大处理，获取多个非标准图像像素；
根据所述标准像素个数和所述多个非标准图像像素，确定所述标准图像像素；
根据所述标准图像像素，获取多个所述标准图像。
7.根据权利要求1所述的方法，其特征在于，所述对所述多个校正图像进行拼接处理，获取对所述待成像位置的成像图像，包括：
获取所述多个校正图像的特征点，并获取相邻所述校正图像之间的公共特征点；
对相邻所述校正图像之间的公共特征点做对齐重合处理，获取对所述待成像位置的成像图像。
8.一种成像装置，其特征在于，包括：
第一模块，用于获取待成像位置多个角度的初始图像，其中，所述初始图像与所述角度一一对应；
第二模块，用于获取多个初始图像中的标准初始图像和非标准初始图像；获取所述非标准初始图像的所有非标准像素点数据；利用单应性矩阵对所述非标准像素点数据进行变换处理，获取标准像素点数据；根据所述标准像素点数据获取校正图像，其中，相邻所述校正图像之间具有相互重复区域；
第三模块，用于对多个校正图像进行缩放处理，使得多个校正图像的比例和分辨率相同，获取多个标准图像；对所述多个标准图像进行拼接处理，获取对所述待成像位置的成像图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910944889.1A CN110675349B (zh) | 2019-09-30 | 2019-09-30 | 内窥镜成像方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910944889.1A CN110675349B (zh) | 2019-09-30 | 2019-09-30 | 内窥镜成像方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110675349A CN110675349A (zh) | 2020-01-10 |
| CN110675349B true CN110675349B (zh) | 2022-11-29 |
Family
ID=69080655
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910944889.1A Active CN110675349B (zh) | 2019-09-30 | 2019-09-30 | 内窥镜成像方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110675349B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113014871B (zh) * | 2021-02-20 | 2023-11-10 | 青岛小鸟看看科技有限公司 | 内窥镜图像显示方法、装置及内窥镜手术辅助系统 |
| CN114913234B (zh) * | 2022-07-13 | 2022-12-09 | 佗道医疗科技有限公司 | 判断器械是否在内窥镜视野内的方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2005077253A1 (ja) * | 2004-02-18 | 2005-08-25 | Osaka University | 内視鏡システム |
| CN103369192A (zh) * | 2012-03-31 | 2013-10-23 | 深圳市振华微电子有限公司 | 多通道视频图像全硬件拼接方法及装置 |
| US10039439B2 (en) * | 2014-09-30 | 2018-08-07 | Fujifilm Corporation | Endoscope system and method for operating the same |
| CN106618454B (zh) * | 2016-11-21 | 2018-04-13 | 电子科技大学 | 一种胶囊式内窥镜系统 |
| CN107424126A (zh) * | 2017-05-26 | 2017-12-01 | 广州视源电子科技股份有限公司 | 图像校正方法、装置、设备、系统及摄像设备和显示设备 |
-
2019
- 2019-09-30 CN CN201910944889.1A patent/CN110675349B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109461126A (zh) * | 2018-10-16 | 2019-03-12 | 重庆金山医疗器械有限公司 | 一种图像畸变校正方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110675349A (zh) | 2020-01-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021213508A1 (zh) | 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 | |
| KR101657039B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
| CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
| CN104994367B (zh) | 一种图像矫正方法以及摄像头 | |
| JP5684033B2 (ja) | 撮像装置及び内視鏡装置の作動方法 | |
| KR101583646B1 (ko) | 전 방위 평면 이미지를 생성하는 방법 및 장치 | |
| US20180268521A1 (en) | System and method for stitching images | |
| JP5846172B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| TW201340035A (zh) | 結合影像之方法 | |
| CN113989125B (zh) | 内镜图像的拼接方法、装置、计算机设备及存储介质 | |
| CN110675349B (zh) | 内窥镜成像方法及装置 | |
| CN111385461B (zh) | 全景拍摄方法及装置、相机、移动终端 | |
| US20150104097A1 (en) | Image processing apparatus and image processing method | |
| CN108513057B (zh) | 图像处理方法及装置 | |
| TW202013956A (zh) | 影像裝置的校正方法及其相關影像裝置和運算裝置 | |
| CN114283236A (zh) | 一种用智能手机进行口腔扫描的方法、装置和存储介质 | |
| JP6665917B2 (ja) | 画像処理装置 | |
| US20090059018A1 (en) | Navigation assisted mosaic photography | |
| JP6222205B2 (ja) | 画像処理装置 | |
| JP5796611B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| TW201342303A (zh) | 三維空間圖像的獲取系統及方法 | |
| TWI731430B (zh) | 資訊顯示方法與資訊顯示系統 | |
| JP7179837B2 (ja) | 内視鏡装置、内視鏡画像表示方法及び内視鏡装置の作動方法 | |
| JP7057086B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN115908121A (zh) | 内窥镜配准方法及装置和标定系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |