CN116402735A - 基于多方向视角标定的内窥镜图像重构方法 - Google Patents
基于多方向视角标定的内窥镜图像重构方法 Download PDFInfo
- Publication number
- CN116402735A CN116402735A CN202310412962.7A CN202310412962A CN116402735A CN 116402735 A CN116402735 A CN 116402735A CN 202310412962 A CN202310412962 A CN 202310412962A CN 116402735 A CN116402735 A CN 116402735A
- Authority
- CN
- China
- Prior art keywords
- image
- organ
- shooting
- full
- range
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 33
- 210000000056 organ Anatomy 0.000 claims abstract description 121
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 23
- 230000002093 peripheral effect Effects 0.000 claims description 12
- 210000001835 viscera Anatomy 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000010827 pathological analysis Methods 0.000 abstract description 6
- 238000000638 solvent extraction Methods 0.000 abstract description 6
- 230000009286 beneficial effect Effects 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 2
- 210000000936 intestine Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002784 stomach Anatomy 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/16—Image acquisition using multiple overlapping images; Image stitching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本发明提供了基于多方向视角标定的内窥镜图像重构方法，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。
Description
技术领域
本发明涉及医学图像处理的技术领域，特别涉及基于多方向视角标定的内窥镜图像重构方法。
背景技术
内窥镜作为身体内部摄像设备，其常用于对病人的胃部和肠道等器官进行侵入式的拍摄。内窥镜受限于器官内部的拍摄空间，其在单次拍摄操作中，只能拍摄得到较小区域范围的影像，无法对器官内部进行大范围的影像表征。虽然内窥镜能够改变拍摄方向来获得器官内部不同区域范围的影像，但是这些影像相互之间是零散无关联性的，无法对这些影像进行有效全面的整合，构建得到关于器官内部整个区域范围的影像，从而无法对器官内部整体进行细化和分区的识别，降低后续根据内窥镜拍摄影像进行病理分析的准确性。
发明内容
针对现有技术存在的缺陷，本发明提供了一种基于多方向视角标定的内窥镜图像重构方法，其通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。
本发明提供基于多方向视角标定的内窥镜图像重构方法，其包括如下步骤：
步骤S1，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理；根据所述图像的画面视觉特征，对所述图像进行画面像素预处理；
步骤S2，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像；根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像；
步骤S3，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像；
步骤S4，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像。
在本申请公开的一个实施例中，在所述步骤S1中，采集目标对象内部器官不同范围区域的图像之前，包括：
获取内窥镜进入到目标对象内部并到达对应器官位置时，内窥镜的主体延伸方向，并将所述主体延伸方向作为内窥镜进行拍摄工作时对应的基准方向；
根据所述基准方向和内窥镜的拍摄视场范围，确定内窥镜对器官进行拍摄的若干拍摄视角方向。
在本申请公开的一个实施例中，在所述步骤S1中，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理，包括：
指示内窥镜的光轴方向分别与每个拍摄视角方向重合，并以相同的拍摄视场角度分别采集目标对象内部器官不同范围区域的图像；
每当内窥镜对器官的一个范围区域完成拍摄后，判断拍摄得到的图像的平均画面亮度是否大于或等于预设亮度阈值；若是，则将当前拍摄得到的图像作为相应器官范围区域的最终图像；若否，则指示内窥镜对相应器官范围区域进行增大补光强度的再次拍摄，从而得到相应器官范围区域的最终图像；
对每个器官范围区域拍摄得到的最终图像进行关于自身拍摄视角方向相对于基准方向的方位角度值的标识处理。
在本申请公开的一个实施例中，在所述步骤S1中，根据所述图像的画面视觉特征，对所述图像进行画面像素预处理，包括：
获取每个器官范围区域对应的图像的画面分辨率分布特征，以此确定所述图像画面上存在的分辨率低下画面部分；对所述分辨率低下画面部分进行画面像素插值预处理。
在本申请公开的一个实施例中，在所述步骤S2中，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像，包括：
对所述图像四周边缘区域进行识别处理，得到所述图像画面四周边缘区域的像素轮廓特征信息；根据每个图像进行标识处理对应的方位角度值，确定每个图像自身四周相邻接的所有图像。
在本申请公开的一个实施例中，在所述步骤S2中，根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像，包括：
将所述图像画面四周边缘区域的像素轮廓特征信息与其四周相邻接的所有图像各自的像素轮廓特征信息进行比对，确定所述图像与其四周相邻的每个图像之间的画面重叠区域；根据所述画面重叠区域的边界，将所述图像与其四周相邻的每个图像进行拼接处理，得到关于所述器官的全范围区域图像。
在本申请公开的一个实施例中，在所述步骤S3中，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像，包括：
获取内窥镜拍摄得到每个图像时，每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息；
获取内窥镜的拍摄空间坐标系与世界坐标系之间的坐标系变换矩阵，根据所述坐标系变化矩阵和每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息，确定每个图像在世界坐标系中的拍摄景深信息；
根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，从而将所述全范围区域图像转换为所述器官对应的全范围三维图像。
在本申请公开的一个实施例中，在所述步骤S3中，根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，包括：
对每个图像在世界坐标系中的拍摄景深信息进行归一化处理，得到每个图像在世界坐标系中的归一化拍摄景深值；根据所述归一化拍摄景深值，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理。
在本申请公开的一个实施例中，在所述步骤S4中，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像，包括：
对所述全范围三维图像进行像素纹理识别处理，得到所述全范围三维图像画面上器官表面结构纹理特征信息；并根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，得到器官表面三维图像。
在本申请公开的一个实施例中，在所述步骤S4中，根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，包括：
根据所述器官表面结构纹理特征信息，确定所述全范围三维图像画面中器官表面凹凸纹理深度分布信息；根据所述器官表面凹凸纹理深度分布信息，对所述全范围三维图像进行像素色度变化渲染处理。
相比于现有技术，该基于多方向视角标定的内窥镜图像重构方法通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的基于多方向视角标定的内窥镜图像重构方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，图1为本发明实施例提供的基于多方向视角标定的内窥镜图像重构方法的流程示意图。该基于多方向视角标定的内窥镜图像重构方法包括如下步骤：
步骤S1，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对该图像进行关于拍摄视角方向的标识处理；根据该图像的画面视觉特征，对该图像进行画面像素预处理；
步骤S2，对该图像进行识别处理，得到该图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像；根据该图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于该器官的全范围区域图像；
步骤S3，根据每个图像各自对应的拍摄景深信息，将该全范围区域图像转换为该器官对应的全范围三维图像；
步骤S4，对该全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像。
上述技术方案的有益效果为：该基于多方向视角标定的内窥镜图像重构方法通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。
优选地，在该步骤S1中，采集目标对象内部器官不同范围区域的图像之前，包括：
获取内窥镜进入到目标对象内部并到达对应器官位置时，内窥镜的主体延伸方向，并将该主体延伸方向作为内窥镜进行拍摄工作时对应的基准方向；
根据该基准方向和内窥镜的拍摄视场范围，确定内窥镜对器官进行拍摄的若干拍摄视角方向。
上述技术方案的有益效果为：在实际拍摄过程中，当内窥镜进入到目标对象身体内部并到达对应的胃部或肠部等器官位置时，将内窥镜的光纤传导主体的延伸方向作为内窥镜进行拍摄工作时对应的基准方向，这样能够为内窥镜进行不同拍摄视角方向调整改变提供参考方向，以及对每个拍摄视角方向进行量化标定。
优选地，在该步骤S1中，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对该图像进行关于拍摄视角方向的标识处理，包括：
指示内窥镜的光轴方向分别与每个拍摄视角方向重合，并以相同的拍摄视场角度分别采集目标对象内部器官不同范围区域的图像；
每当内窥镜对器官的一个范围区域完成拍摄后，判断拍摄得到的图像的平均画面亮度是否大于或等于预设亮度阈值；若是，则将当前拍摄得到的图像作为相应器官范围区域的最终图像；若否，则指示内窥镜对相应器官范围区域进行增大补光强度的再次拍摄，从而得到相应器官范围区域的最终图像；
对每个器官范围区域拍摄得到的最终图像进行关于自身拍摄视角方向相对于基准方向的方位角度值的标识处理。
上述技术方案的有益效果为：当内窥镜在一个拍摄视角方向进行拍摄得到器官相应范围区域的图像，再对图像进行画面亮度识别，判断当前拍摄得到的图像是否满足相应的亮度条件，并在图像的画面亮度不足时，在增大补光强度的情况下再次拍摄，保证最终拍摄得到的图像的亮度可分辨性。此外，还对每个器官范围区域拍摄得到的最终图像进行关于自身拍摄视角方向相对于基准方向的方位角度值的标识处理，便于根据该方位角度值确定不同图像之间的邻接关系。
优选地，在该步骤S1中，根据该图像的画面视觉特征，对该图像进行画面像素预处理，包括：
获取每个器官范围区域对应的图像的画面分辨率分布特征，以此确定该图像画面上存在的分辨率低下画面部分；对该分辨率低下画面部分进行画面像素插值预处理。
上述技术方案的有益效果为：根据每个器官范围区域对应的图像的画面分辨率分布特征，确定图像画面上的每个区域的分辨率值是否小于预设分辨率阈值，此时将对应区域确定为属于分辨率低下画面部分，此时利用相应的画面像素插值算法对分辨率低下画面部分进行处理，从而提高分辨率低下画面部分的分辨率。
优选地，在该步骤S2中，对该图像进行识别处理，得到该图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像，包括：
对该图像四周边缘区域进行识别处理，得到该图像画面四周边缘区域的像素轮廓特征信息；根据每个图像进行标识处理对应的方位角度值，确定每个图像自身四周相邻接的所有图像。
上述技术方案的有益效果为：对图像四周边缘特定大小区域进行识别处理，得到图像画面四周边缘区域的像素轮廓特征信息，这样能够对图像画面四周边缘区域的画面内容进行表征。再根据每个图像已经标识对应的方位角度值，将在器官上处于相邻接的两个范围区域对应的图像确定为相邻接的图像，这样能够对每个图像四周相邻接的所有图像进行标定，从而为后续进行不同图像拼接处理提供准确的依据。
优选地，在该步骤S2中，根据该图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于该器官的全范围区域图像，包括：
将该图像画面四周边缘区域的像素轮廓特征信息与其四周相邻接的所有图像各自的像素轮廓特征信息进行比对，确定该图像与其四周相邻的每个图像之间的画面重叠区域；根据该画面重叠区域的边界，将该图像与其四周相邻的每个图像进行拼接处理，得到关于该器官的全范围区域图像。
上述技术方案的有益效果为：通过上述方式，能够将相邻接的两个图像之间存在的画面重叠区域进行确定，这样能够在对相邻接的两个图像进行拼接时，有效准确将两者存在的画面重叠区域进行叠合，避免拼接后存在图像画面内容重复的情况。
优选地，在该步骤S3中，根据每个图像各自对应的拍摄景深信息，将该全范围区域图像转换为该器官对应的全范围三维图像，包括：
获取内窥镜拍摄得到每个图像时，每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息；
获取内窥镜的拍摄空间坐标系与世界坐标系之间的坐标系变换矩阵，根据该坐标系变化矩阵和每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息，确定每个图像在世界坐标系中的拍摄景深信息；
根据每个图像在世界坐标系中的拍摄景深信息，将该全范围区域图像与每个图像对应的画面部分进行景深调整处理，从而将该全范围区域图像转换为该器官对应的全范围三维图像。
上述技术方案的有益效果为：内窥镜对器官不同范围区域进行拍摄时，对应拍摄得到的图像会具有相应的景深信息，根据每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息以及内窥镜的拍摄空间坐标系与世界坐标系之间的坐标系变换矩阵，得到每个图像在世界坐标系中的拍摄景深信息，这样能够对全范围区域图像与每个图像对应的画面部分进行景深调整处理，实现全范围区域图像不同画面部分的景深差异处理，实现图像的三维化转换。
优选地，在该步骤S3中，根据每个图像在世界坐标系中的拍摄景深信息，将该全范围区域图像与每个图像对应的画面部分进行景深调整处理，包括：
对每个图像在世界坐标系中的拍摄景深信息进行归一化处理，得到每个图像在世界坐标系中的归一化拍摄景深值；根据该归一化拍摄景深值，将该全范围区域图像与每个图像对应的画面部分进行景深调整处理
上述技术方案的有益效果为：通过上述方式，对每个图像在世界坐标系中的拍摄景深信息进行归一化处理，这样能够实现对全范围区域图像与每个图像对应的画面部分景深调整的统一性和协调性。
优选地，在该步骤S4中，对该全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像，包括：
对该全范围三维图像进行像素纹理识别处理，得到该全范围三维图像画面上器官表面结构纹理特征信息；并根据该器官表面结构纹理特征信息，对该全范围三维图像进行像素渲染处理，得到器官表面三维图像。
上述技术方案的有益效果为：通过上述方式，以全范围三维图像画面上器官表面结构纹理特征信息为基准，对全范围三维图像进行像素渲染处理，这样能够对全范围三维图像进行区分化的视觉渲染，得到器官表面三维图像。
优选地，在该步骤S4中，根据该器官表面结构纹理特征信息，对该全范围三维图像进行像素渲染处理，包括：
根据该器官表面结构纹理特征信息，确定该全范围三维图像画面中器官表面凹凸纹理深度分布信息；根据该器官表面凹凸纹理深度分布信息，对该全范围三维图像进行像素色度变化渲染处理。
上述技术方案的有益效果为：在实际像素渲染处理中，以全范围三维图像画面中器官表面凹凸纹理深度分布信息为基准，对全范围三维图像进行像素色度变化渲染处理，这样不同色度能够准确表征凹凸纹理深度值，提高全范围三维图像画面的视觉直观性。
从上述实施例的内容可知，该基于多方向视角标定的内窥镜图像重构方法通过内窥镜改变拍摄视角方向，采集得到器官不同范围区域的图像；根据图像的画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到器官的全范围区域图像；根据每个图像的拍摄景深信息，将全范围区域图像转换为全范围三维图像，并对全范围三维图像进行器官表面结构渲染，得到器官表面三维图像，其将内窥镜在不同拍摄视角方向采集的图像进行拼接处理，初步得到器官的全范围区域图像，其利用图像对应的拍摄视角方向和画面边缘像素特征信息作为拼接处理的基准，能够将所有图像准确关联拼接，以及利用图像的景深信息将二维形式的全范围区域图像转换为全范围三维图像，有效地增加图像对器官状态的表征信息量，便于对对器官内部整体进行细化和分区的识别，提高后续根据内窥镜拍摄的图像进行病理分析的准确性。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (10)
1.基于多方向视角标定的内窥镜图像重构方法，其特征在于，其包括如下步骤：
步骤S1，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理；根据所述图像的画面视觉特征，对所述图像进行画面像素预处理；
步骤S2，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像；根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像；
步骤S3，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像；
步骤S4，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像。
2.如权利要求1所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S1中，采集目标对象内部器官不同范围区域的图像之前，包括：
获取内窥镜进入到目标对象内部并到达对应器官位置时，内窥镜的主体延伸方向，并将所述主体延伸方向作为内窥镜进行拍摄工作时对应的基准方向；
根据所述基准方向和内窥镜的拍摄视场范围，确定内窥镜对器官进行拍摄的若干拍摄视角方向。
3.如权利要求2所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S1中，获取内窥镜工作时在相对于基准方向的若干拍摄视角方向上，分别采集目标对象内部器官不同范围区域的图像，并对所述图像进行关于拍摄视角方向的标识处理，包括：
指示内窥镜的光轴方向分别与每个拍摄视角方向重合，并以相同的拍摄视场角度分别采集目标对象内部器官不同范围区域的图像；
每当内窥镜对器官的一个范围区域完成拍摄后，判断拍摄得到的图像的平均画面亮度是否大于或等于预设亮度阈值；若是，则将当前拍摄得到的图像作为相应器官范围区域的最终图像；若否，则指示内窥镜对相应器官范围区域进行增大补光强度的再次拍摄，从而得到相应器官范围区域的最终图像；
对每个器官范围区域拍摄得到的最终图像进行关于自身拍摄视角方向相对于基准方向的方位角度值的标识处理。
4.如权利要求3所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S1中，根据所述图像的画面视觉特征，对所述图像进行画面像素预处理，包括：
获取每个器官范围区域对应的图像的画面分辨率分布特征，以此确定所述图像画面上存在的分辨率低下画面部分；对所述分辨率低下画面部分进行画面像素插值预处理。
5.如权利要求4所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S2中，对所述图像进行识别处理，得到所述图像画面边缘像素特征信息；根据每个图像各自对应的拍摄视角方向，确定每个图像对应相邻接的其他图像，包括：
对所述图像四周边缘区域进行识别处理，得到所述图像画面四周边缘区域的像素轮廓特征信息；根据每个图像进行标识处理对应的方位角度值，确定每个图像自身四周相邻接的所有图像。
6.如权利要求5所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S2中，根据所述图像画面边缘像素特征信息，将每个图像与其相邻接的其他图像进行拼接处理，得到关于所述器官的全范围区域图像，包括：
将所述图像画面四周边缘区域的像素轮廓特征信息与其四周相邻接的所有图像各自的像素轮廓特征信息进行比对，确定所述图像与其四周相邻的每个图像之间的画面重叠区域；根据所述画面重叠区域的边界，将所述图像与其四周相邻的每个图像进行拼接处理，得到关于所述器官的全范围区域图像。
7.如权利要求6所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S3中，根据每个图像各自对应的拍摄景深信息，将所述全范围区域图像转换为所述器官对应的全范围三维图像，包括：
获取内窥镜拍摄得到每个图像时，每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息；
获取内窥镜的拍摄空间坐标系与世界坐标系之间的坐标系变换矩阵，根据所述坐标系变化矩阵和每个图像在内窥镜的拍摄空间坐标系中的拍摄景深信息，确定每个图像在世界坐标系中的拍摄景深信息；
根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，从而将所述全范围区域图像转换为所述器官对应的全范围三维图像。
8.如权利要求7所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S3中，根据每个图像在世界坐标系中的拍摄景深信息，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理，包括：
对每个图像在世界坐标系中的拍摄景深信息进行归一化处理，得到每个图像在世界坐标系中的归一化拍摄景深值；根据所述归一化拍摄景深值，将所述全范围区域图像与每个图像对应的画面部分进行景深调整处理。
9.如权利要求8所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S4中，对所述全范围三维图像进行器官表面结构渲染处理，得到器官表面三维图像，包括：
对所述全范围三维图像进行像素纹理识别处理，得到所述全范围三维图像画面上器官表面结构纹理特征信息；并根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，得到器官表面三维图像。
10.如权利要求9所述的基于多方向视角标定的内窥镜图像重构方法，其特征在于：
在所述步骤S4中，根据所述器官表面结构纹理特征信息，对所述全范围三维图像进行像素渲染处理，包括：
根据所述器官表面结构纹理特征信息，确定所述全范围三维图像画面中器官表面凹凸纹理深度分布信息；根据所述器官表面凹凸纹理深度分布信息，对所述全范围三维图像进行像素色度变化渲染处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310412962.7A CN116402735A (zh) | 2023-04-18 | 2023-04-18 | 基于多方向视角标定的内窥镜图像重构方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310412962.7A CN116402735A (zh) | 2023-04-18 | 2023-04-18 | 基于多方向视角标定的内窥镜图像重构方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116402735A true CN116402735A (zh) | 2023-07-07 |
Family
ID=87010266
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310412962.7A Pending CN116402735A (zh) | 2023-04-18 | 2023-04-18 | 基于多方向视角标定的内窥镜图像重构方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116402735A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117438056A (zh) * | 2023-12-20 | 2024-01-23 | 达州市中心医院(达州市人民医院) | 用于消化内镜影像数据的编辑筛选与存储控制方法和系统 |
-
2023
- 2023-04-18 CN CN202310412962.7A patent/CN116402735A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117438056A (zh) * | 2023-12-20 | 2024-01-23 | 达州市中心医院(达州市人民医院) | 用于消化内镜影像数据的编辑筛选与存储控制方法和系统 |
| CN117438056B (zh) * | 2023-12-20 | 2024-03-12 | 达州市中心医院(达州市人民医院) | 用于消化内镜影像数据的编辑筛选与存储控制方法和系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10089737B2 (en) | 3D corrected imaging | |
| CN107920722B (zh) | 针对自胶囊相机所撷取的图像通过对象检测进行重建 | |
| JP5094036B2 (ja) | 内視鏡挿入方向検出装置 | |
| KR100890102B1 (ko) | 의료 화상 처리 장치 및 의료 화상 처리 방법 | |
| WO2009038376A1 (en) | Extraction method of tongue region using graph-based approach and geometric properties | |
| US20190206053A1 (en) | Image processing device, image processing method, medical imaging system | |
| WO2020187705A1 (en) | Feature point detection | |
| CN110855889B (zh) | 图像处理方法、装置、图像处理设备及存储介质 | |
| US9754189B2 (en) | Detection device, learning device, detection method, learning method, and information storage device | |
| US8351667B2 (en) | Methods of contrast enhancement for images having blood vessel structures | |
| CN114727027B (zh) | 曝光参数调节方法、装置、计算机设备和存储介质 | |
| CN109635871A (zh) | 一种基于多特征融合的胶囊内窥镜图像分类方法 | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| CN116402735A (zh) | 基于多方向视角标定的内窥镜图像重构方法 | |
| US9454711B2 (en) | Detection device, learning device, detection method, learning method, and information storage device | |
| CN115311405A (zh) | 一种双目内窥镜的三维重建方法 | |
| GB2456487A (en) | Image processing using RGB local mean and mapping of candidate colour components onto a possible dynamic range | |
| CN115393187A (zh) | 一种高自由度的微观图像拼接融合方法及系统 | |
| CN115797276A (zh) | 用于内窥镜的病灶图像处理方法、装置、电子设备及介质 | |
| Li et al. | A robust feature-based method for mosaic of the curved human color retinal images | |
| CN117036878B (zh) | 一种人工智能预测图像与数字病理图像融合的方法及系统 | |
| Désaulniers et al. | Performance evaluation of panoramic electro-optic imagers using the TOD method | |
| CN114418920B (zh) | 一种内窥镜多焦点图像融合方法 | |
| CN117541800B (zh) | 基于喉镜影像的喉部异常部位分割方法 | |
| CN116228545B (zh) | 基于视网膜特征点的眼底彩色照相图像拼接方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |