CN113436129A - 图像融合系统、方法、装置、设备及存储介质 - Google Patents
图像融合系统、方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113436129A CN113436129A CN202110971175.7A CN202110971175A CN113436129A CN 113436129 A CN113436129 A CN 113436129A CN 202110971175 A CN202110971175 A CN 202110971175A CN 113436129 A CN113436129 A CN 113436129A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- cameras
- gray value
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 157
- 238000003384 imaging method Methods 0.000 claims abstract description 80
- 230000009467 reduction Effects 0.000 claims description 40
- 230000003287 optical effect Effects 0.000 claims description 32
- 206010028980 Neoplasm Diseases 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 17
- 239000002872 contrast media Substances 0.000 claims description 15
- 238000007500 overflow downdraw method Methods 0.000 claims description 11
- 230000002708 enhancing effect Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 9
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 7
- 238000005259 measurement Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 2
- 230000003902 lesion Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 239000010410 layer Substances 0.000 description 8
- 210000000056 organ Anatomy 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 238000004590 computer program Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000002073 fluorescence micrograph Methods 0.000 description 3
- 238000007920 subcutaneous administration Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002285 radioactive effect Effects 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 239000002344 surface layer Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000000799 fluorescence microscopy Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明实施例提供一种图像融合系统、方法、装置、设备及存储介质，其中系统包括：成像模块、图像处理模块以及显示模块，成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机，多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机，图像处理模块用于根据若干第一相机采集到的图像，进行三维重构，生成三维图像，对生成的三维图像以及第二相机采集到的图像进行融合，得到融合后的图像，显示模块用于显示下述至少一项：三维图像、第二相机采集到的图像、融合后的图像，可以准确匹配第二相机采集到的图像在生成的图像中的位置，提高图像的融合精度，为手术提供精准的导航影像。
Description
技术领域
本发明涉及成像领域，尤其涉及一种图像融合系统、方法、装置、设备及存储介质。
背景技术
荧光分子影像手术导航系统可以通过对人体注射荧光造影剂使其聚集在病变器官肿瘤处，利用造影剂荧光显影技术实现肿瘤定位、形态获取以及病变器官的图像采集，并将肿瘤图像与病变器官图像进行融合，通过显示器显示出融合图像，帮助医生进行肿瘤切除手术。
现有技术中，通过一台红外相机和一台可见光相机分别采集病变部位的图像进行融合显示。但是红外相机和可见光相机采集到的像素视野、使用的镜头不同、采集到的图像深度不同，在图像融合时会出现融合位置的偏差，影响手术的精度。
发明内容
本发明实施例提供一种图像融合系统、方法、装置、设备及存储介质，使得图像的融合位置更为准确，为手术提供精准的导航影像。
第一方面，本发明实施例提供一种图像融合系统，所述系统包括：
成像模块、图像处理模块以及显示模块；
所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机；
所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机；
所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像；对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像；
所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像。
可选的，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
可选的，所述第一重叠区的中心点置于所述第二相机的光轴上。
可选的，所述若干第一相机获取清晰图像的范围具有重叠范围，所述第二相机的成像面在所述重叠范围内。
可选的，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像中垂直所述第二相机的光轴方向的一层。
可选的，所述第一波段的光为可见光，所述第一相机为可见光相机，拍摄得到的图像为可见光图像；和/或，
所述第二波段的光为红外光，所述第二相机为红外相机，拍摄得到的图像为红外图像。
可选的，所述第二波段的光为红外二区的光。
可选的，所述系统还包括：
红外激光模块，用于激发红外荧光造影剂；
相应的，所述红外相机具体用于采集通过所述红外激光模块激发荧光造影剂在肿瘤区域形成的红外光。
可选的，所述成像模块中的第一相机和第二相机的光轴相互平行，所述第二相机置于所述若干第一相机的中心位置。
可选的，所述多目相机包括两个第一相机，所述两个第一相机和所述第二相机与待观测物之间的距离相等，所述两个第一相机并列排放，所述第二相机位于两个并列排放第一相机中心点连线的中垂线上；
位于一侧的第一相机与所述第二相机的中心轴间距等于另一第一相机与所述第二相机的中心轴间距。
可选的，所述多目相机包括两个第一相机，所述两个第一相机分别位于所述第二相机的两侧，且其中一个第一相机与所述第二相机的中心轴间距等于另一第一相机与所述第二相机的中心轴间距。
可选的，所述成像模块还包括：
滤光片，用于滤除第二波段以外的光，保留第二波段的光供所述第二相机采集。
可选的，所述若干第一相机的参数相同。
可选的，所述系统还包括：
测距模块，用于获取所述成像模块的工作距离，所述工作距离为所述成像模块到待观测物表面的距离信息；
相应的，所述图像处理模块还用于：根据所述测距模块采集到的距离信息调节所述成像模块的焦距值和/或聚焦值和/或融合参数。
可选的，所述图像处理模块还用于：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
可选的，所述图像处理模块在根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像时，具体用于：
根据所述若干第一相机采集到的图像，确定图像中的特征点的对应关系；
根据所述成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
可选的，所述图像处理模块在对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像时，具体用于：
根据所述第二相机采集到的图像，确定荧光区域；
根据所述成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
可选的，所述图像处理模块还用于：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
可选的，所述图像处理模块在对所述第二相机采集到的图像进行增强处理时，具体用于：
统计所述第二相机采集到的图像中各灰度值的数量，得到图像的直方图；
根据所述直方图，对图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理。
可选的，所述图像处理模块在根据所述直方图，对所述图像的灰度值分布进行降噪处理时，具体用于：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
可选的，所述图像处理模块在计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理时，具体用于；
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
可选的，所述图像处理模块还用于：
将单通道的图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
可选的，所述图像处理模块在根据测距模块采集到的距离信息调节所述成像模块的融合参数时，具体用于：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
可选的，所述显示模块还用于：
设置所述融合后的图像中荧光区域的透明度；和/或，
在所述融合后的图像中标记荧光边界轮廓。
第二方面，本发明实施例提供一种图像融合方法，所述方法包括：
对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个以上第一相机；
对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光。
可选的，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
可选的，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像垂直所述第二相机的光轴方向的一层。
可选的，所述方法还包括：
根据距离信息调节成像模块的焦距值和/或聚焦值和/或融合参数。
可选的，所述若干第一相机的参数相同。
可选的，所述方法还包括：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
可选的，对若干第一相机采集到的图像进行三维重构，生成三维图像，包括：
根据所述若干第一相机采集到的图像，确定图像中特征点的对应关系；
根据成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
可选的，对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，包括：
根据所述第二相机采集到的图像，确定荧光区域；
根据成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
可选的，所述方法还包括：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
可选的，对所述第二相机采集到的图像进行增强处理，包括：
统计所述第二相机采集到的图像中各灰度值的数量，得到图像的直方图；
根据所述直方图，对图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理。
可选的，根据所述直方图，对所述图像的灰度值分布进行降噪处理，包括：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
可选的，计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理，包括：
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
可选的，所述方法还包括：
将单通道的红外图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
可选的，根据测距模块采集到的距离信息调节成像模块的融合参数，包括：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
第三方面，本发明实施例提供一种图像处理装置，所述装置包括：
生成模块，用于对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个第一相机；
得到模块，用于对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光。
第四方面，本发明实施例提供一种图像融合设备，包括：
至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第二方面任一项所述的图像融合方法。
第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时，用于实现如上第二方面任一项所述的图像融合方法。
本发明的实施例提供了一种图像融合系统、方法、装置、设备及存储介质，包括成像模块、图像处理模块以及显示模块，所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机，所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机，所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像，对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像，所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像，可以准确匹配第二相机采集到的图像在生成的图像中的位置，提高图像的融合精度，为手术提供精准的导航影像。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
图1为本发明实施例提供的一种应用场景示意图；
图2为本发明实施例提供的一种图像融合系统的结构示意图；
图3A为本发明实施例提供的一种成像模块中各相机位置的俯视图；
图3B为本发明实施例提供的一种成像模块中各相机的位置示意图；
图4为本发明实施例提供的另一种图像融合系统的结构示意图；
图5为本发明实施例提供的一种可见光图像与红外光图像融合成像的流程示意图；
图6为本发明实施例提供的一种图像融合方法的流程示意图；
图7为本发明实施例提供的一种图像处理装置的结构示意图；
图8为本发明实施例提供的一种图像融合设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。
下面对本发明实施例提供的一种应用场景进行解释：本发明实施例提供的方案，涉及到荧光分子影像手术导航系统。通过对人体注射荧光造影剂，荧光造影剂会聚集到病变器官肿瘤处。利用红外相机和可见光相机分别对病变肿瘤处进行拍摄，将得到的肿瘤图像和病变器官环境的图像，对该图像进行融合得到的图像可以实现肿瘤定位和形态获取，帮助医生进行肿瘤切除手术。
图1为本发明实施例提供的一种应用场景示意图。如图1所示，红外相机10和可见光相机20同时对病变部位40进行拍摄。其中红外相机10能采集到皮肤组织下的肿瘤信号，可见光相机20能采集到皮肤组织表面30的图像。将两台相机拍摄到的图像进行融合，可以确定肿瘤的位置和形态，帮助医生进行手术。
在一些技术中，由于光的波段不同，图像传感器通常是用一个红外相机和一个可见光相机分别对病变器官位置进行拍摄，并将拍摄得到的图像进行融合。这种常规的红外荧光系统中两个相机的组合形式，不管两个相机平行放置或者夹角的方式放置，都会造成两个图像的信息不一致的现象，在图像融合时会出现融合位置的偏差，造成对手术操作过程的误导。
因此，本发明的实施例提供了一种图像融合系统，可选用两个可见光相机和一个红外相机对病变器官位置进行拍摄，通过对可见光相机采集到的图像进行三维重构，得到对应于红外相机位置采集到的图像，经处理过后的可见光图像与红外相机采集到的图像进行融合，可以提高两个图像的融合精度，并显示在显示模块。其中，可见光相机和红外光相机只是举例，在实际应用中可以根据需求选择采集不同波段的光的相机，本申请不做具体限定。
因为可见光相机的数量为多个，因此，可以基于多个可见光图像进行立体视觉处理，重构场景的三维几何信息，从而根据场景中特征点的深度信息准确构建基于红外相机所在位置能够拍摄到的可见光图像，再将构建的可见光图像与红外相机实际拍摄到的图像进行融合，能够实现红外图像与可见光图像的准确匹配，提高红外图像和可见光图像的融合精度。
下面结合附图，对本发明的一些实施方式作详细说明。在各实施例之间不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
图2为本发明实施例提供的一种图像融合系统的结构示意图。如图2所示，本实施例中的系统可以包括：成像模块、图像处理模块以及显示模块。
所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机；所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机；所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像；对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像；所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像。
其中，若干第一相机表示第一相机的数目至少为两个。
在实际拍摄时，采集第一波段的光的第一相机和采集第二波段的光的第二相机同时对被拍物体进行拍摄，得到第一相机拍摄的图像和第二相机拍摄的图像。当有两个第一相机时，可对第一相机拍摄的图像进行三维重构，生成的图像相当于第一相机在第二相机位置拍摄的图像。可选的，生成的图像可以是三维图像，所述三维图像可以是指两个第一相机图像合成的立体图像。当有三个或以上第一相机时，可对第一相机拍摄到的图像进行三维重构，生成的图像相当于第一相机在第二相机位置拍摄得到的三维图像。
对第一相机拍摄的图像重构后生成的图像与第二相机拍摄得到的图像进行融合，可以得到融合后的图像。融合后的图像可以包含所述三维图像和第二相机拍摄图像的信息。例如，可以在三维图像的基础上，叠加所述第二相机拍摄的图像，形成融合后的图像；或者，可以在三维图像的基础上，叠加显示基于第二相机拍摄的图像确定的目标区域的轮廓。
显示模块可以对第一相机拍摄的图像重构后生成的图像进行显示，对第二相机采集到的图像进行显示，以及对融合后的图像进行显示。所述显示模块可以为监视器等。
本实施例提供的图像融合系统，包括成像模块、图像处理模块以及显示模块，所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机，所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机，所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像，对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像，所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像，可以准确匹配第二相机采集到的图像在生成的图像中的位置，提高图像的融合精度，为手术提供精准的导航影像。
优选的，所述若干第一相机的参数相同。参数可以包括下述至少一项：焦距、感光度、光圈范围和曝光补偿等。
其中，若干第一相机可以是参数相同的相机。当选择参数相同的第一相机采集图像时，获取到的图像在尺寸幅度等信息上是相等的。图像在进行重构时，可直接对图像进行处理，操作简便。
可选的，若干第一相机的参数可以不同，当选择参数不同的第一相机时，可调整各相机不同的参数用以满足第一相机采集到清晰的图像，这样得到的图像在尺寸幅度等信息上可能不同。在根据第一相机采集到的图像进行重构时，需要根据各参数对图像进行处理，得到重构的三维图像。
在上述实施例提供的技术方案的基础上，可选的，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
由于若干第一相机所处的位置不同，则每一相机的视场不同，并且具有重叠的区域，该区域设为第一重叠区。第一重叠区与第二相机的视场同样具有重叠的区域，该重叠区域为第二重叠区，并且待观测物放置于该重叠区域，可供若干第一相机和第二相机进行图像采集。
将待观测物放置于若干第一相机的视场和第二相机的视场的重叠区，可确保每一相机可拍摄完整的待观测物图像，保证拍摄得到图像的完整度。
若第一相机为可见光相机，第二相机为红外相机，用于通过观测荧光分布得到肿瘤分布，则第一相机拍摄的为表层图像，第二相机拍摄的为皮下或皮表荧光图像。
可选的，所述第一重叠区的中心点置于所述第二相机的光轴上。
若干第一相机的视场重叠区的中心点在第二相机的光轴上，可保证第二相机在与若干第一相机采集到的图像生成的三维图像重构时，位于三维图像的中心位置，避免出现融合偏差情况。
可选的，所述若干第一相机获取清晰图像的范围具有重叠范围，所述第二相机的成像面在所述重叠范围内。
其中清晰图像可以是通过人眼辨别出的轮廓边缘线条清楚，明了的图像。第一相机在拍摄待观测物时，调节焦距或聚焦可拍摄到一定范围内的图像为清晰图像。多个不同第一相机在不同的范围内得到清晰的图像，多个不同的范围具有重叠范围，并且第二相机的成像面在该重叠范围内。
可选的，所述清晰图像可以由人眼判断，或者，可以由图像处理模块进行判断。例如，图像处理模块可以获取第一相机在调节焦距或聚焦过程中拍摄到的多幅图像，并通过对图像进行分析处理，确定其中的清晰图像和失焦图像，并根据各清晰图像对应的焦距或聚焦值确定第一相机获取清晰图像的范围，并输出所述范围，用于调节第二相机的成像面的位置。第二相机的成像平面在若干第一相机的重叠范围内，可提高第二相机采集到的图像与三维图像的融合精度。
可选的，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像中垂直所述第二相机的光轴方向的一层。
若以第二相机的光轴为Z轴，以第二相机的成像面为XOY面。则第二相机的成像面为垂直三维图像Z方向的一层。例如，若干第一相机的清晰图像的重叠范围在Z轴方向的边界点为-a~a，则第二相机的成像面可在Z轴方向-a~a范围内的一层。
第二相机的成像平面为三维图像垂直Z轴方向内的一层，可准确获得病变部位的深度信息。
可选的，所述第一波段的光为可见光，所述第一相机为可见光相机，拍摄得到的图像为可见光图像；和/或，所述第二波段的光为红外光，所述第二相机为红外相机，拍摄得到的图像为红外图像。
其中，可见光是电磁波谱中人眼可以感知的部分，波长大约在380-750nm之间，波长不同的电磁波引起人眼的颜色感觉不同。红外光的波长大约介于760nm-1mm之间，比可见光的波长略大，人眼不能观察到。其中，可见光图像中显示手术环境和外部组织等可见的环境信息。
选用红外相机和可见光相机对待观测物进行拍摄得到红外图像和可见光图像，对拍摄的图像进行融合，可清楚得到被测物的内部和外部构造。
可选的，系统包括红外激光模块，用于激发红外荧光造影剂；相应的，所述红外相机具体用于采集通过所述红外激光模块激发荧光造影剂在肿瘤区域形成的红外光。
荧光造影剂注射人体后，会在肿瘤区域聚集，使用红外激光模块激发荧光造影剂在肿瘤区域形成红外光。其中，红外相机可以采集到这种红外光，但是可见光相机不能采集到红外光。
根据红外荧光造影技术，红外相机和可见光相机可拍摄到对于同一待观测物的不同图像。生成的图像可以是在红外相机的位置能够采集到的可见光图像。使用过程中医用无影灯和普通LED灯等光源对荧光成像基本无影响，提高系统的通用性。
在其他可选的实现方式中，也可以根据实际需要来改变第一相机和第二相机的类型，例如，所述第一波段的光为可见光、所述第二波段的光为紫外光，相应的，第一相机和第二相机分别为可见光相机和紫外相机，进而可以通过紫外光作为激发光源对被测部位进行检测。被测部位也不局限于用户的身体部位，也可以是动植物、待测试的器件等。
可选的，所述成像模块中的第一相机和第二相机的光轴相互平行，所述第二相机置于所述若干第一相机的中心位置。
第二相机的光轴与若干第一相机的光轴平行，且第二相机位于若干第一相机的中心位置，表明第二相机位于所述成像模块的中心位置，可以清晰的拍摄得到被测物的形态。并且融合后的图像正对中心图像，效果更好。
图3A为本发明实施例提供的一种成像模块中各相机位置的俯视图。如图3A所示，所述多目相机包括两个第一相机，所述两个第一相机和所述第二相机400与待观测物之间的距离相等，所述两个第一相机并列排放，所述第二相机400位于两个并列排放第一相机中心点连线的中垂线上；位于一侧的第一相机200与所述第二相机400的中心轴间距等于另一第一相机300与所述第二相机400的中心轴间距。
可选的，两个第一相机和第二相机400到待观测物间的距离是相等的，即三个相机保持在同一水平面上。其中两个第一相机并列排放，第二相机400位于两个并列排放第一相机中心点连线AB的中垂线EF上任一位置，当第二相机400的中心点C位于除两个第一相机中心点连线的中点位置D时，可使三个相机呈“品”字形分布，当第二相机400的中心点C位于两个第一相机中心点连线的中点位置D时，可得到图3B中三个相机的位置关系。
可选的，两个第一相机并列排放，第二相机400固定在两个相机中心点连线AB的中垂线EF之外的位置，同样可以实现本发明的目的。
图3B为本发明实施例提供的一种成像模块中各相机的位置示意图。如图3B所示，所述多目相机包括两个第一相机2、3，所述两个第一相机2、3分别位于所述第二相机1的两侧，且其中一个第一相机2与所述第二相机1的中心轴间距等于另一第一相机3与所述第二相机1的中心轴间距。三个相机光轴相互平行，图中延伸出来的虚线可以是相机的可采集到的图像范围。第一相机2和第一相机3的视场具有重叠区域，均可拍摄到表层区域4，两相机拍到的图像进行三维重构可获取表层区域4的三维图像；第二相机1视场包含皮下病变区域5，皮下病变区域5置于表层区域4的正下方或病变区域5置于皮表位置，该处的上下方向为相机光轴方向。优选的，第二相机视场范围完全置于两个第一相机2、3的重叠区域内。
其中，位于左侧的第一相机2和位于右侧的第一相机3可以是有不同的相机镜头参数，当第一相机的镜头参数不同时，只需将两台第一相机的镜头调节为同一工作距离下清晰成像即可。
可选的，相机的排列方式不同，相机在标定过程中得到的融合参数不同。
可选的，所述第二波段的光为红外二区的光。
第二波段的光属于红外光区域，其中，红外光分为近红外区、中红外区和远红外区。近红外区包含红外一区和红外二区。红外二区的光波大概是900-1700nm。
将第二波段的光选定在红外二区，可以提高第二相机采集到的图像的清晰度。
可选的，所述成像模块还包括：滤光片，用于滤除第二波段以外的光，保留第二波段的光供第二相机采集。
优选的，第二波段为红外二区波段，即滤光片过滤掉的第二波段以外的光为红外二区以外的光，保留红外二区波段的光供第二相机采集。
滤光片可以过滤掉第二波段以外的光，也就是过滤掉波长小于第二波段的光，保留红外二区波段的光供第二相机采集。经过滤光片进入第二相机的光，可在第二相机中形成一幅荧光区域的单通道黑白图像，灰度值的大小表示红外激光能量的强弱。具体来说，第二波段的光为红外光，则滤光片过滤掉红外波段以下的光，也就是过滤掉可见光，保留红外二区波段的光供红外相机采集。
通过用滤光片过滤掉除第二波段以外的光，保留红外二区波段的光，第二相机可拍摄得到待观测物清晰的图像。
仅保留第二波段的光，即红外二区的光，可直观的确定待观测部位的图像，提高显示效果。可选的，还包括：测距模块，用于获取所述成像模块的工作距离，所述工作距离为所述成像模块到待观测物表面的距离信息；相应的，所述图像处理模块还用于：根据所述测距模块采集到的距离信息调节所述成像模块的焦距值和/或聚焦值和/或融合参数。
其中，所述成像模块到待观测物表面的距离信息可以为所述成像模块的参考面到待观测物表面的距离信息；距离信息可以包括成像模块的参考面到待观测物表面的距离长短，方位变动信息等。其中，所述参考面可以为成像模块中各相机镜头组成的平面。
所述测距模块可以包括距离传感器，通过距离传感器可以得到成像模块到距离待观测物表面的距离信息，根据距离信息，可选取合适的焦距值或聚焦值，调节各相机，使得每台相机可以得到清晰的拍摄图像。还可以根据距离信息，选取合适的融合参数对第一相机生成的图像与第二相机采集的图像进行融合，得到融合后的图像。
根据距离信息，确定各相机的焦距值以及融合参数，可以使每一相机采集到清晰的图像，提升图像显示效果。
可选的，所述图像处理模块还用于：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
可选的，还可以预先进行标定。一般是采用棋盘格方法对若干第一相机和第二相机采集到的图像进行标定，标定的目的是获取相机的内参（焦距、图像中心、畸变系数等）和外参（旋转或平移参数，用于对齐两个相机）。
具体地，可对两个第一相机进行标定，可以选取左侧第一相机标定，获取内外参数，右侧第一相机标定获取外参数，双目相机标定获取第一相机之间的平移旋转关系。从而实现对第一相机采集到的图像进行的标定。通过对双目相机和第二相机对棋盘格进行不同距离的标定，得到不同距离对应的融合参数。
对若干第一相机和第二相机采集到的图像进行畸变矫正，矫正的目的是得到的图像位于同一平面且互相平行，提高视差计算的准确性。
可选的，所述图像处理模块在根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像时，具体用于：
根据所述若干第一相机采集到的图像，确定图像中的特征点的对应关系；根据所述成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
在对若干第一相机进行三维重构时，可先对畸变矫正后的图像进行特征点匹配，将同一空间物理点在不同图像中的特征点对应起来，根据匹配结果计算每个特征点的深度，从而获得深度图，生成对应于第二相机位置的图像。
具体地，当有两个第一相机时，对两个第一相机采集到的图像进行三维重构时，先建立两幅图像特征点的对应关系，也就是寻找每个像素点在另一图像中对应的像素点，将同一空间物理点在不同图像中的特征点对应起来。根据成像模块到待观测物之间的距离信息，可以确定两个第一相机的相机参数信息，根据相机参数和相对应的特征点之间的差别可以准确得到特征点的深度信息，从而实现两个第一相机图像的三维重构。
通过对若干第一相机的图像重构得到被测物的三维图像，可以将图像丢失的深度信息弥补回来，避免只有一个第一相机图像时信息不完善的情况。
可选的，所述图像处理模块在对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像时，具体用于：
根据所述第二相机采集到的图像，确定荧光区域；根据所述成像模块与待观测物表面的距离信息，确定对应的融合参数；根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
其中，荧光区域为第二相机采集到的图像中灰度值不为0的像素点组成的区域。根据测距模块得到的成像模块到待观测物之间的距离信息，得到对应的融合参数，根据融合参数，生成的图像与荧光区域进行融合。
荧光图像可以显示肿瘤、病变组织等荧光区域信息，融合后的混合荧光图像是在可见光图像中高亮显示荧光区域，便于直观的观察。
可选的，所述图像处理模块还用于：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
具体的，由于第二相机采集到的往往是仅包含红外信息的图像，因此，可以在对第二相机采集的图像和第一相机采集的图像进行融合之前，对该图像进行增强，可以提高显示效果。
可选的，统计所述第二相机采集到的图像中各灰度值的数量，得到图像的直方图；根据所述直方图，对图像的灰度值分布进行降噪处理；计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理。
进一步地，基于直方图，对各图像的灰度值进行降噪处理，根据降噪处理后的图像进行增强处理，可以快速、准确地实现增强。
可选的，所述图像处理模块在根据所述直方图，对所述图像的灰度值分布进行降噪处理时，具体用于：
根据所述直方图，确定所述第二相机采集到的图像的灰度值区间；获取所述灰度值区间的长度，所述灰度值区间的长度计算方法为：最大灰度值与最小灰度值的差值，获取的差值加1得到灰度值区间的长度，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
其中，第一长度阈值可以设置为2，第二长度阈值可以设置为6。
可对第二相机采集到的图像进行增强处理，在处理过程中，先对图像中的像素点进行降噪处理，统计第二相机采集的图像各灰度值的数量，得到图像的直方图，直方图的横坐标为灰度值，纵坐标为灰度值对应的数量，统计图像直方图对应的灰度值区间，其中，灰度值区间可以是连续的灰度值分布，也可以是间断的灰度值分布，一个直方图对应一个灰度值区间。
若灰度值区间的长度小于第一长度阈值，则对应的区间不做处理，若灰度值区间长度大于第一长度阈值小于第二长度阈值，则删除区间内灰度值最小的灰度值，若区间长度大于第二长度阈值，则删除区间内灰度值最大和最小的灰度值，得到降噪处理后的直方图。
灰度值区间可以是连续的灰度值分布，也可以是间断的灰度值分布，一个直方图对应一个灰度值区间，具体举例如下，当直方图的横坐标（灰度值）在[101，108]这一区间内的各个点对应的纵坐标（像素点数量）均不为0，而在[1，100]及[109，255]处对应的纵坐标均为0，则直方图对应的灰度值区间为[101，108]，区间长度为8，大于6，因此将灰度值为101和108的像素点删去。又例如，若在[101，108]区间内，106对应的纵坐标为0，[1，100]及[109，255]处对应的纵坐标均为0，其余点不为0，则直方图对应的灰度值区间依然为[101，108]，区间长度为8，大于6，因此将灰度值为101和108的像素点删去。
若一个图像对应的灰度值区间为[23，26]，该区间长度大于2小于6，因此将灰度值为23的像素点删去。
通过对图像进行降噪处理，可消除噪点，提高图像清晰度。
可选的，所述图像处理模块在计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理时，具体用于：
计算降噪处理后的灰度值分布中的最大值和最小值；通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
在去除噪声干扰的基础上，计算灰度值分布的最大值e max 和最小值e min ，根据上述公式对图像进行增强处理。
通过对图像进行降噪和增强处理，可以提高图像质量，增大信噪比，更好的体现原来图像所携带的信息。
可选的，所述图像处理模块还用于：
将单通道的增强后的图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
将增强处理后的图像进行伪色彩处理，根据一定准则给灰度值赋予彩色值。具体来说，可将增强后的图像转化为RGB三通道的荧光区域，可将荧光区域标记为绿色或是蓝色。还可对增强后的图像进行暖色调的HSV或是HOT等伪色彩处理。
通过对荧光区域部分进行伪色彩处理，可高亮显示荧光部分，便于观察。
可选的，所述图像处理模块在根据所述距离信息选择融合参数时，具体用于：
根据所述距离信息，确定下述至少一项融合参数：融合坐标位置参数、旋转缩放比例参数以及仿射变换参数。
根据拍摄时，成像模块参考面与被测物表面的距离，选取标定时该距离信息的融合参数对相机拍摄的图像进行调整。
可选的，旋转缩放比例参数可以用于对图像缩放比例进行调整，当调整第一相机和第二相机的参数（如焦距等）时，第一相机和第二相机拍摄的图像可能会相应地放大或缩小，为了提升融合效果，可以根据距离信息获得旋转缩放比例参数将得到的两个图像放大至相同倍数。
可选的，在对多目视觉处理后生成的三维图像与第二相机拍摄的图像进行融合时，可以基于融合坐标参数对两个图像进行对准，使得同一关键点（如被测部位的中心）在两个图像中的位置重合。举例来说，两个图像的尺寸相同的情况下，假设被测部位在生成的图像中的坐标为（100，200），在第二相机拍摄中的坐标为（150，200），则将所述第二相机拍摄的图像相对于第一相机左移50个像素点。可选的，可以根据距离信息调节第二相机拍摄的图像与由第一相机拍摄的图像生成的图像之间的相对位置关系，例如，当距离信息为300时，第二相机拍摄的图像需相对于生成的图像移动50个像素点，当距离信息为200时，第二相机拍摄的图像需相对于生成的图像移动100个像素点。
可选的，放射性变换参数可以用于调整若干第一相机拍摄到的两幅图像的比例和/或大小，例如，当调整若干第一相机的焦距时，若干第一相机拍摄的图像可能会相应地放大或缩小，可以根据距离信息获得放射性变换参数将得到的若干图像放大至相同倍数，从而重构得到更加准确的三维图像。
根据融合参数对第一相机拍摄的图像和第二相机拍摄的图像进行融合，可准确匹配两幅图像的位置，提高融合效果。
可选的，所述显示模块具体用于：
设置所述融合后的图像中荧光区域的透明度；和/或，
在所述融合后的可见光图像中标记荧光边界轮廓。
融合后的图像中，第一相机图像的荧光部分以高亮、绿色或伪彩色显示。并且，荧光区域的透明度可以从0%调节到100%。还可以调用边缘查找法算法，查找荧光区域的边缘部位并在融合后的图像中标注荧光轮廓，供医生查看。
通过设置荧光区域的透明度，标注荧光边界轮廓，便于手术导航过程中多样化的观察，帮助医生区分荧光区域与非荧光区域，还可以准确定位病变位置，帮助医生对肿瘤边界细节的准确定位。
下面以可见光相机和红外光相机为例，给出本发明一种可选的实现方式。图4为本发明实施例提供的另一种图像融合系统的结构示意图。如图4所示，成像模块包括两个可见光相机、两个镜头、红外相机、红外镜头和滤光片以及高透镜。其中，红外相机位于成像模块的垂直中心位置，可见光相机分别位于红外相机两侧，红外相机和可见光相机中心轴间距相同。两个透镜可以是相同的也可以是不同的。可见光相机通过透镜和高透镜可以形成清晰的可见光图像。滤光片过滤掉红外波段以下的光，保留红外二区波段的光供红外相机采集，红光相机通过红外镜头、滤光片和高透镜可以得到清晰的黑白红外图像。
测距模块可以实时获取成像模块参考面到被测物表面的距离值。红外激光模块，用于激发红外荧光造影剂。待观测物为被荧光造影剂填充的病变器官处。
图5为本发明实施例提供的一种可见光图像与红外光图像融合成像的流程示意图。如图5所示，统计红外图像各灰度值的数量，即输出红外相机直方图；统计图像直方图数值大于零的分布e；e长度小于等于2时不做处理，e长度大于2小于6时只减去灰度值最小的孤立点；e长度大于6时减去灰度值最大和最小的孤立点，计算出去除噪声背景的红外图像灰度值分布e’，实现对红外图像降噪处理。
计算计算红外图像灰度值分布e’的最大值e max 和最小值e min ；根据公式
对红外图像进行自适应增强，实现红外图像自适应增强。
将增强后的红外图像进行伪彩色处理，把单通道红外图像转化为RGB三通道，并对荧光区域标记为绿色或者蓝色，或者进行暖色调的HSV、HOT伪彩色处理，实现荧光伪彩色处理。
将可见光图像与处理过后的红外图像进行图像融合，最终融合显示。将融合后的图像显示在监视器中。
图6为本发明实施例提供的一种图像融合方法的流程示意图。本发明实施例中的方法执行主体可以为图像处理模块。如图6所示，包括：
步骤601、对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个以上第一相机。
步骤602、对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光。
可选的，所述方法还包括：
所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
可选的，所述方法还包括：
所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像垂直所述第二相机的光轴方向的一层。
可选的，所述方法还包括：
根据测距模块采集到的距离信息调节成像模块的焦距值和/或聚焦值和/或融合参数。
可选的，所述若干第一相机的参数相同。
可选的，所述方法还包括：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
可选的，根据若干第一相机采集到的图像，进行三维重构，生成三维图像，包括：
根据所述若干第一相机采集到的图像，确定图像中特征点的对应关系；
根据成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
可选的，对所述三维图像以及第二相机采集到的图像进行融合，得到融合后的图像，包括：
根据所述第二相机采集到的图像，确定荧光区域；
根据成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
可选的，所述方法还包括：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
可选的，对所述第二相机采集到的图像进行增强处理，包括：
统计所述第二相机采集到的图像中各灰度值的数量，得到所述图像的直方图；
根据所述直方图，对所述图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述处理后的图像进行增强处理。
可选的，在根据所述直方图，对所述图像的灰度值分布进行降噪处理，包括：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理，包括：
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
可选的，所述方法还包括：
将单通道的红外图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
可选的，根据测距模块采集到的距离信息调节成像模块的融合参数，包括：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
本实施例中方法的具体实现原理和效果均可以参见前述实施例，此处不再赘述。
图7为本发明实施例提供的一种图像处理装置的结构示意图。如图7所示，本实施例提供的图像处理装置，可以包括：
生成模块701，用于对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个以上第一相机；
得到模块702，用于对所述三维图像与所述第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光；
可选的，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
可选的，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像垂直所述第二相机的光轴方向的一层。
可选的，所述得到模块702还用于：
根据测距模块采集到的距离信息调节成像模块的焦距值和/或聚焦值和/或融合参数。
可选的，所述若干第一相机的参数相同。
可选的，所述得到模块702还用于：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
可选的，所述生成模块701，具体用于：
根据所述若干第一相机采集到的图像，确定图像中特征点的对应关系；
根据成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
可选的，所述得到模块702，具体用于：
根据所述第二相机采集到的图像，确定荧光区域；
根据成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
可选的，所述得到模块702还用于：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
可选的，所述得到模块702，在对所述第二相机采集到的图像进行增强处理时，具体用于：
统计所述第二相机采集到的图像中各灰度值的数量，得到所述图像的直方图；
根据所述直方图，对所述图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述处理后的图像进行增强处理。
可选的，所述得到模块702，在根据所述直方图，对所述图像的灰度值分布进行降噪处理时，具体用于：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
可选的，所述得到模块702，在计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理时，具体用于：
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值， f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
可选的，所述得到模块702还用于：
将单通道的红外图像转换为RGB三通道的荧光区域，和/或，进行暖色调的伪色彩处理。
可选的，所述得到模块702还用于：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
本实施例提供的装置可以执行如图1-图6所示的方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图8为本发明实施例提供的一种图像融合设备的结构示意图。如图8所示，本实施例提供的设备，可以包括：至少一个处理器81和存储器82；
所述存储器82存储计算机执行指令；
所述至少一个处理器81执行所述存储器82存储的计算机执行指令，使得所述至少一个处理器81执行上述任一实施例所述的方法。
其中，存储器82和处理器81可以通过总线83连接。
本实施例提供的设备的具体实现原理和效果可以参见图1-图6所示实施例对应的相关描述和效果，此处不做过多赘述。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明任一实施例提供的图像融合方法。
本发明实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本发明任一实施例所述的图像融合方法。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行本发明各个实施例所述方法的部分步骤。
应理解，上述处理器可以是中央处理单元（Central Processing Unit，简称CPU），还可以是其它通用处理器、数字信号处理器（Digital Signal Processor，简称DSP）、专用集成电路（Application Specific Integrated Circuit，简称ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构（Industry Standard Architecture，简称ISA）总线、外部设备互连（Peripheral Component Interconnect，简称PCI）总线或扩展工业标准体系结构（Extended Industry Standard Architecture，简称EISA）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本发明附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称ASIC)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求书指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求书来限制。
Claims (41)
1.一种图像融合系统，其特征在于，包括：
成像模块、图像处理模块以及显示模块；
所述成像模块包括用于采集第一波段的光的多目相机以及用于采集第二波段的光的第二相机；
所述多目相机包括若干第一相机，所述若干第一相机为两个或两个以上第一相机；
所述图像处理模块用于根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像；对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像；
所述显示模块用于显示下述至少一项：所述三维图像、所述第二相机采集到的图像、所述融合后的图像。
2.根据权利要求1所述的系统，其特征在于，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
3.根据权利要求2所述的系统，其特征在于，所述第一重叠区的中心点置于所述第二相机的光轴上。
4.根据权利要求1所述的系统，其特征在于，所述若干第一相机获取清晰图像的范围具有重叠范围，所述第二相机的成像面在所述重叠范围内。
5.根据权利要求1所述的系统，其特征在于，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像中垂直所述第二相机的光轴方向的一层。
6.根据权利要求1所述的系统，其特征在于，所述第一波段的光为可见光，所述第一相机为可见光相机，拍摄得到的图像为可见光图像；和/或，
所述第二波段的光为红外光，所述第二相机为红外相机，拍摄得到的图像为红外图像。
7.根据权利要求6所述的系统，其特征在于，所述第二波段的光为红外二区的光。
8.根据权利要求6所述的系统，其特征在于，还包括：
红外激光模块，用于激发红外荧光造影剂；
相应的，所述红外相机具体用于采集通过所述红外激光模块激发荧光造影剂在肿瘤区域形成的红外光。
9.根据权利要求1所述的系统，其特征在于，所述成像模块中的第一相机和第二相机的光轴相互平行，所述第二相机置于所述若干第一相机的中心位置。
10.根据权利要求1所述的系统，其特征在于，所述多目相机包括两个第一相机，所述两个第一相机和所述第二相机与待观测物之间的距离相等，所述两个第一相机并列排放，所述第二相机位于两个并列排放第一相机中心点连线的中垂线上；
位于一侧的第一相机与所述第二相机的中心轴间距等于另一第一相机与所述第二相机的中心轴间距。
11.根据权利要求10所述的系统，其特征在于，所述多目相机包括两个第一相机，所述两个第一相机分别位于所述第二相机的两侧，且其中一个第一相机与所述第二相机的中心轴间距等于另一第一相机与所述第二相机的中心轴间距。
12.根据权利要求6所述的系统，其特征在于，所述成像模块还包括：
滤光片，用于滤除第二波段以外的光，保留第二波段的光供所述第二相机采集。
13.根据权利要求1所述的系统，其特征在于，所述若干第一相机的参数相同。
14.根据权利要求1所述的系统，其特征在于，还包括：
测距模块，用于获取所述成像模块的工作距离，所述工作距离为所述成像模块到待观测物表面的距离信息；
相应的，所述图像处理模块还用于：根据所述测距模块采集到的距离信息调节所述成像模块的焦距值和/或聚焦值和/或融合参数。
15.根据权利要求1所述的系统，其特征在于，所述图像处理模块还用于：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
16.根据权利要求1所述的系统，其特征在于，所述图像处理模块在根据所述若干第一相机采集到的图像，进行三维重构，生成三维图像时，具体用于：
根据所述若干第一相机采集到的图像，确定图像中的特征点的对应关系；
根据所述成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
17.根据权利要求1所述的系统，其特征在于，所述图像处理模块在对生成的三维图像以及所述第二相机采集到的图像进行融合，得到融合后的图像时，具体用于：
根据所述第二相机采集到的图像，确定荧光区域；
根据所述成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
18.根据权利要求1所述的系统，其特征在于，所述图像处理模块还用于：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
19.根据权利要求18所述的系统，其特征在于，所述图像处理模块在对所述第二相机采集到的图像进行增强处理时，具体用于：
统计所述第二相机采集到的图像中各灰度值的数量，得到图像的直方图；
根据所述直方图，对图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理。
20.根据权利要求19所述的系统，其特征在于，所述图像处理模块在根据所述直方图，对所述图像的灰度值分布进行降噪处理时，具体用于：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
21.根据权利要求19所述的系统，其特征在于，所述图像处理模块在计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理时，具体用于；
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
22.根据权利要求1所述的系统，其特征在于，所述图像处理模块还用于：
将单通道的图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
23.根据权利要求14所述的系统，其特征在于，所述图像处理模块在根据测距模块采集到的距离信息调节所述成像模块的融合参数时，具体用于：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
24.根据权利要求1-23任一项所述的系统，其特征在于，所述显示模块还用于：
设置所述融合后的图像中荧光区域的透明度；和/或，
在所述融合后的图像中标记荧光边界轮廓。
25.一种图像融合方法，其特征在于，包括：
对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个以上第一相机；
对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光。
26.根据权利要求25所述的方法，其特征在于，所述若干第一相机的视场不同，且所述若干第一相机的视场具有重叠区，所述重叠区为第一重叠区，所述第二相机的视场与所述第一重叠区具有第二重叠区，待观测物置于所述第二重叠区内。
27.根据权利要求25所述的方法，其特征在于，所述第二相机采集到的图像为平面图像，所述平面图像为所述三维图像垂直所述第二相机的光轴方向的一层。
28.根据权利要求25所述的方法，其特征在于，还包括：
根据距离信息调节成像模块的焦距值和/或聚焦值和/或融合参数。
29.根据权利要求25所述的方法，其特征在于，所述若干第一相机的参数相同。
30.根据权利要求25所述的方法，其特征在于，还包括：
对所述若干第一相机采集到的图像以及所述第二相机采集到的图像进行畸变矫正，以根据畸变矫正后的图像进行图像融合。
31.根据权利要求25所述的方法，其特征在于，对若干第一相机采集到的图像进行三维重构，生成三维图像，包括：
根据所述若干第一相机采集到的图像，确定图像中特征点的对应关系；
根据成像模块与待观测物表面的距离信息，确定所述若干第一相机的相机参数；
根据所述若干第一相机的相机参数和所述特征点的对应关系确定所述特征点的深度信息，根据所述深度信息对所述若干第一相机采集的图像进行三维重构，生成三维图像。
32.根据权利要求25所述的方法，其特征在于，对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，包括：
根据所述第二相机采集到的图像，确定荧光区域；
根据成像模块与待观测物表面的距离信息，确定对应的融合参数；
根据所述融合参数，对所述三维图像与所述荧光区域进行融合。
33.根据权利要求25所述的方法，其特征在于，还包括：
对所述第二相机采集到的图像进行增强处理，得到增强后的图像用于进行图像融合。
34.根据权利要求33所述的方法，其特征在于，对所述第二相机采集到的图像进行增强处理，包括：
统计所述第二相机采集到的图像中各灰度值的数量，得到图像的直方图；
根据所述直方图，对图像的灰度值分布进行降噪处理；
计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理。
35.根据权利要求34所述的方法，其特征在于，根据所述直方图，对所述图像的灰度值分布进行降噪处理，包括：
根据所述直方图，确定所述第二相机采集到图像的灰度值区间；
获取所述灰度值区间的长度，所述灰度值区间的长度为最大灰度值与最小灰度值的差值加1获得，若所述灰度值区间的长度小于第一阈值则对应的区间不做处理，若灰度值区间的长度大于第一阈值小于第二阈值，则删除灰度值区间内最小灰度值，若灰度值区间的长度大于第二阈值，则删除灰度值区间内最小灰度值和最大灰度值。
36.根据权利要求34所述的方法，其特征在于，计算降噪处理后的灰度值分布中的最大值和最小值，对所述图像进行增强处理，包括：
计算降噪处理后的灰度值分布中的最大值和最小值；
通过下述公式对所述图像进行增强处理：
其中，e max 表示灰度值分布的最大值，e min 表示灰度值分布的最小值，f(i,j)表示图像中第i行第j列的像素点对应的图像增强处理前的灰度值，g(i,j)表示图像中第i行第j列的像素点对应的图像增强处理后的灰度值。
37.根据权利要求25所述的方法，其特征在于，还包括：
将单通道的红外图像转换为RGB三通道的图像，和/或，进行暖色调的伪色彩处理。
38.根据权利要求28所述的方法，其特征在于，根据测距模块采集到的距离信息调节成像模块的融合参数，包括：
根据所述距离信息，确定下述至少一项融合参数：旋转缩放比例参数、融合坐标位置参数以及仿射变换参数。
39.一种图像处理装置，其特征在于，包括：
生成模块，用于对若干第一相机采集到的图像进行三维重构，生成三维图像，所述若干第一相机用于采集第一波段的光，所述若干第一相机为两个或两个第一相机；
得到模块，用于对所述三维图像与第二相机采集到的图像进行融合，得到融合后的图像，所述第二相机用于采集第二波段的光。
40.一种图像融合设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求25-38任一项所述的图像融合方法。
41.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求25-38任一项所述的图像融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971175.7A CN113436129B (zh) | 2021-08-24 | 2021-08-24 | 图像融合系统、方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110971175.7A CN113436129B (zh) | 2021-08-24 | 2021-08-24 | 图像融合系统、方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113436129A true CN113436129A (zh) | 2021-09-24 |
| CN113436129B CN113436129B (zh) | 2021-11-16 |
Family
ID=77797765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110971175.7A Active CN113436129B (zh) | 2021-08-24 | 2021-08-24 | 图像融合系统、方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436129B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822949A (zh) * | 2021-11-22 | 2021-12-21 | 湖南中腾结构科技集团有限公司 | 一种双目相机的标定方法、装置及可读存储介质 |
| CN115035255A (zh) * | 2022-08-09 | 2022-09-09 | 南京诺源医疗器械有限公司 | 一种高分辨率荧光三维成像装置的数据处理方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| US20140336461A1 (en) * | 2012-04-25 | 2014-11-13 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
| CN105342561A (zh) * | 2015-10-09 | 2016-02-24 | 中国科学院自动化研究所 | 无线声控穿戴式分子影像导航系统 |
| CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
| US20170161921A1 (en) * | 2015-10-09 | 2017-06-08 | Institute Of Automation, Chinese Academy Of Sciences | Wearable molecular imaging navigation system |
| CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航系统 |
| CN109499010A (zh) * | 2018-12-21 | 2019-03-22 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
| CN110327020A (zh) * | 2019-07-04 | 2019-10-15 | 中国科学院自动化研究所 | 近红外二区/一区双模态荧光断层成像系统及方法 |
| CN110430809A (zh) * | 2017-01-16 | 2019-11-08 | P·K·朗 | 用于外科、医疗和牙科手术的光学引导 |
| CN110720985A (zh) * | 2019-11-13 | 2020-01-24 | 安徽领航智睿科技有限公司 | 一种多模式引导的手术导航方法和系统 |
| CN110811498A (zh) * | 2019-12-19 | 2020-02-21 | 中国科学院长春光学精密机械与物理研究所 | 可见光和近红外荧光3d融合图像内窥镜系统 |
| CN111612725A (zh) * | 2020-04-29 | 2020-09-01 | 中国科学院西安光学精密机械研究所 | 一种基于可见光图像对比度增强的图像融合方法 |
| CN113065446A (zh) * | 2021-03-29 | 2021-07-02 | 青岛东坤蔚华数智能源科技有限公司 | 一种用于舰艇锈蚀区自动化识别的深度巡检方法 |
-
2021
- 2021-08-24 CN CN202110971175.7A patent/CN113436129B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140336461A1 (en) * | 2012-04-25 | 2014-11-13 | The Trustees Of Columbia University In The City Of New York | Surgical structured light system |
| CN104021548A (zh) * | 2014-05-16 | 2014-09-03 | 中国科学院西安光学精密机械研究所 | 一种获取场景4d信息的方法 |
| CN105342561A (zh) * | 2015-10-09 | 2016-02-24 | 中国科学院自动化研究所 | 无线声控穿戴式分子影像导航系统 |
| US20170161921A1 (en) * | 2015-10-09 | 2017-06-08 | Institute Of Automation, Chinese Academy Of Sciences | Wearable molecular imaging navigation system |
| CN106170086A (zh) * | 2016-08-19 | 2016-11-30 | 深圳奥比中光科技有限公司 | 绘制三维图像的方法及其装置、系统 |
| CN110430809A (zh) * | 2017-01-16 | 2019-11-08 | P·K·朗 | 用于外科、医疗和牙科手术的光学引导 |
| CN108186115A (zh) * | 2018-02-08 | 2018-06-22 | 北京数字精准医疗科技有限公司 | 手持式荧光超声融合造影导航系统 |
| CN109499010A (zh) * | 2018-12-21 | 2019-03-22 | 苏州雷泰医疗科技有限公司 | 基于红外和可见光三维重建的放射治疗辅助系统及其方法 |
| CN110327020A (zh) * | 2019-07-04 | 2019-10-15 | 中国科学院自动化研究所 | 近红外二区/一区双模态荧光断层成像系统及方法 |
| CN110720985A (zh) * | 2019-11-13 | 2020-01-24 | 安徽领航智睿科技有限公司 | 一种多模式引导的手术导航方法和系统 |
| CN110811498A (zh) * | 2019-12-19 | 2020-02-21 | 中国科学院长春光学精密机械与物理研究所 | 可见光和近红外荧光3d融合图像内窥镜系统 |
| CN111612725A (zh) * | 2020-04-29 | 2020-09-01 | 中国科学院西安光学精密机械研究所 | 一种基于可见光图像对比度增强的图像融合方法 |
| CN113065446A (zh) * | 2021-03-29 | 2021-07-02 | 青岛东坤蔚华数智能源科技有限公司 | 一种用于舰艇锈蚀区自动化识别的深度巡检方法 |
Non-Patent Citations (3)
| Title |
|---|
| LEILEI18A: "《图像处理-线性拉伸》", 《HTTPS://BLOG.CSDN.NET/LEILEI18A/ARTICLE/DETAILS/80180483》 * |
| MING-DER YANG等: "《Fusion of Infrared Thermal Image and Visible Image for 3D Thermal Model Reconstruction Using Smartphone Sensors》", 《SENSORS》 * |
| 李瀚辰: "《红外与可见光三维点云融合算法研究》", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113822949A (zh) * | 2021-11-22 | 2021-12-21 | 湖南中腾结构科技集团有限公司 | 一种双目相机的标定方法、装置及可读存储介质 |
| CN115035255A (zh) * | 2022-08-09 | 2022-09-09 | 南京诺源医疗器械有限公司 | 一种高分辨率荧光三维成像装置的数据处理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113436129B (zh) | 2021-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11857317B2 (en) | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| CN113436129B (zh) | 图像融合系统、方法、装置、设备及存储介质 | |
| US10327627B2 (en) | Use of plenoptic otoscope data for aiding medical diagnosis | |
| WO2015023990A1 (en) | Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance | |
| EP3562379B1 (en) | System and method for camera calibration | |
| WO2015081213A1 (en) | 3d corrected imaging | |
| US20190274518A1 (en) | Medical observation device, such as a microscope or an endoscope, and method using a pseudo-color pattern having temporal and/or spatial modulation | |
| CN106447703A (zh) | 近红外荧光与契伦科夫荧光融合成像方法及设备 | |
| US20190247142A1 (en) | Image processing method and apparatus using elastic mapping of vascular plexus structures | |
| KR102009558B1 (ko) | 영상유도 수술용 고글 시스템 | |
| WO2019157571A1 (en) | Method and system for calibrating a plenoptic camera system | |
| CN108392181A (zh) | 关注区域跟踪装置 | |
| CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
| AU2016433865B2 (en) | System and method for 3D reconstruction | |
| Ahmad et al. | 3D reconstruction of gastrointestinal regions using single-view methods | |
| Gao et al. | Image overlay solution based on threshold detection for a compact near infrared fluorescence goggle system | |
| WO2021099127A1 (en) | Device, apparatus and method for imaging an object | |
| Ahmad et al. | Single-Image-Based 3D Reconstruction of Endoscopic Images | |
| CN113016006A (zh) | 用于宽场高光谱成像的装置和方法 | |
| Clancy et al. | An endoscopic structured lighting probe using spectral encoding | |
| CN115701341A (zh) | 成像系统的图像处理方法、装置、设备、介质及程序产品 | |
| CN108392180A (zh) | 时间强度曲线测定装置 | |
| Zenteno et al. | Spatial and Spectral Calibration of a Multispectral-Augmented Endoscopic Prototype | |
| Askari et al. | Intraoperative Optical Imaging with Distance-Aware RGB-Fluorescence Image Registration | |
| Sharma | Automated depth analysis of optic nerve head from stereo fundus images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211220 Address after: 211800 3rd floor, tower C, Tengfei building, yanchuangyuan, Jiangbei new district, Nanjing City, Jiangsu Province Patentee after: Nanjing Weina Shijie Medical Technology Co.,Ltd. Address before: 211800 3rd floor, tower C, Tengfei building, yanchuangyuan, Jiangbei new district, Nanjing City, Jiangsu Province Patentee before: Nanjing Weina Technology Research Institute Co.,Ltd. |