CN114266817B - 一种荧光深度图像合成方法、装置、电子设备及存储介质 - Google Patents
一种荧光深度图像合成方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114266817B CN114266817B CN202210197030.0A CN202210197030A CN114266817B CN 114266817 B CN114266817 B CN 114266817B CN 202210197030 A CN202210197030 A CN 202210197030A CN 114266817 B CN114266817 B CN 114266817B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- fluorescence
- coefficient
- depth image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 10
- 238000002073 fluorescence micrograph Methods 0.000 claims abstract description 85
- 239000003086 colorant Substances 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 230000004927 fusion Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 210000000056 organ Anatomy 0.000 abstract description 25
- 230000008901 benefit Effects 0.000 abstract description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 5
- 238000003786 synthesis reaction Methods 0.000 abstract description 5
- 210000001519 tissue Anatomy 0.000 description 27
- 230000008859 change Effects 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 239000000243 solution Substances 0.000 description 7
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
Abstract
本申请提供了一种荧光深度图像合成方法、装置、电子设备及存储介质，涉及图像处理技术领域，其技术方案要点是：包括：获取对应的荧光图像以及深度图像；根据所述荧光图像以及所述深度图像计算得到透明度系数；根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像，使所述融合图像以不同的颜色显示不同的深度信息。本申请提供的一种荧光深度图像合成方法、装置、电子设备及存储介质具有使器官组织图像的边缘更加清晰的优点。
Description
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种荧光深度图像合成方法、装置、电子设备及存储介质。
背景技术
现代医学影像在临床的应用日益广泛，为疾病的诊断、治疗提供大量生物组织特性相关的重要依据。其中，外科手术中的医学影像技术，可在手术过程中提供病灶相关结构和功能信息，辅助医生实现术前规划以及在术中进行实时引导和术后评估，提高了手术安全性和精准度。
相较于传统内窥镜摄像系统，AR荧光远程医疗手术导航系统可以将影像提供的病灶组织结构和功能信息累加至实际场景上，在人眼所能观察的实际生物组织上强化显示影像设备所捕获的组织结构信号、功能性分子显影信号，乃至远程医疗指导信号等。实施手术的医生无需在屏幕与手术区域频繁转换视线，同时通过远程医疗技术，可实现先进技术经验下沉至底层医院。
现有AR荧光远程医疗手术导航系统利用ICG成像原理，生成荧光图像，然后将荧光图像投射累加到人体上，但仅有亮度明暗变化的投影图像无法精确反馈人体器官和组织的沟壑深浅变化，以及无法清晰地区分边缘。例如A、B两处相邻，A处位置较浅但ICG浓度弱，B处位置较深且ICG浓度强，两者激发近红外荧光强度相同，则最终投影的荧光合成图像在A、B处会连成一片，无法区分组织的深浅变化。又例如，器官与背景脂肪组织相邻，但脂肪组织由于ICG扩散或者注射点错误等原因，导致近红外荧光显影，使得投射出的荧光合成图像渲染成一团，无法清晰区分器官的边缘。
针对上述问题，亟需进行解决。
发明内容
本申请的目的在于提供一种荧光深度图像合成方法、装置、电子设备及存储介质一种，具有使器官组织边缘的图像更加的优点。
第一方面，本申请提供了一种荧光深度图像合成方法，技术方案如下：
包括：
获取对应的荧光图像以及深度图像；
根据所述荧光图像以及所述深度图像计算得到透明度系数；
根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像，使所述融合图像以不同的颜色显示不同的深度信息。
通过荧光图像和深度图像计算出透明度系数，然后利用透明度系数对二者进行融合得到融合图像，使融合图像带有深度变化的信息，并且，在融合图像过程，使用透明度系数和不同颜色的背景以及不同颜色的前景进行融合，得到的融合图像为伪彩图，利用伪彩图中色差的变化反映出器官组织不同的深浅信息，进而使不同的器官组织之间的边缘变得清晰易区分，因此具有使器官组织边缘的图像更加的有益效果。
进一步地，在本申请中，所述根据所述荧光图像以及所述深度图像计算得到透明度系数的步骤包括：
根据所述荧光图像计算得到荧光占比系数；
根据所述荧光图像以及所述深度图像计算得到深度占比系数；
根据所述荧光占比系数以及所述深度占比系数计算得到所述透明度系数。
进一步地，在本申请中，所述根据所述荧光图像以及所述深度图像计算得到深度占比系数的步骤包括：
在所述荧光图像上，与所述深度图像对应的区域内的像素点的灰度值大于第一预设值时，读取所述深度图像中对应像素点的深度值；
根据所述深度值计算得到所述深度占比系数。
当像素点的灰度值过小时，表明荧光的亮度比较弱，此时不再考虑深度占比系数，从而减少计算量，提高图像处理效率。
进一步地，在本申请中，根据所述荧光占比系数以及所述深度占比系数计算得到所述透明度系数的步骤包括：
在所述荧光图像上，与所述深度图像对应的区域内的像素点的灰度值小于或等于所述第一预设值时，将所述荧光占比系数直接作为所述透明度系数。
进一步地，在本申请中，所述根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像的步骤包括：
根据所述透明度系数的取值，选取作为前景的颜色以及作为背景的颜色；
根据所述透明度系数、所述选取作为前景的颜色以及所述选取作为背景的颜色计算得到所述融合图像。
利用不同的颜色作为背景和前景，使融合图像上的色差变化可以反映出深度的变化，有利于被人眼或设备识别。
进一步地，在本申请中，根据所述透明度系数的取值，选取作为前景的颜色以及作为背景的颜色的步骤包括：
所述透明度系数大于0且小于第二预设值时，将黄色作为前景，将绿色作为背景；
所述透明度系数大于或等于所述第二预设值且小于或等于第三预设值时，将绿色作为前景，将蓝色作为背景；
所述透明度系数大于第三预设值且小于或等于1时，将蓝色作为前景，黑色作为背景。
进一步地，在本申请中，还包括：
获取所述荧光图像与所述深度图像的帧率信息；
根据所述帧率信息对所述荧光图像和/或所述深度图像进行处理，使所述荧光图像与所述深度图像的帧率保持一致。
第二方面，本申请还提供一种荧光深度图像合成装置，包括：
获取模块，用于获取对应的荧光图像以及深度图像；
第一处理模块，用于根据所述荧光图像以及所述深度图像计算得到透明度系数；
第二处理模块，用于根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像，使所述融合图像以不同的颜色显示不同的深度信息。
第三方面，本申请还提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上所述方法中的步骤。
第四方面，本申请还提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，运行如上所述方法中的步骤。
由上可知，本申请提供的一种荧光深度图像合成方法、装置、电子设备及存储介质，通过荧光图像和深度图像计算出透明度系数，然后利用透明度系数对二者进行融合得到融合图像，使融合图像带有深度变化的信息，并且，在融合图像过程，使用透明度系数和不同颜色的背景以及不同颜色的前景进行融合，得到的融合图像为伪彩图，利用伪彩图中色差的变化反映出器官组织不同的深浅信息，进而使不同的器官组织之间的边缘变得清晰易区分，因此具有使器官组织边缘的图像更加的有益效果。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本申请提供的一种荧光深度图像合成方法流程图。
图2为本申请提供的一种荧光深度图像合成装置示意图。
图3为本申请提供的一种电子设备示意图。
图中：210、获取模块；220、第一处理模块；230、第二处理模块；310、处理器；320、存储器。
具体实施方式
下面将结合本申请中附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，一种荧光深度图像合成方法，技术方案具体包括：
S110、获取对应的荧光图像以及深度图像；
S120、根据荧光图像以及深度图像计算得到透明度系数；
S130、根据透明度系数结合不同的背景颜色以及不同的前景颜色融合荧光图像以及深度图像得到融合图像。
通过上述技术方案，利用荧光图像和深度图像计算出透明度系数，然后利用透明度系数对二者进行融合得到融合图像，使融合图像带有深度变化的信息，并且，在融合图像过程，使用透明度系数和不同颜色的背景以及不同颜色的前景进行融合，得到的融合图像为伪彩图，利用伪彩图中色差的变化反映出器官组织不同的深浅信息，进而使不同的器官组织之间的边缘变得清晰易区分，因此具有使器官组织边缘的图像更加的有益效果。
其中，荧光图像可以通过荧光相机拍摄获得，深度图像可以通过TOF传感器获得，在获取荧光图像和深度图像中， TOF传感器的视场角和像元大小与荧光相机一样，如果不一样则需要将两者视野进行调整匹配，使荧光图像和深度图像相互对应。
进一步地，在其中一些实施例中，根据荧光图像以及深度图像计算得到透明度系数的步骤包括：
根据荧光图像计算得到荧光占比系数；
根据荧光图像以及深度图像计算得到深度占比系数；
根据荧光占比系数以及深度占比系数计算得到透明度系数。
通过上述技术方案，荧光占比系数和深度占比系数表示在融合图像中，荧光图像和深度图像的比重，通常，在医疗领域中，荧光内窥镜的观测主要依靠的荧光图像，深度图像的目的是起辅助辨识的作用，用于使器官或组织之间的边缘更加清晰。
具体的，在一些实施方式中，根据荧光图像计算得到荧光占比系数的步骤为：
遍历荧光图像中的所有像素点，从而得到每个像素点的灰度值，将灰度值进行归一化处理后，计算得到荧光占比系数，计算的公式为：
其中，A表示的是荧光占比系数，G（i，j）表示的是在荧光图像中，坐标为（i，j）的像素点的灰度值。
具体的，在一些实施方式中，计算深度占比系数的步骤包括：
在荧光图像上，与深度图像对应的区域内的像素点的灰度值大于第一预设值时，读取深度图像中对应像素点的深度值；
根据深度值计算得到深度占比系数。
具体地，例如荧光图像的分辨率为1920*1080，深度图像的分辨率为1280*720，则首先需要将荧光图像和深度图像对齐，使1920*1080的荧光图像中具有与1280*720的深度图像重叠的部分，并且，重叠部分的大小通常也为1280*720，然后判断在荧光图像中，与深度图像重合部分的像素点的灰度值大小，当重合部分的像素点的灰度值大于第一预设值时，则读取深度图像中对应像素点的深度值，然后根据深度值计算得到深度占比系数。
例如，第一预设值可以设置为5，当荧光图像中与深度图像重合部分的像素点的像素值大于5时，即G（i，j）>5，则读取深度图像中对应坐标的深度值D（i，j），计算深度占比系数的公式为：
其中，B表示的是深度占比系数，D（i，j）表示在深度图像中，坐标为（i，j）的像素点的深度值，d_max表示的是荧光图像中所有与深度图像重叠的像素点的深度值中的最大值，d_min表示的是荧光图像中所有与深度图像重叠的像素点的深度值中的最小值。
具体的，d_max和d_min可以是归一化后的结果。
其中，如果D（i，j）的结果为0，则将该像素点舍弃。
在计算得到荧光占比系数A和深度占比系数B之后，按照预设比例计算得到透明度系数，其中，具体的计算公式为：
其中，C表示的是透明度系数，A表示的荧光占比系数，B表示的是深度占比系数，W1表示A所占的权重，W2表示的是B所占的权重，W1和W2为预先设置的可调参数。
由于荧光内窥镜的成像主要是依靠荧光图像，深度图像是为了辅助成像从而使器官或组织的边缘变得清晰，因此在设置W1和W2时，其原则为W1>W2，具体的，可以使W1设置为0.8，W2设置为0.2。
通过上述技术方案，可以结合荧光图像和深度图像从而得到融合图像，使融合图像中包含了器官或组织的深浅信息，进而更容易的区分出器官或组织的边缘位置。
并且，在上述的方案中，之所以设置第一预设值的目的是因为只有当荧光图像的灰度值大于一定数值时，荧光才会被明显观测，否则的话，荧光的亮度很弱，基本无法被识别，此时也就不再需要考虑深度信息，因此，只有当灰度值大于第一预设值时，才会考虑深度信息，这样可以提升图像处理的效率，减少不必要的数据处理。
因此，在其中一些实施例中，根据荧光占比系数以及深度占比系数计算得到透明度系数的步骤包括：
在荧光图像上，与深度图像对应的区域内的像素点的灰度值小于或等于第一预设值时，将荧光占比系数直接作为透明度系数。
通过上述技术方案，当荧光图像的像素点的灰度值小于或等于第一预设值时，表示荧光的亮度很弱，基本处于无法被观测的状态，此时不再需要考虑深度信息作为辅助识别，因此直接将荧光占比系数直接作为透明度系数，减少不必要的计算量，以提高处理效率。
此外，如果荧光图像与深度图像的分辨率不匹配，则在荧光图像中，与深度图像非重叠部分的图像均以荧光占比系数作为透明度系数。
进一步地，在其中一些实施例中，根据透明度系数结合不同的背景颜色以及不同的前景颜色融合荧光图像以及深度图像得到融合图像的步骤包括：
根据透明度系数的取值，选取作为前景的颜色以及作为背景的颜色；
根据透明度系数、前景颜色以及背景颜色计算得到融合图像。
通过上述技术方案，在本申请中，透明度系数包含了深度信息，不同器官和组织所对应的像素点具有不同的深度信息，不同的深度信息反映出不同的透明度系数，根据透明度系数的取值，选取对应不同的颜色作为前景和背景，可以更加直观的在融合图像中表达出不同的深浅信息，进而使器官或组织的边缘更加清晰和便于识别区分。
具体的，根据透明度系数的取值，选取作为前景的颜色以及作为背景的颜色的步骤包括：
透明度系数大于0且小于第二预设值时，将黄色作为前景，将绿色作为背景；
透明度系数大于或等于第二预设值且小于或等于第三预设值时，将绿色作为前景，将蓝色作为背景；
透明度系数大于第三预设值且小于1时，将蓝色作为前景，黑色作为背景。
通过上述技术方案，利用黄色Y(255，255，0)，绿色G(0，255，0)，蓝色B(0，255，255)作为背景和前景的颜色，从黄到蓝代表由近及远，利用不同的颜色作为前景和背景，最终融合出的融合图像为伪彩图，伪彩图可以通过颜色的变化来分辨出深度的变化，也就是通过颜色的变化来区分不同器官和组织之间的边缘，因此可以很容被人眼所识别分辨。
具体的，在一些实施方式中，荧光图像和深度图像进行融合的公式为：
其中，
为融合图像，
为背景，
为前景，
为透明度系数。
在融合形成伪彩图的过程中，根据透明度系数不同的取值，利用不同的颜色作为背景，例如：
当C<0.15时，
当0.15≤C≤0.5时，
当0.5<C≤1时，
其中，C表示透明度系数，image3表示融合图像，Y表示黄色(255，255，0)，B表示蓝色(0，255，255)，G表示绿色(0，255，0)。
值得注意的是，上述计算公式中的0.15与0.5的值可以自定义设置，根据人眼的适应度和实际情况进行设置，透明度系数
的取值为0至1，0.15以及0.5将其分成三段。其中，形成伪彩图分为三段，前景颜色分别是黄、绿、蓝，每段在各自长度内进行归一化，使每一段前景颜色渐变，当某点经过上述计算得到的透明度系数
为0.1时，在区间0至0.15内，则在长度0.15内进行归一化，即
；
当某点经过计算得到透明度系数
为0.25时，处于区间0.15至0.5内，则在长度0.35内进行归一化，即
；
当某点经过计算得到透明度系数
为0.65时，处于区间0.5至1内，则在长度0.5内进行归一化，即
。
进一步地，在其中一些实施例中，还包括：
获取荧光图像与深度图像的帧率信息；
根据帧率信息对荧光图像和/或深度图像进行处理，使荧光图像与深度图像的帧率保持一致。
通常，深度图像由TOF传感器获得，然而目前的TOF传感器的分辨率和帧率均不高，难以与荧光相机匹配，在这种情况下，需要对荧光图像和/或深度图像进行处理，使二者匹配对应，在理想情况下，荧光图像和深度图像的具有相同的视场角、分辨率和帧率。在实际使用过程中，可以通过系统结构设计和系统软件调整使得二者的视野进行调整匹配，然而TOF传感器的分辨率和帧率均不高，其分辨率通常为1280*720，帧率通常为30帧，荧光图像的分辨率通常为1920*1080，帧率通常为60帧，因此，通常需要对深度图像进行补帧处理，使深度图像变成60帧，这样可以便于进行计算。
第二方面，参照图2，本申请还提供一种荧光深度图像合成装置，包括：
获取模块210，用于获取对应的荧光图像以及深度图像；
第一处理模块220，用于根据荧光图像以及深度图像计算得到透明度系数；
第二处理模块230，用于根据透明度系数结合不同的背景颜色以及不同的前景颜色融合荧光图像以及深度图像得到融合图像。
通过上述技术方案，利用获取模块210获取对应的荧光图像和深度图像，然后由第一处理模块220通过荧光图像和深度图像计算出透明度系数，最后由第二处理模块230利用透明度系数对二者进行融合得到融合图像，使融合图像带有深度变化的信息，并且，在融合图像过程，使用透明度系数和不同颜色的背景以及不同颜色的前景进行融合，得到的融合图像为伪彩图，利用伪彩图中色差的变化反映出器官组织不同的深浅信息，进而使不同的器官组织之间的边缘变得清晰易区分，因此具有使器官组织边缘的图像更加的有益效果。
在一些优选实施方式中，使用该荧光深度图像合成装置执行上述荧光深度图像合成方法中的其它步骤。
第三方面，参照图3，本申请还提供一种电子设备，包括处理器310以及存储器320，存储器320存储有计算机可读取指令，当计算机可读取指令由处理器310执行时，运行上述方法中的步骤。
通过上述技术方案，处理器310和存储器320通过通信总线和/或其他形式的连接机构（未标出）互连并相互通讯，存储器320存储有处理器310可执行的计算机程序，当计算设备运行时，处理器310执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取对应的荧光图像以及深度图像；根据荧光图像以及深度图像计算得到透明度系数；根据透明度系数结合不同的背景颜色以及不同的前景颜色融合荧光图像以及深度图像得到融合图像。
第四方面，本申请还提供一种存储介质，其上存储有计算机程序，计算机程序被处理器执行时，运行上述方法中的步骤。
通过上述技术方案，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法，以实现以下功能：获取对应的荧光图像以及深度图像；根据荧光图像以及深度图像计算得到透明度系数；根据透明度系数结合不同的背景颜色以及不同的前景颜色融合荧光图像以及深度图像得到融合图像。
其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（Static Random Access Memory, 简称SRAM），电可擦除可编程只读存储器（Electrically Erasable Programmable Read-Only Memory, 简称EEPROM），可擦除可编程只读存储器（Erasable Programmable Read Only Memory, 简称EPROM），可编程只读存储器（Programmable Red-Only Memory, 简称PROM），只读存储器（Read-OnlyMemory, 简称ROM），磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (8)
1.一种荧光深度图像合成方法，其特征在于，包括：
获取对应的荧光图像以及深度图像；
根据所述荧光图像以及所述深度图像计算得到透明度系数；
根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像，使所述融合图像以不同的颜色显示不同的深度信息；
所述根据所述荧光图像以及所述深度图像计算得到透明度系数的步骤包括：
根据所述荧光图像计算得到荧光占比系数；
根据所述荧光图像以及所述深度图像计算得到深度占比系数；
根据所述荧光占比系数以及所述深度占比系数计算得到所述透明度系数；
所述根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像的步骤包括：
根据所述透明度系数的取值，选取作为前景的颜色以及作为背景的颜色；
根据所述透明度系数、所述选取作为前景的颜色以及所述选取作为背景的颜色计算得到所述融合图像。
2.根据权利要求1所述的一种荧光深度图像合成方法，其特征在于，所述根据所述荧光图像以及所述深度图像计算得到深度占比系数的步骤包括：
在所述荧光图像上，与所述深度图像对应的区域内的像素点的灰度值大于第一预设值时，读取所述深度图像中对应像素点的深度值；
根据所述深度值计算得到所述深度占比系数。
3.根据权利要求2所述的一种荧光深度图像合成方法，其特征在于，根据所述荧光占比系数以及所述深度占比系数计算得到所述透明度系数的步骤包括：
在所述荧光图像上，与所述深度图像对应的区域内的像素点的灰度值小于或等于所述第一预设值时，将所述荧光占比系数直接作为所述透明度系数。
4.根据权利要求1所述的一种荧光深度图像合成方法，其特征在于，根据所述透明度系数的取值，选取作为前景的颜色以及作为背景的颜色的步骤包括：
所述透明度系数大于0且小于第二预设值时，将黄色作为前景，将绿色作为背景；
所述透明度系数大于或等于所述第二预设值且小于或等于第三预设值时，将绿色作为前景，将蓝色作为背景；
所述透明度系数大于第三预设值且小于或等于1时，将蓝色作为前景，黑色作为背景。
5.根据权利要求1所述的一种荧光深度图像合成方法，其特征在于，还包括：
获取所述荧光图像与所述深度图像的帧率信息；
根据所述帧率信息对所述荧光图像和/或所述深度图像进行处理，使所述荧光图像与所述深度图像的帧率保持一致。
6.一种荧光深度图像合成装置，其特征在于，包括：
获取模块，用于获取对应的荧光图像以及深度图像；
第一处理模块，用于根据所述荧光图像以及所述深度图像计算得到透明度系数；
第二处理模块，用于根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像，使所述融合图像以不同的颜色显示不同的深度信息；
所述根据所述荧光图像以及所述深度图像计算得到透明度系数的步骤包括：
根据所述荧光图像计算得到荧光占比系数；
根据所述荧光图像以及所述深度图像计算得到深度占比系数；
根据所述荧光占比系数以及所述深度占比系数计算得到所述透明度系数；
所述根据所述透明度系数结合不同的背景颜色以及不同的前景颜色融合所述荧光图像以及所述深度图像得到融合图像的步骤包括：
根据所述透明度系数的取值，选取作为前景的颜色以及作为背景的颜色；
根据所述透明度系数、所述选取作为前景的颜色以及所述选取作为背景的颜色计算得到所述融合图像。
7.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-5任一项所述方法中的步骤。
8.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，运行如权利要求1-5任一项所述方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210197030.0A CN114266817B (zh) | 2022-03-02 | 2022-03-02 | 一种荧光深度图像合成方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210197030.0A CN114266817B (zh) | 2022-03-02 | 2022-03-02 | 一种荧光深度图像合成方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114266817A CN114266817A (zh) | 2022-04-01 |
| CN114266817B true CN114266817B (zh) | 2022-06-07 |
Family
ID=80833963
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210197030.0A Active CN114266817B (zh) | 2022-03-02 | 2022-03-02 | 一种荧光深度图像合成方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114266817B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117670700A (zh) * | 2023-12-08 | 2024-03-08 | 江西远赛医疗科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013065266A (ja) * | 2011-09-20 | 2013-04-11 | Olympus Corp | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム |
| CN107137053A (zh) * | 2016-02-15 | 2017-09-08 | 徕卡仪器（新加坡）有限公司 | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 |
| CN206534707U (zh) * | 2016-11-23 | 2017-10-03 | 北京锐视康科技发展有限公司 | 一种pet‑荧光双模态术中导航成像系统 |
| CN112129734A (zh) * | 2020-08-28 | 2020-12-25 | 东北大学 | 一种深度可分辨荧光成像系统 |
| CN113367638A (zh) * | 2021-05-14 | 2021-09-10 | 广东欧谱曼迪科技有限公司 | 获取高精度三维荧光图像的方法、装置、存储介质和终端 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3816942A1 (en) * | 2019-10-29 | 2021-05-05 | Koninklijke Philips N.V. | An image processing method for setting transparency values and color values of pixels in a virtual image |
| CN112330531B (zh) * | 2020-11-04 | 2022-05-17 | 广州博冠信息科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
-
2022
- 2022-03-02 CN CN202210197030.0A patent/CN114266817B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013065266A (ja) * | 2011-09-20 | 2013-04-11 | Olympus Corp | 画像処理装置、蛍光顕微鏡装置および画像処理プログラム |
| CN107137053A (zh) * | 2016-02-15 | 2017-09-08 | 徕卡仪器（新加坡）有限公司 | 使用伪彩色的诸如显微镜或内窥镜的医疗检查装置 |
| CN206534707U (zh) * | 2016-11-23 | 2017-10-03 | 北京锐视康科技发展有限公司 | 一种pet‑荧光双模态术中导航成像系统 |
| CN112129734A (zh) * | 2020-08-28 | 2020-12-25 | 东北大学 | 一种深度可分辨荧光成像系统 |
| CN113367638A (zh) * | 2021-05-14 | 2021-09-10 | 广东欧谱曼迪科技有限公司 | 获取高精度三维荧光图像的方法、装置、存储介质和终端 |
Non-Patent Citations (1)
| Title |
|---|
| 基于静态小波变换的变透明度法融合GFP荧光图像与相衬图像;李添捷等;《光学精密工程》;20091115(第11期);第2871-2879页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114266817A (zh) | 2022-04-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6546605B2 (ja) | 液体キャニスタ内の血液成分量の推定方法 | |
| WO2023103467A1 (zh) | 图像处理方法、装置及设备 | |
| US8699774B2 (en) | Image processing apparatus, control method thereof, and program | |
| US11051716B2 (en) | Method and apparatus for jaundice diagnosis based on an image | |
| CN107241557A (zh) | 图像曝光方法、装置、摄像设备及存储介质 | |
| LU500127B1 (en) | Enhanced augmented reality headset for medical imaging | |
| US20130002844A1 (en) | Endoscope apparatus | |
| CN105011903A (zh) | 一种智能健康诊断系统 | |
| EP3110314B1 (en) | System and method for specular reflection detection and reduction | |
| CN107077596A (zh) | 用于产生针对所选择识别文档的符合的面部图像的系统 | |
| US20220051786A1 (en) | Medical image processing apparatus and medical image processing method which are for medical navigation device | |
| EP4345776A2 (en) | Microscope system, projection unit, and image projection method | |
| WO2016076059A1 (ja) | 器官画像撮影装置およびプログラム | |
| CN114266817B (zh) | 一种荧光深度图像合成方法、装置、电子设备及存储介质 | |
| WO2019011110A1 (zh) | 逆光场景的人脸区域处理方法和装置 | |
| WO2014208287A1 (ja) | 検出装置、学習装置、検出方法、学習方法及びプログラム | |
| CN114022397B (zh) | 一种内窥镜图像去雾方法、装置、电子设备及存储介质 | |
| JP6150617B2 (ja) | 検出装置、学習装置、検出方法、学習方法及びプログラム | |
| KR20190069751A (ko) | 복수의 후보 좌표를 이용한 특징점 기반 정합 장치 및 방법 | |
| CN115701341A (zh) | 成像系统的图像处理方法、装置、设备、介质及程序产品 | |
| CN114302035B (zh) | 一种图像处理方法、装置、电子设备及内窥镜系统 | |
| WO2020031069A1 (en) | Boundary localization of an internal organ of a subject for providing assistance during surgery | |
| CN114515395B (zh) | 基于双目视觉的吞咽检测方法及装置、设备、存储介质 | |
| KR20190061337A (ko) | 비방사선 기반 질병조직 탐지 의료영상장치 및 방법 | |
| US20240225776A1 (en) | Augmented reality headset and probe for medical imaging |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 528253 Room 503, Floor 5, Building A, Jingu Zhichuang Industrial Community, No. 2, Yong'an North Road, Dawu Community, Guicheng Street, Nanhai District, Foshan City, Guangdong Province (residence declaration) Patentee after: Guangdong Oupu Mandi Technology Co.,Ltd. Address before: Room B, room 504-2, floor 5, block a, Jingu photoelectric community, No. 1, Yongan North Road, Pingzhou, Guicheng Street, Nanhai District, Foshan City, Guangdong Province, 528251 Patentee before: GUANGDONG OPTOMEDIC TECHNOLOGY CO.,LTD. |
|
| CP03 | Change of name, title or address |