CN113496475B - 内窥镜摄像系统中的成像方法、装置及计算机设备 - Google Patents
内窥镜摄像系统中的成像方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN113496475B CN113496475B CN202010198285.XA CN202010198285A CN113496475B CN 113496475 B CN113496475 B CN 113496475B CN 202010198285 A CN202010198285 A CN 202010198285A CN 113496475 B CN113496475 B CN 113496475B
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- target
- category
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 189
- 238000012545 processing Methods 0.000 claims abstract description 193
- 238000000034 method Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims description 122
- 239000000779 smoke Substances 0.000 claims description 78
- 238000001514 detection method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 21
- 238000001914 filtration Methods 0.000 claims description 19
- 230000015654 memory Effects 0.000 claims description 18
- 230000004044 response Effects 0.000 claims description 16
- 230000000740 bleeding effect Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000002059 diagnostic imaging Methods 0.000 abstract description 2
- 208000032843 Hemorrhage Diseases 0.000 description 45
- 238000012795 verification Methods 0.000 description 18
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000001356 surgical procedure Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 239000003365 glass fiber Substances 0.000 description 4
- 238000007689 inspection Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 208000018522 Gastrointestinal disease Diseases 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 210000001035 gastrointestinal tract Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000002847 Surgical Wound Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002439 hemostatic effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Endoscopes (AREA)
Abstract
本申请提供了一种内窥镜摄像系统中的成像方法、装置及计算机设备,属于医学影像技术领域。所述方法包括:获取在目标场景中拍摄得到的第一图像,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到第二图像。在本申请中,根据第一图像中标识场景类别的至少一个对象对目标场景所属的场景类别进行识别,提高了识别场景类别的准确率,进而根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量关键因素进行处理,得到第二图像,能够提高成像质量。
Description
技术领域
本申请涉及医学影像技术领域,特别涉及一种内窥镜摄像系统中的成像方法、装置及计算机设备。
背景技术
内窥镜摄像系统为一种医疗器械,参见图1,内窥镜摄像系统通常包括内窥镜、光源主机和计算机设备。其中,计算机设备包括摄像系统主机和显示器。内窥镜导入人体的待检查部位,基于光源主机通过导光束提供的光源,采集待检查部位的图像;通过手柄线缆,将图像传入摄像系统主机中;通过显示线缆,将图像由摄像系统主机传入显示器,通过显示器显示图像。为了使显示器中的图像达到更好的成像效果,通常会通过摄像系统主机对图像进行处理。
相关技术中,设置有多个图像类型对应的标准图像和每个图像类型对应的成像优化参数。在对待处理图像进行处理时,分别计算待处理图像和每个标准图像的相似度;将与待处理图像相似度最高的标准图像的图像类型名称作为待处理图像的图像类型;根据该图像类型对应的成像优化参数,对待处理图像进行成像优化。
相关技术中,预设的标准图像为一张具体的图像,不能代表一个类型的待处理图像,通过计算待处理图像和标准图像的相似度得到的待处理图像的图像类型不够准确,进而通过该图像类型对应的成像优化参数对图像进行处理,得到的图像质量较低。
发明内容
本申请实施例提供了一种内窥镜摄像系统中的成像方法、装置及计算机设备,能够提高目标活体的待检测部位的成像质量。所述技术方案如下:
根据本申请实施例的一方面,提供了一种内窥镜摄像系统中的成像方法,所述方法包括:
获取在目标场景中拍摄得到的第一图像,所述目标场景为内窥镜摄像系统的图像采集场景,所述第一图像用于呈现所述目标场景中目标活体的待检测部位;
根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别;
根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像。
在一种可能的实现方式中,所述根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别,包括:
将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别,所述场景识别模型用于根据所述至少一个对象,识别所述目标场景所属的场景类别。
在另一种可能的实现方式中,所述将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别之前,所述方法还包括:
获取多个第一训练图像,所述第一训练图像标注有所述第一训练图像所属的场景类别;
根据所述多个第一训练图像和所述多个第一训练图像所属的场景类别,训练得到所述场景识别模型。
在另一种可能的实现方式中,所述根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别,包括:
将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果,所述类别检测结果用于表示所述至少一个对象中是否包括目标对象,所述目标对象用于标识所述类别检测器所检测的场景类别;
响应于所述类别检测结果用于表示所述至少一个对象中包括所述目标对象,确定所述目标场景所属的场景类别为所述目标对象对应的场景类别。
在另一种可能的实现方式中,所述方法还包括:
响应于所述类别检测结果用于表示所述至少一个对象中不包括所述目标对象,确定所述目标场景所属的场景类别不为所述目标对象对应的场景类别;
将所述第一图像输入所述至少一个类别检测器中未使用的类别检测器,通过所述未使用的类别检测器,识别所述目标场景所属的场景类别。
在另一种可能的实现方式中,所述将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果之前,所述方法还包括:
获取多个第二训练图像,所述第二训练图像标注有所述第二训练图像中包括的目标对象;
根据所述多个第二训练图像和所述多个第二训练图像中标注的目标对象,训练得到所述类别检测器。
在另一种可能的实现方式中,所述场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个。
在另一种可能的实现方式中,所述根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像,包括:
响应于所述关键因素为图像参数,根据所述场景处理策略,对所述第一图像的图像参数进行处理,得到所述第二图像;或者,
响应于所述关键因素为成像环境,根据所述场景处理策略,控制所述目标场景中的环境调节设备对所述目标场景中的环境进行调节;对环境调节后的目标场景进行重新拍摄,得到所述第二图像;或者,
响应于所述关键因素为摄像设备的摄像参数,所述摄像设备为拍摄所述目标场景的摄像设备,根据所述场景处理策略,对所述摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对所述目标场景进行重新拍摄,得到所述第二图像。
在另一种可能的实现方式中,所述根据所述场景处理策略,对所述第一图像的图像参数进行处理,得到所述第二图像,包括:
从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,对所述感兴趣区域的数字增益进行调整,得到所述第二图像;或者,
根据所述场景处理策略,识别所述第一图像的烟雾浓度;根据所述烟雾浓度对应的去雾参数,对所述第一图像进行去雾处理,得到所述第二图像;或者,
根据所述场景处理策略,识别所述第一图像中的网格纹大小;根据所述网格纹大小对应的滤波参数,对所述第一图像进行滤波处理,得到第二图像。
在另一种可能的实现方式中,所述根据所述场景处理策略,控制所述目标场景中的环境调节设备对所述目标场景中的环境进行调节,包括:
根据所述场景处理策略,生成去雾指令,所述去雾指令用于指示去雾设备对所述目标场景中的烟雾进行处理;
通过所述去雾设备,对所述目标场景中的烟雾进行处理。
在另一种可能的实现方式中,所述根据所述场景处理策略,对所述摄像设备的摄像参数进行调整,包括:
根据所述场景处理策略,从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标图像,所述目标对象用于标识所述目标场景所属的场景类别;
根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;
响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,确定所述第一图像的下一帧图像的曝光时间;
将所述摄像设备的曝光时间设置为确定出的曝光时间。
根据本申请实施例的另一方面,提供了一种内窥镜摄像系统中的成像装置,所述装置包括:
获取模块,用于获取在目标场景中拍摄得到的第一图像,所述目标场景为内窥镜摄像系统的图像采集场景,所述第一图像用于呈现所述目标场景中目标活体的待检测部位;
识别模块,用于根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别;
处理模块,用于根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像。
在一种可能的实现方式中,所述识别模块,还用于将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别,所述场景识别模型用于根据所述至少一个对象,识别所述目标场景所属的场景类别。
在另一种可能的实现方式中,所述装置还包括:
所述获取模块,还用于获取多个第一训练图像,所述第一训练图像标注有所述第一训练图像所属的场景类别;
第一训练模块,用于根据所述多个第一训练图像和所述多个第一训练图像所属的场景类别,训练得到所述场景识别模型。
在另一种可能的实现方式中,所述识别模块,还用于将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果,所述类别检测结果用于表示所述至少一个对象中是否包括目标对象,所述目标对象用于标识所述类别检测器所检测的场景类别;响应于所述类别检测结果用于表示所述至少一个对象中包括所述目标对象,确定所述目标场景所属的场景类别为所述目标对象对应的场景类别。
在另一种可能的实现方式中,所述识别模块,还用于响应于所述类别检测结果用于表示所述至少一个对象中不包括所述目标对象,确定所述目标场景所属的场景类别不为所述目标对象对应的场景类别;将所述第一图像输入所述至少一个类别检测器中未使用的类别检测器,通过所述未使用的类别检测器,识别所述目标场景所属的场景类别。
在另一种可能的实现方式中,所述装置还包括:
所述获取模块,还用于获取多个第二训练图像,所述第二训练图像标注有所述第二训练图像中包括的目标对象;
第二训练模块,用于根据所述多个第二训练图像和所述多个第二训练图像中标注的目标对象,训练得到所述类别检测器。
在另一种可能的实现方式中,所述场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个。
在另一种可能的实现方式中,所述处理模块,还用于响应于所述关键因素为图像参数,根据所述场景处理策略,对所述第一图像的图像参数进行处理,得到所述第二图像;或者,
所述处理模块,还用于响应于所述关键因素为成像环境,根据所述场景处理策略,控制所述目标场景中的环境调节设备对所述目标场景中的环境进行调节;对环境调节后的目标场景进行重新拍摄,得到所述第二图像;或者,
所述处理模块,还用于响应于所述关键因素为摄像设备的摄像参数,所述摄像设备为拍摄所述目标场景的摄像设备,根据所述场景处理策略,对所述摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对所述目标场景进行重新拍摄,得到所述第二图像。
在另一种可能的实现方式中,所述处理模块,还用于从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,对所述感兴趣区域的数字增益进行调整,得到所述第二图像;或者,
所述处理模块,还用于根据所述场景处理策略,识别所述第一图像的烟雾浓度;根据所述烟雾浓度对应的去雾参数,对所述第一图像进行去雾处理,得到所述第二图像;或者,
所述处理模块,还用于根据所述场景处理策略,识别所述第一图像中的网格纹大小;根据所述网格纹大小对应的滤波参数,对所述第一图像进行滤波处理,得到第二图像。
在另一种可能的实现方式中,所述处理模块,还用于根据所述场景处理策略,生成去雾指令,所述去雾指令用于指示去雾设备对所述目标场景中的烟雾进行处理;通过所述去雾设备,对所述目标场景中的烟雾进行处理。
在另一种可能的实现方式中,所述处理模块,还用于根据所述场景处理策略,从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标图像,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,确定所述第一图像的下一帧图像的曝光时间;将所述摄像设备的曝光时间设置为确定出的曝光时间。
根据本申请实施例的另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现上述任一可能实现方式所述的内窥镜摄像系统中的成像方法。
根据本申请实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行,以实现上述任一可能实现方式所述的内窥镜摄像系统中的成像方法。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图;
图3是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图;
图4是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图;
图5是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图;
图6是本申请实施例提供的一种内窥镜摄像系统中的成像装置的框图;
图7是本申请实施例提供的一种计算机设备的框图;
图8是本申请实施例提供的一种计算机设备的框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们的任意变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
图1是本申请实施例提供的一种实施环境的示意图,参见图1,该实施环境可以为内窥镜摄像系统,内窥镜摄像系统为一种常用的医疗器械,内窥镜摄像系统包括内窥镜101、光源主机102和计算机设备103。其中,计算机设备包括摄像系统主机1031和显示器1032。
内窥镜101具有图像采集功能,光源主机102通过导光束为内窥镜101采集图像提供光源。内窥镜101通过导入人体的待检测部位,基于光源主机102提供的光源,进行图像采集。内窥镜101和计算机设备102可以通过有线或者无线网络连接,例如,继续参见图1,内窥镜101和摄像系统主机1031可以通过手柄线缆进行有线连接。摄像系统主机1031和显示器1032也可以通过有线或者无线网络连接,例如,继续参见图1,摄像系统主机1031和显示器1032可以通过显示线缆进行有线连接。
内窥镜摄像系统应用在外科手术或者常规的医疗检查中。内窥镜101通过人体的天然孔道或者手术的小切口进入人体,基于光源主机102提供的光源,采集人体的待检测部位的图像或视频,将采集到的图像或视频通过手柄线缆传入摄像系统主机1031;由于内窥镜摄像系统所在的医疗场景较为复杂,因此,摄像系统主机1031接收到图像或视频,可以识别图像或视频中每一帧图像所属的场景类别;根据场景类别对应的场景处理策略,对影响待检测部位成像质量的关键因素进行处理,关键因素为图像的生成或处理过程中的可调整因素,如关键因素包括图像参数、成像环境和摄像参数;摄像主机1031将基于对关键因素的处理得到的图像通过显示线缆传入显示器1032;显示器1032对摄像系统1031传输的图像进行显示。
图2是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图。参见图2,该实施例包括:
201、计算机设备获取在目标场景中拍摄得到的第一图像。
目标场景为内窥镜摄像系统的图像采集场景,在应用内窥镜摄像系统进行外科手术或者医疗检查时,目标场景为内窥镜的镜头所在的图像采集场景。目标场景可以为手术场景或检查场景。例如,目标场景可以为消化道的手术场景或检查场景、呼吸系统的手术场景或检查场景,以及血管的手术场景或检查场景等。
计算机设备在目标场景中拍摄得到第一图像,该第一图像用于呈现目标场景中目标活体的待检测部位。目标活体表示具有生命,且需要通过内窥镜摄像系统进行医疗检查的个体,例如,目标活体表示需要通过内窥镜摄像系统进行外科手术或医疗检查的患者,目标活体的待检测部位表示需要通过内窥镜摄像系统进行外科手术或医疗检查的患者的待检测部位,例如,对于患者胃肠道疾病的检查,目标场景为消化道的检查场景,目标活体的待检测部位可以为胃肠道疾病的病灶部位。
在一种可能的实现方式中,计算机设备可以通过内窥镜实时获取在目标场景中拍摄的第一图像。内窥镜在目标场景中拍摄视频,计算机设备可以获取视频中的每一帧作为第一图像,相应的,计算机设备获取在目标场景中拍摄得到的第一图像的步骤可以为:内窥镜摄像系统中的摄像设备在目标场景中拍摄视频;将拍摄到的视频发送给计算机设备;计算机设备接收摄像设备发送的视频,将接收到的视频中的每一帧作为第一图像。
在本申请实施例中,计算机设备通过内窥镜实时获取第一图像,进而根据第一图像识别目标场景所属的场景类别,根据场景类别对应的场景处理策略,得到第二图像,并且,显示第二图像,在进行外科手术或者医疗检查时,便于进行实时的观察、诊断和治疗。
在另一种可能的实现方式中,内窥镜在目标场景中拍摄视频,计算机设备可以获取视频中的部分帧作为第一图像。相应的,计算机设备获取在目标场景中拍摄得到的第一图像的步骤可以为:内窥镜摄像系统中的摄像设备在目标场景中拍摄视频;将拍摄到的视频发送给计算机设备;计算机设备接收摄像设备发送的视频;从接收到的视频中获取部分帧作为第一图像。
计算机设备可以周期性的获取视频中的帧作为第一图像,例如,计算机设备可以每隔1秒获取一帧,将该帧作为第一图像。再如,计算机设备还可以每经过视频的10帧获取一帧,将该帧作为第一图像。
在另一种可能的实现方式中,内窥镜还可以在目标场景中拍摄单张的图像,计算机设备将该图像作为第一图像。相应的,计算机设备获取在目标场景中拍摄得到的第一图像的步骤可以为:内窥镜摄像系统中的摄像设备在目标场景中拍摄图像;将拍摄到的图像发送给计算机设备;计算机设备接收摄像设备发送的图像;将该图像作为第一图像。
需要说明的一点是,第一图像可以为内窥镜摄像系统中的摄像设备拍摄的原始图像,第一图像还可以为经过预处理的图像,相应的,计算机设备获取在目标场景中拍摄得到的第一图像的步骤可以为:计算机设备通过内窥镜摄像系统中的摄像设备获取第三图像,该第三图像可以为摄像设备拍摄的原始图像;对第三图像进行预处理,得到第一图像。其中,对第三图像进行的预处理可以为图像尺寸归一化。
在另一种可能的实现方式中,计算机设备也可以从已存储的图像或视频中获取第一图像。已存储的图像或视频可以为通过内窥镜拍摄的图像或视频。已存储的图像或视频可以为未经过本申请实施例提供的内窥镜摄像系统中的成像方法处理的图像或视频。
在本申请实施例中,计算机设备可以从已存储的图像或视频中获取第一图像,进而根据第一图像识别目标场景所属的场景类别,根据场景类别对应的场景处理策略,得到第二图像,并且,显示第二图像,为医疗教学和科研提供更加稳定、可靠的图像或视频。
202、计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别。
第一图像中包括至少一个对象,第一图像包括的至少一个对象用于标识目标场景所属的场景类别。至少一个对象包括手术器械、大出血区域、烟雾区域和网格纹中的一个或多个。相应的,目标场景所属的场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个。
手术器械为用于临床手术的医疗器械,例如,手术器械包括手术刀、组织钳、止血钳、组织剪和纱布等。手术刀可以为机械手术刀、高频电刀或超声手术刀等。
在进行外科手术的过程中,可能会出现大量出血的现象,大量出血的现象称为大出血,至少一个对象包括第一图像中的大出血区域。
在进行外科手术的过程中,可能会产生烟雾。例如,在使用高频电刀进行手术时会产生烟雾。高频电刀为一种用于进行组织切割的手术器械。高频电刀在与组织接触时,通过产生高频电流对组织进行切割,在进行切割时会在组织中产生热量,导致组织气化或凝固,从而产生烟雾。至少一个对象包括第一图像中的烟雾区域。
内窥镜包括纤维内窥镜和电子内窥镜,在进行外科手术或者医疗检查时,可以通过纤维内窥镜在目标场景中拍摄图像。纤维内窥镜包括用于传导光线的导光束和用于传导图像的导像束,导像束由多根玻璃纤维组成,导像束中的每根玻璃纤维分别传导各自的图像,玻璃纤维间的空隙没有像素值,因此,最终由多根玻璃纤维传导的图像组成的第一图像包括网格纹,网格纹在第一图像中体现为黑色的网格状纹路。
需要说明的一点是,场景类别不仅可以包括手术器械场景、大出血场景、烟雾场景和网格纹场景等特殊场景,场景类别还可以包括不含手术器械,未大出血,不含烟雾,并且不含网格纹的一般场景。
在第一种可能的实现方式中,计算机设备可以通过由深度学习方法训练得到的场景识别模型,识别目标场景所属的场景类别。相应的,计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别的步骤可以为:计算机设备将第一图像输入场景识别模型中,输出目标场景所属的场景类别,场景识别模型用于根据至少一个对象,识别目标场景所属的场景类别。
在一种可能的实现方式中,多个不同的场景类别之间可以是互斥的,目标场景仅属于多个场景类别中的一个。例如,通过场景识别模型识别出目标场景所属的场景类别为手术器械场景。
在另一种可能的实现方式中,通过场景识别模型识别出的目标场景所属的场景类别还可以包括多个场景类别和目标场景分别属于每个场景类别的概率。例如,通过场景识别模型识别出目标场景属于手术器械场景的概率为0.4,目标场景属于大出血场景的概率为0.5,目标场景属于烟雾场景的概率为0.1,以及目标场景属于网格纹场景的概率为0。
场景识别模型可以为基于卷积神经网络的分类模型,其中,卷积神经网络可以为LeNet(一种高效的卷积神经网络)。第一图像经过卷积神经网络得到目标场景所属的场景类别。相应的,计算机设备将第一图像输入场景识别模型中,输出目标场景所属的场景类别的步骤可以为:计算机设备获取第一图像对应的输入数据,该输入数据包括第一图像的二维像素点和RGB通道(色彩通道);将第一图像对应的输入数据输入卷积神经网络的输入层,对输入数据进行归一化处理;通过卷积神经网络的卷积层对输入数据进行特征提取;通过卷积神经网络的池化层对卷积层提取的特征进行特征选择;通过卷积神经网络的全连接层对提取到的特征进行非线性组合;通过卷积神经网络的输出层的处理函数得到第一图像对应的场景类别;输出该场景类别。
需要说明的另一点是,计算机设备将第一图像输入场景识别模型中,输出目标场景所属的场景类别之前,还利用深度学习的方法训练得到场景识别模型。相应的,计算机设备利用深度学习的方法训练得到场景识别模型的步骤可以为:计算机设备获取多个第一训练图像,第一训练图像标注有第一训练图像所属的场景类别;根据多个第一训练图像和多个第一训练图像所属的场景类别,训练得到场景识别模型。
计算机设备获取多个第一训练图像,将多个第一训练图像作为训练集,通过反向传播调整场景识别模型的模型参数,当场景识别模型达到稳定时,将模型参数应用在场景识别模型中,识别目标场景所属的场景类别。
多个第一训练图像的数量可以根据场景识别模型需要识别的场景类别的具体情况进行设置。例如,多个第一训练图像可以为1000张第一训练图像,其中,标注有手术器械场景的第一训练图像的数量可以为500张,标注有大出血场景的第一训练图像的数量可以为200张,标注有烟雾场景的第一训练图像的数量可以为200张,标注有网格纹场景的第一训练图像的数量可以为100张。
多个第一训练图像具有多样性,例如,多个第一训练图像可以分别为不同角度、不同背景和不同尺寸的图像。
需要说明的另一点是,计算机设备还可以获取多个第三训练图像,将多个第三训练图像作为验证集,基于验证集得到用于训练场景识别模型的超参数,根据该超参数,通过多个第一训练图像再次训练场景识别模型,得到最终的场景识别模型。相应的,计算机设备根据多个第三训练图像,得到最终的场景识别模型的步骤可以为:计算机设备将多个第三训练图像划分为多个验证集,第三训练图像与第一训练图像为不同的图像,以及获取用于验证的场景识别模型的超参数;基于多个验证集中的任一验证集和用于验证的场景识别模型的超参数,训练得到用于验证的场景识别模型;将多个验证集中的其他验证集输入用于验证的场景识别模型,得到其他验证集的识别结果;基于其他验证集的识别结果;确定用于验证的场景识别模型的误差;根据多个验证集中的每个用于训练的验证集对应的误差,得到用于验证的场景识别模型的泛化误差;获取最小的泛化误差对应的用于验证的场景识别模型的超参数;基于该超参数,通过多个第一训练图像训练得到最终的场景识别模型。
泛化误差用于表示场景识别模型的泛化能力,即该场景识别模型对未知图像所在的目标场景所属的场景类别的预测能力。场景识别模型的超参数可以包括学习率、正则化参数、卷积神经网络的层数和卷积神经网络的每一个隐层中神经元的个数中的一个或者多个参数。
需要说明的另一点是,计算机设备还可以获取多个第四训练图像,将多个第四训练图像作为测试集,根据多个第四训练图像,对场景识别模型的泛化能力进行验证。相应的,计算机设备根据多个第四训练图像,对场景识别模型的泛化能力进行验证的步骤可以为:将多个第四训练图像输入场景识别模型,输出第四训练图像所在场景的场景类别,第四训练图像与第一训练图像为不同的图像;确定场景识别模型输出的场景类别的准确率;根据该准确率,确定场景识别模型的泛化能力。场景识别模型输出的场景类别的准确率越高,表示该场景识别模型的泛化能力越强,该场景识别模型识别目标场景所属的场景类别的准确率越高。
需要说明的一点是,计算机设备训练得到场景识别模型后,即可应用该场景识别模型识别目标场景所属的场景类别,不需要在每次识别目标场景所属的场景类别之前,都通过训练得到场景识别模型。
需要说明的另一点是,计算机设备可以不通过训练得到场景识别模型,计算机设备中可以预置有已训练好的场景识别模型;计算机设备也可以从为该计算机设备提供服务的服务器中获取已训练好的场景识别模型。该场景识别模型是为计算机设备提供服务的服务器训练得到的。
在本申请实施例中,场景识别模型为通过深度学习的方法训练得到的分类模型,通过深度学习的方法建立深度分层模型结构,模拟人脑神经系统,将原始数据依次传递,提取出更高层,更抽象的特征,将特征提取和分类相结合,提高了场景识别所属的场景类别的准确率。
在第二种可能的实现方式中,计算机设备可以通过目标检测的方法,识别目标场景所属的场景类别。相应的,计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别的步骤可以为:计算机设备将第一图像输入至少一个类别检测器中的任一类别检测器中,得到第一图像的类别检测结果,类别检测结果用于表示至少一个对象中是否包括目标对象,目标对象用于标识类别检测器所检测的场景类别;响应于类别检测结果用于表示至少一个对象中包括目标对象,确定目标场景所属的场景类别为目标对象对应的场景类别。
类别检测器用于根据第一图像中的至少一个对象,确定第一图像所在的目标场景所属的场景类别。至少一个类别检测器包括手术器械场景检测器、大出血场景检测器、烟雾场景检测器和网格纹场景检测器中的一个或多个。
目标对象用于标识类别检测器所检测的场景类别,例如,类别检测器为手术器械场景检测器,该手术器械场景检测器用于检测第一图像中是否包含手术器械,手术器械即为用于标识该手术器械场景检测器所检测的场景类别的目标对象。再如,类别检测器为大出血场景检测器,用于标识该大出血场景检测器的目标对象为大出血区域。再如,类别检测器为烟雾场景检测器,用于标识该烟雾场景检测器的目标对象为烟雾区域。再如,类别检测器为网格纹场景检测器,用于标识该网格纹场景检测器的目标对象为网格纹。
计算机设备通过类别检测器检测第一图像中的至少一个对象中是否包括目标对象,如果至少一个对象中包括目标对象,则确定第一图像的类别检测结果用于表示至少一个对象中包括目标对象,根据该类别检测结果可以确定第一图像所在的目标场景属于目标对象对应的场景类别。相应的,计算机设备将第一图像输入至少一个类别检测器中的任一类别检测器中,得到第一图像的类别检测结果的步骤可以为:计算机设备将第一图像输入至少一个类别检测器中的任一类别检测器中,检测出第一图像中的至少一个对象;响应于至少一个对象中包括目标对象,得到第一图像的类别检测结果,该类别检测结果用于表示至少一个对象中包括目标对象。
例如,手术器械场景检测器所检测的目标对象为手术器械,计算机设备将第一图像输入手术器械场景检测器中,检测出第一图像中的至少一个对象中包括手术器械,得到的类别检测结果用于表示至少一个对象中包括目标对象,根据该类别检测结果可以确定目标场景所属的场景类别为手术器械场景。
需要说明的一点是,至少一个类别检测器可以为一个类别检测器,也可以为多个类别检测器,例如,至少一个类别检测器可以包括手术器械场景检测器、大出血场景检测器、烟雾场景检测器和网格纹场景检测器。
计算机设备将第一图像输入至少一个类别检测器中的任一类别检测器中,如果得到的第一图像的类别检测结果用于表示至少一个对象中不包括目标对象,则将第一图像输入至少一个类别检测器中未使用的类别检测器中,通过未使用的类别检测器,识别目标场景所属的场景类别,直至识别出的类别检测结果用于表示目标场景所属的场景类别为目标对象对应的场景类别。相应的,计算机设备识别目标场景所属的场景类别的步骤还可以包括:计算机设备响应于类别检测结果用于表示至少一个对象中不包括目标对象,确定目标场景所属的场景类别不为目标对象对应的场景类别;将第一图像输入至少一个类别检测器中未使用的类别检测器,通过未使用的类别检测器,识别目标场景所属的场景类别。
需要说明的一点是,如果将第一图像输入至少一个类别检测器中的每个类别检测器中,得到的类别检测结果均用于表示至少一个对象中不包括目标对象,则目标场景所属的场景类别不是手术器械场景、大出血场景、烟雾场景和网格纹场景等特殊的场景类别,目标场景所属的场景类别为一般场景。
需要说明的另一点是,计算机设备应用的目标检测方法可以为DPM(DeformableParts Model,可变形部件模型)算法。
需要说明的另一点是,计算机设备将第一图像输入至少一个类别检测器中的任一类别检测器中,得到第一图像的类别检测结果之前,还通过训练得到用于确定目标场景所属的场景类别的类别检测器,相应的,计算机设备训练得到类别检测器的步骤可以为:计算机设备获取多个第二训练图像,第二训练图像标注有第二训练图像中包括的目标对象;根据多个第二训练图像和多个第二训练图像标注的目标对象,训练得到类别检测器。
第二训练图像标注有第二训练图像中包括的目标对象,例如,计算机设备训练的类别检测器为手术器械场景检测器,第二训练图像所在的场景为手术器械场景,并且,第二训练图像中标注有用于标识手术器械场景的目标对象,该目标对象为手术器械。再如,计算机设备训练的类别检测器为大出血场景检测器,第二训练图像所在的场景为大出血场景,并且,第二训练图像中标注有用于标识大出血场景的目标对象,该目标对象为第二训练图像中的大出血区域。再如,计算机设备训练的类别检测器为烟雾场景检测器,第二训练图像所在的场景为烟雾场景,并且,第二训练图像中标注有用于标识烟雾场景的目标对象,该目标对象为第二训练图像中的烟雾区域。再如,计算机设备训练的类别检测器为网格纹场景检测器,第二训练图像所在的场景为网格纹场景,并且,第二训练图像中标注有用于标识网格纹场景的目标对象,该目标对象为网格纹。
需要说明的另一点是,计算机设备可以将标注有目标对象的第二训练图像作为正样本,训练得到类别检测器。计算机设备还可以获取多个第五训练图像,将多个第五训练图像作为负样本,第五训练图像为不包括目标对象的图像;根据多个作为正样本的第二训练图像和多个作为负样本的第五训练图像,训练得到类别检测器。
需要说明的一点是,计算机设备训练得到类别检测器后,即可应用训练好的类别检测器识别目标场景所属的场景类别,不需要在每次识别目标场景所属的场景类别之前,都通过训练得到类别检测器。
需要说明的另一点是,计算机设备可以不通过训练得到类别检测器,计算机设备中可以预置有已训练好的类别检测器;计算机设备也可以从为该计算机设备提供服务的服务器中获取已训练好的类别检测器。该类别检测器是为计算机设备提供服务的服务器训练得到的。
在本申请实施例中,计算机设备根据第一图像中用于标识场景类别的至少一个对象,对第一图像所在的目标场景进行分类,得到目标场景所属的场景类别,识别场景类别的准确率更高。
203、计算机设备根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像。
在通过内窥镜摄像系统进行外科手术或医疗检查时,由于进行图像采集的目标场景的复杂度较高,通过简单的图像处理难以适应复杂场景,得到质量较高的图像,影响医生的观察和治疗,因此,需要对影响成像质量的关键因素进行处理,以得到成像质量较高的第二图像。关键因素为图像的生成或处理过程中的可调整因素,如关键因素包括图像参数、成像环境和摄像参数。
在一种可能的实现方式中,影响目标活体的待检测部位成像质量的关键因素可以为第一图像的图像参数,计算机设备可以根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像。相应的,计算机设备根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像的步骤可以为:计算机设备响应于关键因素为图像参数,根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像。
在另一种可能的实现方式中,影响目标活体的待检测部位成像质量的关键因素可以为目标场景中的成像环境,计算机设备可以控制目标场景中的环境调节设备对成像环境进行调节,在调节后的目标场景中拍摄第二图像。相应的,计算机设备根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像的步骤可以为:计算机设备响应于关键因素为成像环境,根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节;对环境调节后的目标场景进行重新拍摄,得到第二图像。
在另一种可能的实现方式中,影响目标活体的待检测部位成像质量的关键因素可以为摄像设备的摄像参数,计算机设备可以根据场景处理策略,对摄像设备的摄像参数进行调整,基于调整摄像参数后的摄像设备,拍摄得到第二图像。相应的,计算机设备根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像的步骤可以为:计算机设备响应于关键因素为摄像设备的摄像参数,摄像设备为拍摄目标场景的摄像设备,根据场景处理策略,对摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对目标场景进行重新拍摄,得到第二图像。
需要说明的一点是,计算机设备可以应用对图像参数进行处理、控制环境调节设备对环境进行调节以及对摄像设备的摄像参数进行调节三种方式中的任意一种方式,得到目标场景对应的图像;计算机设备也可以通过上述三种方式的任意结合,得到目标场景对应的图像。
需要说明的另一点是,计算机设备根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像之前,还根据目标场景所属的场景类别,获取该场景类别对应的场景处理策略。
在一种可能的实现方式中,目标场景所属的场景类别为多个场景类别中的一个,计算机设备可以存储有多个场景类别中每个场景类别对应的场景处理策略,计算机设备根据目标场景所属的场景类别,从多个场景处理策略中获取该场景类别对应的场景处理策略。例如,目标场景所属的场景类别为手术器械场景,则计算机设备获取手术器械场景对应的场景处理策略。
在本申请实施例中,目标场景所属的场景类别对应有唯一的场景处理策略,场景处理策略对于目标场景所属的场景类别更具有针对性,基于具有针对性的场景处理策略,能够提高图像的成像质量。
在另一种可能的实现方式中,目标场景所属的场景类别包括多个场景类别和目标场景分别属于每个场景类别的概率。计算机设备可以根据目标场景分别属于每个场景类别的概率,获取场景处理策略。相应的,计算机设备根据场景类别,获取场景类别对应的场景处理策略的步骤可以为:计算机设备根据目标场景所属的多个场景类别,分别获取多个场景类别中每个场景类别对应的场景处理策略;根据目标场景分别属于每个场景类别的概率,对每个场景类别对应的场景处理策略进行整合,得到目标场景所属的场景类别对应的场景处理策略。
在本申请实施例中,在目标场景较为复杂时,能够基于综合性更强的场景处理策略对影响目标活体的待检测部位成像质量的关键因素进行处理,能够从整体上提高图像的成像质量。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
图3是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图,参见图3,在本申请实施例中,以影响目标活体的待检测部位成像质量的关键因素为图像参数为例进行说明,该实施例包括:
301、计算机设备获取在目标场景中拍摄得到的第一图像。
本步骤与步骤201相同,在此不再赘述。
302、计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别。
本步骤与步骤202相同,在此不再赘述。
303、计算机设备根据场景类别,确定影响目标活体的待检测部位成像质量的关键因素为图像参数。
在一种可能的实现方式中,目标场景所属的场景类别为手术器械场景,目标场景为应用内窥镜摄像系统进行外科手术的场景,手术器械以及手术器械周围的区域为需要着重观察的感兴趣区域,可以对该感兴趣区域的图像参数进行处理,以提高该感兴趣区域的清晰度,便于进行观察和手术。因此,在手术器械场景中,影响目标活体的待检测部位成像质量的关键因素可以包括图像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为大出血场景,在大出血场景中拍摄的未处理的图像亮度较暗,可以对在大出血场景中拍摄图像的图像参数进行处理,以提升大出血场景中拍摄的图像的亮度。因此,在大出血场景中,影响目标活体的待检测部位成像质量的关键因素可以包括图像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为烟雾场景,烟雾场景中存在的烟雾会造成视觉干扰,可以对在烟雾场景中拍摄图像的图像参数进行处理,以去除图像中的烟雾,使图像更清晰,更便于观察。因此,在烟雾场景中,影响目标活体的待检测部位成像质量的关键因素可以包括图像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为网格纹场景,属于网格纹场景的图像中的网格纹会造成视觉干扰,可以对属于网格纹场景的图像的图像参数进行处理,以消除图像中的网格纹,减轻视觉干扰,使图像更便于观察。因此,在网格纹场景中,影响目标活体的待检测部位成像质量的关键因素可以包括图像参数。
304、计算机设备响应于关键因素为图像参数,根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像。
当待处理的关键因素为图像参数时,场景处理策略为对第一图像的图像参数进行处理的策略。
在一种可能的实现方式中,计算机设备可以从第一图像中提取待处理的感兴趣区域,根据该感兴趣区域的亮度,对感兴趣区域的数字增益进行调整。相应的,计算机设备根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像的步骤可以为:从第一图像中提取待处理的感兴趣区域(Region Of Interest,ROI),该感兴趣区域包括目标对象,目标对象用于标识目标场景所属的场景类别;根据感兴趣区域的像素,确定感兴趣区域的亮度;响应于感兴趣区域的亮度不符合场景类别对应的亮度条件,根据感兴趣区域的亮度,对感兴趣区域的数字增益进行调整,得到第二图像。
当目标场景所属的场景类别为手术器械场景时,第一图像中包括的目标对象为手术器械,计算机设备以手术器械为中心提取感兴趣区域;确定该感兴趣区域的亮度;当该感兴趣区域的亮度不符合手术器械场景预设的亮度条件时,对该感兴趣区域的数字增益进行调整,得到第二图像。例如,当感兴趣区域的亮度低于手术器械场景预设的亮度条件时,提高该感兴趣区域的数字增益,得到相较于第一图像亮度提升的第二图像;当感兴趣区域的亮度高于手术器械场景预设的亮度条件时,降低该感兴趣区域的数字增益,得到相较于第一图像亮度降低的第二图像。
在本申请实施例中,计算机设备可以对手术器械场景中的手术器械所在的区域的亮度进行调整,使手术器械所在的区域的成像更加清晰,更便于观察需要重点观察的区域,提升手术器械场景中图像的成像效果。
当目标场景所属的场景类别为大出血场景时,第一图像包括的目标对象为大出血区域,计算机设备以大出血区域为中心提取感兴趣区域;确定该感兴趣区域的亮度;当该感兴趣区域的亮度不符合大出血场景预设的亮度条件时,对该感兴趣区域的数字增益进行调整,得到第二图像。对于大出血场景,计算机设备提取的感兴趣区域可以是第一图像的整个区域,也即计算机设备可以根据第一图像的像素,确定第一图像的亮度,进而根据该亮度,对第一图像的数字增益进行调整,得到第二图像。
在本申请实施例中,对于在亮度较暗的大出血场景中拍摄的第一图像,计算机设备对大出血场景中拍摄的第一图像的亮度进行调整,使第一图像更便于人眼观察,提升大出血场景中图像的成像效果。
在另一种可能的实现方式中,计算机设备还可以根据从第一图像中提取的感兴趣区域的对比度,对感兴趣区域的对比度进行调整。相应的,计算机设备根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像的步骤可以为:从第一图像中提取待处理的感兴趣区域,该感兴趣区域包括目标对象,目标对象用于标识目标场景所属的场景类别;根据感兴趣区域的像素,确定感兴趣区域的对比度;响应于感兴趣区域的对比度不符合场景类别对应的对比度条件,对感兴趣区域的对比度进行调整,得到第二图像。
在本申请实施例中,计算机设备还可以对第一图像的对比度进行调整,提升图像的清晰度。
在另一种可能的实现方式中,当目标场景所属的场景类别为烟雾场景时,计算机设备可以对第一图像进行去雾处理,得到第二图像。相应的,计算机设备根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像的步骤可以为:计算机设备根据场景处理策略,识别第一图像的烟雾浓度;根据该烟雾浓度对应的去雾参数,对第一图像进行去雾处理,得到第二图像。
在本申请实施例中,对于烟雾场景,计算机设备可以根据第一图像的烟雾浓度对应的去雾参数,对第一图像进行相应程度的去雾处理,得到第二图像,提高了烟雾场景中成像的清晰度。
在另一种可能的实现方式中,当目标场景所属的场景类别为网格纹场景时,计算机设备可以对第一图像进行滤波处理,去除第一图像中的网格纹,得到第二图像。相应的,计算机设备根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像的步骤可以为:计算机设备根据场景处理策略,识别第一图像中的网格纹大小;根据该网格纹大小对应的滤波参数,对第一图像进行滤波处理,得到第二图像。
对于网格纹场景,第一图像中的黑色像素点组成网格纹,网格纹大小用于表示第一图像中黑色像素点之间的间隔,根据网格纹大小可以获取相应的滤波参数,对第一图像进行滤波处理,根据黑色像素点周围的像素值,对黑色像素点的像素值进行处理,达到去除第一图像中的网格纹的效果。
在本申请实施例中,对于网格纹场景,计算机设备可以根据第一图像中网格文大小对应的滤波参数,对第一图像进行相应程度的滤波处理,得到去除了网格纹的第二图像,减轻了黑色的网络状纹路造成的视觉干扰,提升了网格纹场景成像后的视觉效果。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
图4是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图,参见图4,在本申请实施例中,以影响目标活体的待检测部位成像质量的关键因素为成像环境为例进行说明,该实施例包括:
401、计算机设备获取在目标场景中拍摄得到的第一图像。
本步骤与步骤201相同,在此不再赘述。
402、计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别。
本步骤与步骤202相同,在此不再赘述。
403、计算机设备根据场景类别,确定影响目标活体的待检测部位成像质量的关键因素为成像环境。
在一种可能的实现方式中,目标场景所属的场景类别为烟雾场景,烟雾场景中存在的烟雾会造成视觉干扰,可以通过目标场景中的环境调节设备对烟雾场景中的烟雾进行处理,通过物理方式减少目标场景中的烟雾,以使在目标场景中拍摄得到的图像更加清晰,更便于观察。因此,在烟雾场景中,影响目标活体的待检测部位成像质量的关键因素可以包括成像环境。
在另一种可能的实现方式中,目标场景所属的场景类别为大出血场景,在大出血场景中拍摄的未处理的图像亮度较暗,可以通过目标场景中的环境调节设备对大出血场景中的环境亮度进行调节,通过提高环境亮度,提升大出血场景中拍摄的图像的亮度。因此,在大出血场景中,影响目标活体的待检测部位成像质量的关键因素可以包括成像环境。
在另一种可能的实现方式中,目标场景所属的场景类别为手术器械场景,目标场景为应用内窥镜摄像系统进行外科手术的场景,手术器械以及手术器械周围的区域为需要着重观察的感兴趣区域,可以通过目标场景中的环境调节设备对该感兴趣区域的亮度进行调节,便于进行观察和手术。因此,在手术器械场景中,影响目标活体的待检测部位成像质量的关键因素可以包括成像环境。
404、计算机设备响应于关键因素为成像环境,根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节。
计算机设备可以控制目标场景中的环境调节设备对成像环境进行调节,在调节后的目标场景中拍摄第二图像。
内窥镜摄像系统中可以包括对目标场景中的环境进行调节的环境调节设备;内窥镜摄像系统也可以通过无线或者有线的方式与环境调节设备进行连接,基于无线或者有线连接控制环境调节设备对目标场景中的环境进行调节。
在一种可能的实现方式中,当目标场景所属的场景类别为烟雾场景时,环境调节设备可以为去雾设备,计算机设备可以控制去雾设备对目标场景中的烟雾进行处理。相应的,计算机设备根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节的步骤可以为:计算机设备根据场景处理策略,生成去雾指令,该去雾指令用于指示去雾设备对目标场景中的烟雾进行处理;通过去雾设备,对目标场景中的烟雾进行处理。例如,去雾设备可以为吸收烟雾的设备,计算机设备可以控制去雾设备吸收目标场景中的烟雾。
在本申请实施例中,计算机设备还可以通过控制去雾设备,对目标场景中的烟雾进行处理,提升成像的清晰度。
在另一种可能的实现方式中,环境调节设备还可以为亮度调节设备,该亮度调节设备可以为内窥镜摄像系统中的光源主机。计算机设备可以控制亮度调节设备对目标场景中的环境亮度进行调节。计算机设备可以控制亮度调节设备调高或者调低目标场景中的光源亮度。相应的,计算机设备根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节的步骤可以为:计算机设备根据场景处理策略,生成亮度调节指令,该亮度调节指令用于指示亮度调节设备对目标场景中的光源亮度进行调节;通过亮度调节设备,调节目标场景中的光源亮度。
在另一种可能的实现方式中,计算机设备还可以控制亮度调节设备对光源的照射位置进行调整。相应的,计算机设备根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节的步骤可以为:计算机设备根据场景处理策略,生成光源位置变换指令,该光源位置变换指令用于指示亮度调节设备对目标场景中的光源的照射位置进行调整;通过亮度调节设备,调整目标场景中的光源的照射位置。其中,亮度调节设备可以通过移动或者旋转光源,来调整目标场景中的光源的照射位置。
405、计算机设备对环境调节后的目标场景进行重新拍摄,得到第二图像。
当内窥镜摄像系统进行视频拍摄,且场景处理策略用于表示由环境调节设备对目标场景中的环境进行调节时,视频拍摄在持续进行,在环境调节前的目标场景中拍摄的第一图像,以及在环境调节开始后的目标场景中拍摄的第二图像均会传输至显示器进行显示。
在本申请实施例中,计算机设备可以通过环境调节设备对目标场景的环境进行调节,基于调节后的环境得到第二图像,提高图像的成像质量;并且,通过环境调节设备对目标场景的环境进行调整,能够减少计算机设备进行图像处理所消耗的资源,提高计算机设备的资源利用率,提高计算机设备的图像处理效率。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
图5是本申请实施例提供的一种内窥镜摄像系统中的成像方法的流程图,参见图5,在本申请实施例中,以影响目标活体的待检测部位成像质量的关键因素为摄像参数为例进行说明,该实施例包括:
501、计算机设备获取在目标场景中拍摄得到的第一图像。
本步骤与步骤201相同,在此不再赘述。
502、计算机设备根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别。
本步骤与步骤202相同,在此不再赘述。
503、计算机设备根据场景类别,确定影响目标活体的待检测部位成像质量的关键因素为摄像参数。
在一种可能的实现方式中,目标场景所属的场景类别为手术器械场景,目标场景为应用内窥镜摄像系统进行外科手术的场景,手术器械以及手术器械周围的区域为需要着重观察的感兴趣区域,在手术器械场景中进行图像拍摄时,可以对摄像设备的摄像参数进行调节,以提高感兴趣区域的亮度和对比度,便于进行观察和手术。因此,在手术器械场景中,影响目标活体的待检测部位成像质量的关键因素可以包括摄像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为大出血场景,在大出血场景中拍摄的未处理的图像亮度较暗,在大出血场景中拍摄图像时,可以对摄像设备的摄像参数进行调节,以提升大出血场景中拍摄的图像的亮度。因此,在大出血场景中,影响目标活体的待检测部位成像质量的关键因素可以包括摄像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为烟雾场景,也可以通过调节摄像设备的摄像参数,使在烟雾场景拍摄的图像更清晰,更便于观察。因此,在烟雾场景中,影响目标活体的待检测部位成像质量的关键因素也可以包括摄像参数。
在另一种可能的实现方式中,目标场景所属的场景类别为网格纹场景,在网格纹场景中也可以通过调节摄像设备的摄像参数,使在网格纹场景中的图像更清晰,更便于观察。因此,在网格纹场景中,影响目标活体的待检测部位成像质量的关键因素也可以包括摄像参数。
504、计算机设备响应于关键因素为摄像设备的摄像参数,根据场景处理策略,对摄像设备的摄像参数进行调整。
摄像设备为内窥镜摄像系统中拍摄目标场景的摄像设备。当第一图像的亮度不符合场景类别对应的亮度条件时,计算机设备可以对摄像设备的曝光时间进行调整。相应的,计算机设备根据场景处理策略,对摄像设备的摄像参数进行调整的步骤可以为:根据场景处理策略,从第一图像中提取待处理的感兴趣区域,感兴趣区域包括目标图像,目标对象用于标识目标场景所属的场景类别;根据感兴趣区域的像素,确定感兴趣区域的亮度;响应于感兴趣区域的亮度不符合场景类别对应的亮度条件,根据感兴趣区域的亮度,确定第一图像的下一帧图像的曝光时间;将摄像设备的曝光时间设置为确定出的曝光时间。
在本申请实施例中,当第一图像的亮度不符合亮度条件时,计算机设备可以对摄像设备的曝光时间进行调整,使得图像的亮度更便于人眼观察,提升图像的成像质量。
505、计算机设备基于调整摄像参数后的摄像设备,对目标场景进行重新拍摄,得到第二图像。
当内窥镜摄像系统进行视频拍摄,且场景处理策略用于表示对摄像设备的摄像参数进行调整时,视频拍摄在持续进行,在摄像参数调整前拍摄的第一图像,以及在摄像参数调整后拍摄的第二图像均会传输至显示器进行显示。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
上述所有可选技术方案,可以采用任意结合形成本申请的可选实施例,在此不再一一赘述。
图6是本申请实施例提供的一种内窥镜摄像系统中的成像装置的框图。参见图6,该装置包括:
获取模块601,用于获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;
识别模块602,用于根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;
处理模块603,用于根据场景类别对应的场景处理策略,对影响目标活体的待检测部位成像质量的关键因素进行处理,得到目标场景对应的第二图像。
在一种可能的实现方式中,识别模块602,还用于将第一图像输入场景识别模型中,输出目标场景所属的场景类别,场景识别模型用于根据至少一个对象,识别目标场景所属的场景类别。
在另一种可能的实现方式中,该装置还包括:
获取模块601,还用于获取多个第一训练图像,第一训练图像标注有第一训练图像所属的场景类别;
第一训练模块,用于根据多个第一训练图像和多个第一训练图像所属的场景类别,训练得到场景识别模型。
在另一种可能的实现方式中,识别模块602,还用于将第一图像输入至少一个类别检测器中的任一类别检测器中,得到第一图像的类别检测结果,类别检测结果用于表示至少一个对象中是否包括目标对象,目标对象用于标识类别检测器所检测的场景类别;响应于类别检测结果用于表示至少一个对象中包括目标对象,确定目标场景所属的场景类别为目标对象对应的场景类别。
在另一种可能的实现方式中,识别模块602,还用于响应于类别检测结果用于表示至少一个对象中不包括目标对象,确定目标场景所属的场景类别不为目标对象对应的场景类别;将第一图像输入至少一个类别检测器中未使用的类别检测器,通过未使用的类别检测器,识别目标场景所属的场景类别。
在另一种可能的实现方式中,该装置还包括:
获取模块601,还用于获取多个第二训练图像,第二训练图像标注有第二训练图像中包括的目标对象;
第二训练模块,用于根据多个第二训练图像和多个第二训练图像中标注的目标对象,训练得到类别检测器。
在另一种可能的实现方式中,场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个。
在另一种可能的实现方式中,处理模块603,还用于响应于关键因素为图像参数,根据场景处理策略,对第一图像的图像参数进行处理,得到第二图像;或者,
处理模块603,还用于响应于关键因素为成像环境,根据场景处理策略,控制目标场景中的环境调节设备对目标场景中的环境进行调节;对环境调节后的目标场景进行重新拍摄,得到第二图像;或者,
处理模块603,还用于响应于关键因素为摄像设备的摄像参数,摄像设备为拍摄目标场景的摄像设备,根据场景处理策略,对摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对目标场景进行重新拍摄,得到第二图像。
在另一种可能的实现方式中,处理模块603,还用于从第一图像中提取待处理的感兴趣区域,感兴趣区域包括目标对象,目标对象用于标识目标场景所属的场景类别;根据感兴趣区域的像素,确定感兴趣区域的亮度;响应于感兴趣区域的亮度不符合场景类别对应的亮度条件,根据感兴趣区域的亮度,对感兴趣区域的数字增益进行调整,得到第二图像;或者,
处理模块603,还用于根据场景处理策略,识别第一图像的烟雾浓度;根据烟雾浓度对应的去雾参数,对第一图像进行去雾处理,得到第二图像;或者,
处理模块603,还用于根据场景处理策略,识别第一图像中的网格纹大小;根据网格纹大小对应的滤波参数,对第一图像进行滤波处理,得到第二图像。
在另一种可能的实现方式中,处理模块603,还用于根据场景处理策略,生成去雾指令,去雾指令用于指示去雾设备对目标场景中的烟雾进行处理;通过去雾设备,对目标场景中的烟雾进行处理。
在另一种可能的实现方式中,处理模块603,还用于根据场景处理策略,从第一图像中提取待处理的感兴趣区域,感兴趣区域包括目标图像,目标对象用于标识目标场景所属的场景类别;根据感兴趣区域的像素,确定感兴趣区域的亮度;响应于感兴趣区域的亮度不符合场景类别对应的亮度条件,根据感兴趣区域的亮度,确定第一图像的下一帧图像的曝光时间;将摄像设备的曝光时间设置为确定出的曝光时间。
在本申请实施例中,获取在目标场景中拍摄得到的第一图像,目标场景为内窥镜摄像系统的图像采集场景,第一图像用于呈现目标场景中目标活体的待检测部位;根据第一图像中用于标识场景类别的至少一个对象,识别目标场景所属的场景类别;根据场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到目标场景对应的第二图像。上述技术方案中,根据第一图像中用于标识场景类别的至少一个对象,对目标场景所属的场景类别进行识别,能够提高识别场景类别的准确率,进而根据识别出的场景类别对应的场景处理策略,对影响目标活体的待检测部位的成像质量的关键因素进行处理,得到第二图像,能够提高目标活体的待检测部位的成像质量。
需要说明的是:上述实施例提供的内窥镜摄像系统中的成像装置在成像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将计算机设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的内窥镜摄像系统中的成像装置与内窥镜摄像系统中的成像方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请实施例提供了一种计算机设备,该计算机设备可以为终端或者服务器。响应于该计算机设备为终端;图7示出了本申请实施例提供的一种计算机设备的框图。该计算机设备700可以是任意形式的计算机。例如,该计算机设备可以为一种连接内窥镜的终端。该计算机设备700可以是::台式电脑、笔记本电脑、平板电脑或智能手机等。计算机设备700还可能被称为用户设备、台式终端、便携式终端、膝上型终端等其他名称。
通常,计算机设备700包括有:处理器701和存储器702。
处理器701可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器701可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器701还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器702中的非暂态的计算机可读存储介质用于存储至少一条指令,该至少一条指令用于被处理器701所执行以实现本申请中方法实施例提供的内窥镜摄像系统中的成像方法。
在一些实施例中,计算机设备700还可选包括有:外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地,外围设备包括:射频电路704、显示屏705、音频电路706、定位组件707和电源708中的至少一种。
外围设备接口703可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中,处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上;在一些其他实施例中,处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路704包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它计算机设备进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路704还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏705用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时,显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时,显示屏705还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏705可以为一个,设置计算机设备700的前面板;在另一些实施例中,显示屏705可以为至少两个,分别设置在计算机设备700的不同表面或呈折叠设计;在再一些实施例中,显示屏705可以是柔性显示屏,设置在计算机设备700的弯曲表面上或折叠面上。甚至,显示屏705还可以设置成非矩形的不规则图形,也即异形屏。显示屏705可以采用LCD(Liquid Crystal Display,液晶显示屏)、OLED(Organic Light-EmittingDiode,有机发光二极管)等材质制备。
音频电路706可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器701进行处理,或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在计算机设备700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路706还可以包括耳机插孔。
定位组件707用于定位计算机设备700的当前地理位置,以实现导航或LBS(Location Based Service,基于位置的服务)。定位组件707可以是基于美国的GPS(GlobalPositioning System,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源708用于为计算机设备700中的各个组件进行供电。电源708可以是交流电、直流电、一次性电池或可充电电池。当电源708包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,计算机设备700还包括有一个或多个传感器709。该一个或多个传感器709包括但不限于:加速度传感器、陀螺仪传感器、压力传感器、指纹传感器、光学传感器以及接近传感器。
本领域技术人员可以理解,图7中示出的结构并不构成对计算机设备700的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
响应于该计算机设备为服务器,图8是本申请实施例提供的一种计算机设备的框图,该计算机设备800可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(Central Processing Units,CPU)801和一个或一个以上的存储器802,其中,存储器802中存储有至少一条指令,至少一条指令由处理器801加载并执行以实现上述各个方法实施例提供的内窥镜摄像系统中的成像方法。当然,该计算机设备还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该计算机设备还可以包括其他用于实现设备功能的部件,在此不做赘述。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条指令,上述至少一条指令可由处理器执行以完成上述实施例中的内窥镜摄像系统中的成像方法。例如,计算机可读存储介质可以是ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、CD-ROM(Compact Disc Read-OnlyMemory,只读光盘)、磁带、软盘和光数据存储设备等。
本申请还提供了一种计算机程序产品,计算机程序产品包括一个或多个计算机程序,计算机程序被处理器执行时,用于实现上述各个方法实施例提供的内窥镜摄像系统中的成像方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (15)
1.一种内窥镜摄像系统中的成像方法,其特征在于,所述方法包括:
获取在目标场景中拍摄得到的第一图像,所述目标场景为内窥镜摄像系统的图像采集场景,所述第一图像用于呈现所述目标场景中目标活体的待检测部位;
根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别;其中,所述至少一个对象包括手术器械、大出血区域、烟雾区域和网格纹中的一个或多个,所述目标场景所属的场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个;
根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像;所述关键因素包括图像参数和成像环境,所述图像参数包括去雾参数、滤波参数和所述第一图像中感兴趣区域的对比度;
其中,响应于所述关键因素为图像参数,所述根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像,包括:
当所述目标场景所属的场景类别为手术器械场景或大出血场景时,从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的对比度;响应于所述感兴趣区域的对比度不符合所述场景类别对应的对比度条件,对所述感兴趣区域的对比度进行调整,得到所述第二图像;
当所述目标场景所属的场景类别为烟雾场景时,根据所述场景处理策略,识别所述第一图像的烟雾浓度,根据所述烟雾浓度对应的去雾参数,对所述第一图像进行去雾处理,得到所述第二图像;
当所述目标场景所属的场景类别为网格纹场景时,根据所述场景处理策略,识别所述第一图像中的网格纹大小;根据所述网格纹大小对应的滤波参数,对所述第一图像进行滤波处理,得到所述第二图像;
响应于所述关键因素为成像环境,根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像,包括:
根据所述场景处理策略,生成去雾指令,所述去雾指令用于指示去雾设备对所述目标场景中的烟雾进行处理;通过所述去雾设备,对所述目标场景中的烟雾进行处理;或者,根据所述场景处理策略,生成光源位置变换指令,所述光源位置变换指令用于指示亮度调节设备对所述目标场景中光源的照射位置进行调整;通过所述亮度调节设备,调整所述目标场景中光源的照射位置;其中,所述亮度调节设备通过移动或者旋转光源,来调整所述目标场景中光源的照射位置;
对环境调节后的目标场景进行重新拍摄,得到所述第二图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别,包括:
将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别,所述场景识别模型用于根据所述至少一个对象,识别所述目标场景所属的场景类别。
3.根据权利要求2所述的方法,其特征在于,所述将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别之前,所述方法还包括:
获取多个第一训练图像,所述第一训练图像标注有所述第一训练图像所属的场景类别;
根据所述多个第一训练图像和所述多个第一训练图像所属的场景类别,训练得到所述场景识别模型。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别,包括:
将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果,所述类别检测结果用于表示所述至少一个对象中是否包括目标对象,所述目标对象用于标识所述类别检测器所检测的场景类别;
响应于所述类别检测结果用于表示所述至少一个对象中包括所述目标对象,确定所述目标场景所属的场景类别为所述目标对象对应的场景类别。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
响应于所述类别检测结果用于表示所述至少一个对象中不包括所述目标对象,确定所述目标场景所属的场景类别不为所述目标对象对应的场景类别;
将所述第一图像输入所述至少一个类别检测器中未使用的类别检测器,通过所述未使用的类别检测器,识别所述目标场景所属的场景类别。
6.根据权利要求4所述的方法,其特征在于,所述将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果之前,所述方法还包括:
获取多个第二训练图像,所述第二训练图像标注有所述第二训练图像中包括的目标对象;
根据所述多个第二训练图像和所述多个第二训练图像中标注的目标对象,训练得到所述类别检测器。
7.根据权利要求1所述的方法,其特征在于,所述关键因素还包括:摄像参数;
所述根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像,包括:
响应于所述关键因素为摄像设备的摄像参数,所述摄像设备为拍摄所述目标场景的摄像设备,根据所述场景处理策略,对所述摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对所述目标场景进行重新拍摄,得到所述第二图像。
8.根据权利要求1所述的方法,其特征在于,响应于所述关键因素为图像参数,所述根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像,包括:
从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,对所述感兴趣区域的数字增益进行调整,得到所述第二图像。
9.根据权利要求7所述的方法,其特征在于,所述根据所述场景处理策略,对所述摄像设备的摄像参数进行调整,包括:
根据所述场景处理策略,从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;
根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;
响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,确定所述第一图像的下一帧图像的曝光时间;
将所述摄像设备的曝光时间设置为确定出的曝光时间。
10.一种内窥镜摄像系统中的成像装置,其特征在于,所述装置包括:
获取模块,用于获取在目标场景中拍摄得到的第一图像,所述目标场景为内窥镜摄像系统的图像采集场景,所述第一图像用于呈现所述目标场景中目标活体的待检测部位;
识别模块,用于根据所述第一图像中用于标识场景类别的至少一个对象,识别所述目标场景所属的场景类别;其中,所述至少一个对象包括手术器械、大出血区域、烟雾区域和网格纹中的一个或多个,所述目标场景所属的场景类别包括手术器械场景、大出血场景、烟雾场景和网格纹场景中的一个或多个;
处理模块,用于根据所述场景类别对应的场景处理策略,对影响所述目标活体的待检测部位成像质量的关键因素进行处理,得到所述目标场景对应的第二图像;所述关键因素包括图像参数和成像环境,所述图像参数包括去雾参数、滤波参数和所述第一图像中感兴趣区域的对比度;
响应于所述关键因素为图像参数,所述处理模块,还用于当所述目标场景所属的场景类别为手术器械场景或大出血场景时,从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的对比度;响应于所述感兴趣区域的对比度不符合所述场景类别对应的对比度条件,对所述感兴趣区域的对比度进行调整,得到所述第二图像;当所述目标场景所属的场景类别为烟雾场景时,根据所述场景处理策略,识别所述第一图像的烟雾浓度,根据所述烟雾浓度对应的去雾参数,对所述第一图像进行去雾处理,得到所述第二图像;当所述目标场景所属的场景类别为网格纹场景时,根据所述场景处理策略,识别所述第一图像中的网格纹大小;根据所述网格纹大小对应的滤波参数,对所述第一图像进行滤波处理,得到所述第二图像;
响应于所述关键因素为成像环境,所述处理模块,还用于根据所述场景处理策略,生成去雾指令,所述去雾指令用于指示去雾设备对所述目标场景中的烟雾进行处理;通过所述去雾设备,对所述目标场景中的烟雾进行处理;或者,根据所述场景处理策略,生成光源位置变换指令,所述光源位置变换指令用于指示亮度调节设备对所述目标场景中光源的照射位置进行调整;通过所述亮度调节设备,调整所述目标场景中光源的照射位置;其中,所述亮度调节设备通过移动或者旋转光源,来调整所述目标场景中光源的照射位置;对环境调节后的目标场景进行重新拍摄,得到所述第二图像。
11.根据权利要求10所述的装置,其特征在于,所述识别模块,还用于将所述第一图像输入场景识别模型中,输出所述目标场景所属的场景类别,所述场景识别模型用于根据所述至少一个对象,识别所述目标场景所属的场景类别;
或者,所述识别模块,还用于将所述第一图像输入至少一个类别检测器中的任一类别检测器中,得到所述第一图像的类别检测结果,所述类别检测结果用于表示所述至少一个对象中是否包括目标对象,所述目标对象用于标识所述类别检测器所检测的场景类别;响应于所述类别检测结果用于表示所述至少一个对象中包括所述目标对象,确定所述目标场景所属的场景类别为所述目标对象对应的场景类别。
12.根据权利要求11所述的装置,其特征在于,所述识别模块,还用于响应于所述类别检测结果用于表示所述至少一个对象中不包括所述目标对象,确定所述目标场景所属的场景类别不为所述目标对象对应的场景类别;将所述第一图像输入所述至少一个类别检测器中未使用的类别检测器,通过所述未使用的类别检测器,识别所述目标场景所属的场景类别。
13.根据权利要求10所述的装置,其特征在于,所述关键因素还包括:摄像参数;所述处理模块,还用于响应于所述关键因素为摄像设备的摄像参数,所述摄像设备为拍摄所述目标场景的摄像设备,根据所述场景处理策略,对所述摄像设备的摄像参数进行调整;基于调整摄像参数后的摄像设备,对所述目标场景进行重新拍摄,得到所述第二图像。
14.根据权利要求10所述的装置,其特征在于,所述处理模块,还用于从所述第一图像中提取待处理的感兴趣区域,所述感兴趣区域包括目标对象,所述目标对象用于标识所述目标场景所属的场景类别;根据所述感兴趣区域的像素,确定所述感兴趣区域的亮度;响应于所述感兴趣区域的亮度不符合所述场景类别对应的亮度条件,根据所述感兴趣区域的亮度,对所述感兴趣区域的数字增益进行调整,得到所述第二图像。
15.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以实现如权利要求1-9任一项所述的内窥镜摄像系统中的成像方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010198285.XA CN113496475B (zh) | 2020-03-19 | 2020-03-19 | 内窥镜摄像系统中的成像方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010198285.XA CN113496475B (zh) | 2020-03-19 | 2020-03-19 | 内窥镜摄像系统中的成像方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113496475A CN113496475A (zh) | 2021-10-12 |
CN113496475B true CN113496475B (zh) | 2024-04-09 |
Family
ID=77993641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010198285.XA Active CN113496475B (zh) | 2020-03-19 | 2020-03-19 | 内窥镜摄像系统中的成像方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496475B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114302035B (zh) * | 2021-12-13 | 2024-06-28 | 杭州海康慧影科技有限公司 | 一种图像处理方法、装置、电子设备及内窥镜系统 |
CN115908349B (zh) * | 2022-12-01 | 2024-01-30 | 北京锐影医疗技术有限公司 | 一种基于组织识别的内窥镜参数自动调整方法与设备 |
CN115835448B (zh) * | 2022-12-28 | 2024-03-19 | 无锡车联天下信息技术有限公司 | 一种调节灯光的方法、装置、内窥镜设备及介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107405079A (zh) * | 2015-03-02 | 2017-11-28 | 索尼公司 | 用于解剖区域的视频图像的内容管理的方法和系统 |
CN107820020A (zh) * | 2017-12-06 | 2018-03-20 | 广东欧珀移动通信有限公司 | 拍摄参数的调整方法、装置、存储介质及移动终端 |
CN109222854A (zh) * | 2018-11-19 | 2019-01-18 | 苏州新光维医疗科技有限公司 | 内窥镜摄像系统及其图像信号传输方法 |
CN109858381A (zh) * | 2019-01-04 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 活体检测方法、装置、计算机设备和存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10402992B2 (en) * | 2015-10-16 | 2019-09-03 | Capsovision Inc. | Method and apparatus for endoscope with distance measuring for object scaling |
WO2018159083A1 (ja) * | 2017-03-03 | 2018-09-07 | 富士フイルム株式会社 | 内視鏡システム、プロセッサ装置、及び、内視鏡システムの作動方法 |
-
2020
- 2020-03-19 CN CN202010198285.XA patent/CN113496475B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107405079A (zh) * | 2015-03-02 | 2017-11-28 | 索尼公司 | 用于解剖区域的视频图像的内容管理的方法和系统 |
CN107820020A (zh) * | 2017-12-06 | 2018-03-20 | 广东欧珀移动通信有限公司 | 拍摄参数的调整方法、装置、存储介质及移动终端 |
WO2019109801A1 (zh) * | 2017-12-06 | 2019-06-13 | Oppo广东移动通信有限公司 | 拍摄参数的调整方法、装置、存储介质及移动终端 |
CN109222854A (zh) * | 2018-11-19 | 2019-01-18 | 苏州新光维医疗科技有限公司 | 内窥镜摄像系统及其图像信号传输方法 |
CN109858381A (zh) * | 2019-01-04 | 2019-06-07 | 深圳壹账通智能科技有限公司 | 活体检测方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
医学内窥镜图像的横纹消除算法仿真;彭宇;《计算机仿真》;20130731;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113496475A (zh) | 2021-10-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110348543B (zh) | 眼底图像识别方法、装置、计算机设备及存储介质 | |
CN113496475B (zh) | 内窥镜摄像系统中的成像方法、装置及计算机设备 | |
CN110738263B (zh) | 一种图像识别模型训练的方法、图像识别的方法及装置 | |
EP3968272A1 (en) | Medical endoscope image identification method and system, and endoscope image system | |
CN111542856B (zh) | 一种皮肤检测方法和电子设备 | |
CN111091576B (zh) | 图像分割方法、装置、设备及存储介质 | |
CN107895369B (zh) | 图像分类方法、装置、存储介质及设备 | |
US9445713B2 (en) | Apparatuses and methods for mobile imaging and analysis | |
CN111079576A (zh) | 活体检测方法、装置、设备及存储介质 | |
CN111091127A (zh) | 一种图像检测方法、网络模型训练方法以及相关装置 | |
JP7286208B2 (ja) | 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム | |
CN111566693B (zh) | 一种皱纹检测方法及电子设备 | |
WO2020015142A1 (zh) | 一种色素检测方法及电子设备 | |
CN110610181A (zh) | 医学影像识别方法及装置、电子设备及存储介质 | |
CN110659542B (zh) | 监控方法及装置 | |
CN112884666A (zh) | 图像处理方法、装置及计算机存储介质 | |
CN107563997B (zh) | 一种皮肤病诊断系统、构建方法、分类方法和诊断装置 | |
CN114693593A (zh) | 图像处理方法、装置、及计算机装置 | |
CN112818959B (zh) | 手术流程识别方法、装置、系统及计算机可读存储介质 | |
CN111062248A (zh) | 图像检测的方法、装置、电子设备及介质 | |
CN115153397A (zh) | 用于内窥镜摄像系统的成像方法和内窥镜摄像系统 | |
CN113570645A (zh) | 图像配准方法、装置、计算机设备及介质 | |
CN111598896A (zh) | 图像检测方法、装置、设备及存储介质 | |
KR20220097585A (ko) | 인공지능 기반의 자궁경부암 검진 서비스 시스템 | |
CN114359953A (zh) | 指示听诊位置的方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |