CN114693593A - 图像处理方法、装置、及计算机装置 - Google Patents
图像处理方法、装置、及计算机装置 Download PDFInfo
- Publication number
- CN114693593A CN114693593A CN202011624582.2A CN202011624582A CN114693593A CN 114693593 A CN114693593 A CN 114693593A CN 202011624582 A CN202011624582 A CN 202011624582A CN 114693593 A CN114693593 A CN 114693593A
- Authority
- CN
- China
- Prior art keywords
- region
- interest
- image processing
- mode
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 324
- 238000000034 method Methods 0.000 claims abstract description 52
- 230000001629 suppression Effects 0.000 claims description 55
- 238000013507 mapping Methods 0.000 claims description 42
- 238000013136 deep learning model Methods 0.000 claims description 39
- 238000000701 chemical imaging Methods 0.000 claims description 28
- 230000003321 amplification Effects 0.000 claims description 19
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 19
- 230000001965 increasing effect Effects 0.000 claims description 11
- 230000000968 intestinal effect Effects 0.000 claims description 11
- 230000003902 lesion Effects 0.000 claims description 10
- 230000002708 enhancing effect Effects 0.000 claims description 7
- 239000004973 liquid crystal related substance Substances 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 21
- 230000000694 effects Effects 0.000 abstract description 8
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 15
- 238000005286 illumination Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 10
- 239000000779 smoke Substances 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000001914 filtration Methods 0.000 description 9
- 230000002265 prevention Effects 0.000 description 9
- 230000009467 reduction Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 210000003800 pharynx Anatomy 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 210000004204 blood vessel Anatomy 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 210000003238 esophagus Anatomy 0.000 description 4
- 210000000936 intestine Anatomy 0.000 description 4
- 210000003695 paranasal sinus Anatomy 0.000 description 4
- 238000004148 unit process Methods 0.000 description 4
- 206010061218 Inflammation Diseases 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 210000001198 duodenum Anatomy 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000004054 inflammatory process Effects 0.000 description 3
- 230000005764 inhibitory process Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 210000003708 urethra Anatomy 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000003707 image sharpening Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 206010020718 hyperplasia Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004088 microvessel Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 210000002416 recurrent laryngeal nerve Anatomy 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010008 shearing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003454 tympanic membrane Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G06T5/70—
-
- G06T5/73—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30101—Blood vessel; Artery; Vein; Vascular
Abstract
本申请实施例公开了一种图像处理方法、装置、及计算机存储介质，属于计算机技术领域。所述方法包括：获取目标图像的感兴趣区域中出现的对象，基于感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式，基于图像处理模式对所述感兴趣区域进行处理，显示处理后的感兴趣区域。本申请实施例通过不同的图像处理模式对不同对象所在的感兴趣区域进行处理，并对处理后的感兴趣区域进行显示。使得显示的感兴趣区域可以达到医生所希望的最佳显示效果，有利于医生对感兴趣区域进行详细观测，进而对患者的病情进行准确判断，或者在手术过程中，医生可以更精准的进行操作。
Description
技术领域
本申请实施例涉及计算机技术领域，特别涉及一种图像处理方法、装置、及计算机装置。
背景技术
图像是通过摄像机拍摄或扫描等方式获取的，在获取图像的过程中，也即是，在图像成像的过程中，可根据用户的需求，进行不同的处理，最终显示不同质量的图像。图像处理广泛应用于监控、摄像、医疗等领域，结合人工智能技术，可为用户提供更加智能、画质更高的摄像机产品。
比如，在医疗领域中，图像处理应用在内窥镜场景，内窥镜系统的发展使得医生在病情诊断、手术治疗等环节取得了极大的效率提升。近些年，随着图像传感器、图像信号处理等相关技术的飞速发展，内窥镜系统在图像分辨率、帧率、信噪比等方面也得到了较大提升。为了进一步提升医生的工作效率，需提高内窥镜系统的智能化水平，创新更具诊断意义的图像处理技术，成为内窥镜系统的新热点。
发明内容
本申请实施例提供了一种图像处理方法、装置、及计算机装置，可以使得显示的感兴趣区域可以达到医生所希望的最佳显示效果。所述技术方案如下：
一方面，提供了一种图像处理方法，所述方法包括：
获取目标图像的感兴趣区域中出现的对象；
基于所述感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式；
基于所述图像处理模式对所述感兴趣区域进行处理；
显示处理后的所述感兴趣区域。
可选地，基于所述感兴趣区域中出现的对象，确定图像处理模式，包括：
基于第一映射关系，确定所述感兴趣区域中出现的对象的类别，基于第二映射关系，确定所述图像处理模式，所述第一映射关系指示对象和类别之间的对应关系，所述第二映射关系指示对象类别和图像处理模式之间的对应关系；或者，
基于第三映射关系，确定所述图像处理模式，所述第三映射关系指示对象和图像处理模式之间的对应关系。
可选地，在所述感兴趣区域中出现的对象为病灶区域类对象时，所述图像处理模式包括电子放大模式，所述电子放大处理模式用于所述感兴趣区域进行放大处理；或者，
在所述感兴趣区域中出现的对象为微血管类对象时，所述图像处理模式包括多光谱成像模式，所述多光谱成像模式用于对所述感兴趣区域中不同波段进行增强处理；或者，
在所述感兴趣区域中出现的对象为肠/道类对象时，所述图像处理模式包括对比度增强模式和高亮抑制模式，所述对比度增强模式用于对所述感兴趣区域进行对比度增强处理，所述高亮抑制模式用于对所述感兴趣区域中的高亮部分的亮度进行抑制处理；或者，
在所述感兴趣区域中出现的对象为器械类对象时，所述图像处理模式包括高亮抑制模式；或者，
在所述感兴趣区域中出现的对象为纱布类对象时，所述图像处理模式包括伪色高亮模式，所述伪色高亮模式用于对所述感兴趣区域中出现的对象进行伪色显示处理；或者，
在所述感兴趣区域中出现的对象为烟雾类对象时，所述图像处理模式包括去雾处理模式，所述去雾处理模式用于对所述感兴趣区域中出现的烟雾类对象进行去雾处理。
可选地，在所述感兴趣区域中出现的对象为烟雾类对象时，所述基于所述图像处理模式对所述感兴趣区域进行处理，包括：
确定所述感兴趣区域中出现的烟雾类对象的浓度；
如果所述烟雾类对象的浓度超过浓度阈值，则增大对所述感兴趣区域进行去雾处理的程度；
如果所述烟雾类对象的浓度低于浓度阈值，则减少对所述感兴趣区域进行去雾处理的程度。
可选地，所述获取目标图像的感兴趣区域中出现的对象，包括：
基于深度学习模型识别所述目标图像中出现的对象、以及所述对象的位置信息；
基于所述对象的位置信息确定所述感兴趣区域，所述感兴趣区域包括所述深度学习模型识别出的至少一个对象。
可选地，基于所述深度学习模型识别所述目标图像中出现的对象的数量为多个；
所述基于所述对象的位置信息确定所述感兴趣区域，包括：
确定多个对象中每个对象的优先级；
基于所述多个对象中各个对象的优先级，从所述多个对象中选择目标对象；
基于所述目标对象的位置信息确定所述感兴趣区域。
可选地，所述获取目标图像中的感兴趣区域中出现的对象，包括：
基于指定的区域位置信息，确定所述感兴趣区域；
基于深度学习模型识别所述感兴趣区域中出现的对象。
可选地，所述显示处理后的所述感兴趣区域，包括：
在显示界面的主画面区域中显示所述目标图像；
在所述显示界面的辅画面区域中显示处理后的所述感兴趣区域，所述辅画面区域叠加在所述主画面区域上面。
可选地，所述显示界面上包括多个辅画面区域；
所述多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
另一方面，提供了一种图像处理装置，所述装置包括：
获取模块，用于获取目标图像的感兴趣区域中出现的对象；
确定模块，用于基于所述感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式；
处理模块，用于基于所述图像处理模式对所述感兴趣区域进行处理；
显示模块，用于显示处理后的所述感兴趣区域。
可选地，所述确定模块，包括：
第一确定单元，用于基于第一映射关系，确定所述感兴趣区域中出现的对象的类别，基于第二映射关系，确定所述图像处理模式，所述第一映射关系指示对象和类别之间的对应关系，所述第二映射关系指示对象类别和图像处理模式之间的对应关系；或者，基于第三映射关系，确定所述图像处理模式，所述第三映射关系指示对象和图像处理模式之间的对应关系。
可选地，在所述感兴趣区域中出现的对象为病灶区域类对象时，所述图像处理模式包括电子放大模式，所述电子放大处理模式用于所述感兴趣区域进行放大处理；或者，
在所述感兴趣区域中出现的对象为微血管类对象时，所述图像处理模式包括多光谱成像模式，所述多光谱成像模式用于对所述感兴趣区域中不同波段进行增强处理；或者，
在所述感兴趣区域中出现的对象为肠/道类对象时，所述图像处理模式包括对比度增强模式和高亮抑制模式，所述对比度增强模式用于对所述感兴趣区域进行对比度增强处理，所述高亮抑制模式用于对所述感兴趣区域中的高亮部分的亮度进行抑制处理；或者，
在所述感兴趣区域中出现的对象为器械类对象时，所述图像处理模式包括高亮抑制模式；或者，
在所述感兴趣区域中出现的对象为纱布类对象时，所述图像处理模式包括伪色高亮模式，所述伪色高亮模式用于对所述感兴趣区域中出现的对象进行伪色显示处理；或者，
在所述感兴趣区域中出现的对象为烟雾类对象时，所述图像处理模式包括去雾处理模式，所述去雾处理模式用于对所述感兴趣区域中出现的烟雾类对象进行去雾处理。
可选地，在所述感兴趣区域中出现的对象为烟雾类对象时，所述处理模块包括：
第二确定单元，用于确定所述感兴趣区域中出现的烟雾类对象的浓度；
第一判断单元，用于如果所述烟雾类对象的浓度超过浓度阈值，则增大对所述感兴趣区域进行去雾处理的程度；
如果所述烟雾类对象的浓度低于浓度阈值，则减少对所述感兴趣区域进行去雾处理的程度。
可选地，所述确定模块还包括：
第一识别单元，用于基于深度学习模型识别所述目标图像中出现的对象、以及所述对象的位置信息；
第三确定单元，用于基于所述对象的位置信息确定所述感兴趣区域，所述感兴趣区域包括所述深度学习模型识别出的至少一个对象。
可选地，基于所述深度学习模型识别所述目标图像中出现的对象的数量为多个；
所述第三确定单元用于：
确定多个对象中每个对象的优先级；
基于所述多个对象中各个对象的优先级，从所述多个对象中选择目标对象；
基于所述目标对象的位置信息确定所述感兴趣区域。
可选地，所述确定模块还包括：
第四确定单元，用于基于指定的区域位置信息，确定所述感兴趣区域；
第二识别单元，用于基于深度学习模型识别所述感兴趣区域中出现的对象。
可选地，所述显示模块包括：
显示单元，用于在显示界面的主画面区域中显示所述目标图像；
所述显示单元，用于在所述显示界面的辅画面区域中显示处理后的所述感兴趣区域，所述辅画面区域和所述主画面区域叠加在一起。
可选地，所述显示界面上包括多个辅画面区域；
所述多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述一方面所述的一种图像处理方法。
第四方面，提供了一种计算机装置，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述一方面所述的一种图像处理方法。
第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述一方面所述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
通过不同的图像处理模式对不同的对象对应的感兴趣区域进行处理，并对处理后的感兴趣区域进行显示。由于不同的对象中存在至少两个对象对应着不同的图像处理模式，因此，对每个对象对应的感兴趣区域进行处理的时候，都是有针对性的进行处理。因此，当目标图像为内窥镜采集的图像时，针对不同场景下获取的不同感兴趣区域，便可按照前述方式进行不同的图像处理。在内窥镜场景中，使得显示的感兴趣区域可以达到医生所希望的最佳显示效果，这样有利于医生对感兴趣区域进行详细观测，进而对患者的病情进行准确判断，或者在手术过程中，医生可以更精准的进行操作。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种内窥镜系统概略结构示意图。
图2是本申请实施例提供的一种内窥镜系统详细结构示意图。
图3是本申请实施例提供的一种图像处理系统的架构示意图。
图4是本申请实施例提供的一种图像处理方法流程示意图。
图5是本申请实施例提供的另一种图像处理方法流程示意图。
图6是本申请实施例提供的一种图像处理方法流程图。
图7是本申请实施例提供的一种确定感兴趣区域流程图。
图8是本申请实施例提供的另一种确定感兴趣区域流程图。
图9是本申请实时例提供的一种高亮抑制曲线映射图。
图10是本申请实施例提供的一种实现伪色高亮显示图。
图11是本申请实施例提供的一种防红溢出曲线映射图。
图12本申请实施例提供的一种显示界面显示示意图。
图13是本申请实施例提供的一种画中画原理流程图。
图14是本申请实施例提供的一种显示画面示意图。
图15是本申请实施例提供的另一种显示画面示意图。
图16是本申请实施例提供的一种图像处理装置的结构示意图。
图17是本申请实施例提供的一种终端的结构框图。
图18是本申请实施例提供的一种服务器结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
为了后续便于说明，在此先对本申请实施例的应用场景进行介绍说明。
在医疗领域中，医生通常需要对感兴趣中区域出现的对象进行观测与定位。比如，需要对诊断场景中的咽喉、鼻窦、喉返神经等人体组织或器官进行观测，以及对手术场景中的各类手术器械，如手术钳、电手术刀、纱布等进行观测与定位。此时，需要采集目标图像，目标图像中包括感兴趣区域。由于目标图像中还包括一些其他的区域，因此，直接通过目标图像来观测感兴趣区域中出现的对象时，不能清晰且准确的观测到感兴趣区域中出现的对象的特征与细节。若需要清晰且准确的观测到感兴趣区域中出现的对象，则需要对目标图像进行针对性的处理，并显示处理后的目标图像，以使医生可以清晰且准确的观测到感兴趣区域中出现的对象，并基于感兴趣区域中出现的对象的特征与细节执行下一步操作。这样有利于医生对病情的准确判断，或者医生在进行手术时，减少手术风险。
本申请实施例提供的图像处理方法就应用于上述基于内窥镜系统采集的目标图像进行观测的场景中。为了后续便于说明，下面首先对本申请实施例涉及的内窥镜系统进行整体介绍，如图1所示，图1是本申请实施例提供的一种内窥镜系统的结构示意图。在图1中，内窥镜系统包括内窥镜，光源，摄像系统主机，显示装置以及存储装置。
其中，内窥镜用于将长管插入患者体内，拍摄患者体内需要被观察的部位，采集该部位的图像，并将采集的图像发送给摄像系统主机。光源装置用于从内窥镜的长管前端射出的照明光，以便于内窥镜拍摄出清晰的图像。摄像系统主机用于接收内窥镜发送的图像，对该图像进行处理，然后将处理后的图像发送给显示装置和存储装置。摄像系统主机还用于统一控制整个内窥镜系统，比如控制内窥镜将采集的图像发送给摄像系统主机等。显示装置用于接收摄像系统主机发送的处理后的图像，然后将处理的图像显示在显示装置上。存储装置用于接收摄像系统主机发送的处理后的图像，并将该处理后的图像进行存储。
通过图1所示的内窥镜系统，医生通过观察由显示装置显示的处理后的图像，来观测图像中感兴趣区域的对象有无出血部位、肿瘤部位和异常部位。在手术时，通过图1所示的内窥镜系统可以提供手术过程中的实时影像。此外，医生还可以获取存储装置中的图像，根据多个图像组成的视频，进行术后回顾和手术培训。
为了更加清楚的了解内窥镜系统的原理，在此对内窥镜系统组成部分进行解释说明。如图2所示，图2是本申请实施例提供的一种内窥镜系统的详细结构示意图。
在图2中，内窥镜系统中的摄像系统主机包括图像输入单元、图像处理单元、智能处理单元、视频编码单元、控制单元和操作单元。
其中，图像输入单元接收内窥镜发送过来的图像，并将接受到的图像传输给图像处理单元。
图像处理单元接收图像输入单元发送的图像，对接收到的图像进行处理，也即是对图像进行ISP(image signal processor，图像信号处理)操作，ISP操作包括对图像进行亮度变换、锐化、去摩尔纹、缩放等操作。图像处理单元处理完图像之后，将处理后的图像发送给智能处理单元、视频编码单元或显示装置。此外，图像处理单元还用于接收智能处理单元智能分析后的图像，并对智能分析后的图像再一次进行ISP操作。
智能处理单元接收到图像处理单元发送的处理后的图像，并对处理后的图像进行智能分析，智能分析包括对处理后的图像基于深度学习进行场景分类、器械或器械头检测、纱布检测、摩尔纹分类和浓雾分类等。智能处理单元智能分析完处理后的图像之后，将智能分析后的图像发送给图像处理单元或视频编码单元。
视频编码单元用于接收图像处理单元处理后的图像，或智能处理单元智能分析后的图像。对处理后的图像或智能分析后的图像进行编码压缩，并将压缩后的图像发送给存储装置。
控制单元用于向内窥镜系统的各个单元发送不同的功能指令，用于控制内窥镜系统的各个模块来执行某些功能，比如控制光源的照明、图像处理单元的图像处理方式、智能处理单元的智能分析方式和视频编码单元的编码压缩方式等。此外，控制单元还用于接收操作单元发送的触发指令，并响应于该触发指令，以便于开启摄像系统主机。当用户对摄像系统主机上的开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向控制单元发送该触发指令。
在图2中，内窥镜系统中的光源包括照明控制单元和照明单元。其中，照明控制单元接收摄像系统主机中控制单元发送的功能指令后，并向照明单元发送照明指令，用于控制照明单元向内窥镜提供照明光。照明单元接收到明控制单元发送的照明指令，并向内窥镜提供照明光。
在图2中，内窥镜系统中的内窥镜具有摄像光学系统、成像单元、处理单元和操作单元。其中，摄像光学系统由一个或多个透镜构成，对来自患者体内需要被观测部位的光进行聚光，以便观测部位可以被清晰的拍摄下来。成像单元由CMOS(complementary metaloxide semiconductor，互补金属氧化物半导体)或CCD(charge coupled device，电荷耦合器件)等图像传感器组成，用于将各个像素点所接收的光进行光电转换来生成图像。成像单元将生成的图像发送给处理单元。处理单元接收成像单元发送的图像，将该图像转换成数字信号图像，并将转换后的图像发送到摄像系统主机的图像输入单元。当用户对内窥镜上的开关、按钮或触摸面板进行触发操作时，操作单元用于接收用户的触发指令，并向摄像系统主机的控制单元发送该触发指令。
本申请实施例提供的方法就应用于利用内窥镜系统对图像进行处理的场景中，可选地，本申请实施例提供的图像处理方法也可以应用在其他对图像进行处理的场景中。在此就不再一一举例说明。
为了能够实现本申请实施例提供的图像处理方法，本申请实施例提供了一种图像处理系统。为了便于后续说明，在此先对该图像处理系统进行详细解释说明。
图3是本申请实施例提供的一种图像处理系统的架构示意图。如图3所示，该图像处理系统300包括目标识别单元301，控制单元302，ROI(region of interest，感兴趣区域)选取单元303，图像处理单元304，画中画叠加单元305。
其中，目标识别单元用于识别图像中的对象。由于要清晰且准确的观测到图像中感兴趣区域中出现的对象，因此需要对图像中感兴趣区域进行图像处理。ROI选取单元用于确定感兴趣区域。图像处理单元用于对图像中的感兴趣区域进行处理。控制单元用于向ROI选取单元和图像处理单元发送功能指令，来控制ROI选取单元确定感兴趣区域，并控制图像处理单元按照指定的图像处理模式对图像中的感兴趣区域进行处理。
其中，图像处理模式包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、多光谱成像模式、高亮抑制模式、防红溢出模式、伪色高亮模式、电子放大模式、超分辨率模式等中的一者或多者。也可将图像处理模式称为图像增强处理参数。
画中画叠加单元用于将处理后的图像和原始图像进行叠加，以便于将处理后的图像和目标图像都显示在显示装置上。
基于上述的图像处理系统，可采用以下两种方式来实现本申请实施例提供的图像处理方法。
在一种可能实现的方式中，如图4所示，图4是本申请实施例提供的一种图像处理方法流程示意图。在图4中，目标识别单元接收内窥镜采集的图像，确定图像中出现的对象、以及对象的位置信息，然后将确定的图像中出现的对象、以及对象的位置信息和图像本身发送给控制单元。其中，图4中所示的位置信息就为对象的位置信息，目标种类就为对象。
控制单元接收到目标识别单元发送的图像中出现的对象、以及对象的位置信息，向ROI选取单元发送对象的位置信息，以控制ROI选取单元确定图像的感兴趣区域。控制单元还用于基于感兴趣区域中的对象的类型或者感兴趣区域中出现的对象确定指定的图像处理模式，也即是确定图像的增强参数，然后向图像处理单元发送图像处理模式，以便于控制图像处理单元按照指定的图像处理模式对图像的感兴趣区域进行处理。
ROI选取单元用于接收到控制单元发送的对象的位置信息和内窥镜采集的图像，并根据对象的位置信息确定图像的感兴趣区域。也即是根据图4中目标识别单元提供的感兴趣区域坐标来确定图像的感兴趣区域。ROI选取单元将确定的图像的感兴趣区域发送给图像处理单元，该感兴趣区域为内窥镜采集的图像中的部分图像。
图像处理单元接收控制单元发送的图像处理模式以及ROI选取单元发送的图像的感兴趣区域。图像处理单元基于该图像处理模式对图像的感兴趣区域进行处理，该处理为增强处理，以便于更清晰准确的观测感兴趣区域中出现的对象。图像处理单元将处理完成的图像发送给画中画叠加单元。
画中画叠加单元接收处理后的图像和内窥镜采集的图像，并将处理后的图像和内窥镜采集的图像进行叠加，以便于将处理后的图像和内窥镜采集的图像都显示在显示装置上。
在另一种可能实现的方式中，如图5所示，图5是本申请实施例提供的另一种图像处理方法流程示意图。在图5中，控制单元控制ROI选取单元接收内窥镜采集的图像，根据用户指定的区域位置信息，确定图像的感兴趣区域，指定的区域位置信息也称为图5中的预设ROI区域坐标。ROI选取单元将确定的图像的感兴趣区域发送给图像处理单元和目标识别单元。
目标识别单元接收ROI选取单元发送的图像的感兴趣区域，然后基于图像的感兴趣区域确定感兴趣区域中出现的对象。目标识别单元向控制单元发送感兴趣区域中对象的位置信息和感兴趣区域中出现的对象。
控制单元接收到目标识别单元发送的对象的位置信息和感兴趣区域中出现的对象之后，基于感兴趣区域中出现的对象或对象所属的类别确定图像处理模式，也即是确定图像的增强参数。图像处理单元基于确定的图像处理模式对图像的感兴趣区域进行处理，该处理可为增强处理，以便于更清晰准确的观测感兴趣区域中出现的对象。然后向图像处理单元发送图像处理模式，以便于控制图像处理单元按照指定的图像处理模式对图像的感兴趣区域进行处理。
图像处理单元接收控制单元发送的图像处理模式以及ROI选取单元发送的图像的感兴趣区域。图像处理单元基于该图像处理模式对图像的感兴趣区域进行处理。图像处理单元将处理完成的图像发送给画中画叠加单元。
画中画叠加单元接收处理后的图像和内窥镜采集的图像，并将处理后的图像和内窥镜采集的图像进行叠加，以便于将处理后的图像和内窥镜采集的图像都显示在显示装置上。
上述图4和图5仅仅是图3所示的图像处理系统的两种可能的图像处理流程，在应用图3所示的图像处理系统时，也可以基于实际的需求调整该图像处理系统的图像处理流程，本申请实施例对比不作限定。
需要说明的是，图3所示的图像处理系统中的各个单元可以集中式地部署在一个终端中，也可以集中式地部署在一个服务器中，可选地，该图像处理系统中的各个单元还可以分布式部署在不同的设备上，本申请实施例对此不做限定。
此外，图1中图像处理系统各个单元为软件单元，各个单元的命名是基于软件单元的功能命名的。在应用本申请实施例时，可以基于需求进行不同的命名，本申请实施例并不限定上述各个单元的命名。
基于图3所示的图像处理系统，下面对本申请实施例提供的方法进一步展开说明。基于图3所示的图像处理系统可知，该图像处理方法的执行主体并不限定。为了便于后续说明，下述实施例以图像处理系统集中式地部署在终端上为例进行说明。
图6是本申请实施例提供的一种图像处理方法流程图，该图像处理方法可以包括如下几个步骤：
步骤601：终端获取目标图像的感兴趣区域中出现的对象。
当目标图像为内窥镜采集的图像时，由于不同的对象具有不同的特征，因此，基于不同对象可以对图像有针对性的进行处理。所以终端在获取到目标图像时，图3中的目标识别单元先获取目标图像的感兴趣区域中出现的对象，以便于后续基于感兴趣区域中出现的对象来确定不同的图像处理模式。
基于上述图4和图5的两种流程图可知，终端获取目标图像的感兴趣区域中出现的对象可以有下述两种实现方式。
(1)在图4所示的图像处理流程中。
基于图4所示的图像处理流程可知，上述终端获取目标图像的感兴趣区域中出现的对象的实现方式为：终端基于深度学习模型识别目标图像中出现的对象、以及该对象的位置信息。基于该对象的位置信息确定感兴趣区域，感兴趣区域包括深度学习模型识别出的至少一个对象。
上述深度学习模型是预先训练的用于识别图像中的对象的模型，且该深度学习模型在识别出对象之后，还可能判断出该对象的位置信息。该对象的位置信息具体为对象在目标图像中的位置坐标。基于深度学习模型，可提高内窥镜场景下，图像处理系统的智能化水平，不需要医生去进行调试操作，这样可以减少医生额外的调试步骤，提高医生的工作效率。
上述深度学习模型的训练过程可以为：终端获取多个训练样本，多个训练样本中每个训练样本包括一个图像，和与该训练样本对应的标签，该训练样本对应的标签包括该图像中出现的对象、对象的位置信息。终端基于多个训练样本以及各个训练样本对应的标签，对初始化的学习模型进行训练，得到深度学习模型。
具体地，当目标图像为内窥镜采集的图像时，首先收集各类医疗场景下的内窥镜采集的图像，并按照医疗科室、应用场景、对象种类等一种或多种因素对所采集的图像进行划分，然后对采集的图像中出现的对象进行标注，图像中出现的对象包括诊断场景中的咽喉、鼓膜、鼻窦、食道等人体组织或器官等，以及手术场景中的各类器械，如手术钳、电手术刀、纱布等。然后基于图像中出现的对象确定对象在图像中的位置信息。这样将图像中出现的对象、以及对象的位置信息作为一个样本的标签。在所有样本中选择典型的样本以及样本的标签构建训练数据集。将训练数据集输入初始化的深度学习模型进行训练，得到训练出来的关系函数，该关系函数即为上述深度学习模型。其中，深度学习模型可以为FRCNN(faster regions with convolutional neural network features，利用卷积神经网络提取区域特征的目标识别技术)、SSD(single shot multi-box detector，单阶段多框预测分类检测器)、YOLO(you only look once，只需要一次的目标识别网络)等。
此外，上述深度学习模型还可以利用多帧融合技术对基于深度学习模型的识别结果进行校验，能够进一步提高识别的稳定性与精准度。实际场景中，当图像中对象存在运动、遮挡等情况时，会导致图像质量下降，影响识别图像中对象的精准性。结合多帧融合技术，将多帧视频图像输入目标识别单元，目标识别单元会结合前后帧图像中对象的运动信息、类别信息等，更准确的确定对象的位置与类别。
上述终端基于深度学习模型识别目标图像中出现的对象、以及对象的位置信息的实现方式为：当目标图像为内窥镜采集的图像时，终端将从内窥镜采集的目标图像输入到深度学习模型中，深度学习模型根据目标图像的特征，输出与目标图像对应的目标图像中出现的对象、以及对象的位置信息。其中，基于深度学习模型识别目标图像中出现的对象的数量可以为一个或多个。
另外，上述基于对象的位置信息确定感兴趣区域的实现方式可以为：基于识别出的对象的位置信息，将该位置信息周围参考范围内的区域作为感兴趣区域。
当目标图像为内窥镜采集的图像时，可以将识别出的对象为中心向外延伸一定范围，将范围内的区域作为感兴趣区域。比如，对象的上边缘向上10个像素点作为感兴趣区域的上边缘，对象的下边缘向下10个像素点作为感兴趣区域的下边缘，对象的右边缘向右10个像素点作为感兴趣区域的右边缘，对象的左边缘向左10个像素点作为感兴趣区域的左边缘。又比如，对象为一个正方形，该正方形的边长为10个像素点，可以将该正方形的左边缘10个像素点作为感兴趣区域的左边缘，该正方形的右边缘10个像素点处作为感兴趣区域的右边缘，正方形的上边缘10个像素点处作为感兴趣区域的上边缘，正方形的下边缘10个像素点处作为感兴趣区域的下边缘。这样确定的感兴趣区域的宽度为识别出的对象的宽度加上20个像素点，高度为识别出的对象的高度加上20个像素点，且感兴趣区域为矩形。
此外，当深度学习模型识别出的对象为多个时，上述基于对象的位置信息确定感兴趣区域的一种可能实现的方式为：终端以所有对象中每个对象为中心向外延伸一定范围，将范围内的区域为感兴趣区域。此时，可以确定多个感兴趣区域，对多个感兴趣区域中每个感兴趣区域均执行确定图像处理模式的操作即可。
另外，考虑到不同的对象的重要程度不同，因此，可以预先针对不同的对象设置不同的优先级。此时，上述基于对象的位置信息确定感兴趣区域的另一种可能实现的方式为：终端确定多个对象中每个对象的优先级。基于多个对象中各个对象的优先级，从多个对象中选择目标对象。基于目标对象的位置信息确定感兴趣区域。
当目标图像为内窥镜采集的图像时，上述多个对象中每个对象的优先级是通过医生的预设操作提前设置的，医生可以根据不同对象的重要级别来设置不同的优先级，越重要的对象优先级越高。该重要级别是基于当前场景决定的。比如，在医生对患者的咽喉进行检查时，内窥镜采集的图像采集的图像中可能还包括患者的口腔、舌头等，那么此时咽喉的优先级最高。通过对多个对象优先级的设置，可以将优先基于优先级较高的对象确定感兴趣区域，来提高获取感兴趣区域的效率。
如图7所示，图7是本申请实施例提供的一种确定感兴趣区域流程图。在图7中，首先图3中的目标识别单元接收目标图像，也即是图7中的原始图像。然后基于深度学习模型确定目标图像中出现的对象、以及对象的位置信息。其中，目标图像中出现的对象也称为图7中的关键目标。然后判断目标图像中是否有对象，若没有对象，则重新采集目标图像，若有对象，则确定是否有多个对象。若没有多个对象，则根据一个对象的位置信息确定感兴趣区域。若有多个对象，则根据多个对象的优先级来确定感兴趣区域。最后输出确定的感兴趣区域。
(2)在图5所示的图像处理流程中。
基于图5所示的图像处理流程可知，终端获取目标图像的感兴趣区域中出现的对象的类别的实现方式为：基于指定的区域位置信息，确定感兴趣区域，基于深度学习模型识别感兴趣区域中出现的对象。
当目标图像为内窥镜采集的图像时，上述终端基于指定的区域位置信息，确定感兴趣区域的实现方式为：通过预设区域值或用户通过指定方式手动截取目标图像中固定的感兴趣区域。其中，预设区域值为医生提前设置的感兴趣区域的位置信息以及感兴趣区域的宽度和高度。
上述基于深度学习模型识别感兴趣区域中出现的对象的实现方式为：终端向深度学习模型输入目标图像中的感兴趣区域，深度学习模型根据目标图像中的感兴趣区域输出目标图像中感兴趣区域中出现的对象。相对于图3所示的流程，这样利用感兴趣区域来确定对象，显著的加快确定对象的速度，更好的满足特殊医疗场景中更高的实时性要求。
如图8所示，图8是本申请实施例提供的另一种确定感兴趣区域流程图。在图8中，首先图4中的目标识别单元接收预设的感兴趣区域，基于深度学习模型确定感兴趣区域中出现的对象。然后判断是否存在对象，若没有对象，则重新获取感兴趣区域，若存在对象，输出该感兴趣区域。
步骤602：终端基于感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式。
当目标图像为内窥镜采集的图像时，为了使感兴趣区域可以达到医生所希望的最佳显示效果，因此，终端需要利用图3中的控制单元针对不同的对象确定不同的图像处理模式。
在一种可能实现的方式中，上述基于感兴趣区域中出现的对象，确定图像处理模式的实现方式为：基于第一映射关系，确定感兴趣区域中出现的对象的类别，然后基于第二映射关系，确定图像处理模式。其中，第一映射关系指示对象和类别之间的对应关系，第二映射关系指示对象类别和图像处理模式之间的对应关系。
上述基于第一映射关系，确定感兴趣区域中出现的对象的类别的实现方式为：终端中存储有第一映射关系，终端根据感兴趣区域中出现的对象在第一映射关系中查找与该对象对应的对象类别。其中，第一映射关系为人工确定，并输入的。
当目标图像为内窥镜采集的图像时，如表1所示，表1为第一映射关系，也就是对象和类别之间的对应关系。在表1中，炎症、肿瘤等对象属于病灶区域类，咽喉、鼻窦、黏膜皮层等对象属于微血管类，食道、十二指肠、尿道等对象属于肠/道类，手术钳、电手术刀或器械头部等对象属于器械类，纱布等对象属于纱布类，烟雾等对象属于烟雾类对象。
表1：
上述基于第二映射关系，确定图像处理模式的实现方式为：终端中存储有第二映射关系，在终端基于对象确定了对象的类别之后，终端根据对象的类别在第二映射关系中查找与该对象类别对应的图像处理模式。其中，第二映射关系为人工确定，并输入的。
当目标图像为内窥镜采集的图像时，上述对象类别包括病灶区域类对象、微血管类对象、肠/道类对象、器械类对象、纱布类对象、烟雾类对象等。其中，病灶区域类对象包括炎症、肿瘤等对象，微血管类对象包括咽喉、鼻窦、黏膜皮层等对象，肠/道类对象包括食道、十二指肠、尿道等对象，器械类对象包括手术钳、电手术刀或器械头部等对象，纱布类对象包括纱布等对象，烟雾类对象为浓雾等对象。
上述图像处理模式包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、多光谱成像模式、高亮抑制模式、防红溢出模式、伪色高亮模式、电子放大模式、超分辨率模式等，各种图像图里模式可参考业界公知的相关方法。
如表2所示，表2为第二映射关系，也就是对象类别和图像处理模式之间的对应关系。在表2中，感兴趣区域包括病灶区域类对象可以采用电子放大模式进行处理，感兴趣区域包括微血管类对象可以采用多光谱成像模式进行处理，感兴趣区域包括肠/道类对象可以采用对比度增强模式和高亮抑制模式进行处理，感兴趣区域包括器械类对象可以采用高亮抑制模式进行处理，感兴趣区域包括纱布类对象可以采用伪色高亮模式进行处理，感兴趣区域包括烟雾类对象可以采用去雾处理模式进行处理。
表2：
上述第二映射关系中不同的对象类别对应哪种图像处理模式，是根据对象类别中对象的共有特点来确定的。具体地，当目标图像为内窥镜采集的图像时，将不同的对象类别与不同的图像处理模式的对应关系具体分为以下几类。
第一类，由于病灶区域类对象具有小而不易被发现的特点，因此，在感兴趣区域中出现的对象为病灶区域类对象时，图像处理模式包括电子放大模式，电子放大处理模式用于感兴趣区域进行放大处理。
电子放大模式可以对感兴趣区域中病灶区域类对象进行放大，经过放大后，能够使病灶区域类对象更加清晰，方便医生观察细节，在病情诊断环节，能够避免对微小的早期癌变、异常增生等漏诊，而在手术治疗环节，还能够保证肿瘤等病患被完全切除，不出现遗漏。
此外，对病灶区域类对象所在的感兴趣区域进行处理时，不仅限于电子放大模式，还可以包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、多光谱显像模式、高亮抑制模式、防红溢出模式、超分辨率模式等的一者或多者。具体包括哪些模式以及各个模式下的具体参数均可以由医生通过预设操作指定。
第二类，由于微血管类对象附近的血管难以观测到，因此，在感兴趣区域中出现的对象为微血管类对象时，图像处理模式包括多光谱成像模式。多光谱成像模式用于对感兴趣区域进行中不同波段进行增强处理。
多光谱成像模式可以对感兴趣区域中微血管类对象附近的不同深度、不同粗细的血管以更加显著的对比度呈现出来，方便医生更轻松地观察血管形态与结构，帮助医生进行更早、更准确的病情诊断。
其中，多光谱成像模式利用特殊的校正矩阵来处理感兴趣区域，以加强血管等目标与周围组织的对比度。校正矩阵如下所示，感兴趣区域的红(R)、绿(G)、蓝(B)三种通道的波段进行增强处理，R_ehc为红色通道的波段增强之后的输出，G_ehc为绿色通道的波段增强之后的输出，B_ehc为蓝色通道的波段增强之后的输出，R_ori，G_ori，B_ori为红，绿，蓝三个通道的波段的输入。oft_R，oft_G，oft_B为偏移。coef_X所代表的矩阵为系数矩阵，比如，coef_1。需要说明的是，校正矩阵可以是基于待进行多光谱成像处理的图像的全局信息，也可以是基于待进行多光谱成像处理的图像的局部信息。
此外，对微血管类对象所在的感兴趣区域进行处理时，不仅限于多光谱成像模式，还可以包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、高亮抑制模式、防红溢出模式、电子放大模式、超分辨率模式等的一者或多者。具体包括哪些模式以及各个模式下的具体参数均可以由医生通过预设操作指定。
第三类，由于肠/道类对象的形状较为狭长，导致难以对肠/道类对象所处位置进行充分补光。比如，当使用内窥镜对肠/道类组织或器官进行诊断时，由于近景靠近光源而明显高亮，而远景由于远离光源与自动曝光的双重作用导致其明显暗于前景区域，进而导致医生难以准确分析病情。因此，在感兴趣区域中出现的对象为肠/道类对象时，图像处理模式包括对比度增强模式和高亮抑制模式。
其中，对比度增强模式用于对感兴趣区域进行对比度增强处理，高亮抑制模式用于对感兴趣区域中的高亮部分的亮度进行抑制处理。对比度增强模式和高亮抑制模式能够在无须医生额外交互控制的情况下自动增强感兴趣区域的亮度与纹理细节，让医生使用内窥镜的过程更加智能、便捷。
此外，对肠/道类对象所在的感兴趣区域进行处理时，不仅限于对比度增强模式和高亮抑制模式，还可以包括图像降噪模式、锐化模式、去雾模式、多光谱显像模式、防红溢出模式、电子放大模式、超分辨率模式等的一者或多者。具体包括哪些模式以及各个模式下的具体参数均可以由医生通过预设操作指定。
第四类，由于器械类对象为金属质地，金属质地的器械往往会出现反光，或者特别亮的情况，因此，在感兴趣区域中出现的对象为器械类对象时，图像处理模式包括高亮抑制模式。
高亮抑制模式用于对感兴趣区域中的高亮部分的亮度进行抑制处理。高亮抑制模式可以避免器械对医生产生过强的视觉刺激，也能使医生在手术过程中更好的定位手术器械的位置，保证剪切、缝合、引流等手术操作的精确性，从而提高手术过程的效率与安全性。
此外，对器械类对象所在的感兴趣区域进行处理时，不仅限于高亮抑制模式，还可以包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、多光谱显像模式、防红溢出模式、电子放大模式、超分辨率模式等的一者或多者。具体包括哪些模式以及各个模式下的具体参数均可以由医生通过预设操作指定。
第五类，由于纱布类对象可能会由于失误遗留在患者体内，因此，在感兴趣区域中出现的对象为纱布类对象时，图像处理模式包括伪色高亮模式，伪色高亮模式用于对感兴趣区域中出现的对象进行伪色显示处理。伪色高亮模式可以确定出纱布的精确位置信息，结合该信息，图像处理单元能够将纱布区域以伪色的形式进行高亮显示，显著提高其辨识度，避免遗漏在患者体内。
此外，对器械类对象所在的感兴趣区域进行处理时，不仅限于高亮抑制模式，还可以包括图像降噪模式、锐化模式、对比度增强模式、去雾模式、多光谱显像模式、高亮抑制模式、防红溢出模式、电子放大模式、超分辨率模式等的一者或多者。具体包括哪些模式可以由医生通过预设操作指定。
第六类，由于烟雾类对象的烟雾浓度可能会对手术操作产生影响，因此，在感兴趣区域中出现的对象为烟雾类对象时，图像处理模式包括去雾处理模式，去雾处理模式用于对感兴趣区域中出现的烟雾类对象进行去雾处理。去雾处理模式可以去除掉烟雾的浓度，使医生更准确的对患者进行手术操作。
此外，对烟雾类对象所在的感兴趣区域进行处理时，不仅限于高亮抑制模式，还可以包括图像降噪模式、锐化模式、对比度增强模式、多光谱显像模式、高亮抑制模式、防红溢出模式、电子放大模式、超分辨率模式等的一者或多者。具体包括哪些模式以及各个模式下的具体参数均可以由医生通过预设操作指定。
在另一种可能的实现方式中，上述基于感兴趣区域中出现的对象，确定图像处理模式的实现方式为：基于第三映射关系，确定图像处理模式，第三映射关系指示对象和图像处理模式之间的对应关系。
上述基于第三映射关系，确定图像处理模式的实现方式为：终端中存储有第三映射关系，终端根据感兴趣区域中出现的对象在第三映射关系中查找与该对象对应的图像处理模式。其中，第三映射关系为人工确定，并输入的。
如表3所示，表3为第三映射关系，也就是对象和图像处理模式之间的对应关系。在表3中，感兴趣区域包括炎症、肿瘤等对象可以采用电子放大模式进行处理，感兴趣区域包括咽喉、鼻窦、黏膜皮层等对象可以采用多光谱成像模式进行处理，感兴趣区域包括食道、十二指肠、尿道等对象可以采用对比度增强模式和高亮抑制模式进行处理，感兴趣区域包括手术钳、电手术刀或器械头部等对象可以采用高亮抑制模式进行处理，感兴趣区域包括纱布等对象可以采用伪色高亮模式进行处理，感兴趣区域包括烟雾等对象可以采用去雾处理模式进行处理。
表3：
步骤603：终端基于图像处理模式对感兴趣区域进行处理。
基于步骤602，不同的对象可能对应着不同的图像处理模式，因此，终端基于图像处理模式对感兴趣区域进行处理的方式也不同。
基于步骤602中的第一类，在感兴趣区域中出现的对象为病灶区域类对象时，图像处理模式包括电子放大模式，电子放大用于感兴趣区域进行放大处理。放大倍率可以是预先设定的，也可根据医生的需求进行配置，并且可以根据具体感兴趣区域的对象预设不同的放大倍率。
具体地，在感兴趣区域中插值多个像素点，插值的像素点分布在原像素点的周围，插值的多个像素点与原像素点合起来，就得到放大后的感兴趣区域。在感兴趣区域中插值多个像素点可以通过最近邻插值、双线性插值、双三次插值、样条插值等方式来实现，本申请实施例对此不作限定。
基于步骤602中的第二类，在感兴趣区域中出现的对象为微血管类对象时，图像处理模式包括多光谱成像模式。
多光谱成像模式用于对感兴趣区域的红、绿、蓝三种通道的波段进行增强处理。具体地，针对感兴趣区域中出现的对象，预设多种多光谱波长的组合方式，根据前述校正矩阵对感兴趣区域的红、绿、蓝三种通道的波段进行增强处理。
基于步骤602中的第三类，在感兴趣区域中出现的对象为肠/道类对象时，图像处理模式包括对比度增强模式和高亮抑制模式。
对比度增强模式用于对感兴趣区域进行对比度增强处理。在一种可能的实现方式中，可以利用直方图均衡化来进行对比度增强处理。具体地，构建感兴趣区域的像素点个数与像素点灰度对应的直方图，直方图中横坐标为像素点的灰度值，纵坐标为灰度值对应的像素点的个数。将灰度值集中的范围称为灰度级。将感兴趣区域的灰度级的范围放大，也就是将横坐标中灰度值集中的地方拉宽，从而实现增加图像的对比度。
可选地，对比度增强模式还可以使用Retinex(一种图像增强方法)增强、梯度域对比度增强等方法来实现，在此并不加以限定。
高亮抑制模式用于对感兴趣区域中的高亮部分的亮度进行抑制处理。具体地，高亮抑制模式可以采用全局动态范围压缩或局部动态范围压缩技术，在保证感兴趣区域中整体对比度的同时抑制感兴趣区域的高亮部分。高亮抑制模式还可以通过曲线映射方法对感兴趣区域中的高亮区域进行抑制，然后将映射后的感兴趣区域与目标图像加权，得到处理后的感兴趣区域。高亮抑制的曲线映射方法可以是是基于待进行高亮抑制处理的图像的全局信息，也可以是基于待进行高亮抑制处理的图像的局部信息。
如图9所示，图9是本申请实时例提供的一种高亮抑制曲线映射图。在图9中，在不进行高亮抑制的情况下，输入亮度和输出亮度成正比，也即是图9中的45度的虚线，此时，输出亮度与输入亮度相等。在进行高亮抑制时，输入亮度和输出亮度的关系为图9中的实线，当图像的输入亮度大于m时，显然输出的图像的亮度会小于输入亮度，达到对感兴趣区域中亮度较高部分的亮度进行抑制的效果，也即是实现高亮抑制效果。
基于步骤602中的第四类，在感兴趣区域中出现的对象为器械类对象时，图像处理模式包括高亮抑制模式。高亮抑制模式与第三类的高亮抑制模式相同，在此不再赘述。
基于步骤602中的第五类，在感兴趣区域中出现的对象为纱布类对象时，图像处理模式包括伪色高亮模式。伪色高亮模式用于对感兴趣区域中出现的对象进行伪色显示处理。具体地，基于对象的位置信息，将感兴趣区域中出现的对象重新着色为预设的颜色，以达到高亮显示的目的。如图10所示，图10是本申请实施例提供的一种实现伪色高亮显示图，在图10中，利用感兴趣区域中出现的对象和对象的位置信息，对感兴趣区域的像素的重新着色，得到伪色高亮的感兴趣区域。
基于步骤602中的第六类，在感兴趣区域中出现的对象为烟雾类对象时，图像处理模式包括去雾处理模式，去雾处理模式用于对感兴趣区域中出现的烟雾类对象进行去雾处理。在一种可能的实现方式中，可以确定感兴趣区域中出现的烟雾类对象的浓度；如果烟雾类对象的浓度超过浓度阈值，则增大对感兴趣区域进行去雾处理的程度；如果烟雾类对象的浓度低于浓度阈值，则减少对感兴趣区域进行去雾处理的程度。
具体地，先对感兴趣区域中每个像素点的红、绿、蓝三个通道的值都除以A值(全球达气光值)，即将红、绿、蓝三个通道的值进行归一化，再取三个通道的最小值，得到暗通道图像。对暗通道图像利用指定滤波窗口进行滤波处理，得到透射率图像，该透射率图为去雾之后的图像。其中，滤波窗口大小根据具体情况选取。如果烟雾类对象的浓度超过浓度阈值，则选取的滤波窗口越大，也即是，增大对感兴趣区域进行去雾处理的程度。如果烟雾类对象的浓度低于浓度阈值，则选取的滤波窗口越小，也即是，减少对感兴趣区域进行去雾处理的程度。
也即是，在图3所示的图像处理系统中，图像处理单元会实时的检测当前感兴趣区域的残留雾气浓度，并将残留雾气浓度信息反馈给控制单元，由控制单元根据预设的目标雾气浓度值判断是否需要进一步增强或降低去雾的强度。去雾处理模式可使用基于暗通道的图像去雾方法实现。
此外，在步骤602中，图像降噪模式为对感兴趣区域中噪点进行去除，其中，图像降噪模式可以通过均值滤波、高斯滤波、双边滤波、导向滤波、小波降噪等方法实现。
图像锐化模式为将感兴趣区域中像素值突变的边缘，进行削减。其中，图像锐化模式可以通过微分锐化、反掩模锐化等方法实现。
超分辨率模式可以基于深度学习的算法实现，比如可选择如SRCNN(superresolution convolutional neural network，超分辨率卷积神经网络)、ESPCN(efficientsub-pixel convolutional neural network，高效的高分辨率卷积神经网络)、VDSR(VeryDeep network for Super-Resolution，超高分辨率的深层网络)、SRGAN(photo-realisticsingle image super-resolution using a generative adversarial network，生成对抗网络对低分辨率单一图像进行超分辨率)、EDSR(enhanced deep residual networks forsingle image super-resolution，单一图像超分辨率的增强型深度残差网络)等超分辨率网络结构。
防红溢出功能是通过抑制输入图像中红色通道的强度响应，以达到抑制出血场景中红色容易溢出的问题。如图11所示，图11是本申请实施例提供的一种防红溢出曲线映射图。在图11中，横坐标表示输入图像红色通道响应，纵坐标表示输出图像红色通道响应。在不对感兴趣区域进行防红溢出处理的时候，输入图像红色通道响应和输出图像红色通道响应成正比，也即是图11中45度的虚线，此时，输出图像红色通道响应等于输入图像红色通道响应。当进行防红溢出处理的时候，输入图像红色通道响应和输出图像红色通道响应为图9中的实线，当输入图像红色通道响应为p时，对应的输出图像红色通道响应为p，此时输出图像红色通道响应小于输入图像红色通道响应，达到防红溢出效果。防红溢出的曲线映射方法可以是基于待进行防红溢出处理的图像的全局信息，也可以是基于待进行防红溢出处理的图像的局部信息。
步骤604：终端显示处理后的感兴趣区域。
当目标图像为内窥镜采集的图像时，为了使医生可以观测到感兴趣区域，因此需要将处理后的感兴趣区域显示在终端上。
在一种可能的实现方式中，上述终端显示处理后的感兴趣区域的方式为：在显示界面的主画面区域中显示目标图像，在显示界面的辅画面区域中显示处理后的感兴趣区域，辅画面区域和主画面区域叠加在一起。其中，辅画面为一个或者多个。这样能够在保留目标图像的同时，为医生提供更加丰富、全面的诊断信息。
如图12所示，图12本申请实施例提供的一种显示界面显示示意图。在图13中，有一个主画面，和三个辅画面。
上述辅画面区域和主画面区域叠加在一起的实现方式为：感兴趣区域通过图像处理模式进行处理后，主画面检测到感兴趣区域处理完成，然后获取目标图像，保证输入到画面叠加模块的目标图像与感兴趣区域属于同一帧视频画面，画面叠加模块将感兴趣区域所在的辅画面嵌入到主画面中，实现叠加。这样能够进一步满足医疗场景对系统精准度的更高要求。
如图13所示，图13是本申请实施例提供的一种画中画原理流程图。首先将图像数据输入DDR(double data rate，双倍速率)内存进行缓存，然后根据识别模型输出的感兴趣区域位置信息，从DDR内存中获取感兴趣区域，经过降噪模式、锐化模式、电子放大模式、对比度增强模式、多光谱显像模式等图像处理模式进行处理后，获得处理后的感兴趣区域，处理后的感兴趣区域也称为辅画面的数据流。主画面依据处理后的辅画面数据流从DDR内存中获取目标图像，目标图像也称为主画面数据流。通过控制时序保证输入到画面叠加模块的目标图像与感兴趣区域属于同一帧视频画面，画面叠加模块将感兴趣区域所在的辅画面嵌入到主画面中，实现叠加，最后将数据传输至显示设备的显示界面进行显示。
此外，当显示界面上包括多个辅画面区域时，多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
其中，当多个辅画面显示针对同一感兴趣区域通过不同图像处理模式后处理的图像时，预先设置不同图像处理模式后处理的图像的优先级，根据优先级从高到低的顺序依次将不同图像处理模式后处理的图像显示在辅画面中。当多个辅画面显示不同的感兴趣区域时，预先设置不同的感兴趣区域的优先级，根据优先级从高到低的顺序依次将不同的感兴趣区域显示在辅画面中。
如图14所示，图14是本申请实施例提供的一种显示画面示意图。在图中，感兴趣区域为星状所在的区域，在三个辅画面位置，分别显示了对星状所在的区域利用不同图像处理模式处理后的图像。
如图15所示，图15是本申请实施例提供的另一种显示画面示意图。在图中，有三个感兴趣区域，三个感兴趣区域分别为星状所在的区域、直角三角形所在的区域、等腰三角形所在的区域。在三个辅画面位置，分别显示了对星状所在的区域处理后的图像，对直角三角形所在的区域处理后的图像，对等腰三角形所在的区域处理后的图像。
在另一种可能实现的方式中，上述终端显示处理后的感兴趣区域的方式为：在显示界面的主画面区域中显示处理后的感兴趣区域。此时，不显示目标图像。
综上所述，在本申请实施例中，通过不同的图像处理模式对不同的对象对应的感兴趣区域进行处理，并对处理后的感兴趣区域进行显示。由于不同的对象中存在至少两个对象对应着不同的图像处理模式，因此，对每个对象对应的感兴趣区域进行处理的时候，都是有针对性的进行处理。因此，当目标图像为内窥镜采集的图像时，针对不同场景下获取的不同感兴趣区域，便可按照前述方式进行不同的图像处理。在内窥镜场景中，使得显示的感兴趣区域可以达到医生所希望的最佳显示效果，这样有利于医生对感兴趣区域进行详细观测，进而对患者的病情进行准确判断，或者在手术过程中，医生可以更精准的进行操作。
上述所有可选技术方案，均可按照任意结合形成本申请的可选实施例，本申请实施例对此不再一一赘述。
图16是本申请实施例提供的一种图像处理装置的结构示意图，该图像处理装置可以由软件、硬件或者两者的结合实现。该图像处理装置1600可以包括：获取模块1601，确定模块1602，处理模块1603，显示模块1604。
获取模块，用于获取目标图像的感兴趣区域中出现的对象；
确定模块，用于基于感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式；
处理模块，用于基于图像处理模式对感兴趣区域进行处理；
显示模块，用于显示处理后的感兴趣区域。
可选地，确定模块，包括：
第一确定单元，用于基于第一映射关系，确定感兴趣区域中出现的对象的类别，基于第二映射关系，确定图像处理模式，第一映射关系指示对象和类别之间的对应关系，第二映射关系指示对象类别和图像处理模式之间的对应关系；或者，基于第三映射关系，确定图像处理模式，第三映射关系指示对象和图像处理模式之间的对应关系。
可选地，在感兴趣区域中出现的对象为病灶区域类对象时，图像处理模式包括电子放大模式，所电子放大处理模式用于感兴趣区域进行放大处理；或者，
在感兴趣区域中出现的对象为微血管类时，图像处理模式包括多光谱成像模式，多光谱成像模式用于对感兴趣区域中不同波段进行增强处理；或者，
在感兴趣区域中出现的对象为肠/道类对象时，图像处理模式包括对比度增强模式和高亮抑制模式，对比度增强模式用于对感兴趣区域进行对比度增强处理，高亮抑制模式用于对感兴趣区域中的高亮部分的亮度进行抑制处理；或者，
在感兴趣区域中出现的对象为器械类对象时，图像处理模式包括高亮抑制模式；或者，
在感兴趣区域中出现的对象为纱布类对象时，图像处理模式包括伪色高亮模式，伪色高亮模式用于对感兴趣区域中出现的对象进行伪色显示处理；或者，
在感兴趣区域中出现的对象为烟雾类对象时，图像处理模式包括去雾处理模式，去雾处理模式用于对所述感兴趣区域中出现的烟雾类对象进行去雾处理。
可选地，在感兴趣区域中出现的对象为烟雾类对象时，处理模块包括：
第二确定单元，用于确定感兴趣区域中出现的烟雾类对象的浓度；
第一判断单元，用于如果烟雾类对象的浓度超过浓度阈值，则增大对感兴趣区域进行去雾处理的程度；
如果烟雾类对象的浓度低于浓度阈值，则减少对感兴趣区域进行去雾处理的程度。
可选地，确定模块还包括：
第一识别单元，用于基于深度学习模型识别目标图像中出现的对象、以及对象的位置信息；
第三确定单元，用于基于对象的位置信息确定感兴趣区域，感兴趣区域包括深度学习模型识别出的至少一个对象。
可选地，基于深度学习模型识别目标图像中出现的对象的数量为多个；
第三确定单元用于：
确定多个对象中每个对象的优先级；
基于多个对象中各个对象的优先级，从多个对象中选择目标对象；
基于目标对象的位置信息确定感兴趣区域。
可选地，确定模块还包括：
第四确定单元，用于基于指定的区域位置信息，确定感兴趣区域；
第二识别单元，用于基于深度学习模型识别感兴趣区域中出现的对象。
可选地，显示模块包括：
显示单元，用于在显示界面的主画面区域中显示目标图像；
所述显示单元，用于在显示界面的辅画面区域中显示处理后的感兴趣区域，辅画面区域和主画面区域叠加在一起。
可选地，显示界面上包括多个辅画面区域；
多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
综上所述，在本申请实施例中，通过不同的图像处理模式对不同的对象对应的感兴趣区域进行处理，并对处理后的感兴趣区域进行显示。由于不同的对象中存在至少两个对象对应着不同的图像处理模式，因此，对每个对象对应的感兴趣区域进行处理的时候，都是有针对性的进行处理。因此，当目标图像为内窥镜采集的图像时，针对不同场景下获取的不同感兴趣区域，便可按照前述方式进行不同的图像处理。在内窥镜场景中，使得显示的感兴趣区域可以达到医生所希望的最佳显示效果，这样有利于医生对感兴趣区域进行详细观测，进而对患者的病情进行准确判断，或者在手术过程中，医生可以更精准的进行操作。
需要说明的是：上述实施例提供的图像处理装置在进行图像处理时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图17是本申请实施例提供的一种终端1700的结构框图。该终端1700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1700包括有：处理器1701和存储器1702。
处理器1701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1701可以集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1701所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端1700还可选包括有：外围设备接口1703和至少一个外围设备。处理器1701、存储器1702和外围设备接口1703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1703相连。具体地，外围设备包括：射频电路1704、显示屏1705、摄像头组件1706、音频电路1707、定位组件1708和电源1709中的至少一种。
外围设备接口1703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1701和存储器1702。在一些实施例中，处理器1701、存储器1702和外围设备接口1703被集成在同一芯片或电路板上；在一些其他实施例中，处理器1701、存储器1702和外围设备接口1703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1705是触摸显示屏时，显示屏1705还具有采集在显示屏1705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1701进行处理。此时，显示屏1705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1705可以为一个，设置终端1700的前面板；在另一些实施例中，显示屏1705可以为至少两个，分别设置在终端1700的不同表面或呈折叠设计；在另一些实施例中，显示屏1705可以是柔性显示屏，设置在终端1700的弯曲表面上或折叠面上。甚至，显示屏1705还可以设置成非矩形的不规则图形，也即异形屏。显示屏1705可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1706用于采集图像或视频。可选地，摄像头组件1706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1701进行处理，或者输入至射频电路1704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1701或射频电路1704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1707还可以包括耳机插孔。
定位组件1708用于定位终端1700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1709用于为终端1700中的各个组件进行供电。电源1709可以是交流电、直流电、一次性电池或可充电电池。当电源1709包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1700还包括有一个或多个传感器1710。该一个或多个传感器1710包括但不限于：加速度传感器1711、陀螺仪传感器1712、压力传感器1713、指纹传感器1714、光学传感器1715以及接近传感器1716。
加速度传感器1711可以检测以终端1700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1711可以用于检测重力加速度在三个坐标轴上的分量。处理器1701可以根据加速度传感器1711采集的重力加速度信号，控制显示屏1705以横向视图或纵向视图进行用户界面的显示。加速度传感器1711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器1712可以检测终端1700的机体方向及转动角度，陀螺仪传感器1712可以与加速度传感器1711协同采集用户对终端1700的3D动作。处理器1701根据陀螺仪传感器1712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1713可以设置在终端1700的侧边框和/或显示屏1705的下层。当压力传感器1713设置在终端1700的侧边框时，可以检测用户对终端1700的握持信号，由处理器1701根据压力传感器1713采集的握持信号进行左右手识别或快捷操作。当压力传感器1713设置在显示屏1705的下层时，由处理器1701根据用户对显示屏1705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1714用于采集用户的指纹，由处理器1701根据指纹传感器1714采集到的指纹识别用户的身份，或者，由指纹传感器1714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1714可以被设置终端1700的正面、背面或侧面。当终端1700上设置有物理按键或厂商Logo时，指纹传感器1714可以与物理按键或厂商Logo集成在一起。
光学传感器1715用于采集环境光强度。在一个实施例中，处理器1701可以根据光学传感器1715采集的环境光强度，控制显示屏1705的显示亮度。具体地，当环境光强度较高时，调高显示屏1705的显示亮度；当环境光强度较低时，调低显示屏1705的显示亮度。在另一个实施例中，处理器1701还可以根据光学传感器1715采集的环境光强度，动态调整摄像头组件1706的拍摄参数。
接近传感器1716，也称距离传感器，通常设置在终端1700的前面板。接近传感器1716用于采集用户与终端1700的正面之间的距离。在一个实施例中，当接近传感器1716检测到用户与终端1700的正面之间的距离逐渐变小时，由处理器1701控制显示屏1705从亮屏状态切换为息屏状态；当接近传感器1716检测到用户与终端1700的正面之间的距离逐渐变大时，由处理器1701控制显示屏1705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图17中示出的结构并不构成对终端1700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行上实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在终端上运行时，使得终端执行上述实施例提供的图像处理方法。
图18是本申请实施例提供的一种服务器结构示意图。该服务器可以是后台服务器集群中的服务器。具体来讲：
服务器1800包括中央处理单元(CPU)1801、包括随机存取存储器(RAM)1802和只读存储器(ROM)1803的系统存储器1804，以及连接系统存储器1804和中央处理单元1801的系统总线1805。服务器1800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1806，和用于存储操作系统1813、应用程序1814和其他程序模块1815的大容量存储设备1807。
基本输入/输出系统1806包括有用于显示信息的显示器1808和用于用户输入信息的诸如鼠标、键盘之类的输入设备1809。其中显示器1808和输入设备1809都通过连接到系统总线1805的输入输出控制器1810连接到中央处理单元1801。基本输入/输出系统1806还可以包括输入输出控制器1810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1810还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1807通过连接到系统总线1805的大容量存储控制器(未示出)连接到中央处理单元1801。大容量存储设备1807及其相关联的计算机可读介质为服务器1800提供非易失性存储。也就是说，大容量存储设备1807可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM、EEPROM、闪存或其他固态存储其技术，CD-ROM、DVD或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1804和大容量存储设备1807可以统称为存储器。
根据本申请的各种实施例，服务器1800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1800可以通过连接在系统总线1805上的网络接口单元1811连接到网络1812，或者说，也可以使用网络接口单元1811来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由CPU执行。所述一个或者一个以上程序包含用于进行本申请实施例提供的图像处理方法的指令。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行上述实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在服务器上运行时，使得服务器执行上述实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (12)
1.一种图像处理方法，其特征在于，所述方法包括：
获取目标图像的感兴趣区域中出现的对象；
基于所述感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式；
基于所述图像处理模式对所述感兴趣区域进行处理；
显示处理后的所述感兴趣区域。
2.如权利要求1所述的方法，其特征在于，基于所述感兴趣区域中出现的对象，确定图像处理模式，包括：
基于第一映射关系，确定所述感兴趣区域中出现的对象的类别，基于第二映射关系，确定所述图像处理模式，所述第一映射关系指示对象和类别之间的对应关系，所述第二映射关系指示对象类别和图像处理模式之间的对应关系；或者，
基于第三映射关系，确定所述图像处理模式，所述第三映射关系指示对象和图像处理模式之间的对应关系。
3.如权利要求2所述的方法，其特征在于，
在所述感兴趣区域中出现的对象为病灶区域类对象时，所述图像处理模式包括电子放大模式，所述电子放大处理模式用于所述感兴趣区域进行放大处理；或者，
在所述感兴趣区域中出现的对象为微血管类对象时，所述图像处理模式包括多光谱成像模式，所述多光谱成像模式用于对所述感兴趣区域中不同波段进行增强处理；或者，
在所述感兴趣区域中出现的对象为肠/道类对象时，所述图像处理模式包括对比度增强模式和高亮抑制模式，所述对比度增强模式用于对所述感兴趣区域进行对比度增强处理，所述高亮抑制模式用于对所述感兴趣区域中的高亮部分的亮度进行抑制处理；或者，
在所述感兴趣区域中出现的对象为器械类对象时，所述图像处理模式包括高亮抑制模式；或者，
在所述感兴趣区域中出现的对象为纱布类对象时，所述图像处理模式包括伪色高亮模式，所述伪色高亮模式用于对所述感兴趣区域中出现的对象进行伪色显示处理；或者，
在所述感兴趣区域中出现的对象为烟雾类对象时，所述图像处理模式包括去雾处理模式，所述去雾处理模式用于对所述感兴趣区域中出现的烟雾类对象进行去雾处理。
4.如权利要求3所述的方法，其特征在于，在所述感兴趣区域中出现的对象为烟雾类对象时，所述基于所述图像处理模式对所述感兴趣区域进行处理，包括：
确定所述感兴趣区域中出现的烟雾类对象的浓度；
如果所述烟雾类对象的浓度超过浓度阈值，则增大对所述感兴趣区域进行去雾处理的程度；
如果所述烟雾类对象的浓度低于浓度阈值，则减少对所述感兴趣区域进行去雾处理的程度。
5.如权利要求1所述的方法，其特征在于，所述获取目标图像的感兴趣区域中出现的对象，包括：
基于深度学习模型识别所述目标图像中出现的对象、以及所述对象的位置信息；
基于所述对象的位置信息确定所述感兴趣区域，所述感兴趣区域包括所述深度学习模型识别出的至少一个对象。
6.如权利要求5所述的方法，其特征在于，基于所述深度学习模型识别所述目标图像中出现的对象的数量为多个；
所述基于所述对象的位置信息确定所述感兴趣区域，包括：
确定多个对象中每个对象的优先级；
基于所述多个对象中各个对象的优先级，从所述多个对象中选择目标对象；
基于所述目标对象的位置信息确定所述感兴趣区域。
7.如权利要求1所述的方法，其特征在于，所述获取目标图像中的感兴趣区域中出现的对象，包括：
基于指定的区域位置信息，确定所述感兴趣区域；
基于深度学习模型识别所述感兴趣区域中出现的对象。
8.如权利要求1所述的方法，其特征在于，所述显示处理后的所述感兴趣区域，包括：
在显示界面的主画面区域中显示所述目标图像；
在所述显示界面的辅画面区域中显示处理后的所述感兴趣区域，所述辅画面区域和所述主画面区域叠加在一起。
9.如权利要求1所述的方法，其特征在于，所述显示界面上包括多个辅画面区域；
所述多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
10.一种图像处理装置，其特征在于，所述装置包括：
获取模块，用于获取目标图像的感兴趣区域中出现的对象；
确定模块，用于基于所述感兴趣区域中出现的对象，确定图像处理模式，不同的对象中存在至少两个对象对应着不同的图像处理模式；
处理模块，用于基于所述图像处理模式对所述感兴趣区域进行处理；
显示模块，用于显示处理后的所述感兴趣区域。
11.如权利要求10所述的装置，其特征在于，所述确定模块，包括：
第一确定单元，用于基于第一映射关系，确定所述感兴趣区域中出现的对象的类别，基于第二映射关系，确定所述图像处理模式，所述第一映射关系指示对象和类别之间的对应关系，所述第二映射关系指示对象类别和图像处理模式之间的对应关系；或者，基于第三映射关系，确定所述图像处理模式，所述第三映射关系指示对象和图像处理模式之间的对应关系；
其中，在所述感兴趣区域中出现的对象为病灶区域类对象时，所述图像处理模式包括电子放大模式，所述电子放大处理模式用于所述感兴趣区域进行放大处理；或者，
在所述感兴趣区域中出现的对象为微血管类对象时，所述图像处理模式包括多光谱成像模式，所述多光谱成像模式用于对所述感兴趣区域中不同波段进行增强处理；或者，
在所述感兴趣区域中出现的对象为肠/道类对象时，所述图像处理模式包括对比度增强模式和高亮抑制模式，所述对比度增强模式用于对所述感兴趣区域进行对比度增强处理，所述高亮抑制模式用于对所述感兴趣区域中的高亮部分的亮度进行抑制处理；或者，
在所述感兴趣区域中出现的对象为器械类对象时，所述图像处理模式包括高亮抑制模式；或者，
在所述感兴趣区域中出现的对象为纱布类对象时，所述图像处理模式包括伪色高亮模式，所述伪色高亮模式用于对所述感兴趣区域中出现的对象进行伪色显示处理；或者，
在所述感兴趣区域中出现的对象为烟雾类对象时，所述图像处理模式包括去雾处理模式，所述去雾处理模式用于对所述感兴趣区域中出现的烟雾类对象进行去雾处理；
其中，在所述感兴趣区域中出现的对象为烟雾类对象时，所述处理模块包括：
第二确定单元，用于确定所述感兴趣区域中出现的烟雾类对象的浓度；
第一判断单元，用于如果所述烟雾类对象的浓度超过浓度阈值，则增大对所述感兴趣区域进行去雾处理的程度；
如果所述烟雾类对象的浓度低于浓度阈值，则减少对所述感兴趣区域进行去雾处理的程度；
其中，所述确定模块还包括：
第一识别单元，用于基于深度学习模型识别所述目标图像中出现的对象、以及所述对象的位置信息；
第三确定单元，用于基于所述对象的位置信息确定所述感兴趣区域，所述感兴趣区域包括所述深度学习模型识别出的至少一个对象；
其中，基于所述深度学习模型识别所述目标图像中出现的对象的数量为多个；
所述第三确定单元用于：
确定多个对象中每个对象的优先级；
基于所述多个对象中各个对象的优先级，从所述多个对象中选择目标对象；
基于所述目标对象的位置信息确定所述感兴趣区域；
其中，所述确定模块包括：
第四确定单元，用于基于指定的区域位置信息，确定所述感兴趣区域；
第二识别单元，用于基于深度学习模型识别所述感兴趣区域中出现的对象；
其中，所述显示模块包括：
显示单元，用于在显示界面的主画面区域中显示所述目标图像；
所述显示单元，用于在所述显示界面的辅画面区域中显示处理后的所述感兴趣区域，所述辅画面区域和所述主画面区域叠加在一起；
其中，所述显示界面上包括多个辅画面区域；
所述多个辅画面区域用于显示针对同一感兴趣区域通过不同图像处理模式后处理的图像，或者，用于显示不同的感兴趣区域处理后的图像。
12.一种计算机装置，其特征在于，所述装置包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行上述权利要求1至权利要求9中的任一项权利要求所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624582.2A CN114693593A (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、及计算机装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011624582.2A CN114693593A (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、及计算机装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114693593A true CN114693593A (zh) | 2022-07-01 |
Family
ID=82133526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011624582.2A Pending CN114693593A (zh) | 2020-12-31 | 2020-12-31 | 图像处理方法、装置、及计算机装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114693593A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272130A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 基于多光谱级联归一化的图像去摩尔纹系统及方法 |
| CN117456000A (zh) * | 2023-12-20 | 2024-01-26 | 杭州海康慧影科技有限公司 | 一种内窥镜的对焦方法、装置、存储介质和电子设备 |
| WO2024044936A1 (en) * | 2022-08-30 | 2024-03-07 | Qualcomm Incorporated | Composition for layer roi processing |
| CN117788468A (zh) * | 2024-02-26 | 2024-03-29 | 江西福松和安医疗科技有限公司 | 喉部图像处理方法、系统、喉镜、可调节气道建立装置 |
-
2020
- 2020-12-31 CN CN202011624582.2A patent/CN114693593A/zh active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115272130A (zh) * | 2022-08-22 | 2022-11-01 | 苏州大学 | 基于多光谱级联归一化的图像去摩尔纹系统及方法 |
| WO2024044936A1 (en) * | 2022-08-30 | 2024-03-07 | Qualcomm Incorporated | Composition for layer roi processing |
| CN117456000A (zh) * | 2023-12-20 | 2024-01-26 | 杭州海康慧影科技有限公司 | 一种内窥镜的对焦方法、装置、存储介质和电子设备 |
| CN117456000B (zh) * | 2023-12-20 | 2024-03-29 | 杭州海康慧影科技有限公司 | 一种内窥镜的对焦方法、装置、存储介质和电子设备 |
| CN117788468A (zh) * | 2024-02-26 | 2024-03-29 | 江西福松和安医疗科技有限公司 | 喉部图像处理方法、系统、喉镜、可调节气道建立装置 |
| CN117788468B (zh) * | 2024-02-26 | 2024-04-30 | 江西福松和安医疗科技有限公司 | 喉部图像处理方法、系统、喉镜、可调节气道建立装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110458127B (zh) | 图像处理方法、装置、设备以及系统 | |
| US11969145B2 (en) | Medical endoscope image recognition method and system, and endoscopic imaging system | |
| CN114693593A (zh) | 图像处理方法、装置、及计算机装置 | |
| US11245843B2 (en) | Imaging apparatus and imaging method for improvement of reproduction image quality | |
| US7634305B2 (en) | Method and apparatus for size analysis in an in vivo imaging system | |
| JP2007124088A (ja) | 画像撮影装置 | |
| CN107889534B (zh) | 用于在解剖手术期间检测手术用纱布的方法和系统 | |
| CN112911165B (zh) | 内窥镜曝光方法、装置及计算机可读存储介质 | |
| US11245849B2 (en) | Information processing apparatus and information processing method | |
| JP2009005020A (ja) | 画像抽出装置および画像抽出プログラム | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| JP2021121348A (ja) | 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム | |
| JPWO2019087790A1 (ja) | 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム | |
| CN112884666A (zh) | 图像处理方法、装置及计算机存储介质 | |
| CN113496475B (zh) | 内窥镜摄像系统中的成像方法、装置及计算机设备 | |
| JP5822545B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
| CN110152293B (zh) | 操控对象的定位方法及装置、游戏对象的定位方法及装置 | |
| CN112906682A (zh) | 控制光源亮度的方法、装置及计算机存储介质 | |
| CN112971688A (zh) | 图像处理方法、装置及计算机设备 | |
| CN113627219A (zh) | 器械检测方法、装置和计算机设备 | |
| CN108304841B (zh) | 乳头定位方法、装置及存储介质 | |
| CN116138714A (zh) | 内窥镜摄像系统的图像显示方法及内窥镜摄像主机、系统 | |
| CN113744266B (zh) | 一种病灶检测框的显示方法、装置、电子设备及存储介质 | |
| CN114913113A (zh) | 进行图像处理的方法、装置及设备 | |
| JPWO2019203006A1 (ja) | 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |