CN114300095A

CN114300095A - 图像处理设备、图像处理方法、装置、设备及存储介质

Info

Publication number: CN114300095A
Application number: CN202111044068.6A
Authority: CN
Inventors: 廖俊; 姚建华
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2021-09-07
Filing date: 2021-09-07
Publication date: 2022-04-08

Abstract

本申请关于一种图像处理设备、图像处理方法、装置、设备及存储介质，涉及增强现实技术领域。图像处理设备包括：图像采集组件、图像处理组件、以及显示组件；图像采集组件用于采集手术中的皮肤部位的第一医学图像，并实时发送给图像处理组件；第一医学图像包含高光谱或多光谱图像(包含红外光谱图像以及可见光谱图像)；图像处理组件用于向显示组件输出第二医学图像；第二医学图像是在可见光谱图像上叠加增强现实AR影像后的图像；AR影像是基于对第一医学图像进行识别得到的图像识别结果生成的。本方案可以提高手术过程中对手术部位的组织进行指导的准确性，进而提高操作人员在手术过程中对组织进行识别的准确性。

Description

图像处理设备、图像处理方法、装置、设备及存储介质

技术领域

本申请涉及增强现实技术领域，特别涉及一种图像处理设备、图像处理方法、装置、设备及存储介质。

背景技术

在外科手术或者教学实验中，医护人员或者实验人员通常会使用医学图像来辅助识别手术部位的血管以及神经等组织。

在相关技术中，医护人员或者实验人员可以预先对手术部位采集医学图像，并通过医学图像确定手术过程中需要注意的组织的位置。在手术过程中，医护人员或者实验人员通过对手术部位进行目视观察，并对照预先采集的医学图像，确定需要切除或者避开的组织，从而更准确的进行手术操作。

然而在手术过程中，手术部位的组织的位置可能发生改变或者被遮挡，在这种情况下，预先采集的医学图像对组织位置的指导效果较差。

发明内容

本申请实施例提供了一种图像处理设备、图像处理方法、装置、设备及存储介质，可以提高手术过程中对手术部位的组织进行指导的准确性，提高手术过程中对组织进行识别的准确性，该技术方案如下。

一方面，提供了一种图像处理设备，所述图像处理设备包括：图像采集组件、图像处理组件、以及显示组件；

所述图像采集组件，用于采集目标人体部位的第一医学图像，并将所述第一医学图像实时发送给所述图像处理组件；所述第一医学图像包含高光谱或多光谱图像；所述目标人体部位是皮肤手术中的皮肤部位；所述高光谱或多光谱图像包括红外光谱图像以及可见光谱图像；

所述图像处理组件，用于向所述显示组件输出第二医学图像；所述第二医学图像是在所述可见光谱图像上叠加增强现实AR影像后的图像；所述AR影像是基于对所述第一医学图像进行识别得到的图像识别结果生成的；

所述显示组件，用于显示所述第二医学图像。

又一方面，提供了一种图像处理方法，所述方法包括：

接收第一医学图像；所述第一医学图像是图像采集组件对目标人体部位进行采集并实时发送的图像；所述第一医学图像包含高光谱或多光谱图像；所述目标人体部位是皮肤手术中的皮肤部位；所述高光谱或多光谱图像包括红外光谱图像以及可见光谱图像；

生成第二医学图像，所述第二医学图像是在所述可见光谱图像上叠加增强现实AR影像后的图像；所述AR影像是基于对所述第一医学图像进行识别得到的图像识别结果生成的；

向显示组件输出所述第二医学图像。

又一方面，提供了一种图像处理装置，所述装置包括：

图像接收模块，用于接收第一医学图像；所述第一医学图像是图像采集组件对目标人体部位进行采集并实时发送的图像；所述第一医学图像包含高光谱或多光谱图像；所述目标人体部位是皮肤手术中的皮肤部位；所述高光谱或多光谱图像包括红外光谱图像以及可见光谱图像；

图像生成模块，用于生成第二医学图像，所述第二医学图像是在所述可见光谱图像上叠加增强现实AR影像后的图像；所述AR影像是基于对所述第一医学图像进行识别得到的图像识别结果生成的；

图像输出模块，用于向显示组件输出所述第二医学图像。

在一种可能的实现方式中，上述图像处理设备还包括开关组件；所述开关组件与所述图像处理组件电性相连；

所述图像输出模块，用于在所述开关组件处于第一开关状态的情况下，向所述显示组件输出所述第二医学图像。

在一种可能的实现方式中，所述图像输出模块，还用于在所述开关组件处于第二开关状态的情况下，向所述显示组件输出所述第一医学图像。

在一种可能的实现方式中，所述开关组件为脚踏式开关。

在一种可能的实现方式中，所述AR影像用于指示所述第一医学图像中的指定类型对象的边缘位置。

再一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如上所述的图像处理方法。

又一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由计算机设备中的处理器加载并执行以实现如上所述的图像处理方法。

又一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图像处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

图像处理设备中设置有图像采集组件、图像处理组件和显示组件，图像采集组件可以采集到包含皮肤手术中的皮肤部位的高光谱或多光谱图像，该高光谱或多光谱图像包括红外光谱图像以及可见光谱图像，其中包含目标人体部位中不同深度的图像信息，通过对该高光谱或多光谱图像识别生成的AR影像，可以结合上述可见光谱图像，对目标人体部位当前的组织进行准确的指示，在应用于皮肤手术场景下时，可以提高手术过程中对皮肤部位的组织进行指导的准确性，进而提高操作人员在皮肤手术过程中对组织进行识别的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

图1是根据一示例性实施例示出的一种图像处理设备的结构示意图；

图2是根据一示例性实施例示出的一种图像处理设备的结构示意图；

图3是图2所示实施例涉及的红外线穿透深度示意图；

图4是图2所示实施例涉及的一种图像处理设备的设备框架图；

图5是图2所示实施例涉及的图像处理流程的示意图；

图6是本申请一示例性实施例提供的图像处理方法的方法流程图；

图7是图6所示实施例涉及的一种图像识别过程示意图；

图8是图6所示实施例涉及的一种图像处理模型训练过程示意图；

图9是图6所示实施例涉及的AR展示示意图；

图10是本申请一示例性实施例提供的图像处理装置的结构图；

图11是根据一示例性实施例示出的一种计算机设备的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种图像处理设备的结构示意图。如图1所示，该图像处理设备包括：图像采集组件101、图像处理组件102、以及显示组件103；

图像采集组件101，用于采集目标人体部位的第一医学图像，并将第一医学图像实时发送给图像处理组件102；第一医学图像包含高光谱或多光谱图像。目标人体部位是皮肤手术中的皮肤部位。

在本申请实施例中，图像采集组件101和图像处理组件102之间可以电性相连。

比如，图像采集组件101和图像处理组件102之间通过数据传输线路相连，图像采集组件101采集到第一医学图像，可以通过数据传输线路将采集到的第一医学图像实时传输给图像处理组件102。

可选的，图像采集组件101和图像处理组件102之间还具有供电电路。例如，图像处理组件102可以通过该供电电路对图像采集组件101进行供电。

其中，高光谱图像是指光谱分辨率在10^-2λ数量级范围内的光谱图像。

多光谱图像是指对应多个光谱带宽的图像。在本申请实施例中，高光谱或多光谱图像包括红外光谱图像以及可见光谱图像。

由于高光谱图像或者多光谱图像具有多个光谱范围/光谱带宽，而不同光谱的光线对于目标人体部位(皮肤部位)的穿透深度不同，因此，通过本申请实施例所示的图像采集组件，可以采集到包含目标人体部位中不同深度的组织的图像信息。

图像处理组件102，用于向显示组件103输出第二医学图像；第二医学图像是在上述可见光谱图像上叠加增强现实AR影像后的图像；AR影像是基于对第一医学图像进行识别得到的图像识别结果生成的。

在本申请实施例中，图像处理组件102可以对图像采集组件101发送过来的图像进行实时的识别处理，并根据图像识别结果生成AR影像，叠加到图像采集组件101发送过来的可见光谱图像上之后，发送给显示组件103进行显示。

显示组件103，用于显示第二医学图像。

综上所述，本申请实施例所示的方案，图像处理设备中设置有图像采集组件、图像处理组件和显示组件，图像采集组件可以采集到皮肤手术中的皮肤部位的高光谱或多光谱图像，该高光谱或多光谱图像包括红外光谱图像以及可见光谱图像，其中包含目标人体部位中不同深度的图像信息，通过对该高光谱或多光谱图像识别生成的AR影像，可以结合上述可见光谱图像，对目标人体部位当前的组织进行准确的指示，在应用于皮肤手术场景下时，可以提高手术过程中对皮肤手术部位的组织进行指导的准确性，进而提高操作人员在皮肤手术过程中对组织进行识别的准确性。

以皮肤外科手术中的皮肤癌切除手术为例，相关技术中，皮肤外科手术医生在进行皮肤癌切除手术时，主要通过人眼观察和术前传统皮肤镜和B超去指导术中的组织切除。

皮肤镜又称皮表透光显微镜，其本质是一种可以放大数十倍的皮肤显微镜。是用来观察皮肤色素性疾患的医疗器材。皮肤镜检查是一种无创的术前在体检查技术，其应用到的光学原理包括可见光照明，光学放大和偏振消反光等。由于可见光(400-700nm)在生物组织穿透性很差(可见深度约1mm)，所以术前皮肤镜检查主要用于观察裸露于体表的组织情况。

皮肤B超是指10MHz以上的高频、甚高频B超。超声频率越高分辨率越高，但是穿透深度越小。B超是一种接触式成像，需要将超声凝胶涂抹在探头上，将探头紧贴皮肤进行B超成像。通过不同探头，皮肤B超可以观察4mm-10mm深度的组织，其深度与分辨率较好的满足了皮肤层次病变的需要。利用超声在皮肤组织内遇不同组分反射差异性大的特点，可以对多种皮肤疾病的组织进行很好的成像。

由于人眼和传统皮肤镜(基于可见光)的观察深度局限于病灶外表面(0～1mm深度)，且由于术中手术切口部分可能会被血液或者其它组织遮挡，导致皮肤镜无法在手术中使用。

而具备深度成像能力的B超(>5mm深度)虽然成像深度足够，但必须要接触手术部位，因此也无法在术中手术切口打开后实时成像。

也就是说，无论是皮肤镜还是皮肤B超成像，非实时成像的局限性会带来一定的误差，通过皮肤镜还是皮肤B超成像进行手术指导时，可能会造成需切除的组织无法完整切除的情况，以及，不需要切除的组织被错误切除的情况。

而本申请上述实施例提出的方案，使用具有较强生物组织穿透力的高光谱/多光谱成像技术实时采集目标人体部位的图像，并通过人工智能(Artificial Intelligence，AI)算法从丰富的高光谱/多光谱图像数据中精确识别需要的信息(比如特定生物组织的边缘)，并基于识别结果，运用增强现实(Augmented Reality，AR)技术对手术进行可视化指导，辅助医务人员突破肉眼观察局限轻松识别深层组织及其轮廓，提高操作人员在手术过程中对组织进行识别的准确性，进而可以避免手术多切或少切，提高手术成功率。

增强现实技术也被称为扩增现实，增强现实技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。真实环境和虚拟物体之间重叠之后，能够在同一个画面以及空间中同时存在。

AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、三维技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。

随着人工智能技术研究和进步，人工智能技术在智能医疗领域展开研究和应用，而本申请后续各个实施例提供的方案涉及人工智能的计算机视觉以及机器学习等技术，通过人工智能和增强现实AR相结合的方式实现外科手术中的实时医疗辅助。

图2是根据一示例性实施例示出的一种图像处理设备的结构示意图。如图2所示，该图像处理设备包括：图像采集组件101、图像处理组件102、以及显示组件103；

在本申请实施例中，图像采集组件101可以独立设置安装，比如，由医疗人员在进行手术之前，调整图像采集组件101的位置以及拍摄方向，使得图像采集组件101可以准确采集到目标人体部位的图像。

在另一种可能的实现方式中，图像采集组件101集成在显微镜中。

在本申请实施例中，当图像采集组件101需要采集的第一医学图像是显微图像时，比如，图像处理设备的使用场景是显微手术场景时，图像采集组件101也可以集成在显微镜中，即图像采集组件101采集的是显微镜视野下的医学图像。

在一种示例性的方案中，图像采集组件101可以设置在显微镜的目镜位置，也就是说，图像采集组件101的镜头对准显微镜的目镜。这种情况下，图像采集组件101占据显微镜的目镜。

另一种示例性的方案中，图像采集组件101也可以设置在显微镜的目镜之外的旁路上。比如，在显微镜的目镜和目标人体部位之间设置一个分束器，从目标人体部位发出的光线经过分束器，一部分进入显微镜的目镜，另一部进入图像采集组件101的镜头。这种方案下，图像采集组件101不会占据显微镜的目镜，也就是说，在图像采集组件采集目标人体部位的第一医疗图像的同时，医疗人员也可以通过显微镜的目镜直接观察显微镜视野下的目标人体部位。

图像处理组件102，用于向显示组件103输出第二医学图像；第二医学图像是在第一医学图像上叠加增强现实AR影像后的图像；AR影像是基于对第一医学图像进行识别得到的图像识别结果生成的。

在本申请实施例中，图像处理组件102可以对图像采集组件101发送过来的图像进行实时的识别处理，并根据图像识别结果生成AR影像，叠加到图像采集组件101发送过来的图像上之后，发送给显示组件103进行显示。

显示组件103，用于显示第二医学图像。

在一种可能的实现方式中，AR影像用于指示第一医学图像中的指定类型对象的边缘位置。

其中，上述指定类型对象可以包括血管、神经、正常组织、非正常组织等等。

在本申请实施例中，图像处理组件102可以通过预先训练好的图像处理模型，对图像采集组件101发送过来的高光谱/多光谱图像进行实时的识别处理，以识别高光谱/多光谱图像中的指定类型对象的边缘位置(该过程也称为图像分割)。由于图像采集组件101采集的图像是高光谱/多光谱图像，其中包含了目标人体部位中不同深度的图像信息，因此，通过本申请实施例所示的方案，图像处理组件102可以结合丰富的多深度的图像信息来识别第一医学图像中的指定类型对象的边缘位置，能够极大的提高医学图像中的指定组织边缘识别的准确性，比如，能够更准确的识别出第一医学图像中的病灶边缘。图像处理组件102基于识别结果生成AR影像并叠加在第一医学图像上之后，可以生成第二医学图像，该第二医学图像可以准确的指示出目标人体部位当前的指定类型对象的位置，从而为医疗人员的手术提供更加准确的指导。

如图2所示，在本申请实施例中，上述图像处理设备还包括光源组件104；

其中，该光源组件104包含光源以及第一偏振片；第一偏振片设置在光源的前方；

图像采集组件101包含第二偏振片101a；第二偏振片101a设置在图像采集组件101的镜头的前方；

第一偏振片的偏振方向与第二偏振片101a的偏振方向垂直。

在本申请实施例中，光源组件104用于对目标人体部位进行补光，以提高图像采集组件101采集到的第一医学图像的图像质量。

由于光源发出的光线照射到目标人体部位之后，一部分会发生镜面反射，另一部分会发生漫反射，而镜面反射的光线为强反光，会直接影响图像的采集质量。

对此，在本申请实施例中，光源的前方设置了第一偏振片，该第一偏振片位于光源和目标人体部位之间的光路上，此外，图像采集组件101的镜头的前方还设置了第二偏振片101a，该第二偏振片101a位于目标人体部位与图像采集组件101的镜头之间的光路上，同时第一偏振片和第二偏振片101a的偏振方向垂直。

偏振片(polarizer)是一种可以使天然光变成偏振光的光学元件。偏振片对入射光具有遮蔽和透过的功能，可以使纵向光或横向光中的一种透过，并对另一种进行遮蔽。偏振片可以是由偏振膜、内保护膜、压敏胶层及外保护膜层压而成的复合材料。按应用方式划分，偏振片又可以分成透射、透反射及反透射三类。

在一种可能的实现方式中，偏振片可以用高分子化合物聚乙烯醇薄膜作为基片，再浸染具有强烈二向色性的碘，经硼酸水溶液还原稳定后，再将其单向拉伸4～5倍制成。拉伸后，碘分子则整齐地被吸附在排列在该薄膜上面，具有起偏或检偏性能。

在本申请实施例中，光源发出的光线经过第一偏振片之后，由天然光转换为单个方向的偏振光；该偏振光照射到目标人体部位表面后，会发生镜面反射和漫反射，其中，镜面反射会产生刺眼的强反光，导致对应区域过曝光。在光学性质上来说，偏振光经过镜面反射之后还是偏振光，但经过漫反射之后就不再是偏振光；此时，由于图像采集组件101的镜头的前方的第二偏振片101a的偏振方向与第一偏振片的偏振方向垂直，则目标人体部位表面镜面反射过来的偏振光会被第二偏振片101a阻拦，目标人体部位表面漫反射过来的天然光经过第二偏振片101a后，其中一部分被阻拦，另一部分透过第二偏振片101a入射到图像采集组件101的镜头，被图像采集组件101的镜头采集为第一医疗图像。

在一种可能的实现方式中，上述图像采集组件为高光谱相机，光源为宽带光源。

其中，宽带光源是指具有一定的连续光谱范围的光源。高光谱相机可以采集到宽带光源对应的连续光谱范围对应的高光谱图像。

在另一种可能的实现方式中，图像采集组件为多光谱相机，光源为宽带光源或者多光谱光源。

其中，多光谱相机可以采集指定的多个光谱对应的图像。

多光谱光源可以是具有不连续的多个光谱范围的光源，当光源为多光谱光源时，该多光谱光源对应的光谱范围与多光谱相机对应的光谱范围相匹配。

在一种可能的实现方式中，图像采集组件的镜头为宽带消色差镜头。

在本申请实施例中，由于图像采集组件用于采集高光谱或多光谱图像，其采集的图像对应的带宽也相对较宽，其波段范围可以达到400nm到1700nm之间，如果通过普通镜头，则波段相差较大的光线会无法聚焦到同一点，比如，当图像采集组件的镜头的焦距调整到使得400nm波段光线的图像聚焦时，1700nm波段光线的图像就会产生严重的离焦。

而本申请实施例所示的方案中，图像采集组件的镜头采用宽带消色差镜头，其中，宽带消色差镜头是指通过镜头镀膜工艺，或者，使用不同的镜头材料的组合对镜头进行重新设计，使得不同波长的光线通过镜头之后，可以聚焦到同一个点上，从而避免宽带波段的两段的光线对应的图像无法同时对焦的问题。

在一种可能的实现方式中，高光谱或多光谱图像中包含红外光谱图像。

可选的，上述红外光谱图像包括中长红外图像、短波红外图像以及近红外图像。

在本申请实施例中，图像采集组件可以采集对人体组织具有一定的穿透性的红外光谱图像。比如，请参考图3，其示出了本申请实施例涉及的红外线穿透深度示意图。如图3所示，中长红外线可以穿透人体的表皮层，短波红外线可以穿透人体的真皮层，而近波红外线则可以穿透人体的皮下组织，通过采集中长红外线、短波红外线以及近波红外线这三个波长对应的光谱图像，可以同时获取到目标人体部位的表皮层、真皮层以及皮下组织的图像信息。

在一种可能的实现方式中，高光谱或多光谱图像中包含可见光谱图像；

第二医学图像是在可见光谱图像上叠加AR影像后的图像。

在一种示例性的方案中，上述可见光谱图像包含蓝色光谱图像、绿色光谱图像以及红色光谱图像；第二医学图像是在伪彩色图像上叠加AR影像后的图像；伪彩色图像是由蓝色光谱图像、绿色光谱图像以及红色光谱图像合成的图像。

在本申请实施例中，为了使得后续的第二医学图像可以被医疗人员准确的观察和识别，上述高光谱或多光谱图像中还包含可见光谱图像，图像处理组件在生成上述第二医学图像时，可以在可见光谱图像上叠加AR影像，得到第二医学图像。

在一种可能的实现方式中，上述可见光谱图像可以是通过多个可见光波段对应的光谱图像进行合成得到的彩色图像(也可以称为伪彩色图像)。

例如，上述高光谱或多光谱图像中包含蓝色可见光波长(425nm)对应的可见光谱图像(蓝色光谱图像)、绿色可见光波长(550nm)对应的可见光谱图像(绿色光谱图像)、红色可见光波长(680nm)对应的可见光谱图像(红色光谱图像)，图像处理组件可以将上述蓝色光谱图像、绿光谱图像以及红色光谱图像合称为一个伪彩色图像，然后在该伪彩色图像上叠加显示AR影像之后，生成上述第二医学图像。

在一种可能的实现方式中，图像处理设备还包括开关组件105；开关组件105与图像处理组件102电性相连；

图像处理组件102，用于在开关组件105处于第一开关状态的情况下，向显示组件输出第二医学图像。

在一种可能的实现方式中，图像处理组件102，还用于在开关组件105处于第二开关状态的情况下，向显示组件输出第一医学图像。

在一种可能的实现方式中，上述向显示组件输出第一医学图像，可以是指向显示组件输出高光谱或多光谱图像中还包含可见光谱图像。

由于AR影像的叠加会遮挡第二医学图像中的一部分内容，而这部分内容可能是医疗人员在手术过程中需要查看的，对此，本申请实施例还在图像处理设备中设置一个开关组件，通过该开关组件可以开启或者关闭AR影像的显示。比如，当该开关组件为打开状态时，图像处理组件可以将第二医学图像输出至显示组件进行显示，此时，医护人员在显示组件上观察到的是叠加有AR影像的可见光谱图像；反之，当开关组件为关闭状态时，图像处理组件可以将第一医学图像输出至显示组件进行显示，此时，医疗人员在显示组件上观察到的是未叠加AR影像的可见光谱图像。

例如，医疗人员需要结合第二医学图像的完整内容，来判断第二医学图像中的各部分内容分别对应目标人体部位中的哪些部分，此时，医疗人员可以将开关组件的开关状态设置关闭状态；之后，医疗人员需要结合AR影像确定目标人体部位中的指定类型对象(比如病灶区域)的位置，此时，医疗人员可以将开关组件的开关状态设置打开状态。

其中，上述开关组件可以是机械式开关组件、触控开关组件、声控开关组件或者其它控制方式的开关组件。

在一种可能的实现方式中，开关组件为脚踏式开关。

由于本申请实施例所示的图像处理设备可以应用于手术场景中，由于在手术场景中，医疗人员通常无法使用手部进行开关组件的开关控制，因此，本申请实施例中可以将开关组件设置为脚踏式开关，以便医疗人员在进行手术的同时，更方便进行AR影像显示的开关控制，提高了开关组件在手术场景下的易用性。

例如，请参考图4，其示出了本申请实施例涉及的一种图像处理设备的设备框架图。如图4所示，该图像处理设备包括高光谱相机401、宽带偏振光源402、带有显示器的电脑403。其中，高光谱相机401对应上述实施例中的图像采集组件，宽带偏振光源402对应上述实施例中的光源组件，电脑403对应上述实施例中的图像处理组件和显示组件。

如图4所示，在手术过程中应用本申请实施例提供的图像处理设备时，电脑403发送信号控制宽带偏振光源402(如卤素灯)开启照明，并发送图像连续采集信号给高光谱相机401。高光谱相机401开始连续采集目标区域(即手术区域)的图像。其中高光谱相机401可以为内置推扫式高光谱相机，覆盖波长范围可以为400-1700nm。高光谱相机401前安装有宽带消色散镜头，以保证不同波长对应的图像能同时聚焦。镜头前安装有宽带偏振片，用于与偏振组合照明光源(即宽带偏振光源402)配合。其中组合照明光源表面的宽带偏振片与镜头前安装的宽带偏振片可以相同，在使用时，镜头前的偏振片偏振方向调整到与照明光前的偏振片偏振方向垂直。这样可以起到消除强镜面反光的作用，达到更好的图像采集效果。然后，高光谱相机401将采集到的数字图像(即宽光谱图像)发送给电脑403，由电脑403进行图像识别处理，得到数字图像中指定的组织的位置(比如病灶、血管、神经等组织的边缘位置)，基于识别结果生成指示这些指定的组织的位置的AR影像，并将AR影像叠加在数字图像中的可见光谱图像上，并通过显示器进行显示。在此过程中，医疗人员可以通过开关控制AR影像是否显示。

请参考图5，其示出了本申请实施例涉及的图像处理流程的示意图。如图5所示，该图像处理流程包括以下三个阶段：

阶段一：图像采集阶段(S501)。

在手术场景下，图像采集组件采集手术部位的宽光谱或多光谱图像，该宽光谱或多光谱图像中包含手术部位不同深度的图像信息。

阶段二：图像分割阶段(S502)。

在该阶段，图像处理组件将高光谱或者多光谱图像输入人工智能模型，通过人工智能模型对高光谱或者多光谱图像进行处理，以识别出高光谱或者多光谱图像中的指定类型对象的位置，得到图像分割结果。

阶段三：AR显示阶段(S503)。

图像处理组件根据识别得到的图像分割结果，生成对应的AR影像，比如，可以基于指定类型对象的位置，生成一个背景透明的蒙层图像，该蒙层图像中，在对应有指定类型对象的位置通过特定颜色进行填充，比如，在病灶区域填充红色。本申请实施例对于AR影像的表现形式不做限定。

之后，图像处理组件将AR影像叠加在高光谱或者多光谱图像中的可见光谱图像上，并通过显示组件进行显示。

综上所述，本申请实施例所示的方案，图像处理设备中设置有图像采集组件、图像处理组件和显示组件，图像采集组件可以采集到包含目标人体部位的高光谱或多光谱图像，其中包含目标人体部位中不同深度的图像信息，通过对该高光谱或多光谱图像识别生成的AR影像，可以对目标人体部位当前的组织进行准确的指示，在应用于手术场景下时，可以提高手术过程中对手术部位的组织进行指导的准确性，进而提高操作人员在手术过程中对组织进行识别的准确性。

请参考图6，其示出了本申请一示例性实施例提供的图像处理方法的方法流程图。其中，该方法可以由计算机设备执行，其中，该计算机设备可以实现为上述图1或图2中的图像处理组件102。该图像处理方法可以包括：

步骤601，接收第一医学图像；第一医学图像是图像采集组件对目标人体部位进行采集并实时发送的图像；第一医学图像包含高光谱或多光谱图像；上述目标人体部位是皮肤手术中的皮肤部位；高光谱或多光谱图像包括红外光谱图像以及可见光谱图像。

步骤602，生成第二医学图像，第二医学图像是在可见光谱图像上叠加增强现实AR影像后的图像；AR影像是基于对第一医学图像进行识别得到的图像识别结果生成的。

步骤603，向显示组件输出第二医学图像。

其中，上述步骤601至步骤603的执行过程，可以参考图1或图2所示实施例中的图像处理组件102的介绍，此处不再赘述。

在一种可能的实现方式中，计算机设备还连接有开关组件；上述向显示组件输出第二医学图像，包括：

在开关组件处于第一开关状态的情况下，向显示组件输出第二医学图像。

在一种可能的实现方式中，计算机设备还在开关组件处于第二开关状态的情况下，向显示组件输出第一医学图像。

在一种可能的实现方式中，开关组件为脚踏式开关。

其中，有关第一医学图像、第二医学图像以及开关组件的介绍可以参考上述图2对应的实施例中相应的描述，此处不再赘述。

其中，上述指定类型对象可以包括血管、神经、正常组织以及非正常组织(比如病灶区域)中的至少一种。

在一种可能的实现方式中，计算机设备在生成第二医学图像之前，可以通过图像识别模型对第一医学图像进行识别，获得图像识别结果；然后，计算机设备根据图像识别结果生成上述AR影像。

其中，上述图像识别结果可以用于指示第一医学图像中的指定类型对象的位置信息。

在一种可能的实现方式中，上述图像处理模型可以是三维卷积神经网络模型，比如，可以是三维U型网络模型。

可选的，上述图像处理模型也可以是其它类型的机器学习算法模型，比如，上述图像处理模型可以是支持向量机模型、波普信息散度模型、决策树分类模型、以及随机森林模型等等。

在本申请实施例中，计算机设备可以通过存储在本地的图像识别模型对第一医学图像进行识别。

或者，上述图像识别模型也可以部署在网络侧的服务器中，此时，计算机设备也可以将第一医学图像上传至网络侧，由网络侧的服务器通过图像识别模型对第一医学图像进行识别，并将图像识别结果返回给计算机设备，或者，计算机设备基于图像识别结果生成AR影像，并将AR影像返回给计算机设备，或者，计算机设备也可以根据AR影像和第一医学图像，叠加生成第二医学图像，并将第二医学图像返回给计算机设备。

在本申请实施例中，上述图像识别模型可以通过预先标注的训练集进行训练得到。比如，开发人员预先收集若干组高光谱或多光谱图像样本，每一组高光谱或多光谱图像样本是在同一时间对同一个人体部位进行采集得到的，开发人员针对每一组高光谱或多光谱图像样本标注出指定类型对象的位置，比如，标注出病灶区域的边缘位置，作为该组高光谱或多光谱图像样本的标注信息(Label)，在训练过程中，训练设备(可以是上述计算机设备，也可以是计算机设备之外的其它设备，比如服务器)将一组高光谱或多光谱图像样本输入图像处理模型，由图像处理模型输出对高光谱或多光谱图像样本中的指定类型对象的位置的预测结果，然后通过该预测结果和标注信息计算出一个损失函数值(Loss)，并通过损失函数值对图像处理模型进行更新。迭代执行上述过程，直至图像处理模型训练结束。

后续计算机设备接收到第一医疗图像之后，即可以通过训练完成的图像处理模型对第一医疗图像进行识别处理，获得图像识别结果。

在一种可能的实现方式中，在通过图像处理模型对高光谱或多光谱图像样本或者第一医疗图像进行处理之前，计算机设备可以先对待输入的图像进行图像预处理，该图像预处理过程可以包括滤波去噪、反射率校正等等。其中，训练过程中对高光谱或多光谱图像样本的预处理过程，与应用过程中对第一医疗图像的预处理过程可以相同。

其中，反射率校正可以通过如下公式实现：

I_c＝(I_R-I_B)/(I_W-I_B)

其中，I_c为校正后的图像，I_R为原始高光谱图像，I_B为黑板图像，其反射率可以为0％。I_W为白板图像，其反射率可以为99.9％。

请参考图7，其示出了本申请实施例涉及的一种图像识别过程示意图。如图7所示，计算机设备将高光谱图像701输入图像预处理模块702进行过滤去噪以及反射率校正等预处理之后，输入图像处理模型703进行图像分割处理，输出图像分割结果704，该图像分割结果704可以指示病灶区域等指定类型对象在高光谱图像701中的位置。

请参考图8，其示出了本申请实施例涉及的一种图像处理模型训练过程示意图。如图8所示，深度学习网络(即图像处理模型)的训练过程可以分为两步：第一步为标注数据(S801)，第二步为正式训练深度学习网络(S802)。

其中标注数据的过程可以由医生参考同一病例的皮肤镜观察结果和显微镜视野下的病理结果，然后在同一病例术中采集的高光谱图像上进行标注，得到若干个病例，即标注出指定类型对象(比如病灶区域)的位置。由于高光谱图像是同一视野下的多帧图像，因此在标注时只需要在其中一帧上标注即可。

在第二步正式训练深度学习网络的过程中，深度学习网络可以为3D卷积神经网络，在第一步中收集并标注的若干例病例数据(例如500例)，经过预处理后进行网络训练。通过网络输出(output)与预先标注(label)之间的比较求得Loss，随后反向传播不断修正深度学习网络，并通过设置的迭代次数和Loss阈值判断是否训练完成，最后得到一个训练好的分割网络，即上述图像处理模型。

请参考图9，其示出了本申请实施例涉及的AR展示示意图。如图9所示，在应用过程中，计算机设备用过训练完成的图像处理模型对第一医疗图像901进行识别处理获得图像识别结果之后，可以根据图像识别结果生成AR影像902，同时，还从第一医疗图像901中选取425nm(蓝)，550nm(绿)，680nm(红)的可见光谱图像进行合成，得到伪彩色图像903，并将AR影像902叠加在伪彩色图像903上，并在显示屏904中进行展示。同时，医疗人员可以通过脚踏式开关开启或者关闭AR影像902的显示。

综上所述，本申请实施例所示的方案，图像采集组件可以采集到包含目标人体部位的高光谱或多光谱图像，其中包含目标人体部位中不同深度的图像信息，计算机设备通过对该高光谱或多光谱图像识别生成的AR影像，可以对目标人体部位当前的组织进行准确的指示，在应用于手术场景下时，可以提高手术过程中对手术部位的组织进行指导的准确性，进而提高操作人员在手术过程中对组织进行识别的准确性。

请参考图10，其示出了本申请一示例性实施例提供的图像处理装置的结构图。其中，该装置可以用于计算机设备中，其中，该计算机设备可以实现为上述图1或图2中的图像处理组件102，该装置可以包括：

图像接收模块1001，用于接收第一医学图像；所述第一医学图像是图像采集组件对目标人体部位进行采集并实时发送的图像；所述第一医学图像包含高光谱或多光谱图像；所述目标人体部位是皮肤手术中的皮肤部位；所述高光谱或多光谱图像包括红外光谱图像以及可见光谱图像；

图像生成模块1002，用于生成第二医学图像，所述第二医学图像是在所述可见光谱图像上叠加增强现实AR影像后的图像；所述AR影像是基于对所述第一医学图像进行识别得到的图像识别结果生成的；

图像输出模块1003，用于向显示组件输出所述第二医学图像。

所述图像输出模块1003，用于在所述开关组件处于第一开关状态的情况下，向所述显示组件输出所述第二医学图像。

在一种可能的实现方式中，所述图像输出模块1003，还用于在所述开关组件处于第二开关状态的情况下，向所述显示组件输出所述第一医学图像。

在一种可能的实现方式中，所述开关组件为脚踏式开关。

本申请上述实施例提出的成像技术同时具备术中深度成像能力(5～10mm)和实时成像能力(非接触式)，这正是当前皮肤癌等外科手术中的痛点。手术中医生人眼观测仅局限表面，传统皮肤镜也是基于可见光的成像仪器，因此其成像深度与人眼无差别(0～1mm)，而B超因为需要接触式成像而无法应用在术中实时监测。本申请上述实施例所示的方案不仅对皮肤癌外科手术有重大意义，还对其他外科手术具有实用价值。其中自动化的术中图像采集与组织分割也让未来精准手术机器人的开发受益。另外，图像数字化和增强现实技术有利于让皮肤外科医师远程实施诊治，实时对伤患进行会诊，指导抢救甚至参与远程手术等等。

图11是根据一示例性实施例示出的一种计算机设备的结构示意图。该计算机设备可以实现为上述图1或图2中的图像处理组件102。

所述计算机设备1100包括中央处理单元(CPU，Central Processing Unit)1101、包括随机存取存储器(Random Access Memory，RAM)1102和只读存储器(Read-OnlyMemory，ROM)1103的系统存储器1104，以及连接系统存储器1104和中央处理单元1101的系统总线1105。可选的，所述计算机设备1100还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统1106，和用于存储操作系统1113、应用程序1114和其他程序模块1115的大容量存储设备1107。

所述大容量存储设备1107通过连接到系统总线1105的大容量存储控制器(未示出)连接到中央处理单元1101。所述大容量存储设备1107及其相关联的计算机可读介质为计算机设备1100提供非易失性存储。也就是说，所述大容量存储设备1107可以包括诸如硬盘或者光盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机可读介质(未示出)。

不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、闪存或其他固态存储其技术，CD-ROM、或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器1104和大容量存储设备1107可以统称为存储器。

计算机设备1100可以通过连接在所述系统总线1105上的网络接口单元1111连接到互联网或者其它网络设备。

所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理器1101通过执行该一个或一个以上程序来实现图6所示的方法的全部或者部分步骤。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括计算机程序(指令)的存储器，上述程序(指令)可由计算机设备的处理器执行以完成本申请各个实施例所示的方法。例如，所述非临时性计算机可读存储介质可以是只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述图6所示的方法的全部或者部分步骤。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims

1.一种图像处理设备，其特征在于，所述图像处理设备包括：图像采集组件、图像处理组件、以及显示组件；

所述显示组件，用于显示所述第二医学图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述图像处理设备还包括：光源组件；

所述光源组件包含光源以及第一偏振片；所述第一偏振片设置在所述光源前方；

所述图像采集组件包含第二偏振片；所述第二偏振片设置在所述图像采集组件的镜头的前方；

所述第一偏振片的偏振方向与所述第二偏振片的偏振方向垂直。

3.根据权利要求2所述的图像处理设备，其特征在于，

所述图像采集组件为高光谱相机，所述光源为宽带光源；

或者，

所述图像采集组件为多光谱相机，所述光源为宽带光源或者多光谱光源。

4.根据权利要求1至3任一所述的图像处理设备，其特征在于，所述图像采集组件的镜头为宽带消色差镜头。

5.根据权利要求1所述的图像处理设备，其特征在于，所述红外光谱图像包括中长红外图像、短波红外图像以及近红外图像。

6.根据权利要求1所述的图像处理设备，其特征在于，所述可见光谱图像包含蓝色光谱图像、绿色光谱图像以及红色光谱图像；所述第二医学图像是在伪彩色图像上叠加所述AR影像后的图像；所述伪彩色图像是由所述蓝色光谱图像、所述绿色光谱图像以及所述红色光谱图像合成的图像。

7.根据权利要求1所述的图像处理设备，其特征在于，所述图像处理设备还包括开关组件；所述开关组件与所述图像处理组件电性相连；

所述图像处理组件，用于在所述开关组件处于第一开关状态的情况下，向所述显示组件输出所述第二医学图像。

8.根据权利要求7所述的图像处理设备，其特征在于，

所述图像处理组件，还用于在所述开关组件处于第二开关状态的情况下，向所述显示组件输出所述第一医学图像。

9.根据权利要求7或8所述的图像处理设备，其特征在于，所述开关组件为脚踏式开关。

10.根据权利要求1所述的图像处理设备，其特征在于，所述AR影像用于指示所述第一医学图像中的指定类型对象的边缘位置。

11.根据权利要求1所述的图像处理设备，其特征在于，所述图像采集组件集成在显微镜中。

12.一种图像处理方法，其特征在于，所述方法包括：

向显示组件输出所述第二医学图像。

13.一种图像处理装置，其特征在于，所述装置包括：

图像输出模块，用于向显示组件输出所述第二医学图像。

14.一种计算机设备，其特征在于，所述计算机设备包含处理器和存储器，所述存储器中存储有至少一条计算机指令，所述至少一条计算机指令由所述处理器加载并执行以实现如权利要求12所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条计算机指令，所述至少一条计算机指令由计算机设备中的处理器加载并执行以实现如权利要求12所述的图像处理方法。

16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机指令，计算机设备的处理器执行所述计算机指令，使得所述计算机设备执行如权利要求12所述的图像处理方法。