CN116958594A - 一种图像处理方法、装置及设备 - Google Patents

Abstract

本申请提供一种图像处理方法、装置及设备，该方法包括：分别提取可见光图像的处理对象和超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点；查找与第一超声像素点集合匹配的第一可见光像素点集合，第一可见光像素点集合对应的处理对象与第一超声像素点集合对应的处理对象的属性相同；基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。通过本申请的技术方案，能够重建超声图像的颜色，具有更好的图像效果。

Description

一种图像处理方法、装置及设备

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及设备。

背景技术

内窥镜(Endoscopes)是一种常用的医疗器械，由导光束结构及一组镜头组成，在内窥镜进入到目标对象的内部后，可以使用内窥镜采集目标对象内部的可见光图像，基于目标对象内部的可见光图像对目标对象进行检查及治疗。当需要对目标对象内部的指定类型组织进行检查及治疗时，需要先通过内窥镜采集目标对象内部的指定类型组织对应的可见光图像，基于该可见光图像分析出指定类型组织的实际位置，然后才能够对该指定类型组织进行检查及治疗。

然而，如何基于该可见光图像分析出指定类型组织的实际位置，需要较高的专业知识和大量实操经验，对于经验不够丰富的医生来说，可能无法找到指定类型组织的实际位置，即使有内窥镜采集的可见光图像，也无法基于可见光图像获知目标对象内部的指定类型组织的实际位置，导致无法进行检查及治疗。

发明内容

本申请提供一种图像处理方法，所述方法包括：

获取可见光图像和超声图像，其中，所述可见光图像和所述超声图像是针对同一目标组织的图像；

分别提取所述可见光图像的处理对象和所述超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，其中，所述可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，所述超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N为正整数；

查找与第一超声像素点集合匹配的第一可见光像素点集合，所述第一可见光像素点集合对应的处理对象与所述第一超声像素点集合对应的处理对象的属性相同，所述第一超声像素点集合是N个超声像素点集合中任一个；

基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。

本申请提供一种图像处理装置，所述装置包括：

获取模块，用于获取可见光图像和超声图像，其中，所述可见光图像和所述超声图像是针对同一目标组织的图像；

处理模块，用于分别提取所述可见光图像的处理对象和所述超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，所述可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，所述超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N为正整数；

确定模块，用于查找与第一超声像素点集合匹配的第一可见光像素点集合，所述第一可见光像素点集合对应的处理对象与所述第一超声像素点集合对应的处理对象的属性相同，第一超声像素点集合是N个超声像素点集合中任一个；

重建模块，用于基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。

本申请提供一种电子设备，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现本申请上述示例的图像处理方法。

由以上技术方案可见，本申请实施例中，获取可见光图像和超声图像，可见光图像和超声图像是针对同一目标组织的图像，从而通过超声图像辅助获知目标对象的目标组织的实际位置，能够准确获知目标对象的目标组织的实际位置，提醒医生尽快找到目标组织的实际位置，并进行检查及治疗，提高识别准确率。可以基于可见光图像对超声图像进行还原得到彩色超声图像，即将可见光图像的颜色映射到超声图像上，进而重建超声图像的颜色，恢复超声图像各区域的真实色彩，具有更好的图像效果，提升超声图像的分辨能力。

附图说明

为了更加清楚地说明本申请实施例或者现有技术中的技术方案，下面将对本申请实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本申请实施例的这些附图获得其他的附图。

图1是本申请一种实施方式中的图像处理方法的流程示意图；

图2是本申请一种实施方式中的内窥镜系统的结构示意图；

图3是本申请一种实施方式中的超声诊断系统的结构示意图；

图4是本申请一种实施方式中的超声诊断系统的功能结构示意图；

图5是本申请一种实施方式中的图像处理方法的流程示意图；

图6是本申请一种实施方式中的可见光图像和超声图像的示意图；

图7是本申请一种实施方式中的图像处理装置的结构示意图；

图8是本申请一种实施方式中的电子设备的结构示意图。

具体实施方式

在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本申请实施例中提出一种图像处理方法，可以应用于任意类型的设备，参见图1所示，为该图像处理方法的流程示意图，该方法可以包括：

步骤101、获取可见光图像和超声图像，可见光图像和超声图像可以是针对同一目标组织的图像，该目标组织为目标对象(如待检体)内部或者外部的指定类型组织。其中，可见光图像和超声图像可以是同一采集时刻的图像，或者，可见光图像和超声图像可以是位于某个时间范围的图像，如可见光图像的采集时刻早于超声图像的的采集时刻，且两个采集时刻的差值小于阈值；或可见光图像的采集时刻晚于超声图像的的采集时刻，且两个采集时刻的差值小于阈值。

步骤102、分别提取可见光图像的处理对象和超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，其中，可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N均为正整数。

示例性的，为了提取可见光图像的处理对象，得到M个可见光像素点集合，可以采用语义分割的方式提取可见光图像的处理对象，得到M个可见光像素点集合，也可以采用其它方式提取可见光图像的处理对象，得到M个可见光像素点集合，如二值化分割方式、边缘检测方式、阈值分割方式等，对此不做限制，只要能够提取出可见光图像中的处理对象即可。本实施例中，以采用语义分割的方式提取可见光图像的处理对象，得到M个可见光像素点集合为例。

比如说，可以对可见光图像进行语义分割，输出每个像素点的属性；例如，将该可见光图像输入给语义分割网络，由语义分割网络输出每个像素点的属性。基于每个像素点的属性，可以对所有像素点进行聚类得到M个可见光像素点集合；其中，对应同一属性的多个像素点可以被聚类到同一可见光像素点集合，对应不同属性的多个像素点可以被聚类到不同可见光像素点集合。

比如说，可以对可见光图像和已获取的场景类别进行语义分割，输出每个像素点的属性；例如，将该可见光图像和已获取的场景类别输入给语义分割网络，由语义分割网络输出每个像素点的属性；其中，场景类别可以对应多个属性，像素点的属性可以是场景类别对应的多个属性中的一种，也就是说，在输出每个像素点的属性时，是从场景类别对应的多个属性中选取像素点的属性。

基于每个像素点的属性，可以对所有像素点进行聚类得到M个可见光像素点集合；其中，对应同一属性的多个像素点可以被聚类到同一可见光像素点集合，对应不同属性的多个像素点可以被聚类到不同可见光像素点集合。

示例性的，为了提取超声图像的处理对象，得到N个超声像素点集合，可以采用语义分割的方式提取超声图像的处理对象，得到N个超声像素点集合，也可以采用其它方式提取超声图像的处理对象，得到N个超声像素点集合，如二值化分割方式、边缘检测方式、阈值分割方式等，对此不做限制，只要能够提取出超声图像中的处理对象即可。本实施例中，以采用语义分割的方式提取超声图像的处理对象，得到N个超声像素点集合为例。

比如说，可以对超声图像和已获取的场景类别进行语义分割，输出每个像素点的属性；例如，将该超声图像和已获取的场景类别输入给语义分割网络，由语义分割网络输出每个像素点的属性；其中，场景类别可以对应多个属性，像素点的属性可以是场景类别对应的多个属性中的一种，也就是说，在输出每个像素点的属性时，是从场景类别对应的多个属性中选取像素点的属性。

基于每个像素点的属性对所有像素点进行聚类得到N个超声像素点集合；其中，对应同一属性的多个像素点可以被聚类到同一超声像素点集合，对应不同属性的多个像素点可以被聚类到不同超声像素点集合。

步骤103、查找与第一超声像素点集合匹配的第一可见光像素点集合，第一可见光像素点集合对应的处理对象与第一超声像素点集合对应的处理对象的属性相同，第一超声像素点集合可以是N个超声像素点集合中任一个。

步骤104、基于第一可见光像素点集合内的各个像素点的颜色值对第一超声像素点集合进行处理，得到该超声图像对应的彩色超声图像。

示例性的，在基于第一可见光像素点集合内的各个像素点的颜色值对第一超声像素点集合进行处理，得到该超声图像对应的彩色超声图像之前，还可以包括：若没有查找到第一超声像素点集合匹配的第一可见光像素点集合(即未得到第一可见光像素点集合)，则查找第一超声像素点集合对应的属性对应的固定颜色值，并基于该固定颜色值对第一超声像素点集合进行处理，得到超声图像对应的彩色超声图像。其中，预先配置有属性与固定颜色值之间的映射关系，该映射关系用于确定第一超声像素点集合对应的属性对应的固定颜色值。

示例性的，基于第一可见光像素点集合内的各个像素点的颜色值对第一超声像素点集合进行处理，得到该超声图像对应的彩色超声图像，可以包括但不限于：基于第一可见光像素点集合内的各个像素点的颜色值，对所有像素点的颜色值进行聚类，得到K个聚类簇的中心颜色特征(即K个聚类中心的颜色特征)，K可以为正整数。针对第一超声像素点集合内的每个像素点，可以基于该像素点在超声图像的灰度值和K个中心颜色特征，确定该像素点的目标颜色值。可以基于每个第一超声像素点集合内的各个像素点的目标颜色值对该超声图像进行还原，得到该超声图像对应的彩色超声图像。

示例性的，在基于第一可见光像素点集合内的各个像素点的颜色值对第一超声像素点集合进行处理，得到超声图像对应的彩色超声图像之后，还可以包括：显示彩色超声图像。或者，基于该超声图像和该彩色超声图像显示目标超声图像；其中，该目标超声图像可以包括第一图像区域和第二图像区域，该第一图像区域内各个像素点的像素值是来源于该彩色超声图像的颜色值，该第二图像区域内各个像素点的像素值是来源于该超声图像的灰度值。

示例性的，可以获取已配置的候选属性，并确定候选属性对应的超声像素点集合；将目标超声图像中该超声像素点集合内所有像素点对应的区域确定为第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为第二图像区域；或，罗获取感兴趣区域，将目标超声图像中的感兴趣区域确定为第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为第二图像区域。

由以上技术方案可见，本申请实施例中，获取可见光图像和超声图像，可见光图像和超声图像是针对同一目标组织的图像，从而通过超声图像辅助获知目标对象的目标组织的实际位置，准确获知目标对象的目标组织的实际位置，提醒医生尽快找到目标组织的实际位置，并进行检查及治疗，提高识别准确率。基于可见光图像对超声图像进行还原得到彩色超声图像，即将可见光图像的颜色映射到超声图像上，进而重建超声图像的颜色，恢复超声图像各区域的真实色彩，具有更好的图像效果，提升超声图像的分辨能力，更好的帮助医生诊断。

以下结合具体实施例，对本申请实施例的上述技术方案进行说明。

医疗器械是指临床手术中使用的器械，经目标对象(即待检体)的天然孔道或手术的小切口进入目标对象内部，对目标对象内部的病灶、组织、器官进行游离、切割、清扫、缝合等操作。内窥镜(Endoscopes)是一种常用的医疗器械，由导光束结构及一组镜头组成，在内窥镜进入到目标对象的内部后，可以使用内窥镜采集目标对象内部指定类型组织的可见光图像，基于目标对象内部的可见光图像分析出指定类型组织的实际位置，对目标对象进行检查及治疗。

指定类型组织可以是目标对象内部的任意组织，即目标对象(如患者等待检体)的体内组织，也可以是目标对象外部的任意组织，即目标对象的体外组织，对此不做限制，本实施例中，将指定类型组织称为目标组织，即，需要通过内窥镜采集目标组织的可见光图像，该可见光图像也可以称为白光图像。

例如，目标组织可以是神经类组织或器官类组织等，神经类组织可以包括但不限于喉返神经、嗅神经、视神经、三叉神经、面神经，器官类组织可以包括但不限于肝脏组织、肾脏组织等。当然，上述只是几个示例，对此不做限制。

在基于目标对象内部的可见光图像分析目标组织的实际位置时，需要较高的专业知识和大量实操经验，对于经验不够丰富的医生来说，即使有内窥镜采集的目标组织的可见光图像，可能也无法找到目标组织的实际位置。

为此，除了通过内窥镜采集目标组织的可见光图像，还可以采集针对目标组织的超声图像，可以结合超声图像和可见光图像分析目标组织的实际位置，或者，可以结合超声图像和可见光图像对目标组织进行检查及治疗。

然而，由于超声图像是灰度图像，在结合超声图像对目标组织进行检查及治疗，或者，结合超声图像分析目标组织的实际位置时，超声图像的实际作用有限，超声图像的观看体验很差，无法基于超声图像进行有效分析。

针对上述发现，本申请实施例中，可以基于可见光图像对超声图像进行还原得到彩色超声图像，即将可见光图像的颜色映射到超声图像上，进而重建超声图像的颜色，恢复超声图像各区域的真实色彩，具有更好的图像效果，提升超声图像的分辨能力，更好的帮助医生准确诊断，超声图像的观看体验很好。

参见图2所示，为内窥镜系统的结构示意图，内窥镜系统可以包括内窥镜装置(如内窥镜和摄像头)、光源装置(如冷光源)、摄像系统(即摄像主机系统，也可以称为白光摄像系统或者可见光摄像系统)、显示装置(如显示屏)和存储装置(在图2中并未示出存储装置)，当然，图2只是一个示例。

内窥镜装置可以插入目标对象(如患者等待检体)的内部，采集目标对象内部的目标组织的图像数据(可见光图像)，该图像数据输出到显示装置和存储装置。光源装置用于提供从内窥镜装置前端射出的照明光。摄像系统用于对内窥镜装置生成的图像数据进行图像处理，并控制内窥镜装置的动作。显示装置用于处理并显示与图像数据对应的可见光图像，如医生等使用者通过观察由显示装置显示的可见光图像，来检查目标对象的出血部位、肿瘤部位和异常部位等，并提供手术治疗的实时影像。存储装置用于存储与图像数据对应的可见光图像，医生等使用者通过访问存储装置中的视频，进行术后回顾和手术培训。

超声诊断系统用于目标对象的超声诊断检查，将超声检测技术应用于目标对象，通过测量了解生理或组织结构的数据和形态，发现目标对象的疾病并作出提示。参见图3所示，为超声诊断系统的结构示意图，超声诊断系统可以包括超声探头、超声系统主机、操作界面、显示装置(即超声显示屏)和存储装置(在图3中并未示出存储装置)，当然，图3只是一个示例。

超声诊断系统通过超声探头采集目标对象的目标组织的图像数据(即超声图像)，比如说，将超声探头放置在目标对象的体表采集目标组织的图像数据，或者，将超声探头插入到目标对象的体内采集目标组织的图像数据，在得到图像数据之后，可以将图像数据输出到显示装置和存储装置。超声系统主机用于对超声探头生成的图像数据进行图像处理，并控制超声探头的动作。显示装置用于处理并显示与图像数据对应的超声图像，如医生等使用者通过观察由显示装置显示的超声图像，来检查目标对象的出血部位、肿瘤部位和异常部位等，并提供手术治疗的实时影像。存储装置用于存储与图像数据对应的超声图像，医生等使用者通过访问存储装置中的视频，进行术后回顾和手术培训。

参见图4所示，为超声诊断系统的功能结构示意图，超声诊断系统的超声系统主机可以包括图像输入单元、超声图像处理单元、交互处理单元、视频编码单元、控制单元和通讯单元。超声诊断系统的超声探头可以包括处理单元、操作单元和信号收发单元。当然，图4只是功能结构的一个示例。

图像输入单元用于接收超声探头(如超声探头的处理单元)发送的图像数据(即图像信号)，并对该图像数据进行模拟收发、波束合成、信号转换等处理，并将处理后的图像数据(即超声图像)传输给超声图像处理单元。

超声图像处理单元用于对图像输入单元的超声图像进行ISP(Image SignalProcessing，图像信号处理)操作，ISP操作包括但不限于以下至少一种：亮度变换、锐化、对比度增强等。超声图像处理单元可以将ISP操作后的超声图像传输给交互处理单元、视频编码单元、显示装置中的至少一个。

交互处理单元是超声图像和可见光图像(即白光图像)的交互模块，交互处理单元可以从超声图像处理单元获取超声图像，并从通讯单元获取可见光图像(通讯单元从内窥镜系统获取可见光图像，可见光图像是内窥镜系统最终生成的图像)，超声图像的色彩还原过程可以在交互处理单元实现，比如说，交互处理单元可以基于可见光图像对超声图像进行色彩还原，得到超声图像对应的彩色超声图像(即交互处理单元的处理后图像)。当然，超声图像的色彩还原过程也可以在其它单元实现，对此不做限制。交互处理单元可以将彩色超声图像传输给超声图像处理单元，和/或，将彩色超声图像传输给视频编码单元。

超声图像处理单元用于对交互处理单元的彩色超声图像进行ISP操作，ISP操作包括但不限于以下至少一种：亮度变换、叠框和缩放等。超声图像处理单元可以将ISP操作后的彩色超声图像传输给视频编码单元和/或显示装置。

视频编码单元用于对超声图像处理单元或交互处理单元的彩色超声图像进行编码压缩，并将编码压缩后的彩色超声图像传输给存储装置。

控制单元用于控制超声系统主机的各个单元，包括但不限于界面操作方式、图像处理方式、交互处理方式和视频编码方式。其中，控制单元可以通过开关、按钮和触摸面板等受理外部指示信号，基于外部指示信号实现控制功能。

在上述应用场景下，本申请实施例中提出一种图像处理方法，可以应用于超声系统主机，也可以应用于摄像主机系统，还可以应用于其它设备，后续以超声系统主机为例，参见图5所示，为该方法的流程示意图，该方法可以包括：

步骤501、获取可见光图像和超声图像，可见光图像和超声图像可以是针对同一目标组织的图像，该目标组织可以为目标对象(如待检体)内部或者外部的指定类型组织。其中，可见光图像和超声图像可以是同一采集时刻的图像，或者，可见光图像和超声图像可以是位于某个时间范围的图像。

示例性的，可以通过内窥镜采集目标对象的目标组织的可见光图像(也可以称为白光图像)，并将该可见光图像发送给超声系统主机，这样，超声系统主机可以获取到目标对象的目标组织对应的可见光图像。其中，可见光图像可以是RGB类型的图像，也可以是其它类型的图像，对此不做限制。

示例性的，可以通过超声探头采集目标对象的目标组织的超声图像，并将该超声图像发送给超声系统主机，这样，超声系统主机可以获取到目标对象的目标组织对应的超声图像，该超声图像可以为灰度图像。

示例性的，超声系统主机可以获取到同一时间范围的可见光图像和超声图像，即可见光图像的采集时刻与超声图像的采集时刻的差值小于阈值，可见光图像的采集时刻是内窥镜采集到可见光图像的时刻，超声图像的采集时刻是超声探头采集到超声图像的时刻。超声系统主机获取到可见光图像的采集时刻，并获取到超声图像的采集时刻，将同一时间范围的可见光图像和超声图像关联。

示例性的，超声系统主机获取到的可见光图像和超声图像，可以是针对目标对象(如待检体)内部或者外部的同一目标组织的图像。

参见图6所示，为可见光图像和超声图像的示意图，左侧图像为可见光图像，这里示出的是灰度的可见光图像，实际的可见光图像具有彩色信息，可以是RGB类型的图像，右侧图像为超声图像，即灰度的超声图像。

步骤502、基于可见光图像获取场景类别。其中，该场景类别表示目标对象的处理场景的类别，以针对目标对象的手术处理场景为例，则该场景类别可以是手术场景的类别，如肝胆手术场景类别、宫腔手术场景类别、甲状腺手术场景类别等，当然，上述只是该场景类别的几个示例，对此不做限制。

示例性的，在得到可见光图像之后，可以对可见光图像进行场景识别，得到场景类别。比如说，可以将可见光图像输入给已训练的场景识别网络，由场景识别网络输出该可见光图像对应的场景类别。其中，场景识别网络可以是一种分类器网络，用于实现多场景类别的分类功能，在将可见光图像输入给场景识别网络之后，场景识别网络可以确定每个场景类别的概率，并将最大概率对应的场景类别作为该可见光图像对应的场景类别，并输出该场景类别。

又例如，可以采用建立先验模型的图像处理方法，确定该可见光图像对应的场景类别，先验模型可以表示每种场景类别的图像特征，这样，可以确定该可见光图像对应的图像特征，基于先验模型找到与该图像特征匹配的场景类别。

当然，上述只是确定场景类别的两个示例，对此确定方式不做限制。

步骤503、提取可见光图像的处理对象，得到M个可见光像素点集合，M为正整数，可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，即同一个处理对象的所有像素点(可见光图像像素点)具有相同属性，可以将这些具有相同属性的像素点归类到同一个可见光像素点集合。

其中，该属性可以是目标对象的内部组织或者外部组织(可以是上述目标组织，也可以是目标组织周围的其它组织)的属性，如属性可以包括但不限于血管、神经、器官、淋巴结、囊肿、肌肉组织、颈内外静脉、甲状腺、喉返神经、气管、膀胱、肝脏等，对此不做限制。该属性也可以是医疗器械的类别，如内窥镜、超声探头等，对此不做限制。显然，若处理对象为血管，则可见光像素点集合包括具有血管属性的多个可见光图像像素点，若处理对象为神经，则可见光像素点集合包括具有神经属性的多个可见光图像像素点，以此类推。

为了得到M个可见光像素点集合，对可见光图像进行语义分割，得到该可见光图像内的每个像素点的属性。比如说，可以预先配置所有属性的种类，在对可见光图像进行语义分割时，针对可见光图像内的每个像素点，可以从所有属性中选取与该像素点匹配的属性，表示该像素点属于该属性，比如说，若该像素点的属性是喉返神经，则表示该像素点所在的位置是喉返神经。

在一种可能的实施方式中，将该可见光图像输入给已训练的语义分割网络，由语义分割网络输出每个像素点的属性。其中，语义分割网络可以是一种分类器网络，用于实现多属性的分类功能，在将可见光图像输入给语义分割网络之后，针对可见光图像内的每个像素点，语义分割网络可以确定该像素点对应的每个属性的概率，并将最大概率对应的属性作为该像素点对应的属性，这样，就可以得到可见光图像内的每个像素点的属性，并输出每个像素点的属性。

在另一种可能的实施方式中，为了提高语义分割网络的识别准确率，还可以将场景类别作为先验信息，通过该场景类别对语义分割结果进行约束。比如说，可以将该可见光图像和已获取的场景类别一起输入给已训练的语义分割网络，由语义分割网络基于该场景类别输出每个像素点的属性。

其中，语义分割网络可以支持多种场景类别(如肝胆手术场景类别、宫腔手术场景类别、甲状腺手术场景类别)的属性，且每个场景类别可以对应多个属性，如甲状腺手术场景类别对应肌肉组织、颈内外静脉、甲状腺、淋巴结、喉返神经、气管等属性，而不对应膀胱、肝脏等其它属性。

在将可见光图像和场景类别输入给语义分割网络后，语义分割网络确定该场景类别对应的属性集合(场景类别对应的多个属性)，对属性进行约束。针对可见光图像内的每个像素点，确定该属性集合内的每个属性的概率，从而从该属性集合中选取最大概率的属性，将最大概率的属性作为该像素点对应的属性。通过约束该属性集合内的多个属性，避免选取错误属性，提高识别准确率。

显然，针对可见光图像内的每个像素点，可以得到每个像素点的属性，并输出每个像素点的属性，且这些属性是从该属性集合选取。

示例性的，在得到该可见光图像内的每个像素点的属性之后，基于每个像素点的属性，可以对所有像素点进行聚类，得到M个可见光像素点集合，即，将同一属性的所有像素点聚类到同一可见光像素点集合，将不同属性的像素点聚类到不同可见光像素点集合，这样，对应同一属性的多个像素点被聚类到同一可见光像素点集合，对应不同属性的多个像素点被聚类到不同可见光像素点集合。比如说，可见光像素点集合A1包括对应属性1的所有像素点，可见光像素点集合A2包括对应属性2的所有像素点，以此类推。

示例性的，语义分割网络可以是一种分类器网络，用于实现多属性的分类功能，对此语义分割网络的网络结构不做限制。比如说，语义分割网络可以由编码器网络和解码器网络组成，编码器网络是预先训练的分类网络，由卷积层和下采样层组成。解码器网络用于对编码器网络学习到的识别特征语义向像素空间进行映射，得到分割结果，解码器网络由卷积层和上采样成组成。

其中，可实现语义分割网络的网络结构可以包括但不限于：FCN(FullyConvolutional Networks，全卷积网络)模型、SegNet(深度学习语义分割)模型、RefineNet(多分辨率特征融合)模型、U-Ner模型、DeepLab模型等。

步骤504、提取超声图像的处理对象，得到N个超声像素点集合，N为正整数，超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，即同一个处理对象的所有像素点(超声图像像素点)具有相同属性，将这些具有相同属性的像素点归类到同一个超声像素点集合。比如说，若处理对象为血管，超声像素点集合包括具有血管属性的多个超声图像像素点，若处理对象为神经，超声像素点集合包括具有神经属性的多个超声图像像素点，以此类推。

为了得到N个超声像素点集合，可以对超声图像进行语义分割，得到该超声图像内的每个像素点的属性。比如说，可以预先配置所有属性的种类，在对超声图像进行语义分割时，针对超声图像内的每个像素点，可以从所有属性中选取与该像素点匹配的属性，这个属性就表示该像素点属于该属性。

在一种可能的实施方式中，将该超声图像输入给已训练的语义分割网络(与步骤503的语义分割网络相同或不同)，由语义分割网络输出每个像素点的属性。比如说，在将超声图像输入给语义分割网络后，针对超声图像内的每个像素点，语义分割网络确定该像素点对应的每个属性的概率，并将最大概率对应的属性作为该像素点对应的属性，从而得到超声图像内的每个像素点的属性。

在另一种可能的实施方式中，为了提高语义分割网络的识别准确率，还可以将场景类别作为先验信息，通过该场景类别对语义分割结果进行约束。比如说，可以将该超声图像和已获取的场景类别输入给已训练的语义分割网络，由语义分割网络基于该场景类别输出该超声图像中每个像素点的属性。

比如说，在将超声图像和场景类别输入给语义分割网络后，语义分割网络确定该场景类别对应的属性集合(场景类别对应的多个属性)。针对超声图像内的每个像素点，确定该属性集合内的每个属性的概率，从而从该属性集合中选取最大概率的属性，将最大概率的属性作为该像素点对应的属性。这样，可以得到该超声图像内的每个像素点的属性，且这些属性是从该属性集合中选取。

示例性的，在得到该超声图像内的每个像素点的属性之后，基于每个像素点的属性对所有像素点进行聚类，得到N个超声像素点集合，即，将同一属性的所有像素点聚类到同一超声像素点集合，将不同属性的像素点聚类到不同超声像素点集合，这样，对应同一属性的多个像素点被聚类到同一超声像素点集合，对应不同属性的多个像素点被聚类到不同超声像素点集合。比如说，超声像素点集合B1包括对应属性1的所有像素点，以此类推。

步骤505、针对第一超声像素点集合，第一超声像素点集合是所有超声像素点集合中的任一超声像素点集合，对该第一超声像素点集合进行同类区域匹配，得到与该第一超声像素点集合对应的第一可见光像素点集合，第一可见光像素点集合对应的处理对象与第一超声像素点集合对应的处理对象的属性相同。

示例性的，可以对可见光像素点集合与超声像素点集合进行同属性匹配，针对第一超声像素点集合，若该第一超声像素点集合的属性与某可见光像素点集合的属性相同，则将该第一超声像素点集合归到第一类集合，该可见光像素点集合作为该第一超声像素点集合的第一可见光像素点集合。若该第一超声像素点集合的属性与所有可见光像素点集合的属性均不同，则将该第一超声像素点集合归到第二类集合，该第一超声像素点集合未对应第一可见光像素点集合。

综上所述，第一类集合中的第一超声像素点集合具有相同属性的第一可见光像素点集合，比如说，第一类集合包括超声像素点集合B1，超声像素点集合B1对应的第一可见光像素点集合为可见光像素点集合A1，即超声像素点集合B1的属性与可见光像素点集合A1的属性相同。第二类集合中的第一超声像素点集合不具有相同属性的第一可见光像素点集合，第二类集合可以为空，即不存在超声像素点集合，比如说，第二类集合包括超声像素点集合B2，超声像素点集合B2的属性与所有可见光像素点集合的属性均不相同。

步骤506、对超声图像进行还原得到该超声图像对应的彩色超声图像。

在一种可能的实施方式中，超声图像的还原过程可以包括：

步骤5061、确定第一超声像素点集合内的各个像素点的目标颜色值。

情况1：针对第一超声像素点集合，若属于第一类集合，即存在具有相同属性的第一可见光像素点集合，则基于第一可见光像素点集合内的各个像素点的颜色值，确定该第一超声像素点集合内的各个像素点的目标颜色值。

首先，基于第一可见光像素点集合内的各个像素点的颜色值，可以对所有像素点的颜色值进行聚类，得到K个聚类簇的中心颜色特征。其中，K可以为正整数，K的取值可以预先配置，对此不作限制，K表示聚类簇的总数量，如K为1个时，表示只存在1个聚类簇，K为多个时，表示存在多个聚类簇。

基于第一可见光像素点集合内的各个像素点的颜色值，可以采用聚类算法对所有像素点的颜色值进行聚类，且已知聚类簇的总数量K，因此，可以得到K个聚类簇。针对每个聚类簇，该聚类簇可以包括多个颜色值，将多个颜色值的聚类中心的颜色特征作为该聚类簇的中心颜色特征(即聚类簇的中心颜色值)。

由于每个聚类簇可以对应一个中心颜色特征，那么，K个聚类簇就可以对应K个中心颜色特征，从而能够得到K个聚类簇的中心颜色特征。

然后，针对该第一超声像素点集合内的每个像素点，可以基于该像素点在超声图像的灰度值和K个中心颜色特征，确定该像素点的目标颜色值。

比如说，将该像素点在超声图像的灰度值记为I，将K个中心颜色特征记为X(如中心颜色特征X可以为X1、X2、...、XK)，将该像素点的目标颜色值记为S，那么，可以采用如下色彩还原公式确定该像素点的目标颜色值：S＝F(I，X)。其中，F可以为转换函数或转换模型，对此不作限制，可以预先配置。

显然，在将该像素点的灰度值I和K个中心颜色特征X代入转换函数或转换模型F之后，就可以得到该像素点的目标颜色值S，对此过程不作限制。

在一种可能的实施方式中，可以采用基于最短距离和色度混合的彩色化算法，确定像素点的目标颜色值。比如说，可以将像素点的灰度值I和K个中心颜色特征X作为基于最短距离和色度混合的彩色化算法的输入，基于最短距离和色度混合的彩色化算法可以定义转换函数或转换模型F，由基于最短距离和色度混合的彩色化算法输出该像素点的目标颜色值S，对此过程不作限制。

可以采用基于颜色转移的彩色化算法确定像素点的目标颜色值。比如说，可以将像素点的灰度值I和K个中心颜色特征X作为基于颜色转移的彩色化算法的输入，基于颜色转移的彩色化算法可以定义转换函数或转换模型F，由基于颜色转移的彩色化算法输出该像素点的目标颜色值S，对此过程不作限制。

可以采用基于分裂式分级距离的颜色传递法确定像素点的目标颜色值。比如说，将像素点的灰度值I和K个中心颜色特征X作为基于分裂式分级距离的颜色传递法的输入，基于分裂式分级距离的颜色传递法可以定义转换函数或转换模型F，由基于分裂式分级距离的颜色传递法输出该像素点的目标颜色值S。

可以采用基于高斯金字塔的多尺度彩色转化算法确定像素点的目标颜色值，将像素点的灰度值I和K个中心颜色特征X作为基于高斯金字塔的多尺度彩色转化算法的输入，基于高斯金字塔的多尺度彩色转化算法定义转换函数或转换模型F，由基于高斯金字塔的多尺度彩色转化算法输出该像素点的目标颜色值S。

可以采用深度学习算法确定像素点的目标颜色值。比如说，可以将像素点的灰度值I和K个中心颜色特征X输入给已训练的色彩还原网络，由色彩还原网络输出该像素点的目标颜色值S。色彩还原网络内部可以定义转换函数或转换模型F，在得到像素点的灰度值I和K个中心颜色特征X之后，可以基于转换函数或转换模型F得到该像素点的目标颜色值S，对此过程不作限制。其中，色彩还原网络的网络结构可以包括但不限于VGG(VisualGeometry Group，视觉几何图形组)模型、ResNet(残差网络)模型、GAN(GenerativeAdversarial Networks，生成式对抗网络)模型、U-Net模型等，对此网络结构不作限制。

当然，上述只是几个示例，对此不作限制，只要像素点的灰度值I和K个中心颜色特征X作为输入时，能够得到像素点的目标颜色值S即可。

综上所述，针对第一超声像素点集合内的每个像素点，在基于该像素点的灰度值和K个中心颜色特征进行上述处理后，得到每个像素点的目标颜色值。

示例性的，第一可见光像素点集合内的各个像素点的颜色值可以是RGB色彩空间的RGB值，因此，对所有像素点的R值进行聚类，得到K个聚类簇的中心R颜色特征，对所有像素点的G值进行聚类，得到K个聚类簇的中心G颜色特征，对所有像素点的B值进行聚类，得到K个聚类簇的中心B颜色特征。

针对第一超声像素点集合内每个像素点，基于该像素点的灰度值和K个中心R颜色特征，可以采用上述算法(如基于最短距离和色度混合的彩色化算法、基于颜色转移的彩色化算法、分裂式分级距离的颜色传递法、高斯金字塔的多尺度彩色转化算法、深度学习算法)确定该像素点的R颜色值，基于该像素点的灰度值和K个中心G颜色特征，可以采用上述算法确定该像素点的G颜色值，基于该像素点的灰度值和K个中心B颜色特征，可以采用上述算法确定该像素点的B颜色值，这样，可以将该像素点的R颜色值、G颜色值和B颜色值组成该像素点的目标颜色值，即目标颜色值包括R颜色值、G颜色值和B颜色值。

示例性的，还可以对第一可见光像素点集合内的各个像素点的RGB值进行转换，得到YUV空间的U通道值和V通道值，可以对所有像素点的U通道值进行聚类，得到K个聚类簇的中心U通道特征，对所有像素点的V通道值进行聚类，得到K个聚类簇的中心V通道特征。在采用上述算法确定该像素点的R颜色值、G颜色值和B颜色值时，可以将K个中心U通道特征和K个中心V通道特征作为该算法的输入，即算法参考K个中心U通道特征和K个中心V通道特征，确定该像素点的R颜色值、G颜色值和B颜色值，对此过程不作限制。

示例性的，还可以对第一可见光像素点集合内的各个像素点的RGB值进行转换，得到LAB空间的A通道值和B通道值，可以对所有像素点的A通道值进行聚类，得到K个聚类簇的中心A通道特征，对所有像素点的B通道值进行聚类，得到K个聚类簇的中心B通道特征。在采用上述算法确定该像素点的R颜色值、G颜色值和B颜色值时，可以将K个中心A通道特征和K个中心B通道特征作为该算法的输入，即算法参考K个中心A通道特征和K个中心B通道特征，确定该像素点的R颜色值、G颜色值和B颜色值，对此过程不作限制。

情况2：针对第一超声像素点集合，若属于第二类集合，即不存在具有相同属性的第一可见光像素点集合，则确定第一超声像素点集合对应的属性对应的固定颜色值，并基于该固定颜色值确定该第一超声像素点集合内的各个像素点的目标颜色值；其中，预先配置有属性与固定颜色值的映射关系，该映射关系用于确定第一超声像素点集合对应的属性对应的固定颜色值。

示例性的，可以预先配置属性与固定颜色值的映射关系，即对属性进行初始化赋值，比如说，肝(属性)是紫红色(固定颜色值)、器械头是银白色等，对此映射关系不作限制，可以根据经验配置属性与固定颜色值的映射关系。

若第一超声像素点集合属于第二类集合，则通过第一超声像素点集合对应的属性查询该映射关系，得到第一超声像素点集合对应的固定颜色值，将固定颜色值作为第一超声像素点集合的中心颜色特征。比如说，属性对应K个固定颜色值，可以将K个固定颜色值作为第一超声像素点集合的K个中心颜色特征。

针对第一超声像素点集合内的每个像素点，可以基于该像素点在超声图像的灰度值和K个中心颜色特征(即K个固定颜色值)，确定该像素点的目标颜色值。比如说，将该像素点在超声图像的灰度值记为I，将K个中心颜色特征记为X，将该像素点的目标颜色值记为S，可以采用如下色彩还原公式确定该像素点的目标颜色值：S＝F(I，X)，F可以为转换函数或转换模型。显然，在将该像素点的灰度值I和K个中心颜色特征X代入转换函数或转换模型F之后，就可以得到该像素点的目标颜色值S，该过程可以参见情况1，在此不再重复赘述。

示例性的，属性对应的固定颜色值可以包括固定R颜色特征、固定G颜色特征和固定B颜色特征，针对第一超声像素点集合内的每个像素点，基于该像素点的灰度值和K个固定R颜色特征确定该像素点的R颜色值，基于该像素点的灰度值和K个固定G颜色特征确定该像素点的G颜色值，基于该像素点的灰度值和K个固定B颜色特征确定该像素点的B颜色值，这样，可以将该像素点的R颜色值、G颜色值和B颜色值组成该像素点的目标颜色值。

至此完成步骤5061，得到第一超声像素点集合内各个像素点的目标颜色值。

步骤5062、基于第一超声像素点集合(如所有第一超声像素点集合)内的各个像素点的目标颜色值对该超声图像进行还原，得到该超声图像对应的彩色超声图像。比如说，第一超声像素点集合内各个像素点的目标颜色值就是超声图像内每个像素点的目标颜色值，可以将第一超声图像内的每个像素点的目标颜色值组成彩色超声图像，即该彩色超声图像包括每个像素点的目标颜色值。

至此，完成步骤506，得到超声图像对应的彩色超声图像，并输出彩色超声图像，如通过存储装置存储彩色超声图像、通过显示装置显示彩色超声图像等。

步骤507、基于彩色超声图像生成目标超声图像，并显示该目标超声图像。

在一种可能的实施方式中，可以预先定义超声图像的显示方式，若该显示方式为全局彩色显示，且全局彩色显示是将超声图像的全部区域进行彩色显示，则可以将该彩色超声图像确定为目标超声图像，即直接显示彩色超声图像。

在一种可能的实施方式中，可以预先定义超声图像的显示方式，若该显示方式为自定义属性显示，自定义属性显示是通过获取自定义的属性，对超声图像中具有该属性的区域进行彩色显示，其它区域仍为灰度显示，则可以基于该超声图像和该彩色超声图像生成目标超声图像，并显示该目标超声图像；其中，该目标超声图像可以包括第一图像区域和第二图像区域，该第一图像区域内各个像素点的像素值可以是来源于该彩色超声图像的颜色值，该第二图像区域内各个像素点的像素值可以是来源于该超声图像的灰度值。

比如说，可以获取已配置的候选属性，如用户自定义的属性作为候选属性，对此候选属性的来源不作限制，表示对候选属性的区域进行彩色显示。然后，确定该候选属性对应的超声像素点集合，将目标超声图像中的该超声像素点集合内所有像素点对应的区域确定为第一图像区域，且第一图像区域内各个像素点的像素值是来源于彩色超声图像的颜色值。此外，将目标超声图像中的除该第一图像区域之外的区域确定为第二图像区域，且第二图像区域内各个像素点的像素值可以是来源于超声图像的灰度值。

在一种可能的实施方式中，可以预先定义超声图像的显示方式，若该显示方式为感兴趣区域(ROI，Region of Interesting)自动显示，感兴趣区域自动显示是主动区分超声图像中的重要区域(即感兴趣区域)，并对超声图像中的感兴趣区域进行彩色显示，超声图像中的非感兴趣区域仍为灰度显示，则可以基于该超声图像和该彩色超声图像生成目标超声图像，并显示该目标超声图像；其中，该目标超声图像可以包括第一图像区域和第二图像区域，该第一图像区域内各个像素点的像素值可以是来源于该彩色超声图像的颜色值，该第二图像区域内各个像素点的像素值可以是来源于该超声图像的灰度值。

比如说，可以获取感兴趣区域，感兴趣区域可以是“高回声”区域(即灰度值大于预设阈值的区域)，感兴趣区域也可以是预先指定的属性区域，如器官区域、神经区域等，对此感兴趣区域不作限制，可以预先约定感兴趣区域的区域特征，可以基于该区域特征从目标超声图像中确定出感兴趣区域。

在确定出感兴趣区域之后，将目标超声图像中的该感兴趣区域确定为第一图像区域，且第一图像区域内各个像素点的像素值是来源于彩色超声图像的颜色值。将目标超声图像中的除该第一图像区域之外的区域确定为第二图像区域，且第二图像区域内各个像素点的像素值可以是来源于超声图像的灰度值。

由以上技术方案可见，可以基于可见光图像对超声图像进行还原得到彩色超声图像，即将可见光图像的颜色映射到超声图像上，进而重建超声图像的颜色，恢复超声图像各区域的真实色彩，具有更好的图像效果，提升超声图像的分辨能力，更好的帮助医生准确诊断。通过建立可见光图像颜色信息与超声图像相应区域的对应关系模型，将可见光图像的颜色映射到超声图像上，进而重建超声图像的颜色。支持全局彩色显示、自定义属性显示、感兴趣区域自动显示等多种方式，可以灵活的满足显示需求，帮助医生准确快速的识图诊断。

基于与上述方法同样的申请构思，本申请实施例中提出一种图像处理装置，参见图7所示，为所述装置的结构示意图，所述装置可以包括：

获取模块71，用于获取可见光图像和超声图像，其中，所述可见光图像和所述超声图像是针对同一目标组织的图像；

处理模块72，用于分别提取所述可见光图像的处理对象和所述超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，所述可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N为正整数；

确定模块73，用于查找与第一超声像素点集合匹配的第一可见光像素点集合，第一可见光像素点集合对应的处理对象与所述第一超声像素点集合对应的处理对象的属性相同，第一超声像素点集合是N个超声像素点集合中任一个；

重建模块74，用于基于所述第一可见光像素点集合内的各个像素点的颜色值对第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。

示例性的，所述处理模块72提取所述可见光图像的处理对象，得到M个可见光像素点集合时具体用于：对所述可见光图像进行语义分割，输出每个像素点的属性；或者，对所述可见光图像和已获取的场景类别进行语义分割，输出每个像素点的属性；其中，所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；基于每个像素点的属性对所有像素点进行聚类得到M个可见光像素点集合；其中，对应同一属性的多个像素点被聚类到同一可见光像素点集合，对应不同属性的多个像素点被聚类到不同可见光像素点集合。

示例性的，所述处理模块72提取所述超声图像的处理对象，得到N个超声像素点集合时具体用于：对所述超声图像和已获取的场景类别进行语义分割，输出每个像素点的属性；所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；基于每个像素点的属性对所有像素点进行聚类得到N个超声像素点集合；其中，对应同一属性的多个像素点被聚类到同一超声像素点集合，对应不同属性的多个像素点被聚类到不同超声像素点集合。

示例性的，所述确定模块73，还用于若没有查找到所述第一超声像素点集合匹配的第一可见光像素点集合，则查找所述第一超声像素点集合对应的属性对应的固定颜色值；所述重建模块，还用于基于所述固定颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像；其中，预先配置有属性与固定颜色值之间的映射关系。

示例性的，所述重建模块74基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像时具体用于：基于所述第一可见光像素点集合内的各个像素点的颜色值，对所有像素点的颜色值进行聚类，得到K个聚类簇的中心颜色特征，K为正整数；针对所述第一超声像素点集合内的每个像素点，基于该像素点在所述超声图像的灰度值和所述K个中心颜色特征，确定该像素点的目标颜色值；基于每个第一超声像素点集合内的各个像素点的目标颜色值对所述超声图像进行还原，得到所述超声图像对应的彩色超声图像。

示例性的，所述重建模块74，还用于显示所述彩色超声图像；或者，基于所述超声图像和所述彩色超声图像显示目标超声图像；其中，所述目标超声图像包括第一图像区域和第二图像区域，所述第一图像区域内各个像素点的像素值是来源于所述彩色超声图像的颜色值，所述第二图像区域内各个像素点的像素值是来源于所述超声图像的灰度值。

示例性的，所述重建模块74，还用于获取已配置的候选属性，并确定所述候选属性对应的超声像素点集合；将目标超声图像中该超声像素点集合内所有像素点对应的区域确定为所述第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为所述第二图像区域；或，所述重建模块，还用于获取感兴趣区域，将目标超声图像中的感兴趣区域确定为所述第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为所述第二图像区域。

基于与上述方法同样的申请构思，本申请实施例中提出一种电子设备，参见图8所示，电子设备可以包括：处理器81和机器可读存储介质82，机器可读存储介质82存储有能够被处理器81执行的机器可执行指令；处理器81用于执行机器可执行指令，以实现本申请上述示例公开的图像处理方法。

基于与上述方法同样的申请构思，本申请实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被处理器执行时，能够实现本申请上述示例公开的图像处理方法。

其中，上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(Radom Access Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

而且，这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图像处理方法，其特征在于，所述方法包括：

获取可见光图像和超声图像，其中，所述可见光图像和所述超声图像是针对同一目标组织的图像；

分别提取所述可见光图像的处理对象和所述超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，其中，所述可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，所述超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N为正整数；

查找与第一超声像素点集合匹配的第一可见光像素点集合，所述第一可见光像素点集合对应的处理对象与所述第一超声像素点集合对应的处理对象的属性相同，所述第一超声像素点集合是N个超声像素点集合中任一个；

基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。

2.根据权利要求1所述的方法，其特征在于，

提取所述可见光图像的处理对象，得到M个可见光像素点集合，包括：

对所述可见光图像进行语义分割，输出每个像素点的属性；或者，对所述可见光图像和已获取的场景类别进行语义分割，输出每个像素点的属性；其中，所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；

基于每个像素点的属性对所有像素点进行聚类得到M个可见光像素点集合；其中，对应同一属性的多个像素点被聚类到同一可见光像素点集合，对应不同属性的多个像素点被聚类到不同可见光像素点集合。

3.根据权利要求1所述的方法，其特征在于，

提取所述超声图像的处理对象，得到N个超声像素点集合，包括：

对所述超声图像和已获取的场景类别进行语义分割，输出每个像素点的属性；所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；

基于每个像素点的属性对所有像素点进行聚类得到N个超声像素点集合；其中，对应同一属性的多个像素点被聚类到同一超声像素点集合，对应不同属性的多个像素点被聚类到不同超声像素点集合。

4.根据权利要求1所述的方法，其特征在于，所述基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像之前，所述方法还包括：

若没有查找到第一超声像素点集合匹配的第一可见光像素点集合，则查找所述第一超声像素点集合对应的属性对应的固定颜色值，基于所述固定颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像；

其中，预先配置有属性与固定颜色值之间的映射关系。

5.根据权利要求1所述的方法，其特征在于，

所述基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像，包括：

基于所述第一可见光像素点集合内的各个像素点的颜色值，对所有像素点的颜色值进行聚类，得到K个聚类簇的中心颜色特征，K为正整数；

针对所述第一超声像素点集合内的每个像素点，基于该像素点在所述超声图像的灰度值和所述K个中心颜色特征，确定该像素点的目标颜色值；

基于每个第一超声像素点集合内的各个像素点的目标颜色值对所述超声图像进行还原，得到所述超声图像对应的彩色超声图像。

6.根据权利要求1所述的方法，其特征在于，所述基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像之后，所述方法还包括：

显示所述彩色超声图像；

或者，基于所述超声图像和所述彩色超声图像显示目标超声图像；其中，所述目标超声图像包括第一图像区域和第二图像区域，所述第一图像区域内各个像素点的像素值是来源于所述彩色超声图像的颜色值，所述第二图像区域内各个像素点的像素值是来源于所述超声图像的灰度值。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

获取已配置的候选属性，并确定所述候选属性对应的超声像素点集合；将目标超声图像中该超声像素点集合内所有像素点对应的区域确定为第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为第二图像区域；或，

获取感兴趣区域，将目标超声图像中的感兴趣区域确定为第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为第二图像区域。

8.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取可见光图像和超声图像，其中，所述可见光图像和所述超声图像是针对同一目标组织的图像；

处理模块，用于分别提取所述可见光图像的处理对象和所述超声图像的处理对象，得到M个可见光像素点集合和N个超声像素点集合，所述可见光像素点集合包括具有相同属性的处理对象的多个可见光图像像素点，所述超声像素点集合包括具有相同属性的处理对象的多个超声图像像素点，M和N为正整数；

确定模块，用于查找与第一超声像素点集合匹配的第一可见光像素点集合，所述第一可见光像素点集合对应的处理对象与所述第一超声像素点集合对应的处理对象的属性相同，第一超声像素点集合是N个超声像素点集合中任一个；

重建模块，用于基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像。

9.根据权利要求8所述的装置，其特征在于，

其中，所述处理模块提取所述可见光图像的处理对象，得到M个可见光像素点集合时具体用于：对所述可见光图像进行语义分割，输出每个像素点的属性；或者，对所述可见光图像和已获取的场景类别进行语义分割，输出每个像素点的属性；其中，所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；基于每个像素点的属性对所有像素点进行聚类得到M个可见光像素点集合；其中，对应同一属性的多个像素点被聚类到同一可见光像素点集合，对应不同属性的多个像素点被聚类到不同可见光像素点集合；

其中，所述处理模块提取所述超声图像的处理对象，得到N个超声像素点集合时具体用于：对所述超声图像和已获取的场景类别进行语义分割，输出每个像素点的属性；所述场景类别对应多个属性，像素点的属性是所述多个属性中的一种；基于每个像素点的属性对所有像素点进行聚类得到N个超声像素点集合；其中，对应同一属性的多个像素点被聚类到同一超声像素点集合，对应不同属性的多个像素点被聚类到不同超声像素点集合；

其中，所述确定模块，还用于若没有查找到所述第一超声像素点集合匹配的第一可见光像素点集合，则查找所述第一超声像素点集合对应的属性对应的固定颜色值；所述重建模块，还用于基于所述固定颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像；其中，预先配置有属性与固定颜色值之间的映射关系；

其中，所述重建模块基于所述第一可见光像素点集合内的各个像素点的颜色值对所述第一超声像素点集合进行处理，得到所述超声图像对应的彩色超声图像时具体用于：基于所述第一可见光像素点集合内的各个像素点的颜色值，对所有像素点的颜色值进行聚类，得到K个聚类簇的中心颜色特征，K为正整数；针对所述第一超声像素点集合内的每个像素点，基于该像素点在所述超声图像的灰度值和所述K个中心颜色特征，确定该像素点的目标颜色值；基于每个第一超声像素点集合内的各个像素点的目标颜色值对所述超声图像进行还原，得到所述超声图像对应的彩色超声图像；

其中，所述重建模块，还用于显示所述彩色超声图像；或者，基于所述超声图像和所述彩色超声图像显示目标超声图像；其中，所述目标超声图像包括第一图像区域和第二图像区域，所述第一图像区域内各个像素点的像素值是来源于所述彩色超声图像的颜色值，所述第二图像区域内各个像素点的像素值是来源于所述超声图像的灰度值；

其中，所述重建模块，还用于获取已配置的候选属性，并确定所述候选属性对应的超声像素点集合；将目标超声图像中该超声像素点集合内所有像素点对应的区域确定为所述第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为所述第二图像区域；或，所述重建模块，还用于获取感兴趣区域，将目标超声图像中的感兴趣区域确定为所述第一图像区域，将目标超声图像中除第一图像区域之外的区域确定为所述第二图像区域。

10.一种电子设备，其特征在于，包括：处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现权利要求1-7任一所述的方法。