CN115880208A - 图像处理方法、图像处理装置及医疗设备 - Google Patents
图像处理方法、图像处理装置及医疗设备 Download PDFInfo
- Publication number
- CN115880208A CN115880208A CN202111136769.2A CN202111136769A CN115880208A CN 115880208 A CN115880208 A CN 115880208A CN 202111136769 A CN202111136769 A CN 202111136769A CN 115880208 A CN115880208 A CN 115880208A
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- texture
- information
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
本申请提供一种图像处理方法、图像处理装置及医疗设备,该图像处理方法包括:获取待处理图像,待处理图像为医学图像;基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,每次迭代过程包括以下步骤:获取输入到处理模型的待处理图像的图像参数;根据图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像,其中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息;基于图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像;将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
Description
技术领域
本发明总地涉及图像处理技术领域,更具体地涉及一种图像处理方法图像处理装置及医疗设备。
背景技术
随着各种数字仪器和数码产品的普及,图像已成为人类活动中最常用的信息载体。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质,并且图像预处理算法的好坏又直接关系到后续图像处理的效果,如图像分割、目标识别、边缘提取等,所以为了获取高质量数字图像,必须要对图像进行降噪处理,而图像降噪的难点在于降低图像中噪声的同时要能够保持图像中的细节信息,这一直是图像处理和计算机视觉领域研究的热点。另一方面,还需要增强图像中的细节以便更容易地让人眼接收到。然而目前常见的图像处理算法中,绝大部分都是将图像去噪和图像增强分开处理,普遍都要消耗大量的计算资源才能取得较好的结果,从而使得这些处理算法不适宜应用于一些计算资源十分有限的处理芯片,特别是不适宜应用于现场可编程逻辑门阵列(FieldProgrammable Gate Array,简称FPGA)。
鉴于上述问题的存在,本申请提出一种新的图像处理方法、图像处理装置及医疗设备。
发明内容
为了解决上述问题中的至少一个而提出了本发明。
本申请第一方面提供一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像为医学图像;
基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,每次所述迭代过程包括以下步骤:
获取输入到所述处理模型的待处理图像的图像参数;
根据所述图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像,其中,所述细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息;
基于所述图像参数对所述待处理图像进行去噪处理,以获得滤噪后的去噪图像;
将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
可选地,所述处理模型通过迭代参数对所述待处理图像进行处理,所述迭代参数包括第一参数、第二参数、第三参数中的至少一项,其中,所述第一参数用于控制去噪的强度项对去噪图像的贡献度,所述第二参数用于控制去噪的锐化项对去噪图像的贡献度,所述第三参数用于控制锐化的补充项对去噪图像的贡献度。
可选地,每次迭代的待处理图像对应的所述图像参数包括待处理图像的总梯度和待处理图像在法向上的梯度。
可选地,当待处理图像为RGB彩色空间的图像时,所述方法还包括:
将所述待处理图像从所述RGB颜色空间转换至第一颜色空间,以获得第一颜色空间下的转换图像;
提取所述转换图像的图像信息,其中,所述转换图像的图像信息包括亮度分量的像素矩阵和色度分量的像素矩阵。
可选地,所述基于预设的处理模型对待处理图像进行至少两次迭代过程,包括:
将所述转换图像作为待处理图像输入所述处理模型进行初次迭代,得到初始迭代图像;
将所述初始迭代图像作为更新后的待处理图像,输入所述处理模型进行二次迭代,得到次级迭代图像。
可选地,所述将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:
获取每次迭代所对应获得的各初始细节纹理图像,将各初始细节纹理图像融合,获得纹理清晰的目标细节图像;
将所述目标细节图像和去噪图像进行融合,以获得经过处理的、纹理清晰的医学图像。
可选地,所述目标细节图像的图像信息中包括有亮度分量的第一像素矩阵,所述去噪图像的图像信息中包括有亮度分量的第二像素矩阵,所述将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:
将所述第一像素矩阵和第二像素矩阵融合,以获得融合后的亮度分量的融合像素矩阵;
将所述融合像素矩阵和所述转换图像的色度分量的像素矩阵合成为在第一颜色空间中的合成图像矩阵;
将所述合成图像矩阵从所述第一颜色空间转换到RGB颜色空间中,以获得经过处理的、纹理清晰的医学图像。
本申请第一方面提供一种图像处理方法,所述方法包括:
获取待处理图像,所述待处理图像包括医学图像;
基于预设的处理模型获取所述待处理图像的图像参数;
基于所述图像参数提取所述待处理图像的细节纹理信息,以获得细节纹理图像,其中,所述细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息;
基于所述图像参数对所述待处理图像进行去噪处理,以获得滤噪后的去噪图像;
将所述细节纹理图像和所述去噪图像进行融合,以获得经过处理的、纹理清晰的医学图像。
本申请第三方面提供一种图像处理装置,包括:
存储器,用于存储可执行的程序指令;
处理器,还用于执行所述存储器中存储的所述程序指令,使得所述处理器执行前文所述的图像处理方法。
可选地,所述图像处理装置还包括显示器,所述显示器用于显示所述医学图像。
本申请第四方面提供一种医疗设备,所述医疗设备包括:
图像采集装置,用于采集目标对象的待观察部位的图像,以获得原始的待处理图像;
前文所述的图像处理装置。
具体地,本申请第一方面和第二方面提供的图像处理方法,具有以下优点:
1、该方法通过预设的处理模型提取图像参数,并将该图像参数应用于去噪和细节纹理提取,从而使得图像的降噪过程和图像的细节纹理增强过程融合在一起同时进行,减少运算量,并且还能够获得很好的去噪效果和细节纹理增强的效果;
2、由于本申请的降噪过程和细节纹理增强过程融合在一起同时进行,相比将降噪过程和细节纹理增强分开进行的方法,本申请的方法无需耗费过多的计算资源就可以实现,能够部署在一些计算资源有限的处理芯片上,例如部署在单片FPGA芯片上。
本申请第三方面提供一种图像处理装置,由于该装置能够执行前述的图像处理方法,因此具有和前述的图像处理方法大体相同的优点。
本申请第四方面提供一种医疗设备,由于该医疗设备包括前述的图像处理装置,图像处理装置能够执行前述的图像处理方法,因此医疗设备具有和前述的图像处理方法大体相同的优点。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例中的图像处理装置的示意性框图;
图2示出了本发明一个实施例中的图像处理方法的流程图;
图3示出了本发明一个实施例中的图像处理方法中的每次迭代过程包括的步骤的流程图;
图4示出了本发明另一个实施例中的图像处理方法的流程图;
图5示出了本发明一个实施例中的内窥镜系统的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显,下面将参照附图详细描述根据本发明的示例实施例。显然,所描述的实施例仅仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例,本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。在其他的例子中,为了避免与本发明发生混淆,对于本领域公知的一些技术特征未进行描述。
应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使公开彻底和完全,并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时,单数形式的“一”、“一个”和“所述/该”也意图包括复数形式,除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”,当在该说明书中使用时,确定所述特征、整数、步骤、操作、元件和/或部件的存在,但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时,术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明,将在下列的描述中提出详细的图像处理方法及装置,以便阐释本发明提出的技术方案。本发明的可选实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。
具体地,下面结合附图,对本申请的图像处理方法及装置进行详细说明。在不冲突的情况下,下述的实施例及实施方式中的特征可以相互组合。
下面,参考附图1对本发明一个实施例中的图像处理装置进行描述。
如图1所示,图像处理装置100包括一个或多个处理器101、存储器102、显示器103、以及通信接口(未示出)等。这些组件通过总线系统和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的图像处理装置100的组件和结构只是示例性的,而非限制性的,根据需要,图像处理装置100也可以具有其他组件和结构。
存储器102用于存储相关图像处理过程中产生的各种数据和可执行程序,例如用于存储图像处理装置的系统程序、各种应用程序或实现各种具体功能的算法。可以包括一个或多个计算机程序产品,计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。
处理器101可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元,并且可以控制监护系统中的其它组件以执行期望的功能。例如,处理器能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)、图像处理单元(GPU)或它们的组合。
处理器101可以用于执行存储器中存储的程序指令,使得处理器执行下文中的图像处理方法,具体地图像处理方法将在下文中描述。
在一个示例中,图像处理装置100还包括通信接口(未示出),用于图像处理装置100中各个组件之间以及图像处理装置100的各个组件和该系统之外的其他装置(例如远程设备)之间进行通信。
通信接口可以是目前已知的任意通信协议的接口,例如有线接口或无线接口,其中,通信接口可以包括一个或者多个串口、USB接口、以太网端口、WiFi、有线网络、DVI接口,设备集成互联模块或其他适合的各种端口、接口,或者连接。图像处理装置100还可以接入基于通信标准的无线网络,如WiFi、2G、3G、4G、5G或它们的组合。在一个示例性实施例中,通信接口经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信接口还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在一个示例中,图像处理装置100还包括输入装置(未示出),输入装置可以是用户用来输入指令的装置,并且可以包括键盘、轨迹球、鼠标、麦克风和触摸屏等中的一个或多个,或其它控制按钮构成的输入装置。
本发明实施例的图像处理装置100还包括输出装置,其可以向外部(例如用户)输出各种信息(例如图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
在一个示例中,图像处理装置100还包括一个或多个显示器103,显示器至少用于显示任意的可视化信息,例如下文中的待处理图像、经过处理的、纹理清晰的医学图像、图像参数调整界面等。
图像处理装置100还可以包括用户界面,图像处理装置100的用户可以通过用户界面控制图像处理装置100的操作。用户界面可以包括显示器103,其可以包括允许用户由显示器103向图像处理装置100输入操作指令的触摸屏,和/或包含一个或多个控制面板等,用户可以通过控制面板控制监护系统的操作。
需说明的是,上述图像处理装置100可以作为下文中图像处理方法的执行主体。该图像处理装置100可以是医疗设备的一部分,该医疗设备包括但不限于任意能够获取到目标对象的医用图像的设备,例如内窥镜系统等,或者,图像处理装置100还可以是与医疗设备通信连接的计算机装置的全部或者部分。
随着各种数字仪器和数码产品的普及,图像已成为人类活动中最常用的信息载体。然而在图像的获取、传输和存贮过程中常常会受到各种噪声的干扰和影响而使图像降质,并且图像预处理算法的好坏又直接关系到后续图像处理的效果,如图像分割、目标识别、边缘提取等,所以为了获取高质量数字图像,必须要对图像进行降噪处理,而图像降噪的难点在于降低图像中噪声的同时要能够保持图像中的细节信息,这一直是图像处理和计算机视觉领域研究的热点。另一方面,还需要增强图像中的细节以便更容易地让人眼接收到。然而目前常见的图像处理算法中,绝大部分都是将图像去噪和图像增强分开处理,普遍都要消耗大量的计算资源才能取得较好的结果,近几年来边缘计算的兴起,使得低功耗、高速并行计算的优势越来越突出,尤其在移动式和便携式设备上得到了充分的应用,但是FPGA的计算资源是十分有限的,这使得目前常见的图像处理算法在FPGA中的应用效果不理想。因此,如何在FPGA上实现高质量的图像去噪和图像增强效果成为当今技术市场中的一个迫切需求。
鉴于上述问题的存在,本申请提出一种图像处理方法,包括:首先,获取待处理图像,待处理图像为医学图像;接着,基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,每次迭代过程包括以下步骤:获取输入到处理模型的待处理图像的图像参数;根据图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像,其中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息;基于处理模型和图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像;最后,将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
下面,参考图2至图4对本申请的图像处理方法进行描述,其中,图2示出了本发明一个实施例中的图像处理方法的流程图;图3示出了本发明一个实施例中的图像处理方法中的每次迭代过程包括的步骤的流程图;图4示出了本发明另一个实施例中的图像处理方法的流程图。
在一个实施例中,首先,如图2所示,在步骤S210,获取待处理图像。
该待处理图像可以是原始待处理图像,该原始待处理图像还未经过后续的任何的迭代过程,该原始待处理图像可以是基于图像采集装置采集的目标对象的组织区域图像,或者可以是基于其他成像装置获得的目标对象的组织区域图像。例如,原始待处理图像是基于内窥镜系统的摄像系统拍摄获得的。目标对象的组织区域可以是目标对象的待检查组织(也称待观察部位)的部分区域,例如待检查组织可以是肠道、胃等。
该原始待处理图像可以为含有真实噪声的RGB彩色空间的图像,或者其他颜色空间的图像。
接着,继续如图2所示,在步骤S220,基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像。
在一个示例中,本申请的图像处理方法还包括:提取待处理图像的亮度分量的像素矩阵和色度分量的像素矩阵的步骤。可选地,当待处理图像为RGB彩色空间的图像时,本申请的方法还包括:将待处理图像(例如前文中的原始待处理图像)从RGB颜色空间转换至第一颜色空间,以获得第一颜色空间下的转换图像;提取转换图像的图像信息,其中,转换图像的图像信息包括亮度分量的像素矩阵和色度分量的像素矩阵,可选地,色度分量的像素矩阵还包括Cb分量的像素矩阵和Cr分量的像素矩阵,可选地,第一颜色空间包括YCbCr颜色空间,或者其他的能够将亮度分量和色度分量相分离开的颜色空间。颜色空间以及亮度分量和色度分量的提取等步骤可以是在迭代过程中进行,也可以是在迭代之前进行,例如在第一次迭代之前进行。
可以采用本领域技术人员熟知的任意适合的方法将待处理图像的颜色空间从RGB颜色空间转换至YCbCr颜色空间,例如可以通过以下公式进行转换:
Y=0.257*R+0.564*G+0.098*B+16
Cb=-0.148*R-0.291*G+0.439*B+128
Cr=0.439*R-0.368*G-0.071*B+128
值得一提的是,本申请中亮度分量的像素矩阵,指的是整张图像的所有像素单元的亮度分量值所组成的矩阵。
在一个示例中,基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,包括:基于预设的处理模型对亮度分量的像素矩阵进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像。
可选地,预设的处理模型可以是任意的可以用于去噪的处理模型,例如偏微分方程等。基于该预设的处理模型可以在对输入图像进行滤噪的同时获取待处理图像的图像参数。
可选地,如图3所示,每次迭代过程包括以下步骤S221至步骤S223:在步骤S221中,获取输入到处理模型的待处理图像的图像参数,在步骤S222中,根据图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像;在步骤S223中,基于图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像。
值得一提的是,步骤S221至步骤S223的顺序在不冲突的前提下,可以交换或者还可以同时进行,例如,在步骤S221之后进行步骤S223,再例如,再例如步骤S221和步骤S223可以同时进行,也即,获取输入到处理模型的待处理图像的图像参数的同时根据图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像,或者,还可以是步骤S221和步骤S223均基于处理模型进行,例如基于处理模型对待处理图像进行去噪处理,以获得滤噪后的去噪图像,并同时基于该处理模型获取输入到处理模型的待处理图像的图像参数。
可选地,预设的处理模型可以是任意的可以用于去噪的处理模型,例如偏微分方程等。
在一个示例中,基于预设的处理模型对待处理图像进行至少两次迭代过程,包括:将转换图像作为待处理图像输入处理模型进行初次迭代,得到初始迭代图像;将初始迭代图像作为更新后的待处理图像,输入处理模型进行二次迭代,得到次级迭代图像。也即第一次迭代过程的待处理图像为转换图像,且前一次迭代过程滤噪后的去噪图像作为后一次迭代过程输入到处理模型中的待处理图像,第一次迭代过程的待处理图像为转换图像,例如,原始待处理图像可以为含有真实噪声的RGB彩色空间的图像,将待处理图像(例如原始待处理图像)的颜色空间从RGB颜色空间转换至第一颜色空间,以获得第一颜色空间下的转换图像。
例如可以基于以下去噪锐化偏微分方程(公式(1)),在对待处理图像去噪的同时获取图像参数:
值得一提的是,输入图像可以对应包括输入图像的亮度分量的像素矩阵,输出图像则对应包括输出图像的亮度分量的像素矩阵。
可选地,纹理用于表征图像或图像区域所对应目标的表面性质。在本申请中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息,或者还可以包括其他的纹理信息。
在步骤S222中,可以基于任意适合的方法基于图像参数对待处理图像中的细节纹理信息进行提取,以获得初始细节纹理图像,例如可以基于统计方法、几何方法、模型方法、信号处理方法等,其中,统计方法可以包括灰度共生矩阵的纹理特征分析方法、图像的自相关函数、半方差图等。
在一个示例中,本申请可以基于以下图像纹理提取方程和以获得的图像参数进行提取,图像纹理提取方程的公式如下:
I表示输入图像,表示输入图像(也即每次迭代输入的待处理图像)的总梯度,表示输入图像在法向上的梯度,其中,/>为在去噪过程中获得的,因此,相比滤噪和细节纹理增强分别进行的方法,本申请利用去噪过程中获得的图像参数提取对应待处理图像中的细节纹理信息,从而获得初始细节纹理图像,该方法通过预设的处理模型提取图像参数,并将该图像参数应用于去噪和细节纹理提取,从而使得图像的降噪过程和图像的细节纹理增强过程融合在一起同时进行,减少运算量,并且还能够获得很好的去噪效果和细节纹理增强的效果,由于本申请的降噪过程和细节纹理增强过程融合在一起同时进行,相比将降噪过程和细节纹理增强分开进行的方法,本申请的方法无需耗费过多的计算资源就可以实现,能够部署在一些计算资源有限的处理芯片上,例如部署在单片FPGA芯片上。
在步骤S223中,还可以基于该图像参数和各向异性去噪方法对待处理图像进行去噪处理,以获得滤噪后的去噪图像,该各向异性去噪的方法可以是本领域技术人员熟知的任意适合的方法,例如各向异性去噪方法为基于偏微分方程的去噪方法,偏微分方程例如为前文中公式(1)所示出的偏微分方程,或者还可以是其他类型需要用到图像参数的偏微分方程等。
值得一提的是,当获取到待处理图像的亮度分量的像素矩阵后,每次对待处理图像的迭代过程则可以是对待处理图像的亮度分量的像素矩阵的迭代过程,每次迭代所获得初始细节纹理图像和去噪图像则可以均以亮度分量的像素矩阵来表征。
处理模型包括多个迭代参数,其中,在每次迭代过程中迭代参数配置为可调,迭代参数包括第一参数、第二参数、第三参数中的至少一项,其中,第一参数用于控制去噪的强度项对去噪图像的贡献度,第二参数用于控制去噪的锐化项对去噪图像的贡献度,第三参数用于控制锐化的补充项对去噪图像的贡献度。
例如处理模型包括公式(1)所示出的去噪锐化偏微分方程,则多个迭代参数也即为α、β、k、b、γ,例如,第一参数包括α,第二参数包括以下参数中的一个或多个:β、k和b,第三参数包括γ,在迭代的过程中,可以获取用户针对各个迭代参数的输入指令,调节对应的迭代参数为输入指令所指示的数值相对应的值。
用户还可以根据实际场景下想要达到的图像效果,来调整迭代参数。图像效果指的是对图像处理后所能达到的去噪效果和细节纹理增强的效果。实际应用场景中用户通常希望图像的噪声越小越好,同时图像中的细节纹理越清晰锐利越好,但是目前所有的图像处理算法其控制去噪效果的参数和控制细节纹理增强效果的参数不是完全独立的,而是相互影响的,去噪效果变强了那么细节增强就会变弱,反之亦然。因此我们在实际的应用场景中会根据具体的使用环境,在在这两个效果之间取得平衡。例如,对于本申请的方法还可以包括:根据用于采集待处理图像的医疗设备(例如内窥镜系统)的应用场景,调整迭代参数,其中,不同科室的应用场景可以对应不同的迭代参数,或者部分迭代参数相同部分不同。
迭代的次数可以是至少两次,例如可以是两次、三次、四次、五次等。每次迭代会产生一张去噪图像和一张初始细节纹理图像,若经过四次迭代,则会产生四张去噪图像和四张初始细节纹理图像。其中,由于后一次迭代通常是以前一次迭代后的去噪图像为输入图像,因此,后一次迭代后的去噪图像的去噪效果通常会好于前一次迭代。
最后,继续如图2所示,将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
由于经过前述的步骤获得了至少两张初始细节纹理图像和至少两张去噪图像,在一个示例中,将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:获取每次迭代所对应获得的各初始细节纹理图像,将各初始细节纹理图像融合,获得纹理清晰的目标细节图像;将目标细节图像和去噪图像进行融合,以经过处理的、纹理清晰的医学图像,可选地,用于融合的去噪图像可以是任意一次迭代过程获得的去噪图像,其中较佳地,用于融合的去噪图像是最后一次迭代过程获得的去噪图像。
可选地,所述目标细节图像的图像信息中包括有亮度分量的第一像素矩阵,所述去噪图像的图像信息中包括有亮度分量的第二像素矩阵,将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:将所述第一像素矩阵和第二像素矩阵融合,以获得融合后的亮度分量的融合像素矩阵,当每次迭代过程中输入图像中包括亮度分量的像素矩阵时,则获得初始细节纹理图像和去噪图像中也包括亮度分量的像素矩阵,也即用亮度分量的像素矩阵来表征初始细节纹理图像和去噪图像,那么初始细节纹理图像和去噪图像的融合也即是两者的亮度分量的像素矩阵的融合,因此,获得的可以是融合后的亮度分量的像素矩阵(也即亮度分量的融合像素矩阵)。随后,将亮度分量的融合像素矩阵和转换图像(也即前文中的转换图像)的色度分量的像素矩阵合成为在第一颜色空间中的合成图像矩阵,例如YCbCr颜色空间的图像矩阵,该图像矩阵中包括图像的各个像素单元的色度指和亮度值,合成过程也即将对应像素单元的亮度分量值和色度分量值相对应的过程;之后,将合成图像矩阵从第一颜色空间转换到RGB颜色空间中,以获得经过处理的、纹理清晰的医学图像,以获得更好的显示效果,该医学图像既得到了降噪并同时增强了其画面中的细节纹理。
随后,本申请的方法还可以包括显示经过处理的、纹理清晰的医学图像的步骤,通过向用户显示经过去噪和细节纹理增强的医学图像,用户可以从医学图像中获得更多的目标对象待观察部位的信息,从而为医生提供更好的手术观察辅助等。
在本申请的另一个实施例中,在效果允许的前提下,还可以只进行一次迭代过程。如图4所示为只进行一次迭代时本申请的图像处理方法的流程,如图4所示,本申请的图像处理方法包括以下步骤S410至步骤S450:在步骤S410中,获取待处理图像,待处理图像包括医学图像,该待处理图像为原始的待处理图像,具体地该待处理图像的细节描述可以参考前文,在此不再重复。在步骤S420中,基于预设的处理模型获取待处理图像的图像参数;在步骤S430中,基于图像参数提取待处理图像的细节纹理信息,以获得细节纹理图像,其中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息;在步骤S440中,基于图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像;在步骤S450中,将细节纹理图像和去噪图像进行融合,获得经过处理的、纹理清晰的医学图像。
本实施例的方法和前文实施例相比,仅进行一次迭代过程,具体地,本申请实施例的各个步骤的细节描述可以参考前文相关联步骤的描述,在此不再进行重复。
综上,本申请的图像处理方法具有以下优点:
1、该方法通过预设的处理模型提取图像参数,并将该图像参数应用于去噪和细节纹理提取,从而使得图像的降噪过程和图像的细节纹理增强过程融合在一起同时进行,减少了运算量,并且还能够获得很好的去噪效果和细节纹理增强的效果;
2、由于本申请的降噪过程和细节纹理增强过程融合在一起同时进行,相比将降噪过程和细节纹理增强分开进行的方法,本申请的方法无需耗费过多的计算资源就可以实现,能够部署在一些计算资源有限的处理芯片上,例如部署在单片FPGA芯片上。
继续参考图1,作为示例,本申请还提供一种图像处理装置100,包括:存储器102,其用于存储可执行的程序指令;处理器101还用于执行存储器102中存储的程序指令,使得处理器执行前文的图像处理方法,具体地图像处理方法的各个步骤的细节描述可以参考前文。
在一个示例中,处理器101还用于执行存储器102中存储的程序指令,使得处理器执行以下步骤:获取待处理图像,待处理图像为医学图像;基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,每次迭代过程包括以下步骤:获取输入到处理模型的待处理图像的图像参数;根据图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像,其中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息;基于图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像;将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
在一个示例中,处理器101还用于执行存储器102中存储的程序指令,使得处理器执行以下步骤:获取待处理图像,待处理图像包括医学图像;基于预设的处理模型获取待处理图像的图像参数;基于图像参数提取待处理图像的细节纹理信息,以获得细节纹理图像,其中,细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息;基于图像参数对待处理图像进行去噪处理,以获得滤噪后的去噪图像;将细节纹理图像和去噪图像进行融合,获得经过处理的、纹理清晰的医学图像。
本申请的图像处理装置还包括显示器,显示器用于显示目标图像。通过向用户显示经过去噪和细节纹理增强的目标图像,用户可以从目标图像中获得更多的目标对象待观察部位的信息,从而为医生提供更好的手术观察辅助等。
在一个实施例中,如图5所示,本申请还提供一种医疗设备500,医疗设备500包括图像采集装置510和前文的图像处理装置。
图像采集装置510用于采集目标对象的待观察部位的图像,以获得原始的待处理图像。图像采集装置510和图像处理装置100通信连接,从而使得图像处理装置能够获取到图像采集装置510采集的图像,并对其依照前文的图像处理方法进行处理。
该医疗设备包括但不限于任意能够获取到目标对象的医用图像的设备,例如内窥镜系统等。当医疗设备为内窥镜系统时,目标对象的待观察部位可以是肠道、胃等。
内窥镜系统的结构可以是本领域技术人员熟知的结构,例如内窥镜系统可以包括:光源、导光束、硬管内窥镜、光学卡口、摄像头、主机、显示器及总线。光源、导光束、硬管内窥镜、光学卡口、摄像头、主机及显示器可通过总线耦合。本领技术人员应当理解的是,内窥镜摄像系统还可以更多或更少的部件,或者组合某些部件,或者不同的部件,例如内窥镜摄像系统还可以包括扩张器、烟雾控制装置、输入输出设备、网络接入设备等。
另外,本发明实施例还提供了一种计算机存储介质,其上存储有计算机程序。在计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行存储装置存储的程序指令,以实现本文的本发明实施例中(由处理器实现)的功能以及/或者其它期望的功能,例如以执行根据本发明实施例的图像处理方法的相应步骤,在计算机可读存储介质中还可以存储各种应用程序和各种数据,例如应用程序使用和/或产生的各种数据等。
例如,计算机存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
综上,根据本申请的图像处理装置、医疗设备和计算机存储介质,由于均能够执行前述的图像处理方法,因此均具有和前述的图像处理方法大体相同的优点。
尽管这里已经参考附图描述了示例实施例,应理解上述示例实施例仅仅是示例性的,并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改,而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本发明并帮助理解各个发明方面中的一个或多个,在对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如相应的权利要求书所反映的那样,其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解,除了特征之间相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
Claims (11)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像为医学图像;
基于预设的处理模型对待处理图像进行至少两次迭代过程,以在每次迭代过程中获得初始细节纹理图像和去噪图像,每次所述迭代过程包括以下步骤:
获取输入到所述处理模型的待处理图像的图像参数;
根据所述图像参数提取对应待处理图像中的细节纹理信息,以获得初始细节纹理图像,其中,所述细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息、病灶纹理信息;
基于所述图像参数对所述待处理图像进行去噪处理,以获得滤噪后的去噪图像;
将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像。
2.如权利要求1所述的方法,其特征在于,所述处理模型通过迭代参数对所述待处理图像进行处理,所述迭代参数包括第一参数、第二参数、第三参数中的至少一项,其中,所述第一参数用于控制去噪的强度项对去噪图像的贡献度,所述第二参数用于控制去噪的锐化项对去噪图像的贡献度,所述第三参数用于控制锐化的补充项对去噪图像的贡献度。
3.如权利要求1所述的方法,其特征在于,每次迭代的待处理图像对应的所述图像参数包括待处理图像的总梯度和待处理图像在法向上的梯度。
4.如权利要求1所述的方法,其特征在于,当待处理图像为RGB彩色空间的图像时,所述方法还包括:
将所述待处理图像从所述RGB颜色空间转换至第一颜色空间,以获得第一颜色空间下的转换图像;
提取所述转换图像的图像信息,其中,所述转换图像的图像信息包括亮度分量的像素矩阵和色度分量的像素矩阵。
5.如权利要求4所述的方法,其特征在于,所述基于预设的处理模型对待处理图像进行至少两次迭代过程,包括:
将所述转换图像作为待处理图像输入所述处理模型进行初次迭代,得到初始迭代图像;
将所述初始迭代图像作为更新后的待处理图像,输入所述处理模型进行二次迭代,得到次级迭代图像。
6.如权利要求4所述的方法,其特征在于,所述将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:
获取每次迭代所对应获得的各初始细节纹理图像,将各初始细节纹理图像融合,获得纹理清晰的目标细节图像;
将所述目标细节图像和去噪图像进行融合,以获得经过处理的、纹理清晰的医学图像。
7.如权利要求6所述的方法,其特征在于,所述目标细节图像的图像信息中包括有亮度分量的第一像素矩阵,所述去噪图像的图像信息中包括有亮度分量的第二像素矩阵,所述将去噪图像和每次迭代所获得的初始细节纹理图像进行融合,获得经过处理的、纹理清晰的医学图像,包括:
将所述第一像素矩阵和第二像素矩阵融合,以获得融合后的亮度分量的融合像素矩阵;
将所述融合像素矩阵和所述转换图像的色度分量的像素矩阵合成为在第一颜色空间中的合成图像矩阵;
将所述合成图像矩阵从所述第一颜色空间转换到RGB颜色空间中,以获得经过处理的、纹理清晰的医学图像。
8.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像包括医学图像;
基于预设的处理模型获取所述待处理图像的图像参数;
基于所述图像参数提取所述待处理图像的细节纹理信息,以获得细节纹理图像,其中,所述细节纹理信息包括以下信息中的至少一种:血管信息、神经信息、组织纹理信息;
基于所述图像参数对所述待处理图像进行去噪处理,以获得滤噪后的去噪图像;
将所述细节纹理图像和所述去噪图像进行融合,以获得经过处理的、纹理清晰的目标图像。
9.一种图像处理装置,其特征在于,包括:
存储器,用于存储可执行的程序指令;
处理器,还用于执行所述存储器中存储的所述程序指令,使得所述处理器执行如权利要求1至8之一所述的图像处理方法。
10.如权利要求9所述的图像处理装置,其特征在于,所述图像处理装置还包括显示器,所述显示器用于显示所述医学图像。
11.一种医疗设备,其特征在于,所述医疗设备包括:
图像采集装置,用于采集目标对象的待观察部位的图像,以获得原始的待处理图像;以及
权利要求9或10任一项所述的图像处理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111136769.2A CN115880208A (zh) | 2021-09-27 | 2021-09-27 | 图像处理方法、图像处理装置及医疗设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111136769.2A CN115880208A (zh) | 2021-09-27 | 2021-09-27 | 图像处理方法、图像处理装置及医疗设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115880208A true CN115880208A (zh) | 2023-03-31 |
Family
ID=85762990
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111136769.2A Pending CN115880208A (zh) | 2021-09-27 | 2021-09-27 | 图像处理方法、图像处理装置及医疗设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115880208A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977826A (zh) * | 2023-08-14 | 2023-10-31 | 北京航空航天大学 | 一种边缘端计算架构下的可重构神经网络目标检测系统及方法 |
-
2021
- 2021-09-27 CN CN202111136769.2A patent/CN115880208A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116977826A (zh) * | 2023-08-14 | 2023-10-31 | 北京航空航天大学 | 一种边缘端计算架构下的可重构神经网络目标检测系统及方法 |
CN116977826B (zh) * | 2023-08-14 | 2024-03-22 | 北京航空航天大学 | 一种边缘端计算架构下的可重构神经网络目标检测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11612350B2 (en) | Enhancing pigmentation in dermoscopy images | |
CN112446880B (zh) | 图像处理方法、电子设备及可读存储介质 | |
JP5599687B2 (ja) | 内視鏡ナビゲーションシステムの作動方法、及び、内視鏡ナビゲーションシステム | |
CN110855889B (zh) | 图像处理方法、装置、图像处理设备及存储介质 | |
US9986890B2 (en) | Endoscope system, operation method for endoscope system, and program for balancing conflicting effects in endoscopic imaging | |
US9743825B2 (en) | Image processing apparatus, image processing method, and computer-readable recording device | |
CN111784686A (zh) | 一种内窥镜出血区域的动态智能检测方法、系统及可读存储介质 | |
EP2601636A1 (en) | Method and system for processing an image featuring multiple scales | |
CN112884666A (zh) | 图像处理方法、装置及计算机存储介质 | |
JP2015180045A (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2024131456A1 (zh) | 血管轮廓提取方法、血管轮廓提取装置及内窥镜系统 | |
CN114693593A (zh) | 图像处理方法、装置、及计算机装置 | |
CN108697310B (zh) | 图像处理装置、图像处理方法和记录了程序的介质 | |
CN117314872A (zh) | 一种视网膜图像的智能分割方法及装置 | |
Ramaraj et al. | Homomorphic filtering techniques for WCE image enhancement | |
CN110473176B (zh) | 图像处理方法及装置、眼底图像处理方法、电子设备 | |
CN115880208A (zh) | 图像处理方法、图像处理装置及医疗设备 | |
CN107133932A (zh) | 视网膜图像预处理方法、装置和计算设备 | |
JP6650738B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
CN105979151A (zh) | 一种图像处理方法及终端 | |
CN110140150B (zh) | 一种图像处理方法、装置以及终端设备 | |
JP6503733B2 (ja) | 診断支援装置並びに当該診断支援装置における画像処理方法及びそのプログラム | |
JP2014094175A (ja) | 電子内視鏡用画像処理システム | |
CN117455780B (zh) | 内镜暗场图像的增强方法、装置、电子设备及存储介质 | |
JP2006053859A (ja) | 画像処理装置および方法並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |