CN110706794A - 一种医学图像处理系统和医学图像处理方法 - Google Patents
一种医学图像处理系统和医学图像处理方法 Download PDFInfo
- Publication number
- CN110706794A CN110706794A CN201910917451.4A CN201910917451A CN110706794A CN 110706794 A CN110706794 A CN 110706794A CN 201910917451 A CN201910917451 A CN 201910917451A CN 110706794 A CN110706794 A CN 110706794A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel point
- affected part
- target
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
本申请适用于信息处理技术领域,提供了一种医学图像处理系统和医学图像处理方法,通过医疗影像信息采集单元在手术过程中采集图像数据,由于图像数据至少包括手术实况图像和患处病理图像,因此管理服务单元可以通过预先构建的目标泛在网接收患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与患处病理图像的特征相匹配的参考图像,借由交互单元通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像,不仅保证了在手术过程中提供丰富的病患信息,且由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像传输时,不会出现高延迟和易丢包等现象,提高了远程诊疗服务的诊断准确率及效率。
Description
技术领域
本申请属于信息处理技术领域,尤其涉及一种医学图像处理系统和医学图像处理方法。
背景技术
随着通信技术的发展,在实现数据传输低延迟的同时,还为许多远程服务提供了实现基础。
然而,在实现远程诊疗服务时,与病患进行视频通话,通过问答的方式进行远程诊疗服务,不仅获取到病患信息较为单一,且在数据传输过程中,还会随着传输距离越长,经过的网关较多,导致数据的传输存在高延迟现象和易丢包现象,从而降低了远程诊疗服务的诊断准确率。
发明内容
有鉴于此,本申请实施例提供了一种医学图像处理系统和医学图像处理方法,可以提高远程诊疗服务的诊断准确率。
本申请实施例的第一方面提供了一种医学图像处理系统,包括:
医疗影像信息采集单元,用于在手术过程中采集图像数据,并通过预先构建的目标泛在网向所述管理服务单元传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像;
所述管理服务单元,用于通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像;
交互单元,用于通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
进一步的,所述医学图像处理系统还包括用于构建所述目标泛在网的泛在网通信单元;其中,所述目标泛在网覆盖于手术环境区域且信号辐射范围可调;所述信号辐射范围内的最大信号传输速率的表达式为:
进一步的,所述预设的图像分割模型中包括多个卷积层和至少一个输出层;
所述管理服务单元包括:
医学图像分析单元,用于通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像;
医学影像检索单元,用于通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
进一步的,所述医学图像分析单元具体用于,通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
进一步的,所述医学影像检索单元具体用于,通过所述预设的图像检索模型测算所述目标特征图像与所述预设数据库中其他图像之间的相似度,并基于所述相似度确定出参考图像;其中,所述预设的图像检索模型的表达式为:
其中,fA(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的相似度,wA(xi)为所述目标特征图像中像素点xi的权值,D(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的距离,且D(xi,xj)满足以下关系式:
其中,a(xi)为所述目标特征图像中的特征;a(xj)为所述其他图像中的特征。
本申请实施例的第二方面提供了一种医学图像处理方法,应用于医学图像处理系统,所述医学图像处理系统包括:医疗影像信息采集单元、管理服务单元以及交互单元;
所述医学图像处理方法包括:
所述医疗影像信息采集单元在手术过程中采集图像数据,并通过预先构建的目标泛在网向所述管理服务单元传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像;
所述管理服务单元通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像;
所述交互单元通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
进一步的,所述医学图像处理系统还包括泛在网通信单元;
所述泛在网通信单元构建所述目标泛在网;其中,所述目标泛在网覆盖于手术环境区域且信号辐射范围可调;所述信号辐射范围内的最大信号传输速率的表达式为:
进一步的,所述预设的图像分割模型中包括多个卷积层和至少一个输出层;
所述通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像,包括:
通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像;
通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
进一步的,所述通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值,包括:
通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
进一步的,所述通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像,包括:
通过所述预设的图像检索模型测算所述目标特征图像与所述预设数据库中其他图像之间的相似度,并基于所述相似度确定出参考图像;其中,所述预设的图像检索模型的表达式为:
其中,fA(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的相似度,wA(xi)为所述目标特征图像中像素点xi的权值,D(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的距离,且D(xi,xj)满足以下关系式:
其中,a(xi)为所述目标特征图像中的特征;a(xj)为所述其他图像中的特征。
本申请实施例提供的一种医学图像处理系统和医学图像处理方法,通过医疗影像信息采集单元在手术过程中采集图像数据,由于图像数据至少包括手术实况图像和患处病理图像,因此管理服务单元可以通过预先构建的目标泛在网接收患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与患处病理图像的特征相匹配的参考图像,借由交互单元通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像,不仅保证了在手术过程中提供丰富的病患信息,且由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像传输时,不会出现高延迟和易丢包等现象,提高了远程诊疗服务的诊断准确率及效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的一种医学图像处理系统的结构示意图;
图2是本申请另一实施例提供的一种医学图像处理系统的结构示意图;
图3是本申请一实施例提供的一种医学图像处理方法的实现流程示意图;
图4是本申请另一实施例提供的一种医学图像处理方法的实现流程示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案,下面通过具体实施例来进行说明。
参见图1,是本申请实施例提供一种医学图像处理系统的结构示意图。
如图1所示一种医学图像处理系统100,包括:医疗影像信息采集单元10、管理服务单元20以及交互单元30。具体地:
医疗影像信息采集单元10,用于在手术过程中采集图像数据,并通过预设的目标泛在网向管理服务单元20传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像。
在本实施例中,医疗影像信息采集单元10可以包括用于采集手术实况图像的多个高清摄像头,以及用于获取患处病理图像病理采集设备。
需要说明的是,在手术过程中,为了能够完整地采集到手术实况图像,多个高清摄像头可以分别被配置在无影灯的框架上,在手术过程中,当手术台固定,无影灯固定,则可以通过调整无影灯的框架上的多个高清摄像头的角度,即可实现对手术实况图像的完整采集。
在实际应用中,多个高清摄像头还可以被配置于手术执行方的固定云台上,例如,在手术机器人的机械臂上设置用于固定高清摄像头的云台,将高清摄像头配置于云台上,即可在手术机器人进行手术时,实现对手术实况图像的完整采集。
作为本实施例一种可能实现的方式,医疗影像信息采集单元20可以包括:医疗影像摄像头、医学影像采集终端以及医学影像与设备中央控制器。
在本实施例中,医疗影像摄像头,用于宽动态逆光、低照度或强光的手术环境下,对手术实况图像进行采集。
医学影像采集终端,用于在手术过程中采集患处病理图像,患处病理图像可以包括:患处CT图像、患处磁共振图像或者患处超声图像。
医学影像与设备中央控制器,用于视频矩阵切换和图像编解码,以将图像数据转换成可通过目标泛在网进行传输的载波信号。
管理服务单元20,用于通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像。
需要说明的是,预设的图像分割模型和预设的图像检索模型均为预先配置好且训练完成的模型,图像分割模型用于对患处病理图像进行图像分割,进而能够从患处病理图像中分割出具有病患特征的图像,再由图像检索模型基于具有病患特征的图像确定出与其相匹配的参考图像。也即,参考图像为具有与患处病理图像相同特征的图像。
在本实施例中,确定与患处病理图像的特征相匹配的参考图像时,可以通过确定患处病理图像中不同类型的特征,进而确定出类型不同的参考图像。
以患处病理图像为患有胶质瘤的脑部CT图像A为例,当定义的特征为胶质瘤的位置状特征时,确定与患处病理图像的特征相匹配的参考图像为同样患有胶质瘤的脑部CT图像B,且该脑部CT图像B中所展示的胶质瘤的在脑部的位置与脑部CT图像A中胶质瘤在脑部的位置相同或者相似。
以患处病理图像为手掌X光图像C为例,当定义的特征为手掌的骨骼形状特征时,确定与患处病理图像的特征相匹配的参考图像为手掌X光图像D,且该手掌X光图像D中所展示的手掌的骨骼形状特征与X光图像C中手掌的骨骼形状特征相同或者相似。
可以理解的是,在不同的需求场景中,可以基于具有病患特征的图像确定出与其相匹配的参考图像,不仅可以作为病症诊断的参考,而且还可以根据病患特征确定出一个变换在一段时间内的患处变化,为病理研究或者推断提供参考依据。
交互单元30,用于通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
在实际应用中,通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像时,可以基于实际情况默认配置展示策略。
例如,当获取到手术实况图像、患处病理图像以及参考图像时,则可以在显示终端上一并显示所有的手术实况图像、患处病理图像以及参考图像,再由观察者通过发送选取指令最终确定在显示终端上显示的内容。
再例如,当仅获取到一种图像时,则直接在显示终端上显示该图像。
再例如,当显示终端已经展示了图像的情况下,若检测到新的图像时,则在将新的图像在显示终端中进行展示。
在实际应用中,交互单元40可以包括视频显示单元和交互共享方法。
视频显示单元,用于实现手术实况图像的低失真、低延迟显示以及图像的自动校准,进而提升画质显示效果。例如,高清显示屏幕对手术实况图像进行图像的失真修复、延迟调整以及自动校准,进而提升画质显示效果。
交互共享方法,用于通过分享画面与语音通讯的方式,由远端的专家为手术现场的医生做出技术指导。
本申请实施例提供的一种医学图像处理系统,通过医疗影像信息采集单元在手术过程中采集图像数据,由于图像数据至少包括手术实况图像和患处病理图像,因此管理服务单元可以通过预先构建的目标泛在网接收患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与患处病理图像的特征相匹配的参考图像,借由交互单元通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像,不仅保证了在手术过程中提供丰富的病患信息,且由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像传输时,不会出现高延迟和易丢包等现象,提高了远程诊疗服务的诊断准确率及效率。
参见图2,图2是本申请另一实施例提供一种医学图像处理系统的结构示意图。
需要说明的是,本实施例是基于上一实施提出的另一实施例。如图2所示,本实施例中的医学图像处理系统还包括泛在网通信单元40,具体地:
泛在网通信单元40,用于构建目标泛在网;其中,目标泛在网覆盖于手术环境区域且信号辐射范围可调;信号辐射范围内的最大信号传输速率的表达式为:
需要说明的是,为了在保证数据传输稳定的情况下避免目标泛在网对其他通信网络造成干扰,可以通过调制上式中的信号功率、噪声功率或者信噪比对目标泛在网进行调制,进而使泛在网在满足上式中最大信号传输速率的同时,缩小其覆盖范围。
在本实施例中,目标泛在网是覆盖在手术环境范围中的专用通信网络,通过目标泛在网进行数据传输时,由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像数据传输时,不会出现高延迟和易丢包等现象。
在实际应用中,泛在网通信单元40可以是基于第五代移动通信技术(5thgeneration mobile networks,5G)配置得到的泛在网构建单元。
作为本实施例一种可能实现的方式,泛在网通信单元10可以包括5G微基站和高频大带宽5G宏基站,其中,5G微基站作为中转终端,用于将超高清医学影像与设备控制信号转换为毫米级载波信号,并传输给高频大带宽5G宏基站;高频大带宽5G宏基站,被布置在室,用于将毫米级载波信号进行远距离传输。高频大带宽5G宏基站,包括基站处理单元、射频处理单元和天馈系统。
可以理解的是,由于本方案是对5G技术的应用,并未涉及对5G技术的改进,故此处不再对5G技术的实现步骤等进行赘述。
在本实施例中,医疗影像信息采集单元10在手术过程中采集图像数据,并通过泛在网通信单元40构建的目标泛在网向管理服务单元20传输图像数据。管理服务单元20通过目标泛在网接收患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像。
作为本实施例一种可能实现的方式,预设的图像分割模型中包括多个卷积层和至少一个输出层。管理服务单元20包括:
医学图像分析单元21,用于通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像。
医学影像检索单元22,用于通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
作为本实施例一种可能实现的方式,所述医学图像分析单元21具体用于,通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
在本实施例中,PL(x)(x)作为预测权重值还满足下式条件:
其中,ak指在第k个通道中的位置为x的值,k为分类的类别数。
w(x)作为像素点的权重值还满足下式条件:
其中,wc为输入分割图像掩码,d1(x)为像素x到最近特征像素点的距离,d2(x)为像素x到距离它第二近的特征像素点的距离,w0和δ均为常数因子。
需要说明的是,通过预设的图像检索模型基于目标特征图像从预设数据库中确定出与患处病理图像相匹配的参考图像,具体是通过预设的图像检索模型测算目标特征图像与所述预设数据库中其他图像之间的相似度。
在测算目标特征图像与预设数据库中其他图像之间的相似度时,具体可以通过搭建目标特征图像与预设数据库中其他图像之间的特征信息表,该特征信息表用于体现目标特征图像与预设数据库中其他图像之间的差异性。其中,特征信息表的数学表达式可以是基于图像论域、特征集合以及相似度构建的函数。
例如,S=(U,A,f);其中U表示目标特征图像与预设数据库中其他图像的论域,A表示预设数据库中其他图像的特征集合,f表示相似度。
需要说明的是,当确定了目标特征图像,且预设数据库中的其他图像的内容也是确定时,目标特征图像与预设数据库中其他图像的论域即可确定,也即U可以确定,故基于特征信息表的数学表达式,可以通过测算相似度f,即可实现对参考图像的检索。
作为本实施例一种可能实现的方式,所述医学影像检索单元32具体用于,通过所述预设的图像检索模型测算所述目标特征图像与所述预设数据库中其他图像之间的相似度,并基于所述相似度确定出是参考图像;其中,所述预设的图像检索模型的表达式为:
其中,fA(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的相似度,wA(xi)为所述目标特征图像中像素点xi的权值,D(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的距离,且D(xi,xj)满足以下关系式:
其中,a(xi)为目标特征图像中的特征;a(xj)为其他图像中的特征。
需要说明的是,在本实施例中,D(xi,xj)为目标特征图像中像素点xi与其他图像中像素点xj之间的距离,通过确定目标特征图像中所有像素点与其他图像中所有像素点之间的距离,即可确定目标特征图像与其他图像之间的相似度,当距离越小,则表示目标特征图像与其他图像越相似,当距离D(xi,xj)越大,则表示目标特征图像与其他图像之间的差别越大。
本实施例通过比较目标特征图像与预设数据库中每个其他图像之间的相似度,进而从预设数据库中与目标特征图像的特征相匹配的参考图像,提高了确定参考图像的准确性。
本申请还提供了一种医学图像处理方法,参见图3,图3是本申请实施例提供一种医学图像处理方法的流程示意图,该医学图像处理方法的执行主体为医学图像处理系统,医学图像处理系统包括:医疗影像信息采集单元、管理服务单元以及交互单元。如图3所示,一种医学图像处理方法,包括:
S11:医疗影像信息采集单元在手术过程中采集图像数据,并通过预设的目标泛在网向所述管理服务单元传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像。
在S11中,图像数据可以通过用于采集手术实况图像的多个高清摄像头采集,以及用于获取患处病理图像病理采集设备进行图像采集所得到。
需要说明的是,在手术过程中,为了能够完整地采集到手术实况图像,多个高清摄像头可以分别被配置在无影灯的框架上,在手术过程中,当手术台固定,无影灯固定,则可以通过调整无影灯的框架上的多个高清摄像头的角度,即可实现对手术实况图像的完整采集。
在实际应用中,多个高清摄像头还可以被配置于手术执行方的固定云台上,例如,在手术机器人的机械臂上设置用于固定高清摄像头的云台,将高清摄像头配置于云台上,即可在手术机器人进行手术时,实现对手术实况图像的完整采集。
在本实施例中,通过目标泛在网传输图像数据,是将手术过程中采集到的图像数据转换为可以在目标泛在网中传输的载波信号,再由目标泛在网对该载波信号进行传输。
S12:管理服务单元通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像。
在S12中,预设的图像分割模型和预设的图像检索模型均为预先配置好且训练完成的模型,图像分割模型用于对患处病理图像进行图像分割,进而能够从患处病理图像中分割出具有病患特征的图像,再由图像检索模型基于具有病患特征的图像确定出与其相匹配的参考图像。也即,参考图像为具有与患处病理图像相同特征的图像。
在本实施例中,确定与患处病理图像的特征相匹配的参考图像时,可以通过确定患处病理图像中不同类型的特征,进而确定出类型不同的参考图像。
以患处病理图像为患有胶质瘤的脑部CT图像A为例,当定义的特征为胶质瘤的位置状特征时,确定与患处病理图像的特征相匹配的参考图像为同样患有胶质瘤的脑部CT图像B,且该脑部CT图像B中所展示的胶质瘤的在脑部的位置与脑部CT图像A中胶质瘤在脑部的位置相同或者相似。
以患处病理图像为手掌X光图像C为例,当定义的特征为手掌的骨骼形状特征时,确定与患处病理图像的特征相匹配的参考图像为手掌X光图像D,且该手掌X光图像D中所展示的手掌的骨骼形状特征与X光图像C中手掌的骨骼形状特征相同或者相似。
可以理解的是,在不同的需求场景中,可以基于具有病患特征的图像确定出与其相匹配的参考图像,不仅可以作为病症诊断的参考,而且还可以根据病患特征确定出一个变换在一段时间内的患处变化,为病理研究或者推断提供参考依据。
作为一实施例,预设的图像分割模型中包括多个卷积层和至少一个输出层。S12具体可以包括:通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像;通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
作为本实施例一种可能实现的方式,对所述特征图像中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值的步骤,具体包括:
通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
在本实施例中,PL(x)(x)作为预测权重值还满足下式条件:
其中,ak指在第k个通道中的位置为x的值,k为分类的类别数。
w(x)作为像素点的权重值还满足下式条件:
其中,wc为输入分割图像掩码,d1(x)为像素x到最近特征像素点的距离,d2(x)为像素x到距离它第二近的特征像素点的距离,w0和δ均为常数因子。
需要说明的是,通过预设的图像检索模型基于目标特征图像从预设数据库中确定出与患处病理图像相匹配的参考图像,具体是通过预设的图像检索模型测算目标特征图像与所述预设数据库中其他图像之间的相似度。
在测算目标特征图像与预设数据库中其他图像之间的相似度时,具体可以通过搭建目标特征图像与预设数据库中其他图像之间的特征信息表,该特征信息表用于体现目标特征图像与预设数据库中其他图像之间的差异性。其中,特征信息表的数学表达式可以是基于图像论域、特征集合以及相似度构建的函数。
例如,S=(U,A,f);其中U表示目标特征图像与预设数据库中其他图像的论域,A表示预设数据库中其他图像的特征集合,f表示相似度。
需要说明的是,当确定了目标特征图像,且预设数据库中的其他图像的内容也是确定时,目标特征图像与预设数据库中其他图像的论域即可确定,也即U可以确定,故基于特征信息表的数学表达式,可以通过测算相似度f,即可实现对参考图像的检索。
作为本实施例一种可能实现的方式,步骤通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像,包括:通过所述预设的图像检索模型测算所述目标特征图像与所述预设数据库中其他图像之间的相似度,并基于所述相似度确定出是参考图像;其中,所述预设的图像检索模型的表达式为:
其中,fA(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的相似度,wA(xi)为所述目标特征图像中像素点xi的权值,D(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的距离,且D(xi,xj)满足以下关系式:
其中,a(xi)为目标特征图像中的特征;a(xj)为其他图像中的特征。
需要说明的是,在本实施例中,D(xi,xj)为目标特征图像中像素点xi与其他图像中像素点xj之间的距离,通过确定目标特征图像中所有像素点与其他图像中所有像素点之间的距离,即可确定目标特征图像与其他图像之间的相似度,当距离D(xi,xj)越小,则表示目标特征图像与其他图像越相似,当距离D(xi,xj)越大,则表示目标特征图像与其他图像之间的差别越大。
S13:交互单元通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
在实际应用中,通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像时,可以基于实际情况默认配置展示策略。
例如,当获取到手术实况图像、患处病理图像以及参考图像时,则可以在显示终端上一并显示所有的手术实况图像、患处病理图像以及参考图像,再由观察者通过发送选取指令最终确定在显示终端上显示的内容。
再例如,当仅获取到一种图像时,则直接在显示终端上显示该图像。
再例如,当显示终端已经展示了图像的情况下,若检测到新的图像时,则在将新的图像在显示终端中进行展示。
本申请实施例提供的一种医学图像处理方法,通过医疗影像信息采集单元在手术过程中采集图像数据,由于图像数据至少包括手术实况图像和患处病理图像,因此管理服务单元可以通过预先构建的目标泛在网接收患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与患处病理图像的特征相匹配的参考图像,借由交互单元通过目标泛在网获取并展示手术实况图像、患处病理图像以及参考图像中的至少一种图像,不仅保证了在手术过程中提供丰富的病患信息,且由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像传输时,不会出现高延迟和易丢包等现象,提高了远程诊疗服务的诊断准确率及效率。
图4是本申请另一实施例提供的一种医学图像处理方法的实现流程示意图。
需要说明的是,本实施例是基于上一实施例的医学图像处理方法,提出的另一实施例应用于医学图像处理系统,且本实施例中的医学图像处理系统还包括泛在网通信单元。
如图4所示,本实施例中的医学图像处理方法,在S11之前还包括S14,具体地:
S14:泛在网通信单元构建目标泛在网。
在S14中,目标泛在网覆盖于手术环境区域且信号辐射范围可调;所述信号辐射范围内的最大信号传输速率的表达式为:
其中,C为所述最大信号传输速率,B为频谱宽度,S为信号功率,N为噪声功率,为信噪比。
需要说明说明的是,目标泛在网是覆盖在手术环境范围中的专用通信网络,通过目标泛在网进行数据传输时,由于目标泛在网具有无缝的移动性,因此通过目标泛在网进行图像数据传输时,不会出现高延迟和易丢包等现象。
为了在保证数据传输稳定的情况下避免目标泛在网对其他通信网络造成干扰,可以通过调制上式中的信号功率、噪声功率或者信噪比对目标泛在网进行调制,进而使泛在网在满足上式中最大信号传输速率的同时,缩小其覆盖范围。
在实际应用中,目标泛在网可以是基于第五代移动通信技术(5th generationmobile networks,5G)所构建得到的5G泛在网。
可以理解的是,由于本方案是对5G技术的应用,并未涉及对5G技术的改进,故此处不再对5G技术的实现步骤等进行赘述。
本申请实施例提供的一种医学图像处理方法,通过在手术环境范围中构建目标泛在网,并通过该目标泛在网进行数据传输,基于目标泛在网具有无缝的移动性,可以避免出现高延迟和易丢包等现象,此外,通过比较目标特征图像与预设数据库中每个其他图像之间的相似度,进而从预设数据库中与目标特征图像的特征相匹配的参考图像,提高了确定参考图像的准确性。
以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (10)
1.一种医学图像处理系统,其特征在于,包括:
医疗影像信息采集单元,用于在手术过程中采集图像数据,并通过预先构建的目标泛在网向管理服务单元传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像;
所述管理服务单元,用于通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像;
交互单元,用于通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
3.如权利要求1所述的医学图像处理系统,其特征在于,所述预设的图像分割模型中包括多个卷积层和至少一个输出层;
所述管理服务单元包括:
医学图像分析单元,用于通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像;
医学影像检索单元,用于通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
4.如权利要求3所述的医学图像处理系统,其特征在于,所述医学图像分析单元具体用于,通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
6.一种医学图像处理方法,其特征在于,应用于医学图像处理系统,所述医学图像处理系统包括:医疗影像信息采集单元、管理服务单元以及交互单元;
所述医学图像处理方法包括:
所述医疗影像信息采集单元在手术过程中采集图像数据,并通过预先构建的目标泛在网向所述管理服务单元传输所述图像数据;所述图像数据至少包括手术实况图像和患处病理图像;
所述管理服务单元通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像;
所述交互单元通过所述目标泛在网获取并展示所述手术实况图像、所述患处病理图像以及所述参考图像中的至少一种图像。
8.如权利要求6所述的医学图像处理方法,其特征在于,所述预设的图像分割模型中包括多个卷积层和至少一个输出层;
所述通过所述目标泛在网接收所述患处病理图像,并基于预设的图像分割模型和预设的图像检索模型,确定与所述患处病理图像的特征相匹配的参考图像,包括:
通过所述预设的图像分割模型中的多个所述卷积层分别对所述患处病理图像进行特征提取,得到特征集合,通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值;其中,所述每个像素点的权重值用于从所述患处病理图像中确定出目标特征图像;
通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像。
9.如权利要求8所述的医学图像处理方法,其特征在于,所述通过所述输出层对所述特征集合进行特征融合,得到特征图像,并对所述特征图像中的每个像素点进行分类,输出所述患处病理图像中每个像素点的权重值,包括:
通过所述输出层中配置的归一化指数函数对所述特征集合中的每个像素点进行分类,以输出所述患处病理图像中每个像素点的权重值;其中,所述归一化指数函数对应的损失函数的表达式为:
E=∑w(x)log(PL(x)(x));
其中,L(x)表征像素点位置,w(x)为所述像素点的权重值,PL(x)(x)为在归一化指数函数分类后,像素点L(x)的预测权重值。
10.如权利要求8所述的医学图像处理方法,其特征在于,所述通过所述预设的图像检索模型基于所述目标特征图像从预设数据库中确定出与所述患处病理图像相匹配的参考图像,包括:
通过所述预设的图像检索模型测算所述目标特征图像与所述预设数据库中其他图像之间的相似度,并基于所述相似度确定出参考图像;其中,所述预设的图像检索模型的表达式为:
其中,fA(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的相似度,wA(xi)为所述目标特征图像中像素点xi的权值,D(xi,xj)为所述目标特征图像中像素点xi与所述其他图像中像素点xj之间的距离,且D(xi,xj)满足以下关系式:
其中,a(xi)为所述目标特征图像中的特征;a(xj)为所述其他图像中的特征。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917451.4A CN110706794B (zh) | 2019-09-26 | 2019-09-26 | 一种医学图像处理系统和医学图像处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910917451.4A CN110706794B (zh) | 2019-09-26 | 2019-09-26 | 一种医学图像处理系统和医学图像处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110706794A true CN110706794A (zh) | 2020-01-17 |
CN110706794B CN110706794B (zh) | 2022-10-25 |
Family
ID=69196430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910917451.4A Active CN110706794B (zh) | 2019-09-26 | 2019-09-26 | 一种医学图像处理系统和医学图像处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110706794B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085730A (zh) * | 2020-09-18 | 2020-12-15 | 上海联影医疗科技股份有限公司 | 感兴趣区域成分分析方法、装置、电子设备和介质 |
CN112735214A (zh) * | 2021-01-06 | 2021-04-30 | 江苏医药职业学院 | 一种医学教学系统 |
CN113553460A (zh) * | 2021-08-13 | 2021-10-26 | 北京安德医智科技有限公司 | 影像检索方法及装置、电子设备和存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101373479A (zh) * | 2008-09-27 | 2009-02-25 | 华中科技大学 | 一种乳腺x线摄片计算机图像检索方法及系统 |
CN101576894A (zh) * | 2008-05-09 | 2009-11-11 | 中国科学院半导体研究所 | 实时图像内容检索系统及图像特征提取方法 |
CN101697229A (zh) * | 2009-10-30 | 2010-04-21 | 宁波大学 | 一种医学图像的感兴趣区域提取方法 |
CN105894517A (zh) * | 2016-04-22 | 2016-08-24 | 北京理工大学 | 基于特征学习的ct图像肝脏分割方法及系统 |
US20170109884A1 (en) * | 2013-04-15 | 2017-04-20 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN107590510A (zh) * | 2017-08-29 | 2018-01-16 | 上海联影医疗科技有限公司 | 一种图像定位方法、装置、计算机及存储介质 |
CN108447066A (zh) * | 2018-03-19 | 2018-08-24 | 青岛海信医疗设备股份有限公司 | 胆道图像分割方法、终端、存储介质 |
CN108510482A (zh) * | 2018-03-22 | 2018-09-07 | 姚书忠 | 基于阴道镜图像的宫颈癌检测方法、装置、设备及介质 |
CN109716445A (zh) * | 2017-03-10 | 2019-05-03 | 富士通株式会社 | 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法 |
CN109753997A (zh) * | 2018-12-19 | 2019-05-14 | 湖南科技大学 | 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法 |
-
2019
- 2019-09-26 CN CN201910917451.4A patent/CN110706794B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101576894A (zh) * | 2008-05-09 | 2009-11-11 | 中国科学院半导体研究所 | 实时图像内容检索系统及图像特征提取方法 |
CN101373479A (zh) * | 2008-09-27 | 2009-02-25 | 华中科技大学 | 一种乳腺x线摄片计算机图像检索方法及系统 |
CN101697229A (zh) * | 2009-10-30 | 2010-04-21 | 宁波大学 | 一种医学图像的感兴趣区域提取方法 |
US20170109884A1 (en) * | 2013-04-15 | 2017-04-20 | Sony Corporation | Image processing apparatus, image processing method, and program |
CN105894517A (zh) * | 2016-04-22 | 2016-08-24 | 北京理工大学 | 基于特征学习的ct图像肝脏分割方法及系统 |
CN109716445A (zh) * | 2017-03-10 | 2019-05-03 | 富士通株式会社 | 类似病例图像检索程序、类似病例图像检索装置以及类似病例图像检索方法 |
CN107590510A (zh) * | 2017-08-29 | 2018-01-16 | 上海联影医疗科技有限公司 | 一种图像定位方法、装置、计算机及存储介质 |
CN108447066A (zh) * | 2018-03-19 | 2018-08-24 | 青岛海信医疗设备股份有限公司 | 胆道图像分割方法、终端、存储介质 |
CN108510482A (zh) * | 2018-03-22 | 2018-09-07 | 姚书忠 | 基于阴道镜图像的宫颈癌检测方法、装置、设备及介质 |
CN109753997A (zh) * | 2018-12-19 | 2019-05-14 | 湖南科技大学 | 一种ct图像中的肝脏肿瘤自动精确鲁棒分割方法 |
Non-Patent Citations (3)
Title |
---|
ANUM MASOOD等: ""Computer-Assisted Decision Support System in Pulmonary Cancer detection and stage classification on CT images"", 《JOURNAL OF BIOMEDICAL INFORMATICS》 * |
张玺栋: ""医疗泛在网终端网络分簇及传输优化"", 《中国博士学位论文全文数据库 信息科技辑》 * |
赵爽: ""浅析5G网络技术在医院信息化建设中的应用"", 《中国新技术新产品》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085730A (zh) * | 2020-09-18 | 2020-12-15 | 上海联影医疗科技股份有限公司 | 感兴趣区域成分分析方法、装置、电子设备和介质 |
CN112735214A (zh) * | 2021-01-06 | 2021-04-30 | 江苏医药职业学院 | 一种医学教学系统 |
CN113553460A (zh) * | 2021-08-13 | 2021-10-26 | 北京安德医智科技有限公司 | 影像检索方法及装置、电子设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110706794B (zh) | 2022-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110706794B (zh) | 一种医学图像处理系统和医学图像处理方法 | |
US20200250821A1 (en) | Image feature recognition method and apparatus, storage medium, and electronic apparatus | |
US9794518B2 (en) | Method and system for converting privacy zone planar images to their corresponding pan/tilt coordinates | |
WO2021135657A1 (zh) | 图像处理方法、装置和图像处理系统 | |
JP2016129416A (ja) | 引き続くアプリケーションを容易にするためにビデオ画像パラメータを動的に適合させるための方法 | |
CN108042090B (zh) | 配置人工智能芯片的医用内窥镜系统及图像处理方法 | |
WO2015046641A1 (ko) | 원격진료를 위한 의료영상 처리장치 및 이를 포함한 원격 의료진단 시스템 | |
CN104506840B (zh) | 一种实时立体视频拼接装置及特写方法 | |
CN108449555A (zh) | 图像融合方法及系统 | |
CN105959620A (zh) | 一种全景视频的同步显示方法及设备 | |
CN113487608A (zh) | 内窥镜图像检测方法、装置、存储介质及电子设备 | |
CN104517294B (zh) | 获取b超图像的方法和装置以及远程诊断方法和系统 | |
CN109191541A (zh) | 一种ct远程图像重建方法 | |
CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
CN117274759A (zh) | 一种基于蒸馏-融合-语义联合驱动的红外与可见光图像融合系统 | |
CN107550505A (zh) | X线探测器、x线摄像系统及x线摄像方法 | |
JP2023522818A (ja) | 画像最適化方法、関連モデルの訓練方法、装置、機器及びプログラム | |
CN111369557B (zh) | 图像处理方法、装置、计算设备和存储介质 | |
CN115514918B (zh) | 一种远程视频方法、云平台、通讯移动平台及存储介质 | |
CN112001224A (zh) | 基于卷积神经网络的视频采集方法和视频采集系统 | |
CN112565178A (zh) | 基于流媒体技术的无人机电力设备巡检系统 | |
CN115278189A (zh) | 图像色调映射方法及装置、计算机可读介质和电子设备 | |
US20220346855A1 (en) | Electronic device and method for smoke level estimation | |
JP2019079157A (ja) | 制御システム及び方式 | |
CN107820103A (zh) | 影像收发设备连接方法、控制装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |