CN114742836B - 医学图像的处理方法、装置及计算机设备 - Google Patents
医学图像的处理方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114742836B CN114742836B CN202210662664.9A CN202210662664A CN114742836B CN 114742836 B CN114742836 B CN 114742836B CN 202210662664 A CN202210662664 A CN 202210662664A CN 114742836 B CN114742836 B CN 114742836B
- Authority
- CN
- China
- Prior art keywords
- medical image
- position frame
- pixel
- target
- condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/40—Filling a planar surface by adding surface attributes, e.g. colour or texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本说明书实施方式提供一种医学图像的处理方法、装置及计算机设备。通过检测医学图像序列中医学图像,得到医学图像中文字信息、标记信息中至少一个的位置边框,对位置边框内的像素数据进行分析,得到位置边框内的像素分布特征。并在位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,通过利用所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到满足盲化阅片条件的目标图像序列。此时,在医学图像序列初始不满足盲化阅片条件,也不再需要重新对受试者进行检查和拍摄,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
Description
技术领域
本说明书实施方式涉及医学图像处理技术领域,具体涉及一种医学图像的处理方法、装置及计算机设备。
背景技术
在肿瘤药物研发过程中需要招募受试者进行药物评估,经过筛选的受试者可以服用研发的药物以辅助研究者执行临床研究试验。在临床研究试验的过程中,通过医学成像设备在不同时期对受试者进行检查和拍摄,得到医学图像序列。进一步地,由于医学图像序列作为评估药效的依据,通常需要质控人员对医学图像序列进行人工质检,以确保医学图像序列的质量。
在传统技术中,在质检出医学图像序列存在质量问题时,需要重新对受试者进行检查和拍摄。
发明内容
有鉴于此,本说明书实施方式致力于提供一种医学图像的处理方法、装置及计算机设备,以解决在质检出医学图像序列存在质量问题时,需要重新对受试者进行检查和拍摄的技术问题,实现对医学图像的充分利用,降低受试者重新医学检查的发生几率的技术效果。
本说明书实施方式提供了一种医学图像的处理方法,所述方法包括:获取医学图像序列;其中,所述医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;所述医学图像包括针对身体区域的目标区域部分;对所述医学图像进行目标检测,确定所述医学图像中目标对象的位置边框;其中,所述目标对象包括所述医学图像中的文字信息和/或所述医学图像中的标记信息;基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征;其中,所述像素分布特征用于表征所述位置边框内指定部分像素点或者全部像素点之间的像素数据变化;在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像;其中,所述目标医学图像用作所述医学图像序列的所述医学图像,以得到满足所述盲化阅片条件的目标图像序列;其中,所述目标图像序列用于展示在阅片终端。
本说明书实施方式提供了一种医学图像的处理装置,所述装置包括:图像序列获取模块,用于获取医学图像序列;其中,所述医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;所述医学图像包括针对身体区域目标区域部分;目标对象检测模块,用于对所述医学图像进行目标检测,确定所述医学图像中目标对象的位置边框;其中,所述目标对象包括所述医学图像中的文字信息和/或所述医学图像中的标记信息;分布特征确定模块,用于基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征;其中,所述像素分布特征用于表征所述位置边框内指定部分像素点或者全部像素点之间的像素数据变化;像素均值填充模块,用于在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像;其中,所述目标医学图像用于替换所述医学图像序列的所述医学图像,以得到满足所述盲化阅片条件的目标图像序列;其中,所述目标图像序列用于展示在阅片终端。
本说明书实施方式提供一种计算设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述实施方式中的方法步骤。
本说明书实施方式提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被计算机设备的处理器执行时,使得所述计算机设备能够执行上述实施方式中的方法步骤。
本说明书实施方式,通过检测医学图像序列中医学图像,得到医学图像中文字信息、标记信息中至少一个的位置边框,对位置边框内的像素数据进行分析,得到位置边框内的像素分布特征。并在位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,通过利用所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到满足盲化阅片条件的目标图像序列。此时,在医学图像序列初始不满足盲化阅片条件,也不再需要重新对受试者进行检查和拍摄,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
附图说明
图1所示为一实施方式提供的医学图像的处理系统的示意图。
图2a所示为一实施方式提供的医学图像的处理的流程示意图。
图2b所示为一实施方式提供的医学图像中具有标记信息的示意图。
图2c所示为一实施方式提供的医学图像中具有文字信息的示意图。
图2d所示为一实施方式提供的位置边框与目标区域部分之间不存在重叠的示意图。
图2e所示为一实施方式提供的填充位置边框的内部区域所得到目标医学图像的示意图。
图3所示为一实施方式提供的医学图像的处理的流程示意图。
图4a所示为一实施方式提供的医学图像的处理的流程示意图。
图4b所示为一实施方式提供的医学图像中具有金属伪影的示意图。
图4c所示为一实施方式提供的医学图像中具有运动伪影的示意图。
图5a所示为一实施方式提供的金属伪影图像中具有骨骼的示意图。
图5b所示为一实施方式提供的去骨医学图像的示意图。
图6为一实施方式提供的医学图像的处理装置的结构框图。
图7为一实施方式提供的计算机设备的内部结构图。
具体实施方式
下面将结合本说明书实施方式中的附图,对本说明书实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅是本说明书一部分实施方式,而不是全部的实施方式。基于本说明书中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本说明书保护的范围。
以下对本说明书中涉及的部分名词进行解释,“受试者”可以是对参加到临床试验中对新药或者新治疗方案进行试用的人员的称呼,也可以称之为“志愿者”。“受试者”可以是健康的人,也可以是病人,主要取决于临床试验研究的需求。比如一些由病人参加的临床研究试验,目的在于考察一种新药或者一种治疗方案的治疗效果、副作用等。不同类型的临床试验,其运作过程也不一样。在受试者参与到一项临床试验研究后,需要定期或者按照试验需求来到试验点与医生(或者护士、社会工作者、其他研究者)进行沟通,以使他们可以对受试者的健康情况进行监察。访视可以理解为受试者在服用新药或者接收新治疗方案的过程中来到试验点一次。在每次访视时,受试者需要接收一些医学检查或者实验室检查,也需要经过医生的查体询问,以接收医生进一步地指导。
一个临床试验点(也可以称为研究中心,比如医院)准备进行一种新药X的临床试验,通过受试者招募和筛选,确定可以参加到该临床实验研究的病人A。病人A在服用新药X之前,需要接收一次医学影像检查(比如CT(Computed Tomography,电子计算机断层扫描)、MRI(Magnetic Resonance Imaging,磁共振成像))。此次借助于医学影像检查系统对病人A的身体进行医学影像检查,生成医学图像序列。
医学图像序列可以作为受试者的部分临床试验数据,对包括医学图像序列的临床试验数据进行评估,确定是否允许该新药X上市。通常采用独立影像评估(IRC)的方式对医学图像序列进行评估。独立影像评估(IRC)被美国FDA和欧洲药品管理局EMA指定为新化疗药物疗效评估的推荐试验方法。
在影像阅片过程中,盲化处理有助于减少评估偏倚,比如在随机对照试验中,受试者的治疗情况,甚至临床影像采集日期都可能会对评估结果产生偏倚和影响。独立影像评估在阅片过程中采用盲化阅片方式,阅片审核人无法获知访视名称、影像检查日期及病人的状况,临床方面仅提供盲化后的局部治疗史等辅助评估的信息,有效减少偏倚。
然而,传统技术中,所收集的医学影像数据存在质量问题,严重影响独立影像评估。例如,图像中有隐私信息,违背了独立影像评估的标准;图中带有标记信息,给医生先入为主的印象,不能独立评估肿瘤大小;金属伪影或者运动伪影引起的图像模糊严重影响医生阅片。所以独立影像评估之前需要对受试者的影像数据进行质控。质控人员将所收集的医学影像数据全部加载至质控终端,图像的加载会花费很长时间。通过质控终端质控人员查阅所收集的医学影像数据的全部,一方面质控人员长时间质控,可能因为疲劳会出现人为失误。另一方面,大部分的医学影像数据是合格的,只有部分医学影像数据是不合格的。可见,质控人员阅读合格的医学影像数据序列会浪费时间。
基于此,一个具体的场景示例中,提出一种医学图像的处理方法。该医学图像的处理方法可以运行在独立影像评估平台中,且独立影像评估平台可以部署在图像处理服务器中。图像处理服务器可以采用云服务器的方式。医生或者研究者在研究中心(例如医院)通过医学图像采集设备对受试者的特定身体部位(可以记为身体区域)进行医学影像检查,得到医学影像数据。临床协调员CRC将收集到的医学影像数据上传至图像处理服务器或者与图像处理服务器通信连接的计算机设备中。收集到的医学影像数据包括一系列访视或者某个受试者的医学图像序列。医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像。图像处理服务器上可以部署有深度学习模型,通过深度学习模型对医学图像进行目标检测,得到医学图像中的文字信息的位置信息和医学图像中的标记信息的位置信息。文字信息的位置信息、标记信息的位置信息可以表示为位置边框。位置边框内具有像素,位置边框内的像素具有对应的像素数据。通过这些像素数据进行分析,可以确定出位置边框内的像素分布特征。
本场景示例中,由于医学图像包括目标区域部分和非目标区域部分,身体区域可以理解为是身体内区域,非身体区域可以理解为身体外区域。身体内区域包括有不同的组织,不同的组织具有不同的像素数据,身体外区域主要是空气,空气部分对应的像素数据不同于身体内区域。因此,可以根据位置边框内的像素分布特征判断位置边框与目标区域部分的位置关系。在一些实施方式中,在根据位置边框内的像素分布特征判定位置边框与目标区域部分之间不存在重叠的情况下,可以直接利用位置边框上的像素均值对医学图像中位置边框的内部区域进行填充,得到目标医学图像。
本场景示例中,在一些实施方式中,在根据位置边框内的像素分布特征判定位置边框与目标区域部分之间不存在重叠的情况下,进一步地识别位置边框内是否包括影响独立影像评估的文字信息(即检测位于位置边框内的部分图像是否满足盲化阅片条件)。若识别到位置边框内不包括影响独立影像评估的文字信息,可以不对医学图像中位置边框的内部区域进行处理。若识别到位置边框内包括影响独立影像评估的文字信息,则对医学图像中位置边框的内部区域进行处理,即利用位置边框上的像素均值对医学图像中位置边框的内部区域进行填充,得到目标医学图像。可以理解的是,相对于处理后得到的目标医学图像,针对身体区域进行拍摄得到的医学图像可以理解为初始医学图像,即在图像处理之前医学图像序列中包括的医学图像可以记为初始医学图像。
本场景示例中,若对医学图像序列中的初始医学图像进行处理,得到目标医学图像,利用目标医学图像替换医学图像序列的初始医学图像,得到目标图像序列。图像处理服务器向阅片终端发送目标图像序列,阅片终端展示在目标图像序列供阅片审核人进行查阅。可以理解的是,目标图像序列是利用目标医学图像替换医学图像序列中的初始医学图像得到的。针对初始医学图像,在一些情况下可以不保留,直接利用目标医学图像覆盖初始医学图像;在一些情况下,可以保留在图像处理服务器中以便后续稽查工作需要,但是不能呈现阅片终端中。
上述场景示例中,通过检测医学图像序列中初始医学图像,得到初始医学图像中文字信息、标记信息的位置边框,对位置边框内的像素数据进行特征提取,得到位置边框内的像素分布特征。在一些初始医学图像中存在影响独立影像评估的文字信息或者标记信息的情况下,若基于位置边框内的像素分布特征判断位置边框与目标区域部分的位置关系,并根据位置边框与目标区域部分的位置关系对初始医学图像进行处理,从而得到满足盲化阅片条件的目标图像序列。这种情况下不再需要重新对受试者进行检查和拍摄,利于临床试验的执行,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用。
请参阅图1,本说明书实施方式提供一种医学图像的处理系统,且本说明书提供的医学图像的处理方法应用于该医学图像的处理系统。该医学图像的处理系统可以包括由质控终端110、图像处理服务器120、阅片终端130形成的硬件环境。质控终端110、阅片终端130通过网络与图像处理服务器120进行通信。其中,质控终端110、阅片终端130可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。图像处理服务器120可以用独立的服务器或者是多个服务器组成的服务器集群来实现。随着科学技术的发展,可能会出现一些新型计算设备,比如量子计算服务器,这些新型计算设备也可以应用于本说明书的实施方式中。
请参阅图2a,本说明书实施方式提供一种医学图像的处理方法。本实施方式中的医学图像的处理方法运行于图像处理服务器中,需要说明的是,图像处理服务器可以理解为用于辅助执行独立影像评估工作的云服务器。该医学图像的处理方法可以包括以下步骤。
S210、获取医学图像序列。其中,医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;医学图像包括针对身体区域的目标区域部分。
其中,医学图像序列可以是在对身体区域进行医学检查所产生按照时间顺序或者空间位置排列的产生的图像序列。医学图像序列包括若干医学图像。医学图像可以采用DICOM文件格式。身体区域可以是医学检查所针对的身体部位(比如头部、腰椎部位),可以是医学检查所针对的器官部位(比如肺部、心脏)。医学影像设备针对身体区域进行医学检查时,不可避免也会拍摄到除身体区域之外的其他区域(即非身体区域),因此医学检查所生成的医学图像可以包括与身体区域对应的目标区域部分,也可以包括非目标区域部分。
具体地,在一些情况下,药厂需要提交一种新药的医学影像数据。医学影像数据中包括至少一个医学图像序列。在一些实施方式中,临床协调员CRC在研究中心可以通过计算机设备上传多个医学检查图像序列至图像处理服务器,图像处理服务器接收到医学图像序列。在一些实施方式中,为了节省将医学图像序列加载至图像处理服务器的时间,可以预先将多个医学图像序列加载至图像处理服务器,即图像处理服务器预先存储有多个医学图像序列。在需要处理医学图像序列时,从图像处理服务器获取多个医学检查图像序列。在一些实施方式中,可以将医学图像序列存储至与图像处理服务器通信连接的计算机设备中,图像处理服务器从该计算机设备中获取医学图像序列。该计算机设备也可以采用云服务器的方式。
S220、对医学图像进行目标检测,确定医学图像中目标对象的位置边框;其中,目标对象包括医学图像中的文字信息和/或医学图像中用于标记病灶位置的标记信息。
其中,图像处理服务器中部署有目标检测模型,目标检测模型用于对医学图像进行目标检测,目标检测模型输出目标对象的位置边框,位置边框可以用于对目标对象在医学图像中所处的区域进行标记,比如矩形框框出医学图像中的目标对象。位置边框也可以是目标检测模型检测到目标时所确定的边界框(bounding box)。本实施方式中,目标检测模型可以采用YOLO(You Only Look Once)系列的深度学习网络。YOLO网络可以直接在输出层回归边界框的位置和边界框所属的类别。目标检测模型也可以采用SSD(Single ShotMultiBox Detector)模型。目标检测模型还可以采用Fast-RCNN模型。Fast-RCNN模型是基于R-CNN Region-CNN模型得到的。
其中,位置边框可以用于表示目标检测模型对医学图像中文字信息进行检测后所输出的位置信息。位置边框可以用于表示目标检测模型对医学图像中标记信息进行检测后所输出的位置信息。
具体地,将医学图像输出至目标检测模型中,利用目标检测模型对医学图像进行检测,确定出目标对象的位置,并输出目标对象的位置边框。也可以输出目标对象的类别,比如目标对象的类别可以是文字信息,也可以是标记信息。示例性的,请参阅图2b,医学图像中具有标记信息202,标记信息为指定病灶的矩形框。可以理解的是,医学图像中的标记信息也可以是线段线条、带箭头线条、圆框中的至少一个。请参阅图2c,医学图像中具有文字信息204,文字信息可以是病灶的描述信息、受试者信息中的至少一个。在一些实施方式中,医学图像中同时具有文字信息和标记信息。
S230、基于位置边框内的像素数据确定位置边框内的像素分布特征;其中,像素分布特征用于表征位置边框内指定部分像素点或者全部像素点之间的像素数据变化。
其中,利用医学影像设备对身体部位或者器官部位进行拍摄,得到医学图像,医学图像可以包括与身体部位或者器官部位对应的身体区域。身体部位内或者器官部位内组织各不相同,医学图像中各像素点的像素数据也对应不同。医学图像中各像素点之间的像素数据具有对应的数值。医学图像中各像素点的像素数据可以用豪斯费尔德单位(Hounsfield Unit,简称HU)。示例性的,水的像素值是0HU,骨头的像素值最高可达1000HU,空气的像素值为-1000 HU。
其中,医学图像中各像素点之间具有像素数据变化。医学图像包括目标区域部分和除目标区域部分的其他区域部分。目标区域部分中像素点之间的像素数据变化与其他区域部分的像素数据变化不同。对目标区域部分的像素数据进行特征提取,得到目标区域部分的像素分布特征。对其他区域部分的像素数据进行特征提取,得到其他区域部分的像素分布特征。目标区域部分的像素分布特征与其他区域部分的像素分布特征不同。
具体地,为了确保医学图像的质量满足盲化阅片条件,基于位置边框内的像素分布特征判断目标对象的位置边框与目标区域部分的位置关系,以确定目标对象的位置边框与目标区域部分是否存在重叠。因此,对位置边框内的像素数据进行特征提取,得到位置边框内的像素分布特征。在一些实施方式中,可以对位置边框内指定部分像素点的像素数据的变化进行分析,得到位置边框内像素数据的像素分布特征。在一些实施方式中,可以对位置边框内全部像素点的像素数据的变化进行分析,得到位置边框内像素数据的像素分布特征。
S240、在根据像素分布特征判定位置边框与目标区域部分之间不存在重叠,且目标对象不满足盲化阅片条件的情况下,基于位置边框上的像素均值对位置边框的内部区域进行填充,得到目标医学图像。
其中,目标医学图像用作医学图像序列的医学图像,以得到满足盲化阅片条件的目标图像序列;其中,目标图像序列用于展示在阅片终端。盲化阅片条件可以结合对图像质量的实际需求而设置。比如医学图像中不包括敏感信息,比如,医学图像中不包括标记信息,比如医学图像中的标记信息不遮挡目标区域部分。需要说明的是,目标医学图像用作医学图像序列的医学图像,以得到满足盲化阅片条件的目标图像序列;在一些情况下,对填充之前的医学图像可以不保留,利用目标医学图像替换医学图像序列的医学图像,得到目标医学图像。对填充之前的医学图像页可以保留,但是填充之前的医学图像不会呈现在阅片终端。
具体地,基于位置边框内的像素分布特征判断目标对象的位置边框与目标区域部分是否存在重叠。在一些实施方式中,在判定位置边框内的像素分布特征中的全部或者部分与目标区域部分的像素分布特征相似的情况下,表明位置边框与目标区域部分之间存在重叠。此时,位置边框内的目标对象影响到医学图像的质量,导致医学图像不满足盲化阅片条件,不利于独立影像评估。
示例性的,若位置边框内的目标对象是文字信息,文字信息包括受试者姓名、性别、年龄、病灶描述信息等敏感信息中的至少一个,这些敏感信息会引起阅片审核人的偏颇,影响阅片结果的真实性和可靠性。即使文字信息不包括敏感信息,也可能会对目标区域部分遮挡,从而影响阅片结果的真实性和可靠性。示例性的,若位置边框内的目标对象是标记信息,标记信息包括可以是线段线条、带箭头线条、圆框中的至少一个,利用标记信息可以指明病灶位置或者病灶大小。因此,通过标记信息可能向阅片审核人提供先入为主的印象,不能独立公正评估病灶大小。即使标记信息不能够指明病灶,也可能会对目标区域部分遮挡,从而影响阅片结果的真实性和可靠性。
在一些实施方式中,请参阅图2d,在判定位置边框内的像素分布特征中的全部与目标区域部分的像素分布特征不相似的情况下,表明目标对象的位置边框206与目标区域部分208之间不存在重叠,说明位置边框内目标对象不会对目标区域部分造成遮挡。但是,依旧需要进一步判断目标对象是否满足盲化阅片条件。在判定目标对象不满足盲化阅片条件的情况下,表明目标对象影响到独立影像评估工作。进一步地,位置边框内目标对象不会对目标区域部分造成遮挡,因此,可以对该医学图像中的目标对象进行处理。具体地,请参阅图2e,根据位置边框上的像素数据对位置边框206的内部区域进行填充,得到目标医学图像。对位置边框上的像素数据进行均值计算,得到位置边框上的像素均值,利用位置边框上的像素均值填充位置边框的内部区域,得到目标医学图像,其中,目标医学图像用作所述医学图像序列的所述医学图像。
在一些实施方式中,利用目标医学图像替换医学图像序列中包括目标对象的医学图像,得到满足盲化阅片条件的目标图像序列。图像处理服务器发送目标图像序列至阅片终端。阅片终端展示目标图像序列,以供阅片审核人进行阅片。需要说明的是,医学图像序列中包括目标对象的医学图像可以继续保留,但是并不能够发送至阅片终端,以供后续的稽查使用。
上述医学图像的处理方法,通过检测医学图像序列中医学图像,得到医学图像中文字信息、标记信息中至少一个的位置边框,对位置边框内的像素数据进行分析,得到位置边框内的像素分布特征。并在位置边框与目标区域部分之间不存在重叠,且目标对象不满足盲化阅片条件的情况下,通过利用好位置边框上的像素均值对位置边框的内部区域进行填充,得到满足盲化阅片条件的目标图像序列。此时,在医学图像序列初始不满足盲化阅片条件,也不再需要重新对受试者进行检查和拍摄,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
在一些实施方式中,请参阅图3,在根据像素分布特征判定位置边框与目标区域部分之间不存在重叠,且目标对象不满足盲化阅片条件的情况下,基于位置边框上的像素均值对位置边框的内部区域进行填充,得到目标医学图像,可以包括以下步骤。
S310、在根据像素分布特征判定位置边框与目标区域部分不存在重叠的情况下,识别文字信息中包括的关键词。
S320、在检测到关键词包括受试者信息和/或病灶信息的情况下,判定位置边框内文字信息不满足盲化阅片条件,则利用具有像素均值的像素对位置边框内的关键词进行掩盖,得到目标医学图像。
具体地,比对位置边框内的像素分布特征中的全部与目标区域部分的像素分布特征,在判定位置边框内的像素分布特征中的全部与目标区域部分的像素分布特征不相似的情况下,判定位置边框内的文字信息没有与目标区域部分存在重叠,需要进一步地识别位置边框内文字信息是否影响独立影像评估(即检测位于位置边框内的文字信息是否满足盲化阅片条件)。对目标检测模型检测到的文字信息进行文字识别,得到文字信息中包括的关键词。示例性的,可以利用OCR技术进行文字识别。在一些实施方式中,可以检测关键词中是否存在姓名,生日,身份证号,家庭地址,电话号码,病历号码等中的至少一个受试者信息,若检测到受试者信息,则判定文字信息不满足盲化阅片条件。在一些实施方式中,可以检测关键词中是否存在病灶名称、病灶描述信息、病灶尺寸等中至少一个病灶信息,若检测到病灶信息,则判定文字信息不满足盲化阅片条件。
若判定文字信息不满足盲化阅片条件,对位置边框上的像素数据进行均值计算,得到位置边框上的像素均值,利用位置边框上的像素均值填充位置边框的内部区域,得到目标医学图像。
上述实施方式中,通过识别文字信息中是否包括敏感信息,在识别到敏感信息的情况下,才利用具有像素均值的像素对位置边框内的关键词进行掩盖,得到目标医学图像,并不是针对所有的目标对象的位置边框与目标区域部分之间不存在重叠的医学图像执行掩盖处理,实现有针对性地进行目标对象地掩盖处理,减少图像处理服务器的计算量。
在一些实施方式中,该医学图像的处理方法还可以包括以下步骤:在根据像素分布特征判定位置边框与目标区域部分不存在重叠的情况下,判定位置边框内的标记信息满足盲化阅片条件,以使医学图像不被处理。或者,在根据像素分布特征判定位置边框与目标区域部分不存在重叠,且检测到位置边框内的文字信息中包括的关键词没有包括受试者信息和/或病灶信息的情况下,判定文字信息满足盲化阅片条件,以使医学图像不被处理。
具体地,比对位置边框内的像素分布特征中的全部与目标区域部分的像素分布特征,判定位置边框内的像素分布特征中的全部与目标区域部分的像素分布特征不相似,则标记信息与目标区域部分之间不存在重叠,或者,文字信息与目标区域部分之间不存在重叠。在一些实施方式中,在标记信息与目标区域部分之间不存在重叠的情况下,表明标记信息并没有遮挡目标区域部分,而且标记信息是一些线条或者矩形框,并不能影响独立影像评估,因此判定标记信息满足盲化阅片条件,从而医学图像不需要被处理。在一些实施方式中,在文字信息与目标区域部分之间不存在重叠的情况下,表明文字信息并没有遮挡目标区域部分。进一步地对文字信息进行文字识别,进一步地检测到文字信息中包括的关键词没有包括受试者信息和/或病灶信息的情况下,判定文字信息满足盲化阅片条件,从而医学图像不需要被处理。
上述实施方式中,针对包括与目标区域部分不存在重叠的标记信息的医学图像、包括与目标区域部分不存在重叠且满足盲化阅片条件的文字信息的医学图像,无需进行处理,且可以展示在阅片终端,尽可能地利用包括满足盲化阅片条件的目标对象的医学图像,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
在一些实施方式中,基于位置边框内的像素数据确定位置边框内的像素分布特征,可以包括:根据位置边框内的像素数据确定位置边框内像素点的像素变化率。其中,位置边框内像素点的像素变化率,用于判断位置边框与目标区域部分之间是否存在重叠。
具体地,比较位置边框内相邻像素点的像素数据,确定位置边框内像素点的像素变化率。示例性的,位置边框内像素点A具有最大像素值,位置边框内像素点B具有最小像素值,像素点A的最大像素值与像素点B的最小像素值之间的差值可以作为位置边框内像素点的像素变化率。
在一些实施方式中,比较非目标区域内相邻像素点的像素数据,确定非目标区域部分内像素点的像素变化率。相较于目标区域部分内像素点的像素变化率,非目标区域部分内像素点的像素变化率比较小。因此,比较位置边框内像素点的像素变化率与非目标区域部分内像素点的像素变化率。若位置边框内像素点的像素变化率与非目标区域部分内像素点的像素变化率之间的差值满足变化率预设条件,位置边框位于非目标区域部分内,即可判定位置边框与目标区域部分之间不存在重叠。若位置边框内像素点的像素变化率与非目标区域部分内像素点的像素变化率之间的差值不满足变化率预设条件,判定位置边框与目标区域部分之间存在重叠。需要说明的是,位置边框与目标区域部分之间存在重叠可以理解为位置边框的部分位于目标区域部分内,也可以理解为可以理解为位置边框的全部位于目标区域部分内。
在一些实施方式中,医学图像还包括非目标区域部分。其中,目标区域部分的像素点的像素变化率大于非目标区域部分的像素点的像素变化率。目标区域部分的像素点的像素数据大于非目标区域部分的像素点的像素数据。在非目标区域部分与目标区域部分的交界处的像素变化率存在有阶跃变化。
其中,医学图像包括目标区域部分和非目标区域部分,身体区域可以理解为是身体内区域,非身体区域可以理解为身体外区域。身体内区域包括有不同的组织,不同的组织具有不同的像素数据,身体外区域主要是空气,空气部分对应的像素数据不同于身体内区域。示例性的,由于人体组织在医学影像中具有不同的像素值,以CT为例,不同组织的像素值是不同的,水的像素值约为0HU,骨头的像素值最高可达1000HU。身体外区域的空气的像素值约为-1000HU。可见,目标区域部分的像素点的像素数据大于非目标区域部分的像素点的像素数据。通过对目标区域部分和非目标区域部分像素数据分析,目标区域部分的像素点的像素变化率大于非目标区域部分的像素点的像素变化率,在非目标区域部分与目标区域部分的交界处的像素变化率存在有阶跃变化。具体地,比较位置边框内相邻像素点的像素数据,确定位置边框内像素点的像素变化率。比较目标区域部分内相邻像素点的像素数据,确定目标区域部分内像素点的像素变化率。比较非目标区域内相邻像素点的像素数据,确定非目标区域部分内像素点的像素变化率。
在一些实施方式中,若位置边框内像素点的像素变化率小于目标区域部分的像素点的像素数据,且位置边框内像素点的像素变化率与非目标区域部分内像素点的像素变化率接近,则可以判定位置边框与目标区域部分之间不存在重叠。若位置边框内像素点的像素变化率存在有阶跃变化,且已知在非目标区域部分与目标区域部分的交界处的像素变化率存在有阶跃变化,则可以判定位置边框与目标区域部分之间存在部分重叠。若位置边框内像素点的像素变化率大于非目标区域部分的像素点的像素数据,且位置边框内像素点的像素变化率与目标区域部分内像素点的像素变化率接近,则可以判定位置边框与目标区域部分之间存在重叠。
在一些实施方式中,根据位置边框内像素点的像素变化率以及位置边框内的像素均值判断位置边框与目标区域部分之间是否存在重叠。在位置边框内的像素均值小于目标区域部分的像素均值,且位置边框内像素点的像素变化率小于目标区域部分的像素点的像素数据的情况下,判定位置边框与目标区域部分之间不存在重叠。在位置边框内的像素均值大于非目标区域部分的像素均值,且位置边框内像素点的像素变化率大于非目标区域部分的像素点的像素变化率的情况下,判定位置边框与目标区域部分之间存在重叠。
在一些实施方式中,位置边框内的目标对象可以是所述医学图像中的文字信息,可以是所述医学图像中的标记信息。考虑到文字信息对应的像素点或者标记信息对应的像素点与位置边框内的其他像素点不同,比如文字信息或者标记信息采用亮度较高的颜色,文字信息对应的像素点或者标记信息对应的像素点对位置边框内的像素均值影响较大。因此,基于YOLO系列的深度学习网络对位置边框内的标记信息或者文字信息进行实例分割,确定出标记信息对应的像素点或者文字信息对应的像素点。利用除标记信息或者文字信息对应的像素点之外的像素点对应的像素值计算位置边框内的像素均值。
在一些实施方式中,可以结合实际情况设置针对像素均值的均值阈值,设置针对像素变化率的变化率阈值。比如,对非目标区域部分的像素点的像素均值进行统计分析,基于统计分析结果设置均值阈值。对非目标区域部分的像素点的像素变化率进行统计分析,基于统计分析结果设置变化率阈值。具体地,比较位置边框内像素点的像素均值与均值阈值,比较位置边框内像素点的像素变化率与变化率阈值。在所述位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况下,判定所述位置边框位于所述非目标区域部分内,即判定所述位置边框与所述目标区域部分之间不存在重叠。在所述位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠。在所述位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠。在所述位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠。
示例性地说明位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况。体外区域是空气,空气CT值比较小,空气CT值的变化率也比较小。因此,当位置边框内像素点的像素均值小于均值阈值,位置边框内像素点的像素变化率小于变化率阈值,判断位置边框位于体外区域。
示例性地说明位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况。身体内组织的CT值比较大,身体内组织CT值的变化率也比较大。因此,当位置边框内像素点的像素均值不小于均值阈值,位置边框内像素点的像素变化率不小于变化率阈值,可以判断位置边框位于身体内区域,且可以确定位置边框与目标区域部分之间存在重叠。
示例性地说明位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况。位置边框可以位于均匀组织中,因为同一组织的CT值相差不大,所以位置边框内像素点的像素变化率并不会太大,即位置边框内像素点的像素变化率小于变化率阈值。但是位置边框位于体内组织,CT值比空气的CT值大,所以位置边框内像素点的像素均值会比较大,即位置边框内像素点的像素均值不小于均值阈值,且可以确定位置边框与目标区域部分之间存在重叠。
示例性地说明位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况。位置边框可以位于肺部区域,因为肺部区域大部分是空气、血管、气管,所以位置边框内像素点的像素变化率会比较大,即位置边框内像素点的像素变化率不小于变化率阈值。但是位置边框位于肺部区域,肺部区域大部分是空气,所以位置边框内像素点的像素均值会比较小,即位置边框内像素点的像素均值小于均值阈值,且可以确定位置边框与目标区域部分之间存在重叠。
上述实施方式中,基于位置边框内的像素数据检测医学图像序列的质量,实现对不满足独立影像评估需求的医学图像序列的过滤,提升了用于评估药效的医学检查图像序列的质量。
在一些实施方式中,请参阅图4a,在获取医学图像序列之后,该医学图像的处理方法还可以包括以下步骤。
S410、从医学图像序列中的医学图像提取金属伪影图像和运动伪影图像。
具体地,图像处理服务器中可以部署有目标检测模型,利用目标检测模型对医学图像序列中的医学图像进行目标检测,得到金属伪影的位置和运动伪影的位置。请参阅图4b,基于金属伪影的位置从医学图像序列中的医学图像提取金属伪影图像402。请参阅图4c,基于运动伪影的位置从医学图像序列中的医学图像提取运动伪影图像404。
S420、获取金属伪影图像的第一质量分数以及运动伪影图像的第二质量分数。
具体地,金属伪影图像、运动伪影图像分别具有一定模糊度,可以对金属伪影图像进行模糊检测,得到金属伪影图像的第一质量分数。可以对运动属伪影图像进行模糊检测,得到运动伪影图像的第二质量分数。
S430、在第一质量分数不低于质量分数阈值的情况下,确定金属伪影图像不满足盲化阅片条件。
其中,质量分数阈值可以结合实际情况而设置的质量分数。具体地,比较第一质量分数与质量分数阈值,若第一质量分数不低于质量分数阈值,则表明金属伪影金属伪影可能影响到阅片审核人对病灶的判断,则可以判定该医学图像不满足盲化阅片条件。
S440、在第二质量分数不低于质量分数阈值的情况下,确定运动伪影图像不满足盲化阅片条件。
具体地,比较第二质量分数与质量分数阈值,若第二质量分数不低于质量分数阈值,则表明运动伪影可能影响到阅片审核人对病灶的判断,则可以判定该医学图像不满足盲化阅片条件。需要说明的是,金属伪影的线条与运动伪影的线条分别具有方向性质,运动伪影是因为在拍片时朝着一个方向运动,运动伪影的线条具有一个方向。金属伪影的线条是由于金属造成的,金属伪影的线条具有多个辐射的方向。
在一些实施方式中,利用拉普拉斯变换或者傅里叶变换确定运动伪影图像的模糊分数。在一些情况下,由于射线能量弱等原因,导致医学图像存在模糊问题,但是这类模糊图像并没有方向性质,为了区别开运动伪影图像和没有方向性质的模糊图像,计算运动伪影图像的方向梯度。通过引入金属伪影图像的方向梯度,降低将没有方向性质的模糊图像确定为金属伪影图像的几率。具体地,根据运动伪影图像的模糊分数以及方向梯度确定运动伪影图像的第二质量分数。示例性的,由于预先设有模糊分数的第一权重和方向梯度的第二权重。利用第一权重与模糊分数的乘积、第二权重与方向梯度的乘积确定运动伪影图像的第二质量分数,作为运动伪影图像的第二质量分数。第一权重、第二权重的取值可以分别为0.5,0.5。第一权重、第二权重的取值可以分别为0.7,0.3。
上述实施方式中,分别对医学图像序列中的医学图像进行金属伪影检测、运动伪影检测。通过对医学图像序列中的医学图像进行多种检测,多方位的控制医学图像序列的质量,确保评估药效的医学检查图像序列的质量,同时还可以尽可能地利用包括满足盲化阅片条件的目标对象的医学图像,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
在一些实施方式中,获取金属伪影图像的第一质量分数,可以包括:在检测到金属伪影图像中包括骨骼的情况下,剔除金属伪影图像中的骨骼,得到去骨医学图像;根据去骨医学图像的模糊分数以及方向梯度确定去骨医学图像的第一质量分数。将所述去骨医学图像的第一质量分数作为所述金属伪影图像的第一质量分数。
在一些情况下,请参阅图5a,金属伪影图像中存在骨骼502,骨骼的像素值约为1000HU,如果存在钙化情况,骨骼的像素值会更高,在金属伪影图像中存在骨骼可能会引起假阳性的误判,因此,可以使用深度学习分割技术来剔除骨骼。具体地,在从医学图像序列中的医学图像提取金属伪影图像后,利用深度学习分割技术检测金属伪影图像,识别金属伪影图像的骨骼,去除金属伪影图像的骨骼,得到去骨医学图像(请参阅图5b)。计算去骨医学图像的模糊分数和方向梯度。
在一些实施方式中,利用拉普拉斯变换或者傅里叶变换确定金属伪影图像的模糊分数。在一些情况下,由于射线能量弱等原因,导致医学图像存在模糊问题,但是这类模糊图像并没有方向性质,因此,在利用拉普拉斯变换或者傅里叶变换确定运动伪影图像的模糊分数后,进一步地计算金属伪影图像的方向梯度。由于预先设有模糊分数的第一权重和方向梯度的第二权重。利用第一权重与模糊分数的乘积、第二权重与方向梯度的乘积确定去骨医学图像的第一质量分数,作为金属伪影图像的第一质量分数。通过引入金属伪影图像的方向梯度,区别开金属伪影图像和没有方向性质的模糊图像,降低将没有方向性质的模糊图像确定为金属伪影图像的几率。
上述实施方式中,从金属伪影图像剔除骨骼,减少骨骼引起假阳性的几率,尽可能地利用包括金属伪影图像的医学图像序列,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
在一些实施方式中,该医学图像的处理方法还可以包括以下步骤:在所述第一质量分数低于所述质量分数阈值的情况下,确定所述金属伪影图像满足盲化阅片条件;在所述第二质量分数低于所述质量分数阈值的情况下,确定所述运动伪影图像满足盲化阅片条件。
在一些情况下,虽然已经计算得出金属伪影图像的第一质量分数、运动伪影图像的第二质量分数,但是若因为单纯的图像质量模糊而判断为金属伪影、运动伪影,可能会导致一些本来可用的医学图像序列被标记为不可查看,从而导致一些医学图像序列的浪费,受试者重新医学检查,产生对医学成像设备不必要的使用。因此,设置质量分数阈值。比较第一质量分数与质量分数阈值,若第一质量分数低于质量分数阈值,表明该金属伪影图像的模糊不影响阅片,因此,判定包括该金属伪影图像的医学图像满足盲化阅片条件,以使包括该医学图像的医学图像序列不被处理。比较第二质量分数与质量分数阈值,若第二质量分数低于质量分数阈值,表明该运动伪影图像的模糊不影响阅片,因此,判定包括该运动伪影图像的医学图像满足盲化阅片条件,以使包括该医学图像的医学图像序列不被处理。
上述实施方式中,尽可能地利用已经拍摄地医学图像序列,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
在一些实施方式中,该医学图像的处理方法还可以包括以下步骤:在根据像素分布特征判定位置边框与目标区域部分之间存在重叠的情况下,删除医学图像序列,或者,为医学图像序列添加不可查看标记;其中,不可查看标记用于控制医学图像序列在阅片终端不被展示。
在一些情况下,如果任一医学图像序列中有一医学图像存在问题,则需要标记该任一医学图像序列存在问题,并标记出具体是哪个医学图像。具体地,在根据像素分布特征判定位置边框与目标区域部分之间存在重叠的情况下,表明位置边框内的目标对象对目标区域部分造成遮挡,对应的包括目标对象的医学图像存在质量问题,则该医学图像所在的医学图像序列不能用于独立影像评估工作中,即不能够提供至阅片终端。在一些实施方式中,由于该医学图像序列不能够提供至阅片终端,因此,为该医学图像序列添加不可查看标记。不可查看标记用于表示该医学图像序列存在质量问题。在一些实施方式中,由于该医学图像序列不能够提供至阅片终端,因此可以直接删除该医学图像序列。
上述实施方式中,通过删除不满足盲化阅片条件的医学图像序列,或者,为不满足盲化阅片条件的医学图像序列添加不可查看标记,实现对不满足独立影像评估需求的医学图像序列的过滤,提升了用于评估药效的医学检查图像序列的质量。
在一些实施方式中,在检测到医学图像序列中任一医学图像中的金属伪影或者运动伪影不满足盲化阅片条件的情况下,为医学图像序列添加不可查看标记;或者,发送质疑消息,所述质疑消息用于提醒在后续医学图像检查时避免发生导致产生金属伪影或者运动伪影的事件。
在一些情况下,受试者的衣服上具有金属夹或者受试者体内具有金属,在进行医学检查时,医学图像的相应位置产生金属伪影,影响医学图像文件的图像质量。在一些情况下,由于医学检查时受试者发出一些动作,比如头部的扭动,医学图像的相应位置产生运动伪影,影响医学图像文件的图像质量。在检测到医学图像序列中任一医学图像存在的金属伪影或者运动伪影不满足盲化阅片条件的情况下,可以为医学图像序列添加不可查看标记,也可以发送质疑消息,质疑消息用于提醒在后续医学图像检查时避免发生导致产生金属伪影或者运动伪影的事件。
上述实施方式中,通过为不满足盲化阅片条件的医学图像序列添加不可查看标记,实现对不满足独立影像评估需求的医学图像序列的过滤,提升了用于评估药效的医学检查图像序列的质量。通过向相关人员发送质疑消息,以提醒相关人员在后续医学图像检查时避免发生导致产生金属伪影或者运动伪影的事件,有助于医学图像质量,减少对医学图像检查设备的不必要使用。
在一些实施方式中,该医学图像的处理方法还可以包括以下步骤:在判定医学图像不满足盲化阅片条件的情况下,发送医学图像序列以及医学图像序列的标记原因至质控终端,以用于质控终端展示医学图像序列中导致医学图像序列处于不可被查看的医学图像,以及标记原因;其中,标记原因用于描述医学图像序列不满足盲化阅片条件的原因。
其中,质控终端可以是质控人员对不满足盲化阅片条件的医学图像序列进行核查时所使用的终端。具体地,在一些情况下,虽然图像处理服务器自动检测出医学图像序列不符合独立影像评估的需求,但是依旧需要质控人员对其进行核实,因此,图像处理服务器向质控终端发送不满足盲化阅片条件的医学图像序列,以及标记原因。质控终端接收不满足盲化阅片条件的医学图像序列,以及标记原因。不满足盲化阅片条件的医学图像序列中包括导致其处于不可被查看的医学图像。为了使得质控人员快速得知不符合独立影像评估的需求的原因,质控终端可以展示标记原因,以描述医学图像序列不满足盲化阅片条件的原因。
本实施方式中,发送目标图像序列至质控终端,质控终端只需要加载不满足盲化阅片条件的医学图像序列,不再需要加载全部的医学图像序列,减少加载时间。进一步地,直观地向质控人员展示导致医学图像序列处于不可被查看的医学图像,减少质控人员的操作成本,提升质控效率。
在一些实施方式中,可以分别对医学图像序列中的医学图像进行目标检测、金属伪影检测、运动伪影检测。通过对医学图像序列中的医学图像进行多种检测,多方位的控制医学图像序列的质量,确保评估药效的医学检查图像序列的质量,同时还可以尽可能地利用包括满足盲化阅片条件的目标对象的医学图像,降低受试者重新医学检查的发生几率,减少对医学成像设备不必要的使用,利于临床试验项目的执行。
应该理解的是,虽然上述流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
请参阅图6,本说明书实施方式提供了一种医学图像的处理装置。医学图像的处理装置可以包括图像序列获取模块、目标对象检测模块、分布特征确定模块、像素均值填充模块。
图像序列获取模块,用于获取医学图像序列;其中,所述医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;所述医学图像包括针对身体区域的目标区域部分;
目标对象检测模块,用于对所述医学图像进行目标检测,确定所述医学图像中目标对象的位置边框;其中,所述目标对象包括所述医学图像中的文字信息和/或所述医学图像中的标记信息;
分布特征确定模块,用于基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征;其中,所述像素分布特征用于表征所述位置边框内指定部分像素点或者全部像素点之间的像素数据变化;
像素均值填充模块,用于在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像;其中,所述目标医学图像用作所述医学图像序列的所述医学图像,以得到满足所述盲化阅片条件的目标图像序列;其中,所述目标图像序列用于展示在阅片终端。
关于医学图像的处理装置的具体限定可以参见上文中对于医学图像的处理方法的限定,在此不再赘述。上述医学图像的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一些实施方式中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现上述医学图像的处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图7中示出的结构,仅仅是与本说明书所公开方案相关的部分结构的框图,并不构成对本说明书所公开方案所应用于其上的计算机设备的限定,具体地,计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一些实施方式中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述实施方式中的方法步骤。
在一些实施方式中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施方式中的方法步骤。
在一些实施方式中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由计算机设备的处理器执行时实现上述实施方式中的方法步骤。
本领域普通技术人员可以理解实现上述实施方式方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施方式的流程。其中,本说明所提供的各实施方式中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施方式的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施方式中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述仅为本说明书的较佳实施方式而已,并不用以限制本说明书,凡在本说明书的精神和原则之内,所作的任何修改、等同替换等,均应包含在本说明书的保护范围之内。
Claims (13)
1.一种医学图像的处理方法,其特征在于,所述方法包括:
获取医学图像序列;其中,所述医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;所述医学图像包括针对身体区域的目标区域部分;
对所述医学图像进行目标检测,确定所述医学图像中目标对象的位置边框;其中,所述目标对象包括所述医学图像中的文字信息和/或所述医学图像中的标记信息;
基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征;其中,所述像素分布特征用于表征所述位置边框内指定部分像素点或者全部像素点之间的像素数据变化;
在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像;其中,所述目标医学图像用作所述医学图像序列的所述医学图像,以得到满足所述盲化阅片条件的目标图像序列;其中,所述目标图像序列用于展示在阅片终端。
2.根据权利要求1所述的方法,其特征在于,所述在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像,包括:
在根据所述像素分布特征判定所述位置边框与所述目标区域部分不存在重叠的情况下,识别所述位置边框内的文字信息中包括的关键词;
在检测到所述关键词包括受试者信息和/或病灶信息的情况下,利用具有所述像素均值的像素对所述位置边框内的关键词进行掩盖,得到所述目标医学图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在根据所述像素分布特征判定所述位置边框与所述目标区域部分不存在重叠的情况下,判定所述位置边框内的标记信息满足盲化阅片条件,以使所述医学图像不被处理;或者,
在根据所述像素分布特征判定所述位置边框与所述目标区域部分不存在重叠,且检测到所述位置边框内的文字信息中包括的关键词没有包括受试者信息和/或病灶信息的情况下,判定所述文字信息满足盲化阅片条件,以使所述医学图像不被处理。
4.根据权利要求1所述的方法,其特征在于,所述基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征,包括:
根据所述位置边框内像素点的像素数据确定所述位置边框内像素点的像素变化率;其中,所述位置边框内像素点的像素变化率,用于判断所述位置边框与所述目标区域部分之间是否存在重叠。
5.根据权利要求4所述的方法,其特征在于,采用以下方式中的任一种判断所述位置边框与所述目标区域部分之间是否存在重叠:
在所述位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间不存在重叠;
在所述位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠;
在所述位置边框内像素点的像素均值不小于均值阈值且所述位置边框内像素点的像素变化率小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠;
在所述位置边框内像素点的像素均值小于均值阈值且所述位置边框内像素点的像素变化率不小于变化率阈值的情况下,判定所述位置边框与所述目标区域部分之间存在重叠。
6.根据权利要求1所述的方法,其特征在于,在所述获取医学图像序列之后,所述方法还包括:
从所述医学图像序列中的医学图像提取金属伪影图像和运动伪影图像;
获取所述金属伪影图像的第一质量分数以及所述运动伪影图像的第二质量分数;
在所述第一质量分数不低于质量分数阈值的情况下,确定所述金属伪影图像不满足盲化阅片条件;
在所述第二质量分数不低于质量分数阈值的情况下,确定所述运动伪影图像不满足盲化阅片条件。
7.根据权利要求6所述的方法,其特征在于,所述获取所述金属伪影图像的第一质量分数,包括:
在检测到所述金属伪影图像中包括骨骼的情况下,剔除所述金属伪影图像中的骨骼,得到去骨医学图像;
根据所述去骨医学图像的模糊分数以及方向梯度确定所述去骨医学图像的第一质量分数,将所述去骨医学图像的第一质量分数作为所述金属伪影图像的第一质量分数。
8.根据权利要求6所述的方法,其特征在于,获取所述运动伪影图像的第二质量分数,包括:
利用拉普拉斯变换或者傅里叶变换确定所述运动伪影图像的模糊分数;
计算所述运动伪影图像的方向梯度;
根据所述运动伪影图像的模糊分数以及方向梯度确定所述运动伪影图像的第二质量分数。
9.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在所述第一质量分数低于所述质量分数阈值的情况下,确定所述金属伪影图像满足盲化阅片条件;
在所述第二质量分数低于所述质量分数阈值的情况下,确定所述运动伪影图像满足盲化阅片条件。
10.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间存在重叠的情况下,删除所述医学图像序列,或者,为所述医学图像序列添加不可查看标记;其中,所述不可查看标记用于控制所述医学图像序列在所述阅片终端不被展示;或者,
在检测到所述医学图像序列中任一医学图像中的金属伪影或者运动伪影不满足盲化阅片条件的情况下,为所述医学图像序列添加不可查看标记,或者,发送质疑消息,所述质疑消息用于提醒在后续医学图像检查时避免发生导致产生金属伪影或者运动伪影的事件。
11.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在判定所述医学图像不满足所述盲化阅片条件的情况下,发送所述医学图像序列以及所述医学图像序列的标记原因至质控终端,以用于所述质控终端展示所述医学图像序列中导致所述医学图像序列处于不可被查看的医学图像,以及标记原因;其中,所述标记原因用于描述所述医学图像序列不满足所述盲化阅片条件的原因。
12.一种医学图像的处理装置,其特征在于,所述装置包括:
图像序列获取模块,用于获取医学图像序列;其中,所述医学图像序列中包括若干张针对身体区域进行拍摄得到的医学图像;所述医学图像包括针对身体区域的目标区域部分;
目标对象检测模块,用于对所述医学图像进行目标检测,确定所述医学图像中目标对象的位置边框;其中,所述目标对象包括所述医学图像中的文字信息和/或所述医学图像中的标记信息;
分布特征确定模块,用于基于所述位置边框内的像素数据确定所述位置边框内的像素分布特征;其中,所述像素分布特征用于表征所述位置边框内指定部分像素点或者全部像素点之间的像素数据变化;
像素均值填充模块,用于在根据所述像素分布特征判定所述位置边框与所述目标区域部分之间不存在重叠,且所述目标对象不满足盲化阅片条件的情况下,基于所述位置边框上的像素均值对所述位置边框的内部区域进行填充,得到目标医学图像;其中,所述目标医学图像用作所述医学图像序列的所述医学图像,以得到满足所述盲化阅片条件的目标图像序列;其中,所述目标图像序列用于展示在阅片终端。
13.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662664.9A CN114742836B (zh) | 2022-06-13 | 2022-06-13 | 医学图像的处理方法、装置及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210662664.9A CN114742836B (zh) | 2022-06-13 | 2022-06-13 | 医学图像的处理方法、装置及计算机设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114742836A CN114742836A (zh) | 2022-07-12 |
CN114742836B true CN114742836B (zh) | 2022-09-09 |
Family
ID=82287127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210662664.9A Active CN114742836B (zh) | 2022-06-13 | 2022-06-13 | 医学图像的处理方法、装置及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114742836B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117496126B (zh) * | 2023-11-13 | 2024-04-30 | 浙江飞图影像科技有限公司 | 基于关键词的影像自动定位系统及方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1443460A1 (en) * | 2003-02-03 | 2004-08-04 | C.F.D. Elettronica S.P.A. | A process for digital image processing, in particular in the video monitoring field |
CN104463853A (zh) * | 2014-11-22 | 2015-03-25 | 四川大学 | 一种基于图像分割的阴影检测与去除算法 |
CN110796650A (zh) * | 2019-10-29 | 2020-02-14 | 杭州阜博科技有限公司 | 图像质量的评估方法及装置、电子设备、存储介质 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN113034389A (zh) * | 2021-03-17 | 2021-06-25 | 武汉联影智融医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113077464A (zh) * | 2021-05-06 | 2021-07-06 | 吴国军 | 一种医学图像处理方法、医学图像识别方法及装置 |
CN113256529A (zh) * | 2021-06-09 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN113902737A (zh) * | 2021-11-23 | 2022-01-07 | 西南医科大学附属医院 | 一种基于甲状腺ct图像异常的检测方法 |
CN114118708A (zh) * | 2021-11-01 | 2022-03-01 | 杭州太美星程医药科技有限公司 | 医学图像质控方法及其装置、电子设备和计算机存储介质 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105335979A (zh) * | 2015-10-28 | 2016-02-17 | 努比亚技术有限公司 | 一种图像处理的方法及装置 |
CN107967673B (zh) * | 2017-12-03 | 2019-12-17 | 天津大学 | 一种自适应样本块图像修复方法 |
-
2022
- 2022-06-13 CN CN202210662664.9A patent/CN114742836B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1443460A1 (en) * | 2003-02-03 | 2004-08-04 | C.F.D. Elettronica S.P.A. | A process for digital image processing, in particular in the video monitoring field |
CN104463853A (zh) * | 2014-11-22 | 2015-03-25 | 四川大学 | 一种基于图像分割的阴影检测与去除算法 |
CN110796650A (zh) * | 2019-10-29 | 2020-02-14 | 杭州阜博科技有限公司 | 图像质量的评估方法及装置、电子设备、存储介质 |
CN111080584A (zh) * | 2019-12-03 | 2020-04-28 | 上海联影智能医疗科技有限公司 | 医学图像的质控方法、计算机设备和可读存储介质 |
CN113034389A (zh) * | 2021-03-17 | 2021-06-25 | 武汉联影智融医疗科技有限公司 | 图像处理方法、装置、计算机设备和存储介质 |
CN113077464A (zh) * | 2021-05-06 | 2021-07-06 | 吴国军 | 一种医学图像处理方法、医学图像识别方法及装置 |
CN113256529A (zh) * | 2021-06-09 | 2021-08-13 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
CN114118708A (zh) * | 2021-11-01 | 2022-03-01 | 杭州太美星程医药科技有限公司 | 医学图像质控方法及其装置、电子设备和计算机存储介质 |
CN113902737A (zh) * | 2021-11-23 | 2022-01-07 | 西南医科大学附属医院 | 一种基于甲状腺ct图像异常的检测方法 |
Non-Patent Citations (4)
Title |
---|
《A reversible blind medical image watermarking scheme for patient identification, improved telediagnosis and tamper detection with a facial image watermark》;R. Velumani等;《2010 IEEE International Conference on Computational Intelligence and Computing Research》;20101231;第1-8页 * |
《An Efficient Framework for Searching Text in Noisy Document Images》;Ismet Zeki Yalniz等;《2012 10th IAPR International Workshop on Document Analysis Systems》;20121231;第48-52页 * |
《人工智能在医学影像中的研究与应用》;韩冬等;《大数据》;20190430;第39-67页 * |
《基于模式识别的生物医学图像处理研究现状》;徐莹莹等;《电子与信息学报》;20200131;第42卷(第1期);第201-213页 * |
Also Published As
Publication number | Publication date |
---|---|
CN114742836A (zh) | 2022-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101887194B1 (ko) | 피검체의 의료 영상의 판독을 지원하는 방법 및 이를 이용한 장치 | |
CN111080584B (zh) | 医学图像的质控方法、计算机设备和可读存储介质 | |
US8050734B2 (en) | Method and system for performing patient specific analysis of disease relevant changes of a disease in an anatomical structure | |
US11875897B2 (en) | Medical image processing apparatus, method, and program, and diagnosis support apparatus, method, and program | |
JP6719421B2 (ja) | 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム | |
US20210217166A1 (en) | Automated screening of medical data | |
CN111602173A (zh) | 断层扫描数据分析 | |
EP4183344A1 (en) | Device and method for supporting chest medical image reading | |
Dyer et al. | Diagnosis of normal chest radiographs using an autonomous deep-learning algorithm | |
US20220284578A1 (en) | Image processing for stroke characterization | |
US11669960B2 (en) | Learning system, method, and program | |
CN111210899A (zh) | 临床试验研究中的医学影像阅片方法和系统 | |
EP3923190A1 (en) | A system and method for evaluating a performance of explainability methods used with artificial neural networks | |
CN114742836B (zh) | 医学图像的处理方法、装置及计算机设备 | |
CN111128348A (zh) | 医学图像处理方法、装置、存储介质及计算机设备 | |
JP2019536531A (ja) | X線画像内の不透明度を検出する装置 | |
US11803970B2 (en) | Image judgment device, image judgment method, and storage medium | |
CN117015799A (zh) | 检测x射线图像中的异常 | |
CN115274063A (zh) | 用于操作医学图像数据集的评估系统的方法、评估系统 | |
US20240164709A1 (en) | Apparatus for Monitoring Treatment Side Effects | |
JP7483018B2 (ja) | 画像処理装置、画像処理方法及びプログラム、画像処理システム | |
US20230121783A1 (en) | Medical image processing apparatus, method, and program | |
US11928817B2 (en) | Method for filtering normal medical image, method for interpreting medical image, and computing device implementing the methods | |
EP4356837A1 (en) | Medical image diagnosis system, medical image diagnosis system evaluation method, and program | |
WO2022264757A1 (ja) | 医用画像診断システム、医用画像診断方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |