CN113706644A - 图像处理方法及其装置、存储介质 - Google Patents

图像处理方法及其装置、存储介质 Download PDF

Info

Publication number
CN113706644A
CN113706644A CN202110238812.XA CN202110238812A CN113706644A CN 113706644 A CN113706644 A CN 113706644A CN 202110238812 A CN202110238812 A CN 202110238812A CN 113706644 A CN113706644 A CN 113706644A
Authority
CN
China
Prior art keywords
image
layer thickness
sample
samples
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110238812.XA
Other languages
English (en)
Inventor
郑瀚
常健博
王任直
冯铭
尚鸿
姚建华
王晓宁
裴翰奇
陈星翰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Original Assignee
Tencent Technology Shenzhen Co Ltd
Peking Union Medical College Hospital Chinese Academy of Medical Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Peking Union Medical College Hospital Chinese Academy of Medical Sciences filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110238812.XA priority Critical patent/CN113706644A/zh
Publication of CN113706644A publication Critical patent/CN113706644A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种图像处理方法及其装置、存储介质,通过获取包括多层CT图像的CT图像组,接着确定目标层数间隔,再根据目标层数间隔确定多个分组,然后根据CT图像的层数顺序,将多层CT图像按照目标层数间隔依次分配至多个分组,接着随机选择多个分组中的其中一个分组作为目标图像集合,实现将层厚较小的CT图像组转化成层厚较大的CT图像组的目的,以适配三维处理模型的层厚处理要求。本申请的技术方案避免了经过插值处理而引入的额外噪声,因此不会导致CT图像组发生失真,同时,能够使得模型训练和预测均可以兼容不同层厚的CT图像数据,从而能够提高对CT图像组的三维重构结果的准确性。可见,本申请可以广泛应用于图像处理技术中。

Description

图像处理方法及其装置、存储介质
技术领域
本申请涉及图像处理技术领域,尤其是一种图像处理方法及其装置、存储介质。
背景技术
伴随计算机技术和人工智能算法的发展,利用人工智能帮助医疗行业的工作者们成为了一个有意义的话题。脑出血,属于“脑中风”的一种,是中老年高血压患者的一种常见严重脑部并发症。脑出血是指非外伤性脑实质内血管破裂引起的出血,它起病急骤、死亡率非常高,是目前中老年的致死性疾病之一。为了能够协助专家进行脑出血的影像分析,相关技术中采用了对脑部CT(Computed Tomography,计算机断层扫描)图像进行三维重构的方式,将一组二维的CT图像转换成一个三维的立体模型,以便于专家能够进行准确的诊断处理。
在对CT图像组进行三维重构的过程中,需要使用到三维处理模型,为了提高三维处理模型对CT图像组的处理准确性,往往会对CT图像组进行预处理,使得经过预处理的CT图像组的层厚能够适配三维处理模型的处理层厚。在相关技术中,针对CT图像组的层厚小于三维处理模型的处理层厚的情况,一般的做法是对CT图像组进行重采样处理和插值处理,使得经过重采样处理和插值处理的CT图像组的层厚适配三维处理模型的处理层厚。但是,在对CT图像组进行插值处理的过程中,会导致CT图像组产生失真,从而影响三维处理模型对CT图像组的三维重构结果的准确性。
发明内容
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
本申请实施例提供了一种图像处理方法、图像处理装置及计算机可读存储介质,以提高对CT图像组的三维重构结果的准确性。
一方面,本申请实施例提供了一种图像处理方法,包括以下步骤:
获取CT图像组,其中,所述CT图像组包括多层CT图像;
确定目标层数间隔;
根据所述目标层数间隔确定多个分组;
根据所述CT图像的层数顺序,将所述多层CT图像按照所述目标层数间隔依次分配至所述多个分组;
随机选择所述多个分组中的其中一个分组作为目标图像集合。
另一方面,本申请实施例还提供了一种图像处理装置,包括:
图像获取单元,用于获取CT图像组,其中,所述CT图像组包括多层CT图像;
间隔确定单元,用于确定目标层数间隔;
分组确定单元,用于根据所述目标层数间隔确定多个分组;
图像分组单元,用于根据所述CT图像的层数顺序,将所述多层CT图像按照所述目标层数间隔依次分配至所述多个分组;
图像选取单元,用于随机选择所述多个分组中的其中一个分组作为目标图像集合。
另一方面,本申请实施例还提供了一种图像处理装置,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个所述程序被至少一个所述处理器执行时实现如前面所述的图像处理方法。
另一方面,本申请实施例还提供了一种计算机可读存储介质,其中存储有处理器可执行的程序,所述处理器可执行的程序被处理器执行时用于实现如前面所述的图像处理方法。
本申请实施例的有益效果是:
本申请实施例先获取包括有多层CT图像的CT图像组,接着确定目标层数间隔,再根据目标层数间隔确定多个分组,然后根据CT图像的层数顺序,将多层CT图像按照目标层数间隔依次分配至多个分组,接着随机选择多个分组中的其中一个分组作为目标图像集合,即间隔的抽取CT图像,使得相邻两个被抽取的CT图像之间的层间距处于目标层厚范围内,从而使得层厚较小的CT图像组能够转化成层厚较大的CT图像组,从而能够适配预训练的三维处理模型的层厚处理要求。由于本申请实施例的技术方案并没有改变CT图像组中的原始数据,避免了经过重采样处理和插值处理而引入的额外噪声,因此不会导致CT图像组发生失真,同时,能够使得模型训练和预测均可以兼容不同层厚的CT图像数据,从而能够提高对CT图像组的三维重构结果的准确性。
本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
附图用来提供对本申请技术方案的进一步理解,并且构成说明书的一部分,与本申请的实施例一起用于解释本申请的技术方案,并不构成对本申请技术方案的限制。
图1是相关技术中一个CT图像组的示意图;
图2是相关技术中脑部血肿形态的原始CT图像和经过插值的脑部血肿形态的CT图像;
图3是本申请实施例提供的一种实施环境的示意图;
图4是本申请实施例提供的一种图像处理方法的流程图;
图5是图4中步骤200的具体方法流程图;
图6是图5中步骤210的目标层厚范围的确定步骤的具体方法流程图;
图7是本申请实施例提供的对三维处理模型的训练步骤的流程图;
图8是图7中步骤4000的具体方法流程图;
图9是图8中步骤4100的具体方法流程图;
图10是图7中步骤2000的具体方法流程图;
图11是图10中步骤2100的具体方法流程图;
图12是图7中步骤5000的具体方法流程图;
图13是图7中步骤6000的具体方法流程图;
图14是原始CT图像样本和经过图7中步骤1000至步骤6000的处理后得到的CT图像样本;
图15是本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”和“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)CT(Computed Tomography,计算机断层扫描):是利用精确准直的X线束、γ射线、超声波等,与灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描,具有扫描时间快、图像清晰等特点,可用于多种疾病的检查,能发现体内任何部位的细小病变。例如,使用X射线对人体某部位一定厚度的层面进行扫描,由探测器接收透过该层面的X射线,转变为可见光后,由光电转换变为电信号,再经模拟/数字转换器(Analog/DigitalConverter)转为数字信号,输入计算机处理,扫描所得的信息经计算机处理后,得到每个体素的X射线的衰减系数或吸收系数,再排列成矩阵,即数字矩阵(Digital Matrix),数字矩阵可存贮于磁盘或光盘中,然后,经数字/模拟转换器(Digital/Analog Converter)把数字矩阵中的每个数字信息转为由黑到白不等灰度的小方块,即像素(Pixel),并按矩阵排列,即构成CT图像。
2)CT图像组:是指采用CT技术按照一定的断层厚度对患者的某一部位进行检测而得到的一组CT图像。CT图像组包括有多个CT图像,每个CT图像表示该部位的一层断面扫描图像。每个CT图像中均包括有所做检查的医院名称、患者信息、检查日期、检查时间、层厚、当前图像层数、图像总层数和扫描参数等信息,CT图像组中的所有CT图像按照层数的顺序堆叠起来,即可表示为该部位的三维信息。其中,层厚是指扫描层的厚度,两个扫描层中心之间的距离为层间距。例如图1所示的肺部的CT图像组,该肺部的CT图像组包括有16层肺部CT图像。
3)三维处理模型:是指用于将三维矩阵数据映射为三维图像的图像处理模型。
4)3D-Unet模型、卷积神经网络模型(Convolutional Neural Networks,CNN),为图像处理技术领域常见的模型。
本申请实施例所提供的图像处理方法和训练样本处理方法均可以应用于人工智能之中。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉(Computer Vision,CV):是一门研究如何使机器“看”的科学,更进一步地说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML):一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
深度学习(Deep Learning,DL):深度学习是机器学习领域中一个新的研究方向,它用于学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。
通过CT图像进行病理分析诊断工作,主要是观察一组二维的CT图像去发现病变体,这往往需要凭借医生的经验来判定,耗费的时间较多,且可能会因医生自身的主观因素影响到判断结果的准确性。利用计算机视觉的图像处理技术对医学领域内的CT图像进行分析和处理,能够有效实现对人体器官、软组织和病变体的分割提取、三维重建和三维显示,方便辅助医生对病变体及其它感兴趣的区域进行定性甚至定量的分析,从而大大提高医疗诊断的准确性和可靠性;在医疗教学、手术规划、手术仿真及各种医学研究中也能起重要的辅助作用。
在对CT图像组进行三维重构之前,为了能够得到更好的处理效果,往往需要采用训练样本对三维处理模型进行训练。在对三维处理模型进行训练之前,需要准备训练样本,一般的做法是先选取一个固定层厚,该固定层厚可以是CT图像样本集中的一个层厚,也可以是任意设定的层厚,然后通过插值的方式将CT图像样本集中所有样本的层厚转换为该固定层厚,得到用于训练该三维处理模型的训练样本。但是,在对CT图像组进行插值处理的过程中,会导致CT图像组产生失真,病灶的形态及对应的强度会被改变,从而影响三维处理模型对CT图像组的三维重构结果的准确性。例如图2所示,图2中上方的3个脑部CT图像为原始的脑部血肿形态图像,图2中下方的3个脑部CT图像为经过重采样处理以及插值处理后的脑部血肿形态图像,对比图2中上下3个脑部血肿形态图像可知,经过插值处理的CT图像会出现失真的情况,病灶的形态及对应的强度都会被改变。
为了提高对CT图像组的三维重构结果的准确性,本申请实施例提供了一种图像处理方法、图像处理装置及计算机可读存储介质,在获取包括有多层CT图像的CT图像组之后,确定目标层数间隔,然后根据该目标层数间隔确定多个分组,接着根据CT图像的层数顺序,将该多层CT图像按照该目标层数间隔依次分配至这些分组,再随机选择这些分组中的其中一个分组作为目标图像集合,即间隔的抽取CT图像,使得相邻两个被抽取的CT图像之间的层间距处于目标层厚范围内,从而使得层厚较小的CT图像组能够转化成层厚较大的CT图像组,从而能够适配三维处理模型的层厚处理要求。由于本申请实施例提供的方案并没有进行插值处理,没有改变CT图像组中的原始数据,因此不会导致CT图像组发生失真,能够保持原始图像的细节特征,同时,能够使得模型训练和预测均可以兼容不同层厚的CT图像数据,从而能够提高对CT图像组的三维重构结果的准确性。
本申请实施例提供的方案主要涉及人工智能中计算机视觉的图像处理等技术,具体通过如下实施例进行说明。
图3是本申请实施例提供的一种实施环境的示意图。参照图3,该实施环境包括服务器201和终端202。
服务器201可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器。
服务器201至少具有对CT图像进行图像识别及图像处理等功能,能够在获取包括有多层CT图像的CT图像组之后,确定目标层数间隔以及根据目标层数间隔确定多个分组,并沿CT图像的层数顺序,将这些CT图像按照目标层数间隔依次分配至这些分组,使得同一分组中相邻两个CT图像之间的层间距处于目标层厚范围内,从而得到目标图像集合。另外,服务器201或者与服务器201关联的其他服务器,还可以实现对三维处理模型的下载或构建功能以及对三维处理模型的训练功能,使得该三维处理模型能够用于对目标图像集合进行处理以得到三维图像。在本申请实施例中,以服务器201具有三维处理模型的下载功能、对三维处理模型的训练功能、对CT图像进行图像识别及图像处理等功能为例进行说明。
终端202可以是智能手机、平板电脑、笔记本电脑、台式计算机等,但并不局限于此。可选地,终端202上安装有用于处理图像的应用程序,该应用程序可由终端202从服务器201中下载安装,或者,该应用程序中集成有由终端202从服务器201中下载的三维处理模型。终端202以及服务器201可以通过有线或无线通信方式进行直接或间接的连接,本申请在此不做限制。
在一种可选的实现方式中,终端202响应于用户在应用程序中执行的上传CT图像组的操作,向服务器201发送该CT图像组,其中,该CT图像组包括有多层CT图像;服务器201基于接收到的CT图像组,确定目标层数间隔,再根据该目标层数间隔确定多个分组,然后根据CT图像的层数顺序,将这些CT图像按照该目标层数间隔依次分配至这些分组,接着随机选择这些分组中的其中一个分组作为目标图像集合,然后,服务器201将该目标图像集合输入至预训练的三维处理模型得到三维图像处理结果,接着将该三维图像处理结果发送至终端202,使得终端202通过该应用程序显示该三维图像处理结果,或者,服务器201将该目标图像集合发送至终端202,使得终端202通过该应用程序中集成的经过预训练的三维处理模型对该目标图像集合进行处理,得到并显示三维图像处理结果。
图4是本申请实施例提供的一种图像处理方法的流程图。在本申请实施例中,以服务器为执行主体为例进行说明,参照图4,该实施例包括以下步骤100至步骤500。
步骤100,获取CT图像组,其中,CT图像组包括多层CT图像。
本步骤中,CT图像组的来源可以有不同的实施方式,本实施例对此并不作具体限定。例如,假设终端为台式计算机或笔记本电脑等,则服务器所获取到的CT图像组可以为来源于用户的输入,即用户在台式计算机或笔记本电脑等终端中上传CT图像组后,台式计算机或笔记本电脑等终端将该CT图像组发送至服务器。又如,假设终端包括相互连接的台式计算机和CT探测仪,则服务器所获取到的CT图像组可以为来源于CT探测仪的检查结果,即医护人员通过CT探测仪对患者进行检查后,CT探测仪生成该患者的CT图像组,并通过台式计算机将该CT图像组发送至服务器。
需要说明的是,针对医护人员设置的CT探测仪的检查参数的不同,得到的CT图像组会有不同的层厚参数,层厚参数可由医护人员根据患者的病灶情况进行适当的设置。不同的层厚参数对应有不同的总层数,CT图像的层厚参数越小,CT图像的总层数越大,反之,CT图像的层厚参数越大,CT图像的总层数越小。例如,对于层厚参数为3mm的脑组织的CT图像,其总层数通常为48层。
步骤200,确定目标层数间隔。
本步骤中,目标层数间隔的确定,可以有不同的实施方式,本实施例对此并不作具体限定。例如,目标层数间隔可以根据先验知识而由人为设定,也可以根据实际的图像处理要求而选择确定,还可以根据三维处理模型的全量样本数据集的层厚参数而确定。例如,服务器的后台管理人员可以根据预存的三维处理模型的层厚处理要求而人为地设定目标层数间隔;或者,服务器的后台管理人员或服务器可以根据不同的CT图像层厚处理要求而对应选择不同的目标层数间隔;或者,服务器可以根据所保存的预训练的三维处理模型的全量样本数据集的层厚参数而计算得到目标层数间隔。
步骤300,根据目标层数间隔确定多个分组。
本步骤中,由于前面步骤200确定了目标层数间隔,因此可以根据该目标层数间隔确定这些CT图像需要分成的分组的数量,从而方便后续步骤中对这些CT图像的分组归类处理。
本步骤中,目标层数间隔是指同一分组中相邻两个CT图像之间的层数间隔,因此,目标层数间隔的数值加一,即为这些CT图像需要分成的分组的数量。例如,假设确定的目标层数间隔为2,则根据该目标层数间隔确定的分组的数量为3;假设确定的目标层数间隔为3,则根据该目标层数间隔确定的分组的数量为4;以此类推。
步骤400,根据CT图像的层数顺序,将多层CT图像按照目标层数间隔依次分配至多个分组。
本步骤中,由于前面步骤200确定了目标层数间隔,并且前面步骤300确定了分组的数量,因此可以根据CT图像的层数顺序,将这些CT图像按照目标层数间隔依次分配至这些分组,以便于后续步骤能够根据这些分组得到目标图像集合。例如,假设目标层数间隔为2,即这些CT图像需要分成的分组的数量为3,因此,可以从第一层的CT图像开始,沿着层数的递增顺序,将第一层的CT图像分配至第一个分组,将第二层的CT图像分配至第二个分组,将第三层的CT图像分配至第三个分组,将第四层的CT图像分配至第一个分组,将第五层的CT图像分配至第二个分组,将第六层的CT图像分配至第三个分组,如此循环,直到完成对全部CT图像的分配;或者,可以从最后一层的CT图像开始,沿着层数的递减顺序,将最后一层的CT图像分配至第一个分组,将倒数第二层的CT图像分配至第二个分组,将倒数第三层的CT图像分配至第三个分组,将倒数第四层的CT图像分配至第一个分组,将倒数第五层的CT图像分配至第二个分组,将倒数第六层的CT图像分配至第三个分组,如此循环,直到完成对全部CT图像的分配。
需要说明的是,当完成对全部CT图像的分配后,每一分组的CT图像的层厚参数的数值均可以视作原始层厚参数与分组的数量的乘积。例如,假设CT图像的原始层厚参数为1mm,当将这些CT图像分成3组后,则每一分组的CT图像的层厚参数均可以视作3mm;又如,假设CT图像的原始层厚参数为3mm,当将这些CT图像分成3组后,则每一分组的CT图像的层厚参数均可以视作9mm。即是说,通过本步骤的处理后,可以使得层厚参数较小的CT图像组转化成层厚参数较大的CT图像组,从而能够适配预训练的三维处理模型的层厚处理要求,而且,由于本步骤的处理并没有改变CT图像组中的原始数据,避免了经过重采样处理和插值处理而引入的额外噪声,因此不会导致CT图像组发生失真。
步骤500,随机选择多个分组中的其中一个分组作为目标图像集合。
本步骤中,由于前面步骤400得到了多个分组的CT图像集合,并且这些分组的CT图像集合之间均为相邻的数据,例如第一分组的第一层CT图像、第二分组的第二层CT图像和第三分组的第三层CT图像之间为相邻的数据,第一分组的第四层CT图像、第二分组的第五层CT图像和第三分组的第六层CT图像之间为相邻的数据,因此,这些分组的CT图像集合之间并不会出现数据断层的情况,即,在执行前面步骤100至步骤400后,使得原始的一个CT图像组扩展成了多个CT图像集合,并且这些扩展得到的CT图像集合之间具有相同的层厚参数、相同的总层数以及相似的图像数据,而且,这些扩展得到的CT图像集合的层厚参数能够适配预训练的三维处理模型的层厚处理要求,所以,可以在这些分组中随机选择一个分组作为目标图像集合,以便于后续步骤能够利用该预训练的三维处理模型对该目标图像集合进行三维图像的处理。此外,正由于这些扩展得到的CT图像集合之间具有相同的层厚参数、相同的总层数以及相似的图像数据,因此能够采用步骤500中的随机选择的操作,体现了根据本实施例的步骤所得到的图像数据具有普遍适用性。
需要说明的是,由于可以根据不同的CT图像的层厚处理要求而对应确定不同的目标层数间隔,因此步骤400中得到的多个分组的CT图像集合,可以对应于不同的CT图像的层厚处理要求而具有不同的层厚参数,所以,当利用这些分组的CT图像集合对三维处理模型进行训练或者利用预训练的三维处理模型对这些分组的CT图像集合进行预测处理时,可以使得三维处理模型的训练和预测均可以兼容不同层厚参数的CT图像数据,从而提高三维处理模型的适用范围。
本申请实施例提供的技术方案,通过先获取包括有多层CT图像的CT图像组,接着确定目标层数间隔,再根据该目标层数间隔确定多个分组,然后根据CT图像的层数顺序,将这些CT图像按照该目标层数间隔依次分配至这些分组,接着随机选择这些分组中的其中一个分组作为目标图像集合,即通过间隔的抽取CT图像,使得相邻两个被抽取的CT图像之间的层间距处于目标层厚范围内,从而使得层厚参数较小的CT图像组能够转化成层厚参数较大的CT图像组,从而能够适配预训练的三维处理模型的层厚处理要求。由于本申请实施例的技术方案并没有改变CT图像组中的原始数据,避免了经过重采样处理和插值处理而引入的额外噪声,因此不会导致CT图像组发生失真,同时,能够使得三维处理模型的训练和预测均可以兼容不同层厚的CT图像数据,从而能够提高对CT图像组的三维重构结果的准确性。
参照图5所示,本申请的一个实施例,对步骤200进行进一步的说明,在执行步骤100获取到包括有多层CT图像的CT图像组之后,在CT图像包括层厚参数的情况下,步骤200具体可以包括步骤210至步骤230。本实施例中的步骤210至步骤230,首先确定层厚倍数,再根据层厚倍数得到目标层数间隔,具体包括:
步骤210,确定至少一个层厚倍数,使得层厚参数与层厚倍数的乘积处于目标层厚范围内,其中,目标层厚范围根据三维处理模型的全量样本数据集的层厚参数确定。
本步骤中,由于步骤100中获取到了包括有多层CT图像的CT图像组,而该CT图像包括有层厚参数,因此可以先确定层厚倍数,使得层厚参数与层厚倍数的乘积处于目标层厚范围内,由于目标层厚范围根据三维处理模型的全量样本数据集的层厚参数而确定,所以,后续步骤中根据该层厚倍数确定目标层数间隔后,可以按照确定的目标层数间隔将多层CT图像依次分配至多个分组中,使得每个分组中的CT图像集合的层厚参数能够适配预训练的三维处理模型的层厚处理要求。
需要说明的是,层厚倍数为大于1的正整数,步骤210中确定的层厚倍数,需要使其与层厚参数的乘积处于目标层厚范围内,例如,需要使层厚参数的3倍的数值处于目标层厚范围内。
需要说明的是,三维处理模型的全量样本数据集,可以为同一患者的采用不同检查参数测量得到的多个CT图像组,也可以为不同患者的采用相同检查参数测量得到的多个CT图像组,还可以为不同患者的采用不同检查参数测量得到的多个CT图像组,本实施例对此并不作具体限定。
步骤220,当只有一个层厚倍数时,将层厚倍数减去一的值作为目标层数间隔。
本步骤中,当步骤210中确定的层厚倍数只有一个时,该层厚倍数减去一得到的值,即可作为目标层数间隔。例如,假设CT图像的原始层厚参数为1mm,当需要将这些CT图像的层厚参数转化成3mm时,可以确定层厚倍数只有一个,即层厚倍数为3,此时,层厚倍数减去一的值为2,即可以确定目标层数间隔为2。
步骤230,当有多个层厚倍数时,随机选定一个层厚倍数,将选定的层厚倍数减去一的值作为目标层数间隔。
本步骤中,当步骤210中确定的层厚倍数有多个时,可以先在这多个层厚倍数中随机选定一个层厚倍数,然后将该随机选定的层厚倍数减去一得到的值作为目标层数间隔。例如,假设CT图像的原始层厚参数为2mm,当需要将这些CT图像的层厚参数转化成3mm至6mm的目标层厚范围内的数值时,可以确定层厚倍数包括有2个,即层厚倍数可以为2或3,此时,随机选定其中一个层厚倍数,例如随机选定的层厚倍数为3,则层厚倍数减去一的值为2,所以可以确定目标层数间隔为2。
本申请实施例提供的技术方案,在确定目标层数间隔的步骤中所确定的层厚倍数,需要使其与层厚参数的乘积处于目标层厚范围内,并且目标层厚范围根据三维处理模型的全量样本数据集的层厚参数确定,因此,按照确定的目标层数间隔而分配得到的多个CT图像集合的层厚参数,能够适配该三维处理模型的层厚处理要求,从而能够提高对CT图像组的三维重构结果的准确性。
参照图6所示,本申请的一个实施例,对步骤210中的目标层厚范围的确定步骤进行进一步的说明,该目标层厚范围的确定步骤具体包括步骤211和步骤213。
步骤211,根据全量样本数据集的层厚参数的众数确定层厚下限值。
本步骤中,可以将全量样本数据集的层厚参数的众数作为目标层厚范围的层厚下限值。由于众数是指一组数据中出现次数最多的数值,因此,将全量样本数据集的层厚参数的众数作为目标层厚范围的层厚下限值,可以使得普遍性较强的层厚参数能够处于目标层厚范围内,从而可以使得经过目标层厚范围内的样本数据集的训练的三维处理模型,能够普遍适用于常规的CT图像组,进而可以提高经过训练的三维处理模型对常规的CT图像组的三维重构结果的准确性。
需要说明的是,当全量样本数据集的层厚参数的众数包括有多个时,可以确定这些众数中数值最大的众数对应的层厚参数作为层厚下限值。
步骤212,根据全量样本数据集的层厚参数的最大值确定层厚上限值。
本步骤中,可以将全量样本数据集的层厚参数的最大值作为目标层厚范围的层厚上限值。将全量样本数据集的层厚参数的最大值作为目标层厚范围的层厚上限值,可以使得大部分的层厚参数能够处于目标层厚范围内,从而可以使得经过目标层厚范围内的样本数据集的训练的三维处理模型,能够普遍适用于常规的CT图像组,进而可以提高经过训练的三维处理模型对常规的CT图像组的三维重构结果的准确性。
步骤213,根据层厚下限值和层厚上限值确定目标层厚范围。
本步骤中,由于步骤211中确定了层厚下限值,步骤212中确定了层厚上限值,因此可以确定该层厚下限值和该层厚上限值之间的数值范围为目标层厚范围。由于该目标层厚范围包括了普遍的层厚参数,因此,经过目标层厚范围内的样本数据集的训练的三维处理模型,能够普遍适用于常规的CT图像组。
此外,本申请的一个实施例,对前面的图像处理方法进行进一步的说明,该图像处理方法具体还包括以下步骤:
对目标图像集合中的CT图像进行边界填充或裁剪中的至少一种处理,得到维度对齐的目标图像集合。
在前面的步骤500中获取到了目标图像集合,但是,该目标图像集合仅对齐了三维处理模型的层厚处理要求,并没有对齐三维处理模型的全部图像维度的处理要求,例如图像长度维度、图像宽度维度和图像层数维度,因此,本步骤中,通过对目标图像集合中的CT图像进行边界填充或裁剪中的至少一种处理,使得目标图像集合的图像长度维度、图像宽度维度和图像层数维度均能够对齐至三维处理模型的处理要求,使得三维处理模型能够对该维度对齐后的目标图像集合进行准确的三维图像处理。
需要说明的是,为了避免在边界填充处理中引入不必要的噪声而影响CT图像的图像质量,可以采用边界填充零的方式,使得目标图像集合的图像长度维度、图像宽度维度和图像层数维度均对齐至三维处理模型的处理要求。此外,裁剪处理是指去掉CT图像中不重要的边缘部分或者去掉CT图像组中不重要的CT图像。例如,假设目标图像集合中的CT图像的长度为37cm,而三维处理模型的处理要求为35cm,因此可以将目标图像集合中的CT图像的左右两边各裁剪1cm,得到图像长度维度对齐至三维处理模型的处理要求的目标图像集合。又如,假设目标图像集合的总层数为49层,而三维处理模型的处理要求为48层,由于最大层或者最小层的CT图像一般都不是体现病灶情况的图像,因此可以裁剪掉最大层或者最小层的CT图像,得到图像层数维度对齐至三维处理模型的处理要求的目标图像集合。
此外,本申请的一个实施例,对前面的图像处理方法进行进一步的说明,该图像处理方法具体还包括以下步骤:
将目标图像集合输入至三维处理模型,得到与CT图像组对应的三维图像处理结果。
本步骤中,由于在前面的步骤中已经得到了维度对齐的目标图像集合,因此可以将该维度对齐的目标图像集合输入至三维处理模型,得到与CT图像组对应的三维图像处理结果,以便于专家能够利用该三维图像处理结果进行相关的影像分析。在将目标图像集合输入至三维处理模型的过程中,先将目标图像集合中的所有CT图像分别转化成二维矩阵数据,然后按照层数顺序堆叠这些二维矩阵数据,得到目标图像集合的三维矩阵数据,再将该三维矩阵数据输入至三维处理模型,在三维处理模型的处理作用下,得到与CT图像组对应的三维图像处理结果。
需要说明的是,本步骤中的三维处理模型,可以为3D-Unet模型或者CNN模型等图像处理技术领域常见的模型,用于将三维矩阵数据映射为三维图像,本实施例对此并不作具体限定。
参照图7所示,本申请的一个实施例,对三维处理模型的训练步骤进行进一步的说明,对三维处理模型的训练步骤,具体包括步骤1000至步骤6000。
步骤1000,获取多个CT图像组样本,其中,CT图像组样本包括多层CT图像样本,CT图像样本包括样本层厚参数。
本步骤中,所获取的多个CT图像组样本,可以为预先保存在服务器中的样本数据,在对三维处理模型进行训练之前,先采用本实施例的步骤1000至步骤6000对这些CT图像组样本进行处理,使得层厚参数较小的CT图像组样本可以转化成层厚参数较大的CT图像组样本,并且,能够使得三维处理模型的训练可以兼容不同层厚的CT图像数据。
步骤2000,根据多个CT图像组样本的样本层厚参数确定样本层厚下限值和样本层厚上限值。
本步骤中,在对多个CT图像组样本进行处理之前,可以先根据这些CT图像组样本的样本层厚参数确定样本层厚下限值和样本层厚上限值,使得后续步骤能够针对不同样本层厚参数的CT图像组样本进行不同的处理。例如,可以根据这些CT图像组样本的样本层厚参数的众数确定样本层厚下限值,并根据这些CT图像组样本的样本层厚参数的最大值确定样本层厚上限值。
步骤3000,从多个CT图像组样本中确定第一图像组和待处理图像组,其中,第一图像组的样本层厚参数大于等于样本层厚下限值且小于等于样本层厚上限值,待处理图像组的样本层厚参数小于样本层厚下限值。
本步骤中,由于在步骤2000中已经确定了样本层厚下限值和样本层厚上限值,因此可以根据样本层厚下限值和样本层厚上限值分类出第一图像组和待处理图像组,以便于后续步骤能够针对第一图像组和待处理图像组进行不同的处理。
步骤4000,根据CT图像样本的层数顺序,按照样本层数间隔从待处理图像组中抽取CT图像样本,得到多个样本分组。
本步骤中,由于在步骤3000中已经确定了待处理图像组,因此可以根据CT图像样本的层数顺序,按照样本层数间隔从待处理图像组中抽取CT图像样本,从而形成多个样本分组。例如,假设样本层数间隔为2,因此,可以从第一层的CT图像样本开始,沿着层数的递增顺序,先抽取第一层的CT图像样本,接着抽取第四层的CT图像样本,然后抽取第七层的CT图像样本,以此类推,每间隔2个CT图像样本抽取一次,从而得到第一个样本分组;当得到第一个样本分组后,在剩下的CT图像样本中,按照前面的方式,每间隔2个CT图像样本抽取一次,得到第二个样本分组;如此循环,直到完成对全部CT图像样本的抽取,此时,即得到了多个样本分组。此外,也可以从最后一层的CT图像样本开始,沿着层数的递减顺序,先抽取最后一层的CT图像样本,接着抽取倒数第四层的CT图像样本,然后抽取倒数第七层的CT图像样本,以此类推,每间隔2个CT图像样本抽取一次,从而得到第一个样本分组;当得到第一个样本分组后,在剩下的CT图像样本中,按照前面的方式,每间隔2个CT图像样本抽取一次,得到第二个样本分组;如此循环,直到完成对全部CT图像样本的抽取,此时,即得到了多个样本分组。
步骤5000,根据第一图像组和多个样本分组中的至少一个样本分组确定训练样本集合。
本步骤中,由于在步骤3000中得到了第一图像组,而在步骤4000中得到了多个样本分组,因此可以根据第一图像组和这些样本分组中的至少一个样本分组确定训练样本集合,不仅能够使样本层厚参数较小的待处理图像组可以转化成样本层厚参数较大的多个样本分组,从而扩展了训练样本的数量,并且还能够对样本层厚参数较小的CT图像组样本进行充分的利用。
步骤6000,利用训练样本集合对三维处理模型进行训练。
本步骤中,由于在步骤5000中已经得到了训练样本集合,因此可以利用该训练样本集合对三维处理模型进行训练。在利用该训练样本集合对三维处理模型进行训练的过程中,先将训练样本集合中的所有CT图像样本分别转化成二维矩阵数据,然后按照层数顺序,分别将属于同一个CT图像组样本的二维矩阵数据进行堆叠,得到训练样本集合中的每一个CT图像组样本的三维矩阵数据,接着将这些三维矩阵数据输入至三维处理模型,对三维处理模型进行训练。
需要说明的是,本步骤中的三维处理模型,可以为3D-Unet模型或者CNN模型等图像处理技术领域常见的模型,用于将三维矩阵数据映射为三维图像,本实施例对此并不作具体限定。
本申请实施例提供的技术方案,通过先获取包括有多层CT图像样本的多个CT图像组样本,接着确定样本层厚下限值和样本层厚上限值,再根据样本层厚下限值和样本层厚上限值确定第一图像组和待处理图像组,然后根据CT图像样本的层数顺序,按照样本层数间隔从待处理图像组中抽取CT图像样本,得到多个样本分组,使得每个样本分组中相邻的两个CT图像样本之间的层间距处于样本层厚下限值和样本层厚上限值之间,从而使得样本层厚参数较小的待处理图像组能够转化成样本层厚参数较大的样本分组。由于本申请实施例的技术方案并没有改变CT图像组样本中的原始数据,避免了经过重采样处理和插值处理而引入的额外噪声,因此不会导致CT图像组样本发生失真,同时,能够使得三维处理模型的训练可以兼容不同层厚的CT图像数据,从而提高三维处理模型的适用范围。
参照图8所示,本申请的一个实施例,对步骤4000进行进一步的说明,步骤4000具体可以包括步骤4100至步骤4300。
步骤4100,确定样本层数间隔。
本步骤中,样本层数间隔的确定,可以有不同的实施方式,例如,样本层数间隔可以根据先验知识而由人为设定,也可以根据实际的模型训练要求而选择确定,还可以根据三维处理模型的全量样本数据集的样本层厚参数而确定。例如,服务器的后台管理人员可以根据预存的三维处理模型的层厚处理要求而人为地设定样本层数间隔;或者,服务器的后台管理人员或服务器可以根据不同的模型训练要求而对应选择不同的样本层数间隔;或者,服务器可以根据所保存的三维处理模型的全量样本数据集的样本层厚参数而计算得到样本层数间隔。
步骤4200,根据样本层数间隔确定多个样本分组。
本步骤中,由于步骤4100确定了样本层数间隔,因此可以根据该样本层数间隔确定这些CT图像样本需要分成的样本分组的数量,从而方便后续步骤中对这些CT图像样本的分组归类处理。样本层数间隔是指同一样本分组中相邻两个CT图像样本之间的层数间隔,因此,样本层数间隔的数值加一,即为这些CT图像样本需要分成的样本分组的数量。例如,假设确定的样本层数间隔为2,则根据该样本层数间隔确定的样本分组的数量为3;假设确定的样本层数间隔为3,则根据该样本层数间隔确定的样本分组的数量为4;以此类推。
步骤4300,根据CT图像样本的层数顺序,将待处理图像组中的多层CT图像样本按照样本层数间隔依次分配至多个样本分组。
本步骤中,由于前面步骤4100确定了样本层数间隔,并且前面步骤4200确定了样本分组的数量,因此可以根据CT图像样本的层数顺序,将待处理图像组中的多层CT图像样本,按照样本层数间隔依次分配至这些样本分组,以便于后续步骤能够根据这些样本分组得到训练样本集合。例如,假设样本层数间隔为2,即待处理图像组中的CT图像样本需要分成的样本分组的数量为3,因此,可以从第一层的CT图像样本开始,沿着层数的递增顺序,将第一层的CT图像样本分配至第一个样本分组,将第二层的CT图像样本分配至第二个样本分组,将第三层的CT图像样本分配至第三个样本分组,将第四层的CT图像样本分配至第一个样本分组,将第五层的CT图像样本分配至第二个样本分组,将第六层的CT图像样本分配至第三个样本分组,如此循环,直到完成对全部CT图像样本的分配;或者,可以从最后一层的CT图像样本开始,沿着层数的递减顺序,将最后一层的CT图像样本分配至第一个样本分组,将倒数第二层的CT图像样本分配至第二个样本分组,将倒数第三层的CT图像样本分配至第三个样本分组,将倒数第四层的CT图像样本分配至第一个样本分组,将倒数第五层的CT图像样本分配至第二个样本分组,将倒数第六层的CT图像样本分配至第三个样本分组,如此循环,直到完成对待处理图像组中的全部CT图像样本的分配。
需要说明的是,当完成对待处理图像组中的全部CT图像样本的分配后,每一样本分组中CT图像样本的样本层厚参数的数值均可以视作原始样本层厚参数与样本分组的数量的乘积。例如,假设CT图像样本的原始样本层厚参数为1mm,当将这些CT图像样本分成3组后,则每一样本分组的CT图像样本的样本层厚参数均可以视作3mm;又如,假设CT图像样本的原始样本层厚参数为3mm,当将这些CT图像样本分成3组后,则每一样本分组的CT图像样本的样本层厚参数均可以视作9mm。即是说,通过步骤4100至步骤4300的处理后,可以使得样本层厚参数较小的CT图像组样本转化成样本层厚参数较大的CT图像组样本,从而使得三维处理模型的训练可以兼容不同层厚的CT图像数据,而且,由于步骤4100至步骤4300的处理并没有改变CT图像组样本中的原始数据,避免了经过重采样处理和插值处理而引入的额外噪声,因此不会导致CT图像组样本发生失真。
需要说明的是,步骤4100中确定的样本层数间隔可以为不同的数值,因此本步骤中得到的多个样本分组的CT图像集合样本,可以对应于不同的样本层数间隔而具有不同的样本层厚参数,所以,当利用这些样本分组的CT图像集合样本对三维处理模型进行训练时,可以使得三维处理模型的训练兼容不同层厚参数的CT图像数据,从而提高三维处理模型的适用范围。
参照图9所示,本申请的一个实施例,对步骤4100进行进一步的说明,步骤4100具体可以包括步骤4110至步骤4130。
步骤4110,确定至少一个样本层厚倍数,使得待处理图像组的样本层厚参数与样本层厚倍数的乘积大于等于样本层厚下限值且小于等于样本层厚上限值。
本步骤中,由于前面的步骤1000中获取到了包括有多层CT图像样本的多个CT图像组样本,而该CT图像样本包括有样本层厚参数,因此可以先确定样本层厚倍数,使得样本层厚参数与样本层厚倍数的乘积处于样本层厚下限值和样本层厚上限值之间,然后再根据该样本层厚倍数确定样本层数间隔。
需要说明的是,样本层厚倍数为大于1的正整数,本步骤中确定的样本层厚倍数,需要使其与样本层厚参数的乘积样本层厚下限值和样本层厚上限值之间,例如,需要使样本层厚参数的3倍的数值处于样本层厚下限值和样本层厚上限值之间。
步骤4120,当只有一个样本层厚倍数时,将样本层厚倍数减去一的值作为样本层数间隔。
本步骤中,当步骤4110中确定的样本层厚倍数只有一个时,该样本层厚倍数减去一得到的值,即可作为样本层数间隔。例如,假设CT图像样本的原始样本层厚参数为1mm,当需要将这些CT图像样本的样本层厚参数转化成3mm时,可以确定样本层厚倍数只有一个,即样本层厚倍数为3,此时,样本层厚倍数减去一的值为2,即可以确定样本层数间隔为2。
步骤4130,当有多个样本层厚倍数时,随机选定一个样本层厚倍数,将选定的样本层厚倍数减去一的值作为样本层数间隔。
本步骤中,当步骤4110中确定的样本层厚倍数有多个时,可以先在这多个样本层厚倍数中随机选定一个样本层厚倍数,然后将该随机选定的样本层厚倍数减去一得到的值作为样本层数间隔。例如,假设CT图像样本的原始样本层厚参数为2mm,当需要将这些CT图像样本的样本层厚参数转化成3mm至6mm之内的数值时,可以确定样本层厚倍数包括有2个,即样本层厚倍数可以为2或3,此时,随机选定其中一个样本层厚倍数,例如随机选定的样本层厚倍数为3,则样本层厚倍数减去一的值为2,所以可以确定样本层数间隔为2。
本申请实施例提供的技术方案,在确定样本层数间隔的步骤中所确定的样本层厚倍数,需要使其与样本层厚参数的乘积大于等于样本层厚下限值且小于等于样本层厚上限值,因此,按照确定的样本层数间隔而分配得到的多个样本分组,不仅样本层厚参数得到了扩大,并且CT图像组样本的数量也得到了扩展,从而能够丰富三维处理模型的训练样本。
参照图10所示,本申请的一个实施例,对步骤2000进行进一步的说明,步骤2000具体包括步骤2100和步骤2200。
步骤2100,根据多个CT图像组样本的样本层厚参数的众数确定样本层厚下限值。
本步骤中,可以将多个CT图像组样本的样本层厚参数的众数作为样本层厚下限值。由于众数是指一组数据中出现次数最多的数值,因此,将多个CT图像组样本的样本层厚参数的众数作为样本层厚下限值,可以使得三维处理模型能够适用普遍的层厚参数,从而可以提高三维处理模型的适用范围。
步骤2200,根据多个CT图像组样本的样本层厚参数的最大值确定样本层厚上限值。
本步骤中,可以将多个CT图像组样本的样本层厚参数的最大值作为样本层厚上限值。将多个CT图像组样本的样本层厚参数的最大值作为样本层厚上限值,可以使得三维处理模型能够适用大部分的层厚参数,从而可以提高三维处理模型的适用范围。
值得注意的是,在实际情况中,由于多个CT图像组样本中会存在不少样本层厚参数大于样本层厚下限值的CT图像组样本,对于这种CT图像组样本,一般都不会进行处理,但是,这会使得用于训练三维处理模型的CT图像组样本之间存在较大的层厚差距,从而影响后续的模型训练,为了缓解这个问题,本步骤确定了样本层厚上限值,使得后续步骤中被抽取形成的多个样本分组的样本层厚参数能够处于样本层厚下限值和样本层厚上限值之间,从而使得用于训练三维处理模型的CT图像组样本的样本层厚参数能够较为均匀的变化,从而避免影响后续的模型训练。
参照图11所示,本申请的一个实施例,对步骤2100进行进一步的说明,步骤2100具体包括步骤2110和步骤2120。
步骤2110,确定多个CT图像组样本的样本层厚参数的众数;
步骤2120,当众数包括多个,确定多个众数中数值最大的众数对应的样本层厚参数作为样本层厚下限值。
本实施例中,在根据多个CT图像组样本的样本层厚参数的众数确定样本层厚下限值的过程中,可以先确定这些CT图像组样本的样本层厚参数的众数,当众数只有一个时,则该众数即可作为样本层厚下限值;而当众数的数量有多个时,为了使三维处理模型能够更好的适用普遍的层厚参数,可以将这些众数中数值最大的众数对应的样本层厚参数作为样本层厚下限值。
参照图12所示,本申请的一个实施例,对步骤5000进行进一步的说明,步骤5000具体包括步骤5100和步骤5200。
步骤5100,选择多个样本分组中的至少一个样本分组作为第二图像组。
本步骤中,由于多个样本分组的CT图像集合样本之间均为相邻的数据,例如第一样本分组的第一层CT图像样本、第二样本分组的第二层CT图像样本和第三样本分组的第三层CT图像样本之间为相邻的数据,第一样本分组的第四层CT图像样本、第二样本分组的第五层CT图像样本和第三样本分组的第六层CT图像样本之间为相邻的数据,因此,这些样本分组的CT图像集合样本之间并不会出现数据断层的情况,即本步骤可以使得原始的一个CT图像组样本扩展成了多个样本分组,并且这些扩展得到的样本分组之间具有相同的样本层厚参数、相同的总层数以及相似的图像数据,因此,可以选择这些样本分组中的至少一个样本分组作为第二图像组,不仅扩展了CT图像组样本的数量,还能够对样本层厚参数较小的CT图像组样本进行充分的利用。
步骤5200,对第一图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,以及对第二图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,得到维度对齐的训练样本集合。
虽然在前面的步骤3000中得到了第一图像组,并且在前面的步骤5100中得到了第二图像组,但是,这些第一图像组和第二图像组仅对齐了样本层厚参数的数据维度,并没有对齐图像的全部数据维度,例如图像长度维度、图像宽度维度和图像层数维度,因此,本步骤中,通过对第一图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,以及对第二图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,得到维度对齐的训练样本集合,使得训练样本集合中各个CT图像样本的图像长度维度、图像宽度维度和图像层数维度均得到对齐,从而能够统一训练样本的全部数据维度,以提高对三维处理模型的训练效果。
需要说明的是,为了避免在边界填充处理中引入不必要的噪声而影响CT图像样本的图像质量,可以采用边界填充零的方式,使得训练样本集合的图像长度维度、图像宽度维度和图像层数维度均得到对齐。此外,裁剪处理是指去掉CT图像样本中不重要的边缘部分或者去掉CT图像组样本中不重要的CT图像样本。例如,假设训练样本集合中的CT图像样本的长度为37cm,而需要统一的长度为35cm,因此可以将训练样本集合中的CT图像样本的左右两边各裁剪1cm,得到图像长度维度对齐的训练样本集合。又如,假设训练样本集合的总层数为49层,而需要统一的总层数为48层,由于最大层或者最小层的CT图像样本一般都不是体现病灶情况的图像,因此可以裁剪掉最大层或者最小层的CT图像样本,得到图像层数维度对齐的训练样本集合。
参照图13所示,本申请的一个实施例,对步骤6000进行进一步的说明,在训练样本集合中的CT图像样本带有标签信息的情况下,步骤6000具体可以包括步骤6100至步骤6200。
步骤6100,将训练样本集合中的CT图像样本输入至三维处理模型,得到三维预测图像;
步骤6200,根据三维预测图像和标签信息对三维处理模型中的参数进行修正。
需要说明的是,在执行步骤6100之前,可以先在训练样本集合的CT图像样本中,对病灶位置标记标签信息,然后执行步骤6100,将这些带有标签信息的CT图像样本输入至三维处理模型中得到三维预测图像,接着执行步骤6200,根据三维预测图像和标签信息对三维处理模型中的参数进行修正。具体地,在根据三维预测图像和标签信息对三维处理模型中的参数进行修正的步骤中,先根据三维预测图像和标签信息确定训练的损失值,然后根据损失值反向传递修正三维处理模型的参数,直至损失值小于预设误差阈值,此时,说明该三维处理模型完成了训练的处理。
为了更加清楚的说明对三维处理模型的训练步骤,下面以具体的示例进行说明。
假设根据多个CT图像组样本的样本层厚参数确定的样本层厚下限值为3mm,根据多个CT图像组样本的样本层厚参数确定的样本层厚上限值为6mm,而当前的待处理图像组的样本层厚参数为1.25mm,则需要确定一个样本层数间隔,使得按照这个样本层数间隔而抽取形成的多个样本分组中的CT图像集合样本的样本层厚参数能够处于样本层厚下限值和样本层厚上限值之间。而在确定样本层数间隔的过程中,需要先确定样本层厚倍数,然后再根据样本层厚倍数确定样本层数间隔,其中,确定的样本层厚倍数需要使得待处理图像组的样本层厚参数与该样本层厚倍数的乘积处于样本层厚下限值和样本层厚上限值之间,因此,可以确定样本层厚倍数为3或者4,所以,样本层厚参数与样本层厚倍数的乘积(即目标层厚参数)可能为3.75mm或者5mm。此时,首先随机选择一个目标层厚参数,例如3.75mm,即样本层厚倍数为3,样本层数间隔为2,然后根据层数顺序将待处理图像组中的多层CT图像样本按照样本层数间隔依次分配至3个样本分组中,得到3个CT图像集合样本,接着在这3个样本分组中随机选择至少一个样本分组作为第二图像组,用以结合第一图像组形成用于训练三维处理模型的训练样本集合。在整个过程中,通过两次随机选择,保持本实施例对样本层厚参数较小的CT图像组样本的充分利用,从而可以丰富三维处理模型的训练样本。
参照图14所示,图14中的左边图像为样本层厚参数为1.25mm的CT图像样本,图14中的中间图像为经过本示例的处理后得到的样本层厚参数为3.75mm的CT图像样本,图14中的右边图像为经过本示例的处理后得到的样本层厚参数为5mm的CT图像样本,对比3个CT图像样本可知,经过本示例的处理后,得到的CT图像样本并不会出现图像失真的情况。
参照图15所示,本实施例公开了一种图像处理装置,该图像处理装置1500能够实现如前面实施例的图像处理方法,该图像处理装置1500包括:
图像获取单元1510,用于获取CT图像组,其中,CT图像组包括多层CT图像;
间隔确定单元1520,用于确定目标层数间隔;
分组确定单元1530,用于根据目标层数间隔确定多个分组;
图像分组单元1540,用于根据CT图像的层数顺序,将多层CT图像按照目标层数间隔依次分配至多个分组;
图像选取单元1550,用于随机选择多个分组中的其中一个分组作为目标图像集合。
需要说明的是,由于本实施例的图像处理装置1500能够实现如前面实施例所述的图像处理方法,因此本实施例的图像处理装置1500与前面实施例所述的图像处理方法具有相同的技术原理以及相同的有益效果,为了避免内容重复,此处不再赘述。
另外,本实施例公开了一种图像处理装置,该图像处理装置包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个程序被至少一个处理器执行时实现如前面所述的图像处理方法。
本实施例公开了一种计算机可读存储介质,该计算机可读存储介质存储有处理器可执行的程序,该处理器可执行的程序被处理器执行时用于实现前面任意实施例的图像处理方法。
本实施例公开了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前面任意实施例的图像处理方法。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或装置固有的其他步骤或单元。
应当理解,在本申请中,“至少一个(项)”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系,例如,“A和/或B”可以表示:只存在A,只存在B以及同时存在A和B三种情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b或c中的至少一项(个),可以表示:a,b,c,“a和b”,“a和c”,“b和c”,或“a和b和c”,其中a,b,c可以是单个,也可以是多个。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机装置(可以是个人计算机、服务器或者网络装置等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于上述方法实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

Claims (15)

1.一种图像处理方法,其特征在于,包括以下步骤:
获取CT图像组,其中,所述CT图像组包括多层CT图像;
确定目标层数间隔;
根据所述目标层数间隔确定多个分组;
根据所述CT图像的层数顺序,将所述多层CT图像按照所述目标层数间隔依次分配至所述多个分组;
随机选择所述多个分组中的其中一个分组作为目标图像集合。
2.根据权利要求1所述的图像处理方法,其特征在于,所述CT图像包括层厚参数,所述确定目标层数间隔,包括:
确定至少一个层厚倍数,使得所述层厚参数与所述层厚倍数的乘积处于目标层厚范围内,其中,所述目标层厚范围根据三维处理模型的全量样本数据集的层厚参数确定;
当只有一个层厚倍数时,将层厚倍数减去一的值作为所述目标层数间隔;
当有多个层厚倍数时,随机选定一个层厚倍数,将选定的层厚倍数减去一的值作为所述目标层数间隔。
3.根据权利要求2所述的图像处理方法,其特征在于,所述目标层厚范围根据三维处理模型的全量样本数据集的层厚参数确定具体包括:
根据所述全量样本数据集的层厚参数的众数确定层厚下限值;
根据所述全量样本数据集的层厚参数的最大值确定层厚上限值;
根据所述层厚下限值和所述层厚上限值确定所述目标层厚范围。
4.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:
对所述目标图像集合中的CT图像进行边界填充或裁剪中的至少一种处理,得到维度对齐的目标图像集合。
5.根据权利要求1至4任一项所述的图像处理方法,其特征在于,所述图像处理方法还包括:
将所述目标图像集合输入至三维处理模型,得到与所述CT图像组对应的三维图像处理结果。
6.根据权利要求5所述的图像处理方法,其特征在于,所述三维处理模型由以下步骤训练得到:
获取多个CT图像组样本,其中,所述CT图像组样本包括多层CT图像样本,所述CT图像样本包括样本层厚参数;
根据多个所述CT图像组样本的所述样本层厚参数确定样本层厚下限值和样本层厚上限值;
从多个所述CT图像组样本中确定第一图像组和待处理图像组,其中,所述第一图像组的样本层厚参数大于等于所述样本层厚下限值且小于等于所述样本层厚上限值,所述待处理图像组的样本层厚参数小于所述样本层厚下限值;
根据所述CT图像样本的层数顺序,按照样本层数间隔从所述待处理图像组中抽取CT图像样本,得到多个样本分组;
根据所述第一图像组和所述多个样本分组中的至少一个样本分组确定训练样本集合;
利用所述训练样本集合对所述三维处理模型进行训练。
7.根据权利要求6所述的图像处理方法,其特征在于,所述根据所述CT图像样本的层数顺序,按照样本层数间隔从所述待处理图像组中抽取CT图像样本,得到多个样本分组,包括:
确定样本层数间隔;
根据所述样本层数间隔确定多个样本分组;
根据所述CT图像样本的层数顺序,将所述待处理图像组中的多层CT图像样本按照所述样本层数间隔依次分配至所述多个样本分组。
8.根据权利要求7所述的图像处理方法,其特征在于,所述确定样本层数间隔,包括:
确定至少一个样本层厚倍数,使得所述待处理图像组的样本层厚参数与所述样本层厚倍数的乘积大于等于所述样本层厚下限值且小于等于所述样本层厚上限值;
当只有一个样本层厚倍数时,将样本层厚倍数减去一的值作为所述样本层数间隔;
当有多个样本层厚倍数时,随机选定一个样本层厚倍数,将选定的样本层厚倍数减去一的值作为所述样本层数间隔。
9.根据权利要求6所述的图像处理方法,其特征在于,所述根据多个所述CT图像组样本的所述样本层厚参数确定样本层厚下限值和样本层厚上限值,包括:
根据多个所述CT图像组样本的所述样本层厚参数的众数确定样本层厚下限值;
根据多个所述CT图像组样本的所述样本层厚参数的最大值确定样本层厚上限值。
10.根据权利要求9所述的图像处理方法,其特征在于,所述根据多个所述CT图像组样本的所述样本层厚参数的众数确定样本层厚下限值,包括:
确定多个所述CT图像组样本的所述样本层厚参数的众数;
当所述众数包括多个,确定多个所述众数中数值最大的众数对应的样本层厚参数作为样本层厚下限值。
11.根据权利要求6所述的图像处理方法,其特征在于,所述根据所述第一图像组和所述多个样本分组中的至少一个样本分组确定训练样本集合,包括:
选择所述多个样本分组中的至少一个样本分组作为第二图像组;
对所述第一图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,以及对所述第二图像组中的CT图像样本进行边界填充或裁剪中的至少一种处理,得到维度对齐的训练样本集合。
12.根据权利要求6所述的图像处理方法,其特征在于,所述训练样本集合中的CT图像样本带有标签信息,所述利用所述训练样本集合对所述三维处理模型进行训练,包括:
将所述训练样本集合中的CT图像样本输入至所述三维处理模型,得到三维预测图像;
根据所述三维预测图像和所述标签信息对所述三维处理模型中的参数进行修正。
13.一种图像处理装置,其特征在于,包括:
图像获取单元,用于获取CT图像组,其中,所述CT图像组包括多层CT图像;
间隔确定单元,用于确定目标层数间隔;
分组确定单元,用于根据所述目标层数间隔确定多个分组;
图像分组单元,用于根据所述CT图像的层数顺序,将所述多层CT图像按照所述目标层数间隔依次分配至所述多个分组;
图像选取单元,用于随机选择所述多个分组中的其中一个分组作为目标图像集合。
14.一种图像处理装置,其特征在于,包括:
至少一个处理器;
至少一个存储器,用于存储至少一个程序;
当至少一个所述程序被至少一个所述处理器执行时实现如权利要求1至12中任一项所述的图像处理方法。
15.一种计算机可读存储介质,其特征在于:其中存储有处理器可执行的程序,所述处理器可执行的程序被处理器执行时用于实现如权利要求1至12中任一项所述的图像处理方法。
CN202110238812.XA 2021-03-04 2021-03-04 图像处理方法及其装置、存储介质 Pending CN113706644A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110238812.XA CN113706644A (zh) 2021-03-04 2021-03-04 图像处理方法及其装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110238812.XA CN113706644A (zh) 2021-03-04 2021-03-04 图像处理方法及其装置、存储介质

Publications (1)

Publication Number Publication Date
CN113706644A true CN113706644A (zh) 2021-11-26

Family

ID=78647851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110238812.XA Pending CN113706644A (zh) 2021-03-04 2021-03-04 图像处理方法及其装置、存储介质

Country Status (1)

Country Link
CN (1) CN113706644A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116563358A (zh) * 2023-07-07 2023-08-08 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法
CN116563358B (zh) * 2023-07-07 2023-09-22 浙江大学 肝脏增强多期ct数据ai训练的数据对齐预处理方法

Similar Documents

Publication Publication Date Title
CN110110617B (zh) 医学影像分割方法、装置、电子设备和存储介质
CN111369576B (zh) 图像分割模型的训练方法、图像分割方法、装置及设备
CN1663530B (zh) 用于处理图像数据以帮助检测疾病的方法和装置
CN112086197B (zh) 基于超声医学的乳腺结节检测方法及系统
US10733727B2 (en) Application of deep learning for medical imaging evaluation
CN107145756A (zh) 一种脑卒中类型预测方法以及装置
CN111340827A (zh) 一种肺部ct影像数据处理分析方法及系统
EP1361820B1 (en) Method for the non-invasive imaging of anatomic tissue structures
EP3723042A1 (en) Artifical intelligence-based copd assessment
Zhu et al. Semantic segmentation using deep learning to extract total extraocular muscles and optic nerve from orbital computed tomography images
US20230148996A1 (en) Lung ultrasound processing systems and methods
CN114782321B (zh) 胸部ct影像选择方法、装置、设备及存储介质
Pradhan et al. Machine learning model for multi-view visualization of medical images
EP4199002A1 (en) A computer implemented method and a system
CN117237351B (zh) 一种超声图像分析方法以及相关装置
CN114972211A (zh) 图像分割模型的训练方法、分割方法、装置、设备和介质
CN108399354A (zh) 计算机视觉识别肿瘤的方法和装置
CN113706644A (zh) 图像处理方法及其装置、存储介质
CN112967254A (zh) 基于胸部ct影像肺部疾病识别和检测方法
CN113706442A (zh) 基于人工智能的医疗图像处理方法、装置及电子设备
CN115018874A (zh) 一种基于频域分析的眼底血管分割域泛化方法
CN114241261A (zh) 基于图像处理的皮肤病识别方法、装置、设备及存储介质
CN112037164B (zh) 医学影像中身体部位识别方法及装置
CN112233126A (zh) 医学图像的加窗方法及装置
CN116884557B (zh) 基于数字孪生的体检报告生成方法、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination