CN111815557A - 图像分析方法、装置、设备及存储介质 - Google Patents

图像分析方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111815557A
CN111815557A CN202010500297.3A CN202010500297A CN111815557A CN 111815557 A CN111815557 A CN 111815557A CN 202010500297 A CN202010500297 A CN 202010500297A CN 111815557 A CN111815557 A CN 111815557A
Authority
CN
China
Prior art keywords
image
region
area
abnormal
time sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010500297.3A
Other languages
English (en)
Inventor
姚广
高耀宗
周翔
詹翊强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN202010500297.3A priority Critical patent/CN111815557A/zh
Publication of CN111815557A publication Critical patent/CN111815557A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请提供一种图像分析方法、装置、设备及存储介质,该方法通过获取包括至少一个时序图像的待分析图像集;确定至少一个时序图像中目标对象对应的感兴趣区域图像;确定至少一个时序图像对应的感兴趣区域图像中的正常区域;基于至少一个时序图像对应的正常区域的属性数据,得到图像分析结果。本申请不直接利用异常区域的特征数据对时序图像中的异常区域进行分割,而是通过感兴趣区域图像中的正常区域反向确定对应的异常区域,使得所提供的图像分析方法不局限于现有的异常区域的特征数据,可以适用其他阶段的图像分析,提高图像分析结果的可靠性和准确性。

Description

图像分析方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种图像分析方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展,利用传统机器学习或深度学习来对图像进行分析逐渐成为图像处理领域的研究趋势。
相关技术中,针对医学领域,在利用人工智能技术对医学影像进行分析过程中,往往需要收集足够多的含有病灶的数据,之后基于收集的病灶数据构建对应的病灶处理模型,进而根据构建的病灶处理模型进行分割、检测等图像分析任务。
可见,上述的医学影像分析是需要依赖于初始病灶数据进行的,然而对于一些病种种类较多的部位(例如肺部等),不仅需要花费大量的人力物力去收集全包含大部分病种的数据;而且其只能针对单一病种或少数确定的病种进行图像分析,倘若病灶部位对应的病种发生一些变化、或者病灶的发生源发生变种、或者出现一些新的病种的情况下,原来基于初始病灶数据所构建的病灶处理模型将无法适用,进而将无法有效且准确的进行相应的图像分析任务。举例而言,通常肺部的病种繁多,且肺部疾病对应的病灶是动态变化的,例如针对病毒或细菌感染的肺炎,在不同的阶段其肺部病灶的影像表现各不相同,因此仅通过初始肺部病灶数据所构建的病灶处理模型将无法适用其他阶段的肺部检测分析,如此会降低医学分析结果的可靠性和准确性,甚至会延误患者的病情。
发明内容
本申请提供了一种图像分析方法、装置、设备及存储介质,以解决以上至少一种技术问题。
一方面,本申请提供了一种图像分析方法,包括:
获取待分析图像集,所述待分析图像集包括至少一个时序图像;
确定所述至少一个时序图像中目标对象对应的感兴趣区域图像;所述感兴趣区域图像包括正常区域和异常区域;
确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
另一方面,还提供一种图像分析装置,包括:
获取模块,用于获取待分析图像集,所述待分析图像集包括至少一个时序图像;
第一确定模块,用于确定所述至少一个时序图像中目标对象对应的感兴趣区域图像;所述感兴趣区域图像包括正常区域和异常区域;
第二确定模块,用于确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
分析模块,用于基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
在一些实施例中,第二确定模块可以包括:
确定单元,用于利用经训练的图像分割模型,对所述至少一个时序图像对应的感兴趣区域图像中正常区域进行分割,得到所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
其中,所述图像分割模型是利用分析样本图像集及对应的目标对象中正常区域的分割结果作为训练集训练得到。
在一些实施例中,在所述时序图像的数量为多个时,分析模块可以包括:
第一属性变化确定单元,用于基于多个时序图像对应的正常区域的属性数据,确定对应的正常区域的属性变化数据;所述正常区域的属性变化数据表征多个时序图像对应的正常区域在不同时间节点上的区域属性变化情况;
第二属性变化确定单元,用于基于所述多个时序图像对应的正常区域的属性变化数据、以及所述感兴趣区域图像的属性数据,确定所述多个时序图像对应的异常区域的属性变化数据;
分析单元,用于基于所述多个时序图像对应的异常区域的属性变化数据对待分析图像集进行量化分析,确定表征待分析图像集中异常区域的异常信息的图像分析结果;
其中,所述属性变化数据包括区域体积变化数据和/或区域体积占比变化数据。
在一些实施例中,在所述时序图像的数量为多个时,分析模块可以包括:
预处理单元,用于分别对第一时序图像对应的感兴趣区域图像以及第二时序图像对应的感兴趣区域图像进行预处理,得到第一时序处理图像和第二时序处理图像;
第一属性确定单元,用于基于所述第一时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第一属性数据,所述第一属性数据包括第一区域位置数据和第一区域尺寸数据;
第二属性确定单元,用于基于所述第二时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第二属性数据,所述第二属性数据包括第二区域位置数据和第二区域尺寸数据;
基于所述第一区域位置数据和所述第二区域位置数据,对所述第一时序处理图像中的异常区域与所述第二时序处理图像中的异常区域进行位置匹配,得到区域匹配映射关系;
量化分析单元,用于基于所述区域匹配映射关系、第一区域尺寸数据和第二区域尺寸数据,对所述第一时序处理图像和所述第二时序处理图像进行量化分析,确定表征待分析图像集中异常区域的异常变化信息的图像分析结果;
其中,所述第一时序图像的采集时间节点早于所述第二时序图像的采集时间节点,所述第一时序图像和所述第二时序图像的数量为至少一个。
在一些实施例中,上述图像分析装置还可包括:
检测模块,用于检测所述至少一个时序图像对应的感兴趣区域图像中各区域的像素值;
异常区域确定模块,用于基于各区域的像素值与预设像素阈值的比较结果,确定所述至少一个时序图像对应的感兴趣区域图像中的异常区域;
第一区域属性确定模块,用于确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性,所述区域属性包括区域大小和/或区域数量;
第一标记类型确定模块,用于根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
第一标记模块,用于基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
在一些实施例中,上述图像分析装置还可包括:
第二区域属性确定模块,用于基于所述至少一个时序图像对应的感兴趣区域图像中的正常区域,确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性;所述区域属性包括区域大小和/或区域数量;
第二标记类型确定模块,用于根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
第二标记模块,用于基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
在一些实施例中,在所述区域属性包括区域大小和区域数量的情况下,第一标记类型确定模块或第二标记类型确定模块可以包括:
第一标记类型确定单元,用于若异常区域的区域大小大于等于预设大小阈值,则确定对应的时序图像为第一标记类型;所述第一标记类型用于指示标记感兴趣区域图像中正常区域;
第二标记类型确定单元,用于若异常区域的区域大小小于预设大小阈值,且异常区域的区域数量大于等于预设数量阈值,则确定对应的时序图像为第二标记类型;所述第二标记类型用于指示根据异常区域的区域属性在感兴趣区域中的占比值与预设占比阈值的比较结果,对感兴趣区域图像中正常区域或异常区域进行标记;
第三标记类型确定单元,用于若异常区域的区域数量小于预设数量阈值,则确定对应的时序图像为第三标记类型;所述第三标记类型用于指示标记感兴趣区域图像中异常区域。
另一方面还提供一种计算机设备,所述设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一项所述的图像分析方法。
另一方面还提供一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一项所述的图像分析方法。
本申请提供的图像分析方法、装置、设备及存储介质,具有如下技术效果:
本申请实施例通过获取待分析图像集,该待分析图像集包括至少一个时序图像;确定至少一个时序图像中目标对象对应的感兴趣区域图像;感兴趣区域图像包括正常区域和异常区域;确定至少一个时序图像对应的感兴趣区域图像中的正常区域;基于至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。本申请不直接利用异常区域的特征数据对时序图像中的异常区域进行分割,而是通过感兴趣区域图像中的正常区域反向确定对应的异常区域,使得所提供的图像分析方法不局限于现有的异常区域的特征数据,可以适用其他阶段的图像分析,提高图像分析结果的可靠性和准确性。尤其在医学领域,可以使得图像分析方法适用于特殊阶段图像或者新型病灶的图像分析,提高医学分析结果的可靠和准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种图像分析方法的流程示意图;
图2是本申请实施例提供的另一种图像分析方法的流程示意图;
图3是本申请实施例提供的一种图像分析方法中步骤S107的流程示意图;
图4是本申请实施例提供的又一种图像分析方法的流程示意图;
图5是本申请实施例提供的又一种图像分析方法的流程示意图;
图6是本申请实施例提供的又一种图像分析方法的流程示意图;
图7是本申请实施例提供的一种图像分析方法的流程示意简图;
图8是本申请实施例提供的另一种图像分析方法的流程示意简图;
图9是本申请实施例提供的一种图像分析装置的结构框图;
图10是本申请实施例一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
以下介绍本申请一种图像分析方法的具体实施例。该方法可以应用于图像分析装置,该图像分析装置可以采用软件和/或硬件的方式实现,该装置可以独立于电子设备之外,也可集成在具有图像分析功能的电子设备中,该电子设备可为例如服务器、终端、图像成像系统等中至少一种。
其中,服务器可以包括但不限于为至少一个独立服务器、分布式服务器、云服务器、服务器集群中至少一种。该分布式服务器具体可以为区块链(Block Chain)结构,该区块链结构中的任意一个节点都可以执行或参与执行图像分析方法。终端可以包括但不限于为运行于实体设备中的软体,例如安装在设备上的应用程序或客户端等,也可以包括但不限于为安装有应用的台式电脑、平板电脑、笔记本电脑、智能手机等类型的实体设备中至少一种。以医学领域为例,图像成像系统可以包括但不限于为X射线(X-Ray)成像系统、计算机断层(CT)系统、磁共振成像(MRI)系统、正电子发射断层扫描(PET)系统等至少一种模态的医学成像系统。
图1是本申请实施例提供的一种图像分析方法的流程示意图,本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体如图1所示,该方法可以包括:
S101,获取待分析图像集,待分析图像集包括至少一个时序图像。
在本实施例,终端可以从图像采集设备中获取其所采集的受检体的至少一个时序图像,以构成待分析图像集。该时序图像可为在不同时间节点所获得的二维图像或三维图像。若时序图像的数量为多个时,该图像采集设备的型号可以相同或不同,图像采集设备的模态也可相同或不同,本申请对此不作具体限定。当然,该待分析图像集也可为图像采集设备事先采集并预先存储在例如服务器或云端等中,终端在需要对该待分析图像集进行分析时,可直接从对应存储的服务器或云端中获取得到,本申请对此不作具体限定。
仅作为示例,在医学领域,该受检体可为例如人体、动物等生物体;相应的,待分析图像集为利用医学采集设备对受检体中特定部位进行采集所得的至少一个时序图像所构建的医学图像集,该医学图像集包括但不限于为CT图像集、X射线图像集、MRI图像集等。在其他领域中,受检体可为待检测物体、零部件等,相应的,待分析图像集可为通过例如相机、摄像机、扫描电镜、透射电镜、显微镜等图像采集设备对受检体进行采集得到。
S103,确定至少一个时序图像中目标对象对应的感兴趣区域图像;感兴趣区域图像包括正常区域和异常区域。
其中,目标对象可为图像检测分析的检测目标,其数量可为一个或多个。以医学领域为例,目标对象可为生物体的器官或组织,例如包括但不限于为肺部、肝脏、心脏、肾脏、脾脏、胃、胆、生殖器官等中至少一种。本申请实施例主要以目标对象为肺部为例进行说明,但并不应理解为对本申请的限制。
在本实施例中,该感兴趣区域图像包括正常区域和异常区域。其中,正常区域用于反映感兴趣区域图像中目标对象处于正常状态的区域;异常区域用于反映感兴趣区域图像中目标对象处于异常状态的区域。示例性的,在医学领域,异常区域为病灶器官或病灶组织对应的区域,例如结节区域、囊肿区域、肿瘤区域等;正常区域可以为目标对象中除异常区域之外的器官或组织对应的区域。
通常情况下,所获取的待分析图像集中每个时序图像不仅包括目标对象对应的感兴趣区域,还可包括除目标对象所在区域之外的背景区域。在获取待分析图像集后,终端可以对该待分析图像集进行去除背景区域处理,以得到仅包含目标对象对应的感兴趣区域对应的图像。
在一可选实施例中,终端可以利用目标对象分割模型,对至少一个时序图像中的目标对象进行分割,得到目标对象的感兴趣区域,之后在该至少一个时序图像中去除掉除了感兴趣区域以外的背景区域,得到仅包含目标对象对应的感兴趣区域的图像,即为感兴趣区域图像。此时,该感兴趣区域图像可以为分割掩膜图像,该分割掩膜图像具体可为二值化图像,例如,分割掩膜图像中感兴趣区域的二值化值可以为1,背景区域的二值化值可以为0。当然,在实际应用中,不同区域的二值化值可以用不同的颜色进行直观显示。
在另一可选实施例中,终端还可根据先验知识得到目标对象的特征属性、位置属性或轮廓属性等属性信息,之后根据该先验知识确定出目标对象,进而从至少一个时序图像中得到目标对象对应的感兴趣区域,即得到仅包含目标对象对应的感兴趣区域的图像,也即该感兴趣区域图像。
在实际应用中,以医学领域为例,该感兴趣区域图像可为目标对象的实质性区域对应的图像,例如肺实质图像(也即全肺图像),具体的可为左肺部图像、右肺部图像或双肺部图像。终端可以利用全肺分割模型对待分析图像集中的肺部进行分割,输出得到全肺图像,即肺部对应的感兴趣区域图像。
S105,确定至少一个时序图像对应的感兴趣区域图像中的正常区域。
在图像分析领域,相关技术通常是在获取到感兴趣区域图像之后,直接利用事先构建好的模型对感兴趣区域中的异常区域进行检测或识别,进而基于检测或分析得到的异常区域来得到相应的图像分析结果。然而,在一些情况下,若异常区域的特征属性发生了变化,也即该异常区域为新型的异常区域,则直接利用之前构建的模型将无法对新型的异常区域进行有效地检测或识别,从而降低了图像分析结果的准确性和可靠性。
在本实施例中,终端在确定至少一个时序图像中目标对象对应的感兴趣区域图像之后,不是直接从感兴趣区域图像中确定对应的异常区域,而是从感兴趣区域图像中确定对应的正常区域,之后基于所确定的正常区域,反向得到异常区域对应的图像分析结果。
在一可选实施例中,终端可以利用预设图像分割算法,对至少一个时序图像对应的感兴趣区域图像中的正常区域进行分割,进而得到对应的正常区域。
在另一可选实施例中,终端可以利用图像分割模型来确定至少一个时序图像对应的感兴趣区域图像中的正常区域。该图像分割模型用于从时序图像对应的感兴趣图像中分割出正常区域,以便于后续基于分割出的正常区域确定对应的异常区域的图像分析结果。
可选地,该图像分割模型可以神经网络模型,例如深度学习模型等。该深度学习模型包括但不限于为卷积神经网络(Convolutional Neural Networks,CNN)、深度神经网络(Deep Neural Networks,DNN)、循环神经网络(Recurrent Neural Network,RNN)等模型。该卷积神经网络模型可以包括但不限于为V-Net模型、DenseNet模型、FPN模型、U-Net模型等中一种或多种。
可选地,该图像分割模型可为单独的神经网络,也可为由至少两个网络结构相同或不同的神经网络构成的级联网络。若图像分割模型为级联网络,则下一级神经网络的输入至少包括上一级神经网络的输出,利用级联网络分别对感兴趣区域图像进行级联分割处理,综合各级联网络的输出结果,进而得到每个感兴趣区域图像中正常区域。
仅作为一种示例,上述S105确定至少一个时序图像对应的感兴趣区域图像中的正常区域可以包括:
利用经训练的图像分割模型,对至少一个时序图像对应的感兴趣区域图像中正常区域进行分割,得到至少一个时序图像对应的感兴趣区域图像中的正常区域。其中,图像分割模型是利用分析样本图像集及对应的目标对象中正常区域的分割结果作为训练集训练得到。
在实际应用中,以目标对象为肺部为例,终端在获取到肺部对应的感兴趣区域图像之后,可以将至少一个时序图像对应的肺部的感兴趣区域图像作为模型输入,输入至经训练的图像分割模型中,利用该图像分割模型对肺部中的正常区域进行分割,输出得到至少一个肺部感兴趣区域图像的正常区域对应的分割图像。
S107,基于至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
在确定了至少一个时序图像中目标对象的正常区域之后,可以获取该目标对象的正常区域对应的属性数据,之后基于该目标对象的正常区域对应的属性数据确定表征待分析图像集中异常区域的异常信息的图像分析结果。
其中,正常区域对应的属性数据可以为用于表征正常区域的区域属性状态,例如包括但不限于为区域位置数据、区域大小数据、区域形状数据等。其中,区域大小数据可包括区域面积、区域体积等等。
该图像分析结果可以包括表征至少一个时序图像中异常区域的异常信息的图像分析结果、表征多个时序图像中各异常区域的异常变化信息的定性、定量分析的随访分析结果中一种或多种。
举例而言,以医学领域为例,若时序图像的数量为一个时,可以根据该时序图像中的目标对象的正常区域的属性数据,并结合时序图像中感兴趣区域的属性数据,来确定异常区域的属性数据,进而确定表征该时序图像中异常区域的异常信息的图像分析结果。若时序图像的数量为多个时,除了可以确定至少一个时序图像中的异常区域的异常信息的图像分析结果之外,还可以确定多个时序图像中异常区域的变化情况,以得到异常变化信息的定性、定量分析的随访分析结果。
上述实施例通过获取待分析图像集,该待分析图像集包括至少一个时序图像;确定至少一个时序图像中目标对象对应的感兴趣区域图像;感兴趣区域图像包括正常区域和异常区域;确定至少一个时序图像对应的感兴趣区域图像中的正常区域;基于至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。本申请不直接利用异常区域的特征数据对时序图像中的异常区域进行分割,而是通过感兴趣区域图像中的正常区域反向确定对应的异常区域,使得所提供的图像分析方法不局限于仅适用于现阶段的异常区域的特征数据,可以适用于其他阶段的图像分析,提高了图像分析结果的可靠性和准确性。
尤其在医学领域,可以使得上述图像分析方法适用于特殊阶段的医学图像或者存在新型病灶的医学图像,提高了医学图像分析结果的可靠和准确性。此外,本申请无需检测病灶,通过将同一患者不同时期的正常区域量化计算,可达到了对异常区域的量化随访的目的。
在一可选实施例中,如图2所示,在时序图像的数量为多个时,上述S107基于至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果,具体可以包括:
S201,基于多个时序图像对应的正常区域的属性数据,确定对应的正常区域的属性变化数据;正常区域的属性变化数据表征多个时序图像对应的正常区域在不同时间节点上的区域属性变化情况。
S203,基于多个时序图像对应的正常区域的属性变化数据、以及感兴趣区域图像的属性数据,确定多个时序图像对应的异常区域的属性变化数据。
S205,基于多个时序图像对应的异常区域的属性变化数据对待分析图像集进行量化分析,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
其中,属性变化数据可以包括区域体积变化数据和/或区域体积占比变化数据。也即,该正常区域的属性变化数据包括正常区域的区域体积变化数据和/或区域体积占比变化数据;该异常区域的属性变化数据包括异常区域的区域体积变化数据和/或区域体积占比变化数据。当然,该属性变化数据并不限于此,其还可包括例如区域重量变化数据、以及其它区域尺寸变化数据等。
具体地,终端在确定多个时序图像对应的感兴趣区域图像中的正常区域之后,可以利用图像检测工具或图像检测算法获取多个时序图像对应的正常区域的属性数据,之后基于多个时序图像对应的正常区域的属性数据,提取属于同一受检体的相同目标对象对应的时序图像,计算所提取的多个时序图像的相同目标对象的正常区域的属性变化数据,再结合感兴趣区域图像的属性数据,确定多个时序图像对应的异常区域的属性变化数据;之后根据所确定的异常区域的属性变化数据对待分析图像集进行量化分析,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
应理解的是,在确定异常区域的图像分析结果时,可以采用先基于感兴趣区域的正常区域的属性变化数据从感兴趣区域中提取多个异常区域,再基于多个异常区域的属性变化数据得到对应的图像分析结果的方式来实现。或者,还可以在不提取异常区域的情况下,采用直接根据感兴趣区域的正常区域的属性变化数据得到异常区域的属性变化数据,之后再基于异常区域的属性变化数据得到对应的图像分析结果的方式来实现,本申请对此不作具体限定。
在实际应用中,以目标对象为肺部为例,终端获取同一患者在不同时期的多个肺部CT图像,提取每个肺部CT图像中的肺部实质区域得到肺部实质区域图像,从肺部实质区域图像中确定表征肺部显影正常的正常区域,基于图像检测工具或图像检测算法获取多个肺部CT图像对应的正常区域的属性数据,例如区域大小、区域体积等;之后计算多个肺部CT图像对应的正常区域的属性数据的变化数据,得到对应的正常区域的属性变化数据,例如区域大小变化数据、区域体积变化数据等等。然后,结合肺部实质区域图像的属性数据,例如肺部实质区域的总区域大小、总区域体积等,与计算得到的正常区域的属性变化数据做减法操作或者补集运算,得到多个肺部实质区域图像中病灶区域的属性变化数据,进而基于该病灶区域的属性变化数据确定表征待分析图像集中病灶区域的异常信息的图像分析结果,以确定该患者在不同时期的病灶变化情况,实现对病灶区域进行跟踪和随访的目的,进而辅助医生根据病灶变化情况及时了解患者的病情,利于提高图像分析结果的准确性和可靠性。
上述实施例,通过根据感兴趣区域图像中正常区域的属性变化,即可反向确定对应的异常区域的属性变化,达到了量化随访的目的。
在另一可选实施例中,如图3所示,在时序图像的数量为多个时,上述S107基于至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果,具体可以包括:
S301,分别对第一时序图像对应的感兴趣区域图像以及第二时序图像对应的感兴趣区域图像进行预处理,得到第一时序处理图像和第二时序处理图像。
其中,第一时序图像的采集时间节点早于第二时序图像的采集时间节点,第一时序图像和第二时序图像为同一受检体的目标对象在不同采集时间节点所获取的图像。该第一时序图像和第二时序图像的数量可为至少一个。
可选的,该预处理包括但不限于为去噪、数据增强、重采样、归一化等处理中一种或多种。在实际应用中,预处理的具体过程可根据实际情况进行适配性调节,只需要满足经过预处理后的图像能够进行有效的比较分析即可,本申请对此不作具体限定。
S303,基于第一时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第一属性数据,第一属性数据包括第一区域位置数据和第一区域尺寸数据。
S305,基于第二时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第二属性数据,第二属性数据包括第二区域位置数据和第二区域尺寸数据。
其中,正常区域的数量可为一个或多个。相邻正常区域之间可以彼此连通,也可以彼此不连通。示例性地,以目标对象为肺部为例,若正常区域的数量为多个时,多个正常区域之间可以相互不连通。相应的,异常区域的数量可为一个或多个,若异常区域的数量为多个时,多个异常区域之间可以相互不连通。
异常区域的第一属性数据用于反映第一时序处理图像中异常区域的区域属性情况,该第一属性数据可以包括第一区域位置数据和第一区域尺寸数据。其中,该第一区域位置数据用于反映每个异常区域在第一时序处理图像中的位置情况,其可以包括关键点的坐标数据、异常区域的检测框或轮廓的位置坐标等等。该关键点包括但不限于为异常区域的中心点、质心等。该第一区域尺寸数据用于反映每个异常区域在第一时序处理图像中的尺寸大小情况,例如异常区域面积、异常区域体积等等。异常区域的第二属性数据与异常区域的第一属性数据类似,在此不再赘述。
具体地,在获取到第一时序处理图像对应的正常区域之后,可以利用图像检测工具或图像检测算法提取第一时序处理图像对应的正常区域的属性数据,再结合第一时序处理图像的属性数据,得到第一时序处理图像中除去正常区域之外的每个异常区域的第一属性数据,进而得到每个异常区域在第一时序处理图像中的第一区域位置数据和第一区域尺寸数据。
同样地,在获取到第二时序处理图像对应的正常区域之后,可以利用图像检测工具或图像检测算法提取第二时序处理图像对应的正常区域的属性数据,再结合第二时序处理图像的属性数据,得到第二时序处理图像中除去正常区域之外的每个异常区域的第二属性数据,进而得到每个异常区域在第二时序处理图像中的第二区域位置数据和第二区域尺寸数据。
S307,基于第一区域位置数据和第二区域位置数据,对第一时序处理图像中的异常区域与第二时序处理图像中的异常区域进行位置匹配,得到区域匹配映射关系。
可选地,在获取到第一区域位置数据和第二区域位置数据之后,可以利用位置匹配算法对第一时序处理图像中的异常区域与第二时序处理图像中的异常区域中的关键点的坐标位置进行匹配,得到区域匹配映射关系。也即,对第一时序处理图像中每个异常区域的第一关键点,在第二时序处理图像中异常区域的第二关键点中找到对应的匹配关键点。
若第一关键点与第二关键点之间的位置关联度大于等于预设关联阈值,则确定第一关键点与第二关键点为匹配关键点对,从而构建该匹配关键点对的关键点映射关系。该位置关联度可根据关键点的坐标相似度来衡量。相反,若第一关键点与第二关键点之间的位置关联度小于预设关联阈值,则确定第一关键点不存在对应的匹配关键点,则第一关键点对应的匹配关键点可设置为空值。在遍历完所有的第一关键点后,第二时序处理图像中仍存在多余未匹配的第二关键点,则该第二关键点不存在对应的匹配关键点,则第二关键点对应的匹配关键点可设置为空值。
由于每个关键点与异常区域一一对应,进而可根据关键点映射关系,确定异常区域之间的区域匹配映射关系。区域匹配映射关系可以以映射表等形式体现,对此本申请不做具体限定。
S309,基于区域匹配映射关系、第一区域尺寸数据和第二区域尺寸数据,对第一时序处理图像和第二时序处理图像进行量化分析,确定表征待分析图像集中异常区域的异常变化信息的图像分析结果。
在确定区域匹配映射关系之后,便可确定第一时序处理图像中的异常区域在第二时序处理图像中匹配的异常区域的区域尺寸变化数据,进而根据区域尺寸变化数据确定异常区域占比的变化幅度,达到随访量化分析异常区域进展的目的。
在实际应用中,以目标部位为肺部为例,对于同一患者不同阶段采集的时序图像进行全肺的分割mask,得到其最小三维外接矩形框,对应不同时序图像得到的矩形框分别命名为sample1和sample2,将sample1和sample2重采样到相同大小。之后,确定重采样后的矩形框图像中的病灶区域,得到每个病灶区域的关键点及区域大小,计算重采样后的sample1和sample2的每个病灶区域的关键点的位置关联信息。假设重采样后的sample1内两个病灶区域分别为box1_a和box1_b,sample2内两个病灶区域分别为box2_a和box2_b。当box1_a和box2_a中关键点的位置关联性大于一定预设关联阈值后,则认为box1_a和box2_a具有区域匹配关系,且box2_a是由box1_a发展而来的。而若box2_a对sample1内所有的病灶区域的关键点关联性都低于一定预设关联阈值时,则认为box2_a是新增病灶区域。而若box1_b相对于sample2内所有的病灶区域的关键点的关联性低于一定预设关联阈值时,则认为box1_b是将被吸收病灶区域。在确定了不同阶段中每个病灶区域所属病灶类型之后,即可根据病灶区域的区域大小以及区域匹配映射关系确定病灶区域的区域尺寸变化数据,进而根据区域尺寸变化数据确定同一患者在不同阶段区域占比的变化幅度,达到随访量化分析患者病情进展的目的。
上述实施例,通过对第一时序处理图像中的异常区域与第二时序处理图像中的异常区域进行位置匹配,得到区域匹配映射关系,之后基于该区域匹配映射关系、第一区域尺寸数据和第二区域尺寸数据,对第一时序处理图像和第二时序处理图像进行更精准的量化分析,实现了定量的随访分析,提高随访分析结果的可靠性和准确性。
在一些实施例中,上述图像分析方法还可以包括图像标记步骤。
在一可选实施例中,如图4和7所示,该图像标记步骤可以包括:
S401,检测至少一个时序图像对应的感兴趣区域图像中各区域的像素值。
在获取到至少一个时序图像对应的感兴趣区域图像之后,可以识别感兴趣区域图像中每个像素点的像素值,之后遍历每个像素点并进行聚类分析,将像素点之间的像素差值满足预设像素差值的邻域像素点与该像素点划分为一个集合,得到多个像素点集合,每个像素点集合可以对应一个区域,进而将感兴趣区域图像划分为多个区域。由于每个区域中的像素点的像素值范围可能不同,可以对每个区域的各像素点的像素值进行均值计算,得到每个区域对应的像素均值,作为感兴趣区域图像中各区域的像素值。
S403,基于各区域的像素值与预设像素阈值的比较结果,确定至少一个时序图像对应的感兴趣区域图像中的异常区域。
在确定感兴趣区域图像中各区域的像素值之后,可以将该各区域的像素值与预设像素阈值的大小进行比较,以基于比较结果确定至少一个时序图像对应的感兴趣区域图像中的异常区域。
可选地,若比较结果为区域的像素值大于等于预设像素阈值,则确定该区域为感兴趣区域图像中的异常区域。相反,则确定该区域为感兴趣区域图像中的正常区域。
需要说明的是,在实际应用中,该像素值还可以转化为灰度值或CT值进行计算,以基于各区域的灰度值或CT值与预设灰度阈值或预设CT值阈值的比较结果,确定至少一个时序图像对应的感兴趣区域图像中的异常区域。该预设像素阈值、预设灰度阈值和预设CT值阈值以及比较规则可根据实际情况和先验知识进行确定,本申请对此不作具体限定。
以目标对象为肺部为例,肺部的感兴趣区域图像通常为CT图像,CT图像是以不同灰度来表示,反映不同组织或部位对射线的吸收程度。通常肺部中正常区域为低密度区,其CT值通常较低;而肺部中异常区域(即病灶区域)为高密度区域,其CT值通常较高,进而可以根据比较区域的CT值大于等于预设CT阈值来确定肺部中感兴趣区域图像中的异常区域。
S405,确定至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性,区域属性包括区域大小和/或区域数量。
在确定了至少一个时序图像对应的感兴趣区域图像中异常区域之后,可以统计每个异常区域的区域属性,该区域属性可以包括但不限于区域大小和区域数量中一个或两个子属性。当然,该区域属性还可包括其他适合的子属性。其中,区域大小可根据图像维度进行确定,其具体可为区域面积、区域体积等。
S407,根据至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型。
在确定感兴趣区域图像中异常区域的区域属性之后,将区域属性中的每个子属性分别与对应的预设属性阈值的大小进行比较,根据所有子属性的比较结果,确定每个时序图像中所属异常区域的区域类型,之后基于异常区域对应的区域类型确定每个时序图像对应的标记类型。该异常区域的区域类型可包括大面积异常区域、小面积异常区域、较小面积异常区域(例如结节病灶区域)等。该标记类型例如可以包括异常区域标记类型、正常区域标记类型、混合区域标记类型、个性化标记类型等。
其中,预设属性阈值的具体取值可根据实际情况进行设置和调整,本申请对此不作具体限定。
S409,基于确定的至少一个时序图像对应的标记类型,分别对至少一个时序图像进行标记。
在确定至少一个时序图像对应的标记类型之后,即可对每个时序图像进行差异化标记,以呈现给用户差异化的图像分析结果。
需要说明的是,上述步骤S401-S403可以在S103步骤之后执行,也可在S105步骤之后且在S107步骤之前执行。上述步骤S405-S409可以紧跟S403步骤之后执行,也可被拆开在S105步骤或S107步骤之后执行。当然,上述步骤S401-S409还可按照其它合适顺序执行,本申请对此不作具体限定。
上述实施例,通过检测至少一个时序图像对应的感兴趣区域图像中各区域的像素值的方式,来确定感兴趣区域图像中的所有异常区域,之后根据所有异常区域的区域属性和预设属性阈值的比较结果,确定异常区域所属的区域类型,进而根据区域类型来确定对应的时序图像的标记类型,进而根据标记类型对时序图像进行差异化分割和标记,进一步提高图像分析结果的准确性。
在另一可选实施例中,如图5和8所示,为了进行更精确的图像标记,该图像标记步骤可以具体包括:
S501,基于至少一个时序图像对应的感兴趣区域图像中的正常区域,确定至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性;区域属性包括区域大小和/或区域数量。
S503,根据至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型。
S505,基于确定的至少一个时序图像对应的标记类型,分别对至少一个时序图像进行标记。
具体地,在执行上述S105步骤,获取到至少一个时序图像对应的感兴趣区域图像中的正常区域之后,可以直接结合感兴趣区域图像中确定感兴趣区域图像中异常区域,之后统计感兴趣区域图像中异常区域的区域属性。该区域属性包括但不限于区域大小和区域数量中一个或两个子属性。当然,该区域属性还可包括其他适合的子属性。其中,区域大小可根据图像维度进行确定,其具体可为区域面积、区域体积等。
在确定感兴趣区域图像中异常区域的区域属性之后,将区域属性中的每个子属性分别与对应的预设属性阈值的大小进行比较,根据所有子属性的比较结果,确定每个时序图像对应的标记类型。该标记类型例如可以包括异常区域标记类型、正常区域标记类型、混合区域标记类型、个性化标记类型等。其中,预设属性阈值的具体取值可根据实际情况进行设置和调整,本申请对此不作具体限定。在确定至少一个时序图像对应的标记类型之后,即可对每个时序图像进行差异化标记,以呈现给用户差异化的图像标记结果。
上述实施例,通过感兴趣区域图像中的正常区域来直接确定异常区域,进而根据异常区域的区域属性来确定时序图像对应的标记类型,从而实现差异化标记。相比于上述实施例中利用区域的像素值的方式,本实施例中利用正常区域来反向确定异常区域,可获得更准确可靠的异常区域,进一步提高图像分析结果的准确性。
本申请不直接利用异常区域的特征数据,对时序图像中的异常区域进行分割后标记,而是通过感兴趣区域图像中的正常区域来反向标记对应的异常区域,使得所提供的图像分析方法不局限于仅适用于现阶段的异常区域的特征数据,可以适用于其他阶段的图像分析,提高了图像分析结果的可靠性和准确性。尤其在医学领域,可以使得上述图像分析方法适用于特殊阶段的医学图像或者存在新型病灶的医学图像,提高了医学图像分析结果的可靠和准确性。
在一可选实施例中,如图6、7和8所示,在所述区域属性包括区域大小和区域数量的情况下,上述根据至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型,即上述S407或S503可以具体包括:
S601,若异常区域的区域大小大于等于预设大小阈值,则确定对应的时序图像为第一标记类型;第一标记类型用于指示标记感兴趣区域图像中正常区域。
S603,若异常区域的区域大小小于预设大小阈值,且异常区域的区域数量大于等于预设数量阈值,则确定对应的时序图像为第二标记类型;第二标记类型用于指示根据异常区域的区域属性在感兴趣区域中的占比值与预设占比阈值的比较结果,对感兴趣区域图像中正常区域或异常区域进行标记。
S605,若异常区域的区域数量小于预设数量阈值,则确定对应的时序图像为第三标记类型;第三标记类型用于指示标记感兴趣区域图像中异常区域。
具体地,在检测到每个时序图像的异常区域之后,对各异常区域进行区域大小和区域数量的统计,具体可分为以下三种情况:
1)当异常区域的区域大小大于等于预设大小阈值a时,则判定该时序图像的异常区域为大面积异常区域,且对应的时序图像设置为第一标记类型,该第一标记类型用于指示标记感兴趣区域图像中正常区域。
2)当异常区域的区域大小小于预设大小阈值a且大于0,同时异常区域的区域数量大于等于预设数量阈值b时,则判定该时序图像的异常区域为小面积异常区域,且对应的时序图像为第二标记类型。
该第二标记类型中具体标记区域可以根据异常区域的区域属性在感兴趣区域中的占比值与预设占比阈值的比较结果来确定。具体地,在确定异常区域为小面积异常区域之后,进而计算小面积异常区域的区域大小在感兴趣区域中的占比值,之后比较该占比值与预设占比阈值t的大小,若比较结果为该占比值高于等于预设占比阈值t时,则对感兴趣区域图像中正常区域进行标记,相反,对感兴趣区域图像中异常区域进行标记。
3)当异常区域的区域大小小于等于预设大小阈值a,同时异常区域的区域数量小于等于预设数量阈值b时,则判定该时序图像的异常区域为更小面积异常区域(例如医学领域中的结节或肿块病灶),且对应的时序图像为第三标记类型。该第三标记类型用于指示标记感兴趣区域图像中异常区域。
在实际应用中,以医学领域为例,该预设大小阈值a可以为预设体积大小阈值,其数值可设置但不限于为180-250cm3中任意值,例如200cm3、220cm3等。该预设数量阈值b的数值可设置但不限于为6-12中任意值,例如6个、8个、10个等。该预设占比阈值t可以为预设体积占比阈值,其数值可设置但不限于为0.06-0.12中任意值,例如0.08、0.09等。具体地,当异常病灶区域较大时,利用图像分割模型进行健康区域分割,得到正常区域分割mask,并对分割的正常区域分割mask进行标记。因为异常病灶区域足够大,定位到相应的病变区域更简单,不需要用mask标记,这时候标记太多病灶区域的mask也会阻挡视线,这时候吸引医生注意力更多的反而是没有mask标记的区域,可以让医生的注意力更多的集中在观察病灶区域有哪些细微的变化,提高医生的使用体验,并有效地帮助医生阅片以判断病情的恶化与否。
当异常病灶区域不大时,先利用图像分割模型进行健康区域分割,之后利用感兴趣区域并与分割的健康区域做减操作,得到异常区域分割mask,对获取的异常区域分割mask进行标记。
以医学领域为例,假设肺部感兴趣区域图像为肺部掩膜图像A,该肺部掩膜图像A为二值化图像,其中的肺部感兴趣区域的mask标签为1,背景区域的mask标签为0。假设肺部正常区域对应的分割图像为肺部掩膜图像B,该肺部掩膜图像B也为二值化图像,其中的肺部健康区域的mask标签为1,其他区域的mask标签为0。将肺部掩膜图像A与肺部掩膜图像B做减法操作,两个掩膜图像中对应区域的mask值进行数值相减,得到异常区域掩膜图像C。若异常区域掩膜图像C中标签值为1的位置就是肺部异常区域;而异常区域掩膜图像C中标签值为-1或0的位置可认为是除异常区域以外的区域,也就不是肺部异常区域。
为了便于理解,结合图7进行详细描述,对于同一患者、三个阶段的肺部CT时序图像,一方面,通过肺部异常区域检测得到每个阶段的肺部CT时序图像所属的标记类型,即阶段1的CT时序图像为第三标记类型,阶段2的CT时序图像为第二标记类型,阶段3的CT时序图像为第一标记类型。另一方面,利用肺分割模型对三个阶段的肺部CT时序图像进行分割,得到该三个阶段的全肺mask(如图7中阶段1、阶段2和阶段3),之后通过图像分割模型对这三个全肺mask进行正常区域分割处理,得到肺部正常区域。根据每个阶段的肺部CT时序图像中肺部正常区域,按照各阶段的肺部CT时序图像对应的标记类型对每个阶段的分割mask进行差异化标记。如图7中的标记部分,对于阶段1的分割mask按照第三标记类型进行标记,即标记肺部异常区域分割mask(如图中的白色箭头所指向的小病灶区)。对于阶段2的分割mask按照第二标记类型进行标记,此时根据预设占比阈值t确定标记肺部正常区域,即标记肺部正常区域分割mask(如图中的白色箭头所指向的正常区域)。对于阶段3的分割mask按照第三标记类型进行标记,即标记肺部正常区域分割mask(如图中的白色箭头所指向的正常区域)。
由于异常病灶区域较小,异常区域分割mask并不会阻挡医生太多的视线,而且因为对异常区域分割mask进行标记,会吸引更多的注意力,医生能更简单快速的定位到很小的病灶区域,有助于医生阅片。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图9,其示出了本申请实施例提供的一种图像分析装置的结构框图。该装置具有实现上述方法示例中装置的功能,该功能可以由硬件实现,也可以由硬件执行相应的软件实现。图像分析装置90可以包括:
获取模块901,用于获取待分析图像集,所述待分析图像集包括至少一个时序图像;
第一确定模块902,用于确定所述至少一个时序图像中目标对象对应的感兴趣区域图像;所述感兴趣区域图像包括正常区域和异常区域;
第二确定模块903,用于确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
分析模块904,用于基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
在一些实施例中,第二确定模块可以包括:
确定单元,用于利用经训练的图像分割模型,对所述至少一个时序图像对应的感兴趣区域图像中正常区域进行分割,得到所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
其中,所述图像分割模型是利用分析样本图像集及对应的目标对象中正常区域的分割结果作为训练集训练得到。
在一些实施例中,在所述时序图像的数量为多个时,分析模块可以包括:
第一属性变化确定单元,用于基于多个时序图像对应的正常区域的属性数据,确定对应的正常区域的属性变化数据;所述正常区域的属性变化数据表征多个时序图像对应的正常区域在不同时间节点上的区域属性变化情况;
第二属性变化确定单元,用于基于所述多个时序图像对应的正常区域的属性变化数据、以及所述感兴趣区域图像的属性数据,确定所述多个时序图像对应的异常区域的属性变化数据;
分析单元,用于基于所述多个时序图像对应的异常区域的属性变化数据对待分析图像集进行量化分析,确定表征待分析图像集中异常区域的异常信息的图像分析结果;
其中,所述属性变化数据包括区域体积变化数据和/或区域体积占比变化数据。
在一些实施例中,在所述时序图像的数量为多个时,分析模块可以包括:
预处理单元,用于分别对第一时序图像对应的感兴趣区域图像以及第二时序图像对应的感兴趣区域图像进行预处理,得到第一时序处理图像和第二时序处理图像;
第一属性确定单元,用于基于所述第一时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第一属性数据,所述第一属性数据包括第一区域位置数据和第一区域尺寸数据;
第二属性确定单元,用于基于所述第二时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第二属性数据,所述第二属性数据包括第二区域位置数据和第二区域尺寸数据;
基于所述第一区域位置数据和所述第二区域位置数据,对所述第一时序处理图像中的异常区域与所述第二时序处理图像中的异常区域进行位置匹配,得到区域匹配映射关系;
量化分析单元,用于基于所述区域匹配映射关系、第一区域尺寸数据和第二区域尺寸数据,对所述第一时序处理图像和所述第二时序处理图像进行量化分析,确定表征待分析图像集中异常区域的异常变化信息的图像分析结果;
其中,所述第一时序图像的采集时间节点早于所述第二时序图像的采集时间节点,所述第一时序图像和所述第二时序图像的数量为至少一个。
在一些实施例中,上述图像分析装置还可包括:
检测模块,用于检测所述至少一个时序图像对应的感兴趣区域图像中各区域的像素值;
异常区域确定模块,用于基于各区域的像素值与预设像素阈值的比较结果,确定所述至少一个时序图像对应的感兴趣区域图像中的异常区域;
第一区域属性确定模块,用于确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性,所述区域属性包括区域大小和/或区域数量;
第一标记类型确定模块,用于根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
第一标记模块,用于基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
在一些实施例中,上述图像分析装置还可包括:
第二区域属性确定模块,用于基于所述至少一个时序图像对应的感兴趣区域图像中的正常区域,确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性;所述区域属性包括区域大小和/或区域数量;
第二标记类型确定模块,用于根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
第二标记模块,用于基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
在一些实施例中,在所述区域属性包括区域大小和区域数量的情况下,第一标记类型确定模块或第二标记类型确定模块可以包括:
第一标记类型确定单元,用于若异常区域的区域大小大于等于预设大小阈值,则确定对应的时序图像为第一标记类型;所述第一标记类型用于指示标记感兴趣区域图像中正常区域;
第二标记类型确定单元,用于若异常区域的区域大小小于预设大小阈值,且异常区域的区域数量大于等于预设数量阈值,则确定对应的时序图像为第二标记类型;所述第二标记类型用于指示根据异常区域的区域属性在感兴趣区域中的占比值与预设占比阈值的比较结果,对感兴趣区域图像中正常区域或异常区域进行标记;
第三标记类型确定单元,用于若异常区域的区域数量小于预设数量阈值,则确定对应的时序图像为第三标记类型;所述第三标记类型用于指示标记感兴趣区域图像中异常区域。
需要说明的是,本申请的装置实施例中具体内容可参见上述方法实施例,在此不再赘述。
本申请实施例还提供了一种计算机存储介质,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一实施例所述的图像分析方法。
上述存储介质可以位于计算机网络的多个网络设备中的至少一个网络设备。可选地,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供了一种计算机设备,该设备可以包括处理器和存储器,该存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如上述任一实施例所述的图像分析方法。
进一步地,图10示出了一种用于实现本申请实施例所提供的方法的计算机设备的硬件结构示意图,该计算机设备可以为服务器、计算机终端、移动终端或其它设备,计算机设备还可以参与构成或包含本申请实施例所提供的装置。如图6所示,计算机设备10可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图6所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机设备10还可包括比图6中所示更多或者更少的组件,或者具有与图6所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机设备10中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中所述的方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的一种神经网络处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机设备10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机设备10的用户界面进行交互。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本申请中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像分析方法,其特征在于,包括:
获取待分析图像集,所述待分析图像集包括至少一个时序图像;
确定所述至少一个时序图像中目标对象对应的感兴趣区域图像;所述感兴趣区域图像包括正常区域和异常区域;
确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
2.根据权利要求1所述的方法,其特征在于,所述确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域包括:
利用经训练的图像分割模型,对所述至少一个时序图像对应的感兴趣区域图像中正常区域进行分割,得到所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
其中,所述图像分割模型是利用分析样本图像集及对应的目标对象中正常区域的分割结果作为训练集训练得到。
3.根据权利要求1或2所述的方法,其特征在于,在所述时序图像的数量为多个时,所述基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果包括:
基于多个时序图像对应的正常区域的属性数据,确定对应的正常区域的属性变化数据;所述正常区域的属性变化数据表征多个时序图像对应的正常区域在不同时间节点上的区域属性变化情况;
基于所述多个时序图像对应的正常区域的属性变化数据、以及所述感兴趣区域图像的属性数据,确定所述多个时序图像对应的异常区域的属性变化数据;
基于所述多个时序图像对应的异常区域的属性变化数据对待分析图像集进行量化分析,确定表征待分析图像集中异常区域的异常信息的图像分析结果;
其中,所述属性变化数据包括区域体积变化数据和/或区域体积占比变化数据。
4.根据权利要求1或2所述的方法,其特征在于,在所述时序图像的数量为多个时,所述基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果包括:
分别对第一时序图像对应的感兴趣区域图像以及第二时序图像对应的感兴趣区域图像进行预处理,得到第一时序处理图像和第二时序处理图像;
基于所述第一时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第一属性数据,所述第一属性数据包括第一区域位置数据和第一区域尺寸数据;
基于所述第二时序处理图像对应的正常区域的属性数据,确定对应的异常区域的第二属性数据,所述第二属性数据包括第二区域位置数据和第二区域尺寸数据;
基于所述第一区域位置数据和所述第二区域位置数据,对所述第一时序处理图像中的异常区域与所述第二时序处理图像中的异常区域进行位置匹配,得到区域匹配映射关系;
基于所述区域匹配映射关系、第一区域尺寸数据和第二区域尺寸数据,对所述第一时序处理图像和所述第二时序处理图像进行量化分析,确定表征待分析图像集中异常区域的异常变化信息的图像分析结果;
其中,所述第一时序图像的采集时间节点早于所述第二时序图像的采集时间节点,所述第一时序图像和所述第二时序图像的数量为至少一个。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
检测所述至少一个时序图像对应的感兴趣区域图像中各区域的像素值;
基于各区域的像素值与预设像素阈值的比较结果,确定所述至少一个时序图像对应的感兴趣区域图像中的异常区域;
确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性,所述区域属性包括区域大小和/或区域数量;
根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
基于所述至少一个时序图像对应的感兴趣区域图像中的正常区域,确定所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性;所述区域属性包括区域大小和/或区域数量;
根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型;
基于确定的所述至少一个时序图像对应的标记类型,分别对所述至少一个时序图像进行标记。
7.根据权利要求5或6所述的方法,其特征在于,在所述区域属性包括区域大小和区域数量的情况下,所述根据所述至少一个时序图像对应的感兴趣区域图像中异常区域的区域属性与预设属性阈值的比较结果,确定每个时序图像对应的标记类型包括:
若异常区域的区域大小大于等于预设大小阈值,则确定对应的时序图像为第一标记类型;所述第一标记类型用于指示标记感兴趣区域图像中正常区域;
若异常区域的区域大小小于预设大小阈值,且异常区域的区域数量大于等于预设数量阈值,则确定对应的时序图像为第二标记类型;所述第二标记类型用于指示根据异常区域的区域属性在感兴趣区域中的占比值与预设占比阈值的比较结果,对感兴趣区域图像中正常区域或异常区域进行标记;
若异常区域的区域数量小于预设数量阈值,则确定对应的时序图像为第三标记类型;所述第三标记类型用于指示标记感兴趣区域图像中异常区域。
8.一种图像分析装置,其特征在于,包括:
获取模块,用于获取待分析图像集,所述待分析图像集包括至少一个时序图像;
第一确定模块,用于确定所述至少一个时序图像中目标对象对应的感兴趣区域图像;所述感兴趣区域图像包括正常区域和异常区域;
第二确定模块,用于确定所述至少一个时序图像对应的感兴趣区域图像中的正常区域;
分析模块,用于基于所述至少一个时序图像对应的正常区域的属性数据,确定表征待分析图像集中异常区域的异常信息的图像分析结果。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7中任一项所述的图像分析方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质中存储有至少一条指令或至少一段程序,所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1-7中任一项所述的图像分析方法。
CN202010500297.3A 2020-06-04 2020-06-04 图像分析方法、装置、设备及存储介质 Pending CN111815557A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010500297.3A CN111815557A (zh) 2020-06-04 2020-06-04 图像分析方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010500297.3A CN111815557A (zh) 2020-06-04 2020-06-04 图像分析方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN111815557A true CN111815557A (zh) 2020-10-23

Family

ID=72848655

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010500297.3A Pending CN111815557A (zh) 2020-06-04 2020-06-04 图像分析方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN111815557A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN113591852A (zh) * 2021-08-09 2021-11-02 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113657553A (zh) * 2021-09-01 2021-11-16 什维新智医疗科技(上海)有限公司 一种结节回声类型判断装置
CN114359898A (zh) * 2021-05-16 2022-04-15 汪洋 一种基于人工智能的扫描电镜图像分析方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
CN104224217A (zh) * 2013-06-24 2014-12-24 株式会社东芝 医用图像处理装置以及医用图像处理方法
CN107564580A (zh) * 2017-09-11 2018-01-09 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备
CN109886944A (zh) * 2019-02-02 2019-06-14 浙江大学 一种基于多图谱的脑白质高信号检测和定位方法
CN109937433A (zh) * 2016-11-08 2019-06-25 皇家飞利浦有限公司 用于x射线图像中的不透明区的检测的装置
CN111127466A (zh) * 2020-03-31 2020-05-08 上海联影智能医疗科技有限公司 医学图像检测方法、装置、设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101520893A (zh) * 2009-02-23 2009-09-02 暨南大学 一种婴幼儿脑医学计算机扫描图像的分析方法及实现系统
CN104224217A (zh) * 2013-06-24 2014-12-24 株式会社东芝 医用图像处理装置以及医用图像处理方法
CN109937433A (zh) * 2016-11-08 2019-06-25 皇家飞利浦有限公司 用于x射线图像中的不透明区的检测的装置
US20190254618A1 (en) * 2016-11-08 2019-08-22 Koninklijke Philips N.V. Apparatus for the detection of opacities in x-ray images
CN107564580A (zh) * 2017-09-11 2018-01-09 合肥工业大学 基于集成学习的胃镜图像辅助处理系统及方法
CN108830835A (zh) * 2018-05-25 2018-11-16 北京长木谷医疗科技有限公司 识别脊柱矢状位图像异常的方法及计算设备
CN109886944A (zh) * 2019-02-02 2019-06-14 浙江大学 一种基于多图谱的脑白质高信号检测和定位方法
CN111127466A (zh) * 2020-03-31 2020-05-08 上海联影智能医疗科技有限公司 医学图像检测方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
仝开军;舒荣宝;程刘兵;: "心脏血管瘤一例临床病理及影像学分析并文献复习", 中华临床医师杂志(电子版), no. 01, 1 January 2015 (2015-01-01) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114359898A (zh) * 2021-05-16 2022-04-15 汪洋 一种基于人工智能的扫描电镜图像分析方法
CN113591852A (zh) * 2021-08-09 2021-11-02 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113591852B (zh) * 2021-08-09 2022-08-23 数坤(北京)网络科技股份有限公司 感兴趣区域标记的方法和装置
CN113538606A (zh) * 2021-08-17 2021-10-22 数坤(北京)网络科技股份有限公司 图像关联方法、联动显示方法及相关产品
CN113657553A (zh) * 2021-09-01 2021-11-16 什维新智医疗科技(上海)有限公司 一种结节回声类型判断装置
CN113657553B (zh) * 2021-09-01 2023-12-26 什维新智医疗科技(上海)有限公司 一种结节回声类型判断装置

Similar Documents

Publication Publication Date Title
CN111127466B (zh) 医学图像检测方法、装置、设备及存储介质
Oulefki et al. Automatic COVID-19 lung infected region segmentation and measurement using CT-scans images
Lu et al. Evaluation of three algorithms for the segmentation of overlapping cervical cells
Yousef et al. A holistic overview of deep learning approach in medical imaging
CN111815557A (zh) 图像分析方法、装置、设备及存储介质
US8355553B2 (en) Systems, apparatus and processes for automated medical image segmentation using a statistical model
US8335359B2 (en) Systems, apparatus and processes for automated medical image segmentation
CN110598782B (zh) 一种训练用于医学影像的分类网络的方法与装置
CN109583440A (zh) 结合影像识别与报告编辑的医学影像辅助诊断方法及系统
US11996198B2 (en) Determination of a growth rate of an object in 3D data sets using deep learning
US20220101034A1 (en) Method and system for segmenting interventional device in image
WO2010097534A1 (fr) Méthodes de segmentation d'images et de détection de structures particulières
Siri et al. Threshold-based new segmentation model to separate the liver from CT scan images
Zhou et al. Detection and semiquantitative analysis of cardiomegaly, pneumothorax, and pleural effusion on chest radiographs
Remya et al. Enhanced DWT Filtering technique for brain tumor detection
Ramella Saliency-based segmentation of dermoscopic images using colour information
CN112686932B (zh) 用于医学影像的图像配准方法及图像处理方法、介质
Matsuyama A novel method for automated lung region segmentation in chest X-ray images
CN113688886A (zh) 图像分类方法、装置及存储介质
Li et al. MVDI25K: A large-scale dataset of microscopic vaginal discharge images
US11501442B2 (en) Comparison of a region of interest along a time series of images
KN et al. Comparison of 3-segmentation techniques for intraventricular and intracerebral hemorrhages in unenhanced computed tomography scans
Rangrej et al. Assistive lesion-emphasis system: an assistive system for fundus image readers
Zhou et al. A new segment method for pulmonary artery and vein
CN108839032A (zh) 一种智能机器人

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination