CN115564762A - 口咽部病灶特征提取方法、装置及电子设备 - Google Patents

口咽部病灶特征提取方法、装置及电子设备 Download PDF

Info

Publication number
CN115564762A
CN115564762A CN202211349226.3A CN202211349226A CN115564762A CN 115564762 A CN115564762 A CN 115564762A CN 202211349226 A CN202211349226 A CN 202211349226A CN 115564762 A CN115564762 A CN 115564762A
Authority
CN
China
Prior art keywords
target
image
focus
lesion
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211349226.3A
Other languages
English (en)
Inventor
李�昊
胡珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202211349226.3A priority Critical patent/CN115564762A/zh
Publication of CN115564762A publication Critical patent/CN115564762A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种口咽部病灶特征提取方法、装置及电子设备，该方法调用训练后的病灶检测模型分别对同一案例口咽部的白光图像、NBI图像和CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像，然后从白光病灶图像中得到目标病灶的粗糙度量化特征、溃疡/溃烂学习特征，从NBI病灶图像中得到目标病灶的斑点/微血管扩张学习特征，从CT病灶图像中得到目标病灶的对称性量化特征、边界清晰度量化特征、形状量化特征以及侵袭度量化特征，最后根据所有量化特征和所有学习特征，得到口咽部病灶特征。本申请得到的口咽部病灶特征可以提供准确和全面的参考，使得口咽部病灶的类型确定准确性也较高。

Description

口咽部病灶特征提取方法、装置及电子设备
技术领域
本申请涉及医疗辅助技术领域，尤其涉及一种口咽部病灶特征提取方法、装置及电子设备。
背景技术
口咽部的恶性病变主要包括癌和淋巴瘤，其中口咽癌主要包括舌根部癌、扁桃体癌和软腭癌。口咽癌占头颈部恶性肿瘤的7％左右，由于位置深在，侵袭性强，是一种预后较差的肿瘤。由于口咽癌和口咽淋巴瘤的临床表现较为相似，病灶特征不易区分，容易出现误判的情况，影响后续治疗方案。
因此，当前在对口咽部病灶类型进行确定时存在病灶特征识别准确性较低的技术问题，需要改进。
发明内容
本申请实施例提供一种口咽部病灶特征提取方法、装置及电子设备，用以缓解当前在对口咽部病灶类型进行确定时病灶特征识别准确性较低的技术问题。
为解决上述技术问题，本申请实施例提供以下技术方案：
本申请提供一种口咽部病灶特征提取方法，包括：
获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
根据所有量化特征和所有学习特征，得到口咽部病灶特征。
同时，本申请实施例还提供了一种口咽部病灶特征提取装置，包括：
获取模块，用于获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
第一得到模块，用于从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
第二得到模块，用于调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
第三得到模块，用于从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
第四得到模块，用于根据所有量化特征和所有学习特征，得到口咽部病灶特征。
本申请还提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行上述任一项所述的口咽部病灶特征提取方法中的步骤。
有益效果：本申请提供一种口咽部病灶特征提取方法、装置及电子设备，该方法先获取同一案例口咽部的白光图像、NBI图像和CT图像，并调用训练后的病灶检测模型分别对白光图像、NBI图像和CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像，然后从白光病灶图像中得到目标病灶的粗糙度量化特征、溃疡/溃烂学习特征，从NBI病灶图像中得到目标病灶的斑点/微血管扩张学习特征，从CT病灶图像中得到目标病灶的对称性量化特征、边界清晰度量化特征、形状量化特征以及侵袭度量化特征，最后根据所有量化特征和所有学习特征，得到口咽部病灶特征。本申请在获取了口咽部的白光图像、NBI图像和CT图像后，可以自动从多个维度对口咽部目标病灶的病变情况进行量化和学习，并进行综合得到口咽部病灶特征，则该特征可以为目标病灶的类型确定提供准确和全面的参考，效率较高，使得口咽部病灶的类型确定准确性也较高。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1是本申请实施例提供的口咽部病灶特征提取方法的应用场景示意图。
图2为本申请实施例提供的口咽部病灶特征提取方法的流程示意图。
图3为本申请实施例中病灶表面粗糙和光滑的对比示意图。
图4为本申请实施例中从白光图像和目标白光病灶图像的示意图。
图5为本申请实施例中病灶表面斑点状微血管扩张的对比示意图。
图6为本申请实施例中病灶非对称分布的示意图。
图7为本申请实施例中病灶边界不清晰和边界清晰的对比示意图。
图8为本申请实施例中病灶形状计算的示意图。
图9为本申请实施例中病灶侵袭度计算的示意图。
图10为本申请实施例提供的口咽部病灶特征提取装置的结构示意图。
图11为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供一种口咽部病灶特征提取方法、装置、电子设备和计算机可读存储介质，其中，该口咽部病灶特征提取装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
请参阅图1，图1为本申请实施例所提供的口咽部病灶特征提取方法应用的场景示意图，该场景可以包括终端以及服务器，终端之间、服务器之间、以及终端与服务器之间通过各种网关组成的互联网等方式连接通信，该应用场景中包括图像接收设备11和服务器12；其中，图像接收设备11可以是具有人机交互功能的设备；服务器12包括本地服务器和/或远程服务器等。
图像接收设备11和服务器12位于无线网络或有线网络中，以实现两者之间的数据交互，其中：
用户将同一案例的口咽部的白光图像、NBI图像和CT图像输入图像接收设备11中，图像接收设备11将三种图像和口咽部病灶特征提取请求发送给服务器12。服务器12先调用训练后的病灶检测模型分别对白光图像、NBI图像和CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像，然后调用预设算法，从白光病灶图像中得到目标病灶的粗糙度量化特征、溃疡/溃烂学习特征，从NBI病灶图像中得到目标病灶的斑点/微血管扩张学习特征，从CT病灶图像中得到目标病灶的对称性量化特征、边界清晰度量化特征、形状量化特征以及侵袭度量化特征，最后根据所有量化特征和所有学习特征，得到口咽部病灶特征并返回给图像接收设备11，由图像接收设备11将结果展示给用户。通过此方式，可以自动从多个维度对口咽部目标病灶的病变情况进行量化和学习并进行综合，并将最后的口咽部病灶特征返回给用户，用户可以该特征作为参考，确定目标病灶的类型为口咽癌或口咽部淋巴瘤，此方式效率较高，且由于提取的口咽部病灶特征准确性较高且非常全面，对于口咽部病灶的类型确定准确性也较高。
需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚地说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。以下分别进行详细说明。需说明的是，以下实施例的描述顺序不确定为对实施例优选顺序的限定。
请参阅图2，图2是本申请实施例提供的口咽部病灶特征提取方法的第一种流程示意图，该方法具体包括：
S1：获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对白光图像、NBI图像和CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像。
在本申请实施例中，案例是指口咽部有至少一个病灶的患者，通过医学辅助仪器对同一案例的口咽部进行图像采集，可以得到白光图像、NBI图像和CT图像，各图像均包括了口咽部所有病灶。病灶检测模型可以是Yolov3模型，该模型在使用之前，先由专业内镜医师对一定数量历史案例的三类图像中的病灶进行矩形框的标记，并作为训练数据，然后用该训练数据对病灶检测模型进行训练。
在得到三类图像后，调用训练后的病灶检测模型分别对这三类图像中的病灶进行检测，模型对检测到的每个病灶均以矩形框的形式进行标记，并根据矩形框的尺寸向外扩大一定的倍数进行裁剪(也可以不裁剪，仅将扩大后的尺寸作为图像尺寸进行记录)，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像，当存在N个病灶时，分别得到N组白光病灶图像、NBI病灶图像和CT病灶图像。
S2：从目标白光病灶图像中获取目标病灶的粗糙度信息，根据粗糙度信息，得到目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据第一识别结果，得到目标病灶的第一学习特征。
当该案例的口咽部仅存在一个病灶时，将该病灶确定为目标病灶，当存在两个或多个病灶时，依次将各病灶确定为目标病灶，目标病灶对应的白光病灶图像为目标白光病灶图像。溃疡/溃烂识别模型可以是VGG16模型，该模型在使用之前，先由专业内镜医师对一定数量历史案例的白光图像中病灶的溃疡/溃烂情况进行识别，标注对应的溃疡标签/溃烂标签，并作为训练数据，然后用该训练数据对溃疡/溃烂识别模型进行训练。
如图3所示，当病灶类型为口咽癌时，在白光图像中病灶表面呈现粗糙状态，即粗糙度较大，当病灶类型为口咽部淋巴瘤时，在白光图像中病灶表面呈现光滑状态，即粗糙度较小。两种病灶类型在白光图像中存在表面粗糙度的不同，则基于此，可以从目标白光病灶图像中获取目标病灶的粗糙度信息，并对粗糙度进行量化得到第一量化特征。该方式从粗糙度维度来对目标病灶的类型进行衡量。
在一种实施例中，目标白光病灶图像包括目标病灶的第一病灶框，目标白光病灶图像基于第一病灶框的中心和预设放大系数得到，S2具体包括：在目标白光病灶图像中生成相交于中心的第一对角线和第二对角线，得到四个对角区域，每一对角区域以所述第一病灶框的边为分界线，形成靠近中心的第一区域和远离中心的第二区域，第一区域形成第一图像，第二区域形成第二图像；获取目标白光病灶图像的第一尺寸信息和目标白光病灶图像中第一病灶框的第二尺寸信息，根据第一尺寸信息、第二尺寸信息和四个对角区域，得到各第一图像的第三尺寸信息和各第二图像的第四尺寸信息；获取目标白光病灶图像的第一颜色信息，对每一对角区域，根据第一颜色信息和对应第一图像的第三尺寸信息，得到对应第一图像的图像粗糙度量化值，根据第一颜色信息和对应第二图像的第四尺寸信息，得到对应第二图像的图像粗糙度量化值；对每一对角区域，根据对应第一图像的图像粗糙度量化值与对应第二图像的图像粗糙度量化值，得到每一对角区域的区域粗糙度量化值，根据四个区域粗糙度量化值，得到目标病灶的粗糙度信息，根据粗糙度信息，得到目标病灶的第一量化特征。
如图4所示，在白光图像的右下角存在目标病灶，通过训练后的病灶检测模型进行检测后，得到目标病灶的第一病灶框，也即右下角中较小的矩形框，基于第一病灶框的中心和预设放大系数，得到右下角中较大的矩形框，该矩形框内的所有内容构成了目标白光病灶图像，预设放大系数可根据需要进行设置，如1.2倍或1.5倍等。为便于说明，以下实施例中将较大的矩形框称之为图像矩形框。基于该缩放关系，在目标病灶白光图像中生成第一对角线和第二对角线，也即图中两条虚线，两条对角线会相交于第一病灶框的中心，且第一病灶框的四个顶点也会分别落在这两条对角线上。第一对角线和第二对角线将图像矩形框分为四个对角区域，对于每个对角区域，以第一病灶框的一条边为分界线，又可以分为两个区域，一个是靠近中心的第一区域，呈三角形，另一个是远离中心的第二区域，呈梯形。第一区域内的所有内容构成第一图像，第二区域内的所有内容构成第二图像。
目标白光病灶图像的第一尺寸信息包括图像矩形框的宽度和高度，第一病灶框的第二尺寸信息包括第一病灶框的宽度和高度，在获取这些尺寸信息后，结合四个对角区域的划分情况，可以得到各第一图像的第三尺寸信息和各第二图像的第四尺寸信息，其中第三尺寸信息包括第一图像的宽度和高度，第四尺寸信息包括第二图像的宽度和高度。目标白光病灶图像的第一颜色信息包括各像素点的颜色值，对于每个对角区域，根据所有像素点的颜色值以及第一图像的高度和宽度，可以对第一图像中所有内容的粗糙度进行量化，得到第一图像的图像粗糙度量化值。同理，根据所有像素点的颜色值以及第二图像的高度和宽度，可以对第二图像中所有内容的粗糙度进行量化，得到第二图像的图像粗糙度量化值。
如图4所示，以右侧对角区域作为目标对角区域，将第一图像记为P11，第二图像记为P12，用CP11表示第一图像的图像粗糙度量化值，用CP12表示第二图像的图像粗糙度量化值，用CP1来表示右侧对角区域的区域粗糙度量化值，其满足以下公式：
Figure BDA0003918299880000071
同理，依次将上侧对角区域、左侧对角区域、以及下侧对角区域作为目标对角区域，并将各目标对角区域的相关数据代入上述公式1，可得到上侧对角区域的区域粗糙度量化值CP2、左侧对角区域的区域粗糙度量化值CP3、以及下侧对角区域的区域粗糙度量化值CP4。用label1表示目标病灶的粗糙度，则其满足以下公式：
Figure BDA0003918299880000081
某个图像的图像粗糙度量化值用于表示该图像与白光病灶图像的整体粗糙度差异情况，当病灶表面粗糙时，第一图像与白光病灶图像的整体粗糙度差异较小，第二图像与白光病灶图像的整体粗糙度差异较大，则第一图像的图像粗糙度量化值较小，第二图像的图像粗糙度量化值会较大，使得对角区域的区域粗糙度量化值数值较小。而当病灶表面光滑时，第一图像与白光病灶图像的整体粗糙度差异较小，第二图像与白光病灶图像的整体粗糙度差异也较小，则第一图像的图像粗糙度量化值和第二图像的图像粗糙度量化值均较小，使得对角区域的区域粗糙度量化值数值，相对于病灶表面粗糙的情况会偏大。因此，在两种情况下分别综合四个比值，则两个综合值之间也会存在差异，且两个综合值的大小与目标病灶的粗糙度大小负相关，当目标病灶的粗糙度大时，综合值较小，当目标病灶的粗糙度较小时，综合值较大，因此可以将该综合值作为目标病灶的粗糙度的第一量化特征label1。
在一种实施例中，得到各第一图像和各第二图像的图像粗糙度量化值的步骤，具体包括：依次将每一对角区域确定为目标对角区域，并依次将目标对角区域对应的第一图像和第二图像确定为目标图像；获取目标白光病灶图像中各像素点的第一颜色值，对每一目标图像，根据各第一颜色值、以及目标图像的宽度和高度，得到目标图像的第一像素颜色均值；根据预设选取条件，从目标图像中选择水平基准线和竖直基准线，根据水平基准线上各像素点的第一颜色值、第一像素颜色均值以及目标图像的宽度，得到水平基准线的第一粗糙度量化值，根据竖直基准线上各像素点的第一颜色值、第一像素颜色均值以及目标图像的高度，得到竖直基准线的第二粗糙度量化值；根据第一粗糙度量化值和第二粗糙度量化值，得到目标图像的图像粗糙度量化值。
如图4所示，以右侧对角区域作为目标对角区域，将第一图像记为P11，第二图像记为P12，先将第一图像作为目标图像，第一图像中各像素点的第一颜色值记为imgP11，第一图像的宽度记为W，高度记为H，第一图像的第一像素颜色均值记为Pmean，则Pmean满足以下公式：
Figure BDA0003918299880000091
根据预设选取条件，从第一图像中选择水平基准线W0和竖直基准线H0，W0为平行于第一图像行的某一基准线，H0为平行于第一图像列的某一基准线，W0的取值范围满足0＜W0＜W，H0的取值范围满足0＜H0＜H。在本申请实施例中，可以取W0为W/2，H0为H/2，但也可以是上述范围内的其他数值。将水平基准线W0上各像素点的第一颜色值记为imgP11(i，W0)，竖直基准线H0上各像素点的第一颜色值记为imgP11(H0，j)，用H_c表示水平基准线的第一粗糙度量化值，用W_c表示竖直基准线的第二粗糙度量化值，则两者满足以下公式：
Figure BDA0003918299880000092
Figure BDA0003918299880000093
用CP11表示第一图像的图像粗糙度量化值，其满足以下公式：
Figure BDA0003918299880000094
通过上述方式，将水平基准线上每一像素点的第一颜色值与白光病灶图像的第一像素颜色均值的差异进行综合和平均，将竖直基准线上每一像素点的第一颜色值与白光病灶图像的第一像素颜色均值的差异进行综合和平均，再将两者综合和平均，则得到的各图像粗糙度量化值反映了各图像与白光病灶图像的整体粗糙度差异情况，准确性较高。
同理，将第二图像作为目标图像，并将第二图像的相关数据代入上述公式3至6，可得到第二图像的图像粗糙度量化值CP12。根据上述方式，可计算得到每个对角区域的第一图像和第二图像的图像粗糙度量化值。
当病灶类型为口咽癌时，在白光图像中病灶表面为溃疡状态，当病灶类型为口咽部淋巴瘤时，在白光图像中病灶表面为溃烂状态，两种病灶类型在白光图像中存在表面溃疡/溃烂的不同，则基于此，可以调用训练后的溃疡/溃烂识别模型对目标白光病灶图像进行识别，得到表面为溃疡或者表面为溃烂的第一识别结果，模型将不同情况的第一识别结果用不同数值来表示并输出，得到目标病灶的第一学习特征。该方式从溃疡/溃烂维度来对目标病灶的类型进行衡量。
用label2来表示目标病灶的第一学习特征，调用训练后的溃疡/溃烂识别模型对目标白光病灶图像进行识别，在得到的第一识别结果为表面溃疡或表面溃疡时，label2的取值满足下列公式：
Figure BDA0003918299880000101
S3：调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据第二识别结果，得到目标病灶的第二学习特征。
目标病灶对应的NBI病灶图像为目标NBI病灶图像。斑点/微血管扩张识别模型可以是Resnet50模型，该模型在使用之前，先由专业内镜医师对一定数量历史案例的NBI图像中病灶的斑点/微血管扩张情况进行识别，标注对应的斑点/微血管扩张标签，并作为训练数据，然后用该训练数据对斑点/微血管扩张识别模型进行训练。
如图5所示，当病灶类型为口咽癌时，在NBI图像中病灶表面为斑点状态，当病灶类型为口咽部淋巴瘤时，在NBI图像中病灶表面为微血管扩张状态，两种病灶类型在NBI图像中存在表面斑点/微血管扩张的不同，则基于此，可以调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到表面为斑点或者表面为微血管扩张的第二识别结果，模型将不同情况的第二识别结果用不同数值来表示并输出，得到目标病灶的第二学习特征。该方式从斑点/微血管扩张维度来对目标病灶的类型进行衡量。
用label3来表示目标病灶的第二学习特征，调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，在得到的第二识别结果为表面斑点/微血管扩张时，label3的取值满足下列公式：
Figure BDA0003918299880000111
S4：从各病灶的CT病灶图像中获取目标病灶的对称性信息，根据对称性信息，得到目标病灶的第二量化特征；从目标CT病灶图像中获取目标病灶的边界清晰度信息，根据边界清晰度信息，得到目标病灶的第三量化特征；从目标CT病灶图像中获取目标病灶的形状信息，根据形状信息，得到目标病灶的第四量化特征；从CT病灶图像中获取目标病灶的侵袭度信息，根据侵袭度信息，得到目标病灶的第五量化特征。
如图6所示，当病灶类型为口咽癌时，在CT图像中病灶为图中圆形框内所示的非对称分布，也即单侧发病。而当病灶类型为口咽部淋巴瘤时，在CT图像中病灶为对称分布，也即双侧发病。两种病灶类型在CT图像中存在对称性的不同，而对称性的分析需要结合至少两张CT图像，则基于此，可以从所有的CT病灶图像中获取目标病灶的对称性信息，并对对称性进行量化得到第二量化特征。该方式从病灶分布的对称性维度来对目标病灶的类型进行衡量。
在一种实施例中，S4具体包括：获取口咽部的病灶数量信息；在病灶数量信息表征口咽部存在唯一病灶时，生成目标病灶为非对称分布的对称性信息，根据对称性信息，得到目标病灶的第二量化特征；在病灶数量信息表征口咽部存在至少两个病灶时，从目标CT病灶图像中获取目标病灶的第二病灶框的第一坐标信息、第五尺寸信息、以及第二病灶框内各像素点的第二颜色值，同时依次将其他病灶作为非目标病灶，并从非目标CT病灶图像中获取非目标病灶的第三病灶框的第二坐标信息、第六尺寸信息、以及第三病灶框内各像素点的第三颜色值；根据第一坐标信息和第二坐标信息，得到目标病灶和非目标病灶的位置差异度；根据第五尺寸信息、各第二颜色值、第六尺寸信息、以及各第三颜色值，得到目标病灶和非目标病灶的颜色差异度；对比位置差异度和第一阈值、以及颜色差异度和第二阈值，根据对比结果判断目标病灶和非目标病灶是否为对称分布的同一病灶，并生成对应的对称性信息，根据所有的对称性信息，得到目标病灶的第二量化特征。
用label4来表示目标病灶的第二量化特征，当口咽部仅存在一个病灶时，其一定为非对称分布，也即单侧发病，此时的label4取值为0。当口咽部存在两个病灶时，有可能是同一病灶的对称分布，也有可能是非对称分布的两个相互独立的病灶，此时需要对两种情况进行判断。在判断时，需要结合两个病灶的位置信息和颜色信息共同作为参考。
具体地，先从目标CT病灶图像中获取目标病灶的第二病灶框的第一坐标信息、第五尺寸信息、以及第二病灶框内各像素点的第二颜色值，其中第一坐标信息包括第二病灶框在CT图像中的坐标(x11，y11，x12，y12)，第五尺寸信息包括第二病灶框的宽度w1和高度h1，第二病灶框内各像素点的第二颜色值表示为img31(i，j)。同时，依次将其他病灶作为非目标病灶，并从非目标CT病灶图像中获取非目标病灶的第三病灶框的第二坐标信息、第六尺寸信息、以及第三病灶框内各像素点的第三颜色值，其中第二坐标信息包括第三病灶框在CT图像中的坐标(x21，y21，x22，y22)，第五尺寸信息包括第三病灶框的宽度w2和高度h2，第三病灶框内各像素点的第三颜色值表示为img32(m，m)。用△1表示目标病灶和非目标病灶的位置差异度，用△2表示目标病灶和非目标病灶的颜色差异度，则其满足下列公式：
Figure BDA0003918299880000121
Figure BDA0003918299880000122
对比位置差异度△1和第一阈值τ1的大小，并对比颜色差异度△2和第二阈值τ2的大小，如果对比结果为△1＜τ1且△2＜τ2，则判断目标病灶和非目标病灶为对称分布的同一病灶，反正则为非对称分布的不同病灶。此时，第二量化特征label4的取值满足以下公式：
Figure BDA0003918299880000123
当病灶类型为口咽癌时，在CT图像中病灶的边界不清晰，而当病灶类型为口咽部淋巴瘤时，在CT图像中病灶的边界清晰。两种病灶类型在CT图像中存在边界清晰度的不同，则基于此，可以从目标CT病灶图像中获取目标病灶的边界清晰度信息，并对边界清晰度进行量化得到第三量化特征。该方式从病灶边界清晰度维度来对目标病灶的类型进行衡量。
在一种实施例中，S4具体包括：基于Canny算法对目标CT病灶图像中的目标病灶进行边界线检测，得到多个有效边界点，并获取多个有效边界点的总数量；根据多个有效边界点确定目标病灶的连通域，并获取连通域的周长；对比总数量与周长的比值和第三阈值，根据对比结果判断目标病灶的边界是否清晰，并生成对应的边界清晰度信息，根据边界清晰度信息，得到目标病灶的第三量化特征。
用label5来表示目标病灶的第三量化特征，先基于Canny算法对目标CT图像中的目标病灶的边界线进行提取，并基于Canny算法中的双阈值条件，从提取的边界线上得到梯度值大于第一阈值的有效边界点，将其记为1，同时得到梯度值小于第二阈值的无效边界点，将其记为0，在二值化后，求和所有边界点的值，得到l1，也即所有有效边界点的数量。根据这些有效边界点确定出目标病灶的连通域，并计算得到连通域的周长l2。将l1与l2的比值与第三阈值α进行对比，如果对比结果为比值小于α，则判断目标病灶的边界不清晰，如果对比结果为比值不小于α，则判断目标病灶的边界清晰，两种状态如图7中所示。此时，第三量化特征label5的取值满足以下公式：
Figure BDA0003918299880000131
当病灶类型为口咽癌时，在CT图像中病灶的形状为不规则，而当病灶类型为口咽部淋巴瘤时，在CT图像中病灶的形状为近圆。两种病灶类型在CT图像中存在形状的不同，则基于此，可以从目标CT病灶图像中获取目标病灶的形状信息，并对形状进行量化得到第四量化特征。该方式从病灶形状维度来对目标病灶的类型进行衡量。
在一种实施例中，S4具体包括：获取目标CT病灶图像中目标病灶区域的形心位置，并获取目标病灶区域的所有边界点与形心的最大距离，基于最大距离生成以形心为圆心的外接圆，并获取各边界点与外接圆沿半径方向的距离；对比所有距离的标准差和第四阈值，根据对比结果判断目标病灶的形状是否近圆，并生成对应的形状信息，根据形状信息，得到目标病灶的第四量化特征。
如图8所示，在目标CT病灶图像的连通域基础上，确定目标病灶区域的形心位置，然后计算目标病灶区域的所有边界点与形心的距离，从中找到最大距离。以最大距离为半径，做以形心为圆心的外接圆，计算各边界点与外接圆沿半径方向的距离di，然后计算k个边界点的标准差s，其满足下列公式：
Figure BDA0003918299880000141
将s与第四阈值β进行对比，如果对比结果为s不小于β，则判断目标病灶的形状不规则，如果对比结果为s小于β，则判断目标病灶的形状近圆。此时，第四量化特征label6的取值满足以下公式：
Figure BDA0003918299880000142
当病灶类型为口咽癌时，在CT图像中病灶的形态为侵袭，而当病灶类型为口咽部淋巴瘤时，在CT图像中病灶的形态为不侵袭。两种病灶类型在CT图像中存在侵袭度的不同，则基于此，可以从目标CT病灶图像中获取目标病灶的侵袭度信息，并对侵袭度进行量化得到第四量化特征。该方式从病灶侵袭度维度来对目标病灶的类型进行衡量。
在一种实施例中，S4具体包括：根据预设外扩参数，确定目标CT病灶图像中目标病灶区域对应的目标病灶外扩区域；获取目标病灶区域的第七尺寸信息、目标病灶区域内各像素点的第四颜色值、目标病灶外扩区域的第八尺寸信息、以及目标病灶外扩区域内各像素点的第五颜色值；根据第七尺寸信息和各第四颜色值，得到目标病灶区域的第二像素颜色均值，根据第八尺寸信息和各第五颜色值，得到目标病灶外扩区域的第三像素颜色均值，根据第二像素颜色均值、第三像素颜色均值和预设外扩参数，得到目标病灶区域和目标病灶外扩区域的颜色梯度；对比颜色梯度和第五阈值，根据对比结果判断目标病灶是否发生侵袭，并生成对应的侵袭度信息，根据侵袭度信息，得到目标病灶的第五量化特征。
如图9所示，根据预设侵袭参数K，以目标CT病灶图像中目标病灶区域Y1为参考，向外扩张K个像素点的距离，得到对应的目标病灶外扩区域Y2。获取目标病灶区域的第七尺寸信息、目标病灶区域内各像素点的第四颜色值，并计算得到目标病灶区域Y1的第二像素颜色均值q1，获取目标病灶外扩区域的第八尺寸信息和目标病灶外扩区域内各像素点的第五颜色值，并计算得到目标病灶外扩区域Y2的第三像素颜色均值q2。将Y1和Y2的颜色梯度用△color来表示，其满足以下公式：
Figure BDA0003918299880000151
将△color与第五阈值γ进行对比，如果对比结果为△color小于γ，则判断目标病灶的形态为侵袭，如果对比结果为△color不小于γ，则判断目标病灶的形态为不侵袭。此时，第五量化特征label7的取值满足以下公式：
Figure BDA0003918299880000152
S5：根据所有量化特征和所有学习特征，得到口咽部病灶特征。
在上述步骤中，得到了目标病灶的多个量化特征和多个学习特征，这些特征共同形成了口咽部病灶特征，该特征可为后续病灶类型的确定提供准确和全面的参考。
在一种实施例中，在S5之后还包括：获取目标病灶各量化特征和各学习特征的权重，根据各量化特征、各学习特征及对应的权重得到目标病灶的病变程度系数；根据病变程度系数和系数阈值，确定目标病灶的病灶类型信息。
在上述步骤中，得到了目标病灶的各量化特征label1至label7，通过决策树、随机森林等机器学习模型得到各量化特征的权重λ1至λ7，然后对七者进行加权，可得到目标病灶的病变程度系数θ，其满足下列公式：
Figure BDA0003918299880000153
将
Figure BDA0003918299880000154
与系数阈值η进行对比，如果对比结果为
Figure BDA0003918299880000155
不大于η，则判断目标病灶的类型为口咽癌，如果对比结果为
Figure BDA0003918299880000156
大于η，则判断目标病灶的类型为口咽部淋巴瘤，具体如以下公式：
Figure BDA0003918299880000161
通过上述过程，可以完成对口咽部目标病灶的类型确定，为后续诊治提供准确参考。
综合上述过程，用表1示出现有技术与本申请实施例中病灶在各维度的区别以及在各维度的特征提取方式。现有技术在基于临床表现来对口咽部癌和口咽部淋巴瘤进行区分时，由于两者均表现为咽部不适、疼痛和异物感，使得病灶特征的提取较为困难。而在本申请中，在获取了口咽部的白光图像、NBI图像和CT图像后，可以自动从多个维度对口咽部目标病灶的病变情况进行量化和学习，并进行综合得到口咽部病灶特征，则该特征可以为目标病灶的类型确定提供准确和全面的参考，效率较高，使得口咽部病灶的类型确定准确性也较高。
表1
Figure BDA0003918299880000162
在上述实施例所述方法的基础上，本实施例将从口咽部病灶特征提取装置的角度进一步进行描述，请参阅图10，口咽部病灶特征提取装置可以包括：
获取模块10，用于获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
第一得到模块20，用于从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
第二得到模块30，用于调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
第三得到模块40，用于从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
第四得到模块50，用于根据所有量化特征和所有学习特征，得到口咽部病灶特征。
在一种实施例中，所述目标白光病灶图像包括目标病灶的第一病灶框，所述目标白光病灶图像基于所述第一病灶框的中心和预设放大系数得到，第一得到模块20包括：
第一得到子模块，用于在所述目标白光病灶图像中生成相交于所述中心的第一对角线和第二对角线，得到四个对角区域，每一所述对角区域以所述第一病灶框的边为分界线，形成靠近所述中心的第一区域和远离所述中心的第二区域，所述第一区域形成第一图像，所述第二区域形成第二图像；
第二得到子模块，用于获取所述目标白光病灶图像的第一尺寸信息和所述目标白光病灶图像中第一病灶框的第二尺寸信息，根据所述第一尺寸信息、所述第二尺寸信息和所述四个对角区域，得到各第一图像的第三尺寸信息和各第二图像的第四尺寸信息；
第三得到子模块，用于获取所述目标白光病灶图像的第一颜色信息，对每一对角区域，根据所述第一颜色信息和对应第一图像的第三尺寸信息，得到对应第一图像的图像粗糙度量化值，根据所述第一颜色信息和对应第二图像的第四尺寸信息，得到对应第二图像的图像粗糙度量化值；
第四得到子模块，用于对每一所述对角区域，根据对应第一图像的图像粗糙度量化值与对应第二图像的图像粗糙度量化值，得到每一所述对角区域的区域粗糙度量化值，根据四个区域粗糙度量化值，得到目标病灶的粗糙度信息，根据所述粗糙度信息，得到目标病灶的第一量化特征。
在一种实施例中，第三得到子模块包括：
确定单元，用于依次将每一所述对角区域确定为目标对角区域，并依次将所述目标对角区域对应的第一图像和第二图像确定为目标图像；
第一得到单元，用于获取所述目标白光病灶图像中各像素点的第一颜色值，对每一所述目标图像，根据各第一颜色值、以及所述目标图像的宽度和高度，得到所述目标图像的第一像素颜色均值；
第二得到单元，用于根据预设选取条件，从所述目标图像中选择水平基准线和竖直基准线，根据所述水平基准线上各像素点的第一颜色值、所述第一像素颜色均值以及所述目标图像的宽度，得到所述水平基准线的第一粗糙度量化值，根据所述竖直基准线上各像素点的第一颜色值、所述第一像素颜色均值以及所述目标图像的高度，得到所述竖直基准线的第二粗糙度量化值；
第三得到单元，用于根据所述第一粗糙度量化值和所述第二粗糙度量化值，得到所述目标图像的图像粗糙度量化值。
在一种实施例中，第三得到模块40包括：
第一获取子模块，用于获取所述口咽部的病灶数量信息；
第五得到子模块，用于在所述病灶数量信息表征所述口咽部存在唯一病灶时，生成所述目标病灶为非对称分布的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；
第二获取子模块，用于在所述病灶数量信息表征所述口咽部存在至少两个病灶时，从目标CT病灶图像中获取目标病灶的第二病灶框的第一坐标信息、第五尺寸信息、以及所述第二病灶框内各像素点的第二颜色值，同时依次将其他病灶作为非目标病灶，并从非目标CT病灶图像中获取所述非目标病灶的第三病灶框的第二坐标信息、第六尺寸信息、以及所述第三病灶框内各像素点的第三颜色值；
第六得到子模块，用于根据所述第一坐标信息和所述第二坐标信息，得到所述目标病灶和所述非目标病灶的位置差异度；根据所述第五尺寸信息、各第二颜色值、所述第六尺寸信息、以及各第三颜色值，得到所述目标病灶和所述非目标病灶的颜色差异度；
第七得到子模块，用于对比所述位置差异度和第一阈值、以及所述颜色差异度和第二阈值，根据对比结果判断所述目标病灶和所述非目标病灶是否为对称分布的同一病灶，并生成对应的对称性信息，根据所有的对称性信息，得到所述目标病灶的第二量化特征。
在一种实施例中，第三得到模块40包括：
第三获取子模块，用于基于Canny算法对目标CT病灶图像中的目标病灶进行边界线检测，得到多个有效边界点，并获取所述多个有效边界点的总数量；
第四获取子模块，用于根据所述多个有效边界点确定所述目标病灶的连通域，并获取所述连通域的周长；
第八得到子模块，用于对比所述总数量与所述周长的比值和第三阈值，根据对比结果判断所述目标病灶的边界是否清晰，并生成对应的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征。
在一种实施例中，第三得到模块40包括：
第五获取子模块，用于获取所述目标CT病灶图像中目标病灶区域的形心位置，并获取所述目标病灶区域的所有边界点与形心的最大距离，基于所述最大距离生成以所述形心为圆心的外接圆，并获取各边界点与所述外接圆沿半径方向的距离；
第九得到子模块，用于对比所有距离的标准差和第四阈值，根据对比结果判断所述目标病灶的形状是否近圆，并生成对应的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征。
在一种实施例中，第三得到模块40包括：
确定子模块，用于根据预设外扩参数，确定所述目标CT病灶图像中目标病灶区域对应的目标病灶外扩区域；
第六获取子模块，用于获取所述目标病灶区域的第七尺寸信息、所述目标病灶区域内各像素点的第四颜色值、所述目标病灶外扩区域的第八尺寸信息、以及所述目标病灶外扩区域内各像素点的第五颜色值；
第十得到子模块，用于根据所述第七尺寸信息和各第四颜色值，得到所述目标病灶区域的第二像素颜色均值，根据所述第八尺寸信息和各第五颜色值，得到所述目标病灶外扩区域的第三像素颜色均值，根据所述第二像素颜色均值、所述第三像素颜色均值和所述预设外扩参数，得到所述目标病灶区域和所述目标病灶外扩区域的颜色梯度；
第十一得到子模块，用于对比所述颜色梯度和第五阈值，根据对比结果判断所述目标病灶是否发生侵袭，并生成对应的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征。
在一种实施例中，口咽部病灶特征提取装置还包括：
第五得到模块，用于获取所述目标病灶各量化特征和各学习特征的权重，根据各量化特征、各学习特征及对应的权重得到所述目标病灶的病变程度系数；
第六得到模块，用于根据所述病变程度系数和系数阈值，确定所述目标病灶的病灶类型信息。
区别于现有技术，本申请提供的口咽部病灶特征提取装置，先获取同一案例口咽部的白光图像、NBI图像和CT图像，并调用训练后的病灶检测模型分别对白光图像、NBI图像和CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像，然后从白光病灶图像中得到目标病灶的粗糙度量化特征、溃疡/溃烂学习特征，从NBI病灶图像中得到目标病灶的斑点/微血管扩张学习特征，从CT病灶图像中得到目标病灶的对称性量化特征、边界清晰度量化特征、形状量化特征以及侵袭度量化特征，最后根据所有量化特征和所有学习特征，得到口咽部病灶特征。本申请在获取了口咽部的白光图像、NBI图像和CT图像后，可以自动从多个维度对口咽部目标病灶的病变情况进行量化和学习，并进行综合得到口咽部病灶特征，则该特征可以为目标病灶的类型确定提供准确和全面的参考，效率较高，使得口咽部病灶的类型确定准确性也较高。
相应的，本申请实施例还提供一种电子设备，如图11所示，该电子设备可以包括射频(RF，Radio Frequency)电路1001、包括有一个或一个以上计算机可读存储介质的存储器1002、输入单元1003、显示单元1004、传感器1005、音频电路1006、WiFi模块1007、包括有一个或者一个以上处理核心的处理器1008、以及电源1009等部件。本领域技术人员可以理解，图11中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
射频电路1001可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器1008处理；另外，将涉及上行的数据发送给基站。存储器1002可用于存储软件程序以及模块，处理器1008通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及口咽部病灶特征提取。输入单元1003可用于接收输入的数字或字符信息，以及产生与客户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
显示单元1004可用于显示由客户输入的信息或提供给客户的信息以及服务器的各种图形客户接口，这些图形客户接口可以由图形、文本、图标、视频和其任意组合来构成。
电子设备还可包括至少一种传感器1005，比如光传感器、运动传感器以及其他传感器。音频电路1006包括扬声器，扬声器可提供客户与电子设备之间的音频接口。
WiFi属于短距离无线传输技术，电子设备通过WiFi模块1007可以帮助客户收发电子邮件、浏览网页和随访流式媒体等，它为客户提供了无线的宽带互联网随访。虽然图11示出了WiFi模块1007，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器1008是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。
电子设备还包括给各个部件供电的电源1009(比如电池)，优选的，电源可以通过电源管理系统与处理器1008逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，服务器中的处理器1008会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1002中，并由处理器1008来运行存储在存储器1002中的应用程序，从而实现以下功能：
获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
根据所有量化特征和所有学习特征，得到口咽部病灶特征。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：
获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
根据所有量化特征和所有学习特征，得到口咽部病灶特征。
以上对本申请实施例所提供的一种口咽部病灶特征提取方法、装置、电子设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。

Claims (10)

1.一种口咽部病灶特征提取方法，其特征在于，包括：
获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
根据所有量化特征和所有学习特征，得到口咽部病灶特征。
2.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，所述目标白光病灶图像包括目标病灶的第一病灶框，所述目标白光病灶图像基于所述第一病灶框的中心和预设放大系数得到，从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征的步骤，包括：
在所述目标白光病灶图像中生成相交于所述中心的第一对角线和第二对角线，得到四个对角区域，每一所述对角区域以所述第一病灶框的边为分界线，形成靠近所述中心的第一区域和远离所述中心的第二区域，所述第一区域形成第一图像，所述第二区域形成第二图像；
获取所述目标白光病灶图像的第一尺寸信息和所述目标白光病灶图像中第一病灶框的第二尺寸信息，根据所述第一尺寸信息、所述第二尺寸信息和所述四个对角区域，得到各第一图像的第三尺寸信息和各第二图像的第四尺寸信息；
获取所述目标白光病灶图像的第一颜色信息，对每一对角区域，根据所述第一颜色信息和对应第一图像的第三尺寸信息，得到对应第一图像的图像粗糙度量化值，根据所述第一颜色信息和对应第二图像的第四尺寸信息，得到对应第二图像的图像粗糙度量化值；
对每一所述对角区域，根据对应第一图像的图像粗糙度量化值与对应第二图像的图像粗糙度量化值，得到每一所述对角区域的区域粗糙度量化值，根据四个区域粗糙度量化值，得到目标病灶的粗糙度信息，根据所述粗糙度信息，得到目标病灶的第一量化特征。
3.根据权利要求2所述的口咽部病灶特征提取方法，其特征在于，获取所述目标白光病灶图像的第一颜色信息，对每一对角区域，根据所述第一颜色信息和对应第一图像的第三尺寸信息，得到对应第一图像的图像粗糙度量化值，根据所述第一颜色信息和对应第二图像的第四尺寸信息，得到对应第二图像的图像粗糙度量化值的步骤，包括：
依次将每一所述对角区域确定为目标对角区域，并依次将所述目标对角区域对应的第一图像和第二图像确定为目标图像；
获取所述目标白光病灶图像中各像素点的第一颜色值，对每一所述目标图像，根据各第一颜色值、以及所述目标图像的宽度和高度，得到所述目标图像的第一像素颜色均值；
根据预设选取条件，从所述目标图像中选择水平基准线和竖直基准线，根据所述水平基准线上各像素点的第一颜色值、所述第一像素颜色均值以及所述目标图像的宽度，得到所述水平基准线的第一粗糙度量化值，根据所述竖直基准线上各像素点的第一颜色值、所述第一像素颜色均值以及所述目标图像的高度，得到所述竖直基准线的第二粗糙度量化值；
根据所述第一粗糙度量化值和所述第二粗糙度量化值，得到所述目标图像的图像粗糙度量化值。
4.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征的步骤，包括：
获取所述口咽部的病灶数量信息；
在所述病灶数量信息表征所述口咽部存在唯一病灶时，生成所述目标病灶为非对称分布的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；
在所述病灶数量信息表征所述口咽部存在至少两个病灶时，从目标CT病灶图像中获取目标病灶的第二病灶框的第一坐标信息、第五尺寸信息、以及所述第二病灶框内各像素点的第二颜色值，同时依次将其他病灶作为非目标病灶，并从非目标CT病灶图像中获取所述非目标病灶的第三病灶框的第二坐标信息、第六尺寸信息、以及所述第三病灶框内各像素点的第三颜色值；
根据所述第一坐标信息和所述第二坐标信息，得到所述目标病灶和所述非目标病灶的位置差异度；根据所述第五尺寸信息、各第二颜色值、所述第六尺寸信息、以及各第三颜色值，得到所述目标病灶和所述非目标病灶的颜色差异度；
对比所述位置差异度和第一阈值、以及所述颜色差异度和第二阈值，根据对比结果判断所述目标病灶和所述非目标病灶是否为对称分布的同一病灶，并生成对应的对称性信息，根据所有的对称性信息，得到所述目标病灶的第二量化特征。
5.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征的步骤，包括：
基于Canny算法对目标CT病灶图像中的目标病灶进行边界线检测，得到多个有效边界点，并获取所述多个有效边界点的总数量；
根据所述多个有效边界点确定所述目标病灶的连通域，并获取所述连通域的周长；
对比所述总数量与所述周长的比值和第三阈值，根据对比结果判断所述目标病灶的边界是否清晰，并生成对应的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征。
6.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征的步骤，包括：
获取所述目标CT病灶图像中目标病灶区域的形心位置，并获取所述目标病灶区域的所有边界点与形心的最大距离，基于所述最大距离生成以所述形心为圆心的外接圆，并获取各边界点与所述外接圆沿半径方向的距离；
对比所有距离的标准差和第四阈值，根据对比结果判断所述目标病灶的形状是否近圆，并生成对应的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征。
7.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征的步骤，包括：
根据预设外扩参数，确定所述目标CT病灶图像中目标病灶区域对应的目标病灶外扩区域；
获取所述目标病灶区域的第七尺寸信息、所述目标病灶区域内各像素点的第四颜色值、所述目标病灶外扩区域的第八尺寸信息、以及所述目标病灶外扩区域内各像素点的第五颜色值；
根据所述第七尺寸信息和各第四颜色值，得到所述目标病灶区域的第二像素颜色均值，根据所述第八尺寸信息和各第五颜色值，得到所述目标病灶外扩区域的第三像素颜色均值，根据所述第二像素颜色均值、所述第三像素颜色均值和所述预设外扩参数，得到所述目标病灶区域和所述目标病灶外扩区域的颜色梯度；
对比所述颜色梯度和第五阈值，根据对比结果判断所述目标病灶是否发生侵袭，并生成对应的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征。
8.根据权利要求1所述的口咽部病灶特征提取方法，其特征在于，在根据所有量化特征和所有学习特征，得到口咽部病灶特征的步骤之后，还包括：
获取所述目标病灶各量化特征和各学习特征的权重，根据各量化特征、各学习特征及对应的权重得到所述目标病灶的病变程度系数；
根据所述病变程度系数和系数阈值，确定所述目标病灶的病灶类型信息。
9.一种口咽部病灶特征提取装置，其特征在于，包括：
获取模块，用于获取同一案例口咽部的白光图像、NBI图像和CT图像，调用训练后的病灶检测模型分别对所述白光图像、所述NBI图像和所述CT图像进行检测，得到各病灶的白光病灶图像、NBI病灶图像和CT病灶图像；
第一得到模块，用于从目标白光病灶图像中获取目标病灶的粗糙度信息，根据所述粗糙度信息，得到所述目标病灶的第一量化特征；调用训练后的溃疡/溃烂识别模型对所述目标白光病灶图像进行识别，得到溃疡/溃烂的第一识别结果，根据所述第一识别结果，得到所述目标病灶的第一学习特征；
第二得到模块，用于调用训练后的斑点/微血管扩张识别模型对目标NBI病灶图像进行识别，得到斑点/微血管扩张的第二识别结果，根据所述第二识别结果，得到所述目标病灶的第二学习特征；
第三得到模块，用于从各病灶的CT病灶图像中获取所述目标病灶的对称性信息，根据所述对称性信息，得到所述目标病灶的第二量化特征；从目标CT病灶图像中获取所述目标病灶的边界清晰度信息，根据所述边界清晰度信息，得到所述目标病灶的第三量化特征；从所述目标CT病灶图像中获取所述目标病灶的形状信息，根据所述形状信息，得到所述目标病灶的第四量化特征；从所述目标CT病灶图像中获取所述目标病灶的侵袭度信息，根据所述侵袭度信息，得到所述目标病灶的第五量化特征；
第四得到模块，用于根据所有量化特征和所有学习特征，得到口咽部病灶特征。
10.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至8任一项所述的口咽部病灶特征提取方法中的步骤。
CN202211349226.3A 2022-10-31 2022-10-31 口咽部病灶特征提取方法、装置及电子设备 Pending CN115564762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211349226.3A CN115564762A (zh) 2022-10-31 2022-10-31 口咽部病灶特征提取方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211349226.3A CN115564762A (zh) 2022-10-31 2022-10-31 口咽部病灶特征提取方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115564762A true CN115564762A (zh) 2023-01-03

Family

ID=84768666

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211349226.3A Pending CN115564762A (zh) 2022-10-31 2022-10-31 口咽部病灶特征提取方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115564762A (zh)

Similar Documents

Publication Publication Date Title
EP3454250B1 (en) Facial image processing method and apparatus and storage medium
Wang et al. Stereoscopic thumbnail creation via efficient stereo saliency detection
CN102525381B (zh) 图像处理装置、图像处理方法及计算机可读取的记录装置
CN111047609B (zh) 肺炎病灶分割方法和装置
JP5851160B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN110363817B (zh) 目标位姿估计方法、电子设备和介质
JPH03206572A (ja) 階調変換自動化装置
CN110796612B (zh) 一种图像增强方法及系统
JP2013106352A (ja) 画像中の投影領域の決定方法、及び装置
CN112365523A (zh) 基于无锚点孪生网络关键点检测的目标跟踪方法及装置
KR20130064039A (ko) 실루엣 보정 방법 및 시스템과 실루엣 묘출 방법 및 시스템
CN112163577A (zh) 游戏画面中的文字识别方法、装置、电子设备和存储介质
CN114092576A (zh) 图像处理方法、装置、设备和存储介质
CN114022880B (zh) 食管粘膜平坦程度量化方法、装置、终端及存储介质
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
US20170148212A1 (en) Color-based dynamic sub-division to generate 3d mesh
JP2012185774A (ja) 画像処理装置、画像処理方法、画像形成装置、プログラムおよび記録媒体
JP2009212929A (ja) 画像トリミング範囲の評価方法、装置およびプログラム
CN113539439A (zh) 医学图像的处理方法、装置、计算机设备和存储介质
CN115564762A (zh) 口咽部病灶特征提取方法、装置及电子设备
CN114419041B (zh) 病灶颜色的识别方法及装置
Pratiwi et al. Improved ejection fraction measurement on cardiac image using optical flow
WO2021233051A1 (zh) 干扰提示方法和设备
CN112766338B (zh) 一种计算距离图像的方法、系统及计算机可读存储介质
CN112348069B (zh) 数据增强方法、装置、计算机可读存储介质及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination