CN116934686A - 基于多方向图像融合的oct图像检测方法及装置 - Google Patents

基于多方向图像融合的oct图像检测方法及装置 Download PDF

Info

Publication number
CN116934686A
CN116934686A CN202310677404.3A CN202310677404A CN116934686A CN 116934686 A CN116934686 A CN 116934686A CN 202310677404 A CN202310677404 A CN 202310677404A CN 116934686 A CN116934686 A CN 116934686A
Authority
CN
China
Prior art keywords
detection
projection
frame
axis
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310677404.3A
Other languages
English (en)
Inventor
区初斌
安林
秦嘉
黄建平
韦喜飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weizhi Medical Technology Foshan Co ltd
Original Assignee
Weizhi Medical Technology Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weizhi Medical Technology Foshan Co ltd filed Critical Weizhi Medical Technology Foshan Co ltd
Priority to CN202310677404.3A priority Critical patent/CN116934686A/zh
Publication of CN116934686A publication Critical patent/CN116934686A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多方向图像融合的OCT图像检测方法及装置，该方法应用于目标检测模型。该方法包括：当目标检测模型输入多帧OCT图像时，由目标检测模块包括的轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像的轴检测处理结果；由目标检测模块包括的投影检测模型对所有OCT图像执行图像分层及第一投影处理操作，得到所有OCT图像的投影数据，并对轴检测处理结果及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果；再对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子的目标检测信息。可见，实施本发明能够降低因人工原因导致OCT眼底图像分析准确度不高的概率，有利于提高OCT眼底图像的分析准确度。

Description

基于多方向图像融合的OCT图像检测方法及装置
技术领域
本发明涉及OCT图像检测、处理技术领域，尤其涉及一种基于多方向图像融合的OCT图像检测方法及装置。
背景技术
光学相干断层扫描技术(ptical Coherence Tomography，OCT)是近十年迅速发展起来的一种成像技术，它利用弱相干光干涉仪的基本原理，检测生物组织不同深度层面对入射弱相干光的背向反射或几次散射信号，通过扫描可得到生物组织二维或三维结构图像。利用这个原理，眼科OCT设备可以获取被扫描人员的眼底图像。
传统流程中，专业人士通常是直接观察该被扫描人员的眼底图像，继而凭借经验对该眼底图像所涵盖的图像信息进行分析、判断。然而，眼底图像所涵盖的信息较为繁杂，即便是对于有相关经验的专业人士而言，眼底图像的观察难度仍然较高，专业人士可能因为疏忽导致错漏一些关键的细节信息；若是由经验尚浅的负责人进行眼底图像分析，其错漏关键的细节信息的概率更高。可见，提供一种提高OCT眼底图像分析准确度的方法显得尤为重要。
发明内容
本发明所要解决的技术问题在于，提供一种基于多方向图像融合的OCT图像检测方法及装置，能够降低因人工原因导致OCT眼底图像分析准确度不高的概率，提高OCT眼底图像的分析准确度。
为了解决上述技术问题，本发明第一方面公开了一种基于多方向图像融合的OCT图像检测方法，所述方法应用于目标检测模型，所述方法包括：
当确定所述目标检测模型存在输入的多帧OCT图像时，将所有所述OCT图像传输至所述目标检测模块所包括的子检测模型，所述子检测模型至少包括轴检测模型以及投影检测模型，所述目标检测模型用于从所有所述OCT图像中确定目标检测因子；
由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，所述轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；所述轴检测处理结果包括至少一个三维轴检测框以及每个所述三维轴检测框中所述目标检测因子对应的轴置信值；
由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据，并对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，所述投影处理结果包括三维投影检测框以及所述三维投影检测框中所述目标检测因子对应的投影置信值；
对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，所述目标检测信息包括所述目标检测因子所在的预测框区域以及所述目标检测因子在所述预测框区域的目标置信值。
作为一种可选的实施方式，在本发明第一方面中，所述轴检测模型包括快轴检测模型和/或慢轴检测模型，所述快轴检测模型用于处理所述OCT图像中第一维度与第二维度的数据，所述慢轴检测模型用于处理所述OCT图像中第一维度与第三维度的数据；所述投影检测模型用于处理所述OCT图像中第二维度与第三维度的数据；
所述目标检测因子对应的所述三维轴检测框为与所述快轴检测模型和/或所述慢轴检测模型对应的处理维度相匹配的三维轴检测框；
其中，当对所有所述OCT图像执行所述轴检测处理操作的所述轴检测模型包括所述快轴检测模型以及所述慢轴检测模型时，所述目标检测因子对应的所述三维轴检测框为将所述快轴检测模型以及所述慢轴检测模型各自对应的所述三维轴检测框执行融合操作后得到的三维轴检测框。
作为一种可选的实施方式，在本发明第一方面中，所述由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，包括：
由所述轴检测模型，以所述目标检测因子对应的特征信息为基准，对所有所述OCT图像执行特征检测操作，得到至少一帧第一OCT图像，所述第一OCT图像中包括第一检测框，所述第一检测框内所述目标检测因子对应的置信度大于第一预设置信阈值；
由所述轴检测模型，以所述第一OCT图像为基准图像、以所述第一检测框所在区域的坐标区间为基准，结合预设的坐标区间误差值，对所述第一OCT图像对应的在前、在后帧图像分别逐帧执行所述特征检测操作，得到多帧第二OCT图像，每帧所述第二OCT图像包括第二检测框，所述第二检测框内所述目标检测因子对应的置信度大于所述第一预设置信阈值；
由所述轴检测模型，确定所述第一检测框与所有所述第二检测框的最大重合区域，作为所述目标检测因子对应的二维轴检测框；
以所述第一检测框与所有所述第二检测框的总计数量作为所述二维轴检测框的第三维度，以第二预设置信阈值为筛选条件，确定所述目标检测因子对应的三维轴检测框；所述三维轴检测框包括所述目标检测因子在所述三维轴检测框中的轴置信值，所述轴置信值大于所述第二预设置信阈值；
以任意所述OCT图像中第二维度与第三维度组成的平面作为投影平面，对所述三维轴检测框进行投影，得到所述三维轴检测框在所述投影平面的二维轴-投影区域，所述二维轴-投影区域包括所述三维轴检测框中的目标检测因子投影在所述投影平面的置信值；
将所述三维轴检测框以及所述二维轴-投影区域确定为所有所述OCT图像对应的轴检测处理结果。
作为一种可选的实施方式，在本发明第一方面中，所述由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据，包括：
由所述投影检测模型，对所有所述OCT图像按照预设的图像层间边界确定算法，确定每帧所述OCT图像的层间分界，再对每帧所述OCT图像执行分割分层处理，得到每帧所述OCT图像的分割分层处理结果；
由所述投影检测模型，以所述第一维度作为投影方向，按照预设的投影处理算法，对每帧所述OCT图像的分割分层处理结果执行投影处理操作，得到每帧所述OCT图像对应的投影处理结果，作为该帧OCT图像的投影数据，所述投影处理算法包括平均值投影或最大/最小值投影处理算法；
由所述投影检测模型，在所述投影检测模型对应的通道方向上对预设帧数的所述OCT图像的投影数据执行图像拼合，得到用于输入所述投影检测模型的投影特征提取网络的输入投影图像，作为所有所述OCT图像的投影数据。
作为一种可选的实施方式，在本发明第一方面中，所述投影特征提取网络包括多个投影特征提取层；所述对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，包括：
由所述投影特征提取网络对所述输入投影图像执行特征提取操作，得到所述输入投影图像输入任意所述投影特征提取层对应的特征提取结果；
对于任一所述投影特征提取层，由所述投影特征提取网络确定所述二维轴-投影区域对应的第一图像尺寸以及该投影特征提取层对应的所述特征提取结果的第二图像尺寸；以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果，所述尺寸调整操作包括插值缩放处理、卷积处理、归一化处理、加权值转化处理中的至少一种；
由所述投影检测模型对所述特征提取结果与所述尺寸调整结果执行加权处理，得到所述特征提取结果对应的加权处理结果，所述加权处理结果包括与所述目标检测因子对应的二维投影检测框，所述二维投影检测框中所述目标检测因子对应的置信度大于第三预设置信阈值；
由所述投影检测模型，以所述第一维度为图像拓展方向，结合所述加权处理结果对应的两条图像分层边界线，确定所述二维投影检测框对应的三维投影检测框，作为所述投影数据对应的投影处理结果；
其中，两条所述图像分层边界线为所述加权处理结果所包括的所有分层边界线中直线距离最长的两条分层边界线。
作为一种可选的实施方式，在本发明第一方面中，所述以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果，包括：
以所述第二图像尺寸为基准，对所述二维轴-投影区域执行插值处理，得到所述二维轴-投影区域对应的插值处理结果，所述插值处理结果中所述二维轴-投影区域的图像尺寸为第三图像尺寸；
将所述插值处理结果输入预设的目标处理层，得到图像尺寸为所述第二图像尺寸的目标处理结果，在通过预设激活函数将所述目标处理结果转换为处于预设取值区间的加权值，作为二维轴-投影区域对应的尺寸调整结果；
其中，所述目标处理层包括若干预设的卷积层、归一化层以及激活层中的一种或多种。
作为一种可选的实施方式，在本发明第一方面中，所述对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，包括：
确定所述三维投影检测框与所述三维轴检测框之间的交集区域，作为预测框区域；
计算所述三维投影检测框对应的投影置信值与所述三维轴检测框对应的轴置信值的平均值，得到目标置信值，作为所述预测框区域中所述目标检测因子对应的置信值；
将所述预测框区域以及所述目标置信值确定为所述目标检测因子对应的目标检测信息。
本发明第二方面公开了一种基于多方向图像融合的OCT图像检测装置，所述装置包括：
所述装置应用于目标检测模型，所述装置包括：
传输模块，用于当确定所述目标检测模型存在输入的多帧OCT图像时，将所有所述OCT图像传输至所述目标检测模块所包括的子检测模型，所述子检测模型至少包括轴检测模型以及投影检测模型，所述目标检测模型用于从所有所述OCT图像中确定目标检测因子；
轴检测模块，用于由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，所述轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；所述轴检测处理结果包括至少一个三维轴检测框以及每个所述三维轴检测框中所述目标检测因子对应的轴置信值；
第一投影处理模块，用于由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据；
第二投影处理模块，用于由所述投影检测模型对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，所述投影处理结果包括三维投影检测框以及所述三维投影检测框中所述目标检测因子对应的投影置信值；
融合处理模块，用于对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，所述目标检测信息包括所述目标检测因子所在的预测框区域以及所述目标检测因子在所述预测框区域的目标置信值。
作为一种可选的实施方式，在本发明第二方面中，所述轴检测模型包括快轴检测模型和/或慢轴检测模型，所述快轴检测模型用于处理所述OCT图像中第一维度与第二维度的数据，所述慢轴检测模型用于处理所述OCT图像中第一维度与第三维度的数据；所述投影检测模型用于处理所述OCT图像中第二维度与第三维度的数据；
所述目标检测因子对应的所述三维轴检测框为与所述快轴检测模型和/或所述慢轴检测模型对应的处理维度相匹配的三维轴检测框；
其中，当对所有所述OCT图像执行所述轴检测处理操作的所述轴检测模型包括所述快轴检测模型以及所述慢轴检测模型时，所述目标检测因子对应的所述三维轴检测框为将所述快轴检测模型以及所述慢轴检测模型各自对应的所述三维轴检测框执行融合操作后得到的三维轴检测框。
作为一种可选的实施方式，在本发明第二方面中，所述轴检测模块由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果的方式具体包括：
由所述轴检测模型，以所述目标检测因子对应的特征信息为基准，对所有所述OCT图像执行特征检测操作，得到至少一帧第一OCT图像，所述第一OCT图像中包括第一检测框，所述第一检测框内所述目标检测因子对应的置信度大于第一预设置信阈值；
由所述轴检测模型，以所述第一OCT图像为基准图像、以所述第一检测框所在区域的坐标区间为基准，结合预设的坐标区间误差值，对所述第一OCT图像对应的在前、在后帧图像分别逐帧执行所述特征检测操作，得到多帧第二OCT图像，每帧所述第二OCT图像包括第二检测框，所述第二检测框内所述目标检测因子对应的置信度大于所述第一预设置信阈值；
由所述轴检测模型，确定所述第一检测框与所有所述第二检测框的最大重合区域，作为所述目标检测因子对应的二维轴检测框；
以所述第一检测框与所有所述第二检测框的总计数量作为所述二维轴检测框的第三维度，以第二预设置信阈值为筛选条件，确定所述目标检测因子对应的三维轴检测框；所述三维轴检测框包括所述目标检测因子在所述三维轴检测框中的轴置信值，所述轴置信值大于所述第二预设置信阈值；
以任意所述OCT图像中第二维度与第三维度组成的平面作为投影平面，对所述三维轴检测框进行投影，得到所述三维轴检测框在所述投影平面的二维轴-投影区域，所述二维轴-投影区域包括所述三维轴检测框中的目标检测因子投影在所述投影平面的置信值；
将所述三维轴检测框以及所述二维轴-投影区域确定为所有所述OCT图像对应的轴检测处理结果。
作为一种可选的实施方式，在本发明第二方面中，所述第一投影处理模块由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据的方式具体包括：
由所述投影检测模型，对所有所述OCT图像按照预设的图像层间边界确定算法，确定每帧所述OCT图像的层间分界，再对每帧所述OCT图像执行分割分层处理，得到每帧所述OCT图像的分割分层处理结果；
由所述投影检测模型，以所述第一维度作为投影方向，按照预设的投影处理算法，对每帧所述OCT图像的分割分层处理结果执行投影处理操作，得到每帧所述OCT图像对应的投影处理结果，作为该帧OCT图像的投影数据，所述投影处理算法包括平均值投影或最大/最小值投影处理算法；
由所述投影检测模型，在所述投影检测模型对应的通道方向上对预设帧数的所述OCT图像的投影数据执行图像拼合，得到用于输入所述投影检测模型的投影特征提取网络的输入投影图像，作为所有所述OCT图像的投影数据。
作为一种可选的实施方式，在本发明第二方面中，所述投影特征提取网络包括多个投影特征提取层；所述第二投影处理模块对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果的方式具体包括：
由所述投影特征提取网络对所述输入投影图像执行特征提取操作，得到所述输入投影图像输入任意所述投影特征提取层对应的特征提取结果；
对于任一所述投影特征提取层，由所述投影特征提取网络确定所述二维轴-投影区域对应的第一图像尺寸以及该投影特征提取层对应的所述特征提取结果的第二图像尺寸；以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果，所述尺寸调整操作包括插值缩放处理、卷积处理、归一化处理、加权值转化处理中的至少一种；
由所述投影检测模型对所述特征提取结果与所述尺寸调整结果执行加权处理，得到所述特征提取结果对应的加权处理结果，所述加权处理结果包括与所述目标检测因子对应的二维投影检测框，所述二维投影检测框中所述目标检测因子对应的置信度大于第三预设置信阈值；
由所述投影检测模型，以所述第一维度为图像拓展方向，结合所述加权处理结果对应的两条图像分层边界线，确定所述二维投影检测框对应的三维投影检测框，作为所述投影数据对应的投影处理结果；
其中，两条所述图像分层边界线为所述加权处理结果所包括的所有分层边界线中直线距离最长的两条分层边界线。
作为一种可选的实施方式，在本发明第二方面中，所述第二投影处理模块以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果的方式具体包括：
以所述第二图像尺寸为基准，对所述二维轴-投影区域执行插值处理，得到所述二维轴-投影区域对应的插值处理结果，所述插值处理结果中所述二维轴-投影区域的图像尺寸为第三图像尺寸；
将所述插值处理结果输入预设的目标处理层，得到图像尺寸为所述第二图像尺寸的目标处理结果，在通过预设激活函数将所述目标处理结果转换为处于预设取值区间的加权值，作为二维轴-投影区域对应的尺寸调整结果；
其中，所述目标处理层包括若干预设的卷积层、归一化层以及激活层中的一种或多种。
作为一种可选的实施方式，在本发明第二方面中，所述融合处理模块对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息的方式具体包括：
确定所述三维投影检测框与所述三维轴检测框之间的交集区域，作为预测框区域；
计算所述三维投影检测框对应的投影置信值与所述三维轴检测框对应的轴置信值的平均值，得到目标置信值，作为所述预测框区域中所述目标检测因子对应的置信值；
将所述预测框区域以及所述目标置信值确定为所述目标检测因子对应的目标检测信息。
本发明第三方面公开了另一种基于多方向图像融合的OCT图像检测装置，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明第一方面公开的基于多方向图像融合的OCT图像检测方法。
本发明第四方面公开了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行本发明第一方面公开的基于多方向图像融合的OCT图像检测方法。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，提供了一种基于多方向图像融合的OCT图像检测方法，该方法应用于目标检测模型中，该方法包括：当确定目标检测模型存在输入的多帧OCT图像时，将所有OCT图像传输至目标检测模块所包括的子检测模型，子检测模型至少包括轴检测模型以及投影检测模型，目标检测模型用于从所有OCT图像中确定目标检测因子；由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果，轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；轴检测处理结果包括至少一个三维轴检测框以及每个三维轴检测框中目标检测因子对应的轴置信值；由投影检测模型对所有OCT图像执行图像分层及第一投影处理操作，得到所有OCT图像的投影数据，并对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果，投影处理结果包括三维投影检测框以及三维投影检测框中目标检测因子对应的投影置信值；对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息，目标检测信息包括目标检测因子所在的预测框区域以及目标检测因子在预测框区域的目标置信值。可见，实施本发明能够在目标检测模型输入OCT图像时，通过轴检测模型以及投影检测模型，分别对OCT图像执行目标检测因子的检测处理操作，两个检测模型代表至少两个检测处理方向，两个检测模型各自对OCT图像进行检测处理，得到至少两个检测方向的检测处理结果(检测框)；实现了多方向的目标检测，区别于传统单一方向的二维图像检测方法，本发明中提高了OCT图像的三维检测全面性与准确性；进一步的，在得到各自对应的检测处理结果之后，自动进行多检测处理结果的融合处理，以精准统一的融合处理结果，提高了最终确定出的三维检测结果的精准性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种基于多方向图像融合的OCT图像检测方法的流程示意图；
图2是本发明实施例公开的另一种基于多方向图像融合的OCT图像检测方法的流程示意图；
图3是本发明实施例公开的一种基于多方向图像融合的OCT图像检测装置的结构示意图；
图4是本发明实施例公开的另一种基于多方向图像融合的OCT图像检测装置的结构示意图；
图5是本发明实施例公开的快轴、慢轴以及Enface投影三个处理方向对应的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种基于多方向图像融合的OCT图像检测方法及装置，能够在目标检测模型输入OCT图像时，通过轴检测模型以及投影检测模型，分别对OCT图像执行目标检测因子的检测处理操作，两个检测模型代表至少两个检测处理方向，两个检测模型各自对OCT图像进行检测处理，得到至少两个检测方向的检测处理结果(检测框)；实现了多方向的目标检测，区别于传统单一方向的二维图像检测方法，本发明中提高了OCT图像的三维检测全面性与准确性；进一步的，在得到各自对应的检测处理结果之后，自动进行多检测处理结果的融合处理，以精准统一的融合处理结果，提高了最终确定出的三维检测结果的精准性。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种基于多方向图像融合的OCT图像检测方法的流程示意图。其中，图1所描述的基于多方向图像融合的OCT图像检测方法可以应用于基于多方向图像融合的OCT图像检测装置中，同时该方法也可以应用于目标检测模型中，本发明实施例不做限定。如图1所示，该基于多方向图像融合的OCT图像检测方法可以包括以下操作：
101、当确定目标检测模型存在输入的多帧OCT图像时，将所有OCT图像传输至目标检测模块所包括的子检测模型，子检测模型至少包括轴检测模型以及投影检测模型。
本发明实施例中，目标检测模型用于从所有OCT图像中确定目标检测因子。
本发明实施例中，请参阅5，轴检测模型包括快轴检测模型和/或慢轴检测模型(或是检测网络)；投影检测模型可以采用Enface(C-Scan)检测模型。输入该目标检测模型的OCT图像可以是经过OCT三维扫描的Volume Data数据，对应的图像三维尺寸为L(深度)*W(宽度)*M(长度)。
本发明实施例中，需要说明的是，快轴检测模型、慢轴检测模型两个模型的结构基本一致，都以2D的图像为输入(B-Scan)，输出为若干个包裹目标检测因子的检测框，每个检测框对应有框的左上、左下、右上、右下四个坐标点以及对应的目标检测因子分类概率。
其中，快/慢轴检测模型主要分为三部分：特征提取网络，区域建议网络(可选)以及分类框预测网络。特征提取网络以图片为输入，输出图像的特征图；区域建议网络以图像的特征图为输入，输出可能存在目标检测因子的区域；分类框预测网络以图像的特征图和可能存在目标检测因子的区域为输入，输出目标检测因子的位置坐标以及类别。典型的快/慢轴检测模型可以为Mask-RCNN、Faster-RCNN、Cascade-RCNN、YOLO系列、SSD等，本方法可选用不同的快/慢轴检测模型为基础，具体的检测模型的结构本发明实施例中不做赘述。
本发明实施例中，针对每个子检测模型(快、慢轴检测模型、投影检测模型)的训练方法为：
1.采集图像(包括对目标人员执行眼底图像扫描后得到多帧OCT图像)，计算图像的均值与方差，减去图像的均值并除以方差来对图像进行标准化，再对图像做随机翻转、平移、旋转、亮度对比度随机变化等以增广数据。
2.训练特征提取网络，先使用ImageNet数据集训练分类网络，使用交叉熵作为损失函数，并使用SGD或Adam优化器优化网络参数。把训练好的分类网络取其中的全连接层来作为目标检测模型的特征提取网络。
3.特征提取网络训练完毕后，把特征提取网络与目标检测模型的其他部分联合到一起训练。区域建议网络中对每一个anchor box的分类使用二元交叉熵作为损失函数，bounding box的坐标预测使用smooth-L1 loss作为损失函数；分类预测网络中类别的判断使用交叉熵作为损失函数，bounding box的坐标预测使用smooth-L1 loss作为损失函数，使用SGD或者Adam优化器优化网络参数，具体的训练方法本发明实施例不做限定。
本发明实施例中，基于该训练方法，相比传统三维图像的检测方法，本方法有着训练样本数要求更少，运行速度更快的优点。
本发明实施例中，需要说明的是，Enface的投影检测模型与上述B-Scan的处理模型(快/慢轴检测模型)存在不同之处，它是以若干张Enface图像在通道方向上拼合后作为整体输入。
本发明实施例中，快轴检测模型用于处理OCT图像中第一维度与第二维度的数据，慢轴检测模型用于处理OCT图像中第一维度与第三维度的数据；投影检测模型用于处理OCT图像中第二维度与第三维度的数据。实际应用中，快轴检测模型处理的快轴B-Scan对应的处理维度为深度与宽度，图像尺寸为L*W；慢轴B-Scan对应的处理维度为深度与长度，对应的图像尺寸为L*M；其中，快/慢轴检测模型对应的处理维度可以交换，本发明实施例不做限定。该Enface投影检测模型对应的处理维度为宽度与长度，对应的图像尺寸为W*M。
本发明实施例中，可选的，在检测到输入OCT图像时，可以对快轴方向B-Scan进行配准，消除采集过程中眼动造成的位移。该配准方法可以是刚性配准，也可以是非刚性配准，本发明实施例不做限定。
102、由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果，轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作。
本发明实施例中，轴检测处理结果包括至少一个三维轴检测框以及每个三维轴检测框中目标检测因子对应的轴置信值。
本发明实施例中，目标检测因子对应的三维轴检测框为与快轴检测模型和/或慢轴检测模型对应的处理维度相匹配的三维轴检测框；
其中，当对所有OCT图像执行轴检测处理操作的轴检测模型包括快轴检测模型以及慢轴检测模型时，目标检测因子对应的三维轴检测框为将快轴检测模型以及慢轴检测模型各自对应的三维轴检测框执行融合操作后得到的三维轴检测框。
103、由投影检测模型对所有OCT图像执行图像分层及第一投影处理操作，得到所有OCT图像的投影数据。
104、由投影检测模型对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果。
本发明实施例中，投影处理结果包括三维投影检测框以及三维投影检测框中目标检测因子对应的投影置信值。
105、对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息。
本发明实施例中，目标检测信息包括目标检测因子所在的预测框区域以及目标检测因子在预测框区域的目标置信值。
本发明实施例中，步骤105对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息的方式具体包括：
确定三维投影检测框与三维轴检测框之间的交集区域，作为预测框区域；
计算三维投影检测框对应的投影置信值与三维轴检测框对应的轴置信值的平均值，得到目标置信值，作为预测框区域中目标检测因子对应的置信值；
将预测框区域以及目标置信值确定为目标检测因子对应的目标检测信息。
可见，实施图1所描述的基于多方向图像融合的OCT图像检测方法，能够在目标检测模型输入OCT图像时，通过轴检测模型以及投影检测模型，分别对OCT图像执行目标检测因子的检测处理操作，两个检测模型代表至少两个检测处理方向，两个检测模型各自对OCT图像进行检测处理，得到至少两个检测方向的检测处理结果(检测框)；实现了多方向的目标检测，区别于传统单一方向的二维图像检测方法，本发明中提高了OCT图像的三维检测全面性与准确性；进一步的，在得到各自对应的检测处理结果之后，自动进行多检测处理结果的融合处理，以精准统一的融合处理结果，提高了最终确定出的三维检测结果的精准性。
在一个可选的实施例中，步骤102中由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果的方式具体包括：
由轴检测模型，以目标检测因子对应的特征信息为基准，对所有OCT图像执行特征检测操作，得到至少一帧第一OCT图像，第一OCT图像中包括第一检测框，第一检测框内目标检测因子对应的置信度大于第一预设置信阈值；
由轴检测模型，以第一OCT图像为基准图像、以第一检测框所在区域的坐标区间为基准，结合预设的坐标区间误差值，对第一OCT图像对应的在前、在后帧图像分别逐帧执行特征检测操作，得到多帧第二OCT图像，每帧第二OCT图像包括第二检测框，第二检测框内目标检测因子对应的置信度大于第一预设置信阈值；
由轴检测模型，确定第一检测框与所有第二检测框的最大重合区域，作为目标检测因子对应的二维轴检测框；
以第一检测框与所有第二检测框的总计数量作为二维轴检测框的第三维度，以第二预设置信阈值为筛选条件，确定目标检测因子对应的三维轴检测框；三维轴检测框包括目标检测因子在三维轴检测框中的轴置信值，轴置信值大于第二预设置信阈值；
以任意OCT图像中第二维度与第三维度组成的平面作为投影平面，对三维轴检测框进行投影，得到三维轴检测框在投影平面的二维轴-投影区域，二维轴-投影区域包括三维轴检测框中的目标检测因子投影在投影平面的置信值；
将三维轴检测框以及二维轴-投影区域确定为所有OCT图像对应的轴检测处理结果。
在该可选的实施例中，该第一检测框为二维检测框，且与该轴检测模型的处理维度/方向对应，如当轴检测框为快轴检测框、处理图像尺寸为L*W(深度*宽度)时，对应得到的第一检测框为L*W方向的检测框；此时初步框选出目标检测因子所在的一个区域(第一检测框对应的区域)。
在该可选的实施例中，以处理快轴方向、快轴检测模型为例进行说明如下：
目标检测因子在三维空间上具有一定的连续性，因此在相邻的B-Scan图像之间，应该在同一或相近位置，会有同种类的目标检测因子。利用这一特性，我们首先对B-Scan快轴方向的检测框进行帧间融合。假设在第n帧快轴B-Scan上检测到了目标检测因子，得到目标检测因子所在检测框，记为Sn，对应的概率(置信度)pn大于预定的阈值，则我们开始进行下面的处理：
我们接着检查下一张B-Scan(n+1)，如果在框Sn中心位置x，y个像素以内，有同类型目标检测因子的检测框Sn+1，其概率为pn+1大于预定的阈值，则我们继续检查再下一张B-Scan(n+2)，直到下一帧的B-Scan上再没有满足条件的同类型目标检测因子的检测框为止。
与上面类似，我们也检查上一张B-Scan(n-1)，如果在框Sn中心位置x，y个像素以内，有同类型目标检测因子的检测框Sn-1，其概率为pn-1大于预定的阈值，则我们继续检查再上一张B-Scan(n-2)，直到上一帧的B-Scan上再没有满足条件的同类型目标检测因子的检测框为止。
在该可选的实施例中，快轴检测模型对应的处理维度是L*W，对应的第三维度是M，记以上检测出的所有同类型目标检测因子的检测框的数量为m1。对这连续的m1个二维的检测框，有几种方法对它们进行融合成为三维的检测框。我们可以计算这m1个框的最大重合区域(即求多个检测框的交集)作为融合的框。也可以计算这m1个框的并集作为融合的框。此外，也可以把不同框的概率按像素相加，得出框的概率图，然后取概率图上大于一定阈值的像素，得到融合的框。假设最后得到的框的像素尺寸为l1*w1,那么这个三维框的尺寸就是l1*w1*m1，这个框对应的概率置信度是m1个框对应置信度的均值p1。
类似的，我们也可以对慢轴方向的B-Scan进行检测框融合，得到三维框的尺寸是l2*w2*m2。慢轴检测模型对应的处理维度是L*M，对应的第三维度是W，记慢轴检测模型检测出的所有同类型目标检测因子的检测框的数量为w2，最后得到的框的像素尺寸为l2*m2，那么这个三维框的尺寸就是l2*w2*m2，这个框对应的概率置信度是个框对应置信度的均值p2。
综合上文所述，快轴和慢轴方向的B-Scan的三维检测框，在Enface方向(第二维、第三维度)上的投影就是w1*m1(概率为p1)，w2*m2(概率为p2)。对所有的快轴和慢轴方向B-Scan处理完后，我们会得到一张W*M大小的目标检测因子概率分布图Plesion，这张概率图上每个像素对应的概率值为Enface上该位置可能存在某一类目标检测因子的概率。
其中，只有单一轴检测模型处理输入的OCT图像时，对该轴检测模型输出的三维检测框在Enface方向做投影得到的即为所需的W*M大小的目标检测因子概率分布图Plesion；当有两个轴检测模型同时处理OCT图像时，此时需要对各自轴检测模型得到的三维轴检测框在Enface方向做投影，再将两个轴检测模型投影后的结果进行融合(如取交集)，才能得到所需的目标检测因子概率分布图Plesion。
此外，需要说明的是，如果我们要检测k类目标检测因子，则我们会有k张概率图。这k张概率图将用在之后Enface图像检测中作为辅助信息输入。
可见，在该可选的实施例中，能够通过轴检测模型，单一或多模型以轴处理方向对OCT图像执行目标检测因子的检测处理：包括目标检测因子所在初始区域的框选得到至少一个二维检测框、对目标检测因子同类型区域的逐帧排查得到轴三维检测框、轴三维检测框的投影等，实现了轴处理方向检测出与目标检测因子对应的精确的三维检测框，提高了该轴方向的轴三维检测框的确定准确性。
实施例二
请参阅图2，图2是本发明实施例公开的另一种基于多方向图像融合的OCT图像检测方法的流程示意图。其中，图2所描述的基于多方向图像融合的OCT图像检测方法可以应用于基于多方向图像融合的OCT图像检测装置中，本发明实施例不做限定。如图2所示，该基于多方向图像融合的OCT图像检测方法可以包括以下操作：
201、当确定目标检测模型存在输入的多帧OCT图像时，将所有OCT图像传输至目标检测模块所包括的子检测模型，子检测模型至少包括轴检测模型以及投影检测模型。
202、由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果，轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作。
203、由投影检测模型，对所有OCT图像按照预设的图像层间边界确定算法，确定每帧OCT图像的层间分界，再对每帧OCT图像执行分割分层处理，得到每帧OCT图像的分割分层处理结果。
204、由投影检测模型，以第一维度作为投影方向，按照预设的投影处理算法，对每帧OCT图像的分割分层处理结果执行投影处理操作，得到每帧OCT图像对应的投影处理结果，作为该帧OCT图像的投影数据。
本发明实施例中，投影处理算法包括平均值投影或最大/最小值投影处理算法。
205、由投影检测模型，在投影检测模型对应的通道方向上对预设帧数的OCT图像的投影数据执行图像拼合，得到用于输入投影检测模型的投影特征提取网络的输入投影图像，作为所有OCT图像的投影数据。
206、由投影检测模型对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果。
207、对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息。
本发明实施例中，针对步骤201-步骤202以及步骤206-步骤207的其他描述请参阅实施例一中针对步骤101-步骤102以及步骤104-步骤105的其他具体描述，本发明实施例不再赘述。
可见，实施图2所描述的基于多方向图像融合的OCT图像检测方法，在将OCT图像输入投影检测模型之后，对于每帧图像，能够自动进行分割分层处理、作通道方向的拼合，得到所需的投影数据，提高了确定出的投影数据的准确性；其中，对OCT图像做投影方向处理之后，能够综合前置的轴检测处理结果，依次作第二投影处理以及检测框融合，实现了多方向的目标检测，提高了最终确定出的目标检测信息的确定全面性以及准确性。
在一个可选的实施例中，投影特征提取网络包括多个投影特征提取层；上述步骤206对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果的方式具体包括：
由投影特征提取网络对输入投影图像执行特征提取操作，得到输入投影图像输入任意投影特征提取层对应的特征提取结果；
对于任一投影特征提取层，由投影特征提取网络确定二维轴-投影区域对应的第一图像尺寸以及该投影特征提取层对应的特征提取结果的第二图像尺寸；以第二图像尺寸为基准，按照预设的尺寸调整算法，对二维轴-投影区域执行尺寸调整操作，得到二维轴-投影区域对应的尺寸调整结果，尺寸调整操作包括插值缩放处理、卷积处理、归一化处理、加权值转化处理中的至少一种；
由投影检测模型对特征提取结果与尺寸调整结果执行加权处理，得到特征提取结果对应的加权处理结果，加权处理结果包括与目标检测因子对应的二维投影检测框，二维投影检测框中目标检测因子对应的置信度大于第三预设置信阈值；
由投影检测模型，以第一维度为图像拓展方向，结合加权处理结果对应的两条图像分层边界线，确定二维投影检测框对应的三维投影检测框，作为投影数据对应的投影处理结果；
其中，两条图像分层边界线为加权处理结果所包括的所有分层边界线中直线距离最长的两条分层边界线。
在该可选的实施例中，对于Enface的投影检测模型而言，按照前文的步骤，获取到若干张Enface图像，在通道方向上进行拼合之后作为整体输入到该投影检测模型中。此外，在特征提取方面，在若干投影特征提取层中加入k张Plesion的概率图作为辅助信息，用于对原特征图进行加权处理。
在该可选的实施例中，进一步的，上述以第二图像尺寸为基准，按照预设的尺寸调整算法，对二维轴-投影区域执行尺寸调整操作，得到二维轴-投影区域对应的尺寸调整结果的格式具体包括：
以第二图像尺寸为基准，对二维轴-投影区域执行插值处理，得到二维轴-投影区域对应的插值处理结果，插值处理结果中二维轴-投影区域的图像尺寸为第三图像尺寸；
将插值处理结果输入预设的目标处理层，得到图像尺寸为第二图像尺寸的目标处理结果，在通过预设激活函数将目标处理结果转换为处于预设取值区间的加权值，作为二维轴-投影区域对应的尺寸调整结果；
其中，目标处理层包括若干预设的卷积层、归一化层以及激活层中的一种或多种。
在该可选的实施例中，具体的，假定Plesion的尺寸为k*W*M(对应第一图像尺寸)，某一投影特征提取层的特征图F尺寸为C*X*Y(对应第二图像尺寸)，那么我们首先通过插值，把Plesion缩放成k*X*Y的尺寸，然后我们通过若干卷积层、归一化层和激活层，把Plesion转化为C*W*Y的特征图Fatt，然后我们再通过Sigmoid激活函数，把特征图转化为0-1之间的加权值，得到加权值对应的新的Fatt。我们再把特征提取结果作加权计算：F*(1+Fatt)，得到加权后的特征图F’。这样做可以利用前面B-Scan的检测结果，实现Enface投影检测模型聚焦于目标检测因子所在的区域，提高检出的目标检测因子的准确率。
在该可选的实施例中，需要说明的是，在通过投影检测模型确定出二维投影检测框(记为w3*m3)之后，需要在深度方向进行拓展。具体地，我们根据二维投影检测框所在位置的分层线的坐标，对二维投影框进行扩展。例如之前确定出的投影数据，包括有执行分割分层后的多条分层线，选取分层线的第一条和最后一条之间框定了视网膜的上下边界，则二维投影检测框在深度方向上以分层线的第一条和最后一条的坐标为边界，由此得到三维投影检测框l3*w3*m3，其概率值为原二维投影框的概率值p3。
可见，在该可选的实施例中，通过投影检测模型对输入的投影数据做投影检测处理操作时，能够基于轴检测模型得到的Plesion综合运行，做特征加权处理，实现Enface投影检测模型全面聚焦出目标检测因子所在的区域，提高检测出的目标检测因子、目标检测因子所在区域、目标检测因子对应的概率的准确率。
实施例三
请参阅图3，图3是本发明实施例公开的一种基于多方向图像融合的OCT图像检测装置的结构示意图。该装置可以应用于目标检测模型。该基于多方向图像融合的OCT图像检测装置可以是基于多方向图像融合的OCT图像检测终端、设备、系统或者服务器，服务器可以是本地服务器，也可以是远端服务器，还可以是云服务器(又称云端服务器)，当服务器为非云服务器时，该非云服务器能够与云服务器进行通信连接，本发明实施例不做限定。如图3所示，该基于多方向图像融合的OCT图像检测装置可以包括传输模块301、轴检测模块302、第一投影处理模块303、第二投影处理模块304以及融合处理模块305，其中：
传输模块301，用于当确定目标检测模型存在输入的多帧OCT图像时，将所有OCT图像传输至目标检测模块所包括的子检测模型，子检测模型至少包括轴检测模型以及投影检测模型，目标检测模型用于从所有OCT图像中确定目标检测因子。
轴检测模块302，用于由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果，轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；轴检测处理结果包括至少一个三维轴检测框以及每个三维轴检测框中目标检测因子对应的轴置信值。
第一投影处理模块303，用于由投影检测模型对所有OCT图像执行图像分层及第一投影处理操作，得到所有OCT图像的投影数据。
第二投影处理模块304，用于由投影检测模型对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果，投影处理结果包括三维投影检测框以及三维投影检测框中目标检测因子对应的投影置信值。
融合处理模块305，用于对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息，目标检测信息包括目标检测因子所在的预测框区域以及目标检测因子在预测框区域的目标置信值。
本发明实施例中，轴检测模型包括快轴检测模型和/或慢轴检测模型，快轴检测模型用于处理OCT图像中第一维度与第二维度的数据，慢轴检测模型用于处理OCT图像中第一维度与第三维度的数据；投影检测模型用于处理OCT图像中第二维度与第三维度的数据；
目标检测因子对应的三维轴检测框为与快轴检测模型和/或慢轴检测模型对应的处理维度相匹配的三维轴检测框；
其中，当对所有OCT图像执行轴检测处理操作的轴检测模型包括快轴检测模型以及慢轴检测模型时，目标检测因子对应的三维轴检测框为将快轴检测模型以及慢轴检测模型各自对应的三维轴检测框执行融合操作后得到的三维轴检测框。
本法实施例中，可选的，融合处理模块305对投影处理结果与轴检测处理结果执行检测框融合操作，得到目标检测因子对应的目标检测信息的方式具体包括：
确定三维投影检测框与三维轴检测框之间的交集区域，作为预测框区域；
计算三维投影检测框对应的投影置信值与三维轴检测框对应的轴置信值的平均值，得到目标置信值，作为预测框区域中目标检测因子对应的置信值；
将预测框区域以及目标置信值确定为目标检测因子对应的目标检测信息。
可见，实施图3所描述的基于多方向图像融合的OCT图像检测装置，能够在目标检测模型输入OCT图像时，通过轴检测模型以及投影检测模型，分别对OCT图像执行目标检测因子的检测处理操作，两个检测模型代表至少两个检测处理方向，两个检测模型各自对OCT图像进行检测处理，得到至少两个检测方向的检测处理结果(检测框)；实现了多方向的目标检测，区别于传统单一方向的二维图像检测方法，本发明中提高了OCT图像的三维检测全面性与准确性；进一步的，在得到各自对应的检测处理结果之后，自动进行多检测处理结果的融合处理，以精准统一的融合处理结果，提高了最终确定出的三维检测结果的精准性。
在一个可选的实施例中，轴检测模块302由轴检测模型对所有OCT图像执行轴检测处理操作，得到所有OCT图像对应的轴检测处理结果的方式具体包括：
由轴检测模型，以目标检测因子对应的特征信息为基准，对所有OCT图像执行特征检测操作，得到至少一帧第一OCT图像，第一OCT图像中包括第一检测框，第一检测框内目标检测因子对应的置信度大于第一预设置信阈值；
由轴检测模型，以第一OCT图像为基准图像、以第一检测框所在区域的坐标区间为基准，结合预设的坐标区间误差值，对第一OCT图像对应的在前、在后帧图像分别逐帧执行特征检测操作，得到多帧第二OCT图像，每帧第二OCT图像包括第二检测框，第二检测框内目标检测因子对应的置信度大于第一预设置信阈值；
由轴检测模型，确定第一检测框与所有第二检测框的最大重合区域，作为目标检测因子对应的二维轴检测框；
以第一检测框与所有第二检测框的总计数量作为二维轴检测框的第三维度，以第二预设置信阈值为筛选条件，确定目标检测因子对应的三维轴检测框；三维轴检测框包括目标检测因子在三维轴检测框中的轴置信值，轴置信值大于第二预设置信阈值；
以任意OCT图像中第二维度与第三维度组成的平面作为投影平面，对三维轴检测框进行投影，得到三维轴检测框在投影平面的二维轴-投影区域，二维轴-投影区域包括三维轴检测框中的目标检测因子投影在投影平面的置信值；
将三维轴检测框以及二维轴-投影区域确定为所有OCT图像对应的轴检测处理结果。
可见，在该可选的实施例中，在该可选的实施例中，能够通过轴检测模型，单一或多模型以轴处理方向对OCT图像执行目标检测因子的检测处理：包括目标检测因子所在初始区域的框选得到至少一个二维检测框、对目标检测因子同类型区域的逐帧排查得到轴三维检测框、轴三维检测框的投影等，实现了轴处理方向检测出与目标检测因子对应的精确的三维检测框，提高了该轴方向的轴三维检测框的确定准确性。
在另一个可选的实施例中，第一投影处理模块303由投影检测模型对所有OCT图像执行图像分层及第一投影处理操作，得到所有OCT图像的投影数据的方式具体包括：
由投影检测模型，对所有OCT图像按照预设的图像层间边界确定算法，确定每帧OCT图像的层间分界，再对每帧OCT图像执行分割分层处理，得到每帧OCT图像的分割分层处理结果；
由投影检测模型，以第一维度作为投影方向，按照预设的投影处理算法，对每帧OCT图像的分割分层处理结果执行投影处理操作，得到每帧OCT图像对应的投影处理结果，作为该帧OCT图像的投影数据，投影处理算法包括平均值投影或最大/最小值投影处理算法；
由投影检测模型，在投影检测模型对应的通道方向上对预设帧数的OCT图像的投影数据执行图像拼合，得到用于输入投影检测模型的投影特征提取网络的输入投影图像，作为所有OCT图像的投影数据。
可见，在该可选的实施例中，在将OCT图像输入投影检测模型之后，对于每帧图像，能够自动进行分割分层处理、作通道方向的拼合，得到所需的投影数据，提高了确定出的投影数据的准确性；其中，对OCT图像做投影方向处理之后，能够综合前置的轴检测处理结果，依次作第二投影处理以及检测框融合，实现了多方向的目标检测，提高了最终确定出的目标检测信息的确定全面性以及准确性。
在又一个可选的实施例中，投影特征提取网络包括多个投影特征提取层；第二投影处理模块304对轴检测处理结果以及投影数据执行第二投影处理操作，得到投影数据对应的投影处理结果的方式具体包括：
由投影特征提取网络对输入投影图像执行特征提取操作，得到输入投影图像输入任意投影特征提取层对应的特征提取结果；
对于任一投影特征提取层，由投影特征提取网络确定二维轴-投影区域对应的第一图像尺寸以及该投影特征提取层对应的特征提取结果的第二图像尺寸；以第二图像尺寸为基准，按照预设的尺寸调整算法，对二维轴-投影区域执行尺寸调整操作，得到二维轴-投影区域对应的尺寸调整结果，尺寸调整操作包括插值缩放处理、卷积处理、归一化处理、加权值转化处理中的至少一种；
由投影检测模型对特征提取结果与尺寸调整结果执行加权处理，得到特征提取结果对应的加权处理结果，加权处理结果包括与目标检测因子对应的二维投影检测框，二维投影检测框中目标检测因子对应的置信度大于第三预设置信阈值；
由投影检测模型，以第一维度为图像拓展方向，结合加权处理结果对应的两条图像分层边界线，确定二维投影检测框对应的三维投影检测框，作为投影数据对应的投影处理结果；
其中，两条图像分层边界线为加权处理结果所包括的所有分层边界线中直线距离最长的两条分层边界线。
进一步的，第二投影处理模块304中以第二图像尺寸为基准，按照预设的尺寸调整算法，对二维轴-投影区域执行尺寸调整操作，得到二维轴-投影区域对应的尺寸调整结果的方式具体包括：
以第二图像尺寸为基准，对二维轴-投影区域执行插值处理，得到二维轴-投影区域对应的插值处理结果，插值处理结果中二维轴-投影区域的图像尺寸为第三图像尺寸；
将插值处理结果输入预设的目标处理层，得到图像尺寸为第二图像尺寸的目标处理结果，在通过预设激活函数将目标处理结果转换为处于预设取值区间的加权值，作为二维轴-投影区域对应的尺寸调整结果；
其中，目标处理层包括若干预设的卷积层、归一化层以及激活层中的一种或多种。
可见，在该可选的实施例中，通过投影检测模型对输入的投影数据做投影检测处理操作时，能够基于轴检测模型得到的Plesion综合运行，做特征加权处理，实现Enface投影检测模型全面聚焦出目标检测因子所在的区域，提高检测出的目标检测因子、目标检测因子所在区域、目标检测因子对应的概率的准确率。
实施例四
请参阅图4，图4是本发明实施例公开的又一种基于多方向图像融合的OCT图像检测装置的结构示意图。如图4所示，该基于多方向图像融合的OCT图像检测装置可以包括：
存储有可执行程序代码的存储器401；
与存储器401耦合的处理器402；
处理器402调用存储器401中存储的可执行程序代码，执行本发明实施例一或本发明实施例二所描述的基于多方向图像融合的OCT图像检测方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指令，该计算机指令被调用时，用于执行本发明实施例一或本发明实施例二所描述的基于多方向图像融合的OCT图像检测方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品，该计算机程序产品包括存储了计算机程序的非瞬时性计算机存储介质，且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的基于多方向图像融合的OCT图像检测方法中的步骤。
以上所描述的装置实施例仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施例的具体描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机存储介质中，存储介质包括只读存储器(Read-OnlyMemory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是：本发明实施例公开的一种基于多方向图像融合的OCT图像检测方法及装置所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

Claims (10)

1.一种基于多方向图像融合的OCT图像检测方法，其特征在于，所述方法应用于目标检测模型，所述方法包括：
当确定所述目标检测模型存在输入的多帧OCT图像时，将所有所述OCT图像传输至所述目标检测模块所包括的子检测模型，所述子检测模型至少包括轴检测模型以及投影检测模型，所述目标检测模型用于从所有所述OCT图像中确定目标检测因子；
由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，所述轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；所述轴检测处理结果包括至少一个三维轴检测框以及每个所述三维轴检测框中所述目标检测因子对应的轴置信值；
由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据，并对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，所述投影处理结果包括三维投影检测框以及所述三维投影检测框中所述目标检测因子对应的投影置信值；
对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，所述目标检测信息包括所述目标检测因子所在的预测框区域以及所述目标检测因子在所述预测框区域的目标置信值。
2.根据权利要求1所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述轴检测模型包括快轴检测模型和/或慢轴检测模型，所述快轴检测模型用于处理所述OCT图像中第一维度与第二维度的数据，所述慢轴检测模型用于处理所述OCT图像中第一维度与第三维度的数据；所述投影检测模型用于处理所述OCT图像中第二维度与第三维度的数据；
所述目标检测因子对应的所述三维轴检测框为与所述快轴检测模型和/或所述慢轴检测模型对应的处理维度相匹配的三维轴检测框；
其中，当对所有所述OCT图像执行所述轴检测处理操作的所述轴检测模型包括所述快轴检测模型以及所述慢轴检测模型时，所述目标检测因子对应的所述三维轴检测框为将所述快轴检测模型以及所述慢轴检测模型各自对应的所述三维轴检测框执行融合操作后得到的三维轴检测框。
3.根据权利要求1或2所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，包括：
由所述轴检测模型，以所述目标检测因子对应的特征信息为基准，对所有所述OCT图像执行特征检测操作，得到至少一帧第一OCT图像，所述第一OCT图像中包括第一检测框，所述第一检测框内所述目标检测因子对应的置信度大于第一预设置信阈值；
由所述轴检测模型，以所述第一OCT图像为基准图像、以所述第一检测框所在区域的坐标区间为基准，结合预设的坐标区间误差值，对所述第一OCT图像对应的在前、在后帧图像分别逐帧执行所述特征检测操作，得到多帧第二OCT图像，每帧所述第二OCT图像包括第二检测框，所述第二检测框内所述目标检测因子对应的置信度大于所述第一预设置信阈值；
由所述轴检测模型，确定所述第一检测框与所有所述第二检测框的最大重合区域，作为所述目标检测因子对应的二维轴检测框；
以所述第一检测框与所有所述第二检测框的总计数量作为所述二维轴检测框的第三维度，以第二预设置信阈值为筛选条件，确定所述目标检测因子对应的三维轴检测框；所述三维轴检测框包括所述目标检测因子在所述三维轴检测框中的轴置信值，所述轴置信值大于所述第二预设置信阈值；
以任意所述OCT图像中第二维度与第三维度组成的平面作为投影平面，对所述三维轴检测框进行投影，得到所述三维轴检测框在所述投影平面的二维轴-投影区域，所述二维轴-投影区域包括所述三维轴检测框中的目标检测因子投影在所述投影平面的置信值；
将所述三维轴检测框以及所述二维轴-投影区域确定为所有所述OCT图像对应的轴检测处理结果。
4.根据权利要求2所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据，包括：
由所述投影检测模型，对所有所述OCT图像按照预设的图像层间边界确定算法，确定每帧所述OCT图像的层间分界，再对每帧所述OCT图像执行分割分层处理，得到每帧所述OCT图像的分割分层处理结果；
由所述投影检测模型，以所述第一维度作为投影方向，按照预设的投影处理算法，对每帧所述OCT图像的分割分层处理结果执行投影处理操作，得到每帧所述OCT图像对应的投影处理结果，作为该帧OCT图像的投影数据，所述投影处理算法包括平均值投影或最大/最小值投影处理算法；
由所述投影检测模型，在所述投影检测模型对应的通道方向上对预设帧数的所述OCT图像的投影数据执行图像拼合，得到用于输入所述投影检测模型的投影特征提取网络的输入投影图像，作为所有所述OCT图像的投影数据。
5.根据权利要求4所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述投影特征提取网络包括多个投影特征提取层；所述对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，包括：
由所述投影特征提取网络对所述输入投影图像执行特征提取操作，得到所述输入投影图像输入任意所述投影特征提取层对应的特征提取结果；
对于任一所述投影特征提取层，由所述投影特征提取网络确定所述二维轴-投影区域对应的第一图像尺寸以及该投影特征提取层对应的所述特征提取结果的第二图像尺寸；以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果，所述尺寸调整操作包括插值缩放处理、卷积处理、归一化处理、加权值转化处理中的至少一种；
由所述投影检测模型对所述特征提取结果与所述尺寸调整结果执行加权处理，得到所述特征提取结果对应的加权处理结果，所述加权处理结果包括与所述目标检测因子对应的二维投影检测框，所述二维投影检测框中所述目标检测因子对应的置信度大于第三预设置信阈值；
由所述投影检测模型，以所述第一维度为图像拓展方向，结合所述加权处理结果对应的两条图像分层边界线，确定所述二维投影检测框对应的三维投影检测框，作为所述投影数据对应的投影处理结果；
其中，两条所述图像分层边界线为所述加权处理结果所包括的所有分层边界线中直线距离最长的两条分层边界线。
6.根据权利要求5所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述以所述第二图像尺寸为基准，按照预设的尺寸调整算法，对所述二维轴-投影区域执行尺寸调整操作，得到所述二维轴-投影区域对应的尺寸调整结果，包括：
以所述第二图像尺寸为基准，对所述二维轴-投影区域执行插值处理，得到所述二维轴-投影区域对应的插值处理结果，所述插值处理结果中所述二维轴-投影区域的图像尺寸为第三图像尺寸；
将所述插值处理结果输入预设的目标处理层，得到图像尺寸为所述第二图像尺寸的目标处理结果，在通过预设激活函数将所述目标处理结果转换为处于预设取值区间的加权值，作为二维轴-投影区域对应的尺寸调整结果；
其中，所述目标处理层包括若干预设的卷积层、归一化层以及激活层中的一种或多种。
7.根据权利要求5或6所述的基于多方向图像融合的OCT图像检测方法，其特征在于，所述对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，包括：
确定所述三维投影检测框与所述三维轴检测框之间的交集区域，作为预测框区域；
计算所述三维投影检测框对应的投影置信值与所述三维轴检测框对应的轴置信值的平均值，得到目标置信值，作为所述预测框区域中所述目标检测因子对应的置信值；
将所述预测框区域以及所述目标置信值确定为所述目标检测因子对应的目标检测信息。
8.一种基于多方向图像融合的OCT图像检测装置，其特征在于，所述装置应用于目标检测模型，所述装置包括：
传输模块，用于当确定所述目标检测模型存在输入的多帧OCT图像时，将所有所述OCT图像传输至所述目标检测模块所包括的子检测模型，所述子检测模型至少包括轴检测模型以及投影检测模型，所述目标检测模型用于从所有所述OCT图像中确定目标检测因子；
轴检测模块，用于由所述轴检测模型对所有所述OCT图像执行轴检测处理操作，得到所有所述OCT图像对应的轴检测处理结果，所述轴检测处理操作至少包括目标检测操作、基于置信值的相邻帧检测操作、多帧融合操作以及置信值确定操作；所述轴检测处理结果包括至少一个三维轴检测框以及每个所述三维轴检测框中所述目标检测因子对应的轴置信值；
第一投影处理模块，用于由所述投影检测模型对所有所述OCT图像执行图像分层及第一投影处理操作，得到所有所述OCT图像的投影数据；
第二投影处理模块，用于由所述投影检测模型对所述轴检测处理结果以及所述投影数据执行第二投影处理操作，得到所述投影数据对应的投影处理结果，所述投影处理结果包括三维投影检测框以及所述三维投影检测框中所述目标检测因子对应的投影置信值；
融合处理模块，用于对所述投影处理结果与所述轴检测处理结果执行检测框融合操作，得到所述目标检测因子对应的目标检测信息，所述目标检测信息包括所述目标检测因子所在的预测框区域以及所述目标检测因子在所述预测框区域的目标置信值。
9.一种基于多方向图像融合的OCT图像检测装置，其特征在于，所述装置包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行如权利要求1-7任一项所述的基于多方向图像融合的OCT图像检测方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令被调用时，用于执行如权利要求1-7任一项所述的基于多方向图像融合的OCT图像检测方法。
CN202310677404.3A 2023-06-08 2023-06-08 基于多方向图像融合的oct图像检测方法及装置 Pending CN116934686A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310677404.3A CN116934686A (zh) 2023-06-08 2023-06-08 基于多方向图像融合的oct图像检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310677404.3A CN116934686A (zh) 2023-06-08 2023-06-08 基于多方向图像融合的oct图像检测方法及装置

Publications (1)

Publication Number Publication Date
CN116934686A true CN116934686A (zh) 2023-10-24

Family

ID=88378125

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310677404.3A Pending CN116934686A (zh) 2023-06-08 2023-06-08 基于多方向图像融合的oct图像检测方法及装置

Country Status (1)

Country Link
CN (1) CN116934686A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118229713A (zh) * 2024-05-23 2024-06-21 南开大学 Oct和octa图像融合的视网膜血管图像分割方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118229713A (zh) * 2024-05-23 2024-06-21 南开大学 Oct和octa图像融合的视网膜血管图像分割方法

Similar Documents

Publication Publication Date Title
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN109791692B (zh) 使用来自感兴趣区域的不同视角的多个图像进行计算机辅助检测以提高检测准确度的系统和方法
CN108961229A (zh) 基于深度学习的心血管oct影像易损失斑块检测方法及系统
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN111227864A (zh) 使用超声图像利用计算机视觉进行病灶检测的方法与装置
CN110136153B (zh) 一种图像处理方法、设备及存储介质
CN109363697B (zh) 一种乳腺影像病灶识别的方法及装置
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
JP6331761B2 (ja) 判定装置、判定方法及び判定プログラム
CN111916206B (zh) 一种基于级联的ct影像辅助诊断系统
CN105938513A (zh) 为计算机辅助诊断提供可靠性的装置和方法
CN116934686A (zh) 基于多方向图像融合的oct图像检测方法及装置
US8306354B2 (en) Image processing apparatus, method, and program
JP4203279B2 (ja) 注目判定装置
US11631160B2 (en) Image processing apparatus, image processing method, and X-ray CT apparatus
CN113658106A (zh) 一种基于腹部增强ct的肝脏病灶自动诊断系统
CN105551042A (zh) 一种扫描床标记点位置的确定方法和装置
JP6996303B2 (ja) 医用画像生成装置
CN116229236A (zh) 一种基于改进YOLO v5模型的结核杆菌检测方法
US20210383164A1 (en) Region specification apparatus, region specification method, region specification program, learning apparatus, learning method, learning program, and discriminator
US20210319210A1 (en) Region specification apparatus, region specification method, and region specification program
US8165375B2 (en) Method and system for registering CT data sets
US11452494B2 (en) Methods and systems for projection profile enabled computer aided detection (CAD)
KR102322995B1 (ko) 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치
KR20230049938A (ko) 폐기종의 정량적 분석 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination