CN108171702A - 易损斑块识别方法、应用服务器及计算机可读存储介质 - Google Patents

易损斑块识别方法、应用服务器及计算机可读存储介质 Download PDF

Info

Publication number
CN108171702A
CN108171702A CN201810047424.1A CN201810047424A CN108171702A CN 108171702 A CN108171702 A CN 108171702A CN 201810047424 A CN201810047424 A CN 201810047424A CN 108171702 A CN108171702 A CN 108171702A
Authority
CN
China
Prior art keywords
picture
vulnerable plaque
cardiovascular
polarization
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810047424.1A
Other languages
English (en)
Inventor
王健宗
吴天博
刘莉红
刘新卉
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810047424.1A priority Critical patent/CN108171702A/zh
Priority to PCT/CN2018/090905 priority patent/WO2019140857A1/zh
Priority to JP2019556843A priority patent/JP2020518901A/ja
Priority to SG11202002840WA priority patent/SG11202002840WA/en
Priority to US16/633,153 priority patent/US11094059B2/en
Publication of CN108171702A publication Critical patent/CN108171702A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0066—Optical coherence imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02007—Evaluating blood vessel condition, e.g. elasticity, compliance
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30048—Heart; Cardiac
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Abstract

本发明公开了一种易损斑块识别方法，该方法包括：接收终端设备发送的心血管图片；将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；构建Faster RCNN区域网络结构并完成训练；将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；将所述标注有易损斑块的图像反馈至所述终端设备。本发明还提供一种应用服务器及计算机可读存储介质。本发明提供的易损斑块识别方法、应用服务器及计算机可读存储介质能够快速精准地却确定易损斑块的位置。

Description

易损斑块识别方法、应用服务器及计算机可读存储介质
技术领域
本发明涉及医学图像分析技术领域，尤其涉及一种易损斑块识别方法、应用服务器及计算机可读存储介质。
背景技术
冠心病已成为全人类死亡的第一大原因。在美国，冠心病的死亡率已经超过所有癌症死亡率的总和，成为第一位致死的原因。而导致冠心病的病理基础是冠状动脉粥样硬化，由于冠状动脉粥样硬化在血管内形成的斑块受血管内各种理化环境的影响具有一定的不稳定性，这些斑块又叫做易损斑块，并且这种不稳定性的斑块也导致血管破裂、出血、血栓形成、进而引发引发各种心血管疾病。在我国，心血管病死亡不仅占总死亡原因的首位，而且发病人数在逐年增加，严重威胁着我国居民的健康。传统识别心血管OCT图片中的易损斑块是通过提取纤维斑块和非纤维斑块的局部特征作为测试样本，分析易损斑块的位置来实现的，但是这种识别方式耗费的时间长且准确度达不到预期目标。
发明内容
有鉴于此，本发明提出一种易损斑块识别方法、应用服务器及计算机可读存储介质，以解决上述的问题。
首先，为实现上述目的，本发明提出一种易损斑块识别方法，该方法包括步骤：
接收终端设备发送的心血管图片；
将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；
构建Faster RCNN区域网络结构并完成训练；
将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；
将所述标注有易损斑块的图像反馈至所述终端设备。
可选地，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片的步骤，具体包括：
设定所述心血管图像的中心为原点；
设定逆时针方向为正方向，正方向往下为θ＝0°的方向；
获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离；
通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的坐标值：x,y的值。
可选地，所述利用所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，得到识别结果的步骤之前，还包括如下步骤：
将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域。
可选地，所述构建Faster RCNN区域网络结构并完成训练的步骤，具体包括如下步骤：
提取特征，以生成特征图像；
在所述特征图上生成候选区域框；
对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
可选地，所述在所述特征图上生成候选区域框的步骤，具体包括如下步骤：
采用3中不同尺寸和3中不同比例组合成的9个候选窗口生成候选区域框。
此外，为实现上述目的，本发明还提供一种应用服务器，包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的易损斑块识别系统，所述易损斑块识别系统被所述处理器执行时实现如下步骤：
接收终端设备发送的心血管图片；
将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；
构建Faster RCNN区域网络结构并完成训练；
将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；
将所述标注有易损斑块的图像反馈至所述终端设备。
可选地，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片的步骤，具体包括：
设定所述心血管图像的中心为原点；
设定逆时针方向为正方向，正方向往下为θ＝0°的方向；
获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离；
通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的坐标值：x,y的值。
可选地，所述利用所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，得到识别结果的步骤之前，还包括如下步骤：
将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域。
可选地，所述构建Faster RCNN区域网络结构并完成训练的步骤，具体包括如下步骤：
提取特征，以生成特征图像；
在所述特征图上生成候选区域框，其中，采用3中不同尺寸和3中不同比例组合成的9个候选窗口生成候选区域框；
对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
进一步地，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有易损斑块识别系统，所述易损斑块识别系统可被至少一个处理器执行，以使所述至少一个处理器执行如上述的易损斑块识别方法的步骤。
相较于现有技术，本发明所提出的易损斑块识别方法、应用服务器及计算机可读存储介质，首先，接收终端设备发送的心血管图片；接着，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；进一步地，构建Faster RCNN区域网络结构并完成训练；进而，将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；最后，将所述标注有易损斑块的图像反馈至所述终端设备，使得医生能够根据所述标注有易损斑块的图像，快速精准地却确定易损斑块的位置。
附图说明
图1是本发明各个实施例一可选的应用环境示意图；
图2是图1中应用服务器一可选的硬件架构的示意图；
图3是本发明易损斑块识别系统第一实施例的程序模块示意图；
图4是本发明心血管OCT示意图像；
图5是本发明心血管OCT极化图像；
图6是本发明易损斑块识别系统一实施例的Faster RCNN区域网络结构示意图；
图7是本发明易损斑块识别系统第二实施例的程序模块示意图；
图8是本发明易损斑块识别方法第一实施例的流程示意图；
图9是本发明易损斑块识别方法第二实施例的流程示意图。
附图标记：
终端设备 1
应用服务器 2
网络 3
存储器 11
处理器 12
网络接口 13
易损斑块识别系统 200
接收模块 201
转换模块 202
构建模块 203
识别模块 204
反馈模块 205
设定模块 206
获取模块 207
计算模块 208
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
参阅图1所示，是本发明各个实施例一可选的应用环境示意图。
在本实施例中，本发明可应用于包括，但不仅限于，终端设备1、应用服务器2、网络3的应用环境中。其中，所述终端设备1可以是电子计算机断层扫描设备、核磁共振设备、X线机等医学扫描设备。所述应用服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。所述网络3可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(Global System of Mobile communication，GSM)、宽带码分多址(WidebandCode Division Multiple Access，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。
其中，所述应用服务器2通过所述网络3分别与一个或多个所述终端设备1通信连接，以进行数据传输和交互。
在本实施例中，所述终端设备1包括医院对应的终端设备1。
参阅图2所示，是本发明应用服务器2一可选的硬件架构的示意图。
本实施例中，所述应用服务器2可包括，但不仅限于，可通过系统总线相互通信连接存储器11、处理器12、网络接口13。需要指出的是，图1仅示出了具有组件11-13的应用服务器2，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
其中，所述应用服务器2可以是机架式服务器、刀片式服务器、塔式服务器或机柜式服务器等计算设备，该应用服务器2可以是独立的服务器，也可以是多个服务器所组成的服务器集群。
所述存储器11至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述应用服务器2的内部存储单元，例如该应用服务器2的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述应用服务器2的外部存储设备，例如该应用服务器2上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器11还可以既包括所述应用服务器2的内部存储单元也包括其外部存储设备。本实施例中，所述存储器11通常用于存储安装于所述应用服务器2的操作系统和各类应用软件，例如易损斑块识别系统200的程序代码等。此外，所述存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述应用服务器2的总体操作。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行所述的易损斑块识别系统200等。
所述网络接口13可包括无线网络接口或有线网络接口，该网络接口13通常用于在所述应用服务器2与其他电子设备之间建立通信连接。
至此，己经详细介绍了本发明相关设备的硬件结构和功能。下面，将基于上述介绍提出本发明的各个实施例。
首先，本发明提出一种易损斑块识别系统200。
参阅图3所示，是本发明易损斑块识别系统200第一实施例的程序模块图。
本实施例中，所述易损斑块识别系统200包括一系列的存储于存储器11上的计算机程序指令，当该计算机程序指令被处理器12执行时，可以实现本发明各实施例的易损斑块识别操作。在一些实施例中，基于该计算机程序指令各部分所实现的特定的操作，易损斑块识别系统200可以被划分为一个或多个模块。例如，在图3中，所述易损斑块识别系统200可以被分割成接收模块201、转换模块202、构建模块203、识别模块204及反馈模块205。其中：
所述接收模块201，用于接收终端设备1发送的心血管图片；
具体地，所述心血管图片为心血管光学相干断层成像(optical coherencetomography，OCT)图片，所述应用服务器2与终端设备1建立长连接，在本实施例中，所述终端设备1为OCT拍摄设备。当终端设备1拍摄完患者的心血管OCT图片时，将所述OCT图片发送至所述应用服务器2，所述应用服务器2通过所述接收模块201接收所述心血管OCT图片。
所述转换模块202，用于将所述心血管图片从原始笛卡尔坐标系转换成极坐标系，以生成极化图片。
具体地，所述应用服务器2通过所述转换模块202对所述心血管OCT图片进行预处理，标注所述心血管OCT图片的候选区域。在本实施例中，将心血管标注为候选区域。
请一并参阅附图4，附图4为本发明一实施例中的心血管OCT示意图像。如图4所示，所述应用服务器2通过所述转换模块202识别OCT图片中的心血管区域为候选区域，该识别过程为医学常用的图像识别，在此不在详述。如图4所示中的红色区域为候选区域，所述转换模块202将所述候选区域从从原始笛卡尔坐标系转到极坐标系中，从而生成极化图片。
请一并参阅附图5，附图5为本发明一实施例中的心血管OCT极化图像。如图5所示，经过转化，图4中的扇形候选区域展开成矩形的形式，使得OCT图像中的易损斑块更容易被识别。
所述构建模块203，用于构建Faster RCNN区域网络结构并完成训练。
在本实施例中，构建Faster RCNN区域网络结构并完成训练的过程具体为：提取极化图片的特征以生成特征图像，在所述特征图上生成候选区域框，采用3种不同尺寸和3种不同比例组合成的9个候选窗口生成候选区域框；对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
请一并参阅附图6，附图6为本发明一实施例中Faster RCNN区域网络结构示意图。所述Faster RCNN区域网络结构包含若干层conv+relu，直接套用ImageNet上常见的分类网络。额外添加一个conv+relu层，输出51*39*256维特征(feature)。特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1}。这些候选窗口称为anchors。分类层(cls_score)输出每一个位置上，包含9个anchor属于前景和背景的概率；窗口回归层(bbox_pred)输出每一个位置上，包含9个anchor对应窗口应该平移缩放的参数。
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
所述识别模块204，用于将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，以对所述极化图片进行图像识别，并输出标注有易损斑块的图像。
具体地，从附图4可知，所述应用服务器2在进行图片预处理过程中，即将所述心血管OCT图片从原始卡迪尔坐标系转化为极坐标过程中，导致在0点附近的易损斑块被分成了两块，不利于目标检测。为了消除这个问题，在本实施例中，所述应用服务器2将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域，进而将所述连接完整得极化图片输入至所述所述完成训练的Faster RCNN区域网络结构，以对所述极化图片进行图像识别，并输出标注有易损斑块的图像。
所述反馈模块205，用于将所述标注有易损斑块的图像反馈至所述终端设备。
具体地，所述应用服务器2通过所述反馈模块205将所述标注有易损斑块的图像反馈至所述终端设备1的显示界面，医生根据所述标注有易损斑块的图像，快速精准地却确定易损斑块的位置。
通过上述程序模块201-205，本发明所提出的易损斑块识别系统200，首先，接收终端设备1发送的心血管图片；接着，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；进一步地，构建Faster RCNN区域网络结构并完成训练；进而，将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；最后，将所述标注有易损斑块的图像反馈至所述终端设备，使得医生能够根据所述标注有易损斑块的图像，快速精准地却确定易损斑块的位置。
参阅图7所示，是本发明易损斑块识别系统200第二实施例的程序模块图。本实施例中，所述的易损斑块识别系统200除了包括第一实施例中的所述接收模块201、转换模块202、构建模块203、识别模块204及反馈模块205之外，还包括设定模块206、获取模块207及计算模块208。
所述设定模块206，用于设定所述心血管图像的中心为原点，还用于设定逆时针方向为正方向，原点的正方向往下为θ＝0°的方向。
所述获取模块207，用于获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离。
所述计算模块208，用于通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的坐标值：x,y的值。
具体地，所述应用服务器2以所述心血管OCT图像中心点为原点，原点的正方向往下为θ＝0°的方向，逆时针方向为正方向。遍历所述心血管OCT图像的每一个像素点T(θ,ρ)，θ表示与0°方向的夹角，ρ表示与原点的距离。通过公式x＝ρcosθ,y＝ρsinθ，计算在极坐标系下的x,y的值。新的(x,y)坐标就是像素点T(θ,ρ)在极坐标系下的位置。通过这样的方式遍历整个图片，即可得到新的展开后的图片，如图4所示，使得易损斑块区域展开成矩形的形式，图片更容易被处理和识别。
通过上述程序模块206-208，本发明所提出的易损斑块识别系统200，还能够设定所述心血管图像的中心为原点，还用于设定逆时针方向为正方向，正方向往下为θ＝0°的方向；获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离，通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的x,y的值，从而得到极化图片，使得易损斑块区域展开成矩形的形式，更容易被识别。
此外，本发明还提出一种易损斑块识别方法。
参阅图8所示，是本发明易损斑块识别方法第一实施例的流程示意图。在本实施例中，根据不同的需求，图8所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S501，接收终端设备1发送的心血管图片；
具体地，所述心血管图片为心血管OCT图片，所述应用服务器2与终端设备1建立长连接，在本实施例中，所述终端设备1为OCT拍摄设备。当终端设备1拍摄完患者的心血管OCT图片时，将所述OCT图片发送至所述应用服务器2，所述应用服务器2接收所述心血管OCT图片。
步骤S502，将所述心血管图片从原始笛卡尔坐标系转换成极坐标系，以生成极化图片。
具体地，所述应用服务器2对所述心血管OCT图片进行预处理，标注所述心血管OCT图片的候选区域。在本实施例中，将心血管标注为候选区域。
请一并参阅附图4，附图4为本发明一实施例中的心血管OCT示意图像。如图4所示，所述应用服务器2通过所述转换模块202识别OCT图片中的心血管区域为候选区域，该识别过程为医学常用的图像识别，在此不在详述。如图4所示中的红色区域为候选区域，所述转换模块202将所述候选区域从从原始笛卡尔坐标系转到极坐标系中，从而生成极化图片。
请一并参阅附图5，附图5为本发明一实施例中的心血管OCT极化图像。如图5所示，经过转化，图4中的扇形候选区域展开成矩形的形式，使得OCT图像中的易损斑块更容易被识别。
步骤S503，构建Faster RCNN区域网络结构并完成训练。
在本实施例中，构建Faster RCNN区域网络结构并完成训练的过程具体为：提取极化图片的特征以生成特征图像，在所述特征图上生成候选区域框，采用3种不同尺寸和3种不同比例组合成的9个候选窗口生成候选区域框；对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
请一并参阅附图6，附图6为本发明一实施例中Faster RCNN区域网络结构示意图。所述Faster RCNN区域网络结构包含若干层conv+relu，直接套用ImageNet上常见的分类网络。额外添加一个conv+relu层，输出51*39*256维特征(feature)。特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1}。这些候选窗口称为anchors。分类层(cls_score)输出每一个位置上，包含9个anchor属于前景和背景的概率；窗口回归层(bbox_pred)输出每一个位置上，包含9个anchor对应窗口应该平移缩放的参数。
对于每一个位置来说，分类层从256维特征中输出属于前景和背景的概率；窗口回归层从256维特征中输出4个平移缩放参数。
步骤S504，将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，以对所述极化图片进行图像识别，并输出标注有易损斑块的图像。
具体地，从附图4可知，所述应用服务器2在进行图片预处理过程中，即将所述心血管OCT图片从原始卡迪尔坐标系转化为极坐标过程中，导致在0点附近的易损斑块被分成了两块，不利于目标检测。为了消除这个问题，在本实施例中，所述应用服务器2将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域，进而将所述连接完整得极化图片输入至所述所述完成训练的Faster RCNN区域网络结构，以对所述极化图片进行图像识别，并输出标注有易损斑块的图像。
步骤S505，将所述标注有易损斑块的图像反馈至所述终端设备。
具体地，所述应用服务器2将所述标注有易损斑块的图像反馈至所述终端设备1的显示界面，医生根据所述标注有易损斑块的图像，快速精准地却确定易损斑块的位置。
通过上述步骤S501-S505，本发明所提出的易损斑块识别方法，首先，接收终端设备1发送的心血管图片；接着，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片；进一步地，构建Faster RCNN区域网络结构并完成训练；进而，将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；最后，将所述标注有易损斑块的图像反馈至所述终端设备，使得医生能够根据所述标注有易损斑块的图像，快速精准地却确定易损斑块的位置。
如图9所示，是本发明易损斑块识别方法的第二实施例的流程示意图。本实施例中，第一实施例中的所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片的步骤，具体包括如下步骤：
步骤S601，设定所述心血管图像的中心为原点；
步骤S602，设定逆时针方向为正方向，原点的正方向往下为θ＝0°的方向。
步骤S603，获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离。
步骤S604，通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的坐标值：x,y的值。
具体地，所述应用服务器2以所述心血管OCT图像中心点为原点，原点的正方向往下为θ＝0°的方向，逆时针方向为正方向。遍历所述心血管OCT图像的每一个像素点T(θ,ρ)，θ表示与0°方向的夹角，ρ表示与原点的距离。通过公式x＝ρcosθ,y＝ρsinθ，计算在极坐标系下的x,y的值。新的(x,y)坐标就是像素点T(θ,ρ)在极坐标系下的位置。通过这样的方式遍历整个图片，即可得到新的展开后的图片，如图4所示，使得易损斑块区域展开成矩形的形式，图片更容易被处理和识别。
通过上述步骤S601-S604，本发明所提出的易损斑块识别方法，还能够设定所述心血管图像的中心为原点，还用于设定逆时针方向为正方向，正方向往下为θ＝0°的方向；获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离，通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的x,y的值，从而得到极化图片，使得易损斑块区域展开成矩形的形式，更容易被识别。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种易损斑块识别方法，应用于应用服务器，其特征在于，所述方法包括步骤：
接收终端设备发送的心血管图片；
将所述心血管图片从原始笛卡尔坐标系转换成极坐标系，以生成极化图片；
构建Faster RCNN区域网络结构并完成训练；
将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；
将所述标注有易损斑块的图像反馈至所述终端设备。
2.如权利要求1所述的易损斑块识别方法，其特征在于，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片的步骤，具体包括：
设定所述心血管图像的中心为原点；
设定逆时针方向为正方向，原点的正方向往下为θ＝0°的方向；
获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离；
通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的坐标值：x,y的值。
3.如权利要求2所述的易损斑块识别方法，其特征在于，所述利用所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，得到识别结果的步骤之前，还包括如下步骤：
将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域。
4.如权利要求1所述的易损斑块识别方法，其特征在于，所述构建Faster RCNN区域网络结构并完成训练的步骤，具体包括如下步骤：
提取特征，以生成特征图像；
在所述特征图上生成候选区域框；
对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
5.如权利要求4所述的易损斑块识别方法，其特征在于，所述在所述特征图上生成候选区域框的步骤，具体包括如下步骤：
采用3种不同尺寸和3种不同比例组合成的9个候选窗口生成候选区域框。
6.一种应用服务器，其特征在于，所述应用服务器包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的易损斑块识别系统，所述易损斑块识别系统被所述处理器执行时实现如下步骤：
接收终端设备发送的心血管图片；
将所述心血管图片从原始笛卡尔坐标系转换成极坐标系，以生成极化图片；
构建Faster RCNN区域网络结构并完成训练；
将所述极化图片输入至所述完成训练的Faster RCNN区域网络结构，对所述极化图片进行图像识别，并输出标注有易损斑块的图像；
将所述标注有易损斑块的图像反馈至所述终端设备。
7.如权利要求6所述的应用服务器，其特征在于，将所述心血管图片从原始笛卡尔转换成极坐标系，以生成极化图片的步骤，具体包括：
设定所述心血管图像的中心为原点；
设定逆时针方向为正方向，原点的正方向往下为θ＝0°的方向；
获取所述心血管图片的每一个像素T(θ,ρ)，其中，θ表示与0°方向的夹角，ρ表示与原点的距离；
通过公式x＝ρcosθ,y＝ρsinθ，计算所述心血管图像像素点在极化坐标系下的x,y的值。
8.如权利要求7所述的应用服务器，其特征在于，所述利用所述完成训练的FasterRCNN区域网络结构，对所述极化图片进行图像识别，得到识别结果的步骤之前，还包括如下步骤：
将所述极化图片横向复制连接，使易损斑块在图片上重新连接成一个完整的区域。
9.如权利要求6所述的应用服务器，其特征在于，所述构建Faster RCNN区域网络结构并完成训练的步骤，具体包括如下步骤：
提取特征，以生成特征图像；
在所述特征图上生成候选区域框，其中，采用3种不同尺寸和3种不同比例组合成的9个候选窗口生成候选区域框；
对候选区域框中的特征进行提取，以得到易损斑块的位置和深层特征。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有易损斑块识别系统，所述易损斑块识别系统可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的易损斑块识别方法的步骤。
CN201810047424.1A 2018-01-18 2018-01-18 易损斑块识别方法、应用服务器及计算机可读存储介质 Pending CN108171702A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810047424.1A CN108171702A (zh) 2018-01-18 2018-01-18 易损斑块识别方法、应用服务器及计算机可读存储介质
PCT/CN2018/090905 WO2019140857A1 (zh) 2018-01-18 2018-06-12 易损斑块识别方法、应用服务器及计算机可读存储介质
JP2019556843A JP2020518901A (ja) 2018-01-18 2018-06-12 不安定プラークの認識方法、アプリケーションサーバ及びコンピュータ可読記憶媒体
SG11202002840WA SG11202002840WA (en) 2018-01-18 2018-06-12 Vulnerable plaque identification method, application server thereof, and computer readable medium
US16/633,153 US11094059B2 (en) 2018-01-18 2018-06-12 Vulnerable plaque identification method, application server thereof, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810047424.1A CN108171702A (zh) 2018-01-18 2018-01-18 易损斑块识别方法、应用服务器及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN108171702A true CN108171702A (zh) 2018-06-15

Family

ID=62514680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810047424.1A Pending CN108171702A (zh) 2018-01-18 2018-01-18 易损斑块识别方法、应用服务器及计算机可读存储介质

Country Status (5)

Country Link
US (1) US11094059B2 (zh)
JP (1) JP2020518901A (zh)
CN (1) CN108171702A (zh)
SG (1) SG11202002840WA (zh)
WO (1) WO2019140857A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472786A (zh) * 2018-11-05 2019-03-15 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN111145173A (zh) * 2019-12-31 2020-05-12 上海联影医疗科技有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN113138961A (zh) * 2021-06-23 2021-07-20 广州永士达医疗科技有限责任公司 一种应用于oct图像的文件转换方法、电子设备和存储介质
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN109472786B (zh) * 2018-11-05 2024-05-14 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111951230A (zh) * 2020-07-22 2020-11-17 国网安徽省电力有限公司电力科学研究院 一种基于目标检测的防振锤图像数据集训练方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070260141A1 (en) * 2006-03-22 2007-11-08 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
CN106780495A (zh) * 2017-02-15 2017-05-31 深圳市中科微光医疗器械技术有限公司 基于oct的心血管植入支架自动检测与评估方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4043798B2 (ja) 2002-02-18 2008-02-06 大日本印刷株式会社 丸型紙カップ内面の検査装置および方法
US8184367B2 (en) * 2006-02-15 2012-05-22 University Of Central Florida Research Foundation Dynamically focused optical instrument
JP5664152B2 (ja) * 2009-12-25 2015-02-04 株式会社リコー 撮像装置、車載用撮像システム及び物体識別装置
CN101799864B (zh) * 2010-01-15 2012-05-09 北京工业大学 一种基于血管内超声波图像的动脉斑块类型自动识别方法
CN102800088B (zh) * 2012-06-28 2014-10-29 华中科技大学 超声颈动脉斑块自动分割方法
CN104637044B (zh) * 2013-11-07 2017-12-01 中国科学院深圳先进技术研究院 钙化斑块及其声影的超声图像提取系统
KR101462402B1 (ko) * 2014-03-25 2014-11-17 연세대학교 산학협력단 심혈관oct영상생성방법 및 이를 이용한 스텐트 검출방법
ES2864714T3 (es) 2014-12-12 2021-10-14 Lightlab Imaging Inc Método para detectar y representar visualmente características endovasculares
US20190125307A1 (en) * 2016-04-29 2019-05-02 Nuvox Pharma Llc Compositions and methods for targeted contrast agents for molecular imaging
WO2017214421A1 (en) * 2016-06-08 2017-12-14 Research Development Foundation Systems and methods for automated coronary plaque characterization and risk assessment using intravascular optical coherence tomography
CN107871129B (zh) * 2016-09-27 2019-05-10 北京百度网讯科技有限公司 用于处理点云数据的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070260141A1 (en) * 2006-03-22 2007-11-08 Volcano Corporation Automated lesion analysis based upon automatic plaque characterization according to a classification criterion
CN106780495A (zh) * 2017-02-15 2017-05-31 深圳市中科微光医疗器械技术有限公司 基于oct的心血管植入支架自动检测与评估方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
张麒: "动脉粥样硬化研究中的医学图像处理", 《万方学位论文全文数据库》 *
董兰芳 等: "基于Faster R-CNN的人脸检测方法", 《计算机系统应用》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472786A (zh) * 2018-11-05 2019-03-15 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质
CN109472786B (zh) * 2018-11-05 2024-05-14 平安科技（深圳）有限公司 脑出血图像处理方法、装置、计算机设备及存储介质
CN110706246A (zh) * 2019-10-15 2020-01-17 上海微创医疗器械（集团）有限公司 一种血管图像分割方法、装置、电子设备和存储介质
CN111145173A (zh) * 2019-12-31 2020-05-12 上海联影医疗科技有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN111145173B (zh) * 2019-12-31 2024-04-26 上海联影医疗科技股份有限公司 一种冠脉造影图像的斑块识别方法、装置、设备及介质
CN113138961A (zh) * 2021-06-23 2021-07-20 广州永士达医疗科技有限责任公司 一种应用于oct图像的文件转换方法、电子设备和存储介质
CN114693622A (zh) * 2022-03-22 2022-07-01 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统
CN114693622B (zh) * 2022-03-22 2023-04-07 电子科技大学 一种基于人工智能的斑块侵蚀自动检测系统

Also Published As

Publication number Publication date
SG11202002840WA (en) 2020-04-29
US20200202519A1 (en) 2020-06-25
US11094059B2 (en) 2021-08-17
WO2019140857A1 (zh) 2019-07-25
JP2020518901A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
CN108171702A (zh) 易损斑块识别方法、应用服务器及计算机可读存储介质
CN109993733A (zh) 肺部病灶的检测方法、系统、存储介质、终端及显示系统
CN109063740A (zh) 超声影像关键目标的检测模型构建及检测方法、装置
CN109003390A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN110310256A (zh) 冠脉狭窄检测方法、装置、计算机设备和存储介质
CN111027343B (zh) 条形码区域定位方法和装置
CN109978894A (zh) 一种基于三维乳腺彩超的病变区域标注方法及系统
JP2022539162A (ja) 画像識別方法およびその関連装置、機器
KR20110010629A (ko) 그래디언트 히스토그램을 이용한 지문 표현
CN110990390B (zh) 数据协同处理方法、装置、计算机设备和存储介质
CN109145904A (zh) 一种字符识别方法及装置
CN109389592A (zh) 计算冠脉钙化积分的方法、装置及系统
CN111754453A (zh) 基于胸透图像的肺结核检测方法、系统和存储介质
CN109858504A (zh) 一种图像识别方法、装置、系统以及计算设备
CN111291813A (zh) 图像标注方法、装置、计算机设备和存储介质
CN113592820A (zh) 一种股骨区域及关键点检测方法和系统
CN109363697A (zh) 一种乳腺影像病灶识别的方法及装置
CN113362314A (zh) 医学图像识别方法、识别模型训练方法及装置
CN110930386B (zh) 图像处理方法、装置、设备及存储介质
CN108734127A (zh) 年龄识别值调整方法、装置、设备及存储介质
CN114419087A (zh) 病灶图像生成方法、装置、电子设备及存储介质
CN111862001B (zh) Ct影像的半自动标注方法及装置、电子设备、存储介质
CN115272923B (zh) 一种基于大数据平台的智能识别方法和系统
CN115294505B (zh) 风险物体检测及其模型的训练方法、装置及电子设备
CN114419375B (zh) 图像分类方法、训练方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180615

RJ01 Rejection of invention patent application after publication