CN111317462A - 一种基于U-net神经网络的血流成像方法及装置 - Google Patents

一种基于U-net神经网络的血流成像方法及装置 Download PDF

Info

Publication number
CN111317462A
CN111317462A CN202010201769.5A CN202010201769A CN111317462A CN 111317462 A CN111317462 A CN 111317462A CN 202010201769 A CN202010201769 A CN 202010201769A CN 111317462 A CN111317462 A CN 111317462A
Authority
CN
China
Prior art keywords
blood flow
imaging
neural network
image
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010201769.5A
Other languages
English (en)
Other versions
CN111317462B (zh
Inventor
王茗祎
吴淋昌
李泓毅
杨尚潘
杜倩宜
曾亚光
韩定安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202010201769.5A priority Critical patent/CN111317462B/zh
Publication of CN111317462A publication Critical patent/CN111317462A/zh
Application granted granted Critical
Publication of CN111317462B publication Critical patent/CN111317462B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/003Reconstruction from projections, e.g. tomography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Hematology (AREA)
  • Cardiology (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开一种基于U‑net神经网络的血流成像方法及装置,包括:低相干光源、CMOS相机、远心镜头、待测样品,所述低相干光源和所述待测样品依次位于照明光路上,所述待测样品、所述CMOS相机和所述远心镜头依次位于成像光路上;本发明采用低相干光源提供光照,并利用CMOS相机对图像进行连续采集,然后将采集的图像利用U‑net神经网络进行训练,通过训练出来的网络模型对新的原始图像的各像素进行预测,并将其预测概率值作为二维血流分布图的灰度值进行图像重建,实现对血流的造影成像,仅需要少张数原始图像就可以成像,提高了时间分辨率,同时对大小血管都能成像,成本低;本发明可用于血流成像技术。

Description

一种基于U-net神经网络的血流成像方法及装置
技术领域
本发明涉及生物组织光学血流成像技术领域,尤其涉及一种基于U-net神经网络的血流成像方法及装置。
背景技术
生物光学成像具有无创、分辨率高、携带方便、成本低等优点,在生物医学研究和临床诊断中有着广泛的应用。多用于生物组织结构成像、血流成像和功能成像并用于测量生物参数。
现有的实现血流成像的技术方法,例如一种扫描暗场激光散斑血流成像方法及装置[CN105433906B],该方法是通过利用空间区域化的点状或线状的激光束照射到生物的组织,沿着边缘对组织表面进行扫描,直至对整个待测区域都扫描一遍。并利用CMOS相机对待测区域连续采集N帧图像,然后通过计算获得所有像素对应的时间衬比值来成像,该方法虽然能实现血流成像,但由于该方法扫描式的成像,时间分辨率不够,很难实现实时监测。
另外,例如一种基于成分分析的散斑血流成像方法和装置[CN107485383A],该方法对原始血流散斑信号进行成分分析,分离出血流光强信号和组织光强信号,计算出成像参量,并作为二维血流分布图的灰度值,建立样品的二维血流分布图。当采用低相干光做吸收成像时,该方法很难实现血流信息的提取。
发明内容
本发明的目的在于提出一种基于U-net神经网络的血流成像方法及装置,以解决现有技术中所存在的一个或多个技术问题,至少提供一种有益的选择或创造条件。
为解决上述技术问题所采用的技术方案:一种基于U-net神经网络的血流成像方法,所述方法包括:
步骤一、将低相干光源射到待测样品;通过远心镜头和CMOS相机对待测样品成像;
步骤二、CMOS相机将成像的光信号转化为电信号,再通过采集卡将采集到的原始图像传输到计算机;
步骤三、取T(T≥4)张连续的采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张line*T大小的图像;新建一个图层,把原始图像中的血管位置标记为1,其他位置标记为0,得到pixel张二维line*T大小血管位置的标签图像;将标签图像与转置后的原始图像在U-net神经网络中进行训练;
步骤四、训练完成,再取T张采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张二维line*T大小的图像,将图像输入到训练好的网络模型中进行预测并输出相同维度和大小的概率值数组;
步骤五、将模型输出的pixel张line*T大小的预测图像转成T张pixel*line大小的预测图像;并将每个对血流位置所预测的概率值沿T方向取平均值,最后得出一张pixel*line的概率分布图,以每个概率分布为灰度值的二维血流分布图,从而实现对血流的造影成像。
一种实现上述的基于U-net神经网络的血流成像方法的装置,包括:低相干光源、CMOS相机、远心镜头、待测样品和计算机,所述低相干光源和所述待测样品依次位于照明光路上;所述待测样品、所述CMOS相机和所述远心镜头依次位于成像光路上;所述计算机连接与所述CMOS连接,用于采集图像数据并基于U-net神经网络进行训练预测实现对血流的造影成像。
作为上述技术方案的进一步改进,所述低相干光源为光纤耦合发光二极管光源。
本发明的有益效果:本发明采用低相干光源提供光照,并利用CMOS相机对图像进行连续采集,然后将采集的图像利用U-net神经网络进行训练,通过训练出来的网络模型对新的原始图像的各像素进行预测,并将其预测概率值作为二维血流分布图的灰度值进行图像重建,实现对血流的造影成像,仅需要少张数原始图像就可以成像,提高了时间分辨率,同时对大小血管都能成像,成本低。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明提供的一种基于U-net神经网络的血流成像方法及装置的装置结构图;
图2是本发明提供的一种基于U-net神经网络的血流成像方法及装置的采集的原始图像灰度图;
图3是本发明提供的一种基于U-net神经网络的血流成像方法及装置的采集的原始图像黑白图;
图4是本发明提供的一种基于U-net神经网络的血流成像方法及装置的图2得到的血流造影图;
图5是本发明提供的一种基于U-net神经网络的血流成像方法及装置的图3得到的血流造影图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
一种基于U-net神经网络的血流成像方法,所述方法包括:
步骤一、将低相干光源100射到待测样品;通过远心镜头300和CMOS相机400对待测样品200成像;
优选地,待测样品200采用3-4日龄的鸡蛋胚胎。
优选地,低相干光源100为定制的光纤耦合发光二极管光源的低相干光源,中心波长为450nm,宽带为20nm,提供光源照明。
步骤二、CMOS相机400将成像的光信号转化为电信号,再通过采集卡将采集到的原始图像传输到计算机;
步骤三、取T(T≥4)张连续的采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张line*T大小的图像;新建一个图层,把原始图像中的血管位置标记为1,其他位置标记为0,得到pixel张二维line*T大小血管位置的标签图像;将标签图像与转置后的原始图像在U-net神经网络中进行训练。
神经网络训练指对人工神经网络训练。向网络输入足够多的样本,通过一定算法调整网的结构(主要是调节权值),使网络的输出与预期值相符,这样的过程就是神经网络训练。
U-net神经网络为深度学习图像分割神经网络。
步骤四、训练完成,再取T张采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张二维line*T大小的图像,将图像输入到训练好的网络模型中进行预测并输出相同维度和大小的概率值数组。
步骤五、将模型输出的pixel张line*T大小的预测图像转成T张pixel*line大小的预测图像;并将每个对血流位置所预测的概率值沿T方向取平均值,最后得出一张pixel*line的概率分布图,以每个概率分布为灰度值的二维血流分布图,从而实现对血流的造影成像。
请参照图2和图3,图2为采集到的原始图像灰度图,图3为采集到的原始图像的黑白图,图4和图5分别为图2和图3所对应的使用4张原始图进行基于U-net神经网络训练及预测得到的血流造影图,图中的线为0.1mm。
请参照图1,一种实现上述的基于U-net神经网络的血流成像方法的装置,包括:低相干光源100、CMOS相机400、远心镜头300、待测样品200和计算机,所述低相干光源100和所述待测样品200依次位于照明光路上;所述待测样品200、所述CMOS相机400和所述远心镜头300依次位于成像光路上;所述计算机连接与所述CMOS连接,用于采集图像数据并基于U-net神经网络进行训练预测实现对血流的造影成像。
本发明采用低相干光源100提供光照,并利用CMOS相机400对图像进行连续采集,然后将采集的图像利用U-net神经网络进行训练,通过训练出来的网络模型对新的原始图像的各像素进行预测,并将其预测概率值作为二维血流分布图的灰度值进行图像重建,实现对血流的造影成像,仅需要少张数原始图像就可以成像,提高了时间分辨率,同时对大小血管都能成像,成本低。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于U-net神经网络的血流成像方法,其特征在于:所述方法包括:
步骤一、将低相干光源射到待测样品;通过远心镜头和CMOS相机对待测样品成像;
步骤二、CMOS相机将成像的光信号转化为电信号,再通过采集卡将采集到的原始图像传输到计算机;
步骤三、取T(T≥4)张连续的采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张line*T大小的图像;新建一个图层,把原始图像中的血管位置标记为1,其他位置标记为0,得到pixel张二维line*T大小血管位置的标签图像;将标签图像与转置后的原始图像在U-net神经网络中进行训练;
步骤四、训练完成,再取T张采集到的原始图像,原始图像二维大小为line*pixel,通过三维数组转置操作转成pixel张二维line*T大小的图像,将图像输入到训练好的网络模型中进行预测并输出相同维度和大小的概率值数组;
步骤五、将模型输出的pixel张line*T大小的预测图像转成T张pixel*line大小的预测图像;并将每个对血流位置所预测的概率值沿T方向取平均值,最后得出一张pixel*line的概率分布图,以每个概率分布为灰度值的二维血流分布图,从而实现对血流的造影成像。
2.一种实现权利要求1的基于U-net神经网络的血流成像方法的装置,其特征在于,包括:低相干光源、CMOS相机、远心镜头、待测样品和计算机,所述低相干光源和所述待测样品依次位于照明光路上;所述待测样品、所述CMOS相机和所述远心镜头依次位于成像光路上;所述计算机连接与所述CMOS连接,用于采集图像数据并基于U-net神经网络进行训练预测实现对血流的造影成像。
3.根据权利要求2所述的一种基于U-net神经网络的血流成像装置,其特征在于,所述低相干光源为光纤耦合发光二极管光源。
CN202010201769.5A 2020-03-20 2020-03-20 一种基于U-net神经网络的血流成像方法及装置 Active CN111317462B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010201769.5A CN111317462B (zh) 2020-03-20 2020-03-20 一种基于U-net神经网络的血流成像方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010201769.5A CN111317462B (zh) 2020-03-20 2020-03-20 一种基于U-net神经网络的血流成像方法及装置

Publications (2)

Publication Number Publication Date
CN111317462A true CN111317462A (zh) 2020-06-23
CN111317462B CN111317462B (zh) 2023-11-03

Family

ID=71173424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010201769.5A Active CN111317462B (zh) 2020-03-20 2020-03-20 一种基于U-net神经网络的血流成像方法及装置

Country Status (1)

Country Link
CN (1) CN111317462B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112587118A (zh) * 2020-12-11 2021-04-02 北京工业大学 一种基于深度学习的扩散相关光谱血流量化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108175399A (zh) * 2017-12-21 2018-06-19 佛山科学技术学院 一种全场光学血流速度分析设备及其实现方法
CN109085378A (zh) * 2018-08-03 2018-12-25 佛山科学技术学院 一种低相干光投影层析成像的三维流速测量装置及方法
CN109583334A (zh) * 2018-11-16 2019-04-05 中山大学 一种基于时空关联神经网络的动作识别方法及其系统
CN109741335A (zh) * 2018-11-28 2019-05-10 北京理工大学 血管oct图像中血管壁及血流区域的分割方法与装置
CN110298844A (zh) * 2019-06-17 2019-10-01 艾瑞迈迪科技石家庄有限公司 X光造影图像血管分割与识别方法及装置
CN110334566A (zh) * 2019-03-22 2019-10-15 浙江工业大学 一种基于三维全卷积神经网络的oct内外指纹提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108175399A (zh) * 2017-12-21 2018-06-19 佛山科学技术学院 一种全场光学血流速度分析设备及其实现方法
CN109085378A (zh) * 2018-08-03 2018-12-25 佛山科学技术学院 一种低相干光投影层析成像的三维流速测量装置及方法
CN109583334A (zh) * 2018-11-16 2019-04-05 中山大学 一种基于时空关联神经网络的动作识别方法及其系统
CN109741335A (zh) * 2018-11-28 2019-05-10 北京理工大学 血管oct图像中血管壁及血流区域的分割方法与装置
CN110334566A (zh) * 2019-03-22 2019-10-15 浙江工业大学 一种基于三维全卷积神经网络的oct内外指纹提取方法
CN110298844A (zh) * 2019-06-17 2019-10-01 艾瑞迈迪科技石家庄有限公司 X光造影图像血管分割与识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DONGDONG HAO, YIMING LIU, BINJIE QIN: "Learning saliently temporal-spatial features for x-ray coronary angiography sequence segmentation", ELEVENTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE PROCESSING (ICDIP 2019), pages 1 - 8 *
XULEI YANG,GABRIEL TJIO, FENG YANG等: "A Multi-channel Deep Learning Approach for Segmentation of the Left Ventricular Endocardium from Cardiac Images", 2019 41ST ANNUAL INTERNATIONAL CONFERENCE OF THE IEEE ENGINEERING IN MEDICINE AND BIOLOGY SOCIETY (EMBC), pages 4016 - 4019 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112587118A (zh) * 2020-12-11 2021-04-02 北京工业大学 一种基于深度学习的扩散相关光谱血流量化方法
CN112587118B (zh) * 2020-12-11 2023-02-28 北京工业大学 一种基于深度学习的扩散相关光谱血流量化方法

Also Published As

Publication number Publication date
CN111317462B (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
WO2018155898A1 (en) Method and apparatus for processing histological image captured by medical imaging device
KR102251749B1 (ko) 효율적인 변조 이미지 진단
CN108670239B (zh) 一种基于特征空间的三维血流成像方法与系统
JP6787076B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
CN107468234B (zh) 一种血管血流投影层析三维成像系统及成像方法
CN102028477B (zh) 一种测量眼底视网膜血氧饱和度的装置及方法
US10485425B2 (en) Apparatus and methods for structured light scatteroscopy
JP7062926B2 (ja) 呈色反応検出システム、呈色反応検出方法及びプログラム
CN105433906A (zh) 一种扫描暗场激光散斑血流成像方法及装置
CN102695447A (zh) 宫颈、胎膜以及羊膜检查和评估装置及其方法
JP7071240B2 (ja) 検査支援装置、方法およびプログラム
CN106419889A (zh) 一种基于片层光的血流三维成像装置及方法
CN111317462B (zh) 一种基于U-net神经网络的血流成像方法及装置
EP4056123A1 (en) Three-dimensional diagnostic system
CN109557070A (zh) 一种基于空间编码光的拉曼成像系统
CN212816237U (zh) 一种基于U-net神经网络的血流成像装置
JP2022126373A (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに医療診断システム
Ciaccio et al. Recommendations to quantify villous atrophy in video capsule endoscopy images of celiac disease patients
CN115444355B (zh) 一种内窥镜病变尺寸信息确定方法、电子设备及存储介质
WO2021099127A1 (en) Device, apparatus and method for imaging an object
CN107874741A (zh) 生物组织光学检测探头
CN206261600U (zh) 一种基于oct的原位三维打印皮肤修复设备
CN109142356A (zh) 一种白带显微图像菌丝自动识别设备及方法
WO2012138065A2 (ko) 고해상도 분광기를 구비한 광 단층촬영 시스템 및 그 방법
CN112155511A (zh) 一种基于深度学习补偿oct采集过程中人眼抖动的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee after: Foshan University

Country or region after: China

Address before: No.33 Guangyun Road, Shishan town, Nanhai District, Foshan City, Guangdong Province

Patentee before: FOSHAN University

Country or region before: China