CN106780349B - 基于fpga的空间复合成像方法以及装置 - Google Patents
基于fpga的空间复合成像方法以及装置 Download PDFInfo
- Publication number
- CN106780349B CN106780349B CN201611023419.4A CN201611023419A CN106780349B CN 106780349 B CN106780349 B CN 106780349B CN 201611023419 A CN201611023419 A CN 201611023419A CN 106780349 B CN106780349 B CN 106780349B
- Authority
- CN
- China
- Prior art keywords
- image data
- processing
- composite image
- space
- space composite
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002131 composite material Substances 0.000 title claims abstract description 126
- 238000003384 imaging method Methods 0.000 title claims abstract description 54
- 238000012545 processing Methods 0.000 claims abstract description 132
- 238000012937 correction Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 38
- 150000001875 compounds Chemical class 0.000 claims abstract description 24
- 238000009499 grossing Methods 0.000 claims description 26
- 238000013329 compounding Methods 0.000 claims description 21
- 238000002604 ultrasonography Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 16
- 230000003313 weakening effect Effects 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 239000000523 sample Substances 0.000 description 7
- 238000010606 normalization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000003139 buffering effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/60—Rotation of whole images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于FPGA的空间复合成像方法及装置,通过获取不同偏转角度的超声非空间复合图像数据;对超声非空间复合图像数据进行交织处理;对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;对坐标校正后的图像数据进行解交织处理;将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。本申请降低了空间复合算法实现的复杂度,能够有效提高空间复合运算的速度,降低图像的处理时间,提高成像帧率。
Description
技术领域
本发明涉及医学超声波成像技术领域,特别是涉及一种基于FPGA的空间复合成像方法以及装置。
背景技术
医学超声成像系统中的空间复合成像是一种沿不同角度对扫描对象进行扫描,然后将这些不同角度的图像对应的像素点进行叠加,形成一幅图像的成像方法。空间复合成像技术可以提高图像的细节表现,同时降低图像中的斑点噪声、杂波以及其他超声伪像对图像质量的影响,增强组织间的分辨能力,可明显地提高超声图像中低对比度组织及微小病变的清晰度,清晰地显示组织间的边界。
现有的空间复合成像技术是通过扫描线的偏转,从不同角度对目标组织进行扫描,获取这些不同扫描角度的图像后,将这些图像对应的像素点加权求和以合成一幅图像。通常,空间复合算法都是在CPU通过软件编程实现。空间复合成像在应用实现时,往往不会等所有角度都扫描完了之后再进行一次复合图像处理,而是采取一种滚动处理。以三个角度偏转的空间复合成像为例,角度A/B/C。上一个周期扫描获得A0/B0/C0三个角度的图像从而获得了一幅空间复合的图像Y0,当下一个扫描周期的A1采集到后,Y1的输出就可以用B0/C0/A1获得,原理上可以简单的表示为Y1=Y0-A0+A1,以此类推,每采集到一个偏转角度的图像即可获得一帧空间复合的输出。
如果空间复合成像的帧率要达到普通B模式成像(非空间复合)的帧率,对CPU的运算能力和数据调度性能有一定要求。如果CPU性能不够,就会导致实现空间复合算法时间较长,导致超声成像的帧率变低。因此,提供一种提高处理速度以及成像帧率的空间复合成像方法是非常有必要的。
发明内容
本发明的目的是提供一种空间复合成像方法以及装置,以解决现有空间复合的处理速度较慢、成像帧率较低的问题。
为解决上述技术问题,本发明提供一种基于FPGA的空间复合成像方法,包括:
获取不同偏转角度的超声非空间复合图像数据;
对所述超声非空间复合图像数据进行交织处理;
对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;
对坐标校正后的图像数据进行解交织处理;
将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
可选地,所述对所述超声非空间复合图像数据进行交织处理的步骤包括:
采用预设窗口对所述超声非空间复合图像数据进行分割;
对分割后的所述超声非空间复合图像数据进行流水线式的交织处理;
将交织处理后的图像数据存储至外部存储设备。
可选地,所述对交织处理后的超声非空间复合图像数据进行坐标校正的步骤包括:
按照预设方向从外部存储设备获取交织处理后的图像数据;
从所述外部存储设备读取坐标校正所需的参数信息;
当交织处理后的图像数据以及所述参数信息满足预设阈值条件时,对交织处理后的超声非空间复合图像数据进行坐标校正;
将坐标校正后的图像数据存储至所述外部存储设备。
可选地,所述对交织处理后的超声非空间复合图像数据进行坐标校正的步骤包括:
采用线性插值算法对交织处理后的图像数据进行配准;
对配准处理后的图像数据中像素点的坐标进行运算,根据超声非空间复合图像的预设边界对所述像素点进行处理,去除超出所述预设边界的像素点,未被所述预设边界覆盖的区域的像素点补零。
可选地,所述对坐标校正后的图像数据进行解交织处理的步骤包括:
从所述外部存储设备读取坐标校正后的图像数据;
对坐标校正后的图像数据进行解交织处理;
将解交织处理后的图像数据存储至所述外部存储设备。
可选地,所述将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像包括:
从所述外部存储设备获取解交织处理后的图像数据;
将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
可选地,在所述获取不同偏转角度的超声非空间复合图像数据的步骤之后,在所述对交织处理后的超声非空间复合图像数据进行坐标校正的步骤之前还包括:
对所述超声非空间复合图像数据进行线平滑处理和/或边缘弱化处理。
可选地,对所述超声非空间复合图像数据进行线平滑处理的步骤包括:
采用分段式进行线平滑预处理,对线边缘处保持原始数值,对中间段线采用三阶FIR滤波的方式进行平滑处理;
其中,设总线数为N,当前线号为n,则线边缘处定义为n≤2,n≥N-2,中间段线定位为3≤n≤n-3。
本发明还提供了一种基于FPGA的空间复合成像装置,包括:
获取模块,用于获取不同偏转角度的超声非空间复合图像数据;
交织模块,用于对所述超声非空间复合图像数据进行交织处理;
坐标校正模块,用于对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;
解交织模块,用于对坐标校正后的图像数据进行解交织处理;
复合模块,用于将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
可选地,还包括:
预处理模块,用于在获取不同偏转角度的超声非空间复合图像数据的步骤之后,在对交织处理后的超声非空间复合图像数据进行坐标校正的步骤之前,对所述超声非空间复合图像数据进行线平滑处理和/或边缘弱化处理。
本发明所提供的基于FPGA的空间复合成像方法及装置,通过获取不同偏转角度的超声非空间复合图像数据;对超声非空间复合图像数据进行交织处理;对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;对坐标校正后的图像数据进行解交织处理;将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。本申请降低了空间复合算法实现的复杂度,能够有效提高空间复合运算的速度,降低图像的处理时间,提高成像帧率。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于FPGA的空间复合成像方法的一种具体实施方式的流程图;
图2为本发明所提供的基于FPGA的空间复合成像方法的另一种具体实施方式的流程图;
图3为本发明实施例中对超声非空间复合图像数据进行交织处理步骤的流程图;
图4为本发明实施例中进行坐标校正步骤的流程图;
图5本发明所提供的基于FPGA的空间复合成像方法的又一种具体实施方式示意图;
图6为空间复合成像FPGA实现的整体框架示意图;
图7为空间复合成像FPGA实现的数据处理流程图;
图8为本发明实施例提供的基于FPGA的空间复合成像装置的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合附图和具体实施方式对本发明作进一步的详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明所提供的基于FPGA的空间复合成像方法的一种具体实施方式的流程图,如图1所示,该方法包括:
步骤S101:获取不同偏转角度的超声非空间复合图像数据。
超声探头发射超声信号,并接收不同偏转角度的超声回波信号,超声回波信号中除了包含超声非空间复合图像数据,即超声B图像回波信号以外,还包括有波束信号、ADC采集回波信号等其他信号。将不同偏转角度的超声回波信号进行存储,具体可以存储在外部存储设备,如DDR存储器中。在本实施例步骤S101中从该外部存储设备中读取超声非空间复合图像数据。
步骤S102:对所述超声非空间复合图像数据进行交织处理。
交织处理从其本质上来说就是实现最大限度的改变信息结构而不改变信息内容。通过对超声非空间复合图像数据进行交织预处理,能够降低空间复合算法实现的复杂度。
步骤S103:对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据。
对坐标进行校正能够将不同偏转角度的图像统一恢复至未偏转时的图像,以便后续进行空间复合的操作。
步骤S104:对坐标校正后的图像数据进行解交织处理。
本步骤中解交织处理为步骤S102中的交织处理的逆过程,通过对图像数据进行解交织处理,将图像数据还原为原始图像规则以及尺寸。
步骤S105:将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
将不同偏转角度的超声非空间复合图像数据进行融合,即可得到空间复合图像。
本发明所提供的基于FPGA的空间复合成像方法,通过获取不同偏转角度的超声非空间复合图像数据;对超声非空间复合图像数据进行交织处理;对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;对坐标校正后的图像数据进行解交织处理;将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。本申请降低了空间复合算法实现的复杂度,能够有效提高空间复合运算的速度,降低图像的处理时间,提高成像帧率。
本申请将空间复合算法采用FPGA进行实现,由于FPGA内部的缓存空间有限,因此需要采用外部存储设备进行数据的缓存。外部存储设备可以具体为片外高速DDR3存储器(Double Data Rate SDRAM第3代),其他能够实现存储的设备均可,并不限于这一种。
下面通过具体实施例对FPGA与外部存储设备进行空间复合任务调度的过程进行进一步详细阐述。
如图2本发明所提供的基于FPGA的空间复合成像方法的另一种具体实施方式的流程图所示,该过程具体可以包括:
步骤S201:从外部存储设备中获取不同偏转角度的超声非空间复合图像数据。
超声探头发射超声信号,并将接收到的不同偏转角度的超声非空间复合图像数据存储至外部存储设备中。优选地,在存储之前还可以包括对超声非空间复合图像数据进行信号放大、模/数转换处理、波束合成以及数字信号处理等过程。
步骤S202:对超声非空间复合图像数据进行流水线式的交织处理,将交织处理后的图像数据存储至外部存储设备;
本实施例中,如图3所示,对超声非空间复合图像数据进行交织处理的过程可以具体包括:
步骤S2021:采用预设窗口对所述超声非空间复合图像数据进行分割。
FPGA在处理大尺寸的图像数据时,如果一次性处理完则需要很大的存储空间。因此,在实际应用中由于存储空间和逻辑资源的限制,需要将大尺寸的图像数据分割成小尺寸的图像数据进行处理。因此,本实施例中以预设窗口对超声非空间复合图像数据进行分割。预设窗口的大小可以为64×64的窗口,也可以为128×128或者32×32,这均不影响本发明的实现。
步骤S2022:对分割后的所述超声非空间复合图像数据进行流水线式的交织处理。
FPGA内部的逻辑硬件电路将超声非空间复合图像数据分割为多个64×64窗口,并以此窗口为最小单位,将B图像DDR3缓存空间的数据搬运至逻辑内部Ram存储空间。逻辑硬件电路以窗口为单位,对逻辑内部缓存的数据进行流水线式的交织处理,并将交织后的窗口数据上传至外部缓存设备。
其中,在对缓存数据进行交织处理时,采用双片Ram进行乒乓操作,以实现逻辑内部缓存数据能够持续不断地流水线式处理。
乒乓操作为应用于数据流控制的处理技巧,将数据流等时分配到两个数据缓存区,然后按节拍、相互配合的切换,从而将数据流处于一种连续不断的状态,以达到数据无缝缓冲和处理的效果。
流水线式处理的方式是高速设计中的一种技术手段,即将数据处理流程分为若干步骤,前一个步骤的输出是下一个步骤的输入。其最大的特点是数据流的每个步骤的处理从时间上来看是连续的,通过这样的设置能够进一步提高数据处理的效率。
需要指出的是,本实施例中以64×64为窗口作为最小处理单元,该方式是本发明结合Xilinx tdpram资源特性的一种优选方案,还可以将交织处理的窗口大小修改为128×128或者32×32等,即与本发明中优选方案设置窗口大小不同,这均不影响本发明的实现。
步骤S203:从外部存储设备中获取交织处理后的数据,进行坐标校正,将校正后的数据存储至外部存储设备;
本实施例中,如图4所示,进行坐标校正的步骤可以具体为:
步骤S2031:按照预设方向从外部存储设备获取交织处理后的图像数据。
预设方向可以具体为:按照超声回波信号的深度方向,即,超声探头(probe)往人体测量的方向。逻辑硬件电路以同一深度不同线为单位,从外部存储设备中读取交织后的数据。同样地,调度的方式也可以采用队列流控的方式来实现,以提高数据处理的效率。
步骤S2032:从外部存储设备读取坐标校正所需的参数信息。
需要指出的是,步骤S2031以及步骤S2032之间可以并行进行处理,并没有顺序的限制。
步骤S2033:当交织后的图像数据以及参数信息满足预设阈值条件时,对交织处理后的超声非空间复合图像数据进行坐标校正。
本实施例在数据信号处理之前设置阈值条件,预设阈值条件为坐标校正所需的参数信息和交织处理后的图像数据二者均到达。
预设阈值条件具体可以为判断交织缓存区数据以及参数对应的队列的状态是否均不为空,即相应队列中是否存在数据和参数。只有在交织缓存区数据以及参数信息均到达,判定满足预设阈值条件时,才能够执行后续操作。在不满足预设阈值条件时,则返回执行任务调度的过程,直至满足预设阈值条件为止。
坐标校正包括:配准处理以及边界处理两个过程。
其中,配准处理可以采用线性插值算法对图像数据进行配准。在本实施例中,采用Catmull-ROM线性插值算法。Catmull-ROM插值算法进行坐标矫正,首先在纵向方向(深度方向)进行线性插值,然后再横向(线方向)进行插值计算。当然还可以采用其他插值算法,在此不一一赘述。
边界处理包括:对配准处理后的图像数据中像素点的坐标进行运算。根据超声非空间复合图像的预设边界对像素点进行处理,去除超出预设边界的像素点,未被预设边界覆盖的区域的像素点补零。预设边界为原始采集到的超声非空间复合图像对应的边界尺寸范围。
本实施例中,坐标校正所需的参数信息具体包括配准过程中线性插值算法所需的参数以及边界处理过程中的预设边界的尺寸参数。
步骤S204:从外部存储设备读取坐标校正后的图像数据,对坐标校正后的图像数据进行解交织处理,并将解交织处理后的数据存储至外部存储设备。
步骤S205:从外部存储设备获取解交织处理后的数据,将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
通过对不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,即进行归一化处理,实现了对超声非空间复合图像叠加的区域进行弱化的目的。
本申请实施例采用FPGA实现空间复合算法,采用片外高速DDR存储器进行数据缓存,FPGA通过高速访问接口实现数据调度和复合运算。本申请能够有效提高空间复合运算的速度,大大降低了图像的处理时间,提高了成像帧率,在不更换CPU的情况下有效提升了空间复合成像的效果。另外,本实施例采用外部存储设备缓存交织、坐标校正以及解交织图像处理结果,将图像数据进行不同程度上的调度,有效地提高了FPGA图像处理的规模和效率。
在上述任一实施例的基础上,在获取不同偏转角度的超声非空间复合图像数据的步骤之后,在对交织处理后的所述超声非空间复合图像数据进行坐标校正的步骤之前还可以包括:
对超声非空间复合图像数据进行线平滑处理和/或边缘弱化处理的过程。
如图5本发明所提供的基于FPGA的空间复合成像方法的又一种具体实施方式示意图所示,本发明实施例采用片外高速DDR存储器进行数据缓存,FPGA通过高速访问接口,采用流水的任务控制调度方式来实现数据调度和复合运算。该过程可以具体包括:
步骤S301:空间复合开始后,读取DDR3中超声非空间复合图像数据进行交织处理。
步骤S302:从DDR3中读取交织缓存区数据和处理所需参数。
本实施例中,处理所需的参数包括线平滑、边缘弱化和配准等数据处理过程中所需要的参数以及系数。
步骤S303:判断交织缓存区数据以及数据处理过程中的参数信息是否满足预设阈值条件,即判断数据和参数是否已经全部到达;如果是,则执行步骤S304;如果否,则返回步骤S302。
读取交织后所有线且同一深度的线数据时,逻辑硬件电路以同一深度不同线为单位,从缓存DDR3空间搬运数据、数字信号处理。其调度方式采用队列流控的方式来实现,并在数字信号处理前端设置阈值判断,当缓存数据事件队列和缓存参数队列的状态同时不为空时,即在缓存数据和缓存参数的队列容器中同时存在数据和参数时,则认为满足阈值判断条件,才开始线平滑、边缘弱化和配准处理。
本实施例中深度方向指垂直方向,即探头往人体测量的方向,水平方向为线扫查的方法。
步骤S304:当满足阈值判断条件,则对交织缓存区数据进行线平滑处理,以降低超声图像近场锯齿状以及远场马赛克。
对同一深度不同线的线数据进行线平滑处理,可以具体采用分段式处理,包括线边缘处保持原值、中间段线数据FIR滤波,其中,设总线数为N,当前线号为n,则线边缘处定义为n≤2,n≥N-2,中间段定义为3≤n≤n-3。逻辑硬件电路通过改变线边缘处加权系数,对线边缘处进行特殊处理,即保持原始数值不变;中间段线平滑处理,采用三阶FIR滤波的方式,流水式输出平滑后的结果。
本实施例采用三阶FIR滤波的方式,满足了对超声图像进行平滑处理的需求,与五阶滤波、七阶滤波等方式相比,更容易实现。通过对超声图像进行线平滑处理,能够降低近场锯齿状以及远场马赛克现象。
步骤S305:对交织缓存区平滑处理后的数据进行边缘弱化处理,以降低超声图像融合后的伪影。
步骤S306:对交织缓存区边缘弱化处理后的数据进行配准和边界处理,以对不同偏转角度的图像进行坐标校正。
本发明实施例采用Catmull-ROM插值算法进行坐标矫正,首先在纵向方向进行线性插值,然后在横向(线方向)进行插值计算。
对同一深度上的线数据进行配准处理,包括Catmull-ROM线性插值算法的FPGA实现、Catmull-ROM算法所需的插值系数与回波数据之间的同步运算以及双路并行配准处理单元。其中,双路并行配准处理单元按照Catmull-ROM插值规律,采用2×4运算窗口以4bit移位寄存器方式,将数据与插值系数进行乘法累加,每4个是时钟周期输出一个配准处理的结果。
配准处理可具体采用双路并行配准处理单元,该方式是本发明结合超声系统FPGA逻辑资源做出的优选方案,还可以有其他方法。例如:可以将配准处理单元拓展到四通道、六通道和八通道,以提高配准处理的速率,即与本发明中优选方案配准处理单元通路个数不是同一值,这均不影响本发明的实现。
对同一深度上的线数据进行边界处理时,逻辑硬件电路对配准插值后的图像数据中像素点的坐标进行运算,然后根据超声B回波图像的边界对配准后的像素点进行约束,将超出B图像边界的像素点抛弃,未被配准覆盖的区域补充零。
步骤S307:对交织缓存区数据进行解交织处理,将图像还原为原始图像规则和尺寸。
步骤S308:对解交织处理后的数据进行归一化处理,将不同偏转角度的超声图像进行融合。
在上述任一实施例的基础上,本发明实施例在对不同偏转角度的超声回波信号数据进行存储之前,还包括:对超声回波信号进行信号放大、模/数转换处理、波束合成以及数字信号处理。
需要指出的是,本实施例中数据流处理按照交织、线平滑、边缘弱化、配准、边界处理、解交织和归一化先后顺序进行,该方式是本发明结合算法进行实现的优选方案,当然还可以有其他方法。例如:可以将线平滑与边缘弱化的位置进行互换,或则将线平滑和边缘弱化的位置放在交织前完成,即本发明的数据流处理顺序可以进行调换。
图6为空间复合成像FPGA实现的整体框架示意图,该系统上游为用户配置接口以及DDR3高速读取接口,系统下游则为DDR3高速存储接口。而整个系统数据流从左至右,首先交织处理模块(INLE)从DDR3中获取不同偏转角度的超声回波信号,进行交织处理;然后信号处理模块(SCON_PRO)对交织后的超声回波信号进行边缘弱化、线平滑、配准和边界等处理;而后解交织模块(INV_INLE)将信号处理后的回波信号还原为通常格式上的超声信号;最后通过融合(NOR)模块将不同偏转角度的回波信进行归一化,得到空间复合图像。
图7为空间复合成像FPGA实现的数据处理流程图,图中标识了数据处理环节输入/出的信号名称、符号、位宽和精度,以sample_shifts15.5为例,其中sampe_shift为信号名称、s代表signed有符号数、15代表整数部分位宽为15,.5则代表小数部分位宽为5,而信号整体位宽则为20。图中所示,DownSizer主要用于数字信号的位宽截断,UpSizer则用于数字信号的位宽拓展,Edge_weak为边缘弱化处理模块,Scon_Cal则为配准坐标变换模块。
本实施例通过对超声回波信号进行交织预处理,能够大大降低空间复合算法实现的复杂度,因此在实际成像帧率较低以及医学超声系统CPU性能不足的情况下,能够通过现场可编程逻辑阵列FPGA对超声非空间复合图像数据进行存储调度、硬件加速以及空间复合处理。
下面对本发明实施例提供的基于FPGA的空间复合成像装置进行介绍,下文描述的基于FPGA的空间复合成像装置与上文描述的基于FPGA的空间复合成像方法可相互对应参照。
图8为本发明实施例提供的基于FPGA的空间复合成像装置的结构框图,参照图8基于FPGA的空间复合成像装置可以包括:
获取模块100,用于获取不同偏转角度的超声非空间复合图像数据;
交织模块200,用于对所述超声非空间复合图像数据进行交织处理;
坐标校正模块300,用于对交织处理后的超声非空间复合图像数据进行坐标校正,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;
解交织模块400,用于对坐标校正后的图像数据进行解交织处理;
复合模块500,用于将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
本申请降低了空间复合算法实现的复杂度,能够有效提高空间复合运算速度,降低一帧图像的处理时间,提高成像帧率。
综上,本申请采用现场可编程逻辑阵列FPGA取代传统MPU处理器,来实现医学超声图像业务上的空间复合功能。一方面给超声图像处理——空间复合,提供了多元化的实现方式;另一方面采用FPGA硬件加速的方式,能够有效地提高空间复合实现的速率、成像帧率。此外,本发明首先将超声非空间复合图像数据进行预交织处理,然后再进行线平滑、边缘弱化和配准等处理,很大程度上降低了空间复合FPGA实现的复杂度,节省了FPGA的逻辑资源。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于FPGA的空间复合成像方法以及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干改进和修饰,这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (5)
1.一种基于FPGA的空间复合成像方法,其特征在于,包括:
获取不同偏转角度的超声非空间复合图像数据;
采用预设窗口对所述超声非空间复合图像数据进行分割;对分割后的所述超声非空间复合图像数据进行流水线式的交织处理;将交织处理后的图像数据存储至外部存储设备;
对所述超声非空间复合图像数据进行线平滑处理和/或边缘弱化处理;所述线平滑处理的步骤包括:采用分段式进行线平滑预处理,对线边缘处保持原始数值,对中间段线采用三阶FIR滤波的方式进行平滑处理;其中,设总线数为N,当前线号为n,则线边缘处定义为n≤2,n≥N-2,中间段定义为3≤n≤N-3;
按照预设方向从外部存储设备获取交织处理后的图像数据;从所述外部存储设备读取坐标校正所需的参数信息;当交织处理后的图像数据以及所述参数信息满足预设阈值条件时,对交织处理后的超声非空间复合图像数据进行坐标校正;将坐标校正后的图像数据存储至所述外部存储设备,以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;所述预设方向为超声回波信号的深度方向;
对坐标校正后的图像数据进行解交织处理;
将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
2.如权利要求1所述的基于FPGA的空间复合成像方法,其特征在于,所述对交织处理后的超声非空间复合图像数据进行坐标校正的步骤包括:
采用线性插值算法对交织处理后的图像数据进行配准;
对配准处理后的图像数据中像素点的坐标进行运算,根据超声非空间复合图像的预设边界对所述像素点进行处理,去除超出所述预设边界的像素点,未被所述预设边界覆盖的区域的像素点补零。
3.如权利要求1所述的基于FPGA的空间复合成像方法,其特征在于,所述对坐标校正后的图像数据进行解交织处理的步骤包括:
从所述外部存储设备读取坐标校正后的图像数据;
对坐标校正后的图像数据进行解交织处理;
将解交织处理后的图像数据存储至所述外部存储设备。
4.如权利要求3所述的基于FPGA的空间复合成像方法,其特征在于,所述将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像包括:
从所述外部存储设备获取解交织处理后的图像数据;
将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
5.一种基于FPGA的空间复合成像装置,其特征在于,包括:
获取模块,用于获取不同偏转角度的超声非空间复合图像数据;
交织模块,用于采用预设窗口对所述超声非空间复合图像数据进行分割;对分割后的所述超声非空间复合图像数据进行流水线式的交织处理;将交织处理后的图像数据存储至外部存储设备;
预处理模块,用于对所述超声非空间复合图像数据进行线平滑处理和/或边缘弱化处理;所述预处理模块具体用于采用分段式进行线平滑预处理,对线边缘处保持原始数值,对中间段线采用三阶FIR滤波的方式进行平滑处理;其中,设总线数为N,当前线号为n,则线边缘处定义为n≤2,n≥N-2,中间段定义为3≤n≤N-3;
坐标校正模块,用于按照预设方向从外部存储设备获取交织处理后的图像数据;从所述外部存储设备读取坐标校正所需的参数信息;当交织处理后的图像数据以及所述参数信息满足预设阈值条件时,对交织处理后的超声非空间复合图像数据进行坐标校正;将坐标校正后的图像数据存储至所述外部存储设备以将发生角度偏转的图像数据恢复至零角度偏转的图像数据;所述预设方向为超声回波信号的深度方向;
解交织模块,用于对坐标校正后的图像数据进行解交织处理;
复合模块,用于将解交织后的不同偏转角度的超声非空间复合图像数据对应的像素点进行叠加,生成空间复合图像。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611023419.4A CN106780349B (zh) | 2016-11-21 | 2016-11-21 | 基于fpga的空间复合成像方法以及装置 |
PCT/CN2017/092936 WO2018090654A1 (zh) | 2016-11-21 | 2017-07-14 | 基于fpga的空间复合成像方法以及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201611023419.4A CN106780349B (zh) | 2016-11-21 | 2016-11-21 | 基于fpga的空间复合成像方法以及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106780349A CN106780349A (zh) | 2017-05-31 |
CN106780349B true CN106780349B (zh) | 2020-02-14 |
Family
ID=58969829
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201611023419.4A Active CN106780349B (zh) | 2016-11-21 | 2016-11-21 | 基于fpga的空间复合成像方法以及装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106780349B (zh) |
WO (1) | WO2018090654A1 (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106780349B (zh) * | 2016-11-21 | 2020-02-14 | 深圳开立生物医疗科技股份有限公司 | 基于fpga的空间复合成像方法以及装置 |
CN107970043B (zh) * | 2017-12-28 | 2021-01-19 | 深圳开立生物医疗科技股份有限公司 | 一种剪切波的检测方法及装置 |
CN110101411B (zh) * | 2019-05-28 | 2020-11-10 | 飞依诺科技(苏州)有限公司 | 超声成像空间复合方法及系统 |
CN111110273A (zh) * | 2019-12-31 | 2020-05-08 | 无锡祥生医疗科技股份有限公司 | 超声图像的处理方法、装置、存储介质 |
CN113934393A (zh) * | 2021-10-13 | 2022-01-14 | 北京青云航空仪表有限公司 | 基于fpga的图像变换方法及飞机座舱显示系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102038519A (zh) * | 2010-12-31 | 2011-05-04 | 飞依诺科技(苏州)有限公司 | 超声诊断的空间复合成像方法 |
CN102257785A (zh) * | 2008-10-30 | 2011-11-23 | 诺基亚公司 | 用于交织数据块的方法和装置 |
CN102727255A (zh) * | 2012-07-13 | 2012-10-17 | 深圳市理邦精密仪器股份有限公司 | 一种超声图像空间复合成像的方法及装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101199430B (zh) * | 2006-12-15 | 2011-12-28 | 深圳迈瑞生物医疗电子股份有限公司 | 空间复合成像方法、设备及其超声成像系统 |
CN101617946B (zh) * | 2008-07-04 | 2012-07-04 | 深圳迈瑞生物医疗电子股份有限公司 | 用于超声成像的空间复合方法与装置以及超声成像系统 |
IN2014DN07243A (zh) * | 2012-03-26 | 2015-04-24 | Maui Imaging Inc | |
CN106780349B (zh) * | 2016-11-21 | 2020-02-14 | 深圳开立生物医疗科技股份有限公司 | 基于fpga的空间复合成像方法以及装置 |
-
2016
- 2016-11-21 CN CN201611023419.4A patent/CN106780349B/zh active Active
-
2017
- 2017-07-14 WO PCT/CN2017/092936 patent/WO2018090654A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102257785A (zh) * | 2008-10-30 | 2011-11-23 | 诺基亚公司 | 用于交织数据块的方法和装置 |
CN102038519A (zh) * | 2010-12-31 | 2011-05-04 | 飞依诺科技(苏州)有限公司 | 超声诊断的空间复合成像方法 |
CN102727255A (zh) * | 2012-07-13 | 2012-10-17 | 深圳市理邦精密仪器股份有限公司 | 一种超声图像空间复合成像的方法及装置 |
Non-Patent Citations (4)
Title |
---|
Real-Time Spatial Compound Imaging: Application to Breast, Vascular, and Musculoskeletal Ultrasound;Robert R. Entrekin等;《Seminars in Ultrasound, CT, and MRI》;20010228;第22卷(第1期);全文 * |
光声成像系统的设计与实现;李建刚;《中国优秀硕士学位论文全文数据库 信息科技辑》;20120515(第5期);第I136-169页 * |
基于 FPGA的级联编译码模块在936C图像传输系统的应用;周强;《中国优秀硕士学位论文全文数据库 信息科技辑》;20110615(第6期);第I136-205页 * |
数据通信中交织与解交织的FPGA实现;范寒柏等;《华北电力大学学报》;20020430;第29卷(第2期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
WO2018090654A1 (zh) | 2018-05-24 |
CN106780349A (zh) | 2017-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106780349B (zh) | 基于fpga的空间复合成像方法以及装置 | |
CN102104713A (zh) | 使用来自非线性滤波的方向分量的自适应边缘增强 | |
CN106780338B (zh) | 基于各向异性的快速超分辨率重建方法 | |
CN109146813B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
KR20190059157A (ko) | 영상 화질 개선방법 및 그 장치 | |
CN106910162A (zh) | 基于fpga的图像缩放处理方法及装置 | |
JP2006325686A (ja) | 超音波診断装置及びその画像処理方法 | |
CN109191411B (zh) | 一种多任务图像重建方法、装置、设备和介质 | |
CN114596339A (zh) | 一种帧处理设备、方法及帧处理器 | |
Hisham et al. | An analysis of performance for commonly used interpolation method | |
KR101140953B1 (ko) | 영상 왜곡 보정 장치 및 방법 | |
CN111839588A (zh) | 一种超声图像生成方法、装置、设备及存储介质 | |
CN111107295B (zh) | 基于fpga和非线性插值的视频缩放方法 | |
JP2008229226A (ja) | 画像処理装置 | |
JPH1074258A (ja) | 画像処理方法および装置 | |
Angelopoulou et al. | Robust real-time super-resolution on FPGA and an application to video enhancement | |
KR101219103B1 (ko) | 프로그래밍 가능한 프로세서, 및 디지털 신호 처리 동작을 수행하는 방법 | |
CN1867295A (zh) | 超声波多普勒血流测定装置 | |
KR102480389B1 (ko) | X선 영상에서의 뼈 감쇄 방법 및 장치 | |
WO2013150917A1 (ja) | 超音波診断装置及び超音波画像の超解像生成方法 | |
Guo et al. | An energy-efficient image filtering interpolation algorithm using domain-specific dynamic reconfigurable array processor | |
Sikdar et al. | Programmable ultrasound scan conversion on a media-processor-based system | |
Wei et al. | Stage-GAN with semantic maps for large-scale image super-resolution | |
CN111464755B (zh) | 星载相机短曝光图像序列信噪比实时处理方法及系统 | |
Rubio-Ibáñez et al. | Efficient VHDL Implementation of an Upscaling Function for Real Time Video Applications |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |