CN101504763B - 超声图像多分辨率各向异性扩散滤波实时处理方法及装置 - Google Patents
超声图像多分辨率各向异性扩散滤波实时处理方法及装置 Download PDFInfo
- Publication number
- CN101504763B CN101504763B CN2009100091673A CN200910009167A CN101504763B CN 101504763 B CN101504763 B CN 101504763B CN 2009100091673 A CN2009100091673 A CN 2009100091673A CN 200910009167 A CN200910009167 A CN 200910009167A CN 101504763 B CN101504763 B CN 101504763B
- Authority
- CN
- China
- Prior art keywords
- image
- plate
- diffusing filter
- anisotropic diffusing
- carried out
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
一种超声图像多分辨率各向异性扩散滤波实时处理方法，针对多分辨各向异性扩散滤波图像处理算法计算量大、处理速度慢等特点，依靠Intel硬件及开发技术，采用分块和蒙板方法，保证图像信息不失真，抑制图像中的斑点噪声，提高图像处理的速度，用于在超声成像系统中对超声扫描图像显示数据的处理速度优化。
Description
技术领域
本发明涉及超声成像技术，特别涉及超声成像技术中的数字图像处理技术，尤其是解决超声图像实时处理的方法及装置。
背景技术
如图1所示，典型超声成像系统主要包括主控制器、探头、波束形成器、DSC(Digital Scan Converter，数字扫描转换)模块及显示器。在主控制器的控制下，探头发射出超声波，经过一定时间延迟，接收从组织反射回来的超声波信号。波束形成器将各通道反射回波信号进行聚焦、变迹、滤波、检波等处理获得扫描回波包络信号，然后通过DSC模块，信号转换为显示器可以显示的图像数据，最后由显示器输出。
由于超声波的空间分辨力有限及电路中的电磁噪声等因素导致超声回波信号中存在许多斑状噪声。采用多分辨率各向异性扩散滤波算法可以很好的滤除斑状噪声，同时又能增强组织结构信息，可以大幅提升超声图像的S/N(信噪比)。
上述算法复杂度高、计算量大，如果没有进行算法优化，超声成像系统的实时性特点就很难体现。如果采用FPGA或高性能的处理器实现，势必造成成本增加。
当前，很多处理器厂商都推出了双内核以及多内核处理器，如Intel公司推出的Core2系列，都支持多线程运行，此外，Intel公司的一些CPU还提供了SSE技术对基于寄存器的计算进行优化，特别是针对浮点数计算的优化。IPP则是Intel提供的采用SSE技术编写的库。这些处理器的产生可以有效地提高对数据的处理速度。
发明内容
本发明的主要目的是结合适当的处理器，通过优化算法解决多分辨率各向异性扩散滤波算法处理超声图像过程中的实时性问题。
为实现上述目的，本发明提出了超声图像多分辨率各向异性扩散滤波实时处理方法，该方法包括以下步骤：
对输入图像进行蒙板提取并保存；
对输入图像进行边缘延拓；
将延拓后的图像进行分成多个图像子块，并分别对这些图像子块进行边缘延拓；
使用多分辨率各向异性扩散滤波算法对这些图像子块进行滤波；对滤波后的图像子块进行组合；以及
用蒙板自学习方法处理组合后的图像，并输出最终结果。
优选的所述对延拓后的图像进行分块过程中，利用图像的尺度特征来控制子块的大小和重叠区的位置及大小。
优选的是，使用多线程机制，并利用线程开关来表征图像的多线程机制。
优选的是，利用线程开关把将要处理的子块序号及其对应的线程关联起来。
优选的是，所述采用SSE和IPP技术中，利用Additive Operation Splitting(AOS)算法求解扩散方程过程中，对子块数据进行-45°、0°、45°和90°4个方向进行数据重整。
优选的是，在组合各子块过程后去掉行方向延拓部分。
优选的是，蒙板自学习处理包括以下步骤：
采用梯度阈值判断确定边界，控制搜索过程进行蒙板提取；
对提取到的蒙板与新的图像进行相关计算，根据阈值确定是否提取新的蒙板并更新上一个蒙板；
将当前蒙板与被多分辨率各向异性扩散滤波后的超声图像数据进行逻辑与操作，得到最终处理结果并输出。
本发明还提供了一种超声图像多分辨率各向异性扩散滤波实时处理装置，该装置包括：
对输入图像进行蒙板提取并保存的装置；
对图像进行边缘延拓的装置；
将延拓后的图像进行分成多个图像子块，并分别对这些图像子块进行边缘延拓的装置；
使用多分辨率各向异性扩散滤波算法对这些图像子块进行滤波；对滤波后的图像子块进行组合的装置；以及
用蒙板自学习方法处理组合后的图像，并输出最终结果的装置。
本发明针对超声图像数据量大、8bits数字存储等特点，基于X86平台，采用Intel Core 2 CPU，采用分块方法充分利用CPU的二级缓存的数据传输和计算快特点，采用Intel Streaming SIMD Extensions(SSE)和IntegratedPerformance Primitives(IPP)技术，针对多核处理器采用多线程处理方法。由于多分辨率各向异性扩散滤波算法对图像的边缘会产生额外的扩散，使得图像边缘数据失真，为了解决此问题，本发明采用了蒙板自学习的方法。
本发明在数据类型转换和数据搬移方面利用了IPP库，而在具体计算过程中，全部使用SSE指令，可以使得运算速度提升将近4倍。超声图像是二维图像，图像数据在内存中按行优先进行顺序存储。本发明采用数组记录每行数据首地址，这样做的目的是在访问二维图像数据时，可以做到行、列两个方向上访问均为临近访问，从而大大节约了对数据的访问时间。在图像数据行方向计算时，使用变换图像数据存储方式，便于使用SSE技术。
分块可以为多线程并行处理提供方便，同时，也充分利用了处理器的二级缓存。采用边界延拓的方法解决分块处理中产生的边界不连续问题。
充分利用Intel Core 2 CPU的优势，使用多核多线程处理超声图像，提高超声图像处理算法的并行度，达到超声图像实时处理的目的。因此，对超声图像进行合理的分块，是不可避免的。
采用多分辨率各向异性扩散滤波算法处理图像的原理是在不同分辨率下结合图像的信息结构进行扩散处理，滤除了大量斑状噪声，同时保证图像边缘信息得到增强，特别是图像结构信息。但在处理过程中，存在很小的失真现象，特别是在图像有效数据和背景交界处。产生这些失真与扩散模型本身及数字图像计算中梯度方向的近似有关，可以采用蒙板的方法解决图像边缘被扩散的问题。从未处理图像提取蒙板，处理处理后的图像，同时产生蒙板是否提取判别机制，通过自学习来更新蒙板。
附图说明
图1是本发明方法所基于的超声成像系统框图
图2是本发明在超声成像系统中所处的位置框图
图3是本发明的总体实现框图
图4是图像块划分框图
图5是子块边缘延拓框图
图6是数据行方向SSE处理搬移框图
图7是Additive Operator Splitting(AOS)计算数据搬移框图
图8是蒙板图像处理框图
图9是蒙板自学习框图
具体实施方式
本发明提升超声图像处理实时性能的方法，针对多分辨各向异性扩散滤波图像处理算法计算量大、处理速度慢等特点，依靠Intel硬件及开发技术，采用分块和蒙板方法，保证图像信息不失真，抑制图像中的斑点噪声，提高图像处理的速度，用于在超声成像系统中对超声扫描图像显示数据的处理速度优化。图2描述了本发明在整个超声成像系统中的位置。
图3描述了本发明实现的总体框图，系统由数据输入、分块、边缘延拓、线程选择、图像处理、组合和蒙板处理等环节构成。
数据通过Intel CPU和二级缓存间的交换与计算，效率远高于二级缓存与内存间数据交换。由于图像数据是按照行方向顺序存储，因此，有必要把图像按照行方向分成若干块，利用多线程处理机制进行并行处理。
首先对输入图像进行蒙板提取并保存，然后对输入图像进行行方向的边缘延拓，对图像进行行方向分块，如图4所示。块的行方向间隔Lines[i]＝Block[i].end-Block[i].start+1，i＝0，1，…，n。由于多分辨率各向异性扩散滤波中AOS方法在-45°、45°和90°方向求解扩散方程时，关联整幅图像列数据，因此相邻块之间保留部分重叠区，使得处理后的图像重组时保持连续，重叠区行方向间隔Overlap[i]＝Block[i-1].end-Block[i].start，i＝1，2，…，n。组合过程则是按照Block[0].start、Block[i].end，i＝1，2，…，n，作为组合块起始位置进行组合，最后去掉行方向延拓部分。
本发明是基于不支持超线程技术的Intel Core 2 CPU，因此整个处理过程采用两个线程，每个线程处理一个子块，线程开关判断下一个将要处理的子块序号及其对应的线程。
本发明运用Intel SSE技术，加速了浮点数据计算的速度。图像数据是按照行方向顺序存储，因此在列方向运用SSE技术很方便。图像数据通过转置的方法，使得行方向也可以利用SSE技术，实现方法如图6所示，图像行方向被分成相同的4份，Transpose_level描述了对某一level数据进行的行方向的数据搬移操作，Transpose_levle_back是数据排列还原操作。求解扩散方程时，采用AOS算法，裂解4个方向近似计算，如图7所示。为了进一步加速求解微分方程，对AOS算法中数据访问进行优化，±45°方向的数据进行45°移位重新排列，0°方向数据进行转置操作，90°方向数据保持不变。
本发明使用蒙板处理超声图像边缘数据的失真。蒙板是标识原始图像数据边缘信息的数据区，其尺寸和原始图像数据区相同。由于原始图像数据包含显示背景，经过图像处理后会使得轮廓处出现扩散数据，而蒙板包含了未经过图像处理的超声图像数据背景信息，它与经过图像处理后的数据进行逻辑与操作可以很好的消除轮廓处的扩散数据。其具体操作：首先初始化蒙板数据为0，然后扫描原始图像数据，计算列方向的梯度Grand(x，y)，设定梯度阈值T，如果Grand(x，y)＞T，则认为是边界，把蒙板中此地址处数据设置为255，从相反方向进行扫描，重复上述操作，直到扫描整幅图像，初始蒙板被提取完成。蒙板的学习是前一个蒙板数据与初始数据在相似权重符合要求的位置进行相关操作，计算相似程度，如果相似程度小于阈值，则认为此处相似计算权重加1，反之，蒙板保留原始数据不变。最后使用当前蒙板与处理后的超声图像数据与操作，并输出。图8和图9描述了蒙板在程序中的位置及求解框图。
Claims (8)
1.一种超声图像多分辨率各向异性扩散滤波实时处理方法，该方法包括以下步骤：
对输入图像进行蒙板提取并保存；
对输入图像进行行方向边缘延拓；
将延拓后的图像沿行方向分成多个图像子块，并分别对这些图像子块进行行边缘延拓；
使用多分辨率各向异性扩散滤波算法对这些图像子块进行滤波；对滤波后的图像子块进行组合；以及
用蒙板自学习方法处理组合后的图像，并输出最终结果；
其中，蒙板自学习方法处理包括以下步骤：
采用梯度阈值判断确定边界，控制搜索过程进行蒙板提取；
对提取到的蒙板与新的图像进行相关计算，根据阈值确定是否提取新的蒙板并更新上一个蒙板；
将当前蒙板与被多分辨率各向异性扩散滤波后的超声图像数据进行逻辑与操作，得到最终处理结果并输出。
2.根据权利要求1所述的一种超声图像多分辨率各向异性扩散滤波实时处理方法，其特征在于：所述对延拓后的图像进行分块过程中，利用图像的尺度特征来控制子块的大小和重叠区的位置及大小。
3.根据权利要求2所述的超声图像多分辨率各向异性扩散滤波实时处理方法，其特征在于：使用多线程机制，并利用线程开关来表征图像的多线程机制。
4.根据权利要求3所述的超声图像多分辨率各向异性扩散滤波实时处理方法，其特征在于：利用线程开关把将要处理的子块序号及其对应的线程关联起来。
5.根据权利要求1所述的超声图像多分辨率各向异性扩散滤波实时处理方法，其特征在于：进一步包括采用SSE和IPP技术，利用Additive Operation Splitting(AOS)算法在求解扩散方程的过程中，对子块数据在-45°，0°，45°，90°四个方向进行数据重整。
6.根据权利要求1所述的超声图像多分辨率各向异性扩散滤波实时处理方法，其特征在于：在组合各子块过程后去掉行方向延拓部分。
7.一种超声图像多分辨率各向异性扩散滤波实时处理装置，该装置包括：
对输入图像进行蒙板提取并保存的装置；
对图像进行行方向边缘延拓的装置；
将延拓后的图像沿行方向分成多个图像子块，并分别对这些图像子块进行行边缘延拓的装置；
使用多分辨率各向异性扩散滤波算法对这些图像子块进行滤波；对滤波后的图像子块进行组合的装置；以及
用蒙板自学习方法处理组合后的图像，其中，蒙板自学习方法处理包括以下步骤：
采用梯度阈值判断确定边界，控制搜索过程进行蒙板提取；
对提取到的蒙板与新的图像进行相关计算，根据阈值确定是否提取新的蒙板并更新上一个蒙板；
将当前蒙板与被多分辨率各向异性扩散滤波后的超声图像数据进行逻辑与操作，得到最终处理结果并输出；
并输出最终结果的装置。
8.使用权利要求7中的超声图像多分辨率各向异性扩散滤波实时处理装置的超声成像系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100091673A CN101504763B (zh) | 2009-02-20 | 2009-02-20 | 超声图像多分辨率各向异性扩散滤波实时处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2009100091673A CN101504763B (zh) | 2009-02-20 | 2009-02-20 | 超声图像多分辨率各向异性扩散滤波实时处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101504763A CN101504763A (zh) | 2009-08-12 |
| CN101504763B true CN101504763B (zh) | 2011-05-18 |
Family
ID=40976998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2009100091673A Active CN101504763B (zh) | 2009-02-20 | 2009-02-20 | 超声图像多分辨率各向异性扩散滤波实时处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101504763B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5383416B2 (ja) * | 2009-10-06 | 2014-01-08 | キヤノン株式会社 | 画像処理装置及びその制御方法とプログラム |
| CN102073982B (zh) * | 2011-01-10 | 2012-07-25 | 西安电子科技大学 | 用gpu实现超大sar图像各向异性扩散滤波加速方法 |
| WO2013029231A1 (en) * | 2011-08-30 | 2013-03-07 | Technicolor (China) Technology Co., Ltd. | Anisotropic gradient regularization for image denoising, compression, and interpolation |
| CN109859122A (zh) * | 2019-01-09 | 2019-06-07 | 武汉精立电子技术有限公司 | 一种各向同性滤波方法及系统 |
| CN110401835B (zh) * | 2019-06-05 | 2021-07-02 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
-
2009
- 2009-02-20 CN CN2009100091673A patent/CN101504763B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN101504763A (zh) | 2009-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11704569B2 (en) | Methods and apparatus for enhancing a binary weight neural network using a dependency tree | |
| US11640526B2 (en) | Methods and apparatus for enhancing a neural network using binary tensor and scale factor pairs | |
| CN101504763B (zh) | 超声图像多分辨率各向异性扩散滤波实时处理方法及装置 | |
| Luo et al. | Canny edge detection on NVIDIA CUDA | |
| US20240127408A1 (en) | Adaptive deformable kernel prediction network for image de-noising | |
| WO2020190807A1 (en) | Systolic disaggregation within a matrix accelerator architecture | |
| WO2020190811A1 (en) | Cache structure and utilization | |
| US20220058852A1 (en) | Multi-tile graphics processor rendering | |
| CN109859178B (zh) | 一种基于fpga的红外遥感图像实时目标检测方法 | |
| US11281496B2 (en) | Thread group scheduling for graphics processing | |
| US11361420B2 (en) | Apparatus and method for evaluating the quality of a 3D point cloud | |
| JP6429428B2 (ja) | リアルタイムアプリケーションのための同時エッジアーチファクト除去を伴う二次元離散フーリエ変換 | |
| US11409658B2 (en) | Data prefetching for graphics data processing | |
| US20200293365A1 (en) | Transactional page fault handling | |
| Rahman et al. | Parallel implementation of a spatio-temporal visual saliency model | |
| US11816894B2 (en) | Method and apparatus for determining a game status | |
| US20220207293A1 (en) | Method and apparatus of spatially sparse convolution module for visual rendering and synthesis | |
| Taranco et al. | A low-power hardware accelerator for ORB feature extraction in self-driving cars | |
| US10598753B2 (en) | GPU based implementation of sense (a parallel MRI algorithm) using left inverse method | |
| Yiu et al. | Real-time GPU-based software beamformer designed for advanced imaging methods research | |
| CN103927721A (zh) | 基于gpu的运动目标边缘增强方法 | |
| Han et al. | GPU-accelerated, gradient-free MI deformable registration for atlas-based MR brain image segmentation | |
| US11915450B2 (en) | Method and apparatus for determining a frontal body orientation | |
| CN115661170A (zh) | 一种腹部三维ct图像自动分割方法、设备及介质 | |
| CN108629798A (zh) | 基于gpu的图像快速配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Multi-resolution anisotropic diffusing filter real-time processing method and device for ultrasound pattern Effective date of registration: 20130321 Granted publication date: 20110518 Pledgee: Shenzhen SME credit financing guarantee Group Co., Ltd. Pledgor: Shenzhen Emperor Electronic Tech. Co., Ltd. Registration number: 2013990000160 |
|
| PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20151223 Granted publication date: 20110518 Pledgee: Shenzhen SME credit financing guarantee Group Co., Ltd. Pledgor: Shenzhen Emperor Electronic Tech. Co., Ltd. Registration number: 2013990000160 |
|
| PLDC | Enforcement, change and cancellation of contracts on pledge of patent right or utility model |