CN107909624B - 一种从三维断层成像中提取及融合二维图像的方法 - Google Patents
一种从三维断层成像中提取及融合二维图像的方法 Download PDFInfo
- Publication number
- CN107909624B CN107909624B CN201711269644.0A CN201711269644A CN107909624B CN 107909624 B CN107909624 B CN 107909624B CN 201711269644 A CN201711269644 A CN 201711269644A CN 107909624 B CN107909624 B CN 107909624B
- Authority
- CN
- China
- Prior art keywords
- sensor
- ultrasonic
- image
- dimensional
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003325 tomography Methods 0.000 title claims abstract description 27
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000006073 displacement reaction Methods 0.000 claims abstract description 16
- 230000001133 acceleration Effects 0.000 claims description 37
- 238000003384 imaging method Methods 0.000 claims description 23
- 230000003238 somatosensory effect Effects 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 17
- 230000005484 gravity Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 6
- 210000003811 finger Anatomy 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000002604 ultrasonography Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012544 monitoring process Methods 0.000 claims description 4
- 210000003813 thumb Anatomy 0.000 claims description 4
- 230000001934 delay Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 210000005224 forefinger Anatomy 0.000 claims 1
- 238000002591 computed tomography Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001493 electron microscopy Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
- G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
- G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
- G01N23/046—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material using tomography, e.g. computed tomography [CT]
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
- G01N29/44—Processing the detected response signal, e.g. electronic circuits specially adapted therefor
- G01N29/4472—Mathematical theories or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/03—Investigating materials by wave or particle radiation by transmission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/10—Different kinds of radiation or particles
- G01N2223/101—Different kinds of radiation or particles electromagnetic radiation
- G01N2223/1016—X-ray
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N2223/00—Investigating materials by wave or particle radiation
- G01N2223/40—Imaging
- G01N2223/401—Imaging image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- General Health & Medical Sciences (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- Signal Processing (AREA)
- Algebra (AREA)
- Mathematical Analysis (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Computer Graphics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pulmonology (AREA)
- Radiology & Medical Imaging (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)
Abstract
本发明公开了一种从三维断层成像中提取及融合二维图像的方法，包括以下步骤：利用X光断层成像仪器，对目标三维空间发射X光信号，使用计算机断层成像重建目标三维空间图像；使用超声传感器对目标三维空间进行探测，采集信号并重建当前探测平面内的图像；利用位移传感器和角度传感器检测出超声传感器在三维空间中的位置和角度信息；结合超声传感器的位置和角度信息，从三维X光断层图像中提取当前探测平面的二维图像并与超声图像进行图像融合，通过上述步骤结合X光与超声两种探测手段得到精准度更高的探测图像。
Description
技术领域
本发明属于超声成像及X光成像处理领域，尤其涉及一种从三维断层成像中提取及融合二维图像的方法。
背景技术
经过几十年的研究与应用，X光断层扫描成像在各领域的应用也日趋深入。断层扫描成像由于其重建图像分辨率高，能够适用于许多需要高精度探测的场合，然而X光断层扫描成像也有其缺点，当探测区域有多个目标，且目标之间存在相互遮挡的情况时， X光断层扫描成像便无法较好地对目标区域成像，超声成像由于其操作便捷，实时性好，无辐射等优点受到了广泛的应用，但超声成像的分辨率并没有X光断层扫描成像高，因此，需要一种新的方法能结合两种成像方式各自的优势，实现精确度更高的图像重建。
发明内容
发明目的：本发明所要解决的技术问题是针对现有的X光断层扫描成像及超声成像方式，提供了一种从三维断层成像中提取及融合二维图像的方法，结合了X光断层扫描成像及超声成像方式各自的优势，实现了精确度更高的图像重建。
为了解决上述技术问题，本发明公开了一种从三维断层成像中提取及融合二维图像的方法，包括如下步骤：
步骤1，利用X光断层成像仪器，对目标三维空间发射X光信号，使用计算机断层成像重建目标三维空间图像；
步骤2，使用超声传感器对目标三维空间进行探测，采集信号并重建当前探测平面内的图像；
步骤3，利用位移传感器和角度传感器检测出超声传感器在三维空间中的位置和角度信息；
步骤4，结合超声传感器的位置和角度信息，从三维X光断层图像，即步骤1中得到的三维空间图像中提取当前探测平面的二维图像并与超声图像进行图像融合。
步骤1中，所述X光断层成像仪器包括一组环形传感器用于发射和接收X光信号，环形传感器可以自由移动来对三维空间的不同截面成像。
步骤1中，在对目标三维空间发射并采集X光信号时，环形传感器设定的工作模式是全角度发射模式，即环形传感器上每一个角度的传感器元轮流发射信号，而所有的传感器元同时开启接收模式接收信号。
采集X光信号时，X光环形传感器采集的信号主要是X光穿透目标三维空间后的传输信号，发射与采集的过程都是由环形传感器实时进行的。采集信号的强弱取决于目标三维空间内的X光衰减系数。
重建X光信号时，采用的重建方法为代数重建法，通过对X光的传播路径建立代数模型，根据接收到的X光信号，计算重建区域内每一个像素点的X光衰减系数。
(引用文献为:Gordon R,Bender R,Herman G T.Algebraic reconstructiontechniques(ART)for three-dimensional electron microscopy and X-rayphotography[J]. Journal of theoretical Biology,1970,29(3):471IN1477-476IN2481.)
步骤2中，所述超声传感器是线阵超声传感器，包括一组以上的线性排列的传感器元组，线阵超声传感器通过手持方式自由控制。在对目标三维空间发射与采集超声信号过程中，可以对目标三维空间的任意位置进行探测。
步骤2中，在对目标三维空间发射并采集超声信号时，线阵超声传感器设定的工作模式是同一组传感器元发射并接收，发射超声信号时，超声传感器使用一组线阵传感器元协同工作，发射波束形成后的波阵列，或者让每一个传感器元单独工作，各自发射信号，工作模式的选择取决于当前采用的超声图像重建方法；
采集超声信号时，超声传感器采集的信号是目标三维空间内对超声波的反射信号，发射与采集的过程都由线阵超声传感器实时进行。采集信号的强弱取决于目标三维空间内的声阻抗差异。
步骤2中，所述重建目标三维空间的二维超声图像，使用的重建信号是线阵超声传感器采集到的目标三维空间对超声波的反射信号，使用的重建方法是基于反射信号的波束形成以及延时叠加重建方法：
波束形成法，是利用线阵传感器发射不同时延的信号使信号能够聚焦在一个区域或者一个方向；目的是为了使最终重建出的超声灰度图成像质量更高，在这个过程中，若使信号沿着一个方向聚焦，其目的是为了避免在其它方向上可能存在的遮挡物干扰超声信号传输的情况，若使信号在一个区域聚焦，其目的是为了更好地在成像结果中显示出该区域的信息，也可以两种聚焦方式结合使用，以此来反应出成像区域中不同层次的信息；
延迟叠加法，是对应波束形成法的一种图像重建方法，在接收信号延迟叠加时，延迟是对应波束形成时的发射信号延迟，通过延迟后的叠加能够重建出发射信号的聚焦成像区域，对于沿一个方向聚焦的波束形成，信号延迟的计算公式为：
其中dn表示第n个传感器元发射信号的延迟，round代表四舍五入取整函数，in代表第n个传感器元，比如对于第1个传感器元，in＝1，对于第二个传感器元，则in＝2，以此类推，pitch代表传感器元的长度，θ代表发射波阵面聚焦的方向角，c0代表成像区域的背景声速值，dt代表抽样时间间隔，对于沿一个区域聚焦的波束形成，信号延迟的计算公式为：
其中F代表聚焦区域中心点与传感器阵列中心之间的距离，其余参数的含义与沿某一方向聚焦的波束形成的信号延迟的计算公式中相同；(引用文献为：Von Ramm OT，Smith SW.Beam steering with linear arrays[J ].IEEE transactions on biomedicalengineering，1983(8)：438-452.)
已知每个传感器元发射信号延迟dn后，根据传感器元接收的信号重建二维超声图像。
所述根据传感器元接收的信号重建二维超声图像包括如下步骤：
步骤2-1，将每个传感器元接收的信号根据该传感器元的发射信号延迟作时延处理；
步骤2-2，根据当前步骤正在重建的二维图像中每个像素点和传感器元之间的距离，将超声接收信号对应叠加到每一个像素点上，从而重建出二维超声图像，计算公式如下：
Pi代表一个截面内二维超声图像中第i个像素点的值，N代表一个线阵超声传感器中传感器元的总数，Sn代表第n个传感器元的接收信号，t表示时间自变量，dn表示第n个传感器元发射信号的延迟，Rn代表当前计算的像素点与第n个传感器元之间的距离，c0代表成像区域的背景声速值。
步骤3中所述位移传感器和角度传感器，分别是能够实时监测超声传感器空间位置的传感器和能够实时监测超声传感器角度信息的传感器，通过位移传感器和角度传感器，同步获取当前超声传感器的空间位置和角度信息。
步骤3中得到的空间位置和角度信息，与超声传感器的移动和旋转过程是一一对应的，即超声传感器作出任何的移动和旋转动作，系统控制端都会通过位移传感器和角度传感器探测到位置坐标和角度信息的变化，并且根据当前超声传感器的位置坐标和角度信息，能够唯一确定超声传感器的移动和旋转过程。
步骤3中所述角度传感器为三轴加速度传感器，其检测角度信息的过程如下：
步骤3-1，以角度传感器芯片所在处为原点，根据右手定则建立三维直角坐标系，即右手背对角度传感器芯片放置，伸出拇指即指向X轴的正方向，伸出食指即指向Y 轴的正方向，伸出中指即指向Z轴的正方向，当芯片倾斜时，重力加速度大小为g，所在方向为g轴，X轴方向的加速度大小为Ax，其与水平线夹角为α1，与重力加速度夹角为α，Y轴方向的加速度大小为Ay，其与水平线夹角为β1，与重力加速度夹角为β，Z 轴方向的加速度大小为Az，其与水平线夹角为γ1，与重力加速度夹角为γ，其中α＝90°-α1，β＝90°-β1，γ＝90°-γ1，Ax＝gcosα，Ay＝gcosβ，Az＝gcosγ；
步骤3-2，根据g轴和X、Y、Z轴间的几何关系得到：
步骤3-3，计算出角度和加速度之间的关系：
tanα1表示角度α1的正切值，tanβ1表示角度β1的正切值，tanγ1表示角度γ1的正切值，根据这组公式实时得到超声传感器的角度信息。
步骤3中，所述位移传感器为Kinect体感检测装置，Kinect体感检测装置是微软公司推出的一款三维体感摄影装置，Kinect体感检测装置使用两个景深摄像头和一个彩色摄像头进行图像采集，通过后续对图像的处理分析可以实现即时动态捕捉、影像辨识以及物体的空间定位等功能，当应用于超声传感器的空间位置检测时，Kinect体感检测装置设定一片固定的三维空间区域作为检测区域，以两个景深摄像头之间基线的中点作为原点，根据右手定则建立三维直角坐标系，右手背对景深摄像头放置，拇指方向即摄像头间基线的方向为X轴，食指方向即为Y轴，中指方向即景深摄像头的拍摄方向即为Z轴，通过动态捕捉技术实时捕捉检测区域内设定好的超声传感器，在确定超声传感器三维空间坐标的过程中，通过物体跟踪识别，Kinect体感检测装置在二维平面上定位物体的坐标(x，y)，对于Z轴方向上深度的定位，Kinect使用光源点阵编码技术，通过投射点阵光源以及捕捉反射回来的点阵，Kinect体感检测装置根据如下公式计算出被检测物体的深度，即Z轴坐标：
其中，z是深度，即Z轴坐标，b是Kinect体感检测装置两个景深摄像头之间的基线长度，f是摄像头的焦距，d是视差距离，当视差距离为零时，此时按照公式计算深度是无穷大，出现这种情况说明物体在距离摄像头很远的地方，对于超声传感器的检测，不会出现这样的情况，根据该计算公式，Kinect体感检测装置的空间定位功能能够实时监测超声传感器的移动，从而判断出传感器的实时三维空间坐标，即空间位置信息。
步骤4包括：
步骤4-1，将目标三维空间模拟为长方体，其任意一顶点所在处为原点，建立三维直角坐标系，每一次进行探测时，位移传感器会检测到超声传感器的空间坐标(x，y，z)，角度传感器能检测出超声传感器的空间角度(α1，β1，γ1)，设超声传感器阵列由N个传感器组成，总长度为L，每个传感器元的长度为探测深度为D，以超声传感器阵列的中间点为探测点，则超声传感器阵列的两个顶点坐标x1和x2分别为：
根据超声传感器顶点的坐标以及超声传感器的探测深度计算出探测到的二维图像的另外两个顶点x3和x4，其坐标分别为：
x3＝x1+Dcosγ1，y3＝y1+Dsinγ1，
x4＝x2+Dcosγ1，y4＝y2+Dsinγ1，
根据这四个顶点坐标，确定当前超声传感器探测平面内所有像素的坐标；为了便于后续计算，这里所有的坐标值都需要进行离散化处理；
步骤4-2，以超声传感器阵列中的传感器元的长度W作为空间采样间隔，将当前超声传感器探测平面内所有像素的连续坐标值离散化，非整数坐标值按四舍五入法进行整数化，当二维探测平面内所有的像素坐标都确定后，根据这些坐标从三维X光断层图像中提取对应的像素值，即得到当前探测平面内的X光断层图像，接着就可以对步骤2 得到的超声图像和X光图像进行图像融合，采用线性融合公式：
f(xi)＝aμ(xi)+br(xi)+c，
其中xi是二维方向向量，用于表示当前像素点在二维图像中的位置，i表示二维图像中每一个像素点的索引值，x1＝(1，1)表示第一个像素点的二维坐标向量，x2＝(1， 2)表示第二个像素点的二维坐标向量，以此类推。
f(xi)表示融合后的图像当前像素点的值，μ(xi)表示当前像素点X光断层图像的强度值，代表的物理含义是当前探测位置上物体对X光的衰减系数，r(xi)表示当前像素点超声图像的反射系数，其计算公式如下：
其中I(xi)表示在xi位置原始超声信号的强度值，p代表的是超声探测装置的动态范围，通常这个值是在实际测试中调整得到的，线性融合公式中的三个融合系数a，b，c可以用最小二乘法求出，这三个系数必须使如下表达式达到最小值：
其中u(xi)表示当前像素点超声图像的强度值，根据上述表达式可以得到融合系数的求解公式如下所示：
根据上述公式可以计算得到X光断层图像与超声图像的融合图像，该图像结合了X光和超声信号，能够更加精确地反应出目标区域的信息。
有益效果：本发明提供了一种从三维断层成像中提取及融合二维图像的方法，通过定位超声传感器的空间位置，从三维图像中提取二维图像，并进行X光图像和超声图像的融合，该方法将X光断层扫描成像与超声成像结合起来，通过图像融合实现了两者的优势互补，改变了传统成像方法的缺陷与不足。
附图说明
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。
图1为本发明流程图。
图2为本发明系统示意图。
图3为三轴加速度传感器检测示意图。
图4为目标三维区域示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
如图1和图2所示，本发明公开了一种二维超声图像集合重构的三维超声成像方法，包括以下步骤：
步骤1，利用X光断层成像仪器，对目标三维空间发射X光信号，使用计算机断层成像重建目标三维空间图像；
步骤2，使用超声传感器对目标三维空间进行探测，采集信号并重建当前探测平面内的图像；
步骤3，利用位移传感器和角度传感器检测出超声传感器在三维空间中的位置和角度信息；
步骤4，结合超声传感器的位置和角度信息，从三维X光断层图像中提取当前探测平面的二维图像并与超声图像进行图像融合。
本实例中，步骤1中的X光断层成像仪器使用的是环形传感器，在对目标三维空间发射并采集X光信号时，环形传感器设定的工作模式是全角度发射模式，即环形传感器上每一个角度的传感器元轮流发射信号，而所有的传感器元同时开启接收模式接收信号。采集X光信号时，X光环形传感器采集的信号主要是X光穿透目标三维空间后的传输信号，发射与采集的过程都是由环形传感器实时进行的。采集信号的强弱取决于目标三维空间内的X光衰减系数。
本实例中，步骤2中的线阵超声传感器，使用的是一组线性排列的传感器元组成的超声传感器，在对目标三维空间发射并采集超声信号时，设定的工作模式是同一组传感器元发射并接收，发射超声信号时，超声传感器可以使用一组线阵传感器元协同工作，发射波束形成后的波阵列，也可以让每一个传感器元单独工作，各自发射信号，工作模式的选择取决于当前采用的超声图像重建方法，采集超声信号时，超声传感器采集的信号是目标三维空间内对超声波的反射信号，采集信号的强弱取决于目标三维空间内的声阻抗差异。
本实例中，步骤2中的重建目标三维空间图像。使用的是基于反射信号的波束形成以及延时叠加重建方法，波束形成法利用的是线阵传感器发射不同时延的信号使信号能够聚焦在某一区域或者某一方向，目的是为了使最终重建出的超声灰度图成像质量更高，在这个过程中，若使信号沿着某一方向聚焦，其目的是为了避免在其它方向上可能存在的遮挡物干扰超声信号传输的情况，若使信号在某一区域聚焦，其目的是为了更好地在成像结果中显示出该区域的信息，也可以两种聚焦方式结合使用，以此来反应出成像区域中不同层次的信息，延迟叠加，是对应波束形成法的一种图像重建方法，其中，延迟是对应的波束形成时发射信号的延迟，通过对接收信号进行延迟叠加计算，能够重建出对应的发射信号的聚焦成像区域。
本实例中，步骤3中的检测超声传感器的空间角度可以使用三轴加速度传感器，其检测方式如图3所示：以传感器芯片所在处为原点，建立三维直角坐标系，当芯片倾斜时，重力加速度大小为g，所在方向为g轴，X轴方向的加速度大小为Ax，其与水平线夹角为α1，与重力加速度夹角为α，同理，Y轴方向的加速度大小为Ay，其与水平线夹角为β1，与重力加速度夹角为β，Z轴方向的加速度大小为Az，其与水平线夹角为γ1，与重力加速度夹角为γ，其中α＝90°-α1，β＝90°-β1，γ＝90°-γ1，Ax＝gcosα， Ay＝gcosβ，Az＝gcosγ，根据g轴和XYZ轴间的几何关系可以确定从而可以推算出角度和加速度之间的关系： 根据这组公式可以使用三轴加速度传感器探测到的数据，实时计算出超声传感器的空间角度。
本实例中，步骤3中的检测超声传感器的空间位置使用Kinect体感检测装置，Kinect 体感检测装置是微软公司推出的一款三维体感摄影装置，它包含了即时动态捕捉、影像辨识等功能，使用Kinect体感检测装置可以实现物体的空间定位，当应用于超声传感器的空间位置检测时，Kinect体感检测装置会设定一片固定的三维空间区域作为检测区域，通过动态捕捉技术实时捕捉检测区域内设定好的超声传感器，在确定超声传感器三维空间坐标的过程中，通过物体跟踪识别，Kinect可以在二维平面上定位物体的坐标 (x，y)，对于Z轴方向上深度的定位，Kinect使用了光源点阵编码技术，通过投射点阵光源以及捕捉反射回来的点阵，Kinect可以计算出被检测物体的深度，即Z轴坐标，计算公式如下：
其中，z是深度，即Z轴坐标，b是摄像头之间的基线长度，f是摄像头的焦距，d是视差距离，当视差距离为零时，此时按照公式计算深度是无穷大，出现这种情况说明物体在距离摄像头很远的地方，对于超声传感器的检测，不会出现这样的情况，根据以上的过程，Kinect装置的空间定位功能能够实时监测超声传感器的移动，从而判断出传感器的实时三维空间坐标。
本实例中，步骤4中的图像提取过程，是先通过位移传感器和角度传感器定位超声传感器的空间位置和角度，再根据空间位置和角度定位超声传感器当前探测的二维平面在三维空间中的位置，具体实现方法如图4所示，将目标三维空间探测空间模拟为长方体，其任意一顶点所在处为原点，建立三维直角坐标系，每一次进行探测时，位移传感器会检测到超声传感器的空间坐标(x，y，z)，角度传感器能检测出超声传感器的空间角度(α1，β1，γ1)，设超声传感器阵列由N个传感器组成，总长度为L，每个传感器元的长度为探测深度为D，以超声传感器阵列的中间点为探测点，则超声传感器阵列的两个顶点坐标分别为：
根据传感器顶点的坐标以及传感器的探测深度可以计算出探测到的二维图像的另外两个顶点，其坐标分别为：
x3＝x1+Dcosγ1，y3＝y1+Dsinγ1
x4＝x2+Dcosγ1，y4＝y2+Dsinγ1
根据这四个顶点坐标，可以确定当前超声传感器探测平面内所有像素的坐标，为了便于后续计算，这里所有的坐标值都需要进行离散化处理，以超声传感器阵列中的传感器元的长度W作为空间采样间隔，将当前超声传感器探测平面内所有像素的连续坐标值离散化，非整数坐标值按四舍五入法进行整数化，当二维探测平面内所有的像素坐标都确定后，根据这些坐标从三维X光断层图像中提取对应的像素值，即得到当前探测平面内的X光断层图像。
本实例中，步骤4中的图像融合过程，是对超声图像和X光图像进行线性图像融合，我们采用线性融合公式：
f(xi)＝aμ(xi)+br(xi)+c，
其中xi是二维方向向量，用于表示当前像素点在二维图像中的位置，f(xi)表示融合后的图像当前像素点的值，μ(xi)表示当前像素点X光断层图像的强度值，代表的物理含义是当前探测位置上物体对X光的衰减系数，r(xi)表示当前像素点超声图像的反射系数，其计算公式如下
其中I(xi)表示在xi位置原始超声信号的强度值，p代表的是超声探测装置的动态范围，通常这个值是在实际测试中调整得到的，线性融合公式中的三个融合系数α，β，γ可以用最小二乘法求出，这三个系数必须使如下表达式达到最小值：
其中u(xi)表示当前像素点超声图像的强度值，根据上述表达式可以得到融合系数的求解公式如下所示：
根据上述公式可以计算得到X光断层图像与超声图像的融合图像，该图像结合了X光和超声信号，能够更加精确地反应出目标区域的信息。
本实例流程图参照图1。
本发明提供了一种从三维断层成像中提取及融合二维图像的方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。
Claims (1)
1.一种从三维断层成像中提取及融合二维图像的方法，其特征在于，包括如下步骤：
步骤1，利用X光断层成像仪器，对目标三维空间发射X光信号，使用断层成像重建目标三维空间图像；
步骤2，使用超声传感器对目标三维空间进行探测，采集信号并重建当前探测平面内的图像；
步骤3，利用位移传感器和角度传感器检测出超声传感器在三维空间中的位置和角度信息；
步骤4，结合超声传感器的位置和角度信息，从三维X光断层图像中提取当前探测平面的二维图像并与超声图像进行图像融合；
步骤1中，所述X光断层成像仪器包括一组用于发射和接收X光信号的环形传感器，环形传感器能够自由移动来对三维空间的不同截面成像；
在对目标三维空间发射并采集X光信号时，环形传感器设定的工作模式是全角度发射模式，即环形传感器上每一个角度的传感器元轮流发射信号，而所有的传感器元同时开启接收模式接收信号；
采集X光信号时，X光环形传感器采集的信号包括X光穿透目标三维空间后的传输信号，发射与采集的过程都由环形传感器实时进行；
步骤2中，所述超声传感器是线阵超声传感器，包括一组以上的线性排列的传感器元组，线阵超声传感器通过手持方式自由控制，在对目标三维空间发射与采集超声信号过程中，能够对目标三维空间的任意位置进行探测；
步骤2中，在对目标三维空间发射并采集超声信号时，线阵超声传感器设定的工作模式是同一组传感器元发射并接收，发射超声信号时，超声传感器使用一组线阵传感器元协同工作，发射波束形成后的波阵列，或者让每一个传感器元单独工作，各自发射信号；
采集超声信号时，超声传感器采集的信号是目标三维空间内对超声波的反射信号，发射与采集的过程都由线阵超声传感器实时进行；
步骤2中，所述重建当前探测平面内的图像，使用的重建信号是线阵超声传感器采集到的目标三维空间对超声波的反射信号，使用的重建方法是基于反射信号的波束形成以及延时叠加重建方法：
波束形成法，是利用线阵传感器发射不同时延的信号使信号能够聚焦在一个区域或者一个方向，信号聚焦后能够增加该区域或该方向上的图像质量，图像重建时需要使用波束发射时采用的时延；
延迟叠加法，在接收信号延迟叠加时，延迟是对应波束形成时的发射信号延迟，通过延迟后的叠加能够重建出发射信号的聚焦成像区域，对于沿一个方向聚焦的波束形成，信号延迟的计算公式为：
其中dn表示第n个传感器元发射信号的延迟，round代表四舍五入取整函数，in代表第n个传感器元，pitch代表传感器元的长度，θ代表发射波阵面聚焦的方向角，c0代表成像区域的背景声速值，dt代表抽样时间间隔，对于沿一个区域聚焦的波束形成，信号延迟的计算公式为：
其中F代表聚焦区域中心点与传感器阵列中心之间的距离；
已知每个传感器元发射信号延迟dn后，根据传感器元接收的信号重建二维超声图像；
所述根据传感器元接收的信号重建二维超声图像包括如下步骤：
步骤2-1，将每个传感器元接收的信号根据该传感器元的发射信号延迟作时延处理；
步骤2-2，根据二维图像中每个像素点和传感器元之间的距离，将超声接收信号对应叠加到每一个像素点上，从而重建出二维超声图像，计算公式如下：
Pi代表一个截面内二维超声图像中第i个像素点的值，N代表一个线阵超声传感器中传感器元的总数，Sn代表第n个传感器元的接收信号，t表示时间自变量，dn表示第n个传感器元发射信号的延迟，Rn代表当前计算的像素点与第n个传感器元之间的距离，c0代表成像区域的背景声速值；
步骤3中所述位移传感器和角度传感器，分别是能够实时监测超声传感器空间位置的传感器和能够实时监测超声传感器角度信息的传感器，通过位移传感器和角度传感器，同步获取当前超声传感器的空间位置和角度信息；
所述空间位置和角度信息，与超声传感器的移动和旋转过程是一一对应的，即超声传感器作出任何的移动和旋转动作，都会通过位移传感器和角度传感器探测到位置坐标和角度信息的变化，并且根据当前超声传感器的位置坐标和角度信息，能够唯一确定超声传感器的移动和旋转过程；
步骤3中所述角度传感器为三轴加速度传感器，其检测角度信息的过程如下：
步骤3-1，以角度传感器芯片所在处为原点，根据右手定则建立三维直角坐标系，即右手背对角度传感器芯片放置，伸出拇指即指向X轴的正方向，伸出食指即指向Y轴的正方向，伸出中指即指向Z轴的正方向，当芯片倾斜时，重力加速度大小为g，所在方向为g轴，X轴方向的加速度大小为Ax，其与水平线夹角为α1，与重力加速度夹角为α；Y轴方向的加速度大小为Ay，其与水平线夹角为β1，与重力加速度夹角为β；Z轴方向的加速度大小为Az，其与水平线夹角为γ1，与重力加速度夹角为γ，其中α＝90°-α1，β＝90°-β1，γ＝90°-γ1，Ax＝gcosα，Ay＝gcosβ，Az＝gcosγ；
步骤3-2，根据g轴和X、Y、Z轴间的几何关系得到：
步骤3-3，计算出角度和加速度之间的关系：
tanα1表示角度α1的正切值，tanβ1表示角度β1的正切值，tanγ1表示角度γ1的正切值，根据这组公式实时得到超声传感器的角度信息；
步骤3中，所述位移传感器为Kinect体感检测装置，Kinect体感检测装置使用两个景深摄像头和一个彩色摄像头进行图像采集，通过后续对图像的处理分析可以实现即时动态捕捉、影像辨识以及物体的空间定位功能，当应用于超声传感器的空间位置检测时，Kinect体感检测装置设定一片固定的三维空间区域作为检测区域，以两个景深摄像头之间基线的中点作为原点，根据右手定则建立三维直角坐标系，右手背对景深摄像头放置，拇指方向即摄像头间基线的方向为X轴，食指方向即为Y轴，中指方向即景深摄像头的拍摄方向即为Z轴，通过动态捕捉技术实时捕捉检测区域内设定好的超声传感器，在确定超声传感器三维空间坐标的过程中，通过物体跟踪识别，Kinect体感检测装置在二维平面上定位物体的坐标(x,y)，对于Z轴方向上深度的定位，Kinect使用光源点阵编码技术，通过投射点阵光源以及捕捉反射回来的点阵，Kinect体感检测装置根据如下公式计算出被检测物体的深度，即Z轴坐标：
其中，z是深度，即Z轴坐标，b1是Kinect体感检测装置两个景深摄像头之间的基线长度，f是摄像头的焦距，d是视差距离，根据该计算公式，Kinect体感检测装置的空间定位功能能够实时监测超声传感器的移动，从而判断出传感器的实时三维空间坐标，即空间位置信息；
步骤4包括：
步骤4-1，将目标三维空间模拟为长方体，其任意一顶点所在处为原点，建立三维直角坐标系，每一次进行探测时，位移传感器会检测到超声传感器的空间坐标(x,y,z)，角度传感器能检测出超声传感器的空间角度(α1,β1,γ1)，设超声传感器阵列由N1个传感器组成，总长度为L，每个传感器元的长度为探测深度为D，以超声传感器阵列的中间点为探测点，则超声传感器阵列的两个顶点坐标(x1，y1)和(x2，y2)分别为：
根据超声传感器顶点的坐标以及超声传感器的探测深度计算出探测到的二维图像的另外两个顶点(x3，y3)和(x4，y4)，其坐标分别为：
x3＝x1+Dcosγ1,y3＝y1+Dsinγ1，
x4＝x2+Dcosγ1,y4＝y2+Dsinγ1，
根据这四个顶点坐标，确定当前超声传感器探测平面内所有像素的坐标；
步骤4-2，以超声传感器阵列中的传感器元的长度W作为空间采样间隔，将当前超声传感器探测平面内所有像素的连续坐标值离散化，非整数坐标值按四舍五入法进行整数化，当二维探测平面内所有的像素坐标都确定后，根据这些坐标从三维X光断层图像中提取对应的像素值，即得到当前探测平面内的X光断层图像，接着对超声图像和X光断层图像进行图像融合，采用线性融合公式：
f(xi)＝aμ(xi)+br(xi)+c,
其中xi是二维方向向量，用于表示当前像素点在二维图像中的位置，i表示二维图像中每一个像素点的索引值，f(xi)表示融合后的图像当前像素点的值，μ(xi)表示当前像素点X光断层图像的强度值，代表的物理含义是当前探测位置上物体对X光的衰减系数，r(xi)表示当前像素点超声图像的反射系数，其计算公式如下：
其中I(xi)表示在xi位置原始超声信号的强度值，p代表的是超声探测装置的动态范围，线性融合公式中的三个融合系数a，b，c用最小二乘法求出，这三个系数必须使如下表达式达到最小值：
其中u(xi)表示当前像素点超声图像的强度值，根据上述表达式得到融合系数的求解公式如下所示：
根据上述公式计算得到X光断层图像与超声图像的融合图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269644.0A CN107909624B (zh) | 2017-12-05 | 2017-12-05 | 一种从三维断层成像中提取及融合二维图像的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711269644.0A CN107909624B (zh) | 2017-12-05 | 2017-12-05 | 一种从三维断层成像中提取及融合二维图像的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107909624A CN107909624A (zh) | 2018-04-13 |
| CN107909624B true CN107909624B (zh) | 2019-12-24 |
Family
ID=61854602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711269644.0A Active CN107909624B (zh) | 2017-12-05 | 2017-12-05 | 一种从三维断层成像中提取及融合二维图像的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107909624B (zh) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109615602B (zh) * | 2018-12-11 | 2021-05-28 | 艾瑞迈迪科技石家庄有限公司 | 一种x光视角图像的生成方法、存储介质以及终端设备 |
| CN110473297B (zh) * | 2019-08-20 | 2022-03-29 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN110490857B (zh) * | 2019-08-20 | 2022-02-22 | 上海联影医疗科技股份有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN111950639B (zh) * | 2020-08-14 | 2024-03-19 | 四川维思模医疗科技有限公司 | 一种同步实时显示超声与断层解剖图像的成像方法 |
| CN112826521A (zh) * | 2020-12-29 | 2021-05-25 | 上海联影医疗科技股份有限公司 | 断层图像成像系统和方法 |
| US12011249B2 (en) | 2020-12-29 | 2024-06-18 | Shanghai United Imaging Healthcare Co., Ltd. | Systems and methods for tomography imaging |
| CN217219033U (zh) * | 2021-04-17 | 2022-08-19 | 诺创智能医疗科技(杭州)有限公司 | 医用x射线诊断装置 |
| CN113805242B (zh) * | 2021-08-25 | 2024-07-12 | 浙江大华技术股份有限公司 | 安检机射线源控制方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1612713A (zh) * | 2001-11-05 | 2005-05-04 | 计算机化医学体系股份有限公司 | 用于外部波束放射治疗的记录,引导和目标命中的装置和方法 |
| CN101243472A (zh) * | 2005-08-09 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 选择性融合2D x射线图像和3D超声图像的系统和方法 |
| CN105496433A (zh) * | 2015-12-17 | 2016-04-20 | 深圳圣诺医疗设备股份有限公司 | 三维乳腺x射线与三维彩超融合成像系统及方法 |
| CN107358594A (zh) * | 2017-07-13 | 2017-11-17 | 深圳市前海博志信息技术有限公司 | 基于x射线和超声波检查的乳腺图像处理系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9155470B2 (en) * | 2012-01-24 | 2015-10-13 | Siemens Aktiengesellschaft | Method and system for model based fusion on pre-operative computed tomography and intra-operative fluoroscopy using transesophageal echocardiography |
-
2017
- 2017-12-05 CN CN201711269644.0A patent/CN107909624B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1612713A (zh) * | 2001-11-05 | 2005-05-04 | 计算机化医学体系股份有限公司 | 用于外部波束放射治疗的记录,引导和目标命中的装置和方法 |
| CN101243472A (zh) * | 2005-08-09 | 2008-08-13 | 皇家飞利浦电子股份有限公司 | 选择性融合2D x射线图像和3D超声图像的系统和方法 |
| CN105496433A (zh) * | 2015-12-17 | 2016-04-20 | 深圳圣诺医疗设备股份有限公司 | 三维乳腺x射线与三维彩超融合成像系统及方法 |
| CN107358594A (zh) * | 2017-07-13 | 2017-11-17 | 深圳市前海博志信息技术有限公司 | 基于x射线和超声波检查的乳腺图像处理系统及方法 |
Non-Patent Citations (2)
| Title |
|---|
| Kinect-based Ultrasound Probe Pose Estimation to Build an Affordable Knee Ultrasound Learning Database;Amel Ourahmoune等;《2015 8th International Conference on BioMedical Engineering and Informatics》;20160211;第489-494页 * |
| 超声成像中自适应波束形成算法与实验研究;龚志辉;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170315(第3期);第2-64页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107909624A (zh) | 2018-04-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107909624B (zh) | 一种从三维断层成像中提取及融合二维图像的方法 | |
| CN107582098B (zh) | 一种二维超声图像集合重构的三维超声成像方法 | |
| EP3281599B1 (en) | Marker for optical tracking, optical tracking system, and optical tracking method | |
| JP6484729B2 (ja) | 無人航空機の奥行き画像の取得方法、取得装置及び無人航空機 | |
| CN111432733B (zh) | 用于确定超声探头的运动的设备和方法 | |
| CN105066909B (zh) | 一种手持式多激光条纹快速三维测量方法 | |
| JP2878409B2 (ja) | ３次元物体撮像方式 | |
| US7973276B2 (en) | Calibration method for video and radiation imagers | |
| JP2011123060A (ja) | 三次元画像を形成するための識別専用オプトロニックシステムおよび方法 | |
| CN107613878A (zh) | 用于检测物体运动的超声成像系统和方法 | |
| Chen et al. | Color and depth data fusion using an RGB‐D sensor for inexpensive and contactless dynamic displacement‐field measurement | |
| CN110031830B (zh) | 一种基于激光线扫描成像的测距方法 | |
| JP2010540893A (ja) | Ｘ線容積撮影による画像再構成方法 | |
| CN111429523A (zh) | 一种在3d建模中远距离标定方法 | |
| CN109223030A (zh) | 一种掌上式三维超声成像系统和方法 | |
| CN113884519B (zh) | 自导航x射线成像系统及成像方法 | |
| US20190197764A1 (en) | Three-dimensional imaging method and system | |
| KR20200145249A (ko) | 초음파 스캐너의 탐촉자의 위치 및 자세 추적을 이용한 초음파 영상 제공 장치 및 방법 | |
| CN107121061A (zh) | 一种基于椭圆锥约束的制孔点法矢量求解方法 | |
| CN101271590A (zh) | 一种获取凸轮廓物体形状的方法 | |
| US20240335183A1 (en) | Three-dimensional ultrasound imaging support apparatus, three-dimensional ultrasound imaging support method, and three-dimensional ultrasound imaging support program | |
| CN112022202A (zh) | 用于确定超声探头运动的技术 | |
| CN104296658B (zh) | 一种基于虚拟双目视觉的石壁爆破孔检测与定位装置及定位方法 | |
| CN114119768A (zh) | 一种基于多目视觉技术的刺参活性监测方法 | |
| CN108564626A (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |