CN114271856B - 三维超声影像生成方法、装置、存储介质及设备 - Google Patents

三维超声影像生成方法、装置、存储介质及设备 Download PDF

Info

Publication number
CN114271856B
CN114271856B CN202111615031.4A CN202111615031A CN114271856B CN 114271856 B CN114271856 B CN 114271856B CN 202111615031 A CN202111615031 A CN 202111615031A CN 114271856 B CN114271856 B CN 114271856B
Authority
CN
China
Prior art keywords
matrix
angle sensor
dimensional
rotation
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111615031.4A
Other languages
English (en)
Other versions
CN114271856A (zh
Inventor
杨春宇
彭祖剑
刘嘉亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kaipuyun Information Technology Co ltd
Cape Cloud Information Technology Co ltd
Original Assignee
Beijing Kaipuyun Information Technology Co ltd
Cape Cloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Kaipuyun Information Technology Co ltd, Cape Cloud Information Technology Co ltd filed Critical Beijing Kaipuyun Information Technology Co ltd
Priority to CN202111615031.4A priority Critical patent/CN114271856B/zh
Publication of CN114271856A publication Critical patent/CN114271856A/zh
Application granted granted Critical
Publication of CN114271856B publication Critical patent/CN114271856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种三维超声影像生成方法、装置、存储介质及设备,属于图像处理技术领域。所述方法包括:通过超声探头获取当前时刻的二维超声图像;获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;根据臂长和转角数据计算当前时刻的转移矩阵;根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标;将各个像素点的三维坐标转换成点云数据,点云数据用于生成三维超声影像。本申请可以提高三维超声影像的生成效率和准确性。

Description

三维超声影像生成方法、装置、存储介质及设备
技术领域
本申请实施例涉及图像处理技术领域,特别涉及一种三维超声影像生成方法、装置、存储介质及设备。
背景技术
超声波设备中的超声探头主要由压电晶片组成,其加电压后产生震动沿一定方向发出相应频率的超声波,超声波以大约1530m/s速度在人体组织中传播。由于人体不同脏器或结构存在一定的声阻抗差,超声波在体内传播过程中遇到不同组织界面后便产生反射并被超声探头接收,经过信号处理等手段即可得到器官的二维超声图像。由于二维超声图像并不直观,只有经过专业培训的医生才能看懂,所以,需要将二维超声图像转换成三维超声影像。
相关技术中,可以使用电机精确控制超声探头的移动或旋转,记录特定角度旋转范围内的若干帧图像,对这些图像做配准,并提取目标区域,从而将目标区域轮廓转换成三维坐标进行表面重建。
然而,只有将超声探头需紧贴皮肤才能够得到较好的效果,若留出旋转空间,会使超声探头与皮肤之间有空隙,从而会干扰成像。另外,在生成三维超声影像时还需进行图像配准,相当耗时且配准结果不精确。
发明内容
本申请实施例提供了一种三维超声影像生成方法、装置、存储介质及设备,用于解决三维超声影像的生成效率低和准确性低的问题。所述技术方案如下:
一方面,提供了一种超声波设备,所述超声波设备包括:基座、六个角度传感器、六个机械臂、超声探头、探头数据线、传感器数据线和主机;
所述基座和所述超声探头之间顺次连接有第一角度传感器、第一机械臂、第二角度传感器、第二机械臂、第三角度传感器、第三机械臂、第四角度传感器、第四机械臂、第五角度传感器、第五机械臂、第六角度传感器和第六机械臂;
所述超声探头通过所述探头数据线与所述主机相连;
每个角度传感器通过对应的传感器数据线与所述主机相连。
一方面,提供了一种三维超声影像生成方法,用于上述超声波设备中,所述方法包括:
通过所述超声探头获取当前时刻的二维超声图像;
获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;
根据所述臂长和所述转角数据计算当前时刻的转移矩阵;
根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标;
将各个像素点的三维坐标转换成点云数据,所述点云数据用于生成三维超声影像。
在一种可能的实现方式中,所述根据所述臂长和所述转角数据计算当前时刻的转移矩阵,包括:
根据所述超声探头绕所述第六机械臂旋转的转角生成绕Z轴的第六旋转矩阵,并计算所述第五角度传感器相对于所述超声探头产生的第六位移矩阵,将所述第六旋转矩阵和所述第六位移矩阵组成第六转移矩阵;
根据所述第五角度传感器旋转的转角生成绕Y轴的第五旋转矩阵,并计算所述第四角度传感器相对于所述第五角度传感器产生的第五位移矩阵,将所述第五旋转矩阵和所述第五位移矩阵组成第五转移矩阵;
根据所述第四角度传感器旋转的转角生成绕Y轴的第四旋转矩阵,并计算所述第三角度传感器相对于所述第四角度传感器产生的第四位移矩阵,将所述第四旋转矩阵和所述第四位移矩阵组成第四转移矩阵;
根据所述第三角度传感器旋转的转角生成绕X轴的第三旋转矩阵,并计算所述第二角度传感器相对于所述第三角度传感器产生的第三位移矩阵,将所述第三旋转矩阵和所述第三位移矩阵组成第三转移矩阵;
根据所述第二角度传感器旋转的转角生成绕X轴的第二旋转矩阵,并计算所述第一角度传感器相对于所述第二角度传感器产生的第二位移矩阵,将所述第二旋转矩阵和所述第二位移矩阵组成第二转移矩阵;
根据所述第一角度传感器旋转的转角生成绕Z轴的第一旋转矩阵,并计算所述基座相对于所述第一角度传感器产生的第一位移矩阵,将所述第一旋转矩阵和所述第一位移矩阵组成第一转移矩阵;
将所述第一转移矩阵、所述第二转移矩阵、所述第三转移矩阵、所述第四转移矩阵、所述第五转移矩阵和所述第六转移矩阵依次相乘,得到所述转移矩阵。
在一种可能的实现方式中,所述通过所述超声探头获取当前时刻的二维超声图像,包括:
获取所述超声探头在当前时刻采集到的数据,得到扇形图像;
依次对所述扇形图像进行降噪处理、分割处理和二值化处理,得到所述二维超声图像。
在一种可能的实现方式中,所述根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标,包括:
当所述二维超声图像所在平面为X-Z平面时,在每个像素点的二维坐标中添加数值为0的Y轴坐标,得到每个像素点的第一坐标;
对所有像素点的第一坐标进行一维齐次化处理,得到坐标集;
将所述坐标集中灰度值非零的每个第一坐标乘以所述转移矩阵,得到各个像素点的第二坐标;
对每个第二坐标进行整数化处理,并去除每个向量中最末尾的1,得到各个像素点的第三坐标。
在一种可能的实现方式中,当点云数据包括键值和数值列表时,所述将各个像素点的三维坐标转换成点云数据,包括:
对于每个像素点的三维坐标,当存在以所述三维坐标为键值的点云数据,且所述三维坐标有数值时,在所述键值对应的数值列表的末位添加第一标记;
当存在以所述三维坐标为键值的点云数据,且所述三维坐标没有数值时,在所述键值对应的数值列表的末位添加第二标记;
当不存在以所述三维坐标为键值的点云数据,且所述三维坐标有数值时,创建与所述键值对应的数值列表,在所述键值对应的数值列表的末位添加第一标记,并在所述第一标记之前补齐历史时刻的第二标记。
在一种可能的实现方式中,所述在所述键值对应的数值列表的末位添加第一标记,包括:
利用概率占位栅格图算法计算每个点云数据的权重,将所述权重作为所述第一标记添加到所述数值列表的末位。
在一种可能的实现方式中,所述方法还包括:
获取每个时刻的点云数据;
对每个时刻的点云数据进行三维显示,得到所述三维超声影像。
一方面,提供了一种三维超声影像生成装置,用于上述超声波设备中,所述装置包括:
图像获取模块,用于通过所述超声探头获取当前时刻的二维超声图像;
数据获取模块,用于获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;
矩阵计算模块,用于根据所述臂长和所述转角数据计算当前时刻的转移矩阵;
坐标转换模块,用于根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标;
点云转换模块,用于将各个像素点的三维坐标转换成点云数据,所述点云数据用于生成三维超声影像。
一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的三维超声影像生成方法。
本申请实施例提供的技术方案的有益效果至少包括:
通过根据机械臂的臂长和角度传感器测得的转角数据可以计算出当前时刻的转移矩阵,再根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标,然后,可以将各个像素点的三维坐标转换成点云数据,这样,就可以根据点云数据生成三维超声影像。相比于通过电机来控制超声探头来说,既可以减少成像干扰,也可以避免图像配准,可以提高三维超声影像的生成效率和准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是根据部分示例性实施例示出的一种超声波设备的结构示意图;
图2是本申请一个实施例提供的三维超声影像生成方法的方法流程图;
图3是本申请另一实施例提供的三维超声影像生成方法的方法流程图;
图4是本申请再一实施例提供的三维超声影像生成装置的结构框图;
图5是本申请再一实施例提供的三维超声影像生成装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
下面先对本申请中涉及的名称进行解释。
1、点云
点云是三维坐标系下的一组数据集。当超声波设备显示点云时,用户肉眼观测到的是器官的轮廓。
2、位姿
位姿表示的是物体相对于参考坐标系中的各个坐标轴的旋转量和平移量。
3、6自由度
构件在三维空间中拥有6自由度即可形成各种位姿(xyz三轴平移+旋转)。本实施例中的超声波设备具有6自由度机械臂以及位于各个关节处的角度传感器,可以记录超声探头的位姿轨迹,再根据该位姿轨迹将对应的二维超声图像投影至三维空间中,以达到显示三维超声影像的目的。
请参考图1,其示出了本申请一个实施例提供的超声波设备的结构示意图,该超声波设备可以包括:基座110、六个角度传感器120、六个机械臂130、超声探头140、探头数据线150、传感器数据线160和主机170。
基座110和超声探头140之间顺次连接有第一角度传感器121、第一机械臂131、第二角度传感器122、第二机械臂132、第三角度传感器123、第三机械臂133、第四角度传感器124、第四机械臂134、第五角度传感器125、第五机械臂135、第六角度传感器126和第六机械臂136。
超声探头140通过探头数据线150与主机170相连。这样,超声探头140可以通过探头数据线150将采集到的数据发送给主机170,以便于主机170生成二维超声图像。
每个角度传感器120通过对应的传感器数据线160与主机170相连。这样,每个角度传感器120都可以通过传感器数据线160将采集到的转角数据发送给主机170,以便于主机170计算超声探头140的位姿。
本实施例中,可以预先设置超声波设备的初始位姿,并根据该初始位姿创建参考坐标系。如图1所示,可以将从超声探头140指向基座110的方向记为Z轴,将平面上与Z轴相垂直的方向记为X轴,将垂直于平面的方向记为Y轴,得到坐标系,后续,可以基于该参考坐标系计算超声探头140的位姿。
请参考图1,其示出了本申请一个实施例提供的三维超声影像生成方法的方法流程图,该三维超声影像生成方法可以应用于超声波设备中。该三维超声影像生成方法,可以包括:
步骤201,通过超声探头获取当前时刻的二维超声图像。
本实施例中,超声波设备可以在每个时刻,根据超声探头采集到的数据生成一张二维超声图像。具体的,超声波设备可以获取超声探头在当前时刻采集到的数据,得到扇形图像;依次对扇形图像进行降噪处理、分割处理和二值化处理,得到二维超声图像。其中,扇形图像的圆心与超声探头的旋转轴的中心对齐。
以当前时刻是t时刻为例,假设得到的扇形图像是It,则先对扇形图像进行降噪,得到降噪后的图像It=denoise(It);再对降噪后的图像进行分割,以得到感兴趣的器官图像It=segmentation(It);最后对器官图像进行二值化,即将器官图像中的像素值设置为0或1,得到二维超声图像It=binarify(It)。
需要说明的是,在进行上述处理时所需要用到的降噪函数、分割函数、二值化函数是可以根据实际需求设置的,本实施例中不作限定。
步骤202,获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据。
机械臂的臂长是固定的,可以预先设置在主机中,所以,主机可以直接获取到每个机械臂的臂长。
六个机械臂可以自由拖动,当每个机械臂被拖动时,其对应的角度传感器会测得拖动后所形成转角的转角数据,并通过传感器数据线将该转角数据发送给主机,主机即可得到当前时刻的转角数据。
步骤203,根据臂长和转角数据计算当前时刻的转移矩阵。
在计算转移矩阵时,以图1中自然悬垂状态为各角度传感器的零位,向旋转箭头方向(右手定则方向)为正向转角ω,各机械臂的长度为L1~L6,则旋转+平移的步骤为:
1)转角传感器测得某轴转角ω,则利用旋转矩阵将坐标逆方向旋转ω度归回零位(左乘旋转矩阵退回到旋转之前的坐标);
2)平移臂长Li将坐标平移至上一转轴处。
重复上述步骤直至将二维超声图像中像素点的二维坐标转换到参考坐标系中,这里所说的旋转+平移可以用转移矩阵进行表示。
具体的,可以先根据各个角度传感器在t时刻记录的X轴转角α、Y轴转角β、Z轴转角γ,以及六个臂长L1~L6,计算t时刻的六个矩阵。设转移矩阵
Figure BDA0003436452550000071
其中,绕X轴旋转的旋转矩阵
Figure BDA0003436452550000072
绕Y轴旋转的旋转矩阵
Figure BDA0003436452550000081
绕Z轴旋转的旋转矩阵
Figure BDA0003436452550000082
基于上述矩阵,根据臂长和转角数据计算当前时刻的转移矩阵,可以包括:
(1)根据超声探头绕第六机械臂旋转的转角生成绕Z轴的第六旋转矩阵,并计算第五角度传感器相对于超声探头产生的第六位移矩阵,将第六旋转矩阵和第六位移矩阵组成第六转移矩阵。
设第六转移矩阵为T6,则
Figure BDA0003436452550000083
其中,t6为第五角度传感器相对于扇形圆心(轴6/超声波探头)的位移,t6=[0 0 L6]T,R6(Z)为超声探头绕其第六机械臂测得的转角生成的绕Z轴旋转矩阵。
(2)根据第五角度传感器旋转的转角生成绕Y轴的第五旋转矩阵,并计算第四角度传感器相对于第五角度传感器产生的第五位移矩阵,将第五旋转矩阵和第五位移矩阵组成第五转移矩阵。
设第五转移矩阵为T5,则
Figure BDA0003436452550000084
其中,t5为第四角度传感器相对于第五角度传感器的位移,t5=[0 0 L5]T,R5(Y)为第五角度传感器测得的转角生成的绕Y轴旋转矩阵。
(3)根据第四角度传感器旋转的转角生成绕Y轴的第四旋转矩阵,并计算第三角度传感器相对于第四角度传感器产生的第四位移矩阵,将第四旋转矩阵和第四位移矩阵组成第四转移矩阵。
设第四转移矩阵为T4,则
Figure BDA0003436452550000085
其中,t4为第三角度传感器相对于第四角度传感器的位移,t4=[0 0 L4]T,R4(Y)为第四角度传感器测得的转角生成的绕Y轴旋转矩阵。
(4)根据第三角度传感器旋转的转角生成绕X轴的第三旋转矩阵,并计算第二角度传感器相对于第三角度传感器产生的第三位移矩阵,将第三旋转矩阵和第三位移矩阵组成第三转移矩阵。
设第三转移矩阵为T3,则
Figure BDA0003436452550000091
其中,t3为第二角度传感器相对于第三角度传感器的位移,t3=[0 0 L3]T,R3(X)为第三角度传感器测得的转角生成的绕X轴旋转矩阵。
(5)根据第二角度传感器旋转的转角生成绕X轴的第二旋转矩阵,并计算第一角度传感器相对于第二角度传感器产生的第二位移矩阵,将第二旋转矩阵和第二位移矩阵组成第二转移矩阵。
设第二转移矩阵为T2,则
Figure BDA0003436452550000092
其中,t2为第一角度传感器相对于第二角度传感器的位移,t2=[0 0 L2]T,R2(X)为第二角度传感器测得的转角生成的绕X轴旋转矩阵。
(6)根据第一角度传感器旋转的转角生成绕Z轴的第一旋转矩阵,并计算基座相对于第一角度传感器产生的第一位移矩阵,将第一旋转矩阵和第一位移矩阵组成第一转移矩阵。
设第一转移矩阵为T1,则
Figure BDA0003436452550000093
其中,t1为基座相对于第一角度传感器的位移,t1=[0 0 L1]T,R1(Z)为第一角度传感器测得的转角生成的绕Z轴旋转矩阵。
最后,可以将第一转移矩阵、第二转移矩阵、第三转移矩阵、第四转移矩阵、第五转移矩阵和第六转移矩阵依次相乘,得到转移矩阵。即,最终得到的转移矩阵
Figure BDA0003436452550000094
步骤204,根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标。
具体的,根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标,可以包括:
(1)当二维超声图像所在平面为X-Z平面时,在每个像素点的二维坐标中添加数值为0的Y轴坐标,得到每个像素点的第一坐标。
设超声探头成像的扇形平面位于参考坐标系的Z-X平面中,所以,二维超声图像中所有像素点在Y轴上的坐标值为0,那么,可以将二维超声图像中所有像素点的二维坐标转换成超声探头R6(Z)的三维坐标,即二维坐标[xi,yi]->第一坐标[xi,0,yi]。
(2)对所有像素点的第一坐标进行一维齐次化处理,得到坐标集。
本实施例中,可以对第一坐标进行一维齐次化处理,以便于后续的矩阵运算,即[xi,0,yi]->[xi,0,yi,1]=pi,则一维齐次化处理之后的所有第一坐标的坐标集定义为P=[p1,p2,…,pn]。
(3)将坐标集中灰度值非零的每个第一坐标乘以转移矩阵,得到各个像素点的第二坐标。
在得到坐标集后,超声波设备可以通过连续的旋转+平移,把以超声探头为基准的三维坐标变换到以基座(或者其他点)为基准的参考坐标系中。其中,旋转+平移可以融合进利用转移矩阵的一次矩阵乘法中。
需要说明的是,某点的旋转+平移可以写成X2=RX1+t,其中,R是3×3的旋转矩阵,X1是3维向量坐标,t是3维平移量。为了便于计算,可以将X1加1进行一维齐次化,得到
Figure BDA0003436452550000101
上式就可以写成矩阵形式
Figure BDA0003436452550000102
从而将一次矩阵乘法和向量加法缩减成一次矩阵乘法,
Figure BDA0003436452550000103
就是转移矩阵,后续取用转换后的三维坐标时去掉最后一维的“1”即可。
具体的,超声波设备可以将二维超声图像It中各像素的非零值齐次坐标从坐标集P中抽出,排成矩阵形式:X2D=[p1,p2,…,pm],再左乘转移矩阵,得到像素点在参考坐标系中的三维坐标:X3D=T X2D
(4)对每个第二坐标进行整数化处理,并去除每个向量中最末尾的1,得到各个像素点的第三坐标。
具体的,超声波设备可以将三维坐标整数化X3D=int(X3D),再将X3D中每一个向量最末尾的“1”去掉得到最终三维坐标。
步骤205,将各个像素点的三维坐标转换成点云数据,点云数据用于生成三维超声影像。
下面先对本实施例中的点云数据的存储方式进行说明。点云数据以键值对的方式存储,即,Point_Cloud={[x1,y1,z1]:occu1,[x2,y2,z2]:occu2,......,[xm,ym,zm]:occum}。其中,[xi,yi,zi]为上文中计算得到的三维坐标,也可以理解为一个键值key,occui是一个数值列表,用来记录所有时刻或之前某一段时间内三维坐标[xi,yi,zi]是否有数值。比如,当三维坐标[xi,yi,zi]在当前时刻有数值时,在occui的末位加1,当三维坐标在当前时刻有数值时,在occui的末位加0。或者,occui还可以用来记录所有时刻或之前某一段时间内三维坐标[xi,yi,zi]的亮度值,例如occui=[0,0,0,......,0,0.6,0.66,0.7,......,0.9],开头的0代表在三维坐标[xi,yi,zi]有亮度值之前是没有被物体占据的,但为了在后续图像显示上和其他点一致,需要在该数值列表的前面补零,直至该数值列表的长度与其他三维坐标的数值列表的长度相同。
在以上述存储结构存储点云数据时,将各个像素点的三维坐标转换成点云数据,可以包括:对于每个像素点的三维坐标,当存在以三维坐标为键值的点云数据,且三维坐标有数值时,在键值对应的数值列表的末位添加第一标记;当存在以三维坐标为键值的点云数据,且三维坐标没有数值时,在键值对应的数值列表的末位添加第二标记;当不存在以三维坐标为键值的点云数据,且三维坐标有数值时,创建与键值对应的数值列表,在键值对应的数值列表的末位添加第一标记,并在第一标记之前补齐历史时刻的第二标记。
当第一标记为1,第二标记为0时,可以在Point_Cloud中找到对应坐标,对于key已存在的并且在t时刻该坐标有值,那么在该key的数值列表中尾接一个存在标记“1”;对于key已存在的并且在t时刻该坐标无值,那么在该key的数值列表中尾接一个不存在标记“0”;对于key不存在的并且在t时刻该坐标有值,那么在该key的数值列表中尾接一个存在标记“1”,并且在数值列表首按照时间戳数目补齐不存在标记“0”。
在一种可能的实现方式中,在键值对应的数值列表的末位添加第一标记,可以包括:利用概率占位栅格图算法计算每个点云数据的权重,将权重作为第一标记添加到数值列表的末位。
在得到点云数据之后,超声波设备还可以根据多个时刻的点云数据来生成三维超声影像。具体的,超声波设备可以获取每个时刻的点云数据,对每个时刻的点云数据进行三维显示,得到三维超声影像。即,所有occui的第j个数构成的集合是j时刻的点云数据。
请参考图3所示的3个数据流向,其中,数据流向1是超声探头得到扇形图像,再对扇形图像依次进行降噪、分割和二值化处理后得到包含器官轮廓的二维超声图像,再进行一维齐次化处理进行升维。数据流向2是根据机械臂的臂长和角度传感器的测量数据计算转移矩阵。数据流向3是将转移矩阵和升维后的矩阵相乘,得到点云数据,再对点云数据进行键值存储和显示。
综上所述,本申请实施例提供的三维超声影像生成方法,通过根据机械臂的臂长和角度传感器测得的转角数据可以计算出当前时刻的转移矩阵,再根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标,然后,可以将各个像素点的三维坐标转换成点云数据,这样,就可以根据点云数据生成三维超声影像。相比于通过电机来控制超声探头来说,既可以减少成像干扰,也可以避免图像配准,可以提高三维超声影像的生成效率和准确性。
请参考图4,其示出了本申请一个实施例提供的三维超声影像生成装置的结构框图,该三维超声影像生成装置可以应用于图1所示的超声波设备中。该三维超声影像生成装置,可以包括:
图像获取模块410,用于通过超声探头获取当前时刻的二维超声图像;
数据获取模块420,用于获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;
矩阵计算模块430,用于根据臂长和转角数据计算当前时刻的转移矩阵;
坐标转换模块440,用于根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标;
点云转换模块450,用于将各个像素点的三维坐标转换成点云数据,点云数据用于生成三维超声影像。
在一种可能的实现方式中,矩阵计算模块430,还用于:
根据超声探头绕第六机械臂旋转的转角生成绕Z轴的第六旋转矩阵,并计算第五角度传感器相对于超声探头产生的第六位移矩阵,将第六旋转矩阵和第六位移矩阵组成第六转移矩阵;
根据第五角度传感器旋转的转角生成绕Y轴的第五旋转矩阵,并计算第四角度传感器相对于第五角度传感器产生的第五位移矩阵,将第五旋转矩阵和第五位移矩阵组成第五转移矩阵;
根据第四角度传感器旋转的转角生成绕Y轴的第四旋转矩阵,并计算第三角度传感器相对于第四角度传感器产生的第四位移矩阵,将第四旋转矩阵和第四位移矩阵组成第四转移矩阵;
根据第三角度传感器旋转的转角生成绕X轴的第三旋转矩阵,并计算第二角度传感器相对于第三角度传感器产生的第三位移矩阵,将第三旋转矩阵和第三位移矩阵组成第三转移矩阵;
根据第二角度传感器旋转的转角生成绕X轴的第二旋转矩阵,并计算第一角度传感器相对于第二角度传感器产生的第二位移矩阵,将第二旋转矩阵和第二位移矩阵组成第二转移矩阵;
根据第一角度传感器旋转的转角生成绕Z轴的第一旋转矩阵,并计算基座相对于第一角度传感器产生的第一位移矩阵,将第一旋转矩阵和第一位移矩阵组成第一转移矩阵;
将第一转移矩阵、第二转移矩阵、第三转移矩阵、第四转移矩阵、第五转移矩阵和第六转移矩阵依次相乘,得到转移矩阵。
在一种可能的实现方式中,图像获取模块410,还用于:
获取超声探头在当前时刻采集到的数据,得到扇形图像;
依次对扇形图像进行降噪处理、分割处理和二值化处理,得到二维超声图像。
在一种可能的实现方式中,坐标转换模块440,还用于:
当二维超声图像所在平面为X-Z平面时,在每个像素点的二维坐标中添加数值为0的Y轴坐标,得到每个像素点的第一坐标;
对所有像素点的第一坐标进行一维齐次化处理,得到坐标集;
将坐标集中灰度值非零的每个第一坐标乘以转移矩阵,得到各个像素点的第二坐标;
对每个第二坐标进行整数化处理,并去除每个向量中最末尾的1,得到各个像素点的第三坐标。
在一种可能的实现方式中,当点云数据包括键值和数值列表时,点云转换模块450,还用于:
对于每个像素点的三维坐标,当存在以三维坐标为键值的点云数据,且三维坐标有数值时,在键值对应的数值列表的末位添加第一标记;
当存在以三维坐标为键值的点云数据,且三维坐标没有数值时,在键值对应的数值列表的末位添加第二标记;
当不存在以三维坐标为键值的点云数据,且三维坐标有数值时,创建与键值对应的数值列表,在键值对应的数值列表的末位添加第一标记,并在第一标记之前补齐历史时刻的第二标记。
在一种可能的实现方式中,点云转换模块450,还用于:
利用概率占位栅格图算法计算每个点云数据的权重,将权重作为第一标记添加到数值列表的末位。
请参考图5,在一种可能的实现方式中,该装置还包括:
点云获取模块460,用于获取每个时刻的点云数据;
三维显示模块470,用于对每个时刻的点云数据进行三维显示,得到三维超声影像。
综上所述,本申请实施例提供的三维超声影像生成装置,通过根据机械臂的臂长和角度传感器测得的转角数据可以计算出当前时刻的转移矩阵,再根据转移矩阵,将二维超声图像中各个像素点的二维坐标转换成三维坐标,然后,可以将各个像素点的三维坐标转换成点云数据,这样,就可以根据点云数据生成三维超声影像。相比于通过电机来控制超声探头来说,既可以减少成像干扰,也可以避免图像配准,可以提高三维超声影像的生成效率和准确性。
本申请一个实施例提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如上所述的三维超声影像生成方法。
需要说明的是:上述实施例提供的三维超声影像生成装置在进行三维超声影像生成时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将三维超声影像生成装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的三维超声影像生成装置与三维超声影像生成方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述并不用以限制本申请实施例,凡在本申请实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请实施例的保护范围之内。

Claims (7)

1.一种三维超声影像生成方法,其特征在于,用于超声波设备中,所述超声波设备中的基座和超声探头之间顺次连接有第一角度传感器、第一机械臂、第二角度传感器、第二机械臂、第三角度传感器、第三机械臂、第四角度传感器、第四机械臂、第五角度传感器、第五机械臂、第六角度传感器和第六机械臂;所述方法包括:
通过所述超声探头获取当前时刻的二维超声图像;
获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;
根据所述臂长和所述转角数据计算当前时刻的转移矩阵;
根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标;
将各个像素点的三维坐标转换成点云数据,所述点云数据用于生成三维超声影像;
所述根据所述臂长和所述转角数据计算当前时刻的转移矩阵,包括:根据所述超声探头绕所述第六机械臂旋转的转角生成绕Z轴的第六旋转矩阵,并计算所述第五角度传感器相对于所述超声探头产生的第六位移矩阵,将所述第六旋转矩阵和所述第六位移矩阵组成第六转移矩阵;根据所述第五角度传感器旋转的转角生成绕Y轴的第五旋转矩阵,并计算所述第四角度传感器相对于所述第五角度传感器产生的第五位移矩阵,将所述第五旋转矩阵和所述第五位移矩阵组成第五转移矩阵;根据所述第四角度传感器旋转的转角生成绕Y轴的第四旋转矩阵,并计算所述第三角度传感器相对于所述第四角度传感器产生的第四位移矩阵,将所述第四旋转矩阵和所述第四位移矩阵组成第四转移矩阵;根据所述第三角度传感器旋转的转角生成绕X轴的第三旋转矩阵,并计算所述第二角度传感器相对于所述第三角度传感器产生的第三位移矩阵,将所述第三旋转矩阵和所述第三位移矩阵组成第三转移矩阵;根据所述第二角度传感器旋转的转角生成绕X轴的第二旋转矩阵,并计算所述第一角度传感器相对于所述第二角度传感器产生的第二位移矩阵,将所述第二旋转矩阵和所述第二位移矩阵组成第二转移矩阵;根据所述第一角度传感器旋转的转角生成绕Z轴的第一旋转矩阵,并计算所述基座相对于所述第一角度传感器产生的第一位移矩阵,将所述第一旋转矩阵和所述第一位移矩阵组成第一转移矩阵;将所述第一转移矩阵、所述第二转移矩阵、所述第三转移矩阵、所述第四转移矩阵、所述第五转移矩阵和所述第六转移矩阵依次相乘,得到所述转移矩阵;
所述根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标,包括:当所述二维超声图像所在平面为X-Z平面时,在每个像素点的二维坐标中添加数值为0的Y轴坐标,得到每个像素点的第一坐标;对所有像素点的第一坐标进行一维齐次化处理,得到坐标集;将所述坐标集中灰度值非零的每个第一坐标乘以所述转移矩阵,得到各个像素点的第二坐标;对每个第二坐标进行整数化处理,并去除每个向量中最末尾的1,得到各个像素点的第三坐标。
2.根据权利要求1所述的方法,其特征在于,所述通过所述超声探头获取当前时刻的二维超声图像,包括:
获取所述超声探头在当前时刻采集到的数据,得到扇形图像;
依次对所述扇形图像进行降噪处理、分割处理和二值化处理,得到所述二维超声图像。
3.根据权利要求1所述的方法,其特征在于,当点云数据包括键值和数值列表时,所述将各个像素点的三维坐标转换成点云数据,包括:
对于每个像素点的三维坐标,当存在以所述三维坐标为键值的点云数据,且所述三维坐标有数值时,在所述键值对应的数值列表的末位添加第一标记;
当存在以所述三维坐标为键值的点云数据,且所述三维坐标没有数值时,在所述键值对应的数值列表的末位添加第二标记;
当不存在以所述三维坐标为键值的点云数据,且所述三维坐标有数值时,创建与所述键值对应的数值列表,在所述键值对应的数值列表的末位添加第一标记,并在所述第一标记之前补齐历史时刻的第二标记。
4.根据权利要求3所述的方法,其特征在于,所述在所述键值对应的数值列表的末位添加第一标记,包括:
利用概率占位栅格图算法计算每个点云数据的权重,将所述权重作为所述第一标记添加到所述数值列表的末位。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
获取每个时刻的点云数据;
对每个时刻的点云数据进行三维显示,得到所述三维超声影像。
6.一种三维超声影像生成装置,其特征在于,用于超声波设备中,所述超声波设备中的基座和超声探头之间顺次连接有第一角度传感器、第一机械臂、第二角度传感器、第二机械臂、第三角度传感器、第三机械臂、第四角度传感器、第四机械臂、第五角度传感器、第五机械臂、第六角度传感器和第六机械臂;所述装置包括:
图像获取模块,用于通过超声探头获取当前时刻的二维超声图像;
数据获取模块,用于获取每个机械臂的臂长以及对应的角度传感器在当前时刻测得的转角数据;
矩阵计算模块,用于根据所述臂长和所述转角数据计算当前时刻的转移矩阵;
坐标转换模块,用于根据所述转移矩阵,将所述二维超声图像中各个像素点的二维坐标转换成三维坐标;
点云转换模块,用于将各个像素点的三维坐标转换成点云数据,所述点云数据用于生成三维超声影像;
所述矩阵计算模块,还用于:根据所述超声探头绕所述第六机械臂旋转的转角生成绕Z轴的第六旋转矩阵,并计算所述第五角度传感器相对于所述超声探头产生的第六位移矩阵,将所述第六旋转矩阵和所述第六位移矩阵组成第六转移矩阵;根据所述第五角度传感器旋转的转角生成绕Y轴的第五旋转矩阵,并计算所述第四角度传感器相对于所述第五角度传感器产生的第五位移矩阵,将所述第五旋转矩阵和所述第五位移矩阵组成第五转移矩阵;根据所述第四角度传感器旋转的转角生成绕Y轴的第四旋转矩阵,并计算所述第三角度传感器相对于所述第四角度传感器产生的第四位移矩阵,将所述第四旋转矩阵和所述第四位移矩阵组成第四转移矩阵;根据所述第三角度传感器旋转的转角生成绕X轴的第三旋转矩阵,并计算所述第二角度传感器相对于所述第三角度传感器产生的第三位移矩阵,将所述第三旋转矩阵和所述第三位移矩阵组成第三转移矩阵;根据所述第二角度传感器旋转的转角生成绕X轴的第二旋转矩阵,并计算所述第一角度传感器相对于所述第二角度传感器产生的第二位移矩阵,将所述第二旋转矩阵和所述第二位移矩阵组成第二转移矩阵;根据所述第一角度传感器旋转的转角生成绕Z轴的第一旋转矩阵,并计算所述基座相对于所述第一角度传感器产生的第一位移矩阵,将所述第一旋转矩阵和所述第一位移矩阵组成第一转移矩阵;将所述第一转移矩阵、所述第二转移矩阵、所述第三转移矩阵、所述第四转移矩阵、所述第五转移矩阵和所述第六转移矩阵依次相乘,得到所述转移矩阵;
所述坐标转换模块,还用于:当所述二维超声图像所在平面为X-Z平面时,在每个像素点的二维坐标中添加数值为0的Y轴坐标,得到每个像素点的第一坐标;对所有像素点的第一坐标进行一维齐次化处理,得到坐标集;将所述坐标集中灰度值非零的每个第一坐标乘以所述转移矩阵,得到各个像素点的第二坐标;对每个第二坐标进行整数化处理,并去除每个向量中最末尾的1,得到各个像素点的第三坐标。
7.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至5任一所述的三维超声影像生成方法。
CN202111615031.4A 2021-12-27 2021-12-27 三维超声影像生成方法、装置、存储介质及设备 Active CN114271856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111615031.4A CN114271856B (zh) 2021-12-27 2021-12-27 三维超声影像生成方法、装置、存储介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111615031.4A CN114271856B (zh) 2021-12-27 2021-12-27 三维超声影像生成方法、装置、存储介质及设备

Publications (2)

Publication Number Publication Date
CN114271856A CN114271856A (zh) 2022-04-05
CN114271856B true CN114271856B (zh) 2022-10-11

Family

ID=80876150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111615031.4A Active CN114271856B (zh) 2021-12-27 2021-12-27 三维超声影像生成方法、装置、存储介质及设备

Country Status (1)

Country Link
CN (1) CN114271856B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116965848A (zh) * 2023-09-25 2023-10-31 中南大学 一种三维超声成像方法、系统、设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0944026A2 (en) * 1998-03-20 1999-09-22 Aloka Co. Ltd. Three-dimensional ultrasound image processing apparatus and method
CN101612062A (zh) * 2008-06-26 2009-12-30 北京石油化工学院 多关节臂机械传感式超声影像导航定位方法
JP2011194084A (ja) * 2010-03-19 2011-10-06 Toshiba Corp 超音波診断装置
GB201701383D0 (en) * 2017-01-27 2017-03-15 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
WO2017070205A1 (en) * 2015-10-23 2017-04-27 Wisconsin Alumni Research Foundation System and method for dynamic device tracking using medical imaging systems
JP2018000775A (ja) * 2016-07-07 2018-01-11 東芝メディカルシステムズ株式会社 超音波診断装置、及び医用画像処理装置
CN107714082A (zh) * 2017-09-04 2018-02-23 北京航空航天大学 一种基于光学定位的超声探头标定装置及方法
CN109620274A (zh) * 2018-12-12 2019-04-16 上海联影医疗科技有限公司 C臂机的机械臂导航方法及其系统、计算机可读存储介质
CN112991356A (zh) * 2019-12-12 2021-06-18 中国科学院沈阳自动化研究所 机械臂在复杂环境下的快速分割方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6961405B2 (en) * 2002-10-07 2005-11-01 Nomos Corporation Method and apparatus for target position verification
JP5373308B2 (ja) * 2008-03-31 2013-12-18 富士フイルム株式会社 超音波撮像装置及び超音波撮像方法
CN101625767B (zh) * 2008-07-10 2013-07-10 北京石油化工学院 非平行轮廓医学影像的点云式三维表面重建方法
KR101121286B1 (ko) * 2009-07-31 2012-03-23 한국과학기술원 센서의 교정을 수행하는 초음파 시스템 및 방법
JP2015505679A (ja) * 2011-10-09 2015-02-26 クリア・ガイド・メディカル・リミテッド・ライアビリティ・カンパニーClear Guide Medical,LLC 超音波画像を融合することによる介入現場画像ガイダンス
KR102294734B1 (ko) * 2014-09-30 2021-08-30 삼성전자주식회사 영상 정합 장치, 영상 정합 방법 및 영상 정합 장치가 마련된 초음파 진단 장치
CN106871785A (zh) * 2017-03-01 2017-06-20 成都天衡电科科技有限公司 一种基于视觉的多深度二维平面尺寸测量方法
CN107527316B (zh) * 2017-08-14 2019-10-18 马鞍山雨甜医疗科技有限公司 二维超声影像序列上的任意点构建点云数据的方法及系统
US20210169455A1 (en) * 2019-12-04 2021-06-10 GE Precision Healthcare LLC System and methods for joint scan parameter selection
CN112923933A (zh) * 2019-12-06 2021-06-08 北理慧动(常熟)车辆科技有限公司 一种激光雷达slam算法与惯导融合定位的方法
US11284963B2 (en) * 2019-12-30 2022-03-29 Cilag Gmbh International Method of using imaging devices in surgery
CN112558043B (zh) * 2020-11-17 2022-07-22 浙江众合科技股份有限公司 一种激光雷达的标定方法及电子设备
CN112123343B (zh) * 2020-11-25 2021-02-05 炬星科技(深圳)有限公司 点云匹配方法、设备及存储介质
CN112734830B (zh) * 2020-12-30 2022-05-03 无锡祥生医疗科技股份有限公司 基于点云数据的位姿控制方法、装置、设备及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0944026A2 (en) * 1998-03-20 1999-09-22 Aloka Co. Ltd. Three-dimensional ultrasound image processing apparatus and method
CN101612062A (zh) * 2008-06-26 2009-12-30 北京石油化工学院 多关节臂机械传感式超声影像导航定位方法
JP2011194084A (ja) * 2010-03-19 2011-10-06 Toshiba Corp 超音波診断装置
WO2017070205A1 (en) * 2015-10-23 2017-04-27 Wisconsin Alumni Research Foundation System and method for dynamic device tracking using medical imaging systems
JP2018000775A (ja) * 2016-07-07 2018-01-11 東芝メディカルシステムズ株式会社 超音波診断装置、及び医用画像処理装置
GB201701383D0 (en) * 2017-01-27 2017-03-15 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
CN107714082A (zh) * 2017-09-04 2018-02-23 北京航空航天大学 一种基于光学定位的超声探头标定装置及方法
CN109620274A (zh) * 2018-12-12 2019-04-16 上海联影医疗科技有限公司 C臂机的机械臂导航方法及其系统、计算机可读存储介质
CN112991356A (zh) * 2019-12-12 2021-06-18 中国科学院沈阳自动化研究所 机械臂在复杂环境下的快速分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
An Efficient Quadratic Constrained Least Squares Localization Method for Narrow Space With Ranging Measurement;Yanjun Hu;《IEEE Access》;20191231;第174962-174971页 *
三维医学超声影像表面重建方法的应用研究;王丽梅;《中国优秀硕士学位论文全文数据库(信息科技辑)》;20100515;第I138-804页 *

Also Published As

Publication number Publication date
CN114271856A (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
Dai et al. Real-time visualized freehand 3D ultrasound reconstruction based on GPU
JP4917733B2 (ja) 尤度最大化を利用した画像位置合わせシステム及び方法
AU2010257203B2 (en) Fast anatomical mapping using ultrasound images
CN104584074B (zh) 在3d常规以及对比增强的超声图像中的耦合的分割
WO2021018101A1 (zh) 数据处理方法、装置、设备及存储介质
CN102138808B (zh) 超声波诊断装置及医用图像处理装置
CN114271856B (zh) 三维超声影像生成方法、装置、存储介质及设备
JP6833533B2 (ja) 超音波診断装置および超音波診断支援プログラム
WO2020006681A1 (zh) 标记数据的获取方法及装置、训练方法及装置、医疗设备
JP6145870B2 (ja) 画像表示装置および方法、並びにプログラム
US6606089B1 (en) Method for visualizing a spatially resolved data set
CN103860197A (zh) 自由式三维超声成像方法、装置和系统
CN108805876B (zh) 使用生物力学模型的磁共振和超声图像的可形变配准的方法和系统
Hafizah et al. 3D ultrasound image reconstruction based on VTK
CN111161330B (zh) 非刚性图像配准方法、装置、系统、电子设备、存储介质
Pospisil et al. 4-D x 3-D ultrasound: real-time scan conversion, filtering, and display of displacement vectors with a motorized curvilinear transducer
Kuo et al. Interactive volume rendering of real-time three-dimensional ultrasound images
Starkov et al. Ultrasound simulation with deformable and patient-specific scatterer maps
JP7275261B2 (ja) 3次元超音波画像生成装置、方法、及びプログラム
Najafi et al. Single wall closed-form differential ultrasound calibration
CN113538665B (zh) 一种器官三维图像重建补偿方法
CN109276276B (zh) 基于Labview平台的超声内窥成像系统及方法
Hlindzich et al. A 3d/4d freehand ultrasound system for cardiac modelling and analysis
Sokolov et al. Thin plate splines method for 3d reconstruction of the left ventricle with use a limited number of ultrasonic sections
CN113345078A (zh) 一种器官三维图像重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant