CN116507285A - 用于混合换能器阵列的图像复合 - Google Patents

用于混合换能器阵列的图像复合 Download PDF

Info

Publication number
CN116507285A
CN116507285A CN202180071889.0A CN202180071889A CN116507285A CN 116507285 A CN116507285 A CN 116507285A CN 202180071889 A CN202180071889 A CN 202180071889A CN 116507285 A CN116507285 A CN 116507285A
Authority
CN
China
Prior art keywords
image
optical
type
resonator
array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180071889.0A
Other languages
English (en)
Inventor
朱立人
赵丹华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Vision Ultrasound Technology Corp
Original Assignee
Deep Vision Ultrasound Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Vision Ultrasound Technology Corp filed Critical Deep Vision Ultrasound Technology Corp
Publication of CN116507285A publication Critical patent/CN116507285A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0093—Detecting, measuring or recording by applying one single type of energy and measuring its conversion into another type of energy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4416—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to combined acquisition of different diagnostic modalities, e.g. combination of ultrasound and X-ray acquisitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4477—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device using several separate ultrasound transducers or probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4483—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer
    • A61B8/4488—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device characterised by features of the ultrasound transducer the transducer being a phased array
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/66—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light electrically excited, e.g. electroluminescence
    • G01N21/67—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light electrically excited, e.g. electroluminescence using electric arcs or discharges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/06—Arrangements of multiple sensors of different types

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Cameras In General (AREA)

Abstract

一种成像的方法可包括从混合换能器阵列中的一个或多个第一类型的阵列元件接收第一信号，从混合换能器阵列中的一个或多个第二类型的阵列元件接收第二信号，其中第一类型和第二类型中的至少一者是光学传感器，从第一信号生成第一图像并且从第二信号生成第二图像，并且组合第一图像和第二图像以生成复合图像。

Description

用于混合换能器阵列的图像复合
相关申请的交叉引用
本申请要求2020年10月23日递交的美国专利申请第63/104,886号的优先权，在此通过引用将该美国专利申请全部并入。
技术领域
本公开概括而言涉及成像的领域，具体而言涉及使得能够从由包括光学传感器和其他换能器的阵列的混合阵列获取的图像形成复合图像的方法和设备。本文公开的方法和设备包括具有高灵敏度和/或高操作带宽的光学传感器，以提高成像性能。
背景技术
超声波传感由于有若干优点而被用于各种行业中，包括医学成像和医学诊断。例如，超声传感利用了具有显著的穿透深度的超声信号。此外，已知超声成像是一种有利的非侵入性成像形式，因为它是基于非电离辐射的。
超声成像中使用的各种已知的超声换能器具有许多缺点。例如，一些超声换能器是由压电材料制成的，例如锆钛酸铅(lead zirconate titanate，PZT)。然而，PZT材料的6-dB带宽一般只限于大约70％。某些复合PZT材料的带宽略有增大，但仍只能实现最多约80％的带宽。作为另一个示例，为了改善超声探头的性能，单晶材料越来越多地被使用，但其居里温度较低，并且易变。另一种类型的换能器材料是硅，它可以被加工来构建具有更高带宽的电容式微机械超声换能器(Capacitive Micromachined Ultrasound Transducer，CMUT)探头。然而，CMUT探头不是非常灵敏或可靠。此外，CMUT探头有几个操作限制。例如，CMUT探头是非线性传感器，因此一般不适合于谐波成像。从而，对于具有混合换能器阵列(混合阵列)的超声探头存在需求，这种阵列包括具有更高带宽和灵敏度的传感器。此外，需要有后端设备和/或前端设备来处理由混合阵列生成的信号和/或图像。
发明内容
概括而言，在一些变体中，一种用于成像(例如，对患者进行超声成像)的装置(例如，图像复合系统)可包括混合换能器阵列，其包括被配置来接收第一信号的一个或多个第一类型的阵列元件，以及被配置来接收第二信号的一个或多个第二类型的阵列元件，其中第一类型和第二类型中的至少一者是光学传感器。该装置还可包括一个或多个处理器，被配置来从第一信号生成第一图像，从第二信号生成第二图像，并且组合第一图像和第二图像以生成复合图像。
在一些变体中，第一类型的阵列元件可包括非光学换能器，并且第二类型的阵列元件可包括光学传感器。一个或多个第一类型的阵列元件可包括，例如，压电换能器、单晶材料换能器、压电式微机械超声换能器(piezoelectric micromachined ultrasoundtransducer，PMUT)、或者电容式微机械超声换能器(CMUT)。光学传感器可包括，例如，耳语回廊模式(whispering gallery mode，WGM)光学谐振器、微泡光学谐振器、光子集成电路(photonic integrated circuit，PIC)光学谐振器、微球体谐振器、微型环芯谐振器、微环谐振器、微瓶谐振器、微柱体谐振器、和/或微盘光学谐振器。
在一些变体中，第二类型的阵列元件可包括具有不同特性(例如，不同的设计和/或不同的操作参数)的光学传感器。例如，在一些变体中，第二类型的阵列元件可包括一个或多个高品质因数(高Q)光学传感器，以及一个或多个低品质(低Q)光学传感器。额外地或者替代地，第二类型的阵列元件可包括被配置来作为高Q光学谐振器操作的一个或多个可调谐光学谐振器，并且/或者第二类型的阵列元件可包括被配置来作低高Q光学谐振器操作的一个或多个可调谐光学谐振器。例如，这种可调谐光学谐振器可以依据成像设置等等，来选择性地在高Q模式或低Q模式中可操作。
此外，在一些变体中，混合换能器阵列可包括一个或多个非光学换能器和多种类型的光学传感器的组合。例如，混合换能器阵列可包括一个或多个第一类型的阵列元件，其中包括至少一个非光学换能器，一个或多个第二类型的阵列元件可包括至少一种类型的光学传感器，并且一个或多个第三类型的阵列元件可包括至少另一种类型的光学传感器。一个或多个处理器还可被配置来从第三信号生成第三图像，并且组合第一图像、第二图像、和第三图像以生成复合图像。不同类型的光学谐振器传感器可包括，例如，高Q光学谐振器和低Q光学谐振器(或者被配置来作为高Q光学谐振器或低Q光学谐振器操作的可调谐光学谐振器传感器)。作为另一示例，不同类型的光学谐振器传感器可包括宽带宽的光学谐振器和超灵敏的光学谐振器。
在一些变体中，混合换能器阵列的一个或多个阵列元件(例如，换能器)可以在基本频率f下发送声学信号。作为响应，一个或多个第一类型的阵列元件、一个或多个第二类型的阵列元件、或者一个或多个第一类型的阵列元件和一个或多个第二类型的阵列元件两者可以在接收到与发送的声学信号相对应的谐波(包括超谐波和次谐波)声学回声时产生一个或多个响应。一个或多个第二类型的阵列元件可具有范围从至少f/M到Nf的带宽，其中M和N是大于1的整数。在一些变体中，一个或多个第一类型的阵列元件可以在第一基本频率f1和第二基本频率f2下发送声学信号。作为响应，一个或多个第二类型的阵列元件可以在接收到与一个或多个线性组合的频率nf1+mf2相对应的声学回声时产生一个或多个光学响应，其中n和m是整数，以使得nf1+mf2是正数。第一图像和第二图像中的至少一者可以是或者可以包括谐波图像。
在一些变体中，一个或多个处理器可被配置来使用一个或多个适当的滤波器来对来自混合换能器阵列中的不同类型的阵列元件的各种信号进行滤波。这种适当的滤波器可包括，例如，谐波带通滤波器、它可以使得能够提取谐波信号，包括次谐波和超谐波信号。
组合第一图像和第二图像可以通过适当的复合算法来执行。例如，一个或多个处理器可被配置来至少部分地通过确定第一图像和第二图像的平均来组合第一和第二图像。例如，一个或多个处理器可被配置来至少部分地通过确定第一图像和第二图像的算术或几何平均来组合第一和第二图像。额外地或者替代地，一个或多个处理器可被配置来至少部分地通过确定第一图像和第二图像的加权平均来组合第一和第二图像。在一些变体中，这种加权平均可包括为第一和第二图像确定一个或多个复合系数，其中第一和第二图像可以基于该一个或多个复合系数被组合。
例如，在一些变体中，一个或多个处理器可以被配置来至少部分地通过使用至少一个变换算子将第一和第二图像变换为第一变换域图像和第二变换域图像来确定一个或多个复合系数，为第一变换域图像和第二变换域图像确定一个或多个变换域复合系数，并且对该一个或多个变换域复合系数进行逆变换以为第一图像和第二图像确定一个或多个复合系数。变换域复合系数可以例如，至少部分地通过向第一变换域图像和第二变换域图像应用一个或多个系数复合规则(例如，预先确定的、基于探试的或者学习到的规则，等等)来确定。变换算子可包括任何适当种类的支持1:1前向和后向变换的变换(例如，傅里叶变换、离散小波变换(Discrete Wavelet Transform，DWT)、离散余弦变换(Discrete CosineTransform，DCT)、或者波原子变换)。
在一些变体中，一个或多个处理器可以额外地或者替代地被配置来至少部分地通过以下步骤来确定一个或多个复合系数：为第一图像确定第一图像品质因数图谱并且为第二图像确定第二图像品质因数图谱，并且基于第一图像品质因数图谱为第一图像确定第一复合系数，并基于第二图像品质因数图谱为第二图像确定第二复合系数，
额外地或者替代地，在一些变体中，一个或多个处理器可被配置来至少部分地通过以下步骤来确定一个或多个复合系数：确定第一图像中的每个像素的局部熵和第二图像中的每个像素的局部熵，并且基于所确定的局部熵确定一个或多个复合系数。
用于确定复合系数的其他适当技术包括至少部分地通过以下步骤来确定一个或多个复合系数：向第一图像和第二图像的每一者应用线性滤波器(例如，高斯差分滤波器)以估计和加权图像内容，将一个或多个复合系数确定为成像深度的函数，和/或应用减小第一图像和/或第二图像的已超过了预定的饱和阈值的至少一部分的权重(例如，复合系数)的饱和掩模。
换言之，一个或多个处理器可被配置来使用如本文所述的一个或多个适当的复合技术将来自混合换能器阵列中的不同类型的传感器的图像组合起来，这些技术包括，例如，以下各项中的一项或多项：算术平均，几何平均、变换域复合、基于图像品质因数(imagequality factor，IQF)的复合、局部熵加权复合、图像内容加权复合、深度相关加权复合、或者饱和掩蔽，等等。
附图说明
图1是具有混合阵列的示范性图像复合系统的框图。
图2是具有混合阵列的示范性图像复合系统的框图。
图3是具有混合阵列的示范性图像复合系统的框图。
图4是具有混合阵列的示范性图像复合系统的框图。
图5是具有混合阵列的示范性图像复合系统的框图。
图6是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。
图7是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。
图8是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。
图9是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。
图10是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。
图11A-图11E示出了由混合阵列生成的示范性信号和这些信号的谐波滤波。
图12示出了对由混合阵列获取的图像执行图像复合的方法。
图13示出了对由混合阵列获取的图像执行图像复合的方法。
具体实施方式
本文描述了并且在附图中图示了本发明的各种方面和变体的非限制性示例。
本文描述了用于对使用包括多种类型的阵列元件的混合阵列获取的图像进行复合(例如，组合)的方法和设备。本文描述的混合阵列包括一个或多个第一类型的阵列元件和一个或多个不同于第一类型的第二类型的阵列元件。一个或多个第一类型的阵列元件可用于形成第一图像，而一个或多个第二类型的阵列元件可用于形成第二图像。第一类型可包括非光学换能器，例如压电换能器、单晶材料换能器、压电式微机械超声波换能器(PMUT)和/或电容式微机械超声换能器(CMUT)，等等。第二类型可包括光学传感器，它可以是基于干涉的光学传感器，例如光学谐振器(例如，耳语回廊模式(WGM)光学谐振器或者光子集成电路(PIC)光学谐振器)或者光学干涉仪。光学传感器可具有任何适当的形状。例如，光学传感器可以是微泡谐振器、微球体谐振器、微型环芯谐振器、微环谐振器、微瓶谐振器、微柱体谐振器和/或微盘光学谐振器，等等。与其他类型的超声传感器相比，光学传感器在接收超声信号时具有高灵敏度和/或宽带宽。
在混合换能器阵列中可包括非光学换能器和一种或多种类型的光学传感器的各种适当组合。例如，在一些变体中，第一类型的阵列元件可包括非光学换能器，并且第二类型的阵列元件可包括光学传感器。一个或多个第一类型的阵列元件可包括非光学换能器(非光学子阵列)，用于发送声学信号和/或检测声学回声以形成第一图像。一个或多个第二类型的阵列元件(例如，光学子阵列中的光学传感器)可用于检测可用于形成第二图像的声学回声(例如，全谱、基带、次谐波、超谐波和/或微分谐波)。由高灵敏度和/或宽带宽的光学传感器生成的第二图像可以被独立使用，或者可以与第一图像相组合，以形成更进一步改善的图像。由于光学谐振器的高灵敏度和宽带宽，由光学传感器产生的图像可具有改善的空间分辨率、改善的对比度分辨率、改善的穿透深度、改善的信噪比(signal-to-noiseratio，SNR)、改善的组织谐波成像、和/或改善的多普勒灵敏度。然而，由于光学子阵列和非光学子阵列本质上具有不同的特性，因此通过组合使用不同类型的传感器产生的信号生成的图像而产生的复合图像可能具有更多的特征，更好的图像品质，并且提供对底层成像目标的更完整理解。
此外，光学传感器不生成超声波，因此与确实生成超声波的其他换能器(例如，压电、CMUT，等等)一起被用于混合阵列中。混合阵列可以以各种配置来排列，并且包括具有各种噪声水平、幅度响应、相位延迟、频率范围等等的传感器元件。因此，一般被用于具有一种类型传感器的探头的传统波束成形方法和设备对于使用多种类型的传感器的混合阵列的探头不是最优的。本文描述的光学谐振器可具有超高的品质因数(103、105、107、109，等等)，因此对于超声检测具有超高灵敏度，但动态范围更小。这种超高品质因数的光学谐振器可能特别适合于超深成像，但在近场中可能会遭受不合需要的非线性失真。另一方面，与具有超高品质因数的光学谐振器相比，光学谐振器可以被设计为具有更低的品质因数，因此灵敏度也更低。这种更低品质因数的光学谐振器可能特别适合于近场中的成像，而没有不合需要的非线性失真。此外，光学谐振器可以支持许多不同的谐振模式。因此，光学谐振器的操作模式可以例如通过切换与光学谐振器耦合的激光源的波长，被从第一操作模式切换到第二操作模式。在一些变体中，图像复合系统可以在第一时间在超高品质因数操作模式中操作光学谐振器，并且在第二时间在低品质因数操作模式中操作光学谐振器。在一些变体中，图像复合系统可以在超高品质因数操作模式中操作第一组光学谐振器，并且在低品质因数操作模式中操作第二组光学谐振器。此外，由不同类型的光学谐振器组成的子阵列可以被部署在用于产生示出目标的不同方面的不同图像的那同一个图像复合系统中。组合由不同光学谐振器产生的图像，或者通过使用例如本文所述的复合算法在不同的操作模式中操作光学谐振器，可以产生或者以其他方式生成比由单一类型的传感器产生或生成的图像具有更好图像品质的图像。
因此，在一些变体中，第二类型的阵列元件可包括具有不同特性(例如，不同的设计和/或不同的操作参数)的光学谐振器传感器。例如，在一些变体中，第二类型的阵列元件可包括一个或多个高品质因数(高Q)光学谐振器，以及一个或多个低品质(低Q)光学谐振器。额外地或者替代地，第二类型的阵列元件可包括被配置来作为高Q光学谐振器操作的一个或多个可调谐光学谐振器，以及被配置来作为低Q光学谐振器操作的一个或多个可调谐光学谐振器。例如，这种可调谐光学谐振器可以依据成像设置等等，来选择性地在高Q或低Q值模式中可操作。额外地或者替代地，第二类型的阵列元件可包括被设计用于宽带宽的一个或多个光学谐振器传感器，以及被设计用于超高灵敏度的一个或多个光学谐振器传感器。
此外，在一些变体中，混合换能器阵列可包括一个或多个非光学换能器和多种类型的光学传感器的组合。从而，可以使用例如本文所述的图像复合系统和方法对不同种类的输入图像(例如，来自非光学换能器和/或来自一个或多个不同种类的光学传感器)进行组合，以获得比任何个体输入图像品质更好的复合图像。
图像复合系统
图1是具有混合阵列的示范性图像复合系统100的框图。图像复合系统100包括探头125、成像系统160、以及显示器170。探头125可以与成像系统160操作性地耦合。探头125可以从/向成像系统160接收和/或发送一组信号(例如，电信号、电磁信号、光学信号，等等)。探头125包括混合阵列110，该混合阵列可以从/向介质接收和/或发送一组信号(例如，声学信号，等等)以用于形成图像。成像系统160可包括前端140和后端150，它们可以共同确定发送到探头(例如，经由一个或多个发送通道)的信号的物理参数(例如，定时、位置、角度、强度，等等)，并且对由探头125(例如，经由一个或多个接收通道)接收的信号进行后期处理以形成图像。成像系统160也可以与显示器170耦合，以将一组信号(例如，电信号、电磁信号，等等)发送到显示器170。例如，在一些变体中，显示器170可被配置来显示由成像系统160产生的图像(例如，在图形用户界面(graphical user interface，GUI)中)。额外地或者替代地，成像系统160可以从显示器170接收信号。例如，显示器170还可包括交互式界面(例如，触摸屏、键盘、运动传感器，等等)，以接收来自图像复合系统100的用户的命令，以例如控制图像复合系统100的操作。
如图1所示，探头125可包括混合阵列110、多路复用器120、以及光学传感器线缆130。混合阵列110可包括一个或多个非光学阵列元件(例如，PZT换能器、CMUT换能器，等等)和一个或多个光学阵列元件(例如，光学传感器，比如WGM谐振器)。非光学换能器可被配置来发送声波，并且在一些变体中可被配置来额外地接收和检测响应于发送的声波的声学回声。光学传感器可被配置来接收和检测具有高灵敏度和/或宽带宽响应的回声信号。在一些变体中，混合阵列可以类似于国际专利申请第PCT/US2021/033715号中描述的任何混合阵列，该国际专利申请通过此处的引用被全部并入到本文中。在一些变体中，混合阵列可被配置来执行如国际专利申请第PCT/US2021/039551号中描述的谐波成像，该国际专利申请通过此处的引用被全部并入到本文中。在一些变体中，探头125可被配置来通过使用混合阵列110来迭代地扫描整个视场。在一些变体中，可以通过合成孔径技术来组合来自混合阵列的信号，例如国际专利申请第PCT/US2021/049226号中描述的技术，该国际专利申请通过此处的引用被全部并入到本文中。这种信号可用于使用光学传感器和/或非光学换能器生成图像，如下文进一步详细描述的。
混合阵列110可包括换能器元件的阵列，并且可被配置用于1维(1D)配置、1.25维(1.25D)阵列配置、1.5维(1.5D)阵列配置、1.75维(1.75D)阵列配置或者2维(2D)阵列配置中的操作。一般而言，超声传感器阵列的维度与利用超声传感器阵列成像时可实现的高度(elevation)波束宽度(或者高度波束切片厚度)的范围，以及系统对传感器阵列的高度波束大小、焦点和/或整个成像域(例如，整个成像深度)中的转向的控制程度有关。1D阵列在高度维度上只有一行元件并且具有固定的高度孔径大小。1.25D阵列在高度维度上具有多行元件，并且具有可变的高度孔径大小，但经由声学透镜的高度焦点具有是固定的。1.5D阵列在高度维度上具有多行元件，具有可变的高度孔径大小，并且经由电子延迟控制具有可变的高度焦点。1.75D阵列是具有额外的高度波束转向能力的1.5D阵列。2D阵列在横向和高度维度上都具有大量的元件，以满足在横向和高度两个方向上的大波束转向角的最小节距要求。
在一些变体中，图像复合系统可被配置来将1.5D阵列配置或2D阵列配置变成1D阵列配置。混合阵列110可包括大量(例如，16、32、64、128、256、1024、4096、8192、16384和/或类似数目的)元件。在一些变体中，混合阵列110可被排列成矩形配置，并且可包括N×M个元件，其中N是行的数目并且M是列的数目。在一些变体中，例如，混合阵列110包括一个或多个第一类型的阵列元件和一个或多个第二类型的阵列元件，其中第一类型可以是被配置来发送超声波的压电换能器或其他非光学换能器，并且第二类型可以是光学传感器，例如光学谐振器。非光学换能器和光学传感器可以被集体定位为矩形排列、曲线排列、圆形排列或者稀疏阵列排列。
混合阵列110中的(一个或多个)非光学换能器可包括，例如，(一个或多个)锆钛酸铅(lead zirconate titanate，PZT)换能器，(一个或多个)聚合物厚膜(polymer thickfilm，PTF)传感器，(一个或多个)聚偏二氟乙烯(polyvinylidene fluoride，PVDF)传感器，(一个或多个)电容式微机械超声换能器(capacitive micromachined ultrasoundtransducer，CMUT)，(一个或多个)压电式微机械超声换能器(piezoelectricmicromachined ultrasound transducer，PMUT)，(一个或多个)基于单晶材料(例如，LiNbO3(LN)、Pb(Mg1/3Nb2/3)-PbTiO3(PMN-PT)、以及Pb(In1/2Nb1/2)-Pb(Mg1/3Nb2/3)-PbTiO3(PIN-PMN-PT))的换能器，和/或任何适合于声学传感的换能器。
光学传感器可以是或者可以包括，例如，基于干涉的光学传感器，例如光学干涉仪或者光学谐振器(例如，耳语回廊模式(WGM)光学谐振器)。在光学传感器是光学谐振器的变体中，光学传感器可具有任何适当的形状或形式(例如，微环谐振器、微球体谐振器、微型环芯谐振器、微泡谐振器、基于光纤的谐振器、集成光子谐振器、微盘谐振器，等等)。在一些变体中，光学传感器可以是/可以包括，例如，法布里-珀罗(Fabry-Perot，FP)谐振器、基于光纤的谐振器(例如，光纤环形谐振器)、光子晶体谐振器、波导谐振器、或者可以在空间和时间上局部化光学能量的任何其他适当的光学谐振器。例如，在一些变体中，光学谐振器可以类似于国际专利申请第PCT/US2020/064094和PCT/US2021/022412号中描述的任何光学谐振器，这些国际专利申请的每一者通过此处的引用被全部并入到本文中。
光学谐振器可包括透明介质(例如，玻璃、透明聚合物、氮化硅、二氧化钛或者任何其他在光学谐振器的操作波长上适当地光学透明的材料)的闭合环路，该透明介质允许一些允许频率的光在闭合环路内部连续传播，并且在闭合环路中存储允许频率的光的光学能量。上述内容相当于说，光学谐振器可以允许如下模式的传播在谐振器的外周上循环：在光学谐振器的表面上行进并且与允许频率相对应的模式(例如，耳语回廊模式(WGM))。每个模式对应于来自允许的光频率中的至少一个光频率的传播。本文描述的光的允许频率和光学谐振器的品质因数可以至少部分地基于光学谐振器的几何参数、透明介质的折射率、以及光学谐振器周围的环境的折射率。
如本文所述的光学谐振器可具有谐振频率的集合，包括谐振频率的第一子集和谐振频率的第二子集。在一些变体中，可以在谐振频率的第一子集下以高品质因数操作光学谐振器。替代地或者额外地，在一些变体中，可以在谐振频率的第二子集下以低品质因数操作光学谐振器。高品质因数的谐振频率子集可能适合于在高灵敏度的传感探头(或者子阵列)处操作，而低品质因数的谐振频率子集可能适合于高动态范围的应用。
在一些变体中，光学谐振器的灵敏度可以通过调谐光学谐振器的几何和/或特性材料参数来控制，以实现光学谐振器的品质因数的可调谐性。在一些变体中，光学谐振器内部和/或周围的空间可以用超声增强材料来填充，例如，聚偏二氟乙烯、聚对二甲苯、聚苯乙烯，等等。超声增强材料可以提高光学谐振器的灵敏度。
光学谐振器可以与其他组件耦合，以接收/发送光。在一些实现方式中，(一个或多个)光学谐振器可以经由光学介质(例如，光纤、锥形光纤、自由空间介质，等等)与光源(例如，激光器、可调谐激光器、掺铒光纤放大器，等等)和/或光电探测器(例如，p掺杂/本征/n掺杂(p-doped/intrinsic/n-doped，PIN)二极管)操作性地耦合。基于光学谐振器的声光系统可以通过(一个或多个)谐振器响应于超声波(例如，超声回声)的光弹性效应和/或物理形变来直接测量超声波。因此，光学谐振器可以被认为是能够将机械能量(例如，声学能量)转换为光学能量的光声换能器。例如，在超声(或者任何压力)波存在的情况下，行进于谐振器中的模式可能会经历频谱偏移或幅度变化，这是由谐振器的折射率和/或形状的变化引起的。可以很容易地利用光电探测器在频谱域中监视和分析频谱变化。幅度变化也可以由光电探测器检测。光电探测器最终将在光学谐振器和光纤中传播的光学能量(即，光学信号)转换为适合用电子电路处理的电能量(即，电信号)。此外，还可以通过监视和分析混合阵列之中的光学谐振器的光学响应来得出额外的空间和其他信息。本文描述了示范性的混合换能器阵列。额外地或者替代地，来自(一个或多个)光学谐振器的信号在被(一个或多个)光电探测器转换为电能量之前，可以由光学电路处理。
混合阵列110可具有以各种配置排列的一个或多个非光学阵列元件(例如，超声换能器或者其他非光学传感器)和一个或多个光学阵列元件(例如，光学谐振器，比如WGM光学谐振器)(类似于美国专利申请第63/029,044号中描述的任何混合阵列，上文已并入了该美国专利申请)。例如，在一些配置中，非光学和光学阵列元件可以被集体定位在包括若干行和若干列的矩形阵列中。矩形阵列可包括N×M个传感器元件，其中N是行的数目，M是列的数目，并且它们都是整数。在一些实现方式中，例如对于2D阵列，行的数目和/或列的数目可以大于31行和/或31列。例如，2D混合阵列可包括64×96＝6,144个传感器元件。
在一些变体中，混合阵列110可包括多种不同类型的光学传感器。例如，如下文进一步描述的，不同类型的光学传感器可包括宽带宽的光学谐振器和超灵敏的光学谐振器。作为另一个示例，混合阵列110可包括一个或多个高品质因数(高Q)光学谐振器，以及一个或多个低品质(低Q)光学谐振器。额外地或者替代地，混合阵列110可包括被配置来在不同的品质因数模式中操作的一个或多个可调谐的光学谐振器。例如，可以在低品质因数(低Q)操作模式下操作可调谐光学谐振器以获得高动态响应，或者在高品质因数(高Q)操作模式下操作可调谐光学谐振器以获得灵敏的响应。在一些实现方式中，可调谐光学谐振器可以是或者可以包括可以在不同的操作模式下操作的第一组可调谐光学谐振器和第二组可调谐光学谐振器。在一些实现方式中，可以在第一时间间隔以高Q操作模式操作可调谐光学谐振器，并且在第二时间间隔以低Q操作模式操作可调谐光学谐振器。换句话说，在一些变体中，混合阵列110可包括被配置来作为高Q光学谐振器操作的一个或多个可调谐光学谐振器，和/或被配置来作为低Q光学谐振器操作的一个或多个可调谐光学谐振器。例如，这种可调谐光学谐振器可以依据成像设置等等，来选择性地在高Q或低Q值模式中可操作。
在一些配置中，多种阵列元件类型的位置的空间分布可以是随机的。通过使用阵列元件的稀疏空间分布，可以减少和/或防止混合阵列产生的图像中的光栅波瓣的生成。第一类型的阵列元件的空间分布可以与第二类型的阵列元件的空间分布相同、相似或不同。在一些配置中，第一类型和第二类型的阵列元件的位置的空间分布可以遵循一种布置模式(例如，相同的，在传感器元件之间右移一个单元，在传感器元件之间下移两个单元)。在一些情况下，一个或多个第二类型的阵列元件可以比一个或多个第一类型的阵列元件小，或者与之相同。
混合阵列110中的非光学换能器可以操作性地耦合到多路复用器120，该多路复用器处理在成像系统160和非光学换能器之间发送和/或接收的电信号。混合阵列110中的光学传感器可以操作性地耦合到光学传感器线缆130，该线缆处理在成像系统160和光学传感器之间发送和/或接收的光学信号。
多路复用器120的功能是选择性地将个体系统通道连接到期望的阵列元件。多路复用器120可包括模拟开关。模拟开关可包括大量的高电压模拟开关。每个模拟开关可以连接到个体系统通道。因此，多路复用器120可以选择性地将成像系统160的一组系统通道中的个体系统通道连接到混合阵列110的期望换能器元件。
光学传感器线缆130可包括用于向光学传感器发送和/或从光学传感器接收光学信号的专用光路。光学传感器线缆130可包括一个或多个光波导，例如(一个或多个)光纤线缆。光学传感器线缆130的特性可能取决于光学信号的类型、光学传感器的类型和/或光学传感器的排列。在一些配置中，多个光学传感器(例如，光学传感器的整个子阵列，或者形成其一部分的任何两个或更多个光学传感器)可以光学耦合到单个光波导。因此，来自多个光学传感器的信号可以被耦合到单个光波导中并且由该单个光波导进行通信。在一些配置中，光学传感器的子阵列可以以1:1的比率光学耦合到光波导的阵列(例如，每个光学传感器可以耦合到各自的光波导)。因此，来自光学传感器的子阵列的光学信号可以耦合到光学传感器线缆130中的一个或多个光波导，并且通过这些光波导被传达到成像系统160。
成像系统160可包括前端140和后端150。一般而言，前端140与探头125接口连接，以生成声学波束并且接收电信号和/或光学信号。例如，前端140可以驱动探头中的非光学换能器(例如，换能器)来以预定的波束模式发送超声信号，并且可以接收来自探头中的混合阵列中的非光学换能器和光学传感器的反射超声信号。前端也可以负责执行发送和接收波束成形的任务。后端150可包括一个或多个处理器来处理经由前端从混合阵列110接收的信号以生成图像，包括与处理器操作性耦合的存储器来存储图像，和/或包括通信接口来向用户呈现图像(例如，经由图形用户界面)。例如，后端150可以从前端中的接收波束成形器接收单独重建的图像，执行额外的后端过程，并且进行图像复合操作。在图像形成中可涉及各种后端过程，包括数字信号处理(digital signal processing，DSP)、数字扫描转换(digital scan conversion，DSC)、包络检测，等等。为了使用光学传感器实现图像复合，图像复合系统可包括用于存储、分析、组合和发送数据、信号和/或图像的后端过程的具体实现方式。这样的具体实现方式在下文参考图2-图5来示出和描述。
显示器170可以显示由成像系统160生成的一组图像。在一些变体中，显示器170可以额外地或者替代地包括交互式用户界面(例如，触摸屏)，并且被配置来向成像系统160发送一组命令(例如，暂停、恢复，等等)。在一些变体中，图像复合系统100还可包括一组用于向图像复合系统100输入信息或者从图像复合系统100输出信息的一个或多个辅助设备(未示出)。该组辅助设备可包括，例如，(一个或多个)键盘、(一个或多个)鼠标、(一个或多个)监视器、(一个或多个)网络摄像头、(一个或多个)麦克风、(一个或多个)触摸屏、(一个或多个)打印机、(一个或多个)扫描仪、(一个或多个)虚拟现实(virtual reality，VR)头戴式显示器、(一个或多个)操纵杆、(一个或多个)生物计量读取器、和/或类似设备(未示出)。
图2示出了具有混合阵列110的示范性图像复合系统102的框图。如图所示，混合阵列110可包括非光学子阵列113和光学谐振器子阵列114。前端140可包括发送器142、非光学接收器143、光学谐振器接收器144、发送波束成形器145、非光学接收波束成形器146、以及光学谐振器接收波束成形器147。后端150可包括(一个或多个)非光学后端处理器151和(一个或多个)光学谐振器后端处理器152。(一个或多个)非光学后端处理器151和(一个或多个)光学谐振器后端处理器152可涉及执行包括数字信号处理(DSP)、数字扫描转换(DSC)、包络检测，等等。
发送波束成形器145基于发送波束成形器设置181生成各种发送波形。波形可在被应用到非光学子阵列113之前由发送器142放大，该发送器可包括模拟电路、数字电路和/或计算机系统。在接收到发送器142的波形和/或放大的波形之后，非光学子阵列113可以生成一组朝向目标的声波(例如，超声信号)。声波对目标进行声穿透，而目标进而将一部分声波(即，回声信号)反射回到混合阵列探头。非光学接收器143接收由非光学换能器检测到的回声信号，并且对其进行处理以产生数字化信号作为输出。由光学谐振器子阵列114检测到的信号可以由光学谐振器接收器144处理和数字化。非光学谐振器接收波束成形器146、光学接收波束成形器147、非光学后端处理器151和光学后端处理器152，使用由两个接收器处理的信号，来形成非光学图像182和光学谐振器图像183。非光学图像182和光学谐振器图像183经常具有不同的特性。非光学图像182和光学谐振器图像183的不同特性可能取决于包括混合阵列中的传感元件(非光学换能器或光学谐振器)的排列、传感元件的物理参数等等在内的因素。
图3示出了具有混合阵列110的示范性图像复合系统103的框图，该混合阵列110包括光学谐振器传感器，这些光学谐振器传感器包括具有不同品质因数(Q因数)的子阵列。如图所示，混合阵列110可包括非光学子阵列113、高品质因数(高Q)光学谐振器子阵列115、以及低品质因数(低Q)光学谐振器子阵列116。前端140可包括发送波束成形器145、发送器142、从高Q光学谐振器子阵列接收信号的高Q光学谐振器接收器148、从低Q光学谐振器子阵列接收信号的低Q光学谐振器接收器149、以及光学谐振器接收波束成形器147。虽然图3中示出了单独的光学谐振器接收器(高Q光学谐振器接收器148和低Q光学谐振器接收器149)分别接收来自高Q光学谐振器和低Q光学谐振器的信号，但应当理解，在一些变体中，接收器148和149可以由可以接收宽广范围的Q因数信号的一个或多个接收器取代。例如，单个接收器可以动态地被调谐或者以其他方式被配置来接收低Q信号(例如，在一个或多个“低Q”模式中)以及被调谐或者以其他方式被配置来接收高Q信号(例如，在一个或多个“高Q”模式中)。单个接收器可以被动态地配置在一系列的Q因数上，或者可以在与Q因数的各个范围相对应的不同离散模式之中操作。后端150可包括一个或多个光学谐振器后端处理器152。光学谐振器后端处理器152可涉及执行一种或多种技术，包括数字信号处理(DSP)、数字扫描转换(DSC)、包络检测，等等。
由高Q光学谐振器子阵列115获取的信号可以生成一个或多个高灵敏度图像184，其中反射率较低的特征或者来自较深深度的较弱信号可以更好地被可视化，而反射率较高的特征或者来自较浅深度的强信号可被饱和。另一方面，低Q光学谐振器子阵列生成一个或多个高动态范围图像185，这些图像可能会错失较小和较低反射率的特征或者来自较深深度的较弱信号。一个或多个高灵敏度图像184和一个或多个高动态范围图像185可在(一个或多个)光学谐振器后端处理器152中被用来生成包括高Q和低Q光学谐振器子阵列的每一者的信号的优点的复合图像。
如图3所示，在一些变体中，高Q光学谐振器子阵列115和低Q光学谐振器子阵列116可以共享光学谐振器接收波束成形器147和(一个或多个)光学谐振器后端处理器152。替代地，在一些变体中，高Q光学谐振器子阵列115和低Q光学谐振器子阵列116可具有各自不同的接收波束成形器和/或(一个或多个)各自不同的后端处理器。例如，高Q光学谐振器子阵列115可以操作性地耦合到高Q光学谐振器接收波束成形器(未示出)和高Q光学谐振器后端处理器(未示出)，而低Q光学谐振器子阵列116可以操作性地耦合到低Q光学谐振器接收波束成形器(未示出)和低Q光学谐振器后端过程(未示出)。
在一些变体中，前端140还可包括非光学接收器和非光学接收波束成形器(例如，非光学接收器143和非光学接收波束成形器146，如参考图2所示出和描述的)。因此，后端150也可包括(一个或多个)非光学后端处理器，例如(一个或多个)非光学后端处理器151，其产生非光学图像182，如参考图2所示出和描述的。因此，图像复合系统103可以被配置来基于高灵敏度图像184和高动态范围图像185形成复合图像，并且可选地还基于非光学图像182。
图4示出了具有混合阵列110的示范性图像复合系统104的框图，该混合阵列类似于上文参考图3所示出和描述的图像复合系统103，只不过该混合阵列110包括可调谐光学谐振器子阵列117，该子阵列可在具有不同的Q因数值的两个或更多个模式中操作。对于不同模式的调谐可以通过例如选择性地修改混合阵列110周围的环境温度和/或改变光学波长来完成。这样的可调谐光学谐振器子阵列117可用于获取高灵敏度图像和高动态范围图像两者。例如，在一些变体中，可调谐光学谐振器子阵列117中的至少一个光学谐振器可以响应于不同组的发送序列在多个时间接收信号，其中至少一个光学谐振器在一个时间以高Q模式操作，而在另一不同时间以低Q模式操作。换句话说，在一些变体中，可调谐光学谐振器子阵列117的至少一部分可以在第一时间间隔和不与第一时间间隔重叠的第二时间间隔被操作，其中可调谐光学谐振器子阵列117的至少一部分可以在第一时间间隔被作为高Q光学谐振器来操作以生成高灵敏度图像184，并且在第二时间间隔被作为低Q光学谐振器来操作以生成高动态范围图像185。在一些变体中，至少一个可调谐光学谐振器在以低Q模式操作之前可以以高Q模式操作。额外地或者替代地，至少一个可调谐光学谐振器在以高Q模式操作之前可以以低Q模式操作。至少两组发送序列可以被执行，以多次使声穿透目标，来从高Q光学谐振器接收器148和低Q光学谐振器接收器两者获取信号。
额外地或者替代地，在一些变体中，可调谐光学谐振器子阵列117的至少第一部分(例如，第一集合)可以始终被指定为在高Q模式中操作，并且可调谐光学谐振器子阵列117的至少第二部分(例如，第二集合)可以始终被指定为在低Q模式中操作。来自可调谐光学谐振器的第一部分的信号可由高Q光学谐振器接收器148接收，并且来自可调谐光学谐振器的第二部分的信号可由低Q光学谐振器接收器149接收。在可调谐光学谐振器子阵列同时包括一些被调谐为在高Q模式中操作的光学谐振器和一些被调谐为在低Q模式中操作的光学谐振器的一些变体中，混合阵列104可以在功能上类似于上文参考图3所示出和描述的混合阵列103。与上文参考图3所描述的类似，虽然图4中示出了单独的光学谐振器接收器(高Q光学谐振器接收器148和低Q光学谐振器接收器149)分别接收高Q信号和低Q信号，但应当理解，在一些变体中，接收器148和149可以由可以接收宽广范围的Q因数信号的一个或多个接收器取代。例如，单个接收器可以动态地被调谐或者以其他方式被配置来接收低Q信号(例如，在一个或多个“低Q”模式中)以及被调谐或者以其他方式被配置来接收高Q信号(例如，在一个或多个“高Q”模式中)。单个接收器可以被动态地配置在一系列的Q因数上，或者可以在与Q因数的各个范围相对应的不同离散模式之中操作。
如图4所示，混合阵列110可包括非光学子阵列113和可调谐光学谐振器子阵列。前端140可包括发送波束成形器145、发送器142、高Q光学谐振器接收器148、低Q光学谐振器接收器149、以及光学谐振器接收波束成形器147。混合阵列110中的非光学子阵列113可以发送一组声学信号，并且可调谐光学谐振器子阵列可以接收响应于声学信号的一组声学回声。可调谐光学谐振器子阵列117可以操作性地耦合到光电探测器，该光电探测器被配置来生成第一信号和第二信号，其中第一信号包括来自在高Q模式中操作的可调谐光学谐振器子阵列117的至少一部分的读出，并且第二信号包括来自在低Q模式中操作的可调谐光学谐振器子阵列117的至少一部分的读出。高Q光学谐振器接收器148和低Q光学谐振器接收器149可以分别接收第一信号和第二信号。后端150可包括(一个或多个)光学谐振器后端处理器152。(一个或多个)光学谐振器后端处理器152可以在第一信号和第二信号上执行包括数字信号处理(DSP)、数字扫描转换(DSC)、包络检测等等在内的操作，以生成高灵敏度图像184和高动态范围图像185。后端150还可被配置来组合高灵敏度图像184和高动态范围图像185，以生成复合图像，该复合图像包括可调谐光学谐振器子阵列117的高Q和低Q模式的每一者的信号的优点。
在一些变体中，使用发送波束成形器设置181、发送波束成形器145、发送器142和非光学子阵列113来发送多个发送序列，以多次对目标进行声穿透。例如，非光学子阵列113可以发送第一发送序列和第二发送序列。作为响应，可调谐光学谐振器子阵列117可以获取响应于第一发送序列的第一信号和响应于第二发送序列的第二信号。然后，后端可以从第一信号产生第一图像，并且从第二信号产生第二图像。
图5示出了具有混合阵列110的示范性图像复合系统105的框图，该混合阵列包括具有宽带宽的子阵列和具有高灵敏度的子阵列两者中的光学谐振器。例如，混合阵列可包括非光学子阵列113、宽带宽光学谐振器子阵列118以及超灵敏光学谐振器子阵列119。宽带宽光学谐振器子阵列118可以捕捉发送的声波的基带之外的信号，例如来自组织和/或造影剂的超谐波和次谐波(例如，如国际专利申请第PCT/US2021/039551号中所描述的，在上文中已通过引用并入了该国际专利申请)。超灵敏光学谐振器子阵列119可以从基带内外的更深区域捕捉信号。
非光学子阵列113可以操作性地耦合到发送器142，该发送器操作性地耦合到接收发送波束成形器设置181的发送波束成形器145。非光学子阵列113向目标发送声学信号并且接收响应于声学信号的声学回声。非光学子阵列113另外还可以与前端140中的非光学接收器143和非光学接收波束成形器146操作性地耦合，以响应于在非光学子阵列113处接收的声学回声而生成第一信号。(一个或多个)非光学后端处理器151可以分析第一信号以生成第一图像((一个或多个)非光学图像182)，该第一图像以常规空间分辨率和成像深度来可视化目标。宽带宽光学谐振器子阵列118和超灵敏光学谐振器子阵列119可以与光学谐振器接收器144和光学谐振器接收波束成形器147操作性地耦合。(一个或多个)光学谐振器后端处理器152可用于处理来自两个光学谐振器子阵列118和119的信号，以产生一个或多个图像(例如，基本频率图像、超谐波图像、次谐波图像，等等)和一个或多个高灵敏度图像。例如，源自于宽带宽光学谐振器子阵列118的第二信号可用于生成第二图像((一个或多个)谐波图像186)，和/或源自于超灵敏光学谐振器子阵列119的第三信号可用于生成第三图像((一个或多个)高灵敏度图像184)。因此，图像复合系统105可以同时实现增强的空间分辨率和成像深度。
在分别使用来自非光学子阵列113、宽带宽光学谐振器子阵列118和超灵敏光学谐振器子阵列119的第一信号、第二信号和/或第三信号分别生成(一个或多个)第一图像、(一个或多个)第二图像和/或(一个或多个)第三图像之后，可以使用图像复合算法来将第一图像、第二图像和/或第三图像组合起来，并且产生如下文进一步描述的复合图像。
执行图像复合的方法
下文描述的图6-图10图示了基于从上文描述的混合阵列接收到的图像执行图像复合的示范性方法的各方面。虽然这些方法主要是参考光学谐振器传感器来描述的，但应当理解，它们可以类似地使用来自其他种类的光学传感器(例如，光学干涉仪)的信号来执行。执行图像复合的方法可以由图像复合计算设备执行，该设备是图像复合系统(例如参考图1-图5所示出和描述的图像复合系统100)的一部分(例如，参考图1-图5所示出和描述的后端100)和/或操作性地耦合到该图像复合系统。图像复合计算设备可包括一组电子电路，例如处理器、存储器和通信接口。处理器可包括例如基于硬件的集成电路(IC)或者任何其他适当的设备，以运行或执行一组指令/代码。例如，处理器可包括通用处理器、中央处理单元(central processing unit，CPU)、加速处理单元(accelerated processing unit，APU)、专用集成电路(application specific integrated circuit，ASIC)、微处理器、现场可编程门阵列(field programmable gate array，FPGA)芯片、图形处理单元(graphicsprocessing unit，GPU)、数字信号处理(digital signal processing，DSP)芯片，等等。存储器可以存储例如包括指令的代码，以使得处理器执行一个或多个过程或功能(例如，对信号滤波、放大信号、相位匹配、噪声降低、选择孔径，等等)。存储器可以是/可以包括例如存储器缓冲器、随机访问存储器(random access memory，RAM)、只读存储器(read-onlymemory，ROM)、闪存驱动器、安全数字(secure digital，SD)存储卡，等等。通信接口可以是/可以包括通用串行总线(universal serial bus，USB)接口、外围组件互连快速(peripheral component interconnect express，PCIe)接口或者与处理器和/或存储器操作性耦合的硬件组件，并且可以使得图像复合计算设备能够与图像复合系统的组件和/或在一些变体中与外部设备和/或设备的网络(例如，互联网)进行通信。
图像复合计算设备可包括作为存储在存储器中并且由处理器执行的软件的应用。例如，该应用可包括使得处理器选择孔径、分析信号、生成图像等等的代码。替代地，该应用可以在基于硬件的设备上实现。例如，该应用可包括(一个或多个)数字电路或(一个或多个)模拟电路，这些电路可以使得图像复合计算设备对信号滤波、放大信号和/或延迟信号。
图6是对由混合阵列获取的图像执行图像复合的示范性方法600的流程图。在一些实现方式中，该方法可利用如参考图2所示出和描述的复合成像系统102(例如，后端150)来执行。方法600可包括启动图像获取(601)(例如，在接收到开始获取的指示时)。方法600还可包括发送非光学信号(602)，然后接收非光学信号(603)并且接收光学谐振器信号(604)(或者其他光学传感器信号)。该方法可以重复602、603和/或604，直到执行了希望从所有非光学阵列元件发送声学信号的所有发送步骤和从混合阵列110的所有非光学阵列元件和光学阵列元件接收声学回声的所有接收步骤为止。一旦已对至少一个期望的复合图像执行了所有期望的发送和接收(605)，方法600就还可包括使用复合成像系统102的前端140和后端150生成或形成非光学图像(606)并且生成或形成光学谐振器图像(607)。然后，后端150可以向非光学图像和光学谐振器图像(608，609)应用图像域滤波器。图像域滤波器可以根据每种类型的图像的图像特性来专门设计。方法600可包括组合(例如，使用复合算法，例如下文描述的那些)非光学图像和光学谐振器图像(610)，并且产生复合图像(611)。一般而言，在一些变体中，复合图像可以例如利用动态确定的权重掩模来形成，这些权重掩模具有复合系数，这些系数指示出非光学图像的哪些特征和光学谐振器图像的哪些特征可被包括在每个复合图像中。
额外地或者替代地，在一些变体中，可以利用静态权重掩模来形成复合图像，这些权重掩模可以被预先确定并且存储，以便在以后的图像复合过程期间使用。例如，如果图像复合方法不依赖于图像的内容(例如方法700)或者是静态的，则权重掩模可以被预计算并且存储在图像复合系统的存储器中。执行基于预计算的权重掩模的图像复合方法可以由图像复合系统的处理器更快和更高效地处理。图7是对由混合阵列获取的图像执行图像复合的示范性方法700的流程图，其中图像复合利用了具有复合系数的预计算的权重掩模。
方法700可包括如参考图6所示出和描述的步骤601-607。然而，方法700还可包括取回预计算的权重掩模(708)。然后，方法700可以执行非光学图像和光学谐振器图像的加权平均，以生成组合图像(709)。加权平均可包括算术平均、几何平均、深度相关加权、基于区域的加权，等等。方法700还可包括对组合图像进行滤波(710)并且产生复合图像(711)。
图8是对由混合阵列获取的图像执行图像复合的示范性方法800的流程图。在一些实现方式中，方法800可利用如参考图3所示出和描述的复合成像系统103来执行。方法800可包括启动图像获取(801)(例如，在接收到开始获取的指示时)。方法800还可包括发送非光学信号(802)，然后接收高品质因数(高Q)光学谐振器和/或低品质因数(低Q)光学谐振器信号(803)。方法800可以重复802和803，直到执行了希望从所有非光学阵列元件发送声学信号的所有发送步骤和从所有高Q光学谐振器阵列元件和低Q光学谐振器阵列元件接收声学回声的所有接收步骤为止。一旦已对至少一个期望的复合图像执行了所有期望的发送和接收(804)，方法800就还可包括使用复合成像系统103的前端140和后端150生成或形成高Q光学谐振器图像(805)(也称为高灵敏度图像)并且生成或形成低Q光学谐振器图像(806)(也称为高动态范围图像)。然后，后端150可以对高Q光学谐振器图像进行滤波(807)并且对低Q光学谐振器图像进行滤波(808)。方法800可包括组合高Q光学谐振器图像和低Q光学谐振器图像(809)(例如，使用复合算法)并且产生复合图像(810)。类似于方法700，在一些变体中(例如，如果方法800不依赖于图像的内容或者是静态的)，权重掩模可以被预计算并且存储在图像复合系统103的存储器中，以便更快地处理。
图9是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。在一些实现方式中，方法900可利用如参考图4所示出和描述的复合成像系统104来执行。方法900可包括启动图像获取(901)(例如，在接收到开始获取的指示时)。方法900还可包括发送非光学信号(902)，然后从在高Q模式中操作的至少一个可调谐光学谐振器信号接收光学谐振器信号(903)。在一些情况下，可以通过选择(光源的)光学波长以匹配谐振的品质因数高的谐振频率而在高Q设置下操作光学谐振器。方法900还可包括发送非光学信号(904)，然后从在低Q模式中操作的至少一个可调谐光学谐振器信号接收光学谐振器信号(905)。虽然流程图图9描绘了在接收来自低Q模式中的光学谐振器的信号之前接收来自处于高Q模式的光学谐振器的信号，但应当理解，替代地，可以在接收来自处于高Q模式的光学谐振器的信号之前，接收来自处于低Q模式的光学谐振器的信号。方法900可以重复902—905，直到执行了希望从所有非光学阵列元件发送声学信号的所有发送步骤和在低Q设置和高Q设置中的所有Q光学谐振器阵列元件处接收声学回声的所有接收步骤为止。一旦已对至少一个期望的复合图像执行了所有期望的发送和接收(906)，方法900就还可包括使用复合成像系统104的前端140和后端150来生成或形成高Q光学谐振器图像(907)并且生成或形成低Q光学谐振器图像(908)。然后，后端150可以对高Q光学谐振器图像进行滤波(909)并且对低Q光学谐振器图像进行滤波(910)。方法900可包括组合高Q光学谐振器图像和低Q光学谐振器图像(911)(例如，使用复合算法)以产生复合图像(912)。类似于方法700和800，在一些变体中(例如，如果方法900是静态的)，权重掩模可以被预计算并且存储在图像复合系统104的存储器中，以便更快地处理。
图10是对由混合阵列获取的图像执行图像复合的示范性方法的流程图。在一些实现方式中，方法1000可利用如参考图5所示出和描述的复合成像系统105来执行。方法1000可包括启动图像获取(1001)(例如，在接收到开始获取的指示时)。方法1000还可包括发送非光学信号(1002)，然后接收非光学信号(1003)并且接收光学谐振器信号(1004)(例如，来自宽带宽光学谐振器子阵列和/或超灵敏光学谐振器子阵列)。方法1000可以重复1002—1004，直到执行了希望从所有非光学阵列元件发送声学信号的所有发送步骤和在所有非光学阵列元件和光学谐振器阵列元件处接收声学回声的所有接收步骤为止。一旦已对至少一个期望的复合图像执行了所有期望的发送和接收步骤(1005)，方法1000就还可包括使用复合成像系统105的前端140和后端150来生成或形成非光学图像(1006)，生成或形成谐波光学谐振器图像(1007)，并且生成或形成高灵敏度光学谐振器图像(1008)。然后，后端150可以对非光学图像进行滤波(1009)，对谐波光学谐振器图像进行滤波(1010)，并且对高灵敏度光学谐振器图像进行滤波(1011)。对谐波光学谐振器图像(即，低Q光学谐振器图像)的滤波可包括运行一组带通滤波器和/或一组一维信号滤波器，以提取次谐波和/或超谐波波段中的分量。随后，这些滤波后的信号被用来在每个选定的波段形成谐波图像。方法1000可包括组合非光学图像、谐波光学谐振器图像和高灵敏度光学谐振器图像1012(例如，使用复合算法)以产生复合图像(1013)。
如上所述，在形成谐波光学谐振器图像时，可以用包括一个或多个滤波器的滤波器组来处理光学谐振器信号。图11A-图11E示出了由混合阵列生成的示范性信号和这些信号的谐波滤波。如图11A所示，第一信号1101被宽带光学谐振器接收。通过执行变换，例如傅里叶变换，第一信号1101可以被从时域变换到频域1111。如图11B中的实线所示，第一信号主要包含6MHz左右的基带分量，带宽约为87％(或者5.22MHz)。然而，第一信号的频谱揭示了在第一信号中存在-25dB的二次谐波分量和-35dB的三次谐波分量。第一信号还具有-35dB的加性1/f粉红噪声。
图11C-图11E图示了用适当的滤波器提取谐波分量。例如，如图11D所示，101抽头有限冲激响应(Finite Impulse Response，FIR)2次谐波带通滤波器可被应用于第一信号1101，以提取经滤波的2次谐波信号1102。此外，3次谐波带通滤波器(右下面板中的虚线)可被应用于第一信号1101，以提取经滤波的3次谐波信号1103。在一些情况下，时间信号(时域的信号)可被归一化，并且2次和3次谐波信号可能比基带信号弱得多。这是因为组织生成的超谐波信号通常比基带信号低(例如，低若干个数量级)。此外，更高频率的信号在生物组织中遭受更大的损耗。如果没有宽带宽的传感器，例如本文描述的光学谐振器，以及基于由光学谐振器生成的信号进行复合成像的方法和装置，谐波成像可能极难实现。
复合算法
本文描述了基于来自非光学阵列元件和/或光学谐振器阵列元件的信号来组合多个图像的示范性复合算法。在一些情况下，n个m维(m-D)的图像被组合(通过图像复合)以生成被计算为输出的单个m-D图像(n和m是整数)。当m为2时，m-D图像被称为“图像”，而当m为3时，它们可能被称为“体积”。所描述的复合算法可以被应用于图像和体积两者。一般而言，在一些变体中，复合算法可以产生复合系数(例如，因数)，这些系数表征了每个单独图像(例如，非光学图像、光学谐振器图像)的每一个(或多个)特征(例如，像素强度)中的哪一个可能对每个复合图像作出贡献，或者贡献了多少。可以在加权掩模中描述复合系数，该掩模可被应用于图像，以提取期望的特征，来贡献给复合图像。
在一些变体中，复合算法可以是或者可以包括算术平均。基于从混合阵列接收的信号进行复合成像的算术平均背后的想法是通过直接对像素值进行逐像素算术平均将n个输入图像组合成一个输出图像：
其中，x是像素的m-D坐标。n个输入图像可包括非光学阵列元件和/或光学谐振器。在一些情况下，复合图像在被显示在固定动态范围显示设备上或者被存储在具有预定动态范围的数据库中之前，可以经历一个或多个缩放操作。
在一些变体中，复合算法可以是或者可以包括几何平均。与上述的算术平均方法类似，几何平均方法也是一种按像素(逐像素)的方法，通过以下方式执行：
在一些变体中，复合算法可以是或者可以包括变换域复合。这是一类复合方法，它依赖于将输入图像变换到支持1对1正向和反向变换的变换域中。1对1变换可包括例如傅里叶变换、离散小波变换(DWT)、离散余弦变换(DCT)、波原子变换，等等。在变换之后，可以应用一组基于探试的或者学习到的规则，以获得变换域中的复合系数。然后，可以执行逆变换，以将复合系数转换回到图像域。在图12中示出了这个过程的一个示例。输入图像1202(非光学图像和/或光学谐振器图像)可经历变换1204，并且系数1206可被生成。系数复合规则1208可被应用于这些系数，以在变换域中生成复合系数1210。然后，复合系数可以被逆变换1212，以将复合系数转换到图像域，来用于生成复合图像1214。
在一些变体中，变换域复合可以使用适合于图像的多尺度分析的变换，例如DWT。在DWT的上下文中，系数复合规则的说明性示例包括：
·对于多个尺度之中的最小尺度，在所有图像(例如，非光学图像、高Q光学图像、低Q光学图像，等等)的系数之中取最小系数。这条规则假定最小尺度主要包含噪声，从而应当被最小化。
·对于多个尺度之中的最大尺度，取所有输入图像的系数的平均。这条规则假定最大尺度描述了物体的一般形状，并且在输入图像之间应当是一致的。
·对于多个尺度之中的所有其他尺度(除了最小尺度和最大尺度以外)，取所有输入图像之间的系数的最大值。这条规则假定所有其他尺度都代表目标的某些细节，并且不同的输入图像可能最能代表一个或多个方面。通过取最大值，所有的细节都可能被保留下来。
然而，如果DWT方法被应用到参考图10所示出和描述的方法1000，则可以将更大的权重指派给超谐波图像的较小尺度系数和非光学图像的较大尺度系数。
额外地或者替代地，可以为不同的超声频率预定义一组系数复合规则(例如，可以学习的规则，例如通过适当的机器学习算法)(例如，作为查找表，作为超声频率的函数，等等)。例如，第一复合系数(或者第一范围的复合系数)可以与使用高超声频率(或者高超声频率范围)生成的图像相关联，而第二复合系数(或者第二范围的复合系数)可以与使用低超声频率(或低超声频率范围)生成的图像相关联。一般而言，在一些变体中，由于更高的超声频率在远场成像中衰减更多，所以复合系数可以随着成像深度的增大而降低，从而在产生复合图像时，使用高超声频率生成的图像被赋予较少的权重。
在一些变体中，复合算法可以是或者可以包括基于图像品质因数(IQF)的复合，如图13所示。图像品质因数(IQF)可被定义为图像品质的定量测量，并且可至少部分地通过图像的图像品质因数图谱来表达或者以其他方式表征。存在为各种目的和应用而开发的各种IQF。例如，信噪比(SNR)、熵、细节分辨率、对比度分辨率和穿透深度的每一者和/或任何组合可以被作为IQF使用。不同的IQF增强超声图像的不同方面。在一些情况下，可以从输入图像1302中提取一个或多个IQF 1304。然后，IQF 1304被转换成复合系数1306。复合图像If(x)1308可以通过输入图像Ij(x)的加权和来计算，
其中x代表2D或3D坐标，Wj[x]是第j个输入图像的加权系数图谱。输入图像可以是光学谐振器图像和/或非光学图像，这取决于如参考图1-图5所示出和描述的复合成像系统。
在一些变体中，复合算法可以是或者可以包括局部熵加权复合。局部熵加权复合通过基于邻域的信息内容给每个输入图像的每个像素赋予权重来组合输入图像。这可以通过计算每个输入图像的每个像素周围的区域的熵来完成。第j图像中的坐标x处的像素的局部熵可以通过下式计算：
Hx，j＝-∑px，j·log2(px，j)
其中px，j是第j图像中坐标x处的像素的邻域的直方图。对于这个特定的像素，未归一化的权重可以被指派为：
许多将Hx，j转换为非负值的函数可以被用来代替这个特定示例。复合图像可以被表达为：
在一些变体中，复合算法可以是或者可以包括快速图像内容加权复合。作为基于局部熵的加权的近似，也可以使用更快的、基于线性滤波的算法。不是计算输入图像的局部熵——这可能在计算上很昂贵，而是通过向第j个图像应用高斯差分(Difference ofGaussian，DoG)滤波器来计算Wj[x]。为了生成复合图像，可以使用与局部熵加权复合相同的公式。
在一些变体中，复合算法可以是或者可以包括深度相关加权复合。如果输入图像具有明确定义的依赖于深度的特性，那么预定义的深度相关加权可能是有用的。当光学谐振器子阵列包括或者作为超灵敏光学谐振器(例如，如图3和图4所示)操作时，深度相关加权复合可能特别有用，因为一些输入图像在较浅的区域中可具有更好的品质，而其他图像在较深的区域中可具有更好的品质。可以使用许多深度加权函数，包括但不限于线性和伽玛函数。
在一些变体中，复合算法可以是或者可以包括饱和掩蔽。当一些输入图像容易出现信号饱和(例如，由高Q光学谐振器产生的图像)或者由于信号幅度过大而引起的其他类型的非线性时，在这些输入图像经历复合方法之前，可以对其引入饱和掩蔽步骤。可以通过将波束成形图像的移动平均与预定义的阈值相比较来检测信号饱和。当检测到饱和时，被检查的输入图像的饱和像素可以被指派零或接近零的权重，从而使得它对复合图像的贡献将会很小，而没有饱和的其他一个或多个输入图像将占主导地位。
虽然在超声成像的上下文中描述了用于混合阵列的图像复合方法和系统，但在一些变体中，图像复合方法和系统可以被用于超声成像以外的应用中。例如，在一些情况下，图像复合方法和系统可以被用于计算机断层扫描、磁谐振成像、计量学、信号处理、粒子物理学、遥感、航空航天应用和/或类似应用中。本文公开的图像复合方法也可被应用到组合用不同成像方式生成的图像，以形成融合图像。例如，患者的同一区域的超声图像、CT图像和MRI图像可以被融合在一起，以显示更多的诊断信息。
虽然在上文描述的一些变体中，可调谐光学谐振器被描述为在低品质因数(低Q)操作模式或者高品质因数(高Q)操作模式下操作，但一般而言，可调谐光学谐振器可以被在多种操作模式下操作(例如，3种操作模式、10种操作模式、100种操作模式)。例如，可调谐光学谐振器可以被在低Q操作模式下操作以生成具有高线性范围的第一图像，在高Q操作模式下操作以生成具有高灵敏度的第二图像，以及在中等品质因数操作模式下操作以生成具有灵敏度和线性范围之间的平衡的第三图像。图像复合系统100的后端可被配置来组合第一图像、第二图像和第三图像，以生成与第一图像、第二图像或第三图像中的每一者相比更好的复合图像(例如，分辨率、深度、对比度、品质因数，等等)。
以上描述出于说明目的使用了具体的术语来提供对本发明的透彻理解。然而，本领域技术人员将会清楚，实现本发明并不需要这些具体细节。从而，以上对本发明的具体实施例的描述是为了说明和描述而给出的。它们并不打算是穷尽性的或者将本发明限制到所公开的精确形式；显然，考虑到以上教导，许多修改和变化是可能的。选择和描述实施例是为了说明本发明的原理及其实际应用，它们从而使得本领域的其他技术人员能够利用本发明和具有适合于所设想的特定用途的各种修改的各种实施例。所附权利要求及其等同物旨在限定本发明的范围。

Claims (58)

1.一种成像的方法，包括：
从混合换能器阵列中的一个或多个第一类型的阵列元件接收第一信号；
从所述混合换能器阵列中的一个或多个第二类型的阵列元件接收第二信号，其中所述第一类型和所述第二类型中的至少一者是光学传感器；
从所述第一信号生成第一图像并且从所述第二信号生成第二图像；并且
组合所述第一图像和所述第二图像以生成复合图像。
2.如权利要求1所述的方法，其中，所述第一类型和所述第二类型是具有不同特性的光学谐振器。
3.如权利要求2所述的方法，其中，所述第一类型是高Q光学谐振器，并且所述第二类型是低Q光学谐振器。
4.如权利要求2所述的方法，其中，所述第一类型是作为高Q光学谐振器操作的可调谐光学谐振器，并且所述第二类型是作为低Q光学谐振器操作的可调谐光学谐振器。
5.如权利要求1所述的方法，其中，所述第一类型是非光学换能器，并且所述第二类型是光学传感器。
6.如权利要求5所述的方法，其中，所述非光学换能器是压电换能器、单晶材料换能器、压电式微机械超声换能器(PMUT)、或者电容式微机械超声换能器(CMUT)。
7.如权利要求5所述的方法，其中，所述第二类型是宽带宽光学传感器，并且其中，所述方法还包括从一个或多个第三类型的阵列元件接收第三信号，其中所述第三类型是超灵敏光学传感器。
8.如权利要求7所述的方法，包括使用一个或多个滤波器对所述第一信号、所述第二信号和/或所述第三信号进行滤波。
9.如权利要求8所述的方法，其中，所述一个或多个滤波器包括谐波带通滤波器。
10.如权利要求1所述的方法，其中，组合所述第一图像和所述第二图像包括确定所述第一图像和所述第二图像的平均。
11.如权利要求10所述的方法，其中，组合所述第一图像和所述第二图像包括确定所述第一图像和所述第二图像的算术或几何平均。
12.如权利要求10所述的方法，其中，组合所述第一图像和所述第二图像包括确定所述第一图像和所述第二图像的加权平均。
13.如权利要求12所述的方法，还包括为所述第一图像和所述第二图像确定一个或多个复合系数并且基于所述一个或多个复合系数来组合所述第一图像和所述第二图像。
14.如权利要求13所述的方法，其中，为所述第一图像和所述第二图像确定一个或多个复合系数包括：
使用至少一个变换算子将所述第一图像和所述第二图像变换成第一变换域图像和第二变换域图像；
为所述第一变换域图像和所述第二变换域图像确定一个或多个变换域复合系数；并且
对所述一个或多个变换域复合系数进行逆变换以为所述第一图像和所述第二图像确定所述一个或多个复合系数。
15.如权利要求14所述的方法，其中，为所述第一变换域图像和所述第二变换域图像确定一个或多个变换域复合系数包括向所述第一变换域图像和所述第二变换域图像应用一个或多个系数复合规则。
16.如权利要求14所述的方法，其中，所述至少一个变换算子包括傅里叶变换、离散小波变换(DWT)、离散余弦变换(DCT)、或者波原子变换。
17.如权利要求13所述的方法，其中，为所述第一图像和所述第二图像确定一个或多个复合系数包括：
为所述第一图像确定第一图像品质因数图谱并且为所述第二图像确定第二图像品质因数图谱；以及
基于所述第一图像品质因数图谱为所述第一图像确定第一复合系数，并且基于所述第二图像品质因数图谱为所述第二图像确定第二复合系数。
18.如权利要求13所述的方法，其中，为所述第一图像和所述第二图像确定一个或多个复合系数包括确定所述第一图像中和所述第二图像中的每个像素的局部熵，并且基于所确定的局部熵来确定一个或多个复合系数。
19.如权利要求13所述的方法，其中，为所述第一图像和所述第二图像确定一个或多个复合系数包括向所述第一图像和所述第二图像的每一者应用线性滤波器。
20.如权利要求19所述的方法，其中，所述线性滤波器包括高斯差分滤波器。
21.如权利要求13所述的方法，其中，为所述第一图像和所述第二图像确定一个或多个复合系数包括将一个或多个复合系数确定为成像深度的函数。
22.如权利要求12所述的方法，其中，确定所述第一图像和所述第二图像的加权平均包括应用饱和掩模，该饱和掩模减小所述第一图像和/或所述第二图像的超过了预定饱和阈值的至少一部分的权重。
23.如权利要求1所述的方法，其中，所述光学传感器是WGM光学谐振器。
24.如权利要求1所述的方法，其中，所述光学传感器是微泡光学谐振器、光子集成电路(PIC)光学谐振器、微球体谐振器、微型环芯谐振器、微环谐振器，、微瓶谐振器、微柱体谐振器、或者微盘光学谐振器。
25.如权利要求1所述的方法，其中，所述混合换能器阵列中的一个或多个非光学换能器在基本频率f下发送声学信号，并且
所述一个或多个第一类型的阵列元件、所述一个或多个第二类型的阵列元件、或者所述一个或多个第一类型的阵列元件和所述一个或多个第二类型的阵列元件两者被配置来在接收到与发送的声学信号相对应的谐波或次谐波声学回声时产生一个或多个光学响应，其中，所述一个或多个第二类型的阵列元件具有范围从至少f/M到Nf的带宽，其中M和N是大于1的整数。
26.如权利要求1所述的方法，其中，所述一个或多个非光学换能器在第一基本频率f1和第二基本频率f2下发送声学信号。
27.如权利要求26所述的方法，其中，所述一个或多个第二类型的阵列元件被配置来在接收到与一个或多个线性组合的频率nf1+mf2相对应的声学回声时产生一个或多个光学响应，其中n和m是整数，以使得nf1+mf2是正数。
28.如权利要求1所述的方法，其中，所述第一图像和所述第二图像中的至少一者是谐波图像。
29.如权利要求28所述的方法，其中，所述谐波图像是次谐波图像或超谐波图像。
30.一种用于对目标成像的装置，包括：
混合换能器阵列，其包括：
一个或多个第一类型的阵列元件，被配置来接收第一信号；
一个或多个第二类型的阵列元件，被配置来接收第二信号，其中所述第一类型和所述第二类型中的至少一者是光学传感器；以及
一个或多个处理器，被配置来：
从所述第一信号生成第一图像并且从所述第二信号生成第二图像；并且
组合所述第一图像和所述第二图像以生成复合图像。
31.如权利要求30所述的装置，其中，所述第一类型和所述第二类型是具有不同特性的光学谐振器。
32.如权利要求31所述的装置，其中，所述第一类型是高Q光学谐振器，并且所述第二类型是低Q光学谐振器。
33.如权利要求31所述的装置，其中，所述第一类型是作为高Q光学谐振器操作的可调谐光学谐振器，并且所述第二类型是作为低Q光学谐振器操作的可调谐光学谐振器。
34.如权利要求30所述的装置，其中，所述第一类型是非光学换能器，并且所述第二类型是光学传感器。
35.如权利要求34所述的装置，其中，所述非光学换能器是压电换能器、单晶材料换能器、压电式微机械超声换能器(PMUT)、或者电容式微机械超声换能器(CMUT)。
36.如权利要求34所述的装置，其中，所述第二类型是宽带宽光学传感器，并且其中，所述混合换能器阵列还包括被配置来接收第三信号的一个或多个第三类型的阵列元件，其中所述第三类型是超灵敏光学传感器。
37.如权利要求36所述的装置，其中，所述一个或多个处理器被配置来使用一个或多个滤波器对所述第一信号、所述第二信号和/或所述第三信号进行滤波。
38.如权利要求37所述的装置，其中，所述一个或多个滤波器包括谐波带通滤波器。
39.如权利要求30所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过确定所述第一图像和所述第二图像的平均来组合所述第一图像和所述第二图像。
40.如权利要求39所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过确定所述第一图像和所述第二图像的算术或几何平均来组合所述第一图像和所述第二图像。
41.如权利要求39所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过确定所述第一图像和所述第二图像的加权平均来组合所述第一图像和所述第二图像。
42.如权利要求41所述的装置，其中，所述一个或多个处理器被配置来为所述第一图像和所述第二图像确定一个或多个复合系数并且基于所述一个或多个复合系数来组合所述第一图像和所述第二图像。
43.如权利要求42所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过以下步骤来为所述第一图像和所述第二图像确定一个或多个复合系数：
使用至少一个变换算子将所述第一图像和所述第二图像变换成第一变换域图像和第二变换域图像；
为所述第一变换域图像和所述第二变换域图像确定一个或多个变换域复合系数；并且
对所述一个或多个变换域复合系数进行逆变换以为所述第一图像和所述第二图像确定所述一个或多个复合系数。
44.如权利要求43所述的装置，其中，所述一个或多个处理器被配置来：至少部分地通过向所述第一变换域图像和所述第二变换域图像应用一个或多个系数复合规则，来为所述第一变换域图像和所述第二变换域图像确定一个或多个变换域复合系数。
45.如权利要求43所述的装置，其中，所述至少一个变换算子包括傅里叶变换、离散小波变换(DWT)、离散余弦变换(DCT)、或者波原子变换。
46.如权利要求42所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过以下步骤来为所述第一图像和所述第二图像确定一个或多个复合系数：
为所述第一图像确定第一图像品质因数图谱并且为所述第二图像确定第二图像品质因数图谱；以及
基于所述第一图像品质因数图谱为所述第一图像确定第一复合系数，并且基于所述第二图像品质因数图谱为所述第二图像确定第二复合系数。
47.如权利要求42所述的装置，其中，所述一个或多个处理器被配置来至少部分地通过以下步骤来为所述第一图像和所述第二图像确定一个或多个复合系数：确定所述第一图像中和所述第二图像中的每个像素的局部熵，并且基于所确定的局部熵来确定一个或多个复合系数。
48.如权利要求42所述的装置，其中，所述一个或多个处理器被配置来：至少部分地通过向所述第一图像和所述第二图像的每一者应用线性滤波器，来为所述第一图像和所述第二图像确定一个或多个复合系数。
49.如权利要求48所述的装置，其中，所述线性滤波器包括高斯差分滤波器。
50.如权利要求42所述的装置，其中，所述一个或多个处理器被配置来：至少部分地通过将一个或多个复合系数确定为成像深度的函数，来为所述第一图像和所述第二图像确定一个或多个复合系数。
51.如权利要求41所述的装置，其中，所述一个或多个处理器被配置来：至少部分地通过应用饱和掩模来确定所述第一图像和所述第二图像的加权平均，所述饱和掩模减小所述第一图像和/或所述第二图像的超过了预定饱和阈值的至少一部分的权重。
52.如权利要求30所述的装置，其中，所述光学传感器是WGM光学谐振器。
53.如权利要求30所述的装置，其中，所述光学传感器是微泡光学谐振器、光子集成电路(PIC)光学谐振器、微球体谐振器、微型环芯谐振器、微环谐振器、微瓶谐振器、微柱体谐振器、或者微盘光学谐振器。
54.如权利要求30所述的装置，其中，所述混合换能器阵列中的一个或多个非光学换能器在基本频率f下发送声学信号，并且
所述一个或多个第一类型的阵列元件、所述一个或多个第二类型的阵列元件、或者所述一个或多个第一类型的阵列元件和所述一个或多个第二类型的阵列元件两者被配置来在接收到与发送的声学信号相对应的谐波或次谐波声学回声时产生一个或多个光学响应，其中，所述一个或多个第二类型的阵列元件具有范围从至少f/M到Nf的带宽，其中M和N是大于1的整数。
55.如权利要求30所述的装置，其中，所述一个或多个非光学换能器在第一基本频率f1和第二基本频率f2下发送声学信号。
56.如权利要求55所述的装置，其中，所述一个或多个第二类型的阵列元件被配置来在接收到与一个或多个线性组合的频率nf1+mf2相对应的声学回声时产生一个或多个光学响应，其中n和m是整数，以使得nf1+mf2是正数。
57.如权利要求30所述的装置，其中，所述第一图像和所述第二图像中的至少一者是谐波图像。
58.如权利要求57所述的装置，其中，所述谐波图像是次谐波图像或超谐波图像。
CN202180071889.0A 2020-10-23 2021-10-21 用于混合换能器阵列的图像复合 Pending CN116507285A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063104886P 2020-10-23 2020-10-23
US63/104,886 2020-10-23
PCT/US2021/056096 WO2022087301A1 (en) 2020-10-23 2021-10-21 Image compounding for mixed transducer arrays

Publications (1)

Publication Number Publication Date
CN116507285A true CN116507285A (zh) 2023-07-28

Family

ID=81289388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180071889.0A Pending CN116507285A (zh) 2020-10-23 2021-10-21 用于混合换能器阵列的图像复合

Country Status (7)

Country Link
US (1) US20230380813A1 (zh)
EP (1) EP4231903A1 (zh)
JP (1) JP2023549450A (zh)
KR (1) KR20230091966A (zh)
CN (1) CN116507285A (zh)
CA (1) CA3195471A1 (zh)
WO (1) WO2022087301A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230211187A1 (en) * 2020-06-11 2023-07-06 Georgia Tech Research Corporation Multi-functional sparse phased arrays for guiding focused ultrasound therapies
US20230243944A1 (en) * 2022-02-02 2023-08-03 Exo Imaging, Inc. Apparatus, system and method to compound signals of respective received ultrasonic frequencies to generate an output ultrasonic image

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080146942A1 (en) * 2006-12-13 2008-06-19 Ep Medsystems, Inc. Catheter Position Tracking Methods Using Fluoroscopy and Rotational Sensors
US20080242979A1 (en) * 2007-03-30 2008-10-02 Rayette Ann Fisher Combined X-ray detector and ultrasound imager
US8515227B2 (en) * 2009-03-13 2013-08-20 Ofs Fitel, Llc Microbubble optical resonator
US9274215B2 (en) * 2013-03-08 2016-03-01 Chison Medical Imaging, Inc. Ultrasound fusion harmonic imaging systems and methods
US10123782B2 (en) * 2014-07-07 2018-11-13 The Board Of Trustees Of The Leland Stanford Junior University Integrated system for ultrasound imaging and therapy using per-pixel switches

Also Published As

Publication number Publication date
KR20230091966A (ko) 2023-06-23
WO2022087301A1 (en) 2022-04-28
CA3195471A1 (en) 2022-04-28
JP2023549450A (ja) 2023-11-27
EP4231903A1 (en) 2023-08-30
US20230380813A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
US6464638B1 (en) Ultrasound imaging system and method for spatial compounding
JP5832182B2 (ja) 音響信号受信装置およびイメージング装置
JP6030825B2 (ja) 電磁気ノイズ除去のための超音波法
JP6258314B2 (ja) 超音波探査によって収集された信号を処理する方法、対応するプログラムおよび超音波探査装置
US9629557B2 (en) Photoacoustic image generation apparatus and method
US20080242992A1 (en) Ultrasound Imaging System and Method for Flow Imaging Using Real-Time Spatial Compounding
US20230380813A1 (en) Image compounding for mixed transducer arrays
US20150335251A1 (en) Object information acquiring apparatus and object information acquiring method
US20180092627A1 (en) Ultrasound signal processing device, ultrasound signal processing method, and ultrasound diagnostic device
WO2017033503A1 (ja) 超音波診断装置および超音波診断装置の制御方法
JP7167045B2 (ja) 音響センサーを位置決めするためのロケーションデバイス及びシステム
US8282551B2 (en) Ultrasonic diagnostic apparatus, data analysis method, and data analysis program
CN113424073B (zh) 材料非线性体积弹性的超声估算
US20230255495A1 (en) Acousto-optic harmonic imaging with optical sensors
KR102452220B1 (ko) 이미징 방법, 상기 방법을 구현하는 기기, 컴퓨터 프로그램 및 컴퓨터 판독가능 저장매체
US20220330920A1 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
US20200100765A1 (en) Acoustic wave diagnostic apparatus and operation method of acoustic wave diagnostic apparatus
US20230324548A1 (en) Synthetic aperture imaging systems and methods using mixed arrays
JPH01250226A (ja) 超音波診断装置
US20200129157A1 (en) Ultrasound Imaging Using a Null Subtraction Imaging Technique
KR101610877B1 (ko) 공간 일관성 기초 초음파 신호 처리 모듈 및 그에 의한 초음파 신호 처리 방법
JP2015047345A (ja) 超音波測定装置、超音波画像装置及び超音波測定方法
JP2010082198A (ja) 超音波信号処理装置および方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination