CN110114001B - 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序 - Google Patents

超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序 Download PDF

Info

Publication number
CN110114001B
CN110114001B CN201780081389.9A CN201780081389A CN110114001B CN 110114001 B CN110114001 B CN 110114001B CN 201780081389 A CN201780081389 A CN 201780081389A CN 110114001 B CN110114001 B CN 110114001B
Authority
CN
China
Prior art keywords
ultrasonic
image
positions
probe
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780081389.9A
Other languages
English (en)
Other versions
CN110114001A (zh
Inventor
中村悟史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Furuno Electric Co Ltd
Original Assignee
Furuno Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Furuno Electric Co Ltd filed Critical Furuno Electric Co Ltd
Publication of CN110114001A publication Critical patent/CN110114001A/zh
Application granted granted Critical
Publication of CN110114001B publication Critical patent/CN110114001B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • A61B8/5253—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode combining overlapping images, e.g. spatial compounding
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A61B8/14—Echo-tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8909—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration
    • G01S15/8915—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array
    • G01S15/8918—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using a static transducer configuration using a transducer array the array being linear
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/895—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum
    • G01S15/8952—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques characterised by the transmitted frequency spectrum using discrete, multiple frequencies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
    • G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
    • G01S15/8995—Combining images from different aspect angles, e.g. spatial compounding
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52053—Display arrangements
    • G01S7/52057—Cathode ray tube displays
    • G01S7/5206—Two-dimensional coordinated display of distance and direction; B-scan display
    • G01S7/52065—Compound scan display, e.g. panoramic imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
    • G01S7/52079—Constructional features

Abstract

本发明提供一种即使是表面的曲率较大的被检测体，也能够获得准确的合成图像的超声波拍摄系统、超声波拍摄装置、超声波拍摄方法、以及图像合成程序。超声波拍摄系统具有探头、图像生成部、位置关系计算部、以及图像合成部。探头执行彼此不同的第一以及第二超声波的扫描。图像生成部基于第一超声波生成第一超声波图像，并且基于第二超声波生成第二超声波图像。位置关系计算部基于两个位置处的两个第一超声波图像和这两个位置处的两个第二超声波图像来计算这两个位置的关系。图像合成部基于计算出的位置关系，来合成一个位置处的第一或者第二超声波图像和另一个位置处的第一或者第二超声波图像。

Description

超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像 合成程序
技术领域
本发明涉及一种通过向人体等被检测体的内部发送超声波，并接收反射的超声波来拍摄被检测体的内部的超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及用于使计算机进行超声波图像的合成的图像合成程序。
背景技术
存在一种超声波拍摄装置，该超声波拍摄装置通过使发送接收超声波的探头在与被检测体的表面接触的状态下移动，从而在被检测体的多个部位进行超声波拍摄，对得到的多个图像进行合成并生成全景图像。为了准确地进行这样的图像合成，需要准确地求出各图像间的位置关系(平行移动量以及旋转角度)。
在专利文献1中公开了一种装置，该装置从作为合成对象的第一图像和第二图像中的第一图像选择两个基准点，通过图案匹配(pattern matching)从第二图像中搜索具有与基准点的周边区域的图像图案最适合的图像图案的点，并根据两个基准点的移动向量来计算位置关系(平行移动量以及旋转角度)。另外，在专利文献2公开了一种装置，该装置分别针对作为合成对象的两个超声波图像来计算在水平方向以及垂直方向的投影分布，通过求出投影分布的相关性来计算位置关系。
专利文献1：日本特许第4704630号公报
专利文献2：日本特许第4785105号公报。
发明内容
发明所要解决的问题
如果探头的宽度较大，能够确保与该探头宽度相对应的较大的拍摄范围，但在对人体的下肢或者上肢这样的曲率较大的部位进行超声波拍摄的情况下，如果探头宽度过大，则存在不沿着被检测体的表面这样的问题。在该情况下，如果将探头按压到被检测体的表面，或者使用支架则会成为使被检测体变形的原因，对合成图像造成不好的影响。另一方面，如果减小探头的宽度，则能消除上述那样的被检测体变形的问题，但在例如线性扫描这样的拍摄范围较小的扫描方式中得到的超声波图像的宽度较小，很难准确地计算两个图像间的位置关系。另外，在例如扇形扫描这样的广角的扫描方式中，即使探头宽度较小也能够确保较大的拍摄区域，但是另一方面存在探头的驱动频率较低，得到的超声波图像的分辨率变低的情况。很难从低分辨率的图像中求出准确的位置关系。如果不能准确地求出两个图像间的位置关系，则不能得到准确的合成图像。
本发明是鉴于上述问题而提出的，其主要目的在于，提供一种即使是表面的曲率较大的被检测体，也能够获得准确的合成图像的超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序。
解决问题的手段
为了解决上述的问题，本发明的一个方式的超声波拍摄系统具有：探头，从被检测体的表面向内部分别发送彼此不同的第一以及第二超声波，并且分别接收在所述被检测体的内部反射的所述第一以及第二超声波；图像生成部，基于由所述探头接收的所述第一超声波生成第一超声波图像，并且基于由所述探头接收的所述第二超声波生成第二超声波图像；位置关系计算部，基于两个第一超声波图像和两个第二超声波图像来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置接收的所述第一超声波而生成，所述两个第二超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置接收的所述第二超声波而生成；以及图像合成部，基于由所述位置关系计算部计算出的所述两个位置的关系，合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
在上述方式中也可以的是，所述探头通过彼此不同的扫描方式来分别发送所述第一以及第二超声波。
在上述方式中也可以的是，所述探头通过彼此不同的频率来分别发送所述第一以及第二超声波。
另外，本发明的另一方式的超声波拍摄装置具有：图像生成部，基于由探头接收的第一超声波来生成第一超声波图像，并且基于由所述探头接收的第二超声波生成第二超声波图像，其中，所述探头是从被检测体的表面向内部分别发送彼此不同的第一以及第二超声波，并分别接收在所述被检测体的内部反射的所述第一以及第二超声波；位置关系计算部，基于两个第一超声波图像和两个第二超声波图像来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是由所述图像生成部基于由所述探头在所述两个位置分别接收的所述第一超声波而生成，所述两个第二超声波图像是由所述图像生成部基于由所述探头在所述两个位置分别接收的所述第二超声波而生成；以及图像合成部，基于由所述位置关系计算部计算出的所述两个位置的关系，合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
在上述方式中也可以的是，所述图像生成部生成所述第一超声波图像以及比所述第一超声波图像的拍摄范围更窄并且分辨率更高的所述第二超声波图像。
另外，在上述方式中也可以的是，所述图像生成部基于由沿着被检测体的表面移动同时将所述第一以及第二超声波反复发送到所述被检测体的内部并且反复接收在所述被检测体的内部反射的所述第一以及第二超声波的所述探头连续接收的所述第一以及第二超声波，来生成一帧的所述第一以及第二超声波图像，所述位置关系计算部基于连续的第一以及第二帧中的两个所述第一超声波图像以及两个所述第二超声波图像来计算所述两个位置的关系。
另外，在上述方式中也可以的是，所述位置关系计算部计算包括彼此交叉的两个方向上的所述两个位置的距离的所述两个位置的关系。
另外，在上述方式中也可以的是，所述位置关系计算部计算还包括在包括所述两个方向的平面内的旋转角度的所述两个位置的关系。
另外，在上述方式中也可以的是，所述超声波拍摄装置还具有：旋转角度计算部，基于由检测所述探头朝向的方向的传感器分别在所述两个位置检测出的角度，来计算在所述两个位置处所述探头在包括所述两个方向的平面内的旋转角度，所述图像合成部基于由所述位置关系计算部计算出的所述距离和由所述旋转角度计算部计算出的所述旋转角度，合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
另外，在上述方式中也可以的是，所述位置关系计算部包括：位置关系推定部，基于所述两个第一超声波图像，来计算所述两个位置的关系的推定值即第一关系量；以及位置关系修正部，基于所述两个第二超声波图像，来计算对由所述位置关系推定部计算出的所述第一关系量进行修正得到的第二关系量，所述图像合成部基于由所述位置关系修正部计算出的所述第二关系量，合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
另外，在上述方式中也可以的是，所述位置关系推定部计算包括彼此交叉的两个方向上的所述两个位置的距离的所述第一关系量，所述位置关系修正部计算对由所述位置关系推定部计算出的所述距离进行修正得到的所述第二关系量。
另外，在上述方式中也可以的是，所述位置关系推定部通过提取所述两个第一超声波图像的特征点，并且确定所述两个第一超声波图像间的所述特征点的对应关系，由此计算所述第一关系量。
另外，在上述方式中也可以的是，所述位置关系修正部基于所述两个第二超声波图像的亮度分布的相关性，计算所述第二关系量。
另外，在上述方式中也可以的是，所述图像生成部基于所述探头向所述被检测体的内部扇形地发送所述第一超声波时接收到的所述第一超声波来生成扇形扫描图像即所述第一超声波图像，基于所述探头向所述被检测体的内部在带状地延伸的范围内发送所述第二超声波时接收到的所述第二超声波来生成线性扫描图像即所述第二超声波图像。
另外，本发明的另一方式的超声波拍摄方法具有如下步骤：由发送接收超声波的探头从被检测体的表面上的彼此不同的两个位置处分别向所述被检测体的内部发送彼此不同的第一以及第二超声波，并在所述两个位置处分别接收在所述被检测体的内部反射的所述第一以及第二超声波；基于由所述探头在所述两个位置处接收的所述第一超声波来生成两个第一超声波图像；基于由所述探头在所述两个位置处接收的所述第二超声波来生成两个第二超声波图像；基于所述两个第一超声波图像和所述两个第二超声波图像来计算所述两个位置的关系；以及基于计算出的所述两个位置的关系，来合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
另外，本发明的另一方式的图像合成程序使计算机执行对拍摄被检测体的内部而得到的多个超声波图像进行合成的处理，所述图像合成程序使所述计算机执行以下步骤：基于两个第一超声波图像和两个第二超声波图像，来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是基于由从被检测体的所述表面向内部分别发送彼此不同的第一以及第二超声波并且分别接收在所述被检测体的内部反射的所述第一以及第二超声波的探头在所述两个位置分别接收的所述第一超声波而生成，所述两个第二超声波图像是基于由所述探头在所述两个位置处分别接收的所述第二超声波而生成；以及基于计算出所述两个位置的关系，来合成所述两个位置中的一个位置处的所述第一或者第二超声波图像和另一个位置处的所述第一或者第二超声波图像。
发明效果
根据本发明，即使是表面的曲率较大的被检测体，也能够获得准确的合成图像。
附图说明
图1是表示实施方式一的超声波拍摄系统的结构的示意图。
图2是表示实施方式一的超声波拍摄系统的探头以及控制装置的结构的示意图。
图3A是用于说明在扇形扫描模式下拍摄大腿部的截面的情况下探头的动作的概念图。
图3B是用于说明在线性扫描模式下拍摄大腿部的截面的情况下探头的动作的概念图。
图4A是表示第一超声波图像的一个例子的图。
图4B是表示第二超声波图像的一个例子的图。
图5是表示图像合成装置的结构的框图。
图6是表示实施方式一的超声波拍摄系统的动作步骤的流程图。
图7是表示扫描动作的步骤的流程图。
图8是用于说明实施方式一的超声波拍摄系统中的帧的示意图。
图9是用于说明特征点匹配处理的概念图。
图10是表示除去异常值的对应特征点的图。
图11是表示位置关系计算处理的步骤的流程图。
图12是用于说明位置关系修正处理的概念图。
图13是表示实施方式二的超声波拍摄系统的探头以及控制装置的结构的示意图。
图14是表示实施方式二的超声波拍摄系统的动作步骤的流程图。
图15是表示扫描动作的步骤的流程图。
图16是表示合成第一超声波图像和第二超声波图像的一个例子的图。
图17是表示通过多个探头进行扫描的一个例子的图。
具体实施方式
以下，参照附图对本发明的优选的实施方式进行说明。
(实施方式一)
在本实施方式中，通过探头交替地反复进行扇形扫描和线性扫描，根据通过在两个位置处进行两次扇形扫描而得到的两个扇形扫描图像来计算两个位置的关系的推定值即第一关系量(平行移动量以及旋转角度)，并且基于在分别进行了两次扇形扫描中的每一次之后立即执行的两次线性扫描而获得的两个线性扫描图像来计算对第一关系量进行修正得到的第二关系量，并且基于第二关系量来合成扇形扫描图像以及线性扫描图像。
＜超声波拍摄系统的结构＞
图1是表示本实施方式的超声波拍摄系统的结构的示意图。如图1所示，超声波拍摄系统100包括探头200以及超声波拍摄装置300。另外，超声波拍摄装置300包括控制装置400以及图像合成装置500。探头200经由控制装置400与图像合成装置500连接。
图2是表示探头200以及控制装置400的结构的示意图。探头200呈操作人员能够把持的形状。在这样的探头200的顶端面设置有超声波发送接收面201。另一方面，线缆从探头200的基端延伸，并且该线缆与控制装置400连接。
在超声波发送接收面201中配置有超声波阵列传感器203，该超声波阵列传感器203通过将多个超声波振子202排列成一列而构成。超声波阵列传感器203与控制装置400连接，根据控制装置400提供的控制信号发送超声波，或者接收反射的超声波。表示接收的超声波的电信号从超声波阵列传感器203向控制装置400输出。
控制装置400包含由CPU以及存储器构成的控制部401、通信部402以及403、以及图像生成部404。通信部402与探头200连接，并且与探头200之间进行通信。通信部403与图像合成装置500连接，并且与图像合成装置500之间进行通信。图像生成部404根据从超声波阵列传感器203输出的电信号生成图像。
控制部401根据从图像合成装置500提供的指示，来控制通信部402、403以及图像生成部404。另外，控制部401根据从图像合成装置500提供的指示，通过通信部402将控制信号发送到探头200。通过该控制部401的控制，探头200交替地切换扇形扫描模式和线性扫描模式而进行动作。这样，控制装置400由图像合成装置500控制。
对探头200的动作模式进行说明。探头200能够在扇形扫描模式下进行动作。图3A是用于说明在扇形扫描模式下拍摄大腿部600的截面的情况下探头200的动作的概念图。在扇形扫描模式的情况下，控制装置400通过使各超声波振子202以具有规定的相位差而振动，从而将从探头200发送的超声波束形成为扇形。扇形扫描模式下的超声波阵列传感器203的驱动频率例如大约为3MHz。以下，将在扇形扫描模式下从探头200发送的超声波称为“第一超声波”。第一超声波在作为被检测体的大腿部600的内部被反射，该反射波由超声波阵列传感器203接收。此时，超声波阵列传感器203输出的电信号提供给图像生成部404，图像生成部404将该电信号转换为扇形扫描模式下的超声波图像(以下称为“第一超声波图像”)。图4A是表示第一超声波图像的一个例子的图。如图4A所示，第一超声波图像701是拍摄扇形的拍摄范围601(参照图3A)的截面图像。
另外，探头200也能够在线性扫描模式下进行动作。图3B是用于说明在线性扫描模式下拍摄大腿部600的截面的情况下探头200的动作的概念图。在线性扫描模式的情况下，控制装置400通过使各超声波振子202的相位一致地振动，从而将从探头200发送的超声波束形成为沿着与超声波发送接收面201正交的方向延伸的带状。在线性扫描模式下的超声波阵列传感器203的驱动频率例如大约为6MHz。以下，将在线性扫描模式下从探头200发送的超声波称为“第二超声波”。第二超声波在作为被检测体的大腿部600的内部被反射，该反射波由超声波阵列传感器203接收。此时，超声波阵列传感器203输出的电信号提供给图像生成部404，图像生成部404将该电信号转换为线性扫描模式下的超声波图像(以下，称为“第二超声波图像”)。图4B是表示第二超声波图像的一个例子的图。如图4B所示，第二超声波图像702是拍摄带状的拍摄范围602(参照图3B)的截面图像。
如上所述，线性扫描模式下的带状的拍摄范围602仅是与探头宽度，也就是说，与超声波阵列传感器203的长度同等程度的宽度。与此相对地，扇形扫描模式下的拍摄范围601从超声波阵列传感器203以扇形扩展(参照图3A以及图3B)。这样，第二超声波图像702的拍摄范围602小于第一超声波图像701的拍摄范围601。另外，在扇形扫描中，以比较低的驱动频率(中心频率是2～7MHz)进行超声波束的扫描，超声波的到达距离比线性扫描更长，并且超声波到达深部。在线性扫描中，以比较高的驱动频率(中心频率是2.5～12MHz)进行超声波束的扫描，超声波的到达距离比扇形扫描更短。也就是说，即使针对于深度方向，扇形扫描的拍摄范围601也大于线性扫描的拍摄范围602。另一方面，针对图像的分辨率可以说，由于在线性扫描模式下的超声波阵列传感器203的驱动频率大于在扇形扫描模式下的驱动频率，因此第二超声波图像702的分辨率高于第一超声波图像701的分辨率。
接下来，对图像合成装置500的结构进行说明。图5是表示图像合成装置500的结构的框图。图像合成装置500通过计算机510来实现。如图5所示，计算机510具有主体520、输入部530、以及显示部540。主体520具有CPU521、ROM522、RAM523、读取装置524、硬盘525、输入输出接口526、通信接口527、以及图像输出接口528，CPU521、ROM522、RAM523、读取装置524、硬盘525、输入输出接口526、通信接口527以及图像输出接口528通过总线连接。
CPU521执行加载到RAM523中的计算机程序。然后，通过该CPU521执行超声波拍摄用的计算机程序即图像合成程序550，从而计算机510发挥作为图像合成装置500的功能，通过与控制装置400组合从而发挥作为超声波拍摄装置300的功能。
在ROM522中，记录有在CPU521中执行的计算机程序以及用于此的数据等。RAM523用于读取记录在硬盘525中的图像合成程序550。另外，当CPU521执行计算机程序时，RAM523作为CPU521的作业区域被利用。
硬盘525安装有操作系统和应用程序等用于使CPU521执行的各种计算机程序以及该计算机程序执行中使用的数据。图像合成程序550也安装在该硬盘525中。
输入输出接口526例如与由键盘以及鼠标构成的输入部530连接。
通信接口527与控制装置400连接，通信接口527将来自于CPU521的控制信号发送给控制装置400，并且从控制装置400接收第一以及第二超声波图像701、702。另外，RAM523包括扇形图像帧存储器531和线性图像帧存储器532。接收的第一超声波图像701存储在扇形图像帧存储器531中，第二超声波图像702存储在线性图像帧存储器532中。
图像输出接口528与由例如LCD或者CRT等构成的显示部540连接，将与由CPU521提供的图像数据相对应的影像信号输出至显示部540。显示部540根据输入的影像信号来显示图像(画面)。
＜超声波拍摄系统的动作＞
接下来，对本实施方式的超声波拍摄系统的动作进行说明。图6是表示本实施方式的超声波拍摄系统的动作步骤的流程图。图像合成装置500的CPU521指示控制装置400开始扫描，与此相对应地，控制装置400的控制部401使探头200执行扫描动作(步骤S101)。在该扫描动作中，操作人员在使超声波发送接收面201与被检测体的表面接触的状态下，使探头200沿着被检测体的表面移动。
在扫描动作中，控制部401交替地切换扇形扫描模式和线性扫描模式同时驱动探头200。以下，更详细的说明扫描动作。图7是表示扫描动作的步骤的流程图。首先控制部401将初始值(0)分配给帧编号n(步骤S151)。接下来，控制部401以扇形扫描模式驱动探头200，使其执行扇形扫描(步骤S152)。在扇形扫描中，探头200从被检测体的表面向垂直方向(被检测体的深度方向)以扇形的束形状发送第一超声波，并且接收在被检测体的内部反射的第一超声波。
探头200将表示接收的第一超声波的电信号发送至控制装置400，控制装置400的通信部402接收该电信号。图像生成部404根据电信号生成第一超声波图像701(步骤S153)。
控制部401在使探头200执行扇形扫描之后，以线性扫描模式驱动探头200，并使其执行线性扫描(步骤S154)。在线性扫描中，探头200从被检测体的表面向垂直方向以带状(矩形)的束形状发送第二超声波，并接收在被检测体的内部反射的第二超声波。
探头200将表示接收的第二超声波的电信号发送至控制装置400，控制装置400的通信部402接收该电信号。图像生成部404根据电信号生成第二超声波图像702(步骤S155)。控制部401将生成的第一以及第二超声波图像701、702与帧编号n一起从通信部403发送至图像合成装置500。一帧中的第一以及第二超声波图像701、702与帧编号一起分别存储在扇形图像帧存储器531以及线性图像帧存储器532中。
在结束上述这样的扫描动作的情况下，CPU521指示控制装置400结束扫描。控制部401判定是否受理了扫描结束的指示(步骤S156)，在受理了扫描结束的指示的情况下(在步骤S156中为是)，结束扫描动作。另一方面，在未受理扫描结束的指示的情况下(在步骤S156中为否)，控制部401使帧编号n递增(步骤S157)，使处理返回到步骤S152，并且使探头200再次执行扇形扫描以及线性扫描。
如上所述，扫描动作中的一个循环包含一次扇形扫描和一次线性扫描，探头200多次执行这样的循环。该一次循环与一帧对应。图8是用于说明本实施方式的超声波拍摄系统的帧的示意图。在一帧中，包含一个第一超声波图像和一个第二超声波图像。由于一个循环中的扇形扫描与线性扫描之间的时间间隔极其微小，因此认为在同一位置执行了扇形扫描和线性扫描。也就是说，一帧中所包含的第一以及第二超声波图像作为对同一位置进行拍摄而得到的图像来处理。以下，将第n-1帧中的第一超声波图像标记为701n-1，将第n帧中的第一超声波图像标记为701n，将第n-1帧中的第二超声波图像标记为702n-1，将第n帧中的第二超声波图像标记为702n。
再次参照图6。如果结束如上所述的扫描动作，则图像合成装置500的CPU521对帧编号n设定初始值(0)(步骤S102)，并从第n帧中的第一超声波图像701n提取出特征点(步骤S103)。在提取该特征点的处理中，使用具有SIFT(Scale-Invariant Feature Transform)、SURF(Speeded Up Robust Features)、ORB(Oriented FAST and Rotated BRIEF)等旋转不变性的局部特征量提取算法，也就是说，即使使图像旋转也能够提取相同的局部特征量的算法。
接下来，CPU521判定执行了特征点提取处理的对象是否是最初帧的第一超声波图像，即判定是否在该时刻的n的值是“0”(步骤S104)。在执行了特征点提取处理的对象是最初帧的第一超声波图像的情况下(在步骤S104中为是)，CPU521将提取的特征点的信息存储在硬盘525中之后，转到步骤S109，转到下一帧(帧编号“1”)的特征点提取处理。
另一方面，在执行了特征点提取处理的对象不是最初帧的第一超声波图像，即，在该时刻n的值不是“0”的情况下(在步骤S104中为否)，CPU521将第n-1帧的第一超声波图像701n-1的特征点与第n帧的第一超声波图像701n的特征点进行匹配，来确定各特征点的对应关系(步骤S105)。图9是用于说明步骤S105的处理(以下，称为“特征点匹配处理”)的概念图。在特征点匹配处理中，将第n-1帧的第一超声波图像701n-1的特征点与第n帧的第一超声波图像701n的特征点之间具有最接近特征量的特征点彼此相关联。根据特征点提取方法，利用欧几里得距离、海明距离等来计算特征量的接近度。在图9中，在第n-1帧的第一超声波图像701n-1和第n帧的第一超声波图像701n中所示出的相同标记是对应的特征点。图9虽然是简略地表示，但是针对一个第一超声波图像能提取数百个特征点。
再次参照图6。接下来，CPU521执行位置关系计算处理(步骤S106)，并计算探头200在第n-1与第n帧之间的位置关系。位置关系计算处理包括位置关系推定处理(步骤S107)和位置关系修正处理(步骤S108)。
在位置关系推定处理中，根据在步骤S105中确定的特征点的对应关系，来计算第n-1与第n帧之间的第一超声波图像的移动量(位置参数)即第一关系量，作为探头200在第n-1与第n帧之间的位置关系的推定值。计算出的第一关系量是彼此正交的两个方向x，y上的距离即平行移动量Δx，Δy以及旋转角度Δθ。
以下，对位置关系推定处理进行详细的说明。在理想的情况下，在第n-1帧的第一超声波图像701n-1上的特征点(xk，yk)与第n帧的第一超声波图像701n上的特征点(x'k，y'k)之间成立下式(1)所示的关系。其中，k是相关联的特征点的编号。
[数学式1]
Figure BDA0002111276460000121
但是，无法用从对应的特征点求出的一组位置关系来满足多个特征点的对应关系。这是因为在特征点的坐标中包含误差，或者由于噪声的影响而确定的对应关系本身中包含错误。因此，排除给计算带来不好影响的异常值，并计算第一关系量。RANSAC算法能够用于异常值的排除，高斯牛顿法或列文伯格-马夸尔特法等非线性最小二乘法能够用于计算位置关系。图10是表示排除了异常值的对应特征点的图。通过排除异常值，能够使用准确相关联的特征点来准确地计算第一关系量。
图11是表示位置关系推定处理的步骤的流程图。在位置关系推定处理中，首先CPU521从所有的对应的特征点中随机地选择两组(步骤S171)，根据获得的两组特征点，来计算探头200在第n-1与第n帧之间的位置关系(移动量)的候选值即关系量候选(步骤S172)。
接下来，CPU521使用计算出的关系量候选，在所有的对应的特征点(以下，称为“对应特征点”)计算二乘误差，将误差在规定的阈值以下的对应特征点作为支持关系量候选的点，并对该数量进行计数(步骤S173)。下式(2)用于二乘误差ek的计算。
[数学式2]
ek＝(x′k-xk)2+(y′k-yk)2
CPU521判定重复的次数是否达到规定的数量(步骤S174)，如果重复的次数没达到规定数量(步骤S174中为否)，将处理返回到步骤S171。由此，重复执行步骤S171～S173的处理，得到多个关系量候选。
在重复的次数达到规定的数量的情况下(步骤S174中为是)，CPU521在所有的关系量候选中，选择支持数最大的关系量候选(步骤S175)。
接下来CPU521使用支持在步骤S175中选择的关系量候选的对应特征点，来计算最终的第一关系量(步骤S176)，结束位置关系推定处理。
在步骤S172以及S176中，使用多组(将组数设为K)对应特征点来计算第一关系量(或者关系量候选)。使用下式(3)中定义的误差函数来计算这样的第一关系量(或者关系量候选)。
[数学式3]
Figure BDA0002111276460000131
通过高斯牛顿法、列文伯格-马夸尔特法等非线性最小二乘法来求出将式(3)所示的误差函数最小化的第一关系量(或者关系量候选)。由于从式(1)中能得到两个方程式，因此如果存在两组以上的对应特征点则能够计算出第一关系量(或者关系量候选)。在步骤S172中，对应特征点的组数是K＝2，在步骤S176中是K≥2。
基于使用了扇形扫描图像即第一超声波图像的特征点来计算出第一关系量具有如下的优点。
(1)如果使用探头宽度较小的探头200，则线性扫描的拍摄范围变小，在使用线性扫描图像(第二超声波图像)的位置关系的计算中，很难计算出准确的旋转角度Δθ。针对这一点，通过使用拍摄范围较大的扇形扫描图像能够高精度地计算Δθ。
(2)在局部特征点的匹配中，由于是基于特征量而不是坐标的相似度来进行匹配，因此能够在不考虑第n-1以及第n帧的拍摄位置的情况下计算出两者的位置关系。
通过以上的位置关系推定处理，能求出探头200在第n-1帧与第n帧之间的位置关系的推定值即第一关系量。在第一关系量较大的情况下，也就是说，在第n-1帧的探头200的位置与在第n帧的探头200的位置之间的距离较大的情况下，即使在扇形扫描图像即第一超声波图像中能够确保足够的重叠区域，但在线性扫描图像即第二超声波图像中不能确保足够的重叠区域，则存在不能够准确地进行随后的第二超声波图像的相关值的计算以及图像合成的情况。因此，在这样的情况下，可以作为处理错误，或者降低合成精度并跳过图像相关的处理，直接使用通过位置关系推定处理而得到的第1关系量来进行图像合成。
再次参照图6。在位置关系推定处理之后，CPU521执行位置关系修正处理(步骤S108)。在位置关系修正处理中，通过第n-1与第n帧之间的第二超声波图像702n-1、702n的图像相关性，来计算对在位置关系推定处理中计算出的第一关系量进行修正得到的第二关系量。在本实施方式中，在位置关系修正处理中，修正第一关系量中的平行移动量Δx，Δy。
以下，对位置关系修正处理进行详细的说明。CPU521使用由位置关系推定处理计算出的第一关系量(平行移动量Δx，Δy以及旋转角度Δθ)，来对第n帧的第二超声波图像702n实施平行移动以及旋转处理。以下，将该移动后的第二超声波图像称为第n'帧图像。
图12是用于说明位置关系修正处理的概念图。接下来，CPU521使第n'帧图像702n'在x轴或者y轴方向上移动Δx'，Δy'，对移动后的图像与第n-1帧的第二超声波图像702n-1进行比较，并且计算基于亮度值的图像相关值。相关值的计算可以使用SAD(Sum ofAbsolute Difference)、ZNCC(Zero-mean Nomalized Cross-Correlation)等。CPU521重复执行第n'帧图像的移动和图像相关值的计算，针对x轴以及y轴双方来搜索规定的搜索范围(例如±20像素)，来获得各位置的图像相关值。CPU521如果计算出各位置的图像相关值，则将图像相关值为最大的位置确定为最终的平行移动量Δx，Δy。
线性扫描图像比扇形扫描图像的分辨率更高，由于散斑少，因此通过使用线性扫描图像能够高精度地修正平行移动量。由上述的位置关系修正处理计算出的第二关系量(Δx，Δy，Δθ)与帧编号n一起存储在硬盘525中。
再次参照图6。接下来，CPU521判定n的值是否与最后的帧编号N一致(步骤S109)。在n与最大值N不一致的情况下(在步骤S109中为否)，CPU521使n递增(步骤S110)，并且将处理返回到步骤S103。
在n与最大值N一致的情况下(在步骤S109中为是)，CPU521使用第二关系量对第n-1以及第n帧的第一超声波图像701n-1、701n进行合成(步骤S111)，同样地，使用第二关系量对第n-1以及第n帧的第二超声波图像702n-1、702n进行合成(步骤S112)。CPU521将合成的第一超声波图像以及合成的第二超声波图像显示在显示部上(步骤S113)，结束处理。
通过如上所述的结构，由于通过广角的拍摄方式即扇形扫描来获得较大拍摄范围的第一超声波图像，并且使用该第一超声波图像来计算第一关系量，因此即使使用宽度较小的探头对人体的下肢或者上肢这样的曲率较大的部位进行超声波拍摄的情况下，也能够可靠地计算出第一关系量。另外，由于使用通过高分辨率的线性扫描而获得的第二超声波图像来计算对第一关系量进行修正得到的第二关系量，因此能够获得准确的第二关系量。
(实施方式2)
在本实施方式中，在探头上设置有角度传感器，通过该角度传感器获取探头朝向的方向，计算两次扇形扫描之间的探头的旋转角度。通过探头交替地反复进行扇形扫描和线性扫描，从通过在两个位置处进行两次扇形扫描而获得的两个扇形扫描图像来计算两个位置间的距离(平行移动量)即第一关系量，基于在两个位置处进行两次线性扫描而获得的两个线性扫描图像来计算对第一关系量进行修正得到的第二关系量(平行移动量)，基于第二关系量以及从角度传感器获得的旋转角度来合成扇形扫描图像或者线性扫描图像。
＜超声波拍摄系统的结构＞
图13是表示探头250以及控制装置400的结构的示意图。探头250包含角度传感器251。角度传感器251检测探头250从铅直方向倾斜的倾斜度，即检测超声波发送接收面201朝向的方向。本实施方式的超声波拍摄系统的其他的结构由于与实施方式一的超声波拍摄系统100的结构相同，因此对于相同结构要素赋予相同的符号，并省略其说明。
＜超声波拍摄系统的动作＞
接下来，对本实施方式的超声波拍摄系统的动作进行说明。图14是表示本实施方式的超声波拍摄系统的动作步骤的流程图。图像合成装置500的CPU521指示控制装置400开始扫描，与此相对应地，控制装置400的控制部401使探头250执行扫描动作(步骤S201)。在该扫描动作中，操作人员在将超声波发送接收面201与被检测体的表面接触的状态下，使探头250沿着被检测体的表面移动。
在扫描动作中，控制部401交替地切换扇形扫描模式和线性扫描模式，并且驱动探头250。以下，对扫描动作进行更详细地说明。图15是表示扫描动作的步骤的流程图。首先，控制部401将初始值(0)分配给帧编号n(步骤S251)。接下来，控制部401以扇形扫描模式驱动探头250，使其执行扇形扫描(步骤S252)。在扇形扫描中，探头250从被检测体的表面向垂直方向扇形地扫描束并发送第一超声波，并且接收在被检测体的内部反射的第一超声波。另外，角度传感器251检测出扇形扫描时探头250从铅直方向倾斜的倾斜角度(步骤S253)。
探头250将表示接收的第一超声波的电信号和表示倾斜角度的电信号发送至控制装置400，控制装置400的通信部402接收这些电信号。图像生成部404根据电信号生成第一超声波图像701(步骤S254)。
控制部401在使探头250执行扇形扫描之后，以线性扫描模式驱动探头250，并使其执行线性扫描(步骤S255)。在线性扫描中，探头250从被检测体的表面向垂直方向以带状(矩形)的束形状发送第二超声波，并接收在被检测体的内部反射的第二超声波。
探头250将表示接收的第二超声波的电信号发送至控制装置400，控制装置400的通信部402接收该电信号。图像生成部404根据电信号生成第二超声波图像702(步骤S256)。控制部401将生成的第一以及第二超声波图像701、702与帧编号n以及倾斜角度一起从通信部403发送至图像合成装置500。一帧中的第一以及第二超声波图像701、702与帧编号一起分别存储在扇形图像帧存储器531以及线性图像帧存储器532中。另外，倾斜角度与帧编号一起存储在硬盘525中。
在结束上述这样的扫描动作的情况下，CPU521指示控制装置400结束扫描。控制部401判定是否受理了扫描结束的指示(步骤S257)，在受理了扫描结束的指示的情况下(在步骤S257中为是)，结束扫描动作。另一方面，在未受理扫描结束的指示的情况下(在步骤S257中为否)，控制部401使帧编号n递增(步骤S258)，使处理返回到步骤S252，并且使探头250再次执行扇形扫描以及线性扫描。
如上所述，扫描动作中的一个循环包含一次扇形扫描和一次线性扫描，探头250多次执行这样的循环。该一次循环与一帧对应。在一帧中，包含一个第一超声波图像701和一个第二超声波图像702。由于一个循环中的扇形扫描与线性扫描之间的时间间隔极其微小，因此认为在同一位置执行了扇形扫描以及线性扫描。也就是说，一帧中包含的第一以及第二超声波图像701、702作为对同一位置进行拍摄而得到的图像来处理。
再次参照图14。由于步骤S202至S205的处理与实施方式一中说明的步骤S102至S105的处理相同，因此省略其说明。
CPU521根据由角度传感器251检测出的倾斜角度来计算旋转角度Δθ(步骤S206)。旋转角度Δθ被计算为第n-1与第n帧之间的倾斜角度的差。需要说明的是，可以代替角度传感器251，将通过地磁来检测方位的方位传感器设置在探头250中，可以基于第n-1以及第n帧的每个帧中由方位传感器检测出的方位来计算旋转角度Δθ。
接下来，CPU521执行位置关系计算处理(步骤S207)。位置关系计算处理包含位置关系推定处理(步骤S208)和位置关系修正处理(步骤S209)。在本实施方式中，在位置关系推定处理中根据第一超声波图像计算除了旋转角度以外的位置参数Δx，Δy作为第一关系量。平行移动量Δx，Δy的计算方法与实施方式一中说明的方法相同。
由于步骤S209至S214的处理与实施方式一中说明的步骤S108至S113的处理相同，因此省略其说明。
通过如上所述的结构，能够使用由角度传感器251检测出的倾斜角度而高精度地求出探头250的旋转角度，并且能够进行准确的图像合成。另外，不需要通过图像处理来计算旋转角度，能减少计算量。
(其他的实施方式)
在上述的实施方式一以及实施方式二中，虽然使用第二超声波图像修正了第一关系量，但并不限定于此。也能够构成为不修正根据第一超声波图像计算出的第一关系量而用于图像合成。另外，虽然将平行移动量Δx，Δy作为第一关系量中修正的对象，但并不限定于此，旋转角度Δθ也可以作为修正对象。
另外，在上述的实施方式一以及实施方式二中，虽然对在各帧中，先执行扇形扫描之后执行线性扫描，使用在第n-1以及第n帧中先获得的第一超声波图像来计算第一关系量，使用在第n-1以及第n帧中后获得的第二超声波图像来计算对第一关系量进行修正得到的第二关系量的结构进行了描述，但并不限定于此。也能够构成为在各帧中，先执行线性扫描之后执行扇形扫描，使用在第n-1以及第n帧中后获得的第一超声波图像来计算第一关系量，使用在第n-1以及第n帧中先获得的第二超声波图像来计算对第一关系量进行修正得到的第二关系量。
另外，在一次循环中，可以不仅执行扇形扫描以及线性扫描，也执行其他的扫描。在该情况下，在一帧中除了第一以及第二超声波图像还包含其他的超声波图像。但是，为了进行图像合成，需要在图像中包含跨循环重叠的区域，但如果这样操作，由于一次循环花费的时间变大，因此有时不能够充分地确保重叠的区域。因此，优选的是，考虑一次循环所需的时间来限制探头的移动速度。例如，能够构成为，如果是在一次循环所花费的时间中移动探头宽度的一半以上的速度，则通知错误。
另外，在实施方式一以及实施方式二中，虽然对合成连续的两个帧间的图像的结构进行了描述，但并不限定于此。如果是不同的两个帧，可以不连续。例如，也能够构成为合成第n-2与第n帧之间的超声波图像。在该情况下，基于第n-2以及第n帧中的第一以及第二超声波图像来计算第n-2以及第n帧中的探头的位置关系(第二关系量)，基于计算出的位置关系，合成第n-2以及第n帧中的第一以及第二超声波图像中的至少一方。但是，在该情况下，也需要确保在不同的两个帧的图像中重叠的区域。由此，能够构成为，限制移动速度，使得是在该两个帧之间的时间中移动不足探头宽度一半的速度。
另外，在实施方式一以及实施方式二中，虽然对合成第一以及第二超声波图像双方的结构进行了描述，但并不限定于此。可以构成为合成第一以及第二超声波图像中的一方。例如，也能够构成为操作人员从第一以及第二超声波图像中选择合成的对象，并且合成所选择的图像。
另外，在实施方式一以及实施方式二中，虽然对合成第一超声波图像彼此或者合成第二超声波图像彼此的结构进行了描述，但也可以构成为合成第一超声波图像和第二超声波图像。例如，如图16所示，通过合成第n-1帧的第一超声波图像701n-1和第n帧的第二超声波图像702n，从而能够维持第一超声波图像的拍摄范围，同时能够在第二超声波图像的拍摄范围内提高图像质量。
另外，在实施方式一以及实施方式二中，虽然对执行扇形的拍摄范围的扇形扫描和带形的拍摄范围的线性扫描的结构进行了描述，但并不限定于此。只要一个图像的拍摄范围大并且为低分辨率，另一个图像的拍摄范围小并且为高分辨率，则可以是扇形扫描图像以及线性扫描图像以外的图像。只要是能够改变拍摄的角度范围的扫描方式，则也可以构成为在固定该扫描方式的情况下切换拍摄的角度范围，来执行两种扫描。例如能够构成为将扫描方式固定为扇形扫描，或者固定驱动频率，并切换角度范围(拍摄范围)。如果这样操作，在角度范围较大的扫描中，能获得拍摄范围较大并且低分辨率的扇形扫描图像(第一超声波图像)，在角度范围较小的扫描中，能获得拍摄范围较小并且高分辨率的扇形扫描图像(第二超声波图像)。也就是说，能够构成为固定扫描方式和驱动频率，切换拍摄范围并且分别执行第一超声波的扫描和第二超声波的扫描。另外，在固定扫描方式的状态下，即使增大拍摄范围并且降低驱动频率来执行第一超声波的扫描，减小拍摄范围并且提高驱动频率来执行第二超声波的扫描，也能够获得拍摄范围较大且低分辨率的第一超声波图像和拍摄范围较小且高分辨率的第二超声波图像。进一步地，也能够在固定驱动频率的状态下，切换扫描方式，进行两种扫描。例如，通过在固定驱动频率的状态下，分别执行扇形扫描和线性扫描，从而能够获得拍摄范围较大且低分辨率的扇形扫描图像(第一超声波图像)以及拍摄范围较小且高分辨率的线性扫描图像(第二超声波图像)。另外，也可以构成为使用凸面型的探头来执行两种超声波扫描。
另外，在实施方式一以及实施方式二中，对通过特征点匹配来计算第一关系量，通过图像相关性来计算对第一关系量进行修正得到的第二关系量的结构进行了说明，但并不限于此。可以构成为通过特征点匹配以外的图案匹配例如图像相关性来计算第一关系量，也可以构成为通过图像相关性以外的图案匹配例如特征点匹配来计算第二关系量。
另外，在实施方式一以及实施方式二中，虽然由控制装置400和图像合成装置500构成超声波拍摄装置300，但并不限定于此。也能够构成为具有控制装置400以及图像合成装置500两者的功能的一台超声波拍摄装置。另外，虽然是通过软件来实现位置关系的计算以及图像合成的结构，但并不限定于此。也能够构成为由图像处理处理器执行这些处理。
另外，在实施方式一以及实施方式二中，虽然对使探头移动来进行测量的方法进行了描述，但只要在不同的位置拍摄两个帧，则探头的数量也可以不是一个。例如，如图17所示，可以构成为使用多个探头。在该情况下，例如通过探头271来执行扇形扫描和线性扫描，通过探头272来执行扇形扫描和线性扫描。基于分别通过探头271、272而得到的两个扇形扫描图像(第一超声波图像)和两个线性扫描图像(第二超声波图像)，来计算探头271、272的拍摄位置的关系，基于该位置关系，来合成由探头271获得的第一或者第二超声波图像和由探头272获得的第一或者第二超声波图像。
工业实用性
本发明的超声波拍摄系统、超声波拍摄装置、超声波拍摄方法、以及图像合成程序作为通过向人体等被检测体的内部发送超声波，并接收反射的超声波从而拍摄被检测体的内部的超声波拍摄系统、超声波拍摄装置、超声波拍摄方法、以及用于使计算机进行超声波图像的合成的图像合成程序是有用的。
附图符号的说明
100 超声波拍摄系统
200 探头
203 超声波阵列传感器
300 超声波拍摄装置
400 控制装置
401 控制部
404 图像生成部
500 图像合成装置
510 计算机
521 CPU
540 显示部
550 图像合成程序
701 第一超声波图像
702 第二超声波图像。

Claims (14)

1.一种超声波拍摄系统，具有：
探头，沿着被检测体的截面的外周移动的同时，通过彼此不同的扫描方式，将第一超声波以及第二超声波沿着同一截面从被检测体的表面向内部发送，并且分别接收在所述被检测体的内部反射的所述第一超声波以及第二超声波；
图像生成部，基于由所述探头在所述截面的外表面接收的所述第一超声波生成第一超声波图像，并且基于由所述探头接收的所述第二超声波生成与所述第一超声波图像在同一截面中、拍摄范围比所述第一超声波图像窄、分辨率更高的第二超声波图像；
位置关系计算部，基于两个第一超声波图像和两个第二超声波图像来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置处接收的所述第一超声波而生成，所述两个第二超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置处接收的所述第二超声波而生成；以及
图像合成部，基于由所述位置关系计算部计算出的所述两个位置的关系，合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像。
2.如权利要求1所述的超声波拍摄系统，其特征在于，
所述探头通过彼此不同的频率来分别发送所述第一超声波以及第二超声波。
3.一种超声波拍摄装置，具有：
图像生成部，基于由从被检测体的表面向内部沿同一截面分别发送彼此不同的第一超声波以及第二超声波并分别接收在所述被检测体的内部反射的所述第一超声波以及第二超声波的探头接收的所述第一超声波生成第一超声波图像，并且基于由所述探头接收的所述第二超声波生成第二超声波图像；
位置关系计算部，基于两个第一超声波图像和两个第二超声波图像来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置处接收的所述第一超声波而生成，所述两个第二超声波图像是由所述图像生成部基于由所述探头分别在所述两个位置处接收的所述第二超声波而生成；以及
图像合成部，基于由所述位置关系计算部计算出的所述两个位置的关系，合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像，
其中，所述第一超声波和所述第二超声波通过彼此不同的扫描方式发送，
在同一截面中，所述第二超声波图像比所述第一超声波图像拍摄范围更窄并且分辨率更高。
4.如权利要求3所述的超声波拍摄装置，其特征在于，
所述图像生成部基于由沿着被检测体的表面移动同时将所述第一超声波以及第二超声波反复发送到所述被检测体的内部并且反复接收在所述被检测体的内部反射的所述第一超声波以及第二超声波的所述探头连续接收的所述第一超声波以及第二超声波来生成一帧的所述第一超声波图像以及第二超声波图像，
所述位置关系计算部基于连续的第一帧以及第二帧中的两个所述第一超声波图像以及两个所述第二超声波图像来计算所述两个位置的关系。
5.如权利要求3或4所述的超声波拍摄装置，其特征在于，
所述位置关系计算部计算包括彼此交叉的两个方向上的所述两个位置的距离的所述两个位置的关系。
6.如权利要求5所述的超声波拍摄装置，其特征在于，
所述位置关系计算部计算还包括在包括所述两个方向的平面内的旋转角度的所述两个位置的关系。
7.如权利要求5所述的超声波拍摄装置，其特征在于，
所述超声波拍摄装置还具有：旋转角度计算部，基于由检测所述探头朝向的方向的传感器分别在所述两个位置处检测出的角度，来计算所述两个位置处所述探头在包括所述两个方向的平面内的旋转角度，
所述图像合成部基于由所述位置关系计算部计算出的所述距离和由所述旋转角度计算部计算出的所述旋转角度，合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像。
8.如权利要求3或4所述的超声波拍摄装置，其特征在于，
所述位置关系计算部包括：
位置关系推定部，基于所述两个第一超声波图像来计算所述两个位置的关系的推定值即第一关系量；以及
位置关系修正部，基于所述两个第二超声波图像来计算对由所述位置关系推定部计算出的所述第一关系量进行修正得到的第二关系量，
所述图像合成部基于由所述位置关系修正部计算出的所述第二关系量，合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像。
9.如权利要求8所述的超声波拍摄装置，其特征在于，
所述位置关系推定部计算包括彼此交叉的两个方向上的所述两个位置的距离的所述第一关系量，
所述位置关系修正部计算对由所述位置关系推定部计算出的所述距离进行修正得到的所述第二关系量。
10.如权利要求8所述的超声波拍摄装置，其特征在于，
所述位置关系推定部通过提取所述两个第一超声波图像的特征点并且确定所述两个第一超声波图像间的所述特征点的对应关系，计算所述第一关系量。
11.如权利要求8所述的超声波拍摄装置，其特征在于，
所述位置关系修正部基于所述两个第二超声波图像的亮度分布的相关性，计算所述第二关系量。
12.如权利要求3或4所述的超声波拍摄装置，其特征在于，
所述图像生成部基于所述探头向所述被检测体的内部扇形地发送所述第一超声波时接收到的所述第一超声波来生成扇形扫描图像即所述第一超声波图像，基于所述探头向所述被检测体的内部在带状地延伸的范围内发送所述第二超声波时接收到的所述第二超声波来生成线性扫描图像即所述第二超声波图像。
13.一种超声波拍摄方法，具有如下步骤：
通过发送接收超声波的探头，从被检测体的表面上的彼此不同的两个位置分别向所述被检测体的内部沿同一截面发送彼此不同的第一超声波以及第二超声波，并在所述两个位置分别接收在所述被检测体的内部反射的所述第一超声波以及第二超声波；
基于由所述探头在所述两个位置接收的所述第一超声波来生成两个第一超声波图像；
基于由所述探头在所述两个位置接收的所述第二超声波来生成两个第二超声波图像；
基于所述两个第一超声波图像和所述两个第二超声波图像，计算所述两个位置的关系；以及
基于计算出的所述两个位置的关系，合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像，
其中，所述第一超声波和所述第二超声波通过彼此不同的扫描方式发送，
在同一截面中，所述第二超声波图像比所述第一超声波图像拍摄范围更窄并且分辨率更高。
14.一种存储有图像合成程序的存储介质，所述图像合成程序使计算机执行对拍摄被检测体的内部而得到的多个超声波图像进行合成的处理，
所述图像合成程序使所述计算机执行以下步骤：
基于两个第一超声波图像和两个第二超声波图像，来计算在所述被检测体的表面上的彼此不同的两个位置的关系，其中，所述两个第一超声波图像是基于由从被检测体的所述表面沿同一截面向内部分别发送彼此不同的第一超声波以及第二超声波并且分别接收在所述被检测体的内部反射的所述第一超声波以及第二超声波的探头在所述两个位置分别接收的所述第一超声波而生成，所述两个第二超声波图像是由所述探头在所述两个位置接收的所述第二超声波而生成；以及
基于计算出的所述两个位置的关系，来合成所述两个位置中的一个位置处的所述第一超声波图像或者第二超声波图像和另一个位置处的所述第一超声波图像或者第二超声波图像，
其中，所述第一超声波和所述第二超声波通过彼此不同的扫描方式发送，
在同一截面中，所述第二超声波图像比所述第一超声波图像拍摄范围更窄并且分辨率更高。
CN201780081389.9A 2017-01-18 2017-12-12 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序 Active CN110114001B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-006912 2017-01-18
JP2017006912 2017-01-18
PCT/JP2017/044544 WO2018135188A1 (ja) 2017-01-18 2017-12-12 超音波撮像システム、超音波撮像装置、超音波撮像方法、及び画像合成プログラム

Publications (2)

Publication Number Publication Date
CN110114001A CN110114001A (zh) 2019-08-09
CN110114001B true CN110114001B (zh) 2022-06-14

Family

ID=62908299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780081389.9A Active CN110114001B (zh) 2017-01-18 2017-12-12 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序

Country Status (5)

Country Link
US (1) US11382604B2 (zh)
EP (1) EP3572000B1 (zh)
JP (1) JP6667676B2 (zh)
CN (1) CN110114001B (zh)
WO (1) WO2018135188A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109124685A (zh) * 2018-10-30 2019-01-04 成都汇声科技有限公司 一种实现多种扫描方式的超声仪及其控制方法
EP4338684A1 (en) * 2021-05-11 2024-03-20 Furuno Electric Co., Ltd. Ultrasonic imaging device, ultrasonic imaging method, ultrasonic imaging system, and ultrasonic imaging program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006068103A1 (ja) * 2004-12-20 2006-06-29 Hitachi Medical Corporation 超音波診断システム及びその方法
CN101675887A (zh) * 2008-09-17 2010-03-24 株式会社东芝 超声波诊断装置及图像显示方法
US8123691B2 (en) * 2003-08-19 2012-02-28 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus for fixedly displaying a puncture probe during 2D imaging
CN103732152A (zh) * 2012-06-25 2014-04-16 株式会社东芝 超声波诊断装置及图像处理方法
CN104706380A (zh) * 2013-12-11 2015-06-17 柯尼卡美能达株式会社 超声波诊断装置、超声波图像处理方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05192337A (ja) * 1992-01-24 1993-08-03 Toshiba Corp 超音波診断装置
JP4282144B2 (ja) * 1999-04-26 2009-06-17 株式会社東芝 超音波診断装置
US6685644B2 (en) * 2001-04-24 2004-02-03 Kabushiki Kaisha Toshiba Ultrasound diagnostic apparatus
JP4785105B2 (ja) 2001-08-03 2011-10-05 株式会社日立メディコ 超音波画像処理装置
JP4704630B2 (ja) 2001-09-14 2011-06-15 アロカ株式会社 超音波パノラマ画像形成装置
US6733453B2 (en) * 2002-09-03 2004-05-11 Siemens Medical Solutions Usa, Inc. Elevation compounding for ultrasound imaging
CA2445137A1 (en) * 2002-10-15 2004-04-15 Matsushita Electric Industrial Co., Ltd. Image processing apparatus, method and program
EP1652475B1 (en) * 2003-08-06 2016-08-31 Hitachi Medical Corporation Ultrasonographic device and ultrasonographic method
US20070219448A1 (en) * 2004-05-06 2007-09-20 Focus Surgery, Inc. Method and Apparatus for Selective Treatment of Tissue
JP2006255083A (ja) * 2005-03-16 2006-09-28 Ge Medical Systems Global Technology Co Llc 超音波画像生成方法および超音波診断装置
JP2010537700A (ja) * 2007-09-04 2010-12-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ デュアルモード超音波トランスデューサ
JP5596940B2 (ja) * 2009-06-30 2014-09-24 株式会社東芝 超音波診断装置
JP2012196308A (ja) * 2011-03-22 2012-10-18 Fujifilm Corp 光音響画像生成装置及び方法
JP6000569B2 (ja) * 2011-04-01 2016-09-28 東芝メディカルシステムズ株式会社 超音波診断装置及び制御プログラム
JP5935344B2 (ja) * 2011-05-13 2016-06-15 ソニー株式会社 画像処理装置、画像処理方法、プログラム、記録媒体、および、画像処理システム
WO2013150917A1 (ja) * 2012-04-02 2013-10-10 日立アロカメディカル株式会社 超音波診断装置及び超音波画像の超解像生成方法
JP2015144623A (ja) * 2012-05-14 2015-08-13 日立アロカメディカル株式会社 超音波診断装置および画像評価表示方法
JP2015077393A (ja) * 2013-09-10 2015-04-23 セイコーエプソン株式会社 超音波測定装置、超音波画像装置、及び超音波測定方法
WO2015111278A1 (ja) * 2014-01-24 2015-07-30 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP6415937B2 (ja) * 2014-11-13 2018-10-31 キヤノンメディカルシステムズ株式会社 医用画像処理装置、超音波診断装置、医用画像処理方法および医用画像処理プログラム
JP6744141B2 (ja) * 2015-06-16 2020-08-19 キヤノンメディカルシステムズ株式会社 超音波診断装置及び画像処理装置
US20180140277A1 (en) * 2016-11-18 2018-05-24 Clarius Mobile Health Corp. Transducer adapters for allowing multiple modes of ultrasound imaging using a single ultrasound transducer

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8123691B2 (en) * 2003-08-19 2012-02-28 Kabushiki Kaisha Toshiba Ultrasonic diagnostic apparatus for fixedly displaying a puncture probe during 2D imaging
WO2006068103A1 (ja) * 2004-12-20 2006-06-29 Hitachi Medical Corporation 超音波診断システム及びその方法
CN101675887A (zh) * 2008-09-17 2010-03-24 株式会社东芝 超声波诊断装置及图像显示方法
CN103732152A (zh) * 2012-06-25 2014-04-16 株式会社东芝 超声波诊断装置及图像处理方法
CN104706380A (zh) * 2013-12-11 2015-06-17 柯尼卡美能达株式会社 超声波诊断装置、超声波图像处理方法

Also Published As

Publication number Publication date
CN110114001A (zh) 2019-08-09
EP3572000B1 (en) 2022-08-24
JPWO2018135188A1 (ja) 2019-11-07
JP6667676B2 (ja) 2020-03-18
EP3572000A4 (en) 2020-10-28
EP3572000A1 (en) 2019-11-27
US20190365358A1 (en) 2019-12-05
WO2018135188A1 (ja) 2018-07-26
US11382604B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
JP4426530B2 (ja) 超音波撮像装置および超音波撮像方法
US11311277B2 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
CN110114001B (zh) 超声波拍摄系统、超声波拍摄装置、超声波拍摄方法以及图像合成程序
KR101656127B1 (ko) 계측 장치 및 그 제어 프로그램
JP5102475B2 (ja) 超音波診断装置
US10722217B2 (en) Ultrasonic diagnostic apparatus and medical image processing apparatus
JP2004008271A (ja) 超音波診断装置
JP4761999B2 (ja) 超音波診断装置およびその画像処理方法、その画像処理プログラム
JP6663029B2 (ja) 超音波診断装置及び超音波診断装置の制御方法
JP5409719B2 (ja) 超音波画像処理装置
JP5829008B2 (ja) 超音波診断装置
JPWO2018163827A1 (ja) 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
JP2009011449A (ja) 超音波診断装置
JP2017046781A (ja) 超音波診断装置
JP5746926B2 (ja) 超音波画像処理装置
EP4302702A1 (en) Ultrasound diagnostic apparatus and control method of ultrasound diagnostic apparatus
EP4295781A1 (en) Image display apparatus and control method of image display apparatus
JP2001286469A (ja) 超音波診断装置
JP2004024560A (ja) 超音波診断装置
JP2021108842A (ja) 超音波診断装置およびプログラム
KR101621309B1 (ko) 3차원 초음파 진단기용 영상 이미지 왜곡 보정 시스템
JP2020062200A (ja) 超音波診断装置及び表示方法
JP2020010747A (ja) 超音波撮像方法、超音波撮像装置、超音波撮像システムおよび超音波撮像プログラム
JP2012152379A (ja) 超音波画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant