JP2018187092A - Ultrasonic diagnostic apparatus, display method of composite image, and program - Google Patents

Ultrasonic diagnostic apparatus, display method of composite image, and program Download PDF

Info

Publication number
JP2018187092A
JP2018187092A JP2017092164A JP2017092164A JP2018187092A JP 2018187092 A JP2018187092 A JP 2018187092A JP 2017092164 A JP2017092164 A JP 2017092164A JP 2017092164 A JP2017092164 A JP 2017092164A JP 2018187092 A JP2018187092 A JP 2018187092A
Authority
JP
Japan
Prior art keywords
image
probe
orientation
tomographic
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017092164A
Other languages
Japanese (ja)
Other versions
JP6879039B2 (en
Inventor
政志 國田
Masashi Kunida
政志 國田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2017092164A priority Critical patent/JP6879039B2/en
Publication of JP2018187092A publication Critical patent/JP2018187092A/en
Application granted granted Critical
Publication of JP6879039B2 publication Critical patent/JP6879039B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an ultrasonic image where an area of interest can be three-dimensionally and easily observed in association with movement of a probe.SOLUTION: An ultrasonic diagnostic apparatus includes: a probe transmitting an ultrasonic wave to a subject and receiving a reflection wave thereof; a detection part (S1) detecting a position and a posture of the probe; an image generation part (S2) generating a tomographic image on the basis of the reflection wave received by the probe; a memory (S3) storing the tomographic image generated by the image generation part in association with the position and the posture of the probe detected by the detection part when the ultrasonic wave is transmitted; composition parts (S5, S6) composing a plurality of time series tomographic images stored in the memory in association with the position and the posture of the probe according to a composition condition in accordance with the position and the posture of the probe of the respective tomographic images and generating one composite image; and a display part (S7) displaying the composite image generated by the composition part.SELECTED DRAWING: Figure 2

Description

本発明は、超音波診断装置、合成画像の表示方法及びプログラムに関する。   The present invention relates to an ultrasonic diagnostic apparatus, a composite image display method, and a program.

超音波診断装置では、被検体の体表面をプローブで走査することにより、２次元の断層像を表示できるだけでなく、プローブの位置や姿勢を検出することで２次元の断層像から３次元画像を構築して表示することができる（例えば、特許文献１〜３参照。）。   In the ultrasonic diagnostic apparatus, not only can a two-dimensional tomographic image be displayed by scanning the body surface of the subject with a probe, but also a three-dimensional image can be obtained from the two-dimensional tomographic image by detecting the position and orientation of the probe. It can be constructed and displayed (for example, see Patent Documents 1 to 3).

３次元画像において被検体内部の特定部位を観察する際には、ユーザーがその特定部位を関心領域（ＲＯＩ：Region Of Interest）として指定する必要がある（例えば、特許文献４参照。）。   When observing a specific part inside a subject in a three-dimensional image, the user needs to designate the specific part as a region of interest (ROI) (for example, refer to Patent Document 4).

特開平２−１２４１４８号公報JP-A-2-124148 特開２０１３−２０２４１２号公報JP2013-20212A 特開２０１５−２１７３０６号公報JP 2015-217306 A 特開２０１０−１６７０４４号公報JP 2010-167044 A

３次元画像において立体構造の関心領域を指定する操作は簡単ではないため、プローブの走査と並行して、トラックボールやタッチパネル等の入力デバイスを操作して関心領域を指定することは難しかった。関心領域を指定する操作に集中するためには、プローブの走査を中断しなければならず、使い勝手が良くなかった。   Since it is not easy to designate a region of interest of a three-dimensional structure in a three-dimensional image, it is difficult to designate a region of interest by operating an input device such as a trackball or a touch panel in parallel with scanning of the probe. In order to concentrate on the operation of designating the region of interest, the scanning of the probe had to be interrupted, which was not convenient.

本発明の課題は、プローブの動きに合わせて、関心領域を立体的にかつ簡易に観察できる超音波画像を提供することである。   An object of the present invention is to provide an ultrasound image that allows a region of interest to be easily and stereoscopically observed in accordance with the movement of a probe.

請求項１に記載の発明によれば、
被検体に超音波を送信し、その反射波を受信するプローブと、
前記プローブの位置及び姿勢を検出する検出部と、
前記プローブにより受信した反射波に基づいて断層像を生成する画像生成部と、
前記画像生成部により生成した断層像を、前記超音波の送信時に前記検出部により検出したプローブの位置及び姿勢に対応付けて記憶するメモリーと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成する合成部と、
前記合成部により生成した合成画像を表示する表示部と、
を備えることを特徴とする超音波診断装置が提供される。 According to the invention of claim 1,
A probe that transmits ultrasonic waves to the subject and receives the reflected waves;
A detection unit for detecting the position and orientation of the probe;
An image generation unit that generates a tomographic image based on the reflected wave received by the probe;
A memory for storing the tomographic image generated by the image generation unit in association with the position and orientation of the probe detected by the detection unit during transmission of the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. A synthesis unit;
A display unit for displaying a composite image generated by the synthesis unit;
An ultrasonic diagnostic apparatus is provided.

請求項２に記載の発明によれば、
前記合成部は、前記画像生成部により断層像を生成するごとに、生成した前記プローブの位置及び姿勢が最新の断層像と、当該最新の断層像と時系列で連続する過去の複数の断層像とを、前記メモリーから取得して合成することを特徴とする請求項１に記載の超音波診断装置が提供される。 According to invention of Claim 2,
Each time the image generating unit generates a tomographic image, the synthesizing unit generates a tomographic image in which the position and orientation of the generated probe is the latest, and a plurality of past tomographic images that are continuous in time series with the latest tomographic image. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus is obtained from the memory and synthesized.

請求項３に記載の発明によれば、
前記合成部は、前記プローブの位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったとき、前記合成画像において、前記画像生成部により生成した最新の断層像に対する過去の断層像の強調度が小さい合成条件により合成することを特徴とする請求項１又は２に記載の超音波診断装置が提供される。 According to invention of Claim 3,
When the amount of change per unit time in the position or orientation of the probe is smaller than a threshold, the synthesis unit enhances the past tomographic image with respect to the latest tomographic image generated by the image generation unit in the synthesized image. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus is synthesized under a synthesis condition with a small value.

請求項４に記載の発明によれば、
前記合成部は、前記合成画像として、前記複数の断層像を１又は複数の視点から見たときの合成画像を生成し、前記視点の座標位置を前記各断層像のプローブの位置及び姿勢に応じて移動することを特徴とする請求項１〜３のいずれか一項に記載の超音波診断装置が提供される。 According to invention of Claim 4,
The synthesizing unit generates, as the synthesized image, a synthesized image when the plurality of tomographic images are viewed from one or a plurality of viewpoints, and the coordinate position of the viewpoint depends on the position and orientation of the probe of each tomographic image. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus is moved.

請求項５に記載の発明によれば、
前記合成部は、前記プローブの位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったとき、前記視点の座標位置の移動速度を高速化し、前記画像生成部により生成した最新の断層像の視点に合わせることを特徴とする請求項４に記載の超音波診断装置が提供される。 According to the invention of claim 5,
The synthesizing unit increases the movement speed of the coordinate position of the viewpoint when the change amount per unit time of the probe position or orientation is smaller than a threshold, and the latest tomographic image generated by the image generation unit The ultrasonic diagnostic apparatus according to claim 4, which is adapted to a viewpoint.

請求項６に記載の発明によれば、
前記画像生成部は、複数種類の断層像を生成し、
前記合成部は、前記複数種類の断層像を合成して１つの合成画像を生成し、前記断層像の種類ごとに合成条件を決定することを特徴とする請求項１〜５のいずれか一項に記載の超音波診断装置が提供される。 According to the invention of claim 6,
The image generation unit generates a plurality of types of tomographic images,
The said synthetic | combination part synthesize | combines the said multiple types of tomographic image, produces | generates one synthetic | combination image, and determines a synthetic | combination condition for every kind of the said tomographic image, The one of Claims 1-5 characterized by the above-mentioned. Is provided.

請求項７に記載の発明によれば、
前記複数種類の断層像は、Ｂモード画像とカラードプラー画像を含み、
前記合成部は、前記合成画像において、過去のＢモード画像より過去のカラードプラー画像の強調度が大きい合成条件により合成することを特徴とする請求項６に記載の超音波診断装置が提供される。 According to the invention of claim 7,
The plurality of types of tomographic images include a B-mode image and a color Doppler image,
The ultrasonic diagnostic apparatus according to claim 6, wherein the synthesizing unit synthesizes the synthesized image based on a synthesis condition in which a past color Doppler image has a higher degree of enhancement than a past B-mode image. .

請求項８に記載の発明によれば、
前記複数種類の断層像は、Ｂモード画像と穿刺針画像を含み、
前記合成部は、前記合成画像において、過去のＢモード画像より過去の穿刺針画像の強調度が大きい合成条件により合成することを特徴とする請求項６に記載の超音波診断装置が提供される。 According to the invention described in claim 8,
The plurality of types of tomographic images include a B-mode image and a puncture needle image,
The ultrasonic diagnostic apparatus according to claim 6, wherein the synthesizing unit synthesizes the synthesized image under a synthesis condition in which a past puncture needle image has a higher degree of enhancement than a past B-mode image. .

請求項９に記載の発明によれば、
プローブにより、被検体に超音波を送信し、その反射波を受信するステップと、
前記プローブの位置及び姿勢を検出するステップと、
前記プローブにより受信した反射波に基づいて断層像を生成するステップと、
前記生成した断層像を、前記超音波の送信時に前記検出したプローブの位置及び姿勢に対応付けてメモリーに記憶するステップと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成するステップと、
前記生成した合成画像を表示部により表示するステップと、
を含むことを特徴とする合成画像の表示方法が提供される。 According to the invention of claim 9,
A step of transmitting an ultrasonic wave to a subject by a probe and receiving a reflected wave thereof;
Detecting the position and orientation of the probe;
Generating a tomographic image based on the reflected wave received by the probe;
Storing the generated tomographic image in a memory in association with the detected position and orientation of the probe at the time of transmitting the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. Steps,
Displaying the generated composite image on a display unit;
A method for displaying a composite image is provided.

請求項１０に記載の発明によれば、
コンピューターに、
プローブにより、被検体に超音波を送信し、その反射波を受信するステップと、
前記プローブの位置及び姿勢を検出するステップと、
前記プローブにより受信した反射波に基づいて断層像を生成するステップと、
前記生成した断層像を、前記超音波の送信時に前記検出したプローブの位置及び姿勢に対応付けてメモリーに記憶するステップと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成するステップと、
前記生成した合成画像を表示部により表示するステップと、
を実行させるためのプログラムが提供される。 According to the invention of claim 10,
On the computer,
A step of transmitting an ultrasonic wave to a subject by a probe and receiving a reflected wave thereof;
Detecting the position and orientation of the probe;
Generating a tomographic image based on the reflected wave received by the probe;
Storing the generated tomographic image in a memory in association with the detected position and orientation of the probe at the time of transmitting the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. Steps,
Displaying the generated composite image on a display unit;
A program for executing the above is provided.

本発明によれば、プローブの動きに合わせて、関心領域を立体的にかつ簡易に観察できる超音波画像を提供することができる。   According to the present invention, it is possible to provide an ultrasonic image that allows a region of interest to be easily and stereoscopically observed in accordance with the movement of the probe.

本発明の実施の形態の超音波診断装置の主な構成を機能ごとに示すブロック図である。It is a block diagram which shows the main structures of the ultrasound diagnosing device of embodiment of this invention for every function. 超音波診断装置において、複数の断層像を合成するときの処理手順を示すフローチャートである。6 is a flowchart showing a processing procedure when a plurality of tomographic images are synthesized in the ultrasonic diagnostic apparatus. 第１メモリーと第２メモリーの保存例を示す図である。It is a figure which shows the example of a preservation | save of the 1st memory and the 2nd memory. 合成部において、合成条件を決定するときの処理手順を示すフローチャートである。It is a flowchart which shows the process sequence when a synthetic | combination part determines a synthetic | combination condition. 最新のフレームの強調度が過去よりも大きく、過去のフレームの強調度が均等な合成条件を示す図である。It is a figure which shows the synthetic | combination conditions in which the emphasis degree of the newest frame is larger than the past, and the emphasis degree of the past frame is equal. 各フレームの強調度が最新から過去へさかのぼるほど減衰する合成条件を示す図である。It is a figure which shows the synthetic | combination conditions in which the emphasis degree of each frame attenuate | damps as it goes back from the newest to the past. 各フレームの強調度が均等な合成条件を示す図である。It is a figure which shows the synthetic | combination conditions with the equal emphasis degree of each flame | frame. 最新のフレームのみ表示する合成条件を示す図である。It is a figure which shows the synthetic | combination conditions which display only the newest flame | frame. プローブの位置又は姿勢が大きく変化する前の各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame before the position or attitude | position of a probe changes a lot. プローブの位置又は姿勢の変化量が小さくなった後、１フレーム生成したときの各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame when 1 frame is produced | generated after the variation | change_quantity of the position or attitude | position of a probe became small. プローブの位置又は姿勢の変化量が小さくなった後、２フレーム生成したときの各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame when 2 frames are produced | generated after the variation | change_quantity of the position or attitude | position of a probe became small. プローブの位置又は姿勢の変化量が小さくなった後、３フレーム生成したときの各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame when 3 frames are produced | generated after the variation | change_quantity of the position or attitude | position of a probe becomes small. プローブの位置又は姿勢の変化量が小さくなった後、４フレーム生成したときの各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame when 4 frames are produced | generated after the variation | change_quantity of the position or attitude | position of a probe became small. プローブの位置又は姿勢の変化量が小さくなった後、５フレーム生成したときの各フレームの合成条件を示す図である。It is a figure which shows the synthetic | combination conditions of each flame | frame when 5 frames are produced | generated after the variation | change_quantity of the position or attitude | position of a probe became small. プローブを円弧状に動かしたときの合成画像の一例を示す図である。It is a figure which shows an example of the synthesized image when a probe is moved to circular arc shape. 図７Ａに示す合成画像に使用した各断層像のフレームを示す図である。It is a figure which shows the flame | frame of each tomogram used for the synthesized image shown to FIG. 7A. プローブを断層面に平行に動かしたときの合成画像の一例を示す図である。It is a figure which shows an example of a synthesized image when a probe is moved in parallel with a tomographic plane. 移動する視点の座標位置の一例を示す図である。It is a figure which shows an example of the coordinate position of the viewpoint to which it moves. プローブの位置又は姿勢の変化量が小さくなったときの視点の座標位置の一例を示す図である。It is a figure which shows an example of the coordinate position of a viewpoint when the variation | change_quantity of the position or attitude | position of a probe becomes small. 複数種類の断層像を生成する場合の超音波診断装置の主な構成を機能ごとに示すブロック図である。It is a block diagram which shows the main structures of the ultrasonic diagnosing device in the case of producing | generating multiple types of tomogram for every function.

以下、本発明の超音波診断装置、合成画像の表示方法及びプログラムの実施の形態について、図面を参照して説明する。   Embodiments of an ultrasonic diagnostic apparatus, a composite image display method, and a program according to the present invention will be described below with reference to the drawings.

図１は、本発明の実施の形態である超音波診断装置１の主な構成を機能ごとに示している。
図１に示すように、超音波診断装置１は、プローブ１０、送受信部２１、画像生成部２２、第１メモリー２３、合成部２４、検出部３１、第２メモリー３２、制御部４１、記憶部４２、操作部４３、表示部４４等を備えて構成されている。
なお、図１において、黒の矢印は各構成部を接続するバスを表し、白の矢印はデータや信号の流れを表している。各構成部間では、黒の矢印で表すバスを介して、データや信号の受け渡しを行ってもよいし、白の矢印で表すように接続して受け渡しを行ってもよい。 FIG. 1 shows the main configuration of an ultrasonic diagnostic apparatus 1 according to an embodiment of the present invention for each function.
As shown in FIG. 1, the ultrasound diagnostic apparatus 1 includes a probe 10, a transmission / reception unit 21, an image generation unit 22, a first memory 23, a synthesis unit 24, a detection unit 31, a second memory 32, a control unit 41, and a storage unit. 42, an operation unit 43, a display unit 44, and the like.
In FIG. 1, black arrows represent buses connecting the respective components, and white arrows represent data and signal flows. Data and signals may be exchanged between the components via a bus indicated by a black arrow, or may be connected and exchanged as indicated by a white arrow.

プローブ１０は、一次元又は二次元に配列された複数の振動子を備えて構成されている。振動子としては圧電変換素子を使用することができる。プローブ１０は、送受信部２１から駆動信号が出力されると、各振動子により当該駆動信号に応じた超音波を送信し、被検体の内部を超音波で走査する。また、プローブ１０は、超音波を送信した被検体からの反射波を受信し、当該反射波を電気信号に変換して出力する。   The probe 10 includes a plurality of transducers arranged one-dimensionally or two-dimensionally. A piezoelectric transducer can be used as the vibrator. When a driving signal is output from the transmission / reception unit 21, the probe 10 transmits an ultrasonic wave corresponding to the driving signal by each transducer, and scans the inside of the subject with the ultrasonic wave. The probe 10 receives a reflected wave from the subject that has transmitted the ultrasonic wave, converts the reflected wave into an electric signal, and outputs the electric signal.

プローブ１０の構造は特に限定されず、コンベックス型、リニア型等を使用でき、一次元方向に配列された複数の振動子が揺動する構造であってもよい。また、プローブ１０のスキャン方式についても電子スキャン方式、機械スキャン方式等のいずれを採用してもよい。   The structure of the probe 10 is not particularly limited, and a convex type, a linear type, or the like can be used, and a structure in which a plurality of vibrators arranged in a one-dimensional direction can swing may be used. Moreover, any of an electronic scanning method, a mechanical scanning method, and the like may be adopted as the scanning method of the probe 10.

送受信部２１は、駆動信号を生成してプローブ１０に出力し、プローブ１０において超音波を送信させる。例えば、断層像を生成する場合、送受信部２１は、制御部４１により指示された遅延パターンにしたがって、プローブ１０の各振動子に対する駆動信号を遅延させて送信し、順番に各振動子を駆動して超音波の送信を行わせる。   The transmission / reception unit 21 generates a drive signal, outputs it to the probe 10, and causes the probe 10 to transmit ultrasonic waves. For example, when generating a tomographic image, the transmission / reception unit 21 delays and transmits a drive signal for each transducer of the probe 10 according to the delay pattern instructed by the control unit 41, and drives each transducer in turn. To transmit ultrasonic waves.

また、送受信部２１は、プローブ１０から出力された反射波の電気信号を増幅して、Ａ／Ｄ変換した後、各振動子に対応する遅延時間を与えて加算すること（整相加算）により、走査線データ（音線データ）を生成する。送受信部２１は、１つの上記遅延パターンにしたがって送信された超音波に対して、少なくとも１つの走査線データを生成することができる。   In addition, the transmission / reception unit 21 amplifies the electric signal of the reflected wave output from the probe 10, performs A / D conversion, and then gives a delay time corresponding to each transducer for addition (phased addition). Scan line data (sound ray data) is generated. The transmission / reception unit 21 can generate at least one scan line data for the ultrasonic waves transmitted according to the one delay pattern.

画像生成部２２は、図１に示すようにＢモード画像生成部２２１を備え、このＢモード画像生成部２２１により、送受信部２１において生成した各走査線データから断層像であるＢモード画像を生成する。画像生成部２２は、他の種類の断層像であるカラードプラー画像、穿刺針画像等を生成してもよく、Ａモード画像、パルスドプラー画像等の断層像以外の超音波画像を生成してもよい。   As shown in FIG. 1, the image generation unit 22 includes a B-mode image generation unit 221, and generates a B-mode image that is a tomographic image from each scanning line data generated in the transmission / reception unit 21 by the B-mode image generation unit 221. To do. The image generation unit 22 may generate other types of tomographic images such as color Doppler images and puncture needle images, or may generate ultrasonic images other than tomographic images such as A-mode images and pulsed Doppler images. Good.

Ｂモード画像生成部２２１は、各走査線データに対数増幅、包絡線検波等の処理を施し、処理後の各走査線データの振幅強度を輝度の明るさに変換して、ビットマップ形式のＢモード画像を断層像として生成する。   The B-mode image generation unit 221 performs processing such as logarithmic amplification and envelope detection on each scanning line data, converts the amplitude intensity of each scanning line data after processing into brightness brightness, and outputs B in bitmap format. A mode image is generated as a tomographic image.

第１メモリー２３は、画像生成部２２において生成した断層像を、超音波の送信時に検出部３１により検出したプローブ１０の位置及び姿勢に対応付けて記憶するメモリーである。   The first memory 23 is a memory that stores the tomographic image generated by the image generation unit 22 in association with the position and orientation of the probe 10 detected by the detection unit 31 during transmission of ultrasonic waves.

合成部２４は、プローブ１０の位置及び姿勢に対応付けて第１メモリー２３に記憶した、時系列の複数の断層像を、プローブ１０の位置及び姿勢に応じた合成条件により合成して１つの合成画像を生成する。このような合成部２４の処理内容は、ＣＰＵ（Central Processing Unit）やＧＰＵ(Graphics Processing Unit)等のプロセッサーがプログラムを読み取って実行するソフトウェア処理によって実現することもできる。   The synthesizing unit 24 synthesizes a plurality of time-series tomographic images stored in the first memory 23 in association with the position and orientation of the probe 10 according to a synthesis condition corresponding to the position and orientation of the probe 10 to produce one synthesis. Generate an image. The processing content of the synthesis unit 24 can be realized by software processing that a processor such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit) reads and executes a program.

具体的には、合成部２４は、２次元座標又は３次元座標における各断層像の座標位置を、各断層像のプローブ１０の位置及び姿勢によって決定する。合成部２４は、この２次元座標又は３次元座標上の各断層像を、座標変換、最大値合成（断層像が重なる画素の画素値として各要素（例えば、Ｒ、Ｇ及びＢの各色）の最大値を選択する合成方法。Lighten Onlyとも呼ばれている。）、アルファブレンド、加算合成、テクスチャーマッピング、サーフェスレンダリング、ボリュームレンダリング、パーティクルシステム等の任意の手法によって合成し、各断層像を１つの視点から見たときの２次元の合成画像を生成する。合成時、合成部２４は、各断層像のプローブ１０の位置及び姿勢によって、合成画像における各断層像の強調度を合成条件として決定し、決定した合成条件により合成する。なお、合成部２４は、合成画像を立体視できるステレオ画像として作成してもよく、複数の視点を設定してもよい。   Specifically, the synthesizing unit 24 determines the coordinate position of each tomographic image in two-dimensional coordinates or three-dimensional coordinates based on the position and posture of the probe 10 in each tomographic image. The synthesizing unit 24 converts each tomographic image on the two-dimensional coordinates or the three-dimensional coordinates to coordinate conversion and maximum value synthesis (pixel values of pixels on which the tomographic images overlap each element (for example, each color of R, G, and B)). Compositing method for selecting the maximum value (also called Lighten Only)), combining by any method such as alpha blending, additive synthesis, texture mapping, surface rendering, volume rendering, particle system, etc. A two-dimensional composite image when viewed from the viewpoint is generated. At the time of combining, the combining unit 24 determines the enhancement level of each tomographic image in the combined image as a combining condition according to the position and orientation of the probe 10 of each tomographic image, and combines the determined combining condition. The synthesizing unit 24 may create the synthesized image as a stereo image that can be stereoscopically viewed, or may set a plurality of viewpoints.

本実施形態では、画像生成部２２が断層像としてビットマップ形式の画像を生成し、合成部２４が複数のビットマップ形式の画像を合成して１つのビットマップ形式の合成画像を生成する例を説明するが、画像生成部２２が生成する断層像とは、超音波により走査した断層の画像情報をいい、ビットマップ形式の画像だけでなく、送受信部２１で受信した反射波から得られる、断層を構成する非ビットマップの情報も断層像という。例えば、画像生成部２２は、送受信部２１で受信した反射波を受信してからビットマップ形式の画像を生成するまでの過程にある、反射波の電気信号や走査線データ等の非ビットマップ形式の信号やデータ等を断層の画像情報として生成し、合成部２４において複数の断層の画像情報を合成して、ビットマップ形式の１つの合成画像を生成することもできる。このように、ビットマップの画像ではなく、非ビットマップの断層の画像情報を合成すると、合成部２４として用いるハードウェアの性能によっては、観察しやすい合成画像を効率良く生成することができることがある。   In this embodiment, the image generation unit 22 generates a bitmap format image as a tomographic image, and the synthesis unit 24 combines a plurality of bitmap format images to generate a single bitmap format composite image. As will be described, the tomographic image generated by the image generation unit 22 refers to image information of a tomogram scanned by ultrasonic waves, and is not only a bitmap format image but also a tomogram obtained from a reflected wave received by the transmission / reception unit 21. The information of the non-bitmap that constitutes is also called a tomographic image. For example, the image generation unit 22 is in the process from receiving the reflected wave received by the transmission / reception unit 21 to generating an image in the bitmap format, such as a reflected wave electrical signal or scanning line data, etc. Can be generated as tomographic image information, and the combining unit 24 can combine a plurality of tomographic image information to generate one combined image in the bitmap format. As described above, when image information of a non-bitmap tomogram is synthesized instead of a bitmap image, an easily observable synthesized image may be efficiently generated depending on the performance of the hardware used as the synthesizer 24. .

検出部３１は、プローブ１０の位置及び姿勢を検出する。
検出するプローブ１０の位置としては、例えばプローブ１０の速度、加速度、２次元座標又は３次元座標における座標位置等が挙げられる。
また、検出するプローブ１０の姿勢としては、例えばプローブ１０の回転角度、角速度等が挙げられる。 The detection unit 31 detects the position and posture of the probe 10.
Examples of the position of the probe 10 to be detected include the speed, acceleration, two-dimensional coordinates, or three-dimensional coordinate position of the probe 10.
Examples of the posture of the probe 10 to be detected include the rotation angle and angular velocity of the probe 10.

検出部３１は、各種センサー等のデバイスからの検出値を用いて、座標位置や運動量、移動量等を計算又は推測することにより、プローブ１０の位置及び姿勢のデータを生成することができる。デバイスとしては、角速度センサー（ジャイロセンサー）、加速度センサー、地磁気センサー等の一般的に使用されているモーションセンサーの他、プローブ１０を撮影する光学カメラ、赤外線カメラ、赤外線センサー、超音波センサー、深度センサー等を使用することができ、これらの１種又は複数種を組み合わせてもよい。デバイスは、プローブ１０に取り付けて、又はプローブ１０とは別に配置して使用することができる。   The detection unit 31 can generate position and orientation data of the probe 10 by calculating or estimating the coordinate position, the amount of movement, the amount of movement, and the like using detection values from devices such as various sensors. As a device, in addition to commonly used motion sensors such as an angular velocity sensor (gyro sensor), an acceleration sensor, a geomagnetic sensor, etc., an optical camera, an infrared camera, an infrared sensor, an ultrasonic sensor, a depth sensor for photographing the probe 10 are used. Etc. may be used, and one or more of these may be combined. The device can be used attached to the probe 10 or arranged separately from the probe 10.

検出部３１は、超音波を送信して得られた受信波を解析して、プローブ１０の位置及び姿勢を検出することもできる。例えば、検出部３１は、指定した特徴量に基づいて受信波中に複数の特徴点を検出し、受信時刻の異なる複数の受信波において検出された特徴点の変位量を計算する等して、プローブ１０の座標位置や移動量等を計算又は推測することにより、プローブ１０の位置及び姿勢のデータを生成することができる。   The detection unit 31 can also detect the position and orientation of the probe 10 by analyzing a received wave obtained by transmitting ultrasonic waves. For example, the detection unit 31 detects a plurality of feature points in the received wave based on the specified feature amount, calculates a displacement amount of the feature point detected in the plurality of received waves having different reception times, and the like. By calculating or estimating the coordinate position, movement amount, and the like of the probe 10, data on the position and orientation of the probe 10 can be generated.

第２メモリー３２は、検出部３１により検出した位置及び姿勢のデータを記憶するメモリーである。なお、第２メモリー３２を第１メモリー２３と別構成とするのではなく、同じ１つのメモリーに断層像と位置及び姿勢を対応付けて記憶するようにしてもよい。   The second memory 32 is a memory for storing position and orientation data detected by the detection unit 31. The second memory 32 may not be configured separately from the first memory 23, but may be stored in the same one memory in association with the tomographic image, position, and orientation.

制御部４１は、記憶部４２から制御用の各種プログラムを読み出して実行することにより、超音波診断装置１の各部を制御する。制御部４１は、ＣＰＵ、ＧＰＵ等のプロセッサーやＲＡＭ(Random Access Memory)等により構成することができる。   The control unit 41 reads out and executes various control programs from the storage unit 42, thereby controlling each unit of the ultrasonic diagnostic apparatus 1. The control unit 41 can be configured by a processor such as a CPU or GPU, a RAM (Random Access Memory), or the like.

例えば、制御部４１は、表示する超音波画像の種類に応じた駆動信号の遅延パターンを生成して送受信部２１に出力し、画像生成部２２により断層像を生成させて、第１メモリー２３に保存させる。また、制御部４１は、検出部３１によりプローブ１０の位置及び姿勢を検出させて、第２メモリー３２に保存させる。制御部４１は、第１メモリー２３に保存した複数の断層像を合成部２４により合成させて、表示部４４により合成画像を表示させる。   For example, the control unit 41 generates a delay pattern of the drive signal corresponding to the type of ultrasonic image to be displayed and outputs the delay pattern to the transmission / reception unit 21. The image generation unit 22 generates a tomographic image and stores the tomographic image in the first memory 23. Save. In addition, the control unit 41 causes the detection unit 31 to detect the position and orientation of the probe 10 and stores them in the second memory 32. The control unit 41 causes the combining unit 24 to combine the plurality of tomographic images stored in the first memory 23 and causes the display unit 44 to display the combined image.

記憶部４２は、制御部４１により読み取り可能なプログラム、プログラムの実行時に用いられるファイル等を記憶している。記憶部４２としては、ハードディスク、ＲＯＭ（Read Only Memory）等の大容量メモリーを用いることができる。   The storage unit 42 stores a program that can be read by the control unit 41, a file that is used when the program is executed, and the like. As the storage unit 42, a large-capacity memory such as a hard disk or a ROM (Read Only Memory) can be used.

操作部４３は、ユーザーの指示を入力するデバイスであり、ユーザーの操作に応じた操作信号を生成して制御部４１に出力する。操作部４３としては一般的な入力デバイス、例えばマウス、キーボード、トラックボール、フットスイッチ、ジョイスティック、クリックホイール、表示部４４と一体に構成されるタッチパネル等を使用することができる。   The operation unit 43 is a device for inputting a user instruction, generates an operation signal corresponding to the user operation, and outputs the operation signal to the control unit 41. As the operation unit 43, a general input device such as a mouse, a keyboard, a trackball, a foot switch, a joystick, a click wheel, a touch panel configured integrally with the display unit 44, or the like can be used.

表示部４４は、制御部４１の表示制御にしたがって、合成部２４において合成した超音波画像を表示する。表示部４４としては、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro Luminescence Display）、操作部４３と一体に構成されるタッチパネル等を使用することができる。   The display unit 44 displays the ultrasonic image synthesized by the synthesis unit 24 according to the display control of the control unit 41. As the display unit 44, an LCD (Liquid Crystal Display), an OELD (Organic Electro Luminescence Display), a touch panel configured integrally with the operation unit 43, or the like can be used.

上記超音波診断装置１は、複数の断層像を合成することにより、プローブ１０の動きに合わせて、関心領域を立体的にかつ簡易に観察できる合成画像を表示することができる。
図２は、超音波診断装置１において、断層像を合成するときの処理手順を示している。 The ultrasonic diagnostic apparatus 1 can display a combined image that allows a region of interest to be easily and stereoscopically observed in accordance with the movement of the probe 10 by combining a plurality of tomographic images.
FIG. 2 shows a processing procedure when the tomographic image is synthesized in the ultrasonic diagnostic apparatus 1.

ユーザーがプローブ１０により被検体の体表面の走査を開始すると、図２に示すように、超音波診断装置１では、検出部３１においてプローブ１０の位置及び姿勢の検出を開始し（ステップＳ１）、検出した位置及び姿勢のデータを、第２メモリー３２に記憶する。   When the user starts scanning the body surface of the subject with the probe 10, as shown in FIG. 2, the ultrasonic diagnostic apparatus 1 starts detecting the position and orientation of the probe 10 in the detection unit 31 (step S1). The detected position and orientation data are stored in the second memory 32.

一方、画像生成部２２は、送受信部２１により受信した各走査線データに基づき、断層像のフレームを生成する（ステップＳ２）。画像生成部２２は、生成した断層像のフレームを、第２メモリー３２に記憶した位置及び姿勢と対応付けて、第１メモリー２３に保存する（ステップＳ３）。断層像のフレームと、その断層を超音波で走査したときのプローブ１０の位置及び姿勢を対応付けられるのであれば、断層を走査したときの時間、すなわち超音波を送信した時間をキーとして対応付けてもよいし、フレーム間隔と同じ間隔で検出部３１が検出を行い、フレームの生成順と位置及び姿勢の検出順が一致するように対応付けてもよい。   On the other hand, the image generation unit 22 generates a tomographic frame based on each scanning line data received by the transmission / reception unit 21 (step S2). The image generation unit 22 stores the generated tomographic frame in the first memory 23 in association with the position and orientation stored in the second memory 32 (step S3). If the frame of the tomographic image can be associated with the position and orientation of the probe 10 when the tomographic image is scanned with the ultrasonic wave, the time when the tomographic image is scanned, that is, the time when the ultrasonic wave is transmitted is associated with the key. Alternatively, the detection unit 31 may perform detection at the same interval as the frame interval, and may associate the frame generation order with the position and orientation detection order.

図３は、第１メモリー２３と第２メモリー３２の保存例を示している。
図３に示すように、第１メモリー２３では、断層像のフレームの生成順に番号Ｎ（Ｎは、１、２・・・Ｎの整数）を付与し、この番号Ｎに対応付けて各断層像のフレームを記憶している。この例では、Ｎの数値が最大のフレームが最新のフレームであり、Ｎの数値が小さいほど過去にさかのぼる。一方、第２メモリー３２では、断層像の各フレームと同じフレーム間隔で検出部３１が位置及び姿勢を検出した順に番号Ｎを付与し、この番号Ｎに対応付けて、位置と姿勢の各データを記憶している。すなわち、第１メモリー２３中の各断層像のフレームは、番号Ｎをキーに第２メモリー３２中の位置及び姿勢のデータと対応付けられている。 FIG. 3 shows a storage example of the first memory 23 and the second memory 32.
As shown in FIG. 3, in the first memory 23, a number N (N is an integer of 1, 2,... N) is assigned in order of tomographic frame generation, and each tomographic image is associated with this number N. The frame is memorized. In this example, the frame with the largest value of N is the latest frame, and the smaller the value of N, the more the date goes back. On the other hand, in the second memory 32, a number N is assigned in the order in which the detection unit 31 detects the position and orientation at the same frame interval as each frame of the tomographic image, and each position and orientation data is associated with this number N. I remember it. In other words, each tomographic frame in the first memory 23 is associated with position and orientation data in the second memory 32 using the number N as a key.

合成部２４は、時系列で連続する複数の断層像のフレームを第１メモリー２３から取得する。また、合成部２４は、取得した各フレームに対応する位置及び姿勢のデータを第２メモリー３２から取得する（ステップＳ４）。合成部２４は、取得する断層像の数を一定数に決定することもできるし、合成に必要な断層像の数をその都度決定することもできる。例えば、合成部２４は、フレームレートが大きく、プローブ１０の移動量に対するフレーム数が閾値より多い場合には、１フレームおきに過去のフレームを取得する等、時系列ではあるが非連続の複数のフレームを取得するようにしてもよい。   The synthesizer 24 acquires a plurality of tomographic frames that are continuous in time series from the first memory 23. The synthesizing unit 24 acquires position and orientation data corresponding to each acquired frame from the second memory 32 (step S4). The synthesizing unit 24 can determine the number of tomographic images to be acquired to be a fixed number, or can determine the number of tomographic images necessary for synthesis each time. For example, when the frame rate is large and the number of frames with respect to the movement amount of the probe 10 is larger than the threshold, the synthesizing unit 24 obtains a past frame every other frame, for example, a plurality of time series but discontinuous A frame may be acquired.

リアルタイムで断層像を表示する場合には、合成部２４は、第２メモリー３２に保存したプローブ１０の位置及び姿勢が最新のフレームと当該最新のフレームと時間が連続する過去の複数のフレームを合わせた、合計ｎ枚のフレームを第１メモリー２３から取得すればよい。例えば、ｎ＝４であり、最新のフレームの番号ＮがＮ＝５のとき、合成部２４は、図３に示す第１メモリー２３から番号Ｎが５の最新のフレームと番号Ｎが４〜２の過去の３枚のフレームを取得する。また、合成部２４は、図３に示す第２メモリー３２から番号Ｎが５〜２の位置及び姿勢のデータを取得する。   When displaying a tomogram in real time, the synthesizer 24 combines the frame with the latest position and orientation of the probe 10 stored in the second memory 32 and a plurality of past frames in which the latest frame and time are continuous. A total of n frames may be acquired from the first memory 23. For example, when n = 4 and the latest frame number N is N = 5, the synthesizer 24 from the first memory 23 shown in FIG. Get the past 3 frames. Further, the synthesizing unit 24 acquires the position and orientation data having the numbers N of 5 to 2 from the second memory 32 shown in FIG.

リアルタイムではなく、保存した過去の断層像を再生する場合、合成部２４は、第１メモリー２３および第２メモリー３２から表示対象時刻のフレームを最新のフレームとして、当該最新のフレームとそれより過去のフレームを合わせた、合計ｎ枚のフレームと各フレームに対応するプローブ１０の位置及び姿勢を取得すればよい。   When reproducing a stored past tomographic image instead of real-time, the synthesizing unit 24 sets the display target time frame from the first memory 23 and the second memory 32 as the latest frame, and the latest frame and past What is necessary is just to acquire the position and attitude | position of the probe 10 corresponding to a total of n flame | frames and each flame | frame which match | combined the flame | frame.

次に、合成部２４は、プローブ１０で走査した空間領域内の立体構造が、取得したｎ枚の断層像の合成画像中において立体的に表現されるように、取得したｎ枚の断層像のフレームの合成条件を、各フレームとともに取得したプローブ１０の位置及び姿勢に応じて決定する（ステップＳ５）。   Next, the synthesizing unit 24 captures the acquired n tomographic images so that the three-dimensional structure in the spatial region scanned by the probe 10 is three-dimensionally represented in the synthesized image of the acquired n tomographic images. Frame synthesis conditions are determined according to the position and orientation of the probe 10 acquired together with each frame (step S5).

図４は、合成部２４において、合成条件を決定するときの処理手順を示している。
図４に示すように、合成部２４は、最新のフレームが生成された時に、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値よりも小さくなったか否かを判定する（ステップＳ２１）。例えば、合成部２４は、最新のフレームと直前のフレームのプローブ１０の位置の単位時間あたりの変化量が閾値１ｃｍ／ｓを下回る場合や、姿勢の単位時間あたりの変化量が閾値１０度／ｓを下回る場合、位置又は姿勢の変化量が小さくなったと判定することができる。 FIG. 4 shows a processing procedure when the synthesis unit 24 determines a synthesis condition.
As shown in FIG. 4, the synthesis unit 24 determines whether or not the change amount per unit time of the position or orientation of the probe 10 is smaller than the threshold when the latest frame is generated (step S21). . For example, the synthesizing unit 24 may change the amount of change per unit time of the position of the probe 10 in the latest frame and the previous frame below a threshold value of 1 cm / s, or may change the amount of posture per unit time of the threshold value 10 degrees / s. Can be determined that the amount of change in position or orientation has decreased.

位置又は姿勢の変化量が閾値より小さくなっていない場合（ステップＳ２１：Ｎ）、合成部２４は、プローブ１０で走査した空間領域内の立体構造を合成画像中において立体的に表現できるように、プローブ１０がどの位置及び姿勢にあるときの断層像を強調するのか、合成画像における各断層像のフレームの強調度を合成条件として決定する。（ステップＳ２２）。   When the change amount of the position or orientation is not smaller than the threshold (step S21: N), the synthesizing unit 24 can three-dimensionally represent the three-dimensional structure in the spatial region scanned with the probe 10 in the synthesized image. The position of the probe 10 at which position and orientation is to be enhanced, and the enhancement level of each tomographic frame in the combined image is determined as a combining condition. (Step S22).

図５Ａ〜図５Ｄは、合成条件の一例を示している。図５Ａ〜図５Ｄに示す合成条件は、加算合成時の各フレームの重み付け係数の条件である。重み付け係数が大きいほど、合成画像におけるフレームの強調度が大きく、合成画像における透過度が低い。   5A to 5D show an example of the synthesis condition. The synthesis conditions shown in FIGS. 5A to 5D are conditions for the weighting coefficient of each frame at the time of addition synthesis. The greater the weighting coefficient, the greater the degree of frame enhancement in the composite image and the lower the transparency in the composite image.

図５Ａに示す合成条件では、最新のフレームの重み付け係数が過去の各フレームよりも大きく、過去の各フレームの重み付け係数が均等に設定されている。この合成条件によれば、プローブ１０が現在の位置及び姿勢にあるフレームを強調し、過去の位置及び姿勢のときのフレームを均等に透過させた合成画像を得ることができる。この合成画像では、過去のフレーム又はそのフレームにおいて関心領域が設定されている場合にはその関心領域が最新のフレームの残像となり、プローブ１０で走査した空間の構造を立体的に観察することができる。   In the synthesis condition shown in FIG. 5A, the weighting coefficient of the latest frame is larger than each past frame, and the weighting coefficient of each past frame is set equally. According to this synthesis condition, it is possible to emphasize a frame in which the probe 10 is at the current position and orientation, and obtain a composite image in which the frames at the past position and orientation are evenly transmitted. In this composite image, if a region of interest has been set in the past frame or the frame, the region of interest becomes an afterimage of the latest frame, and the structure of the space scanned by the probe 10 can be observed stereoscopically. .

図５Ｂに示す合成条件では、最新のフレームの重み付け係数が過去の各フレームよりも大きく、過去のフレームの重み付け係数が過去にさかのぼるほど減衰するように設定されている。この合成条件によれば、プローブ１０が現在の位置及び姿勢にあるフレームを強調し、過去の位置及び姿勢のときのフレームを過去にさかのぼるほど薄く透過させた合成画像を表示できる。この合成画像においても、過去のフレーム又はそのフレームにおいて関心領域が設定されている場合にはその関心領域が最新のフレームの残像となるため、プローブ１０で走査した空間の構造を立体的に観察することができる。図５Ａに示す合成条件と比べると、その透過度によって時間の経過、すなわちプローブ１０の動きを把握しやすい合成画像が得られる。   5B is set such that the weighting coefficient of the latest frame is larger than each past frame, and the weighting coefficient of the past frame attenuates as it goes back. According to this synthesis condition, it is possible to display a composite image in which the probe 10 emphasizes the frame at the current position and posture and transmits the frame at the past position and posture as thinly as it goes back. Also in this synthesized image, when a region of interest is set in a past frame or in that frame, the region of interest becomes an afterimage of the latest frame, and thus the structure of the space scanned by the probe 10 is stereoscopically observed. be able to. Compared with the synthesis condition shown in FIG. 5A, a synthesized image that makes it easy to grasp the passage of time, that is, the movement of the probe 10, is obtained by the transmittance.

図５Ｃに示す合成条件では、各フレームの重み付け係数が均等に設定されている。この合成条件によれば、現在も過去も透過度が同じであるため、プローブ１０を動かした一定時間内の各フレームの強調度が同等の合成画像を得ることができる。この合成画像において、過去のフレーム又はそのフレームにおいて関心領域が設定されている場合にはその関心領域が最新のフレームの残像となるため、プローブ１０で走査した空間の構造を立体的に観察することができる。図５Ａ及び図５Ｂに示す合成条件と比べると、関心領域の立体構造をより観察しやすい合成画像が得られる。   In the synthesis condition shown in FIG. 5C, the weighting coefficients of the respective frames are set equally. According to this synthesis condition, since the transparency is the same both in the present and in the past, it is possible to obtain a synthesized image in which the degree of enhancement of each frame within a certain period of time when the probe 10 is moved is equivalent. In this composite image, when a region of interest is set in the past frame or in that frame, the region of interest becomes an afterimage of the latest frame, so that the structure of the space scanned by the probe 10 is stereoscopically observed. Can do. Compared with the synthesis conditions shown in FIGS. 5A and 5B, a synthesized image in which the three-dimensional structure of the region of interest can be observed more easily is obtained.

図５Ｄに示す合成条件では、重み付け係数が最新のフレームのみ１に設定され、過去のフレームは０に設定されている。この合成条件では、合成画像において最新のフレームのみが現れ、過去のフレームが残像として現れないため、合成画像においてプローブ１０で走査した空間の構造が立体的に表現されない。   In the combining condition shown in FIG. 5D, the weighting coefficient is set to 1 only for the latest frame, and the past frame is set to 0. Under this synthesis condition, only the latest frame appears in the synthesized image, and the past frame does not appear as an afterimage. Therefore, the structure of the space scanned by the probe 10 in the synthesized image is not three-dimensionally expressed.

合成部２４は、図５Ａ〜図５Ｃに例示したような異なる複数の合成条件のうち、いずれか１つの合成条件に任意に決定することもできるし、ユーザーが選択した１つの合成条件に決定することもできる。   The combining unit 24 can arbitrarily determine any one of the plurality of different combining conditions illustrated in FIGS. 5A to 5C, or can determine one combining condition selected by the user. You can also.

なお、図５Ａ〜図５Ｄに示す重み付け係数は一例であり、重み付け係数は任意に設定することができる。
また、合成部２４は、各フレームを、透過度ではなく、色や濃度、輪郭の強調度等によって強調することもできる。色又は濃度で強調する場合は色変換又は濃度補正するときの各フレームの色又は濃度を合成条件として決定すればよいし、輪郭で強調する場合はフィルター処理するときのフィルター係数等を合成条件として決定すればよい。また、合成部２４は、透過度、色、濃度、輪郭の強調度等のいずれか１つではなく、複数を組み合わせて強調することもできる。 In addition, the weighting coefficient shown to FIG. 5A-FIG. 5D is an example, and a weighting coefficient can be set arbitrarily.
Further, the synthesizing unit 24 can emphasize each frame not by transparency but by color, density, contour enhancement, and the like. When emphasizing by color or density, the color or density of each frame when color conversion or density correction is performed may be determined as a synthesis condition. When emphasizing by outline, a filter coefficient or the like when filtering is used as a synthesis condition. Just decide. In addition, the combining unit 24 can emphasize a combination of a plurality of colors instead of any one of the transparency, the color, the density, the contour enhancement, and the like.

一方、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値より小さくなった場合（ステップＳ２１：Ｙ）、合成部２４は、合成画像において、画像生成部２２により生成した最新のフレームに対する過去のフレームの強調度が小さくなるように、合成条件を決定する（ステップＳ２３）。
例えば、プローブ１０の走査方向を逆方向に折り返す、プローブ１０の走査を停止して体表面に押し付ける等の動きをする場合、その瞬間はプローブ１０の移動速度が低速化し、過去のフレームと最新のフレームの空間の連続性が高まる。このような場合は、過去のフレームを残像として表示する必要がなく、表示すると同じような画像が重なってブレやぼけになることがあるため、速やかに過去のフレームを消去することが好ましい。 On the other hand, when the amount of change of the position or orientation of the probe 10 per unit time is smaller than the threshold value (step S21: Y), the synthesizing unit 24 is the past of the latest frame generated by the image generating unit 22 in the synthesized image. The synthesis condition is determined so that the degree of enhancement of the frame becomes small (step S23).
For example, when moving the probe 10 in the reverse direction, or stopping the scanning of the probe 10 and pressing it against the body surface, the movement speed of the probe 10 decreases at that moment, and the past frame and the latest The continuity of the space of the frame is increased. In such a case, it is not necessary to display the past frame as an afterimage, and if displayed, similar images may overlap and blur or blur, so it is preferable to quickly erase the past frame.

具体的には、合成部２４は、図５Ａ又は図５Ｂに示す合成条件に決定することができるが、現在走査中の関心領域を観察しやすくする観点からはできるだけ残像が少ないことが好ましく、図５Ｄに示す合成条件に決定し、立体的な表示をＯＦＦするようにしてもよい。
過去のフレームの強調度を小さくした後、合成部２４は、徐々に元の立体的な表示に切り替わるように、変化後に取得した複数の断層像の合成条件を決定してもよい。 Specifically, the synthesis unit 24 can determine the synthesis conditions shown in FIG. 5A or 5B, but it is preferable that the afterimage is as small as possible from the viewpoint of facilitating observation of the region of interest currently being scanned. The synthesis condition shown in 5D may be determined and the stereoscopic display may be turned off.
After reducing the enhancement level of the past frame, the synthesis unit 24 may determine a synthesis condition for a plurality of tomographic images acquired after the change so that the original stereoscopic display is gradually switched.

図６Ａ〜図６Ｆは、徐々に立体的な表示に切り替えるときの合成条件の決定例を示している。図６Ａ〜図６Ｆにおいて、一点鎖線は、プローブ１０の位置又は姿勢の変化量が小さくなったタイミングを表している。
図６Ａに示すように、各フレーム５〜１を、図５Ｃに示す均等の合成条件で合成していたが、図６Ｂに示すように、フレーム６が新規に生成されたときに、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値より小さくなった場合、合成部２４は、各フレーム６〜２を、図５Ａに示す合成条件により合成する。これにより、過去のフレームの残像を抑えて、プローブ１０で走査している現在の関心領域を観察しやすい合成画像を提供できる。 6A to 6F show examples of determining the synthesis condition when gradually switching to a stereoscopic display. 6A to 6F, the alternate long and short dash line represents the timing at which the amount of change in the position or orientation of the probe 10 becomes small.
As shown in FIG. 6A, each of the frames 5-1 was synthesized under the equivalent synthesis condition shown in FIG. 5C. However, when the frame 6 is newly generated as shown in FIG. When the amount of change of the position or orientation per unit time becomes smaller than the threshold value, the synthesis unit 24 synthesizes the frames 6 to 2 under the synthesis condition shown in FIG. 5A. Thereby, it is possible to provide a composite image that makes it easy to observe the current region of interest being scanned by the probe 10 while suppressing the afterimage of the past frame.

その後、図６Ｃ及び図６Ｄに示すように、フレーム７及び８が新規に生成されるごとに、合成部２４は、位置又は姿勢の変化量が小さくなる前の過去のフレーム５〜１の重み付け係数を徐々に減らして、最終的には図６Ｅに示すように０にする。位置又は姿勢の変化量が小さくなったフレーム６以降については、図６Ｃ〜図６Ｅに示すように、合成部２４は各フレームの重み付け係数が均等な合成条件に決定し、フレームが新規に生成されるごとに徐々にその重み付け係数を減らして、図６Ｆに示すように元の均等の合成条件に戻す。このように元の合成条件に戻している間に、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値より小さくなった場合には、合成部２４は、図６Ｂに示す合成条件により合成する。   After that, as shown in FIGS. 6C and 6D, each time frames 7 and 8 are newly generated, the combining unit 24 calculates the weighting coefficient of the past frames 5 to 1 before the change in position or orientation becomes small. Is gradually reduced to finally zero as shown in FIG. 6E. For frames 6 and subsequent frames in which the amount of change in position or orientation has become small, as shown in FIGS. 6C to 6E, the synthesis unit 24 determines that the weighting coefficients of the frames are equal to the synthesis conditions, and a new frame is generated. Each time, the weighting coefficient is gradually reduced to return to the original equal synthesis condition as shown in FIG. 6F. When the change amount per unit time of the position or orientation of the probe 10 becomes smaller than the threshold value while returning to the original synthesis condition in this way, the synthesis unit 24 performs synthesis according to the synthesis condition shown in FIG. 6B. To do.

以上のようにして合成条件を決定すると、図２に示すように、合成部２４は決定した合成条件により各フレームを合成する（ステップＳ６）。合成部２４において合成画像が生成されると、表示部４４において当該合成画像を表示する（ステップＳ７）。   When the synthesis condition is determined as described above, as shown in FIG. 2, the synthesis unit 24 synthesizes each frame according to the decided synthesis condition (step S6). When the synthesized image is generated by the synthesizing unit 24, the synthesized image is displayed on the display unit 44 (step S7).

具体的には、合成部２４は、２次元座標又は３次元座標における各断層像のフレームの座標位置を、プローブ１０の位置及び姿勢によって決定する。合成部２４は、この座標上で、各フレームを合成するときの視点の座標位置を、各フレームに対応するプローブ１０の位置及び姿勢に応じて決定することができる。例えば、プローブ１０が円弧状等、曲線的に動いている場合は、最新のフレームの断層像の正面の座標位置に決定し、プローブ１０の姿勢に変化がなく直線的に移動している場合は、最新のフレームの断層像に対してやや斜めの座標位置に決定することにより、過去のフレーム中の関心領域を残像としてその構造を立体的に表現することができる。   Specifically, the synthesis unit 24 determines the coordinate position of the frame of each tomographic image in two-dimensional coordinates or three-dimensional coordinates based on the position and orientation of the probe 10. The synthesizing unit 24 can determine the coordinate position of the viewpoint when synthesizing the frames on the coordinates according to the position and orientation of the probe 10 corresponding to each frame. For example, when the probe 10 is moving in a curved line such as an arc, the coordinate position is determined as the front coordinate position of the tomographic image of the latest frame, and the posture of the probe 10 is not changed and moves linearly. By determining the coordinate position to be slightly oblique with respect to the tomographic image of the latest frame, the structure can be three-dimensionally represented with the region of interest in the past frame as an afterimage.

そして、合成部２４は、決定した視点の座標位置を元に、決定した合成条件により各フレームを合成し、２次元の合成画像を生成する。例えば、図５Ｂに示す合成条件により加算合成する場合、各フレームを図５Ｂに示す合成条件で設定されている重み付け係数で重み付けて加算する。   Then, the synthesizing unit 24 synthesizes the frames according to the decided synthesis condition based on the determined coordinate position of the viewpoint, and generates a two-dimensional synthesized image. For example, in the case of addition synthesis under the synthesis condition shown in FIG. 5B, each frame is weighted with a weighting coefficient set under the synthesis condition shown in FIG. 5B.

図７Ａは、合成画像の一例を示し、図７Ｂは合成画像に使用した各フレームを示している。図７Ａ中の矢印は、プローブ１０の動きを示している。
図７Ａに示す合成画像ｇ１は、プローブ１０を円弧状に走査したときに生成された、図７Ｂに示す最新のフレームＮと過去のフレームＮ−１、Ｎ−２及びＮ−３の合成画像である。合成画像ｇ１は、最新のフレームＮと過去のフレームＮ−１、Ｎ−２及びＮ−３が、最新のフレームＮに対してやや斜めの視点から見た２次元像となるように、図５Ｂに示す減衰の合成条件により合成されている。この合成画像ｇ１によれば、過去のフレーム中の血管像が過去にさかのぼるほど薄い残像となっているため、１本の血管から２本に枝分かれしている様子を立体的に観察することができる。 FIG. 7A shows an example of a composite image, and FIG. 7B shows each frame used for the composite image. The arrows in FIG. 7A indicate the movement of the probe 10.
The composite image g1 shown in FIG. 7A is a composite image of the latest frame N shown in FIG. 7B and the past frames N-1, N-2, and N-3 generated when the probe 10 is scanned in an arc shape. is there. The composite image g1 is such that the latest frame N and the past frames N-1, N-2, and N-3 are two-dimensional images viewed from a slightly oblique viewpoint with respect to the latest frame N. Are synthesized according to the synthesis conditions of attenuation shown in FIG. According to this composite image g1, since the blood vessel image in the past frame is an afterimage that becomes so thin that it goes back in the past, it is possible to three-dimensionally observe a state where one blood vessel branches into two. .

図８は、合成画像の他の例を示している。図８中の矢印は、プローブ１０の動きを示している。
図８に示す合成画像ｇ２は、プローブ１０を同じ姿勢で断層面に平行に走査したときに生成された、最新のフレームＮと過去のフレームＮ−１、Ｎ−２及びＮ−３の合成画像である。合成画像ｇ２では、各フレームの断層面に対して正面の視点から見た２次元像となるように各フレームＮ〜Ｎ−３が合成されているため、プローブ１０を動かした空間領域内をパノラマ表示することができる。ユーザーは特別な操作をすることなく、プローブ１０の視野よりも広い範囲を観察することが可能である。各フレームＮ〜Ｎ−３は、図５Ｂに示す減衰の合成条件により合成されているため、過去のフレーム中の血管像が残像となって、１本の血管から２本に枝分かれしている様子を立体的に観察することができる。 FIG. 8 shows another example of the composite image. The arrows in FIG. 8 indicate the movement of the probe 10.
The composite image g2 shown in FIG. 8 is a composite image of the latest frame N and the past frames N-1, N-2, and N-3 generated when the probe 10 is scanned in parallel with the tomographic plane in the same posture. It is. In the synthesized image g2, the frames N to N-3 are synthesized so as to form a two-dimensional image viewed from the front viewpoint with respect to the tomographic plane of each frame. Can be displayed. The user can observe a wider range than the field of view of the probe 10 without performing a special operation. Each frame N to N-3 is synthesized according to the attenuation synthesis condition shown in FIG. 5B, so that the blood vessel image in the past frame becomes an afterimage and branches from one blood vessel into two. Can be observed three-dimensionally.

なお、合成部２４は、視点の座標位置を、各断層像に対応するプローブ１０の動き（位置及び姿勢）に応じて移動することが好ましい。
視点の座標位置を固定すると、最新の断層像を観察しづらい角度から見た合成画像になることがある。一方で、常に最新の断層像を正面とする座標位置に決定すると、最新の断層像を観察しやすくなるが、過去の断層像を残像として表示できないことがある。上述のようにプローブ１０の位置及び姿勢に合わせて視点の座標位置を移動することにより、最新の断層像を観察しやすく、過去の断層像を残像として表示できる視点から見た合成画像を提供することが可能になる。 The combining unit 24 preferably moves the coordinate position of the viewpoint according to the movement (position and posture) of the probe 10 corresponding to each tomographic image.
If the coordinate position of the viewpoint is fixed, the synthesized image may be viewed from an angle at which it is difficult to observe the latest tomographic image. On the other hand, when the coordinate position with the latest tomographic image as the front is always determined, it becomes easier to observe the latest tomographic image, but the past tomographic image may not be displayed as an afterimage. By moving the coordinate position of the viewpoint according to the position and orientation of the probe 10 as described above, it is easy to observe the latest tomographic image, and a composite image viewed from the viewpoint that can display the past tomographic image as an afterimage is provided. It becomes possible.

図９は、移動する視点の座標位置の一例を示している。
図９に示すように、合成部２４は、過去のフレームＮ−３から最新のフレームＮまでの間のプローブ１０の位置及び姿勢に合わせて、各フレームＮ〜Ｎ−３の断層像が最新のフレームであるときに各断層像の正面より斜め方向に視点が位置するように、視点の座標位置を３次元座標上で移動することができる。このとき、プローブ１０の移動速度に合わせて、視点の座標位置の移動速度も、図９に示すように遅くしたり速くしたりすることにより、より焦点の合った合成画像を生成することができる。
なお、図９に示すグラフの縦軸は位置座標を表すため、プローブ１０の位置座標のみを示しているが、プローブ１０の姿勢の変化によっても視点の座標位置は移動している。 FIG. 9 shows an example of the coordinate position of the moving viewpoint.
As shown in FIG. 9, the synthesis unit 24 matches the position and posture of the probe 10 between the past frame N-3 and the latest frame N, and the tomographic images of the frames N to N-3 are the latest. The coordinate position of the viewpoint can be moved on the three-dimensional coordinates so that the viewpoint is positioned obliquely from the front of each tomographic image when it is a frame. At this time, in accordance with the moving speed of the probe 10, the moving speed of the coordinate position of the viewpoint is also slowed or fastened as shown in FIG. 9, whereby a more focused composite image can be generated. .
Note that since the vertical axis of the graph shown in FIG. 9 represents the position coordinates, only the position coordinates of the probe 10 are shown. However, the coordinate position of the viewpoint is also moved by the change in the posture of the probe 10.

上述したステップＳ２１において、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったと判定した場合、合成部２４は、視点の座標位置の移動速度を高速化し、最新のフレームの視点に合わせることが好ましい。
プローブ１０の位置又は姿勢の変化量が小さくなった場合、過去のフレームと最新のフレームとの空間の連続性が高いため、過去のフレームよりも最新のフレームを観察しやすい視点の方が、プローブ１０により現在走査中の関心領域を観察しやすい。 If it is determined in step S21 described above that the amount of change in the position or orientation of the probe 10 per unit time has become smaller than the threshold, the synthesis unit 24 increases the movement speed of the coordinate position of the viewpoint, and the viewpoint of the latest frame. It is preferable to match.
When the amount of change in the position or orientation of the probe 10 becomes small, the continuity of the space between the past frame and the latest frame is high, so the viewpoint that allows the latest frame to be observed more easily than the past frame is better. 10 makes it easy to observe the region of interest currently being scanned.

図１０は、プローブ１０の位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったときの視点の座標位置の一例を示している。
ユーザーが、プローブ１０を走査中に目的の関心領域を発見して、プローブ１０の動きを停止した場合、図１０に示すように、合成部２４は、プローブ１０が停止してその位置又は姿勢の変化量が急激に小さくなったタイミングで視点の座標位置の移動速度を高速化し、最新のフレームＮの視点の座標位置に合わせることができる。これにより、ユーザーは、プローブ１０により現在走査中の断層像を観察しやすい視点から、合成画像を観察することができる。 FIG. 10 shows an example of the coordinate position of the viewpoint when the amount of change per unit time of the position or orientation of the probe 10 becomes smaller than the threshold value.
When the user finds a target region of interest while scanning the probe 10 and stops the movement of the probe 10, as shown in FIG. 10, the synthesizer 24 stops the probe 10 and changes its position or posture. The moving speed of the viewpoint coordinate position can be increased at the timing when the amount of change suddenly decreases, and can be adjusted to the coordinate position of the viewpoint of the latest frame N. As a result, the user can observe the composite image from the viewpoint where the probe 10 can easily observe the tomographic image currently being scanned.

以上のように、本実施の形態の超音波診断装置１は、被検体に超音波を送信し、その反射波を受信するプローブ１０と、プローブ１０の位置及び姿勢を検出する検出部３１と、プローブ１０により受信した反射波に基づいて断層像を生成する画像生成部２２と、画像生成部２２により生成した断層像を、超音波の送信時に検出部３１により検出したプローブの位置及び姿勢に対応付けて記憶する第１メモリー２３及び第２メモリー３２と、このプローブ１０の位置及び姿勢に対応付けて第１メモリー２３に記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成する合成部２４と、合成部２４により生成した合成画像を表示する表示部４４と、を備える。   As described above, the ultrasonic diagnostic apparatus 1 according to the present embodiment transmits the ultrasonic wave to the subject, receives the reflected wave, the detection unit 31 that detects the position and posture of the probe 10, The image generation unit 22 that generates a tomographic image based on the reflected wave received by the probe 10, and the tomographic image generated by the image generation unit 22 corresponds to the position and orientation of the probe detected by the detection unit 31 during transmission of ultrasonic waves. A plurality of time-series tomographic images stored in the first memory 23 in association with the position and orientation of the probe 10 and the first memory 23 and the second memory 32 to be stored together, and the position of the probe of each tomographic image And a combining unit 24 that generates a single combined image by combining them according to a combining condition according to the posture, and a display unit 44 that displays the combined image generated by the combining unit 24.

これにより、合成画像において、プローブ１０で走査した過去の断層像を、現在走査中の最新の断層像の残像として表示することができ、プローブ１０の動きに合わせて、被検体の生体組織の構造を立体的に観察できる超音波画像を提供することができる。このような超音波画像によれば、超音波画像中の関心領域を容易に発見することができ、ユーザーが関心領域を指定する操作を行うことなく、関心領域を簡易に観察できる。また、超音波画像から現在の関心領域周辺の立体構造を容易に把握することができることから、プローブ１０の走査も容易となる。   As a result, the past tomographic image scanned by the probe 10 in the composite image can be displayed as an afterimage of the latest tomographic image currently being scanned, and the structure of the biological tissue of the subject in accordance with the movement of the probe 10. Can be provided in an stereoscopic manner. According to such an ultrasonic image, the region of interest in the ultrasonic image can be easily found, and the region of interest can be easily observed without the user performing an operation of specifying the region of interest. In addition, since the three-dimensional structure around the current region of interest can be easily grasped from the ultrasound image, the probe 10 can be easily scanned.

〔変形例〕
断層像の種類には、Ｂモード画像だけでなく、血流等の流体の動きを色で表現するカラードプラー画像や穿刺針を強調した穿刺針画像等もある。上記超音波診断装置１は、画像生成部２２において複数種類の断層像を生成し、合成部２４において各種類の断層像を合成するようにしてもよい。この場合、合成部２４は、断層像の種類ごとに合成条件を決定することができる。 [Modification]
The types of tomographic images include not only B-mode images, but also color Doppler images that express the movement of fluid such as blood flow in color, and puncture needle images that emphasize the puncture needle. In the ultrasonic diagnostic apparatus 1, the image generation unit 22 may generate a plurality of types of tomographic images, and the combining unit 24 may combine the various types of tomographic images. In this case, the synthesis unit 24 can determine a synthesis condition for each type of tomographic image.

図１１は、カラードプラー画像及び穿刺針画像を生成する場合の超音波診断装置１の構成例を示している。
図１１に示すように、超音波診断装置１の画像生成部２２は、Ｂモード画像生成部２２１の他に、カラードプラー画像生成部２２２及び穿刺針画像生成部２２３を備えている。
なお、図１１において、黒の矢印は各構成部を接続するバスを表し、白の矢印はデータや信号の流れを表している。各構成部間では、黒の矢印で表すバスを介して、データや信号の受け渡しを行ってもよいし、白の矢印で表すように接続して受け渡しを行ってもよい。 FIG. 11 shows a configuration example of the ultrasonic diagnostic apparatus 1 when generating a color Doppler image and a puncture needle image.
As shown in FIG. 11, the image generation unit 22 of the ultrasound diagnostic apparatus 1 includes a color Doppler image generation unit 222 and a puncture needle image generation unit 223 in addition to the B-mode image generation unit 221.
In FIG. 11, black arrows represent buses connecting the respective components, and white arrows represent data and signal flows. Data and signals may be exchanged between the components via a bus indicated by a black arrow, or may be connected and exchanged as indicated by a white arrow.

カラードプラー画像生成部２２２は、各走査線データの周波数解析を行って、血流や造影剤等の流体組織の信号成分を抽出し、流体組織の平均速度、分散、パワー等をカラーで表すカラードプラー画像を生成する。   The color Doppler image generation unit 222 performs frequency analysis of each scanning line data, extracts signal components of fluid tissue such as blood flow and contrast agent, and expresses the average velocity, dispersion, power, etc. of the fluid tissue in color. Generate a Doppler image.

穿刺針画像生成部２２３は、Ｂモード画像において穿刺針の針先からの散乱波の動きを強調する（平行法）か、又は穿刺針の先端部が走査線上を通過する時の散乱信号の動きを強調する（交差法）ことにより、断層像上で穿刺針を強調した穿刺針画像を生成する。   The puncture needle image generation unit 223 emphasizes the movement of the scattered wave from the tip of the puncture needle in the B-mode image (parallel method), or the movement of the scattered signal when the tip of the puncture needle passes on the scanning line Is emphasized (intersection method) to generate a puncture needle image in which the puncture needle is emphasized on the tomographic image.

合成部２４は、Ｂモード画像、カラードプラー画像及び穿刺針画像の少なくとも２つを合成して１つの合成画像を生成し、その種類ごとに合成条件を決定する。例えば、合成部２４は、Ｂモード画像、カラードプラー画像及び穿刺針画像の種類ごとに合成条件を決定して合成し、各種類の合成画像を生成した後、さらに各種類の合成画像を重ねる合成を行って、１つの合成画像を生成することができる。   The synthesizing unit 24 synthesizes at least two of the B-mode image, the color Doppler image, and the puncture needle image to generate one synthesized image, and determines a synthesis condition for each type. For example, the synthesis unit 24 determines a synthesis condition for each type of the B-mode image, the color Doppler image, and the puncture needle image, generates the synthesized image of each type, and then superimposes each type of synthesized image. To generate one composite image.

合成部２４は、Ｂモード画像とカラードプラー画像を合成する場合、合成画像において、Ｂモード画像の過去のフレームよりカラードプラー画像の過去のフレームの強調度が大きい合成条件により合成することが好ましい。同様に、Ｂモード画像と穿刺針画像を合成する場合、合成部２４は、合成画像において、Ｂモード画像の過去のフレームより穿刺針画像の過去のフレームの強調度が大きい合成条件により合成することが好ましい。
過去のフレームは残像となるが、Ｂモード画像よりもカラードプラー画像や穿刺針画像の残像を強くすることにより、三次元構造の把握が容易な合成画像を提供することができる。 When synthesizing the B-mode image and the color Doppler image, the synthesizing unit 24 preferably synthesizes the synthesized image under a synthesis condition in which the enhancement degree of the past frame of the color Doppler image is larger than the past frame of the B-mode image. Similarly, when synthesizing the B-mode image and the puncture needle image, the synthesis unit 24 synthesizes the synthesized image with a synthesis condition in which the past frame of the puncture needle image has a higher degree of enhancement than the past frame of the B-mode image. Is preferred.
Although past frames are afterimages, a composite image in which the three-dimensional structure can be easily grasped can be provided by strengthening the afterimages of the color Doppler image and the puncture needle image as compared with the B-mode image.

例えば、血管を観察するため、Ｂモード画像とカラードプラー画像を重ねる合成を行う場合、合成部２４は、Ｂモード画像の合成条件を、図５Ａ又は図５Ｂに示すように最新のフレームに対する過去のフレームの強調度が小さい条件に決定し、カラードプラー画像の合成条件を、図５Ｃに示すように最新のフレームに対する過去のフレームの強調度が同じ条件に決定することができる。このとき、合成部２４は、Ｂモード画像の過去のフレームの強調度（重み付け係数）を、カラードプラー画像の過去のフレームよりも大きく設定することもできる。合成部２４は、決定した各合成条件により合成して得られたＢモード画像の合成画像上にカラードプラー画像の合成画像を重ねて、１つの合成画像を生成する。これにより、現在の血管像を強く表現したＢモード画像上に、過去の残像を強く表現したカラードプラー画像を重ねて表示することができ、血管の構造をより観察しやすい合成画像を提供することができる。   For example, when synthesize a B-mode image and a color Doppler image in order to observe a blood vessel, the synthesizer 24 sets the synthesis condition of the B-mode image in the past for the latest frame as shown in FIG. 5A or 5B. It is possible to determine the condition that the degree of enhancement of the frame is small, and to determine the synthesis condition of the color Doppler image as the condition that the enhancement degree of the past frame with respect to the latest frame is the same as shown in FIG. 5C. At this time, the synthesizing unit 24 can set the enhancement degree (weighting coefficient) of the past frame of the B-mode image to be larger than that of the past frame of the color Doppler image. The synthesizing unit 24 superimposes the synthesized image of the color Doppler image on the synthesized image of the B-mode image obtained by synthesizing according to the determined synthesis conditions, and generates one synthesized image. As a result, a color Doppler image that strongly expresses a past afterimage can be superimposed on a B-mode image that strongly expresses the current blood vessel image, and a composite image that makes it easier to observe the blood vessel structure is provided. Can do.

また、穿刺針を使用する場合、合成部２４は、Ｂモード画像の合成条件を、図５Ａ又は図５Ｂに示すように最新のフレームに対する過去のフレームの強調度が小さい条件に決定し、穿刺針画像の合成条件を、図５Ｃに示すように最新のフレームに対する過去のフレームの強調度が同じ条件に決定することができる。このとき、合成部２４は、Ｂモード画像の過去のフレームの強調度（重み付け係数）を、穿刺針画像の過去のフレームよりも大きく設定することもできる。合成部２４は、決定した各合成条件により合成して得られたＢモード画像の合成画像上に穿刺針画像の合成画像を重ねて、１つの合成画像を生成する。これにより、現在の血管像を強く表現したＢモード画像上に、過去の残像を強く表現した穿刺針画像を重ねて表示することができ、穿刺針の位置をより観察しやすい合成画像を提供することができる。穿刺の際、プローブ１０の位置合わせが難しく、穿刺針を見失いやすいため、このような表示は有効な補助となり得る。   Further, when using a puncture needle, the synthesis unit 24 determines the synthesis condition of the B-mode image as a condition in which the enhancement degree of the past frame with respect to the latest frame is small as shown in FIG. 5A or 5B. As shown in FIG. 5C, the image synthesis condition can be determined such that the past frame enhancement level with respect to the latest frame is the same. At this time, the synthesizing unit 24 can set the enhancement degree (weighting coefficient) of the past frame of the B-mode image to be larger than the past frame of the puncture needle image. The synthesizing unit 24 superimposes the synthesized image of the puncture needle image on the synthesized image of the B-mode image obtained by synthesizing under the determined synthesis conditions, and generates one synthesized image. As a result, a puncture needle image that strongly expresses a past afterimage can be superimposed on a B-mode image that strongly expresses the current blood vessel image, and a composite image that makes it easier to observe the position of the puncture needle is provided. be able to. Since the positioning of the probe 10 is difficult during puncture and the puncture needle is easily lost, such a display can be an effective aid.

なお、少なくとも１種類の合成画像において立体的に関心領域を観察できれば、複数種類の合成画像を合成して得られる合成画像も立体的に関心領域を観察できる。そのため、合成部２４は、複数種類の合成画像を合成する場合、少なくとも１種類の合成画像において立体的に関心領域を観察できる合成条件に決定すればよい。
例えば、合成部２４は、カラードプラー画像の合成画像とＢモード画像の合成画像を重ねて、１つの合成画像を生成する際に、カラードプラー画像の合成条件を、図５Ａに示す立体的な観察が可能な合成条件に決定する場合、Ｂモード画像の合成条件を、図５Ｄに示す立体的な表示をしない合成条件に決定することができる。 If the region of interest can be observed three-dimensionally in at least one type of synthesized image, the region of interest can also be observed stereoscopically in a synthesized image obtained by synthesizing a plurality of types of synthesized images. Therefore, when synthesizing a plurality of types of synthesized images, the synthesizing unit 24 may determine a synthesis condition that allows the region of interest to be observed in three dimensions in at least one type of synthesized image.
For example, the combining unit 24 superimposes the combined image of the color Doppler image and the combined image of the B-mode image to generate a single combined image. In the case where the synthesis condition is determined to be possible, the synthesis condition for the B-mode image can be determined to be a synthesis condition that does not perform the stereoscopic display shown in FIG.

上記実施の形態は本発明の好適な一例であり、これに限定されない。本発明の主旨を逸脱しない範囲で適宜変更可能である。
例えば、制御部４１がプログラムを読み取ることにより、上記画像生成部２２、合成部２４等の処理手順を制御部４１により実行させることもできる。プログラムのコンピューター読み取り可能な媒体としては、ＲＯＭ、フラッシュメモリー等の不揮発性メモリー、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。 The above embodiment is a preferred example of the present invention, and the present invention is not limited to this. Modifications can be made as appropriate without departing from the spirit of the present invention.
For example, the control unit 41 can cause the control unit 41 to execute processing procedures such as the image generation unit 22 and the composition unit 24 by reading the program. As a computer-readable medium for the program, a non-volatile memory such as a ROM and a flash memory, and a portable recording medium such as a CD-ROM can be applied. A carrier wave is also used as a medium for providing program data via a communication line.

１ 超音波診断装置
１０ プローブ
２１ 送受信部
２２ 画像生成部
２２１ Ｂモード画像生成部
２２２ カラードプラー画像生成部
２２３ 穿刺針画像生成部
２３ 第１メモリー
２４ 合成部
３１ 検出部
３２ 第２メモリー
４１ 制御部
４２ 記憶部
４３ 操作部
４４ 表示部 DESCRIPTION OF SYMBOLS 1 Ultrasonic diagnostic apparatus 10 Probe 21 Transmission / reception part 22 Image generation part 221 B mode image generation part 222 Color Doppler image generation part 223 Puncture needle image generation part 23 1st memory 24 Synthesis | combination part 31 Detection part 32 2nd memory 41 Control part 42 Storage unit 43 Operation unit 44 Display unit

Claims (10)

被検体に超音波を送信し、その反射波を受信するプローブと、
前記プローブの位置及び姿勢を検出する検出部と、
前記プローブにより受信した反射波に基づいて断層像を生成する画像生成部と、
前記画像生成部により生成した断層像を、前記超音波の送信時に前記検出部により検出したプローブの位置及び姿勢に対応付けて記憶するメモリーと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成する合成部と、
前記合成部により生成した合成画像を表示する表示部と、
を備えることを特徴とする超音波診断装置。 A probe that transmits ultrasonic waves to the subject and receives the reflected waves;
A detection unit for detecting the position and orientation of the probe;
An image generation unit that generates a tomographic image based on the reflected wave received by the probe;
A memory for storing the tomographic image generated by the image generation unit in association with the position and orientation of the probe detected by the detection unit during transmission of the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. A synthesis unit;
A display unit for displaying a composite image generated by the synthesis unit;
An ultrasonic diagnostic apparatus comprising: 前記合成部は、前記画像生成部により断層像を生成するごとに、生成した前記プローブの位置及び姿勢が最新の断層像と、当該最新の断層像と時系列で連続する過去の複数の断層像とを、前記メモリーから取得して合成することを特徴とする請求項１に記載の超音波診断装置。   Each time the image generating unit generates a tomographic image, the synthesizing unit generates a tomographic image in which the position and orientation of the generated probe is the latest, and a plurality of past tomographic images that are continuous in time series with the latest tomographic image. The ultrasonic diagnostic apparatus according to claim 1, wherein the two are acquired from the memory and synthesized. 前記合成部は、前記プローブの位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったとき、前記合成画像において、前記画像生成部により生成した最新の断層像に対する過去の断層像の強調度が小さい合成条件により合成することを特徴とする請求項１又は２に記載の超音波診断装置。   When the amount of change per unit time in the position or orientation of the probe is smaller than a threshold, the synthesis unit enhances the past tomographic image with respect to the latest tomographic image generated by the image generation unit in the synthesized image. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus is synthesized under a synthesis condition with a small value. 前記合成部は、前記合成画像として、前記複数の断層像を１又は複数の視点から見たときの合成画像を生成し、前記視点の座標位置を前記各断層像のプローブの位置及び姿勢に応じて移動することを特徴とする請求項１〜３のいずれか一項に記載の超音波診断装置。   The synthesizing unit generates, as the synthesized image, a synthesized image when the plurality of tomographic images are viewed from one or a plurality of viewpoints, and the coordinate position of the viewpoint depends on the position and orientation of the probe of each tomographic image. The ultrasonic diagnostic apparatus according to claim 1, wherein the ultrasonic diagnostic apparatus moves. 前記合成部は、前記プローブの位置又は姿勢の単位時間あたりの変化量が閾値より小さくなったとき、前記視点の座標位置の移動速度を高速化し、前記画像生成部により生成した最新の断層像の視点に合わせることを特徴とする請求項４に記載の超音波診断装置。   The synthesizing unit increases the movement speed of the coordinate position of the viewpoint when the change amount per unit time of the probe position or orientation is smaller than a threshold, and the latest tomographic image generated by the image generation unit The ultrasonic diagnostic apparatus according to claim 4, wherein the ultrasonic diagnostic apparatus is adapted to a viewpoint. 前記画像生成部は、複数種類の断層像を生成し、
前記合成部は、前記複数種類の断層像を合成して１つの合成画像を生成し、前記断層像の種類ごとに合成条件を決定することを特徴とする請求項１〜５のいずれか一項に記載の超音波診断装置。 The image generation unit generates a plurality of types of tomographic images,
The said synthetic | combination part synthesize | combines the said multiple types of tomogram, produces | generates one synthetic | combination image, and determines a synthetic | combination condition for every kind of the said tomogram. An ultrasonic diagnostic apparatus according to 1. 前記複数種類の断層像は、Ｂモード画像とカラードプラー画像を含み、
前記合成部は、前記合成画像において、過去のＢモード画像より過去のカラードプラー画像の強調度が大きい合成条件により合成することを特徴とする請求項６に記載の超音波診断装置。 The plurality of types of tomographic images include a B-mode image and a color Doppler image,
The ultrasonic diagnostic apparatus according to claim 6, wherein the synthesizing unit synthesizes the synthesized image with a synthesis condition in which a past color Doppler image has a higher degree of enhancement than a past B-mode image. 前記複数種類の断層像は、Ｂモード画像と穿刺針画像を含み、
前記合成部は、前記合成画像において、過去のＢモード画像より過去の穿刺針画像の強調度が大きい合成条件により合成することを特徴とする請求項６に記載の超音波診断装置。 The plurality of types of tomographic images include a B-mode image and a puncture needle image,
The ultrasonic diagnostic apparatus according to claim 6, wherein the synthesizing unit synthesizes the synthesized image under a synthesis condition in which a past puncture needle image has a higher degree of enhancement than a past B-mode image. プローブにより、被検体に超音波を送信し、その反射波を受信するステップと、
前記プローブの位置及び姿勢を検出するステップと、
前記プローブにより受信した反射波に基づいて断層像を生成するステップと、
前記生成した断層像を、前記超音波の送信時に前記検出したプローブの位置及び姿勢に対応付けてメモリーに記憶するステップと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成するステップと、
前記生成した合成画像を表示部により表示するステップと、
を含むことを特徴とする合成画像の表示方法。 A step of transmitting an ultrasonic wave to a subject by a probe and receiving a reflected wave thereof;
Detecting the position and orientation of the probe;
Generating a tomographic image based on the reflected wave received by the probe;
Storing the generated tomographic image in a memory in association with the detected position and orientation of the probe at the time of transmitting the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. Steps,
Displaying the generated composite image on a display unit;
A method for displaying a composite image, comprising: コンピューターに、
プローブにより、被検体に超音波を送信し、その反射波を受信するステップと、
前記プローブの位置及び姿勢を検出するステップと、
前記プローブにより受信した反射波に基づいて断層像を生成するステップと、
前記生成した断層像を、前記超音波の送信時に前記検出したプローブの位置及び姿勢に対応付けてメモリーに記憶するステップと、
前記プローブの位置及び姿勢に対応付けて前記メモリーに記憶した、時系列の複数の断層像を、各断層像のプローブの位置及び姿勢に応じた合成条件により合成し、１つの合成画像を生成するステップと、
前記生成した合成画像を表示部により表示するステップと、
を実行させるためのプログラム。 On the computer,
A step of transmitting an ultrasonic wave to a subject by a probe and receiving a reflected wave thereof;
Detecting the position and orientation of the probe;
Generating a tomographic image based on the reflected wave received by the probe;
Storing the generated tomographic image in a memory in association with the detected position and orientation of the probe at the time of transmitting the ultrasonic wave;
A plurality of time-series tomographic images stored in the memory in association with the position and orientation of the probe are synthesized according to a synthesis condition corresponding to the position and orientation of the probe of each tomographic image to generate one synthesized image. Steps,
Displaying the generated composite image on a display unit;
A program for running
JP2017092164A 2017-05-08 2017-05-08 Ultrasound diagnostic equipment, composite image display method and program Active JP6879039B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017092164A JP6879039B2 (en) 2017-05-08 2017-05-08 Ultrasound diagnostic equipment, composite image display method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017092164A JP6879039B2 (en) 2017-05-08 2017-05-08 Ultrasound diagnostic equipment, composite image display method and program

Publications (2)

Publication Number Publication Date
JP2018187092A true JP2018187092A (en) 2018-11-29
JP6879039B2 JP6879039B2 (en) 2021-06-02

Family

ID=64477474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017092164A Active JP6879039B2 (en) 2017-05-08 2017-05-08 Ultrasound diagnostic equipment, composite image display method and program

Country Status (1)

Country Link
JP (1) JP6879039B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112155596A (en) * 2020-10-10 2021-01-01 达闼机器人有限公司 Ultrasonic diagnostic apparatus, method of generating ultrasonic image, and storage medium
CN112155595A (en) * 2020-10-10 2021-01-01 达闼机器人有限公司 Ultrasonic diagnostic apparatus, ultrasonic probe, image generating method, and storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614923A (en) * 1990-12-10 1994-01-25 Toshiba Corp Ultrasonic diagnostic system
JPH10216127A (en) * 1997-02-07 1998-08-18 Hiromi Nanba Ultrasonic diagnostic apparatus and adapter device for image processing
US20010009977A1 (en) * 2000-01-20 2001-07-26 Takeshi Sato Ultrasound diagnostic apparatus
JP2001269344A (en) * 2000-01-20 2001-10-02 Toshiba Corp Ultrasonograph
US6540681B1 (en) * 2000-11-24 2003-04-01 U-Systems, Inc. Extended view ultrasound imaging system
US20120078103A1 (en) * 2010-09-28 2012-03-29 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
WO2012042794A1 (en) * 2010-09-27 2012-04-05 パナソニック株式会社 Adaptor for ultrasound diagnosis, ultrasound diagnostic equipment and ultrasound diagnostic method
JP2012120747A (en) * 2010-12-09 2012-06-28 Fujifilm Corp Ultrasound diagnostic apparatus and ultrasound image generation method
US20120289833A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing device, image processing method, program, recording medium, image processing system, and probe

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614923A (en) * 1990-12-10 1994-01-25 Toshiba Corp Ultrasonic diagnostic system
JPH10216127A (en) * 1997-02-07 1998-08-18 Hiromi Nanba Ultrasonic diagnostic apparatus and adapter device for image processing
US20010009977A1 (en) * 2000-01-20 2001-07-26 Takeshi Sato Ultrasound diagnostic apparatus
JP2001269344A (en) * 2000-01-20 2001-10-02 Toshiba Corp Ultrasonograph
US6540681B1 (en) * 2000-11-24 2003-04-01 U-Systems, Inc. Extended view ultrasound imaging system
WO2012042794A1 (en) * 2010-09-27 2012-04-05 パナソニック株式会社 Adaptor for ultrasound diagnosis, ultrasound diagnostic equipment and ultrasound diagnostic method
US20120078103A1 (en) * 2010-09-28 2012-03-29 Fujifilm Corporation Ultrasound diagnostic system, ultrasound image generation apparatus, and ultrasound image generation method
JP2012120747A (en) * 2010-12-09 2012-06-28 Fujifilm Corp Ultrasound diagnostic apparatus and ultrasound image generation method
US20120289833A1 (en) * 2011-05-13 2012-11-15 Sony Corporation Image processing device, image processing method, program, recording medium, image processing system, and probe
JP2012254279A (en) * 2011-05-13 2012-12-27 Sony Corp Image processing device, image processing method, program, recording medium, image processing system, and probe

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112155596A (en) * 2020-10-10 2021-01-01 达闼机器人有限公司 Ultrasonic diagnostic apparatus, method of generating ultrasonic image, and storage medium
CN112155595A (en) * 2020-10-10 2021-01-01 达闼机器人有限公司 Ultrasonic diagnostic apparatus, ultrasonic probe, image generating method, and storage medium
EP4008265A4 (en) * 2020-10-10 2023-01-11 Cloudminds Robotics Co., Ltd. Ultrasonic diagnostic device, ultrasonic probe, image generation method and storage medium
JP2023501849A (en) * 2020-10-10 2023-01-20 達闥機器人股▲分▼有限公司 ULTRASOUND DIAGNOSTIC APPARATUS, ULTRASOUND IMAGE GENERATION METHOD, AND STORAGE MEDIUM
CN112155596B (en) * 2020-10-10 2023-04-07 达闼机器人股份有限公司 Ultrasonic diagnostic apparatus, method of generating ultrasonic image, and storage medium
JP7299359B2 (en) 2020-10-10 2023-06-27 達闥機器人股▲分▼有限公司 ULTRASOUND DIAGNOSTIC APPARATUS, ULTRASOUND IMAGE GENERATION METHOD, AND STORAGE MEDIUM

Also Published As

Publication number Publication date
JP6879039B2 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
JP4847334B2 (en) Ultrasonic imaging apparatus and projection image generation method
JP5087206B2 (en) Execution method of speckle reduction filter
JP6147489B2 (en) Ultrasonic imaging system
CN103202709B (en) Diagnostic ultrasound equipment, medical image-processing apparatus and medical imaging display packing arranged side by side
US20150087980A1 (en) Ultrasound diagnosis apparatus and image processing apparatus
JP5652395B2 (en) Ultrasonic diagnostic equipment
JP4632807B2 (en) Ultrasonic diagnostic equipment
JP2003204963A (en) Ultrasonographic method and system to prepare image from multiple 2d slices
JP7313902B2 (en) ultrasound diagnostic equipment
JP6113592B2 (en) Ultrasonic diagnostic apparatus and ultrasonic imaging program
JP5508829B2 (en) Medical image display device
CN106030657B (en) Motion Adaptive visualization in medicine 4D imaging
JP2009291295A5 (en)
JP5942217B2 (en) Ultrasonic diagnostic apparatus, ultrasonic image processing apparatus, and ultrasonic image processing program
JP2005095278A (en) Ultrasonograph
JP7076554B2 (en) Systems and methods for adaptively setting the dynamic range for ultrasound image display
JP5996268B2 (en) Ultrasonic diagnostic apparatus, image processing apparatus, and program
JP6879039B2 (en) Ultrasound diagnostic equipment, composite image display method and program
KR102249528B1 (en) Method, apparatus and system for adjusting brightness of ultrasound image by using prestored gradation data set and images
JP7078457B2 (en) Blood flow image processing device and method
JP6890677B2 (en) A virtual light source embedded in a 3D volume and coupled to the crosshairs in the MPR diagram
JP5865720B2 (en) Ultrasound diagnostic imaging equipment
JP5823184B2 (en) Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program
JP7343342B2 (en) Ultrasonic diagnostic equipment and image processing equipment
US20170296146A1 (en) Ultrasonic diagnostic device and method of generating discrimination information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6879039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150