JP2008200097A - Ultrasonograph and data processing method - Google Patents

Ultrasonograph and data processing method Download PDF

Info

Publication number
JP2008200097A
JP2008200097A JP2007036476A JP2007036476A JP2008200097A JP 2008200097 A JP2008200097 A JP 2008200097A JP 2007036476 A JP2007036476 A JP 2007036476A JP 2007036476 A JP2007036476 A JP 2007036476A JP 2008200097 A JP2008200097 A JP 2008200097A
Authority
JP
Japan
Prior art keywords
cross
section
image
target tissue
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007036476A
Other languages
Japanese (ja)
Other versions
JP4922006B2 (en
Inventor
Masashi Nakamura
雅志 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Aloka Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aloka Co Ltd filed Critical Aloka Co Ltd
Priority to JP2007036476A priority Critical patent/JP4922006B2/en
Publication of JP2008200097A publication Critical patent/JP2008200097A/en
Application granted granted Critical
Publication of JP4922006B2 publication Critical patent/JP4922006B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To support users in setting trace lines. <P>SOLUTION: A continuous tomogram 72 is an image sequentially displaying tomograms of a plurality of cross-sections. The tomogram includes a placenta 42B, a uterus 43, and an amniotic fluid 45 contacting the placenta. Furthermore, a manual trace line 66 set by a user is also displayed. The outline of the placenta 42B some times become obscure in its boundary with the uterus 43. The sequential display of the tomograms of a plurality of cross-sections arranged on the basis of a representative cross-section by the continuous tomogram 72 permits a subtle image variation in the vicinity of the boundary of the placenta 42B, a subtle difference in the tendency of a speckle to occur or disappear outside and inside the boundary for example, to be sensuously read. Consequently, even in the part where the boundary between the placenta 42B and the uterus 43 is obscure, the user can comparatively precisely find the boundary. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、超音波診断装置およびデータ処理方法に関し、特に、対象組織の輪郭に対応したトレースラインを設定する技術に関する。   The present invention relates to an ultrasonic diagnostic apparatus and a data processing method, and more particularly to a technique for setting a trace line corresponding to a contour of a target tissue.

超音波ビームを走査して形成される走査面をそれと直交する方向へ走査することにより三次元空間(三次元エコーデータ取込空間)を形成できる。三次元空間内に存在する対象組織を抽出してその体積を演算する方法として従来からDisk Summation法が周知である。この従来方法では、対象組織を横切って整列する複数のスライスデータのそれぞれが断層画像として表示され、各断層画像上で対象組織の輪郭がマニュアルでトレースされ、これにより各スライスデータごとに断面積が求まる。各スライスデータごとに断面積と厚み(断面間隔)を利用して対象組織部分の要素体積が演算される。それらの要素体積を加算することによって対象組織の体積が求まる。   A three-dimensional space (three-dimensional echo data capturing space) can be formed by scanning a scanning plane formed by scanning an ultrasonic beam in a direction orthogonal thereto. Conventionally, the Disk Summation method is well known as a method of extracting a target tissue existing in a three-dimensional space and calculating its volume. In this conventional method, each of a plurality of slice data aligned across the target tissue is displayed as a tomographic image, and the contour of the target tissue is manually traced on each tomographic image, whereby a cross-sectional area is obtained for each slice data. I want. The element volume of the target tissue portion is calculated using the cross-sectional area and thickness (cross-sectional interval) for each slice data. The volume of the target tissue is obtained by adding the element volumes.

特許文献1には三次元空間内に存在する組織(心腔等)の抽出処理が記載されている。特許文献2には輪郭モデルを利用して組織を抽出することが記載されている。特許文献3にはマニュアルトレース結果を補正する技術が記載されている。特許文献4及び5には組織の体積を演算する技術が記載されている。   Patent Document 1 describes a process for extracting a tissue (such as a heart chamber) existing in a three-dimensional space. Patent Document 2 describes that a tissue is extracted using a contour model. Patent Document 3 describes a technique for correcting a manual trace result. Patent Documents 4 and 5 describe techniques for calculating the volume of tissue.

また、特許文献6には、輪郭抽出前の対象組織の原画像と、輪郭が抽出され対象組織上に重ねられた画像(輪郭抽出画像)とを交互に切り換えて表示することで、抽出された輪郭が正しいか否かを容易に判断できる旨の技術が記載されている。しかし、その技術は、何らかの方法により抽出された輪郭を対象組織に重ねて輪郭抽出画像を生成することを前提とし、対象組織の画像情報が一致する原画像と輪郭抽出画像を用いて抽出された輪郭が正しいか否かを判断するものである。しかしながら、対象組織の輪郭が不明瞭な場合には、そもそも輪郭を抽出すること自体が困難であり、このような2枚の画像を交互に切り換えるだけでは、輪郭の正否を判定することも困難である。   Further, in Patent Document 6, an original image of a target tissue before contour extraction and an image (contour extraction image) in which a contour is extracted and superimposed on the target tissue are alternately displayed and extracted. A technique is described that can easily determine whether or not the contour is correct. However, the technique is based on the premise that a contour extraction image is generated by superimposing a contour extracted by some method on the target tissue, and extracted using the original image and the contour extraction image in which the image information of the target tissue matches. It is determined whether or not the contour is correct. However, when the contour of the target tissue is unclear, it is difficult to extract the contour in the first place, and it is difficult to determine whether the contour is correct or not by simply switching between these two images. is there.

なお、対象組織の特定または計測に際し、高い精度を維持しつつユーザの負担を軽減することが望まれるが、上記のいずれの文献にも、組織輪郭が不明瞭な部位と明瞭な部位とが混在する場合において、マニュアルトレースと自動トレースのそれぞれの利点を発揮させるための構成は記載されていない。例えば、妊娠後期における子宮内の胎盤に関し、胎盤周囲において子宮に接している領域部分については子宮との間の輝度差が小さく、羊水に接している領域部分については羊水との間の輝度差が大きい。そのような状況において胎盤の輪郭のトレースに当たってユーザの負担を軽減しつつトレースの精度を高めたいという要請がある。   It is desirable to reduce the burden on the user while maintaining high accuracy when specifying or measuring the target tissue. However, in any of the above documents, there are a mixture of parts with unclear tissue contours and clear parts. In this case, a configuration for exhibiting the advantages of manual tracing and automatic tracing is not described. For example, regarding the placenta in the uterus in the second trimester of pregnancy, the luminance difference between the uterus is small in the area around the placenta and in contact with the uterus, and the luminance difference between the amniotic fluid and the area in contact with the amniotic fluid is small. large. In such a situation, there is a demand for improving the accuracy of the trace while reducing the burden on the user when tracing the outline of the placenta.

特開2004−159997号公報Japanese Patent Laid-Open No. 2004-159997 特開2002−224116号公報JP 2002-224116 A 特開平11−164834号公報JP-A-11-164834 特開平10−305033号公報Japanese Patent Laid-Open No. 10-305033 特開2002−330968号公報JP 2002-330968 A 特開平10−105678号公報JP-A-10-105678

ところで、断層画像上で、対象組織の輪郭をマニュアルでトレースする場合、輪郭が不明瞭な部分についてはトレースが困難となる。あるいは、輪郭が不明瞭な部分についてはトレースのためにユーザに強いる負担が大きい。そこで、そのような不鮮明な部分について、できるだけ精度良くあるいは短時間でマニュアルトレースを行うことができるように支援することが望まれる。このような要請は、空間的に並んだ全ての断層画像上でマニュアルトレースを行う場合、および、ユーザの負担を考慮して代表となる複数の断層画像上のみでマニュアルトレースを行う場合においても同様に指摘できるものである。   By the way, when the outline of the target tissue is manually traced on the tomographic image, it is difficult to trace a portion where the outline is unclear. Alternatively, a burden imposed on the user for tracing is large for a portion with an unclear outline. Therefore, it is desirable to support such unclear portions so that manual tracing can be performed as accurately as possible or in a short time. Such a request is the same when manual tracing is performed on all spatially arranged tomographic images and when manual tracing is performed only on a plurality of representative tomographic images in consideration of the burden on the user. Can be pointed out.

このような状況において、本願発明者は、対象組織の輪郭に対応したトレースラインの設定に関する改良技術について研究開発を重ねてきた。特にトレースの精度とトレースのためのユーザの負担に注目した。   In such a situation, the inventor of the present application has conducted research and development on an improved technique related to setting a trace line corresponding to the contour of the target tissue. We paid particular attention to the accuracy of tracing and the burden on users for tracing.

本発明は、その研究開発の過程において成されたものであり、その目的は、トレースラインの設定においてユーザを支援する技術を提供することにある。   The present invention has been made in the course of research and development, and an object thereof is to provide a technique for assisting a user in setting a trace line.

上記目的を達成するために、本発明の好適な態様である超音波診断装置は、対象組織を含む三次元空間に対して超音波を送受波することによりボリュームデータを得るデータ取得部と、ボリュームデータで構成される仮想的なデータ空間内において、対象組織に対して、複数の断面で構成される断面セットを設定する断面設定部と、断面セットに含まれる代表断面に対して、ユーザからの入力に応じて、対象組織の輪郭に対応したマニュアルトレースラインを設定するトレース処理部と、前記入力のための入力支援画像として、断面セット内において代表断面を基準として配列された複数の断面の断層画像を順次表示する表示処理部と、を有することを特徴とする。   In order to achieve the above object, an ultrasonic diagnostic apparatus according to a preferred aspect of the present invention includes a data acquisition unit that obtains volume data by transmitting and receiving ultrasonic waves to and from a three-dimensional space including a target tissue, and a volume Within a virtual data space composed of data, a cross-section setting unit for setting a cross-section set composed of a plurality of cross-sections for the target tissue, and a representative cross-section included in the cross-section set from the user A trace processing unit that sets a manual trace line corresponding to the contour of the target tissue according to the input, and a plurality of cross-sectional slices arranged on the basis of the representative cross-section in the cross-section set as an input support image for the input And a display processing unit that sequentially displays images.

上記態様によれば、データ空間内において、対象組織に対して、複数の断面で構成される断面セットが設定される。この場合には、対象組織の全体がカバーされるように断面セットが設定されることが望ましい。また、断面セットにおいて個々の断面間隔は均等であってもよいし非均等であってもよい。例えば対象組織の形態が大きく変化するような部位に対しては断面密度を高めるようにしてもよい。断面セットが設定されると、少なくとも一つの望ましくは複数の代表断面が決定され、各代表断面上においてマニュアルトレースラインが設定される。全ての断面に対してマニュアルトレースを行うのではなく、代表断面に対してマニュアルトレースを行えばよいので、ユーザの負担を軽減できる。   According to the above aspect, a cross section set including a plurality of cross sections is set for the target tissue in the data space. In this case, it is desirable to set the cross-section set so that the entire target tissue is covered. Further, the interval between individual sections in the section set may be equal or non-uniform. For example, the cross-sectional density may be increased for a site where the shape of the target tissue greatly changes. When the cross section set is set, at least one desirably a plurality of representative cross sections are determined, and a manual trace line is set on each representative cross section. Since manual tracing is not performed on all the cross sections, but manual tracing is performed on the representative cross section, the burden on the user can be reduced.

さらに、上記態様においては、マニュアルトレースを行う際のユーザのための入力支援画像として、代表断面を基準として配列された複数の断面の断層画像が順次表示される。代表断面上において対象組織の輪郭(他の組織との境界)が極めて不明瞭な場合には、代表断面の1枚のみの画像を凝視し続けても、輪郭を認識することは困難である。これに対し、上記態様では、代表断面を基準として配列された複数の断面の断層画像が順次表示されるため、対象組織の境界付近における微妙な画像変化、例えば境界の内外でスペックルの発生や消滅の傾向が微妙に異なる等を感覚的に読み取ることが可能になる。つまり、複数の断面の断層画像を利用した総合的な判断から、対象組織の境界が不明瞭な部分においてもその境界を比較的高い精度で見出すことが可能になる。しかも、入力支援画像は表示処理部によって表示されるため、例えばユーザが代表断面の周辺の複数の断面を探し出す操作や複数の断面を順次表示させる操作などを省略することもできる。つまり、ユーザに強いる負担を軽減させつつ高い精度でマニュアルトレースを行うことが可能になる。   Furthermore, in the above aspect, tomographic images of a plurality of cross sections arranged on the basis of the representative cross section are sequentially displayed as an input support image for the user when performing manual tracing. When the outline of the target tissue (boundary with other tissues) is very unclear on the representative cross section, it is difficult to recognize the outline even if only one image of the representative cross section is continuously stared. In contrast, in the above aspect, the tomographic images of a plurality of cross sections arranged with reference to the representative cross section are sequentially displayed, so that subtle image changes near the boundary of the target tissue, for example, occurrence of speckle inside and outside the boundary, It becomes possible to read sensuously that the tendency of disappearance is slightly different. That is, it is possible to find the boundary of the target tissue with relatively high accuracy even in a portion where the boundary of the target tissue is unclear from the comprehensive determination using the tomographic images of a plurality of cross sections. Moreover, since the input support image is displayed by the display processing unit, for example, an operation of searching for a plurality of cross sections around the representative cross section or an operation of sequentially displaying the plurality of cross sections can be omitted. That is, it is possible to perform manual tracing with high accuracy while reducing the burden imposed on the user.

望ましい態様において、前記表示処理部は、前記入力支援画像として順次表示される断層画像内に前記マニュアルトレースラインの画像を合成表示することを特徴とする。   In a preferred aspect, the display processing unit synthesizes and displays the image of the manual trace line in a tomographic image sequentially displayed as the input support image.

望ましい態様において、前記表示処理部は、前記断面セットを構成する複数の断面の配列状態を表した参照画像を表示し、前記入力支援画像において現在表示されている断面の位置を特定するマーカを当該参照画像内に表示することを特徴とする。   In a preferred aspect, the display processing unit displays a reference image representing an arrangement state of a plurality of cross sections constituting the cross section set, and sets a marker for specifying the position of the cross section currently displayed in the input support image. It is characterized by being displayed in a reference image.

望ましい態様において、前記表示処理部は、前記入力支援画像において利用される複数の断面の配列範囲を示すマーカを前記参照画像内に表示することを特徴とする。   In a desirable mode, the display processing unit displays a marker indicating an array range of a plurality of cross sections used in the input support image in the reference image.

望ましい態様において、前記入力支援画像に利用される複数の断面の配列範囲および前記入力支援画像として順次表示される断層画像の表示速度は可変設定されることを特徴とする。   In a preferred aspect, an array range of a plurality of slices used for the input support image and a display speed of tomographic images sequentially displayed as the input support image are variably set.

また上記目的を達成するために、本発明の好適な態様であるデータ処理方法は、対象組織を含む三次元空間に対して超音波を送受波することにより得られるボリュームデータを処理する方法であって、ボリュームデータで構成される仮想的なデータ空間内において、対象組織に対して、複数の断面で構成される断面セットを設定する断面設定工程と、断面セットに含まれる代表断面に対して、ユーザからの入力に応じて、対象組織の輪郭に対応したマニュアルトレースラインを設定するトレース処理工程と、前記入力のための入力支援画像として、断面セット内において代表断面を基準として配列された複数の断面の断層画像を順次表示する表示処理工程と、を含むことを特徴とする。   In order to achieve the above object, a data processing method according to a preferred aspect of the present invention is a method for processing volume data obtained by transmitting and receiving ultrasonic waves to and from a three-dimensional space including a target tissue. In a virtual data space composed of volume data, for a target tissue, a section setting step for setting a section set composed of a plurality of sections, and a representative section included in the section set, A trace processing step for setting a manual trace line corresponding to the contour of the target tissue in response to an input from the user, and an input support image for the input, a plurality of arrays arranged with reference to a representative cross section in the cross section set And a display processing step for sequentially displaying cross-sectional tomographic images.

上記態様のデータ処理方法は、例えば超音波診断装置やコンピュータが実行する。コンピュータが実行する場合には、例えば、上記データ処理方法の各工程をコンピュータに実行させるためのプログラムが利用される。つまり、コンピュータが当該プログラムを読み取ることによりコンピュータが上記データ処理方法を実行する。   The data processing method of the above aspect is executed by, for example, an ultrasonic diagnostic apparatus or a computer. When the computer executes, for example, a program for causing the computer to execute each step of the data processing method is used. That is, when the computer reads the program, the computer executes the data processing method.

本発明により、トレースラインの設定においてユーザを支援する技術が提供される。例えば本発明の好適な態様により、入力支援画像が表示され、ユーザに強いる負担を軽減させつつ高い精度でマニュアルトレースを行うことが可能になる。   The present invention provides a technique for assisting a user in setting a trace line. For example, according to a preferred aspect of the present invention, an input support image is displayed, and manual tracing can be performed with high accuracy while reducing a burden imposed on the user.

以下、本発明の好適な実施形態を図面に基づいて説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the drawings.

図1には、本発明に係る超音波診断装置の全体構成がブロック図として示されている。この超音波診断装置は医療の分野において用いられ、特に生体内における対象組織を抽出し、その体積などを演算する機能を有している。対象組織としては、胎盤、悪性腫瘍、胆嚢、甲状腺等を挙げることができる。以下の説明においては、胎盤を対象組織としてそれを抽出する処理が示されている。   FIG. 1 is a block diagram showing the overall configuration of an ultrasonic diagnostic apparatus according to the present invention. This ultrasonic diagnostic apparatus is used in the medical field, and in particular has a function of extracting a target tissue in a living body and calculating its volume. Examples of the target tissue include placenta, malignant tumor, gallbladder, thyroid and the like. In the following description, a process for extracting a placenta as a target tissue is shown.

図1において、3Dプローブ10は、例えば体表面上に当接して用いられあるいは体腔内に挿入して用いられる超音波送受波器である。本実施形態において、3Dプローブ10は2Dアレイ振動子を有している。2Dアレイ振動子は第一方向及び第二方向に整列した複数の振動素子によって構成されるものである。2Dアレイ振動子により超音波ビームが形成され、その超音波ビームは二次元走査される。これにより三次元空間としての三次元エコーデータ取込空間が形成される。具体的には、その三次元空間は複数の走査面の集合体として構成され、各走査面は超音波ビームを一次元走査することによって構成される。2Dアレイ振動子に代えて、1Dアレイ振動子を機械的に走査することによって、上記同様の三次元空間を形成することが可能である。   In FIG. 1, a 3D probe 10 is an ultrasonic transducer that is used, for example, in contact with a body surface or inserted into a body cavity. In this embodiment, the 3D probe 10 has a 2D array transducer. The 2D array transducer is composed of a plurality of vibration elements aligned in the first direction and the second direction. An ultrasonic beam is formed by the 2D array transducer, and the ultrasonic beam is two-dimensionally scanned. As a result, a three-dimensional echo data capturing space is formed as a three-dimensional space. Specifically, the three-dimensional space is configured as an aggregate of a plurality of scanning planes, and each scanning plane is configured by one-dimensional scanning with an ultrasonic beam. Instead of the 2D array transducer, a 3D space similar to the above can be formed by mechanically scanning the 1D array transducer.

送信部12は送信ビームフォーマーとして機能する。送信部12は所定の遅延関係をもって複数の送信信号を上記2Dアレイ振動子に対して供給する。これによって送信ビームが形成される。生体内からの反射波は2Dアレイ振動子によって受波され、これによってその2Dアレイ振動子から複数の受信信号が受信部14に対して出力される。受信部14は複数の受信信号に対して整相加算処理を実行し、これによって整相加算後の受信信号(ビームデ−タ)を出力する。その受信信号に対しては所定の信号処理が施され、例えば検波、対数変換処理などが施され、信号処理後の受信信号であるビームデータが3Dデータメモリ16に格納される。   The transmission unit 12 functions as a transmission beam former. The transmitter 12 supplies a plurality of transmission signals to the 2D array transducer with a predetermined delay relationship. As a result, a transmission beam is formed. The reflected wave from the living body is received by the 2D array transducer, and a plurality of reception signals are output from the 2D array transducer to the receiving unit 14. The receiving unit 14 performs a phasing addition process on the plurality of reception signals, and thereby outputs a reception signal (beam data) after the phasing addition. Predetermined signal processing is performed on the received signal, for example, detection, logarithmic conversion processing, and the like are performed, and beam data that is the received signal after signal processing is stored in the 3D data memory 16.

3Dデータメモリ16は、生体内の送受波空間である三次元空間と同様の三次元記憶空間を有している。3Dデータメモリ16の書き込みあるいは読み出しに際して各データに対する座標変換が実行される。本実施形態においては、3Dデータメモリ16の書き込み時に、送受波座標系から記憶空間座標系への座標変換が実行される。これによって、後に説明するようにボリュームデータが構成される。ボリュームデータは、複数の走査面に相当する複数のフレームデータ(スライスデータ)の集合体であり、各フレームデータは複数のビームデータからなるものである。各ビームデータは深さ方向に整列した複数のエコーデータからなるものである。ちなみに、この3Dデータメモリ16以降の各構成については専用ハードウェアとして構成することも可能であるし、例えばコンピュータなどのソフトウェアの機能として実現することも可能である。   The 3D data memory 16 has a three-dimensional storage space similar to a three-dimensional space that is a transmission / reception space in a living body. When writing to or reading from the 3D data memory 16, coordinate conversion is performed on each data. In the present embodiment, when writing to the 3D data memory 16, coordinate conversion from the transmission / reception coordinate system to the storage space coordinate system is executed. This constitutes volume data as will be described later. Volume data is an aggregate of a plurality of frame data (slice data) corresponding to a plurality of scanning planes, and each frame data is composed of a plurality of beam data. Each beam data consists of a plurality of echo data arranged in the depth direction. Incidentally, each configuration after the 3D data memory 16 can be configured as dedicated hardware, or can be realized as a function of software such as a computer.

三次元画像形成部18は、3Dデータメモリ16に格納されたボリュームデータに基づいて、例えばボリュームレンダリング法に基づく画像処理を実行し、これによって三次元超音波画像(画像データ)を構成する。その画像データは表示画像形成部26に送られる。任意断層画像形成部20は、ユーザによって設定された三次元空間内の任意断面に対応する断層画像(画像データ)を形成するものである。その場合において3Dデータメモリ16内における任意断面に相当するデータアレイが読み出され、それらに基づいて任意断層画像としてのBモード画像が形成される。その画像データは表示画像形成部26に送られる。   The three-dimensional image forming unit 18 executes image processing based on, for example, a volume rendering method based on the volume data stored in the 3D data memory 16, thereby forming a three-dimensional ultrasonic image (image data). The image data is sent to the display image forming unit 26. The arbitrary tomographic image forming unit 20 forms a tomographic image (image data) corresponding to an arbitrary cross section in the three-dimensional space set by the user. In that case, a data array corresponding to an arbitrary cross section in the 3D data memory 16 is read, and a B-mode image as an arbitrary tomographic image is formed based on the data array. The image data is sent to the display image forming unit 26.

組織抽出部22は、以下に詳述する本実施形態特有の画像データ処理を実行するモジュールであり、三次元空間内あるいはボリュームデータ内に存在する対象組織(あるいは対象組織データ)をトレース処理によって抽出するものである。この場合においては、マニュアルトレースと自動トレースとが併用されており、また、それぞれのトレース結果に対する自動修正処理が適用されている。それらについては後に詳述する。抽出された対象組織データは表示画像形成部26に送られ、対象組織の画像表示に利用される他、本実施形態においては体積演算部24に送られている。   The tissue extraction unit 22 is a module that executes image data processing unique to the present embodiment, which will be described in detail below, and extracts a target tissue (or target tissue data) existing in a three-dimensional space or volume data by a trace process. To do. In this case, manual tracing and automatic tracing are used together, and automatic correction processing for each trace result is applied. These will be described in detail later. The extracted target tissue data is sent to the display image forming unit 26 and used for image display of the target tissue. In addition, the extracted target tissue data is sent to the volume calculation unit 24 in this embodiment.

この体積演算部24は上述した体積演算法、例えばDisk Summation法により対象組織の体積を求めるモジュールである。すなわち、組織抽出部22により、対象組織の全体にわたって複数の閉ループとしてのトレースラインが構成されるため、それらのトレースラインに基づいて対象組織の体積を近似的に求めるものである。その場合においては、各閉ループ間すなわち各断面間の距離も利用される。演算された体積値のデータは表示画像形成部26へ送られる。なお、体積演算部24は、Average Rotation法などにより対象組織の体積を求めてもよい。   The volume calculation unit 24 is a module that calculates the volume of the target tissue by the volume calculation method described above, for example, the disk summation method. That is, since the tissue extraction unit 22 forms a plurality of trace lines as a closed loop over the entire target tissue, the volume of the target tissue is approximately obtained based on the trace lines. In that case, the distance between each closed loop, that is, between each cross section is also used. The calculated volume value data is sent to the display image forming unit 26. The volume calculation unit 24 may obtain the volume of the target tissue by the Average Rotation method or the like.

上記の三次元画像形成部18、任意断層画像形成部20及び組織抽出部22等の各モジュールは、ユーザによって選択された動作モードに応じて機能し、表示画像形成部26にはそれぞれのモードに対応するデータが入力される。表示画像形成部26は、入力されるデータに対して画像合成処理や色付け処理などの処理を施し、その結果であるデータを表示部28に出力する。表示部28には、選択された動作モードに応じて、三次元超音波画像、任意断層画像、抽出された組織の三次元画像、体積値等が表示される。ちなみに、三次元空間全体の三次元画像と対象組織の三次元画像とを合成して表示することも可能である。   Each of the modules such as the three-dimensional image forming unit 18, the arbitrary tomographic image forming unit 20, and the tissue extracting unit 22 functions according to the operation mode selected by the user, and the display image forming unit 26 has each mode. Corresponding data is input. The display image forming unit 26 performs processing such as image composition processing and coloring processing on the input data, and outputs the resulting data to the display unit 28. The display unit 28 displays a three-dimensional ultrasonic image, an arbitrary tomographic image, a three-dimensional image of the extracted tissue, a volume value, and the like according to the selected operation mode. Incidentally, it is also possible to synthesize and display a 3D image of the entire 3D space and a 3D image of the target tissue.

制御部30は、図1に示される各構成の動作制御を行っており、特に入力部32によってユーザにより設定されたパラメータに基づいて、上述した組織抽出処理及び体積演算の動作を制御している。また、制御部30は3Dデータメモリ16へのデータ書き込み制御等を担っている。入力部32は、キーボードやトラックボールなどを有する操作パネルによって構成されるものである。制御部30はCPU及び動作プログラムなどによって構成されるものである。単一のCPUが三次元画像処理、任意断層画像形成処理、組織抽出処理及び体積演算を実行するようにしてもよい。   The control unit 30 controls the operation of each component shown in FIG. 1, and controls the operations of the tissue extraction process and the volume calculation described above, particularly based on parameters set by the user by the input unit 32. . In addition, the control unit 30 is responsible for controlling data writing to the 3D data memory 16. The input unit 32 is configured by an operation panel having a keyboard, a trackball, and the like. The control unit 30 is configured by a CPU, an operation program, and the like. A single CPU may execute 3D image processing, arbitrary tomographic image formation processing, tissue extraction processing, and volume calculation.

次に、図2以降の各図を参照しつつ対象組織の抽出処理を具体的に説明する。図2にはその全体のプロセスがフローチャートとして示されている。   Next, the target tissue extraction processing will be specifically described with reference to FIGS. FIG. 2 is a flowchart showing the entire process.

図2のS101では、上述した3Dプローブを用いてデータが収集される。この場合においては、複数の走査面が形成される。本実施形態における観測対象(対象組織)は、例えば胎盤である。S102では、図1に示した3Dデータメモリ上にボリュームデータが構築される。そして、図2のS103においては、表示部に任意断層画像を表示させながら、その断面の位置を適宜調整することにより、基準断面が設定される。   In S101 of FIG. 2, data is collected using the 3D probe described above. In this case, a plurality of scanning planes are formed. The observation target (target tissue) in the present embodiment is, for example, the placenta. In S102, volume data is constructed on the 3D data memory shown in FIG. In S103 of FIG. 2, the reference cross section is set by appropriately adjusting the position of the cross section while displaying the arbitrary tomographic image on the display unit.

図3には、ボリュームデータ(三次元データ空間)44内の胎盤(胎盤のデータ)42に対して設定された基準断面46が示されている。この場合においては、対象組織である胎盤42の全体が断面として表れるように、特に、この断面が最大となるように基準断面46の位置決めを行うのが望ましい。ただし、後に説明するように断面セットとしての参照断面列(断面セット)が設定されるため、基準断面46はそのような参照断面列が対象組織である胎盤42の全体をカバーするように設定されれば充分である。   FIG. 3 shows a reference cross section 46 set for the placenta (placenta data) 42 in the volume data (three-dimensional data space) 44. In this case, it is desirable to position the reference cross section 46 so that the entire placenta 42, which is the target tissue, appears as a cross section, in particular, so that this cross section is maximized. However, as will be described later, a reference cross-section row (cross-section set) is set as a cross-section set, and therefore the reference cross-section 46 is set so that the reference cross-section row covers the entire placenta 42 that is the target tissue. Is sufficient.

図2のS104では、図4に示されるように基準断面に相当する断層画像46A上において、対象組織である胎盤42Bについて両端の点がユーザにより設定される。両端の点は図4において符号50,52で表されている。それらを結ぶ直線が基準線54である。図4において、符号43は子宮を示しており、符号45は羊水を示している。図示されるように胎盤42Bは子宮43の内壁に接合されており、断層画像46A上においてその接合部分、すなわち境界部分については輝度差が小さく、境界が不明瞭なものとなっている。なお、図2のS104では以下に説明する参照断面列を構成する断面の枚数mが設定される。   In S104 of FIG. 2, as shown in FIG. 4, on the tomographic image 46 </ b> A corresponding to the reference cross section, points on both ends of the placenta 42 </ b> B that is the target tissue are set by the user. The points at both ends are represented by reference numerals 50 and 52 in FIG. A straight line connecting them is a reference line 54. In FIG. 4, the code | symbol 43 has shown the uterus and the code | symbol 45 has shown amniotic fluid. As shown in the figure, the placenta 42B is joined to the inner wall of the uterus 43, and on the tomographic image 46A, the joined portion, that is, the boundary portion has a small luminance difference and the boundary is unclear. In S104 of FIG. 2, the number m of the cross sections constituting the reference cross section row described below is set.

基準線54が設定されると、図5に示されるように、ボリュームデータ44によって構成される三次元データ空間に対して参照断面列56が自動的に生成される。参照断面列56は、図4に示す基準線54に直交する複数の断面として構成され、すなわち、それは一方の点50から他方の点52までにわたって等間隔あるいは非等間隔で複数の断面を並べたものに相当する。図5に示す参照断面列56は、複数のマニュアルトレース用参照断面58と、複数の自動トレース用参照断面60とで構成される。ここで、マニュアルトレース用参照断面58は予め定められた枚数だけ形成されており、その枚数はnである。例えば5〜10の範囲内にnの値が定められる。ここのマニュアルトレース用参照断面は代表断面に相当するものであり、その代表断面についてだけマニュアルトレースが行われるので、ユーザの負担を大幅に軽減できる。一方、後に説明するように個々の自動トレース用参照断面60については補間処理により自動トレースが実行される。   When the reference line 54 is set, as shown in FIG. 5, a reference section row 56 is automatically generated for the three-dimensional data space constituted by the volume data 44. The reference cross-section row 56 is configured as a plurality of cross sections orthogonal to the reference line 54 shown in FIG. 4, that is, it arranges a plurality of cross sections at regular intervals or non-uniform intervals from one point 50 to the other point 52. It corresponds to a thing. The reference section row 56 shown in FIG. 5 includes a plurality of manual trace reference sections 58 and a plurality of automatic trace reference sections 60. Here, the reference cross section 58 for manual tracing is formed in a predetermined number, and the number is n. For example, the value of n is determined within a range of 5 to 10. The reference cross section for manual tracing here corresponds to a representative cross section, and manual tracing is performed only for the representative cross section, so that the burden on the user can be greatly reduced. On the other hand, as will be described later, automatic tracing is executed by interpolation processing for each automatic tracing reference section 60.

具体的に説明すると、図2のS105においては選択されたn枚の参照断面が画面上に断層画像として表示される。例えば、図5に示したn枚の参照断面58の各々に対応した断層画像が一画面内に並べられて同時に表示される。また、n枚の参照断面58の各々に対応した断層画像が一枚ずつ表示されてもよい。   More specifically, in S105 of FIG. 2, the selected n reference cross sections are displayed as a tomographic image on the screen. For example, tomographic images corresponding to each of the n reference cross sections 58 shown in FIG. 5 are arranged in one screen and displayed simultaneously. One tomographic image corresponding to each of the n reference sections 58 may be displayed one by one.

図2のS106では、個々の断層画像に対してマニュアルトレース処理が実行され、すなわち入力部が用いられて画像観察を行いながらユーザにより胎盤の輪郭すなわち境界がトレースされる。そのトレース結果が図6に示されている。符号42Bは胎盤の断面を示し、符号42Cは胎盤の輪郭を表している。その輪郭は子宮43に接触して不明瞭となっている部分と羊水45に接触して比較的明瞭になっている部分とを有している。符号66はマニュアルトレースラインを表しており、閉ループとして輪郭42Cがなぞられている。マニュアルトレースライン66は子宮43側の部分66Bと羊水45側の部分66Aを有している。   In S106 of FIG. 2, manual trace processing is executed for each tomographic image, that is, the outline of the placenta, that is, the boundary is traced by the user while observing the image using the input unit. The trace result is shown in FIG. Reference numeral 42B represents a cross-section of the placenta, and reference numeral 42C represents the outline of the placenta. The outline has a portion that is indistinct by contacting the uterus 43 and a portion that is relatively clear by contacting the amniotic fluid 45. Reference numeral 66 represents a manual trace line, and a contour 42C is traced as a closed loop. The manual trace line 66 has a uterus 43 side portion 66B and an amniotic fluid 45 side portion 66A.

特に子宮43側の部分66Bについては、子宮43と胎盤42Bとの間の輝度差が小さいことなどから境界が不明瞭である。不明瞭な部分であっても人間の視覚判断によりある程度のトレースを行うことが可能であるが、必ずしも容易ではない。そこで、本実施形態においては、ユーザによるマニュアルトレースの操作を支援するために、入力支援画像として、連続断層画像が形成されて表示部へ表示される。   In particular, in the portion 66B on the uterus 43 side, the boundary is unclear due to a small luminance difference between the uterus 43 and the placenta 42B. Even if it is an indistinct portion, it is possible to trace to some extent by human visual judgment, but this is not always easy. Therefore, in the present embodiment, a continuous tomographic image is formed as an input support image and displayed on the display unit in order to support the manual trace operation by the user.

図7は、マニュアルトレースの際に表示される表示画像例1を示している。図7に示す表示画像70は、例えばDisk Summation法を利用する場合に適している。表示画像70は、表示画像形成部(図1の符号26)において形成されて表示部(図1の符号28)に表示される。表示画像70は、入力支援画像として機能する連続断層画像72と、参照画像として機能するインデックス画像74を含んでいる。   FIG. 7 shows a display image example 1 displayed during manual tracing. The display image 70 shown in FIG. 7 is suitable when, for example, the Disk Summation method is used. The display image 70 is formed in the display image forming part (reference numeral 26 in FIG. 1) and displayed on the display part (reference numeral 28 in FIG. 1). The display image 70 includes a continuous tomographic image 72 that functions as an input support image and an index image 74 that functions as a reference image.

連続断層画像72は、断面セット内において代表断面を基準として配列された複数の断面の断層画像を順次表示する画像である。つまり、図5に示したn枚のマニュアルトレース用参照断面(代表断面)58のうちの一枚が選択され、選択されたマニュアルトレース用参照断面58とその近傍に配置された複数の自動トレース用参照断面60とに対応した複数の断層画像が順次表示される。なお、図7に示すように、順次表示される断層画像内には、胎盤42Bとそれに接する子宮43や羊水45が含まれている。さらに、ユーザによって設定されるマニュアルトレースライン66も表示される。   The continuous tomographic image 72 is an image that sequentially displays tomographic images of a plurality of cross sections arranged with reference to the representative cross section in the cross section set. That is, one of the n manual trace reference cross sections (representative cross sections) 58 shown in FIG. 5 is selected, and the selected manual trace reference cross section 58 and a plurality of automatic traces arranged in the vicinity thereof are used. A plurality of tomographic images corresponding to the reference cross section 60 are sequentially displayed. As shown in FIG. 7, the tomographic images sequentially displayed include the placenta 42B and the uterus 43 and amniotic fluid 45 in contact therewith. Further, a manual trace line 66 set by the user is also displayed.

対象組織である胎盤42Bの輪郭は、特に子宮43との境界部分において不鮮明になる場合がある。不明瞭な場合には、代表断面の1枚のみの画像を凝視し続けても、輪郭を認識することは困難である。これに対し、本実施形態では、連続断層画像72によって、代表断面を基準として配列された複数の断面の断層画像が順次表示されるため、胎盤42Bの境界付近における微妙な画像変化、例えば境界の内外でスペックルの発生や消滅の傾向が微妙に異なる等を感覚的に読み取ることが可能になる。つまり、複数の断面の断層画像を利用した総合的な判断から、胎盤42Bと子宮43との境界が不明瞭な部分においてもその境界を比較的高い精度で見出すことが可能になる。また、連続断層画像72は、表示画像形成部によって形成されるため、例えばユーザが代表断面の周辺の複数の断面を探し出す操作や複数の断面を順次表示させる操作などを省略することもできる。つまり、ユーザに強いる負担を軽減させつつ、ユーザが連続断層画像72を見ながら高い精度でマニュアルトレースを行うことが可能になる。   The outline of the placenta 42 </ b> B, which is the target tissue, may be blurred particularly at the boundary with the uterus 43. If it is unclear, it is difficult to recognize the contour even if the user continues to stare at only one image of the representative cross section. On the other hand, in the present embodiment, since the tomographic images of a plurality of cross sections arranged with the representative cross section as a reference are sequentially displayed by the continuous tomographic image 72, a subtle image change near the boundary of the placenta 42B, for example, the boundary It becomes possible to sensuously read the difference in the tendency of speckle generation and disappearance inside and outside. That is, it is possible to find the boundary between the placenta 42B and the uterus 43 with comparatively high accuracy even in a portion where the boundary between the placenta 42B and the uterus 43 is unclear, based on comprehensive judgment using tomographic images of a plurality of cross sections. Further, since the continuous tomographic image 72 is formed by the display image forming unit, for example, an operation of searching for a plurality of cross sections around the representative cross section or an operation of sequentially displaying the plurality of cross sections can be omitted. That is, the user can perform manual tracing with high accuracy while reducing the burden imposed on the user while viewing the continuous tomographic image 72.

さらに、本実施形態においては、表示画像形成部によってインデックス画像74が形成される。インデックス画像74は、断面セットを構成する複数の断面の配列状態を表した画像である。つまり、胎盤42に対して設定された複数の参照断面列(図5の符号56)の配列状態を表示している。なお、インデックス画像74には、m枚の全ての参照断面列が表示されてもよいが、マニュアルトレース用参照断面(代表断面)のみが表示されてもよい。図7においては、インデックス画像74内に、AからHまでの8枚の代表断面についての配列状態が表示されている。なお、AからHまでの8枚の代表断面のうち、現在マニュアルトレースの対象となっている代表断面Cのみが実線で強調表示されており、他の代表断面については破線で表示されている。   Furthermore, in the present embodiment, the index image 74 is formed by the display image forming unit. The index image 74 is an image representing an arrangement state of a plurality of cross sections constituting the cross section set. That is, the arrangement state of a plurality of reference section rows (reference numeral 56 in FIG. 5) set for the placenta 42 is displayed. In the index image 74, all m reference cross-section columns may be displayed, but only the manual trace reference cross-section (representative cross-section) may be displayed. In FIG. 7, an array state of eight representative cross sections from A to H is displayed in the index image 74. Of the eight representative cross sections from A to H, only the representative cross section C that is currently subject to manual tracing is highlighted with a solid line, and the other representative cross sections are displayed with broken lines.

また、インデックス画像74内には、連続断層画像72において利用される複数の断面の配列範囲を示すマーカが表示される。つまり、図7において、代表断面Bと代表断面Dの位置に、塗り潰された三角形のマーカが表示されている。これは、代表断面Bから代表断面Dまでの間に存在する断面が利用されて連続断層画像72が形成されていることを示している。ちなみに、連続断層画像72は、代表断面Bから代表断面Dに向かって複数の断面を順次表示させたものであってもよいし、逆に、代表断面Dから代表断面Bに向かって複数の断面を順次表示させたものであってもよい。もちろん、代表断面Bと代表断面Dとの間で複数の断面を往復表示させてもよい。   In the index image 74, a marker indicating the array range of a plurality of cross sections used in the continuous tomographic image 72 is displayed. That is, in FIG. 7, filled triangular markers are displayed at the positions of the representative cross section B and the representative cross section D. This indicates that a continuous tomographic image 72 is formed by using a cross section existing between the representative cross section B and the representative cross section D. Incidentally, the continuous tomographic image 72 may be obtained by sequentially displaying a plurality of cross sections from the representative cross section B to the representative cross section D, and conversely, a plurality of cross sections from the representative cross section D to the representative cross section B. May be displayed sequentially. Of course, a plurality of cross sections may be reciprocally displayed between the representative cross section B and the representative cross section D.

さらに、インデックス画像74内には、連続断層画像72において現在表示されている断面の位置を特定するマーカが表示される。つまり、図7において、代表断面Cの近傍に白抜きの三角形のマーカが表示されている。このマーカの位置に対応する断面が現在のところ連続断層画像72に表示されていることを示しており、断面が順次表示されるに従って、白抜きの三角形のマーカが代表断面Bと代表断面Dとの間で移動表示される。   Further, in the index image 74, a marker for specifying the position of the cross section currently displayed in the continuous tomographic image 72 is displayed. That is, in FIG. 7, a white triangular marker is displayed in the vicinity of the representative cross section C. This shows that the cross section corresponding to the position of this marker is currently displayed in the continuous tomographic image 72. As the cross sections are sequentially displayed, the white triangular markers are represented by the representative cross section B and the representative cross section D. Is displayed moving between.

なお、連続断層画像72において利用される複数の断面の配列範囲、つまり塗り潰された三角形のマーカの位置や、連続断層画像72として順次表示される断面の表示速度、つまり白抜きの三角形のマーカの移動速度は、例えばユーザ操作などに応じて可変設定されることが望ましい。   It should be noted that the arrangement range of a plurality of cross sections used in the continuous tomographic image 72, that is, the positions of the filled triangular markers, the display speed of the cross sections sequentially displayed as the continuous tomographic images 72, that is, the white triangle markers. It is desirable that the moving speed is variably set according to, for example, a user operation.

また、連続断層画像72を表示させる際に、マニュアルトレースの対象となる断面を透かし表示処理などにより表示し続けてもよい。例えば、図7における代表断面Cのマニュアルトレースを行う場合に、連続断層画像72として、代表断面Cの画像を50パーセントの輝度で静止表示し続け、その代表断面Cの画像上に、代表断面Bから代表断面Dまでの複数の断面の断層画像を50パーセントの輝度で重ねて順次表示させてもよい。これにより、代表断面Cの画像を透かし処理で残しつつ複数の断面を順次表示させた連続断層画像72を形成することができる。   Further, when displaying the continuous tomographic image 72, the cross section to be manually traced may be continuously displayed by a watermark display process or the like. For example, when manual tracing of the representative cross section C in FIG. 7 is performed, the image of the representative cross section C is continuously displayed with a luminance of 50% as the continuous tomographic image 72, and the representative cross section B is displayed on the image of the representative cross section C. Tomographic images of a plurality of cross sections from the representative cross section D to the representative cross section D may be superimposed and displayed sequentially with 50% luminance. As a result, it is possible to form a continuous tomographic image 72 in which a plurality of cross-sections are sequentially displayed while the image of the representative cross-section C is left in the watermark process.

図8は、マニュアルトレースの際に表示される表示画像例2を示している。図8に示す表示画像70´は、例えばAverage Rotation法を利用する場合に適している。図7に示した表示画像70と同様に、図8に示す表示画像70´は、表示画像形成部(図1の符号26)において形成されて表示部(図1の符号28)に表示される。表示画像70´は、入力支援画像として機能する連続断層画像72と、参照画像として機能するインデックス画像74´を含んでいる。なお、連続断層画像72は、前述(図7)のものと同じであるため、ここでは説明を省略する。   FIG. 8 shows a display image example 2 displayed during manual tracing. A display image 70 ′ illustrated in FIG. 8 is suitable when, for example, the Average Rotation method is used. As with the display image 70 shown in FIG. 7, the display image 70 ′ shown in FIG. . The display image 70 ′ includes a continuous tomographic image 72 that functions as an input support image and an index image 74 ′ that functions as a reference image. Note that the continuous tomographic image 72 is the same as that described above (FIG. 7), and a description thereof will be omitted here.

インデックス画像74´は、断面セットを構成する複数の断面の配列状態を表した画像である。つまり、胎盤42に対して設定された複数の参照断面列の配列状態を表示している。Average Rotation法においては、一本の軸を中心として平面を回転させるように複数の参照断面列が配列される。インデックス画像74´には、全ての参照断面列が表示されてもよいが、マニュアルトレース用参照断面(代表断面)のみが表示されてもよい。図8においては、インデックス画像74´内に、AからFまでの6枚の代表断面についての配列状態が表示されている。なお、AからFまでの6枚の代表断面のうち、現在マニュアルトレースの対象となっている代表断面Cのみが実線で強調表示されており、他の代表断面については破線で表示されている。   The index image 74 ′ is an image that represents an arrangement state of a plurality of cross sections constituting the cross section set. That is, the arrangement state of a plurality of reference section rows set for the placenta 42 is displayed. In the Average Rotation method, a plurality of reference section rows are arranged so as to rotate a plane around a single axis. In the index image 74 ′, all reference cross-section rows may be displayed, but only the manual cross-section reference cross-section (representative cross-section) may be displayed. In FIG. 8, in the index image 74 ′, the arrangement state of six representative cross sections from A to F is displayed. Of the six representative cross sections from A to F, only the representative cross section C that is currently subject to manual tracing is highlighted with a solid line, and the other representative cross sections are displayed with broken lines.

また、インデックス画像74´内には、連続断層画像72において利用される複数の断面の配列範囲を示すマーカが表示される。つまり、図8において、代表断面Bと代表断面Dの位置に、塗り潰された三角形のマーカが表示されている。これは、代表断面Bから代表断面Dまでの間に存在する断面が利用されて連続断層画像72が形成されていることを示している。また、インデックス画像74´内には、連続断層画像72において現在表示されている断面の位置を特定するマーカが表示される。つまり、図8において、代表断面Cの近傍に白抜きの三角形のマーカが表示されている。このマーカの位置に対応する断面が現在のところ連続断層画像72に表示されていることを示しており、断面が順次表示されるに従って、白抜きの三角形のマーカが代表断面Bと代表断面Dとの間で円周に沿って移動表示される。   In the index image 74 ′, a marker indicating the array range of a plurality of cross sections used in the continuous tomographic image 72 is displayed. That is, in FIG. 8, filled triangular markers are displayed at the positions of the representative cross section B and the representative cross section D. This indicates that a continuous tomographic image 72 is formed by using a cross section existing between the representative cross section B and the representative cross section D. In the index image 74 ′, a marker for specifying the position of the currently displayed cross section in the continuous tomographic image 72 is displayed. That is, in FIG. 8, a white triangular marker is displayed in the vicinity of the representative cross section C. This shows that the cross section corresponding to the position of this marker is currently displayed in the continuous tomographic image 72. As the cross sections are sequentially displayed, the white triangular markers are represented by the representative cross section B and the representative cross section D. The display is moved along the circumference.

図9は、本実施形態におけるマニュアルトレース処理を説明するためのフローチャートである。図9のフローチャートは図2のS106における具体的な処理内容に相当する。   FIG. 9 is a flowchart for explaining manual trace processing in the present embodiment. The flowchart of FIG. 9 corresponds to the specific processing content in S106 of FIG.

図2のS105においてn枚の参照断面(代表断面)が画面上に断層画像として表示されると、図9のS901において、ユーザは、例えば表示された断層画像を見ながら、マニュアルトレースを行う代表断面を指定する。次に、S902において、ユーザは、指定した代表断面を基準として、連続断層画像(図7の符号72)に利用される複数の断面の開始面と終了面を指定する。   When n reference cross sections (representative cross sections) are displayed as tomographic images on the screen in S105 of FIG. 2, in S901 of FIG. 9, for example, the user performs a manual trace while viewing the displayed tomographic images. Specify the cross section. Next, in S902, the user designates the start and end surfaces of a plurality of cross sections used for the continuous tomographic image (reference numeral 72 in FIG. 7) with the designated representative cross section as a reference.

具体的には、例えば、図7のインデックス画像74を見ながら、ユーザが、インデックス画像74内の塗り潰された三角形のマーカの位置をスライドさせて開始面と終了面を指定する。なお、開始面と終了面は、指定された代表断面(例えば代表断面C)の左右両隣の代表断面(例えば代表断面B,D)に自動設定(デフォルト設定)されてもよい。ちなみに、指定された代表断面が端面(例えば代表断面A)の場合には、当該代表断面自身を開始面とし、その隣の代表断面(例えば代表断面B)を終了面とする。   Specifically, for example, while viewing the index image 74 in FIG. 7, the user designates the start surface and the end surface by sliding the position of the filled triangular marker in the index image 74. The start surface and the end surface may be automatically set (default setting) to the representative cross sections (for example, the representative cross sections B and D) adjacent to the left and right sides of the designated representative cross section (for example, the representative cross section C). Incidentally, when the designated representative cross section is an end face (for example, the representative cross section A), the representative cross section itself is set as the start face, and the adjacent representative cross section (for example, the representative cross section B) is set as the end face.

開始面と終了面が指定されると、図9のS903において、連続断層画像(図7の符号72)の連続表示が開始され、また、S904において、その連続表示が停止される。ユーザは、S903からS904の間において連続表示される連続断層画像を見ながら、対象組織である胎盤(図7の符号42B)の境界を確認し、そして、S905において胎盤の境界をマニュアルトレースする。なお、連続表示を停止させずに、連続表示を継続した状態でマニュアルトレースを実行してもよい。   When the start surface and the end surface are designated, continuous display of the continuous tomographic image (reference numeral 72 in FIG. 7) is started in S903 of FIG. 9, and the continuous display is stopped in S904. The user confirms the boundary of the placenta (reference numeral 42B in FIG. 7) as the target tissue while viewing the continuous tomographic images continuously displayed between S903 and S904, and manually traces the boundary of the placenta in S905. In addition, you may perform a manual trace in the state which continued the continuous display, without stopping a continuous display.

マニュアルトレースが実行されると、図9のS906において、連続断層画像(図7の符号72)上にマニュアルトレースライン66を合成した画像の表示が開始され、S907においてその画像の表示が停止される。ユーザは、S906からS907の間において連続表示される連続断層画像とそれに合成されたマニュアルトレースラインを見ながら、マニュアルトレースラインが適切であったか否かを確認する。   When the manual trace is executed, display of an image obtained by synthesizing the manual trace line 66 on the continuous tomographic image (reference numeral 72 in FIG. 7) is started in S906 of FIG. 9, and the display of the image is stopped in S907. . The user confirms whether or not the manual trace line is appropriate while looking at the continuous tomographic images continuously displayed between S906 and S907 and the manual trace line synthesized therewith.

マニュアルトレースラインが適切でなければ、S908からS910へ進んでマニュアルトレースラインの修正が行われ、再びS906へ戻り、修正後のマニュアルトレースラインが確認される。   If the manual trace line is not appropriate, the process proceeds from S908 to S910, the manual trace line is corrected, the process returns to S906 again, and the corrected manual trace line is confirmed.

マニュアルトレースラインが適切であれば、S908においてマニュアルトレースが確定され、これによりS901において指定された代表断面のトレースが終了する。さらに、S909において、全ての代表断面についてのマニュアルトレースが終了したか否かが確認され、終了していなければ再びS901に戻り、残りの代表断面が指定されて、S902以降の処理が再び実行される。S909において、全ての代表断面についてのマニュアルトレースが終了したことが確認されると、図9のフローチャートが終了し、図2のS107へ進む。   If the manual trace line is appropriate, the manual trace is confirmed in S908, and the trace of the representative cross section designated in S901 is ended. Further, in S909, it is confirmed whether or not manual tracing has been completed for all the representative cross sections. If not completed, the process returns to S901 again, the remaining representative cross sections are designated, and the processing from S902 is executed again. The If it is confirmed in S909 that manual tracing has been completed for all representative cross sections, the flowchart of FIG. 9 ends, and the process proceeds to S107 of FIG.

図2に戻り、S107では、マニュアルトレースラインの自動的な修正処理が実行される。この修正処理は各マニュアルトレースラインごとに行われ、すなわち代表断面としてのマニュアルトレース用参照断面ごとに実行される。例えば、マニュアルトレースライン上の個々のポイントごとにその周辺に対してエッジ検出処理が実行され、エッジが検出されたポイントについてはエッジ上の位置に当該ポイントをシフトさせる位置修正処理が実行される。ただし、エッジが検出されないような場合にはマニュアルトレース結果がそのまま保存される。これにより、例えば、図6に示される羊水45側のライン部分66Aについては輪郭42Cに沿って忠実にトレースした自動トレースライン部分に修正され、その一方、子宮43側の部分については輝度差があまりないため自動トレースを行わずに、マニュアルトレースライン部分68Bとして元の形状が保存される。   Returning to FIG. 2, in step S107, automatic correction processing of the manual trace line is executed. This correction process is performed for each manual trace line, that is, for each manual trace reference section as a representative section. For example, edge detection processing is performed on the periphery of each point on the manual trace line, and position correction processing for shifting the point to a position on the edge is performed on the point where the edge is detected. However, if no edge is detected, the manual trace result is stored as it is. Thereby, for example, the line portion 66A on the amniotic fluid 45 side shown in FIG. 6 is corrected to the automatic trace line portion faithfully traced along the contour 42C, while the luminance difference is not so much on the portion on the uterus 43 side. Since there is no automatic trace, the original shape is stored as the manual trace line portion 68B.

図2のS108では、図5に示した複数の自動トレース用参照断面60について自動トレース処理が実行される。この場合においては、図10に示されるように、複数のマニュアルトレース用参照断面58上に形成された複数の修正済みマニュアルトレースラインとしての複合トレースラインが基準とされ、それらを基礎として補間処理を行うことにより、複数の閉ループを面状に繋ぎ合わせたものとしてトレース面72が構成される。この場合、完全なる三次元的な曲面を定義する必要はないが、少なくとも個々の自動トレース用参照断面60について補完トレースラインが定義できるように補間処理を実行する。   In S108 of FIG. 2, the automatic trace processing is executed for the plurality of reference sections 60 for automatic trace shown in FIG. In this case, as shown in FIG. 10, composite trace lines as a plurality of corrected manual trace lines formed on a plurality of reference cross sections 58 for manual trace are used as a reference, and interpolation processing is performed based on them. By doing so, the trace surface 72 is configured by connecting a plurality of closed loops in a planar shape. In this case, it is not necessary to define a complete three-dimensional curved surface, but the interpolation processing is executed so that a complementary trace line can be defined at least for each automatic trace reference section 60.

図2のS109においては、自動トレース用参照断面の補完トレースラインを修正する処理が実行される。具体的には、S107における処理と同様に、羊水に接しているライン部分について自動的なトレース修正処理が施され、その一方で子宮に接している部分については補完によるトレース結果がそのまま保存、尊重され、部分的に補間トレースラインが修正される。このような処理は個々の自動トレース用参照断面について実行される。   In S109 of FIG. 2, a process for correcting the complementary trace line of the reference section for automatic tracing is executed. Specifically, similar to the processing in S107, the automatic trace correction processing is performed on the line portion in contact with the amniotic fluid, while the trace result by complementation is stored and respected as it is in the portion in contact with the uterus. And the interpolated trace lines are partially modified. Such a process is executed for each reference section for automatic tracing.

以上の処理を行うと、図10に示されるように、対象組織としての胎盤全体をその形態に沿って包み込んだ自動修正後のトレース面72を定義することができ、当該トレース面72は具体的には複数の閉ループすなわち複数のトレースラインからなるものである。それらのトレースラインは、上述した複数の複合トレースライン(自動修正後のマニュアルトレースライン)及び複数の自動修正後の自動トレースラインからなるものである。   When the above processing is performed, as shown in FIG. 10, it is possible to define the automatically corrected trace surface 72 that wraps the entire placenta as the target tissue along its form. Consists of a plurality of closed loops, ie, a plurality of trace lines. These trace lines are composed of the above-described plurality of composite trace lines (manual trace lines after automatic correction) and a plurality of automatic trace lines after automatic correction.

そこで、図2のS110において体積演算部(図1の符号24)は、Disk Summation法などに基づいて胎盤の体積を求める。すなわち、図10に示すように、胎盤の全体にわたって複数の閉ループとしてのトレースラインが構成されるため、それらのトレースラインに基づいて胎盤の体積を近似的に求めるものである。その場合においては、各閉ループ間すなわち各断面間の距離も利用される。   Therefore, in S110 of FIG. 2, the volume calculation unit (reference numeral 24 in FIG. 1) obtains the volume of the placenta based on the Disk Summation method or the like. That is, as shown in FIG. 10, since a plurality of trace lines as closed loops are formed throughout the placenta, the placenta volume is approximately obtained based on these trace lines. In that case, the distance between each closed loop, that is, between each cross section is also used.

演算された体積値のデータは表示画像形成部(図1の符号26)へ送られ、図2のS111においては、抽出された組織の三次元画像が表示され、また演算された体積値が画面上に表示される。   The calculated volume value data is sent to the display image forming unit (reference numeral 26 in FIG. 1). In S111 in FIG. 2, the extracted three-dimensional image of the tissue is displayed, and the calculated volume value is displayed on the screen. Displayed above.

上記実施形態においては、基準断面の設定、両端点の指定、代表断面数の指定、また断面セット全体の個数等についてユーザによって設定が行われていたが、それらの全部あるいは一部を自動的に設定するようにしてもよい。また状況に応じて自動的にそれらの値を可変するようにしてもよい。上記実施形態において、複数の断面は基本的には互いに均等間隔に設定されるが、例えば組織の形態変化が激しい部位などについては断面の間隔を小さくし、すなわち密に断面を設定し、それ以外の部位においては断面の間隔を大きくし、すなわち粗に断面を設定するようにしてもよい。また、自動トレース及びトレースラインの修正方法としては従来から提案されている各種の手法を適用することが可能である。   In the above embodiment, setting of the reference cross section, designation of both end points, designation of the number of representative cross sections, the number of the entire cross section set, and the like have been set by the user, but all or part of them are automatically set. You may make it set. Further, these values may be automatically changed according to the situation. In the above embodiment, the plurality of cross-sections are basically set at equal intervals. For example, for a site where the morphological change of the tissue is severe, the cross-section interval is reduced, that is, the cross-section is set densely, and the others. In this part, the interval between the cross sections may be increased, that is, the cross section may be set roughly. In addition, various methods proposed in the past can be applied as the automatic trace and trace line correction methods.

以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。   As mentioned above, although preferred embodiment of this invention was described, embodiment mentioned above is only a mere illustration in all the points, and does not limit the scope of the present invention. The present invention includes various modifications without departing from the essence thereof.

本発明に係る超音波診断装置の実施形態を示すブロック図である。1 is a block diagram showing an embodiment of an ultrasonic diagnostic apparatus according to the present invention. 対象組織の抽出処理を説明するためのフローチャートである。It is a flowchart for demonstrating the extraction process of object organization. ボリュームデータに対する基準断面の設定を説明するための図である。It is a figure for demonstrating the setting of the reference | standard cross section with respect to volume data. 断層画像上における基準線の設定を説明するための図である。It is a figure for demonstrating the setting of the reference line on a tomographic image. ボリュームデータに対して形成された参照断面列を示す図である。It is a figure which shows the reference cross-section row | line formed with respect to volume data. マニュアルトレースラインを説明するための図である。It is a figure for demonstrating a manual trace line. マニュアルトレースの際に表示される表示画像例1を示す図である。It is a figure which shows the example 1 of a display image displayed in the case of a manual trace. マニュアルトレースの際に表示される表示画像例2を示す図である。It is a figure which shows the example 2 of a display image displayed in the case of a manual trace. マニュアルトレース処理を説明するためのフローチャートである。It is a flowchart for demonstrating a manual trace process. 複数のトレースラインからなるトレース面を示す図である。It is a figure which shows the trace surface which consists of a some trace line.

符号の説明Explanation of symbols

10 3Dプローブ、12 送信部、14 受信部、16 3Dデータメモリ、18 三次元画像形成部、20 任意断層画像形成部、22 組織抽出部、24 体積演算部、26 表示画像形成部。   10 3D probe, 12 transmitting unit, 14 receiving unit, 16 3D data memory, 18 three-dimensional image forming unit, 20 arbitrary tomographic image forming unit, 22 tissue extracting unit, 24 volume calculating unit, 26 display image forming unit.

Claims (6)

対象組織を含む三次元空間に対して超音波を送受波することによりボリュームデータを得るデータ取得部と、
ボリュームデータで構成される仮想的なデータ空間内において、対象組織に対して、複数の断面で構成される断面セットを設定する断面設定部と、
断面セットに含まれる代表断面に対して、ユーザからの入力に応じて、対象組織の輪郭に対応したマニュアルトレースラインを設定するトレース処理部と、
前記入力のための入力支援画像として、断面セット内において代表断面を基準として配列された複数の断面の断層画像を順次表示する表示処理部と、
を有する、
ことを特徴とする超音波診断装置。
A data acquisition unit that obtains volume data by transmitting and receiving ultrasonic waves to and from a three-dimensional space including the target tissue;
In a virtual data space composed of volume data, a cross-section setting unit that sets a cross-section set composed of a plurality of cross sections for the target tissue,
A trace processing unit that sets a manual trace line corresponding to the contour of the target tissue in response to an input from the user with respect to the representative cross section included in the cross section set,
As an input support image for the input, a display processing unit that sequentially displays tomographic images of a plurality of cross sections arranged with reference to a representative cross section in a cross section set;
Having
An ultrasonic diagnostic apparatus.
請求項1に記載の超音波診断装置において、
前記表示処理部は、前記入力支援画像として順次表示される断層画像内に前記マニュアルトレースラインの画像を合成表示する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 1,
The display processing unit synthesizes and displays the image of the manual trace line in a tomographic image sequentially displayed as the input support image.
An ultrasonic diagnostic apparatus.
請求項1に記載の超音波診断装置において、
前記表示処理部は、前記断面セットを構成する複数の断面の配列状態を表した参照画像を表示し、前記入力支援画像において現在表示されている断面の位置を特定するマーカを当該参照画像内に表示する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 1,
The display processing unit displays a reference image representing an arrangement state of a plurality of cross sections constituting the cross section set, and a marker for specifying a position of a cross section currently displayed in the input support image is included in the reference image. indicate,
An ultrasonic diagnostic apparatus.
請求項3に記載の超音波診断装置において、
前記表示処理部は、前記入力支援画像において利用される複数の断面の配列範囲を示すマーカを前記参照画像内に表示する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 3.
The display processing unit displays a marker indicating an array range of a plurality of cross sections used in the input support image in the reference image.
An ultrasonic diagnostic apparatus.
請求項1に記載の超音波診断装置において、
前記入力支援画像に利用される複数の断面の配列範囲および前記入力支援画像として順次表示される断層画像の表示速度は可変設定される、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 1,
An array range of a plurality of cross sections used for the input support image and a display speed of tomographic images sequentially displayed as the input support image are variably set.
An ultrasonic diagnostic apparatus.
対象組織を含む三次元空間に対して超音波を送受波することにより得られるボリュームデータを処理する方法であって、
ボリュームデータで構成される仮想的なデータ空間内において、対象組織に対して、複数の断面で構成される断面セットを設定する断面設定工程と、
断面セットに含まれる代表断面に対して、ユーザからの入力に応じて、対象組織の輪郭に対応したマニュアルトレースラインを設定するトレース処理工程と、
前記入力のための入力支援画像として、断面セット内において代表断面を基準として配列された複数の断面の断層画像を順次表示する表示処理工程と、
を含む、
ことを特徴とするデータ処理方法。
A method for processing volume data obtained by transmitting and receiving ultrasonic waves to and from a three-dimensional space including a target tissue,
In a virtual data space composed of volume data, a section setting step for setting a section set composed of a plurality of sections for a target tissue,
A trace processing step for setting a manual trace line corresponding to the contour of the target tissue in response to an input from the user with respect to the representative cross section included in the cross section set,
As an input support image for the input, a display processing step for sequentially displaying tomographic images of a plurality of sections arranged with reference to a representative section in a section set;
including,
A data processing method.
JP2007036476A 2007-02-16 2007-02-16 Ultrasonic diagnostic apparatus and data processing method Active JP4922006B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007036476A JP4922006B2 (en) 2007-02-16 2007-02-16 Ultrasonic diagnostic apparatus and data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007036476A JP4922006B2 (en) 2007-02-16 2007-02-16 Ultrasonic diagnostic apparatus and data processing method

Publications (2)

Publication Number Publication Date
JP2008200097A true JP2008200097A (en) 2008-09-04
JP4922006B2 JP4922006B2 (en) 2012-04-25

Family

ID=39778196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007036476A Active JP4922006B2 (en) 2007-02-16 2007-02-16 Ultrasonic diagnostic apparatus and data processing method

Country Status (1)

Country Link
JP (1) JP4922006B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011031023A (en) * 2009-07-30 2011-02-17 Medison Co Ltd Ultrasonic system and method for setting sagittal view
JP2011098191A (en) * 2009-10-08 2011-05-19 Toshiba Corp Ultrasonic diagnosis apparatus, ultrasonic image processing apparatus, ultrasonic image processing method, and ultrasonic image processing program
JP2011115324A (en) * 2009-12-02 2011-06-16 Hitachi Medical Corp Ultrasonograph and ultrasonic image display method
JP2011251114A (en) * 2010-05-31 2011-12-15 Samsung Medison Co Ltd Three-dimensional ultrasonograph and method for operating the same
JP2012005563A (en) * 2010-06-23 2012-01-12 Hitachi Aloka Medical Ltd Ultrasonic data processor
JP2012045181A (en) * 2010-08-27 2012-03-08 Hitachi Aloka Medical Ltd Ultrasonic data processor
JP2013039246A (en) * 2011-08-17 2013-02-28 Hitachi Aloka Medical Ltd Ultrasound data processing device
KR101360385B1 (en) 2011-12-27 2014-02-10 연세대학교 산학협력단 Apparatus and method for judging placenta previa

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180086795A (en) * 2017-01-23 2018-08-01 삼성전자주식회사 Medical imaging apparatus and method of processing medical image

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06206776A (en) * 1991-05-17 1994-07-26 Toshiba Ceramics Co Ltd Refractory powder for flame spraying
JPH11164834A (en) * 1997-12-08 1999-06-22 Olympus Optical Co Ltd Ultrasonic image diagnostic apparatus
JP2006034548A (en) * 2004-07-27 2006-02-09 Hitachi Medical Corp Medical image display system
JP2006167080A (en) * 2004-12-15 2006-06-29 Aloka Co Ltd Ultrasonic diagnostic apparatus
JP2006314518A (en) * 2005-05-12 2006-11-24 Toshiba Corp Ultrasonic diagnostic unit

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06206776A (en) * 1991-05-17 1994-07-26 Toshiba Ceramics Co Ltd Refractory powder for flame spraying
JPH11164834A (en) * 1997-12-08 1999-06-22 Olympus Optical Co Ltd Ultrasonic image diagnostic apparatus
JP2006034548A (en) * 2004-07-27 2006-02-09 Hitachi Medical Corp Medical image display system
JP2006167080A (en) * 2004-12-15 2006-06-29 Aloka Co Ltd Ultrasonic diagnostic apparatus
JP2006314518A (en) * 2005-05-12 2006-11-24 Toshiba Corp Ultrasonic diagnostic unit

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011031023A (en) * 2009-07-30 2011-02-17 Medison Co Ltd Ultrasonic system and method for setting sagittal view
US9216007B2 (en) 2009-07-30 2015-12-22 Samsung Medison Co., Ltd. Setting a sagittal view in an ultrasound system
JP2011098191A (en) * 2009-10-08 2011-05-19 Toshiba Corp Ultrasonic diagnosis apparatus, ultrasonic image processing apparatus, ultrasonic image processing method, and ultrasonic image processing program
JP2011115324A (en) * 2009-12-02 2011-06-16 Hitachi Medical Corp Ultrasonograph and ultrasonic image display method
JP2011251114A (en) * 2010-05-31 2011-12-15 Samsung Medison Co Ltd Three-dimensional ultrasonograph and method for operating the same
JP2012005563A (en) * 2010-06-23 2012-01-12 Hitachi Aloka Medical Ltd Ultrasonic data processor
JP2012045181A (en) * 2010-08-27 2012-03-08 Hitachi Aloka Medical Ltd Ultrasonic data processor
JP2013039246A (en) * 2011-08-17 2013-02-28 Hitachi Aloka Medical Ltd Ultrasound data processing device
KR101360385B1 (en) 2011-12-27 2014-02-10 연세대학교 산학협력단 Apparatus and method for judging placenta previa

Also Published As

Publication number Publication date
JP4922006B2 (en) 2012-04-25

Similar Documents

Publication Publication Date Title
JP4922006B2 (en) Ultrasonic diagnostic apparatus and data processing method
JP5681623B2 (en) Ultrasound imaging of extended field of view with 2D array probe
US20110066031A1 (en) Ultrasound system and method of performing measurement on three-dimensional ultrasound image
JP5462598B2 (en) Ultrasound diagnostic system
JP4931676B2 (en) Ultrasonic diagnostic apparatus and volume data processing method
KR101100464B1 (en) Ultrasound system and method for providing three-dimensional ultrasound image based on sub region of interest
KR101501518B1 (en) The method and apparatus for displaying a two-dimensional image and a three-dimensional image
JPH11164833A (en) Medical image diagnostic apparatus
JP5647990B2 (en) Ultrasonic diagnostic apparatus and image construction method
EP2012140B1 (en) Ultrasound diagnosis apparatus
US9402600B2 (en) 3-dimensional elastic image generation method and ultrasonic diagnostic apparatus
JP4978148B2 (en) System and method for forming a three-dimensional image using multiple cross-sectional images
EP1795129B1 (en) Apparatus and method for displaying an ultrasound image
JP2007313311A (en) Apparatus and method for displaying ultrasonic image
JP4740695B2 (en) Ultrasonic diagnostic equipment
JP2015136449A (en) Ultrasonic diagnostic apparatus and beam forming method
JP5325951B2 (en) Ultrasonic data processor
JP4936281B2 (en) Ultrasonic diagnostic equipment
JP2008173216A (en) Ultrasonic diagnostic apparatus
KR101107478B1 (en) Ultrasound system and method for forming a plurality of 3 dimensional ultrasound images
JP5331313B2 (en) Ultrasonic diagnostic equipment
JP2013141515A (en) Medical image device and medical image constituting method
JP5841771B2 (en) Ultrasonic data processor
JP5959880B2 (en) Ultrasonic diagnostic equipment
JPH05329155A (en) Ultrasonic diagnostic system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120131

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120131

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120203

R150 Certificate of patent or registration of utility model

Ref document number: 4922006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250