JP2016036417A - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment Download PDF

Info

Publication number
JP2016036417A
JP2016036417A JP2014160016A JP2014160016A JP2016036417A JP 2016036417 A JP2016036417 A JP 2016036417A JP 2014160016 A JP2014160016 A JP 2014160016A JP 2014160016 A JP2014160016 A JP 2014160016A JP 2016036417 A JP2016036417 A JP 2016036417A
Authority
JP
Japan
Prior art keywords
image
image elements
ultrasonic
elements
diagnostic apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014160016A
Other languages
Japanese (ja)
Other versions
JP6356528B2 (en
Inventor
馬場 博隆
Hirotaka Baba
博隆 馬場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Aloka Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Aloka Medical Ltd filed Critical Hitachi Aloka Medical Ltd
Priority to JP2014160016A priority Critical patent/JP6356528B2/en
Publication of JP2016036417A publication Critical patent/JP2016036417A/en
Application granted granted Critical
Publication of JP6356528B2 publication Critical patent/JP6356528B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an improvement technology that specifies a noteworthy region in diagnosis.SOLUTION: Based on a shape of a spatial distribution of pixel values in image data of an ultrasonic image, an image element extraction part 32 extracts a plurality of image elements corresponding to a predetermined shape in the image data. An image element selection part 34 selects a plurality of noteworthy image elements which are candidates for a noteworthy part from the extracted plurality of image elements based on a statistical feature amount of the pixel values in each image element. A noteworthy region formation part 36 forms a noteworthy region corresponding to the noteworthy part based on the selected plurality of noteworthy image elements. Based on the noteworthy region, a region of interest (ROI) of the noteworthy part is established.SELECTED DRAWING: Figure 1

Description

本発明は、超音波診断装置に関し、特に、診断において注目すべき領域を特定する技術に関する。   The present invention relates to an ultrasonic diagnostic apparatus, and more particularly to a technique for specifying a region to be noted in diagnosis.

超音波診断装置を利用した診断において、超音波画像内の注目すべき領域に関心領域を設定することが知られている。例えば、超音波診断装置を利用する医師等のユーザが、その装置に表示される超音波画像を確認しつつ、その装置の操作デバイス等を利用して、画像内の注目すべき領域に関心領域を設定するための操作を行う。しかし、関心領域の設定に係る操作は必ずしも容易ではないため、操作に係るユーザの負担を軽減する技術がいくつか提案されている。   In diagnosis using an ultrasonic diagnostic apparatus, it is known to set a region of interest in a region of interest in an ultrasound image. For example, a user such as a doctor who uses an ultrasonic diagnostic apparatus confirms an ultrasonic image displayed on the apparatus and uses an operation device of the apparatus to display a region of interest in a region of interest in the image. Perform the operation to set. However, since the operation related to the setting of the region of interest is not always easy, several techniques for reducing the burden on the user related to the operation have been proposed.

例えば、特許文献1には、生体組織の弾性情報を得る超音波診断装置において、超音波画像内の病変部と脂肪層の各々に対して、関心領域を設定する技術が記載されている。特許文献1の超音波診断装置は、超音波画像内における画素の輝度値等に基づいて、組織の境界等を特定することにより、ユーザ操作の負担を軽減しつつ、好適な関心領域の設定を可能としている。   For example, Patent Document 1 describes a technique for setting a region of interest for each of a lesioned part and a fat layer in an ultrasonic image in an ultrasonic diagnostic apparatus that obtains elasticity information of a living tissue. The ultrasonic diagnostic apparatus disclosed in Patent Literature 1 specifies a region of interest or the like based on a luminance value of a pixel in an ultrasonic image, thereby setting a suitable region of interest while reducing the burden on the user operation. It is possible.

ちなみに、非特許文献1には、三次元医用画像の三次元曲率に基づく特徴抽出に係る抽出アルゴリズムが記載されており、この抽出アルゴリズムの診断や治療への応用が期待される。   Incidentally, Non-Patent Document 1 describes an extraction algorithm related to feature extraction based on the three-dimensional curvature of a three-dimensional medical image, and application of this extraction algorithm to diagnosis and treatment is expected.

国際公開第2013/183432号パンフレットInternational Publication No. 2013/183432 Pamphlet

河田佳樹、仁木登、「3次元曲率特徴の抽出アルゴリズム」、MEDICAL IMAGING TECHNOLOGY Vol.19 No.3 May 2001、p142-153Yoshiki Kawada, Noboru Niki, “Extraction Algorithm for 3D Curvature Features”, MEDICAL IMAGING TECHNOLOGY Vol.19 No.3 May 2001, p142-153

特許文献1に記載された技術により、例えば、ユーザ操作の負担を軽減しつつ、診断において注目すべき領域に関心領域を設定することが可能になる。本願に係る発明者は、特許文献1に記載された画期的な技術の更なる改良について研究開発を重ねてきた。特に、非特許文献1に記載される抽出アルゴリズムを応用した改良技術に注目した。   With the technique described in Patent Document 1, for example, it is possible to set a region of interest in a region to be noticed in diagnosis while reducing the burden of user operation. The inventor according to the present application has conducted research and development on further improvement of the epoch-making technique described in Patent Document 1. In particular, attention has been paid to an improved technique using the extraction algorithm described in Non-Patent Document 1.

本発明は、その研究開発の過程において成されたものであり、その目的は、診断において注目すべき領域を特定する改良技術を提供することにある。   The present invention has been made in the course of research and development, and an object of the present invention is to provide an improved technique for identifying an area to be noted in diagnosis.

上記目的にかなう好適な超音波診断装置は、超音波を送受して得られた信号に基づいて超音波画像を形成する画像形成部と、超音波画像内における画素値の空間的な分布の形状に基づいて、当該超音波画像内において、所定の形状に対応した複数の画像要素を抽出する画像要素抽出部と、各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素を選択する画像要素選択部と、複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する注目領域形成部と、を有することを特徴とする。   An ultrasonic diagnostic apparatus suitable for the above object includes an image forming unit that forms an ultrasonic image based on a signal obtained by transmitting and receiving ultrasonic waves, and a shape of a spatial distribution of pixel values in the ultrasonic image. Based on the image element extraction unit for extracting a plurality of image elements corresponding to a predetermined shape in the ultrasonic image, and a plurality of images based on a statistical feature amount of a pixel value in each image element An image element selection unit that selects a plurality of target image elements that are candidates for a target region from among the elements; a target region formation unit that forms a target region corresponding to the target region based on the plurality of target image elements; It is characterized by having.

上記装置において、超音波画像の好適な具体例はBモード画像であるが、超音波画像としてBモード画像以外の画像が利用されてもよい。また、超音波画像内における画素値の空間的な分布は、例えば、二次的に配列された複数の画素について、各画素ごとに画素値の大きさに応じて面の高さを設定された曲面により表現することができる。そして、例えば、その曲面により表現された分布の中から、分布の局所的な形状が所定の形状となる複数の画像要素が抽出される。所定の形状は、例えば、診断において注目すべき注目部位の性状等に応じて決定されることが望ましい。また、各画像要素内における画素値の統計的な特徴量として好適な具体例は平均値であるが、例えば、注目部位の性状等に応じて、分散値等の統計的な特徴量が利用されてもよい。   In the above apparatus, a preferable specific example of the ultrasonic image is a B-mode image, but an image other than the B-mode image may be used as the ultrasonic image. In addition, the spatial distribution of pixel values in the ultrasound image is set such that, for example, for a plurality of pixels arranged in a secondary manner, the height of the surface is set for each pixel according to the size of the pixel value. It can be expressed by a curved surface. Then, for example, a plurality of image elements whose local shape is a predetermined shape are extracted from the distribution expressed by the curved surface. It is desirable that the predetermined shape is determined in accordance with, for example, the property of the site of interest to be noted in the diagnosis. In addition, a specific example suitable as a statistical feature amount of a pixel value in each image element is an average value, but for example, a statistical feature amount such as a variance value is used according to the property of the region of interest. May be.

そして、上記装置により、各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素が選択され、それら複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成することが可能になる。   Then, the device selects a plurality of target image elements that are candidates for the target region from the plurality of image elements based on the statistical feature amount of the pixel value in each image element, and the plurality of target images. Based on the image element, it is possible to form a region of interest corresponding to the region of interest.

望ましい具体例において、前記画像要素抽出部は、超音波画像内における画素値の空間的な分布を解析することにより得られる形状の指標を利用して複数の画像要素を抽出することを特徴とする。   In a preferred embodiment, the image element extraction unit extracts a plurality of image elements using a shape index obtained by analyzing a spatial distribution of pixel values in an ultrasonic image. .

望ましい具体例において、前記画像要素抽出部は、注目画素とその近傍に位置する近傍画素に関する画素値の空間的な凹凸状態の度合いを示す指標を得ることにより、当該指標を利用して、凹面に対応した複数の画像要素と凸面に対応した複数の画像要素を抽出することを特徴とする。   In a preferred embodiment, the image element extraction unit obtains an index indicating the degree of spatial unevenness of the pixel value related to the target pixel and neighboring pixels located in the vicinity thereof, and uses the index to form a concave surface. A plurality of corresponding image elements and a plurality of image elements corresponding to the convex surface are extracted.

望ましい具体例において、前記画像要素選択部は、注目部位に対応した画像要素として選択された基準画像要素とその他の複数の画像要素について、基準画像要素内における画素値の統計的な特徴量とその他の各画像要素内における画素値の統計的な特徴量とに基づいた選択条件に従って、基準画像要素を含む複数の画像要素の中から複数の注目画像要素を選択する、ことを特徴とする。   In a preferred embodiment, the image element selection unit includes a statistical feature amount of a pixel value in the reference image element and other information about the reference image element selected as the image element corresponding to the target region and the other plurality of image elements. A plurality of target image elements are selected from a plurality of image elements including a reference image element according to a selection condition based on a statistical feature amount of a pixel value in each of the image elements.

望ましい具体例において、前記画像要素選択部は、基準画像要素内における画素値の平均値に基づいた閾値と、その他の各画像要素内における画素値の平均値と、を比較する選択条件に従って、その他の複数の画像要素のうちの選択条件に適合する幾つかの画像要素と基準画像要素を複数の注目画像要素とする、ことを特徴とする。   In a preferred embodiment, the image element selection unit performs other according to a selection condition for comparing a threshold value based on an average value of pixel values in a reference image element and an average value of pixel values in other image elements. A plurality of image elements and reference image elements that meet a selection condition among the plurality of image elements are set as a plurality of target image elements.

望ましい具体例において、前記注目領域形成部は、複数の注目画像要素のうちの少なくとも幾つかを互いに繋ぎ合わせて注目領域を形成する、ことを特徴とする。   In a preferred specific example, the attention area forming unit forms an attention area by connecting at least some of the plurality of attention image elements to each other.

望ましい具体例において、前記注目領域形成部は、複数の注目画像要素の各々に対して膨張処理を施し、膨張処理により互いに繋ぎ合わされた幾つかの注目画像要素と、それら幾つかの注目画像要素に取り囲まれた領域と、を合成した合成領域に基づいて注目領域を形成する、ことを特徴とする。   In a preferred embodiment, the region-of-interest forming unit performs expansion processing on each of the plurality of target image elements, and combines several target image elements connected to each other by the expansion processing, and the plurality of target image elements. A region of interest is formed based on a combined region obtained by combining the surrounded region.

望ましい具体例において、前記注目領域形成部は、合成領域を収縮処理して注目領域を形成する、ことを特徴とする。   In a preferred embodiment, the attention area forming unit forms the attention area by shrinking the composite area.

望ましい具体例において、前記画像形成部は、前記注目部位である腫瘤を含んだ超音波画像を形成し、前記画像要素抽出部は、超音波画像内における画素値の空間的な凹凸状態の度合いを示す指標を得ることにより、当該指標を利用して、凹面に対応した複数の画像要素と凸面に対応した複数の画像要素を抽出し、前記画像要素選択部は、腫瘤に対応した画像要素として選択された凹面の基準画像要素と、その他の複数の画像要素のうちの幾つかの画像要素を、複数の注目画像要素として選択し、前記注目領域形成部は、複数の注目画像要素のうちの少なくとも幾つかを互いに繋ぎ合わせることにより、前記注目領域である腫瘤領域を形成する、ことを特徴とする。   In a preferred embodiment, the image forming unit forms an ultrasonic image including a tumor that is the target region, and the image element extracting unit determines the degree of spatial unevenness of pixel values in the ultrasonic image. By obtaining the index shown, the index is used to extract a plurality of image elements corresponding to the concave surface and a plurality of image elements corresponding to the convex surface, and the image element selection unit selects as an image element corresponding to the tumor Selected concave reference image elements and some image elements of the plurality of other image elements are selected as a plurality of attention image elements, and the attention area forming unit includes at least one of the plurality of attention image elements. A mass region that is the region of interest is formed by connecting several together.

また、上記目的にかなう好適な超音波画像処理装置は、超音波画像内における画素値の空間的な分布の形状に基づいて、当該超音波画像内において、所定の形状に対応した複数の画像要素を抽出する画像要素抽出部と、各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素を選択する画像要素選択部と、複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する注目領域形成部と、を有することを特徴とする。   In addition, a suitable ultrasonic image processing apparatus that meets the above-described object is provided with a plurality of image elements corresponding to a predetermined shape in the ultrasonic image based on the shape of the spatial distribution of pixel values in the ultrasonic image. An image element extracting unit that extracts a plurality of target image elements that are candidates for a target region from a plurality of image elements based on a statistical feature amount of a pixel value in each image element It has a selection part and an attention area formation part which forms an attention area corresponding to an attention part based on a plurality of attention image elements.

上記超音波画像処理装置は、例えば、コンピュータにより実現することができる。つまり、超音波画像内における画素値の空間的な分布の形状に基づいて、当該超音波画像内において、所定の形状に対応した複数の画像要素を抽出する画像要素抽出機能と、各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素を選択する画像要素選択機能と、複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する注目領域形成機能と、をコンピュータに実現させるプログラムにより、コンピュータを上記超音波画像処理装置として機能させることができる。なお、そのプログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供されてもよいし、インターネット等の電気通信回線を介してコンピュータに提供されてもよい。   The ultrasonic image processing apparatus can be realized by a computer, for example. That is, based on the shape of the spatial distribution of pixel values in the ultrasound image, an image element extraction function that extracts a plurality of image elements corresponding to a predetermined shape in the ultrasound image, Based on the statistical feature amount of the pixel value in the image element selection function for selecting a plurality of target image elements that are candidates for the target region from a plurality of image elements, and based on the plurality of target image elements, A computer can function as the ultrasonic image processing apparatus by a program that causes a computer to realize a region of interest formation function that forms a region of interest corresponding to a region of interest. The program may be stored in a computer-readable storage medium such as a disk or a memory, and may be provided to the computer via the storage medium, or may be provided to the computer via an electric communication line such as the Internet. May be provided.

本発明により、診断において注目すべき領域を特定する改良技術が提供される。   The present invention provides an improved technique for identifying a region of interest in diagnosis.

本発明の実施において好適な超音波診断装置の全体構成図である。1 is an overall configuration diagram of an ultrasonic diagnostic apparatus suitable for implementing the present invention. 超音波画像内における画素値の空間的な分布を説明するための図である。It is a figure for demonstrating the spatial distribution of the pixel value in an ultrasonic image. シェイプインデックスの具体例を示す図である。It is a figure which shows the specific example of a shape index. 超音波画像内の凹面要素と凸面要素の具体例を示す図である。It is a figure which shows the specific example of the concave surface element and convex surface element in an ultrasonic image. 画素値の平均値に基づいた選択の具体例を示す図である。It is a figure which shows the specific example of selection based on the average value of a pixel value. 腫瘤領域を形成する処理の具体例を示す図である。It is a figure which shows the specific example of the process which forms a tumor area | region. 円形の腫瘤ROIを設定する具体例を説明するための図である。It is a figure for demonstrating the specific example which sets circular tumor ROI.

図1は、本発明の実施において好適な超音波診断装置の全体構成を示す図である。プローブ10は、診断対象となる注目部位を含む被検体に対して超音波を送受波する超音波プローブである。プローブ10は、超音波を送受する複数の振動素子を備えており、複数の振動素子が送受信部12によって送信制御されて送信ビームが形成される。また、複数の振動素子が注目部位を含む領域内から得られる超音波を受波し、これにより得られた信号が送受信部12へ出力され、送受信部12が受信ビームを形成して受信ビームに沿って受信信号(エコーデータ)が収集される。なお、超音波の送受において、送信開口合成等の技術が利用されてもよい。   FIG. 1 is a diagram showing an overall configuration of an ultrasonic diagnostic apparatus suitable for implementing the present invention. The probe 10 is an ultrasonic probe that transmits / receives ultrasonic waves to / from a subject including a target region to be diagnosed. The probe 10 includes a plurality of vibration elements that transmit and receive ultrasonic waves, and transmission of the plurality of vibration elements is controlled by the transmission / reception unit 12 to form a transmission beam. Further, the plurality of vibration elements receive ultrasonic waves obtained from the region including the region of interest, and a signal obtained thereby is output to the transmission / reception unit 12, and the transmission / reception unit 12 forms a reception beam to form a reception beam. A received signal (echo data) is collected along. It should be noted that techniques such as transmission aperture synthesis may be used in transmission / reception of ultrasonic waves.

画像形成部20は、送受信部12から得られる受信信号に基づいて超音波画像の画像データを形成する。画像形成部20は、受信信号に対して、必要に応じて、ゲイン補正、ログ圧縮、検波、輪郭強調、フィルタ処理等の信号処理を行うことにより、例えば、注目部位を含む被検体内の断面におけるBモード画像の画像データを形成する。なお、画像形成部20は、複数時相(複数フレーム)の画像データを記憶するフレームメモリを備えていることが望ましい。   The image forming unit 20 forms image data of an ultrasonic image based on the reception signal obtained from the transmission / reception unit 12. The image forming unit 20 performs signal processing such as gain correction, log compression, detection, contour emphasis, and filter processing on the received signal as necessary, for example, a cross section within the subject including the region of interest. The image data of the B mode image is formed. Note that the image forming unit 20 preferably includes a frame memory that stores image data of a plurality of time phases (a plurality of frames).

関心領域設定部30は、画像形成部20から得られる画像データ内において、注目部位に対して関心領域(ROI)を設定する。関心領域設定部30は、画像要素抽出部32と画像要素選択部34と注目領域形成部36を備えている。なお、関心領域設定部30において利用される画像データは、超音波の干渉縞であるいわゆるスペックルを除去されたものであることが望ましい。   The region-of-interest setting unit 30 sets a region of interest (ROI) for the region of interest in the image data obtained from the image forming unit 20. The region-of-interest setting unit 30 includes an image element extraction unit 32, an image element selection unit 34, and a region of interest formation unit 36. It is desirable that the image data used in the region-of-interest setting unit 30 is obtained by removing so-called speckles that are ultrasonic interference fringes.

画像要素抽出部32は、超音波画像の画像データ内における画素値の空間的な分布の形状に基づいて、その画像データ内において、所定の形状に対応した複数の画像要素を抽出する。画像要素選択部34は、抽出された複数の画像要素の中から、各画像要素内における画素値の統計的な特徴量に基づいて、注目部位の候補となる複数の注目画像要素を選択する。注目領域形成部36は、選択された複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する。そして、注目領域に基づいて、注目部位の関心領域(ROI)が設定される。関心領域設定部30内の各部における処理については、後にさらに詳述する。   The image element extraction unit 32 extracts a plurality of image elements corresponding to a predetermined shape in the image data based on the shape of the spatial distribution of pixel values in the image data of the ultrasonic image. The image element selection unit 34 selects a plurality of target image elements that are candidates for the target region from the extracted plurality of image elements based on the statistical feature amount of the pixel value in each image element. The attention area forming unit 36 forms an attention area corresponding to the attention site based on the plurality of selected attention image elements. Then, based on the region of interest, a region of interest (ROI) of the region of interest is set. The processing in each part in the region-of-interest setting unit 30 will be described in detail later.

変位計測部42は、互いに異なる時相に対応したエコーデータに基づいて、被検体内における組織の変位を計測する。具体例を説明すると、変位計測部42は、互いに異なる時相に対応したフレームデータ(N)とフレームデータ(X)に対して、1次元または2次元の相関演算処理を行うことにより、フレームデータ内つまり断層画像内の各計測点ごとに、その計測点における組織の変位を示す変位ベクトル、すなわち変位の方向と大きさに関する1次元または2次元の変位ベクトルを導出し、これにより、断層画像内の複数の計測点における変位ベクトルの分布を得る。変位ベクトルを導出するにあたっては、例えばブロックマッチング法や位相勾配法などが利用される。   The displacement measuring unit 42 measures the displacement of the tissue in the subject based on echo data corresponding to different time phases. Explaining a specific example, the displacement measuring unit 42 performs one-dimensional or two-dimensional correlation calculation processing on frame data (N) and frame data (X) corresponding to different time phases, thereby obtaining frame data. For each measurement point in the tomographic image, a displacement vector indicating the displacement of the tissue at the measurement point, that is, a one-dimensional or two-dimensional displacement vector related to the direction and magnitude of the displacement, is derived, The distribution of displacement vectors at a plurality of measurement points is obtained. In deriving the displacement vector, for example, a block matching method or a phase gradient method is used.

ブロックマッチング法においては、フレームデータ内つまり断層画像内が、縦方向に数画素かつ横方向に数画素からなる各ブロックにより、複数のブロックに分けられ、各ブロックごとに、一方のフレームデータ内のブロックに最も類似するブロックが他方のフレームデータ内で探索される。これにより、フレームデータ内の各計測点(各ブロック)ごとに時相間における変位が算出され、例えば2次元の変位ベクトルが得られる。なお、複数のブロックの探索結果を参照して、予測符号化すなわち差分により標本値を決定する処理等を行って、各計測点の変位ベクトルを得るようにしてもよい。   In the block matching method, the frame data, that is, the tomographic image, is divided into a plurality of blocks by blocks each consisting of several pixels in the vertical direction and several pixels in the horizontal direction. The block most similar to the block is searched for in the other frame data. Thereby, the displacement between time phases is calculated for each measurement point (each block) in the frame data, and for example, a two-dimensional displacement vector is obtained. Note that a displacement vector at each measurement point may be obtained by referring to search results of a plurality of blocks and performing a process such as predictive encoding, that is, a process of determining a sample value based on a difference.

また、位相勾配法においては、フレームデータを構成する受信データから受信信号の波の位相情報を得て、時相間における位相情報の変化から受信信号の波の移動量を算出してフレームデータ内の各計測点の変位を導出することにより、例えば受信ビーム方向の1次元の又はフレームデータ内における二次元の変位ベクトルを得るようにしてもよい。   In the phase gradient method, the phase information of the wave of the received signal is obtained from the received data constituting the frame data, and the amount of movement of the wave of the received signal is calculated from the change in the phase information between the time phases, and the frame data By deriving the displacement of each measurement point, for example, a one-dimensional displacement vector in the reception beam direction or a two-dimensional displacement vector in the frame data may be obtained.

弾性情報演算部44は、変位計測部42において計測された変位に基づいて、被検体内における組織の弾性情報(歪み又は弾性率)を得る。弾性情報演算部44は、例えば、互いに異なる時相に対応した2つのフレームデータ間で計測された各計測点における変位ベクトルに基づいて、複数の計測点について各計測点ごとに組織の歪みや弾性率等を算出する。また、弾性情報演算部44は、複数時相に亘って各時相(各フレーム)ごとに、そのフレーム内の複数の計測点における組織の歪みや弾性率を算出する。   The elasticity information calculation unit 44 obtains elasticity information (strain or elastic modulus) of the tissue in the subject based on the displacement measured by the displacement measurement unit 42. For example, based on the displacement vector at each measurement point measured between two pieces of frame data corresponding to different time phases, the elasticity information calculation unit 44 performs tissue strain and elasticity at each measurement point for a plurality of measurement points. Calculate the rate, etc. Further, the elasticity information calculation unit 44 calculates the strain and elastic modulus of the tissue at a plurality of measurement points in the frame for each time phase (each frame) over a plurality of time phases.

弾性情報演算部44において組織の歪みや弾性率を得る場合には、例えば、プローブ10が被検体に押し当てられ、被検体の体表から被検体内の組織が圧迫され、その圧迫による組織の変位が計測される。その際に、例えば図示省略した圧力センサが、プローブ10の送受波面と被検体の体表との間の圧力を検出し、図示省略した応力計測部が、圧力センサにより検出された圧力に基づいて、被検体内部の各計測点における応力を計測する。   When obtaining the strain and elastic modulus of the tissue in the elasticity information calculation unit 44, for example, the probe 10 is pressed against the subject, the tissue in the subject is compressed from the body surface of the subject, and the tissue of the tissue by the compression is compressed. Displacement is measured. At that time, for example, a pressure sensor (not shown) detects the pressure between the transmission / reception surface of the probe 10 and the body surface of the subject, and a stress measurement unit (not shown) is based on the pressure detected by the pressure sensor. The stress at each measurement point inside the subject is measured.

弾性情報演算部44は、応力計測部において計測される応力を参照して、各計測点における組織の弾性率を算出する。歪みのデータは、組織の移動量、例えば変位を空間微分することによって算出される。また、弾性率のデータは、応力の変化を歪みの変化で除することによって算出される。   The elasticity information calculation unit 44 calculates the elastic modulus of the tissue at each measurement point with reference to the stress measured by the stress measurement unit. The strain data is calculated by spatially differentiating the amount of tissue movement, for example, displacement. The elastic modulus data is calculated by dividing the change in stress by the change in strain.

例えば、フレームデータ内つまり断層画像内の位置xについて、変位計測部42により計測された変位をL(x)、応力計測部により計測された応力をP(x)とすると、歪みΔS(x)は、L(x)を空間微分することによって算出することができるから、例えば「ΔS(x)=ΔL(x)/Δx」という式を用いて歪みを算出することができる。また弾性率データのヤング率Ym(x)は「Ym(x)=ΔP(x)/ΔS(x)」という式によって導出することができる。例えば、このヤング率Ymから、フレームデータ内つまり断層画像内の各計測点に相当する組織の弾性率が得られる。なお、ヤング率とは、物体に加えられた単純引張り応力と、引張りに平行に生じる歪みに対する比である。   For example, assuming that the displacement measured by the displacement measuring unit 42 is L (x) and the stress measured by the stress measuring unit is P (x) for the position x in the frame data, that is, the tomographic image, the strain ΔS (x). Can be calculated by spatially differentiating L (x), and for example, distortion can be calculated using an equation “ΔS (x) = ΔL (x) / Δx”. Further, the Young's modulus Ym (x) of the elastic modulus data can be derived by the equation “Ym (x) = ΔP (x) / ΔS (x)”. For example, the elastic modulus of the tissue corresponding to each measurement point in the frame data, that is, the tomographic image, can be obtained from the Young's modulus Ym. The Young's modulus is a ratio of a simple tensile stress applied to the object and a strain generated in parallel with the tension.

また、弾性情報演算部44は、FLR(Fat Lesion Ratio)を算出する機能を備えている。FLRは、脂肪と腫瘤の弾性値の比率(脂肪の弾性値/腫瘤の弾性値)であり、例えば、乳腺の診断において好適な診断値となる。脂肪の弾性値としては、超音波画像内(断層画像内)において脂肪に対して設定された関心領域(脂肪ROI)内における歪みの平均値が好適であり、腫瘤の弾性値としては、超音波画像内(断層画像内)において腫瘤に対して設定された関心領域(腫瘤ROI)内における歪みの平均値が好適である。   The elasticity information calculation unit 44 has a function of calculating an FLR (Fat Lesion Ratio). FLR is the ratio of the elasticity value of fat to the mass (the elasticity value of fat / the elasticity value of the mass), and is a suitable diagnostic value in diagnosis of the mammary gland, for example. As the elasticity value of fat, an average value of distortion in a region of interest (fat ROI) set for fat in an ultrasound image (in a tomographic image) is preferable. The average value of the distortion in the region of interest (tumor ROI) set for the tumor in the image (in the tomographic image) is suitable.

脂肪ROIは、超音波画像内において脂肪の領域に設定される円形のROIであり、例えば、医師等のユーザが、表示部52に表示される超音波画像を視覚的に確認して、その超音波画像内において、脂肪ROIの中心位置と半径の大きさを調整することにより、円形の脂肪ROIが設定される。また、公知の技術を利用して脂肪ROIが設定されてもよい。例えば、特許文献1に記載される技術を利用し、超音波画像内における画素の輝度値等に基づいて、組織の境界等を特定することにより、ユーザ操作の負担を軽減しつつ、脂肪ROIが設定されてもよい。   The fat ROI is a circular ROI set in the fat region in the ultrasonic image. For example, a user such as a doctor visually confirms the ultrasonic image displayed on the display unit 52 and the ultrasonic ROI. A circular fat ROI is set by adjusting the center position of the fat ROI and the size of the radius in the sound image. The fat ROI may be set using a known technique. For example, by using the technique described in Patent Document 1, by specifying the tissue boundary based on the luminance value of the pixel in the ultrasound image, the fat ROI is reduced while reducing the burden on the user operation. It may be set.

一方、腫瘤ROIは、超音波画像内において腫瘤の領域に設定されるROIであり、後に詳述するように、関心領域設定部30において設定される。   On the other hand, the tumor ROI is an ROI set in the region of the tumor in the ultrasonic image, and is set in the region-of-interest setting unit 30 as will be described in detail later.

表示処理部50は、画像形成部20から得られる超音波画像の画像データと弾性情報演算部44から得られる弾性情報に基づく表示画像を形成する。表示処理部50において形成された表示画像は、表示部52に表示される。   The display processing unit 50 forms a display image based on the image data of the ultrasonic image obtained from the image forming unit 20 and the elasticity information obtained from the elasticity information calculating unit 44. The display image formed in the display processing unit 50 is displayed on the display unit 52.

表示処理部50は、画像形成部20から得られる超音波画像の画像データに基づいて、その超音波画像、例えばBモード画像を含んだ表示画像を形成する。また、表示処理部50は、弾性情報演算部44から得られる弾性値を視覚的に示す弾性画像を含んだ表示画像を形成してもよい。弾性画像は、公知の技術によって形成される。   The display processing unit 50 forms a display image including the ultrasonic image, for example, a B-mode image, based on the image data of the ultrasonic image obtained from the image forming unit 20. Further, the display processing unit 50 may form a display image including an elasticity image that visually indicates the elasticity value obtained from the elasticity information calculation unit 44. The elastic image is formed by a known technique.

例えば、フレームデータ内における各計測点の弾性値(組織の歪みや弾性率)を示した弾性フレームデータに基づいて、被検体の断面内における弾性情報を視覚的に示すための弾性画像が形成される。例えば、弾性フレームデータの各計測点に対して、その計測点における弾性値に応じた色相情報が付与され、弾性フレームデータに基づいて、各計測点に対して光の3原色である赤(R)、緑(G)、青(B)を付した弾性画像データが形成され、弾性画像データに対応した弾性画像が表示される。   For example, an elasticity image for visually indicating elasticity information in the cross section of the subject is formed based on elasticity frame data indicating elasticity values (tissue strain and elastic modulus) at each measurement point in the frame data. The For example, hue information corresponding to the elasticity value at the measurement point is given to each measurement point of the elastic frame data, and red (R) which is the three primary colors of light for each measurement point based on the elasticity frame data. ), Green (G), and blue (B) elastic image data is formed, and an elastic image corresponding to the elastic image data is displayed.

制御部70は、図1に示す超音波診断装置内を全体的に制御する。制御部70による全体的な制御には、操作デバイス60を介してユーザから受け付けた指示も反映される。   The controller 70 generally controls the inside of the ultrasonic diagnostic apparatus shown in FIG. The overall control by the control unit 70 also reflects an instruction received from the user via the operation device 60.

図1に示す構成(符号を付された各部)のうち、送受信部12,画像形成部20,画像要素抽出部32,画像要素選択部34,注目領域形成部36,変位計測部42,弾性情報演算部44,表示処理部50の各部は、例えば電気電子回路やプロセッサ等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。また、上記各部に対応した機能が、CPUやプロセッサやメモリ等のハードウェアと、CPUやプロセッサの動作を規定するソフトウェア(プログラム)との協働により実現されてもよい。   Among the configurations shown in FIG. 1 (respectively assigned parts), the transmitting / receiving unit 12, the image forming unit 20, the image element extracting unit 32, the image element selecting unit 34, the attention area forming unit 36, the displacement measuring unit 42, and elasticity information Each unit of the calculation unit 44 and the display processing unit 50 can be realized by using hardware such as an electric / electronic circuit or a processor, for example, and a device such as a memory may be used as necessary for the realization. In addition, functions corresponding to the above-described units may be realized by cooperation of hardware such as a CPU, a processor, or a memory, and software (program) that defines the operation of the CPU or the processor.

表示部52の好適な具体例は、液晶ディスプレイ等であり、操作デバイス60は、例えば、マウス、キーボード、トラックボール、タッチパネル、その他のスイッチ類等のうちの少なくとも一つにより実現できる。そして、制御部70は、例えば、CPUやプロセッサやメモリ等のハードウェアと、CPUやプロセッサの動作を規定するソフトウェア(プログラム)との協働により実現することができる。   A preferred specific example of the display unit 52 is a liquid crystal display or the like, and the operation device 60 can be realized by at least one of a mouse, a keyboard, a trackball, a touch panel, and other switches, for example. And the control part 70 is realizable by cooperation with hardware (CPU, a processor, memory, etc.) and the software (program) which prescribes | regulates operation | movement of CPU, a processor, for example.

図1の超音波診断装置の全体構成は以上のとおりである。次に、当該超音波診断装置における関心領域の設定に係る機能について説明する。なお、図1に示した構成(符号を付した各部)については、以下の説明において図1の符号を利用する。   The overall configuration of the ultrasonic diagnostic apparatus in FIG. 1 is as described above. Next, functions related to the setting of the region of interest in the ultrasonic diagnostic apparatus will be described. In addition, about the structure (each part which attached | subjected the code | symbol) shown in FIG. 1, the code | symbol of FIG. 1 is utilized in the following description.

図2は、超音波画像内における画素値の空間的な分布を説明するための図である。画像要素抽出部32は、超音波画像内における画素値の空間的な分布の形状に基づいて、その超音波画像内において、所定の形状に対応した複数の画像要素を抽出する。   FIG. 2 is a diagram for explaining the spatial distribution of pixel values in an ultrasonic image. The image element extraction unit 32 extracts a plurality of image elements corresponding to a predetermined shape in the ultrasonic image based on the shape of the spatial distribution of pixel values in the ultrasonic image.

超音波画像内における画素値の空間的な分布は、例えば、二次的に配列された複数の画素について、各画素ごとに画素値の大きさに応じて面の高さを設定された曲面により表現することができる。図2には、その曲面(画素値の分布曲面)が図示されている。   The spatial distribution of pixel values in an ultrasonic image is, for example, a curved surface in which the height of a surface is set for each pixel according to the size of the pixel value for a plurality of pixels arranged secondarily. Can be expressed. FIG. 2 shows the curved surface (distributed curved surface of pixel values).

図2において、超音波画像は、例えばBモード画像であり、画像形成部20において形成される画像データである。超音波画像は、横方向と縦方向に二次元的に規則的に配列された複数の画素で構成される。表示部52に超音波画像が表示される際には、各画素の画素値、例えば輝度に応じて、その画素の明暗が表現される。   In FIG. 2, the ultrasonic image is, for example, a B-mode image, which is image data formed in the image forming unit 20. The ultrasonic image is composed of a plurality of pixels regularly and two-dimensionally arranged in the horizontal direction and the vertical direction. When an ultrasonic image is displayed on the display unit 52, the lightness and darkness of the pixel is expressed according to the pixel value of each pixel, for example, the luminance.

図2では、XYZ直交座標系において、超音波画像の横方向と縦方向がそれぞれX軸方向とY軸方向に対応付けられ、超音波画像を構成する各画素の画素値(輝度)がZ軸方向に対応付けられている。例えば、超音波画像内の座標(x,y)における画素の画素値p(x,p)が、座標(x,y)における曲面の高さ(Z軸方向の大きさ)に対応付けられて、画素値の分布曲面が形成される。   In FIG. 2, in the XYZ orthogonal coordinate system, the horizontal direction and the vertical direction of the ultrasonic image are respectively associated with the X-axis direction and the Y-axis direction, and the pixel value (luminance) of each pixel constituting the ultrasonic image is the Z-axis. It is associated with the direction. For example, the pixel value p (x, p) of the pixel at the coordinates (x, y) in the ultrasonic image is associated with the height of the curved surface (the size in the Z-axis direction) at the coordinates (x, y). A distribution curved surface of pixel values is formed.

画像要素抽出部32は、超音波画像内における画素値の空間的な分布の形状、例えば、図2に示す画素値の分布曲面の形状を解析することにより、超音波画像内において、所定の形状に対応した複数の画像要素を抽出する。   The image element extraction unit 32 analyzes the shape of the spatial distribution of pixel values in the ultrasonic image, for example, the shape of the distribution curved surface of the pixel values shown in FIG. A plurality of image elements corresponding to are extracted.

画像要素抽出部32は、画素値の分布曲面の形状を解析することにより、形状に係る指標を得て、その指標を利用して複数の画像要素を抽出する。形状に係る指標としては、公知のシェイプインデックス(Shape Index)が好適である。   The image element extraction unit 32 obtains an index related to the shape by analyzing the shape of the distribution curved surface of the pixel value, and extracts a plurality of image elements using the index. As a shape-related index, a known shape index is suitable.

画素値の分布曲面の形状を解析してシェイプインデックスを得るには、例えば、非特許文献1に詳述される抽出アルゴリズムを利用すればよい。画像要素抽出部32は、例えば非特許文献1に詳述される抽出アルゴリズムを利用し、図2に示す画素値の分布曲面の三次元曲率に基づいた特徴量として、シェイプインデックスを得る。   In order to obtain the shape index by analyzing the shape of the distribution curved surface of the pixel value, for example, an extraction algorithm detailed in Non-Patent Document 1 may be used. The image element extraction unit 32 obtains a shape index as a feature quantity based on the three-dimensional curvature of the distribution curved surface of the pixel values shown in FIG.

図3は、シェイプインデックスの具体例を示す図である。画像要素抽出部32は、画素値の分布曲面(図2参照)において、注目画素とその隣接する画素との関係から定める曲面の凹凸形状の度合いを表すシェイプインデックスを得る。つまり、超音波画像内における注目画素とその近傍に位置する複数の画素からなる画像要素ごとに、シェイプインデックスが導出される。   FIG. 3 is a diagram showing a specific example of the shape index. The image element extraction unit 32 obtains a shape index representing the degree of unevenness of the curved surface determined from the relationship between the pixel of interest and its adjacent pixels in the pixel value distribution curved surface (see FIG. 2). That is, a shape index is derived for each image element including a target pixel and a plurality of pixels located in the vicinity thereof in the ultrasonic image.

図3において、シェイプインデックス(Shape Index)は縦軸に示されており、シェイプインデックス値の範囲は−1.0〜1.0となっている。画像要素抽出部32は、シェイプインデックス値が例えば−0.2よりも小さい画像要素を凹面要素として抽出し、シェイプインデックス値が例えば0.2よりも大きい画像要素を凸面要素として抽出する。   In FIG. 3, the shape index is shown on the vertical axis, and the range of the shape index value is −1.0 to 1.0. The image element extraction unit 32 extracts an image element having a shape index value smaller than −0.2, for example, as a concave element, and extracts an image element having a shape index value larger than 0.2, for example, as a convex element.

なお、図3の横軸には、形状に係る指標の一つであるCurvednessが示されている。画素値の分布曲面の形状を解析してCurvednessを得るには、例えば、非特許文献1に詳述される抽出アルゴリズムを利用すればよい。Curvednessは、画素値の分布曲面(図2参照)において、注目画素とその隣接する画素との関係から定める曲面の曲がりの度合いを表す指標である。画像要素抽出部32は、凹面要素と凸面要素を抽出するにあたり、シェイプインデックスに加えてCurvednessを参照してもよい。また、画素値の分布曲面(図2参照)の三次元曲率に基づいた他の特徴量を指標として、凹面要素と凸面要素が抽出されてもよい。   In addition, the horizontal axis of FIG. 3 shows Curvedness which is one of the indexes related to the shape. In order to obtain the Curvedness by analyzing the shape of the distribution surface of pixel values, for example, an extraction algorithm detailed in Non-Patent Document 1 may be used. Curvedness is an index representing the degree of curvature of a curved surface determined from the relationship between a pixel of interest and its adjacent pixels in a pixel value distribution curved surface (see FIG. 2). The image element extraction unit 32 may refer to the Curvedness in addition to the shape index when extracting the concave element and the convex element. Further, the concave surface element and the convex surface element may be extracted using another feature amount based on the three-dimensional curvature of the pixel value distribution curved surface (see FIG. 2) as an index.

図4は、超音波画像内の凹面要素と凸面要素の具体例を示す図である。図4には、超音波画像内で抽出された複数の凹面要素S1,S3,S6と複数の凸面要素S2,S4,S5,S7が図示されている。   FIG. 4 is a diagram illustrating a specific example of a concave element and a convex element in an ultrasonic image. FIG. 4 shows a plurality of concave elements S1, S3, S6 and a plurality of convex elements S2, S4, S5, S7 extracted from the ultrasonic image.

注目部位が腫瘤である場合に、ユーザは、表示部52に表示される超音波画像内において注目すべき腫瘤を確認し、操作デバイス60を利用して注目すべき腫瘤の画像箇所に指定点Aを設定する。   When the site of interest is a tumor, the user confirms the tumor of interest in the ultrasound image displayed on the display unit 52 and uses the operation device 60 to designate the designated point A as the image location of the tumor of interest. Set.

指定点Aが設定されると、画像要素選択部34は、複数の凹面要素と複数の凸面要素の中から、ユーザによって指定された指定点Aに最も近い凹面要素を第1要素(基準となる要素)とする。図4の具体例においては、複数の凹面要素S1,S3,S6のうち、例えば中心位置(面積重心の位置)が指定点Aに最も近い凹面要素S1が第1要素として選択される。   When the designated point A is set, the image element selection unit 34 selects the concave element closest to the designated point A designated by the user from the plurality of concave elements and the plurality of convex elements as the first element (reference). Element). In the specific example of FIG. 4, among the plurality of concave elements S1, S3, S6, for example, the concave element S1 whose center position (position of the center of gravity of the area) is closest to the designated point A is selected as the first element.

さらに、画像要素選択部34は、第1要素以外の複数の凹面要素と複数の凸面要素の中から、指定点Aに近い方から順に第2要素から第5要素までの4つの要素を選択する。図4の具体例においては、第1要素である凹面要素S1以外の複数の凹面要素S3,S6と複数の凸面要素S2,S4,S5,S7のうち、例えば中心位置(面積重心の位置)が指定点Aに近い方から順に、凸面要素S2と凹面要素S3と凸面要素S4と凸面要素S5が第2要素から第5要素として選択される。   Furthermore, the image element selection unit 34 selects four elements from the second element to the fifth element in order from the closest to the designated point A from the plurality of concave elements other than the first element and the plurality of convex elements. . In the specific example of FIG. 4, among the plurality of concave elements S3, S6 and the plurality of convex elements S2, S4, S5, S7 other than the concave element S1, which is the first element, for example, the center position (position of the center of gravity of the area) is. The convex element S2, the concave element S3, the convex element S4, and the convex element S5 are selected as the fifth element from the second element in order from the side closer to the designated point A.

そして、画像要素選択部34は、基準となる第1要素と第2要素から第5要素までの4つの要素について、第1要素内における画素値の統計的な特徴量と、第2要素から第5要素までの各要素内における画素値の統計的な特徴量に基づいて、複数の注目画像要素を選択する。画素値の統計的な特徴量としては、各要素内における画素値の平均値が好適である。   Then, the image element selection unit 34, for the four elements from the first element and the second element to the fifth element as a reference, the statistical feature amount of the pixel value in the first element and the second element to the second element A plurality of target image elements are selected based on a statistical feature amount of pixel values in each of up to five elements. As the statistical feature quantity of the pixel value, an average value of the pixel values in each element is preferable.

図5は、画素値の平均値に基づいた選択の具体例を示す図である。図5には、第1要素から第5要素として選択された凹面要素S1と凸面要素S2と凹面要素S3と凸面要素S4と凸面要素S5の各要素ごとに、各要素内における輝度(画素値)が縦軸に示されている。なお、図5における各要素の輝度は、例えば、図4に示す各要素の中心を通る直線上における輝度の分布である。   FIG. 5 is a diagram illustrating a specific example of selection based on an average value of pixel values. FIG. 5 shows the luminance (pixel value) in each element for each of the concave element S1, convex element S2, concave element S3, convex element S4, and convex element S5 selected as the first to fifth elements. Is shown on the vertical axis. Note that the luminance of each element in FIG. 5 is, for example, a luminance distribution on a straight line passing through the center of each element shown in FIG.

また、図5に示す具体例において、凹面要素S1に関する画素値の平均値、つまり平均輝度はM1であり、凸面要素S2,凹面要素S3,凸面要素S4,凸面要素S5の平均輝度は、それぞれM2,M3,M4,M5である。   In the specific example shown in FIG. 5, the average value of the pixel values related to the concave element S1, that is, the average luminance is M1, and the average luminance of the convex element S2, concave element S3, convex element S4, and convex element S5 is M2 respectively. , M3, M4, M5.

画像要素選択部34は、凹面要素S1の平均輝度M1に基づいて閾値を決定する。例えば、閾値の係数kを利用して(M1×k)を閾値とする。なお、係数kの大きさは、例えば、経験的に得られた値を利用することが望ましいものの、例えば、ユーザによって係数kの大きさが適宜に調整されてもよい。   The image element selection unit 34 determines a threshold value based on the average luminance M1 of the concave surface element S1. For example, (M1 × k) is set as a threshold value using a threshold coefficient k. For example, it is desirable to use an empirically obtained value for the magnitude of the coefficient k, but for example, the magnitude of the coefficient k may be appropriately adjusted by the user.

そして、画像要素選択部34は、凸面要素S2と凹面要素S3と凸面要素S4と凸面要素S5の各要素について、各要素ごとに閾値と平均輝度とを比較し、平均輝度が閾値よりも小さい(又は平均輝度が閾値以下となる)要素を注目画像要素として選択する。また、基準となる凹面要素S1も注目画像要素として選択される。   Then, the image element selection unit 34 compares the threshold value with the average luminance for each element of the convex element S2, the concave element S3, the convex element S4, and the convex element S5, and the average luminance is smaller than the threshold ( Alternatively, an element whose average luminance is equal to or less than a threshold value is selected as an attention image element. Further, the reference concave surface element S1 is also selected as the target image element.

これにより、図5に示す具体例においては、凹面要素S1,凸面要素S2,凹面要素S3,凸面要素S4が、複数の注目要素画像として選択される。複数の注目画像要素が選択されると、それら複数の注目画像要素に基づいて、注目部位である腫瘤に対応した腫瘤領域が形成される。   Thereby, in the specific example shown in FIG. 5, concave element S1, convex element S2, concave element S3, and convex element S4 are selected as several attention element images. When a plurality of target image elements are selected, a tumor region corresponding to a tumor that is a target site is formed based on the plurality of target image elements.

図6は、腫瘤領域を形成する処理の具体例を示す図である。図6<1>には、複数の注目画像要素として選択された凹面要素S1,凸面要素S2,凹面要素S3,凸面要素S4が図示されている。注目領域形成部36は、これらの注目画像要素を互いに繋ぎ合わせることにより、注目領域である腫瘤領域を形成する。   FIG. 6 is a diagram illustrating a specific example of a process for forming a tumor region. FIG. 6 <1> shows a concave element S1, a convex element S2, a concave element S3, and a convex element S4 selected as a plurality of target image elements. The attention area forming unit 36 connects these attention image elements to each other to form a tumor area that is the attention area.

注目領域形成部36は、複数の注目画像要素の各々に対して膨張処理を施し、複数の注目画像要素を互いに密着または部分的に重ね合わせる。注目領域形成部36は、凹面要素S1,凸面要素S2,凹面要素S3,凸面要素S4の各要素を、外側に向かって例えば1画素ずつ膨張させる処理を数回繰り返す。   The attention area forming unit 36 performs an expansion process on each of the plurality of attention image elements, and closely or partially overlaps the plurality of attention image elements. The attention area forming unit 36 repeats the process of expanding each of the concave element S1, the convex element S2, the concave element S3, and the convex element S4, for example, by one pixel toward the outside several times.

これにより、図6<2>に示す例のように、凹面要素S1,凸面要素S2,凹面要素S3,凸面要素S4について、互いに近接する要素同士が密着または部分的に重ね合わされて連結される。なお、数回の膨張処理により他の要素と連結されない要素は、注目画像要素から取り除かれてもよい。   Thereby, like the example shown in FIG. 6 <2>, about the concave surface element S1, convex surface element S2, concave surface element S3, and convex surface element S4, the elements which adjoin mutually are closely_contact | adhered or partially overlapped and connected. Note that elements that are not connected to other elements by several expansion processes may be removed from the image element of interest.

さらに、注目領域形成部36は、膨張処理により連結された複数の画像要素に対して穴埋め処理を行う。例えば、図6<2>の凹面要素S1,凸面要素S2,凹面要素S3,凸面要素S4によって取り囲まれた領域が図6<3>に示すように穴埋めされる。さらに、互いに隣接する要素の隙間、例えば、図6<3>において実線と破線によって取り囲まれた領域が穴埋め処理されてもよい。   Further, the attention area forming unit 36 performs hole filling processing on a plurality of image elements connected by the expansion processing. For example, the region surrounded by the concave element S1, convex element S2, concave element S3, and convex element S4 in FIG. 6 <2> is filled as shown in FIG. 6 <3>. Furthermore, a gap between adjacent elements, for example, a region surrounded by a solid line and a broken line in FIG. 6 <3> may be filled.

そして、注目領域形成部36は、膨張処理と穴埋め処理により得られた領域(合成領域)に対して収縮処理を施して注目領域を形成する。注目領域形成部36は、例えば、図6<3>において実線で囲まれた領域を、内側に向かって例えば1画素ずつ収縮させる処理を数回繰り返して、図6<4>に示す腫瘤領域を形成する。例えば、膨張処理と同じ回数だけ収縮処理が繰り返される。   Then, the attention area forming unit 36 performs a contraction process on the area (composite area) obtained by the expansion process and the hole filling process to form the attention area. The attention area forming unit 36, for example, repeats the process of contracting the area surrounded by the solid line in FIG. 6 <3> inward by, for example, one pixel at a time several times, thereby generating the tumor area shown in FIG. 6 <4>. Form. For example, the contraction process is repeated the same number of times as the expansion process.

なお、図6<3>において、実線と破線によって取り囲まれた領域も穴埋め処理された場合には、図6<4>において、実線と破線によって取り囲まれた領域も腫瘤領域に含まれる。   In FIG. 6 <3>, when the region surrounded by the solid line and the broken line is also subjected to the filling process, the region surrounded by the solid line and the broken line is also included in the tumor region in FIG. 6 <4>.

関心領域設定部30は、注目領域形成部36で形成された腫瘤領域を腫瘤の関心領域(ROI)としてもよいが、例えば乳腺の診断においてFLR(Fat Lesion Ratio)を導出するのであれば、腫瘤領域に基づいて円形の腫瘤ROIを設定することが望ましい。   The region-of-interest setting unit 30 may use the tumor region formed by the region-of-interest forming unit 36 as a region of interest (ROI) of the tumor. It is desirable to set a circular mass ROI based on the region.

図7は、円形の腫瘤ROIを設定する具体例を説明するための図である。円形の腫瘤ROIを設定するにあたっては、まず、図7<1>に示すように、腫瘤が含まれる超音波画像内、例えばBモード画像内において、生体組織の境界が検出される。境界の検出においては、例えば超音波画像内における画素値(輝度)の空間的な微分値が閾値以上となる部分を境界として検出する等、公知のいずれの技術が利用されてもよい。図7<1>の具体例では、境界B1〜境界B6が検出されている。   FIG. 7 is a diagram for explaining a specific example of setting a circular tumor ROI. In setting the circular tumor ROI, first, as shown in FIG. 7 <1>, the boundary of the living tissue is detected in the ultrasonic image including the tumor, for example, in the B-mode image. In detecting the boundary, any known technique may be used, for example, detecting as a boundary a portion where the spatial differential value of the pixel value (luminance) in the ultrasonic image is greater than or equal to a threshold value. In the specific example of FIG. 7 <1>, the boundaries B1 to B6 are detected.

次に、図7<2>に示すように、腫瘤領域(破線)が超音波画像内に設定される。腫瘤領域が注目領域形成部36により形成されることは既に説明したとおりである(図6参照)。そして、腫瘤領域内において境界がクリーニングされる。例えば、図7<2>に示す具体例において、破線の腫瘤領域内における境界B4〜B6が除去される。つまり、以降の処理において境界B4〜B6が境界として認識されない。   Next, as shown in FIG. 7 <2>, a tumor region (broken line) is set in the ultrasonic image. As described above, the tumor region is formed by the attention region forming unit 36 (see FIG. 6). Then, the boundary is cleaned in the tumor region. For example, in the specific example shown in FIG. 7 <2>, the boundaries B4 to B6 in the broken line tumor region are removed. That is, the boundaries B4 to B6 are not recognized as boundaries in the subsequent processing.

さらに、関心領域設定部30は、腫瘤領域内の境界を除去した超音波画像内において、例えば、特許文献1に詳述される公知の手法により、円形の腫瘤ROIを設定する。例えば、図7<3>に示すように、ユーザにより設定された指定点Uを中心として、残された境界B1〜B3を含まないような、できるだけ大きな円形の腫瘤ROIが設定される。図7<3>の具体例においては、指定点Uからの距離が最も近い境界B3に内接する円形の腫瘤ROIが設定される。なお、図4において指定された指定点Aが図6の指定点Uとして利用されてもよいし、図4の指定点Aとは別に、図6の指定点Uが設定されてもよい。   Furthermore, the region-of-interest setting unit 30 sets a circular tumor ROI by a known method described in detail in Patent Document 1, for example, in the ultrasonic image from which the boundary in the tumor region is removed. For example, as shown in FIG. 7 <3>, the largest possible tumor ROI that does not include the remaining boundaries B1 to B3 around the designated point U set by the user is set. In the specific example of FIG. 7 <3>, a circular tumor ROI inscribed in the boundary B3 that is closest to the designated point U is set. The designated point A designated in FIG. 4 may be used as the designated point U in FIG. 6, or the designated point U in FIG. 6 may be set separately from the designated point A in FIG. 4.

また、関心領域設定部30は、指定点Uをそのまま腫瘤ROIの中心とせず、例えば、特許文献1に詳述される公知の手法により、指定点Uの近傍において、最大限に大きな円形の腫瘤ROIとなる中心点を探索してもよい。例えば、図7<3>の指定点Uの近傍に位置する複数の候補点の中から、境界B3までの最短距離が最も長い候補点を探し出し、これにより、例えば、図7<4>に示す具体例のように、探し出した候補点を中心点U´として、境界B3に内接する円形の腫瘤ROIが設定されてもよい。   In addition, the region-of-interest setting unit 30 does not use the designated point U as the center of the tumor ROI as it is, but, for example, in the vicinity of the designated point U by a known method detailed in Patent Document 1, a maximally large circular tumor. You may search the center point used as ROI. For example, a candidate point having the longest shortest distance to the boundary B3 is searched from among a plurality of candidate points located in the vicinity of the designated point U in FIG. 7 <3>, thereby, for example, shown in FIG. 7 <4>. As a specific example, a circular tumor ROI inscribed in the boundary B3 may be set with the found candidate point as the center point U ′.

こうして、関心領域設定部30により円形の腫瘤ROIが設定される。これに対し、脂肪ROIは、例えば、医師等のユーザが、表示部52に表示される超音波画像を視覚的に確認して、その超音波画像内において、脂肪ROIの中心位置と半径の大きさを調整することにより設定される。また、公知の技術を利用して脂肪ROIが設定されてもよい。例えば、特許文献1に記載される技術を利用し、超音波画像内における画素の輝度値等に基づいて、組織の境界等を特定することにより、ユーザ操作の負担を軽減しつつ、脂肪ROIが設定されてもよい。   In this way, the circular region ROI is set by the region-of-interest setting unit 30. On the other hand, the fat ROI is, for example, that a user such as a doctor visually confirms the ultrasonic image displayed on the display unit 52, and the center position and the radius of the fat ROI are large in the ultrasonic image. It is set by adjusting the height. The fat ROI may be set using a known technique. For example, by using the technique described in Patent Document 1, by specifying the tissue boundary based on the luminance value of the pixel in the ultrasound image, the fat ROI is reduced while reducing the burden on the user operation. It may be set.

以上、本発明の実施において好適な超音波診断装置について説明したが、例えば、図1に示した画像要素抽出部32と画像要素選択部34と注目領域形成部36のうちの少なくとも一つをコンピュータにより実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。   The ultrasonic diagnostic apparatus suitable for implementing the present invention has been described above. For example, at least one of the image element extraction unit 32, the image element selection unit 34, and the attention area formation unit 36 shown in FIG. And the computer may function as an ultrasonic image processing apparatus.

なお、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。   The above-described embodiments are merely examples in all respects, and do not limit the scope of the present invention. The present invention includes various modifications without departing from the essence thereof.

10 プローブ、12 送受信部、20 画像形成部、30 関心領域設定部、32 画像要素抽出部、34 画像要素選択部、36 注目領域形成部、42 変位計測部、44 弾性情報演算部、50 表示処理部、52 表示部、60 操作デバイス、70 制御部。   DESCRIPTION OF SYMBOLS 10 Probe, 12 Transmission / reception part, 20 Image formation part, 30 Region of interest setting part, 32 Image element extraction part, 34 Image element selection part, 36 Area of interest formation part, 42 Displacement measurement part, 44 Elasticity information calculation part, 50 Display processing Part, 52 display part, 60 operation device, 70 control part.

Claims (10)

超音波を送受して得られた信号に基づいて超音波画像を形成する画像形成部と、
超音波画像内における画素値の空間的な分布の形状に基づいて、当該超音波画像内において、所定の形状に対応した複数の画像要素を抽出する画像要素抽出部と、
各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素を選択する画像要素選択部と、
複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する注目領域形成部と、
を有する、
ことを特徴とする超音波診断装置。
An image forming unit that forms an ultrasonic image based on a signal obtained by transmitting and receiving ultrasonic waves;
An image element extraction unit that extracts a plurality of image elements corresponding to a predetermined shape in the ultrasonic image based on the shape of the spatial distribution of pixel values in the ultrasonic image;
An image element selection unit that selects a plurality of target image elements that are candidates for a target region from a plurality of image elements based on a statistical feature amount of a pixel value in each image element;
An attention area forming unit that forms an attention area corresponding to an attention site based on a plurality of attention image elements;
Having
An ultrasonic diagnostic apparatus.
請求項1に記載の超音波診断装置において、
前記画像要素抽出部は、超音波画像内における画素値の空間的な分布を解析することにより得られる形状の指標を利用して複数の画像要素を抽出する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 1,
The image element extraction unit extracts a plurality of image elements using a shape index obtained by analyzing a spatial distribution of pixel values in an ultrasonic image.
An ultrasonic diagnostic apparatus.
請求項2に記載の超音波診断装置において、
前記画像要素抽出部は、注目画素とその近傍に位置する近傍画素に関する画素値の空間的な凹凸状態の度合いを示す指標を得ることにより、当該指標を利用して、凹面に対応した複数の画像要素と凸面に対応した複数の画像要素を抽出する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 2,
The image element extraction unit obtains an index indicating the degree of spatial unevenness of pixel values related to the target pixel and neighboring pixels located in the vicinity thereof, and uses the index to obtain a plurality of images corresponding to the concave surface. Extract multiple image elements corresponding to elements and convex surface,
An ultrasonic diagnostic apparatus.
請求項1から3のいずれか1項に記載の超音波診断装置において、
前記画像要素選択部は、注目部位に対応した画像要素として選択された基準画像要素とその他の複数の画像要素について、基準画像要素内における画素値の統計的な特徴量とその他の各画像要素内における画素値の統計的な特徴量とに基づいた選択条件に従って、基準画像要素を含む複数の画像要素の中から複数の注目画像要素を選択する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to any one of claims 1 to 3,
The image element selection unit, for the reference image element selected as the image element corresponding to the region of interest and the plurality of other image elements, the statistical feature amount of the pixel value in the reference image element and the other image elements Selecting a plurality of target image elements from a plurality of image elements including a reference image element according to a selection condition based on a statistical feature amount of a pixel value in
An ultrasonic diagnostic apparatus.
請求項4に記載の超音波診断装置において、
前記画像要素選択部は、基準画像要素内における画素値の平均値に基づいた閾値と、その他の各画像要素内における画素値の平均値と、を比較する選択条件に従って、その他の複数の画像要素のうちの選択条件に適合する幾つかの画像要素と基準画像要素を複数の注目画像要素とする、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 4,
The image element selection unit includes a plurality of other image elements according to a selection condition for comparing a threshold value based on an average value of pixel values in a reference image element and an average value of pixel values in other image elements. A plurality of image elements that are a plurality of image elements and a reference image element that meet a selection condition of
An ultrasonic diagnostic apparatus.
請求項1から5のいずれか1項に記載の超音波診断装置において、
前記注目領域形成部は、複数の注目画像要素のうちの少なくとも幾つかを互いに繋ぎ合わせて注目領域を形成する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to any one of claims 1 to 5,
The attention area forming unit forms an attention area by connecting at least some of the plurality of attention image elements to each other.
An ultrasonic diagnostic apparatus.
請求項6に記載の超音波診断装置において、
前記注目領域形成部は、複数の注目画像要素の各々に対して膨張処理を施し、膨張処理により互いに繋ぎ合わされた幾つかの注目画像要素と、それら幾つかの注目画像要素に取り囲まれた領域と、を合成した合成領域に基づいて注目領域を形成する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 6,
The attention area forming unit performs expansion processing on each of a plurality of attention image elements, and includes several attention image elements connected to each other by the expansion processing, and an area surrounded by the several attention image elements. , To form a region of interest based on the synthesized region
An ultrasonic diagnostic apparatus.
請求項7に記載の超音波診断装置において、
前記注目領域形成部は、合成領域を収縮処理して注目領域を形成する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to claim 7,
The attention area forming unit forms an attention area by performing shrinkage processing on the combined area.
An ultrasonic diagnostic apparatus.
請求項1から8のいずれか1項に記載の超音波診断装置において、
前記画像形成部は、前記注目部位である腫瘤を含んだ超音波画像を形成し、
前記画像要素抽出部は、超音波画像内における画素値の空間的な凹凸状態の度合いを示す指標を得ることにより、当該指標を利用して、凹面に対応した複数の画像要素と凸面に対応した複数の画像要素を抽出し、
前記画像要素選択部は、腫瘤に対応した画像要素として選択された凹面の基準画像要素と、その他の複数の画像要素のうちの幾つかの画像要素を、複数の注目画像要素として選択し、
前記注目領域形成部は、複数の注目画像要素のうちの少なくとも幾つかを互いに繋ぎ合わせることにより、前記注目領域である腫瘤領域を形成する、
ことを特徴とする超音波診断装置。
The ultrasonic diagnostic apparatus according to any one of claims 1 to 8,
The image forming unit forms an ultrasonic image including a tumor that is the target site,
The image element extraction unit obtains an index indicating the degree of spatial unevenness of pixel values in an ultrasonic image, and uses the index to correspond to a plurality of image elements corresponding to a concave surface and a convex surface. Extract multiple image elements,
The image element selection unit selects, as a plurality of attention image elements, a concave reference image element selected as an image element corresponding to a tumor, and some image elements among a plurality of other image elements,
The attention area forming unit forms a tumor area as the attention area by connecting at least some of the plurality of attention image elements to each other.
An ultrasonic diagnostic apparatus.
超音波画像内における画素値の空間的な分布の形状に基づいて、当該超音波画像内において、所定の形状に対応した複数の画像要素を抽出する画像要素抽出部と、
各画像要素内における画素値の統計的な特徴量に基づいて、複数の画像要素の中から、注目部位の候補となる複数の注目画像要素を選択する画像要素選択部と、
複数の注目画像要素に基づいて、注目部位に対応した注目領域を形成する注目領域形成部と、
を有する、
ことを特徴とする超音波画像処理装置。
An image element extraction unit that extracts a plurality of image elements corresponding to a predetermined shape in the ultrasonic image based on the shape of the spatial distribution of pixel values in the ultrasonic image;
An image element selection unit that selects a plurality of target image elements that are candidates for a target region from a plurality of image elements based on a statistical feature amount of a pixel value in each image element;
An attention area forming unit that forms an attention area corresponding to an attention site based on a plurality of attention image elements;
Having
An ultrasonic image processing apparatus.
JP2014160016A 2014-08-06 2014-08-06 Ultrasonic diagnostic equipment Active JP6356528B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014160016A JP6356528B2 (en) 2014-08-06 2014-08-06 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014160016A JP6356528B2 (en) 2014-08-06 2014-08-06 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2016036417A true JP2016036417A (en) 2016-03-22
JP6356528B2 JP6356528B2 (en) 2018-07-11

Family

ID=55528079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014160016A Active JP6356528B2 (en) 2014-08-06 2014-08-06 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP6356528B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198791A (en) * 2017-05-26 2018-12-20 株式会社グローバルヘルス Information processing device
JP2019174288A (en) * 2018-03-28 2019-10-10 リコーエレメックス株式会社 Inspection system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097624A (en) * 1996-09-20 1998-04-14 Fuji Photo Film Co Ltd Method and device for detecting abnormal shadow candidate
US20060120591A1 (en) * 2004-12-07 2006-06-08 Pascal Cathier Shape index weighted voting for detection of objects
JP2006230910A (en) * 2005-02-28 2006-09-07 Konica Minolta Medical & Graphic Inc Image processor and image processing method
JP2008073305A (en) * 2006-09-22 2008-04-03 Gifu Univ Ultrasonic breast diagnostic system
JP2010000133A (en) * 2008-06-18 2010-01-07 Konica Minolta Medical & Graphic Inc Image display, image display method and program
JP2013103023A (en) * 2011-11-15 2013-05-30 Otoichi:Kk Image diagnostic support device and image diagnostic support method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1097624A (en) * 1996-09-20 1998-04-14 Fuji Photo Film Co Ltd Method and device for detecting abnormal shadow candidate
US20060120591A1 (en) * 2004-12-07 2006-06-08 Pascal Cathier Shape index weighted voting for detection of objects
JP2006230910A (en) * 2005-02-28 2006-09-07 Konica Minolta Medical & Graphic Inc Image processor and image processing method
JP2008073305A (en) * 2006-09-22 2008-04-03 Gifu Univ Ultrasonic breast diagnostic system
JP2010000133A (en) * 2008-06-18 2010-01-07 Konica Minolta Medical & Graphic Inc Image display, image display method and program
JP2013103023A (en) * 2011-11-15 2013-05-30 Otoichi:Kk Image diagnostic support device and image diagnostic support method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018198791A (en) * 2017-05-26 2018-12-20 株式会社グローバルヘルス Information processing device
JP2019174288A (en) * 2018-03-28 2019-10-10 リコーエレメックス株式会社 Inspection system

Also Published As

Publication number Publication date
JP6356528B2 (en) 2018-07-11

Similar Documents

Publication Publication Date Title
JP6367425B2 (en) Ultrasonic diagnostic equipment
US8538103B2 (en) Medical image processing device, medical image processing method, medical image diagnostic apparatus, operation method of medical image diagnostic apparatus, and medical image display method
JP4751282B2 (en) Ultrasonic diagnostic equipment
CN107072637B (en) Apparatus and method for automated pneumothorax detection
KR102255417B1 (en) Ultrasound diagnosis apparatus and mehtod for displaying a ultrasound image
JP7010948B2 (en) Fetal ultrasound imaging
CN106466193B (en) Ultrasonic diagnostic apparatus and method of operating the same
KR101579740B1 (en) Untrasound dianognosis apparatus, method and computer-readable storage medium
JP5156421B2 (en) Ultrasonic diagnostic equipment
JP5848793B2 (en) Ultrasonic diagnostic equipment
JP2011152416A (en) Ultrasonic system and method for processing three-dimensional ultrasonic screen image and measuring size of concerned object
JP6238755B2 (en) Information processing apparatus, information processing method, and program
JP2016112285A (en) Ultrasonic diagnostic device
JP6356528B2 (en) Ultrasonic diagnostic equipment
CN102217952A (en) Vector loop diagram generation method and device based on myocardium movement locus
JP5890358B2 (en) Ultrasonic image pickup apparatus and ultrasonic image display method
CN109069117B (en) Ultrasonic diagnostic apparatus
KR20090013199A (en) 3d echocardiographic shape analysis
JP6230801B2 (en) Ultrasonic imaging apparatus and ultrasonic image display method
JP4634872B2 (en) Ultrasonic diagnostic equipment
JP5985007B1 (en) Ultrasonic diagnostic equipment
JP2020018767A (en) Ultrasonic diagnosis system
JP2016112033A (en) Ultrasonic diagnostic device
WO2023089845A1 (en) Ultrasonic imaging device, ultrasonic imaging system, ultrasonic imaging method, and ultrasonic imaging program
JP6810005B2 (en) Ultrasonic diagnostic equipment

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180320

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180614

R150 Certificate of patent or registration of utility model

Ref document number: 6356528

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250