JP2018157871A - Ultrasonic image processing device - Google Patents
Ultrasonic image processing device Download PDFInfo
- Publication number
- JP2018157871A JP2018157871A JP2017055312A JP2017055312A JP2018157871A JP 2018157871 A JP2018157871 A JP 2018157871A JP 2017055312 A JP2017055312 A JP 2017055312A JP 2017055312 A JP2017055312 A JP 2017055312A JP 2018157871 A JP2018157871 A JP 2018157871A
- Authority
- JP
- Japan
- Prior art keywords
- data
- sight
- line
- rendering
- smoothing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009499 grossing Methods 0.000 claims abstract description 73
- 238000009877 rendering Methods 0.000 claims abstract description 66
- 230000004044 response Effects 0.000 claims abstract description 16
- 238000000034 method Methods 0.000 claims description 88
- 230000008569 process Effects 0.000 claims description 81
- 230000000007 visual effect Effects 0.000 abstract 7
- 210000003754 fetus Anatomy 0.000 description 21
- 230000006870 function Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000003745 diagnosis Methods 0.000 description 9
- 210000002826 placenta Anatomy 0.000 description 9
- 239000000523 sample Substances 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 5
- 230000001605 fetal effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000004381 amniotic fluid Anatomy 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
Description
本発明は、超音波画像処理装置に関する。 The present invention relates to an ultrasonic image processing apparatus.
超音波を送受することにより得られたデータに基づいて超音波画像を形成する超音波画像処理装置の代表例が超音波診断装置である。超音波画像としては、例えばＢモード画像やカラードプラ画像などの二次元画像が良く知られている。また、生体内の組織や胎児などを立体的に映し出す超音波画像（三次元超音波画像）を形成する装置も知られている。例えば、超音波を送受することにより立体的に得られるボリュームデータに基づいて、複数の視線の各視線（レイ）ごとにレンダリング処理を実行することにより、診断対象を立体的に映し出す超音波画像を形成する技術が知られている。 A typical example of an ultrasonic image processing apparatus that forms an ultrasonic image based on data obtained by transmitting and receiving ultrasonic waves is an ultrasonic diagnostic apparatus. As the ultrasound image, for example, a two-dimensional image such as a B-mode image or a color Doppler image is well known. There is also known an apparatus that forms an ultrasonic image (three-dimensional ultrasonic image) that three-dimensionally displays a tissue or a fetus in a living body. For example, based on volume data obtained three-dimensionally by transmitting and receiving ultrasonic waves, by executing rendering processing for each line of sight (ray) of a plurality of lines of sight, an ultrasonic image that three-dimensionally displays a diagnosis target is obtained. The forming technique is known.
例えば、特許文献１には、各視線（光線）上のボクセルデータに対してボリュームレンダリングを行って三次元画像を形成する技術が記載されている。特に、特許文献１には、各視線（光線）上のボクセルデータに対して平滑化処理を施す技術が開示されており、その平滑化処理の具体例として、各視線（光線）上のボクセルデータに対して有限インパルス応答フィルタ（ＦＩＲフィルタ）を適用する具体例が説明されている（特許文献１の第００４８段落参照）。 For example, Patent Document 1 describes a technique for forming a three-dimensional image by performing volume rendering on voxel data on each line of sight (light ray). In particular, Patent Document 1 discloses a technique for performing a smoothing process on voxel data on each line of sight (light ray). As a specific example of the smoothing process, voxel data on each line of sight (light ray) is disclosed. A specific example in which a finite impulse response filter (FIR filter) is applied to is described (see paragraph 0048 of Patent Document 1).
特許文献１に記載された技術により、高周波成分を中心とする画像ノイズを低減することができる。しかし、平滑化処理の程度が強すぎると画像が全体的にぼやけてしまい、例えば診断対象が本来よりも大きく膨らんで画像化されてしまう場合もある。 With the technique described in Patent Document 1, it is possible to reduce image noise centered on high frequency components. However, if the level of the smoothing process is too strong, the image is blurred as a whole. For example, the diagnosis target may be swollen larger than the original and may be imaged.
また、例えば診断対象が胎児であれば、胎盤や羊水内の浮遊物などの遮蔽物の影響により胎児の画像が遮られてしまう場合がある。胎盤や浮遊物などの遮蔽物に対しても好適に作用する平滑化処理の実現が期待される。 For example, if the diagnosis target is a fetus, an image of the fetus may be obstructed by the influence of a shield such as a placenta or floating matter in amniotic fluid. It is expected to realize a smoothing process that favorably acts on shielding such as placenta and suspended matter.
本発明の目的は、超音波のレンダリング処理に好適な平滑化処理の改良技術を提供することにある。 An object of the present invention is to provide an improved technique for smoothing processing suitable for ultrasonic rendering processing.
本発明の態様として好適な超音波画像処理装置は、超音波のボリュームデータに基づいて複数の視線の各視線ごとにレンダリング処理を実行するレンダリング処理手段と、前記各視線上のデータに対して無限インパルス応答フィルタを適用することにより、前記複数の視線の各視線ごとに平滑化処理を実行する平滑化処理手段と、前記レンダリング処理と前記平滑化処理により前記複数の視線の各視線ごとに得られる画素値に基づいて超音波画像を形成する画像形成手段と、を有することを特徴とする。 An ultrasonic image processing apparatus suitable as an aspect of the present invention includes a rendering processing unit that performs rendering processing for each line of sight based on ultrasonic volume data, and an infinite number of data on each line of sight. By applying the impulse response filter, smoothing processing means for executing a smoothing process for each line of sight of the plurality of lines of sight, and the rendering process and the smoothing process obtain each line of sight of the plurality of lines of sight And image forming means for forming an ultrasonic image based on the pixel value.
上記構成によれば、超音波のレンダリング処理に好適な平滑化処理として、各視線上のデータに対して無限インパルス応答（ＩＩＲ：Infinite Impulse Response）フィルタを適用する平滑化処理が実現される。 According to the above configuration, smoothing processing that applies an infinite impulse response (IIR) filter to data on each line of sight is realized as smoothing processing suitable for ultrasound rendering processing.
例えば、前記平滑化処理手段は、前記各視線上に並ぶデータを無限インパルス応答フィルタに次々に入力するフィルタ処理において、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化することが望ましい。例えば、最低輝度が輝度値０（ゼロ）であれば輝度値０が初期値とされる。なお、実質的に０（ゼロ）とみなせる程度の低い輝度値が初期値とされてもよい。無限インパルス応答フィルタでは、初期値の影響が長く続く（理論上は無限に続く）ため、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化することにより、初期化の影響を後続データのフィルタ処理に反映することができる。これにより、例えば、各視線上において診断対象よりも手前側（視点側）にある遮蔽物を平滑化処理により低減することができ、望ましくは遮蔽物を実質的に除去することができる。 For example, the smoothing processing means initializes the data input at the start of the filter processing to an initial value corresponding to the lowest luminance in the filter processing of sequentially inputting the data arranged on each line of sight to the infinite impulse response filter. It is desirable to do. For example, if the minimum brightness is 0 (zero), the brightness value 0 is set as the initial value. Note that a low luminance value that can be regarded as substantially 0 (zero) may be set as the initial value. In the infinite impulse response filter, the influence of the initial value lasts for a long time (theoretically, it continues infinitely), so the data input at the start of the filter process is initialized to the initial value corresponding to the lowest luminance. The effect can be reflected in subsequent data filtering. Thereby, for example, the shielding object on the near side (viewpoint side) relative to the diagnosis target on each line of sight can be reduced by the smoothing process, and the shielding object can be substantially removed.
例えば、前記レンダリング処理手段は、前記各視線ごとに、前記平滑化処理後のデータと前記平滑化処理後のデータに対応した不透明度とを用いてレンダリング処理を実行することが望ましい。この構成により、データ（例えば各視線上のボクセルデータ）と不透明度（オパシティ）の両方に平滑化処理の結果を反映したレンダリング処理が実現される。 For example, it is desirable that the rendering processing unit execute the rendering process for each line of sight using the data after the smoothing process and the opacity corresponding to the data after the smoothing process. With this configuration, rendering processing that reflects the result of the smoothing processing on both data (for example, voxel data on each line of sight) and opacity (opacity) is realized.
例えば、前記レンダリング処理手段は、前記各視線ごとに、前記平滑化処理前のデータと前記平滑化処理後のデータに対応した不透明度とを用いてレンダリング処理を実行することが望ましい。この構成により、平滑化処理の前と後のデータを併用したレンダリング処理が実現される。 For example, it is desirable that the rendering processing unit execute the rendering process for each line of sight using data before the smoothing process and opacity corresponding to the data after the smoothing process. With this configuration, a rendering process using both the data before and after the smoothing process is realized.
さらに、上述した好適な超音波画像処理装置（望ましい具体例を含む）が備える各部に対応した機能がコンピュータ（タブレット型の端末を含む）により実現されてもよい。例えば、前記レンダリング処理手段としての機能と、前記平滑化処理手段としての機能と、前記画像形成手段としての機能をコンピュータに実現させるプログラムにより、コンピュータを上述した好適な超音波画像処理装置として機能させることができる。なお、そのプログラムは、例えば、ディスクやメモリなどのコンピュータが読み取り可能な記憶媒体に記憶され、その記憶媒体を介してコンピュータに提供されてもよいし、インターネットなどの電気通信回線を介してコンピュータに提供されてもよい。 Furthermore, the function corresponding to each part with which the above-mentioned suitable ultrasonic image processing apparatus (including a desirable specific example) is provided may be realized by a computer (including a tablet terminal). For example, the computer is caused to function as the above-described preferred ultrasonic image processing apparatus by a program that causes the computer to realize the function as the rendering processing unit, the function as the smoothing processing unit, and the function as the image forming unit. be able to. The program may be stored in a computer-readable storage medium such as a disk or a memory, and may be provided to the computer via the storage medium, or may be provided to the computer via an electric communication line such as the Internet. May be provided.
本発明により超音波のレンダリング処理に好適な平滑化処理の改良技術が提供される。例えば、本発明の好適な態様によれば、超音波のレンダリング処理に好適な平滑化処理として、各視線上のデータに対して無限インパルス応答フィルタを適用する平滑化処理が実現される。 According to the present invention, an improved technique of smoothing processing suitable for ultrasonic rendering processing is provided. For example, according to a preferred aspect of the present invention, a smoothing process that applies an infinite impulse response filter to data on each line of sight is realized as a smoothing process suitable for an ultrasound rendering process.
図１は、本発明に係る超音波画像処理装置の好適な具体例である超音波診断装置の全体構成図である。プローブ１０は、三次元画像用の超音波探触子であり、例えば胎児などの診断対象を含む三次元空間内において超音波を送受する。例えば、二次元的に配列された複数の振動素子を備える二次元アレイプローブ（マトリクスアレイプローブ）や、一次元的に配列された複数の振動素子を機械的に動かすメカニカルプローブなどがプローブ１０の好適な具体例である。 FIG. 1 is an overall configuration diagram of an ultrasonic diagnostic apparatus which is a preferred specific example of an ultrasonic image processing apparatus according to the present invention. The probe 10 is an ultrasonic probe for a three-dimensional image, and transmits and receives ultrasonic waves in a three-dimensional space including a diagnostic object such as a fetus. For example, the probe 10 is preferably a two-dimensional array probe (matrix array probe) including a plurality of vibration elements arranged two-dimensionally or a mechanical probe that mechanically moves a plurality of vibration elements arranged one-dimensionally. This is a specific example.
送受信部１２は、送信ビームフォーマおよび受信ビームフォーマとしての機能を備えている。つまり、送受信部１２は、プローブ１０が備える複数の振動素子の各々に対して送信信号を出力することにより送信ビームを形成し、さらに、複数の振動素子から得られる複数の受波信号に対して整相加算処理などを施して受信ビームを形成する。 The transmission / reception unit 12 has functions as a transmission beamformer and a reception beamformer. That is, the transmission / reception unit 12 forms a transmission beam by outputting a transmission signal to each of the plurality of vibration elements included in the probe 10, and further receives a plurality of reception signals obtained from the plurality of vibration elements. A reception beam is formed by performing phasing addition processing or the like.
また、送受信部１２は、例えば、診断対象を含む三次元空間内において、超音波ビーム（送信ビームと受信ビーム）を立体的に走査する。これにより、診断対象を含む三次元空間内から超音波の受信データが収集される。 In addition, the transmission / reception unit 12 three-dimensionally scans the ultrasonic beam (transmission beam and reception beam) in a three-dimensional space including the diagnosis target. Thereby, ultrasonic reception data is collected from within the three-dimensional space including the diagnosis target.
ボリューム構成部２０は、三次元空間内から得られた受信データに対してリコンストラクション処理を施すことにより、三次元空間に対応したボリュームデータを形成する。ボリューム構成部２０は、走査座標系（例えばｒθφ座標系）で得られた受信データに対して、座標変換処理や補間処理などのリコンストラクション処理を施し、直交座標系（例えばｘｙｚ座標系）に対応したボリュームデータを形成する。ボリュームデータは、例えば直交座標系のデータ空間内において三次元的に配列された複数のボクセルデータで構成される。 The volume construction unit 20 forms volume data corresponding to the three-dimensional space by performing a reconstruction process on the received data obtained from the three-dimensional space. The volume configuration unit 20 performs reconstruction processing such as coordinate conversion processing and interpolation processing on the received data obtained in the scanning coordinate system (for example, rθφ coordinate system), and supports the orthogonal coordinate system (for example, xyz coordinate system). Formed volume data. The volume data is composed of, for example, a plurality of voxel data arranged three-dimensionally in a data space of an orthogonal coordinate system.
レンダリング処理部３０は、ボリュームデータを構成する複数のボクセルデータに基づいてレンダリング処理（ボクセル演算）を実行する。 The rendering processing unit 30 performs a rendering process (voxel calculation) based on a plurality of voxel data constituting the volume data.
図２は、レンダリング処理の具体例を示す図である。レンダリング処理（レンダリング演算）においては、三次元空間に対応したボリュームデータ３２の外側に演算上の仮想的な視点が設定され、その視点側からボリュームデータ３２に対して複数の視線（レイ）３４が設定される。さらに、画像面として機能する演算上のスクリーン３６が設定される。なお、図２において、スクリーン３６は、ボリュームデータ３２を間に挟んで、視点の反対側に図示されているが、ボリュームデータ３２よりも視点側に配置されてもよい。 FIG. 2 is a diagram illustrating a specific example of the rendering process. In the rendering process (rendering calculation), a virtual viewpoint for calculation is set outside the volume data 32 corresponding to the three-dimensional space, and a plurality of lines of sight (rays) 34 are formed with respect to the volume data 32 from the viewpoint side. Is set. Further, an arithmetic screen 36 that functions as an image plane is set. In FIG. 2, the screen 36 is illustrated on the opposite side of the viewpoint with the volume data 32 interposed therebetween, but may be disposed on the viewpoint side of the volume data 32.
レンダリング処理では、ボリュームデータ３２に対して設定された複数の視線（レイ）３４の各視線３４ごとに、その視線３４に対応した複数のボクセルデータが処理対象となる。例えば、ボリュームデータ３２を構成する複数のボクセルデータから、補間処理などにより、各視線３４に対応した（各視線上に並ぶ）複数のボクセルデータが得られる。そして、各視線３４上においてレンダリング処理が実行される。 In the rendering process, for each line of sight 34 of a plurality of lines of sight 34 set for the volume data 32, a plurality of voxel data corresponding to the line of sight 34 is processed. For example, a plurality of voxel data corresponding to each line of sight 34 (aligned on each line of sight) is obtained from a plurality of voxel data constituting the volume data 32 by interpolation processing or the like. Then, rendering processing is executed on each line of sight 34.
図３は、各視線上におけるレンダリング処理の説明図である。図３には、複数の視線３４のうちの代表例である１本の視線３４が図示されており、その視線３４上に並ぶ複数のボクセルが図示されている。 FIG. 3 is an explanatory diagram of rendering processing on each line of sight. In FIG. 3, one line of sight 34 that is a representative example of the plurality of lines of sight 34 is illustrated, and a plurality of voxels arranged on the line of sight 34 are illustrated.
レンダリング処理では、各視線３４ごとに、視点側からその視線３４に対応した複数のボクセルデータ（ボクセルの輝度情報）に対して、不透明度（オパシティ）を用いたレンダリング法に基づくボクセル演算が逐次的に実行される。そして、各視線３４ごとに最終のボクセル演算の結果としてその視線３４に対応した輝度情報が決定される。 In the rendering process, for each line of sight 34, a voxel calculation based on a rendering method using opacity (opacity) is sequentially performed on a plurality of voxel data (luminance information of the voxel) corresponding to the line of sight 34 from the viewpoint side. To be executed. Then, luminance information corresponding to the line of sight 34 is determined for each line of sight 34 as a result of the final voxel calculation.
また、各視線３４上に並ぶ複数のデータ（ボクセルデータ）は平滑化処理を施される。その平滑化処理において、無限インパルス応答（ＩＩＲ：Infinite Impulse Response）フィルタが適用される。 A plurality of data (voxel data) arranged on each line of sight 34 is subjected to a smoothing process. In the smoothing process, an infinite impulse response (IIR) filter is applied.
図１に戻り、平滑化処理部４０は、各視線上のデータに対して無限インパルス応答フィルタを適用することにより、複数の視線の各視線ごとに平滑化処理を実行する。そして、レンダリング処理部３０が実行するレンダリング処理と、平滑化処理部４０が実行する平滑化処理により、複数の視線から各視線ごとに得られる輝度情報を各画素の画素値とすることにより、スクリーン（画像面）内の複数画素の画素値が得られる。これにより、スクリーンを投影面とする輝度情報の投影画像データが形成される。 Returning to FIG. 1, the smoothing processing unit 40 performs a smoothing process for each line of sight of a plurality of lines of sight by applying an infinite impulse response filter to the data on each line of sight. Then, the luminance information obtained for each line of sight from a plurality of lines of sight is set as the pixel value of each pixel by the rendering process executed by the rendering processing unit 30 and the smoothing process executed by the smoothing processing unit 40. Pixel values of a plurality of pixels in (image plane) are obtained. Thereby, projection image data of luminance information with the screen as the projection plane is formed.
図４は、各視線上におけるレンダリング処理と平滑化処理の具体例を示すフローチャートである。まず、各視線上においてデータがサンプリングされる（Ｓ１）。例えば、各視線上に並ぶ複数のボクセルデータが視点側から順にサンプリングされる。なお、各視線上の全てのボクセルデータがサンプリングされてもよいし、例えばサンプリング間隔（レンダリングピッチ）で定められたデータ間隔で離散的にボクセルデータがサンプリングされてもよい。 FIG. 4 is a flowchart illustrating a specific example of rendering processing and smoothing processing on each line of sight. First, data is sampled on each line of sight (S1). For example, a plurality of voxel data arranged on each line of sight are sampled sequentially from the viewpoint side. Note that all the voxel data on each line of sight may be sampled, or the voxel data may be sampled discretely at a data interval determined by, for example, a sampling interval (rendering pitch).
次に、サンプリングされたデータに対して無限インパルス応答フィルタ（ＩＩＲフィルタ）を適用することにより平滑化処理が実行される（Ｓ２）。無限インパルス応答フィルタの好適な具体例となる演算式が数１式である。 Next, a smoothing process is executed by applying an infinite impulse response filter (IIR filter) to the sampled data (S2). An arithmetic expression as a preferred specific example of the infinite impulse response filter is Expression 1.
〔数１〕Ｖｎ´＝α×Ｖｎ＋（１−α）Ｖｎ−１´ [Expression 1] V n ′ = α × V n + (1−α) V n−1 ′
数１式において、Ｖｎはｎ番目（ｎは自然数）のサンプリングデータ（Ｓ１でサンプリングされたボクセルデータ）であり、Ｖｎ´はｎ番目のサンプリングデータの平滑化処理後（ＩＩＲフィルタ適用後）のデータであり、Ｖｎ−１´は（ｎ−１）番目のサンプリングデータの平滑化処理後のデータである。そして、αは、無限インパルス応答フィルタ（ＩＩＲフィルタ）の時定数である。平滑化処理後のデータＶｎ´は、例えばメモリ等に一時的に保持される（Ｓ３）。 In Equation 1, V n is n-th (n is a natural number) sampling data (voxel data sampled in S1), and V n ′ is after smoothing processing of the n-th sampling data (after applying the IIR filter). V n−1 ′ is data after the smoothing processing of the (n−1) th sampling data. Α is a time constant of an infinite impulse response filter (IIR filter). The smoothed data V n ′ is temporarily stored in, for example, a memory or the like (S3).
次に、平滑化処理後のデータＶｎ´に対応したオパシティＯ［Ｖｎ´］が取得される（Ｓ４）。例えば、ボクセルデータ（輝度値）とオパシティ（不透明度）との対応関係を定めたオパシティカーブ（不透明度の関数）から、平滑化処理後のデータＶｎ´に対応したオパシティＯ［Ｖｎ´］が導出される。 Next, an opacity O [V n ′] corresponding to the smoothed data V n ′ is acquired (S4). For example, from an opacity curve (an opacity function) that defines the correspondence between voxel data (luminance values) and opacity (opacity), an opacity O [V n ′] corresponding to the smoothed data V n ′ Is derived.
そして、平滑化処理後のデータＶｎ´とオパシティＯ［Ｖｎ´］を用いてレンダリング処理が実行される（Ｓ５）。レンダリング処理としては公知の具体例（様々な演算式のいずれか）が利用される。 Then, rendering processing is performed using the smoothed data V n ′ and opacity O [V n ′] (S5). A known specific example (any one of various arithmetic expressions) is used as the rendering process.
各視線上におけるレンダリング処理は終了条件が満たされるまで逐次的に実行される（Ｓ６）。終了条件が満たされると、例えば「オパシティ積算値が飽和」または「最終ボクセルが終了」すると、その視線上における処理が終了する。そして、終了時点におけるレンダリング処理結果（各視線の輝度情報）がスクリーン（画像面）内の各画素の画素値とされる。 The rendering process on each line of sight is sequentially executed until the end condition is satisfied (S6). When the termination condition is satisfied, for example, when “the opacity integrated value is saturated” or “the final voxel is terminated”, the processing on the line of sight is terminated. Then, the rendering processing result (luminance information of each line of sight) at the end time is set as the pixel value of each pixel in the screen (image plane).
図４のフローチャートに示す処理は各視線上におけるレンダリング処理と平滑化処理の具体例であり、複数の視線の各視線ごとに図４に示すレンダリング処理と平滑化処理が実行される。 The process shown in the flowchart of FIG. 4 is a specific example of the rendering process and the smoothing process on each line of sight. The rendering process and the smoothing process shown in FIG. 4 are executed for each line of sight of a plurality of lines of sight.
なお、図４には、各視線上においてレンダリング処理と平滑化処理を並行処理する具体例を示したが、各視線上の全サンプリングデータを平滑化処理してからその視線上のレンダリング処理を実行してもよい。 Note that FIG. 4 shows a specific example in which rendering processing and smoothing processing are performed in parallel on each line of sight. However, after all sampling data on each line of sight is smoothed, rendering processing on that line of sight is executed. May be.
また、図４の具体例では、平滑化処理後のデータＶｎ´と、その平滑化処理後のデータＶｎ´に対応したオパシティＯ［Ｖｎ´］を用いてレンダリング処理を実行している（図４のＳ５参照）。この具体例の変形例として、例えば、平滑化処理前のデータＶｎと、平滑化処理後のデータＶｎ´に対応したオパシティＯ［Ｖｎ´］を用いて、レンダリング処理を実行してもよい。 Further, in the embodiment of FIG. 4, and perform the rendering processing using 'and its smoothing data V n after' data V n after smoothing processing opacity O corresponding to [V n '] (See S5 in FIG. 4). As a modification of this specific example, for example, the rendering process may be executed using the data V n before the smoothing process and the opacity O [V n ′] corresponding to the data V n ′ after the smoothing process. Good.
図５は、ＩＩＲフィルタ（無限インパルス応答フィルタ）により平滑化処理されたデータの具体例を示す図である。図５（１）は、平滑化処理前の各視線上におけるボクセルデータを示しており、図５（２）は、ＩＩＲフィルタによる平滑化処理後の各視線上におけるボクセルデータを示している。図５において、横軸は各視線の視線方向（視点は左側）であり、縦軸はボクセルデータの値（ボクセル値）を示している。 FIG. 5 is a diagram illustrating a specific example of data smoothed by an IIR filter (infinite impulse response filter). FIG. 5 (1) shows voxel data on each line of sight before the smoothing process, and FIG. 5 (2) shows voxel data on each line of sight after the smoothing process by the IIR filter. In FIG. 5, the horizontal axis represents the line-of-sight direction (the viewpoint is the left side), and the vertical axis represents the value of voxel data (voxel value).
図５は、胎児を診断対象とした場合の具体例であり、図５には、胎児に対応したボクセルデータの塊と、胎児よりも視点側にある浮遊物に対応したボクセルデータの塊が図示されている。 FIG. 5 is a specific example when a fetus is a diagnosis target. FIG. 5 illustrates a voxel data chunk corresponding to the fetus and a voxel data chunk corresponding to a floating object on the viewpoint side of the fetus. Has been.
図５（１）の平滑化処理前において、浮遊物に対応したボクセルデータは比較的大きなボクセル値となっており、このままレンダリング処理を実行すると、浮遊物に対応したボクセルデータがレンダリング処理に強い影響を及ぼしてしまい、例えばレンダリング処理の結果として得られる三次元の超音波画像内において、浮遊物が胎児を遮ってしまう場合がある。 Before the smoothing process in FIG. 5A, the voxel data corresponding to the floating object has a relatively large voxel value. If the rendering process is executed as it is, the voxel data corresponding to the floating object has a strong influence on the rendering process. For example, in the three-dimensional ultrasonic image obtained as a result of the rendering process, the suspended matter may block the fetus.
これに対し、図５（２）の平滑化処理後においては、浮遊物に対応したボクセルデータが比較的小さなボクセル値に平滑化される。これにより、浮遊物に対応したボクセルデータがレンダリング処理に与える影響が軽減され、例えばレンダリング処理の結果として得られる三次元の超音波画像内において浮遊物の画像化が抑制されて胎児の画像が明瞭に映し出される。 On the other hand, after the smoothing process of FIG. 5B, the voxel data corresponding to the floating substance is smoothed to a relatively small voxel value. As a result, the influence of the voxel data corresponding to the floating substance on the rendering process is reduced. For example, the imaging of the floating substance is suppressed in the three-dimensional ultrasonic image obtained as a result of the rendering process, and the image of the fetus is clear. It is projected on.
また、平滑化処理の前後を比較すると、平滑化処理後において胎児の画像の急峻な立ち上がりが抑制される。なお、急峻な立下りも抑制される。これにより、例えば平滑化処理前において胎児表面のデータが粗い（急峻な変化がある）場合でも、ＩＩＲフィルタを適用した平滑化処理により、胎児表面が連続的で見た目に自然な画像を得ることができる。 Further, when comparing before and after the smoothing process, a steep rise of the fetal image is suppressed after the smoothing process. A steep fall is also suppressed. As a result, for example, even when the fetal surface data is rough (there is a steep change) before the smoothing process, it is possible to obtain a natural image with a continuous fetal surface by the smoothing process using the IIR filter. it can.
図１の平滑化処理部４０は、各視線上に並ぶデータをＩＩＲフィルタ（無限インパルス応答フィルタ）に次々に入力するフィルタ処理において、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化することが望ましい。 The smoothing processing unit 40 in FIG. 1 performs initial processing in which data input at the start of the filter processing corresponds to the lowest luminance in the filter processing in which data arranged on each line of sight is sequentially input to the IIR filter (infinite impulse response filter). It is desirable to initialize it to a value.
図６は、ＩＩＲフィルタによる平滑化処理における初期化の具体例を示す図である。図６（１）は平滑化処理前の各視線上におけるボクセルデータを示している。図６（２）（３）はＩＩＲフィルタによる平滑化処理後の各視線上におけるボクセルデータを示しており、図６（２）は初期化なしの場合に、図６（３）は初期化ありの場合に対応している。なお、図６において、横軸は各視線の視線方向（視点は左側）であり、縦軸はボクセルデータの値（ボクセル値）を示している。 FIG. 6 is a diagram illustrating a specific example of initialization in the smoothing process using the IIR filter. FIG. 6A shows voxel data on each line of sight before the smoothing process. FIGS. 6 (2) and 6 (3) show voxel data on each line of sight after the smoothing process by the IIR filter, FIG. 6 (2) shows the case without initialization, and FIG. 6 (3) shows the initialization. It corresponds to the case of. In FIG. 6, the horizontal axis represents the line-of-sight direction of each line of sight (the viewpoint is the left side), and the vertical axis represents the value of voxel data (voxel value).
図６は、胎児を診断対象とした場合の具体例である。図６には、胎盤に接している胎児に対応したボクセルデータの塊が図示されており、視点側に位置する胎盤に胎児が接している。なお、図６の具体例では、胎盤に対応したデータ部分は処理の対象外とされ、胎盤と胎児の境界に対応した演算開始位置Ｓから、胎児に対応したボクセルデータを対象としてレンダリング処理と平滑化処理が開始される。 FIG. 6 is a specific example when a fetus is a diagnosis target. FIG. 6 shows a block of voxel data corresponding to the fetus in contact with the placenta, and the fetus is in contact with the placenta located on the viewpoint side. In the specific example of FIG. 6, the data portion corresponding to the placenta is excluded from processing, and rendering processing and smoothing are performed for voxel data corresponding to the fetus from the calculation start position S corresponding to the boundary between the placenta and the fetus. Processing is started.
図６（１）の平滑化処理前において、胎児に対応したボクセルデータは演算開始位置Ｓの直後から比較的大きなボクセル値となっている。そして、演算開始位置Ｓから各視線上に並ぶ胎児に対応したボクセルデータが次々にＩＩＲフィルタに入力されてＩＩＲフィルタが適用される。初期化を行わずに図６（１）のボクセルデータをＩＩＲフィルタに適用して得られた結果が図６（２）に示す平滑化処理後のボクセルデータである。 Before the smoothing process in FIG. 6A, the voxel data corresponding to the fetus has a relatively large voxel value immediately after the calculation start position S. Then, voxel data corresponding to fetuses lined up on each line of sight from the calculation start position S are sequentially input to the IIR filter, and the IIR filter is applied. The result obtained by applying the voxel data in FIG. 6 (1) to the IIR filter without initialization is the voxel data after the smoothing process shown in FIG. 6 (2).
これに対し、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化した場合の具体例が図６（３）に示すボクセルデータである。図６（３）では、演算開始位置Ｓから各視線上に並ぶ胎児に対応したボクセルデータを次々にＩＩＲフィルタに入力するフィルタ処理において、ＩＩＲフィルタに最初に入力されるボクセルデータ（例えば図４のＳ１において最初にサンプリングされるデータ）が最低輝度（例えばボクセル値０）に初期化される。 On the other hand, a specific example when the data input at the start of the filter process is initialized to an initial value corresponding to the minimum luminance is the voxel data shown in FIG. In FIG. 6 (3), in the filtering process in which the voxel data corresponding to the fetuses lined up on each line of sight from the calculation start position S are sequentially input to the IIR filter, the voxel data that is first input to the IIR filter (for example, FIG. 4). The data sampled first in S1) is initialized to the lowest luminance (eg, voxel value 0).
ＩＩＲフィルタを利用したフィルタ処理では、初期値の影響が比較的長く続くため、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化することにより、初期値が後続データのフィルタ処理にも影響を及ぼす。その結果、例えば、図６（３）に示す具体例のように、演算開始位置Ｓの直後における胎児の画像の急峻な立ち上がりが抑制される。これにより、例えば、胎児と胎盤が接している場合においても、胎盤に接する胎児の画像の境界が自然で滑らかなものとなり、胎盤から分離されたことに伴う胎児の画像の違和感が軽減される。 In the filter processing using the IIR filter, the influence of the initial value lasts for a relatively long time. Therefore, by initializing the data input at the start of the filter processing to the initial value corresponding to the minimum luminance, the initial value becomes the following data. It also affects the filtering process. As a result, for example, as in the specific example shown in FIG. 6 (3), the steep rise of the fetal image immediately after the calculation start position S is suppressed. Thereby, for example, even when the fetus and the placenta are in contact with each other, the boundary between the images of the fetus in contact with the placenta becomes natural and smooth, and the uncomfortable feeling of the image of the fetus accompanying the separation from the placenta is reduced.
図１に戻り、画像形成部６０は、レンダリング処理と平滑化処理により複数の視線の各視線ごとに得られた画素値に基づいて超音波画像を形成する。画像形成部６０は、レンダリング処理部３０から得られる輝度情報の投影画像データに基づいて、例えば胎児などの診断対象を立体的に映し出した超音波画像を形成する。画像形成部６０において形成された超音波画像は表示部６２に表示される。 Returning to FIG. 1, the image forming unit 60 forms an ultrasonic image based on the pixel values obtained for each line of sight of the plurality of lines of sight by the rendering process and the smoothing process. The image forming unit 60 forms an ultrasonic image that three-dimensionally displays a diagnosis target such as a fetus based on the projection image data of luminance information obtained from the rendering processing unit 30. The ultrasonic image formed in the image forming unit 60 is displayed on the display unit 62.
制御部１００は、図１の超音波診断装置内を全体的に制御する。制御部１００による全体的な制御には、操作デバイス７０を介して医師や検査技師などのユーザから受け付けた指示も反映される。 The control unit 100 generally controls the inside of the ultrasonic diagnostic apparatus in FIG. The overall control by the control unit 100 also reflects an instruction received from a user such as a doctor or a laboratory technician via the operation device 70.
図１に示す構成のうち、送受信部１２，ボリューム構成部２０，レンダリング処理部３０，平滑化処理部４０，画像形成部６０の各部は、例えば、電気電子回路やプロセッサ等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。また上記各部に対応した機能の少なくとも一部がコンピュータにより実現されてもよい。つまり、上記各部に対応した機能の少なくとも一部が、ＣＰＵやプロセッサやメモリ等のハードウェアと、ＣＰＵやプロセッサの動作を規定するソフトウェア（プログラム）との協働により実現されてもよい。 In the configuration shown in FIG. 1, the transmission / reception unit 12, the volume configuration unit 20, the rendering processing unit 30, the smoothing processing unit 40, and the image forming unit 60 use, for example, hardware such as an electric / electronic circuit or a processor. In the realization, a device such as a memory may be used as necessary. Further, at least a part of the functions corresponding to the above-described units may be realized by a computer. That is, at least a part of the functions corresponding to the above-described units may be realized by cooperation between hardware such as a CPU, a processor, and a memory and software (program) that defines the operation of the CPU and the processor.
表示部６２の好適な具体例は液晶ディスプレイや有機ＥＬ（エレクトロルミネッセンス）ディスプレイ等である。操作デバイス７０は、例えばマウス、キーボード、トラックボール、タッチパネル、その他のスイッチ類等のうちの少なくとも一つにより実現できる。そして、制御部１００は、例えば、ＣＰＵやプロセッサやメモリ等のハードウェアと、ＣＰＵやプロセッサの動作を規定するソフトウェア（プログラム）との協働により実現することができる。 A suitable specific example of the display unit 62 is a liquid crystal display, an organic EL (electroluminescence) display, or the like. The operation device 70 can be realized by at least one of a mouse, a keyboard, a trackball, a touch panel, and other switches, for example. And the control part 100 is realizable by cooperation with hardwares, such as CPU, a processor, a memory, and the software (program) which prescribes | regulates operation | movement of CPU, a processor, for example.
また、図１に示す構成のうち、例えばレンダリング処理部３０と平滑化処理部４０と画像形成部６０の機能をコンピュータにより実現し、そのコンピュータを超音波画像処理装置として機能させてもよい。 In the configuration illustrated in FIG. 1, for example, the functions of the rendering processing unit 30, the smoothing processing unit 40, and the image forming unit 60 may be realized by a computer, and the computer may function as an ultrasonic image processing apparatus.
以上、本発明の好適な実施形態を説明したが、上述した実施形態は、あらゆる点で単なる例示にすぎず、本発明の範囲を限定するものではない。本発明は、その本質を逸脱しない範囲で各種の変形形態を包含する。 As mentioned above, although preferred embodiment of this invention was described, embodiment mentioned above is only a mere illustration in all the points, and does not limit the scope of the present invention. The present invention includes various modifications without departing from the essence thereof.
１０ プローブ、１２ 送受信部、２０ ボリューム構成部、３０ レンダリング処理部、４０ 平滑化処理部、６０ 画像形成部、６２ 表示部、７０ 操作デバイス、１００ 制御部。 DESCRIPTION OF SYMBOLS 10 probe, 12 transmission / reception part, 20 volume structure part, 30 rendering process part, 40 smoothing process part, 60 image formation part, 62 display part, 70 operation device, 100 control part.
Claims (4)
前記各視線上のデータに対して無限インパルス応答フィルタを適用することにより、前記複数の視線の各視線ごとに平滑化処理を実行する平滑化処理手段と、
前記レンダリング処理と前記平滑化処理により前記複数の視線の各視線ごとに得られる画素値に基づいて超音波画像を形成する画像形成手段と、
を有する、
ことを特徴とする超音波画像処理装置。 Rendering processing means for executing rendering processing for each line of sight on the basis of ultrasonic volume data;
Smoothing processing means for performing a smoothing process for each line of sight of the plurality of lines of sight by applying an infinite impulse response filter to the data on each line of sight;
An image forming unit that forms an ultrasonic image based on a pixel value obtained for each line of sight of the plurality of lines of sight by the rendering process and the smoothing process;
Having
An ultrasonic image processing apparatus.
前記平滑化処理手段は、前記各視線上に並ぶデータを無限インパルス応答フィルタに次々に入力するフィルタ処理において、フィルタ処理の開始時に入力されるデータを最低輝度に対応した初期値に初期化する、
ことを特徴とする超音波画像処理装置。 The ultrasonic image processing apparatus according to claim 1,
The smoothing processing means initializes the data input at the start of the filter processing to an initial value corresponding to the minimum luminance in the filter processing of sequentially inputting the data arranged on each line of sight to the infinite impulse response filter.
An ultrasonic image processing apparatus.
前記レンダリング処理手段は、前記各視線ごとに、前記平滑化処理後のデータと前記平滑化処理後のデータに対応した不透明度とを用いてレンダリング処理を実行する、
ことを特徴とする超音波画像処理装置。 The ultrasonic image processing apparatus according to claim 1 or 2,
The rendering processing means executes a rendering process using the data after the smoothing process and the opacity corresponding to the data after the smoothing process for each line of sight.
An ultrasonic image processing apparatus.
前記レンダリング処理手段は、前記各視線ごとに、前記平滑化処理前のデータと前記平滑化処理後のデータに対応した不透明度とを用いてレンダリング処理を実行する、
ことを特徴とする超音波画像処理装置。 The ultrasonic image processing apparatus according to claim 1 or 2,
The rendering processing means executes a rendering process for each line of sight using data before the smoothing process and opacity corresponding to the data after the smoothing process.
An ultrasonic image processing apparatus.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055312A JP6809950B2 (en) | 2017-03-22 | 2017-03-22 | Ultrasonic image processing equipment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017055312A JP6809950B2 (en) | 2017-03-22 | 2017-03-22 | Ultrasonic image processing equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018157871A true JP2018157871A (en) | 2018-10-11 |
| JP6809950B2 JP6809950B2 (en) | 2021-01-06 |
Family
ID=63795216
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017055312A Active JP6809950B2 (en) | 2017-03-22 | 2017-03-22 | Ultrasonic image processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6809950B2 (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11113902A (en) * | 1997-10-17 | 1999-04-27 | Matsushita Electric Ind Co Ltd | Ultrasonograph and ultrasonography |
| JP2001178721A (en) * | 1999-11-26 | 2001-07-03 | Ge Medical Systems Global Technology Co Llc | Method and device for visualizing movement in ultrasonic flow imaging using packet data acquisition |
| JP2002077618A (en) * | 2000-08-31 | 2002-03-15 | Ricoh Co Ltd | Image processing apparatus and method |
| US20040081340A1 (en) * | 2002-10-28 | 2004-04-29 | Kabushiki Kaisha Toshiba | Image processing apparatus and ultrasound diagnosis apparatus |
| WO2005033737A1 (en) * | 2003-09-30 | 2005-04-14 | Koninklijke Philips Electronics N.V. | Clutter filtering with small ensemble lengths in ultrasound imaging |
| JP2005121484A (en) * | 2003-10-16 | 2005-05-12 | Koyo Seiko Co Ltd | Method and apparatus for visual inspection of bearing part |
| JP2006051202A (en) * | 2004-08-12 | 2006-02-23 | Toshiba Corp | Image processing device, image processing method, and program |
| US20070172104A1 (en) * | 2006-01-19 | 2007-07-26 | Akihiko Nishide | Image display apparatus and x-ray ct apparatus |
| JP2008018224A (en) * | 2006-06-15 | 2008-01-31 | Aloka Co Ltd | Volume data processor and program |
| JP2011239906A (en) * | 2010-05-18 | 2011-12-01 | Toshiba Corp | Ultrasonograph |
-
2017
- 2017-03-22 JP JP2017055312A patent/JP6809950B2/en active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11113902A (en) * | 1997-10-17 | 1999-04-27 | Matsushita Electric Ind Co Ltd | Ultrasonograph and ultrasonography |
| JP2001178721A (en) * | 1999-11-26 | 2001-07-03 | Ge Medical Systems Global Technology Co Llc | Method and device for visualizing movement in ultrasonic flow imaging using packet data acquisition |
| US6618493B1 (en) * | 1999-11-26 | 2003-09-09 | Ge Medical Systems Global Technology Company, Llc | Method and apparatus for visualization of motion in ultrasound flow imaging using packet data acquisition |
| JP2002077618A (en) * | 2000-08-31 | 2002-03-15 | Ricoh Co Ltd | Image processing apparatus and method |
| US20040081340A1 (en) * | 2002-10-28 | 2004-04-29 | Kabushiki Kaisha Toshiba | Image processing apparatus and ultrasound diagnosis apparatus |
| JP2004141514A (en) * | 2002-10-28 | 2004-05-20 | Toshiba Corp | Image processing apparatus and ultrasonic diagnostic apparatus |
| WO2005033737A1 (en) * | 2003-09-30 | 2005-04-14 | Koninklijke Philips Electronics N.V. | Clutter filtering with small ensemble lengths in ultrasound imaging |
| JP2007507271A (en) * | 2003-09-30 | 2007-03-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Clutter filtering by small ensemble length in ultrasound imaging |
| JP2005121484A (en) * | 2003-10-16 | 2005-05-12 | Koyo Seiko Co Ltd | Method and apparatus for visual inspection of bearing part |
| JP2006051202A (en) * | 2004-08-12 | 2006-02-23 | Toshiba Corp | Image processing device, image processing method, and program |
| US20070172104A1 (en) * | 2006-01-19 | 2007-07-26 | Akihiko Nishide | Image display apparatus and x-ray ct apparatus |
| JP2007190182A (en) * | 2006-01-19 | 2007-08-02 | Ge Medical Systems Global Technology Co Llc | Image display device and x-ray ct apparatus |
| JP2008018224A (en) * | 2006-06-15 | 2008-01-31 | Aloka Co Ltd | Volume data processor and program |
| JP2011239906A (en) * | 2010-05-18 | 2011-12-01 | Toshiba Corp | Ultrasonograph |
Non-Patent Citations (1)
| Title |
|---|
| 雛元考夫: "２章 ディジタルフィルタの設計", 電子情報通信学会『知識の森』, vol. 1群‐9編‐2章, JPN6020020890, 2011, pages 1 - 22, ISSN: 0004287439 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6809950B2 (en) | 2021-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11238562B2 (en) | Ultrasound system with deep learning network for image artifact identification and removal | |
| JP6147489B2 (en) | Ultrasonic imaging system | |
| JP5632680B2 (en) | Ultrasonic image processing device | |
| KR101100464B1 (en) | Ultrasound system and method for providing three-dimensional ultrasound image based on sub region of interest | |
| JP5773781B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and program | |
| CN105122299A (en) | Ultrasound image displaying apparatus and method for displaying ultrasound image | |
| JP4864554B2 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and medical image processing program | |
| US20210161510A1 (en) | Ultrasonic diagnostic apparatus, medical imaging apparatus, training device, ultrasonic image display method, and storage medium | |
| US20170352134A1 (en) | Ultrasound diagnostic device | |
| JP6809950B2 (en) | Ultrasonic image processing equipment | |
| JP6890677B2 (en) | A virtual light source embedded in a 3D volume and coupled to the crosshairs in the MPR diagram | |
| US11151697B2 (en) | Ultrasonic diagnosis device and program | |
| US11690598B2 (en) | Ultrasound diagnostic apparatus and non-transitory storage medium | |
| JP5827831B2 (en) | Ultrasonic image processing device | |
| JP2018068687A (en) | Ultrasonic diagnosis device | |
| JP2016019554A (en) | Ultrasonic diagnostic device | |
| US20200077983A1 (en) | Ultrasonic diagnostic apparatus, medical image processing apparatus, and non-transitory computer medium storing computer program | |
| JP6793075B2 (en) | Ultrasonic image processing equipment | |
| JP2008220862A (en) | Device and method for volume data processing | |
| JP6793074B2 (en) | Ultrasonic image processing equipment | |
| US20170287206A1 (en) | Method and apparatus for processing three-dimensional image data | |
| JP2018153561A (en) | Ultrasound image processing apparatus | |
| JP2013121453A (en) | Ultrasonic diagnostic apparatus and image processor | |
| JP5797514B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and program | |
| JP5950291B1 (en) | Ultrasonic diagnostic apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190626 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200817 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201029 |
|
| C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20201029 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20201110 |
|
| C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20201117 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6809950 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |