JP2016041117A - Ultrasonic diagnostic device - Google Patents

Ultrasonic diagnostic device Download PDF

Info

Publication number
JP2016041117A
JP2016041117A JP2014165357A JP2014165357A JP2016041117A JP 2016041117 A JP2016041117 A JP 2016041117A JP 2014165357 A JP2014165357 A JP 2014165357A JP 2014165357 A JP2014165357 A JP 2014165357A JP 2016041117 A JP2016041117 A JP 2016041117A
Authority
JP
Japan
Prior art keywords
evaluation
image
ultrasonic
inspection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014165357A
Other languages
Japanese (ja)
Other versions
JP6382633B2 (en
Inventor
智章 長野
Tomoaki Chono
智章 長野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Aloka Medical Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Aloka Medical Ltd filed Critical Hitachi Aloka Medical Ltd
Priority to JP2014165357A priority Critical patent/JP6382633B2/en
Publication of JP2016041117A publication Critical patent/JP2016041117A/en
Application granted granted Critical
Publication of JP6382633B2 publication Critical patent/JP6382633B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PROBLEM TO BE SOLVED: To evaluate whether or not an ultrasonic image is an appropriate image for performing an examination using the ultrasonic image in performing an examination using an ultrasonic image.SOLUTION: An image forming part 18 forms a B mode image which is an ultrasonic image (evaluation object image) to be used for an examination. An image evaluation part 22 specifies an examination method for which the evaluation object image is used according to user input. The image evaluation part 22 refers to an evaluation item table 26 in which a plurality of examination methods are associated with a plurality of evaluation items, and specifies one or more evaluation items (selection evaluation items) associated with the specified examination method. The image evaluation part 22 evaluates the evaluation object images individually from the viewpoint of the one or more selection evaluation items, and calculates one or more evaluation values. Such evaluation results are displayed, or based on such evaluation results, a device operation condition is automatically changed.SELECTED DRAWING: Figure 1

Description

本発明は超音波診断装置に関し、特に各種検査法に用いられる超音波画像を形成する超音波診断装置に関する。   The present invention relates to an ultrasonic diagnostic apparatus, and more particularly to an ultrasonic diagnostic apparatus that forms an ultrasonic image used in various inspection methods.

超音波診断装置は、被検体に対して超音波を送受波し、これにより得られた複数のビームデータに基づいて超音波画像を形成する装置である。超音波診断装置は、例えばBモードやドプラモードといった各種の動作モードを備えている。そして、動作モードに応じた超音波画像が形成される。超音波診断装置により形成される超音波画像の種類は様々であるが、代表的な画像として被検体内の組織の断面を映し出すBモード画像がある。Bモード画像は、様々な検査法において用いられる。例えば、超音波診断装置は各種の計測機能(例えば距離計測機能、面積計測機能)を備えており、選択された計測機能はBモード画像上において実行される。また、ドプラ計測においては、Bモード画像上において組織の運動速度(例えば血流速度)を計測したい位置が指定される。本明細書において用いられる「検査法」の用語は、例えばBモードやドプラモードといった動作モード、ストレスエコーやトラッキングといった検査種別、超音波画像上での面積や距離といった特定の計測を含む計測種別を含む概念である。   An ultrasonic diagnostic apparatus is an apparatus that forms an ultrasonic image based on a plurality of beam data obtained by transmitting / receiving ultrasonic waves to / from a subject. The ultrasonic diagnostic apparatus includes various operation modes such as a B mode and a Doppler mode. Then, an ultrasonic image corresponding to the operation mode is formed. There are various types of ultrasonic images formed by the ultrasonic diagnostic apparatus, but there is a B-mode image that displays a cross section of a tissue in a subject as a representative image. B-mode images are used in various inspection methods. For example, the ultrasonic diagnostic apparatus includes various measurement functions (for example, a distance measurement function and an area measurement function), and the selected measurement function is executed on the B-mode image. In Doppler measurement, a position where a tissue motion speed (for example, blood flow speed) is to be measured is designated on the B-mode image. The term “inspection method” used in this specification refers to an operation mode such as B mode or Doppler mode, an inspection type such as stress echo or tracking, and a measurement type including specific measurement such as an area or distance on an ultrasonic image. It is a concept that includes.

超音波画像において、ノイズが多いなど画質に問題がある場合や、検査に必要な組織断面が正しく映し出されていないなど超音波画像の内容が不適切である場合などには、これらの超音波画像を用いて適切な検査を行うことができない。つまり、適切な検査を行うためには、適切な超音波画像を用いて行う必要がある。   If there is a problem in image quality such as a lot of noise in the ultrasound image, or if the content of the ultrasound image is inappropriate, such as when the tissue cross section required for the examination is not correctly projected, these ultrasound images It is not possible to perform an appropriate inspection using That is, in order to perform an appropriate inspection, it is necessary to perform using an appropriate ultrasonic image.

なお、特許文献1には、フレーム(1フレーム分のビームデータ)毎にユーザがその重要度を示すランクを付し、当該ランクに応じてストレスエコー検査に用いるためのフレームを識別して保全することが記載されている。   In Patent Document 1, a rank indicating the importance level is given to each frame (beam data for one frame) by the user, and a frame to be used for stress echo inspection is identified and maintained according to the rank. It is described.

特開2005−304758号公報JP-A-2005-304758

処理の効率化の観点から、あるいは判断の一貫性の観点から、超音波画像が検査に用いるのに適切な画像であるか否かの判定を自動的に行うのが好ましい。この場合は、ある一定の評価基準を設け、当該評価基準と超音波画像を比較することで当該超音波画像が検査に用いるのに適切な画像であるかを評価することになる。しかし、超音波画像を用いた検査には様々な種類があり、検査毎に評価基準が異なる場合がある。例えば、ある検査に用いるのであれば適切な超音波画像であっても、他の検査を行うにあたっては全く使えないという場合があり得る。したがって、超音波画像がどのような検査に用いられるのかを考慮しない画一的な評価基準では、超音波画像が検査に用いるのに適切な画像であるか否かの判定を適切に行うことができない。   It is preferable to automatically determine whether or not an ultrasonic image is an appropriate image for use in inspection from the viewpoint of improving processing efficiency or from the viewpoint of consistency of determination. In this case, a certain evaluation criterion is provided, and the evaluation criterion is compared with the ultrasonic image to evaluate whether the ultrasonic image is appropriate for use in the inspection. However, there are various types of inspections using ultrasonic images, and the evaluation criteria may be different for each inspection. For example, if an ultrasonic image is appropriate for use in a certain inspection, it may not be used at all for performing another inspection. Therefore, with a uniform evaluation standard that does not consider what kind of inspection the ultrasonic image is used for, it is possible to appropriately determine whether or not the ultrasonic image is an image suitable for use in the inspection. Can not.

本発明の目的は、超音波画像を用いた検査を行うにあたり、超音波画像が当該検査を行うために適切な画像であるか否かを評価することにある。   An object of the present invention is to evaluate whether or not an ultrasonic image is an appropriate image for performing the inspection when performing an inspection using an ultrasonic image.

本発明に係る超音波診断装置は、ユーザ選択された検査法に従って、1または複数の評価項目からなる評価項目セットを特定する評価項目特定手段と、前記検査法において利用される超音波画像を評価対象画像として評価する手段であって、前記評価項目セットに含まれる各評価項目について評価対象画像の評価を行い、1または複数の評価結果からなる評価結果セットを生成する画質評価手段と、を備えることを特徴とする。   An ultrasonic diagnostic apparatus according to the present invention evaluates an evaluation item specifying means for specifying an evaluation item set composed of one or a plurality of evaluation items according to a user-selected inspection method, and an ultrasonic image used in the inspection method. Image quality evaluation means for evaluating as a target image, evaluating the evaluation target image for each evaluation item included in the evaluation item set, and generating an evaluation result set including one or a plurality of evaluation results. It is characterized by that.

上記構成によれば、ユーザ選択された検査法に従って、当該検査法で用いる評価対象画像を評価するための1または複数の評価項目が適応的に特定されるので、検査法ごとに最適な評価基準を適用できる。すなわち、超音波画像に対して一律の評価基準を適用するのではなく、選択された検査法から要求される画質を追求することが可能となる。検査法に従って特定される評価項目は、当該検査法を実施するにあたり評価対象画像において重視される項目である。つまり、超音波画像が、検査法に従って特定された評価項目においてある一定の評価が得られれば、当該超音波画像は少なくとも当該検査法において用いるのに適した画像だと判断できる。   According to the above configuration, according to the inspection method selected by the user, one or a plurality of evaluation items for evaluating the evaluation target image used in the inspection method are adaptively specified. Can be applied. That is, it is possible to pursue the image quality required from the selected inspection method, instead of applying a uniform evaluation standard to the ultrasonic image. The evaluation items specified according to the inspection method are items that are emphasized in the evaluation target image when the inspection method is performed. That is, if a certain evaluation is obtained for the evaluation item specified according to the inspection method, the ultrasonic image can be determined to be an image suitable for use in at least the inspection method.

望ましくは、前記評価結果セットに基づいて、評価結果をユーザに提供する結果提供手段、をさらに含むことを特徴とする。評価結果セットをユーザに提供することで、ユーザは検査に用いる超音波画像がどの評価項目において評価が低かったのかを把握可能となる。これにより、ユーザは例えばプローブの被検体への当て方を変更したり超音波画像のゲインやコントラストを変更したりするなど、超音波画像を当該検査法に適した画像とするための処置を適切にとることができる。評価結果とともに、超音波画像を検査に適した画像とするための処置の例をコメント等の態様で表示するのも好適である。   Preferably, the apparatus further includes result providing means for providing an evaluation result to a user based on the evaluation result set. By providing the evaluation result set to the user, the user can grasp in which evaluation item the evaluation is low in the ultrasonic image used for the examination. This allows the user to take appropriate measures to make the ultrasound image suitable for the examination method, such as changing the way the probe is applied to the subject or changing the gain or contrast of the ultrasound image. Can be taken. In addition to the evaluation result, it is also preferable to display an example of the treatment for making the ultrasonic image suitable for the inspection in a form such as a comment.

望ましくは、前記評価結果セットに基づいて、前記超音波画像の画質の変更をもたらす画質変更処理を行う画質変更処理手段、をさらに含むことを特徴とする。画質変更処理手段によれば、超音波画像を検査に適した画像とするための処置を自動的に行うことができる。例えば、超音波画像の評価項目に組織境界明りょう性があり、それについての評価が低い場合には、画質変更処理手段により、超音波画像の明りょう性を上げるためにゲインやコントラストが自動調整される。   Preferably, the image processing apparatus further includes image quality change processing means for performing an image quality change process for changing the image quality of the ultrasonic image based on the evaluation result set. According to the image quality change processing means, it is possible to automatically perform a treatment for making an ultrasonic image suitable for examination. For example, if the evaluation item of the ultrasound image has tissue boundary clarity and the evaluation is low, the gain and contrast are automatically adjusted by the image quality change processing means to increase the clarity of the ultrasound image. Is done.

望ましくは、前記評価項目特定手段は、複数の検査法と複数の評価項目との対応関係を示す対応関係情報を記憶した記憶部と、前記対応関係情報に基づいて、前記ユーザ選択された検査法に従って前記評価項目セットを特定する手段と、を含むことを特徴とする。   Preferably, the evaluation item specifying means includes a storage unit that stores correspondence information indicating correspondence between a plurality of inspection methods and a plurality of evaluation items, and the inspection method selected by the user based on the correspondence information. And means for specifying the evaluation item set according to the above.

望ましくは、前記結果提供手段は、前記評価結果セットを示す評価情報を表示部に表示させる、ことを特徴とする。   Preferably, the result providing means displays evaluation information indicating the evaluation result set on a display unit.

本発明によれば、超音波画像を用いた検査にあたって、超音波画像が当該検査を行うための適切な画像であるか否かを評価することができる。   ADVANTAGE OF THE INVENTION According to this invention, in the test | inspection using an ultrasonic image, it can be evaluated whether an ultrasonic image is a suitable image for performing the said test | inspection.

本実施形態に係る超音波診断装置の構成概略図である。1 is a schematic configuration diagram of an ultrasonic diagnostic apparatus according to the present embodiment. 評価項目テーブルの例を示す図である。It is a figure which shows the example of an evaluation item table. 画質評価結果が表示部に表示される例を示す図である。It is a figure which shows the example by which an image quality evaluation result is displayed on a display part. 本実施形態に係る超音波診断装置の動作の流れを示すフローチャートである。It is a flowchart which shows the flow of operation | movement of the ultrasonic diagnosing device which concerns on this embodiment.

以下、本発明の実施形態について説明する。なお、本発明は以下の実施形態に限定されるものではない。   Hereinafter, embodiments of the present invention will be described. In addition, this invention is not limited to the following embodiment.

図1は、本実施形態に係る超音波診断装置10の構成概略図である。超音波診断装置10は、一般に病院などの医療機関に設置され、被検体に対して超音波診断を実行する医療上の機器である。超音波診断装置10においては超音波画像が形成され、当該超音波画像は様々な検査に用いられる。   FIG. 1 is a schematic configuration diagram of an ultrasonic diagnostic apparatus 10 according to the present embodiment. The ultrasonic diagnostic apparatus 10 is a medical device that is generally installed in a medical institution such as a hospital and performs ultrasonic diagnosis on a subject. In the ultrasonic diagnostic apparatus 10, an ultrasonic image is formed, and the ultrasonic image is used for various examinations.

超音波診断装置10は複数の動作モードを有し、例えばユーザ選択などにより選択された動作モードで動作する。動作モードとしては、例えば、超音波画像として被検体の組織の断層画像であるBモード画像が形成されるBモード、被検体内の指定された位置における血流速度などを計測するドプラモード、あるいは被検体内の血流分布が示されるカラードプラ画像が形成されるカラードプラモードなどがある。   The ultrasonic diagnostic apparatus 10 has a plurality of operation modes and operates in an operation mode selected by, for example, user selection. As the operation mode, for example, a B mode in which a B mode image that is a tomographic image of the tissue of the subject is formed as an ultrasound image, a Doppler mode that measures a blood flow velocity at a specified position in the subject, or the like There is a color Doppler mode in which a color Doppler image showing a blood flow distribution in a subject is formed.

超音波診断装置10で形成される超音波画像は様々な検査に用いられる。超音波画像を用いた検査としては、例えば、Bモード画像を用いて被検体内におけるある2点間の距離を計測する距離計測、あるいは、心臓の断面についてのBモード画像であって複数心拍分における心臓の拍動の様子を示す動画像であるBモード画像において心臓の拍動に応じて所定の点のトラッキングを行うトラッキング計測などがある。また、ドプラ計測やカラードプラ計測においてもBモード画像が形成され、検査にBモード画像が用いられる。例えば、ドプラモードにおいては、Bモード画像おいて血流速度などの計測位置が指定され、カラードプラモードにおいては血流分布を示すカラーイメージがBモード画像に重畳して表示される。   Ultrasonic images formed by the ultrasonic diagnostic apparatus 10 are used for various examinations. As an examination using an ultrasound image, for example, a distance measurement that measures a distance between two points in a subject using a B-mode image, or a B-mode image of a cross section of the heart, There is tracking measurement for tracking a predetermined point in accordance with the heart beat in the B mode image which is a moving image showing the state of the heart beat. A B-mode image is also formed in Doppler measurement or color Doppler measurement, and the B-mode image is used for inspection. For example, in the Doppler mode, a measurement position such as a blood flow velocity is designated in the B-mode image, and in the color Doppler mode, a color image indicating the blood flow distribution is displayed superimposed on the B-mode image.

以下、超音波診断装置の具体的構成について詳述する。プローブ12は、被検体に対して超音波の送受波を行う超音波探触子である。プローブ12は複数の振動子からなる振動子アレイを有している。振動子アレイに含まれる各振動子は、送受信部14からの各振動子に対応する複数の送信信号によって振動して超音波ビームを発生する。また、振動子アレイは送受波領域からの反射エコーを受信し、音響信号を電気信号である受信信号に変換して送受信部14へ出力する。   Hereinafter, a specific configuration of the ultrasonic diagnostic apparatus will be described in detail. The probe 12 is an ultrasonic probe that transmits and receives ultrasonic waves to and from a subject. The probe 12 has a transducer array composed of a plurality of transducers. Each transducer included in the transducer array is vibrated by a plurality of transmission signals corresponding to each transducer from the transmission / reception unit 14 to generate an ultrasonic beam. The transducer array receives the reflected echo from the transmission / reception region, converts the acoustic signal into a reception signal that is an electrical signal, and outputs the received signal to the transmission / reception unit 14.

送受信部14は、プローブ12が有する複数の振動子を励振する複数の送信信号をプローブ12へ送ることで、プローブ12において超音波を発生させる。例えばBモード画像を形成する場合、送受信部14は、反射エコーを受信した複数の振動子から得られる複数の受信信号を整相加算処理して、超音波ビームの走査方向に並ぶビームデータを形成する。また、被検体組織内の所定の位置の組織運動の速度(例えば血流速度)を計測するドプラモードにおいては、送受信部14は、計測位置に対して繰り返し超音波を送受波させる。すなわち、送受信部14は、選択された動作モードに応じて、超音波の送受信条件を変更する。計測対象位置ビームデータは、深さ方向に並ぶ複数の反射エコー信号により構成される。このように、送受信部14は、送信ビームフォーマと受信ビームフォーマの機能を備えている。   The transmitting / receiving unit 14 generates ultrasonic waves in the probe 12 by sending a plurality of transmission signals for exciting a plurality of transducers included in the probe 12 to the probe 12. For example, when forming a B-mode image, the transmission / reception unit 14 performs phasing addition processing on a plurality of reception signals obtained from a plurality of transducers that have received reflected echoes, and forms beam data arranged in the scanning direction of the ultrasonic beam. To do. In the Doppler mode in which the speed of tissue motion (for example, blood flow velocity) at a predetermined position in the subject tissue is measured, the transmission / reception unit 14 repeatedly transmits and receives ultrasonic waves to and from the measurement position. That is, the transmission / reception unit 14 changes the ultrasonic transmission / reception conditions according to the selected operation mode. The measurement target position beam data is composed of a plurality of reflected echo signals arranged in the depth direction. Thus, the transmission / reception unit 14 has functions of a transmission beamformer and a reception beamformer.

また、送受信部14は、複数の受信信号に基づいて形成されるビームデータに対してゲイン調整処理を行う。一般的に、被検体の深度が深いところからの反射エコーの信号強度が弱くなってしまうため、これを補正すべく、反射エコーが得られた深度に応じて信号強度の調整(ゲイン調整)を行う。また、後述のパラメータ設定部20からの信号に基づいて全体の調整ゲイン量を変更するようにしてもよい。   The transmission / reception unit 14 performs gain adjustment processing on beam data formed based on a plurality of reception signals. In general, the signal intensity of the reflected echo from a deep subject is weakened. To correct this, the signal intensity is adjusted (gain adjustment) according to the depth at which the reflected echo is obtained. Do. Further, the entire adjustment gain amount may be changed based on a signal from the parameter setting unit 20 described later.

シネメモリ16は、送受信部14からの複数のビームデータを記憶する。シネメモリ16は、例えばリングバッファのような構造を有しており、時系列順で入力される各ビームデータを順次格納する。シネメモリ16は、最新から過去一定期間に亘るビームデータを記憶することができる。本実施形態では、シネメモリ16に複数フレーム分のビームデータを蓄積することで、超音波画像の評価を事後的に行うことができる。すなわち、例えばストレスエコー検査のように、限られた時間の中で迅速にビームデータを取得しなければならない場合、先に複数フレーム分のビームデータを取得しシネメモリ16に蓄積しておき、後にシネメモリ16に蓄積されたビームデータから複数の超音波画像を形成して、その中から検査に適した超音波画像を選択することができる。   The cine memory 16 stores a plurality of beam data from the transmission / reception unit 14. The cine memory 16 has a structure such as a ring buffer, for example, and sequentially stores each beam data input in time series order. The cine memory 16 can store beam data from the latest to a certain period in the past. In this embodiment, by accumulating beam data for a plurality of frames in the cine memory 16, the ultrasonic image can be evaluated afterwards. That is, for example, when beam data must be acquired quickly within a limited time, such as stress echo inspection, beam data for a plurality of frames is acquired first and stored in the cine memory 16, and then the cine memory A plurality of ultrasonic images can be formed from the beam data stored in 16, and an ultrasonic image suitable for the inspection can be selected therefrom.

画像形成部18は、例えばデジタルスキャンコンバータ(DSC)などであり、送受信部14からのビームデータに基づいて超音波画像を形成する。あるいは、画像形成部18はシネメモリ16からビームデータを読み出して超音波画像を形成するようにしてもよい。1枚の超音波画像は、複数のビームデータである1フレーム分のビームデータにより形成される。   The image forming unit 18 is a digital scan converter (DSC), for example, and forms an ultrasonic image based on the beam data from the transmission / reception unit 14. Alternatively, the image forming unit 18 may read the beam data from the cine memory 16 to form an ultrasonic image. One ultrasonic image is formed by beam data for one frame which is a plurality of beam data.

画像形成部18において形成される超音波画像としては、被検体内の組織の断層画像であるBモード画像、被検体内の血流運動が示されるカラードプラ画像などが含まれる。また、ある位置における血流等の組織運動の速度を計測するドプラ計測を行う場合には、画像形成部18は計測位置における組織運動を示すドプラ波形を形成する。組織画像形成部18により形成される画像の種類は、ユーザが入力する検査法に基づいて自動的に決定される。   The ultrasound image formed in the image forming unit 18 includes a B-mode image that is a tomographic image of a tissue in the subject, a color Doppler image that shows blood flow motion in the subject, and the like. When performing Doppler measurement for measuring the speed of tissue movement such as blood flow at a certain position, the image forming unit 18 forms a Doppler waveform indicating the tissue movement at the measurement position. The type of image formed by the tissue image forming unit 18 is automatically determined based on the examination method input by the user.

画像形成部18は、時系列に並ぶビームデータから順次静止画を形成し、これを時系列的に並べ連続的に表示させることにより動画像を形成する。また、当該動画像から所定のフレームを切り出し、静止画像を取得するようにしてもよい。動画像は、例えば心臓の拍動の様子を計測するトラッキング計測において好適に利用される。画像形成部18が静止画を形成するか動画像を形成するかは、ユーザが入力する検査法に基づいて決定される。   The image forming unit 18 forms still images sequentially from the beam data arranged in time series, and forms moving images by arranging these images in time series and continuously displaying them. Alternatively, a predetermined frame may be cut out from the moving image to obtain a still image. The moving image is preferably used in tracking measurement for measuring, for example, how the heart beats. Whether the image forming unit 18 forms a still image or a moving image is determined based on an inspection method input by the user.

パラメータ設定部20は、画像形成部18により形成される超音波画像の画質に関するパラメータを設定する。例えば、パラメータ設定部20はゲインに関するパラメータを設定する。パラメータ設定部20により設定されたゲイン値に基づいて、送受信部14は、形成したビームデータに対してゲイン調整を行う。例えば、超音波画像全体の輝度を上げるあるいは下げるようにゲイン調整が行われる。また、ゲイン調整は、超音波画像が形成された後の表示段階において行われてもよい。この場合は、後述の表示制御部28がパラメータ設定部20により設定されたゲイン値に基づいて形成された超音波画像の輝度を上げるあるいは下げるようにゲイン調整を行う。また、パラメータ設定部20はコントラストに関するパラメータを設定してもよい。これにより超音波画像のコントラストを設定するようにしてもよい。コントラスト調整は超音波画像の形成後に表示制御部28において行われる。パラメータ設定部20により設定されるパラメータは入力部32から入力されるユーザ指示に基づいて決定される。あるいは、後述の画像評価部22の評価に応じて、超音波画像の画質に関するパラメータが設定されるようにしてもよい。   The parameter setting unit 20 sets parameters relating to the image quality of the ultrasonic image formed by the image forming unit 18. For example, the parameter setting unit 20 sets a gain related parameter. Based on the gain value set by the parameter setting unit 20, the transmission / reception unit 14 performs gain adjustment on the formed beam data. For example, gain adjustment is performed so as to increase or decrease the luminance of the entire ultrasonic image. The gain adjustment may be performed in a display stage after the ultrasonic image is formed. In this case, the display control unit 28 described later performs gain adjustment so as to increase or decrease the luminance of the ultrasonic image formed based on the gain value set by the parameter setting unit 20. The parameter setting unit 20 may set a parameter related to contrast. Thereby, the contrast of the ultrasonic image may be set. The contrast adjustment is performed in the display control unit 28 after the ultrasonic image is formed. A parameter set by the parameter setting unit 20 is determined based on a user instruction input from the input unit 32. Alternatively, parameters relating to the image quality of the ultrasonic image may be set in accordance with the evaluation of the image evaluation unit 22 described later.

画像評価部22は、画像形成部18が形成した超音波画像の評価を行う。以下、画像評価部22による評価の対象となる超音波画像を「評価対象画像」と記載する。本実施形態では評価対象画像となるのはBモード画像(静止画および動画を含む)である。画像評価部22による評価は、評価対象画像を用いて行われる検査にあたって、評価対象画像が当該検査に必要な要件を満たしているか否かを判断するものである。画像評価部22による評価対象画像の評価は、ビームデータの取得後直ちに(リアルタイムに)行うようにしてもよいし、シネメモリ16に蓄積されたビームデータ(から形成される評価対象画像)に対して事後的に行うようにしてもよい。超音波診断装置10においては、検査法毎に評価対象画像に必要とされる要件が異なることを考慮し、各検査法に適した評価基準において評価対象画像の評価を行う。   The image evaluation unit 22 evaluates the ultrasonic image formed by the image forming unit 18. Hereinafter, an ultrasonic image to be evaluated by the image evaluation unit 22 is referred to as an “evaluation target image”. In this embodiment, an evaluation target image is a B-mode image (including a still image and a moving image). The evaluation by the image evaluation unit 22 determines whether or not the evaluation target image satisfies the requirements necessary for the inspection in the inspection performed using the evaluation target image. The evaluation of the evaluation target image by the image evaluation unit 22 may be performed immediately (in real time) after the acquisition of the beam data, or the beam data stored in the cine memory 16 (evaluation target image formed from). It may be performed after the fact. In the ultrasonic diagnostic apparatus 10, the evaluation target image is evaluated according to an evaluation criterion suitable for each inspection method, considering that the requirements required for the evaluation target image are different for each inspection method.

画像評価部22は、まず画像形成部18が形成した評価対象画像が用いられる検査法を特定する。上述の通り、検査法とは、例えばBモードやドプラモードといった動作モード、ストレスエコーやトラッキングといった検査種別、評価対象画像上での面積や距離といった特定の計測を含む計測種別を全て含む概念である。検査法は、入力部32からユーザにより入力される。例えばトラッキング計測を行う場合、ユーザは、表示部30に表示された検査法一覧の中からトラッキング計測を選択するなどして検査法を入力する。   The image evaluation unit 22 first specifies an inspection method in which the evaluation target image formed by the image forming unit 18 is used. As described above, the inspection method is a concept including all measurement types including specific measurement such as an operation mode such as B mode and Doppler mode, an inspection type such as stress echo and tracking, and an area and a distance on the evaluation target image. . The inspection method is input from the input unit 32 by the user. For example, when performing tracking measurement, the user inputs the inspection method by selecting tracking measurement from the inspection method list displayed on the display unit 30.

画像評価部22は、ユーザ入力された検査法を特定すると、当該検査法に対応付けられた1または複数の選択評価項目を特定する。評価項目は、例えばノイズ量、組織境界明りょう性などの評価対象画像の画質に関わるものの他、Bモード画像における断面位置正確性などの評価対象画像に映し出された内容に関するものも含む。検査法に従って特定される選択評価項目は、複数ある評価項目のうち、当該検査法を実施するにあたり評価対象画像において評価が高いことが必要とされる項目である。本実施形態では、画像評価部22は、ハードディスク、ROM、あるいはRAMなどにより構成される記憶部24に記憶されている評価項目テーブル26を参照して選択評価項目を特定する。   When specifying the inspection method input by the user, the image evaluation unit 22 specifies one or a plurality of selection evaluation items associated with the inspection method. The evaluation items include, for example, items related to the image quality of the image to be evaluated such as noise amount and tissue boundary clarity, and contents related to the image to be evaluated such as cross-sectional position accuracy in the B-mode image. The selection evaluation item specified according to the inspection method is an item that is required to have a high evaluation in the evaluation target image among the plurality of evaluation items when the inspection method is performed. In the present embodiment, the image evaluation unit 22 specifies a selection evaluation item with reference to an evaluation item table 26 stored in a storage unit 24 configured by a hard disk, ROM, RAM, or the like.

評価項目テーブル26は、複数の検査法と複数の評価項目との対応関係が示されるテーブルである。評価項目テーブル26はユーザなどによって予め用意される。評価項目テーブル26においては、1つの検査法に対して1または複数の評価項目が対応づけられている。画像評価部22は、ユーザ入力により特定された検査法をキーとして評価項目テーブル26を参照し、当該検査法に対応づけられた選択評価項目を特定する。   The evaluation item table 26 is a table in which correspondence relationships between a plurality of inspection methods and a plurality of evaluation items are shown. The evaluation item table 26 is prepared in advance by a user or the like. In the evaluation item table 26, one or a plurality of evaluation items are associated with one inspection method. The image evaluation unit 22 refers to the evaluation item table 26 using the inspection method specified by the user input as a key, and specifies the selected evaluation item associated with the inspection method.

画像評価部22は、特定した1または複数の選択評価項目について、評価対象画像の評価を行う。画像評価は選択評価項目毎に行い、本実施形態では、選択評価項目毎に評価対象画像の評価値を算出し、予め定められた閾値と比較することで評価を行う。画像評価部22による評価の結果は表示部30に表示される。本実施形態では、選択評価項目毎の評価結果が表示部に表示される。また、画像評価部22の結果に応じてパラメータ設定部20のパラメータ設定値を変更するようにしてもよい。例えば、評価対象画像の組織境界が明りょうでない場合にはこれを明りょうにするようゲイン値やコントラスト値を変更する。評価項目テーブル26の詳細および画像評価部22による評価処理の詳細については、図2を用いて後述する。   The image evaluation unit 22 evaluates the evaluation target image with respect to the specified one or more selection evaluation items. Image evaluation is performed for each selection evaluation item, and in this embodiment, evaluation is performed by calculating an evaluation value of an evaluation target image for each selection evaluation item and comparing it with a predetermined threshold value. The result of evaluation by the image evaluation unit 22 is displayed on the display unit 30. In this embodiment, the evaluation result for each selected evaluation item is displayed on the display unit. Further, the parameter setting value of the parameter setting unit 20 may be changed according to the result of the image evaluation unit 22. For example, when the tissue boundary of the evaluation target image is not clear, the gain value and the contrast value are changed so as to make it clear. Details of the evaluation item table 26 and details of the evaluation processing by the image evaluation unit 22 will be described later with reference to FIG.

表示制御部28は、画像形成部18が形成した超音波画像、および画像評価部22の評価結果を示す評価情報などを表示部30に表示させる表示処理を行う。入力部32は、例えばボタン、スイッチ、およびトラックボールなどであり、ユーザの指示を超音波診断装置10に入力するためのものである。   The display control unit 28 performs display processing for causing the display unit 30 to display the ultrasonic image formed by the image forming unit 18 and the evaluation information indicating the evaluation result of the image evaluation unit 22. The input unit 32 is, for example, a button, a switch, a trackball, or the like, and is used for inputting a user instruction to the ultrasonic diagnostic apparatus 10.

本実施形態では、超音波診断装置10において評価対象画像の評価を行うが、超音波診断装置からパーソナルコンピュータ(PC)に対して受信信号あるいは評価対象画像を転送し、PCにおいて評価対象画像の評価を行うようにしてもよい。   In the present embodiment, the evaluation target image is evaluated by the ultrasonic diagnostic apparatus 10, but the received signal or the evaluation target image is transferred from the ultrasonic diagnostic apparatus to a personal computer (PC), and the evaluation target image is evaluated by the PC. May be performed.

なお、図1に示す各構成(符号を付した各部)のうち、画像形成部18、パラメータ設定部20、画像評価部22、表示制御部28の各部は、例えば電気電子回路やプロセッサ等のハードウェアを利用して実現することができ、その実現において必要に応じてメモリ等のデバイスが利用されてもよい。また、上記各部に対応した機能が、CPUやプロセッサやメモリなどのハードウェアと、CPUやプロセッサの動作を規定するソフトウェア(プログラム)との協働により実現されてもよい。表示部30の好適な具体例は液晶ディスプレイなどである。制御部34は、例えば、CPUやプロセッサやメモリ等のハードウェアと、CPUやプロセッサの動作を規定するソフトウェア(プログラム)との協働により実現することができる。   Note that, among the components shown in FIG. 1 (units denoted by reference numerals), the image forming unit 18, the parameter setting unit 20, the image evaluation unit 22, and the display control unit 28 are, for example, hardware such as an electric / electronic circuit or a processor. It can be realized using hardware, and a device such as a memory may be used as necessary in the realization. In addition, functions corresponding to the above-described units may be realized by cooperation between hardware such as a CPU, a processor, and a memory, and software (program) that defines the operation of the CPU and the processor. A preferred specific example of the display unit 30 is a liquid crystal display or the like. The control unit 34 can be realized by, for example, cooperation between hardware such as a CPU, a processor, and a memory, and software (program) that defines the operation of the CPU and the processor.

以下、図1を参照しながら図2を用いて、画像評価部22の処理内容および評価項目テーブル26について説明する。図2は、評価項目テーブル26の例を示す図である。図2の例においては、「容積・面積・距離計測」、「ドプラ計測」、「組織ドプラ計測」、「トラッキング計測」、および「ストレスエコー計測」の各検査法に対応する評価項目が示されている。「容積・面積・距離計測」は、Bモード画像を用いて被検体内のある領域の容積・面積の計測、あるいは被検体内のある2点間の距離を計測するものである。「ドプラ計測」はBモード画像上において指定された位置における例えば血流の速度を計測するものである。「組織ドプラ計測」は、例えば心臓内の弁の動きなど、組織の速度を計測するものである。「トラッキング計測」は、例えば心臓の1心拍分の動画像を取得し、当該動画像において心臓組織などの動きをトラッキングするものである。「ストレスエコー計測」は、被検体に運動的あるいは薬物的なストレスを与えた状態における例えば心臓などの動きを計測するものである。図2に示された検査法および評価項目はあくまで一例であり、その他の検査法あるいは評価項目が評価項目テーブルに含まれていてもよい。   The processing contents of the image evaluation unit 22 and the evaluation item table 26 will be described below with reference to FIG. FIG. 2 is a diagram illustrating an example of the evaluation item table 26. In the example of FIG. 2, the evaluation items corresponding to the inspection methods of “volume / area / distance measurement”, “Doppler measurement”, “tissue Doppler measurement”, “tracking measurement”, and “stress echo measurement” are shown. ing. “Volume / Area / Distance Measurement” is to measure the volume / area of a certain area in the subject using a B-mode image, or measure the distance between two points in the subject. “Doppler measurement” is to measure, for example, the blood flow velocity at a specified position on the B-mode image. “Tissue Doppler measurement” measures the velocity of a tissue, such as the movement of a valve in the heart. “Tracking measurement” is, for example, acquiring a moving image of one heart beat of the heart and tracking the movement of the heart tissue or the like in the moving image. “Stress echo measurement” is to measure, for example, the movement of the heart or the like in a state where a subject is subjected to exercise or drug stress. The inspection method and evaluation items shown in FIG. 2 are merely examples, and other inspection methods or evaluation items may be included in the evaluation item table.

図2において丸印が付された評価項目が検査法に対応する評価項目である。例えば、「容積・面積・距離計測」に対応する評価項目は「組織境界明りょう性」および「断面位置正確性」であり、また「ドプラ計測」に対応する評価項目は「断面位置正確性」である。このように、1つの検査法に対し、1または複数の評価項目が対応づけられている。   In FIG. 2, the evaluation items marked with a circle are evaluation items corresponding to the inspection method. For example, evaluation items corresponding to “volume / area / distance measurement” are “tissue boundary clarity” and “cross-sectional position accuracy”, and evaluation items corresponding to “Doppler measurement” are “cross-section position accuracy”. It is. Thus, one or a plurality of evaluation items are associated with one inspection method.

上述のように、評価項目テーブル26において各検査法に対応づけられている評価項目は、当該検査法を適切に行うにあたり超音波画像に必要な要件を示すものである。トラッキング計測を例に挙げると、トラッキング計測においては、例えば、心臓の拍動などに応じて運動する血管壁などの心臓組織を的確に捉え、その動きを追従する必要がある。したがって、トラッキング計測において超音波画像に求められることは、ノイズ量が少なく、かつ組織境界が明りょうに映し出されていることである。したがって、図2の例においてもトラッキング計測には超音波画像の評価項目として「ノイズ量」および「組織境界明りょう性」が対応づけられている。   As described above, the evaluation items associated with each inspection method in the evaluation item table 26 indicate requirements necessary for an ultrasonic image in order to appropriately perform the inspection method. Taking tracking measurement as an example, in tracking measurement, for example, it is necessary to accurately capture a heart tissue such as a blood vessel wall that moves in accordance with the pulsation of the heart and follow the movement. Therefore, what is required for an ultrasonic image in tracking measurement is that the amount of noise is small and the tissue boundary is clearly projected. Therefore, also in the example of FIG. 2, “noise amount” and “tissue boundary clarity” are associated with the tracking measurement as evaluation items of the ultrasonic image.

検査法が特定され、さらに当該検査法に対応付けられた選択評価項目が特定されると、画像評価部22は、特定された選択評価項目について評価対象画像の評価を行う。本実施形態では、画像評価部22は、各選択評価項目について評価対象画像の評価値を算出し、各評価値と予め定められた閾値とを比較することで各選択評価項目の評価を決定する。評価に用いる閾値はユーザによって定められて良く、当該閾値の設定により評価の厳しさが決定される。例えばノイズ量の評価について、ノイズが少しでも含まれている評価対象画像は検査に用いたくない場合には、閾値を厳しく(後述のSN比との関係においては高く)設定することで、ノイズ量がほとんどない評価対象画像のみを検査に用いる画像として識別することができる。同じ評価項目であっても検査法によって閾値を変更するようにしてもよい。   When the inspection method is specified and the selection evaluation item associated with the inspection method is specified, the image evaluation unit 22 evaluates the evaluation target image for the specified selection evaluation item. In this embodiment, the image evaluation unit 22 calculates the evaluation value of the evaluation target image for each selection evaluation item, and determines the evaluation of each selection evaluation item by comparing each evaluation value with a predetermined threshold value. . The threshold used for the evaluation may be determined by the user, and the severity of the evaluation is determined by setting the threshold. For example, in the evaluation of the noise amount, when it is not desired to use an evaluation target image containing even a little noise for the inspection, the noise amount is set by setting a strict threshold (high in relation to the S / N ratio described later). Only an image to be evaluated with almost no evaluation can be identified as an image used for inspection. Even for the same evaluation item, the threshold value may be changed by an inspection method.

ここで、図2の例に示された各評価項目についての評価手法の例をそれぞれ説明する。   Here, an example of an evaluation method for each evaluation item shown in the example of FIG. 2 will be described.

ノイズ量の評価は、評価対象画像のSN比(信号対ノイズ比)に基づいて行う。例えば、評価対象画像の表示範囲を対象として、その輝度平均値を輝度標準偏差で割った値をSN比として算出する。このように算出されたSN比が大きければノイズ量が少ないと判断でき、SN比が小さければノイズ量が多いと判断できる。画像評価部22は、算出された評価対象画像のSN比と予め定められた閾値との比較によって、評価対象画像がノイズ量の評価基準を満たしているか否かを判定する。   The noise amount is evaluated based on the SN ratio (signal-to-noise ratio) of the evaluation target image. For example, for the display range of the evaluation target image, a value obtained by dividing the luminance average value by the luminance standard deviation is calculated as the SN ratio. If the SN ratio calculated in this way is large, it can be determined that the amount of noise is small, and if the SN ratio is small, it can be determined that the amount of noise is large. The image evaluation unit 22 determines whether or not the evaluation target image satisfies the noise amount evaluation criterion by comparing the calculated SN ratio of the evaluation target image with a predetermined threshold.

組織境界明りょう性の評価は、超音波画像から得られる輝度ヒストグラムの形状に基づいて行う。評価対象画像において組織境界が明りょうであれば、輝度値が低い箇所と高い箇所がはっきりと分かれるため、その輝度ヒストグラムは二峰性となる。輝度ヒストグラムにおける二峰が分離しているほど組織明りょう性が高いと判断できる。したがって、画像評価部22は、評価対象画像の輝度ヒストグラムにおける二峰の分離性を示す指標である分離度を測定し、当該分離度と予め定められた閾値との比較によって、評価対象画像が組織明りょう性の評価基準を満たしているか否かを判定する。   The evaluation of the tissue boundary clarity is performed based on the shape of the luminance histogram obtained from the ultrasonic image. If the tissue boundary is clear in the evaluation target image, a portion having a low luminance value and a portion having a high luminance value are clearly separated, and the luminance histogram is bimodal. It can be judged that the more the two peaks in the luminance histogram are separated, the higher the organization clarity. Therefore, the image evaluation unit 22 measures the degree of separation, which is an index indicating the separation between the two peaks in the luminance histogram of the evaluation target image, and compares the degree of separation with a predetermined threshold value to determine whether the evaluation target image is a tissue. Determine whether the clarity criteria are met.

組織境界明りょう性の評価のための別の方法として、組織境界近傍の輝度差を利用してもよい。まず、評価対象画像において二値化処理や輪郭抽出処理を実施して組織境界の抽出を行う。次に、組織境界近傍で境界を挟んだ2つの領域の輝度差を算出する。この輝度差と予め定められた閾値との比較によって、評価対象画像が組織明りょう性の評価基準を満たしているか否かを判定するようにしてもよい。   As another method for evaluating the tissue boundary clarity, a luminance difference near the tissue boundary may be used. First, binarization processing and contour extraction processing are performed on the evaluation target image to extract tissue boundaries. Next, a luminance difference between two regions sandwiching the boundary in the vicinity of the tissue boundary is calculated. It may be determined whether or not the evaluation target image satisfies the evaluation criteria for tissue clarity by comparing the luminance difference with a predetermined threshold value.

断面位置正確性の評価は、対象断面の標準パターンの類似度に基づいて行う。評価対象画像において目的とする断面位置の画像が的確に描出されていれば、その画像は、対象断面の標準的なパターンとよく一致しているはずである。例えば、対象断面の標準パターンを準備しておき、これと描出断面との類似度を計算する。当該類似度と予め定められた閾値との比較によって、評価対象画像が断面位置正確性の評価基準を満たしているか否かを判定する。   The cross-sectional position accuracy is evaluated based on the similarity of the standard pattern of the target cross-section. If the image of the target cross-sectional position is accurately depicted in the evaluation target image, the image should be in good agreement with the standard pattern of the target cross-section. For example, a standard pattern of the target cross section is prepared, and the similarity between this and the drawn cross section is calculated. By comparing the similarity with a predetermined threshold value, it is determined whether or not the evaluation target image satisfies the evaluation criteria for the cross-sectional position accuracy.

軟部組織明りょう性の評価は、スペックルの統計的性質に基づいて行う。評価対象画像の軟部組織が明りょうであれば、スペックルが明りょうに描出されるはずである。明りょうでなければ、ノイズが重畳されていたり、スペックルが抜け落ちて陰影になっていたりする。したがって、スペックルの統計的性質によって軟部組織明りょう性を評価することができる。例えば、前述の二値化や輪郭抽出法などの領域分割法により軟部組織の領域を抽出し、当該領域の統計量を算出する。例えば、当該領域のヒストグラムを算出すると、そのヒストグラムはスペックル特有の形状を示す。したがって、ヒストグラムの平均や分散、尖度、歪度などの統計量を算出し、当該統計量と予め定められた閾値とを比較することで軟部組織明りょう性を評価することができる。また、当該ヒストグラムは、スペックルが存在すれば、レイリー分布、K分布、あるいは仲上分布などに従うことから、当該ヒストグラムのこれらの分布への適合度を算出し、これに基づいて軟部組織明りょう性を評価するようにしてもよい。さらに、濃度共起行列の特徴量を算出し、この特徴量がスペックル特有の数値と一致しているか評価するようにしてもよい。例えば、Bモード画像上において方位方向と深さ方向の濃度共起行列を演算することでコントラストの特徴量を求め、コントラストの特徴量に基づいてスペックルの大きさが算出可能か否かによって軟部組織明りょう性を評価するようにしてもよい。   The evaluation of soft tissue clarity is performed based on the statistical properties of speckle. If the soft tissue of the image to be evaluated is clear, the speckle should be clearly drawn. If it is not clear, noise may be superimposed or speckles may fall out and become shaded. Therefore, the soft tissue clarity can be evaluated by the statistical properties of speckle. For example, a soft tissue region is extracted by a region division method such as the above-described binarization or contour extraction method, and a statistic of the region is calculated. For example, when a histogram of the region is calculated, the histogram shows a speckle-specific shape. Therefore, it is possible to evaluate the soft tissue clarity by calculating statistics such as histogram average, variance, kurtosis, and skewness, and comparing the statistics with a predetermined threshold. In addition, since the histogram follows the Rayleigh distribution, the K distribution, or the Nakagami distribution if speckles exist, the degree of fitness of the histogram to these distributions is calculated, and based on this, the soft tissue clearness is calculated. You may make it evaluate sex. Further, a feature value of the density co-occurrence matrix may be calculated, and it may be evaluated whether or not this feature value matches a speckle-specific numerical value. For example, the contrast feature amount is obtained by calculating the density co-occurrence matrix in the azimuth direction and the depth direction on the B-mode image, and the soft part is determined depending on whether or not the speckle size can be calculated based on the contrast feature amount. The organization clarity may be evaluated.

本実施形態では、特定された選択評価項目が複数存在する場合は、画像評価部22は複数の選択評価項目それぞれについて評価を行い、複数の選択評価項目全てについて要件を満たしている(すなわち良評価である)場合に評価対象画像は当該検査法において用いることができる、と判定する。しかし、判定の方法としてはこの方法に限られない。例えば、評価対象画像について1つの全体評価値を算出するようにしてもよい。この場合、評価対象画像について、評価項目テーブル26において定義された全ての評価項目について評価を行い、算出された評価値(例えばノイズ量ならSN比、組織境界明りょう性なら輝度ヒストグラムの二峰の分離度)を加重加算した値を全体評価値として算出する。全体評価値の算出式は、例えば以下に示す式となる。

E=αA+βB+γC+δD

上記式においてEは全体評価値、Aは評価対象画像のSN比(ノイズ量)、Bは評価対象画像の輝度ヒストグラムの二峰の分離度(組織境界明りょう性)、Cは対象断面の標準パターンの類似度(断面位置正確性)、Dは軟部組織領域のヒストグラムの平均値など(軟部組織明りょう性)を示す。α、β、γ、およびδは各評価項目の重み付けである。
In the present embodiment, when there are a plurality of specified selection evaluation items, the image evaluation unit 22 evaluates each of the plurality of selection evaluation items, and satisfies the requirements for all of the plurality of selection evaluation items (that is, good evaluation). In other words, it is determined that the evaluation target image can be used in the inspection method. However, the determination method is not limited to this method. For example, one overall evaluation value may be calculated for the evaluation target image. In this case, the evaluation target image is evaluated for all the evaluation items defined in the evaluation item table 26, and the calculated evaluation values (for example, the SN ratio is the amount of noise and the two peaks of the luminance histogram are the tissue boundary clarity). A value obtained by weighted addition of the degree of separation is calculated as an overall evaluation value. The formula for calculating the overall evaluation value is, for example, the following formula.

E = αA + βB + γC + δD

In the above formula, E is the overall evaluation value, A is the SN ratio (noise amount) of the evaluation target image, B is the separation degree (tissue boundary clarity) of the luminance histogram of the evaluation target image, and C is the standard of the target cross section. Pattern similarity (cross-sectional position accuracy), D indicates an average value of a soft tissue region histogram (soft tissue clarity) and the like. α, β, γ, and δ are weights of the respective evaluation items.

各評価項目の重み付けを検査法に応じて変化させることで、検査法に応じた全体評価値を算出することができる。例えば、ドプラ検査においては、断面位置正確性が重要であるため、γを1に近い値とし、その他のα、β、およびδをほぼ0の値とする。画像評価部22は、算出された全体評価値Eを予め定められた閾値と比較することで、評価対象画像がユーザ指定の検査法に適した画像であるか否かを判定する。重み付けした全体評価値により画像評価を行うことで、評価項目を考慮するものと考慮しないもの2つに分けるのではなく、各評価項目をどの程度考慮するのかを指定することが可能になる。これにより、より超音波画像が検査に用いるのに適した画像か否かの判定をより詳細に行うことが可能になる。   By changing the weighting of each evaluation item according to the inspection method, an overall evaluation value according to the inspection method can be calculated. For example, in Doppler inspection, since the accuracy of the cross-sectional position is important, γ is set to a value close to 1, and the other α, β, and δ are set to values of approximately 0. The image evaluation unit 22 compares the calculated overall evaluation value E with a predetermined threshold value to determine whether the evaluation target image is an image suitable for the user-specified inspection method. By performing image evaluation based on the weighted overall evaluation values, it is possible to specify how much each evaluation item is to be considered, instead of dividing the evaluation item into those that are not considered and those that are not considered. This makes it possible to determine in more detail whether or not the ultrasound image is an image suitable for use in the inspection.

動画像に対して評価を行う場合は、動画像を形成する複数の静止画像を評価対象画像とし、動画像に含まれる各評価対象画像に対して上述の画像評価を行う。本実施形態では、動画像の評価の判定として、当該動画像に含まれる複数の評価対象画像全てが良評価である場合に当該動画像を良判定とする。すなわち、動画像に含まれる複数の評価対象画像のうち1枚でも悪評価であれば動画像全体が悪評価とする。これにより、例えばストレスエコー計測において1心拍分の心臓の拍動を示す動画の評価にあたり、一瞬プローブが被検体表面から浮いてしまいBモード画像が真っ黒になってしまった場合などに当該動画は検査に用いるのに適さないと判断することができる。動画像の評価の判定は上記方法に限られず、例えば、動画像に含まれる複数の評価対象画像の評価値の平均値と所定の閾値とを比較して判定するようにしてもよい。   When evaluating a moving image, a plurality of still images forming the moving image are set as evaluation target images, and the above-described image evaluation is performed on each evaluation target image included in the moving image. In the present embodiment, as the determination of the evaluation of the moving image, if all of the plurality of evaluation target images included in the moving image are in good evaluation, the moving image is determined as good. That is, if even one of the plurality of evaluation target images included in the moving image is badly evaluated, the entire moving image is evaluated as badly evaluated. Thus, for example, in the evaluation of a moving image showing the heartbeat for one heartbeat in stress echo measurement, the moving image is inspected when the probe floats from the subject surface for a moment and the B-mode image becomes black. It can be determined that it is not suitable for use. The determination of the evaluation of the moving image is not limited to the above method. For example, the determination may be made by comparing the average value of the evaluation values of a plurality of evaluation target images included in the moving image with a predetermined threshold.

画質評価部22による評価対象画像の評価が終了すると、超音波診断装置10は、当該評価結果に応じた処理を行う。以下、評価結果に応じた処理をリアルタイムで評価を行った場合と、事後的に画像評価を行った場合とに分けて説明する。   When the evaluation of the evaluation target image by the image quality evaluation unit 22 is completed, the ultrasonic diagnostic apparatus 10 performs a process according to the evaluation result. Hereinafter, the processing according to the evaluation result will be described separately for the case where the evaluation is performed in real time and the case where the image evaluation is performed afterwards.

リアルタイム画像評価を行った場合であって、評価対象画像の評価が良評価であった場合は、表示部30に各選択評価項目についての各評価値を表示した上で、評価対象画像を用いた検査のための動作に移行する。例えば、Bモード画像上における距離計測であれば、良評価が得られた超音波画像においてフリーズさせ、当該超音波画像において距離を計測する位置を自動あるいは手動により設定する。また、ストレスエコー計測であれば、評価対象画像(動画像)を保存対象として自動選択する処理を行う。   When real-time image evaluation is performed and the evaluation of the evaluation target image is a good evaluation, each evaluation value for each selection evaluation item is displayed on the display unit 30 and then the evaluation target image is used. Move to operation for inspection. For example, in the case of distance measurement on a B-mode image, freeze is performed on an ultrasonic image with good evaluation, and a position for measuring distance in the ultrasonic image is set automatically or manually. In the case of stress echo measurement, processing for automatically selecting an evaluation target image (moving image) as a storage target is performed.

リアルタイム画像評価を行った場合であって、評価対象画像の評価が悪評価であった場合は、表示部30に評価を行った評価項目についての各評価値を表示した上で、選択評価項目のうち悪評価だった評価項目を明示する。図3は、画質評価結果が表示部に表示される例を示す図である。図3に示されるように、表示部30には、画像形成部18が形成した超音波画像であるBモード画像40とともに、当該Bモード画像40の評価結果42が示されている。図3の例は、トラッキング計測に用いる評価対象画像の評価結果が示されており、評価結果42においては、評価項目テーブル26においてトラッキング計測に対応付けられた選択評価項目である「ノイズ量」および「組織境界明りょう性」についての各評価結果が示されている。評価結果の表示態様としては、図3のように良評価を「OK」、悪評価を「NG」と文字で表示するほか、色で良評価と悪評価を識別するようにしてもよい。あるいは、悪評価の評価項目のみを表示するようにしてもよい。   When real-time image evaluation is performed and the evaluation of the evaluation target image is bad evaluation, each evaluation value for the evaluation item evaluated is displayed on the display unit 30, and then the selected evaluation item Specify the evaluation items that were bad evaluations. FIG. 3 is a diagram illustrating an example in which the image quality evaluation result is displayed on the display unit. As shown in FIG. 3, the display unit 30 shows an evaluation result 42 of the B-mode image 40 together with a B-mode image 40 that is an ultrasonic image formed by the image forming unit 18. The example of FIG. 3 shows an evaluation result of an evaluation target image used for tracking measurement. In the evaluation result 42, “noise amount” that is a selection evaluation item associated with tracking measurement in the evaluation item table 26 and Each evaluation result about “organizational boundary clarity” is shown. As a display mode of the evaluation result, good evaluation and bad evaluation may be identified by color as well as displaying “OK” for good evaluation and “NG” for bad evaluation as shown in FIG. Or you may make it display only the evaluation item of bad evaluation.

各評価項目の評価結果とともに、悪評価だった評価項目を改善するための対応策を示すコメントを表示するようにしてもよい。例えば、「ノイズを下げる」「コントラストを調整する」「断面位置を正確にする」「陰影に注意する」などそれぞれの評価項目に対応するコメントを表示してもよい。特に、リアルタイムにおける評価においては、悪評価を迅速に改善して検査に用いることができる超音波画像を取得できるようにすることが肝要であるから、当該対応策を表示することが重要になる。ユーザが当該コメントに応じて対応策を講じて、すべての評価項目について良評価となれば、上述のように評価対象画像を用いた検査のための動作に移行してよい。   You may make it display the comment which shows the countermeasure for improving the evaluation item which was bad evaluation with the evaluation result of each evaluation item. For example, comments corresponding to respective evaluation items such as “reducing noise”, “adjusting contrast”, “accurate cross-sectional position”, and “being careful with shadows” may be displayed. In particular, in real-time evaluation, it is important to quickly improve the bad evaluation so that an ultrasonic image that can be used for the examination can be acquired, so it is important to display the countermeasure. If the user takes countermeasures according to the comment and the evaluation is good for all the evaluation items, the operation may be shifted to the operation for the inspection using the evaluation target image as described above.

また、評価結果に応じて、パラメータ設定部20が設定する各パラメータを自動的に変更させるようにしてもよい。例えば、組織境界明りょう性や軟部組織明りょう性について悪評価であると判断された場合は、パラメータ設定部20はこれらを改善するために評価対象画像のコントラストを上げる、あるいはゲインを上げるなどの自動調整を行うようにしてもよい。   Moreover, you may make it change each parameter which the parameter setting part 20 sets automatically according to an evaluation result. For example, when it is determined that the tissue boundary clarity and soft tissue clarity are bad evaluations, the parameter setting unit 20 increases the contrast of the evaluation target image or increases the gain in order to improve them. Automatic adjustment may be performed.

事後的に画像評価を行う場合は、シネメモリ16に蓄積されているビームデータから形成される評価対象画像に対して画像評価を行う。リアルタイムの画像評価では、連続的に取得されるビームデータから形成される評価対象画像が検査に必要な最低限の要件を満たしているか否かを刻々と判定するものであったが、事後的な画像評価においては、既に蓄積された複数の評価対象画像から良判定の画像を選択する処理となる。このため、複数の評価対象画像のうちベストの画像を選択したり、あるいは評価値の高い順に画像を並べて表示しユーザに選択させたりすることが可能となる。   When image evaluation is performed later, image evaluation is performed on an evaluation target image formed from beam data stored in the cine memory 16. In real-time image evaluation, it was determined whether the evaluation target image formed from continuously acquired beam data meets the minimum requirements necessary for inspection. The image evaluation is a process of selecting a good determination image from a plurality of evaluation target images that have already been accumulated. For this reason, it is possible to select the best image from among a plurality of evaluation target images, or to display the images side by side in descending order of evaluation values and allow the user to select them.

ストレスエコー計測を例に、事後的な画像評価について説明する。ストレスエコー計測では、例えば、運動の負荷別に3〜4ステージに分け、ステージ毎に1心拍分の動画像を選定し、選定された動画像により検査が行われる。ストレスエコー計測における事後的な画像評価においては、ステージ毎に取得された複数心拍分の評価対象画像から検査に最も適した1心拍分の評価対象画像を選択する。   Ex-post image evaluation will be described by taking stress echo measurement as an example. In stress echo measurement, for example, it is divided into 3 to 4 stages according to the load of exercise, a moving image for one heartbeat is selected for each stage, and an inspection is performed using the selected moving image. In ex-post image evaluation in stress echo measurement, an evaluation target image for one heartbeat that is most suitable for the examination is selected from evaluation target images for a plurality of heartbeats acquired for each stage.

ストレスエコー計測における事後的な画像評価においては、シネメモリ16に蓄積されている全心拍分のビームデータから形成される複数の評価対象画像に対して、画像評価処理を行う。シネメモリ16には複数心拍分のビームデータが時系列順に記憶されているため、例えば心電波形などに基づいて、これらのビームデータを心拍毎に分け、心拍ごとの動画像を形成する。評価対象は動画像となるため、上述のように、動画像を形成する複数の評価対象画像全てについて画像評価処理を行う。例えば、シネメモリ16に5心拍分のビームデータが蓄積されている場合、画像評価部22は、心拍毎に評価結果を算出する。例えば、1心拍目の動画像に含まれるN個の評価対象画像毎に上述の全体評価値E11・・・E1Nを算出する。そして、E11・・・E1Nの平均値Eave1を算出しこれを1心拍目の動画像の全体評価値とする。2〜5心拍目についても同様に全体評価値Eave2〜Eave5を算出する。そして、Eave1〜Eave5のうち最も評価値が高いものを検査に用いる心拍動画像として選択する。このようにして、例えばEave1〜Eave5の全てが良判定となっていたとしても、さらにその中から評価値の最も高いベストの画像を選択することができる。あるいは、5心拍分の動画像を評価順に並べて表示させ、検査に用いる画像をユーザに選択させるようにしてもよい。 In the ex-post image evaluation in stress echo measurement, image evaluation processing is performed on a plurality of evaluation target images formed from beam data for all heartbeats accumulated in the cine memory 16. Since the cine memory 16 stores beam data for a plurality of heartbeats in chronological order, for example, based on an electrocardiographic waveform, the beam data is divided for each heartbeat to form a moving image for each heartbeat. Since the evaluation object is a moving image, as described above, the image evaluation process is performed on all of the plurality of evaluation object images forming the moving image. For example, when beam data for five heartbeats is accumulated in the cine memory 16, the image evaluation unit 22 calculates an evaluation result for each heartbeat. For example, the above-described overall evaluation values E 11 ... E 1N are calculated for each of N evaluation target images included in the first heartbeat moving image. Then, an average value E ave1 of E 11 ... E 1N is calculated and used as the overall evaluation value of the moving image at the first heartbeat. Similarly, for the second to fifth heart beats, overall evaluation values E ave2 to E ave5 are calculated. Then, the one having the highest evaluation value among E ave1 to E ave5 is selected as the heartbeat image used for the examination. Thus, for example, even if all of E ave1 to E ave5 are judged as good, the best image with the highest evaluation value can be selected from among them. Alternatively, the moving images for five heartbeats may be displayed side by side in the order of evaluation, and the user may select an image used for the examination.

以下、図1を参照しながら図4を参照して超音波診断装置10の動作の流れを説明する。図4は、本実施形態に係る超音波診断装置の動作の流れを示すフローチャートである。   Hereinafter, the operation flow of the ultrasonic diagnostic apparatus 10 will be described with reference to FIG. 4 while referring to FIG. FIG. 4 is a flowchart showing a flow of operations of the ultrasonic diagnostic apparatus according to the present embodiment.

ステップS10において、画像形成部18は、送受信部14からの1フレーム分のビームデータに基づいて超音波画像であるBモード画像を形成する。形成されるBモード画像は静止画であっても複数の静止画からなる動画像であってもよい。   In step S <b> 10, the image forming unit 18 forms a B-mode image that is an ultrasonic image based on the beam data for one frame from the transmission / reception unit 14. The formed B-mode image may be a still image or a moving image composed of a plurality of still images.

ステップS12において、画像評価部22はユーザ入力に基づいて、検査法を特定する。さらに、画像評価部22は評価項目テーブル22を参照して、特定した検査法に対応付けられている1または複数の選択評価項目を特定する。   In step S12, the image evaluation unit 22 specifies the inspection method based on the user input. Further, the image evaluation unit 22 refers to the evaluation item table 22 and specifies one or more selection evaluation items associated with the specified inspection method.

ステップS14において、画像評価部22は、特定された1または複数の選択評価項目のうちの1つの選択評価項目について、評価対象画像について評価し評価値を算出する。評価値とは、上述のように、例えばSN比や輝度ヒストグラムの二峰の分離度である。   In step S <b> 14, the image evaluation unit 22 evaluates the evaluation target image and calculates an evaluation value for one selected evaluation item among the specified one or more selection evaluation items. As described above, the evaluation value is, for example, the separation degree between two peaks of the SN ratio and the luminance histogram.

ステップS16において、画像評価部22は、ステップS14で算出した評価値が予め定められた閾値よりも大きいか否か、すなわち選択評価項目についての評価対象画像の評価が所定の閾値よりも良い評価であるか否かを判定する。   In step S16, the image evaluation unit 22 evaluates whether or not the evaluation value calculated in step S14 is larger than a predetermined threshold, that is, the evaluation of the evaluation target image for the selected evaluation item is better than the predetermined threshold. It is determined whether or not there is.

ステップS16で評価値が閾値よりも小さい場合、画像評価部22は、評価対象画像は特定された検査法に用いるのに適切な画像ではないと判定する。そして、ステップS18において、閾値よりも小さかった選択評価項目の評価値を改善させるための処置を行う。例えば、表示部30に評価が低かった選択評価項目を表示するとともに改善策を示すコメントを表示させる。あるいは、閾値よりも小さかった選択評価項目の評価値がゲイン調整やコントラスト調整で改善される場合においては、これらの調整を自動的に行う。   When the evaluation value is smaller than the threshold value in step S16, the image evaluation unit 22 determines that the evaluation target image is not an image suitable for use in the specified inspection method. In step S18, a measure for improving the evaluation value of the selection evaluation item that is smaller than the threshold value is performed. For example, a selection evaluation item whose evaluation is low is displayed on the display unit 30 and a comment indicating an improvement measure is displayed. Alternatively, when the evaluation value of the selection evaluation item that is smaller than the threshold is improved by gain adjustment or contrast adjustment, these adjustments are automatically performed.

ステップS16で評価値が閾値以上であった場合、ステップS20に進み、画像評価部22は、ステップS12で特定された選択評価項目の全てにおいて評価が完了したか否かを判定する。全ての選択評価項目についての評価が完了していない場合は、ステップS14に戻り、まだ評価していない選択評価項目についての評価を行う。   If the evaluation value is equal to or greater than the threshold value in step S16, the process proceeds to step S20, and the image evaluation unit 22 determines whether the evaluation has been completed for all of the selection evaluation items specified in step S12. If evaluation for all selection evaluation items is not completed, the process returns to step S14, and evaluation is performed for selection evaluation items that have not been evaluated yet.

ステップ20で全ての選択評価項目について評価が完了していると判断された場合、すなわち全ての選択評価項目について良評価であった場合は、画像評価部22は、評価対象画像は特定された検査法に用いるのに適切な画像であると判断する。そして、ステップS22において評価対象画像を用いた当該検査法による検査が実施される。   If it is determined in step 20 that the evaluation has been completed for all the selection evaluation items, that is, if all the selection evaluation items are good evaluations, the image evaluation unit 22 performs the inspection in which the evaluation target image is specified. It is determined that the image is appropriate for use in the law. In step S22, an inspection by the inspection method using the evaluation target image is performed.

10 超音波診断装置、12 プローブ、14 送受信部、16 シネメモリ、18 画像形成部、20 パラメータ設定部、22 画像評価部、24 記憶部、26 評価項目テーブル、28 表示制御部、30 表示部、32 入力部、34 制御部。   DESCRIPTION OF SYMBOLS 10 Ultrasonic diagnostic apparatus, 12 Probe, 14 Transmission / reception part, 16 Cine memory, 18 Image formation part, 20 Parameter setting part, 22 Image evaluation part, 24 Storage part, 26 Evaluation item table, 28 Display control part, 30 Display part, 32 Input unit, 34 control unit.

Claims (5)

ユーザ選択された検査法に従って、1または複数の評価項目からなる評価項目セットを特定する評価項目特定手段と、
前記検査法において利用される超音波画像を評価対象画像として評価する手段であって、前記評価項目セットに含まれる各評価項目について評価対象画像の評価を行い、1または複数の評価結果からなる評価結果セットを生成する画質評価手段と、
を備えることを特徴とする、超音波診断装置。
An evaluation item specifying means for specifying an evaluation item set consisting of one or a plurality of evaluation items according to the inspection method selected by the user;
A means for evaluating an ultrasonic image used in the inspection method as an evaluation target image, wherein the evaluation target image is evaluated for each evaluation item included in the evaluation item set, and an evaluation consisting of one or a plurality of evaluation results An image quality evaluation means for generating a result set;
An ultrasonic diagnostic apparatus comprising:
前記評価結果セットに基づいて、評価結果をユーザに提供する結果提供手段、
をさらに含むことを特徴とする、請求項1に記載の超音波診断装置。
A result providing means for providing an evaluation result to the user based on the evaluation result set;
The ultrasonic diagnostic apparatus according to claim 1, further comprising:
前記評価結果セットに基づいて、前記超音波画像の画質の変更をもたらす画質変更処理を行う画質変更処理手段、
をさらに含むことを特徴とする、請求項1に記載の超音波診断装置。
An image quality change processing means for performing an image quality change process for changing the image quality of the ultrasonic image based on the evaluation result set;
The ultrasonic diagnostic apparatus according to claim 1, further comprising:
前記評価項目特定手段は、
複数の検査法と複数の評価項目との対応関係を示す対応関係情報を記憶した記憶部と、
前記対応関係情報に基づいて、前記ユーザ選択された検査法に従って前記評価項目セットを特定する手段と、
を含むことを特徴とする、請求項1に記載の超音波診断装置。
The evaluation item specifying means includes
A storage unit storing correspondence information indicating correspondence between a plurality of inspection methods and a plurality of evaluation items;
Means for identifying the set of evaluation items according to the user-selected inspection method based on the correspondence information;
The ultrasonic diagnostic apparatus according to claim 1, comprising:
前記結果提供手段は、前記評価結果セットを示す評価情報を表示部に表示させる、
ことを特徴とする、請求項2に記載の超音波診断装置。
The result providing means causes the display unit to display evaluation information indicating the evaluation result set.
The ultrasonic diagnostic apparatus according to claim 2, wherein:
JP2014165357A 2014-08-15 2014-08-15 Ultrasonic diagnostic equipment Active JP6382633B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014165357A JP6382633B2 (en) 2014-08-15 2014-08-15 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165357A JP6382633B2 (en) 2014-08-15 2014-08-15 Ultrasonic diagnostic equipment

Publications (2)

Publication Number Publication Date
JP2016041117A true JP2016041117A (en) 2016-03-31
JP6382633B2 JP6382633B2 (en) 2018-08-29

Family

ID=55591284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165357A Active JP6382633B2 (en) 2014-08-15 2014-08-15 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP6382633B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180161010A1 (en) * 2016-12-09 2018-06-14 Samsung Electronics Co., Ltd. Apparatus and method for processing ultrasound image
JP2020103883A (en) * 2018-12-10 2020-07-09 ゼネラル・エレクトリック・カンパニイ Ultrasound imaging system and method for displaying target object quality level
CN114052793A (en) * 2021-09-18 2022-02-18 武汉联影医疗科技有限公司 Medical equipment assisting method and device and storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210117844A (en) * 2020-03-20 2021-09-29 삼성메디슨 주식회사 Ultrasound imaging apparatus and method for operating the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117168A (en) * 2005-10-25 2007-05-17 Aloka Co Ltd Ultrasonic diagnostic apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007117168A (en) * 2005-10-25 2007-05-17 Aloka Co Ltd Ultrasonic diagnostic apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180161010A1 (en) * 2016-12-09 2018-06-14 Samsung Electronics Co., Ltd. Apparatus and method for processing ultrasound image
CN108230300A (en) * 2016-12-09 2018-06-29 三星电子株式会社 For handling the device and method of ultrasonoscopy
KR101922180B1 (en) * 2016-12-09 2018-11-26 삼성메디슨 주식회사 Ultrasonic image processing apparatus and method for processing of ultrasonic image
JP2020103883A (en) * 2018-12-10 2020-07-09 ゼネラル・エレクトリック・カンパニイ Ultrasound imaging system and method for displaying target object quality level
JP7346266B2 (en) 2018-12-10 2023-09-19 ゼネラル・エレクトリック・カンパニイ Ultrasonic imaging system and method for displaying target object quality level
CN114052793A (en) * 2021-09-18 2022-02-18 武汉联影医疗科技有限公司 Medical equipment assisting method and device and storage medium

Also Published As

Publication number Publication date
JP6382633B2 (en) 2018-08-29

Similar Documents

Publication Publication Date Title
US11635514B2 (en) Imaging methods and apparatuses for performing shear wave elastography imaging
US6368277B1 (en) Dynamic measurement of parameters within a sequence of images
US11069059B2 (en) Prenatal ultrasound imaging
US11488298B2 (en) System and methods for ultrasound image quality determination
US11593933B2 (en) Systems and methods for ultrasound image quality determination
CN107072635A (en) The quality metric for the multi-hop echocardiogram collection fed back for intermediate user
JP5558727B2 (en) Ultrasonic diagnostic apparatus and data processing program for ultrasonic diagnostic apparatus
JP6382633B2 (en) Ultrasonic diagnostic equipment
CN112638273A (en) Biometric measurement and quality assessment
JP5771306B1 (en) Ultrasonic diagnostic equipment
JP4870449B2 (en) Ultrasonic diagnostic apparatus and ultrasonic image processing method
JP7346266B2 (en) Ultrasonic imaging system and method for displaying target object quality level
CN114680929A (en) Ultrasonic imaging method and system for measuring diaphragm
CN109640831A (en) Supersonic diagnostic appts
CN114271850B (en) Ultrasonic detection data processing method and ultrasonic detection data processing device
WO2022141083A1 (en) Periodic parameter analysis method and ultrasonic imaging system
JP5651258B1 (en) Ultrasonic diagnostic apparatus and program
WO2020047805A1 (en) Shear wave elastic imaging method and device, and computer storage medium
US20240078664A1 (en) Ultrasonic imaging apparatus and program
US20220211342A1 (en) Method Of Performing Automated Measurements Over Multiple Cardiac Cycles
CN114246611B (en) System and method for an adaptive interface for an ultrasound imaging system

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180802

R150 Certificate of patent or registration of utility model

Ref document number: 6382633

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250