JP6739318B2 - Ultrasonic diagnostic equipment - Google Patents

Ultrasonic diagnostic equipment Download PDF

Info

Publication number
JP6739318B2
JP6739318B2 JP2016222310A JP2016222310A JP6739318B2 JP 6739318 B2 JP6739318 B2 JP 6739318B2 JP 2016222310 A JP2016222310 A JP 2016222310A JP 2016222310 A JP2016222310 A JP 2016222310A JP 6739318 B2 JP6739318 B2 JP 6739318B2
Authority
JP
Japan
Prior art keywords
image
cross
unit
view
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016222310A
Other languages
Japanese (ja)
Other versions
JP2018079000A (en
JP2018079000A5 (en
Inventor
云 李
云 李
鈴木　麻由美
麻由美 鈴木
琢磨 柴原
琢磨 柴原
崇 豊村
崇 豊村
子盛 黎
子盛 黎
佩菲 朱
佩菲 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2016222310A priority Critical patent/JP6739318B2/en
Publication of JP2018079000A publication Critical patent/JP2018079000A/en
Publication of JP2018079000A5 publication Critical patent/JP2018079000A5/ja
Application granted granted Critical
Publication of JP6739318B2 publication Critical patent/JP6739318B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Ultra Sonic Daignosis Equipment (AREA)

Description

本発明は、被検体内の画像を撮像する超音波診断装置、特にその画像処理技術に関する。 The present invention relates to an ultrasonic diagnostic apparatus that captures an image of an inside of a subject, and particularly to an image processing technique for the same.

超音波やMRI（Magnetic Resonance Imaging）、Ｘ線CT（Computed Tomography）に代表される医療用の画像表示装置は、目視できない生体内の情報を数値または画像の形態で提示する装置として広く利用されている。中でも超音波を利用した画像表示装置である超音波診断装置は、他の装置と比較して高い時間分解能を備えており、拍動下の心臓を滲みなく画像化できる性能を持つ。また、放射線や熱の人体への曝露を必要としないため、細胞分裂や形態生成を盛んに行っている胎児に対しても使用可能である特長を持つ。 Medical image display devices represented by ultrasonic waves, MRI (Magnetic Resonance Imaging), and X-ray CT (Computed Tomography) are widely used as devices that present invisible information in the body in the form of numerical values or images. There is. Above all, an ultrasonic diagnostic apparatus, which is an image display apparatus using ultrasonic waves, has a higher time resolution than other apparatuses, and has an ability to image a pulsating heart without blurring. Moreover, since it does not require exposure to radiation or heat to the human body, it has the feature that it can be used even for fetuses who are actively engaged in cell division and morphogenesis.

超音波診断装置は、画像を表示するだけでなく、形態情報や機能情報を定量的に取得する用途でも用いられる。たとえば、心臓が血液を全身へ送るポンプとしての機能を評価するための左心室の駆出率計測や胎児の成長を観察するための胎児の推定体重計測である。このような計測の手順は、画像取得の工程、計測画像の選択の工程、計測の工程からなる。画像取得の工程では、計測に用いる画像の候補である複数枚の２次元断面画像、またはボリュームデータを取得する。計測画像の選択の工程では、取得したデータから計測に最適な断面画像を選択する。計測の工程では、選択した画像に対し、左心室の駆出率計測であれば心壁を、胎児の推定体重計測における腹部の周囲長の計測であれば腹部の表面をトレースし、所定の計算式に従った計算を行う。トレースは、１人の患者につき、左心室の駆出率計測であれば拡張末期および収縮末期のタイミングにて、胎児の推定体重計測であれば頭部、腹部、脚部の部位にて行う必要があり、検査に時間がかかっていた。そのため、近年では、トレースを自動で行い、所定の計算まで行う自動計測技術の検討が行われ、ワークフロー改善が実現されている。 The ultrasonic diagnostic apparatus is used not only for displaying images but also for quantitatively acquiring morphological information and functional information. For example, left ventricular ejection fraction measurement for evaluating the function of the heart as a pump for pumping blood to the whole body, and fetal weight estimation for observing fetal growth. Such a measurement procedure includes an image acquisition process, a measurement image selection process, and a measurement process. In the image acquisition step, a plurality of two-dimensional cross-sectional images or volume data, which are image candidates used for measurement, are acquired. In the step of selecting a measurement image, a cross-sectional image most suitable for measurement is selected from the acquired data. In the measurement process, for the selected image, the left ventricle ejection fraction is measured, the heart wall is traced, and the abdominal circumference is measured in fetal weight estimation. Calculate according to the formula. Tracing should be performed at the end diastole and end systole timing for left ventricular ejection fraction measurement, and at the head, abdomen, and leg sites for fetal weight estimation, per patient. There was a problem and the inspection took a long time. Therefore, in recent years, an automatic measurement technique for automatically performing tracing and performing a predetermined calculation has been studied, and workflow improvement has been realized.

さらなるワークフロー改善のためには、画像取得の工程および計測画像の選択の工程の自動化が期待される。計測画像の選択は、画像データが２次元の画像であれば２次元の画像群から、３次元のボリュームデータであればボリューム中から行うため、非常に候補が多く、時間がかかる。計測画像の自動選定技術として、取得した断面画像または取得したボリュームデータから抽出した断面画像に対して、機械学習やパターンマッチングを用いた手法の適用が検討されている。 In order to further improve the workflow, automation of the image acquisition process and the measurement image selection process is expected. The selection of the measurement image is performed from a two-dimensional image group if the image data is a two-dimensional image, or from the volume if the image data is three-dimensional volume data. As a technique for automatically selecting a measurement image, application of a method using machine learning or pattern matching to an acquired sectional image or a sectional image extracted from the acquired volume data is being studied.

このような計測画像の自動選択に関する先行技術として、特許文献１がある。 As a prior art related to such automatic selection of measurement images, there is Patent Document 1.

特開２００２−１４０６８９号公報JP, 2002-140689, A

超音波画像の特徴として、撮像者や撮像回次ごとに撮像される画像データが異なること（撮像者依存性）と、撮像対象の体質や疾患により撮像される画像データが異なること（撮像対象依存性）があげられる。撮像者依存性は、超音波を照射し断面画像またはボリュームデータとして取得する体内の領域の探索を撮像の都度、人手で行うため、同一患者に対し同一検査者が検査を行ったとしても取得データを完全に一致させることが難しいことから生じる。また、撮像対象者依存性は、患者の体質により音波の体内伝搬速度および減衰率が異なること、患者の疾患や個人差により異なる患者間では臓器の形状が完全に一致しないことから生じる。つまり、計測のために、たとえば心臓における僧帽弁を輪切りにした断面画像や胎児の腹部における脊椎に垂直かつ胃胞および臍静脈を含む断面画像など、計測に理想的な画像は、撮像者依存性および撮像対象者依存性の影響により、撮像回次や患者によらず取得することが難しい。取得されたデータには理想的な位置に対するずれ、画像の不鮮明、特徴的な形状の差異などが生じる。そのため、計測に最適な画像の選定基準が、撮像回次や患者によらず一定である場合、自動選定の結果を手動で訂正する頻度が高くなり、ワークフローの改善が実現しない可能性がある。 The characteristics of ultrasonic images are that the image data that is captured differs depending on the imager and the imaging sequence (imager dependency), and that the image data that is imaged differs depending on the constitution and disease of the image capture target (image capture target dependency). Sex). The imager dependency is that even if the same examiner conducts an examination on the same patient, the region inside the body that is irradiated with ultrasonic waves and acquired as a cross-sectional image or volume data is searched manually every time the image is taken. Arises because it is difficult to match exactly. In addition, the imaging subject dependency is caused by the fact that the propagation velocity and the attenuation rate of the sound wave in the body vary depending on the constitution of the patient, and the shapes of organs do not completely match between different patients depending on the patient's disease or individual differences. In other words, for measurement, an ideal image for measurement, such as a cross-sectional image of the mitral valve in the heart cut into slices and a cross-sectional image of the abdomen of the fetus that is perpendicular to the spine and includes gastric vesicles and umbilical veins, is dependent on the imager. It is difficult to acquire regardless of the imaging sequence or patient due to the influence of the sex and the subject's dependence on the imaging subject. The acquired data has a deviation from an ideal position, an unclear image, and a characteristic shape difference. Therefore, if the selection criterion of the image most suitable for the measurement is constant regardless of the imaging sequence and the patient, the frequency of the manual selection of the automatic selection result becomes high, and the workflow may not be improved.

本発明の目的は、計測画像の選定を高精度に実現することができる超音波診断装置、及び画像処理装置を提供することにある。 An object of the present invention is to provide an ultrasonic diagnostic apparatus and an image processing apparatus capable of highly accurately selecting a measurement image.

上記の課題を解決するため、本発明においては、検査対象に超音波を送信し、検査対象からの反射波を利用する超音波診断装置であって、超音波を検査対象に送受信する送受信部と、送受信部の受信信号に基づき画像データを生成し、計測に最適な断面画像を決定する画像処理部と、画像処理部において決定した計測に最適な断面画像を表示する表示部とを備え、画像処理部は、計測に最適な断面画像を決定するために行う比較のための断面画像の比較対象群を生成する構成の超音波診断装置を提供する。 In order to solve the above problems, in the present invention, an ultrasonic diagnostic apparatus that transmits ultrasonic waves to an inspection target and uses reflected waves from the inspection target, and a transmitting/receiving unit that transmits/receives ultrasonic waves to/from the inspection target. An image processing unit that generates image data based on a reception signal of the transmission/reception unit and determines an optimum cross-sectional image for measurement, and a display unit that displays the optimum cross-sectional image for measurement determined by the image processing unit. The processing unit provides an ultrasonic diagnostic apparatus configured to generate a comparison target group of cross-sectional images for comparison performed to determine the optimum cross-sectional image for measurement.

また、上記の目的を達成するため、本発明においては、画像処理装置であって、検査対象に超音波を送受信して得られる受信信号に基づく画像データを格納する記憶部と、記憶部に格納された画像データから複数の断面画像を読み出し、計測に最適な断面画像を決定する計測断面決定部と、を備え、計測断面決定部は、計測に最適な断面画像を決定するために行う比較のための断面画像の比較対象群を生成する構成の画像処理装置を提供する。 Further, in order to achieve the above object, in the present invention, an image processing device, a storage unit for storing image data based on a reception signal obtained by transmitting and receiving ultrasonic waves to and from an inspection target, and a storage unit. A plurality of cross-sectional images are read from the obtained image data, and a measurement cross-section determining unit that determines the optimum cross-sectional image for measurement is provided, and the measurement cross-section determining unit performs comparison for determining the optimum cross-sectional image for measurement. Provided is an image processing device configured to generate a comparison target group of cross-sectional images.

本発明によれば、患者の撮像回次毎に計測に最適な断面画像を高精度に選定することが可能となる。 ADVANTAGE OF THE INVENTION According to this invention, it becomes possible to select the cross-sectional image optimal for measurement with high precision for every imaging sequence of a patient.

実施例１の超音波診断装置の一構成例を示すブロック図。3 is a block diagram showing a configuration example of the ultrasonic diagnostic apparatus of Embodiment 1. FIG. 実施例１の超音波診断装置の要部の一構成例を示すブロック図。3 is a block diagram showing a configuration example of a main part of the ultrasonic diagnostic apparatus of Embodiment 1. FIG. 実施例１の超音波診断装置の要部のハードウェア構成例を示すブロック図。3 is a block diagram showing a hardware configuration example of a main part of the ultrasonic diagnostic apparatus according to the first embodiment. FIG. 実施例１の計測断面決定部の処理工程の一例を示すフローチャート図。FIG. 6 is a flowchart showing an example of processing steps of a measurement section determination unit according to the first embodiment. 検査対象である心臓の構造を説明するための模式図。The schematic diagram for demonstrating the structure of the heart which is a test object. 検査対象である心臓の各ビュー（view）における理想的な断面画像の説明図。Explanatory drawing of the ideal cross-sectional image in each view (view) of the heart which is a test object. 実施例１に係る、心腔の高さのみを用いる場合の断面画像の比較対象群の生成の説明図。7A and 7B are explanatory diagrams of generation of a comparison target group of cross-sectional images when only the height of the heart chamber is used according to the first embodiment. 実施例１に係る、心腔の高さと心腔内および周辺の構造物の特徴を用いる場合の断面画像の比較対象群の生成の説明図。6A and 6B are explanatory diagrams of generation of a comparison target group of cross-sectional images when the height of the heart chamber and the features of structures inside and around the heart chamber are used according to the first embodiment. 心腔の高さと心腔内および周辺の構造物の特徴を用いる場合の比較対象群の生成の一例を説明するための図。FIG. 6 is a diagram for explaining an example of generation of a comparison target group when the height of a heart chamber and the features of structures inside and around the heart chamber are used. 実施例１に係る、比較結果判定部における判定の一例を示す図。FIG. 4 is a diagram showing an example of a determination made by a comparison result determination unit according to the first embodiment. 実施例１に係る、比較結果判定部における判定工程を示すフローチャート図。FIG. 6 is a flowchart diagram illustrating a determination process in a comparison result determination unit according to the first embodiment. 実施例１に係る表示形態の一例を示す図。FIG. 6 is a diagram showing an example of a display form according to the first embodiment. 実施例２の超音波診断装置の一構成を示すブロック図。3 is a block diagram showing a configuration of an ultrasonic diagnostic apparatus according to a second embodiment. FIG. 実施例２に係る表示形態の一例を示す図。FIG. 6 is a diagram showing an example of a display form according to Example 2. 実施例３に係る、胎児腹部の周辺構造と切断面の関係の一例を示す図。FIG. 8 is a diagram showing an example of a relationship between a peripheral structure of a fetus abdomen and a cut surface according to the third embodiment. 実施例３に係る表示形態の一例を示す図。FIG. 8 is a diagram showing an example of a display form according to Example 3.

本発明の各種の実施形態を図面に基づき説明する。以下、各実施形態を説明するための全図において、基本的に同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。なお、本明細書で用いる「解剖学的な情報および特徴」とは、生体内または臓器内における位置の推定を可能とする生体または臓器の構造の情報および特徴を意味している。 Various embodiments of the present invention will be described with reference to the drawings. Hereinafter, in all the drawings for explaining the respective embodiments, those having basically the same functions are designated by the same reference numerals, and the repeated description thereof will be omitted. The term "anatomical information and features" used in the present specification means information and features of the structure of a living body or an organ that enables the position estimation in the living body or the organ.

実施例１は、検査対象に超音波を送信し、検査対象からの反射波を利用する超音波診断装置であって、超音波を検査対象に送受信する送受信部と、送受信部の受信信号に基づき画像データを生成し、計測に最適な断面画像を決定する画像処理部と、画像処理部において決定した計測に最適な断面画像を表示する表示部とを備え、画像処理部は、計測に最適な断面画像を決定するために行う比較のための断面画像の比較対象群を生成する超音波診断装置の実施例である。また、画像処理装置であって、検査対象に超音波に送受信して得られる受信信号に基づく画像データを格納する記憶部と、記憶部に格納された画像データから複数の断面画像を読み出し、計測に最適な断面画像を決定する計測断面決定部と、を備え、計測断面決定部は、計測に最適な断面画像を決定するために行う比較のための断面画像の比較対象群を生成する構成の画像処理装置の実施例である。なお、以下の説明においては、超音波診断装置の実施例として説明するが、その画像処理部は画像処理装置として機能するので、画像処理装置の実施例としての説明も兼ねている。 Example 1 is an ultrasonic diagnostic apparatus that transmits an ultrasonic wave to an inspection target and uses a reflected wave from the inspection target, based on a transmission/reception unit that transmits/receives the ultrasonic wave to/from the inspection target and a reception signal of the transmission/reception unit. An image processing unit that generates image data and determines the optimum cross-sectional image for measurement and a display unit that displays the optimum cross-sectional image for measurement determined by the image processing unit are provided. 4 is an example of an ultrasonic diagnostic apparatus that generates a comparison target group of cross-sectional images for comparison performed to determine a cross-sectional image. Further, the image processing apparatus is a storage unit that stores image data based on a reception signal obtained by transmitting and receiving ultrasonic waves to and from an inspection target, and reads out a plurality of cross-sectional images from the image data stored in the storage unit and performs measurement. And a measurement cross section determining unit that determines an optimum cross sectional image, and the measurement cross section determining unit is configured to generate a comparison target group of cross sectional images for comparison performed to determine the optimum cross sectional image for measurement. It is an example of an image processing apparatus. Note that, in the following description, an ultrasonic diagnostic apparatus will be described as an example, but since the image processing unit functions as an image processing apparatus, the description also serves as an example of the image processing apparatus.

まず、実施例１の超音波診断装置の全体構成を説明する。図１は、実施例１の超音波診断装置の一構成例を示すブロック図である。本実施例の超音波診断装置１００は、探触子１１０と、送信ビームフォーマ１２０と、Ｄ／Ａコンバータ１３０と、Ａ／Ｄコンバータ１４０と、ビームフォーマメモリ１５０と、受信ビームフォーマ１６０と、画像処理部１７０と、表示部１８０とを備える。 First, the overall configuration of the ultrasonic diagnostic apparatus according to the first embodiment will be described. FIG. 1 is a block diagram illustrating a configuration example of the ultrasonic diagnostic apparatus according to the first embodiment. The ultrasonic diagnostic apparatus 100 of this embodiment includes a probe 110, a transmission beamformer 120, a D/A converter 130, an A/D converter 140, a beamformer memory 150, a reception beamformer 160, and an image. The processing unit 170 and the display unit 180 are provided.

探触子１１０は、所定の方向に沿って複数の超音波素子が配列した構成を有する。各超音波素子は、例えば、セラミックで生成されたセラミック素子である。探触子１１０は、検査対象１０１の表面に接するよう配置される。 The probe 110 has a configuration in which a plurality of ultrasonic elements are arranged along a predetermined direction. Each ultrasonic element is, for example, a ceramic element made of ceramic. The probe 110 is arranged so as to contact the surface of the inspection target 101.

送信ビームフォーマ１２０は、Ｄ／Ａコンバータ１３０を介して複数の超音波素子の少なくとも一部から超音波を送信させる。探触子１１０を構成する各超音波素子から送信される超音波それぞれに対して、所定の深度で集束するよう遅延時間を与え、所定の深度で集束する送信ビームを生成する。 The transmission beam former 120 transmits ultrasonic waves from at least a part of the plurality of ultrasonic elements via the D/A converter 130. A delay time is given to each ultrasonic wave transmitted from each ultrasonic element forming the probe 110 so that the ultrasonic wave is focused at a predetermined depth, and a transmission beam that is focused at a predetermined depth is generated.

Ｄ／Ａコンバータ１３０は、送信ビームフォーマ１２０からの送信パルスの電気信号を音響信号に変換する。また、Ａ／Ｄコンバータ１４０は、探触子１１０において受信した、検査対象１０１の内部を伝播する過程で反射した音響信号を再び電気信号に変換し受信信号を生成する。 The D/A converter 130 converts the electric signal of the transmission pulse from the transmission beamformer 120 into an acoustic signal. Further, the A/D converter 140 converts the acoustic signal received by the probe 110 and reflected in the process of propagating through the inside of the inspection target 101 into an electric signal again to generate a reception signal.

ビームフォーマメモリ１５０は、Ａ／Ｄコンバータ１４０を介して、送信毎に超音波素子の出力する受信信号に対して受信焦点ごとの整相遅延データを送信ごとに格納している。受信ビームフォーマ１６０は、Ａ／Ｄコンバータ１４０を介して、送信毎に超音波素子の出力する受信信号を受け取り、ビームフォーマメモリ１５０に格納された送信ごとの整相遅延データと受け取った受信信号から整相信号を生成する。このように、探触子１１０と、送信ビームフォーマ１２０と、Ｄ／Ａコンバータ１３０と、Ａ／Ｄコンバータ１４０と、ビームフォーマメモリ１５０と、受信ビームフォーマ１６０は、本超音波診断装置の送受信部を構成している。 The beam former memory 150 stores, via the A/D converter 140, phasing delay data for each reception focus with respect to a reception signal output from the ultrasonic element for each transmission. The reception beamformer 160 receives the reception signal output from the ultrasonic element for each transmission via the A/D converter 140, and based on the phasing delay data for each transmission stored in the beamformer memory 150 and the received signal received. Generates a phasing signal. As described above, the probe 110, the transmission beamformer 120, the D/A converter 130, the A/D converter 140, the beamformer memory 150, and the reception beamformer 160 are the transmission/reception unit of the ultrasonic diagnostic apparatus. Is composed of.

画像処理部１７０は、受信ビームフォーマ１６０で生成した整相信号を用いて超音波の画像データを生成し、先に撮像した超音波画像を含む断面画像群の中から心機能計測に最適な断面画像を選定する。そして、表示部１８０は、画像処理部１７０において生成された超音波画像、或いは選定された計測に最適な断面画像を表示する。 The image processing unit 170 generates ultrasonic image data using the phasing signal generated by the reception beamformer 160, and selects an optimal cross section for cardiac function measurement from the cross-sectional image group including the previously captured ultrasonic image. Select an image. Then, the display unit 180 displays the ultrasonic image generated by the image processing unit 170 or the cross-sectional image most suitable for the selected measurement.

[画像処理部]
図１に示した本実施例の超音波診断装置１００の画像処理部は、受信信号を用いて画像データを生成するデータ構成部と、データ構成部において生成された前記画像データを格納するデータメモリと、データメモリに格納された画像データを読み出し、計測に最適な断面画像を決定する計測断面決定部とを備え、上述のように送受信部の受信信号である整相信号からの画像化処理、及び心機能計測に最適な断面画像の選定処理を行う。 [Image processing part]
The image processing unit of the ultrasonic diagnostic apparatus 100 of the present embodiment shown in FIG. 1 includes a data configuration unit that generates image data using a received signal and a data memory that stores the image data generated by the data configuration unit. And the image data stored in the data memory, and a measurement cross-section determination unit that determines the optimum cross-sectional image for measurement, and as described above, an imaging process from the phased signal that is the reception signal of the transmission/reception unit, And the selection process of the optimal cross-sectional image for cardiac function measurement is performed.

すなわち、図１に示すように、画像処理部１７０は、受信ビームフォーマ１６０で生成した整相信号を用いて超音波画像を生成するデータ構成部１７１と、データ構成部において生成された画像データを格納するデータメモリ１７２と、過去に撮像した超音波画像を含む断面画像群の中から計測に最適な画像を選定する計測断面決定部１７３と、を備える。計測断面決定部１７３では、データメモリ１７２に格納された画像データのうち、１人の患者についての複数の断面画像を読み出す。また、データメモリ１７２から読み出す画像データは、２次元断面を撮像した動画データから拡張末期または収縮末期などの心拍タイミングで抽出した画像データでも良い。 That is, as shown in FIG. 1, the image processing unit 170 includes a data configuration unit 171 that generates an ultrasonic image using the phasing signal generated by the reception beamformer 160, and image data generated by the data configuration unit. A data memory 172 to be stored and a measurement section determining unit 173 that selects an image most suitable for measurement from a section image group including an ultrasonic image captured in the past are provided. The measurement slice determination unit 173 reads out a plurality of slice images of one patient from the image data stored in the data memory 172. Further, the image data read from the data memory 172 may be image data extracted from the moving image data of the two-dimensional cross section at heartbeat timing such as end diastole or end systole.

図２Ａは、本実施例の計測断面決定部１７３の一構成例を示す機能ブロック図である。同図に示すように、本実施例の計測断面決定部１７３は、データメモリ１７２に格納された画像データから読み出した複数の断面画像に対して、解剖学的な情報を抽出する解剖学的情報抽出部２０１と、解剖学的な情報を用いて、比較対象群を生成する比較対象群生成部２０２と、比較対象群ごとに比較処理を行う比較部２０３と、比較部が算出した断面画像間の関係性を用いて、計測に最適な断面画像を決定する比較結果判定部２０４と、を備える。 FIG. 2A is a functional block diagram showing a configuration example of the measurement cross section determining unit 173 of the present embodiment. As shown in the figure, the measurement section determining unit 173 of the present embodiment extracts anatomical information from a plurality of section images read from the image data stored in the data memory 172. Between the extraction unit 201, the comparison target group generation unit 202 that generates the comparison target group using the anatomical information, the comparison unit 203 that performs the comparison process for each comparison target group, and the cross-sectional image calculated by the comparison unit. And a comparison result determining unit 204 that determines the optimum cross-sectional image for measurement by using the relationship of 1.

解剖学的情報抽出部２０１は、データメモリ１７２より読み出した画像データである複数枚の断面画像に対して、画像処理や機械学習により、断面画像に描出されている解剖学的な情報を抽出する機能ブロックである。解剖学的な情報とは、上述した通り、生体内または臓器内における位置の推定を可能とする生体または臓器の構造の情報である。 The anatomical information extraction unit 201 extracts the anatomical information drawn on the cross-sectional image by performing image processing or machine learning on the plurality of cross-sectional images that are the image data read from the data memory 172. It is a functional block. The anatomical information is, as described above, information on the structure of a living body or an organ that enables the position estimation in the living body or the organ.

比較対象群生成部２０２は、解剖学的な情報に基づき、複数の断面画像を複数個の群に分けたのち、複数個の群に属する断面画像における総当たりの組み合わせとして比較対象群を生成する。すなわち、比較対象群生成部２０２は、データメモリ１７２より読み出した複数枚の画像に対して、解剖学的情報抽出部２０１において抽出した解剖学的な情報を用いて、どの断面画像がどのviewを撮像したものであり、かつ計測に最適な断面画像であるかを決定するために行う比較において、最適な組み合わせとなる断面画像の比較対象群を生成する機能ブロックである。 The comparison target group generation unit 202 divides the plurality of cross-sectional images into a plurality of groups based on the anatomical information, and then generates the comparison target group as a brute force combination of the cross-sectional images belonging to the plurality of groups. .. That is, the comparison target group generation unit 202 uses the anatomical information extracted by the anatomical information extraction unit 201 for a plurality of images read from the data memory 172 to determine which cross-sectional image represents which view. It is a functional block that generates a comparison target group of cross-sectional images that is an optimum combination in a comparison performed to determine whether the cross-sectional image is captured and is optimum for measurement.

比較部２０３は、比較対象群生成部２０２において決定した断面画像の比較対象群ごとに、適切な比較処理を行う機能ブロックである。 The comparison unit 203 is a functional block that performs appropriate comparison processing for each comparison target group of cross-sectional images determined by the comparison target group generation unit 202.

比較結果判定部２０４は、比較部２０３の比較処理で算出した断面画像間の関係性を用いて、心機能計測に最適な断面画像を選定する機能ブロックである。 The comparison result determination unit 204 is a functional block that uses the relationship between the cross-sectional images calculated by the comparison processing of the comparison unit 203 to select the optimum cross-sectional image for cardiac function measurement.

図２Ｂは、本実施例の画像処理部１７０のハードウェア構成例を示すブロック図である。同図に示すように、画像処理部１７０は、中央処理部（ＣＰＵ）２０５、不揮発性メモリ（ＲＯＭ）２０６、揮発性メモリ（ＲＡＭ）２０７、記憶部２０８、および表示制御部２０９で構成され、これらはデータバス２１０によって相互に接続されている。表示制御部２０９は表示部１８０に接続され表示部１８０の表示を制御し、例えばＣＰＵ２０５の処理で得られた最適な断面画像などの画像データを表示部１８０に表示するよう制御する。同図のＲＡＭ２０７、記憶部２０８などはデータメモリ１７２に対応し、ＣＰＵ２０５、表示制御部２０９はデータ構成部１７１と、計測断面決定部１７３に対応している。画像生成部であるデータ構成部１７１は、専用のハードウェア回路で構成することもできる。 FIG. 2B is a block diagram showing a hardware configuration example of the image processing unit 170 of this embodiment. As shown in the figure, the image processing unit 170 includes a central processing unit (CPU) 205, a non-volatile memory (ROM) 206, a volatile memory (RAM) 207, a storage unit 208, and a display control unit 209. These are interconnected by a data bus 210. The display control unit 209 is connected to the display unit 180 and controls the display of the display unit 180, for example, controls the display unit 180 to display image data such as an optimum cross-sectional image obtained by the processing of the CPU 205. The RAM 207, the storage unit 208, and the like in the figure correspond to the data memory 172, and the CPU 205 and the display control unit 209 correspond to the data configuration unit 171 and the measurement section determination unit 173. The data configuration unit 171 that is an image generation unit can also be configured by a dedicated hardware circuit.

ＲＯＭ２０６およびＲＡＭ２０７の少なくとも一方には、画像処理部１７０の計測断面決定部１７３の各種機能ブロックの動作を実現するために必要な、ＣＰＵ２０５の演算処理用のプログラムと各種データが予め格納されている。ＣＰＵ２０５が、ＲＯＭ２０６およびＲＡＭ２０７の少なくとも一方に予め格納されたプログラムを実行することによって、画像処理部１７０の計測断面決定部１７３の各種処理が実現される。なお、ＣＰＵ２０５が実行するプログラムは、例えば、記憶部２０８や、図示を省略した光ディスクなどの記憶媒体に格納しておき、そのプログラムを読み込んでＲＡＭ２０７に格納する様にしてもよい。 At least one of the ROM 206 and the RAM 207 stores in advance a program for arithmetic processing of the CPU 205 and various data necessary for realizing operations of various functional blocks of the measurement section determining unit 173 of the image processing unit 170. The CPU 205 executes a program stored in advance in at least one of the ROM 206 and the RAM 207, so that various processes of the measurement section determining unit 173 of the image processing unit 170 are realized. The program executed by the CPU 205 may be stored in, for example, the storage unit 208 or a storage medium such as an optical disk (not shown), and the program may be read and stored in the RAM 207.

次に、本実施例の計測断面決定部１７３の各部による、心機能計測に最適な断面画像選定の流れを説明する。図３は、本実施例の計測に向けた画像選定処理の処理フローである。画像選定処理は、操作者が図示を省略した入力部を使って、データメモリ１７２に格納されている画像の中から処理の対象画像群を決定し、選定開始の指示を行うことにより、開始される。また、選定開始の指示は、計測開始の指示であっても良い。 Next, the flow of selecting an optimum cross-sectional image for cardiac function measurement by each unit of the measurement cross-section determining unit 173 of the present embodiment will be described. FIG. 3 is a processing flow of the image selection processing for the measurement of this embodiment. The image selection process is started by the operator using an input unit (not shown) to determine a group of images to be processed from the images stored in the data memory 172 and give an instruction to start selection. It The selection start instruction may be a measurement start instruction.

まず、データメモリ１７２より読み出された、操作者によりあらかじめ指定された１人の患者における画像群である、処理の対象画像群に対して、解剖学的情報抽出部２０１により、解剖学的な情報を抽出する（ステップＳ３０１）。上述の通り、解剖学的な情報とは、生体内または臓器内における位置の推定を可能とする生体または臓器の構造の情報を意味する。処理の対象画像群は、１人の患者における１回の検査で撮像された画像群でもよいし、過去数回にわたる検査で撮像された画像群でもよい。 First, the anatomical information extraction unit 201 performs anatomical analysis on a target image group to be processed, which is an image group in one patient designated in advance by the operator and read from the data memory 172. Information is extracted (step S301). As described above, the anatomical information means information on the structure of a living body or an organ that enables the position estimation in the living body or the organ. The target image group to be processed may be an image group imaged by one examination of one patient, or an image group imaged by examinations performed several times in the past.

続いて、比較対象群生成部２０２により、抽出された情報を用いて、比較を行うべきペアである断面画像の比較対象群を生成する（ステップＳ３０２）。さらに、比較部２０３により、比較を行うべきペアである断面画像の比較対象群に対して、ペアごとに比較を行う（ステップＳ３０３）。また、比較結果判定部２０４により、比較した結果を用いて、どの断面画像がどのviewを撮像したものであり、かつ計測に最適な画像であるかを決定する（ステップＳ３０４）。最後に、決定した画像を計測に用いる断面画像である旨を、表示制御部２０９の制御により表示部１８０に表示し終了する。 Subsequently, the comparison target group generation unit 202 uses the extracted information to generate a comparison target group of cross-sectional images that is a pair to be compared (step S302). Further, the comparison unit 203 performs comparison for each pair with respect to a comparison target group of cross-sectional images that is a pair to be compared (step S303). Further, the comparison result determination unit 204 uses the comparison result to determine which cross-sectional image captured which view and which is the most suitable image for measurement (step S304). Finally, the fact that the determined image is a cross-sectional image to be used for measurement is displayed on the display unit 180 under the control of the display control unit 209, and the process ends.

[解剖学的情報抽出部]
次に、上記ステップＳ３０１の、解剖学的情報抽出部２０１による解剖学的な情報の抽出の流れを説明する。本実施例においては、探触子１１０により心臓の短軸像を撮像した２次元断面画像を用いて説明する。 [Anatomical information extraction unit]
Next, the flow of anatomical information extraction by the anatomical information extraction unit 201 in step S301 will be described. This embodiment will be described using a two-dimensional cross-sectional image obtained by capturing a short-axis image of the heart with the probe 110.

図４は心臓の構造などを説明するための模式図である。図４の（ａ）に心臓の構造のイラストを、図４の（ｂ）に心臓を横から見たイラストを示す。心臓には、左心室４０１、左心房４０２、右心室４０３、右心房４０４の4つの部屋があり、それぞれの室と房の間には弁がある。心臓の短軸像は、左心室と右心室を含む断面となるよう探触子１１０を体表から接地させることで、撮像可能である。診断に用いられる一般的な短軸像は３種類ある。左心室と左心房を分ける僧帽弁４０５を描出した断面４０７であるMV（Mitral Valve） viewと、僧帽弁の開閉に関与している筋肉である乳頭筋４０６を描出した断面４０８であるPM（Papillary muscle） viewと、心臓の先端部分である心尖付近の左心室を描出した断面４０９であるAP（Apical） viewと、である。それぞれの断面は、体表に接地した探触子１１０の心臓に対する角度を変化させることで取得する。そのため、探触子１１０と左心室４０１までの距離が各viewによって変化する。なお、これら右心室４０３、僧房弁４０５、乳頭筋４０６など、更に図示を省略した肺、すい臓、肝臓等の後方の組織の画像は、後で説明する断面画像に抽出されている心腔内および周辺の構造物の特徴となる。 FIG. 4 is a schematic diagram for explaining the structure of the heart and the like. FIG. 4A shows an illustration of the structure of the heart, and FIG. 4B shows an illustration of the heart viewed from the side. The heart has four chambers, a left ventricle 401, a left atrium 402, a right ventricle 403, and a right atrium 404, and a valve is provided between each chamber. A short-axis image of the heart can be captured by grounding the probe 110 from the body surface so that the cross section includes the left ventricle and the right ventricle. There are three types of general short-axis images used for diagnosis. A MV (Mitral Valve) view, which is a cross section 407 that depicts the mitral valve 405 that separates the left ventricle from the left atrium, and a cross section 408 that depicts the papillary muscle 406 that is a muscle involved in opening and closing the mitral valve. (Papillary muscle) view and AP (Apical) view that is a cross-section 409 depicting the left ventricle in the vicinity of the apex, which is the tip of the heart. Each cross section is acquired by changing the angle of the probe 110 grounded on the body surface with respect to the heart. Therefore, the distance between the probe 110 and the left ventricle 401 changes depending on each view. The images of the right ventricle 403, the mitral valve 405, the papillary muscle 406, and the like, which are not shown in the figure, such as the lung, pancreas, and liver, are posterior tissues. It is a feature of surrounding structures.

図５は、各viewにおける理想的な断面画像を模擬したイラストを示す図である。探触子１１０から左心室４０１までの距離が遠い順に、MV view、PM view、AP viewとなる。この探触子１１０から左心室４０１までの距離を参考にすることで、断面画像からどのviewを撮像したのか推測することが可能である。以下、本明細書において探触子１１０から左心室４０１の中心までの距離を「心腔の高さ」と称する。また、図５に示すように、各viewは異なる心臓構造の断面図であることから、左心室４０１の内部および周辺で描出される構造である模様が異なる。これらの構造の違いからも、どのviewを撮像したのか推測することが可能である。以下、左心室４０１の内部および周辺において描出されている構造のことを「心腔内および周辺の構造物」と称する。 FIG. 5 is a diagram showing an illustration simulating an ideal cross-sectional image in each view. MV view, PM view, and AP view are arranged in the order of increasing distance from the probe 110 to the left ventricle 401. By referring to the distance from the probe 110 to the left ventricle 401, it is possible to infer which view was captured from the cross-sectional image. Hereinafter, in the present specification, the distance from the probe 110 to the center of the left ventricle 401 is referred to as “heart chamber height”. In addition, as shown in FIG. 5, each view is a cross-sectional view of a different heart structure, and therefore the pattern of the structure drawn inside and around the left ventricle 401 is different. It is possible to infer which view was captured from the difference in these structures. Hereinafter, the structure depicted inside and around the left ventricle 401 is referred to as “internal and peripheral structure”.

解剖学的情報抽出部２０１では、心腔の高さや心腔内および周辺の構造物のように、断面画像から直接収集できる心臓の解剖学的な情報を抽出する。なお、撮像した画像のviewや心機能計測に用いたい画像のviewとして、上記３種類だけでなく僧帽弁４０５と乳頭筋４０６を結ぶ腱索を描出したCT（Chordae Tendineae） viewなど４種類以上であってもよい。また、上記３種類ではなく、MV viewとPM viewとCT viewの３種類などであってもよい。また、MV viewとAP viewの２種類などであってもよい。また、断面画像を選定する目的は、心機能計測に限らなくてもよい。 The anatomical information extraction unit 201 extracts anatomical information of the heart that can be directly collected from the cross-sectional image, such as the height of the heart chamber and structures inside and around the heart chamber. As the view of the imaged image and the view of the image to be used for cardiac function measurement, not only the above three types, but also four or more types such as a CT (Chordae Tendineae) view that depicts the chordae that connect the mitral valve 405 and the papillary muscle 406. May be Further, instead of the above three types, three types such as MV view, PM view, and CT view may be used. Also, two types such as MV view and AP view may be used. Further, the purpose of selecting the cross-sectional image is not limited to the cardiac function measurement.

心腔の高さの計測方法は、たとえば、テンプレートマッチングによる心腔位置の検出による方法などが考えられる。また、心腔内および周辺の構造物を定量化する方法は、機械学習方式の１つであるDeep Learning手法による３種類のviewの識別の結果や、上記識別における最終層の出力値を用いる方法などが考えられる。 As a method of measuring the height of the heart chamber, for example, a method of detecting the heart chamber position by template matching can be considered. In addition, the method of quantifying the structures in and around the heart chamber is a method of using the results of identification of three types of views by the deep learning method, which is one of the machine learning methods, and the output value of the final layer in the above identification. And so on.

[比較対象群生成部]
続いて、上記ステップＳ３０２の、比較対象群生成部２０２による比較のペアとする断面画像の比較対象群生成の流れを説明する。データメモリ１７２より読み出した複数枚の画像には、複数のviewが１枚以上、多くの場合は複数枚ずつ含まれている。心機能計測に用いる画像は各viewの画像として最もふさわしい画像であることが望ましい。データメモリ１７２より読み出した複数枚の画像群から、各viewの画像として最もふさわしい画像を１枚ずつ選定する手法として、画像の取得位置が解剖学的に隣り合う画像同士、または同一viewと考えられる画像同士でどちらがふさわしいかの比較を行う。これは、たとえば、MV viewとAP viewの画像を比較し、どちらがPM viewらしいかを比較することや、AP viewと考えられる画像同士でどちらがPM viewとして最もふさわしいかの比較など、効果的でない比較を避けることを目的としている。そのため、比較対象群生成部２０２は、断面画像の取得位置が解剖学的に隣り合う画像同士、または同一viewと考えられる画像同士だろう、という推定に基づいて比較のペアとする比較対象群を生成する。 [Comparison group generation unit]
Next, the flow of generation of the comparison target group of the cross-sectional images to be compared by the comparison target group generation unit 202 in step S302 will be described. The plurality of images read from the data memory 172 include one or more views, and in many cases, a plurality of views. It is desirable that the image used for cardiac function measurement is the most suitable image for each view. As a method of selecting one image that is most suitable as an image of each view from a plurality of image groups read out from the data memory 172, it is considered that images are acquired at anatomically adjacent images or the same view. Compare images to see which one is more appropriate. This is an ineffective comparison, for example, comparing images in MV view and AP view, comparing which seems to be PM view, and comparing which images are considered AP view which is most suitable as PM view. The aim is to avoid. Therefore, the comparison target group generation unit 202 determines the comparison target group as a comparison pair based on the estimation that the acquisition positions of the cross-sectional images are images that are anatomically adjacent to each other or images that are considered to be the same view. To generate.

画像の取得位置が解剖学的に隣り合う画像同士、または同一viewと考えられる画像同士だろう、という推定の実施方法について、図６および図７を用いて説明する。
＜心腔の高さのみを用いる場合＞
図６を用いて、解剖学的な情報として心腔の高さのみを用いる場合について説明する。同図では、データメモリ１７２より読み出した複数枚の画像は、１０枚であるとし、１から１０までの番号を付与している。図６に示すように、データメモリ１７２より読み出した複数枚の画像に対して、解剖学的情報抽出部２０１において算出した心腔の高さ情報を、複数枚の画像の中で最大値が１．０、最小値が０．０となる比率（心腔の高さの比率）に換算する。その後、換算した比率に基づき、区分を与える。たとえば、処理の対象である複数枚の画像の中に、AP viewおよびPM viewおよびMV viewが含まれている場合、各viewの解剖学的な位置関係を考慮すると、心腔の高さの比率が低い（浅い位置に心腔がある）画像が、AP viewである可能性が高くなる。反対に、心腔の高さの比率が高い（深い位置に心腔がある）画像が、PM viewまたはMV viewである可能性が高くなる。さらに、心腔の高さの比率が中程度である画像が、AP viewまたはPM viewである可能性が高くなる。よって、心腔の高さの比率が０．０から０．２となる画像群Layer A６０１からは、AP viewとして最適な画像を選定することを考え、Layer A６０１をAP view選定のための画像群とする。同様に、心腔の高さの比率が０．２から０．３５となる画像群であるLayer B６０２からは、PM viewとして最適な画像を選定することを考え、Layer B６０２をPM view選定のための画像群とする。同様に、心腔の高さの比率が０．３５から１．０となる画像群であるLayer C６０３からは、MV viewとして最適な画像を選定することを考え、Layer C６０３をMV view選定のための画像群とする。上述のAP view選定のための画像群と、PM view選定のための画像群と、MV view選定のための画像群と、が生成する比較対象群となる。なお、画像群をわける心腔の高さの比率の数値は、大規模に画像を収集し統計的に決定してもよい。
＜心腔の高さと心腔内および周辺の構造物の特徴を用いる場合＞
図７を用いて、解剖学的な情報として、心腔の高さと心腔内および周辺の構造物の特徴を用いる場合について説明する。同図では、データメモリ１７２より読み出した複数枚の画像は、１０枚であるとし、１から１０までの番号を付与している。図７に示すように、データメモリ１７２より読み出した複数枚の画像に対して、解剖学的情報抽出部２０１において算出した心腔の高さ情報を、複数枚の画像の中で最大値が１．０、最小値が０．０となる比率（心腔の高さの比率）に換算する。換算した比率に基づき、区分を与える。心腔の高さの比率を、５つの層に分け、その層に属する断面画像の識別結果から、各viewの選定のための断面画像群を生成する。心腔の高さの比率の５つの層は、図７に示すように、心腔の高さの比率が０．０から０．２となる画像群をLayer D７０１、心腔の高さの比率が０．２から０．３５となる画像群をLayer E７０２、心腔の高さの比率が０．３５から０．７５となる画像群をLayer F７０３、心腔の高さの比率が０．７５から０．９となる画像群をLayer G７０４、心腔の高さの比率が０．９から１．０となる画像群をLayer H７０５とした。なお、心腔の高さの比率を分ける層の数は５つでなく他の数であっても良い。 A method of performing the estimation that the image acquisition positions will be images anatomically adjacent to each other or images considered to be the same view will be described with reference to FIGS. 6 and 7.
<When only the height of the heart chamber is used>
A case where only the height of the heart chamber is used as the anatomical information will be described with reference to FIG. In the figure, the plurality of images read from the data memory 172 is assumed to be 10, and numbers 1 to 10 are given. As shown in FIG. 6, for the plurality of images read from the data memory 172, the heart chamber height information calculated by the anatomical information extraction unit 201 has the maximum value of 1 among the plurality of images. .0 and the minimum value is 0.0 (rate of heart chamber height). Then, based on the converted ratio, the classification is given. For example, when AP views, PM views, and MV views are included in the multiple images to be processed, considering the anatomical positional relationship of each view, the ratio of the height of the heart chamber is calculated. An image with a low value (having a heart chamber in a shallow position) is likely to be an AP view. On the contrary, an image in which the ratio of the height of the heart chamber is high (the heart chamber is located at a deep position) is highly likely to be the PM view or the MV view. Further, an image having a medium heart chamber height ratio is highly likely to be an AP view or a PM view. Therefore, considering the selection of the optimum image as the AP view from the image group Layer A601 in which the ratio of the height of the heart chamber is 0.0 to 0.2, the layer A601 is used as the image group for selecting the AP view. And Similarly, from the Layer B 602 which is an image group in which the ratio of the height of the heart chamber is 0.2 to 0.35, it is considered to select the optimal image as the PM view, and the Layer B 602 is selected for the PM view selection. Image group. Similarly, from Layer C603, which is an image group in which the ratio of the height of the heart chamber is 0.35 to 1.0, it is considered to select the optimum image as the MV view, and Layer C603 is selected for the MV view selection. Image group. It is a comparison target group generated by the image group for AP view selection, the image group for PM view selection, and the image group for MV view selection. The numerical value of the ratio of the heights of the heart chambers that divide the image group may be statistically determined by collecting images on a large scale.
<Using the height of the heart chamber and the features of the structures inside and around the heart chamber>
A case where the height of the heart chamber and the features of structures inside and around the heart chamber are used as anatomical information will be described with reference to FIG. 7. In the figure, the plurality of images read from the data memory 172 is assumed to be 10, and numbers 1 to 10 are given. As shown in FIG. 7, for the plurality of images read from the data memory 172, the heart chamber height information calculated by the anatomical information extraction unit 201 has the maximum value of 1 among the plurality of images. .0 and the minimum value is 0.0 (rate of heart chamber height). Classification is given based on the converted ratio. The ratio of the height of the heart chamber is divided into five layers, and a sectional image group for selecting each view is generated from the identification result of the sectional images belonging to the layers. As shown in FIG. 7, the five layers of the ratio of the height of the heart chamber are Layer D701, and the ratio of the height of the heart chamber is the image group in which the ratio of the height of the heart chamber is 0.0 to 0.2. The image group in which the ratio is 0.2 to 0.35 is Layer E702, the image ratio in which the height of the heart chamber is 0.35 to 0.75 is Layer F703, and the ratio of the height of the heart chamber is 0.75. The image group having a ratio of 0.9 to 0.9 is Layer G704, and the image group having a heart chamber height ratio of 0.9 to 1.0 is Layer H705. It should be noted that the number of layers that divide the ratio of the height of the heart chamber is not limited to five and may be another number.

撮像の際には、体表に接地した探触子１１０の心臓に対する角度を変化させることで、３種類のviewを取得するため、同程度の心腔の高さの比率である画像は、同種類の断面を撮像しようとした可能性が高い。つまり、心腔の高さの比率ごとに、各断面画像の種類を推測した結果を用いて、その付近の心腔の高さである断面画像の種類を推測することが可能である。各断面の種類の推測は、Deep Learningなどの機械学習による２種類の断面識別により行う。機械学習では、断面画像を学習させることで、心腔内および周辺の構造物の特徴を用いているとみなすことができる。この心腔内および周辺の構造物の特徴としては、上述の通り、右心室、僧房弁、乳頭筋や、更に肺、すい臓、肝臓等の後方の組織などの構造物の特徴がある。なお、心腔の高さの比率による区分けにより、各画像の候補は２種類に絞ることが可能であると考えたため、機械学習による２種類の断面識別を行うが、３種類の断面識別を使用してもよい。 At the time of imaging, three types of views are acquired by changing the angle of the probe 110 grounded on the body surface with respect to the heart. Therefore, images having similar heart chamber height ratios are the same. There is a high possibility of trying to image different types of cross sections. That is, it is possible to estimate the type of cross-sectional image, which is the height of the heart chamber in the vicinity thereof, by using the result of estimating the type of each cross-sectional image for each ratio of the height of the heart chamber. The type of each cross section is estimated by two types of cross section identification by machine learning such as deep learning. In machine learning, by learning a cross-sectional image, it can be considered that the features of structures inside and around the heart chamber are used. As described above, the features of the structures in and around the heart chamber include the features of the right ventricle, mitral valve, papillary muscle, and tissues such as posterior tissues such as lungs, pancreas, and liver. In addition, since it was thought that the candidates for each image could be narrowed down to two types by the division based on the ratio of the height of the heart chamber, two types of cross-section identification were performed by machine learning, but three types of cross-section identification were used. You may.

続いて、図８を用いて、心腔の高さの比率による区分けと、心腔内および周辺の構造物の特徴を用いた比較のペアとする群の生成方法を説明する。図８のテーブル８０１の示すように、Layer D７０１に属する画像群は、高確率でAP viewであると考え、すべてAP viewである（１００％）とする。また、Layer E７０２に属する画像群は、機械学習による識別において、AP viewまたはPM viewのどちらであるかを識別し、各枚数を保持する。同様にして、Layer F７０３およびLayer G７０４およびLayer H７０５は、機械学習による識別において、PM viewまたはMV viewのどちらであるかを識別し、各枚数を保持する。保持しておいた枚数を各Layerに属する画像の枚数で除算をし、存在確率８０２として算出する。各Layerおよび各viewにおいて、存在確率８０２が３０％を超える場合、そのviewは存在しうると考えることにする。また、３０％未満のviewにおいては、存在しえないと考えることにする。 Next, with reference to FIG. 8, a method for generating a group as a pair for division based on the ratio of the height of the heart chamber and a feature of the structures inside and around the heart chamber will be described. As shown in the table 801 in FIG. 8, it is assumed that the image group belonging to the Layer D 701 has a high probability of being an AP view, and all the images are AP views (100%). Further, the image group belonging to the Layer E 702 identifies whether it is an AP view or a PM view in the identification by machine learning, and holds each number. Similarly, the Layer F 703, Layer G 704, and Layer H 705 identify whether the view is a PM view or MV view in the identification by machine learning, and hold each number. The retained number is divided by the number of images belonging to each layer to calculate the existence probability 802. In each layer and each view, if the existence probability 802 exceeds 30%, it is considered that the view can exist. In addition, it is considered that a view of less than 30% cannot exist.

図８のテーブル８０１に示した具体例で説明すると、Layer D７０１はAP viewである画像の存在確率８０２が１００％であるので、AP view選定のための画像群であるとする。Layer E７０２は、AP viewが２０％、PM viewが８０％であるので、PM viewのみが存在すると考え、PM view選定のための画像群であるとする。Layer F７０３は、PM viewである画像が１００％であるので、PM view選定のための画像群であるとする。Layer G７０４は、PM viewが５０％、MV viewが５０％であるので、PM viewおよびMV viewが存在すると考え、PM view選定のための画像群かつMV view選定のための画像群であるとする。Layer H７０５は、PM viewが２０％、MV viewが８０％であるので、MV viewのみが存在すると考え、MV view選定のための画像群であるとする。つまり、Layer D７０１に含まれる画像群がAP view選定のための画像群となり、Layer E７０２およびLayer F７０３およびLayer G７０４に含まれる画像群がPM view選定のための画像群となり、Layer G７０４およびLayer H７０５に含まれる画像群がMV view選定のための画像群となる。 Explaining with a specific example shown in the table 801, the layer D 701 is an image group for AP view selection because the existence probability 802 of images that are AP views is 100%. Since the AP view is 20% and the PM view is 80%, Layer E 702 is considered to be an image group for PM view selection, considering that only PM view exists. Layer F 703 is a group of images for PM view selection because 100% of images are PM views. Since the PM view is 50% and the MV view is 50%, the Layer G 704 is considered to be the PM view and the MV view, and is assumed to be an image group for selecting the PM view and an image group for selecting the MV view. .. Since the PM view is 20% and the MV view is 80%, the Layer H 705 is considered to be an image group for selecting the MV view, considering that only the MV view exists. That is, the image group included in Layer D701 becomes an image group for AP view selection, the image group included in Layer E702 and Layer F703 and Layer G704 becomes an image group for PM view selection, and Layer G704 and Layer H705 become The included image group becomes the image group for selecting the MV view.

なお、比較対象群の生成方法は上記に限らない。たとえば、存在確率８０２の閾値を３０％ではなく、１０％などとしてもよいし、存在確率の算出方法をデータメモリ１７０から読み出した断面画像の枚数から算出してもよい。 The method of generating the comparison target group is not limited to the above. For example, the threshold of the existence probability 802 may be set to 10% instead of 30%, or the existence probability may be calculated from the number of cross-sectional images read from the data memory 170.

[比較部]
計測断面決定部１７３の比較部２０３は、比較対象群生成部２０２において決定した断面画像の比較対象群ごとに、適切な比較処理を行う。本実施例において比較対象群のなかでは、総当たりの比較となるようペアを作成する。比較処理では、２枚の断面画像において、それぞれDeep Learningなどの機械学習により抽出した画像の特徴量を用いる。画像の特徴量に対して、pointwise法やpairwise法、listwise法などを用いて算出した２つの画像の違いの定量値から、２つの断面画像間の関係性を学習させる、ランキング学習により比較器を生成する。たとえば、PM viewとMV viewの断面画像間の関係性を学習することで生成された比較器を、PM viewかMV viewのどちらかである２枚の画像に適用することで、２枚のうちどちらがPM viewらしいか、あるいはMV viewらしいかを算出可能となる。 [Comparison part]
The comparison unit 203 of the measurement cross section determination unit 173 performs appropriate comparison processing for each comparison target group of the cross sectional image determined by the comparison target group generation unit 202. In the present example, a pair is created in the comparison target group so as to make a brute force comparison. In the comparison process, the feature amounts of the images extracted by machine learning such as deep learning are used for the two cross-sectional images. A comparator is used by ranking learning that learns the relationship between two cross-sectional images from the quantitative value of the difference between the two images calculated using the pointwise method, pairwise method, listwise method, etc. for the image feature amount. To generate. For example, by applying the comparator generated by learning the relationship between the cross-sectional images of PM view and MV view to two images that are either PM view or MV view, It is possible to calculate which is the PM view or the MV view.

隣り合うviewとして撮像した画像は、各viewとして理想的な位置ではなく、各view間を撮像してしまう場合もある。つまり、MV viewとして撮像したつもりであるが、理想的なMV viewの位置よりPM view寄りの位置で撮像していた場合、PM viewに似たMV viewが取得される。このように、MV view選定のための画像群には、PM view寄りの位置である画像も含まれる可能性がある。反対に、viewの位置が隣り合わない場合、つまりMV viewとして撮像したつもりがAP viewとPM viewの中間の位置を撮像したような画像となっている場合は、生じにくいと考えられるため、MV view選定のための画像群に対しては、AP viewまたはMV viewかどうかを判定する比較は必要ないと考えられる。以上より、AP view選定のための画像群に対しては、AP viewまたはPM viewらしさを判定する比較を行い、MV view選定のための画像群に対しては、PM viewまたはMV viewらしさを判定する比較を行う。PM viewに関しては、AP view寄りの位置での撮像およびMV view寄りの位置での撮像の両方が考えられるため、AP viewまたはPM viewらしさを判定する比較およびPM viewまたはMV viewらしさを判定する比較の両方を行う。 Images captured as adjacent views may not be ideal positions for each view and may be captured between the views. That is, although the image is intended to be captured as an MV view, if the image is captured at a position closer to the PM view than the ideal MV view position, an MV view similar to the PM view is acquired. As described above, the image group for selecting the MV view may include an image at a position closer to the PM view. On the contrary, if the positions of the views are not adjacent to each other, that is, if the image is intended to be captured as the MV view but the image is captured at an intermediate position between the AP view and the PM view, it is considered unlikely to occur, and therefore the MV It is conceivable that it is not necessary to perform a comparison to determine whether an image is an AP view or an MV view for an image group for view selection. From the above, a comparison is performed to determine the AP view or PM view likeness for an image group for AP view selection, and a PM view or MV view likeness is determined for an image group for MV view selection. Make a comparison. Regarding the PM view, both imaging at a position close to the AP view and imaging at a position close to the MV view can be considered. Therefore, a comparison that determines the likelihood of the AP view or PM view and a comparison that determines the likelihood of the PM view or MV view Do both.

比較した結果は、各画像において画像群の中でPMらしいと判定された回数を保持する。たとえば、３枚の画像が含まれる画像群において、AP viewまたはPM viewらしさを判定する比較を行った場合、ある１枚は他の２枚に対してよりPM viewらしいと判定されればスコア２、となり、ある１枚は他の２枚に対してよりPM viewらしくない（AP viewらしい）と判定されればスコア０、ある１枚は他の１枚からはよりPM viewらしいと判定され、また他の１枚からはPM viewらしくない（AP viewらしい）と判定されればスコア１となる。比較部２０３は、このようにして得られたスコアを各画像ペアの関係性、すなわち断面画像間の関係性として出力する。 The comparison result holds the number of times each image is determined to be PM in the image group. For example, in a group of images including three images, if a comparison is made to determine the likelihood of AP view or PM view, if one image is determined to be more PM view than the other two, a score of 2 is obtained. , If one image is judged to be less likely to be a PM view (like AP view) than the other two images, a score is 0, and one image is determined to be more PM view from another one, Also, if it is determined that the other one does not seem to be PM view (apparently AP view), the score becomes 1. The comparison unit 203 outputs the score thus obtained as the relationship between the image pairs, that is, the relationship between the cross-sectional images.

[比較結果判定部]
比較結果判定部２０４は、比較部２０３において実施された比較結果である断面画像間の関係性を用いて、比較対象群生成部２０２にて決定した比較対象群によって異なる、計測に最適な断面画像を決定するための判定規則に基づき、計測に最適な断面画像を決定する。すなわち、比較結果判定部２０４は、比較部２０３で算出したスコアである断面画像間の関係性を用いて判定することにより、心機能計測に最適な画像を選定する。 [Comparison result judgment part]
The comparison result determination unit 204 uses the relationship between the cross-sectional images that is the comparison result performed by the comparison unit 203, and the cross-sectional image that is different for each comparison target group determined by the comparison target group generation unit 202 and is optimal for measurement. Based on the determination rule for determining, the optimum cross-sectional image for measurement is determined. That is, the comparison result determination unit 204 selects an image most suitable for cardiac function measurement by making a determination using the relationship between the cross-sectional images that is the score calculated by the comparison unit 203.

図９に各画像ペアの関係性を用いた心機能計測に最適な画像の選定の一例を示す。まず、AP view選定のための画像A、画像B、画像Cからなる比較対象群である画像群９０１からは、最もAP viewらしい１枚を選定する。具体的には、判定規則として、PM viewらしいと判定されたスコアが最も低い（０）の画像を、計測に最適な画像として選定する。つまり、本例では画像Aを選定する。 FIG. 9 shows an example of selection of an image most suitable for cardiac function measurement using the relationship of each image pair. First, from the image group 901 which is the comparison target group including the image A, the image B, and the image C for AP view selection, one image that seems to be the AP view is selected. Specifically, as the determination rule, the image with the lowest score (0) that is determined to be likely to be the PM view is selected as the optimal image for measurement. That is, the image A is selected in this example.

続いて、MV view選定のための画像E、画像F、画像Gからなる比較対象群である画像群９０３からは、最もMV viewらしい１枚を選定する。具体的には、判定規則として、PM viewらしいと判定されたスコアが最も低い（０）の画像を選定する。つまり、本例では画像Fを選定する。 Subsequently, from the image group 903, which is a comparison target group including the image E, the image F, and the image G for selecting the MV view, one image that seems to be the MV view is selected. Specifically, as the determination rule, the image having the lowest score (0) determined to be likely to be the PM view is selected. That is, in this example, the image F is selected.

最後に、PM view選定のための画像D、画像E、画像Fからなる比較対象群である画像群９０２からは、最もPM viewらしい１枚を選定する。具体的には、判定規則として、２種類の比較においてPM viewらしいと判定されたスコアを合算し、最も高い値であった画像を選定する。この際、最も高い値であった画像が１枚であればその画像を選定する。本例では、最も高い値（４）であった画像が一枚であり、画像Dを選定する。 Finally, from the image group 902 which is the comparison target group including the image D, the image E, and the image F for PM view selection, one image that is most likely to be a PM view is selected. Specifically, as the determination rule, the scores determined to be likely to be PM views in the two types of comparison are summed, and the image having the highest value is selected. At this time, if there is one image having the highest value, that image is selected. In this example, the image having the highest value (4) is one, and the image D is selected.

図１０に、合算したスコアが同点である２枚が存在した場合の画像選定フローの一例を示す。まず、PM view選定のための画像群９０２に含まれる層にLayer E７０２が存在するか確認する（ステップＳ１００１）。つまり、Layer F７０３またはLayer G７０４またはLayer H７０５により構成されているか否かを確認する。含まれていない場合、PM viewまたはMV viewらしさを判定する比較におけるスコアが高い方の画像を選定する（ステップＳ１００２）。次に、PM view選定のための画像群９０２に含まれる層がLayer E７０２のみであるか確認する（ステップＳ１００３）。Layer E７０２のみである場合、AP viewまたはPM viewらしさを判定する比較におけるスコアが高い方の画像を選定する（ステップＳ１００４）。最後に、ステップＳ１００１およびステップＳ１００３で該当しなかった場合に、先に最もAP viewらしいとして選定した１枚とMV viewらしいとして選定した１枚の心腔の高さの中間に近い方の画像を選定する（ステップＳ１００５）。 FIG. 10 shows an example of an image selection flow in the case where two images having the same total score are present. First, it is confirmed whether Layer E 702 exists in the layer included in the image group 902 for selecting the PM view (step S1001). That is, it is confirmed whether or not it is configured by Layer F703, Layer G704, or Layer H705. If not included, the image with the higher score in the comparison for determining the likelihood of PM view or MV view is selected (step S1002). Next, it is confirmed whether the layer included in the image group 902 for PM view selection is only Layer E 702 (step S1003). In the case of only Layer E 702, the image with the higher score in the comparison for determining the likelihood of AP view or PM view is selected (step S1004). Finally, in the case where it does not correspond in step S1001 and step S1003, the image closer to the middle of the heights of the heart chambers of the one previously selected as the AP view and the one selected as the MV view is displayed. It is selected (step S1005).

なお、最もPM viewらしい画像の選定にあたっては、上述のような２種類の比較を行わずに、どちらか一方の比較のみとし、そのスコアが最も高い画像を選定するとしても良い。すなわち、比較結果判定部２０４は、判定規則において、１枚の計測に最適な断面画像を決定する際に、複数の比較対象群において計測に最適な断面画像と決定した断面画像が異なる場合、解剖学的情報抽出部２０１において抽出した、断面画像がどの生体内または臓器の位置を撮像したものであるかの情報のうち少なくとも１つを用いることとしても良い。更に、機械学習方式の１つであるDeep Learning手法による３種類のviewの識別結果である各断面である確率を用いて決定してもよい。 In selecting an image that is most likely to be PM view, it is possible to select only one of the images and select the image with the highest score without performing the above-described two types of comparison. That is, in the determination rule, the comparison result determination unit 204 determines, when determining the optimum cross-sectional image for one measurement, when the cross-sectional images determined as the optimum cross-sectional image for the plurality of comparison target groups are different from each other. At least one of the information of which in-vivo or internal organ position the cross-sectional image is imaged, which is extracted by the biological information extraction unit 201, may be used. Further, it may be determined using the probability of each cross section being the identification result of three types of views by the Deep Learning method, which is one of the machine learning methods.

[表示部]
以上の処理の後、選定した各viewの画像を表示部１８０に表示し、終了する。表示部１８０に表示される画面例を図１１に示す。 [Display]
After the above processing, the image of each selected view is displayed on the display unit 180, and the process ends. FIG. 11 shows an example of a screen displayed on the display unit 180.

図１１の（ａ）に示すように、表示画面１１００上に、選定したAP viewの画像１１０１と、選定したPM viewの画像１１０２と、選定したMV viewの画像１１０３と、が表示される。さらにその画像には、それぞれの心腔の高さの比率１１０４もそれぞれ表示される。さらに、現在選定された画像で計測を行ってもよい場合、押下すると計測の処理が開始されるOKボタン１１０５を備える。また、各viewにおける次点候補の画像１１０６〜１１０８を表示する。操作者が決定された画像に不満がある場合、かつ現在決定されている画像から画像の変更を可能とする変更ボタン１１０９〜１１１１を備える。 As illustrated in (a) of FIG. 11, a selected AP view image 1101, a selected PM view image 1102, and a selected MV view image 1103 are displayed on the display screen 1100. Furthermore, the ratio 1104 of the height of each heart chamber is also displayed on the image. Furthermore, when measurement may be performed on the currently selected image, an OK button 1105 is provided to start the measurement process when pressed. Further, images 1106 to 1108 of the next runner candidates in each view are displayed. If the operator is dissatisfied with the determined image, the change buttons 1109 to 1111 are provided to enable the image to be changed from the currently determined image.

たとえば、変更ボタン１１０９を押下すると、AP viewの再選択画面として図１１の（ｂ）のような画面に遷移する。AP viewのみ、AP viewの次点候補の画像１１０６が、候補番号１１２２が１番として再選択候補画像１１２１として表示され、次々点候補の画像が、候補番号１１２２が２番として表示される。なお、再選択候補画像は、２枚でも３枚でも良いし、データメモリ１７２より読み出した画像群のうち、比較対象群生成部２０２においてAP view選定のための画像群に分類された画像すべてを表示してもよい。表示されている再選択候補画像に変更したい場合には、表示されている再選択候補画像の下部にある変更ボタン１１２３〜１１２５を押下することで、計測に用いる画像を所望の画像に変更可能である。 For example, when the change button 1109 is pressed, the AP view reselection screen transitions to a screen as shown in FIG. 11B. In the AP view only, the image 1106 of the next candidate of the AP view is displayed as the reselection candidate image 1121 with the candidate number 1122 being No. 1, and the image of the next next point candidate is displayed with the candidate number 1122 being No. 2. Note that the number of reselection candidate images may be two or three, and among the image groups read from the data memory 172, all the images classified into the image group for AP view selection by the comparison target group generation unit 202 may be selected. It may be displayed. When it is desired to change to the displayed reselection candidate image, the change button 1123 to 1125 below the displayed reselection candidate image can be pressed to change the image used for measurement to a desired image. is there.

超音波診断装置であって、撮像した断面画像またはボリュームデータから抽出した、計測に用いる画像の候補である複数枚の断面画像から、生体内または臓器内における位置の推定を可能とする生体または臓器の構造の情報である、解剖学的な情報を抽出する解剖学的情報抽出部を有し、抽出した情報から作成された、画像の適切な組み合わせを生成する比較対象群生成部と、比較対象群生成部により生成された適切な組み合わせにおいて、計測への最適さを比較する比較部と、比較部における比較結果を用いて計測に最適な画像を選定する比較結果判定部と、を備えている。解剖学的な情報は、適用部位ごとに定め、肝臓であれば走行する主要血管の位置関係、心臓であれば心室や弁の位置関係、胎児の腹部であれば臍静脈や胃胞の位置関係、などデータや外部入力から直接抽出される。 An ultrasonic diagnostic apparatus, which is a living body or an organ capable of estimating a position in a living body or an organ from a plurality of sectional images which are candidates for images used for measurement, which are extracted from a captured sectional image or volume data The comparison target group generation unit that has an anatomical information extraction unit that extracts anatomical information that is structure information and that generates an appropriate combination of images created from the extracted information, and a comparison target It is provided with a comparison unit that compares the optimality for measurement with an appropriate combination generated by the group generation unit, and a comparison result determination unit that selects the optimal image for measurement using the comparison result of the comparison unit. .. The anatomical information is determined for each application site, and in the case of the liver, the positional relationship of the main blood vessels running, in the case of the heart, the relationship of the ventricles and valves, and in the abdomen of the fetus, the relationship of the umbilical vein and gastric alveoli , Etc. are directly extracted from data or external input.

以上詳述した本実施例の超音波診断装置によれば、１人の患者に対し１度の検査で取得したデータごとに、断面画像を適切な組み合わせで比較することにより、計測に最適な断面の選定基準を適応的に変化させることが可能となり、診断の精度向上や再現性の向上、検査時間の短縮が期待できる。 According to the ultrasonic diagnostic apparatus of the present embodiment described in detail above, by comparing cross-sectional images with an appropriate combination for each data acquired by one examination for one patient, the optimum cross-section for measurement can be obtained. It is possible to adaptively change the selection criteria of, and it can be expected that diagnostic accuracy and reproducibility are improved and inspection time is shortened.

次に、実施例２の超音波診断装置を説明する。実施例１の装置では、データメモリ１７２より読み出すデータは２次元断面画像としていた。一方、実施例２では、データメモリ１７２より読み出すデータとして３次元ボリュームデータを用いることとする。 Next, the ultrasonic diagnostic apparatus according to the second embodiment will be described. In the apparatus of the first embodiment, the data read from the data memory 172 is a two-dimensional cross-sectional image. On the other hand, in the second embodiment, three-dimensional volume data is used as the data read from the data memory 172.

図１２に、本実施例の超音波診断装置１００ａの一構成例を示す。同図に示すように、本実施例の超音波診断装置１００ａは、基本的に実施例と同様の構成を備える。ただし、画像処理部１７０中の計測断面決定部１７３で用いる断面画像の決定手法が異なるため、断面抽出部１２０１を備える。なお、この断面抽出部１２０１も図２ＢのＣＰＵ２０５におけるプログラム処理により実現できる。以下、本実施例の構成について、実施例１と異なる構成、すなわち、データメモリ１７２に格納される画像データは３次元データであり、画像処理部は、データメモリ１７２より読み出した３次元データから断面画像を抽出する断面抽出部を更に備える点に主眼をおいて説明する。 FIG. 12 shows an example of the configuration of the ultrasonic diagnostic apparatus 100a of this embodiment. As shown in the figure, the ultrasonic diagnostic apparatus 100a of this embodiment basically has the same configuration as that of the embodiment. However, since the method of determining the cross-sectional image used by the measurement cross-section determining unit 173 in the image processing unit 170 is different, the cross-section extracting unit 1201 is provided. The cross section extracting unit 1201 can also be realized by the program processing in the CPU 205 of FIG. 2B. Hereinafter, with respect to the configuration of the present embodiment, a configuration different from that of the first embodiment, that is, the image data stored in the data memory 172 is three-dimensional data, and the image processing unit uses the three-dimensional data read from the data memory 172 to cross-section. Description will be made focusing on the point that a cross-section extraction unit for extracting an image is further provided.

[断面抽出部]
本実施例のデータメモリ１７２は、１人の患者における３次元ボリュームデータが記憶されている。断面抽出部１２０１では、このボリュームデータを読み出し、ボリュームデータから計測に用いる画像の候補である複数枚の断面画像を抽出する。抽出の方法として、あらかじめ、心臓の特徴的な部位である弁や心尖部、血管などの特徴を学習させた機械学習による検出方法などが考えられる。検出した特徴に基づき、AP viewの画像と、PM viewの画像と、MV viewの画像を取得する。これら３枚の画像と、検出誤差を考慮し、それぞれ左心室４０１の軸方向に対してそれぞれ２ｍｍ離れた場所の断面画像を１枚ずつ取得した、各viewにおいて計３枚の断面画像を抽出する。抽出した合計９枚の画像の中から、計測断面決定部１７３により、計測に最適な断面画像を各viewにつき１枚ずつ選定し、表示部１８０にて表示する。 [Section extractor]
The data memory 172 of this embodiment stores three-dimensional volume data of one patient. The cross-section extraction unit 1201 reads this volume data, and extracts from the volume data a plurality of cross-section images that are image candidates used for measurement. As an extraction method, a detection method by machine learning in which features such as a valve, an apex, and a blood vessel, which are characteristic parts of the heart, are learned in advance can be considered. An image of AP view, an image of PM view, and an image of MV view are acquired based on the detected characteristics. Taking these three images and the detection error into consideration, one cross-sectional image is obtained at a position 2 mm apart from each other in the axial direction of the left ventricle 401, and a total of three cross-sectional images are extracted in each view. .. From the total of nine images that have been extracted, the measurement cross section determining unit 173 selects one cross-sectional image optimum for measurement for each view and displays it on the display unit 180.

図１３に、表示部１８０に表示される画面例を示す。図１３の（ａ）に示すように、表示画面１１００上に、選定したAP viewの画像１１０１と、選定したPM viewの画像１１０２と、選定したMV viewの画像１１０３と、が表示される。さらにその画像には、それぞれの心腔の高さの比率１１０４もそれぞれ表示される。さらに、現在選定された画像で計測を行ってもよい場合、押下すると計測の処理が開始されるOKボタン１１０５を備える。また、画面下部エリア１３００に、実際に取得したボリュームデータ像、または心臓を模擬したボリューム像において、表示されている画像１１０１〜１１０３のぞれぞれは物理的にどの位置を描出している断面画像かを示す画像位置ライン１３０１〜１３０３を表示する。 FIG. 13 shows an example of a screen displayed on the display unit 180. As illustrated in (a) of FIG. 13, an image 1101 of the selected AP view, an image 1102 of the selected PM view, and an image 1103 of the selected MV view are displayed on the display screen 1100. Furthermore, the ratio 1104 of the height of each heart chamber is also displayed on the image. Furthermore, when measurement may be performed on the currently selected image, an OK button 1105 is provided to start the measurement process when pressed. Further, in the lower area 1300 of the screen, in the actually acquired volume data image or in the volume image simulating the heart, each of the displayed images 1101 to 1103 is a cross-section showing which position is physically depicted. Image position lines 1301 to 1303 indicating whether the image is displayed are displayed.

各viewにおいて、操作者が決定された画像に不満がある場合に、現在決定されている画像から画像の変更を可能とする変更ボタン１３０４〜１３０６を備える。たとえば、変更ボタン１３０４を押下すると、図１３の（ｂ）に遷移し、画面上の画像位置ライン１３０１をトラックボール等で上下にスライドさせ、確認画面１３０７にて変更した画像位置ライン１３０１ａにおける断面画像を確認しながら、所望の位置にてOKボタン１３０８を押下することで、図１３の（ａ）の画面に戻り、AP viewの画像を変更することができる。 In each view, if the operator is dissatisfied with the determined image, change buttons 1304 to 1306 are provided to allow the image to be changed from the currently determined image. For example, when the change button 1304 is pressed, the screen transitions to FIG. 13B, the image position line 1301 on the screen is slid up and down with a trackball or the like, and the cross-sectional image on the image position line 1301 a changed on the confirmation screen 1307 is displayed. By pressing the OK button 1308 at a desired position while confirming, the screen of (a) of FIG. 13 is returned to and the image of the AP view can be changed.

なお、本実施例においては、図２Ａの解剖学的情報抽出部２０１において、心腔の高さを検出する処理は、断面抽出部１２０１において、ボリュームデータから断面画像を抽出する際に算出してもよい。 また、断面抽出部１２０１において、抽出する断面画像の数や抽出方法は、予め作成して置いた心臓のモデルに撮像したボリュームデータを当てはめ、僧帽弁４０５から心尖部までの等間隔で断面を抽出するなどの方法を用いてもよい。また、計測断面決定部１７３において決定された計測に最適な画像は、機械学習による識別処理や人手により不適切であると判定された場合、断面抽出部１２０１において、ボリュームデータから断面画像を抽出するステップより再度処理を行ってもよい。 In this embodiment, the process of detecting the height of the heart chamber in the anatomical information extraction unit 201 of FIG. 2A is calculated when the cross-section extraction unit 1201 extracts the cross-section image from the volume data. Good. Further, in the cross-section extraction unit 1201, the number of cross-sectional images to be extracted and the extraction method are applied by applying the imaged volume data to a heart model created and placed in advance, and cross-sections are equally spaced from the mitral valve 405 to the apex. A method such as extraction may be used. In addition, when the optimal image for measurement determined by the measurement cross-section determining unit 173 is determined to be inappropriate due to the identification processing by machine learning or manual operation, the cross-section extracting unit 1201 extracts the cross-sectional image from the volume data. The process may be performed again from the step.

本実施例によれば、患者の３次元ボリュームデータを用いて、画像を適切な組み合わせで比較することにより、計測に最適な断面の選定基準を適応的に変化させ、診断の精度向上や再現性の向上、検査時間の短縮を図ることができる。 According to the present embodiment, by using the three-dimensional volume data of the patient and comparing the images in an appropriate combination, the selection criterion of the optimum cross section for measurement is adaptively changed to improve the accuracy of diagnosis and reproducibility. And the inspection time can be shortened.

次に、実施例３として、胎児が正常に発育しているかを調べるためのAC（Abdominal Circumference：腹部周囲長）計測に用いる断面画像の自動抽出を行う超音波診断装置の実施例を説明する。すなわち、図１２の装置構成において、データメモリ１７２より読み出すデータとして胎児の腹部周辺の３次元ボリュームデータを用いる実施例を説明する。 Next, as a third embodiment, an embodiment of an ultrasonic diagnostic apparatus for automatically extracting a cross-sectional image used for AC (Abdominal Circumference) measurement for investigating whether the fetus is developing normally will be described. That is, an example in which three-dimensional volume data around the abdomen of the fetus is used as the data read from the data memory 172 in the device configuration of FIG. 12 will be described.

本実施例の超音波診断装置の構成として図１２の構成を用いるが、断面抽出部１２０１で用いる断面抽出手法と計測断面決定部１７３で用いる断面画像の決定手法が異なる。以下、本実施例について、実施例２と異なる点に主眼をおいて説明する。 The configuration of FIG. 12 is used as the configuration of the ultrasonic diagnostic apparatus of the present embodiment, but the cross-section extraction method used by the cross-section extraction unit 1201 and the cross-section image determination method used by the measurement cross-section determination unit 173 are different. The present embodiment will be described below, focusing on the points different from the second embodiment.

[断面抽出部]
本実施例のデータメモリ１７２は、撮像した胎児の腹部周辺の３次元ボリュームデータを記憶し、断面抽出部１２０１は、この胎児の腹部周辺の３次元ボリュームデータを読み出し、このボリュームデータから任意の位置で複数の２次元断面画像を抽出する。 [Section extractor]
The data memory 172 of the present embodiment stores the imaged three-dimensional volume data around the abdomen of the fetus, and the cross-section extraction unit 1201 reads out the three-dimensional volume data around the abdomen of the fetus and an arbitrary position from this volume data. To extract a plurality of two-dimensional sectional images.

[解剖学的情報抽出部]
図２Ａの解剖学的情報抽出部２０１は、断面抽出部１２０１により抽出された複数の断面画像が胎児のどの部位にあたるかを識別し、ボリュームデータにおける断面画像の抽出位置とその断面画像の種類を解剖学的情報として抽出する。 [Anatomical information extraction unit]
The anatomical information extraction unit 201 of FIG. 2A identifies which part of the fetus the cross-section images extracted by the cross-section extraction unit 1201 correspond to, and determines the extraction position of the cross-section image in the volume data and the type of the cross-section image. Extract as anatomical information.

図１４は、胎児腹部の周辺構造と切断面の関係を示す模式図である。AC計測断面は、図１４のＣに示すように胎児の腹壁１４０５から脊椎１４０１までの距離の前方約１／３の部位に臍静脈１４０２および胃胞１４０４が描出される断面である。AC計測断面の位置から胎児頭部方向へ平行移動した位置である図１４のＡの断面画像には、心臓１４００が描出され、同様に胎児脚部方向へ平行移動した位置である図１４のＥの断面画像には、膀胱１４０６が描出される。このような断面画像の抽出位置Ａ、Ｂ、Ｃ、Ｄ、Ｅと描出される構造物の関係を用いて、断面抽出部１２０１により抽出された断面画像の画像情報から抽出位置を識別する。 FIG. 14 is a schematic diagram showing the relationship between the peripheral structure of the abdomen of the fetus and the cut surface. The AC measurement cross section is a cross section in which the umbilical vein 1402 and the gastric vesicle 1404 are depicted at a site approximately 1/3 in front of the distance from the abdominal wall 1405 of the fetus to the spine 1401 as shown in FIG. 14C. The cross-sectional image of FIG. 14A, which is the position translated from the position of the AC measurement cross section in the direction of the fetal head, depicts the heart 1400, and is also the position translated in the direction of the fetal leg in FIG. 14E. The bladder 1406 is depicted in the cross-sectional image of 1. The extraction position is identified from the image information of the cross-sectional image extracted by the cross-section extracting unit 1201 using the relationship between the extraction positions A, B, C, D, and E of the cross-sectional image and the structure to be drawn.

識別手法としては、例えばDeep Learningの一つであるCNN（Convolutional Neural Network：畳込みニューラルネットワーク）を用いる。CNNは、大量の識別対象画像と識別ラベルを入力として与え、画像特徴量と識別ラベルの関係を学習させることで、未知の入力画像に対する識別器を構成する手法である。本実施例においては、AC計測断面画像、心臓が描出された断面画像および、膀胱が描出された断面画像を識別ラベルとともに学習させることで、断面抽出部１２０１により抽出された任意の断面画像に対して識別ラベルを出力する識別器を構成することができる。なお、識別ラベルとしては例えば図１４中に示したＡ、Ｃ、Ｅ等の記号を用いればよい。 As an identification method, for example, CNN (Convolutional Neural Network) which is one of deep learning is used. CNN is a method of constructing a classifier for an unknown input image by inputting a large number of images to be classified and a classification label as input and learning the relationship between the image feature quantity and the classification label. In the present embodiment, by learning the AC measurement cross-sectional image, the cross-sectional image in which the heart is drawn, and the cross-sectional image in which the bladder is drawn together with the identification label, for any cross-sectional image extracted by the cross-section extracting unit 1201. It is possible to configure a discriminator that outputs an identification label by using the above. As the identification label, symbols such as A, C and E shown in FIG. 14 may be used.

なお、識別手法としてはRandom ForestやSVM（Support Vector Machine）などCNN以外の機械学習手法を用いても構わない。また、画像の輝度分布や輪郭情報を用いて心臓や膀胱などの構造物を検出し、断面画像の種類を識別する手法でも構わない。 Note that a machine learning method other than CNN such as Random Forest or SVM (Support Vector Machine) may be used as the identification method. Further, a method of detecting a structure such as the heart or bladder by using the brightness distribution or contour information of the image and identifying the type of the sectional image may be used.

[比較対象群生成部]
続いて、本実施例の構成において、比較対象群生成部２０２による比較のペアとする群の生成の流れを説明する。本実施例の比較対象群生成部２００では、解剖学的な情報に基づき、検査対象の臓器を撮像した断面画像位置を中心に所定間隔で複数の断面画像を抽出し、当該複数の断面画像における総当たりの組み合わせとして比較対象群を生成する。 [Comparison group generation unit]
Next, in the configuration of the present embodiment, a flow of generation of a group to be a comparison pair by the comparison target group generation unit 202 will be described. The comparison target group generation unit 200 of the present embodiment extracts a plurality of cross-sectional images at predetermined intervals around the cross-sectional image position of the image of the organ to be inspected based on the anatomical information, A comparison target group is generated as a brute force combination.

具体的には、比較対象群生成部２０２では、解剖学的情報抽出部２０１により抽出した解剖学的情報のうちAC計測断面の抽出位置を利用する。このAC計測断面の抽出位置を中心に、所定の間隔で平行移動した断面画像を所定の数だけ抽出する。ここで、所定の間隔は２mmなど描出される構造物が十分変化する固定の距離としてもよいし、ユーザの指示によって変更可能としてもよい。また、胎児の成長に伴って腹部の各構造物が大きくなることを考慮し、妊娠週数に応じて自動的に変更しても構わない。また、抽出する断面画像の数は５枚など固定の値としてもよいし、妊娠週数に応じて自動的に変更しても構わない。このように抽出した候補断面から２枚ずつのすべての組み合わせを生成し、比較対象生成部２０２の処理を終了する。 Specifically, the comparison target group generation unit 202 uses the extraction position of the AC measurement cross section in the anatomical information extracted by the anatomical information extraction unit 201. A predetermined number of cross-sectional images that are translated at a predetermined interval around the extraction position of the AC measurement cross section are extracted. Here, the predetermined interval may be a fixed distance, such as 2 mm, at which the structure to be drawn changes sufficiently, or may be changeable according to a user's instruction. In addition, considering that each structure of the abdomen becomes large as the fetus grows, it may be automatically changed according to the number of pregnancy weeks. Further, the number of cross-sectional images to be extracted may be a fixed value such as 5, or may be automatically changed according to the number of pregnancy weeks. All the combinations of two sheets are generated from the candidate cross-sections extracted in this way, and the process of the comparison target generation unit 202 ends.

[比較部]
比較部２０３は、実施例１と同様の処理を行う。比較対象群生成部２０２において決定した比較対象群を用いて、比較結果を生成する。 [Comparison part]
The comparison unit 203 performs the same process as in the first embodiment. A comparison result is generated using the comparison target group determined by the comparison target group generation unit 202.

[比較結果判定部]
比較結果判定部２０４は、実施例１と同様の処理を行う。比較部２０３が生成した比較結果を用いて、もっともAC計測断面らしい断面画像を選定する。 [Comparison result judgment part]
The comparison result determination unit 204 performs the same process as in the first embodiment. Using the comparison result generated by the comparison unit 203, the cross-sectional image that is most likely to be the AC measurement cross-section is selected.

[表示部]
図１５に表示部１８０に表示される画面例を示す。本図に示すように、表示画面１５００上に、比較部２０３により選定されたAC計測断面１５０１と、選定されなかった候補断面を上位から順に３枚、候補断面１５０６、１５０８、１５１０として表示する。また、３次元ボリュームデータにおける各断面画像の空間的位置関係１５１１を表示する。ユーザが選定されたAC計測断面を確認しOKボタン１５０３を押下することで、腹部周囲長の計測処理を開始し、計測値１５０４を表示する。 [Display]
FIG. 15 shows an example of a screen displayed on the display unit 180. As shown in the figure, on the display screen 1500, the AC measurement cross section 1501 selected by the comparison unit 203 and the candidate cross sections not selected are displayed in order from the top as three candidate cross sections 1506, 1508, and 1510. Also, the spatial positional relationship 1511 of each cross-sectional image in the three-dimensional volume data is displayed. When the user confirms the selected AC measurement cross section and presses the OK button 1503, the measurement process of the abdominal circumference is started and the measurement value 1504 is displayed.

なお、選定されたAC計測断面をユーザが変更したい場合は、候補断面のいずれかを選択できるよう候補選択ボタン１５０５、１５０７，１５０９を設けても構わない。さらに、ボリュームデータ上の任意の位置から断面画像を抽出できるよう位置調整用スライダ１５０２を設けても構わない。このように、表示部１８０には、計測断面決定部１７３において決定した計測に最適な断面画像であるAC計測断面１５０１、３次元空間での断面画像の位置である空間的位置関係１５１１、並びに計測断面の位置を変更する位置調整スライダ１５０２を同一画面に表示することができる。また、表示部１８０には、計測断面決定部１７３において決定した計測に最適な断面画像の候補断面を決定した計測断面らしさの順序で表示することができる。 When the user wants to change the selected AC measurement section, candidate selection buttons 1505, 1507, and 1509 may be provided so that any of the candidate sections can be selected. Furthermore, a position adjustment slider 1502 may be provided so that the cross-sectional image can be extracted from any position on the volume data. As described above, the display section 180 has an AC measurement cross section 1501, which is the optimum cross section image for measurement determined by the measurement cross section determining section 173, and a spatial positional relationship 1511 that is the position of the cross section image in the three-dimensional space, and the measurement. A position adjustment slider 1502 for changing the position of the cross section can be displayed on the same screen. Further, the display section 180 can display candidate cross sections of the cross-sectional image optimum for measurement determined by the measurement cross-section determining section 173 in the order of determined measurement cross-section likelihood.

なお、本実施例ではAC計測断面の自動抽出を対象に説明したが、同様に胎児の発育を調べるためのBPD（Biparietal Diameter：児頭大横径）計測断面やFL（Femur Length：大腿骨長）計測断面の自動抽出に適用することも可能である。 In the present embodiment, the automatic extraction of the AC measurement cross section has been described, but similarly, the BPD (Biparietal Diameter) measurement cross section and the FL (Femur Length: femur length) for investigating the development of the fetus. ) It is also possible to apply to automatic extraction of measurement cross sections.

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備える実施例に限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の構成を用いて追加、削除、置換することが可能である。また、上記の各構成、機能、処理部、処理手段等は、それらの一部またはすべてを、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、SSD（Solid State Drive）等の記録装置、またはICカード、SDカード、DVD等の記録媒体に置くことができる。 It should be noted that the present invention is not limited to the above-described embodiments, but includes various modifications. For example, the above-described embodiments have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to the embodiments having all the configurations described. Further, a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of one embodiment can be added, deleted, or replaced by using another configuration. .. Further, the above-described respective configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them, for example, by an integrated circuit. Further, each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file that realizes each function can be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.

１００ 超音波診断装置
１０１ 検査対象
１１０ 探触子
１２０ 送信ビームフォーマ
１３０ Ｄ／Ａコンバータ
１４０ Ａ／Ｄコンバータ
１５０ ビームフォーマメモリ
１６０ 受信ビームフォーマ
１７０ 画像処理部
１７１ データ構成部
１７２ データメモリ
１７３ 計測断面決定部
１８０ 表示部
２０１ 解剖学的情報抽出部
２０２ 比較対象群生成部
２０３ 比較部
２０４ 比較結果判定部
２０５ ＣＰＵ
２０６ ＲＯＭ
２０７ ＲＡＭ
２０８ 記憶部
２０９ 表示制御部
４０１ 左心室
４０２ 左心房
４０３ 右心室
４０４ 右心房
４０５ 僧帽弁
４０７ 僧帽弁を描出した断面
４０８ 乳頭筋を描出した断面
４０９ 心尖付近の左心室を描出した断面
６０１、６０２、６０３、７０１、７０２、７０３、７０４、７０５ Layer A、Layer B、Layer C、Layer D、Layer E、Layer F、Layer G、Layer H
８０１ テーブル
８０２ 存在確率
９０１、９０２、９０３ AP view、PM view、MV view選定のための画像群
１１００ 表示画面
１１０１、１１０２、１１０３ 選定したAP view、PM view、MV viewの画像
１１０４ 心腔の高さの比率
１１０５、１３０８、１５０３ OKボタン
１１０６、１１０７、１１０８ AP view、PM view、MV viewにおける次点候補の画像
１１２１ 再選択候補画像
１１２２ 候補番号
１１０９、１１１０、１１１１、１１２３、１１２４、１１２５、１３０４、１３０５、１３０６ 変更ボタン
１２０１ 断面抽出部
１３００ 画面下部エリア
１３０１、１３０２、１３０３ AP view、PM view、MV viewの画像位置ライン
１３０７ 確認画面
１４００ 心臓
１４０１ 脊椎
１４０２ 臍静脈
１４０３ 腹部大動脈
１４０４ 胃胞
１４０５ 腹壁
１４０６ 膀胱
１５００ 表示画面
１５０１ 選択したAC断面画像
１５０２ 断面位置調整スライダ
１５０４ 計測値表示枠
１５０５、１５０７、１５０９ 候補選択ボタン
１５０６、１５０８、１５１０ 候補断面画像
１５１１ 空間的位置関係 100 ultrasonic diagnostic apparatus 101 inspection object 110 probe 120 transmission beamformer 130 D/A converter 140 A/D converter 150 beamformer memory 160 reception beamformer 170 image processing unit 171 data configuration unit 172 data memory 173 measurement section determination unit 180 display unit 201 anatomical information extraction unit 202 comparison target group generation unit 203 comparison unit 204 comparison result determination unit 205 CPU
206 ROM
207 RAM
208 storage unit 209 display control unit 401 left ventricle 402 left atrium 403 right ventricle 404 right atrium 405 mitral valve 407 mitral valve cross section 408 cross papillary muscle section 409 cross section 601 depicting left ventricle near the apex, 602, 603, 701, 702, 703, 704, 705 Layer A, Layer B, Layer C, Layer D, Layer E, Layer F, Layer G, Layer H
801 Table 802 Existence probabilities 901, 902, 903 AP view, PM view, MV view Image group 1100 Display screens 1101, 1102, 1103 Selected AP view, PM view, MV view image 1104 Heart chamber height Ratios 1105, 1308, 1503 OK buttons 1106, 1107, 1108 Next view candidate image 1121 in AP view, PM view, MV view Reselection candidate image 1122 Candidate numbers 1109, 1110, 1111, 1123, 1124, 1125, 1304, 1305 1306 Change button 1201 Cross section extraction unit 1300 Screen lower area 1301, 1302, 1303 AP view, PM view, MV view image position line 1307 Confirmation screen 1400 Heart 1401 Spine 1402 Umbilical vein 1403 Abdominal aorta 1404 Gastric alveolus 1405 Abdominal wall 1406 Bladder 1500 Display screen 1501 Selected AC cross-section image 1502 Cross-section position adjustment slider 1504 Measurement value display frames 1505, 1507, 1509 Candidate selection buttons 1506, 1508, 1510 Candidate cross-section image 1511 Spatial positional relationship

Claims (5)

検査対象に超音波を送信し、前記検査対象からの反射波を利用する超音波診断装置であって、
超音波を前記検査対象に送受信する送受信部と、
前記送受信部の受信信号に基づき画像データを生成し、計測に用いる断面画像を決定する画像処理部と、
前記画像処理部において決定した前記計測に用いる断面画像を表示する表示部と、を備え、
前記画像処理部は、前記受信信号を用いて、前記画像データを生成するデータ構成部と、前記データ構成部において生成された前記画像データを格納するデータメモリと、前記データメモリに格納された前記画像データから複数の断面画像を読み出し、前記計測に用いる断面画像を決定する計測断面決定部と、を有し、
前記計測断面決定部は、
前記画像データに対して、解剖学的な情報を抽出する解剖学的情報抽出部と、前記解剖学的な情報を用いて、前記計測に用いる断面画像を決定するために行う比較のための断面画像の比較対象群を生成する比較対象群生成部と、前記比較対象群ごとに比較処理を行う比較部と、前記比較部が算出した断面画像間の関係性を用いて、前記計測に用いる断面画像を決定する比較結果判定部と、を備える、
ことを特徴とする超音波診断装置。 An ultrasonic diagnostic apparatus that transmits an ultrasonic wave to an inspection target and uses reflected waves from the inspection target,
A transmitting/receiving unit that transmits and receives ultrasonic waves to and from the inspection target
An image processing unit that generates image data based on a reception signal of the transmission/reception unit and determines a cross-sectional image used for measurement,
A display unit that displays a cross-sectional image used for the measurement determined in the image processing unit,
The image processing unit uses the received signal to generate a data configuration unit that generates the image data, a data memory that stores the image data generated in the data configuration unit, and the data memory that stores the image data. A plurality of cross-sectional images are read from the image data, and a measurement cross-section determining unit that determines the cross-sectional image used for the measurement is provided ,
The measurement section determination unit,
An anatomical information extraction unit that extracts anatomical information from the image data, and a cross-section for comparison performed to determine a cross-sectional image used for the measurement using the anatomical information. A comparison target group generation unit that generates a comparison target group of images, a comparison unit that performs a comparison process for each comparison target group, and a cross section used for the measurement by using the relationship between the cross-sectional images calculated by the comparison unit. A comparison result determination unit that determines an image,
An ultrasonic diagnostic apparatus characterized by the above. 請求項１記載の超音波診断装置であって、
前記検査対象は心臓であり、
前記比較対象群生成部は、
前記解剖学的な情報として、前記解剖学的情報抽出部において抽出した前記心臓の心腔の高さを用いる、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1 , wherein
The examination target is the heart,
The comparison target group generation unit,
As the anatomical information, use the height of the heart chamber of the heart extracted in the anatomical information extraction unit,
An ultrasonic diagnostic apparatus characterized by the above. 請求項１記載の超音波診断装置であって、
前記検査対象は心臓であり、
前記比較対象群生成部は、
前記解剖学的は情報として、前記解剖学的情報抽出部において抽出した前記心臓の心腔の高さ、及び心腔内および周辺の構造物の特徴を用いる、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1 , wherein
The examination target is the heart,
The comparison target group generation unit,
As the anatomical information, the height of the heart chamber of the heart extracted by the anatomical information extraction unit, and the features of the structures inside and around the heart chamber are used.
An ultrasonic diagnostic apparatus characterized by the above. 請求項１記載の超音波診断装置であって、
前記比較対象群生成部は、
前記解剖学的な情報に基づき、複数の断面画像を複数個の群に分けたのち、前記複数個の群に属する前記断面画像における総当たりの組み合わせとして前記比較対象群を生成する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1 , wherein
The comparison target group generation unit,
Based on the anatomical information, after dividing a plurality of cross-sectional images into a plurality of groups, the comparison target group is generated as a brute force combination in the cross-sectional images belonging to the plurality of groups,
An ultrasonic diagnostic apparatus characterized by the above. 請求項１記載の超音波診断装置であって、
前記比較対象群生成部は、
前記解剖学的な情報に基づき、前記検査対象の臓器を撮像した断面画像位置を中心に所定間隔で複数の断面画像を抽出し、当該複数の断面画像における総当たりの組み合わせとして前記比較対象群を生成する、
ことを特徴とする超音波診断装置。 The ultrasonic diagnostic apparatus according to claim 1 , wherein
The comparison target group generation unit,
Based on the anatomical information, a plurality of cross-sectional images are extracted at predetermined intervals centering on the cross-sectional image position where the organ of the examination target is imaged, and the comparison target group is set as a brute force combination in the plurality of cross-sectional images. Generate,
An ultrasonic diagnostic apparatus characterized by the above.
JP2016222310A 2016-11-15 2016-11-15 Ultrasonic diagnostic equipment Active JP6739318B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016222310A JP6739318B2 (en) 2016-11-15 2016-11-15 Ultrasonic diagnostic equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016222310A JP6739318B2 (en) 2016-11-15 2016-11-15 Ultrasonic diagnostic equipment

Publications (3)

Publication Number Publication Date
JP2018079000A JP2018079000A (en) 2018-05-24
JP2018079000A5 JP2018079000A5 (en) 2019-03-28
JP6739318B2 true JP6739318B2 (en) 2020-08-12

Family

ID=62197374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016222310A Active JP6739318B2 (en) 2016-11-15 2016-11-15 Ultrasonic diagnostic equipment

Country Status (1)

Country Link
JP (1) JP6739318B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7149516B2 (en) * 2018-08-24 2022-10-07 富士通株式会社 Inspection support program, inspection support method and inspection support device
JP7193979B2 (en) 2018-10-29 2022-12-21 富士フイルムヘルスケア株式会社 Medical imaging device, image processing device, and image processing method
KR102224627B1 (en) * 2019-04-08 2021-03-09 울산대학교 산학협력단 Method and apparatus for analyzing ultrasonography during the first quarter of pregnancy
WO2023281997A1 (en) * 2021-07-05 2023-01-12 富士フイルム株式会社 Ultrasound system and control method for ultrasound system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5389321B2 (en) * 2006-10-02 2014-01-15 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー X-ray tomography equipment
JP5274894B2 (en) * 2008-05-22 2013-08-28 株式会社東芝 Image display device
JP5276407B2 (en) * 2008-10-15 2013-08-28 日立アロカメディカル株式会社 Ultrasonic diagnostic equipment
CN102639063B (en) * 2010-09-30 2015-03-18 柯尼卡美能达株式会社 Ultrasound diagnostic equipment
US20150011886A1 (en) * 2011-12-12 2015-01-08 Koninklijke Philips N.V. Automatic imaging plane selection for echocardiography
US8891881B2 (en) * 2012-01-25 2014-11-18 General Electric Company System and method for identifying an optimal image frame for ultrasound imaging

Also Published As

Publication number Publication date
JP2018079000A (en) 2018-05-24

Similar Documents

Publication Publication Date Title
RU2657855C2 (en) Three-dimensional ultrasound imaging system
JP6640922B2 (en) Ultrasound diagnostic device and image processing device
JP5645811B2 (en) Medical image diagnostic apparatus, region of interest setting method, medical image processing apparatus, and region of interest setting program
JP6173886B2 (en) Ultrasonic diagnostic apparatus, image processing apparatus, and image processing method
WO2017193251A1 (en) Method and system for recognizing region of interest profile in ultrasound image
JP5242163B2 (en) Ultrasonic diagnostic equipment
WO2017206023A1 (en) Cardiac volume identification analysis system and method
JP6238651B2 (en) Ultrasonic diagnostic apparatus and image processing method
JP6824125B2 (en) Medical imaging device and image processing method
KR102251830B1 (en) Systems and methods for registration of ultrasound and ct images
JP6739318B2 (en) Ultrasonic diagnostic equipment
JP2015198672A (en) Medical image diagnostic apparatus
JP5558727B2 (en) Ultrasonic diagnostic apparatus and data processing program for ultrasonic diagnostic apparatus
BR112020014733A2 (en) COMPUTER IMPLEMENTED METHOD FOR OBTAINING ANATOMICAL MEASUREMENTS ON AN ULTRASOUND IMAGE, COMPUTER PROGRAM MEDIA, IMAGE ANALYSIS DEVICE AND ULTRASOUND IMAGING METHOD
JP2022031825A (en) Image-based diagnostic systems
JP2009153600A (en) Ultrasonic diagnostic equipment, image processor, and program
JP2022169774A (en) Ultrasonic diagnostic device, medical image diagnostic device, medical image processing device and medical image processing program
JP6591195B2 (en) Ultrasonic diagnostic apparatus and control program
US11534133B2 (en) Ultrasonic detection method and ultrasonic imaging system for fetal heart
EP1952359A1 (en) System and method for generating for display two-dimensional echocardiography views from a three-dimensional image
JP6538280B2 (en) Apparatus and method for characterizing a subject&#39;s tissue
JP5885234B2 (en) Image analysis method in disease determination apparatus and ultrasonic image forming apparatus
US20150209015A1 (en) Method and apparatus for registering medical images
CN114271850B (en) Ultrasonic detection data processing method and ultrasonic detection data processing device
JPWO2017094577A1 (en) Ultrasonic imaging apparatus and image processing method

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200721

R150 Certificate of patent or registration of utility model

Ref document number: 6739318

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250