JP2023108812A - 情報処理装置、超音波診断装置、および方法 - Google Patents

Abstract

【課題】レンダリング画像のパラメータ設定に関するユーザの負担を軽減すること。【解決手段】実施形態に係る情報処理装置は、取得部と、部位推定部と、パラメータ設定部と、レンダリング部とを備える。取得部は、観察対象を含む三次元データに関連する二次元画像を取得する。部位推定部は、二次元画像に基づいて観察対象の部位を推定する。パラメータ設定部は、推定された部位と三次元データとに基づいてレンダリングパラメータを設定する。レンダリング部は、レンダリングパラメータを用いて三次元データのレンダリング画像を生成する。【選択図】 図１

Description

本明細書及び図面に開示の実施形態は、情報処理装置、超音波診断装置、および方法に関する。

超音波診断装置によって超音波のエコー反射強度を三次元データとして取得し、レンダリング画像を生成する技術が知られている。また、昨今では、光源や影を計算に考慮したレンダリング手法であるグローバルイルミネーションに基づくレンダリング画像の生成も行われている。この手法でレンダリングする際、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）やＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）においては、それぞれの装置で取得されたデータと臨床的な組織部位とが対応付けられているため、データに対して環境光色、反射色、および減衰色などの色指定を行い、レンダリングを実行する。

一方、超音波診断装置においては、エコー反射強度と臨床的な組織部位とが対応付いていないため、ＣＴやＭＲＩのデータのようにエコー反射強度に対して自動でパラメータを設定することができない。特に、生体の表面構造（殻構造）と内部構造とを同時に表示するモードにおいては、輪郭を形成している部分に割り当てられた輝度値のみを選択的に表示するため、輪郭の形成に寄与する代表的な輝度値（代表輝度値）と、代表輝度値の前後の輝度値である高輝度閾値および低輝度閾値との両方を設定する必要がある。これらのパラメータは、観察したい対象の輪郭が表示されるように手動で調整する必要があり、ユーザにとって負担となっていた。

特開２０１９－１８１１６８号公報

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、レンダリング画像のパラメータ設定に関するユーザの負担を軽減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る情報処理装置は、取得部と、部位推定部と、パラメータ設定部と、レンダリング部とを備える。取得部は、観察対象を含む三次元データに関連する二次元画像を取得する。部位推定部は、二次元画像に基づいて観察対象の部位を推定する。パラメータ設定部は、推定された部位と三次元データとに基づいてレンダリングパラメータを設定する。レンダリング部は、レンダリングパラメータを用いて三次元データのレンダリング画像を生成する。

図１は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。 図２は、胎児の代表的な撮り方を例示する説明図である。 図３は、第１の実施形態に係る超音波診断装置の処理回路の動作の一例を示すフローチャートである。 図４は、第１の実施形態における部位推定で用いる二次元画像の一例である。 図５は、第１の実施形態における部位推定処理の概要を説明するブロック図である。 図６は、第１の実施形態における部位推定画像の一例である。 図７は、第１の実施形態における輝度値と不透明度とを対応付けた伝達関数の第１の具体例である。 図８は、第１の実施形態における輝度値と不透明度とを対応付けた伝達関数の第２の具体例である。 図９は、第２の実施形態に係る情報処理装置の構成例を示すブロック図である。

以下、図面を参照しながら、超音波診断装置の実施形態について詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る超音波診断装置の構成例を示すブロック図である。図１の超音波診断装置１は、装置本体１００と、超音波プローブ１０１とを有している。装置本体１００は、入力装置１０２および出力装置１０３と接続されている。また、装置本体１００は、ネットワークＮＷを介して外部装置１０４と接続されている。外部装置１０４は、例えば、ＰＡＣＳ（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍｓ）を搭載したサーバである。

超音波プローブ１０１は、例えば、装置本体１００による制御に従い、被検体である生体Ｐ内のスキャン領域について超音波スキャンを実行する。超音波プローブ１０１は、例えば、複数の圧電振動子、複数の圧電振動子とケースとの間に設けられる整合層、および複数の圧電振動子から放射方向に対して後方への超音波の伝搬を防止するバッキング材を有する。超音波プローブ１０１は、例えば、第１の素子配列方向（エレベーション方向）と第２の素子配列方向（アジマス方向）とに沿って複数の超音波振動子が配列された２次元アレイプローブである。超音波プローブ１０１は、装置本体１００と着脱自在に接続される。超音波プローブ１０１には、オフセット処理、および超音波画像をフリーズさせる操作（フリーズ操作）等の際に押下されるボタンが配置されてもよい。

複数の圧電振動子は、装置本体１００が有する後述の超音波送信回路１１０から供給される駆動信号に基づいて超音波を発生する。これにより、超音波プローブ１０１から生体Ｐへ超音波が送信される。超音波プローブ１０１から生体Ｐへ超音波が送信されると、送信された超音波は、生体Ｐの体組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流または心臓壁等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。超音波プローブ１０１は、生体Ｐからの反射波信号を受信して電気信号に変換する。

図１には、一つの超音波プローブ１０１と装置本体１００との接続関係を例示している。しかしながら、装置本体１００には、複数の超音波プローブを接続することが可能である。接続された複数の超音波プローブのうちいずれを超音波スキャンに使用するかは、例えば、後述するタッチパネル上のソフトウェアボタンによって任意に選択することができる。

装置本体１００は、超音波プローブ１０１により受信された反射波信号に基づいて超音波画像を生成する装置である。装置本体１００は、超音波送信回路１１０と、超音波受信回路１２０と、内部記憶回路１３０と、画像メモリ１４０と、入力インタフェース１５０と、出力インタフェース１６０と、通信インタフェース１７０と、処理回路１８０とを有している。

超音波送信回路１１０は、超音波プローブ１０１に駆動信号を供給するプロセッサである。超音波送信回路１１０は、例えば、トリガ発生回路、遅延回路、およびパルサ回路により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返して発生する。遅延回路は、超音波プローブから発生される超音波をビーム状に集束して送信指向性を決定するために必要な複数の圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ１０１に設けられる複数の超音波振動子へ駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を変化させることで、複数の圧電振動子の表面からの送信方向が任意に調整可能となる。

また、超音波送信回路１１０は、駆動信号によって、超音波の出力強度を任意に変更することができる。超音波診断装置では、出力強度を大きくすることにより、生体Ｐ内での超音波の減衰の影響を小さくすることができる。超音波診断装置は、超音波の減衰の影響を小さくすることによって、受信時において、Ｓ／Ｎ比の大きい反射波信号を取得することができる。

一般的に、超音波が生体Ｐ内を伝播すると、出力強度に相当する超音波の振動の強さ（これは、音響パワーとも称する）が減衰する。音響パワーの減衰は、吸収、散乱および反射などによって起こる。また、音響パワーの減少の度合いは、超音波の周波数および超音波の放射方向の距離に依存する。例えば、超音波の周波数を大きくすることにより、減衰の度合いは大きくなる。また、超音波の放射方向の距離が長くなるほど、減衰の度合いは大きくなる。

超音波受信回路１２０は、超音波プローブ１０１が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路１２０は、超音波プローブ１０１によって取得された超音波の反射波信号に基づく受信信号を生成する。具体的には、超音波受信回路１２０は、例えば、プリアンプ、Ａ／Ｄ変換器、復調器、およびビームフォーマにより実現される。プリアンプは、超音波プローブ１０１が受信した反射波信号をチャネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をディジタル信号に変換する。復調器は、ディジタル信号を復調する。ビームフォーマは、例えば、復調されたディジタル信号に受信指向性を決定するのに必要な遅延時間を与えて、遅延時間が与えられた複数のディジタル信号を加算する。ビームフォーマの加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。尚、以降では、「超音波の反射波信号」および「受信信号」を総称して「エコー信号」と呼ぶ。よって、「受信信号の強度」は、「エコー信号の反射強度（エコー反射強度）」と言い換えられてもよい。

内部記憶回路１３０は、例えば、磁気的記憶媒体、光学的記憶媒体、または半導体メモリ等、プロセッサにより読み取り可能な記憶媒体等を有する。内部記憶回路１３０は、超音波送受信を実現するためのプログラム、後述する部位推定処理に関するプログラム、レンダリング画像生成処理に関するプログラム、および各種データなどを記憶している。プログラムおよび各種データは、例えば、内部記憶回路１３０に予め記憶されていてもよい。また、プログラムおよび各種データは、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて内部記憶回路１３０にインストールされてもよい。また、内部記憶回路１３０は、入力インタフェース１５０を介して入力される操作に従い、処理回路１８０で生成されるＢモード画像データ、造影画像データ、血流映像に関する画像データ、および三次元データなどを記憶する。内部記憶回路１３０は、記憶している画像データおよび三次元データを、通信インタフェース１７０を介して外部装置１０４等に転送することも可能である。

なお、内部記憶回路１３０は、ＣＤドライブ、ＤＶＤドライブ、およびフラッシュメモリなどの可搬性記憶媒体との間で種々の情報を読み書きする駆動装置などであってもよい。内部記憶回路１３０は、記憶しているデータを可搬性記憶媒体へ書き込み、可搬性記憶媒体を介してデータを外部装置１０４に記憶させることも可能である。

画像メモリ１４０は、例えば、磁気的記憶媒体、光学的記憶媒体、または半導体メモリなどのプロセッサにより読み取り可能な記憶媒体を有する。画像メモリ１４０は、入力インタフェース１５０を介して入力されるフリーズ操作直前の複数フレームに対応する画像データを保存する。画像メモリ１４０に記憶されている画像データは、例えば、連続表示（シネ表示）される。尚、画像メモリ１４０は、画像データの保存に限らず、三次元データを保存してもよい。

上記の内部記憶回路１３０および画像メモリ１４０は、必ずしもそれぞれが独立した記憶装置により実現されなくてもよい。内部記憶回路１３０および画像メモリ１４０は、単一の記憶装置により実現されてもよい。また、内部記憶回路１３０および画像メモリ１４０は、それぞれが複数の記憶装置により実現されてもよい。

入力インタフェース１５０は、入力装置１０２を介し、操作者からの各種指示を受け付ける。入力装置１０２は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネル、およびタッチパネルである。入力インタフェース１５０は、例えばバスを介して処理回路１８０に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路１８０へ出力する。なお、入力インタフェース１５０は、マウスおよびキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、超音波診断装置１とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路１８０へ出力する回路も入力インタフェースの例に含まれる。

出力インタフェース１６０は、例えば処理回路１８０からの電気信号を出力装置１０３へ出力するためのインタフェースである。出力装置１０３は、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ等の任意のディスプレイである。出力装置１０３は、入力装置１０２を兼ねたタッチパネル式のディスプレイでもよい。出力装置１０３は、ディスプレイの他に、音声を出力するスピーカーを更に含んでもよい。出力インタフェース１６０は、例えばバスを介して処理回路１８０に接続され、処理回路１８０からの電気信号を出力装置１０３に出力する。

通信インタフェース１７０は、例えばネットワークＮＷを介して外部装置１０４と接続され、外部装置１０４との間でデータ通信を行う。

処理回路１８０は、例えば、超音波診断装置１の中枢として機能するプロセッサである。処理回路１８０は、内部記憶回路１３０に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。処理回路１８０は、例えば、Ｂモード処理機能１８１と、ドプラ処理機能１８２と、画像生成機能１８３と、三次元データ生成部として機能する三次元データ生成機能１８４と、取得部として機能する取得機能１８５Ａと、部位推定部として機能する部位推定機能１８５Ｂと、パラメータ設定部として機能するパラメータ設定機能１８５Ｃと、レンダリング部として機能するレンダリング機能１８５Ｄと、表示制御部として機能する表示制御機能１８６と、システム制御機能１８７とを有している。尚、ドプラ処理機能１８２は、本実施形態との関係性が薄いため、処理回路１８０の機能から省略されてもよい。

Ｂモード処理機能１８１は、超音波受信回路１２０から受け取った受信信号（エコー信号）に基づき、Ｂモードデータを生成する機能である。Ｂモード処理機能１８１によって処理回路１８０は、例えば、超音波受信回路１２０から受け取った受信信号に対して包絡線検波処理、および対数圧縮処理などを施し、受信信号の信号強度（エコー反射強度）を輝度の値（輝度値）で表現したデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線（ラスタ）上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。

また、処理回路１８０は、Ｂモード処理機能１８１により、ハーモニックイメージング（Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎｇ）を実行することができる。ハーモニックイメージングとは、超音波の反射波信号に含まれる基本波成分だけでなく、高調波成分（ハーモニック成分）も利用する撮像法である。ハーモニックイメージングには、例えば、造影剤を用いないティッシュハーモニックイメージング（ＴＨＩ：Ｔｉｓｓｕｅ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎｇ）と、造影剤を利用するコントラストハーモニックイメージング（ＣＨＩ：Ｃｏｎｔｒａｓｔ Ｈａｒｍｏｎｉｃ Ｉｍａｇｉｎｇ）とがある。

ＴＨＩでは、振幅変調（ＡＭ：Ａｍｐｌｉｔｕｄｅ Ｍｏｄｕｌａｔｉｏｎ）法や位相変調（ＰＭ：Ｐｈａｓｅ Ｍｏｄｕｌａｔｉｏｎ）法、ＡＭ法及びＰＭ法を組み合わせたＡＭＰＭ法と呼ばれる映像法を用いて、ハーモニック成分を抽出することができる。

ＡＭ法、ＰＭ法およびＡＭＰＭ法では、同一の走査線に対して振幅や位相が異なる超音波送信を複数回行う。これにより、超音波受信回路１２０は、各走査線で複数の反射波データを生成し、生成した反射波データを出力する。処理回路１８０は、Ｂモード処理機能１８１により、各走査線の複数の反射波データを、変調法に応じた加減算処理することで、ハーモニック成分を抽出する。そして、処理回路１８０は、ハーモニック成分の反射波データに対して包絡線検波処理などを行って、Ｂモードデータを生成する。

また、ＣＨＩでは、例えば、周波数フィルタを用いてハーモニック成分を抽出する。処理回路１８０は、Ｂモード処理機能１８１により、造影剤を反射源とする反射波データ（高調波成分）と、生体Ｐ内の組織を反射源とする反射波データ（基本波成分）とを分離することができる。これにより、処理回路１８０は、フィルタを用いて造影剤からの高調波成分を選択して、造影画像データを生成するためのＢモードデータを生成することができる。

造影画像データを生成するためのＢモードデータは、造影剤を反射源とするエコー反射強度を輝度値で表したデータとなる。また、処理回路１８０は、生体Ｐの反射波データから基本波成分を抽出して、組織画像データを生成するためのＢモードデータを生成することもできる。

ドプラ処理機能１８２は、超音波受信回路１２０から受け取った受信信号を周波数解析することで、スキャン領域に設定されるＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ：関心領域）内にある移動体のドプラ効果に基づく運動情報を抽出したデータ（ドプラ情報）を生成する機能である。生成されたドプラ情報は、２次元的な超音波走査線上のドプラＲＡＷデータ（ドプラデータとも称する）として不図示のＲＡＷデータメモリに記憶される。

具体的には、処理回路１８０は、ドプラ処理機能１８２により、例えば移動体の運動情報として、平均速度、平均分散値、平均パワー値などを複数のサンプル点それぞれで推定し、推定した運動情報を示すドプラデータを生成する。移動体は、例えば、血流や、心壁などの組織、造影剤である。本実施形態に係る処理回路１８０は、ドプラ処理機能１８２により、血流の運動情報（血流情報）として、血流の平均速度、血流速度の分散値、血流信号のパワー値などを、複数のサンプル点それぞれで推定し、推定した血流情報を示すドプラデータを生成する。

画像生成機能１８３は、Ｂモード処理機能１８１により生成されたデータに基づいて、Ｂモード画像データを生成する機能である。例えば、画像生成機能１８３によって処理回路１８０は、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用の画像データ（表示用画像データ）を生成する。具体的には、処理回路１８０は、ＲＡＷデータメモリに記憶されたＢモードＲＡＷデータに対してＲＡＷ－ピクセル変換、例えば、超音波プローブ１０１による超音波の走査形態に応じた座標変換を実行することで、ピクセルから構成される２次元Ｂモード画像データ（超音波画像データとも称する）を生成する。換言すると、処理回路１８０は、画像生成機能１８３により、超音波の送受信によって、連続する複数のフレームにそれぞれ対応する複数の超音波画像（医用画像）を生成する。

また、処理回路１８０は、例えば、ＲＡＷデータメモリに記憶されたドプラＲＡＷデータに対してＲＡＷ－ピクセル変換を実行することで、血流情報が映像化されたドプラ画像データを生成する。ドプラ画像データは、平均速度画像データ、分散画像データ、パワー画像データ、又はこれらを組み合わせた画像データである。処理回路１８０は、ドプラ画像データとして、血流情報がカラーで表示されるカラードプラ画像データ、および一つの血流情報がグレースケールで波形状に表示されるドプラ画像データを生成する。

三次元データ生成機能１８４は、超音波受信回路１２０から受け取った受信信号に基づき、三次元のＢモードデータ（三次元データ）を生成する機能である。三次元データ生成機能１８４によって処理回路１８０は、Ｂモード処理機能１８１によって生成したＢモードデータを用いて、三次元空間中に配置したボクセルに輝度値を割り当てることによって三次元データを生成する。この三次元データは、ボリュームデータと呼ばれてもよい。尚、輝度値がエコー反射強度に対応していることから、ボリュームデータのボクセルには、エコー反射強度が割り当てられていると解釈してもよい。よって、以降では、「ボリュームデータの輝度値」は、「エコー反射強度」と略同様の意味で用いられてよい。

取得機能１８５Ａは、後述する部位推定処理に関するデータおよびレンダリング画像生成処理に関するデータを取得する機能である。部位推定処理に関するデータは、例えば、二次元の超音波画像、或いは三次元データを所定のレイ方向でＸ－ｒａｙプロジェクション（全加算投影）を施してレンダリングした簡易レンダリング画像を含む。以降では、二次元の超音波画像を単に超音波画像と称する。また、超音波画像および簡易レンダリング画像を区別しない場合、二次元画像（２Ｄ画像）と称する。レンダリング画像生成処理に関するデータは、例えば、三次元データを含む。具体的には、取得機能１８５Ａによって処理回路１８０は、二次元画像および三次元データを取得する。

部位推定機能１８５Ｂは、二次元画像に基づいて観察対象の部位を推定する機能である。本実施形態における観察対象は胎児である。胎児の部位は、例えば、脳、頭部、背骨、および全身である。具体的には、部位推定機能１８５Ｂによって処理回路１８０は、二次元画像に学習済みモデルを適用することによって、二次元画像に含まれる観察対象の部位を推定し、推定結果を出力する。推定結果には、例えば、部位の情報と二次元画像上の位置とが対応付けられている。尚、二次元画像が超音波画像である場合、異なる断面に対して撮影された複数の超音波画像を用いて観察対象の部位を推定してもよい。

上記の学習済みモデルは、例えば、予め用意された、観察対象の部位を含む二次元画像に基づき機械学習された機械学習モデルである。尚、学習済みモデルは、簡易レンダリング画像を用いて部位推定を行う場合と、超音波画像を用いて部位推定を行う場合とでそれぞれ異なるモデルが用意されてよい。

本実施形態に係る機械学習モデルは、典型的には、生物の脳の神経回路を模した多層のネットワークモデルである深層ニューラルネットワーク（ＤＮＮ：Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）であるとする。ＤＮＮは、複数の調整可能な関数およびパラメータの組合せにより定義されるパラメータ付きの合成関数を含む。

なお、部位推定機能１８５Ｂにより処理回路１８０は、二次元画像に対してパターン構造を探索する画像処理を用いて二次元画像に含まれる観察対象の部位を推定し、推定結果を出力してもよい。

パラメータ設定機能１８５Ｃは、推定結果に基づいてパラメータを設定する機能である設定されるパラメータは、例えば、生体の表面構造と内部構造とを同時に表示するモード（以降、内部透過表示モードと称する）で用いられる不透明度に関する伝達関数である。この伝達関数は、表示させたい部位の代表輝度値と、代表輝度値から所定の幅をもった前後の輝度値である低閾値および高閾値とに基づいて算出される。

具体的には、パラメータ設定機能１８５Ｃによって処理回路１８０は、三次元データにおける推定部位の代表輝度値を取得し、代表輝度値の前後の閾値（例えば、低閾値および高閾値）を決定し、代表輝度値および閾値に基づいてパラメータを設定する。代表輝度値の前後の閾値は、例えば、生体部位と閾値の幅とを対応付けたテーブルに基づいて決定されてよい。また、このテーブルは、例えば、内部記憶回路１３０に記憶されている。

なお、処理回路１８０は、推定部位が複数である場合、複数の推定部位毎に代表輝度値を取得してよく、複数の代表輝度値およびそれぞれの閾値に基づいてパラメータを設定してよい。

レンダリング機能１８５Ｄは、レンダリング画像を生成する機能である。レンダリング画像には、例えば、ボリュームレンダリング画像と、グローバルイルミネーション画像とがある。本実施形態では、光源を考慮しないレンダリング画像をボリュームレンダリング画像と定義し、光源を考慮したレンダリング画像をグローバルイルミネーション画像と定義する。尚、内部透過表示モードを実行すると、グローバルイルミネーション画像が表示されるものとする。

ボリュームレンダリング画像は、ボリュームデータをボリュームレンダリングすることによって得られる。ボリュームレンダリングでは、ボリュームデータのボクセルに割り当てられた輝度値（ボリュームデータの輝度値）に応じて、各ボクセルの表示上の明るさおよび色が設定される。その上で、ボリュームレンダリングは、任意の視点からボクセルを投影した投影像を表示する。

他方、グローバルイルミネーション画像は、フォトンマップを用いてレンダリング処理を行う。レンダリング処理には、例えば、レイトレーシング法が用いられる。本実施形態では、実際に表示される最終的なレンダリング画像として、グローバルイルミネーション画像を生成する。

レンダリング機能１８５Ｄによって処理回路１８０は、設定されたパラメータに基づいてレンダリング画像を生成する。具体的には、処理回路１８０は、レンダリングパラメータを用いて三次元データのレンダリング画像を生成する。レンダリングパラメータには、例えば、不透明度に関する伝達関数（オパシティカーブとも称する）、ベースカラーパラメータ、光特性マップ、および視点の位置の情報が含まれる。尚、レンダリング機能１８５Ｄによる処理は、グローバルイルミネーションレンダリング処理と呼ばれてもよい。

なお、レンダリング機能１８５Ｄにより処理回路１８０は、部位推定処理で用いられる簡易レンダリング画像を生成してもよい。簡易レンダリング画像の生成処理に関する計算量は、グローバルイルミネーション画像の生成処理に関する計算量よりも少ない。また、簡易レンダリング画像の生成処理は、全加算投影に限らず、データ全体を投影するレンダリング方式であればよい。

表示制御機能１８６は、画像生成機能１８３により生成された各種超音波画像データに基づく画像を出力装置１０３としてのディスプレイに表示させる機能である。具体的には、例えば、表示制御機能１８６により処理回路１８０は、画像生成機能１８３により生成されたＢモード画像データ、ドプラ画像データ、又はこれらの両方を含む画像データに基づく画像のディスプレイにおける表示を制御する。

より具体的には、処理回路１８０は、表示制御機能１８６により、例えば、超音波走査の走査線信号列を、テレビ等に代表されるビデオフォーマットの走査線信号列に変換（スキャンコンバート）し、表示用画像データを生成する。また、処理回路１８０は、表示用画像データに対し、ダイナミックレンジ、輝度（ブライトネス）、コントラスト、及びγカーブ補正、並びにＲＧＢ変換等の各種処理を実行してもよい。また、処理回路１８０は、表示用画像データに、種々のパラメータの文字情報、目盛り、ボディマーク等の付帯情報を付加してもよい。また、処理回路１８０は、操作者が入力装置により各種指示を入力するためのユーザインタフェース（ＧＵＩ：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を生成し、ＧＵＩをディスプレイに表示させてもよい。

また、表示制御機能１８６により処理回路１８０は、レンダリング機能１８５Ｄにより生成されたレンダリング画像を表示させてもよい。尚、処理回路１８０は、レンダリング画像と共に、レンダリング画像の設定に関するＧＵＩを表示してもよい。これにより、ユーザは、ＧＵＩに表示されているパラメータを変更することによって、レンダリング画像を所望する表示となるようリアルタイムに変化させることができる。ユーザが変更可能なパラメータは、例えば、オパシティパラメータ、ベースカラーパラメータ、およびレンダリングパラメータである。

システム制御機能１８７は、超音波診断装置１全体の動作を統括して制御する機能である。例えば、システム制御機能１８７によって処理回路１８０は、超音波の送受信に関するパラメータに基づいて超音波送信回路１１０および超音波受信回路１２０を制御する。

以上、第１の実施形態における超音波診断装置の構成について説明した。次に、第１の実施形態における部位推定処理およびレンダリング画像生成処理の一例として、胎児の撮影について説明する。尚、撮影する対象は胎児に限定されない。

図２は、胎児の代表的な撮り方を例示する説明図である。図２では、母体としての生体Ｐにおける胎児ＵＢの様子が模式的に示されている。胎児の超音波撮像において、ユーザは、観察対象としての胎児ＵＢがスキャン領域内に入るように超音波プローブ１０１を生体Ｐの体表へ押し当てる。そして、超音波診断装置１は、超音波スキャンを実行することにより、胎児ＵＢに関する三次元データを生成する。

また、図２に示される方向ｄは、観察対象から超音波プローブ１０１の放射面へ向かう方向を示している。一般に、超音波診断装置を用いて胎児の三次元超音波スキャンを実行する場合、プローブを当てている方向から見ることを想定している。よって、部位推定処理で用いる簡易レンダリング画像を生成する場合には、超音波診断装置１は、レイ方向を方向ｄに設定した後、三次元データに基づいて簡易レンダリング画像を生成する。

図３は、第１の実施形態に係る超音波診断装置の処理回路の動作の一例を示すフローチャートである。図３のフローチャートは、例えば、ユーザが内部透過表示モードを実行することにより開始される。尚、図３のフローチャートは、一つのデータセットから生成された三次元データに対するレンダリング画像の生成について説明するものである。以下では、具体例として、図２の胎児ＵＢのレンダリング画像を生成するものとする。

（ステップＳＴ１１０）
内部透過表示モードを実行すると、処理回路１８０は、取得機能１８５Ａを実行する。取得機能１８５Ａを実行すると、処理回路１８０は、二次元画像および三次元データを取得する。以下では、二次元画像として、超音波画像を取得した場合について説明する。

図４は、第１の実施形態における部位推定で用いる二次元画像の一例である。図４の超音波画像４００には、図２の胎児ＵＢの断面像４１０が含まれる。超音波画像４００は、三次元データを取得した超音波プローブ１０１の位置と同じ位置でスキャンされたものである。

（ステップＳＴ１２０）
二次元画像を取得した後、処理回路１８０は、部位推定機能１８５Ｂを実行する。部位推定機能１８５Ｂを実行すると、処理回路１８０は、二次元画像に基づいて部位を推定する。

図５は、第１の実施形態における部位推定処理の概要を説明するブロック図である。処理回路１８０は、取得された二次元画像に対して部位推定処理５００を実行することによって、推定結果として部位情報を生成する。部位推定処理５００は、ＤＮＮによる推論でもよいし、パターン認識による画像処理でもよい。部位情報は、例えば、部位の情報と二次元画像上の位置とが対応付けられている。尚、部位の情報が対応付けられた二次元画像を部位推定画像と呼ばれてもよい。

図６は、第１の実施形態における部位推定画像の一例である。図６の部位推定画像６００は、例えば、超音波画像４００に対して部位推定処理５００を実行することによって生成される。部位推定画像６００には、胎児ＵＢの全身の輪郭６１０と脳の領域６２０とが示されている。

（ステップＳＴ１３０）
部位を推定した後、処理回路１８０は、パラメータ設定機能１８５Ｃを実行する。パラメータ設定機能１８５Ｃを実行すると、処理回路１８０は、三次元データにおける推定部位の代表輝度値を取得する。具体的には、処理回路１８０は、二次元画像において部位推定された輪郭、或いは領域に対応する三次元データ上の複数の輝度値を取得する。処理回路１８０は、取得された複数の輝度値の平均、或いは中央値を代表輝度値とする。

（ステップＳＴ１４０）
代表輝度値を取得した後、処理回路１８０は、代表輝度値に対応する閾値を決定する。具体的には、処理回路１８０は、生体部位と閾値の幅とを対応付けたテーブルに基づいて代表輝度値の前後の輝度値を決定する。

（ステップＳＴ１５０）
閾値を決定した後、処理回路１８０は、代表輝度値および閾値に基づいてパラメータを設定する。具体的には、処理回路１８０は、代表輝度値および前後の閾値に基づいて不透明度に関する伝達関数を生成し、伝達関数に基づいてレンダリングパラメータを設定する。レンダリングパラメータに含まれる伝達関数以外のパラメータは、予め決められていてよい。以下では、代表輝度値が一つの場合の伝達関数と複数の場合の伝達関数とについて、図７および図８を用いて説明する。

図７は、第１の実施形態における輝度値と不透明度とを対応付けた伝達関数の第１の具体例である。図７の伝達関数７００は、代表輝度値Ｒに対応する不透明度を頂点とし、代表輝度値Ｒの前後の閾値である低輝度閾値ｔｈ１および高輝度閾値ｔｈ２と頂点とを結ぶ放物線で表される。代表輝度値Ｒに対応する不透明度は、例えば、部位に応じて予め決められている。また、低輝度閾値ｔｈ１および高輝度閾値ｔｈ２の不透明度はゼロである。即ち、伝達関数７００は、低輝度閾値ｔｈ１から高輝度閾値ｔｈ２までの範囲に含まれる三次元データ上の輝度値をレンダリング画像において可視化させるパラメータである。

図８は、第１の実施形態における輝度値と不透明度とを対応付けた伝達関数の第２の具体例である。図８の伝達関数８００は、代表輝度値Ｒ１に対応する不透明度を第１の頂点とし、代表輝度値Ｒ１の前後の閾値である低輝度閾値ｔｈ１１および高輝度閾値ｔｈ２と第１の頂点とを結ぶ第１の放物線と、代表輝度値Ｒ１よりも値の大きい代表輝度値Ｒ２に対応する不透明度を第２の頂点とし、代表輝度値Ｒ２の前後の閾値である低輝度閾値ｔｈ２１および高輝度閾値ｔｈ２２と第２の頂点とを結ぶ第２の放物線とで表される。代表輝度値Ｒ１および代表輝度値Ｒ２のそれぞれに対応する不透明度は、例えば、それぞれの部位に応じて予め決められている。また、低輝度閾値ｔｈ１１、高輝度閾値ｔｈ１２、低輝度閾値ｔｈ２１、および高輝度閾値ｔｈ２２の不透明度はゼロである。即ち、伝達関数８００は、低輝度閾値ｔｈ１１から高輝度閾値ｔｈ１２までの第１の範囲および低輝度閾値ｔｈ２１から高輝度閾値ｔｈ２２までの第２の範囲に含まれる三次元データ上の輝度値を可視化させるパラメータである。尚、ユーザが代表輝度値Ｒ１および代表輝度値Ｒ２の一方を選択して、選択された代表輝度値に基づく伝達関数を以降の処理に用いてもよい。

（ステップＳＴ１６０）
パラメータを設定した後、処理回路１８０は、レンダリング機能１８５Ｄを実行する。レンダリング機能１８５Ｄを実行すると、処理回路１８０は、設定されたパラメータに基づいてレンダリング画像を生成する。具体的には、処理回路１８０は、レンダリングパラメータを用いてグローバルイルミネーションレンダリング処理を実行することによってレンダリング画像を生成する。

（ステップＳＴ１７０）
レンダリング画像を生成した後、処理回路１８０は、表示制御機能１８６を実行する。表示制御機能１８６を実行すると、処理回路１８０は、レンダリング画像を出力装置１０３としてのディスプレイに表示させる。ステップＳＴ１７０の処理の後、図３のフローチャートは終了する。

上記のフローチャートにおいて、部位推定処理で用いる二次元画像に簡易レンダリング画像を使用する場合、ステップＳＴ１１０では三次元データのみを取得し、ステップＳＴ１１０の後に三次元データから簡易レンダリング画像を生成するステップが追加されてよい。よって、処理回路１８０は、最終的に表示されるレンダリング画像の生成前に簡易レンダリング画像を生成する。また、部位推定処理において、二次元画像として超音波画像および簡易レンダリング画像の両方を利用してもよい。

なお、図３の処理は、ユーザが内部透過表示モードを終了させるか、或いは別のモードに変更するまで繰り返し実行されてよい。

以上説明したように、第１の実施形態に係る超音波診断装置は、観察対象を含む三次元データに関連する二次元画像を取得し、二次元画像に基づいて観察対象の部位を推定し、推定された部位と三次元データとに基づいてレンダリングパラメータを設定し、レンダリングパラメータを用いて三次元データのレンダリング画像を生成する。

従って、第１の実施形態に係る超音波診断装置は、観察対象の部位について自動でレンダリングパラメータが設定されることにより、レンダリング画像のパラメータ設定に関するユーザの負担を軽減することができる。

（第２の実施形態）
第１の実施形態では、部位推定処理を含むレンダリング画像生成処理に関する複数の機能を有する超音波診断装置について説明した。他方、第２の実施形態では、これら複数の機能を有する情報処理装置について説明する。

図９は、第２の実施形態に係る情報処理装置の構成例を示すブロック図である。図９の情報処理装置９００は、入力装置９０１および出力装置９０２と接続されている。また、情報処理装置９００は、ネットワークＮＷを介して医用撮像装置９０３と接続されている。医用撮像装置９０３は、例えば超音波診断装置に相当する。尚、入力装置９０１および出力装置９０２は、図１の入力装置１０２および出力装置１０３と略同様である。

情報処理装置９００は、部位推定処理を含むレンダリング画像生成処理を実行しレンダリング画像を生成する装置である。情報処理装置９００は、記憶回路９１０と、入力インタフェース９２０と、出力インタフェース９３０と、通信インタフェース９４０と、処理回路９５０とを有している。

記憶回路９１０は、例えば、磁気的記憶媒体、光学的記憶媒体、または半導体メモリ等、プロセッサにより読み取り可能な記憶媒体等を有する。記憶回路９１０は、部位推定処理に関するプログラム、レンダリング画像生成処理に関するプログラム、および各種データなどを記憶している。プログラムおよび各種データは、例えば、記憶回路９１０に予め記憶されていてもよい。また、例えば、非一過性の記憶媒体に記憶されて配布され、非一過性の記憶媒体から読み出されて記憶回路９１０にインストールされてもよい。また、記憶回路９１０は、入力インタフェース９２０を介して入力される操作に従い、医用撮像装置９０３で生成されるＢモード画像データ、造影画像データ、血流映像に関する画像データ、および三次元データなどを記憶する。

なお、記憶回路９１０は、ＣＤドライブ、ＤＶＤドライブ、およびフラッシュメモリなどの可搬性記憶媒体との間で種々の情報を読み書きする駆動装置などであってもよい。記憶回路９１０は、記憶しているデータを可搬性記憶媒体へ書き込み、可搬性記憶媒体を介してデータを外部装置に記憶させることも可能である。

入力インタフェース９２０は、入力装置９０１を介し、操作者からの各種指示を受け付ける。入力装置９０１は、例えば、マウス、キーボード、パネルスイッチ、スライダースイッチ、トラックボール、ロータリーエンコーダ、操作パネル、およびタッチパネルである。入力インタフェース９２０は、例えばバスを介して処理回路９５０に接続され、操作者から入力される操作指示を電気信号へ変換し、電気信号を処理回路９５０へ出力する。なお、入力インタフェース９２０は、マウスおよびキーボード等の物理的な操作部品と接続するものだけに限られない。例えば、情報処理装置９００とは別体に設けられた外部の入力機器から入力される操作指示に対応する電気信号を受け取り、この電気信号を処理回路９５０へ出力する回路も入力インタフェースの例に含まれる。

出力インタフェース９３０は、例えば処理回路９５０からの電気信号を出力装置９０２へ出力するためのインタフェースである。出力装置９０２は、液晶ディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイ、プラズマディスプレイ、ＣＲＴディスプレイ等の任意のディスプレイである。出力装置９０２は、入力装置９０１を兼ねたタッチパネル式のディスプレイでもよい。出力装置９０２は、ディスプレイの他に、音声を出力するスピーカーを更に含んでもよい。出力インタフェース９３０は、例えばバスを介して処理回路９５０に接続され、処理回路９５０からの電気信号を出力装置９０２に出力する。

通信インタフェース９４０は、例えばネットワークＮＷを介して医用撮像装置９０３と接続され、医用撮像装置９０３との間でデータ通信を行う。

処理回路９５０は、例えば、情報処理装置９００の中枢として機能するプロセッサである。処理回路９５０は、記憶回路９１０に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。処理回路９５０は、例えば、取得部として機能する取得機能９５１Ａと、部位推定部として機能する部位推定機能９５１Ｂと、パラメータ設定部として機能するパラメータ設定機能９５１Ｃと、レンダリング部として機能するレンダリング機能９５１Ｄと、表示制御部として機能する表示制御機能９５２とを有している。

取得機能９５１Ａは、部位推定処理を含むレンダリング画像生成処理に関するデータを取得する機能である。具体的には、取得機能９５１Ａにより、処理回路９５０は、ユーザから入力されたパラメータ、情報処理装置９００にデフォルトで設定されているパラメータ、および医用撮像装置９０３から三次元データを取得する。

部位推定機能９５１Ｂと、パラメータ設定機能９５１Ｃと、レンダリング機能９５１Ｄと、表示制御機能９５２とのそれぞれは、例えば、第１の実施形態における部位推定機能１８５Ｂと、パラメータ設定機能１８５Ｃと、レンダリング機能１８５Ｄと、表示制御機能１８６とのそれぞれと略同様の機能を有する。

なお、情報処理装置９００は、医用撮像装置９０３から受け取った生体に関するデータ（例えば、超音波診断装置における受信信号）に基づいて三次元データを生成してもよい。

従って、第２の実施形態に係る情報処理装置は、第１の実施形態の効果と同様の効果が期待できる。

（他の実施形態）
上記各実施形態では、部位推定処理において推定された一つの推定結果に基づいてレンダリング画像を表示することについて説明した。他方、他の実施形態では、複数の推定結果に基づいて複数のレンダリング画像を表示することについて説明する。

複数の推定結果は、胎児のスキャンを例にすると、全身のみの第１の推定結果と、頭部および全身の第２の推定結果である。第１の推定結果では、例えば、図７に示した伝達関数７００が生成され、第２の推定結果では、例えば、図８に示した伝達関数８００が生成されるものとする。

超音波診断装置、或いは情報処理装置は、伝達関数７００に基づいて設定された第１のレンダリングパラメータを用いて第１のレンダリング画像を生成し、伝達関数８００に基づいて設定された第２のレンダリングパラメータを用いて第２のレンダリング画像を生成し、これらのレンダリング画像をディスプレイに表示させる。これにより、ユーザは、ディスプレイに表示された第１のレンダリング画像および第２のレンダリング画像から所望の画像を選択することができる。

以上説明した少なくとも一つの実施形態によれば、レンダリング画像のパラメータ設定に関するユーザの負担を軽減することができる。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 超音波診断装置
１００ 装置本体
１０１ 超音波プローブ
１０２ 入力装置
１０３ 出力装置
１０４ 外部装置
１１０ 超音波送信回路
１２０ 超音波受信回路
１３０ 内部記憶回路
１４０ 画像メモリ
１５０ 入力インタフェース
１６０ 出力インタフェース
１７０ 通信インタフェース
１８０ 処理回路
１８１ Ｂモード処理機能
１８２ ドプラ処理機能
１８３ 画像生成機能
１８４ 三次元データ生成機能
１８５Ａ 取得機能
１８５Ｂ 部位推定機能
１８５Ｃ パラメータ設定機能
１８５Ｄ レンダリング機能
１８６ 表示制御機能
１８７ システム制御機能
４００ 超音波画像
４１０ 断面像
５００ 部位推定処理
６００ 部位推定画像
６１０ 輪郭
６２０ 領域
７００，８００ 伝達関数
９００ 情報処理装置
９０１ 入力装置
９０２ 出力装置
９０３ 医用撮像装置
９１０ 記憶回路
９２０ 入力インタフェース
９３０ 出力インタフェース
９４０ 通信インタフェース
９５０ 処理回路
９５１Ａ 取得機能
９５１Ｂ 部位推定機能
９５１Ｃ パラメータ設定機能
９５１Ｄ レンダリング機能
９５２ 表示制御機能
ｄ 方向
ＮＷ ネットワーク
Ｐ 生体
Ｒ，Ｒ１，Ｒ２ 代表輝度値
ｔｈ１，ｔｈ１１，ｔｈ２１ 低輝度閾値
ｔｈ２，ｔｈ１２，ｔｈ２２ 高輝度閾値
ＵＢ 胎児

Claims (15)

1. 観察対象を含む三次元データに関連する二次元画像を取得する取得部と、
   前記二次元画像に基づいて前記観察対象の部位を推定する部位推定部と、
   推定された前記部位と前記三次元データとに基づいてレンダリングパラメータを設定するパラメータ設定部と、
   前記レンダリングパラメータを用いて前記三次元データのレンダリング画像を生成するレンダリング部と
   を具備する、情報処理装置。
2. 前記二次元画像は、前記三次元データを取得した超音波プローブの位置と同じ位置でスキャンされた超音波画像である、
   請求項１に記載の情報処理装置。
3. 前記二次元画像は、前記三次元データの全体を投影するレンダリング方式を用いてレンダリングされた簡易レンダリング画像である、
   請求項１に記載の情報処理装置。
4. 前記レンダリング部は、前記レンダリング画像の生成前に前記簡易レンダリング画像を生成する、
   請求項３に記載の情報処理装置。
5. 前記レンダリング部は、前記三次元データを全加算投影することによって前記簡易レンダリング画像を生成する、
   請求項４に記載の情報処理装置。
6. 前記レンダリング部は、前記三次元データを取得した超音波プローブの放射面へ向かう方向をレイ方向として前記簡易レンダリング画像を生成する、
   請求項４または請求項５に記載の情報処理装置。
7. 前記パラメータ設定部は、前記部位に対応する前記三次元データの輝度値に基づく代表輝度値に基づいて前記レンダリングパラメータを設定する、
   請求項１から請求項６までのいずれか一項に記載の情報処理装置。
8. 前記パラメータ設定部は、生体部位と閾値の幅とを対応付けたテーブルに基づいて前記代表輝度値の前後の閾値を決定し、前記代表輝度値および前記前後の閾値に基づいて前記レンダリングパラメータを設定する、
   請求項７に記載の情報処理装置。
9. 前記パラメータ設定部は、前記代表輝度値および前記前後の閾値に基づいて不透明度に関する伝達関数を生成し、前記伝達関数に基づいて前記レンダリングパラメータを設定する、
   請求項８に記載の情報処理装置。
10. 前記レンダリング部は、グローバルイルミネーションレンダリング処理を実行することによって前記レンダリング画像を生成する、
    請求項１から請求項９までのいずれか一項に記載の情報処理装置。
11. 前記観察対象は、胎児である、
    請求項１から請求項１０までのいずれか一項に記載の情報処理装置。
12. 前記部位は、脳、頭部、背骨および全身のいずれか一つである、
    請求項１から請求項１１までのいずれか一項に記載の情報処理装置。
13. 超音波プローブによって取得されたエコー反射強度に基づいて前記三次元データを生成する三次元データ生成部
    を更に具備する、請求項１から請求項１２までのいずれか一項に記載の情報処理装置。
14. 生体からのエコー反射強度を取得する超音波プローブと、
    前記エコー反射強度に基づいて三次元データを生成する三次元データ生成部と、
    請求項１から請求項１２までのいずれか一項に記載の情報処理装置と
    を具備する、超音波診断装置。
15. 観察対象を含む三次元データに関連する二次元画像を取得することと、
    前記二次元画像に基づいて前記観察対象の部位を推定することと、
    推定された前記部位と前記三次元データとに基づいてレンダリングパラメータを設定することと、
    前記レンダリングパラメータを用いて前記三次元データのレンダリング画像を生成することと
    を具備する、方法。