JP2014087512A - 超音波診断装置 - Google Patents

Abstract

【課題】
本発明は、三次元表示技術を搭載した超音波診断装置に関し、フレームレートの低下を抑えつつパターン認識処理を行なう。
【解決手段】
被検体内への超音波の送波と被検体内で反射して戻ってきた超音波の受波とを繰り返し、超音波の送受波の繰り返しから得られた情報に基づいて、被検体内の観察対象の三次元対象物が投影平面に投影された画像を構築する画像構築部と、画像構築部で構築された画像を表示する画像表示部と、三次元対象物上の認識対象のパターンを三次元対象物の深度分布情報に基づいて認識するパターン認識部とを備えた。
【選択図】 図２

Description

本発明は、人体等の被検体の内部組織を画像化して診断に役立てる超音波診断装置に関する。

従来より医療診断の分野で超音波診断装置が広く用いられている。近年では、この超音波診断装置において、三次元表示技術が開発されてきている（非特許文献１参照）。この三次元表示技術によれば、体内の組織の画像を立体的に視認することができ、医療診断に一層の貢献をもたらすことが期待される。臨床検査技師や医師等が超音波診断装置を操作し三次元表示技術を使って患者体内の画像をモニタ画面上に写し出していて、例えば病変らしき組織など、何か気になる組織等を発見したとする。三次元表示技術を使うと、従来の２次元Ｂモード表示等と比べ、気になる組織等に気づき易いと考えられる。ところが、体内は常に動いているため、気になる組織等を一瞬発見しても次の瞬間には画像上から消滅してしまい、もう一度画像上に写し出そうとしてもなかなか難しい場合がある。

そこで、例えば胎児の顔など、組織等によっては、カメラに実装されるような顔認識技術（非特許文献２参照）などの既存のパターン認識技術を適用して画像上にその組織等があらわれたことを認識し、画像をフリーズしたり、その組織等があらわれた時点の画像を記憶させて後で確認することが有効と考えられる。

日本放射線技術学会雑誌 第６０巻 第５号 ６５４−６６０頁 "基礎講座−超音波− 超音波三次元表示とコンパウンド法" 藤枝市立総合病院超音波科 秋山敏一・北川敬康・溝口賢哉 Ｐ．Ｖｉｏｌａ ａｎｄ Ｍ．Ｊｏｎｅｓ，"Ｒｏｂｕｓｔ ｒｅａｌ ｔｉｍｅ ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ，"Ｉｎ ＩＥＥＥ ＩＣＣＶ Ｗｏｒｋｓｈｏｐ ｏｎ Ｓｔａｔｉｓｔｉｃａｌ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｔｈｅｏｒｉｅｓ ｏｆ Ｖｉｓｉｏｎ，Ｊｕｌｙ ２００１．

ここで、三次元表示技術が搭載された超音波診断装置における、画像表示のフレームレートは、１６フレーム／ｓｅｃ．程度である。１６フレーム／ｓｅｃ．の場合、１フレームレートあたり６２．５ｍｓｅｃ．の時間を要している。

本来はもっと高いフレームレートの画像を表示したいところであるが、処理に時間がかかりこの程度のフレームレートしか実現できていないのが現状である。

一方、カメラでは、イメージセンサで画像を読み取り、その読み取った画像上に顔のパターンが存在するか否かという、パターン認識処理の一例である。顔認識処理が実行されるが、この顔認識処理には、一回の処理あたり５０ｍｓｅｃ．程度の時間を要している。

したがって仮に、この三次元表示技術にカメラの顔認識技術を単純に適用すると、１フレームあたり、６２．５ｍｓｅｃ＋５０ｍｓｅｃ＝１１２．５ｍｓｅｃ．の時間を要し、現状でも低い１６フレーム／ｓｅｃというフレームレートがさらに約半分の８．８フレーム／ｓｅｃ．程度にまで低下してしまう結果を招くことになる。

本発明は、フレームレートの低下を抑えつつパターン認識処理を行なうことのできる超音波診断装置を提供することを目的とする。

上記目的を達成する本発明の超音波診断装置は、
被検体内への超音波の送波と該被検体内で反射して戻ってきた超音波の受波とを繰り返し、超音波の送受波の繰り返しから得られた情報に基づいて、被検体内の観察対象の三次元対象物が投影平面に投影された画像を構築する画像構築部と、
画像構築部で構築された画像を表示する画像表示部と、
三次元対象物上の認識対象のパターンをその三次元対象物の深度分布情報に基づいて認識するパターン認識部とを備えたことを特徴とする。

ここで、本発明の超音波診断装置において、上記パターン認識部が、画像構築部による画像の構築完了を待たずに、投影平面側から見たときの三次元対象物上に、認識対象のパターンが存在するか否かの認識処理を開始するものであることが好ましい。

また、本発明の超音波診断装置において、パターン認識部により認識対象のパターンが認識された時点の画像を保持する画像保持部と、画像保持部に保持されている画像を画像表示部に表示させる表示制御部とを備えることが好ましい。

また、本発明は、パターン認識部により胎児の顔を認識する場合に好適である。

カメラにおける顔認識処理等のパターン認識を単純に適用しようとするとモニタ画面上に表示される画像を算出してからパターン認識処理を開始することになる。ここで、超音波診断装置の場合、カメラとは異なり、モニタ画面上に写し出される輝度分布情報としての画像のほか、被検体に超音波を送波してからその超音波が反射して戻ってくるまでの時間により被検体の組織の深度情報が得られる。本発明はこの点に着目した発明であり、フレームレートの維持とパターン認識処理の導入を両立させることが可能となる。

以上の本発明の超音波診断装置によれば、フレームレートの低下を抑えつつパターン認識処理を実行することができる。

一実施形態としての超音波診断装置の概要を示すブロック図である。 図１に示す超音波診断装置で実行される処理フローを示した図である。 図１に示す超音波診断装置で実行される処理を模式的に図解して示した説明図である。

以下、本発明の実施の形態を説明する。

図１は、一実施形態としての超音波診断装置の概要を示すブロック図である。

この超音波診断装置１００は、装置本体１０と超音波プローブ３０を有する。超音波プローブ３０は、超音波深触子３１と、この超音波深触子３１を装置本体１０と繋ぐケーブル３２とを有する。この超音波深触子３１は、いわゆるコンベックス型であり、複数の超音波振動子３１１が、矢印Ａ−Ａ方向に円弧状に配列されている。この超音波深触子３１は、被検体、ここでは人体２００の体表にあてがわれ、後述するようにして超音波パルスの送受信を行なう。これにより、人体内の輝度情報と深度情報が得られる。ここで、輝度情報は、超音波パルスが人体内に送波され人体内で反射して戻ってくるまでの間の超音波パルスの減衰率や人体内での超音波の反射率などの情報が複合されたものである。また、深度情報は、超音波パルスの送波から反射超音波の受波までの間の時間間隔により得られる情報である。

この超音波深触子３１は、超音波パルスの送受波を繰り返す間、図示しないモータにより、矢印Ｂ−Ｂ方向に繰り返し扇状に往復動作する。これにより、この超音波深触子では人体内の３次元的な情報が収集される。

装置本体１０は、送波部１１と受波部１２を有する。送波部１１は、超音波深触子３１を構成する複数の超音波振動子３１１それぞれに向けてパルス信号を送り、それらの超音波振動子３１１を振動させて人体内に向けて超音波パルスを送波させる役割りを担っている。それら複数の超音波振動子３１１に送る各パルス信号相互の送信タイミングを調整することにより人体内に超音波パルスビームを形成し、かつその超音波パルスビームを矢印Ａ−Ａ方向に順次に向きを変えることができる。この技術は超音波診断装置では良く知られた技術であり、詳細説明は省略する。

人体内で反射して戻ってきた超音波パルスは、複数の超音波振動子３１１それぞれを振動させ、それらの超音波振動子３１１の振動がそれぞれピックアップされて電気信号に変換され、ケーブル３２を介して受波部１２に送られる。

受波部１２では、複数の超音波振動子３１１の振動のピックアップにより得られた複数の電気信号を相互に遅延した上で相互に加算することにより人体内に延びる超音波パルスビームに沿った信号の生成（ビームフォーミング）が行なわれる。この遅延加算によるビームフォーミングの技術も超音波診断装置では良く知られた技術であり、詳細説明は省略する。

受波部１２でビームフォーミングを行なった後の受信信号は画像構築部１３に入力される。

本実施形態では、一例として妊婦のお腹の胎児の頭部を観察対象としており、この画像構築部１３では、その観察対象の胎児頭部を指定された視点から見たときの三次元画像が構築される。この場合、胎児の頭部は本発明にいう三次元対象物の一例に相当する。この画像構築部１３で構築されたデータ上の画像は、切替部１４およびフレームメモリ１５を経由してディスプレイ１６に送られ、そのディスプレイ１６上に表示されて観察者による画像観察に供される。また、詳細は後述するが、この画像構築部１３で三次元画像が構築されつつある中間的な段階でその中間的な段階のデータが顔認識部１７に送られる。顔認識部１７では、その受け取ったデータに基づいて、画像構築部１３で構築されたデータ上の胎児頭部に胎児の顔があらわれているか否かの顔認識処理が実行される。この胎児の顔は、本発明にいう認識対象のパターンの一例に相当する。

顔認識部１７は、胎児の顔を認識すると、画像記憶部１８に向けて、画像構築部１３で今回のフレームについて構築された三次元画像を記憶するよう指令を出す。すると画像記憶部１８は、画像構築部１３で構築されて切替部１４に向かう今回のフレームの三次元画像を記憶する。

この装置本体１０はさらに操作部１９と制御部２０を備えている。操作部１９は、この超音波診断装置１００を操作する、超音波技師や医師等の操作者による様々な指示操作を受け付ける役割りを担っており、様々なスイッチやボタン、ダイヤル等から構成されている。操作部１９で受けた操作内容は制御部２０に伝達される。この制御部２０はこの操作部１９の操作内容に応じて、この装置本体１００の全体を制御する。特に、切替部１４の制御として、１つには、画像構築部１３からフレームメモリ１５に向かう画像データの流れを遮断してフレームメモリ１５上の画像データの書き換えを停止することによりディスプレイ１６上に静止画像を表示させる、いわゆるフリーズ処理を行なう。これは、顔認識部１７で胎児の顔が認識された時点のフレームをディスプレイ１６上に静止画像として暫らくの間表示させ、その静止画像を観察者の用に供するための処理である。またこの制御部２０は、切替部１４を切り替えて画像記憶部１８から読み出された画像データをフレームメモリ１５に送らせ、画像記憶部１８に記憶されていた画像をディスプレイ１６上に表示させる処理を行なう。これは、画像記憶部１８に記憶された、胎児の顔が認識された時点の過去の画像をディスプレイ１６上に表示させて観察者の用に供するための処理である。

図２は、図１に示す超音波診断装置で実行される処理フローを示した図である。また図３は、図１に示す超音波診断装置で実行される処理を模式的に図解して示した説明図である。

ここでは先ず三次元画像構築の基礎となるデータ収集が行なわれる（ステップＳ１０）。このデータ収集は、図１に示す超音波診断装置１００の、送波部１１による送波処理および受波部１２による受波およびビームフォーミング処理の繰り返しにより行われる。このデータ収集処理では、図３（Ａ）に模式的に示す、矢印Ａ−Ａ方向に扇状に二次元的に広がる面内の二次元画像であって矢印Ｂ−Ｂ方向に少しずつずれた複数の二次元画像の集合が収集される。

このデータ収集処理（ステップＳ１０）に続き、次にボクセルデータ構築処理が行なわれる（ステップＳ２０）。このボクセルデータ構築処理（ステップＳ２０）および後述するレンダリング処理（ステップＳ３０）は、図１に示す超音波診断装置１００の装置本体１０内の画像構築部１３で実行される演算処理である。このボクセルデータ構築処理により生成されるボクセルデータは、図３（Ｂ）に示すように、収集されたデータ（図３（Ａ））に基づき補間演算処理等を経て生成される、人体内空間を（ｘ，ｙ，ｚ）方向に等間隔に区切ったときの各区画（ボクセル）ごとのデータである。

このボクセルデータ構築処理（ステップＳ２０）が行なわれた後、次に、レンダリング処理が実行される（ステップＳ３０）。このレンダリング処理には大別してサーフェスレンダリング処理とボリウムレンダリング処理とがあるが、ここでは、例えば、サーフェスレンダリング処理が行なわれる。

このレンダリング処理（ステップＳ３０）では、先ず対象物抽出処理（ステップＳ３１）が行なわれる（図３（Ｃ）参照）。この対象物抽出処理は、ステップＳ２０で構築されたボクセルデータ上の輝度データの閾値処理等により、例えばＢモード画像上などで操作者によりあらかじめ指定されている関心領域（ＲＯＩ）内から認識対象の対象物（ここでは胎児の頭部）を切り出す処理である。このレンダリング処理（ステップＳ３０）では、対象物（ここでは胎児頭部）の抽出処理に続き、中間データ構築処理（ステップＳ３１）が行なわれる。この中間データ構築処理は、抽出した対象物（ここでは胎児頭部）の表面をボリゴンと称される三角形の平面の集合に置き換えたデータを構築する処理である。

その後、投影平面への投影と陰影付けの処理が行なわれる（ステップＳ３３、図３（Ｄ）参照）。投影処理は、対象物（胎児頭部）と、操作者よりあらかじめ設定されている視点との間に投影平面を設定し、その投影平面上にその対象物を投影した画像を表わすデータを構築する処理である。投影処理は大別して平行投影と透視投影（中心投影）とが知られている。透視投影は投影平面に近い部分が大きく、遠い部分が小さく表示することにより遠近を強調する投影処理である。

また陰影付けの処理は、単に投影しただけでは画像が平面的に見えるため、その投影画面が立体的に見えるようにその投影画面に陰影付けを行なう処理である。この陰影付け処理には、デプスキューイング法やフォンシェーディング法が知られている。デプスキューイング法は投影平面に近い部分ほど明るく表示する処理である。またフォンシェーディング法は、対象物の、投影平面を向いた面を明るく、投影平面とは角度を持った面を暗く表示する処理である。

この投影および陰影付け処理（ステップＳ３３）によりレンダリング処理（ステップＳ３０）が終了する。ここでは、このレンダリング処理（ステップＳ３０）で生成された画像を三次元画像と称する。このレンダリング処理（ステップＳ３０）により構築された三次元画像は、切替部１４を経てディスプレイ１６上に表示される。この三次元画像は、１６フレーム／ｓｅｃ．で実時間的に更新される画像である。

操作者により視点が変更されると、ディスプレイ１６上には、新たな視点から眺めた状態の三次元画像が表示される。

ここで、この超音波診断装置１００では、レンダリング処理（ステップＳ３０）による三次元画像の構築の終了を待たずに、そのレンダリング処理（ステップＳ３０）のうちの対象物抽出処理（ステップＳ３１）が終了した時点で、構築された対象物抽出データが顔認識部１７（図１参照）に送られ、画像構築部１３での投影および陰影付け処理（ステップＳ３３）と並行して顔認識処理（ステップＳ４０）が実行される。ここでは、対象物（胎児頭部）が、視点ないし投影平面を基準とする深度分布に基づいて顔認識処理が行なわれる。カメラ等では、対象物の輝度分布（明暗の分布）に基づく演算により顔認識処理が行なわれる。この超音波診断装置１００でも輝度情報が得られるためカメラ等で採用されている顔認識処理を単純に適用すると、輝度情報に基づく顔認識処理を行なうことになる。しかしながら、投影および陰影付け処理（図２ステップＳ３３）以前の輝度情報は主に超音波の反射率の情報であり、人体内の対象物（胎児の頭部）の僅かな動きにより大きく変化する。このため、この輝度情報に基づいて顔認識処理を行なうと認識率が大きく低下し、また誤認識も大きく増えることになる。一方、投影および陰影付け処理（図２ステップＳ３３）後の輝度情報は、例えばデプスキューイング法では投影平面からの距離を輝度に変換した情報であり、深度情報と同様の意味を持ち、同様の精度の顔認識処理の実現が期待できる。しかしながら、この投影および陰影付け処理後の輝度情報を用いて顔認識処理を行なうには、投影および陰影付け処理終了後に顔認識処理を行なうことにより、フレームレートが半分程度にまで低下するおそれがある。

本実施形態では、深度情報を採用して顔認識処理が行なわれる（前掲の非特許文献２参照）。このため、投影および陰影付け処理を待たずに顔認識処理が開始され、フレームレートの低下を抑えつつ高精度な顔認識処理が実現する。

顔認識処理は、特定の手法に限定されるものではないが、本実施形態では、矩形特徴による顔認識処理が行なわれる（図３（Ｅ）参照）。

矩形特徴は、互いに隣接する複数の小矩形から構成される。それらの小矩形を画像上の領域に当てはめて各小矩形領域ごとに平均値（ここでは深度情報を採用しているため平均深度）が計算され、それらの小矩形領域ごとの平均深度の差分等に基づいて顔が存在するか否かが判定される。

この矩形特徴を用いた顔認識処理技術や、その他様々な顔認識技術が広く知られており、一方、本発明は特定の顔認識技術に限定されるものではなく、ここではこの程度の紹介にとどめる。

顔認識処理（図２ステップＳ４０）において顔の存在が認識されると（ステップＳ４１）、そのフレームの、投影および陰影付け処理（ステップＳ３３）の後の三次元画像が画像記憶部１８（図１参照）に保存される。その保存された画像は、切替部１４の切り替えにより、ディスプレイ１６上に表示される。また、この図２の処理フローには示されていないが、顔の存在が認識された時点のフレームの画像をフリーズ表示してもよい。

本実施形態では、深度情報を用いて顔認識処理を行なっているため、フレームレートの低下を抑えつつ胎児の顔の高精度な認識が可能である。

尚、ここでは、胎児の顔の認識を例に挙げて説明したが、胎児の顔の認識処理は、本発明にいうパターン認識処理の一例であり、本発明は、深度情報を用いたパターン認識処理、例えば胎児の手やその他の部位の認識処理や胎児とは無関係に病変部などの認識処理に広く適用することができる。

１０ 装置本体
１１ 送波部
１２ 受波部
１３ 画像構築部
１４ 切替部
１５ フレームメモリ
１６ ディスプレイ
１７ 顔認識部
１８ 画像記憶部
１９ 操作部
２０ 制御部
３０ 超音波プローブ
３１ 超音波深触子
３１１ 超音波振動子
３２ ケーブル
１００ 超音波診断装置
２００ 人体

Claims (4)

1. 被検体内への超音波の送波と該被検体内で反射して戻ってきた超音波の受波とを繰り返し、該超音波の送受波の繰り返しから得られた情報に基づいて、被検体内の観察対象の三次元対象物が投影平面に投影された画像を構築する画像構築部と、
   前記画像構築部で構築された画像を表示する画像表示部と、
   前記三次元対象物上の認識対象のパターンを該三次元対象物の深度分布情報に基づいて認識するパターン認識部とを備えたことを特徴とする超音波診断装置。
2. 前記パターン認識部が、前記画像構築部による前記画像の構築完了を待たずに、前記投影平面側から見たときの前記三次元対象物上に、認識対象のパターンが存在するか否かの認識処理を開始するものであることを特徴とする請求項１記載の超音波診断装置。
3. 前記パターン認識部により認識対象のパターンが認識された時点の前記画像を保持する画像保持部と、
   前記画像保持部に保持されている画像を前記画像表示部に表示させる表示制御部とを備えたことを特徴とする請求項１又は２記載の超音波診断装置。
4. 前記パターン認識部が、胎児の顔を認識するものであることを特徴とする請求項１から３のうちいずれか１項記載の超音波診断装置。

Images