以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。ただし、以下の説明において特に断らない限り、方向や向きに関する記述は、当該説明の便宜上、図面に対応するものであり、例えば実施品、製品または権利範囲等を限定するものではない。
図1は、心臓診断支援システム1の概観図である。なお、図1には、妊婦5、妊婦5の体内の胎児5a、および、胎児5aの心臓部分5bを図示している。心臓部分5bは、心臓診断支援システム1の診断対象、または、後述するモデルを作成する場合のサンプルである。
また、以下の説明において、「使用者」とは心臓診断支援システム1を使用する者を意味する。使用者は、医師に限られるものではなく、技師やオペレータなども含んでおり、必ずしも特定の同一人物でなくてもよい。
心臓診断支援システム1は、超音波検査装置2、スキャニング装置(三次元超音波プローブ)3、および、心臓モデル導入装置4を備えている。
図2は、超音波検査装置2のブロック図である。超音波検査装置2は、CPU20、記憶装置21、入力部22、表示部23および通信部24を備えている。
CPU20は、記憶装置21に格納されているプログラム210を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU20は、超音波検査装置2が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、超音波検査装置2は、一般的なコンピュータとして構成されている。
記憶装置21は、超音波検査装置2において各種データを記憶する機能を提供する。言い換えれば、記憶装置21が超音波検査装置2において電子的に固定された情報を保存する。
記憶装置21としては、CPU20の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD-ROM、DVD-ROM、PCカード、SDカード、USBメモリなど)等が該当する。図2においては、記憶装置21を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置21は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置21は、データを記憶する機能を有する装置群の総称である。
また、現実のCPU20は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU20が備える記憶装置も、説明の都合上、記憶装置21に含めて説明する。すなわち、以下の説明では、一時的にCPU20自体が記憶するデータも、記憶装置21が記憶するとして説明する。図2に示すように、記憶装置21は、プログラム210を記憶するために使用される。
入力部22は、超音波検査装置2に対して使用者が指示を入力するために操作するハードウェアである。入力部22としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
表示部23は、各種データを表示することにより使用者に対して当該データを出力する機能を有するハードウェアである。表示部23としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどが該当する。
通信部24は、CPU20からの制御信号に応じて、超音波検査装置2とスキャニング装置3との間で、データ通信を行う機能を有している。
また、通信部24は、超音波検査装置2をネットワーク9に、データ通信が可能な状態で接続する機能を有している。図2に示すように、ネットワーク9には、心臓モデル導入装置4が接続されている。したがって、超音波検査装置2は、通信部24によって、心臓モデル導入装置4との間で、ネットワーク9を介したデータ通信が可能である。
なお、ネットワーク9は、LANやインターネット、一般公衆網などに限られるものではない。例えば、超音波検査装置2と心臓モデル導入装置4とを直接ケーブルで接続する形態であってもよい。また、ネットワーク9は、有線に限定されるものでもなく、無線(図1参照)であってもよい。すなわち、超音波検査装置2と心臓モデル導入装置4との間で、所定のプロトコルを用いたデータ通信が可能であれば、ネットワーク9はどのような形態のものでもよい。また、超音波検査装置2が心臓モデル導入装置4を含むように一体的に、すなわち、心臓モデル導入装置4が超音波検査装置2の拡張機能を発揮するための装置として構成してもよい。
図3は、超音波検査装置2が備える機能ブロックをデータの流れとともに示す図である。図3に示す通信制御部200およびデータ処理部201は、CPU20がプログラム210に従って動作することにより実現される機能ブロックである。
症例データ211は、心臓部分5bまたは胎児5aを個々に識別するための個体識別子を含んでいる。すなわち、同一の個体識別子で示される心臓部分5bは、同一人物(胎児5a)の心臓であることを示している。なお、一人の妊婦5に対して胎児5a(心臓部分5b)は複数人存在することもあるため、個体識別子は妊婦5ごとに付与されるものではない。症例データ211は、例えば、使用者が入力部22を操作することにより入力されたデータに基づいて、データ処理部201によって作成される。また、症例データ211は、先述の識別子以外のデータを含んでいてもよい。例えば、対応する妊婦5の識別子、妊娠週数、疾病の有無や履歴、血液型、検査時刻、診断対象かサンプルかを示す用途識別子、医療機関の識別子などを含んでいてもよい。
エコー信号データ212は、スキャニング装置3によって収集され、超音波検査装置2に向けて送信されるデータである。詳述すると、エコー信号データ212は、スキャニング装置3から発信された超音波が臓器や組織からはね返ってくる反射の波(エコー)を検知した信号データである。
エコーデータ213は、データ処理部201によって作成されるデータである。詳述すると、エコーデータ213は、エコー信号データ212におけるエコーの送信から受信までの時間等に基づいて各組織の位置を測定し、測定した位置を三次元映像にグラフィックス表示可能なエコーデータ213として記憶する。
通信制御部200は、データ処理部201からの指示信号に応じて、通信部24を制御する機能を有する。
例えば、通信制御部200は、エコー信号データ212の取得を開始させる制御信号をスキャニング装置3に向けて送信するように通信部24を制御する。また、スキャニング装置3が取得したエコー信号データ212を送信させる制御信号をスキャニング装置3に向けて送信するように通信部24を制御する。
また、通信制御部200は、スキャニング装置3から送信され、通信部24によって受信されたエコー信号データ212を記憶装置21に記憶させる。
さらに、通信制御部200は、記憶装置21に記憶されているエコーデータ213をネットワーク9を介して心臓モデル導入装置4に向けて送信するように通信部24を制御する。
このように、通信制御部200と通信部24とが互いに協働して動作することにより、超音波検査装置2において、スキャニング装置3または心臓モデル導入装置4との間のデータ通信機能が実現される。
なお、超音波検査装置2が、スキャニング装置3または心臓モデル導入装置4との間で送受信するデータは、ここに列挙したデータに限定されるものではない。例えば、スキャニング装置3によるエコー信号データ212の取得を停止させる制御信号なども送受信される。
データ処理部201は、記憶装置21に記憶されているエコー信号データ212を画像化処理する機能を有している。エコー信号データ212は、通常、スキャニング装置3が検出したLAWデータである。このようなデータが出力されたとしても、使用者は内容を容易に知覚することができない。したがって、データ処理部201は、使用者が知覚可能なように画像を表現したデータにエコー信号データ212を変換する。なお、データ処理部201が実行する画像化処理は、例えば、従来の技術を適宜採用することができるため、詳細な説明は省略する。
データ処理部201は、画像化処理されたエコー信号データ212を、適宜、表示部23に転送し、表示させる。したがって、使用者は、表示部23を確認することにより、例えば、どのような状態の心臓部分5bのエコー信号データ212が得られているかを確認することができる。
また、データ処理部201は、エコー信号データ212に基づいて、エコーデータ213を作成する機能を有している。
エコー信号データ212は、随時、継続的に取得されるデータである。また、人の心臓は絶えず鼓動しているため、拡縮を繰り返しており、心臓部分5bは静止していない。すなわち、エコー信号データ212は、鼓動に起因する動きに関する情報を含んでいる。一方で、心臓部分5bの三次元モデル(詳細後述)を作成するために使用されるエコーデータ213は、本実施の形態においては、動きに関する情報は不要である。
データ処理部201は、タイミング(以下、「抽出タイミング」と称する。)を決定することにより、エコーデータ213として採用するエコー信号データ212を決定する。言い換えれば、所定の期間、継続的に取得されたエコー信号データ212の中から、データ処理部201は、抽出タイミングにおける心臓部分5bを示すエコー信号データ212のみを抽出してエコーデータ213を作成する。また、抽出タイミングを決定することは、エコーデータ213として採用するエコー信号データ212の取得された時刻(取得時刻)を決定することと実質的に同義である。これにより、エコーデータ213は、静止した状態の心臓部分5bを表現したデータとなる。
なお、抽出タイミングによって、心臓部分5bの形状は異なる。すなわち、心臓部分5bの三次元モデルを作成するためには、抽出タイミングとして、どのようなタイミングを選択するかということは、重要である。原則として、心臓が最も膨らんでおり、心臓の主な構成部である左心房部、右心房部、左心室部および右心室部が均等に膨らんでいる拡張末期(収縮開始直前)のタイミングが抽出タイミングとして好ましいと考えられる。
したがって、本実施の形態では、まず、エコー信号データ212を分析することにより心臓の鼓動周期を検出する。そして、検出した鼓動周期の期間のエコー信号データ212において、所定の時間間隔ごとに、左心房部、右心房部、左心室部および右心室部の面積をそれぞれ演算し、これらの構成が均等に膨らんでいる瞬間を拡張末期のタイミングとして検出する。
なお、拡張末期のタイミングを検出する方法は、これに限定されるものではない。例えば、心臓部分5bの全体の断面面積が最大の瞬間を拡張末期のタイミングとみなしてもよい。あるいは、心臓部分5bが最も縮んだ瞬間を検出して、当該瞬間からの経過時間(鼓動周期に基づいて求めることができる。)によって拡張末期のタイミングを予測してもよい。
さらにデータ処理部201は、作成したエコーデータ213を記憶装置21に転送して記憶させる。これにより、超音波検査装置2は、エコー信号データ212を処理してエコーデータ213を作成するエコーデータ作成装置として構成されている。
なお、データ処理部201は、作成したエコーデータ213に症例データ211を付加する。これにより、以後の処理において、エコーデータ213は、いずれの(誰の)心臓部分5bであるか等を識別することが可能である。
また、本実施の形態では、エコーデータ213に含まれるエコー信号データ212として、エコー信号データ212を画像化処理したデータを用いる。
また、データ処理部201は、1回の抽出タイミングによって作成されるエコーデータ213を1つのエコーデータ213とする。したがって、例えば、異なる胎児5aから取得したエコーデータ213は、それぞれ異なるエコーデータ213として作成される。また、例え同一の胎児5aから取得したエコーデータ213であっても、抽出タイミングが異なれば(取得時刻が異なる。)、それぞれ異なるエコーデータ213として作成される。以下の説明では、1回の抽出タイミングによって作成された1つのエコーデータ213を「1回分のエコーデータ213」と称する場合がある。
図1に戻って、スキャニング装置3は、例えば、医療用超音波プローブを用いて、診断対象またはサンプルである心臓部分5bの構造を超音波の反射により、エコー信号データ212として取得する。スキャニング装置3は、超音波検査装置2からの要求に応じて、取得したエコー信号データ212を超音波検査装置2に向けて送信する。
図4は、心臓モデル導入装置4のブロック図である。心臓モデル導入装置4は、CPU40、記憶装置41、入力部42、表示部43および通信部44を備えている。
CPU40は、記憶装置41に格納されているプログラム410を読み取りつつ実行し、各種データの演算や制御信号の生成等を行う。これにより、CPU40は、心臓モデル導入装置4が備える各構成を制御するとともに、各種データを演算し作成する機能を有している。すなわち、心臓モデル導入装置4は、一般的なコンピュータとして構成されている。
記憶装置41は、心臓モデル導入装置4において各種データを記憶する機能を提供する。言い換えれば、記憶装置41が心臓モデル導入装置4において電子的に固定された情報を保存する。
記憶装置41としては、CPU40の一時的なワーキングエリアとして使用されるRAMやバッファ、読み取り専用のROM、不揮発性のメモリ(例えばNANDメモリなど)、比較的大容量のデータを記憶するハードディスク、専用の読み取り装置に装着された可搬性の記憶媒体(CD-ROM、DVD-ROM、PCカード、SDカード、USBメモリなど)等が該当する。図4においては、記憶装置41を、あたかも1つの構造物であるかのように図示している。しかし、通常、記憶装置41は、上記例示した各種装置(あるいは媒体)のうち、必要に応じて採用される複数種類の装置から構成されるものである。すなわち、記憶装置41は、データを記憶する機能を有する装置群の総称である。
また、現実のCPU40は高速にアクセス可能なRAMを内部に備えた電子回路である。しかし、このようなCPU40が備える記憶装置も、説明の都合上、記憶装置41に含めて説明する。すなわち、以下の説明では、一時的にCPU40自体が記憶するデータも、記憶装置41が記憶するとして説明する。図4に示すように、記憶装置41は、プログラム410を記憶するために使用される。
入力部42は、心臓モデル導入装置4に対して使用者が指示を入力するために操作するハードウェアである。入力部42としては、例えば、各種キーやボタン類、スイッチ、タッチパネル、ポインティングデバイス、あるいは、ジョグダイヤルなどが該当する。
表示部43は、各種データを表示することにより使用者に対して当該データを出力する機能を有するハードウェアである。表示部43としては、例えば、ランプやLED、CRT、液晶ディスプレイや液晶パネルなどから構成される。ただし、詳細は後述するが、表示部43は、心臓部分5bの断面画像などを表示する必要がある。したがって、そのような機能を備えたハードウェアを含むように構成されている。
通信部44は、心臓モデル導入装置4をネットワーク9に、データ通信が可能な状態で接続する機能を有している。図4に示すように、ネットワーク9には、超音波検査装置2が接続されている。したがって、心臓モデル導入装置4は、通信部44によって、超音波検査装置2との間で、ネットワーク9を介したデータ通信が可能である。
図5は、心臓モデル導入装置4が備える機能ブロックをデータの流れとともに示す図である。図5に示す通信制御部400、三次元モデル作成部401、基準切断面データ取得部402、基準断面データ作成部403、基準要素設定部404、平均化処理部405、表示画像作成部406、および、補正処理部407は、CPU40がプログラム410に従って動作することにより実現される機能ブロックである。
受信データ411は、超音波検査装置2から送信され、心臓モデル導入装置4(通信部44)によって受信されたエコーデータ213を含むデータである。図5では、1回分のエコーデータ213を含む受信データ411のみを図示している。しかし、受信データ411に含まれるエコーデータ213は、1回分に限定されるものではない。すなわち、受信データ411は、2回分以上のエコーデータ213を含む場合もある。
本実施の形態において、1つの受信データ411は、1回のデータ通信によって受信されたエコーデータ213を含むものとして説明する。言い換えれば、1回のデータ通信によって複数回分のエコーデータ213を受信した場合、複数回分のエコーデータ213を含む受信データ411が作成される。
心臓三次元モデルデータベース412は、心臓部分5bの三次元モデル(心臓三次元モデル)を格納するデータベースである。心臓三次元モデルデータベース412は、心臓三次元モデル以外にも様々なデータを格納しており、これら様々な情報を互いに関連づけたテーブル構造のデータベースである。
図6は、心臓三次元モデルデータベース412の構造を示す図である。心臓三次元モデルデータベース412は、複数のレコードから構成されている。また、各レコードは、5つの項目(データ格納領域)を有している。
各レコードの第1項目には、レコード識別子が格納されている。各レコードは、第1項目に格納されたレコード識別子によって他のレコードと識別することが可能である。レコード識別子は、それぞれが互いに重複することのない固有の値である。図6は、「001」から「100」までの数字で識別される100個のレコードが作成されている例を図示している。
各レコードの第2項目には、エコーデータ213が格納される。なお、図6では、1つのレコードに格納されるエコーデータ213は、いずれも1つであるかのように図示している。しかし、1つのレコードに格納されるエコーデータ213は、1回分のエコーデータ213とは限らない。すなわち、1つのレコードに2回分以上のエコーデータ213が格納される場合もある。
各レコードの第3項目には、心臓三次元モデルを示す心臓三次元モデルデータが格納される。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、心臓三次元モデルデータを記憶する。なお、1つのレコードには、1つの心臓三次元モデルデータが格納される。このように心臓三次元モデルデータベース412の各レコードは、心臓三次元モデルデータごとに作成される。
心臓三次元モデルデータベース412において、各レコードに格納される心臓三次元モデルデータは、同一のレコードに格納されるエコーデータ213から作成されたデータである。このように、心臓三次元モデルデータの元となったエコーデータ213は、当該心臓三次元モデルデータと同じレコード内に格納され、保存される。
各レコードの第4項目には、境界線データが格納されている。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、境界線データを記憶する。心臓三次元モデルデータベース412において、1つのレコードに格納されているエコーデータ213は、同一のレコードに格納されている境界線データの元となったデータである。ただし、境界線データの詳細は、後述する。
各レコードの第5項目には、基準要素データが格納される。したがって、記憶装置41は、心臓三次元モデルデータベース412を記憶することによって、基準要素データを記憶する。心臓三次元モデルデータベース412において、1つのレコードに格納されている基準要素データは、同一のレコードに格納されている基準要素三次元モデルデータについて設定されたデータである。
図5に戻って、基準切断面データ413は、心臓三次元モデルに対して設定される基準切断面(理想的な平面)を示すデータ(画像データではない。)である。なお、心臓三次元モデルに対して設定された基準切断面で、当該心臓三次元モデルを切断すると、その断面に、少なくとも左心房部、右心房部、左心室部および右心室部が含まれるように基準切断面は設定される。ただし、基準切断面を設定する手順は後述する。
基準断面データ414は、基準切断面データ413に示されている基準切断面によって、心臓三次元モデルを切断したときの当該心臓三次元モデルの断面の画像データである。
表示用画像データ415は、表示画像作成部406によって作成される画像データであって、表示部43に表示される画像データである。表示用画像データ415に含まれる画像についての詳細は後述する。
通信制御部400は、超音波検査装置2から送信され、通信部44によって受信されたエコーデータ213を、記憶装置41に受信データ411として記憶させる。
すでに説明したように、心臓診断支援システム1は、超音波検査装置2がエコー信号データ212に基づいて、エコーデータ213を作成することにより、エコーデータ213を取得する。しかし、心臓モデル導入装置4においては、心臓部分のエコーデータ213を通信部44が受信することにより、エコーデータ213を外部から取得する。すなわち、通信部44および通信制御部400が協働することにより、心臓モデル導入装置4におけるエコーデータ取得部の機能が実現されている。
三次元モデル作成部401は、エコーデータ213に基づいて、心臓部分5bの少なくとも左心房部、右心房部、左心室部および右心室部のそれぞれの断面画像を含む四腔断面画像に基づいて心臓三次元モデルを示す心臓三次元モデルデータを作成する。なお、三次元モデル作成部401が心臓三次元モデルデータを作成する手法の詳細は後述する。
三次元モデル作成部401は、心臓三次元モデルデータを心臓三次元モデルデータベース412に含める(格納する)。
また、三次元モデル作成部401は、必要に応じて、平均化処理部405および補正処理部407を制御する。平均化処理部405および補正処理部407に対する三次元モデル作成部401による制御の詳細については後述する。
基準切断面データ取得部402は、心臓三次元モデルデータベース412を参照して、基準切断面を設定すべき心臓三次元モデルデータを取得し、取得した心臓三次元モデルデータに対する基準切断面を設定する。そして、設定した基準切断面を示す基準切断面データ413を作成する(取得する)機能を有している。なお、基準切断面データ取得部402が、基準切断面データ413を取得する手順の詳細は後述する。
基準断面データ作成部403(四腔断面データ作成部)は、心臓三次元モデルデータベース412および基準切断面データ413に基づいて、心臓三次元モデルを基準切断面で切断したときの当該心臓三次元モデルの断面を示す基準断面データ414を作成する。なお、基準断面データ作成部403が、基準断面データ414を取得する手順の詳細は後述する。この基準断面データ414を作成する基準断面データ作成部403は、四腔断面画像を取得する四腔断面画像取得部として機能する。
基準要素設定部404は、基準断面データ414に示される断面(四腔断面画像)を解析して、心臓三次元モデルにおける左心房部、右心房部、左心室部および右心室部の中心点(第1中心点)と、下行大動脈の中心点(第2中心点)とを設定する。また、基準要素設定部404は、第1中心点から、左心室部と右心室部との間を通り、第1中心点から左心室と右心室部との中間にある心室中隔を通り心尖部(心臓の先端部)に達する直線(第1心軸)と、中心点と第2中心点を結ぶ直線(第2心軸)とを設定し、中心点で交差する第1心軸と第2心軸との成す角(基準角)とを含む、心臓三次元モデルの基準要素を設定する。
また、第1中心点は、三尖弁と僧帽弁との中間点としてもよい。たとえば、基準要素設定部404は、右心房部と右心室部との間に存在する組織部分を三尖弁として検出し、左心房部と左心室部との間に存在する組織部分を僧帽弁として検出する。次に、基準要素設定部404は、検出した三尖弁と僧帽弁との中間点を、第1中心点として設定する。なお、基準要素設定部404は、基準要素を示す基準要素データを心臓三次元モデルデータベース412に含める(格納する)機能も有している。
具体的には、基準要素設定部404では、例えば、左心房部、右心房部、左心室部、および右心室部が第1中心点にいずれもが接するように配置されているものとして、左心房部、右心房部、左心室部、および右心室部が最も大きく4つ見える四腔断面と平行な平面を四腔視認平面とし、この四腔視認平面の法線方向を厚み方向とし、厚み方向の中心位置を通過する四腔視認平面を四腔断面とするとよい。そして、四腔視認平面において第1中心点を通る法線との交点から当該平面上で前記左心房部と右心房部の中間地点を通る直線を基準要素(第1心軸)に設定すると良い。
平均化処理部405は、三次元モデル作成部401からの指示に従って、心臓三次元モデルデータベース412を参照しつつ、三次元モデル作成部401から指示された複数の心臓三次元モデルを平均化する。平均化処理部405が実行する平均化処理としては、同じ心臓部分5bについて作成された複数の心臓三次元モデルを平均化する個体内平均化処理と、異なる心臓部分5bについて作成された複数の心臓三次元モデルを平均化する個体間平均化処理とがある。ただし、平均化処理部405による処理の詳細は後述する。
個体内平均化処理は、互いに直行するX平面、Y平面、およびZ平面について、各平面を所定間隔ずつ(例えば1mm間隔)準備し、その各平面における組織と空洞の境界線を描く。すなわち、まず、1mm間隔の各X平面の境界線を通過するX平面側三次元データ(X平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。また、1mm間隔の各Y平面の境界線を通過するY平面側三次元データ(Y平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。さらに、1mm間隔の各Z平面の境界線を通過するZ平面側三次元データ(Z平面由来三次元モデル)を作成して、左心房、不審房、左心室、右心室を分析把握する。こうして作成したX平面側三次元データ、Y平面側三次元データ、およびZ平面側三次元データを平均化して1つの固体内平均化三次元データを作成し、この固体内平均化三次元データを心臓三次元モデルとし、心臓三次元モデルデータベース412に記憶すると良い。
個体間平均化処理は、異なる胎児の心臓三次元モデルを平均化する処理であり、複数の心臓三次元モデルを平均化して1つの標準モデル(標準三次元モデル)を作成する。ただし、標準モデル作成のために使用する心臓三次元モデルは、正常な胎児心臓の心臓三次元モデルのみとすることが望ましい。この固体間平均化処理を行う制御部は、標準三次元モデル作成部として機能する。
表示画像作成部406は、入力部42により受け付けた指示入力に応じて、心臓三次元モデルデータベース412に基づいて表示用画像データ415を作成する機能を有している。このようにして作成された表示用画像データ415は、表示部43によって表示される。表示画像作成部406は、様々な表示用画像データ415を作成するが、詳細は後述する。
補正処理部407は、三次元モデル作成部401からの指示に従って、心臓三次元モデルデータベース412を参照しつつ、三次元モデル作成部401から指示された心臓三次元モデルを、適宜補正する。例えば、正常な心臓部分5bと、診断対象の心臓部分5bとを比較する場合、これら2つの心臓の間には疾病の有無に起因する差だけでなく、個体差(個人差)も生じている。すなわち、個体差を抑えることができれば、疾病の有無による差が顕在化し、診断が容易になると考えられる。したがって、補正処理部407は、心臓三次元モデルに生じている個体差を抑制するように、当該心臓三次元モデルを補正して、新たな心臓三次元モデルを作成する。また、補正処理部407は、補正により作成した心臓三次元モデルを示す心臓三次元モデルデータを、心臓三次元モデルデータベース412に含める(格納する)機能も有している。ただし、補正処理部407による処理についての詳細は後述する。
以上が心臓診断支援システム1の構成および機能の説明である。次に、心臓診断支援システム1を用いた心臓診断支援方法について説明する。
図7は、心臓診断支援方法を示す流れ図である。心臓診断支援システム1に電源が投入されると、図7に示す処理を開始する。
図7に示す処理を開始すると、心臓診断支援システム1は、初期設定を実行する(ステップS1)。初期設定としては、例えば、プログラム210,410のロードや、表示部23,43への初期メニュー画面の表示などが考えられる。
初期設定を終了すると、心臓診断支援システム1は、標準モデルを作成するか否かを判定する(ステップS2)。標準モデルとは、診断対象を診断するときに、診断対象である胎児5aの心臓部分5bと比較するために用いるモデル(心臓三次元モデル)である。したがって、標準モデルは、健康な心臓部分5bを計測することによって作成された理想的な心臓三次元モデルである。
心臓診断支援システム1は、使用者が入力部22を操作して入力する指示入力に応じてステップS2の判定を行う。すなわち、使用者が入力部22を操作するまで待機しつつ、標準モデルを作成するとの指示入力があればYesと判定し、標準モデルを作成しないとの指示入力があればNoと判定する。
ステップS2においてNoと判定すると、心臓診断支援システム1は、ステップS3をスキップする。したがって、この場合には、ステップS3の標準モデル作成処理は実行されない。
一方、ステップS2においてYesと判定すると、心臓診断支援システム1は、標準モデル作成処理(ステップS3)を実行する。
図8は、標準モデル作成処理を示す流れ図である。なお、標準モデル作成処理において計測される対象(胎児5aの心臓部分5b)は、診断対象ではなく、サンプルである。サンプルは、疾病のない健康な心臓部分5bであることが望ましい。したがって、標準モデル作成処理において計測の対象とする心臓部分5bは、すでに健康であると診断された心臓部分5bである。
標準モデル作成処理が開始されると、心臓診断支援システム1(超音波検査装置2)は、初期化処理(ステップS11)を実行する。
ステップS11の初期化処理において、心臓診断支援システム1は、標準モデルを作成するために計測する胎児5aの人数を示すPに「N」をセットする(Nは自然数。)。Nとしては、例えば、5ないし10が適当であるがこれに限定されるものではない。Nが大きいほど、計測回数が増加する代わりに、個体差は平準化される。なお、個体差の平準化とは、個別症例の凸凹をなくすことをいう。
また、ステップS11において、心臓診断支援システム1は、計測中の胎児5aが何番目のサンプルであるかを示すn(nは自然数。)を「0」に初期化する。
ステップS11を終了すると、心臓診断支援システム1は、nをインクリメントさせて(ステップS12)、計測処理(ステップS13)を実行する。
計測処理とは、一人の人物(胎児5a)の心臓部分5bをスキャニング装置3を用いて計測する処理である。詳細は後述するが、計測処理は、主に超音波検査装置2およびスキャニング装置3によって実現される。
図9は、計測処理を示す流れ図である。
計測処理が開始されると、心臓診断支援システム1(超音波検査装置2)は、初期化処理(ステップS21)を実行する。
ステップS21の初期化処理において、心臓診断支援システム1は、1つのサンプルに対する計測回数を示すSに「M」をセットする(Mは自然数。)。例えば、一人の胎児5aに対して1方向から2回計測する場合は、Mに「2」をセットする。このように同じサンプルに対して複数回計測することにより、計測誤差が抑制される。あるいは、一人の胎児5aに対して互いに直交する3方向から計測する場合には、Mに「3」をセットしてもよい。1つのサンプルに対して異なる方向から計測すると、計測誤差が抑制されるだけでなく、死角が減少するため精度が向上する。
さらに、ステップS21において、心臓診断支援システム1は、計測中のサンプルに対する計測が何回目であるかを示すm(mは自然数。)を「0」に初期化する。
ステップS21を終了すると、心臓診断支援システム1は、mをインクリメントし(ステップS22)、サンプルに対する計測を開始する(ステップS23)。
なお、図9において図示を省略しているが、ステップS23を実行する前に、使用者は、計測の準備を行う。計測の準備とは、計測が行われる前に準備しておかなければならない事柄である。例えば、症例データ211に相当するデータの入力、サンプルの位置や姿勢の調整、スキャニング装置3の姿勢や状態の確認などである。使用者は、計測の準備が完了したときに、入力部22を操作して、その旨を超音波検査装置2に入力する。心臓診断支援システム1は、この入力を確認してから、ステップS23を実行する。
ステップS23を実行することにより計測を開始すると、心臓診断支援システム1(超音波検査装置2)は、1回分のエコーデータ213が取得されたか否かを判定しながら(ステップS24)、計測を継続する。
計測を継続している間、スキャニング装置3はエコー信号データ212を取得し続ける。また、その期間、超音波検査装置2は、取得されたエコー信号データ212を解析しつつ、抽出タイミングを決定する。そして抽出タイミングが決定できれば、当該抽出タイミングに応じて、取得されたエコー信号データ212に基づいて1回分のエコーデータ213を作成する。このようにして1つのエコーデータ213が作成されると、心臓診断支援システム1は、ステップS24においてYesと判定する。
ステップS24においてYesと判定すると、心臓診断支援システム1は、スキャニング装置3によるエコー信号データ212の取得を停止する。次に、心臓診断支援システム1は、mの値が「S」か否かを判定し(ステップS25)、mの値が「S」でない場合は、ステップS22に戻って処理を繰り返す。
mの値が「S」でない場合とは、1つのサンプルに対する計測がSにセットされている「M」に達しておらず、設定した計測回数分「M」の計測が未だ終了していないことを意味する。したがって、mの値が「S」でない場合、心臓診断支援システム1は、mをインクリメントさせて(ステップS22)、次の計測を開始する(ステップS23)。この場合、計測を開始する前に、例えば、方向を変更するなどの計測準備が行われてもよい。
一方、ステップS25においてYesと判定した場合(mの値が「S」の場合)、心臓診断支援システム1は、1人分の計測が完了したと判断して、計測処理を終了する。
図8に戻って、ステップS13に示す計測処理が終了すると、心臓診断支援システム1は、nの値が「P」か否かを判定し(ステップS14)、nの値が「P」でない場合は、ステップS12に戻って処理を繰り返す。
nの値が「P」でない場合とは、計測を完了した胎児5aの人数がPにセットされている「N」に達しておらず、設定した人数「N」分の計測が未だ終了していないことを意味する。したがって、nの値が「P」でない場合、心臓診断支援システム1は、nをインクリメントさせるとともに、Sに「M」をセットして、次の胎児5aに対する計測処理(ステップS13)を開始する。
一方、ステップS14においてYESと判定した場合(nの値が「P」の場合)、心臓診断支援システム1は、標準モデル作成処理において作成した全てのエコーデータ213を超音波検査装置2から心臓モデル導入装置4に向けて送信する(ステップS15)。
ステップS15において送信されたエコーデータ213が心臓モデル導入装置4に受信されると、心臓モデル導入装置4(通信制御部400)は、ステップS15において送信された全てのエコーデータ213を含む受信データ411を作成する(ステップS16)。
受信データ411が作成されると、心臓診断支援システム1は、三次元モデル作成処理(ステップS17)を実行する。詳細は後述するが、三次元モデル作成処理とは、計測処理において取得されたエコーデータ213を処理して、心臓部分5bの三次元モデルを作成する処理である。三次元モデル作成処理は、主に心臓モデル導入装置4によって実現される処理である。
図10および図11は、三次元モデル作成処理を示す流れ図である。
三次元作成処理が開始されると、心臓診断支援システム1(心臓モデル導入装置4)は、フラグFの値を「0」に初期化する(ステップS31)。本実施形態では、フラグFは、超音波装置で取得されるエコーデータが心臓モデル作製装置内の受信データ内に存在するか否かによって変化する変数であり、同じ心臓部分5b(同一胎児5aの心臓部分5b)を計測して作成されたエコーデータ213が、受信データ411に存在するか否かを示す。フラグFは、そのようなエコーデータ213が存在する場合には、「1」に書き替えられる。
ステップS31を終了すると、心臓モデル導入装置4は、受信データ411に含まれているエコーデータ213から個体識別子を1つ取得し、処理中の個体識別子を示すIに、取得した個体識別子の値をセットする(ステップS32)。
当該個体識別子は、すでに説明したように、各エコーデータ213に付加された症例データ211に含まれている。また、ステップS32において個体識別子を取得する対象となるエコーデータ213は、受信データ411に含まれているエコーデータ213であればどれでもよい。すなわち、受信データ411に含まれているエコーデータ213については、三次元モデルを作成する順番は任意である。
Iに個体識別子をセットすると、心臓モデル導入装置4(三次元モデル作成部401)は、個体識別子Iによって受信データ411を検索し、個体識別子がIとなっている1つのエコーデータ213を特定して、取得する(ステップS33)。
エコーデータ213を取得すると、三次元モデル作成部401は、心臓三次元モデルデータベース412に新しいレコードを作成して、取得したエコーデータ213を当該レコードに格納する。また、三次元モデル作成部401は、心臓三次元モデルデータベース412に格納したエコーデータ213を、受信データ411から削除する。すなわち、ステップS33が実行されるたびに、1回分のエコーデータ213が、受信データ411から心臓三次元モデルデータベース412に移動する。
次に、三次元モデル作成部401は、ステップS33において取得したエコーデータ213に基づいて、心臓三次元モデルを示す心臓三次元モデルデータを作成して、心臓三次元モデルデータベース412に格納する(ステップS34)。
なお、三次元モデル作成部401は、ステップS33において新たに作成したレコード(エコーデータ213を格納したレコード)に、ステップS34において作成した心臓三次元モデルデータを格納する。これにより、エコーデータ213と、当該エコーデータ213から作成された心臓三次元モデルデータとが互いに関連づけられる。
ステップS34において三次元モデル作成部401が心臓三次元モデルデータを作成する処理を具体的に説明する。
まず、三次元モデル作成部401は、エコーデータ213に基づいて、所定の厚み間隔の複数の平面画像を作成する。すでに説明したように、エコーデータ213に含まれるエコー信号データ212は、超音波検査装置2のデータ処理部201によってエコー信号データ212を画像化処理されたデータである。したがって、三次元モデル作成部401は、画像化処理されたデータから平面画像を抽出することによって、所定の厚み間隔の複数の平面画像を作成することができる。なお、このときの厚み間隔は、0.5ないし2.0mm間隔とすることが好ましく、0.5ないし1.0mm間隔とすることがより望ましい。ただし、この範囲に限定されるものではない。
図12は、三次元モデル作成部401によって作成される複数の平面画像のうちの1つの平面画像500を例示する図である。図12に示す平面画像500には、心臓部分5bの腔孔部分(左心房部503、右心房部504、左心室部505、右心室部506、および、各種血管部など)と、心臓部分5bの組織部分508とが含まれている。
ただし、三次元モデル作成部401によって作成される複数の平面画像のそれぞれにおいて、どのような部分が含まれるかは不定である。極端な例としては、心臓部分5bの端の方に位置する平面画像では、組織部分508のみが含まれ、腔孔部分は何も含まれない場合もあり得る。
三次元モデル作成部401は、作成した複数の平面画像のそれぞれに画像処理を施して、心臓部分5bの腔孔部分と心臓部分5bの組織部分との境界を境界線として取得する。
図12に示す例では、平面画像500において、左心室部505と組織部分508との境界として、境界線509が取得されている例を示している。平面画像500には、心臓部分5bの腔孔部分として、左心室部505の他に、左心房部503、右心房部504、右心室部506、および、各種血管部なども含まれている。したがって、三次元モデル作成部401は、それら残りの腔孔部分と組織部分508との境界についても境界線(図12において図示省略。)として取得する。すなわち、三次元モデル作成部401は、1つの平面画像ごとに、当該平面画像から取得された全ての境界線を示す1つの境界線データを作成する。
次に、三次元モデル作成部401は、複数の平面画像のそれぞれについて境界線データを作成して、順次、心臓三次元モデルデータベース412における同一のレコードの第4項目に格納する。ここで境界線データが格納されるレコードとは、ステップS33において新たに作成され、当該境界線データを作成する元となったエコーデータ213が格納されているレコードである。
また、三次元モデル作成部401は、複数の平面画像のそれぞれから取得した複数の境界線データを、厚み方向に重ね合わせて、複数の境界線データによる擬似的な(離散的な)境界の三次元モデル(以下、「境界三次元モデル」と称する。)を作成する。
また、三次元モデル作成部401は、境界三次元モデルにおける各平面画像間の境界線を滑らかな曲線となるように補完(画素補完)することにより、各腔孔の三次元モデル(以下、「腔孔三次元モデル」と称する。)を作成する。すなわち、腔孔三次元モデルには、元となった境界三次元モデルが含まれている。
さらに、三次元モデル作成部401は、腔孔三次元モデルと、心臓部分5bの組織部分とを配置して心臓三次元モデルである心臓三次元モデルを作成する。すなわち、心臓三次元モデルには、その作成過程において元となった腔孔三次元モデルが含まれている。
なお、本実施の形態における三次元モデル作成部401は、心臓三次元モデルを作成する過程で、境界三次元モデルおよび腔孔三次元モデルを作成し、これらのモデルが心臓三次元モデルの一部を構成すると説明した。しかし、心臓三次元モデルを作成する場合において、中間データとして、境界三次元モデルや腔孔三次元モデルが必須なわけではない。すなわち、三次元モデル作成部401が心臓三次元モデルを作成する手法は、ここに示す例に限定されるものではなく、従来から知られている手法を採用してもよい。
また、診断の方法や目的に応じて、境界三次元モデルや腔孔三次元モデルを、そのまま心臓部分5bの三次元モデルとみなしてもよい。したがって、例えば、境界の三次元モデル(境界三次元モデル)を、心臓部分5bの三次元モデルの全部とみなしてもよい。すなわち、境界三次元モデルは、画素補完(厚み方向の補間、複数の境界線データ間の補間)がされておらず、一見して離散的な三次元モデルである。しかし、境界三次元モデルには、内部構造や腔孔部分を表現した部分も存在しており、心臓部分5bを診断するために使用することも不可能ではない。
また、中間データとして作成された境界三次元モデルや腔孔三次元モデルを、心臓三次元モデルデータベース412に格納して、保存してもよい。これにより、後の処理においてこれらのデータが必要となった場合に、再度作成する必要はない。
三次元モデル作成部401が心臓三次元モデルを作成すると、心臓モデル導入装置4(基準切断面データ取得部402)は、基準切断面データ413を取得する(ステップS35)。
ステップS35では、まず、基準切断面データ取得部402が、心臓三次元モデルデータベース412を参照して、作成された心臓三次元モデルデータを取得する。このとき、基準切断面データ取得部402は、基準要素データが格納されていないレコードを検出し、当該レコードのレコード識別子を取得する。次に、当該レコードに格納されている心臓三次元モデルデータを、ステップS34において作成された心臓三次元モデルデータとして取得する。
次に、基準切断面データ取得部402は、心臓三次元モデル(作成された心臓三次元モデルデータ)を分析して、当該心臓部分5bの持ち主(胎児5a)の一方(例えば頭側)から他方(例えば腹側)に向かう方向(向きは逆でもよい。以下、「観察方向」と称する。)を設定する。
なお、観察方向は、例えば、心臓三次元モデルデータに基づいて作成される心臓部分5bの画像について画像認識処理を施すことにより決定できる。具体的には、心臓部分5bを構成する部位(左心房部、右心房部、左心室部、右心室部、肺動脈、上行大動脈、下行大動脈など)の位置や向きを解析することにより、観察方向を決定できる。ただし、このような手法に限定されるものではない。
次に、基準切断面データ取得部402は、心臓三次元モデルをさらに分析して、心臓部分5bの観察方向における両端部を検出する。すなわち、心臓部分5bの頭側および腹側の端部をそれぞれ検出する。そして、基準切断面データ取得部402は、当該両端部の中間点(心臓部分5bの観察方向の厚みの中間点)を基準点として検出する。さらに、基準切断面データ取得部402は、検出した基準点を含む平面のうち、観察方向に対して垂直な平面を基準切断面として設定する。
このように基準切断面データ取得部402は、心臓三次元モデルデータベース412に含まれる心臓三次元モデルデータを参照して、演算により基準切断面を設定することができる。したがって、基準切断面データ取得部402は、使用者からの指示を受けることなく、自動的に基準切断面データ413を作成することができる。
なお、基準切断面を設定するための基準点は、上記中間点(観察方向の厚みの中間点)に限られるものではない。例えば、腹側の端部から所定の距離だけ頭側に移動した点を基準点としてもよい。また、頭側から腹側へまっすぐ伸びる体軸方向(正中線方向)に直角な平面での断面を、体軸方向に所定間隔で複数取得し、各断面について、左心房部、右心房部、左心室部、右心室部の合計面積を求め、合計面積が最大となる断面(平面内)に含まれる点を基準点としてもよい。
また、基準切断面データ取得部402は、基準切断面データ413に、予め取得しておいたレコード識別子を付加する。このレコード識別子は、基準切断面を設定するときに用いた心臓三次元モデルデータが格納されているレコードのレコード識別子である。
ステップS35を終了し、基準切断面データ413が作成されると、心臓モデル導入装置4(基準断面データ作成部403)は、基準断面データ414を作成する(ステップS36)。
ステップS36において、基準断面データ作成部403は、まず、基準切断面データ413に含まれるレコード識別子を取得して、心臓三次元モデルデータベース412を検索することにより、所望の心臓三次元モデルデータを取得する。そして、基準断面データ作成部403は、取得した心臓三次元モデルデータおよび基準切断面データ413に基づいて、心臓三次元モデルを基準切断面で切断したときの当該心臓三次元モデルの断面画像を示す基準断面データ414を作成する。
心臓部分5bにおいて主な部位として、左心房部、右心房部、左心室部および右心室部がある。心臓部分5bについて診断を行う場合には、これらの部位を観察することが重要となる。これらの部位は、通常、観察方向に垂直な平面上に円を描くように並んで配置されている。したがって、基準切断面データ取得部402が設定した基準切断面によって心臓部分5bの三次元モデルを切断すると、左心房部、右心房部、左心室部および右心室部の全てが揃った断面が形成される蓋然性が高い。
なお、基準断面データ414に示される断面画像は、例えばエコーデータ213から抽出されるような現実の画像ではない。基準断面データ414は、心臓三次元モデルを仮想的に切断して作成される架空の画像(合成画像)である。
また、基準断面データ作成部403は、基準切断面データ413に含まれているレコード識別子を、作成した基準断面データ414に付加する。
ステップS36を終了し、基準断面データ414が作成されると、心臓モデル導入装置4(基準要素設定部404)は、基準要素を設定する(ステップS37)。
ステップS37において、基準要素設定部404は、基準断面データ414に示される断面(断面画像)を解析して、心臓三次元モデルの基準要素を設定する。具体的には、第1心軸、第2心軸、および第1心軸と第2心軸との成す角である基準角を設定する。
基準断面データ414に示す断面の画像として、図12に示す平面画像500のような画像が取得された場合を想定して、基準要素設定部404による処理をさらに具体的に説明する。ただし、本来、平面画像500は、エコーデータ213に含まれている実際に取得された画像であって、左心房部、右心房部、左心室部および右心室部の全てが揃った断面画像であるとは限らない。これに対して、基準断面データ414に示す断面画像は、心臓三次元モデルを切断することによって作成される架空の画像(合成画像)であって、左心房部、右心房部、左心室部および右心室部の全てが揃った理想的な断面画像である(そのような理想的な断面となるように基準切断面が設定されている。)。
基準要素設定部404は、右心房部504と右心室部506との間に存在する組織部分508を三尖弁として検出する。また、基準要素設定部404は、左心房部503と左心室部505との間に存在する組織部分508を僧帽弁として検出する。次に、基準要素設定部404は、検出した三尖弁と僧帽弁との中間点を、第1中心点502として設定する。さらに、基準要素設定部404は、第1中心点502から、左心室部505と右心室部506との間を通り心尖部に至る第1心軸と、第1中心点502と第2中心点を結ぶ第2心軸と、第1心軸と第2心軸との成す角である基準角を基準要素510として設定する。また、第1中心点502と第2中心点を結ぶ直線の距離を計測し、第1中心点502と第2中心点を結ぶ直線(第1直線)と、三尖弁と僧帽弁との中間点および大動脈の中心点を通る直線(第2直線)との成す角の角度も計測する。
従来は、図12に示す平面画像500のように、左心房部、右心房部、左心室部および右心室部が全て揃い、かつ、均等に膨らんでいる状態の画像がエコーデータ213に含まれるようにスキャニング装置3を操作しなければならなかった。そのためには、スキャニング装置3を操作する使用者に、高度な知識と経験とが必要であった。
しかし、本発明の心臓診断支援システム1(心臓モデル導入装置4)は、心臓三次元モデルに基づいて理想的な断面画像(基準断面データ414)を作成することができる。そして、例え、平面画像500のような理想的な画像が含まれていないエコーデータ213が取得された場合であっても、心臓モデル導入装置4は心臓三次元モデルを作成することが可能である。したがって、心臓モデル導入装置4(基準要素設定部404)は、エコーデータ213の質によらず、基準要素を設定することができる。
なお、ステップS37に示す処理は、心臓三次元モデルが、境界三次元モデルや腔孔三次元モデルであっても実現可能な処理である。すなわち、基準要素設定部404が基準要素を設定するときに使用するデータは、必ずしも心臓部分5bの完全な三次元モデルでなくてもよい。また、ステップS37に示す処理は、心臓三次元モデルが、境界三次元モデルや腔孔三次元モデルを含んでいなくても実行可能であり、一般的な心臓三次元モデルが作成されていれば実現可能な処理である。すなわち、基準要素設定部404が基準要素を設定するときに使用するデータは、上述した方法で作成した三次元モデルに限られず、従来の技術で作成した心臓三次元モデルであってもよい。
また、ステップS37において基準要素設定部404は、基準断面データ414に含まれるレコード識別子を参照して、当該レコード識別子によって識別されるレコードの第5,6,7項目に、当該基準断面データ414に基づいて設定した基準要素を示す基準要素データを格納し、レコードの第6,7項目(図示せず)に、第1中心点502と第2中心点(下行大動脈の中心点)を結ぶ直線の距離を計測し、第1中心点502と第2中心点を結ぶ直線と、三尖弁と僧帽弁との中間点および第2中心点を通る第2直線との成す角の角度をそれぞれ格納する。したがって、すでに説明したように、基準要素設定部404は、基準要素を示す基準要素データを心臓三次元モデルデータベース412に含める機能も有している。これによって、基準要素と、心臓三次元モデルとが関連づけられる。
図10に戻って、ステップS37を終了すると、心臓モデル導入装置4は、受信データ411の中に、個体識別子Iで識別されるエコーデータ213がまだ存在しているか否かを判定する(ステップS38)。
個体識別子Iのエコーデータ213が検出された場合(ステップS38においてYes)、心臓モデル導入装置4は、フラグFに「1」をセットし(ステップS39)、当該検出したエコーデータ213に対してステップS33からの処理を繰り返す。
すでに説明したように、心臓三次元モデルデータベース412に格納され、心臓三次元モデルデータを作成するために使用されたエコーデータ213は、ステップS33において受信データ411から削除されている。すなわち、ステップS38によって、ステップS33からステップS38までの処理を繰り返すことにより、同一の個体識別子を有するエコーデータ213に対する処理が完了する。
また、ステップS38において1回でもYesと判定されると、ステップS39が実行されて、フラグFが「1」に書き替えられる。したがって、以後の処理において、同一の個体識別子のエコーデータ213が、受信データ411に、複数存在していたことを検出することができる。
一方、ステップS38においてNoと判定すると、心臓モデル導入装置4は、同一のサンプルを計測することによって取得されたエコーデータ213に対する処理が完了していると判断し、フラグFが「1」であるか否かを判定する(図11:ステップS41)。
ステップS41においてNoと判定される場合とは、フラグFが「0」の場合であり、同一の個体識別子を有するエコーデータ213が1しか存在せず、同一の心臓部分5bの心臓三次元モデルデータが複数作成されていないことを意味する。すなわち、同一のサンプルに対して1回しか計測がされていないことを意味する。したがって、ステップS41においてNoと判定すると、心臓診断支援システム1は、個体内平均化処理(ステップS42)をスキップする。
一方、ステップS41においてYesと判定される場合とは、フラグFが「1」の場合であり、同一の個体識別子を有するエコーデータ213が複数存在し、同一の心臓部分5bの心臓三次元モデルデータが複数作成されていることを意味する。すなわち、同一のサンプルに対して複数回の計測がされたことを意味する。したがって、ステップS41においてYesと判定すると、心臓診断支援システム1は、計測誤差を抑制するために、個体内平均化処理(ステップS42)を実行する。
ここで、主に平均化処理部405および三次元モデル作成部401によって実行されるステップS42を具体的に説明する。
ステップS42が開始されると、三次元モデル作成部401は、個体識別子Iを平均化処理部405に伝達する。なお、三次元モデル作成部401が平均化処理部405に対して伝達する個体識別子が1つの場合は、個体内平均化処理である。
平均化処理部405は、三次元モデル作成部401から伝達された個体識別子Iで心臓三次元モデルデータベース412を検索する。これにより、平均化処理部405は、個体識別子Iに対応づけられた複数の心臓三次元モデルデータを特定することができる。
次に、平均化処理部405は、特定された複数の心臓三次元モデルデータごとに、複数の境界線データ(境界三次元モデル)と、基準要素データとを取得する。
次に、平均化処理部405は、取得した複数の基準要素データで示される複数の基準要素が、一致するように、複数の境界三次元モデルを重ね合わせる。なお、取得した基準要素のうち、基準角の角度が、三次元モデルの作成において理想的な角度でない場合がある。この場合、第1心軸および第2心軸の少なくとも一方を回転させる補正(回転補正)を行い、基準角の角度を補正することが好ましい。このように、平均化処理部405が、互いの基準要素が一致するように境界三次元モデルを重ね合わせることにより、別々に計測されたエコーデータ213に基づいて作成された境界三次元モデルを、容易に、かつ、正確に重ね合わせることができる。
なお、基準要素だけでなく、基準要素を設定するときに基準要素設定部404によって設定された観察方向も一致するように複数の境界三次元モデルを重ね合わせてもよい。これによって、回転によるズレも抑制することができる。
また、個体内平均化処理では同一の心臓部分5bを対象としているため、個体差は生じない。したがって、個体内平均化処理において複数の境界三次元モデルを重ね合わせる場合には、個体差によるズレは考慮する必要はない。したがって、補正処理部407による補正処理は必要ない。
次に、平均化処理部405は、重ね合わされた複数の境界三次元モデルを平均化して、1つの境界三次元モデル(平均化された境界三次元モデル)を作成する。さらに、平均化処理部405は、平均化された境界三次元モデルを、三次元モデル作成部401に転送する。
三次元モデル作成部401は、平均化処理部405から転送された、平均化された境界三次元モデルに基づいて腔孔三次元モデル(平均化された腔孔三次元モデル)を作成する。また、三次元モデル作成部401は、平均化された腔孔三次元モデルに基づいて、新たな心臓三次元モデル(平均化された心臓三次元モデル)を作成する。
さらに、三次元モデル作成部401は、心臓三次元モデルデータベース412に新しいレコードを作成し、個体内平均化処理によって作成した心臓三次元モデル(個体内で平均化された心臓三次元モデルデータ)を、当該新しいレコードの第3項目に格納する。このとき、複数の境界三次元モデルを重ね合わせるために使用した基準要素データ(共通の基準要素データとみなせる。)、境界三次元モデル、および、複数回分のエコーデータ213も同じレコードに格納する。したがって、平均化された心臓三次元モデルを格納しているレコードにおいては、1つのレコードに複数のエコーデータ213が含まれる。一方で、心臓診断支援システム1は、平均化の対象となった複数の心臓三次元モデルデータが格納されていたレコードを、全て心臓三次元モデルデータベース412から削除する。
このようにして、心臓診断支援システム1は、同じ心臓部分5bを複数回計測することによって作成された複数の心臓三次元モデルを1つの心臓三次元モデルに統合することができる。したがって、測定誤差を平準化することができる。
なお、個体内平均化処理は、境界三次元モデルでなく、腔孔三次元モデル(境界三次元モデルを画素補完したモデル)に対して行ってもよいし、心臓三次元モデル(腔孔三次元モデルに組織部分を配置したモデル)に対して行ってもよい。ただし、平均化に関する処理を境界三次元モデルに対して行うことにより、演算負荷を軽減することができる。
また、三次元モデル作成部401は、個体内平均化処理(ステップS42)が実行されることによって作成された心臓三次元モデルデータについては、対応する症例データ211に、その旨を示す識別子を付加する。
また、基準要素設定部404は、個体内平均化処理によって作成された心臓三次元モデルデータについて、ステップS37の処理を実行することにより、新たに基準要素を設定して、心臓三次元モデルデータベース412に格納してもよい。
また、図11に示す処理では、同一の個体識別子のエコーデータ213に基づいて作成された心臓三次元モデルデータが、全て個体内平均化処理の対象であった。しかし、ステップS42の個体内平均化処理の対象を使用者が指定できるように構成してもよい。
ステップS42を終了するか、または、ステップS42をスキップすると、心臓診断支援システム1(心臓モデル導入装置4)は、受信データ411にエコーデータ213がまだ存在しているか否かを判定する(ステップS43)。
ステップS43が実行されるときには、すでに図10に示すステップS38においてYesと判定されている。したがって、処理中の個体を示す個体識別子Iを含むエコーデータ213の全てについて、ステップS33がすでに実行されているので、個体識別子Iを含むエコーデータ213は受信データ411から全て削除されており存在していない。しかし、個体識別子Iとは異なる個体識別子を含むエコーデータ213(すなわち、すでに処理されたエコーデータ213とは異なる心臓部分5bにおけるエコーデータ213)については、ステップS43が実行される時点で完了していない場合がある。したがって、心臓診断支援システム1は、ステップS43を実行して、そのようなエコーデータ213の有無を判定する。
ステップS43においてYesと判定すると、心臓診断支援システム1は、個体識別子Iをリストに追加保存し、図10に示すステップS31に戻って、フラグFを「0」に初期化する。そして、図11に示すステップS43において検出されたエコーデータ213から新たな個体識別子を取得して、個体識別子Iに当該新たな個体識別子をセットとする(ステップS32)とともに、ステップS33以降の処理を繰り返す。
一方、ステップS43においてNoと判定すると、心臓診断支援システム1は、標準モデルを作成中であるか否かを判定する(ステップS44)。ここでは、標準モデルを作成している途中であるので、ステップS44においてYesと判定される。ステップS44においてNoと判定される場合については後述する。
ステップS44においてYesと判定すると、心臓診断支援システム1は、個体識別子を受け付ける状態に遷移する(ステップS45)。
心臓診断支援システム1は、ステップS45において、心臓モデル導入装置4の表示部43に、心臓三次元モデルデータベース412に格納されている個体識別子の一覧と、使用者に対して個体識別子を選択するように促すメッセージとを表示させる。表示部43に必要な情報を表示させた後、使用者から適切な指示入力があるまで、心臓診断支援システム1は待機状態となる。
ステップS45において待機状態となった心臓診断支援システム1は、使用者が個体識別子の選択完了を示す指示入力(使用者が入力部42を操作することによって入力される。)を検出したときに、ステップS45を終了する。このように、使用者からの選択指示を受け付けることによって、心臓診断支援システム1は、すでに心臓三次元モデルデータベース412に登録されている症例についても、標準モデルに反映させることができる。なお、ステップS43においてYesと判定されたときにリストに追加した個体識別子については、使用者による選択がされなくても、ステップS45において自動的に選択されてもよい。
ステップS45を終了すると、心臓モデル導入装置4(平均化処理部405)は、個体間平均化処理(ステップS46)を実行する。
ステップS46に示す個体間平均化処理は、平均化処理部405が、異なる個体識別子によって、心臓三次元モデルデータベース412を検索することを除いて、個体間平均化処理と同様に処理することが可能であるため、ここでは詳細な説明を省略する。
ステップS46の個体間平均化処理を実行することにより、異なる胎児5aの心臓部分5bの心臓三次元モデル(複数のモデル)を、1つの心臓三次元モデル(平均化されたモデル)に統合することができる。したがって、サンプルとして正常な胎児5aを選択しておくことによって、個体間平均化処理によって作成される平均化された心臓三次元モデルは、個体差を抑制した標準モデル(理想モデル)として利用することができる。
また、標準モデルは、1度作成されれば、作成された標準モデルをテンプレート化して、同様のシステムに配布することができる。これにより、配布された標準モデルを予めインストールしておけば、心臓モデル導入装置4ごとに改めて標準モデルを作成する必要はない。標準モデルは、正常であると判明している多くのサンプルを集めて作成しなければならない。しかし、テンプレート化して共有することによって、このような作業負担を省略することができる。また、標準モデルが共有化されると、標準モデルの質の差によって、診断に差が生じることもない。
ステップS46が実行されて標準モデルが作成されるか、または、ステップS45,46がスキップされると、心臓診断支援システム1は、三次元モデル作成処理を終了する。
図8に戻って、ステップS17の三次元モデル作成処理を終了すると、心臓診断支援システム1は、標準モデル作成処理を終了して、図7に示す処理に戻る。
図7に戻って、ステップS3の標準モデル作成処理を終了すると、心臓診断支援システム1は、診断を開始するか否かを判定する(ステップS4)。
心臓診断支援システム1は、使用者が入力部22を操作して入力する指示入力に応じてステップS4の判定を行う。すなわち、心臓診断支援システム1は、使用者が入力部22を操作するまで待機しつつ、診断を開始するとの指示入力があればYesと判定し、診断を開始しないとの指示入力があればNoと判定する。
ステップS4においてNoと判定すると、心臓診断支援システム1は、ステップS5をスキップして、終了するか否かを判定する(ステップS6)。ステップS6において、終了しない場合(ステップS6においてNo)、心臓診断支援システム1は、ステップS2に戻って処理を繰り返す。また、ステップS6において終了する場合(ステップS6においてYes)、心臓診断支援システム1は、所定の終了処理(図示せず)を実行してから、処理を終了する。
一方、ステップS4においてYesと判定すると、心臓診断支援システム1は、診断支援処理(ステップS5)を実行する。診断支援処理とは、心臓診断支援システム1が、使用者による診断を支援する処理である。ここに言う使用者による診断とは、診断対象(胎児5a)の心臓に先天性疾患の疑いがあるか否かを判断するための診断である。
図13は、診断支援処理を示す流れ図である。なお、診断支援処理が開始されるまでに、標準モデルが心臓三次元モデルデータベース412に格納されているものとする。標準モデルは、正常であると判断された心臓部分5bのエコーデータ213にのみ基づいて三次元モデル作成部401が作成した心臓三次元モデルである。
診断支援処理が開始されると、心臓診断支援システム1は、計測処理(ステップS51)を実行する。ステップS51における計測処理は、図8に示すステップS13と同様の処理であるため、ここでは説明を省略する。
ステップS51の計測処理が終了すると、ステップS51において作成されたエコーデータ213が心臓モデル導入装置4に向けて送信される(ステップS52)。ステップS52において送信されるエコーデータ213は、診断対象のみ(同一の個体識別子)のエコーデータ213であるが、1回分以上のエコーデータ213である。
ステップS52が終了し、ステップS52において送信されたエコーデータ213を受信すると、心臓モデル導入装置4は、受信データ411を作成して(ステップS53)、三次元モデル作成処理を実行する(ステップS54)。
ステップS54の三次元モデル作成処理(診断支援処理において実行される三次元モデル作成処理)において、ステップS17の三次元モデル作成処理と同様の処理については、適宜、以下の説明を省略する。
診断支援処理における三次元モデル作成処理では、個体識別子が同一のエコーデータ213のみを取り扱う。したがって、図11に示すステップS42までは同様に処理されるが、ステップS43においてYesと判定されることはない。すなわち、ステップS43が実行されると、必ず、Noと判定される。
また、診断支援処理における三次元モデル作成処理は、標準モデル作成処理において実行される処理ではない。したがって、ステップS44においてYesと判定されることはない。すなわち、ステップS44が実行されると、必ず、Noと判定され、三次元モデル作成処理を終了して、図13に示す処理に戻る。
以上説明した診断支援処理における三次元モデル作成処理においても、診断対象に対して行われた計測回数分の三次元モデルが作成され(ステップS34)、それらが個体内平均化処理されて(ステップS42)、1つの心臓三次元モデルが作成される。このようにして作成される心臓三次元モデルは、診断対象の心臓三次元モデルである。以下、診断支援処理における三次元モデル作成処理で作成される心臓三次元モデルを、「診断対象モデル」と称する。このように、診断支援処理では、三次元モデル作成部401は、診断対象の心臓部分5bのエコーデータ213にのみに基づいて心臓三次元モデルを診断対象モデルとして作成する。
ステップS54の三次元モデル作成処理を終了すると、心臓モデル導入装置4(補正処理部407)は、補正処理を実行する(ステップS55)。
ここでステップS55の処理について説明する。
ステップS55において、補正処理部407は、ステップS54において作成された診断対象モデルに設定された基準要素を特定する。ステップS54の三次元モデル作成処理においても、ステップS37が実行されるため、診断対象モデルにも基準要素が設定されており、心臓三次元モデルデータベース412には基準要素データが格納されている。
次に、補正処理部407は、特定した基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを回転させることにより、診断対象モデルを補正する。
このように、心臓診断支援システム1では、作成される心臓三次元モデル(ここでは、標準モデルおよび診断対象モデル)に基準要素が設定されている。基準要素は、個体差によるズレが比較的大きいので、比較する三次元モデルの基準要素を重ねるようにして補正することにより、比較する三次元モデルの個体差が抑制される。したがって、標準モデルと診断対象モデルとの比較が容易になる。このような補正がされていなければ、使用者は、標準モデルと診断対象モデルとを比較するときに、両者に生じている差が、疾病によるものか、個体差によるものか判断しなければならず、容易とはいえない。
なお、補正処理部407は、標準モデルの基準要素に診断モデルの基準要素が重なるように、診断モデルを回転させて補正する前にも補正を行う。以下に説明する。
まず、補正処理部407は、診断対象モデルにおける下行大動脈の中心軸を標準モデルにおける下行大動脈の中心軸と重ねることにより、診断対象モデルにおける下行大動脈の中心軸の位置を固定する。下行大動脈は、体幹に固定されている部位であり、心臓部分5bの部位の中では比較的個体差が少ないと考えられる部位である。したがって、個体差の少ない部位を回転補正の前に固定しておくことにより、それらの部位が補正によって移動してしまうことを抑制できる。
次に、補正処理部407は、診断対象モデルにおける僧帽弁と三尖弁との中点と下行大動脈の中心軸との距離と、標準モデルにおける僧帽弁と三尖弁との中点と下行大動脈の中心軸との距離とを一致させる。ここで定義される距離は、比較的個体差が大きいと考えられる。したがって、補正処理部407は、当該距離を予め一致させておく。これによっても、個体差が抑制される。
次に、補正処理部407は、診断対象モデルにおける僧帽弁と三尖弁との中点と、標準モデルにおける僧帽弁と三尖弁との中点とが一致するように、診断対象モデルを下行大動脈の中心軸を中心にして回転させる。先述のように、下行大動脈の中心軸は個体差の少ない部位であるが、当該中心軸回りの回転には誤差があり、診断対象モデルにおける僧帽弁と三尖弁との中点と、標準モデルにおける僧帽弁と三尖弁との中点とを一致させる必要がある。
ここまでの処理で僧帽弁と三尖弁との中点は標準モデルおよび診断対象モデルにおいて一致している。また、すでに説明したように、基準要素は、僧帽弁と三尖弁との中点を一端部として設定される軸である。したがって、補正処理部407は、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを、僧帽弁と三尖弁との中心点(第1中心点)を中心に回転させて補正する。このように、回転補正を実行する前に、個体差の生じる部位ごとに予め適切に補正しておくことにより、さらに個体差を抑制することができる。
このように、補正処理の最後に、補正処理部407は、標準モデルの基準要素に診断モデルの基準要素が重なるように、診断モデルを回転させて補正するが、この回転補正にも修正が可能である。以下に図面を用いて説明する。
図14は、診断対象モデルに対して補正処理部407が設定する領域を例示する図である。
補正処理部407は、診断対象モデルに、診断対象モデルに設定された基準要素を含み、僧帽弁、三尖弁、大動脈弁、右心室部、右心房部、左心室部、左心房部およびそれらの周辺組織を含む第1領域600と、肺動脈、肺静脈、大動脈および大静脈を含む第2領域601と、第1領域600と第2領域601との間に存在し、肺動脈弁およびその周辺組織を含む第3領域602,603とをそれぞれ設定する。
また、補正処理部407は、第3領域602,603をスライスして、第1領域600との距離に応じた複数の小領域に分割する。
また、補正処理部407は、標準モデルに、肺動脈、肺静脈、大動脈および大静脈を含む第4領域(図示せず)を設定する。第4領域は、診断対象モデルにおける第2領域601と同等の部位で構成される領域である。このようにして設定される第2領域601および第4領域は、体幹に固定される部位で構成されており、個体差による影響を比較的受けないと考えられる。
また、第1領域600に含まれる部位は、互いに強く結束しており、一体となって個体差による影響を受けると考えられる。また、第3領域602,603は、第1領域600と第2領域601との間に存在している部位であり、第1領域600に近づくほど大きな影響を受ける領域である。
補正処理部407は、診断対象モデルの第2領域601と標準モデルの第4領域とが重なる位置に第2領域601を固定する。すでに説明したように、これらの領域は、個体差があまり生じていないと考えられるから、基準要素を重ねるように回転させて補正する前に固定しておくのである。
第2領域601を固定すると、補正処理部407は、診断対象モデルに設定された基準要素が標準モデルに設定された基準要素と1つに重なるように第1領域600を回転させる。すなわち、診断対象モデルのうちの第1領域600のみを、まず、回転させて補正する。このとき、補正処理部407は、第1領域600を回転させたときの回転角(最大回転角となる)を求める。
次に、補正処理部407は、スライスすることにより分割した複数の小領域において、第1領域600からの距離が短い順に最大回転角が漸減する角度となるように複数の小領域のそれぞれの回転角を設定する。すなわち、第1領域600を回転させたときの回転角が「5°」で、複数の小領域の数が「10」であれば、0.5°毎に漸減するように、各小領域の回転角を設定する。したがって、例えば、複数の小領域のうち、第1領域600に最も近い小領域の回転角は、「4.5°」であり、第1領域600から最も遠い小領域の回転角は、「0.5°」となる。
そして、補正処理部407は、複数の小領域をそれぞれの回転角ずつ回転させて、診断対象モデルを補正する。これにより、心臓の部位ごとの性質に応じて、基準要素を重ねるときの回転角を調整することができ、さらに精度よく個体差を抑制することができる。
なお、補正処理部407によって何らかの補正がされた診断対象モデルを「診断対象補正モデル」と称する場合がある。
図15は、標準モデルと診断対象補正モデルとを表示する例である。なお、図15では、標準モデルは、境界の三次元モデル(境界線509:線画像データ)として表示しており、診断対象補正モデルについては、面画像データとして表示している。
このような表示用画像データ415は、表示画像作成部406が標準モデルおよび診断対象補正モデルに基づいて作成し、表示部43が表示する(ステップS56)。
図15に示す例では、診断対象補正モデルと、標準モデルとが重畳するように表示されている。診断対象補正モデルと標準モデルとが重畳するように表示されることにより、診断対象補正モデルと標準モデルとが重畳表示されない場合に比べて両者の比較が容易である。また、このとき標準モデルとして境界の三次元モデルを用いることにより、面画像データが重畳される場合に比べて見やすい表示がされている。これにより、さらに個体差を抑制することができる。
なお、補正処理部407は、表示画像作成部406からの指示に従って、標準モデルにおける心臓部分の腔孔部分と、診断対象補正モデルにおける心臓部分の腔孔部分との一致度を求める機能も有している。このような処理は、例えば、画素の輝度などから、該当する部分を検出して、それらの部分の画素数や、形状(画素分布)を分析することにより数値として求めることができる。
このように、数値化された情報により、使用者が画像を視覚で比較して診断するよりも、信頼性が高まる。なお、表示画像作成部406は、使用者からの指示入力を受け付けた入力部42からの信号に応じて、補正処理部407に対する指示を与える。すなわち、使用者は、入力部42を操作することにより、図15に示すような比較画像を表示させたり、腔孔部分の一致率を表示させたりすることができる。
すでに説明したように、超音波診断によって心臓の先天性疾患を発見することは、経験の浅い医師や技師にとっては、困難な問題であった。それは、経験の浅い使用者にとっては、例え心臓三次元モデルを取得できたとしても、診断に応じて、どのような断面を表示させるとよいのか判断できず、結局、試行錯誤的に断面を探索して表示させなければならなかった。しかし、心臓診断支援システム1は、心臓三次元モデルについて、境界三次元モデルや基準切断面などのデータが取得されており、例えば、必要な断面(あるいはデータ)をボタン一つで呼び出せるように構成することも可能になる。
また、経験の浅い使用者は、正常な心臓部分の構造が知識として得られていないために、必要な断面を表示させることができたとしても、正確な診断ができないという問題もあった。しかし、心臓診断支援システム1では、正常な心臓三次元モデルである標準モデルが準備される。したがって、提供された標準モデルと比較することによって、正常な心臓についての知識が乏しい使用者であっても容易に診断することができる。
また、標準モデルが提供されたとしても、経験の乏しい使用者にとっては、個体差による影響がどの程度であるかの判断が難しく、診断が困難であった。しかし、心臓診断支援システム1は、個体差の影響を除去することができるため、疾病による差を顕在化させることができる。したがって、使用者は、容易に診断することができる。
なお、心臓診断支援システム1は、「正常とはいえない」症例を発見することを目的にしたときに、特に優れた効果を発揮すると期待される。すでに説明したように、心臓診断支援システム1は、使用者に技量を要求しないシステムとして構成されている。これにより、従来のシステムに比べて、多数の使用者を確保することができる。したがって、例えば、日本中の全妊婦5に対して診断を受けてもらうことも可能になるかもしれない。一方、心臓の先天性疾患の発生率は1%程度と言われており、圧倒的多数が正常な心臓である。このような状況では、患者にいきなり高精度の診断を受けてもらう必要はない(効率が悪い。)。それよりもむしろ多くの患者に対して診断を行い、少なくとも「正常とはいえない」症例を見過ごすことなく発見することができれば、当該「正常とはいえない」症例についてのみ詳細な検査を実施すれば効率よく先天性疾患を発見することができる。すなわち、心臓診断支援システム1は、高度な検査の前段階の診断として用いることにより、より多くの診断対象に適用することが可能であり、診断を受けることのできない患者を減らすことができ、特に有益であると考えられる。
以上のように、心臓診断支援システム1は、心臓部分5bのエコー信号データ212を取得するスキャニング装置3と、エコー信号データ212を処理してエコーデータ213を作成するエコーデータ作成装置としての超音波検査装置2と、エコーデータ213に基づいて心臓部分5bの三次元モデル(心臓三次元モデル)を作成する心臓モデル導入装置4とを備える。そして、心臓モデル導入装置4は、エコーデータ213を取得する通信部44および通信制御部400と、エコーデータ213に基づいて、心臓部分5bの少なくとも左心房部、右心房部、左心室部および右心室部を含む心臓部分5bの三次元モデルを作成する三次元モデル作成部401と、心臓部分5bの三次元モデルに対する基準切断面を示す基準切断面データ413を取得する基準切断面データ取得部402とを備える。そして、基準切断面は、心臓部分5bの三次元モデルを基準切断面で切断したときの心臓部分5bの三次元モデルの断面に、少なくとも左心房部、右心房部、左心室部および右心室部が含まれるように設定された平面である。また、心臓モデル導入装置4は、心臓部分5bの三次元モデルを基準切断面データ413に示される基準切断面で切断したときの心臓部分5bの三次元モデルの断面を示す基準断面データ414を作成する基準断面データ作成部403と、基準断面データ414に示される断面を解析して、心臓部分5bの三次元モデルにおける左心房部、右心房部、左心室部および右心室部の中心点(第1中心点)を設定し、当該第1中心点から、左心室部と右心室部との間を通る直線を、心臓部分5bの三次元モデルの基準要素として設定するとともに、基準要素と心臓部分5bの三次元モデルとを関連づける基準要素設定部404とをさらに備える。また、心臓診断支援システムは、ユーザによる指示入力を受け付ける入力部42と、入力部42により受け付けた指示入力に応じて、心臓部分5bの三次元モデルに基づいて表示用画像データを作成する表示画像作成部406と、表示用画像データ415を表示する表示部43とをさらに備える。これによって、個々の心臓部分5bの三次元モデルについて、個々に基準となる基準要素を設定することができる。したがって、例えば、異なる人の心臓を容易に比較することができるようになる。
また、基準切断面データ取得部402は、心臓部分5bの三次元モデルを分析して、心臓部分5bの持ち主の頭側から腹側に向かう方向に平行な観察方向を設定し、当該心臓部分5bの観察方向における両端部を検出することにより当該両端部の中間点を基準点として検出し、当該基準点を含む平面のうち、観察方向に垂直な平面を基準切断面として設定する。これにより、心臓モデル導入装置4は、自動的に基準切断面を決定することができる。
また、三次元モデル作成部401は、心臓部分5bの腔孔部分と心臓部分5bの組織部分との境界をエコーデータ213から取得して境界の三次元モデルを作成し、境界の三次元モデルに基づいて心臓部分5bの三次元モデルを作成することにより、面画像よりも画素の少ない線画像によって処理を行うことができるため、演算負荷を抑制することができる。
また、心臓モデル導入装置4は、三次元モデル作成部401により作成された複数の境界の三次元モデルを平均化して1つの心臓部分の三次元モデルを作成する平均化処理部405をさらに備えることにより、測定誤差や個体差を抑制することができる。
また、複数の境界の三次元モデルは、異なる人物の心臓部分のエコーデータ213に基づいて作成された境界の三次元モデルを含むことにより、個体差を抑制することができる。
また、平均化処理部405は、境界の三次元モデルに基づいて作成された心臓部分5bの三次元モデルに関連づけられた基準要素を、複数の境界の三次元モデルのそれぞれについて取得することによって、複数の境界の三次元モデルと一対一で対応する複数の基準要素を取得し、複数の基準要素が1つに重なるように、複数の境界の三次元モデルを重ね合わせて平均化する。これにより、平均化する前の段階で、境界の三次元モデルを、容易に、かつ、互いに精度良く重ね合わせることができる。
また、三次元モデル作成部401は、正常であると判断された心臓部分5bのエコーデータ213にのみ基づいて心臓部分5bの三次元モデルを標準モデルとして作成するとともに、診断対象の心臓部分5bのエコーデータ213にのみ基づいて心臓部分5bの三次元モデルを診断対象モデルとして作成し、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを回転させた診断対象補正モデルを作成する補正処理部407をさらに備える。このように、診断対象モデルを補正することによって、標準モデルと診断対象モデルとの比較が容易になる。
また、補正処理部407は、診断対象モデルにおける下行大動脈の中心軸を標準モデルにおける下行大動脈の中心軸と重ねることにより、診断対象モデルにおける下行大動脈の中心軸の位置を固定し、診断対象モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離と、前記標準モデルにおける僧帽弁と三尖弁との中点と前記下行大動脈の中心軸との距離とを一致させ、診断対象モデルにおける僧帽弁と三尖弁との中点と標準モデルにおける僧帽弁と三尖弁との中点とが一致するように、診断対象モデルを下行大動脈の中心軸を中心にして回転させ、診断対象モデルに設定された基準要素が、標準モデルに設定された基準要素と1つに重なるように、診断対象モデルを、僧帽弁と三尖弁との中点を中心に回転させた診断対象補正モデルを作成する。これによって、個体差の生じる部位ごとに適切に補正することにより、さらに個体差を抑制することができる。
また、補正処理部407は、診断対象モデルに、診断対象モデルに設定された基準要素を含み、僧帽弁、三尖弁、大動脈弁、右心室部、右心房部、左心室部、左心房部およびそれらの周辺組織を含む第1領域600と、肺動脈、肺静脈、大動脈および大静脈を含む第2領域601と、第1領域600と第2領域601との間に存在し、肺動脈弁およびその周辺組織を含む第3領域602,603とをそれぞれ設定するとともに、第3領域602,603を第1領域600との距離に応じた複数の小領域に分割し、標準モデルに、肺動脈、肺静脈、大動脈および大静脈を含む第4領域を設定し、診断対象モデルの第2領域601と標準モデルの第4領域とが重なる位置に前記第2領域601を固定し、診断対象モデルに設定された基準要素が標準モデルに設定された基準要素と1つに重なるように第1領域600を回転させ、第1領域600を回転させたときの最大回転角を求め、複数の小領域において第1領域600からの距離が短い順に最大回転角が漸減する角度となるように複数の小領域のそれぞれの回転角を設定し、複数の小領域をそれぞれの回転角ずつ回転させることにより、診断対象補正モデルを作成する。これにより、心臓の部位ごとの性質に応じて、基準要素を重ねるときの回転角を調整することにより、さらに精度よく個体差を抑制することができる。
また、心臓診断支援システム1は、標準モデルおよび診断対象補正モデルに基づいて表示用画像データ415を作成する表示画像作成部406と、表示用画像データ415を表示する表示部43とをさらに備える。
また、補正処理部407は、標準モデルにおける心臓部分の腔孔部分と、診断対象補正モデルにおける心臓部分の腔孔部分との一致度を求める。これにより、使用者が画像を視覚で比較して診断するよりも、信頼性が高まる。
また、従来から用いられてきた超音波ドップラー法では、ドップラー信号を画像化する原理に起因して、画像の1枚作製に必要な時間が長くなり、時間分解能が低下し、画質向上に限界があるなど、通常の超音波画像と異なり画質低下が生じるという問題がある。一方、心臓診断支援システム1では、正常胎児心臓モデルを内蔵した三次元超音波データが作成されることになるため、画質も良好で、かつ、単純な方法となる。さらに、最終的には、三次元胎児心臓超音波データが正常胎児心臓構造のガイドをもった状態で観察できる画期的な方法と考えられる。
<2. 変形例>
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。
例えば、上記実施の形態に示した各工程は、あくまでも例示であって、上記に示した順序や内容に限定されるものではない。すなわち、同様の効果が得られるならば、適宜、順序や内容が変更されてもよい。
また、上記実施の形態に示した機能ブロック(例えば、通信制御部400、三次元モデル作成部401、基準切断面データ取得部402、基準断面データ作成部403、基準要素設定部404、平均化処理部405、表示画像作成部406、および、補正処理部407)は、CPU40がプログラム410に従って動作することにより、ソフトウェア的に実現されると説明した。しかし、このような機能ブロックの一部または全部を専用の論理回路で構成し、ハードウェア的に実現してもよい。
また、例えば、上記実施の形態では、取得したエコー信号データ212を、超音波検査装置2で画像化処理したが、取得したエコー信号データ212をそのまま心臓モデル導入装置4に送信し、心臓モデル導入装置4内で画像化処理をする構成としてもよい。
また、超音波検査装置2と心臓モデル導入装置4とは、必ずしも別々の装置で構成されていなくてもよい。すなわち、超音波検査装置2および心臓モデル導入装置4を1つの装置で構成してもよい。
また、1つの心臓モデル導入装置4に、複数の超音波検査装置2を接続してもよい。その場合、例えば、ネットワーク9に公衆網をさらに接続し、遠隔地に存在する複数の超音波検査装置2(スキャニング装置3)と、心臓モデル導入装置4とを接続し、心臓モデル導入装置4において作成した各種モデルを超音波検査装置2に送信して診断するように構成してもよい。このように構成することによって、心臓モデル導入装置4を、複数の超音波検査装置2で共用することができる。したがって、例えば、全国に設置するのは、超音波検査装置2とスキャニング装置3のみでよいため、1箇所あたりの費用を抑制することができる。
また、エコー信号データ212の取得、境界線の抽出、および基準要素の補正の各処理は、その一部またはすべてを手作業で行ってもよい。
また、抽出タイミングは、拡張末期のタイミングに限定されるものではない。例えば、様々な抽出タイミングにおけるモデルを予め作成し、先天性心疾患を最も効率的に発見することができたモデルに応じて、最適と考えられる抽出タイミングを決定してもよい。
また、上記実施の形態では、観察方向を設定して基準切断面を設定する手法を説明した。しかし、複数の切断面の候補から基準切断面を選択して設定してもよい。例えば、基準切断面データ取得部402が、心臓三次元モデルに対して、複数の切断面(基準切断面の候補)を設定し、設定した複数の切断面について、心臓三次元モデルを切断したときの心臓三次元モデルの断面を示す断面画像をそれぞれ取得する。そして、取得した複数の断面画像に対して画像解析を実行しつつ比較することにより、複数の切断面のうちの1の切断面を基準切断面として選択し、選択した1の切断面を示すデータを基準切断面データ413とすることにより、基準切断面データ413を取得してもよい。このような構成によっても、基準切断面データ413を自動的に決定することができる。
なお、このとき、基準切断面データ取得部402は、複数の断面画像の中から、心臓部分の左心房部、右心房部、左心室部および右心室部のうちの少なくとも1つが含まれない断面画像を除外してもよい。基準要素を決定するための必須の4つの構造の全てが揃っていない断面画像(候補)を除外することができる。したがって、その後の演算処理の負荷を軽減することができる。
また、基準切断面データ取得部402は、複数の断面画像の中から、心臓部分の左心房部、右心房部、左心室部および右心室部の合計面積が最大の断面画像を基準切断面として選択してもよい。あるいは、基準切断面データ取得部402は、理想心臓の左心房部、右心房部、左心室部および右心室部の理想断面形状データを予め取得しておき、理想断面形状データと、心臓部分の左心房部、右心房部、左心室部および右心室部の断面形状とを比較して複数の断面画像ごとの一致率を演算し、複数の断面画像の中から一致率が最も高い断面画像を基準切断面として選択してもよい。
また、この発明は、将来的には人工知能(AI)や機械学習による胎児心臓構造診断の自動化に寄与する基礎的・根幹的な技術となることが期待できる。たとえば、上述の手法により、三次元モデルが示す正常胎児心臓内腔領域と超音波データ内の血管陰影の一致を三次元的に計算することが可能といえる。このため、超音波検査では数値的評価ができなかったのに対し、正常胎児心臓構造を持っている可能性を数値化し、数値的な評価を導入できることができる。さらに、正常心臓構築を効率よく診断が可能となるだけでなく、異常例の三次元モデルの集積を行う事で、そのパターン分析が可能になるので、心臓奇形の種類についても出生前診断が可能になると予測される。
さらに、上述した心臓部分5bの三次元モデルの作成自体には、エコー信号データ212に含まれる鼓動に起因する動きに関する情報(動き情報)は不要であるが、この動き情報を利用して、心拍運動を再現できる三次元モデルを作成しておき、動き情報に基づいて心拍運動を同期させ(心拍同期)、心拍運動を再現した三次元モデルを作成ないし表示することもできる。
さらにまた、超音波検査装置としては、同時に2つの断面(第1断面および第2断面)の画像を取得できるものがある。このような超音波検査装置は、心臓部分5bに係る三次元のボクセルデータを取得可能なスキャニング装置(電子式三次元(マトリクス)プローブ)を備え、その三次元のボクセルデータから直交する2つの断面の画像を取得する。一例としては、第1断面と、これに直交する第2断面の画像を取得する。このようにすれば、第1断面の画像および第2断面の画像から心臓三次元モデルである心臓三次元モデルを作成することができる。すなわち、複数種類の向きの断面画像から心臓三次元モデルを作成することができ、心臓三次元モデルの精度を向上させることができる。また、一方の断面を基準断面とし、他方の断面の位置(向きを含む)を変化可能にしてもよい。さらに、基準断面を、第1中心点502と第2中心点を結ぶ直線が横軸または縦軸に配置されるように基準断面(第1断面)を自動的に設定するようにすれば、第1中心点502と第2中心点を結ぶ直線で第1断面に直交する第2断面を簡単に設定することができる。すなわち、四腔断面と、下行大動脈の走行全景が確認される断面を簡単に設定することができる。
また、心臓モデル導入装置4は、心臓三次元モデルを作成する心臓モデル作成装置としての機能、および心臓三次元モデルを表示する心臓モデル表示装置としての機能を有する。なお、上述の実施形態では、標準モデルおよび診断対象補正モデルが表示部43に表示されるようにしたが、心臓モデル導入装置4の外部の表示装置(たとえば表示部23またはその他のディスプレイ等)に標準モデルおよび診断対象補正モデルが表示されるようにしてもよい。
この発明は本実施形態に限られず他の様々な実施形態とすることができる。また、上述の実施形態で挙げた画面および具体的な構成等は一例であり、実際の製品に応じて適宜変更することが可能である。