JP2020529292A - 一連のスライス画像を再構成する方法およびこれを利用した装置 - Google Patents

Abstract

本発明は、画像を再構成する方法およびこれを利用した装置に関し、より詳細には、コンピュータ装置に被写体に対する一連の第１スライス画像が入力されると、前記コンピュータ装置が、前記第１スライス画像から前記第１スライス画像のスライスの厚さである第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成し、生成された前記第２スライス画像を提供する。【選択図】図３

Description

本発明は、画像を再構成する方法およびこれを利用した装置に関し、より詳細には、コンピュータ装置に被写体に対する一連の第１スライス画像が入力されると、前記コンピュータ装置が、前記第１スライス画像から前記第１スライス画像のスライス厚である第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成し、生成された前記第２スライス画像を提供する。

現在、病変を分析するための診断として、ＣＴ（コンピュータ断層撮影）技術を利用した画像検査が広く行われている。ＣＴ画像を構成する個別のスライス画像は、所定の厚さを有する物体を平面投影（ｐｒｏｊｅｃｔｉｏｎ）したものであるが、このような個別のスライス厚は、便宜上、ＣＴ画像の厚さと呼ばれる。例えば、５ｍｍ厚の画像は、物理的に５ｍｍの厚さを有する空間の情報を１つの画像として合わせたものであるため画像がはっきりせず、すなわち、画像の質が低い。

ＣＴ画像の厚さは、ＣＴ読影の目的と環境に応じて異なるように再構成されるが、厚さが薄いほど画像が良質であり細かな読影を可能にする反面、ＣＴ画像の枚数が多くなり、読影に多くの時間がかかる。したがって、健康検診のように読影の効率性が重要となる環境ではＣＴ画像の厚さを５ｍｍにして読影し、危険度の高い患者の診断には１ｍｍのように薄い画像を利用して読影することが一般的である。

このように危険度の高い患者の診断用として利用するものとして読影を補助するシステムにおいては、５ｍｍの画像から病変を検出するよりも１ｍｍの画像から検出するのが検出の正確度が高まるということは、周知の事項である。しかし、場合によっては、５ｍｍの画像だけが可用であって１ｍｍの画像を別途取得することは不可能な状況もあり、このような状況で５ｍｍの画像から１ｍｍの画像を合成することができれば、例えば、これに基づいて読影補助システムを活用してその読影結果や診断結果を取得してこれを本来の５ｍｍの画像に再表示することができれば、全体的なコンピュータ補助読影の正確度と効率性を同時に高めることができるであろう。

このように、本発明では、相対的により厚いスライス画像からより薄いスライス画像を取得できるようにスライス画像を再構成するための方法およびこれを利用した装置を提案しようとする。

米国特許第６０２３４９４号明細書 米国特許第７６６０４４８号明細書

Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ Ｊ．；Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ（２０１４）．"Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ" Ｃｈａｏ Ｄｏｎｇ ｅｔａｌ．Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０１．０００９２ｖ３，２０１５

本発明は、相対的により厚いスライス画像をより薄いスライス画像に変換できるようにすることを目的とする。

具体的に、本発明は、より薄いスライス画像に変換することにより、個別のスライス画像の質を高め、読影を容易にすることを目的とする。

結局は、本発明は、厚いスライス画像から薄いスライス画像を再構成することにより、医師によるより正確な診断結果の導出を補助するだけでなく、読影補助システムによる分析の正確度を高めることを目的とする。

上述したような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成について、以下のように説明する。

本発明の一実施形態（ａｓｐｅｃｔ）によると、画像を再構成する方法が提供され、この方法は、（ａ）被写体に対する一連の第１スライス画像が入力されると、コンピュータ装置が、前記第１スライス画像から前記第１スライス画像のスライス厚である第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成するか、前記コンピュータ装置と連動する他の装置が生成するように支援する段階、および（ｂ）前記コンピュータ装置が、生成された前記第２スライス画像を提供するか、提供するように支援する段階を含む。

本発明の他の実施形態によると、本発明に係る画像再構成方法を実行するように実現された命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読み取り可能な非一時的記録媒体に記録された、コンピュータプログラムも提供される。

本発明のさらに他の実施形態によると、画像を再構成するコンピュータ装置が提供され、このコンピュータ装置は、被写体に対する一連の第１スライス画像の入力を受ける通信部、および前記一連の第１スライス画像が入力されると、前記第１スライス画像から前記第１スライス画像のスライス厚である第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成するか、前記通信部と連動する他の装置が生成するように支援するプロセッサを含み、前記プロセッサは、生成された前記第２スライス画像を提供するか、前記他の装置が提供するように支援する。

本発明によると、相対的により厚い空間情報が１つに合わさった画像をより薄いスライス画像に変換することにより、スライス画像の質を向上させることができる効果がある。

また、本発明によると、より質の高いスライス画像が可用となることにより、人間またはコンピュータ読影補助システムによる読影情報の生成の正確度を向上させることができる長所がある。

また、発明の一実施形態によると、病変の疑いが低い位置では厚いスライス画像によって読影の速度を高め、病変の疑いが高い位置では合成されたより薄いスライス画像を提示することによって読影の正確度を高め、人間による読影結果をより迅速かつ正確に導き出せるようにする効果がある。

すなわち、本発明によると、医療スタッフが病変診断にかける時間を節約して読影の速度と質を高め、医療現場におけるワークフロー（ｗｏｒｋ ｆｌｏｗ）の発展に繋がる究極的な効果が期待される。

さらに、発明は、従来から病院で利用されている医療画像、例えば、３次元的に取得される超音波画像やＭＲＩ画像などにもそのまま活用可能であるため、本発明の方法が特定の形式の画像やプラットフォームに従属することはない。

本発明の実施形態をより詳しく説明するために添付された図面は、本発明の実施形態の一部に過ぎず、本発明が属する技術分野において通常の知識を有する者であれば、この図面から容易に他の図面を得ることができるであろう。
本発明における、第１スライス画像から相異するスライス厚を有する第２スライス画像を再構成する方法（以下、「画像再構成方法」とする）を実行するコンピュータ装置の例示的な構成を概略的に示した図である。 本発明における、画像再構成方法を実行するコンピュータ装置のハードウェアまたはソフトウェア構成要素を例示的に示したブロック図である。 本発明における、画像再構成方法を概念的に示した図である。 本発明における、画像再構成方法を例示的に示したフローチャートである。

後述する本発明の詳細な説明は、本発明の目的、技術的解法、ならびに長所を明確にするために、発明を実施することのできる特定の実施形態を例示した添付の図面を参照しながら説明する。これらの実施形態は、当業者が本発明を実施することができるように詳しく説明する。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」または「画像データ」は、離散的な画像要素（例えば、２次元画像ではピクセル、３次元画像ではボクセル）で構成された多次元データを意味する。例えば、「画像」は、コーンビーム（ｃｏｎｅ−ｂｅａｍ）コンピュータ断層撮影（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）、超音波、または本発明の技術分野において公知の任意の他の医療画像システムによって収集された被写体、すなわち、非検体（ｓｕｂｊｅｃｔ）の医療画像であってよい。また、画像は、非医療的な脈絡で提供されるものであってもよく、例えば、リモートセンシングシステム（ｒｅｍｏｔｅ ｓｅｎｓｉｎｇ ｓｙｓｔｅｍ）や電子顕微鏡（ｅｌｅｃｔｒｏｎ ｍｉｃｒｏｓｃｏｐｙ）などが挙げられてよい。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「画像」とは、（例えば、ビデオ画面に表示された）肉眼で確認することのできる画像、または（例えば、ＣＴ、ＭＲＩ検出器などのピクセル出力に対応するファイルのような）画像のデジタル表現物を意味する用語である。

説明の便宜のために、添付の図面では、コーンビーム断層撮影（ｃｏｎｅ−ｂｅａｍ ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ：ＣＢＣＴ）の画像データを例示的な画像形式（ｍｏｄａｌｉｔｙ）として示した。しかし、当業者であれば、本発明の多様な実施形態で利用される画像形式が、Ｘ線画像、ＭＲＩ、ＣＴ、ＰＥＴ（ｐｏｓｉｔｒｏｎ ｅｍｉｓｓｉｏｎ ｔｏｍｏｇｒａｐｈｙ）、ＰＥＴ−ＣＴ、ＳＰＥＣＴ、ＳＰＥＣＴ−ＣＴ、ＭＲ−ＰＥＴ、３Ｄ超音波画像などを含み、３次元的画像およびこれから派生するスライド画像であれば、例示的に挙げられた形式に限定されないという点を理解することができるであろう。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「ＤＩＣＯＭ（Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ：医療用デジタル画像および通信）」標準は、医療用機器においてデジタル画像表現と通信に利用される多様な標準を総称した用語であり、これは米国放射線医会（ＡＣＲ）と米国電機工業会（ＮＥＭＡ）で構成された連合委員会で発表された。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「医療用画像保存通信システム（Ｐｉｃｔｕｒｅ Ａｒｃｈｉｖｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ：ＰＡＣＳ）」は、ＤＩＣＯＭ標準に合うように保存、加工、通信を行うシステムを意味するものであり、Ｘ線、ＣＴ、ＭＲＩのようなデジタル医療画像装備から得られた医療画像はＤＩＣＯＭ形式で保存され、ネットワークを介して病院内外の端末に送信可能であり、これに読影結果や診療記録が追加されることもある。

本発明の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「学習」あるいは「ラーニング」は、順序を踏んだコンピューティング（ｃｏｍｐｕｔｉｎｇ）によって機械学習（ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ）を実行することを意味するものであり、人間の教育活動のような精神的作用を意味するものでないということは、当業者であれば容易に理解することができるであろう。

本明細書の詳細な説明および特許請求の範囲の全般にわたって用いられる用語である「含む」という単語とこの変形は、他の技術的特徴、付加物、構成要素、または段階を除外することを意図するものではない。さらに、「１つ」または「１」は１つ以上という意味として使用されるものであり、「また他の」は少なくとも２番目以上に限定される。

当業者であれば、本発明の他の目的、長所、および特性が、一部は本説明書から、さらに一部は本発明の実施形態から、明らかにできるであろう。以下で説明する例示および図面は実施形態として提供されるが、これによって本発明が限定されることはない。したがって、特定の構造や機能に関し、本発明で開示する詳細事項が限定的な意味として解釈されてはならず、当業者が実質的に適切な任意の詳細構造として本発明を多様に実施できるように指針を提供するための代表的な基礎資料として解釈されなければならない。

また、本発明は、本明細書に示される実施形態のすべての可能な組み合わせを含む。本発明の多様な実施形態は、互いに異なるが、互いに排他的である必要はないことが理解されなければならない。例えば、ここに記載されている特定の形状、構造、および特性は、一実施形態に関連するものであり、本発明の思想および範囲を逸脱しない限り、他の実施形態によって実現されてよい。また、開示されるそれぞれの実施形態内の個別の構成要素の位置または配置は、本発明の思想および範囲を逸脱しない限り、変更可能であることが理解されなければならない。したがって、後述する詳細な説明は、限定的な意味として解釈されてはならず、本発明の範囲は、適切に説明されるのであれば、特許請求の範囲が主張するものと均等なすべての範囲とともに、添付の特許請求の範囲によってのみ限定される。図面における類似の参照符号は、多側面にわたって同一あるいは類似の機能を示す。

本明細書において異なって表示されるか文脈において明らかに矛盾しない限り、単数で示される項目は、その文脈で特別な要求がない限り、複数の意味合いも含む。さらに、本発明の説明において、関連する公知の構成または機能についての具体的な説明が本発明の要旨を不明瞭にし得ると判断される場合には、これに関する詳細な説明は省略する。

以下、通常の技術者が本発明を容易に実施できるようにするために、本発明の好ましい実施形態について、添付の図面を参照しながら詳細に説明する。

図１は、本発明における、画像再構成方法を実行するコンピュータ装置の例示的な構造を概略的に示した概念図である。

図１を参照すると、本発明の一実施形態に係るコンピュータ装置１００は、通信部１１０およびプロセッサ１２０を含み、前記通信部１１０を通じて外部コンピュータ装置（図示せず）と直接的あるいは間接的に通信してよい。

具体的に、前記コンピュータ装置１００は、典型的なコンピュータハードウェア（例えば、コンピュータプロセッサ、メモリ、ストレージ、入力／出力装置、その他の従来のコンピュータ装置の構成要素を含むことのできる装置、ルータ、スイッチなどのような電子通信装置、ネットワークアタッチトストレージ（ｎｅｔｗｏｒｋ−ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ：ＮＡＳ）およびストレージエリアネットワーク（ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ：ＳＡＮ）のような電子情報ストレージシステム）とコンピュータソフトウェア（すなわち、コンピュータ装置が特定の方式によって機能するようにする命令語）との組み合わせを利用することによって所望するシステム性能を達成するものであってよい。

このようなコンピュータ装置の通信部１１０は、連動する他のコンピュータ装置と要求および応答を送受信してよく、一例として、このような要求と応答は、同一のＴＣＰ（ｔｒａｎｓｍｉｓｓｉｏｎ ｃｏｎｔｒｏｌ ｐｒｏｔｏｃｏｌ）セッション（ｓｅｓｓｉｏｎ）によって実行されてよいが、これに限定されることはなく、例えば、ＵＤＰ（ｕｓｅｒ ｄａｔａｇｒａｍ ｐｒｏｔｏｃｏｌ）データグラム（ｄａｔａｇｒａｍ）として送受信されてもよい。さらに広い意味での前記通信部１１０としては、命令語または指示などを伝達するためのキーボード、マウス、その他の外部入力装置、プリンタ、ディスプレイ、その他の外部出力装置が含まれてもよい。

また、コンピュータ装置のプロセッサ１２０は、ＭＰＵ（ｍｉｃｒｏ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＣＰＵ（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、ＧＰＵ（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）またはＴＰＵ（ｔｅｎｓｏｒ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）、キャッシュメモリ（ｃａｃｈｅ ｍｅｍｏｒｙ）、データバス（ｄａｔａ ｂｕｓ）などのハードウェア構成を含んでよい。さらに、オペレーティングシステムや、特定の目的を実行するアプリケーションのソフトウェア構成をさらに含んでもよい。

図２は、本発明における、画像再構成方法を実行するコンピュータ装置のハードウェアまたはソフトウェア構成要素を例示的に示したブロック図である。

図２を参照しながら、本発明に係る方法および装置の構成について簡単に説明すると、コンピュータ装置１００は、構成要素として、画像取得モジュール２１０を含んでよい。画像取得モジュール２１０は、本発明に係る方法が適用される３次元的画像、すなわち、一連の第１スライス画像を取得するように構成され、図２に示した個別のモジュールは、例えば、コンピュータ装置１００に含まれる通信部１１０やプロセッサ１２０、または前記通信部１１０およびプロセッサ１２０との連動によって実現可能であることは、当業者であれば容易に理解することができるであろう。スライス画像は、例えば、通信部１１０と連動する画像撮影機器または医療画像保存通信システム（ＰＡＣＳ）のような外部画像保存システムから取得されてよいが、これに限定されることはない。例えば、スライス画像は、（医療）画像撮影機器によって撮影されてＤＩＣＯＭ標準に基づいてＰＡＣＳに送られた後、コンピュータ装置１００の画像取得モジュール２１０によって取得されてよい。

次に、このように取得された医療画像は、画像生成モジュール２２０に伝達されてよく、画像生成モジュール２２０は、前記第１スライス画像から抽出された特徴に符合する第２スライス画像を生成するように構成される。例えば、画像生成モジュール２２０は、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）や敵対的生成ネットワーク（ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ：ＧＡＮ）のような近来のニューラルネットワークに基づいて構成されてよく、例えば、敵対的生成ニューラルネットワークの構成については、非特許文献１（Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ Ｊ．；Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ（２０１４）．“Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”）に開示されている。

例えば、画像生成モジュール２２０を構成するニューラルネットワークは、生成ニューラルネットワーク２２２および分類ニューラルネットワーク２２４を含む敵対的生成ニューラルネットワークであってよく、図２に概念的に例示したとおりである。しかし、以下で説明するように、画像生成モジュール２２０で利用される技法がＧＡＮに限定されることはなく、多様な技法が活用可能であることは当然である。学習あるいは訓練を終えた前記画像生成モジュール２２０は、生成ニューラルネットワーク２２２だけで構成されてもよいが、これは、分類ニューラルネットワーク２２４は、以下で説明するように学習のためのものであるためである。

第２スライス画像が生成されると、第２スライス画像は、画像保存および送信モジュール２３０に伝達されてよく、画像保存および送信モジュール２３０は、第２スライス画像の情報を保存したり、外部エンティティ（ｅｎｔｉｔｙ）に提供したりしてよい。外部エンティティに提供されるとき、前記画像保存および送信モジュール２３０は、所定のディスプレイ装置などを通じてよく、前記第２スライス画像の保存は、コンピュータ装置１００と連動する他の装置、例えば、ＰＡＣＳによって実行されてもよい。

図２に示した構成要素は、説明の便宜上、１つのコンピュータ装置で実現されるように示されているが、本発明の方法を実行するコンピュータ装置１００は、複数の装置が互いに連動するように構成されてもよいという点が理解されなければならない。

以下、本発明に係る画像再構成方法の一実施形態について、図３および図４を参照しながらさらに詳しく説明する。

図３は、本発明における、画像再構成方法を概念的に示した図面であり、図４は、本発明における、画像再構成方法を例示的に示したフローチャートである。

図３および図４を参照すると、本発明に係る画像再構成方法は、先ず、コンピュータ装置１００によって実現される画像取得モジュール２１０が、被写体、すなわち被検体に対する一連の第１スライス画像の入力を受けるか、コンピュータ装置１００と連動する他の装置が入力を受けるように支援する段階Ｓ１００を含むが、このような一連の第１スライス画像は、図３に示すように、胸部ＣＴの軸位像（ａｘｉａｌ ｉｍａｇｅ ｏｆ ｃｈｅｓｔ ＣＴ）３１０であってよい。

本発明では、説明の便宜上、肺結節（ｎｏｄｕｌｅ）などの肺と関連する病変の検出を補助するための用途として胸部ＣＴ画像を再構成することを例示しているが、本発明がこれに限定されることはなく、一般的にスライス画像の厚さを調節することのできる３次元医療画像すべてに適用可能であるという点が理解されるであろう。

次に、本発明に係る画像再構成方法は、前記コンピュータ装置１００によって実現される画像生成モジュール２２０が、取得された前記第１スライス画像および第１スライス画像の厚さに基づいて前記第１スライス厚と相異する第２スライス厚を有する第２スライス画像３２０を生成するか、前記他の装置が生成するように支援する段階Ｓ２００をさらに含む。ここで、前記一連の第１スライス画像それぞれは、前記第１スライス厚の領域のうちの少なくとも一部が隣接する他の第１スライス画像の領域と重なってもよい。

一実施形態において、取得された第１スライス画像の枚数がｎ枚（ｎ≧１）であり、この厚さがｔであれば、以後に生成されなければならない第２スライス画像はｍ枚（ｍ＞ｎ）となってよく、これにより、第２スライス厚Ｔは、Ｔ≧ｎ×ｔ／ｍとなってよい。

一般的な補間法、例えば、線形補間によると、第１スライス画像からより質の高い第２スライス画像を生成することは不可能であるという点は、当業者であれば理解することができるであろう。

したがって、本発明の画像再構成方法では、第１スライス画像から第２スライス画像を生成するための画像生成モジュールは、入力された特定の第１スライス画像だけを考慮するのではなく、大量の第１スライス画像と、これに対応する第２スライス画像に基づいて学習された画像生成モジュール２２０を利用する。

簡単に説明すると、画像生成モジュール２２０は、入力スライス画像（すなわち、第１スライス画像）の特徴を抽出し、この特徴に符合する出力スライス画像（すなわち、第２スライス画像）を再生成する構成であり、この一例として、第１スライス画像３１０から第２スライス画像３２０を生成するように構成されたディープニューラルネットワークである完全畳み込みニューラルネットワークを利用し、これをなす層の間にはｒｅｓｉｄｕａｌ ｓｋｉｐ ｃｏｎｎｅｃｔｉｏｎ、３×３×３ ｃｏｎｖｏｌｕｔｉｏｎ、ｓｔｒｉｄｅｄ ｃｏｎｖｏｌｕｔｉｏｎ、ｔｒａｎｓｐｏｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎの関係が成立されるという点は、図３に示したとおりである。

このような完全畳み込みニューラルネットワークだけでなく、敵対的生成ネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）が応用されてもよいが、ＧＡＮに関する論文である非特許文献１（Ｇｏｏｄｆｅｌｌｏｗ，Ｉａｎ Ｊ．；Ｐｏｕｇｅｔ−Ａｂａｄｉｅ，Ｊｅａｎ；Ｍｉｒｚａ，Ｍｅｈｄｉ；Ｘｕ，Ｂｉｎｇ；Ｗａｒｄｅ−Ｆａｒｌｅｙ，Ｄａｖｉｄ；Ｏｚａｉｒ，Ｓｈｅｒｊｉｌ；Ｃｏｕｒｖｉｌｌｅ，Ａａｒｏｎ；Ｂｅｎｇｉｏ，Ｙｏｓｈｕａ（２０１４）．“Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ”）によると、生成ニューラルネットワーク２２２は、実際と類似する画像を生成することによって分類ニューラルネットワーク２２４を欺き、この類似画像を実際の画像として分類されるようにすることを目標とする反面、分類ニューラルネットワーク２２４は、実際の画像と類似するデータを互いに分類することも目標とする。このようなＧＡＮに基づいて学習がなされる過程において、生成ニューラルネットワークと分類ニューラルネットワークは、それぞれの目標を達成するためにネットワークの加重値を更新し、十分な学習後には生成ニューラルネットワークが実際と類似する画像を生成し、分類ニューラルネットワークに基づく判別率が理論的に０．５に収斂されることが明らかになっている。このようなＧＡＮを改良することにより、１つの画像に対応する多様なクラス（種類）の画像を生成することができる。ＧＡＮを活用する他の実施形態として、入力される第１スライス画像と類似の特徴を有する第２スライス画像を生成することによって段階S２００が実行されてよい。

好ましくは、入力される第１スライス画像から多様なスライス厚の第２スライス画像を生成することができるように、生成ニューラルネットワーク２２２に第２スライス厚または第１スライス厚と第２スライス厚の両方をパラメータとして提供してもよい。

具体的な例として、画像生成モジュール２２０は、生成ニューラルネットワーク２２２および分類ニューラルネットワーク２２４を含むか、生成ニューラルネットワーク２２２を含んでよく、このうち生成ニューラルネットワーク２２２は、第１スライス画像から読み取られた第２スライス画像を生成してよい。このとき、第２スライス厚、または第１スライス厚および第２スライス厚をパラメータとして受ければ、生成ニューラルネットワーク２２２は、入力された第１スライス画像から第２スライス厚の特徴を有するように第２スライス画像を生成することができるであろう。

このような画像生成モジュール２２０は、前記第１スライス厚の第１訓練用スライス画像およびこれに対応する前記第２スライス厚の第２訓練用スライス画像を含む複数の訓練用スライス画像の対を訓練用データとして予め学習されたものであってよい。

なお、低い解像度の画像を高い解像度の画像に変換する、すなわち、解像度を高める技法である超解像技術（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ：ＳＲ）が可能であるということは周知の事項であり、ＳＲについては、例えば、非特許文献２（Ｃｈａｏ Ｄｏｎｇ ｅｔａｌ．Ｉｍａｇｅ Ｓｕｐｅｒ−Ｒｅｓｏｌｕｔｉｏｎ Ｕｓｉｎｇ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ，ａｒＸｉｖ ｐｒｅｐｒｉｎｔ ａｒＸｉｖ：１５０１．０００９２ｖ３，２０１５）に開示されている。この文献で説明されたＳＲの技法も、入力画像の特徴を抽出し、この特徴に符合する出力画像を再生成するものであるため、当業者であれば、このＳＲ技法の適用によっても段階Ｓ２００の実行が可能であるということを理解することができるであろう。

再び図４を参照すると、本発明に係る画像再構成方法は、コンピュータ装置１００によって実現される画像保存および送信モジュール２３０が、生成された前記第２スライス画像を提供するか、提供するように支援する段階Ｓ３００をさらに含む。

段階Ｓ３００では、生成された第２スライス画像は、保存および送信モジュール２３０によって保存されるか、および／または所定のディスプレイ装置を通じて外部エンティティｅｎｔｉｔｙに提供されるか、および／またはコンピュータ装置１００と連動する他の装置、例えば、ＰＡＣＳに提供されてよい。

ここで、外部エンティティとは、前記コンピュータ装置１００の使用者、管理者、前記被検体を担当する担当医療専門家などを含んでよく、この他にも、前記第１スライス画像から算出された第２スライス画像を必要とする主体であればすべて含まれると理解されなければならない。例えば、前記外部エンティティは、前記第２スライス画像を活用する別途のＡＩハードウェアおよび／またはソフトウェアモジュールを含む外部のＡＩ装置であってよい。また、外部エンティティにおける「外部（ｅｘｔｅｒｎａｌ）」とは、前記第１スライス画像および第２スライス画像のうちの少なくとも１つを利用するＡＩハードウェアおよび／またはソフトウェアモジュールが前記コンピュータ装置１００と一体化する実施形態を排除するように意図したものではなく、本発明の方法を実行するハードウェアおよび／またはソフトウェアモジュールの結果物である第２スライス画像が他の方法の入力データとしても活用可能であることを示唆するように利用されたものであることを明らかにしておく。すなわち、前記外部エンティティは、コンピュータ装置１００自体であってもよい。

なお、このように生成された第２スライス画像は、今後、医師の読影および診断を容易に行うために活用されるようになるであろう。

なお、本発明の画像再構成方法の一変形形態では、第１スライス画像から検出された病変が実際の病変である可能性のある病変疑いの程度が高い位置に対してのみ、これに対応する第２スライス画像を生成して提示し、病変疑いの程度が低い位置に対しては第１スライス画像を提示することにより、読影の正確性と迅速性を同時に向上させることができるであろう。

この変形形態では、前記段階Ｓ２００は、前記一連の第１スライス画像が入力されれば、コンピュータ装置１００は、前記一連の第１スライス画像に対して病変の位置および病変疑いの程度を算出するか、前記他の装置が算出するように支援する段階Ｓ２１０と、前記病変の位置および病変疑いの程度による所定のフィルタリング条件を満たしている第１スライス画像に対してのみ前記第２スライス画像を生成するか、生成するように支援する段階Ｓ２２０を含んでよい。例えば、このような所定のフィルタリング条件は、第１スライス画像が予め定められた閾値（ｔｈｒｅｓｈｏｌｄ）以上の病変疑いの程度（ｌｅｓｉｏｎ ｃｏｎｆｉｄｅｎｃｅ ｏｒ ｓｕｓｐｉｃｉｏｎ）がある病変の位置から予め定められた距離内に存在するという点を含めば、第１スライス画像がフィルタリング条件を満たすとして定められた条件となってよい。

この変形形態は、病変疑いのない部分に対しては第２スライス画像を生成しないようにすることにより、演算資源を節約し、読影やＡＩの労力を減らすことができるという長所がある。

この変形形態とともに、あるいは単独で実施されることのできる他の変形形態では、前記段階Ｓ２００で、前記コンピュータ装置１００は、使用者の操作に応じて第２スライス画像を提供するか、提供するように支援するが（例えば、所定のディスプレイ装置に外部エンティティが認知できるように表示するなどにより）、第２スライス画像が生成されなかった第１スライス画像は、第２スライス画像の代りに提供することを特徴としてよい。

この変形形態と上述した変形形態を組み合わせれば、病変疑いの程度が高い位置では第２スライス画像を提供することにより、読影またはコンピュータ読影補助システムの読影あるいは診断の正確度を高めたり、あるいはコンピュータ読影補助システムが導き出した結果情報の正確性を読影医師が便利に確認するために活用したりでき、そうでない位置では第１スライス画像を提供することにより、読影の迅速性を向上させる長所がある。

このように、本発明は、上述したすべての実施形態およびこの変形において、より質の高い薄いスライス画像を参照することができ、人間またはコンピュータ読影補助システムによる読影の正確度を向上させることができる効果がある。これにより、医師によるより正確な診断が可能となり、究極的にはＡＩの助力として診療の質を高め、医療現場におけるワークフローの改善に繋がるであろう。

上述した実施形態の説明に基づき、当業者であれば、本発明の方法および／またはプロセス、またはその段階が、ハードウェア、ソフトウェア、または特定の用例に適合したハードウェアおよびソフトウェアの任意の組み合わせによって実現されるという点を明確に理解することができるであろう。前記ハードウェアは、汎用コンピュータおよび／または専用コンピュータ装置、または特定のコンピュータ装置または特定のコンピュータ装置の特別な形態または構成要素を含んでよい。前記プロセスは、内部および／または外部メモリを有する、１つ以上のマイクロプロセッサ、マイクロコントローラ、組み込みマイクロコントローラ、プログラマブルデジタル信号プロセッサ、またはその他のプログラマブル装置によって実現されてよい。また、あるいは代案として、前記プロセスは、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブルゲートアレイ（ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、プログラマブルアレイロジック（Ｐｒｏｇｒａｍｍａｂｌｅ Ａｒｒａｙ Ｌｏｇｉｃ：ＰＡＬ）、または電子信号を処理するために構成されることのできる任意の他の装置または装置の組み合わせによって実施されてよい。さらに、本発明の技術的解法の対象物または先行技術に寄与する部分は、多様なコンピュータ構成要素によって実行されることのできるプログラム命令語の形態で実現されて機械読み取り可能な記録媒体に記録されてよい。前記機械読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独または組み合わせて含んでよい。前記機械読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであっても、コンピュータソフトウェア分野の当業者に公知の使用可能なものであってもよい。機械読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕ−ｒａｙ（登録商標）のような光記録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような光磁気媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を記録して実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、上述した装置のうちのいずれか１つだけでなく、プロセッサ、プロセッサアーキテクチャ、または相異するハードウェアおよびソフトウェアの組み合わせによる異種結合、または他のいずれかのプログラム命令語を実行することのできる機械上で実行されるために記録およびコンパイルまたはインタプリタされることのできる、Ｃのような構造的プログラミング言語、Ｃ＋＋のようなオブジェクト志向プログラミング言語、または高級または低級プログラミング言語（アセンブリ語、ハードウェア技術言語、およびデータベースプログラミング言語および技術）を使用して生成されてよく、機械語コードやバイトコードはもちろん、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードもこれに含まれる。

したがって、本発明に係る一実施形態では、上述した方法およびその組み合わせが１つ以上のコンピュータ装置によって実行されるときに、その方法および方法の組み合わせが各段階を実行させる実行可能なコードとして実施されてよい。他の実施形態では、前記方法は、前記段階を実行するシステムによって実施されてよく、方法は、装置にわたって多様な状態に分散されても、すべての機能が１つの専用、独立型装置、または他のハードウェアに統合されてもよい。さらに他の実施形態では、上述したプロセスと関連する段階を実行する手段は、上述した任意のハードウェアおよび／またはソフトウェアを含んでよい。このようなすべての順次結合および組み合わせは、本発明の範囲内に属するように意図されたものである。

例えば、上述したハードウェア装置は、本発明に係る処理を実行するために１つ以上のソフトウェアモジュールとして作動するように構成されてよく、その逆も同じである。前記ハードウェア装置は、プログラム命令語を記録するためのＲＯＭ／ＲＡＭのようなメモリと結合し、前記メモリに記録された命令語を実行するように構成されるＭＰＵ、ＣＰＵ、ＧＰＵ、ＴＰＵのようなプロセッサを含んでよく、外部装置と信号をやり取りすることのできる通信部を含んでよい。さらに、前記ハードウェア装置は、開発者によって作成された命令語を伝達するためのキーボード、マウス、またはその他の外部入力装置を含んでよい。

以上のように、実施形態について、具体的な構成要素などのような特定の事項と限定された実施形態および図面に基づいて説明したが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明がこのような実施形態に限定されてはならず、当業者であれば、このような記載から多様な修正および変形が可能であろう。

したがって、本発明の思想は、上述した実施形態に極限されて定められてはならず、添付の特許請求の範囲と均等であるか等価的に変更されたすべてのものは、本発明の思想の範囲に属する。

このように均等であるか等価的に変形されたものには、例えば、本発明に係る方法を実施したときと同じ結果を導き出すことのできる、論理的に同値（ｌｏｇｉｃａｌｌｙ ｅｑｕｉｖａｌｅｎｔ）の方法が含まれてよく、本発明の真意および範囲が上述した実施形態に制限されてはならず、法律に基づいて許容可能な最も広い意味として解釈されなければならない。

Claims (13)

1. 画像を再構成する方法であって、
   （ａ）被写体に対する一連の第１スライス画像が入力されると、コンピュータ装置が、前記第１スライス画像から前記第１スライス画像のスライス厚である第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成するか、前記コンピュータ装置と連動する他の装置が生成するように支援する段階、および
   （ｂ）前記コンピュータ装置が、生成された前記第２スライス画像を提供するか、提供するように支援する段階を含む、画像再構成方法。
2. 前記（ａ）段階は、
   ｎ個（ｎ≧１）の第１スライス画像に対し、前記コンピュータ装置が、
   ｍ個（ｍ＞ｎ）個の第２スライス画像を生成するか、生成するように支援するが、
   前記第２スライス厚Ｔと前記第１スライス厚ｔに対してＴ≧ｎ×ｔ／ｍであることを特徴とする、
   請求項１に記載の画像再構成方法。
3. 前記（ａ）段階は、
   ＳＲ（ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ）によって実行されることを特徴とする、
   請求項１に記載の画像再構成方法。
4. 前記（ａ）段階は、
   ディープ畳み込みニューラルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または敵対的生成ニューラルネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）を活用した画像生成モジュールによって実行されることを特徴とする、
   請求項１に記載の画像再構成方法。
5. 前記画像生成モジュールは、前記第１スライス厚の第１訓練用スライス画像およびこれに対応する前記第２スライス厚の第２訓練用スライス画像を含む複数の訓練用スライス画像の対を訓練用データとして予め学習されることを特徴とする、
   請求項４に記載の画像再構成方法。
6. 前記（ａ）段階は、
   （ａ１）前記一連の第１スライス画像が入力されると、コンピュータ装置が、前記一連の第１スライス画像に対して病変の位置および病変疑いの程度を算出するか、前記他の装置が算出するように支援する段階、および
   （ａ２）前記コンピュータ装置が、前記病変の位置および病変疑いの程度による所定のフィルタリング条件を満たしている第１スライス画像に対してのみ前記第２スライス画像を生成するか、生成するように支援する段階を含む、
   請求項１に記載の画像再構成方法。
7. 前記（ｂ）段階は、
   前記コンピュータ装置が、使用者の操作に応じて前記第２スライス画像を提供するか、提供するように支援するが、第２スライス画像が生成されていない第１スライス画像が前記第２スライス画像とともに提供されることを特徴とする、
   請求項１に記載の画像再構成方法。
8. コンピュータ装置が、請求項１〜７のうちのいずれか一項に記載の方法を実行するように実現された命令語（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含む、機械読み取り可能な非一時的記録媒体に記録された、コンピュータプログラム。
9. 画像を再構成するコンピュータ装置であって、
   被写体に対する一連の第１スライス画像の入力を受ける通信部、および
   前記一連の第１スライス画像が入力されると、前記第１スライス画像から前記第１スライス画像のスライス厚である第１スライス厚と相異する第２スライス厚を有する第２スライス画像を生成するか、前記通信部と連動する他の装置が生成するように支援するプロセッサ
   を含み、
   前記プロセッサは、
   生成された前記第２スライス画像を提供するか、前記他の装置が提供するように支援することを特徴とする、
   画像再構成装置。
10. 前記プロセッサは、
    ｎ個（ｎ≧１）の第１スライス画像に対してｍ個（ｍ＞ｎ）個の第２スライス画像を生成するか、前記他の装置が生成するように支援するが、
    前記第２スライス厚Ｔと前記第１スライス厚ｔに対してＴ≧ｎ×ｔ／ｍであることを特徴とする、
    請求項９に記載の画像再構成装置。
11. 前記第２スライス画像の生成は、
    ＳＲ（ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ）によって実行されることを特徴とする、
    請求項９に記載の画像再構成装置。
12. 前記第２スライス画像の生成は、
    ディープ畳み込みニューラルネットワーク（ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ：ＣＮＮ）または敵対的生成ニューラルネットワーク（ＧＡＮ：ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｗｏｒｋ）を活用した前記プロセッサによって実現される画像生成モジュールによって実行されることを特徴とする、
    請求項９に記載の画像再構成装置。
13. 前記画像生成モジュールは、前記第１スライス厚の第１訓練用スライス画像およびこれに対応する前記第２スライス厚の第２訓練用スライス画像を含む複数の訓練用スライス画像の対を訓練用データとして予め学習されることを特徴とする、請求項１２に記載の画像再構成装置。