JP2023173115A - 画像認識プログラム、画像認識方法および画像認識装置 - Google Patents

Abstract

【課題】医用画像から病変に関する状態を高精度に識別する。【解決手段】処理部２は、人体の内部を撮影した複数の断面画像のそれぞれを分割して複数の部分画像を生成し、複数の部分画像のうちの部分画像４に、特定の臓器の内部領域４ａと外部領域４ｂとが含まれている場合、複数の断面画像に基づいて、部分画像４における内部領域４ａと外部領域４ｂとの境界線４ｃに平行な、複数の断面画像とは異なる方向の断面上に存在し、かつ、部分画像４内の内部領域４ａの画素４ｄを中心とする部分断面画像５を生成し、部分断面画像５が複数の状態のうちのいずれの状態であるかを識別した第１の識別結果に基づいて、部分画像４が複数の状態のうちのいずれの状態であるかを示す第２の識別結果を出力する。【選択図】図１

Description

本発明は、画像認識プログラム、画像認識方法および画像認識装置に関する。

各種疾患の診断には、ＣＴ（Computed Tomography）画像などの医用画像が広く用いられている。医用画像を用いた画像診断では、医師は多数の画像を読影しなければならず、医師の負担が大きい。そのため、医師の診断作業をコンピュータによって何らかの形で支援する技術が求められている。

医用画像を用いた診断支援技術として、次のような提案がある。例えば、三次元医用画像データから生成された断層画像上の指定位置が入力されると、この断層画像と指定位置に基づいて、三次元医用画像データから指定位置を含み当該断層画像とは異なる断面を示す断層画像を補助画像として決定し、元の断層画像と補助画像を特定する情報を含む医用レポートを作成する医用レポート作成装置が提案されている。また、読影対象の対象医用画像と類似する類似医用画像としてアキシャル画像とコロナル画像とを症例検索システムから取得し、対象医用画像において１つの関心領域が入力された場合にはアキシャル画像を表示させ、２つ以上の関心領域が入力された場合にはコロナル画像を表示させる情報端末が提案されている。

特開２０１２－２０８７２６号公報 特開２０１７－０６４３８７号公報

ところで、医用画像から、撮影された領域が病変に関する複数の状態のどれであるかを識別する識別処理では、疾患によっては特定の状態の識別が難しい場合がある。例えば、ある臓器内の領域について状態の識別を行う際に、臓器内の第１の状態の画像特徴が臓器外の領域の画像特徴と類似するというケースがある。このケースでは、第２の状態である臓器内の領域と臓器外の領域とが含まれる部分画像について、第１の状態であると誤って識別される可能性がある。

１つの側面では、本発明は、医用画像から病変に関する状態を高精度に識別可能な画像認識プログラム、画像認識方法および画像認識装置を提供することを目的とする。

１つの案では、コンピュータに、人体の内部を撮影した複数の断面画像のそれぞれを分割して複数の部分画像を生成し、複数の部分画像のうち一の部分画像に、特定の臓器の内部領域と外部領域とが含まれている場合、複数の断面画像に基づいて、一の部分画像における内部領域と外部領域との境界線に平行な、複数の断面画像とは異なる方向の断面上に存在し、かつ、一の部分画像内の内部領域の画素を中心とする部分断面画像を生成し、部分断面画像が複数の状態のうちのいずれの状態であるかを識別した第１の識別結果に基づいて、一の部分画像が複数の状態のうちのいずれの状態であるかを示す第２の識別結果を出力する、処理を実行させる画像認識プログラムが提供される。

また、１つの案では、コンピュータに、人体の内部を撮影して得られたボリュームデータから第１の断面画像を取得し、第１の断面画像における特定の臓器の内部領域と外部領域との境界線に平行であり、かつ、内部領域の画素を中心とする、第１の断面画像とは異なる第２の断面画像をボリュームデータに基づいて生成し、第２の断面画像を用いて複数の状態のうちのいずれの状態であるかを識別する、処理を実行させる画像認識プログラムが提供される。

さらに、１つの案では、上記の画像認識プログラムに基づく処理と同様の処理をコンピュータが実行する画像認識方法が提供される。
さらに、１つの案では、上記の画像認識プログラムに基づく処理と同様の処理を実行する画像認識装置が提供される。

１つの側面では、医用画像から病変に関する状態を高精度に識別できる。

第１の実施の形態に係る画像認識装置の構成例および処理例を示す図である。 第２の実施の形態に係る診断支援処理システムの構成例を示す図である。 画像認識装置のハードウェア構成例を示す図である。 陰影識別処理の基本的な流れを示す図である。 浸潤影と正常との識別に関する課題を説明するための図である。 陰影識別に用いられる断面画像について説明するための図である。 学習処理装置および画像認識装置が備える処理機能の構成例を示す図である。 学習処理装置による学習処理の手順を示すフローチャートの例である。 サブパッチ画像の生成処理例を示す第１の図である。 サブパッチ画像の生成処理例を示す第２の図である。 肺野境界のパッチ画像についての最終的な識別結果の算出方法を示す図である。 陰影識別処理全体の手順を示すフローチャートの例である。 サブパッチ画像生成処理の手順を示すフローチャートの例である。 陰影識別処理の手順を示すフローチャートの例である。 識別結果出力処理の手順を示すフローチャートの例である。

以下、本発明の実施の形態について図面を参照して説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態に係る画像認識装置の構成例および処理例を示す図である。図１に示す画像認識装置１は、人体の内部を撮影した断面画像を取得し、取得した断面画像に基づいて、撮影された領域が病変に関する複数の状態のうちのどの状態であるかを識別する情報処理装置である。例えば、肺野の断面が撮影された場合において、複数の状態として陰影の種別が識別される。この場合、陰影の種別の１つとして、画像上の対応する領域が正常であることを示す種別が含まれてもよい。

この画像認識装置１は、処理部２を有する。処理部２は、例えばプロセッサである。この場合、処理部２の処理は、例えば、プロセッサが所定のプログラムを実行することで実現される。処理部２は、以下のような処理を実行する。

処理部２は、上記のように撮影された複数の断面画像を取得する。図１では、取得した複数の断面画像を断面画像セット３として示している。処理部２は、取得した複数の断面画像のそれぞれを分割して、複数の部分画像を生成する（ステップＳ１）。

処理部２は、生成された複数の部分画像のそれぞれについて、部分画像が複数の状態のうちのいずれの状態であるかを識別する識別処理を実行する。この識別処理では、例えば、特定の臓器の内部領域における病変の状態が識別されるとする。

ここで、識別対象となったある部分画像４に、上記の臓器の内部領域４ａと外部領域４ｂとが含まれていた（すなわち、部分画像４が内部領域４ａと外部領域４ｂとの境界に位置していた）とする。この場合、処理部２は、次のような手順で部分画像４の識別処理を実行する。

処理部２は、部分画像４に対応する部分断面画像５を生成する（ステップＳ２）。この部分断面画像５は、部分画像４とは異なる方向の断面（すなわち、上記の複数の断面画像とは異なる方向の断面）上に位置する。上記の複数の断面画像（断面画像セット３）は、三次元のボリュームデータとして扱うことができる。このため、処理部２は、これらの断面画像に基づいて、元の断面画像とは異なる任意の方向の断面に沿った部分断面画像５を生成可能である。

部分断面画像５は、具体的には、部分画像４における内部領域４ａと外部領域４ｂとの境界線４ｃに平行な、上記各断面画像とは異なる方向の断面上に存在する。そして、部分断面画像５は、当該断面上において、部分画像４の画素のうち内部領域４ａの画素４ｄを中心とした領域の画像として生成される。部分断面画像５は、例えば、部分画像４と同じサイズの画像として生成される。

処理部２は、生成された部分断面画像５が、上記の複数の状態のうちのいずれの状態であるかを識別し、その識別結果に基づいて、対応する部分画像４が複数の状態のうちのいずれの状態であるかを示す最終的な識別結果を出力する（ステップＳ３）。

以上の処理によれば、例えば、次のようなケースにおいて、誤識別が発生する可能性を低減できる。例えば、臓器の内部領域が第１の状態である場合の画像特徴が、臓器の外部領域の画像特徴に類似している。一方、部分画像４における内部領域４ａの状態が、第１の状態とは異なる第２の状態であるとする。部分画像４には、画像特徴が第１の状態と類似する外部領域４ｂが含まれているので、部分画像４を直接用いて陰影識別処理を実行すると、部分画像４が第２の状態でなく第１の状態であると誤って識別される可能性がある。

これに対して、生成された部分断面画像５は、部分画像４における内部領域４ａと外部領域４ｂとの境界線４ｃに平行であり、かつ、部分画像４における内部領域４ａの画素を中心とした領域の画像である。このため、部分断面画像５には、第２の状態である内部領域４ａだけが写り、外部領域４ｂが写っていない可能性が高くなる。したがって、処理部２が部分断面画像５を用いて陰影識別処理を実行することで、部分断面画像５は第２の状態であると正しく識別される可能性が高い。

よって、処理部２が部分断面画像５の識別結果に基づいて対応する部分画像４の最終的な識別結果を出力することで、部分画像４が第２の状態であると正しく識別される可能性が高くなり、部分画像４が第１の状態であると誤って識別される可能性が低下する。すなわち、病変に関する状態を高精度に識別可能になる。

〔第２の実施の形態〕
次に、病変に関する複数の状態として、肺野における複数の陰影種別を識別できるようにしたシステムについて説明する。

図２は、第２の実施の形態に係る診断支援処理システムの構成例を示す図である。図２に示す診断支援システムは、ＣＴ撮影による画像診断を支援するシステムであり、学習処理装置１００、画像認識装置２００およびＣＴ装置３００を含む。なお、画像認識装置２００は、図１に示した画像認識装置１の一例である。

ＣＴ装置３００は、人体のＸ線ＣＴ画像を撮影する。本実施の形態では、ＣＴ装置３００は、胸部領域におけるアキシャル面のスライス画像を、人体の高さ方向（アキシャル面に垂直な方向）に対する位置を所定間隔で変えながら所定枚数撮影する。

画像認識装置２００は、ＣＴ装置３００によって撮影された各スライス画像から肺野領域を特定し、肺野領域の画像を一定の大きさの「パッチ画像」に分割する。画像認識装置２００は、パッチ画像のそれぞれについて、陰影の種別を識別する。この識別処理は、あらかじめ学習された学習モデルを用いて行われる。

学習処理装置１００は、画像認識装置２００による陰影種別の識別処理で利用される学習モデルを、機械学習によって生成する。学習処理装置１００によって生成された学習モデルを示すデータは、例えばネットワークを介して、あるいは可搬型の記録媒体を介して画像認識装置２００に読み込まれる。

図３は、画像認識装置のハードウェア構成例を示す図である。画像認識装置２００は、例えば、図３に示すようなハードウェア構成のコンピュータとして実現される。図３に示すように、画像認識装置２００は、プロセッサ２０１、ＲＡＭ（Random Access Memory）２０２、ＨＤＤ（Hard Disk Drive）２０３、ＧＰＵ（Graphics Processing Unit）２０４、入力インタフェース（Ｉ／Ｆ）２０５、読み取り装置２０６および通信インタフェース（Ｉ／Ｆ）２０７を有する。

プロセッサ２０１は、画像認識装置２００全体を統括的に制御する。プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）またはＰＬＤ（Programmable Logic Device）である。また、プロセッサ２０１は、ＣＰＵ、ＭＰＵ、ＤＳＰ、ＡＳＩＣ、ＰＬＤのうちの２以上の要素の組み合わせであってもよい。なお、プロセッサ２０１は、図１に示した処理部２の一例である。

ＲＡＭ２０２は、画像認識装置２００の主記憶装置として使用される。ＲＡＭ２０２には、プロセッサ２０１に実行させるＯＳ（Operating System）プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ２０２には、プロセッサ２０１による処理に必要な各種データが格納される。

ＨＤＤ２０３は、画像認識装置２００の補助記憶装置として使用される。ＨＤＤ２０３には、ＯＳプログラム、アプリケーションプログラム、および各種データが格納される。なお、補助記憶装置としては、ＳＳＤ（Solid State Drive）などの他の種類の不揮発性記憶装置を使用することもできる。

ＧＰＵ２０４には、表示装置２０４ａが接続されている。ＧＰＵ２０４は、プロセッサ２０１からの命令にしたがって、画像を表示装置２０４ａに表示させる。表示装置２０４ａとしては、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどがある。

入力インタフェース２０５には、入力装置２０５ａが接続されている。入力インタフェース２０５は、入力装置２０５ａから出力される信号をプロセッサ２０１に送信する。入力装置２０５ａとしては、キーボードやポインティングデバイスなどがある。ポインティングデバイスとしては、マウス、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。

読み取り装置２０６には、可搬型記録媒体２０６ａが脱着される。読み取り装置２０６は、可搬型記録媒体２０６ａに記録されたデータを読み取ってプロセッサ２０１に送信する。可搬型記録媒体２０６ａとしては、光ディスク、半導体メモリなどがある。

通信インタフェース２０７は、ネットワークを介して、ＣＴ装置３００などの他の装置との間でデータの送受信を行う。
以上のようなハードウェア構成によって、画像認識装置２００の処理機能を実現することができる。なお、学習処理装置１００も、図３に示すようなハードウェア構成のコンピュータとして実現可能である。

次に、画像認識装置２００で実行される陰影識別処理の概要について説明する。
まず、図４は、陰影識別処理の基本的な流れを示す図である。ＣＴ装置３００によって撮影対象者の胸部領域が撮影されると、画像認識装置２００は、撮影された複数のスライス画像を取得する。前述のように、本実施の形態では、アキシャル面のスライス画像が取得される。画像認識装置２００は、取得したスライス画像の中から肺野領域が写っているスライス画像を抽出する（ステップＳ１１）。以下、抽出されたスライス画像のセットを「肺野画像セット」と記載する。

次に、画像認識装置２００は、肺野画像セット内の各スライス画像を一定の大きさのパッチ画像に分割する（ステップＳ１２）。これとともに、画像認識装置２００は、肺野画像セット内の各スライス画像から肺野領域を画素単位で特定する。この特定処理は、例えば、機械学習によって事前に学習された肺野領域特定用の学習モデルを用いて実行される。このような処理により、各スライス画像のパッチ画像は、肺野領域内のパッチ画像と肺野領域外のパッチ画像とに分類される。なお、以下の説明では、「肺野領域内のパッチ画像」は、肺野領域内の画素を所定数（１以上、パッチ画像内の画素数未満の数）含むパッチ画像であるものとする。

次に、画像認識装置２００は、肺野領域内の各パッチ画像について陰影種別を識別する（ステップＳ１３）。陰影種別は、陰影の種別を示すものであり、本実施の形態では、すりガラス影、浸潤影、蜂巣肺、肺気腫、その他の陰影のいずれかを示すものとする。さらに、陰影種別の１つとして正常も含まれる。このような陰影種別の識別は、機械学習によって事前に生成された陰影識別用の学習モデルを用いた識別器によって実行される。

このような陰影識別処理により、肺野領域における異常陰影量を、陰影種別ごとに自動的に定量化できる。このような陰影識別処理は、例えば、びまん性肺疾患の診断に有効である。

ところが、上記の陰影識別処理では、浸潤影と正常との識別に関して次のような課題がある。
図５は、浸潤影と正常との識別に関する課題を説明するための図である。図５には、スライス画像１１から切り出されたパッチ画像１２を例示している。パッチ画像１２は、肺野１１ａ（左肺）とその周囲の胸壁１１ｂとの境界に位置している。このため、パッチ画像１２には肺野１１ａの領域と胸壁１１ｂの領域とが含まれる。また、パッチ画像１２に写っている肺野１１ａの領域は、正常であるとする。この場合、肺野１１ａの領域は、胸壁１１ｂの領域より暗く写る。

ところが、ＣＴ画像において、胸壁と浸潤影とは明るさなどの画像特徴が互いに類似している。このため、パッチ画像１２の例のように、正常な肺野の領域だけでなく胸壁の領域も写り込んでいるパッチ画像を上記の識別器に入力した場合には、このパッチ画像の陰影種別が浸潤影であると誤って識別される可能性がある。

このような問題を解決するための方法としては、例えば、胸壁と浸潤影とを識別するための新たな識別器を、上記の識別器とは別に機械学習によって生成する方法が考えられる。しかし、新たな識別器を生成するには大きな手間がかかるため、作業コストが増大する。また、画像認識装置２００に２つの識別器の学習モデルを示すデータを保存しておかなければならず、必要な記憶容量が大きくなるという問題がある。

そこで、本実施の形態では、次の図６に示す方法により、既存の識別器をそのまま用いて、胸壁の領域を含むパッチ画像を浸潤影と誤って識別する可能性を低減し、識別精度を向上させる。

図６は、陰影識別に用いられる断面画像について説明するための図である。図６には、図５と同様のスライス画像１１およびパッチ画像１２を示している。
ＣＴ装置３００によって撮影された複数のスライス画像は、三次元のボリュームデータとして捉えることができる。このため、画像認識装置２００は、複数のスライス画像に基づいて、ある着目画素を含む任意方向の断面を切り取った断面画像を生成可能である。図６の上側には、パッチ画像１２の内部の画素を通るコロナル面およびサジタル面を例示している。

ＣＴ画像において、肺などの臓器内の病変の領域は、局所的に同じようなテクスチャが広がっているように写る。このため、同種の病変の領域は、アキシャル面、コロナル面、サジタル面など、方向が異なる断面画像においても同じようなテクスチャとして写る。このような特徴に鑑み、本実施の形態の画像認識装置２００は、肺野と胸壁を含むパッチ画像については、そのパッチ画像内の肺野領域の画素を通り、かつ、胸壁領域を含まないような別方向の断面画像を生成し、生成された断面画像を用いて陰影識別を実行する。

例えば、図６のパッチ画像１２における肺野領域の画素を通る別方向の断面画像を生成する場合を考える。図６の上側に示すように、該当画素を通るコロナル画像やサジタル画像を生成した場合には、コロナル画像やサジタル画像には肺野領域だけでなく胸壁領域も含み得る。このため、浸潤影と誤って識別される可能性は残る。

これに対して、本実施の形態の画像認識装置２００は、パッチ画像１２における肺野と胸壁との境界に平行であり、かつ、パッチ画像１２内の肺野領域の画素を通る断面画像を生成する。図６の下側の例では、このような断面画像として斜断面（アキシャル面、コロナル面、サジタル面とは異なる断面）の画像が生成されている。このような断面画像上に、パッチ画像１２内の肺野領域の画素を含む新たなパッチ画像（後述するサブパッチ画像）を生成することで、肺野領域だけを含み、胸壁領域を含まないパッチ画像を生成できる。新たなパッチ画像も元のパッチ画像と同様の二次元画像であるので、新たなパッチ画像を既存の識別器に入力して陰影識別を実行できる。そして、その陰影識別によって、境界付近のパッチ画像を浸潤影と誤って識別する可能性を低減できる。

図７は、学習処理装置および画像認識装置が備える処理機能の構成例を示す図である。
まず、学習処理装置１００は、パッチ画像生成部１１１、アノテーション部１１２、識別器学習部１１３およびモデル記憶部１２１を備える。パッチ画像生成部１１１、アノテーション部１１２および識別器学習部１１３の処理は、例えば、学習処理装置１００が備える図示しないプロセッサが所定のプログラムを実行することで実現される。モデル記憶部１２１は、学習処理装置１００が備える図示しない記憶装置に確保される記憶領域である。

パッチ画像生成部１１１は、収集されたＣＴスライスのそれぞれを所定サイズに分割することでパッチ画像を生成する。アノテーション部１１２は、生成されたパッチ画像の中から肺野領域のパッチ画像を学習用の教師画像として抽出し、抽出された各パッチ画像に対して陰影種別を示すラベルを付加する。識別器学習部１１３は、抽出された各パッチ画像を用いて機械学習を実行し、陰影種別を識別する識別器の学習モデルを生成する。識別器学習部１１３は、生成された学習モデルを示すデータをモデル記憶部１２１に格納する。なお、学習モデルを示すデータは、例えば、ニューラルネットワーク上のノード間の重みパラメータを含む。

次に、画像認識装置２００は、パッチ画像生成部２１１、肺野領域特定部２１２、サブパッチ画像生成部２１３、陰影識別部２１４、識別結果出力部２１５およびモデル記憶部２２１，２２２を備える。パッチ画像生成部２１１、肺野領域特定部２１２、サブパッチ画像生成部２１３、陰影識別部２１４および識別結果出力部２１５の処理は、例えば、画像認識装置２００が備えるプロセッサ２０１が所定のプログラムを実行することで実現される。モデル記憶部２２１，２２２は、ＲＡＭ２０２、ＨＤＤ２０３などの画像認識装置２００が備える記憶装置に確保される記憶領域である。

パッチ画像生成部２１１は、ＣＴ装置３００によって撮影された複数のスライス画像を取得し、取得したスライス画像の中から肺野領域が写っているスライス画像（スライス画像セット）を抽出する。パッチ画像生成部２１１は、スライス画像セットに含まれる各スライス画像を所定サイズに分割することでパッチ画像を生成する。

モデル記憶部２２１には、肺野領域を特定するための学習モデルのデータが格納されている。肺野領域特定部２１２は、モデル記憶部２２１に格納された学習モデルのデータに基づく識別器を用いて、スライス画像セット内の各スライス画像から肺野領域を特定する。

サブパッチ画像生成部２１３は、各スライス画像から生成されたパッチ画像のうち、肺野内領域と肺野外領域（実質的には胸壁領域）とを含むパッチ画像（肺野境界のパッチ画像）について、サブパッチ画像を生成する。サブパッチ画像は、元のパッチ画像における肺野内領域と肺野外領域との境界に平行な断面であって、元のパッチ画像とは異なる方向の断面上に存在し、かつ、元のパッチ画像の肺野内領域の画素を中心とする部分断面画像である。したがって、サブパッチ画像は、元のパッチ画像の肺野内領域の画素ごとに生成される。また、サブパッチ画像のサイズはパッチ画像と同じである。

モデル記憶部２２２には、陰影識別器の学習モデルのデータが格納されている。この学習モデルのデータは、学習処理装置１００のモデル記憶部１２１から、ネットワークや可搬型記録媒体を介して画像認識装置２００に入力され、モデル記憶部２２２に格納される。

陰影識別部２１４は、モデル記憶部２２２に格納されたデータに基づく学習モデルを用いて、パッチ画像単位で陰影識別処理を実行する。陰影識別部２１４は、肺野内部のパッチ画像（肺野境界を含まないパッチ画像）については、そのパッチ画像をそのまま学習モデルに基づく識別器に入力し、陰影識別処理を実行する。したがって、肺野内部のパッチ画像については、この段階での陰影識別結果が１つのみ出力される。一方、陰影識別部２１４は、肺野境界のパッチ画像については、対応する各サブパッチ画像を学習モデルに基づく識別器に入力し、陰影識別処理を実行する。したがって、肺野境界のパッチ画像については、この段階での陰影識別結果がサブパッチ画像ごとに出力される。

識別結果出力部２１５は、パッチ画像ごとの最終的な陰影識別結果を出力する。識別結果出力部２１５は、肺野内部のパッチ画像については、陰影識別部２１４から出力された１つの識別結果をそのまま最終結果として出力する。一方、陰影識別部２１４は、肺野境界のパッチ画像については、サブパッチ画像ごとに出力された陰影識別結果を集計し、集計結果に基づいて最終的な陰影識別結果を出力する。

図８は、学習処理装置による学習処理の手順を示すフローチャートの例である。
［ステップＳ２１］胸部領域が撮影されたスライス画像（本実施の形態ではアキシャル画像）が複数枚収集され、パッチ画像生成部１１１は、収集された各スライス画像を取得する。スライス画像は、例えば、５１２画素×５１２画素のＣＴ画像として取得される。

［ステップＳ２２］パッチ画像生成部１１１は、各スライス画像を一定サイズの格子状のパッチ画像に分割する。パッチ画像のサイズは、例えば１６画素×１６画素である。
［ステップＳ２３］アノテーション部１１２は、生成されたパッチ画像の中から肺野領域のパッチ画像を学習用の教師画像として抽出し、抽出された各パッチ画像に対して陰影種別を示すラベルを付加する。

［ステップＳ２４］識別器学習部１１３は、抽出された各パッチ画像を用いて機械学習を実行し、陰影種別を識別する識別器の学習モデルを生成する。識別器の学習では、例えば、ＣＮＮ（Convolutional Neural Network）を用いた深層学習が行われる。識別器学習部１１３は、生成された学習モデルを示すデータをモデル記憶部１２１に格納する。

この後、モデル記憶部１２１に格納された学習モデルのデータが、ネットワークや可搬型記録媒体を介して画像認識装置２００に入力されモデル記憶部２２２に格納される。
次に、画像認識装置２００の処理について説明する。

前述のように、パッチ画像生成部２１１は、撮影された複数のスライス画像の中から肺野領域が写っているスライス画像を抽出する。パッチ画像生成部２１１は、抽出された各スライス画像を所定サイズに分割することでパッチ画像を生成する。また、肺野領域特定部２１２は、モデル記憶部２２１に格納された学習モデルのデータに基づく識別器を用いて、抽出された各スライス画像から画素単位で肺野領域を特定する。

サブパッチ画像生成部２１３は、各スライス画像から生成されたパッチ画像のうち、肺野内領域と肺野外領域とを含む「肺野境界のパッチ画像」については、１以上のサブパッチ画像を生成する。

図９は、サブパッチ画像の生成処理例を示す第１の図である。また、図１０は、サブパッチ画像の生成処理例を示す第２の図である。図９、図１０に示すパッチ画像２１は、正常な肺野内領域と肺野外領域（胸壁領域）とを含んでいる。なお、一例として、パッチ画像２１のサイズは８画素×８画素であるとする。

このようなパッチ画像２１を陰影識別の対象とする場合、サブパッチ画像生成部２１３は、まず、パッチ画像２１の画素の中から、肺野内領域と肺野外領域との境界に位置する境界画素を特定する。例えば、サブパッチ画像生成部２１３は、肺野外領域に存在する着目画素について、その周囲に隣接する８画素のうち１以上の画素が肺野内領域に存在する場合、着目画素を境界画素として特定する。

次に、サブパッチ画像生成部２１３は、特定された境界画素の中から、次の条件Ｃを満たす画素を抽出する。なお、条件Ｃの式では、パッチ画像２１のｘ座標の最小値をｘ_min、最大値をｘ_maxとし、ｙ座標の最小値をｙ_min、最大値をｙ_maxとする。

（条件Ｃ）ｘ＝ｘ_min ｏｒ ｘ＝ｘ_max ｏｒ ｙ＝ｙ_min ｏｒ ｙ＝ｙ_max
条件Ｃを満たす画素は、パッチ画像２１上の一辺に接する境界画素となる。このような境界画素は、２つ抽出される。図９の例では、座標（ｘ１，ｙ１）の境界画素と座標（ｘ２，ｙ２）の境界画素とが抽出されている。

次に、サブパッチ画像生成部２１３は、抽出された２つの境界画素を通る境界直線Ｌ１を算出する。さらに、サブパッチ画像生成部２１３は、パッチ画像２１の肺野内領域の画素Ｐ１を通り、境界直線Ｌ１と平行な直線Ｌ２を算出する。肺野内領域の画素Ｐ１の座標を（ｘ０，ｙ０）とすると、直線Ｌ２は次の式（１）によって表される。
ｙ＝｛（ｙ１－ｙ２）／（ｘ１－ｘ２）｝×（ｘ－ｘ０）＋ｙ０ ・・・（１）
次に、図１０に示すように、サブパッチ画像生成部２１３は、直線Ｌ２を含む、パッチ画像２１とは異なる方向の断面上に存在し、かつ、画素Ｐ１を中心としたパッチ画像２１と同じサイズの断面画像を、サブパッチ画像２２として生成する。図１０の例では、サブパッチ画像２２は、直線Ｌ２を通り、かつ、元のパッチ画像２１に垂直な断面上に生成されている。

陰影識別部２１４は、生成されたサブパッチ画像２２を識別器に入力して、このサブパッチ画像２２についての陰影識別処理を実行する。ここで、元のパッチ画像２１は、肺野内領域と肺野外領域とを含んでいる。このため、パッチ画像２１を識別器に入力した場合には、パッチ画像２１内の肺野内領域が正常であるにもかかわらず、パッチ画像２１が浸潤影であると誤って識別される可能性がある。

一方、サブパッチ画像２２は、元のパッチ画像２１と同様の二次元画像であるので、サブパッチ画像２２をパッチ画像２１用と同じ識別器に入力して陰影識別処理を実行可能である。また、サブパッチ画像２２は、肺野内領域と肺野外領域との境界直線Ｌ１に平行な、元のパッチ画像２１とは異なる方向の断面に存在し、かつ、パッチ画像２１の肺野内領域の画素を中心とする断面画像である。このため、サブパッチ画像２２は、肺野内領域だけを含み、肺野外領域を含んでいない可能性が高い。したがって、サブパッチ画像２２を識別器に入力することで、サブパッチ画像２２は正常であると正しく識別される可能性が高い。

サブパッチ画像生成部２１３は、パッチ画像２１の肺野内領域の各画素について、上記の直線Ｌ２を算出する。そして、サブパッチ画像生成部２１３は、これらの画素のそれぞれについて、対応する直線Ｌ２を含む、パッチ画像２１とは異なる方向の断面上に存在し、かつ、対応する画素を中心としたパッチ画像２１と同じサイズの断面画像を、サブパッチ画像として生成する。したがって、サブパッチ画像は、対応するパッチ画像２１の肺野内領域に含まれる画素のそれぞれについて生成され、これらの画素のそれぞれについて、対応するサブパッチ画像を用いた識別結果が出力される。

図１１は、肺野境界のパッチ画像についての最終的な識別結果の算出方法を示す図である。識別結果出力部２１５は、上記のようにパッチ画像の肺野内領域に含まれる各画素について、サブパッチ画像を用いて出力された識別結果を統合することで、パッチ画像の最終的な識別結果を算出する。

この統合処理では、識別結果出力部２１５は、各サブパッチ画像を用いた識別結果の集計結果に基づいて、最終的な識別結果を算出する。具体的な例としては、識別結果出力部２１５は、識別結果の多数決をとり、最も多く識別された陰影種別を最終的な識別結果として出力する。

図１１（Ａ），（Ｂ）には、４画素×４画素のパッチ画像３１を例示している。パッチ画像３１においては、図中の一点鎖線を境に左側が肺野内領域、右側が肺野外領域となっている。

図１１（Ａ）は、識別結果の第１の統合例を示す。第１の統合例では、パッチ画像３１の肺野内領域の画素のうち、肺野外領域から例として１画素離れた各画素のみについてサブパッチ画像が生成され、各サブパッチ画像を用いた陰影識別が行われる。図１１（Ａ）では、該当する３画素のすべてが正常と識別され、陰影Ａ（例えば浸潤影）と識別された画素がなかったとする。この場合、パッチ画像３１についての最終的な識別結果は正常となる。

図１１（Ｂ）は、識別結果の第２の統合例を示す。第２の統合例では、パッチ画像３１の肺野内領域に含まれるすべての画素についてサブパッチ画像が生成され、各サブパッチ画像を用いた陰影種別が行われる。図１１（Ｂ）では、該当する９画素のうち、７画素が正常と識別され、２画素が陰影Ａと識別されたする。この場合、パッチ画像３１についての最終的な識別結果は正常となる。

第１の統合例のように、肺野外領域から１画素以上離れた画素に対応するサブパッチ画像のみが陰影識別される場合には、第２の統合例の場合と比較して、肺野外の領域からの影響を受けずに陰影識別処理を実行可能になる。例えば、スライス画像の解像度が低く、肺野内領域と肺野外領域との境界付近での画像特徴が曖昧になりやすい場合には、第１の統合例の方が陰影識別精度を高めることができる。

なお、上記のように、識別結果出力部２１５は、各サブパッチ画像を用いた識別結果のうち、最も多く識別された陰影種別を最終的な識別結果として出力する。ただし、識別結果出力部２１５は、単に多数決をとるのではなく、例えば、各サブパッチ画像を用いた陰影識別処理において識別器から陰影種別ごとに算出される確率値を用いて、最終的な識別結果を決定してもよい。例えば、識別結果出力部２１５は、陰影種別ごとに確率値を合計し、確率値の合計値が最大となる陰影種別を最終的な識別結果に決定してもよい。また、識別結果出力部２１５は、各サブパッチ画像を用いた陰影識別により複数の陰影種別が同数だけ識別された場合に、それらの陰影種別のうち、対応する確率値の合計値が最大の陰影種別を最終的な識別結果に決定してもよい。

以上説明したように、本実施の形態の画像認識装置２００は、肺野境界のパッチ画像については、サブパッチ画像を用いて陰影識別処理を実行し、それらの識別結果を基に元のパッチ画像についての最終的な識別結果を決定する。サブパッチ画像は、肺野内領域と肺野外領域との境界に平行な、元のパッチ画像とは異なる方向の断面に存在し、かつ、パッチ画像の肺野内領域の画素を中心とする断面画像である。このため、サブパッチ画像は肺野内領域だけを含む可能性が高いので、サブパッチ画像を用いた陰影識別処理では、正常な領域が浸潤影と誤って識別される可能性が低い。したがって、画像認識装置２００は、サブパッチ画像による陰影識別結果を基に元のパッチ画像の最終的な識別結果を決定することで、誤識別の発生確率を低減し、識別精度を向上させることができる。

次に、画像認識装置２００の処理について、フローチャートを用いて説明する。
図１２は、陰影識別処理全体の手順を示すフローチャートの例である。
［ステップＳ３１］ＣＴ装置３００により、撮影対象者の胸部領域が撮影される。パッチ画像生成部２１１は、撮影された複数のスライス画像の入力を受け付け、これらのスライス画像の中から肺野領域が写っているスライス画像のセット（肺野画像セット）を抽出する。

［ステップＳ３２］パッチ画像生成部２１１は、肺野画像セットに含まれる各スライス画像を所定サイズに分割することで、パッチ画像を生成する。
［ステップＳ３３］肺野領域特定部２１２は、モデル記憶部２２１に格納された学習モデルのデータに基づく識別器を用いて、肺野画像セットに含まれる各スライス画像から画素単位で肺野領域を特定する。以下のステップＳ３４～Ｓ３６の処理は、肺野領域を含むパッチ画像が識別処理対象とされる。

［ステップＳ３４］サブパッチ画像生成部２１３は、識別処理対象のパッチ画像のうち、肺野内領域と肺野外領域（胸壁領域）とを含むパッチ画像（肺野境界のパッチ画像）のそれぞれについて、１以上のサブパッチ画像を生成する。

［ステップＳ３５］陰影識別部２１４は、モデル記憶部２２２に格納された学習モデルのデータを基に識別器を生成する。陰影識別部２１４は、識別対象のパッチ画像のうち、肺野外領域を含まないパッチ画像（肺野内部のパッチ画像）については、パッチ画像をそのまま識別器に入力して陰影識別処理を実行する。一方、陰影識別部２１４は、識別対象のパッチ画像のうち、肺野境界のパッチ画像については、対応する１以上のサブパッチ画像を識別器に入力し、サブパッチ画像ごとに陰影識別処理を実行する。

［ステップＳ３６］識別結果出力部２１５は、識別対象のパッチ画像のうち、肺野内部のパッチ画像については、そのパッチ画像を識別器に入力して得られた識別結果を、最終的な識別結果としてそのまま出力する。一方、識別結果出力部２１５は、識別対象のパッチ画像のうち、肺野境界のパッチ画像については、対応する１以上のサブパッチ画像を用いて得られた識別結果を統合して、パッチ画像についての最終的な識別結果を出力する。

図１３は、サブパッチ画像生成処理の手順を示すフローチャートの例である。図１３の処理は、図１２のステップＳ３４の処理に対応する。
［ステップＳ４１］サブパッチ画像生成部２１３は、識別対象のパッチ画像を１つ選択する。

［ステップＳ４２］サブパッチ画像生成部２１３は、選択されたパッチ画像が肺野外領域の画素を含むかを判定する。該当画素を含む場合、処理がステップＳ４３に進められ、該当画素を含まない場合、処理がステップＳ４８に進められる。

［ステップＳ４３］サブパッチ画像生成部２１３は、選択されたパッチ画像における肺野内領域と肺野外領域との境界直線を算出する。この処理では、図９で説明したように、パッチ画像から境界画素が特定され、境界画素の中から条件Ｃを満たす２つの境界画素が抽出され、抽出された各境界画素を通る境界直線が算出される。

［ステップＳ４４］サブパッチ画像生成部２１３は、選択されたパッチ画像から肺野内領域の画素を１つ選択する。
［ステップＳ４５］サブパッチ画像生成部２１３は、境界直線に平行な、パッチ画像とは異なる方向の断面上に位置し、かつ、選択された画素を中心としたサブパッチ画像を生成する。具体的には、サブパッチ画像生成部２１３は、選択された画素を通り、かつ、境界直線と平行な直線を、前述の式（１）にしたがって算出する。サブパッチ画像生成部２１３は、算出された直線を含み、パッチ画像に垂直な断面上に、選択された画素を中心としたパッチ画像と同じサイズの断面画像を生成し、この断面画像をサブパッチ画像とする。このような断面画像は、肺野画像セットに含まれる各スライス画像の画素値（すなわち、各スライス画像によるボリュームデータのボクセル値）に基づき、ＭＰＲ（Multi-Planner Reconstruction）法などを用いて生成される。

［ステップＳ４６］サブパッチ画像生成部２１３は、生成されたサブパッチ画像を、パッチ画像に対応付けて記憶装置（例えばＲＡＭ２０２）に保存する。
［ステップＳ４７］サブパッチ画像生成部２１３は、選択されたパッチ画像の肺野内領域に含まれるすべての画素がステップＳ４４で選択済みかを判定する。未選択の画素がある場合、処理がステップＳ４４に進められ、未選択の画素の１つが選択される。一方、すべての画素が選択済みである場合、処理がステップＳ４８に進められる。

［ステップＳ４８］サブパッチ画像生成部２１３は、識別対象のパッチ画像のすべてがステップＳ４１で選択済みかを判定する。未選択のパッチ画像がある場合、処理がステップＳ４１に進められ、未選択のパッチ画像の１つが選択される。一方、すべてのパッチ画像が選択済みである場合、サブパッチ画像生成処理が終了する。

図１４は、陰影識別処理の手順を示すフローチャートの例である。図１４の処理は、図１２のステップＳ３５の処理に対応する。
［ステップＳ５１］陰影識別部２１４は、識別対象のパッチ画像を１つ選択する。

［ステップＳ５２］陰影識別部２１４は、選択されたパッチ画像が肺野外領域の画素を含むかを判定する。該当画素を含まない場合、処理がステップＳ５３に進められ、該当画素を含む場合、処理がステップＳ５４に進められる。

［ステップＳ５３］陰影識別部２１４は、選択されたパッチ画像を識別器に入力して、陰影識別処理を実行する。これにより、パッチ画像についての識別結果が出力される。
［ステップＳ５４］陰影識別部２１４は、選択されたパッチ画像に対応付けられたサブパッチ画像を１つ取得する。

［ステップＳ５５］陰影識別部２１４は、取得したサブパッチ画像を識別器に入力して、陰影識別処理を実行する。これにより、サブパッチ画像についての識別結果が出力される。

［ステップＳ５６］陰影識別部２１４は、選択されたパッチ画像に対応付けられたすべてのサブパッチ画像がステップＳ５４で選択済みかを判定する。未選択のサブパッチ画像がある場合、処理がステップＳ５４に進められ、未選択のサブパッチ画像の１つが選択される。一方、すべてのすべてのサブパッチ画像が選択済みである場合、処理がステップＳ５７に進められる。

［ステップＳ５７］陰影識別部２１４は、識別対象のパッチ画像のすべてがステップＳ５１で選択済みかを判定する。未選択のパッチ画像がある場合、処理がステップＳ５１に進められ、未選択のパッチ画像の１つが選択される。一方、すべてのパッチ画像が選択済みである場合、陰影識別処理が終了する。

なお、ステップＳ４１では、撮影された複数のスライス画像のうち、肺野領域が写っている複数のスライス画像に含まれるパッチ画像の中から選択される。すなわち、パッチ画像が含まれるスライス画像は、肺野領域を含むボリュームデータから取得される。ただし、パッチ画像が含まれるスライス画像は、スライス画像の撮影ピッチ（スライス画像間の間隔）より狭いピッチで選択されてもよい。この場合、隣接するスライス画像間の位置に対応するスライス画像は、ボリュームデータからボクセル値の補間によって生成される。

図１５は、識別結果出力処理の手順を示すフローチャートの例である。図１５の処理は、図１２のステップＳ３６の処理に対応する。
［ステップＳ６１］識別結果出力部２１５は、識別対象のパッチ画像を１つ選択する。

［ステップＳ６２］識別結果出力部２１５は、選択されたパッチ画像が肺野外領域の画素を含むかを判定する。該当画素を含まない場合、処理がステップＳ６３に進められ、該当画素を含む場合、処理がステップＳ６４に進められる。

［ステップＳ６３］識別結果出力部２１５は、選択されたパッチ画像に基づく陰影の識別結果を、このパッチ画像についての最終的な識別結果として出力する。
［ステップＳ６４］識別結果出力部２１５は、選択されたパッチ画像に対応付けられた各サブパッチ画像に基づく陰影の識別結果を取得する。

［ステップＳ６５］識別結果出力部２１５は、取得した識別結果を集計し、集計結果に基づいてパッチ画像についての最終的な識別結果を決定し、出力する。
［ステップＳ６６］陰影識別部２１４は、識別対象のパッチ画像のすべてがステップＳ６１で選択済みかを判定する。未選択のパッチ画像がある場合、処理がステップＳ６１に進められ、未選択のパッチ画像の１つが選択される。一方、すべてのパッチ画像が選択済みである場合、識別結果出力処理が終了する。

なお、上記の各実施の形態に示した装置（例えば、画像認識装置１、学習処理装置１００、画像認識装置２００）の処理機能は、コンピュータによって実現することができる。その場合、各装置が有すべき機能の処理内容を記述したプログラムが提供され、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記憶装置、光ディスク、半導体メモリなどがある。磁気記憶装置には、ハードディスク装置（ＨＤＤ）、磁気テープなどがある。光ディスクには、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク（Blu-ray Disc：ＢＤ、登録商標）などがある。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムにしたがった処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムにしたがった処理を実行することもできる。また、コンピュータは、ネットワークを介して接続されたサーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムにしたがった処理を実行することもできる。

１ 画像認識装置
２ 処理部
３ 断面画像セット
４ 部分画像
４ａ 内部領域
４ｂ 外部領域
４ｃ 境界線
４ｄ 画素
５ 部分断面画像
Ｓ１～Ｓ３ ステップ

Claims (7)

1. コンピュータに、
   人体の内部を撮影した複数の断面画像のそれぞれを分割して複数の部分画像を生成し、
   前記複数の部分画像のうち一の部分画像に、特定の臓器の内部領域と外部領域とが含まれている場合、前記複数の断面画像に基づいて、前記一の部分画像における前記内部領域と前記外部領域との境界線に平行な、前記複数の断面画像とは異なる方向の断面上に存在し、かつ、前記一の部分画像内の前記内部領域の画素を中心とする部分断面画像を生成し、前記部分断面画像が複数の状態のうちのいずれの状態であるかを識別した第１の識別結果に基づいて、前記一の部分画像が前記複数の状態のうちのいずれの状態であるかを示す第２の識別結果を出力する、
   処理を実行させる画像認識プログラム。
2. 前記部分断面画像は、前記一の部分画像内の前記内部領域に含まれる１以上の画素のそれぞれを中心とする画像として個別に生成され、
   前記第２の識別結果は、前記部分断面画像のそれぞれについての前記第１の識別結果の集計結果に基づいて出力される。
   請求項１記載の画像認識プログラム。
3. 前記第１の識別結果は、前記部分断面画像に基づき、機械学習によって生成された学習モデルを用いた識別処理によって出力され、
   前記コンピュータに、前記複数の部分画像のうち第２の部分画像に、前記内部領域が含まれ、前記外部領域が含まれていない場合、前記第２の部分画像に基づき、前記学習モデルを用いて前記第２の部分画像が前記複数の状態のうちのいずれの状態であるかを示す第３の識別結果を出力する処理をさらに実行させる、
   請求項１記載の画像認識プログラム。
4. 前記特定の臓器は肺であり、
   前記第１の識別結果および前記第２の識別結果は、前記複数の状態として、複数種別の陰影および正常のうちのいずれであるかを示し、
   前記複数種別の陰影には浸潤影が含まれる、
   請求項１乃至３のいずれか１項に記載の画像認識プログラム。
5. コンピュータに、
   人体の内部を撮影して得られたボリュームデータから第１の断面画像を取得し、
   前記第１の断面画像における特定の臓器の内部領域と外部領域との境界線に平行であり、かつ、前記内部領域の画素を中心とする、前記第１の断面画像とは異なる第２の断面画像を前記ボリュームデータに基づいて生成し、
   前記第２の断面画像を用いて複数の状態のうちのいずれの状態であるかを識別する、
   処理を実行させる画像認識プログラム。
6. コンピュータが、
   人体の内部を撮影した複数の断面画像のそれぞれを分割して複数の部分画像を生成し、
   前記複数の部分画像のうち一の部分画像に、特定の臓器の内部領域と外部領域とが含まれている場合、前記複数の断面画像に基づいて、前記一の部分画像における前記内部領域と前記外部領域との境界線に平行な、前記複数の断面画像とは異なる方向の断面上に存在し、かつ、前記一の部分画像内の前記内部領域の画素を中心とする部分断面画像を生成し、前記部分断面画像が複数の状態のうちのいずれの状態であるかを識別した第１の識別結果に基づいて、前記一の部分画像が前記複数の状態のうちのいずれの状態であるかを示す第２の識別結果を出力する、
   画像認識方法。
7. 人体の内部を撮影した複数の断面画像のそれぞれを分割して複数の部分画像を生成し、
   前記複数の部分画像のうち一の部分画像に、特定の臓器の内部領域と外部領域とが含まれている場合、前記複数の断面画像に基づいて、前記一の部分画像における前記内部領域と前記外部領域との境界線に平行な、前記複数の断面画像とは異なる方向の断面上に存在し、かつ、前記一の部分画像内の前記内部領域の画素を中心とする部分断面画像を生成し、前記部分断面画像が複数の状態のうちのいずれの状態であるかを識別した第１の識別結果に基づいて、前記一の部分画像が前記複数の状態のうちのいずれの状態であるかを示す第２の識別結果を出力する、処理部、
   を有する画像認識装置。

Images