JP2018175366A - 自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラム - Google Patents

Abstract

【課題】本発明は、複数の医療機関が撮影した検査画像を、画面上の所定の位置に自動的に配置して表示する自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラムを提供する。【解決手段】受付手段３１で、複数の検査画像ｑを含む検査データＱを受け付け、類似検査データ特定手段３２で、検査データＱに含まれる各検査画像ｑと見本検査データＰに含まれる各見本画像ｐ間の類似度を用いて、検査データＱに類似する見本検査データＰを特定して、表示手段３４で、検査データＱに類似する見本検査データＰに対応付けられたレイアウト情報Ｌに従って、検査データＱに含まれる検査画像ｑを表示する。【選択図】図２

Description

本発明は、画像の読影を補助するための表示プロトコルに関し、特に、画像を自動レイアウトする自動レイアウト装置および自動レイアウト方法並びに自動レイアウトプログラムに関するものである。

近年、医療情報システムの普及に伴い、地域における病気診断の連携と医療情報の共有を目的として、医療機関の相互間でデータ交換が可能な広域電子カルテの実現がされつつある。広域電子カルテシステムの要素技術には、各医療機関に設けられた医用画像管理システム（ＰＡＣＳ： Picture Archiving and Communication System）がある。ＰＡＣＳでは、ＣＲ（Computed Radiography：コンピュータＸ線撮影）、ＣＴ（Computed Tomography：コンピュータ断層撮影装置）およびＭＲＩ（magnetic resonance imaging：磁気共鳴画像撮影装置）といった画像撮影装置（モダリティ）から受信した画像データの保管、閲覧、および管理を行っている。また、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）規格を用いて画像データを管理することにより、様々な種類の画像データの一元管理を可能にしている。

画像検査では一人の患者に対して複数の画像（単純Ｘ線画像、ＣＴ画像、ＭＲＩ画像、超音波画像など）が撮影され、撮影された画像は、ＰＡＣＳから読みだされて、読影ビューアなどの画面に表示して確認される。読影者がこれらの医用画像を効率的に観察するため、読影者のニーズに合わせて画像表示ができるように、画面レイアウト（画面分割数、タイル表示、およびスタック表示など）や表示対象画像のモダリティ毎の表示位置が定義された表示プロトコルを予め設定しておき、読影の際には、読影者によって選択された表示プロトコルに基づいて、読影対象の画像を表示するようにした装置が知られている。

具体的な表示プロトコルとして、例えば、撮影順に並べる方法、あるいは、画像に付帯する情報（ＤＩＣＯＭタグ情報など）に基づいて定義されたルールに従って並べる方法が知られている。例えば、特許文献１には、複数の医用画像の並び順を医用画像の付帯情報を利用して定義した定義情報と、複数の医用画像を画面に同時表示するときの医用画像の配置位置を、医用画像の付帯情報を利用して、定義情報に従って定義された位置に画像を配置して表示することが開示されている。特許文献２には、読影レポート情報から、所見中の解剖学的構造および病変に関する情報を抽出し、これらの情報に基づいて、最適な表示プロトコルを決定する手法が開示されている。

画像の表示順は可能な限り撮影画像の発生時刻に従うことが原則であるが、ディスプレイを無駄に使う場合には多少の表示順は変わっても効率よく画像を診断できれば、許容される。また、画像をできるだけ少ないページに配置して、効率よく観察できる表示プロトコルが望まれる。このようなプロトコルを決定するために、解像度を元に複数の画面を配置するときのパターンを用意し、検査画像が発生した順序を考慮して、画面上に無駄な何も表示されている領域が少なくなるように、解像度、順序、および、画面の使用率をから、表示プロトコルの最適度を求めることで、表示プロトコルを決定する手法が、非特許文献１に開示されている。

特開２００７−２６００６１号公報 特許５６７００７９号 森正人"ＰＡＣＳの画像表示における最適ハンギングプロトコルの研究"、NAIST-IS-DT9961206、p35-50

検査画像を迅速に診断するためには症例または読影医の好みに応じた画像表示が行えることが、読影効率を向上させる上で、重要であるといわれている。広域電子カルテシステムのように複数の医療機関が連携した医療情報システムが構築されている場合には、各医療機関が撮影した画像の読影が、読影専門の読影医がいる医療機関に依頼される。しかしながら、画像の撮影順や画像に付帯するＤＩＣＯＭタグのような付帯情報の記述は標準化されていないため、撮影装置のベンダー（メーカー）または撮影技師が異なる場合には異なった撮影順で撮影されていたり、タグの情報の記述方法が異なっていたりする場合がある。そのため、特許文献１に開示されている手法では適切に機能しないという問題がある。特に、ＭＲＩ画像のＴ１強調画像とＴ２強調画像のように、撮影条件によって異なる画像に関する情報は標準化されていないため適切な表示位置に配置されない可能性が高い。

また、特許文献２のように、過去検査の読影レポートがある場合には、読影レポートに記載されている情報を参考にして最適な表示プロトコルを選択することが可能である。さらに、読影レポートに対して自然言語解析を行うことでキーワードを抽出して最適な表示プロトコルを決定することも可能であるが、過去の読影レポートがない状況では、どのような表示プロトコルを選択することが最適であるかの判断を行うことができない。また、解剖学的構造や同じような病変がある場合であっても検査データが異なる状況では、最適な表示プロトコルを決定することは難しい。

非特許文献１には、効率的に表示するための表示プロトコルの決定方法は記載されているが、正確な診断を行う場合には、診断に適したレイアウトにする必要があり、その点については考慮されていない。

そこで、本発明では、上述のような問題を解決するために、読影に最適な表示プロトコルで検査画像を自動的にレイアウトするための自動レイアウト装置および自動レイアウト方法、並びに、自動レイアウトプログラムを提供することを目的とする。

本発明の自動レイアウト装置は、複数の検査画像を含む検査データを受け付ける受付手段と、複数の見本画像を含む見本検査データに、見本画像を画面上に配置する際の見本画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ対応付けて記憶する記憶部に接続する接続手段と、検査データに含まれる各検査画像と見本検査データに含まれる各見本画像間の類似度を用いて、検査データに類似する見本検査データを特定する類似検査データ特定手段と、検査データに類似する見本検査データに対応付けられたレイアウト情報に従って、検査データに含まれる検査画像を表示する表示手段とを備えたものである。

本発明の自動レイアウト方法は、受付手段と、接続手段と、類似検査データ特定手段と、表示手段とを備えた自動レイアウト装置において、受付手段が、複数の検査画像を含む検査データを受け付ける受付ステップと、接続手段が、複数の見本画像を含む見本検査データに、見本画像を画面上に配置する配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ対応付けて記憶する記憶部に接続する接続ステップと、類似検査データ特定手段が、検査データに含まれる各検査画像と見本検査データに含まれる各見本画像間の類似度を用いて、検査データに類似する見本検査データを特定する類似検査データ特定ステップと、表示手段が、検査データに類似する見本検査データに対応付けられたレイアウト情報に従って、検査データに含まれる検査画像を表示する表示ステップとを備えたものである。

本発明の自動レイアウトプログラムは、コンピュータを、複数の検査画像を含む対象検査データを受け付ける受付手段と、複数の見本画像を含む見本検査データに、見本画像を画面上に配置する際の見本画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ記憶する記憶部に接続する接続手段と、検査データに含まれる各検査画像と見本検査データに含まれる各見本画像の類似度を用いて、対象検査データに類似する見本検査データを特定する類似検査データ特定手段と、対象検査データに類似する見本検査データに対応付けられたレイアウト情報に従って、対象検査データの検査画像を表示する表示手段として機能させるものである。

「レイアウト情報」とは、画面に画像を配置する際の画面の分割方法と、画像の配置位置を含む情報をいう。画面の分割方法には、例えば、２分割または４分割などの画面の分け方と、分割した各領域の大きさが含まれる。

「検査データ」とは、疾患を診断するために必要なデータをいい、複数の検査画像が含まれる。検査画像には、様々なモダリティで撮影された静止画および動画が含まれる。さらに、検査画像が検査に関する文書データを画像化したものであってもよい。

また、「見本検査データ」とは、新たな検査データの検査画像を配置するときの見本となる見本画像が含まれている検査データをいう。また、見本画像は、レイアウト上に配置する検査画像の見本となる画像を指す。

また、検査データおよび見本検査データは、異なる種類のモダリティで撮影された画像を含み、類似検査データ特定手段が、同じ種類のモダリティで撮影された検査画像と見本画像を対応付けて類似度を取得するものであってもよい。

また、検査データおよび見本検査データは、磁気共鳴画像撮影装置の異なる種類の撮影プロトコルで撮影された画像を含むものであってもよい。

また、類似検査データ特定手段が、見本検査データに含まれる見本画像の１つと検査データに含まれる検査画像の１つの組合せのそれぞれについて、検査画像と見本画像の類似度を取得する類似度取得手段と、検査データにおいて、検査画像に対応づけられる見本画像が１以下であり、かつ、見本画像に対応付けられる検査画像が１以下であるという条件を満たすように、検査画像と見本画像を対応付けた場合に、対応付けられた検査画像と見本画像の組合せにおける類似度取得手段によって取得された全ての類似度を用いて、所定の規則に従って検査データに類似する見本検査データを特定するものであってもよい。

また、類似検査データ特定手段は、見本検査データに含まれる見本画像のそれぞれのレイアウト上の表示位置に基づいて重み係数を設定し、各検査画像と各見本画像の類似度に該見本画像の重み係数を掛け合わした類似度を用いて、検査データに類似する見本検査データを特定するものが望ましい。

また、類似検査データ特定手段が、２つの組合せにおいて、第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の前後関係と、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係とに基づいて類似度の調整値を取得する調整値取得手段をさらに備え、条件を満たすように、検査画像と見本画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて、所定の規則に従って検査データに類似する見本検査データを特定するものが望ましい。

また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の撮影時刻の順番が一致する場合には、調整値は類似度を高くする値を設定するものが望ましい。

また、レイアウトの見本画像には断層画像が含まれ、かつ、検査データの検査画像には断層画像が含まれる場合には、類似検査データ特定手段が、２つの組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、第１の組合せ含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて類似度の調整値を取得する調整値取得手段とを備え、条件を満たすように、見本画像と検査画像を対応付けた場合に、対応付けられた見本画像と検査画像の組合せにおける類似度取得手段によって取得された全ての類似度と、２つの組合せにおける調整値取得手段によって取得された全ての調整値とを用いて所定の規則に従って検査データに類似する見本検査データを特定するものが望ましい。

また、調整値取得手段が、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の順番と第１の組合せに含まれる検査画像と第２の組合せに含まれる検査画像の断層位置の順番が一致する場合には、調整値は類似度を高くする値を設定するものが望ましい。

また、類似度取得手段が、検査画像と見本画像のヒストグラムに基づいて類似度を取得するものであってもよい。

また、検査データが、１以上の電子文書データを含み、類似検査データ特定手段が、検査データの電子文書データと見本画像データの電子文書データに類似するキーワードが含まれるか否かに基づいて、検査データに類似する見本検査データを特定するものであってもよい。

本発明によれば、複数の見本画像を含む見本検査データに見本画像のレイアウトを表すレイアウト情報をそれぞれ対応付けて記憶しておき、検査データに類似する見本検査データを特定して、見本検査データに対応付けられたレイアウト情報に従って、検査データに含まれる検査画像を表示することにより、新しい検査画像を類似した症例と同じレイアウトで自動的に表示することが可能になり、作業効率を向上させることが可能になる。

本発明の実施形態における自動レイアウト装置が導入された医療情報システムの概略構成を示す図 本発明の自動レイアウト装置の機能ブロック図 見本画像を配置したレイアウトの一例を示す図 見本画像と検査画像の対応付けを行う処理のフローチャート 見本画像と検査画像の一例を示す図 ヒストグラムインターセクションから類似度を求める方法を説明するための図 画面の構図を反映させた類似度を求める方法を説明するための図 調整値を求める方法を説明するための図 見本画像の集合Ｐと、検査画像の集合Ｑの対応付を説明するための図 自動レイアウト装置の動作を説明するためのフローチャート 見本画像と検査画像が対応付けられた結果の一例を示す図 ディスプレイ画面上に検査画像を表示した一例を示す図 医療情報システムにアーカイブシステムを接続した概略構成を示す図

図１に、本発明の実施形態における自動レイアウト装置が導入された医療情報システム１の概略構成を示す。この医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、放射線科の読影医による撮影された画像の読影と読影レポートの作成、および、依頼元の診療科の医師による読影レポートの閲覧と読影対象の画像の詳細観察を行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像管理サーバ５、画像データベース６、読影レポートサーバ７、および、読影レポートデータベース８を、ネットワーク９を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＣＤ−ＲＯＭ等の記録媒体からインストール、または、インターネット等のネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。

モダリティ２には、被検体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ規格で規定された付帯情報を付加して出力する装置が含まれる。具体例としては、ＣＴ装置、ＭＲI装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置などが挙げられる。

読影医用ワークステーション３は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、ＣＰＵ（Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この読影医用ワークステーション３では、画像管理サーバ５に対する画像の送信要求、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示、および、読影レポートの作成と表示等の各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ワークステーション３は、生成した読影レポートを、ネットワーク９を介して読影レポートサーバ７に転送し、その読影レポートの読影レポートデータベース８への登録を要求する。

診療科用ワークステーション４は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力等に利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバス等の周知のハードウェア構成を備え、周知のオペレーションシステム等がインストールされたものであって、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ワークステーション４では、画像管理サーバ５に対する画像の閲覧要求や、画像管理サーバ５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートサーバ７に対する読影レポートの閲覧要求、および、読影レポートサーバ７から受信した読影レポートの表示等の各処理が、各処理のためのソフトウェアプログラムの実行により行われる。また、診療科用ワークステーション４は、各診療科で行われた内視鏡検査などの動画を、ネットワーク９を介して画像管理サーバ５に転送し、画像データベース６への登録を要求する。

画像管理サーバ５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムを組み込んだものである。画像管理サーバ５は、画像データベース６が構成される大容量ストレージを備えている。このストレージは、画像管理サーバ５とデータバスによって接続された大容量のハードディスク装置であってもよいし、ネットワーク９に接続されているＮＡＳ（Network Attached Storage）やＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。

画像データベース６には、複数の患者をモダリティ２で撮影した検査画像と付帯情報とが登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像ごとに割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、その医用画像が生成された検査日、検査時刻、その医用画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、検査部位（撮影部位）、撮影条件（造影剤の使用有無または放射線量など）、および、１回の検査で複数の断層画像を取得したときのシリーズ番号などの情報が含まれる。

また、画像管理サーバ５は、読影医用ワークステーション３からの閲覧要求をネットワーク９経由で受信すると、上述の画像データベース６に登録されている検査画像を検索し、抽出された検査画像を要求元の読影医用ワークステーション３に送信する。

読影レポートサーバ７は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムを組み込んだものであり、読影医用ワークステーション３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えて読影レポートデータベース８に登録する。

読影レポートデータベース８には、例えば、読影対象画像もしくは代表画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、関心領域の位置情報、所見、所見の確信度といった情報が登録される。この他、画像の読影時に画像情報の付帯情報を参照することで取得された検査番号、患者番号、さらには、読影対象画像または代表画像の検査画像が縮小画像も含めることができる。この場合、この縮小画像の生成のもとになる、画像データベース６に登録されている検査画像へのアクセスを可能にするためのリンク情報（画像データベース６に登録されている画像データのアドレスやフォルダ名、ファイル名等）も読影レポートデータベース８に登録しておくことが好ましい。
ネットワーク９は、病院内の各種装置を接続するローカルエリアネットワークである。読影医用ワークステーション３が他の病院あるいは診療所に設置されている場合には、ネットワーク９は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク９は光ネットワークなど医用画像の高速転送を実現できるものとすることが好ましい。

さらに、図１３に示すように、医療情報システム１にアーカイブシステム１０を接続したものであってもよい。アーカイブシステム１０は、複数の医療機関の医療情報システム１ａ〜１ｄの医用画像や各種動画に加えて、医療機関内の各診療科が扱う検査目的などを記載した検査依頼文書（検査オーダー）や、血液検査結果などの他の検査情報を電子文書化したドキュメントなど広範な診療情報を記憶および管理する大容量記憶装置１１を備えている。

上述の読影医用ワークステーション３は、画像診断医等のユーザによって読影および観察対象画像の閲覧を要求する操作が行われると、画像管理サーバ５に対して閲覧要求を送信し、必要な画像を取得する。そして、その画像をディスプレイに表示する。本発明の自動レイアウト装置の機能は、読影医用ワークステーション３に実装されており、この処理は、インストールされたアプリケーションプログラムを実行することによって実現される。

図２は、読影医用ワークステーション３に実装された本発明の実施形態となる自動レイアウト装置の構成とデータの流れを模式的に示したブロック図である。なお、本発明の自動レイアウト装置は、読影医用ワークステーション３の自動レイアウト処理部として以下説明する。図２に示したように、本発明の自動レイアウト処理部３０は、受付手段３１、接続手段３８、類似検査データ特定手段３２、および、表示手段３４から構成される。表示手段３４には、１台または複数台のディスプレイ３５が接続される。また、読影医用ワークステーション３にネットワーク９を介して接続された画像管理サーバ５および画像データベース６が本発明の記憶部５０として機能する。

受付手段３１は、読影医用ワークステーション３で、読影医などのユーザによって検査対象の患者ＩＤが入力されると、画像管理サーバ５に対して診断対象の患者ＩＤと閲覧要求が送信され、画像データベース６から検索された複数の検査画像ｑを検査データＱとして受信する。受信した検査画像ｑは、読影医用ワークステーション３の補助記憶装置３３に一旦記憶される。

また、接続手段３８は、記憶部５０に接続して、見本検査データＰの見本画像ｐおよびレイアウト情報Ｌなどのデータの送受信をおこなう機能を有する。記憶部５０へのアクセスは、ネットワーク９および接続手段３８を介して行われるが、以下では単に記憶部５０からデータを読み書きするものとして説明する。

検査画像ｑには、様々なモダリティ２で撮影した画像が含まれ、単純Ｘ線撮影画像、同じ部位を撮影した現在画像および過去画像、造影剤の投与前後の画像、複数枚の断層画像（ＣＴ画像またはＭＲＩ画像など）、撮影プロトコルを変えて撮影した画像（ＭＲＩ画像のＴ１強調およびＴ２強調など）、および、内視鏡で撮影された動画像などが含まれる。

記憶部５０は、複数の見本画像ｐと、見本画像ｐを画面上に配置する配置位置を定めたレイアウト情報Ｌが複数記憶されている。レイアウト情報Ｌには、画面に画像を配置する際の画面の分割方法の情報と、分割されたそれぞれの領域にどの見本画像ｐを配置するかの情報が定義されている。画面分割方法の情報には、分割された各表示領域の大きさも含まれ、例えば、画面を左右同じ大きさで縦２分割にする、画面を縦横に同じ大きさの４分割にする、あるいは、メイン画像を大きく画面の左半分に表示し、かつ、残りの画像を右半分に縦に並べるなどの情報が定義されている。なお、見本画像ｐは、検査画像ｑを画面上に配置するとき見本となる画像であり、診断対象の患者の検査画像を配置する際の基準となる画像である。

例えば、読影医用ワークステーション３で読影医が読影する際に、ある患者の検査画像をディスプレイ３５の画面上に並べて観察した時の画面分割方法と検査画像の配置位置の情報を記録してレイアウト情報Ｌとする。その時に画面上に並べた検査画像を見本画像ｐとし、これらの見本画像ｐを含む見本検査データＰとレイアウト情報Ｌを対応付けたものが、ネットワーク９を介して記憶部５０へ記憶される。記憶部５０には、過去に読影医が読影を行った見本検査データＰとレイアウト情報が対応付けて多数記憶されている。

レイアウトは、１画面のみであっても、複数の画面で構成されたものであってもよい。例えば、レイアウトが複数ページで構成され、見本画像ｐが配置された複数ページを切り替えながら表示画面に表示するときの画面分割方法と見本画像ｐの配置位置をレイアウト情報Ｌとして定義したものであってもよい。あるいは、レイアウト情報Ｌは、読影医用ワークステーション３に複数のディスプレイを接続したときの、複数のディスプレイの画面のそれぞれの画面分割方法と見本画像ｐの配置位置が定義されたものであってもよい。例えば、１台のディスプレイで、あるページの画面分割方法と分割された各領域に配置された見本画像ｐと、その次のページの画面分割方法と分割された各領域に配置された見本画像ｐの組み合せを１つのレイアウト情報Ｌとしてもよく、また、ディスプレイが２台以上あって、ディスプレイＡは画面４分割とし、分割された各領域に見本画像ｐのどれを配置し、ディスプレイＢは画面２分割とし、分割された各領域に見本画像ｐのどれを配置するかという情報を、１つのレイアウト情報Ｌとしてもよい。さらには、複数ディスプレイで複数枚のページの表示画面を切り替えて表示するときの画面分割方法と分割された各領域に配置された見本画像ｐの情報を１つのレイアウト情報Ｌとしてもよい。

図３（ａ）にレイアウト情報Ｌに従って見本画像ｐを配置したレイアウトの一例を示す。図３（ｂ）にレイアウトの各領域に配置される見本画像ｐ１〜ｐ７を示す。図３（ａ）は画面を４分割して、左上に見本画像ｐ１を配置し、左下に見本画像ｐ２を配置し、右上に見本画像ｐ４を配置し、右下に見本画像ｐ５を配置している。図３（ａ）において、見本画像ｐ３、ｐ６、およびｐ７は画面上に表示されていないが、次のページに見本画像ｐ３、ｐ６、およびｐ７を配置してもよい。

類似検査データ特定手段３２は、見本検査検索手段３６、見本検査選択手段３７、および、対応付手段３９を備え、検査データＱに類似する見本検査データＰを特定する。なお、見本検査データＰおよびレイアウト情報Ｌの読み書きは、接続手段３８およびネットワーク９を介して行われ、必要に応じて補助記憶装置３３に記憶される。

下記の（１）〜（３）の順番に見本検査データＰを絞り込む。
（１） まず、見本検査検索手段３６は、ＤＩＣＯＭタグの情報を用いて検査データＱに含まれる検査画像の種類と同じ種類の画像が同じ枚数入っている見本検査データＰを記憶部５０から検索する。ＤＩＣＯＭタグから得られる検査画像の種類には、ＣＴ画像、ＭＲI画像、ＰＥＴ画像、超音波画像、または、単純Ｘ線画像、内視鏡画像等がある。例えば、検査データＱが、ＣＴ画像２枚、ＭＲＩ画像３枚、および単純Ｘ線画像１枚で構成されている場合には、見本検査データＰも、ＣＴ画像２枚、ＭＲＩ画像３枚、および単純Ｘ線画像１枚で構成されているものを検索する。
（２） さらに、見本検査選択手段３７は、アーカイブシステム１０から血液検査または尿検査などで行われた検査項目、または、バイタルデータ（体温、心拍、心電図など）の検査項目などを検索し、（１）で検索された見本検査データＰの中から、診断対象の患者に対して行われた検査項目と、見本検査データＰの患者に行われた検査項目が一致する見本検査データＰのみを選択する。
（３） さらに、（１）および（２）で絞り込まれた見本検査データＰから、検査データＱとの類似度が高い見本検査データＰを特定する。まず、対応付手段３９を用いて、（１）および（２）で絞り込まれた見本検査データＰのそれぞれについて、各見本検査データＰを構成する見本画像ｐと検査データＱを構成する検査画像ｑの対応付けを行い、さらに、各見本検査データＰと検査データＱの類似度を算出する。

対応付手段３９は、類似度取得手段４０、および、調整値取得手段４１を備え、見本画像ｐと検査画像ｑの類似度と、類似度を調整する調整値を用いて、見本検査データＰの見本画像に類似する検査画像ｑを検査データＱから選んで対応付ける。

見本検査データＰに含まれる見本画像ｐと検査データＱに含まれる検査画像ｑを対応付ける際には、１つの見本画像ｐに対して２つ以上の検査画像ｑが対応付けられないようにし、検査データＱに含まれる検査画像ｑの数がレイアウトに配置されている見本画像ｐの数より少ない場合には、見本画像ｐに対応付けられる検査画像ｑが存在しないこともある。また、２つ以上の見本画像ｐに同じ検査画像ｑが対応付けられないようにもする。つまり、見本画像ｐに対応付けられる検査画像ｑは１つ以下になり、かつ、検査データＱに含まれる検査画像ｑに対応付けられる見本画像ｐも１つ以下になるように対応付ける。

類似度取得手段４０は、見本検査データＰに含まれる見本画像ｐの１つと検査データＱに含まれる検査画像ｑの１つの組合せのそれぞれについて類似度を算出する。類似度は、見本画像ｐと検査画像ｑのピクセルデータから求める。具体的には、ピクセルデータの相互相関やヒストグラムインターセクションなどを用いて類似度を取得する。なお、ピクセルデータは、画像を構成する画素（ピクセル）の集まりを指し、ＤＩＣＯＭタグ、ファイル名、または撮影日時などの画像の付帯情報と、ピクセルデータは区別して以下説明する。

また、類似度取得手段４０は、ＤＩＣＯＭタグなどの付帯情報を参照して、同じ種類のモダリティ２で撮影された検査画像ｐと見本画像ｑに対してのみ類似度を取得する。しかし、検査画像ｐおよび見本画像ｑが断層画像である場合には、同じ種類のモダリティ２で撮影した画像であっても、アキシャル断面とサジタル断面のように異なる断面方向の見本画像ｐと検査画像ｑ間でも、ピクセルデータ間の類似度が高くなる場合がある。そこで、ＤＩＣＯＭタグを参照して断面方向を判定し、レイアウトの見本画像ｐに含まれる断層画像と、検査データＱの検査画像ｑに含まれる断層画像の断層方向が一致する見本画像ｐと検査画像ｑの類似度は高くなり、断面方向が一致しない見本画像ｐと検査画像ｑの類似度は低くなるように類似度を算出する。

調整値取得手段４１は、類似度を求めた組合せの２つの組み合わせにおいて、第１の組合せａに含まれる見本画像ｐと第２の組合せｂに含まれる見本画像ｐの関係と、第１の組合せａに含まれる検査画像ｑと第２の組合せｂに含まれる検査画像ｑの関係とに基づいて類似度の調整値を求める。

同じ部位を撮影した造影剤の投与前と投与後の画像は、見本画像ｐと検査画像ｑの間でも投与前の画像同士と投与後の画像同士の類似度が高くなるはずだが、画像造影剤の拡散の仕方によっては投与前の見本画像ｐと投与後の検査画像ｑの類似度が高くなる可能性がある。また、心臓の心拍フェーズの異なる複数の画像など、ピクセルデータの類似度だけでは、対応する画像を判定することが難しくなることがある。そこで、組合せａおよびｂに含まれる２つの見本画像ｐの撮影時刻の前後関係と、組合せａおよびｂにそれぞれ含まれる２つの検査画像ｑの撮影時刻の前後関係が一致する場合には、調整値を撮影時刻の前後関係が一致しない場合より類似度が高くなるような値にする。

図４フローチャートに従って、対応付手段３９で、類似度と調整値を用いて各見本検査データＰの見本画像ｐと検査データＱの検査画像ｑの対応付けを行う処理について具体的に説明する。図５に見本画像ｐ１〜ｐ７と検査画像ｑ１〜ｑ７の一例を示す。

まず、類似度取得手段４０は、見本検査データＰの要素である見本画像ｐ_ｉと検査データＱの要素である検査画像ｑ_ｊの類似度をヒストグラムインターセクションを用いて求める。図５に示すように、見本画像ｐ_１〜ｐ_７と検査画像ｑ_１〜ｑ_７があった場合、類似度は、見本画像ｐ_１〜ｐ_７と検査画像ｑ_１〜ｑ_７の全ての組合せに対して求める。つまり、ｐ_１に対して、ｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求め、ｐ_２に対してｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求める。同様にして、ｐ_３〜ｐ_７のそれぞれに対してｑ_１、ｑ_２、ｑ_３・・・ｑ_７との類似度を求める。

このとき、モダリティ２の種類が異なる見本画像ｐと検査画像ｑの場合には、類似度は０とする。例えば、ＭＲＩ画像とＣＴ画像の類似度は０とするが、ＭＲＩ装置でも異なる種類の撮影プロトコルで撮影したＭＲＩ画像のＴ1強調画像およびＴ２強調画像はどちらもＭＲＩ画像であるので、ヒストグラムインターセクションを用いて類似度を算出する。

見本画像ｐ_ｉおよび検査画像ｑ_ｊの断面方向は、例えば、ＤＩＣＯＭタグの「Image Orientation」の記述に基づいて判断することができる。例えば、見本画像ｐ_ｉが体軸に垂直なアキシャル断面の場合、「Image Orientation」の「first row」は(1,0,0)、「first column」は(0,1,0)にほぼ一致するので、検査画像ｑ_ｊの「Image Orientation」を参照して得られる２つのベクトルと、見本画像ｐ_ｉの２つのベクトル(1,0,0)および(0,1,0)との一致度を、内積演算を使って求める。見本画像ｐ_ｉと検査画像ｑ_ｊの断面方向が一致している場合には（Ｓ１−Ｙｅｓ）、ピクセルデータ間の類似度は、図６に示すように、見本画像ｐ_ｉのヒストグラムｈ１と検査画像ｑ_ｊのヒストグラムｈ２の共通部分の割合（ヒストグラムインターセクション）を類似度θ_ａとして求める（Ｓ２）。このとき、類似度θ_ａは０〜１．０までの値となる。画面のおおまかな構図を反映させるために、例えば、見本画像ｐ_ｉと検査画像ｑ_ｊの画像を縦と横をそれぞれ３つに等分し（図７参照）、３×３区画（＝９区画）に区分したそれぞれの区画でヒストグラムインターセクションを求め、その平均値を類似度θ_ａとするようにしてもよい。一方、見本画像ｐ_ｉと検査画像ｑ_ｊの断面方向が異なる場合には（Ｓ１−Ｎｏ）、類似度θ_ａを−１とする（Ｓ３）。これを全てのｐ_ｉとｑ_ｊの組合せについて求める（Ｓ４）。

次に、調整値取得手段４１で、見本画像ｐ_ｉと検査画像ｑ_ｊを対応付けた時の類似度の調整値θ_ａｂを求める。見本画像ｐ_ｉと検査画像ｑ_ｊを対応付けるときは、見本画像ｐ_ｉに対応付けられる検査画像ｑ_ｊは１つ以下になり、かつ、検査データＱに含まれる検査画像ｑ_ｊに対応付けられる見本画像ｐ_ｉも１つ以下になるように対応付ける。この対応付けの条件を満足するように対応付けをした時の、全ての対応付けパターンのうちいずれの対応付けが最適であるかを、見本画像ｐ_ｉと検査画像ｑ_ｊのピクセルデータ間の類似度θａだけでなく撮影時刻の前後関係に基づいて調整する。

見本検査データＰと検査データＱの間で、見本画像ｐ_ｉに検査画像ｑ_ｊを対応付け、かつ、見本画像ｐ_ｋに検査画像ｑ_ｌを対応付けたときに、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａと見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂから調整値θ_ａｂを算出する。見本画像ｐ_ｉの撮影時刻ｔ（ｐ_ｉ）と見本画像ｐ_ｋの撮影時刻ｔ（ｐ_ｋ）の差分Ｔ_ａ＝ｔ（ｐ_ｋ）−ｔ（ｐ_ｉ）の符号と、検査画像ｑ_ｊの撮影時刻ｔ（ｑ_ｊ）と検査画像ｑ_ｌの撮影時刻ｔ（ｑ_ｌ）の差分Ｔ_ｂ＝ｔ（ｑ_ｌ）−ｔ（ｑ_ｊ）の符号が一致している場合には（Ｓ５−Ｙｅｓ）、調整値θ_ａｂを１とし（Ｓ６）、差分Ｔ_１と差分Ｔ_２の符号が一致していない場合には（Ｓ５−Ｎｏ）、調整値θ_ａｂを‐１にする（Ｓ７）。これを各対応付けパターンにおける全ての２つの組合せａおよびｂに対して求める（Ｓ８）。

例えば、図８に示すように、ｐ_１とｑ_１、ｐ_２とｑ_２、ｐ_３とｑ_３・・・を対応づけたとき、ｐ_１とｑ_１の組合せ１とｐ_２とｑ_２の組合せ２において（図８（Ａ））、ｐ_１とｐ_２の撮影時刻の差分と、ｑ_１とｑ_２の撮影時刻の差分が一致しているときには、調整値θ_{ａ＝１，ｂ＝２}を１とする。ｐ_２とｑ_２の組合せ２とｐ_３とｑ_３の組合せ３において（図８（Ｂ））、ｐ_２とｐ_３の撮影時刻の差分と、ｑ_２とｑ_３の撮影時刻の差分が一致していいない場合には、調整値θ_{ａ＝２，ｂ＝３}を‐１にする。さらに、ｐ_１とｑ_１の組合せ１とｐ_３とｑ_３の組合せ３において（図８（Ｃ））、ｐ_１とｐ_３の撮影時刻の差分と、ｑ_１とｑ_３の撮影時刻の差分が一致しているときには、調整値θ_{ａ＝１，ｂ＝３}を１とする。このように、全ての２つの組合せに対して、調整値θ_ａｂを算出する。

図９に示すように、見本検査データＰと検査データＱの間で、見本画像ｐ_ｉと検査画像ｑ_ｊの対応付けを０と１のバイナリデータｘを用いてＰ×Ｑの要素の対応付行列ｍで表す。対応付行列ｍは、行が見本画像ｐ_ｉを表し、列が検査画像ｑ_ｊを表す。ｉ行ｊ列の要素ｘ_ｉｊは見本画像ｐ_ｉと検査画像ｑ_ｊを対応づけるか否かを表す。見本画像ｐ_ｉと検査画像ｑ_ｊが対応付けられないときは０とし、見本画像ｐ_ｉと検査画像ｑ_ｊが対応付けられるときは１とする。このとき、見本検査データＰと検査データＱにおいて、見本画像ｐ_ｉに対応づけられる検査画像ｑ_ｊは高々１つ、かつ、検査画像ｑ_ｊに対応付けられる見本画像ｐ_ｉも高々１つという条件を満足するように、見本画像ｐ_ｉと検査画像ｑ_ｊを応付けた全ての対応付けのパターンを作成する。

なお、対応付行列ｍで表される対応付けパターンの集合Ｍは次の式（１）のように表現することができる。

集合Ｍに含まれる見本画像ｐ_ｉと検査画像ｑ_ｊを対応付ける全てのパターンにおいて、見本検査データＰと検査データＱの間で対応付けられた見本画像ｐ_ｉと検査画像ｑ_ｊの類似度の合計が最も高くなるパターンを、見本画像ｐ_ｉと検査画像ｑ_ｊの最適な対応付けパターンとする（Ｓ９）。これは、類似度取得手段４０で求めた類似度θ_ａと、調整値取得手段４１で求めた調整値θ_ａｂを重みづけ加算した下式（２）を最大化する問題に置き換えることができる。例えば、文献「L. Torresani, V. Kolmogorov, and C. Rother: “Feature correspondence via graph matching: Models and global optimization”, ECCV2008.」に記載されているグラフマッチングの手法を用いて解くことができる。

なお、下式（２）の第１項は、ｘ_ｉｊ＝１となる見本画像ｐ_ｉと検査画像ｑ_ｊの組合せの類似度θ_ａの全てを加算することを意味し、第２項は、図９の対応付行列ｍにおいて、ｘ_ｉｊ＝１となる見本画像ｐ_ｉと検査画像ｑ_ｊの組合せの２つ（組合せａ、および、組合せｂ）の関係から得られた調整値θ_ａｂの全てを重みづけ加算することを意味する。また、係数Ｋは経験的に最適な値を与えればよい。
ここで、
Ａは、見本画像ｐ_ｉと検査画像ｑ_ｊの組み合わせの集合
Ｎは、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａ、および、見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂの集合
ｋは、類似度と調整値の荷重を決める係数
ｘ_ａは、バイナリデータｘのうち、組合せａ（ｐ_ｉ、ｑ_ｊ）に対応する要素ｘ_ｉｊの値
ｘ_ｂは、バイナリデータｘのうち、組合せｂ（ｐ_ｋ、ｑ_ｌ）に対応する要素ｘ_ｋｌの値

上述の見本画像と検査画像の撮影時間に基づいた調整値θ_ａｂを用いることで、対応付けられた見本画像の撮影時刻の順番と検査画像の撮影時刻の順番が反対にならないように対応付けられる。

このように対応付手段３９によって、見本検査データＰに含まれる見本画像ｐと検査データＱに含まれる検査画像ｑの最適な対応付けパターンが１つ決められる。また、その対応付けパターンにおける見本画像ｐと検査画像ｑの類似度の合計が対応付手段３９で算出される（Ｓ９）。

類似検査データ特定手段３２は、（２）で絞り込まれた全ての見本検査データＰのそれぞれに対して、対応付手段３９を用いて、見本画像ｐと検査画像ｑの最適な対応付けパターンを決定し、その対応付けパターンにおける類似度の合計を算出する。（２）で絞り込まれた見本検査データＰのうち類似度の合計が高い見本検査データＰを、検査データＱに類似する見本検査データとして特定する。

具体的には、類似度の合計が最も高い見本検査データＰを検査データＱに類似する見本検査データとして１つだけ特定してもよいが、類似度の合計が上位から所定の数の見本検査データＰを検査データＱに類似する見本検査データとして特定してもよい。あるいは、類似度が所定の閾値以上の見本検査データＰを検査データＱに類似する見本検査データとして特定してもよい。

さらに、見本検査データＰの患者と検査データＱの患者の読影レポートを読影レポートデータベース８から読み込んで、公知の自然言語解析を行って、疾患名、病変部の部位、病変部の形状および大きさに関する情報などのキーワードを抽出し、見本検査データＰの患者と検査データＱの患者の読影レポートに類似するキーワードが含まれているものに、（２）で絞り込んだ見本検査データＰをさらに絞り込んでもよい。

あるいは、類似度の合計が上位の複数の見本検査データＰ、または、類似度の合計が所定の閾値以上の見本検査データＰに対して、それらの読影レポートの自然言語解析を行って、検査データＱの患者の読影レポートに含まれるキーワードと類似するキーワードが含まれているかどうかに基づいて、見本検査データＰをさらに絞り込んでもよい。

表示手段３４は、類似検査データ特定手段３２で特定した見本検査データＰに対応付けられたレイアウト情報Ｌに従って、ディスプレイ３５の画面を分割し、対応付手段３９で決定された対応付けパターンに従って、検査画像ｑを各検査画像ｑに対応付けられた見本画像ｐが配置された配置位置に表示する。

上述では、対応付手段３９が、類似度取得手段４０および調整値取得手段４１を備える場合について説明したが、対応付手段３９が、類似度取得手段４０のみを備え、見本画像ｐ_ｉと検査画像ｑ_ｊの最適な対応付けパターンを決定する際に、類似度の調整値は用いることなく最適な対応付けパターンを決定するようにしてもよい。

上述の集合Ｍに含まれる見本画像ｐ_ｉと検査画像ｑ_ｊを対応付ける対応付けパターンから最適な対応付けパターンを決定する場合に、見本画像ｐ_ｉと検査画像ｑ_ｊの類似度θ_aのみを用いて、下式（３）のように、類似度θ_ａの全てを加算した値が最大のものを最適な対応付けパターンとして決定する。
ここで、
Ａは、見本画像ｐ_ｉと検査画像ｑ_ｊの組み合わせの集合
ｘ_ａは、バイナリデータｘのうち、組合せａ（ｐ_ｉ、ｑ_ｊ）に対応する要素ｘ_ｉｊの値

この対応付手段３９より、１つの見本検査データＰと検査データＱ間で見本画像ｐと検査画像ｑの最適な対応付けパターンが１つ決まり、その対応付けパターンにおける見本画像ｐと検査画像ｑの類似度の合計が算出される。この結果を用いて、類似検査データ特定手段３２は、見本検査データＰのうち類似度の合計が高い見本検査データＰを、検査データＱに類似する見本検査データとして特定する。

さらに、対応付手段３９は、見本検査データＰに含まれる見本画像のそれぞれの見本表示レイアウトの配置位置に応じた重み係数ｗ_aを設定し、検査画像と見本画像の類似度θ_aに係数ｗ_aを掛け合わした類似度を用いて、下式（４）のように、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せaの類似度θ_ａに係数ｗ_aを重みづけ加算した値が最大のものを最適な対応付けパターンとして決定するようにしてもよい。
ここで、
Ａは、見本画像ｐ_ｉと検査画像ｑ_ｊの組み合わせの集合
Ｎは、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａ、および、見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂの集合を
ｋは、類似度と調整値の荷重を決める係数
ｘ_ａは、バイナリデータｘのうち、組合せａ（ｐ_ｉ、ｑ_ｊ）に対応する要素ｘ_ｉｊの値
ｘ_ｂは、バイナリデータｘのうち、組合せｂ（ｐ_ｋ、ｑ_ｌ）に対応する要素ｘ_ｋｌの値

この対応付手段３９より、１つの見本検査データＰと検査データＱ間で見本画像ｐと検査画像ｑの最適な対応付けパターンが１つ決まり、その対応付けパターンにおける見本画像ｐと検査画像ｑの類似度の合計が算出される。この結果を用いて、類似検査データ特定手段３２は、見本検査データＰのうち類似度の合計が高い見本検査データＰを、検査データＱに類似する見本検査データとして特定する。

例えば、ディスプレイに表示した際に、上段にある領域に配置する見本画像ｑと検査画像ｐの類似度の係数ｗ_aを大きくして、検査データＱと見本検査データＰの類似度θ_aの合計を算出する。係数ｗ_aが大きい配置位置にある見本画像ｑと検査画像ｐの類似度は類似度θ_aの合計に影響するため、係数ｗ_aの大きい領域に見本画像ｐが優先的に配置される。これにより、見本検査データＰのレイアウトの構成で画面表示した際に、上段に何も表示されないことを防ぐことができる。

あるいは、画面を分割した時に大きい領域に配置する見本画像ｐの類似度θ_aの係数ｗ_aを大きい値にし、小さい領域の見本画像ｐの類似度θ_aの係数ｗ_aを小さい値にするなど、画像を観察する中心となる位置に配置される見本画像ｐの類似度θ_aの係数ｗ_aを大きくするようにしてもよい。

さらに、レイアウトが複数ページで構成されている場合に、最初のページに配置される見本画像ｐの類似度θ_aの係数ｗ_aを大きい値にし、２枚目、３枚目に配置される見本画像の類似度の係数を徐々に小さい値にする。あるいは、複数のディスプレイ上に表示される場合には、左側に設置されるディスプレイに配置される見本画像ｐの類似度θ_aの係数ｗ_aを大きい値にし、右側に配置されるディスプレイに配置される見本画像ｐの類似度θ_aの係数ｗ_aを小さい値にするようにしてもよい。

次に、図１０のフローチャートを用いて、本実施形態の自動レイアウト装置の動作について説明する。

読影医によって読影医用ワークステーション３で読影のための操作が行われると自動レイアウトプログラムが起動される（Ｓ１０）。また、入力された読影医ＩＤが読影医用ワークステーション３から画像管理サーバ５に送信され、読影医ＩＤの認証を経て検査データの送受信が可能な状態になる（Ｓ１１）。

続いて、読影医が診断対象の患者ＩＤを入力すると（Ｓ１２）、読影医用ワークステーション３の受付手段３１は、画像管理サーバ５に患者ＩＤと検査画像ｑの閲覧要求を送信する。画像管理サーバ５では、患者ＩＤが割り振られている検査画像ｑを画像データベース６から検索して読影医用ワークステーション３に送信する。受付手段３１は受信した検査画像ｑを検査データＱとして補助記憶装置３３に記憶する（Ｓ１３）。

見本検査検索手段３６は、診断対象の患者以外の他の患者の見本検査データＰから、ＤＩＣＯＭタグの情報を元に検査データＱに含まれる検査画像ｑの種類と同じ種類の画像が同じ枚数入っている見本検査データＰの検索を画像管理サーバ５に要求する。さらに、見本検査選択手段３７は、検査データＱの検査項目と見本検査データＰの患者の検査項目が一致する見本検査データＰのみ選択して、記憶部５０から取り出し読影医用ワークステーション３の補助記憶装置３３に一旦記憶する（Ｓ１４）。

さらに、類似検査データ特定手段３２は、補助記憶装置３３に記憶されている見本検査データＰの中から検査データＱとの類似度が高い見本検査データＰを特定する（Ｓ１５）。また、類似度が高いと特定された見本検査データＰに対応するレイアウト情報Ｌを記憶部５０より読み込み補助記憶装置３３に記憶する。

表示手段３４は、見本検査データＰの中から検査データＱとの類似度が最も高い見本検査データＰのレイアウト情報Ｌに従って、検査データＱの検査画像ｑをディスプレイ３５に表示する。各検査画像ｑは、対応付手段３９で検査画像ｑ対応付けられた見本画像ｐの位置に配置して表示する。また、表示手段３４は、類似検査データ特定手段３２で類似度が高い見本検査データＰが複数個取取得された場合には、画面上に複数個の見本検査データＰのレイアウトをリスト表示して、読影医が選択できるように表示するのが望ましい。あるいは、画面上に複数個のレイアウトの縮小画像を表示して選択できるようにしてもよい。

対応付手段３９によって、図１１に示すように、図５の見本画像ｐ_１〜ｐ_７と検査画像ｑ_１〜ｑ_７が対応付けられた場合には、表示手段３４によってディスプレイ画面上には図１２のように表示される。

以上詳細に説明したように、検査データに類似する見本検査データを自動的に選択して、その見本検査データのレイアウトに従って画面上に検査画像を配置することにより、診断に適したレイアウトで検査画像を表示することが可能になる。

また、従来は画像の付帯情報からは正確に判断できなかったレイアウトが、見本画像を参考にして、見本画像と検査画像の正確な対応付けを行うことが可能になる。例えば、検査データにＭＲ画像のＴ１強調画像とＴ２強調画像が含まれている場合、モダリティのベンダーや技師によって異なるタグがつけられることが多いため、見本検査データのＴ１強調画像とＴ２強調画像は正確に対応付けられなかったが、見本画像と検査画像の類似度θ_ａを用いて対応付をすることにより（数式（１）〜（３）参照）、適切に対応付けられるようになる。

上述では、撮影時刻の順番が見本画像ｑと検査画像ｐの間で一致するように対応付けパターンを決定する場合について説明したが、レイアウトの見本画像に断層画像が含まれ、検査データの検査画像にも断層画像が含まれている場合に、断層画像の位置関係の順番が見本画像と検査画像の間で一致するように対応付けパターンを決定することもできる。

この場合、類似度取得手段４０は、前述と同様に類似度θ_ａを求めるが、調整値取得手段４１では、断層位置の順番が一致する場合には、調整値は類似度を高くする値を設定する。具体的には、見本画像ｐ_ｉと検査画像ｑ_ｊの組合せａと見本画像ｐ_ｋと検査画像ｑ_ｌの組合せｂから調整値θ_ａｂを算出するときに、見本画像ｐ_ｉと見本画像ｐ_ｋの断層位置の差分Ｄ_１の符号と、検査画像ｑ_ｊと検査画像ｑ_ｌの断層位置の差分Ｄ_２の符号が一致している場合には、調整値θ_ａｂを１とし、差分Ｄ_１と差分Ｄ_２の符号が一致していない場合には、調整値θ_ａｂを‐１にして、類似度をθ_ａと調整値θ_ａｂを加算した数式（２）または（３）を最大化することによって、見本画像ｐ_ｉに検査画像ｑ_ｊの最適な組み合わせを決定することが可能になる。

これにより、見本画像の断層画像の位置関係と検査画像の断層画像の位置関係についても矛盾することがないように並べることができる。

以上詳細に説明したように、従来は画像の付帯情報からは正確に判断できなかったレイアウトが、見本画像を参考にして、正確な対応付けを行うことが可能になる。

上述では、記憶部５０に記憶されている診断対象の患者以外の患者を診断した時に用いられた見本検査データＰのレイアウト情報Ｌを、検査データＱに含まれる検査画像を画面に配置するときに利用する場合について説明したが、読影するときの表示端末（例えば、上述の読影医用ワークステーション３）の構成に応じて、見本検査データＰとそのレイアウト情報Ｌを予め用意して記憶部５０または補助記憶装置３３に記憶しておくようにしてもよい。

例えば、３Ｍｅｇａ Ｐｉｘｅｌ（２０４８×１５３６）程度の高精細なディスプレイ（以下、３Ｍディスプレイという）が２面構成の場合、３Ｍディスプレイが１面と汎用ディスプレイが１面の場合などで、異なるレイアウトが定義された見本検査データＰをそれぞれ記憶部５０に記憶するのが望ましい。あるいは、表示端末がｉＰａｄ（登録商標）などの携帯型端末の場合には、携帯端末に応じたレイアウトが定義された見本検査データＰとそのレイアウト情報を予め用意して記憶部５０または補助記憶装置３３に記憶しておくようにしてもよい。

あるいは、診療科用ワークステーション４に本発明の自動レイアウト装置の機能を設けるようにしてもよい。この場合、臨床科別（放射線科、呼吸器外科、整形外科など）に応じた標準的な見本検査データＰを記憶部５０または補助記憶装置３３に記憶しておくようにしてもよい。これらの標準的な見本検査データを利用して検査画像を観察するときにレイアウトを変えた場合には、変更後のレイアウトとその時に表示した検査画像を新たに見本検査データＰとして記憶部５０または補助記憶装置３３に記憶しておくようにしてもよい。

上述では、記憶部５０がネットワーク９を介して接続される場合について説明したが、記憶部５０が、自動レイアウト装置のコンピュータ設けられた記憶装置であってもよい。

１、１ａ〜１ｄ 医療情報システム
２ モダリティ
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像管理サーバ
６ 画像データベース
７ 読影レポートサーバ
８ 読影レポートデータベース
９ ネットワーク
１０ アーカイブシステム
１１ 大容量記憶装置
３０ 自動レイアウト処理部
３１ 受付手段
３２ 類似検査データ特定手段
３３ 補助記憶装置
３４ 表示手段
３５ ディスプレイ
３６ 見本検査検索手段
３７ 見本検査選択手段
３８ 接続手段
３９ 対応付手段
４０ 類似度取得手段
４１ 調整値取得手段
５０ 記憶手段

Claims (13)

1. 複数の検査画像を含む検査データを受け付ける受付手段と、
   複数の見本画像を含む見本検査データに、前記見本画像を画面上に配置する際の前記見本画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ対応付けて記憶する記憶部に接続する接続手段と、
   前記検査データに含まれる各検査画像と前記見本検査データに含まれる各見本画像間の類似度を用いて、前記検査データに類似する前記見本検査データを特定する類似検査データ特定手段と、
   前記検査データに類似する前記見本検査データに対応付けられたレイアウト情報に従って、前記検査データに含まれる前記検査画像を表示する表示手段とを備えた自動レイアウト装置。
2. 前記検査データおよび前記見本検査データは、異なる種類のモダリティで撮影された画像を含み、
   前記類似検査データ特定手段が、同じ種類のモダリティで撮影された前記検査画像と前記見本画像を対応付けて前記類似度を取得する請求項１記載の自動レイアウト装置。
3. 前記検査データおよび前記見本検査データは、磁気共鳴画像撮影装置の異なる種類の撮影プロトコルで撮影された複数の画像を含む請求項１または２記載の自動レイアウト装置。
4. 前記類似検査データ特定手段が、
   前記見本検査データに含まれる見本画像の１つと前記検査データに含まれる検査画像の１つの組合せのそれぞれについて、前記検査画像と前記見本画像の類似度を取得する類似度取得手段と、
   前記検査データにおいて、前記検査画像に対応づけられる前記見本画像が１以下であり、かつ、前記見本画像に対応付けられる前記検査画像が１以下であるという条件を満たすように、前記検査画像と前記見本画像を対応付けた場合に、対応付けられた前記検査画像と前記見本画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度を用いて、所定の規則に従って前記検査データに類似する見本検査データを特定する請求項１から３のいずれか１項記載の自動レイアウト装置。
5. 前記類似検査データ特定手段は、前記見本検査データに含まれる見本画像のそれぞれのレイアウト上の表示位置に基づいて重み係数を設定し、各検査画像と各見本画像の類似度に該見本画像の前記重み係数を掛け合わした類似度を用いて、前記検査データに類似する前記見本検査データを特定する請求項４に記載の自動レイアウト装置。
6. 前記類似検査データ特定手段が、
   ２つの前記組合せにおいて、前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の前後関係と、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の撮影時刻の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段をさらに備え、
   前記条件を満たすように、前記検査画像と前記見本画像を対応付けた場合に、対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて、所定の規則に従って前記検査データに類似する見本検査データを特定する請求項４または５記載の自動レイアウト装置。
7. 前記調整値取得手段が、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の撮影時刻の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の撮影時刻の順番が一致する場合には、前記調整値は前記類似度を高くする値を設定する請求項６記載の自動レイアウト装置。
8. 前記レイアウトの見本画像には断層画像が含まれ、
   前記検査データの検査画像には断層画像が含まれ、
   前記類似検査データ特定手段が、
   ２つの前記組合せにおいて、第１の組合せに含まれる見本画像と第２の組合せに含まれる見本画像の断層位置の前後関係と、前記第１の組合せ含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の前後関係とに基づいて前記類似度の調整値を取得する調整値取得手段とを備え、
   前記条件を満たすように、前記見本画像と前記検査画像を対応付けた場合に、対応付けられた前記見本画像と前記検査画像の組合せにおける前記類似度取得手段によって取得された全ての前記類似度と、２つの前記組合せにおける前記調整値取得手段によって取得された全ての前記調整値とを用いて所定の規則に従って前記検査データに類似する見本検査データを特定する請求項４または５記載の自動レイアウト装置。
9. 前記調整値取得手段が、前記第１の組合せに含まれる見本画像と前記第２の組合せに含まれる見本画像の断層位置の順番と前記第１の組合せに含まれる検査画像と前記第２の組合せに含まれる検査画像の断層位置の順番が一致する場合には、前記調整値は前記類似度を高くする値を設定する請求項８記載の自動レイアウト装置。
10. 前記類似度取得手段が、前記検査画像と前記見本画像のヒストグラムに基づいて類似度を取得する請求項４から９のいずれか１項記載の自動レイアウト装置。
11. 前記検査データが、１以上の電子文書データを含み、
    前記類似検査データ特定手段が、前記検査データの電子文書データと見本画像データの電子文書データに類似するキーワードが含まれるか否かに基づいて、前記検査データに類似する前記見本検査データを特定する請求項１〜１０のいずれか１項記載の自動レイアウト装置。
12. 受付手段と、接続手段と、類似検査データ特定手段と、表示手段とを備えた自動レイアウト装置において、
    前記受付手段が、複数の検査画像を含む検査データを受け付ける受付ステップと、
    前記接続手段が、複数の見本画像を含む見本検査データに、前記見本画像を画面上に配置する配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ対応付けて記憶する記憶部に接続する接続ステップと、
    前記類似検査データ特定手段が、前記検査データに含まれる各検査画像と前記見本検査データに含まれる各見本画像間の類似度を用いて、前記検査データに類似する前記見本検査データを特定する類似検査データ特定ステップと、
    前記表示手段が、前記検査データに類似する前記見本検査データに対応付けられたレイアウト情報に従って、前記検査データに含まれる前記検査画像を表示する表示ステップとを備えた自動レイアウト方法。
13. コンピュータを、
    複数の検査画像を含む検査データを受け付ける受付手段と、
    複数の見本画像を含む見本検査データに、前記見本画像を画面上に配置する際の前記見本画像の大きさと配置位置が定められたレイアウトを表すレイアウト情報をそれぞれ記憶する記憶部に接続する接続手段と、
    前記検査データに含まれる各検査画像と前記見本検査データに含まれる各見本画像間の類似度を用いて、前記検査データに類似する前記見本検査データを特定する類似検査データ特定手段と、
    前記検査データに類似する前記見本検査データに対応付けられたレイアウト情報に従って、前記検査データの検査画像を表示する表示手段として機能させる自動レイアウトプログラム。