JP2021000221A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2021000221A
JP2021000221A JP2019114969A JP2019114969A JP2021000221A JP 2021000221 A JP2021000221 A JP 2021000221A JP 2019114969 A JP2019114969 A JP 2019114969A JP 2019114969 A JP2019114969 A JP 2019114969A JP 2021000221 A JP2021000221 A JP 2021000221A
Authority
JP
Japan
Prior art keywords
image
representative
medical image
medical
incidental information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019114969A
Other languages
English (en)
Inventor
久保 武
Takeshi Kubo
武 久保
全弘 八上
Masahiro Yagami
全弘 八上
太 赤坂
Futoshi Akasaka
太 赤坂
岳人 青山
Takehito Aoyama
岳人 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019114969A priority Critical patent/JP2021000221A/ja
Priority to PCT/JP2020/023323 priority patent/WO2020255901A1/ja
Publication of JP2021000221A publication Critical patent/JP2021000221A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs

Abstract

【課題】 比較に適した医用画像をユーザが容易に選択できるように支援すること。【解決手段】 被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、医用画像の代表画像を生成する代表画像生成手段と、代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、表示制御手段は、医用画像の付帯情報と診断対象画像の付帯情報に基づいて代表画像の表示形態を設定することを特徴とする情報処理装置。【選択図】 図2

Description

本発明は、付帯情報に基づいて代表画像の表示形態を設定する情報処理装置、情報処理方法、及びプログラムに関する。
医療現場では、患者の体内の情報を医用画像として可視化する検査が実施される。当該検査では、1回の検査でより多くの情報を得るために、複数の撮像条件を用いて、複数の医用画像を生成する場合もある。検査の際に撮像される医用画像は、病院内のデータサーバに保存される。医師は、医用画像表示装置を用いて医用画像を読影する。
医師は、読影において、同一または異なる検査により得られる複数の医用画像間の差異や変化等の情報(以下、差分情報)を活用する。従来、差分情報を生成するための様々な技術がある。例えば、特許文献1では、診断の対象である画像(以下、診断対象画像)と診断対象画像の比較の対象である画像(以下、比較画像)との差を描出した画像(以下、差分画像)を生成している。
特開2005−39701号公報
しかしながら、大量の医用画像の中から、比較に適した医用画像をユーザが選択する作業には時間と労力を要した。
本発明は上記課題に鑑みてなされたものであり、比較に適した医用画像をユーザが容易に選択することができる情報処理装置、情報処理装置の制御方法、及びプログラムを提供することを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の1つとして位置付けることができる。
本発明に係る画像処理装置は、以下の構成を備える。すなわち、被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、前記医用画像の代表画像を生成する代表画像生成手段と、前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示形態を設定することを特徴とする。また別の本発明に係る画像処理装置は、以下の構成を備える。すなわち、被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、前記医用画像の代表画像を生成する代表画像生成手段と、前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、前記表示制御手段は、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする。
本発明によれば、比較に適した医用画像をユーザが容易に選択することができる。
第1の実施形態に係る情報処理システムのブロック図。 第1の実施形態の処理手順を示すフローチャート。 第1の実施形態における医用画像取得前の画面例を示す図。 第1の実施形態における代表画像表示後の画面例を示す図。 代表画像の表示形態の第1の変更方法における画面例を示す図。 代表画像の表示形態の第1の変更方法における別の画面例を示す図。 代表画像の表示形態の第2の変更方法における画面例を示す図。 代表画像の表示形態の第3の変更方法における画面例を示す図。 第4の実施形態に係る情報処理システムのブロック図。 第4の実施形態の処理手順を示すフローチャート。 第4の実施形態における評価式項目の設定後の画面例を示す図。 第4の実施形態における評価式項目の設定画面例を示す図。 第5の実施形態に係る情報処理システムのブロック図。 第5の実施形態の処理手順を示すフローチャート。 第5の実施形態における重複領域印の表示後の画面例を示す図。 第5の実施形態における医用画像の撮像範囲の例を示す図。 第5の実施形態における重複領域印の表示方法の第一の例を示す図。 第5の実施形態における重複領域印の表示方法の第二の例を示す図。 変形例5−1における重複領域印の表示方法の例を示す図。 変形例5−2における重複領域印の表示方法の例を示す図。 変形例5−3における重複領域印の表示方法の例を示す図。
以下に、図面を参照しながら、本発明を実施するための形態(実施形態)について説明する。但し、本発明の範囲は以下で説明する各実施形態に限定されるものではない。
また、以下では、例として、差分情報として差分画像を生成する場合における診断対象画像と比較画像の選択について説明する。但し、本発明の範囲はこれに限定されるものではなく、少なくとも2つの医用画像を用いて生成する差分情報であれば、どのような情報であってもよい。また、差分情報の生成は必ずしも必要ではなく、複数の医用画像を比較するために、選択した画像の表示を行う構成であってもよい。また、以下の例では、診断対象画像及び比較画像は、複数の2次元画像(スライス画像)によって構成される3次元CT(Computed Tomography)画像である場合について説明する。ただし、本発明が適用できる医用画像の種類はこれに限定されるものではない。すなわち、画像間の演算ができる種類であれば、他のどのような種類の医用画像であってもよい。
[第1の実施形態]
図1は、第1の実施形態に係わる情報処理装置を含む情報処理システムの全体構成を示す図である。
情報処理システムは、情報処理装置10とデータベース22を含んでおり、これらの装置は、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はLAN(Local Area Network)21で構成される。
データベース22は、不図示の医用画像撮影装置による撮像によって生成された医用画像を管理する。また、データベース22は、電子カルテシステムやHIS(Hospital Information Systems)RIS(Radiology Information Systems)等の情報を管理する。電子カルテシステム、HISやRIS等により記録された検査に関する各種の情報を以下、検査情報とする。情報処理装置10は、データベース22で管理される医用画像や検査情報を、LAN21を介して取得する。
情報処理装置10は、その機能的な構成として、通信IF31、ROM32、RAM33、記憶部34、操作部35、表示部36、制御部37を具備する。
通信IF(Interface)31は、例えば、LANカード等で実現され、LAN21を介した外部装置(例えば、データベース22)と情報処理装置10との間の通信を行う。ROM(Read Only Memory)32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM(Random Access Memory)33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置内に入力する。表示部36は、例えば、ディスプレイ等で実現され、各種情報をユーザ(例えば、医師)に向けて表示する。操作部35や表示部36は、制御部37からの制御によりGUI(Graphical User Interface)としての機能を提供する。
制御部37は、例えば、CPU(Central Processing Unit)等で実現され、情報処理装置10における処理を統括制御する。制御部37は、その機能的な構成として、医用画像取得部41、代表画像生成部42、識別情報取得部43、付帯情報取得部44、評価式設定部45、評価値算出部46、表示制御部47、差分情報生成部48を具備する。
医用画像取得部41は、操作部35によって入力されるユーザの操作(指示)に従って、検査情報を検索するための検索条件を取得する。ここで、検索条件とは、例えば、患者の識別子(以下、患者ID)や検査期間や検査種別である。更に、医用画像取得部41は通信IF31とLAN21を介して、データベース22から検索条件を満たす検査情報を検索する。そして、医用画像取得部41は当該検査の際に撮像された医用画像を、診断対象画像と比較画像の候補として取得する。医用画像取得部41は、例えばDICOM(Digital Imaging Communications in Medicine)規格に準拠した医用画像データを取得する。そして、医用画像取得部41は、取得した医用画像を、代表画像生成部42と付帯情報取得部44へ出力する。なお、検索条件によっては、取得した医用画像は存在しないか、或いは1つだけ存在する、または複数存在する場合があり得るが、以下では説明を簡潔にするため、取得した医用画像が複数存在する場合について説明する。
代表画像生成部42は、医用画像取得部41が取得した複数の医用画像に対して代表画像を生成する。そして、代表画像生成部42は、生成した代表画像を表示制御部47へ出力する。代表画像の詳細については後述する。
識別情報取得部43は、操作部35によって入力されるユーザの操作(指示)に従って、診断対象画像を識別する情報(以下、診断対象識別情報)、及び、比較画像を識別する情報(以下、比較識別情報)を取得する。そして、識別情報取得部43は、取得した診断対象識別情報を、付帯情報取得部44、評価式設定部45、及び差分情報生成部48へ出力する。また、識別情報取得部43は、取得した比較識別情報を、差分情報生成部48へ出力する。
付帯情報取得部44は、医用画像取得部41が取得した複数の医用画像から付帯情報を取得する。そして、付帯情報取得部44は、取得した各付帯情報を評価値算出部46へ出力する。付帯情報の詳細については後述するが、付帯情報には任意の医用画像を指定または識別する情報も含まれていることを予め述べておく。
評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した複数の付帯情報の中から診断対象画像の付帯情報を識別し、識別した診断対象画像の付帯情報に基づいて評価式を設定する。そして、評価式設定部45は、当該評価式を評価値算出部46へ出力する。評価式の詳細については後述する。
評価値算出部46は、付帯情報取得部44が取得した複数の医用画像の夫々の付帯情報と、評価式設定部45が設定した評価式とを用いて、各医用画像に対する評価値を算出する。そして、評価値算出部46は、算出した複数の評価値を表示制御部47へ出力する。
表示制御部47は、代表画像生成部42が生成した複数の医用画像の夫々の代表画像を表示部36に表示する。また、操作部35によって診断対象画像を指定する情報をユーザから取得した際には、評価値算出部46が算出した複数の医用画像夫々に対する評価値に基づいて、表示部36における各医用画像の代表画像の表示形態を変更する。ここで、表示形態の変更方法には、例えば、代表画像の表示状態(表示または非表示)の変更、画像サイズの変更、強調表示の有無や強調表示方法の変更等がある。即ち、本発明に記載の情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する医用画像取得部41と、医用画像取得部41によって取得された医用画像の代表画像を生成する代表画像生成部42を有する。さらに、代表画像生成部42によって生成された代表画像を表示部36に表示させる表示制御部47と、医用画像取得部41によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得部44とを備える。そして、表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報とに基づいて代表画像の表示形態を設定することを特徴とする。
差分情報生成部48は、識別情報取得部43が取得した診断対象識別情報と比較識別情報とに基づいて、診断対象画像と比較画像を取得し差分情報を生成する。
なお、制御部37が具備する各部の少なくとも一部は、独立した装置として実現してもよい。また、夫々が機能を実現するソフトウェアとして実現してもよい。この場合、機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。本実施形態では各部はローカル環境におけるソフトウェアにより夫々実現されているものとする。
また、図1に示す情報処理システムの構成はあくまで一例である。例えば、情報処理装置10の記憶部34がデータベース22の機能を具備し、記憶部34が検査情報及び医用画像を保持してもよい。
次に、図2〜図8を用いて、本実施形態における制御部37による全体の処理手順を説明する。
図2は、制御部37が行う処理手順を示すフローチャートである。
ステップS200において、医用画像取得部41は、診断対象画像と比較画像の候補となる複数の医用画像を、データベース22から取得する。この処理では、データベース22から所望の医用画像を取得する方法として、公知のいずれの方法を用いてもよい。例えば、以下の方法で取得することができる。まず、医用画像取得部41は、ユーザの操作(指示)に従って検索条件を取得する。そして、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された複数の医用画像を取得する。この処理は、操作部35と表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。この処理により医用画像取得部41は、複数の医用画像をデータベース22から読み出し、情報処理装置10は、RAM33または記憶部34にこれらを記憶する。そして、ステップS210に進む。なお、本実施形態における医用画像はDICOM規格に準拠した形式で保存されているものとし、DICOMヘッダには様々な付帯情報が保存されている。ここで、付帯情報には、例えば、患者の患者ID、身長、体重等の患者の情報を含む。また、検査の識別子(以下、検査ID)、モダリティ、検査日時、照射線量、造影条件等の検査情報を含む。また、画像のスライス厚、再構成関数(より一般的に表現すれば、再構成条件)等の画像自体の属性情報を含む。さらに、患者の撮像範囲や、撮像部位、撮像の条件等の撮像に関する情報も含む。換言すると、付帯情報とは、医用画像の撮像において設定されたパラメータであると言うことができる。情報処理装置10におけるパラメータは、撮像範囲、撮像部位、撮像条件、再構成条件、スライス厚、造影条件の少なくとも一つを含むことを特徴とする。
図3を用いて、本ステップの処理の一例を詳細に説明する。図3は、検索条件入力時の表示部36における画面例である。図3において、領域300は検索条件を入力するための領域である。また、ボタン301は検索処理の実行を指示するためのボタンである。ユーザは、操作部35を介して領域300に任意の検索条件を入力する。図3においては、検索条件に関わる項目(以下、検索項目)として、患者ID、モダリティ、撮像部位、検査日時が設定されている。そして、患者IDの検索条件として値「1000」が入力され、モダリティの検索条件として値「CT」が入力され、検査日時の検索条件として値「2010年」が入力された状態を示している。ただし、図3の検索項目及び入力された値は一例であり、本発明は本例に限定されるものではない。医用画像の付帯情報としてデータベース22に保存されている情報であれば、どのような情報を検索項目として設定してもよい。例えば、放射線の照射線量や造影条件(造影剤の投与の有無、投与量、造影剤の種類)等の検査情報を検索項目として設定してもよい。また、画像のスライス厚や再構成関数等の情報を検索項目として設定してもよい。また、各検索項目には予め決められた値を入力しておいてもよいし、ユーザが入力または変更できる仕組みを備えてもよい。また、各検索項目の値の入力方法は、自由文を入力可能な形式でユーザに入力させてもよいし、プルダウン形式で提示した複数の選択肢の中からユーザに選択させてもよい。当該選択肢としては、予め決められた選択肢を提示してもよいし、他の検索項目に入力された値に応じて適応的に(予め決められた規則に従って)変更してもよい。例えば、患者IDの検索項目に値が入力されていない時は、モダリティの検索項目のプルダウン形式の選択肢として全てのモダリティの種類を提示する。一方、患者IDの検索項目に値が入力された時は、入力された患者IDによって識別される患者に対する全検査情報をデータベース22から取得し、当該患者がこれまでに受けた検査に使用されたモダリティの種類のみを選択肢として提示する。また、検索項目に、複数の値を設定できるようにしてもよいし、値の範囲を設定できるようにしてもよい。この場合、検査日時の検索項目に、例えば、値「2010年」と値「2012年」の2つを入力することや、値の範囲「2010年から2012年まで」を入力することができるようになる。
検索条件の入力を終了した後に、ユーザは、ボタン301を押すことで検索の実行を指示する。医用画像取得部41は、ボタン301が押された際の検索条件を取得し、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された医用画像を取得する。なお、検索項目として医用画像の条件が設定された場合は、取得された検査情報の中で、当該条件を満たす医用画像のみを取得する。また、検索の実行の指示方法は、ボタン301等の押下に限るものではない。例えば、特定の検索項目に値が入力された時に、検索の実行が指示されたとしてもよい。また、ユーザが検索条件を入力する度に、ユーザによる明確な指示はなくとも、医用画像取得部41は、その時点で入力済の検索条件を満たす医用画像を取得してもよい。
ステップS210において、代表画像生成部42は、医用画像取得部41が取得した複数の医用画像をRAM33または記憶部34から読み出し、複数の医用画像の夫々に対して代表画像を生成する。そして、生成した代表画像と対応する医用画像との対応関係がわかる形式で、これらの代表画像と医用画像をRAM33または記憶部34に記憶する。ここで、代表画像とは、サムネイル画像とも呼ばれる画像を指し、対応する医用画像の概要が一見して分かるような表示形態で表示するための画像である。より具体的には、医用画像が2次元画像(一枚のスライス画像)の場合は、代表画像は、対応する医用画像そのもの、医用画像を縮小または拡大した画像、または医用画像の一部分を切り出した画像とすることができる。一方、医用画像が3次元画像(複数枚のスライス画像から構成される画像)の場合の処理について述べる。代表画像が三次元画像の場合、予め決めたスライス位置にある(例えば、先頭や中間に位置する)スライス画像、スライス画像を縮小または拡大した画像、またはスライス画像の一部分を切り出した画像とすることができる。あるいは、各スライス位置にあるスライス画像を予め決めた指標を用いて評価し、当該評価結果に基づいて決定されるスライス画像(例えば、評価結果が最大となるスライス画像)を代表画像としてもよい。この場合、例えば、当該指標を「各スライス画像中の肺の面積」とすると決めた場合は、公知の肺領域抽出技術を用いることにより、各スライス画像における肺の面積を取得できる。そして、代表画像生成部42は医用画像を構成するスライス画像中で肺の面積が最大であるスライス画像を選択し、代表画像とすることができる。
別の例として、代表画像生成部42は医用画像を構成する複数のスライス画像の断層方向とは異なる断層方向のスライス画像を作成し、作成したスライス画像を代表画像とすることもできる。ここで、公知のMPR(Multi Planar Reconstruction)法を用いて、医用画像(Aとする)の断層方向とは異なる断層方向のスライス画像から構成される医用画像(A’とする)を作成できる。従って、断層方向が水平断(axial)のスライス画像から構成される医用画像Aから、断層方向が冠状断(coronal)または矢状断(sagittal)のスライス画像から構成される医用画像A’を作成できる。そして、冠状断(coronal)または矢状断(sagittal)の医用画像A’の中央スライス位置にあるスライス画像を、医用画像Aの代表画像としてもよい。また更に、スライス画像に様々な画像処理を施した画像を代表画像としてもよい。例えば、前述の縮小または拡大、一部分の切り出し、先鋭化処理や平坦化処理等の各種のフィルタ処理等の画像処理である。これ以外にも、医用画像から代表画像を生成する方法として、公知の任意の方法を用いることができる。
再び、ステップS210において、表示制御部47は、代表画像生成部42が生成した複数の代表画像をRAM33または記憶部34から読み出し、検査日時が時系列順となるように代表画像を表示部36に並べて表示する。図4を用いて、本ステップの処理の一例を詳細に説明する。図4は、本ステップの処理が終了した時の表示部36の画面例である。図4にいて、領域400は、複数の代表画像を表示する領域(以下、代表画像表示領域)である。画像401〜画像411は、検索の結果として得られた複数の医用画像の夫々に対応する代表画像である。この内、画像401〜画像403は、2010年12月5日の検査で撮像された医用画像の代表画像である。また、画像404〜画像408は、2010年6月5日の検査で撮像された医用画像の代表画像である。また、画像409〜画像411は、2010年1月5日の検査で撮像された医用画像の代表画像である。図4では、検査日時に基づいて代表画像表示領域を分割しており、図の左側から右側に向かって検査日時が昇順になるように分割領域を表示している。各検査日時に撮像された医用画像の代表画像は、各検査日時用の分割領域内に表示されている。なお、図4における画面例は一例に過ぎず、本発明は本例に限定さるものではない。例えば、撮像部位に基づいて代表画像表示領域を分割し、各撮像部位が撮像された医用画像の代表画像を、各撮像部位用の分割領域内に表示してもよい。また例えば、医用画像のスライス厚や造影条件等の他の情報に基づいて代表画像表示領域を分割してもよい。代表画像の表示が完了した後は、ステップS220へ進む。
ステップS220において、制御部37は、操作部35を介したユーザによる検索条件の変更の指示の有無を判定する。検索条件の変更の指示は、ステップS200と同様に、操作部35を介してユーザが領域300に対して任意の検索条件を入力することなどにより実施される。検索条件の変更の指示が無い場合は、ステップS230に進む。検索条件の変更の指示が有る場合は、ステップS200に戻り、変更された検索条件に基づいてステップS200及びステップS210を再び実施する。
ステップS230において、制御部37は、操作部35を介したユーザによる診断対象画像の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。具体的には、診断対象画像の設定の指示は、操作部35を介してユーザが任意の代表画像を選択した時に発生する。あるいは、ユーザが代表画像を選択した後に、ユーザが不図示の診断対象画像の設定ボタンを押した時に発生する。診断対象画像の設定の指示が無い場合は、ステップS220へ戻る。診断対象画像の設定の指示が有る場合は、識別情報取得部43は、選択した代表画像に対応する医用画像(すなわち、診断対象画像)を識別する情報として診断対象識別情報を取得する。換言すると、識別情報取得部43は、ユーザの指示に基づいて診断対象画像を指定する診断対象画像指定手段として動作する。そして、識別情報取得部43は、取得した診断対象識別情報をRAM33または記憶部34に記憶する。その後、ステップS240に進む。ここで、診断対象識別情報は、医用画像取得部41が取得した医用画像の中から診断対象画像を一意に識別するための情報であり、一意に識別できるならば、どのような情報であってもよい。例えば、医用画像がDICOM形式で保存された画像の場合、撮像した際に医用画像に対して割り振られ、DICOMヘッダに保存された固有の識別子であるシリーズIDであってもよい。また例えば、診断対象画像をRAM33または記憶部34に保存した時の保存先のメモリアドレス、フォルダパスまたはファイルパスであってもよい。なお、診断対象画像の設定の指示が有る場合は、表示制御部47を介して表示部36に表示された診断対象画像の代表画像を強調して表示してもよい。例えば、診断対象画像以外の代表画像の輪郭線を第1の色(黒色など)で表示する場合に、診断対象画像の代表画像の輪郭線だけを第2の色(赤色など)で表示してもよい。以下では、ユーザは、図4における画像401を診断対象画像として指定したと仮定して、説明を続ける。
ステップS240において、付帯情報取得部44は、ステップS200において医用画像取得部41が取得した複数の医用画像をRAM33または記憶部34から読み出し、読み出した医用画像の夫々から付帯情報を取得する。ここで、読み出した複数の医用画像の中には診断対象画像も含まれているので、各医用画像から付帯情報を取得することによって、指定手段(操作部35)によって指定された診断対象画像の付帯情報も取得される。そして、付帯情報取得部44は、当該付帯情報を夫々の医用画像及びその代表画像と対応付けて、RAM33または記憶部34に記憶する。そして、ステップS250へ進む。なお、各医用画像の付帯情報のうち、後述するステップS250において評価式設定部45が参照する情報が、付帯情報取得部44によって取得される付帯情報に含まれていればよい。つまり、付帯情報取得部44は夫々の医用画像における全ての付帯情報を取得してもよいし、評価式設定部45が参照する付帯情報のみを取得してもよい。本実施形態においては、付帯情報取得部44は、夫々の医用画像における全ての付帯情報を取得するものとする。また、本ステップの処理は、ステップS200において検索を実行した後から、ステップS260において評価値を算出する前までの間であれば、どの時点で実施してもよい。つまり、ステップS210やステップS250の後に実施してもよいし、他のステップの処理と並行して実施してもよい。
ステップS250において、評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した付帯情報の中から診断対象画像の付帯情報を選び出す。そして、差分情報を生成するのに適した比較画像をユーザが選定し易くするために、評価式設定部45は、診断対象画像の付帯情報に基づいて評価式を設定する。その後、評価式設定部45は、RAM33または記憶部34に当該評価式を記憶する。そして、ステップS260に進む。ここで、当該評価式は、付帯情報の一部の項目(以下、評価式項目)を用いて、診断対象画像と評価対象となる医用画像との類似性を評価する式とする。
本実施形態では、評価式項目として複数の項目a,b,…を扱う場合を例として説明する。例えば、診断対象画像と評価対象の医用画像との間の評価式項目aの一致・不一致を評価する評価式faを、以下のように定義する。まず、評価式項目aに関する診断対象画像の付帯情報をAa、評価対象の医用画像の付帯情報をBaとする。そして、評価式設定部45は、AaとBaが一致した場合は評価値としてTを算出し、不一致の場合は評価値としてFを算出する評価式faを、式1の通り記述するものとする。なお、Tの値はFの値より大きな値とする。
fa(Aa,Ba)=IF(Aa=Ba,T,F)・・・(式1)
評価式設定部45は、式1と同様に、評価式項目として設定される複数の項目a,b,…の夫々に対して、評価式fa,fb,…を設定する。そして、評価式設定部45は、全評価式を統合した最終的な評価式F(A,B)を設定する。ここで、Aは、評価に用いる全ての評価式項目に関する診断対象画像の付帯情報(すなわち、A={Aa,Ab,…})を表す。同様に、Bは、評価に用いる全ての評価式項目に関する評価対象の医用画像の付帯情報(すなわち、B={Ba,Bb,…})を表す。評価式項目毎の評価式を統合する方法としては、例えば各評価式により算出した値の「合計」、「平均」などがある。例えば、評価式項目としてa,b,cを設定し、評価式項目毎の評価式を統合する方法として「合計」を設定する場合には、最終的な評価式F(A,B)は式2となる。
F(A,B)=fa(Aa,Ba,)+fb(Ab,Bb)+fc(Ac,Bc)・・・(式2)
ここで、評価式設定部45が診断対象画像の付帯情報(A)を式2に代入することは、夫々の医用画像が比較画像として適しているかを評価する評価式を、診断対象画像の付帯情報に基づいて設定していることに相当する。もちろん、式1及び式2に示した評価式は一例であり、本発明は本例に限定されるものではない。例えば、最終的な評価式において、各評価式項目に関する評価式の夫々に重みを設定してもよい。例えば、評価式項目aに関する評価式の重みをWa、評価式項目bに関する評価式の重みをWb、評価式項目cに関する評価式の重みをWcと設定する場合の評価式は式3となる。
F(A,B)=Wa・fa(Aa,Ba)+Wb・fb(Ab,Bb)+Wc・fc(Ac,Bc)・・・(式3)
また、条件を満たすことが必須の評価式項目がある場合には、それ以外の評価式項目の
和(式2)や加重和(式3)を求めた後に、必須の評価式項目に関する評価値を更に積算するようにしてもよい。これによると、条件を満たすことが必須の評価式項目の評価値が0の場合に、最終的な評価値を0とすることができる。
なお、上記の例では、診断対象画像の付帯情報と評価対象の医用画像の付帯情報が一致するか否かに基づく評価式(式1)を用いる場合について説明したが、本発明の実施例はこれに限らない。例えば、診断対象画像の付帯情報と評価対象の医用画像の付帯情報との大小関係に基づいた評価式を用いてもよい。例えば式4のように、AaがBaより大きい場合は評価値としてTを算出し、小さい場合はFを算出してもよい。
fa(Aa,Ba)=IF(Aa>Ba,T,F)・・・(式4)
また、診断対象画像の付帯情報と評価対象の医用画像の付帯情報との類似度(各情報を多次元情報空間におけるベクトルで表現した場合のベクトル間の距離)に基づいた評価式としてもよい。例えば式5のように、AaとBaが類似した値であるほど評価値が高くなる評価式を用いてもよい。なお、|Aa−Ba|は、付帯情報AaとBaの夫々をベクトル表現した場合の2つのベクトル間のユークリッド距離を示す。
fa(Aa,Ba)=1/|Aa−Ba|・・・(式5)
以上の説明では、各評価式項目の評価の方法として、式1、式4、式5に具体例を示した。本発明の実施例としては、複数の評価式項目の夫々に関する評価式として、上記何れか1つの評価方法だけを用いても良いし、評価式項目毎に異なる評価方法を用いても良い。例えば、評価式項目aに関する評価式に式1を用い、評価式項目bに関する評価式に式4を用い、評価式項目cに関する評価式に式5を用いてもよい。なお、画像間の付帯情報の一致度を定義する評価式として、上記以外の、2つのデータ間の距離や類似度を算出する公知の任意の方法を用いてもよい。
ここで、より具体的な例を用いて、本ステップにおける評価式の設定方法について説明する。ここでは、評価式項目として、a:スライス厚、b:再構成関数、c:造影条件、の3つの項目を用いる場合を例として説明する。まず、各評価式項目に関する評価式では、評価値Tとして値1、評価値Fとして値0を設定するものとする。そして、各評価式項目における評価方法として、式1を用いるものとする。また、全評価式項目の評価式を統合する方法として「合計」を用いるものとする。また更に、ステップS240において、評価式設定部45が取得した診断対象画像の付帯情報Aa,Ab,Acは、夫々次の値であるものとする。
Aa(スライス厚):1.0mm
Ab(再構成関数):FC51という文字列によって識別される再構成関数
Ac(造影条件):造影剤を使用し(造影有)、かつ造影状態が平衡相である
上述の例では、本ステップにおいて設定される最終的な評価式は、式6となる。
F(A,B)=IF(1=Ba,1,0)+IF(“FC51”=Bb,1,0)+IF(“造影有、平衡相”=Bc,1,0)・・・(式6)
ステップS260において、評価値算出部46は、付帯情報取得部44が取得した付帯情報と、評価式設定部45が設定した評価式とを読み出す。そして、評価値算出部46は、比較画像の候補である夫々の医用画像における付帯情報を当該評価式に代入し、夫々の医用画像に対する評価値を算出する。そして、評価値算出部46は、RAM33または記憶部34に、算出した評価値を夫々の医用画像及びその代表画像の少なくとも一方に対応付けて記憶する。その後、ステップS270へ進む。即ち、情報処理装置10は、医用画像の付帯情報と診断対象画像の付帯情報に基づく評価値を取得する評価値取得手段を備える。なお、診断対象画像に対する評価値は必ずしも算出しなくともよい。例えば、比較画像の候補に加える必要のない医用画像がある場合は、それらの医用画像に対する評価値は算出しなくともよい。具体例としては、診断対象画像と同じ検査において撮像された医用画像に対する評価値は算出しなくともよい。また、評価式項目として設定された付帯情報の項目を有さない医用画像に対しては、評価値を算出しなくともよい。
以下の説明では、図4の例において、画像401〜画像411の代表画像に対応する医用画像のスライス厚、再構成関数、造影条件の付帯情報が、夫々、表1の左から2列目、3列目、4列目に示す通りであるものとする。また、夫々の医用画像に対する評価値は、対応する付帯情報を式6に代入することにより算出されるものとする。このとき、夫々の医用画像に対して算出される評価値は、表1の左から5列目に示す通りである。
Figure 2021000221
ステップS270において、表示制御部47は、評価値算出部46が算出した夫々の医用画像に対する評価値を取得し、診断対象画像及び他の医用画像に対応する代表画像の表示部36における表示形態を、当該評価値に基づいて変更する。例えば、各代表画像の表示状態(表示または非表示)、画像サイズ、強調表示の有無や強調表示方法などを変更する。ここで、診断対象画像の付帯情報と他の医用画像の付帯情報とが類似するか否かを区別可能な形態で表示できれば、表示形態の変更方法は問わない。類似判定は、例えば上述までの評価式が所定の値を超えるか否かによって類似する、類似しないを判定してもよいし、いくつかの項目(パラメータ)の一致した数が所定の数を超えるか、超えないかにより判定されてもよい。そして表示形態の変更後に、ステップS280へ進む。
以上説明した通り、情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する医用画像取得部41と、医用画像の代表画像を生成する代表画像生成部42を有する。さらに代表画像生成部42によって生成された代表画像を表示部に表示させる表示制御部47と、医用画像取得部41によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得部44とを備える。さらに、表示制御部47は、診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、診断対象画像の付帯情報に類似しないまたは類似性の低い付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする。診断対象画像は、ユーザの指示に基づき設定してもよいし、デフォルトの設定として、検査日が最新の画像が設定されてもよい。また、表示制御部47は、各医用画像の付帯情報と診断対象画像の付帯情報との類似性を表す、夫々の医用画像の評価値に基づいて、医用画像に対応する代表画像の表示形態を設定する。例えば、評価値の大きさに比例して画像サイズを変更してもよい。また、評価値(類似性)が一定以上のものを表示し、一定以下のものを非表示に設定してもよい。また、類似性を示す指標を代表画像に付帯させて表示してもよい。つまり、情報処理装置10における表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報の類似性に基づいて、医用画像に対応する代表画像の表示形態を設定することを特徴とする。例えば、情報処理装置10における表示制御部47は、医用画像の付帯情報と診断対象画像の付帯情報が類似している場合に、医用画像に対応する代表画像を表示する。そして、医用画像の付帯情報と診断対象画像の付帯情報が類似していない場合に、医用画像に対応する代表画像を非表示とすることを特徴とする。
以下では、図5〜図8及び表1を用いて、代表画像の表示形態の変更方法について詳細に説明する。なお、以下で説明する各表示形態の変更方法はあくまで一例であり、本発明はこれらの変更方法に限られるものではない。
表示制御部47における代表画像の表示形態の変更方法の一例である第1の変更方法として、所定の評価基準を満たす医用画像の代表画像のみを表示する場合について説明する。ここで、評価基準とは、代表画像の表示形態を変更するために、評価値を評価するための基準である。即ち、情報処理装置10は、評価値取得手段により取得された評価値が所定の評価基準を満たす医用画像に対応する代表画像を表示し、評価値取得手段により取得された評価値が所定の評価基準を満たさない医用画像に対応する代表画像を非表示とする。図5は、評価基準を「評価値が2以上」として、第1の変更方法を実施した場合の表示部36における画面例である。この例では、表1より、「評価値が2以上」の医用画像の代表画像は画像401、画像404、画像406、画像407、画像409、画像411のみであるため、それ以外の代表画像は表示部36に表示しない(非表示にする)。また、図5に示すように、一部の代表画像が非表示となった場合、画面上の非表示領域(余白)が増えるため、ユーザにとって視認性が低下する可能性がある。そこで、表示制御部47は、非表示領域(余白)を減少させるように、代表画像の配置を変更してもよい。代表画像の配置を変更した場合の画面例を図6に示す。なお、評価基準は、基準を満たす評価値と基準を満たさない評価値を区別できるものであればどのような基準でもよい。例えば、「評価値が所定値以下」を評価基準としてもよいし、「評価値が所定の範囲内」を評価基準としてもよい。また、評価値に対して固定の閾値を設定せずに、表示部36に表示する代表画像の数が所定の基準を満たすような評価基準を設定してもよい。例えば、「評価値が大きい順に所定数の代表画像を選ぶ」ことを評価基準としてもよい。また、評価基準は予め固定値を定めてもよいし、ユーザが自由に指定(変更)できる仕組みを備えてもよい。
次に、代表画像の表示形態の変更方法の一例である第2の変更方法として、表示制御部47が所定の評価基準を満たす医用画像の代表画像を強調して表示する場合について説明する。図7は、評価基準を「評価値が2以上」として、第2の変更方法を実施した場合の表示部36における画面例である。この例では、表1より、「評価値が2以上」の医用画像の代表画像である画像401、画像404、画像406、画像407、画像409、画像411の枠を相対的に太く表示している。なお、代表画像を強調する方法はどのような方法であってもよい。例えば、表示制御部47が代表画像の枠の色を変更してもよいし、代表画像の大きさを相対的に大きくしてもよい。更には、表示制御部47は評価基準を満たす医用画像に対応する代表画像であることが認識可能な情報(文字列やマーク等)を、当該代表画像上や当該代表画像の近傍に表示させてもよい。また、ステップS230で指定した診断対象画像の代表画像は、診断対象画像以外の代表画像とは異なる方法により強調してもよい。例えば、表示制御部47は診断対象画像の代表画像の枠の色と、診断対象画像以外の代表画像の枠の色とを変えてもよい。
更に、表示制御部47は評価基準を満たさない医用画像に対応する代表画像を、評価基準を満たす医用画像に対応する代表画像が相対的に強調されるような表示形態に変更してもよい。例えば、評価基準を満たさない医用画像に対応する代表画像をグレーアウト(他よりも目立たない色調で表示)してもよいし、当該代表画像の大きさを相対的に小さくしてもよい。更には、評価基準を満たさない医用画像に対応する代表画像であることが認識可能な情報(文字列やマーク等)を、当該代表画像上や当該代表画像の近傍に表示させてもよい。
次に、代表画像の表示形態の変更方法の一例である第3の変更方法として、夫々の検査日時の医用画像における代表画像を、表示制御部47が算出された評価値が大きい順に並べて表示する場合について説明する。図8は、第3の変更方法を実施した場合の表示部36における画面例である。この例では、検査日時が2010年12月5日の検査の際に撮像された医用画像の代表画像である画像401〜画像403において、対応する評価値の大小関係は、表1より画像401>画像402=画像403である。従って、画像401〜画像403は、上から下に向かって画像401、画像402、画像403の順に並べる。同様に、画像404〜画像408における評価値の大小関係は、画像406>画像404=画像407>画像405=画像408である。従って、画像404〜画像408は右上から左下に向かって画像406、画像404、画像407、画像405、画像408の順に並べる。同様に、画像409〜画像411における評価値の大小関係は、画像411>画像409>画像410である。従って、画像409〜画像411は、上から下に向かって画像411、画像409、画像410の順に並べる。なお、代表画像の並び順は、評価値の大きさに基づくものであればどのような順でもよい。例えば、表示制御部47は評価値の小さい順に並べてもよいし、特定の評価値に近い順に並べてもよい。また、表示制御部47は検査日時毎に代表画像を分けて表示するのではなく、全ての検査日時における全ての代表画像に対して(検査日時とは無関係に)並び順を決定し、当該並び順に従って並べてもよい。また、表示制御部47は評価基準を満たす医用画像を含む検査情報が診断対象画像のより近くに表示されるように、初期状態では時系列順に並んでいる検査情報の並び順を変更してもよい。例えば、2010年6月5日の検査よりも2010年1月5日の検査のほうが、より大きい評価値の医用画像を含んでいる場合がある。この場合には表示制御部47は、2010年1月5日の検査の代表画像を表示している部分領域と、2010年6月5日の検査の代表画像を表示している部分領域の表示位置を入れ替えてもよい。
次に、代表画像の表示形態の変更方法の一例である第4の変更方法として、表示制御部47が評価値の大きさに応じた表示形態となるように、代表画像の表示形態を変更する場合について説明する。制御部37は、予め評価値毎に代表画像の表示形態を定めておく。そして表示制御部47は、診断対象画像が選択された場合に、評価値毎に定められた表示形態となるように、代表画像の表示形態を変更する。例えば、表示制御部47は、代表画像の枠の色を、「評価値が1」である場合は青色、「評価値が2」である場合は黄色、「評価値が3」である場合は赤色に変更する。このように段階的に表示形態が変更できるのであれば、どのような表示形態であっても構わない。例えば、評価値毎に枠線の太さを変えるようにしてもよい。また、表示制御部47は、代表画像上や代表画像の近傍に、当該代表画像に対応する評価値に関する情報(評価値自体(「1」「2」「3」「4」等)や評価値毎に予め定められた記号(「◎」「○」「△」「×」等)や文字列等)を表示してもよい。
また、表示形態を変更した後に、以前の(表示形態を変更する前の)表示形態に戻れるようにしてもよい。例えば、ユーザが不図示のリセットボタンを押すことにより、公知のUndo(直前に実行した機能の実行の取り消し)機能を用いて表示形態を変更する直前の表示形態(すなわち、図4の状態)に戻れるようにしてもよい。
また、表示制御部47は、前述した各変更方法のうち、ユーザによって選択された変更方法を用いて、代表画像の表示形態を変更してもよい。例えば、表示制御部47は、各変更方法に対応する不図示のボタンを画面に表示し、ユーザによって押されたボタンに対応する変更方法で、代表画像の表示形態を変更すればよい。
更に、前述した各変更方法を組み合わせてもよい。例えば、第1の変更方法と第2の変更方法を組み合わせてもよい。例えば、表示制御部47は、「評価値が2以上」の医用画像に対応する代表画像のみを表示すると共に、「評価値が3以上」の医用画像に対応する代表画像の枠を相対的に太く表示してもよい。また、第2の変更方法と第3の変更方法を組み合わせてもよい。例えば、評価基準を満たす医用画像の代表画像を強調して表示すると同時に、評価値に応じた順番で医用画像の代表画像を並べ替えるようにしてもよい。
ステップS280において、制御部37は、操作部35を介したユーザによる比較画像の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザから操作を受け付ける(ユーザの指示を入力する)ことで実行される。具体的には、比較画像の設定の指示は、操作部35を介して任意の代表画像をユーザが選択することなどにより実施される。また、代表画像を選択した後に、不図示の比較画像の設定ボタンを選択することで実施されてもよい。比較画像の設定の指示が有る場合は、識別情報取得部43は、指定された代表画像が表す医用画像の識別情報を、比較識別情報として取得し、情報処理装置10は、RAM33または記憶部34にこれを記憶する。そして、ステップS290へ進む。なお、比較画像として診断対象画像と同じ画像が選択された場合は、ステップS220へ戻るようにしてもよいし、表示制御部47が警告を促す文章を表示部36に表示してもよい。また、比較画像として診断対象画像と同じ画像を選択できないGUIを提供してもよい。比較識別情報は、医用画像取得部41が取得した医用画像の中から、比較画像を識別できる情報であればどのような情報であってもよい。例えば、診断対象識別情報と同様に、DICOMヘッダに保存された固有の識別子であるシリーズIDであってもよいし、比較画像をRAM33または記憶部34に保存した時の保存先のメモリアドレス、フォルダパスまたはファイルパスであってもよい。比較画像の設定の指示が無い場合は、ステップS220へ戻る。
ステップS290において、差分情報生成部48は、診断対象識別情報と比較識別情報とに基づいて、診断対象画像と比較画像とを読み出し、差分情報を生成する。そして、情報処理装置10は、RAM33、記憶部34またはデータベース22などに差分情報を記憶し、本実施形態における処理を終了する。本実施形態においては、差分情報として診断対象画像と比較画像との間の差分画像を生成する。差分画像は、公知の位置合わせ技術と差分処理技術によって生成するが、従来技術であるため、本実施形態では説明を省略する。なお、差分画像等の差分情報の生成は必須ではなく、診断対象識別情報と比較識別情報を(あるいは、診断対象画像と比較画像の画像データ自体を)外部に出力し、その情報に基づいて、外部の処理装置が差分画像等の差分情報を生成する構成であってもよい。
以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、データサーバに大量の医用画像が蓄積されている場合でも、ユーザによって指定された診断対象画像の付帯情報と比較画像の候補となる医用画像の付帯情報との類似性に基づいて、比較画像の候補となる医用画像の表示形態が変更される。これにより、診断対象画像と比較するのに適した医用画像(比較画像の候補)の視認性が大幅に向上するため、比較画像をユーザが容易に選択することができる。
(変形例1−1)
第1の実施形態では、評価式設定部45が設定する評価式における評価式項目が、付帯情報の項目である場合について説明した。しかし、本発明はこれに限らない。
例えば、評価式設定部45における評価式項目として、画質を設定してもよい。評価式設定部45は公知の画像処理技術によって、評価対象の医用画像または診断対象画像の画質を評価し、画質の水準に応じて異なる評価値を与える評価式を設定してもよい。
また別の例では、評価式設定部45における評価式項目として、診断対象画像の撮像範囲と評価対象の医用画像の撮像範囲とが重複する領域(以下、重複領域)の大きさに基づいて設定してもよい。評価式設定部45は公知の画像処理技術によって、診断対象画像の撮像範囲と評価対象の医用画像の撮像範囲との重複領域の大きさを評価し、重複領域の大きさに応じて異なる評価値を与える評価式を設定してもよい。また、後述する第3の実施形態のように複数の比較画像を選択する場合には、評価式設定部45は診断対象画像との重複領域は大きいが既に選択された比較画像との重複領域が小さい評価対象の医用画像に対して、大きい評価値を与える評価式を設定してもよい。
(変形例1−2)
第1の実施形態では、ユーザの操作(指示)に従って、ステップS200において医用画像取得部41は検索条件を取得し、ステップS230において識別情報取得部43は診断対象識別情報を取得した。しかし、検索条件及び診断対象識別情報の取得の方法は、これに限らず、公知の検査情報の検索用のGUIと連携してもよい。
つまり、ユーザが一覧表示された代表画像から1つの画像を選択した後に、制御部37が本実施形態の情報処理を実行するようにしてもよい。その場合、図2におけるステップS200では、医用画像取得部41は、予め定めた検索項目に対応する検索条件を、選択した代表画像に対応する医用画像の付帯情報に基づいて取得する。そして、当該検索条件を満たす検査情報をデータベース22から検索し、当該検査の際に撮像された医用画像を取得する。また、ステップS230では、識別情報取得部43は、選択した代表画像に対応する医用画像を診断対象画像として設定する。
本変形例によれば、ユーザが日常的に使用している検査情報の検索用のGUIなど、任意の外部機器と連携することができるため、ユーザにとっての使用性が向上する。
(変形例1−3)
第1の実施形態におけるステップS230及びステップS280において、ユーザは診断対象画像及び比較画像を選択し設定する。診断対象画像及び比較画像の選択では、候補となる医用画像の詳細な観察が必要となる場合がある。従って、本実施形態において医用画像の観察用の機能を使用可能としてもよい。また、本実施形態は画像表示装置(画像Viewerとも呼ばれる)と連携してもよい。
例えば、制御部37は、操作部35を介したユーザによる代表画像の選択の指示の有無を判定し、選択の指示が有る場合には画像表示装置の各種機能を動作させてもよい。この場合、選択された代表画像に対応する医用画像を画像表示装置に表示させてもよい。この処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。そして、ユーザは画像表示装置が有する各種機能を用いて当該医用画像を詳細に観察する。
また別の例では、表示部36における代表画像の表示領域に対して医用画像の観察用の各種機能を使用可能とし、代表画像に対応する医用画像を詳細に観察できるようにしてもよい。
本変形例によれば、ユーザは診断対象画像及び比較画像の候補となる医用画像の詳細な観察が可能となるため、より適切に診断対象画像及び比較画像を選択することができる。
なお、上述した変形例1−1乃至変形例1−3は、後述する第2乃至第5の実施形態にも適用可能であり、これらもまた本発明の実施形態となりうる。
[第2の実施形態]
第1の実施形態では、選択する診断対象画像の数が1つの場合について説明した。この場合、複数の診断対象画像に対して差分情報を生成するためには、第1の実施形態に示す処理手順を複数回実施する必要があり、手間がかかるという課題があった。本実施形態では、複数の診断対象画像に対して、効率的に差分情報を生成する方法について説明する。
ステップS200〜ステップS220の処理は第1の実施形態と同等である。
ステップS230において、ユーザは操作部35を介して、診断対象画像として、複数の代表画像を指定する。このとき、識別情報取得部43は、選択された夫々の代表画像に対応する医用画像を識別する情報を、診断対象識別情報として取得する。本実施形態では、図4における画像401と画像406が選択されたものとする。
ステップS240の処理は、第1の実施形態と同等である。
ステップS250において、評価式設定部45は、付帯情報取得部44が取得した付帯情報の中から複数の診断対象画像の夫々の付帯情報を読み出す。次に、読み出した夫々の付帯情報に基づいて評価式を設定する。その後、評価式設定部45は、夫々の評価式を統合して、評価対象の医用画像を評価するための最終的な評価式を設定する。例えば、夫々の診断対象画像に関する評価式の「合計」を、最終的な評価式とする。例えば、診断対象画像が二つある場合であれば、評価式設定部45は、評価式F(A1,A2,B)を、式7のように設定する。
F(A1,A2,B)=F(A1,B)+F(A2,B)・・・(式7)
ここで、Ai(i=1,2)は、i番目の診断対象画像の付帯情報を表す。
ステップS260〜ステップS280の処理は、第1の実施形態と同等である。本実施形態においては、比較画像(医用画像)として画像411が選択されたものとする。
ステップS290において、差分情報生成部48は、夫々の診断対象識別情報と比較識別情報とに基づいて、夫々の診断対象画像と比較画像(医用画像)とを読み出し、夫々の差分情報を生成する。本実施形態では、差分情報生成部48は、画像401の代表画像に対応する医用画像と画像411の代表画像に対応する医用画像の差分画像と、画像406の代表画像に対応する医用画像と画像411の代表画像に対応する医用画像の差分画像とを生成する。すなわち、情報処理装置10は、表示部36に表示された代表画像を指定する指定手段(操作部35)と、指定された代表画像に対応する医用画像と診断対象画像との差を描出する差分画像を生成する差分情報生成部48を有する。
本実施形態によれば、第1の実施形態で示した一連の処理手順を複数回行うことなく、複数の診断対象画像に対する差分情報を生成することができるため、ユーザの手間を低減させることができる。
[第3の実施形態]
第1の実施形態では、選択する比較画像の数が1つの場合について説明した。この場合、複数の比較画像に対して差分情報を生成するためには、第1の実施形態に示す処理手順を複数回実施する必要があり、手間がかかるという課題があった。本実施形態では、複数の比較画像に対して、効率的に差分情報を生成する方法について説明する。なお、第2の実施形態は診断対象画像が複数の場合の実施形態であり、本実施形態は比較画像が複数の場合の実施形態である。
第1の実施形態では、ステップS280において、比較画像の設定の指示が有る場合は、識別情報取得部43は比較識別情報を取得し、ステップS290へ進む場合を例として説明した。本実施形態では、ステップS280において、比較画像の設定の指示が有る場合は、制御部37は、続いて差分情報の生成の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。例えば、ユーザが比較画像を選択した後に、不図示の差分情報生成ボタンを選択する(押す)ことで実行される。差分情報の生成の指示が有る場合は、識別情報取得部43は比較識別情報を取得し、ステップS290へ進む。差分情報の生成の指示が無い場合は、ステップS250へ戻る。
比較画像の選択後のステップS250では、評価式設定部45は、付帯情報取得部44が取得した付帯情報の中から診断対象画像と比較画像の付帯情報を読み出す。そして、診断対象画像と比較画像との両方の付帯情報に基づいた評価式を設定する。つまり、評価式設定部45は、評価式項目に対して、診断対象画像における評価式と比較画像における評価式を夫々設定し、夫々の評価式を統合して、評価対象の医用画像を評価するための最終的な評価式とする。評価式を統合する方法としては、例えば「合計」、「平均」などがある。例えば、評価式項目としてa、b、cの3つの付帯情報が設定され、評価式を統合する方法として「合計」が設定された場合について説明する。評価式項目aに関する診断対象画像の付帯情報をAa、比較画像の付帯情報をCaとし、評価対象の医用画像の付帯情報をBaとする。そして、評価式設定部45は、AaとBaが一致した場合は評価値Tを算出し、不一致の場合は評価値Fを算出する評価式を構築する。また、評価式設定部45は、CaとBaが一致した場合評価値Tを算出し、不一致の場合は評価値Fを算出する評価式を構築する。そして、それらを統合した最終的な評価式F(A,C,B)を式8として設定する。
F(A,C,B)=WAa・fa(Aa,Ba)+WCa・fa(Ca,Ba)+WAb・fb(Ab,Bb)+WCb・fb(Cb,Bb)+WAc・fc(Ac,Bc)+WCc・fc(Cc,Bc)・・・(式8)
なお、WAa、WCa、WAb、WCb、WAc、WCcは、各評価式に関する重み係数である。
もちろん、本実施形態における評価式は一例であり、本発明はこれに限定されない。特に、複数の比較画像を選択する場合は、診断対象画像と比較画像との類似性よりも、比較画像同士の類似性の方が、重要な場合がある。その場合は、例えば、診断対象画像に対する付帯情報をもとに設定される評価式と、比較画像に対する付帯情報をもとに設定される評価式とで、夫々異なる重みを設定してもよい。また、比較画像の選択後であっても、比較画像の選択前と同じ評価式を用いるようにしてもよい。この場合、第1の実施形態と同様に、診断対象画像の付帯情報との類似性にのみ基づいて、夫々の医用画像の評価値が算出される。すなわち、比較画像を選択する前後で、夫々の医用画像の評価値は変化しない。診断対象画像と、夫々の比較画像との比較を個別に行いたい場合(例えば、診断対象画像と夫々の比較画像との差分画像を個別に生成して観察したい場合)には、評価式を変更しないこの方法が望ましい。
比較画像の選択後のステップS260において、評価値算出部46は、付帯情報取得部44が取得した付帯情報と評価式設定部45が比較画像の選択後に設定した評価式とを読み出す。そして、評価値算出部46は、夫々の医用画像における付帯情報を当該評価式に代入し、夫々の医用画像に対する評価値を算出する。なお、算出した評価値はそのまま夫々の医用画像に対する評価値として保持してもよいし、比較画像の選択前のステップS260によって算出された評価値と統合して保持してもよい。また、比較画像の選択前のステップS270において、非表示となった代表画像が存在する場合は、当該代表画像に対応する医用画像に対しては、評価値を算出しなくともよい。
比較画像の選択後のステップS270の処理は、第1の実施形態と同様であるため、説明を省略する。
比較画像の選択後のステップS280において、新たな比較画像の設定の指示が有る場合は、続いて差分情報の生成の指示の有無を判定する。差分情報の生成の指示が有る場合は、識別情報取得部43は夫々の比較画像における比較識別情報を取得し、ステップS290へ進む。差分情報の生成の指示が無い場合は、ステップS250へ戻り、同様の処理を繰り返す。
ステップS290において、差分情報生成部48は、診断対象識別情報と夫々の比較識別情報とに基づいて、診断対象画像と夫々の比較画像とを読み出し、夫々の差分情報を生成する。このとき、夫々の比較画像に対して得られる複数の差分情報を統合して一つ差分情報を生成してもよいし、夫々の差分情報を個別に保持してもよい。差分情報が差分画像の場合、複数の差分画像を統合した差分画像を生成するようにしてもよい。なお、差分画像の統合は、画像を合成する公知の方法を用いてもよい。
本実施形態によれば、第1の実施形態で示した一連の処理手順を複数回行うことなく、複数の比較画像に対する差分情報を生成することができるため、ユーザの手間を低減させることができる。
[第4の実施形態]
第1の実施形態では、評価式設定部45が設定する評価式における評価式項目は予め定めされているものとして説明した。本実施形態における情報処理装置では、ユーザの指示に基づいて評価式項目を設定または変更する。
図9に、第4の実施形態における情報処理装置10の構成例を示す。第1の実施形態における情報処理装置10の構成例(図1)と比べると、評価式項目取得部49が追加されている点が異なる。図9において、評価式設定部45と評価式項目取得部49以外の各構成部は、図1における各構成部と同様であるため、説明を省略する。
評価式項目取得部49は、操作部35によって入力されるユーザの指示に従って、評価式項目を取得する。そして、評価式項目取得部49は、取得した評価式項目を評価式設定部45へ出力する。
評価式設定部45は、第1の実施形態における評価式設定部45と同様の処理を行うが、評価式項目取得部49が取得した評価式項目に基づいて評価式を設定する点が、第1の実施形態とは異なる。
次に、図10〜12を用いて、第4の実施形態における制御部37による全体の処理手順を説明する。
図10は、制御部37が行う処理のフローチャートである。
ステップS1000からステップS1040までの処理は、第1の実施形態のステップS200からステップS240と同様であるため、説明を省略する。
ステップS1050において、制御部37は、操作部35を介したユーザによる評価式項目の設定の指示の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。評価式項目の設定の指示は、操作部35を介して任意の評価式項目を選択することにより実施される。また、評価式項目を選択した後に、不図示の評価式項目の設定ボタンを選択する(押す)ことで実施されてもよい。評価式項目の設定の指示が無い場合は、ステップS1100へ進む。なお、この場合に、ステップS1100において比較画像の選択の指示が無い場合であって、ステップS1020及びステップS1030において検索条件及び診断対象画像の変更の指示が無い場合は、ステップS1040の処理を実施しなくともよい。評価式項目の設定の指示が有る場合は、評価式項目取得部49は評価式項目を取得する。そして、情報処理装置10は、RAM33または記憶部34に評価式項目を記憶する。そしてステップS1060に進む。
以下、図11を用いて具体的に説明する。図11は、評価式項目の設定終了時の表示部36における画面の一例である。図11におけるボタン110〜ボタン114は、評価式項目の候補となる項目に対応したボタンである。ボタン110は「スライス厚」に対応するボタンであり、ボタン111は「再構成関数」に対応するボタンであり、ボタン112は「造影条件」に対応するボタンである。また、ボタン113は「撮像範囲」に対応するボタンであり、ボタン114は「画素サイズ」に対応するボタンである。図11は、評価式項目として、ユーザ指示によりボタン110、ボタン111、ボタン112が選択されている状態を表している。ここでは、ボタンの表示色を変えることで、選択された評価式項目のボタンが識別できる表示形態とする場合を例として表している。もちろん、図11における表示部36の表示形態は一例であり、本発明の実施は本例に限定されない。例えば、評価式項目の入力は、自由文を入力可能な形式でユーザに入力させてもよいし、プルダウン形式で提示した複数の選択肢の中からユーザに選択させてもよい。当該選択肢は、予め設定した評価式項目の候補を選択肢として提示してもよいし、他の評価式項目における入力に応じて順次変更するようにしてもよい。また、評価式項目の候補は予め設定しておいてもよいし、ユーザが後から追加または変更できる仕組みを備えるようにしてもよい。さらには、第1の実施形態における式3のWa、Wb、Wcとして説明した各評価式項目における重要度や優先度を設定できるようにしても良い。また、第1の実施形態において、式1、式4、式5として例示した、各評価式項目に関する診断対象画像の付帯情報と評価対象の付帯情報との評価方法を設定できるようにしてもよい。また、各評価式を統合する方法を設定できるようにしてもよい。また、第2の実施形態や第3の実施形態のように、複数の診断対象画像または複数の比較画像が選択される場合には、夫々の診断対象画像または比較画像に対して、異なる評価式項目等を設定できるようにしてもよい。また、図12に示すように、設定可能な項目を1画面にまとめた設定用の画面を表示部36に表示し、ユーザが設定できる仕組みを備えてもよい。
ステップS1060において、評価式設定部45は、識別情報取得部43が取得した診断対象識別情報に基づいて、付帯情報取得部44が取得した付帯情報の中から診断対象画像の付帯情報を選び出す。また、評価式項目取得部49が取得した評価式項目をRAM33または記憶部34から読み出す。そして、評価式設定部45は、診断対象画像の付帯情報と当該評価式項目とに基づいた評価式を設定する。情報処理装置10は、RAM33または記憶部34に当該評価式を記憶する。そして、ステップS1070に進む。
例えば、図12の画面例に例示した通りにユーザが評価式項目を設定した場合を仮定する。また、評価式設定部45が取得した診断対象画像の付帯情報として、スライス厚は1.0mm、再構成関数はFC51という文字列によって識別される再構成関数、造影条件は造影剤を使用し(造影有)、かつ造影状態が平衡相、という情報が取得されたとする。この場合、本ステップによって設定される評価式は、式9となる。
F(A,B)=1・IF(1>Ba,1,0)+1・IF(“FC51”=Bb,1,0)+2・IF(“造影有、平衡相”=Bc,1,0)・・・(式9)
ステップS1070及びステップS1080の処理は、第1の実施形態のステップS260及びステップS270と同様であるため、説明を省略する。
ステップS1090において、制御部37は、操作部35を介したユーザによる評価式項目の設定の変更の有無を判定する。この判定処理は、操作部35や表示部36により提供されるGUIによりユーザからの操作を受け付ける(ユーザの指示を入力する)ことで実行される。評価式項目の変更の指示は、操作部35を介して任意の評価式項目を変更することにより実施される。また、評価式項目を変更した後に、不図示の評価式項目の設定ボタンを押すことで実施されてもよい。評価式項目の変更の指示が無い場合は、ステップS1100へ進む。評価式項目の設定の指示が有る場合は、評価式項目取得部49は変更された評価式項目を取得する。そして、情報処理装置10は、RAM33または記憶部34に変更された評価式項目を記憶する。そしてステップS1060に進む。ユーザによる評価式項目の設定の変更の指示は、ステップS1050における評価式項目の設定の指示と同様の方法により実現できる。
ステップS1100及びステップS1110における処理は、第1の実施形態のステップS280及びステップS290と同様であるため、説明を省略する。
以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、評価式項目をユーザが任意に設定できるため、好適な比較画像を容易に選択することができる。
[第5の実施形態]
第1の実施形態の変形例1−1において、診断対象画像と評価対象の医用画像との撮像範囲の重複領域に基づいて評価値を算出する場合の例を説明した。この場合、診断対象画像または評価対象の医用画像の撮像範囲に対する当該重複領域の位置及び大きさは、適切な差分情報を生成するために重要である。第5の実施形態における情報処理装置では、診断対象画像と評価対象の医用画像との撮像範囲の重複領域を容易に確認できる情報をユーザに提示する。
図13に、第5の実施形態における情報処理装置10の構成例を示す。第1の実施形態における情報処理装置10の構成例(図1)と比べると、重複領域算出部40が追加されている点が異なる。図13において、医用画像取得部41、識別情報取得部43、表示制御部47、及び重複領域算出部40の4つの構成部以外の各構成部は、図1における各構成部と同様であるため、説明を省略する。
医用画像取得部41は、操作部35によって入力されるユーザの操作(指示)に従って、検索条件を取得する。取得した検索条件に基づいて、通信IF31とLAN21を介してデータベース22から検索条件を満たす検査情報を検索し、当該検査の際に撮像された医用画像を取得する。そして、医用画像取得部41は、取得した医用画像を、代表画像生成部42、付帯情報取得部44、重複領域算出部40へ出力する。
識別情報取得部43は、操作部35によって入力されるユーザの操作(指示)に従って、診断対象識別情報や比較識別情報を取得する。そして、識別情報取得部43は、取得した診断対象識別情報を評価式設定部45、差分情報生成部48、重複領域算出部40へ出力する。また、識別情報取得部43は、取得した比較識別情報を差分情報生成部48へ出力する。
重複領域算出部40は、識別情報取得部43が取得した診断対象識別情報に基づいて、医用画像取得部41が取得した医用画像の中から診断対象画像を識別する。そして、診断対象画像と、医用画像取得部41が取得した複数の医用画像の夫々との重複領域を算出する。そして、重複領域算出部40は、算出した重複領域を、表示制御部47へ出力する。
表示制御部47は、代表画像生成部42が生成した代表画像を表示部36に表示する。また、操作部35によってユーザが診断対象画像を指定した際には、重複領域算出部40が算出した重複領域を示す印(以下、重複領域印)を、夫々の代表画像に対応付けて表示する。即ち、情報処理装置10は、医用画像及び診断対象画像の撮像範囲の重複領域を示す情報を代表画像とともに表示させることを特徴とする。また、評価値算出部46が算出した評価値に基づいて、表示部36における表示形態を変更する。
次に、図14〜図18を用いて、第5の実施形態における制御部37による全体の処理手順を説明する。
図14は、制御部37が行う処理のフローチャートである。
ステップS1400からステップS1430までの処理は、第1の実施形態のステップS200からステップS230と同様であるため、説明を省略する。
ステップS1440において、重複領域算出部40は、医用画像取得部41が取得した医用画像を読み出す。また、識別情報取得部43が取得した診断対象識別情報に基づいて、診断対象画像を選び出す。そして、医用画像取得部41が取得した複数の医用画像の夫々に対して、診断対象画像と撮像範囲が重複する領域(重複領域)を算出する。そして、情報処理装置10は、算出した重複領域を、対応する医用画像の代表画像と対応付けて、RAM33または記憶部34に記憶する。ここで、画像間の重複領域は、当該画像間に公知の画像位置合わせ処理を施すことなどによって算出できる。公知の画像位置合わせ処理には、画像の類似度に基づく剛体位置合わせや、FFD(Free−Form Deformation)手法がある。またその他にもLDDMM(Large Deformation Diffeomorphic Metric Mapping)手法などがある。また、画像から人体の解剖学的な特徴部位を抽出する公知の技術を用いて夫々の画像の撮像範囲を判別し、撮像範囲間の重複領域を求めてもよい。また、夫々の医用画像から撮像範囲を示す付帯情報(例えば、頭部、胸部、腹部、胸腹部、上半身、下半身、全身、等)を取得し、当該撮像範囲に基づいて画像間の重複領域を求めてもよい。また、画像からの撮像範囲の取得方法や画像間の重複領域の算出方法は、他の何れの方法によるものであってもよい。
次に、表示制御部47は、重複領域算出部40が算出した重複領域を読み出し、重複領域印を、対応する代表画像と対応付けて表示部36に表示する。ここでは、表示制御部47が行う重複領域印の表示の一例を、図15〜図17を用いて詳細に説明する。
図15は、診断対象画像として画像401の代表画像に対応する医用画像を選択した場合における、本ステップの処理終了時の表示部36における画面例である。図15では、診断対象画像以外の複数の医用画像の夫々の代表画像である画像402〜画像411の横に、重複領域印が表示されている。
重複領域印の表示形態について、図16及び図17を用いて説明する。
図16は、図15における画像401、画像404、画像405、画像408の夫々の代表画像に対応する医用画像の体軸方向の撮像範囲を示した図である。図形1600は被検体を表し、矢印A401は、診断対象画像(画像401の代表画像に対応する医用画像)の体軸方向の撮像範囲を示す。同様に、矢印A404、矢印A405、及び矢印A408の夫々は、画像404、画像405、及び画像408の代表画像に対応する医用画像の体軸方向の撮像範囲を示す。つまり、図16では、診断対象画像の撮像範囲と画像404の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A404の下端から矢印A404の上端の範囲となる。同様に、診断対象画像の撮像範囲と画像405の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A405の下端から矢印A401の上端の範囲となる。同様に、診断対象画像の撮像範囲と画像408の代表画像に対応する医用画像の撮像範囲との重複領域は、矢印A401の下端から矢印A401の上端の範囲となる。
図17は、図15における画像404、画像405、及び画像408の夫々の代表画像と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。なお、図17における印M404、印M405、及び印M408の夫々は、診断対象画像と夫々の代表画像に対応する医用画像との重複領域印である。表示制御部47は、重複領域印を表示する位置を次のように決定する。まず、表示制御部47は、診断対象画像の撮像範囲の大きさを代表画像の縦方向の大きさに合わせて正規化する(すなわち、図17に示すように、画像404、405、408の上端と下端に、診断対象画像の撮像範囲A401を一致させる)。そして、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置を算出する。そして、当該位置に対応する代表画像の右または左の位置に重複領域印を表示する。
図17(A)では、表示制御部47は、画像404の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A404の下端から矢印A404の上端の範囲の相対的な位置を算出する。そして、矢印A404の下端から矢印A404の上端の範囲に対応した代表画像の右の位置に、印M404を表示する。図17(B)では、表示制御部47は、画像405の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A405の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A405の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印M405を表示する。図17(C)では、表示制御部47は、画像408の縦方向の大きさに対して矢印A401の大きさを正規化し、重複領域である矢印A401の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A401の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印M408を表示する。このような処理を全ての代表画像に対して実施することで、表示制御部47は、重複領域算出部40が算出した重複領域印を、代表画像と対応付けて表示部36に表示することができる。即ち、情報処理装置10は、被検体に対して実施される検査において撮像された医用画像を取得する画像取得部41と、取得した画像の代表画像を生成する代表画像生成部42を有する。また代表画像生成部42によって生成された代表画像を表示部36に表示させる表示制御部47と、医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出部40を有する。そして表示制御部47は、重複領域算出部40によって算出された重複領域を示す情報を代表画像とともに表示させることを特徴とする。
なお、重複領域印の表示形態は、重複領域の大きさや位置関係をユーザが認識することができればどのような形態であってもよい。例えば図18に示すように、重複領域印に透過度を設定し、重複領域印の横方向の大きさを代表画像の大きさと一致させ、代表画像に重ねて表示してもよい。また、第2の実施形態や第3の実施形態のように、複数の診断対象画像または複数の比較画像の選択を必要とする場合には、夫々の診断対象画像または比較画像に対応する重複領域印を表示してもよい。
重複領域印の表示が完了した際には、ステップS1450へ進む。また、本ステップの処理は、ステップS1430において診断対象画像を設定した後から、ステップS1490で比較画像を選択する前までの間であれば、どの時点で実施してもよい。ステップS1470の後に実施してもよいし、他のステップの処理と並行に実施してもよい。また、ステップS1480において、一部の代表画像を非表示とする処理を実施する場合は、非表示とする代表画像に対応する医用画像に対しては重複領域を算出しなくともよい。また、重複領域を算出する処理と重複領域印を表示する処理を分けて、夫々異なる時点で実施してもよい。重複領域印を表示する処理は、ステップS1480の処理と同時に実施してもよい。また、夫々の代表画像に対応する医用画像において、重複領域の算出に要する時間に差がある場合は、重複領域の算出が完了した順に重複領域印を表示してもよい。また、全ての重複領域印を表示する前に、ユーザよりステップS1490の処理の実施を指示された場合は、その時点で本ステップの処理の実施を止めてもよい。
ステップS1450〜ステップS1470までの処理は第1の実施形態のステップS240〜ステップS260と同様であるため、説明を省略する。
ステップS1480において、第1の実施形態と同様に、表示制御部47は、評価値算出部46が算出した夫々の医用画像に対する評価値を読み出す。そして、夫々の医用画像に対応する代表画像や重複領域印の表示部36における表示形態を、当該評価値に基づいて変更する。代表画像の表示形態を変更する場合の処理は、第1の実施形態と同様であるため、説明を省略する。また、一部の代表画像の非表示とする処理を実施する場合は、当該代表画像に対する重複領域印も非表示とする。重複領域印の表示形態を変更する場合の処理は、例えば、重複領域印の横幅の大きさや枠の太さや色の種類等を当該評価値に基づいて変更する。
ステップS1490〜ステップS1500までの処理は第1の実施形態のステップS280〜ステップS290と同様であるため、説明を省略する。
以上のように、本実施形態に係る情報処理装置によれば、以下の効果を得られる。つまり、ユーザは、診断対象画像の撮像範囲に対する、複数の代表画像の夫々に対応する医用画像の撮像範囲の相対的な位置関係を容易に確認できるため、より好適な比較画像を容易に選択することができる。従って、差分情報の生成におけるユーザの手間を低減することができる。
(変形例5−1)
本実施形態では、重複領域算出部40は、体軸方向の撮像範囲の重複領域を算出し重複領域印として表示する例について説明した。しかし、算出及び表示する重複領域は体軸方向に限る必要はない。例えば、体の左右の軸の方向(以下、左右軸方向)や前後の軸の方向(以下、前後軸方向)における撮像範囲の重複領域を算出し、重複領域印として表示してもよい。図19を用いて詳細に説明する。図19(A)は、図15における画像401、画像404の夫々の代表画像に対応する医用画像の体軸方向及び左右軸方向の撮像範囲を示した図である。図形1600は被検体を表し、矢印A401は診断対象画像の体軸方向の撮像範囲を示し、矢印A404は画像404の代表画像に対応する医用画像の体軸方向の撮像範囲を示す。矢印B401は診断対象画像の左右軸方向の撮像範囲を示し、矢印B404は画像404の代表画像に対応する医用画像の左右軸方向の撮像範囲を示す。つまり、図19(A)では、診断対象画像の体軸方向の撮像範囲と画像404の代表画像に対応する医用画像の体軸方向の撮像範囲との重複領域は、矢印A404の下端から矢印A404の上端の範囲となる。また、診断対象画像の左右軸方向の撮像範囲と画像404の代表画像に対応する医用画像の左右軸方向の撮像範囲との重複領域は、矢印B404の左端から矢印B404の右端の範囲となる。また、図19(B)は図15における画像404と、図19(A)に示す診断対象画像と画像404との代表画像に対応する医用画像の撮像範囲とを並べて示した図である。なお、図19(B)における印M404は、診断対象画像と画像404の代表画像に対応する医用画像との体軸方向の重複領域印である。同様に、印N404は、診断対象画像と画像404の代表画像に対応する医用画像との左右軸方向の重複領域印である。体軸方向の重複領域印の表示位置に関しては、本実施形態と同様に決定する。左右軸方向の重複領域印の表示位置に関しては、次のように決定する。まず、表示制御部47は、診断対象画像の撮像範囲の大きさを代表画像の横方向の大きさに合わせて正規化し、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置を算出する。そして、当該位置に対応する代表画像の下または上の位置に重複領域印を表示する。図19(B)は、画像404の右に体軸方向の重複領域印を表示し、下に左右軸方向の重複領域印を表示した例である。
本変形例によれば、ユーザは体軸方向のみならず、左右軸方向または前後軸方向における診断対象画像の撮像範囲に対する代表画像に対応する医用画像の撮像範囲の相対的な位置関係を容易に確認することができる。
(変形例5−2)
本実施形態では、重複領域印の表示位置は、診断対象画像の撮像範囲の大きさを代表画像の縦または横方向の大きさに合わせて正規化し、正規化後の診断対象画像の撮像範囲における重複領域の相対的な位置に基づいて決定していた。しかし、重複領域印の表示位置の決定方法はこれに限らない。
例えば、代表画像に対応する医用画像の撮像範囲の大きさを代表画像の大きさに合わせて正規化し、正規化後の当該医用画像の撮像範囲における重複領域の相対的な位置に基づいて決定してもよい。図20を用いて詳細に説明する。
図20は、図17と同様に、図15における画像404と画像405と画像408と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。但し、図20は代表画像の縦方向の大きさに代表画像に対応する医用画像の撮像範囲の大きさを合わせて示している。なお、図20における印P404、印P405、印P408は、診断対象画像と夫々の代表画像に対応する医用画像との重複領域印である。図20(A)では、表示制御部47は、画像404の縦方向の大きさに対して矢印A404の大きさを正規化し、重複領域である矢印A404の下端から矢印A404の上端の範囲の相対的な位置を算出する。そして、矢印A404の下端から矢印A404の上端の範囲に対応した代表画像の右の位置に、印P404を表示する。図20(B)では、表示制御部47は、画像405の縦方向の大きさに対して矢印A405の大きさを正規化し、重複領域である矢印A405の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A405の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印P405を表示する。図20(C)では、表示制御部47は、画像408の縦方向の大きさに対して矢印A408の大きさを正規化し、重複領域である矢印A401の下端から矢印A401の上端の範囲の相対的な位置を算出する。そして、矢印A401の下端から矢印A401の上端の範囲に対応した代表画像の右の位置に、印P408を表示する。
本変形例によれば、ユーザは、代表画像に対応する医用画像の撮像範囲に対する、診断対象画像の撮像範囲の相対的な位置関係を容易に確認することができる。
(変形例5−3)
本実施形態及び変形例5−2では、重複領域算出部40は、診断対象画像と代表画像に対応する医用画像との重複領域を算出し、代表画像の左右または上下の位置に重複領域印を表示していた。しかし、重複領域算出部40は、診断対象画像と代表画像に対応する医用画像との重複領域を算出せずに、診断対象画像と代表画像に対応する医用画像との相対的な位置関係を表示してもよい。
例えば、被検体の全身の撮像範囲の大きさを代表画像の大きさに合わせて正規化し、正規化後の全身の撮像範囲における診断対象画像及び代表画像に対応する医用画像の撮像範囲の相対的な位置に印を表示してもよい。図21を用いて詳細に説明する。
図21は、図17と同様に、図15における画像404と画像405と画像408の代表画像と、図16に示す夫々の代表画像に対応する医用画像の撮像範囲とを並べて示した図である。但し、図21は代表画像の縦方向の大きさに全身の撮像範囲の大きさを合わせて示している。なお、図21における印Q404、印Q405、印Q408は、診断対象画像の撮像範囲を示す印(以下、診断対象印)である。また、印R404、印R405、印R408は、代表画像に対応する医用画像の撮像範囲を示す印(以下、代表医用印)である。
図21では、表示制御部47は、画像404、画像405、画像408の夫々の縦方向の大きさに対して全身の撮像範囲の大きさを正規化し、正規化後の全身の撮像範囲に対する診断対象画像の撮像範囲の相対的な位置を算出する。また、正規化後の全身の撮像範囲に対する代表画像に対応する医用画像の撮像範囲の相対的な位置を算出する。そして、図21(A)では、画像404の右の位置における診断対象画像の撮像範囲に対応した位置に印Q404を表示し、その隣の位置における画像404に対応する医用画像の撮像範囲に対応した位置に印R404を表示する。図21(B)では、表示制御部47は、画像405の右の位置における診断対象画像の撮像範囲に対応した位置に印Q405を表示し、その隣の位置における画像405に対応する医用画像の撮像範囲に対応した位置に印R405を表示する。図21(C)では、表示制御部47は、画像408の右の位置における診断対象画像の撮像範囲に対応した位置に印Q408を表示し、その隣の位置における画像408に対応する医用画像の撮像範囲に対応した位置に印R408を表示する。
本変形例によれば、ユーザは被検体の全身に対応する診断対象画像の撮像範囲と代表画像に対応する医用画像の撮像範囲との相対的な位置関係を容易に確認することができる。なお、被検体の全身の撮像範囲を正規化の基準とする以外にも、モダリティの最大撮像範囲や撮像用のベッドの範囲を正規化の基準として用いてもよい。
(変形例5−4)
本実施形態では、診断対象画像以外の代表画像に対して、当該代表画像に対応する医用画像と診断対象画像との重複領域を算出し、重複領域印を表示していた。本変形例では、診断対象画像の代表画像に対する重複領域印の表示について説明する。
ステップS1490において、重複領域算出部40は、ユーザが比較画像を設定する際にユーザが操作部35を介して任意の代表画像を選択する場合、当該代表画像に対応する医用画像と診断対象画像との撮像範囲の重複領域を算出する。そして、診断対象画像に対応する代表画像に対して重複領域印を表示する。また、ユーザが操作部35を介して選択する代表画像を変更する場合は、当該変更に応じて重複領域印を変更する。
(変形例5−5)
本実施形態では、重複領域印の表示形態は、重複領域印の大きさは重複領域の大きさに基づいて決定し、重複領域印の表示位置は診断対象画像または比較画像の撮像範囲に対する重複領域の位置関係に基づいて決定していた。しかし、重複領域印の表示形態はこれに限らない。つまり、重複領域印の表示形態は、重複領域の大きさや位置関係の両方または何れか一方をユーザが認識することができれば、どのような形態であってもよい。
例えば、重複領域の大きさや位置関係の両方または何れか一方を示す文字情報を重複領域印とする構成でもよい。ここで、重複領域の大きさを示す文字情報としては、重複領域に対応するピクセル数や実空間上でサイズ等の情報がある。また、重複領域の位置関係を示す文字情報としては、頭頂からの距離に対応するピクセル数や重複領域の範囲に描出されている主要臓器の名称等の情報がある。
また、文字情報に限らず重複領域の大きさや位置関係の両方または何れか一方に応じて決定される形状または色の印を重複領域印とする構成でもよい。また、表示制御部47は、重複領域印の表示・非表示を重複領域の大きさや位置関係に応じて決定する構成としてもよい。
例えば、重複領域の大きさが所定の大きさ以上の場合は、星形の印を重複領域印として、対応する代表画像の右上の位置に表示する構成でもよい。または、重複領域の範囲に描出されている主要臓器を模擬した形状の印を重複領域印として、対応する代表画像に重ねて表示する構成でもよい。
[その他の実施形態]
以上、実施形態を詳述したが、本発明は、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、画像処理装置の機能を分散させることで複数の機器から構成されるシステムに本発明を適用してもよいし、一つの機器からなる装置に適用してもよい。また、本発明の機能及び処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。また、本発明の範囲には、上述の実施例に示す機能及び処理を実現するためのコンピュータプログラム自体も含まれる。また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどとの協働で実施形態の機能が実現されてもよい。この場合には、OSなどが、実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。なお本発明の範囲は上述した実施形態に限定されるものではない。上述した複数の変形例のうち少なくとも二つを組み合わせることも可能である。
10 情報処理装置
21 LAN
22 データベース
31 通信IF
32 ROM
33 RAM
34 記憶部
35 操作部
36 表示部
37 制御部
40 重複領域算出部
41 医用画像取得部
42 代表画像生成部
43 識別情報取得部
44 付帯情報取得部
45 評価式設定部
46 評価値算出部
47 表示制御部
48 差分情報生成部
49 評価式項目取得部

Claims (16)

  1. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
    前記医用画像の代表画像を生成する代表画像生成手段と、
    前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
    前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、
    前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示形態を設定することを特徴とする情報処理装置。
  2. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
    前記医用画像の代表画像を生成する代表画像生成手段と、
    前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
    前記画像取得手段によって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得手段とを備え、
    前記表示制御手段は、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする情報処理装置。
  3. 前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報の類似性に基づいて代表画像の表示形態を設定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記表示制御手段は、前記医用画像の付帯情報と前記診断対象画像の付帯情報が類似している場合、前記医用画像に対応する代表画像を表示し、前記医用画像の付帯情報と前記診断対象画像の付帯情報が類似していない場合、前記医用画像に対応する代表画像を非表示とすることを特徴とする請求項3に記載の情報処理装置。
  5. 前記付帯情報は、医用画像の撮像において設定されたパラメータであることを特徴とする請求項1乃至4のいずれか一項に記載の情報処理装置。
  6. 前記パラメータは、撮像範囲、撮像部位、撮像条件、再構成条件、スライス厚、造影条件の少なくとも1つを含むことを特徴とする請求項5に記載の情報処理装置。
  7. ユーザの指示に基づいて診断対象画像を指定する指定手段を更に備え、
    前記付帯情報取得手段は、前記指定手段で指定された診断対象画像の付帯情報を取得することを特徴とする請求項1または2に記載の情報処理装置。
  8. 前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づく評価値を取得する評価値取得手段を更に備えることを特徴とする請求項1乃至7のいずれか一項に記載の情報処理装置。
  9. 前記表示制御手段は、前記評価値取得手段により取得された評価値が所定の評価基準を満たす医用画像に対応する代表画像を表示し、前記評価値取得手段により取得された評価値が所定の評価基準を満たさない医用画像に対応する代表画像を非表示とすることを特徴とする請求項8に記載の情報処理装置。
  10. 前記表示制御手段は、前記医用画像及び前記診断対象画像の撮像範囲の重複領域を示す情報を前記代表画像とともに表示させることを特徴とする請求項1または2に記載の情報処理装置。
  11. 前記表示部に表示された前記代表画像を指定する指定手段と、
    該指定された前記代表画像に対応する医用画像と前記診断対象画像との差を描出する差分画像を生成する生成手段とを更に備えることを特徴とする請求項1乃至10のいずれか一項に記載の情報処理装置。
  12. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
    前記医用画像の代表画像を生成する代表画像生成ステップと、
    前記代表画像生成ステップによって生成された代表画像を表示部に表示させる表示制御ステップと、
    前記画像取得ステップによって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得ステップとを備え、
    前記表示制御ステップは、前記医用画像の付帯情報と前記診断対象画像の付帯情報に基づいて前記代表画像の表示または非表示を設定することを特徴とする情報処理方法。
  13. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
    前記医用画像の代表画像を生成する代表画像生成ステップと、
    前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御ステップと、
    前記画像取得ステップによって取得された医用画像の付帯情報と診断対象画像の付帯情報を取得する付帯情報取得ステップとを備え、
    前記表示制御ステップは、前記診断対象画像の付帯情報に類似する付帯情報を有した医用画像の代表画像を、前記診断対象画像の付帯情報に類似しない付帯情報を有した医用画像の代表画像と区別できるように表示することを特徴とする情報処理方法。
  14. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得ステップと、
    前記医用画像の代表画像を生成する代表画像生成ステップと、
    前記代表画像生成ステップによって生成された代表画像を表示部に表示させる表示制御ステップと、
    前記医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出ステップと、
    前記表示制御ステップは、前記重複領域算出ステップによって算出された重複領域を示す情報を前記代表画像とともに表示させることを特徴とする情報処理方法。
  15. 請求項12乃至14のいずれか一項に記載の情報処理方法をコンピュータに実行させるためのプログラム。
  16. 被検体に対して実施される検査において撮像された医用画像を取得する画像取得手段と、
    前記医用画像の代表画像を生成する代表画像生成手段と、
    前記代表画像生成手段によって生成された代表画像を表示部に表示させる表示制御手段と、
    前記医用画像及び診断対象画像の撮像範囲の重複領域を算出する重複領域算出手段と、
    前記表示制御手段は、前記重複領域算出手段によって算出された重複領域を示す情報を前記代表画像とともに表示させることを特徴とする情報処理装置。
JP2019114969A 2019-06-20 2019-06-20 情報処理装置、情報処理方法、及びプログラム Pending JP2021000221A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019114969A JP2021000221A (ja) 2019-06-20 2019-06-20 情報処理装置、情報処理方法、及びプログラム
PCT/JP2020/023323 WO2020255901A1 (ja) 2019-06-20 2020-06-15 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019114969A JP2021000221A (ja) 2019-06-20 2019-06-20 情報処理装置、情報処理方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021036295A Division JP7247245B2 (ja) 2021-03-08 2021-03-08 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2021000221A true JP2021000221A (ja) 2021-01-07

Family

ID=73994449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019114969A Pending JP2021000221A (ja) 2019-06-20 2019-06-20 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP2021000221A (ja)
WO (1) WO2020255901A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008029401A (ja) * 2006-07-26 2008-02-14 Toshiba Corp X線画像診断装置
JP2011143159A (ja) * 2010-01-18 2011-07-28 Toshiba Corp 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2011218223A (ja) * 2004-06-14 2011-11-04 Canon Inc 画像処理装置及び方法、並びにプログラム
JP2013128725A (ja) * 2011-12-22 2013-07-04 Hitachi Medical Corp 検査情報表示装置及びシステム
JP2018175410A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011218223A (ja) * 2004-06-14 2011-11-04 Canon Inc 画像処理装置及び方法、並びにプログラム
JP2008029401A (ja) * 2006-07-26 2008-02-14 Toshiba Corp X線画像診断装置
JP2011143159A (ja) * 2010-01-18 2011-07-28 Toshiba Corp 医用画像表示装置、医用診断システム及び画像データ表示用制御プログラム
WO2011122402A1 (ja) * 2010-03-31 2011-10-06 株式会社 日立メディコ 検査情報表示装置及び方法
JP2013128725A (ja) * 2011-12-22 2013-07-04 Hitachi Medical Corp 検査情報表示装置及びシステム
JP2018175410A (ja) * 2017-04-13 2018-11-15 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
WO2020255901A1 (ja) 2020-12-24

Similar Documents

Publication Publication Date Title
US10460838B2 (en) Automated anatomically-based reporting of medical images via image annotation
US8625867B2 (en) Medical image display apparatus, method, and program
US11289188B2 (en) Context driven summary view of radiology findings
JP5670079B2 (ja) 医用画像表示装置および方法、並びにプログラム
JP5222082B2 (ja) 情報処理装置およびその制御方法、データ処理システム
US9922268B2 (en) Image interpretation report creating apparatus and image interpretation report creating system
US7130457B2 (en) Systems and graphical user interface for analyzing body images
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
US8744149B2 (en) Medical image processing apparatus and method and computer-readable recording medium for image data from multiple viewpoints
US7979383B2 (en) Atlas reporting
US20050251021A1 (en) Methods and systems for generating a lung report
JP2005103055A (ja) 医用画像処理装置
CN106529115A (zh) 信息处理装置、信息处理方法以及信息处理系统
US20150235007A1 (en) System and method for generating a report based on input from a radiologist
JP6460636B2 (ja) 読影レポート作成装置、読影レポート作成システムおよび読影レポート作成プログラム
US20100082365A1 (en) Navigation and Visualization of Multi-Dimensional Image Data
WO2008001928A1 (fr) Appareil d'affichage d'image médicale et programme d'affichage d'image médicale
JP2019008349A (ja) 学習データ生成支援装置および学習データ生成支援方法並びに学習データ生成支援プログラム
US11395701B1 (en) Method of selecting a specific surgical device for preoperative planning
JP5539478B2 (ja) 情報処理装置および情報処理方法
JP7247245B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2015171456A (ja) 医用画像表示装置、医用画像表示システムおよび医用画像表示プログラム
WO2020255901A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2023089277A (ja) 情報処理装置、情報処理方法、及びプログラム
CN113329684A (zh) 注释支持装置、注释支持方法及注释支持程序

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200925

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201208