JP2015217120A - 画像診断支援装置、その処理方法及びプログラム - Google Patents

画像診断支援装置、その処理方法及びプログラム Download PDF

Info

Publication number
JP2015217120A
JP2015217120A JP2014102725A JP2014102725A JP2015217120A JP 2015217120 A JP2015217120 A JP 2015217120A JP 2014102725 A JP2014102725 A JP 2014102725A JP 2014102725 A JP2014102725 A JP 2014102725A JP 2015217120 A JP2015217120 A JP 2015217120A
Authority
JP
Japan
Prior art keywords
image
observed
tomographic
display
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014102725A
Other languages
English (en)
Other versions
JP6445784B2 (ja
Inventor
岳人 青山
Takehito Aoyama
岳人 青山
全弘 八上
Masahiro Yagami
全弘 八上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2014102725A priority Critical patent/JP6445784B2/ja
Priority to US15/305,913 priority patent/US10558263B2/en
Priority to PCT/JP2015/064392 priority patent/WO2015174548A1/en
Publication of JP2015217120A publication Critical patent/JP2015217120A/ja
Application granted granted Critical
Publication of JP6445784B2 publication Critical patent/JP6445784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/466—Displaying means of special interest adapted to display 3D data
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】読影時における観察済の領域と未観察の領域をより適切に識別することを可能とする。
【解決手段】画像診断支援装置は、３次元医用画像から得られる断層像を表示画面に表示し、表示画面におけるユーザの視線位置を検出する。画像診断支援装置は、検出された視線位置に基づいて、断層像における観察済みの領域を判定し、断層像における観察済みと判定された領域に基づいて、３次元医用画像における観察済みの領域を識別する。
【選択図】図１

Description

本発明は、画像診断支援装置、その処理方法及びプログラムに関する。
医療現場では、Ｘ線ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置などの医用画像撮影装置により、複数の断層像から成る３次元医用画像を撮像している。医師がこれらの医用画像を読影して画像診断する際には、複数の断層像を連続的に切り替えながら表示（スクロール表示）することにより、３次元医用画像全体を観察し、画像中における異常陰影の発見や評価を行っている。また、より正確な画像診断のために、ＭＰＲ（multi-planar reconstruction）と呼ばれる方法を用いることがある。これは、３次元医用画像を任意の方向の断層（以下、断層方向）の画像（以下、断層像）に再構成して表示する方法である。この方法を用いて、複数の断層方向の断層像を作成、表示し、読影に利用している。
ところで、近年、高齢化社会を背景とする患者数の増大と医療の高度化に伴う情報量の増大によって、医用画像の画像数の増大と複雑化が進行している。したがって、読影業務における医師の負担は急速に増加しており、異常陰影の見逃しや評価間違い（以下、読影漏れ）の増大が懸念される。
特許文献１には、読影時におけるシステムの操作記録と読影者の視線情報を時系列に沿って記録する技術が記載されている。この技術によれば、読影対象画像に対する読影者の視線を計測・記録することで、読影者が観察済の領域と未観察の領域を識別し、未観察の領域に対し読影漏れを指摘することができる。
特開２００７−３１９３２７号公報
しかしながら、特許文献１では、システムの操作記録と視線情報により、システムで表示した画像に対して観察済の領域と未観察の領域を識別しているだけに過ぎなかった。たとえば、不適切な表示状態で表示された画像を読影した結果、一部の臓器や異常陰影が明瞭に表示されず、適切に読影できない場合がある。特許文献１では、そのような不適切に表示された画像を観察した場合にも、視線情報から観察済と判定されてしまうことになる。
本発明は上記課題に鑑みてなされたものであり、読影時における観察済の領域と未観察の領域をより適切に識別することが可能な診断支援装置及び診断支援方法を提供することを目的とする。
上記の目的を達成するための本発明の一態様による画像診断支援装置は、
３次元医用画像から得られる断層像を表示画面に表示する表示手段と、
前記表示画面におけるユーザの視線位置を検出する検出手段と、
前記検出手段により検出された視線位置に基づいて、前記断層像における観察済みの領域を判定する判定手段と、
前記判定手段で判定された前記断層像における観察済みの領域に基づいて、前記３次元医用画像における観察済みの領域を識別する識別手段と、を備える
上述の構成によれば、断層像における観察済みの領域に基づいて、３次元医用画像における観察済の領域と未観察の領域をより適切に識別することが可能となる。
第１乃至第７実施形態に係る画像診断装置の構成例を示すブロック図。 第１乃至第３実施形態による全体処理を説明するフローチャート。 第１実施形態に係る画面例を示す図。 第１実施形態に係る識別条件を説明する図。 第２実施形態に係る識別条件を説明する図。 第４乃至第７実施形態による全体処理を説明するフローチャート。 アキシャル断層像、コロナル断層像、サジタル断層像を示した図。 観察領域情報の一例を示した図。 第４実施形態に係る識別条件の説明を示した図。 第４実施形態に係るマーカの重畳表示の例を示した図。 視線情報の拡張を説明する図。 第４実施形態に係る変形例を説明する図。 第５実施形態の処理の一部を説明するフローチャート。 第５実施形態に係る識別条件を説明する図。 第５実施形態に係るマーカの生成条件を説明する図。 第５実施形態に係るマーカの重畳表示の例を示す図。 第６実施形態に係るＧＵＩの例を示した図。 第６実施形態に係るマーカの重畳表示の例を示す図。 第７実施形態に係るマーカの重畳表示の例を示す図。
以下に、図面を参照しながら、本発明の実施形態のいくつかについて説明する。ただし、発明の範囲は以下に例示される実施形態や図示例に限定されるものではない。
［第１実施形態］
第１実施形態に係る画像診断支援装置は、診断対象の症例に係る医用情報（医用画像や電子カルテの情報など）やユーザからの入力情報（ユーザの視線情報やＧＵＩの操作情報など）を取得し、当該症例に係る診断支援を行う。以下では、３次元医用画像の一例として胸部Ｘ線ＣＴ画像を扱う場合を想定し、主に、アキシャル断面（axial断面：水平断面）を用いて読影する場合について説明する。もちろん支援対象はこれに限定されるものではなく、以下に示す実施形態は、何れも画像診断支援装置の処理を説明するための一例に過ぎない。
図１は、実施形態に係わる画像診断支援装置１０を含む画像診断支援システムの全体構成を示す図である。画像診断支援システムは、画像診断支援装置１０とデータベース２２を含んでおり、画像診断支援装置１０とデータベース２２とは通信手段としてのＬＡＮ２１（Local Area Network）を介して互いに通信可能に接続されている。データベース２２は、医用画像などのデータを管理する。画像診断支援装置１０は、データベース２２で管理されている医用画像を、ＬＡＮ２１を介して取得する。画像診断支援装置１０は、その機能的な構成として、通信インタフェース（以下、通信ＩＦ３１）、ＲＯＭ３２、ＲＡＭ３３、記憶部３４、操作部３５、表示部３６、視線検出部３７、制御部３８を具備する。
通信ＩＦ３１は、例えば、ＬＡＮカード等で実現され、ＬＡＮ２１を介した外部装置（例えば、データベース２２）と画像診断支援装置１０との間の通信を司る。ＲＯＭ３２（Read Only Memory）は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。ＲＡＭ３３（Random Access Memory）は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部３４は、例えば、ＨＤＤ（Hard Disk Drive）で実現され、各種情報を記憶する。操作部３５は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置内に入力する。表示部３６は、例えば、ディスプレイ等で実現され、各種情報をユーザ（例えば、医師）に向けて表示する。
視線検出部３７は、例えば、複数の視点から同期撮影可能なビデオカメラやアイトラッカー（視線追尾装置）等で実現される。たとえば、視線検出部３７は、ユーザの顔や目を複数の視点から撮影し、撮影により得られたステレオ画像に対して所定の画像認識処理を施すことにより、ユーザの視線情報を検出する。また、視線検出部３７は、ユーザの顔の向きや両眼それぞれの虹彩の位置や移動方向等を３次元座標上で求めることにより、表示部３６に対するユーザの視線位置を示す視線情報を検出する。この視線情報は、一般には、表示部３６の表示面上のどの部分（ピクセル）を見ているかを示す情報として得られる。
制御部３８は、例えば、ＣＰＵ（Central Processing Unit）等で実現され、画像診断支援装置１０における処理を統括制御する。制御部３８は、その機能的な構成として、画像取得部４１、表示処理部４２、視線取得部４３、条件取得部４４、記録部４５、判定部４６、マーカ生成部４７を具備する。
画像取得部４１は、通信ＩＦ３１とＬＡＮ２１を介してデータベース２２から診断対象の３次元医用画像を取得し、表示処理部４２へと出力する。表示処理部４２は、画像取得部４１で取得した医用画像を表示部３６に表示する。また、表示処理部４２は、後述するマーカ生成部４７により生成されたマーカを、表示部３６において医用画像に重畳表示する。
視線取得部４３は、視線検出部３７で検出された視線情報を取得し、記録部４５へ出力する。条件取得部４４は、表示部３６に出力されている医用画像の表示条件を取得し、記録部４５へ出力する。表示条件とは、医用画像を撮影した装置が用いる画素値の全範囲のうちの表示画面への表示に用いられる範囲を示す情報であり、その詳細については後述する。記録部４５は、視線取得部４３で取得された視線情報と条件取得部４４で取得された表示条件を用いて、視線情報が検出された画面上の位置に対応する医用画像上の位置と、表示条件、および、画面上での濃度（輝度）とを対応づけて、たとえば記憶部３４に記録する。以下では、視線情報（視線位置）に対応するこれらのデータを観察領域情報と称する。観察領域情報は時系列な情報として記録される。観察領域情報についての詳細は後述する。記録された観察領域情報は、マーカ生成部４７へ出力される。
判定部４６は、読影が終了したかどうかを判定し、その判定結果をマーカ生成部４７へ通知する。マーカ生成部４７は、記録部４５が記録した観察領域情報を用いて、画像上に表示するマーカを生成し、表示処理部４２へ出力する。本実施形態では、ユーザにより観察された断層像の領域が適切な表示状態（たとえば表示輝度）で表示されていたかどうかが、観察領域情報に基づいて判断される。なお、制御部３８が具備する各部の少なくとも一部は独立した装置として実現されてもよいし、夫々が機能を実現するソフトウェアとして実現されてもよい。本実施形態では各部は夫々ソフトウェアにより実現されているものとする。
次に、図２のフローチャートを用いて制御部３８が行う本実施形態の全体の処理を説明する。なお、以下の説明では、表示部３６のピクセルをＭＮ座標系、３次元医用画像のボクセルをＸＹＺ座標系で表す。また、以下の説明では、視線検出部３７による視線の検出は予め決められたサンプリングレート（例えば０．１秒）で実行され、視線情報として取得されるものとする。そして、ある時点での視線情報（すなわち、表示部３６のどのピクセルを見ているかの情報）をEt(etm, etn)（t=1, 2, …）とする。etmは表示部３６のＭ座標、etnは表示部３６のＮ座標を示す。ただし、検出された視線の位置が表示部３６の外側だった場合、視線情報はNULLとする。
また、本実施形態では、医用画像の各ボクセルにはＣＴ値（画素値）が符号付き１６ビットで割り当てられている。すなわち、医用画像を撮影した装置がたとえばＣＴ装置であった場合は、その画素値の全範囲は符号付き１６ビットで表されることになり、表示条件はこの全範囲のうちの表示画面への表示に用いられる範囲を示す。本実施形態では、表示条件はウインドウレベル（以下、ＷＬと称する）と、ウインドウ幅（以下、ＷＷと称する）の２つのパラメータを持つものとする。ＷＬとＷＷは、ある特定のＣＴ値範囲（ＷＬ±ＷＷ／２）を表示部３６で表示可能な輝度に変換するために必要なパラメータである。ＷＬは表示させたいＣＴ値範囲の中心値を示し、ＷＷは表示させたいＣＴ値範囲を示す値である（すなわち、ＷＷ＞０）。
一般に表示部３６では符号なし８ビット（２５６階調）のグレースケールを用いて表示されることが多い。この場合、表示条件を用いたＣＴ値の輝度変換（階調変換）は次式で表すことができる。
Figure 2015217120
 ただし、[X]はガウス記号をしめす。０は表示部３６で表示可能な輝度の最小値を示し、２５５は輝度の最大値を示す。
この階調変換により、読影者は読影したい表示条件に応じた階調で医用画像を読影可能である。例えば、肺野を読影したい場合（肺野条件）には、ＷＬ−６００／ＷＷ１５００が、軟部組織を読影したい場合（縦隔条件）にはＷＬ３５／ＷＷ３５０が、骨を読影したい場合（骨条件）にはＷＬ３５０／ＷＷ１５００が表示条件として用いられる。なお、数１にも示した通り、ＣＴ値が所望のＣＴ値範囲外の値を取る場合は、所望のＣＴ値範囲からの距離に関わらず、輝度は常に０または２５５の輝度を取る。例えば、縦隔条件（ＷＬ３５／ＷＷ３５０）の場合には、所望のＣＴ値範囲は−１４０〜２１０となるが、ＣＴ値が−１４１であっても、−１０００であっても、表示輝度は０となる。
また、観察領域情報Otは視線情報Etに対応する３次元医用画像上のボクセルの位置（以下、Posと称し、Otp(otx, oty, otz)とする）と表示条件（Otl, Otw）、表示輝度（Otb）、ＣＴ値（Oth）を含む。なお、視線情報がNULLの場合は、これらの値もNULLとなる。また、表示輝度は表示条件とＣＴ値から求まるので観察領域情報から省略することも可能である。
ステップＳ２００において、画像取得部４１は、通信ＩＦ３１とＬＡＮ２１を介してデータベース２２から医用画像を読み出して表示処理部４２に提供し、表示処理部４２はこの医用画像を表示部３６に表示する。ユーザは表示部３６に表示された医用画像に対して、公知の画像表示システムの機能を用いて読影を開始する。
ステップＳ２０１において視線取得部４３は、視線検出部３７を介して読影中のユーザの視線情報を取得する。例えば、視線情報としてE1(710, 550)が０．１秒毎に取得される。ステップＳ２０２において条件取得部４４は、表示部３６で表示されている医用画像の表示条件を取得する。例えば、表示条件としてＷＬ−６００／ＷＷ１５００が取得される。さらに、ステップＳ２０３において記録部４５は、ステップＳ２０１で取得した視線情報と、ステップＳ２０２で取得した表示条件を用いて、視線情報に対応する観察領域情報Otを記録する。本実施形態では、観察領域情報は時系列に０．１秒毎に取得され、記録される。
例えば、ＷＬ−６００／ＷＷ１５００の表示条件で、表示部３６におけるE1(710,550)の輝度が２５であり、そのピクセルに対応するPosが(100,150,140)で、ＣＴ値が-1200の場合を考える。この場合は、観察領域情報O1として、O1p(100,150,140)とO1w=1500、O1l=-600、O1b=25、O1h=-1200が格納される。なお、視線情報により示されるピクセルに対応するボクセルPosの座標値は、たとえば図３に示すような表示画面上のピクセルの座標値（視線情報）である（M,N）を表示中の医用画像の（X,Y,Z）座標に変換することで得られる。ここで、医用画像の画面３００における断層像を表示するための表示領域３０１の位置が既知であり、表示されている断層像のＺ座標が既知であるため、これらのパラメータから視線情報に対応するボクセルPosの座標値を求めることができる。
ステップＳ２０４において、判定部４６は、操作部３５を介したユーザの入力により、読影が終了したかどうかを判定する。なお、読影が終了したかどうかの判定は、規定のサンプリングレートで行い、終了と判定しなかった場合（すなわち、ユーザからの入力がなかった場合）は、ステップＳ２０１乃至ステップＳ２０３の処理が繰り返される。読影が終了したと判定した場合は、処理はステップＳ２０５へ進む。なお、ユーザからの入力は、例えば、図３に示すような読影終了を指示するボタン３０３をクリックすることにより行われる。
ステップＳ２０５とステップＳ２０６では、マーカ生成部４７と表示処理部４２が、観察済みと判定された領域またはそれ以外の領域を、ユーザが識別可能とするための識別表示を行う。まず、ステップＳ２０５において、マーカ生成部４７は、ステップＳ２０３で取得した観察領域情報を用いて画像上に表示するマーカを生成する。本実施形態では、検出された視線位置における医用画像の表示状態を示す状態情報として表示輝度が取得され、この状態情報に基づいて視線位置に対応する医用画像の領域を観察済みとするか否かが判定される。また、本実施形態では、観察済の領域として識別されなかった部分（すなわち、未観察の領域）にマーカを生成するものとする。また、観察済の領域とは、表示輝度が１〜２５４で一度でも視線が検出されたピクセルの領域とする。すなわち、観察領域情報Ot（t=1, 2, …）において、表示輝度Otbが１〜２５４で少なくとも一度観測された領域（視線情報から得られるボクセル位置Otp）を観察済み領域とする。換言すると、表示輝度が０または２５５の領域は視線が検出されても観察済としない。これは、表示輝度が０または２５５の領域は表示条件で規定されるＣＴ値の範囲外であることしかわからず、ＣＴ値が異なっていたとしてもコントラスト差がないためにＣＴ値の差を認識できないためである。また、マーカは未観察の領域に対応するピクセルを赤色としたレイヤを重畳表示するものとする。
図４の表を用いて、マーカ生成部４７による観察済み領域の判定について具体的に説明する。この例では、O1〜O5が縦隔条件（ＷＬ３５／ＷＷ３５０）で、O8、O9が肺野条件（ＷＬ−６００／ＷＷ１５００）で読影されている。O1（及びO2）は表示輝度（Otb）が１３８であり、１〜２５４の範囲にあるので、マーカ生成部４７は、O1p、O2pで示される（200, 250, 150）を観察済の領域であると識別する。O3〜O5は表示輝度が０であるので、マーカ生成部４７は、視線情報が検出されていてもO3p(200, 230, 150)、O4p(210, 230,150)、O5p(220, 200, 150)を観察済の領域として識別しない。一方、O8（及びO9）はO5と同じPos（とＣＴ値）であるが、表示条件により輝度が１〜２５４の範囲にあるため、マーカ生成部４７は、O8p(220, 200, 150)を観察済の領域であると識別する。このように同じ位置を観察したとしても、表示条件により、観察済と識別される場合とされない場合とがある。
次に、ステップＳ２０６において、表示処理部４２は、ステップＳ２００で取得された医用画像やステップＳ２０５で生成されたマーカを表示部３６に表示する。図３に、本実施形態の一部の装置構成例、並びに、生成されたレイヤを医用画像に重畳表示した画面例を示す。画面３００は表示部３６の画面の一例であり、公知の画像表示システムにより、表示領域３０１には３次元医用画像のアキシャル断層像が表示される。また、条件入力領域３０２と、読影終了を指示するボタン３０３を有する。ユーザは読影中に条件入力領域３０２のＷＬ値とＷＷ値を変更することにより、任意の表示条件で読影することが可能である。３０４はマーカ生成部が作成したマーカであり、観察済の領域と識別されなかった領域（すなわち未観察の領域）を示している。アイトラッカー３１０は視線検出部３７の一例であり、画面３００の下部に配置され、画面３００における視線位置（視線情報）を取得する。
以上のように、第１実施形態に係る画像診断支援装置１０によれば、表示条件の範囲外のＣＴ値を持つがゆえに、輝度が同一となってしまい、適切に読影できないと判断される部分は、視線が検出されたとしても観察済の領域として識別されない。さらに観察済みとして識別されていない領域をマーカを用いて可視化することが出来る。したがって、医師の読影について表示条件による影響が考慮され、質の高い読影漏れ防止技術を提供することができる。
（変形例１−１）
上述の第１実施形態では、表示部３６のどのピクセル（１ピクセル）を見ているかの情報を視線情報としていた。しかし、必ずしも視線情報を１ピクセルとしなくてもよい。例えば人間の視野を考慮し、視線が検出されたピクセルに対して一定の距離にある複数のピクセル（例えば８近傍や４近傍）を視線情報としてもよい。ピクセルの拡張については図１１により詳述する。
（変形例１−２）
上記第１実施形態では、ステップＳ２０５において、マーカ生成部４７が観察済みと判定する条件として、（１）表示輝度が適正（たとえば１〜２４４の範囲）であること、（２）一度でも視線位置が検出された領域（ピクセル）であること、を用いた。しかしながら、判定するための条件はこれに限られるものではない。たとえば、（１）の条件として、１〜２４４以外の他の輝度値範囲（たとえば、５０〜２００など）を用いてもよい。また、（２）の条件に関して、例えば、累積で３秒以上観測された領域を観察済の領域と識別してもよい。たとえばサンプリングレートが０．１秒の場合は、３０回以上視線位置が検出された領域（ピクセル）に相当する。あるいは、視線の滞留時間を考慮し、１秒以上連続で観測された領域を観察済の領域としてもよい。なお、ここで挙げた数値は説明の例として挙げた数値でありこの数値に限定されない。
（変形例１−３）
第１実施形態では、ステップＳ２０５において、マーカ生成部４７は未観察の領域を他の領域から識別可能にするために、対応するピクセルを赤色としたレイヤで重畳表示を行うようなマーカを生成していた。しかしながら、マーカの形態はこれに限られるものではなく、例えば、三角や四角などの図形を重畳表示してもよいし、色を反転させてもよい。なお、図形を重畳表示する場合は、たとえば、表示する図形の重心と未観察の領域の重心を一致させて表示すればよい。もちろん、これらの例に限定されず、他の領域と区別がつくような方法であれば、どのような表示方法を採用してもよい。
［第２実施形態］
第１実施形態では、表示輝度が０または２５５の領域では適切な読影はできないものとして、そのような領域はたとえ視線情報が検出されても観察済と識別しないようにした。しかしながら、適切な読影が出来ないのは、表示輝度が０または２５５の場合だけではない。例えば、正常な肝臓は６０〜７０程度のＣＴ値、脂肪肝は２０〜４０のＣＴ値を取るが、表示条件によっては２０〜７０のＣＴ値がほとんど同じ輝度となってしまう。この場合、肝臓の表示に関して十分なコントラスト差が付かないため、正常な肝臓と脂肪肝を識別するのは難しい。したがって、そのような状態で読影を行ったとしても、適切な読影が難しい。
そこで、第２実施形態に関わる画像診断支援装置では、既定のＣＴ値範囲が当該表示条件において識別できるかを考慮に入れて観察済の領域を識別する。すなわち、第１実施形態では表示条件に基づいて決定される表示画面の表示状態とて表示輝度を用いたが、第２実施形態では、既定のＣＴ値範囲が表示画面において適切なコントラストを持って表示されるかを表示条件に基づいて判別する。なお既定のＣＴ値範囲は、読影における重要性に基づき決められる。たとえば、読影において重要な臓器や組織が取り得るＣＴ値範囲に基づいて既定のＣＴ値範囲が設定されている。したがって、読影する医療画像の撮影部位に応じてＣＴ値範囲を可変としてもよい。なお、第２実施形態に係る画像診断支援装置１０の構成は第１実施形態（図１）と同様である。また、第１実施形態と同様に、制御部３８内の各機能部はソフトウェアにより実現されているものとする。
第２実施形態の画像診断支援装置１０の処理の流れについて図２のフローチャートを用いて、以下、説明する。なお、第１実施形態と第２実施形態では、特に、ステップＳ２０５の処理の一部が異なっている。したがって、ステップＳ２００乃至ステップＳ２０４、Ｓ２０６の処理は、第１の実施形態において説明したとおりである。
ステップＳ２０５において、マーカ生成部４７は、ステップＳ２０３で取得した観察領域情報を用いて画像上に表示するマーカを生成する。第２実施形態においても、観察済の領域であると識別されなかった部分（すなわち、未観察の領域）にマーカを生成するものとする。但し、第２実施形態では、観察済の領域か否かは、既定のＣＴ値範囲と表示条件から決定される。なお、マーカは第１の実施形態と同様に、未観察のボクセルに対応するピクセルを赤としたレイヤの重畳表示により実現するものとする。
第２実施形態においては、医用画像を撮影した撮影装置が用いる画素値の全範囲をあらかじめ複数の部分範囲に分割しておく。そして、視線位置に対応した画素値が属する画素値の部分範囲が表示画面において表示される場合の表示輝度値の範囲の大きさに基づいて、視線位置が観察済みか否かを判定する。たとえば、画素値の全範囲が−２０４８〜２０４７であるＣＴ装置の場合、部分範囲として図５（ａ）に示すようなＣＴ値範囲（Wj、ｊ＝１〜７）を定める。図５（ａ）のRjは、Wjの取りうるＣＴ値の範囲を示す。本実施形態では、マーカ生成部４７は、視線位置に対応した画素値が属する部分範囲と、医用画像を撮影した装置が用いる画素値の全範囲のうちの表示画面への表示に用いられる範囲との比に基づいて、視線位置が観察済みか否かを判定する。より具体的には、マーカ生成部４７は、観察領域情報OtのＣＴ値（Oth）が属するＣＴ値範囲（Wj）の幅がＷＷの１／８以上の場合に、その観察領域情報Otが示すボクセル位置Otpを観察済の領域とする。これは、先述したように、ＷＷよりも読影したい部位や組織が取りうるＣＴ値の範囲が著しく狭いと、表示画面において対象部位や組織におけるコントラスト差がほとんどなくなってしまい、適切な読影ができないためである。なお、第１実施形態と同様に、輝度が０または２５５の場合は観察済の領域から除外する。
ステップＳ２０５の処理を、図５（ｂ）を用いて具体的に説明する。この例では、O1〜O4が肺野条件（ＷＬ−６００／ＷＷ１５００）で、O7〜O9が縦隔条件（ＷＬ３５／ＷＷ３５０）で読影されている。O1〜O3のＣＴ値はそれぞれO1h=70、O2h=90、O3h=55であるので、図５（ａ）よりＷ５に属することがわかる。W5の幅は５０であり、これは、O1〜O3の表示条件のＷＷ１５００の１／８（＝１８７．５）より小さいので、表示輝度に関わらずO1p〜O3pを観察済の領域とは識別しない。O4のＣＴ値（O4h=-650）は、W2に属し、W2の幅９００は、ＷＷ１５００の１／８以上であり、輝度も１〜２５４の範囲にあるので、O4p(200, 215, 250)は観察済の領域と識別する。
一方、O7は表示条件以外O4と同一であるが、表示輝度が０であるので、観察済の領域とは識別しない。ただし、O4により(200, 215, 150)は観察済の領域として識別されているので、全体としては(200, 215, 150)は観察済の領域となる。O8、O9は表示条件以外O3、O2と同一であるが、ＣＴ値が属するW5の幅５０は、表示条件のＷＷ３５０の１／８（＝４３．７５）以上であり、輝度も１〜２５４の範囲となる。したがって、O8p(200, 235, 150)、O9p(200,240, 150)を観察済の領域と識別する。以上のようにして、図５（ｃ）に示されるような観察済の領域が得られる。
以上のように、第２実施形態に係る画像診断支援装置１０によれば、表示条件による特定の部位や組織が取りうるＣＴ値の範囲が階調変換の結果、適切に読影できないと判断できる領域に対しては、視線が検出されたとしても観察済と識別しない。すなわち、マーカ生成部４７は、表示画面上で輝度のコントラスト差が小さくなる読影対象の部分を適切に読影できない領域と判断し、未観察の領域として扱い、その結果を可視化するマーカを生成する。したがって、質の高い読影漏れ防止技術を提供することができる。
（変形例２−１）
上記第２実施形態では、ステップＳ２０５において既定のＣＴ値範囲を用いて、表示条件との関係から観察済の領域の識別を行っていた。しかしながら、ＣＴ値範囲は動的に設定されてもよい。たとえば、表示条件から動的にＣＴ値の範囲を決定してもよいし、ユーザがＣＴ値の範囲を設定できるようにしてもよい。
［第３実施形態］
第１実施形態、第２実施形態では、表示条件と輝度値を基に表示状態が読影に適しているかどうかを判定し、読影に適していないと判定された場合には視線が検出されても観察済と識別しないようにしている。他方、例えば金属のように医師がさほど注意を向ける必要がない領域においても、ＣＴ値が高く輝度が２５５になることが多い。そのため、そのような領域は観察済とは識別されないことになる。第３実施形態に関わる画像診断支援装置１０では、医師が注意を向ける必要のないそのような領域に関しては表示条件に関わらず観察済の領域として識別するようにする。これによれば、たとえば、医師が注意を向ける必要のないような領域が視線情報や表示状態とは無関係に観察済みに分類されるので、医師が無駄な領域へ注意を向けることを不要とすることができる。
なお、第３施形態に係る画像診断支援装置１０の構成は第１実施形態（図１）と同様である。また、第１実施形態と同様に、制御部３８の各機能部はソフトウェアにより実現されるものとする。以下、第３実施形態の処理を、図２のフローチャートを用いて説明する。ただし、ステップＳ２００乃至ステップＳ２０４、ステップＳ２０６の処理は、第１実施形態における処理と同様である。第３実施形態ではステップＳ２０５の処理の一部が第１実施形態とは異なっており、以下、ステップＳ２０５の処理について説明する。
ステップＳ２０５において、マーカ生成部４７は、ステップＳ２０３で取得した観察領域情報を用いて画像上に表示するマーカを生成する。第３実施形態においても観察済の領域と識別されなかった領域（すなわち、未観察の領域）にマーカが生成されるものとする。まず、マーカ生成部４７は医用画像のＣＴ値を基に、既定のＣＴ値範囲以外のＣＴ値を持つボクセルの全てを観察済の領域として識別する。例えば、医師が注意を向ける必要のない、空気部（−１０００）や金属部（４０００）のＣＴ値を用いればよい。したがって、第３実施形態では、ＣＴ値範囲が−１０００〜＋４０００以外のボクセルを全て観察済の領域と識別する。その後、第１実施形態や第２実施形態と同様の処理を行い、観察済の領域と識別されていない部分に対し、観察済かどうかを識別する。
以上のように、第３実施形態に係る画像診断支援装置によれば、金属や空気部のように医師が注意を向ける必要のない領域には、適切な読影には影響しないため、あらかじめ観察済の領域に識別される。換言すれば、視線情報の検出の有無や表示条件に関わらず、適切な読影に影響しない領域を観察済の領域とすることが出来る。したがって、より効率よく質の高い読影もれ防止を提供することができる。
（変形例３−１）
第３実施形態では、ステップＳ２０５において既定のＣＴ値範囲をもとに、視線情報が検出されたかどうかに関わらず、既定のＣＴ値範囲（−１０００〜＋４０００）外の全てのボクセルを観察済の領域と識別していた。しかしながら、視線情報が検出された領域について上記の方法を適用するようにしてもよい。すなわち、マーカ生成部４７は、視線情報が検出されたにも関わらず観察済の領域と識別されなかった領域のボクセルであっても、上記既定のＣＴ値範囲外のＣＴ値を有するボクセルは、観察済の領域と識別する。この方法によれば、既定のＣＴ値範囲外のＣＴ値を有する場合であっても、視線が検出されていない領域は未観察と識別されるため、より質の高い読影漏れ防止技術を提供することができる。
（変形例３−２）
また、第３実施形態では、ステップＳ２０５において、臨床的にはあまり意味のないＣＴ値を基にＣＴ値範囲を既定していた。しかし、ＣＴ値範囲はそのような値に限定されるものではない。例えば、表示条件を基に、表示条件範囲外のＣＴ値を全て観察済の領域と識別するようにしてもよい。また、ユーザが任意のＣＴ値範囲を設定できるようにしてもよい。
（変形例３−３）
第３実施形態では、ステップＳ２０５において、ＣＴ値範囲をもとに医師が注意を向ける必要のない領域を判定し、注意を向ける必要が無いと判定された全ての領域を観察済の領域と識別していたが、ＣＴ値範囲を利用する方法に限定されるものではない。例えば、制御部３８が医用画像を解析して被検者の体表を検出し、体表外の領域を医師が注意を向ける必要のない領域と判断し、その体表外の領域を全て観察済の領域と識別するようにしてもよい。
なお、上記第１〜第３実施形態では、数１に示されるように、表示条件で規定される画素値範囲と表示輝度の対応をリニアに規定しているが、これに限られるものではない。表示条件で規定される画素値範囲を非リニアに表示輝度に対応付けるようにしてもよい。また、表示輝度Otbを表示条件に基づいて取得したが、表示部３６への表示データから直接取得するようにしてもよい。また、観察領域情報として３次元医用画像におけるボクセル位置（Op）を保持したが、観察済みか否かの識別結果を３次元医用画像に拡張することが不要であれば断層像におけるピクセル位置を保持するようにしてもよい。なお、断層像において観察済みのピクセル位置に対応する３次元医用画像のボクセル位置を観察済みとする画像診断支援装置については、以下の第４実施形態以降で詳細に説明する。
［第４実施形態］
第１乃至第３実施形態では、単一の断層方向の断層像を読影する例を示した。しかしながら、３次元医用画像の読影においては、異なる断層方向に沿って生成された複数の断層像を用いて読影することも頻繁に行われる。特許文献１に記載されているような一般的な画像診断支援装置では、ある断層方向の断層像上で検出された視線情報を、他の断層方向の断層像上の位置と関連付ける思想が無い。その結果、ある断層方向の断層像において観察済の領域と識別された領域であっても、他の断層方向の断層像においては未観察の領域と識別されてしまう。加えて、特定の領域は複数の断層方向から観察すべきという読影医のニーズがあるが、特許文献１では複数の断層方向において同じ領域を観察したかどうかを考慮していないため、適切に観察したか識別できない。
そこで、第４実施形態以降では、３次元医用画像から生成された断層像において観察済みのピクセルを視線位置（Et）に基づいて検出し、観察済みとなったピクセルをその３次元医用画像のボクセル（Op）に拡張する。これにより、３次元医用画像から得られる断層像上で得られた視線情報を活用し、効率よく読影漏れの防止を図る。
第４実施形態に係る画像診断支援装置１０では、診断対象の症例に係る医用情報（医用画像や電子カルテの情報など）やユーザからの入力情報（ユーザの視線情報やＧＵＩの操作情報など）を取得し、当該症例に係る診断支援を行う。以下では、３次元医用画像の一例として胸部Ｘ線ＣＴ画像の複数の断層方向の断層像を扱う例を用いて説明する。より具体的には、
・体の上下（頭尾）に平行な体軸方向に直交する横断面の断層像（以下、アキシャル断層像（axial））、
・体の前後（腹背）に平行な冠状方向に直交する冠状面の断層像（以下、コロナル断層像（coronal））、
・体の左右に平行な矢状方向に直交する矢状面の断層像（以下、サジタル断層像（sagittal））、を用いる。もちろん支援対象はこれに限定されるものではなく、以下に示す実施形態は、何れも画像診断支援装置１０の処理を説明するための一例に過ぎない。
第４実施形態では、どの断層像で観察したかに関わらず、ある領域を観察した場合はその領域を３次元医用画像全体で観察したものと識別する。例えば、アキシャル断層像である領域を観察した場合に、コロナル断層像やサジタル断層像で対応する領域を観察していなくても、３次元医用画像としてはその領域を観察済みと識別する。
第四実施形態による画像診断支援装置１０の構成、制御部３８の機能構成は、第１実施形態（図１）と同様である。但し、制御部３８において、条件取得部４４は省略可能である。記録部４５は、視線取得部４３で取得された視線情報を用いて、視線情報に対応するデータを観察領域情報として取得する。この情報は時系列な情報として記録される。マーカ生成部４７は、識別条件と生成条件に基づき、記録部４５で時系列な情報として記録した観察領域情報を用いて、画像上に表示するマーカを生成し、表示処理部４２へ出力する。なお、識別条件は、観察済の領域であるか、未観察の領域であるかを識別する条件を示し、生成条件はマーカを生成するための条件のことを示し、これらの詳細は後述する。
次に、図６のフローチャートを用いて制御部３８が行う第４実施形態の処理を説明する。なお、以下の説明において、表示部３６のピクセルの位置をＭＮ座標系、３次元医用画像のボクセルの位置をＸＹＺ座標系で表し、表示部３６の１ピクセルの位置を(m, n)、３次元医用画像の１ボクセルの位置を（x, y, z）の座標形式で表す。なお、m, n, x, y, zは１ピクセルまたは１ボクセルの位置を表すので整数値を取るものとする。また、上述した各実施形態と同様に、３次元医用画像の各ボクセルにはＣＴ値が符号付き１６ビットで格納されており、ボクセルに格納されているＣＴ値が輝度（表示輝度）に変換されて表示部３６に表示される。
図７は、３次元医用画像を、アキシャル断層像、コロナル断層像、サジタル断層像でそれぞれ示した例である。各断層像は、３次元医用画像７００に対して図７に示されるようなＸＹＺ座標系を取った場合に、互いに直行する平面で示される。一般に、アキシャル断層像７０１はあるＺ座標でのＸＹ平面、コロナル断層像７０２はあるＹ座標でのＸＺ平面、サジタル断層像７０３はあるＸ座標でのＹＺ平面で示される。したがって、任意の断層像で位置を指定すると、３次元医用画像７００での位置が定まる。例えば、断層像上の１ピクセルが１ボクセルに対応している場合、Ｚ座標がzのアキシャル断層像７０１において、ある１点を注目点７０４として指定すると、Ｘ座標、Ｙ座標が決まるため、ボクセル（x, y, z）が一意に定まる。そのため、図７のように、Ｙ座標がyのコロナル断層像７０２、Ｘ座標がxのサジタル断層像７０３でも注目点７０４を表示することができる。以下では、断層像の１ピクセルが３次元医用画像の１ボクセルに対応している場合の例を用いて説明する。
なお、第１〜第３実施形態と同様に、視線検出部３７による視線情報の検出は、予め決められたサンプリングレート（例えば０．１秒）で取得され、ある時点ｔでの視線情報をEt(etm, etn)（t = 1, 2, …）とする。etmは表示部３６のＭ座標、etnは表示部３６のＮ座標を示す。ただし、視線が検出された位置が表示部３６の外側だった場合、NULLとする。
図８は、表示部３６の画面８００の表示形態と、画面８００の左上を原点とした場合のＭ座標、Ｎ座標を用いた視線情報との関係を表す。また、Etにおける観察領域情報をOtで表す。「Otは視線情報の示す表示部３６の領域（ピクセル）が何を表示しているかという情報（表示内容Disp）」と、「３次元医用画像のどの領域（ボクセル）を表示しているかという情報（位置情報Pos）」を持つものとする。以下では、時刻tの観察領域情報Otに対応する表示内容DispをOtd、位置情報PosをOtpでそれぞれ表す。Otdには、表示内容として断層像の種別、すなわちアキシャル、コロナル、サジタル、otherのいずれかが入るものとする。Otpはボクセルの位置を（x, y, z）の座標型式で表すが、Otdがotherである場合や、対応する３次元医用画像のボクセルが無い場合（データ外の領域など）にはNULLとする。
ステップＳ６００において画像診断支援装置１０の画像取得部４１は、通信ＩＦ３１とＬＡＮ２１を介してデータベース２２から医用画像を読み出し、表示処理部４２に提供する。表示処理部４２は、医用画像を表示部３６に表示する。ユーザは表示部３６に表示された医用画像に対して、公知の画像表示システムの機能を用いて読影を開始する。ステップＳ６０１において視線取得部４３は、視線検出部３７を介して読影中のユーザの視線情報を取得する。例えば、E1(370, 290)が取得されたとする。次に、ステップＳ６０２において記録部４５は、ステップＳ６０１で取得した視線情報を用いて視線情報に対応する観察領域情報を、たとえば記憶部３４に記録する。
観察領域情報は、ある時点（t = 1）における表示部３６の視線位置のピクセル（Pixとする）が何を表示しているかという情報（表示内容Disp）と、３次元医用画像のどのボクセルを表示しているか（位置情報Pos）を示したものである。図８の例では、Ｍ座標をm、Ｎ座標をnとして、３０＜m＜６００かつ３０＜n＜６００の場合に、表示内容Dispはアキシャルとなる。また、３０＜m＜６００かつ６００＜n＜１１７０の場合に表示内容Dispはコロナルとなり、６００＜m＜１１７０かつ６００＜n＜１１７０の場合に表示内容Dispはサジタルとなる。それ以外の座標値では、表示内容Dispはotherとなる。
さらに、図８は視線情報E1と、それに対応する観察領域情報O1の例を示している。この例では、視線情報E1(370,290)が示すピクセルには、表示内容Dispとしてアキシャル（axial）が、位置情報Posとして（100, 150, 140）がそれぞれ対応づけられている。したがって、図８の例では、視線情報E1に対する観察領域情報O1として、O1d：axialと、O1p：(100, 150, 140)が取得される。
ステップＳ６０３において、判定部４６は、操作部３５を介したユーザの入力により、読影が終了したかどうかを判定する。なお、読影が終了したかどうかの判定は、規定のサンプリングレート毎に行い、終了と判定しなかった場合（すなわち、ユーザから終了を指示する入力がなかった場合）は、ステップＳ６０１およびステップＳ６０２の処理が繰り返される。読影が終了したと判定した場合、処理はステップＳ６０４へ進む。なお、ユーザからの入力は、例えば、読影終了を指示するボタン３０３をクリックすることにより行われる。
ステップＳ６０４とステップＳ６０５では、マーカ生成部４７と表示処理部４２が、３次元医用画像において観察済みであると識別された領域またはそれ以外の領域を、ユーザが識別可能とするための識別表示を行う。ステップＳ６０４において、マーカ生成部４７は、識別条件と生成条件に基づき、ステップＳ６０２で取得した観察領域情報を用いて画像上に表示するマーカを生成する。識別条件とは、断層像で観察済みと判定された領域を３次元医用画像において観察済みの領域とするかを判定するための条件である。また、生成条件とは、観察済みの領域をユーザが識別可能に表示するか、未観察の領域をユーザが識別可能に表示するかを指定する。本実施形態では、識別条件を「観察領域情報Otにおいて、Otdに関わらず、１回以上出現したOtpを観察済みのボクセルと識別する」とする。すなわち、どの断層方向の断層像であるかに関わらず、観察領域情報において一度でも出現したボクセルは観察済の領域と識別され、それ以外のボクセルは未観察の領域と識別される。また、マーカの生成条件を「未観察の領域と識別されたボクセルを対象とする」とする。さらにマーカは、該当するボクセルに対し、各断層像で対応する部分のピクセルを赤色としたレイヤで重畳表示するものとする。
簡単のために、図９を用いて３次元医用画像が２×２×２の８ボクセルからなる場合について説明する。いま、図９（ｄ）に示すような観察領域情報O1〜O20が得られたものとする。この場合、アキシャル断層像で一度以上観測されたボクセルは（1, 2, 1）（1, 2, 2）（2, 1, 1）（2, 2, 1）（2, 2, 2）の５ボクセルである。同様に、コロナル断層像では（1, 2, 2）（2, 1, 1）（2, 2, 2）の３ボクセル、サジタル断層像では（1, 1, 2）（2, 1, 1）（2, 1, 2）（2, 2, 2）の４ボクセルである。図９（ａ）では、各断層像で１度以上観察されたボクセルをグレーで示している。これらのボクセルの論理和を取ると、観察済の領域を識別することができる。図９の例では、（1, 1, 2）（1, 2, 1）（1, 2, 2）（2, 1, 1）（2, 1, 2）（2, 2, 1）（2, 2, 2）の７つのボクセルが観察済の領域と識別され、（1, 1, 1）のボクセルが未観察の領域と識別される（図９（ｂ））。したがって、マーカ生成部４７は、図９（ｃ）に示すように、未観察の領域と識別したボクセルのアキシャル断層像、コロナル断層像、サジタル断層像に対応する部分を赤色としたレイヤ（マーカ）を生成する。
ステップＳ６０５において、表示処理部４２は、ステップＳ６００で取得した医用画像やステップＳ６０４で生成したマーカを表示部３６に表示する。なお、マーカ生成部４７において生成されるマーカは、変形例１−３で説明したように、種々の変形が可能である。
図１０に、生成したレイヤ（マーカ）を医用画像に重畳表示した画面例を示す。表示部３６の画面８００には、公知の画像表示システムにより、３次元医用画像７００（図７）のアキシャル断層像７０１、コロナル断層像７０２、サジタル断層像７０３が画像表示領域８０１にそれぞれ表示される。マーカ生成部４７で生成されたレイヤ（マーカ）１００１は、アキシャル断層像７０１、コロナル断層像７０２、サジタル断層像７０３のそれぞれに重畳表示される。
以上のように、第４実施形態に係る画像診断支援装置１０によれば、ある領域をどの断層像で観察したかに関わらず、３次元医用画像において観察済の領域として識別し、それを基に情報を可視化して表示することが出来る。すなわち、ある断層像で既に観察した領域を、その他の断層像で未観察の領域とされることがないため、効率よく読影漏れ防止を図ることができる。なお、各断層像における観察済み領域の判定において、上記第１〜第３実施形態において説明したような表示条件を加味した判定を用いてもよいことは明らかである。
（変形例４−１）
第４実施形態では、ステップＳ６０２において、観察領域情報Otにおける位置情報Otpは、視線情報Etにより示されるピクセルが対応する３次元医用画像のボクセルを示していた。すなわち、視線情報に対応する１つのボクセルをOtpとしたが、必ずしもピクセルと１対１に対応するボクセルのみである必要は無い。例えば人間の視野を考慮し、視線情報Etが検出された断層像において、Etの示すピクセルから所定の距離以内にあるピクセルに対応する複数のボクセルをOtpとしてもよい。
図１１は視線情報Etに対応するボクセルを（x, y, z）とし、所定の距離Ｄ＝１とした場合の観察済みとなる複数のボクセルの位置Otpの例を示す。まず、アキシャル断層像の場合を考える。アキシャル断層像はＸＹ平面で示されるので、平面内ではＺは同一である。視野を考慮し、平面内（アキシャル断層像）で注視点（視線情報Et）から距離Ｄ以内にあるピクセル（たとえば注視点の上下左右に隣接する４つのピクセル）を取得した場合、それらのピクセルに対応するボクセルのＺの値は同一となる。同様に、コロナル断層像はＸＺ平面で示されるので対応するボクセルのＹの値が同一となり、サジタル断層像はＹＺ平面で示されるので対応するボクセルのＸの値が同一となる。したがって、視線情報Etに対応するボクセルが同一（たとえば、（x, y, z））であっても、アキシャル断層像、コロナル断層像、サジタル断層像で取得される観察済みの複数のボクセルの位置Otpは異なる。図１１の例では、視線情報Etがアキシャル断層像で検出された場合には（x, y, z）とその周囲の（x-1, y, z）（x+1, y, z）（x, y-1, z）（x, y+1, z）の５つのボクセルがOtpとして取得される。同様に、コロナル断層像で視線情報Etが検出された場合には（x, y, z）（x-1, y, z）（x+1,y, z）（x, y, z-1）（x, y, z+1）の５つのボクセルが取得される。さらに、サジタル断層像で視線情報Etが検出された場合には（x, y, z）（x, y-1, z）（x, y+1, z）（x, y, z-1）（x, y, z+1）の５ボクセルがそれぞれ取得される。
なお、上記のような観察済みのボクセル位置を拡張する処理を実行するタイミングは、ステップＳ６０２に限られるものではない。たとえば、ステップＳ６０２においては視線情報のみを取得しておき、ステップＳ６０４において観察領域情報のボクセル位置Otpを表示内容（Otd）を参照して拡張するようにしてもよいし、他のタイミングで拡張するようにしてもよい。ステップＳ６０４でボクセル位置を拡張する例については、第５実施形態においてより詳しく説明する。
（変形例４−２）
第４実施形態では、ステップＳ６０４において、識別条件を「観察領域情報Otにおいて、Otdに関わらず、１回以上出現したOtpを観察済みのボクセルと識別する」とした。しかし、識別条件はこれに限られるものではない。例えば、読影時の医師の注目時間を考慮し、断層像において視線位置が検出された累積時間または累積回数が第１の閾値を超えた領域を、３次元医用画像における観察済みの領域と識別するようにしてもよい。この場合、たとえば、断層像で観測された累積時間が第１の閾値以上である領域を、３次元医用画像における観察済の領域と識別してもよい。たとえば、第１の閾値を３秒とした場合、サンプリングレートが０．１秒であれば、観察領域情報において３０回以上出現したOtpの領域が観察済みと判定されることになる。
あるいは、視線の滞留時間を考慮し、断層像において視線位置が連続して検出された時間が第２の閾値を超えた領域を、３次元医用画像における観察済みの領域と識別するようにしてもよい。たとえば、第２の閾値を１秒とすれば、各断層像において１秒以上連続で観測された領域をその断層像における観察済の領域（ピクセル）とし、これを３次元医用画像における観察済みの領域（ボクセル）と識別するようにする。なお、ここで挙げた数値は説明の例として挙げた数値であり、この数値に限定されないことは言うまでもない。また、所定時間以上連続で観測された回数が所定回数以上であることを観察済みとするための識別条件としてもよい。
上記第２の閾値を用いた識別条件の例（１秒以上連続で観測された領域を観察済みの領域として識別する）を、図１２を用いて具体的に説明する。図１２（ａ）は、サンプリングレートが０．１秒で取得された観察領域情報である。この例では、観察領域情報O2〜O13において、アキシャル断層像で（2, 2, 1）が連続で観測されている。これは、１．２秒の連続した観察に相当するので、アキシャル断層像で（2, 2, 1）が観察済であると識別される。一方、観察領域情報O202〜O205においてはコロナル断層像で、O206〜O213ではサジタル断層像でボクセル位置（1,1, 1）に対応するピクセルが連続で観測されている。この場合は、（1, 1, 1）自体は１．２秒連続で観測されているものの、コロナル断層像で０．４秒、サジタル断層像では０．８秒の観測である。したがって、各断層像では１秒以上連続で観測されておらず、ボクセル位置（1, 1, 1）はどちらの断層像でも観察済の領域とは識別されない。これらを踏まえて、各断層像で観察済の領域と識別したのが図１２（ｂ）であり、この表を基に、３次元医用画像において観察済の領域と識別したのが図１２（ｃ）となる。
［第５実施形態］
第４実施形態では、全ての断層方向のうちのいずれかの断層像において観察済みと識別された領域は、３次元医用画像全体で観察済みの領域として識別した。第５実施形態では、全ての断層方向のうちの複数の断層方向の断層像で同一の領域が観察済みとなった場合に、その領域を３次元医用画像全体で観察済みの領域と識別する。第５実施形態によれば、例えば、アキシャル断層像とコロナル断層像で同一の領域が観察された場合に、３次元医用画像における観察済みの領域として識別する。他方、アキシャル断層像のみやコロナル断層像のみで観察された領域は、３次元医用画像における観察済みの領域として識別されない。なお、第５実施形態に係る画像診断支援装置１０の構成は第４実施形態と同様である。また、第４実施形態と同様に、制御部３８の各機能部はソフトウェアにより実現されているものとする。以下、第５実施形態の処理について図６のフローチャートを用いて説明する。
ステップＳ６００乃至ステップＳ６０３、ステップＳ６０５の処理は、第４実施形態における処理と同様である。ステップＳ６０４において、マーカ生成部４７は、識別条件と生成条件に基づき、ステップＳ６０２で取得した観察領域情報を用いて画像上に表示するマーカを生成する。本実施形態では、識別条件を「個々の断層像で観察済と判定された領域であって、複数の断層像にわたって観測済みとなっている領域を３次元医用画像における観察済の領域と識別する」とする。また、生成条件を「観察済の領域と識別されたボクセルを対象とする」とする。さらに、マーカは、各断層像で観察済みの領域に対応する部分のピクセルを緑色としたレイヤを断層像に重畳表示するものとする。
第５実施形態のステップＳ６０４の詳細な処理を、図１３のフローチャートを用いて説明する。ステップＳ１３００において、マーカ生成部４７は、観察領域情報Otを拡張する。具体的には、視野を考慮し、Otdの示す断層像の平面内において、Otpを中心とした距離１以内のピクセルが示すボクセルをOtp’とする。ステップＳ１３０１において、マーカ生成部４７は、ステップＳ１３００で拡張した観察領域情報をもとに、各断層像での観察済の領域（ピクセル）を判定する。本実施形態では、同一の断層像（同一のOtd）において１秒以上連続で観測された領域をその断層像での観察済の領域（ピクセル）として判定する。
図１４を用いて具体例を説明する。図１４は拡張された観察領域情報と、アキシャル断層像での観察済の領域を判定した例である。例えばO1では、視野を考慮し、O1p(2, 3, 1)がO'1p｛(2, 3, 1)(2, 2, 1)(1, 3, 1)(3, 3, 1)(2,4, 1)｝に拡張される。他の観察領域情報も図１４に示した表のように拡張される。ここで、サンプリングレートが０．１秒の場合、１０回以上連続で観測された領域が１秒以上連続で観測された領域となる。図１０に示した例だと、O1からO11にかけて(3, 3, 1）が連続で観測されているので、アキシャル断層上において(3, 3, 1)を観測済の領域と判定する。この例のように視野を考慮すると、一度もOtp（すなわち、視野の中心）となっていないピクセル（ボクセル）でも、O'tpにより観察済の領域と判定されることがある。
ステップＳ１３０２において、マーカ生成部４７は、ステップＳ１３０１で判定した各断層像での観察済の領域をもとに３次元医用画像において観察済みとする領域を識別し、その識別結果にしたがってレイヤ（マーカ）を生成する。本実施形態では、アキシャル断層像、コロナル断層像、サジタル断層像のうち、２つ以上の断層像で観察済と判定された領域を、３次元医用画像における観察済みの領域と識別する。図１５に示す表は、あるボクセルが各断層像で観察済と判定されたかどうかにより、レイヤを生成するかどうかを示したものである。この表に従い、レイヤを生成する場合は、マーカ生成部４７は、そのボクセルに対応する各断層像のピクセルを緑色としたレイヤを生成する。
図１６に、第５実施形態によるマーカ生成部４７が生成したマーカが重畳表示された画面例を示す。複数の断層像で観察済みと識別されている領域に緑色マーカが付され、どの断層像でも観察済と識別されていないか、ひとつの断層像のみで観察済と識別された領域には緑色マーカのない表示となる。図１６において、マーカ１６０１は緑色マーカを示しており、観察済みの領域であることを示している。断層像には緑色マーカの存在しない領域１６０２、１６０３が存在している。未観察の領域１６０２は、表示中のアキシャル、コロナル、サジタル断層像のすべてにおいて現れている。なお、未観察の領域１６０３は、各断層像の切り出し位置の関係から、コロナル断層像７０２（ＸＺ平面）にのみ現われている。
以上のように、第５実施形態に係る画像診断支援装置１０によれば、複数の断層像で観察済みとなった同一の領域を、３次元医用画像における観察済の領域として識別し、それを基に情報を可視化して表示することができる。すなわち、複数の断層像で見るべき領域を、個別の断層で観察したのみで観察済であると識別されることがないため、質の高い読影漏れ防止機能を効率よく提供することができる。
なお、第５実施形態では複数の断層像のうちの少なくとも２つの断層像で観察済みとなった領域を３次元医用画像における観察済みの領域とする識別条件を説明した。ここで、識別条件における断層像の組合せについては制限されていないが、断層像の組み合わせを制限するようにしてもよい。たとえば、アキシャル断層像とサジタル断層像の両方で観察済みとなった領域を３次元医用画像における観察済みの領域とするようにし、他の断層像の組合せを用いないようにしてもよい。或いは断層像の組合せとして、アキシャル断層像とサジタルまたはコロナル断層像というように、特定の断層像を含む組み合わせに識別条件を制限してもよい。
（変形例５−１）
本実施形態では、ステップＳ６０５において、識別条件を「個々の断層像で観察済と判定された領域であって、複数の断層像にわたって観測済みとなっている領域を３次元医用画像における観察済の領域と識別する」としていたがこれに限られるものではない。たとえば、複数の断層像による観測結果を用いるのではなく、同じ断層像において複数回観察済みとなった領域を、３次元医用画像における観察済みの領域として識別するようにしてもよい。その場合、識別条件は、「個々の断層像で観察済みと判定された領域であって、個々の断層像で複数回観察された領域を、３次元医用画像における観察済の領域と識別する」となる。たとえば、アキシャル断層像において連続１秒以上の視線位置の検出が２度以上行われた領域が、３次元医用画像における観察済の領域として識別される。
あるいは、個々の断層像で観測済の領域を判定する場合に、断層像ごとに判定条件が異なっていてもよい。たとえば、一般にはアキシャル断層像を用いて読影することを考慮し、アキシャル断層像では連続１秒以上、コロナル断層像、サジタル断層像では連続０．５秒以上視線位置が検出された領域を、それぞれの断層像における観測済の領域と判定してもよい。
また、１つの断層像における領域によって識別条件が可変であってもよい。例えば、制御部３８が医用画像を解析して、異常陰影が映った領域を抽出し、抽出された領域か否かで識別条件を変更する。たとえば、抽出された領域については複数の断層像で観察済みとなった場合に３次元医用画像における観察済の領域と識別し、それ以外の領域ではいずれかの断層像で観察済みとなった場合に３次元医用画像における観察済の領域と識別する。あるいは、制御部３８が医用画像を解析して、臓器や構造に基づいて断層像を領域分割し、分割された領域に応じて識別条件を変更する。たとえば、分割された領域のうち肺実質領域は複数の断層像で観察済みとなった場合に３次元医用画像における観察済の領域と識別し、その他の領域はいずれかの断層像で観察済みとなった場合に３次元医用画像における観察済の領域と識別する。なお、ここで挙げた例はあくまで一例であり、この例に限定されない。
［第６実施形態］
第４実施形態、第５実施形態では、既定の識別条件と生成条件に基づいてマーカを生成して画像に重畳表示していた。第６実施形態に関わる画像診断支援装置では、ユーザが指定した識別条件や生成条件に基づいて、複数種類の識別結果を生成し、これら識別結果を複数のマーカを用いて同時に重畳表示する。なお、本施形態に係る画像診断支援装置１０の構成は第４実施形態と同様である。また、第４実施形態と同様に、各部はソフトウェアにより実現されているものとする。以下、図６のフローチャートを参照して、第６実施形態による画像診断支援装置１０の処理を説明する。
ステップＳ６００乃至ステップＳ６０２の処理は第４実施形態と同様である。ステップＳ６０３において、判定部４６は、操作部３５を介したユーザの入力により、読影が終了したかどうかを判定する。なお、この時にユーザによる識別条件と生成条件の指定がなかった場合は、終了とは判定しないものとする。この、読影が終了したかどうかの判定は、規定のサンプリングレート毎に行い、終了と判定しなかった場合は、ステップＳ６０１、ステップＳ６０２の処理を繰り返す。読影が終了したと判定した場合は、処理はステップＳ６０４へ進む。
ユーザによる識別条件と生成条件の指定、および、読影終了の判定は図１７に示すようなＧＵＩを用いて行われる。本実施形態のＧＵＩでは、３次元医用画像において観察済みとなる領域を識別するために、どの断層像の組合せを用いるかを指定する指示領域１７００が設けられている。指示領域１７００では、アキシャル断層像、コロナル断層像、サジタル断層像から形成される８つの組み合わせの各々について、観察済みの判定対象とするかしないか、およびマーカの生成条件を指定できるものとする。指示領域１７００では、前述の８つの組合せに対し、「マーカなし」、「観察済の領域にマーカ」、「未観察の領域にマーカ」の３値のチェックボックスを設けて、識別条件とマーカの生成条件を指定するようにしている。
例えば、項目１７０１では、「コロナル断層像とサジタル断層像」に「観察済」のチェックが入っている。この場合、コロナル断層像とサジタル断層像の両方で観察済みとなった領域を３次元医用画像における観察済の領域と識別し、観察済みと識別した領域に対してマーカを生成することが指示される。また、項目１７０２では、「アキシャル断層像」に「未観察」のチェックが入っている。この場合は、アキシャル断層像において観察済の領域を判別し、未観察と判別された領域（すなわち、アキシャル断層像において観察済と判別された領域以外の領域）に対してマーカを生成することが指示される。項目１７０３では、「アキシャル断層像とコロナル断層像」に「観察済」のチェックが入っている。処理の内容は、項目１７０１のサジタル断層像をアキシャル断層像に置き換えたものとなる。指示領域１７００では、図１７に示されるように、複数の条件を同時に指定することができる。
読影終了のボタン３０３がクリックされると、判定部４６による読影の終了判定が行われ、指示領域１７００で指定された条件に従ってマーカの重畳表示が実行される。なお、すべての条件にチェックが入っていない場合（すなわち、マーカなしの場合）は、読影終了のボタン３０３がクリックされても読影を終了したとは判定しないものとする。
ステップＳ６０４において、マーカ生成部４７は、指示領域１７００で指定された識別条件と生成条件に基づき、ステップＳ６０２で取得した観察領域情報を用いて画像上に表示するマーカを生成する。本実施形態では、指示領域１７００で指定された各識別条件と生成条件に対し異なる色のレイヤが割り当てられて重畳表示される。そして、条件を満たしたボクセルに対応する各断層像のピクセルに、条件に割り当てられた色のレイヤで重畳表示するものとする。
なお、同時に複数の条件を満たす場合は、それぞれの条件に割り当てられたレイヤを同時に重畳表示するものとする。例えば、「コロナル断層像とサジタル断層像」の「観察済」の領域と、「アキシャル断層像」の「未観察」の領域という２条件が指定されている場合を考える。この場合は、アキシャル断層像では未観察であるが、コロナル断層像とサジタル断層像では観察済の領域に対しては、２つの色のレイヤが重畳表示され、結果としてこれら２つの色を混ぜた色のマーカが表示されることとなる。
ステップＳ６０５において、表示処理部４２は、ステップＳ６００で取得した医用情報やステップＳ６０４で生成したマーカを表示部３６に表示する。図１８に、本実施形態による識別条件および生成条件の指定とマーカの重畳表示を行った画面例を示す。この例では、図１７で示した設定（項目１７０１〜１７０３）にしたがったマーカの生成、表示例が示されている。第６実施形態の表示処理部４２は、指示領域１７００における各指定に応じて観察済みと識別された領域またはそれ以外の領域（未観察の領域）を識別可能に表示する。この表示において、表示処理部４２は、指定された断層像または断層像の組合せごとに、および、観察済みの領域か未観察の領域かに応じて異なる態様の表示を行う。図１８の表示例では、「アキシャル断層像」の「未観察」に対応する領域を赤色のレイヤ１８０２で、「アキシャル断層像とコロナル断層像」の「観察済」に対応する領域を青色のレイヤ１８０３で重畳表示している。さらに、「コロナル断層像とサジタル断層像」の「観察済」に対応する領域を緑色のレイヤ１８０４で重畳表示している。
ユーザは、例えばレイヤ１８０２と、レイヤ１８０４が重なっている領域を見て、「アキシャル断層像では未観察だが、コロナル断層像とサジタル断層像では観察済である」と、容易に把握することが出来る。換言すると、指示領域１７００で指定した複数の条件のＡＮＤ条件やＯＲ条件を画面上で容易に把握することができる。
以上のように、第６実施形態に係る画像診断支援装置によれば、ユーザが識別条件ならびに生成条件の指定が可能である。さらに、同時に複数の条件を指定して、同時に重畳表示が可能である。そのため、ユーザ自身が認識したい条件を指定できる上に、異なる条件のマーカを同時に提示できるために、読影状況を容易に把握できる。そのため、効率よく読影漏れの防止を図ることができる。
（変形例６−１）
本実施形態では、指示領域１７００において、チェックボックスを用いて複数の条件を指定できるようにしていたが、その他の方法であってもよい。例えば、自然言語で条件を入力し、不図示の解析装置を用いて自然言語処理を行い、条件を抽出してもよい。また、ラジオボタンを用いて、条件を一つだけ指定できるようにしてもよい。あるいはコンボボックスを用意して、コンボボックスから任意個の条件を選択できるようにしてもよい。あるいは、各断層像の名称（アキシャル、コロナル、サジタルなど）と一般的な論理演算式（AND、OR、NAND、NOR、NOTなど）を用いて条件を指定できるようにしてもよい。もちろん、ここで挙げた例に限定されない。
（変形例６−２）
本実施形態では、ステップＳ６０５において、全ての識別条件と生成条件に対して異なる色のレイヤがあらかじめ割り当てられていた。しかし、その他の方法であってもよい。例えば、条件に対するマーカの色や形状をユーザが任意に設定できてもよい。その場合は、ユーザが条件ごとにマーカを生成する機能を別途設けてもよい。
（変形例６−３）
ユーザがいずれかの識別条件において「未観察」の領域に対しマーカを生成する生成条件を選択し、その生成条件でマーカが生成された場合には警告を促すようにしてもよい。すなわち、設定された識別条件において未観察と識別された領域が存在する場合に警告が発生されるようにしてもよい。警告表示はメッセージボックスのようなＧＵＩで出してもよいし、ビープ音を発するようにしてもよい。警告を促すタイミングは、マーカが生成されるタイミングでもよいし、読影を終了するタイミングでもよい。あるいは「未観察」の領域が無くなるまで読影を終了できないような仕組みを設けてもよい。なお、既定の識別条件に対して前述の方法を適用してもよい。
［第７実施形態］
第４実施形態乃至第６実施形態では、３次元医用画像の互いに直行する複数の断層方向の断層像を表示して読影する場合を例にして説明してきた。しかし、本発明はこのような形態に限られるものではなく、同一の３次元医用画像から構築された複数の画像であれば、断層方向以外の違いであっても適用可能である。第７実施形態では、表示条件の異なる２つのアキシャル断層像を用いて読影を行う例を示す。第７実施形態で示す表示条件は、断層像の種類（断層方向）を示すものではなく、ウインドウレベル（ＷＬ）とウインドウ幅（ＷＷ）を指すものとなる。もちろん表示条件はこれに限定されるものではない。
第７実施形態に係る画像診断支援装置１０の構成は第４実施形態と同様である。また、第４実施形態と同様に、各部はソフトウェアにより実現されているものとする。以下、第７実施形態の処理について図６のフローチャートを用いて説明する。ただし、上述のように観察領域情報に含まれる表示内容（Disp）は、どのアキシャル、コロナル、サジタル断層像のいずれに相当するかという情報ではなく、どの表示条件で表示されているかを示す情報となる。以下では、肺野条件（ＷＬ：−６００／ＷＷ：１５００）と縦隔条件（ＷＬ：３５／ＷＷ：３５０）の二つの表示条件を扱うものとする。また、識別条件として、「どちらか一方の表示条件の断層像で観察済みとなった領域を、３次元医用画像における観察済みの領域と識別する」ものとする。
ステップＳ６００およびステップＳ６０１の処理は第４実施形態と同様である。ステップＳ６０２において、記録部４５は、ステップＳ６０１で取得した視線情報を用いて、視線情報に対応する観察領域情報を記録する。例えば、視線情報E1の示すピクセル(370,290)に対し、表示内容DispとしてWL:-600／WW:1500、位置情報Posとして（100, 150, 140）が対応づけられているとする。この場合は、観察領域情報O1として、O1d:(WL:-600,WW:1500)と、O1p(100, 150, 140)が取得される。ステップＳ６０３の処理は第４実施形態と同様である。
ステップＳ６０４において、マーカ生成部４７は、識別条件と生成条件に基づき、ステップＳ６０２で取得した観察領域情報を用いて画像上に表示するマーカを生成する。上記識別条件によれば、観察領域情報Otにおいて、Otdに関わらず、１回以上出現するOtpを観察済みの領域とする。すなわち、表示条件に関わらず、断層像において一度でも視線位置が検出された領域は、３次元医用画像における観察済みの領域（ボクセル）と識別される。なお、生成条件、マーカの種類、ステップＳ６０５の処理は第４実施形態と同様である。
図１９に、第７実施形態による医用画像の表示例を含む画面例を示す。画像表示領域１９００には、たとえば、肺野条件で表示されたアキシャル断層像１９０１と縦隔条件で表示されたアキシャル断層像１９０２が表示されている。たとえば、肺野条件で表示されたアキシャル断層像１９０１において観察済みの領域が識別されると、３次医用画像の当該領域に対応する領域（ボクセル）が観察済みと識別される。したがって、図１９の画面表示では、マーカ生成部４７で生成されたマーカ１９０３が、肺野条件で表示したアキシャル断層像１９０１、縦隔条件で表示したアキシャル断層像１９０２にそれぞれ重畳表示される。
なお、識別条件を、「肺野条件と縦隔条件で表示した断層像の両方で観察済みとなった領域を３次元医用画像における観察済みの領域と識別する」のようにしてもよい。この場合、たとえば肺野条件で表示されたアキシャル断層像のみで観察された領域は３次元医用画像における観察済みの領域としては識別されない。但し、その領域が縦隔条件で表示された断層像（アキシャル以外でもよい）においても観察されたことが検出されると、３次元医用画像における観察済みの領域として識別されることになる。なお、同一の種類の断層像において２つの異なる表示条件で観察することを条件としてもよい。その場合、たとえば肺野条件と縦隔条件で表示されたアキシャル断層像の両方で観察された領域が、３次元医用画像における観察済みの領域と識別される。しかしながら、肺野条件のアキシャル断層像と縦隔条件のサジタル断層像で観測されただけの領域は、３次元医用画像における観察済みの領域として識別されない。
以上のように、第７実施形態に係る画像診断支援装置によれば、どの表示条件で観察したかに関わらず、ある領域を観察した場合に、対応する３次元医用画像の領域を観察済の領域と識別し、それを基に情報を可視化して表示することが出来る。すなわち、表示条件が異なる画像で読影した領域であっても、全体としては未観察であると識別されることがないため、効率よく読影漏れ防止を図ることができる。
（変形例７−１）
第７実施形態では、表示情報として、画面上の各ピクセル（Pix）がどの表示条件で表示されているかという情報（表示内容Disp）を格納していたが、他のものを格納してもよい。例えば、画像表示領域８０１や画像表示領域１９００のように、表示領域を分割して使用する場合、その分割された領域ごとにＩＤを割り当てて、表示内容DispにはＩＤを保存するようにしてもよい。具体的には、肺野条件のアキシャル断層像を表示する領域には１を、縦隔条件のアキシャル断層像を表示する領域には２を割り当てて保存する。この方法によれば、画像表示中に表示条件を変えた場合であっても、分割領域の情報をもとに、観測済の領域であるか識別を行うことができる。そのため、より柔軟な方法で、効率よく読影漏れ防止を図ることができる。
（変形例７−２）
第７実施形態では、同一の３次元医用画像から構築された複数の画像を表示して読影する形態に適応する例について説明した。しかし、同一の投影データに対して別の再構成関数を用いて再構成された別の３次元医用画像にたいしても適応可能である。一般にＸ線ＣＴ装置において作成されるＣＴ画像は、被写体を撮像することで得られる投影データと所定の再構成関数とをコンボリューションすることで得られる。再構成関数の設計には任意性があり、臨床目的によって適当な再構成関数が利用される。また、同一の投影データに対して複数の再構成関数を用いて、複数のＣＴ画像を作成することがある。例えば、胸部ＣＴ画像の場合には、一般に肺野条件再構成画像と縦隔条件再構成画像が作成されることがある。肺野条件再構成画像とは、肺野内を観察するために適した再構成関数を利用して作成された医用画像であり、縦隔条件再構成画像とは縦隔を観察するために適した再構成関数を利用して作成された医用画像である。
本変形例においては、図１９における肺野条件で表示したアキシャル断層像１９０１を肺野条件再構成画像とし、縦隔条件で表示したアキシャル断層像１９０２を縦隔条件再構成画像として適応すればよい。
なお、上述した第１〜第７実施形態および各変形例は、適宜組み合わせることが可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
１０：画像診断装置 ３８：制御部 ４１：画像取得部 ４２：表示処理部 ４３：視線取得部 ４４：条件取得部 ４５：記録部 ４６：判定部

Claims (19)

  1. ３次元医用画像から得られる断層像を表示画面に表示する表示手段と、
    前記表示画面におけるユーザの視線位置を検出する検出手段と、
    前記検出手段により検出された視線位置に基づいて、前記断層像における観察済みの領域を判定する判定手段と、
    前記判定手段で判定された前記断層像における観察済みの領域に基づいて、前記３次元医用画像における観察済みの領域を識別する識別手段と、を備えることを特徴とする画像診断支援装置。
  2. 前記判定手段は、前記断層像において前記視線位置が検出されたピクセルと、該断層像における該ピクセルから所定の距離以内のピクセルと、を前記断層像における観察済みの領域と判定することを特徴とする請求項１に記載の画像診断支援装置。
  3. 前記判定手段は、前記断層像において視線位置が検出された累積時間が閾値を超える領域を観察済みの領域として判定することを特徴とする請求項１または２に記載の画像診断支援装置。
  4. 前記判定手段は、前記断層像において視線位置が検出された回数が閾値を超える領域を観察済みの領域として判定することを特徴とする請求項１乃至３のいずれか１項に記載の画像診断支援装置。
  5. 前記判定手段は、前記断層像において連続して視線位置が検出された時間が閾値を超える領域を観察済みの領域として判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像診断支援装置。
  6. 前記判定手段は、前記３次元医用画像から得られる複数の断層像のそれぞれで、異なる閾値を用いることを特徴とする請求項１乃至５のいずれか１項に記載の画像診断支援装置。
  7. 前記判定手段は、前記断層像から抽出された領域または前記断層像を分割して得られた領域に応じて異なる閾値を用いることを特徴とする請求項３乃至６のいずれか１項に記載の画像診断支援装置。
  8. 前記識別手段は、前記３次元医用画像から取得される複数の断層像の少なくとも１つの断層像において観察済みと判定された領域を、前記３次元医用画像における観察済みの領域として識別することを特徴とする請求項１乃至７のいずれか１項に記載の画像診断支援装置。
  9. 前記識別手段は、前記３次元医用画像から取得される複数の断層像のうちの２つ以上の断層像において観察済みと判定された領域を、前記３次元医用画像における観察済みの領域として識別することを特徴とする請求項１乃至７のいずれか１項に記載の画像診断支援装置。
  10. 前記識別手段は、前記３次元医用画像から取得される複数の断層像の少なくとも１つの断層像において、複数回観察済みと判定された領域を、前記３次元医用画像における観察済みの領域として識別することを特徴とする請求項１乃至７のいずれか１項に記載の画像診断支援装置。
  11. 前記識別手段により観察済みと識別された領域またはそれ以外の領域をユーザが識別可能に表示する識別表示手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像診断支援装置。
  12. 前記３次元医用画像から得られる複数の断層像のうち、前記判定手段および前記識別手段が用いる１つ以上の断層像または断層像の組合せを指示する指示手段をさらに備えることを特徴とする請求項１乃至１０のいずれか１項に記載の画像診断支援装置。
  13. 前記指示手段は、指示された前記断層像または断層像の組合せのそれぞれについて、観察済みと識別された領域と未観察と識別された領域のいずれにマーカを表示するかをさらに指示することを特徴とする請求項１２に記載の画像診断支援装置。
  14. 前記指示手段による指示に応じて前記識別手段により観察済みと識別された領域またはそれ以外の領域を識別可能に表示する識別表示手段をさらに備え、
    前記識別表示手段は、指示された断層像または断層像の組合せごとに、および、観察済みの領域か未観察の領域かに応じて異なる態様で表示することを特徴とする請求項１３に記載の画像診断支援装置。
  15. 前記３次元医用画像から得られる複数の断層像は、前記３次元医用画像から得られる異なる断層方向の断層像で構成されることを特徴とする請求項１１乃至１４のいずれか１項に記載の画像診断支援装置。
  16. 前記複数の断層像は、アキシャル断層像、サジタル断層像、コロナル断層像を含むことを特徴とする請求項１５に記載の画像診断支援装置。
  17. 前記３次元医用画像から得られる複数の断層像は、前記３次元医用画像を撮影した装置が用いる画素値の全範囲のうちの前記表示画面への表示に用いられる範囲を示す表示条件が異なる断層像で構成されることを特徴とする請求項１乃至１４のいずれか１項に記載の画像診断支援装置。
  18. 画像診断支援装置の制御方法であって、
    ３次元医用画像から得られる断層像を表示画面に表示する表示工程と、
    前記表示画面におけるユーザの視線位置を検出する検出工程と、
    前記検出工程で検出された視線位置に基づいて、前記断層像における観察済みの領域を判定する判定工程と、
    前記判定工程で判定された前記断層像における観察済みの領域に基づいて、前記３次元医用画像における観察済みの領域を識別する識別工程と、を有することを特徴とする画像診断支援装置の制御方法。
  19. 請求項１８に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2014102725A 2014-05-16 2014-05-16 画像診断支援装置、その処理方法及びプログラム Active JP6445784B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014102725A JP6445784B2 (ja) 2014-05-16 2014-05-16 画像診断支援装置、その処理方法及びプログラム
US15/305,913 US10558263B2 (en) 2014-05-16 2015-05-13 Image diagnosis assistance apparatus, control method thereof, and program
PCT/JP2015/064392 WO2015174548A1 (en) 2014-05-16 2015-05-13 Image diagnosis assistance apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014102725A JP6445784B2 (ja) 2014-05-16 2014-05-16 画像診断支援装置、その処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2015217120A true JP2015217120A (ja) 2015-12-07
JP6445784B2 JP6445784B2 (ja) 2018-12-26

Family

ID=53284479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014102725A Active JP6445784B2 (ja) 2014-05-16 2014-05-16 画像診断支援装置、その処理方法及びプログラム

Country Status (3)

Country Link
US (1) US10558263B2 (ja)
JP (1) JP6445784B2 (ja)
WO (1) WO2015174548A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073702A1 (ja) * 2015-10-29 2017-05-04 キヤノン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
JP2017225541A (ja) * 2016-06-21 2017-12-28 株式会社ジェイマックシステム 読影支援装置、読影支援方法および読影支援プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10010379B1 (en) * 2017-02-21 2018-07-03 Novarad Corporation Augmented reality viewing and tagging for medical procedures
EP3493213B1 (en) * 2018-02-13 2020-12-30 Siemens Healthcare GmbH Method, system, computer program product and computer-readable medium for supporting a visual analysis of a medical image data set
US11287874B2 (en) 2018-11-17 2022-03-29 Novarad Corporation Using optical codes with augmented reality displays
US11237627B2 (en) 2020-01-16 2022-02-01 Novarad Corporation Alignment of medical images in augmented reality displays
US12016633B2 (en) 2020-12-30 2024-06-25 Novarad Corporation Alignment of medical images in augmented reality displays
US11948265B2 (en) 2021-11-27 2024-04-02 Novarad Corporation Image data set alignment for an AR headset using anatomic structures and data fitting

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02196383A (ja) * 1989-01-26 1990-08-02 Toshiba Corp 画像表示装置
JPH11244280A (ja) * 1998-03-02 1999-09-14 Arcobel Graphics Japan:Kk コンピュータ断層装置
JP2002320603A (ja) * 2001-04-26 2002-11-05 Fuji Photo Film Co Ltd 放射線画像の黒化処理方法および装置
JP2004073379A (ja) * 2002-08-13 2004-03-11 Toshiba Corp 医用画像診断装置および画像領域指定支援方法
JP2007050045A (ja) * 2005-08-16 2007-03-01 Fujifilm Corp 読影支援装置、読影支援方法、およびそのプログラム
JP2007319327A (ja) * 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
US20110270123A1 (en) * 2008-11-03 2011-11-03 Bruce Reiner Visually directed human-computer interaction for medical applications

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6381339B1 (en) * 1997-01-15 2002-04-30 Winton Emery Brown Image system evaluation method and apparatus using eye motion tracking
US6317510B1 (en) * 1997-12-19 2001-11-13 Fuji Photo Film Co., Ltd. Blackening processing method and apparatus
US7327505B2 (en) * 2002-02-19 2008-02-05 Eastman Kodak Company Method for providing affective information in an imaging system
US7046924B2 (en) * 2002-11-25 2006-05-16 Eastman Kodak Company Method and computer program product for determining an area of importance in an image using eye monitoring information
ES2333528T3 (es) * 2003-05-12 2010-02-23 Elbit Systems Ltd. Procedimiento y sistema de comunicacion audiovisual.
US7668285B2 (en) * 2004-02-16 2010-02-23 Kabushiki Kaisha Toshiba X-ray computed tomographic apparatus and image processing apparatus
US9652032B2 (en) * 2004-03-02 2017-05-16 Brian T. Mitchell Simulated training environments based upon fixated objects in specified regions
US7738684B2 (en) * 2004-11-24 2010-06-15 General Electric Company System and method for displaying images on a PACS workstation based on level of significance
US7576757B2 (en) * 2004-11-24 2009-08-18 General Electric Company System and method for generating most read images in a PACS workstation
US8020993B1 (en) * 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
JP4922734B2 (ja) * 2006-11-13 2012-04-25 株式会社Ａｚｅ 医用画像生成装置、方法およびプログラム
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
JP5301197B2 (ja) * 2008-04-11 2013-09-25 富士フイルム株式会社 断面画像表示装置および方法ならびにプログラム
WO2010071928A1 (en) * 2008-12-22 2010-07-01 Seeing Machines Limited Automatic calibration of a gaze direction algorithm from user behaviour
US9495589B2 (en) * 2009-01-26 2016-11-15 Tobii Ab Detection of gaze point assisted by optical reference signal
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
US8762846B2 (en) * 2009-11-16 2014-06-24 Broadcom Corporation Method and system for adaptive viewport for a mobile device based on viewing angle
US9201501B2 (en) * 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
US8487959B1 (en) * 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
CN103718211A (zh) * 2011-06-01 2014-04-09 皇家飞利浦有限公司 三维成像数据察看器和/或察看
US8885882B1 (en) * 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US10049445B2 (en) * 2011-07-29 2018-08-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method of a three-dimensional medical image
US20150213725A1 (en) * 2012-09-07 2015-07-30 Tractus Corporation Method, apparatus, and system for viewing multiple-slice medical images
EP2992405A1 (en) * 2013-04-29 2016-03-09 Mirametrix Inc. System and method for probabilistic object tracking over time
CA3003584A1 (en) * 2015-10-30 2017-05-04 University Of Massachusetts System and methods for evaluating images and other subjects

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02196383A (ja) * 1989-01-26 1990-08-02 Toshiba Corp 画像表示装置
JPH11244280A (ja) * 1998-03-02 1999-09-14 Arcobel Graphics Japan:Kk コンピュータ断層装置
JP2002320603A (ja) * 2001-04-26 2002-11-05 Fuji Photo Film Co Ltd 放射線画像の黒化処理方法および装置
JP2004073379A (ja) * 2002-08-13 2004-03-11 Toshiba Corp 医用画像診断装置および画像領域指定支援方法
JP2007050045A (ja) * 2005-08-16 2007-03-01 Fujifilm Corp 読影支援装置、読影支援方法、およびそのプログラム
JP2007319327A (ja) * 2006-05-31 2007-12-13 Hitachi Medical Corp 読影支援システム
US20110270123A1 (en) * 2008-11-03 2011-11-03 Bruce Reiner Visually directed human-computer interaction for medical applications

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017073702A1 (ja) * 2015-10-29 2017-05-04 キヤノン株式会社 医用画像処理装置、医用画像処理装置に搭載可能なプログラム、及び医用画像処理方法
US10984906B2 (en) 2015-10-29 2021-04-20 Canon Kabushiki Kaisha Medical image processing apparatus, program installable into medical image processing apparatus, and medical image processing method
JP2017225541A (ja) * 2016-06-21 2017-12-28 株式会社ジェイマックシステム 読影支援装置、読影支援方法および読影支援プログラム

Also Published As

Publication number Publication date
JP6445784B2 (ja) 2018-12-26
US20170045938A1 (en) 2017-02-16
US10558263B2 (en) 2020-02-11
WO2015174548A1 (en) 2015-11-19

Similar Documents

Publication Publication Date Title
JP6445784B2 (ja) 画像診断支援装置、その処理方法及びプログラム
US10347033B2 (en) Three-dimensional image display apparatus, method, and program
US9563979B2 (en) Apparatus and method for registering virtual anatomy data
US9449387B2 (en) Medical image diagnosis apparatus, medical image display apparatus, medical image processing apparatus, and medical image processing program
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
US8547377B2 (en) Projection image generation apparatus, method, and program
JP2020512129A (ja) オブジェクトグリッド増強を用いて高次元画像データから低次元画像データを合成するためのシステムおよび方法
JP6318739B2 (ja) 画像処理装置、およびプログラム
US11364002B2 (en) Medical-image processing apparatus and medical-image diagnostic apparatus
JP2013153883A (ja) 画像処理装置、撮影システム及び画像処理方法
CN107169919A (zh) 用于3d医学体积的加速读取的方法和系统
EP2679158B1 (en) Method and apparatus for displaying ultrasonic image and information related to the ultrasonic image
US8718344B2 (en) Image processing apparatus and medical image diagnosis apparatus
JP2007111534A (ja) 肋骨転位を強調して観察するためのシステムおよび方法
JP2016022143A (ja) 石灰化表示装置及び撮影装置並びにプログラム
JP5479138B2 (ja) 医用画像表示装置、医用画像表示方法、及びそのプログラム
CN108269292B (zh) 用于根据三维图像数据组产生二维投影图像的方法和设备
JP2006122663A (ja) 画像処理装置及び画像処理方法
JP2010075549A (ja) 画像処理装置
JP6533687B2 (ja) 医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
JP2018033698A (ja) 画像表示装置、画像表示方法及びプログラム
Rahman et al. A framework to visualize 3d breast tumor using x-ray vision technique in mobile augmented reality
JP2018061844A (ja) 情報処理装置、情報処理方法、及びプログラム
JP4810395B2 (ja) 医用画像生成装置及びその方法
JP6752254B2 (ja) 情報処理装置、情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170509

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180706

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181130

R151 Written notification of patent or utility model registration

Ref document number: 6445784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151