JP2022164785A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP2022164785A
JP2022164785A JP2022137145A JP2022137145A JP2022164785A JP 2022164785 A JP2022164785 A JP 2022164785A JP 2022137145 A JP2022137145 A JP 2022137145A JP 2022137145 A JP2022137145 A JP 2022137145A JP 2022164785 A JP2022164785 A JP 2022164785A
Authority
JP
Japan
Prior art keywords
image
statistic
information processing
area
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022137145A
Other languages
English (en)
Other versions
JP7409624B2 (ja
Inventor
亮 石川
Ryo Ishikawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2022137145A priority Critical patent/JP7409624B2/ja
Publication of JP2022164785A publication Critical patent/JP2022164785A/ja
Application granted granted Critical
Publication of JP7409624B2 publication Critical patent/JP7409624B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4848—Monitoring or testing the effects of treatment, e.g. of medication
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/168—Segmentation; Edge detection involving transform domain methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

Figure 2022164785000001
【課題】 経時変化の定量的な計測を高い精度で行える機能をユーザに提供すること。
【解決手段】 情報処理装置は、画像取得手段と、対応関係取得手段と、画像変換手段と、変化算出手段と、統計量算出手段とを有する。画像取得手段は、第１の画像および第２の画像を取得する。対応関係取得手段は、第１の画像と第２の画像の間の空間的な対応関係を取得する。画像変換手段は、対応関係に基づき、第２の画像を第１の画像に略一致するように変換した変換画像を取得する。変化算出手段は、対応関係に基づき、変換画像と第２の画像との間の体積または面積の変化を算出する。統計量算出手段は、体積または面積の変化に基づき、変換画像の画素値に関する統計量を算出する。
【選択図】 図２

Description

本発明は、情報処理装置、情報処理方法、及びプログラムに関する。
医療の分野において、医師は、種々のモダリティで撮像した医用画像を用いて診断を行う。特に、病変の発生や進行、施した治療の効果など、被検体の状態の経過観察のため、異なる時刻に同一のモダリティで撮像された複数の画像を医師が対比して被検体の経時的な変化の観察が行われている。被検体の経時的な変化を医師が観察するのを支援する方法として、特許文献１では、基準画像から他方の比較画像の差分をとった差分画像を提示することで、病変等の経時変化を可視化する技術が開示されている。
特開２０１３－１２６５７５号公報
実診療において、経時変化を定量的に計測するための新たな手法が求められていた。
本発明に係る情報処理装置は、以下の構成を備える。すなわち、情報処理装置は、第１の画像および第２の画像を取得する画像取得手段と、前記第１の画像と前記第２の画像の間の空間的な対応関係を取得する対応関係取得手段と、前記対応関係に基づき、前記第２の画像を前記第１の画像に略一致するように変換した変換画像を取得する画像変換手段と、前記対応関係に基づき、前記変換画像と前記第２の画像との間の体積または面積の変化を算出する変化算出手段と、前記体積または面積の変化に基づき、前記変換画像の画素値に関する統計量を算出する統計量算出手段と、を有することを特徴とする。
本発明によれば、経時変化の定量的な計測を高い精度で行える機能をユーザに提供できる効果がある。
第一実施形態に係る医療情報処理システムの機器構成を示す図である。 第一実施形態における全体の処理手順を示すフロー図である。 第一実施形態における治療前画像、治療後画像、変形画像、差分画像を説明する図である。 第一実施形態におけるステップＳ１０８０の処理手順を詳しく説明する図である。 第一実施形態におけるステップＳ１０９０の処理手順を詳しく説明する図である。 第一実施形態におけるステップＳ１０９５の処理を詳しく説明する図である。 第二実施形態に係る医療情報処理システムの機器構成を示す図である。 第二実施形態における全体の処理手順を示すフロー図である。
［第一実施形態］
本発明の第一の実施形態に係る医療情報処理システムは、医療機関における医師や技師などのユーザに対して以下の機能を提供する。すなわち、ユーザが医療的な処置を行おうとする対象患者（被検体）に関する放射線治療前の検査画像（以下、治療前画像）と放射線治療後の検査画像（以下、治療後画像）における、病変等の注目領域の画素値の変化を定量的に計測できるようにする。より具体的には、治療前画像における注目領域と、治療後画像において該注目領域に対応する領域（以下、対応領域）の夫々において、画素値の統計量を計測できるようにする。なお、放射線治療前後の検査画像間の計測は、本発明の実施の一例に過ぎず、複数画像間の比較を目的とした計測であれば、他の何れの画像を処理対象として用いても良い。
図１は、本発明の一実施の形態に係わる医療情報処理システムの全体構成を示す図である。医療情報処理システムは、医療情報処理装置１０（情報処理装置）、検査画像データベース２３を含み、これらの装置は、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）２１で構成されるが、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、通信手段の接続方法は有線接続であってもよいし、無線接続であってもよい。
検査画像データベース２３は、複数の患者に関する複数の検査画像とその付帯情報を保持する。検査画像とは、例えばＣＴやＭＲＩ等の画像診断装置で撮影した医用画像であり、２次元や３次元、モノクロームやカラーなどの様々な画像が対象となりうる。また検査画像の付帯情報とは、患者名（患者ＩＤ）や検査日情報（検査画像を撮影した日付）、検査画像の撮影モダリティ名などである。検査日情報は検査画像を撮影した日付だけでなく撮影した時刻が含まれていても良い。また、各々の検査画像およびその付帯情報には、他との識別を可能にするために、固有の番号（検査画像ＩＤ）が付され、それに基づいて医療情報処理装置１０による情報の読み出しが行える。検査画像が複数の２次元断層画像によって構成される３次元ボリューム画像の場合には、各２次元断層画像および、それらの集合である３次元ボリューム画像の夫々に対して検査画像ＩＤが付されている。検査画像データベース２３は、前記情報の読み出し以外にも、医療情報処理装置１０と連携して検査画像の一覧表示や、サムネイル表示、検索、情報の書き込み等の機能が提供される。
医療情報処理装置１０は、検査画像データベース２３が保持する情報を、ＬＡＮ２１を介して取得する。医療情報処理装置１０は、その機能的な構成として、通信ＩＦ３１、ＲＯＭ３２、ＲＡＭ３３、記憶部３４、操作部３５、表示部３６、制御部３７を具備する。
通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１は、例えば、ＬＡＮカード等で実現され、ＬＡＮ２１を介した外部装置（例えば、検査画像データベース２３）と医療情報処理装置１０との間の通信を司る。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。ＲＡＭ（Ｒａｎｄｏｍ ＡｃｃｅｓｓＭｅｍｏｒｙ）３３は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部３４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等で実現され、各種情報を記憶する。操作部３５は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置内に入力する。表示部３６は、例えば、ディスプレイ等で実現され、各種情報をユーザ（例えば、医師）に向けて表示する。操作部３５や表示部３６は制御部３７からの制御によりグラフィカルユーザインターフェース（ＧＵＩ）としての機能が提供される。
制御部３７は、例えば、少なくとも１つのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で実現され、医療情報処理装置１０における処理を統括制御する。制御部３７には、その機能的な構成として、検査画像取得部４１、位置合わせ部４２、変形画像生成部４３、差分画像生成部４４、注目領域取得部４５、統計量算出部４６、体積変化率計測部４７を具備する。
検査画像取得部４１は、操作部３５によって入力されるユーザの操作に従って、通信ＩＦ３１とＬＡＮ２１を介して検査画像データベース２３から当該患者の検査画像を取得する。
位置合わせ部４２は、検査画像取得部４１が取得した複数の検査画像の間の位置合わせを行う。
変形画像生成部４３は、位置合わせ部４２による位置合わせの結果に基づいて検査画像取得部４１が取得した検査画像を、位置合わせ部４２による位置合わせ結果に基づいて変形する。
差分画像生成部４４は、前記検査画像と前記変形画像との間の差分画像を生成する。
注目領域取得部４５は、前記差分画像に基づいて注目領域を取得する。
統計量算出部４６は、前記検査画像の前記注目領域内の画素値に関する統計量を算出する。
体積変化率計測部４７は、位置合わせ部４２による位置合わせの結果に基づいて、変形画像生成部４３による画像の変形によって生じる体積変化率を計測する。
なお、制御部３７が具備する各部の少なくとも一部は独立した装置として実現してもよい。また、夫々が機能を実現するソフトウェアとして実現してもよい。この場合、機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。本実施形態では各部はローカル環境におけるソフトウェアにより夫々実現されているものとする。
また、図１に示す医療情報処理システムの構成はあくまで一例である。例えば、医療情報処理装置１０の記憶部３４が検査画像データベース２３の機能を具備し、記憶部３４が複数の患者に関する複数の検査画像とその付帯情報を保持してもよい。
次に図２を用いて、本実施形態における医療情報処理装置１０による全体の処理手順を詳細に説明する。また、以下では、例として検査画像としてＣＴ画像を用いる場合を例として説明するが、本発明の実施はこれに限定されるものではない。ＭＲＩ画像であってもよいし、超音波画像であってもよい。
（ステップＳ１０１０）＜治療前画像の読み込み＞
本処理ステップにおいて検査画像取得部４１は、処理の対象とする治療前画像を検査画像データベース２３から取得する処理を実行する。すなわち、この処理は、第１の画像および第２の画像を取得する画像取得手段の一例に相当する。本実施形態における治療前画像は３次元画像のＣＴ画像であり、３次元の座標軸の方向毎に等間隔に配列した画素の集合である。本実施形態では治療前画像をＩ１、または、治療前画像の画像座標系における座標値ｘを引数として該画像の画素値を返す関数Ｉ１（ｘ）と表記する。ここで、引数として与えられる座標値ｘが画素と画素の間を示す場合には、Ｉ１（ｘ）は当該位置の周辺の画素の画素値を補間した値を返す。補間の方法は、一般的によく知られた線形補間をはじめ、公知のいかなる方法を用いても良い。図３（Ａ）の３００は本実施形態における治療前画像Ｉ１を表す。治療前画像Ｉ１は３次元画像であるが、紙面での説明の都合上、２次元の断面画像に代替し表記する。治療前画像３００には被検体３１０および、被検体内部の治療前の病変部位３２０がそれぞれ描出されている。
（ステップＳ１０２０）＜治療後画像の読み込み＞
本処理ステップにおいて検査画像取得部４１は、処理の対象とする治療後画像を検査画像データベース２３から取得する処理を実行する。すなわち、この処理は、第１の画像および第２の画像を取得する画像取得手段の一例に相当する。具体的な処理はステップＳ１０１０と同様であるため説明を省略する。本実施形態では治療後画像をＩ２または、関数Ｉ２（ｘ）と表記する。図３（Ｂ）の３４０は本実施形態における治療後画像Ｉ２を表す。治療後画像３４０にも、治療前画像３００と同様に被検体３１０が描出されている。また、治療後画像３４０には（治療前の病変部位３２０と同じ病変部位である）治療後の病変部位３５０も描出されている。本実施形態では、治療後の病変部位３５０は治療前の病変部位３２０と比べて大きさが小さくなっている場合を例として説明する。
（ステップＳ１０３０）＜画像間の位置合わせ＞
本処理ステップにおいて位置合わせ部４２は、治療前画像Ｉ１と治療後画像Ｉ２との間の画像間の位置合わせ処理を実行する。本実施形態では、画像間の位置合わせとして変形位置合わせを行う場合を例として説明する。ここで、位置合わせ処理とは、画像間における位置の対応関係を求める処理であり、換言すると、画像間の変形を推定する処理である。画像間の位置合わせを周知のいかなる方法を用いても良い。例えば、変形後の画像間の画像類似度が高くなるように、一方の画像を変形させることにより求める。画像類似度としては、一般的に用いられているＳｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ（ＳＳＤ）や相互情報量、相互相関係数などの公知の方法を用いることができる。また、画像の変形のモデルとしては、Ｔｈｉｎ Ｐｌａｔｅ Ｓｐｌｉｎｅ（ＴＰＳ）などの放射基底関数に基づく変形モデルや、Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）、Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ（ＬＤＤＭＭ）等の公知の変形モデルを利用できる。上記の方法により、治療後画像を治療前画像に位置合わせする処理が実行され、治療後画像の画像座標と治療前画像の画像座標との間の対応関係が算出される。本実施形態では、前記対応関係を変換関数Ｄ（ｘ）として取得する。すなわち、この処理は、第１の画像と第２の画像の間の空間的な対応関係を取得する対応関係取得手段の一例に相当する。ここでＤ（ｘ）は治療前画像の画像座標値（３次元ベクトル）を引数とし、治療後画像の対応する位置の画像座標値（３次元ベクトル）を返す関数である。
（ステップＳ１０４０）＜治療後画像の変形＞
本処理ステップにおいて変形画像生成部４３は、ステップＳ１０３０の処理で取得した変換関数Ｄ（ｘ）に基づき、治療後画像Ｉ２を治療前画像Ｉ１に略一致するように変形した変形画像（変換画像）を生成する処理を実行する。すなわち、この処理は、対応関係に基づき、第２の画像を第１の画像に略一致するように変換した変換画像を取得する画像変換手段の一例に相当する。具体的には式１の計算により、変形画像Ｉ３（ｘ）の各位置ｘにおける画素値を算出する。
Figure 2022164785000002
・・・（式１）
変換関数に基づいて画像を変形する方法は周知のいかなる方法を用いても良い。以上の処理により生成した変形画像を、本実施形態ではＩ３または、関数Ｉ３（ｘ）と表記する。
図３（Ｃ）の３６０は、本処理ステップで生成した変形画像を表している。変形画像３６０は、治療後画像３４０の各部位の形状や画素値の分布が治療前画像３００と略一致するように、治療後画像３４０を変形させて生成される。そのため、変形画像３６０の中に描出される治療後の病変部位３８０は、治療後画像３４０の中に描出される治療後の病変部位３５０よりも大きく、治療前画像３００の中に描出される治療前の病変部位３２０と類似した大きさとなる。つまり、ステップＳ１０３０の処理により、治療前の病変部位３２０と治療後の病変部位３５０の間の大きさの変動に対して位置合わせがなされ、位置合わせの結果に基づいて生成する変形画像３６０は、その大きさの変動が吸収されたものとなる。
（ステップＳ１０５０）＜差分画像の生成＞
本処理ステップにおいて差分画像生成部４４は、治療前画像Ｉ１と変形画像Ｉ３の差分画像を生成する処理を実行する。すなわち、この処理は、第１の画像および変換画像との間の差分画像を生成する差分画像生成手段の一例に相当する。図３（Ｄ）の３９０は、本処理ステップで生成する差分画像を表している。差分画像３９０には、治療前の病変部位３２０と変形画像３６０の中の治療後の病変部位４００との間の差分が描出される。ここでは、病変部位の大きさの変動については位置合わせによって吸収され、当該部位の画素値の違いだけが描出される。本実施形態では、本処理ステップで生成する差分画像をＩ４または、関数Ｉ４（ｘ）と表記する。差分画像Ｉ４を生成する方法は公知の任意の方法を用いても良く、例えば式２に示す単純な差演算によって生成することができる。
Figure 2022164785000003
・・・（式２）
差分画像Ｉ４は、その生成した実体を医療情報処理装置１０が持つＲＯＭ３２、ＲＡＭ３３、記憶部３４などの記憶機能を用いて保持するようにしても良い。また、後述する処理において差分画像Ｉ４が参照されたときに、参照された位置における差分画像Ｉ４の値を式２の計算等によって取得するようにしても良い。また、差分画像Ｉ４の算出の方法は上述の式２を用いた単純な例に限定されない。例えば、対象とする部位の組織や周辺の組織の画素値の分布を考慮して差分画像を生成するようにしても良い。例えば、放射線治療の対象部位が骨である場合、ＣＴ画像における骨の画素値が他に比べて高い値であることから、高い画素値での差分値を強調し、それ以外の画素値の差分を減弱するようにして差分画像Ｉ４を生成するようにできる。これによれば、治療前後の被検体に生じた変化のうち、対象とする部位において生じた変化をより視認しやすい差分画像が生成できる効果がある。また差分画像の生成方法は上記の例に限らず、治療前後の差異とは関係の無い種々のノイズを除去するようにして生成しても良い。なお、差分画像を生成せずに、ステップＳ１０６０に処理を進めてもよい。後述する変形例１－１のように、差分画像に基づいて注目領域を設定する場合に、本処理ステップで差分画像を生成すればよいので、必ずしも本処理ステップを実行する必要はない。
（ステップＳ１０６０）＜体積変化率の算出＞
本処理ステップにおいて体積変化率計測部４７は、ステップＳ１０３０で取得した変換関数Ｄ（ｘ）に基づき、変形画像Ｉ３から治療後画像Ｉ２への変換による体積の変化率を算出する処理を実行する。すなわち、この処理は、対応関係に基づき、変換画像と第２の画像との間の体積または面積の変化を算出する変化算出手段の一例に相当する。また、この処理は、第１の画像および第２の画像が３次元画像である場合には、対応関係に基づき、変換画像と第２の画像との間の体積の変化を算出することを特徴とする変化算出手段の一例にも相当する。具体的には、まず、ステップＳ１０３０で算出した変換関数Ｄ（ｘ）の空間微分である３行３列のヤコビ行列Ｊ（ｘ）を式３の計算により算出する。
Figure 2022164785000004
・・・（式３）
ここでＤｘ（ｘ），Ｄｙ（ｘ），Ｄｚ（ｚ）は、変換関数Ｄ（ｘ）の位置ｘ＝（ｘ，ｙ，ｚ）における値（３次元ベクトル）の各軸方向の成分値を表す。仮に変換関数Ｄ（ｘ）が恒等関数（引数で与えられた値を変えずに返す関数）であった場合には、ヤコビ行列Ｊ（ｘ）は３行３列の単位行列となる。
次に、式４に示すように、前記ヤコビ行列Ｊ（ｘ）の行列式（デターミナント）を計算することによって体積変化率Ｖｃ（ｘ）を算出する。
Figure 2022164785000005
・・・（式４）
体積変形率Ｖｃ（ｘ）は、変形画像Ｉ３の座標値ｘを引数として、当該位置における変形画像Ｉ３の座標値から治療後画像Ｉ２の座標値への座標変換に伴う局所的な体積の変化の割合を返すスカラー関数である。Ｖｃ（ｘ）の値が１．０の場合には、位置ｘにおいて局所的な体積変化は生じていないことを表す。またＶｃ（ｘ）の値が０．５の場合には、変形画像Ｉ３の当該位置の局所的な領域を治療後画像Ｉ２の座標系に投影した場合に、体積が０．５倍、すなわち半分に減少（圧縮）することを意味する。また、Ｖｃ（ｘ）の値が２．０の場合には、逆に変形画像Ｉ３の当該位置の局所的な領域を治療後画像Ｉ２の座標系に投影した場合に、体積が２．０倍、すなわち２倍に増加（伸張）することを意味する。
（ステップＳ１０７０）＜注目領域の設定＞
本処理ステップにおいて注目領域取得部４５は、被検体の注目領域を取得する処理を実行する。すなわち、この処理は、第１の画像の注目領域を取得する注目領域取得手段の一例に相当する。本実施形態における注目領域は、図３（Ａ）の３３０に示すように、治療前画像３００において定義される。また治療前画像３００に描出される病変部位３２０を含む領域として定義される。注目領域３３０は、例えば、治療前画像３００をユーザが視認できるように表示部３６に表示し、治療前画像３００上でユーザが操作部３５を介して注目領域３３０を設定できるようにできる。同様に、治療前画像３００と位置合わせされた変形画像３６０や差分画像３９０を表示部３６に表示し、それらの画像上でユーザが注目領域を設定できるようにしても良い。なお、注目領域は、３次元の領域であってもよいし、２次元の領域であってもよい。
上記の処理により取得した注目領域を、本実施形態ではＲまたは関数Ｒ（ｘ）と表記する。ここで関数Ｒ（ｘ）は治療前画像Ｉ１の画像座標系の任意の位置ｘが注目領域であるか否かを返す２値の関数である。具体的には座標値ｘが示す位置が注目領域である場合にはＲ（ｘ）＝１となり、それ以外ではＲ（ｘ）＝０となる関数である。注目領域Ｒは、例えば、注目領域を表すラベル画像によって表現できる。
（ステップＳ１０８０）＜治療前画像のヒストグラム算出＞
本処理ステップにおいて統計量算出部４６は、治療前画像Ｉ１の注目領域Ｒの画素値に関する統計量を算出する処理を実行する。本実施形態では、画素値に関する統計量の具体的な一例として、（治療前画像Ｉ１の注目領域Ｒの）画素値の頻度に関する体積ヒストグラムＨ１を算出する方法について説明する。以下、この処理の手順について、図４を用いて詳しく説明する。
（ステップＳ１０８０１）＜ヒストグラムの初期化＞
本処理ステップにおいて統計量算出部４６は、ヒストグラムＨ１（ビンＨ１＿ｉ（１≦ｉ≦Ｎ）で構成される）の初期化を行う。ここで、添え字のｉはヒストグラムのビンのインデックスを表す。また、Ｎはヒストグラムの階級数を表す。ここではＮ個のビンを持つヒストグラムの初期化を行う。すなわち、Ｈ１＿ｉ（１≦ｉ≦Ｎ）の値を０にする。ここで、各階級に対応する画素値の値域は、ＣＴ画像における人体の一般的な画素値の分布等に基づいて適切に設定するのが望ましい。
次に、統計量算出部４６は、ステップＳ１０８０２からステップＳ１０８０６までの処理を、ステップＳ１０８０６の判定処理によって終了するまで繰り返して実行する。
（ステップＳ１０８０２）＜未処理画素の読み出し＞
本処理ステップにおいて統計量算出部４６は、治療前画像Ｉ１（ｘ）を構成する複数の画素のうち、ステップＳ１０８０２からステップＳ１０８０６までの繰り返し処理において、未だ処理の対象となっていない画素を選択し、その画素値を読み出す。この処理は、例えば治療前画像Ｉ１（ｘ）を構成する画素をラスタースキャンの順に読み出す処理により実行される。以降の説明では、本処理ステップで読み出した画素の座標値をｘ’、画素値をｖ’と表記する。
（ステップＳ１０８０３）＜注目領域内？＞
本処理ステップにおいて統計量算出部４６は、ステップＳ１０８０２で選択した画素の座標値ｘ’が注目領域に含まれるか否かを判定する。具体的にはＲ（ｘ’）が１の場合には処理をステップＳ１０８０４へと進め、そうでない場合には処理をステップＳ１０８０２へ戻す。
（ステップＳ１０８０４）＜該当する階級の頻度値を更新＞
本処理ステップにおいて統計量算出部４６は、画素値ｖ’が該当する階級を特定し、その階級のヒストグラムを更新する処理を実行する。すなわち、この処理は、第１の画像の画素値に関する第１の統計量を算出することを特徴とする統計量算出手段の一例に相当する。具体的には、画素値ｖ’が該当する階級のヒストグラムを、当該画素の体積の分だけ増加させる処理を実行する。つまり、式５の計算処理を実行する。
Figure 2022164785000006
・・・（式５）
ここでｉ’は、画素値ｖ’が該当する階級のインデックスである。またｄ１は、３次元画像である治療前画像の１画素の体積である。１画素の体積は、各画素の座標軸毎のピッチの積により算出される。一般的な３次元画像は、それを構成する全ての画素の体積が同一であるため、１画素の体積ｄ１をステップＳ１０８０の実行に先立って事前に算出しておくことができる。そして、本処理ステップでは、事前に算出した体積ｄ１を読み出して用いるようにできる。
（ステップＳ１０８０６）＜全画素の読み込み終了？＞
本処理ステップにおいて統計量算出部４６は、ステップＳ１０８０２の処理で治療前画像Ｉ１（ｘ）の全ての読み込みが行われたか否かの判定を行い、全ての読み込みが行われた場合には、ステップＳ１０８０の処理を終了させる。そうでない場合には処理をステップＳ１０８０２へと戻す。
以上の処理により、ステップＳ１０８０の処理が実行され、治療前画像Ｉ１の注目領域Ｒの画素値に関する統計量（その具体例としての、画素値の頻度に関する体積ヒストグラムＨ１）が算出される。
（ステップＳ１０９０）＜治療後画像のヒストグラム算出＞
本処理ステップにおいて統計量算出部４６は、変形画像Ｉ３の注目領域Ｒの画素値の統計量を算出する処理を実行する。本実施形態では、ステップＳ１０８０と同様に、画素値に関する統計量の具体的な一例として、（変形画像Ｉ３の注目領域Ｒの）画素値の頻度に関する体積ヒストグラムＨ２を算出する方法について説明する。以下、この処理の手順について、図５を用いて詳しく説明する。なお、ステップＳ１０９０におけるステップＳ１０９０１～Ｓ１０９０３及びＳ１０９０６の夫々の処理は、処理対象が変形画像Ｉ３であることを除くとステップＳ１０８０におけるステップＳ１０８０１～Ｓ１０８０３及びＳ１０８０６と同様であるので、説明を省略する。
（ステップＳ１０９０４）＜体積変化率に基づき、該当する階級の頻度値を更新＞
本処理ステップにおいて統計量算出部４６は、画素値ｖ’が該当する階級を特定し、その階級のヒストグラムを更新する処理を実行する。具体的には、画素値ｖ’が該当する階級のヒストグラムを、変形画像Ｉ３の当該画素に対応する治療後画像Ｉ２における領域の体積の分だけ増加させる処理を実行する。つまり、式６の計算処理を実行する。
Figure 2022164785000007
・・・（式６）
ここでｉ’は、画素値ｖ’が該当する階級のインデックスで、ｄ３は３次元画像である変形画像の１画素の体積である。また、Ｖｃ（ｘ’）は、ステップＳ１０６０で得られた、当該画素の位置における体積変化率である。このように、変形画像Ｉ３における１画素の体積（ｄ３）に、当該画素を変形前の治療後画像Ｉ２に逆変換した時の体積変化率（Ｖｃ（ｘ’））を乗算することで、当該画素に対応する治療後画像Ｉ２の領域の体積が算出される。すなわち、この処理は、体積または面積の変化に基づき、変換画像の画素値に関する統計量を算出する統計量算出手段の一例に相当する。また、この処理は、体積または面積の変化に基づき、注目領域に対応する、変換画像の画素値に関する統計量を算出することを特徴とする統計量算出手段の一例にも相当する。また、この処理は、変換画像の画素値に関する情報を、体積または面積の変化に応じて補正することで、統計量を算出することを特徴とする統計量算出手段の一例にも相当する。
以上の処理により、ステップＳ１０９０の処理が実行される。これにより、変形画像Ｉ３の注目領域Ｒの画素値の統計量を、治療後画像Ｉ２との体積の差異を補正した上で導出できる。これにより、治療後画像Ｉ２において注目領域Ｒに対応する領域（以下、対応領域Ｒ’）の画素値に関する統計量が算出される。
（ステップＳ１０９５）＜ヒストグラムの表示＞
本ステップにおいて制御部３７は、ステップＳ１０８０およびステップＳ１０９０で算出した、治療前画像Ｉ１の注目領域Ｒと治療後画像Ｉ２の対応領域Ｒ’における画素値の統計量（具体例としては、ヒストグラムＨ１およびＨ２）を、表示部３６に表示させる。この処理の具体例について図６を用いて説明する。図６は、本処理ステップにおける表示処理での画面構成の一例である。図に示すように、本処理ステップでは治療前画像３００および変形画像３６０を並べて表示し、さらにステップＳ１０８０およびステップＳ１０９０で算出したヒストグラム４１０および４２０を、夫々の画像に関係づけて表示するようにできる。ここで、変形画像Ｉ３の代わりに治療後画像Ｉ２を表示してもよい。すなわち、この処理は、変換画像または第２の画像と統計量とを並べて表示部に表示させる表示制御手段の一例に相当する。また、この処理は、変換画像または第２の画像と第２の統計量とを並べて表示部に表示するとともに、第１の画像と第１の統計量とを並べて表示部に表示させることを特徴とする表示制御手段の一例に相当する。この時、注目領域３３０を夫々の画像に重畳するなどして、表示されたヒストグラムが各画像の何れの領域の画素値のヒストグラムなのかが容易に視認できるように表示することが望ましい。また、治療前画像Ｉ１の注目領域Ｒと治療後画像Ｉ２の対応領域Ｒ’における画素値の統計量の変化量（具体例としては、ヒストグラムＨ１とＨ２の差や比）を求めて表示してもよい。なお、算出した統計量を表示する処理は必ずしも必要ではなく、算出した統計量を、夫々の検査画像に対応付けて記憶部３４や検査画像データベースに保存する処理のみを行ってもよい。
以上に説明した方法により、本実施形態における医療情報処理装置１０の処理が実行される。これによれば、治療前画像における注目領域と、該領域に対応する治療後画像の領域（すなわち、対応領域）において、画素値の統計量を定量的に計測できる効果がある。特に、前記画像間の位置合わせに基づいて画像間の対応する領域を同定した上で計測の範囲が設定され、また、変形画像に生じる局所的な体積変化の影響を排除した計測が行えるため、より精度の高い計測を行える効果がある。
なお、複数の治療後画像が存在する場合には、夫々の治療後画像に対して上記と同様の処理を行い、対応領域Ｒ’における画素値の統計量を算出して表示してもよい。また、治療前画像の注目領域における画素値の統計量が別の手段で算出されている状況等では、治療後画像の対応領域における画素値の統計量のみを求める構成であってもよい。この場合は、ステップＳ１０８０の処理は省略できる。
（変形例１－１）：注目領域の設定方法
本実施形態ではステップＳ１０７０において、注目領域取得部がユーザによる操作を受け付け、それに基づいて注目領域を設定する場合を例として説明したが、本発明の実施はこれに限らない。例えば、治療前画像Ｉ１や治療後画像Ｉ２、変形画像Ｉ３、差分画像Ｉ４を画像処理することによって注目領域を設定するようにしても良い。一例としては、治療前画像Ｉ１から治療対象である臓器の領域を抽出し、その領域に対して注目領域を設定するようにしても良い。例えば、自動抽出した領域をそのまま注目領域とすることや、自動抽出した領域を包含する所定の形状（例えば矩形や球形）の領域を注目領域とすることができる。それ以外にも、差分画像Ｉ４から画素値の差分が大きい領域を抽出し、その領域に対して注目領域を設定するようにしても良い。すなわち、この処理は、差分画像に基づいて注目領域を取得することを特徴とする注目領域取得手段の一例に相当する。また、前記の複数の画像の画素値の相互の関係等に基づいて注目領域を設定するようにしても良い。以上の方法によれば、注目領域の設定に関してユーザによる操作を省略化、または簡易化できる効果がある。また算出する統計量に関する定量性や再現性が向上する効果がある。また注目領域は、必ずしも治療前画像Ｉ１の中の一部の領域である必要はなく、治療前画像Ｉ１の全体を注目領域としても良い。
（変形例１－２）：画素値の統計量
本実施形態では統計量算出部４６が算出する画素値の統計量の一例としてヒストグラムを算出する場合を例として説明したが、本発明の実施はこれに限らず、他の何れの画素値の統計量であっても良い。例えば、統計量算出部４６は、注目領域における画素値の平均値を算出するようにしても良い。この場合、ステップＳ１０８０において、統計量算出部４６は、注目領域Ｒにおける治療前画像Ｉ１の画素値の加算および画素数のカウントを行う。そして、全画素の処理が終了した後に、加算値を画素数で割ることで、治療前画像Ｉ１の注目領域Ｒにおける画素値の平均値を算出する。またステップＳ１０９０において、統計量算出部４６は、注目領域Ｒにおける変形画像Ｉ３の画素値と当該位置の体積変化率との積を加算する処理を行うとともに画素値のカウントを行う。そして全画素の処理が終了した後に、加算値を画素数で割ることで、治療後画像Ｉ２の対応領域Ｒ’における画素値の平均値を算出する。なお、ステップＳ１０９０の処理は、上記の手順以外にも以下の手順によって行っても良い。まず、変形画像Ｉ３の各画素と、当該画素の座標値と同じ座標値の体積変化率マップＶｃ（ｘ）の値と掛け合わせた画像Ｉ５（ｘ）を算出する。次に、画像Ｉ５を対象として前記ステップＳ１０８０と同様の処理を行い、画素値の平均値を算出する。上記いずれの方法でも、変形画像と治療後画像との間の変形による体積変化率を考慮して、変形を施す前の治療後画像における平均画素値を算出することができる。
（変形例１－３）：２Ｄの場合の例
本実施形態では治療前画像Ｉ１および治療後画像Ｉ２がそれぞれ３次元画像である場合を例として説明したが、本発明の実施はこれに限らない。例えば、治療前画像Ｉ１および治療後画像Ｉ２は、単純Ｘ線画像や眼底写真などの２次元画像であっても良い。この場合、ステップＳ１０３０の処理は２次元画像間の位置合わせを行う。また、ステップＳ１０６０では、前記２次元画像間の位置合わせの結果に基づいて、画像の変形に伴う局所的な面積の変化率を算出する処理を実行する。すなわち、この処理は、第１の画像および第２の画像が２次元画像である場合には、対応関係に基づき、変換画像と第２の画像との間の面積の変化を算出することを特徴とする変化算出手段の一例に相当する。ステップＳ１０７０以降も、前記実施形態に記載の処理と同様の処理を、２次元画像を対象として実行できる。つまり、本発明は２次元画像に対しても適用される。
（変形例１－４）：体積変化率の補正の有無を切り替える
本実施形態では変形画像と治療後画像との間の変形に伴う体積変化率を算出し、それに基づいて画素値の統計量を補正する場合を例として説明したが、本発明の実施はこれに限らない。例えば、体積変化率による補正を行うか否かをユーザによる設定等の任意の条件によって切り替えるようにしても良い。ここで、体積変化率による補正を行わない場合には、ステップＳ１０９０において、統計量算出部４６は、ステップＳ１０８０と同様の処理を変形画像Ｉ３に対して実行する。これによれば、治療前画像と治療後画像との間の位置合わせ結果の局所的な体積変化が非常に小さいことが明らかである場合や、体積変化が及ぼす統計量への影響が許容可能な程度に小さい場合等に体積変化率による補正を省略し処理の効率化が行える効果がある。また、体積変化率による補正を行うか否かを切り替える条件は、上記のユーザによる設定に基づく場合に限らない。例えば、ステップＳ１０６０の処理よりも先にステップＳ１０７０の処理を実行して注目領域を取得し、前記注目領域における体積変化率を算出する。そして、算出した体積変化率の範囲や分散、平均等に基づき、画像全域にわたる体積変化率による補正を行うか否かを切り替えるようにできる。この場合、注目領域における体積変化率が統計量の算出に与える影響が大きいと予想される場合以外は、体積変化率による補正を省略することができる。また、上記の切り替えで体積変化率による補正を行う場合に、その事をユーザに提示するようにしても良い。これによれば、注目領域における体積変化に関する情報をユーザが間接的に観測できる効果がある。また、体積変化率で補正した統計量と補正しない統計量の両方を表示する構成であってもよい。
（変形例１－５）：体積変化率の算出
本実施形態では、ステップＳ１０６０において、変換関数の空間微分であるヤコビ行列を用いて、変形画像Ｉ３と治療後画像Ｉ２の間の体積変化率を算出していた。しかし、体積変化率の算出方法はこれに限定されるものではなく、他の何れの方法で算出してもよい。例えば、変形画像Ｉ３の注目画素の複数の（例えば６近傍の）隣接画素（座標ｘ＊）に注目して、当該隣接画素を頂点とする多面体の体積と、夫々のｘ＊の治療後画像Ｉ２における対応位置であるＤ（ｘ＊）を頂点とする多面体の体積を求める。そして、その比によって当該注目画素の体積変化率を算出するようにしてもよい。
［第二実施形態］
本発明の第二の実施形態について説明する。第一の実施形態では、治療後画像を治療前画像と略一致するように変形した変形画像における注目領域の画素値の統計量を体積変化率で補正することで、治療後画像における対応領域の画素値の統計量を算出する例を説明したが、本発明の実施はこれに限らない。第二の実施形態では、治療前画像上で定義した注目領域を、治療後画像の画像座標へ座標変換することで、治療後画像における対応領域の画素値の統計量を算出する場合を例として説明する。
図７は本発明の第二実施形態に関わる医療情報処理システムの全体構成を示す図である。第一実施形態の医療情報処理システムの構成と共通する要素には図１と同一の番号を付し、ここでは詳細な説明は省略する。医療情報処理システムは、医療情報処理装置２０、検査画像データベース２３を含み、装置は、通信手段を介して互いに通信可能に接続されている。本実施形態においては、通信手段はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）２１で構成されるが、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。また、通信手段の接続方法は有線接続であってもよいし、無線接続であってもよい。
医療情報処理装置２０は、その機能的な構成として、通信ＩＦ３１、ＲＯＭ３２、ＲＡＭ３３、記憶部３４、操作部３５、表示部３６、制御部５０を具備する。
制御部５０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等で実現され、医療情報処理装置２０における処理を統括制御する。制御部５０には、その機能的な構成として、検査画像取得部４１、位置合わせ部４２、変形画像生成部４３、差分画像生成部４４、注目領域取得部４５、統計量算出部４６、注目領域変形部４８を具備する。
注目領域変形部４８は、位置合わせ部４２が行う位置合わせの結果に基づいて、注目領域取得部４５が取得する注目領域を変形する。
なお、制御部５０が具備する各部の少なくとも一部は独立した装置として実現してもよい。また、夫々が機能を実現するソフトウェアとして実現してもよい。この場合、機能を実現するソフトウェアは、クラウドをはじめとするネットワークを介したサーバ上で動作してもよい。本実施形態では各部はローカル環境におけるソフトウェアにより夫々実現されているものとする。
また、図７に示す医療情報処理システムの構成はあくまで一例である。例えば、医療情報処理装置２０の記憶部３４が検査画像データベース２３の機能を具備し、記憶部３４が複数の患者に関する複数の検査画像とその付帯情報を保持してもよい。
次に図８を用いて、本実施形態における医療情報処理装置２０による全体の処理手順を詳細に説明する。また、以下では、例として検査画像としてＣＴ画像を用いる場合を例として説明するが、本発明の実施はこれに限定されるものではない。ＭＲＩ画像であってもよいし、超音波画像であってもよい。
ステップＳ２０１０からステップＳ２０３０において、医療情報処理装置２０は、第一実施形態におけるＳ１０１０からステップＳ１０３０として医療情報処理装置１０が実行する処理を同様の処理を実行する。また、ステップＳ２０４０からステップＳ２０５０も同様に、第一実施形態におけるステップＳ１０７０からステップＳ１０８０と同様の処理を実行する。上記の処理に関する詳細な説明は省略する。
（ステップＳ２０６０）＜注目領域の変形＞
ステップＳ２０６０において、注目領域変形部４８はステップＳ２０４０で取得した注目領域Ｒを変形する処理を実行する。本処理における変形は、治療前画像Ｉ１の画像座標系において定義される注目領域Ｒを、治療後画像Ｉ２の画像座標系に変換して、治療後画像Ｉ２における対応領域Ｒ’を導出することである。すなわち、この処理は、対応関係に基づき、注目領域に対応する、第２の画像の対応領域を取得する対応領域取得手段の一例に相当する。より具体的には、式７に示す計算により注目領域Ｒ（ｘ）を座標変換した変形後の注目領域（すなわち、対応領域）Ｒ’（ｘ）を算出する。
Figure 2022164785000008
・・・（式７）
ここで、Ｄ－１（ｘ）は、ステップＳ２０４０で取得した変換関数Ｄ（ｘ）の逆関数であり、治療後画像Ｉ２の画像座標値を引数とし、治療前画像Ｉ１の対応する位置の画像座標値を返す関数である。逆関数を求める処理は周知のいかなる方法を用いても良い。
（ステップＳ２０７０）＜治療後画像のヒストグラム算出＞
本処理ステップにおいて統計量算出部４６は、対応領域Ｒ’に含まれる治療後画像Ｉ２の画素値に関する統計量を算出する処理を実行する。具体的な処理は、注目領域Ｒにおける治療前画像Ｉ１のヒストグラムを生成するステップＳ２０５０と同様であり、対応領域Ｒ’における治療後画像Ｉ２のヒストグラムを生成する処理を実行する。すなわち、この処理は、対応領域に含まれる、第２の画像の画素値に関する統計量を算出する統計量算出手段の一例に相当する。これによりヒストグラムＨ２を算出する。
ステップＳ２０８０において、医療情報処理装置２０は、第一実施形態において医療情報処理装置１０がステップＳ１０９５として実行する処理と同様の処理を実行する。ここでは詳細な説明は省略する。
以上に説明した方法により、本実施形態における医療情報処理装置２０の処理が実行される。これによれば、治療前画像における注目領域と、該領域に対応する治療後画像の領域（すなわち、対応領域）において、画素値の統計量を定量的に計測できる効果がある。特に、前記画像間の位置合わせに基づいて画像間の対応する領域を同定した上で計測の範囲が設定され、また、変形画像に生じる局所的な体積変化の影響を排除した計測が行えるため、より精度の高い計測を行える効果がある。
＜その他の実施形態＞
上述した複数の変形例のうち少なくとも二つを組み合わせることも可能である。
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
１０ 医療情報処理装置
２１ ＬＡＮ
２３ 検査画像データベース
３１ 通信ＩＦ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 操作部
３６ 表示部
３７ 制御部
４１ 検査画像取得部
４２ 位置合わせ部
４３ 変形画像生成部
４４ 差分画像生成部
４５ 注目領域取得部
４６ 統計量算出部
４７ 体積変化率計測部

Claims (16)

  1. 第１の画像および第２の画像を取得する画像取得手段と、
    前記第１の画像と前記第２の画像の間の空間的な対応関係を取得する対応関係取得手段と、
    前記対応関係に基づき、前記第２の画像を前記第１の画像に略一致するように変換した変換画像を取得する画像変換手段と、
    前記対応関係に基づき、前記変換画像と前記第２の画像との間の体積または面積の変化を算出する変化算出手段と、
    前記体積または面積の変化に基づき、前記変換画像の画素値に関する統計量を算出する統計量算出手段と、
    を有することを特徴とする情報処理装置。
  2. 前記第１の画像の注目領域を取得する注目領域取得手段
    を更に有し、
    前記統計量算出手段は、前記体積または面積の変化に基づき、前記注目領域に対応する、前記変換画像の画素値に関する統計量を算出することを特徴とする請求項１に記載の情報処理装置。
  3. 前記第１の画像および前記変換画像との間の差分画像を生成する差分画像生成手段
    を更に有し、
    前記注目領域取得手段は、前記差分画像に基づいて注目領域を取得することを特徴とする請求項２に記載の情報処理装置。
  4. 前記統計量算出手段は、前記変換画像の画素値に関する情報を、前記体積または面積の変化に応じて補正することで、前記統計量を算出することを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
  5. 前記変化算出手段は、前記第１の画像および前記第２の画像が３次元画像である場合には、前記対応関係に基づき、前記変換画像と前記第２の画像との間の体積の変化を算出することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  6. 前記変化算出手段は、前記第１の画像および前記第２の画像が２次元画像である場合には、前記対応関係に基づき、前記変換画像と前記第２の画像との間の面積の変化を算出することを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
  7. 前記変換画像または前記第２の画像と前記統計量とを並べて表示部に表示させる表示制御手段
    を更に有することを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
  8. 前記統計量は、第２の統計量であり、
    前記統計量算出手段は、前記第１の画像の画素値に関する第１の統計量を更に算出し、前記表示制御手段は、前記変換画像または前記第２の画像と前記第２の統計量とを並べて前記表示部に表示するとともに、前記第１の画像と前記第１の統計量とを並べて前記表示部に表示させることを特徴とする請求項７に記載の情報処理装置。
  9. 前記表示制御手段は、前記統計量のヒストグラムを前記表示部に表示させることを特徴とする請求項７または８に記載の情報処理装置。
  10. 第１の画像および第２の画像を取得する画像取得手段と、
    前記第１の画像と前記第２の画像の間の空間的な対応関係を取得する対応関係取得手段と、
    前記第１の画像の注目領域を取得する注目領域取得手段と、
    前記対応関係に基づき、前記注目領域に対応する、前記第２の画像の対応領域を取得する対応領域取得手段と、
    前記対応領域に含まれる、前記第２の画像の画素値に関する統計量を算出する統計量算出手段と、
    を有することを特徴とする情報処理装置。
  11. 前記第２の画像と前記統計量とを並べて表示部に表示させる表示制御手段
    を更に有することを特徴とする請求項１０に記載の情報処理装置。
  12. 前記統計量は、第２の統計量であり、
    前記統計量算出手段は、前記第１の画像の画素値に関する第１の統計量を更に算出し、前記表示制御手段は、前記第２の画像と前記第２の統計量とを並べて前記表示部に表示するとともに、前記第１の画像と前記第１の統計量とを並べて前記表示部に表示させることを特徴とする請求項１１に記載の情報処理装置。
  13. 前記表示制御手段は、前記統計量のヒストグラムを前記表示部に表示させることを特徴とする請求項１１または１２に記載の情報処理装置。
  14. 第１の画像および第２の画像を取得する画像取得ステップと、
    前記第１の画像と前記第２の画像の間の空間的な対応関係を取得する対応関係取得ステップと、
    前記対応関係に基づき、前記第２の画像を前記第１の画像に略一致するように変換した変換画像を取得する画像変換ステップと、
    前記対応関係に基づき、前記変換画像と前記第２の画像との間の体積または面積の変化を算出する変化算出ステップと、
    前記体積または面積の変化に基づき、前記変換画像の画素値に関する統計量を算出する統計量算出ステップと、
    を有することを特徴とする情報処理方法。
  15. 第１の画像および第２の画像を取得する画像取得ステップと、
    前記第１の画像と前記第２の画像の間の空間的な対応関係を取得する対応関係取得ステップと、
    前記第１の画像の注目領域を取得する注目領域取得ステップと、
    前記対応関係に基づき、前記注目領域に対応する、前記第２の画像の対応領域を取得する対応領域取得ステップと、
    前記対応領域に含まれる、前記第２の画像の画素値に関する統計量を算出する統計量算出ステップと、
    を有することを特徴とする情報処理方法。
  16. 請求項１から１３のいずれか１項に記載の情報処理装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
JP2022137145A 2018-02-15 2022-08-30 情報処理装置、情報処理方法、及びプログラム Active JP7409624B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022137145A JP7409624B2 (ja) 2018-02-15 2022-08-30 情報処理装置、情報処理方法、及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018025039A JP2019136444A (ja) 2018-02-15 2018-02-15 情報処理装置、情報処理方法、及びプログラム
JP2022137145A JP7409624B2 (ja) 2018-02-15 2022-08-30 情報処理装置、情報処理方法、及びプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018025039A Division JP2019136444A (ja) 2018-02-15 2018-02-15 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022164785A true JP2022164785A (ja) 2022-10-27
JP7409624B2 JP7409624B2 (ja) 2024-01-09

Family

ID=67540212

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018025039A Pending JP2019136444A (ja) 2018-02-15 2018-02-15 情報処理装置、情報処理方法、及びプログラム
JP2022137145A Active JP7409624B2 (ja) 2018-02-15 2022-08-30 情報処理装置、情報処理方法、及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018025039A Pending JP2019136444A (ja) 2018-02-15 2018-02-15 情報処理装置、情報処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US11138736B2 (ja)
JP (2) JP2019136444A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7556715B2 (ja) 2020-07-27 2024-09-26 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2022234742A1 (ja) * 2021-05-06 2022-11-10

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006239270A (ja) * 2005-03-07 2006-09-14 Fuji Photo Film Co Ltd 異常陰影検出装置、異常陰影検出方法およびそのプログラム
JP2010155017A (ja) * 2009-01-05 2010-07-15 Fujifilm Corp 放射線画像表示方法及び装置、並びに放射線画像表示プログラム
US20120033865A1 (en) * 2009-04-15 2012-02-09 Koninklijke Philips Electronics N.V. Quantification of medical image data
WO2014156973A1 (ja) * 2013-03-29 2014-10-02 日立アロカメディカル株式会社 画像位置合せ表示方法及び超音波診断装置
JP2017196410A (ja) * 2016-04-26 2017-11-02 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005120353A1 (en) 2004-06-14 2005-12-22 Canon Kabushiki Kaisha Image processing device and method
KR101961968B1 (ko) * 2011-05-11 2019-03-25 아이큐브드 연구소 주식회사 화상 처리 장치, 화상 처리 방법 및 프로그램을 기록한 기록 매체
CN103518221B (zh) * 2011-05-11 2017-03-08 I<sup>3</sup>研究所股份有限公司 图像处理装置及方法、用计算机程序进行图像处理的方法
US8463012B2 (en) * 2011-10-14 2013-06-11 Siemens Medical Solutions Usa, Inc. System for comparison of medical images
JP6772123B2 (ja) * 2017-12-27 2020-10-21 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システムおよびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006239270A (ja) * 2005-03-07 2006-09-14 Fuji Photo Film Co Ltd 異常陰影検出装置、異常陰影検出方法およびそのプログラム
JP2010155017A (ja) * 2009-01-05 2010-07-15 Fujifilm Corp 放射線画像表示方法及び装置、並びに放射線画像表示プログラム
US20120033865A1 (en) * 2009-04-15 2012-02-09 Koninklijke Philips Electronics N.V. Quantification of medical image data
WO2014156973A1 (ja) * 2013-03-29 2014-10-02 日立アロカメディカル株式会社 画像位置合せ表示方法及び超音波診断装置
JP2017196410A (ja) * 2016-04-26 2017-11-02 東芝メディカルシステムズ株式会社 医用画像処理装置及び医用画像診断装置

Also Published As

Publication number Publication date
JP2019136444A (ja) 2019-08-22
US20190251691A1 (en) 2019-08-15
US11138736B2 (en) 2021-10-05
JP7409624B2 (ja) 2024-01-09

Similar Documents

Publication Publication Date Title
EP2252204B1 (en) Ct surrogate by auto-segmentation of magnetic resonance images
JP7409624B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2020110661A (ja) 診断支援装置、診断支援システム、情報処理方法、及びプログラム
JP6448356B2 (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP6316671B2 (ja) 医療画像処理装置および医用画像処理プログラム
JP6971544B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2003265408A (ja) 内視鏡誘導装置および方法
US11954860B2 (en) Image matching method and device, and storage medium
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20190236783A1 (en) Image processing apparatus, image processing method, and program
EP3389006A1 (en) Rib unfolding from magnetic resonance images
JP2024010085A (ja) 情報処理装置、情報処理方法およびプログラム
JP2024504867A (ja) 断層撮影スキャンの画像ベースの計画
JP2022111704A (ja) 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム
JP2022111705A (ja) 学習装置、画像処理装置、医用画像撮像装置、学習方法およびプログラム
CN117475250A (zh) 基于解剖结构数据模拟病理图像
JP7551419B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7086630B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7562799B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6732593B2 (ja) 画像処理装置および画像処理方法
JP7015351B2 (ja) 医用画像処理装置、医用画像処理方法
JP7500360B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022023564A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2022109778A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019141719A (ja) 医用画像処理装置、医用画像処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231003

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231213

R151 Written notification of patent or utility model registration

Ref document number: 7409624

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151