JP2019129951A - 肋骨展開画像生成装置、方法およびプログラム - Google Patents

肋骨展開画像生成装置、方法およびプログラム Download PDF

Info

Publication number
JP2019129951A
JP2019129951A JP2018013433A JP2018013433A JP2019129951A JP 2019129951 A JP2019129951 A JP 2019129951A JP 2018013433 A JP2018013433 A JP 2018013433A JP 2018013433 A JP2018013433 A JP 2018013433A JP 2019129951 A JP2019129951 A JP 2019129951A
Authority
JP
Japan
Prior art keywords
rib
image
axis direction
core wire
specific axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018013433A
Other languages
English (en)
Other versions
JP2019129951A5 (ja
Inventor
宮本 仁樹
Hitoki Miyamoto
仁樹 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2018013433A priority Critical patent/JP2019129951A/ja
Priority to US16/240,099 priority patent/US10896501B2/en
Priority to DE102019101629.0A priority patent/DE102019101629A1/de
Publication of JP2019129951A publication Critical patent/JP2019129951A/ja
Publication of JP2019129951A5 publication Critical patent/JP2019129951A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/466Displaying means of special interest adapted to display 3D data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/505Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30172Centreline of tubular or elongated structure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/06Curved planar reformation of 3D line structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biophysics (AREA)
  • Computer Graphics (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

【課題】肋骨展開画像生成装置、方法およびプログラムにおいて、肋骨の展開画像において、人体に対する展開画像を生成した断面の方向を容易に認識できるようにする。【解決手段】肋骨抽出部22が、3次元画像G0から肋骨を抽出し、芯線設定部23が肋骨の芯線を設定し、特定軸方向決定部24が、肋骨の芯線と交差する断面における特定軸方向を決定する。画像生成部25が、特定軸方向への芯線の移動の指示に応じて特定軸方向に芯線の位置を移動させ、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像を生成する。【選択図】図2

Description

本発明は、肋骨の長手方向に沿った断面を表す展開画像を生成する肋骨展開画像生成装置、方法およびプログラムに関するものである。
近年、CT(Computed Tomography)装置およびMRI(Magnetic Resonance Imaging)装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。ここで、CT装置およびMRI装置により取得される3次元画像は、多数の2次元画像から構成され情報量が多いため、医師が所望の観察部位を見つけ診断することに時間を要する場合がある。そこで、注目する臓器を認識し、注目する臓器を含む3次元画像に対して、MIP(Maximum Intensity Projection)処理、MinIP(Minimum Intensity Projection)処理、MPR(Multi Planar Reconstruction)処理、CPR(Curved Planer Reconstruction)処理等を行うことにより、臓器全体や病変の視認性を高めて診断の効率化を図ることが行われている。特に、CPR処理は3次元画像における任意の曲面を指定し、指定した曲面に沿った3次元画像を2次元画像に再構成してCPR画像を生成するものである。これにより、管状構造物の内壁面の形態あるいは骨の内部の形態について、長手方向の断面を一画面で表示することができる。
一方、患者の肋骨の骨折、あるいは癌等の病気の肋骨への転移を診断するために、肋骨の3次元画像に対してCPR処理を行うことにより、肋骨のCPR画像を生成する手法が提案されている(例えば、特許文献1参照)。また、肋骨のCPR画像を生成する際に肋骨の中心線を適切に抽出する手法も提案されている(非特許文献1参照)。CPR画像においては、各肋骨は直線状に展開された状態で示されている。このため、肋骨のCPR画像を展開画像と称する。肋骨の展開画像においては、肋骨は直線状になっているため、骨折している部分または腫瘍が転移している部分が観察しやすくなる。したがって、肋骨の展開画像を用いることにより、肋骨の診断を精度よく行うことができる。とくに、特許文献1に記載の手法においては、肋骨を展開する断面を肋骨の中心軸の周りに回転させることにより、中心軸を基準とした複数断面において肋骨を観察することができる。これにより、肋骨の内部を隅々まで観察することができるため、肋骨の診断をより精度よく行うことができる。
米国特許第9189847号明細書
Sowmya Ramakrishnan, Christopher Alvino, Leo Grady, Atilla Kiraly, "Automatic three-dimensional rib centerline extraction from CT scans for enhanced visualization and anatomical context", Proc. SPIE 7962, Medical Imaging 2011: Image Processing, 79622X (14 March 2011); doi: 10.1117/12.878283; http://dx.doi.org/10.1117/12.878283
しかしながら、特許文献1に記載された手法のように、肋骨を展開する断面を肋骨の中心軸の周りに回転させると、展開画像の上下方向が人体の上下方向(すなわち人体の体軸方向)と一致しなくなる。すなわち、展開画像を最初に表示した状態においては、展開画像の上下方向が人体の体軸方向に一致していても、肋骨を展開する断面を肋骨の中心軸の周りに回転させると、画像上の上下方向が体軸方向と一致しなくなる。このため、特許文献1に記載された手法においては、表示された展開画像において、どの方向が人体の体軸方向と一致するのか分からなくなってしまう。
本発明は上記事情に鑑みなされたものであり、肋骨の展開画像において、展開画像を生成した断面の人体に対する方向を容易に認識できるようにすることを目的とする。
本発明による肋骨展開画像生成装置は、肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出する肋骨抽出部と、
少なくとも1つの肋骨の芯線を設定する芯線設定部と、
少なくとも1つの肋骨の芯線と交差する断面における特定軸方向を決定する特定軸方向決定部と、
特定軸方向への芯線の移動の指示に応じて芯線の位置を特定軸方向に移動させ、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像を生成する画像生成部とを備える。
「芯線」とは、肋骨の各断面の中心(重心)を結んだ肋骨の中心線を意味する。なお、本発明においては、芯線は肋骨の断面に交差する特定軸方向に移動される。移動により、芯線は肋骨の各断面の中心(重心)を通らなくなるが、本実施形態においては、特定軸方向に移動された線についても、芯線と称するものとする。
なお、本発明による肋骨展開画像生成装置においては、展開画像を表示部に表示する表示制御部をさらに備えるものであってもよい。
また、本発明による肋骨展開画像生成装置においては、表示制御部は、複数の肋骨についての展開画像を結合した結合画像を表示部に表示するものであってもよい。
また、本発明による肋骨展開画像生成装置においては、表示制御部は、複数の肋骨を椎骨と対応づけて、結合画像を表示部に表示するものであってもよい。
また、本発明による肋骨展開画像生成装置においては、画像生成部は、複数の肋骨について、特定軸方向に等間隔に芯線を移動させるものであってもよい。
また、本発明による肋骨展開画像生成装置においては、画像生成部は、複数の肋骨について、特定軸方向の長さに応じた割合にて、芯線を移動させるものであってもよい。
本発明による肋骨展開画像生成方法は、肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出し、
少なくとも1つの肋骨の芯線を設定し、
少なくとも1つの肋骨の芯線と交差する断面における特定軸方向を決定し、
特定軸方向への芯線の移動の指示に応じて芯線の位置を特定軸方向に移動させ、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像を生成する。
なお、本発明による肋骨展開画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明による他の肋骨展開画像生成装置は、コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出し、
少なくとも1つの肋骨の芯線を設定し、
少なくとも1つの肋骨の芯線と交差する断面における特定軸方向を決定し、
特定軸方向への芯線の移動の指示に応じて芯線の位置を特定軸方向に移動させ、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像を生成する処理を実行する。
本発明によれば、肋骨を含む3次元画像から少なくとも1つの肋骨が抽出され、少なくとも1つの肋骨の芯線が抽出される。そして、少なくとも1つの肋骨の芯線と交差する断面における特定軸方向が決定され、移動の指示に応じて特定軸方向に芯線の位置が移動され、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像が生成される。このため、芯線を移動させても、生成される展開画像により規定される断面の向きは変更されない。したがって、肋骨における展開画像が生成される断面を変更しても、表示される展開画像において、人体における方向は変更されない。よって、いずれの断面の展開画像を表示しても、展開画像の断面が人体におけるいずれの方向を向いているかを認識することができる。
本発明の実施形態による肋骨展開画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図 本実施形態による肋骨展開画像生成装置の構成を示す概略ブロック図 抽出された肋骨を示す図 1つの肋骨に設定された芯線を示す図 肋骨の芯線に直交する断面を示す図 主成分分析の結果を示す図 1つの肋骨の展開画像を示す図 複数の肋骨の展開画像を結合した結合画像を示す図 特定軸方向に等間隔に芯線を移動させた場合の断面を示す図 特定軸方向の長さに応じた割合にて芯線を移動させた場合の断面を示す図 本実施形態において行われる処理を示すフローチャート 複数の肋骨の展開画像を結合した結合画像の他の例を示す図
以下、図面を参照して本発明の実施形態について説明する。図1は、本発明の第1の実施形態による肋骨展開画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図1に示すように、診断支援システムでは、本実施形態による肋骨展開画像生成装置1、3次元画像撮影装置2、および画像保管サーバ3が、ネットワーク4を経由して通信可能な状態で接続されている。そして、診断支援システムにおいては、被検体の診断対象となる肋骨のCPR画像である展開画像を、肋骨展開画像生成装置1において生成するものである。
3次元画像撮影装置2は、被検体の診断対象となる部位を撮影することにより、その部位を表す3次元画像を生成する装置であり、具体的には、CT装置、MRI装置、およびPET(Positron Emission Tomography)装置等である。この3次元画像撮影装置2により生成された3次元画像は画像保管サーバ3に送信され、保存される。なお、本実施形態においては、被検体の診断対象部位は肋骨であり、3次元画像撮影装置2はCT装置であり、被検体の胸部の3次元画像が生成されるものとする。
画像保管サーバ3は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ3は、有線あるいは無線のネットワーク4を介して他の装置と通信を行い、画像データ等を送受信する。具体的には3次元画像撮影装置2で生成された3次元画像等の画像データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク4経由での各装置間の通信は、DICOM(Digital Imaging and COmmunication in Medicine)等のプロトコルに基づいている。
肋骨展開画像生成装置1は、1台のコンピュータに、本発明の肋骨展開画像生成プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。肋骨展開画像生成プログラムは、DVD(Digital Versatile Disc)あるいはCD−ROM(Compact Disk Read Only Memory)等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。
図2は、コンピュータに肋骨展開画像生成プログラムをインストールすることにより実現される肋骨展開画像生成装置の概略構成を示す図である。図2に示すように、肋骨展開画像生成装置1は、標準的なワークステーションの構成として、CPU(Central Processing Unit)11、メモリ12およびストレージ13を備えている。また、肋骨展開画像生成装置1には、液晶モニタ等のディスプレイ14並びにキーボードおよびマウス等の入力部15が接続されている。なお、ディスプレイ14が表示部に対応する。
ストレージ13には、ネットワーク4を経由して画像保管サーバ3から取得した、被検体の3次元画像、並びに処理に必要な情報を含む各種情報が記憶されている。
また、メモリ12には、肋骨展開画像生成プログラムが記憶されている。肋骨展開画像生成プログラムは、CPU11に実行させる処理として、3次元画像撮影装置2が取得した、3次元画像G0を取得する画像取得処理、3次元画像G0から少なくとも1つの肋骨を抽出する肋骨抽出処理、少なくとも1つの肋骨の芯線を設定する芯線設定処理、少なくとも1つの肋骨の芯線と交差する断面における特定軸方向を決定する特定軸方向決定処理、特定軸方向への芯線の移動の指示に応じて特定軸方向に芯線の位置を移動させ、移動した位置の芯線に沿った断面に基づいて、少なくとも1つの肋骨の展開画像を生成する画像生成処理、および展開画像をディスプレイ14に表示する表示制御処理を規定する。
そして、CPU11がプログラムに従いこれらの処理を実行することで、コンピュータは、画像取得部21、肋骨抽出部22、芯線設定部23、特定軸方向決定部24、画像生成部25および表示制御部26として機能する。なお、本実施形態においては、CPU11が肋骨画像生成プログラムによって、各部の機能を実行するようにしたが、ソフトウェアを実行して各種の処理部として機能する汎用的なプロセッサとしては、CPU11の他、FPGA (Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)を用いることができる。また、ASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等により、各部の処理を実行するようにしてもよい。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、またはCPUとFPGAの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(circuitry)である。
画像取得部21は、診断の対象部位である肋骨を含む胸部の3次元画像G0を画像保管サーバ3から取得する。なお、3次元画像G0が既にストレージ13に記憶されている場合には、画像取得部21は、ストレージ13から3次元画像G0を取得するようにしてもよい。
肋骨抽出部22は、3次元画像G0から少なくとも1つの肋骨を抽出する。本実施形態においては、肋骨抽出部22は、3次元画像G0から複数の肋骨を抽出する。ここで、CT画像である3次元画像G0においては、骨部組織は軟部組織よりも高いCT値を有する。このため、肋骨抽出部22は、しきい値処理により3次元画像G0から骨部領域を抽出する。なお、骨部領域を判別するように学習がなされた判別器を用いて、3次元画像G0から骨部領域を抽出するようにしてもよい。
次いで、肋骨抽出部22は、抽出した骨部領域において椎骨を特定する。椎骨の特定は、椎骨の形状を表すテンプレートを用いたテンプレートマッチングにより行う。なお、椎骨を判別するように学習がなされた判別器を用いて、椎骨を特定するようにしてもよい。
ここで、肋骨は、椎骨を構成する椎体の一部である胸椎から左右に伸びる弓形の骨である。肋骨抽出部22は、特定した椎骨に含まれる椎体のうち、第1椎体〜第12椎体のそれぞれを起点として左右方向に伸びる骨部領域の一部分を検出し、検出した部分を起点として骨部領域を拡張していくことにより、右第1肋骨から右第12肋骨および左第1肋骨から左第12肋骨を抽出する。なお、肋骨は肋軟骨を介して胸骨と接続されているが、骨部領域を抽出するしきい値処理により、肋軟骨は骨部領域として抽出されていない。このため、肋骨抽出部22は、図3に示すように、肋軟骨を除く右第1肋骨から右第12肋骨および左第1肋骨から左第12肋骨を抽出する。なお、肋骨を判別するように学習がなされた判別器を用いて、骨部領域から肋骨を抽出するようにしてもよい。
芯線設定部23は、肋骨抽出部22が抽出した肋骨の芯線を設定する。芯線とは、肋骨の各断面の中心(重心)を結んだ肋骨の中心線である。本実施形態においては、芯線設定部23は、各肋骨内の局所領域ごとに、3×3のヘシアン(Hessian)行列の固有値を算出し、算出した固有値に基づいて芯線を設定する。ここで、肋骨のような線状構造が含まれる領域では、ヘシアン行列の3つの固有値のうち1つは0に近い値となり、他の2つは相対的に大きな値となる。また、値が0に近い固有値に対応する固有ベクトルは、線状構造の主軸方向を示すものとなる。芯線設定部23は、各肋骨の局所領域ごとに、ヘシアン行列の固有値に基づいて線状構造らしさを判定し、線状構造が識別された局所領域については、その中心点を芯線の候補点として検出する。そして、芯線設定部23は、検出された候補点を連結することにより各肋骨の芯線を設定する。図4は1つの肋骨に設定された芯線C0を示す図である。なお、図4においては、肋骨30の内部を通る芯線C0を破線で示し、肋骨30の外部においては芯線C0を一点鎖線で示している。
なお、芯線C0を設定する手法はこれに限定されるものではなく、任意の手法を用いることができる。例えば、細線化の手法を用いて芯線C0を設定してもよい。また、特開2004−313736号公報に記載された血管を抽出する手法を用いて、3次元画像G0から肋骨領域を抽出しつつ、芯線C0を設定してもよい。また、ボリュームレンダリング法等で表示された3次元画像G0をディスプレイ14に表示し、表示された画像上において、マウス等の入力装置を用いて肋骨の断面の中心点を手動で入力し、入力された複数の点をスプライン補間して芯線C0を設定してもよい。
特定軸方向決定部24は、肋骨の芯線C0と交差する断面における特定軸方向を決定する。本実施形態においては、特定軸方向決定部24は、肋骨の芯線C0と直交する断面における、断面の短軸方向を特定軸方向に決定する。図5は肋骨の芯線C0と直交する断面を示す図である。図5に示すように、肋骨の芯線C0と直交する断面31は、楕円に近似する形状を有する。特定軸方向決定部24は、3次元画像G0における各肋骨について、芯線C0の位置から一定範囲内(例えば肋骨の太さを考慮した一辺が20mmの立方体)の内部において各画素の微分値を算出し、微分値の主成分分析を行う。図5に示すように肋骨の芯線C0と直交する断面31は楕円で近似できる。このため、特定軸方向決定部24は、主成分分析により、図6に示すように、芯線C0方向のベクトルV1、断面の長軸方向のベクトルV2および断面の短軸方向のベクトルV3を算出する。そして、特定軸方向決定部24は、主成分分析により算出されるベクトルV3の方向、すなわち断面の短軸方向を特定軸方向に決定する。なお、特定軸方向決定部24は、各肋骨の芯線C0上において、あらかじめ定められた間隔により1つの肋骨における複数の断面において特定軸方向を決定してもよい。この場合、各断面において決定した特定軸方向を代表する1つの方向を、その肋骨についての特定軸方向に決定すればよい。代表する1つの方向としては、例えば、複数の特定軸方向を平均した方向、または複数の特定軸方向の中央値となる方向等を用いることができる。
また、本実施形態においては、複数の肋骨のそれぞれにおいて特定軸方向が決定されるが、複数の肋骨のそれぞれにおいて決定した特定軸方向を代表する1つの方向を、複数の肋骨のすべてに関する1つの特定軸方向に決定してもよい。なお、代表する1つの方向としては、例えば複数の肋骨のそれぞれについての特定軸方向を平均した方向、または複数の肋骨のそれぞれについての特定軸方向の中央値となる方向等を用いることができる。
なお、すべての肋骨の断面において、短軸方向は実質的に人体の前後方向を向くこととなる。このため、複数の複数の肋骨のそれぞれについて特定軸方向を決定した場合、複数の肋骨のそれぞれについての特定軸方向は、概ね同じ方向となる。
画像生成部25は、特定軸方向への芯線C0の移動の指示に応じて芯線C0の位置を特定軸方向に移動させ、移動した位置の芯線C0に沿った断面に基づいて、肋骨の展開画像を生成する。なお、芯線C0の移動の指示は、操作者により入力部15から行われる。本実施形態においては、画像生成部25は、各肋骨に対して、芯線C0を通り、かつ特定軸方向に直交する断面を設定する。そして、画像生成部25は、設定した断面において各肋骨を切断して展開画像を生成する。なお、本実施形態において生成される展開画像は、ストレートCPR(Straightened CPR)画像とするが、ストレッチCPR(Stretched CPR)画像、またはプロジェクトCPR(Projected CPR)画像でもよい。図7は一本の肋骨の展開画像を示す図である。図7に示すように、展開画像K0は、肋骨30を芯線C0に沿って展開した画像である。
表示制御部26は、画像生成部25が生成した展開画像K0をディスプレイ14に表示する。本実施形態においては、複数の肋骨についての展開画像K0を結合した結合画像Ktをディスプレイ14に表示する。この際、複数の肋骨についての展開画像K0を椎骨と対応づけた結合画像Ktをディスプレイ14に表示する。図8はディスプレイ14に表示された結合画像を示す図である。図8に示すように、結合画像Ktにおいては複数の肋骨についての展開画像が椎骨T1〜T12と対応づけられて表示されている。
画像生成部25は、芯線C0が移動されると、各肋骨について、移動された芯線C0の位置における展開画像を生成する。ここで、各肋骨の断面において3次元座標により表される芯線C0の位置をPi、肋骨の各断面における特定軸方向のベクトルをV3iとすると、各断面における移動後の芯線C0の位置は、下記の式(1)によりにより表すことができる。式(1)においてdは移動量である。画像生成部25は、移動した各位置における芯線C0に沿った断面に基づいて各肋骨の展開画像を生成する。
芯線の位置=Pi+d×V3i (1)
このようにして芯線C0を移動させると、全ての肋骨について、特定軸方向に展開画像を生成する断面が移動されることとなる。ここで、本実施形態において、肋骨の芯線C0に直交する断面は、人体の上下方向(すなわち体軸方向)に長軸を有し、人体の前後方向に短軸を有する。このため、特定軸方向に芯線C0を移動させることは、人体の前後方向に肋骨の断面を移動させることと、実質的に等価となる。
上記式(1)において、dは移動量であるため、各肋骨について式(1)を適用して展開画像K0を生成すると、全ての肋骨において芯線C0は等間隔で移動される。このため、細い肋骨では芯線C0の位置によっては展開画像K0に肋骨が含まれなくなる。すなわち、図9に示すように、太い肋骨33および細い肋骨34について、芯線C0を特定軸方向に移動させて5つの断面D1〜D5における展開画像を生成することを考える。この場合、断面D2〜D4においては太い肋骨33および細い肋骨34の双方において展開画像に肋骨が含まれる。しかしながら、断面D1,D5においては太い肋骨33の展開画像には肋骨が含まれるが、細い肋骨34については展開画像に肋骨が含まれなくなる。
このため、下記の式(2)により芯線C0を移動させるようにしてもよい。式(2)においてDは各肋骨の芯線C0から特定軸方向(すなわち短軸方向)の表面までの距離、rは比率(−0.5≦r≦0.5)である。この場合、芯線C0の移動の指示により、各肋骨においてrの値が変更されて、展開画像K0が生成される。これにより、図10に示すように、太い肋骨33の5つの断面D11〜D15において展開画像を生成した場合にも、細い肋骨34の5つの断面D21〜D25において展開画像を生成することができる。このため、肋骨の太さに拘わらず、任意の芯線C0の位置において、複数の肋骨の展開画像K0に肋骨を含ませることができる。
芯線の位置=Pi+D×r×V3i (2)
なお、特定軸方向決定部24が、複数の肋骨に対して1つの特定軸方向を決定している場合には、その特定軸方向に芯線C0を移動させればよい。また、特定軸方向決定部24が、複数の肋骨のそれぞれについて特徴点軸方向を決定している場合には、肋骨毎に対応する特定軸方向に芯線C0を移動させればよい。
次いで、本実施形態において行われる処理について説明する。図11は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部21が、3次元画像G0を取得し(ステップST1)、肋骨抽出部22が、3次元画像G0から肋骨を抽出する(ステップST2)。そして、芯線設定部23が肋骨の芯線C0を設定し(ステップST3)、特定軸方向決定部24が、肋骨の芯線C0と交差する断面における特定軸方向を決定する(ステップST4)。さらに、画像生成部25が、各肋骨における芯線C0に沿った断面に基づいて肋骨の展開画像K0を生成する(ステップST5)。次いで、表示制御部26が、複数の展開画像K0を結合して結合画像Ktを生成し(ステップST6)、結合画像Ktをディスプレイ14に表示する(ステップST7)。
一方、入力部15から特定事項方向への芯線C0の移動の指示があると(ステップST8:肯定)、画像生成部25は、特定軸方向への芯線の移動の指示に応じて特定軸方向に芯線の位置を移動させ、移動した位置の芯線に沿った断面に基づいて、肋骨の展開画像を生成し(ステップST9)、ステップST6に戻る。ステップST8が否定されると、終了の指示がなされたか否かが判定され(ステップST10)、ステップST10が否定されるとステップST7に戻る。ステップST10が肯定されると処理を終了する。
このように、本実施形態においては、芯線C0の移動の指示に応じて特定軸方向に芯線C0の位置を移動し、移動した位置の芯線C0に沿った断面に基づいて肋骨の展開画像K0を生成するようにした。このため、芯線C0を移動させても、生成される展開画像K0により規定される断面の向きは変更されない。したがって、肋骨における展開画像K0が生成される断面を変更しても、表示される展開画像K0において、人体における方向は変更されない。具体的には、本実施形態においては、概ね人体の前後方向に肋骨の断面が移動されることとなる。よって、いずれの断面の展開画像K0を表示しても、展開画像K0の断面が、人体におけるいずれの方向を向いているかを認識することができる。
なお、上記実施形態においては、複数の肋骨の展開画像K0を結合した結合画像Ktをディスプレイ14に表示しているが、1つの肋骨の展開画像K0をディスプレイ14に表示してもよい。
また、上記実施形態においては、結合画像Ktにおいて、複数の肋骨の展開画像を椎骨T1〜T12と対応づけて表示しているが、図12に示すように、椎骨と対応づけることなく、複数の肋骨の展開画像のみを結合した結合画像Kt1をディスプレイ14に表示するようにしてもよい。
以下、本実施形態の作用効果について説明する。
複数の肋骨についての展開画像を結合した結合画像を表示することにより、複数の肋骨の状態を一度に認識することができる。
複数の肋骨を椎骨と対応づけて結合画像を表示することにより、複数の肋骨と椎骨との位置関係を確認しつつ、複数の肋骨の状態を一度に認識することができる。
肋骨はその位置に応じて太さが異なるため、特定軸方向の長さが異なる。このため、複数の肋骨について、特定軸方向の長さに応じた割合にて芯線を移動させることにより、複数の肋骨についての展開画像の表示する断面を変更しても、複数の肋骨の展開画像を常に表示することが可能となる。
1 肋骨展開画像生成装置
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 ディスプレイ
15 入力部
21 画像取得部
22 肋骨抽出部
23 芯線設定部
24 特定軸方向決定部
25 画像生成部
26 表示制御部
30 肋骨
31 肋骨の断面
33 太い肋骨
34 細い肋骨
C0 芯線
D1〜D5、D11〜D15、D21〜D25 断面
G0 3次元画像
K0 展開画像
Kt,Kt1 結合画像
T1〜T12 椎骨

Claims (8)

  1. 肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出する肋骨抽出部と、
    前記少なくとも1つの肋骨の芯線を設定する芯線設定部と、
    前記少なくとも1つの肋骨の前記芯線と交差する断面における特定軸方向を決定する特定軸方向決定部と、
    前記特定軸方向への前記芯線の移動の指示に応じて前記芯線の位置を前記特定軸方向に移動させ、該移動した位置の芯線に沿った断面に基づいて、前記少なくとも1つの肋骨の展開画像を生成する画像生成部とを備えた肋骨展開画像生成装置。
  2. 前記展開画像を表示部に表示する表示制御部をさらに備えた請求項1に記載の肋骨展開画像生成装置。
  3. 前記表示制御部は、複数の肋骨についての前記展開画像を結合した結合画像を前記表示部に表示する請求項2に記載の肋骨展開画像生成装置。
  4. 前記表示制御部は、前記複数の肋骨を椎骨と対応づけて、前記結合画像を前記表示部に表示する請求項3に記載の肋骨展開画像生成装置。
  5. 前記画像生成部は、前記複数の肋骨について、前記特定軸方向に等間隔に前記芯線を移動させる請求項3または4に記載の肋骨展開画像生成装置。
  6. 前記画像生成部は、前記複数の肋骨について、前記特定軸方向の長さに応じた割合にて、前記芯線を移動させる請求項3または4に記載の肋骨展開画像生成装置。
  7. 肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出し、
    前記少なくとも1つの肋骨の芯線を設定し、
    前記少なくとも1つの肋骨の前記芯線と交差する断面における特定軸方向を決定し、
    前記特定軸方向への前記芯線の移動の指示に応じて前記芯線の位置を前記特定軸方向に移動させ、該移動した位置の芯線に沿った断面に基づいて、前記少なくとも1つの肋骨の展開画像を生成する肋骨展開画像生成方法。
  8. 肋骨を含む3次元画像から、少なくとも1つの肋骨を抽出する手順と、
    前記少なくとも1つの肋骨の芯線を設定する手順と、
    前記少なくとも1つの肋骨の前記芯線と交差する断面における特定軸方向を決定する手順と、
    前記特定軸方向への前記芯線の移動の指示に応じて前記芯線の位置を前記特定軸方向に移動させ、該移動した位置の芯線に沿った断面に基づいて、前記少なくとも1つの肋骨の展開画像を生成する手順とをコンピュータに実行させる肋骨展開画像生成プログラム。
JP2018013433A 2018-01-30 2018-01-30 肋骨展開画像生成装置、方法およびプログラム Pending JP2019129951A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018013433A JP2019129951A (ja) 2018-01-30 2018-01-30 肋骨展開画像生成装置、方法およびプログラム
US16/240,099 US10896501B2 (en) 2018-01-30 2019-01-04 Rib developed image generation apparatus using a core line, method, and program
DE102019101629.0A DE102019101629A1 (de) 2018-01-30 2019-01-23 Vorrichtung zur erzeugung entwickelter bilder von rippen, verfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018013433A JP2019129951A (ja) 2018-01-30 2018-01-30 肋骨展開画像生成装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2019129951A true JP2019129951A (ja) 2019-08-08
JP2019129951A5 JP2019129951A5 (ja) 2020-03-05

Family

ID=67224408

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018013433A Pending JP2019129951A (ja) 2018-01-30 2018-01-30 肋骨展開画像生成装置、方法およびプログラム

Country Status (3)

Country Link
US (1) US10896501B2 (ja)
JP (1) JP2019129951A (ja)
DE (1) DE102019101629A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004041T5 (de) 2018-08-10 2021-07-15 Denso Corporation Fahrzeuginformationskommunikationssystem

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7127212B2 (ja) * 2019-04-25 2022-08-29 富士フイルム株式会社 画像の向き設定装置、方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130070996A1 (en) * 2011-09-19 2013-03-21 Siemens Aktiengesellschaft Method and System for Up-Vector Detection for Ribs in Computed Tomography Volumes
US20150131881A1 (en) * 2013-11-12 2015-05-14 Siemens Aktiengesellschaft 2d visualization for rib analysis

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6824565B2 (en) * 2000-09-08 2004-11-30 Nabil L. Muhanna System and methods for inserting a vertebral spacer
JP3984202B2 (ja) 2003-04-02 2007-10-03 ザイオソフト株式会社 医用画像処理装置、医用画像処理方法、および、プログラム
US8014575B2 (en) * 2004-03-11 2011-09-06 Weiss Kenneth L Automated neuroaxis (brain and spine) imaging with iterative scan prescriptions, analysis, reconstructions, labeling, surface localization and guided intervention
US7804986B2 (en) * 2005-09-13 2010-09-28 Siemens Medical Solutions Usa, Inc. System and method for detecting intervertebral disc alignment using vertebrae segmentation
FR2890850B1 (fr) * 2005-09-20 2009-04-17 Abbott Spine Sa Systeme de fixation vertebrale
JP2012019298A (ja) * 2010-07-06 2012-01-26 Sanyo Electric Co Ltd リモコン受信装置および投写型表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130070996A1 (en) * 2011-09-19 2013-03-21 Siemens Aktiengesellschaft Method and System for Up-Vector Detection for Ribs in Computed Tomography Volumes
US20150131881A1 (en) * 2013-11-12 2015-05-14 Siemens Aktiengesellschaft 2d visualization for rib analysis

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112019004041T5 (de) 2018-08-10 2021-07-15 Denso Corporation Fahrzeuginformationskommunikationssystem

Also Published As

Publication number Publication date
US20190236776A1 (en) 2019-08-01
US10896501B2 (en) 2021-01-19
DE102019101629A1 (de) 2019-08-01

Similar Documents

Publication Publication Date Title
US20220249038A1 (en) Determining Rotational Orientation Of A Deep Brain Stimulation Electrode In A Three-Dimensional Image
JP6026098B2 (ja) 医用画像処理装置
US20200058098A1 (en) Image processing apparatus, image processing method, and image processing program
JP6918528B2 (ja) 医用画像処理装置及び医用画像処理プログラム
JP6363575B2 (ja) 画像位置合わせ装置および方法並びにプログラム
US20130190602A1 (en) 2d3d registration for mr-x ray fusion utilizing one acquisition of mr data
CN109152566B (zh) 校正超声融合成像系统中的探头引起的变形
US20130257910A1 (en) Apparatus and method for lesion diagnosis
US20230316550A1 (en) Image processing device, method, and program
JP2020096773A (ja) 医用画像処理装置、方法およびプログラム
JP2016189946A (ja) 医用画像位置合わせ装置および方法並びにプログラム
JP2023036805A (ja) 人体部分の撮像方法、コンピュータ、コンピュータ読み取り可能記憶媒体、コンピュータプログラム、および医療システム
US10896501B2 (en) Rib developed image generation apparatus using a core line, method, and program
CN108601512B (zh) 在存在组织变形的情况下提供外科手术辅助的系统和方法
US20220000442A1 (en) Image orientation setting apparatus, image orientation setting method, and image orientation setting program
US20180247411A1 (en) Mapping image generation device, method, and program
JP2015136480A (ja) 3次元医用画像表示制御装置およびその作動方法並びに3次元医用画像表示制御プログラム
EP3695380B1 (en) Hypersurface reconstruction of microscope view
US11138736B2 (en) Information processing apparatus and information processing method
JP2019500114A (ja) 位置合わせ精度の決定
JPWO2020090445A1 (ja) 領域修正装置、方法およびプログラム
JPWO2019150717A1 (ja) 葉間膜表示装置、方法およびプログラム
JP2020010734A (ja) 検査支援装置、方法およびプログラム
JP7436698B2 (ja) 医用画像処理装置、方法およびプログラム
US20240016365A1 (en) Image processing device, method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200123

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210831

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220406

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220414

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220419

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220603

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220607

C609 Written withdrawal of request for trial/appeal

Free format text: JAPANESE INTERMEDIATE CODE: C609

Effective date: 20220725