JP2017131454A - Medical image display system, medical image display program and medical image display method - Google Patents

Medical image display system, medical image display program and medical image display method Download PDF

Info

Publication number
JP2017131454A
JP2017131454A JP2016014906A JP2016014906A JP2017131454A JP 2017131454 A JP2017131454 A JP 2017131454A JP 2016014906 A JP2016014906 A JP 2016014906A JP 2016014906 A JP2016014906 A JP 2016014906A JP 2017131454 A JP2017131454 A JP 2017131454A
Authority
JP
Japan
Prior art keywords
medical image
feature point
region
unit
pixel area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016014906A
Other languages
Japanese (ja)
Other versions
JP6642048B2 (en
Inventor
正樹 石原
Masaki Ishihara
正樹 石原
遠藤 進
Susumu Endo
進 遠藤
昌彦 杉村
Masahiko Sugimura
昌彦 杉村
武部 浩明
Hiroaki Takebe
浩明 武部
馬場 孝之
Takayuki Baba
孝之 馬場
上原 祐介
Yusuke Uehara
祐介 上原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016014906A priority Critical patent/JP6642048B2/en
Publication of JP2017131454A publication Critical patent/JP2017131454A/en
Application granted granted Critical
Publication of JP6642048B2 publication Critical patent/JP6642048B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Apparatus For Radiation Diagnosis (AREA)

Abstract

PROBLEM TO BE SOLVED: To accelerate positioning on a medical image.SOLUTION: A medical image display system comprises: a feature point extraction part for extracting a feature point used for positioning with other medical image, from a medical image; a density threshold processing part for extracting a grayscale pixel area of a pixel having a density value in a prescribed density range from the medical image; an edge detection part for detecting an edge pixel area from the medical image; a determination part for specifying a position of the edge pixel area included in the inside of the grayscale pixel area extracted from the medical image, in the grayscale pixel area, and for determining whether or not the grayscale pixel area is a disease area; and a positioning processing part performing positioning of the medical image and other medical image, using the feature point included in the grayscale pixel area which is determined that it is not the disease area by the determination part, out of the feature points extracted from the medical image.SELECTED DRAWING: Figure 12

Description

本発明は、医療画像表示システム、医療画像表示プログラム及び医療画像表示方法に関する。   The present invention relates to a medical image display system, a medical image display program, and a medical image display method.

医療の現場では、患者の疾患の経過判断のために、読影医が、異なる時期に撮影されたCT(Computed Tomography)画像等の医療画像を、医療画像表示システムを用いて比較読影する場合がある。このとき、比較読影される患者の部位が肺等であった場合、CT画像の各領域には患者の心拍や呼吸に伴う位置の変動が含まれることになる。このため、医療画像表示システムでは、CT画像内の所定の領域を表示する際に特徴点(例えば血管、気管支の分岐部分等)を抽出し、特徴点の位置がマッチングするように位置合わせを行うことで、比較する領域について位置の変動を補正する。これにより、読影医は、肺等の部位のCT画像であっても、領域ごとの比較読影を容易に行うことができる。   In the medical field, in order to judge the progress of a patient's disease, an interpreting doctor may comparatively interpret medical images such as CT (Computed Tomography) images taken at different times using a medical image display system. . At this time, when the part of the patient to be comparatively interpreted is the lung or the like, each region of the CT image includes position fluctuations accompanying the patient's heartbeat and respiration. For this reason, in a medical image display system, when displaying a predetermined region in a CT image, feature points (for example, blood vessels, bronchial bifurcations) are extracted, and alignment is performed so that the positions of the feature points match. As a result, the variation of the position is corrected for the region to be compared. Thereby, the interpretation doctor can easily perform comparative interpretation for each region even in the case of a CT image of a region such as the lung.

特開2013−141603号公報JP 2013-141603 A

ここで、上記のようなマッチングを行う場合、抽出した特徴点の数が多いと、位置合わせに時間がかかるという問題がある。特に、抽出した全ての特徴点を用いて位置合わせを行うシステムの場合、抽出した特徴点の中には、マッチングに失敗する可能性が高い特徴点も含まれており、位置合わせに時間がかかる要因となっている。   Here, when performing matching as described above, there is a problem that it takes time to perform alignment if the number of extracted feature points is large. In particular, in the case of a system that performs registration using all the extracted feature points, the extracted feature points include feature points that are likely to fail in matching, and the alignment takes time. It is a factor.

一つの側面では、医療画像における位置合わせを高速化することを目的とする。   An object of one aspect is to speed up alignment in medical images.

一態様によれば、医療画像表示システムは、
医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出する特徴点抽出部と、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出する濃度閾値処理部と、
前記医療画像より、エッジ画素領域を検出するエッジ検出部と、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定する判定部と、
前記医療画像より抽出された前記特徴点のうち、前記判定部により疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う位置合わせ処理部とを有する。
According to one aspect, a medical image display system includes:
A feature point extraction unit for extracting a feature point used for alignment with another medical image from the medical image;
From the medical image, a density threshold processing unit that extracts a gray pixel region including pixels having density values within a predetermined density range;
From the medical image, an edge detection unit that detects an edge pixel region;
Determination that determines whether or not the gray pixel area is a disease area by specifying the position of the edge pixel area included in the gray pixel area extracted from the medical image in the gray pixel area And
Among the feature points extracted from the medical image, the medical image and the other medical image are used by using the feature point included in the gray pixel region determined not to be a disease region by the determination unit. And an alignment processing unit for performing the alignment.

医療画像における位置合わせを高速化することができる。   Positioning in a medical image can be speeded up.

CT画像撮影システムの一例を示す図である。It is a figure which shows an example of CT image imaging system. 医療画像表示システムのハードウェア構成を示す図である。It is a figure which shows the hardware constitutions of a medical image display system. 医療画像表示システムにおける診断支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す第1の図である。It is a 1st figure which shows the relationship between the processing content of the diagnosis assistance part in a medical image display system, the operation content of a radiogram interpretation doctor, and the display content of a parallel display screen. 医療画像表示システムにおける診断支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す第2の図である。It is a 2nd figure which shows the relationship between the processing content of the diagnostic assistance part in a medical image display system, the operation content of an image interpretation doctor, and the display content of a parallel display screen. 画像DBに格納される情報の一例を示す図である。It is a figure which shows an example of the information stored in image DB. 第2のレジストレーション部の機能構成の詳細を示す図である。It is a figure which shows the detail of a function structure of a 2nd registration part. 特徴点抽出部の処理内容の詳細を説明するための図である。It is a figure for demonstrating the detail of the processing content of a feature point extraction part. CT値と、CT画像における濃度値と、患者の組織との関係を示した図である。It is the figure which showed the relationship between CT value, the density value in a CT image, and a patient's tissue. 特徴点フィルタリング部において抽出した濃淡画素領域が、疾患領域であるか否かを判定する処理を説明するための第1の図である。It is a 1st figure for demonstrating the process which determines whether the grayscale pixel area extracted in the feature point filtering part is a disease area | region. 特徴点フィルタリング部において抽出した濃淡画素領域が、疾患領域であるか否かを判定する処理を説明するための第2の図である。It is a 2nd figure for demonstrating the process which determines whether the grayscale pixel area extracted in the feature point filtering part is a disease area | region. 特徴点フィルタリング部において抽出した濃淡画素領域が、疾患領域であるか否かを判定する処理を説明するための第3の図である。It is a 3rd figure for demonstrating the process which determines whether the grayscale pixel area extracted in the feature point filtering part is a disease area | region. 特徴点フィルタリング部の機能構成を示す第1の図である。It is a 1st figure which shows the function structure of a feature point filtering part. 特徴点フィルタリング処理の第1のフローチャートである。It is a 1st flowchart of a feature point filtering process. 特徴点フィルタリング処理前後の画像を示す図である。It is a figure which shows the image before and behind a feature point filtering process. 特徴点フィルタリング部の機能構成の詳細を示す第2の図である。It is a 2nd figure which shows the detail of a function structure of a feature point filtering part. 各特徴点について算出された信頼度を示す図である。It is a figure which shows the reliability calculated about each feature point. 特徴点フィルタリング処理の第2のフローチャートである。It is a 2nd flowchart of a feature point filtering process.

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。   Each embodiment will be described below with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, the duplicate description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、以下の各実施形態において、"CT画像の位置合わせに有効な特徴点"とは、例えば、各CT画像間で経時変化しないか、ほとんど経時変化しない領域(正常領域)の内部に含まれる特徴点を指す。正常領域の内部に含まれる特徴点は、マッチングに成功する可能性が高いからである。更に、以下の各実施形態において、"CT画像の位置合わせに有効でない特徴点"とは、例えば、すりガラス状陰影等のように癌の初期状態である疾患領域の内部に含まれる特徴点を指す。疾患領域は、病気の進行に伴って経時変化する蓋然性が高く、疾患領域の内部に含まれる特徴点は、マッチングに失敗する可能性が高いからである。   In the following embodiments, “feature points effective for CT image alignment” are included, for example, in a region (normal region) that does not change with time or hardly changes with time between CT images. Refers to a feature point. This is because the feature points included in the normal region are highly likely to be successfully matched. Furthermore, in the following embodiments, “feature points that are not effective for CT image alignment” refer to feature points that are included in a disease region that is an initial state of cancer, such as a ground glass-like shadow, for example. . This is because the disease region has a high probability of changing with time as the disease progresses, and the feature points included in the disease region are likely to fail in matching.

[第1の実施形態]
はじめに、第1の実施形態における医療画像表示システムを含むCT(Computed Tomography)画像撮影システムについて説明する。図1は、CT画像撮影システムの一例を示す図である。
[First Embodiment]
First, a CT (Computed Tomography) image capturing system including the medical image display system according to the first embodiment will be described. FIG. 1 is a diagram illustrating an example of a CT image imaging system.

CT画像撮影システム100は、CT装置110と医療画像表示システム120と画像データベース(以下、データベースをDBと略す)130とを有する。CT装置110と医療画像表示システム120とは配線111を介して接続されており、両装置間では各種データの送受信が行われる。また、医療画像表示システム120と画像DB130とは配線121を介して接続されており、両装置間においても各種データの送受信が行われる。   The CT image capturing system 100 includes a CT apparatus 110, a medical image display system 120, and an image database (hereinafter, the database is abbreviated as DB) 130. The CT apparatus 110 and the medical image display system 120 are connected via a wiring 111, and various types of data are transmitted and received between the both apparatuses. In addition, the medical image display system 120 and the image DB 130 are connected via a wiring 121, and various types of data are transmitted and received between both devices.

CT装置110は、放射線等を利用して患者の体内を走査し、コンピュータを用いて処理することで、患者のスライス画像であるCT画像を生成する(以下、このような処理を"CT画像を撮影する"と称する)。CT装置110は、撮影したCT画像を医療画像表示システム120に送信する。   The CT apparatus 110 scans the inside of a patient using radiation or the like, and generates a CT image which is a slice image of the patient by processing using a computer (hereinafter, such processing is referred to as “CT image”). Called "shoot"). The CT apparatus 110 transmits the captured CT image to the medical image display system 120.

医療画像表示システム120は、CT装置110において撮影されたCT画像を、接続された画像DB130に格納する。医療画像表示システム120には診断支援プログラムがインストールされており、診断支援プログラムがコンピュータにより実行されることで、医療画像表示システム120は診断支援部140として機能する。   The medical image display system 120 stores CT images taken by the CT apparatus 110 in the connected image DB 130. A diagnostic support program is installed in the medical image display system 120, and the medical image display system 120 functions as the diagnostic support unit 140 when the diagnostic support program is executed by a computer.

画像DB130は、CT装置110において撮影されたCT画像を、医療画像表示システム120を介して受信し、同じ時期に撮影された複数のCT画像(撮像群)ごとにわけて格納する。   The image DB 130 receives CT images taken by the CT apparatus 110 via the medical image display system 120 and stores them separately for each of a plurality of CT images (imaging groups) taken at the same time.

診断支援部140は、画像DB130に格納されたCT画像を、読影医が読影する際に利用される。診断支援部140は、例えば異なる時期に撮影されたCT画像を、読影医が比較読影できるように並列に表示する。なお、以下では、並列に表示されたCT画像のうち、一方(例えば所定期間経過前に撮影されたCT画像)を"比較元CT画像"と称し、他方(例えば所定期間経過後に撮影されたCT画像)を"比較先CT画像"と称する。   The diagnosis support unit 140 is used when an interpreting doctor interprets a CT image stored in the image DB 130. The diagnosis support unit 140 displays, for example, CT images taken at different times in parallel so that the interpretation doctor can perform comparative interpretation. In the following, one of the CT images displayed in parallel (for example, a CT image taken before the lapse of a predetermined period) is referred to as a “comparison source CT image”, and the other (for example, a CT image taken after the lapse of a predetermined period). Image) is referred to as a “comparison target CT image”.

診断支援部140は、比較元CT画像内において読影医により指定された位置を含む所定領域(ROI:Region of interest)の画像を拡大表示画面に拡大表示する。また、診断支援部140は、指定された位置を含む所定領域に対応する対応領域の画像を比較先CT画像より抽出し、拡大表示画面に拡大表示する。   The diagnosis support unit 140 enlarges and displays an image of a predetermined region (ROI: Region of interest) including the position designated by the interpretation doctor in the comparison source CT image on the enlarged display screen. Further, the diagnosis support unit 140 extracts an image of a corresponding area corresponding to a predetermined area including the designated position from the comparison target CT image, and displays the enlarged image on the enlarged display screen.

なお、診断支援部140は、これらの処理を実行するために、第1のレジストレーション部141と、第2のレジストレーション部142と、表示制御部143とを有する。   The diagnosis support unit 140 includes a first registration unit 141, a second registration unit 142, and a display control unit 143 in order to execute these processes.

第1のレジストレーション部141は、例えば、第1のレジストレーションプログラムがコンピュータにより実行されることで実現される。第1のレジストレーション部141は、異なる時期に撮影されたCT画像を並列に表示する際に、各CT画像間の位置ずれをアフィン変換により補正することで、各CT画像間の大域的位置合わせを行う。   The first registration unit 141 is realized, for example, by executing a first registration program by a computer. When the first registration unit 141 displays CT images taken at different times in parallel, the first registration unit 141 corrects misalignment between the CT images by affine transformation, thereby performing global alignment between the CT images. I do.

第2のレジストレーション部142は、例えば、医療画像表示プログラムの一例である第2のレジストレーションプログラムがコンピュータにより実行されることで実現される。第2のレジストレーション部142は、読影医により指定された位置を含む所定領域の画像を抽出するとともに、比較先CT画像において変換処理を行うことで局所的位置合わせを行い、比較先CT画像より対応領域の画像を抽出する。なお、変換処理には種々の処理が含まれるが、第1の実施形態において変換処理とは、平行移動を指すものとし、以下では、変換処理を行うことで比較先CT画像より抽出された対応領域の画像を、"局所的位置合わせが行われた画像"と称する。   For example, the second registration unit 142 is realized by a computer executing a second registration program that is an example of a medical image display program. The second registration unit 142 extracts an image of a predetermined region including the position designated by the interpretation doctor, performs local alignment by performing a conversion process on the comparison target CT image, and performs comparison with the comparison target CT image. Extract the corresponding region image. Although various processes are included in the conversion process, in the first embodiment, the conversion process refers to a parallel movement, and in the following, the correspondence extracted from the comparison target CT image by performing the conversion process. The image of the region is referred to as “image with local alignment”.

表示制御部143は、例えば、表示プログラムがコンピュータにより実行されることで実現される。表示制御部143は、読影医により選択された比較元CT画像を表示するよう制御するとともに、読影医により指定された位置を含む所定領域の画像を拡大表示画面に拡大表示するよう制御する。また、表示制御部143は、第2のレジストレーション部142により抽出された、局所的な位置合わせが行われた画像を拡大表示画面に拡大表示するよう制御する。   The display control unit 143 is realized, for example, by executing a display program by a computer. The display control unit 143 controls to display the comparison source CT image selected by the interpretation doctor, and controls to enlarge and display an image of a predetermined area including the position designated by the interpretation doctor. In addition, the display control unit 143 performs control so that the image extracted by the second registration unit 142 and subjected to local alignment is enlarged and displayed on the enlarged display screen.

次に、医療画像表示システム120のハードウェア構成について説明する。図2は、医療画像表示システムのハードウェア構成を示す図である。図2に示すように、医療画像表示システム120は、CPU(Central Processing Unit)201、ROM(Read Only Memory)202、RAM(Random Access Memory)203を備える。また、医療画像表示システム120は、補助記憶装置204、接続装置205、表示装置206、操作装置207、ドライブ装置208を備える。なお、医療画像表示システム120の各部は、バス209を介して相互に接続されている。   Next, the hardware configuration of the medical image display system 120 will be described. FIG. 2 is a diagram illustrating a hardware configuration of the medical image display system. As shown in FIG. 2, the medical image display system 120 includes a CPU (Central Processing Unit) 201, a ROM (Read Only Memory) 202, and a RAM (Random Access Memory) 203. The medical image display system 120 includes an auxiliary storage device 204, a connection device 205, a display device 206, an operation device 207, and a drive device 208. Each unit of the medical image display system 120 is connected to each other via a bus 209.

CPU201は、補助記憶装置204に格納された各種プログラム(例えば、第1のレジストレーションプログラム、第2のレジストレーションプログラム、表示プログラム等)を実行するコンピュータである。   The CPU 201 is a computer that executes various programs (for example, a first registration program, a second registration program, a display program, etc.) stored in the auxiliary storage device 204.

ROM202は不揮発性メモリである。ROM202は、補助記憶装置204に格納された各種プログラムをCPU201が実行するために必要な各種プログラム、データ等を格納する主記憶部として機能する。具体的には、ROM202は、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラム等を格納する。   The ROM 202 is a nonvolatile memory. The ROM 202 functions as a main storage unit that stores various programs, data, and the like necessary for the CPU 201 to execute various programs stored in the auxiliary storage device 204. Specifically, the ROM 202 stores a boot program such as a basic input / output system (BIOS) or an extensible firmware interface (EFI).

RAM203は揮発性メモリであり、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等を含む。RAM203は、補助記憶装置204に格納された各種プログラムがCPU201によって実行される際に展開される、作業領域を提供する主記憶部である。   The RAM 203 is a volatile memory, and includes a DRAM (Dynamic Random Access Memory), an SRAM (Static Random Access Memory), and the like. The RAM 203 is a main storage unit that provides a work area that is expanded when various programs stored in the auxiliary storage device 204 are executed by the CPU 201.

補助記憶装置204は、医療画像表示システム120にインストールされた各種プログラムや、各種プログラムが実行されることで生成されるデータ等を記録するコンピュータ読み取り可能な記憶装置である。   The auxiliary storage device 204 is a computer-readable storage device that records various programs installed in the medical image display system 120 and data generated by executing the various programs.

接続装置205は、CT装置110及び画像DB130と接続され、CT装置110及び画像DB130との間で、各種データの送受信を行う。表示装置206は、画像DB130に格納されたCT画像を表示制御部143による制御のもとで並列表示画面に表示する。操作装置207は、読影医が医療画像表示システム120に対して行う各種操作を受け付ける。   The connection device 205 is connected to the CT device 110 and the image DB 130, and transmits and receives various data between the CT device 110 and the image DB 130. The display device 206 displays the CT image stored in the image DB 130 on the parallel display screen under the control of the display control unit 143. The operation device 207 accepts various operations performed on the medical image display system 120 by the image interpretation doctor.

ドライブ装置208は記録媒体210をセットするためのデバイスである。ここでいう記録媒体210には、CD−ROM、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体210には、ROM、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等も含まれる。   The drive device 208 is a device for setting the recording medium 210. The recording medium 210 here includes a medium for recording information optically, electrically or magnetically, such as a CD-ROM, a flexible disk, a magneto-optical disk or the like. The recording medium 210 also includes a semiconductor memory that electrically records information, such as a ROM and a flash memory.

なお、補助記憶装置204に格納される各種プログラムは、例えば、配布された記録媒体210がドライブ装置208にセットされ、該記録媒体210に記録された各種プログラムがドライブ装置208により読み出されることでインストールされる。あるいは、補助記憶装置204に格納される各種プログラムは、接続装置205を介してネットワークからダウンロードされることでインストールされる。   The various programs stored in the auxiliary storage device 204 are installed by, for example, setting the distributed recording medium 210 in the drive device 208 and reading the various programs recorded in the recording medium 210 by the drive device 208. Is done. Alternatively, various programs stored in the auxiliary storage device 204 are installed by being downloaded from the network via the connection device 205.

次に、診断支援部140として機能する医療画像表示システム120の処理内容と、そのときの読影医の操作内容ならびに医療画像表示システム120の表示装置206に表示される並列表示画面との関係について説明する。   Next, the relationship between the processing content of the medical image display system 120 functioning as the diagnosis support unit 140, the operation content of the interpretation doctor at that time, and the parallel display screen displayed on the display device 206 of the medical image display system 120 will be described. To do.

図3及び図4は、医療画像表示システムにおける診断支援部の処理内容と、読影医の操作内容と、並列表示画面の表示内容との関係を示す第1及び第2の図である。   3 and 4 are first and second diagrams showing the relationship among the processing contents of the diagnosis support unit, the operation contents of the interpretation doctor, and the display contents of the parallel display screen in the medical image display system.

医療画像表示システム120が診断支援部140として機能することで、表示制御部143による処理が開始され、表示装置206には、異なる時期に撮影されたCT画像を並列して表示させるための並列表示画面300が表示される(図3参照)。並列表示画面300には、所定の患者について所定の時期に撮影された所定の部位(ここでは肺)の撮像群を、比較元CT画像群として、読影医が選択するための機能が設けられている。   By the medical image display system 120 functioning as the diagnosis support unit 140, processing by the display control unit 143 is started, and the display device 206 displays parallel images for displaying CT images taken at different times in parallel. A screen 300 is displayed (see FIG. 3). The parallel display screen 300 is provided with a function for an interpreting doctor to select an imaging group of a predetermined part (here, lungs) imaged at a predetermined time for a predetermined patient as a comparison source CT image group. Yes.

表示制御部143は、読影医により比較元CT画像群が選択されると、選択された比較元CT画像群を、画像DB130から読み出す。更に、選択された比較元CT画像群の中から、読影医により所定の比較元CT画像(ここではファイル名="ImageA015")が指定されると、表示制御部143は、指定された比較元CT画像を並列表示画面300に表示するよう制御する。   When the comparison source CT image group is selected by the interpretation doctor, the display control unit 143 reads out the selected comparison source CT image group from the image DB 130. Further, when a predetermined comparison source CT image (here, file name = “ImageA015”) is designated by the interpretation doctor from the selected comparison source CT image group, the display control unit 143 displays the designated comparison source CT image. Control is performed so that the CT image is displayed on the parallel display screen 300.

並列表示画面300には、更に、比較元CT画像と比較すべく、異なる時期に撮影された同一患者の同一部位の撮像群を、比較先CT画像群として、読影医が選択するための機能が設けられている。具体的には、患者IDや撮影日時、撮影部位(ここでは肺)等を入力して比較先CT画像群を選択するための機能が設けられている。   The parallel display screen 300 further has a function for the image interpretation doctor to select, as a comparison target CT image group, an imaging group of the same part of the same patient captured at different times to be compared with the comparison source CT image. Is provided. Specifically, a function is provided for selecting a comparison target CT image group by inputting a patient ID, an imaging date and time, an imaging region (in this case, a lung), and the like.

表示制御部143は、読影医により患者名、撮影日時、撮影部位等が入力されると、入力された当該情報により特定される撮像群を比較先CT画像群として、画像DB130から読み出す。更に、表示制御部143は、読み出した比較先CT画像群の中から読影医により所定の比較先CT画像(ここではファイル名="ImageB018")が指定されると、指定された比較先CT画像を並列表示画面300に表示するよう制御する。   When the patient name, imaging date / time, imaging region, and the like are input by the interpretation doctor, the display control unit 143 reads the imaging group specified by the input information from the image DB 130 as a comparison target CT image group. Further, when a predetermined comparison target CT image (here, file name = “ImageB018”) is designated by the interpretation doctor from the read comparison target CT image group, the display control unit 143 displays the designated comparison target CT image. Are controlled to be displayed on the parallel display screen 300.

このとき、診断支援部140では第1のレジストレーション部141が処理を開始し、読み出した各CT画像に対して、回転や平行移動等のアフィン変換を用いて補正を行うことで大域的位置合わせを行う(図4参照)。第1のレジストレーション部141がCT画像全体に対して大域的位置合わせを行うことで、比較元CT画像と比較先CT画像との間の大域的な位置ずれが解消される。   At this time, in the diagnosis support unit 140, the first registration unit 141 starts processing, and global alignment is performed by correcting each read CT image using affine transformation such as rotation and parallel movement. (See FIG. 4). The first registration unit 141 performs global positioning on the entire CT image, so that the global positional deviation between the comparison source CT image and the comparison destination CT image is eliminated.

大域的位置合わせが完了すると、読影医は、並列表示画面300に表示された比較元CT画像において腫瘍部分Fの位置を指定できるようになる。並列表示画面300において、読影医が腫瘍部分Fの位置を指定すると、表示制御部143は、指定された腫瘍部分Fの位置を含む所定領域(ROI:Region of interest)401の画像を、比較元CT画像上の拡大表示画面に拡大表示するよう制御する。   When the global alignment is completed, the image interpretation doctor can designate the position of the tumor portion F in the comparison source CT image displayed on the parallel display screen 300. When the interpreting doctor designates the position of the tumor part F on the parallel display screen 300, the display control unit 143 displays an image of a predetermined region (ROI: Region of interest) 401 including the designated position of the tumor part F as a comparison source. Control is performed so that the enlarged display is performed on the enlarged display screen on the CT image.

所定領域401の画像が拡大表示されると、第2のレジストレーション部142は、比較先CT画像において変換処理を行うことで局所的位置合わせを行う。これにより、第2のレジストレーション部142は、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域の画像(局所的位置合わせが行われた画像)を抽出する。また、第2のレジストレーション部142は、対応領域の画像を、表示制御部143に通知する。   When the image of the predetermined area 401 is enlarged and displayed, the second registration unit 142 performs local alignment by performing a conversion process on the comparison target CT image. Thereby, the second registration unit 142 extracts an image of the corresponding region including the position of the tumor portion F ′ corresponding to the tumor portion F (an image on which local alignment has been performed). In addition, the second registration unit 142 notifies the display control unit 143 of the image of the corresponding area.

表示制御部143は、第2のレジストレーション部142より通知された対応領域402の画像を、比較先CT画像上の拡大表示画面に拡大表示するよう制御する。これにより、並列表示画面300には、局所的位置合わせが行われた画像として、腫瘍部分Fに対応する腫瘍部分F'の位置を含む対応領域402の画像が表示される。   The display control unit 143 controls to enlarge and display the image of the corresponding region 402 notified from the second registration unit 142 on the enlarged display screen on the comparison target CT image. Thereby, on the parallel display screen 300, an image of the corresponding region 402 including the position of the tumor portion F ′ corresponding to the tumor portion F is displayed as an image on which the local alignment has been performed.

このように、医療画像表示システム120によれば、比較元CT画像において読影医が腫瘍部分Fの位置を指定した場合に、所定領域401の画像を拡大表示することができる。また、比較先CT画像より対応領域402の画像を自動的に抽出し、拡大表示画面に拡大表示することができる。この結果、読影医は、異なる時期に撮影された撮像群に含まれる各CT画像間の対応位置の比較読影を容易に行うことができ、腫瘍がどのように変化したのかを容易に診断することができる。   As described above, according to the medical image display system 120, when the interpretation doctor designates the position of the tumor portion F in the comparison source CT image, the image of the predetermined region 401 can be enlarged and displayed. Further, the image of the corresponding region 402 can be automatically extracted from the comparison target CT image and can be enlarged and displayed on the enlarged display screen. As a result, the interpreting physician can easily perform comparative interpretation of the corresponding positions between the CT images included in the imaging groups taken at different times, and easily diagnose how the tumor has changed. Can do.

次に、画像DB130について説明する。図5は、画像DBに格納される情報の一例を示す図である。図5に示すように、画像DB130に格納される情報は患者ごとに分類されて管理されており、図5は患者ID="xxx"の患者についての情報の一例を示している。   Next, the image DB 130 will be described. FIG. 5 is a diagram illustrating an example of information stored in the image DB. As shown in FIG. 5, the information stored in the image DB 130 is classified and managed for each patient, and FIG. 5 shows an example of information about a patient with patient ID = “xxx”.

図5に示すように、情報の項目には、"撮影日時"、"撮影部位"、"シリーズ名"、"撮像群"が含まれる。"撮影日時"には、CT画像を撮影した日時についての情報が格納される。"撮影部位"には、撮影対象となる特定の部位についての情報が格納される。"シリーズ名"には、撮影により得られた複数のCT画像からなるシリーズを特定するためのシリーズ名が格納される。"撮像群"には、撮影により得られた複数のCT画像それぞれのファイル名が格納される。   As shown in FIG. 5, the information items include “imaging date / time”, “imaging region”, “series name”, and “imaging group”. Information on the date and time when the CT image was captured is stored in the “imaging date and time”. Information on a specific part to be imaged is stored in “imaging part”. The “series name” stores a series name for identifying a series composed of a plurality of CT images obtained by imaging. The “imaging group” stores file names of a plurality of CT images obtained by imaging.

図5の例は、撮影日時="H26.2.5"に撮影部位="肺"について撮影が行われることで得られた、ImageA001〜ImageA030のCT画像を含むシリーズ名="シリーズA"のシリーズが画像DB130に格納されていることを示している。また、撮影日時="H26.8.3"に撮影部位="肺"について撮影が行われることで得られた、ImageB001〜ImageB030のCT画像を含むシリーズ名="シリーズB"のシリーズが画像DB130に格納されていることを示している。   In the example of FIG. 5, the series name including the CT images of ImageA001 to ImageA030 obtained by performing imaging on the imaging region = “lung” at imaging date = “H26.2.5” = “series A”. It shows that the series is stored in the image DB 130. Further, the series of the series name = “series B” including the CT images of ImageB001 to ImageB030 obtained by performing imaging on the imaging region = “lung” at imaging date = “H26.8.3” is the image DB 130. Is stored.

なお、図5中の点線は、"ImageA015"のCT画像が比較元CT画像として読影医により指定されたことを示している。また、"ImageB018"のCT画像が比較先CT画像として読影医により指定されたことを示している。   Note that the dotted line in FIG. 5 indicates that the CT image of “Image A015” is designated by the interpretation doctor as the comparison source CT image. Further, the CT image of “ImageB018” is designated by the interpretation doctor as a comparison destination CT image.

次に、診断支援部140の各部の機能について説明する。なお、以下では、第1のレジストレーション部141及び表示制御部143についての機能の説明は省略し、主に第2のレジストレーション部142の機能について説明する。   Next, functions of each unit of the diagnosis support unit 140 will be described. In the following, description of the functions of the first registration unit 141 and the display control unit 143 is omitted, and the function of the second registration unit 142 is mainly described.

上述したとおり、大域的位置合わせが完了した時点では、比較元CT画像と比較先CT画像との間では全体的な位置の変動は補正されている一方で、患者の心拍や呼吸に起因する局所的な位置の変動は残されている。このため、読影医により指定された腫瘍部分Fの位置を含む所定領域401に対応する対応領域402の画像を拡大表示するにあたり、第2のレジストレーション部142は、局所的な位置の変動を補正するための移動ベクトルを算出して局所的位置合わせを行う。移動ベクトルとは、比較元CT画像の所定領域401の画像に対する比較先CT画像の対応する領域の画像の位置の変動(つまり、局所的な位置の変動)の方向及び大きさを示すベクトルである。第2のレジストレーション部142は、算出した移動ベクトルに基づいて、比較先CT画像の対応する領域を平行移動させる変換処理を行うことで、局所的位置合わせが行われた画像を抽出する。これにより、第2のレジストレーション部142は、比較先CT画像より対応領域402の画像を抽出することができる。   As described above, when the global alignment is completed, the overall position variation between the comparison source CT image and the comparison destination CT image is corrected, while the local position caused by the patient's heartbeat and respiration is corrected. Variations in general position remain. For this reason, when the image of the corresponding region 402 corresponding to the predetermined region 401 including the position of the tumor portion F designated by the image interpretation doctor is enlarged and displayed, the second registration unit 142 corrects the local position variation. The movement vector for calculating the position is calculated and local alignment is performed. The movement vector is a vector indicating the direction and size of the position change (that is, local position change) of the image in the corresponding region of the comparison target CT image with respect to the image of the predetermined region 401 of the comparison source CT image. . Based on the calculated movement vector, the second registration unit 142 performs a conversion process for translating the corresponding region of the comparison target CT image, thereby extracting an image on which local alignment has been performed. Thereby, the second registration unit 142 can extract the image of the corresponding region 402 from the comparison target CT image.

図6を用いて、かかる処理を行う第2のレジストレーション部142の機能構成について詳細に説明する。図6は、第2のレジストレーション部の機能構成の詳細を示す図である。   The functional configuration of the second registration unit 142 that performs such processing will be described in detail with reference to FIG. FIG. 6 is a diagram illustrating details of a functional configuration of the second registration unit.

図6に示すように、第2のレジストレーション部142は、CT画像入力部601、領域抽出部602、特徴点抽出部603、特徴点フィルタリング部604、特徴点マッチング部605、集計部606、変換部607、出力部608を有する。なお、特徴点マッチング部605、集計部606、変換部607を総称して局所的位置合わせ処理部610と呼ぶ。   As shown in FIG. 6, the second registration unit 142 includes a CT image input unit 601, a region extraction unit 602, a feature point extraction unit 603, a feature point filtering unit 604, a feature point matching unit 605, a totaling unit 606, a transformation. Part 607 and output part 608. Note that the feature point matching unit 605, the totaling unit 606, and the conversion unit 607 are collectively referred to as a local alignment processing unit 610.

CT画像入力部601は、第1のレジストレーション部141により大域的位置合わせが行われた比較元CT画像及び比較先CT画像を入力する。   The CT image input unit 601 inputs the comparison source CT image and the comparison destination CT image that have been globally aligned by the first registration unit 141.

領域抽出部602は、入力された比較元CT画像のうち、読影医により指定された腫瘍部分Fの位置を含む所定領域401の画像を抽出する。また、領域抽出部602は、入力された比較先CT画像のうち、所定領域401に対応する領域の画像を抽出する。領域抽出部602により抽出された画像は、特徴点抽出部603及び変換部607に入力される。   The area extraction unit 602 extracts an image of a predetermined area 401 including the position of the tumor portion F designated by the image interpretation doctor from the input comparison source CT image. Further, the region extraction unit 602 extracts an image of a region corresponding to the predetermined region 401 from the input comparison target CT image. The image extracted by the region extraction unit 602 is input to the feature point extraction unit 603 and the conversion unit 607.

特徴点抽出部603は、領域抽出部602により抽出された画像それぞれについて、特徴点を抽出する。特徴点とは、例えば、画像内における血管や気管支の分岐部分、血管や気管支の端部、臓器の境界面等に対応する位置の画素(または画素群)であり、領域抽出部602により抽出された画像間において局所的位置合わせをする際に用いられる。なお、特徴点抽出部603の処理内容の詳細は後述する。   The feature point extraction unit 603 extracts feature points for each image extracted by the region extraction unit 602. A feature point is, for example, a pixel (or pixel group) at a position corresponding to a blood vessel or bronchus branch, an end of a blood vessel or bronchus, a boundary surface of an organ, or the like in the image, and is extracted by the region extraction unit 602. It is used when performing local registration between images. Details of the processing content of the feature point extraction unit 603 will be described later.

特徴点フィルタリング部604は、特徴点抽出部603により抽出された特徴点を、局所的位置合わせをするのに有効な特徴点と、局所的位置合わせするのに有効でない特徴点とに分類する。また、特徴点フィルタリング部604は、分類した特徴点のうち局所的位置合わせをするのに有効な特徴点を、特徴点マッチング部605に出力し、局所的位置合わせをするのに有効でない特徴点を除外する。   The feature point filtering unit 604 classifies the feature points extracted by the feature point extraction unit 603 into feature points that are effective for local alignment and feature points that are not effective for local alignment. In addition, the feature point filtering unit 604 outputs, to the feature point matching unit 605, feature points that are effective for local alignment among the classified feature points, and feature points that are not effective for local alignment. Is excluded.

このように、特徴点フィルタリング部604が、局所的位置合わせをするのに有効でない特徴点を除外することで、特徴点マッチング部605は、抽出された特徴点同士のマッチングを行う際の特徴点の数を削減することができる。この結果、マッチングを高速化することができる(つまり、位置合わせを高速化することができる)。   In this way, the feature point filtering unit 604 excludes feature points that are not effective for local alignment, so that the feature point matching unit 605 performs matching between the extracted feature points. The number of can be reduced. As a result, matching can be speeded up (that is, positioning can be speeded up).

また、特徴点フィルタリング部604が局所的位置合わせをするのに有効な特徴点を出力することで、特徴点マッチング部605は、局所的位置合わせをするのに有効な特徴点を用いてマッチングを行うことができる。この結果、局所的位置合わせ処理部610における位置合わせの精度を向上させることができる。なお、特徴点フィルタリング部604の処理内容の詳細は後述する。   Further, the feature point filtering unit 604 outputs feature points effective for local alignment, so that the feature point matching unit 605 performs matching using the feature points effective for local alignment. It can be carried out. As a result, the alignment accuracy in the local alignment processing unit 610 can be improved. Details of the processing content of the feature point filtering unit 604 will be described later.

特徴点マッチング部605は、特徴点フィルタリング部604より出力された特徴点を用いてマッチングを行い、特徴点同士の対応関係を認識するとともに、対応する特徴点間それぞれの移動ベクトルを算出する。   The feature point matching unit 605 performs matching using the feature points output from the feature point filtering unit 604, recognizes the correspondence between the feature points, and calculates a movement vector between the corresponding feature points.

集計部606は、特徴点マッチング部605において算出した、対応する特徴点間それぞれの移動ベクトルを集計する。これにより、集計部606は、比較先CT画像より局所的位置合わせが行われた画像を抽出するための変換処理に用いられる1の移動ベクトルを算出する。   The totaling unit 606 totalizes the movement vectors between corresponding feature points calculated by the feature point matching unit 605. Thereby, the totaling unit 606 calculates one movement vector used for conversion processing for extracting an image on which local alignment has been performed from the comparison target CT image.

変換部607は、集計部606において算出した1の移動ベクトルを用いて変換処理を行うことで、比較先CT画像より局所的位置合わせが行われた画像を抽出する。   The conversion unit 607 extracts an image that has been subjected to local alignment from the comparison target CT image by performing conversion processing using one movement vector calculated by the totaling unit 606.

出力部608は、所定領域401の画像と、局所的位置合わせが行われた画像(対応領域402の画像)とを表示制御部143に出力する。   The output unit 608 outputs the image of the predetermined region 401 and the image subjected to local alignment (image of the corresponding region 402) to the display control unit 143.

次に、第2のレジストレーション部142に含まれる各部のうち、特徴点抽出部603及び特徴点フィルタリング部604の処理内容について、更に詳細に説明する。   Next, processing contents of the feature point extraction unit 603 and the feature point filtering unit 604 among the units included in the second registration unit 142 will be described in more detail.

まず、特徴点抽出部603の処理内容について図7を用いて詳細に説明する。図7は、特徴点抽出部の処理内容の詳細を説明するための図である。   First, the processing content of the feature point extraction unit 603 will be described in detail with reference to FIG. FIG. 7 is a diagram for explaining details of processing contents of the feature point extraction unit.

特徴点抽出部603は、FAST(Feature from Accelerated Segment Test)と呼ばれる抽出方法を用いて、画像内の特徴点を抽出する。図7(a)は、FASTによる特徴点の抽出方法を説明するための図である。   The feature point extraction unit 603 extracts feature points in the image using an extraction method called FAST (Feature from Accelerated Segment Test). FIG. 7A is a diagram for explaining a feature point extraction method by FAST.

図7(a)に示すように、特徴点抽出部603は、領域抽出部602により抽出された領域の画像内の各画素について特徴点に該当するか否かを判定するにあたり、注目画素Pの周囲の円周上における16個の画素(画素701〜716)を取得する。   As shown in FIG. 7A, the feature point extraction unit 603 determines whether each pixel in the image of the region extracted by the region extraction unit 602 corresponds to the feature point or not. Sixteen pixels (pixels 701 to 716) on the surrounding circumference are acquired.

また、特徴点抽出部603は、取得した16個の画素(画素701〜716)のうち、連続してn個以上の画素が注目画素Pと比較して濃度閾値t以上明るいか、または、濃度閾値t以上暗い場合に、注目画素Pが特徴点に該当すると判定する。なお、濃度閾値tは予め定められた値である。   In addition, the feature point extraction unit 603 determines that n or more pixels in the 16 acquired pixels (pixels 701 to 716) are continuously brighter than the target pixel P by the density threshold t or the density. When the pixel is darker than the threshold t, it is determined that the target pixel P corresponds to the feature point. The density threshold t is a predetermined value.

特徴点抽出部603は、領域抽出部602により抽出された領域の画像内のすべての画素について同様の処理を行うことで、特徴点を抽出する。   The feature point extraction unit 603 extracts feature points by performing the same processing for all the pixels in the image of the region extracted by the region extraction unit 602.

図7(b)は、領域抽出部602により抽出された所定領域401の画像(特徴点抽出前)を示している。なお、図7(b)において、黒色の線は、血管や気管支を示している。また、図7(c)は、領域抽出部602により抽出された所定領域401の画像から、特徴点抽出部603が、特徴点を抽出し、抽出した特徴点の位置に十字のマークを配した様子を示している。   FIG. 7B shows an image of the predetermined area 401 extracted by the area extraction unit 602 (before feature point extraction). In FIG. 7B, black lines indicate blood vessels and bronchi. 7C, the feature point extraction unit 603 extracts feature points from the image of the predetermined region 401 extracted by the region extraction unit 602, and places a cross mark at the position of the extracted feature points. It shows a state.

図7(c)に示すように、特徴点抽出部603は、血管や気管支(図中の黒色の線)の分岐部分や血管や気管支の端部等を、特徴点として抽出することができる。   As shown in FIG. 7C, the feature point extraction unit 603 can extract a branch portion of a blood vessel or a bronchus (black line in the drawing), a blood vessel, an end portion of the bronchus, or the like as a feature point.

続いて、特徴点フィルタリング部604の処理内容について、図8〜図11を用いて詳細に説明する。特徴点フィルタリング部604は、特徴点抽出部603により抽出された特徴点を、局所的位置合わせをするのに有効な特徴点と有効でない特徴点とに分類するために、特徴点が正常領域に含まれるか疾患領域に含まれるかを判定する。   Next, the processing content of the feature point filtering unit 604 will be described in detail with reference to FIGS. The feature point filtering unit 604 classifies the feature points extracted by the feature point extraction unit 603 into feature points that are effective for local alignment and feature points that are not effective. It is determined whether it is included in the disease area.

このため、特徴点フィルタリング部604は、まず、領域抽出部602により抽出された領域の画像に対して、濃度閾値処理を行うことで、疾患領域を含む濃淡画素領域を抽出する。そして、特徴点フィルタリング部604は、抽出した濃淡画素領域が疾患領域であるか否か(疾患領域であるか正常領域であるか)を判定する。   For this reason, the feature point filtering unit 604 first performs density threshold processing on the image of the region extracted by the region extracting unit 602 to extract a gray pixel region including a disease region. Then, the feature point filtering unit 604 determines whether or not the extracted gray pixel region is a disease region (whether it is a disease region or a normal region).

図8は、CT値と、CT画像における濃度値と、患者の組織との関係を示した図である。CT画像における各画素の濃度値は、CT装置110が患者を撮影することで検出されるCT値を、例えば、4096階調に変換したものである。CT装置110により検出されるCT値は、物質のX線吸収の程度を表しており、水のCT値が0[HU]、空気のCT値が−1000[HU]となるように定義されている。   FIG. 8 is a diagram showing the relationship between CT values, density values in CT images, and patient tissues. The density value of each pixel in the CT image is obtained by converting the CT value detected when the CT apparatus 110 images a patient into, for example, 4096 gradations. The CT value detected by the CT apparatus 110 represents the degree of X-ray absorption of the substance, and is defined so that the CT value of water is 0 [HU] and the CT value of air is −1000 [HU]. Yes.

図8の例では、CT値=−1000[HU]の場合の濃度値を0とし、CT値=2000[HU]の場合の濃度値を4096としている。この場合、すりガラス状陰影等のように癌の初期状態が含まれる疾患領域の濃度値の範囲として、例えば、437〜983は、−280[HU]から−680[HU]の範囲となる。なお、すりガラス状陰影等のように癌の初期状態が含まれる疾患領域を、以下では、「GGO(Ground Glass Opacity)領域」と称する。   In the example of FIG. 8, the density value when CT value = −1000 [HU] is 0, and the density value when CT value = 2000 [HU] is 4096. In this case, for example, 437 to 983 is in the range of −280 [HU] to −680 [HU] as the range of the concentration value of the disease region including the initial state of cancer such as ground glass-like shadow. Hereinafter, a disease region including an initial state of cancer such as a ground glass-like shadow is referred to as a “GGO (Ground Glass Opacity) region”.

このように、所定の濃度範囲内の濃度値を有する画素を抽出するための濃度閾値処理を行うことで、特徴点フィルタリング部604は、GGO領域を含む濃淡画素領域を抽出することができる。   As described above, the feature point filtering unit 604 can extract the light and dark pixel region including the GGO region by performing the density threshold processing for extracting the pixel having the density value within the predetermined density range.

一方で、図8に示すように、GGO領域の濃度値は、細い血管や気管支等の濃度値と概ね等しく、GGO領域を抽出するための濃度閾値処理を行った場合、細い血管や気管支も抽出されることになる。なお、細い血管や気管支等は、GGO領域の内部においても、GGO領域以外の肺の正常領域の内部においても抽出される。   On the other hand, as shown in FIG. 8, the density value of the GGO region is substantially equal to the density value of a thin blood vessel, bronchus, etc., and when performing the concentration threshold processing for extracting the GGO region, the thin blood vessel and bronchus are also extracted. Will be. Note that thin blood vessels, bronchi, and the like are extracted both inside the GGO region and inside normal lung regions other than the GGO region.

そこで、特徴点フィルタリング部604は、濃度閾値処理を行うことで抽出した濃淡画素領域がGGO領域であるか否かの判定を行うにあたり、濃淡画素領域と細い血管や気管支等との位置関係を用いる。具体的には、特徴点フィルタリング部604は、濃淡画素領域の輪郭の位置と、濃淡画素領域の内部に含まれる細い血管や気管支等の位置とを特定することで、濃度閾値処理を行うことで抽出した濃淡画素領域がGGO領域であるか否かの判定を行う。   Therefore, the feature point filtering unit 604 uses the positional relationship between the gray pixel area and the thin blood vessels, bronchi, and the like in determining whether the gray pixel area extracted by performing the density threshold process is a GGO area. . Specifically, the feature point filtering unit 604 performs density threshold processing by specifying the position of the contour of the gray pixel area and the position of a thin blood vessel or bronchus included in the gray pixel area. It is determined whether or not the extracted gray pixel area is a GGO area.

そのため、特徴点フィルタリング部604は、領域抽出部602により抽出された領域の画像に対して、別途、細い血管や気管支等を検出するエッジ検出処理を行う。これにより、特徴点フィルタリング部604は、細い血管や気管支等をエッジ画素領域として抽出することができる。なお、GGO領域は周辺の正常組織の濃度値(低濃度値)から異常組織の濃度値(高濃度値)へ徐々に変化していることが多く、輪郭が不明瞭である。そのため、GGO領域の輪郭ではエッジが検出されない。   Therefore, the feature point filtering unit 604 separately performs edge detection processing for detecting thin blood vessels, bronchi, and the like on the image of the region extracted by the region extracting unit 602. Thereby, the feature point filtering unit 604 can extract thin blood vessels, bronchi, and the like as edge pixel regions. In many cases, the GGO region gradually changes from the density value (low density value) of the surrounding normal tissue to the density value (high density value) of the abnormal tissue, and the outline is unclear. Therefore, no edge is detected in the outline of the GGO region.

図9〜図11は、特徴点フィルタリング部において抽出した濃淡画素領域が、GGO領域であるか否かを判定する処理を説明するための第1乃至第3の図である。   9 to 11 are first to third diagrams for describing processing for determining whether or not the grayscale pixel region extracted by the feature point filtering unit is a GGO region.

図9(a)は、領域抽出部602により抽出された領域の画像のうち、所定領域401の画像を示している。また、図9(b)は、所定領域401の画像に対して、エッジ検出処理を行い、エッジ画素領域を抽出した2値画像を示している。図9(b)に示すように、所定領域401の画像に対して、エッジ検出処理を行うことで、エッジ画素領域として、血管や気管支901〜906のエッジ部分の画素群が抽出される。   FIG. 9A shows an image of a predetermined area 401 among the area images extracted by the area extraction unit 602. FIG. 9B shows a binary image obtained by performing edge detection processing on the image of the predetermined area 401 and extracting the edge pixel area. As shown in FIG. 9B, by performing edge detection processing on the image of the predetermined region 401, a pixel group of blood vessels and edge portions of bronchi 901 to 906 is extracted as an edge pixel region.

また、図9(c)は、領域抽出部602により抽出された領域の画像のうち、所定領域401の画像に対して、濃度閾値処理(所定範囲(−280〜−680)の濃度値を有する画素を抽出する処理)を行い、濃淡画素領域を抽出した2値画像を示している。図9(c)に示すように、所定領域401の画像に対して、濃度閾値処理を行うことで、正常領域における血管や気管支901〜904及びGGO領域910が濃淡画素領域として抽出される。   FIG. 9C shows a density threshold value process (predetermined range (−280 to −680)) for the image of the predetermined area 401 among the image of the area extracted by the area extracting unit 602. 2 shows a binary image obtained by performing pixel extraction processing and extracting light and dark pixel regions. As shown in FIG. 9C, by performing density threshold processing on the image of the predetermined area 401, blood vessels, bronchi 901 to 904, and a GGO area 910 in the normal area are extracted as light and dark pixel areas.

更に、図9(d)は、図9(b)と図9(c)とを重ね合わせた様子を示している(なお、説明の便宜上、図9(d)において、エッジ画素領域は白色で示している)。図9(d)に示すように、正常領域に対応する濃淡画素領域内にあるエッジ画素領域と、GGO領域に対応する濃淡画素領域内にあるエッジ画素領域とでは、濃淡画素領域の輪郭の位置と、エッジ画素領域の位置との関係が大きく異なっている。   Further, FIG. 9D shows a state in which FIG. 9B and FIG. 9C are superimposed (for convenience of explanation, the edge pixel region is white in FIG. 9D). Shown). As shown in FIG. 9D, the edge pixel area in the gray pixel area corresponding to the normal area and the edge pixel area in the gray pixel area corresponding to the GGO area are positioned in the contour of the gray pixel area. And the position of the edge pixel region are greatly different.

具体的には、濃淡画素領域の輪郭の位置と、濃淡画素領域の内部に含まれるエッジ画素領域の位置との関係をまとめると、図10のようになる。   Specifically, the relationship between the position of the contour of the gray pixel area and the position of the edge pixel area included in the gray pixel area is summarized as shown in FIG.

図10に示すように、正常領域における血管や気管支901の場合、濃淡画素領域(黒色)の輪郭からエッジ画素領域(白色)までの距離が短い。一方、GGO領域910の血管や気管支905、906の場合、濃淡画素領域(黒色)の輪郭からエッジ画素領域(白色)までの距離が長い。   As shown in FIG. 10, in the case of a blood vessel or bronchus 901 in a normal region, the distance from the contour of the light and dark pixel region (black) to the edge pixel region (white) is short. On the other hand, in the case of the blood vessels and bronchi 905 and 906 in the GGO region 910, the distance from the contour of the light and dark pixel region (black) to the edge pixel region (white) is long.

このように、濃度閾値処理を行うことで抽出された濃淡画素領域がGGO領域であるか否かを判定するにあたっては、濃淡画素領域の輪郭の位置から、エッジ画素領域の位置までの距離を用いることが有効である。   As described above, in determining whether the grayscale pixel area extracted by performing the density threshold processing is a GGO area, the distance from the position of the outline of the grayscale pixel area to the position of the edge pixel area is used. It is effective.

図11は、濃淡画素領域の輪郭の位置から、エッジ画素領域の位置までの距離を算出する算出方法を示している。濃淡画素領域の輪郭の位置から、エッジ画素領域の位置までの距離を算出するにあたり、特徴点フィルタリング部604は、初期化処理と、ラスタスキャンによる距離変換処理と、逆ラスタスキャンによる距離変換処理とを実行する。   FIG. 11 shows a calculation method for calculating the distance from the position of the contour of the gray pixel area to the position of the edge pixel area. In calculating the distance from the position of the contour of the gray pixel area to the position of the edge pixel area, the feature point filtering unit 604 performs initialization processing, distance conversion processing by raster scanning, and distance conversion processing by reverse raster scanning. Execute.

具体的には、特徴点フィルタリング部604は、初期化処理として、濃度閾値処理された画像を第1の距離変換画像に変換する。ここで、濃度閾値処理された画像及び第1の距離変換画像における画素(i,j)の画素値を、それぞれ、p(i,j)、d1(i,j)とする。特徴点フィルタリング部604は、画素(i,j)のそれぞれについて、画素値p(i,j)が1の場合には画素値d1(i,j)に任意の最大値(ただし、最大値は1より大きい)を設定する。また、特徴点フィルタリング部604は、画素値p(i,j)が0の場合には、画素値d1(i,j)に0を設定する。   Specifically, the feature point filtering unit 604 converts the image subjected to the density threshold processing into a first distance conversion image as initialization processing. Here, the pixel values of the pixel (i, j) in the image subjected to the density threshold processing and the first distance conversion image are set to p (i, j) and d1 (i, j), respectively. When the pixel value p (i, j) is 1, for each pixel (i, j), the feature point filtering unit 604 sets the pixel value d1 (i, j) to an arbitrary maximum value (however, the maximum value is Greater than 1). The feature point filtering unit 604 sets 0 to the pixel value d1 (i, j) when the pixel value p (i, j) is 0.

続いて、特徴点フィルタリング部604は、ラスタスキャンによる距離変換処理を実行する。特徴点フィルタリング部604は、上記のようにして生成された第1の距離変換画像に対して、図11(a)に示したマスク1101を用いて左上端から右下端へラスタスキャンしながら、下式(1)の演算を行う。これにより、特徴点フィルタリング部604は、第1の距離変換画像を第2の距離変換画像に変換する。ここで、第2の距離変換画像における画素(i,j)の画素値をd2(i,j)とする。   Subsequently, the feature point filtering unit 604 executes distance conversion processing by raster scanning. The feature point filtering unit 604 performs raster scanning from the upper left end to the lower right end using the mask 1101 shown in FIG. 11A with respect to the first distance conversion image generated as described above. The calculation of Expression (1) is performed. Thereby, the feature point filtering unit 604 converts the first distance-converted image into the second distance-converted image. Here, the pixel value of the pixel (i, j) in the second distance conversion image is assumed to be d2 (i, j).


更に、特徴点フィルタリング部604は、第2の距離変換画像における画素(i,j)の画素値d2(i,j)に対して、図11(a)に示したマスク1102を用いた逆ラスタスキャンによる距離変換処理を行う。特徴点フィルタリング部604は、上記のようにして生成された第2の距離変換画像を右下端から左上端へ逆ラスタスキャンしながら、下式(2)の演算を行う。これにより、特徴点フィルタリング部604は、第2の距離変換画像を第3の距離変換画像に変換する。ここで、第3の距離変換画像における画素(i,j)の画素値をd(i,j)とする。

Further, the feature point filtering unit 604 performs reverse raster using the mask 1102 illustrated in FIG. 11A on the pixel value d2 (i, j) of the pixel (i, j) in the second distance conversion image. A distance conversion process is performed by scanning. The feature point filtering unit 604 performs the following equation (2) while performing reverse raster scanning from the lower right end to the upper left end of the second distance conversion image generated as described above. Thereby, the feature point filtering unit 604 converts the second distance conversion image into the third distance conversion image. Here, the pixel value of the pixel (i, j) in the third distance conversion image is d (i, j).

特徴点フィルタリング部604は、これらの処理を実行することで、濃淡画素領域の輪郭から、濃淡画素領域に含まれる各画素までの距離dを算出する。 The feature point filtering unit 604 executes these processes to calculate the distance d from the contour of the light and dark pixel area to each pixel included in the light and dark pixel area.

図11(b)は、GGO領域910に対応する濃淡画素領域についての第3の距離変換画像を示したものである。図11(b)の例では、GGO領域910に対応する濃淡画素領域に含まれる各画素についての濃淡画素領域の輪郭からの距離を、濃度値で表現している(濃度値が高いと距離が長く、濃度値が低いと距離が短いことを示している)。   FIG. 11B shows a third distance conversion image for the grayscale pixel region corresponding to the GGO region 910. In the example of FIG. 11B, the distance from the contour of the gray pixel area for each pixel included in the gray pixel area corresponding to the GGO area 910 is expressed by a density value (the higher the density value, the distance is Long and low density values indicate a short distance).

図11(c)は、GGO領域910に対応する濃淡画素領域に含まれる各画素のうち、エッジ画素領域として抽出された画素1111、1112の、濃淡画素領域の輪郭からの距離を示したものである。   FIG. 11C shows the distance from the contour of the light and dark pixel region of the pixels 1111 and 1112 extracted as the edge pixel region among the pixels included in the light and dark pixel region corresponding to the GGO region 910. is there.

図11(c)に示すように、特徴点フィルタリング部604は、濃淡画素領域の輪郭のうち、画素1111から見て左上隅の輪郭の位置から画素1111までの距離d1111aと、右下隅の輪郭の位置から画素1111までの距離d1111bとを算出する。なお、特徴点フィルタリング部604は、算出した2つの距離のうち、短い方の距離(d1111a)を、濃淡画素領域の輪郭から画素1111までの距離として取得する。 As shown in FIG. 11C, the feature point filtering unit 604 includes a distance d 1111a from the position of the upper left corner when viewed from the pixel 1111 to the pixel 1111 and the lower right corner of the gray pixel area. The distance d 1111b from the position to the pixel 1111 is calculated. Note that the feature point filtering unit 604 obtains the shorter one of the two calculated distances (d 1111a ) as the distance from the contour of the grayscale pixel region to the pixel 1111.

また、特徴点フィルタリング部604は、GGO領域910に対応する濃淡画素領域の輪郭のうち、画素1112から見て左上隅の輪郭の位置から画素1111までの距離d1112aと、右下隅の輪郭の位置から画素1112までの距離d1112bとを算出する。なお、特徴点フィルタリング部604は、算出した2つの距離のうち、短い方の距離(d1112a)を、濃淡画素領域の輪郭から画素1112までの距離として取得する。 The feature point filtering unit 604 also includes a distance d 1112a from the position of the upper left corner of the contour of the gray pixel region corresponding to the GGO region 910 to the pixel 1111 when viewed from the pixel 1112, and the position of the contour of the lower right corner. To a distance d 1112b from the pixel 1112 is calculated. Note that the feature point filtering unit 604 acquires the shorter distance (d 1112a ) of the two calculated distances as the distance from the contour of the gray pixel region to the pixel 1112.

なお、図11の例では、エッジ画素領域として抽出された画素のうちの2つの画素を対象として、濃淡画素領域の輪郭からの距離を取得した場合について示した。しかし、特徴点フィルタリング部604は、濃淡画素領域の内部に含まれるエッジ画素領域を形成する全ての画素を対象として、濃淡画素領域の輪郭からの距離を取得するものとする。   In the example of FIG. 11, a case has been shown in which the distance from the contour of the light and dark pixel region is acquired for two pixels among the pixels extracted as the edge pixel region. However, the feature point filtering unit 604 obtains the distance from the contour of the light and dark pixel region for all the pixels forming the edge pixel region included in the light and dark pixel region.

また、図11の例では、GGO領域910に対応する濃淡画素領域を対象として距離を取得する場合について示したが、特徴点フィルタリング部604は、血管や気管支901〜904に対応する濃淡画素領域についても同様の処理を行う。   Further, in the example of FIG. 11, the case where the distance is acquired for the gray pixel area corresponding to the GGO area 910 has been described. However, the feature point filtering unit 604 performs the gray pixel area corresponding to the blood vessels and bronchi 901 to 904. Performs the same processing.

なお、特徴点フィルタリング部604は、濃淡画素領域の内部に含まれるエッジ画素領域を形成する全ての画素について取得した距離に基づいて、ヒストグラムを生成し、当該濃淡画素領域における最頻値の距離を抽出する。そして、特徴点フィルタリング部604は、抽出した最頻値を、濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域の輪郭からの距離の代表値として算出する。   Note that the feature point filtering unit 604 generates a histogram based on the distances acquired for all the pixels forming the edge pixel region included in the gray pixel region, and calculates the distance of the mode value in the gray pixel region. Extract. Then, the feature point filtering unit 604 calculates the extracted mode value as a representative value of the distance from the contour of the gray pixel area of the edge pixel area included in the gray pixel area.

あるいは、特徴点フィルタリング部604は、濃淡画素領域の内部に含まれるエッジ画素領域を形成する全ての画素について取得した距離の平均値を算出する。そして、特徴点フィルタリング部604は、算出した平均値を、濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域の輪郭からの距離の代表値として算出する。   Alternatively, the feature point filtering unit 604 calculates an average value of the distances acquired for all the pixels forming the edge pixel region included in the gray pixel region. Then, the feature point filtering unit 604 calculates the calculated average value as a representative value of the distance from the contour of the gray pixel area of the edge pixel area included in the gray pixel area.

あるいは、特徴点フィルタリング部604は、濃淡画素領域の内部に含まれるエッジ画素領域を形成する全ての画素について取得した距離のうち、最小値または最大値を算出する。そして、特徴点フィルタリング部604は、算出した最大値または最小値を、濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域の輪郭からの距離の代表値として算出する。   Alternatively, the feature point filtering unit 604 calculates the minimum value or the maximum value among the distances acquired for all the pixels forming the edge pixel region included in the gray pixel region. Then, the feature point filtering unit 604 calculates the calculated maximum value or minimum value as a representative value of the distance from the contour of the gray pixel area of the edge pixel area included in the gray pixel area.

次に、上記処理内容を実現する特徴点フィルタリング部604の機能構成について説明する。図12は、特徴点フィルタリング部の機能構成を示す第1の図である。図12に示すように、特徴点フィルタリング部604は、エッジ検出部1201、濃度閾値処理部1202、ラべリング部1203、微小点除去部1204、距離算出部1205、判定部1206、特徴点出力部1207を有する。   Next, a functional configuration of the feature point filtering unit 604 that realizes the processing contents will be described. FIG. 12 is a first diagram illustrating a functional configuration of the feature point filtering unit. As shown in FIG. 12, the feature point filtering unit 604 includes an edge detection unit 1201, a density threshold processing unit 1202, a labeling unit 1203, a minute point removal unit 1204, a distance calculation unit 1205, a determination unit 1206, and a feature point output unit. 1207.

エッジ検出部1201は、領域抽出部602により抽出された領域の画像に対して、所定範囲の濃度勾配を有する画素を検出するエッジ検出処理を行い、エッジ画素領域として距離算出部1205に出力する(図9(b)参照)。エッジ検出部1201は、例えば、Canny Edge Detector等の既存の手法を用いてエッジ検出処理を行う。   The edge detection unit 1201 performs an edge detection process for detecting pixels having a density gradient within a predetermined range on the image of the region extracted by the region extraction unit 602, and outputs the edge pixel region to the distance calculation unit 1205 ( (See FIG. 9B). The edge detection unit 1201 performs an edge detection process using an existing method such as Canny Edge Detector, for example.

濃度閾値処理部1202は、領域抽出部602により抽出された領域の画像に対して、濃度閾値処理(例えば、所定の濃度範囲内(−280〜−680)の濃度値を有する画素を抽出する処理)を行う。また、濃度閾値処理部1202は、濃度閾値処理を行うことで抽出した濃淡画素を、濃度画素をラべリング部1203に出力する(図9(c)参照)。   The density threshold processing unit 1202 extracts a pixel having a density value of density threshold processing (for example, within a predetermined density range (−280 to −680)) from the image of the region extracted by the region extraction unit 602. )I do. Further, the density threshold processing unit 1202 outputs the density pixels extracted by performing the density threshold processing to the labeling unit 1203 (see FIG. 9C).

ラべリング部1203は、濃度閾値処理部1202より出力濃淡画素を、領域ごとにまとめて濃淡画素領域とし、それぞれの濃淡画素領域について、ラべリングを行う。   The labeling unit 1203 collects the output gray pixels from the density threshold processing unit 1202 for each region to form a gray pixel region, and performs labeling on each gray pixel region.

微小点除去部1204は、ラべリング部1203によりラべリングされたそれぞれの濃淡画素領域のうち、所定サイズ以下の濃淡画素領域を除去し、除去した濃淡画素領域以外の濃淡画素領域を距離算出部1205に出力する。   The minute point removal unit 1204 removes the grayscale pixel area having a predetermined size or less from the grayscale pixel areas labeled by the labeling unit 1203, and calculates the distance of the grayscale pixel area other than the removed grayscale pixel area. To the unit 1205.

距離算出部1205は、エッジ検出部1201よりエッジ画素領域を取得し、ラべリング部1203より、ラべリング済みの濃淡画素領域を取得する。また、距離算出部1205は、エッジ画素領域と濃淡画素領域とを重ね合わせる(図9(d)参照)。更に、距離算出部1205は、それぞれの濃淡画素領域について、濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域の輪郭からの距離の代表値を算出する。   The distance calculation unit 1205 acquires an edge pixel region from the edge detection unit 1201, and acquires a labeled grayscale pixel region from the labeling unit 1203. Further, the distance calculation unit 1205 superimposes the edge pixel area and the gray pixel area (see FIG. 9D). Further, the distance calculation unit 1205 calculates a representative value of the distance from the contour of the light and dark pixel area of the edge pixel area included in the light and dark pixel area for each light and dark pixel area.

判定部1206は、それぞれの濃淡画素領域において算出された距離の代表値に基づいて、それぞれの濃淡画素領域がGGO領域であるか否かを判定する。判定部1206は、所定の閾値と比較し、距離の代表値が所定の閾値より小さいと判定した場合には、当該濃淡画素領域がGGO領域でない(正常領域である)と判定する。一方、判定部1206は、距離の代表値が所定の閾値以上であると判定した場合には、当該濃淡画素領域がGGO領域であると判定する。   The determination unit 1206 determines whether or not each gray pixel region is a GGO region based on the representative value of the distance calculated in each gray pixel region. When the determination unit 1206 compares with a predetermined threshold value and determines that the representative value of distance is smaller than the predetermined threshold value, the determination unit 1206 determines that the gray pixel region is not a GGO region (is a normal region). On the other hand, when the determination unit 1206 determines that the representative value of the distance is equal to or greater than the predetermined threshold, the determination unit 1206 determines that the gray pixel region is a GGO region.

特徴点出力部1207は、特徴点抽出部603において抽出された特徴点が、正常領域の内部に含まれるか、GGO領域の内部に含まれるかを判定する。特徴点出力部1207は、正常領域の内部に含まれると判定した特徴点を特徴点マッチング部605に出力する。なお、特徴点出力部1207は、GGO領域の内部に含まれると判定した特徴点については削除し、特徴点マッチング部605には出力しない。これにより、GGO領域の内部に含まれると判定した特徴点については、特徴点マッチング部605におけるマッチングに用いられる特徴点から除外されることになる。   The feature point output unit 1207 determines whether the feature points extracted by the feature point extraction unit 603 are included in the normal region or the GGO region. The feature point output unit 1207 outputs the feature points determined to be included in the normal region to the feature point matching unit 605. Note that the feature point output unit 1207 deletes the feature points determined to be included in the GGO region and does not output them to the feature point matching unit 605. As a result, the feature points determined to be included in the GGO region are excluded from the feature points used for matching in the feature point matching unit 605.

次に、特徴点フィルタリング部604における特徴点フィルタリング処理の流れについて説明する。図13は、特徴点フィルタリング部におけるフィルタリング処理のフローチャートである。図13に示すフローチャートは、領域抽出部602において抽出された画像が特徴点フィルタリング部604に入力され、特徴点抽出部603において抽出された特徴点が特徴点フィルタリング部604に入力されることで、処理が開始される。   Next, the flow of the feature point filtering process in the feature point filtering unit 604 will be described. FIG. 13 is a flowchart of the filtering process in the feature point filtering unit. In the flowchart illustrated in FIG. 13, the image extracted by the region extraction unit 602 is input to the feature point filtering unit 604, and the feature point extracted by the feature point extraction unit 603 is input to the feature point filtering unit 604. Processing is started.

ステップS1301において、エッジ検出部1201は、領域抽出部602において抽出された領域の画像に対して、エッジ検出処理を行い、エッジ画素領域を抽出する。また、エッジ検出部1201は、抽出したエッジ画素領域を、距離算出部1205に出力する。   In step S1301, the edge detection unit 1201 performs edge detection processing on the image of the region extracted by the region extraction unit 602, and extracts an edge pixel region. In addition, the edge detection unit 1201 outputs the extracted edge pixel region to the distance calculation unit 1205.

ステップS1302において、濃度閾値処理部1202は、領域抽出部602において抽出された領域の画像に対して、濃度閾値処理を行い、濃淡画素を抽出する。   In step S1302, the density threshold processing unit 1202 performs density threshold processing on the image of the region extracted by the region extraction unit 602, and extracts light and dark pixels.

ステップS1303において、ラべリング部1203は、ステップS1303において抽出した濃淡画素を領域ごとにまとめて濃淡画素領域とし、それぞれの濃淡画素領域について、ラべリングを行う。   In step S1303, the labeling unit 1203 collects the gray pixels extracted in step S1303 for each region to form a gray pixel region, and performs labeling for each gray pixel region.

ステップS1304において、微小点除去部1204は、ラべリングされた濃淡画素領域のうち、所定サイズ以下の濃淡画素領域を除去し、所定サイズより大きい濃淡画素領域を距離算出部1205に出力する。   In step S <b> 1304, the minute point removing unit 1204 removes the shaded pixel region having a size equal to or smaller than the predetermined size from the labeled shaded pixel region, and outputs the shaded pixel region larger than the predetermined size to the distance calculating unit 1205.

ステップS1305において、距離算出部1205は、ステップS1301において出力されたエッジ画素領域と、ステップS1304において出力された濃淡画素領域とを重ね合わせる。更に、距離算出部1205は、ラベルカウンタnに1を代入する。   In step S1305, the distance calculation unit 1205 superimposes the edge pixel region output in step S1301 and the grayscale pixel region output in step S1304. Further, the distance calculation unit 1205 substitutes 1 for the label counter n.

ステップS1306において、距離算出部1205は、n=1のラベルの濃淡画素領域について、当該濃淡画素領域の内部に含まれるエッジ画素領域の、当該濃淡画素領域の輪郭からの距離の代表値を算出する。   In step S1306, the distance calculation unit 1205 calculates a representative value of the distance of the edge pixel area included in the gray pixel area from the outline of the gray pixel area for the gray pixel area with the label n = 1. .

ステップS1307において、判定部1206は、ステップS1306において算出された代表値が、所定の距離閾値以上であるか否かを判定する。ステップS1307において、所定の距離閾値以上であると判定した場合には(ステップS1307においてYes)、ステップS1308に進む。   In step S1307, the determination unit 1206 determines whether the representative value calculated in step S1306 is greater than or equal to a predetermined distance threshold. If it is determined in step S1307 that the distance is equal to or greater than the predetermined distance threshold (Yes in step S1307), the process proceeds to step S1308.

ステップS1308において、判定部1206は、n=1のラベルの濃淡画素領域がGGO領域であると判定する。また、ステップS1309において、特徴点出力部1207は、n=1のラベルの濃淡画素領域の内部に含まれる特徴点を削除して、ステップS1312に進む。   In step S1308, the determination unit 1206 determines that the light and dark pixel region of the label of n = 1 is the GGO region. In step S1309, the feature point output unit 1207 deletes the feature point included in the grayscale pixel area with the label n = 1, and the process advances to step S1312.

一方、ステップS1307において、所定の距離閾値より小さいと判定した場合には(ステップS1307においてNo)、ステップS1310に進む。   On the other hand, if it is determined in step S1307 that the distance is smaller than the predetermined distance threshold (No in step S1307), the process proceeds to step S1310.

ステップS1310において、判定部1206は、n=1のラベルの濃淡画素領域がGGO領域でないと判定する(正常領域であると判定する)。また、ステップS1311において、特徴点出力部1207は、n=1のラベルの濃淡画素領域の内部に含まれる特徴点を、特徴点マッチング部605に出力し、ステップS1312に進む。   In step S <b> 1310, the determination unit 1206 determines that the gray pixel area of the label of n = 1 is not the GGO area (determines that it is a normal area). In step S1311, the feature point output unit 1207 outputs the feature point included in the grayscale pixel region with the label of n = 1 to the feature point matching unit 605, and the process proceeds to step S1312.

ステップS1312において、距離算出部1205は、ステップS1304において出力された濃淡画素領域すべてについて、ステップS1306〜ステップS1311の処理を実行したか否かを判定する。   In step S1312, the distance calculation unit 1205 determines whether or not the processing in steps S1306 to S1311 has been executed for all the grayscale pixel regions output in step S1304.

ステップS1312において、実行していない濃淡画素領域があると判定した場合には(ステップS1312においてNo)、ステップS1313に進み、ラベルカウンタnをインクリメントした後、ステップS1306に戻る。   If it is determined in step S1312 that there is a gray pixel region that has not been executed (No in step S1312), the process proceeds to step S1313, the label counter n is incremented, and the process returns to step S1306.

一方、ステップS1312において、すべての濃淡画素領域について実行したと判定した場合には(ステップS1312においてYes)、特徴点フィルタリング処理を終了する。   On the other hand, if it is determined in step S1312 that the process has been executed for all the gray pixel regions (Yes in step S1312), the feature point filtering process is terminated.

次に、特徴点フィルタリング部604による特徴点フィルタリング処理の結果について説明する。図14は、特徴点フィルタリング処理前後の画像を示す図である。図14(a)は、領域抽出部602により抽出された所定領域401の画像について、特徴点抽出部603が特徴点抽出処理を行った後であって、特徴点フィルタリング処理を行う前の画像を示している。図14(a)の場合、正常領域の血管や気管支において抽出された特徴点に加え、GGO領域の血管や気管支において抽出された特徴点が含まれている。   Next, the result of the feature point filtering process by the feature point filtering unit 604 will be described. FIG. 14 is a diagram illustrating images before and after the feature point filtering process. FIG. 14A shows an image after the feature point extraction unit 603 performs the feature point extraction process on the image of the predetermined region 401 extracted by the region extraction unit 602 and before the feature point filtering process. Show. In the case of FIG. 14A, in addition to the feature points extracted in the blood vessels and bronchi in the normal region, the feature points extracted in the blood vessels and bronchi in the GGO region are included.

一方、図14(b)は、特徴点フィルタリング部604により、特徴点フィルタリング処理が行われた後の画像を示している。図14(b)の場合、GGO領域内の血管や気管支において抽出された特徴点が削除されている。   On the other hand, FIG. 14B shows an image after the feature point filtering process is performed by the feature point filtering unit 604. In the case of FIG. 14B, feature points extracted in blood vessels and bronchi in the GGO area are deleted.

このように、特徴点フィルタリング処理を行うことで、局所的位置合わせに有効でない特徴点が削除されるため、局所的位置合わせに用いる特徴点の数を削減することが可能となる。   As described above, by performing the feature point filtering process, feature points that are not effective for local alignment are deleted, so that the number of feature points used for local alignment can be reduced.

以上の説明から明らかなように、第1の実施形態における医療画像表示システム120は、第2のレジストレーション部142が、特徴点フィルタリング部604を有する。また、第1の実施形態における医療画像表示システム120は、特徴点フィルタリング部604が、医療画像より抽出した濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域の輪郭からの距離に基づいて、濃淡画素領域がGGO領域か否かを判定する。また、特徴点フィルタリング部604が、GGO領域であると判定した濃淡画素領域の内部に含まれる特徴点を、局所的位置合わせに有効でない特徴点として除去する。   As is clear from the above description, in the medical image display system 120 according to the first embodiment, the second registration unit 142 includes the feature point filtering unit 604. Further, in the medical image display system 120 according to the first embodiment, the feature point filtering unit 604 is based on the distance from the contour of the gray pixel area of the edge pixel area included in the gray pixel area extracted from the medical image. Thus, it is determined whether or not the light and dark pixel region is a GGO region. Also, the feature point filtering unit 604 removes the feature points included in the gray pixel region determined to be the GGO region as feature points that are not effective for local alignment.

これにより、第1の実施形態における医療画像表示システム120によれば、マッチングに失敗する可能性の高い特徴点が除外されるため、局所的位置合わせに用いられる特徴点の数を削減することが可能となる。この結果、特徴点のマッチングを高速化することができる(つまり、局所的位置合わせを高速化することができる)。   Thereby, according to the medical image display system 120 in the first embodiment, since feature points that are highly likely to fail in matching are excluded, it is possible to reduce the number of feature points used for local alignment. It becomes possible. As a result, the matching of feature points can be speeded up (that is, local positioning can be speeded up).

更に、第1の実施形態における医療画像表示システム120は、特徴点フィルタリング部604が、GGO領域でない(正常領域である)と判定した濃淡画素領域の内部に含まれる特徴点を用いて、局所的位置合わせを行う。   Furthermore, the medical image display system 120 according to the first embodiment uses the feature points included in the light and dark pixel region determined by the feature point filtering unit 604 not to be a GGO region (a normal region). Perform alignment.

これにより、第1の実施形態における医療画像表示システム120によれば、位置合わせに有効な特徴点を用いて局所的位置合わせを行うことが可能となる。つまり、患者の心拍や呼吸に伴う位置の変動を補正するための局所的位置合わせにおいて、経時変化の影響を排除することができる。この結果、局所的位置合わせの精度を向上させることができる。   Thereby, according to the medical image display system 120 in 1st Embodiment, it becomes possible to perform local alignment using the feature point effective in alignment. That is, it is possible to eliminate the influence of the temporal change in the local alignment for correcting the position fluctuation accompanying the heartbeat or respiration of the patient. As a result, the accuracy of local alignment can be improved.

[第2の実施形態]
上記第1の実施形態では、GGO領域の内部に含まれる特徴点を削除することで、GGO領域の内部に含まれる特徴点を、局所的位置合わせに用いる特徴点から除外するものとして説明した。これに対して、第2の実施形態では、GGO領域の内部に含まれる特徴点について信頼度を算出し、算出した信頼度が所定の条件を満たす場合に、局所的位置合わせに用いるようにする。また、第2の実施形態では、GGO領域の内部に含まれる特徴点それぞれについて、濃淡画素領域の輪郭から各特徴点までの距離に応じて信頼度を算出する。以下、第2の実施形態について、第1の実施形態との相違点を中心に説明する。
[Second Embodiment]
In the first embodiment, the feature points included in the GGO region are excluded from the feature points used for local alignment by deleting the feature points included in the GGO region. On the other hand, in the second embodiment, the reliability is calculated for the feature points included in the GGO region, and is used for local alignment when the calculated reliability satisfies a predetermined condition. . In the second embodiment, the reliability is calculated for each feature point included in the GGO region according to the distance from the contour of the gray pixel region to each feature point. Hereinafter, the second embodiment will be described focusing on the differences from the first embodiment.

はじめに、特徴点フィルタリング部604の機能構成について説明する。図15は、特徴点フィルタリング部の機能構成の詳細を示す第2の図である。図12に示した特徴点フィルタリング部の機能構成との相違点は、信頼度算出部1501が配されている点である。   First, the functional configuration of the feature point filtering unit 604 will be described. FIG. 15 is a second diagram illustrating details of the functional configuration of the feature point filtering unit. The difference from the functional configuration of the feature point filtering unit shown in FIG. 12 is that a reliability calculation unit 1501 is provided.

信頼度算出部1501は、判定部1206においてGGO領域でない(正常領域である)と判定された濃淡画素領域の内部に含まれる特徴点を特徴点出力部1207に出力する。また、信頼度算出部1501は、判定部1206においてGGO領域であると判定された濃淡画素領域の内部に含まれる特徴点について、距離算出部1205より出力された、濃淡画素領域の輪郭からの距離に基づいて、それぞれの特徴点の信頼度を算出する。また、信頼度算出部1501は、特徴点の信頼度が所定の閾値以上の特徴点を抽出し、信頼度と対応付けて特徴点出力部1207に出力する。   The reliability calculation unit 1501 outputs, to the feature point output unit 1207, feature points included in the light and shade pixel region that is determined not to be a GGO region (is a normal region) by the determination unit 1206. Further, the reliability calculation unit 1501 outputs the distance from the contour of the grayscale pixel area output from the distance calculation unit 1205 for the feature points included in the grayscale pixel area determined to be the GGO area by the determination unit 1206. Based on the above, the reliability of each feature point is calculated. In addition, the reliability calculation unit 1501 extracts feature points whose feature point reliability is equal to or higher than a predetermined threshold, and outputs the feature points to the feature point output unit 1207 in association with the reliability.

これにより、特徴点出力部1207は、正常領域の内部に含まれる特徴点と、GGO領域の内部に含まれる特徴点のうち、所定の閾値以上の信頼度を有する特徴点とを、特徴点マッチング部605に出力することができる。   As a result, the feature point output unit 1207 performs feature point matching between feature points included in the normal region and feature points having reliability equal to or higher than a predetermined threshold among the feature points included in the GGO region. The data can be output to the unit 605.

この結果、特徴点マッチング部605は、GGO領域の内部に含まれる特徴点についてもマッチングを行う際に用いる特徴点に加えることが可能となる。また、集計部606において、それぞれの特徴点の移動ベクトルを集計して、1の移動ベクトルを算出する際、それぞれの特徴点に応じて重み付けを行うことが可能となる。   As a result, the feature point matching unit 605 can add the feature points included in the GGO region to the feature points used for matching. Further, when the totaling unit 606 calculates the movement vectors of the respective feature points and calculates one movement vector, weighting can be performed according to the respective feature points.

図16は、各特徴点について算出された信頼度を示す図である。図16において、特徴点1601〜1605は、GGO領域910であると判定された濃淡画素領域の内部に含まれる特徴点である。   FIG. 16 is a diagram showing the reliability calculated for each feature point. In FIG. 16, feature points 1601 to 1605 are feature points included in the light and dark pixel region determined to be the GGO region 910.

信頼度算出部1501は、距離算出部1205において算出された、GGO領域910に対応する濃淡画素領域の内部に含まれる各画素の輪郭からの距離のうち、特徴点1601〜1605に対応する画素の輪郭からの距離を取得する。また、信頼度算出部1501は、それぞれの特徴点1601〜1605について、輪郭からの距離に応じた信頼度を算出する。   The reliability calculation unit 1501 calculates the pixels corresponding to the feature points 1601 to 1605 among the distances from the outlines of the pixels included in the gray pixel region corresponding to the GGO region 910 calculated by the distance calculation unit 1205. Get the distance from the contour. In addition, the reliability calculation unit 1501 calculates the reliability corresponding to the distance from the contour for each of the feature points 1601 to 1605.

図16の例は、特徴点1601、1602、1603の信頼度を0.6と算出し、特徴点1604の信頼度を0.1と算出したことを示している。また、図16の例は、特徴点1605の信頼度を0.7と算出したことを示している。   The example of FIG. 16 indicates that the reliability of the feature points 1601, 1602, and 1603 is calculated as 0.6, and the reliability of the feature point 1604 is calculated as 0.1. Further, the example of FIG. 16 shows that the reliability of the feature point 1605 is calculated as 0.7.

次に、第2の実施形態における特徴点フィルタリング処理の流れについて説明する。図17は、特徴点フィルタリング処理の第2のフローチャートである。図13に示すフローチャートとの相違点は、ステップS1701〜ステップS1703である。   Next, the flow of the feature point filtering process in the second embodiment will be described. FIG. 17 is a second flowchart of the feature point filtering process. The difference from the flowchart shown in FIG. 13 is steps S1701 to S1703.

ステップS1701において、信頼度算出部1501は、n=1のラベルの濃淡画素領域に含まれる各画素の、当該濃淡画素領域の輪郭からの距離のうち、当該濃淡画素領域の内部に含まれる特徴点に対応する画素についての距離を取得する。   In step S <b> 1701, the reliability calculation unit 1501 includes the feature points included in the light and dark pixel area among the distances from the contour of the light and dark pixel area of each pixel included in the light and dark pixel area with the label n = 1. Get the distance for the pixel corresponding to.

ステップS1702において、信頼度算出部1501は、ステップS1701において取得した各特徴点の距離に基づいて、各特徴点の信頼度を算出し、所定の閾値以上の信頼度を有する特徴点を特徴点出力部1207に出力する。なお、特徴点出力部1207は、信頼度算出部1501により算出された信頼度を特徴点に対応付けて特徴点マッチング部605に出力する。   In step S1702, the reliability calculation unit 1501 calculates the reliability of each feature point based on the distance between the feature points acquired in step S1701, and outputs the feature point having the reliability equal to or higher than a predetermined threshold. Output to the unit 1207. The feature point output unit 1207 outputs the reliability calculated by the reliability calculation unit 1501 to the feature point matching unit 605 in association with the feature points.

ステップS1703において、距離算出部1205は、n=1のラベルの濃淡画素領域の内部に含まれる全ての特徴点について信頼度を算出したか否かを判定する。ステップS1703において、信頼度を算出していない特徴点があると判定した場合には、ステップS1701に戻る。   In step S <b> 1703, the distance calculation unit 1205 determines whether or not the reliability has been calculated for all feature points included in the grayscale pixel area with the label of n = 1. If it is determined in step S1703 that there is a feature point whose reliability has not been calculated, the process returns to step S1701.

一方、n=1のラベルの濃淡画素領域の内部に含まれる全ての特徴点について信頼度を算出したと判定した場合には、ステップS1312に進む。   On the other hand, if it is determined that the reliability has been calculated for all the feature points included in the gray pixel area of the label n = 1, the process proceeds to step S1312.

以上の説明から明らかなように、第2の実施形態における医療画像表示システム120は、第2のレジストレーション部142が、特徴点フィルタリング部604を有する。また、第2の実施形態における医療画像表示システム120は、特徴点フィルタリング部604が、医療画像より抽出した濃淡画素領域の内部に含まれるエッジ画素領域の、濃淡画素領域内での位置に基づいて、濃淡画素領域がGGO領域であるか否かを判定する。また、特徴点フィルタリング部604が、GGO領域であると判定した濃淡画素領域の内部に含まれる特徴点について、濃淡画素領域の輪郭から特徴点までの距離に応じて、特徴点の信頼度を算出する。更に、特徴点フィルタリング部604が、所定の信頼度を有していない特徴点を、局所的位置合わせに有効でない特徴点として除去する。   As is clear from the above description, in the medical image display system 120 according to the second embodiment, the second registration unit 142 includes the feature point filtering unit 604. In the medical image display system 120 according to the second embodiment, the feature point filtering unit 604 is based on the position of the edge pixel area included in the gray pixel area extracted from the medical image in the gray pixel area. Then, it is determined whether or not the light and dark pixel region is a GGO region. The feature point filtering unit 604 calculates the reliability of the feature point according to the distance from the contour of the gray pixel area to the feature point for the feature point included in the gray pixel area determined to be the GGO area. To do. Furthermore, the feature point filtering unit 604 removes feature points that do not have a predetermined reliability as feature points that are not effective for local alignment.

これにより、第2の実施形態における医療画像表示システム120によれば、マッチングに失敗する可能性の高い特徴点が除外されるため、局所的位置合わせに用いられる特徴点の数を削減することが可能となる。この結果、特徴点のマッチングを高速化することができる(つまり、局所的位置合わせを高速化することができる)。   Thereby, according to the medical image display system 120 in the second embodiment, since feature points that are highly likely to fail in matching are excluded, it is possible to reduce the number of feature points used for local alignment. It becomes possible. As a result, the matching of feature points can be speeded up (that is, local positioning can be speeded up).

また、第2の実施形態における医療画像表示システム120は、特徴点フィルタリング部604が、GGO領域でないと判定した濃淡画素領域の内部に含まれる特徴点を用いて、局所的位置合わせを行う。また、特徴点フィルタリング部604が、GGO領域であると判定した濃淡画素領域の内部に含まれる特徴点のうち、所定の信頼度を有している特徴点を用いて、局所的位置合わせを行う。   In addition, the medical image display system 120 according to the second embodiment performs local alignment using the feature points included in the grayscale pixel region that the feature point filtering unit 604 has determined not to be the GGO region. The feature point filtering unit 604 performs local alignment using feature points having a predetermined reliability among feature points included in the gray pixel region determined to be the GGO region. .

これにより、第2の実施形態における医療画像表示システム120によれば、位置合わせに有効な特徴点と位置合わせに有効でないが信頼度の高い特徴点とを用いて局所的位置合わせを行うことが可能となる。この結果、局所的位置合わせの精度を向上させることができる。   Thereby, according to the medical image display system 120 in the second embodiment, local alignment is performed using feature points that are effective for alignment and feature points that are not effective for alignment but have high reliability. It becomes possible. As a result, the accuracy of local alignment can be improved.

更に、第2の実施形態における医療画像表示システム120は、特徴点フィルタリング部604が、GGO領域であると判定した濃淡画素領域の内部に含まれる特徴点について、特徴点の信頼度に応じた集計を行うことで、局所的位置合わせを行う。   Furthermore, in the medical image display system 120 according to the second embodiment, the feature points filtering unit 604 adds up the feature points included in the gray pixel region determined to be the GGO region according to the reliability of the feature points. To perform local alignment.

これにより、第2の実施形態における医療画像表示システム120によれば、局所的位置合わせにおいて、位置合わせに有効でない特徴点の影響を抑えることができるため、局所的位置合わせの精度を向上させることができる。   Thereby, according to the medical image display system 120 in the second embodiment, in the local alignment, it is possible to suppress the influence of the feature points that are not effective for the alignment, thereby improving the accuracy of the local alignment. Can do.

[その他の実施形態]
上記第1及び第2の実施形態では、距離算出部1205が、濃淡画素領域の左上隅の輪郭からエッジ画素領域までの距離と、右下隅の輪郭からのエッジ画素領域までの距離とを算出したが、他の任意の方向の輪郭からの距離を算出するようにしてもよい。つまり、判定部1206は、濃淡画素領域内におけるエッジ画素領域の相対的な位置を特定することで、濃淡画素領域がGGO領域であるか否かを判定するものとする。
[Other Embodiments]
In the first and second embodiments, the distance calculation unit 1205 calculates the distance from the upper left corner contour to the edge pixel region of the gray pixel region and the distance from the lower right corner contour to the edge pixel region. However, the distance from the contour in another arbitrary direction may be calculated. That is, the determination unit 1206 determines whether or not the gray pixel region is a GGO region by specifying the relative position of the edge pixel region in the gray pixel region.

また、上記第2の実施形態では、信頼度算出部1501が、GGO領域であると判定された濃淡画素領域の内部に含まれる特徴点の信頼度を算出するにあたり、濃淡画素領域の輪郭から特徴点までの距離を用いた。しかしながら、信頼度の算出にあたっては、濃淡画素領域の中央位置から特徴点までの距離を用いるようにしてもよい。つまり、信頼度算出部1501は、濃淡画素領域内における特徴点の相対的な位置を特定することで、信頼度を算出するようにしてもよい。   In the second embodiment, when the reliability calculation unit 1501 calculates the reliability of the feature points included in the gray pixel area determined to be the GGO area, the characteristic calculation is performed from the contour of the gray pixel area. The distance to the point was used. However, in calculating the reliability, the distance from the center position of the gray pixel area to the feature point may be used. That is, the reliability calculation unit 1501 may calculate the reliability by specifying the relative position of the feature point in the gray pixel region.

また、上記第2の実施形態では、信頼度算出部1501が、GGO領域であると判定された濃淡画素領域の内部に含まれる特徴点について信頼度を算出するものとした。しかしながら、GGO領域でない(正常領域である)と判定された濃淡画素領域の内部に含まれる特徴点についても同様に信頼度を算出するようにしてもよい。   In the second embodiment, the reliability calculation unit 1501 calculates the reliability for the feature points included in the light and dark pixel region determined to be the GGO region. However, the reliability may be calculated in the same manner for the feature points included in the light and dark pixel area determined not to be the GGO area (normal area).

また、上記第1及び第2の実施形態では、CT画像を表示する場合について説明したが、CT画像以外の医療画像(例えば、MRI(Magnetic resonance imaging)画像)を表示する場合に適用してもよい。   In the first and second embodiments, the case where a CT image is displayed has been described. However, the present invention may be applied to a case where a medical image other than a CT image (for example, an MRI (Magnetic Resonance Imaging) image) is displayed. Good.

なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出する特徴点抽出部と、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出する濃度閾値処理部と、
前記医療画像より、エッジ画素領域を検出するエッジ検出部と、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定する判定部と、
前記医療画像より抽出された前記特徴点のうち、前記判定部により疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う位置合わせ処理部と
を有する医療画像表示システム。
(付記2)
前記判定部は、前記濃淡画素領域の内部に含まれる前記エッジ画素領域の位置と、前記濃淡画素領域の輪郭の位置とを特定することで、前記濃淡画素領域が疾患領域か否かを判定する付記1に記載の医療画像表示システム。
(付記3)
前記判定部は、前記濃淡画素領域の輪郭から、前記濃淡画素領域の内部に含まれる前記エッジ画素領域までの距離が、所定の閾値より小さいと判定した場合に、前記濃淡画素領域が疾患領域でないと判定する付記2に記載の医療画像表示システム。
(付記4)
前記判定部により疾患領域であると判定された前記濃淡画素領域の内部に含まれる前記特徴点の、前記濃淡画素領域における位置に基づいて、前記特徴点の信頼度を算出する算出部を更に有し、
前記位置合わせ処理部は、前記判定部により疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点に加えて、前記判定部により疾患領域であると判定された前記濃淡画素領域の内部に含まれる前記特徴点であって所定の信頼度を有する特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う付記1に記載の医療画像表示システム。
(付記5)
前記算出部は、前記濃淡画素領域の内部に含まれる前記特徴点の位置と、前記濃淡画素領域の輪郭の位置とを特定することで、前記特徴点の信頼度を算出する付記4に記載の医療画像表示システム。
(付記6)
前記算出部は、前記濃淡画素領域の輪郭から、前記濃淡画素領域の内部に含まれる前記特徴点までの距離に基づいて、前記特徴点の信頼度を算出する付記5に記載の医療画像表示システム。
(付記7)
医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出し、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出し、
前記医療画像より、エッジ画素領域を検出し、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定し、
前記医療画像より抽出された前記特徴点のうち、疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う、
処理を、コンピュータに実行させる医療画像表示プログラム。
(付記8)
コンピュータが、
医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出し、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出し、
前記医療画像より、エッジ画素領域を検出し、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定し、
前記医療画像より抽出された前記特徴点のうち、疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う、
処理を実行する医療画像表示方法。
In addition, in the disclosed technology, forms such as the following supplementary notes are conceivable.
(Appendix 1)
A feature point extraction unit for extracting a feature point used for alignment with another medical image from the medical image;
From the medical image, a density threshold processing unit that extracts a gray pixel region including pixels having density values within a predetermined density range;
From the medical image, an edge detection unit that detects an edge pixel region;
Determination that determines whether or not the gray pixel area is a disease area by specifying the position of the edge pixel area included in the gray pixel area extracted from the medical image in the gray pixel area And
Among the feature points extracted from the medical image, the medical image and the other medical image are used by using the feature point included in the gray pixel region determined not to be a disease region by the determination unit. A medical image display system comprising: an alignment processing unit that performs alignment of
(Appendix 2)
The determination unit determines whether or not the gray pixel region is a disease region by specifying a position of the edge pixel region included in the gray pixel region and a position of a contour of the gray pixel region. The medical image display system according to appendix 1.
(Appendix 3)
When the determination unit determines that the distance from the contour of the gray pixel area to the edge pixel area included in the gray pixel area is smaller than a predetermined threshold, the gray pixel area is not a disease area. The medical image display system according to appendix 2, wherein
(Appendix 4)
The image processing apparatus further includes a calculation unit that calculates reliability of the feature point based on a position of the feature point included in the grayscale pixel region determined to be a disease region by the determination unit in the grayscale pixel region. And
In addition to the feature points included in the gray pixel area determined not to be a disease area by the determination unit, the alignment processing unit is determined to be the disease pixel area determined to be a disease area by the determination unit. The medical image display system according to supplementary note 1, wherein the medical image and the other medical image are aligned using the characteristic point included in the image and having a predetermined reliability.
(Appendix 5)
The calculation unit according to claim 4, wherein the calculation unit calculates the reliability of the feature point by specifying the position of the feature point included in the gray pixel region and the position of the contour of the gray pixel region. Medical image display system.
(Appendix 6)
The medical image display system according to supplementary note 5, wherein the calculation unit calculates the reliability of the feature point based on a distance from an outline of the gray pixel region to the feature point included in the gray pixel region. .
(Appendix 7)
Extract feature points used for alignment with other medical images from medical images,
From the medical image, extract a grayscale pixel region including pixels having a density value within a predetermined density range,
An edge pixel region is detected from the medical image,
By determining the position of the edge pixel area included in the gray pixel area extracted from the medical image within the gray pixel area, it is determined whether the gray pixel area is a disease area,
Of the feature points extracted from the medical image, the feature point included in the gray pixel region determined not to be a disease region is used to align the medical image with the other medical image. Do,
A medical image display program for causing a computer to execute processing.
(Appendix 8)
Computer
Extract feature points used for alignment with other medical images from medical images,
From the medical image, extract a grayscale pixel region including pixels having a density value within a predetermined density range,
An edge pixel region is detected from the medical image,
By determining the position of the edge pixel area included in the gray pixel area extracted from the medical image within the gray pixel area, it is determined whether the gray pixel area is a disease area,
Of the feature points extracted from the medical image, the feature point included in the gray pixel region determined not to be a disease region is used to align the medical image with the other medical image. Do,
A medical image display method for executing processing.

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。   Note that the present invention is not limited to the configurations shown here, such as combinations with other elements, etc., in the configurations described in the above embodiments. These points can be changed without departing from the spirit of the present invention, and can be appropriately determined according to the application form.

100 :CT画像撮影システム
110 :CT装置
120 :医療画像表示システム
130 :画像DB
140 :診断支援部
141 :第1のレジストレーション部
142 :第2のレジストレーション部
143 :表示制御部
300 :並列表示画面
401 :所定領域
402 :対応領域
601 :CT画像入力部
602 :領域抽出部
603 :特徴点抽出部
604 :特徴点フィルタリング部
605 :特徴点マッチング部
606 :集計部
607 :変換部
608 :出力部
610 :局所的位置合わせ処理部
1201 :エッジ検出部
1202 :濃度閾値処理部
1203 :ラべリング部
1204 :微小点除去部
1205 :距離算出部
1206 :判定部
1207 :特徴点出力部
1501 :信頼度算出部
100: CT image photographing system 110: CT apparatus 120: Medical image display system 130: Image DB
140: diagnosis support unit 141: first registration unit 142: second registration unit 143: display control unit 300: parallel display screen 401: predetermined region 402: corresponding region 601: CT image input unit 602: region extraction unit 603: Feature point extraction unit 604: Feature point filtering unit 605: Feature point matching unit 606: Total unit 607: Conversion unit 608: Output unit 610: Local alignment processing unit 1201: Edge detection unit 1202: Density threshold processing unit 1203 : Labeling unit 1204: Minute point removal unit 1205: Distance calculation unit 1206: Determination unit 1207: Feature point output unit 1501: Reliability calculation unit

Claims (6)

医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出する特徴点抽出部と、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出する濃度閾値処理部と、
前記医療画像より、エッジ画素領域を検出するエッジ検出部と、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定する判定部と、
前記医療画像より抽出された前記特徴点のうち、前記判定部により疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う位置合わせ処理部と
を有する医療画像表示システム。
A feature point extraction unit for extracting a feature point used for alignment with another medical image from the medical image;
From the medical image, a density threshold processing unit that extracts a gray pixel region including pixels having density values within a predetermined density range;
From the medical image, an edge detection unit that detects an edge pixel region;
Determination that determines whether or not the gray pixel area is a disease area by specifying the position of the edge pixel area included in the gray pixel area extracted from the medical image in the gray pixel area And
Among the feature points extracted from the medical image, the medical image and the other medical image are used by using the feature point included in the gray pixel region determined not to be a disease region by the determination unit. A medical image display system comprising: an alignment processing unit that performs alignment of
前記判定部は、前記濃淡画素領域の輪郭から、前記濃淡画素領域の内部に含まれる前記エッジ画素領域までの距離が、所定の閾値より小さいと判定した場合に、前記濃淡画素領域が疾患領域でないと判定する請求項1に記載の医療画像表示システム。   When the determination unit determines that the distance from the contour of the gray pixel area to the edge pixel area included in the gray pixel area is smaller than a predetermined threshold, the gray pixel area is not a disease area. The medical image display system according to claim 1, which is determined as follows. 前記判定部により疾患領域であると判定された前記濃淡画素領域の内部に含まれる前記特徴点の、前記濃淡画素領域における位置に基づいて、前記特徴点の信頼度を算出する算出部を更に有し、
前記位置合わせ処理部は、前記判定部により疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点に加えて、前記判定部により疾患領域であると判定された前記濃淡画素領域の内部に含まれる前記特徴点であって所定の信頼度を有する特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う請求項1に記載の医療画像表示システム。
The image processing apparatus further includes a calculation unit that calculates reliability of the feature point based on a position of the feature point included in the grayscale pixel region determined to be a disease region by the determination unit in the grayscale pixel region. And
In addition to the feature points included in the gray pixel area determined not to be a disease area by the determination unit, the alignment processing unit is determined to be the disease pixel area determined to be a disease area by the determination unit. The medical image display system according to claim 1, wherein the medical image and the other medical image are aligned using the feature point included in the image and having a predetermined reliability.
前記算出部は、前記濃淡画素領域の輪郭から、前記濃淡画素領域の内部に含まれる前記特徴点までの距離に基づいて、前記特徴点の信頼度を算出する請求項3に記載の医療画像表示システム。   The medical image display according to claim 3, wherein the calculation unit calculates the reliability of the feature point based on a distance from an outline of the gray pixel region to the feature point included in the gray pixel region. system. 医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出し、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出し、
前記医療画像より、エッジ画素領域を検出し、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定し、
前記医療画像より抽出された前記特徴点のうち、疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う、
処理を、コンピュータに実行させる医療画像表示プログラム。
Extract feature points used for alignment with other medical images from medical images,
From the medical image, extract a grayscale pixel region including pixels having a density value within a predetermined density range,
An edge pixel region is detected from the medical image,
By determining the position of the edge pixel area included in the gray pixel area extracted from the medical image within the gray pixel area, it is determined whether the gray pixel area is a disease area,
Of the feature points extracted from the medical image, the feature point included in the gray pixel region determined not to be a disease region is used to align the medical image with the other medical image. Do,
A medical image display program for causing a computer to execute processing.
コンピュータが、
医療画像より、他の医療画像との位置合わせに用いる特徴点を抽出し、
前記医療画像より、所定の濃度範囲内の濃度値を有する画素を含む濃淡画素領域を抽出し、
前記医療画像より、エッジ画素領域を検出し、
前記医療画像より抽出された前記濃淡画素領域の内部に含まれる前記エッジ画素領域の、該濃淡画素領域内での位置を特定することで、該濃淡画素領域が疾患領域か否かを判定し、
前記医療画像より抽出された前記特徴点のうち、疾患領域でないと判定された前記濃淡画素領域の内部に含まれる前記特徴点を用いて、前記医療画像と前記他の医療画像との位置合わせを行う、
処理を実行する医療画像表示方法。
Computer
Extract feature points used for alignment with other medical images from medical images,
From the medical image, extract a grayscale pixel region including pixels having a density value within a predetermined density range,
An edge pixel region is detected from the medical image,
By determining the position of the edge pixel area included in the gray pixel area extracted from the medical image within the gray pixel area, it is determined whether the gray pixel area is a disease area,
Of the feature points extracted from the medical image, the feature point included in the gray pixel region determined not to be a disease region is used to align the medical image with the other medical image. Do,
A medical image display method for executing processing.
JP2016014906A 2016-01-28 2016-01-28 Medical image display system, medical image display program, and medical image display method Active JP6642048B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016014906A JP6642048B2 (en) 2016-01-28 2016-01-28 Medical image display system, medical image display program, and medical image display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016014906A JP6642048B2 (en) 2016-01-28 2016-01-28 Medical image display system, medical image display program, and medical image display method

Publications (2)

Publication Number Publication Date
JP2017131454A true JP2017131454A (en) 2017-08-03
JP6642048B2 JP6642048B2 (en) 2020-02-05

Family

ID=59503268

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016014906A Active JP6642048B2 (en) 2016-01-28 2016-01-28 Medical image display system, medical image display program, and medical image display method

Country Status (1)

Country Link
JP (1) JP6642048B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555858A (en) * 2019-08-16 2019-12-10 珠海格力电器股份有限公司 Method and equipment for detecting position of hot melt adhesive of electric control board
CN111598883A (en) * 2020-05-20 2020-08-28 重庆工程职业技术学院 Calibration label equipment for acquiring cloud data medical image and working method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005526583A (en) * 2002-05-20 2005-09-08 シーメンス コーポレイト リサーチ インコーポレイテツド Lung nodule detection using wheel-like projection analysis
JP2005278690A (en) * 2004-03-26 2005-10-13 Hiroshima Industrial Promotion Organization Method for detecting nodular shadow from three-dimensional chest ct image using computer, apparatus therefor and computer program
JP2006239005A (en) * 2005-03-01 2006-09-14 Kobe Univ Image diagnostic processor and image diagnostic processing program
JP2008012291A (en) * 2006-06-08 2008-01-24 Kobe Univ Medical image diagnosis assisting device, and medical image diagnosis assisting program
JP2009028161A (en) * 2007-07-25 2009-02-12 Toshiba Corp Medical image display device and method
JP2011239797A (en) * 2008-09-04 2011-12-01 Konica Minolta Medical & Graphic Inc Image diagnosing support apparatus
JP2014030623A (en) * 2012-08-03 2014-02-20 Kyoto Univ Image processor, image processing method and program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005526583A (en) * 2002-05-20 2005-09-08 シーメンス コーポレイト リサーチ インコーポレイテツド Lung nodule detection using wheel-like projection analysis
JP2005278690A (en) * 2004-03-26 2005-10-13 Hiroshima Industrial Promotion Organization Method for detecting nodular shadow from three-dimensional chest ct image using computer, apparatus therefor and computer program
JP2006239005A (en) * 2005-03-01 2006-09-14 Kobe Univ Image diagnostic processor and image diagnostic processing program
JP2008012291A (en) * 2006-06-08 2008-01-24 Kobe Univ Medical image diagnosis assisting device, and medical image diagnosis assisting program
JP2009028161A (en) * 2007-07-25 2009-02-12 Toshiba Corp Medical image display device and method
JP2011239797A (en) * 2008-09-04 2011-12-01 Konica Minolta Medical & Graphic Inc Image diagnosing support apparatus
JP2014030623A (en) * 2012-08-03 2014-02-20 Kyoto Univ Image processor, image processing method and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
橘 理恵 他4名: ""差分処理を用いた胸部CT画像上におけるすりガラス陰影の領域抽出"", MEDICAL IMAGING TECHNOLOGY, vol. 32, no. 3, JPN6019029959, May 2014 (2014-05-01), pages 196 - 202, ISSN: 0004088270 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110555858A (en) * 2019-08-16 2019-12-10 珠海格力电器股份有限公司 Method and equipment for detecting position of hot melt adhesive of electric control board
CN111598883A (en) * 2020-05-20 2020-08-28 重庆工程职业技术学院 Calibration label equipment for acquiring cloud data medical image and working method
CN111598883B (en) * 2020-05-20 2023-05-26 重庆工程职业技术学院 Calibration label equipment for acquiring cloud data medical images and working method

Also Published As

Publication number Publication date
JP6642048B2 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
US8675944B2 (en) Method of registering image data
CN101231678B (en) Medical image-processing apparatus and medical image processing method
JP5643304B2 (en) Computer-aided lung nodule detection system and method and chest image segmentation system and method in chest tomosynthesis imaging
US8588501B2 (en) Automatic pose initialization for accurate 2-D/3-D registration applied to abdominal aortic aneurysm endovascular repair
US8620050B2 (en) System and method for 2-D/3-D registration between 3-D volume and 2-D angiography
US20070206844A1 (en) Method and apparatus for breast border detection
JP4640845B2 (en) Image processing apparatus and program thereof
US8805044B2 (en) Segmenting pulmonary arteries
US20150097833A1 (en) Apparatus for, and method of, processing volumetric medical image data
JP2007209758A (en) Processing method of tomosynthesis projection image for detection of radiological sign
US9058664B2 (en) 2D-2D fusion for interventional guidance in trans-catheter aortic valve implantation
US8244007B2 (en) System and method for registration of medical images based on insufficiently similar image areas
CN111145160B (en) Method, device, server and medium for determining coronary artery branches where calcified regions are located
US11200443B2 (en) Image processing apparatus, image processing method, and image processing system
US11935234B2 (en) Method for detecting abnormality, non-transitory computer-readable recording medium storing program for detecting abnormality, abnormality detection apparatus, server apparatus, and method for processing information
US9672600B2 (en) Clavicle suppression in radiographic images
US7751626B2 (en) Method and apparatus for detection using gradient-weighted and/or distance-weighted graph cuts
JP6565422B2 (en) Image processing program, image processing apparatus, and image processing method
JP6642048B2 (en) Medical image display system, medical image display program, and medical image display method
US8073232B2 (en) Method and system for diaphragm segmentation in chest X-ray radiographs
US10417765B2 (en) Adaptive segmentation for rotational C-arm computed tomography with a reduced angular range
JP2008073076A (en) Mammographic image processor
JP2005211439A (en) Abnormal shadow display device and program thereof
Xue et al. Extraction of aortic knuckle contour in chest radiographs using deep learning
Zhong et al. Automatic heart isolation in 3D CT images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6642048

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150