JP2018110715A - Image processing device and image processing method - Google Patents

Image processing device and image processing method Download PDF

Info

Publication number
JP2018110715A
JP2018110715A JP2017003112A JP2017003112A JP2018110715A JP 2018110715 A JP2018110715 A JP 2018110715A JP 2017003112 A JP2017003112 A JP 2017003112A JP 2017003112 A JP2017003112 A JP 2017003112A JP 2018110715 A JP2018110715 A JP 2018110715A
Authority
JP
Japan
Prior art keywords
pixel
image
detector
transmission
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017003112A
Other languages
Japanese (ja)
Inventor
有貴 仁科
Yuki Nishina
有貴 仁科
嘉典 小西
Yoshinori Konishi
嘉典 小西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2017003112A priority Critical patent/JP2018110715A/en
Priority to PCT/JP2017/038332 priority patent/WO2018131253A1/en
Publication of JP2018110715A publication Critical patent/JP2018110715A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/02Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computerised tomographs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing

Abstract

PROBLEM TO BE SOLVED: To provide techniques of generating high-quality reconstructed images at high speed from a plurality of transmission images.SOLUTION: When a transmission image contains first pixels and second pixels which are imaged at different times while continuously changing the positional relationship between a light source, an imaging subject and a detector, a reconstruction processing unit performs a projection or back projection operation between the transmission image and a reconstructed image, and when doing so, selects a pixel on the reconstructed image that corresponds to the first pixels on the basis of the positional relationship between the light source, the imaging subject and the detector at the time when the first pixels were imaged, and selects a pixel on the reconstructed image that corresponds to the second pixels on the basis of the positional relationship between the light source, the imaging subject and the detector at the time when the second pixels were imaged.SELECTED DRAWING: Figure 8

Description

本発明は、複数の透過像から対象物の3次元像を再構成する技術に関する。   The present invention relates to a technique for reconstructing a three-dimensional image of an object from a plurality of transmission images.

対象物内部の3次元像や断層像を得る手法として、CT(Computed Tomography)スキ
ャン又は単にCTと呼ばれる技術が知られている。X線を用いたX線CTは医療検査装置や産業用検査装置などに実用化されている。
As a technique for obtaining a three-dimensional image or a tomographic image inside an object, a technique called CT (Computed Tomography) scan or simply CT is known. X-ray CT using X-rays has been put into practical use in medical inspection apparatuses, industrial inspection apparatuses, and the like.

X線CTでは、対向配置した光源(X線源)と検出器の間に対象物を配置し、X線の投影方向を変えながら検出器により複数の透過像(投影データとも呼ぶ)を撮影する。そして、投影方向の異なる複数の透過像を基に、コンピュータ処理によって逆問題を解くことにより、対象物内部の3次元像を再構成する。従来のX線CTでは、投影像の撮影と投影方向の変更(対象物と検出器の相対的な移動)とを交互に繰り返す、いわゆるStop&Go方式が主流であったが、最近では、撮影時間の短縮を図るため、対象物と検出器を相対的に移動させながら各投影方向の透過像を連続的に撮影する方式(連続撮像方式と呼ぶ)を採用する装置が増えつつある。   In X-ray CT, an object is placed between a light source (X-ray source) and a detector arranged opposite to each other, and a plurality of transmission images (also called projection data) are taken by the detector while changing the X-ray projection direction. . Then, based on a plurality of transmission images having different projection directions, the inverse problem is solved by computer processing to reconstruct a three-dimensional image inside the object. In the conventional X-ray CT, the so-called Stop & Go method, in which the imaging of the projected image and the change of the projection direction (relative movement of the object and the detector) are alternately performed, has been mainstream. In order to shorten the number of apparatuses, an apparatus that employs a system (referred to as a continuous imaging system) that continuously captures a transmission image in each projection direction while relatively moving an object and a detector.

検出器に用いられるCMOSセンサには、グローバルシャッター方式のものとローリングシャッター方式のものがある。グローバルシャッター方式とは、CMOSセンサの全てのラインに対し同じタイミングで露光・データ読み出しを行う方式であり、ローリングシャッター方式とは、ラインごとに露光・データ読み出しのタイミングを少しずつずらす方式である。グローバルシャッター方式に比べローリングシャッター方式のセンサの方が低コストであるため、CTの検出器としてローリングシャッター方式のセンサが採用されることも多い。   CMOS sensors used for the detector include a global shutter type and a rolling shutter type. The global shutter method is a method in which exposure and data reading are performed at the same timing for all the lines of the CMOS sensor, and the rolling shutter method is a method in which the timing of exposure and data reading is slightly shifted for each line. Since the rolling shutter type sensor is less expensive than the global shutter type, a rolling shutter type sensor is often employed as a CT detector.

しかしながら、ローリングシャッター方式のセンサの弱点として、移動する物体を撮影する場合に画像の歪みが発生するという問題がある(一般に「ローリングシャッター歪み」と呼ばれる)。それゆえ、ローリングシャッター方式のセンサを用いて上述した連続撮像方式を行うと、各透過像に歪みが発生し、再構成の精度及び再構成結果の品質を著しく低下させる可能性がある。   However, as a weak point of the rolling shutter type sensor, there is a problem that image distortion occurs when shooting a moving object (generally called “rolling shutter distortion”). Therefore, when the above-described continuous imaging method is performed using a rolling shutter sensor, each transmitted image is distorted, which may significantly reduce the accuracy of reconstruction and the quality of the reconstruction result.

なお、ローリングシャッター歪みを補正する手法は、従来からいくつか提案されている。例えば、特許文献1では、動画像のフレーム間解析を行ってカメラが移動したときに発生する動きベクトルを取得し、その動きベクトルからローリングシャッター歪み成分を推定し画像を補正する手法が開示されている。   Heretofore, several methods for correcting rolling shutter distortion have been proposed. For example, Patent Document 1 discloses a method of performing an inter-frame analysis of a moving image to acquire a motion vector generated when the camera moves, estimating a rolling shutter distortion component from the motion vector, and correcting the image. Yes.

しかしながら、特許文献1の方法は、動きベクトルを計算するための計算負荷が重く、リアルタイム処理することが困難である。また、特許文献1のように、画像処理ベースで補正する方法では、動きベクトルの推定やローリングシャッター歪みの補正に失敗する箇所があると、再構成結果にアーチファクトが発生するという問題も懸念される。したがって、特許文献1の方法は、高速性が要求される検査装置や高信頼性が要求される検査装置には適さない。   However, the method of Patent Document 1 has a heavy calculation load for calculating a motion vector and is difficult to perform real-time processing. Further, in the method of correcting based on image processing as disclosed in Patent Document 1, if there is a portion where motion vector estimation or rolling shutter distortion correction fails, there is a concern that an artifact may occur in the reconstruction result. . Therefore, the method of Patent Document 1 is not suitable for an inspection apparatus that requires high speed and an inspection apparatus that requires high reliability.

特許第5531194号公報Japanese Patent No. 5531194

本発明は上記実情に鑑みてなされたものであって、複数の透過像から高品質な再構成画像を高速に生成する技術を提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object thereof is to provide a technique for generating a high-quality reconstructed image from a plurality of transmission images at high speed.

上記目的を達成するために、本発明に係る画像処理装置は、光源と対象物と検出器の間の位置関係を変えながら、前記対象物を透過した電磁波を前記検出器により複数回撮像することにより得られた、複数の透過像のデータを取得する透過像取得部と、前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行う再構成処理部と、を有し、前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記第1の画素に対応する前記再構成画像上の画素を、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択し、前記第2の画素に対応する前記再構成画像上の画素を、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択することを特徴とする画像処理装置である。   In order to achieve the above object, the image processing apparatus according to the present invention images the electromagnetic wave transmitted through the object a plurality of times by the detector while changing the positional relationship among the light source, the object and the detector. A transmission image acquisition unit that acquires data of a plurality of transmission images, and a reconstruction processing unit that performs a reconstruction process for generating a reconstruction image inside the object from the plurality of transmission images. The transmission image includes first and second pixels captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector, When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstructing process, the reconstruction processing unit performs the pixel on the reconstructed image corresponding to the first pixel, At the timing when the first pixel is imaged And selecting a pixel on the reconstructed image corresponding to the second pixel at a timing at which the second pixel is imaged, based on a positional relationship between the light source, the object, and the detector. The image processing apparatus is selected based on a positional relationship among a light source, the object, and the detector.

従来の再構成処理では、1つの透過像上の画素はすべて、光源と対象物と検出器の間の位置関係(以後「投影方向」と呼ぶ)が同じ状態で撮像されたという前提で、投影(再構成画像上の点から透過像上の点への投影)及び逆投影(透過像上の点から再構成画像上の点への投影)を行っている。それゆえ、「前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んで」いる場合、従来の再構成処理では、投影及び逆投影の処理において誤差が生じてしまう。   In the conventional reconstruction process, all pixels on one transmission image are projected on the assumption that the positional relationship between the light source, the object, and the detector (hereinafter referred to as “projection direction”) is the same. (Projection from a point on the reconstructed image to a point on the transmission image) and back projection (projection from a point on the transmission image to a point on the reconstructed image) are performed. Therefore, “the transmission image includes the first pixel and the second pixel captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector.” In the case of the conventional reconstruction process, an error occurs in the projection and backprojection processes.

これに対し、本発明では、第1の画素と第2の画素では投影方向が異なることを考慮し、各画素が実際に撮像されたタイミングにおける投影方向に基づき、透過像上の点と再構成画像上の点の対応をとる。したがって、いずれの画素についても、再構成処理における投影及び逆投影の処理を精度良く行うことができ、高品質な再構成結果を得ることができる。また、透過像の歪みや画素値を補正するような画像処理は不要であり、単に投影及び逆投影における対応点の選択を修正するだけでよいので、処理が高速である。また、画像処理の不備(補正ミス)に起因するアーチファクトのような問題は生じない。   On the other hand, in the present invention, considering that the projection direction differs between the first pixel and the second pixel, the points on the transmission image are reconstructed based on the projection direction at the timing when each pixel is actually imaged. Corresponding points on the image. Therefore, for any pixel, the projection and backprojection processes in the reconstruction process can be performed with high accuracy, and a high-quality reconstruction result can be obtained. In addition, image processing for correcting distortion and pixel values of the transmission image is not necessary, and it is only necessary to correct the selection of corresponding points in projection and backprojection, so that the processing is fast. In addition, problems such as artifacts due to incomplete image processing (correction errors) do not occur.

「前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んで」いる状態は、例えば、ラインごとに撮像タイミングが異なるローリングシャッター方式の検出器を用いて連続撮像方式による透過像の撮影を行った場合に発生する。言い換えると、本発明の手法は、ローリングシャッター方式の検出器を用いて連続撮像方式による透過像の撮影を行うCT装置に対し、好ましく適用できる。   “The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing the positional relationship between the light source, the object, and the detector” For example, it occurs when a transmission image is captured by a continuous imaging method using a rolling shutter type detector having different imaging timing for each line. In other words, the method of the present invention can be preferably applied to a CT apparatus that captures a transmission image by a continuous imaging method using a rolling shutter type detector.

前記透過像上の画素の座標と前記再構成画像上の画素の座標との対応関係が定義された対応座標データを記憶する記憶部を有しており、前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記対応座標データを参照して前記透過像上の画素に対応する前記再構成画像上の画素を選択することが好ましい。この構成によれば、再構成処理のなかで透過像上の各画素と再構成画像上の画素との対応関係を都度計算する必要がなくなるので、再構成処理のさらなる高速化を図ることができる。   A storage unit that stores corresponding coordinate data in which a correspondence relationship between the coordinates of the pixels on the transmission image and the coordinates of the pixels on the reconstructed image is defined; and the reconstruction processing unit includes the reconstruction unit When a projection or backprojection operation is performed between the transmission image and the reconstructed image in processing, a pixel on the reconstructed image corresponding to a pixel on the transmission image is selected with reference to the corresponding coordinate data It is preferable to do. According to this configuration, it is not necessary to calculate the correspondence between each pixel on the transmission image and each pixel on the reconstructed image during the reconstructing process, so that the reconstructing process can be further speeded up. .

前記再構成処理は、フィルタ補正逆投影法を用いた処理であるとよい。フィルタ補正逆投影法を用いた再構成処理は、比較的高品質な再構成結果を高速に演算できるという利点がある。なお、本発明は、投影や逆投影が必要なアルゴリズムであれば、フィルタ補正逆投影法以外の再構成アルゴリズムに対しても好ましく適用できる。   The reconstruction process may be a process using a filtered back projection method. The reconstruction processing using the filtered back projection method has an advantage that a relatively high quality reconstruction result can be calculated at high speed. Note that the present invention can be preferably applied to a reconstruction algorithm other than the filtered backprojection method as long as the algorithm requires projection or backprojection.

なお、本発明は、上記構成ないし機能の少なくとも一部を有する画像処理装置として捉えることができる。また、本発明は、画像処理装置を備えるCT装置、再構成された3次元像を利用した検査装置や診断装置として捉えることもできる。また、本発明は、上記処理の少なくとも一部を含む、画像処理方法、CT装置の制御方法、検査方法、診断方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成及び処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。   The present invention can be understood as an image processing apparatus having at least a part of the above configuration or function. The present invention can also be understood as a CT apparatus including an image processing apparatus, an inspection apparatus using a reconstructed three-dimensional image, and a diagnostic apparatus. The present invention also includes an image processing method, a CT apparatus control method, an inspection method, a diagnostic method, a program for causing a computer to execute these methods, or such a program, including at least a part of the above processing. Can also be regarded as a computer-readable recording medium on which non-temporary recording is performed. Each of the above configurations and processes can be combined with each other to constitute the present invention as long as there is no technical contradiction.

本発明によれば、複数の透過像から高品質な再構成画像を高速に生成することができる。   According to the present invention, a high-quality reconstructed image can be generated at high speed from a plurality of transmission images.

図1は本発明の実施形態に係るCTシステムのハードウェア構成を模式的に示す図である。FIG. 1 is a diagram schematically showing a hardware configuration of a CT system according to an embodiment of the present invention. 図2A〜図2Dは光源と対象物と検出器の移動方式の一例を示す図である。2A to 2D are diagrams illustrating an example of a movement method of the light source, the object, and the detector. 図3は画像処理装置の再構成処理に関わる機能を示すブロック図である。FIG. 3 is a block diagram showing functions related to the reconstruction processing of the image processing apparatus. 図4Aは撮像の基本原理を示す図であり、図4Bは再構成処理を示す図である。4A is a diagram showing the basic principle of imaging, and FIG. 4B is a diagram showing reconstruction processing. 図5は単純逆投影法による再構成処理を示す図である。FIG. 5 is a diagram showing reconstruction processing by a simple back projection method. 図6はローリングシャッター方式のCMOSセンサにおける露光・データ取り込みのタイミングを示す図である。FIG. 6 is a diagram showing the timing of exposure and data capture in a rolling shutter type CMOS sensor. 図7A〜図7Cはローリングシャッター方式の検出器を用いた連続撮像を示す図である。7A to 7C are diagrams illustrating continuous imaging using a rolling shutter type detector. 図8Aは従来の再構成処理を示す図であり、図8Bは画素ごとの撮像タイミングを考慮した再構成処理を示す図である。FIG. 8A is a diagram illustrating a conventional reconstruction process, and FIG. 8B is a diagram illustrating a reconstruction process in consideration of imaging timing for each pixel. 図9は対応座標データの一例を示す図である。FIG. 9 is a diagram showing an example of the corresponding coordinate data. 図10は画像処理装置のフローチャートである。FIG. 10 is a flowchart of the image processing apparatus. 図11A〜図11Gはコンピュータ・シミュレーションによる効果検証結果を示す図である。11A to 11G are diagrams showing results of effect verification by computer simulation.

以下に図面を参照しつつ、本発明の好適な実施の形態を説明する。ただし、以下に記載されている各構成の説明は、発明が適用されるシステムの構成や各種条件により適宜変更されるべきものであり、この発明の範囲を以下の記載に限定する趣旨のものではない。   Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. However, the description of each configuration described below should be changed as appropriate according to the configuration of the system to which the invention is applied and various conditions, and is intended to limit the scope of the present invention to the following description. Absent.

(システム構成)
図1は、本発明の実施形態に係るCTシステム1のハードウェア構成を模式的に示している。CTシステム1は、CT(Computed Tomography)技術を利用して対象物102の
内部の3次元像や断層像のデータを取得するシステムである。CTシステム1は、例えば、人や動物の体内を可視化し診断や検査に利用する医療検査装置、工業製品の内部構造を非破壊検査する産業用検査装置などに応用することができる。
(System configuration)
FIG. 1 schematically shows a hardware configuration of a CT system 1 according to an embodiment of the present invention. The CT system 1 is a system that acquires data of a three-dimensional image and a tomographic image inside the object 102 using CT (Computed Tomography) technology. The CT system 1 can be applied to, for example, a medical inspection apparatus that visualizes the inside of a human being or an animal and is used for diagnosis or inspection, an industrial inspection apparatus that non-destructively inspects the internal structure of an industrial product, and the like.

CTシステム1は、概略、撮像装置10、制御装置11、及び、画像処理装置12を有
して構成される。撮像装置10は、対象物102の透過像を撮像する装置である。制御装置11は、撮像装置10の各部の動作を制御する装置である。画像処理装置12は、撮像装置10によって取得された透過像のデータ(投影データとも呼ぶ)に対し、画像処理や演算処理を施す装置である。撮像装置10と制御装置11と画像処理装置12は一体の装置で構成されていてもよいし、それぞれ別体の装置で構成されていてもよい。
The CT system 1 generally includes an imaging device 10, a control device 11, and an image processing device 12. The imaging device 10 is a device that captures a transmission image of the object 102. The control device 11 is a device that controls the operation of each unit of the imaging device 10. The image processing apparatus 12 is an apparatus that performs image processing and arithmetic processing on transmission image data (also referred to as projection data) acquired by the imaging apparatus 10. The imaging device 10, the control device 11, and the image processing device 12 may be configured as an integrated device, or may be configured as separate devices.

撮像装置10は、対向配置された光源100と検出器101を有している。光源100から対象物102に対し電磁波103を投射し、対象物102を透過した電磁波103を検出器101で撮像することで、対象物102の透過像が得られる。本実施形態では、光源100としてコーンビームX線源を、検出器101としてシンチレータと2次元CMOSセンサで構成される2次元X線検出器を用い、1回の撮像で対象物102の2次元X線透過像を得る構成を採用する。ただし、光源100としては、ファンビームタイプやパラレルビームタイプの光源を用いてもよい。また、X線に限らず、対象物102に対し一定の透過性を有する電磁波(例えば、ガンマ線、可視光など)を撮像に用いてもよい。   The imaging device 10 includes a light source 100 and a detector 101 that are disposed to face each other. By projecting an electromagnetic wave 103 from the light source 100 onto the object 102 and imaging the electromagnetic wave 103 transmitted through the object 102 with the detector 101, a transmission image of the object 102 is obtained. In the present embodiment, a cone beam X-ray source is used as the light source 100, and a two-dimensional X-ray detector composed of a scintillator and a two-dimensional CMOS sensor is used as the detector 101. A configuration for obtaining a line transmission image is adopted. However, as the light source 100, a fan beam type or parallel beam type light source may be used. Further, not only the X-rays but also electromagnetic waves (for example, gamma rays, visible light, etc.) having a certain transparency to the object 102 may be used for imaging.

また、撮像装置10は、光源100と対象物102と検出器101の間の位置関係(すなわち、対象物102に対する電磁波の投影方向)を変えるための移動機構(不図示)を有している。移動機構の構成としては、例えば、図2Aのように、固定した対象物102の周囲を光源100と検出器101が回転するタイプ、図2Bのように、光源100と検出器101が固定され対象物102がその場で回転するタイプ、図2Cのように、対象物102を通る軸に垂直な面内で光源100と検出器101がそれぞれ旋回するタイプ、図2Dのように、対象物102が固定され、光源100と検出部101が平行に且つ互いに反対方向に移動するタイプなど、様々な方式がある。   Further, the imaging apparatus 10 includes a moving mechanism (not shown) for changing the positional relationship among the light source 100, the object 102, and the detector 101 (that is, the projection direction of the electromagnetic wave on the object 102). As the configuration of the moving mechanism, for example, a type in which the light source 100 and the detector 101 rotate around the fixed object 102 as shown in FIG. 2A, and the light source 100 and the detector 101 are fixed as shown in FIG. 2B. The type in which the object 102 rotates on the spot, the type in which the light source 100 and the detector 101 rotate in a plane perpendicular to the axis passing through the object 102 as shown in FIG. 2C, and the object 102 in FIG. There are various methods such as a fixed type in which the light source 100 and the detection unit 101 move in parallel and in opposite directions.

制御装置11は、光源100の投射・停止、検出器101による撮像、投影方向の変更(移動機構の駆動)など、CTシステム1の統括的な制御を行う装置である。   The control device 11 is a device that performs overall control of the CT system 1, such as projection / stop of the light source 100, imaging by the detector 101, and change of the projection direction (drive of the moving mechanism).

画像処理装置12は、撮像装置10によって取得された透過像のデータに対し画像処理や演算処理を行う装置である。例えば、投影方向の異なる複数の透過像のデータから対象物102の再構成画像(3次元像、ボリュームデータとも呼ぶ)を生成する再構成処理、再構成画像から任意の断層像を生成する処理、再構成画像や断層像のデータを用いて特徴量の抽出や検査・診断を行う処理など、画像処理装置12にはその目的や用途に応じて様々な処理を実装することができる。   The image processing device 12 is a device that performs image processing and arithmetic processing on transmission image data acquired by the imaging device 10. For example, reconstruction processing for generating a reconstructed image (also referred to as three-dimensional image or volume data) of the object 102 from a plurality of transmission image data having different projection directions, processing for generating an arbitrary tomographic image from the reconstructed image, Various processes can be implemented in the image processing apparatus 12 according to the purpose and application, such as a process of extracting feature amounts and performing inspection / diagnosis using reconstructed image and tomographic image data.

画像処理装置12は、プロセッサ(CPU)、メモリ、記憶装置(ハードディスクドライブなど)、入力装置(マウス、キーボード、タッチパネルなど)、出力装置(表示装置など)などを備えたコンピュータにより構成することができる。後述する画像処理装置12の機能は、記憶装置に格納されたプログラムをプロセッサが実行することにより実現される。ただし、画像処理装置12の機能の一部又は全部を、ASICやFPGAなどで構成しても構わない。あるいは、画像処理装置12の機能の一部又は全部を、他のコンピュータや、ネットワーク上のサーバなどで実行しても構わない。   The image processing apparatus 12 can be configured by a computer including a processor (CPU), a memory, a storage device (such as a hard disk drive), an input device (such as a mouse, a keyboard, and a touch panel), an output device (such as a display device), and the like. . The functions of the image processing device 12 to be described later are realized by the processor executing a program stored in the storage device. However, some or all of the functions of the image processing apparatus 12 may be configured by ASIC, FPGA, or the like. Alternatively, some or all of the functions of the image processing apparatus 12 may be executed by another computer, a server on a network, or the like.

図3は、画像処理装置12の再構成処理に関わる機能を示すブロック図である。画像処理装置12は、透過像取得部30、再構成処理部31、パラメータ記憶部32を有している。透過像取得部30は、投影方向の異なる複数の透過像のデータ(つまり、再構成に使う元データ)を取得する機能である。透過像取得部30は、撮像装置10から透過像のデータを直接取得してもよいし、過去に撮像された透過像のデータを記憶装置や外部のデータストレージから読み込んでもよい。再構成処理部31は、複数の透過像から対象物102内部の再構成画像を生成する再構成処理を行う機能である。再構成処理のアルゴリズムとしては、単純逆投影法、フィルタ補正逆投影(Filtered Back Projection)法、逐次近
似法(SIRT(Simultaneous Reconstruction Technique)法、ART(Algebraic Reconstruction Technique)法)、探索法(勾配法(Gradient Method)、共役勾配法、最急降下法))などがあり、いずれのアルゴリズムを用いてもよい。本実施形態では、比較的高品質な再構成結果を高速に演算できるという利点をもつフィルタ補正逆投影法を用いる。パラメータ記憶部32は、再構成処理で用いる各種のパラメータ(設定値、定義データ、テーブルなど)を記憶する機能である。
FIG. 3 is a block diagram illustrating functions related to the reconstruction process of the image processing apparatus 12. The image processing apparatus 12 includes a transmission image acquisition unit 30, a reconstruction processing unit 31, and a parameter storage unit 32. The transmission image acquisition unit 30 has a function of acquiring data of a plurality of transmission images having different projection directions (that is, original data used for reconstruction). The transmission image acquisition unit 30 may directly acquire transmission image data from the imaging device 10 or may read transmission image data captured in the past from a storage device or an external data storage. The reconstruction processing unit 31 has a function of performing a reconstruction process for generating a reconstructed image inside the object 102 from a plurality of transmission images. As reconstruction algorithms, simple back projection, filtered back projection (SI) (Simultaneous Reconstruction Technique), ART (Algebraic Reconstruction Technique), search method (gradient method) (Gradient Method), conjugate gradient method, steepest descent method)), etc., and any algorithm may be used. In the present embodiment, a filtered back projection method having an advantage that a relatively high-quality reconstruction result can be calculated at high speed is used. The parameter storage unit 32 is a function for storing various parameters (setting values, definition data, tables, etc.) used in the reconstruction process.

(撮像及び再構成の原理)
本実施形態の再構成処理を説明する前に、図4A及び図4Bを参照して、一般的なCT装置における撮像及び再構成の基本的な原理を説明する。説明の簡単のため、図4Aでは、パラレルビームと3画素L0〜L1の検出器101を用いて1次元透過像の撮影を2回行う例を示す。実際の装置では、コーンビームを用いて2次元の透過像を撮影し、その枚数(投影回数)は数十から数百、透過像の画素数は数万から数百万画素となるが、基本的な原理は図4Aのものと同様である。
(Principle of imaging and reconstruction)
Before describing the reconstruction processing of the present embodiment, the basic principle of imaging and reconstruction in a general CT apparatus will be described with reference to FIGS. 4A and 4B. For ease of explanation, FIG. 4A shows an example in which a one-dimensional transmission image is captured twice using a parallel beam and detectors 101 of three pixels L0 to L1. In an actual device, a two-dimensional transmission image is taken using a cone beam, and the number (number of projections) of the image is several tens to several hundreds, and the number of pixels of the transmission image is several tens of thousands to several millions. The general principle is the same as that of FIG. 4A.

図4Aにおいて、対象物102の内部に示した数値はX線減衰係数分布を表しており、破線矢印はX線103の透過経路(投影線)を示している。まず時刻t0に、光源100及び検出器101を対象物102の上下に配置し、光源100からX線103を投射し、検出器101により第一の透過像40を撮影する。X線103は、対象物102を透過するときにエネルギの一部が吸収され、減衰する。通常、対象物102の内部のX線減衰係数分布は一様ではないため、透過経路によってX線103の減衰率に差が生じる(X線103の減衰率の自然対数の負符号を取ったものが、透過経路上のX線減衰係数の積分値に相当する。)。ただし、透過像40の値は、観測値に対して、物体が存在しないときの観測値で割り、その値の自然対数を取り負符号を取ったものである。   In FIG. 4A, the numerical value shown inside the object 102 represents the X-ray attenuation coefficient distribution, and the broken line arrow indicates the transmission path (projection line) of the X-ray 103. First, at time t <b> 0, the light source 100 and the detector 101 are arranged above and below the object 102, the X-ray 103 is projected from the light source 100, and the first transmission image 40 is captured by the detector 101. When the X-ray 103 passes through the object 102, a part of the energy is absorbed and attenuated. Usually, since the X-ray attenuation coefficient distribution inside the object 102 is not uniform, a difference occurs in the attenuation factor of the X-ray 103 depending on the transmission path (the negative sign of the natural logarithm of the attenuation factor of the X-ray 103). (This corresponds to the integral value of the X-ray attenuation coefficient on the transmission path.) However, the value of the transmission image 40 is obtained by dividing the observed value by the observed value when no object is present and taking the natural logarithm of that value and taking the negative sign.

時刻t1では、光源100及び検出器101を移動し、投影方向を時計回りに90度変更した後、光源100からX線103を投射し、第二の透過像41を撮影する。第一の透過像40と第二の透過像41ではX線103の透過経路が異なるため、異なる値が観測されることがわかる。   At time t1, the light source 100 and the detector 101 are moved, the projection direction is changed by 90 degrees clockwise, the X-ray 103 is projected from the light source 100, and the second transmission image 41 is photographed. Since the transmission path of the X-ray 103 is different between the first transmission image 40 and the second transmission image 41, it can be seen that different values are observed.

このようにして、投影方向の異なる複数の透過像40,41を得た後、それらの透過像40,41を用いて再構成処理を行う。図4Bに示すように、再構成処理は、複数の透過像40,41を基に対象物102内部のX線減衰係数分布42を推定する処理に相当する。   In this manner, after obtaining a plurality of transmission images 40 and 41 having different projection directions, reconstruction processing is performed using the transmission images 40 and 41. As shown in FIG. 4B, the reconstruction process corresponds to a process of estimating the X-ray attenuation coefficient distribution 42 inside the object 102 based on the plurality of transmission images 40 and 41.

図5に、単純逆投影法による再構成処理を模式的に示す。まず、対象物102の一断面に相当する再構成画像50のデータ領域をメモリ上に確保し、ゼロで初期化する。そして、透過像40を再構成画像50に逆投影する。逆投影とは、透過像40上の点を再構成画像50上の点に投影する操作であり、ここでは、透過像40上の画素の値を再構成画像50上の対応画素に書き込む(加算する)処理となる。対応画素は、X線の透過経路上に存在する画素であり、図5の例では、透過像40の各画素に3つずつ対応画素が存在している。3つの対応画素には同じ値が書き込み(加算)される。その後、透過像41も同じように再構成画像50に逆投影する。この処理を全ての透過像に対し行い、全透過像の逆投影を累積加算することにより、再構成画像50を得ることができる。なお、図5では、逆投影を累積加算した後に投影回数(ここでは2回)で除算している。以上が単純逆投影法による再構成処理の概要である。本実施形態で用いるフィルタ補正逆投影法は、透過像にハイパスフィルタをかけた後に逆投影する点が特徴であり、それ以外の操作は単純逆投影法と基本的に同じである。   FIG. 5 schematically shows reconstruction processing by the simple back projection method. First, a data area of the reconstructed image 50 corresponding to one cross section of the object 102 is secured on a memory and initialized with zero. Then, the transmission image 40 is back-projected on the reconstructed image 50. Backprojection is an operation of projecting a point on the transmission image 40 onto a point on the reconstructed image 50. Here, the value of the pixel on the transmission image 40 is written to the corresponding pixel on the reconstructed image 50 (addition). Process). The corresponding pixels are pixels that exist on the X-ray transmission path. In the example of FIG. 5, three corresponding pixels exist for each pixel of the transmission image 40. The same value is written (added) to the three corresponding pixels. Thereafter, the transmission image 41 is also back-projected onto the reconstructed image 50 in the same manner. The reconstructed image 50 can be obtained by performing this process on all the transmission images and cumulatively adding back projections of all the transmission images. In FIG. 5, the back projection is cumulatively added and then divided by the number of projections (here, twice). The above is the outline of the reconstruction processing by the simple back projection method. The filter-corrected backprojection method used in this embodiment is characterized in that a high-pass filter is applied to the transmission image and then backprojected, and other operations are basically the same as the simple backprojection method.

(連続撮像方式とその課題)
本実施形態の撮像装置10は、対象物102と検出器101を相対的に移動させながら各投影方向の透過像を連続的に撮影する方式(連続撮像方式)を用いる。対象物102と検出器101の相対移動を止めて撮像を行ういわゆるStop&Go方式に比べ、連続撮像方式の方がスループットを向上できるからである。
(Continuous imaging system and its problems)
The imaging apparatus 10 according to the present embodiment uses a system (continuous imaging system) that continuously captures transmission images in each projection direction while relatively moving the object 102 and the detector 101. This is because the continuous imaging method can improve the throughput as compared with the so-called Stop & Go method in which the relative movement between the object 102 and the detector 101 is stopped to perform imaging.

ただし、連続撮像方式を用いる場合には、検出器101で発生するローリングシャッター歪みの影響を考慮する必要がある。図6は、ローリングシャッター方式のCMOSセンサにおける露光・データ取り込みのタイミングを説明する図である。横軸は時間であり、縦軸はCMOSセンサのスキャンラインである。スキャンラインごとに露光・データ取り込みのタイミングが異なることがわかる。図6の例では、スキャンラインL1のデータ取り込みはスキャンラインL0に比べて時間dtだけ遅延し、スキャンラインL2のデータ取り込みはスキャンラインL0に比べて時間2×dtだけ遅延している。この遅延により、動く物体を撮影したときに、ローリングシャッター歪みと呼ばれる画像の歪みが発生する。この歪みは、対象物102と検出器101の相対速度が速くなるほど無視できなくなり、再構成処理の精度及び再構成画像の品質を著しく低下させる。   However, when the continuous imaging method is used, it is necessary to consider the influence of rolling shutter distortion generated by the detector 101. FIG. 6 is a diagram for explaining exposure / data fetching timing in a rolling shutter type CMOS sensor. The horizontal axis is time, and the vertical axis is the scan line of the CMOS sensor. It can be seen that the timing of exposure and data capture differs for each scan line. In the example of FIG. 6, the data acquisition of the scan line L1 is delayed by a time dt compared to the scan line L0, and the data acquisition of the scan line L2 is delayed by a time 2 × dt compared to the scan line L0. Due to this delay, image distortion called rolling shutter distortion occurs when a moving object is photographed. This distortion cannot be ignored as the relative speed between the object 102 and the detector 101 increases, and the accuracy of the reconstruction process and the quality of the reconstructed image are significantly reduced.

図7A〜図7C及び図8Aを用いて、ローリングシャッター方式の検出器101を用いて連続撮像を行った場合の問題を詳しく説明する。Stop&Go方式の場合(図4A参照)、光源100と対象物102と検出器101の位置関係が変わらない状態で、全スキャンラインL0〜L2のデータ取り込みが行われる。これに対し、連続撮像方式の場合は、図7A〜図7Cに示すように、スキャンラインごとに、光源100と対象物102と検出器101の位置関係(投影方向)が異なる。したがって、第1の画素700、第2の画素701、第3の画素702は、同じ透過像70の中に含まれているにもかかわらず、光源100と対象物102と検出器101の位置関係(投影方向)が異なる状態で撮像されたデータとなる。それゆえ、この透過像70を用いて再構成処理を行う際に、図8Aのごとく全画素700〜702の逆投影方向を一律にしてしまうと、誤差が生じる。   7A to 7C and FIG. 8A will be used to describe in detail the problem when continuous imaging is performed using the rolling shutter type detector 101. FIG. In the case of the Stop & Go method (see FIG. 4A), data acquisition of all the scan lines L0 to L2 is performed in a state where the positional relationship among the light source 100, the object 102, and the detector 101 is not changed. On the other hand, in the case of the continuous imaging method, as shown in FIGS. 7A to 7C, the positional relationship (projection direction) among the light source 100, the object 102, and the detector 101 is different for each scan line. Therefore, although the first pixel 700, the second pixel 701, and the third pixel 702 are included in the same transmission image 70, the positional relationship between the light source 100, the object 102, and the detector 101 The data is captured with different (projection directions). Therefore, when the reconstruction process is performed using the transmission image 70, an error occurs if the back projection directions of all the pixels 700 to 702 are uniform as shown in FIG. 8A.

(再構成処理)
上記の課題に鑑み、本実施形態では、画素ごとの実際の撮像タイミング(データ取り込みタイミング)とそのときの投影方向を考慮して逆投影時の対応画素を決定することで、ローリングシャッター歪みの影響を回避する。図8Bに、本実施形態の再構成処理における逆投影を模式的に示す。図8Bに示すように、透過像70中の第1の画素700を逆投影する場合には、第1の画素700が撮像されたタイミングt00における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。第2の画素701を逆投影する場合には、第2の画素701が撮像されたタイミングt01における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。第3の画素702を逆投影する場合には、第3の画素702が撮像されたタイミングt02における投影方向に基づき、再構成画像80上の対応画素(グレーの画素)を選択する。このような方法を採ることにより、再構成処理の精度を向上することができる。
(Reconfiguration process)
In view of the above problems, in this embodiment, the influence of rolling shutter distortion is determined by determining the corresponding pixel at the time of back projection in consideration of the actual imaging timing (data acquisition timing) for each pixel and the projection direction at that time. To avoid. FIG. 8B schematically shows back projection in the reconstruction processing of the present embodiment. As shown in FIG. 8B, when the first pixel 700 in the transmission image 70 is back-projected, the corresponding pixel on the reconstructed image 80 is based on the projection direction at the timing t00 when the first pixel 700 was captured. (Gray pixel) is selected. When the second pixel 701 is back-projected, the corresponding pixel (gray pixel) on the reconstructed image 80 is selected based on the projection direction at the timing t01 when the second pixel 701 is imaged. When the third pixel 702 is back-projected, the corresponding pixel (gray pixel) on the reconstructed image 80 is selected based on the projection direction at the timing t02 when the third pixel 702 was captured. By adopting such a method, the accuracy of the reconstruction process can be improved.

透過像上の画素と再構成画像上の画素の対応関係は、光源100と対象物102と検出器101の配置、検出器101の仕様(画素数、画素サイズ、スキャンラインごとの撮像タイミング(フレームレート))、検出器101の移動速度など、撮像装置10の物理的仕様と連続撮像時の制御条件が分かれば、幾何学的な計算により求めることができる。したがって、本実施形態では、連続撮像時に取得する全ての透過像について、透過像上の画素と再構成画像上の画素の対応関係を予め計算し、その対応関係を定義した対応座標データをパラメータ記憶部32に格納しておく。図9に対応座標データの一例を示す。再構成処理において投影又は逆投影の操作を行う際に対応座標データを参照することで、対応画素を逐一計算するよりも、処理の高速化を図ることができる。   The correspondence between the pixels on the transmission image and the pixels on the reconstructed image is determined by the arrangement of the light source 100, the object 102, and the detector 101, the specifications of the detector 101 (number of pixels, pixel size, imaging timing for each scan line (frame Rate)), the moving speed of the detector 101, and the like, if the physical specifications of the imaging apparatus 10 and the control conditions during continuous imaging are known, they can be obtained by geometric calculation. Therefore, in this embodiment, for all transmission images acquired during continuous imaging, the correspondence between the pixels on the transmission image and the pixels on the reconstructed image is calculated in advance, and the corresponding coordinate data defining the correspondence is stored as a parameter. Stored in the unit 32. FIG. 9 shows an example of the corresponding coordinate data. By referring to the corresponding coordinate data when performing a projection or backprojection operation in the reconstruction process, it is possible to speed up the process rather than calculating the corresponding pixels one by one.

図10に本実施形態の画像処理装置の処理フローを示す。ステップS100において、透過像取得部30が、投影方向の異なる複数の透過像のデータを取得する。ステップS101では、再構成処理部31が、パラメータ記憶部32から対応座標データを読み込む。ステップS102では、再構成処理部31が、各透過像にハイパスフィルタをかけた後、逆投影を行うことで再構成画像を生成する。逆投影の際は、図8Bに示したように、各画素が実際に撮像されたタイミングにおける投影方向に基づき、透過像上の点と再構成画像上の点の対応をとる。ステップS103では、再構成処理部31が、再構成画像に基づき対象物102の3次元像や断層像を表示装置に表示する。   FIG. 10 shows a processing flow of the image processing apparatus of this embodiment. In step S100, the transmission image acquisition unit 30 acquires data of a plurality of transmission images having different projection directions. In step S <b> 101, the reconstruction processing unit 31 reads the corresponding coordinate data from the parameter storage unit 32. In step S102, the reconstruction processing unit 31 applies a high-pass filter to each transmission image, and then performs back projection to generate a reconstructed image. At the time of back projection, as shown in FIG. 8B, correspondence between points on the transmission image and points on the reconstructed image is taken based on the projection direction at the timing when each pixel is actually imaged. In step S103, the reconstruction processing unit 31 displays a three-dimensional image or tomographic image of the object 102 on the display device based on the reconstructed image.

以上述べた本実施形態の再構成処理によれば、透過像上のいずれの画素についても逆投影の処理を精度良く行うことができ、高品質な再構成結果を得ることができる。また、透過像の歪みや画素値を補正するような画像処理は不要であり、単に逆投影における対応点の選択を修正するだけでよいので、処理が高速である。また、画像処理の不備(補正ミス)に起因するアーチファクトのような問題は生じない。   According to the reconstruction process of the present embodiment described above, the backprojection process can be accurately performed for any pixel on the transmission image, and a high-quality reconstruction result can be obtained. Further, image processing for correcting distortion of the transmitted image and pixel values is unnecessary, and the selection of corresponding points in back projection need only be corrected, so that the processing is fast. In addition, problems such as artifacts due to incomplete image processing (correction errors) do not occur.

本実施形態の再構成処理を用いれば、ローリングシャッター方式の検出器101を用いて連続撮像方式による透過像の撮影を行った場合でも、高品質な再構成結果を得ることができる。言い換えると、Stop&Go方式(静止撮像)と同等の品質を維持しながら、CTシステムの高速化を図ることができる。   By using the reconstruction processing of this embodiment, a high-quality reconstruction result can be obtained even when a transmission image is captured by the continuous imaging method using the rolling shutter method detector 101. In other words, it is possible to increase the speed of the CT system while maintaining the same quality as the Stop & Go method (still imaging).

また本実施形態では、対応座標データを用いることで、再構成処理のなかで透過像上の各画素と再構成画像上の画素との対応関係を都度計算する必要がなくなるので、再構成処理のさらなる高速化を図ることができる。   Further, in this embodiment, by using the corresponding coordinate data, it is not necessary to calculate the correspondence between each pixel on the transmission image and the pixel on the reconstructed image in the reconstruction process. Further speedup can be achieved.

(実施例)
図11A〜図11Gに、コンピュータ・シミュレーションによる効果検証結果を示す。図11Aは、対象物体のモデルである。ここでは、内部に空洞111を有する球体のモデル110を用いた。このモデル110に対し32方向のX線透過像をシミュレーションにより生成し、それら32枚の透過像をCT再構成し、再構成画像(3次元像)を球体の中心でスライスした結果が、図11B、図11C、図11Dである。図11Bは、Stop&Go方式(静止撮像方式)による透過像、つまりローリングシャッター歪みの無い透過像を用いた再構成結果である。図11C及び図11Dは、連続撮像方式による透過像、つまりローリングシャッター歪みを含む透過像を用いた再構成結果であり、図11Cは従来の再構成処理(図8A)を適用した例、図11Dは本実施形態の再構成処理(図8B)を適用した例である。また、図11E〜図11Gはそれぞれ図11B〜図11Dの破線位置のプロファイルであり、横軸は画像のx座標、縦軸は正規化した線源弱係数を示す。
(Example)
FIG. 11A to FIG. 11G show the result of effect verification by computer simulation. FIG. 11A is a model of the target object. Here, a spherical model 110 having a cavity 111 inside is used. FIG. 11B shows a result of generating X-ray transmission images in 32 directions for the model 110 by simulation, reconstructing these 32 transmission images by CT, and slicing the reconstructed image (three-dimensional image) at the center of the sphere. FIG. 11C and FIG. 11D. FIG. 11B shows a reconstruction result using a transmission image by the Stop & Go method (still image pickup method), that is, a transmission image without rolling shutter distortion. 11C and 11D are reconstruction results using a transmission image by a continuous imaging method, that is, a transmission image including rolling shutter distortion, and FIG. 11C is an example in which the conventional reconstruction processing (FIG. 8A) is applied. These are examples in which the reconstruction processing (FIG. 8B) of this embodiment is applied. 11E to 11G are profiles of broken line positions in FIGS. 11B to 11D, respectively, the horizontal axis represents the x coordinate of the image, and the vertical axis represents the normalized source weak coefficient.

PSNR(ピーク信号対雑音比)は再構成結果の精度を定量評価するための指標であり、下記のように定義した。PSNR値が大きいほど精度が良い(静止撮像の品質に近い)ことを表す。

PSNR=20×log10(MAXI/√MSE) [dB]
MAXI=静止撮像の再構成結果の最大値
MSE=(Σ(静止撮像の再構成結果−連続撮像の再構成結果))/画素数
PSNR (peak signal-to-noise ratio) is an index for quantitatively evaluating the accuracy of the reconstruction result, and is defined as follows. The larger the PSNR value, the better the accuracy (close to the quality of still imaging).

PSNR = 20 × log 10 (MAXI / √MSE) [dB]
MAXI = maximum value of reconstruction result of still imaging MSE = (Σ (reconstruction result of still imaging−reconstruction result of continuous imaging) 2 ) / number of pixels

従来の再構成処理の場合、図11C及び図11Fに示すように、ローリングシャッター歪みの影響により再構成結果の品質が著しく低下する。これに対し、本実施形態の再構成処理を適用することで、図11D及び図11Gに示すように静止撮像の場合と同等品質の再構成結果が得られることが確認できた。また、PSNR値を比較すると、従来の再構成
処理を適用した場合は11.0966[dB]であるのに対し、本実施形態の再構成処理を適用した場合は41.6434[dB]と大幅に改善することが確認できた。
In the case of the conventional reconstruction process, as shown in FIGS. 11C and 11F, the quality of the reconstruction result is significantly degraded due to the influence of rolling shutter distortion. On the other hand, it has been confirmed that by applying the reconstruction processing of the present embodiment, a reconstruction result having the same quality as that in the case of still imaging can be obtained as shown in FIGS. 11D and 11G. Further, when the PSNR values are compared, it is 11.0966 [dB] when the conventional reconstruction process is applied, whereas it is greatly increased to 41.6434 [dB] when the reconstruction process of the present embodiment is applied. It was confirmed that it improved.

(その他の実施形態)
上記の実施形態の説明は、本発明を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。
(Other embodiments)
The above description of the embodiments is merely illustrative of the present invention. The present invention is not limited to the specific form described above, and various modifications are possible within the scope of the technical idea.

例えば、上記実施形態ではフィルタ補正逆投影法を用いたが、単純逆投影法、逐次近似法(SIRT法、ART法)、探索法(勾配法、共役勾配法、最急降下法))など、他の再構成アルゴリズムを用いてもよい。いずれのアルゴリズムでも、透過像から再構成画像への逆投影と再構成画像から透過像への投影の少なくともいずれかの操作が行われる。その逆投影又は投影の操作を行う際に、上記実施形態と同様、各画素を実際に撮像したタイミングにおける投影方向に基づき透過像と再構成画像の間の対応点を選択することで、ローリングシャッター歪みの影響の無い、高品質な再構成結果を得ることができる。   For example, although the filtered back projection method is used in the above embodiment, a simple back projection method, a successive approximation method (SIRT method, ART method), a search method (gradient method, conjugate gradient method, steepest descent method)), etc. The reconstruction algorithm may be used. In any algorithm, at least one of back projection from the transmission image to the reconstructed image and projection from the reconstructed image to the transmission image is performed. When performing the back projection or projection operation, the rolling shutter is selected by selecting corresponding points between the transmission image and the reconstructed image based on the projection direction at the timing when each pixel is actually imaged, as in the above embodiment. It is possible to obtain a high-quality reconstruction result that is not affected by distortion.

1:CTシステム、10:撮像装置、11:制御装置、12:画像処理装置
30:透過像取得部、31:再構成処理部、32:パラメータ記憶部
40,41,70:透過像、50,80:再構成画像
100:光源、101:検出器、102:対象物、103:電磁波
110:モデル、111:空洞
700:第1の画素、701:第2の画素、702:第3の画素
1: CT system, 10: imaging device, 11: control device, 12: image processing device 30: transmission image acquisition unit, 31: reconstruction processing unit, 32: parameter storage unit 40, 41, 70: transmission image, 50, 80: Reconstructed image 100: Light source 101: Detector 102: Object 103: Electromagnetic wave 110: Model 111: Cavity 700: First pixel 701: Second pixel 702: Third pixel

Claims (6)

光源と対象物と検出器の間の位置関係を変えながら、前記対象物を透過した電磁波を前記検出器により複数回撮像することにより得られた、複数の透過像のデータを取得する透過像取得部と、
前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行う再構成処理部と、を有し、
前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、
前記再構成処理部は、
前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、
前記第1の画素に対応する前記再構成画像上の画素を、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択し、
前記第2の画素に対応する前記再構成画像上の画素を、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択する
ことを特徴とする画像処理装置。
Transmission image acquisition for acquiring data of a plurality of transmission images obtained by imaging the electromagnetic wave transmitted through the object a plurality of times with the detector while changing the positional relationship between the light source, the object and the detector. And
A reconstruction processing unit that performs a reconstruction process for generating a reconstructed image inside the object from the plurality of transmission images,
The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing a positional relationship between the light source, the object, and the detector;
The reconstruction processing unit
When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstruction process,
A pixel on the reconstructed image corresponding to the first pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the first pixel is imaged;
A pixel on the reconstructed image corresponding to the second pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the second pixel is imaged. An image processing apparatus.
前記透過像上の画素の座標と前記再構成画像上の画素の座標との対応関係が定義された対応座標データを記憶する記憶部を有しており、
前記再構成処理部は、前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、前記対応座標データを参照して前記透過像上の画素に対応する前記再構成画像上の画素を選択する
ことを特徴とする請求項1に記載の画像処理装置。
A storage unit that stores correspondence coordinate data in which a correspondence relationship between the coordinates of the pixels on the transmission image and the coordinates of the pixels on the reconstructed image is defined;
The reconstruction processing unit corresponds to a pixel on the transmission image with reference to the corresponding coordinate data when performing a projection or back projection operation between the transmission image and the reconstruction image in the reconstruction processing. The image processing apparatus according to claim 1, wherein a pixel on the reconstructed image to be selected is selected.
前記検出器は、ラインごとに撮像タイミングが異なるローリングシャッター方式の検出器であり、
前記第1の画素と前記第2の画素は、前記検出器の異なるラインで撮像された画素である
ことを特徴とする請求項1又は2に記載の画像処理装置。
The detector is a rolling shutter type detector with different imaging timing for each line,
The image processing apparatus according to claim 1, wherein the first pixel and the second pixel are pixels captured by different lines of the detector.
前記再構成処理は、フィルタ補正逆投影法を用いた処理である
ことを特徴とする請求項1〜3のうちいずれか1項に記載の画像処理装置。
The image processing apparatus according to claim 1, wherein the reconstruction process is a process using a filtered back projection method.
コンピュータが実行する画像処理方法であって、
光源と対象物と検出器の間の位置関係を変えながら、前記対象物を透過した電磁波を前記検出器により複数回撮像することにより得られた、複数の透過像のデータを取得するステップと、
前記複数の透過像から前記対象物内部の再構成画像を生成する再構成処理を行うステップと、を有し、
前記透過像が、前記光源と前記対象物と前記検出器の間の位置関係を連続的に変化させながら、異なるタイミングで撮像された第1の画素と第2の画素を含んでおり、
前記再構成処理において前記透過像と前記再構成画像の間で投影又は逆投影の操作を行うときに、
前記第1の画素に対応する前記再構成画像上の画素は、前記第1の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択され、
前記第2の画素に対応する前記再構成画像上の画素は、前記第2の画素が撮像されたタイミングにおける前記光源と前記対象物と前記検出器の間の位置関係に基づき選択されることを特徴とする画像処理方法。
An image processing method executed by a computer,
Acquiring data of a plurality of transmission images obtained by imaging the electromagnetic wave transmitted through the object a plurality of times with the detector while changing the positional relationship between the light source, the object and the detector;
Performing a reconstruction process for generating a reconstructed image inside the object from the plurality of transmission images, and
The transmission image includes a first pixel and a second pixel captured at different timings while continuously changing a positional relationship between the light source, the object, and the detector.
When performing a projection or backprojection operation between the transmission image and the reconstructed image in the reconstruction process,
A pixel on the reconstructed image corresponding to the first pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the first pixel is imaged.
A pixel on the reconstructed image corresponding to the second pixel is selected based on a positional relationship between the light source, the object, and the detector at a timing when the second pixel is imaged. A featured image processing method.
請求項5に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。   A program for causing a computer to execute each step of the image processing method according to claim 5.
JP2017003112A 2017-01-12 2017-01-12 Image processing device and image processing method Pending JP2018110715A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017003112A JP2018110715A (en) 2017-01-12 2017-01-12 Image processing device and image processing method
PCT/JP2017/038332 WO2018131253A1 (en) 2017-01-12 2017-10-24 Image processing device, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017003112A JP2018110715A (en) 2017-01-12 2017-01-12 Image processing device and image processing method

Publications (1)

Publication Number Publication Date
JP2018110715A true JP2018110715A (en) 2018-07-19

Family

ID=62839931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017003112A Pending JP2018110715A (en) 2017-01-12 2017-01-12 Image processing device and image processing method

Country Status (2)

Country Link
JP (1) JP2018110715A (en)
WO (1) WO2018131253A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824251A (en) * 1994-07-14 1996-01-30 Hitachi Medical Corp Apparatus and method for photographing x-ray tomoraphic image
JP2000102532A (en) * 1998-09-29 2000-04-11 Toshiba Corp X-ray ct scanner
JP2007143605A (en) * 2005-11-24 2007-06-14 Ge Medical Systems Global Technology Co Llc X-ray ct apparatus
JP2011147763A (en) * 2010-01-20 2011-08-04 Toshiba Corp Method for reconstructing image and x-ray computer tomography apparatus
JP2012187137A (en) * 2011-03-08 2012-10-04 Toshiba Corp X-ray ct apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0824251A (en) * 1994-07-14 1996-01-30 Hitachi Medical Corp Apparatus and method for photographing x-ray tomoraphic image
JP2000102532A (en) * 1998-09-29 2000-04-11 Toshiba Corp X-ray ct scanner
JP2007143605A (en) * 2005-11-24 2007-06-14 Ge Medical Systems Global Technology Co Llc X-ray ct apparatus
JP2011147763A (en) * 2010-01-20 2011-08-04 Toshiba Corp Method for reconstructing image and x-ray computer tomography apparatus
JP2012187137A (en) * 2011-03-08 2012-10-04 Toshiba Corp X-ray ct apparatus

Also Published As

Publication number Publication date
WO2018131253A1 (en) 2018-07-19

Similar Documents

Publication Publication Date Title
JP7202302B2 (en) Deep learning-based estimation of data for use in tomographic reconstruction
JP2020516345A (en) Tomography reconstruction based on deep learning
RU2541860C2 (en) Device and method of processing projection data
JP5348855B2 (en) Object image reconstruction method and apparatus for performing the method
JP5918374B2 (en) X-ray CT apparatus and X-ray CT image processing method
US20130051516A1 (en) Noise suppression for low x-ray dose cone-beam image reconstruction
KR20190103816A (en) Method and apparatus for correcting the computed tomographic image
CN103027705B (en) Produce the method and system of the CT image data set of motion compensation
JP6044046B2 (en) Motion following X-ray CT image processing method and motion following X-ray CT image processing apparatus
JP2005152658A (en) Non-uniform view-weighting tomosynthesis method and apparatus
JP3987024B2 (en) Method and system for enhancing tomosynthesis images using lateral filtering
JP2016152916A (en) X-ray computer tomographic apparatus and medical image processing apparatus
KR102234138B1 (en) Image processing apparatus, image processing method and program
CN109920020A (en) A kind of Cone-Beam CT morbid state backprojection reconstruction artifact suppressing method
AU2017203626A1 (en) A method and apparatus for motion correction in CT imaging
JP2020005706A (en) Image display device, method, and program
JP6185023B2 (en) Tomographic image generating apparatus, method and program
US8098920B2 (en) Method of extrapolating a grey-level bidimensional image in a radiography device and a radiography device implementing such a method
JP2015089452A (en) Image processor, image processing method and program
WO2005076038A1 (en) Method and apparatus for providing high-resolution reconstruction of an observed object
Manhart et al. Fast dynamic reconstruction algorithm with joint bilateral filtering for perfusion C-arm CT
WO2018131253A1 (en) Image processing device, image processing method, and program
JP2009237704A (en) Three-dimensional imaging method and tomograph
TWI500412B (en) A method for improving image quality and imaging system using the same
Yang et al. Extra projection data identification method for fast-continuous-rotation industrial cone-beam CT

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180807