JP7129754B2

JP7129754B2 - Image processing device

Info

Publication number: JP7129754B2
Application number: JP2016229215A
Authority: JP
Inventors: 和泉小山
Original assignee: 医療法人社団皓有会
Priority date: 2016-11-25
Filing date: 2016-11-25
Publication date: 2022-09-02
Anticipated expiration: 2036-11-25
Also published as: JP2018082996A

Description

本発明は、ＣＴ画像などの医用画像を処理する画像処理装置に関する。 The present invention relates to an image processing apparatus for processing medical images such as CT images.

従来より、ユーザの入力に応じて３次元画像内における所定の位置（座標値）を指定し、その座標値を含む領域を示す指示領域として、指示領域を覆い隠す遮蔽領域の表示を薄くする画像処理を行うことで、３次元画像の全体像と一部の内部構造とを同時に把握できるようにした画像処理装置が知られている（例えば特許文献１参照）。この特許文献１記載の装置では、ユーザがモニタ上の３次元画像を見ながら所定の位置を指定すると、ユーザが観測したいと考えられる領域が推定され、その領域が全体像から露出して表示される。 Conventionally, a predetermined position (coordinate values) in a three-dimensional image is specified in accordance with user input, and an image that dims the display of a shielding area that covers the specified area as an indication area that indicates an area that includes the coordinate values. There is known an image processing apparatus capable of simultaneously grasping the overall image and a part of the internal structure of a three-dimensional image by performing processing (see, for example, Patent Document 1). In the device described in Patent Document 1, when a user designates a predetermined position while viewing a three-dimensional image on a monitor, an area that the user wishes to observe is estimated, and that area is exposed from the overall image and displayed. be.

国際公開ＷＯ２０１３／０２１４４０号公報International Publication WO2013/021440

しかしながら、上記特許文献１記載の装置では、ユーザが３次元画像上で指示領域を観測するため、例えば、Ｘ線ＣＴ（Computerized Tomography）装置によって撮影された２次元画像群の各２次元画像から、各部位あるいは各点が何の臓器に属すのかといった、臓器の属性情報を得ることはできない。 However, in the device described in Patent Document 1, since the user observes the designated region on the three-dimensional image, for example, from each two-dimensional image of a two-dimensional image group captured by an X-ray CT (Computerized Tomography) device, It is not possible to obtain organ attribute information such as which organ each part or each point belongs to.

本発明の一態様は、臓器をＸ線ＣＴ撮影して得られる複数枚の２次元画像を構成する画像データを処理する画像処理装置であって、複数枚の２次元画像は、それぞれ、複数枚の２次元画像上の１ピクセルに対応して分割された複数の領域からなり、画像データは、複数枚の２次元画像に順次付された識別番号と、複数枚の２次元画像上の複数の領域のそれぞれの座標情報および白から黒までの濃淡情報と、を含み、識別番号と座標情報と濃淡情報との対応関係と、臓器の形状データと、を記憶する記憶部と、記憶部によって記憶された識別番号と座標情報と濃淡情報と、臓器の形状データと、の比較結果に基づいて、領域の属性情報を決定する属性決定部と、属性決定部によって決定された属性情報を、領域に関連付ける属性付加部と、を備える。属性付加部は、２次元画像の解像度を所定解像度に変更し、属性決定部によって決定された属性情報を、所定解像度に応じて明部および暗部が所定の規則に従って配列される２次元コード記号に変換し、領域を、変換された２次元コード記号に置き換えた属性情報付き２次元画像を生成するとともに、明部の濃淡が白より濃く、かつ、暗部の濃淡が黒より淡く、かつ、２次元コード記号を構成するすべての明部および暗部の濃淡の平均値が領域の全体の濃淡と一致するように、明部および暗部の濃淡を調整する。
One aspect of the present invention is an image processing device that processes image data constituting a plurality of two-dimensional images obtained by X-ray CT imaging of an organ, wherein each of the plurality of two-dimensional images is a plurality of The image data consists of a plurality of areas divided corresponding to one pixel on the two-dimensional image, and the image data consists of identification numbers sequentially attached to the plurality of two-dimensional images, and a plurality of regions on the two-dimensional images. a storage unit for storing each region's coordinate information and gradation information from white to black, the corresponding relationship between the identification number, the coordinate information and the gradation information, and the shape data of the organ, stored by the storage unit an attribute determination unit that determines attribute information of a region based on a comparison result of the identification number, coordinate information, grayscale information, and organ shape data; and an attribute addition unit associated with . The attribute addition unit changes the resolution of the two-dimensional image to a predetermined resolution, and converts the attribute information determined by the attribute determination unit into a two-dimensional code symbol in which bright portions and dark portions are arranged according to a predetermined rule according to the predetermined resolution . A two-dimensional image with attribute information is generated by replacing the area with the converted two-dimensional code symbol , and the light and dark areas are darker than white and the dark areas are lighter than black. Adjust the shading of the bright and dark areas so that the average value of the shading of all the bright and dark areas that make up the chord symbol matches the overall shading of the region.

本発明によれば、画像データに基づいて得られる臓器の属性情報を、画像データに付加するように構成したので、２次元画像を、臓器の属性情報を有する２次元画像に変換することができる。 According to the present invention, organ attribute information obtained based on image data is added to the image data, so that a two-dimensional image can be converted into a two-dimensional image having organ attribute information. .

本発明の実施形態に係る画像処理装置の全体構成を示す概略図。1 is a schematic diagram showing the overall configuration of an image processing apparatus according to an embodiment of the present invention; FIG. 図１の画像処理装置の制御構成を示すブロック図。2 is a block diagram showing the control configuration of the image processing apparatus in FIG. 1; FIG. 図２の属性決定部と属性付加部とによる属性情報の決定と付加の説明図。FIG. 3 is an explanatory diagram of determination and addition of attribute information by an attribute determining unit and an attribute adding unit shown in FIG. 2; 属性情報を付加する前の画像データの説明図。FIG. 4 is an explanatory diagram of image data before attribute information is added; 属性情報を付加した後の画像データの説明図。FIG. 4 is an explanatory diagram of image data after adding attribute information; 図２の属性付加部による属性情報の符号化の説明図。Explanatory drawing of encoding of attribute information by the attribute addition part of FIG. 濃淡情報と図１の表示部の明るさとの関係を示す図。FIG. 2 is a diagram showing the relationship between gradation information and the brightness of the display section in FIG. 1; 属性情報を付加する前後のピクセルの説明図。Explanatory drawing of the pixel before and after adding attribute information. 図２に示す処理部で実行される処理の一例を示すフローチャート。FIG. 3 is a flowchart showing an example of processing executed by a processing unit shown in FIG. 2; FIG. 図２の処理部の変形例の制御構成を示すブロック図。FIG. 3 is a block diagram showing a control configuration of a modified example of the processing unit in FIG. 2; 図９に示す処理部の変形例で実行される処理の一例を示すフローチャート。FIG. 10 is a flowchart showing an example of processing executed by a modification of the processing unit shown in FIG. 9; FIG. 図４Ｂの属性情報を付加した後の画像データの変形例を示す説明図。FIG. 4C is an explanatory diagram showing a modification of the image data after the attribute information in FIG. 4B is added;

以下、図１～図１０を参照して本発明の実施形態について説明する。図１は、本発明の実施形態に係る画像処理装置（以下、装置という）１０の概略構成を示す図である。装置１０は、ＣＰＵ（処理部）１２ａ、ＲＯＭ，ＲＡＭ（メモリ）１２ｂ、その他の周辺回路などを有する演算処理装置を含んで構成されるコンピュータ１２を有する。装置１０には、Ｘ線ＣＴ装置２０が接続される。 An embodiment of the present invention will be described below with reference to FIGS. 1 to 10. FIG. FIG. 1 is a diagram showing a schematic configuration of an image processing device (hereinafter referred to as device) 10 according to an embodiment of the present invention. The apparatus 10 has a computer 12 including an arithmetic processing unit having a CPU (processing unit) 12a, ROM, RAM (memory) 12b, and other peripheral circuits. An X-ray CT device 20 is connected to the device 10 .

図２は、装置１０の制御構成を示すブロック図である。装置１０には、Ｘ線ＣＴ装置２０から、Ｘ線ＣＴ撮影して得られた一連のＣＴスライス画像（画像データ）２２が入力される。装置１０は、画像データ２２に基づき所定の処理を実行し、ＣＴスライス画像２２の各領域Ｐが何の臓器に属すかといった臓器の属性情報を決定して画像データ（ＣＴスライス画像）２２に付加し、属性情報が付加された属性情報付きＣＴスライス画像２４をコンピュータ１２の表示部１２ｃに出力する。装置１０は、コンピュータ１２の機能的構成として、記憶部１３と、属性決定部１４と、属性付加部１６とを有する。 FIG. 2 is a block diagram showing the control configuration of the device 10. As shown in FIG. A series of CT slice images (image data) 22 obtained by X-ray CT imaging are input from the X-ray CT apparatus 20 to the apparatus 10 . The apparatus 10 performs predetermined processing based on the image data 22, determines organ attribute information such as which organ each region P of the CT slice image 22 belongs to, and adds it to the image data (CT slice image) 22. Then, the CT slice image 24 with attribute information to which the attribute information is added is output to the display section 12c of the computer 12. FIG. The device 10 has a storage unit 13 , an attribute determination unit 14 and an attribute addition unit 16 as functional components of the computer 12 .

記憶部１３は、Ｘ線ＣＴ装置２０から入力された画像データ２２を記憶する。記憶部１３は、例えば、コンピュータ１２のメモリ１２ｂによって構成される。記憶部１３は、必ずしもコンピュータ１２の一部である必要はなく、例えば、外付けのハードディスクやフラッシュメモリなどでもよいし、ネットワーク上の別のコンピュータのメモリなどでもよい。 The storage unit 13 stores image data 22 input from the X-ray CT apparatus 20 . The storage unit 13 is configured by the memory 12b of the computer 12, for example. The storage unit 13 is not necessarily a part of the computer 12, and may be, for example, an external hard disk or flash memory, or may be the memory of another computer on the network.

図３は、属性決定部１４と属性付加部１６とによる属性情報の決定と付加の説明図である。属性決定部１４と属性付加部１６とは、例えば、コンピュータ１２の処理部１２ａによって構成される。属性決定部１４は、図３左上側に示すような、Ｘ線ＣＴ装置２０から入力されて記憶部１３によって記憶された画像データ２２を読み込み、図３右側に示すような３次元画像として認識する。なお、図３には簡略化して示すが、ＣＴスライス画像２２，２４および３次元画像は、グレースケールによる濃淡表示画像である。属性決定部１４は、認識した３次元画像と、記憶部１３に予め格納された臓器の形状パターン情報とに基づいて、パターン解析により、３次元画像あるいはＣＴスライス画像２２の各領域Ｐが何の臓器に属するかを決定する。すなわち、属性決定部１４は、パターン解析により、３次元画像あるいはＣＴスライス画像２２の各領域Ｐが何の臓器に属するかといった臓器の情報（属性情報）ＡＴＲを決定する。 FIG. 3 is an explanatory diagram of determination and addition of attribute information by the attribute determination unit 14 and the attribute addition unit 16. As shown in FIG. The attribute determining unit 14 and the attribute adding unit 16 are configured by the processing unit 12a of the computer 12, for example. The attribute determination unit 14 reads the image data 22 input from the X-ray CT apparatus 20 and stored in the storage unit 13 as shown in the upper left part of FIG. 3, and recognizes it as a three-dimensional image as shown in the right part of FIG. . It should be noted that the CT slice images 22 and 24 and the three-dimensional image are grayscale grayscale images, although they are simply shown in FIG. Based on the recognized three-dimensional image and the organ shape pattern information stored in advance in the storage unit 13, the attribute determination unit 14 analyzes the pattern to determine what each region P of the three-dimensional image or CT slice image 22 is. Determine which organ belongs. In other words, the attribute determining unit 14 determines organ information (attribute information) ATR to which organ each region P of the three-dimensional image or the CT slice image 22 belongs by pattern analysis.

パターン解析に関する技術として、３次元濃淡画像から線図形を抽出する手順を自動生成する３次元画像処理エキスパートシステム３Ｄ－ＩＭＰＲＥＳＳが知られている。このシステムでは、３次元画像とそこから抽出したい図形（サンプル図形）の組を与えると、その図形を抽出するための３次元画像処理手順を自動生成する。詳細な説明は当業者にとって周知であるため省略する。 A three-dimensional image processing expert system 3D-IMPRESS, which automatically generates a procedure for extracting a line figure from a three-dimensional grayscale image, is known as a technique related to pattern analysis. In this system, given a set of a three-dimensional image and a figure (sample figure) to be extracted therefrom, a three-dimensional image processing procedure for extracting the figure is automatically generated. A detailed description is omitted because it is well known to those skilled in the art.

図４Ａ，４Ｂは、それぞれ属性情報ＡＴＲを付加する前後の画像データ２２，２４の説明図である。属性情報ＡＴＲを付加する前の画像データ２２（図３左上側）には、図４Ａに示すように、一連のＣＴスライス画像２２に順次付された識別番号ＮＵＭと、各ＣＴスライス画像２２の各領域Ｐの座標情報（ｘ，ｙ）と、濃淡情報ＣＮＴとが含まれる。領域Ｐは、例えば、各ＣＴスライス画像２２における１ピクセル、あるいは、３次元画像における１ボクセルに対応する。例えば、５１２×５１２ピクセルの各ＣＴスライス画像２２は、座標情報（１，１）～（５１２，５１２）のピクセル（領域Ｐ）で構成される。また、例えば、全体のスライス枚数が３０枚の３次元ＣＴ画像は、（１，１，１）～（５１２，５１２，３０）のボクセル（領域Ｐ）で構成される。領域Ｐは、必ずしも１ピクセルあるいは１ボクセルに対応させる必要はなく、例えば、２×２ピクセルあるいは２×２×２ボクセルに対応させてもよい。 4A and 4B are explanatory diagrams of image data 22 and 24 before and after addition of attribute information ATR, respectively. Image data 22 (upper left in FIG. 3) before attribute information ATR is added includes an identification number NUM sequentially assigned to a series of CT slice images 22 and each Coordinate information (x, y) of the area P and grayscale information CNT are included. Region P corresponds to, for example, one pixel in each CT slice image 22 or one voxel in a three-dimensional image. For example, each CT slice image 22 of 512×512 pixels is composed of pixels (area P) of coordinate information (1, 1) to (512, 512). Also, for example, a three-dimensional CT image with 30 total slices is composed of voxels (area P) of (1,1,1) to (512,512,30). The region P does not necessarily correspond to 1 pixel or 1 voxel, and may correspond to 2×2 pixels or 2×2×2 voxels, for example.

濃淡情報ＣＮＴは、各領域Ｐの濃淡に対応し、例えば、２５６諧調のグレースケールで表される。画像データ２２は、これらの値の集合であり、例えば、ＣＳＶデータなどのテキストデータとして、記憶部１３によって記憶され、属性決定部１４、属性付加部１６によって処理される。 The gradation information CNT corresponds to the gradation of each area P, and is represented by, for example, a 256-gradation gray scale. The image data 22 is a set of these values, and is stored by the storage unit 13 as text data such as CSV data, for example, and processed by the attribute determination unit 14 and the attribute addition unit 16 .

属性付加部１６は、図４Ｂに示すように、属性決定部１４によって決定された属性情報ＡＴＲを、領域Ｐに関連付ける。例えば、図３に示す領域Ｐについて考える。領域Ｐの含まれる２次元画像の識別番号ＮＵＭを２０、領域Ｐの座標情報（ｘ，ｙ）を（１００，２００）、濃淡情報ＣＮＴを１２８とする。属性決定部１４によって、領域Ｐを含む画像データ２２のパターン解析がなされ、領域Ｐは、例えば、肝臓（ｌｉｖｅｒ）に属するという属性情報ＡＴＲが決定される。属性付加部１６は、図４Ｂに示すように、領域Ｐに対応する識別番号、座標情報に、属性情報ＡＴＲとして、臓器名称の“ｌｉｖｅｒ”を関連付ける。換言すれば、属性付加部１６は、画像データ２２に、属性情報ＡＴＲを付加する。 The attribute addition unit 16 associates the attribute information ATR determined by the attribute determination unit 14 with the region P, as shown in FIG. 4B. For example, consider region P shown in FIG. Assume that the identification number NUM of the two-dimensional image containing the area P is 20, the coordinate information (x, y) of the area P is (100, 200), and the grayscale information CNT is 128. The attribute determination unit 14 performs pattern analysis of the image data 22 including the area P, and determines attribute information ATR that the area P belongs to, for example, liver. As shown in FIG. 4B, the attribute addition unit 16 associates the identification number and the coordinate information corresponding to the region P with the organ name "liver" as the attribute information ATR. In other words, the attribute adding section 16 adds attribute information ATR to the image data 22 .

図５は、属性付加部１６による属性情報ＡＴＲの符号化の説明図である。図５は、属性情報ＡＴＲを付加した後の属性情報付きＣＴスライス画像２４（図３左下側）の領域Ｐ付近の拡大図である。属性付加部１６は、図４Ａ，４Ｂに示すように、テキストデータとして属性情報ＡＴＲの関連付けを行なった後、各領域Ｐに対応する属性情報ＡＴＲを含むデータを符号化し、ＣＴスライス画像２２の各領域Ｐに対応するピクセルと置き換える。符号化を行うデータ範囲は、属性情報ＡＴＲのみでもよいが、識別番号や座標情報を含めてもよい。 FIG. 5 is an explanatory diagram of encoding of the attribute information ATR by the attribute adding unit 16. As shown in FIG. FIG. 5 is an enlarged view of the vicinity of the area P of the CT slice image 24 with attribute information (lower left side in FIG. 3) after adding the attribute information ATR. As shown in FIGS. 4A and 4B, after associating the attribute information ATR as text data, the attribute addition unit 16 encodes the data including the attribute information ATR corresponding to each region P, and converts each of the CT slice images 22 into Replace with pixels corresponding to region P. The data range to be encoded may include only the attribute information ATR, but may also include identification numbers and coordinate information.

具体的には、属性付加部１６は、属性情報ＡＴＲを含むデータを、例えば、ＤａｔａＭａｔｒｉｘ（登録商標）やＱＲコード（登録商標）などの２次元コード記号（２次元画像）に変換する。次いで、属性付加部１６は、ＣＴスライス画像２２の各領域Ｐを、２次元コード記号に置き換えて、属性情報付きＣＴスライス画像２４（図３左下側）を生成する。換言すれば、属性付加部１６は、ＣＴスライス画像２２を、臓器の属性情報ＡＴＲを有する属性情報付きＣＴスライス画像２４に変換することができる。なお、例えば、１６×１６の２次元コードに変換する場合は、元の画像データ２２の解像度を１６×１６倍に変更しておく。すなわち、領域Ｐを、元の画像データ２２の１ピクセルから、属性情報付きＣＴスライス画像２４の１６×１６ピクセル（以下、セルと呼ぶ）に分割する。この際、識別番号ＮＵＭ、座標情報（ｘ，ｙ）、濃淡情報ＣＮＴはそのまま維持される。 Specifically, the attribute adding unit 16 converts the data including the attribute information ATR into a two-dimensional code symbol (two-dimensional image) such as DataMatrix (registered trademark) or QR code (registered trademark). Next, the attribute addition unit 16 replaces each region P of the CT slice image 22 with a two-dimensional code symbol to generate a CT slice image 24 with attribute information (lower left side in FIG. 3). In other words, the attribute addition unit 16 can convert the CT slice image 22 into a CT slice image 24 with attribute information having the attribute information ATR of the organ. For example, when converting to a 16×16 two-dimensional code, the resolution of the original image data 22 is changed to 16×16 times. That is, the region P is divided from 1 pixel of the original image data 22 into 16×16 pixels (hereinafter referred to as cells) of the CT slice image 24 with attribute information. At this time, the identification number NUM, coordinate information (x, y), and gradation information CNT are maintained as they are.

属性付加部１６は、属性情報ＡＴＲを含むデータを符号化する際、通常の符号化処理に加えて、元の領域Ｐの濃淡情報ＣＮＴを維持するための処理、換言すれば、表示部１２ｃにおける元の領域Ｐの明るさＢＲＴを維持するための処理を行う。 When encoding the data including the attribute information ATR, the attribute addition unit 16 performs processing for maintaining the grayscale information CNT of the original area P in addition to normal encoding processing. A process for maintaining the original brightness BRT of the area P is performed.

図６は、濃淡情報ＣＮＴと表示部１２ｃの明るさＢＲＴとの関係を示す図、図７は、属性情報ＡＴＲを付加する前後の領域Ｐの説明図である。なお、図７では、一例として、１ピクセル（ＰＢ，ＰＡ）を２×２セル（ＬＣ，ＤＣ）に分割している。グレースケールの濃淡情報ＣＮＴと、表示部１２ｃの明るさＢＲＴとの関係は、ガンマ値γ（例えば、γ＝２．２）を用いて次式（ｉ）で表される。
ＢＲＴ＝ＣＮＴ＾γ ・・・（ｉ） FIG. 6 is a diagram showing the relationship between the grayscale information CNT and the brightness BRT of the display section 12c, and FIG. 7 is an explanatory diagram of the area P before and after adding the attribute information ATR. In FIG. 7, one pixel (PB, PA) is divided into 2×2 cells (LC, DC) as an example. The relationship between the grayscale gradation information CNT and the brightness BRT of the display section 12c is expressed by the following equation (i) using a gamma value γ (eg γ=2.2).
BRT=CNT^γ (i)

属性付加部１６は、属性情報ＡＴＲ付加前の領域ＰＢの明るさＢＲＴと、属性情報ＡＴＲ付加後の領域ＰＡ（２次元コード記号）全体の明るさＢＲＴの平均値とが同じになるように、２次元コード記号における明部ＬＣおよび暗部ＤＣの濃淡情報ＣＮＴを調整する。すなわち、属性情報ＡＴＲ付加前の領域ＰＢの明るさＢＲＴと、属性情報ＡＴＲ付加後の領域ＰＡ、すなわち、２次元コード記号の各セル（明部ＬＣ×２セル、暗部ＤＣ×２セル）の明るさＢＲＴの平均値とが同じになるようにする。例えば、属性情報ＡＴＲ付加前の領域ＰＢの濃淡情報ＣＮＴが１２８であれば、式（ｉ）に基づいて、例えば、明部ＬＣの濃淡情報ＣＮＴは１５０、暗部ＤＣの濃淡情報ＣＮＴは１００のように調整する。 The attribute adding unit 16 adjusts the average value of the brightness BRT of the area PB before adding the attribute information ATR to the average value of the brightness BRT of the entire area PA (two-dimensional code symbol) after adding the attribute information ATR. The grayscale information CNT of the light portion LC and the dark portion DC in the two-dimensional code symbol is adjusted. That is, the brightness BRT of the area PB before addition of the attribute information ATR and the area PA after addition of the attribute information ATR, that is, the brightness of each cell of the two-dimensional code symbol (bright area LC×2 cells, dark area DC×2 cells) be the same as the average value of the BRT. For example, if the grayscale information CNT of the area PB before the addition of the attribute information ATR is 128, the grayscale information CNT of the light area LC is 150, and the grayscale information CNT of the dark area DC is 100 based on the formula (i). adjust to

ＣＴスライス画像２２（２次元画像）における元の領域Ｐを、２次元コード記号に置き換える、あるいは、ＣＴスライス画像２２を、臓器の属性情報ＡＴＲを有する属性情報付きＣＴスライス画像２４に変換することで、２次元画像である属性情報付きＣＴスライス画像２４から臓器の属性情報ＡＴＲを得ることができる。しかしながら、属性情報ＡＴＲ付加前後のＣＴスライス画像２２，２４に見え方の違いが生じた場合には、その画像を診断に用いたユーザ（医師など）が誤診をするおそれがある。元の画像の最小単位であるピクセルに対応する領域Ｐの濃淡情報ＣＮＴを維持することで、属性情報ＡＴＲを付加する前後のＣＴスライス画像２２，２４に、見え方の違いが生じることを防ぐことができる。すなわち、ユーザがＣＴスライス画像２２，２４を拡大するときの倍率は診断の内容によって異なるが、実際の診断に用いられるような倍率の範囲内では、ユーザが１ピクセルに相当する大きさの２次元コード記号を視認することは難しいため、ユーザに違和感を与えることがない。 By replacing the original region P in the CT slice image 22 (two-dimensional image) with a two-dimensional code symbol, or by converting the CT slice image 22 into a CT slice image 24 with attribute information having organ attribute information ATR, , the attribute information ATR of the organ can be obtained from the CT slice image 24 with attribute information, which is a two-dimensional image. However, if there is a difference in appearance between the CT slice images 22 and 24 before and after adding the attribute information ATR, a user (such as a doctor) who uses the images for diagnosis may misdiagnose. To prevent a difference in appearance between CT slice images 22 and 24 before and after adding the attribute information ATR by maintaining the grayscale information CNT of the area P corresponding to the pixel which is the minimum unit of the original image. can be done. That is, the magnification when the user magnifies the CT slice images 22 and 24 varies depending on the content of the diagnosis. Since it is difficult to visually recognize chord symbols, the user does not feel uncomfortable.

また、領域Ｐの濃淡情報ＣＮＴを維持したとしても、明部ＬＣおよび暗部ＤＣの濃淡情報ＣＮＴとして白（ＣＮＴ＝２５５）や黒（ＣＮＴ＝０）を用いた場合は、それを見たユーザが違和感を覚える可能性がある。このため、明部ＬＣおよび暗部ＤＣの濃淡情報ＣＮＴは、１００～１８０程度とすることが望ましい。なお、画像処理装置１０は、元の画像データをコピーしたデータを処理するため、元の画像データを損なうことがない。従って、ユーザは、必要に応じて元の画像データを使用して、あるいは、元の画像データと処理後の画像データとを使用して診断を行うこともできる。 Further, even if the grayscale information CNT of the region P is maintained, if white (CNT=255) or black (CNT=0) is used as the grayscale information CNT of the bright portion LC and the dark portion DC, the user who sees it may You may feel uncomfortable. For this reason, it is desirable that the grayscale information CNT of the light portion LC and the dark portion DC is about 100-180. Since the image processing apparatus 10 processes data obtained by copying the original image data, the original image data is not damaged. Therefore, the user can make a diagnosis using the original image data, or using the original image data and the processed image data, if desired.

なお、ユーザが属性情報付きＣＴスライス画像２４から臓器の属性情報ＡＴＲを得るための具体的な手順としては、属性情報ＡＴＲを得たい領域Ｐを拡大表示して各種コード用のリーダで読み取るようにしてもよいが、同様の復号機能を備えた専用のソフトウェアを使用するようにしてもよい。 As a specific procedure for the user to obtain the attribute information ATR of the organ from the CT slice image 24 with attribute information, the area P for which the attribute information ATR is desired is displayed enlarged and read by a reader for various codes. Alternatively, dedicated software with a similar decoding function may be used.

図８は、画像処理装置１０の処理部１２ａで実行される処理の一例を示すフローチャートである。まず、ステップＳ１で、Ｘ線ＣＴ装置２０から入力されて記憶部１３によって記憶された画像データ２２を読み込む。次いで、ステップＳ２，Ｓ３で、属性決定部１４での処理により、パターン解析による各臓器の属性情報ＡＴＲの決定を行う。 FIG. 8 is a flowchart showing an example of processing executed by the processing unit 12a of the image processing apparatus 10. As shown in FIG. First, in step S1, the image data 22 input from the X-ray CT apparatus 20 and stored in the storage unit 13 are read. Next, in steps S2 and S3, the attribute determination unit 14 determines attribute information ATR of each organ by pattern analysis.

次いで、ステップＳ４～Ｓ７で、属性付加部１６での処理により、属性決定部１４によって決定された属性情報ＡＴＲの画像データ２２への関連付け、２次元データコード記号の生成、明部ＬＣおよび暗部ＤＣの濃淡情報ＣＮＴの調整、および、濃淡情報ＣＮＴが調整された２次元コード記号による領域Ｐの置換を行い、属性情報付きＣＴスライス画像２４を生成する。次いで、ステップＳ８で、属性情報付きＣＴスライス画像２４を表示部１２ｃに出力する。 Next, in steps S4 to S7, the attribute information ATR determined by the attribute determination unit 14 is associated with the image data 22, the two-dimensional data code symbol is generated, the light area LC and the dark area DC are processed by the attribute addition unit 16. and the region P is replaced by the two-dimensional code symbol with the adjusted grayscale information CNT, thereby generating a CT slice image 24 with attribute information. Next, in step S8, the CT slice image 24 with attribute information is output to the display section 12c.

図９は、画像処理装置１０の処理部１２ａの変形例の制御構成を示すブロック図、図１０は、画像処理装置１０の処理部１２ａの変形例で実行される処理の一例を示すフローチャートである。図９に示すように、装置１０は、コンピュータ１２の機能的構成として、上記した記憶部１３、属性決定部１４、属性付加部１６に加えて、識別番号ＮＵＭと座標情報（ｘ，ｙ）と属性情報ＡＴＲとに基づいて超音波撮影のシミュレーション画像を生成する超音波画像生成部１８を有するようにしてもよい。 FIG. 9 is a block diagram showing a control configuration of a modified example of the processing unit 12a of the image processing device 10, and FIG. . As shown in FIG. 9, the device 10 includes, as a functional configuration of the computer 12, the storage unit 13, the attribute determination unit 14, and the attribute addition unit 16, as well as the identification number NUM and the coordinate information (x, y). An ultrasonic image generation unit 18 may be provided for generating a simulation image of ultrasonic imaging based on the attribute information ATR.

この場合、属性情報ＡＴＲには、各臓器の名称に加えて、各臓器に対する超音波の透過率や反射率などの物理的特性を含める。そして、図１０に示すように、ステップＳ１０で、超音波画像生成部１８での処理により、ユーザの入力に応じて超音波撮影をシミュレーションする視点を設定し、ステップＳ１１で、属性情報付き画像データ２４（例えば、ＣＳＶデータ）に基づいて、超音波画像を生成し、表示部１２ｃに出力する。視点は、例えば、超音波測定装置のプローブを被験者に当てる位置および角度に相当する。 In this case, the attribute information ATR includes, in addition to the name of each organ, the physical characteristics of each organ, such as the transmittance and reflectance of ultrasonic waves. Then, as shown in FIG. 10, in step S10, the ultrasound image generation unit 18 performs processing to set a viewpoint for simulating ultrasound imaging according to user input, and in step S11, image data with attribute information is generated. 24 (for example, CSV data), an ultrasonic image is generated and output to the display unit 12c. The viewpoint corresponds to, for example, the position and angle at which the probe of the ultrasonic measurement device is applied to the subject.

なお、超音波画像を生成する目的に限れば、物理的特性は、少なくとも、超音波の透過率や反射率が変化する臓器と臓器の境界に当たる領域Ｐに付加すればよく、すべての領域Ｐに対して付加する必要はない。具体的には、パターン解析によって抽出された線図形が通過する領域Ｐのみに、物理的特性を含む属性情報ＡＴＲを付加すればよい。 As far as the purpose of generating an ultrasound image is concerned, the physical characteristics should be added at least to the area P corresponding to the boundary between organs where the transmittance and reflectance of ultrasound vary. No need to add to it. Specifically, the attribute information ATR including physical characteristics may be added only to the area P through which the line figure extracted by the pattern analysis passes.

ＣＴ画像などの２次元画像を処理して、診断用の３次元画像を再構成するソフトウェアとして、ＯｓｉｒｉＸが知られている。このソフトウェアでは、２次元ＣＴ画像に基づいて内視鏡画像を生成することができるが、２次元ＣＴ画像に基づいて超音波画像を生成することはできない。超音波の透過率や反射率は、体内の場所ごとに異なるため、これらの物理的特性を考慮しなければ超音波画像を算出することはできない。本願の画像処理装置１０は、２次元画像データ群に、各座標における超音波の透過率や反射率などの物理的特性を含む属性情報ＡＴＲを付加するため、それに基づいて超音波画像を算出して生成することができる。 OsiriX is known as software for processing two-dimensional images such as CT images and reconstructing three-dimensional images for diagnosis. This software can generate an endoscopic image based on a two-dimensional CT image, but cannot generate an ultrasound image based on a two-dimensional CT image. Since the transmittance and reflectance of ultrasound vary from place to place in the body, an ultrasound image cannot be calculated without considering these physical characteristics. Since the image processing apparatus 10 of the present application adds attribute information ATR including physical characteristics such as ultrasonic transmittance and reflectance at each coordinate to a group of two-dimensional image data, an ultrasonic image is calculated based on the attribute information ATR. can be generated by

超音波画像に何の臓器が映っているかを的確に判断するには、ユーザの習熟が必要となるが、習熟には多くの画像を撮影、判断する経験が不可欠である。しかしながら、実際の患者などを被験者として撮影を行う場合には、被験者の身体的な負担を考慮しなければならないため、無制限に撮影を行うことは難しい。この点、属性情報付き画像データ２４に基づく超音波撮影画像のシミュレーションであれば、そのような制限がないため、様々な臓器について、様々な視点からの、シミュレーション画像を生成することができる。 Accurate determination of which organs are shown in an ultrasound image requires the user to be proficient, and experience in photographing and judging many images is essential for proficiency. However, when imaging an actual patient or the like as a subject, the physical burden on the subject must be considered, so unlimited imaging is difficult. In this regard, simulation of ultrasonic images based on the image data 24 with attribute information does not have such limitations, and thus simulation images can be generated for various organs from various viewpoints.

本発明の実施形態によれば以下のような作用効果を奏することができる。
（１）画像処理装置（装置）１０は、臓器をＸ線ＣＴ撮影して得られる複数枚の２次元画像（一連のＣＴスライス画像）２２を構成する画像データ２２を処理する画像処理装置であって、画像データ２２は、複数枚の２次元画像に順次付された識別番号ＮＵＭと複数枚の２次元画像（ＣＴスライス画像）２２上の領域Ｐの座標情報（ｘ，ｙ）と濃淡情報ＣＮＴとを含み、識別番号ＮＵＭと座標情報（ｘ，ｙ）と濃淡情報ＣＮＴとの対応関係を記憶する記憶部１３と、記憶部１３によって記憶された識別番号ＮＵＭと座標情報（ｘ，ｙ）と濃淡情報ＣＮＴと、予め定められた臓器の形状データとの比較結果に基づいて領域Ｐの属性情報ＡＴＲを決定する属性決定部１４と、属性決定部によって決定された属性情報ＡＴＲを、領域Ｐに関連付ける属性付加部１６と、を備える（図２）。 According to the embodiment of the present invention, the following effects can be obtained.
(1) The image processing device (device) 10 is an image processing device that processes image data 22 forming a plurality of two-dimensional images (a series of CT slice images) 22 obtained by X-ray CT imaging of an organ. The image data 22 consists of identification numbers NUM sequentially attached to a plurality of two-dimensional images, coordinate information (x, y) of a region P on the plurality of two-dimensional images (CT slice images) 22, and grayscale information CNT. and a storage unit 13 for storing the correspondence relationship between the identification number NUM, the coordinate information (x, y), and the grayscale information CNT, and the identification number NUM and the coordinate information (x, y) stored by the storage unit 13. an attribute determination unit 14 for determining attribute information ATR of the region P based on the result of comparison between the gradation information CNT and predetermined organ shape data; and an associated attribute addition unit 16 (FIG. 2).

すなわち、画像データ２２に基づいて得られる臓器の属性情報ＡＴＲを、画像データ２２に付加するように構成したので、２次元ＣＴスライス画像から、各部位あるいは各点が何の臓器に属すのかといった臓器の属性情報ＡＴＲを得ることができる。 That is, since the organ attribute information ATR obtained based on the image data 22 is added to the image data 22, it is possible to determine which organ each part or point belongs to from the two-dimensional CT slice image. attribute information ATR can be obtained.

（２）領域Ｐは、複数枚の２次元画像（ＣＴスライス画像）２２上の１ピクセルに対応する。このため、元の画像の最小単位であるピクセルに対応する領域Ｐの濃淡情報ＣＮＴを維持することで、属性情報ＡＴＲを付加する前後のＣＴスライス画像２２，２４に、見え方の違いが生じることを防ぐことができる。 (2) A region P corresponds to one pixel on a plurality of two-dimensional images (CT slice images) 22 . Therefore, by maintaining the gradation information CNT of the area P corresponding to the pixel, which is the minimum unit of the original image, the CT slice images 22 and 24 before and after adding the attribute information ATR have different appearances. can be prevented.

（３）属性付加部１６は、属性決定部１４によって決定された属性情報を、明部ＬＣおよび暗部ＤＣが所定の規則に従って配列されてなる２次元コード記号（一例として、ＱＲコード（登録商標））に変換するとともに、領域の全体の濃淡に応じて、明部ＬＣおよび暗部ＤＣの濃淡を調整する。従って、属性情報ＡＴＲ付加前後で２次元画像の濃淡情報ＣＮＴを維持することができ、属性情報ＡＴＲを付加する前後の２次元画像に見え方の違いが生じることを防ぐことができる。 (3) The attribute addition unit 16 converts the attribute information determined by the attribute determination unit 14 into a two-dimensional code symbol (for example, a QR code (registered trademark)) in which light areas LC and dark areas DC are arranged according to a predetermined rule. ), and adjusts the densities of the bright portion LC and the dark portion DC in accordance with the overall gradation of the area. Therefore, the gradation information CNT of the two-dimensional image can be maintained before and after adding the attribute information ATR, and it is possible to prevent the two-dimensional image from appearing differently before and after adding the attribute information ATR.

（４）属性付加部１６は、２次元コード記号を構成するすべての明部ＬＣおよび暗部ＤＣの濃淡の平均値が、領域Ｐ全体の濃淡と一致するように、明部ＬＣおよび暗部ＤＣの濃淡を調整するため、属性情報ＡＴＲを付加する前後の２次元画像に見え方の違いが生じることを、より確実に防ぐことができる。 (4) The attribute addition unit 16 adds the gradation of the bright part LC and the dark part DC so that the average value of the gradation of all the bright part LC and the dark part DC that constitute the two-dimensional code symbol matches the gradation of the entire region P. is adjusted, it is possible to more reliably prevent a difference in the appearance of the two-dimensional image before and after adding the attribute information ATR.

－変形例－
本発明は、上記実施形態に限らず、種々の形態に変形することができる。図１１は、図４Ｂの属性情報ＡＴＲを付加した後の画像データ２４の変形例を示す説明図である。属性情報ＡＴＲ、識別番号、座標情報など、より多くの情報を２次元コード記号に変換する場合、２次元コード記号のサイズ、すなわち、２次元コード記号のセル数が増大し、属性情報付きＣＴスライス画像２４の解像度およびデータ容量が増大する。図１１に示すように、変形例では、属性付加部１６は、図４Ｂに示す属性情報ＡＴＲの関連付けを行なったテキストデータに対して、各領域Ｐに対応する連番ＳＲをさらに付加する。属性付加部１６によって属性情報ＡＴＲおよび連番ＳＲが付加されたテキストデータは、データベースＤＢとして記憶部１３によって記憶される。 -Modification-
The present invention is not limited to the above embodiments, and can be modified in various forms. FIG. 11 is an explanatory diagram showing a modified example of the image data 24 to which the attribute information ATR of FIG. 4B has been added. When converting more information such as attribute information ATR, identification number, and coordinate information into a two-dimensional code symbol, the size of the two-dimensional code symbol, that is, the number of cells of the two-dimensional code symbol increases, and the CT slice with attribute information increases. The resolution and data capacity of the image 24 are increased. As shown in FIG. 11, in the modified example, the attribute addition unit 16 further adds a serial number SR corresponding to each region P to the text data associated with the attribute information ATR shown in FIG. 4B. The text data to which the attribute information ATR and the serial number SR are added by the attribute addition unit 16 are stored by the storage unit 13 as the database DB.

さらに、変形例では、属性付加部１６が符号化を行うデータ範囲を連番ＳＲのみとし、連番ＳＲを利用して属性情報ＡＴＲを含むデータベースＤＢを参照するように構成する。変形例では、属性付加部１６が符号化を行うデータ範囲を連番ＳＲのみとすることで、２次元コード記号のサイズを小さくすることができ、属性情報付きＣＴスライス画像２４のデータ容量を低減することができる。 Furthermore, in the modified example, the data range to be encoded by the attribute adding unit 16 is limited to only the serial number SR, and the serial number SR is used to refer to the database DB containing the attribute information ATR. In the modification, the size of the two-dimensional code symbol can be reduced and the data volume of the CT slice image 24 with attribute information can be reduced by setting the data range to be encoded by the attribute addition unit 16 to only the serial number SR. can do.

上記実施形態では、図７に示すように、濃淡情報ＣＮＴ（階調）の異なる明部ＬＣおよび暗部ＤＣからなる２次元コード記号を例示したが、２次元コード記号を構成するセルは、明部ＬＣおよび暗部ＤＣの２階調に限らない。２次元コード記号を構成するセルとして３つ以上の異なる濃淡情報ＣＮＴのセルを使用する、多階調の２次元コードを用いてもよい。多階調の２次元コードを用いる場合は、同じ数のセルで表現できる情報量が階調数に応じて整数倍されるため、必要セル数を低減して属性情報付きＣＴスライス画像２４の解像度およびデータ容量を低減することができる。 In the above embodiment, as shown in FIG. 7, a two-dimensional code symbol composed of a bright portion LC and a dark portion DC having different density information CNT (gradation) is exemplified. It is not limited to two gradations of LC and dark DC. A multi-gradation two-dimensional code using three or more different density information CNT cells as cells constituting a two-dimensional code symbol may be used. When a multi-tone two-dimensional code is used, the amount of information that can be expressed with the same number of cells is multiplied by an integer according to the number of gradations. and data capacity can be reduced.

上記実施形態では、装置１０にＸ線ＣＴ装置２０が接続されるようにしたが、Ｘ線ＣＴ装置２０によって撮影される２次元画像データ郡を入力することができれば、Ｘ線ＣＴ装置２０は直接接続されなくてもよい。一連のＣＴスライス画像をスキャンして、２次元画像データ郡を生成するようにしてもよい。 In the above embodiment, the X-ray CT apparatus 20 is connected to the apparatus 10, but if the two-dimensional image data group captured by the X-ray CT apparatus 20 can be input, the X-ray CT apparatus 20 can directly It does not have to be connected. A series of CT slice images may be scanned to generate a two-dimensional image data set.

上記実施形態では、属性情報ＡＴＲ付加後の２次元画像あるいは超音波画像を、コンピュータ１２の表示部１２ｃに出力して表示するようにしたが、画像データとして別の表示機器に出力または送信するようにしてもよい。 In the above-described embodiment, the two-dimensional image or ultrasonic image to which the attribute information ATR has been added is output to the display unit 12c of the computer 12 and displayed. can be

本発明の装置１０は、上記で説明した用途以外にも、ＭＲＩ(Magnetic Resonance Imaging)装置によって撮影された画像の歪みの補正に使用することができる。具体的には、同一の被験者に対して、ＭＲＩ撮影とＣＴ撮影とを行い、ＣＴスライス画像を装置１０によって処理して得られた座標情報と臓器の属性情報ＡＴＲとに基づいて、ＭＲＩ画像における歪みの補正を行うことができる。 In addition to the uses described above, the apparatus 10 of the present invention can be used to correct distortion of images taken by an MRI (Magnetic Resonance Imaging) apparatus. Specifically, MRI imaging and CT imaging are performed on the same subject, and based on the coordinate information and organ attribute information ATR obtained by processing the CT slice image with the apparatus 10, in the MRI image Distortion correction can be performed.

以上の説明はあくまで一例であり、本発明の特徴を損なわない限り、上述した実施形態および変形例により本発明が限定されるものではない。上記実施形態および変形例の構成要素には、発明の同一性を維持しつつ置換可能かつ置換自明なものが含まれる。すなわち、本発明の技術的思想の範囲内で考えられる他の形態についても、本発明の範囲内に含まれる。また、上記実施形態と変形例の１つまたは複数を任意に組み合わせることも可能である。 The above description is merely an example, and the present invention is not limited by the above-described embodiments and modifications as long as the features of the present invention are not impaired. Components of the above-described embodiments and modifications include those that can be replaced and those that are obvious to replace while maintaining the identity of the invention. That is, other forms conceivable within the scope of the technical idea of the present invention are also included within the scope of the present invention. Moreover, it is also possible to arbitrarily combine one or more of the above embodiments and modifications.

１０画像処理装置（装置）、１２コンピュータ、１２ａ処理部、１２ｂメモリ、１２ｃ表示部、１３記憶部、１４属性決定部、１６属性付加部、１８超音波画像生成部、２０Ｘ線ＣＴ装置、２２ＣＴスライス画像（画像データ）、２４属性情報付きＣＴスライス画像（画像データ） 10 image processing device (apparatus), 12 computer, 12a processing unit, 12b memory, 12c display unit, 13 storage unit, 14 attribute determination unit, 16 attribute addition unit, 18 ultrasonic image generation unit, 20 X-ray CT apparatus, 22 CT slice image (image data), 24 CT slice image with attribute information (image data)

Claims

An image processing apparatus for processing image data constituting a plurality of two-dimensional images obtained by X-ray CT imaging of an organ,
each of the plurality of two-dimensional images consists of a plurality of regions divided corresponding to one pixel on the plurality of two-dimensional images,
The image data includes identification numbers sequentially assigned to the plurality of two-dimensional images, coordinate information of each of the plurality of regions on the plurality of two-dimensional images, and grayscale information from white to black. including
a storage unit that stores the correspondence relationship between the identification number, the coordinate information, and the gradation information, and shape data of the organ;
an attribute determination unit that determines attribute information of the region based on a comparison result of the identification number, the coordinate information, the grayscale information, and the shape data of the organ stored in the storage unit;
an attribute addition unit that associates the attribute information determined by the attribute determination unit with the region;
The attribute addition unit changes the resolution of the two-dimensional image to a predetermined resolution, and the attribute information determined by the attribute determination unit is arranged according to a predetermined rule for bright portions and dark portions according to the predetermined resolution. converting to a two-dimensional code symbol, generating a two-dimensional image with attribute information in which the region is replaced with the converted two-dimensional code symbol, and the light and shade of the bright portion are darker than white and the shade of the dark portion is The shading of the bright and dark portions is adjusted so that it is lighter than black and the average value of the shading of all the bright and dark portions constituting the two-dimensional code symbol matches the overall shading of the region. An image processing apparatus characterized by: