JP2013045284A - Image processing system, image processing method, and program - Google Patents

Image processing system, image processing method, and program Download PDF

Info

Publication number
JP2013045284A
JP2013045284A JP2011182615A JP2011182615A JP2013045284A JP 2013045284 A JP2013045284 A JP 2013045284A JP 2011182615 A JP2011182615 A JP 2011182615A JP 2011182615 A JP2011182615 A JP 2011182615A JP 2013045284 A JP2013045284 A JP 2013045284A
Authority
JP
Japan
Prior art keywords
information
dimensional image
image
depth information
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011182615A
Other languages
Japanese (ja)
Other versions
JP5808004B2 (en
Inventor
Megumi Nakao
恵 中尾
Kotaro Minato
小太郎 湊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nara Institute of Science and Technology NUC
Original Assignee
Nara Institute of Science and Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nara Institute of Science and Technology NUC filed Critical Nara Institute of Science and Technology NUC
Priority to JP2011182615A priority Critical patent/JP5808004B2/en
Priority to PCT/JP2012/071213 priority patent/WO2013027773A1/en
Publication of JP2013045284A publication Critical patent/JP2013045284A/en
Application granted granted Critical
Publication of JP5808004B2 publication Critical patent/JP5808004B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering

Abstract

PROBLEM TO BE SOLVED: To solve the problem that a necessary image cannot be conventionally obtained by effectively using a two-dimensional image and a three-dimensional image of the same object.SOLUTION: A necessary image can be obtained by an image processing system which is equipped with: a three-dimensional image storing unit which stores a three-dimensional image which is image data on one or more three-dimensional objects, and constituted of a plurality of pieces of voxel information having position information, color information, and depth information; a two-dimensional image with depth information storing unit which stores a two-dimensional image with depth information obtained by photographing the one or more three-dimensional objects, aligned with the three-dimensional image, and constituted of a plurality of pieces of pixel information having the position information, the color information, and the depth information; a two-dimensional image with depth information processing unit which performs first image processing by using the depth information to the two-dimensional image with depth information, and acquires a two-dimensional image with depth information after the processing; an extension image generation unit which generates an extension image obtained by overlapping the two-dimensional image with depth information after the processing with the tree-dimensional image after the processing; and an output unit which outputs the extension image.

Description

本発明は、二次元画像と三次元画像とを重ね合わせる画像処理装置等に関するものである。   The present invention relates to an image processing apparatus that superimposes a two-dimensional image and a three-dimensional image.

従来、内視鏡による二次元画像を用いて、外科手術、診断、または医師の手術教育がなされていた。   Conventionally, surgery, diagnosis, or doctor's surgery education has been performed using a two-dimensional image obtained by an endoscope.

また、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレートできる情報処理装置があった(例えば、特許文献1参照)。   In addition, there has been an information processing apparatus that can simulate deformation of a three-dimensional object in real time with color information (see, for example, Patent Document 1).

特許第4337987号公報(第1頁、第1図等)Japanese Patent No. 4337987 (first page, FIG. 1 etc.)

しかしながら、従来の装置においては、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができなかった。そのため、例えば、医師が執刀する際に必要な支援情報の提示が困難であった。   However, in the conventional apparatus, a necessary image cannot be obtained by effectively using a two-dimensional image and a three-dimensional image of the same object. Therefore, for example, it has been difficult to present support information necessary for a doctor to perform a surgical operation.

本第一の発明の画像処理装置は、1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像または三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、拡張像を出力する出力部とを具備する画像処理装置である。   The image processing apparatus according to the first aspect of the present invention is image data of one or more three-dimensional objects, position information that is information indicating a position, color information that is information about a color, and a depth from a reference point. A three-dimensional image storage unit capable of storing a three-dimensional image composed of a plurality of voxel information that is point information having depth information indicating an image of one or more three-dimensional objects, Depth that can store a two-dimensional image with depth information that is an image that has been aligned with the original image and that is composed of a plurality of pixel information that is point information having position information, color information, and depth information Depth at which the first image processing is performed on the two-dimensional image storage unit with depth information and the two-dimensional image with depth information using the depth information, and a two-dimensional image with post-processing depth information is acquired. 2D image processing unit with information and 2D image with depth information after processing And an extended image generation unit that generates an extended image obtained by superimposing the processed 3D image or the 3D image after performing the second image processing on the 3D image, and an output unit that outputs the extended image An image processing apparatus is provided.

かかる構成により、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。   With this configuration, it is possible to obtain an image in which the two-dimensional image and the three-dimensional image are effectively superimposed using the depth information of the points of the image.

また、本第二の発明の画像処理装置は、第一の発明に対して、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である画像処理装置である。   Further, the image processing apparatus of the second invention is an image obtained by photographing one or more three-dimensional objects with respect to the first invention, and is an image aligned with the three-dimensional image. In a two-dimensional image storage unit capable of storing a two-dimensional image composed of a plurality of pieces of pixel information that is point information having information and color information, and in a plurality of voxel information possessed by a three-dimensional image, the same on the plane For each piece of position information on the plane, the depth information of the voxel information, which is color information that is not transparent from the information of a plurality of points having position information and the depth information is closest to the reference position. A depth information acquisition unit to be acquired, and two or more pieces of depth information acquired by the depth information acquisition unit for each position information on the plane, each of which is a plurality of pieces of pixel information that the two-dimensional image has, For each pixel information with matching position information And a depth information-added two-dimensional image acquisition unit that acquires a two-dimensional image with depth information composed of two or more pieces of pixel information having position information, color information, and depth information. The two-dimensional image with depth information in the attached two-dimensional image storage unit is an image processing device that is a two-dimensional image with depth information acquired by the two-dimensional image acquisition unit with depth information.

かかる構成により、深さ情報を有する二次元画像である深さ情報付き二次元画像を自動的に取得できる。   With this configuration, a two-dimensional image with depth information, which is a two-dimensional image having depth information, can be automatically acquired.

また、本第三の発明の画像処理装置は、第一または第二の発明に対して、深さ情報付き二次元画像処理部は、深さ情報付き二次元画像が有する複数のピクセル情報に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する画像処理装置である。   The image processing apparatus according to the third aspect of the present invention is the first or second aspect of the invention, wherein the two-dimensional image processing unit with depth information is for a plurality of pixel information included in the two-dimensional image with depth information The first image processing for setting at least two or more different color information and / or different opacity information according to the difference in the depth information of the pixel information is performed, and a two-dimensional image with post-processing depth information is obtained. An image processing apparatus to acquire.

かかる構成により、重ね合わせる二次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。   With this configuration, an appropriate image can be obtained by controlling the color and opacity of a two-dimensional image to be superimposed using depth information.

また、本第四の発明の画像処理装置は、第一から第三いずれかの発明に対して、三次元画像が有する複数のボクセル情報に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する画像処理装置である。   The image processing apparatus according to the fourth aspect of the present invention is different from the first to third aspects in that a plurality of voxel information included in a three-dimensional image is changed depending on a difference in depth information included in the voxel information. Thus, the image processing apparatus further includes a three-dimensional image processing unit that performs second image processing for setting at least two or more different color information and / or different opacity information, and acquires a processed three-dimensional image.

かかる構成により、重ね合わせる三次元の画像の色や不透明度を、深さ情報を用いて制御することにより、適切な画像を得ることができる。   With this configuration, an appropriate image can be obtained by controlling the color and opacity of a three-dimensional image to be superimposed using depth information.

また、本第五の発明の画像処理装置は、第四の発明に対して、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、三次元画像処理部は、指示ボクセル情報決定部が決定した2以上のボクセル情報、または2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する画像処理装置である。   The image processing apparatus of the fifth invention accepts an instruction for one or more points of the output two-dimensional image, the two-dimensional image with depth information, or the extended image with respect to the fourth invention. A three-dimensional image processing unit, further comprising a reception unit and an instruction voxel information determination unit that determines two or more consecutive voxel information using color information included in voxel information corresponding to one or more points corresponding to the instruction Performs second image processing for setting different color information and / or different opacity information to two or more voxel information determined by the instruction voxel information determination unit or voxel information other than the two or more voxel information. An image processing apparatus that performs and obtains a processed three-dimensional image.

かかる構成により、指示した物体を効果的に表示し得る適切な画像を得ることができる。   With this configuration, it is possible to obtain an appropriate image that can effectively display the indicated object.

本発明による画像処理装置によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。   According to the image processing apparatus of the present invention, a necessary image can be obtained by effectively using a two-dimensional image and a three-dimensional image of the same object.

実施の形態1における画像処理装置のブロック図Block diagram of an image processing apparatus according to Embodiment 1 同画像処理装置の動作について説明するフローチャートFlow chart for explaining the operation of the image processing apparatus 同深さ情報取得処理の動作について説明するフローチャートFlowchart explaining operation of same depth information acquisition processing 同拡張像生成処理の動作について説明するフローチャートA flowchart for explaining the operation of the extended image generation processing 同深さ情報付き二次元画像処理の動作について説明するフローチャートFlowchart explaining operation of 2D image processing with same depth information 同三次元画像処理の動作について説明するフローチャートA flowchart for explaining the operation of the 3D image processing 同三次元画像処理の動作について説明するフローチャートA flowchart for explaining the operation of the 3D image processing 同指示ボクセル情報決定処理の動作について説明するフローチャートThe flowchart explaining the operation | movement of the instruction | indication voxel information determination process 同連続ボクセル情報取得処理の動作について説明するフローチャートFlowchart explaining operation of same voxel information acquisition process 同二次元画像を示す図Figure showing the same two-dimensional image 同三次元画像を示す図Figure showing the same 3D image 同生成した拡張像を示す図Figure showing the same extended image 同生成した拡張像を示す図Figure showing the same extended image 同連続領域指示を説明する図Diagram explaining the same continuous area instruction 同処理後三次元画像を示す図The figure which shows the three-dimensional image after the same processing 同内視鏡で人間の体内を撮影した二次元画像を示す図The figure which shows the two-dimensional image which imaged the human body with the same endoscope 同人間の体内の三次元画像を示す図Figure showing a 3D image of the human body 同人間の体内の拡張像を示す図Diagram showing an expanded image of the human body 同画像処理装置の他のブロック図Another block diagram of the image processing apparatus 同コンピュータシステムの概観図Overview of the computer system 同コンピュータシステムのブロック図Block diagram of the computer system

以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。   Hereinafter, embodiments of an image processing apparatus and the like will be described with reference to the drawings. In addition, since the component which attached | subjected the same code | symbol in embodiment performs the same operation | movement, description may be abbreviate | omitted again.

(実施の形態1)
本実施の形態において、深さ情報を用いて、二次元の画像を画像処理し、画像処理した二次元の画像と三次元画像等とを重ね合わせる画像処理装置について説明する。
(Embodiment 1)
In the present embodiment, an image processing apparatus that performs image processing of a two-dimensional image using depth information and superimposes the two-dimensional image that has been processed and a three-dimensional image or the like will be described.

図1は、本実施の形態における画像処理装置1のブロック図である。画像処理装置1は、二次元画像格納部101、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、拡張像生成部111、および出力部112を具備する。   FIG. 1 is a block diagram of an image processing apparatus 1 in the present embodiment. The image processing apparatus 1 includes a two-dimensional image storage unit 101, a three-dimensional image storage unit 102, a two-dimensional image storage unit 103 with depth information, a reception unit 104, a depth information acquisition unit 105, and a two-dimensional image acquisition with depth information. Unit 106, two-dimensional image storage unit 107 with depth information, two-dimensional image processing unit with depth information 108, instruction voxel information determination unit 109, three-dimensional image processing unit 110, extended image generation unit 111, and output unit 112 It has.

二次元画像格納部101は、複数のピクセル情報から構成される二次元画像を格納し得る。ピクセル情報は、位置を示す情報である位置情報と色についての情報である色情報とを有する点の情報である。また、ここでの位置情報は、平面上での位置情報(例えば、(x,y))である。また、ピクセル情報は、位置情報と色情報と不透明度を示す不透明度情報(α値,ブレンディングパラメータとも言う。)を有しても良い。なお、不透明度情報は、透明度を示す透明度情報と捉えても良い。また、二次元画像は、1以上の三次元の物体を撮影した画像であり、後述する三次元画像と位置合わせがされている画像である。なお、「二次元画像と三次元画像とが位置合わせをされている」とは、カメラによって撮影された二次元画像と、CT等で撮影された三次元画像をレンダリングすることで生成される投影像とが位置合わせがされていることである。また、二次元画像は、1以上の三次元の物体を撮影した画像である。また、投影像は当該物体の三次元画像をレンダリングすることで生成される。そして、二次元画像に位置合わせされた投影像は、例えば、カメラの位置、アングル、視野角等のカメラパラメータを、三次元の物体を撮影する際のカメラの状態と同一に設定してレンダリングすることで生成される。   The two-dimensional image storage unit 101 can store a two-dimensional image composed of a plurality of pixel information. The pixel information is information on a point having position information that is information indicating a position and color information that is information about a color. The position information here is position information on a plane (for example, (x, y)). Further, the pixel information may include position information, color information, and opacity information (also referred to as α value, blending parameter) indicating opacity. The opacity information may be regarded as transparency information indicating transparency. The two-dimensional image is an image obtained by photographing one or more three-dimensional objects, and is an image that is aligned with a three-dimensional image described later. Note that “a two-dimensional image and a three-dimensional image are aligned” means that a projection generated by rendering a two-dimensional image captured by a camera and a three-dimensional image captured by a CT or the like. The image is aligned. The two-dimensional image is an image obtained by photographing one or more three-dimensional objects. The projected image is generated by rendering a three-dimensional image of the object. The projected image aligned with the two-dimensional image is rendered with, for example, camera parameters such as the camera position, angle, and viewing angle set to be the same as the camera state when photographing a three-dimensional object. Is generated.

二次元画像格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。二次元画像格納部101に二次元画像が記憶される過程は問わない。例えば、記録媒体を介して二次元画像が二次元画像格納部101で記憶されるようになってもよく、通信回線等を介して送信された二次元画像が二次元画像格納部101で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された二次元画像が二次元画像格納部101で記憶されるようになってもよい。   The two-dimensional image storage unit 101 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the two-dimensional image in the two-dimensional image storage unit 101 does not matter. For example, a 2D image may be stored in the 2D image storage unit 101 via a recording medium, and a 2D image transmitted via a communication line or the like is stored in the 2D image storage unit 101. Alternatively, a two-dimensional image input via an input device may be stored in the two-dimensional image storage unit 101.

三次元画像格納部102は、複数のボクセル情報から構成される三次元画像を格納し得る。ボクセル情報は、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である。また、三次元画像は、1以上の三次元の物体の画像データである。   The three-dimensional image storage unit 102 can store a three-dimensional image composed of a plurality of voxel information. The voxel information is point information having position information that is information indicating a position, color information that is information about a color, and depth information that indicates a depth from a reference point. The three-dimensional image is image data of one or more three-dimensional objects.

また、三次元画像は、例えば、1以上の3次元の物体のボリュームテクスチャである3Dボクセル情報である。3Dボクセル情報は、例えば、(x,y,z,col)で構成される点の情報である。(x,y,z,col)の(x,y,z)は、座標情報である。「col」は、色情報である。3Dボクセル情報は、例えば、(x,y,z,col,α値)で構成される点の情報であっても良い。3Dボクセル情報は、ここでは、点の間隔がなく、詰まっている点の情報でることが好適であるが、離散的な点の情報でも良い。3Dボクセル情報は、例えば、CTやMRIやPETなどの医用機器により取得される二次元画像の集合である。3Dボクセル情報は、例えば、CTやMRIなどで、人体の脳や、身体の中を撮影した二次元画像の集合である。また、(x,y,z)の「z」は、深さ情報でも良い。なお、位置情報が(x,y)である場合、深さ情報(d)を含めた(x,y,d)が三次元空間内の位置を示す。   The 3D image is, for example, 3D voxel information that is a volume texture of one or more three-dimensional objects. The 3D voxel information is, for example, information on a point constituted by (x, y, z, col). (X, y, z) of (x, y, z, col) is coordinate information. “Col” is color information. The 3D voxel information may be, for example, information on a point constituted by (x, y, z, col, α value). Here, the 3D voxel information is preferably information on clogged points with no interval between points, but may be information on discrete points. The 3D voxel information is a set of two-dimensional images acquired by a medical device such as CT, MRI, or PET. The 3D voxel information is, for example, a set of two-dimensional images obtained by photographing the human brain or the inside of the body by CT or MRI. Also, “z” in (x, y, z) may be depth information. When the position information is (x, y), (x, y, d) including the depth information (d) indicates the position in the three-dimensional space.

また、三次元画像は、1以上の三次元の物体のボリュームテクスチャである3Dボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群であっても良い。
スライス情報群は、3Dボクセル情報から、視線(視線ベクトル)に対して垂直で、かつ間隔を一定にして切り出された複数のスライス情報である。視線とは、例えば、スライス情報群を出力するディスプレイに対して垂直な線(当該ディスプレイを見る者の視線)である。スライス情報は、平面を構成する点の情報の集合であり、点間の間隔がなく、詰まっている。
Further, the three-dimensional image is slice information that is information configured based on two-dimensional image data obtained by cutting out 3D voxel information that is a volume texture of one or more three-dimensional objects in a plurality of planes, It may be a slice information group having a plurality of slice information composed of information on a plurality of points having position information, color information, and depth information.
The slice information group is a plurality of pieces of slice information cut out from the 3D voxel information perpendicular to the line of sight (line-of-sight vector) and at constant intervals. The line of sight is, for example, a line perpendicular to the display that outputs the slice information group (the line of sight of the person who views the display). The slice information is a set of information of points constituting the plane, and there is no interval between the points and is packed.

三次元画像格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。三次元画像格納部102に三次元画像が記憶される過程は問わない。   The 3D image storage unit 102 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the 3D image in the 3D image storage unit 102 does not matter.

深さ情報付き二次元画像格納部103は、深さ情報付き二次元画像を格納し得る。深さ情報付き二次元画像は、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される画像である。また、深さ情報付き二次元画像は、1以上の三次元の物体を撮影した画像であり、三次元画像と位置合わせがされている画像である。ここで、位置合わせがされている画像とは、カメラの位置、アングル、視野角等のカメラパラメータが、三次元画像のカメラパラメータと同一である画像である。   The two-dimensional image storage unit 103 with depth information can store a two-dimensional image with depth information. The two-dimensional image with depth information is an image composed of a plurality of pieces of pixel information that is point information having position information, color information, and depth information. The two-dimensional image with depth information is an image obtained by photographing one or more three-dimensional objects, and is an image that is aligned with the three-dimensional image. Here, the aligned image is an image in which the camera parameters such as the camera position, angle, and viewing angle are the same as the camera parameters of the three-dimensional image.

深さ情報付き二次元画像格納部103は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。深さ情報付き二次元画像格納部103に深さ情報付き二次元画像が記憶される過程は問わない。   The two-dimensional image storage unit 103 with depth information is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process in which the two-dimensional image with depth information is stored in the two-dimensional image storage unit 103 with depth information does not matter.

受付部104は、指示を受け付ける。指示とは、例えば、深さ情報付き二次元画像取得指示、拡張像取得指示、連続領域指示等である、深さ情報付き二次元画像取得指示とは、二次元画像のピクセル情報に深さ情報を付加した深さ情報付き二次元画像を取得する指示である。拡張像取得指示とは、拡張像を取得する指示である。また、連続領域指示とは、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示であり、当該1以上の点が含まれるオブジェクト(連続領域)を他のオブジェクトと異なる態様(例えば、色情報または/および不透明度情報が異なる)で出力する指示である。ここで、受け付けとは、マウス、タッチパネル、キーボードなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、マウスやメニュー画面によるもの等、何でも良い。受付部104は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。   The accepting unit 104 accepts an instruction. The instruction is, for example, a two-dimensional image acquisition instruction with depth information, an extended image acquisition instruction, a continuous area instruction, or the like. A two-dimensional image acquisition instruction with depth information is depth information in pixel information of a two-dimensional image. Is an instruction to acquire a two-dimensional image with depth information to which is added. The extended image acquisition instruction is an instruction to acquire an extended image. The continuous area instruction is an instruction for one or more points in the output two-dimensional image, depth information-added two-dimensional image or extended image, and includes an object (continuous area) including the one or more points. ) In a different mode from other objects (for example, color information and / or opacity information is different). Here, reception means reception of information input from an input device such as a mouse, a touch panel, or a keyboard, reception of information transmitted via a wired or wireless communication line, recording on an optical disk, magnetic disk, semiconductor memory, or the like. It is a concept including reception of information read from a medium. The instruction input means may be anything such as a mouse or a menu screen. The accepting unit 104 can be realized by a device driver for input means such as a numeric keypad and a keyboard, control software for a menu screen, and the like.

深さ情報取得部105は、三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する。ここで、平面とは、通常、カメラの位置や視線ベクトルに対して垂直の平面である。平面上の同一の位置情報を有する複数の点とは、例えば、(x,y)が同一で、深さ情報またはzが異なる複数の点である。また、基準位置とは、通常、三次元画像を取得するカメラや視線の位置である。   The depth information acquisition unit 105 includes color information that is not transparent from information on a plurality of points having the same position information on a plane in a plurality of voxel information included in the three-dimensional image, and the depth information is a reference. Depth information possessed by voxel information, which is information indicating the forefront from the position, is acquired for each position information on the plane. Here, the plane is usually a plane perpendicular to the camera position and the line-of-sight vector. The plurality of points having the same position information on the plane are, for example, a plurality of points having the same (x, y) and different depth information or z. In addition, the reference position is usually the position of a camera or line of sight that acquires a three-dimensional image.

深さ情報付き二次元画像取得部106は、二次元画像が有する複数の各ピクセル情報に深さ情報を付加し、深さ情報付き二次元画像を取得する。さらに具体的には、深さ情報付き二次元画像取得部106は、深さ情報取得部105が平面上の位置情報ごとに取得した2以上の各深さ情報を、二次元画像が有する複数の各ピクセル情報であり、平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する。つまり、深さ情報付き二次元画像は、二次元画像が有する複数の各ピクセル情報に深さ情報が付加された画像である。   The two-dimensional image acquisition unit with depth information 106 adds depth information to each piece of pixel information included in the two-dimensional image, and acquires a two-dimensional image with depth information. More specifically, the two-dimensional image acquisition unit 106 with depth information includes a plurality of pieces of depth information acquired by the depth information acquisition unit 105 for each piece of positional information on the plane. Each pixel information is added to each pixel information having the same position information on the plane, and a two-dimensional image with depth information including two or more pieces of pixel information having position information, color information, and depth information is acquired. . That is, the two-dimensional image with depth information is an image in which depth information is added to a plurality of pieces of pixel information included in the two-dimensional image.

深さ情報付き二次元画像蓄積部107は、深さ情報付き二次元画像取得部106が取得した深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する。   The two-dimensional image storage unit 107 with depth information stores the two-dimensional image with depth information acquired by the two-dimensional image acquisition unit with depth information 106 in the two-dimensional image storage unit 103 with depth information.

深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像に対して、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。深さ情報付き二次元画像処理部108は、通常、深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。   The two-dimensional image processing unit with depth information 108 performs first image processing on the two-dimensional image with depth information, and acquires a two-dimensional image with post-processing depth information. The two-dimensional image processing unit with depth information 108 normally performs the first image processing on the two-dimensional image with depth information using the depth information, and the processed two-dimensional image with depth information is obtained. get.

深さ情報付き二次元画像処理部108は、例えば、深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する。ここで、少なくとも2以上の異なる色情報を設定するとは、元々、一の色情報が設定されている場合、一部のピクセル情報に対して、他の色情報を設定する処理でも良い。また、少なくとも2以上の異なる不透明度情報を設定するとは、元々、一の不透明度情報が設定されている場合、一部のピクセル情報に対して、他の不透明度情報を設定する処理でも良い。第一の画像処理は、処理の結果として、2種類以上の異なる色情報または/および異なる不透明度情報を有するようになれば良い。なお、上記の「異なる色情報または/および異なる不透明度情報」とは、異なる色情報、異なる不透明度情報、異なる色情報および異なる不透明度情報のうちのいずれかであることである。   The two-dimensional image processing unit with depth information 108, for example, with respect to the two-dimensional image with depth information, at least two or more different color information or / and different information depending on the difference in the depth information of the pixel information. First image processing for setting transparency information is performed, and a two-dimensional image with post-processing depth information is acquired. Here, the setting of at least two or more different color information may be a process of setting other color information for a part of pixel information when one color information is originally set. The setting of at least two or more different opacity information may be a process of setting other opacity information for a part of pixel information when one opacity information is originally set. The first image processing only needs to have two or more different color information and / or different opacity information as a result of the processing. The above-mentioned “different color information or / and different opacity information” means any of different color information, different opacity information, different color information, and different opacity information.

また、第一の画像処理は、ピクセル情報が有する深さ情報の違いに応じて、輪郭を強調したり、カラーマップによって部分領域の色情報を変更したり、ピクセル単位でRGBA値(色情報と不透明度情報)を変更する等の任意の画像処理で良い。   In addition, the first image processing emphasizes the contour according to the difference in the depth information of the pixel information, changes the color information of the partial area by the color map, or RGBA value (color information and Any image processing such as changing (opacity information) may be used.

指示ボクセル情報決定部109は、指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する。連続する2以上のボクセル情報とは、隣接するボクセル情報が有する色情報と同一または閾値以内の差の色情報を有する2以上のボクセル情報である。   The instruction voxel information determination unit 109 determines two or more consecutive voxel information using color information included in voxel information corresponding to one or more points corresponding to the instruction. The two or more consecutive voxel information items are two or more voxel information items having color information that is the same as or different from a threshold value within the color information of adjacent voxel information.

三次元画像処理部110は、三次元画像に対して、第二の画像処理を行い、処理後三次元画像を取得する。三次元画像処理部110は、例えば、三次元画像に対して、三次元画像に含まれるボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。   The three-dimensional image processing unit 110 performs second image processing on the three-dimensional image, and acquires a processed three-dimensional image. The three-dimensional image processing unit 110, for example, with respect to a three-dimensional image, at least two or more different color information and / or different opacity information according to the difference in depth information included in the voxel information included in the three-dimensional image Second image processing is performed to set a three-dimensional image after processing.

三次元画像処理部110は、例えば、指示ボクセル情報決定部109が決定した2以上のボクセル情報、または2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する。   For example, the three-dimensional image processing unit 110 sets different color information or different opacity information to two or more voxel information determined by the instruction voxel information determination unit 109 or voxel information other than the two or more voxel information. The second image processing is performed to obtain a post-processing three-dimensional image.

拡張像生成部111は、処理後深さ情報付き二次元画像と、三次元画像とを重ね合わせた拡張像を生成する。また、拡張像生成部111は、処理後深さ情報付き二次元画像と、三次元画像に対して第二の画像処理を施した処理後三次元画像とを重ね合わせた拡張像を生成しても良い。つまり、拡張像生成部111は、二次元画像内で選択され画像処理された領域(処理後深さ情報付き二次元画像)と、三次元画像の投影像(の一部あるいは全体)を任意にブレンドして拡張像を生成する。   The extended image generation unit 111 generates an extended image obtained by superimposing the two-dimensional image with post-processing depth information and the three-dimensional image. Further, the extended image generation unit 111 generates an extended image obtained by superimposing the processed 2D image with depth information and the processed 3D image obtained by performing the second image processing on the 3D image. Also good. That is, the extended image generation unit 111 arbitrarily selects a region (two-dimensional image with post-processing depth information) selected and image-processed in the two-dimensional image and a projected image (part or whole) of the three-dimensional image. Blend to create an extended image.

出力部112は、拡張像生成部111が生成した拡張像を出力する。出力部112は、二次元画像格納部101の二次元画像や、三次元画像格納部102の三次元画像や、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像などを出力しても良い。   The output unit 112 outputs the extended image generated by the extended image generation unit 111. The output unit 112 outputs a 2D image in the 2D image storage unit 101, a 3D image in the 3D image storage unit 102, a 2D image with depth information in the 2D image storage unit 103 with depth information, and the like. You may do it.

ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。   Here, output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, output to another processing device or other program, etc. It is a concept that includes delivery of processing results.

出力部112は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。出力部112は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。   The output unit 112 may or may not include an output device such as a display or a speaker. The output unit 112 can be realized by output device driver software, or output device driver software and an output device.

深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、および拡張像生成部111は、通常、MPUやメモリ等から実現され得る。深さ情報取得部105等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。   Depth information acquisition unit 105, 2D image acquisition unit with depth information 106, 2D image storage unit with depth information 107, 2D image processing unit with depth information 108, instruction voxel information determination unit 109, 3D image The processing unit 110 and the extended image generation unit 111 can usually be realized by an MPU, a memory, or the like. The processing procedure of the depth information acquisition unit 105 and the like is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).

次に、画像処理装置1の動作について、図2のフローチャートを用いて説明する。   Next, the operation of the image processing apparatus 1 will be described using the flowchart of FIG.

(ステップS201)受付部104は、深さ情報付き二次元画像取得指示を受け付けたか否かを判断する。深さ情報付き二次元画像取得指示を受け付ければステップS202に行き、深さ情報付き二次元画像取得指示を受け付けなければステップS208に行く。   (Step S201) The accepting unit 104 judges whether or not an instruction to acquire a two-dimensional image with depth information has been accepted. If a two-dimensional image acquisition instruction with depth information is accepted, the process goes to step S202. If a two-dimensional image acquisition instruction with depth information is not accepted, the process goes to step S208.

(ステップS202)深さ情報取得部105は、カウンタiに1を代入する。   (Step S202) The depth information acquisition unit 105 substitutes 1 for a counter i.

(ステップS203)深さ情報取得部105は、二次元画像格納部101の二次元画像の中に、i番目の点(ピクセル情報)が存在するか否かを判断する。i番目の点が存在すればステップS204に行き、存在しなければステップS207に行く。   (Step S203) The depth information acquisition unit 105 determines whether or not the i-th point (pixel information) exists in the two-dimensional image of the two-dimensional image storage unit 101. If the i-th point exists, go to step S204, and if not, go to step S207.

(ステップS204)深さ情報取得部105は、二次元画像の中のi番目のピクセル情報の深さ情報を取得する。かかる処理は、深さ情報取得処理と言う。深さ情報取得処理について、図3のフローチャートを用いて説明する。   (Step S204) The depth information acquisition unit 105 acquires depth information of the i-th pixel information in the two-dimensional image. Such processing is called depth information acquisition processing. Depth information acquisition processing will be described with reference to the flowchart of FIG.

(ステップS205)深さ情報付き二次元画像取得部106は、ステップS204で取得された深さ情報を、二次元画像の中のi番目のピクセル情報に設定する。なお、ここで、深さ情報付き二次元画像取得部106は、二次元画像格納部101の二次元画像の中に深さ情報を書き込む必要はなく、二次元画像格納部101の二次元画像を複写した画像の中に深さ情報を書き込むことは好適である。   (Step S205) The two-dimensional image acquisition unit 106 with depth information sets the depth information acquired in step S204 as the i-th pixel information in the two-dimensional image. Here, it is not necessary for the two-dimensional image acquisition unit 106 with depth information to write the depth information into the two-dimensional image of the two-dimensional image storage unit 101, and the two-dimensional image of the two-dimensional image storage unit 101 is used. It is preferred to write depth information into the copied image.

(ステップS206)深さ情報取得部105は、カウンタiを1、インクリメントする。ステップS203に戻る。   (Step S206) The depth information acquisition unit 105 increments the counter i by one. The process returns to step S203.

(ステップS207)深さ情報付き二次元画像蓄積部107は、取得された深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する。ステップS201に戻る。   (Step S207) The two-dimensional image storage unit 107 with depth information stores the acquired two-dimensional image with depth information in the two-dimensional image storage unit 103 with depth information. The process returns to step S201.

(ステップS208)受付部104は、拡張像取得指示を受け付けたか否かを判断する。拡張像取得指示を受け付ければステップS209に行き、拡張像取得指示を受け付けなければステップS211に行く。   (Step S208) The receiving unit 104 determines whether an extended image acquisition instruction has been received. If an extended image acquisition instruction is accepted, the process goes to step S209. If an extended image acquisition instruction is not accepted, the process goes to step S211.

(ステップS209)拡張像生成部111等は、拡張像生成処理を行う。拡張像生成処理について、図4のフローチャートを用いて説明する。   (Step S209) The extended image generation unit 111 and the like perform extended image generation processing. The extended image generation process will be described with reference to the flowchart of FIG.

(ステップS210)出力部112は、ステップS209で生成された拡張像を出力する。ステップS201に戻る。   (Step S210) The output unit 112 outputs the extended image generated in step S209. The process returns to step S201.

(ステップS211)受付部104は、連続領域指示を受け付けたか否かを判断する。連続領域指示を受け付ければステップS212に行き、連続領域指示を受け付けなければステップS201に戻る。   (Step S211) The reception unit 104 determines whether a continuous area instruction has been received. If a continuous area instruction is accepted, the process proceeds to step S212. If a continuous area instruction is not accepted, the process returns to step S201.

(ステップS212)指示ボクセル情報決定部109は、指示ボクセル情報決定処理を行う。指示ボクセル情報決定処理について、図8のフローチャートを用いて説明する。ステップS209に行く。   (Step S212) The instruction voxel information determination unit 109 performs instruction voxel information determination processing. The instruction voxel information determination process will be described with reference to the flowchart of FIG. Go to step S209.

なお、図2のフローチャートにおいて、ステップS202からステップS207までの処理により深さ情報付き二次元画像が生成される。   In the flowchart of FIG. 2, a two-dimensional image with depth information is generated by the processing from step S202 to step S207.

また、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。   In the flowchart of FIG. 2, the process is ended by power-off or a process end interrupt.

次に、ステップS204の深さ情報取得処理について、図3のフローチャートを用いて説明する。   Next, the depth information acquisition processing in step S204 will be described using the flowchart of FIG.

(ステップS301)深さ情報取得部105は、カウンタjに1を代入する。   (Step S301) The depth information acquisition unit 105 substitutes 1 for a counter j.

(ステップS302)深さ情報取得部105は、三次元画像格納部102の三次元画像において、i番目の点と同位置(平面上の同位置)にあるj番目の点(ボクセル情報)が存在するか否かを判断する。j番目の点が存在すればステップS303に行き、j番目の点が存在しなければステップS307に行く。なお、ここで、深さ情報取得部105は、j番目の点を手前から選択する。なお、手前の点とは、「深さ情報が浅い点」や「zの値が小さい点(zの値が小さいほど、手前にある場合)」や「zの値が大きい点(zの値が大きいほど、手前にある場合)」と言っても良い。   (Step S302) The depth information acquisition unit 105 has a j-th point (voxel information) at the same position (same position on the plane) as the i-th point in the three-dimensional image of the three-dimensional image storage unit 102. Judge whether to do. If the jth point exists, the process goes to step S303, and if the jth point does not exist, the process goes to step S307. Here, the depth information acquisition unit 105 selects the j-th point from the front. The point in the foreground means “a point where the depth information is shallow”, “a point where the value of z is small (the smaller the value of z, the closer it is)” or “a point where the value of z is large (value of z It ’s okay if you ’re in front.

(ステップS303)深さ情報取得部105は、j番目の点の色情報を取得する。   (Step S303) The depth information acquisition unit 105 acquires the color information of the j-th point.

(ステップS304)深さ情報取得部105は、ステップS303で取得した色情報が「透明」を示す情報であるか否かを判断する。「透明」であればステップS306に行き、「透明」でなければステップS305に行く。   (Step S304) The depth information acquisition unit 105 determines whether or not the color information acquired in step S303 is information indicating “transparent”. If it is “transparent”, the process goes to step S306, and if it is not “transparent”, the process goes to step S305.

(ステップS305)深さ情報取得部105は、j番目のボクセル情報が有する深さ情報を取得する。上位処理にリターンする。   (Step S305) The depth information acquisition unit 105 acquires depth information included in the j-th voxel information. Return to upper process.

(ステップS306)深さ情報取得部105は、カウンタjを1、インクリメントする。ステップS302に戻る。   (Step S306) The depth information acquisition unit 105 increments the counter j by 1. The process returns to step S302.

(ステップS307)深さ情報取得部105は、深さ情報にNULLを代入する。上位処理にリターンする。なお、本ステップは無くても良い。   (Step S307) The depth information acquisition unit 105 substitutes NULL for the depth information. Return to upper process. Note that this step may be omitted.

次に、ステップS209の拡張像生成処理について、図4のフローチャートを用いて説明する。   Next, the extended image generation processing in step S209 will be described using the flowchart in FIG.

(ステップS401)深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像に対して、処理を行う。かかる深さ情報付き二次元画像処理について、図5のフローチャートを用いて説明する。   (Step S401) The two-dimensional image processing unit with depth information 108 performs processing on the two-dimensional image with depth information. Such two-dimensional image processing with depth information will be described with reference to the flowchart of FIG.

(ステップS402)三次元画像処理部110は、三次元画像に対する処理が必要か否かを判断する。なお、三次元画像処理部110は、例えば、ユーザから三次元画像処理の指示の入力があったか否かにより、三次元画像に対する処理が必要か否かを判断する。また、三次元画像処理部110は、例えば、ユーザから入力された指示中に、三次元画像の処理に対応する条件が含まれるか否かにより、三次元画像に対する処理が必要か否かを判断しても良い。三次元画像に対する処理が必要であればステップS403に行き、三次元画像に対する処理が必要でなければステップS405に行く。   (Step S402) The three-dimensional image processing unit 110 determines whether or not processing for a three-dimensional image is necessary. Note that the 3D image processing unit 110 determines whether or not processing for a 3D image is necessary, for example, based on whether or not a user inputs a 3D image processing instruction. In addition, the 3D image processing unit 110 determines whether or not processing for a 3D image is necessary, for example, based on whether or not a condition corresponding to the processing of the 3D image is included in an instruction input from the user. You may do it. If processing for a three-dimensional image is necessary, the process goes to step S403, and if processing for a three-dimensional image is not required, the process goes to step S405.

(ステップS403)三次元画像処理部110は、三次元画像処理を行う。三次元画像処理について、図6、図7のフローチャートを用いて説明する。   (Step S403) The three-dimensional image processing unit 110 performs three-dimensional image processing. Three-dimensional image processing will be described with reference to the flowcharts of FIGS.

(ステップS404)拡張像生成部111は、処理後深さ情報付き二次元画像と処理後三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。   (Step S404) The extended image generation unit 111 superimposes the processed two-dimensional image with depth information and the processed three-dimensional image to generate an extended image. Return to upper process.

(ステップS405)拡張像生成部111は、三次元画像格納部102から三次元画像を読み出す。   (Step S <b> 405) The extended image generation unit 111 reads a 3D image from the 3D image storage unit 102.

(ステップS406)拡張像生成部111は、処理後深さ情報付き二次元画像とステップS405で読み出した三次元画像とを重ね合わせ、拡張像を生成する。上位処理にリターンする。   (Step S406) The extended image generation unit 111 superimposes the two-dimensional image with post-processing depth information and the three-dimensional image read out in step S405 to generate an extended image. Return to upper process.

次に、ステップS401の深さ情報付き二次元画像処理について、図5のフローチャートを用いて説明する。   Next, the two-dimensional image processing with depth information in step S401 will be described with reference to the flowchart of FIG.

(ステップS501)深さ情報付き二次元画像処理部108は、指示に含まれる1以上の条件を取得する。なお、この条件とは、深さ情報付き二次元画像に対する画像処理を示す情報である。条件とは、例えば、色情報または/および不透明度情報を設定する深さ情報の範囲と、設定する色情報または/および不透明度情報とを有する。   (Step S501) The two-dimensional image processing unit with depth information 108 acquires one or more conditions included in the instruction. This condition is information indicating image processing for a two-dimensional image with depth information. The conditions include, for example, a range of depth information for setting color information or / and opacity information, and color information or / and opacity information to be set.

(ステップS502)深さ情報付き二次元画像処理部108は、カウンタiに1を代入する。   (Step S502) The two-dimensional image processing unit with depth information 108 substitutes 1 for a counter i.

(ステップS503)深さ情報付き二次元画像処理部108は、i番目の条件が存在するか否かを判断する。i番目の条件が存在すればステップS504に行き、i番目の条件が存在しなければ上位処理にリターンする。   (Step S503) The two-dimensional image processing unit with depth information 108 determines whether the i-th condition exists. If the i-th condition exists, the process goes to step S504, and if the i-th condition does not exist, the process returns to the upper process.

(ステップS504)深さ情報付き二次元画像処理部108は、i番目の条件に含まれる深さ情報の範囲と、設定する色情報または/および不透明度情報とを取得する。   (Step S504) The two-dimensional image processing unit with depth information 108 acquires a range of depth information included in the i-th condition and color information or / and opacity information to be set.

(ステップS505)深さ情報付き二次元画像処理部108は、カウンタjに1を代入する。   (Step S505) The two-dimensional image processing unit with depth information 108 substitutes 1 for a counter j.

(ステップS506)深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像に含まれるj番目のピクセル情報が存在するか否かを判断する。j番目のピクセル情報が存在すればステップS507に行き、存在しなければステップS511に行く。   (Step S506) The two-dimensional image processing unit with depth information 108 determines whether or not the j-th pixel information included in the two-dimensional image with depth information in the two-dimensional image storage unit 103 with depth information exists. To do. If the j-th pixel information exists, the process goes to step S507, and if not, the process goes to step S511.

(ステップS507)深さ情報付き二次元画像処理部108は、j番目のピクセル情報が有する深さ情報を取得する。   (Step S507) The two-dimensional image processing unit with depth information 108 acquires depth information included in the jth pixel information.

(ステップS508)深さ情報付き二次元画像処理部108は、ステップS507で取得した深さ情報が、i番目の条件に含まれる深さ情報の範囲内であるか否かを判断する。範囲内であればステップS509に行き、範囲内でなければステップS510に行く。   (Step S508) The two-dimensional image processing unit with depth information 108 determines whether or not the depth information acquired in Step S507 is within the range of depth information included in the i-th condition. If it is within the range, the process goes to step S509, and if not, the process goes to step S510.

(ステップS509)深さ情報付き二次元画像処理部108は、j番目のピクセル情報に、i番目の条件に含まれる色情報または/および不透明度情報を設定する。   (Step S509) The two-dimensional image processing unit with depth information 108 sets color information or / and opacity information included in the i-th condition in the j-th pixel information.

(ステップS510)深さ情報付き二次元画像処理部108は、カウンタjを1、インクリメントする。ステップS506に戻る。   (Step S510) The two-dimensional image processing unit with depth information 108 increments the counter j by 1. The process returns to step S506.

(ステップS511)深さ情報付き二次元画像処理部108は、カウンタiを1、インクリメントする。ステップS503に戻る。   (Step S511) The two-dimensional image processing unit with depth information 108 increments the counter i by one. The process returns to step S503.

次に、ステップS403の三次元画像処理の第一の例について、図6のフローチャートを用いて説明する。なお、図6のフローチャートにおいて、図5のフローチャートと同一のステップについて、説明を省略する。三次元画像処理の第一の例は、所定の色情報または/および不透明度情報を設定する深さ情報の範囲が定まっている場合の例である。   Next, a first example of the three-dimensional image processing in step S403 will be described using the flowchart of FIG. In the flowchart of FIG. 6, the description of the same steps as those in the flowchart of FIG. 5 is omitted. A first example of the three-dimensional image processing is an example in a case where a range of depth information for setting predetermined color information and / or opacity information is fixed.

(ステップS601)三次元画像処理部110は、三次元画像格納部102の三次元画像の中に、j番目のボクセル情報が存在するか否かを判断する。j番目のボクセル情報が存在すればステップS602に行き、存在しなければステップS511に行く。   (Step S601) The three-dimensional image processing unit 110 determines whether or not the j-th voxel information exists in the three-dimensional image of the three-dimensional image storage unit 102. If the j-th voxel information exists, the process goes to step S602, and if not, the process goes to step S511.

(ステップS602)三次元画像処理部110は、j番目のボクセル情報が有する深さ情報を取得する。   (Step S602) The 3D image processing unit 110 acquires depth information included in the j-th voxel information.

(ステップS603)三次元画像処理部110は、三次元画像の中のj番目のボクセル情報に、i番目の条件に含まれる色情報または/および不透明度情報を設定する。   (Step S603) The three-dimensional image processing unit 110 sets color information and / or opacity information included in the i-th condition in the j-th voxel information in the three-dimensional image.

次に、ステップS403の三次元画像処理の第二の例について、図7のフローチャートを用いて説明する。三次元画像処理の第二の例は、所定の色情報または/および不透明度情報を設定するボクセル情報群が定まっている場合の例である。   Next, a second example of the three-dimensional image processing in step S403 will be described using the flowchart in FIG. A second example of the three-dimensional image processing is an example in which a voxel information group for setting predetermined color information or / and opacity information is determined.

(ステップS701)三次元画像処理部110は、設定する色情報または/および不透明度情報を取得する。   (Step S701) The three-dimensional image processing unit 110 acquires color information and / or opacity information to be set.

(ステップS702)三次元画像処理部110は、カウンタiに1を代入する。   (Step S702) The three-dimensional image processing unit 110 substitutes 1 for a counter i.

(ステップS703)三次元画像処理部110は、色情報または/および不透明度情報の設定対象のi番目のボクセル情報が存在するか否かを判断する。i番目のボクセル情報が存在すればステップS704に行き、存在しなければ上位処理にリターンする。   (Step S703) The three-dimensional image processing unit 110 determines whether or not the i-th voxel information for which color information or / and opacity information is to be set exists. If i-th voxel information exists, it will go to step S704, and if it does not exist, it will return to a high-order process.

(ステップS704)三次元画像処理部110は、設定対象のi番目のボクセル情報に、ステップS701で取得した色情報または/および不透明度情報を設定する。   (Step S704) The three-dimensional image processing unit 110 sets the color information or / and opacity information acquired in step S701 in the i-th voxel information to be set.

(ステップS705)三次元画像処理部110は、カウンタiを1、インクリメントする。ステップS703に戻る。   (Step S705) The three-dimensional image processing unit 110 increments the counter i by one. The process returns to step S703.

次に、ステップS212の指示ボクセル情報決定処理について、図8のフローチャートを用いて説明する。   Next, the instruction voxel information determination process in step S212 will be described with reference to the flowchart of FIG.

(ステップS801)指示ボクセル情報決定部109は、指示された点の座標値(通常、(x,y))を取得する。   (Step S801) The instruction voxel information determination unit 109 acquires the coordinate value (usually, (x, y)) of the specified point.

(ステップS802)指示ボクセル情報決定部109は、ステップS801で取得した座標値と同一の平面座標値(例えば、(x,y))を有するすべてのボクセル情報を、三次元画像格納部102の三次元画像から取得する。   (Step S802) The instruction voxel information determination unit 109 obtains all the voxel information having the same plane coordinate value (for example, (x, y)) as the coordinate value acquired in Step S801 as the tertiary of the three-dimensional image storage unit 102. Obtain from the original image.

(ステップS803)指示ボクセル情報決定部109は、ステップS802で取得したボクセル情報の中で、透明ではなく、最も手前のボクセル情報を取得する。このボクセル情報を基準ボクセル情報と言うこととする。なお、最も手前のボクセル情報とは、例えば、z座標値の値が最も小さいボクセル情報である。   (Step S803) The instruction voxel information determination unit 109 acquires the voxel information which is the foremost, not transparent, among the voxel information acquired in step S802. This voxel information is referred to as reference voxel information. The foremost voxel information is, for example, voxel information having the smallest z coordinate value.

(ステップS804)指示ボクセル情報決定部109は、ステップS803で取得した基準ボクセル情報を、指示ボクセル情報として決定する。なお、かかる決定する処理とは、例えば、指示ボクセル情報を格納するバッファに、基準ボクセル情報を書き込む処理である。   (Step S804) The instruction voxel information determination unit 109 determines the reference voxel information acquired in step S803 as instruction voxel information. The determining process is, for example, a process of writing reference voxel information in a buffer that stores instruction voxel information.

(ステップS805)指示ボクセル情報決定部109は、基準ボクセル情報を基準として、連続するボクセル情報を取得する処理を行う。かかる処理を連続ボクセル情報取得処理という。連続ボクセル情報取得処理について、図9のフローチャートを用いて説明する。上位処理にリターンする。   (Step S805) The instruction voxel information determination unit 109 performs a process of acquiring continuous voxel information with reference to the reference voxel information. Such processing is called continuous voxel information acquisition processing. The continuous voxel information acquisition process will be described with reference to the flowchart of FIG. Return to upper process.

次に、ステップS805の連続ボクセル情報取得処理について、図9のフローチャートを用いて説明する。図9のフローチャートにおいて、図8のフローチャートと同一のステップについて、説明を省略する。   Next, the continuous voxel information acquisition process of step S805 will be described using the flowchart of FIG. In the flowchart of FIG. 9, the description of the same steps as those in the flowchart of FIG. 8 is omitted.

(ステップS901)指示ボクセル情報決定部109は、基準ボクセル情報の色情報を取得する。   (Step S901) The instruction voxel information determination unit 109 acquires color information of reference voxel information.

(ステップS902)指示ボクセル情報決定部109は、基準ボクセル情報に隣接するすべてのボクセル情報を、三次元画像格納部102の三次元画像から取得する。   (Step S902) The instruction voxel information determination unit 109 acquires all voxel information adjacent to the reference voxel information from the 3D image in the 3D image storage unit 102.

(ステップS903)指示ボクセル情報決定部109は、カウンタiに1を代入する。   (Step S903) The instruction voxel information determination unit 109 substitutes 1 for a counter i.

(ステップS904)指示ボクセル情報決定部109は、ステップS902で取得したボクセル情報の中で、i番目のボクセル情報が存在するか否かを判断する。i番目のピクセル情報が存在すればステップS905に行き、存在しなければ上位処理にリターンする。   (Step S904) The instruction voxel information determination unit 109 determines whether or not the i-th voxel information exists in the voxel information acquired in step S902. If the i-th pixel information exists, the process proceeds to step S905, and if it does not exist, the process returns to the upper process.

(ステップS905)指示ボクセル情報決定部109は、i番目のボクセル情報が有する色情報を取得する。   (Step S905) The instruction voxel information determination unit 109 acquires color information included in the i-th voxel information.

(ステップS906)指示ボクセル情報決定部109は、ステップS901で取得した基準ボクセル情報の色情報と、ステップS905で取得したi番目のボクセル情報の色情報とを比較し、2つの色情報の差異が閾値以内であるか否かを判断する。閾値以内であればステップS907に行き、閾値以内でなければステップS909に行く。なお、ここでは、2つの色情報の差異が閾値以内である場合は、2つの点は、同一のオブジェクト内の点である、と考えるとする。   (Step S906) The instruction voxel information determination unit 109 compares the color information of the reference voxel information acquired in step S901 with the color information of the i-th voxel information acquired in step S905, and the difference between the two color information is determined. It is determined whether it is within the threshold. If it is within the threshold value, go to step S907, and if it is not within the threshold value, go to step S909. Here, when the difference between the two color information is within the threshold, it is assumed that the two points are points within the same object.

(ステップS907)指示ボクセル情報決定部109は、i番目のボクセル情報を、指示ボクセル情報として決定する。   (Step S907) The instruction voxel information determination unit 109 determines the i-th voxel information as instruction voxel information.

(ステップS908)指示ボクセル情報決定部109は、i番目のボクセル情報を、基準ボクセル情報とする。ステップS805に行く。   (Step S908) The instruction voxel information determination unit 109 sets the i-th voxel information as reference voxel information. Go to step S805.

(ステップS909)指示ボクセル情報決定部109は、カウンタiを1、インクリメントする。ステップS904に戻る。   (Step S909) The instruction voxel information determination unit 109 increments the counter i by 1. The process returns to step S904.

以下、本実施の形態における画像処理装置1の具体的な動作について説明する。以下、3つの具体例について説明する。   Hereinafter, a specific operation of the image processing apparatus 1 in the present embodiment will be described. Three specific examples will be described below.

(具体例1)
今、基準点に対して、手前から円柱、球、および立方体の3つの物体が並べられている、とする。そして、基準点に配置されたカメラを用いて3つの物体が撮影され、取得された実映像Icam(二次元画像)が、二次元画像格納部101に格納されている、とする(図10参照)。
(Specific example 1)
Now, it is assumed that three objects of a cylinder, a sphere, and a cube are arranged from the front with respect to the reference point. Then, it is assumed that three objects are photographed using the camera arranged at the reference point, and the acquired real video I cam (two-dimensional image) is stored in the two-dimensional image storage unit 101 (FIG. 10). reference).

また、上記の3つの物体に対してCTまたはMRIを用いて取得された三次元画像Ivolが三次元画像格納部102に格納されている、とする(図11参照)。 Further, it is assumed that the three-dimensional image I vol acquired by using CT or MRI for the three objects is stored in the three-dimensional image storage unit 102 (see FIG. 11).

なお、二次元画像格納部101の二次元画像と、三次元画像格納部102の三次元画像とは、位置合わせがされているものとする。   Note that the two-dimensional image in the two-dimensional image storage unit 101 and the three-dimensional image in the three-dimensional image storage unit 102 are aligned.

かかる場合、ユーザが深さ情報付き二次元画像取得指示を入力した、とする。すると、受付部104は、深さ情報付き二次元画像取得指示を受け付ける。   In this case, it is assumed that the user inputs a two-dimensional image acquisition instruction with depth information. Then, the reception unit 104 receives a two-dimensional image acquisition instruction with depth information.

次に、深さ情報取得部105は、二次元画像格納部101の二次元画像Icamの中の各ピクセル情報に対して、以下のような処理を行う。つまり、深さ情報取得部105は、Icamのピクセル情報ごとに、ピクセル情報が有する平面座標(x,y)と同一の平面座標(x,y)を有する複数のボクセル情報の中で、基準点に近い(ここでは、zの値が小さい)順に、三次元画像Ivolからボクセル情報を選択していく。そして、深さ情報取得部105は、選択したボクセル情報に含まれる色情報が、「透明」を示す情報であるか否かを判断する。そして、深さ情報取得部105は、ピクセル情報ごとに、色情報が「透明」を示す情報でないボクセル情報であり、最初に見つけたボクセル情報を、対象ボクセル情報に決定する。なお、対象ボクセル情報は、色情報が「透明」を示す情報でないボクセル情報の中で、最も基準点に近いボクセル情報である。そして、深さ情報取得部105は、ピクセル情報ごとに、対象ボクセル情報が有する深さ情報を取得し、各ピクセル情報に付加する。以上の処理により、Icamに深さ情報が付加された深さ情報付き二次元画像を生成できた。なお、深さ情報付き二次元画像蓄積部107は、生成された深さ情報付き二次元画像を深さ情報付き二次元画像格納部103に蓄積する、とする。 Next, the depth information acquisition unit 105 performs the following process on each pixel information in the two-dimensional image I cam of the two-dimensional image storage unit 101. That is, the depth information acquisition unit 105 uses, for each pixel information of I cam , among the plurality of voxel information having the same plane coordinates (x, y) as the plane coordinates (x, y) included in the pixel information. Voxel information is selected from the three-dimensional image I vol in order from the point closest to the point (here, the value of z is small). Then, the depth information acquisition unit 105 determines whether the color information included in the selected voxel information is information indicating “transparency”. Then, the depth information acquisition unit 105 determines, for each pixel information, voxel information whose color information is not information indicating “transparent”, and determines the first found voxel information as target voxel information. The target voxel information is voxel information closest to the reference point among the voxel information whose color information is not information indicating “transparent”. And the depth information acquisition part 105 acquires the depth information which object voxel information has for every pixel information, and adds it to each pixel information. Through the above processing, a two-dimensional image with depth information in which depth information is added to I cam can be generated. The two-dimensional image storage unit 107 with depth information stores the generated two-dimensional image with depth information in the two-dimensional image storage unit 103 with depth information.

次に、ユーザが第一の拡張像取得指示を入力した、とする。すると、受付部104は、第一の拡張像取得指示を受け付ける。なお、ここでの第一の拡張像取得指示は、深さ情報付き二次元画像において、円柱までの深さ情報を有するピクセル情報を半透明にし、かつ、球を輪郭のみにする処理を施した処理後深さ情報付き二次元画像I'camに、三次元画像Ivolの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第一の拡張像取得指示は、条件1「d0<=d<=d1:α値=0.5」および条件2「d2<=d<=d3:"輪郭のみ出力"」を有する。 Next, it is assumed that the user inputs a first extended image acquisition instruction. Then, the reception unit 104 receives a first extended image acquisition instruction. The first extended image acquisition instruction here is a process of making the pixel information having the depth information up to the cylinder translucent and making the sphere only the outline in the two-dimensional image with depth information. It is assumed that the instruction is to obtain an extended image by pasting and rendering the projection image of the three-dimensional image I vol on the two-dimensional image with depth information I ′ cam after processing. That is, the first extended image acquisition instruction has the condition 1 “d0 <= d <= d1: α value = 0.5” and the condition 2 “d2 <= d <= d3:“ output contour only ””.

ここで、「d」は深さ情報の変数、「d0」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。また、「d1」は、円柱を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。「d2」は、球を構成するピクセル情報の深さ情報の中で、最も値が小さい深さ情報である。「d3」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。また、「輪郭のみ出力」する処理は、深さ情報「d2<=d<=d3」を有するピクセル情報の中で、輪郭を構成するピクセル情報以外のピクセル情報のα値を0に設定する処理である。   Here, “d” is a variable of depth information, and “d0” is depth information having the smallest value among depth information of pixel information constituting the cylinder. “D1” is the depth information having the largest value among the depth information of the pixel information constituting the cylinder. “D2” is depth information having the smallest value among the depth information of pixel information constituting the sphere. “D3” is the depth information having the largest value among the depth information of the pixel information constituting the sphere. The process of “output only the outline” is a process of setting the α value of pixel information other than the pixel information constituting the outline to 0 in the pixel information having the depth information “d2 <= d <= d3”. It is.

次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「d0<=d<=d1」を満たすか否かを判断する。そして、条件「d0<=d<=d1」を満たす深さ情報を有するピクセル情報のα値を「0.5」に書き換える。次に、深さ情報付き二次元画像処理部108は、上記の「輪郭のみ出力」する処理を行う。そして、深さ情報付き二次元画像処理部108は、処理後深さ情報付き二次元画像I'camを得る。 Next, the depth information-added two-dimensional image processing unit 108 sets the depth information to the condition “d0 <= d” for each pixel of the two-dimensional image with depth information in the two-dimensional image storage unit 103 with depth information. It is determined whether or not <= d1 ”is satisfied. Then, the α value of the pixel information having depth information that satisfies the condition “d0 <= d <= d1” is rewritten to “0.5”. Next, the two-dimensional image processing unit with depth information 108 performs the process of “output only the contour”. Then, the two-dimensional image processing unit with depth information 108 obtains a post-processing two-dimensional image I ′ cam with depth information.

次に、拡張像生成部111は、三次元画像格納部102から三次元画像Ivolを読み出す。そして、拡張像生成部111は、処理後深さ情報付き二次元画像と読み出したIvolとを重ね合わせ、拡張像Iaugを生成する。生成した拡張像Iaugを、図12に示す。そして、出力部112は、拡張像Iaugを出力する。 Next, the extended image generation unit 111 reads the 3D image I vol from the 3D image storage unit 102. Then, the extended image generating unit 111 generates an extended image I aug by superimposing the two-dimensional image with post-processing depth information and the read I vol . The generated extended image I aug is shown in FIG. Then, the output unit 112 outputs the extended image I aug .

(具体例2)
具体例2において、具体例1と同様に、二次元画像格納部101に実映像Icam(二次元画像)が格納され、三次元画像格納部102に三次元画像Ivolが格納されている。そして、Icamに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部103に格納されている。
(Specific example 2)
In the second specific example, as in the first specific example, the real image I cam (two-dimensional image) is stored in the two-dimensional image storage unit 101, and the three-dimensional image I vol is stored in the three-dimensional image storage unit 102. A two-dimensional image with depth information in which depth information is added to I cam is stored in the two-dimensional image storage unit 103 with depth information.

かかる場合、ユーザが第二の拡張像取得指示を入力した、とする。すると、受付部104は、第二の拡張像取得指示を受け付ける。なお、ここでの第二の拡張像取得指示は、深さ情報付き二次元画像において、球までの深さ情報を有するピクセル情報を透明にした処理後深さ情報付き二次元画像I'camに、三次元画像Ivolの投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。つまり、第二の拡張像取得指示は、条件「0<=d<=d3,α値=0」を有する。ここで、「d3」は、球を構成するピクセル情報の深さ情報の中で、最も値が大きい深さ情報である。 In this case, it is assumed that the user inputs a second extended image acquisition instruction. Then, the reception unit 104 receives a second extended image acquisition instruction. Note that the second extended image acquisition instruction here is a post-processing depth information-added two-dimensional image I ′ cam in which pixel information having depth information up to the sphere is made transparent in the two-dimensional image with depth information. Suppose that the instruction is to paste and render a projection image of the three-dimensional image I vol to obtain an extended image. That is, the second extended image acquisition instruction has the condition “0 <= d <= d3, α value = 0”. Here, “d3” is the depth information having the largest value among the depth information of the pixel information constituting the sphere.

次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像格納部103の深さ情報付き二次元画像の各ピクセルに対して、深さ情報が条件「0<=d<=d3」を満たすか否かを判断する。そして、条件「0<=d<=d1」を満たす深さ情報を有するピクセル情報のα値を「0」に書き換える。そして、深さ情報付き二次元画像処理部108は、処理後深さ情報付き二次元画像I'camを得る。 Next, the depth information-added two-dimensional image processing unit 108 sets the depth information to the condition “0 <= d” for each pixel of the two-dimensional image with depth information in the two-dimensional image storage unit 103 with depth information. It is determined whether or not “<= d3” is satisfied. Then, the α value of the pixel information having depth information that satisfies the condition “0 <= d <= d1” is rewritten to “0”. Then, the two-dimensional image processing unit with depth information 108 obtains a post-processing two-dimensional image I ′ cam with depth information.

次に、拡張像生成部111は、三次元画像格納部102から三次元画像Ivolを読み出す。拡張像生成部111は、処理後深さ情報付き二次元画像と読み出したIvolとを重ね合わせ、拡張像Iaugを生成する。生成した拡張像Iaugを、図13に示す。そして、出力部112は、拡張像Iaugを出力する。 Next, the extended image generation unit 111 reads the 3D image I vol from the 3D image storage unit 102. The extended image generation unit 111 superimposes the processed two-dimensional image with depth information and the read I vol to generate an extended image I aug . The generated extended image I aug is shown in FIG. Then, the output unit 112 outputs the extended image I aug .

上記の具体例1、2において、拡張像Iaugを生成する場合に、IcamにとIvolの用い方が異なる例を示した。しかし、IcamにとIvolを、どの程度用いるかは、ピクセル情報またはボクセル情報が有するα値を変更することにより、自由に決定され得る。 In the specific examples 1 and 2 described above, when the extended image I aug is generated, an example in which the method of using I vol is different from I cam is shown. However, how much I cam and I vol are used can be freely determined by changing the α value of pixel information or voxel information.

(具体例3)
具体例3において、具体例1と同様に、二次元画像格納部101に二次元画像Icamが格納され、三次元画像格納部102に三次元画像Ivolが格納されている。そして、Icamに深さ情報が付加された深さ情報付き二次元画像が深さ情報付き二次元画像格納部103に格納されている。
(Specific example 3)
In the third specific example, as in the first specific example, the two-dimensional image I cam is stored in the two-dimensional image storage unit 101, and the three-dimensional image I vol is stored in the three-dimensional image storage unit 102. A two-dimensional image with depth information in which depth information is added to I cam is stored in the two-dimensional image storage unit 103 with depth information.

そして、今、ユーザの指示により、出力部112が二次元画像Icamを出力した、とする。次に、ユーザは、図14に示すように、出力されているIcamの中の球の箇所に入力手段(例えば、マウス)のポインタを持って行き、指示した、とする。すると、受付部104は、連続領域指示を受け付ける。ここで、連続領域指示は、球全体を指示したこととなる。 Now, it is assumed that the output unit 112 has output the two-dimensional image I cam in accordance with a user instruction. Next, as shown in FIG. 14, it is assumed that the user brings the pointer of the input means (for example, mouse) to the location of the sphere in the output I cam and gives an instruction. Then, the reception unit 104 receives a continuous area instruction. Here, the continuous area instruction indicates the entire sphere.

次に、指示ボクセル情報決定部109は、指示された点の座標値(x1,y1)を取得する。   Next, the instruction voxel information determination unit 109 acquires the coordinate value (x1, y1) of the instructed point.

次に、指示ボクセル情報決定部109は、取得した座標値(x1,y1)と同一の平面座標(x1,y1)を有するすべてのボクセル情報を、三次元画像Ivolから取得する。 Next, the instruction voxel information determination unit 109 acquires all voxel information having the same plane coordinates (x1, y1) as the acquired coordinate values (x1, y1) from the three-dimensional image I vol .

次に、指示ボクセル情報決定部109は、取得したすべてのボクセル情報の中で、透明ではなく、最も手前のボクセル情報である基準ボクセル情報を取得する。   Next, the instruction voxel information determination unit 109 acquires reference voxel information which is not transparent but is the foremost voxel information among all the acquired voxel information.

次に、指示ボクセル情報決定部109は、基準ボクセル情報の色情報(col1)を取得する。   Next, the instruction voxel information determination unit 109 acquires color information (col1) of the reference voxel information.

次に、指示ボクセル情報決定部109は、基準ボクセル情報に隣接するすべてのボクセル情報をIvolから取得する。 Next, the instruction voxel information determination unit 109 acquires all voxel information adjacent to the reference voxel information from I vol .

次に、指示ボクセル情報決定部109は、基準ボクセル情報の色情報(col1)と、隣接する各ボクセル情報の色情報(col2)とを比較し、2つの色情報の差異が閾値以内であるか否か(|col1−col2|<X(Xは予め決められている))を判断する。そして、条件「|col1−col2|<X」を満たすボクセル情報を、指示ボクセル情報として決定する。   Next, the instruction voxel information determination unit 109 compares the color information (col1) of the reference voxel information with the color information (col2) of each adjacent voxel information, and whether the difference between the two color information is within a threshold value. Whether or not (| col1-col2 | <X (X is determined in advance)) is determined. Then, the voxel information that satisfies the condition “| col1-col2 | <X” is determined as the instruction voxel information.

次に、各指示ボクセル情報を基準ボクセル情報として、上記の処理を再帰的に繰り返す。そして、指示ボクセル情報決定部109は、球を構成するすべてのボクセル情報を得る。   Next, the above processing is recursively repeated using each instruction voxel information as reference voxel information. Then, the instruction voxel information determination unit 109 obtains all the voxel information constituting the sphere.

次に、三次元画像処理部110は、例えば、指示ボクセル情報決定部109が得たすべてのボクセル情報のα値を1にし、それ以外のボクセル情報のα値を0に設定する。そして、三次元画像処理部110は、図15に示す処理後三次元画像I'volを得る。なお、図15のI'volの破線は、実際は見えない。 Next, for example, the 3D image processing unit 110 sets the α values of all the voxel information obtained by the instruction voxel information determination unit 109 to 1 and sets the α values of other voxel information to 0. Then, the 3D image processing unit 110 obtains a processed 3D image I ′ vol shown in FIG. In addition, the broken line of I ′ vol in FIG. 15 is not actually visible.

次に、具体例1、2と同様に、拡張像生成部111は、処理後三次元画像I'volと、深さ情報付き二次元画像または処理後深さ情報付き二次元画像とを重ね合わせ、拡張像Iaugを生成する。なお、処理後深さ情報付き二次元画像は、どのような処理を行っていても良い。 Next, similarly to the specific examples 1 and 2, the extended image generation unit 111 superimposes the processed 3D image I ′ vol and the 2D image with depth information or the 2D image with processed depth information. The extended image I aug is generated. The two-dimensional image with post-processing depth information may be subjected to any processing.

(具体例4)
今、二次元画像格納部101には、内視鏡で人間の体内を撮影した二次元画像(図16)が格納されている。そして、この二次元画像と位置合わせをされた三次元画像(図17)が三次元画像格納部102に格納されている。なお、三次元画像は、人間に対してMRIを用いて取得された画像である。また、三次元画像には、ユーザにより入力された切削予定箇所1701が存在している。また、深さ情報付き二次元画像格納部103には、二次元画像(図16)に深さ情報が付与された深さ情報付き二次元画像が格納されている、とする。
(Specific example 4)
Now, the two-dimensional image storage unit 101 stores a two-dimensional image (FIG. 16) obtained by photographing the human body with an endoscope. A three-dimensional image (FIG. 17) aligned with the two-dimensional image is stored in the three-dimensional image storage unit 102. Note that a three-dimensional image is an image obtained by using MRI for a human. In the three-dimensional image, there is a scheduled cutting location 1701 input by the user. In addition, it is assumed that the two-dimensional image with depth information is stored in the two-dimensional image storage unit 103 with depth information in which the depth information is added to the two-dimensional image (FIG. 16).

かかる状況において、ユーザが第三の拡張像取得指示を入力した、とする。すると、受付部104は、第三の拡張像取得指示を受け付ける。なお、ここでの第三の拡張像取得指示は、深さ情報付き二次元画像のα値をα1(定数)、三次元画像のα値をα2(定数)に設定し、処理後深さ情報付き二次元画像I'cam(α値「α1」の深さ情報付き二次元画像)に、処理後三次元画像I'vol(α値「α2」の三次元画像)の投影像を貼り付けてレンダリングして、拡張像を取得する指示である、とする。 In this situation, it is assumed that the user inputs a third extended image acquisition instruction. Then, the reception unit 104 receives a third extended image acquisition instruction. Note that the third extended image acquisition instruction here is that the α value of the two-dimensional image with depth information is set to α1 (constant) and the α value of the three-dimensional image is set to α2 (constant). A projection image of the processed three-dimensional image I ′ vol (a three-dimensional image with an α value “α2”) is pasted on the two-dimensional image I ′ cam (a two-dimensional image with depth information with an α value “α1”) It is assumed that the instruction is for rendering and obtaining an extended image.

次に、深さ情報付き二次元画像処理部108は、深さ情報付き二次元画像のすべてのピクセル情報のα値をα1に設定し、処理後深さ情報付き二次元画像I'camを得る。また、三次元画像処理部110は、三次元画像のすべてのボクセル情報のα値をα2に設定し、処理後三次元画像I'volを得る。 Next, the two-dimensional image processing unit with depth information 108 sets the α value of all the pixel information of the two-dimensional image with depth information to α1, and obtains a processed two-dimensional image I ′ cam with depth information. . Also, the 3D image processing unit 110 sets the α value of all voxel information of the 3D image to α2, and obtains a processed 3D image I ′ vol .

次に、拡張像生成部111は、I'camとI'volとを重ね合わせ、拡張像Iaugを生成する。そして、出力部112は、拡張像Iaugを出力する。かかるIaugの出力例は、図18である。 Next, the extended image generation unit 111 superimposes I ′ cam and I ′ vol to generate an extended image I aug . Then, the output unit 112 outputs the extended image I aug . An output example of such I aug is shown in FIG.

以上、本実施の形態によれば、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる。   As described above, according to the present embodiment, a necessary image can be obtained by effectively using a two-dimensional image and a three-dimensional image of the same object.

また、本実施の形態によれば、画像が有する点の深さ情報を用いて、二次元画像と三次元画像とを効果的に重ね合わせた画像を得ることができる。   Further, according to the present embodiment, it is possible to obtain an image in which a two-dimensional image and a three-dimensional image are effectively superimposed using the depth information of the points of the image.

また、本実施の形態における画像処理装置1を手術支援システムに用いれば、例えば、内視鏡映像への切削予定箇所や周辺の血管・神経などの肉眼で直接見えない情報の重ね合わせが可能となり、効果的な手術支援が行える。   In addition, if the image processing apparatus 1 according to the present embodiment is used in a surgery support system, for example, it is possible to superimpose information that is not directly visible to the naked eye, such as a planned cutting position and surrounding blood vessels and nerves, on an endoscopic image. Effective surgical support.

なお、本実施の形態によれば、画像処理装置1は、二次元画像格納部101、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報取得部105、深さ情報付き二次元画像取得部106、深さ情報付き二次元画像蓄積部107、深さ情報付き二次元画像処理部108、指示ボクセル情報決定部109、三次元画像処理部110、拡張像生成部111、および出力部112を具備した。しかし、画像処理装置1は、上記構成のうちの一部の構成を省略しても良い。例えば、図19に示すように、画像処理装置1は、三次元画像格納部102、深さ情報付き二次元画像格納部103、受付部104、深さ情報付き二次元画像処理部108、拡張像生成部111、および出力部112だけでも良い。   Note that according to the present embodiment, the image processing apparatus 1 includes a two-dimensional image storage unit 101, a three-dimensional image storage unit 102, a two-dimensional image storage unit 103 with depth information, a reception unit 104, and a depth information acquisition unit. 105, depth information-added two-dimensional image acquisition unit 106, depth information-added two-dimensional image storage unit 107, depth information-added two-dimensional image processing unit 108, instruction voxel information determination unit 109, three-dimensional image processing unit 110, extension An image generation unit 111 and an output unit 112 are provided. However, the image processing apparatus 1 may omit some of the above configurations. For example, as illustrated in FIG. 19, the image processing apparatus 1 includes a three-dimensional image storage unit 102, a two-dimensional image storage unit 103 with depth information, a reception unit 104, a two-dimensional image processing unit with depth information 108, and an extended image. Only the generation unit 111 and the output unit 112 may be used.

さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成され深さ情報付き二次元画像とを格納しており、前記記憶媒体を具備したコンピュータを、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、前記拡張像を出力する出力部として機能させるためのプログラム、である。   Furthermore, the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded and distributed on a recording medium such as a CD-ROM. This also applies to other embodiments in this specification. Note that the software that implements the information processing apparatus according to the present embodiment is the following program. That is, this program stores image data of one or more three-dimensional objects in a storage medium, position information that is information indicating a position, color information that is information about a color, and a depth from a reference point. A three-dimensional image composed of a plurality of voxel information, which is point information having depth information, and an image obtained by photographing the one or more three-dimensional objects, and aligned with the three-dimensional image. A two-dimensional image with depth information composed of a plurality of pixel information, which is point information having position information, color information, and depth information, and a computer having the storage medium A depth information-added two-dimensional image processing unit that performs first image processing on the two-dimensional image with depth information using depth information and acquires a two-dimensional image with processed depth information. And 2 with depth information after processing. An extended image generation unit that generates an extended image by superimposing the original image and the processed 3D image obtained by performing second image processing on the 3D image or the 3D image, and outputs the extended image A program for functioning as an output unit.

また、上記プログラムにおいて、前記記憶媒体に、さらに、前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納しており、前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、前記深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部として、コンピュータを、さらに機能させるプログラムであることは好適である。   Further, in the above program, the storage medium is an image obtained by photographing the one or more three-dimensional objects, is an image aligned with the three-dimensional image, and includes position information and color information. A two-dimensional image composed of a plurality of pieces of pixel information, which is information about points, is stored, and a plurality of voxel information included in the three-dimensional image, from information on a plurality of points having the same position information on a plane. A depth information acquisition unit for acquiring depth information included in voxel information, which is color information that is not transparent and the depth information is closest to the reference position, for each position information on a plane; Each depth information acquired by the depth information acquisition unit for each piece of position information on a plane is a plurality of pieces of pixel information included in the two-dimensional image, and each pixel having the same position information on the plane. The computer further functions as a two-dimensional image acquisition unit with depth information for acquiring a two-dimensional image with depth information composed of two or more pieces of pixel information having position information, color information, and depth information. It is preferable that the program is to be executed.

また、上記プログラムにおいて、前記深さ情報付き二次元画像処理部は、前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。   In the above program, the two-dimensional image processing unit with depth information may have at least two or more different color information for the two-dimensional image with depth information depending on a difference in depth information of pixel information. It is also preferable that the program is a program that causes a computer to function as one that performs first image processing for setting different opacity information and obtains a post-processing depth information-added two-dimensional image.

また、上記プログラムにおいて、前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部として、コンピュータを、さらに機能させるプログラムであることは好適である。   In the above program, the second image processing for setting at least two or more different color information and / or different opacity information according to the difference in depth information of the voxel information for the three-dimensional image. It is preferable that the program is a program that further functions a computer as a three-dimensional image processing unit that performs and acquires a processed three-dimensional image.

また、上記プログラムにおいて、出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、前記指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部として、コンピュータを、さらに機能させるプログラムであって、前記三次元画像処理部は、前記指示ボクセル情報決定部が決定した2以上のボクセル情報、または当該2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得するものとしてコンピュータを機能させるプログラムであることは好適である。   Further, in the above program, a reception unit that receives an instruction for one or more points of the output two-dimensional image, two-dimensional image with depth information, or extended image, and one or more points corresponding to the instruction A program for causing a computer to further function as an instruction voxel information determination unit that determines two or more consecutive voxel information using color information included in the voxel information, wherein the three-dimensional image processing unit includes the instruction voxel Second image processing is performed for setting different color information and / or different opacity information to two or more voxel information determined by the information determination unit, or voxel information other than the two or more voxel information. It is preferable that the program is a program that causes a computer to function as a device for acquiring a later three-dimensional image.

また、図20は、本明細書で述べたプログラムを実行して、上述した実施の形態の画像処理装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図20は、このコンピュータシステム340の概観図であり、図21は、コンピュータシステム340のブロック図である。   FIG. 20 shows the external appearance of a computer that executes the program described in this specification to realize the image processing apparatus or the like according to the above-described embodiment. The above-described embodiments can be realized by computer hardware and a computer program executed thereon. FIG. 20 is an overview of the computer system 340, and FIG. 21 is a block diagram of the computer system 340.

図20において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。   In FIG. 20, a computer system 340 includes a computer 341 including an FD drive and a CD-ROM drive, a keyboard 342, a mouse 343, and a monitor 344.

図21において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。   In FIG. 21, in addition to the FD drive 3411 and the CD-ROM drive 3412, the computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program. A RAM 3416 for temporarily storing application program instructions and providing a temporary storage space; and a hard disk 3417 for storing application programs, system programs, and data. Although not shown here, the computer 341 may further include a network card that provides connection to the LAN.

コンピュータシステム340に、上述した実施の形態の画像処理装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。   A program that causes the computer system 340 to execute the functions of the image processing apparatus and the like of the above-described embodiment is stored in the CD-ROM 3501 or the FD 3502, inserted into the CD-ROM drive 3412 or the FD drive 3411, and further the hard disk 3417. May be transferred to. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. The program is loaded into the RAM 3416 at the time of execution. The program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.

プログラムは、コンピュータ341に、上述した実施の形態の画像処理装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。   The program does not necessarily include an operating system (OS) or a third-party program that causes the computer 341 to execute the functions of the image processing apparatus according to the above-described embodiment. The program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。   Further, the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.

また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。   In each of the above embodiments, each process (each function) may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。   The present invention is not limited to the above-described embodiments, and various modifications are possible, and it goes without saying that these are also included in the scope of the present invention.

以上のように、本発明にかかる画像処理装置は、同一の対象物の二次元画像と三次元画像とを効果的に用いて、必要な画像を得ることができる、という効果を有し、手術支援システム等として有用である。   As described above, the image processing apparatus according to the present invention has an effect that a necessary image can be obtained by effectively using a two-dimensional image and a three-dimensional image of the same object, and surgery. It is useful as a support system.

1 画像処理装置
101 二次元画像格納部
102 三次元画像格納部
103 深さ情報付き二次元画像格納部
104 受付部
105 情報取得部
106 深さ情報付き二次元画像取得部
107 深さ情報付き二次元画像蓄積部
108 深さ情報付き二次元画像処理部
109 指示ボクセル情報決定部
110 三次元画像処理部
111 拡張像生成部
112 出力部
DESCRIPTION OF SYMBOLS 1 Image processing apparatus 101 Two-dimensional image storage part 102 Three-dimensional image storage part 103 Two-dimensional image storage part with depth information 104 Reception part 105 Information acquisition part 106 Two-dimensional image acquisition part with depth information 107 Two-dimensional with depth information Image storage unit 108 Two-dimensional image processing unit with depth information 109 Instruction voxel information determination unit 110 Three-dimensional image processing unit 111 Extended image generation unit 112 Output unit

Claims (9)

1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像を格納し得る三次元画像格納部と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像を格納し得る深さ情報付き二次元画像格納部と、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部とを具備する画像処理装置。
Information of a point that is image data of one or more three-dimensional objects and includes position information that is information indicating a position, color information that is information about a color, and depth information that indicates a depth from a reference point A three-dimensional image storage unit capable of storing a three-dimensional image composed of a plurality of voxel information,
A plurality of pixels that are images of the one or more three-dimensional objects, are images that are aligned with the three-dimensional image, and are point information having position information, color information, and depth information A two-dimensional image storage unit with depth information capable of storing a two-dimensional image with depth information composed of information;
For the two-dimensional image with depth information, using the depth information, the first image processing is performed, and the two-dimensional image processing unit with depth information for obtaining a post-processing depth information-added two-dimensional image;
Extended image generation for generating a two-dimensional image with post-processing depth information and a post-processing three-dimensional image obtained by performing a second image processing on the three-dimensional image or an extended image obtained by superimposing the three-dimensional image And
An image processing apparatus comprising: an output unit that outputs the extended image.
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報とを有する点の情報である複数のピクセル情報から構成される二次元画像を格納し得る二次元画像格納部と、
前記三次元画像が有する複数のボクセル情報において、平面上の同一の位置情報を有する複数の点の情報から、透明ではない色情報を有し、かつ深さ情報が基準位置から最も手前を示す情報であるボクセル情報が有する深さ情報を、平面上の位置情報ごとに取得する深さ情報取得部と、
前記深さ情報取得部が平面上の位置情報ごとに取得した2以上の各深さ情報を、前記二次元画像が有する複数の各ピクセル情報であり、前記平面上の位置情報が一致する各ピクセル情報に付加し、位置情報と色情報と深さ情報とを有する2以上のピクセル情報からなる深さ情報付き二次元画像を取得する深さ情報付き二次元画像取得部とをさらに具備し、
前記深さ情報付き二次元画像格納部の深さ情報付き二次元画像は、前記深さ情報付き二次元画像取得部が取得した深さ情報付き二次元画像である請求項1記載の画像処理装置。
It is an image obtained by photographing the one or more three-dimensional objects, is an image aligned with the three-dimensional image, and includes a plurality of pixel information that is point information having position information and color information. A two-dimensional image storage unit capable of storing a two-dimensional image,
In the plurality of voxel information that the three-dimensional image has, information that has color information that is not transparent from the information of a plurality of points that have the same position information on a plane, and that depth information is closest to the reference position A depth information acquisition unit that acquires the depth information included in the voxel information for each position information on the plane;
Each depth information acquired by the depth information acquisition unit for each piece of position information on a plane is a plurality of pieces of pixel information included in the two-dimensional image, and each pixel having the same position information on the plane. A depth information-added two-dimensional image acquisition unit that acquires a two-dimensional image with depth information composed of two or more pieces of pixel information having position information, color information, and depth information in addition to the information;
The image processing apparatus according to claim 1, wherein the two-dimensional image with depth information of the two-dimensional image storage unit with depth information is a two-dimensional image with depth information acquired by the two-dimensional image acquisition unit with depth information. .
前記深さ情報付き二次元画像処理部は、
前記深さ情報付き二次元画像に対して、ピクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する請求項1または請求項2記載の画像処理装置。
The two-dimensional image processing unit with depth information is
First image processing for setting at least two or more different color information and / or different opacity information is performed on the two-dimensional image with depth information according to the difference in depth information of pixel information, The image processing apparatus according to claim 1, wherein a two-dimensional image with post-processing depth information is acquired.
前記三次元画像に対して、ボクセル情報が有する深さ情報の違いに応じて、少なくとも2以上の異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する三次元画像処理部をさらに具備する請求項1から請求項3いずれか記載の画像処理装置。 Second image processing is performed on the three-dimensional image to set at least two or more different color information and / or different opacity information according to the difference in depth information included in the voxel information. The image processing apparatus according to claim 1, further comprising a three-dimensional image processing unit that acquires an image. 出力されている二次元画像または深さ情報付き二次元画像または拡張像のうちの1以上の点に対する指示を受け付ける受付部と、
前記指示に対応する1以上の点に対応するボクセル情報が有する色情報を用いて、連続する2以上のボクセル情報を決定する指示ボクセル情報決定部をさらに具備し、
前記三次元画像処理部は、
前記指示ボクセル情報決定部が決定した2以上のボクセル情報、または当該2以上のボクセル情報以外のボクセル情報に、他とは異なる色情報または/および異なる不透明度情報を設定する第二の画像処理を行い、処理後三次元画像を取得する請求項4記載の画像処理装置。
A reception unit that receives an instruction for one or more points of the output two-dimensional image, the two-dimensional image with depth information, or the extended image;
An instruction voxel information determination unit that determines two or more consecutive voxel information using color information of voxel information corresponding to one or more points corresponding to the instruction;
The three-dimensional image processing unit
Second image processing for setting different color information and / or different opacity information to two or more voxel information determined by the instruction voxel information determination unit or voxel information other than the two or more voxel information. The image processing apparatus according to claim 4, wherein the three-dimensional image is obtained after processing.
前記三次元画像は、
1以上の3次元の物体のボリュームテクスチャである3Dボクセル情報である請求項1から請求項5いずれか記載の画像処理装置。
The three-dimensional image is
6. The image processing apparatus according to claim 1, wherein the image processing apparatus is 3D voxel information that is a volume texture of one or more three-dimensional objects.
前記三次元画像は、
1以上の三次元の物体のボリュームテクスチャである3Dボクセル情報を複数の平面で切り出した結果の二次元の画像データに基づいて構成される情報であるスライス情報であり、位置情報と色情報と深さ情報とを有する複数の点の情報から構成される複数のスライス情報を有するスライス情報群からなる請求項1から請求項5いずれか記載の画像処理装置。
The three-dimensional image is
Slice information that is information configured based on two-dimensional image data obtained by cutting out 3D voxel information, which is a volume texture of one or more three-dimensional objects, in a plurality of planes, and includes position information, color information, depth The image processing apparatus according to claim 1, further comprising a slice information group having a plurality of pieces of slice information composed of information on a plurality of points having height information.
記憶媒体に、
1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
深さ情報付き二次元画像処理部、拡張像生成部、および出力部により実現され得る画像処理方法であって、
前記深さ情報付き二次元画像処理部が、前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理ステップと、
前記拡張像生成部が、前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成ステップと、
前記出力部が、前記拡張像を出力する出力ステップとを具備する画像処理方法。
In the storage medium,
Information of a point that is image data of one or more three-dimensional objects and includes position information that is information indicating a position, color information that is information about a color, and depth information that indicates a depth from a reference point A three-dimensional image composed of a plurality of voxel information,
A plurality of pixels that are images of the one or more three-dimensional objects, are images that are aligned with the three-dimensional image, and are point information having position information, color information, and depth information It stores a two-dimensional image with depth information composed of information,
An image processing method that can be realized by a two-dimensional image processing unit with depth information, an extended image generation unit, and an output unit,
The two-dimensional image processing unit with depth information performs first image processing on the two-dimensional image with depth information using the depth information, and obtains a post-processing two-dimensional image with depth information Two-dimensional image processing step with depth information to perform,
The extended image generation unit superimposes the processed 2D image with depth information and the processed 3D image obtained by performing second image processing on the 3D image or the 3D image. An extended image generation step for generating an image;
An image processing method, wherein the output unit includes an output step of outputting the extended image.
記憶媒体に、
1以上の三次元の物体の画像データであり、位置を示す情報である位置情報と、色についての情報である色情報と、基準点からの深さを示す深さ情報とを有する点の情報である複数のボクセル情報から構成される三次元画像と、
前記1以上の三次元の物体を撮影した画像であり、前記三次元画像と位置合わせがされている画像であり、位置情報と色情報と深さ情報とを有する点の情報である複数のピクセル情報から構成される深さ情報付き二次元画像とを格納しており、
前記記憶媒体を具備したコンピュータを、
前記深さ情報付き二次元画像に対して、深さ情報を用いて、第一の画像処理を行い、処理後深さ情報付き二次元画像を取得する深さ情報付き二次元画像処理部と、
前記処理後深さ情報付き二次元画像と、前記三次元画像に対して第二の画像処理を施した処理後三次元画像または前記三次元画像とを重ね合わせた拡張像を生成する拡張像生成部と、
前記拡張像を出力する出力部として機能させるためのプログラム。
In the storage medium,
Information of a point that is image data of one or more three-dimensional objects and includes position information that is information indicating a position, color information that is information about a color, and depth information that indicates a depth from a reference point A three-dimensional image composed of a plurality of voxel information,
A plurality of pixels that are images of the one or more three-dimensional objects, are images that are aligned with the three-dimensional image, and are point information having position information, color information, and depth information It stores a two-dimensional image with depth information composed of information,
A computer comprising the storage medium,
For the two-dimensional image with depth information, using the depth information, the first image processing is performed, and the two-dimensional image processing unit with depth information for obtaining a post-processing depth information-added two-dimensional image;
Extended image generation for generating a two-dimensional image with post-processing depth information and a post-processing three-dimensional image obtained by performing a second image processing on the three-dimensional image or an extended image obtained by superimposing the three-dimensional image And
A program for functioning as an output unit for outputting the extended image.
JP2011182615A 2011-08-24 2011-08-24 Image processing apparatus, image processing method, and program Active JP5808004B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011182615A JP5808004B2 (en) 2011-08-24 2011-08-24 Image processing apparatus, image processing method, and program
PCT/JP2012/071213 WO2013027773A1 (en) 2011-08-24 2012-08-22 Image processing device, image processing method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011182615A JP5808004B2 (en) 2011-08-24 2011-08-24 Image processing apparatus, image processing method, and program

Publications (2)

Publication Number Publication Date
JP2013045284A true JP2013045284A (en) 2013-03-04
JP5808004B2 JP5808004B2 (en) 2015-11-10

Family

ID=47746511

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011182615A Active JP5808004B2 (en) 2011-08-24 2011-08-24 Image processing apparatus, image processing method, and program

Country Status (2)

Country Link
JP (1) JP5808004B2 (en)
WO (1) WO2013027773A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179350A1 (en) * 2016-04-11 2017-10-19 富士フイルム株式会社 Device, method and program for controlling image display
JP2017221684A (en) * 2017-07-24 2017-12-21 キヤノン株式会社 Image processing device and method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9747680B2 (en) 2013-11-27 2017-08-29 Industrial Technology Research Institute Inspection apparatus, method, and computer program product for machine vision inspection
JP6816442B2 (en) * 2016-10-19 2021-01-20 富士ゼロックス株式会社 Data processing equipment, 3D modeling system and programs

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3683977B2 (en) * 1996-03-22 2005-08-17 株式会社東芝 Medical diagnostic imaging equipment
JP2000051202A (en) * 1998-08-14 2000-02-22 Ge Yokogawa Medical Systems Ltd Image displaying method and image displaying device
JP2002238887A (en) * 2001-02-19 2002-08-27 National Cancer Center-Japan Virtual endoscope
JP5030335B2 (en) * 2001-03-06 2012-09-19 オリンパス株式会社 Medical image display device
JP2006061274A (en) * 2004-08-25 2006-03-09 Konica Minolta Medical & Graphic Inc Program and endoscope system
JP2006320427A (en) * 2005-05-17 2006-11-30 Hitachi Medical Corp Endoscopic operation support system
JP4989262B2 (en) * 2007-03-15 2012-08-01 株式会社日立メディコ Medical diagnostic imaging equipment

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017179350A1 (en) * 2016-04-11 2017-10-19 富士フイルム株式会社 Device, method and program for controlling image display
JPWO2017179350A1 (en) * 2016-04-11 2019-03-07 富士フイルム株式会社 Image display control apparatus and method, and program
US10740642B2 (en) 2016-04-11 2020-08-11 Fujifilm Corporation Image display control device, method, and program
JP2017221684A (en) * 2017-07-24 2017-12-21 キヤノン株式会社 Image processing device and method thereof

Also Published As

Publication number Publication date
WO2013027773A1 (en) 2013-02-28
JP5808004B2 (en) 2015-11-10

Similar Documents

Publication Publication Date Title
US10692272B2 (en) System and method for removing voxel image data from being rendered according to a cutting region
US20170109934A1 (en) Augmented reality providing system and method, information processing device, and program
US9679415B2 (en) Image synthesis method and image synthesis apparatus
JP2006055213A (en) Image processor and program
JP5492024B2 (en) Region division result correction apparatus, method, and program
JP4885042B2 (en) Image processing method, apparatus, and program
JP6215057B2 (en) Visualization device, visualization program, and visualization method
JP5808004B2 (en) Image processing apparatus, image processing method, and program
JP2020173529A (en) Information processing device, information processing method, and program
US20220343589A1 (en) System and method for image processing
JP2022058753A (en) Information processing apparatus, information processing method, and program
JP5595207B2 (en) Medical image display device
WO2009122724A1 (en) Image processing device and method, and program
JP2006000127A (en) Image processing method, apparatus and program
JP2014524810A (en) Method and system for rendering
US11000252B2 (en) Device for visualizing a 3D object
US9585569B2 (en) Virtual endoscopic projection image generating device, method and program
JP2008067915A (en) Medical picture display
KR100466409B1 (en) System and method for displaying a virtual endoscopy and computer-readable recording medium having virtual endoscopy displaying program recorded thereon
JP5065740B2 (en) Image processing method, apparatus, and program
US9218104B2 (en) Image processing device, image processing method, and computer program product
JP6632361B2 (en) Image processing apparatus, image processing system, image processing method, and program.
JP2006055402A (en) Device, method, and program for image processing
JP6035057B2 (en) 3D image display apparatus and 3D image display method
EP4258221A2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150904

R150 Certificate of patent or registration of utility model

Ref document number: 5808004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250