JP2019098005A - Endoscope image processing program, endoscope system, and endoscope image processing method - Google Patents
Endoscope image processing program, endoscope system, and endoscope image processing method Download PDFInfo
- Publication number
- JP2019098005A JP2019098005A JP2017234034A JP2017234034A JP2019098005A JP 2019098005 A JP2019098005 A JP 2019098005A JP 2017234034 A JP2017234034 A JP 2017234034A JP 2017234034 A JP2017234034 A JP 2017234034A JP 2019098005 A JP2019098005 A JP 2019098005A
- Authority
- JP
- Japan
- Prior art keywords
- information
- dimensional model
- image information
- target tissue
- observation target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 9
- 238000010276 construction Methods 0.000 claims abstract description 25
- 238000009499 grossing Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 210000000056 organ Anatomy 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法に関する。 The present invention relates to an endoscope image processing program, an endoscope system, and an endoscope image processing method.
内視鏡映像から管腔臓器の内腔形状を推定し、コンピュータ画面上にCG（コンピュータ・グラフィック）として表示することが、実現されている。 It has been realized to estimate the lumen shape of a luminal organ from an endoscopic image and display it as CG (computer graphic) on a computer screen.
特許文献１には、左目用画像と右目用画像のそれぞれに対応する光を結像する左目用光学系１０１と右目用光学系１０２を備えると共に、これらの光学系を通して得られる２系統の光が単一の受光面に分かれて結像されるCMOSセンサ１１０を備える内視鏡スコープ２０１を備える三次元内視鏡装置が記載されている。 Patent Document 1 includes an optical system 101 for the left eye and an optical system 102 for the right eye that image light corresponding to each of the image for the left eye and the image for the right eye, and two systems of light obtained through these optical systems A three-dimensional endoscopic device is described which comprises an endoscopic scope 201 comprising a CMOS sensor 110 which is imaged separately on a single light receiving surface.
従来の内視鏡画像処理技術においては、生成された三次元（３Ｄ）モデルの視認性や整容性に課題があった。 In the conventional endoscopic image processing technology, there are problems in the visibility and the manageability of the generated three-dimensional (3D) model.
本発明は、上記課題を解決しようとするものであり、内視鏡観察対象組織の三次元モデルを表示する場合に、表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理方法および内視鏡システムを提供することを目的とするものである。 The present invention is intended to solve the above-mentioned problems, and when displaying a three-dimensional model of an endoscope observation target tissue, an endoscopic image in which the visibility and the manageability of the three-dimensional model to be displayed are improved. It is an object of the present invention to provide a processing method and an endoscope system.
上記課題を解決するために、本発明の一つの観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。 In order to solve the above problems, according to one aspect of the present invention, an endoscopic image processing program is used to obtain an endoscopic image acquisition step of acquiring image information in an observation target tissue by an endoscope using a computer. A luminance information calculation step of calculating information on the luminance of each area of the image information in the observation target tissue acquired at the endoscopic image acquisition step; and information on the luminance of each area calculated at the luminance information calculation step. Image information in the observation target tissue acquired in the reliability image calculation step of calculating information on the reliability of image information in each region, image information in the observation target tissue acquired in the endoscopic image information acquisition step, and image information of each region calculated in the reliability calculation step In the 3D model construction step of constructing a 3D model in the observation target tissue based on the information on the reliability, and the 3D model construction step A three-dimensional model display step of displaying the three-dimensional model constructed Ri, was assumed to be running.
また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。 Further, according to another aspect of the present invention, an endoscopic image processing program is executed by a computer, an endoscopic image acquiring step of acquiring image information in an observation target tissue by an endoscope, and an endoscopic image acquisition The image information for each area is calculated based on the information on the luminance for each area calculated in the luminance information calculation step, and the information on the luminance for each area calculated in the luminance information calculation step. Based on the reliability calculation step of calculating information on reliability, the image information in the observation target tissue acquired in the endoscopic image information acquisition step, and the information on the reliability of the image information in each region calculated in the reliability calculation step A three-dimensional model constructing step of constructing a three-dimensional model in the observation target tissue not displaying the unreliable region, and the three-dimensional model structure A three-dimensional model display step of displaying the three-dimensional model constructed in step was assumed to be running.
また、本発明の他の観点によれば、内視鏡画像処理プログラムを、コンピューターに、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、輝度情報算出ステップにより算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、を実行させるものとした。 Further, according to another aspect of the present invention, an endoscopic image processing program is executed by a computer, an endoscopic image acquiring step of acquiring image information in an observation target tissue by an endoscope, and an endoscopic image acquisition The image information for each area is calculated based on the information on the luminance for each area calculated in the luminance information calculation step, and the information on the luminance for each area calculated in the luminance information calculation step. Based on the reliability calculation step of calculating information on reliability, the image information in the observation target tissue acquired in the endoscopic image information acquisition step, and the information on the reliability of the image information in each region calculated in the reliability calculation step 3D model construction step of constructing a 3D model in the observation target tissue in which unreliable regions are smoothed; 3D model construction A three-dimensional model display step of displaying the three-dimensional model constructed by-up, was assumed to be running.
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡カメラにより取得された観察対象組織内の画像情報及び信頼性算出部により算出された領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。 Further, according to another aspect of the present invention, an endoscope system includes: an endoscope camera for acquiring image information in an observation target tissue; and a region of image information in the observation target tissue acquired by the endoscope camera A reliability information calculation unit that calculates information related to each luminance, and a reliability calculation unit that calculates information related to the reliability of image information of each region based on the information related to the luminance of each region calculated by the luminance information calculation unit; A three-dimensional model for constructing a three-dimensional model in the observation target tissue based on the image information in the observation target tissue acquired by the endoscope camera and the information on the reliability of the image information for each area calculated by the reliability calculation unit A construction unit and a three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit are provided.
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を有するものとした。 Further, according to another aspect of the present invention, an endoscope system includes: an endoscope camera for acquiring image information in an observation target tissue; and a region of image information in the observation target tissue acquired by the endoscope camera A reliability information calculation unit that calculates information related to each luminance, and a reliability calculation unit that calculates information related to the reliability of image information of each region based on the information related to the luminance of each region calculated by the luminance information calculation unit; An observation target tissue in which low reliability regions are smoothed based on the image information in the observation target tissue acquired by the endoscope image information acquisition unit and the information on the reliability of the image information for each region calculated by the reliability calculation unit And a three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit.
また、本発明の他の観点によれば、内視鏡システムを、観察対象組織内の画像情報を取得する内視鏡カメラと、内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び信頼性算出部により算出した領域毎の画像情報の信頼性に関する情報に基づき、信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、を備えるものとした。 Further, according to another aspect of the present invention, an endoscope system includes: an endoscope camera for acquiring image information in an observation target tissue; and a region of image information in the observation target tissue acquired by the endoscope camera A reliability calculation unit that calculates information related to the reliability of image information for each area based on the information related to the luminance for each area, and a endoscopic image information acquisition unit Based on the image information in the observation target tissue acquired by the image and the information on the reliability of the image information in each region calculated by the reliability calculation unit, a three-dimensional model in the observation target tissue is constructed by smoothing the low reliability region. And a three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit.
また、本発明の他の観点によれば、内視鏡画像処理方法を、内視鏡により観察対象組織内の画像情報を取得する内視鏡画像取得ステップと、内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、領域毎の輝度に関する情報に基づいて、領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び信頼性算出ステップにより算出した領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップとと、を有するものとした。 Further, according to another aspect of the present invention, an endoscope image processing method is obtained by an endoscope image acquisition step of acquiring image information in an observation target tissue by an endoscope, and an endoscope image acquisition step. The reliability information calculation step of calculating the information on the reliability of the image information for each area based on the information on the luminance information calculation step of calculating the information on the luminance for each area of the image information in the observation target tissue Construct a three-dimensional model in the observation target tissue based on the information on the reliability of the step and the image information in the observation target tissue acquired in the endoscopic image information acquisition step and the image information in each area calculated in the reliability calculation step And a three-dimensional model display step for displaying a three-dimensional model constructed by the three-dimensional model construction step. .
本発明によれば、診断者又は術者に表示する三次元モデルの視認性、整容性を向上させた内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法を提供することができる。 According to the present invention, it is possible to provide an endoscope image processing program, an endoscope system and an endoscope image processing method in which the visibility and the manageability of the three-dimensional model displayed to the diagnostician or the operator are improved. it can.
以下、本発明の実施形態の例及び実施例を説明するが、本発明の実施形態は以下に説明する実施形態及び実施例に限定されるものではない。 Hereinafter, examples and embodiments of the present invention will be described, but the embodiments of the present invention are not limited to the embodiments and examples described below.
１．信頼性の低い部分の非表示
従来技術によって生成されるモデルを構成する制御点は、入力となった内視鏡映像のどのフレームのどの点あるいは領域の情報によって構成されたか、対応関係が保存されている。
1. Hide unreliable parts The control points that make up the model generated by the prior art store the correspondences by which point or area information of which frame of the input endoscopic video image. ing.
この対応関係に基づいて、元の入力データの信頼性の低い部分は、推定結果としてのモデル形状の信頼性も低いので、この部分を表示すると、診断者又は術者に対象組織の構造に誤解が生じ、又は正確な構造を把握するのに時間がかかる恐れがある。したがって、CGの基本的な技術であるアルファブレンド等を用いて、対応する領域を非表示にし、表示された臓器形態の信頼性を担保する。 Since the unreliable part of the original input data and the unreliable part of the model shape as the estimation result are also low based on this correspondence, displaying this part misinterprets the diagnosis or the operator as the structure of the target tissue. May occur, or it may take time to grasp an accurate structure. Therefore, the corresponding region is hidden using the alpha blend etc. which is the basic technology of CG, and the reliability of the displayed organ form is secured.
２．表示モデルの平滑化
従来技術の形状推定法においては、内視鏡映像と同期して内視鏡先端の位置姿勢情報を取得することが前提となっている。
2. Smoothing of Display Model In the shape estimation method of the prior art, it is premised to acquire position / posture information of the tip of the endoscope in synchronization with the endoscopic image.
この位置情報の経時的ローパスフィルタ（例えば、中央値フィルタと移動平均フィルタの組み合わせ）を適用することにより、形状推定結果の整容性を向上することが可能である。 By applying a temporal low-pass filter (for example, a combination of a median filter and a moving average filter) of this position information, it is possible to improve the formability of the shape estimation result.
また、CGとしてモデルを出力する前段にも、メッシュデータの平滑化処理を適用することで、形状推定結果の整容性を向上することが可能である。 Also, by applying the smoothing process of the mesh data to the front stage of outputting the model as CG, it is possible to improve the distort of the shape estimation result.
本実施例の画像処理手順を図１に示す。 The image processing procedure of this embodiment is shown in FIG.
１０１はパノラマ画像生成ステップである。本ステップでは、内視鏡画像の選別を行う。内視鏡画像全体の平均輝度を計算し、平均輝度が0.9以上及び0.1以下の領域は、信頼性が低い部分（Low quality）と判断する。MotionのQuality termに100.0(ExplicitLowQualityValue)を代入する。 Reference numeral 101 denotes a panoramic image generation step. In this step, endoscopic images are selected. The average luminance of the entire endoscopic image is calculated, and a region having an average luminance of 0.9 or more and 0.1 or less is determined to be a low reliability portion (Low quality). Substitute 100.0 (ExplicitLowQualityValue) for the Quality term of Motion.
１０２は、頂点データ生成ステップである。本ステップでは、Alpha cut値の指定を行う、すわなち、ExplicitLowQualityValueの条件下で、当該ピクセルを強制的に透過させる。 102 is a vertex data generation step. In this step, the Alpha cut value is specified, that is, the pixel is forcibly transmitted under the condition of ExplicitLowQualityValue.
また、位置姿勢データを平滑化させる。すなわち、pos、dir、upそれぞれに対し、window size = 5のメディアンフィルタ１回と移動平均フィルタを２回施行する。 Also, the position and orientation data is smoothed. That is, for each of pos, dir, and up, one median filter with window size = 5 and the moving average filter are enforced twice.
さらに、Surfaceデータを平滑化する。すなわち、8近傍の平滑化フィルタを１回施行する。 Furthermore, the surface data is smoothed. That is, the smoothing filter in the vicinity of 8 is applied once.
１０３は、レンダリングステップである。本ステップでは、部分形状レンダリングの条件を設定する。具体的には、MotionのLowQuality flagの３点以上継続しない部分について、レンダリングを実行する。 103 is a rendering step. In this step, conditions for partial shape rendering are set. Specifically, rendering is performed on a portion that does not continue three or more points of the LowQuality flag of Motion.
図２に示す形状のファントムに、図２に示す１、２、３の順序で内視鏡を操作して撮影した場合の二次元映像を取得した。 In the phantom of the shape shown in FIG. 2, the two-dimensional image at the time of operating and imaging an endoscope in order of 1, 2, 3 shown in FIG. 2 was acquired.
取得した二次元画像に基づいて三次元モデルを構築したものを図３に示す。図３の３０１は、位置センサ情報にノイズが生じている領域であり、実際のファントムの形状とは異なる表示がされている。３０２は、内視鏡の弾性による急峻な移動や、壁面に当たることによりハレーションが生じてる部分であり、この部分は実際には組織が存在しない領域に、組織が存在するものとして表示されている。 What built the three-dimensional model based on the acquired two-dimensional image is shown in FIG. Reference numeral 301 in FIG. 3 denotes an area where noise is generated in the position sensor information, and a display different from the actual shape of the phantom is displayed. Reference numeral 302 denotes a portion where abrupt movement due to the elasticity of the endoscope or halation occurs by hitting a wall surface, and this portion is displayed as tissue existing in a region where tissue does not actually exist.
図４は、本実施例の情報処理を施して構築した三次元モデルを表示したものである。図３で誤って表示されていた３０１の領域は、４０１では平滑化され、現実の組織に近い形状で表示されている。また、図３で、組織が存在しない領域に表示されていた３０２の部分は、信頼性が低い部分と判断され、４０２では非表示とされている。 FIG. 4 shows a three-dimensional model constructed by applying the information processing of this embodiment. The area 301 displayed erroneously in FIG. 3 is smoothed in 401 and displayed in a shape close to a real tissue. Further, in FIG. 3, the portion 302 displayed in the region where no tissue exists is determined to be a portion with low reliability, and is not displayed in 402.
以上、本実施例によって三次元画像を表示すれば、診断者又は術者の観察対象組織の構造に関する誤解が低減されることが確認できた。 As described above, it has been confirmed that the misunderstanding about the structure of the observation target tissue of the diagnostician or the operator is reduced if the three-dimensional image is displayed according to the present embodiment.
本発明は、内視鏡画像処理プログラム、内視鏡システム及び内視鏡画像処理方法として産業上利用可能である。 The present invention is industrially applicable as an endoscope image processing program, an endoscope system, and an endoscope image processing method.
１０１ パノラマ画像生成ステップ
１０２ 頂点データ生成ステップ
１０３ レンダリングステップ
３０１ 位置センサ情報のノイズが生じている領域
３０２ ハレーションが生じている領域
４０１ 平滑化した領域
４０２ 非表示とした領域
101 Panoramic image generation step 102 Vertex data generation step 103 Rendering step 301 Area 302 where noise of position sensor information has occurred Area where halation occurs 401 area that has been smoothed 402 area not displayed
Claims (7)
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。 An endoscopic image acquisition step of acquiring image information in the observation target tissue by an endoscope using a computer;
A luminance information calculating step of calculating information on the luminance of each area of the image information in the observation target tissue acquired in the endoscopic image acquiring step;
A reliability calculation step of calculating information related to reliability of image information of each area based on the information related to luminance of the area calculated by the luminance information calculation step;
Construct a three-dimensional model in the observation target tissue based on the image information in the observation target tissue acquired in the endoscopic image information acquisition step and the information on the reliability of the image information for each area calculated in the reliability calculation step 3D model construction step
A three-dimensional model display step for displaying a three-dimensional model constructed by the three-dimensional model construction step;
An endoscopic image processing program for executing.
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を表示しない観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。 An endoscopic image acquisition step of acquiring image information in the observation target tissue by an endoscope using a computer;
A luminance information calculating step of calculating information on the luminance of each area of the image information in the observation target tissue acquired in the endoscopic image acquiring step;
A reliability calculation step of calculating information related to reliability of image information of each area based on the information related to luminance of the area calculated by the luminance information calculation step;
The low reliability area is not displayed based on the image information in the observation target tissue acquired in the endoscopic image information acquisition step and the information on the reliability of the image information for each area calculated in the reliability calculation step. A three-dimensional model construction step of constructing a three-dimensional model in the observation target tissue;
A three-dimensional model display step for displaying a three-dimensional model constructed by the three-dimensional model construction step;
An endoscopic image processing program for executing.
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記輝度情報算出ステップにより算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を実行させるための内視鏡画像処理プログラム。 An endoscopic image acquisition step of acquiring image information in the observation target tissue by an endoscope using a computer;
A luminance information calculating step of calculating information on the luminance of each area of the image information in the observation target tissue acquired in the endoscopic image acquiring step;
A reliability calculation step of calculating information related to reliability of image information of each area based on the information related to luminance of the area calculated by the luminance information calculation step;
The low reliability area is smoothed based on the image information in the observation target tissue acquired in the endoscopic image information acquisition step and the information on the reliability of the image information for each area calculated in the reliability calculation step. A three-dimensional model construction step of constructing a three-dimensional model in the observation target tissue;
A three-dimensional model display step for displaying a three-dimensional model constructed by the three-dimensional model construction step;
An endoscopic image processing program for executing.
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記輝度情報算出部により算出した領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡カメラにより取得された観察対象組織内の画像情報及び前記信頼性算出部により算出された前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を備える内視鏡システム。 An endoscopic camera for acquiring image information in an observation target tissue;
A luminance information calculation unit that calculates information related to the luminance of each area of the image information in the observation target tissue acquired by the endoscope camera;
A reliability calculation unit that calculates information related to the reliability of image information for each area based on the information related to the luminance for each area calculated by the luminance information calculation unit;
A three-dimensional model in the observation target tissue is constructed based on the information on the reliability of the image information in the observation target tissue acquired by the endoscope camera and the image information of each area calculated by the reliability calculation unit. Three-dimensional model construction unit,
A three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit;
An endoscope system comprising:
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記輝度情報算出部により算出した前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を有する内視鏡システム。 An endoscopic camera for acquiring image information in an observation target tissue;
A luminance information calculation unit that calculates information related to the luminance of each area of the image information in the observation target tissue acquired by the endoscope camera;
A reliability calculation unit that calculates information related to the reliability of image information for each area based on the information related to the luminance for each area calculated by the luminance information calculation unit;
The low reliability area is smoothed based on the image information in the observation target tissue acquired by the endoscopic image information acquisition section and the information on the reliability of the image information for each area calculated by the reliability calculation section. A three-dimensional model construction unit that constructs a three-dimensional model in the observation target tissue;
A three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit;
Endoscope system having.
前記内視鏡カメラにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出部と、
前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出部と、
前記内視鏡画像情報取得部により取得した観察対象組織内の画像情報及び前記信頼性算出部により算出した前記領域毎の画像情報の信頼性に関する情報に基づき、前記信頼性の低い領域を平滑化した観察対象組織内の三次元モデルを構築する三次元モデル構築部と、
前記三次元モデル構築部により構築した三次元モデルを表示する三次元モデル表示部と、
を備える内視鏡システム。 An endoscopic camera for acquiring image information in an observation target tissue;
A luminance information calculation unit that calculates information related to the luminance of each area of the image information in the observation target tissue acquired by the endoscope camera;
A reliability calculation unit that calculates information related to the reliability of the image information for each area based on the information related to the luminance for each area;
The low reliability area is smoothed based on the image information in the observation target tissue acquired by the endoscopic image information acquisition section and the information on the reliability of the image information for each area calculated by the reliability calculation section. A three-dimensional model construction unit that constructs a three-dimensional model in the observation target tissue;
A three-dimensional model display unit for displaying a three-dimensional model constructed by the three-dimensional model construction unit;
An endoscope system comprising:
前記内視鏡画像取得ステップにより取得した観察対象組織内の画像情報の領域毎の輝度に関する情報を算出する輝度情報算出ステップと、
前記領域毎の輝度に関する情報に基づいて、前記領域毎の画像情報の信頼性に関する情報を算出する信頼性算出ステップと、
前記内視鏡画像情報取得ステップにより取得した観察対象組織内の画像情報及び前記信頼性算出ステップにより算出した前記領域毎の画像情報の信頼性に関する情報に基づき観察対象組織内の三次元モデルを構築する三次元モデル構築ステップと、
前記三次元モデル構築ステップにより構築した三次元モデルを表示する三次元モデル表示ステップと、
を有する内視鏡画像処理方法。 An endoscopic image acquisition step of acquiring image information in an observation target tissue by an endoscope;
A luminance information calculating step of calculating information on the luminance of each area of the image information in the observation target tissue acquired in the endoscopic image acquiring step;
A reliability calculation step of calculating information related to reliability of image information for each area based on the information related to luminance for each area;
Construct a three-dimensional model in the observation target tissue based on the image information in the observation target tissue acquired in the endoscopic image information acquisition step and the information on the reliability of the image information for each area calculated in the reliability calculation step 3D model construction step
A three-dimensional model display step for displaying a three-dimensional model constructed by the three-dimensional model construction step;
And an endoscopic image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017234034A JP2019098005A (en) | 2017-12-06 | 2017-12-06 | Endoscope image processing program, endoscope system, and endoscope image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017234034A JP2019098005A (en) | 2017-12-06 | 2017-12-06 | Endoscope image processing program, endoscope system, and endoscope image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2019098005A true JP2019098005A (en) | 2019-06-24 |
Family
ID=66974855
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017234034A Pending JP2019098005A (en) | 2017-12-06 | 2017-12-06 | Endoscope image processing program, endoscope system, and endoscope image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2019098005A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021149137A1 (en) * | 2020-01-21 | 2021-07-29 | オリンパス株式会社 | Image processing device, image processing method, and program |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000254129A (en) * | 1999-03-11 | 2000-09-19 | Olympus Optical Co Ltd | Ultrasonograph and ultrasonographic diagnostic method |
| JP2004187711A (en) * | 2002-12-06 | 2004-07-08 | Olympus Corp | Endoscopic equipment |
| JP2007244517A (en) * | 2006-03-14 | 2007-09-27 | Olympus Medical Systems Corp | Medical image processor and medical image processing method |
| JP2012011137A (en) * | 2010-07-05 | 2012-01-19 | Olympus Corp | Image processing apparatus, image processing method, and image processing program |
| JP2014144034A (en) * | 2013-01-28 | 2014-08-14 | Olympus Corp | Image processing apparatus, endoscope device, image processing method and image processing program |
| WO2017057330A1 (en) * | 2015-09-28 | 2017-04-06 | オリンパス株式会社 | Endoscope system and image processing method |
| WO2018230098A1 (en) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | Endoscope system, and method for operating endoscope system |
-
2017
- 2017-12-06 JP JP2017234034A patent/JP2019098005A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000254129A (en) * | 1999-03-11 | 2000-09-19 | Olympus Optical Co Ltd | Ultrasonograph and ultrasonographic diagnostic method |
| JP2004187711A (en) * | 2002-12-06 | 2004-07-08 | Olympus Corp | Endoscopic equipment |
| JP2007244517A (en) * | 2006-03-14 | 2007-09-27 | Olympus Medical Systems Corp | Medical image processor and medical image processing method |
| JP2012011137A (en) * | 2010-07-05 | 2012-01-19 | Olympus Corp | Image processing apparatus, image processing method, and image processing program |
| JP2014144034A (en) * | 2013-01-28 | 2014-08-14 | Olympus Corp | Image processing apparatus, endoscope device, image processing method and image processing program |
| WO2017057330A1 (en) * | 2015-09-28 | 2017-04-06 | オリンパス株式会社 | Endoscope system and image processing method |
| WO2018230098A1 (en) * | 2017-06-15 | 2018-12-20 | オリンパス株式会社 | Endoscope system, and method for operating endoscope system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021149137A1 (en) * | 2020-01-21 | 2021-07-29 | オリンパス株式会社 | Image processing device, image processing method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017145788A1 (en) | Image processing device, image processing method, program, and surgery system | |
| JP6173751B2 (en) | Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing program | |
| JP5818857B2 (en) | Information processing apparatus and control method thereof | |
| JP6222807B2 (en) | Medical image processing apparatus, X-ray diagnostic apparatus, and medical image processing program | |
| JP6254053B2 (en) | Endoscopic image diagnosis support apparatus, system and program, and operation method of endoscopic image diagnosis support apparatus | |
| JP2013235537A (en) | Image creation device, image creation program and recording medium | |
| JPWO2014136576A1 (en) | Endoscope system | |
| JP6478136B1 (en) | Endoscope system and operation method of endoscope system | |
| CN108778143B (en) | Computing device for overlaying laparoscopic images with ultrasound images | |
| JP2015173856A (en) | Image processing apparatus and program | |
| JP2011206435A (en) | Imaging device, imaging method, imaging program and endoscope | |
| JP2007014474A (en) | Image processing method | |
| US9367904B2 (en) | Spatial-temporal warping of different pre-captured medical images | |
| JP2013106870A (en) | Medical image processing apparatus | |
| JP2022516472A (en) | Occurrence of synthetic 3D imaging from a partial depth map | |
| US20180279883A1 (en) | Apparatus and method for augmented visualization employing X-ray and optical data | |
| JP7385731B2 (en) | Endoscope system, image processing device operating method, and endoscope | |
| US11432707B2 (en) | Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion | |
| JP5624336B2 (en) | Medical image processing apparatus and medical image processing program | |
| JP5170993B2 (en) | Image processing apparatus and medical diagnostic apparatus including the image processing apparatus | |
| WO2021171464A1 (en) | Processing device, endoscope system, and captured image processing method | |
| JP2019098005A (en) | Endoscope image processing program, endoscope system, and endoscope image processing method | |
| JP5808004B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4487077B2 (en) | 3D display method using video images continuously acquired by a single imaging device | |
| JP5908241B2 (en) | Medical image display device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201104 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20210916 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210917 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211028 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220318 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220510 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221014 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230209 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230519 |