JP2009199089A - 内視鏡装置 - Google Patents
内視鏡装置 Download PDFInfo
- Publication number
- JP2009199089A JP2009199089A JP2009102371A JP2009102371A JP2009199089A JP 2009199089 A JP2009199089 A JP 2009199089A JP 2009102371 A JP2009102371 A JP 2009102371A JP 2009102371 A JP2009102371 A JP 2009102371A JP 2009199089 A JP2009199089 A JP 2009199089A
- Authority
- JP
- Japan
- Prior art keywords
- point
- cross
- image
- section information
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】ステレオ計測を行うためのコンピュータと、内視鏡とを備える内視鏡装置であって、コンピュータは、モニタ30の画面上に表示させた基準画像50上で、観察対象の切断位置を特定する切断基準線53を指定し、切断基準線53上の点に対応する基準画像50上の点を注目点として、この注目点に対応する参照画像51上の対応点を探索する。基準画像50上の注目点の位置と、参照画像51上の対応点の位置とから、切断基準線53上の各注目点に写像される空間上の点の3次元座標から断面情報を得て、その値を基に断面情報を出力する。すると、モニタ30の画面には、基準画像50上に表示される切断基準53線に対する断面形状外形線図57aが表示される。
【選択図】図9
Description
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の3次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示する。
図1に示すように本実施形態の計測を行うための内視鏡装置1は、観察対象部位の観察像を後述する撮像素子上に結像させる撮像部を内視鏡に備えた電子内視鏡2(以下内視鏡と記載する)と、この内視鏡2によって得られた観察像の画像信号に画像処理を施し、この画像処理した画像データを基に各種計測を行うための演算処理部を有する計測装置3とで主に構成されている。
例えば内視鏡2の挿入部20をパイプ管内に挿入し腐食部や傷の観察を開始する。
まず、断面情報について説明する。この断面情報については以下の4通りの表示方法がある。
断面情報を図8に示す断面形状外形線57aとして表示するものであり、図中縦軸は基準線分54或いは基準線53の切断面56への正射影、横軸は光軸58の切断面56への正射影であり、この場合に断面形状外形線図が直線的に得られる。
図10に示すように前記基準画像50を撮像する光学系の前記光学中心Lを原点とし、前記観察対象表面52に向かって水平方向右向きをx軸、垂直方向上向きをy軸、奥行き方向をz軸に取ったカメラ座標系を形成し、図11(a)に示す(x−z)平面又は図11(b)に示す(y−z)平面に投影して断面形状外形線57b,57cを表示する。この表示においては、通常の図面で用いられているものと同じ投影方法を選択できるので、図面における投影方法に慣れ親しんだ観察者にとっては形状把握を容易に行えるという利点がある。なお、用途によって任意の座標軸、任意の投影面を設定するようにしてもよい。
図12に示すように実空間内に内視鏡2からの視点とは別の視点を新たに設定し、その設定した別視点から見た断面形状外形線57dを表示する。図中に示す円筒形状図は内視鏡2の空間上配置位置を参考として示すものである。また、視点の位置を3次元的に示す画像を別画面で同時に表示させることもできる。この表示方法では、視点を順次移動させて見え方の変化を追うことで、観察対象の3次元形状を直感的に把握できる。
図8、図13に示すように基準線分54或いは基準線54上の点Dを、観察対象4の表面上に写像した点D1 と、点A、Bの実空間への写像点である点A1 、B1 を結んだ直線A1 B1 上に写像した点D2 との距離を、補正基準画像50上で基準線分54に対して垂直方向に表す。点Dを基準線分54或いは基準線53上のすべての点とすることで、断面形状外形線57eを表示する。なお、この表示方法においても前記(1)での説明と同様、凹凸を知る手掛かりとして、視線の方向を示す矢印Cを表示する。なお、手掛かりとして断面外形線57eに線分D1 D2 の長さに応じた色をつけるようにも設定してもよい。 この表示方法では、奥行き差が非常に大きい画像においても結果をコンパクトに表示することができる。
対応点の探索は、すべて計測用補正画像上で行う。対応点の探索は、テンプレートマッチング或いはウィンドウマッチングとして知られ、注目点の周囲にある点の情報を助けに対応点を探索するアルゴリズムを用いる。
以下、複数画像間での対応付けのあいまいさを減らす工夫を説明する。
図16及び図17のフローチャートに示すようにステップS301に示すように基準線53上に並んでいる全注目点の並び順序を求める。この順序は、基準画像を撮像する光学系の光学中心と、参照画像を撮像する光学系の光学中心とを結ぶ直線である基線と直行し、撮像面と平行な軸へ射影した場合にも本来変化しない。そして、これは基準画像50の画像中心Oに対応するエピポーラライン61に直行する参照画像51上の軸62へ射影した場合と同値である。
まず、前記ステップS106に示した注目点抽出の範囲を注目点に隣接する画素にまで広げる。つまり、図18のステップS401に示すように基準線53上の注目点とその周りの8点の合計9点について対応付けを行う。
前記ステップS107において、補正基準画像50のある注目点の対応点を補正参照画像51でとった後、図19のステップS501に示すように、その対応を取った点ついて前記図14で示したフローチャートにしたがって、逆に補正参照画像51から補正基準画像50への逆対応点をとっていく。
対応付けの結果で決まる補正参照画像51上の対応点のエピポーララインからのずれは、一定の傾向をもつはずである。このことを利用して、図20のステップS601に示すように全ての対応点についてのずれ量を求める。そして、ステップS602に示すように求めたずれ量を統計処理し、ステップS603に示すようにこの処理結果からずれの傾向を求めるとともにずれ量を許容する閾値を決める。
対応付けは、注目点の周囲に濃度変化があるところでは取り易く、濃度変化のないところでは取り難い。したがって、濃度変化のあるところだけを注目点に選ぶことによって、対応付けのあいまいさを少なくできる。
このため、図21のステップS701に示すように注目点で微分フィルタをかけて濃度変化の値を求める。
注目点がオクルージョン領域に隣接している場合には、注目点の周りに設定する探索用の領域内にオクルージョン領域が入ってしまうことにより対応付けがあいまいになる。そこで、注目点が探索領域の縁部に位置するようにした小さな領域を併用して探索を行い、一番高い対応度を出した領域による結果をその候補点の対応度とする。小さな領域の例としては図22の点線に示す境界線の右側に示すような領域であり、図中黒丸印が注目点を示す。そして、境界線の左側に示す領域は通常設定される領域である。
(1)指定された基準点71を通り、モニタ30の画面水平方向に対して平行な図23に示す直線72。
(2)指定された基準点71を通り、モニタ30の画面垂直方向に対して平行な図23に示す直線73。
(3)指定された基準点71を通り、モニタ30の画面水平方向及び画面垂直方向に対して平行な図23に示す直線72,73。
(4)指定された基準点71を通り、前記2直線72,73に対してそれぞれ任意の角度で交わる図24に示す直線74。
41,42…対物レンズ系 50…基準画像 51…参照画像
53…切断基準線 57a…断面形状外形線
Claims (5)
- 観察対象を複数の視点から撮像する撮像部と、この撮像部によって得られる複数の視点における画像の1つを基準画像、残りの画像を参照画像としてステレオ計測を行うための演算処理部とを有する内視鏡装置であって、
前記演算処理部が前記基準画像を画面上に表示させる画像表示手段と、
前記画面に表示された画像上で、前記観察対象の切断位置を特定する切断基準線を指定する切断基準線指定手段と、
この切断基準線上の点に対応する前記基準画像上の点を注目点とし、この注目点に対応する前記参照画像上の対応点を探索する対応点探索手段と、
前記基準画像上における注目点の位置と、前記対応点探索手段で求めた前記参照画像上の対応点の位置とから、前記切断基準線上の各注目点に写像される空間上の点の3次元座標である、前記切断位置における前記観察対象の断面情報を得る断面情報演算手段と、
この断面情報演算手段で得られた値を基に断面情報を出力する断面情報出力手段と、を具備し、
前記断面情報出力手段は、前記画面の前記基準画像上に表示される前記切断基準線に基づく前記断面情報を、当該画面上に断面形状外形線図として表示することを特徴とする内視鏡装置。 - 前記断面情報出力手段は、前記観察対象の表面に写像した第1点と、前記切断基準線上に写像した第2点との距離を求め、その距離に対応する点を前記基準画像上で前記切断基準線に対して垂直方向に配列して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項1に記載の内視鏡。
- 前記断面情報出力手段は、前記撮像部の視点とは異なる別の視点を設定し、前記別視点から見て得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項1に記載の内視鏡。
- 前記断面情報出力手段は、設定したカメラ座標系の任意の投影面に投影して得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項1に記載の内視鏡装置基準画像。
- 前記断面情報出力手段は、前記切断基準線の切断面への正射影を縦軸、前記光軸の切断面への正射影を横軸にして得られる断面形状外形線図を前記画面上に表示することを特徴とする請求項1に記載の内視鏡装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102371A JP4750197B2 (ja) | 2009-04-20 | 2009-04-20 | 内視鏡装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009102371A JP4750197B2 (ja) | 2009-04-20 | 2009-04-20 | 内視鏡装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24758899A Division JP4343341B2 (ja) | 1999-09-01 | 1999-09-01 | 内視鏡装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009199089A true JP2009199089A (ja) | 2009-09-03 |
JP2009199089A5 JP2009199089A5 (ja) | 2010-01-07 |
JP4750197B2 JP4750197B2 (ja) | 2011-08-17 |
Family
ID=41142558
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009102371A Expired - Lifetime JP4750197B2 (ja) | 2009-04-20 | 2009-04-20 | 内視鏡装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4750197B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013003753A (ja) * | 2011-06-15 | 2013-01-07 | Nec System Technologies Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
US8913110B2 (en) | 2010-03-09 | 2014-12-16 | Olympus Corporation | Endoscope apparatus and measurement method |
US10102643B2 (en) | 2013-10-17 | 2018-10-16 | Olympus Corporation | Endoscope apparatus and inspection method using endoscope |
CN110989886A (zh) * | 2019-11-29 | 2020-04-10 | 广州海格星航信息科技有限公司 | 基于空间地图的三维空间网格选取方法及装置 |
-
2009
- 2009-04-20 JP JP2009102371A patent/JP4750197B2/ja not_active Expired - Lifetime
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8913110B2 (en) | 2010-03-09 | 2014-12-16 | Olympus Corporation | Endoscope apparatus and measurement method |
JP2013003753A (ja) * | 2011-06-15 | 2013-01-07 | Nec System Technologies Ltd | 画像処理装置、画像処理方法および画像処理プログラム |
US10102643B2 (en) | 2013-10-17 | 2018-10-16 | Olympus Corporation | Endoscope apparatus and inspection method using endoscope |
CN110989886A (zh) * | 2019-11-29 | 2020-04-10 | 广州海格星航信息科技有限公司 | 基于空间地图的三维空间网格选取方法及装置 |
CN110989886B (zh) * | 2019-11-29 | 2022-05-27 | 广州海格星航信息科技有限公司 | 基于空间地图的三维空间网格选取方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP4750197B2 (ja) | 2011-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4343341B2 (ja) | 内視鏡装置 | |
US7443488B2 (en) | Endoscope apparatus, method of operating the endoscope apparatus, and program to be executed to implement the method | |
US9066086B2 (en) | Methods for generating stereoscopic views from monoscopic endoscope images and systems using the same | |
US20160295194A1 (en) | Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images | |
WO2017199285A1 (ja) | 画像処理装置及び画像処理方法 | |
US11540706B2 (en) | Method of using a manually-operated light plane generating module to make accurate measurements of the dimensions of an object seen in an image taken by an endoscopic camera | |
JP5113990B2 (ja) | 計測用内視鏡装置 | |
US8764635B2 (en) | Endoscope apparatus | |
JP4750197B2 (ja) | 内視鏡装置 | |
CN109091099A (zh) | 双目视觉的高清微型电子内窥镜系统 | |
JP6210483B2 (ja) | 立体内視鏡画像からの3次元形状取得装置 | |
EP3875900A1 (en) | Ranging camera | |
JP6081209B2 (ja) | 内視鏡装置およびプログラム | |
US10912444B2 (en) | Image processing apparatus, image processing method, and endoscope | |
JP6789899B2 (ja) | 計測装置および計測装置の作動方法 | |
JP5976436B2 (ja) | 内視鏡装置およびプログラム | |
CN113925441B (zh) | 一种基于内窥镜的成像方法及成像系统 | |
JP6806633B2 (ja) | 計測装置および計測装置の作動方法 | |
JP2014064657A (ja) | 立体内視鏡装置 | |
JP6426215B2 (ja) | 内視鏡装置およびプログラム | |
WO2022190366A1 (ja) | 内視鏡用形状計測システムおよび内視鏡用形状計測方法 | |
JP2016186662A (ja) | 内視鏡装置およびプログラム | |
Sasaki et al. | Absolute length measurement using manually decided stereo correspondence for endoscopy | |
JP2014103975A (ja) | 計測内視鏡装置 | |
JP2013074393A (ja) | 画像表示装置、画像表示システム、画像表示方法、及び画像表示プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110510 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110518 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4750197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |