JP2008061659A - Imaging device - Google Patents
Imaging device Download PDFInfo
- Publication number
- JP2008061659A JP2008061659A JP2006239472A JP2006239472A JP2008061659A JP 2008061659 A JP2008061659 A JP 2008061659A JP 2006239472 A JP2006239472 A JP 2006239472A JP 2006239472 A JP2006239472 A JP 2006239472A JP 2008061659 A JP2008061659 A JP 2008061659A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point
- coordinates
- irradiation
- laser light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Endoscopes (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、内視鏡等に適用される撮像装置に関する。 The present invention relates to an imaging apparatus applied to an endoscope or the like.
医療用内視鏡においては、被観察部の画像から病変部の実際の大きさ、あるいは形状を得ることは医療手段の決定の判断材料として非常に重要である。しかしながら、通常、内視鏡の構成上、レンズによる歪みが発生して撮像された画像が歪み、またレンズから被観察部までの高精度な距離情報が得られないため、正確な大きさや形状が分からなかった。そのため、内視鏡の操作者や医師等は経験を元に表示された画像からその大きさや形状を推定していた。 In a medical endoscope, obtaining an actual size or shape of a lesion from an image of a portion to be observed is very important as a judgment material for determining medical means. However, normally, because of the distortion of the lens, the captured image is distorted due to the configuration of the endoscope, and accurate distance information from the lens to the observed part cannot be obtained. did not understand. For this reason, endoscope operators, doctors, and the like have estimated their sizes and shapes from images displayed based on experience.
被観察部の大きさや形状を正確に表示するため、例えば、下記の特許文献1では、レンズの像面湾曲特性を利用し、被観察部の凹凸等の形状に対応してピント合わせを行なうことを行っている。これにより、凹凸形状の高低情報を得ることができる。また、下記の特許文献2には、画像における所定の点からのスケール表示(同心円状、直行スケール等)を行うことができる点が記載されている。
しかしながら、特許文献1に記載された技術では、取得された画像が歪んでいるため、正確な形状は表示されない。また、特許文献2に記載された技術では、焦点距離に基づいてスケール表示がなされているので、必ずしも正確なスケールとなっているとはいえない。
However, in the technique described in
本発明は、以上の問題点を解決するためになされたものであり、より正確に被観察部の大きさ及び形状を表示することができる撮像装置を提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object of the present invention is to provide an imaging apparatus capable of displaying the size and shape of the observed portion more accurately.
上記目的を達成するために、本発明に係る撮像装置は、レンズを有し当該レンズを介して被観察部の画像を撮像する撮像手段と、被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、予め記憶したレンズの歪曲特性を示す情報に基づき、撮像手段により撮像された画像のレンズによる歪みを補正する補正手段と、補正手段により補正された画像における、レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、検出手段により検出された座標、及びレーザ光の照射条件から、レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、三次元座標導出手段により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正手段により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、補正手段により補正された画像の情報、及び所定点導出手段により導出された当該画像上の所定の位置関係の点の座標を示す情報を出力する出力手段と、を備えることを特徴とする。 In order to achieve the above object, an imaging apparatus according to the present invention has a lens and irradiates laser light to a plurality of points on the observed portion with imaging means for capturing an image of the observed portion via the lens. Laser light irradiation means, correction means for correcting distortion caused by the lens of the image captured by the imaging means based on information indicating the distortion characteristics of the lens stored in advance, and laser light irradiation means in the image corrected by the correction means From the detection means for detecting the coordinates of each irradiation point of the laser light emitted by the laser beam, the coordinates detected by the detection means, and the irradiation conditions of the laser light, each irradiation point of the laser light emitted by the laser light irradiation means 3D coordinate deriving means for deriving 3D coordinates, and 3D coordinates of points having a predetermined positional relationship between the irradiation points are derived from the 3D coordinates derived by the 3D coordinate deriving means. A predetermined point deriving unit for deriving the coordinates of the predetermined positional relationship point on the image corrected by the correcting unit from the three-dimensional coordinates, and information on the image corrected by the correcting unit, and the predetermined point deriving unit Output means for outputting information indicating the coordinates of the derived point of the predetermined positional relationship on the image.
本発明に係る撮像装置では、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明に係る撮像装置では、レンズの歪みを補正した画像から、レーザ光の各照射点が検出される。当該検出されたレーザ光の各照射点から、各照射点の三次元座標が導出されて、更に各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。この点の座標は、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができる。これにより、本発明に係る撮像装置によれば、より正確に被観察部の大きさを表示することができる。 In the imaging apparatus according to the present invention, distortion caused by the lens is removed from the captured image, so that a more accurate shape can be displayed. In the imaging apparatus according to the present invention, each irradiation point of the laser light is detected from an image in which lens distortion is corrected. From the detected irradiation points of the laser light, three-dimensional coordinates of the irradiation points are derived, and further, coordinates on the corrected image of points having a predetermined positional relationship between the irradiation points are derived. The coordinates of this point can be used as information indicating the size of the observed part based on the three-dimensional coordinates of the laser light irradiation point, mainly as the coordinates of the scale. Thereby, according to the imaging device concerning the present invention, the size of a part to be observed can be displayed more correctly.
出力手段は、所定点導出手段により導出された当該画像に、所定の位置関係の点の座標の位置に目盛りを重畳して、当該目盛りが重畳された画像を出力することが望ましい。この構成によれば、目盛りが重畳された画像が表示されるので、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。 It is desirable that the output means superimposes a scale on the coordinate position of a point having a predetermined positional relationship on the image derived by the predetermined point deriving means, and outputs an image in which the scale is superimposed. According to this configuration, since the image on which the scale is superimposed is displayed, it is possible to reliably perform image display so that the size of the observed portion can be accurately understood.
検出手段は、補正手段により補正された画像における、予め設定された所定の範囲を探索することにより、座標を検出することが望ましい。この構成によれば、効率的に照射点の検出を行うことができ、結果として本発明に係る撮像装置における処理を効率的に行うことができる。 It is desirable that the detection unit detects the coordinates by searching a predetermined range in the image corrected by the correction unit. According to this configuration, the irradiation point can be detected efficiently, and as a result, the processing in the imaging apparatus according to the present invention can be performed efficiently.
所定点導出手段は、所定の位置関係の点を移動させる旨の情報の入力を受け付けて、当該入力に応じて所定の位置関係の点を移動させることが望ましい。この構成によれば、例えば目盛りを所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。 Desirably, the predetermined point deriving means receives an input of information indicating that a point having a predetermined positional relationship is to be moved, and moves the point having a predetermined positional relationship in accordance with the input. According to this configuration, for example, the scale can be moved to a desired location, and the size of the observed portion can be recognized more easily.
撮像手段は、内視鏡に含まれて構成されることが望ましい。この構成によれば、本発明の医療分野への応用をより容易に行うことができる。 The imaging means is preferably configured to be included in the endoscope. According to this structure, the application to the medical field of this invention can be performed more easily.
本発明によれば、撮像された画像からレンズによる歪みが除去されるので、より正確な形状を表示することができる。また、本発明では、複数のレーザ光の各照射点の間の所定の位置関係の点の補正された画像上の座標が導出される。これにより、本発明によれば、レーザ光の照射点の三次元座標に基づいた被観察部の大きさを示す情報、主として目盛りの座標として用いることができるので、より正確に被観察部の大きさを表示することができる。 According to the present invention, distortion caused by a lens is removed from a captured image, so that a more accurate shape can be displayed. Further, in the present invention, the corrected coordinates on the image of the points having a predetermined positional relationship between the irradiation points of the plurality of laser beams are derived. As a result, according to the present invention, information indicating the size of the observed portion based on the three-dimensional coordinates of the laser light irradiation point, mainly used as the coordinates of the scale, can be used more accurately. Can be displayed.
以下、図面と共に本発明に係る撮像装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明のものと必ずしも一致していない。 Hereinafter, preferred embodiments of an imaging apparatus according to the present invention will be described in detail with reference to the drawings. In the description of the drawings, the same elements are denoted by the same reference numerals, and redundant description is omitted. Further, the dimensional ratios in the drawings do not necessarily match those described.
図1に本実施形態に係る撮像装置1を示す。撮像装置1は、人体等の生体内部の被観察部を撮像し、撮像した画像を表示する装置である。即ち、本実施形態に係る撮像装置1は、内視鏡に本発明を適用したものである。図1に示すように、撮像装置1は、生体に差し込まれて撮像を行うための内視鏡10と、内視鏡10の先端から照射されるビーム光を供給する光源20と、内視鏡10により撮像された画像を処理する情報処理装置30と、画像を表示するモニタ40とを備えて構成される。
FIG. 1 shows an
内視鏡10は、生体内に挿入できるように細長い形状をしており、その先端部10aに生体内部の被観察部を撮像するための撮像手段である撮像部11を備えている。撮像部11は、具体的には、内視鏡10の先端部10aに被観察部に向くように位置決めして設けられたレンズ12と、レンズ12の決像位置に設けられたCCD(Charge Coupled Device Image Sensor)イメージセンサ等の撮像素子13とを含んで構成される。撮像部11により撮像された画像の情報は、内視鏡10先端部10aとは逆側の端部に設けられるコネクタ14においてケーブルにより内視鏡10と接続された情報処理装置30に出力される。
The
撮像部11は、レンズ12を介して被観察部の画像を撮像するため、レンズ12による歪みが発生する。本実施形態では、撮像される画像は円形となるが、例えば、図2(a)に示す、格子状になるように点が配置されたテストパターンを撮像部11により撮像すると、図2(b)に示すように歪む。この歪みは、画像の中心から各点までの距離に対して、当該距離に対応する実際の距離の比率が均一にならず、画像の各点間で異なることにより発生する。
Since the
また、内視鏡10は、撮像部11により撮像される被観察部の複数の点にレーザ光を照射する。内視鏡10のコネクタ14には、上記した情報処理装置以外にも、光源20が光学的に接続されている。この光源20からレーザ光が内視鏡10内部に配される光ファイバ15に入力される。レーザ光は、当該光ファイバ15を通って内視鏡10の先端部10aにおける複数の出射点15aから出射される。図3に、内視鏡10の先端部10aの正面を示す。図3に示すように、本実施形態では、内視鏡10には、レーザ光の出射点15aが4つ設けられる(4本の光ファイバが内視鏡10内に配される)。レーザ光は、その出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように出射される。
In addition, the
内視鏡10には更に、図3に示すように、生体内部において明るい状態で撮像が行えるようにするための照明16や、生体内部に対しての処置を行うための鉗子を通す孔17、生体内に水や空気を通す孔18が設けられている(これらは図1では省略している)。
As shown in FIG. 3, the
光源20は、上述したように、被観察部に照射するためのレーザ光を供給する装置である。即ち、光源20は、内視鏡10及び内視鏡10に含まれる光ファイバ15と共に、被観察部の複数の点にレーザ光を照射するレーザ光照射手段を構成する。光源20としては、具体的にはレーザダイオードを用いることができる。なお、光源20は、出射点15aから出射されるレーザ光用の光源としてだけでなく、照明16用の光源としても用いられてもよい。
As described above, the
情報処理装置30は、内視鏡10により撮像された画像を処理する装置である。情報処理装置30は、内視鏡10とケーブルにより接続されて内視鏡10からの情報を受信できるようになっており、内視鏡10の撮像部11により撮像された画像の情報が入力される。情報処理装置30は、具体的には、CPU(Central Processing Unit)、メモリ等のハードウェアにより構成され、これらの構成要素が動作することにより、下記の情報処理装置30の動作が実現される。図1に示すように、情報処理装置30は機能的には、受信部31と、補正部32と、検出部33と、三次元座標導出部34と、所定点導出部35と、出力部36とを備えて構成される。
The
受信部31は、内視鏡10から出力される画像の情報を受信する手段である。受信部31は、受信した画像の情報を補正部32に出力する。
The receiving
補正部32は、内視鏡10により撮像された画像に発生するレンズ12による歪みを補正する補正手段である。補正部32は、レンズ12の歪曲特性を示す情報を記憶しておき、当該情報に基づいて歪みの補正を行う。レンズ12の歪曲特性を示す情報とは、画像の二点間の距離に対する実際の距離の比率を示す情報であり、例えば、図4のグラフに示すようなものである。図4において、縦軸は画像上での画像の中心からの距離(画像の端までの距離を1として正規化している)を示しており、横軸は画像上の距離に対応した実際の距離(画像上での距離と同様に正規化している)を示している。図2や図4に示すように、レンズ12の影響により、画像上の位置により、実際の距離よりも画像上での距離の方が長くなる。なお、補正部32においては、レンズ12の歪曲特性を示す情報として、必ずしも図4に示したグラフの情報を記憶している必要はなく、画像上での距離に対する実際の距離の情報を記憶しておけばよい。
The
補正部32による画像の補正は、例えば、画像上の各位置に対して、画像上での距離から、レンズ12の歪曲特性を示す情報を用いて実際の距離を導出して、導出された実際の距離の位置の画素に画像上での距離の位置にある画素の画素値(色彩)を与えることにより行われる。補正された画像の情報は、検出部33及び出力部36に出力される。
The correction of the image by the
ここで、補正部32により記憶されるレンズ12の歪曲特性を示す情報を取得する方法の一例について説明する。まず、図2(a)に示すような、格子状に点(以下、パターン点と呼ぶ)が配置されたテストパターンを撮像装置1の撮像部11により撮像する。撮像された画像は、図2(b)に示すようにレンズ12に歪曲特性に応じて歪む。撮像された画像上の距離と、それに対応するテストパターン上の距離とを計測することにより、レンズ12の歪曲特性を示す情報が取得される。
Here, an example of a method for acquiring information indicating the distortion characteristics of the
図5を用いて、各距離の計測について説明する。図5(a)に示すように、まず、撮像した画像の中心点50を求める。中心点50は、円形の画像の端から等距離の点として求められる。次に、中心点50から、何れかのパターン点51の中央を通るように直線52を引く。図5(b)に示すように、(撮像したものでなく実際の)テストパターンでも画像の中心点50に対応する中心点Oから、画像上のパターン点51に対応するパターン点Pmを通るように線を引く。
The measurement of each distance will be described with reference to FIG. As shown in FIG. 5A, first, the
続いて、図5(a)に示すように、撮像した画像において、直線52を挟むように位置する隣り合う二つパターン点53の間に線分54を引く。線分54は、図5(a)に示すように、複数のパターン点53の組の間で引かれる。このようにして引かれた直線52と線分54との間に交点55ができるが、中心点50から各交点55までの距離を計測する。計測した距離は、半径(中心点50から円周までの距離)で割る。即ち、中心点で0、画像の端(半径)で1になるように正規化する。
Subsequently, as shown in FIG. 5A, a
次に、図5(b)に示す(撮像したものでなく実際の)テストパターンで各交点55に対応する点Pn(ここで、Pnは、中心点50からn+1番目(nは非負の整数)の交点55に対応する点である)の距離を求める。この距離は実測してもよいが、全てを実測する必要はなく、一部の距離の実測に基づき計算で求めることができる。図5(b)における中心点Oから点Pnまでの距離Dnは、次のように求められる。隣り合うパターン点間の実際の距離をxbとする。ここで、図5における距離x0と、距離ymとが分かれば、Dmの値を求めることができる。なお、距離x0は、中心点Oから、点P0に係るパターン点間を結ぶ線までの距離であり、距離ymは、点P0に係るパターン点間を結ぶ線と垂直になるように中心点Oから引かれた線(図5(b)における破線)からパターン点Pmまでの距離である。 Next, in the test pattern shown in FIG. 5B (actual, not imaged), a point P n corresponding to each intersection 55 (where P n is the n + 1th point from the center point 50 (n is non-negative) (Integer) is a point corresponding to the intersection 55). Although this distance may be actually measured, it is not necessary to actually measure all, and can be obtained by calculation based on the actual measurement of some distances. The distance D n from the center point O to the point P n in FIG. 5B is obtained as follows. Let xb be the actual distance between adjacent pattern points. Here, the distance x 0 in FIG. 5, knowing the distance y m, can be obtained the value of D m. The distance x 0 from the center point O, the distance to the line connecting the pattern points according to the point P 0, the distance y m is such that the line perpendicular connecting the pattern points according to the point P 0 is the distance from to the pattern point P m (dashed line in FIG. 5 (b)) a line drawn from the center point O to.
これらの値から三角形の相似の関係より、
Dn=(x0 + nxb)Dm/(x0+ mxb)
が成り立ち、各点Pnまでの距離Dnを求めることができる。上記の方法で、例えば、十数の点について画像上の距離と実際の距離との対応関係の情報を得ることができ、それをレンズ12の歪曲特性を示す情報とすることができる。
From these values, the similarity of triangles
D n = (x 0 + nx b ) D m / (x 0 + mx b )
Thus, the distance D n to each point P n can be obtained. With the above method, for example, information on the correspondence between the distance on the image and the actual distance can be obtained for dozens of points, and this can be used as information indicating the distortion characteristics of the
なお、レンズ12の歪曲特性を示す情報を取得する方法については、例えば、特開昭63−246716号公報に記載されている方法(同じ条件で平面上の正方のます目を撮っておき、この画像が正方になるような各画素における補正値を決めておく)を適用することとしてもよい。
In addition, as a method for acquiring information indicating the distortion characteristics of the
検出部33は、補正部32により補正された画像における、内視鏡10から被観察部に対して照射されたレーザ光の各照射点の座標を検出する検出手段である。検出される座標は、例えば、撮像部11(のレンズ12)の光学中心に相当する画像の中心を原点とした座標である。各照射点の座標の検出については、より詳細に後述する。検出された各照射点の座標を示す情報は、三次元座標導出部34に出力される。
The detection unit 33 is a detection unit that detects the coordinates of each irradiation point of the laser light emitted from the
三次元座標導出部34は、検出部33により検出されたレーザ光の各照射点の座標、及びレーザ光の照射条件から、レーザ光の各照射点の三次元座標を導出する。導出に用いるレーザ光の照射条件としては、内視鏡10におけるレーザ光の出射位置及び照射方向である。内視鏡10におけるレーザ光の出射位置は、予め位置決めされているので、撮像部11(のレンズ12)の光学中心に対する位置(三次元座標)として予め三次元座標導出部34に記憶されている。また、レーザ光の照射方向についても同様に予め定められているので、三次元座標導出部34に記憶されている。三次元座標の導出については、より詳細に後述する。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
The three-dimensional coordinate deriving
所定点導出部35は、三次元座標導出部34により導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標を導出する所定点導出手段である。この各照射点の間の所定の位置関係の点とは、例えば、被観察部(例えば、臓器等)の大きさを知ることができる目盛りとなる点である。各照射点の間の所定の位置関係がどのようなものであるかは、所定点導出部35に予め記憶されている。所定の位置関係の点の導出については、より詳細に後述する。導出された所定の位置関係の点を示す情報は、出力部36に出力される。
The predetermined
出力部36は、補正部32により補正された画像の情報、及び所定点導出部35により導出された当該画像上の所定の位置関係の点の座標を示す情報をモニタ40に出力する出力手段である。モニタ40に出力される際には、座標を示す情報は、補正部32により補正された画像の情報に目盛りとして組み込まれて、一つの画像の情報として出力される。
The
モニタ40は、情報処理装置30から出力された画像の情報を画面表示する。ユーザは、モニタ40を参照することにより、内視鏡10により撮像された画像を見ることができる。以上が撮像装置1の構成である。
The
引き続いて、撮像装置1の動作について、図6のフローチャートを参照して説明する。この動作は、撮像装置1の内視鏡10を生体の内部に挿入して、被観察部の撮像を行う際の動作である。まず、内視鏡10から被観察部の複数の点にレーザ光を照射した状態にしておく(S01)。
Subsequently, the operation of the
続いて、内視鏡10の撮像部11により被観察部の画像が撮像される(S02)。撮像された画像の情報は、内視鏡10から情報処理装置30に出力される。情報処理装置30では、受信部31により当該画像の情報が受信される。画像の情報は、受信部31から補正部32に出力される。
Subsequently, an image of the observed portion is captured by the
続いて、補正部32により、撮像部11のレンズ12の歪曲特性を示す情報に基づき、画像のレンズ12による歪みが補正される(S03)。歪みが補正された画像は、検出部33と出力部36とに出力される。
Subsequently, the
続いて、検出部33により、歪みが補正された画像における、レーザ光の各照射点の(二次元)座標が検出される(S04)。レーザ光の各照射点の座標の検出は、次のように行われる。まず、照射点の検出には、画像の全てを調べる必要はない。レーザ光の出射位置と撮像部11(のレンズ12)との位置関係、レーザ光の照射方向、及び撮像部11(のレンズ12)の光軸によって、照射点が存在する位置が制限される。本実施形態では、上述したようにレーザ光はその出射方向(光路)が撮像部11(のレンズ12)の光軸方向と平行になるように4本照射される。従って、図7に示すように、被観察部と内視鏡10との位置関係に応じて、撮像部11により撮像される画像における4本の線分60上の何れかの点がレーザ光の照射点となる(被観察部が内視鏡10の先端部10aに接近している程、照射点は画像上の端の方になる)。この線分60が画像上のどの位置になるかは、予め検出して、検出部33に設定しておくことができる。即ち、検出部33は、補正部32により補正された画像における線分60等の予め設定された所定の範囲を探索することにより照射点の座標を検出する。
Subsequently, the detection unit 33 detects (two-dimensional) coordinates of each irradiation point of the laser light in the image whose distortion is corrected (S04). Detection of the coordinates of each irradiation point of the laser light is performed as follows. First, it is not necessary to examine the entire image for detecting the irradiation point. The position where the irradiation point exists is limited by the positional relationship between the laser light emission position and the imaging unit 11 (the lens 12), the irradiation direction of the laser light, and the optical axis of the imaging unit 11 (the lens 12). In the present embodiment, as described above, four laser beams are irradiated so that the emission direction (optical path) is parallel to the optical axis direction of the imaging unit 11 (the
各照射点の座標の検出は、画像の濃淡情報を用いる。そのために、画素値をRGB(各256段階)から256段階の濃淡の情報に変換する。照射点の座標を検出するために、各画素の近傍で濃淡値の分散と、濃淡分布の類似度とを用いる。検出のために、ガウス分布等の照射点での濃淡分布のサンプルと、濃淡値の分散の閾値とを検出部33に予め設定しておく。閾値の設定は、レーザ光の照射点では周囲の画素との濃淡値の大きな差が発生することによるものである。濃淡値の分散が設定した閾値よりも大きい画素の中で、サンプルと最大の濃淡分布類似度を持つ画素を照射点とする。なお、分散及び類似度は、二次元ではなく、図7に示した線分60に沿って一次元で計算することができる。ここでの類似度としては、例えば、入力画像(補正部32により補正された画像)と、濃淡分布のサンプルであるガウス分布との相関係数が用いられる。検出された各照射点の座標の情報は、三次元座標導出部34に出力される。
The detection of the coordinates of each irradiation point uses the density information of the image. For this purpose, the pixel value is converted from RGB (256 levels each) to 256 levels of shading information. In order to detect the coordinates of the irradiation point, the distribution of the gray value in the vicinity of each pixel and the similarity of the gray distribution are used. For the detection, a sample of a gray distribution at an irradiation point such as a Gaussian distribution and a threshold value of the distribution of gray values are set in the detection unit 33 in advance. The setting of the threshold value is due to the occurrence of a large difference in gray value with surrounding pixels at the laser light irradiation point. Among the pixels whose gray value variance is larger than the set threshold value, the pixel having the highest gray level distribution similarity with the sample is set as the irradiation point. Note that the variance and the similarity can be calculated in one dimension along the
なお、本実施形態に係る撮像装置1では、画像に照明16の光の反射によるハイライトが生じる。このハイライトが照射点検出処理の妨げとなるので、RGB成分のG又はBの値が設定値以上の画素はハイライト部分として、ハイライト部分内の画素を照射点としないこととすることができる。また、照射点を検出するために撮像する際には、照明16の光を照射しない制御をすることとしてもよい。
In the
また、照射点の検出の際に、入力画像のノイズを除去するために平滑化を行うこととしてもよい。平滑化の方法としては、照射点の特徴を残すためにメディアンフィルタを使うものを用いるのがよい。メディアンフィルタは、画像の平滑化と特徴点の保持との両方を考慮し、例えば5×5画素の範囲で行う。 Moreover, it is good also as smoothing in order to remove the noise of an input image in the case of detection of an irradiation point. As a smoothing method, it is preferable to use a median filter in order to leave the feature of the irradiation point. The median filter is performed in a range of, for example, 5 × 5 pixels in consideration of both smoothing of an image and retention of feature points.
続いて、検出された画像上のレーザ光の各照射点の座標に基づいて、三次元座標導出部34により、各照射点の三次元座標が導出される(S05)。レーザ光の各照射点の三次元座標の検出について、図8の透視投影モデルを用いて説明する。ここで、三次元の各座標軸をx軸、y軸及びz軸とする。ここで導出される照射点の三次元座標P(Xp,Yp,Zp)は、撮像部11(のレンズ12)の光学中心を座標系の原点Oとしたときの座標である。図8に示すように、z軸方向を、撮像部11(のレンズ12)の光軸方向とする。また、三次元座標導出部34により予め記憶されているレーザ光の出射位置をL(XL,YL,ZL)する。また、画像上での照射点の三次元座標をp(xp,yp,f)とする。ここで、fはレンズ12の焦点距離である。なお、実際の撮像部11では、レンズ12を挟んで撮像対象と反対側にある画像面を、簡単のため図8では撮像対象側に描く。また、画像面上での照射点の三次元座標p(xp,yp,f)における(xp,yp)は、検出部33により検出された(二次元)座標に対応するものである。なお、上記の各座標の値は、物理的な距離と対応付けられたものである。
Subsequently, based on the coordinates of each irradiation point of the laser beam on the detected image, the three-dimensional coordinate deriving
このとき、原点Oとレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、画像上での照射点の三次元座標p(xp,yp,f)を通るので、
x/xp=y/yp=z/f …(1)
で表される。また、レーザ光の出射位置L(XL,YL,ZL)とレーザ光の照射点P(Xp,Yp,Zp)とを結ぶ直線は、
(x−XL)/Bx=(y−YL)/By=(z−ZL)/Bz …(2)
で表される。ここで、(Bx,By,Bz)はレーザ光の照射方向を示すベクトルであり、予め三次元座標導出部34により予め記憶されている。(Bx,By,Bz)としては、設計により定まる値を用いてもよいし、予め撮像装置1の内視鏡10の前方にスクリーン等を置き、スクリーンでの照射点とレーザ光の出射位置とから実験的に求められる値を用いてもよい。(スクリーンでの)レーザ光の照射点の座標を(Xs,Ys,Zs)とすると、
(Bx,By,Bz)=(Xs−XL,Ys−YL,Zs−ZL) …(3)
として求まる。
In this case, the straight line connecting the origin O and the irradiation point P of the laser beam (X p, Y p, Z p) and passes through the three-dimensional coordinates p irradiation point on the image (x p, y p, f) the So
x / x p = y / y p = z / f (1)
It is represented by The straight line connecting the laser beam emission position L (X L , Y L , Z L ) and the laser beam irradiation point P (X p , Y p , Z p ) is
(X−X L ) / B x = (y−Y L ) / B y = (z−Z L ) / B z (2)
It is represented by Here, (B x , B y , B z ) is a vector indicating the irradiation direction of the laser light, and is stored in advance by the three-dimensional coordinate deriving
(B x, B y, B z) = (X s -X L, Y s -Y L, Z s -Z L) ... (3)
It is obtained as
レーザ光の照射点P(Xp,Yp,Zp)は、上記の2直線(1),(2)の交点を以下のように計算することにより導出することができる。
Xp=(By XL −Bx YL)xp/(By xp −Bx yp)
Yp=(By XL −Bx YL)yp/(By xp −Bx yp) …(4)
Zp=(By XL −Bx YL)f/(By xp− Bxyp)
The laser beam irradiation point P (X p , Y p , Z p ) can be derived by calculating the intersection of the two straight lines (1) and (2) as follows.
X p = (B y X L -B x Y L) x p / (B y x p -B x y p)
Y p = (B y X L -B x Y L) y p / (B y x p -B x y p) ... (4)
Z p = (B y X L -B x Y L) f / (B y x p - B x y p)
上記の導出の過程において、画像面上での照射点の三次元座標をp(xp,yp,f)としたが、撮像した画像中から特定の画素の位置を、画素を単位として求めることは容易であるが、物理的な距離を単位として求めることは一般には容易ではない。(xp,yp)を物理的な距離を単位とすることが困難なときには、予め任意の点の(物理的な距離の)三次元座標を計測して、それを実際に撮影しておき、それらの値に基づいて上記の導出を行うこととすればよい。 In the above derivation process, the three-dimensional coordinates of the irradiation point on the image plane are set to p (x p , y p , f), and the position of a specific pixel in the captured image is obtained in units of pixels. Although it is easy, it is generally not easy to obtain the physical distance as a unit. When it is difficult to use (x p , y p ) as a physical distance unit, three-dimensional coordinates (of a physical distance) of an arbitrary point are measured in advance and actually photographed. The above derivation may be performed based on these values.
任意の点の三次元座標を(Xt,Yt,Zt)とし、その点の画像面での位置が画像中心からx軸方向にit画素、y軸方向にjt画素であるとする。また、1画素あたりの物理的間隔が画像面上でx軸方向にdx、y軸方向にdyであるとする。このとき、上記の任意の点の画像面での三次元座標は(itdx,jtdx,f)で表すことができ、
Xt/(itdx)=Yt/(jtdx)=Zt/f …(5)
が成立する。また、式(4)で画像面上での照射点のxy座標を表すxp,ypも同様に、
xp=ipdx, yp=jpdy …(6)
とすることができる。ここで、ip,jpは画素を単位として画像面上での照射点の、それぞれx軸方向及びy軸方向の位置を表す。
Three-dimensional coordinates of an arbitrary point (X t, Y t, Z t) and, i t pixels in the x-axis direction from the image center position in the image plane of that point, if it is j t pixels in the y-axis direction To do. Also, the physical distance per pixel is assumed to be d y in the x-axis direction d x, the y-axis direction on the image plane. At this time, the three-dimensional coordinates of the above-mentioned arbitrary point on the image plane can be represented by (i t d x , j t d x , f),
X t / (i t d x ) = Y t / (j t d x) = Z t / f ... (5)
Is established. Further, x p, y p likewise representing the xy coordinates of the irradiation point of the image plane in the formula (4),
x p = i p d x , y p = j p d y (6)
It can be. Here, i p and j p represent the positions of the irradiation points on the image plane in the x-axis direction and the y-axis direction, respectively, in units of pixels.
式(5),(6)を用いれば、式(4)から式(7)が求まる。
Xp=(ByXL−BxYL)ipjtXt/(ByipjtXt−BxjpitYt)
Yp=(ByXL−BxYL)jpitYt/(ByipjtXt−BxjpitYt)
Zp=(ByXL−BxYL)itjtZt/(ByipjtXt−BxjpitYt)
…(7)
式(7)の右辺から、物理的な距離を求めることが困難なxp,yp,fが消え、全て実際に測定可能な変数(予め測定しておくものも含む)を用いて各照射点の三次元座標P(Xp,Yp,Zp)を導出することができる。上記が、レーザ光の各照射点の三次元座標の導出方法である。導出されたレーザ光の各照射点の三次元座標を示す情報は、所定点導出部35に出力される。
If Expressions (5) and (6) are used, Expression (7) can be obtained from Expression (4).
X p = (B y X L -B x Y L) i p j t X t / (B y i p j t X t -B x j p i t Y t)
Y p = (B y X L -B x Y L) j p i t Y t / (B y i p j t X t -B x j p i t Y t)
Z p = (B y X L -B x Y L) i t j t Z t / (B y i p j t X t -B x j p i t Y t)
... (7)
From the right side of Equation (7), x p , y p , and f for which it is difficult to obtain a physical distance disappear, and all irradiations are performed using variables that can be actually measured (including those that are measured in advance). The three-dimensional coordinates P (X p , Y p , Z p ) of the point can be derived. The above is a method for deriving the three-dimensional coordinates of each irradiation point of the laser beam. Information indicating the three-dimensional coordinates of each derived irradiation point of the laser beam is output to the predetermined
続いて、所定点導出部35により、導出された三次元座標から各照射点の間の、所定の位置関係の点の三次元座標が導出される(S06)。また、導出された三次元座標から補正部32により補正された画像上の当該所定の位置関係の点の座標が導出される。本実施形態においては、所定の位置関係の点とは目盛りとなる点である。図9に示すように、目盛りとなる点は、上記のように導出された2点の照射点の座標のうちの一方の点から他方の点に向かう線分上での一定の間隔毎の点である。この点が画像と共に表示されることによって、2点の照射点の間の実際の距離、即ち被観察部の実際の大きさを知ることができる。目盛りの間隔等の、どのような目盛りとなる点を導出するかについての情報は、予め所定点導出部35に予め記憶されており、所定点導出部35はその情報に基づいて導出を行う。
Subsequently, the predetermined
なお、目盛りとなる点を導出するための2つの照射点を結ぶ線分が、画像面と平行であれば、実空間で等間隔の目盛りは画像面でも等間隔であるので、1目盛り分の間隔で繰り返し目盛りとなる点を導出すればよい。しかし、図9に示すように、照射点間を結ぶ線分は画像面とは平行になるとは限らない。目盛りは実空間で等間隔であっても画像上では等間隔ではない。画像上での目盛りの位置を一つずつ計算する必要がある。 Note that if the line segment connecting two irradiation points for deriving a scale point is parallel to the image plane, the equally spaced scales in the real space are also equally spaced on the image plane. What is necessary is just to derive the point which becomes a scale repeatedly at intervals. However, as shown in FIG. 9, the line segment connecting the irradiation points is not always parallel to the image plane. Even if the scales are equally spaced in real space, they are not equally spaced on the image. It is necessary to calculate the position of the scale on the image one by one.
例えば、二つの照射点Ps(Xs,Ys,Zs)とPe(Xe,Ye,Ze)との間に、Psを基点としてu間隔に目盛りMk(k=0,1,2…)を表示させる。k番目の目盛りの実空間での位置をMk(Xk,Yk,Zk)とすると、
となる。ここで、‖Pe−Ps‖は、2つの照射点間の距離である。これらから、Mk(Xk,Yk,Zk)の画像上での位置mu(xk,yk,zk)も以下のように導出することができる。
xk=Xkf/Zk
yk=Ykf/Zk …(9)
zk=f
即ち、画像上でのk本目の目盛りを画像上における(Xkf/Zk,Ykf/Zk)の位置に表示すればよい。
For example, two irradiation point P s (X s, Y s , Z s) and P e (X e, Y e , Z e) between the, tick marks u intervals as a base point P s M k (k = (0, 1, 2,...) Are displayed. If the position of the kth scale in real space is M k (X k , Y k , Z k ),
It becomes. Here, ‖P e -P s ‖ is the distance between the two irradiation points. From these, the position m u (x k , y k , z k ) on the image of M k (X k , Y k , Z k ) can also be derived as follows.
x k = X k f / Z k
y k = Y k f / Z k (9)
z k = f
That is, the k-th scale on the image may be displayed at the position (X k f / Z k , Y k f / Z k ) on the image.
また、式(9)のように物理的な距離を単位とするのではなく、画素を単位として画像上の目盛りとなる点の位置を決めるのには次のようにすればよい。上述したように、任意の三次元座標(Xt,Yt,Zt)が既知の点を撮像することにより、式(5)から、
f/dx=itZt/Xt …(10)
f/dy=jtZt/Yt
が成立する。上記の点の三次元座標(Xt,Yt,Zt)と画像上での画素を単位とした座標(it,jt)から、f/dx及びf/dyが求まる。従って、k本目の目盛りの画像上の座標(Xkf/Zk,Ykf/Zk)をx軸方向及びy軸方向それぞれ1画素あたりの物理的間隔dx、dyを用いて画素単位(ik,jk)で表すと、
ik=Xkf/(Zkdx)=XkitZt/(ZkXt) …(11)
jk=Ykf/(Zkdy)=YkjtZt/(ZkYt)
となる。即ち、画像上でk本目の目盛りを画素単位で(XkitZt/(ZkXt),YkjtZt/(ZkYt))の位置に表示すればよい。上記のように導出された、画像上の目盛りの点の座標を示す情報は、所定点導出部35から出力部36に出力される。
Further, instead of using the physical distance as a unit as shown in Equation (9), the position of a point serving as a scale on the image may be determined in units of pixels as follows. As described above, by imaging a point where arbitrary three-dimensional coordinates (X t , Y t , Z t ) are known,
f / d x = i t Z t / X t ... (10)
f / d y = j t Z t / Y t
Is established. From the three-dimensional coordinates (X t , Y t , Z t ) of the above points and the coordinates (i t , j t ) in units of pixels on the image, f / d x and f / d y are obtained. Therefore, the coordinates (X k f / Z k, Y k f / Z k) of the k-th scale of an image per pixel each x-axis and y-axis directions physical distance d x, by using the d y When expressed in pixel units (i k , j k ),
i k = X k f / (Z k d x ) = X k i t Z t / (Z k X t ) (11)
j k = Y k f / ( Z k d y) = Y k j t Z t / (Z k Y t)
It becomes. That is, the scale of the k-th pixel by pixel on the image (X k i t Z t / (Z k X t), Y k j t Z t / (Z k Y t)) may be displayed at the position of. Information indicating the coordinates of the scale points on the image derived as described above is output from the predetermined
続いて、出力部36では、所定点導出部35により導出された点の座標の位置に目盛りが、補正部32により補正された画像の情報に表示されるように、目盛りが画像に重畳されて(組み込まれて)、当該画像の情報がモニタ40に出力される。モニタ40では、情報処理装置30から出力された情報に係る画像が画面表示される(S07)。このように、目盛りが重畳された画像を出力することとすれば、被観察部の大きさが正確にわかるような画像表示を確実に行うことができる。図10に画面表示された例を示す。図10に示すように、4つの各照射点71の間に線分が引かれて、その線分上に目盛り72が表示される。図10に示す例では、1目盛りが実際の距離にして1mmである。
Subsequently, in the
また、各点について三次元座標が求められているので、各点の撮像部11(のレンズ12)からの距離を表示することができる。図10に示す例では、4つの各照射点71の撮像部11(のレンズ12)からの距離を表示している。
Further, since the three-dimensional coordinates are obtained for each point, the distance from the imaging unit 11 (the lens 12) of each point can be displayed. In the example illustrated in FIG. 10, the distances from the imaging unit 11 (the
また、目盛り表示は、操作者であるユーザから撮像装置1への入力を出力部36が受け付けて、当該入力に基づいて行われてもよい。当該入力としては、例えば、「目盛りを今表示せよ」、「ここに目盛りを表示せよ」及び「目盛りの種類を変えろ」等の指示が行えるものとする。また、当該入力は、操作者であるユーザが内視鏡の操作等の手作業を行えるように、例えば、撮像装置1に接続されたフットスイッチ等の入力インターフェースにより行われることが好ましい。
Further, the scale display may be performed based on the input when the
上述したように、本実施形態に係る撮像装置1では、撮像された画像がレンズ12による歪みを除去されるので、より正確な形状を表示することができる。また、本実施形態に係る撮像装置1では、レンズ12の歪みを補正した画像においてレーザ光の各照射点の間に、被観察部の実際の大きさを示す目盛り点を表示することができる。これにより、本実施形態に係る撮像装置1によれば、より正確に被観察部の大きさを表示することができる。
As described above, in the
また、本実施形態のように撮像部11を内視鏡10に含まれて構成される形態とすれば、医療分野への応用がより簡易に行うことができる。本実施形態の上記の効果により、例えば、これまで医者の経験に頼っていた患部の大きさの把握が容易になり、定量的な観察が可能になる。
If the
なお、上述した実施形態では、目盛りの点は例えば1mm刻み等予め設定された位置に固定的に表示されていたが、目盛りの点を移動できるようにしてもよい。目盛りの点の移動は、例えば、以下のように行われる。情報処理装置30にキーボードやマウス等のユーザからの入力インターフェースを用意しておく。当該入力インターフェースによりユーザから目盛りを移動させる旨の情報の入力があると、所定点導出部35がその入力を受け付け、その入力に応じて目盛りとなる点の移動を行う(移動に応じて、目盛りとなる点の座標を再度導出する)。例えば、二つの照射点の間に二つの目盛りを用意しておき、二つの目盛りを、上記の移動により、それぞれ患部等の対象物の端と端とに合せることにより、当該対象物の大きさを測れるようにしておくのがよい。この構成によれば、例えば目盛り点を所望の場所に移動することができ、より容易に被観察部の大きさを認識させることが可能となる。
In the above-described embodiment, the scale point is fixedly displayed at a preset position such as 1 mm, but the scale point may be moved. The scale points are moved as follows, for example. An input interface from a user such as a keyboard or a mouse is prepared in the
上述した本実施形態に係る撮像装置1では、レーザ光の照射点間での目盛りを表示するものであったが、下記のように(一つの)照射点に目盛りを表示させることができる。図11に示すように、表示したい目盛りの間隔をuとするとき、uが画像上で何画素に対応するかが分かればよい。
In the
レーザ光の照射点P(Xp,Yp,Zp)を通り画像面と平行な平面(z=Zp)の線分は、画像面(z=f)では長さはf/Zp倍に縮小される。従って、uf/Zp間隔で目盛りを表示すればよい。また、
であるので、fが不明であっても、例えば、
(画像面上での照射点までの距離)/(光軸から照射点までの距離)
の縮尺で目盛りを表示すればよい。
The line segment of the plane (z = Z p ) that passes through the laser beam irradiation point P (X p , Y p , Z p ) and is parallel to the image plane has a length of f / Z p on the image plane (z = f). Reduced to double. Therefore, it is sufficient tick marks in uf / Z p intervals. Also,
Therefore, even if f is unknown, for example,
(Distance to irradiation point on image plane) / (Distance from optical axis to irradiation point)
The scale may be displayed at the scale of.
また、画像上での物理的な距離が不明であっても、画素を単位として目盛りを表示することができる。このときには、目盛りを表示したい方向により縮尺は異なる。実空間でθの方向の目盛りを書きたいならば、x軸成分ucosθf/Zpdx(画素)、y軸成分usinθf/Zpdy(画素)の間隔で目盛りを表示すればよい。また、f/dxあるいはf/dyが不明であっても、x軸成分、y軸成分共に、
(画像面上での照射点までの画素数)/(光軸から照射点までの画素数)
の縮尺で目盛りを表示すればよい。
Moreover, even if the physical distance on the image is unknown, the scale can be displayed in units of pixels. At this time, the scale varies depending on the direction in which the scale is to be displayed. If you want to write the scale in the direction of θ in real space, x-axis component ucosθf / Z p d x (pixels) may be displayed the scale at intervals of y-axis component usinθf / Z p d y (pixels). Even if f / d x or f / d y is unknown, both the x-axis component and the y-axis component are
(Number of pixels to the irradiation point on the image plane) / (Number of pixels from the optical axis to the irradiation point)
The scale may be displayed at the scale of.
図12に、画像上のレーザ光の照射点の周囲に目盛り表示をした例を示す。図12(a)は、直行する2方向に表示した例、図12(b)は、同心円状に表示した例である。 FIG. 12 shows an example in which a scale is displayed around the irradiation point of the laser beam on the image. FIG. 12A shows an example displayed in two orthogonal directions, and FIG. 12B shows an example displayed concentrically.
また、上述した実施例では、人体等の生体の内部を撮像する内視鏡10を用いるものとしたが、他のものに対しても応用することができる。例えば、プラント、流体装置その他生産設備の配管内を撮像する欠陥検出装置に利用することができる。このように人間の目では、外部からは確認することができない、あるいは確認できても精度が十分でないような場合に、画像により直接的に欠陥等を定量的かつ精度よく検出することができる。これにより、設備等の破損、事故、異常停止等に対する予防、予知などのメンテナンスの向上に役立てることができる。
In the above-described embodiment, the
1…撮像装置、10…内視鏡、11…撮像部、12…レンズ、13…撮像素子、14…コネクタ、15…光ファイバ、20…光源、30…情報処理装置、31…受信部、32…補正部、33…検出部、34…三次元座標導出部、35…所定点導出部、36…出力部、40…モニタ。
DESCRIPTION OF
Claims (5)
前記被観察部の複数の点にレーザ光を照射するレーザ光照射手段と、
予め記憶した前記レンズの歪曲特性を示す情報に基づき、前記撮像手段により撮像された画像の前記レンズによる歪みを補正する補正手段と、
前記補正手段により補正された画像における、前記レーザ光照射手段により照射されたレーザ光の各照射点の座標を検出する検出手段と、
前記検出手段により検出された前記座標、及び前記レーザ光の照射条件から、前記レーザ光照射手段により照射されたレーザ光の各照射点の三次元座標を導出する三次元座標導出手段と、
前記三次元座標導出手段により導出された三次元座標から前記各照射点の間の、所定の位置関係の点の三次元座標を導出して、導出された当該三次元座標から前記補正手段により補正された前記画像上の当該所定の位置関係の点の座標を導出する所定点導出手段と、
前記補正手段により補正された前記画像の情報、及び前記所定点導出手段により導出された当該画像上の前記所定の位置関係の点の座標を示す情報を出力する出力手段と、
を備える撮像装置。 An image pickup means having a lens and picking up an image of the observed portion through the lens;
Laser light irradiation means for irradiating a plurality of points of the observed portion with laser light;
Correction means for correcting distortion caused by the lens of an image captured by the imaging means based on information indicating distortion characteristics of the lens stored in advance;
Detecting means for detecting coordinates of each irradiation point of the laser light irradiated by the laser light irradiation means in the image corrected by the correction means;
3D coordinate deriving means for deriving 3D coordinates of each irradiation point of the laser light irradiated by the laser light irradiation means from the coordinates detected by the detection means and the irradiation condition of the laser light;
Deriving the three-dimensional coordinates of the predetermined positional relationship between the irradiation points from the three-dimensional coordinates derived by the three-dimensional coordinate deriving means, and correcting by the correcting means from the derived three-dimensional coordinates Predetermined point deriving means for deriving the coordinates of the predetermined positional relationship point on the image,
Output means for outputting the information of the image corrected by the correcting means and the information indicating the coordinates of the points of the predetermined positional relationship on the image derived by the predetermined point deriving means;
An imaging apparatus comprising:
The imaging apparatus according to claim 1, wherein the imaging unit is included in an endoscope.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006239472A JP4848481B2 (en) | 2006-09-04 | 2006-09-04 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006239472A JP4848481B2 (en) | 2006-09-04 | 2006-09-04 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008061659A true JP2008061659A (en) | 2008-03-21 |
JP4848481B2 JP4848481B2 (en) | 2011-12-28 |
Family
ID=39284904
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006239472A Active JP4848481B2 (en) | 2006-09-04 | 2006-09-04 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4848481B2 (en) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5468689B1 (en) * | 2013-02-19 | 2014-04-09 | エーテック株式会社 | Imaging apparatus, scale generation method of the imaging apparatus, program, and recording medium |
WO2015056471A1 (en) * | 2013-10-17 | 2015-04-23 | オリンパス株式会社 | Endoscope device |
CN106413516A (en) * | 2014-07-30 | 2017-02-15 | 奥林巴斯株式会社 | Image processing device |
CN110327046A (en) * | 2019-04-28 | 2019-10-15 | 安翰科技(武汉)股份有限公司 | Object measuring method in a kind of alimentary canal based on camera system |
WO2021131238A1 (en) * | 2019-12-25 | 2021-07-01 | 富士フイルム株式会社 | Endoscope device, operation method thereof, and program for endoscope device |
WO2022230563A1 (en) * | 2021-04-28 | 2022-11-03 | 富士フイルム株式会社 | Endoscope system and operation method for same |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07260446A (en) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | Image processor |
JP2002159021A (en) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | Apparatus and method for displaying scale |
-
2006
- 2006-09-04 JP JP2006239472A patent/JP4848481B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07260446A (en) * | 1994-03-25 | 1995-10-13 | Olympus Optical Co Ltd | Image processor |
JP2002159021A (en) * | 2000-11-21 | 2002-05-31 | Olympus Optical Co Ltd | Apparatus and method for displaying scale |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5468689B1 (en) * | 2013-02-19 | 2014-04-09 | エーテック株式会社 | Imaging apparatus, scale generation method of the imaging apparatus, program, and recording medium |
WO2015056471A1 (en) * | 2013-10-17 | 2015-04-23 | オリンパス株式会社 | Endoscope device |
CN105637402A (en) * | 2013-10-17 | 2016-06-01 | 奥林巴斯株式会社 | Endoscope device |
JPWO2015056471A1 (en) * | 2013-10-17 | 2017-03-09 | オリンパス株式会社 | Endoscope apparatus and inspection method using endoscope |
US10102643B2 (en) | 2013-10-17 | 2018-10-16 | Olympus Corporation | Endoscope apparatus and inspection method using endoscope |
CN106413516A (en) * | 2014-07-30 | 2017-02-15 | 奥林巴斯株式会社 | Image processing device |
CN110327046A (en) * | 2019-04-28 | 2019-10-15 | 安翰科技(武汉)股份有限公司 | Object measuring method in a kind of alimentary canal based on camera system |
CN110327046B (en) * | 2019-04-28 | 2022-03-25 | 安翰科技(武汉)股份有限公司 | Method for measuring object in digestive tract based on camera system |
WO2021131238A1 (en) * | 2019-12-25 | 2021-07-01 | 富士フイルム株式会社 | Endoscope device, operation method thereof, and program for endoscope device |
JPWO2021131238A1 (en) * | 2019-12-25 | 2021-07-01 | ||
JP7402252B2 (en) | 2019-12-25 | 2023-12-20 | 富士フイルム株式会社 | Endoscope device, its operating method, and program for endoscope device |
WO2022230563A1 (en) * | 2021-04-28 | 2022-11-03 | 富士フイルム株式会社 | Endoscope system and operation method for same |
Also Published As
Publication number | Publication date |
---|---|
JP4848481B2 (en) | 2011-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6371729B2 (en) | Endoscopy support apparatus, operation method of endoscopy support apparatus, and endoscope support program | |
KR101948852B1 (en) | Hybrid image scanning method and apparatus for noncontact crack evaluation | |
JP4848481B2 (en) | Imaging device | |
US8233041B2 (en) | Image processing device and image processing method for performing three dimensional measurements | |
CN109938837B (en) | Optical tracking system and optical tracking method | |
US11432713B2 (en) | Endoscope system, endoscope image processing method, and computer readable recording medium for generating a three-dimensional shape image | |
US8248465B2 (en) | Measuring endoscope apparatus and program | |
US7400702B2 (en) | Tire inspection method | |
US10846883B2 (en) | Method for calibrating objects in a reference coordinate system and method for tracking objects | |
CN109171789B (en) | Calibration method and calibration system for image diagnosis equipment | |
JP2020516408A (en) | Endoscopic measurement method and instrument | |
CN106941065A (en) | Sample position alignment methods and charged particle beam apparatus | |
JP2006284531A (en) | Tool shape measuring instrument, and tool shape measuring method | |
Pösch et al. | Rigid and flexible endoscopes for three dimensional measurement of inside machine parts using fringe projection | |
JP3991040B2 (en) | Three-dimensional measuring apparatus and three-dimensional measuring method | |
US20240175677A1 (en) | Measuring system providing shape from shading | |
WO2017170488A1 (en) | Optical axis position measuring system, optical axis position measuring method, optical axis position measuring program, and optical axis position measuring device | |
JP6210483B2 (en) | 3D shape acquisition device from stereoscopic endoscope image | |
US20200292307A1 (en) | Method and apparatus for determining 3d coordinates of at least one predetermined point of an object | |
CA2978790A1 (en) | Ent image registration | |
CN111544035A (en) | Ultrasonic auxiliary scanning system and method based on augmented reality | |
US20160228078A1 (en) | System and method for correlating object information with x-ray images | |
KR20160038297A (en) | Apparatus and method for guiding correct posture of medical image system | |
JP2015059817A (en) | Secondary battery visual inspection method and secondary battery visual inspection device | |
JPWO2017145270A1 (en) | Image processing apparatus, image processing method, and endoscope |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100202 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100615 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110803 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20110929 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |