JP2006020276A - Endoscope for measurement - Google Patents

Endoscope for measurement Download PDF

Info

Publication number
JP2006020276A
JP2006020276A JP2005031126A JP2005031126A JP2006020276A JP 2006020276 A JP2006020276 A JP 2006020276A JP 2005031126 A JP2005031126 A JP 2005031126A JP 2005031126 A JP2005031126 A JP 2005031126A JP 2006020276 A JP2006020276 A JP 2006020276A
Authority
JP
Japan
Prior art keywords
image
measurement
point
original image
sampling point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2005031126A
Other languages
Japanese (ja)
Inventor
Sumuto Nakano
澄人 中野
Kiyotomi Ogawa
清富 小川
Mitsuo Obata
光男 小畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2005031126A priority Critical patent/JP2006020276A/en
Publication of JP2006020276A publication Critical patent/JP2006020276A/en
Priority to US11/346,786 priority patent/US20060178561A1/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an endoscope for measurement which images a measuring object, reads the image as an original image and performs measurement on the basis of the position of a measuring point on the read original image, and, specially performs high-accuracy measurement by easily designating the measuring point. <P>SOLUTION: In an endoscope apparatus for measurement, for example, magnified image generation processing is performed on an original image resulting from imaging the measuring object. When designating a measuring point, the pixel interval of the original image is designated for large movement, the pixel interval of the original image is designated in more details for detailed movement, and the measuring point is efficiently designated. Furthermore, above setting is switched to more easily designate the measuring point. When the measuring point is separated, for example, a designated point is made closer to the measuring point with a moving amount as a pixel interval, the unit of the moving amount is then switched to detailed setting more than the pixel interval, and the designated point is accurately made close to the measuring point, so that a user easily designates the measuring point. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は計測対象を撮像して元画像として読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う計測用内視鏡装置に関する。   The present invention relates to a measurement endoscope apparatus that captures an image of a measurement object, reads it as an original image, and performs measurement based on the position of a measurement point on the read original image.

今日、計測用内視鏡装置は各種機械部品の傷や欠けの計測等に利用されている。このような計測用内視鏡装置は、計測対象を撮像して元画像を読み取り、読み取った元画像上の計測点の位置に基づいて計測を行う。   Today, a measuring endoscope apparatus is used for measuring scratches and chips on various machine parts. Such a measuring endoscope apparatus captures a measurement object, reads an original image, and performs measurement based on the position of the measurement point on the read original image.

特許文献1には、元画像上の計測点を指定する技術として、元画像を拡大し、拡大画像上で計測点の指定を行う方法が提案されている。この方法は、拡大画像上の画素の中から計測点に対応する画素を選択して指定し、指定された画素に対応する元画像上の画素の位置に基づいて計測を行う構成である。さらに、指定された計測点の元画像上での位置は、拡大倍率の逆数単位で算出することができる。従って、この様に算出された位置に基づいて、元画像の画素間隔よりも細かい単位の計測を行うことも可能である。   Patent Document 1 proposes a method for enlarging an original image and designating measurement points on the enlarged image as a technique for designating measurement points on the original image. This method is a configuration in which a pixel corresponding to a measurement point is selected and designated from pixels on the enlarged image, and measurement is performed based on the position of the pixel on the original image corresponding to the designated pixel. Furthermore, the position of the designated measurement point on the original image can be calculated in units of reciprocal magnification. Therefore, based on the position calculated in this way, it is possible to measure in units smaller than the pixel interval of the original image.

ここで、従来方法による計測点の指定例を示す。例えば、図12は計測対象の元画像を示す。同図に示すように、元画像は背景が白であり、太さが2画素である2本の黒い線が直角に交わっている。計測点は2本の線の交点の中心であり、この点を含む領域を拡大する拡大領域としている。   Here, an example of specifying measurement points by a conventional method is shown. For example, FIG. 12 shows an original image to be measured. As shown in the figure, the original image has a white background and two black lines having a thickness of 2 pixels intersect at right angles. The measurement point is the center of the intersection of two lines, and an area including this point is an enlarged area.

図13は、この拡大領域を拡大して示す図である。同図に示す拡大画像上には指定点を示す+印が表示されている。上記技術では、同図に示す拡大画像上で計測点を指定し、指定された拡大画像上の画素に対応する元画像上の画素の位置に基づいて計測を行っている。また、上記のように、指定された拡大画像上の画素に対応する元画像上の位置を拡大倍率の逆数の単位で算出し、この位置に基づいて計測することも可能である。
特開平4−332523号公報
FIG. 13 is an enlarged view of this enlarged region. A + mark indicating a designated point is displayed on the enlarged image shown in FIG. In the above technique, measurement points are designated on the enlarged image shown in the figure, and measurement is performed based on the positions of the pixels on the original image corresponding to the pixels on the designated enlarged image. Further, as described above, the position on the original image corresponding to the pixel on the designated enlarged image can be calculated in units of the reciprocal of the enlargement magnification, and measurement can be performed based on this position.
JP-A-4-332523

しかしながら、前記従来方法においては、元画像の画素間隔より細かい単位で計測点を指定する場合、計測点として最も特徴を持つ点を元画像の画素間において判断して指定する。しかし、最も特徴を持つ点を判断することは難しい。すなわち、単なる拡大では元画像の画素が単純に拡大されるだけであり、特徴が現れ難いため、ユーザが特徴のある位置を予測して指定することになり正確に指定することは難しい。一方、線形補間などの1次以上の補間による拡大では、画像がぼやけ易いため、位置指定の判断が困難である。   However, in the conventional method, when the measurement points are specified in units smaller than the pixel interval of the original image, the point having the most characteristic as the measurement points is determined and specified between the pixels of the original image. However, it is difficult to determine the points with the most characteristics. In other words, the simple enlargement simply enlarges the pixels of the original image, and the feature is difficult to appear. Therefore, the user predicts and designates the position having the feature, and it is difficult to designate it accurately. On the other hand, in the enlargement by the first-order or higher-order interpolation such as linear interpolation, it is difficult to determine the position designation because the image is easily blurred.

さらに、上記従来方法では計測点の位置指定の単位は、元画像の画素間隔もしくは拡大倍率の逆数に制限されるため、計測点の指定位置が限定されてしまう。すなわち、計測点の位置指定の単位を元画像の画素間隔よりも細かくするためには、元画像を拡大する必要があった。その結果、計測点の位置指定を細かい単位で行うためには、拡大倍率を上げなければならないが、拡大倍率を上げると拡大範囲が狭くなるため拡大画像が分かり難くなり、計測点の指定が困難となる。   Further, in the conventional method, the unit for specifying the position of the measurement point is limited to the pixel interval of the original image or the inverse of the enlargement magnification, and thus the specified position of the measurement point is limited. That is, in order to make the unit for specifying the position of the measurement point finer than the pixel interval of the original image, it is necessary to enlarge the original image. As a result, in order to specify the position of the measurement point in fine units, the enlargement magnification must be increased. However, if the enlargement magnification is increased, the enlargement range becomes narrow and the enlarged image becomes difficult to understand, making it difficult to specify the measurement point. It becomes.

本発明は、計測点の位置指定が容易であり、例えば拡大倍率によらず位置指定が任意に指定でき、高精度な計測が可能な計測用内視鏡装置を提供することを目的とする。   An object of the present invention is to provide a measurement endoscope apparatus that can easily specify the position of a measurement point, for example, can arbitrarily specify the position regardless of the magnification, and can perform high-precision measurement.

上記課題は本発明によれば、画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置で再サンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置であって、元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段とを備えた計測用内視鏡装置を提供することによって達成できる。   According to the present invention, there is provided an original image acquisition means for acquiring an image sampled and read in pixel units as an original image, and re-sampling at a predetermined position with respect to a part or all of the original image. And a re-sampling image generating means for generating an image, wherein a sampling point corresponding to each pixel in a part or all of a region of the original image is smaller than a pixel interval of the original image A sampling point moving means that moves in units, and a measurement point that specifies the position of the measurement point on the original image in units smaller than the pixel interval of the original image by moving the sampling point to a desired point by the sampling point moving means Provided is a measuring endoscope apparatus including a position specifying unit and a measuring unit that performs measurement in units smaller than the pixel interval of an original image based on the position of a specified measurement point. It can be achieved by the.

また、上記構成に加えて、サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、拡大画像を表示する拡大画像表示手段と、拡大画像上で計測点の位置を指定する計測点位置指定手段とを有する計測用内視鏡装置を提供することによって達成できる。   In addition to the above configuration, a sampling point moving image generating unit that generates an image in which the sampling point is moved by the sampling point moving unit, an enlarged image generating unit that generates an enlarged image by enlarging the sampling point moving image, This can be achieved by providing an endoscope apparatus for measurement having enlarged image display means for displaying an enlarged image and measurement point position designation means for designating the position of the measurement point on the enlarged image.

さらに、サンプリング点移動手段で、移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を設けた計測用内視鏡装置を提供することによって達成できる。   Furthermore, this can be achieved by providing a measuring endoscope apparatus provided with sampling point movement amount unit designation means for designating a unit of movement amount of the moved sampling point by the sampling point movement means.

さらに、拡大画像表示手段に表示される拡大画像に対して拡大画像の信号の変化の割合を減少させるようにフィルタ処理するフィルタ手段を設けた。
上記構成により、元画像の画素間隔より細かい単位で計測点を位置指定する際に必要な特徴点をもつ位置の判断が容易になる。また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となり、更に任意の倍率による拡大によって計測点の指定の容易さが向上する。拡大画像を用いて計測点を指定する場合は、拡大画像表示手段に表示される拡大画像のノイズを低減することができ、計測点の指定が容易となる。
Further, filter means is provided for performing a filtering process so as to reduce the rate of change of the enlarged image signal with respect to the enlarged image displayed on the enlarged image display means.
With the above configuration, it is easy to determine a position having a characteristic point necessary for specifying a measurement point in units smaller than the pixel interval of the original image. In addition, since the unit for specifying the position of the measurement point can be set arbitrarily, measurement with higher accuracy than before can be performed, and the ease of specifying the measurement point is improved by enlargement with an arbitrary magnification. When the measurement point is designated using the enlarged image, the noise of the enlarged image displayed on the enlarged image display means can be reduced, and the measurement point can be easily specified.

本発明によれば、元画像の画素間隔より細かい単位で計測点を位置指定する際、必要な特徴をもつ点の判断が容易となる。
また、計測点の位置指定の単位は任意に設定できるため、従来より高精度な計測が可能となる。
According to the present invention, when the position of a measurement point is specified in a unit smaller than the pixel interval of the original image, it becomes easy to determine a point having a necessary characteristic.
In addition, since the unit for specifying the position of the measurement point can be set arbitrarily, measurement with higher accuracy than before can be performed.

さらに、任意の倍率による拡大によって計測点の指定が更に容易となる。   Furthermore, the measurement point can be specified more easily by enlargement at an arbitrary magnification.

以下、本発明の実施の形態を図面を参照しながら説明する。
図1〜図11は本実施形態に係わり、図1は計測用内視鏡装置を説明する図であり、図2は計測用内視鏡装置の構成を説明するブロック図であり、図3はリモートコントローラを説明する図であり、図4は直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図であり、図5は図4のA−A断面図であり、図6はステレオ計測により計測点の3次元座標を求める方法を説明する図であり、図7は計測用内視鏡装置による計測の流れを説明するフローチャートであり、図8は図1の計測用内視鏡装置のステレオ計測実行画面を示す説明図であり、図9はサンプリング点移動画像の拡大画像を示す図であり、図10はサンプリング点移動画像とその拡大画像が生成される原理を説明する図であり、図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。
Embodiments of the present invention will be described below with reference to the drawings.
1 to 11 relate to the present embodiment, FIG. 1 is a diagram illustrating a measurement endoscope apparatus, FIG. 2 is a block diagram illustrating a configuration of the measurement endoscope apparatus, and FIG. FIG. 4 is a perspective view showing a configuration in which a direct-viewing stereo optical adapter is attached to the distal end portion of a measurement endoscope, and FIG. 5 is a cross-sectional view taken along line AA in FIG. 6 is a diagram for explaining a method for obtaining the three-dimensional coordinates of the measurement point by stereo measurement, FIG. 7 is a flowchart for explaining the flow of measurement by the endoscope apparatus for measurement, and FIG. 8 is the measurement of FIG. FIG. 9 is a diagram showing an enlarged image of a sampling point moving image, and FIG. 10 is a diagram showing the principle of generating the sampling point moving image and its enlarged image. FIG. 11 shows the original image. That illustrates a mobile sampling points and the sampling points.

先ず、図1に示すように、計測用内視鏡装置10はステレオ計測可能なものを含む光学アダプタを着脱自在に構成した内視鏡挿入部11と、該内視鏡挿入部11を収納するコントロールユニット12と、計測用内視鏡装置10のシステム全体の各種動作制御を実行するのに必要な操作を行うリモートコントローラ13と、内視鏡画像や操作制御内容(例えば処理メニュー)等の表示を行う液晶モニタ(以下、LCDと記載)14と、通常の内視鏡画像、あるいはその内視鏡画像を擬似的にステレオ画像として立体視可能なフェイスマウントディスプレイ(以下, FMDと記載)17と、該FMD17に画像データを供給するFMDアダプタ18とを含んで構成されている。   First, as shown in FIG. 1, the measurement endoscope apparatus 10 houses an endoscope insertion portion 11 in which an optical adapter including a stereo measureable member is detachable, and the endoscope insertion portion 11. A control unit 12, a remote controller 13 that performs operations necessary to execute various operation controls for the entire system of the measuring endoscope apparatus 10, and display of endoscopic images and operation control contents (for example, processing menus). A liquid crystal monitor (hereinafter referred to as “LCD”) 14, a normal endoscopic image, or a face-mount display (hereinafter referred to as “FMD”) 17 capable of stereoscopically viewing the endoscopic image as a pseudo stereo image; And an FMD adapter 18 for supplying image data to the FMD 17.

次に、図2を参照しながら計測用内視鏡装置10のシステム構成を詳細に説明する。図2に示すように、前記内視鏡挿入部11は、内視鏡ユニット24に接続される。この内視鏡ユニット24は、例えは図1に示したコントロールユニット12内に搭載されている。また、この内視鏡ユニット24は、撮影時に必要な照明光を得るための光源装置と、前記内視鏡挿入部11を電気的に自在に湾曲させるための電動湾曲装置とを含んで構成されている。また、内視鏡挿入部11先端の個体撮像素子43(図5参照)からの撮像信号は、カメラコントロールユニット(以下、CCUと記載)25に入力される。 該CCU25は、供給された撮像信号をNTSC信号等の映像信号に変換し、前記コントロールユニット12内の主要処理回路群へと供給する。   Next, the system configuration of the measurement endoscope apparatus 10 will be described in detail with reference to FIG. As shown in FIG. 2, the endoscope insertion portion 11 is connected to an endoscope unit 24. The endoscope unit 24 is mounted, for example, in the control unit 12 shown in FIG. The endoscope unit 24 includes a light source device for obtaining illumination light necessary for photographing and an electric bending device for electrically bending the endoscope insertion portion 11. ing. An imaging signal from the individual imaging element 43 (see FIG. 5) at the distal end of the endoscope insertion portion 11 is input to a camera control unit (hereinafter referred to as CCU) 25. The CCU 25 converts the supplied imaging signal into a video signal such as an NTSC signal and supplies it to a main processing circuit group in the control unit 12.

前記コントロールユニット12内に搭載された主要回路郡は、図2に示すように、主要プログラムに基づき各種機能を実行し動作させるように制御を行うCPU26、ROM27、RAM28、PCカードインターフェイス(以下、PCカードI/Fと記載)30、USBインターフェイス(以下、USB I/Fと記載)31、RS−232Cインターフェイス(以下、RS−232C I/Fと記載)29、音声信号処理回路32、及び映像信号処理回路33とを含んで構成されている。尚、前記CPU26は、ROM27に格納されているプログラムを実行し、目的に応じた処理を行うように各種の回路部を制御してシステム全体の動作制御を行う。   As shown in FIG. 2, the main circuit group mounted in the control unit 12 includes a CPU 26, a ROM 27, a RAM 28, a PC card interface (hereinafter referred to as a PC card) that controls various functions based on the main program. Card I / F) 30, USB interface (hereinafter referred to as USB I / F) 31, RS-232C interface (hereinafter referred to as RS-232C I / F) 29, audio signal processing circuit 32, and video signal And a processing circuit 33. The CPU 26 executes a program stored in the ROM 27 and controls various circuit units so as to perform processing according to the purpose, thereby controlling the operation of the entire system.

前記RS−232c I/F29は、CCU25、内視鏡ユニット24、及びリモートコントローラ13にそれぞれ接続されている。リモートコントローラ13は、CCU25、内視鏡ユニット24の制御及び動作指示を行うためのものである。RS−232C I/F29は、リモートコントローラ13による操作に基づいてCCU25、内視鏡ユニット24を動作制御するのに必要な通信を行うためのものである。   The RS-232c I / F 29 is connected to the CCU 25, the endoscope unit 24, and the remote controller 13, respectively. The remote controller 13 is for performing control and operation instructions of the CCU 25 and the endoscope unit 24. The RS-232C I / F 29 is for performing communication necessary for controlling the operation of the CCU 25 and the endoscope unit 24 based on an operation by the remote controller 13.

前記USB I/F31は、前記コントロールユニット12とパーソナルコンピュータ21とを電気的に接続するためのインターフェイスである。前記USB I/F31を介して前記コントロールユニット12とパーソナルコンピュータ21とを接続した場合には、パーソナルコンピュータ21側でもコントロールユニット12における内視鏡画像の表示指示や計測時における画像処理などの各種の支持制御を行うことが可能であり、またコントロールユニット12、パーソナルコンピュータ21間で各種の処理に必要な制御情報やデータ等の入出力を行うことが可能である。   The USB I / F 31 is an interface for electrically connecting the control unit 12 and the personal computer 21. When the control unit 12 and the personal computer 21 are connected via the USB I / F 31, various kinds of instructions such as an endoscopic image display instruction in the control unit 12 and image processing during measurement are performed on the personal computer 21 side. Support control can be performed, and control information and data necessary for various processes can be input and output between the control unit 12 and the personal computer 21.

また、前記PCカードI/F30は、PCMCIAメモリカード23、及びコンパクトフラッシュ(登録商標)メモリカード22が着脱自由に接続される構成である。つまり、前記いずれかのメモリカードが装着された場合には、コントロールユニット12は、CPU26による制御によって、記録媒体としてのメモリカードに記憶された制御処理情報や画像情報等のデータを再生し、前記PCカードI/F30を介してコントロールユニット12内に取り込み、或いは制御処理情報や画像情報等のデータを、前記PCカードI/F30を介してメモリーカードに供給して記録することができる。   The PC card I / F 30 has a configuration in which a PCMCIA memory card 23 and a compact flash (registered trademark) memory card 22 are detachably connected. That is, when any one of the memory cards is inserted, the control unit 12 reproduces data such as control processing information and image information stored in the memory card as a recording medium under the control of the CPU 26, and Data such as control processing information and image information can be supplied to the memory card via the PC card I / F 30 and recorded in the control unit 12 via the PC card I / F 30.

前記映像信号処理回路33は、CCU25から供給された内視鏡画像とグラフィックによる操作メニューとを合成した合成画像を表示するように、CCU25からの映像信号とCPU26の制御により生成される操作メニューに基づく表示信号とを合成処理し、更にLCD14の画面上に表示するのに必要な処理を施してLCD14に供給する。これにより、LCD14には内視鏡画像と操作メニューとの合成画像が表示される。尚、映像信号処理回路33では、単に内視鏡画像、あるいは操作メニュー等の画像を単独で表示するための処理を行うことも可能である。   The video signal processing circuit 33 displays the video signal from the CCU 25 and the operation menu generated by the control of the CPU 26 so as to display a composite image obtained by combining the endoscopic image supplied from the CCU 25 and the graphic operation menu. The display signal based on the image is synthesized, and further, necessary processing for displaying on the screen of the LCD 14 is performed and supplied to the LCD 14. As a result, a composite image of the endoscope image and the operation menu is displayed on the LCD 14. In the video signal processing circuit 33, it is also possible to simply perform processing for displaying an endoscopic image or an image such as an operation menu alone.

また、図1に示したコントロールユニット12は、前記CCU25を経由せずに映像信号処理回路33に映像を入力する外部映像入力端子70を別に設けている。該外部映像入力端子70に映像信号が入力された場合、映像信号処理回路33はCCU25からの内視鏡画像に優先して前記合成画像を出力する。   Further, the control unit 12 shown in FIG. 1 is provided with an external video input terminal 70 for inputting video to the video signal processing circuit 33 without going through the CCU 25. When a video signal is input to the external video input terminal 70, the video signal processing circuit 33 outputs the composite image in preference to the endoscopic image from the CCU 25.

前記音声信号処理回路32は、マイク20により集音されて生成され、メモリーカード等の記録媒体に記録する音声信号、或いはメモリカード等の記録媒体の再生によって得られた音声信号、あるいはCPU26によって生成された音声信号が供給される。前記音声信号処理回路32は、供給された音声信号に再生するために必要な処理(増幅処理等)を施し、スピーカ19に出力する。これにより、スピーカ19によって音声信号が再生される。   The audio signal processing circuit 32 is generated by being collected by the microphone 20 and recorded on a recording medium such as a memory card, or an audio signal obtained by reproducing a recording medium such as a memory card, or generated by the CPU 26. The audio signal is supplied. The audio signal processing circuit 32 performs processing (amplification processing or the like) necessary for reproducing the supplied audio signal and outputs the processed signal to the speaker 19. Thereby, an audio signal is reproduced by the speaker 19.

前記リモートコントローラ13は、図3に示すようにジョイスティック61、レバースイッチ62、フリーズスイッチ63、ストアースイッチ64、計測実行スイッチ65、及び拡大表示切り換えようWIDEスイッチ66、TELEスイッチ67を併設して構成されている。   As shown in FIG. 3, the remote controller 13 includes a joystick 61, a lever switch 62, a freeze switch 63, a store switch 64, a measurement execution switch 65, an enlarged display switching WIDE switch 66, and a TELE switch 67. ing.

前記リモートコントローラ13において、ジョイスティック61は内視鏡先端部の湾曲動作を行うスイッチであり、360度の何れの方向にも自在に操作指示を与えたり、真下に押下することで湾曲動作の微調整の指示等を与えることが可能である。また、レバースイッチ62は、グラフィック表示される各種メニュー操作や計測を行う場合のポインター移動及び真下への押下による選択項目の決定操作を行うためのスイッチであり、前記ジョイスィックスイッチ61と略同形状に構成されたものである。フリーズスイッチ63は、LCD14表示にかかわるスイッチである。ストアースイッチ64は、前記フリーズスイッチ63の押下によって静止画像を表示した場合、該静止画像をPCMCIAメモリカード23(図2参照)に記録する場合に用いられるスイッチである。また、計測実行スイッチ65は、計測ソフトを実行する際に用いられるスイッチである。拡大表示切り換え用WIDEスイッチ66、及びTELEスイッチ67は、内視鏡画像を拡大縮小するのに用いられるスイッチである。尚、前記フリーズスイッチ63、ストアースイッチ64、及び計測実行スイッチ65は、例えばオン/オフの押下式を採用して構成されている。   In the remote controller 13, the joystick 61 is a switch for performing a bending operation of the distal end portion of the endoscope. The bending operation can be finely adjusted by giving an operation instruction freely in any direction of 360 degrees or by pressing down directly below. It is possible to give instructions. The lever switch 62 is a switch for performing selection operation of a selection item by moving a pointer and pressing down directly when performing various menu operations displayed in graphics and measurement, and has substantially the same shape as the joystick switch 61. It is composed of. The freeze switch 63 is a switch related to the LCD 14 display. The store switch 64 is a switch used when recording a still image on the PCMCIA memory card 23 (see FIG. 2) when a still image is displayed by pressing the freeze switch 63. The measurement execution switch 65 is a switch used when executing measurement software. The enlarged display switching WIDE switch 66 and the TELE switch 67 are used for enlarging and reducing the endoscopic image. The freeze switch 63, the store switch 64, and the measurement execution switch 65 are configured to employ, for example, an on / off pressing type.

内視鏡挿入部11で撮像される内視鏡画像は、映像信号処理回路33で必要に応じて拡大または縮小処理され、LCD14に出力される。この場合の拡大または縮小の倍率の制御はWIDEスイッチ66とTELEスイッチ67で行われる。また、計測実行時における拡大画像を表示する際の倍率の制御もWIDEスイッチ66とTELEスイッチ67で行われる。   The endoscope image captured by the endoscope insertion unit 11 is enlarged or reduced by the video signal processing circuit 33 as necessary, and is output to the LCD 14. In this case, the magnification or reduction magnification is controlled by the WIDE switch 66 and the TELE switch 67. Further, the WIDE switch 66 and the TELE switch 67 also control the magnification when displaying an enlarged image during measurement execution.

上記内視鏡挿入部11で撮像される内視鏡画像の拡大と縮小の制御と、計測実行時における拡大画像を表示する際の倍率の制御は、上記WIDEスイッチ66とTELEスイッチ67の2個のスイッチからなる構成で行っている。しかし、リモートコントローラ等の操作指示手段にこのような2個のスイッチを設けることが困難もしくは不可能な場合がある。このような場合、拡大縮小の制御を1個のスイッチで行うことも可能である。すなわち、このスイッチの押下ごとに所定の倍率Aまで倍率を増加または減少させ、所定の倍率Aに設定された後は逆にスイッチの押下ごとに所定の倍率Bまで倍率を減少または増加させる。この制御を繰り返すことで、1個のスイッチによって拡大縮小の制御を行うことが可能である。   The WIDE switch 66 and the TELE switch 67 are used to control the enlargement and reduction of the endoscope image captured by the endoscope insertion unit 11 and the magnification when displaying the enlarged image at the time of measurement execution. This is done with a configuration consisting of switches. However, there are cases where it is difficult or impossible to provide such two switches in the operation instruction means such as a remote controller. In such a case, the enlargement / reduction control can be performed by one switch. That is, each time this switch is pressed, the magnification is increased or decreased to a predetermined magnification A. After the predetermined magnification A is set, the magnification is decreased or increased to a predetermined magnification B every time the switch is pressed. By repeating this control, enlargement / reduction control can be performed by one switch.

次に、本実施の形態の計測用内視鏡装置10に用いられる光学アダプタの一種であるステレオ光学アダプタの構成を図4と図5を参照しながら説明する。
図4及び図5はステレオ光学アダプタ37を内視鏡先端部39に取り付けた状態を示しており、該ステレオ光学アダプタ37は、固定リング38の雌ねじ53により内視鏡先端部39の雄ねじ54と螺合することによって固定されるようになっている。
Next, the configuration of a stereo optical adapter which is a kind of optical adapter used in the measurement endoscope apparatus 10 of the present embodiment will be described with reference to FIGS.
4 and 5 show a state in which the stereo optical adapter 37 is attached to the endoscope distal end portion 39. The stereo optical adapter 37 is connected to the male screw 54 of the endoscope distal end portion 39 by the female screw 53 of the fixing ring 38. It is fixed by screwing.

また、ステレオ光学アダプタ37の先端には、一対の照明レンズ36と2つの対物レンズ系34、35が設けられている。2つの対物レンズ系34、35は、内視鏡先端部39内に配設された撮像素子43上に2つの画像を結像する。そして、撮像素子43により得られた撮像信号は、電気的に接続された信号線43a、及び図2に示す内視鏡ユニット24を介してCCU25に供給され、該CCU25により映像信号に変換された後に映像信号処理回路33に供給される。尚、映像信号は輝度値または輝度値と色差値を含む。また、CCU25に供給される撮像信号によって生成される画像を元画像と呼ぶ。   In addition, a pair of illumination lenses 36 and two objective lens systems 34 and 35 are provided at the tip of the stereo optical adapter 37. The two objective lens systems 34 and 35 form two images on the image sensor 43 provided in the endoscope distal end 39. The image pickup signal obtained by the image pickup device 43 is supplied to the CCU 25 via the electrically connected signal line 43a and the endoscope unit 24 shown in FIG. 2, and converted into a video signal by the CCU 25. It is supplied to the video signal processing circuit 33 later. The video signal includes a luminance value or a luminance value and a color difference value. An image generated by the imaging signal supplied to the CCU 25 is called an original image.

次に、図6を参照して、ステレオ計測による計測点の3次元座標の求め方を説明する。左側及び右側の光学系にて撮像された元画像上の計測点の座標をそれぞれ(XL,YL)、(XR,YR)とし、計測点の3次元座標を(X,Y,Z)とする。但し、(XL,YL)、(XR,YR)の原点は、それぞれ左側及び右側の光学系における光軸と、撮像素子43の交点であり、(X,Y,Z)の原点は左側及び右側の光学中心の中間点である。左側と右側の光学中心の距離をD、焦点距離をFとすると、三角測量の方法により、
X=t×XR +D/2
Y=t×YR
Z=t×F
ただし、t=D/(XL−XR)となる。
Next, how to obtain the three-dimensional coordinates of the measurement point by stereo measurement will be described with reference to FIG. The coordinates of the measurement points on the original image captured by the left and right optical systems are (XL, YL) and (XR, YR), respectively, and the three-dimensional coordinates of the measurement points are (X, Y, Z). . However, the origins of (XL, YL) and (XR, YR) are the intersections of the optical axis in the left and right optical systems and the image sensor 43, respectively, and the origins of (X, Y, Z) are the left and right sides. Is the midpoint of the optical center. If the distance between the left and right optical centers is D and the focal length is F, the triangulation method
X = t × XR + D / 2
Y = t × YR
Z = t × F
However, t = D / (XL-XR).

このように、元画像上の計測点の座標が決定されると、既知のパラメータD及びFを用いて計測点の3次元座標が求まる。そして、いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状など様々な計測が可能である。   In this way, when the coordinates of the measurement point on the original image are determined, the three-dimensional coordinates of the measurement point are obtained using the known parameters D and F. By obtaining three-dimensional coordinates of several points, various measurements such as the distance between two points, the distance between two points and the distance between one point, area, depth, and surface shape are possible.

以上の構成の計測用内視鏡装置において、以下に図7〜図11を用いて本例の処理動作を説明する。ここで、図7はステレオ計測のフローチャートを示し、図8はステレオ計測の画面を示す図である。また、図8の画像は、例えば航空機のエンジン部品であるタービンブレードに欠けが生じた例を示しており、欠けの最も外側の幅を計測する場合の計測画面を示している。   In the measuring endoscope apparatus having the above configuration, the processing operation of this example will be described below with reference to FIGS. Here, FIG. 7 shows a flowchart of stereo measurement, and FIG. 8 shows a screen of stereo measurement. Further, the image of FIG. 8 shows an example in which a chip is generated in a turbine blade, which is an engine part of an aircraft, for example, and shows a measurement screen when measuring the outermost width of the chip.

先ず、前述のジョイスティック61に設けられた計測実行スイッチ65を押下すると、図7(a)に示す計測フローのステップS001により、画素単位でサンプリングして読み取った画像を元画像として取得し、ステップS002で表示装置に表示する。図8(a)は読み取られた左右2つの元画像と、計測の操作を指示するアイコンと、レバースイッチ62で位置が指定されるポインタからなる計測画面を示す。   First, when the measurement execution switch 65 provided on the joystick 61 described above is pressed, an image sampled and read in units of pixels is acquired as an original image in step S001 of the measurement flow shown in FIG. Is displayed on the display device. FIG. 8A shows a measurement screen including two read left and right original images, an icon for instructing a measurement operation, and a pointer whose position is specified by the lever switch 62.

次に、ステップS003において左画像上で計測点を指定する。この計測点の指定は、図7(b)に示す計測点指定フローにより実行する。先ず、ステップS101で元画像上で拡大対象となる拡大領域を設定する。この拡大領域の設定は、図7(c)に示す拡大領域設定フローにより実行する。すなわち、ステップS501でレバースイッチ62を操作し、元画像上の計測点付近の位置を指定し、ステップS502で拡大画像表示指示を行うと、ステップS503で拡大領域を決定する。本例では、拡大領域はレバースイッチ62で指定された位置を中心とする所定の範囲の領域とする。   Next, a measurement point is designated on the left image in step S003. This measurement point designation is executed according to the measurement point designation flow shown in FIG. First, in step S101, an enlargement area to be enlarged is set on the original image. This enlargement area setting is executed according to the enlargement area setting flow shown in FIG. That is, when the lever switch 62 is operated in step S501, the position near the measurement point on the original image is designated, and when an enlarged image display instruction is given in step S502, the enlarged region is determined in step S503. In this example, the enlarged area is an area in a predetermined range centered on the position designated by the lever switch 62.

次に、ステップS102では拡大画像を生成する。この拡大画像の生成は、図7(d)に示すフローに従って実行される。先ず、ステップS601で、拡大領域内のサンプリング点の位置に基づいて画像を生成する。拡大領域内のサンプリング点の位置は、最初は元画像取得時におけるサンプリングの位置であり、後述のステップS107で移動される。   Next, in step S102, an enlarged image is generated. The generation of the enlarged image is executed according to the flow shown in FIG. First, in step S601, an image is generated based on the position of the sampling point in the enlarged region. The position of the sampling point in the enlarged area is the sampling position at the time of original image acquisition, and is moved in step S107 described later.

ここで、移動された場合、拡大領域のサンプリング点の位置は元画像取得時のサンプリングの位置からずれるため、元画像上の画素から補間によって画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。このステップS601で生成される画像をサンプリング点移動画像とする。   Here, when moved, the position of the sampling point in the enlarged region deviates from the position of sampling at the time of acquisition of the original image, so an image is generated by interpolation from the pixels on the original image. As the interpolation method, nearest neighbor interpolation, linear interpolation, bicubic interpolation, or the like is used. The image generated in step S601 is set as a sampling point moving image.

次に、ステップS602でWIDEスイッチ66、又はTELEスイッチ67の押下回数から拡大倍率を設定し、ステップS603でサンプリング点移動画像の画素数を補間により拡大倍率分だけ増加させることで、拡大画像を生成する。補間方法は、最近傍補間、線形補間、双3次補間などを使用する。ステップS604では拡大画像に対して後述するフィルタ処理を行う。   Next, in step S602, an enlargement magnification is set from the number of times the WIDE switch 66 or TELE switch 67 is pressed, and in step S603, the number of pixels of the sampling point moving image is increased by interpolation by the enlargement magnification to generate an enlarged image. To do. As the interpolation method, nearest neighbor interpolation, linear interpolation, bicubic interpolation, or the like is used. In step S604, filter processing described later is performed on the enlarged image.

次に、ステップS103において、拡大画像の大きさと位置を決定して表示する。尚、表示位置は元画像に重畳することも可能であり、この場合、拡大画像の表示位置を元画像の拡大領域から常に所定の距離以上離れた位置とすることで、拡大領域及びその付近が表示されなくならないようにする。   Next, in step S103, the size and position of the enlarged image are determined and displayed. Note that the display position can be superimposed on the original image. In this case, the display position of the enlarged image is always at a predetermined distance or more away from the enlarged area of the original image, so that the enlarged area and its vicinity are Prevent it from disappearing.

次に、ステップS104では拡大画像上において指定点となる画素を選択する。そして、選択された画素上には指定点を示すカーソルを表示する。尚、指定点となる画素は拡大画像上の所定の固定位置でもよい。   Next, in step S104, a pixel to be a designated point on the enlarged image is selected. Then, a cursor indicating the designated point is displayed on the selected pixel. Note that the pixel serving as the designated point may be a predetermined fixed position on the enlarged image.

図8(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示している。この計測画面には画面中央に拡大画像と指定点を示すカーソルが表示される。拡大画像の右及び下には、それぞれ指定点から垂直方向及び水平方向の画素の輝度を示すグラフが表示され、指定点とその周辺の輝度を確認することができる。また、拡大倍率が3倍であることを示す「3x」が表示される。   FIG. 8B shows a measurement screen when an enlarged image is displayed by pointing near the measurement point. On the measurement screen, an enlarged image and a cursor indicating the designated point are displayed at the center of the screen. Graphs indicating the luminance of the pixels in the vertical direction and the horizontal direction from the designated point are displayed on the right and bottom of the enlarged image, respectively, and the designated point and the surrounding luminance can be confirmed. In addition, “3x” indicating that the enlargement magnification is 3 times is displayed.

次に、ステップS105において、上記指定点により計測点が指定されているか判断する。ここで、計測点の指定がされていなければ、ステップS106に進み、指定されていればレバースイッチ62を押下してステップS108に進む。   Next, in step S105, it is determined whether a measurement point is designated by the designated point. If the measurement point is not specified, the process proceeds to step S106. If the measurement point is specified, the lever switch 62 is pressed and the process proceeds to step S108.

ステップS106ではサンプリング点を移動するか判断する。拡大画像上に計測点が存在し、サンプリング点と計測点が一致しているためにサンプリング点を移動する必要がなければ、ステップS104に移り、表示されている計測点を指定点として選択する。拡大画像上に計測点が存在するが、サンプリング点と計測点が一致せずサンプリング点を移動する必要がある場合や、拡大画像上に計測点が存在しない場合はステップS107に移る。このステップS107では、拡大画像上の指定点により計測点が指定されるように、サンプリング点を移動する。サンプリング点の移動は図7(e)に示すフローに従って行われる。先ず、ステップS801において指定点を計測点付近に速く移動するため、サンプリング点の移動量の単位は元画像の画素間隔の単位に設定される。   In step S106, it is determined whether to move the sampling point. If there is a measurement point on the enlarged image and it is not necessary to move the sampling point because the sampling point coincides with the measurement point, the process moves to step S104, and the displayed measurement point is selected as the designated point. If there is a measurement point on the enlarged image but the sampling point does not match the measurement point and the sampling point needs to be moved, or if no measurement point exists on the enlarged image, the process proceeds to step S107. In step S107, the sampling point is moved so that the measurement point is designated by the designated point on the enlarged image. The sampling point is moved according to the flow shown in FIG. First, in step S801, in order to quickly move the designated point to the vicinity of the measurement point, the unit of the movement amount of the sampling point is set to the unit of the pixel interval of the original image.

次に、ステップS802でレバースイッチ62により、指定点を計測点に近づける。このため、ジョイスティック61を押下し、高い精度で計測点を指定するため、サンプリング点の移動量の単位を画素間隔より細かい単位に切り換える。そして、レバースイッチ62によりサンプリング点の位置を移動させ、指定点を計測点まで移動させる。尚、サンプリング点の移動量の単位が画素間隔より細かく設定された場合、「F」アイコンが表示される(後述する図8(c)を参照)。   Next, in step S802, the specified point is brought close to the measurement point by the lever switch 62. For this reason, in order to specify the measurement point with high accuracy by depressing the joystick 61, the unit of the moving amount of the sampling point is switched to a unit finer than the pixel interval. Then, the position of the sampling point is moved by the lever switch 62, and the designated point is moved to the measurement point. When the unit of the moving amount of the sampling point is set more finely than the pixel interval, an “F” icon is displayed (see FIG. 8C described later).

このように処理することにより、指定点が計測点より離れている場合移動量を画素間隔として迅速に指定点を計測点に近づけ、その後移動量の単位を画素間隔より細かく設定し、指定点を正確に計測点に近づける。したがって、本例のこの処理により、ユーザは容易に計測点の設定を行うことができる。   By processing in this way, if the specified point is far from the measurement point, the specified point is quickly brought closer to the measurement point with the movement amount as the pixel interval, and then the unit of the movement amount is set more finely than the pixel interval, and the specified point is Close to the measurement point accurately. Therefore, the user can easily set measurement points by this processing of this example.

尚、サンプリング点の移動は、以下の手順に従って行ってもよい。先ず、ステップS801ではジョイスティック61、又はフリーズスティック63の押下状態によってサンプリング点の移動量の単位の設定を決定する。次に、ステップS801の設定に従って、ステップS802でレバースイッチ62により指定点を計測点付近に近づかせる。   The sampling point may be moved according to the following procedure. First, in step S801, the setting of the unit of movement of the sampling point is determined by the pressed state of the joystick 61 or the freeze stick 63. Next, according to the setting in step S801, the designated point is moved closer to the measurement point by the lever switch 62 in step S802.

次に、上記ステップS107の処理によってサンプリング点の位置が移動されると、これに伴って拡大領域も移動される。サンプリング点の移動後、ステップS102に戻り、再度拡大画像を生成し表示する。図8(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す。また、同図(d)は、拡大倍率を6倍に変更させた場合の計測画面を示している。さらに、同図(e)はサンプリング点の移動量の単位を元画像の画素間隔に設定し、同図(d)の状態からサンプリング点を移動させた場合の計測画面を示している。   Next, when the position of the sampling point is moved by the process of step S107, the enlarged region is moved accordingly. After moving the sampling point, the process returns to step S102, and an enlarged image is generated and displayed again. FIG. 8C shows a measurement screen including an enlarged image when the sampling point is moved. FIG. 4D shows a measurement screen when the enlargement magnification is changed to 6 times. Further, FIG. 9E shows a measurement screen when the unit of the moving amount of the sampling point is set to the pixel interval of the original image and the sampling point is moved from the state of FIG.

このように、サンプリング点の移動量の単位を切り換えることで、大まかな移動と細かい移動が行え、計測点の指定を容易に行うことができる。
次に、上記処理により指定点が計測点まで移動した後、ステップS105でレバースイッチ62を押下して指定点を決定し、ステップS108で指定点の位置から計測点の元画像上での位置を算出する。
In this way, by switching the unit of the movement amount of the sampling point, rough movement and fine movement can be performed, and the measurement point can be easily specified.
Next, after the designated point has moved to the measurement point by the above processing, the designated point is determined by pressing the lever switch 62 in step S105, and the position of the measurement point on the original image is determined from the position of the designated point in step S108. calculate.

次に、ステップS004では、ステップS003で指定された時点の拡大画像を、左画像上に重畳して表示する。そして、ステップS005では、ステップS003で指定された計測点に対応する右画像上での対応点を検索する。この検索は既存の画像のテンプレートマッチング法によって、元画像の画素間隔よりも細かい単位で行う。   Next, in step S004, the enlarged image at the time point designated in step S003 is displayed superimposed on the left image. In step S005, a corresponding point on the right image corresponding to the measurement point designated in step S003 is searched. This search is performed in a unit smaller than the pixel interval of the original image by the template matching method of the existing image.

次に、ステップS006では、検索された右画像上の対応点の周辺を、左画像の拡大と同様に拡大し、右画像上に重畳して表示する。図8(f)は、この時の計測画面を示している。これら元画像上の拡大画像の表示により、次の計測点を指定する間にも、正しく前回の計測点を確認し、右画像の対応点のマッチング結果を確認することが可能となり、計測の誤りを防ぐことが可能になる。   Next, in step S006, the vicinity of the corresponding point on the searched right image is enlarged in the same manner as the enlargement of the left image, and is superimposed and displayed on the right image. FIG. 8F shows the measurement screen at this time. By displaying the enlarged image on the original image, it is possible to check the previous measurement point correctly and to check the matching result of the corresponding point in the right image while specifying the next measurement point. It becomes possible to prevent.

次に、ステップS007で、左画面の計測点の位置を修正するか判断する。ここで、左画面の計測点の位置を修正する場合には、レバースイッチ62を操作しで計測画面上のアイコン「←」を選択し、ステップS003に戻り、計測点を再度指定する。一方、修正しない場合にはステップS008に進む。   Next, in step S007, it is determined whether to correct the position of the measurement point on the left screen. Here, when correcting the position of the measurement point on the left screen, the lever switch 62 is operated to select the icon “←” on the measurement screen, the process returns to step S003, and the measurement point is designated again. On the other hand, when not correcting, it progresses to step S008.

ステップS008では、右画面の対応点の位置を修正するか判断する。そして、修正する場合には、レバースイッチ62を操作して計測画面上のアイコン[→]を選択し、ステップS010に進み、前述の左画像上の計測点の指定と同様にして右画像上で対応点を指定する。そして、ステップS011において、右画像上の対応点の周辺を前述のステップS006における処理と同様に表示する。   In step S008, it is determined whether to correct the position of the corresponding point on the right screen. In the case of correction, the lever switch 62 is operated to select the icon [→] on the measurement screen, the process proceeds to step S010, and the measurement point on the left image is designated on the right image in the same manner as described above. Specify the corresponding points. In step S011, the periphery of the corresponding point on the right image is displayed in the same manner as the processing in step S006 described above.

尚、ステップS007及びステップS008の判断に際しては、左画像の計測点と右画像の対応点の周辺の拡大画像をそれぞれ左画面と右画面に大きく表示し、正しく計測点と対応点が指定されているかを確認するようにしてもよい。   In the determination at step S007 and step S008, enlarged images around the measurement point of the left image and the corresponding point of the right image are displayed large on the left screen and the right screen, respectively, and the measurement point and the corresponding point are correctly specified. You may make it confirm whether it is.

また、上記ステップS008において、位置を修正しない場合ステップS012に進み、他の計測点を指定するか判断する。そして、指定する場合にはステップS003に戻り、指定しない場合にはS013に進む。この処理では、以上で指定された計測点の位置に基づいて計測を行う。図8(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す。   If the position is not corrected in step S008, the process proceeds to step S012, and it is determined whether to specify another measurement point. If it is designated, the process returns to step S003, and if not designated, the process proceeds to S013. In this process, measurement is performed based on the position of the measurement point specified above. FIG. 8G shows a measurement screen including a measurement result when a distance between two points is measured.

図8(g)に示す計測結果の例では計測単位がmmとなっているが、画面内の「mm」、「inch」の選択を切り換えることで計測単位を切り換えることができる。計測単位を切り換えると、計測結果の表示も設定された単位に変更される。これにより計測作業を続けながら任意のタイミングで計測単位を切り換えられる。普段使用している単位と検査マニュアルに書かれている単位が異なる場合や、設定が間違っていた場合に役立つ。尚、メニューによる設定で計測単位を変更することも可能である。   In the example of the measurement result shown in FIG. 8G, the measurement unit is mm, but the measurement unit can be switched by switching the selection of “mm” and “inch” in the screen. When the measurement unit is switched, the display of the measurement result is also changed to the set unit. As a result, the measurement unit can be switched at an arbitrary timing while continuing the measurement work. This is useful when the unit you normally use differs from the unit written in the inspection manual, or when the settings are incorrect. It is also possible to change the measurement unit by setting with the menu.

次に、計測点指定の詳細について、前述の図12に示した元画像を例として説明する。図12に示す拡大領域は、最初前述の図13で示すように拡大される。但し、拡大のための画素数の増加には最近傍補間を使用している。指定点が2本の線の交点の中心まで移動するように、サンプリング点の移動量の単位を0.1画素に設定し、サンプリング点を左に0.5画素、下に0.5画素移動する。この処理によって、サンプリング点移動画像が線形補間により生成され、この画像の拡大画像が生成される。図9はこの時の拡大画像である。   Next, details of the measurement point designation will be described using the original image shown in FIG. 12 as an example. The enlarged area shown in FIG. 12 is first enlarged as shown in FIG. However, nearest neighbor interpolation is used to increase the number of pixels for enlargement. The unit of the moving amount of the sampling point is set to 0.1 pixel so that the designated point moves to the center of the intersection of the two lines, and the sampling point is moved 0.5 pixel to the left and 0.5 pixel downward. By this processing, a sampling point moving image is generated by linear interpolation, and an enlarged image of this image is generated. FIG. 9 is an enlarged image at this time.

次に、サンプリング点移動画像とその拡大画像が生成される原理について、図10を用いて説明する。元画像は図10(a)に示すように横6画素×縦1画素の元画像であって、中心の2画素が白、それ以外の周囲の画素が黒である。同図(b)は元画像のサンプリング点における輝度を示している。   Next, the principle of generating a sampling point moving image and an enlarged image thereof will be described with reference to FIG. As shown in FIG. 10A, the original image is an original image of 6 horizontal pixels × 1 vertical pixel, with the central two pixels being white and the other surrounding pixels being black. FIG. 4B shows the luminance at the sampling point of the original image.

このサンプリング点を右に元画像の1/3画素移動すると、移動されたサンプリング点の輝度は元画像の画素から補間により計算され、サンプリング点移動画像の輝度は同図(c)のようになる。また、サンプリング点の移動画像に対し、拡大のために画素数を増加させると輝度は同図(d)のようになる。この輝度から同図(e)の拡大画像が生成される。   When this sampling point is moved to the right by 1/3 pixel of the original image, the luminance of the moved sampling point is calculated by interpolation from the pixel of the original image, and the luminance of the sampling point moving image is as shown in FIG. . If the number of pixels is increased for enlargement of the moving image of the sampling point, the luminance is as shown in FIG. From this luminance, an enlarged image shown in FIG.

次に、図9に示す拡大画像が生成される原理について述べる。図11は元画像におけるサンプリング点と移動されたサンプリング点を示す図である。前述の図13に示す元画像では、黒い線は2個のサンプリング点に跨っており、例えば拡大画像上では元画像上の太さ2の線が単純に拡大された画像となる。一方、サンプリング位置を移動すると、黒線内の2画素に跨った位置のサンプリングでは黒となり、白と黒の境界位置では補間により灰色となる。従って、この拡大画像において、指定点の位置は黒であるが、その周囲は灰色となっている。   Next, the principle of generating the enlarged image shown in FIG. 9 will be described. FIG. 11 is a diagram showing sampling points and moved sampling points in the original image. In the original image shown in FIG. 13 described above, the black line extends over two sampling points. For example, on the enlarged image, a line having a thickness of 2 on the original image is simply enlarged. On the other hand, when the sampling position is moved, black is obtained when sampling is performed across two pixels in the black line, and gray is obtained by interpolation at the boundary position between white and black. Therefore, in this enlarged image, the position of the designated point is black, but the surrounding area is gray.

このように、サンプリング点移動画像の拡大画像では、指定している点の位置の色が明確である一方、その周囲では指定している点から元画像における1画素分ずつ離れた色が表示されているため、指定している点とそれ以外の点の色の区別ができ、特徴ある点の位置が判断し易い。そのため、元画像の画素間隔より小さい単位で所望の点を指定し易くなる。   As described above, in the enlarged image of the sampling point moving image, the color of the position of the designated point is clear, but a color separated from the designated point by one pixel in the original image is displayed around it. Therefore, it is possible to distinguish the color of the designated point and the other points, and it is easy to determine the position of the characteristic point. Therefore, it is easy to specify a desired point in a unit smaller than the pixel interval of the original image.

LCD14に出力される拡大画像には、図14(a)に示す縦縞状のノイズが現れる場合がある。図14(b)は元画像が点線で示す輝度をとる場合の表示手段に出力される輝度信号の例(実線)を示している。従来は、LCD14に出力される映像全体に対してフィルタ処理を行って、拡大画像上のノイズを低減もしくは除去していた。しかし、拡大画像以外の映像に対してもフィルタが適用されるため、映像がぼやけてしまうなどの不具合があった。本実施例における内視鏡装置では、上記で生成された拡大画像のみに対してフィルタ処理することで、拡大画像にあらわれるノイズを低減もしくは除去する。フィルタとしては、例えば拡大画像の信号の変化の割合を減少させる演算であって、以下に示すものが適用できる。
(A)それぞれの画素の輝度を、該画素の右隣の画素との重み付き平均とするフィルタ、すなわち
A(x,y)=p×LB(x,y)+q×LB(x+l,y)
ただし、p+q=1
例として、p=q=1/2(相加平均)
(B)それぞれの画素の輝度を、該画素の右隣の画素と左隣の画素との重み付き平均とするフィルタ、すなわち
A(x,y)=p×LB(x−l,y)+q×LB(x,y)+r×LB(x+l,y)
ただし、p+q+r=1
例として、p=r=1/4,q=1/2(重み付き平均)
あるいはp=r=0.274,q=0.452(ガウス関数f(x)=exp(−x^2/2σ)、σ=1を使用し、正規化したガウシアンフィルタ)
ただし、LB(x,y)はフィルタ処理前の画像の輝度値、LA(x,y)はフィルタ処理後の画像の輝度値、(x,y)は画像内の画素の位置を示す。
In the enlarged image output to the LCD 14, vertical stripe noise as shown in FIG. FIG. 14B shows an example (solid line) of the luminance signal output to the display means when the original image has the luminance indicated by the dotted line. Conventionally, the entire video output to the LCD 14 is filtered to reduce or eliminate noise on the enlarged image. However, since the filter is applied to video other than the enlarged image, there is a problem that the video is blurred. In the endoscope apparatus according to the present embodiment, only the enlarged image generated as described above is filtered to reduce or eliminate noise that appears in the enlarged image. As the filter, for example, an operation for reducing the rate of change in the signal of the enlarged image, and the following can be applied.
(A) A filter that sets the luminance of each pixel to a weighted average with the pixel on the right of the pixel, that is, L A (x, y) = p × L B (x, y) + q × L B (x + 1) , Y)
However, p + q = 1
As an example, p = q = 1/2 (arithmetic mean)
(B) A filter that sets the luminance of each pixel as a weighted average of the right adjacent pixel and the left adjacent pixel, that is, L A (x, y) = p × L B (x−l, y ) + Q × L B (x, y) + r × L B (x + 1, y)
However, p + q + r = 1
As an example, p = r = 1/4, q = 1/2 (weighted average)
Or p = r = 0.274, q = 0.552 (Gaussian function f (x) = exp (−x ^ 2 / 2σ), σ = 1, normalized Gaussian filter)
However, L B (x, y) represents the luminance value of the image before the filtering process, L A (x, y) represents the luminance value of the image after the filtering process, and (x, y) represents the position of the pixel in the image. .

図14(c)はフィルタ(B)(p=r=1/4、r=1/2)を適用した場合の拡大画像であり、縦縞状のノイズが低減されている。図14(d)は図14(b)の元画像にフィルタ(B)を適用した場合の例である。同図における点線および実線は、フィルタを適用した拡大画像の輝度と表示手段に出力される輝度信号をそれぞれ示している。   FIG. 14C is an enlarged image when the filter (B) (p = r = 1/4, r = 1/2) is applied, and vertical stripe noise is reduced. FIG. 14D shows an example in which the filter (B) is applied to the original image in FIG. The dotted line and the solid line in the figure respectively indicate the brightness of the enlarged image to which the filter is applied and the brightness signal output to the display means.

したがって、本例によればサンプリング点の移動量の単位を元画像より細かく任意に設定することができ、従来のように拡大倍率に依存しない高い精度で計測点を指定することができる。また、サンプリング点の移動の過程では拡大画像の変化が分かり易く、所望の計測点まで移動させることが容易である。   Therefore, according to this example, the unit of movement amount of the sampling point can be arbitrarily set more finely than the original image, and the measurement point can be designated with high accuracy not depending on the enlargement magnification as in the prior art. Further, in the process of moving the sampling points, it is easy to understand the change in the enlarged image, and it is easy to move to a desired measurement point.

さらに、適切な補間アルゴリズムを選択することで、拡大画像の見やすさが向上し、計測点の指定を行い易くすることができる。また、拡大倍率は単に整数倍だけでなく、実数倍させることで見易い所望の倍率で表示を行うことができる。   Further, by selecting an appropriate interpolation algorithm, it is possible to improve the visibility of the enlarged image and to easily specify the measurement point. Further, the magnification can be displayed at a desired magnification that is easy to see by not only an integral multiple but also a real number.

尚、上記実施形態の説明では、航空機のエンジン部品であるタービンブレードの欠けについて説明したが、本発明の計測用内視鏡装置は他の各種機器部品の傷や欠け等の計測に利用することができる。   In the above description of the embodiment, the turbine blade chip that is an engine part of the aircraft has been described. However, the measurement endoscope apparatus of the present invention is used for measuring scratches and chips of other various device parts. Can do.

本実施形態の計測用内視鏡装置を説明する図である。It is a figure explaining the endoscope apparatus for measurement of this embodiment. 計測用内視鏡装置の構成を説明するブロック図である。It is a block diagram explaining the structure of the endoscope apparatus for measurement. リモートコントローラを説明する図である。It is a figure explaining a remote controller. 直視型のステレオ光学アダプタを計測用内視鏡先端部に取り付けた構成を示す斜視図である。It is a perspective view which shows the structure which attached the direct-viewing type stereo optical adapter to the endoscope end part for measurement. 図4のA−A断面図である。It is AA sectional drawing of FIG. ステレオ計測により計測点の3次元座標を求める方法を示す図である。It is a figure which shows the method of calculating | requiring the three-dimensional coordinate of a measurement point by stereo measurement. (a)は、計測用内視鏡装置による計測の流れを説明するフローチャートであり、(b)は、計測点指定を説明するフローチャートであり、(c)は、拡大領域の設定を説明するフローチャートであり、(d)は、拡大画像の生成処理を説明するフローチャートであり、(e)は、サンプリング点の移動を説明するフローチャートである。(A) is a flowchart for explaining the flow of measurement by the measuring endoscope apparatus, (b) is a flowchart for explaining measurement point designation, and (c) is a flowchart for explaining setting of an enlarged region. (D) is a flowchart for explaining enlarged image generation processing, and (e) is a flowchart for explaining the movement of sampling points. (a)は、読み取られた左右2つの元画像を示す図であり、(b)は、計測点付近にポインティングして拡大画像を表示させた場合の計測画面を示す図であり、(c)は、サンプリング点を移動させた場合の拡大画像を含む計測画面を示す図であり、(d)は、拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(e)は、サンプリング点の移動量の単位を元画像の画素間隔に設定し拡大倍率を6倍に変更させた場合の計測画面を示す図であり、(f)は、計測画面を示す図であり、(g)は、2点間の距離を計測した場合の計測結果が含まれる計測画面を示す図である。(A) is a figure which shows two right-and-left original images read, (b) is a figure which shows the measurement screen at the time of pointing near a measurement point and displaying an enlarged image, (c) These are figures which show the measurement screen containing the enlarged image at the time of moving a sampling point, (d) is a figure which shows the measurement screen when changing magnification to 6 times, (e) FIG. 5 is a diagram showing a measurement screen when the unit of the moving amount of the sampling point is set to the pixel interval of the original image and the enlargement magnification is changed to 6.times., (F) is a diagram showing the measurement screen; g) is a diagram showing a measurement screen including a measurement result when a distance between two points is measured. 線形補間で生成されたサンプリング点移動画像の拡大画像を示す図である。It is a figure which shows the enlarged image of the sampling point movement image produced | generated by linear interpolation. (a)は、横6画素×縦1画素の元画像を示す図であり、(b)は、元画像のサンプリング点における輝度を示す図であり、(c)は、サンプリング点移動画像の輝度を示す図であり、(d)は、拡大のために画素数を増加させた場合の元画像のサンプリング点における輝度を示す図であり、(e)は、(d)の輝度情報から拡大画像を生成した図である。(A) is a figure which shows the original image of 6 horizontal pixels x 1 vertical pixel, (b) is a figure which shows the brightness | luminance in the sampling point of an original image, (c) is the brightness | luminance of a sampling point moving image. (D) is a figure which shows the brightness | luminance in the sampling point of the original image at the time of increasing the number of pixels for expansion, (e) is an enlarged image from the brightness | luminance information of (d). FIG. 元画像におけるサンプリング点と移動されたサンプリング点を示す図である。It is a figure which shows the sampling point in the original image, and the moved sampling point. 計測対象の元画像の一例を示す図である。It is a figure which shows an example of the original image of a measuring object. 図12の拡大領域の単純拡大画像を示す図である。It is a figure which shows the simple expansion image of the expansion area | region of FIG. (a)は拡大画像に縦縞状のノイズが現れる場合を示す図であり、(b)はこの場合の輝度信号の例を示す図である。また、(c)はフィルタを適用した場合のノイズが低減される例を示す図であり、(d)はこの場合の輝度信号の例を示す図である。(A) is a figure which shows the case where the noise of a vertical stripe appears in an enlarged image, (b) is a figure which shows the example of the luminance signal in this case. Moreover, (c) is a figure which shows the example in which the noise at the time of applying a filter is reduced, (d) is a figure which shows the example of the luminance signal in this case.

符号の説明Explanation of symbols

10・・・計測用内視鏡装置
11・・・内視鏡挿入部
12・・・コントロールユニット
13・・・リモートコントローラ
14・・・液晶モニタ(LCD)
17・・・フェイスマウントディスプレイ(FMD)
18・・・FMDアダプタ
19・・・スピーカ
20・・・マイク
21・・・パーソナルコンピュータ
22・・・コンパクトフラッシュ(登録商標)メモリカード
23・・・PCMCIAメモリカード(PMCIAメモリカード)
24・・・内視鏡ユニット
25・・・カメラコントロールユニット(CCU)
26・・・CPU
27・・・ROM
28・・・RAM
29・・・RS−232Cインターフェイス(RS−232C I/F)
30・・・PCカードインターフェイス(PCカードI/F)
31・・・USBインターフェイス(USB I/F)
32・・・音声信号処理回路
33・・・映像信号処理回路
34、35・・・対物レンズ系
36・・・照明レンズ
37・・・ステレオ光学アダプタ
38・・・固定リング
39・・・内視鏡先端部
43・・・個体撮像素子
43a・・・信号線
53・・・雌ねじ
54・・・雄ねじ
61・・・ジョイスティック
62・・・レバースイッチ
63・・・フリーズスイッチ
64・・・ストアースイッチ
65・・・計測実行スイッチ
66・・・拡大表示切り換え用WIDEスイッチ
67・・・TELEスイッチ
70・・・外部映像入力端子

DESCRIPTION OF SYMBOLS 10 ... Endoscope for measurement 11 ... Endoscope insertion part 12 ... Control unit 13 ... Remote controller 14 ... Liquid crystal monitor (LCD)
17 ... Face Mount Display (FMD)
18 ... FMD adapter 19 ... speaker 20 ... microphone 21 ... personal computer 22 ... compact flash (registered trademark) memory card 23 ... PCMCIA memory card (PMCIA memory card)
24 ... Endoscope unit 25 ... Camera control unit (CCU)
26 ... CPU
27 ... ROM
28 ... RAM
29 ... RS-232C interface (RS-232C I / F)
30 ・ ・ ・ PC card interface (PC card I / F)
31 ... USB interface (USB I / F)
32 ... Audio signal processing circuit 33 ... Video signal processing circuit 34, 35 ... Objective lens system 36 ... Illumination lens 37 ... Stereo optical adapter 38 ... Fixing ring 39 ... Internal view Mirror tip 43 ... Individual imaging device 43a ... Signal line 53 ... Female screw 54 ... Male screw 61 ... Joystick 62 ... Lever switch 63 ... Freeze switch 64 ... Store switch 65 ... Measurement execution switch 66 ... WIDE switch for enlarged display switching 67 ... TELE switch 70 ... External video input terminal

Claims (4)

画素単位でサンプリングして読み取った画像を元画像として取得する元画像取得手段と、前記元画像の一部または全部の領域に対して所定の位置でサンプリングして画像を生成する再サンプリング画像生成手段とを有する計測用内視鏡装置において、
前記再サンプリング画像生成手段において元画像の一部または全部の領域内の各画素に対応するサンプリング点を、元画像の画素間隔より細かい単位で移動させるサンプリング点移動手段と、
該サンプリング点移動手段でサンプリング点を所望の点に移動することによって、元画像の画素間隔より細かい単位で計測点の元画像上の位置を指定する計測点位置指定手段と、
指定された計測点の位置に基づいて、元画像の画素間隔より細かい単位で計測を行う計測手段と、
を有することを特徴とする計測用内視鏡装置。
An original image acquisition unit that acquires an image sampled and read in pixel units as an original image, and a resampled image generation unit that generates an image by sampling at a predetermined position with respect to a part or all of the region of the original image In an endoscope apparatus for measurement having
Sampling point moving means for moving sampling points corresponding to each pixel in a part or all of the area of the original image in the resampled image generating means, in units smaller than the pixel interval of the original image;
Measuring point position specifying means for specifying the position of the measuring point on the original image in units smaller than the pixel interval of the original image by moving the sampling point to a desired point by the sampling point moving means;
Based on the position of the designated measurement point, measurement means for measuring in units finer than the pixel interval of the original image,
An endoscope apparatus for measurement, comprising:
前記サンプリング点移動手段によってサンプリング点が移動された画像を生成するサンプリング点移動画像生成手段と、
サンプリング点移動画像を拡大して拡大画像を生成する拡大画像生成手段と、
拡大画像を表示する拡大画像表示手段と、
拡大画像上で計測点の位置を指定する計測点位置指定手段と、
を有することを特徴とする請求項1記載の計測用内視鏡装置。
Sampling point moving image generating means for generating an image in which the sampling point has been moved by the sampling point moving means;
An enlarged image generating means for enlarging the sampling point moving image to generate an enlarged image;
An enlarged image display means for displaying an enlarged image;
Measuring point position specifying means for specifying the position of the measuring point on the enlarged image;
The endoscope apparatus for measurement according to claim 1, further comprising:
前記サンプリング点移動手段で移動されるサンプリング点の移動量の単位を指定するサンプリング点移動量単位指定手段を更に有することを特徴とする請求項1記載の計測用内視鏡装置。   The measuring endoscope apparatus according to claim 1, further comprising sampling point movement amount unit designation means for designating a unit of movement amount of the sampling point moved by the sampling point movement means. 前記拡大画像表示手段に表示される拡大画像に対してフィルタ処理するフィルタ手段を有することを特徴とする請求項2記載の計測用内視鏡装置。

3. The measuring endoscope apparatus according to claim 2, further comprising a filter unit that performs a filtering process on an enlarged image displayed on the enlarged image display unit.

JP2005031126A 2004-05-31 2005-02-07 Endoscope for measurement Withdrawn JP2006020276A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005031126A JP2006020276A (en) 2004-05-31 2005-02-07 Endoscope for measurement
US11/346,786 US20060178561A1 (en) 2005-02-07 2006-02-03 Endoscope apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004161700 2004-05-31
JP2005031126A JP2006020276A (en) 2004-05-31 2005-02-07 Endoscope for measurement

Publications (1)

Publication Number Publication Date
JP2006020276A true JP2006020276A (en) 2006-01-19

Family

ID=35794054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005031126A Withdrawn JP2006020276A (en) 2004-05-31 2005-02-07 Endoscope for measurement

Country Status (1)

Country Link
JP (1) JP2006020276A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162505A (en) * 2007-12-28 2009-07-23 Toray Ind Inc Inspection method and inspection device of hollow fiber membrane module
JPWO2017038321A1 (en) * 2015-09-03 2018-06-14 オリンパス株式会社 Endoscope apparatus and display change control method for endoscope apparatus

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009162505A (en) * 2007-12-28 2009-07-23 Toray Ind Inc Inspection method and inspection device of hollow fiber membrane module
JPWO2017038321A1 (en) * 2015-09-03 2018-06-14 オリンパス株式会社 Endoscope apparatus and display change control method for endoscope apparatus

Similar Documents

Publication Publication Date Title
JP4873794B2 (en) Image processing measuring apparatus and measuring endoscope apparatus
US8004560B2 (en) Endoscope apparatus
JP4632577B2 (en) Measuring endoscope device
JP5301970B2 (en) Digital camera system for microscope and microscope system
JP5079973B2 (en) Endoscope device for measurement and program for endoscope device for measurement
JP2001275934A (en) Measuring endoscopic device
US20060176321A1 (en) Endoscope apparatus
US20060178561A1 (en) Endoscope apparatus
JP5437087B2 (en) Endoscope apparatus and program
JP4674093B2 (en) Endoscope apparatus and program
JP2006329684A (en) Image measuring instrument and method
US8531479B2 (en) Endoscope apparatus and program
JP5307407B2 (en) Endoscope apparatus and program
JP5199634B2 (en) Measuring endoscope system
CN110858397A (en) Measuring device, method for operating measuring device, and storage medium
JP2008122759A (en) Endoscopic device for measurement, program and recording medium
JP2005204724A (en) Endoscope apparatus for measurement
JP2003070719A (en) Measurement endoscope
JP2011170276A (en) Endoscope device and program
JP2006020276A (en) Endoscope for measurement
JP2006017632A (en) Three-dimensional image processor, optical axis adjustment method, and optical axis adjustment support method
KR101920682B1 (en) Image pickup apparatus for measuring the length of crack
US8704890B2 (en) Inspection apparatus and measuring method
JP2002352271A (en) Three-dimensional image acquisition device
JP2009086553A (en) Measuring endoscope system, method of measuring endoscope system, and program for measuring endoscope system

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20080513