JP2013137466A - Apparatus and program for endoscope image processing - Google Patents

Apparatus and program for endoscope image processing Download PDF

Info

Publication number
JP2013137466A
JP2013137466A JP2011289241A JP2011289241A JP2013137466A JP 2013137466 A JP2013137466 A JP 2013137466A JP 2011289241 A JP2011289241 A JP 2011289241A JP 2011289241 A JP2011289241 A JP 2011289241A JP 2013137466 A JP2013137466 A JP 2013137466A
Authority
JP
Japan
Prior art keywords
pointer
input auxiliary
auxiliary line
auxiliary
endoscopic image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011289241A
Other languages
Japanese (ja)
Inventor
Naoki Yamamoto
直樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2011289241A priority Critical patent/JP2013137466A/en
Priority to PCT/JP2012/059687 priority patent/WO2013099305A1/en
Publication of JP2013137466A publication Critical patent/JP2013137466A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00039Operational features of endoscopes provided with input arrangements for the user
    • A61B1/00042Operational features of endoscopes provided with input arrangements for the user for mechanical operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Mechanical Engineering (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an apparatus and a program for endoscope image processing, which facilitates accurate specification of a specific point such as a measurement point on a touch panel.SOLUTION: An endoscope apparatus includes: an endoscope image display section which displays an endoscope image on a touch panel screen; a first auxiliary figure display section which displays a first input auxiliary line L1 to help determine a position of a specific point on the screen; a pointer display section which displays a pointer CM1 on the first input auxiliary line L1 on the screen to specify a position of a specific point on the endoscope image; a pointer movement section which moves the pointer CM1 on the first input auxiliary line L1; a specified point designation section for designating a position specified by the pointer CM1 on the endoscope image as a specified point.

Description

本発明は、内視鏡画像処理装置及び内視鏡画像処理用プログラムに関し、特に、計測点等の指定点の指定が容易にできる内視鏡画像処理装置及び内視鏡画像処理用プログラムに関する。   The present invention relates to an endoscopic image processing apparatus and an endoscopic image processing program, and more particularly, to an endoscopic image processing apparatus and an endoscopic image processing program that can easily designate designated points such as measurement points.

従来より、内視鏡装置が工業分野及び医療分野において広く利用されている。内視鏡装置は、観察対象内に内視鏡挿入部を挿入して、挿入部の先端に設けられた撮像部により観察対象内の画像を撮像し、モニタに表示することによって、ユーザがその画像を見て、観察対象内を検査することができる。   Conventionally, endoscope apparatuses have been widely used in the industrial field and the medical field. An endoscope apparatus inserts an endoscope insertion section into an observation target, captures an image within the observation target with an imaging section provided at the distal end of the insertion section, and displays the image on a monitor. The inside of the observation object can be inspected by looking at the image.

また、内視鏡装置には、例えば機械部品の傷や欠損等の大きさ等を計測することができる計測機能を有する内視鏡装置もある。このような内視鏡装置においては、ユーザが内視鏡画像上で計測点を指定すると、その指定された1点あるいは2点に関する計測値、例えば内視鏡挿入部の先端からその1点までの距離、2点間の距離等が演算して求められる。このような内視鏡装置において、正確な計測結果を得るためには正確な計測点の入力がされなければならない。   In addition, there is an endoscope apparatus having a measurement function capable of measuring, for example, the size of a scratch or a defect of a machine part. In such an endoscope apparatus, when a user designates a measurement point on an endoscopic image, measurement values relating to the designated one or two points, for example, from the distal end of the endoscope insertion portion to the one point. The distance between the two points, the distance between the points, and the like are obtained by calculation. In such an endoscope apparatus, in order to obtain an accurate measurement result, an accurate measurement point must be input.

ところで、近年、直感的に素早く操作できることから、入力及び表示装置としてタッチパネルを使用した内視鏡装置が実用化されている。
しかし、一般的に、タッチパネルにおける入力には、ポインタが指などで隠れてしまうこと、さらに画素サイズが指などに比べて小さいことから、タッチパネル上において、簡単かつ正確に、所望の点を指定するのが容易ではない。
By the way, in recent years, an endoscope apparatus using a touch panel as an input and display device has been put into practical use because it can be operated intuitively and quickly.
However, generally, for input on the touch panel, the pointer is hidden by a finger or the like, and the pixel size is smaller than that of the finger or the like, so that a desired point is specified on the touch panel easily and accurately. It's not easy.

また、タッチパネルの画像上で細かいエリアを指定できるようにするために、指の接触位置から所定の距離だけ離れた位置にポインタを表示することにより、ユーザの指に隠れてしまうことなく画像上の任意の位置を指定することを可能にする方法が提案されている(例えば、特許文献1参照)。   In addition, in order to be able to specify a fine area on the image of the touch panel, a pointer is displayed at a position away from the finger contact position by a predetermined distance, so that it is not hidden by the user's finger. A method has been proposed that allows an arbitrary position to be specified (see, for example, Patent Document 1).

特開2010−272036号公報JP 2010-272036 A

しかし、上記の提案に係る方法においても、指の接触する位置によって計測点を指定しなければならないため、例えば所望の計測点の指定を行おうとする場合には、ユーザは指をタッチパネルの画面上で細かくかつ正確に動かさなければならず、ユーザにとって正確な計測点の指定は容易ではない。   However, even in the method according to the above proposal, since the measurement point must be specified depending on the position where the finger contacts, for example, when the user wants to specify a desired measurement point, the user places the finger on the screen of the touch panel. Therefore, it is difficult for the user to specify an accurate measurement point.

そこで、本発明は、このような問題に鑑みてなされたものであり、タッチパネル上で正確な計測点等の指定点の指定が容易な内視鏡画像処理装置および内視鏡画像処理用プログラムを提供することを目的とする。   Therefore, the present invention has been made in view of such a problem, and an endoscope image processing apparatus and an endoscope image processing program for easily specifying a specified point such as an accurate measurement point on a touch panel are provided. The purpose is to provide.

本発明の一態様によれば、指定点によって指定された内視鏡画像上の位置を基に所定の処理を行う内視鏡画像処理装置において、表示画面を有し、かつ前記表示画面上の位置を検出するタッチパネルと、前記表示画面に前記内視鏡画像を表示する内視鏡画像表示部と、前記表示画面上において前記指定点の位置決定を補助するための第1の補助図形を表示する第1補助図形表示部と、前記表示画面の前記補助図形上に、前記指定点の前記内視鏡画像上の前記位置を指定するためのポインタを表示させるポインタ表示部と、前記補助図形上で前記ポインタを移動させるポインタ移動部と、前記ポインタにより指示された前記内視鏡画像上の位置を、前記指定点として決定する指定点決定部と、を備える内視鏡画像処理装置を提供することができる。   According to an aspect of the present invention, an endoscopic image processing apparatus that performs a predetermined process based on a position on an endoscopic image designated by a designated point has a display screen, and on the display screen A touch panel for detecting a position, an endoscopic image display unit for displaying the endoscopic image on the display screen, and a first auxiliary graphic for assisting the position determination of the designated point on the display screen are displayed. A pointer display unit for displaying a pointer for designating the position of the designated point on the endoscopic image on the auxiliary graphic of the display screen; and on the auxiliary graphic An endoscope image processing apparatus comprising: a pointer moving unit that moves the pointer at a step; and a designated point determining unit that determines a position on the endoscopic image designated by the pointer as the designated point. It is possible .

本発明の一態様によれば、指定点によって指定された内視鏡画像上の位置を基に所定の処理を行う内視鏡画像処理用プログラムであって、タッチパネルの表示画面に前記内視鏡画像を表示する内視鏡画像表示機能と、前記表示画面上において前記指定点の位置決定を補助するための第1の補助図形を表示する第1補助図形表示機能と、前記表示画面の前記補助図形上に、前記指定点の前記内視鏡画像上の前記位置を指定するためのポインタを表示させるポインタ表示機能と、前記補助図形上で前記ポインタを移動させるポインタ移動機能と、前記ポインタにより指示された前記内視鏡画像上の位置を、前記指定点として決定する指定点決定機能と、を、コンピュータに実現させるための内視鏡画像処理用プログラムを提供することができる。   According to one aspect of the present invention, there is provided an endoscope image processing program for performing a predetermined process based on a position on an endoscope image designated by a designated point, and the endoscope is displayed on a display screen of a touch panel. An endoscope image display function for displaying an image, a first auxiliary graphic display function for displaying a first auxiliary graphic for assisting the position determination of the designated point on the display screen, and the auxiliary of the display screen A pointer display function for displaying a pointer for designating the position of the designated point on the endoscopic image on a figure, a pointer movement function for moving the pointer on the auxiliary figure, and an instruction by the pointer It is possible to provide an endoscopic image processing program for causing a computer to realize a designated point determining function for determining a position on the endoscopic image as the designated point.

本発明によれば、タッチパネル上で正確な計測点等の指定点の指定が容易な内視鏡画像処理装置および内視鏡画像処理用プログラムを提供することができる。   According to the present invention, it is possible to provide an endoscopic image processing apparatus and an endoscopic image processing program that can easily designate a designated point such as an accurate measurement point on a touch panel.

本発明の第1の実施の形態に係わる内視鏡装置の全体構成を示す外観図である。1 is an external view showing an overall configuration of an endoscope apparatus according to a first embodiment of the present invention. 本発明の第1の実施の形態に係わる内視鏡装置1の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the endoscope apparatus 1 concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、ステレオ計測による計測点の3次元座標の求め方の例を説明するための図である。It is a figure for demonstrating the example of how to obtain | require the three-dimensional coordinate of the measurement point by stereo measurement concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる内視鏡画像の例を示す図である。It is a figure which shows the example of the endoscopic image concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、内視鏡装置1の制御ユニット24のCPU37により実行される計測点の指定処理の流れの例を示すフローチャートである。It is a flowchart which shows the example of the flow of the designation | designated process of the measurement point performed by CPU37 of the control unit 24 of the endoscope apparatus 1 concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、第1の入力補助線L1が表示された計測点指定画像71の例を示す図である。It is a figure which shows the example of the measurement point designation | designated image 71 on which the 1st input auxiliary line L1 was displayed concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、入力補助線L1の平行移動を説明するための図である。It is a figure for demonstrating the parallel displacement of the input auxiliary line L1 concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、入力補助線L1の回転を説明するための図である。It is a figure for demonstrating rotation of the input auxiliary line L1 concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、入力補助線L1が点P1を通る位置に位置された状態を示す図である。It is a figure showing the state where input auxiliary line L1 concerning the 1st embodiment of the present invention was located in the position which passes point P1. 本発明の第1の実施の形態に係わる、第2の入力補助線L2が表示された計測点指定画像71の例を示す図である。It is a figure which shows the example of the measurement point designation | designated image 71 on which the 2nd input auxiliary line L2 was displayed concerning the 1st Embodiment of this invention. 本発明の第1の実施の形態に係わる、第2の入力補助線L2が点P1を通る位置まで移動された状態を示す図である。It is a figure showing the state where the 2nd input auxiliary line L2 concerning the 1st embodiment of the present invention was moved to the position which passes point P1. 本発明の第1の実施の形態に係わる、2つの計測点P1,P2が指定された状態を示す図である。It is a figure showing the state where two measurement points P1 and P2 concerning the 1st embodiment of the present invention were specified. 本発明の第2の実施の形態に係わる、第1の入力補助線L3が表示された計測点指定画像71Aの例を示す図である。It is a figure which shows the example of the measurement point designation | designated image 71A on which the 1st input auxiliary line L3 was displayed concerning the 2nd Embodiment of this invention. 本発明の第2の実施の形態に係わる、第1の入力補助線L3の円の中心C1から円周方向に伸びる1本の第2の入力補助線L4が重畳表示されると共に、ボタン72も重畳表示された画像を示す図である。The second input auxiliary line L4 extending in the circumferential direction from the center C1 of the circle of the first input auxiliary line L3 according to the second embodiment of the present invention is superimposed and displayed, and the button 72 is also displayed. It is a figure which shows the image superimposed and displayed. 本発明の第2の実施の形態に係わる、第2の入力補助線L4が点P1を通る位置まで移動された状態を示す図である。It is a figure showing the state where the 2nd input auxiliary line L4 concerning the 2nd embodiment of the present invention was moved to the position which passes point P1. 本発明の第2の実施の形態に係わる、計測点P1が指定された状態を示す図である。It is a figure showing the state where measurement point P1 concerning the 2nd embodiment of the present invention was specified. 本発明の第3の実施の形態に係わる、内視鏡装置1の制御ユニット24のCPU37により実行される計測点の指定処理の流れの例を示すフローチャートである。It is a flowchart which shows the example of the flow of the measurement point designation | designated process performed by CPU37 of the control unit 24 of the endoscope apparatus 1 concerning the 3rd Embodiment of this invention. 本発明の第3の実施の形態に係わる、第1の入力補助線L5が表示された計測点指定画像71Bの例を示す図である。It is a figure which shows the example of the measurement point designation | designated image 71B on which the 1st input auxiliary line L5 was displayed concerning the 3rd Embodiment of this invention. 本発明の第3の実施の形態に係わる、線分である入力補助線L51の例を示す図である。It is a figure which shows the example of the input auxiliary line L51 which is a line segment concerning the 3rd Embodiment of this invention. 本発明の第3の実施の形態に係わる、入力補助線L5が点P1を通る位置に移動した場合を示す図である。It is a figure which shows the case where the input auxiliary line L5 moves to the position which passes along the point P1 concerning the 3rd Embodiment of this invention. 本発明の第3の実施の形態に係わる、ポインタCM4が所望の位置まで移動された状態を示す図である。It is a figure which shows the state from which pointer CM4 was moved to the desired position concerning the 3rd Embodiment of this invention.

以下、図面を参照して本発明の実施の形態を説明する。
(第1の実施の形態)
(構成)
図1は、本実施の形態に係わる内視鏡装置の全体構成を示す外観図である。
Embodiments of the present invention will be described below with reference to the drawings.
(First embodiment)
(Constitution)
FIG. 1 is an external view showing the overall configuration of the endoscope apparatus according to the present embodiment.

内視鏡装置1は、内視鏡2と装置本体3とを有して構成されている。内視鏡2は、細長で可撓性を有する挿入部11と、挿入部11の基端部に連設された操作部12と、操作部12から延出する可撓性を有するユニバーサルケーブル13とを有している。ユニバーサルケーブル13は、装置本体3に接続されている。   The endoscope apparatus 1 includes an endoscope 2 and an apparatus main body 3. The endoscope 2 includes an elongated and flexible insertion portion 11, an operation portion 12 connected to the proximal end portion of the insertion portion 11, and a flexible universal cable 13 extending from the operation portion 12. And have. The universal cable 13 is connected to the apparatus main body 3.

挿入部11は、図1に示すように、先端側から順に連設された、硬質な先端部14、上下左右に湾曲可能な湾曲部15、及び可撓性を有する可撓管部16を有して構成されている。挿入部11の先端部14内には、先端硬質部(図示せず)が設けられており、先端硬質部内には、対物光学系及び撮像素子21(図2)が配設されている。先端部14には、観察視野を2つ有するステレオ光学アダプタ、観察視野が1つの通常観察光学アダプタ等、各種光学アダプタが着脱自在になっている。   As shown in FIG. 1, the insertion portion 11 has a hard tip portion 14, a bending portion 15 that can be bent vertically and horizontally, and a flexible flexible tube portion 16 that are connected in order from the tip side. Configured. A distal end hard portion (not shown) is provided in the distal end portion 14 of the insertion portion 11, and an objective optical system and an image sensor 21 (FIG. 2) are disposed in the distal end hard portion. Various optical adapters such as a stereo optical adapter having two observation fields and a normal observation optical adapter having one observation field are detachably attached to the distal end portion 14.

操作部12には、内視鏡装置1の各種動作制御を実行する際に必要な操作を行うための各種操作部材、例えばレリーズボタン、湾曲操作用ジョイスティックなど、が設けられている。ユーザは、レリーズボタンを押下することにより被写体像を撮影することができる。またユーザは、湾曲操作用ジョイスティックを傾倒させることにより湾曲部15を湾曲させて、先端部14を所望の方向に向かせることができる。   The operation unit 12 is provided with various operation members, such as a release button and a bending operation joystick, for performing operations necessary for executing various operation controls of the endoscope apparatus 1. The user can take a subject image by pressing the release button. Further, the user can bend the bending portion 15 by tilting the bending operation joystick, and can point the distal end portion 14 in a desired direction.

装置本体3は、後述する制御ユニット24(図2)を内部に有しており、各種機能を実行することができる。各種機能の中には、計測処理機能が含まれている。
また、装置本体3には、タッチパネル17が設けられている。タッチパネル17は、タッチパネル17の画面17a上への指などの物体の接近または接触を検出してその位置情報が入力可能で、かつ内視鏡2により撮像された被写体の画像、処理メニュー等による操作制御内容を表示する入力/表示装置である。すなわち、タッチパネル17は、表示画面を有し、かつ物体が接触等した表示画面上の位置を検出するタッチパネル付き表示装置である。ユーザは、タッチパネル17の画面17a上に被写体像を表示させたり、各種機能のためのメニューを表示させて複数の機能の中から所望の機能を実行させたりすることができる。
The apparatus main body 3 has a control unit 24 (FIG. 2) which will be described later, and can execute various functions. Various functions include a measurement processing function.
The apparatus body 3 is provided with a touch panel 17. The touch panel 17 can detect the approach or contact of an object such as a finger on the screen 17a of the touch panel 17 and input position information thereof, and can be operated by an image of a subject imaged by the endoscope 2, a processing menu, or the like. This is an input / display device that displays control contents. That is, the touch panel 17 is a display device with a touch panel that has a display screen and detects a position on the display screen where an object touches. The user can display a subject image on the screen 17a of the touch panel 17 or display a menu for various functions to execute a desired function from a plurality of functions.

なお、タッチパネル17は、装置本体3に対して、ヒンジ(図示せず)等の機構により、回動自在に保持されている。図1に示すように、ユーザは、装置本体3の外装筐体から起き上がらせて、ユーザにとって画面17aが見易い姿勢にタッチパネル17の角度を調整することができる。   The touch panel 17 is rotatably held with respect to the apparatus main body 3 by a mechanism such as a hinge (not shown). As shown in FIG. 1, the user can wake up from the exterior housing of the apparatus body 3 and adjust the angle of the touch panel 17 so that the user can easily see the screen 17 a.

図2は、内視鏡装置1の内部構成を示すブロック図である。内視鏡2の挿入部11の先端部には、撮像素子21が設けられている。装置本体3内は、内視鏡ユニット22と、カメラコントロールユニット(以下、CCUと略す)23と、制御ユニット24とを有している。挿入部11の先端部14に内蔵された撮像素子21からの撮像信号は、内視鏡ユニット22に供給される。   FIG. 2 is a block diagram showing an internal configuration of the endoscope apparatus 1. An imaging element 21 is provided at the distal end portion of the insertion portion 11 of the endoscope 2. The apparatus main body 3 includes an endoscope unit 22, a camera control unit (hereinafter abbreviated as CCU) 23, and a control unit 24. An imaging signal from the imaging element 21 built in the distal end portion 14 of the insertion portion 11 is supplied to the endoscope unit 22.

内視鏡ユニット22は、挿入部11の先端部14へ照明光をライトガイドを介して供給する光源装置(図示せず)と、挿入部11を構成する湾曲部15を湾曲させる湾曲装置(図示せず)とを備えて構成されている。なお、ライトガイドを用いず、光源装置として例えばLEDを先端部14に備える構成であってもよい。   The endoscope unit 22 includes a light source device (not shown) that supplies illumination light to the distal end portion 14 of the insertion portion 11 via a light guide, and a bending device (see FIG. 5) that bends the bending portion 15 that constitutes the insertion portion 11. Not shown). In addition, the structure which equips the front-end | tip part 14 with LED as a light source device without using a light guide may be sufficient.

撮像素子21は、先端部14に装着された光学アダプタを介して結像された被写体像を光電変換し、撮像信号を生成する。内視鏡ユニット22を介して、CCU23に、撮像素子21から出力された撮像信号が入力される。この撮像信号は、CCU23内で例えばNTSC信号等の映像信号に変換されて、制御ユニット24へ供給される。   The image pickup device 21 photoelectrically converts a subject image formed through an optical adapter attached to the distal end portion 14 to generate an image pickup signal. The imaging signal output from the imaging device 21 is input to the CCU 23 via the endoscope unit 22. This imaging signal is converted into a video signal such as an NTSC signal in the CCU 23 and supplied to the control unit 24.

制御ユニット24内には、画像データである映像信号が入力される映像信号処理回路31、ROM32、RAM33、カードインターフェイス(以下、カードI/Fという)34、USBインターフェイス(以下、USBI/Fという)35、RS−232Cインターフェイス(以下、RS−232CI/F17という)36、及びこれら各種回路の機能を各種プログラムに基づいて実行し動作制御を行う中央処理装置(以下、CPUという)37とが設けられている。映像信号処理回路31,ROM32,RAM33,カードI/F34,USBI/F35,RS−232CI/F36、及びCPU37は、バス38を介して互いに接続されている。   In the control unit 24, a video signal processing circuit 31, to which a video signal as image data is input, a ROM 32, a RAM 33, a card interface (hereinafter referred to as a card I / F) 34, a USB interface (hereinafter referred to as a USB I / F). 35, an RS-232C interface (hereinafter referred to as RS-232CI / F17) 36, and a central processing unit (hereinafter referred to as CPU) 37 that executes the functions of these various circuits based on various programs and performs operation control. ing. The video signal processing circuit 31, ROM 32, RAM 33, card I / F 34, USB I / F 35, RS-232CI / F 36, and CPU 37 are connected to each other via a bus 38.

RS−232CI/F36には、内視鏡ユニット22およびCCU23が接続されると共に、これら内視鏡ユニット22やCCU23等の制御および動作指示を行う操作部12が接続されている。ユーザが操作部12を操作すると、その操作内容に応じて、内視鏡ユニット22およびCCU23の動作を制御する際に必要な通信が、RS−232CI/F36と内視鏡ユニット22間およびRS−232CI/F36とCCU23間で行われる。   The RS-232CI / F 36 is connected to the endoscope unit 22 and the CCU 23, and is also connected to the operation unit 12 for controlling and operating the endoscope unit 22 and the CCU 23. When the user operates the operation unit 12, communication necessary for controlling the operation of the endoscope unit 22 and the CCU 23 is performed between the RS-232CI / F 36 and the endoscope unit 22 and RS− according to the operation content. It is performed between 232CI / F36 and CCU23.

USBI/F35は、制御ユニット24とパーソナルコンピュータ(以下、PCと略す)41とを電気的に接続するためのインターフェイスである。このUSBI/F35を介して制御ユニット24にPC41を接続することによって、ユーザは、PC41側で内視鏡画像の表示指示や、計測時における画像処理等の各種の指示を行うことができる。制御ユニット24とPC41との間では、各種処理に必要な制御情報や画像情報等のデータ等の入出力も行われる。   The USB I / F 35 is an interface for electrically connecting the control unit 24 and a personal computer (hereinafter abbreviated as PC) 41. By connecting the PC 41 to the control unit 24 via the USB I / F 35, the user can issue various instructions such as an endoscopic image display instruction and image processing during measurement on the PC 41 side. Between the control unit 24 and the PC 41, input / output of data such as control information and image information necessary for various processes is also performed.

カードI/F34には、メモリカード42を着脱自在に装着することができる。メモリカード42をカードI/F34に装着することにより、CPU37は、このメモリカード42に記憶されている制御情報や画像情報等のデータの制御ユニット24への取り込み、あるいは制御情報や画像情報等のデータのメモリカード42への記録を行うことが可能になる。   A memory card 42 can be detachably attached to the card I / F 34. By attaching the memory card 42 to the card I / F 34, the CPU 37 loads data such as control information and image information stored in the memory card 42 into the control unit 24, or stores control information and image information. Data can be recorded in the memory card 42.

映像信号処理回路31は、CCU23から供給された内視鏡画像と、グラフィックによる操作メニューとを合成した合成画像を表示するため、CPU37の制御の下で生成された、操作メニューに基づくグラフィック画像信号とCCU23からの映像信号とを合成する。そして映像信号処理回路31は、合成画像の表示信号にタッチパネル17の画面17a上に表示するための処理を行い、タッチパネル17に供給する。なお、この映像信号処理回路31は、内視鏡画像のみを表示し、あるいは操作メニュー等の画像のみを単独で表示するための処理を行うことも可能である。したがって、タッチパネル17の画面17a上には、内視鏡画像、操作メニュー画像、内視鏡画像と操作メニュー画像との合成画像等が表示可能である。   The video signal processing circuit 31 displays a composite image obtained by synthesizing the endoscopic image supplied from the CCU 23 and the graphic operation menu, so that the graphic image signal based on the operation menu generated under the control of the CPU 37 is displayed. And the video signal from the CCU 23 are combined. The video signal processing circuit 31 performs processing for displaying the composite image display signal on the screen 17 a of the touch panel 17 and supplies the processed signal to the touch panel 17. Note that the video signal processing circuit 31 can perform processing for displaying only an endoscopic image or displaying only an image such as an operation menu alone. Therefore, an endoscope image, an operation menu image, a composite image of the endoscope image and the operation menu image, and the like can be displayed on the screen 17a of the touch panel 17.

CPU37は、ROM32に格納されているプログラムを実行することによって、ユーザにより指定された処理を行うように各種回路等を制御して、内視鏡装置1の動作制御、計測処理等を行う。RAM33は、CPU37によって、データの一時格納用の作業領域として使用される。   The CPU 37 executes a program stored in the ROM 32 to control various circuits and the like so as to perform processing designated by the user, and performs operation control, measurement processing, and the like of the endoscope apparatus 1. The RAM 33 is used by the CPU 37 as a work area for temporarily storing data.

ここで、内視鏡装置1で実行される計測処理における計測の原理の例を説明する。観察光学系に左右2つの視野を形成するステレオ光学アダプタを使用し、被写体像を左右の光学系で捉えたときの左右の対応点の座標に基づいて、三角測量の原理を使用して被写体の3次元空間座標を求めることで、ステレオ計測による各種計測が可能となる。   Here, an example of the principle of measurement in the measurement process executed by the endoscope apparatus 1 will be described. Using the stereo optical adapter that forms the left and right fields of view in the observation optical system, based on the coordinates of the corresponding points on the left and right when the subject image is captured by the left and right optical systems, the principle of triangulation is used. By obtaining the three-dimensional space coordinates, various measurements by stereo measurement are possible.

図3は、ステレオ計測による計測点の3次元座標の求め方の例を説明するための図である。左側および右側の光学系で撮像された画像に対して、三角測量の方法により、点50の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。撮像素子21により、その撮像面上に投影された被写体像から得られた2つの画像のそれぞれの光学中心を、それぞれO,Oとする2つの画像が得られる。但し、歪み補正が施された左右の画像上の点51,52の座標をそれぞれ(X,Y)、(X,Y)とし、座標空間内の左側と右側の光学中心53,54間の距離をDとし、焦点距離をFとし、t=D/(X−X)とすると、点50の3次元座標(X,Y,Z)の各座標は、次の式(1)〜(3)で表すことができる。 FIG. 3 is a diagram for explaining an example of how to obtain the three-dimensional coordinates of measurement points by stereo measurement. The three-dimensional coordinates (X, Y, Z) of the point 50 are calculated by the following formulas (1) to (3) by the triangulation method for the images picked up by the left and right optical systems. . The imaging device 21, the respective optical centers of the two images obtained from the object image projected on its imaging surface, respectively O L, two images of the O R is obtained. However, the coordinates of the point 51, 52 on the left and right image distortion has been corrected respectively (X L, Y L), (X R, Y R) and to the left of the coordinate space and the right optical center 53, Assuming that the distance between 54 is D, the focal length is F, and t = D / (X L −X R ), each coordinate of the three-dimensional coordinates (X, Y, Z) of the point 50 is expressed by the following formula ( 1) to (3).

X=t×X+D/2 ・・・(1)
Y=t×Y ・・・(2)
Z=t×F ・・・(3)
従って、得られた2つの画像上の点51,52の座標が決定されると、パラメータDおよびFを用いて点50の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点との距離、面積、深さ、表面形状等の様々な計測が可能である。
X = t × X R + D / 2 (1)
Y = t × Y R (2)
Z = t × F (3)
Accordingly, when the coordinates of the points 51 and 52 on the two obtained images are determined, the three-dimensional coordinates of the point 50 are obtained using the parameters D and F. By obtaining the three-dimensional coordinates of several points, various measurements such as the distance between two points, the distance between a line connecting the two points and one point, the area, the depth, and the surface shape are possible.

また、左側の光学中心53または右側の光学中心54から被写体までの距離(物体距離)を求めることも可能となる。上記のステレオ計測を行うためには、内視鏡2の先端部14とステレオ光学アダプタを含む光学系の特性を示す光学データが必要である。なお、光学データの詳細は、例えば特開2004−49638号公報に記載されているので、その説明を参照されたし。   It is also possible to obtain the distance (object distance) from the left optical center 53 or the right optical center 54 to the subject. In order to perform the above stereo measurement, optical data indicating the characteristics of the optical system including the distal end portion 14 of the endoscope 2 and the stereo optical adapter is necessary. The details of the optical data are described in, for example, Japanese Patent Application Laid-Open No. 2004-49638.

なお、上述した方法に限らず、アクティブステレオ計測方式、TOF(タイム・オブ・フライト)方式、共焦点方式、等の他の方法により、計測点までの距離、計測点の位置等を求めるようにしてもよい。
(作用)
次に、計測時における内視鏡装置1の動作を説明する。図4は、内視鏡画像の例を示す図である。図5は、内視鏡装置1の制御ユニット24のCPU37により実行される計測点の指定処理の流れの例を示すフローチャートである。
Note that the distance to the measurement point, the position of the measurement point, and the like are determined by other methods such as the active stereo measurement method, the TOF (Time of Flight) method, the confocal method, and the like. May be.
(Function)
Next, the operation of the endoscope apparatus 1 during measurement will be described. FIG. 4 is a diagram illustrating an example of an endoscopic image. FIG. 5 is a flowchart showing an example of the flow of measurement point designation processing executed by the CPU 37 of the control unit 24 of the endoscope apparatus 1.

内視鏡装置1は、複数のモードを有しており、ユーザにより設定されたモードに応じた動作を実行する。内視鏡装置1は、計測モードに設定されると、ユーザにより指定された指定点についての計測処理を行う。すなわち、内視鏡装置1は、指定点によって指定された内視鏡画像上の位置を基に、所定の処理の一つである計測処理を行う内視鏡画像処理装置ということができる。計測処理は、ここでは、決定された指定点に対応する、内視鏡画像EIに映し出された被写体の対応点の3次元位置座標に基づいて行われる。   The endoscope apparatus 1 has a plurality of modes, and executes an operation according to the mode set by the user. When the endoscope apparatus 1 is set to the measurement mode, the endoscope apparatus 1 performs a measurement process for a designated point designated by the user. That is, the endoscope apparatus 1 can be said to be an endoscope image processing apparatus that performs a measurement process that is one of predetermined processes based on a position on an endoscopic image designated by a designated point. Here, the measurement process is performed based on the three-dimensional position coordinates of the corresponding point of the subject displayed on the endoscopic image EI corresponding to the determined designated point.

ここでは、図4に示す内視鏡画像EI上で、ユーザが計測点の指定を行う場合を例として、図5のフローチャートに沿って、計測処理のための計測点の指定処理について説明する。図4は、被写体の画像として、タービンブレード61の一部が欠けた部分を示す内視鏡画像EIを示している。ここでは、ユーザは、欠けた部分の2つの点P1,P2の距離を計測するために、2つの点P1,P2を計測点として指定する場合を想定する。   Here, the measurement point designation process for the measurement process will be described with reference to the flowchart of FIG. 5 as an example of the case where the user designates the measurement point on the endoscopic image EI shown in FIG. FIG. 4 shows an endoscopic image EI showing a part of the turbine blade 61 that is missing as an image of the subject. Here, it is assumed that the user designates two points P1 and P2 as measurement points in order to measure the distance between the two points P1 and P2 of the missing portion.

計測モードが設定された後に、ユーザが、例えばタッチパネル17の画面17a上を指で触ると、図5の処理が開始される。図5の計測点指定処理プログラムがROM32に記憶されており、CPU37は、ROM32から計測点指定処理プログラムを読み出して実行する。図5の処理が開始されると、例えば、図4に示したような画像を、計測モード画像として、画面17a上に表示する(S1)。S1の処理が、表示画面である画面17aに内視鏡画像EIを表示する内視鏡画像表示部を構成する。なお、S1の処理では、撮像素子21により撮像して得られた内視鏡画像EIは、所定の操作により、画面17a上で、拡大表示若しくは縮小表示することも可能となっている。   After the measurement mode is set, for example, when the user touches the screen 17a of the touch panel 17 with a finger, the process of FIG. 5 is started. The measurement point designation processing program of FIG. 5 is stored in the ROM 32, and the CPU 37 reads the measurement point designation processing program from the ROM 32 and executes it. When the process of FIG. 5 is started, for example, an image as shown in FIG. 4 is displayed on the screen 17a as a measurement mode image (S1). The process of S1 constitutes an endoscope image display unit that displays the endoscope image EI on the screen 17a which is a display screen. In the process of S1, the endoscopic image EI obtained by imaging with the image sensor 21 can be enlarged or reduced on the screen 17a by a predetermined operation.

この計測モード画像が表示された状態で、例えば、ユーザが指で画面17a上を1回タップすると、第1の入力補助線の表示処理が実行される(S2)。図6は、第1の入力補助線L1が表示された計測点指定画像71の例を示す図である。入力補助線L1は、指定点である計測点の位置決定を補助するための補助図形である。   When the measurement mode image is displayed, for example, when the user taps the screen 17a once with a finger, the display process of the first input auxiliary line is executed (S2). FIG. 6 is a diagram illustrating an example of the measurement point designation image 71 on which the first input auxiliary line L1 is displayed. The input auxiliary line L1 is an auxiliary graphic for assisting the position determination of the measurement point that is the designated point.

第1の入力補助線の表示処理(S2)により、図6に示すように、計測点指定画像71は、内視鏡画像EI上に1本の直線である入力補助線L1が重畳表示されると共に、2つのボタン72,73も重畳表示された画像である。ボタン72は、入力補助線L1についてのボタンであり、後述するように入力補助線を回転させるためのボタンである。ボタン73は、後述するように、第2の入力補助線L2を表示させるためのボタンである。   By the first input auxiliary line display process (S2), as shown in FIG. 6, in the measurement point designation image 71, the input auxiliary line L1, which is a single straight line, is superimposed and displayed on the endoscope image EI. In addition, the two buttons 72 and 73 are also displayed in an overlapping manner. The button 72 is a button for the input auxiliary line L1, and is a button for rotating the input auxiliary line as will be described later. The button 73 is a button for displaying the second input auxiliary line L2, as will be described later.

入力補助線L1は、矩形の計測点指定画像71に水平な線であり、計測点指定画像71上の予め決められた位置に表示される。入力補助線L1は、図6では点線で示しているが、点線に代えて、特定の色の線で表示されるようにしてもよい。さらに、入力補助線L1の表示色は、設定変更可能であってもよい。これは、被写体には様々な色のものがあるので、その色とは異なる色で表示して被写体と区別できるようにするためである。   The input auxiliary line L1 is a line that is horizontal to the rectangular measurement point designation image 71 and is displayed at a predetermined position on the measurement point designation image 71. The input auxiliary line L1 is indicated by a dotted line in FIG. 6, but may be displayed by a line of a specific color instead of the dotted line. Further, the display color of the input auxiliary line L1 may be changeable. This is because the subject has various colors, so that the subject can be displayed in a different color from the subject so that the subject can be distinguished from the subject.

なお、ここでは、入力補助線L1は、ユーザが指で画面17a上をタップすると、計測点指定画像71に水平な線として表示される。あるいは、ユーザが指で画面17a上の任意の2点をタップし、そのタップされた2点を結ぶ線を入力補助線L1として計測点指定画像71上に表示するようにしてもよい。あるいは、ユーザが指で画面17a上を触りながらなぞり、その開始点と終了点を結ぶ線を入力補助線L1として計測点指定画像71上に表示するようにしてもよい。
以上のように、S2の処理は、表示画面上において、指定点の位置決定を補助するための第1の補助図形を表示する補助図形表示部を構成する。
Here, the input auxiliary line L1 is displayed as a horizontal line on the measurement point designation image 71 when the user taps the screen 17a with a finger. Alternatively, the user may tap any two points on the screen 17a with a finger, and a line connecting the tapped points may be displayed on the measurement point designation image 71 as the input auxiliary line L1. Alternatively, the user may trace the screen 17a with a finger and display a line connecting the start point and the end point on the measurement point designation image 71 as the input auxiliary line L1.
As described above, the process of S2 constitutes an auxiliary graphic display unit that displays the first auxiliary graphic for assisting the determination of the position of the designated point on the display screen.

S2の後、入力補助線L1が表示された状態で、入力補助線L1を移動させることができる第1の入力補助線L1の移動処理が実行される(S3)。
第1の入力補助線L1の移動方法には複数の方法があり、ユーザは所望の方法を利用して、入力補助線L1を移動することができる。複数の移動方法には、例えば、次のような方法がある。
After S2, in the state where the input auxiliary line L1 is displayed, the moving process of the first input auxiliary line L1 that can move the input auxiliary line L1 is executed (S3).
There are a plurality of methods for moving the first input auxiliary line L1, and the user can move the input auxiliary line L1 using a desired method. Examples of the plurality of movement methods include the following methods.

(第1の移動方法)
ユーザが指で、画面17a上で入力補助線L1を触れて選択し、その状態で所望の方向へドラッグすることによって、入力補助線L1が計測点指定画像71上で平行移動する。この第1の移動は、指の動き量、すなわち画面17a上で触れられた位置の移動量、に応じたものであるので、計測点指定画像71上での入力補助線L1の移動量は、比較的大まかなものである。
(First movement method)
When the user touches and selects the input auxiliary line L1 on the screen 17a with a finger and drags it in a desired direction in that state, the input auxiliary line L1 moves in parallel on the measurement point designation image 71. Since this first movement is in accordance with the movement amount of the finger, that is, the movement amount of the position touched on the screen 17a, the movement amount of the input auxiliary line L1 on the measurement point designation image 71 is It is relatively rough.

(第2の移動方法)
ユーザが指で、画面17a上で入力補助線L1外を触れると、触れられた位置の方向へ向かって、1ピクセル単位で、入力補助線L1が計測点指定画像71上で平行移動する。この第2の移動は、ピクセル単位の移動なので、計測点指定画像71上での入力補助線L1の細かな移動を可能にするものである。
(Second movement method)
When the user touches the outside of the input auxiliary line L1 on the screen 17a with a finger, the input auxiliary line L1 translates on the measurement point designation image 71 in units of one pixel toward the touched position. Since the second movement is a movement in units of pixels, the input auxiliary line L1 can be finely moved on the measurement point designation image 71.

(第3の移動方法)
ユーザが指で、画面17a上で入力補助線L1外を触れながらスライドする、あるいは軽く撫でると、そのスライドした量あるいは撫でた量に比例した量だけ、そのスライドした方向に向かって、入力補助線L1が計測点指定画像71上で平行移動する。この第3の移動は、指の動きに応じたものであるので、計測点指定画像71上での入力補助線L1の移動量は、比較的大まかなものである。
(Third moving method)
If the user slides while touching the outside of the input auxiliary line L1 on the screen 17a with a finger, or lightly stroked, the input auxiliary line is directed toward the sliding direction by an amount proportional to the amount of sliding or the amount of stroke. L1 translates on the measurement point designation image 71. Since this third movement is in accordance with the movement of the finger, the movement amount of the input auxiliary line L1 on the measurement point designation image 71 is relatively rough.

(第4の移動方法)
ユーザが指で、画面17a上を触りながらなぞると、そのなぞった方向に、入力補助線L1を一点速度で移動し続けるように表示し、再度ユーザが指で画面17aに触れると移動が止まるようにして、所望の位置まで入力補助線L1が移動する。
(4th movement method)
If the user traces while touching the screen 17a with his / her finger, the input auxiliary line L1 is displayed so as to continue moving at a single point speed in the traced direction, and the movement stops when the user touches the screen 17a again with his / her finger. Thus, the input auxiliary line L1 moves to a desired position.

図7は、入力補助線L1の平行移動を説明するための図である。図7に示すように、上記の第1から第4の移動方法により、ユーザは、入力補助線L1を、矢印A1で示す方向に一点鎖線L11で示すように移動させて、最終的には、入力補助線L1を点P1を通る位置に位置させることができる。
以上説明した4つの移動方法は、入力補助線L1を平行移動させる方法であるが、ボタン72を用いて入力補助線L1を回転させる移動方法もある。
(第5の移動方法)
ユーザが指で、画面17a上でボタン72に対応する位置に触れながらドラッグすると、ドラッグの移動量だけ、入力補助線L1の所定の位置、例えば入力補助線L1の中点、を中心として、ドラッグした方向に入力補助線L1が回転する。
この第5の移動は、指の動きに応じたものであるので、計測点指定画像71上での入力補助線L1の回転量は、比較的大まかなものである。
FIG. 7 is a diagram for explaining the parallel movement of the input auxiliary line L1. As shown in FIG. 7, the user moves the input auxiliary line L1 in the direction indicated by the arrow A1 by the first to fourth moving methods described above, and finally, The input auxiliary line L1 can be positioned at a position passing through the point P1.
The four moving methods described above are methods of moving the input auxiliary line L1 in parallel, but there is also a moving method of rotating the input auxiliary line L1 using the button 72.
(Fifth moving method)
When the user drags with the finger while touching the position corresponding to the button 72 on the screen 17a, the drag is performed by moving the drag about the predetermined position of the input auxiliary line L1, for example, the midpoint of the input auxiliary line L1. The input auxiliary line L1 rotates in the direction that is set.
Since the fifth movement is in accordance with the movement of the finger, the rotation amount of the input auxiliary line L1 on the measurement point designation image 71 is relatively rough.

(第6の移動方法)
ユーザが指で、画面17a上でボタン72に触れた後、入力補助線L1以外の位置に触れると、入力補助線L1の所定の位置、例えば入力補助線L1の中点、を中心として、触れた位置の方向に向かって、所定量だけ、入力補助線L1が計測点指定画面71上で回転する。回転の所定量は、例えば、入力補助線L1の中央の位置を中心とする仮想の所定の円上の1画素分、入力補助線L1の中央の位置を中心として1度分、等である。
この第6の移動は、仮想の所定の円上の1画素分、等の所定量の移動なので、計測点指定画像71上での第1の入力補助線L1の細かな回転量を可能にするものである。
(Sixth moving method)
When the user touches the button 72 on the screen 17a with a finger and then touches a position other than the input auxiliary line L1, the user touches the center of the predetermined position of the input auxiliary line L1, for example, the midpoint of the input auxiliary line L1. The input auxiliary line L1 rotates on the measurement point designation screen 71 by a predetermined amount in the direction of the position. The predetermined amount of rotation is, for example, one pixel on a virtual predetermined circle centered on the center position of the input auxiliary line L1, one degree about the center position of the input auxiliary line L1, and the like.
Since the sixth movement is a predetermined amount of movement such as one pixel on a virtual predetermined circle, it is possible to finely rotate the first input auxiliary line L1 on the measurement point designation image 71. Is.

図8は、入力補助線L1の回転を説明するための図である。図8に示すように、上記の第5及び第6の回転方法により、ユーザは、入力補助線L1を、点P1のある、矢印A2で示す方向に、一点鎖線L12で示すように回転させて、最終的には、入力補助線L1を点P1を通る位置に位置させることができる。
以上のように、S3の処理は、補助図形である第1の入力補助線L1を、平行移動あるいは回転させて移動する補助図形移動部を構成する。そして、S3では、タッチパネル17の画面17a上の触れられた位置及び移動量に応じて、第1の入力補助線L1を移動可能である。あるいはS3では、タッチパネル17の画面17a上へのタップ回数又は接触時間に応じて、画面17aに表示された内視鏡画像EIの表示画素単位で、第1の入力補助線L1を移動可能である。
FIG. 8 is a diagram for explaining the rotation of the input auxiliary line L1. As shown in FIG. 8, by the fifth and sixth rotation methods described above, the user rotates the input auxiliary line L1 in the direction indicated by the arrow A2 with the point P1 as indicated by the alternate long and short dash line L12. Finally, the input auxiliary line L1 can be positioned at a position passing through the point P1.
As described above, the process of S3 constitutes an auxiliary figure moving unit that moves the first input auxiliary line L1, which is an auxiliary figure, by translation or rotation. In S3, the first input auxiliary line L1 can be moved according to the touched position on the screen 17a of the touch panel 17 and the amount of movement. Alternatively, in S3, the first input auxiliary line L1 can be moved in units of display pixels of the endoscopic image EI displayed on the screen 17a according to the number of taps or the contact time on the screen 17a of the touch panel 17. .

ユーザは、以上の方法を利用して、入力補助線L1を移動させて、点P1を通る位置に位置させることができる。図9は、入力補助線L1が点P1を通る位置に位置された状態を示す図である。図9は、上記の第1から第4の移動方法により、ユーザが、入力補助線L1を、点P1を通る位置に移動させた状態を示す。   Using the above method, the user can move the input auxiliary line L1 to a position passing through the point P1. FIG. 9 is a diagram illustrating a state where the input auxiliary line L1 is located at a position passing through the point P1. FIG. 9 shows a state in which the user moves the input auxiliary line L1 to a position passing through the point P1 by the first to fourth moving methods.

以上のようにして、第1の入力補助線L1の移動処理(S3)の後に、ユーザが、第1の入力補助線L1の確定指示をしたか否かが判断される(S4)。その確定指示の有無は、ここでは、ユーザは、ボタン73に触れたか否かによって、行われる。なお、その確定指示は、ボタン73に触れる方法以外の方法で行うようにしてもよい。   As described above, after the moving process (S3) of the first input auxiliary line L1, it is determined whether or not the user has instructed to confirm the first input auxiliary line L1 (S4). Here, the presence / absence of the confirmation instruction is performed depending on whether or not the user has touched the button 73. The confirmation instruction may be performed by a method other than the method of touching the button 73.

なお、第1の入力補助線L1は、画面17a上の2画素分、3画素分などの複数の画素幅を有する線として表示されるので、S4において、入力補助線L1の位置は、その複数の画素幅の中心の値を用いて決定される。   Since the first input auxiliary line L1 is displayed as a line having a plurality of pixel widths such as two pixels and three pixels on the screen 17a, the position of the input auxiliary line L1 is a plurality of positions in S4. It is determined using the center value of the pixel width.

入力補助線L1を移動させて点P1を通る位置に位置させた後、ユーザがボタン73の位置を触れなければ(S4:NO)、処理は、S3に戻る。ユーザがボタン73の画面17a上の位置に触れると(S4:YES)、第1の入力補助線L1の位置を決定する第1の入力補助線の位置決定処理が実行される(S5)。その後、第2の入力補助線L2の表示処理が実行され(S6)、続いて、ポインタ表示処理が実行される(S7)。図10は、第2の入力補助線L2が表示された計測点指定画像71の例を示す図である。   If the user does not touch the position of the button 73 after moving the input auxiliary line L1 to a position passing through the point P1 (S4: NO), the process returns to S3. When the user touches the position of the button 73 on the screen 17a (S4: YES), the first input auxiliary line position determining process for determining the position of the first input auxiliary line L1 is executed (S5). Thereafter, display processing of the second input auxiliary line L2 is executed (S6), and then pointer display processing is executed (S7). FIG. 10 is a diagram illustrating an example of the measurement point designation image 71 on which the second input auxiliary line L2 is displayed.

第2の入力補助線L2の表示処理(S6)により、図10に示すように、内視鏡画像EI上に1本の入力補助線L2が重畳表示される。点線で示した入力補助線L2は、矩形の計測点指定画像71に垂直な線であり、計測点指定画像71上の予め決められた位置に表示される。S6の処理が、画面17a上において、指定点の位置決定を補助するための第2の補助図形を表示する補助図形表示部を構成する。   By the display process (S6) of the second input auxiliary line L2, as shown in FIG. 10, one input auxiliary line L2 is superimposed on the endoscopic image EI. The input auxiliary line L <b> 2 indicated by a dotted line is a line perpendicular to the rectangular measurement point designation image 71 and is displayed at a predetermined position on the measurement point designation image 71. The process of S6 constitutes an auxiliary graphic display unit that displays a second auxiliary graphic for assisting the determination of the position of the designated point on the screen 17a.

なお、第2の入力補助線L2も、第1の入力補助線L1と同様に、特定の色の線で表示されてもよいし、入力補助線L2の表示色を設定変更可能としてもよい。   Similarly to the first input auxiliary line L1, the second input auxiliary line L2 may be displayed with a specific color line, or the display color of the input auxiliary line L2 may be changeable.

さらになお、ここでは、入力補助線L2も、上述した第1の入力補助線L1と同様に、ユーザが指で、画面17a上の任意の2点をタップし、そのタップされた2点を結ぶ線を入力補助線L2として計測点指定画像71上に表示するようにしてもよい。あるいはユーザが指で、画面17a上を触りながらなぞり、その開始点と終了点を結ぶ線を入力補助線L2として計測点指定画像71上に表示するようにしてもよい。   Furthermore, here, the input auxiliary line L2 is also connected to the two tapped points by the user tapping any two points on the screen 17a with the finger, like the first input auxiliary line L1 described above. The line may be displayed on the measurement point designation image 71 as the input auxiliary line L2. Alternatively, the user may trace the screen 17a with his / her finger and display the line connecting the start point and the end point on the measurement point designation image 71 as the input auxiliary line L2.

そして、ポインタ表示処理(S7)により、図10に示すように、第1の入力補助線L1と第2の入力補助線L2との交点に、所定のマークとしてポインタCM1が併せて表示される。ポインタCM1は、ここでは、十字マークであり、例えば第1と第2の入力補助線L1、L2の色とは異なる色で表示される。この所定のマークの色も、ユーザが設定変更可能であってもよい。S7の処理が、画面17aの第1の入力補助線L1上に、指定点の内視鏡画像EI上の位置を指定するためのポインタCM1を表示させるポインタ表示部を構成する。S7では、第1の補助図形である入力補助線L1と第2の補助図形である入力補助線L2に基づいて決定された交点の位置に、ポインタCM1が表示される。   Then, by the pointer display process (S7), as shown in FIG. 10, the pointer CM1 is also displayed as a predetermined mark at the intersection of the first input auxiliary line L1 and the second input auxiliary line L2. The pointer CM1 is a cross mark here, and is displayed in a color different from the colors of the first and second input auxiliary lines L1 and L2, for example. The color of the predetermined mark may be changeable by the user. The process of S7 constitutes a pointer display unit that displays a pointer CM1 for designating the position of the designated point on the endoscopic image EI on the first input auxiliary line L1 of the screen 17a. In S7, the pointer CM1 is displayed at the position of the intersection determined based on the input auxiliary line L1 that is the first auxiliary graphic and the input auxiliary line L2 that is the second auxiliary graphic.

なお、ポインタCM1は、PCのカーソルと同様な矢印マークでもよいし、丸マークで中心に十字を有するもの、等であってもよい。   Note that the pointer CM1 may be an arrow mark similar to a PC cursor, a circle mark having a cross in the center, or the like.

また、このとき、図10に示すように、入力補助線L2についてのボタン72Aも重畳表示される。ボタン72Aは、入力補助線L2についてのボタンであり、上述したボタン72と同様の機能を有し、入力補助線L2を回転させるためのボタンである。   At this time, as shown in FIG. 10, the button 72A for the input auxiliary line L2 is also displayed in a superimposed manner. The button 72A is a button for the input auxiliary line L2, has the same function as the button 72 described above, and is a button for rotating the input auxiliary line L2.

S7の後、第2の入力補助線L2についても、第1の入力補助線L1と同様の移動が可能であり、ユーザは、上述した第1から第6の移動方法を用いて、第2の入力補助線L2を、所望の位置まで正確に移動することができる(S8)。   After S7, the second input auxiliary line L2 can also be moved in the same manner as the first input auxiliary line L1, and the user can use the first to sixth moving methods described above to perform the second movement. The input auxiliary line L2 can be accurately moved to a desired position (S8).

例えば、第1、第3又は第4の移動方法により、矢印A3で示す方向に一点鎖線L21で示すように、入力補助線L2を大まかに平行移動させた後、第2の移動方法により、入力補助線L2を細かく平行移動させて、入力補助線L2が点P1を通る位置まで移動させる。
あるいは、ボタン72Aを用いて、上述した第5及び第6の移動方法により、入力補助線L2を回転させて、入力補助線L2が点P1を通る位置まで回転するようにしてもよい。
For example, after the input auxiliary line L2 is roughly translated in the direction indicated by the arrow A3 by the first, third, or fourth movement method, as shown by the alternate long and short dash line L21, the input is performed by the second movement method. The auxiliary line L2 is finely translated and moved to a position where the input auxiliary line L2 passes through the point P1.
Alternatively, the input auxiliary line L2 may be rotated to the position where the input auxiliary line L2 passes through the point P1 using the button 72A by the fifth and sixth moving methods described above.

以上のように、S8の処理は、補助図形である第2の入力補助線L2を、平行移動あるいは回転させて移動する補助図形移動部を構成する。そして、S8では、タッチパネル17の画面17a上の触れられた位置及び移動量に応じて、第2の入力補助線L2を移動可能である。あるいはS8では、タッチパネル17の画面17a上へのタップ回数又は接触時間に応じて、画面17aに表示された内視鏡画像EIの表示画素単位で、第2の入力補助線L2を移動可能である。   As described above, the process of S8 constitutes an auxiliary figure moving unit that moves the second input auxiliary line L2, which is an auxiliary figure, by translation or rotation. In S8, the second input auxiliary line L2 can be moved according to the touched position and the moving amount on the screen 17a of the touch panel 17. Alternatively, in S8, the second input auxiliary line L2 can be moved in units of display pixels of the endoscopic image EI displayed on the screen 17a according to the number of taps or the contact time on the screen 17a of the touch panel 17. .

S8において、第2の入力補助線L2が移動されると、ポインタCM1は常に第1と第2の入力補助線L1,L2の交点に存在するので、第1の入力補助線L1又は第2の入力補助線L2の移動に応じて、ポインタCM1も同時に移動する(S9)。すなわち、S9の処理は、補助図形である第1の入力補助線L1上でポインタCM1を移動させるポインタ移動部を構成する。   In S8, when the second input auxiliary line L2 is moved, the pointer CM1 always exists at the intersection of the first and second input auxiliary lines L1 and L2, so the first input auxiliary line L1 or the second input auxiliary line L2 In accordance with the movement of the input auxiliary line L2, the pointer CM1 is also moved simultaneously (S9). That is, the process of S9 constitutes a pointer moving unit that moves the pointer CM1 on the first input auxiliary line L1 that is an auxiliary figure.

第1及び第2の入力補助線L1,L2が目的とする点P1をそれぞれが通る位置に移動されたとして、S9の処理の後、ユーザが第2の入力補助線L2の確定指示をしたか否かが判断される(S10)。その確定指示は、例えば、ユーザが指で画面17a上のポインタCM1の位置をダブルタップする等により行うことができる。   Assuming that the first and second input auxiliary lines L1 and L2 have been moved to the respective positions passing through the target point P1, whether the user has instructed to confirm the second input auxiliary line L2 after the process of S9 It is determined whether or not (S10). The confirmation instruction can be given, for example, when the user double taps the position of the pointer CM1 on the screen 17a with a finger.

なお、第2の入力補助線L2の確定指示がされないときは(S10:NO)、第1の入力補助線L1の選択がされたか否かが判定される(S11)。ここでは、第2の入力補助線L2の移動を行った後に、第1の入力補助線L1の位置を変更したい場合には、ユーザが指で第1の入力補助線L1を触れると、第1の入力補助線L1の選択がされたと判定される。   Note that, when the confirmation instruction of the second input auxiliary line L2 is not given (S10: NO), it is determined whether or not the first input auxiliary line L1 has been selected (S11). Here, when the user wants to change the position of the first input auxiliary line L1 after moving the second input auxiliary line L2, when the user touches the first input auxiliary line L1 with a finger, It is determined that the input auxiliary line L1 has been selected.

第1の入力補助線L1の選択がされたときは(S11:YES)、処理は、S3へ移行して、第1の入力補助線L1の移動が可能となる。この場合、第1と第2の入力補助線L1,L2は表示されている状態であるので、第1の入力補助線L1の移動があると、第1の入力補助線L1の移動に伴って、ポインタCM1も同時に移動する。
第1の入力補助線L1の選択がされないと(S11:NO)、処理は、S8へ移行する。
When the first input auxiliary line L1 is selected (S11: YES), the process proceeds to S3, and the first input auxiliary line L1 can be moved. In this case, since the first and second input auxiliary lines L1 and L2 are in a displayed state, if the first input auxiliary line L1 moves, the first input auxiliary line L1 moves along with the movement. The pointer CM1 also moves at the same time.
If the first input auxiliary line L1 is not selected (S11: NO), the process proceeds to S8.

以上のようにして、第1と第2の入力補助線L1,L2の位置をそれぞれ独立して移動可能であり、ユーザは、第1と第2の入力補助線L1,L2の交点にあるポインタCM1の中心を、点P1に合わせることができる。   As described above, the positions of the first and second input auxiliary lines L1 and L2 can be moved independently, and the user can move the pointer at the intersection of the first and second input auxiliary lines L1 and L2. The center of CM1 can be aligned with point P1.

図11は、入力補助線L2が点P1を通る位置まで移動された状態を示す図である。図11に示す状態で、ポインタCM1の中心が点P1に合致またはほぼ合致した状態で、ユーザが確定指示をすると(S10:YES)、第2の入力補助線L2の位置を決定する第2の入力補助線の決定処理を実行し(S12),第1と第2の入力補助線L1,L2の交点であるポインタCM1の位置を決定するポインタ位置決定処理を実行する(S13)。   FIG. 11 is a diagram illustrating a state where the input auxiliary line L2 has been moved to a position passing through the point P1. In the state shown in FIG. 11, when the user issues a confirmation instruction in the state where the center of the pointer CM1 coincides with or substantially coincides with the point P1 (S10: YES), the second input auxiliary line L2 is determined. An input auxiliary line determination process is executed (S12), and a pointer position determination process for determining the position of the pointer CM1, which is the intersection of the first and second input auxiliary lines L1 and L2, is executed (S13).

ポインタ位置決定処理により、ポインタCM1の位置に対応する位置にある点P1が、第1の計測点として決定される。ポインタ位置決定処理(S13)が実行されると、画面17aにおいては、2つの入力補助線L1,L2の表示は消えて、ポインタCMのみが表示されるようになる。よって、S13の処理が、ポインタCM1により指示された内視鏡画像EI上の位置を、指定点として決定する指定点決定部を構成する。   By the pointer position determination process, a point P1 at a position corresponding to the position of the pointer CM1 is determined as the first measurement point. When the pointer position determination process (S13) is executed, the display of the two input auxiliary lines L1 and L2 disappears and only the pointer CM is displayed on the screen 17a. Therefore, the process of S13 constitutes a designated point determination unit that determines the position on the endoscopic image EI designated by the pointer CM1 as the designated point.

以上のように、第1の計測点としての点P1は、独立して移動可能な2つの入力補助線L1,L2により指定される。このとき、ポインタCM1は、常に2つの入力補助線L1,L2の交点に存在し、ポインタCM1も、2つの入力補助線L1,L2の移動に伴って同時に移動する。従って、このように2つの入力補助線L1,L2の移動に応じて、ポインタCM1が移動するので、ポインタCM1がユーザの指で隠れてしまうということはない。さらに、各入力補助線は、第2又は第5の移動方法により、細かく移動させることができるため、ポインタCM1による、計測点の正確な指定も可能となる。   As described above, the point P1 as the first measurement point is designated by the two input auxiliary lines L1 and L2 that can move independently. At this time, the pointer CM1 always exists at the intersection of the two input auxiliary lines L1 and L2, and the pointer CM1 also moves simultaneously with the movement of the two input auxiliary lines L1 and L2. Therefore, since the pointer CM1 moves in accordance with the movement of the two input auxiliary lines L1 and L2, the pointer CM1 is not hidden by the user's finger. Furthermore, since each input auxiliary line can be moved finely by the second or fifth moving method, the measurement point can be accurately specified by the pointer CM1.

次に、点P2についての計測点の指定は、ユーザが指で画面17a上を、再度1回タップすることにより行うことができる。すなわち、ユーザが指で画面17a上を、再度1回タップすると、再び第1の入力補助線L1の表示処理が実行され(S2)、その後、上述したS3からS11の処理が実行されて、点P1と同様に、点P2についての計測点の指定をすることができる。   Next, the measurement point for the point P2 can be specified by tapping once again on the screen 17a with the finger. That is, when the user taps on the screen 17a once again with the finger, the display process of the first input auxiliary line L1 is executed again (S2), and then the processes of S3 to S11 described above are executed. Similarly to P1, measurement points for the point P2 can be designated.

図12は、2つの計測点P1,P2が指定された状態を示す図である。図12に示すように、ユーザにより位置が決定された2つのポインタCM1,CM2が、それぞれ2つの計測点P1,P2に対応している。   FIG. 12 is a diagram showing a state where two measurement points P1 and P2 are designated. As shown in FIG. 12, the two pointers CM1 and CM2 whose positions are determined by the user correspond to the two measurement points P1 and P2, respectively.

図5の処理の後、ユーザは、指定した2点P1,P2間の距離を算出する計測処理プログラムを実行させることができる。ここでは、計測処理は、決定された2つの指定点に対応する、内視鏡画像EIに映し出された被写体の対応点の3次元位置座標に基づく計測処理、例えば2点間距離測定など、である。   After the process of FIG. 5, the user can execute a measurement processing program that calculates the distance between the two specified points P1 and P2. Here, the measurement process is a measurement process based on the three-dimensional position coordinates of the corresponding points of the subject displayed on the endoscopic image EI corresponding to the two specified points determined, for example, a distance measurement between two points. is there.

なお、以上は、ユーザが2つの計測点を指定する場合を説明したが、先端部14から計測点までの距離を計測する場合のように、1つの計測点のみを指定する場合は、上述した点P1についての計測点の指定だけとなる。   In the above, the case where the user designates two measurement points has been described. However, the case where only one measurement point is designated as in the case where the distance from the distal end portion 14 to the measurement point is designated is described above. Only the measurement point is designated for the point P1.

また、上述した例では、ユーザが入力補助線L1,L2を移動させるときは、それぞれ別々に移動可能で、一方の移動をしているときは、他方の移動はできないが、2つの入力補助線L1,L2を同時に触れている状態で、入力補助線L1と入力補助線L2を同時に別々に動かすことができるようにしてもよい。   In the above-described example, when the user moves the input auxiliary lines L1 and L2, the input auxiliary lines L1 and L2 can be moved separately. When the user moves one of the input auxiliary lines L1 and L2, the other input cannot be moved. The input auxiliary line L1 and the input auxiliary line L2 may be moved separately at the same time while touching L1 and L2.

さらにまた、ポインタCM1あるいはCM2に触れている状態でドラッグすると、その触れているポインタの移動に伴って、そのポインタを通る2つの入力補助線L1,L2が同時にドラッグされるようにしてもよい。   Furthermore, when dragging while the pointer CM1 or CM2 is being touched, the two auxiliary input lines L1 and L2 passing through the pointer may be dragged simultaneously with the movement of the touched pointer.

なお、上述した例では、第1の入力補助線L1の位置を決定した後に、第2の入力補助線L2を表示しているが、最初から2本の入力補助線L1,L2を同時に表示するようにしてもよい。その場合、ユーザが移動したい入力補助線を選択できるようにして、移動可能な入力補助線は、移動不可能な入力補助線とは、色を変えて表示するようにして、ユーザが移動できる入力補助線を認識できるようにする。例えば、画面17a上の所定のボタンを触れることによって、一方の入力補助線のみを、他方の入力補助線の色(例えば黒色)とは異なる色(例えば赤色)で表示する。そして再度所定のボタンを触れると、他方の入力補助線を一方の入力補助線の色(例えば黒色)とは異なる色(例えば赤色)で表示するように、表示を変更等することにより、ユーザは、移動可能な入力補助線を識別できる。この場合、移動可能な入力補助線の色と、移動不可能な入力補助線の色は、それぞれユーザによって設定変更可能とされる。   In the above-described example, the second input auxiliary line L2 is displayed after the position of the first input auxiliary line L1 is determined. However, the two input auxiliary lines L1 and L2 are simultaneously displayed from the beginning. You may do it. In that case, the input auxiliary line that the user wants to move can be selected, the movable input auxiliary line is displayed in a different color from the non-movable input auxiliary line, and the user can move the input. Make auxiliary lines visible. For example, by touching a predetermined button on the screen 17a, only one input auxiliary line is displayed in a color (for example, red) different from the color (for example, black) of the other input auxiliary line. When the predetermined button is touched again, the user can change the display so that the other input auxiliary line is displayed in a color (for example, red) different from the color of the one input auxiliary line (for example, black). , Movable input auxiliary lines can be identified. In this case, the user can change the setting of the color of the movable input auxiliary line and the color of the non-movable input auxiliary line.

さらになお、上述した第1と第2の入力補助線は、直線であるが、線分、曲線、あるいは閉曲線でもよい。   Furthermore, the first and second input auxiliary lines described above are straight lines, but may be line segments, curved lines, or closed curves.

以上のように、上述した実施の形態の内視鏡装置によれば、2本の入力補助線を用いてそれぞれを個別に移動させてポインタを表示させているので、ポインタの位置が指で隠れてしまうこともなく、タッチパネル上で正確な計測点の指定を容易に行うことができる。
(第2の実施の形態)
第1の実施の形態の内視鏡装置では、直線である2本の入力補助線によって、計測点の指定が行われているが、本実施の形態の内視鏡装置では、円と直線の2つの入力補助線によって、計測点の指定が行われる。
As described above, according to the endoscope device of the above-described embodiment, the pointer is displayed by moving each of the two auxiliary input lines individually, so that the position of the pointer is hidden by the finger. Therefore, accurate measurement points can be easily specified on the touch panel.
(Second Embodiment)
In the endoscope apparatus of the first embodiment, measurement points are designated by two input auxiliary lines that are straight lines. However, in the endoscope apparatus of the present embodiment, a circle and a straight line are specified. A measurement point is designated by two input auxiliary lines.

本実施の形態の内視鏡装置の構成は、第1の内視鏡装置の構成と同じであり、その構成と計測点の指定処理は、図1、図2及び図5と同様であるので、以下、第1の実施の形態と同じ構成については同じ符号を用いて説明は省略し、第1の実施の形態と異なる動作について図4の内視鏡画像の例を用いて説明する。   The configuration of the endoscope apparatus according to the present embodiment is the same as that of the first endoscope apparatus, and the configuration and measurement point designation processing are the same as those in FIGS. 1, 2, and 5. Hereinafter, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted. Operations different from those in the first embodiment will be described using the example of the endoscopic image in FIG.

本実施の形態の内視鏡装置も、計測モードが設定された後に、ユーザがタッチパネル17の画面17a上を指で触れると、図5の処理が開始される。そして、図4の内視鏡画像EIが計測モード画像として表示(S1)された状態で、ユーザが指で、画面17a上を1回タップすると、第1の入力補助線L3の表示処理が実行される(S2)。   In the endoscope apparatus of the present embodiment as well, when the user touches the screen 17a of the touch panel 17 with a finger after the measurement mode is set, the process of FIG. 5 is started. Then, when the endoscope image EI of FIG. 4 is displayed as a measurement mode image (S1), when the user taps the screen 17a once with a finger, the display process of the first input auxiliary line L3 is executed. (S2).

図13は、第1の入力補助線L3が表示された計測点指定画像71Aの例を示す図である。第1の入力補助線L3の表示処理(S2)により、図13に示すように、計測点指定画像71Aには、内視鏡画像EI上に1つの円の第1の入力補助線L3が重畳表示されると共に、ボタン73も重畳表示される。   FIG. 13 is a diagram illustrating an example of a measurement point designation image 71A on which the first input auxiliary line L3 is displayed. As a result of the display processing (S2) of the first input auxiliary line L3, as shown in FIG. 13, the first input auxiliary line L3 of one circle is superimposed on the endoscope image EI on the measurement point designation image 71A. A button 73 is also superimposed and displayed.

円の入力補助線L3は、計測点指定画像71A上の予め決められた位置に表示される。入力補助線L3は、図13では点線で示しているが、特定の色の線で表示されてもよい。入力補助線L3の表示色も、第1の実施の形態と同様に、ユーザが、設定変更可能であってもよい。   The circular input auxiliary line L3 is displayed at a predetermined position on the measurement point designation image 71A. The input auxiliary line L3 is indicated by a dotted line in FIG. 13, but may be displayed by a line of a specific color. The display color of the input auxiliary line L3 may be changeable by the user as in the first embodiment.

ユーザが指で画面17a上の任意の2点をタップすると、そのタップされた2点の一方を円の中心とし、他方を円の円周上の点とする円形の線が入力補助線L3として計測点指定画像71A上に表示される。あるいは、ユーザが指で画面17a上を触りながら円形になぞると、そのなぞった線に沿って近似した円形の線が入力補助線L3として計測点指定画像71A上に表示される。
S2の後、第1の入力補助線L3が表示された状態で、第1の入力補助線L3を移動、拡大及び縮小させることができる第1の入力補助線L3の拡大縮小処理を含む移動処理が実行される(S3)。
第1の入力補助線L3の拡大縮小方法には、複数の方法があり、ユーザは、所望の方法を利用して、第1の入力補助線L3を移動することができる。複数の拡大縮小方法には、例えば、次のような方法がある。
When the user taps any two points on the screen 17a with a finger, a circular line having one of the tapped points as the center of the circle and the other as a point on the circumference of the circle becomes the input auxiliary line L3. It is displayed on the measurement point designation image 71A. Alternatively, when the user traces a circle while touching the screen 17a with a finger, a circular line approximated along the traced line is displayed on the measurement point designation image 71A as the input auxiliary line L3.
After S2, the moving process including the enlargement / reduction process of the first input auxiliary line L3 which can move, enlarge and reduce the first input auxiliary line L3 in a state where the first input auxiliary line L3 is displayed. Is executed (S3).
There are a plurality of methods for enlarging and reducing the first input auxiliary line L3, and the user can move the first input auxiliary line L3 using a desired method. Examples of the plurality of enlargement / reduction methods include the following methods.

(第1の拡大縮小方法)
ユーザが指で、画面17a上で第1の入力補助線L3である円の線上を触れて選択する。その状態で円の外周方向あるいは中心方向へドラッグすることによって、もしくは第1の入力補助線L3の円をピンチして動かすことによって、第1の入力補助線L1である円は、計測点指定画像71上で拡大あるいは縮小する。
この第1の拡大縮小方法は、指の動きに応じたものであるので、計測点指定画像71A上での第1の入力補助線L3の移動量は、比較的大まかなものである。
(First enlargement / reduction method)
The user touches and selects the first input auxiliary line L3 on the circle with the finger on the screen 17a. In this state, by dragging the circle toward the outer circumference or center of the circle, or by moving the circle of the first input auxiliary line L3 by pinching, the circle that is the first input auxiliary line L1 becomes the measurement point designation image. The image is enlarged or reduced on 71.
Since the first enlargement / reduction method is in accordance with the movement of the finger, the movement amount of the first input auxiliary line L3 on the measurement point designation image 71A is relatively rough.

(第2の拡大縮小方法)
ユーザが指で、画面17a上で第1の入力補助線L3の外側若しくは内側をタップする。タップされた位置の方向へ向かって、1ピクセル単位で、第1の入力補助線L3の円は、計測点指定画像71A上で拡大もしくは縮小する。円の外側がタップされると、タップの回数に応じて、1ピクセル単位で、第1の入力補助線L3は拡大する。一方、円の内側がタップされると、タップの回数に応じて、1ピクセル単位で、第1の入力補助線L3は縮小する。
この第2の拡大縮小は、ピクセル単位の拡大若しくは縮小なので、計測点指定画像71A上での第1の入力補助線L3の細かな拡大もしくは縮小を可能にするものである。なお、タップの接触時間に応じたピクセル量で、円を、拡大若しくは縮小するようにしてもよい。
(Second enlargement / reduction method)
The user taps the outside or the inside of the first input auxiliary line L3 with the finger on the screen 17a. In the direction of the tapped position, the circle of the first input auxiliary line L3 is enlarged or reduced on the measurement point designation image 71A in units of one pixel. When the outside of the circle is tapped, the first input auxiliary line L3 expands in units of one pixel according to the number of taps. On the other hand, when the inside of the circle is tapped, the first input auxiliary line L3 is reduced in units of one pixel according to the number of taps.
Since the second enlargement / reduction is an enlargement / reduction in units of pixels, the first input auxiliary line L3 can be finely enlarged or reduced on the measurement point designation image 71A. The circle may be enlarged or reduced by a pixel amount corresponding to the tap contact time.

なお、第3の拡大縮小方法として、拡大と縮小の指示のための2つのアイコン、2つのボタンなどを表示させて、そのどちらかのアイコン又はボタンをタップ等することによって、タップの回数若しくは接触時間に応じて、ピクセル単位の拡大若しくは縮小ができるようにしてもよい。   As a third enlargement / reduction method, two icons for enlargement / reduction instructions, two buttons, etc. are displayed, and the number of taps or contact is made by tapping one of the icons or buttons. Depending on the time, the pixel unit may be enlarged or reduced.

また、第1の入力補助線L3の移動も可能である。
(第1の移動方法)
ユーザが指で、画面17a上で第1の入力補助線L3の中心を触れて選択して選択状態にする。その状態で所望の方向へドラッグすることによって、第1の入力補助線L3を計測点指定画像71A上で平行移動する。
Further, the first input auxiliary line L3 can be moved.
(First movement method)
The user touches the center of the first input auxiliary line L3 on the screen 17a with his / her finger to select the input auxiliary line L3. By dragging in the desired direction in this state, the first input auxiliary line L3 is translated on the measurement point designation image 71A.

(第2の移動方法)
ユーザが指で、画面17a上で入力補助線L3の円の外を触れると、触れられた位置の方向へ向かって、1ピクセル単位で、入力補助線L3を計測点指定画像71上で平行移動する。
この第2の移動は、ピクセル単位の移動なので、計測点指定画像71上での入力補助線L3の細かな移動を可能にするものである。
(Second movement method)
When the user touches the outside of the circle of the input auxiliary line L3 on the screen 17a with a finger, the input auxiliary line L3 is translated on the measurement point designation image 71 in units of one pixel toward the touched position. To do.
Since this second movement is a movement in units of pixels, the input auxiliary line L3 can be finely moved on the measurement point designation image 71.

(第3の移動方法)
ユーザが指で、画面17a上で第1の入力補助線L3の中心を触れて選択する。その状態で画面17a上を触りながらなぞると、そのなぞった方向に、入力補助線L1を一点速度で移動し続けるように表示する。そしてユーザが指で再度画面17aに触れると移動が止まるようにして、所望の位置まで入力補助線L3を移動する。
(Third moving method)
The user touches the center of the first input auxiliary line L3 on the screen 17a with his / her finger to select it. If the user traces the screen 17a while touching the screen 17a in this state, the input auxiliary line L1 is displayed so as to continue moving at the single point speed in the traced direction. When the user touches the screen 17a again with the finger, the input auxiliary line L3 is moved to a desired position so that the movement stops.

図13は、入力補助線L3の拡大縮小及び平行移動を説明するための図である。図13に示すように、上記の第1から第3の拡大縮小及び上記第1から第3の移動方法により、ユーザは、入力補助線L3の円の拡大(図13のB1方向)、円の縮小(図13のB2方向)、及び円の移動(例えば矢印B3で示す方向への移動)、を行うことができる。   FIG. 13 is a diagram for explaining the enlargement / reduction and translation of the input auxiliary line L3. As shown in FIG. 13, by the above first to third enlargement / reduction and the first to third movement methods, the user enlarges the circle of the input auxiliary line L3 (direction B1 in FIG. 13). Reduction (direction B2 in FIG. 13) and movement of a circle (for example, movement in the direction indicated by arrow B3) can be performed.

以上の方法により、ユーザは、円形の図形である入力補助線L3を、所望の位置、例えば、点P1を通る位置に、拡大、縮小若しくは移動させることができる。   With the above method, the user can enlarge, reduce, or move the input auxiliary line L3, which is a circular figure, to a desired position, for example, a position passing through the point P1.

円周の線である第1の入力補助線L3が指定したい点P1の位置に一致したら、ユーザは、ボタン73を押すことにより(S4:YES)、第1の入力補助線L3の位置が決定される(S5)。そして、図14のような画像が表示される(S6)。図14は、第1の入力補助線L3の円の中心C1から円周方向に伸びる1本の第2の入力補助線L4が重畳表示されると共に、ボタン72も重畳表示された画像を示す図である。そして、第1の入力補助線L3と第2の入力補助線L4の交点に、ポインタCM3が表示される(S7)。第2の入力補助線L4は、次の4つの方法により、回転あるいは移動することができる(S8)。   When the first input auxiliary line L3, which is a circumferential line, matches the position of the point P1 to be designated, the user presses the button 73 (S4: YES) to determine the position of the first input auxiliary line L3. (S5). Then, an image as shown in FIG. 14 is displayed (S6). FIG. 14 is a view showing an image in which one second input auxiliary line L4 extending in the circumferential direction from the center C1 of the circle of the first input auxiliary line L3 is superimposed and the button 72 is also superimposed. It is. Then, the pointer CM3 is displayed at the intersection of the first input auxiliary line L3 and the second input auxiliary line L4 (S7). The second input auxiliary line L4 can be rotated or moved by the following four methods (S8).

(第1の回転方法)
ユーザが指で、画面17a上で、ボタン72に対応する位置に触れながらドラッグすると、ドラッグの移動量だけ、矢印B4あるいはB5で示すドラッグした方向に入力補助線L4が回転する。
この第4の移動は、指の動きに応じたものであるので、計測点指定画像71A上での第2の入力補助線L4の回転量は、比較的大まかなものである。
(First rotation method)
When the user drags with a finger while touching the position corresponding to the button 72 on the screen 17a, the input auxiliary line L4 rotates in the dragged direction indicated by the arrow B4 or B5 by the amount of dragging.
Since the fourth movement is in accordance with the movement of the finger, the rotation amount of the second input auxiliary line L4 on the measurement point designation image 71A is relatively rough.

(第2の回転方法)
ユーザが指で、画面17a上でボタン72を触れると、入力補助線L4に対して触れた位置に応じて、入力補助線L4の所定の位置、例えば入力補助線L4の中央の位置、を中心として、触れられた位置の方向に向かって、所定量だけ、入力補助線L4を計測点指定画面71A上で回転する。回転の所定量は、入力補助線L4の中央の位置を中心とする仮想の所定の円上の1画素分、入力補助線L4の中央の位置を中心として1度分、等である。
この第2の回転は、仮想の所定の円上の1画素分、等の所定量の回転なので、計測点指定画像71A上での入力補助線L4の細かな回転量を可能にするものである。
(Second rotation method)
When the user touches the button 72 on the screen 17a with a finger, the predetermined position of the input auxiliary line L4, for example, the center position of the input auxiliary line L4, is centered according to the position touched with respect to the input auxiliary line L4. Then, the input auxiliary line L4 is rotated on the measurement point designation screen 71A by a predetermined amount toward the touched position. The predetermined amount of rotation is one pixel on a virtual predetermined circle centered on the center position of the input auxiliary line L4, one degree about the center position of the input auxiliary line L4, and so on.
Since the second rotation is a predetermined amount of rotation such as one pixel on a virtual predetermined circle, it enables a fine amount of rotation of the input auxiliary line L4 on the measurement point designation image 71A. .

(第3の回転方法)
ユーザが指で、画面17a上を触りながらなぞると、そのなぞった方向に、入力補助線L4を一点速度で回転し続けるように表示する。そして再度ユーザが指で画面17aに触れると回転が止まるようにようにして、所望の位置まで入力補助線L4を回転する。
(Third rotation method)
When the user traces with the finger while touching the screen 17a, the input auxiliary line L4 is displayed so as to continue rotating at a single point speed in the traced direction. Then, the input auxiliary line L4 is rotated to a desired position so that the rotation stops when the user touches the screen 17a again with the finger.

また、入力補助線L3及びL4を同時に移動することもできる。第1の入力補助線L3の円の中心に触れながら、例えば矢印B6で示す方向にドラッグすると、第1の入力補助線L3と第2の入力補助線L4の相対的な位置関係を保持したまま、平行移動させることができる。   Further, the input auxiliary lines L3 and L4 can be moved simultaneously. While touching the center of the circle of the first input auxiliary line L3, for example, when dragging in the direction indicated by the arrow B6, the relative positional relationship between the first input auxiliary line L3 and the second input auxiliary line L4 is maintained. , Can be translated.

以上のようにして、円の第1の入力補助線L3と直線の第2の入力補助線L4は独立して回転若しくは移動可能である。第1と第2の入力補助線L3、L4のいずれかを回転若しくは移動しているとき、ポインタCM3は常に第1と第2の入力補助線L3、L4の交点に存在するように同時に移動する(S9)。第1と第2の入力補助線L3、L4のどちらを回転若しくは移動させるかは、第1と第2の入力補助線L3、L4のいずれかに触れることで切り換えることが可能である。なお、選択された方の入力補助線の色が変わる等により、選択状態がユーザに識別できるようにしてもよい。
図15は、第2の入力補助線L4が点P1を通る位置まで移動された状態を示す図である。図15に示す状態で、ポインタCM3の中心が点P1に合致またはほぼ合致した状態で、例えばポインタCM3をダブルタップすることなどにより、ユーザが確定指示をすると(S10:YES)、第2の入力補助線L4の位置を決定する第2の入力補助線L4の決定処理を実行し(S12),第1と第2の入力補助線L3,L4の交点であるポインタCM3の位置を決定するポインタ位置決定処理を実行する(S13)。
As described above, the circular first input auxiliary line L3 and the straight second input auxiliary line L4 can be rotated or moved independently. When one of the first and second input auxiliary lines L3 and L4 is rotated or moved, the pointer CM3 always moves at the same time so as to always exist at the intersection of the first and second input auxiliary lines L3 and L4. (S9). Which one of the first and second input auxiliary lines L3 and L4 is rotated or moved can be switched by touching either the first or second input auxiliary line L3 or L4. The selected state may be identified to the user by changing the color of the selected input auxiliary line.
FIG. 15 is a diagram illustrating a state where the second input auxiliary line L4 has been moved to a position passing through the point P1. In the state shown in FIG. 15, when the user gives a confirmation instruction (S10: YES), for example, by double-tapping the pointer CM3 in a state where the center of the pointer CM3 coincides with or almost coincides with the point P1, the second input The second input auxiliary line L4 determining process for determining the position of the auxiliary line L4 is executed (S12), and the pointer position for determining the position of the pointer CM3 that is the intersection of the first and second input auxiliary lines L3, L4 A determination process is executed (S13).

図16は、計測点P1が指定された状態を示す図である。図16に示すように、ユーザにより位置が決定されたポインタCM3が、計測点P1の指定点に対応している。
そして、計測点P2についても、上述した第1の計測点P1と同様に、ユーザが指で画面17a上を、再度1回タップすることにより、処理は、再び第1の入力補助線L1の表示処理(S2)に戻り、同様の処理により、新たなポインタを表示させて指定点として指定することができる。
FIG. 16 is a diagram illustrating a state in which the measurement point P1 is designated. As shown in FIG. 16, the pointer CM3 whose position is determined by the user corresponds to the designated point of the measurement point P1.
And about the measurement point P2, similarly to the 1st measurement point P1 mentioned above, when a user taps on the screen 17a once again with a finger | toe, a process will display the 1st input auxiliary line L1 again. Returning to the process (S2), a new pointer can be displayed and designated as a designated point by the same process.

なお、上記の例では、第1の入力補助線L3として円形の図形を表示し、次に第2の入力補助線L4として直線の図形を表示させているが、最初に、第1の入力補助線L3として直線の図形を表示し、次に第2の入力補助線L4として円形の図形を表示させるようにして、計測点の指定を行うようにしてもよい。   In the above example, a circular figure is displayed as the first input auxiliary line L3, and then a straight line figure is displayed as the second input auxiliary line L4. First, the first input auxiliary line L3 is displayed. A measurement point may be designated by displaying a straight line graphic as the line L3 and then displaying a circular graphic as the second input auxiliary line L4.

以上のように、上述した実施の形態の内視鏡装置によれば、円形の入力補助線と直線の入力補助線とを用いてそれぞれを個別に、拡大、縮小、移動等をさせてポインタを表示させているので、ポインタの位置が指で隠れてしまうこともなく、タッチパネル上で正確な計測点の指定を容易に行うことができる。   As described above, according to the endoscope apparatus of the above-described embodiment, each of the pointers can be individually enlarged, reduced, moved, etc. using the circular input auxiliary line and the linear input auxiliary line. Since it is displayed, the position of the pointer is not hidden by the finger, and an accurate measurement point can be easily specified on the touch panel.

さらになお、上述した第2の入力補助線L4は、直線であるが、線分、曲線、あるいは閉曲線でもよい。
(第3の実施の形態)
第1及び第2の実施の形態の内視鏡装置では、直線である2つの入力補助線又は円と直線の2つの入力補助線とによって、計測点の指定が行われているが、本実施の形態の内視鏡装置では、直線の1つの入力補助線のみによって、計測点の指定が行われる。
Furthermore, although the second input auxiliary line L4 described above is a straight line, it may be a line segment, a curve, or a closed curve.
(Third embodiment)
In the endoscope apparatuses of the first and second embodiments, the measurement points are specified by two input auxiliary lines that are straight lines or two input auxiliary lines that are straight lines and circles. In the endoscope apparatus of the form, the measurement point is designated by only one straight input auxiliary line.

本実施の形態の内視鏡装置の構成は、第1の内視鏡装置の構成と同じであり、その構成と計測点の指定処理は、図1、図2及び図5と同様あるいは類似するので、以下、第1の実施の形態と同じ構成については同じ符号を用いて説明は省略し、第1の実施の形態と異なる動作について図4の内視鏡画像の例を用いて説明する。図5に代わって図17により、本実施の形態の内視鏡装置1の動作を説明する。図17は、内視鏡装置1の制御ユニット24のCPU37により実行される計測点の指定処理の流れの例を示すフローチャートである。   The configuration of the endoscope apparatus of the present embodiment is the same as the configuration of the first endoscope apparatus, and the configuration and measurement point designation processing are the same as or similar to those in FIGS. Therefore, the description of the same configuration as that of the first embodiment will be omitted by using the same reference numerals, and the operation different from that of the first embodiment will be described using the example of the endoscopic image of FIG. The operation of the endoscope apparatus 1 according to the present embodiment will be described with reference to FIG. 17 instead of FIG. FIG. 17 is a flowchart illustrating an example of the flow of measurement point designation processing executed by the CPU 37 of the control unit 24 of the endoscope apparatus 1.

本実施の形態の内視鏡装置も、計測モードが設定された後に、ユーザがタッチパネル17の画面17a上を指で触れると、図17の処理が開始される。そして、図4の内視鏡画像EIが計測モード画像として表示(S1)された状態で、ユーザが指で、画面17a上を1回タップすると、第1の入力補助線L5の表示処理が実行される(S2)。   Also in the endoscope apparatus of the present embodiment, when the user touches the screen 17a of the touch panel 17 with a finger after the measurement mode is set, the process of FIG. 17 is started. Then, when the user taps the screen 17a once with the finger while the endoscope image EI of FIG. 4 is displayed as the measurement mode image (S1), the display process of the first input auxiliary line L5 is executed. (S2).

図18は、第1の入力補助線L5が表示された計測点指定画像71Bの例を示す図である。第1の入力補助線L5の表示処理(S2)により、図18に示すように、計測点指定画像71Bには、内視鏡画像EI上に1本の直線の第1の入力補助線L5が重畳表示されると共に、エッジ検出ボタン73Bも重畳表示される。   FIG. 18 is a diagram illustrating an example of the measurement point designation image 71B on which the first input auxiliary line L5 is displayed. As a result of the display process (S2) of the first input auxiliary line L5, as shown in FIG. 18, the measurement point designation image 71B has a single straight first input auxiliary line L5 on the endoscopic image EI. In addition to the superimposed display, the edge detection button 73B is also superimposed.

入力補助線L5は、計測点指定画像71B上の予め決められた位置に表示される。入力補助線L5は、図18では点線で示しているが、特定の色の線で表示されてもよい。入力補助線L5の表示色は、第1の実施の形態と同様に、ユーザが、設定変更可能であってもよい。   The input auxiliary line L5 is displayed at a predetermined position on the measurement point designation image 71B. The input auxiliary line L5 is indicated by a dotted line in FIG. 18, but may be displayed by a line of a specific color. The display color of the input auxiliary line L5 may be changeable by the user as in the first embodiment.

なお、ここでは、入力補助線L5は、ユーザが指で画面17a上をタップすると、計測点指定画像71Bに水平な線として表示される。ユーザが指で、画面17a上の任意の2点をタップすると、そのタップされた2点を結ぶ線を入力補助線L5として計測点指定画像71B上に表示するようにしてもよい。あるいは、ユーザが指で、画面17a上を触りながら円形になぞると、そのなぞった線に沿った直線を入力補助線L5として計測点指定画像71B上に表示するようにしてもよい。
さらになお、入力補助線L5は、線分L51でもよい。図19は、線分である入力補助線L51の例を示す図である。
Here, the input auxiliary line L5 is displayed as a horizontal line on the measurement point designation image 71B when the user taps the screen 17a with a finger. When the user taps any two points on the screen 17a with a finger, a line connecting the tapped two points may be displayed on the measurement point designation image 71B as the input auxiliary line L5. Alternatively, when the user traces a circle while touching the screen 17a with a finger, a straight line along the traced line may be displayed on the measurement point designation image 71B as the input auxiliary line L5.
Furthermore, the input auxiliary line L5 may be a line segment L51. FIG. 19 is a diagram illustrating an example of the input auxiliary line L51 which is a line segment.

S2の後、入力補助線L5が表示された状態で、入力補助線L5を移動することができる入力補助線L5の移動処理が実行される(S3)。
入力補助線L5の移動方法は、第1の実施の形態で説明した第1から第6の移動方法と同様で、複数の方法があり、ユーザは、所望の方法を利用して、入力補助線L5を移動することができる。図18に示すように、上記の第1から第4の移動方法により、ユーザは、入力補助線L5の移動(矢印C1,C2方向への移動)を行うことができる。さらに、第1の実施の形態で説明した第5と第6の移動方法により、ユーザは、入力補助線L5の回転を行うことができる。
After S2, in the state where the input auxiliary line L5 is displayed, the moving process of the input auxiliary line L5 that can move the input auxiliary line L5 is executed (S3).
The moving method of the input auxiliary line L5 is the same as the first to sixth moving methods described in the first embodiment, and there are a plurality of methods. The user can use the desired method to input the input auxiliary line. L5 can be moved. As shown in FIG. 18, the user can move the input auxiliary line L5 (moving in the directions of arrows C1 and C2) by the first to fourth moving methods. Furthermore, the user can rotate the input auxiliary line L5 by the fifth and sixth moving methods described in the first embodiment.

以上の方法により、ユーザは、直線の入力補助線L5を、所望の位置、例えば、点P1を通る位置に、移動させることができる。図20は、入力補助線L5が点P1を通る位置に移動した場合を示す図である。   With the above method, the user can move the straight input auxiliary line L5 to a desired position, for example, a position passing through the point P1. FIG. 20 is a diagram illustrating a case where the input auxiliary line L5 has moved to a position passing through the point P1.

次に、S3の処理の後、エッジ検出の指示があったか否か、すなわちエッジ検出ボタン73Bが押されたか否かが判定される(S21)。入力補助線L5が指定したい点P1を通る位置に一致したら、ユーザは、エッジ検出ボタン73Bを押すことで(S21:YES)、第1の入力補助線L5の位置が決定され(S5)、さらに、エッジ検出処理が実行される(S22)。   Next, after the process of S3, it is determined whether or not there is an instruction for edge detection, that is, whether or not the edge detection button 73B is pressed (S21). When the input auxiliary line L5 coincides with the position passing through the point P1 to be designated, the user presses the edge detection button 73B (S21: YES) to determine the position of the first input auxiliary line L5 (S5), and further Edge detection processing is executed (S22).

エッジ処理では、内視鏡画像EIの輝度情報に基づいて、入力補助線L5上のエッジ部を検出し、検出されたエッジ部の位置に、ポインタCM4が表示される(S23)。S23の処理が、画面17aの入力補助線L5上に、指定点の内視鏡画像EI上の位置を指定するためのポインタCM4を表示させるポインタ表示部を構成する。S23では、第1の補助図形である入力補助線L5上のエッジ部の位置に、ポインタCM4が表示される。ユーザは、エッジ検出指示をするだけで、点P1にポインタCM4を表示させることができ、操作が容易である。   In the edge processing, the edge portion on the input auxiliary line L5 is detected based on the luminance information of the endoscopic image EI, and the pointer CM4 is displayed at the position of the detected edge portion (S23). The process of S23 constitutes a pointer display unit that displays a pointer CM4 for designating the position of the designated point on the endoscopic image EI on the input auxiliary line L5 of the screen 17a. In S23, the pointer CM4 is displayed at the position of the edge portion on the input auxiliary line L5 which is the first auxiliary figure. The user can display the pointer CM4 at the point P1 simply by giving an edge detection instruction, and the operation is easy.

なお、エッジ検出処理により、複数のエッジ部が検出された場合は、複数のポインタ候補が複数のエッジ部の位置に出現するが、所望のポインタをタップすることにより、指定点として確定させるようにしてもよい。すなわち、S23において、第1の入力補助線L5上に複数のポインタ候補を表示し、S24において、所定の操作、例えば入力補助線L5をタップすることにより、その表示された複数のポインタ候補間で、ポインタCM4を移動させるようにして、所望のポインタ候補の位置にポインタCM4が有るときに、そのポインタCM4をタップして、指定点の確定をするようにしてもよい。
なお、消したいポインタを長押しする(すなわち長く触れる)ことにより、そのポインタを消去できるようになっている。
When a plurality of edge portions are detected by the edge detection process, a plurality of pointer candidates appear at the positions of the plurality of edge portions. However, by tapping a desired pointer, it is determined as a designated point. May be. That is, in S23, a plurality of pointer candidates are displayed on the first input auxiliary line L5, and in S24, by tapping a predetermined operation, for example, the input auxiliary line L5, between the displayed pointer candidates. The pointer CM4 may be moved so that when the pointer CM4 is at the position of the desired pointer candidate, the pointer CM4 may be tapped to determine the designated point.
The pointer can be erased by long-pressing the pointer to be erased (that is, touching it for a long time).

さらに、複数のポインタが表示され、複数のポインタが密集していて見づらい場合には画面71B上をピンチするとピンチした場所を中心に拡大処理が行われるようにしてもよい。   Furthermore, when a plurality of pointers are displayed and the plurality of pointers are dense and difficult to see, pinching on the screen 71B may perform the enlargement process around the pinched place.

また、エッジ検出において、余計なエッジ部の検出がされないようにするために、あるいはより多くのエッジ部が検出されるように、図19のように線分51の長さを変えたり、検出されたエッジ部により形成される線の曲率半径が所定の範囲のものに限定したりする等の処理を行って、エッジ検出の検出範囲を変更するようにしてもよい。   Further, in the edge detection, the length of the line segment 51 is changed or detected as shown in FIG. 19 so as not to detect an excessive edge portion or to detect more edge portions. The detection range of edge detection may be changed by performing processing such as limiting the radius of curvature of the line formed by the edge portion to a predetermined range.

そして、ユーザは、ポインタCM4を、移動させることができる(S24)。そのポインタCM4の移動方法も、第1の実施の形態で説明した第1から第6の移動方法と同様で、複数の方法があるが、エッジ検出処理により決定されたポインタCM4の位置を微修正するためのであるので、主に、細かな移動方法を利用して、ユーザは、入力補助線L5を移動する。   Then, the user can move the pointer CM4 (S24). The moving method of the pointer CM4 is the same as the first to sixth moving methods described in the first embodiment, and there are a plurality of methods, but the position of the pointer CM4 determined by the edge detection process is finely corrected. Therefore, the user moves the input auxiliary line L5 mainly using a fine movement method.

なお、ポインタの移動は別の方法で行うようにしてもよい。例えば、ポインタCM4をダブルタップすると、そのポインタCM4を通るもう一つの直線が表示される。そして、上述した第1から第6の移動方法を利用して直線を移動させると、その直線と入力補助線L5との交点にあるポインタが、直線の移動に伴って移動するので、ポインタCM4を移動することができる。   The pointer may be moved by another method. For example, when the pointer CM4 is double-tapped, another straight line passing through the pointer CM4 is displayed. When the straight line is moved using the first to sixth moving methods described above, the pointer at the intersection of the straight line and the input auxiliary line L5 moves with the movement of the straight line. Can move.

以上のようにして、第1の入力補助線L5は移動可能であり、エッジ検出処理によりポインタCM4を表示させ、かつポインタCM4も入力補助線L5とは独立して移動可能である。   As described above, the first input auxiliary line L5 is movable, the pointer CM4 is displayed by the edge detection process, and the pointer CM4 is also movable independently of the input auxiliary line L5.

S24の後、再度、入力補助線L5を移動させることもできる(S11,S3)。入力補助線L5とポインタCM4のどちらを移動させるかは、入力補助線L5とポインタCM4のいずれかに触れることで切り換えることが可能である。選択された方の入力補助線L5又はポインタCM4の色が変わる等により、選択状態がユーザに識別できるようにしてもよい。   After S24, the input auxiliary line L5 can be moved again (S11, S3). Which of the input auxiliary line L5 and the pointer CM4 is moved can be switched by touching either the input auxiliary line L5 or the pointer CM4. The user may be able to identify the selected state by changing the color of the selected input auxiliary line L5 or pointer CM4.

図21は、ポインタCM4が所望の位置まで移動された状態を示す図である。図21に示す状態で、例えばポインタCM4をダブルタップすることなどにより、ユーザが確定指示をすると(S10:YES)、ポインタCM4の位置を決定するポインタ位置決定処理を実行する(S13)。S13の処理の結果、画面17aは、図16に示す画面になる。   FIG. 21 is a diagram illustrating a state in which the pointer CM4 has been moved to a desired position. In the state shown in FIG. 21, for example, when the user gives a confirmation instruction by double-tapping the pointer CM4 (S10: YES), a pointer position determination process for determining the position of the pointer CM4 is executed (S13). As a result of the processing in S13, the screen 17a becomes the screen shown in FIG.

さらになお、上述した第1の入力補助線L5は、直線あるいは線分であるが、曲線又は閉曲線でもよい。   Furthermore, the first input auxiliary line L5 described above is a straight line or a line segment, but may be a curved line or a closed curve.

そして、計測点P2についても、上述した第1の計測点P1と同様に、ユーザが指で画面17a上を、再度1回タップすることにより、処理は、再び第1の入力補助線L1の表示処理(S2)に戻り、同様の処理により、ポインタを表示させて指定点として指定することができる。   And about the measurement point P2, similarly to the 1st measurement point P1 mentioned above, when a user taps on the screen 17a once again with a finger | toe, a process will display the 1st input auxiliary line L1 again. Returning to the process (S2), the pointer can be displayed and designated as a designated point by the same process.

また、本実施の形態では、第1の入力補助線L5の位置を決定した後に、エッジ検出処理により、エッジ部にポインタCM4が表示されるが、その表示されたポインタCM4の位置を移動させることなく、決定すなわち確定させるようにすれば、エッジ検出処理により決定されたポインタCM4の位置を、自動的に計測点として決定することができる。   Further, in the present embodiment, after the position of the first input auxiliary line L5 is determined, the pointer CM4 is displayed at the edge portion by the edge detection process, but the position of the displayed pointer CM4 is moved. However, if it is determined, that is, confirmed, the position of the pointer CM4 determined by the edge detection process can be automatically determined as a measurement point.

以上のように、上述した実施の形態の内視鏡装置によれば、入力補助線L5についてのエッジ検出処理により、ポインタを表示させているので、ポインタの位置が指で隠れてしまうこともなく、かつ、その表示されたポインタも移動できるので、タッチパネル上で正確な計測点の指定を容易に行うことができる。   As described above, according to the endoscope apparatus of the above-described embodiment, the pointer is displayed by the edge detection process for the input auxiliary line L5, so that the position of the pointer is not hidden by the finger. In addition, since the displayed pointer can be moved, it is possible to easily specify an accurate measurement point on the touch panel.

以上のように、上述した各実施の形態に係る内視鏡装置によれば、タッチパネル上で正確な計測点等の指定点の指定が容易な内視鏡装置を実現することができる。
なお、上述した各実施の形態は、内視鏡装置における指定点が計測点である例であるが、指定点は、画面17a上に表示されたメニュー画面上の機能ボタン等を押すための指示点等でもよい。
As described above, according to the endoscope apparatuses according to the above-described embodiments, it is possible to realize an endoscope apparatus that allows easy designation of designated points such as measurement points on the touch panel.
In addition, although each embodiment mentioned above is an example in which the designated point in the endoscope apparatus is a measurement point, the designated point is an instruction for pressing a function button or the like on the menu screen displayed on the screen 17a. A point etc. may be sufficient.

また、以上説明した動作を実行する内視鏡画像処理用プログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD−ROM等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールしたりすることで、容易に本実施の形態の内視鏡装置を実現することができる。   The endoscope image processing program for executing the operations described above is recorded as a computer program product in its entirety or in part on a portable medium such as a flexible disk or CD-ROM or a storage medium such as a hard disk. Or remembered. The program is read by a computer, and all or part of the operation is executed. Alternatively, all or part of the program can be distributed or provided via a communication network. The user can easily realize the endoscope apparatus according to the present embodiment by downloading the program via a communication network and installing the program on the computer or installing the program from the recording medium on the computer. it can.

本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。   The present invention is not limited to the above-described embodiments, and various changes and modifications can be made without departing from the scope of the present invention.

1 内視鏡装置、2 内視鏡、3 装置本体、11 挿入部、12 操作部、13 ユニバーサルケーブル、14 先端部、15 湾曲部、16 可撓管部、17 タッチパネル、17a 画面、21 撮像素子、22 内視鏡ユニット、23 カメラコントロールユニット、24 制御ユニット、31 映像信号処理回路、32 ROM、33 RAM、34 カードI/F、35 USBI/F、36 RS−232CI/F、37 CPU、38 バス、41 PC、42 メモリカード、61 タービンブレード、71,71A,71B 計測点指定画像、 DESCRIPTION OF SYMBOLS 1 Endoscope apparatus, 2 Endoscope, 3 Apparatus main body, 11 Insertion part, 12 Operation part, 13 Universal cable, 14 Tip part, 15 Bending part, 16 Flexible tube part, 17 Touch panel, 17a Screen, 21 Imaging element , 22 Endoscope unit, 23 Camera control unit, 24 Control unit, 31 Video signal processing circuit, 32 ROM, 33 RAM, 34 Card I / F, 35 USB I / F, 36 RS-232CI / F, 37 CPU, 38 Bus, 41 PC, 42 Memory card, 61 Turbine blade, 71, 71A, 71B Measurement point designation image,

Claims (13)

指定点によって指定された内視鏡画像上の位置を基に所定の処理を行う内視鏡画像処理装置において、
表示画面を有し、かつ前記表示画面上の位置を検出するタッチパネルと、
前記表示画面に前記内視鏡画像を表示する内視鏡画像表示部と、
前記表示画面上において前記指定点の位置決定を補助するための第1の補助図形を表示する第1補助図形表示部と、
前記表示画面の前記補助図形上に、前記指定点の前記内視鏡画像上の前記位置を指定するためのポインタを表示させるポインタ表示部と、
前記補助図形上で前記ポインタを移動させるポインタ移動部と、
前記ポインタにより指示された前記内視鏡画像上の位置を、前記指定点として決定する指定点決定部と、
を備えることを特徴とする内視鏡画像処理装置。
In an endoscopic image processing apparatus that performs predetermined processing based on a position on an endoscopic image designated by a designated point,
A touch panel having a display screen and detecting a position on the display screen;
An endoscope image display unit for displaying the endoscope image on the display screen;
A first auxiliary graphic display unit for displaying a first auxiliary graphic for assisting in determining the position of the designated point on the display screen;
A pointer display unit for displaying a pointer for designating the position of the designated point on the endoscopic image on the auxiliary graphic of the display screen;
A pointer moving unit for moving the pointer on the auxiliary figure;
A designated point determining unit that determines the position on the endoscopic image instructed by the pointer as the designated point;
An endoscopic image processing apparatus comprising:
前記表示画面上において前記指定点の位置決定を補助するための第2の補助図形を表示する第2補助図形表示部を有し、
前記ポインタ表示部は、前記第1の補助図形と前記第2の補助図形に基づいて決定された位置に、前記ポインタを表示することを特徴とする請求項1に記載の内視鏡画像処理装置。
A second auxiliary graphic display unit for displaying a second auxiliary graphic for assisting the position determination of the designated point on the display screen;
The endoscope image processing apparatus according to claim 1, wherein the pointer display unit displays the pointer at a position determined based on the first auxiliary graphic and the second auxiliary graphic. .
前記所定の処理は、前記指定点決定部により決定された前記指定点に対応する、前記内視鏡画像に映し出された被写体の対応点の3次元位置座標に基づく計測処理であることを特徴とする請求項1又は2に記載の内視鏡画像処理装置。   The predetermined process is a measurement process based on a three-dimensional position coordinate of a corresponding point of a subject displayed in the endoscopic image corresponding to the specified point determined by the specified point determination unit. The endoscopic image processing apparatus according to claim 1 or 2. 前記第1の補助図形を、平行移動、回転、拡大及び縮小の少なくとも一つにより、移動する第1補助図形移動部を有し、
前記ポインタ移動部は、前記第1補助図形移動部による前記第1の補助図形の移動に応じて前記ポインタを移動することを特徴とする請求項1、2又は3に記載の内視鏡画像処理装置。
A first auxiliary figure moving unit that moves the first auxiliary figure by at least one of translation, rotation, enlargement, and reduction;
The endoscope image processing according to claim 1, 2 or 3, wherein the pointer moving unit moves the pointer in accordance with movement of the first auxiliary graphic by the first auxiliary graphic moving unit. apparatus.
前記第1図形移動部は、前記タッチパネルの前記表示画面上で触れられた位置の移動量に応じて、前記第1の補助図形を移動可能であることを特徴とする請求項4に記載の内視鏡画像処理装置。   The said 1st figure moving part can move the said 1st auxiliary figure according to the moving amount | distance of the position touched on the said display screen of the said touch panel, The inside of Claim 4 characterized by the above-mentioned. Endoscopic image processing device. 前記第1補助図形移動部は、前記タッチパネルの前記表示画面上へのタップ回数または接触時間に応じて、前記表示画面に表示された前記内視鏡画像の表示画素単位で、前記補助図形を移動可能であることを特徴とする請求項4又は5に記載の内視鏡画像処理装置。   The first auxiliary figure moving unit moves the auxiliary figure in units of display pixels of the endoscopic image displayed on the display screen according to the number of taps or the contact time of the touch panel on the display screen. The endoscopic image processing apparatus according to claim 4, wherein the endoscope image processing apparatus is possible. 前記第2の補助図形を、平行移動、回転、拡大及び縮小の少なくとも一つにより、移動する第2補助図形移動部を有し、
前記1の補助図形と前記第2の補助図形は、互いに独立して移動可能であることを特徴とする請求項4、5又は6に記載の内視鏡画像処理装置。
A second auxiliary figure moving unit that moves the second auxiliary figure by at least one of parallel movement, rotation, enlargement, and reduction;
The endoscope image processing apparatus according to claim 4, 5 or 6, wherein the first auxiliary graphic and the second auxiliary graphic are movable independently of each other.
前記第1の補助図形は、直線、線分、曲線及び閉曲線のいずれかであることを特徴とする請求項1から7のいずれか1つに記載の内視鏡画像処理装置。   The endoscope image processing apparatus according to any one of claims 1 to 7, wherein the first auxiliary figure is any one of a straight line, a line segment, a curve, and a closed curve. 前記ポインタ表示部は、前記表示画面の前記補助図形上における、前記内視鏡画像について検出されたエッジ部の位置に、前記ポインタを表示することを特徴とする請求項1に記載の内視鏡画像処理装置。   The endoscope according to claim 1, wherein the pointer display unit displays the pointer at a position of an edge portion detected for the endoscopic image on the auxiliary graphic of the display screen. Image processing device. 前記ポインタ表示部は、前記第1の補助図形上に複数のポインタ候補を表示し、
前記ポインタ移動部は、その表示された前記複数のポインタ候補間で、前記ポインタを移動させることを特徴とする請求項1に記載の内視鏡画像処理装置。
The pointer display unit displays a plurality of pointer candidates on the first auxiliary graphic;
The endoscope image processing apparatus according to claim 1, wherein the pointer moving unit moves the pointer between the displayed pointer candidates.
前記複数のポインタ候補は、前記表示画面の前記補助図形上における、前記内視鏡画像について検出されたエッジ部の位置に表示されることを特徴とする請求項10に記載の内視鏡画像処理装置。   The endoscope image processing according to claim 10, wherein the plurality of pointer candidates are displayed at positions of edge portions detected for the endoscope image on the auxiliary graphic of the display screen. apparatus. 前記内視鏡画像表示部は、前記表示画面に前記内視鏡画像を拡大若しくは縮小して表示可能であることを特徴とする請求項1から11のいずれか1つに記載の内視鏡画像処理装置。   The endoscopic image display unit according to any one of claims 1 to 11, wherein the endoscopic image display unit is capable of displaying the endoscopic image in an enlarged or reduced manner on the display screen. Processing equipment. 指定点によって指定された内視鏡画像上の位置を基に所定の処理を行う内視鏡画像処理用プログラムであって、
タッチパネルの表示画面に前記内視鏡画像を表示する内視鏡画像表示機能と、
前記表示画面上において前記指定点の位置決定を補助するための第1の補助図形を表示する第1補助図形表示機能と、
前記表示画面の前記補助図形上に、前記指定点の前記内視鏡画像上の前記位置を指定するためのポインタを表示させるポインタ表示機能と、
前記補助図形上で前記ポインタを移動させるポインタ移動機能と、
前記ポインタにより指示された前記内視鏡画像上の位置を、前記指定点として決定する指定点決定機能と、
を、コンピュータに実現させるための内視鏡画像処理用プログラム。
An endoscopic image processing program for performing predetermined processing based on a position on an endoscopic image specified by a specified point,
An endoscope image display function for displaying the endoscope image on a display screen of a touch panel;
A first auxiliary graphic display function for displaying a first auxiliary graphic for assisting position determination of the designated point on the display screen;
A pointer display function for displaying a pointer for designating the position of the designated point on the endoscopic image on the auxiliary graphic of the display screen;
A pointer movement function for moving the pointer on the auxiliary figure;
A designated point determination function for determining the position on the endoscopic image indicated by the pointer as the designated point;
An endoscope image processing program for causing a computer to realize the above.
JP2011289241A 2011-12-28 2011-12-28 Apparatus and program for endoscope image processing Pending JP2013137466A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011289241A JP2013137466A (en) 2011-12-28 2011-12-28 Apparatus and program for endoscope image processing
PCT/JP2012/059687 WO2013099305A1 (en) 2011-12-28 2012-04-09 Endoscopic image processing device, method for setting position on endoscopic image, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011289241A JP2013137466A (en) 2011-12-28 2011-12-28 Apparatus and program for endoscope image processing

Publications (1)

Publication Number Publication Date
JP2013137466A true JP2013137466A (en) 2013-07-11

Family

ID=48696831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011289241A Pending JP2013137466A (en) 2011-12-28 2011-12-28 Apparatus and program for endoscope image processing

Country Status (2)

Country Link
JP (1) JP2013137466A (en)
WO (1) WO2013099305A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211824A (en) * 2014-04-17 2015-11-26 オリンパス株式会社 Endoscopic image display apparatus, endoscopic image display method, and endoscopic image display program
JP2020022563A (en) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 Medical observation apparatus
US10666854B2 (en) 2016-01-08 2020-05-26 Olympus Corporation Bending operation control for endoscope

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005137747A (en) * 2003-11-10 2005-06-02 Toshiba Corp Ultrasonic diagnostic system
JP4855673B2 (en) * 2004-12-13 2012-01-18 オリンパス株式会社 Medical image processing device
JP2008076119A (en) * 2006-09-19 2008-04-03 Sunx Ltd Displacement sensor
JP5251081B2 (en) * 2007-11-21 2013-07-31 パナソニック株式会社 Switching device and information device using the same
JP5361592B2 (en) * 2009-07-24 2013-12-04 オリンパス株式会社 Endoscope apparatus, measurement method, and program
JP2011034455A (en) * 2009-08-04 2011-02-17 Canon Inc Data input apparatus and data input method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015211824A (en) * 2014-04-17 2015-11-26 オリンパス株式会社 Endoscopic image display apparatus, endoscopic image display method, and endoscopic image display program
WO2016147697A1 (en) * 2015-03-13 2016-09-22 オリンパス株式会社 Endoscope image displaying device, endoscope image displaying method, and endoscope image displaying program
US10419705B2 (en) 2015-03-13 2019-09-17 Olympus Corporation Endoscope image display apparatus, endoscope image display method and endoscope image display program
US10666854B2 (en) 2016-01-08 2020-05-26 Olympus Corporation Bending operation control for endoscope
JP2020022563A (en) * 2018-08-06 2020-02-13 ソニー・オリンパスメディカルソリューションズ株式会社 Medical observation apparatus
US11638000B2 (en) 2018-08-06 2023-04-25 Sony Olympus Medical Solutions Inc. Medical observation apparatus

Also Published As

Publication number Publication date
WO2013099305A1 (en) 2013-07-04

Similar Documents

Publication Publication Date Title
JP6037683B2 (en) Measuring device, method of operating measuring device, and program
JP5921835B2 (en) Input device
WO2009110211A1 (en) Ultrasonograph
JP2014140402A (en) Measuring device and program
CN105988710B (en) Method, apparatus and device for assisting user input with touch display
JP6124570B2 (en) XYZ orthogonal measuring device
JP5883147B2 (en) Image display device and medical image pickup device
JP2014512530A (en) Coordinate positioning device
JP5437087B2 (en) Endoscope apparatus and program
US11232568B2 (en) Three-dimensional image display method, three-dimensional image display device, and recording medium
US12053324B2 (en) System for visualization and control of surgical devices utilizing a graphical user interface
JPWO2017119351A1 (en) Endoscope apparatus, operation control method for endoscope apparatus, operation control program for endoscope apparatus, and storage medium storing operation control program for endoscope apparatus
WO2013099305A1 (en) Endoscopic image processing device, method for setting position on endoscopic image, and recording medium
US20100317920A1 (en) Endoscope apparatus and program
US10419705B2 (en) Endoscope image display apparatus, endoscope image display method and endoscope image display program
JP2013178742A (en) Image processing device, image processing system, image processing method and program
JP2010272036A (en) Image processing apparatus
JP4674093B2 (en) Endoscope apparatus and program
JP2019170853A (en) Touch panel device, curving control program, recording medium with the curving control program recorded, and curving control method for endoscope
JP5199634B2 (en) Measuring endoscope system
US20220020208A1 (en) Measurement method, measurement device, and recording medium
US20220357157A1 (en) Image-processing method, image-processing device, and recording medium
US20210256719A1 (en) Method and system for providing surgical site measurement
US20220136820A1 (en) Image display method, display control device, and recording medium
JP2009086553A (en) Measuring endoscope system, method of measuring endoscope system, and program for measuring endoscope system