WO2015122354A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2015122354A1
WO2015122354A1 PCT/JP2015/053275 JP2015053275W WO2015122354A1 WO 2015122354 A1 WO2015122354 A1 WO 2015122354A1 JP 2015053275 W JP2015053275 W JP 2015053275W WO 2015122354 A1 WO2015122354 A1 WO 2015122354A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
subject image
visual field
subject
view
Prior art date
Application number
PCT/JP2015/053275
Other languages
English (en)
French (fr)
Inventor
高橋 毅
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to JP2015542069A priority Critical patent/JP5889495B2/ja
Priority to EP15748560.8A priority patent/EP3053511A4/en
Priority to CN201580002580.0A priority patent/CN105722450B/zh
Publication of WO2015122354A1 publication Critical patent/WO2015122354A1/ja
Priority to US15/147,381 priority patent/US10349814B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/0002Operational features of endoscopes provided with data storages
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00043Operational features of endoscopes provided with output arrangements
    • A61B1/00045Display arrangement
    • A61B1/0005Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00057Operational features of endoscopes provided with means for testing or calibration
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00131Accessories for endoscopes
    • A61B1/0014Fastening element for attaching accessories to the outside of an endoscope, e.g. clips, clamps or bands
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00177Optical arrangements characterised by the viewing angles for 90 degrees side-viewing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00174Optical arrangements characterised by the viewing angles
    • A61B1/00181Optical arrangements characterised by the viewing angles for multiple fixed viewing angles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00193Optical arrangements adapted for stereoscopic vision
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163Optical arrangements
    • A61B1/00194Optical arrangements adapted for three-dimensional imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0615Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for radial illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0625Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for multiple fixed illumination angles
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407Optical details
    • G02B23/2423Optical details of the distal end
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484Arrangements in relation to a camera or imaging device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • A61B2034/2057Details of tracking cameras

Definitions

  • the present invention relates to an endoscope system, and more particularly to an endoscope system capable of simultaneously observing a direct viewing direction and a side viewing direction.
  • An endoscope system including an endoscope that captures an object inside a subject and an image processing device that generates an observation image of the object captured by the endoscope is widely used in the medical field, the industrial field, and the like. It is used.
  • a protrusion that protrudes from the distal end surface of the distal end of the insertion portion is provided, and a front observation lens that observes a subject located in front of the distal end surface of the protrusion is provided.
  • An endoscope system including an endoscope provided with a surrounding observation lens for observing a subject located opposite to the periphery of the protrusion is provided around the protrusion.
  • a subject observed with a front observation lens is imaged in a circular area at the center of the imaging element, and a subject observed with a surrounding observation lens is captured in a circular area of the same imaging element. Images are taken in the outer ring area.
  • the front image is formed in the center as a circular direct-view visual field image
  • the endoscopic image formed in the outer periphery of the direct-view visual field image as an annular side-view visual field image is displayed on the monitor. Is displayed.
  • a direct-viewing observation lens that acquires a direct-view visual field image is provided on the distal end surface of the distal end portion of the insertion portion, and a plurality of side views that acquire side-view visual field images in the circumferential direction of the distal end portion.
  • An endoscope system including an endoscope provided with an observation lens is disclosed.
  • imaging elements are provided at the imaging positions of the direct-viewing observation lens and the plurality of side-viewing observation lenses, respectively, and a direct-view visual field image and a plurality of side-view visual field images are captured by these imaging elements.
  • the direct-view visual field image is arranged in the center, and a plurality of side-view visual field images are arranged on both sides of the direct-view visual field image and displayed on the monitor.
  • the sliding trajectory of the treatment tool may be discontinuous between the direct-view visual field image and the side-view visual field image.
  • the image of the treatment tool becomes discontinuous, there is a problem that the visibility of the treatment tool and the workability of the treatment are deteriorated.
  • Causes of discontinuity of the image of the treatment tool include tilt and shift of the direct vision field lens and the side vision field lens, or a processing error when assembling the objective optical system frame. Suppressing the error that is the cause of these problems during the manufacture of the endoscope has a problem of increasing the labor of manufacturing and processing the endoscope because the processing and assembly must be performed very strictly.
  • the present invention provides an endoscope having a plurality of fields of view by continuing the images of the objects in the field of view observed in the direct field of view and the side field of view without increasing the labor of manufacturing and processing the endoscope.
  • An object of the present invention is to provide an endoscope system capable of improving the workability of treatment with a treatment tool under a mirror.
  • An endoscope system includes an insertion unit that is inserted into a subject, and a first subject that is provided in the insertion unit and acquires a first subject image from a first region of the subject.
  • the first object image and the second object are arranged so that the predetermined object included in the first object image and the predetermined object included in the second object image are arranged adjacent to each other.
  • An image signal generation unit that generates an image signal in which the subject images are arranged.
  • FIG. 6 is a flowchart for explaining an example of image processing by an image processing unit according to the first embodiment; It is a perspective view which shows the structure of the front-end
  • FIG. 1 is a diagram illustrating a configuration of an endoscope system according to the first embodiment
  • FIG. 2 is a perspective view illustrating a configuration of a distal end portion of an insertion portion of the endoscope
  • FIG. FIG. 4 is a front view showing a configuration of a distal end portion of an insertion portion of an endoscope
  • FIG. 4 is a diagram showing an example of an observation image displayed on a monitor
  • FIG. 5 is a configuration of a main part in the first embodiment.
  • FIG. 6 is a diagram showing a configuration of the image processing unit in the first embodiment
  • FIGS. 7A to 7E are examples of observation images including images of treatment tools displayed on a monitor.
  • FIG. FIG. 8 is a flowchart for explaining an example of image processing.
  • an endoscope system 1 includes an endoscope 2 that images an observation object and outputs an imaging signal, a light source device 31 that supplies illumination light for illuminating the observation object, A video processor 32 having a function as an image signal generation unit that generates and outputs a video signal (image signal) corresponding to the imaging signal; and a monitor 35 that displays an observation image corresponding to the video signal (image signal). is doing.
  • the endoscope 2 includes an operation unit 3 that an operator holds and operates, an elongated insertion unit 4 that is formed on the distal end side of the operation unit 3 and is inserted into a body cavity and the like, and a side portion of the operation unit 3 And a universal cord 5 provided with one end so as to extend from.
  • the endoscope 2 is a wide-angle endoscope capable of observing a field of view of 180 degrees or more by displaying a plurality of field images.
  • the back of the eyelid or the boundary of the organ For example, it is possible to prevent oversight of a lesion that is difficult to see only by observation in the direct viewing direction.
  • operations such as temporary fixing by twisting, reciprocating movement, intestinal wall hooking, etc. occur in the insertion portion 2 as in the case of a normal large intestine endoscope. To do.
  • the insertion portion 4 includes a hard distal end portion 6 provided on the most distal end side, a bendable bending portion 7 provided on the rear end of the distal end portion 6, and a long and long side provided on the rear end of the bending portion 7. And a flexible tube portion 8 having flexibility. Further, the bending portion 7 performs a bending operation according to the operation of the bending operation lever 9 provided in the operation portion 3.
  • a columnar cylindrical portion 10 is formed at the distal end portion 6 of the insertion portion 4 so as to protrude from a position eccentric to the upper side from the center of the distal end surface of the distal end portion 6. ing.
  • An objective optical system (not shown) that serves both as a direct view and a side view is provided at the tip of the cylindrical portion 10. Further, the distal end portion of the cylindrical portion 10 is disposed at a position corresponding to the direct-viewing observation window 12 disposed at a position corresponding to the direct viewing direction of the objective optical system (not shown) and at a position corresponding to the side viewing direction of the objective optical system (not illustrated). And a side-view observation window 13. Further, a side-view illumination unit 14 that emits light for illuminating the side-view direction is formed near the proximal end of the cylindrical unit 10.
  • the side-view observation window 13 can acquire a side-view visual field image by capturing the return light (reflected light) from the observation target incident from the circumferential direction in the cylindrical cylindrical portion 10 in the side-view visual field.
  • the side view mirror lens 15 is provided.
  • an image of the observation object in the field of view of the direct-viewing observation window 12 is formed in the center as a circular direct-viewing field image at the imaging position of the objective optical system (not shown), and the field of view of the side-viewing observation window 13 It is assumed that the imaging element 30 (imaging surface thereof) shown in FIG. 5 is arranged so that an image of the observation object inside is formed on the outer periphery of the direct-view visual field image as an annular side-view visual field image. .
  • Such an image is realized by using a two-reflection optical system that reflects the return light twice by the side-view mirror lens 15, but is formed by reflecting the return light once by the one-reflection optical system. Then, this may be subjected to image processing by the video processor 32, and the orientations of the side-view visual field image and the direct-view visual field image may be matched.
  • the distal end surface of the distal end portion 6 is disposed at a position adjacent to the cylindrical portion 10, and is disposed in the insertion portion 4 and the direct view illumination window 16 that emits illumination light in the range of the direct view field of the direct view observation window 12.
  • a distal end opening 17 is provided which communicates with a treatment instrument channel (not shown) formed of a tube or the like and can project the treatment instrument (the distal end portion) inserted through the treatment instrument channel.
  • the distal end portion 6 of the insertion portion 4 has a support portion 18 provided so as to protrude from the distal end surface of the distal end portion 6, and the support portion 18 is positioned adjacent to the lower side of the cylindrical portion 10.
  • the support portion 18 is configured to be able to support (or hold) each protruding member disposed so as to protrude from the distal end surface of the distal end portion 6.
  • the support portion 18 includes a direct-viewing observation window nozzle portion 19 that emits a gas or a liquid for cleaning the direct-viewing observation window 12 as the above-described protruding members, and light for illuminating the direct-viewing direction.
  • the direct-view illumination window 21 that emits light and the side-view observation window nozzle portion 22 that emits a gas or liquid for cleaning the side-view observation window 13 can be supported (or held), respectively.
  • the support unit 18 acquires a side-view visual field image including any one of the projecting members by causing each of the projecting members, which are objects different from the original observation target, to appear in the side-view visual field. It is formed with a shielding portion 18a, which is an optical shielding member, so as not to be disturbed. That is, by providing the shielding portion 18a on the support portion 18, a side-view visual field image that does not include any of the direct-view observation window nozzle portion 19, the direct-view illumination window 21, and the side-view observation window nozzle portion 22 is obtained. Obtainable.
  • the side-view observation window nozzle portion 22 is provided at two locations of the support portion 18, and is arranged so that the tip protrudes from the side surface of the support portion 18.
  • the operation unit 3 includes an air / liquid supply operation button 24 a capable of giving an operation instruction to eject a gas or liquid for cleaning the direct-view observation window 12 from the direct-view observation window nozzle unit 19,
  • An air / liquid feeding operation button 24b capable of operating instructions for injecting gas or liquid for cleaning the side viewing window 13 from the side viewing window nozzle 22 is provided.
  • Air supply and liquid supply can be switched by pressing the buttons 24a and 24b.
  • a plurality of air / liquid feeding operation buttons are provided so as to correspond to the respective nozzle portions. For example, by operating one air / liquid feeding operation button, the direct-view observation window nozzle unit 19, Gas or liquid may be ejected from both of the side-view observation window nozzle portions 22.
  • a plurality of scope switches 25 are provided at the top of the operation unit 3, and functions for each switch are assigned so as to output signals corresponding to various on / off states that can be used in the endoscope 2. It has a possible configuration. Specifically, the scope switch 25 has a function of outputting a signal corresponding to, for example, start and stop of forward water supply, execution and release of freeze, and notification of the use state of the treatment tool. Can be assigned as a function.
  • At least one of the functions of the air / liquid feeding operation buttons 24a and 24b may be assigned to one of the scope switches 25.
  • the operation unit 3 is provided with a suction operation button 26 that can instruct a suction unit or the like (not shown) to suck and collect mucus or the like in the body cavity from the distal end opening 17. Yes.
  • the mucus etc. in the body cavity sucked in response to the operation of the suction unit are provided in the vicinity of the front end of the distal end opening 17, the treatment instrument channel (not shown) in the insertion section 4, and the operation section 3. After passing through the treatment instrument insertion port 27, it is collected in a suction bottle or the like of a suction unit (not shown).
  • the treatment instrument insertion port 27 communicates with a treatment instrument channel (not shown) in the insertion portion 4 and is formed as an opening into which a treatment instrument (not shown) can be inserted. That is, the surgeon can perform treatment using the treatment tool by inserting the treatment tool from the treatment tool insertion port 27 and projecting the distal end side of the treatment tool from the distal end opening portion 17.
  • a connector 29 that can be connected to the light source device 31 is provided at the other end of the universal cord 5.
  • the tip of the connector 29 is provided with a base (not shown) serving as a connection end of the fluid conduit and a light guide base (not shown) serving as a supply end of illumination light. Further, an electrical contact portion (not shown) capable of connecting one end of the connection cable 33 is provided on the side surface of the connector 29. Furthermore, a connector for electrically connecting the endoscope 2 and the video processor 32 is provided at the other end of the connection cable 33.
  • the universal cord 5 includes a plurality of signal lines for transmitting various electrical signals and a light guide for transmitting illumination light supplied from the light source device 31 in a bundled state.
  • the light guide built in from the insertion portion 4 to the universal cord 5 has a light emission side end branched in at least two directions in the vicinity of the insertion portion 4, and a light emission end surface on one side has a direct-view illumination window 16 and 21 and the light emitting end face on the other side is arranged in the side-view illumination unit 14.
  • the light guide has a configuration in which the light incident side end is disposed on the light guide cap of the connector 29.
  • positioned at the direct view illumination windows 16 and 21 and the side view illumination part 14 may replace with a light guide, and may be a light emitting element like a light emitting diode (LED).
  • LED light emitting diode
  • the video processor 32 outputs a drive signal for driving the image sensor provided at the distal end portion 6 of the endoscope 2.
  • the video processor 32 functions as an image signal generator that generates a video signal (image signal) and outputs the image signal to the monitor 35 by performing signal processing on the image signal output from the image sensor.
  • the images arranged in such a manner that the side-view visual field image surrounds the direct-view visual field image are displayed on the monitor 35 in a manner as shown in FIG.
  • a portion that is optically shielded by the shielding portion 18a of the support portion 18 is not considered.
  • the direct-view visual field image and the side-view visual field image displayed on the monitor 35 are not limited to the circular shape and the annular shape shown in FIG. 4, respectively, and may be other display modes.
  • Peripheral devices such as the light source device 31, the video processor 32, and the monitor 35 are arranged on a gantry 36 together with a keyboard 34 for inputting patient information.
  • the video processor 32 includes at least an image processing unit 32a and an image output unit 32b.
  • the direct-view observation window 12 constituting the first subject image acquisition unit is a direct-view direction (first direction) including the front substantially parallel to the longitudinal direction of the insertion unit 4, that is, the first subject from the first region of the subject.
  • the side-view observation window 13 that acquires an image and constitutes the second subject image acquisition unit includes a direction that intersects the longitudinal direction of the insertion unit 4 that is at least partially different from the direct viewing direction (first direction).
  • a second subject image is acquired from the side view direction (second direction), that is, from the second region of the subject.
  • boundary region between the first subject image and the second subject image may or may not overlap.
  • An overlapping subject image may be acquired by the subject image acquisition unit and the second subject image acquisition unit.
  • the image sensor 30 photoelectrically converts the subject image in the direct view direction and the subject image in the side view direction on the same plane.
  • the image sensor 30 is electrically connected to the image processing unit 32a, and outputs the subject image acquired through the direct viewing observation window 12 and the side viewing observation window 13 to the image processing unit 32a.
  • the image processing unit 32a recognizes the image of the treatment tool included in the direct view visual field image and the image of the treatment tool included in the side view visual field image. Then, the image processing unit 32a causes the direct-view visual field image and the side view so that the central axis of the treatment tool image included in the direct-view visual field image and the central axis of the treatment tool image included in the side-view visual field image substantially coincide with each other. An image signal in which the arrangement is changed is generated for at least one of the visual field images.
  • the image output unit 32 b generates a signal to be displayed on the monitor 35 from the image signal generated by the image processing unit 32 a and outputs the signal to the monitor 35.
  • the image processing unit 32a includes an image recognition unit 41, a central axis recognition unit 42, an image movement amount calculation unit 43, and an image generation unit 44.
  • the image recognition unit 41 recognizes an image of a predetermined object, for example, an image of a treatment tool observed in a side view field and an image of a treatment tool observed in a direct view field. For example, since the position that protrudes from the distal end opening 17 of the treatment tool is fixed, the image recognition unit 41 recognizes an object that protrudes from that direction and proceeds as a treatment tool. Alternatively, the image recognition unit 41 may recognize the treatment tool by calculating the sliding direction of the treatment tool from the movement, or by recognizing the thickness and contour of the treatment tool from the image contrast. May be recognized.
  • the central axis recognition unit 42 calculates the central axis of each image from the image of the treatment tool observed in the side view field recognized by the image recognition unit 41 and the image of the treatment tool observed in the direct field of view. To recognize the central axis. For example, the central axis recognizes the central axis of the treatment tool from the image contrast of the thickness of the treatment tool and the direction in which the treatment tool protrudes.
  • the object such as the treatment tool included in the direct-view visual field image and the object such as the treatment tool included in the side-view visual field image are arranged at adjacent positions without a sense of incongruity.
  • the image movement amount calculation unit 43 calculates the opening angle of each central axis from the image center (optical axis center) of the coordinate position of each central axis with respect to the image of the treatment tool observed in the direct view field and the side view field. .
  • the image generation unit 44 recognizes the boundary between the direct-view visual field image and the side-view visual field image, cuts out only the side-view visual field image, and causes the image movement amount calculation unit 43 to match the inclination coordinates of the treatment tool image. Based on the calculated opening angle, the side view visual field image is rotated around the image center, and the central axis of the treatment tool image observed in the side view visual field and the center of the treatment tool image observed in the direct view visual field An image signal whose axis substantially matches is generated.
  • image generation unit 44 may rotate and move the direct view field image so that the image of the treatment tool of the direct view field image and the image of the treatment tool of the side view field image substantially coincide with each other. Both side view visual field images may be rotated.
  • the image generation unit 44 By rotating the side-view visual field image starting from the image center, the central axis of the treatment tool image 50 of the direct-view visual field image and the treatment tool image 51 of the side-view visual field image are made to substantially coincide.
  • the image generation unit 44 may rotate and move the direct-view visual field image starting from the image center as shown in FIG. 7E. Further, both the side-view visual field image and the direct-view visual field image are rotated and moved so that the central axis of the treatment tool image of the direct-view visual field image substantially coincides with the central axis of the treatment tool image of the side-view visual field image. It may be.
  • FIG. 8 is a flowchart for explaining an example of image processing by the image processing unit of the present embodiment.
  • the process of rotating the side-view visual field image starting from the image center so that the central axis of the treatment instrument substantially coincides will be described, but the present invention is not limited to this.
  • the direct view visual field image may be rotated and moved starting from the image center, or both the direct view visual field image and the side view visual field image may be rotated and moved from the image center.
  • the image recognition unit 41 recognizes the treatment tool observed in the side view field from the image (step S2). .
  • the central axis recognition unit 42 calculates the central axis of the image of the treatment instrument observed in the side view field (step S3).
  • step S5 If the treatment tool further protrudes, an image of the treatment tool will be observed in the direct visual field. Then, the image recognition unit 41 recognizes the treatment tool observed in the direct visual field from the image (step S4), and the central axis recognition unit 42 determines the central axis of the image of the treatment tool observed in the direct visual field as shown in FIG. 7B. Calculate (step S5).
  • the image movement amount calculation unit 43 calculates the opening angle of each central axis from the coordinate position of each central axis (step S6).
  • This opening angle is a correction angle of the central axis of the image of the treatment instrument observed in the side view field such that the image movement amount calculation unit 43 is parallel to the central axis of the image of the treatment instrument observed in the direct vision field.
  • the image generation unit 44 recognizes only the side view visual field image and cuts out only the side view visual field image (step S7).
  • the image generation unit 44 rotates and moves the cut out side view visual field image starting from the image center so that the inclinations of the central axes of the respective treatment tools coincide (step S8).
  • the image generation unit 44 generates an image signal in which the central axis of the treatment tool image of the direct-view visual field image substantially coincides with the central axis of the treatment tool image of the side-view visual field image (step S9), and the processing is terminated. To do.
  • the image signal generated in this way is displayed on the monitor 35 via the image output unit 32b.
  • the endoscope system 1 detects the deviation between the image of the treatment tool for the direct-view visual field image and the image of the treatment tool for the side-vision visual field image, and the direct-view visual field image or the side view according to the amount of deviation.
  • the visual field image was rotated so that the central axes of the treatment tool image of the direct vision visual field image and the treatment tool image of the side vision visual field image substantially coincided with each other.
  • shaft of the image of the treatment tool of a direct view visual field image and a side view visual field image substantially corresponds, the visibility and operativity of a treatment tool can be improved.
  • the direct-view visual field image or the side-view visual field image is rotated with the image center as a starting point, the axis of the treatment tool can be adjusted without changing the size of each image or the center of each image.
  • an object an image of a treatment instrument or the like in the field of view observed in the direct field of view and the side field of view without increasing the labor of manufacturing and processing the endoscope.
  • the workability of the treatment with the treatment tool under the endoscope having a plurality of visual fields can be improved.
  • the image of the object to be aligned is not limited to the treatment tool, and may be, for example, a heel in a body cavity or other elements such as a stent or a clip placed in the body cavity. It is also possible to recognize the object of the front field of view and the side field of view and perform alignment by rotating the front field of view or the side field of view.
  • FIG. 9 is a perspective view showing the configuration of the distal end portion of the insertion portion of the endoscope according to the second embodiment.
  • the distal end surface of the distal end portion 6a of the endoscope 2a has a direct viewing direction (first direction) including the front substantially parallel to the longitudinal direction of the insertion portion 4, that is, a first area of the subject.
  • a direct-view observation window 60a is provided, and the side surface of the distal end portion 6a of the endoscope 2a intersects the longitudinal direction of the insertion portion 4 which is at least partially different from the direct-view direction (first direction).
  • Side-viewing windows 60b and 60c for observing the side-viewing direction (second direction) including the direction to be viewed, that is, the second region of the subject are arranged.
  • the side-view observation windows 60b and 60c are arranged at an equal interval in the circumferential direction of the distal end portion 6a, for example, at an interval of 180 degrees.
  • the direct-view observation window 60a constitutes a first subject image acquisition unit
  • at least one of the side-view observation windows 60b and 60c constitutes a second subject image acquisition unit.
  • the number of side-view observation windows 60b and 60c arranged at equal intervals in the circumferential direction of the distal end portion 6a is not limited to two, and for example, a configuration in which one side-view observation window is arranged. Good. Further, the side-view observation windows 60b and 60c arranged at equal intervals in the circumferential direction of the distal end portion 6a, for example, arrange the side-view observation windows every 120 degrees in the circumferential direction (that is, three side-view visual field images). Or a configuration in which side-view observation windows are arranged every 90 degrees in the circumferential direction (that is, four side-view visual field images are acquired).
  • Direct-view illumination windows 61a and 62a that emit illumination light in the range of the direct-view field of the direct-view observation window 60a are disposed on the distal end surface of the distal end portion 6a of the endoscope 2a at a position adjacent to the direct-view observation window 60a.
  • side illumination windows 61b and 62b that emit illumination light to the side view field of the side view observation window 60b are disposed on the side surface of the distal end portion 6a of the endoscope 2a at positions adjacent to the side view observation window 60b.
  • side-view illumination windows 61c and 62c for emitting illumination light in the range of the side-view visual field of the side-view observation window 60c are arranged at positions adjacent to the side-view observation window 60c.
  • a distal end opening 63 from which the treatment instrument 64 protrudes is provided behind the side-view observation window 60b on the side surface of the distal end portion 6a.
  • emits illumination light from the direct view illumination windows 61a and 62a, the side view illumination windows 61b and 62b, and the side view illumination windows 61c and 62c is a light emitting element such as a light guide or a light emitting diode (LED). Can be mentioned.
  • FIG. 10 is a diagram illustrating a configuration of a main part in the second embodiment
  • FIGS. 11A and 11B are diagrams illustrating an example of an observation image including an image of a treatment instrument displayed on a monitor.
  • an image sensor 65a is disposed at the imaging position of the direct-view observation window 60a and an objective optical system (not shown).
  • An imaging element 65b is disposed at the imaging position of the side-view observation window 60b and an objective optical system (not shown), and an imaging element 65c is disposed at the imaging position of the side-view observation window 60c and the objective optical system (not shown).
  • the image sensors 65a to 65c are electrically connected to the image processing unit 32a of the video processor 32 that functions as an image signal generation unit, respectively, and the direct-view visual field image captured by the image sensor 65a, the image sensor 65b, and The side view visual field image captured by each of 65c is output to the image processing unit 32a.
  • the image processing unit 32a places the direct-view visual field image 66a captured by the image sensor 65a in the center of the monitor 35, and uses the side-view visual field image 66b and the image sensor 65c captured by the image sensor 65b. Image signals are generated so that the captured side-view visual field images 66c are arranged side by side so as to be adjacent to the direct-view visual field image 66a.
  • the image processing unit 32a performs the side-view visual field image 66b so that the central axis of the treatment tool image 50 of the direct-view visual field image 66a substantially coincides with the central axis of the treatment tool image 51 of the side-view visual field image 66b. Move the rotation. At this time, the image processing unit 32a also rotates and moves the side view visual field image 66c in the opposite direction to the side view visual field image 66b by the same movement amount as the rotational movement amount of the side view visual field image 66b.
  • the rotational movement process by the image processing unit 32a is the same as that in the first embodiment.
  • the direct-view visual field image and the side-view visual field image need only be adjacent to each other, and only the configuration in which the side-view visual field images 66b and 66c are arranged on both sides of the direct-view visual field image 66a.
  • the configuration may be such that only the side-view visual field image, for example, the side-view visual field image 66b on which the treatment instrument image 51 is displayed, is arranged on either the left or right side of the direct-view visual field image 66a.
  • a plurality of images are displayed on the monitor 35, but the present invention is not limited to this.
  • a plurality of, for example, three monitors 35 are arranged adjacent to each other, a direct-view visual field image 66a is displayed on the central monitor 35, and side-view visual field images 66b are displayed on both adjacent monitors 35, respectively.
  • the monitor 35 which displays a direct view visual field image and the monitor 35 which displays a side view visual field image may be adjacent like the structure which displays 66c.
  • a direct-view observation window 60a that acquires a direct-view visual field image is provided on the distal end surface of the distal end portion 6a, and a plurality of side-view observation windows 60b and 60c that acquire a side-view visual field image are provided in the circumferential direction of the distal end portion 6a.
  • the monitor 35 is configured to display a plurality of images (direct view field image 66a, side view field image 66b, and 66c)
  • the treatment tool image 50 of the direct view field image 66a and the treatment tool of the side view field image 66b are displayed.
  • the central axis with the image 51 can be made to substantially coincide.
  • the image of the object is not limited to the image of the treatment instrument, but may be an image of another element observed in the field of view.
  • the endoscope system 1 of the present embodiment similarly to the first embodiment, the field of view observed in the direct field of view and the side field of view without increasing the labor for manufacturing and processing the endoscope. It is possible to improve the workability of the treatment with the treatment tool under the wide-angle endoscope by making the objects (images of the treatment tool, etc.) adjacent to each other without causing a sense of incongruity so as to be continuous.
  • the endoscope system of the present embodiment has the same configuration as that of the first embodiment, and the configuration of the image processing unit 32a is different from that of the first embodiment.
  • FIG. 12 is a diagram for explaining a configuration of an image processing unit according to the third embodiment
  • FIGS. 13A to 13C are diagrams illustrating an example of an observation image including an image of a treatment instrument displayed on a monitor. It is.
  • FIG. 12 the same components as those in FIG. 6 are denoted by the same reference numerals and description thereof is omitted.
  • the image processing unit 32a of this embodiment includes an image enlargement / reduction rate calculation unit 70 instead of the image movement amount calculation unit 43 of FIG.
  • the image enlargement / reduction ratio calculation unit 70 includes a predetermined axis, for example, the central axis of the treatment tool image 50 of the direct vision visual field image recognized by the central axis recognition unit 42 and the treatment tool image 51 of the side vision visual field image. From the central axis, the proximal end of the treatment tool image 50 of the direct view visual field image and the distal end of the treatment tool image 51 of the side view visual field image are detected. Then, the image enlargement / reduction ratio calculation unit 70 directly views the visual field image such that the proximal end of the treatment tool image 50 of the detected direct vision visual field image substantially coincides with the distal end of the treatment tool image 51 of the side vision visual field image. Alternatively, the enlargement / reduction ratio of the side view visual field image is calculated.
  • the image generation unit 44 Based on the enlargement / reduction ratio calculated by the image enlargement / reduction ratio calculator 70, the image generation unit 44 detects the proximal end of the treatment tool image 50 of the detected direct-view visual field image and the treatment tool image of the side-view visual field image.
  • the display magnification of the direct-view visual field image or the side-view visual field image is changed vertically and horizontally so that the front end of 51 substantially coincides (distorts the direct-view visual field image or the side-view visual field image).
  • the image generating unit 44 does not change the entire side view visual field image, but only the vicinity of the image 51 of the treatment instrument. Like that. As a result, the image in the vicinity of the treatment instrument image 51 is scaled so as not to affect the displacement of the entire image.
  • the image generation unit 44 may change the display magnification of the direct view visual field image and the side view visual field image vertically and horizontally. In this manner, by scaling both the field images, the amount of distortion of each field image is reduced, and the uncomfortable feeling due to the distortion can be reduced.
  • the display magnification of the direct-view visual field image is changed vertically and horizontally, and the proximal end of the treatment tool image 50 of the direct-view visual field image and the distal end of the treatment tool image 51 of the side visual field image are substantially matched.
  • the display magnification of the side view visual field image is changed vertically and horizontally so that the proximal end of the treatment tool image 50 of the direct view visual field image and the distal end of the treatment tool image 51 of the side view visual field image are substantially matched. ing. Further, in FIG.
  • the display magnification of the direct-view visual field image and the side-view visual field image is changed vertically and horizontally, and the proximal end of the treatment tool image 50 of the direct-view visual field image and the distal end of the treatment tool image 51 of the side visual field image are displayed.
  • the proximal end of the treatment tool image 50 of the direct-view visual field image and the distal end of the treatment tool image 51 of the side visual field image are displayed.
  • FIG. 14 is a flowchart for explaining an example of image processing by the image processing unit of the third embodiment.
  • FIG. 14 the same processes as those in FIG. In the flowchart of FIG. 14, an example in which the display magnification of the side view visual field image is changed in the vertical and horizontal directions will be described.
  • the display magnification of the direct view visual field image may be changed in the vertical and horizontal directions. You may change the display magnification of a visual field image and a side view visual field image vertically and horizontally.
  • step S5 when the central axis of the image of the treatment tool observed in the direct vision field is calculated, the image enlargement / reduction ratio calculation unit 70 causes the proximal end of the image of the treatment tool in the direct vision field image and the side vision field image to be calculated. The tip of the image of the treatment tool is detected (step S11).
  • the image enlargement / reduction rate calculation unit 70 calculates the enlargement / reduction rate of the image of the treatment instrument observed in the side view field so that it substantially coincides with the proximal end of the image of the treatment tool observed in the direct view field of view. (Step S12).
  • the image generation unit 44 performs the treatment of the direct view visual field image treatment tool image and the side view visual field image.
  • the display magnification of the side-view visual field image is changed vertically and horizontally so that the tip of the tool image substantially coincides (step S13).
  • the image generation unit 44 generates an image signal in which the proximal end of the treatment tool image in the direct view visual field image and the distal end of the treatment tool image in the side view visual field image substantially coincide with each other (step S14), and the processing ends. To do.
  • the image signal generated in this way is displayed on the monitor 35 via the image output unit 32b.
  • the endoscope system 1 detects the deviation between the image of the treatment tool for the direct-view visual field image and the image of the treatment tool for the side-vision visual field image, and the direct-view visual field image or the side view according to the amount of deviation. Only the vicinity of the image of the treatment tool was scaled so that the proximal end of the image of the treatment tool of the direct view visual field image and the distal end of the image of the treatment tool of the side view visual field image were substantially coincident. Thereby, since the image of the treatment tool of the direct view visual field image and the side view visual field image is continuously connected, the visibility and operability of the treatment tool can be improved.
  • the same effect as that of the first embodiment is obtained, and only the vicinity of the image of the treatment tool of the direct view visual field image or the side view visual field image is scaled. , It does not affect the displacement of the entire image.
  • the configuration of the image processing unit 32a of the present embodiment is the same as the configuration of the image processing unit 32a of the first embodiment shown in FIG. 6, and only processing different from that of the image processing unit 32a of the first embodiment will be described.
  • the image movement amount calculation unit 43 detects the proximal end of the treatment tool image 50 in the direct view visual field image and the distal end of the treatment tool image 51 in the side view visual field image, and the proximal end and the distal end substantially coincide with each other. Such an image movement amount is calculated.
  • the image generation unit 44 moves the coordinate position of the direct view visual field image or the side view visual field image based on the image movement amount calculated by the image movement amount calculation unit 43.
  • 15A and 15B are diagrams illustrating an example of an observation image including an image of a treatment instrument displayed on a monitor.
  • the treatment tool image 50 of the direct-view visual field image and the treatment tool image 51 of the side-view visual field image are substantially coincident with each other.
  • the image whose coordinates are moved is not limited to the direct view field image, and the coordinates of the side view field image may be moved, or the coordinates of both the direct view field image and the side view field image may be moved. Good.
  • FIG. 16 is a flowchart for explaining an example of image processing by the image processing unit of the fourth embodiment.
  • FIG. 16 the same processes as those in FIG. In the flowchart of FIG. 16, an example in which the coordinates of the side-view visual field image are moved will be described. However, as described above, the coordinates of the direct-view visual field image may be moved. The coordinates may be moved.
  • step S5 when the central axis of the image of the treatment tool observed in the direct visual field is calculated, the image movement amount calculating unit 43 causes the proximal end of the image of the treatment tool in the direct visual field image and the treatment tool of the side visual field image.
  • the tip of the image is detected (step S21).
  • step S21 the side-view visual field image in which the image movement amount calculation unit 43 substantially matches the proximal end of the treatment instrument image observed in the direct visual field and the distal end of the treatment instrument image observed in the side visual field.
  • the movement amount is calculated (step S22).
  • the image generation unit 44 performs the treatment of the direct view visual field image treatment tool image and the side view visual field image.
  • the coordinates of the side-view visual field image are moved so that the tip of the tool image substantially coincides (step S23).
  • the image generation unit 44 generates an image signal in which the proximal end of the treatment tool image of the direct view visual field image and the distal end of the treatment tool image of the side view visual field image substantially coincide with each other (step S24), and the processing ends. To do.
  • the image signal generated in this way is displayed on the monitor 35 via the image output unit 32b.
  • the endoscope system 1 detects the deviation between the image of the treatment tool for the direct-view visual field image and the image of the treatment tool for the side-vision visual field image, and the direct-view visual field image or the side view according to the amount of deviation.
  • the coordinates of the field-of-view image were moved so that the proximal end of the treatment tool image in the direct-view field-of-view image and the distal end of the treatment tool image in the side-view field-of-view image substantially coincided with each other.
  • the same effect as that of the first embodiment is obtained, and distortion and viewing are only performed because the coordinates for displaying the direct view visual field image or the side view visual field image are changed. Therefore, the visibility and operability of the treatment tool can be further improved.
  • the configuration of the image processing unit 32a of the present embodiment is the same as the configuration of the image processing unit 32a of the third embodiment in FIG. 12, and only processing different from that of the image processing unit 32a of the third embodiment will be described.
  • the image enlargement / reduction ratio calculation unit 70 includes a central axis of the treatment tool image 50 of the direct view visual field image recognized by the central axis recognition unit 42 of the treatment tool image and a center of the treatment tool image 51 of the side view visual field image.
  • the magnification of the treatment tool image 51 of the side view visual field image is calculated from the axis so as to overlap the central axis of the treatment tool image 50 of the direct view visual field image.
  • the image generation unit 44 cuts out only the treatment tool image 51 of the side view field image from the side view field image, and based on the enlargement ratio calculated by the image enlargement / reduction rate calculation unit 70, the treatment tool for the side view field image The image 51 is enlarged.
  • FIG. 17A and FIG. 17B are diagrams illustrating an example of an observation image including an image of a treatment instrument displayed on a monitor.
  • the treatment tool image 51 of the side view visual field image is enlarged so that the treatment tool image 51 of the side view visual field image overlaps the central axis of the treatment tool image 50 of the direct view visual field image.
  • the image of the treatment tool to be enlarged is not limited to the treatment tool image 51 of the side view visual field image, and the treatment tool image 50 of the direct view visual field image may be enlarged, or the treatment tool of the direct view visual field image. Both the image 50 and the image 51 of the treatment tool of the side view image may be enlarged.
  • FIG. 18 is a flowchart for explaining an example of image processing by the image processing unit of the fifth embodiment.
  • the same processes as those in FIG. 8 are denoted by the same reference numerals and description thereof is omitted.
  • FIG. 18 an example of enlarging the image of the treatment tool of the side view visual field image will be described.
  • the image of the treatment tool of the direct view visual field image may be enlarged, or the direct view visual field image The image of the treatment tool in the side view image may be enlarged.
  • step S5 when the central axis of the image of the treatment instrument observed in the direct visual field is calculated, the image enlargement / reduction ratio calculating unit 70 calculates the central axis of the image of the treatment instrument observed in the direct visual field and the side visual field.
  • the magnification ratio of the treatment tool image of the side-view visual field image is calculated so that the treatment tool image observed in (1) overlaps (step S31).
  • the image generation unit 44 recognizes only the side view visual field image and cuts out only the image of the treatment tool of the side view visual field image (step S32). Then, the image generation unit 44 enlarges the treatment tool image of the side view visual field image so that the central axis of the treatment tool image of the direct view visual field image overlaps the treatment tool image of the side view visual field image (step S33). ). Finally, the image generation unit 44 generates an image signal in which the central axis of the treatment tool image of the direct-view visual field image and the treatment tool image of the side-view visual field image overlap each other (step S34), and the process ends. The image signal generated in this way is displayed on the monitor 35 via the image output unit 32b.
  • the endoscope system 1 detects the deviation between the image of the treatment tool for the direct-view visual field image and the image of the treatment tool for the side-vision visual field image, and the direct-view visual field image or the side view according to the amount of deviation.
  • the magnification of the treatment tool image in the visual field image was changed.
  • the endoscope system 1 overlaps the central axis of the treatment tool image of the direct-view visual field image with the central axis of the treatment tool image of the direct-view visual field image or the side view.
  • the visual field image was overlapped with the image of the treatment tool.
  • the same effect as that of the first embodiment is obtained, and the enlargement ratio is changed only for the image portion of the treatment instrument. It is not necessary to perform this process, and the load of image processing can be reduced.
  • FIGS. 19A to 19E are diagrams showing examples of screen display when the endoscope system of the second embodiment is applied to the endoscope systems of the third to fifth embodiments. is there.
  • FIG. 19A is an example in which the endoscope system 1 of the second embodiment is applied to the endoscope system 1 of the third embodiment.
  • the treatment tool image 51 of the side view visual field image 66b is distorted, and the center axis of the treatment tool image 50 of the direct view visual field image 66a and the center of the treatment tool image 51 of the side view visual field image 66b are distorted.
  • the axis is substantially aligned.
  • FIG. 19B is an example in which the endoscope system 1 of the second embodiment is applied to the endoscope system 1 of the fourth embodiment.
  • the coordinate position of the side view visual field image 66b is changed (the side view visual field image 66b is translated), and the proximal end of the treatment tool image 50 of the direct view visual field image 66a and the side view visual field image 66b are changed.
  • the distal end of the image 51 of the treatment instrument is substantially matched.
  • the side-view visual field image 66b and the area for displaying the side-view visual field image 66b may be simultaneously translated, but the side-view visual field image 66b is not moved without moving the area for displaying the side-view visual field image 66b. It may be set so as to move only in parallel.
  • FIG. 19C is an example in which the endoscope system 1 of the second embodiment is applied to the endoscope system 1 of the fifth embodiment. As shown in FIG. 19C, only the treatment tool image 51 in the side view visual field image is enlarged, and the central axis of the treatment tool image 50 in the direct view visual field image 66a and the treatment tool image 51 in the side view visual field image 66b are obtained. It is almost matched.
  • FIG. 19D is an example in which the endoscope system 1 according to the second embodiment is applied to the endoscope system 1 in which the third, fourth, and fifth embodiments are combined. This is an example in which an overlapping portion is deleted from an image signal and displayed.
  • the parallel movement shown in FIG. 19B may be performed, and the deformation and enlargement processing shown in FIGS. 19A and 19C may be combined with this.
  • the video processor 32 deletes the overlapping portion from the image signal and displays it. It may be allowed (see FIG. 19E).
  • the mechanism that realizes the function of illuminating and observing the side is provided at the distal end portion 6 of the insertion portion 4 together with the mechanism that realizes the function of illuminating and observing the front.
  • the mechanism for realizing the function of illuminating and observing the side may be separated from the insertion portion 4.
  • FIG. 20 is a perspective view of the distal end portion 6 of the insertion portion 4 to which a side observation unit is attached.
  • the distal end portion 6 of the insertion portion 4 has a front vision unit 100.
  • the side viewing unit 110 has a structure that can be attached to and detached from the front viewing unit 100 by a clip portion 111.
  • the side view unit 110 has two observation windows 112 for acquiring an image in the left-right direction and two illumination windows 113 for illuminating the left-right direction.
  • the video processor 32 or the like obtains an observation image as described in the above-described embodiment by turning on and off each illumination window 113 of the side visual field unit 110 according to the frame rate of the front visual field. Display can be made.
  • FIG. 21 is a diagram showing a configuration of a main part in the sixth embodiment.
  • the same components as those in FIG. 21 are identical to FIG. 21.
  • the video processor 32 is configured by adding a setting storage unit 32c to the video processor of FIG.
  • the treatment tool image 50 of the direct view visual field image and the treatment tool image of the side view visual field image were calculated and image correction was performed.
  • the treatment tool is projected from the distal end opening 17 after the assembly of the endoscope 2, not during the treatment with the treatment tool, and the treatment tool image of the direct-view visual field image for each endoscope 2 in advance. And the amount of deviation between the side view visual field image and the image of the treatment tool are calculated. And the setting memory
  • the image processing unit 32a corrects the direct-view visual field image or the side-view visual field image based on the endoscope information (deviation amount) stored in advance in the setting storage unit 32c during endoscopic observation.
  • the endoscope information deviceiation amount
  • any one of the image corrections of the above-described embodiments may be used.
  • the endoscope system 1 stores the shift amount for each endoscope 2 in advance in the setting storage unit 32c as endoscope information, and performs image correction using the endoscope information.
  • the treatment tool image 50 of the direct view visual field image and the treatment tool image 51 of the side view visual field image can be substantially matched.
  • the endoscope system 1 performs image correction using the endoscope information stored in advance in the setting storage unit 32c, the endoscope system 1 is in a state where the image of the treatment tool is not recognized, that is, the treatment tool is used. Even in a state where the image is not displayed, the direct-view visual field image and the side-view visual field image in which the shift amount is corrected can be displayed on the monitor 35.
  • the direct-view visual field image and the side view that have the same effects as those of the first embodiment and that have corrected the shift amount even when the image of the treatment tool is not recognized.
  • a visual field image can be displayed on the monitor 35.
  • the image correction may be automatically turned ON or OFF depending on whether or not the treatment instrument is inserted, or a changeover switch or the like may be provided so that the image correction can be turned ON or OFF manually. This switching of image correction can be similarly applied to the above-described first to fifth embodiments.
  • each step in the flowchart in the present specification may be executed in a different order for each execution by changing the execution order and performing a plurality of steps at the same time as long as it does not contradict its nature.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Studio Devices (AREA)

Abstract

 内視鏡システム1は、被写体の内部に挿入される挿入部4と、挿入部4に設けられ、被写体の第1の領域から第1の被写体像を取得する直視観察窓12と、挿入部4に設けられ、第1の領域とは少なくとも一部が異なる被写体の第2の領域から第2の被写体像を取得する側視観察窓13と、第1の被写体像に含まれる所定の対象物と、第2の被写体像に含まれる所定の対象物と、が隣接した位置に配置されるように第1の被写体像及び第2の被写体像を並べた画像信号を生成するビデオプロセッサ32と、を有する。

Description

内視鏡システム
 本発明は、内視鏡システムに関し、特に、直視方向及び側視方向を同時に観察することが可能な内視鏡システムに関するものである。
 被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成する画像処理装置等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。
 例えば、特許第4955838号公報には、挿入部の先端部の先端面から突出する突出部が設けられて、この突出部の先端面に前方に位置する被検体を観察する前方観察用レンズが設けれ、突出部の周囲に、突出部の周囲に対向して位置する被検体を観察する周囲観察用レンズが設けられた内視鏡を備える内視鏡システムが開示されている。
 この内視鏡は、前方観察用レンズで観察された被検体を撮像素子の中心部に円形の領域で撮像し、周囲観察用レンズで観察された被検体を、同じ撮像素子の円形の領域の外周の円環の領域で撮像する。これにより、前方の画像が円形の直視視野画像として中心部に形成され、周囲方向の画像が円環形状の側視視野画像として直視視野画像の外周部に形成された内視鏡画像がモニタ上に表示される。
 また、特許第3337682号公報には、挿入部の先端部の先端面に直視視野画像を取得する直視観察用レンズが設けられ、先端部の周方向に側視視野画像を取得する複数の側視観察用レンズが設けられた内視鏡を備える内視鏡システムが開示されている。
 この内視鏡は、直視観察用レンズ及び複数の側視観察用レンズの結像位置にそれぞれ撮像素子が設けられており、これらの撮像素子により直視視野画像及び複数の側視視野画像を撮像する。そして、直視視野画像が中央に配置され、複数の側視視野画像が直視視野画像の両隣に配置され、モニタ上に表示される。
 特許第4955838号公報及び特許第3337682号公報に開示されている内視鏡で処置具を挿通させると、直視視野画像、側視視野画像のそれぞれで処置具の摺動が観察される。
 しかしながら、これらの内視鏡は、直視視野と側視視野とが別々の観察領域であるため、直視視野画像と側視視野画像とで処置具の摺動軌道が不連続になる場合がある。このように、処置具の像が不連続になると、処置具の視認性、処置の作業性が低下するという問題がある。
 処置具の像が不連続になる原因は、直視視野用レンズと側視視野用レンズのチルトやシフト、または対物光学系の枠組付け時の加工誤差等が挙げられる。これらの原因である誤差を内視鏡の製造時に抑制することは、加工、組み立てを極めて厳密に行わなければならないため、内視鏡の製造・加工の手間が増えるという問題がある。
 そこで、本発明は、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物の像を連続させることで、複数視野を有する内視鏡下での処置具による処置の作業性を向上させることができる内視鏡システムを提供することを目的とする。
 本発明の一態様の内視鏡システムは、被写体の内部に挿入される挿入部と、前記挿入部に設けられ、前記被写体の第1の領域から第1の被写体像を取得する第1の被写体像取得部と、前記挿入部に設けられ、前記第1の領域とは少なくとも一部が異なる前記被写体の第2の領域から第2の被写体像を取得する第2の被写体像取得部と、前記第1の被写体像に含まれる所定の対象物と、前記第2の被写体像に含まれる前記所定の対象物と、が隣接した位置に配置されるように前記第1の被写体像及び前記第2の被写体像を並べた画像信号を生成する画像信号生成部と、を備える。
第1の実施形態に係る内視鏡システムの構成を示す図である。 内視鏡の挿入部の先端部の構成を示す斜視図である。 内視鏡の挿入部の先端部の構成を示す正面図である。 モニタに表示される観察画像の一例を示す図である。 第1の実施形態における要部の構成を示す図である。 第1の実施形態における画像処理部の構成を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第1の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 第2の実施形態に係る内視鏡の挿入部の先端部の構成を示す斜視図である。 第2の実施形態における要部の構成を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第3の実施形態に係る画像処理部の構成を説明するための図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第3の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第4の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 モニタに表示される処置具の像を含む観察画像の一例を示す図である。 第5の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。 第3の実施形態の内視鏡システムに対して、第2の実施形態の内視鏡システムを適用した際の画面表示の例を示す図である。 第4の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 第5の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 第3、第4及び第5の実施形態を組み合わせた内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。 重複する部分を画像信号から削除して表示させる例である。 側方観察用のユニットが取り付けられた挿入部4の先端部6の斜視図である。 第6の実施形態における要部の構成を示す図である。
 以下、図面を参照して本発明の実施形態を説明する。
(第1の実施形態)
 まず、図1から図8を用いて第1の実施形態の内視鏡システムの構成について説明する。図1は、第1の実施形態に係る内視鏡システムの構成を示す図であり、図2は、内視鏡の挿入部の先端部の構成を示す斜視図であり、図3は、内視鏡の挿入部の先端部の構成を示す正面図であり、図4は、モニタに表示される観察画像の一例を示す図であり、図5は、第1の実施形態における要部の構成を示す図であり、図6は、第1の実施形態における画像処理部の構成を示す図であり、図7A~図7Eは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。また、図8は、画像処理の一例について説明するためのフローチャートである。
 図1に示すように、内視鏡システム1は、観察対象物を撮像して撮像信号を出力する内視鏡2と、観察対象物を照明するための照明光を供給する光源装置31と、撮像信号に応じた映像信号(画像信号)を生成及び出力する画像信号生成部としての機能を有するビデオプロセッサ32と、映像信号(画像信号)に応じた観察画像を表示するモニタ35と、を有している。
 内視鏡2は、術者が把持して操作を行う操作部3と、操作部3の先端側に形成され、体腔内等に挿入される細長の挿入部4と、操作部3の側部から延出するように一方の端部が設けられたユニバーサルコード5と、を有して構成されている。
 本実施形態の内視鏡2は、複数の視野画像を表示させることで180度以上の視野を観察可能な広角内視鏡であり、体腔内、特に大腸内において、襞の裏や臓器の境界等、直視方向の観察だけでは見難い場所の病変を見落とすことを防ぐことを実現する。大腸内に内視鏡2の挿入部4を挿入するにあたっては、通常の大腸内視鏡と同様、挿入部2に捻り、往復運動、腸壁のフックを行うことによる仮固定等の動作が発生する。
 挿入部4は、最も先端側に設けられた硬質の先端部6と、先端部6の後端に設けられた湾曲自在の湾曲部7と、湾曲部7の後端に設けられた長尺かつ可撓性を有する可撓管部8と、を有して構成されている。また、湾曲部7は、操作部3に設けられた湾曲操作レバー9の操作に応じた湾曲動作を行う。
 一方、図2に示すように、挿入部4の先端部6には、先端部6の先端面の中央から上方寄りに偏心した位置から突出して設けられた、円柱形状の円筒部10が形成されている。
 円筒部10の先端部には、直視及び側視を兼ねる図示しない対物光学系が設けられている。また、円筒部10の先端部は、前記図示しない対物光学系の直視方向に相当する箇所に配置された直視観察窓12と、前記図示しない対物光学系の側視方向に相当する箇所に配置された側視観察窓13と、を有して構成されている。さらに、円筒部10の基端付近には、側視方向を照明するための光を出射する側視照明部14が形成されている。
 側視観察窓13は、円柱形状の円筒部10における周方向から入射される観察対象物からの戻り光(反射光)を側視視野内に捉えることにより側視視野画像を取得可能とするための、側視用ミラーレンズ15を備えている。
 なお、前記図示しない対物光学系の結像位置には、直視観察窓12の視野内の観察対象物の画像が円形の直視視野画像として中心部に形成され、かつ、側視観察窓13の視野内の観察対象物の画像が円環形状の側視視野画像として直視視野画像の外周部に形成されるように、図5に示す撮像素子30(の撮像面)が配置されているものとする。
 このような画像は、側視用ミラーレンズ15で戻り光を2回反射させる2回反射光学系を用いることで実現させているが、戻り光を1回反射光学系により1回反射させて形成し、これをビデオプロセッサ32で画像処理し、側視視野画像と直視視野画像との向きを合わせてもよい。
 先端部6の先端面には、円筒部10に隣接する位置に配置され、直視観察窓12の直視視野の範囲に照明光を出射する直視照明窓16と、挿入部4内に配設されたチューブ等により形成された図示しない処置具チャンネルに連通するとともに、処置具チャンネルに挿通された処置具(の先端部)を突出させることが可能な先端開口部17と、が設けられている。
 また、挿入部4の先端部6は、先端部6の先端面から突出するように設けられた支持部18を有し、この支持部18は円筒部10の下部側に隣接して位置する。
 支持部18は、先端部6の先端面から突出させるように配置された各突出部材を支持(または保持)可能に構成されている。具体的には、支持部18は、前述の各突出部材としての、直視観察窓12を洗浄するための気体または液体を射出する直視観察窓用ノズル部19と、直視方向を照明するための光を出射する直視照明窓21と、側視観察窓13を洗浄するための気体または液体を射出する側視観察窓用ノズル部22と、をそれぞれ支持(または保持)可能に構成されている。
 一方、支持部18は、本来の観察対象物とは異なる物体である前述の各突出部材が側視視野内に現れることにより、各突出部材のいずれかを含むような側視視野画像を取得してしまわないようにするための、光学的な遮蔽部材である遮蔽部18aを有して形成されている。すなわち、遮蔽部18aを支持部18に設けることにより、直視観察窓用ノズル部19、直視照明窓21、及び、側視観察窓用ノズル部22がいずれも含まれないような側視視野画像を得ることができる。
 側視観察窓用ノズル部22は、図2及び図3に示すように、支持部18の2箇所に設けられているとともに、支持部18の側面に先端が突出するように配置されている。
 操作部3には、図1に示すように、直視観察窓12を洗浄するための気体または液体を直視観察窓用ノズル部19から射出させる操作指示が可能な送気送液操作ボタン24aと、側視観察窓13を洗浄するための気体または液体を側視観察窓用ノズル部22から射出させる操作指示が可能な送気送液操作ボタン24bと、が設けられ、この送気送液操作ボタン24a及び24bの押下により送気と送液とが切り替え可能である。また、本実施形態では、それぞれのノズル部に対応するように複数の送気送液操作ボタンを設けているが、例えば1つの送気送液操作ボタンの操作により直視観察窓用ノズル部19、側視観察窓用ノズル部22の両方から気体または液体が射出されるようにしてもよい。
 スコープスイッチ25は、操作部3の頂部に複数設けられており、内視鏡2において使用可能な種々の記載のオンまたはオフ等に対応した信号を出力させるように、各スイッチ毎の機能を割り付けることが可能な構成を有している。具体的には、スコープスイッチ25には、例えば、前方送水の開始及び停止、フリーズの実行及び解除、及び、処置具の使用状態の告知等に対応した信号を出力させる機能を、各スイッチ毎の機能として割り付けることができる。
 なお、本実施形態においては、送気送液操作ボタン24a及び24bのうちの少なくともいずれか一方の機能を、スコープスイッチ25のうちのいずれかに割り付けるようにしてもよい。
 また、操作部3には、体腔内の粘液等を先端開口部17より吸引して回収するための指示を図示しない吸引ユニット等に対して行うことが可能な吸引操作ボタン26が配設されている。
 そして、図示しない吸引ユニット等の動作に応じて吸引された体腔内の粘液等は、先端開口部17と、挿入部4内の図示しない処置具チャンネルと、操作部3の前端付近に設けられた処置具挿入口27とを経た後、図示しない吸引ユニットの吸引ボトル等に回収される。
 処置具挿入口27は、挿入部4内の図示しない処置具チャンネルに連通しているとともに、図示しない処置具を挿入可能な開口として形成されている。すなわち、術者は、処置具挿入口27から処置具を挿入し、処置具の先端側を先端開口部17から突出させることにより、処置具を用いた処置を行うことができる。
 一方、図1に示すように、ユニバーサルコード5の他方の端部には、光源装置31に接続可能なコネクタ29が設けられている。
 コネクタ29の先端部には、流体管路の接続端部となる口金(図示せず)と、照明光の供給端部となるライトガイド口金(図示せず)とが設けられている。また、コネクタ29の側面には、接続ケーブル33の一方の端部を接続可能な電気接点部(図示せず)が設けられている。さらに、接続ケーブル33の他方の端部には、内視鏡2とビデオプロセッサ32と電気的に接続するためのコネクタが設けられている。
 ユニバーサルコード5には、種々の電気信号を伝送するための複数の信号線、及び、光源装置31から供給される照明光を伝送するためのライトガイドが束ねられた状態として内蔵されている。
 挿入部4からユニバーサルコード5にかけて内蔵された前記ライトガイドは、光出射側の端部が挿入部4付近において少なくとも2方向に分岐されるとともに、一方の側の光出射端面が直視照明窓16及び21に配置され、かつ、他方の側の光出射端面が側視照明部14に配置されるような構成を有している。また、前記ライトガイドは、光入射側の端部がコネクタ29のライトガイド口金に配置されるような構成を有している。
 なお、直視照明窓16及び21、側視照明部14に配置される光出射部は、ライトガイドに代えて発光ダイオード(LED)のような発光素子であってもよい。
 ビデオプロセッサ32は、内視鏡2の先端部6に設けられた撮像素子を駆動するための駆動信号を出力する。そして、ビデオプロセッサ32は、前記撮像素子から出力される撮像信号に対して信号処理を施すことにより、映像信号(画像信号)を生成してモニタ35へ出力する画像信号生成部として機能する。
 これにより、円形形状をなす直視視野画像と、直視方向の画像の外周において円環形状をなす側視視野画像とを具備した観察画像、つまり直視視野画像に側視視野画像が隣り合った状態で、直視視野画像に側視視野画像が囲い込むように並べた画像が、例えば図4に示すような態様によりモニタ35に表示される。なお、本実施形態及び以降の実施形態において示される観察画像においては、支持部18の遮蔽部18aにより光学的に遮蔽される部分を考慮しないものとする。また、モニタ35に表示される直視視野画像及び側視視野画像は、それぞれ図4に示す円形形状及び円環形状に限定されることなく、他の表示態様であってもよい。
 光源装置31、ビデオプロセッサ32及びモニタ35等の周辺装置は、患者情報の入力等を行うキーボード34とともに、架台36に配置されている。
 図5に示すように、ビデオプロセッサ32は、画像処理部32aと、画像出力部32bとを少なくとも有して構成されている。
 第1の被写体像取得部を構成する直視観察窓12は、挿入部4の長手方向に略平行な前方を含む直視方向(第1の方向)、つまり被写体の第1の領域から第1の被写体像を取得し、第2の被写体像取得部を構成する側視観察窓13は、直視方向(第1の方向)とは少なくとも一部が異なる挿入部4の長手方向とは交差する方向を含む側視方向(第2の方向)、つまり被写体の第2の領域から第2の被写体像を取得する。
 なお、第1の被写体像と第2の被写体像との境界領域は、重複していても、あるいは、重複していなくてもよく、上記境界領域が重複している状態の場合、第1の被写体像取得部と第2の被写体像取得部とで重複した被写体像を取得してもよい。
 撮像素子30は、直視方向の被写体像と側視方向の被写体像とを同じ面で光電変換する。撮像素子30は、画像処理部32aに電気的に接続されており、直視観察窓12及び側視観察窓13で取得された被写体像を画像処理部32aに出力する。
 画像処理部32aは、直視視野画像に含まれる処置具の像と、側視視野画像に含まれる処置具の像を認識する。そして、画像処理部32aは、直視視野画像に含まれる処置具の像の中心軸と、側視視野画像に含まれる処置具の像の中心軸とが略一致するように、直視視野画像と側視視野画像との内、少なくともいずれかに対して、配置を変化させた画像信号を生成する。
 画像出力部32bは、画像処理部32aにより生成された画像信号からモニタ35に表示するための信号を生成し、モニタ35に出力する。
 図6に示すように、画像処理部32aは、画像認識部41と、中心軸認識部42と、画像移動量算出部43と、画像生成部44とを有して構成されている。
 画像認識部41は、所定の対象物の像、例えば側視視野で観察された処置具の像、及び、直視視野で観察された処置具の像を認識する。例えば、画像認識部41は、処置具の先端開口部17から突出する位置が固定であるため、その方向から突出してして進行する物体を処置具と認識する。あるいは、画像認識部41は、処置具の摺動する方向を動きから演算して処置具を認識するようにしてもよいし、処置具の太さや輪郭を画像コントラストから認識することで、処置具を認識するようにしてもよい。
 中心軸認識部42は、画像認識部41により認識された側視視野で観察された処置具の像、及び、直視視野で観察された処置具の像から、それぞれの像の中心軸を算出して中心軸を認識する。例えば、中心軸は処置具の太さの画像コントラストと、その処置具の突出される移動方向から処置具の中心軸を認識する。
 これらの処理を行うことにより、直視視野画像に含まれる処置具等の対象物と、側視視野画像に含まれる処置具等の対象物とが違和感なく隣接した位置に配置されることになる。
 画像移動量算出部43は、直視視野及び側視視野で観察された処置具の像に対して、各中心軸の座標位置の画像中心(光軸中心)から各中心軸の開き角を算出する。
 画像生成部44は、直視視野画像と側視視野画像の境界を認識して、側視視野画像のみを切り出し、処置具の像の傾きの座標が一致するように、画像移動量算出部43で算出された開き角に基づき、側視視野画像を画像中心を起点として回転移動し、側視視野で観察された処置具の像の中心軸と、直視視野で観察された処置具の像の中心軸とが略一致した画像信号を生成する。
 なお、画像生成部44は、直視視野画像の処置具の像と側視視野画像の処置具の像とが略一致するように、直視視野画像を回転移動させてもよいし、直視視野画像及び側視視野画像の両方を回転移動させてもよい。
 例えば、図7Aに示すように、直視視野画像の処置具の像50と、側視視野画像の処置具の像51とがずれている場合、画像生成部44は、図7Dに示すように、側視視野画像を画像中心を起点として回転移動することで、直視視野画像の処置具の像50と、側視視野画像の処置具の像51との中心軸を略一致するようにする。
 なお、画像生成部44は、図7Eに示すように、直視視野画像を画像中心を起点として回転移動してもよい。また、側視視野画像と直視視野画像との両方を回転移動させて、直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像の中心軸とを略一致させるようにしてもよい。
 次に、このように構成された内視鏡システム1の動作について説明する。
 図8は、本実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図8のフローチャートでは、処置具の中心軸を略一致するように、側視視野画像を画像中心を起点にして回転移動させる処理について説明するが、これに限定されるものではない。例えば、直視視野画像を画像中心を起点にして回転移動させる処理を行ってもよいし、直視視野画像及び側視視野画像の両方を画像中心を起点にして回転移動させる処理を行ってもよい。
 まず、処置具が処置具チャンネルに挿通され、先端開口部17から処置具が突出すると(ステップS1)、画像認識部41が側視視野で観察された処置具を画像から認識する(ステップS2)。次に、図7Bのように中心軸認識部42が側視視野で観察された処置具の像の中心軸を算出する(ステップS3)。
 処置具がさらに突出すると直視視野で処置具の像が観察されることになる。すると、画像認識部41が直視視野で観察された処置具を画像から認識し(ステップS4)、図7Bのように中心軸認識部42が直視視野で観察された処置具の像の中心軸を算出する(ステップS5)。
 次に、図7Cに示すように、画像移動量算出部43が各中心軸の座標位置から各中心軸の開き角を算出する(ステップS6)。この開き角は画像移動量算出部43が直視視野で観察された処置具の像の中心軸と平行になるような側視視野で観察された処置具の像の中心軸の補正角度である。
 画像生成部44が側視視野画像のみを認識して側視視野画像のみを切り出す(ステップS7)。画像生成部44がそれぞれの処置具の中心軸の傾きが一致するように、切り出した側視視野画像を画像中心を起点にして回転移動する(ステップS8)。最後に、画像生成部44が直視視野画像の処置具の像の中心軸と側視視野画像の処置具の像の中心軸とが略一致した画像信号を生成し(ステップS9)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
 以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像を回転させ、直視視野画像の処置具の像と側視視野画像の処置具の像との中心軸を略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像の中心軸が略一致するため、処置具の視認性及び操作性を向上させることができる。また、直視視野画像または側視視野画像を画像中心を起点にして回転させているため、各画像の大きさや各画像の中心を変えずに処置具の軸を合わせることができる。
 よって、本実施形態の内視鏡システムによれば、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物(処置具等の像)を連続させることで、複数視野を有する内視鏡下での処置具による処置の作業性を向上させることができる。
 なお、位置を合わせる対象物の像として、処置具に限らず、例えば体腔内の襞あるいは体腔内に留置しているステントやクリップ等の他の要素であってもよく、上記と同様の手順で前方視野及び側方視野の対象物の認識を行い、前方視野又は側方視野の回転移動を行って位置合わせを行ってもよい。
(第2の実施形態)
 次に、第2の実施形態について説明する。
 図9は、第2の実施形態に係る内視鏡の挿入部の先端部の構成を示す斜視図である。
 図9に示すように、内視鏡2aの先端部6aの先端面には、挿入部4の長手方向に略平行な前方を含む直視方向(第1の方向)、つまり被写体の第1の領域を観察するための直視観察窓60aが配置され、内視鏡2aの先端部6aの側面には、直視方向(第1の方向)とは少なくとも一部が異なる挿入部4の長手方向とは交差する方向を含む側視方向(第2の方向)、つまり被写体の第2の領域を観察するための側視観察窓60b及び60cが配置されている。側視観察窓60b及び60cは、先端部6aの周方向に均等な間隔、例えば、180度の間隔で配置されている。直視観察窓60aが第1の被写体像取得部を構成し、側視観察窓60b及び60cの少なくとも1つが第2の被写体像取得部を構成する。
 なお、先端部6aの周方向に均等な間隔で配置される側視観察窓60b及び60cは、2つに限定されるものではなく、例えば1つの側視観察窓を配置する構成であってもよい。また、先端部6aの周方向に均等な間隔で配置される側視観察窓60b及び60cは、例えば、周方向に120度毎に側視観察窓を配置する(すなわち、3つの側視視野画像を取得する)構成であってもよいし、周方向に90度毎に側視観察窓を配置する(すなわち、4つの側視視野画像を取得する)構成であってもよい。
 内視鏡2aの先端部6aの先端面には、直視観察窓60aに隣接する位置に、直視観察窓60aの直視視野の範囲に照明光を出射する直視照明窓61a及び62aが配置されている。また、内視鏡2aの先端部6aの側面には、側視観察窓60bに隣接する位置に、側視観察窓60bの側視視野の範囲に照明光を出射する側視照明窓61b及び62bが配置され、側視観察窓60cに隣接する位置に、側視観察窓60cの側視視野の範囲に照明光を出射する側視照明窓61c及び62cが配置されている。先端部6aの側面の側視観察窓60bの後方には、処置具64が突出する先端開口部63が設けられている。
 なお、直視照明窓61a、62a、側視照明窓61b、62b、及び側視照明窓61c、62cから照明光を出射する光出射部は、ライトガイド又は発光ダイオード(LED)のような発光素子が挙げられる。
 図10は、第2の実施形態における要部の構成を示す図であり、図11A及び図11Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
 図10に示すように、直視観察窓60a及び図示しない対物光学系の結像位置には、撮像素子65aが配置されている。また、側視観察窓60b及び図示しない対物光学系の結像位置には、撮像素子65bが配置され、側視観察窓60c及び図示しない対物光学系の結像位置には、撮像素子65cが配置されている。
 撮像素子65a~65cは、それぞれ画像信号生成部としての機能を有するビデオプロセッサ32の画像処理部32aに電気的に接続されており、撮像素子65aで撮像された直視視野画像と、撮像素子65b及び65cのそれぞれで撮像された側視視野画像とを画像処理部32aに出力する。
 図11Aに示すように、画像処理部32aは、撮像素子65aで撮像された直視視野画像66aをモニタ35の中央に配置し、撮像素子65bで撮像された側視視野画像66b及び撮像素子65cで撮像された側視視野画像66cが、それぞれ直視視野画像66aと両隣になるように隣り合う状態で並べて配置するように画像信号を生成する。
 さらに、画像処理部32aは、直視視野画像66aの処置具の像50の中心軸と、側視視野画像66bの処置具の像51の中心軸とが略一致するように、側視視野画像66bを回転移動する。このとき、画像処理部32aは、側視視野画像66cについても、側視視野画像66bの回転移動量と同量の移動量だけ、側視視野画像66bと逆方向に回転移動させる。
 なお、画像処理部32aによる回転移動処理は、第1の実施の形態と同様である。また、複数の画像をモニタ35に表示する場合、直視視野画像と側視視野画像とが隣り合っていればよく、直視視野画像66aの両隣に側視視野画像66b及び66cが配置される構成だけに限定せず、直視視野画像66aの左右いずれか片隣に側視視野画像、例えば、処置具の像51が表示される側視視野画像66bのみを配置する構成であってもよい。
 また、本実施形態では、モニタ35に複数の画像を表示しているが、これに限定されるものではない。例えば、図11Bに示すように、複数の、例として3台のモニタ35を隣接して配置し、中央のモニタ35に直視視野画像66aを表示し、両隣のモニタ35にそれぞれ側視視野画像66b及び66cを表示する構成のように、直視視野画像を表示するモニタ35と側視視野画像を表示するモニタ35とが隣り合っている構成であってもよい。
 このように、先端部6aの先端面に直視視野画像を取得する直視観察窓60aを設け、先端部6aの周方向に側視視野画像を取得する複数の側視観察窓60b及び60cを設け、モニタ35に複数の画像(直視視野画像66a、側視視野画像66b、及び66c)を表示する構成であっても、直視視野画像66aの処置具の像50と側視視野画像66bの処置具の像51との中心軸を略一致させることができる。
 勿論、第1の実施形態と同様、対象物の像は、処置具の像に限定されることなく、視野内で観察される他の要素の像であってもよい。
 よって、本実施形態の内視鏡システム1によれば、第1の実施形態と同様に、内視鏡の製造・加工の手間を増やすことなく、直視視野と側視視野とで観察された視野内の対象物(処置具等の像)を連続させるといったように違和感なく隣接させることで、広角内視鏡下での処置具による処置の作業性を向上させることができる。
(第3の実施形態)
 次に、第3の実施形態について説明する。
 本実施形態の内視鏡システムは、第1の実施形態と同様に構成であり、画像処理部32aの構成が第1の実施形態と異なっている。
 図12は、第3の実施形態に係る画像処理部の構成を説明するための図であり、図13A~図13Cは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。なお、図12において、図6と同様の構成については、同一の符号を付して説明を省略する。
 図12に示すように、本実施形態の画像処理部32aは、図6の画像移動量算出部43に代わり、画像拡大/縮小率算出部70を備えて構成されている。
 画像拡大/縮小率算出部70は、所定の対象物、例えば中心軸認識部42で認識された直視視野画像の処置具の像50の中心軸と、側視視野画像の処置具の像51の中心軸とから、それぞれ直視視野画像の処置具の像50の基端と、側視視野画像の処置具の像51の先端とを検出する。そして、画像拡大/縮小率算出部70は、検出した直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とが略一致するような、直視視野画像または側視視野画像の拡大/縮小率を算出する。
 画像生成部44は、画像拡大/縮小率算出部70により算出された拡大/縮小率に基づいて、検出した直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とが略一致するように、直視視野画像または側視視野画像の表示倍率を縦横で変倍する(直視視野画像または側視視野画像を歪ませる)。
 なお、画像生成部44は、例えば側視視野画像の表示倍率を縦横で変倍する場合、側視視野画像の全体を変倍するのではなく、処置具の像51の付近のみを変倍するようにする。これにより、処置具の像51の付近の画像を変倍することで、画像全体のズレに影響を与えないようにする。
 また、画像生成部44は、直視視野画像及び側視視野画像の表示倍率を縦横で変倍するようにしてもよい。このように、両方の視野画像を変倍することにより、各視野画像の歪み量が小さくなり、歪みによる違和感を低減することができる。
 例えば、図13Aでは、直視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。また、図13Bでは、側視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。また、図13Cでは、直視視野画像及び側視視野画像の表示倍率を縦横で変倍し、直視視野画像の処置具の像50の基端と側視視野画像の処置具の像51の先端とを略一致させている。
 次に、このように構成された内視鏡システム1の動作について説明する。
 図14は、第3の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図14において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図14のフローチャートでは、側視視野画像の表示倍率を縦横で変倍する例について説明するが、上述したように、直視視野画像の表示倍率を縦横で変倍してもよいし、直視視野画像及び側視視野画像の表示倍率を縦横で変倍してもよい。
 ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像拡大/縮小率算出部70が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端を検出する(ステップS11)。次に、画像拡大/縮小率算出部70が直視視野で観察された処置具の像の基端と略一致するような、側視視野で観察された処置具の像の拡大/縮小率を算出する(ステップS12)。
 次に、ステップS7において、側視視野画像のみを認識して側視視野画像のみが切り出されると、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致するように、側視視野画像の表示倍率を縦横で変倍する(ステップS13)。最後に、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致した画像信号を生成し(ステップS14)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
 以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像を処置具の像の付近のみを変倍させ、直視視野画像の処置具の像の基端と側視視野画像の処置具の像の先端とを略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像が連続的に接続されるため、処置具の視認性及び操作性を向上させることができる。
 よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、直視視野画像または側視視野画像の処置具の像の付近のみを変倍しているので、画像全体のズレに影響を与えることがない。
(第4の実施形態)
 次に、第4の実施形態について説明する。
 本実施形態の画像処理部32aの構成は、図6の第1の実施形態の画像処理部32aの構成と同様であり、第1の実施形態の画像処理部32aと異なる処理についてのみ説明する。
 画像移動量算出部43は、直視視野画像の処置具の像50の基端と、側視視野画像の処置具の像51の先端とを検出し、これらの基端と先端とが略一致するような、画像移動量を算出する。
 画像生成部44は、画像移動量算出部43で算出された画像移動量に基づいて、直視視野画像または側視視野画像の座標位置を移動する。
 図15A及び図15Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
 図15A及び図15Bの例では、直視視野画像の座標を図面に向かって左斜め下方向に移動させることで、直視視野画像の処置具の像50と側視視野画像の処置具の像51との中心軸が略一致するようにしている。なお、座標を移動させる画像は、直視視野画像に限定されることなく、側視視野画像の座標を移動させてもよいし、直視視野画像及び側視視野画像の両方の座標を移動させてもよい。
 次に、このように構成された内視鏡システムの動作について説明する。
 図16は、第4の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図16において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図16のフローチャートでは、側視視野画像の座標を移動させる例について説明するが、上述したように、直視視野画像の座標を移動させてもよいし、直視視野画像及び側視視野画像の座標を移動させてもよい。
 ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像移動量算出部43が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とを検出する(ステップS21)。次に、画像移動量算出部43が直視視野で観察された処置具の像の基端と側視視野で観察された処置具の像の先端とが略一致するような、側視視野画像の移動量を算出する(ステップS22)。
 次に、ステップS7において、側視視野画像のみを認識して側視視野画像のみが切り出されると、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致するように、側視視野画像の座標を移動する(ステップS23)。最後に、画像生成部44が直視視野画像の処置具の像の基端と、側視視野画像の処置具の像の先端とが略一致した画像信号を生成し(ステップS24)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
 以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像の座標を移動し、直視視野画像の処置具の像の基端と側視視野画像の処置具の像の先端とを略一致するようにした。これにより、直視視野画像と側視視野画像の処置具の像の中心軸が略一致するため、処置具の視認性及び操作性を向上させることができる。
 よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、直視視野画像または側視視野画像を表示する座標を変更するだけのため、歪みや見ている画像を変える必要がなく、処置具の視認性及び操作性をさらに向上させることができる。
(第5の実施形態)
 次に、第5の実施の形態について説明する。
 本実施形態の画像処理部32aの構成は、図12の第3の実施形態の画像処理部32aの構成と同様であり、第3の実施形態の画像処理部32aと異なる処理についてのみ説明する。
 画像拡大/縮小率算出部70は、処置具の像の中心軸認識部42で認識された直視視野画像の処置具の像50の中心軸と、側視視野画像の処置具の像51の中心軸とから、直視視野画像の処置具の像50の中心軸に重なるような、側視視野画像の処置具の像51の拡大率を算出する。
 画像生成部44は、側視視野画像から側視視野画像の処置具の像51のみを切り出し、画像拡大/縮小率算出部70で算出された拡大率に基づいて、側視視野画像の処置具の像51を拡大する。
 図17A及び図17Bは、モニタに表示される処置具の像を含む観察画像の一例を示す図である。
 図17A及び図17Bの例では、側視視野画像の処置具の像51のみを拡大し、側視視野画像の処置具の像51が直視視野画像の処置具の像50の中心軸に重なるようにしている。なお、拡大する処置具の像は、側視視野画像の処置具の像51に限定されることなく、直視視野画像の処置具の像50を拡大してもよいし、直視視野画像の処置具の像50及び側視視野画像の処置具の像51の両方を拡大してもよい。
 次に、このように構成された内視鏡システムの動作について説明する。
 図18は、第5の実施形態の画像処理部による画像処理の一例について説明するためのフローチャートである。なお、図18において、図8と同様の処理については、同一の符号を付して説明を省略する。また、図18のフローチャートでは、側視視野画像の処置具の像を拡大する例について説明するが、上述したように、直視視野画像の処置具の像を拡大してもよいし、直視視野画像及び側視視野画像の処置具の像を拡大してもよい。
 ステップS5において、直視視野で観察された処置具の像の中心軸が算出されると、画像拡大/縮小率算出部70が直視視野で観察された処置具の像の中心軸と、側視視野で観察された処置具の像とが重なるような、側視視野画像の処置具の像の拡大率を算出する(ステップS31)。
 次に、画像生成部44が側視視野画像のみを認識して、側視視野画像の処置具の像のみを切り出す(ステップS32)。そして、画像生成部44が直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像とが重なるように、側視視野画像の処置具の像を拡大する(ステップS33)。最後に、画像生成部44が直視視野画像の処置具の像の中心軸と、側視視野画像の処置具の像とが重なった画像信号を生成し(ステップS34)、処理を終了する。このように生成された画像信号は、画像出力部32bを介してモニタ35に表示される。
 以上のように、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像とのズレを検出して、そのズレ量に応じて直視視野画像または側視視野画像の処置具の像の拡大率を変更した。そして、内視鏡システム1は、直視視野画像の処置具の像と側視視野画像の処置具の像の中心軸とを重なる、または、直視視野画像の処置具の像の中心軸と側視視野画像の処置具の像とを重なるようにした。これにより、直視視野画像の処置具の像と側視視野画像の処置具の像とが略一致するため、処置具の視認性及び操作性を向上させることができる。
 よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、処置具の像の部分だけ拡大率を変更するため、上述した各実施形態よりも画面全体の処理を行う必要がなく、画像処理の負荷を軽減することができる。
 なお、第3の実施形態から第5の実施形態の内視鏡システム1に対して、モニタ35に複数の画像を隣接して配置する第2の実施形態の内視鏡システム1を適用してもよい。図19A~図19Eは、第3の実施形態から第5の実施形態の内視鏡システムに対して、第2の実施形態の内視鏡システムを適用した際の画面表示の例を示す図である。
 図19Aは、第3の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Aに示すように、側視視野画像66bの処置具の像51を歪ませて、直視視野画像66aの処置具の像50の中心軸と側視視野画像66bの処置具の像51の中心軸とを略一致させている。
 また、図19Bは、第4の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Bに示すように、側視視野画像66bの座標位置を変更(側視視野画像66bを平行移動)して、直視視野画像66aの処置具の像50の基端と側視視野画像66bの処置具の像51の先端とを略一致させている。
 この際、側視視野画像66bと、側視視野画像66bを表示するエリアとを同時に平行移動させてもよいが、側視視野画像66bを表示するエリアを移動させずに、側視視野画像66bだけ平行移動するような設定であってもよい。
 また、図19Cは、第5の実施形態の内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例である。図19Cに示すように、側視視野画像の処置具の像51のみを拡大して、直視視野画像66aの処置具の像50の中心軸と側視視野画像66bの処置具の像51とを略一致させている。
 また、図19Dは、第3、第4及び第5の実施形態を組み合わせた内視鏡システム1に対して、第2の実施形態の内視鏡システム1を適用した例であり、図19Eは、重複する部分を画像信号から削除して表示させる例である。
 図19Dに示すように、図19Bに示す平行移動を行うとともに、図19A、図19Cに示す変形や拡大処理をこれに組み合わせてもよい。また、このように複数の画面を表示させる実施形態の場合、隣り合う2つの画像信号間で重複する部分が発生していたら、ビデオプロセッサ32は、その重複する部分を画像信号から削除して表示させてもよい(図19E参照)。
 また、上述した第2の実施形態及び各変形例において、側方を照明及び観察する機能を実現する機構は、前方を照明及び観察する機能を実現する機構とともに、挿入部4の先端部6に内蔵されているが、側方を照明及び観察する機能を実現する機構は、挿入部4に対して着脱可能な別体にしてもよい。
 図20は、側方観察用のユニットが取り付けられた挿入部4の先端部6の斜視図である。挿入部4の先端部6は、前方視野用ユニット100を有している。側方視野用ユニット110は、前方視野用ユニット100に対してクリップ部111により着脱自在な構成を有している。
 側方視野用ユニット110は、左右方向の画像を取得するための2つの観察窓112と、左右方向を照明するための2つの照明窓113とを有している。
 ビデオプロセッサ32等は、側方視野用ユニット110の各照明窓113の点灯と消灯を、前方視野のフレームレートに合わせて行うようにして、上述した実施形態に示したような観察画像の取得と表示を行うことができる。
(第6の実施形態)
 次に、第6の実施形態について説明する。
 図21は、第6の実施形態における要部の構成を示す図である。なお、図21において図5と同様の構成については、同一の符号を付して説明を省略する。
 図21に示すように、ビデオプロセッサ32は、図5のビデオプロセッサに対して、設定記憶部32cが追加されて構成されている。
 上述した各実施形態では、処置具による処置時(すなわち、処置具が内視鏡2により観察されている時)に、直視視野画像の処置具の像50と側視視野画像の処置具の像51とのズレ量を算出し、画像補正を行っていた。
 これに対し、本実施形態では、処置具による処置時ではなく、内視鏡2の組み立て後に処置具を先端開口部17から突出させ、予め内視鏡2毎の直視視野画像の処置具の像と側視視野画像の処置具の像とのズレ量を算出する。そして、設定記憶部32cは、内視鏡2の組み立て後に算出されたズレ量を内視鏡情報として記憶する。
 画像処理部32aは、内視鏡観察時に設定記憶部32cに予め記憶された内視鏡情報(ズレ量)に基づいて、直視視野画像または側視視野画像を画像補正する。この画像補正は、上述した各実施形態の画像補正のいずれかを用いればよい。
 このように、内視鏡システム1は、内視鏡2毎のズレ量を予め内視鏡情報として設定記憶部32cに記憶しておき、この内視鏡情報を用いて画像補正を行うことで、上述した各実施形態と同様に、直視視野画像の処置具の像50と側視視野画像の処置具の像51とを略一致させることができる。さらに、内視鏡システム1は、設定記憶部32cに予め記憶された内視鏡情報を用いて画像補正を行うため、処置具の像を認識していない状態、すなわち、処置具を用いて処置を行っていない状態でも、ズレ量を補正した直視視野画像及び側視視野画像をモニタ35に表示することができる。
 よって、本実施形態の内視鏡システムによれば、第1の実施形態と同様の効果を有するとともに、処置具の像を認識していない状態でも、ズレ量を補正した直視視野画像及び側視視野画像をモニタ35に表示することができる。
 なお、処置具の挿入の有無に応じて画像補正を自動でONまたはOFFしてもよいし、例えば切り替えスイッチ等を設け、画像補正を手動でONまたはOFFすることができるようにしてもよい。この画像補正の切替えは、上述した第1の実施形態から第5の実施形態でも同様に適用することができる。
 なお、本明細書におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
 本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
 本出願は、2014年2月14日に日本国に出願された特願2014-26833号公報を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲、図面に引用されたものとする。

Claims (15)

  1.  被写体の内部に挿入される挿入部と、
     前記挿入部に設けられ、前記被写体の第1の領域から第1の被写体像を取得する第1の被写体像取得部と、
     前記挿入部に設けられ、前記第1の領域とは少なくとも一部が異なる前記被写体の第2の領域から第2の被写体像を取得する第2の被写体像取得部と、
     前記第1の被写体像に含まれる所定の対象物と、前記第2の被写体像に含まれる前記所定の対象物と、が隣接した位置に配置されるように前記第1の被写体像及び前記第2の被写体像を並べた画像信号を生成する画像信号生成部と、
    を備えることを特徴とする内視鏡システム。
  2.  前記画像信号生成部から出力された、前記第1の被写体像及び前記第2の被写体像を含む画像信号を表示する1つ又は複数の表示部をさらに備えることを特徴とする請求項1に記載の内視鏡システム。
  3.  前記画像信号生成部は、前記第1の被写体像と前記第2の被写体像とが隣り合うように配置される前記画像信号を生成することを特徴とする請求項2に記載の内視鏡システム。
  4.  前記画像信号生成部は、前記第1の被写体像に基づく画像信号及び前記第2の被写体像に基づく画像信号の重複する領域を除去した各々の画像信号を前記モニタに出力することを特徴とする請求項3に記載の内視鏡システム。
  5.  前記画像信号生成部は、前記第1の被写体像に含まれる前記挿入部の先端から突出した処置具の像の中心軸と、前記第2の被写体像に含まれる前記挿入部の先端から突出した前記処置具の像の中心軸とが略一致するように、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかに対して、配置を変化させた画像信号になるよう、前記画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  6.  前記第1の被写体像は、前記挿入部の長手方向に略平行な挿入部前方を含む前記第1の領域の被写体像であり、
     前記第2の被写体像は、前記挿入部の長手方向と交差する方向の挿入部側方を含む前記第2の領域の被写体像であり、
     前記第1の被写体像取得部は、前記第1の領域の被写体像を取得する前方画像取得部であり、
     前記第2の被写体像取得部は、前記第2の領域の被写体像を取得する側方画像取得部であることを特徴とする請求項1に記載の内視鏡システム。
  7.  前記画像信号生成部は、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかを回転移動または平行移動させた前記画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  8.  前記画像信号生成部は、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかに対し、歪み変形の処理、拡大率の変化の処理、を行った前記画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  9.  前記画像信号生成部は、前記第1の被写体像と前記第2の被写体像との内、少なくともいずれかについて、中心側と周囲側との拡大率を連続的に変化させることにより、前記第1の被写体像の中の前記対象物の外形と、前記第2の被写体像の中の前記対象物の外形とを円滑に接続させた前記画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  10.  前記画像信号生成部は、前記第1の被写体像の中心を基準として、前記第1及び前記第2の被写体像全体の回転方向、平行移動方向の配置、又は、拡大率の内、少なくともいずれかを変化させた前記画像信号を生成することを特徴とする請求項1に記載の内視鏡システム。
  11.  前記内視鏡システムは、少なくとも前記画像信号を生成する画像処理モードを、以後の使用時に適宜読み出して再設定できるように設定値として記録する設定記録部を更に備えることを特徴とする請求項1に記載の内視鏡システム。
  12.  前記第2の被写体像取得部は、前記挿入部の周方向に略均等な角度で複数配置されており、
     前記画像信号生成部は、前記第1の被写体像を中心に配置し、前記第2の被写体像を前記第1の被写体像の周方向に略均等な角度で複数配置した画像信号を生成することを特徴とする請求項3に記載の内視鏡システム。
  13.  前記第1の被写体像取得部は、前記挿入部の長手方向先端部に、前記挿入部が挿入される方向に向けて配置され、
     前記第2の被写体像取得部は、前記挿入部の側面に、前記挿入部の周方向に向けて配置され、
     前記第1の被写体像取得部からの前記第1の被写体像を光電変換する第1の撮像部と、前記第2の被写体像取得部からの前記第2の被写体像を光電変換する第2の撮像部とが別々に設けられるとともに、前記第1の撮像部と前記第2の撮像部とが前記画像信号生成部に電気的に接続されていることを特徴とする請求項1に記載の内視鏡システム。
  14.  前記第1の被写体像取得部は、前記挿入部の長手方向先端部に、前記挿入部が挿入される方向に配置され、
     前記第2の被写体像取得部は、前記挿入部の周方向を囲むように配置され、
     前記第1の被写体像取得部からの前記第1の被写体像と前記第2の被写体像取得部からの前記第2の被写体像とを同じ面で光電変換するように配置されるとともに、前記画像信号生成部に電気的に接続されている撮像部を備えることを特徴とする請求項2に記載の内視鏡システム。
  15.  前記画像信号生成部は、前記第1の被写体像が略円形状になっており、前記第2の被写体像が前記第1の被写体像の周囲を囲む略円環状となっている画像信号を生成することを特徴とする請求項14に記載の内視鏡システム。
PCT/JP2015/053275 2014-02-14 2015-02-05 内視鏡システム WO2015122354A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015542069A JP5889495B2 (ja) 2014-02-14 2015-02-05 内視鏡システム
EP15748560.8A EP3053511A4 (en) 2014-02-14 2015-02-05 Endoscope system
CN201580002580.0A CN105722450B (zh) 2014-02-14 2015-02-05 内窥镜系统
US15/147,381 US10349814B2 (en) 2014-02-14 2016-05-05 Endoscope system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-026833 2014-02-14
JP2014026833 2014-02-14

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/147,381 Continuation US10349814B2 (en) 2014-02-14 2016-05-05 Endoscope system

Publications (1)

Publication Number Publication Date
WO2015122354A1 true WO2015122354A1 (ja) 2015-08-20

Family

ID=53800101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/053275 WO2015122354A1 (ja) 2014-02-14 2015-02-05 内視鏡システム

Country Status (5)

Country Link
US (1) US10349814B2 (ja)
EP (1) EP3053511A4 (ja)
JP (1) JP5889495B2 (ja)
CN (1) CN105722450B (ja)
WO (1) WO2015122354A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496695B2 (en) 2018-09-26 2022-11-08 Olympus Corporation Endoscope apparatus and method of processing radial images
WO2023021630A1 (ja) * 2021-08-18 2023-02-23 Hoya株式会社 内視鏡及び内視鏡システム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5942047B2 (ja) * 2014-03-17 2016-06-29 オリンパス株式会社 内視鏡システム
CN112739249A (zh) * 2018-08-01 2021-04-30 270医疗器械公司 多摄像头医疗成像设备的远侧尖端
US20230157526A1 (en) * 2020-04-28 2023-05-25 Hoya Corporation Endoscope system
US20220354380A1 (en) * 2021-05-06 2022-11-10 Covidien Lp Endoscope navigation system with updating anatomy model

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5099850A (en) * 1989-01-17 1992-03-31 Olympus Optical Co., Ltd. Ultrasonic diagnostic apparatus
JP3337682B2 (ja) 1991-03-11 2002-10-21 オリンパス光学工業株式会社 画像処理装置
JPH05115425A (ja) * 1991-10-25 1993-05-14 Olympus Optical Co Ltd 内視鏡
US5631973A (en) * 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
JP3347385B2 (ja) * 1992-03-27 2002-11-20 オリンパス光学工業株式会社 内視鏡画像処理装置
JP3257640B2 (ja) * 1992-06-09 2002-02-18 オリンパス光学工業株式会社 立体視内視鏡装置
US5547455A (en) * 1994-03-30 1996-08-20 Medical Media Systems Electronically steerable endoscope
US5836869A (en) * 1994-12-13 1998-11-17 Olympus Optical Co., Ltd. Image tracking endoscope system
US5982951A (en) * 1996-05-28 1999-11-09 Canon Kabushiki Kaisha Apparatus and method for combining a plurality of images
US8229549B2 (en) * 2004-07-09 2012-07-24 Tyco Healthcare Group Lp Surgical imaging device
US6471637B1 (en) * 1999-09-24 2002-10-29 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US7037258B2 (en) * 1999-09-24 2006-05-02 Karl Storz Imaging, Inc. Image orientation for endoscopic video displays
US6517478B2 (en) * 2000-03-30 2003-02-11 Cbyon, Inc. Apparatus and method for calibrating an endoscope
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
JP3917885B2 (ja) * 2002-04-08 2007-05-23 オリンパス株式会社 カプセル内視鏡システム
US20040199053A1 (en) * 2003-04-01 2004-10-07 Scimed Life Systems, Inc. Autosteering vision endoscope
WO2004096008A2 (en) * 2003-05-01 2004-11-11 Given Imaging Ltd. Panoramic field of view imaging device
JP4473027B2 (ja) * 2004-03-31 2010-06-02 富士フイルム株式会社 内視鏡
KR100681233B1 (ko) * 2004-10-28 2007-02-09 김재황 복강경수술 모니터장치 및 디스플레이 방법
US20060217593A1 (en) * 2005-03-24 2006-09-28 Zvika Gilad Device, system and method of panoramic multiple field of view imaging
DE102005058760A1 (de) * 2005-12-05 2007-06-06 Aesculap Ag & Co. Kg Verfahren und Vorrichtung zum Präparieren eines Implantats aus einem Implantatmaterial
US8050519B2 (en) * 2005-12-19 2011-11-01 Olympus Corporation Image combining apparatus
US7841980B2 (en) * 2006-05-11 2010-11-30 Olympus Medical Systems Corp. Treatment system, trocar, treatment method and calibration method
JP4841391B2 (ja) * 2006-10-17 2011-12-21 オリンパスメディカルシステムズ株式会社 内視鏡
US8814779B2 (en) * 2006-12-21 2014-08-26 Intuitive Surgical Operations, Inc. Stereoscopic endoscope
JP4908356B2 (ja) * 2007-09-11 2012-04-04 オリンパスメディカルシステムズ株式会社 カプセル誘導システム
CN101868182B (zh) * 2007-10-11 2012-12-05 赛勒科学仪表股份有限公司 测量和显示射线摄影对比材料在腔体器官内的位置的方法
US8167793B2 (en) * 2008-04-26 2012-05-01 Intuitive Surgical Operations, Inc. Augmented stereoscopic visualization for a surgical robot using time duplexing
JP4653834B2 (ja) * 2008-11-14 2011-03-16 オリンパスメディカルシステムズ株式会社 光学系
US20100165087A1 (en) * 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
GB0903610D0 (en) * 2009-03-03 2009-04-08 Aircraft Medical Ltd Insertion section for laryngoscope with lateral tube guide
US9101268B2 (en) * 2009-06-18 2015-08-11 Endochoice Innovation Center Ltd. Multi-camera endoscope
US8724868B2 (en) * 2009-10-12 2014-05-13 Capso Vision, Inc. System and method for display of panoramic capsule images
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
WO2012005049A1 (ja) 2010-07-08 2012-01-12 オリンパスメディカルシステムズ株式会社 内視鏡
US9560953B2 (en) * 2010-09-20 2017-02-07 Endochoice, Inc. Operational interface in a multi-viewing element endoscope
JP5855358B2 (ja) * 2011-05-27 2016-02-09 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP5351357B2 (ja) * 2011-09-01 2013-11-27 オリンパスメディカルシステムズ株式会社 内視鏡
JP5863428B2 (ja) * 2011-12-05 2016-02-16 Hoya株式会社 電子内視鏡スコープ、ホワイトバランス調整方法、電子内視鏡システム、ホワイトバランス調整治具
US9237851B2 (en) * 2012-02-03 2016-01-19 Ninepoint Medical, Inc. Imaging system producing multiple registered images of a body lumen
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US9216068B2 (en) * 2012-06-27 2015-12-22 Camplex, Inc. Optics for video cameras on a surgical visualization system
CN104203070B (zh) * 2012-11-07 2016-09-28 奥林巴斯株式会社 内窥镜
JP5730339B2 (ja) * 2013-01-25 2015-06-10 富士フイルム株式会社 立体内視鏡装置
JP6430948B2 (ja) * 2013-09-20 2018-11-28 オリンパス株式会社 内視鏡
US20150297311A1 (en) * 2013-12-23 2015-10-22 Camplex, Inc. Surgical visualization systems
US10130243B2 (en) * 2014-01-30 2018-11-20 Qatar University Al Tarfa Image-based feedback endoscopy system
US10262466B2 (en) * 2015-10-14 2019-04-16 Qualcomm Incorporated Systems and methods for adjusting a combined image visualization based on depth information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04341232A (ja) * 1991-03-11 1992-11-27 Olympus Optical Co Ltd 電子内視鏡システム
JPH09313435A (ja) * 1996-03-25 1997-12-09 Olympus Optical Co Ltd 内視鏡装置
WO2011055614A1 (ja) * 2009-11-06 2011-05-12 オリンパスメディカルシステムズ株式会社 内視鏡システム
JP2013066646A (ja) * 2011-09-26 2013-04-18 Olympus Medical Systems Corp 内視鏡用画像処理装置、内視鏡装置及び画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3053511A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11496695B2 (en) 2018-09-26 2022-11-08 Olympus Corporation Endoscope apparatus and method of processing radial images
WO2023021630A1 (ja) * 2021-08-18 2023-02-23 Hoya株式会社 内視鏡及び内視鏡システム

Also Published As

Publication number Publication date
CN105722450A (zh) 2016-06-29
US10349814B2 (en) 2019-07-16
US20160242627A1 (en) 2016-08-25
EP3053511A4 (en) 2017-09-27
JP5889495B2 (ja) 2016-03-22
CN105722450B (zh) 2018-01-23
EP3053511A1 (en) 2016-08-10
JPWO2015122354A1 (ja) 2017-03-30

Similar Documents

Publication Publication Date Title
US11490795B2 (en) Dynamic field of view endoscope
JP5889495B2 (ja) 内視鏡システム
JP4856286B2 (ja) 内視鏡システム
JP4884567B2 (ja) 内視鏡システム
JP5942044B2 (ja) 内視鏡システム
JP5977912B1 (ja) 内視鏡システム及び内視鏡ビデオプロセッサ
JP5974188B2 (ja) 内視鏡システム
JP5942047B2 (ja) 内視鏡システム
US20170105608A1 (en) Endoscope system
US20160374542A1 (en) Endoscope system
WO2015146836A1 (ja) 内視鏡システム
JP6064092B2 (ja) 内視鏡システム
JPWO2016031280A1 (ja) 内視鏡と、この内視鏡を備えた内視鏡システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2015542069

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15748560

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015748560

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015748560

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE