WO2018229832A1 - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
WO2018229832A1
WO2018229832A1 PCT/JP2017/021664 JP2017021664W WO2018229832A1 WO 2018229832 A1 WO2018229832 A1 WO 2018229832A1 JP 2017021664 W JP2017021664 W JP 2017021664W WO 2018229832 A1 WO2018229832 A1 WO 2018229832A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
image
light
illumination light
unit
Prior art date
Application number
PCT/JP2017/021664
Other languages
English (en)
French (fr)
Inventor
松本 浩司
翔 進士
健司 漆畑
久保 博之
哲大 岡
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2017/021664 priority Critical patent/WO2018229832A1/ja
Publication of WO2018229832A1 publication Critical patent/WO2018229832A1/ja
Priority to US16/691,961 priority patent/US11070739B2/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064Constructional details of the endoscope body
    • A61B1/00071Insertion part of the endoscope body
    • A61B1/0008Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096Optical elements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045Control thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means

Definitions

  • the present invention relates to an endoscope system.
  • the light generated from the illuminated object includes a plurality of types of components such as specular reflection light, diffuse reflection light, and scattered light.
  • a technology that separates the information on the surface of the object from the information on the inside by separating such components included in the image of the object by high-frequency pattern projection using structured illumination light having a striped light-dark pattern has been proposed (see, for example, Non-Patent Document 1).
  • Structured illumination light is also used in object shape measurement technology (see, for example, Patent Documents 1 and 2).
  • Patent Document 1 structured illumination light is generated using light interference
  • Patent Document 2 structured illumination light is generated by projecting a lattice pattern formed on a substrate.
  • Non-Patent Document 1 In order to apply the high-frequency pattern projection method of Non-Patent Document 1 to a small-diameter endoscope, it is necessary to reduce the size of the optical system. On the other hand, the spatial frequency of structured illumination light used in the high-frequency pattern projection method is higher than the spatial frequency of structured illumination light used in shape measurement. In the methods disclosed in Patent Documents 1 and 2, it is difficult to generate structured illumination light having a high spatial frequency while maintaining a high contrast and a high light amount.
  • Patent Document 1 in order to increase the spatial frequency of the structured illumination light, it is necessary to refine the lattice pattern. However, if the lattice pattern is refined, the contrast of the structured illumination light decreases. In order to maintain the contrast of the structured illumination light, it is necessary to reduce the size of the light emitting point of the light source. As a result, it is difficult to secure a sufficient amount of structured illumination light, which is unsuitable for application to an endoscope system that requires a sufficient amount of light for observation. In the case of Patent Document 2, it is necessary to use a single mode fiber in order to ensure contrast. However, since the single mode fiber has a small diameter, it is difficult to ensure a sufficient amount of structured illumination light. It is unsuitable for application to an endoscope system that requires a sufficient amount of light.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide an endoscope system capable of obtaining a bright separated image including information on different depths of a subject.
  • a first illumination unit that emits first illumination light for acquiring two pieces of image information of a subject at different depths from the first exit surface toward the subject, and a visible region
  • a second illumination unit that emits a wide-band second illumination light from the second exit surface arranged at a position different from the first exit surface toward the subject, and the first illumination light.
  • An imaging unit that acquires a first illumination image of the subject being illuminated and a second illumination image of the subject illuminated by the second illumination light, and the two images from the first illumination image
  • a separation processing unit that separates information and processing the second illumination image using the two pieces of image information create two separated images each including a large amount of information on the subject at different depths.
  • the second illumination image is acquired by photographing the subject illuminated with the second illumination light from the second exit surface by the imaging unit.
  • a subject illuminated by the first illumination light from the first exit surface is photographed by the imaging unit to obtain a first illumination image, and the first illumination image includes different depths.
  • Two pieces of image information are separated by the separation processing unit. By processing the second illumination image using such two pieces of image information, it is possible to create two separated images including information on different depths of the subject.
  • the subject can be illuminated brightly by the second illumination unit provided separately from the first illumination unit for acquiring image information of different depths, and a bright second illumination image can be obtained. It is done. A bright separated image can be obtained based on such a bright second illumination image.
  • the first illumination light may have a spatially non-uniform intensity distribution including a bright part and a dark part in a light beam cross section perpendicular to the optical axis.
  • illumination light is irradiated to a subject that is a scatterer, specular reflection (specular) light that is specularly reflected on the surface of the subject and surface scattered light that is emitted from the surface of the subject through scattering on the surface layer inside the subject And internally scattered light emitted from the surface of the subject through scattering in the deep layer inside the subject.
  • specular reflection (specular) light that is specularly reflected on the surface of the subject
  • surface scattered light that is emitted from the surface of the subject through scattering on the surface layer inside the subject
  • internally scattered light emitted from the surface of the subject through scattering in the deep layer inside the subject.
  • the said bright part and the said dark part which the said 1st illumination light contains may be strip
  • internal scattered light can be effectively separated with a simple light-dark pattern.
  • the bright portion and the dark portion included in the first illumination light may have a substantially sinusoidal intensity profile in the width direction.
  • the intensity value for the separated image of the surface layer when the highest intensity light is applied and the light It is possible to calculate the intensity value for the separated image of the deep layer when no light is applied by the phase shift method, and create a good separated image with high resolution even from a small number of first illumination images can do.
  • the wavelength spectrum of the first illumination light may have a single wavelength.
  • the shape of the wavelength spectrum of said 1st illumination light and the shape of the wavelength spectrum of said 2nd illumination light may mutually differ.
  • the wavelength band of the first illumination light and the wavelength band of the second illumination light may be different from each other.
  • the wavelength band of the first illumination light may be an infrared region.
  • the first illumination unit and the second illumination unit may emit the first illumination light and the second illumination light simultaneously.
  • the distance D between the first exit surface and the second exit surface, and the distance L from the first exit surface and the second exit surface to the subject are expressed by the following equations: (1) may be satisfied.
  • Specular light in the first illumination image due to the difference in position between the first emission surface from which the first illumination light is emitted and the second emission surface from which the second illumination light is emitted.
  • the position of the specular light in the second illumination image are different from each other, and white or black spotted noise is present in the separated image generated from the first and second illumination images.
  • the position of the specular light in the first illumination image and the position of the specular light in the second illumination image are substantially matched to prevent the occurrence of noise in the separated image. Can do.
  • the separation processing unit obtains three or more pieces of image information from two or more pieces of the first illumination images acquired by irradiating the first illumination light each having a different width of the dark portion. Separating, and the separated image creation unit may create three or more separated images using the three or more pieces of image information. As described above, by using the plurality of first illumination images of the subject illuminated with the first illumination light having different dark portion widths, three or more separated images including a lot of information of different depths can be obtained. Can be created.
  • 1 is an overall configuration diagram of an endoscope system according to an embodiment of the present invention. It is a figure which shows an example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change. It is a figure which shows the other example of intensity distribution of 1st illumination light, and its time change.
  • FIG. 16 is a profile of gradation values along the line II in FIG. It is a graph which shows the relationship between D / L and the number of pixels whose gradation value is 70 or less.
  • the endoscope system 1 includes an endoscope 2 that observes the inside of the body, and a main body 3 that is connected to the proximal end of the endoscope 2.
  • the endoscope system 1 includes a first illuminating unit 41 and a second illuminating unit 42 that respectively emit illumination lights L1 and L2 from the distal end of the endoscope 2 toward a living tissue (subject) A in the body.
  • An intensity distribution changing unit 5 that changes the intensity distribution of the first illumination light L1 over time
  • an imaging unit 6 that acquires first and second illumination images of the living tissue A illuminated by the illumination lights L1 and L2.
  • an image processing unit 7 that processes the first and second illumination images acquired by the imaging unit 6 to create two separated images having different depth information in the living tissue A.
  • the first illumination unit 41 has a first exit surface 41a provided on the distal end surface of the endoscope 2, and is a white light having a spatially non-uniform intensity distribution in a light beam cross section perpendicular to the optical axis.
  • the first illumination light L1 is emitted from the first emission surface 41a toward the living tissue A.
  • the first illumination light L1 generally has a gradient of intensity at which the brightness gradually decreases from the center of the light beam toward the periphery. Apart from the overall intensity gradient of the light beam cross section, the first illumination light L1 has alternating high light portions and dark portions having lower intensity or less intensity than the light portions in the light beam cross section. It has a structured light and dark pattern that repeats.
  • Such a first illumination unit 41 includes a light source 41b, a mask 41c, and a condenser lens 41d provided in the main body 3, and an image guide fiber 41e and a projection lens 41f provided in the endoscope 2.
  • the light source 41b is a semiconductor light source such as an LED or an LD.
  • the light source 41 b may be an emission end of an optical fiber connected to a light source device (not shown) outside the main body 3.
  • the mask 41c is a liquid crystal element that can electrically control the light transmittance at each position in the incident region where white light is incident.
  • the mask 41c includes a light-transmitting region that transmits white light and a light-blocking region that blocks white light. A projection pattern corresponding to the light and dark pattern is formed.
  • the white light output from the light source 41b passes through the mask 41c, is given a bright / dark pattern, and is generated as the first illumination light L1.
  • the generated first illumination light L1 needs to be reduced in starting point size at the distal end portion of the endoscope 2 on the subject side, and is therefore condensed on the incident end of the image guide fiber 41e by the condenser lens 41d.
  • the light guide pattern 41e is guided to the projection lens 41f provided at the tip of the endoscope 2 while being preserved, and is guided by the image guide fiber 41e.
  • the projection lens 41f diverges from the first exit surface 41a which is the tip surface of the projection lens 41f. It is emitted as a light beam.
  • the second illumination light L2 is broadband white light having a spectrum over substantially the entire visible range.
  • the second illuminator 42 has a second exit surface 42a provided on the distal end surface of the endoscope 2, and has a spatially substantially uniform intensity distribution in a light beam cross section perpendicular to the optical axis.
  • the second illumination light L2 is emitted from the second emission surface 42a toward the living tissue A.
  • the second exit surface 42a is arranged side by side with the first exit surface 41a.
  • Such a second illumination unit 42 includes a light source 42b provided in the main body 3, and a bundle fiber 42c and a projection lens 42d provided in the endoscope 2.
  • the light source 42b is, for example, a semiconductor light source such as an LED or LD, or a lamp light source such as a xenon lamp.
  • White light may be generated by mixing red, green, and blue light output from the plurality of light sources 42b.
  • the white light output from the light source 42b is guided to the projection lens 42d provided at the distal end of the endoscope 2 by the bundle fiber 42c, and the projection lens 42d performs the second emission which is the distal end surface of the projection lens 42d.
  • the light is emitted from the surface 42a as a divergent light beam.
  • the 1st illumination part 41 and the 2nd illumination part 42 are illustrations provided in the main-body part 3 so that the 1st illumination light L1 and the 2nd illumination light L2 may be inject
  • the intensity distribution changing unit 5 is a control element that controls the light transmittance at each position in the incident area of the mask 41c.
  • the intensity distribution changing unit 5 changes the intensity distribution of the first illumination light L1 so that the bright part and the dark part are switched in the light beam cross section. Change time. Thereby, a bright part and a dark part are projected in order at each position within the irradiation range of the first illumination light L1 on the surface B of the living tissue A.
  • FIG. 2A to 2F show an example of a light / dark pattern of the intensity distribution of the first illumination light L1 and its temporal change.
  • a white area represents a bright part and a black area represents a dark part.
  • the light / dark pattern in FIG. 2A is a checkered pattern in which square light portions and dark portions are alternately repeated in two directions orthogonal to each other.
  • the bright and dark patterns in FIGS. 2B and 2C are stripe patterns in which straight belt-like bright portions and dark portions are alternately repeated only in the width direction orthogonal to the longitudinal direction of the bright portions and dark portions.
  • the spatial period between the bright part and the dark part may be constant as shown in FIG. 2B or may be different as shown in FIG. 2C.
  • the light-dark pattern in FIG. 2D is a fringe pattern in which wavy strip-like bright parts and dark parts are alternately repeated only in the width direction orthogonal to the longitudinal direction of the bright parts and dark parts.
  • the bright / dark pattern in FIG. 2E is a dot pattern in which one of the bright part and the dark part is a circle and the other is the background.
  • the bright and dark pattern in FIG. 2F is a concentric pattern in which round band-like bright portions and dark portions are alternately repeated in the radial direction.
  • FIGS. 3A to 3F show examples of intensity profiles representing spatial changes in intensity I between bright and dark areas in the light and dark patterns of FIGS. 2A to 2F.
  • the horizontal axis indicates the position X.
  • the intensity profile may have a rectangular wave shape as shown in FIG. 3A, a sine wave shape as shown in FIG. 3B, and a rectangular wave and a sine wave as shown in FIGS. 3C and 3D. It may be an intermediate shape or an asymmetric wave shape as shown in FIG. 3E.
  • the intensity profile may be highest at the center of the first illumination light L1, and may decrease overall from the center toward the periphery.
  • the period between the bright part and the dark part may be an interval between the bright part and the adjacent bright part in FIGS. 3A to 3E.
  • the imaging unit 6 includes an imaging lens 6a that is provided at the distal end of the endoscope 2 and collects light from the biological tissue A, and an imaging element 6b that captures an image of the biological tissue A formed by the imaging lens 6a. .
  • the imaging unit 6 acquires a first illumination image by performing imaging when the first illumination light L1 is irradiated on the living tissue A, and the second illumination light L2 is irradiated on the living tissue A.
  • the second illumination image is acquired by performing shooting while Therefore, the operations of the illumination units 41 and 42 and the image sensor 6b are controlled by the control device so that the emission timings of the illumination lights L1 and L2 from the illumination units 41 and 42 and the shooting timing by the image sensor 6b are synchronized with each other. Is done.
  • the first illumination image and the second illumination image acquired by the image sensor 6b are transmitted from the image sensor 6b to the image processing unit 7.
  • the intensity distribution of the first illumination light L1 applied to the living tissue A changes over time by the intensity distribution changing unit 5 as shown in FIGS. 2A to 2F.
  • the imaging element 6 b performs imaging at two times when the first illumination light L ⁇ b> 1 in which the bright part and the dark part are inverted with respect to each other is irradiated on the living tissue A.
  • the two first illumination images are acquired so that the projection area of the dark area and the projection area of the dark area are inverted to each other, and the projection areas of the bright area and the projection areas of the dark area complement each other.
  • the white area represents the bright area projection area
  • the black area represents the dark area projection area. Therefore, the operations of the intensity distribution changing unit 5 and the image sensor 6b are controlled by the control device so that the timing of changing the intensity distribution by the intensity distribution changing unit 5 and the timing of photographing by the image sensor 6b are synchronized with each other.
  • the image processing unit 7 separates the surface layer component image (image information) and the deep layer component image (image information) from the two first illumination images, and the second illumination image as the surface layer component image and the deep layer.
  • a separation image creating unit 72 that creates a surface layer image (separated image) and a deep layer image (separated image) by processing using component images is provided as a function.
  • FIG. 4 shows image processing by the separation processing unit 71.
  • the separation processing unit 71 creates a deep layer component image including a large amount of information on the deep layer D of the living tissue A from the intensity values Imin of the two first illumination images.
  • a surface layer component image including a lot of information on the surface B and the surface layer C of the living tissue A is created from the intensity value Imin and the intensity value Imax of the illumination image.
  • the living tissue A is a scatterer, and as shown in FIG. 5, the surface layer C from the surface B to several tens of ⁇ m includes a structure ⁇ like a capillary vessel, and a thick blood vessel is formed in a deep layer D deeper than the surface layer C. Such a structure ⁇ .
  • the living tissue A is irradiated with the first illumination light L1 having a bright and dark pattern, specular reflection (specular) light Lr, surface scattered light Ls, and internal scattered light Ld are generated from the biological tissue A.
  • the second illumination unit 42 is not shown.
  • the specular light Lr is reflected light of the first illumination light L1 specularly reflected by the surface B of the living tissue A, and is generated in the projection area of the bright part.
  • the surface scattered light Ls is the scattered light of the first illumination light L1 that enters the living tissue A from the projection area of the bright part, passes through the surface layer C while repeating scattering, and is emitted from the surface B. Most of the surface scattered light Ls is emitted from the projection area of the bright part.
  • the internal scattered light Ld is scattered light of the first illumination light L1 that is incident on the living tissue A from the projection region of the bright part, passes through the deep layer D while repeating scattering, and is emitted from the surface B. A part of the internal scattered light Ld is emitted from the projection area of the bright part, and the other part propagates to the projection area of the dark part and is emitted from the projection area of the dark part.
  • the intensity value Imin of the projection area of the dark portion in the two first illumination images is mainly based on the internal scattered light Ld, and mainly includes information on the deep layer D.
  • the intensity value Imax of the projection area of the bright portion in the two first illumination images is based on the specular light Lr, the surface scattered light Ls, and the internal scattered light Ld, and the surface B, the surface layer C, and the deep layer D Contains information.
  • FIG. 6 shows a specific method for creating the surface layer component image and the deep layer component image by the separation processing unit 71.
  • the brightness of the two first illumination images is such that the intensity value is high in the pixel corresponding to the projection area of the bright portion and the intensity value is low in the pixel corresponding to the projection area of the dark portion.
  • the first illumination light L1 has a light / dark pattern in which a bright part and a dark part are repeated at a constant cycle, as in the light / dark pattern of FIG. 2A or 2B.
  • the intensity profile in the case where the boundary between the pixels and the boundary between the bright part and the dark part in the light / dark pattern match that is, one bright part or dark part corresponds to one pixel is shown.
  • the separation processing unit 71 determines the higher intensity value as the intensity value Imax, and determines the lower intensity value as the intensity value Imin.
  • a deep component image having an intensity value Imin mainly including information of the deep layer D is created. Further, by subtracting the intensity value Imin from the intensity value Imax, information on the deep layer D is removed, and a surface layer component image having an intensity value Is mainly including information on the surface B and the surface layer C is created.
  • the separated image creation unit 72 creates a surface layer image based on the following equation (a), and creates a deep layer image based on the following equation (b).
  • Surface layer image second illumination image ⁇ surface layer component image / (surface layer component image + deep layer component image)
  • Deep layer image second illumination image ⁇ deep layer component image / (surface layer component image + deep layer component image)
  • the separated image creating unit 72 calculates the ratio of the surface layer component image to the sum of the surface layer component image and the deep layer component image, and multiplies the second illumination image by the calculated ratio to create the surface layer image. . Further, the separated image creating unit 72 creates a deep layer image by calculating the ratio of the deep layer component image to the sum of the surface layer component image and the deep layer component image, and multiplying the second illumination image by the calculated ratio. .
  • the surface layer image and the deep layer image created by the separated image creating unit 72 are output from the main body unit 3 to a display device (not shown) connected to the main body unit 3 and displayed on the display device.
  • Such an image processing unit 7 is realized as an image processing program executed by a computer, for example. That is, the main body unit 3 includes a central processing unit (CPU), a main storage device such as a RAM, and an auxiliary storage device such as a hard disk drive so that the CPU can execute the above-described processing by the image processing unit 7.
  • the image processing program is stored in the auxiliary storage device. The image processing program is loaded from the auxiliary storage device to the main storage device, and the CPU executes processing according to the image processing program, whereby the above-described functions of the image processing unit 7 are realized.
  • the biological tissue A When the biological tissue A is irradiated with the second illumination light L2, which is normal white light having a spatially uniform intensity distribution, the specular light Lr, the surface scattered light Ls, and the internal scattered light Ld are superimposed on each other. In this state, the light enters the imaging unit 6. Therefore, in the second illumination image obtained by photographing the living tissue A illuminated with the second illumination light L2, the structure ⁇ like a capillary in the surface layer C from the surface B to several tens of ⁇ m and the thick in the deep layer D are shown. A blood vessel-like structure ⁇ is displayed together.
  • the living tissue A is irradiated with the first illumination light L1 having a bright and dark pattern
  • the internal scattered light Ld containing a lot of information on the deep layer D is converted into specular light Lr containing information on the surface B and the surface layer C
  • a first illumination image is obtained in which the region that is spatially separated from the surface scattered light Ls and the region in which the information on the deep layer D is dominant is spatially separated from the region that contains a large amount of information on the surface B and the surface layer C.
  • the surface layer component image mainly including the information of the surface B and the surface layer C and the image of the structure ⁇ is emphasized, and the image of the structure ⁇ mainly including the information of the deep layer D and the image of the structure ⁇ are emphasized.
  • the deep component image can be separated.
  • the structured first illumination light L1 may be difficult to secure a sufficient amount of light due to design restrictions of the first illumination unit 41, but the second illumination light L2 that is normal white light. Can secure a sufficient amount of light easily and can acquire a bright second illumination image.
  • the bright second layer image and the deep layer image are created by correcting the bright second illumination image with the surface layer component image and the deep layer component image, thereby creating the bright surface layer image and the deep layer image.
  • the information amount of the surface layer C in the surface layer image and the information amount of the deep layer D in the deep layer image depend on the width Wd of the dark part on the surface B of the biological tissue A (see FIG. 5). Specifically, the larger the dark portion width Wd is, the deeper the surface layer C is than the dark portion width Wd is smaller. Therefore, the information amount of the surface layer C that can be acquired as a surface layer image increases, and vice versa. In addition, since the depth of the deep layer D is constant regardless of the dark portion width Wd, the information amount of the deep layer D decreases.
  • the width Wd of the dark part on the surface B of the living tissue A is 0.005 mm or more and 25 mm or less. It is preferable.
  • the dark portion width Wd is less than 0.005 mm, the ratio of the internal scattered light Ld that wraps around from the bright region to the dark region is increased, and as a result, the difference between the intensity value Imax and the intensity value Imin is small. Thus, information on the surface layer component image and the surface layer C included in the surface layer image may be insufficient.
  • the dark portion width Wd is larger than 25 mm, the internal scattered light Ld cannot reach the center of the dark portion projection region, and as a result, the intensity value Imin approaches zero and the deep component image and the deep layer image are displayed. The information of the included deep layer D may be insufficient.
  • the separated image creating unit 72 may multiply the surface layer component image by a coefficient P in creating the surface layer image, as shown in the following equation (a ′). Further, as shown in the following equation (b ′), the separated image creation unit 72 may multiply the depth component image by a coefficient Q in creating the depth image.
  • the separated image creation unit 72 may create a composite image by combining the surface layer image and the deep layer image.
  • the coefficients P and Q are set by the user via an input means (not shown) connected to the main body 3, for example.
  • the coefficients P and Q may be set for each pixel.
  • the intensity value Iij of each pixel ij of the composite image can be calculated from the following equation.
  • Pij is a composition ratio of the pixel ij of the surface layer image
  • Qij is a composition ratio of the pixel ij of the deep layer image.
  • Iij Pij * Isij / (Isij + Idij) + Qij * Idij / (Isij + Idij)
  • the user may be configured to set the composition ratios Pij and Qij while observing the surface layer image and the deep layer image displayed on the display device.
  • the coefficients P and Q may be set for each wavelength.
  • the user may set the synthesis ratios Pk and Qk while observing the surface layer image and the deep layer image displayed on the display device.
  • the intensity distribution changing unit 5 alternates the intensity distribution of the first illumination light L1 between two bright and dark patterns in which the bright part and the dark part are inverted as shown in FIGS. 2A to 2F.
  • the intensity distribution of the first illumination light L1 may be continuously changed between the two light / dark patterns.
  • the imaging unit 6 performs shooting at three or more times at which the positions of the bright part and the dark part are different from each other, and the projection area and the dark part of the bright part are captured. You may acquire three or more 1st illumination images from which the position of a projection area differs mutually.
  • the separation processing unit 71 may create a surface layer component image and a deep layer component image from three or more first illumination images. In this case, since three or more intensity values are obtained for the pixels at each position, the maximum intensity value may be calculated as Imax and the minimum intensity value may be calculated as Imin.
  • the intensity values in the two first illumination images are used as the intensity values Imax and Imin.
  • the intensity of the light-dark pattern changes in a sine wave shape as shown in FIGS. 2B and 3B.
  • the intensity values Imax and Imin of each pixel may be calculated by the phase shift method. According to the phase shift method, as shown in FIG. 8, the maximum intensity value Imax and the minimum intensity value Imin of each pixel can be obtained from the three first illumination images having different bright and dark pattern phases ⁇ . Therefore, a surface layer image and a deep layer image having the same resolution as the second illumination image can be created using a small number of first illumination images.
  • the first illumination light L1 having the light and dark pattern structured by the liquid crystal element provided in the main body 3 is generated.
  • the configuration of the first illumination unit 41 is the same. It is not limited, and the first illumination light L1 may be generated by other methods.
  • the first illumination unit 41 in FIG. 9A forms a light and dark pattern on the surface B of the living tissue A like a shadow picture.
  • the first illumination unit 41 includes a light source 41b and a mask 41g provided at the distal end of the endoscope 2. I have.
  • the mask 41g is, for example, a light-shielding substrate having an opening as a light-transmitting region or a transparent substrate having a light-shielding film as a light-shielding region.
  • the white light output from the light source 41b passes through the mask 41g, so that the first illumination light L1 having a bright and dark pattern is generated, and the projection pattern of the mask 41g is projected onto the living tissue A.
  • a lens 41h that changes the divergence angle of the white light so that the illumination light L1 applied to the living tissue A has a desired divergence angle may be provided.
  • the intensity distribution changing unit 5 functions as an actuator that moves at least one of the light source 41b and the mask 41g, and the light source 41b and the mask 41g are relatively moved in a direction intersecting the optical axis of white light, whereby the intensity distribution is changed over time. Can be changed.
  • the intensity distribution changing unit 5 functions as a control element that controls lighting and extinguishing of each light source 41b so that a part of the plurality of light sources 41b is turned on. You may let them. That is, a plurality of light sources 41b are arranged in a direction substantially parallel to the mask 41g, and the intensity distribution changing unit 5 can change the intensity distribution over time by switching the light source 41b to be lit.
  • the first illumination unit 41 in FIG. 9B uses light interference fringes as a light / dark pattern, and divides the light output from the laser light source 41i and the laser light source 41i into two to emit two lights. And an optical path 41j.
  • the optical path 41j is composed of, for example, an optical fiber.
  • an interference fringe having a sinusoidal intensity profile is generated as a light-dark pattern.
  • the intensity distribution changing unit 5 is an optical element that is provided in one optical path of the two branched lights and changes the optical path length. By changing the optical path length of one of the two lights, the interference fringes Is shifted in a direction perpendicular to the optical axis of the illumination light.
  • the first illumination unit 41 in FIG. 9C includes a light source array 41k and a light guide member 41l that guides light while preserving the incident angle of light with respect to the optical axis.
  • the light source array 41k includes a plurality of light sources 41b arranged so that the incident angles of light with respect to the incident end of the light guide member 41l are different from each other.
  • the plurality of light sources 41b are arranged in a line, but the plurality of light sources 41b may be two-dimensionally arranged.
  • the light guide member 41l is, for example, a rod lens or a multimode fiber.
  • the white light emitted from the light source 41b is converted into a parallel light beam by the lens 41m and enters the incident end of the light guide member 41l.
  • the light that has entered the light guide member 41l is guided through the light guide member 41l while preserving its angle, and enters the living tissue A from the exit end of the light guide member 41l at the same angle as the incident angle to the incident end. It is injected towards. Since light spreads in the circumferential direction by repeating reflection in the light guide member 41l, the light emitted from the light guide member 41l has an annular shape. Therefore, by turning on the plurality of light sources 41b simultaneously, the first illumination light L1 having a concentric pattern shown in FIG. 2F is generated.
  • the intensity distribution changing unit 5 is a control element that controls lighting and extinguishing of the light source 41b, controls the lighting and extinguishing of each light source 41b, and changes the intensity distribution by switching the light source 41b to be lit. Instead of switching the light source 41b to be lit, the intensity distribution changing unit 5 may function as an actuator that moves the light source 41b in a direction intersecting the optical axis.
  • the first illuminating unit 41 is configured so that the light / dark pattern projected onto the surface B of the biological tissue A is enlarged in proportion to the imaging distance between the biological tissue A and the imaging unit 6. It is preferable that the first illumination light L1 of the divergent light beam is emitted toward the living tissue A.
  • the boundary between the depth of information included in the surface layer component image and the depth of information included in the deep layer component image depends on the period between the bright part and the dark part. The larger the period between the bright part and the dark part, the deeper the boundary position, and the greater the amount of information contained in the surface layer component image. Therefore, by changing the imaging distance and enlarging or reducing the light and dark pattern on the surface B of the living tissue A, a surface layer component image and a deep layer component image including information on different depths can be acquired.
  • the change of the period between the bright part and the dark part on the surface B of the living tissue A may be performed by the enlargement / reduction of the entire bright / dark pattern by changing the imaging distance, but in the bright / dark pattern of the first illumination light L1.
  • You may change the spatial period of a bright part and a dark part.
  • the period between the bright part and the dark part may be changed by electrical control of the liquid crystal element 41c included in the first illumination part 41.
  • three or more A separate image may be created. That is, the separation processing unit 71 separates three or more component images including information of different depths from two or more first illumination images, and the separated image creation unit 72 includes three or more component images. May be used to create three or more separated images including information of different depths.
  • the light source 41b and the mask 41g are relatively moved in the optical axis direction of white light to change the distance between the light source 41b and the mask 41g. And the period of the dark part may be changed.
  • a zoom lens that includes a plurality of lenses and at least one lens is movable in the optical axis direction may be provided on the optical path of the first illumination light L1.
  • the first illumination unit 41 emits the white first illumination light L1, but the first illumination light L1 is not limited to white light, and other wavelength characteristics.
  • the light may have
  • the first illumination light L1 may be infrared light, may be monochromatic light such as red, green, and blue, or may be light having a single wavelength.
  • the 1st illumination light L1 may be comprised from the several light from which a wavelength mutually differs, for example, white light comprised by mixing three light of red, green, and blue may be sufficient as it. .
  • the shape of the wavelength spectrum of the first illumination light L1 may be different from the shape of the wavelength spectrum of the second illumination light L2.
  • the shorter the wavelength the stronger the light is scattered by the scatterer. Therefore, short-wavelength light is less likely to reach the deep layer D of the living tissue A as compared to long-wavelength light, and information contained in the internal-scattered light Ld of short-wavelength light is compared with the internal-scattered light Ld of long-wavelength light. And shallow position information.
  • FIG. 10 schematically shows the relationship between the shape of the wavelength spectrum of the illumination lights L1 and L2 and the contrast of the surface layer and deep component images.
  • the contrasts of the surface layer component image and the deep layer component image are substantially equal to each other. Therefore, a natural surface layer image and a deep layer image can be created using the surface layer component image and the deep layer component image as they are.
  • the contrast of the surface layer component image is increased.
  • a surface layer image in which surface layer information is further emphasized can be created.
  • the contrast of the deep component image is enhanced by using the first illumination light L ⁇ b> 1 whose intensity distribution is biased toward the long wavelength side compared to the second illumination light L ⁇ b> 2.
  • a deep image in which deep information is further emphasized can be created.
  • the surface layer information in the surface layer image and the deep layer information in the deep layer image can also be enhanced by increasing the coefficients P and Q, respectively, but unlike such electronic enhancement, the first By controlling the wavelength of the illumination light L ⁇ b> 1, it is possible to create a surface layer image and a deep layer image that do not feel strange.
  • the first illumination unit 41 and the second illumination unit are used. 42 simultaneously irradiates the living tissue A with the first illumination light L1 and the second illumination light L2, and the imaging unit 6 is illuminated with both the first illumination light L1 and the second illumination light L2.
  • the first illumination image and the second illumination image may be acquired simultaneously by photographing the living tissue A.
  • the imaging unit 6 is configured to separate and capture the light from the biological tissue A based on the first illumination light L1 and the light from the biological tissue A based on the second illumination light L2 by wavelength.
  • the frame rates of the surface layer image and the deep layer image can be increased by acquiring the first illumination image and the second illumination image by one shooting.
  • the first illumination unit 41 and the second illumination unit 42 are provided with the light sources 41b and 42b, respectively.
  • the first illumination unit 41 41 and the 2nd illumination part 42 may have the common single light source 4a.
  • the white light output from the light source 4a is divided into two by the half mirror HM and is distributed to the first illumination unit 41 and the second illumination unit 42.
  • the first illumination light L1 and the second illumination having the same wavelength spectrum are used.
  • Light L2 can be generated.
  • the cost and size of the apparatus can be reduced.
  • the information on the living tissue A is separated into the information on the surface B and the surface layer C and the information on the deep layer D.
  • the information on the surface layer C may be further separated.
  • illustration of the second illumination unit 42 is omitted.
  • a polarizer 9 that controls the polarization state of the first illumination light L ⁇ b> 1 emitted from the first illumination unit 41, and the polarization state of light that enters the imaging unit 6 from the living tissue A
  • the polarizer 10 which selects is provided.
  • the polarization direction of the polarizer 10 coincide with the polarization direction of the polarizer 9
  • the first illumination image including the surface scattered light Ls and the specular light Lr can be acquired.
  • the polarization direction of the polarizer 10 orthogonal a first illumination image including the surface scattered light Ls and not including the specular light Lr can be acquired.
  • D is a distance (center-to-center distance) between the first exit surface 41a and the second exit surface 42a
  • L is the first exit surface.
  • the distance L is set within an appropriate range according to the focal length of the endoscope 2. D / L ⁇ 0.068 (1)
  • the positions of the first emission surface 41a and the second emission surface 42a are different from each other, the position of the specular light in the first illumination image and the position of the specular light in the second illumination image are changed. There is a difference.
  • white (that is, high gradation value) spotted noise is generated in the surface layer image.
  • black (that is, low gradation value) spotted noise is generated.
  • noise is more prominent as the distance D between the emission surfaces 41 a and 42 a is larger and as the distance L from the emission surfaces 41 a and 42 a to the living tissue A is shorter.
  • FIG. 16 is a profile of gradation values along the line II in FIG.
  • the gradation value of black spots that are noise is 70 or less
  • FIG. 17 is a graph showing the relationship between the D / L value (horizontal axis) and the number of pixels having a gradation value of 70 or less (vertical axis) in the deep layer image. It can be seen that in the region satisfying D / L ⁇ 0.068, the number of pixels having a gradation value of 70 or less representing black spots tends to be small.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

内視鏡システム(1)は、互いに異なる深さにおける被写体(A)の2つの画像情報を取得するための第1の照明光(L1)を射出する第1の照明部(41)と、可視域にわたる広帯域の第2の照明光(L2)を第1の照明光(L1)とは異なる位置から射出する第2の照明部(42)と、第1の照明光(L1)および第2の照明光(L2)でそれぞれ照明されている被写体(A)の第1の照明画像および第2の照明画像を取得する撮像部(6)と、第1の照明画像から2つの画像情報を分離する分離処理部(71)と、第2の照明画像を2つの画像情報を用いて処理することで2つの分離画像を作成する分離画像作成部(72)とを備える。

Description

内視鏡システム
 本発明は、内視鏡システムに関するものである。
 照明された物体から生じる光には、鏡面反射光、拡散反射光、散乱光等の複数種類の成分が含まれる。物体の画像に含まれるこのような成分を、縞状の明暗パターンを有する構造化照明光を用いた高周波パターン投影法によって分離することで、物体の表面の情報と内部の情報とを分離する技術が提案されている(例えば、非特許文献1参照。)。
 構造化照明光は、物体の形状計測技術においても使用されている(例えば、特許文献1および2参照。)。特許文献1では、光の干渉を利用して構造化照明光を生成しており、特許文献2では、基板に形成された格子パターンの投影によって構造化照明光を生成している。
高谷剛志、外3名、「多重重み付け計測による反射・散乱光の分解」、第14回画像の認識・理解シンポジウム(MIRU2011)、2011年7月
特開2016-200418号公報 特開2016-198304号公報
 非特許文献1の高周波パターン投影法を細径の内視鏡に適用するためには、光学系の小型化が必要となる。
 一方、高周波パターン投影法で使用される構造化照明光の空間周波数は、形状計測で使用される構造化照明光の空間周波数よりも高い。特許文献1,2に開示されている方法では、高コントラストと高光量を維持しながら高空間周波数の構造化照明光を生成することが困難である。
 具体的には、特許文献1の場合、構造化照明光の空間周波数を高めるためには、格子パターンを微細化する必要があるが、格子パターンを微細化すると構造化照明光のコントラストが低下し、構造化照明光のコントラストを維持するためには光源の発光点のサイズを小さくする必要がある。その結果、構造化照明光の十分な光量を確保することが難しく、観察において十分な光量を求められる内視鏡システムへの適用には不適である。
 特許文献2の場合、コントラストを確保するためにシングルモードファイバの使用が必要となるが、シングルモードファイバは細径であるため、構造化照明光の十分な光量を確保することが難しく、観察において十分な光量を求められる内視鏡システムへの適用には不適である。
 本発明は、上述した事情に鑑みてなされたものであって、被写体の異なる深さの情報を含む明るい分離画像を得ることができる内視鏡システムを提供することを目的とする。
 上記目的を達成するため、本発明は以下の手段を提供する。
 本発明の一態様は、互いに異なる深さにおける被写体の2つの画像情報を取得するための第1の照明光を第1の射出面から被写体に向けて射出する第1の照明部と、可視域にわたる広帯域の第2の照明光を前記第1の射出面とは異なる位置に配置された第2の射出面から前記被写体に向けて射出する第2の照明部と、前記第1の照明光で照明されている前記被写体の第1の照明画像および前記第2の照明光で照明されている前記被写体の第2の照明画像を取得する撮像部と、前記第1の照明画像から前記2つの画像情報を分離する分離処理部と、前記第2の照明画像を前記2つの画像情報を用いて処理することで、前記互いに異なる深さにおける前記被写体の情報をそれぞれ多く含む2つの分離画像を作成する分離画像作成部とを備える内視鏡システムである。
 本態様によれば、第2の射出面からの第2の照明光で照明された被写体が撮像部によって撮影されることで第2の照明画像が取得される。一方、第1の射出面からの第1の照明光で照明された被写体が撮像部によって撮影されることで第1の照明画像が取得され、第1の照明画像に含まれる、異なる深さの2つの画像情報が分離処理部によって分離される。このような2つの画像情報を用いて第2の照明画像を処理することで、被写体の互いに異なる深さの情報を含む2つの分離画像を作成することができる。
 この場合に、異なる深さの画像情報を取得するための第1の照明部とは別に設けられた第2の照明部によって、被写体を明るく照明することができ、明るい第2の照明画像が得られる。このような明るい第2の照明画像に基づいて、明るい分離画像を得ることができる。
 上記態様においては、前記第1の照明光が、光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有していてもよい。
 散乱体である被写体に照明光が照射されたときに、被写体の表面において鏡面反射された鏡面反射(スペキュラ)光と、被写体内部の表層での散乱を経て被写体の表面から射出された表面散乱光と、被写体内部の深層での散乱を経て被写体の表面から射出された内部散乱光とが生じる。空間的に非一様な強度分布を有する第1の照明光を被写体に照射することで、内部散乱光がスペキュラ光および表面散乱光とは空間的に分離される。すなわち、明部ではスペキュラ光、表面散乱光および内部散乱光が生じるのに対し、暗部では、明部から暗部まで回り込んだ内部散乱光が支配的に生じる。したがって、第1の照明画像内の暗部に対応する領域から深層の画像情報を分離することができ、第1の照明画像内の明部に対応する領域から表面および表層の画像情報を分離することができる。
 上記態様においては、前記第1の照明光が含む前記明部および前記暗部は帯状であり、前記明部および前記暗部が、幅方向に交互に繰り返される縞状であってもよい。
 このようにすることで、簡便な明暗パターンで内部散乱光を効果的に分離することができる。また、縞状の強度分布の明部と暗部との位置を入れ替えるためには、強度分布の明部および暗部を縞の幅方向のみに移動させればよいので、照明光の強度分布を容易に時間変化させることができる。
 上記態様においては、前記第1の照明光が含む前記明部および前記暗部は、前記幅方向における強度プロファイルが略正弦波形状であってもよい。
 このように、正弦波状に強度が空間的に変化する第1の照明光を被写体に照射することで、最も強度の高い光が当てられているときの表層の分離画像用の強度値と、光が当てられていないときの深層の分離画像用の強度値とを、位相シフト法により計算することができ、少ない枚数の第1の照明画像からであっても解像度の高い良好な分離画像を作成することができる。
 上記態様においては、前記第1の照明光の波長スペクトルの形状が、単一波長であってもよい。
 上記態様においては、前記第1の照明光の波長スペクトルの形状と前記第2の照明光の波長スペクトルの形状とが、相互に異なっていてもよい。
 このようにすることで、第1の照明光の波長スペクトルの形状に応じた特定の深さの情報をより多く含む第1の照明画像を取得することができ、特定の深さの情報がより強調された分離画像を作成することができる。
 上記態様においては、前記第1の照明光の波長帯域と前記第2の照明光の波長帯域とが、相互に異なっていてもよい。
 このようにすることで、第1の照明光の波長帯域に応じた特定の深さの情報をさらに多く含む第1の照明画像を取得することができ、特定の深さの情報がさらに強調された分離画像を作成することができる。
 上記態様においては、前記第1の照明光の波長帯域が、赤外領域であってもよい。
 上記態様においては、前記第1の照明部および前記第2の照明部が、前記第1の照明光および前記第2の照明光を同時に射出してもよい。
 このようにすることで、1度の撮影で第1の照明画像および第2の照明画像の両方を取得することができ、分離画像のフレームレートを高めることができる。
 上記態様においては、前記第1の射出面と前記第2の射出面との間の距離Dと、前記第1の射出面および前記第2の射出面から前記被写体までの距離Lが、下式(1)を満たしていてもよい。
 D/L<0.068   …(1)
 第1の照明光が射出される第1の射出面と第2の照明光が射出される第2の射出面との位置が異なることに起因して、第1の照明画像内でのスペキュラ光の位置と第2の照明画像内でのスペキュラ光の位置とが相互に異なり、このような第1および第2の照明画像から作成された分離画像内には白または黒の斑点状のノイズが発生する。上式(1)を満足することで、第1の照明画像内のスペキュラ光の位置と第2の照明画像内のスペキュラ光の位置とを略一致させ、分離画像内のノイズの発生を防ぐことができる。
 上記態様においては、前記分離処理部が、それぞれ前記暗部の幅が異なる前記第1の照明光を照射して取得された2枚以上の前記第1の照明画像から3つ以上の前記画像情報を分離し、前記分離画像作成部が、前記3つ以上の画像情報を用いて3つ以上の前記分離画像を作成してもよい。
 このように、暗部の幅の異なる第1の照明光で照明された被写体の複数枚の第1の照明画像を用いることで、相互に異なる深さの情報を多く含む3つ以上の分離画像を作成することができる。
 本発明によれば、被写体の異なる深さの情報を含む明るい分離画像を得ることができるという効果を奏する。
本発明の一実施形態に係る内視鏡システムの全体構成図である。 第1の照明光の強度分布およびその時間変化の一例を示す図である。 第1の照明光の強度分布およびその時間変化の他の例を示す図である。 第1の照明光の強度分布およびその時間変化の他の例を示す図である。 第1の照明光の強度分布およびその時間変化の他の例を示す図である。 第1の照明光の強度分布およびその時間変化の他の例を示す図である。 第1の照明光の強度分布およびその時間変化の他の例を示す図である。 第1の照明光の強度の空間プロファイルの一例を示す図である。 第1の照明光の強度の空間プロファイルの他の例を示す図である。 第1の照明光の強度の空間プロファイルの他の例を示す図である。 第1の照明光の強度の空間プロファイルの他の例を示す図である。 第1の照明光の強度の空間プロファイルの他の例を示す図である。 第1の照明光の強度の空間プロファイルの他の例を示す図である。 分離処理部における表層成分画像および深層成分画像の作成処理を説明する図である。 第1の照明光の照射によって生体組織で発生する鏡面反射光、表面散乱光および内部散乱光とこれらの発生位置との関係を説明する図である。 分離処理部における表層成分画像および深層成分画像の作成方法を説明する図である。 分離画像作成部における表層画像および深層画像の作成処理を説明する図である。 位相シフト法による強度値Imax,Iminの算出方法を説明する図である。 第1の照明部および強度分布変更部の他の構成例を示す図である。 第1の照明部および強度分布変更部の他の構成例を示す図である。 第1の照明部および強度分布変更部の他の構成例を示す図である。 第1および第2の照明光の波長スペクトルの形状と、表層および深層成分画像のコントラストとの関係を説明する図である。 第1の照明部および第2の照明部の他の構成例を示す図である。 偏光子を備える内視鏡システムの変形例の部分構成図である。 第1および第2の射出面間の距離Dと、第1および第2の射出面から生体組織までの距離Lとの関係を説明する図である。 D/Lと表層画像および深層画像内のノイズとの関係を説明する図であり、異なるD/Lにおける表層画像および深層画像の例である。 D/L=0.113における深層画像である。 図15のI-I線における階調値のプロファイルである。 D/Lと、階調値が70以下である画素の数との関係を示すグラフである。
 以下に、本発明の一実施形態に係る内視鏡システム1について図面を参照して説明する。
 本実施形態に係る内視鏡システム1は、図1に示されるように、体内を観察する内視鏡2と、内視鏡2の基端に接続された本体部3とを備えている。
 また、内視鏡システム1は、内視鏡2の先端から体内の生体組織(被写体)Aに向けて照明光L1,L2をそれぞれ射出する第1の照明部41および第2の照明部42と、第1の照明光L1の強度分布を時間変化させる強度分布変更部5と、照明光L1,L2で照明されている生体組織Aの第1および第2の照明画像を取得する撮像部6と、撮像部6によって取得された第1および第2の照明画像を処理して生体組織A内の互いに異なる深さの情報を有する2つの分離画像を作成する画像処理部7とを備えている。
 第1の照明部41は、内視鏡2の先端面に設けられた第1の射出面41aを有し、光軸に垂直な光束断面において空間的に非一様な強度分布を有する白色の第1の照明光L1を第1の射出面41aから生体組織Aに向けて射出する。第1の照明光L1は、一般に、光束の中心から周縁に向かって明るさが漸次低下する強度の勾配を有する。このような光束断面の全体的な強度勾配とは別に、第1の照明光L1は、光束断面において、高強度の明部と該明部よりも低強度または強度を有しない暗部とが交互に繰り返される構造化された明暗パターンを有する。
 このような第1の照明部41は、本体部3に設けられた光源41b、マスク41cおよび集光レンズ41dと、内視鏡2に設けられたイメージガイドファイバ41eおよび投影レンズ41fとを備えている。
 光源41bは、例えば、LEDまたはLDのような半導体光源である。あるいは、光源41bは、本体部3の外部の光源装置(図示略)に接続された光ファイバの射出端であってもよい。
 マスク41cは、白色光が入射する入射領域内の各位置の光透過率を電気的に制御することができる液晶素子であり、白色光を透過させる透光領域と白色光を遮断する遮光領域とからなり明暗パターンに対応する投影パターンが形成されている。光源41bから出力された白色光は、マスク41cを透過することで明暗パターンが与えられて第1の照明光L1に生成される。生成された第1の照明光L1は、内視鏡2の被写体側の先端部において起点サイズを小さくする必要があるため、集光レンズ41dによってイメージガイドファイバ41eの入射端に集光され、内視鏡2の先端に設けられた投影レンズ41fまで明暗パターンを保存しながらイメージガイドファイバ41eによって導光され、投影レンズ41fによって、該投影レンズ41fの先端面である第1の射出面41aから発散光束として射出される。
 第2の照明光L2は、可視域の略全体にわたってスペクトルを有する広帯域の白色光である。第2の照明部42は、内視鏡2の先端面に設けられた第2の射出面42aを有し、光軸に垂直な光束断面において空間的に略一様な強度分布を有する白色の第2の照明光L2を、第2の射出面42aから生体組織Aに向けて射出する。第2の射出面42aは、第1の射出面41aと並んで配置されている。このような第2の照明部42は、本体部3に設けられた光源42bと、内視鏡2に設けられたバンドルファイバ42cおよび投影レンズ42dとを備えている。
 光源42bは、例えば、LEDまたはLDのような半導体光源、もしくはキセノンランプのようなランプ光源である。複数の光源42bから出力された赤、緑、青の光を混合することで白色光を生成してもよい。光源42bから出力された白色光は、内視鏡2の先端に設けられた投影レンズ42dまでバンドルファイバ42cによって導光され、投影レンズ42dによって、該投影レンズ42dの先端面である第2の射出面42aから発散光束として射出される。
 第1の照明部41および第2の照明部42は、第1の照明光L1および第2の照明光L2を生体組織Aに向けて交互に射出するように、本体部3に設けられた図示しない制御装置によって制御される。
 強度分布変更部5は、マスク41cの入射領域内の各位置の光透過率を制御する制御素子であり、光束断面において明部と暗部とが入れ替わるように第1の照明光L1の強度分布を時間変化させる。これにより、生体組織Aの表面B上の第1の照明光L1の照射範囲内の各位置には、明部および暗部が順番に投影されるようになっている。
 図2Aから図2Fには、第1の照明光L1の強度分布の明暗パターンとその時間変化の例が示されている。図2Aから図2Fにおいて、白い領域が明部を表し、黒い領域が暗部を表している。
 図2Aの明暗パターンは、正方形の明部および暗部が、相互に直交する2方向に交互に繰り返される市松パターンである。
 図2Bおよび図2Cの明暗パターンは、真っ直ぐな帯状の明部および暗部が、明部および暗部の長手方向に直交する幅方向にのみ交互に繰り返される縞パターンである。縞パターンにおいて、明部と暗部との空間的な周期は、図2Bに示されるように一定であってもよく、図2Cに示されるように異なっていてもよい。
 図2Dの明暗パターンは、波形の帯状の明部および暗部が、明部および暗部の長手方向に直交する幅方向にのみ交互に繰り返される縞パターンである。
 図2Eの明暗パターンは、明部および暗部のうち、一方が円であり、他方が背景であるドットパターンである。
 図2Fの明暗パターンは、丸い帯状の明部および暗部が径方向に交互に繰り返される同心円パターンである。
 図3Aから図3Fは、図2Aから図2Fの明暗パターンにおいて明部と暗部の間での強度Iの空間的な変化を表す強度プロファイルの例を示している。横軸は、位置Xを示している。強度プロファイルは、図3Aに示されるような矩形波状であってもよく、図3Bに示されるような正弦波状であってもよく、図3Cおよび図3Dに示されるような矩形波と正弦波の中間的な形状であってもよく、図3Eに示されるような非対称な波形状であってもよい。また、強度プロファイルは、図3Eに示されるように、第1の照明光L1の中心で最も高く、中心から周縁に向かって全体的に低下していてもよい。明部と暗部との周期とは、図3Aから図3Eそれぞれにおける、明部とその隣の明部との間隔としてよい。
 撮像部6は、内視鏡2の先端に設けられ生体組織Aからの光を集める撮像レンズ6aと、撮像レンズ6aによって形成された生体組織Aの像を撮影する撮像素子6bとを備えている。撮像部6は、第1の照明光L1が生体組織Aに照射されているときに撮影を実行することで第1の照明画像を取得し、第2の照明光L2が生体組織Aに照射されているときに撮影を実行することで第2の照明画像を取得する。したがって、照明部41,42からの照明光L1,L2の射出タイミングと撮像素子6bによる撮影のタイミングとが互いに同期するように、照明部41,42および撮像素子6bの動作は、制御装置によって制御される。撮像素子6bによって取得された第1の照明画像および第2の照明画像は、撮像素子6bから画像処理部7に送信される。
 ここで、生体組織Aに照射される第1の照明光L1の強度分布は、図2Aから図2Fに示されるように強度分布変更部5によって時間変化する。撮像素子6bは、明部と暗部とが相互に反転した第1の照明光L1が生体組織Aに照射される2つの時刻で撮影を実行することで、図4に示されるように、明部の投影領域と暗部の投影領域とが相互に反転し、明部の投影領域同士および暗部の投影領域同士が補完し合うような2枚の第1の照明画像を取得する。図4の第1の照明画像において、白い領域は明部の投影領域を表し、黒い領域は暗部の投影領域を表す。したがって、強度分布変更部5による強度分布の変更のタイミングと撮像素子6bによる撮影のタイミングとが互いに同期するように、強度分布変更部5および撮像素子6bの動作は制御装置によって制御される。
 画像処理部7は、2枚の第1の照明画像から表層成分画像(画像情報)および深層成分画像(画像情報)を分離する分離処理部71と、第2の照明画像を表層成分画像および深層成分画像を用いて処理することで表層画像(分離画像)および深層画像(分離画像)を作成する分離画像作成部72とを機能として備えている。
 図4は、分離処理部71による画像処理を示している。2枚の第1の照明画像の各位置の画素について、明部が投影されているときの強度値Imaxと、暗部が投影されているときの強度値Iminとが取得される。分離処理部71は、図4に示されるように、2枚の第1の照明画像の強度値Iminから生体組織Aの深層Dの情報を多く含む深層成分画像を作成し、2枚の第1の照明画像の強度値Iminおよび強度値Imaxから生体組織Aの表面Bおよび表層Cの情報を多く含む表層成分画像を作成する。
 生体組織Aは、散乱体であり、図5に示されるように、表面Bから数十μmまでの表層Cに毛細血管のような構造αを含み、表層Cよりも深い深層Dに太い血管のような構造βを含む。生体組織Aに明暗パターンを有する第1の照明光L1が照射されたときに、生体組織Aからは、鏡面反射(スペキュラ)光Lr、表面散乱光Lsおよび内部散乱光Ldが発生する。図5において、第2の照明部42の図示が省略されている。
 スペキュラ光Lrは、生体組織Aの表面Bで鏡面反射された第1の照明光L1の反射光であり、明部の投影領域において発生する。
 表面散乱光Lsは、明部の投影領域から生体組織A内に入射し、散乱を繰り返しながら表層Cを通過し、表面Bから射出された第1の照明光L1の散乱光である。表面散乱光Lsのほとんどは、明部の投影領域から射出される。
 内部散乱光Ldは、明部の投影領域から生体組織A内に入射し、散乱を繰り返しながら深層Dを通過し、表面Bから射出された第1の照明光L1の散乱光である。内部散乱光Ldの一部は明部の投影領域から射出され、他の部分は暗部の投影領域まで伝播して暗部の投影領域から射出される。
 このように、2枚の第1の照明画像内の暗部の投影領域の強度値Iminは、主に内部散乱光Ldに基づいており、深層Dの情報を主に含む。一方、2枚の第1の照明画像内の明部の投影領域の強度値Imaxは、スペキュラ光Lr、表面散乱光Lsおよび内部散乱光Ldに基づいており、表面B、表層Cおよび深層Dの情報を含む。
 図6は、分離処理部71による表層成分画像および深層成分画像の具体的な作成方法を示している。図6に示されるように、2枚の第1の照明画像は、明部の投影領域に対応する画素において強度値が高くなり、暗部の投影領域に対応する画素において強度値が低くなる明るさ分布を有する。図6においては、説明を簡単にするために、第1の照明光L1は、図2Aまたは図2Bの明暗パターンのように、明部および暗部が一定周期で繰り返される明暗パターンを有し、画像の画素間の境界と明暗パターンにおける明部および暗部の境界とが一致している(すなわち、1つの明部または暗部が、1つの画素に対応している)場合の強度プロファイルを示している。
 上述したように、2枚の第1の照明画像からは、各画素について2つの強度値Imax,Iminが得られる。分離処理部71は、各画素について、高い方の強度値を強度値Imaxに決定し、低い方の強度値を強度値Iminに決定する。次に、分離処理部71は、表層成分画像の各画素の強度値Isおよび深層成分画像の画素の強度値Idを下式から算出し、強度値Isを有する表層成分画像と強度値Idを有する深層成分画像とを作成する。
 Is=Imax-Imin
 Id=Imin×2
 これにより、深層Dの情報を主に含む強度値Iminを有する深層成分画像が作成される。また、強度値Imaxから強度値Iminを減算することで深層Dの情報が除去され、表面Bおよび表層Cの情報を主に含む強度値Isを有する表層成分画像が作成される。
 分離画像作成部72は、図7に示されるように、下式(a)に基づいて表層画像を作成し、下式(b)に基づいて深層画像を作成する。
 表層画像=第2の照明画像×表層成分画像/(表層成分画像+深層成分画像) …(a)
 深層画像=第2の照明画像×深層成分画像/(表層成分画像+深層成分画像) …(b)
 すなわち、分離画像作成部72は、表層成分画像と深層成分画像との和に対する表層成分画像の比を算出し、算出された比を第2の照明画像に乗算することで、表層画像を作成する。また、分離画像作成部72は、表層成分画像と深層成分画像との和に対する深層成分画像の比を算出し、算出された比を第2の照明画像に乗算することで、深層画像を作成する。
 分離画像作成部72によって作成された表層画像および深層画像は、本体部3から該本体部3に接続された表示装置(図示略)に出力され、表示装置に表示される。
 このような画像処理部7は、例えばコンピュータによって実行される画像処理プログラムとして実現される。すなわち、本体部3には、中央演算処理装置(CPU)、RAMのような主記憶装置、およびハードディスクドライブのような補助記憶装置が内蔵され、画像処理部7による上述処理をCPUに実行させるための画像処理プログラムが補助記憶装置に記憶されている。画像処理プログラムが、補助記憶装置から主記憶装置にロードされ、画像処理プログラムに従ってCPUが処理を実行することで、画像処理部7の上述の機能が実現されるようになっている。
 空間的に略一様な強度分布を有する通常の白色光である第2の照明光L2が生体組織Aに照射されたときには、スペキュラ光Lr、表面散乱光Lsおよび内部散乱光Ldが互いに重畳された状態で撮像部6に入射する。したがって、第2の照明光L2で照明された生体組織Aを撮影した第2の照明画像には、表面Bから数十μmまでの表層Cにおける毛細血管のような構造αと、深層Dにおける太い血管のような構造βと、が共に表示される。
 これに対し、明暗パターンを有する第1の照明光L1が生体組織Aに照射されたときには、深層Dの情報を多く含む内部散乱光Ldが、表面Bおよび表層Cの情報を含むスペキュラ光Lrおよび表面散乱光Lsから空間的に分離され、深層Dの情報が支配的である領域が表面Bおよび表層Cの情報を多く含む領域から空間的に分離された第1の照明画像が得られる。このような第1の照明画像から、表面Bおよび表層Cの情報を主に含み構造αの像が強調された表層成分画像と、深層Dの情報を主に含み構造βの像が強調された深層成分画像とを分離することができる。
 構造化された第1の照明光L1は、第1の照明部41の設計の制限等によって十分な光量を確保することが難しい場合があるが、通常の白色光である第2の照明光L2は十分な光量を容易に確保することができ、明るい第2の照明画像を取得することができる。本実施形態によれば、このような明るい第2の照明画像を表層成分画像および深層成分画像で補正して表層画像および深層画像を作成することで、明るい表層画像および深層画像を作成することができるという利点がある。
 表層画像における表層Cの情報量および深層画像における深層Dの情報量は、生体組織Aの表面B上での暗部の幅Wd(図5参照。)に依存する。具体的には、暗部の幅Wdが大きい程、表層Cの深さが、暗部の幅Wdが小さい場合と比べてより深くなるため、表層画像として取得できる表層Cの情報量が増加し、逆に深層Dの深さは暗部の幅Wdによらずに一定であるため、深層Dの情報量は減少する。表層画像における表層Cの情報量と深層画像における深層Dの情報量との良好なバランスを確保するために、生体組織Aの表面B上での暗部の幅Wdは0.005mm以上25mm以下であることが好ましい。
 暗部の幅Wdが0.005mm未満である場合、明部の投影領域から暗部の投影領域へ回り込む内部散乱光Ldの割合が増大し、その結果、強度値Imaxと強度値Iminとの差が小さくなって表層成分画像および表層画像に含まれる表層Cの情報が不足し得る。一方、暗部の幅Wdが25mmよりも大きい場合、内部散乱光Ldが暗部の投影領域の中央まで到達することができず、その結果、強度値Iminがゼロに近づいて深層成分画像および深層画像に含まれる深層Dの情報が不足し得る。
 本実施形態においては、分離画像作成部72が、下式(a’)に示されるように、表層画像の作成において、係数Pを表層成分画像に乗じてもよい。また、分離画像作成部72が、下式(b’)に示されるように、深層画像の作成において、係数Qを深層成分画像に乗じてもよい。
 表層画像=第2の照明画像×P×表層成分画像/(表層成分画像+深層成分画像) …(a’)
 深層画像=第2の照明画像×Q×深層成分画像/(表層成分画像+深層成分画像) …(b’)
 このようにすることで、係数Pに応じて表層の情報をより強調した表層画像を作成することができ、係数Qに応じて深層の情報をより強調した深層画像を作成することができる。
 また、分離画像作成部72は、表層画像と深層画像とを合成して合成画像を作成してもよい。この場合に、上記の係数P,Qの一方を大きく設定することで、表層Cの情報および深層Dの情報の両方を残しつつ、一方を強調した合成画像を作成することができる。具体的には、係数Pを大きくすることで、表層Cの情報が強調された合成画像が得られ、係数Qを大きくすることで、深層Dの情報が強調された合成画像が得られる。同様に、上記の係数P,Qの一方を小さく設定することで、表層Cの情報および深層Dの情報の両方を残しつつ、一方を抑制した合成画像を作成することができる。
 係数P,Qは、例えば、本体部3に接続された図示しない入力手段を介してユーザにより設定されるようになっている。
 係数P,Qは、画素毎に設定可能であってもよい。合成画像の各画素ijの強度値Iijは、下式から算出することができる。ij(i=1,2,…,n、j=1,2,…,m)は、n画素×m画素の画像における画素の位置座標である。下式において、Pijは表層画像の画素ijの合成比率であり、Qijは深層画像の画素ijの合成比率である。
 Iij=Pij*Isij/(Isij+Idij)
          +Qij*Idij/(Isij+Idij)
 例えば、ユーザが、表示装置に表示されている表層画像および深層画像を観察しながら、合成比率Pij,Qijを設定することができるように構成されていてもよい。
 係数P,Qは、波長毎に設定可能であってもよい。合成画像の波長λk(k=1,2,…,l)の強度値Ikは、下式から算出することができる。Iskは表層画像の波長λkの強度値であり、Idkは深層画像の波長λkの強度値であり、Pkは表層画像の波長λkの合成比率であり、Qkは深層画像の波長λkの合成比率である。
 Ik=Pk*Isk/(Isk+Idk)
          +Qk*Idk/(Isk+Idk)
 例えば、ユーザが、表示装置に表示されている表層画像および深層画像を観察しながら、合成比率Pk,Qkを設定することができるように構成されていてもよい。
 本実施形態においては、強度分布変更部5が、図2Aから図2Fに示されるように明部および暗部が相互に反転した2つの明暗パターンの間で第1の照明光L1の強度分布を交互に不連続的に変化させてもよいが、これに代えて、第1の照明光L1の強度分布を2つの明暗パターンの間で連続的に変化させてもよい。
 このように、明暗パターンが連続的に変化する場合は、撮像部6は、明部および暗部の位置が相互に異なる3つ以上の時刻で撮影を実行して、明部の投影領域および暗部の投影領域の位置が相互に異なる3枚以上の第1の照明画像を取得してもよい。分離処理部71は、3枚以上の第1の照明画像から表層成分画像および深層成分画像を作成してもよい。この場合、各位置の画素について3つ以上の強度値が得られるので、最大強度値をImaxとし、最小強度値をIminをとして算出すればよい。
 本実施形態においては、2枚の第1の照明画像における強度値を強度値Imax,Iminとして使用することとしたが、明暗パターンが、図2Bおよび図3Bに示される、正弦波状に強度が変化する直線状の縞パターンである場合、位相シフト法により各画素の強度値Imax,Iminを計算してもよい。位相シフト法によれば、図8に示されるように、明暗パターンの位相Φが異なる3枚の第1の照明画像から、各画素の最大強度値Imaxおよび最小強度値Iminを求めることができる。したがって、少ない枚数の第1の照明画像を用いて、第2の照明画像と等しい解像度の表層画像および深層画像を作成することができる。
 本実施形態においては、本体部3内に設けられた液晶素子によって構造化された明暗パターンを有する第1の照明光L1を生成することとしたが、第1の照明部41の構成はこれに限定されるものではなく、他の方法で第1の照明光L1を生成してもよい。
 図9Aから図9Cには、第1の照明部41および強度分布変更部5の構成の変形例を示している。
 図9Aの第1の照明部41は、影絵のようにして明暗パターンを生体組織Aの表面B上に形成するものであり、内視鏡2の先端部に設けられた光源41bおよびマスク41gを備えている。
 マスク41gは、例えば、透光領域としての開口が形成された遮光性の基板、または、遮光領域としての遮光膜が形成された透明な基板である。光源41bから出力された白色光がマスク41gを透過することで、明暗パターンを有する第1の照明光L1が生成され、マスク41gの投影パターンが生体組織Aに投影されるようになっている。光源41bとマスク41gとの間には、生体組織Aに照射される照明光L1が所望の発散角を有するように白色光の発散角を変更するレンズ41hが設けられていてもよい。
 強度分布変更部5を、光源41bおよびマスク41gのうち少なくとも一方を移動させるアクチュエータとして機能させ、光源41bおよびマスク41gを白色光の光軸に交差する方向に相対移動させることで、強度分布を時間変化させることができる。
 単一の光源41bを移動させることに代えて、強度分布変更部5を、複数個の光源41bの内の一部を点灯させるように、各光源41bの点灯および消灯を制御する制御素子として機能させてもよい。すなわち、マスク41gに略平行な方向に複数の光源41bが配列され、強度分布変更部5が、点灯させる光源41bを切り替えることで、強度分布を時間変化させることができる。
 図9Bの第1の照明部41は、光の干渉縞を明暗パターンとして利用したものであり、レーザ光源41iと、レーザ光源41iから出力された光を2つに分岐して2つの光を射出する光路41jとを備えている。光路41jは、例えば、光ファイバから構成されている。光路41jから射出された2つの光が互いに干渉することで、正弦波状の強度プロファイルを有する干渉縞が明暗パターンとして生成される。強度分布変更部5は、分岐された2つの光のうちの一方の光路に設けられ、光路長を変化させる光学素子であり、2つの光のうち一方の光路長を変化させることで、干渉縞の位置を照明光の光軸に直交する方向にシフトさせる。
 図9Cの第1の照明部41は、光源アレイ41kと、その光軸に対する光の入射角度を保存しながら光を導光する導光部材41lとを備えている。光源アレイ41kは、導光部材41lの入射端に対する光の入射角度が相互に異なるように配列された複数の光源41bを有する。図9Cでは、複数の光源41bが一列に配列されているが、複数の光源41bは2次元的に配列されていてもよい。導光部材41lは、例えば、ロッドレンズまたはマルチモードファイバである。
 光源41bから射出された白色光は、レンズ41mによって平行光束に変換され、導光部材41lの入射端に入射する。導光部材41l内に入射した光は、その角度を保存しながら導光部材41l内を導光し、入射端への入射角度と同一の角度で導光部材41lの射出端から生体組織Aに向けて射出される。導光部材41l内において光は反射を繰り返すことで周方向に広がるため、導光部材41lから射出される光は、円環状となる。したがって、複数の光源41bを同時に点灯させることで、図2Fに示される同心円パターンの第1の照明光L1が生成される。
 強度分布変更部5は、光源41bの点灯および消灯を制御する制御素子であり、各光源41bの点灯および消灯を制御し、点灯させる光源41bを切り替えることで強度分布を変化させる。
 点灯させる光源41bを切り替えることに代えて、強度分布変更部5を、光源41bを光軸に交差する方向に移動させるアクチュエータとして機能させてもよい。
 本実施形態においては、生体組織Aの表面B上に投影される明暗パターンが生体組織Aと撮像部6との間の撮影距離に比例して拡大されるように、第1の照明部41が、発散光束の第1の照明光L1を生体組織Aに向けて射出することが好ましい。
 表層成分画像に含まれる情報の深さと深層成分画像に含まれる情報の深さとの境界は、明部と暗部との周期に依存する。明部と暗部との周期が大きい程、境界の位置が深くなり、表層成分画像に含まれる情報の量が多くなる。したがって、撮影距離を変更して生体組織Aの表面B上での明暗パターンを拡大または縮小することで、異なる深さの情報を含む表層成分画像および深層成分画像を取得することができる。
 生体組織Aの表面B上での明部と暗部との周期の変更は、上記の撮影距離の変更による明暗パターン全体の拡大縮小によって行ってもよいが、第1の照明光L1の明暗パターンにおける明部と暗部との空間的な周期を変更してもよい。
 例えば、第1の照明部41が備える液晶素子41cの電気的な制御によって明部と暗部との周期を変更してもよい。
 また、明部と暗部との空間的な周期、すなわち暗部の幅がそれぞれ異なる第1の照明光L1を照射して取得された2枚以上の第1の照明画像を用いて、3つ以上の分離画像を作成してもよい。すなわち、分離処理部71が、2枚以上の第1の照明画像から相互に異なる深さの情報を含む3枚以上の成分画像を分離し、分離画像作成部72が、3枚以上の成分画像を用いて相互に異なる深さの情報を含む3枚以上の分離画像を作成してもよい。
 図9Aに示されるように投影により明暗パターンを形成する場合には、光源41bおよびマスク41gを白色光の光軸方向に相対移動させて光源41bとマスク41gとの間隔を変更することで明部と暗部との周期を変更してもよい。
 あるいは、複数のレンズからなるとともに少なくとも1つのレンズが光軸方向に移動可能であるズームレンズを第1の照明光L1の光路上に設けてもよい。
 本実施形態においては、第1の照明部41が白色の第1の照明光L1を射出することとしたが、第1の照明光L1は白色光に限定されるものではなく、他の波長特性を有する光であってもよい。例えば、第1の照明光L1は、赤外光であってもよく、赤、緑、青などの単色光であってもよく、単一波長の光であってもよい。あるいは、第1の照明光L1は、波長が互いに異なる複数の光から構成されていてもよく、例えば、赤、緑および青の3つの光を混合して構成される白色光であってもよい。
 また、第1の照明光L1の波長スペクトルの形状は、第2の照明光L2の波長スペクトルの形状と異なっていてもよい。
 一般に、光は、波長が短い程、散乱体によって強く散乱される。したがって、長波長の光に比べて短波長の光は生体組織Aの深層Dまで届き難く、短波長の光の内部散乱光Ldに含まれる情報は、長波長の光の内部散乱光Ldに比べて浅い位置の情報となる。
 図10は、照明光L1,L2の波長スペクトルの形状と表層および深層成分画像のコントラストとの関係を模式的に示している。
 図10の上段に示されるように、第1の照明光L1が第2の照明光L2の波長スペクトルの形状と同一である場合、表層成分画像と深層成分画像のコントラストは互いに略同等となる。したがって、表層成分画像および深層成分画像をそのまま用いて自然な表層画像および深層画像を作成することができる。
 一方、図10の中段に示されるように、第2の照明光L2に比べて短波長側に強度分布が偏った第1の照明光L1を使用することで、表層成分画像のコントラストを高めて表層の情報がさらに強調された表層画像を作成することができる。また、図10の下段に示されるように、第2の照明光L2に比べて長波長側に強度分布が偏った第1の照明光L1を使用することで、深層成分画像のコントラストを高めて深層の情報がさらに強調された深層画像を作成することができる。
 上述したように係数P,Qを高めることによっても表層画像内の表層の情報および深層画像内の深層の情報をそれぞれ強調することはできるが、このような電子的な強調とは異なり、第1の照明光L1の波長の制御によって違和感のない表層画像および深層画像を作成することができる。
 また、第2の照明光L2の波長帯域とは異なる波長帯域を有する光、例えば赤外光を第1の照明光L1として使用する場合には、第1の照明部41および第2の照明部42が、第1の照明光L1および第2の照明光L2を同時に生体組織Aに照射し、撮像部6が、第1の照明光L1および第2の照明光L2の両方で照明されている生体組織Aを撮影することで、第1の照明画像および第2の照明画像を同時に取得してもよい。撮像部6は、第1の照明光L1に基づく生体組織Aからの光と、第2の照明光L2に基づく生体組織Aからの光とを波長によって分離して別々に撮影するように構成される。
 このように、第1の照明画像および第2の照明画像を一度の撮影で取得することで、表層画像および深層画像のフレームレートを高めることができる。
 本実施形態においては、第1の照明部41および第2の照明部42がそれぞれ光源41b,42bを備えることとしたが、これに代えて、図11に示されるように、第1の照明部41および第2の照明部42が共通の単一の光源4aを有していてもよい。光源4aから出力された白色光は、ハーフミラーHMによって2つに分割されて第1の照明部41および第2の照明部42に分配されるようになっている。
 このように、第1の照明部41用の光源と第2の照明部42用の光源とを共通化することによって、相互に同一の波長スペクトルを有する第1の照明光L1および第2の照明光L2を生成することができる。また、光源4aの数を減らすことで、装置の低コスト化および小型化を図ることができる。
 本実施形態においては、生体組織Aの情報を、表面Bおよび表層Cの情報と深層Dの情報の2つに分離することとしたが、図12に示されるように偏光を利用して表面Bの情報と表層Cの情報とをさらに分離してもよい。図12において、第2の照明部42の図示を省略している。
 内視鏡2の先端には、第1の照明部41から射出された第1の照明光L1の偏光状態を制御する偏光子9と、生体組織Aから撮像部6に入射する光の偏光状態を選択する偏光子10とが設けられている。偏光子9の偏光方向に対して偏光子10の偏光方向を一致させることで、表面散乱光Lsおよびスペキュラ光Lrを含む第1の照明画像を取得することができ、偏光子9の偏光方向に対して偏光子10の偏光方向を直交させることで、表面散乱光Lsを含みスペキュラ光Lrを含まない第1の照明画像を取得することができる。
 本実施形態においては、下式(1)を満たすことが好ましい。図13に示されるように、式(1)において、Dは、第1の射出面41aと第2の射出面42aとの間の距離(中心間距離)であり、Lは、第1の射出面41aおよび第2の射出面42a(内視鏡2の先端面)から生体組織Aまでの距離である。距離Lは、内視鏡2の焦点距離に応じた適切な範囲内に設定される。
 D/L<0.068   …(1)
 第1の射出面41aと第2の射出面42aとの位置が相互に異なることで、第1の照明画像内でのスペキュラ光の位置と第2の照明画像内でのスペキュラ光の位置とに差が生じる。スペキュラ光の位置に差がある第1および第2の照明画像を表層画像および深層画像の作成に用いたときに、表層画像には白い(すなわち、高階調値の)斑点状のノイズが発生し、深層画像には黒い(すなわち、低階調値の)斑点状のノイズが発生する。ノイズは、図14に示されるように、射出面41a,42a間の距離Dが大きい程、また、射出面41a,42aから生体組織Aまでの距離Lが近い程、顕著に発生する。図14は、D/L=0、0.023、0.045、0.068、0.113であるときの表層画像および深層画像の例を示している。
 図15は、D/L=0.113であるときの深層画像であり、図16は、図15のI-I線における階調値のプロファイルである。図16に示されるように、ノイズである黒い斑点の階調値は70以下である。
 図17は、D/Lの値(横軸)と、深層画像内において階調値が70以下である画素の数(縦軸)との関係を示すグラフである。D/L<0.068を満たす領域では、黒い斑点を表す階調値70以下の画素が少ない傾向にあることが分かる。これは、D/L<0.068を満たすときには、第1の照明画像内のスペキュラ光の位置と第2の照明画像内のスペキュラ光の位置とが略一致するからである。したがって、式(1)を満たすことで、深層画像内の黒い斑点のノイズの発生を防止することができる。表層画像内の白い斑点のノイズも、同じ理由から、式(1)を満たすことで発生を防止することができる。
1 内視鏡システム
2 内視鏡
3 本体部
41 第1の照明部
42 第2の照明部
5 強度分布変更部
6 撮像部
7 画像処理部
71 分離処理部
72 分離画像作成部
L1 第1の照明光
L2 第2の照明光
A 生体組織
B 表面
C 表層
D 深層

Claims (11)

  1.  互いに異なる深さにおける被写体の2つの画像情報を取得するための第1の照明光を第1の射出面から被写体に向けて射出する第1の照明部と、
     可視域にわたる広帯域の第2の照明光を前記第1の射出面とは異なる位置に配置された第2の射出面から前記被写体に向けて射出する第2の照明部と、
     前記第1の照明光で照明されている前記被写体の第1の照明画像および前記第2の照明光で照明されている前記被写体の第2の照明画像を取得する撮像部と、
     前記第1の照明画像から前記2つの画像情報を分離する分離処理部と、
     前記第2の照明画像を前記2つの画像情報を用いて処理することで、前記互いに異なる深さにおける前記被写体の情報をそれぞれ多く含む2つの分離画像を作成する分離画像作成部とを備える内視鏡システム。
  2.  前記第1の照明光が、光軸に垂直な光束断面において明部および暗部を含む空間的に非一様な強度分布を有する請求項1に記載の内視鏡システム。
  3.  前記第1の照明光が含む前記明部および前記暗部は帯状であり、
     前記明部および前記暗部が、幅方向に交互に繰り返される縞状である請求項2に記載の内視鏡システム。
  4.  前記第1の照明光が含む前記明部および前記暗部は、前記幅方向における強度プロファイルが略正弦波形状である請求項3に記載の内視鏡システム。
  5.  前記第1の照明光の波長スペクトルの形状が、単一波長である請求項1から請求項4いずれかに記載の内視鏡システム。
  6.  前記第1の照明光の波長スペクトルの形状と前記第2の照明光の波長スペクトルの形状とが、相互に異なる請求項1から請求項5のいずれかに記載の内視鏡システム。
  7.  前記第1の照明光の波長帯域と前記第2の照明光の波長帯域とが、相互に異なる請求項6に記載の内視鏡システム。
  8.  前記第1の照明光の波長帯域が、赤外領域である請求項1から請求項7のいずれかに記載の内視鏡システム。
  9.  前記第1の照明部および前記第2の照明部が、前記第1の照明光および前記第2の照明光を同時に射出する請求項1から請求項8のいずれかに記載の内視鏡システム。
  10.  前記第1の射出面と前記第2の射出面との間の距離Dと、前記第1の射出面および前記第2の射出面から前記被写体までの距離Lが、下式(1)を満たす請求項1から請求項9のいずれかに記載の内視鏡システム。
     D/L<0.068   …(1)
  11.  前記分離処理部が、それぞれ前記暗部の幅が異なる前記第1の照明光を照射して取得された2枚以上の前記第1の照明画像から3つ以上の前記画像情報を分離し、
     前記分離画像作成部が、前記3つ以上の画像情報を用いて3つ以上の前記分離画像を作成する請求項3に記載の内視鏡システム。
PCT/JP2017/021664 2017-06-12 2017-06-12 内視鏡システム WO2018229832A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2017/021664 WO2018229832A1 (ja) 2017-06-12 2017-06-12 内視鏡システム
US16/691,961 US11070739B2 (en) 2017-06-12 2019-11-22 Endoscope system having a first light source for imaging a subject at different depths and a second light source having a wide band visible band

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/021664 WO2018229832A1 (ja) 2017-06-12 2017-06-12 内視鏡システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/691,961 Continuation US11070739B2 (en) 2017-06-12 2019-11-22 Endoscope system having a first light source for imaging a subject at different depths and a second light source having a wide band visible band

Publications (1)

Publication Number Publication Date
WO2018229832A1 true WO2018229832A1 (ja) 2018-12-20

Family

ID=64660681

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/021664 WO2018229832A1 (ja) 2017-06-12 2017-06-12 内視鏡システム

Country Status (2)

Country Link
US (1) US11070739B2 (ja)
WO (1) WO2018229832A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972675B2 (en) 2017-06-12 2021-04-06 Olympus Corporation Endoscope system
US11045081B2 (en) 2017-06-12 2021-06-29 Olympus Corporation Endoscope system
US11324385B2 (en) 2017-06-12 2022-05-10 Olympus Corporation Endoscope system for processing second illumination image using image information other than image information about outermost surface side of subject among three image information from at least four images of first illumination images
US11805988B2 (en) 2018-06-05 2023-11-07 Olympus Corporation Endoscope system
US11871906B2 (en) 2018-06-05 2024-01-16 Olympus Corporation Endoscope system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115561891B (zh) * 2022-11-29 2023-03-24 微创优通医疗科技(上海)有限公司 内窥镜光源装置及内窥镜

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081141A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 光散乱性を有する対象の内部観察装置、生体内部観察装置および内部観察用内視鏡、並びに内部観察方法
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
WO2015016013A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
WO2016151903A1 (ja) * 2015-03-25 2016-09-29 オリンパス株式会社 観察システム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6464633B1 (en) 1999-08-23 2002-10-15 Olympus Optical Co., Ltd. Light source device for endoscope using DMD
US6975898B2 (en) * 2000-06-19 2005-12-13 University Of Washington Medical imaging, diagnosis, and therapy using a scanning single optical fiber system
US20020165456A1 (en) 2001-03-26 2002-11-07 Murat Canpolat Estimation of the average size of white light scatterers in normal and cancerous tissue using light scattering spectrum
EP2290336B1 (en) * 2003-06-06 2017-01-25 The General Hospital Corporation A wavelength tuned laser light source
WO2007132378A2 (en) 2006-05-09 2007-11-22 Koninklijke Philips Electronics N. V. Imaging system for three-dimensional imaging of the interior of an object
JP5190860B2 (ja) 2007-01-22 2013-04-24 学校法人東京電機大学 投影露光装置および投影露光方法
US9055866B2 (en) 2008-06-27 2015-06-16 Olympus Corporation Internal observation device for object having light scattering properties, internal body observation device, endoscope for internal observation and internal observation method
US8406859B2 (en) * 2008-08-10 2013-03-26 Board Of Regents, The University Of Texas System Digital light processing hyperspectral imaging apparatus
JP5289120B2 (ja) 2009-03-18 2013-09-11 富士フイルム株式会社 内視鏡システムおよび内視鏡用プロセッサ装置
US8734333B2 (en) 2009-03-18 2014-05-27 Fujifilm Corporation Endoscope system, endoscope video processor and method of driving endoscope system
JP5449816B2 (ja) 2009-03-26 2014-03-19 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理装置の作動方法
EP2637553A2 (en) * 2010-11-12 2013-09-18 Emory University Additional systems and methods for providing real-time anatomical guidance in a diagnostic or therapeutic procedure
WO2012147679A1 (ja) 2011-04-27 2012-11-01 オリンパス株式会社 内視鏡装置および計測方法
JP5611892B2 (ja) 2011-05-24 2014-10-22 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
JP5764747B2 (ja) 2011-09-02 2015-08-19 パナソニックIpマネジメント株式会社 偏光撮像素子および内視鏡
US11510600B2 (en) 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
CN103987309B (zh) 2012-05-01 2016-06-22 奥林巴斯株式会社 内窥镜装置
JP5603508B2 (ja) 2012-05-22 2014-10-08 パナソニック株式会社 撮像処理装置および内視鏡
JP6041340B2 (ja) 2012-07-18 2016-12-07 スカラ株式会社 カメラ
CN104717917B (zh) 2013-02-12 2016-11-02 奥林巴斯株式会社 内窥镜装置
JP6150583B2 (ja) 2013-03-27 2017-06-21 オリンパス株式会社 画像処理装置、内視鏡装置、プログラム及び画像処理装置の作動方法
FR3016699B1 (fr) 2014-01-22 2016-02-12 Msc & Sgcc Procede et dispositif pour la detection notamment de defauts refractants
JP2015231498A (ja) 2014-06-11 2015-12-24 キヤノン株式会社 内視鏡装置
JP2016049370A (ja) 2014-09-02 2016-04-11 Hoya株式会社 電子内視鏡システム
JP6346576B2 (ja) 2015-02-27 2018-06-20 Hoya株式会社 画像処理装置
JP6285383B2 (ja) 2015-03-20 2018-02-28 富士フイルム株式会社 画像処理装置、内視鏡システム、画像処理装置の作動方法、及び内視鏡システムの作動方法
JP5854544B1 (ja) 2015-04-07 2016-02-09 藤垣 元治 形状計測装置および形状計測方法
JP6618704B2 (ja) 2015-04-10 2019-12-11 オリンパス株式会社 内視鏡システム
JP2016209466A (ja) 2015-05-13 2016-12-15 ソニー株式会社 内視鏡装置及び内視鏡装置の制御方法
JP2017012395A (ja) 2015-06-30 2017-01-19 富士フイルム株式会社 内視鏡システム及び内視鏡システムの作動方法
EP3551034A1 (en) * 2016-12-07 2019-10-16 Progenity, Inc. Gastrointestinal tract detection methods, devices and systems
WO2018229831A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229834A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム
WO2018229833A1 (ja) 2017-06-12 2018-12-20 オリンパス株式会社 内視鏡システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011081141A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 光散乱性を有する対象の内部観察装置、生体内部観察装置および内部観察用内視鏡、並びに内部観察方法
WO2011080996A1 (ja) * 2009-12-28 2011-07-07 オリンパス株式会社 画像処理装置、電子機器、プログラム及び画像処理方法
WO2015016013A1 (ja) * 2013-07-31 2015-02-05 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
WO2016151903A1 (ja) * 2015-03-25 2016-09-29 オリンパス株式会社 観察システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAYAR K. SHREE ET AL: "Fast separation of direct and global components of a scene using high frequency illumination", ACM TRANSACTIONS ON GRAPHICS (TOG), vol. 25, no. 3, 1 July 2006 (2006-07-01), pages 935 - 944, XP058328192, DOI: 10.1145/1141911.1141977 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10972675B2 (en) 2017-06-12 2021-04-06 Olympus Corporation Endoscope system
US11045081B2 (en) 2017-06-12 2021-06-29 Olympus Corporation Endoscope system
US11324385B2 (en) 2017-06-12 2022-05-10 Olympus Corporation Endoscope system for processing second illumination image using image information other than image information about outermost surface side of subject among three image information from at least four images of first illumination images
US11805988B2 (en) 2018-06-05 2023-11-07 Olympus Corporation Endoscope system
US11871906B2 (en) 2018-06-05 2024-01-16 Olympus Corporation Endoscope system

Also Published As

Publication number Publication date
US20200099845A1 (en) 2020-03-26
US11070739B2 (en) 2021-07-20

Similar Documents

Publication Publication Date Title
WO2018229832A1 (ja) 内視鏡システム
WO2018229834A1 (ja) 内視鏡システム
US11324385B2 (en) Endoscope system for processing second illumination image using image information other than image information about outermost surface side of subject among three image information from at least four images of first illumination images
WO2018229831A1 (ja) 内視鏡システム
US10530976B2 (en) Endoscope probes and systems, and methods for use therewith
US10605661B2 (en) Image capturing with filters of overlapping passbands
US11805988B2 (en) Endoscope system
JP2016063928A (ja) 偏光撮像装置、偏光画像処理装置、およびカラー偏光複合モザイクフィルタ
US10149599B2 (en) Processing apparatus
JP7118147B2 (ja) 内視鏡システム
JP6927210B2 (ja) 観察装置
CN105352923B (zh) 一种快速宽视场体全息荧光显微成像系统
JP2009025189A (ja) 計測器
JP6818487B2 (ja) スペクトルの測定方法
CN114144658A (zh) 根据激光标测成像系统中的抖动规范来驱动光发射
JP2005287900A (ja) 内視鏡
JP7451679B2 (ja) 内視鏡システム、内視鏡及び距離算出方法
JP7196196B2 (ja) 内視鏡システム
JP2017042338A (ja) 血流計測装置
JP6025533B2 (ja) 光学顕微鏡
JPWO2021019716A5 (ja) 光学装置、光源装置、集光方法及び内視鏡システム
JP2018054450A (ja) 反射スペクトルの測定方法
JP2018126174A (ja) 内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17913227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17913227

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP