WO2017082091A1 - 手術システム、手術用制御方法、およびプログラム - Google Patents

手術システム、手術用制御方法、およびプログラム Download PDF

Info

Publication number
WO2017082091A1
WO2017082091A1 PCT/JP2016/082215 JP2016082215W WO2017082091A1 WO 2017082091 A1 WO2017082091 A1 WO 2017082091A1 JP 2016082215 W JP2016082215 W JP 2016082215W WO 2017082091 A1 WO2017082091 A1 WO 2017082091A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light
amount
light amount
unit
Prior art date
Application number
PCT/JP2016/082215
Other languages
English (en)
French (fr)
Inventor
菊地　大介
丈士 上森
鶴　大輔
岳志 宮井
山口　健太
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/772,606 priority Critical patent/US20190117052A1/en
Publication of WO2017082091A1 publication Critical patent/WO2017082091A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/313—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes
    • A61B1/3132—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for introducing through surgical openings, e.g. laparoscopes for laparoscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/26—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes using light guides
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/03—Combinations of cameras with lighting apparatus; Flash units
    • G03B15/05—Combinations of cameras with electronic flash apparatus; Electronic flash units
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/14—Special procedures for taking photographs; Apparatus therefor for taking photographs during medical operations
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • the present disclosure relates to a surgical system, a surgical control method, and a program, and in particular, a surgical system and a surgical operation that can perform high-precision image processing when the amount of light applied to a subject of a surgical imaging apparatus is changed. Control method and program.
  • a living body as a subject is continuously irradiated with a certain amount of light that is not insufficient for observation of the living body. Therefore, when the amount of light is large, damage to the living body due to heat and power cost increase. Therefore, it is difficult to set the light amount to a predetermined amount or more.
  • the present disclosure has been made in view of such a situation, and makes it possible to perform high-precision image processing when the amount of light applied to the subject of the surgical imaging apparatus is changed.
  • the surgical operation system is a light source control that changes the amount of light irradiated to a subject imaged by a surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light.
  • An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount, and based on the second light amount
  • a display control unit that adjusts the brightness of the high light quantity image to generate a display image and displays the display image on a display device.
  • the surgical control method and program according to the first aspect of the present disclosure correspond to the surgical system according to the first aspect of the present disclosure.
  • the amount of light applied to the subject imaged by the surgical imaging apparatus is changed from the first amount of light to a second amount of light that is greater than the first amount of light, and the amount of light is changed.
  • Image processing is performed using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in the state of the second light amount, and brightness of the high light amount image is determined based on the second light amount.
  • the display image is generated by adjustment, and the display image is displayed on the display device.
  • the surgical operation system changes the amount of light irradiating the subject of the surgical imaging apparatus from a first amount to a second amount greater than the first amount at predetermined intervals.
  • a light source control unit a low-light image that is an intraoperative image captured by the surgical imaging device when the light amount is the first light amount, and the light amount when the light amount is changed to the second light amount.
  • An operation system includes an image processing unit that generates a final intraoperative image using a high-intensity image that is an intraoperative image captured by an imaging device for surgery.
  • image processing can be performed. Further, according to the first and second aspects of the present disclosure, it is possible to perform high-precision image processing when changing the amount of light applied to the subject of the surgical imaging apparatus.
  • FIG. 3 is a flowchart illustrating image processing of the CCU in FIG. 2. It is a block diagram which shows the structural example of the image process part 33 in 2nd Embodiment of the endoscopic surgery system to which this indication is applied.
  • FIG. 1 is a diagram illustrating a configuration example of a first embodiment of an endoscopic surgery system to which the present disclosure is applied.
  • the endoscopic surgery system 10 includes a cart 18 on which a display device 11, a CCU (camera control unit) 12, a light source device 13, a treatment tool device 14, a pneumoperitoneum device 15, a recorder 16, and a printer 17 are mounted.
  • the endoscopic surgery system 10 includes an endoscope (laparoscope) 19, an energy treatment tool 20, forceps 21, trocars 22 to 25, a foot switch 26, and a patient bed 27.
  • the endoscopic surgery system 10 is arranged in, for example, an operating room and supports an operator who performs a laparoscopic operation on an affected part included in an abdomen 30 of a patient lying on a patient bed 27.
  • the display device 11 of the endoscopic surgery system 10 is configured by a stationary 2D display, a head mounted display, or the like.
  • the display device 11 displays an intraoperative image or the like supplied from the CCU 12.
  • the CCU 12 is connected to the endoscope 19 via a camera cable.
  • the CCU 12 may be connected to the endoscope 19 wirelessly.
  • the CCU 12 receives an intraoperative image captured by the endoscope 19 and transmitted via the camera cable, and supplies it to the display device 11.
  • the CCU 12 supplies the received intraoperative image to the recorder 16 and the printer 17 as necessary.
  • the CCU 12 (surgical system) controls the amount and wavelength of light emitted from the light source device 13 based on an operation signal supplied from the foot switch 26 and the like. Further, the CCU 12 performs image processing using the intraoperative image.
  • the light source device 13 is connected to the endoscope 19 through a light guide cable.
  • the light source device 13 switches the amount and wavelength of emitted light under the control of the CCU 12.
  • Light for example, white light
  • emitted from the light source device 13 is irradiated into the abdomen 30 that is a subject of the endoscope 19 through the light guide cable and the endoscope 19.
  • the treatment instrument device 14 is a high-frequency output device, and is connected to the energy treatment instrument 20 and the foot switch 26 via a cable.
  • the treatment instrument device 14 outputs a high-frequency current to the energy treatment instrument 20 in accordance with an operation signal supplied from the foot switch 26.
  • the endoscope 19 (surgical imaging device) includes a camera head 19A and a scope 19B.
  • the camera head 19A includes an imaging unit such as a CCD (Charge-Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor) sensor.
  • the camera head 19A performs photoelectric conversion on the light from the inside of the abdomen 30 that is incident through the scope 19B, and takes an intraoperative image as a moving image in units of frames.
  • the camera head 19A supplies an intraoperative image to the CCU 12 via a camera cable.
  • Scope 19B is configured by an optical system such as an illumination lens.
  • the scope 19 ⁇ / b> B is inserted into the abdomen 30 through a hole of the trocar 22 attached to the abdominal wall of the abdomen 30.
  • the scope 19B irradiates the light emitted from the light source device 13 into the abdomen 30, and causes the light from the abdomen 30 to enter the camera head 19A.
  • the camera head 19A is provided with an imaging unit
  • the scope 19B may be provided with an imaging unit.
  • the energy treatment tool 20 is composed of an electric knife or the like.
  • the energy treatment device 20 is inserted into the abdomen 30 through a hole in the trocar 23 attached to the abdominal wall of the abdomen 30.
  • the energy treatment device 20 denatures or cuts the inside of the abdomen 30 using electric heat.
  • the foot switch 26 accepts an operation by the foot of an operator or assistant.
  • the foot switch 26 supplies an operation signal representing the accepted operation to the CCU 12 and the treatment instrument device 14.
  • the surgeon can remove the affected part in the abdomen 30 without performing an abdominal operation in which the abdominal wall is cut and opened.
  • FIG. 2 is a block diagram illustrating a configuration example of the CCU 12 of FIG.
  • the accepting unit 31 determines that the AF control process is to be performed when accepting the pressing of an unillustrated AF button of the camera head 19A by an operator or the like.
  • the reception unit 31 determines that the AF control process is performed when an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, or the like is received. Also good.
  • the reception unit 31 does not make a determination based on an operation by an operator or the like, but when the positional relationship between the subject and the endoscope 19 changes or when a certain time has elapsed since the previous AF control process. Alternatively, it may be determined that the AF control process is performed.
  • the light source control unit 32 sets the light amount of the light emitted from the light source device 13 to a default value (first light amount) only when the AF control process is performed in response to a light amount increase command supplied from the reception unit 31. To a light amount (second light amount) greater than the default value.
  • the light source control unit 32 notifies the image processing unit 33 of the high light amount when the light amount of the light emitted from the light source device 13 is changed to a light amount larger than the default value (hereinafter referred to as high light amount). Further, the light source control unit 32 controls the wavelength of light emitted from the light source device 13.
  • the image processing unit 33 captures an image when the light amount of the light emitted from the light source device 13 and transmitted from the camera head 19A is high in response to the AF control processing start command supplied from the reception unit 31.
  • Various kinds of processing are performed using the intraoperative image (hereinafter referred to as a high light image).
  • the image processing unit 33 adjusts and displays the brightness of the high light amount image based on the high light amount supplied from the light source control unit 32 and the analog gain of the camera head 19A supplied from the imaging control unit 35. It transmits to the apparatus 11 and displays it. Further, the image processing unit 33 performs AF control processing of the camera head 19A as image processing using a high light quantity image.
  • the image processing unit 33 displays the intraoperative image (hereinafter referred to as a low light amount image) captured when the light amount of the light emitted from the light source device 13 transmitted from the camera head 19A is a default value as it is. It transmits to the apparatus 11 and displays it.
  • a low light amount image the intraoperative image captured when the light amount of the light emitted from the light source device 13 transmitted from the camera head 19A is a default value as it is. It transmits to the apparatus 11 and displays it.
  • the high light quantity image, the low light quantity image, and the intermediate result of the AF control process are stored in the memory 34 as necessary, and are read out by the image processing unit 33 at a necessary timing.
  • the imaging control unit 35 may perform only one of a decrease in analog gain and an increase in shutter speed.
  • FIG. 3 is a diagram illustrating a first example of the amount of light controlled by the light source control unit 32 of FIG.
  • FIG. 3 represents time
  • the vertical axis represents the amount of light emitted from the light source device 13. This also applies to FIGS. 4 and 11 described later.
  • the reception unit 31 determines to perform the AF control process at time t ⁇ b> 1
  • the light source control unit 32 is necessary for the AF control process in accordance with a command supplied from the reception unit 31. Only during a period during which an intraoperative image is captured, the amount of light emitted from the light source device 13 is changed from a default value to a high amount of light.
  • the image processing unit 33 performs the AF control process using only the high light quantity image captured by the camera head 19A during this period in accordance with the command supplied from the reception unit 31.
  • FIG. 4 is a diagram illustrating a second example of the amount of light controlled by the light source control unit 32 of FIG.
  • the reception unit 31 determines that a certain time has elapsed since the previous AF control process, that is, periodically performs the AF control process.
  • the reception unit 31 determines that the AF control process is performed at an interval of time T ⁇ b> 1
  • the light source control unit 32 performs the AF control process according to a command supplied from the reception unit 31.
  • the light amount of the light emitted from the light source device 13 is changed from the default value to a high light amount only during a period during which an intraoperative image necessary for imaging is taken.
  • the image processing unit 33 performs the AF control process using only the high light quantity image captured by the camera head 19A during this period in accordance with the command supplied from the reception unit 31.
  • FIG. 5 is a block diagram illustrating a configuration example of the image processing unit 33 in FIG.
  • the AF processing unit 52 (image processing unit) performs AF control processing of the camera head 19A using the AF image supplied from the signal generation unit 51.
  • the AF image is generated from a high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the AF image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the AF processing unit 52 can perform high-precision AF control processing by performing AF control processing of the camera head 19A using the AF image.
  • the AE processing unit 53 Based on the analog gain (imaging gain) supplied from the imaging control unit 35 in FIG. 2 and the amount of light supplied from the light source control unit 32, the AE processing unit 53 sets the brightness of the high light image to the brightness of the low light image. So that the brightness adjustment value of the high light quantity image is determined. The AE processing unit 53 supplies the brightness adjustment value of the high light quantity image to the display control unit 54.
  • the display control unit 54 adjusts the brightness (gain) of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and the high light amount obtained as a result thereof.
  • An image (display image) is transmitted to the display device 11 of FIG. Further, the display control unit 54 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is for display.
  • the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
  • FIG. 6 is a flowchart for explaining image processing of the CCU 12 of the endoscopic surgery system 10 of FIG. This image processing is started, for example, when imaging of an intraoperative image by the camera head 19A and light irradiation by the light source device 13 are started.
  • the reception unit 31 (FIG. 2) of the CCU 12 determines whether or not to perform the AF control process of the camera head 19A.
  • step S11 If it is determined in step S11 that the AF control process of the camera head 19A is to be performed, the reception unit 31 instructs the light source control unit 32 to increase the amount of light, and the image processing unit 33 and the imaging control unit 35 start the AF control process.
  • the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to a high light amount, and notifies the image processing unit 33 of the high light amount.
  • step S13 the imaging control unit 35 decreases the analog gain of the camera head 19A from the default value and increases the shutter speed from the default value in response to a command from the reception unit 31.
  • the imaging control unit 35 supplies the reduced analog gain to the image processing unit 33.
  • step S17 the display control unit 54 adjusts the brightness of the high light quantity image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53.
  • step S ⁇ b> 18 the display control unit 54 transmits the high light amount image after the brightness adjustment to the display device 11 to display it.
  • step S21 the image processing unit 33 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is, and displays it. Then, the process proceeds to step S22.
  • step S22 if it is determined in step S22 that the intraoperative imaging has been completed, the process ends.
  • the CCU 12 sets the light amount of the light emitted from the light source device 13 to the default value when the AF control process is not performed, the average light amount can be reduced as compared with the case where the light amount is always high. Therefore, power saving and cost reduction of the endoscopic surgery system can be achieved. Moreover, since the calorie
  • ⁇ Second Embodiment> (Configuration Example of Image Processing Unit in Second Embodiment of Endoscopic Surgery System)
  • the configuration of the second embodiment of the endoscopic surgery system to which the present disclosure is applied is different from the AF control process in that an object recognition process for recognizing an object in an intraoperative image is performed as an image process.
  • the configuration is the same as that of FIG.
  • the configuration of the CCU in the second embodiment is the same as that shown in FIG. 3 except that the reception unit 31 determines whether to perform object recognition processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
  • the determination as to whether or not the object recognition process is performed by the reception unit 31 is performed based on, for example, whether or not the operator has pressed the object recognition button of the camera head 19A.
  • the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not the object recognition process is performed.
  • the reception unit 31 performs the object recognition process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous object control process. It may be determined whether or not to perform.
  • the configuration of the image processing unit 33 in FIG. 7 is that a signal generation unit 71, an object recognition unit 72, and a display control unit 74 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
  • the image processing unit 33 in FIG. 7 performs object recognition processing instead of AF control processing as image processing.
  • the signal generation unit 71 of the image processing unit 33 responds to the object recognition from the high light quantity image transmitted from the camera head 19A in response to the command for starting the object recognition process supplied from the reception unit 31. Generate an image.
  • the signal generation unit 71 supplies the object recognition image to the object recognition unit 72.
  • the object recognition unit 72 (image processing unit) performs object recognition processing using the object recognition image supplied from the signal generation unit 71. Specifically, the object recognizing unit 72 performs matching processing between the object recognition image and the image of the specific biological tissue or organ, and recognizes the specific biological tissue or organ in the object recognition image.
  • the object recognition image is generated from the high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the object recognition image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the object recognition unit 72 can perform high-precision object recognition processing by performing object recognition processing using the object recognition image. The object recognition unit 72 supplies the result of the object recognition process to the display control unit 74.
  • the display control unit 74 adjusts the brightness of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and displays the resulting high light amount image.
  • the data is transmitted to the device 11 and displayed on the display device 11.
  • the display control unit 74 transmits the low light amount image transmitted from the camera head 19A to the display device 11 as it is and displays it.
  • the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
  • the display control unit 74 is configured to display the object information indicating the recognized biological tissue or organ area based on the result of the object recognition process supplied from the object recognition unit 72 on the display device 11. Superimpose on an image or low-light image.
  • the object information is superimposed on the point that the AF image is replaced by the object recognition image, the AF control processing is replaced by the object recognition processing, and the high light image and the low light image. Except for this point, it is the same as the image processing of FIG.
  • the image processing is object recognition processing, but may be object detection processing for detecting a specific biological tissue or organ existing in the high light quantity image.
  • the result of the object recognition process is not used by the display control unit 74 but may be supplied to another image processing unit (not shown) included in the CCU 12 and used for various image processing.
  • ⁇ Third Embodiment> (Configuration example of the image processing unit in the third embodiment of the endoscopic surgery system)
  • the configuration of the third embodiment of the endoscopic surgery system to which the present disclosure is applied is that the camera head 19A has two imaging units, and a depth detection process that detects the depth of the intraoperative image instead of the AF control process.
  • the configuration is the same as that of FIG. 1 except that it is performed as image processing and the display device 11 performs 3D display.
  • the configuration of the CCU in the third embodiment is different from that shown in FIG. 3 except that the reception unit 31 determines whether to perform depth detection processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
  • the determination as to whether or not the depth detection process is performed by the reception unit 31 is made, for example, based on whether or not the operator has pressed the depth detection button of the camera head 19A.
  • the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not to perform depth detection processing.
  • the reception unit 31 performs the depth detection process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous depth detection process. It may be determined whether or not to perform.
  • FIG. 8 is a block diagram illustrating a configuration example of the image processing unit 33 in the third embodiment of the endoscopic surgery system to which the present disclosure is applied.
  • the configuration of the image processing unit 33 in FIG. 8 is that a signal generation unit 91, a depth detection unit 92, and a display control unit 94 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
  • the image processing unit 33 in FIG. 8 performs depth detection processing, not AF control processing, as image processing.
  • the signal generation unit 91 of the image processing unit 33 includes a left-eye generation unit 101 and a right-eye generation unit 102.
  • the left-eye generation unit 101 responds to the depth detection processing start command supplied from the reception unit 31, out of the two-viewpoint high-light images captured by the two imaging units transmitted from the camera head 19 ⁇ / b> A. Then, a high light quantity image captured by the left imaging unit toward the subject is acquired.
  • the left eye generation unit 101 generates a depth detection image from the acquired high-light quantity image, and supplies the depth detection image to the depth detection unit 92 as the left eye image.
  • the right-eye generation unit 102 captures the right side of the two-viewpoint high-intensity image transmitted from the camera head 19A toward the subject in response to the command to start the depth detection process supplied from the reception unit 31.
  • the high light quantity image imaged by the unit is acquired.
  • the right eye generation unit 102 generates a depth detection image from the acquired high-light quantity image, and supplies the depth detection image to the depth detection unit 92 as a right eye image.
  • the depth detection unit 92 (image processing unit) performs depth detection processing using the left-eye image supplied from the left-eye generation unit 101 and the right-eye image supplied from the right-eye generation unit 102. Specifically, the depth detection unit 92 performs matching processing between the image for the left eye and the image for the right eye, and detects a difference in position on the image of a pair of pixels having a high degree of similarity as the depth. This depth corresponds to the distance in the depth direction (optical axis direction) between the imaging unit and the subject.
  • the display control unit 94 Based on the brightness adjustment value supplied from the AE processing unit 53, the display control unit 94 adjusts the brightness of the two-viewpoint high-intensity image transmitted from the camera head 19A, and obtains the high level obtained as a result. The light quantity image is transmitted to the display device 11. Further, the display control unit 94 transmits the two-viewpoint low-light image transmitted from the camera head 19A to the display device 11 as it is.
  • the display device 11 displays the two-viewpoint high-light image or low-light image supplied from the display controller 94 in 3D using the depth map supplied from the depth detector 92 as necessary. As described above, the brightness of the intra-operative image of the two viewpoints displayed in 3D on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
  • the image processing of the CCU 12 of the third embodiment is that the AF image is replaced by the left eye image and the right eye image, the AF control processing is replaced by the depth detection processing, and the high light image and the low light image are depth detected. Since it is the same as the image processing of FIG. 6 except that 3D display is performed based on the processing result, description thereof is omitted.
  • the CCU 12 of the third embodiment changes the light amount of light emitted from the light source device 13 to a high light amount when performing the depth detection processing, the depth detection processing can be performed using a high light amount image. Accordingly, the CCU 12 can perform the depth detection process with higher accuracy than the case where the depth detection process is performed using the low light quantity image.
  • the display device 11 may display a high light amount image or a low light amount image of any one of the two viewpoints in 2D. Further, the depth map may be supplied not to the display device 11 but to another image processing unit (not shown) included in the CCU 12 and used for various types of image processing.
  • ⁇ Fourth embodiment> (Configuration example of image processing unit in the fourth embodiment of the endoscopic surgery system)
  • the configuration is the same as in FIG.
  • the configuration of the CCU in the fourth embodiment is different from that shown in FIG. 3 except that the reception unit 31 determines whether to perform motion analysis processing instead of AF control processing, and the configuration of the image processing unit 33. This is the same as the configuration of 2.
  • the determination as to whether or not to perform the motion analysis process by the accepting unit 31 is made, for example, based on whether or not pressing by a surgeon or the like of the motion analysis button of the camera head 19A is accepted.
  • the reception unit 31 has received an operation for instructing a change in zoom magnification, a change in shooting mode, a change in the wavelength of light emitted from the light source device 13, and the like. It may be determined whether or not the motion analysis process is performed.
  • the reception unit 31 performs the motion analysis process based on the change in the positional relationship between the subject and the endoscope 19 and the elapsed time from the previous motion analysis process. It may be determined whether or not to perform.
  • FIG. 9 is a block diagram illustrating a configuration example of the image processing unit 33 in the fourth embodiment of the endoscopic surgery system to which the present disclosure is applied.
  • the configuration of the image processing unit 33 in FIG. 9 is that a signal generation unit 121, a motion analysis processing unit 122, and a display control unit 124 are provided instead of the signal generation unit 51, the AF processing unit 52, and the display control unit 54. Different from the configuration of FIG.
  • the image processing unit 33 in FIG. 9 performs a motion analysis process, not an AF control process, as the image process.
  • the signal generation unit 121 of the image processing unit 33 responds to the motion analysis process start command supplied from the reception unit 31 and uses the motion analysis image from the high light amount image transmitted from the camera head 19A. Is generated and supplied to the motion analysis processing unit 122.
  • the motion analysis processing unit 122 holds the motion analysis image supplied from the signal generation unit 121.
  • the motion analysis processing unit 122 (image processing unit) performs a motion analysis process using the held motion analysis image of the past frame and the motion analysis image of the current frame. Specifically, the motion analysis processing unit 122 performs block matching, a gradient method, or the like using the past motion analysis image and the current motion analysis image, thereby moving the motion of the subject included in the motion analysis image. Detect and hold a vector.
  • the motion analysis processing unit 122 analyzes the motion vector period based on the motion vector of each frame.
  • the motion analysis image is generated from a high light quantity image in which the analog gain of the camera head 19A is lowered and the shutter speed is increased by the imaging control unit 35. Therefore, the motion analysis image is an image in which noise is reduced due to a decrease in analog gain and motion blur is reduced due to an increase in shutter speed. Therefore, the motion analysis processing unit 122 can perform high-precision motion analysis processing by performing motion analysis processing using the motion analysis image.
  • the motion analysis processing unit 122 supplies the display control unit 124 with analysis information representing a motion vector cycle obtained as a result of the motion analysis processing.
  • the display control unit 124 adjusts the brightness of the high light amount image transmitted from the camera head 19A based on the brightness adjustment value supplied from the AE processing unit 53, and displays the resulting high light amount image.
  • the data is transmitted to the device 11 and displayed on the display device 11. Further, the display control unit 124 transmits the low light amount image transmitted from the camera head 19 ⁇ / b> A to the display device 11 as it is for display.
  • the brightness of the intraoperative image displayed on the display device 11 is constant regardless of the change in the amount of light emitted from the light source device 13.
  • the display control unit 124 displays, on the display device 11, a high amount of light that is displayed on the display device 11, such as period information indicating the region of the subject having the same period of motion vectors, based on the analysis information supplied from the motion analysis processing unit 122. Superimpose on an image or low-light image.
  • the CCU 12 of the fourth embodiment changes the light amount of the light emitted from the light source device 13 to a high light amount when performing the motion analysis processing, the motion analysis processing can be performed using the high light amount image. Therefore, the CCU 12 can perform the motion analysis process with higher accuracy than the case where the motion analysis process is performed using the low light quantity image.
  • the analysis information is not used by the display control unit 74 but may be supplied to another image processing unit (not shown) included in the CCU 12 and used for various image processing.
  • the light source control unit 32 determines the amount of light emitted from the light source device 13 as a predetermined number of frame periods (hereinafter referred to as a low light amount period). 1) except that the image processing unit 33 is changed from the default value to the one or more frame periods shorter than the interval (hereinafter referred to as a high light amount period), and the image processing unit 33 is the same. It is.
  • the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to the high light amount only during the high light amount period at intervals of the low light amount period.
  • 2 is the same as the configuration of FIG. 2 except that the reception unit 31 is not provided and the image processing unit 33 is omitted.
  • FIG. 10 is a block diagram illustrating a configuration example of the image processing unit 33 in the fifth embodiment of the endoscopic surgery system to which the present disclosure is applied.
  • the image processing unit 33 in FIG. 10 includes a high light amount image acquisition unit 141, a low light amount image acquisition unit 142, a motion detection unit 143, and an interpolation unit 144.
  • the high light amount image acquisition unit 141 of the image processing unit 33 acquires a high light amount image captured and transmitted by the camera head 19A during the high light amount period, and supplies the high light amount image to the interpolation unit 144.
  • the low light amount image acquisition unit 142 acquires a low light amount image that is captured and transmitted by the camera head 19A during the low light amount period, and supplies the low light amount image to the motion detection unit 143.
  • the motion detection unit 143 holds the low light amount image supplied from the low light amount image acquisition unit 142.
  • the motion detection unit 143 detects the motion vector of the subject using the low-light image one frame before and the low-light image of the current frame held for each frame.
  • the motion detection unit 143 supplies the motion vector of each frame to the interpolation unit 144.
  • the interpolating unit 144 outputs the high light amount image supplied from the high light amount image acquiring unit 141 to the display device 11 as a final intraoperative image for display and holds it.
  • the interpolating unit 144 performs motion compensation on the held high light amount image based on the motion vector supplied from the motion detecting unit 143 using JointJBilateral Filter, Guided Filter, or the like, thereby reducing the low light amount.
  • An interpolated image for interpolating the high light quantity image of the image frame is generated.
  • the interpolation unit 144 outputs the interpolated image as a final intraoperative image to the display device 11 for display. As described above, the final intraoperative image becomes an image equivalent to the high light amount image of all frames.
  • FIG. 11 is a diagram illustrating an example of a high light amount period and a low light amount period.
  • the light source controller 32 emits the light source device 13 only during the high light amount period T3 of one or more frames that are shorter than the interval T2 at the interval of the low light amount period T2. Change the light intensity from the default value to a high intensity.
  • the high light quantity image is an intraoperative image in which the analog gain of the camera head 19A is reduced by the imaging control unit 35 and the shutter speed is increased, and is a high-definition image in which noise and motion blur are reduced.
  • the number of frames of the low light image is larger than that of the high light image. That is, the resolution in the time direction of the low light quantity image is higher than that of the high light quantity image. However, it is a low-definition image with a lot of noise and motion blur.
  • the motion detection unit 143 detects a motion vector of each frame using a low light quantity image with a high resolution in the time direction, and the interpolation unit 144 performs high definition based on the motion vector. Motion compensation is performed for a high-intensity image. As a result, a high-definition and high-frame-rate high light quantity image is generated.
  • FIG. 12 is a flowchart for explaining image processing of the CCU 12 in the fifth embodiment. This image processing is started, for example, when imaging of an intraoperative image by the camera head 19A and light irradiation by the light source device 13 are started.
  • the high light quantity image acquisition unit 141 (FIG. 10) of the image processing unit 33 determines whether or not the current frame is a frame of a high light quantity period.
  • the high light quantity image acquisition unit 141 acquires a high light quantity image captured and transmitted by the camera head 19A.
  • the high light quantity image acquisition unit 141 supplies the high light quantity image to the interpolation unit 144.
  • step S33 the interpolating unit 144 holds the high light amount image supplied from the high light amount image acquiring unit 141, and outputs and displays the final light image on the display device 11 as it is. Then, the process proceeds to step S38.
  • step S34 the low light amount image acquisition unit 142 acquires a low light amount image captured and transmitted by the camera head 19A. To do.
  • the high light amount image acquisition unit 141 supplies the low light amount image to the motion detection unit 143, and the motion detection unit 143 holds the low light amount image.
  • step S35 the motion detection unit 143 detects the motion vector of the subject using the held low-light image one frame before and the low-light image of the current frame, and supplies the detected motion vector to the interpolation unit 144.
  • step S ⁇ b> 36 the interpolation unit 144 performs motion compensation on the held high light amount image based on the motion vector supplied from the motion detection unit 143, and the frame of the low light amount image corresponding to the motion vector. Generate an interpolated image.
  • step S37 the interpolation unit 144 outputs the interpolation image as a final intraoperative image to the display device 11 for display. Then, the process proceeds to step S38.
  • step S38 the CCU 12 determines whether or not imaging of an intraoperative image by the camera head 19A is completed. If it is determined in step S38 that imaging of an intraoperative image has not ended, the process returns to step S31, and the subsequent processes are repeated.
  • step S38 if it is determined in step S38 that the intraoperative imaging has been completed, the process ends.
  • the motion detection unit 143 detects a motion vector of each frame using a low light quantity image with high resolution in the time direction, and the interpolation unit 144 uses the motion vector based on the motion vector.
  • Interpolation is performed by performing motion compensation on a high-definition, high-intensity image. Therefore, it is possible to perform interpolation with higher accuracy than in the case of performing interpolation using only a high light quantity image.
  • the display device 11 it is possible to cause the display device 11 to display intra-operative images of all frames equivalent to the case where the light amount emitted from the light source device 13 is always high. Therefore, the brightness of the intraoperative image displayed on the display device 11 is constant.
  • the light source control unit 32 changes the light amount of the light emitted from the light source device 13 from the default value to the high light amount only during the high light amount period.
  • the amount of light can be reduced. Therefore, power saving and cost reduction of the endoscopic surgery system can be achieved.
  • produced with the light irradiated from the light source device 13 can be suppressed, the damage to the abdominal part 30 can be reduced.
  • ⁇ Sixth embodiment> (Description of computer to which the present disclosure is applied)
  • the series of processes of the CCU 12 described above can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing various programs by installing a computer incorporated in dedicated hardware.
  • FIG. 13 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing of the CCU 12 by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a storage unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the storage unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the storage unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the storage unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210.
  • the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the storage unit 208.
  • the program can be installed in the ROM 202 or the storage unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the image processing by the image processing unit 33 may be processing other than AF control processing, object recognition processing, depth detection processing, motion analysis processing, and interpolation processing.
  • the image processing unit 33 may perform a plurality of image processing. You may make it perform.
  • the type of light quantity may be three or more types.
  • the light source device 13 may emit a high amount of light during a period other than the period during which an intraoperative image necessary for image processing is captured.
  • this indication can also take the following structures.
  • a light source controller that changes the amount of light applied to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light;
  • An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount;
  • a surgery system comprising: a display control unit configured to generate a display image by adjusting brightness of the high light amount image based on the second light amount, and to display the display image on a display device.
  • the surgical operation system according to any one of (1) to (5), wherein the image processing unit is configured to perform object recognition processing for recognizing an object in the high light amount image using the high light amount image.
  • the image processing unit is configured to perform a depth detection process that detects the depth of the high light amount image using the high light amount image.
  • the image processing unit is configured to perform a motion analysis process that analyzes a motion of a subject in the high light amount image using the high light amount image. system.
  • the surgical operation system according to any one of (1) to (9), further including: a light source unit that emits light to the subject.
  • Surgery system A light source control step of changing the amount of light irradiated to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light greater than the first amount of light; An image processing step of performing image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount; A surgical control method comprising: a display control step of adjusting a brightness of the high light amount image based on the second light amount to generate a display image and displaying the display image on a display device.
  • Computer A light source controller that changes the amount of light applied to the subject imaged by the surgical imaging apparatus from a first amount of light to a second amount of light that is greater than the first amount of light;
  • An image processing unit that performs image processing using a high light amount image that is an intraoperative image captured by the surgical imaging apparatus in a state where the light amount is the second light amount;
  • a light source controller that changes the amount of light irradiating the subject of the surgical imaging apparatus at a predetermined interval from a first amount of light to a second amount of light greater than the first amount of light; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
  • An operation system comprising: an image processing unit that generates a final intraoperative image using a high-intensity image that is a captured intraoperative image.
  • the light source control unit is configured to change the light amount to the second light amount for a period shorter than the predetermined interval.
  • the image processing unit A motion detector that detects the motion of the subject using the low light quantity image; Based on the motion detected by the motion detector, motion compensation is performed on the high light quantity image to generate an interpolation image for interpolating the high light quantity image, and the interpolation image, the high light quantity image,
  • Surgery system A light source control step of changing a light amount of light radiated to a subject of the surgical imaging apparatus at a predetermined interval from a first light amount to a second light amount larger than the first light amount; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
  • Computer A light source controller that changes the amount of light irradiating the subject of the surgical imaging apparatus at a predetermined interval from a first amount of light to a second amount of light greater than the first amount of light; By the surgical imaging apparatus when the light quantity is changed to the second light quantity and the low light quantity image which is an intraoperative image taken by the surgical imaging apparatus when the light quantity is the first light quantity.
  • a program for functioning as an image processing unit that generates a final intraoperative image using a high-intensity image that is a captured intraoperative image.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Stroboscope Apparatuses (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにする手術システム、手術用制御方法、およびプログラムに関する。 光源制御部は、内視鏡により撮像される被写体に照射する光の光量を、デフォルト値からデフォルト値より多い高光量に変更する。画像処理部は、光量が高光量である状態で内視鏡により撮像された術中画像である高光量画像を用いて画像処理を行う。画像処理部は、高光量に基づいて高光量画像の明るさを調整して表示画像を生成し、表示画像を表示装置に表示させる。本開示は、例えば、内視鏡手術システム等に適用することができる。

Description

手術システム、手術用制御方法、およびプログラム
　本開示は、手術システム、手術用制御方法、およびプログラムに関し、特に、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにした手術システム、手術用制御方法、およびプログラムに関する。
　一般的に、内視鏡で術中画像を撮像する手術システムでは、生体の観察において不足のない一定の光量の光が、被写体としての生体に照射され続ける。従って、光量が多い場合、熱による生体へのダメージおよび電力コストが大きくなる。よって、光量を所定量以上にすることは難しい。
　そこで、一時的に被写体に照射する光量を増加させる内視鏡が考案されている（例えば、特許文献１および２参照）。
特開2006-149939号公報 特開昭63-163809号公報
　しかしながら、内視鏡等の手術用撮像装置の被写体に照射する光量を変化させる場合に、高精度の画像処理を行うことについては考えられていなかった。
　本開示は、このような状況に鑑みてなされたものであり、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができるようにするものである。
　本開示の第１の側面の手術システムは、手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部とを備える手術システムである。
　本開示の第１の側面の手術用制御方法およびプログラムは、本開示の第１の側面の手術システムに対応する。
　本開示の第１の側面においては、手術用撮像装置により撮像される被写体に照射する光の光量が、第１の光量から前記第１の光量より多い第２の光量に変更され、前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理が行われ、前記第２の光量に基づいて前記高光量画像の明るさが調整されて表示画像が生成され、前記表示画像が表示装置に表示される。
　本開示の第２の側面の手術システムは、所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部とを備える手術システムである。
　本開示の第２の側面においては、所定の間隔で、手術用撮像装置の被写体に照射する光の光量が、第１の光量から前記第１の光量より多い第２の光量に変更され、前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像が生成される。
　本開示の第１および第２の側面によれば、画像処理を行うことができる。また、本開示の第１および第２の側面によれば、手術用撮像装置の被写体に照射する光量を変化させる場合に高精度の画像処理を行うことができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。 図１のＣＣＵ１２の構成例を示すブロック図である。 図２の光源制御部により制御される光量の第１の例を示す図である。 図２の光源制御部により制御される光量の第２の例を示す図である。 図２の画像処理部の構成例を示すブロック図である。 図２のＣＣＵの画像処理を説明するフローチャートである。 本開示を適用した内視鏡手術システムの第２実施の形態における画像処理部３３の構成例を示すブロック図である。 本開示を適用した内視鏡手術システムの第３実施の形態における画像処理部３３の構成例を示すブロック図である。 本開示を適用した内視鏡手術システムの第４実施の形態における画像処理部３３の構成例を示すブロック図である。 本開示を適用した内視鏡手術システムの第５実施の形態における画像処理部３３の構成例を示すブロック図である。 高光量期間と低光量期間の例を示す図である。 第５実施の形態におけるＣＣＵの画像処理を説明するフローチャートである。 コンピュータのハードウエアの構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
　１．第１実施の形態：内視鏡手術システム（図１乃至図６）
　２．第２実施の形態：内視鏡手術システム（図７）
　３．第３実施の形態：内視鏡手術システム（図８）
　４．第４実施の形態：内視鏡手術システム（図９）
　５．第５実施の形態：内視鏡手術システム（図１０乃至図１２）
　６．第６実施の形態：コンピュータ（図１３）
　＜第１実施の形態＞
　（内視鏡手術システムの第１実施の形態の構成例）
　図１は、本開示を適用した内視鏡手術システムの第１実施の形態の構成例を示す図である。
　内視鏡手術システム１０は、表示装置１１、ＣＣＵ（カメラコントロールユニット）１２、光源装置１３、処置具用装置１４、気腹装置１５、レコーダ１６、およびプリンタ１７が搭載されたカート１８を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１９、エネルギ処置具２０、鉗子２１、トロッカ２２乃至２５、フットスイッチ２６、および患者ベッド２７を有する。内視鏡手術システム１０は、例えば手術室に配置され、患者ベッド２７に横たわった患者の腹部３０に含まれる患部に対して腹腔鏡下手術を行う術者を支援する。
　具体的には、内視鏡手術システム１０の表示装置１１は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１１は、ＣＣＵ１２から供給される術中画像等を表示する。
　ＣＣＵ１２は、カメラケーブルを介して内視鏡１９と接続する。なお、ＣＣＵ１２は、内視鏡１９と無線で接続していてもよい。ＣＣＵ１２は、内視鏡１９により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置１１に供給する。ＣＣＵ１２は、必要に応じて、受信された術中画像をレコーダ１６やプリンタ１７に供給する。
　また、ＣＣＵ１２（手術システム）は、フットスイッチ２６から供給される操作信号等に基づいて、光源装置１３から出射される光の量や波長を制御する。さらに、ＣＣＵ１２は、術中画像を用いて画像処理を行う。
　光源装置１３は、ライトガイドケーブルを介して内視鏡１９と接続する。光源装置１３は、ＣＣＵ１２の制御により、出射する光の量や波長を切り換える。光源装置１３（光源部）から出射された光（例えば白色光）は、ライトガイドケーブルと内視鏡１９を介して、内視鏡１９の被写体である腹部３０の内部に照射される。
　処置具用装置１４は、高周波出力装置であり、ケーブルを介してエネルギ処置具２０およびフットスイッチ２６と接続する。処置具用装置１４は、フットスイッチ２６から供給される操作信号に応じて、エネルギ処置具２０に高周波電流を出力する。
　気腹装置１５は、送気手段および吸気手段を備え、腹部３０の腹壁に取り付けられた開孔器具であるトロッカ２４の孔から、腹部３０の内部に空気を送気する。
　レコーダ１６は、ＣＣＵ１２から供給される術中画像を記録する。プリンタ１７は、ＣＣＵから供給される術中画像を印刷する。
　内視鏡１９（手術用撮像装置）は、カメラヘッド１９Ａとスコープ１９Ｂにより構成される。カメラヘッド１９Ａは、CCD(Charge Coupled Device)やCMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像部を備える。カメラヘッド１９Ａは、スコープ１９Ｂを介して入射される、腹部３０の内部からの光に対して光電変換を行い、動画像である術中画像をフレーム単位で撮像する。カメラヘッド１９Ａは、術中画像を、カメラケーブルを介してＣＣＵ１２に供給する。
　スコープ１９Ｂは、照明レンズなどの光学系により構成される。スコープ１９Ｂは、腹部３０の腹壁に取り付けられたトロッカ２２の孔から、腹部３０の内部に挿入される。スコープ１９Ｂは、光源装置１３から出射された光を腹部３０の内部に照射し、腹部３０の内部からの光をカメラヘッド１９Ａに入射させる。
　なお、ここでは、カメラヘッド１９Ａが撮像部を備えるものとするが、スコープ１９Ｂが撮像部を備えるようにしてもよい。
　エネルギ処置具２０は、電気メスなどにより構成される。エネルギ処置具２０は、腹部３０の腹壁に取り付けられたトロッカ２３の孔から、腹部３０の内部に挿入される。エネルギ処置具２０は、腹部３０の内部を、電気熱を用いて変性させたり、切断したりする。
　鉗子２１は、腹部３０の腹壁に取り付けられたトロッカ２５の孔から、腹部３０の内部に挿入される。鉗子２１は、腹部３０の内部を把持する。内視鏡１９、エネルギ処置具２０、および鉗子２１は、術者、助手、スコピスト、ロボット等により把持される。
　フットスイッチ２６は、術者や助手等の足による操作を受け付ける。フットスイッチ２６は、受け付けた操作を表す操作信号を、ＣＣＵ１２や処置具用装置１４に供給する。
　術者は、以上のように構成される内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３０内の患部を切除することができる。
　（ＣＣＵの構成例）
　図２は、図１のＣＣＵ１２の構成例を示すブロック図である。
　図２のＣＣＵ１２は、受付部３１、光源制御部３２、画像処理部３３、メモリ３４、および撮像制御部３５により構成される。
　ＣＣＵ１２の受付部３１は、フットスイッチ２６や図示せぬ操作ボタンなどの術者等による操作を受け付ける。受付部３１は、その操作に応じて、カメラヘッド１９ＡのＡＦ（オートフォーカス）制御処理を行うかどうかを判定する。
　例えば、受付部３１は、カメラヘッド１９Ａが有する図示せぬＡＦボタンの術者等による押下を受け付けたとき、ＡＦ制御処理を行うと判定する。なお、受付部３１は、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたとき、ＡＦ制御処理を行うと判定するようにしてもよい。
　また、受付部３１は、術者等による操作に基づいて判定するのではなく、被写体と内視鏡１９との位置関係が変化した場合や、前回のＡＦ制御処理から一定時間が経過した場合に、ＡＦ制御処理を行うと判定するようにしてもよい。
　受付部３１は、カメラヘッド１９ＡのＡＦ制御処理を行うと判定した場合、光量の増加を光源制御部３２に指令し、ＡＦ制御処理の開始を画像処理部３３と撮像制御部３５に指令する。
　光源制御部３２は、受付部３１から供給される光量の増加の指令に応じて、ＡＦ制御処理が行われる場合にのみ、光源装置１３が出射する光の光量をデフォルト値（第１の光量）からデフォルト値より多い光量（第２の光量）に変更する。光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値より多い光量（以下、高光量という）に変更したとき、高光量を画像処理部３３に通知する。また、光源制御部３２は、光源装置１３が出射する光の波長を制御する。
　画像処理部３３は、受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる、光源装置１３が出射する光の光量が高光量であるときに撮像された術中画像（以下、高光量画像という）を用いて各種の処理を行う。例えば、画像処理部３３は、光源制御部３２から供給される高光量と、撮像制御部３５から供給されるカメラヘッド１９Ａのアナログゲインとに基づいて、高光量画像の明るさを調整して表示装置１１に送信し、表示させる。また、画像処理部３３は、高光量画像を用いてカメラヘッド１９ＡのＡＦ制御処理を画像処理として行う。
　また、画像処理部３３は、カメラヘッド１９Ａから送信されてくる、光源装置１３が出射する光の光量がデフォルト値であるときに撮像された術中画像（以下、低光量画像という）を、そのまま表示装置１１に送信し、表示させる。
　高光量画像、低光量画像、およびＡＦ制御処理の途中結果は、必要に応じてメモリ３４に記憶され、画像処理部３３により、必要なタイミングで読み出される。
　撮像制御部３５は、受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａにおけるアナログゲインとシャッタ速度を制御する。具体的には、受付部３１からＡＦ制御処理の開始の指令が供給された場合、ＡＦ制御処理が行われる間、光源装置１３が出射する光の光量は高光量になる。従って、その間、撮像制御部３５は、カメラヘッド１９Ａのアナログゲインを低下させ、シャッタ速度を上昇させる（露光時間を短縮する）。撮像制御部３５は、カメラヘッド１９Ａのアナログゲインを画像処理部３３に供給する。
　なお、撮像制御部３５は、アナログゲインの低下とシャッタ速度の上昇のいずれか一方のみを行うようにしてもよい。
　（光量の第１の例）
　図３は、図２の光源制御部３２により制御される光量の第１の例を示す図である。
　なお、図３の横軸は時間を表し、縦軸は、光源装置１３が出射する光の光量を表している。このことは、後述する図４および図１１においても同様である。
　図３の例では、受付部３１は、術者等からの操作を受け付けたとき、被写体と内視鏡１９との位置関係が変化したときなどをトリガとして、ＡＦ制御処理を行うと判定する。
　この場合、図３に示すように、時刻t１において、受付部３１がＡＦ制御処理を行うと判定すると、光源制御部３２は、受付部３１から供給される指令に応じて、ＡＦ制御処理に必要な術中画像を撮像する期間だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。画像処理部３３は、受付部３１から供給される指令に応じて、この期間にカメラヘッド１９Ａにより撮像された高光量画像のみを用いてＡＦ制御処理を行う。
　（光量の第２の例）
　図４は、図２の光源制御部３２により制御される光量の第２の例を示す図である。
　図４の例では、受付部３１は、前回のＡＦ制御処理から一定時間が経過した場合、即ち定期的にＡＦ制御処理を行うと判定する。
　この場合、図４に示すように、時間Ｔ１の間隔で、受付部３１がＡＦ制御処理を行うと判定すると、光源制御部３２は、受付部３１から供給される指令に応じて、ＡＦ制御処理に必要な術中画像を撮像する期間だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。画像処理部３３は、受付部３１から供給される指令に応じて、この期間にカメラヘッド１９Ａにより撮像された高光量画像のみを用いてＡＦ制御処理を行う。
　（画像処理部の構成例）
　図５は、図２の画像処理部３３の構成例を示すブロック図である。
　図５の画像処理部３３は、信号生成部５１、ＡＦ処理部５２、ＡＥ処理部５３、および表示制御部５４により構成される。
　画像処理部３３の信号生成部５１は、図２の受付部３１から供給されるＡＦ制御処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から、ＡＦ用画像を生成する。ＡＦ用画像とは、例えば、高光量画像を低解像度化した画像である。信号生成部５１は、ＡＦ用画像をＡＦ処理部５２に供給する。
　ＡＦ処理部５２（画像処理部）は、信号生成部５１から供給されるＡＦ用画像を用いて、カメラヘッド１９ＡのＡＦ制御処理を行う。ここで、ＡＦ用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、ＡＦ用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、ＡＦ処理部５２は、ＡＦ用画像を用いてカメラヘッド１９ＡのＡＦ制御処理を行うことにより、高精度のＡＦ制御処理を行うことが可能である。
　ＡＥ処理部５３は、図２の撮像制御部３５から供給されるアナログゲイン（撮像ゲイン）と光源制御部３２から供給される光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。ＡＥ処理部５３は、高光量画像の明るさの調整値を表示制御部５４に供給する。
　表示制御部５４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさ（ゲイン）を調整し、その結果得られる高光量画像（表示画像）を図２の表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部５４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光の光量の変化によらず一定となる。
　（内視鏡手術システムの画像処理の説明）
　図６は、図１の内視鏡手術システム１０のＣＣＵ１２の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド１９Ａによる術中画像の撮像および光源装置１３による光の照射が開始されたとき、開始される。
　図６のステップＳ１１において、ＣＣＵ１２の受付部３１（図２）は、カメラヘッド１９ＡのＡＦ制御処理を行うかどうかを判定する。
　ステップＳ１１でカメラヘッド１９ＡのＡＦ制御処理を行うと判定された場合、受付部３１は、光量の増加を光源制御部３２に指令し、ＡＦ制御処理の開始を画像処理部３３と撮像制御部３５に指令する。そして、ステップＳ１２において、光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値から高光量に変更し、高光量を画像処理部３３に通知する。
　ステップＳ１３において、撮像制御部３５は、受付部３１からの指令に応じて、カメラヘッド１９Ａのアナログゲインをデフォルト値から低下させ、シャッタ速度をデフォルト値から上昇させる。撮像制御部３５は、低下後のアナログゲインを画像処理部３３に供給する。
　ステップＳ１４において、画像処理部３３の信号生成部５１（図５）は、カメラヘッド１９Ａから送信されてくる高光量画像から、ＡＦ用画像を生成し、ＡＦ処理部５２に供給する。
　ステップＳ１５において、ＡＦ処理部５２は、信号生成部５１から供給されるＡＦ用画像を用いてＡＦ制御処理を行う。
　ステップＳ１６において、ＡＥ処理部５３は、撮像制御部３５から供給されるアナログゲインと光源制御部３２から供給される高光量とに基づいて、高光量画像の明るさが低光量画像の明るさと同一になるように、高光量画像の明るさの調整値を決定する。ＡＥ処理部５３は、高光量画像の明るさの調整値を表示制御部５４に供給する。
　ステップＳ１７において、表示制御部５４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整する。ステップＳ１８において、表示制御部５４は、明るさの調整後の高光量画像を表示装置１１に送信し、表示させる。
　ステップＳ１９において、光源制御部３２は、光源装置１３が出射する光の光量をデフォルト値に戻す。ステップＳ２０において、撮像制御部３５は、カメラヘッド１９Ａのアナログゲインおよびシャッタ速度をデフォルト値に戻し、処理をステップＳ２２に進める。
　一方、ステップＳ１１でＡＦ制御処理を行わないと判定された場合、ステップＳ２１において、画像処理部３３は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信し、表示させる。そして、処理はステップＳ２２に進む。
　ステップＳ２２において、ＣＣＵ１２は、カメラヘッド１９Ａによる術中画像の撮像が終了したかどうかを判定する。ステップＳ２２で術中画像の撮像が終了していないと判定された場合、処理はステップＳ１１に戻り、以降の処理が繰り返される。
　一方、ステップＳ２２で術中画像の撮像が終了したと判定された場合、処理は終了する。
　以上のように、ＣＣＵ１２は、ＡＦ制御処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いてＡＦ制御処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いてＡＦ制御処理を行う場合に比べて、高精度のＡＦ制御処理を行うことができる。
　また、ＣＣＵ１２は、ＡＦ制御処理を行わない場合に光源装置１３が出射する光の光量をデフォルト値にするので、常に高光量にする場合に比べて、平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置１３から照射された光により発生する熱量を抑制することができるため、腹部３０へのダメージを軽減することができる。
　さらに、ＣＣＵ１２は、高光量に基づいて、高光量画像の明るさを、低光量画像の明るさと同一になるように調整するので、光源装置１３が出射する光の光量によって、表示装置１１に表示される術中画像の明るさが変化することを防止することができる。
　＜第２実施の形態＞
　（内視鏡手術システムの第２実施の形態における画像処理部の構成例）
　本開示を適用した内視鏡手術システムの第２実施の形態の構成は、ＡＦ制御処理の代わりに、術中画像内の物体を認識する物体認識処理が画像処理として行われる点を除いて、図１の構成と同一である。
　具体的には、第２実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなく物体認識処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
　受付部３１による物体認識処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有する物体認識ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、物体認識処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回の物体制御処理からの経過時間に基づいて、物体認識処理を行うかどうかの判定を行ってもよい。
　図７は、本開示を適用した内視鏡手術システムの第２実施の形態における画像処理部３３の構成例を示すブロック図である。
　図７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図７の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部７１、物体認識部７２、表示制御部７４が設けられる点が、図５の構成と異なる。図７の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、物体認識処理を行う。
　具体的には、画像処理部３３の信号生成部７１は、受付部３１から供給される物体認識処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から、物体認識用画像を生成する。信号生成部７１は、物体認識用画像を物体認識部７２に供給する。
　物体認識部７２（画像処理部）は、信号生成部７１から供給される物体認識用画像を用いて物体認識処理を行う。具体的には、物体認識部７２は、物体認識用画像と、特定の生体組織や臓器の画像とのマッチング処理を行い、物体認識用画像内の特定の生体組織や臓器を認識する。
　ここで、物体認識用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、物体認識用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、物体認識部７２は、物体認識用画像を用いて物体認識処理を行うことにより、高精度の物体認識処理を行うことが可能である。物体認識部７２は、物体認識処理の結果を表示制御部７４に供給する。
　表示制御部７４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部７４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
　また、表示制御部７４は、物体認識部７２から供給される物体認識処理の結果に基づいて、認識された生体組織や臓器の領域を示す物体情報などを、表示装置１１に表示中の高光量画像または低光量画像に重畳する。
　第２実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が物体認識用画像に代わる点、ＡＦ制御処理が物体認識処理に代わる点、および高光量画像および低光量画像に物体情報が重畳される点を除いて、図６の画像処理と同様であるので、説明は省略する。
　第２実施の形態のＣＣＵ１２は、物体認識処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いて物体認識処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いて物体認識処理を行う場合に比べて、高精度の物体認識処理を行うことができる。
　なお、第２実施の形態では、画像処理が物体認識処理であるようにしたが、高光量画像内に存在する特定の生体組織や臓器を検出する物体検出処理であってもよい。また、物体認識処理の結果は、表示制御部７４で用いられるのではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
　＜第３実施の形態＞
　（内視鏡手術システムの第３実施の形態における画像処理部の構成例）
　本開示を適用した内視鏡手術システムの第３実施の形態の構成は、カメラヘッド１９Ａが２つの撮像部を有する点、ＡＦ制御処理の代わりに、術中画像のデプスを検出するデプス検出処理が画像処理として行われる点、および表示装置１１が３Ｄ表示を行う点を除いて、図１の構成と同一である。
　具体的には、第３実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなくデプス検出処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
　受付部３１によるデプス検出処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有するデプス検出ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、デプス検出処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回のデプス検出処理からの経過時間に基づいて、デプス検出処理を行うかどうかの判定を行ってもよい。
　図８は、本開示を適用した内視鏡手術システムの第３実施の形態における画像処理部３３の構成例を示すブロック図である。
　図８に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図８の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部９１、デプス検出部９２、表示制御部９４が設けられる点が、図５の構成と異なる。図８の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、デプス検出処理を行う。
　具体的には、画像処理部３３の信号生成部９１は、左目用生成部１０１と右目用生成部１０２により構成される。左目用生成部１０１は、受付部３１から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる２つの撮像部により撮像された２視点の高光量画像のうちの、被写体に向かって左側の撮像部により撮像された高光量画像を取得する。左目用生成部１０１は、取得された高光量画像からデプス検出用画像を生成し、左目用画像としてデプス検出部９２に供給する。
　右目用生成部１０２は、受付部３１から供給されるデプス検出処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる２視点の高光量画像のうちの、被写体に向かって右側の撮像部により撮像された高光量画像を取得する。右目用生成部１０２は、取得された高光量画像からデプス検出用画像を生成し、右目用画像としてデプス検出部９２に供給する。
　デプス検出部９２（画像処理部）は、左目用生成部１０１から供給される左目用画像と右目用生成部１０２から供給される右目用画像とを用いて、デプス検出処理を行う。具体的には、デプス検出部９２は、左目用画像と右目用画像とのマッチング処理を行い、類似度が高い画素のペアの画像上の位置の差分をデプスとして検出する。このデプスは、撮像部と被写体との奥行き方向（光軸方向）の距離に対応する。
　ここで、左目用画像と右目用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、左目用画像と右目用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、デプス検出部９２は、左目用画像と右目用画像を用いてデプス検出処理を行うことにより、高精度のデプス検出処理を行うことが可能である。デプス検出部９２は、デプス検出処理の結果得られる各画素のデプスを表すデプスマップを表示装置１１に供給する。
　表示制御部９４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる２視点の高光量画像の明るさをそれぞれ調整し、その結果得られる高光量画像を表示装置１１に送信する。また、表示制御部９４は、カメラヘッド１９Ａから送信されてくる２視点の低光量画像をそのまま表示装置１１に送信する。
　表示装置１１は、必要に応じてデプス検出部９２から供給されるデプスマップを用いて、表示制御部９４から供給される２視点の高光量画像または低光量画像を３Ｄ表示する。以上により、表示装置１１に３Ｄ表示される２視点の術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
　第３実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が左目用画像および右目用画像に代わる点、ＡＦ制御処理がデプス検出処理に代わる点、および、高光量画像および低光量画像がデプス検出処理の結果に基づいて３Ｄ表示される点を除いて、図６の画像処理と同様であるので、説明は省略する。
　第３実施の形態のＣＣＵ１２は、デプス検出処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いてデプス検出処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いてデプス検出処理を行う場合に比べて、高精度のデプス検出処理を行うことができる。
　なお、第３実施の形態において、表示装置１１は、２視点のうちのいずれか一方の視点の高光量画像または低光量画像を２Ｄ表示するようにしてもよい。また、デプスマップは、表示装置１１ではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
　＜第４実施の形態＞
　（内視鏡手術システムの第４実施の形態における画像処理部の構成例）
　本開示を適用した内視鏡手術システムの第４実施の形態の構成は、ＡＦ制御処理の代わりに、術中画像内の被写体の動きを解析する動き解析処理が画像処理として行われる点を除いて、図１の構成と同一である。
　具体的には、第４実施の形態におけるＣＣＵの構成は、受付部３１がＡＦ制御処理ではなく動き解析処理を行うかどうかを判定する点、および、画像処理部３３の構成を除いて、図２の構成と同一である。
　受付部３１による動き解析処理を行うかどうかの判定は、例えば、カメラヘッド１９Ａが有する動き解析ボタンの術者等による押下が受け付けられたかどうかにより行われる。なお、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、ズーム倍率の変更、撮影モードの変更、光源装置１３から出射される光の波長の変更等を指示する操作を受け付けたかどうかにより、動き解析処理を行うかどうかの判定を行ってもよい。また、受付部３１は、ＡＦ制御処理を行うかどうかの判定と同様に、被写体と内視鏡１９との位置関係の変化や、前回の動き解析処理からの経過時間に基づいて、動き解析処理を行うかどうかの判定を行ってもよい。
　図９は、本開示を適用した内視鏡手術システムの第４実施の形態における画像処理部３３の構成例を示すブロック図である。
　図９に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図９の画像処理部３３の構成は、信号生成部５１、ＡＦ処理部５２、表示制御部５４の代わりに、信号生成部１２１、動き解析処理部１２２、表示制御部１２４が設けられる点が、図５の構成と異なる。図９の画像処理部３３は、画像処理として、ＡＦ制御処理ではなく、動き解析処理を行う。
　具体的には、画像処理部３３の信号生成部１２１は、受付部３１から供給される動き解析処理の開始の指令に応じて、カメラヘッド１９Ａから送信されてくる高光量画像から動き解析用画像を生成し、動き解析処理部１２２に供給する。
　動き解析処理部１２２は、信号生成部１２１から供給される動き解析用画像を保持する。動き解析処理部１２２（画像処理部）は、保持されている過去のフレームの動き解析用画像と現在のフレームの動き解析用画像とを用いて、動き解析処理を行う。具体的には、動き解析処理部１２２は、過去の動き解析用画像と現在の動き解析用画像とを用いてブロックマッチングや勾配法等を行うことにより、動き解析用画像に含まれる被写体の動きベクトルを検出し、保持する。動き解析処理部１２２は、各フレームの動きベクトルに基づいて動きベクトルの周期などを解析する。
　ここで、動き解析用画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された高光量画像から生成されたものである。従って、動き解析用画像は、アナログゲインの低下によりノイズが減少し、シャッタ速度の上昇により動きボケが低減された画像である。よって、動き解析処理部１２２は、動き解析用画像を用いて動き解析処理を行うことにより、高精度の動き解析処理を行うことが可能である。動き解析処理部１２２は、動き解析処理の結果得られる動きベクトルの周期などを表す解析情報を表示制御部１２４に供給する。
　表示制御部１２４は、ＡＥ処理部５３から供給される明るさの調整値に基づいて、カメラヘッド１９Ａから送信されてくる高光量画像の明るさを調整し、その結果得られる高光量画像を表示装置１１に送信して、表示装置１１に表示させる。また、表示制御部１２４は、カメラヘッド１９Ａから送信されてくる低光量画像をそのまま表示装置１１に送信して表示させる。以上により、表示装置１１に表示される術中画像の明るさは、光源装置１３から出射される光量の変化によらず一定となる。
　また、表示制御部１２４は、動き解析処理部１２２から供給される解析情報に基づいて、動きベクトルの周期が同一である被写体の領域を示す周期情報などを、表示装置１１に表示中の高光量画像または低光量画像に重畳する。
　第４実施の形態のＣＣＵ１２の画像処理は、ＡＦ用画像が動き解析用画像に代わる点、ＡＦ制御処理が動き解析処理に代わる点、および高光量画像および低光量画像に周期情報が重畳される点を除いて、図６の画像処理と同様であるので、説明は省略する。
　第４実施の形態のＣＣＵ１２は、動き解析処理を行う場合に光源装置１３が出射する光の光量を高光量に変更するので、高光量画像を用いて動き解析処理を行うことができる。従って、ＣＣＵ１２は、低光量画像を用いて動き解析処理を行う場合に比べて、高精度の動き解析処理を行うことができる。
　なお、第４実施の形態において、解析情報は、表示制御部７４で用いられるのではなく、ＣＣＵ１２が有する図示せぬ他の画像処理部に供給され、各種の画像処理に用いられてもよい。
　＜第５実施の形態＞
　（内視鏡手術システムの第５実施の形態における画像処理部の構成例）
　本開示を適用した内視鏡手術システムの第５実施の形態の構成は、光源制御部３２が、光源装置１３が出射する光の光量を、所定数のフレームの期間（以下、低光量期間という）の間隔で、その間隔より短い１以上のフレームの期間（以下、高光量期間という）だけデフォルト値から高光量に変更する点、および、画像処理部３３を除いて、図１の構成と同一である。
　具体的には、第５実施の形態におけるＣＣＵの構成は、光源制御部３２が、光源装置１３が出射する光の光量を、低光量期間の間隔で高光量期間だけデフォルト値から高光量に変更する点、受付部３１が設けられない点、および、画像処理部３３を除いて、図２の構成と同一である。
　図１０は、本開示を適用した内視鏡手術システムの第５実施の形態における画像処理部３３の構成例を示すブロック図である。
　図１０の画像処理部３３は、高光量画像取得部１４１、低光量画像取得部１４２、動き検出部１４３、および補間部１４４により構成される。
　画像処理部３３の高光量画像取得部１４１は、高光量期間にカメラヘッド１９Ａにより撮像され、送信されてくる高光量画像を取得し、補間部１４４に供給する。
　低光量画像取得部１４２は、低光量期間にカメラヘッド１９Ａにより撮像され、送信されてくる低光量画像を取得し、動き検出部１４３に供給する。
　動き検出部１４３は、低光量画像取得部１４２から供給される低光量画像を保持する。動き検出部１４３は、フレームごとに、保持されている１フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出する。動き検出部１４３は、各フレームの動きベクトルを補間部１４４に供給する。
　補間部１４４は、高光量画像取得部１４１から供給される高光量画像を最終的な術中画像として表示装置１１に出力して表示させるとともに、保持する。補間部１４４は、Joint Bilateral Filter や、Guided Filterなどを用いて、動き検出部１４３から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行うことにより、低光量画像のフレームの高光量画像を補間する補間画像を生成する。補間部１４４は、補間画像を最終的な術中画像として表示装置１１に出力して表示させる。以上により、最終的な術中画像は、全フレームの高光量画像と同等の画像となる。
　（高光量期間と低光量期間の例）
　図１１は、高光量期間と低光量期間の例を示す図である。
　図１１に示すように、第５実施の形態では、光源制御部３２は、低光量期間Ｔ２の間隔で、その間隔Ｔ２より短い１以上のフレームの高光量期間Ｔ３だけ、光源装置１３が出射する光の光量をデフォルト値から高光量に変更する。
　従って、高光量画像のフレーム数は、低光量画像に比べて少ない。即ち、高光量画像の時間方向の解像度は、低光量画像に比べて低い。しかしながら、高光量画像は、撮像制御部３５によりカメラヘッド１９Ａのアナログゲインが低下され、シャッタ速度が上昇された術中画像であり、ノイズおよび動きボケが低減された高精細な画像である。
　一方、低光量画像のフレーム数は、高光量画像に比べて多い。即ち、低光量画像の時間方向の解像度は、高光量画像に比べて高い。しかしながら、ノイズおよび動きボケが多い低精細な画像である。
　従って、第５実施の形態では、動き検出部１４３が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部１４４が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行う。これにより、高精細でハイフレームレートの高光量画像が生成される。
　（内視鏡手術システムの画像処理の説明）
　図１２は、第５実施の形態におけるＣＣＵ１２の画像処理を説明するフローチャートである。この画像処理は、例えば、カメラヘッド１９Ａによる術中画像の撮像および光源装置１３による光の照射が開始されたとき、開始される。
　図１２のステップＳ３１において、画像処理部３３の高光量画像取得部１４１（図１０）は、現在のフレームが高光量期間のフレームであるかどうかを判定する。ステップＳ３１で現在のフレームが高光量期間のフレームであると判定された場合、ステップＳ３２において、高光量画像取得部１４１は、カメラヘッド１９Ａにより撮像され、送信されてくる高光量画像を取得する。高光量画像取得部１４１は、高光量画像を補間部１４４に供給する。
　ステップＳ３３において、補間部１４４は、高光量画像取得部１４１から供給される高光量画像を保持するとともに、そのまま最終的な術中画像として表示装置１１に出力し、表示させる。そして、処理はステップＳ３８に進む。
　一方、ステップＳ３１で現在のフレームが高光量期間のフレームではないと判定された場合、ステップＳ３４において、低光量画像取得部１４２は、カメラヘッド１９Ａにより撮像され、送信されてくる低光量画像を取得する。高光量画像取得部１４１は、低光量画像を動き検出部１４３に供給し、動き検出部１４３は、その低光量画像を保持する。
　ステップＳ３５において、動き検出部１４３は、保持されている１フレーム前の低光量画像と現在のフレームの低光量画像とを用いて、被写体の動きベクトルを検出し、補間部１４４に供給する。
　ステップＳ３６において、補間部１４４は、動き検出部１４３から供給される動きベクトルに基づいて、保持されている高光量画像に対して動き補償を行い、その動きベクトルに対応する低光量画像のフレームの補間画像を生成する。
　ステップＳ３７において、補間部１４４は、補間画像を最終的な術中画像として表示装置１１に出力して表示させる。そして、処理はステップＳ３８に進む。
　ステップＳ３８において、ＣＣＵ１２は、カメラヘッド１９Ａによる術中画像の撮像が終了したかどうかを判定する。ステップＳ３８で術中画像の撮像が終了していないと判定された場合、処理はステップＳ３１に戻り、以降の処理が繰り返される。
　一方、ステップＳ３８で術中画像の撮像が終了したと判定された場合、処理は終了する。
　以上のように、第５実施の形態では、動き検出部１４３が、時間方向の解像度が高い低光量画像を用いて各フレームの動きベクトルを検出し、補間部１４４が、その動きベクトルに基づいて、高精細な高光量画像に対して動き補償を行うことにより、補間を行う。従って、高光量画像のみを用いて補間を行う場合に比べて高精度の補間を行うことができる。また、低光量画像のみを用いて補間を行う場合に比べて高精細な補間画像を生成することができる。
　その結果、光源装置１３が出射する光の光量が常に高光量である場合と同等の全フレームの術中画像を表示装置１１に表示させることができる。従って、表示装置１１に表示される術中画像の明るさは一定である。
　また、第５実施の形態において、光源制御部３２は、高光量期間だけ光源装置１３が出射する光の光量をデフォルト値から高光量に変更するので、常に高光量にされる場合に比べて平均光量を低下させることができる。従って、内視鏡手術システムの省電力化および低コスト化を図ることができる。また、光源装置１３から照射された光により発生する熱量を抑制することができるため、腹部３０へのダメージを軽減することができる。
　＜第６実施の形態＞
　（本開示を適用したコンピュータの説明）
　上述したＣＣＵ１２の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１３は、上述したＣＣＵ１２の一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
　バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、画像処理部３３による画像処理は、ＡＦ制御処理、物体認識処理、デプス検出処理、動き解析処理、補間処理以外の処理であってもよいし、画像処理部３３は、複数の画像処理を行うようにしてもよい。また、光量の種類は、３以上の種類であってもよい。さらに、第１乃至第４実施の形態において、画像処理に必要な術中画像を撮像する期間以外の期間にも、光源装置１３が高光量の光を出射するようにしてもよい。
　なお、本開示は、以下のような構成もとることができる。
　（１）
　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
　を備える手術システム。
　（２）
　前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第２の光量に変更する
　ように構成された
　前記（１）に記載の手術システム。
　（３）
　前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、撮像ゲインを低下させる
　ように構成された
　前記（１）または（２）に記載の手術システム。
　（４）
　前記表示制御部は、前記第２の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
　ように構成された
　前記（３）に記載の手術システム。
　（５）
　前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、露光時間を短縮する
　ように構成された
　前記（１）乃至（４）のいずれかに記載の手術システム。
　（６）
　前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
　ように構成された
　前記（１）乃至（５）のいずれかに記載の手術システム。
　（７）
　前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
　ように構成された
　前記（１）乃至（５）のいずれかに記載の手術システム。
　（８）
　前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
　ように構成された
　前記（１）乃至（５）のいずれかに記載の手術システム。
　（９）
　前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
　ように構成された
　前記（１）乃至（５）のいずれかに記載の手術システム。
　（１０）
　前記被写体に光を照射する光源部
　をさらに備える
　前記（１）乃至（９）のいずれかに記載の手術システム。
　（１１）
　手術システムが、
　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
　を含む手術用制御方法。
　（１２）
　コンピュータを、
　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
　して機能させるためのプログラム。
　（１３）
　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
　を備える手術システム。
　（１４）
　前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第２の光量に変更する
　ように構成された
　前記（１３）に記載の手術システム。
　（１５）
　前記画像処理部は、
　前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
　前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
　を備える
　前記（１３）または（１４）に記載の手術システム。
　（１６）
　前記被写体に光を照射する光源部
　をさらに備える
　前記（１３）乃至（１５）のいずれかに記載の手術システム。
　（１７）
　手術システムが、
　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
　を含む手術用制御方法。
　（１８）
　コンピュータを、
　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
　して機能させるためのプログラム。
　１０　内視鏡手術システム,　１１　表示装置,　１２　ＣＣＵ,　１３　光源装置,　１９　内視鏡,　３２　光源制御部,　３３　画像処理部,　５２　ＡＦ処理部,　５４　表示制御部,　１４４　補間部

Claims (18)

  1. 　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
    　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
    　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
    　を備える手術システム。
  2. 　前記光源制御部は、前記画像処理が行われる場合にのみ前記光量を前記第２の光量に変更する
    　ように構成された
    　請求項１に記載の手術システム。
  3. 　前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、撮像ゲインを低下させる
    　ように構成された
    　請求項１に記載の手術システム。
  4. 　前記表示制御部は、前記第２の光量と前記撮像ゲインに基づいて前記高光量画像の明るさを調整する
    　ように構成された
    　請求項３に記載の手術システム。
  5. 　前記手術用撮像装置は、前記光量が前記第２の光量に変更されたとき、露光時間を短縮する
    　ように構成された
    　請求項１に記載の手術システム。
  6. 　前記画像処理部は、前記高光量画像を用いて前記手術用撮像装置のフォーカスを制御するフォーカス制御処理を行う
    　ように構成された
    　請求項１に記載の手術システム。
  7. 　前記画像処理部は、前記高光量画像を用いて前記高光量画像内の物体を認識する物体認識処理を行う
    　ように構成された
    　請求項１に記載の手術システム。
  8. 　前記画像処理部は、前記高光量画像を用いて前記高光量画像のデプスを検出するデプス検出処理を行う
    　ように構成された
    　請求項１に記載の手術システム。
  9. 　前記画像処理部は、前記高光量画像を用いて前記高光量画像内の被写体の動きを解析する動き解析処理を行う
    　ように構成された
    　請求項１に記載の手術システム。
  10. 　前記被写体に光を照射する光源部
    　をさらに備える
    　請求項１に記載の手術システム。
  11. 　手術システムが、
    　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
    　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理ステップと、
    　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御ステップと
    　を含む手術用制御方法。
  12. 　コンピュータを、
    　手術用撮像装置により撮像される被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
    　前記光量が前記第２の光量である状態で前記手術用撮像装置により撮像された術中画像である高光量画像を用いて画像処理を行う画像処理部と、
    　前記第２の光量に基づいて前記高光量画像の明るさを調整して表示画像を生成し、前記表示画像を表示装置に表示させる表示制御部と
    　して機能させるためのプログラム。
  13. 　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
    　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
    　を備える手術システム。
  14. 　前記光源制御部は、前記所定の間隔より短い期間だけ、前記光量を前記第２の光量に変更する
    　ように構成された
    　請求項１３に記載の手術システム。
  15. 　前記画像処理部は、
    　前記低光量画像を用いて前記被写体の動きを検出する動き検出部と、
    　前記動き検出部により検出された前記動きに基づいて、前記高光量画像に対して動き補償を行うことにより、前記高光量画像を補間する補間画像を生成し、前記補間画像と前記高光量画像とを前記最終的な術中画像として出力する補間部と
    　を備える
    　請求項１３に記載の手術システム。
  16. 　前記被写体に光を照射する光源部
    　をさらに備える
    　請求項１３に記載の手術システム。
  17. 　手術システムが、
    　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御ステップと、
    　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理ステップと
    　を含む手術用制御方法。
  18. 　コンピュータを、
    　所定の間隔で、手術用撮像装置の被写体に照射する光の光量を、第１の光量から前記第１の光量より多い第２の光量に変更する光源制御部と、
    　前記光量が前記第１の光量であるときに前記手術用撮像装置により撮像された術中画像である低光量画像と、前記光量が前記第２の光量に変更されたときに前記手術用撮像装置により撮像された術中画像である高光量画像とを用いて、最終的な術中画像を生成する画像処理部と
    　して機能させるためのプログラム。
PCT/JP2016/082215 2015-11-13 2016-10-31 手術システム、手術用制御方法、およびプログラム WO2017082091A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/772,606 US20190117052A1 (en) 2015-11-13 2016-10-31 Surgical system, surgical control method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-222898 2015-11-13
JP2015222898A JP2017086648A (ja) 2015-11-13 2015-11-13 手術システム、手術用制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2017082091A1 true WO2017082091A1 (ja) 2017-05-18

Family

ID=58695355

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/082215 WO2017082091A1 (ja) 2015-11-13 2016-10-31 手術システム、手術用制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20190117052A1 (ja)
JP (1) JP2017086648A (ja)
WO (1) WO2017082091A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018225346A1 (ja) * 2017-06-05 2018-12-13 ソニー株式会社 医療用システム及び制御ユニット
JP2021081290A (ja) * 2019-11-19 2021-05-27 ソニーグループ株式会社 測距装置及び測距方法

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63163809A (ja) * 1986-12-26 1988-07-07 Olympus Optical Co Ltd 内視鏡装置
JPH06261256A (ja) * 1993-03-04 1994-09-16 Fuji Photo Optical Co Ltd 固体撮像素子を用いた撮像装置
JPH11244229A (ja) * 1998-02-27 1999-09-14 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH11261901A (ja) * 1998-03-12 1999-09-24 Nec Corp 固体撮像装置の駆動方法
JP2006149939A (ja) * 2004-12-01 2006-06-15 Pentax Corp 内視鏡用光源装置
JP2006149933A (ja) * 2004-12-01 2006-06-15 Pentax Corp 内視鏡装置
JP2008029621A (ja) * 2006-07-28 2008-02-14 Olympus Medical Systems Corp 内視鏡装置及びその撮像方法
JP2008049168A (ja) * 2006-08-25 2008-03-06 Carl Zeiss Surgical Gmbh 照明装置を備えた手術用顕微鏡
JP2008229210A (ja) * 2007-03-23 2008-10-02 Hoya Corp 電子内視鏡システムの画像処理プロセッサ
JP2009045366A (ja) * 2007-08-22 2009-03-05 Olympus Medical Systems Corp 内視鏡
JP2009125297A (ja) * 2007-11-22 2009-06-11 Olympus Medical Systems Corp 内視鏡システム
JP2012146555A (ja) * 2011-01-13 2012-08-02 Shoichi Nakamura 医療用光源装置
WO2013084521A1 (ja) * 2011-12-06 2013-06-13 日本エー・シー・ピー株式会社 医療用光源装置
JP2013183912A (ja) * 2012-03-08 2013-09-19 Olympus Corp 画像要約装置及びプログラム
JP2014226231A (ja) * 2013-05-21 2014-12-08 Hoya株式会社 内視鏡装置
JP2015000093A (ja) * 2013-06-13 2015-01-05 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2015008782A (ja) * 2013-06-27 2015-01-19 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63163809A (ja) * 1986-12-26 1988-07-07 Olympus Optical Co Ltd 内視鏡装置
JPH06261256A (ja) * 1993-03-04 1994-09-16 Fuji Photo Optical Co Ltd 固体撮像素子を用いた撮像装置
JPH11244229A (ja) * 1998-02-27 1999-09-14 Fuji Photo Optical Co Ltd 電子内視鏡装置
JPH11261901A (ja) * 1998-03-12 1999-09-24 Nec Corp 固体撮像装置の駆動方法
JP2006149939A (ja) * 2004-12-01 2006-06-15 Pentax Corp 内視鏡用光源装置
JP2006149933A (ja) * 2004-12-01 2006-06-15 Pentax Corp 内視鏡装置
JP2008029621A (ja) * 2006-07-28 2008-02-14 Olympus Medical Systems Corp 内視鏡装置及びその撮像方法
JP2008049168A (ja) * 2006-08-25 2008-03-06 Carl Zeiss Surgical Gmbh 照明装置を備えた手術用顕微鏡
JP2008229210A (ja) * 2007-03-23 2008-10-02 Hoya Corp 電子内視鏡システムの画像処理プロセッサ
JP2009045366A (ja) * 2007-08-22 2009-03-05 Olympus Medical Systems Corp 内視鏡
JP2009125297A (ja) * 2007-11-22 2009-06-11 Olympus Medical Systems Corp 内視鏡システム
JP2012146555A (ja) * 2011-01-13 2012-08-02 Shoichi Nakamura 医療用光源装置
WO2013084521A1 (ja) * 2011-12-06 2013-06-13 日本エー・シー・ピー株式会社 医療用光源装置
JP2013183912A (ja) * 2012-03-08 2013-09-19 Olympus Corp 画像要約装置及びプログラム
JP2014226231A (ja) * 2013-05-21 2014-12-08 Hoya株式会社 内視鏡装置
JP2015000093A (ja) * 2013-06-13 2015-01-05 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
JP2015008782A (ja) * 2013-06-27 2015-01-19 オリンパス株式会社 画像処理装置、内視鏡装置及び画像処理方法

Also Published As

Publication number Publication date
US20190117052A1 (en) 2019-04-25
JP2017086648A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
US11216941B2 (en) Medical image processing apparatus, medical image processing method, and program
CN110099599B (zh) 医学图像处理设备、医学图像处理方法和程序
US11457801B2 (en) Image processing device, image processing method, and endoscope system
WO2018079259A1 (ja) 信号処理装置および方法、並びにプログラム
US11744440B2 (en) Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
CN107847107B (zh) 医疗用观察装置与医疗用观察方法
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2017082091A1 (ja) 手術システム、手術用制御方法、およびプログラム
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
WO2018173605A1 (ja) 手術用制御装置、制御方法、手術システム、およびプログラム
WO2021020132A1 (ja) 内視鏡手術システム、画像処理装置、および画像処理方法
WO2021140923A1 (ja) 医療画像生成装置、医療画像生成方法および医療画像生成プログラム
US11523065B2 (en) Imaging device and gain setting method
JP7140113B2 (ja) 内視鏡
JP6344608B2 (ja) 画像処理装置、画像処理方法、プログラム、及び、手術システム
JPWO2018179875A1 (ja) 撮像装置とフォーカス制御方法およびフォーカス判定方法
US11676242B2 (en) Image processing apparatus and image processing method
WO2022249572A1 (ja) 画像処理装置、画像処理方法及び記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16864054

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16864054

Country of ref document: EP

Kind code of ref document: A1