WO2017073361A1 - 情報処理装置、情報処理方法、及び、内視鏡システム - Google Patents

情報処理装置、情報処理方法、及び、内視鏡システム Download PDF

Info

Publication number
WO2017073361A1
WO2017073361A1 PCT/JP2016/080496 JP2016080496W WO2017073361A1 WO 2017073361 A1 WO2017073361 A1 WO 2017073361A1 JP 2016080496 W JP2016080496 W JP 2016080496W WO 2017073361 A1 WO2017073361 A1 WO 2017073361A1
Authority
WO
WIPO (PCT)
Prior art keywords
mode
image
processing
processing mode
information processing
Prior art date
Application number
PCT/JP2016/080496
Other languages
English (en)
French (fr)
Inventor
白木　寿一
真人 山根
高橋　健治
丈士 上森
健太郎 深沢
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/761,438 priority Critical patent/US10722106B2/en
Priority to EP16859591.6A priority patent/EP3369362B1/en
Priority to CN201680061702.8A priority patent/CN108348143B/zh
Priority to JP2017547730A priority patent/JP6888551B2/ja
Publication of WO2017073361A1 publication Critical patent/WO2017073361A1/ja
Priority to US16/929,693 priority patent/US11744440B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes

Definitions

  • the present technology relates to an information processing device, an information processing method, and an endoscope system, and in particular, an information processing device, an information processing method, and an information processing method that can provide an optimal video to an operator according to a surgical scene.
  • the present invention also relates to an endoscope system.
  • an imaging system capable of pixel shifting is used as an imaging system for an endoscope, depending on a surgical scene.
  • it is not suitable to provide a high-definition image, and it has been required to provide an operator with an optimal image according to a surgical scene.
  • This technology has been made in view of such a situation, and is intended to provide an operator with an optimal image according to a surgical scene.
  • An information processing apparatus includes a processing mode determination unit that determines a processing mode for an in-vivo image captured by an imaging apparatus having an imaging element that is arranged so that pixel shifting processing can be performed according to a surgical scene;
  • the information processing apparatus includes: a processing unit that processes an image output from the imaging apparatus according to the processing mode.
  • An information processing method is an information processing method of an information processing device, in which the information processing device is imaged by an imaging device having an imaging element that is arranged so that pixel shifting processing can be performed according to a surgical scene.
  • An information processing method including a step of determining a processing mode for an in-vivo image and processing an image output from the imaging device according to the processing mode.
  • An endoscope system is an endoscope system including an endoscope and an information processing device.
  • the endoscope includes an imaging element disposed so as to be able to perform pixel shift processing, and the imaging
  • a control unit that controls an element, and the information processing apparatus determines a processing mode for an in-vivo image captured by the endoscope according to a surgical scene, and according to the processing mode.
  • a processing unit that processes an image output from the endoscope, and the control unit is an endoscope system that controls the image sensor in accordance with the processing mode.
  • a processing mode for the image is determined, and an image output from the imaging device is processed according to the processing mode.
  • FIG. 1 It is a figure showing an embodiment of an endoscopic operation system to which the present technology is applied. It is a figure which shows the detailed structural example of CCU and endoscope in 1st Embodiment. It is a figure explaining the outline
  • FIG. 3 is a flowchart illustrating a flow of image composition processing according to the first embodiment. It is a figure which shows the detailed structural example of CCU and endoscope in 2nd Embodiment. It is a flowchart explaining the flow of the image composition process of 2nd Embodiment. It is a figure which shows the structural example of a computer.
  • FIG. 1 is a diagram illustrating an embodiment of an endoscopic surgery system to which the present technology is applied.
  • the endoscopic surgery system 10 is a system for assisting an operator who performs an endoscopic operation on an affected part included in an abdomen 30 of a patient lying in a patient bed 20, for example, in an operating room. is there.
  • an endoscopic surgery system 10 is equipped with a CCU (Camera ⁇ Control Unit) 101, a light source device 102, a treatment instrument device 103, an insufflation device 104, a display device 105, a recorder 106, and a printer 107.
  • a cart 11 is provided.
  • the endoscopic surgery system 10 includes an endoscope (laparoscope) 111, an energy treatment tool 112, and a foot switch 121.
  • instruments such as trocars 131 to 134 and forceps 135 are used by an operator or the like at the time of surgery.
  • the CCU 101 is connected to the endoscope 111 via a camera cable. Note that the CCU 101 may be connected to the endoscope 111 wirelessly.
  • the CCU 101 receives an intraoperative image captured by the endoscope 111 and transmitted via a camera cable, and supplies it to the display device 105.
  • the display device 105 is configured by a stationary 2D display, a head mounted display, or the like.
  • the display device 105 displays an intraoperative image or the like supplied from the CCU 101. Further, the CCU 101 supplies the received intraoperative image to the recorder 106 or the printer 107 as necessary.
  • the light source device 102 is connected to the endoscope 111 via a light guide cable.
  • the light source device 102 switches light of various wavelengths and emits it to the endoscope 111.
  • the treatment instrument device 103 is a high-frequency output device, and is connected to the energy treatment instrument 112 and the foot switch 121 via a cable.
  • the treatment instrument device 103 outputs a high-frequency current to the energy treatment instrument 112 in accordance with an operation signal supplied from the foot switch 121.
  • the insufflation apparatus 104 includes an air supply unit and an intake unit, and supplies air into the abdomen 30 through a hole of the trocar 133 that is an opening device attached to the abdominal wall of the abdomen 30.
  • the recorder 106 records an intraoperative image supplied from the CCU 101.
  • the printer 107 prints the intraoperative image supplied from the CCU 101.
  • the endoscope 111 includes an imaging unit and an optical system such as an illumination lens.
  • the endoscope 111 is inserted into the abdomen 30 as an operation target through a hole of a trocar 131 attached to the abdominal wall of the abdomen 30.
  • the optical system of the endoscope 111 irradiates the light emitted from the light source device 102 to the inside of the abdomen 30, and the imaging unit captures an image inside the abdomen 30 as an intraoperative image.
  • the endoscope 111 supplies intraoperative images to the CCU 101 via a camera cable.
  • the intraoperative image captured by the endoscope 111 is displayed on the display device 105, the surgeon can view the image inside the abdomen 30 in real time, for example, by using the energy treatment tool 112 in the abdomen 30. Treatment such as excision of the affected area can be performed.
  • the energy treatment instrument 112 is configured by an electric knife or the like.
  • the energy treatment device 112 is inserted into the abdomen 30 through a hole in the trocar 132 attached to the abdominal wall of the abdomen 30.
  • the energy treatment device 112 denatures or cuts the inside of the abdomen 30 using electric heat.
  • the forceps 135 is inserted into the abdomen 30 through a hole in the trocar 134 attached to the abdominal wall of the abdomen 30.
  • the forceps 135 grips the inside of the abdomen 30.
  • the endoscope 111, the energy treatment tool 112, and the forceps 135 are grasped by an operator, an assistant, a scoop, a robot, or the like.
  • the foot switch 121 accepts an operation by the foot of an operator or assistant.
  • the foot switch 121 supplies an operation signal representing the accepted operation to the CCU 101 and the treatment instrument device 103. That is, the foot switch 121 controls the CCU 101, the treatment instrument device 103, and the like, triggered by an operation by the foot of an operator or an assistant.
  • the endoscopic surgery system 10 is configured as described above. By using the endoscopic surgery system 10, the surgeon can remove the affected part in the abdomen 30 without performing an abdominal operation in which the abdominal wall is cut and opened.
  • the configuration of the CCU 101 and the endoscope 111 will be mainly described. Further, in the CCU 101 and the endoscope 111, processing is performed according to a processing mode determined according to a surgical scene.
  • the processing mode is determined according to an external signal and according to scene recognition. May be. Therefore, in the following description, the determination of the processing mode using an external signal is first described as the first embodiment, and then the determination of the processing mode by scene recognition is performed as the second embodiment. explain.
  • FIG. 2 is a diagram illustrating a detailed configuration example of the CCU 101 and the endoscope 111 according to the first embodiment.
  • the CCU 101 includes a processing mode determination unit 151 and an image composition unit 152.
  • the endoscope 111 includes a sensor 161 and a sensor control unit 162.
  • the processing mode determination unit 151 determines a processing mode corresponding to the surgical scene according to an external signal input from the outside of the CCU 101.
  • the processing mode determination unit 151 supplies the determined processing mode to the image composition unit 152 and the sensor control unit 162 of the endoscope 111.
  • the external signal includes, for example, an operation signal corresponding to a processing mode switching operation by an operator or an assistant.
  • an operation signal corresponding to a processing mode switching operation by an operator or an assistant.
  • the operation signal is input to the processing mode determination unit 151 as an external signal.
  • the external signal includes a light source switching signal supplied from the light source device 102 (FIG. 1).
  • the switching signal is a processing mode determination unit 151 as an external signal. To be entered.
  • the external signal includes a signal indicating ON / OFF of the power supply of the energy treatment tool 112 such as an electric knife connected to the treatment tool device 103 (FIG. 1) via a cable.
  • a signal indicating the on / off is input to the processing mode determination unit 151 as an external signal.
  • the processing mode determination unit 151 stores a table (hereinafter referred to as a correspondence table) in which an operation scene is associated with a processing mode.
  • a correspondence table a table in which an operation scene is associated with a processing mode.
  • the correspondence table includes the operation scenes such as narrow-band light observation (NBI), fluorescence observation, stitching and peeling, high-definition mode and HFR. It is associated with a processing mode such as (High Frame Rate) mode.
  • This processing mode includes the processing details of image processing, such as the presence or absence of pixel shift processing, the frame rate (unit: fps (frame per second)) of the output image (operative image), and the resolution of the output image (operative image).
  • the mode corresponding to is set.
  • the sensor control unit 162 controls the sensor 161 based on the processing mode supplied from the processing mode determination unit 151. In addition, the sensor control unit 162 supplies the image signal supplied from the sensor 161 to the image composition unit 152 of the CCU 101 via the camera cable.
  • the sensor 161 is a solid-state imaging device (imaging device) such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor or a CCD (Charge Coupled Device) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • CCD Charge Coupled Device
  • the sensor 161 includes an image array unit in which a plurality of pixels each having a photoelectric conversion element (photodiode) to which light from a lens is incident is arranged, pixel driving, and A / D (Analog / Digital) conversion. It is composed of a peripheral circuit unit that performs the above.
  • the sensor 161 photoelectrically converts light that passes through the lens and forms an image on the light receiving surface by a photoelectric conversion element, and performs predetermined signal processing on the image signal (image signal of an in-vivo image). This is supplied to the controller 162.
  • a single-plate sensor 161 (hereinafter also referred to as a sensor 161-1) or a three-plate sensor 161 (hereinafter also referred to as a sensor 161-3) is used.
  • the single plate type is a method in which one sensor (solid-state imaging device) having RGB pixels is used as the sensor 161-1.
  • the three-plate type is a method using three sensors (solid-state imaging devices) each having a pixel for each RGB component as the sensor 161-3.
  • the imaging system of the endoscope 111 can employ a pixel shift processing technique. By using this pixel shifting technique, a higher-definition image can be acquired.
  • the method of shifting the single plate type sensor 161-1 (one sensor) in terms of time is referred to as single plate pixel shift. Called.
  • an optical phase shift is caused by the three-plate sensor 161-3 (three sensors corresponding to RGB components).
  • the method of simultaneously imaging each plane with a three-plate sensor 161-3 (three sensors corresponding to RGB components) in a state where the RGB phases are shifted is generated by shifting the pixels by three plates. Called.
  • the sensor control unit 162 determines the single-plate sensor 161-1 according to the processing mode supplied from the processing mode determination unit 151. Controls the single pixel shift in.
  • the sensor control unit 162 moves the single-plate sensor 161-1 in units of pixels by controlling a drive unit such as a piezo drive device, for example. Like that.
  • the sensor control unit 162 performs shutter control of the endoscope 111 according to the processing mode.
  • the image composition unit 152 is supplied with an image signal from the sensor control unit 162 of the endoscope 111 via a camera cable.
  • the image composition unit 152 performs predetermined image processing on the image signal from the sensor control unit 162 based on the processing mode supplied from the processing mode determination unit 151, and outputs it as an output image (intraoperative image).
  • the image synthesis unit 152 when the single-plate sensor 161-1 is used in the imaging system of the endoscope 111, the image synthesis unit 152, for example, outputs an image signal output from the single-plate sensor 161-1 (one sensor). Predetermined image processing according to the processing mode, such as addition processing, is performed. Further, for example, in the case of using the three-plate sensor 161-3 in the imaging system of the endoscope 111, the image composition unit 152 starts from the three-plate sensor 161-3 (three sensors corresponding to RGB components). Predetermined image processing is performed according to the processing mode, such as processing for combining output image signals.
  • the processing mode such as processing for combining output image signals.
  • the CCU 101 and the endoscope 111 are configured as described above.
  • the single-plate sensor 161-1 is used as the imaging system of the endoscope 111 and a case where the three-plate sensor 161-3 is used will be described in order.
  • FIG. 3 is a diagram for explaining the outline of the single-plate pixel shifting method.
  • FIG. 3A and 3B two examples of a single-plate pixel shifting method in which one solid-state imaging device is shifted in time are shown in FIG.
  • 4 ⁇ 4 pixels are representatively illustrated among a plurality of pixels that are two-dimensionally arranged on the light receiving surface of a single-plate sensor 161-1 (solid-state imaging device).
  • R is described for the R pixel from which a red (R) image signal can be obtained.
  • G is described for a G pixel that can obtain a green (G) image signal, and
  • B is described for a B pixel that can obtain a blue (B) image signal. ing.
  • the numbers 1 to 4 described in each pixel represent the number of times of imaging. For example, four pixels in an odd-numbered row and an odd-numbered column, that is, a pixel G1, a pixel Image signals corresponding to R1, pixel B1, and pixel G1 are obtained by the first imaging. If attention is paid to these four pixels, the pixels G1 are arranged in a checkered pattern, and in the remaining portion, the pixels R1 and the pixels B1 are alternately arranged in each column.
  • the single-plate sensor 161-1 is moved by one pixel in the right direction (row direction) in the figure, so that four pixels in an odd number row and an even number column in a Bayer array, that is, a pixel Image signals corresponding to G2, pixel R2, pixel B2, and pixel G2 are obtained by the second imaging.
  • the single-plate sensor 161-1 is moved by one pixel in the diagonally downward left direction in the figure, so that four pixels in an odd-numbered column in an even-numbered row, that is, a Bayer array, that is, a pixel Image signals corresponding to G3, pixel R3, pixel B3, and pixel G3 are obtained by the third imaging.
  • the single-plate sensor 161-1 is moved by one pixel in the right direction (row direction) in the figure, so that four pixels in an even column in a Bayer array, that is, four pixels, ,
  • the image signal corresponding to the pixel G4, the pixel R4, the pixel B4, and the pixel G4 is obtained by the fourth imaging.
  • the single-plate sensor 161-1 solid-state imaging device
  • the imaging is repeated a total of four times at each position. Since an image signal corresponding to four times of imaging is obtained from the pixel, the resolution of the output image can be quadrupled.
  • the numbers 1 to 4 described in each pixel represent the number of times of imaging, and the four pixels in the upper left, that is, the Bayer array, that is, the pixel G1, Image signals corresponding to the pixel R1, the pixel B1, and the pixel G1 are obtained by the first imaging.
  • the single-plate sensor 161-1 is moved by two pixels in the right direction (row direction) in the figure, so that the four pixels on the upper right that become the Bayer array, that is, the pixel G2 and the pixel R2
  • the image signals corresponding to the pixel B2 and the pixel G2 are obtained by the second imaging.
  • the single-plate sensor 161-1 is moved by two pixels in the diagonally downward left direction in the figure, so that the four pixels on the lower left, that is, the Bayer array, that is, the pixel G3 and the pixel R3
  • the image signals corresponding to the pixel B3 and the pixel G3 are obtained by the third imaging.
  • the single-plate sensor 161-1 is moved by two pixels in the right direction (row direction) in the drawing, so that the four pixels on the lower right that form the Bayer array, that is, the pixel G4
  • the image signals corresponding to the pixel R4, the pixel B4, and the pixel G4 are obtained by the fourth imaging.
  • the single-plate sensor 161-1 solid-state imaging device
  • the imaging is repeated a total of four times at each position. Since an image signal corresponding to four times of imaging is obtained from the pixel, the resolution of the output image can be quadrupled.
  • the single plate pixel shifting method A in FIG. 3A and the single plate pixel shifting method B in FIG. 3B are examples of single plate pixel shifting of the single plate sensor 161-1, and other methods are employed. Then, the single plate pixel shift of the single plate type sensor 161-1 may be performed.
  • FIG. 4 is a diagram illustrating an example of a correspondence table when the single-plate sensor 161-1 is used in the imaging system of the endoscope 111.
  • the correspondence table in FIG. 4 is a table in which a surgical scene and a processing mode are associated with each other when the single-plate sensor 161-1 is used.
  • normal mode high-definition mode
  • HFR High Frame Rate
  • NR Noise Noise Reduction
  • the normal mode is a mode in which an image (data) captured at 60 fps is output at 60 fps without performing single-plate pixel shifting.
  • imaging is performed only at the position of the pixel in which the number 1 is described, that is, the pixel G1, the pixel R1, the pixel B1, and the pixel G1.
  • An output image obtained from the image signal output from the pixel is output at 60 fps.
  • the high-definition mode is a mode in which a high-definition image (data) with a single pixel shift and a quadruple resolution is output at 60 fps.
  • the single-plate sensor 161-1 is shifted in units of pixels to the position of the pixel in which the numbers 1 to 4 are described for 1/60 second.
  • a high-definition image having a resolution four times that of the normal mode or the like is generated and output as an output image at 60 fps. That is, in this high-definition mode, the single-plate pixel shift shown in FIG. 3 is performed, and an output image with a higher resolution can be output compared to the other modes.
  • HD High Definition
  • UHD such as 4K resolution (for example, 3840 ⁇ 2160) and 8K resolution (for example, 7680 ⁇ 4320) (Ultra ⁇ High Definition) video is also included.
  • the HFR mode is a mode in which the single plate pixel shift is not performed, the image is obtained four times within 1/60 seconds, and the image (data) obtained thereby is output at 240 fps.
  • a of FIG. 3 or B of FIG. 3
  • NR mode is a mode that does not perform single-plate pixel shifting, captures 4 times in 1/60 seconds, adds the 4 images (data) obtained, and outputs at 60 fps. It is.
  • a of FIG. 3 or B of FIG. 3
  • this NR mode it is possible to output an output image with less noise than in other modes.
  • each operation scene is associated with these processing modes. That is, a processing mode that is a high-definition mode or an NR mode is associated with a narrow-band light observation (NBI) and fluorescence observation scene.
  • the stitching scene is associated with a processing mode that is a high-definition mode.
  • the processing mode that is the HFR mode is associated with the scene of the scope movement. Further, a processing mode that is a high-definition mode is associated with a careful separation scene, while a processing mode that is an HFR mode is associated with a normal separation scene.
  • a normal mode is associated with a surgical scene other than the above, that is, a scene other than a narrow-band light observation, fluorescence observation, stitching, scope movement, careful peeling, and normal peeling scene.
  • the correspondence table in FIG. 4 provides an image (high frame rate image) in which the movement looks smoother by the HFR mode, for example, in a scene where the scope is moving greatly, such as scope movement, or in a normal peeling scene. To be. Thereby, for example, fatigue of an operator or an assistant can be reduced.
  • an appropriate processing mode corresponding to the surgical scene is determined by the correspondence table in FIG.
  • the processing mode determination unit 151 of the CCU 101 stores the correspondence table (FIG. 4) in advance, so that it corresponds to the surgical scene specified by the external signal. The processing mode is determined.
  • FIG. 5 is a diagram for explaining the outline of the three-plate pixel shifting method.
  • the light passing through the lens is divided into R component, G component, and B component by a prism, and a sensor 161- 1 corresponding to each component is divided.
  • the R, sensor 161-G, and sensor 161-B receive light to output an image signal of each component from each sensor.
  • FIG. 5A as a three-plate sensor 161-3, a sensor 161-R that receives R component light, a sensor 161-G that receives G component light, and a B component light are received.
  • a configuration having the sensor 161-B is illustrated.
  • the three-plate sensor 161 uses the dedicated sensors (sensor 161-R, sensor 161-G, and sensor 161-B) for each of the three primary colors of RGB, so that color reproducibility and resolution are improved. There is a merit that it is excellent.
  • the sensor 161-R is shown on the basis of the sensor 161-G.
  • the sensor 161-B is shifted by 1/2 pixel in the right direction (row direction) in the figure while being shifted by 1/2 pixel in the middle downward direction (column direction).
  • FIG. 6 is a diagram illustrating an example of a correspondence table when the three-plate sensor 161-3 is used in the imaging system of the endoscope 111.
  • the correspondence table in FIG. 6 is a table in which a surgical scene and a processing mode are associated with each other when the three-plate sensor 161 is used as ⁇ 3.
  • the high-definition mode is a mode in which each RGB plane is imaged at the same timing, a high-definition image is generated from the RGB plane image, and output as an output image at 60 fps.
  • pixels exist by a linear filter (Linear Filter) or a general bicubic filter (Bi-Cubic Filter).
  • Linear Filter Linear Filter
  • Bi-Cubic Filter general bicubic filter
  • the method of generating the high-definition image illustrated here is an example, and other known methods can be used.
  • Japanese Patent Application Laid-Open No. 2000-13670 discloses a method using a linear filter.
  • the high-definition image obtained in the high-definition mode includes not only HD video but also UHD video such as 4K resolution and 8K resolution. That is, in this high-definition mode, it is possible to output an output image with a higher resolution than in the HFR mode. Details of the high-definition mode will be described later with reference to FIG.
  • each RGB plane is imaged at different timing, and among the RBG plane images captured at different imaging timings, the RBG plane image with the closest imaging time is synthesized, and the output image is 120 fps. It is a mode to output with. That is, in this HFR mode, an output image can be output at a higher frame rate than in the high definition mode. Details of the HFR mode will be described later with reference to FIGS.
  • each operation scene is associated with these processing modes. That is, a processing mode that is a high-definition mode is associated with a scene of narrowband light observation (NBI) and fluorescence observation.
  • the stitching scene is associated with a processing mode that is a high-definition mode.
  • surgical scenes other than those described above that is, surgical scenes that are not associated with the high-definition mode and the HFR mode, can be set as processing modes that are normal modes.
  • the output image is output without performing special processing.
  • NBI narrow band light observation
  • fluorescence observation careful peeling
  • suturing suturing
  • the correspondence table in FIG. 6 provides an image (high frame rate image) in which the movement looks smoother by the HFR mode, for example, in a scene where the scope moves greatly, such as scope movement, or in a normal separation scene. To be.
  • the three-plate sensor 161-1 is used.
  • the correspondence table (FIG. 6) when 3 is used differs in that the NR mode is not included in the processing mode. This is because it is difficult to acquire a plurality of images without shifting the pixels due to the structure of the three-plate sensor 161-3.
  • the processing mode determination unit 151 of the CCU 101 stores the correspondence table (FIG. 6) in advance, so that it corresponds to the surgical scene specified by the external signal. The processing mode is determined.
  • FIG. 7 is a timing chart for explaining the output timing of the RGB signal for each processing mode.
  • the direction of time is the direction from the left side to the right side in the figure.
  • FIG. 7A is a timing chart showing the output timing of RGB signals in the HFR mode.
  • FIG. 7B is a timing chart showing the output timing of the RGB signal in the high definition mode.
  • the image signal corresponding to the R component output from the sensor 161-R is described as “R signal”.
  • an image signal corresponding to the G component output from the sensor 161-G is described as “G signal”
  • an image signal corresponding to the B component output from the sensor 161-B is referred to as “B signal”. It is described.
  • the output of the R signal, the G signal, and the B signal is shown in time series, but in the three-plate sensor 161-3 in the endoscope 111, Since the shutter is in the released state, the sensor 161-R, the sensor 161-G, and the sensor 161-B can output the R signal, the G signal, and the B signal at the same timing. .
  • the outputs of the R signal, the G signal, and the B signal are represented in time series, but the endoscope 111 (the three-plate type sensor 161- By performing the shutter control of 3), the exposure time is halved compared to the case of the high-definition mode, and further, imaging is performed at a timing shifted for each RGB plane.
  • an RGB plane image with a short imaging time is synthesized. That is, for example, in the timing chart of FIG. 7A, focusing on the period from time t2 to time t6, for example, at time t2, using the G signal obtained during the period from time t1 to time t2, the G signal The R signal and the B signal that are close in time to each other are combined.
  • the B signal obtained in the period from time t2 to time t3 is used to synthesize the R signal and G signal that are temporally close to the B signal.
  • an R signal obtained during a period from time t3 to time t4 is used to synthesize a G signal and a B signal that are temporally close to the R signal.
  • an R signal and a B signal that are temporally close to the G signal are synthesized using the G signal obtained during the period from time t4 to time t5.
  • the B signal obtained in the period from time t5 to time t6 is used to synthesize the R signal and G signal that are temporally close to the B signal.
  • the exposure time is halved compared to the high-definition mode, and each RGB plane is imaged at a different timing.
  • the output image is output at timings t2 to t6, although the output image is output only at timings t4 and t6. That is, the frame rate (eg, 120 fps) of the output image in the HFR mode is twice the frame rate (eg, 60 fps) of the output image in the high definition mode.
  • the exposure time in the HFR mode is halved compared to that in the high-definition mode. However, for example, by reducing the exposure time to 1/3 or 1/4.
  • the frame rate of the output image in the HFR mode can be further increased.
  • the images to be combined are not images captured at the same timing (in terms of time). Since the image is captured with a shift, the subject included in the image may move.
  • the image composition unit 152 (FIG. 2) of the CCU 101 has a configuration as shown in FIG.
  • the image composition unit 152 corresponding to the HFR mode includes a buffer 181 -R, a buffer 181 -G, a buffer 181 -B, a positional deviation detection unit 182, and a positional deviation correction unit 183.
  • the buffer 181 -R is a buffer that holds the R signal output from the sensor 161 -R of the endoscope 111.
  • the buffer 181 -G is a buffer that holds a G signal output from the sensor 161 -G of the endoscope 111.
  • the buffer 181 -B is a buffer that holds the B signal output from the sensor 161 -B of the endoscope 111.
  • the G signal when the G signal obtained at the time t2 during the period from the time t1 to the time t2 is used, the G signal is held in the buffer 181-G.
  • the R signal and the B signal that are temporally close to the G signal are held in the buffer 181 -R and the buffer 181 -B, respectively.
  • the R signal, the G signal, and the B signal held in the buffer 181 -R, the buffer 181 -G, and the buffer 181 -B are read by the positional deviation detection unit 182 and the positional deviation correction unit 183.
  • the misregistration detection unit 182 applies, for example, block matching or cross-correlation to the R signal, G signal, and B signal read from the buffer 181 -R, buffer 181 -G, and buffer 181 -B. Thus, the amount of positional deviation of each signal is detected for each pixel.
  • the positional deviation detection unit 182 supplies the detected positional deviation amount of each signal to the positional deviation correction unit 183.
  • the misregistration correction unit 183 includes the R signal, the G signal, and the B signal read from the buffer 181 -R, the buffer 181 -G, and the buffer 181 -B, and the misregistration of each signal synchronized with those signals. The amount is input from the misregistration detection unit 182.
  • the positional deviation corrector 183 Based on the positional deviation amount of each signal from the positional deviation detector 182, the positional deviation corrector 183 reads the R signal, the G signal, and the buffer 181 -R, the buffer 181 -G, and the buffer 181 -B. , B is corrected for each pixel of the B signal.
  • the misregistration correction unit 183 collectively outputs the R signal, the G signal, and the B signal whose positions are aligned by the misregistration correction as an RGB signal (output image).
  • the images to be combined are not images captured at the same timing.
  • the image composition unit 152 FIG. 8 of the CCU 101
  • the R signal buffered in each buffer 181 by the displacement detection unit 182 and the displacement correction unit 183 By processing the G signal and the B signal, correction for aligning the position of the moving subject is performed.
  • an output image can be output at a timing of 120 fps, which is twice that of the high definition mode.
  • step S101 the processing mode determination unit 151 receives an external signal input from the outside of the CCU 101.
  • the external signal for example, an operation signal according to a processing mode switching operation by an operator or the like
  • a signal indicating / off or the like is supplied.
  • step S102 the processing mode determination unit 151 determines a processing mode corresponding to the surgical scene specified by the external signal received in the processing of step S101 by referring to a correspondence table stored in advance.
  • the processing mode determination unit 151 refers to the correspondence table in FIG. 4 and determines the processing mode corresponding to the surgical scene. To do. Further, for example, when using the three-plate sensor 161-3 in the imaging system of the endoscope 111, the processing mode determination unit 151 refers to the correspondence table in FIG. To decide.
  • step S103 the sensor control unit 162 controls the sensor 161 based on the processing mode determined in the processing in step S102.
  • the sensor 161 outputs an image signal (image signal of an in-vivo image) according to control from the sensor control unit 162.
  • the sensor control unit 162 controls the single-plate pixel shift according to the processing mode. More specifically, when the processing mode is the high-definition mode, the sensor control unit 162 turns on the pixel shift processing of the single-plate sensor 161-1 while the processing mode is a mode other than the high-definition mode. In some cases, the pixel shifting process of the single-plate sensor 161-1 is turned off.
  • step S104 the image composition unit 152 acquires an image signal output from the endoscope 111 (the sensor 161) via the camera cable.
  • step S105 the image composition unit 152 synthesizes (processes) the image signal acquired in step S104 based on the processing mode determined in step S102.
  • the output image obtained by the process of step S105 is output at a predetermined frame rate.
  • the image composition unit 152 performs predetermined image processing according to the processing mode. More specifically, for example, when the processing mode is the NR mode, the image composition unit 152 performs image processing for adding image signals obtained by four imaging operations.
  • the image composition unit 152 performs predetermined image processing according to the processing mode. More specifically, for example, when the processing mode is the high-definition mode, the image synthesis unit 152 performs image processing for synthesizing the R signal, the G signal, and the B signal. As described above, when the processing mode is the HFR mode, the image composition unit 152 has the configuration illustrated in FIG. 8 and performs the processing described with reference to FIG.
  • step S106 it is determined whether or not to end the process. If it is determined in step S106 that the process is not to end, the process returns to step S101, and the subsequent processes are repeated. If it is determined in step S106 that the process is to be terminated, the image composition process of the first embodiment in FIG. 9 is terminated.
  • the processing mode determining unit 151 refers to a correspondence table (for example, the correspondence table in FIG. 4 or FIG. 6) to determine a processing mode according to the surgical scene specified by the external signal. Then, the sensor control unit 162 and the image composition unit 152 perform processing according to the processing mode determined by the processing mode determination unit 151. That is, an appropriate processing mode corresponding to the surgical scene is determined by the correspondence table (for example, the correspondence table of FIG. 4 or FIG. 6), and processing corresponding to the processing mode is performed. It is possible to provide an optimal video for the video.
  • a correspondence table for example, the correspondence table in FIG. 4 or FIG. 6
  • an operation scene is specified by an external signal input from the outside of the CCU 101, so that it corresponds to the operation scene by a correspondence table (for example, the correspondence table of FIG. 4 or FIG. 6).
  • a correspondence table for example, the correspondence table of FIG. 4 or FIG. 6.
  • the technique for specifying the surgical scene is not limited to a technique using an external signal. For example, a scene recognition process is performed on the output image (intraoperative image), and the surgical scene is specified according to the scene recognition result. You may do it.
  • FIG. 10 is a diagram illustrating a detailed configuration example of the CCU 101 and the endoscope 111 according to the second embodiment.
  • the CCU 101 and the endoscope 111 in FIG. 10 blocks corresponding to the CCU 101 and the endoscope 111 in FIG.
  • the CCU 101 and the endoscope 111 in FIG. 10 blocks corresponding to the CCU 101 and the endoscope 111 in FIG.
  • a scene recognition unit 153 is provided after the image composition unit 152, and the scene recognition result by the scene recognition unit 153 is fed back to the processing mode determination unit 151. It is different from CCU101. Note that the endoscope 111 in FIG. 10 and the endoscope 111 in FIG. 2 have the same configuration.
  • the output image (image signal) output from the image composition unit 152 is input to the scene recognition unit 153 in the CCU 101.
  • the scene recognition unit 153 performs scene recognition processing on the output image (intraoperative image) from the image composition unit 152.
  • scene recognition processing a predetermined scene is recognized from the output image (intraoperative image), and the surgical scene is automatically determined.
  • the scene recognition result (surgical scene discrimination result) obtained by the scene recognition process is fed back to the processing mode determination unit 151.
  • the scene recognition result surgical scene discrimination result
  • the processing mode determination unit 151 the following information can be included.
  • NBI narrow band light observation
  • fluorescence observation or normal observation according to the distribution analysis of the RGB histogram for the output image (intraoperative image).
  • a determination result of a surgical scene that is a suture in response to detection of a thread or a suture needle included in an output image (intraoperative image).
  • a determination result of a surgical scene that is scope movement in accordance with detection of a frame difference or motion vector of an output image (intraoperative image).
  • a discrimination result of a surgical scene that is peeling normal peeling or careful peeling according to detection of the forceps 135 included in the output image (intraoperative image) or movement detection of the forceps 135. .
  • surgical scene determination results listed here are merely examples, and other scene recognition results obtained by using known image analysis processing, for example, may be fed back to the processing mode determination unit 151. Good.
  • the scene recognition result (surgical scene discrimination result) corresponding to the output image (intraoperative image) is input from the scene recognition unit 153 to the processing mode determination unit 151 at a predetermined timing.
  • the processing mode determination unit 151 When the scene recognition result is input from the scene recognition unit 153, the processing mode determination unit 151 refers to a correspondence table stored in advance (for example, the correspondence table in FIG. 4 or FIG. 6), and performs a scene recognition result (operation). The processing mode corresponding to the surgical scene specified by the scene discrimination result) is determined. The processing mode determination unit 151 supplies the determined processing mode to the image composition unit 152 and the sensor control unit 162 of the endoscope 111.
  • the sensor control unit 162 controls the sensor 161 based on the processing mode supplied from the processing mode determination unit 151. Further, the image composition unit 152 performs predetermined processing on an image signal supplied from the endoscope 111 (sensor control unit 162) via the camera cable based on the processing mode supplied from the processing mode determination unit 151. Perform image processing.
  • step S151 it is determined whether or not the processing of the endoscopic surgery system 10 has started. If it is determined in step S151 that the process is started, the process proceeds to step S152.
  • step S152 the processing mode determination unit 151 determines an initial processing mode, and supplies the determined initial processing mode to the image composition unit 152 and the sensor control unit 162.
  • the scene recognition unit 153 cannot acquire the output image (intraoperative image) from the image synthesis unit 152, and the scene recognition result. Since the (surgery scene discrimination result) cannot be fed back to the processing mode determination unit 151, for example, the initial processing mode is set in advance.
  • step S151 determines whether the process is not started. If it is determined in step S151 that the process is not started, the process proceeds to step S153.
  • step S ⁇ b> 153 the scene recognition unit 153 performs scene recognition processing on the output image (intraoperative image) corresponding to the image signal from the image composition unit 152.
  • step S153 By the processing in step S153, a predetermined scene is recognized from the output image (intraoperative image), and the operation scene is automatically determined. Then, the scene recognition result (surgical scene discrimination result) obtained by the process of step S153 is fed back to the processing mode determination unit 151.
  • step S154 the processing mode determination unit 151 refers to the correspondence table stored in advance, and responds to the surgical scene specified by the scene recognition result (surgical scene discrimination result) obtained by the processing in step S153. Determine the processing mode.
  • the processing mode determination unit 151 refers to the correspondence table in FIG. A processing mode corresponding to the result is determined. Further, for example, when the three-plate type sensor 161-3 is used in the imaging system of the endoscope 111, the processing mode determination unit 151 refers to the correspondence table in FIG. The processing mode corresponding to the discrimination result is determined.
  • the sensor control unit 162 controls the sensor 161 based on the processing mode determined in step S154, and the image composition unit 152
  • the image signal is synthesized (processed) based on the processing mode determined in the process of step S154.
  • the output image obtained by the process of step S157 is output at a predetermined frame rate.
  • step S158 it is determined whether or not to end the process. If it is determined in step S158 that the process is not ended, the process returns to step S151, and the subsequent processes are repeated. If it is determined in step S158 that the process is to be terminated, the image composition process of the second embodiment in FIG. 11 is terminated.
  • the operation specified by the scene recognition result by referring to the correspondence table (for example, the correspondence table in FIG. 4 or 6) by the processing mode determination unit 151.
  • a processing mode corresponding to the scene is determined, and processing according to the processing mode determined by the processing mode determination unit 151 is performed by the sensor control unit 162 and the image composition unit 152. That is, an appropriate processing mode corresponding to the surgical scene is determined by the correspondence table (for example, the correspondence table of FIG. 4 or FIG. 6), and processing corresponding to the processing mode is performed. It is possible to provide an optimal video for the video.
  • the processing mode is determined according to an operation scene specified by an external signal or scene recognition.
  • a method for determining the processing mode for example, a pre-planned surgical plan is used.
  • other methods such as determining an appropriate processing mode may be adopted.
  • the contents of the operation are planned in advance by a three-dimensional model, and the processing mode is associated with each operation part (affected part) (for example, when a treatment for a certain affected part is performed).
  • the processing mode associated with the surgical site affected site. It is sufficient to make a transition to.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 12 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 205 is further connected to the bus 204.
  • An input unit 206, an output unit 207, a recording unit 208, a communication unit 209, and a drive 210 are connected to the input / output interface 205.
  • the input unit 206 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 207 includes a display, a speaker, and the like.
  • the recording unit 208 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 209 includes a network interface and the like.
  • the drive 210 drives a removable medium 211 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 201 loads the program stored in the recording unit 208 to the RAM 203 via the input / output interface 205 and the bus 204 and executes the program. A series of processing is performed.
  • the program executed by the computer 200 can be provided by being recorded in, for example, a removable medium 211 such as a package medium.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 208 via the input / output interface 205 by attaching the removable medium 211 to the drive 210. Further, the program can be received by the communication unit 209 via a wired or wireless transmission medium and installed in the recording unit 208. In addition, the program can be installed in the ROM 202 or the recording unit 208 in advance.
  • the program executed by the computer 200 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as in parallel or when a call is made. It may be a program in which processing is performed.
  • processing steps for describing a program for causing the computer 200 to perform various processes do not necessarily have to be processed in time series according to the order described in the flowchart, and may be performed in parallel or individually. (For example, parallel processing or object processing).
  • the program may be processed by one computer, or may be processed in a distributed manner by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology can take a configuration of cloud computing in which one function is shared by a plurality of devices via a network and jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices. Further, when a plurality of processes are included in one step, the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • this technique can take the following structures.
  • a processing mode determination unit that determines a processing mode for an in-vivo image captured by an imaging device having an imaging element that is arranged so as to enable pixel shifting processing according to a surgical scene;
  • An information processing apparatus comprising: a processing unit that processes an image output from the imaging apparatus according to the processing mode.
  • the imaging apparatus has a control unit that controls the imaging element according to the processing mode, The information processing apparatus according to (1), wherein the processing mode determination unit supplies the processing mode to the control unit.
  • the processing mode includes a mode capable of providing an image with less noise than the in-vivo image captured by the image sensor, and an image that appears to move more smoothly than the in-vivo image captured by the image sensor.
  • the information processing apparatus according to (3) further including at least one of modes that can be provided.
  • the imaging apparatus includes at least three or more imaging elements.
  • the mode determination unit determines the processing mode according to an external signal input from the outside.
  • the mode determination unit determines the processing mode in response to a switching operation of the processing mode by an operator.
  • the information processing apparatus determines the processing mode according to a signal indicating on / off of the power of the treatment tool from the treatment tool device.
  • the mode determination unit determines the processing mode according to a light source switching signal from a light source apparatus.
  • the information processing apparatus determines the processing mode according to (1), wherein the mode determination unit determines the processing mode according to a surgical plan planned in advance.
  • the mode determination unit determines the processing mode according to the processing mode for each surgical part planned in advance in the surgery plan.
  • the imaging apparatus includes a control unit that controls the imaging element according to the processing mode, and the processing mode includes: A first mode for outputting the in-vivo image captured by the image sensor without performing pixel shifting processing at a constant frame rate; A second mode for performing a pixel shifting process, and outputting a higher definition image than the in-vivo image captured by the imaging element obtained by the pixel shifting process at the same frame rate as the first mode; A third mode for outputting an image obtained by performing imaging a plurality of times within a predetermined time without performing pixel shifting processing at a frame rate higher than that of the first mode; A fourth mode in which an image obtained by performing multiple imaging within a predetermined time without performing pixel shifting processing is added, and then output at the same frame rate as the first mode, and The surgical scene
  • the imaging apparatus has at least three or more imaging elements, and as the processing mode, First, each RGB plane is imaged at the same timing, and a higher definition image than the in-vivo image captured by the image sensor obtained from the RGB plane image is output at a constant frame rate. Mode, An image obtained by synthesizing the RBG plane images of the RBG planes with the closest imaging time out of the RBG plane images captured at different timings and capturing the RGB planes at different timings. A second mode that outputs at a higher frame rate than the mode, and A surgical scene suitable for providing a higher-definition image than the in-vivo image captured by the image sensor is associated with the first mode and moves more than the in-vivo image captured by the image sensor.
  • the information processing apparatus according to (4), wherein a surgical scene suitable for providing an image that looks smooth is associated with the second mode.
  • the processing mode determination unit Storing a table associating the surgical scene with the processing mode; The information processing apparatus according to any one of (1) to (14), wherein the processing mode is determined with reference to the table.
  • the information processing apparatus is Determining a processing mode for an in-vivo image captured by an imaging device having an imaging element arranged to enable pixel shifting processing according to a surgical scene; An information processing method including a step of processing an image output from the imaging device according to the processing mode.
  • the endoscope is An image sensor disposed so as to enable pixel shifting processing;
  • the information processing apparatus includes: A processing mode determination unit that determines a processing mode for an in-vivo image captured by the endoscope according to a surgical scene;

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

本技術は、手術シーンに応じて術者に最適な映像を提供することができるようにする情報処理装置、情報処理方法、及び、内視鏡システムに関する。 処理モード決定部において、手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードが決定され、画像合成部において、処理モードに応じて、撮像装置から出力される画像が処理される。本技術は、例えば、内視鏡で生体を撮像する内視鏡システム等に適用することができる。

Description

情報処理装置、情報処理方法、及び、内視鏡システム
　本技術は、情報処理装置、情報処理方法、及び、内視鏡システムに関し、特に、手術シーンに応じて術者に最適な映像を提供することができるようにした情報処理装置、情報処理方法、及び、内視鏡システムに関する。
　高精細な画像を取得するための手法として、いわゆる画素ずらし処理と称される技術が知られている（例えば、特許文献１，２参照）。
特開２０１０－２６８２４４号公報 特開２０１１－９５０７３号公報
　ところで、内視鏡を用いた手術を行う術者などを支援する内視鏡手術システムにおいて、内視鏡の撮像システムとして、画素ずらし処理が可能な撮像システムを用いた場合に、手術シーンによっては、高精細な映像を提供することが適していない場合があり、手術シーンに応じて術者に最適な映像を提供できるようにすることが求められていた。
　本技術はこのような状況に鑑みてなされたものであり、手術シーンに応じて術者に最適な映像を提供することができるようにするものである。
　本技術の情報処理装置は、手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部とを備える情報処理装置である。
　本技術の情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置が、手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定し、前記処理モードに応じて、前記撮像装置から出力される画像を処理するステップを含む情報処理方法である。
　本技術の内視鏡システムは、内視鏡と情報処理装置から構成される内視鏡システムにおいて、前記内視鏡は、画素ずらし処理が可能となるように配置される撮像素子と、前記撮像素子を制御する制御部とを備え、前記情報処理装置は、手術シーンに応じて前記内視鏡により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、前記処理モードに応じて、前記内視鏡から出力される画像を処理する処理部とを備え、前記制御部は、前記処理モードに応じて、前記撮像素子を制御する内視鏡システムである。
　本技術の情報処理装置、情報処理方法、及び、内視鏡システムにおいては、手術シーンに応じて、画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードが決定され、前記処理モードに応じて、前記撮像装置から出力される画像が処理される。
　本技術によれば、手術シーンに応じて術者に最適な映像を提供することができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した内視鏡手術システムの実施の形態を示す図である。 第１の実施の形態におけるCCU及び内視鏡の詳細な構成例を示す図である。 単板画素ずらし方式の概要を説明する図である。 単板式のセンサを用いる場合の対応テーブルの例を示す図である。 ３板画素ずらし方式の概要を説明する図である。 ３板式のセンサを用いる場合の対応テーブルの例を示す図である。 処理モードごとのRGB信号の出力タイミングを説明するタイミングチャートである。 HFRモードに対応した画像合成部の構成例を示す図である。 第１の実施の形態の画像合成処理の流れを説明するフローチャートである。 第２の実施の形態におけるCCU及び内視鏡の詳細な構成例を示す図である。 第２の実施の形態の画像合成処理の流れを説明するフローチャートである。 コンピュータの構成例を示す図である。
　以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．システムの構成
２．第１の実施の形態：外部信号を用いた処理モードの決定
（１）単板式のセンサを用いる場合
（２）３板式のセンサを用いる場合
３．第２の実施の形態：シーン認識による処理モードの決定
４．変形例
５．コンピュータの構成
＜１．システムの構成＞
　（内視鏡手術システムの構成例）
　図１は、本技術を適用した内視鏡手術システムの実施の形態を示す図である。
　内視鏡手術システム１０は、手術室に配置され、例えば、患者ベッド２０に横たわった患者の腹部３０に含まれる患部に対して、内視鏡下手術を行う術者を支援するためのシステムである。
　図１において、内視鏡手術システム１０は、CCU(Camera Control Unit)１０１、光源装置１０２、処置具用装置１０３、気腹装置１０４、表示装置１０５、レコーダ１０６、及び、プリンタ１０７が搭載されたカート１１を備える。また、内視鏡手術システム１０は、内視鏡（腹腔鏡）１１１、エネルギ処置具１１２、及び、フットスイッチ１２１を有する。また、手術時には、術者などによって、トロッカ１３１乃至１３４、及び、鉗子１３５などの器具が使用される。
　内視鏡手術システム１０において、CCU１０１は、カメラケーブルを介して内視鏡１１１と接続される。なお、CCU１０１は、内視鏡１１１と無線で接続していてもよい。CCU１０１は、内視鏡１１１により撮像され、カメラケーブルを介して送信されてくる術中画像を受信し、表示装置１０５に供給する。
　表示装置１０５は、据え置き型の２Ｄディスプレイやヘッドマウントディスプレイなどにより構成される。表示装置１０５は、CCU１０１から供給される術中画像等を表示する。また、CCU１０１は、必要に応じて、受信された術中画像をレコーダ１０６やプリンタ１０７に供給する。
　光源装置１０２は、ライトガイドケーブルを介して内視鏡１１１と接続する。光源装置１０２は、各種の波長の光を切り換えて内視鏡１１１に出射する。
　処置具用装置１０３は、高周波出力装置であり、ケーブルを介してエネルギ処置具１１２及びフットスイッチ１２１と接続する。処置具用装置１０３は、フットスイッチ１２１から供給される操作信号に応じて、エネルギ処置具１１２に高周波電流を出力する。
　気腹装置１０４は、送気手段及び吸気手段を備え、腹部３０の腹壁に取り付けられた開孔器具であるトロッカ１３３の孔から、腹部３０の内部に空気を送気する。
　レコーダ１０６は、CCU１０１から供給される術中画像を記録する。プリンタ１０７は、CCU１０１から供給される術中画像を印刷する。
　内視鏡１１１は、撮像部と照明レンズなどの光学系とにより構成される。内視鏡１１１は、腹部３０の腹壁に取り付けられたトロッカ１３１の孔から、手術対象としての腹部３０の内部に挿入される。内視鏡１１１の光学系は、光源装置１０２から出射された光を腹部３０の内部に照射し、撮像部は、腹部３０の内部の画像を術中画像として撮像する。
　内視鏡１１１は、術中画像を、カメラケーブルを介してCCU１０１に供給する。これにより、内視鏡１１１により撮像された術中画像が表示装置１０５に表示されるので、術者は、腹部３０の内部の画像をリアルタイムに見ながら、例えば、エネルギ処置具１１２により腹部３０内の患部を切除するなどの処置を行うことができる。
　エネルギ処置具１１２は、電気メスなどにより構成される。エネルギ処置具１１２は、腹部３０の腹壁に取り付けられたトロッカ１３２の孔から、腹部３０の内部に挿入される。エネルギ処置具１１２は、腹部３０の内部を、電気熱を用いて変性させたり、切断したりする。
　鉗子１３５は、腹部３０の腹壁に取り付けられたトロッカ１３４の孔から、腹部３０の内部に挿入される。鉗子１３５は、腹部３０の内部を把持する。内視鏡１１１、エネルギ処置具１１２、及び鉗子１３５は、術者、助手、スコピスト、又はロボット等により把持される。
　フットスイッチ１２１は、術者や助手等の足による操作を受け付ける。フットスイッチ１２１は、受け付けた操作を表す操作信号を、CCU１０１や処置具用装置１０３に供給する。すなわち、フットスイッチ１２１は、術者や助手等の足による操作をトリガとして、CCU１０１や処置具用装置１０３などを制御することになる。
　内視鏡手術システム１０は、以上のように構成される。術者は、内視鏡手術システム１０を用いることにより、腹壁を切って開腹する開腹手術を行わずに、腹部３０内の患部を切除することができる。
　以下、図１の内視鏡手術システム１０の詳細な構成について説明するが、ここでは、CCU１０１と、内視鏡１１１の構成を中心に説明する。また、CCU１０１と内視鏡１１１では、手術シーンに応じて決定される処理モードに従い、処理が行われるが、当該処理モードは、外部信号に応じて決定される場合と、シーン認識に応じて決定される場合がある。そこで、以下の説明では、まず、第１の実施の形態として、外部信号を用いた処理モードの決定について説明してから、その後、第２の実施の形態として、シーン認識による処理モードの決定について説明する。
＜２．第１の実施の形態：外部信号を用いた処理モードの決定＞
（CCU及び内視鏡の構成例）
　図２は、第１の実施の形態におけるCCU１０１及び内視鏡１１１の詳細な構成例を示す図である。
　CCU１０１は、処理モード決定部１５１及び画像合成部１５２を含んで構成される。また、内視鏡１１１は、センサ１６１及びセンサ制御部１６２を含んで構成される。
　処理モード決定部１５１は、CCU１０１の外部から入力される外部信号に応じて、手術シーンに対応する処理モードを決定する。処理モード決定部１５１は、決定した処理モードを、画像合成部１５２及び内視鏡１１１のセンサ制御部１６２に供給する。
　ここで、外部信号としては、例えば術者や助手などによる処理モード切り替え操作に応じた操作信号が含まれる。例えば、術者や助手等からの、入力部（ユーザインターフェース（UI：User Interface））に対する操作を受け付けた場合、その操作信号が、外部信号として処理モード決定部１５１に入力されるようにする。
　また、外部信号としては、光源装置１０２（図１）から供給される光源の切り替え信号が含まれる。例えば、術者などの操作に応じて、狭帯域光観察（NBI：Narrow Band Imaging）や蛍光観察などの観察に応じて光源が切り替わった場合、その切り替え信号が、外部信号として処理モード決定部１５１に入力されるようにする。
　さらに、外部信号としては、処置具用装置１０３（図１）にケーブルを介して接続された電気メス等のエネルギ処置具１１２の電源のオン／オフを示す信号が含まれる。例えば、電気メス等のエネルギ処置具１１２の電源がオン又はオフされた場合、そのオン／オフを示す信号が、外部信号として処理モード決定部１５１に入力されるようにする。
　また、処理モード決定部１５１は、手術シーンと処理モードを対応付けたテーブル（以下、対応テーブルという）を記憶している。処理モード決定部１５１は、CCU１０１の外部から外部信号が入力された場合、対応テーブルを参照して、外部信号により特定される手術シーンに対応した処理モードを決定する。
　なお、詳細については、図４又は図６等を参照して後述するが、対応テーブルには、狭帯域光観察（NBI）や蛍光観察、縫合や剥離などの手術シーンと、高精細モードやHFR(High Frame Rate)モード等の処理モードとが対応付けられている。この処理モードとしては、例えば、画素ずらし処理の有無や、出力画像（術中画像）のフレームレート（単位：fps(frame per second））、出力画像（術中画像）の解像度など、画像処理の処理内容に応じたモードが設定される。
　センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ１６１を制御する。また、センサ制御部１６２は、センサ１６１から供給される画像信号を、カメラケーブルを介してCCU１０１の画像合成部１５２に供給する。
　センサ１６１は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサなどの固体撮像素子（撮像素子）である。
　センサ１６１は、レンズからの光が入射される光電変換素子（フォトダイオード）を有する複数の画素が２次元状に配列された画像アレイ部や、画素の駆動やA/D（Analog/Digital）変換等を行う周辺回路部などから構成される。センサ１６１は、レンズを通過して受光面に結像された光を、光電変換素子により光電変換し、所定の信号処理を施すことで得られる画像信号（生体内画像の画像信号）を、センサ制御部１６２に供給する。
　ここで、内視鏡１１１の撮像システムとしては、単板式のセンサ１６１（以下、センサ１６１－１とも記述する）、又は、３板式のセンサ１６１（以下、センサ１６１－３とも記述する）を用いることができる。単板式は、センサ１６１－１として、RGBの各画素を有する１つのセンサ（固体撮像素子）を用いる方式である。また、３板式は、センサ１６１－３として、RGBの各成分ごとの画素を有する３つのセンサ（固体撮像素子）を用いる方式である。
　また、内視鏡１１１の撮像システムでは、画素ずらし処理の技術を採用することができる。この画素ずらし処理の技術を用いることで、より高精細な画像を取得することができる。
　以下、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合であって、単板式のセンサ１６１－１（１枚のセンサ）を時間的にずらす方式を、単板画素ずらしと称する。また、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合であって、３板式のセンサ１６１－３（RGBの成分に対応する３枚のセンサ）により光学的な位相ずれを発生させて、RGBの位相がずれた状態で、それぞれのプレーンを、３板式のセンサ１６１－３（RGBの成分に対応する３枚のセンサ）で同時に撮像する方式を、３板画素ずらしと称する。
　例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合、センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに応じて、単板式のセンサ１６１－１における単板画素ずらしを制御する。ここでは、センサ制御部１６２は、処理モードに応じて単板画素ずらしを行う場合、例えば、ピエゾ駆動装置等の駆動部を制御することで、単板式のセンサ１６１－１を画素単位で移動させるようにする。
　また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合、センサ制御部１６２は、処理モードに応じて、内視鏡１１１のシャッタ制御などを行う。
　画像合成部１５２には、カメラケーブルを介して内視鏡１１１のセンサ制御部１６２から画像信号が供給される。画像合成部１５２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ制御部１６２からの画像信号に対して所定の画像処理を行い、出力画像（術中画像）として出力する。
　例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合、画像合成部１５２は、例えば、単板式のセンサ１６１－１（１枚のセンサ）から出力される画像信号を加算する処理など、処理モードに応じた所定の画像処理を行う。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合、画像合成部１５２は、３板式のセンサ１６１－３（RGBの成分に対応する３枚のセンサ）から出力される画像信号を合成する処理など、処理モードに応じた所定の画像処理を行う。
　内視鏡手術システム１０（図１）において、CCU１０１及び内視鏡１１１は、以上のように構成される。次に、内視鏡１１１の撮像システムとして、単板式のセンサ１６１－１を用いる場合と、３板式のセンサ１６１－３を用いる場合について、順番に説明する。
（１）単板式のセンサを用いる場合
（単板画素ずらし方式の概要）
　図３は、単板画素ずらし方式の概要を説明する図である。
　図３においては、図３のＡと図３のＢに、１枚の固体撮像素子を時間的にずらす単板画素ずらし方式の２つの例を示している。ここでは、単板式のセンサ１６１－１（固体撮像素子）の受光面上に２次元状に配置される複数の画素のうち、４×４画素を代表して例示している。
　また、赤（Ｒ）の画像信号を得ることができるＲ画素には、「Ｒ」と記述している。同様に、緑（Ｇ）の画像信号を得ることができるＧ画素には、「Ｇ」と記述し、青（Ｂ）の画像信号を得ることができるＢ画素には、「Ｂ」と記述している。
（Ａ）単板画素ずらし方式Ａ
　図３のＡにおいて、各画素に記述された１乃至４の数字は、撮像回数を表しており、例えば、模様が付されている奇数行で奇数列の４つの画素、すなわち、画素Ｇ１、画素Ｒ１、画素Ｂ１、及び、画素Ｇ１に対応する画像信号が、１回目の撮像で得られることになる。なお、この４つの画素に注目すれば、画素Ｇ１が市松状に配され、残った部分に、画素Ｒ１と画素Ｂ１が一列ごとに交互に配されるベイヤー配列となっている。
　１回目の撮像後、単板式のセンサ１６１－１を、図中の右方向（行方向）に１画素分移動させることで、ベイヤー配列となる奇数行で偶数列の４つの画素、すなわち、画素Ｇ２、画素Ｒ２、画素Ｂ２、及び、画素Ｇ２に対応する画像信号が、２回目の撮像で得られることになる。
　また、２回目の撮像後、単板式のセンサ１６１－１を、図中の左斜め下方向に１画素分移動させることで、ベイヤー配列となる偶数行で奇数列の４つの画素、すなわち、画素Ｇ３、画素Ｒ３、画素Ｂ３、及び、画素Ｇ３に対応する画像信号が、３回目の撮像で得られることになる。
　そして、３回目の撮像後、単板式のセンサ１６１－１を、図中の右方向（行方向）に１画素分移動させることで、ベイヤー配列となる偶数行で偶数列の４つの画素、すなわち、画素Ｇ４、画素Ｒ４、画素Ｂ４、及び、画素Ｇ４に対応する画像信号が、４回目の撮像で得られることになる。
　このように、図３のＡの単板画素ずらし方式Ａでは、単板式のセンサ１６１－１（固体撮像素子）を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、各画素から、４回の撮像に応じた画像信号が得られるので、出力画像の解像度を４倍にすることができる。
（Ｂ）単板画素ずらし方式Ｂ
　図３のＢにおいては、図３のＡと同様に、各画素に記述された１乃至４の数字は、撮像回数を表しており、ベイヤー配列となる左上の４つの画素、すなわち、画素Ｇ１、画素Ｒ１、画素Ｂ１、及び、画素Ｇ１に対応する画像信号が、１回目の撮像で得られることになる。
　１回目の撮像後、単板式のセンサ１６１－１を、図中の右方向（行方向）に２画素分移動させることで、ベイヤー配列となる右上の４つの画素、すなわち、画素Ｇ２、画素Ｒ２、画素Ｂ２、及び、画素Ｇ２に対応する画像信号が、２回目の撮像で得られることになる。
　また、２回目の撮像後、単板式のセンサ１６１－１を、図中の左斜め下方向に２画素分移動させることで、ベイヤー配列となる左下の４つの画素、すなわち、画素Ｇ３、画素Ｒ３、画素Ｂ３、及び、画素Ｇ３に対応する画像信号が、３回目の撮像で得られることになる。
　そして、３回目の撮像後、単板式のセンサ１６１－１を、図中の右方向（行方向）に２画素分移動させることで、ベイヤー配列となる右下の４つの画素、すなわち、画素Ｇ４、画素Ｒ４、画素Ｂ４、及び、画素Ｇ４に対応する画像信号が、４回目の撮像で得られることになる。
　このように、図３のＢの単板画素ずらし方式Ｂでは、単板式のセンサ１６１－１（固体撮像素子）を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、各画素から、４回の撮像に応じた画像信号が得られるので、出力画像の解像度を４倍にすることができる。
　なお、図３のＡの単板画素ずらし方式Ａと、図３のＢの単板画素ずらし方式Ｂは、単板式のセンサ１６１－１の単板画素ずらしの一例であり、他の手法を採用して、単板式のセンサ１６１－１の単板画素ずらしが行われるようにしてもよい。
（単板式のセンサの対応テーブル）
　図４は、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合の対応テーブルの例を示す図である。
　図４の対応テーブルは、単板式のセンサ１６１－１を用いる場合における、手術シーンと処理モードとを対応付けたテーブルである。ここで、単板式のセンサ１６１－１を用いる場合の処理モードとしては、通常モード、高精細モード、HFR(High Frame Rate)モード、及び、NR(Noise Reduction)モードの４種類のモードがある。なお、これらの処理モードのうち、高精細モードでは、図３に示した単板画素ずらしが行われる。
　通常モードは、単板画素ずらしを行わず、かつ、60fpsで撮像された画像（のデータ）を、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ撮像が行われ、それらの画素から出力される画像信号から得られる出力画像が、60fpsで出力される。
　高精細モードは、単板画素ずらしを行い、かつ、解像度を４倍にした高精細画像（のデータ）を、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間で、１乃至４である数字が記述された画素の位置に、単板式のセンサ１６１－１を画素単位でずらして、各位置で合計４回の撮像を繰り返すことにより、通常モード等と比べて４倍の解像度となる高精細画像が生成され、出力画像として、60fpsで出力される。すなわち、この高精細モードでは、図３に示した単板画素ずらしが行われ、他のモードと比べて高解像度の出力画像を出力することができる。
　なお、高精細モードで得られる高精細画像には、HD(High Definition)の映像は勿論、例えば、４Ｋ解像度（例えば横3840×縦2160）や８Ｋ解像度（例えば横7680×縦4320）などのUHD(Ultra High Definition)の映像も含むものとする。
　HFRモードは、単板画素ずらしを行わず、かつ、1/60秒の間に４回撮像して、それにより得られる画像（のデータ）を、240fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間に、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ４回の撮像が行われ、それらの画素から出力される画像信号から得られる出力画像が、240fpsで出力される。すなわち、このHFRモードでは、他のモードと比べて高いフレームレートで、出力画像を出力することができる。
　NRモードは、単板画素ずらしを行わず、かつ、1/60秒の間に４回撮像して、それにより得られる４枚の画像（のデータ）を加算してから、60fpsで出力するモードである。例えば、図３のＡ（又は図３のＢ）において、1/60秒の間に、１である数字が記述された画素の位置、すなわち、画素Ｇ１，画素Ｒ１，画素Ｂ１，及び、画素Ｇ１でのみ４回の撮像が行われ、それらの画素から出力される画像信号を加算して得られる出力画像が、60fpsで出力される。すなわち、このNRモードでは、他のモードと比べてノイズの少ない出力画像を出力することができる。
　図４の対応テーブルでは、各手術シーンが、これらの処理モードに対応付けられている。すなわち、狭帯域光観察（NBI）及び蛍光観察のシーンには、高精細モード又はNRモードである処理モードが対応付けられている。また、縫合のシーンには、高精細モードである処理モードが対応付けられている。
　スコープ移動のシーンには、HFRモードである処理モードが対応付けられている。また、慎重な剥離のシーンには、高精細モードである処理モードが対応付けられる一方で、通常の剥離のシーンには、HFRモードである処理モードが対応付けられる。
　なお、上記以外の手術シーン、すなわち、狭帯域光観察、蛍光観察、縫合、スコープ移動、慎重な剥離、及び、通常の剥離のシーン以外のシーンには、通常モードが対応付けられる。
　このように、図４の対応テーブルでは、例えば、狭帯域光観察（NBI）や蛍光観察、慎重な剥離、縫合など、スコープの動きが比較的少なく、術者がより詳細に凝視したいシーンでは、高精細モードやNRモードによって、高精細な画像やノイズの少ない画像が提供されるようにしている。また、例えば、狭帯域光観察（NBI）では、光の量を制限して観察が行われるため、暗くなり、その影響で、出力画像に含まれるノイズが大きくなるという現象が生じるが、このような場合には、処理モードとしてNRモードが選択（決定）されるようにすることで、出力画像に含まれるノイズを取り除くことができる。
　また、図４の対応テーブルでは、例えば、スコープ移動などのスコープが大きく動いているシーンや、通常の剥離のシーンでは、HFRモードによって、動きがより滑らかに見える画像（高フレームレート画像）が提供されるようにしている。これにより、例えば、術者や助手の疲れを低減することができる。
　このように、手術シーンによっては、高精細な画像（映像）を表示するのが必ずしもよいとは限らず、高フレームレート画像（映像）やノイズの少ない画像（映像）のほうが適している場合があるので、本技術では、図４の対応テーブルによって、手術シーンに応じた適切な処理モードが決定されるようにしている。
　なお、単板式のセンサ１６１－１を用いる場合には、CCU１０１の処理モード決定部１５１が、この対応テーブル（図４）をあらかじめ記憶しておくことで、外部信号により特定される手術シーンに応じた処理モードが決定されることになる。
　以上、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合の対応テーブルについて説明した。
（２）３板式のセンサを用いる場合
（３板画素ずらし方式の概要）
　図５は、３板画素ずらし方式の概要を説明する図である。
　図５のＡに示すように、３板式のセンサ１６１－３では、レンズを通った光を、プリズムによって、Ｒ成分と、Ｇ成分と、Ｂ成分に分けて、各成分に対応したセンサ１６１－Ｒと、センサ１６１－Ｇと、センサ１６１－Ｂにより受光することで、各センサから各成分の画像信号が出力される。
　すなわち、図５のＡには、３板式のセンサ１６１－３として、Ｒ成分の光を受光するセンサ１６１－Ｒと、Ｇ成分の光を受光するセンサ１６１－Ｇと、Ｂ成分の光を受光するセンサ１６１－Ｂを有する構成が例示されている。このように３板式のセンサ１６１では、RGBの３原色のそれぞれで専用のセンサ（センサ１６１－Ｒ、センサ１６１－Ｇ、及び、センサ１６１－Ｂ）を用いているため、色再現性や解像度に優れるというメリットがある。
　また、このような３板式のセンサ１６１－３によって、３板画素ずらし方式を実現する場合、図５のＢに示すように、例えば、センサ１６１－Ｇを基準に、センサ１６１－Ｒを、図中の下方向（列方向）に、1/2画素分ずらすとともに、センサ１６１－Ｂを、図中の右方向（行方向）に1/2画素分ずらすようにする。
　すなわち、図５のＢに示すように、センサ１６１－Ｇに対して、センサ１６１－Ｒとセンサ１６１－Ｂをずらすことで、光学的に位相ずれを発生させて、RGBの位相がずれた状態で、それぞれのプレーンを、センサ１６１－Ｒ、センサ１６１－Ｇ、及び、センサ１６１－Ｂにより同時に撮像することで、高精細な画像を得ることができる。なお、以下の説明では、３板式のセンサ１６１－３において、図５のＢに示すような、３板画素ずらしが行われているものとして説明する。また、ここでは、３板式のセンサ１６１－３を一例に説明するが、例えば、RGBの成分に加えて、赤外線（IR）の成分を利用する場合などには、３つ以上のセンサ（固体撮像素子）が用いられるようにしてもよい。
（３板式のセンサの対応テーブル）
　図６は、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合の対応テーブルの例を示す図である。
　図６の対応テーブルは、３板式のセンサ１６１を－３用いる場合における、手術シーンと処理モードとを対応付けたテーブルである。ここで、３板式のセンサ１６１－３を用いる場合の処理モードとしては、高精細モード、及び、HFRモードの２種類のモードがある。
　高精細モードは、RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から、高精細画像を生成し、出力画像として、60fpsで出力するモードである。
　ここで、位相のずれたRGBの各プレーンから、高精細画像を生成する手法としては、例えば、線形フィルタ（Linear Filter）や、一般的なバイキュービックフィルタ（Bi-Cubic Filter）により、画素が存在しない位置の画素を、プレーンごとに補間によって生成する手法がある。ただし、ここに例示した高精細画像を生成する手法は、一例であって、他の公知の手法を用いることができる。例えば、特開２０００－１３６７０号には、線形フィルタを用いた手法が開示されている。
　なお、この高精細モードで得られる高精細画像には、HDの映像は勿論、例えば、４Ｋ解像度や８Ｋ解像度などのUHDの映像も含むものとする。すなわち、この高精細モードでは、HFRモードと比べて高解像度の出力画像を出力することができる。なお、高精細モードの詳細は、図７を参照して後述する。
　HFRモードは、RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成し、出力画像として、120fpsで出力するモードである。すなわち、このHFRモードでは、高精細モードと比べて高いフレームレートで、出力画像を出力することができる。なお、HFRモードの詳細は、図７及び図８を参照して後述する。
　図６の対応テーブルでは、各手術シーンが、これらの処理モードに対応付けられている。すなわち、狭帯域光観察（NBI）及び蛍光観察のシーンには、高精細モードである処理モードが対応付けられている。また、縫合のシーンには、高精細モードである処理モードが対応付けられている。
　スコープ移動のシーンには、HFRモードである処理モードが対応付けられている。また、慎重な剥離のシーンには、高精細モードである処理モードが対応付けられる一方で、通常の剥離のシーンには、HFRモードである処理モードが対応付けられる。
　なお、上記以外の手術シーン、すなわち、高精細モードとHFRモードに対応付けられていない手術シーンは、通常モードである処理モードとすることができる。通常モードとなる場合には、特別な処理を行うことなく、出力画像が出力される。
　このように、図６の対応テーブルでは、例えば、狭帯域光観察（NBI）や蛍光観察、慎重な剥離、縫合など、スコープの動きが比較的少なく、術者がより詳細に凝視したいシーンでは、高精細モードによって、高精細な画像が提供されるようにしている。
　また、図６の対応テーブルでは、例えば、スコープ移動などのスコープが大きく動いているシーンや、通常の剥離のシーンでは、HFRモードによって、動きがより滑らかに見える画像（高フレームレート画像）が提供されるようにしている。
　なお、単板式のセンサ１６１－１を用いる場合の対応テーブル（図４）と、３板式のセンサ１６１－３を用いる場合の対応テーブル（図６）とを比較すれば、３板式のセンサ１６１－３を用いる場合の対応テーブル（図６）では、処理モードに、NRモードが含まれていない点が異なる。これは、３板式のセンサ１６１－３の構造上、画素をずらさずに複数枚の画像を取得することが困難なためである。
　このように、手術シーンによっては、高精細な画像（映像）を表示するのが必ずしもよいとは限らず、高フレームレート画像（映像）のほうが適している場合があるので、本技術では、図６の対応テーブルによって、手術シーンに応じた適切な処理モードが決定されるようにしている。
　なお、３板式のセンサ１６１－３を用いる場合には、CCU１０１の処理モード決定部１５１が、この対応テーブル（図６）をあらかじめ記憶しておくことで、外部信号により特定される手術シーンに応じた処理モードが決定されることになる。
　以上、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合の対応テーブルについて説明した。
（処理モードごとのRGB信号の出力のタイミング）
　図７は、処理モードごとのRGB信号の出力タイミングを説明するタイミングチャートである。図７において、時間の方向は、図中の左側から右側に向かう方向とされる。
　図７のＡは、HFRモードのRGB信号の出力タイミングを示すタイミングチャートである。また、図７のＢは、高精細モードのRGB信号の出力タイミングを示すタイミングチャートである。
　また、図７のＡと図７のＢのタイミングチャートでは、センサ１６１－Ｒから出力されるＲ成分に対応した画像信号を、「Ｒ信号」と記述している。同様に、センサ１６１－Ｇから出力されるＧ成分に対応した画像信号を、「Ｇ信号」と記述し、センサ１６１－Ｂから出力されるＢ成分に対応した画像信号を、「Ｂ信号」と記述している。
　すなわち、図７のＢの高精細モードのタイミングチャートでは、Ｒ信号と、Ｇ信号と、Ｂ信号の出力を時系列で表しているが、内視鏡１１１内の３板式のセンサ１６１－３において、シャッタは解放状態となっているので、センサ１６１－Ｒと、センサ１６１－Ｇと、センサ１６１－Ｂでは、同一のタイミングで、Ｒ信号と、Ｇ信号と、Ｂ信号を出力することができる。
　これにより、高精細モードにおいては、RGBの各プレーンを同一のタイミングで撮像して、それにより得られるRGBのプレーンの画像から、高精細画像を生成し、出力画像として、60fpsで出力することができる。例えば、図７のＢのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、時刻t2と、時刻t4と、時刻t6のタイミングで、高精細画像（出力画像）が出力されることになる。
　一方で、図７のＡのHFRモードのタイミングチャートにおいても、Ｒ信号と、Ｇ信号と、Ｂ信号の出力が時系列で表されているが、内視鏡１１１（の３板式のセンサ１６１－３）のシャッタ制御を行うことで、高精細モードの場合と比べて、その露光時間を半分にして、さらに、RGBのプレーンごとに時間がずれたタイミングで撮像が行われるようにする。
　そして、撮像タイミングがずれて撮像されたRGBのプレーンの画像のうち、撮像時間が近いRGBのプレーンの画像が合成されるようにする。すなわち、例えば、図７のＡのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、例えば、時刻t2では、時刻t1乃至時刻t2の期間で得られるＧ信号を用いて、当該Ｇ信号に時間的に近いＲ信号とＢ信号が合成されるようにする。
　同様にして、例えば、時刻t3においては、時刻t2乃至時刻t3の期間で得られるＢ信号を用いて、当該Ｂ信号に時間的に近いＲ信号とＧ信号が合成されるようにする。また、例えば、時刻t4においては、時刻t3乃至時刻t4の期間で得られるＲ信号を用いて、当該Ｒ信号に時間的に近いＧ信号とＢ信号が合成されるようにする。
　さらに、例えば、時刻t5においては、時刻t4乃至時刻t5の期間で得られるＧ信号を用いて、当該Ｇ信号に時間的に近いＲ信号とＢ信号が合成されるようにする。また、例えば、時刻t6においては、時刻t5乃至時刻t6の期間で得られるＢ信号を用いて、当該Ｂ信号に時間的に近いＲ信号とＧ信号が合成されるようにする。
　このように、HFRモードでは、高精細モードと比べて露光時間を半分にして、RGBの各プレーンを異なるタイミングで撮像するとともに、撮像タイミングがずれて撮像されたRGBのプレーンの画像のうち、撮像時間が近いRGBのプレーンの画像を合成して、120fpsで出力することができる。例えば、図７のＡのタイミングチャートにおいて、時刻t2乃至時刻t6の期間に注目すれば、時刻t2乃至時刻t6の各時刻のタイミングで、高フレームレートの画像（出力画像）が出力されることになる。
　ここで、図７のＡのHFRモードのタイミングチャートと、図７のＢの高精細モードのタイミングチャートとを比較すれば、高精細モードでは、時刻t2乃至時刻t6の期間のうち、時刻t2と、時刻t4と、時刻t6のタイミングでしか、出力画像が出力されていなかったが、HFRモードでは、時刻t2乃至時刻t6の各時刻のタイミングで出力画像が出力されている。すなわち、HFRモードにおける出力画像のフレームレート（例えば120fps）は、高精細モードにおける出力画像のフレームレート（例えば60fps）の２倍となっている。
　なお、図７のタイミングチャートの例では、HFRモードの露光時間を、高精細モードの場合と比べて半分としたが、例えば、1/3や1/4など、露光時間をさらに短くすることで、HFRモードにおける出力画像のフレームレートをさらに上げることができる。
　また、撮像時間が近いRGBのプレーンの画像を合成する際に、合成される画像（Ｒ信号と、Ｇ信号と、Ｂ信号）が、同一のタイミングで撮像された画像ではないため（時間的にずれて撮像された画像であるため）、画像に含まれる被写体が動いてしまう場合がある。ここでは、このような場合に対応するために、CCU１０１の画像合成部１５２（図２）が、図８に示すような構成を有するようにする。
　図８において、HFRモードに対応した画像合成部１５２は、バッファ１８１－Ｒ、バッファ１８１－Ｇ、バッファ１８１－Ｂ、位置ずれ検出部１８２、及び、位置ずれ補正部１８３を含んで構成される。
　バッファ１８１－Ｒは、内視鏡１１１のセンサ１６１－Ｒから出力されるＲ信号を保持するバッファである。バッファ１８１－Ｇは、内視鏡１１１のセンサ１６１－Ｇから出力されるＧ信号を保持するバッファである。バッファ１８１－Ｂは、内視鏡１１１のセンサ１６１－Ｂから出力されるＢ信号を保持するバッファである。
　例えば、上述した図７のＡのHFRモードのタイミングチャートにおいて、時刻t2で、時刻t1乃至時刻t2の期間で得られるＧ信号を用いる場合、当該Ｇ信号が、バッファ１８１－Ｇに保持されるとともに、当該Ｇ信号に時間的に近いＲ信号とＢ信号が、バッファ１８１－Ｒとバッファ１８１－Ｂにそれぞれ保持されている。
　バッファ１８１－Ｒ、バッファ１８１－Ｇ、及び、バッファ１８１－Ｂに保持されていたＲ信号、Ｇ信号、及び、Ｂ信号は、位置ずれ検出部１８２及び位置ずれ補正部１８３によって読み出される。
　位置ずれ検出部１８２は、バッファ１８１－Ｒ、バッファ１８１－Ｇ、及び、バッファ１８１－Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号に対して、例えば、ブロックマッチングや相互相関などを適用することで、各信号の位置ずれ量を画素ごとに検出する。位置ずれ検出部１８２は、検出した各信号の位置ずれ量を、位置ずれ補正部１８３に供給する。
　位置ずれ補正部１８３には、バッファ１８１－Ｒ、バッファ１８１－Ｇ、及び、バッファ１８１－Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号とともに、それらの信号に同期した各信号の位置ずれ量が、位置ずれ検出部１８２から入力される。
　位置ずれ補正部１８３は、位置ずれ検出部１８２からの各信号の位置ずれ量に基づいて、バッファ１８１－Ｒ、バッファ１８１－Ｇ、及び、バッファ１８１－Ｂから読み出したＲ信号、Ｇ信号、及び、Ｂ信号の各画素ごとに、位置ずれ補正を行う。位置ずれ補正部１８３は、位置ずれ補正により位置が揃えられたＲ信号、Ｇ信号、及び、Ｂ信号を、まとめて、RGB信号（出力画像）として出力する。
　このように、撮像時間が近いRGBのプレーンの画像を合成する際に、合成される画像（Ｒ信号と、Ｇ信号と、Ｂ信号）が、同一のタイミングで撮像された画像ではないため、画像に含まれる被写体が動いてしまう可能性があるので、CCU１０１の画像合成部１５２（図８）では、位置ずれ検出部１８２及び位置ずれ補正部１８３によって、各バッファ１８１にバッファリングされたＲ信号、Ｇ信号、及び、Ｂ信号を処理することで、動いてしまった被写体の位置を合わせるための補正を行っている。これにより、HFRモードでは、例えば、高精細モードの２倍となる120fpsのタイミングで、出力画像を出力することが可能となる。
（画像合成処理の流れ）
　次に、図９のフローチャートを参照して、第１の実施の形態の画像合成処理の流れを説明する。
　ステップＳ１０１において、処理モード決定部１５１は、CCU１０１の外部から入力される外部信号を受け取る。
　ここで、外部信号としては、例えば、術者などによる処理モード切り替え操作に応じた操作信号、光源装置１０２（図１）から供給される光源の切り替え信号、又は、エネルギ処置具１１２の電源のオン／オフを示す信号などが供給される。
　ステップＳ１０２において、処理モード決定部１５１は、あらかじめ記憶している対応テーブルを参照することで、ステップＳ１０１の処理で受け取った外部信号により特定される手術シーンに応じた処理モードを決定する。
　例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いる場合には、処理モード決定部１５１は、図４の対応テーブルを参照して、手術シーンに対応する処理モードを決定する。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いる場合には、処理モード決定部１５１は、図６の対応テーブルを参照して、手術シーンに対応する処理モードを決定する。
　ステップＳ１０３において、センサ制御部１６２は、ステップＳ１０２の処理で決定された処理モードに基づいて、センサ１６１を制御する。センサ１６１は、センサ制御部１６２からの制御に従い、画像信号（生体内画像の画像信号）を出力する。
　例えば、センサ制御部１６２は、単板式のセンサ１６１－１を用いている場合、処理モードに応じた単板画素ずらしを制御する。より具体的には、センサ制御部１６２は、処理モードが高精細モードである場合、単板式のセンサ１６１－１の画素ずらし処理をオンにする一方で、処理モードが高精細モード以外のモードである場合には、単板式のセンサ１６１－１の画素ずらし処理をオフにする。
　また、例えば、センサ制御部１６２は、３板式のセンサ１６１－３を用いている場合、処理モードに応じて、内視鏡１１１のシャッタ制御を行う。より具体的には、センサ制御部１６２は、処理モードがHFRモードである場合、高精細モードの場合と比べて、その露光時間を半分にして、さらに、RGBのプレーンごとに時間がずれたタイミングで撮像が行われるように、シャッタスピードによるRGBのプレーンごとの撮像タイミングのずれを制御する。
　ステップＳ１０４において、画像合成部１５２は、内視鏡１１１（のセンサ１６１）からカメラケーブルを介して出力される画像信号を取得する。
　ステップＳ１０５において、画像合成部１５２は、ステップＳ１０２の処理で決定された処理モードに基づいて、ステップＳ１０４の処理で取得された画像信号を合成（処理）する。ステップＳ１０５の処理で得られる出力画像は、所定のフレームレートで出力される。
　例えば、画像合成部１５２は、単板式のセンサ１６１－１を用いている場合、処理モードに応じた所定の画像処理を行う。より具体的には、例えば、画像合成部１５２は、処理モードがNRモードである場合、４回の撮像で得られる画像信号を加算する画像処理を行う。
　また、例えば、画像合成部１５２は、３板式のセンサ１６１－３を用いている場合、処理モードに応じた所定の画像処理を行う。より具体的には、例えば、画像合成部１５２は、処理モードが高精細モードである場合、Ｒ信号と、Ｇ信号と、Ｂ信号を合成する画像処理を行う。また、上述したように、処理モードがHFRモードである場合、画像合成部１５２は、図８に示した構成を有し、図８を参照して説明した処理を行うことになる。
　ステップＳ１０６においては、処理を終了するかどうかが判定される。ステップＳ１０６において、処理を終了しないと判定された場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。また、ステップＳ１０６において、処理を終了すると判定された場合、図９の第１の実施の形態の画像合成処理は終了される。
　以上、第１の実施の形態の画像合成処理の流れについて説明した。この画像合成処理においては、処理モード決定部１５１によって、対応テーブル（例えば、図４又は図６の対応テーブル）が参照されることで、外部信号により特定される手術シーンに応じた処理モードが決定され、センサ制御部１６２及び画像合成部１５２によって、処理モード決定部１５１により決定された処理モードに応じた処理が行われる。すなわち、対応テーブル（例えば、図４又は図６の対応テーブル）によって、手術シーンに応じた適切な処理モードが決定され、当該処理モードに応じた処理が行われるので、手術シーンに応じて術者に最適な映像を提供することが可能となる。
＜３．第２の実施の形態：シーン認識による処理モードの決定＞
　ところで、第１の実施の形態では、CCU１０１の外部から入力される外部信号により手術シーンが特定されることで、対応テーブル（例えば、図４又は図６の対応テーブル）によって、当該手術シーンに対応する処理モードが決定される場合を説明した。この手術シーンを特定する手法としては、外部信号を利用する手法に限らず、例えば、出力画像（術中画像）に対してシーン認識処理を施して、そのシーン認識結果に応じて手術シーンを特定するようにしてもよい。
　そこで、次に、第２の実施の形態として、出力画像（術中画像）に対するシーン認識処理によって、手術シーンを特定する手法について説明する。
（CCU及び内視鏡の構成例）
　図１０は、第２の実施の形態におけるCCU１０１及び内視鏡１１１の詳細な構成例を示す図である。なお、図１０のCCU１０１及び内視鏡１１１において、図２のCCU１０１及び内視鏡１１１と対応するブロックには、同一の符号が付してあり、その説明は繰り返しになるので、適宜省略するものとする。
　すなわち、図１０のCCU１０１においては、画像合成部１５２の後段に、シーン認識部１５３が設けられ、このシーン認識部１５３によるシーン認識結果が、処理モード決定部１５１にフィードバックされる点が、図２のCCU１０１とは異なっている。なお、図１０の内視鏡１１１と、図２の内視鏡１１１は、同一の構成とされる。
　図１０のCCU１０１において、シーン認識部１５３には、画像合成部１５２から出力される出力画像（画像信号）が入力される。シーン認識部１５３は、画像合成部１５２からの出力画像（術中画像）に対するシーン認識処理を行う。このシーン認識処理によって、出力画像（術中画像）から所定のシーンが認識され、手術シーンが自動で判別される。そして、シーン認識処理で得られるシーン認識結果（手術シーンの判別結果）は、処理モード決定部１５１にフィードバックされる。
　ここで、シーン認識部１５３から、処理モード決定部１５１にフィードバックされるシーン認識結果（手術シーンの判別結果）としては、例えば、次のような情報を含めることができる。
　すなわち、例えば、出力画像（術中画像）に対するRGBのヒストグラムの分布解析に応じた、狭帯域光観察（NBI）、蛍光観察、又は通常観察である手術シーンの判別結果を含めることができる。また、例えば、出力画像（術中画像）に含まれる糸や縫合針の検出に応じた、縫合である手術シーンの判別結果を含めることができる。
　さらに、例えば、出力画像（術中画像）のフレーム差分や動きベクトルの検出に応じた、スコープ移動である手術シーンの判別結果を含めることができる。また、例えば、出力画像（術中画像）に含まれる鉗子１３５の検出や、鉗子１３５の動き検出に応じた、剥離（通常の剥離又は慎重な剥離）である手術シーンの判別結果を含めることができる。
　なお、ここに列挙した手術シーンの判別結果は、一例であって、例えば、公知の画像解析処理を用いて得られる他のシーン認識結果が、処理モード決定部１５１にフィードバックされるようにしてもよい。
　処理モード決定部１５１には、所定のタイミングで、シーン認識部１５３から、出力画像（術中画像）に応じたシーン認識結果（手術シーンの判別結果）が入力される。
　処理モード決定部１５１は、シーン認識部１５３からシーン認識結果が入力された場合、あらかじめ記憶している対応テーブル（例えば、図４又は図６の対応テーブル）を参照して、シーン認識結果（手術シーンの判別結果）により特定される手術シーンに対応した処理モードを決定する。処理モード決定部１５１は、決定した処理モードを、画像合成部１５２及び内視鏡１１１のセンサ制御部１６２に供給する。
　センサ制御部１６２は、処理モード決定部１５１から供給される処理モードに基づいて、センサ１６１を制御する。また、画像合成部１５２は、処理モード決定部１５１から供給される処理モードに基づいて、カメラケーブルを介して内視鏡１１１（のセンサ制御部１６２）から供給される画像信号に対して所定の画像処理を行う。
（画像合成処理の流れ）
　次に、図１１のフローチャートを参照して、第２の実施の形態の画像合成処理の流れを説明する。
　ステップＳ１５１においては、いま、内視鏡手術システム１０の処理が開始されたかどうかが判定される。ステップＳ１５１において、処理開始である判定された場合、処理は、ステップＳ１５２に進められる。
　ステップＳ１５２において、処理モード決定部１５１は、初期処理モードを決定し、決定した初期処理モードを、画像合成部１５２及びセンサ制御部１６２に供給する。
　すなわち、内視鏡手術システム１０（のCCU１０１）で処理が開始された直後は、シーン認識部１５３が、画像合成部１５２からの出力画像（術中画像）を取得することができず、シーン認識結果（手術シーンの判別結果）を、処理モード決定部１５１にフィードバックすることができないので、例えば、あらかじめ設定された初期処理モードに決定されるようにする。
　一方、ステップＳ１５１において、処理開始ではないと判定された場合、処理は、ステップＳ１５３に進められる。ステップＳ１５３において、シーン認識部１５３は、画像合成部１５２からの画像信号に対応する出力画像（術中画像）に対するシーン認識処理を行う。
　このステップＳ１５３の処理によって、出力画像（術中画像）から所定のシーンが認識され、手術シーンが自動で判別される。そして、ステップＳ１５３の処理で得られるシーン認識結果（手術シーンの判別結果）は、処理モード決定部１５１にフィードバックされる。
　ステップＳ１５４において、処理モード決定部１５１は、あらかじめ記憶している対応テーブルを参照することで、ステップＳ１５３の処理で得られるシーン認識結果（手術シーンの判別結果）により特定される手術シーンに応じた処理モードを決定する。
　例えば、内視鏡１１１の撮像システムにおいて、単板式のセンサ１６１－１を用いている場合には、処理モード決定部１５１は、図４の対応テーブルを参照して、フィードバックされる手術シーンの判別結果に対応する処理モードを決定する。また、例えば、内視鏡１１１の撮像システムにおいて、３板式のセンサ１６１－３を用いている場合には、処理モード決定部１５１は、図６の対応テーブルを参照して、フィードバックされる手術シーンの判別結果に対応する処理モードを決定する。
　ステップＳ１５５乃至Ｓ１５７においては、図９のステップＳ１０３乃至Ｓ１０５と同様に、センサ制御部１６２によって、ステップＳ１５４の処理で決定された処理モードに基づいて、センサ１６１が制御され、画像合成部１５２によって、ステップＳ１５４の処理で決定された処理モードに基づいて、画像信号が合成（処理）される。ステップＳ１５７の処理で得られる出力画像は、所定のフレームレートで出力される。
　ステップＳ１５８においては、処理を終了するかどうかが判定される。ステップＳ１５８において、処理を終了しないと判定された場合、処理は、ステップＳ１５１に戻り、それ以降の処理が繰り返される。また、ステップＳ１５８において、処理を終了すると判定された場合、図１１の第２の実施の形態の画像合成処理は終了される。
　以上、第２の実施の形態の画像合成処理の流れについて説明した。この画像合成処理においては、処理モード決定部１５１によって、対応テーブル（例えば、図４又は図６の対応テーブル）が参照されることで、シーン認識結果（手術シーンの判別結果）により特定される手術シーンに応じた処理モードが決定され、センサ制御部１６２及び画像合成部１５２によって、処理モード決定部１５１により決定された処理モードに応じた処理が行われる。すなわち、対応テーブル（例えば、図４又は図６の対応テーブル）によって、手術シーンに応じた適切な処理モードが決定され、当該処理モードに応じた処理が行われるので、手術シーンに応じて術者に最適な映像を提供することが可能となる。
＜４．変形例＞
（プランニングによる処理モードの決定）
　上述した説明では、処理モードが、外部信号又はシーン認識により特定される手術シーンに応じて決定される例を説明したが、処理モードの決定方法としては、例えば、事前にプランニングされた手術計画に応じて、適切な処理モードを決定するなど、他の手法を採用してもよい。具体的には、例えば、手術の内容を、３次元モデルによって、事前にプランニングして、術部（患部）ごとに処理モードを対応付けておくことで（例えば、ある患部に対する処置を行う場合は、高精細モードにするなど）、出力画像（術中画像）から対象の術部（患部）に対する処置が行われることが検出された場合には、その術部（患部）に対応付けられた処理モードに遷移するようにすればよい。
＜５．コンピュータの構成＞
　上述した一連の処理（例えば画像合成処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータ２００において、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
　入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
　以上のように構成されるコンピュータ２００では、CPU２０１が、例えば、記録部２０８に記憶されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ２００（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
　コンピュータ２００では、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
　なお、コンピュータ２００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　ここで、本明細書において、コンピュータ２００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
　また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
　さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成をとることができる。
（１）
　手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
　前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部と
　を備える情報処理装置。
（２）
　前記撮像装置は、前記処理モードに応じて前記撮像素子を制御する制御部を有し、
　前記処理モード決定部は、前記処理モードを前記制御部に供給する
　（１）に記載の情報処理装置。
（３）
　前記処理モードは、前記画素ずらし処理によって前記撮像素子により撮像された前記生体内画像よりも高精細な画像を提供可能なモードを含む
　（１）又は（２）に記載の情報処理装置。
（４）
　前記処理モードは、前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像を提供可能なモード、及び、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像を提供可能なモードのうちの少なくとも一方のモードをさらに含む
　（３）に記載の情報処理装置。
（５）
　前記撮像装置は、少なくとも３つ以上の撮像素子を有する
　（１）乃至（３）のいずれか一項に記載の情報処理装置。
（６）
　前記モード決定部は、外部から入力される外部信号に応じて、前記処理モードを決定する
　（１）乃至（５）のいずれか一項に記載の情報処理装置。
（７）
　前記モード決定部は、術者による前記処理モードの切り替え操作に応じて、前記処理モードを決定する
　（６）に記載の情報処理装置。
（８）
　前記モード決定部は、処置具用装置からの処置具の電源のオン／オフを示す信号に応じて、前記処理モードを決定する
　（６）に記載の情報処理装置。
（９）
　前記モード決定部は、光源装置からの光源の切り替え信号に応じて、前記処理モードを決定する
　（６）に記載の情報処理装置。
（１０）
　前記モード決定部は、事前にプランニングされた手術計画に応じて、前記処理モードを決定する
　（１）に記載の情報処理装置。
（１１）
　前記モード決定部は、前記手術計画において事前にプランニングされた術部ごとの前記処理モードに応じて、前記処理モードを決定する
　（１０）に記載の情報処理装置。
（１２）
　前記撮像装置から出力される前記画像に基づいて、所定のシーンを認識するシーン認識部をさらに備え、
　前記モード決定部は、前記シーン認識部による認識結果に応じて、前記処理モードを決定する
　（１）乃至（５）のいずれか一項に記載の情報処理装置。
（１３）
　前記撮像装置が、前記処理モードに応じて前記撮像素子を制御する制御部を有し、前記処理モードとして、
　　画素ずらし処理を行わず、前記撮像素子により撮像された前記生体内画像を、一定のフレームレートで出力する第１のモードと、
　　画素ずらし処理を行い、画素ずらし処理で得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、前記第１のモードと同一のフレームレートで出力する第２のモードと、
　　画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を、前記第１のモードよりも高いフレームレートで出力する第３のモードと、
　　画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を加算してから、前記第１のモードと同一のフレームレートで出力する第４のモードと
　を含み、
　前記撮像素子により撮像された前記生体内画像よりも高精細な画像又は前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像の提供に適した手術シーンは、前記第２のモード又は前記第４のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第３のモードに対応付けられる
　（４）に記載の情報処理装置。
（１４）
　前記撮像装置が、少なくとも３つ以上の撮像素子を有し、前記処理モードとして、
　　RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、一定のフレームレートで出力する第１のモードと、
　　RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成して得られる画像を、前記第１のモードよりも高いフレームレートで出力する第２のモードと
　を含み、
　前記撮像素子により撮像された前記生体内画像よりも高精細な画像の提供に適した手術シーンは、前記第１のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第２のモードに対応付けられる
　（４）に記載の情報処理装置。
（１５）
　前記処理モード決定部は、
　　前記手術シーンと前記処理モードとを対応付けたテーブルを記憶し、
　　前記テーブルを参照して、前記処理モードを決定する
　（１）乃至（１４）のいずれか一項に記載の情報処理装置。
（１６）
　前記高精細な画像は、3840以上の水平解像度を有する画像である
　（３）に記載の情報処理装置。
（１７）
　情報処理装置の情報処理方法において、
　前記情報処理装置が、
　手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定し、
　前記処理モードに応じて、前記撮像装置から出力される画像を処理する
　ステップを含む情報処理方法。
（１８）
　内視鏡と情報処理装置から構成される内視鏡システムにおいて、
　前記内視鏡は、
　　画素ずらし処理が可能となるように配置される撮像素子と、
　　前記撮像素子を制御する制御部と
　を備え、
　前記情報処理装置は、
　　手術シーンに応じて前記内視鏡により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
　　前記処理モードに応じて、前記内視鏡から出力される画像を処理する処理部と
　を備え、
　前記制御部は、前記処理モードに応じて、前記撮像素子を制御する
　内視鏡システム。
　１０　内視鏡手術システム，　１０１　CCU，　１０２　光源装置，　１０３　処置具用装置，　１０４　気腹装置，　１０５　表示装置，　１０６　レコーダ，　１０７　プリンタ，　１１１　内視鏡，　１１２　エネルギ処置具，　１２１　フットスイッチ，　１３１乃至１３４　トロッカ，　１３５　鉗子，　１５１　処理モード決定部，　１５２　画像合成部，　１５３　シーン認識部，　１６１　センサ，　１６１－１　単板式のセンサ，　１６１－３　３板式のセンサ，　１６２　センサ制御部，　１８１－Ｒ，１８１－Ｇ，１８１－Ｂ　バッファ，　１８２　位置ずれ検出部，　１８３　位置ずれ補正部，　２００　コンピュータ，　２０１　CPU

Claims (18)

  1. 　手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
    　前記処理モードに応じて、前記撮像装置から出力される画像を処理する処理部と
    　を備える情報処理装置。
  2. 　前記撮像装置は、前記処理モードに応じて前記撮像素子を制御する制御部を有し、
    　前記処理モード決定部は、前記処理モードを前記制御部に供給する
    　請求項１に記載の情報処理装置。
  3. 　前記処理モードは、前記画素ずらし処理によって前記撮像素子により撮像された前記生体内画像よりも高精細な画像を提供可能なモードを含む
    　請求項１に記載の情報処理装置。
  4. 　前記処理モードは、前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像を提供可能なモード、及び、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像を提供可能なモードのうちの少なくとも一方のモードをさらに含む
    　請求項３に記載の情報処理装置。
  5. 　前記撮像装置は、少なくとも３つ以上の撮像素子を有する
    　請求項３に記載の情報処理装置。
  6. 　前記モード決定部は、外部から入力される外部信号に応じて、前記処理モードを決定する
    　請求項１に記載の情報処理装置。
  7. 　前記モード決定部は、術者による前記処理モードの切り替え操作に応じて、前記処理モードを決定する
    　請求項６に記載の情報処理装置。
  8. 　前記モード決定部は、処置具用装置からの処置具の電源のオン／オフを示す信号に応じて、前記処理モードを決定する
    　請求項６に記載の情報処理装置。
  9. 　前記モード決定部は、光源装置からの光源の切り替え信号に応じて、前記処理モードを決定する
    　請求項６に記載の情報処理装置。
  10. 　前記モード決定部は、事前にプランニングされた手術計画に応じて、前記処理モードを決定する
    　請求項１に記載の情報処理装置。
  11. 　前記モード決定部は、前記手術計画において事前にプランニングされた術部ごとの前記処理モードに応じて、前記処理モードを決定する
    　請求項１０に記載の情報処理装置。
  12. 　前記撮像装置から出力される前記画像に基づいて、所定のシーンを認識するシーン認識部をさらに備え、
    　前記モード決定部は、前記シーン認識部による認識結果に応じて、前記処理モードを決定する
    　請求項１に記載の情報処理装置。
  13. 　前記撮像装置が、前記処理モードに応じて前記撮像素子を制御する制御部を有し、前記処理モードとして、
    　　画素ずらし処理を行わず、前記撮像素子により撮像された前記生体内画像を、一定のフレームレートで出力する第１のモードと、
    　　画素ずらし処理を行い、画素ずらし処理で得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、前記第１のモードと同一のフレームレートで出力する第２のモードと、
    　　画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を、前記第１のモードよりも高いフレームレートで出力する第３のモードと、
    　　画素ずらし処理を行わず、所定の時間内の複数回の撮像で得られる画像を加算してから、前記第１のモードと同一のフレームレートで出力する第４のモードと
    　を含み、
    　前記撮像素子により撮像された前記生体内画像よりも高精細な画像又は前記撮像素子により撮像された前記生体内画像よりもノイズの少ない画像の提供に適した手術シーンは、前記第２のモード又は前記第４のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第３のモードに対応付けられる
    　請求項４に記載の情報処理装置。
  14. 　前記撮像装置が、少なくとも３つ以上の撮像素子を有し、前記処理モードとして、
    　　RGBの各プレーンを同一のタイミングで撮像して、RGBのプレーンの画像から得られる前記撮像素子により撮像された前記生体内画像よりも高精細な画像を、一定のフレームレートで出力する第１のモードと、
    　　RGBの各プレーンを異なるタイミングで撮像して、撮像タイミングがずれて撮像されたRBGのプレーンの画像のうち、撮像時間が近いRBGのプレーンの画像を合成して得られる画像を、前記第１のモードよりも高いフレームレートで出力する第２のモードと
    　を含み、
    　前記撮像素子により撮像された前記生体内画像よりも高精細な画像の提供に適した手術シーンは、前記第１のモードに対応付けられ、前記撮像素子により撮像された前記生体内画像よりも動きが滑らかに見える画像の提供に適した手術シーンは、前記第２のモードに対応付けられる
    　請求項４に記載の情報処理装置。
  15. 　前記処理モード決定部は、
    　　前記手術シーンと前記処理モードとを対応付けたテーブルを記憶し、
    　　前記テーブルを参照して、前記処理モードを決定する
    　請求項１に記載の情報処理装置。
  16. 　前記高精細な画像は、3840以上の水平解像度を有する画像である
    　請求項３に記載の情報処理装置。
  17. 　情報処理装置の情報処理方法において、
    　前記情報処理装置が、
    　手術シーンに応じて画素ずらし処理が可能となるように配置される撮像素子を有する撮像装置により撮像される生体内画像に対する処理モードを決定し、
    　前記処理モードに応じて、前記撮像装置から出力される画像を処理する
    　ステップを含む情報処理方法。
  18. 　内視鏡と情報処理装置から構成される内視鏡システムにおいて、
    　前記内視鏡は、
    　　画素ずらし処理が可能となるように配置される撮像素子と、
    　　前記撮像素子を制御する制御部と
    　を備え、
    　前記情報処理装置は、
    　　手術シーンに応じて前記内視鏡により撮像される生体内画像に対する処理モードを決定する処理モード決定部と、
    　　前記処理モードに応じて、前記内視鏡から出力される画像を処理する処理部と
    　を備え、
    　前記制御部は、前記処理モードに応じて、前記撮像素子を制御する
    　内視鏡システム。
PCT/JP2016/080496 2015-10-30 2016-10-14 情報処理装置、情報処理方法、及び、内視鏡システム WO2017073361A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/761,438 US10722106B2 (en) 2015-10-30 2016-10-14 Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
EP16859591.6A EP3369362B1 (en) 2015-10-30 2016-10-14 Information processing device, information processing method, and endoscope system
CN201680061702.8A CN108348143B (zh) 2015-10-30 2016-10-14 信息处理装置、信息处理方法和内窥镜系统
JP2017547730A JP6888551B2 (ja) 2015-10-30 2016-10-14 情報処理装置、情報処理方法、及び、手術システム
US16/929,693 US11744440B2 (en) 2015-10-30 2020-07-15 Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015213767 2015-10-30
JP2015-213767 2015-10-30

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/761,438 A-371-Of-International US10722106B2 (en) 2015-10-30 2016-10-14 Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
US16/929,693 Continuation US11744440B2 (en) 2015-10-30 2020-07-15 Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes

Publications (1)

Publication Number Publication Date
WO2017073361A1 true WO2017073361A1 (ja) 2017-05-04

Family

ID=58631411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080496 WO2017073361A1 (ja) 2015-10-30 2016-10-14 情報処理装置、情報処理方法、及び、内視鏡システム

Country Status (5)

Country Link
US (2) US10722106B2 (ja)
EP (1) EP3369362B1 (ja)
JP (1) JP6888551B2 (ja)
CN (1) CN108348143B (ja)
WO (1) WO2017073361A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット， インコーポレイテッド 機械学習システムのリアルタイム展開

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017099616A (ja) * 2015-12-01 2017-06-08 ソニー株式会社 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2018098465A1 (en) 2016-11-28 2018-05-31 Inventio, Inc. Endoscope with separable, disposable shaft
USD1018844S1 (en) 2020-01-09 2024-03-19 Adaptivendo Llc Endoscope handle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005305046A (ja) * 2004-04-26 2005-11-04 Olympus Corp 手術用観察システム
JP2009225933A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp カプセル内視鏡システム及びカプセル内視鏡の動作制御方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006269992A (ja) * 2005-03-25 2006-10-05 Yamagata Casio Co Ltd 画像データ生成方法及びそれを用いた部品搭載装置
JP2007020727A (ja) * 2005-07-13 2007-02-01 Olympus Medical Systems Corp 画像処理装置
WO2008039758A2 (en) * 2006-09-25 2008-04-03 Cambridge Research & Instrumentation, Inc. Sample imaging and classification
JP5466876B2 (ja) 2009-05-14 2014-04-09 オリンパス株式会社 画像取得装置、画像取得装置の制御方法、及び顕微鏡システム
JP5379647B2 (ja) 2009-10-29 2013-12-25 オリンパス株式会社 撮像装置、及び、画像生成方法
JP5415973B2 (ja) * 2010-01-25 2014-02-12 オリンパス株式会社 撮像装置、内視鏡システム及び撮像装置の作動方法
JP5715372B2 (ja) * 2010-10-15 2015-05-07 オリンパス株式会社 画像処理装置、画像処理装置の作動方法及び内視鏡装置
JP5623348B2 (ja) * 2011-07-06 2014-11-12 富士フイルム株式会社 内視鏡システム、内視鏡システムのプロセッサ装置、及び内視鏡システムの作動方法
EP2772182B1 (en) * 2012-09-03 2016-09-07 Olympus Corporation Scanning endoscope system
JP6080505B2 (ja) * 2012-11-06 2017-02-15 キヤノン株式会社 像振れ補正装置およびその制御方法
US20150105758A1 (en) * 2013-10-15 2015-04-16 Olympus Medical Systems Corp. Method for endoscopic treatment
JP6460631B2 (ja) * 2014-02-19 2019-01-30 オリンパス株式会社 撮像装置、内視鏡装置及び顕微鏡装置
JP6407643B2 (ja) * 2014-09-19 2018-10-17 キヤノンメディカルシステムズ株式会社 画像処理装置、画像処理システム及び画像処理方法
WO2016162925A1 (ja) * 2015-04-06 2016-10-13 オリンパス株式会社 画像処理装置、生体観察装置および画像処理方法
EP3354188A4 (en) * 2015-09-24 2019-04-17 Olympus Corporation ENDOSCOPE DEVICE

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005305046A (ja) * 2004-04-26 2005-11-04 Olympus Corp 手術用観察システム
JP2009225933A (ja) * 2008-03-21 2009-10-08 Fujifilm Corp カプセル内視鏡システム及びカプセル内視鏡の動作制御方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022541897A (ja) * 2019-07-16 2022-09-28 ドックボット， インコーポレイテッド 機械学習システムのリアルタイム展開
JP7420916B2 (ja) 2019-07-16 2024-01-23 サティスファイ ヘルス インコーポレイテッド 機械学習システムのリアルタイム展開

Also Published As

Publication number Publication date
JPWO2017073361A1 (ja) 2018-08-16
EP3369362A1 (en) 2018-09-05
US20200345220A1 (en) 2020-11-05
US20190046020A1 (en) 2019-02-14
EP3369362B1 (en) 2020-01-08
CN108348143B (zh) 2020-11-03
JP6888551B2 (ja) 2021-06-16
US10722106B2 (en) 2020-07-28
EP3369362A4 (en) 2018-12-19
CN108348143A (zh) 2018-07-31
US11744440B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
US11744440B2 (en) Information processing apparatus, information processing method, and endoscope system for processing images based on surgical scenes
JP7230808B2 (ja) 撮像素子および撮像装置
WO2016072288A1 (ja) 内視鏡装置、および、内視鏡装置の動作方法、並びにプログラム
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
WO2019187502A1 (ja) 画像処理装置と画像処理方法およびプログラム
US20160174823A1 (en) Image signal output apparatus and image signal transmission/reception system
CN108353144B (zh) 多摄像机系统、摄像机、摄像机处理方法、确认设备和确认设备处理方法
JP2019004978A (ja) 手術システムおよび手術用撮像装置
WO2018230510A1 (ja) 画像処理装置、画像処理方法および撮像システム
JP7420137B2 (ja) 信号処理装置、撮像装置、信号処理方法
WO2020112726A1 (en) Medical imaging systems and methods
CN113574858A (zh) 图像拍摄设备，图像拍摄方法和程序
JP2017099616A (ja) 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム
WO2020203265A1 (ja) 映像信号処理装置、映像信号処理方法および撮像装置
US20190167071A1 (en) Medical imaging device
JP7452177B2 (ja) 医療用観察システム、制御装置、制御方法、および撮像装置
JPWO2018211970A1 (ja) 内視鏡
JP7456385B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2019076656A (ja) 電子内視鏡システム
JP2021193762A (ja) 受信装置、および受信方法、並びに、画像処理システム
JP2004254777A (ja) 電子内視鏡装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16859591

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017547730

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016859591

Country of ref document: EP