CN112243091B - 三维内窥镜系统、控制方法和存储介质 - Google Patents

三维内窥镜系统、控制方法和存储介质 Download PDF

Info

Publication number
CN112243091B
CN112243091B CN202011111434.0A CN202011111434A CN112243091B CN 112243091 B CN112243091 B CN 112243091B CN 202011111434 A CN202011111434 A CN 202011111434A CN 112243091 B CN112243091 B CN 112243091B
Authority
CN
China
Prior art keywords
video stream
current frame
image
frame image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011111434.0A
Other languages
English (en)
Other versions
CN112243091A (zh
Inventor
史涛坪
梁向南
何超
张葵阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Microport Medbot Group Co Ltd
Original Assignee
Shanghai Microport Medbot Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Microport Medbot Group Co Ltd filed Critical Shanghai Microport Medbot Group Co Ltd
Priority to CN202011111434.0A priority Critical patent/CN112243091B/zh
Publication of CN112243091A publication Critical patent/CN112243091A/zh
Application granted granted Critical
Publication of CN112243091B publication Critical patent/CN112243091B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661—Endoscope light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Veterinary Medicine (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种三维内窥镜系统、控制方法和存储介质，系统包括内窥镜、照明模块、内窥镜驱动模块、内窥镜控制模块和场景融合模块，内窥镜驱动模块包括第一驱动单元和第二驱动单元，第一驱动单元用于获取目标组织的第一场景图像，并以第一视频流的形式输出，第二驱动单元用于获取目标组织的第二场景图像，并以第二视频流的形式输出，内窥镜控制模块用于当第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制第一驱动单元获取欠曝的第一场景图像，并控制第二驱动单元获取过曝的第二场景图像，场景融合模块用于将第一视频流的当前帧图像与第二视频流的当前帧图像进行图像融合。本发明可以提高动态范围，避免被摄目标成像模糊。

Description

三维内窥镜系统、控制方法和存储介质
技术领域
本发明涉及医疗器械技术领域，特别涉及一种三维内窥镜系统、控制方法和存储介质。
背景技术
随着医疗技术的不断发展，内窥镜作为集中传统光学、人体工程学、精密机械、现代电子、数学、软件等于一体的检测仪器，应用范围越来越广。内窥镜可以进入待检测者的体内(例如食道)，以获得待检测部位的图像，进而确定待检测部位是否存在病变。利用内窥镜可以看到X射线不能显示的病变，因此它对医生非常有用。例如，借助内窥镜医生可以观察胃内的溃疡或肿瘤，据此制定出最佳的治疗方案。当术中发生出血，因血红蛋白吸光特性，会使得腔体内亮度下降，这造成成像细节不清晰。传统方法通过提高内窥镜的曝光时间和增益，此方法会引起拖影和加重成像噪声。也有一些通过提高光源输出功率，但是光源输出功率越高，亮区和暗区差异会越大，造成强烈的反光。因此，需要通过增加成像的动态范围的方法来解决上述问题。而目前，增加成像的动态范围的方法主要为采用同一个传感器进行分时曝光的方式，实现长短曝光成像，最后融合以提高动态范围。此种方法会导致运动目标成像模糊。
发明内容
本发明的目的在于提供一种三维内窥镜系统、控制方法和存储介质，不仅可以提高3D成像的动态范围，同时也可以提高信噪比和成像质量。
为达到上述目的，本发明提供一种三维内窥镜系统，包括内窥镜、照明模块、内窥镜驱动模块、内窥镜控制模块和场景融合模块；
所述照明模块用于提供输出光，以照明目标组织，并形成反射光；
所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于捕获所述反射光以获取所述目标组织的第一场景图像，并将所述第一场景图像以第一视频流的形式输出，所述第二驱动单元用于捕获所述反射光以获取所述目标组织的第二场景图像，并将所述第二场景图像以第二视频流的形式输出；
所述内窥镜控制模块用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元获取欠曝的所述第一场景图像，以及控制所述第二驱动单元获取过曝的所述第二场景图像；
所述场景融合模块用于基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，以及基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
可选的，所述内窥镜控制模块包括曝光控制单元，所述曝光控制单元用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元以第一曝光值获得欠曝的所述第一场景图像，控制所述第二驱动单元以第二曝光值获得过曝的所述第二场景图像，其中，所述第二曝光值小于最大曝光值，所述第一曝光值小于所述第二曝光值。
可选的，所述内窥镜控制模块还包括亮度获取单元和照明调节单元；
所述亮度获取单元用于获取所述第二视频流的当前亮度；
所述照明调节单元用于当所述第二视频流的当前亮度小于所述第一亮度阈值时，调整所述照明模块的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。
可选的，所述照明调节单元以等比或等差的方式增加所述照明模块的输出功率或者根据所述第二视频流的当前帧图像的亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来确定需要增加的所述照明模块的输出功率。
可选的，若所述第二视频流为YUV编码或YCbCr编码，所述亮度获取单元用于取所述第二视频流中的当前帧图像中的每个或者部分像素点的Y值的均值或者加权值作为所述当前亮度；
若所述第二视频流为RGB编码，所述亮度获取单元用于先根据所述第二视频流中的当前帧图像的像素点的RGB值获取像素点的亮度，然后取所述第二视频流中的当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为所述当前亮度。
可选的，所述场景融合模块包括图像配准单元和图像融合单元；
所述图像配准单元用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像的像素点之间的匹配；
所述图像融合单元用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第二视频流的当前帧图像的色度信息，对所述亮度融合图像和所述第二视频流的当前帧图像进行图像融合，以获得场景融合图像。
可选的，所述图像配准单元用于根据所述第二视频流的当前帧图像的亮度图像中的模板，遍历所述第一视频流的当前帧图像中与所述模板对应的行中所有区域，获得每个区域的所有像素点的亮度与所述模板中所有像素点的亮度之间的平均绝对差，将最小的平均绝对差所对应的第一视频流的当前帧图像的区域在所述第一视频流的当前帧图像中的位置与所述模板在所述第二视频流的当前帧图像中的位置的差值作为所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。
可选的，所述模板为多个，所述图像配准单元还用于在获取每个模板所对应的最小的平均绝对差后，取这些最小平均绝对差中出现频率最高的最小平均绝对差，或者取与这些最小平均绝对差的平均值最接近的最小平均绝对差，将该最小的平均绝对差所对应的第一视频流的当前帧图像的区域在所述第一视频流的当前帧图像中的位置与所述模板在所述第二视频流的当前帧图像中的位置的差值作为所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。
可选的，所述图像融合单元用于根据预设的关于亮度值与权重的正态分布、所述第二视频流的当前帧图像的像素点的亮度以及对应的所述第一视频流的当前帧图像的像素点的亮度，分别获取所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重；以及
根据获取的所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
可选的，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于当所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式时，将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像的像素点均转换至YUV空间或者YCbCr空间内。
可选的，所述内窥镜控制模块包括亮度获取单元；
所述亮度获取单元与所述图像配准单元、所述图像融合单元通信连接，用于获取所述第一视频流的当前帧图像的像素点的亮度、所述第二视频流的当前帧图像的像素点的亮度以及所述第二视频流的当前帧图像的像素点的色度；
若所述第一视频流、所述第二视频流为YUV编码或YCbCr编码，所述亮度获取单元用于分别取所述第一视频流的当前帧图像、所述第二视频流的当前帧图像中的像素点的Y值作为所述像素点的亮度，并取所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述像素点的色度；
若所述第一视频流、所述第二视频流为RGB编码，所述亮度获取单元用于先将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像的像素点均转换至YUV空间或者YCbCr空间，然后分别取所述第一视频流的当前帧图像、所述第二视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并取所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述第二视频流的当前帧图像的像素点的色度。
可选的，所述三维内窥镜系统还包括中央控制器，所述中央控制器包括视频叠加单元，所述视频叠加单元用于将所述场景融合模块输出的场景融合图像进行叠加并将生成的三维图像传递至显示器予以显示。
为达到上述目的，本发明还提供一种三维内窥镜系统的控制方法，所述控制方法包括：
提供输出光，以照明目标组织，并形成反射光；
捕获所述反射光以获取所述目标组织的第一场景图像和第二场景图像，并将所述第一场景图像和所述第二场景图像分别以第一视频流和第二视频流的形式输出；
比较所述第二视频流的当前亮度与预设的第一亮度阈值的大小，如果所述第二视频流的当前亮度大于或等于所述第一亮度阈值，则分别获取欠曝的所述第一场景图像和过曝的所述第二场景图像；
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像；以及
基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
可选的，如果所述第二视频流的当前亮度小于所述第一亮度阈值，则调整照明模块的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。
可选的，所述调整照明模块的输出功率包括：
以等比或等差的方式增加所述照明模块的输出功率；或者，
获取所述第二视频流的当前帧图像的亮度直方图，根据所述亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来确定需要增加的所述照明模块的输出功率。
可选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，包括：
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像中的像素点之间的匹配；以及
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，获得亮度融合图像。
可选的，所述基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
将所述第二视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点。
可选的，若所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行配准之前，所述控制方法还包括：
将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像均转换至YUV空间或者YCbCr空间内。
可选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第二视频流的当前帧图像的像素点的亮度以及对应的所述第一视频流的当前帧图像的像素点的亮度，分别获取所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重；以及
根据获取的所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
为达到上述目的，本发明还提供一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如上文所述的控制方法。
与现有技术相比，本发明提供的三维内窥镜系统、控制方法和存储介质具有以下优点：本发明在所述第二视频流的当前亮度大于或等于预设的第一亮度阈值的前提下，分别获取欠曝的第一场景图像，过曝的的第二场景图像，并将两者分别以第一视频流和第二视频流的形式输出，然后基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，再基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，以获得亮度合适，细节丰富的场景融合图像。由此，本发明在一定的光照亮度的前提下，通过三维内窥镜中的一个固体感光部获取过曝光的图像，另外一个固体感光部获取欠曝光的图像，欠曝光的图像用以获取亮处的细节，而过曝光的图像用于获取暗处的细节，从而可以在不改变三维内窥镜硬件的情况下，即可提高图像动态范围，并且可以获取更多高动态图像中的细节信息，提升信噪比，不会引入鬼影现象，有效避免因鬼影而造成用户对病灶信息的误判断，从而可以提供更准确的病灶辅助诊断信息，提高手术的精准性和安全性。
附图说明
图1为本发明一实施方式中的三维内窥镜系统的方框结构示意图；
图2为本发明一实施方式中的亮度直方示意图；
图3为本发明一实施方式中的图像配准示意图
图4为本发明一实施方式中的亮度与权重的正态分布示意图；
图5为本发明一实施方式中的三维内窥镜系统的控制方法的流程图。
其中，附图标记如下：
内窥镜-100；照明模块-200；内窥镜驱动模块-300；内窥镜控制模块-400；场景融合模块-500；目标组织-600；第一驱动单元-310；第二驱动单元-320；曝光控制单元-410；亮度获取单元-420；照明调节单元-430；图像配准单元-510；图像融合单元-520；图像模式转换单元-530；视频流水线-700；中央控制器-800；显示器-900；视频叠加单元-810；用户控制逻辑-820；用户界面-830；主光源-210；照明控制器-220；第一固体感光部-311；第一场景驱动部-312；第二固体感光部-321；第二场景驱动部-322。
具体实施方式
以下结合附图1至5和具体实施方式对本发明提出的三维内窥镜系统、控制方法和存储介质作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的核心思想在于提供一种三维内窥镜系统、控制方法和存储介质，不仅可以提高3D成像的动态范围，同时也可以提高信噪比和成像质量。
为实现上述思想，本发明提供了一种三维内窥镜系统，包括内窥镜、照明模块、内窥镜驱动模块、内窥镜控制模块和场景融合模块；
所述照明模块用于提供输出光，以照明目标组织，并形成反射光；
所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于捕获所述反射光以获取所述目标组织的第一场景图像，并将所述第一场景图像以第一视频流的形式输出，所述第二驱动单元用于捕获所述反射光以获取所述目标组织的第二场景图像，并将所述第二场景图像以第二视频流的形式输出；
所述内窥镜控制模块用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元获取欠曝的所述第一场景图像，以及控制所述第二驱动单元获取过曝的所述第二场景图像；
所述场景融合模块用于基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，以及基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
请参考图1，其示意性地给出了本发明一实施方式提供的三维内窥镜系统的结构示意图，如图1所示，所述三维内窥镜系统包括内窥镜100、照明模块200、内窥镜驱动模块300、内窥镜控制模块400和场景融合模块500。
所述照明模块200用于以一定功率提供输出光(例如，可见光)以照明目标组织600，并形成反射光。
具体的，所述照明模块200包括主光源210和用于控制主光源210输出功率的照明控制器220。本发明对照明模块200的具体位置以及输出光形式没有特别的限制。例如，所述照明模块200为独立于所述内窥镜100设置的光源发生器，主光源210为氙灯，照明控制器220为光源电路。所述主光源210输出的输出光可以通过容纳于内窥镜100的照明通道中的连接器输送至内窥镜100的末端并到达目标组织600，所述连接器例如为光纤。所述照明模块200还可以设置于所述内窥镜100的照明通道中，例如主光源210为LED灯珠，照明控制器220为LED驱动电路，所述LED灯珠和LED驱动电路设置于所述照明通道中。
所述内窥镜驱动模块300包括第一驱动单元310和第二驱动单元320，所述第一驱动单元310用于捕获所述反射光获得关于所述目标组织600的第一场景信息的第一场景图像，并将所述第一场景图像以第一视频流的形式输出，所述第二驱动单元320用于捕获所述反射光获得关于所述目标组织600的第二场景信息的第二场景图像，并将所述第二场景图像以第二视频流的形式输出。在本实施例中，单元、组件以“第一”，“第二”命名没有实质性含义，并不意味着相关单元、组件的位置关系，出现顺序关系。例如，第一驱动单元310不一定位于第二驱动单元320左侧或者上侧，也有可能位于第二驱动单元320右侧或者下侧。
所述第一驱动单元310包括第一固体感光部311和第一场景驱动部312。所述第一固体感光部311用于捕获承载目标组织600第一场景信息的反射光，经过光电转换后获得第一场景图像，并将第一场景图像以第一视频流的形式输出。所述第一场景驱动部312用于通过向所述第一固体感光部311提供配置参数，例如曝光值(曝光时间与视频流增益的乘积)以控制第一固体感光部311。进一步，所述第一场景驱动部312接收下述曝光控制单元410输出的曝光值以控制第一固体感光部311接收反射光并进行光电转换。同理，所述第二驱动单元320包括第二固体感光部321和第二场景驱动部322。所述第二固体感光部321用于捕获承载目标组织600第二场景信息的反射光，经过光电转换后获得第二场景图像，并将第二场景图像以第二视频流的形式输出。所述第二场景驱动部322用于通过向所述第二固体感光部321提供配置参数，例如曝光值以控制第二固体感光部321。同样，所述第二场景驱动部322接收下述曝光控制单元410输出的曝光值以控制第二固体感光部321接收反射光并进行光电转换。本实施例中，对所述第一固体感光部311和所述第二固体感光部321的具体种类没有特别的限制。所述第一固体感光部311和所述第二固体感光部321可以为互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)或电荷耦合器件(CCD，ChargeCoupled Device)。
所述内窥镜控制模块400与所述内窥镜驱动模块300和所述场景融合模块500通信连接，所述内窥镜控制模块400用于当所述第二视频流的当前亮度大于或等于所述第一亮度阈值时，控制所述第一驱动单元310获取欠曝的第一场景图像，以及控制所述第二驱动单元320获取过曝的第二场景图像。在本实施例中，通过视频流的当前亮度的控制，使驱动单元在达到过曝的效果的同时，较低的曝光值能较好的抑制底噪。本实施例中，“当前亮度”，是指所述视频流中当前帧的图像的亮度。相应地，第二视频流的当前亮度，即为第二视频流中的当前帧图像的亮度。
具体而言，所述内窥镜控制模块400包括曝光控制单元410。所述曝光控制单元410用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元310以第一曝光值获取欠曝的所述第一场景图像，控制所述第二驱动单元320以大于第一曝光值的第二曝光值获取过曝的所述第二场景图像。在本实施例中，由于提高了第二视频流的当前亮度，所以在产生过曝图像时，不需要将第二曝光值设定到固体感光部的最大曝光值，这样可以降低第二视频流的底噪，有益于后面的图像配准和图像融合。本实施例中，对于曝光控制单元410如何获取第一曝光值、第二曝光值的方法没有特别的限制，例如所述第一曝光值、第二曝光值为预设值，又例如所述第一曝光值和所述第二曝光值的取值与当前亮度相关。
优选的，所述内窥镜控制模块400还用于获取所述第二视频流的当前亮度，并在所述第二视频流的当前亮度小于所述第一亮度阈值时，调整所述主光源210的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。具体而言，所述内窥镜控制模块400还包括亮度获取单元420和照明调节单元430。所述亮度获取单元420用于获取所述第二视频流的当前亮度；所述照明调节单元430用于当所述第二视频流的当前亮度小于所述第一亮度阈值时，控制所述照明模块200调整所述主光源210的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。本实施例对所述第二视频流的当前亮度与所述第一亮度阈值之间的具体比较方法没有特别的限制，相应的功能可以设置在亮度获取单元420，照明调节单元430，所述内窥镜控制模块400其他单元中，或者独立的比较单元中。
具体而言，所述第二固体感光部321与所述亮度获取单元420通信连接，以将所述第二视频流输出至所述亮度获取单元420。本实施例对所述亮度获取单元420获得所述第二视频流的当前亮度的具体方法没有特别的限制。例如，如果所述第二视频流为YUV编码或YCbCr编码，所述亮度获取单元420可以取所述第二视频流的当前帧图像的每个或者部分像素点的Y值的均值或者加权值作为当前亮度。又例如，当所述第二固体感光部输出的所述第二视频流为RGB编码，所述亮度获取单元420先根据像素点的RGB值获取像素点的亮度，然后取所述第二视频流的当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为当前亮度。根据像素点的RGB值获取像素点的亮度Y可以是只取人眼比较敏感的G值作为亮度，也可以对R值，G值以及B值做加权获得，例如Y＝0.2126×R+0.7152×G+0.0722×B，或者Y＝0.299×R+0.587×G+0.114×B。
所述照明调节单元430分别与所述亮度获取单元420和所述照明控制器220通信连接，以接收所述第二视频流的当前亮度，并与所述第一亮度阈值做比较，确定是否需要调节所述主光源210的输出功率，如果所述第二视频流的当前亮度小于所述第一亮度阈值，则调整所述主光源210的输出功率。本实施例对调节所述主光源210的输出功率的具体方法没有特别的限制。在一个示范性的方法中，所述照明调节单元430以等比或等差的方式增加所述主光源210的输出功率。例如，所述照明调节单元430根据所述第二视频流的当前帧图像的亮度与所述第一亮度阈值的比较结果，控制所述照明控制器220增加输出功率α×Pmax，其中α为比例，Pmax为输出光最大输出功率。当第二视频流的下一帧成为当前帧时，所述照明调节单元430根据第二视频流的当前帧图像的亮度与所述第一亮度阈值比较结果，确定是否还需要控制所述照明控制器220继续增加输出功率α×Pmax，直至下n帧成为当前帧时，所述第二视频流的当前亮度大于或等于所述第一亮度阈值为止。
显然，本领域人员应理解，所述第一视频流和所述第二视频流的当前帧图像为动态变化的，即所述第一视频流的当前帧图像和所述第二视频流的当前帧图像随着时间而改变。“使所述第二视频流的当前亮度大于或等于预设的第一亮度阈值”应为基于所述第二视频流的当前帧图像调整主光源210的输出功率，使后续的帧成为当前帧时，第二视频流的当前帧图像的亮度大于或等于预设的第一亮度阈值。
在另外一个示范性实施例中，所述照明调节单元430根据所述第二视频流的当前帧图像亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来增加所述主光源210的输出功率。请参考图2，其示意性地给出了像素点亮度与像素点数量的示意图，即亮度直方示意图，其中，图2中的阈值表示第二亮度阈值。所述照明调节单元430在所述当前亮度小于所述第一亮度阈值时，从所述亮度获取单元420获取小于所述第二亮度阈值的像素点数量占全部像素点数量的比值，然后控制所述照明调节单元430增加输出功率β×Vth×Pmax。其中，β为比例，Pmax为所述主光源210的最大输出功率，Vth为小于所述第二亮度阈值的像素点数量占全部像素点数量的比值。优选，当亮度采用8bit存储时，所述第二亮度阈值为80。同上，当第二视频流的下一帧成为当前帧时，所述照明调节单元430根据第二视频流的当前帧图像的亮度与所述第一亮度阈值比较结果确定是否需要继续调整主光源210的输出功率。如此，若所述图像中的亮度小于所述第二亮度阈值的像素点数量占所述图像的像素点总量的比例越大，则所述主光源210的输出功率的调整量越高。由此，根据所述比例Vth，可以实现对主光源210的输出功率的精确调整，大大提高了调整效率，有效节省时间。
所述场景融合模块500用于基于所述第一视频流的当前帧图像与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，以及基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
具体而言，所述场景融合模块500包括图像配准单元510和图像融合单元520。所述图像配准单元510用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像中的像素点之间的匹配；所述图像融合单元520用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和所述第一视频流的当前帧图像中与所述第二视频流的当前帧图像的像素点相匹配的像素点进行图像融合，以获得亮度融合图像，并基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
进一步，所述场景融合模块500与所述内窥镜驱动模块300通信连接，以获取第一视频流、第二视频流。当所述第一视频流、所述第二视频流的输出格式为YUV格式或者YCbCr格式时，所述图像配准单元510、所述图像融合单元520取第一视频流的当前帧图像、所述第二视频流的当前帧图像中的像素点的Y值作为所述像素点的亮度，并取所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述像素点的色度；而当所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式时，所述场景融合模块500还包括图像模式转换单元530，所述图像模式转换单元530用于将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像均转换至YUV空间或者YCbCr空间内，再将所述第一视频流的当前帧图像、所述第二视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并将所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述第二视频流的当前帧图像的像素点的色度。具体的转换方法，与上述亮度获取单元420获取当前亮度的方法时，将RGB格式的视频流转换为YUV格式或者YCbCr格式的方法类似，在这里不再冗赘。当然，在其他一些实施例中，所述图像配准单元510和所述图像融合单元520也可以与所述亮度获取单元420通信连接，所述亮度获取单元420还用于将所述第一视频流的当前帧图像的亮度信息(亦即第一视频流的当前帧图像的亮度图像)、所述第二视频流的当前帧图像的亮度信息(亦即第二视频流的当前帧图像的亮度图像)和所述第二视频流的当前帧图像的色度信息分别传输给所述图像配准单元510和所述图像融合单元520。
在本实施例中，由于三维内窥镜中的第一驱动单元310、第二驱动单元320为横向布置，所以所述第一场景图像和所述第二场景图像之间具有横视差。即，人体组织在第一场景图像中的位置，与在第二场景图像中的位置不一致。因此，在图像融合之前，需要将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行配准，以获得所述第一视频流的当前帧图像中的像素点与所述第二视频流的当前帧图像中的像素点之间的对应关系。本实施例对图像配准的具体方法没有特别的限制，例如基于亮度进行图像配准(即，根据已知模板图像到另一幅图像中寻找与模板图像相似的子图像)、基于特征进行图像配准(即，首先提取图像的特征，再生成特征描述子，最后根据描述子的相似程度对两幅图像的特征之间进行匹配)、基于关系进行图像配准以及基于互信息进行图像配准。进一步，基于亮度进行图像配准对应的算法包括但不限于平均绝对差算法(MAD)、绝对误差和算法(SAD)、误差平方和算法(SSD)、平均误差平方和算法(MSD)、归一化积相关算法(NCC)、序贯相似性检测算法(SSDA)、hadamard变换算法(SATD)以及局部灰度值编码算法。
示范性的，以第二视频流的当前帧图像为基准，所述图像配准单元510从第二视频流的当前帧图像的亮度图像中取N个像素点(N为自然数)，然后基于这些像素点(在亮度图像中的坐标为xh，yh，h＝1,…,N)形成m×n的区域qh，即形成N个模板。然后所述图像配准单元510从第一视频流的当前帧图像的亮度图像的第xh行遍历所有的像素点，基于这些像素点形成多个对应的m×n的区域Ph，并获得每个区域Ph中所有像素点的亮度与模板qh中所有像素点的亮度之间的平均绝对差Dh。
Figure BDA0002728718020000151
其中，Ph(i,j)为区域Ph中第i行，第j列的像素点的亮度，qh(i,j)为区域q中第i行，第j列的像素点的亮度。
显然,平均绝对差Dh越小表明区域Ph与区域qh越相似，故只需找到最小的Dh即可确定所述第一视频流的当前帧图像与所述第二视频流的当前帧图像之间的视差，进而得到所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。因此，在获得所述第一场视频流的当前帧图像的亮度图像的第xi行遍历所有的像素点的平均绝对差Dh后，取其中最小平均绝对差Dmin＝min(Dh)，所述第一视频流的当前帧图像对应的像素点在所述第一视频流的当前帧图像中的位置与所述第二视频流的当前帧图像的像素点在所述第二视频流的当前帧图像中的位置之间的差值即为视差。通过该视差可以获得所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。该算法的运算过程简单，匹配精度高。
图3示意性地给出了本发明一实施例提供的图像配准示意图。如图3所示，所述第一视频流的当前帧图像和所述第二视频流的当前帧图像的像素点均为u×v个。所述第二视频流的当前帧图像中取4个模板(q1，q2，q3，q4)，即N＝4，其中每个模板为2×2个像素点组成。在对模板进行选择时，尽量选择所述第二视频流的当前帧图像的边缘。这是由于所述第二视频流的当前帧图像的中心更亮，细节损失过多，而边缘处的像素点的亮度值相对较低，损失的细节较少。以q1为例做进一步说明，q1的左上角像素点的坐标为(x1，y1)，由于所述第一视频流的当前帧图像与所述第二视频流的当前帧图像为横视差，所以从所述第一视频流的当前帧图像中取区域P1，且区域P1的左上角像素点的横坐标为x1，且大小与模板q1相同，为2×2个像素点组成。然后，遍历第x1行v-2个像素点，形成v-2个区域P1，进而获得v-2个平均绝对差D1，取其中最小平均绝对差Dmin1＝min(D1)，对应的像素点在所述第一场景图象中的位置与所述第二视频流的当前帧图像的模板的像素点在所述第二视频流的当前帧图像中的位置之间的差值即为视差。根据该视差可以获得所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像的像素点之间的对应关系。在图3所示的示范性实施例中，由于存在4个模板，所以分别遍历四行(分别为第x1，x2，x3和x4行)的像素点，每个模板获得1个最小平均绝对差Dmin1，Dmin2，Dmin3，Dmin4。取4个最小平均绝对差中出现频率最高的Dmin，或者取与这4个最小平均绝对差Dmin的平均值最接近的Dmin，对应的像素点在所述第一视频流的当前帧图象中的位置与所述第二视频流的当前帧图像的模板的像素点在所述第二视频流的当前帧图像中的位置之间的间距即为视差。
进一步，所述图像融合单元520，根据上述第一视频流的当前帧图像中的像素点与第二视频流的当前帧图像中的像素点之间的对应关系，将所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，进行图像融合，得到亮度融合图像。
本实施例中，基于所述第二视频流的当前帧图像的像素点的亮度与对应的所述第一视频流的当前帧图像的像素点的亮度进行融合的算法没有特别的限制。优选地，根据所述第一视频流的当前帧图像中的像素点的亮度的权重，所述第二视频流的当前帧图像中对应的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得融合后的亮度融合图像的像素点的亮度。
请参考图4，其示意性地给出了亮度与权重的正态分布曲线示意图，其中，P1为第一亮度，P2为第二亮度，W1为第一亮度P1的权重，W2为第二亮度P2的权重。所述正态分布曲线示意图为人为设定的，优选正态分布曲线的数学期望u＝128,方差δ＝50。亮度融合图像的亮度P3与第一视频流的当前帧图像的像素点的第一亮度P1和第二视频流的当前帧图像中对应的像素点的第二亮度P2之间满足如下关系：
P3＝W1 P1+W2 P2 (2)
如图4所示，亮度值越趋于数学期望，其所占的权重越大，由此，通过采用上述的正态分布的方式对所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息进行融合，可以使得获得的亮度融合图像具有合适的亮度。
由于第一视频流的当前帧图像和第二视频流的当前帧图像之间存在视差，所以第一视频流的当前帧图像中可能没有像素点与第二视频流的当前帧图像在边缘的部分像素点(例如最右侧部分像素点)相匹配。对于这部分像素点保留原来的亮度，不参与融合计算。
进一步，所述图像融合单元520，基于上述的亮度融合图像和第二视频流的当前帧图像的色度(例如YUV空间中的UV，YCbCr空间中的CbCr)进行融合得到场景融合图像。本实施例对于将所述亮度融合图像和所述第二视频流的当前帧图像的色度进行融合的具体方法没有特别的限制。示范性的，所述图像融合单元520，将所述第二视频流的当前帧图像的每个像素点的色度直接赋予亮度融合图像对应的像素点。
优选的，所述三维内窥镜系统还包括视频流水线700和中央控制器800，所述中央控制器800包括视频叠加单元810、用户控制逻辑820和用户界面830，所述场景融合模块500输出的场景融合图像传递至所述视频流水线700，所述视频叠加单元810将所述视频流水线700上的场景融合图像进行叠加以获得三维图像。所述用户控制逻辑820连接所述内窥镜驱动模块300和所述场景融合模块500，控制所述内窥镜驱动模块300获取目标组织600的第一场景图像和第二场景图像以及控制所述场景融合模块500进行第一视频流的当前帧图像和第二视频流的当前帧图像的融合，并将控制逻辑传输至用户界面830，界面信息进入视频叠加单元810与所述三维图像进行叠加后输送至外科医生的控制台中的显示器900予以显示。
由此，本发明在所述第二视频流的当前亮度大于或等于预设的第一亮度阈值的前提下，获取欠曝的第一场景图像，过曝的第二场景图像，并将两者分别以第一视频流和第二视频流的形式输出，然后基于所述第一视频流的当前帧图像与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，再基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，以获得亮度合适，细节丰富的场景融合图像。由此，本发明在一定的光照亮度的前提下，通过三维内窥镜中的一个固体感光部获取过曝的图像，另外一个固体感光部获取欠曝的图像，欠曝的图像用以获取亮处的细节，而过曝的图像用于获取暗处的细节，从而可以在不改变三维内窥镜硬件的情况下，即可提高图像动态范围，并且可以获取更多高动态图像中的细节信息，提升信噪比，不会引入鬼影现象，有效避免因鬼影而造成用户对病灶信息的误判断，从而可以提供更准确的病灶辅助诊断信息，提高手术的精准性和安全性。
与上述的三维内窥镜系统相对应，本发明还提供一种三维内窥镜系统的控制方法，请参考图5，其示意性地给出了本发明一实施方式提供的三维内窥镜系统的控制方法的流程图，如图5所示，所述控制方法包括以下步骤：
步骤S1、提供输出光，以照明目标组织，并形成反射光；
步骤S2、捕获所述反射光以获取所述目标组织的第一场景图像和第二场景图像，并将所述第一场景图像和所述第二场景图像分别以第一视频流和第二视频流的形式输出；
步骤S3、比较所述第二视频流的当前亮度与预设的第一亮度阈值的大小；
如果所述第二视频流的当前亮度大于或等于所述第一亮度阈值，则执行下述步骤S4；
步骤S4、分别获取欠曝的所述第一场景图像和过曝的所述第二场景图像；
步骤S5、基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像；
步骤S6、基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
本发明提供的控制方法通过在所述第二视频流的当前亮度大于或等于预设的第一亮度阈值的前提下，获取欠曝的第一场景图像，过曝的第二场景图像，并将两者分别以第一视频流和第二视频流的形式输出，然后基于所述第一视频流的当前帧图像与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，再基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，以获得亮度合适，细节丰富的场景融合图像。由此，本发明在一定的光照亮度的前提下，通过三维内窥镜中的一个固体感光部获取过曝图像，另外一个固体感光部获取欠曝图像，欠曝图像用以获取亮处的细节，而过曝图像用于获取暗处的细节，从而可以在不改变三维内窥镜硬件的情况下，即可提高图像动态范围，并且可以获取更多高动态图像中的细节信息，提升信噪比，不会引入鬼影现象，有效避免因鬼影而造成用户对病灶信息的误判断，从而可以提供更准确的病灶辅助诊断信息，提高手术的精准性和安全性。
所述第二视频流的当前亮度的获取方法可以参照上文关于所述亮度获取单元获取所述第二视频流的当前亮度的描述，故在此不再进行赘述。
优选的，如果所述第二视频流的当前亮度小于预设的第一亮度阈值，则执行下述步骤S7；
步骤S7、调整照明模块的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。
由此，通过上述的步骤S7将所述第二视频流的当前亮度调整至大于或等于所述第一亮度阈值后，再接着执行步骤S4至步骤S6。
更优选的，所述调整照明模块的输出功率包括：
以等比或等差的方式增加所述照明模块的输出功率；或者，
获取所述第二视频流的当前帧图像的亮度直方图，根据所述亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来确定需要增加的所述照明模块的输出功率。
具体地，所述调整所述照明模块的输出功率的方法可以参照上文关于所述照明调节单元调整所述照明模块的输出功率的描述，故在此不再进行赘述。
优选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，包括：
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像的像素点之间的匹配；以及
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像。
具体地，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像的像素点之间的匹配，可以参照上文中的图像配准方法，故对此不再进行赘述。
所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第一视频流的当前帧图像的像素点和对应的所述第二视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，可以参照上文中的图像融合方法，故对此不再进行赘述。
优选的，所述基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
将所述第二视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点。
优选的，若所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行配准之前，所述控制方法还包括：
将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像均转换至YUV空间或者YCbCr空间内。
具体的转换方法，与上述将RGB格式的视频流转换为YUV格式或者YCbCr格式类似。在这里不再冗赘。
更优选的，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第二视频流的当前帧图像的像素点的亮度以及对应的所述第一视频流的当前帧图像的像素点的亮度，分别获取所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重；以及
根据获取的所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重，分别对所述第二视频流的当前帧图像的像素点的亮度与对应的所述第一视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
为实现上述思想，本发明还提供一种存储介质，所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如上文所述的控制方法。
本发明提供的存储介质在在所述第二视频流的当前亮度大于或等于预设的第一亮度阈值的前提下，分别获取欠曝的第一场景图像，过曝的的第二场景图像，并将两者分别以第一视频流和第二视频流的形式输出，然后基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，再基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，以获得亮度合适，细节丰富的场景融合图像。由此，本发明在一定的光照亮度的前提下，通过三维内窥镜中的一个固体感光部获取过曝光的图像，另外一个固体感光部获取欠曝光的图像，欠曝光的图像用以获取亮处的细节，而过曝光的图像用于获取暗处的细节，从而可以在不改变三维内窥镜硬件的情况下，即可提高图像动态范围，并且可以获取更多高动态图像中的细节信息，提升信噪比，不会引入鬼影现象，有效避免因鬼影而造成用户对病灶信息的误判断，从而可以提供更准确的病灶辅助诊断信息，提高手术的精准性和安全性。
本发明实施方式的存储介质，可以采用一个或多个计算机可读的介质的任意组合。可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机硬盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其组合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
应当注意的是，在本文的实施方式中所揭露的装置和方法，也可以通过其他的方式实现。以上所描述的装置实施方式仅仅是示意性的，例如，附图中的流程图和框图显示了根据本文的多个实施方式的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用于执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本文各个实施方式中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
综上所述，与现有技术相比，本发明提供的三维内窥镜系统、控制方法和存储介质具有以下优点：本发明在所述第二视频流的当前亮度大于或等于预设的第一亮度阈值的前提下，分别获取欠曝的第一场景图像，过曝的的第二场景图像，并将两者分别以第一视频流和第二视频流的形式输出，然后基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，再基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，以获得亮度合适，细节丰富的场景融合图像。由此，本发明在一定的光照亮度的前提下，通过三维内窥镜中的一个固体感光部获取过曝光的图像，另外一个固体感光部获取欠曝光的图像，欠曝光的图像用以获取亮处的细节，而过曝光的图像用于获取暗处的细节，从而可以在不改变三维内窥镜硬件的情况下，即可提高图像动态范围，并且可以获取更多高动态图像中的细节信息，提升信噪比，不会引入鬼影现象，有效避免因鬼影而造成用户对病灶信息的误判断，从而可以提供更准确的病灶辅助诊断信息，提高手术的精准性和安全性。
上述描述仅是对本发明较佳实施方式的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。显然，本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (18)

1.一种三维内窥镜系统，其特征在于，包括内窥镜、照明模块、内窥镜驱动模块、内窥镜控制模块和场景融合模块；
所述照明模块用于提供输出光，以照明目标组织，并形成反射光；
所述内窥镜驱动模块包括第一驱动单元和第二驱动单元，所述第一驱动单元用于捕获所述反射光以获取所述目标组织的第一场景图像，并将所述第一场景图像以第一视频流的形式输出，所述第二驱动单元用于捕获所述反射光以获取所述目标组织的第二场景图像，并将所述第二场景图像以第二视频流的形式输出；所述第一驱动单元包括第一固体感光部和第一场景驱动部，所述第一场景驱动部用于通过向所述第一固体感光部提供曝光值以控制所述第一固体感光部；所述第二驱动单元包括第二固体感光部和第二场景驱动部，所述第二场景驱动部用于通过向所述第二固体感光部提供曝光值以控制所述第二固体感光部；
所述内窥镜控制模块用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元以第一曝光值获取欠曝的所述第一场景图像，以及控制所述第二驱动单元以大于第一曝光值的第二曝光值获取过曝的所述第二场景图像，其中，所述第二曝光值小于最大曝光值；
所述场景融合模块用于基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，以及基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像；
所述内窥镜控制模块包括亮度获取单元和照明调节单元；
所述亮度获取单元用于获取所述第二视频流的当前亮度；
所述照明调节单元用于当所述第二视频流的当前亮度小于所述第一亮度阈值时，调整所述照明模块的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值。
2.根据权利要求1所述的三维内窥镜系统，其特征在于，所述内窥镜控制模块包括曝光控制单元，所述曝光控制单元用于当所述第二视频流的当前亮度大于或等于预设的第一亮度阈值时，控制所述第一驱动单元以第一曝光值获得欠曝的所述第一场景图像，控制所述第二驱动单元以第二曝光值获得过曝的所述第二场景图像。
3.根据权利要求1所述的三维内窥镜系统，其特征在于，所述照明调节单元以等比或等差的方式增加所述照明模块的输出功率或者根据所述第二视频流的当前帧图像的亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来确定需要增加的所述照明模块的输出功率。
4.根据权利要求1所述的三维内窥镜系统，其特征在于，若所述第二视频流为YUV编码或YCbCr编码，所述亮度获取单元用于取所述第二视频流中的当前帧图像中的每个或者部分像素点的Y值的均值或者加权值作为所述当前亮度；
若所述第二视频流为RGB编码，所述亮度获取单元用于先根据所述第二视频流中的当前帧图像的像素点的RGB值获取像素点的亮度，然后取所述第二视频流中的当前帧图像的每个或者部分像素点的亮度的均值或者加权值作为所述当前亮度。
5.根据权利要求1所述的三维内窥镜系统，其特征在于，所述场景融合模块包括图像配准单元和图像融合单元；
所述图像配准单元用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像的像素点之间的匹配；
所述图像融合单元用于基于所述第一视频流的当前帧图像的亮度信息和所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，以获得亮度融合图像，并基于所述第二视频流的当前帧图像的色度信息，对所述亮度融合图像和所述第二视频流的当前帧图像进行图像融合，以获得场景融合图像。
6.根据权利要求5所述的三维内窥镜系统，其特征在于，所述图像配准单元用于根据所述第二视频流的当前帧图像的亮度图像中的模板，遍历所述第一视频流的当前帧图像中与所述模板对应的行中所有区域，获得每个区域的所有像素点的亮度与所述模板中所有像素点的亮度之间的平均绝对差，将最小的平均绝对差所对应的第一视频流的当前帧图像的区域在所述第一视频流的当前帧图像中的位置与所述模板在所述第二视频流的当前帧图像中的位置的差值作为所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。
7.根据权利要求6所述的三维内窥镜系统，其特征在于，所述模板为多个，所述图像配准单元还用于在获取每个模板所对应的最小的平均绝对差后，取这些最小平均绝对差中出现频率最高的最小平均绝对差，或者取与这些最小平均绝对差的平均值最接近的最小平均绝对差，将该最小的平均绝对差所对应的第一视频流的当前帧图像的区域在所述第一视频流的当前帧图像中的位置与所述模板在所述第二视频流的当前帧图像中的位置的差值作为所述第一视频流的当前帧图像的像素点与所述第二视频流的当前帧图像的像素点之间的对应关系。
8.根据权利要求5所述的三维内窥镜系统，其特征在于，所述图像融合单元用于根据预设的关于亮度值与权重的正态分布、所述第二视频流的当前帧图像的像素点的亮度以及对应的所述第一视频流的当前帧图像的像素点的亮度，分别获取所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重；以及
根据获取的所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
9.根据权利要求5所述的三维内窥镜系统，其特征在于，所述场景融合模块还包括图像模式转换单元，所述图像模式转换单元用于当所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式时，将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像的像素点均转换至YUV空间或者YCbCr空间内。
10.根据权利要求5所述的三维内窥镜系统，其特征在于，所述内窥镜控制模块包括亮度获取单元；
所述亮度获取单元与所述图像配准单元、所述图像融合单元通信连接，用于获取所述第一视频流的当前帧图像的像素点的亮度、所述第二视频流的当前帧图像的像素点的亮度以及所述第二视频流的当前帧图像的像素点的色度；
若所述第一视频流、所述第二视频流为YUV编码或YCbCr编码，所述亮度获取单元用于分别取所述第一视频流的当前帧图像、所述第二视频流的当前帧图像中的像素点的Y值作为所述像素点的亮度，并取所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述像素点的色度；
若所述第一视频流、所述第二视频流为RGB编码，所述亮度获取单元用于先将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像的像素点均转换至YUV空间或者YCbCr空间，然后分别取所述第一视频流的当前帧图像、所述第二视频流的当前帧图像的像素点的Y值作为所述像素点的亮度，并取所述第二视频流的当前帧图像中的像素点的U值、V值或者Cb值、Cr值作为所述第二视频流的当前帧图像的像素点的色度。
11.根据权利要求1所述的三维内窥镜系统，其特征在于，所述三维内窥镜系统还包括中央控制器，所述中央控制器包括视频叠加单元，所述视频叠加单元用于将所述场景融合模块输出的场景融合图像进行叠加并将生成的三维图像传递至显示器予以显示。
12.一种三维内窥镜系统的控制方法，其特征在于，所述控制方法包括：
提供输出光，以照明目标组织，并形成反射光；
捕获所述反射光以获取所述目标组织的第一场景图像和第二场景图像，并将所述第一场景图像和所述第二场景图像分别以第一视频流和第二视频流的形式输出；
比较所述第二视频流的当前亮度与预设的第一亮度阈值的大小，如果所述第二视频流的当前亮度大于或等于所述第一亮度阈值，则同时分别以第一曝光值获取欠曝的所述第一场景图像和以大于第一曝光值的第二曝光值获取过曝的所述第二场景图像，如果所述第二视频流的当前亮度小于所述第一亮度阈值，则调整照明模块的输出功率，以使所述第二视频流的当前亮度大于或等于所述第一亮度阈值，其中，所述第二曝光值小于最大曝光值；
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像；以及
基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像。
13.根据权利要求12所述的三维内窥镜系统的控制方法，其特征在于，所述调整照明模块的输出功率包括：
以等比或等差的方式增加所述照明模块的输出功率；或者，
获取所述第二视频流的当前帧图像的亮度直方图，根据所述亮度直方图中小于预设的第二亮度阈值的像素点数量的比例来确定需要增加的所述照明模块的输出功率。
14.根据权利要求12所述的三维内窥镜系统的控制方法，其特征在于，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行图像配准与图像融合，获得亮度融合图像，包括：
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息进行图像配准，以实现所述第一视频流的当前帧图像的像素点和所述第二视频流的当前帧图像中的像素点之间的匹配；以及
基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，获得亮度融合图像。
15.根据权利要求12所述的三维内窥镜系统的控制方法，其特征在于，所述基于所述第二视频流的当前帧图像的色度信息，将所述第二视频流的当前帧图像与所述亮度融合图像进行图像融合，获得场景融合图像，包括：
将所述第二视频流的当前帧图像的像素点的色度信息，赋予给所述亮度融合图像对应的像素点。
16.根据权利要求12所述的三维内窥镜系统的控制方法，其特征在于，若所述第一视频流、所述第二视频流的输出格式为RAW格式或者RGB格式，则在将所述第一视频流的当前帧图像与所述第二视频流的当前帧图像进行配准之前，所述控制方法还包括：
将所述第一视频流的当前帧图像和所述第二视频流的当前帧图像均转换至YUV空间或者YCbCr空间内。
17.根据权利要求12所述的三维内窥镜系统的控制方法，其特征在于，所述基于所述第一视频流的当前帧图像的亮度信息与所述第二视频流的当前帧图像的亮度信息，对所述第二视频流的当前帧图像的像素点和对应的所述第一视频流的当前帧图像的像素点进行图像融合，包括：
根据预设的关于亮度值与权重的正态分布、所述第二视频流的当前帧图像的像素点的亮度以及对应的所述第一视频流的当前帧图像的像素点的亮度，分别获取所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重；以及
根据获取的所述第二视频流的当前帧图像中的像素点的亮度的权重以及对应的所述第一视频流的当前帧图像中的像素点的亮度的权重，分别对所述第一视频流的当前帧图像的像素点的亮度与对应的所述第二视频流的当前帧图像的像素点的亮度进行加权，获得亮度融合图像的像素点的亮度。
18.一种存储介质，其特征在于：所述存储介质内存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求12至17中任一项所述的控制方法。
CN202011111434.0A 2020-10-16 2020-10-16 三维内窥镜系统、控制方法和存储介质 Active CN112243091B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011111434.0A CN112243091B (zh) 2020-10-16 2020-10-16 三维内窥镜系统、控制方法和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011111434.0A CN112243091B (zh) 2020-10-16 2020-10-16 三维内窥镜系统、控制方法和存储介质

Publications (2)

Publication Number Publication Date
CN112243091A CN112243091A (zh) 2021-01-19
CN112243091B true CN112243091B (zh) 2022-12-16

Family

ID=74168783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011111434.0A Active CN112243091B (zh) 2020-10-16 2020-10-16 三维内窥镜系统、控制方法和存储介质

Country Status (1)

Country Link
CN (1) CN112243091B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113208567A (zh) * 2021-06-07 2021-08-06 上海微创医疗机器人（集团）股份有限公司 多光谱成像系统、成像方法和存储介质
CN115396570B (zh) * 2022-07-12 2023-12-12 中南大学 一种幽光高温工业内窥镜
CN116437221B (zh) * 2023-04-21 2024-04-05 极限人工智能有限公司 一种内窥镜视频图像的截取方法及系统
CN117314754B (zh) * 2023-11-28 2024-03-19 深圳因赛德思医疗科技有限公司 一种双摄超光谱图像成像方法、系统及双摄超光谱内窥镜

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109638A (ja) * 2009-10-20 2011-06-02 Nikon Corp 画像処理装置、画像処理方法
CN102693538A (zh) * 2011-02-25 2012-09-26 微软公司 生成高动态范围图像的全局对准
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置
CN106204513A (zh) * 2016-08-15 2016-12-07 厦门美图之家科技有限公司 图像处理的方法、装置和系统
CN106331510A (zh) * 2016-10-31 2017-01-11 维沃移动通信有限公司 一种逆光拍照方法及移动终端
CN107767347A (zh) * 2017-09-21 2018-03-06 华中科技大学鄂州工业技术研究院 一种电子内窥镜图像增强方法、装置及系统
CN108198161A (zh) * 2017-12-29 2018-06-22 深圳开立生物医疗科技股份有限公司 一种双摄像头图像的融合方法、装置及设备
CN108337449A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 基于双摄像头的高动态范围图像获取方法、装置及设备
CN108683863A (zh) * 2018-08-13 2018-10-19 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质
WO2019080543A1 (zh) * 2017-10-23 2019-05-02 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109638A (ja) * 2009-10-20 2011-06-02 Nikon Corp 画像処理装置、画像処理方法
CN102693538A (zh) * 2011-02-25 2012-09-26 微软公司 生成高动态范围图像的全局对准
CN103595982A (zh) * 2013-11-07 2014-02-19 天津大学 基于灰度和彩色两颗传感器的彩色图像采集装置
CN105389774A (zh) * 2014-09-05 2016-03-09 华为技术有限公司 对齐图像的方法和装置
CN106204513A (zh) * 2016-08-15 2016-12-07 厦门美图之家科技有限公司 图像处理的方法、装置和系统
CN106331510A (zh) * 2016-10-31 2017-01-11 维沃移动通信有限公司 一种逆光拍照方法及移动终端
CN107767347A (zh) * 2017-09-21 2018-03-06 华中科技大学鄂州工业技术研究院 一种电子内窥镜图像增强方法、装置及系统
WO2019080543A1 (zh) * 2017-10-23 2019-05-02 深圳看到科技有限公司 高动态范围视频拍摄方法及拍摄装置
CN108198161A (zh) * 2017-12-29 2018-06-22 深圳开立生物医疗科技股份有限公司 一种双摄像头图像的融合方法、装置及设备
CN108337449A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 基于双摄像头的高动态范围图像获取方法、装置及设备
CN108683863A (zh) * 2018-08-13 2018-10-19 Oppo广东移动通信有限公司 成像控制方法、装置、电子设备以及可读存储介质
CN111432099A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 图像传感器、处理系统及方法、电子设备和存储介质

Also Published As

Publication number Publication date
CN112243091A (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN112243091B (zh) 三维内窥镜系统、控制方法和存储介质
CN107948519B (zh) 图像处理方法、装置及设备
CN108055452B (zh) 图像处理方法、装置及设备
KR102306304B1 (ko) 듀얼 카메라 기반 이미징 방법과 장치 및 저장 매체
CN108111749B (zh) 图像处理方法和装置
CN108154514B (zh) 图像处理方法、装置及设备
US10163196B2 (en) Image processing device and imaging system
CN111948798B (zh) 内窥镜系统及用于检测内窥镜的末端与组织接触的方法
JP2006033861A (ja) ホワイトバランスを調整する方法および装置
JP6381404B2 (ja) 画像処理装置及び方法、及び撮像装置
CN107872631B (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
US11893716B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
JP7129520B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2010263423A (ja) 画像処理方法および画像処理装置
JP2004118711A (ja) 画像処理装置、方法及びプログラム
JP2013195865A (ja) プロジェクタ、プロジェクタ制御方法及びプロジェクタ制御プログラム
CN110324529B (zh) 图像处理设备及其控制方法
JP2018050149A (ja) 画像処理装置
JP2021097347A (ja) 撮像装置およびその制御方法、プログラム
CN114027765B (zh) 荧光内窥镜系统、控制方法和存储介质
JP4432479B2 (ja) 画像処理装置
JP2010161453A (ja) 赤外線照射式撮像装置
JP2021064884A (ja) 画像処理装置、撮像装置、制御方法、プログラム及び撮像システム
JP7462464B2 (ja) 画像処理装置および方法、プログラム、記憶媒体
US20210251467A1 (en) Image signal processing device, image signal processing method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 101, block B, building 1, No. 1601, Zhangdong Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Applicant after: Shanghai minimally invasive medical robot (Group) Co.,Ltd.

Address before: 201203, 501, Newton Road, Zhangjiang hi tech park, Shanghai, Pudong New Area

Applicant before: Microport (Shanghai) Medbot Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant