CN116471466A - 一种双晶片内窥镜成像方法及成像装置 - Google Patents

一种双晶片内窥镜成像方法及成像装置 Download PDF

Info

Publication number
CN116471466A
CN116471466A CN202310687395.6A CN202310687395A CN116471466A CN 116471466 A CN116471466 A CN 116471466A CN 202310687395 A CN202310687395 A CN 202310687395A CN 116471466 A CN116471466 A CN 116471466A
Authority
CN
China
Prior art keywords
image
exposure
color channel
strategy
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310687395.6A
Other languages
English (en)
Other versions
CN116471466B (zh
Inventor
陆汇海
王德才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Bosheng Medical Technology Co ltd
Original Assignee
Shenzhen Bosheng Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Bosheng Medical Technology Co ltd filed Critical Shenzhen Bosheng Medical Technology Co ltd
Priority to CN202310687395.6A priority Critical patent/CN116471466B/zh
Publication of CN116471466A publication Critical patent/CN116471466A/zh
Application granted granted Critical
Publication of CN116471466B publication Critical patent/CN116471466B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2476—Non-optical details, e.g. housings, mountings, supports
    • G02B23/2484—Arrangements in relation to a camera or imaging device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00096—Optical elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00186—Optical arrangements with imaging filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/24—Instruments or systems for viewing the inside of hollow bodies, e.g. fibrescopes
    • G02B23/2407—Optical details
    • G02B23/2423—Optical details of the distal end
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Endoscopes (AREA)

Abstract

一种双晶片内窥镜成像方法及成像装置，该成像装置包括光学镜头组件、分光元件、滤光元件、图像获取模块、控制模块及处理模块，通过滤光元件和图像获取模块的设置，能够获取具有单一色彩通道的第一图像和具有三个色彩通道的第二图像，通过控制模块采用不同的曝光策略分别曝光获得两个不同的曝光图像，能够分别提高第一曝光图像和第二曝光图像的数据范围、分辨率和信噪比，再将其经过处理模块融合，使得最终获得的图像整场亮度一致，不会出现由于图像过暗或过亮造成看不清楚的现象，使整个手术更加流畅，效率更高，并且图像使得色彩还原高、分辨率好、信噪比更高，突破了双曝光HDR技术在内窥镜中的应用。

Description

一种双晶片内窥镜成像方法及成像装置
技术领域
本发明涉及内窥镜成像技术领域，具体涉及一种双晶片内窥镜成像方法及成像装置。
背景技术
硬管内窥镜摄像系统中的内窥镜摄像头，一般可采用单晶片（Bayer RGB格式），或是三晶片（R、G、B分别用3个独立的mono单色传感器采集）的设计结构。
单晶片方案结构简单，但是由于采用Bayer格式排列，单色通道的物理分辨率达不到全分辨率，RGB的全分辨率图像需要后期通过插值（demosaic）来实现。
三晶片解决方案结构复杂，需要通过三分光棱镜和滤光片来实现3个色彩通道的采集。由于安装时需要对齐三个传感器，工艺较为负责。优点在于，全分辨率的彩色图像可以直接获取，无需通过后期插值算法，分辨率会比单晶片的要优良。同时单色传感器可以达到更高的信噪比。
在Bayer格式的传感器中，一般来讲，由于G通道容易达到饱和状态，R或B通道的取值范围一般都在0-600范围之内，当G通道饱和时，R或B通道容易欠曝，而当R或B通道饱和时，G通道又容易过曝，因此自动曝光算法一般都是在控制G通道的饱和度，这无可避免的就会降低R,B两个通道的感光度，造成色彩还原不准确、噪点多、信噪比低等问题。
发明内容
本发明提供一种双晶片内窥镜成像方法及成像装置，能够解决色彩还原不准确、噪点多、信噪比低的问题，并实现了之前一直无法突破的双曝光HDR技术的应用。
根据第一方面，本发明提供一种双晶片内窥镜成像装置，包括：
光学镜头组件，所述光学镜头组件用于接收来自待观察区域的成像光线；
分光元件，所述分光元件用于将所述成像光线一分为二，分别形成第一成像光线和第二成像光线；
滤光元件，所述滤光元件设置于所述第二成像光线的光路上，用以过滤并使特定光线通过；
图像获取模块，所述图像获取模块包括第一图像获取模块和第二图像获取模块，所述第一图像获取模块设置于所述第一成像光线的光路上，用以接收所述第一成像光线并光电转换形成第一图像，所述第二图像获取模块设置于所述第二成像光线的光路上，用以接收经所述滤光元件过滤通过的特定光线，并光电转换形成第二图像；
控制模块，所述控制模块包括第一控制模块和第二控制模块，所述第一控制模块用于以第一控制策略控制曝光所述第一图像，以得到第一曝光图像，所述第二控制模块用于以第二控制策略控制曝光所述第二图像，以得到第二曝光图像；
处理模块，所述处理模块用于将所述第一曝光图像和第二曝光图像处理融合，并输出为内窥镜图像。
一种实施例中，所述第一控制模块以第一控制策略控制曝光所述第一图像以得到第一曝光图像包括第一控制模块将所述第一曝光图像拆分为第一颜色通道图像、第二颜色通道图像和第三颜色通道图像，以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数，对所述第一图像进行曝光以形成第一曝光图像；
所述第二控制模块用于以第二控制策略控制曝光所述第二图像以得到第二曝光图像包括第二控制模块以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数，对所述第二图像进行曝光以形成第二曝光图像。
一种实施例中，所述第一控制模块以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数的方法是：将第一图像划分为多个区域，对多个所述区域同时进行多次曝光，分别获取区别于所述第二颜色通道图像和第三颜色通道图像处于最优亮度且无过曝的模式下的最优曝光数值，以所述第二颜色通道图像或第三颜色通道图像最优曝光数值作为曝光参数，或者以所述第二颜色通道图像和第三颜色通道图像最优曝光数值的加权平均值作为曝光参数。
一种实施例中，所述第二控制模块以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数的方法是：通过第一测光法、第二测光法或第三测光法中的一种分别获取所述第一颜色通道图像的最优曝光数值，以所述第一颜色通道图像的最优曝光数值作为第二曝光策略的曝光参数。
一种实施例中，所述第一测光法是将第二图像划分为多个区域，对多个所述区域同时进行多次曝光，使得第二图像多个所述区域的各个像素亮度至少部分处于过曝模式；
所述第二测光法是将第二图像划分为中心区域和边缘区域，对所述中心区域进行多次曝光，使得中心区域的各个像素亮度处于最优亮度的模式，所述中心区域为待仔细观察的区域；
所述第三测光法是利用图像识别和分割算法确定第二图像中的器械区域，对排除器械区域的剩余区域进行多次曝光，使其各个像素亮度处于最优亮度模式。
一种实施例中，所述处理模块对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像包括：
所述处理模块利用所述第二曝光图像中的第一颜色通道图像替换所述第一曝光图像中的第一颜色通道图像；
所述处理模块将上述替换后的三个通道图像经去马赛克处理后形成RGB图像；
所述处理模块将RGB图像中三个通道图像的数据进行增益补偿后输出内窥镜图像。
一种实施例中，所述处理模块将RGB图像中三个通道图像的数据进行增益补偿的补偿系数r计算方法如下：
r = (e_rb* ag_rb) / (e_g * ag_g)，
其中，e为曝光参数，ag为模拟增益参数，e_rb为第一曝光策略的曝光参数，ag_rb为第一曝光策略时的模拟增益参数，e_g为第二曝光策略的曝光参数，ag_g为第二曝光策略的模拟增益参数。
一种实施例中，所述第一颜色通道图像、第二颜色通道图像和第三颜色通道图像分别为R通道图像、B通道图像和G通道图像中的一个。
一种实施例中，所述滤光元件为绿光过滤元件，能够将所述第二成像光线过滤并使得绿色光通过，所述第一颜色通道图像为G通道图像。
根据第二方面，本发明提供一种双晶片内窥镜成像方法，包括以下步骤：
待观察区域的成像光线通过分光元件一分为二，分别形成第一成像光线和第二成像光线，所述第一成像光线通过第一图像获取模块光电转换后形成第一图像，所述第二成像光线通过滤光元件过滤后再经第二图像获取模块光电转换形成第二图像，所述第二图像为第一颜色通道图像；
接收第一控制命令，采用第一曝光策略对第一图像进行第一曝光，得到第一曝光图像；
接收第二控制命令，采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像；
以及接收第三控制命令，对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像。
依据上述实施例中的内窥镜成像方法和装置，通过滤光元件和图像获取模块的设置，能够获取具有单一色彩通道的第一图像和具有三个色彩通道的第二图像，通过控制模块采用不同的曝光策略分别曝光获得两个不同的曝光图像，能够分别提高第一曝光图像和第二曝光图像的数据范围、分辨率和信噪比，再将其经过处理模块融合，使得最终获得的图像整场亮度一致，不会出现由于图像过暗或过亮造成看不清楚的现象，使整个手术更加流畅，效率更高，并且图像使得色彩还原高、分辨率好、信噪比更高，突破了双曝光HDR技术在内窥镜中的应用。
附图说明
图1为成像装置示意图；
图2为分光元件的分光原理示意图；
图3为一种双晶片内窥镜成像方法的流程图；
图4为第一曝光策略的曝光参数计算时的区域划分示意图；
其中：100、图像获取模块，101、第一图像获取模块，102、第二图像获取模块，200、控制模块，201、第一控制模块，202、第二控制模块，300、处理模块，400、显示模块，500、分光元件，600、滤光元件。
具体实施方式
下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。
另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式，各实施例所涉及的操作步骤也可以按照本领域技术人员所能显而易见的方式进行顺序调换或调整。因此，说明书和附图只是为了清楚描述某一个实施例，并不意味着是必须的组成和/或顺序。
本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，如无特别说明，均包括直接和间接连接（联接）。
以下，对本申请中的部分用语进行解释说明。需要说明的是，这些解释是为了便于本领域技术人员理解，并不是对本申请所要求的保护范围构成限定。
一、像素
像素可指构成图像传感器的成像区域的最小单元。
二、图像融合
图像融合是一种图像处理技术，是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和特定算法的计算等，最大限度的提取各自信道中的有利信息，最终合成高质量(例如亮度、清晰度、色彩)的图像，融合后的图像相较于原始图像具有较高的分辨率。
三、去马赛克
去马赛克（英语：demosaicing，也写作de-mosaicing、demosaicking或debayering）是一种数位影像处理算法，目的是从覆有滤色阵列（Color filter array，简称CFA）的感光元件所输出的不完全色彩取样中，重建出全彩影像。
四、颜色通道
保存图像颜色信息的通道称为颜色通道。每个图像都有一个或多个颜色通道，图像中默认的颜色通道数取决于其颜色模式，即一个图像的颜色模式将决定其颜色通道的数量。例如RGB图像有3个通道，包括R通道、B通道和G通道。
五、测光法（测光模式）
测光模式，是指测试相机被摄物的反射率的方式。包括中央重点测光（重点测光）、全局测光（平均测光）和点测光。
中央重点测光（重点测光）方式是对画面的某一局部进行测光；全局测光是对整个取景区平均计算测光值；点测光是对取景范围中的1％－5％区域内测光。
参考图1和2，本申请提供一种双晶片内窥镜成像装置，包括：
光学镜头组件，所述光学镜头组件用于接收来自待观察区域的成像光线；
分光元件500，所述分光元件500用于将所述成像光线一分为二，形成第一成像光线和第二成像光线；
滤光元件600，所述滤光元件600设置于所述第二成像光线的光路上，用以过滤并使特定光线通过；
第一图像获取模块101，所述第一图像获取模块101设置于所述第一成像光线的光路上，用以接收所述第一成像光线并光电转换形成第一图像；
第二图像获取模块102，所述第二图像获取模块102设置于所述第二成像光线的光路上，用以接收经所述滤光元件600过滤通过的特定光线，并光电转换形成第二图像；
控制模块200，所述控制模块200包括第一控制模块201和第二控制模块202，所述第一控制模块201用于以第一控制策略控制曝光所述第一图像，以得到第一曝光图像，所述第二控制模块202用于以第二控制策略控制曝光所述第二图像，以得到第二曝光图像；
处理模块300，所述处理模块300用于将所述第一曝光图像和第二曝光图像处理融合，并输出为内窥镜图像；
以及显示模块400，所述显示模块400用于接收所述内窥镜图像并显示。
在一种可能的实现方式中，所述分光元件500可以为分光棱镜(beam splitter，BS)或分光平板。分光棱镜是通过在棱镜的表面镀制一层或多层薄膜(即分光膜)形成的，分光平板是通过在玻璃平板的一个表面镀制一层或多层薄膜(即分光膜)形成的。分光棱镜和分光平板均是利用薄膜对射入的光线的透射率和反射率不同，以实现对光学镜头组件传播过来的成像光线进行分光。
一种可能的实施方式中，所述滤光元件600为绿光过滤元件，能够将所述第二成像光线过滤并使得绿色光通过。
可以理解的是，所述第一成像光线和第二成像光线的携带的信息相同，第一成像光线和第二成像光线携带的信息均与光学镜头组件传播过来的成像光线携带的信息相同。其中，第一成像光线的强度与第二成像光线的强度的总和等于或近似等于光学镜头组件传播过来的成像光线的强度，其中所携带的信息包括颜色信息，如R（红色）、B（蓝色）和G（绿色）信息。
本实施例中的所述滤光元件600能够将红色和蓝色信息过滤，而仅允许绿色信息通过，即仅允许绿色波段（500-560）可见光通过，最终在第二图像获取模块102处获得仅含有绿色信息的图像。
本实施例中，所述第一图像获取模块101为拜耳（Bayer）格式彩色传感器，所述第二图像获取模块102为单色传感器，两个所述传感器的像素大小（pixel size）一致，安装时要达到亚像素（sub-pixel）精度。
由于拜耳（Bayer）格式彩色传感器中的G通道容易达到饱和状态，易使得R通道和B通道过曝，因此彩色传感器中以R通道或B通道作为控制曝光的标准，即将R通道或G通过图像处于最优亮度的曝光参数作为第一曝光策略的曝光参数，能够提高R通道和B通道的数据范围和信噪比。如一个10位的Bayer彩色传感器， R/B的取值范围一般都在0-600范围之内（10bit传感器，最大值1023）。以R或B为标准后，R/B的取值范围可以得到大幅度提升至100-600范围之内。
本申请创造性的利用两个传感器分别曝光，彩色传感器以R或B通道作为控制曝光的标准，单色传感器对G通道进行感光，不仅能够提升R或B通道的取值范围和信噪比，还能够提高G通道的分辨率和信噪比，最终实现更准确的色彩还原、更好分辨率（G为全分辨率图像）、更高的信噪比，提升内窥镜的图像质量。
参考图3，本申请提供应用上述双晶片内窥镜成像装置的成像方法，包括以下步骤：
S101：通过图像获取模块100中的第一图像获取模块101和第二图像获取模块102分别采集到待观察区域的第一图像和第二图像。
具体的，待观察区域的成像光线通过分光元件500一分为二，分别形成第一成像光线和第二成像光线，所述第一成像光线通过第一图像获取模块101光电转换后形成第一图像，所述第二成像光线通过滤光元件600过滤后再经第二图像获取模块102光电转换形成第二图像，所述第二图像为第一颜色通道图像。
S102：所述第一控制模块201接收第一控制命令，采用第一曝光策略对第一图像进行第一曝光，得到第一曝光图像。
S103：所述第二控制模块202接收第二控制命令，采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像。
S104：所述处理模块300接收第三控制命令，对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像。
具体的，所述第一曝光策略为将所述第一曝光图像拆分为第一颜色通道图像、第二颜色通道图像和第三颜色通道图像，以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数，对所述第一图像进行曝光以形成第一曝光图像；所述第二曝光策略为以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数，对所述第二图像进行曝光以形成第二曝光图像。
一种可能的实施方式中，所述以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数的方法是：将第一图像划分为多个区域，对多个所述区域同时进行多次曝光，分别获取区别于所述第二颜色通道图像和第三颜色通道图像处于最优亮度且无过曝的模式下的最优曝光数值，以所述第二颜色通道图像或第三颜色通道图像最优曝光数值作为曝光参数，或者以所述第二颜色通道图像和第三颜色通道图像最优曝光数值的加权平均值作为曝光参数。
具体的，如图4所示，将待观察的区域划分为15个子区域，即0-14子区域个子区域，测光时0-14个子区域均参与， 使得0-14子区域各个像素的亮度处于全局最优亮度且无过曝的模式，该模式下的曝光参数作为第一曝光策略的曝光参数，对第一图像曝光获得第一曝光图像。该种测光法师也叫作全局测光模式，所述全局最优亮度模式为整个第一曝光图像的直方图分布均衡。直方图均衡化可以有效增强局部的对比度而不影响整体的对比度，有效地扩展常用的亮度来实现这种功能，符合人眼对图像的感官认知，有效提高用户体验。
在一种可能的实施方式中，所述以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数的方法是：通过第一测光法、第二测光法或第三测光法中的一种分别获取所述第一颜色通道图像的最优曝光数值，以所述第一颜色通道图像的最优曝光数值作为第二曝光策略的曝光参数。
在第一种可能的实施方式中，所述第一测光法是将第二图像划分为多个区域，例如如图4所示，划分为15个区域，对多个所述区域同时进行多次曝光，0-14子区域均参与测光，使得0-14子区域各个像素的亮度均衡且最优，同时容许一定的图像比例出现过曝现象，比如（5-10%）的图像区域，从而保证图像没有暗区。
在第二种可能的实施方式中，所述第二测光法是将第二图像划分为中心区域和边缘区域，对所述中心区域进行多次曝光，使得中心区域的各个像素亮度处于最优亮度的模式，所述中心区域为待仔细观察的区域。该第二测光法也叫中心测光模式，以中心区域为想要观察的区域，在测光时保证该区域的图像亮度，如图4所示，将第二图像按照第一图像分割的方法分割为15个子区域，其0子区域为想要观察的区域，以保证0区域的亮度的参数作为第二曝光策略的曝光参数最终获得中心处于最优亮度的第二曝光图像。
在第三种可能的实施方式中，所述第三测光法是利用图像识别和分割算法确定第二图像中的器械区域，对排除器械区域的剩余区域进行多次曝光，使其各个像素亮度处于最优亮度模式。
一种可能的实施方式中，所述对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像包括：
利用所述第二曝光图像中的第一颜色通道图像替换所述第一曝光图像中的第一颜色通道图像；
将上述替换后的三个通道图像经去马赛克处理后形成RGB图像；
将RGB图像中三个通道图像的数据进行增益补偿后输出内窥镜图像。
一种可能的实施例中，将RGB图像中三个通道图像的数据进行增益补偿的补偿系数r计算方法如下：
r = (e_rb* ag_rb) / (e_g * ag_g)，
其中，e为曝光参数，ag为模拟增益参数，e_rb为第一曝光策略的曝光参数，ag_rb为第一曝光策略时的模拟增益参数，e_g为第二曝光策略的曝光参数，ag_g为第二曝光策略的模拟增益参数。
具体的，模拟增益参数为显示最高亮度所需要的电压，在不同的光线下通过调节模拟增益能够调节图像亮度。
一种可能的实施方式中，所述第一颜色通道图像、第二颜色通道图像和第三颜色通道图像分别为R通道图像、B通道图像和G通道图像中的一个。
一种可能的实施方式中，所述第一颜色通道图像为G通道图像。
具体的，所述第二图像和第二曝光图像仅为G通道图像，在融合时将第一曝光图像中的G通道图像进行替换，实现整个图像明亮度一致，且保证三个颜色通道图像均不存在过曝或者欠曝，从而确保最终输出的内窥镜图像色彩还原度高、分辨率高和信噪比高。
以上应用了具体个例对本发明进行阐述，只是用于帮助理解本发明，并不用以限制本发明。对于本发明所属技术领域的技术人员，依据本发明的思想，还可以做出若干简单推演、变形或替换。

Claims (10)

1.一种双晶片内窥镜成像装置，其特征在于，包括：
光学镜头组件，所述光学镜头组件用于接收来自待观察区域的成像光线；
分光元件，所述分光元件用于将所述成像光线一分为二，分别形成第一成像光线和第二成像光线；
滤光元件，所述滤光元件设置于所述第二成像光线的光路上，用以过滤并使特定光线通过；
图像获取模块，所述图像获取模块包括第一图像获取模块和第二图像获取模块，所述第一图像获取模块设置于所述第一成像光线的光路上，用以接收所述第一成像光线并光电转换形成第一图像，所述第二图像获取模块设置于所述第二成像光线的光路上，用以接收经所述滤光元件过滤通过的特定光线，并光电转换形成第二图像；
控制模块，所述控制模块包括第一控制模块和第二控制模块，所述第一控制模块用于以第一控制策略控制曝光所述第一图像，以得到第一曝光图像，所述第二控制模块用于以第二控制策略控制曝光所述第二图像，以得到第二曝光图像；
处理模块，所述处理模块用于将所述第一曝光图像和第二曝光图像处理融合，并输出为内窥镜图像。
2.如权利要求1所述的一种双晶片内窥镜成像装置，其特征在于，所述第一控制模块以第一控制策略控制曝光所述第一图像以得到第一曝光图像包括第一控制模块将所述第一曝光图像拆分为第一颜色通道图像、第二颜色通道图像和第三颜色通道图像，以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数，对所述第一图像进行曝光以形成第一曝光图像；
所述第二控制模块用于以第二控制策略控制曝光所述第二图像以得到第二曝光图像包括第二控制模块以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数，对所述第二图像进行曝光以形成第二曝光图像。
3.如权利要求2所述的一种双晶片内窥镜成像装置，其特征在于，所述第一控制模块以所述第二颜色通道图像和第三颜色通道图像的最优曝光数值计算第一曝光策略的曝光参数的方法是：将第一图像划分为多个区域，对多个所述区域同时进行多次曝光，分别获取区别于所述第二颜色通道图像和第三颜色通道图像处于最优亮度且无过曝的模式下的最优曝光数值，以所述第二颜色通道图像或第三颜色通道图像最优曝光数值作为曝光参数，或者以所述第二颜色通道图像和第三颜色通道图像最优曝光数值的加权平均值作为曝光参数。
4.如权利要求2所述的一种双晶片内窥镜成像装置，其特征在于，所述第二控制模块以所述第一颜色通道图像的最优曝光数值计算第二曝光策略的曝光参数的方法是：通过第一测光法、第二测光法或第三测光法中的一种分别获取所述第一颜色通道图像的最优曝光数值，以所述第一颜色通道图像的最优曝光数值作为第二曝光策略的曝光参数。
5.如权利要求4所述的一种双晶片内窥镜成像装置，其特征在于，所述第一测光法是将第二图像划分为多个区域，对多个所述区域同时进行多次曝光，使得第二图像多个所述区域的各个像素亮度至少部分处于过曝模式；
所述第二测光法是将第二图像划分为中心区域和边缘区域，对所述中心区域进行多次曝光，使得中心区域的各个像素亮度处于最优亮度的模式，所述中心区域为待仔细观察的区域；
所述第三测光法是利用图像识别和分割算法确定第二图像中的器械区域，对排除器械区域的剩余区域进行多次曝光，使其各个像素亮度处于最优亮度模式。
6.如权利要求1所述的一种双晶片内窥镜成像装置，其特征在于，所述处理模块对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像包括：
所述处理模块利用所述第二曝光图像中的第一颜色通道图像替换所述第一曝光图像中的第一颜色通道图像；
所述处理模块将上述替换后的三个通道图像经去马赛克处理后形成RGB图像；
所述处理模块将RGB图像中三个通道图像的数据进行增益补偿后输出内窥镜图像。
7.如权利要求6所述的一种双晶片内窥镜成像装置，其特征在于，所述处理模块将RGB图像中三个通道图像的数据进行增益补偿的补偿系数r计算方法如下：
r = (e_rb* ag_rb) / (e_g * ag_g)，
其中，e为曝光参数，ag为模拟增益参数，e_rb为第一曝光策略的曝光参数，ag_rb为第一曝光策略时的模拟增益参数，e_g为第二曝光策略的曝光参数，ag_g为第二曝光策略的模拟增益参数。
8.如权利要求2所述的一种双晶片内窥镜成像装置，其特征在于，所述第一颜色通道图像、第二颜色通道图像和第三颜色通道图像分别为R通道图像、B通道图像和G通道图像中的一个。
9.如权利要求8所述的一种双晶片内窥镜成像装置，其特征在于，所述滤光元件为绿光过滤元件，能够将所述第二成像光线过滤并使得绿色光通过，所述第一颜色通道图像为G通道图像。
10.利用如权利要求1-9中任一项所述双晶片内窥镜成像装置的成像方法，其特征在于，包括以下步骤：
待观察区域的成像光线通过分光元件一分为二，分别形成第一成像光线和第二成像光线，所述第一成像光线通过第一图像获取模块光电转换后形成第一图像，所述第二成像光线通过滤光元件过滤后再经第二图像获取模块光电转换形成第二图像，所述第二图像为第一颜色通道图像；
接收第一控制命令，采用第一曝光策略对第一图像进行第一曝光，得到第一曝光图像；
接收第二控制命令，采用第二曝光策略对第二图像进行第二曝光，得到第二曝光图像；
以及接收第三控制命令，对第一曝光图像和第二曝光图像采用算法融合输出内窥镜图像。
CN202310687395.6A 2023-06-12 2023-06-12 一种双晶片内窥镜成像方法及成像装置 Active CN116471466B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310687395.6A CN116471466B (zh) 2023-06-12 2023-06-12 一种双晶片内窥镜成像方法及成像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310687395.6A CN116471466B (zh) 2023-06-12 2023-06-12 一种双晶片内窥镜成像方法及成像装置

Publications (2)

Publication Number Publication Date
CN116471466A true CN116471466A (zh) 2023-07-21
CN116471466B CN116471466B (zh) 2023-09-05

Family

ID=87177398

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310687395.6A Active CN116471466B (zh) 2023-06-12 2023-06-12 一种双晶片内窥镜成像方法及成像装置

Country Status (1)

Country Link
CN (1) CN116471466B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205381A1 (en) * 2007-03-05 2011-08-25 Tessera Technologies Ireland Limited Tone mapping for low-light video frame enhancement
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN107820066A (zh) * 2017-08-12 2018-03-20 四川聚强创新科技有限公司 一种低照度彩色摄像机
CN107843341A (zh) * 2017-11-16 2018-03-27 中国科学院西安光学精密机械研究所 一种天基空间目标高分辨多光谱成像方法及系统
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108337447A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法、装置、设备及介质
US20190213723A1 (en) * 2016-09-19 2019-07-11 Hangzhou Hikvision Digital Technology Co., Ltd. [CN/CN] Light-splitting combined image collection device
CN113949802A (zh) * 2020-07-15 2022-01-18 华为技术有限公司 一种图像处理方法及摄像机
CN115150561A (zh) * 2022-05-23 2022-10-04 中国人民解放军国防科技大学 一种高动态成像系统和方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205381A1 (en) * 2007-03-05 2011-08-25 Tessera Technologies Ireland Limited Tone mapping for low-light video frame enhancement
US20190213723A1 (en) * 2016-09-19 2019-07-11 Hangzhou Hikvision Digital Technology Co., Ltd. [CN/CN] Light-splitting combined image collection device
CN107820066A (zh) * 2017-08-12 2018-03-20 四川聚强创新科技有限公司 一种低照度彩色摄像机
CN107343130A (zh) * 2017-08-17 2017-11-10 中国人民解放军国防科技大学 一种基于dmd动态分光的高动态成像模块
CN107843341A (zh) * 2017-11-16 2018-03-27 中国科学院西安光学精密机械研究所 一种天基空间目标高分辨多光谱成像方法及系统
CN108040243A (zh) * 2017-12-04 2018-05-15 南京航空航天大学 多光谱立体视觉内窥镜装置及图像融合方法
CN108337447A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像曝光补偿值获取方法、装置、设备及介质
CN113949802A (zh) * 2020-07-15 2022-01-18 华为技术有限公司 一种图像处理方法及摄像机
CN115150561A (zh) * 2022-05-23 2022-10-04 中国人民解放军国防科技大学 一种高动态成像系统和方法

Also Published As

Publication number Publication date
CN116471466B (zh) 2023-09-05

Similar Documents

Publication Publication Date Title
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
US8164651B2 (en) Concentric exposure sequence for image sensor
US9615030B2 (en) Luminance source selection in a multi-lens camera
US8068153B2 (en) Producing full-color image using CFA image
EP2420051B1 (en) Producing full-color image with reduced motion blur
US20180013945A1 (en) Systems and Methods for High Dynamic Range Imaging Using Array Cameras
US8125543B2 (en) Solid-state imaging device and imaging apparatus with color correction based on light sensitivity detection
US20070177004A1 (en) Image creating method and imaging device
US10630920B2 (en) Image processing apparatus
KR20070029141A (ko) 멀티 스펙트럼 화상 촬영 장치 및 어댑터 렌즈
WO2021139401A1 (zh) 摄像头模组、成像方法和成像装置
JP4094364B2 (ja) 固体撮像装置およびその測光方法
JP2015226299A (ja) 画像入力装置
US20040189821A1 (en) Imaging apparatus
CN116471466B (zh) 一种双晶片内窥镜成像方法及成像装置
US8063979B2 (en) Digital camera displaying moving image and exposure control method thereof
CN118250542A (zh) 三晶片内窥镜成像方法及成像装置
US10063767B2 (en) Image pickup device and image pickup apparatus including image pixels and phase difference pixels having basic arrangement pattern of filters
CN117061841B (zh) 一种双晶片内窥镜成像方法及成像装置
JP2006115147A (ja) 撮像装置
JP4681792B2 (ja) デジタルカメラ
JP2000354251A (ja) ２板式撮像装置および２板式撮像装置を備えるカメラ
Stump Camera Sensors
JP2006003247A (ja) テレビジョンカメラ装置
JPH11218796A (ja) 画像撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Double Chip Endoscopic Imaging Method and Imaging Device

Granted publication date: 20230905

Pledgee: Shenzhen SME financing Company limited by guarantee

Pledgor: SHENZHEN BOSHENG MEDICAL TECHNOLOGY Co.,Ltd.

Registration number: Y2024980023074