CN103989452A - 内窥镜设备及其控制方法 - Google Patents

内窥镜设备及其控制方法 Download PDF

Info

Publication number
CN103989452A
CN103989452A CN201410051099.8A CN201410051099A CN103989452A CN 103989452 A CN103989452 A CN 103989452A CN 201410051099 A CN201410051099 A CN 201410051099A CN 103989452 A CN103989452 A CN 103989452A
Authority
CN
China
Prior art keywords
geometry
light beam
light source
constructed
multiple light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410051099.8A
Other languages
English (en)
Inventor
斯特潘·图里亚科夫
李太熙
赵昇纪
韩熙喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103989452A publication Critical patent/CN103989452A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002Operational features of endoscopes
    • A61B1/00004Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000095Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0605Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for spatially modulated illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0607Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements for annular illumination
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655Control therefor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0661Endoscope light sources
    • A61B1/0684Endoscope light sources using light emitting diodes [LED]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1076Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions inside body cavities, e.g. using catheters

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

公开了一种内窥镜设备及其控制方法。所述内窥镜设备包括:光源,具有输出彼此交叉的光束的多个光源组件;估计器,估计对象的内表面的几何形状;控制器,进行控制,从而基于对象的内表面的估计的几何形状来可变地调节由所述多个光源组件中的任何一个光源组件输出的光束的强度。

Description

内窥镜设备及其控制方法
本申请要求于2013年2月14日提交到韩国知识产权局的第10-2013-0015969号韩国专利申请的优先权,该申请的公开内容通过引用完整地合并于此。
技术领域
与示例性实施例一致的方法和设备涉及一种内窥镜设备及其控制方法,更具体地讲,涉及一种使用多个光源的内窥镜设备及其控制方法。
背景技术
内窥镜设备是可用于拍摄并观察狭窄空间(诸如人体或机器的内部)的设备。具体地讲,医学领域中的内窥镜设备使用户能够通过使用小相机观察人体的内部(例如,胃、支气管、咽喉、大肠、小肠和/或任何其他内部器官或部分)并在不必切开腹部或形成切口的情况下检查人体内部的条件。
现有内窥镜设备正被日益用于各种工业目的,诸如使用户能够在不必分解精密机器的情况下观察精密机器的内部、使用户能够检查管道内部的条件和/或其他相似类型的目的。
一般内窥镜设备在弯曲设备的前端配备有被构造为获得图像的微型相机和光源,并且在弯曲设备内部提供有被构造为调节弯曲设备的弯曲度的调节线。调节线通常被嵌入在长且窄的插入管的内部,并连接到具有被构造为调节各弯曲方向的上/下左/右激励器(activator)的手柄。插入管被形成为具有预定长度以便到达人体或精密机器的内部。
图1A、图1B和图1C是示出现有技术的传统内窥镜设备的各个缺点的示图。
如图1A中所示,现有技术的内窥镜设备将不同量的光提供给人体的内表面上的不同区域,因此存在的问题是,如图所示,可能难以例如在如图1B和图1C中的圆中所示的深色区域中或者在诸如图1C中的左侧圆中所示的高亮区域中获得清晰图像。
发明内容
示例性实施例的目的在于提供一种基于身体的内表面的几何形状提供光照的内窥镜设备及其控制方法。
根据示例性实施例,一种内窥镜设备包括:光源,包括被构造为输出彼此交叉的光束的多个光源组件;估计器,被构造为估计身体的内表面的几何形状;控制器,被构造为进行控制,从而基于身体的内表面的估计的几何形状来可变地调节由所述多个光源组件中的任何一个光源组件输出的光束的强度。
另外,所述内窥镜设备还可包括:光调节器,被构造为调节由所述多个光源组件输出的多个光束中的至少一个光束的输出状态,控制器还可被构造为基于身体的内表面的估计的几何形状控制光调节器调节所述多个光束中的至少一个光束的发射方向和发射范围中的至少一个。
控制器还被构造为进行控制,从而基于对象的内表面的估计的几何形状不同地调节所述多个光束中的由所述多个光源组件中的第一光源组件输出的第一光束的强度,控制器还被构造为基于对象的内表面的估计的几何形状控制光调节器调节所述多个光束中的由所述多个光源组件中的第二光源组件输出的第二光束的发射方向,并基于对象的内表面的估计的几何形状控制光调节器调节所述多个光束中的由所述多个光源组件中的第三光源组件输出的第三光束的发射范围。
另外,所述内窥镜设备还可包括:拍摄器,被构造为拍摄身体的内表面,估计器还可被构造为基于由拍摄器产生的图像估计身体的内表面的几何形状。
另外,所述内窥镜设备还可包括:深度传感器,被构造为感测身体的内表面的深度,估计器还可被构造为基于由深度传感器感测的深度估计身体的内表面的几何形状。
另外,控制器还可被构造为基于关于身体的内表面的估计的几何形状的法线分量与所述多个光束中的至少一个光束的方向之间的角度来调节所述多个光束中的所述至少一个光束的强度。
根据示例性实施例,一种内窥镜的控制方法可包括:估计身体的内表面的几何形状;基于身体的内表面的估计的几何形状来可变地调节由多个光源组件中的一个光源组件输出的光束的强度,所述多个光源组件被构造为输出彼此交叉的多个光束。
另外,所述控制方法还可包括:调节由所述多个光源组件输出的多个光束中的至少一个光束的输出状态,所述调节多个光束中的至少一个光束的输出状态的步骤可包括:基于身体的内表面的估计的几何形状来可变地调节所述多个光束中的至少一个光束的发射方向和发射范围中的至少一个。
另外,所述控制方法还可包括:拍摄身体的内表面,所述估计身体的内表面的几何形状的步骤可包括:基于通过拍摄获得的图像估计身体的内表面的几何形状。
所述控制方法还可包括:感测身体的内表面的深度,所述估计身体的内表面的几何形状的步骤可包括:基于感测的深度估计身体的内表面的几何形状。
所述可变地调节光束的强度的步骤可包括:基于关于身体的内表面的估计的几何形状的法线分量与光束的方向之间的角度、所述多个光源组件中的输出光束的一个光源组件与身体的内表面之间的距离以及与身体的内表面相关的反射率中的至少一个,可变地调节光束的强度。
根据前述示例性实施例,提供基于身体的内表面的几何形状动态地改变的光照变得可行。
附图说明
通过参照附图描述特定示例性实施例,以上和/或其他方面将更加清楚,在附图中:
图1A、图1B和图1C是示出现有技术的示图;
图2A和图2B是示出根据各种示例性实施例的内窥镜设备的配置的框图;
图3A、图3B、图3C和图4是示出根据一个或更多个示例性实施例的调节多个光束中的每个光束的输出状态的方法的示图;
图5和图6是示出根据一个或更多个示例性实施例的软件补偿方法的示图;
图7是示出根据一个或更多个示例性实施例的可通过使用内窥镜设备执行的控制方法的示图。
具体实施方式
以下,参照附图详细描述特定示例性实施例。
图2A和图2B是示出根据各种示例性实施例的内窥镜设备的配置的框图。
如图2A中所示,根据一个或更多个示例性实施例的内窥镜设备100包括光源110、估计器120和控制器130。
光源110具有多个光源组件。具体地讲,光源110具有输出彼此交叉的任意形状的光束的多个光源组件。
这里,光源110可被实施为发光二极管(LED)阵列,但是不限于此。例如,LED阵列可以排列在圆形二维布局上。
根据另一示例性实施例,可使用氙灯激光二极管作为光源110的组件。
估计器120被构造为经由各种方法中的任何一种或更多种方法估计人体的内表面的几何形状(geometry)。
具体地讲,估计器120可使用深度传感器,执行强度分布分析,和/或通过执行光探测来估计人体的内表面的几何形状。
控制器130控制内窥镜设备100的整体操作。控制器130可包括中央处理单元(CPU)、用于控制内窥镜设备100的模块和/或用于存储数据的只读存储器(ROM)和随机存取存储器(RAM)中的至少一个。
具体地讲,控制器130可进行控制以基于人体的内表面的几何形状来调节多个光束中的至少一个光束的强度。更具体地讲,控制器130可进行控制以调节多个光束中的至少一个光束的强度,以提供对于人体的内表面的几何形状最优的光照。这里,内表面的几何形状表示人体的内表面的空间局部解剖(spatial topography),包括高度。以下是对用于基于人体的内表面的几何形状调节多个光束中的至少一个光束的强度的特定方法的描述。
另外,内窥镜设备100还可包括光传输件(未示出),光传输件被构造为传输从光源110发射的光,从而照射身体内部的特定身体区域。光传输件(未示出)可被实现为可插入身体中的窄且长的插入单元,所述插入单元包括多个光纤束。
图2B是示出根据另一示例性实施例的内窥镜设备的构造的框图。将省略对图2B中示出的构造元件中的与图2A中示出的构造元件重复的部件的详细解释。
拍摄器140被构造为拍摄身体的内表面。由拍摄器140拍摄的图像可用于通过估计器120对身体的内表面的几何形状进行估计。
具体地讲,拍摄器140可基于经由光源110提供的多个光束来拍摄身体的内表面。为此,拍摄器140可包括相机单元,相机单元包括镜头和图像传感器,诸如电荷耦合器件(CCD)。
在示例性实施例中,输入CCD的图像被转换为电信号,被发送到图像处理器,然后通过图像处理器(未示出)被重新转换为图像信号,然后经由显示单元(未示出)输出。
光调节器150调节由多个光源组件输出的多个光束中的一个或更多个光束的各个输出状态。这里,多个光束中的特定光束的输出状态可由该特定光束的发射方向和该特定光束的发射范围中的至少一个来指示。这里,术语“发射范围”表示特定光束的直径的增加的范围。可通过调节与相应光源组件相关的发射角度来调节发射范围。
具体地讲,光调节器150可包括使多个光束中的每个光束沿预定方向反射的透镜(未示出)、调节多个光束中的每个光束的发射范围的光束发射角度调节透镜(未示出)以及诸如发射角度变换器的滤波器(未示出),但是不限于此。例如,透镜可被构造为布置在LED阵列的前表面上的透镜阵列。
光调节器150可基于身体的内表面的估计的几何形状不同地调节由多个光源组件输出的多个光束中的至少一个光束的发射方向和发射范围中的至少一个,其中,所述身体的内表面的估计的几何形状已由估计器120基于控制器130的控制估计出。例如,在身体的内表面相对高的情况下,光调节器150可将由多个光源组件输出的多个光束中的至少一个光束与关于身体的内表面的估计的几何形状的法线分量之间的发射角度调节为小。
深度传感器160被构造为感测身体的内表面的深度。深度传感器160可被实现为深度相机,但是倘若深度传感器160是能够感测深度的设备,则其不限于此。
在此情况下,估计器120可被构造为基于由深度传感器160感测的深度信息来估计身体的内表面的几何形状。
以下是参照图3A、图3B和图3C对用于通过使用控制器130调节多个光束中的至少一个光束的输出状态的方法的描述。
如图3A中所示,可基于身体的内表面的几何形状调节多个光束11、12、13、14和15中的每个光束的范围。例如,可在身体的内表面的高度相同的部分311中将多个光束中的各个光束的强度调节为均匀的,而在身体的内表面的高度不相同的部分312中将多个光束中的各个光束的强度可变地调节为不同的。
另外,如图3B中所示,可基于身体的内表面的几何形状调节多个光束中的每个光束的发射方向。例如,可调节多个光束中的各个光束的发射方向以针对表面高度为高的区域313趋于会聚,并针对表面高度为低的区域314趋于发散。
另外,如图3C中所示,可基于身体的内表面的几何形状调节多个光束中的每个光束的发射范围。例如,可在平均表面高度为高的区域315中通过将相对于法线的每个光束的发射角度调节为相对小来调节多个光束中的各个光束的发射范围,并在平均表面高度为低的区域316中通过将相对于法线的每个光束的发射角度调节为相对大来调节多个光束中的各个光束的发射范围。
此外,控制器130可基于关于身体的内表面的法线分量与多个光束中的每个光束的方向之间的角度、多个光源组件中的至少一个光源组件与身体的内表面之间的距离以及与身体的内表面相关的反射率中的至少一个来控制调节多个光束中的每个光束的范围。
例如,拍摄的图像的像素值I=[I1,...,IN]T可通过应用下面的数学公式来计算:
[数学公式1]
I=kd(Ai0)
a ij = cos ( α ij ) / r ij 2
这里,A是表面几何形状矩阵,kdi是表面反射率,αij是关于身体的内表面i的法线分量与由光源j发射的光束的方向之间的角度,rij是i与j之间的距离,N=w×h是图像像素的数量,i0=[i10,...,i1M]T是光源的辐照度,M是光源的数量。
图4是示出用于计算如以上数学公式1中表示的αij的方法的示图。
如图4中所示,αij可被计算为关于身体表面20的法线分量与由光源10发射的光束的方向之间的角度。
具体地讲,在如以上表示的数学公式1中,Ai0在下文中被称为场景几何形状。
为了抵消场景几何形状Ai0,通过调节硬件组件来调节光束发射范围和光束强度,并且可通过使用软件执行光照补偿。以下将参照图5描述用于通过使用软件执行光照补偿的方法。
此外,光照的最优强度可通过应用下面的数学公式来计算:
[数学公式2]
i ^ 0 = arg i 0 min f ( i 0 )
f(i0)=(Ai0-1)T(Ai0-1)
这里,1=[1,...,1]T是N×1矢量。
接着,执行下面的数学公式:
[数学公式3]
∂ f / ∂ i 0 = ∂ ( i 0 T A T Ai 0 - i 0 T A T - Ai 0 + 1 ) ∂ i 0 = 0
2ATAi0-2AT1=0
通过应用上面的两个数学公式,可推导出下面的用于计算光照的最优强度的公式:
[数学公式4]
i ^ 0 = ( A T A ) - 1 A T 1
i ^ 0 ′ = ( i ^ 0 · k ) = ( A T A ) - 1 A T ( 1 · k )
此外,如以上另外描述的,可调节每个光束的发射范围和方向中的一个或调节二者。
接着,估计表面几何形状矩阵A以促进光照的最优强度的计算。
在此情况下,可通过使用光源重叠和深度信息来估计表面几何形状矩阵A。
使用光源重叠和深度信息,推导出下面的公式:
[数学公式5]
I=kd(Ai0)=kd(A1i10+…+AMiM0)
A=[A1…AM]
因此,可利用每个图像一个光源发现关于M个图像I1,.....,IM的如下面的公式中表示的A1,.....,AM
[数学公式6]
Ak=LowPass(Ik)/ik0
然而,完全关闭所有光源组件是不实际的。
为了避免该问题,可如下面所表示的略有不同地调节由每个光源组件输出的各个光束的强度:
[数学公式7]
I ( 1 ) = k d ( A 1 i 10 + · · · + A k i k 0 ( 1 ) + · · · + A M i M 0 )
I ( 2 ) = k d ( A 1 i 10 + · · · + A k i k 0 ( 2 ) + · · · + A M i M 0 )
因此,可推导出下面的公式:
[数学公式8]
Ak=LowPass(ΔIk)/Δik0
ΔI=kdAkΔik0
这里,可通过使用足够的帧率来执行搜索。
假设光源照射身体的内表面的特定部分,使得身体的该特定部分的图像被获得,并且根据相应图像的平均强度来调节所有光,则可推导出如下面表示的公式:
[数学公式9]
i 01 ( t ) = i 01 ( t - 1 ) + l ( I opt - I ‾ 01 ( t ) )
i 0 M ( t ) = i 0 M ( t - 1 ) + l ( I opt - I ‾ 0 M ( t ) )
Iopt=光学图像强度。
I0k(t)=由光i0k(t)照射的图像区域的平均强度,i0k(t)=光强度。
然而,一般图像的所有像素受所有光源组件的影响。
图5是示出根据一个或更多个示例性实施例的软件算法的示图。
首先,在操作S510,对于输入图像,执行亮度调节。
具体地讲,调节整体亮度。亮度调节是输入颜色亮度值(fimbriationbrightness value)Yb的静态整体映射(参见图6的(a))。亮度调节提高了相对暗区域的对比度和亮度,但是压缩了相对明亮区域。另外,亮度调节保持了非常暗的区域中的对比度,以防止噪声增加。
然而,整体亮度调节趋于引起明亮区域中的动态范围损失。因此,可能看起来好像在亮度调节之后颜色已经褪去。为了克服该问题,可执行局部对比度增强。与原始对比度相比,人类视觉系统对局部对比度更加敏感。更具体地讲,如应用于本示例性实施例的局部对比度增强方法基于对比度受限自适应直方图均衡(CLAHE)方法。该局部对比度增强方法采用新的基于统计的逼近以防止噪声和对比度缺陷的增加,并使用多尺度CLAHE方法以同时提高不同尺度下的对比度。
首先,引入基于统计的逼近以防止噪声和轮廓缺陷的增加。CLAHE可在一些图像区域中产生缺陷,并因此而检测出相应区域,且可使用局部统计特性来减小在该区域中对比度增强的范围。
另外,使用基于熵的参数来检测具有噪声或轮廓缺陷的处理区域,并排除检测到的区域。另外,基于熵的参数αH与基于平均值的控制参数αm组合,以预先确定与所有块区域相关的如下面公式中表示的直方图裁减限度C:
[数学公式10]
C(i)=Cm+Cn×αH(i)×αm(i)
这里,Cm是最小裁减限度,Cn是一般裁减限度,I是索引。
基于平均值的参数αm提高了中间色调和明亮区域的局部对比度,同时防止通过整体亮度调节过程被压缩的图像的最亮区域和暗区域的过度增强。αm从属于每个块的平均颜色亮度(参见图6的(b))。
基于熵的参数αH取决于每个块的颜色亮度直方图的熵(参见图6的(c))。另外,基于熵的参数防止均匀区域中和各个均匀区域中轮廓缺陷的增加和噪声的增加。
其次,应用基于CLAHE的多尺度对比度增强方法。CLAHE的使用基于CLAHE块尺寸提高了不同区域的对比度。因此,组合针对各种尺寸的块所获得的CLAHE结果。
更具体地讲,如下面公式中所表示的,针对每个不同块尺寸hs×wa所获得的所有各个CLAHE结果Yces被直接相加:
[数学公式11]
Y ce = Σ s k s × Y ce s
这里,ks是与尺度s相关的重要参数。
再次参照图5,在操作S520,执行与输入图像相关的逐块统计操作。
接着,在操作S530,执行均匀性补偿。
在示例性实施例中,将被执行的局部对比度增强方法在时间和空间上不均匀。这是因为从在操作S520执行的块统计操作估计关于每个CLAHE块的预期曲线。块统计按顺序在空间和时间上改变。不均匀性可以导致时间闪烁和空间失真。因此,为了防止时间闪烁,可使用用于时间平滑的局部对比度增强曲线,也可使用用于空间平滑并用于获得修正后的CLAHE块布置的局部对比度增强曲线。
首先,为了防止时间闪烁,使用平滑的局部对比度增强曲线。当对象的位置在视频中快速改变时,出现时间闪烁。这突然改变了局部直方图并导致时间闪烁。为了防止直方图的这样的快速改变,使用平滑的局部对比度增强曲线来替代与每个CLAHE块相关的当前曲线gcd。为了计算局部对比度增强曲线,使用如下面表示的Alpha滤波器:
[数学公式12]
g ^ ce ( t ) = g ^ ce ( t - 1 ) + α mem × ( g ce ( t ) - g ^ ce ( t - 1 ) )
这里,t是当前帧号,αmem是滤波器的存储器。
大多数的实际视频包括场景改变,并且场景快速转换。在这方面,滤波器的存储器参数αmem如下面公式中所表示基于场景改变概率PSC而变化:
[数学公式13]
αmem=max(αn,km×PSC)
这里,αn是一般滤波器的存储器,km是场景改变存储器增益参数。
为了计算场景改变概率PSC,使用如下面公式中表示的当前帧与前一帧之间的相关性系数ρ:
[数学公式14]
P SC = 1 - max ( 0 , p ) if max ( σ ( t ) , σ ( t - 1 ) ) ≥ σ min 0 otherwise
[数学公式15]
ρ = E [ ( Y ( t ) - Y ‾ ( t ) ) ( Y ( t - 1 ) - Y ‾ ( t - 1 ) ) ] σ ( t ) σ ( t - 1 )
这里,σ(t)是帧t的颜色亮度光亮度的平均离散度,σmin是数值稳定常数。
其次,使用用于减小空间失真的方法。由于块观点局部处理而发生空间失真。
首先,在局部对比度增强过程中,在双线性插值之前,执行具有高斯滤波器的局部对比度增强曲线的空间平滑。关于另一尺度,高斯滤波器使用不同的支持窗口ds×ds和不同的标准离散度σs。
接着,在操作S540,设计关于多尺度CLAHE的空间块布置。由于空间失真大多数发生在块边界,因此块被布置为使不同尺度下的边界的不均匀性最小化。为此,在不同部分中并针对所有相同尺度确定行和列的数量。
接着,在操作S550,整体对比度调节结果Yba和局部对比度增强结果Yce如下面公式中所表示被组合:
[数学公式16]
Yc=(1-wce)×Yba(x,y)+wce×Yce
这里,wce是局部对比度增强的加权值。
接着,如下面公式中所表示计算光亮度增强增益gb
[数学公式17]
gb(x,y)=Yce/Yb
因为颜色亮度的低频元素用于计算增强,因此光亮度增益是平滑的并且没有增加噪声。
接着,在操作S560,执行光亮度增强。
为了增强原始光亮度Y,如下面公式中所表示计算增益:
[数学公式18]
Yout(x,y)=Y(x,y)×gb(x,y)
接着,计算颜色补偿参数。
在调节光亮度之后,必须如下面公式中所表示调节颜色元素C={Cb;Cr}。
[数学公式19]
Cout(x,y)=C(x,y)×gc(x,y)
接着,在操作S570,执行颜色补偿。
在此情况下,可以以如下方式执行颜色调节过程:防止在光亮度增加的暗区域中大尺度颜色噪声增加,并且还保持未改变的皮肤区域的颜色以避免不自然的色调。
为此,使用如下面公式中表示的增益gb计算颜色增益gc
[数学公式20]
g c = 1 , if g b < 1 1 + ( g b - 1 ) &times; P n &times; P s , otherwise
这里,Pn是颜色噪声概率,Ps是将成为皮肤区域的一部分的像素的概率。
首先,减小与相对于颜色噪声的包含的具有概率Pn的像素相关的颜色增益。另外,如下面公式中所表示计算Pn
[数学公式21]
Pn=min(1,Yb×kn)
这里,kn是颜色噪声强度系数。
其次,如下面公式中所表示减小与将成为皮肤区域的一部分的具有高概率Ps的像素相关的颜色增益。另外,计算相对于具有颜色元素(fimbriationelement)Cb和Cr的像素的Ps
[数学公式22]
P s = min ( max ( | Cb - Cb c | , | Cr - Cr c | ) d m , 1 )
这里,{Cbc;Crc}是YCbCr颜色空间的中心,dm是在YCbCr颜色空间中肤色聚类的大小,其中,Y表示光亮度分量,Cb表示蓝色差色度分量,Cr表示红色差色度分量。
可通过执行上述方法来执行关于拍摄的图像的软件补偿。
图7是示出根据示例性实施例的可通过使用内窥镜设备执行的控制方法的示图。
在图7中示出的内窥镜设备的控制方法的操作S710,拍摄身体的内表面。在操作S720,估计身体的内表面的几何形状。
在此情况下,可拍摄身体的内表面,然后基于拍摄的图像估计身体的内表面的几何形状。
在可选示例性实施例中,可感测身体的内表面的深度,然后基于感测的深度估计身体的内表面的几何形状。
接着,在操作S730,基于身体的内表面的估计的几何形状可变地调节由多个光源组件中的相应光源组件输出的光束的强度。这里,所述多个光源组件可输出彼此交叉的光束。
另外,还可包括调节由多个光源组件输出的多个光束中的至少一个光束的输出状态的操作,在此情况下,可基于身体的内表面的估计的几何形状来调节多个光束中的至少一个光束的发射方向和发射范围中的至少一个。
另外,关于在操作S730可变地调节至少一个光束的强度,可基于多个光源组件中的相应光源组件与身体的内表面之间的距离和/或基于与身体的内表面相关的反射率来调节多个光束中的每个光束的强度。
根据前述示例性实施例,提供基于身体的内表面的几何形状动态地变化的光照变得可行。
具体地讲,在前述示例性实施例中,已经针对内窥镜领域中的潜在用途描述了光照调节方法,但是不限于此,因此,所述光照调节方法可被用在用于提供适当光照的各种工业领域中。例如,可结合可应用于各种工业领域的装置来使用所述光照调节方法,诸如在不必分解精密机器的情况下观察内部,或者观察管道内部是否存在问题。
此外,根据各种示例性实施例的内窥镜设备的控制方法可被实现为程序并被设置在内窥镜设备中。
作为示例,可提供一种存储如下程序的非暂时性计算机可读介质,所述程序执行用于基于身体的内表面的估计的几何形状可变地调节由多个光源组件中的相应光源组件输出的光束的强度的处理。
非暂时性计算机可读介质表示半永久性地存储数据并且能够被诸如计算机的设备读取的介质。更具体地讲,前述各种应用或程序可被存储和提供在非暂时性计算机可读介质中,诸如硬盘、蓝光盘、通用串行总线(USB)装置、存储卡、ROM和/或任何其他合适介质。
另外,虽然在上述示出电子设备的框图中未示出总线,但是可经由总线执行各个配置元件之间的通信。另外,执行各种前述操作的诸如CPU的处理器和/或微处理器还可被包括在每个装置中。
虽然已经示出和描述了一些示例性实施例,但是本领域的技术人员将认识到,在不脱离本发明构思的原理和精神的情况下,可对这些示例性实施例进行改变,本发明构思的范围在权利要求及其等同物中限定。

Claims (15)

1.一种内窥镜设备,包括:
光源,包括被构造为输出彼此交叉的光束的多个光源组件;
估计器,被构造为估计对象的内表面的几何形状;
控制器,被构造为进行控制,从而基于对象的内表面的估计的几何形状来不同地调节由所述多个光源组件中的任何一个光源组件输出的光束的强度。
2.根据权利要求1所述的内窥镜设备,还包括:光调节器,被构造为调节由所述多个光源组件输出的多个光束中的至少一个光束的输出状态,
其中,控制器还被构造为基于对象的内表面的估计的几何形状控制光调节器调节所述多个光束中的至少一个光束的发射方向和发射范围中的至少一个。
3.根据权利要求2所述的内窥镜设备,其中,控制器还被构造为进行控制,从而基于对象的内表面的估计的几何形状不同地调节所述多个光束中的由所述多个光源组件中的第一光源组件输出的第一光束的强度,
其中,控制器还被构造为基于对象的内表面的估计的几何形状控制光调节器调节所述多个光束中的由所述多个光源组件中的第二光源组件输出的第二光束的发射方向,并基于对象的内表面的估计的几何形状控制光调节器调节所述多个光束中的由所述多个光源组件中的第三光源组件输出的第三光束的发射范围。
4.根据权利要求1所述的内窥镜设备,还包括:拍摄器,被构造为拍摄对象的内表面,
其中,估计器还被构造为基于由拍摄器产生的图像估计对象的内表面的几何形状。
5.根据权利要求4所述的内窥镜设备,其中,控制器还被构造为对由拍摄器产生的图像执行局部对比度增强。
6.根据权利要求4所述的内窥镜设备,其中,控制器还被构造为对由拍摄器产生的图像执行光亮度增强。
7.根据权利要求4所述的内窥镜设备,其中,控制器还被构造为对由拍摄器产生的图像执行颜色补偿。
8.根据权利要求1所述的内窥镜设备,还包括:深度传感器,被构造为感测对象的内表面的深度,
其中,估计器还被构造为基于由深度传感器感测的深度估计对象的内表面的几何形状。
9.根据权利要求1所述的内窥镜设备,其中,控制器还被构造为基于关于对象的内表面的估计的几何形状的法线分量与所述多个光束中的至少一个光束的方向之间的角度来调节所述多个光束中的至少一个光束的强度。
10.一种内窥镜的控制方法,包括:
估计对象的内表面的几何形状;
基于对象的内表面的估计的几何形状来不同地调节由多个光源组件中的一个光源组件输出的光束的强度,
其中,所述多个光源组件被构造为输出彼此交叉的多个光束。
11.根据权利要求10所述的控制方法,还包括:
调节由所述多个光源组件输出的多个光束中的至少一个光束的输出状态,
其中,所述调节多个光束中的至少一个光束的输出状态的步骤包括:基于对象的内表面的估计的几何形状来不同地调节所述多个光束中的至少一个光束的发射方向和发射范围中的至少一个。
12.根据权利要求10所述的控制方法,还包括:拍摄对象的内表面,
其中,所述估计对象的内表面的几何形状的步骤包括:基于通过拍摄获得的图像估计对象的内表面的几何形状。
13.根据权利要求12所述的控制方法,还包括:对通过拍摄获得的图像执行局部对比度增强。
14.根据权利要求10所述的控制方法,还包括:感测对象的内表面的深度,
其中,所述估计对象的内表面的几何形状的步骤包括:基于感测的深度估计对象的内表面的几何形状。
15.根据权利要求10所述的控制方法,其中,所述不同地调节光束的强度的步骤包括:基于关于对象的内表面的估计的几何形状的法线分量与光束的方向之间的角度、所述多个光源组件中的输出光束的一个光源组件与对象的内表面之间的距离以及与对象的内表面相关的反射率中的至少一个,不同地调节光束的强度。
CN201410051099.8A 2013-02-14 2014-02-14 内窥镜设备及其控制方法 Pending CN103989452A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130015969A KR20140102521A (ko) 2013-02-14 2013-02-14 내시경 장치 및 그 제어 방법
KR10-2013-0015969 2013-02-14

Publications (1)

Publication Number Publication Date
CN103989452A true CN103989452A (zh) 2014-08-20

Family

ID=49989502

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410051099.8A Pending CN103989452A (zh) 2013-02-14 2014-02-14 内窥镜设备及其控制方法

Country Status (4)

Country Link
US (1) US9427174B2 (zh)
EP (1) EP2767215A1 (zh)
KR (1) KR20140102521A (zh)
CN (1) CN103989452A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430369A (zh) * 2019-07-19 2019-11-08 合肥工业大学 基于中央处理器单元的腔镜光源协同控制方法及装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6168879B2 (ja) * 2013-06-27 2017-07-26 オリンパス株式会社 内視鏡装置、内視鏡装置の作動方法及びプログラム
US10292571B2 (en) * 2015-02-23 2019-05-21 Uroviu Corporation Handheld surgical endoscope with wide field of view (FOV) and illumination brightness adjusted by area within the FOV
US10278563B2 (en) 2015-02-23 2019-05-07 Uroviu Corp. Handheld surgical endoscope with detachable cannula
US10869592B2 (en) 2015-02-23 2020-12-22 Uroviu Corp. Handheld surgical endoscope
US10874287B2 (en) 2015-02-23 2020-12-29 Uroviu Corp. Handheld surgical endoscope
US20170366773A1 (en) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
US11832797B2 (en) 2016-09-25 2023-12-05 Micronvision Corp. Endoscopic fluorescence imaging
US11684248B2 (en) 2017-09-25 2023-06-27 Micronvision Corp. Endoscopy/stereo colposcopy medical instrument
EP3417758A1 (en) * 2017-06-19 2018-12-26 Ambu A/S A method for processing image data using a non-linear scaling model and a medical visual aid system
US11980342B2 (en) 2020-11-12 2024-05-14 Micronvision Corp. Minimally invasive endoscope
US11771304B1 (en) 2020-11-12 2023-10-03 Micronvision Corp. Minimally invasive endoscope
EP4003138A4 (en) 2019-07-25 2023-08-30 Uroviu Corp. DISPOSABLE ENDOSCOPY CANNULA WITH INTEGRATED FORCEPS
WO2022051775A1 (en) 2020-09-04 2022-03-10 Abova, Inc. Method for x-ray dental image enhancement

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1740229A (en) * 1928-01-24 1929-12-17 Holophane Co Inc Lighting apparatus
JPH0685022B2 (ja) * 1984-07-05 1994-10-26 オリンパス光学工業株式会社 内視鏡用照明光学系
JPH0435855Y2 (zh) * 1985-07-19 1992-08-25
US5749830A (en) 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US5473373A (en) * 1994-06-07 1995-12-05 Industrial Technology Research Institute Digital gamma correction system for low, medium and high intensity video signals, with linear and non-linear correction
KR100200628B1 (ko) * 1996-09-30 1999-06-15 윤종용 화질 개선 회로 및 그 방법
IL135571A0 (en) * 2000-04-10 2001-05-20 Doron Adler Minimal invasive surgery imaging system
JP4363843B2 (ja) 2002-03-08 2009-11-11 オリンパス株式会社 カプセル型内視鏡
JP2003260025A (ja) 2002-03-08 2003-09-16 Olympus Optical Co Ltd カプセル型内視鏡
JP4328125B2 (ja) * 2003-04-25 2009-09-09 オリンパス株式会社 カプセル型内視鏡装置およびカプセル型内視鏡システム
US20070039077A1 (en) * 2005-08-10 2007-02-15 Pentax Corporation Endoscope
JP2007044251A (ja) * 2005-08-10 2007-02-22 Pentax Corp 内視鏡装置
US8636653B2 (en) * 2008-06-09 2014-01-28 Capso Vision, Inc. In vivo camera with multiple sources to illuminate tissue at different distances
RU2546985C2 (ru) * 2009-08-05 2015-04-10 Конинклейке Филипс Электроникс Н.В. Регулируемый осветительный блок с управляемой ориентацией и интенсивностью луча света
CN102753079B (zh) 2010-02-10 2015-06-03 奥林巴斯株式会社 荧光内窥镜装置
JP5090579B2 (ja) 2010-07-14 2012-12-05 オリンパスメディカルシステムズ株式会社 内視鏡システム、その光源装置
WO2012021212A1 (en) * 2010-08-10 2012-02-16 Boston Scientific Scimed, Inc. Endoscopic system for enhanced visualization
JP5604248B2 (ja) 2010-09-28 2014-10-08 富士フイルム株式会社 内視鏡画像表示装置
US8878920B2 (en) 2011-07-12 2014-11-04 Karl Storz Imaging, Inc. Method and apparatus for protection from high intensity light
WO2013125268A1 (ja) * 2012-02-21 2013-08-29 オリンパスメディカルシステムズ株式会社 内視鏡装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110430369A (zh) * 2019-07-19 2019-11-08 合肥工业大学 基于中央处理器单元的腔镜光源协同控制方法及装置

Also Published As

Publication number Publication date
EP2767215A1 (en) 2014-08-20
KR20140102521A (ko) 2014-08-22
US20140228635A1 (en) 2014-08-14
US9427174B2 (en) 2016-08-30

Similar Documents

Publication Publication Date Title
CN103989452A (zh) 内窥镜设备及其控制方法
US8902328B2 (en) Method of selecting a subset from an image set for generating high dynamic range image
CN105930821B (zh) 一种人眼识别跟踪的方法及将其应用于裸眼3d显示的装置
JP6168879B2 (ja) 内視鏡装置、内視鏡装置の作動方法及びプログラム
US20140092226A1 (en) Automatic exposure control device, control device, endoscope device and automatic exposure control method
US20150002531A1 (en) Image processing method and apparatus for curved display device
CN105096267B (zh) 一种基于拍照识别调节眼部亮度的方法和装置
US11288783B2 (en) Method and system for image enhancement
CN108198155B (zh) 一种自适用色调映射方法及系统
CN107578383A (zh) 一种低照度图像增强处理方法
CN108846807A (zh) 光效处理方法、装置、终端及计算机可读存储介质
CN102316247A (zh) 图像处理装置
CN103973941B (zh) 数码影像的动态对比度调整方法和系统
CN107396079B (zh) 白平衡调整方法和装置
US9113145B2 (en) Contrast matching for stereo image
US20220012915A1 (en) Apparatuses, systems, and methods for managing auto-exposure of image frames depicting signal content against a darkened background
US10866635B2 (en) Systems and methods for capturing training data for a gaze estimation model
WO2008102296A2 (en) Method for enhancing the depth sensation of an image
Wang et al. Endoscopic image luminance enhancement based on the inverse square law for illuminance and retinex
JP5244164B2 (ja) 内視鏡装置
CN105957020B (zh) 图像生成装置以及图像生成方法
JP2024037793A (ja) 情報処理装置、情報処理方法及びプログラム
US10089731B2 (en) Image processing device to reduce an influence of reflected light for capturing and processing images
US20210152795A1 (en) Information processing apparatus and method
WO2017061279A1 (ja) 光源制御装置、光源制御方法、プログラム、および手術用システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140820

WD01 Invention patent application deemed withdrawn after publication