CN117062561A - 用于减少计算机辅助医疗系统中的影像中的噪声的系统和方法 - Google Patents
用于减少计算机辅助医疗系统中的影像中的噪声的系统和方法 Download PDFInfo
- Publication number
- CN117062561A CN117062561A CN202280023240.6A CN202280023240A CN117062561A CN 117062561 A CN117062561 A CN 117062561A CN 202280023240 A CN202280023240 A CN 202280023240A CN 117062561 A CN117062561 A CN 117062561A
- Authority
- CN
- China
- Prior art keywords
- imaging device
- pseudo
- dark frame
- image
- noise pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 97
- 238000003384 imaging method Methods 0.000 claims abstract description 295
- 238000012545 processing Methods 0.000 claims abstract description 175
- 230000008569 process Effects 0.000 claims abstract description 32
- 230000008878 coupling Effects 0.000 claims abstract description 27
- 238000010168 coupling process Methods 0.000 claims abstract description 27
- 238000005859 coupling reaction Methods 0.000 claims abstract description 27
- 238000005286 illumination Methods 0.000 claims description 20
- 210000003484 anatomy Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 238000012937 correction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000003032 molecular docking Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003331 infrared imaging Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012978 minimally invasive surgical procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002355 open surgical procedure Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000095—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope for image enhancement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00057—Operational features of endoscopes provided with means for testing or calibration
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00112—Connection or coupling means
- A61B1/00114—Electrical cables in or with an endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0655—Control therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/673—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
- H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
- H04N25/677—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction for reducing the column or line fixed pattern noise
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Signal Processing (AREA)
- Biomedical Technology (AREA)
- Animal Behavior & Ethology (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Physics & Mathematics (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Endoscopes (AREA)
Abstract
本文描述了用于减少计算机辅助医疗系统中的噪声的系统和方法。在某些说明性示例中,一种系统可以指导成像设备捕获成像设备的环境的一个或多个伪暗帧图像。该系统可以确定与成像设备和图像处理系统的耦连相关联的一组一个或多个伪暗帧图像内的噪声图案。该系统可以基于噪声图案处理由成像设备捕获的附加图像。
Description
相关申请
本申请要求于2021年4月19日提交的美国临时专利申请第63/176,815号的优先权,其内容通过引用整体并入本文。
背景技术
计算机辅助医疗系统允许用户控制一个或多个远程操作医疗器械以对患者实行医疗程序。为此,计算机辅助医疗系统捕获影像并且向用户显示影像(例如手术空间的影像)。这样的影像可以由耦连到计算机辅助医疗系统的图像处理系统的成像设备捕获。然而,这样的影像可能包括噪声和其他这样的不期望的伪影。
发明内容
以下说明书呈现了本文所描述的系统和方法的一个或多个方面的简化概述。该概述不是对所有预期方面的广泛概况,并且既不旨在识别所有方面的关键或重要元素,也不旨在描绘任何或所有方面的范围。其唯一目的是呈现本文描述的系统和方法的一个或多个方面,作为下面呈现的详细描述的前奏。
一种示例性方法包括:由计算设备指导成像设备捕获成像设备的环境的伪暗帧图像;由计算设备并基于伪暗帧图像来确定与成像设备和图像处理系统的耦连相关联的噪声图案;以及由计算设备基于噪声图案实行操作。
一种示例性系统包括成像设备接口和处理器,该处理器被配置成:在成像设备耦连到该接口之后,指导成像设备捕获成像设备的环境的伪暗帧图像;基于伪暗帧图像确定与该系统和耦连到接口的成像设备相关联的噪声图案;并且基于噪声图案,处理由耦连到接口的成像设备捕获的附加图像。
一种示例性装置包括一个或多个处理器和存储器,该存储器存储可执行指令,所述可执行指令在由一个或多个处理器执行时使装置指导成像设备捕获成像设备的环境的一组一个或多个伪暗帧图像;基于一组一个或多个伪暗帧图像确定与成像设备与图像处理系统的耦连相关联的噪声图案;并且提供噪声图案以用于处理由成像设备捕获的附加图像。
一种说明性的存储指令的非暂时性计算机可读介质,所述指令可由处理器执行以指导成像设备捕获成像设备的环境的一组一个或多个伪暗帧图像;基于一组一个或多个伪暗帧图像确定与成像设备与图像处理系统的耦连相关联的噪声图案;并且提供噪声图案以用于处理由成像设备捕获的附加图像。
附图说明
附图示出各种实施例并且是说明书的一部分。图示的实施例仅是示例并且不限制本公开的范围。在所有附图中,相同或相似的附图标记表示相同或相似的元件。
图1-图2描绘根据本文描述的原理的包括图像处理系统的说明性配置。
图3描绘根据本文描述的原理的说明性处理系统。
图4描绘根据本文描述的原理的包括图像处理系统的说明性配置。
图5-图6描绘根据本文描述的原理的示例性方法。
图7-图8描绘根据本文描述的原理的示例性计算机辅助医疗系统。
图9描绘根据本文描述的原理的说明性计算设备。
具体实施方式
本文描述了用于减少计算机辅助医疗系统中的影像中的噪声的系统和方法。计算机辅助医疗系统可以包括被配置为耦连到成像设备(例如,内窥镜)的图像处理系统。计算设备可以是图像处理系统的一部分或者与图像处理系统分离,计算设备可以指导成像设备在图像处理系统和成像设备被耦连在一起时捕获成像设备的环境的一个或多个伪暗帧图像。基于(一个或多个)伪暗帧图像,计算设备可以确定与成像设备和图像处理系统的耦连相关联的噪声图案。计算设备可以基于噪声图案来实行操作。例如,计算设备可以基于噪声图案来处理由成像设备捕获的附加图像,如本文所述,该处理可以减少附加图像中的噪声。
为了图示说明示例,成像设备(例如,内窥镜)可以被耦连到图像处理系统以捕获图像,诸如患者体内的图像。成像设备可以包括用于捕获体内图像的一个或多个图像传感器(例如,电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)图像传感器等)。在一些示例中,(一个或多个)图像传感器可能需要装配在小型成像设备内,以便成像设备能够适配在小型通道内,诸如身体的解剖通道内。(一个或多个)图像传感器可以被定位在成像设备的远侧部分处,以便捕获体内的图像,并且考虑到成像设备的远侧部分的尺寸限制,用于处理捕获的图像的一些电路系统可以被定位在更近侧的位置处(例如,在图像处理系统中)。例如,成像设备可以经由电缆耦连到图像处理系统,并且可以沿着电缆将模拟数据图像信号传输到图像处理系统。图像处理系统可以将时钟信号传输到成像设备以对模拟图像数据信号进行采样。模拟图像数据信号和时钟信号沿电缆长度的耦合可能导致添加到基于由成像设备捕获的图像的图像输出中的噪声。具体地,添加的噪声可能包括固定图案噪声,诸如具有噪声图案的列固定图案噪声(CFPN)。
虽然CFPN可以具有噪声图案,但是特定CFPN的噪声图案可以取决于各种因素,这些因素可以包括成像设备、图像处理系统和/或电缆的特性。因此,特定噪声图案可以与成像设备和图像处理系统的耦连相关联,并且可以随着部件和/或电缆的改变而变化。
为了确定与成像设备和图像处理系统的耦连相关联的噪声图案(诸如CFPN噪声图案),用户可以实行校准,在该校准中成像设备捕获暗帧图像,该暗帧图像是没有光的图像,诸如用被覆盖或关闭的成像设备的镜头捕获的图像。暗帧图像可以显示哪些像素和/或列在尽管缺乏输入的情况下仍在输出信号(以及输出信号的大小),该信息可以被用于确定CFPN的噪声图案。替代地或附加地,暗帧图像可以包括预先校准的暗帧图像(例如,由成像设备的制造商提供的暗帧图像)。
然而,如上所述,特定CFPN的噪声图案可能取决于各种因素,这些因素可能包括成像设备、图像处理系统和电缆的特性。因此,对成像设备、图像处理系统或电缆中的任何一个的改变(例如,对成像设备和图像处理系统的耦合的改变)可能导致不同的噪声图案。因此,如果这些部件中的任何一个发生改变,用户可能必须实行另一次校准来识别不同的噪声图案。校准的实行可能会中断工作流程(例如,医疗程序)以允许捕获另一个暗帧图像。
为了避免实行专门用于捕获和使用暗帧图像来确定噪声图案的校准,本文描述的系统和方法涉及基于可以在任何环境中和/或在成像设备正被初始化时捕获的伪暗帧图像来动态地确定噪声图案。噪声图案的这种动态确定可以允许在医疗程序期间设置和/或改变计算机辅助医疗系统的成像设备和/或图像处理系统,而无需用户实行专门用于基于暗帧图像校准噪声图案的操作。噪声图案的动态确定以及使用噪声图案来减少图像中的噪声可以基于任意和动态的成像设备和图像处理系统的组合(例如,成像设备与图像处理系统的任意和动态的耦合)来提供准确的图像输出。本文描述的噪声减少的说明性示例可以比基于从使用真实暗帧图像的校准或预校准确定的噪声图案的噪声减少更准确和/或更灵活。
现在将更详细地描述各种说明性实施例。所公开的系统和方法可以提供上面提到的一个或多个益处和/或将在本文中变得显而易见的各种附加和/或替代益处。
图1描绘耦连到计算机辅助医疗系统的图像处理系统104的成像设备102的说明性配置100。图像处理系统104可以包括处理系统106和成像设备接口108。成像设备接口108可以允许图像处理系统104通过电缆110耦连到成像设备102。成像设备102可以被配置为捕获场景112的图像。
场景112可以包括可由成像设备102成像的任何环境和/或环境的元素。例如,场景112可以包括物理元素的有形的现实世界场景。在某些说明性示例中,场景112与诸如外科程序的医疗程序相关联。例如,场景112可以包括诸如医疗设施、手术室或类似物的医疗场所处的环境。例如,场景112可以包括手术室的全部或一部分,在该手术室中可以对患者实行医疗程序。另外或替代地,场景112可以包括患者身体上或体内的区域,诸如正在其上实行医疗程序的区域。例如,成像设备102可以开始对医疗场所(例如,实行医疗程序的房间)处的第一环境中的第一场景进行成像,并且继续对患者(例如,医疗程序的对象)体内的第二环境中的第二场景进行成像。医疗程序可以包括对患者进行的任何活动,诸如微创外科手术程序、开放式外科手术程序、非外科手术程序、诊断程序、治疗程序、临床、非临床和/或训练环境中的程序等。医疗程序可以包括与准备、实行和完成医疗程序相关联的任何活动,诸如程序前活动、程序中活动和/或程序后活动。虽然本文进一步描述了这样的示例,但是本文描述的一个或多个原理可以应用于其他实施方式中的其他合适的场景。
成像设备102可以包括被配置为捕获场景112的图像(例如,构成视频流的帧的图像、静止图像等)的任何成像设备。例如,成像设备102可以包括内窥镜成像设备、视频成像设备、红外成像设备、可见光成像设备、非可见光成像设备、强度成像设备(例如,彩色、灰度、黑色和白色成像设备)、深度成像设备(例如,立体成像设备、渡越时间(time-of-flight)成像设备、红外成像设备等)、超声成像设备、荧光成像设备、任何其他成像设备,或者此类成像设备的任何组合或子组合。
例如,成像设备102可以包括被配置为捕获患者体内的图像的内窥镜。在一些示例中,成像设备102可以位于细长柔性器械的管腔中并且可从该管腔移除。在一些示例中,成像设备102可以与细长柔性器械集成在一起。当成像设备102捕获身体内的图像时,电缆110可以具有足够的长度以在成像设备102穿过患者身体内的区域时保持成像设备102连接到图像处理系统104(例如,0.5米、1米、1.7米或任何其他合适的长度)。在一些情况下,成像设备102可以被配置为沿着电缆110传输表示所捕获的图像数据的模拟信号。模拟信号沿着电缆110的长度的传输可能导致添加到所捕获的图像数据的噪声,诸如CFPN。
处理系统106可以被配置为使用由成像设备102捕获的伪暗帧图像来确定噪声图案。伪暗帧图像可以是成像设备102的环境(例如,场景112)的图像,而不是成像设备102的镜头被完全覆盖时的图像。因此,伪暗帧图像可以基于成像设备102的传感器的至少一些输入信号。例如,处理系统106可以通过关闭成像设备102的一些或全部照明(例如,来自成像设备102的光源和/或通信地耦连到处理系统106的其他光源的照明)来指导成像设备102捕获伪暗帧图像。另外或替代地,处理系统106可以指导成像设备102使用成像设备102的最小曝光时间来捕获伪暗帧图像。例如,最小曝光时间可以包括成像设备102能够进行的最小曝光时间或任何合适的基本上短量的曝光时间。通过在成像设备102的照明关闭的情况下使用成像设备102的最小曝光时间,成像设备102可以捕获成像设备102的环境的伪暗帧图像,该伪暗帧图像可以用来代替真暗帧图像来确定(例如,CFPN的)噪声图案。本文进一步描述基于伪暗帧图像确定噪声图案。
基于噪声图案,图像处理系统104可以被配置为处理由成像设备102捕获的附加图像。例如,图像处理系统104可以减去噪声图案以校正由成像设备102和图像处理系统104经由电缆110的耦合所添加的CFPN。结果,由图像处理系统104(例如,向包括图像处理系统104的计算机辅助医疗系统的用户)输出的图像可以比传统系统更准确地描绘由成像设备102捕获的附加图像。
在一些示例中,由成像设备102捕获的附加图像可以属于与伪暗帧图像的环境不同的附加环境。例如,在捕获第一环境(例如,诸如手术室等场所)的伪暗帧图像(或一组伪暗帧图像)之后,成像设备102可以被插入到患者体内以进行医疗程序。因此,场景112可以从第一环境(例如,身体外部)改变到第二环境(例如,身体内部)。成像设备102可以捕获第二环境的图像,图像处理系统104可以基于噪声图案来处理该第二环境的图像。另外或替代地,由成像设备102捕获的基于噪声图案处理的附加图像中的一些或全部可以属于与伪暗帧图像的环境相同的环境。例如,可以捕获第一环境的附加图像,诸如第一环境的附加场景。另外或替代地,可以在第二环境(例如,身体内部)中捕获伪暗帧图像。例如,当对成像设备102和图像处理系统104的耦连做出改变(例如,电缆110、图像处理系统104等的改变)和/或当成像设备102到达或接近实行医疗程序的位置时,成像设备102可以被定位在患者体内以实行医疗程序。在这种情况下,可以在要实行医疗程序的位置处或附近捕获一个或多个伪暗帧图像,并且基于这样的伪暗帧图像来确定噪声图案。
图像处理系统104可以包括被配置为处理表示图像(诸如由成像设备102捕获的图像)的图像数据的任何合适的处理器。处理系统106可以包括被配置为实行如本文所描述的与减少图像中的噪声相关联的各种操作的任何合适的处理器。本文进一步描述合适的处理器、图像处理系统104和处理系统106的示例。虽然配置100将处理系统106示出为图像处理系统104的部件,但在一些示例中,图像处理系统104和处理系统106可以是同一系统。在其他示例中,处理系统106可以是与图像处理系统104分离的系统。
图2示出可以类似于配置100的说明性配置200,其包括被配置为捕获场景112的图像并经由电缆110耦连到图像处理系统104的成像设备102。然而,在配置200中,处理系统106可以与图像处理系统104分离并且通信地耦连到图像处理系统104和/或成像设备102。
在这样的配置中,处理系统106可以指导成像设备102经由图像处理系统104捕获伪暗帧图像和/或在通信地耦连到成像设备102的情况下直接捕获伪暗帧图像。处理系统106可以被配置为基于伪暗帧图像来确定噪声图案并且将噪声图案传输到图像处理系统104以用于处理由图像处理系统104捕获的附加图像。处理系统106可以以任何合适的方式将噪声图案传输到图像处理系统104。
图3图示说明处理系统106的示例配置。处理系统106可以包括但不限于选择性地且通信地彼此耦连的存储设施302和处理设施304。设施302和304均可以包括一个或多个物理计算设备或由一个或多个物理计算设备来实现,该物理计算设备包括硬件和/或软件部件,诸如处理器、存储器、存储驱动器、通信接口、存储在存储器中以供处理器执行的指令等等。虽然设施302和304在图3中被示出为独立的设施,但设施302和304也可以被组合成更少的设施,诸如组合成单个设施,或者被划分成更多的设施以服务于特定的实现方式。在一些示例中,设施302和304中的每一个可以被分布在多个设备和/或多个位置之间,以服务于特定实现方式。
存储设施302可以维持(例如,存储)由处理设施304使用的可执行数据,以实行本文描述的任何功能。例如,存储设施302可以存储可由处理设施304执行以实行本文描述的操作中的一个或多个操作的指令306。指令306可以由任何合适的应用程序、软件、代码和/或其他可执行数据实例来实现。存储设施302还可以维持由处理设施304接收、生成、管理、使用和/或传输的任何数据。
处理设施304可以被配置为实行(例如,执行存储在存储设施302中的指令306以实行)与减少计算机辅助医疗系统的图像中的噪声相关联的各种操作,诸如指导成像设备捕获伪暗帧图像并根据伪暗帧图像来确定噪声图案。
本文描述了可以由处理系统106(例如,由处理系统106的处理设施304)实行的这些和其他说明性操作。在下面的描述中,对由处理系统106实行的功能的任何引用可以被理解为由处理设施304基于存储在存储设施302中的指令306来实行。
图4示出成像设备102和图像处理系统104的说明性配置400。在该示例中,图像处理系统104包括处理系统106的实现方式并且可以实行处理系统106的功能。图像处理系统104可以指导成像设备102捕获一个或多个伪暗帧图像402(例如,伪暗帧图像402-1到402-N)。在一些示例中,图像处理系统104可以在成像设备102的初始化过程期间指导成像设备102捕获(一个或多个)伪暗帧图像402。例如,在将成像设备102耦连到图像处理系统104时,成像设备102可以经历包括任何合适的初始化程序的初始化过程,诸如校准成像设备102的其他参数和初始化成像设备102的传感器。在初始化过程期间,图像处理系统104可以指导成像设备102在一段时间段内(例如,大约三到五秒)捕获一个或多个伪暗帧图像402。作为一个示例,成像设备102可以在三秒的时间段内捕获一组90个伪暗帧图像402。可以使用任何其他合适的时间段,诸如用于捕获任何合适数量的伪暗帧图像402的时间段。作为一个示例,成像设备102可以被配置为每秒捕获60帧。在这样的示例中,如果使用一组120个伪暗帧图像402来确定噪声图案,则图像处理系统104可以指导成像设备102捕获伪暗帧图像达2秒。
成像设备102可以将一组伪暗帧图像402传输到图像处理系统104。图像处理系统104可以处理一组伪暗帧图像402以确定(例如,CFPN的)噪声图案。图像处理系统104可以诸如通过从由成像设备捕获的一个或多个附加图像中去除噪声图案而基于噪声图案来实行一个或多个操作。可以在初始化时段之后在成像设备的照明开启并且不使用最小曝光时间的情况下捕获附加图像。
例如,图像处理系统104可以通过以确定噪声图案的任何合适方式(例如,确定一组伪暗帧图像402的平均量值)组合一组伪暗帧图像402而从伪暗帧图像402确定噪声图案。通过使用一组伪暗帧图像402,由伪暗帧图像402中捕获的环境中的任何元素(诸如镜面光、光的反射、明亮物体等)引起的每个伪暗帧图像与真实暗帧图像之间的差异可以被减轻。基于噪声图案,图像处理系统104可以通过从附加图像中减去噪声图案来实行从由成像设备102捕获的附加图像中去除噪声图案。
另外或替代地,图像处理系统104可以通过对一组伪暗帧图像402(和/或伪暗帧图像402的组合)应用高频滤波器404而从伪暗帧图像402确定噪声图案。例如,图像处理系统104可以对每个伪暗帧图像402应用分解以生成低频图像和高频分量。由于CFPN被携带在高频分量中,因此图像处理系统104可以过滤高频分量并且(例如,使用金字塔表示算法或任何其他合适的算法)对高频分量应用列噪声估计器以确定CFPN的噪声图案406。高频分量中携带的CFPN的特性可以被分离为每个BGGR单独通道中的CFPN的量值和相位。另外或替代地,可以针对每个单独列检测特定频率的CFPN的量值和相位。基于所确定的噪声图案,图像处理系统104可以执行从由成像设备102捕获的附加图像中去除噪声图案。例如,在确定每个子通道或列位置处的CFPN的相位和幅度之后,CFPN校正内核可以使用这些参数从附加图像(例如,包括拜耳图像数据)中去除CFPN分量。对于任何像素位置,从原始数据中减去正相位CFPN,并将负相位CFPN被添加到原始数据中。另外或替代地,图像处理系统104可以在图像处理流水线的任何合适的阶段实行从附加图像去除噪声图案。例如,噪声图案可以被用于在对彩色和非彩色噪声进行去马赛克之后确定附加图像的噪声特性。另外或替代地,噪声图案可以被用于在颜色校正矩阵和/或色调映射和伽玛校正之后确定附加图像的彩色/非彩色噪声特性。高频分量的检测/校正的相同方法也可以被用于其他类型的噪声图案的检测和校正,诸如水平固定图案噪声(或“行固定图案噪声”(RFPN))、径向固定噪声图案,和/或固定噪声的任何其他几何图案。另外,本文描述的系统和方法可以被应用于检测和校正缺陷像素的固定图案(例如,热像素或缺陷像素的任何其他合适图案)。
如果图像包括任何低频照明变化,则在某些情况下使用高频滤波器来确定噪声图案可能会导致倾斜噪声图案。可以在由成像设备102捕获的图像中发现这种低频照明变化,因为成像设备102可以包括在成像设备102的一侧上的灯具或其他照明源。在一侧上的此类光源可能生成平滑(低频)光梯度,而使用高频滤波器可能无法正确地过滤该平滑光梯度,从而导致倾斜噪声图案。然而,由于可以在成像设备102的照明关闭的情况下捕获一组伪暗帧图像402,所以在伪暗帧图像402中发现的光源可能来自其他来源,诸如镜面光源。由于高频滤波器404可以滤除这种镜面光源,因此可以避免这种倾斜的噪声图案。因此,通过将高频滤波器404应用于一组伪暗帧图像402,图像处理系统104可以准确地确定噪声图案406。
在一些示例中,图像处理系统104可以在接收到一组伪暗帧图像402之后关闭高频滤波器404的应用。例如,在成像设备102的初始化过程期间,图像处理系统104可以指导成像设备102在一段时间段内捕获一组伪暗帧图像402。图像处理系统104也可以在初始化过程期间应用高频滤波器404,并且基于一组伪暗帧图像402来确定噪声图案406。一旦噪声图案406被确定,图像处理系统104就可以停止对附加图像应用高频滤波器404。相反,图像处理系统104可以使用噪声图案406来处理附加图像并输出CFPN校正图像408。另外或替代地,图像处理系统104还可以以任何合适的方式处理CFPN校正图像408。
以此方式,由于可以在成像设备102的初始化过程期间确定噪声图案406,因此图像处理系统104可以被配置为减少由任何特定噪声图案生成的噪声,而无需中断成像设备102的用户的工作流程。例如,使用者不必在捕获真实暗帧图像以进行降噪的程序期间物理地遮盖成像设备102的镜头,并且然后在完成降噪之后揭开镜头。作为另一示例,用户可能在医疗程序期间遇到特定的第一成像设备102的问题。用户因此可以切换到第二成像设备102,将第一成像设备102与图像处理系统104断开并且将第二成像设备102连接到图像处理系统104。这种配置的改变可能导致不同的第二噪声图案406。但是,由于图像处理系统104被配置为在第二成像设备102的初始化期间确定第二噪声图案406,因此用户可以在第二成像设备102初始化后继续进行医疗程序,而不必实行第二成像设备102的任何单独的CFPN特定校准。
在一些示例中,成像设备102可以包括传感器,这些传感器包括被配置成不接收输入的像素子集。例如,成像设备102可以包括黑线像素的列和/或行,这些黑线像素的列和/或行可以用于校准成像设备102的黑等级(black level)。图像处理系统104还可以被配置为附加地或替代地基于黑线像素的输出来确定噪声图案406。例如,黑线像素的输出可以提供类似于真实暗帧图像的信息。因此,图像处理系统104可以使用黑线像素输出作为暗帧图像(或一组暗帧图像)来确定噪声图案406。另外或替代地,除了伪暗帧图像402之外,图像处理系统104还可以使用黑线像素输出作为用于确定噪声图案406的附加信息。
图5示出计算机辅助医疗系统的计算设备的说明性方法500。虽然图5示出根据一个实施例的说明性操作,但是其他实施例可以对图5中所示的任何操作进行省略、添加、重新排序、组合和/或修改。图5所示的操作中的一个或多个可以由计算设备来实行,该计算设备诸如为处理系统106、图像处理系统104、其中包括的任何部件和/或其任何实施方式。
在操作502中,计算设备可以指导成像设备捕获成像设备的环境的一个或多个伪暗帧图像。可以以本文描述的任何方式来实行操作502。
在操作504中,计算设备可以确定与成像设备和图像处理系统的耦连相关联的一组一个或多个伪暗帧图像内的噪声图案。可以以本文描述的任何方式来实行操作504。
在操作506中,计算设备可以基于噪声图案来实行操作。可以以本文描述的任何方式来实行操作506。
例如,操作506可以包括操作508,其中计算设备可以基于噪声图案来处理由成像设备捕获的附加图像。可以以本文描述的任何方式来实行操作506。
另外或替代地,操作506可以包括操作510,其中计算设备可以向图像处理系统传输噪声图案以用于处理由成像设备捕获的附加图像。可以以本文描述的任何方式来实行操作510。
图6示出计算机辅助医疗系统的计算设备的说明性方法600。虽然图6示出了根据一个实施例的说明性操作,其他实施例可以对图6中所示的任何操作进行省略、添加、重新排序、组合和/或修改。图6所示的一个或多个操作可以由计算设备来实行,该计算设备诸如为处理系统106、图像处理系统104、其中包括的任何部件和/或其任何实施方式。
在操作602中,计算设备可以确定成像设备是否正在被初始化。例如,成像设备可以在连接到图像处理系统后、在图像处理系统启动后、在用户发起重新初始化请求后等经历初始化。可以以任何合适的方式实行操作602。
如果为“是”,则计算设备可以执行操作604。在操作604中,计算设备可以指导成像设备关闭成像设备的照明(例如,发光二极管(LED)或与成像设备相关联的任何其他光源)。可以以任何合适的方式实行操作604。
在操作606中,计算设备可以指导成像设备设置成像设备的最小曝光时间。可以以任何合适的方式实行操作606。
在操作608中,计算设备可以指导成像设备设置可将图像区分为伪暗帧图像的标志。例如,可以指导成像设备在捕获的图像的元数据中设置标志。可以以任何合适的方式实行操作608。
在操作610中,计算设备可以指导成像设备捕获一个或多个图像。由于可以用最小曝光时间并在关闭照明的情况下捕获图像,所以捕获的图像可以是伪暗帧图像。当计算设备已经指导成像设备设置伪暗帧标记时,捕获的伪暗帧图像可以被如此标记。可以以任何合适的方式实行操作610。
在操作612中,计算设备可以确定接收到的图像是否包括所设置的伪暗帧标记。例如,计算设备可以检查接收到的图像的元数据是否设置有伪暗帧标志。可以以任何合适的方式实行操作612。
如果检测到伪暗帧标志,则计算机设备可以实行操作614。在操作614中,计算设备可以将高频滤波器应用于所捕获的伪暗帧图像。可以以本文描述的任何方式来实行操作614。
在操作616中,计算设备可以基于经滤波的伪暗帧图像来确定和/或更新噪声图案。可以以本文描述的任何方式来实行操作616。
返回参考操作602,如果计算设备确定成像设备没有处于初始化过程中,则计算设备可以实行操作618。在操作618中,计算设备可以指导成像设备打开成像设备的照明(例如,LED)。可以以任何合适的方式实行操作618。
在操作620中,计算设备指导成像设备设置标准曝光时间,诸如自动曝光或任何其他合适的曝光设置。可以以任何合适的方式实行操作620。
然后,如在操作610中,成像设备可以捕获图像,其中捕获的图像没有设置的伪暗帧标志。因此,在操作612中,计算设备可以确定这样捕获的图像不包括设置的伪暗帧标记。因此,计算设备可以实行操作622。
在操作622中,计算设备可以从捕获的图像中减去可从操作616访问(例如,接收、存储、检索)的噪声图案。结果,计算设备可以从在成像设备被初始化之后捕获的图像中减少噪声。可以以任何合适的方式实行操作622。
图7图示说明在其中可以实现图像处理系统104的计算机辅助医疗系统700(“医疗系统700”)的示例。处理系统106可以由医疗系统700实现、连接到医疗系统700和/或以其他方式与医疗系统700结合使用。例如,处理系统106可以由医疗系统700的一个或多个部件来实现。作为另一示例,处理系统106可以由通信地耦连到医疗系统700的独立计算系统来实现。医疗系统700可以被医疗团队用来对患者执行计算机辅助医疗程序。
如图7所示,医疗系统700包括支撑显示器704和器械操纵器706的基座702。基座702可以包括适合于支撑显示器704和器械操纵器706的任何结构或组件。显示器704可以向医疗系统700的操作者显示图形内容,诸如由插入患者解剖体中的视觉探测器(例如,成像设备102的实施方式)捕获的图像、患者解剖体的渲染图像、导航引导等。显示器704通过臂708附接至基座702,臂708可以包括用于支撑显示器704的任何结构或组件,使得显示器704可由医疗系统700的操作者查看。
器械操纵器706通过设置关节(setup joint)710附接到基座702。设置关节710可以包括支撑器械操纵器706并允许器械操纵器706被适当地定位以有利于在患者解剖体中插入和控制细长柔性器械的任何结构或组件。为此,设置关节710可以包括可移动零件、关节、制动器等,其被配置为有利于器械操纵器706和细长柔性器械相对于患者解剖体的适当定位。
器械操纵器706可以被配置为操纵细长柔性器械712,包括将细长柔性器械712插入患者解剖体中。为此,柔性器械操纵器706可以包括一个或多个致动器,诸如一个或多个伺服电机(未示出),其被配置为进行致动以使细长柔性器械712的近端连接到的滑架714沿着插入轴线平移。
引导设备716可以由医疗系统700实现。例如,引导设备716可以被安装到安装或对接翼梁718,该安装或对接翼梁718被附接到设置接头710。如图所示,引导设备716和对接翼梁718被定位在滑架714的远侧。引导设备716和对接翼梁718可以被定位在患者解剖体附近,并且引导设备716可以在插入患者解剖体期间引导细长柔性器械712。
图像处理系统104和/或处理系统106可以由医疗系统700实现或通信地耦连到医疗系统700,并且可以被配置为实行本文描述的操作中的一个或多个以指导定位在细长柔性器械712的远端处的成像设备捕获成像设备的环境的图像并以本文描述的任何方式处理所捕获的图像。另外或替代地,图像处理系统104和/或处理系统106可以被配置为指导通过细长柔性器械712的工作通路插入的成像设备来捕获成像设备的环境的图像并且以本文描述的方式中任一方式处理所捕获的图像。由于细长柔性器械712的工作通路可能相对较小(例如,2毫米),因此成像设备可以被配置为足够小以适配在工作通路内。经由电缆向成像设备传输数据以及传输来自成像设备的数据以及在图像处理系统104和/或处理系统106上执行图像处理可以允许成像设备的如此小的配置。
图8示出在其中可以实现图像处理系统104的另一说明性计算机辅助医疗系统800(“医疗系统800”)。处理系统106可以由医疗系统800实现、连接到医疗系统800和/或以其他方式与医疗系统800结合使用。例如,处理系统106可以由医疗系统800的一个或多个部件来实现,所述部件诸如为操纵系统、用户控制系统或辅助系统。作为另一示例,处理系统106可以由通信地耦连到医疗系统800的独立计算系统来实现。
如图所示,医疗系统800可以包括相互通信地耦连的操纵系统802、用户控制系统804和辅助系统806。医疗系统800可以被医疗团队用来对患者808执行计算机辅助医疗程序。如图所示,医疗团队可以包括外科医生810-1、助理810-2、护士810-3和麻醉师810-4,所有这些人可以被统称为“医疗团队成员810”。在医疗疗程期间可能存在额外的或可替代的医疗团队成员。
虽然图8说明了正在进行的微创医疗程序,但是应当理解,医疗系统800可以类似地被用于实行开放式医疗程序或实行可以类似地受益于医疗系统800的准确性和便利性的其他类型的外科程序。另外,应当理解,可以采用医疗系统800的整个医疗疗程可以不仅包括如图8所示的医疗程序的操作阶段,而且也可以包括医疗程序的术前阶段(其可以包括医疗系统800的设置)、术后阶段和/或其他合适的阶段。
如图8所示,操纵系统802可以包括多个操纵器臂812(例如,操纵器臂812-1至812-4),多个医疗器械可以耦连到多个操纵器臂812。每个医疗器械可以通过任何合适的医疗工具(例如,具有组织相互作用功能的工具)、医疗工具、成像设备(例如,内窥镜、超声工具等)、感测器械(例如,力感测医疗器械)、诊断器械或者可用于对患者808实行计算机辅助医疗程序(例如,通过至少部分地插入患者808体内并且被操纵以对患者808实行计算机辅助医疗程序)的类似物来实现。虽然操纵系统802在本文中被描绘和描述为包括四个操纵器臂812,但是应当认识到,操纵系统802可以仅包括单个操纵器臂812或者如可以服务于特定实现方式的任何其他数量的操纵器臂。
操纵器臂812和/或附接至操纵器臂812的医疗器械可以包括用于生成原始(即未校正的)运动学信息的一个或多个位移换能器、定向传感器和/或方位传感器。医疗系统800的一个或多个部件可以被配置为使用该运动学信息来跟踪医疗器械以及连接到器械和/或臂的任何物体(例如,确定其姿势)和/或控制医疗器械以及连接到器械和/或臂的任何物体。
用户控制系统804可以被配置成有利于外科医生810-1控制操纵器臂812和附接到操纵器臂812的医疗器械。例如,外科医生810-1可以与用户控制系统804交互以远程移动或操纵操纵器臂812和医疗器械。为此,用户控制系统804可以向外科医生810-1提供由成像系统(例如,诸如内窥镜的成像设备)捕获的与患者808相关联的手术部位的影像(例如,高清3D影像)。在某些示例中,用户控制系统804可以包括具有两个显示器的立体查看器,在立体查看器中,外科医生810-1可以查看与患者808相关联的并由立体成像系统生成的手术部位的立体图像。外科医生810-1可以利用由用户控制系统804显示的影像来通过附接至操纵器臂812的一个或多个医疗器械实行一个或多个程序。
为了便于控制医疗器械,用户控制系统804可以包括一组主控制件。这些主控制件可以由外科医生810-1(例如,通过利用机器人和/或远程操作技术)操纵以控制医疗器械的移动。主控制件可以被配置为检测外科医生810-1进行的各种手、手腕和手指移动。以此方式,外科医生810-1可以使用一个或多个医疗器械直观地实行程序。
辅助系统806可以包括被配置为执行医疗系统800的处理操作的一个或多个计算设备。在这样的配置中,被包含在辅助系统806中的一个或多个计算设备可以控制和/或协调由医疗系统800的各种其他部件(例如,操纵系统802和用户控制系统804)实行的操作。例如,用户控制系统804中包含的计算设备可以通过辅助系统806中包含的一个或多个计算设备向操纵系统802传输指令。作为另一示例,辅助系统806可以接收并处理表示由附接至操纵系统802的一个或多个成像设备捕获的影像的图像数据。
在一些示例中,辅助系统806可以被配置为向可能无权访问在用户控制系统804处提供给外科医生810-1的图像的医疗团队成员810呈现视觉内容。为此,辅助系统806可以包括显示监视器814,该显示监视器814被配置为显示一个或多个用户界面,诸如手术部位的图像、与患者808和/或医疗程序相关联的信息和/或如可以服务于特定实施方式的任何其他可视内容。例如,显示监视器814可以显示手术部位的图像以及与图像同时显示的附加内容(例如,图形内容、背景信息等)。在一些实施例中,显示监视器814由触摸屏显示器实现,医疗团队成员810可以(例如,通过触摸手势)与该触摸屏显示器交互以向医疗系统800提供用户输入。
操纵系统802、用户控制系统804和辅助系统806可以以任何合适的方式彼此通信地耦连。例如,如图8所示,操纵系统802、用户控制系统804和辅助系统806可以通过控制线816通信地耦连,控制线816可以表示可以服务于特定实施方式的任何有线或无线通信链路。为此,操纵系统802、用户控制系统804和辅助系统806可以各自包括一个或多个有线或无线通信接口,诸如一个或多个局域网接口、Wi-Fi网络接口、蜂窝接口等。
图像处理系统104和/或处理系统106可以由医疗系统800实现或通信地耦连到医疗系统800,并且可以被配置为实行本文描述的操作中的一个或多个以指导定位于耦连到操纵器臂812的器械的远端处的成像设备捕获成像设备的环境的图像并且以本文描述的任何方式处理捕获的图像。
在一些示例中,可以根据本文描述的原理来提供存储计算机可读指令的非暂时性计算机可读介质。当由计算设备的处理器执行时,指令可以指导处理器和/或计算设备实行一个或多个操作,包括本文描述的操作中的一个或多个。可以使用多种已知的计算机可读介质中的任一种来存储和/或传输这样的指令。
本文提到的非暂时性计算机可读介质可以包括参与提供可由计算设备(例如,由计算机的处理器)读取和/或执行的数据(例如,指令)的任何非暂时性存储介质。例如,非暂时性计算机可读介质可以包括但不限于非易失性存储介质和/或易失性存储介质的任何组合。示例性的非易失性存储介质包括但不限于只读存储器、闪存、固态驱动器、磁存储设备(例如硬盘、软盘、磁带等)、铁电随机存取存储器(“RAM”)和光盘(例如,压缩光盘、数字视频光盘、蓝光光盘等)。说明性的易失性存储介质包括但不限于RAM(例如动态RAM)。
图9示出可以被具体配置为实行本文描述的过程中的一个或多个过程的说明性计算设备900。本文描述的任何系统、单元、计算设备和/或其他部件都可以实现计算设备900或由计算设备900实现。
如图9所示,计算设备900可以包括经由通信基础设施910彼此通信地连接的通信接口902、处理器904、存储设备906和输入/输出(“I/O”)模块908。虽然图9中示出了示例性计算设备900,但是图9中示出的部件不旨在作为限制。附加或替代部件可以被用在其他实施例中。图9中所示的计算设备900的部件现在将被更详细地描述。
通信接口902可以被配置为与一个或多个计算设备通信。通信接口902的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器、音频/视频连接和任何其他合适的接口。
处理器904一般表示任何类型或形式的处理单元,该处理单元能够处理数据和/或解释、执行本文描述的指令、过程和/或操作中的一个或多个,和/或指导本文描述的指令、过程和/或操作中的一个或多个的执行。处理器904可以通过执行存储在存储设备906中的计算机可执行指令912(例如,应用程序、软件、代码和/或其他可执行数据实例)来实行操作。
存储设备906可以包括一个或多个数据存储介质、设备或配置,并且可以采用数据存储介质和/或设备的任何类型、形式和组合。例如,存储设备906可以包括但不限于本文描述的非易失性介质和/或易失性介质的任何组合。电子数据(包括本文描述的数据)可以被临时地和/或永久地存储在存储设备906中。例如,表示被配置为指导处理器904实行本文描述的任何操作的计算机可执行指令912的数据可以被存储在存储设备906内。在一些示例中,数据可以被布置在驻留于存储设备906内的一个或多个数据库中。
I/O模块908可以包括被配置为接收用户输入并提供用户输出的一个或多个I/O模块。I/O模块908可以包括支持输入和输出能力的任何硬件、固件、软件或其组合。例如,I/O模块908可以包括用于捕获用户输入的硬件和/或软件,包括但不限于键盘或小键盘、触摸屏部件(例如触摸屏显示器)、接收器(例如RF或红外接收器)、运动传感器和/或一个或多个输入按钮。
I/O模块908可以包括用于向用户呈现输出的一个或多个设备,包括但不限于图形引擎、显示器(例如,显示屏)、一个或多个输出驱动器(例如,显示驱动器)、一个或多个音频扬声器以及一个或多个音频驱动器。在某些实施例中,I/O模块908被配置为向显示器提供图形数据以便呈现给用户。图形数据可以是代表一个或多个图形用户界面和/或可服务于特定实现方式的任何其他图形内容。
在一些示例中,本文描述的任何系统、模块和/或设施可以由计算设备900的一个或多个部件实现或者在计算设备900的一个或多个部件内实现。例如,驻留于存储设备906内的一个或多个应用程序可以被配置为指导处理器904的实现方式来实行与处理系统106和/或图像处理系统104相关联的一个或多个操作或功能。
任何系统、设备和/或其部件都可以以任何合适的组合或子组合来实现。例如,任何系统、设备和/或其部件都可以被实现为被配置为实行本文描述的操作中的一个或多个操作的装置。
在本说明书中,已经描述了各种说明性实施例。然而,显而易见的是,在不脱离所附权利要求中阐述的本发明的范围的情况下,可以对其进行各种修改和改变,并且可以实现另外的实施例。例如,本文描述的一个实施例的某些特征可以与本文描述的另一实施例的特征进行组合或被其替代。因此,说明书和附图应被视为是说明性的而非限制性的。
Claims (55)
1.一种方法,包括:
通过计算设备指导成像设备捕获所述成像设备的环境的伪暗帧图像;
由所述计算设备确定与所述成像设备和图像处理系统的耦连相关联的所述伪暗帧图像内的噪声图案;以及
由所述计算设备基于所述噪声图案实行操作。
2.根据权利要求1所述的方法,其中实行所述操作包括将所述噪声图案传输到所述图像处理系统以用于处理由所述成像设备捕获的附加图像。
3.根据权利要求1所述的方法,其中:
所述图像处理系统包括所述计算设备;并且
所述实行所述操作包括基于所述噪声图案处理由所述成像设备捕获的附加图像。
4.根据权利要求3所述的方法,其中由所述成像设备捕获的所述附加图像包括捕获的与所述环境不同的附加环境的图像。
5.根据权利要求1所述的方法,其中指导所述成像设备捕获所述伪暗帧图像包括指导所述成像设备使用所述成像设备的最小曝光时间来捕获所述成像设备的所述环境的图像。
6.根据权利要求1所述的方法,其中指导所述成像设备捕获所述伪暗帧图像还包括指导所述成像设备在捕获所述伪暗帧图像时关闭所述成像设备的照明。
7.根据权利要求1所述的方法,还包括由所述计算设备指导所述成像设备捕获所述成像设备的所述环境的一组伪暗帧图像,所述一组伪暗帧图像包括所述伪暗帧图像;并且
其中确定所述噪声图案包括对所述一组伪暗帧图像应用高频滤波器。
8.根据权利要求7所述的方法,其中指导所述成像设备捕获所述一组伪暗帧图像包括:在所述成像设备的初始化过程期间,指导所述成像设备在一段时间段内捕获所述一组伪暗帧图像。
9.根据权利要求8所述的方法,其中所述时间段具有在大约三秒至五秒之间的持续时间。
10.根据权利要求8所述的方法,其中确定所述噪声图案包括在所述成像设备的所述初始化过程期间确定所述噪声图案。
11.根据权利要求1所述的方法,其中:
实行所述操作包括从由所述成像设备捕获的附加图像中去除所述噪声图案;
所述伪暗帧图像是在所述成像设备的照明被关闭且未遮盖所述成像设备的镜头的情况下被捕获的;并且
所述附加图像是在所述成像设备的照明开启的情况下被捕获的。
12.根据权利要求1所述的方法,其中:
所述成像设备处于细长柔性器械的管腔中并且能够从所述管腔移除;或者
所述成像设备与所述细长柔性器械集成在一起。
13.根据权利要求1所述的方法,其中所述成像设备经由电缆被耦连到所述图像处理系统,并且所述电缆的长度为至少0.5米。
14.根据权利要求1所述的方法,其中与所述成像设备和所述图像处理系统的耦连相关联的所述噪声图案由以下各项中的至少一个引起:
所述成像设备的特性;
所述图像处理系统的特性;或者
将所述成像设备耦连到所述图像处理系统的电缆的特性。
15.一种系统,其包括:
成像设备接口;和
处理器,所述处理器被配置成:
在成像设备被耦连到所述成像设备接口之后,指导所述成像设备捕获所述成像设备的环境的伪暗帧图像;
确定与所述系统和耦连到所述成像设备接口的所述成像设备相关联的所述伪暗帧图像内的噪声图案;并且
基于所述噪声图案,处理由耦连到所述成像设备接口的所述成像设备捕获的附加图像。
16.根据权利要求15所述的系统,其中:
所述成像设备经由电缆耦连到所述成像设备接口;并且
所述噪声图案与所述电缆上传输的图像信号和时钟信号相关联。
17.根据权利要求15所述的系统,其中所述成像设备经由电缆耦连到所述成像设备接口,并且所述电缆的长度为至少0.5米。
18.根据权利要求15所述的系统,其中:
所述成像设备的所述环境的所述伪暗帧图像包括所述环境的第一场景的图像;
所述处理器还被配置为指导所述成像设备捕获所述环境的第二场景的所述附加图像,其中所述第二场景不同于所述第一场景。
19.根据权利要求15所述的系统,其中指导所述成像设备捕获所述伪暗帧图像包括指导所述成像设备使用所述成像设备的最小曝光时间来捕获所述成像设备的所述环境的图像。
20.根据权利要求15所述的系统,其中指导所述成像设备捕获所述伪暗帧图像还包括指导所述成像设备在捕获所述伪暗帧图像时关闭所述成像设备的照明。
21.根据权利要求20所述的系统,其中所述附加图像是在所述成像设备的照明开启的情况下被捕获的。
22.根据权利要求15所述的系统,其中:
所述处理器还被配置成指导所述成像设备捕获所述成像设备的所述环境的一组伪暗帧图像,所述一组伪暗帧图像包括所述伪暗帧图像;并且
确定所述噪声图案包括对所述一组伪暗帧图像应用高频滤波器。
23.根据权利要求22所述的系统,其中指导所述成像设备捕获所述一组伪暗帧图像包括:在所述成像设备的初始化过程期间指导所述成像设备在一段时间段内捕获所述一组伪暗帧图像。
24.根据权利要求23所述的系统,其中所述时间段具有在大约三秒到五秒之间的持续时间。
25.根据权利要求23所述的系统,其中确定所述噪声图案包括在所述成像设备的所述初始化过程期间确定所述噪声图案。
26.根据权利要求15所述的系统,其中:
所述成像设备处于细长柔性器械的管腔中并且能够从所述管腔移除;或者
所述成像设备与所述细长柔性器械集成在一起。
27.根据权利要求15所述的系统,其中与所述成像设备和所述图像处理系统的耦连相关联的所述噪声图案由以下各项中的至少一个引起:
所述成像设备的特性;
所述图像处理系统的特性;或者
将所述成像设备耦连到所述图像处理系统的电缆的特性。
28.一种装置,其包括:
一个或多个处理器;和
存储器,其存储可执行指令,所述可执行指令在被所述一个或多个处理器执行时使所述装置:
指导成像设备捕获所述成像设备的环境的一组一个或多个伪暗帧图像;
确定与所述成像设备与图像处理系统的耦连相关联的所述一组一个或多个伪暗帧图像内的噪声图案;并且
提供所述噪声图案以用于处理由所述成像设备捕获的附加图像。
29.根据权利要求28所述的装置,其由所述图像处理系统实现,其中:
提供所述噪声图案包括将所述噪声图案存储在所述存储器中;并且
所述指令在被所述一个或多个处理器执行时还使得所述装置基于所述噪声图案来处理所述附加图像。
30.根据权利要求28所述的装置,其中提供所述噪声图案包括将所述噪声图案传输到所述图像处理系统。
31.根据权利要求28所述的装置,其中由所述成像设备捕获的所述附加图像包括捕获的与所述环境不同的附加环境的图像。
32.根据权利要求28所述的装置,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像包括指导所述成像设备使用所述成像设备的最小曝光时间来捕获所述成像设备的所述环境的一个或多个图像。
33.根据权利要求28所述的装置,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像还包括指导所述成像设备在捕获所述一个或多个伪暗帧图像时关闭所述成像设备的照明。
34.根据权利要求33所述的装置,其中:
所述一组一个或多个伪暗帧图像是在没有覆盖所述成像设备的镜头的情况下被捕获的;并且
所述附加图像在所述成像设备的照明打开的情况下被捕获的。
35.根据权利要求28所述的装置,其中确定所述噪声图案包括将高频滤波器应用于所述一组一个或多个伪暗帧图像。
36.根据权利要求28所述的装置,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像包括:指导所述成像设备在所述成像设备的初始化过程期间在一段时间段内捕获所述一组一个或多个伪暗帧图像。
37.根据权利要求36所述的装置,其中所述时间段具有在大约三秒至五秒之间的持续时间。
38.根据权利要求36所述的装置,其中确定所述噪声图案包括在所述成像设备的初始化过程期间确定所述噪声图案。
39.根据权利要求28所述的装置,其中:
所述成像设备处于细长柔性器械的管腔中并且能够从所述管腔移除;或者
所述成像设备与所述细长柔性器械集成在一起。
40.根据权利要求28所述的装置,其中所述成像设备与所述图像处理系统的耦连是经由长度为至少0.5米的电缆进行的。
41.根据权利要求28所述的装置,其中与所述成像设备和所述图像处理系统的耦连相关联的所述噪声图案由以下各项中的至少一项引起的:
所述成像设备的特性;
所述图像处理系统的特性;或者
将所述成像设备耦连到所述图像处理系统的电缆的特性。
42.一种存储指令的非暂时性计算机可读介质,所述指令能够由处理器执行以:
指导成像设备捕获所述成像设备的环境的一组一个或多个伪暗帧图像;
确定与所述成像设备与图像处理系统的耦连相关联的所述一组一个或多个伪暗帧图像内的噪声图案;并且
提供所述噪声图案以用于处理由所述成像设备捕获的附加图像。
43.根据权利要求42所述的非暂时性计算机可读介质,其中:
提供所述噪声图案包括将所述噪声图案存储在存储器中;并且
所述指令在被执行时进一步导致所述处理器基于所述噪声图案处理所述附加图像。
44.根据权利要求42所述的非暂时性计算机可读介质,其中提供所述噪声图案包括将所述噪声图案传输到所述图像处理系统。
45.根据权利要求42所述的非暂时性计算机可读介质,其中由所述成像设备捕获的所述附加图像包括捕获的与所述环境不同的附加环境的图像。
46.根据权利要求42所述的非暂时性计算机可读介质,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像包括指导所述成像设备使用所述成像设备的最小曝光时间捕获所述成像设备的所述环境的一个或多个图像。
47.根据权利要求42所述的非暂时性计算机可读介质,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像还包括指导所述成像设备在捕获所述一个或多个伪暗帧图像时关闭所述成像设备的照明。
48.根据权利要求47所述的非暂时性计算机可读介质,其中:
所述一组一个或多个伪暗帧图像是在不覆盖所述成像设备的镜头的情况下被捕获的;并且
所述附加图像是在所述成像设备的照明打开的情况下被捕获的。
49.根据权利要求42所述的非暂时性计算机可读介质,其中确定所述噪声图案包括将高频滤波器应用于所述一组一个或多个伪暗帧图像。
50.根据权利要求42所述的非暂时性计算机可读介质,其中指导所述成像设备捕获所述一组一个或多个伪暗帧图像包括指导所述成像设备在所述成像设备的初始化过程期间的一段时间段内捕获所述一组一个或多个伪暗帧图像。
51.根据权利要求50所述的非暂时性计算机可读介质,其中所述时间段具有在大约三秒到五秒之间的持续时间。
52.根据权利要求50所述的非暂时性计算机可读介质,其中确定所述噪声图案包括在所述成像设备的所述初始化过程期间确定所述噪声图案。
53.根据权利要求42所述的非暂时性计算机可读介质,其中:
所述成像设备处于细长柔性器械的管腔中并且能够从所述管腔移除;或者
所述成像设备与所述细长柔性器械集成在一起。
54.根据权利要求42所述的非暂时性计算机可读介质,其中所述成像设备与所述图像处理系统的耦连是经由长度为至少0.5米的电缆进行的。
55.根据权利要求42所述的非暂时性计算机可读介质,其中与所述成像设备和所述图像处理系统的耦连相关联的所述噪声图案由以下各项中的至少一个引起:
所述成像设备的特性;
所述图像处理系统的特性;或者
将所述成像设备耦连到所述图像处理系统的电缆的特性。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163176815P | 2021-04-19 | 2021-04-19 | |
US63/176,815 | 2021-04-19 | ||
PCT/US2022/025371 WO2022225947A1 (en) | 2021-04-19 | 2022-04-19 | Systems and methods for reducing noise in imagery in a computer-assisted medical system |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117062561A true CN117062561A (zh) | 2023-11-14 |
Family
ID=81927692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280023240.6A Pending CN117062561A (zh) | 2021-04-19 | 2022-04-19 | 用于减少计算机辅助医疗系统中的影像中的噪声的系统和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240188795A1 (zh) |
CN (1) | CN117062561A (zh) |
WO (1) | WO2022225947A1 (zh) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4171347B2 (ja) * | 2003-05-19 | 2008-10-22 | 日本放送協会 | 撮影カメラ特定装置及び撮影カメラ特定方法 |
JP5521460B2 (ja) * | 2009-09-18 | 2014-06-11 | ソニー株式会社 | 撮像装置および方法、電子機器、並びにプログラム |
BR112015022944A2 (pt) * | 2013-03-15 | 2017-07-18 | Olive Medical Corp | calibração com o uso de tampa distal |
JP2015126367A (ja) * | 2013-12-26 | 2015-07-06 | キヤノン株式会社 | 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置 |
US11187657B2 (en) * | 2019-06-20 | 2021-11-30 | Cilag Gmbh International | Hyperspectral imaging with fixed pattern noise cancellation |
-
2022
- 2022-04-19 CN CN202280023240.6A patent/CN117062561A/zh active Pending
- 2022-04-19 US US18/286,873 patent/US20240188795A1/en active Pending
- 2022-04-19 WO PCT/US2022/025371 patent/WO2022225947A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
US20240188795A1 (en) | 2024-06-13 |
WO2022225947A1 (en) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6586211B2 (ja) | プロジェクションマッピング装置 | |
US20170366773A1 (en) | Projection in endoscopic medical imaging | |
CN106572887B (zh) | X射线套件中的图像整合和机器人内窥镜控制 | |
JP5486432B2 (ja) | 画像処理装置、その作動方法およびプログラム | |
WO2006114935A1 (ja) | 内視鏡形状検出装置 | |
US11944265B2 (en) | Medical imaging systems and methods | |
JP2006320427A (ja) | 内視鏡手術支援システム | |
WO2020095987A2 (en) | Medical observation system, signal processing apparatus, and medical observation method | |
US20240315562A1 (en) | Medical imaging systems and methods | |
US20220215539A1 (en) | Composite medical imaging systems and methods | |
JP7385731B2 (ja) | 内視鏡システム、画像処理装置の作動方法及び内視鏡 | |
JP2006223850A (ja) | 電子内視鏡システム | |
JP4749703B2 (ja) | 内視鏡挿入形状検出装置 | |
US20240188795A1 (en) | Systems and methods for reducing noise in imagery in a computer-assisted medical system | |
JP7456385B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2018152657A (ja) | 医療画像表示装置、医療情報処理システム、及び医療画像表示制御方法 | |
JP2018157918A (ja) | 手術用制御装置、制御方法、手術システム、およびプログラム | |
US20240285157A1 (en) | Medical observation system, information processing apparatus, and information processing method | |
US20240090759A1 (en) | Medical observation device, observation device, observation method, and adapter | |
US11533419B2 (en) | Imaging apparatus, image sensor unit, camera unit, and control method for determining and updating correction data | |
JPWO2018088236A1 (ja) | 画像処理装置および方法、並びにプログラム | |
US20230032791A1 (en) | Measuring method and a measuring device | |
US20240016364A1 (en) | Surgery system, surgery control device, control method, and program | |
CN111989026B (zh) | 内窥镜装置、内窥镜装置的工作方法及记录介质 | |
US20230277035A1 (en) | Anatomical scene visualization systems and methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |