CN109793486A - 改进的声带频闪摄影检查 - Google Patents

改进的声带频闪摄影检查 Download PDF

Info

Publication number
CN109793486A
CN109793486A CN201811368146.6A CN201811368146A CN109793486A CN 109793486 A CN109793486 A CN 109793486A CN 201811368146 A CN201811368146 A CN 201811368146A CN 109793486 A CN109793486 A CN 109793486A
Authority
CN
China
Prior art keywords
frame
pulse
subset
module
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811368146.6A
Other languages
English (en)
Other versions
CN109793486B (zh
Inventor
P·H·A·博斯
T·金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carle Storz Image Co Ltd
Original Assignee
Carle Storz Image Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/814,779 external-priority patent/US10499803B2/en
Application filed by Carle Storz Image Co Ltd filed Critical Carle Storz Image Co Ltd
Publication of CN109793486A publication Critical patent/CN109793486A/zh
Application granted granted Critical
Publication of CN109793486B publication Critical patent/CN109793486B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/023—Stethoscopes for introduction into the body, e.g. into the oesophagus
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/008—Detecting noise of gastric tract, e.g. caused by voiding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G10L2025/903—Pitch determination of speech signals using a laryngograph
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/66—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for extracting parameters related to health condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Acoustics & Sound (AREA)
  • Physiology (AREA)
  • Otolaryngology (AREA)
  • Pulmonology (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及一种改进的声带频闪摄影检查。视频喉镜系统包括成像器、音频处理电路、光源、曝光控制器和线增益模块。所述成像器用于使用卷帘快门生成多个视频帧中的第一帧和第二帧。所述音频处理电路用于基于音频信号来确定发声的基频。所述光源用于基于所述基频来生成光的脉冲。所述曝光控制器用于在所述第一帧和所述第二帧期间基于所述基频来调整所述脉冲的持续时间和在时间上的位置。所述线增益模块用于基于所述第一帧和所述第二帧之间的间隙时间以及所述脉冲的持续时间和在时间上的位置，将线增益选择性地至少应用于所述第一帧的一部分和所述第二帧的一部分。

Description

改进的声带频闪摄影检查
相关申请的交叉引用
本申请要求2017年11月16日提交的美国申请序列号15/814,779以及2018年06月26日提交的美国申请序列号16/019,020的优先权，其全部内容通过引用而包含于此。
技术领域
本发明总体涉及医用成像摄影检查的领域，并且更具体地涉及用于检查声带的频闪摄影检查(stroboscope)。
背景技术
视频频闪摄影检查是将视频观察和显示与专门定时的照明组合以评价声带或喉部的功能的医用检查过程。在诸如说话和唱歌等的发声期间，喉部的声襞振动过快使得不能在恒定的照明条件下辨别运动。频闪摄影检查通过使用频闪灯对喉部进行照明来解决该问题。频闪灯按与声襞的振动基频相匹配或略微不同的速率发出闪光，这使得在通过摄影检查观看的情况下，声襞看上去以慢动作运动。然后，检查者可以在患者发出特定声音时观察喉部的运动和功能。
这种频闪摄影喉鼻镜检查通常利用经过鼻子的柔性内窥镜来进行。所使用的内窥镜也可被称为频闪摄影检查喉镜，其中该过程被称为喉频闪摄影检查。频闪摄影检查镜包含光学系统和用于进行检查的观察和记录以供随后回顾的小照相机。
在现有系统中，喉频闪摄影检查的处理通常需要用于检查镜照相机的全局曝光型快门配置，其中频闪灯在振动期间在声带的期望位置处对整个图像传感器阵列进行曝光。然而，包括许多CMOS图像传感器的卷帘快门型图像传感器阵列与全局快门型成像阵列相比可以以比较便宜的价格提供更高分辨率的性能。此外，将如卷帘快门型阵列这样的阵列用在喉频闪摄影检查中将实现现有检查镜平台之间的设计的互操作性，降低成本并增强检查镜的性能。
因此，需要使得能够将卷帘快门型图像传感器更好地用在检查镜中的、用于喉频闪摄影检查的改进的系统和技术。
发明内容
本发明的目的是提供用以利用卷帘快门型检查镜照相机进行频闪摄影喉镜检查的改进的能力。本发明的另一目的是改进从这种检查镜照相机接收到的数据处理。为了实现这些目的，本发明的各方面提供一种用于频闪摄影喉镜的系统、方法、检查镜装置和照相机控制模块装置，以实现能够利用卷帘快门型图像传感器操作的检查镜。通过使频闪灯进行选择性脉冲，选择来自相邻的卷帘快门帧的子集图像数据并将所述子集图像数据组合成新的单个视频帧。将一个或多个增益选择性地应用于这些帧或组合帧以改善视频流的曝光和质量。
根据本发明的第一方面，一种示例性视频喉镜系统包括成像器、音频处理电路、光源、曝光控制器和线增益模块。所述成像器用于使用卷帘快门生成多个视频帧中的第一帧和第二帧。所述音频处理电路用于基于音频信号来确定发声的基频。所述光源基于所述基频来生成光的脉冲。所述曝光控制器用于在所述第一帧和所述第二帧期间基于所述基频来调整所述脉冲的持续时间和在时间上的位置。所述线增益模块用于基于所述第一帧和所述第二帧之间的间隙时间以及所述脉冲的持续时间和在时间上的位置，将线增益选择性地至少应用于所述第一帧的一部分和所述第二帧的一部分。
在其它特征中，所述视频喉镜系统还包括帧增益模块，所述帧增益模块用于基于所述脉冲的持续时间和所述脉冲的期望持续时间，将帧增益选择性地应用于根据所述第一帧的所述部分和所述第二帧的所述部分而生成的组合帧。
在其它特征中，光源用于在所述第一帧和所述第二帧期间生成两个或更多个光的脉冲。在另外的其它特征中，所述第一帧和所述第二帧是相邻帧。
在另外的其它特征中，帧组合模块用于在应用所述线增益之后组合所述第一帧的一部分和所述第二帧的一部分以形成所述组合帧。在其它特征中，输出帧模块用于基于所述帧增益和所述组合帧来生成输出帧。
根据本发明的另一方面，提供一种操作视频喉镜系统的方法。所述方法包括使用卷帘快门生成多个视频帧中的第一帧和第二帧。所述方法基于音频信号来确定发声的基频。所述方法基于所述基频来生成光的脉冲。所述方法在所述第一帧和所述第二帧期间基于所述基频来调整所述脉冲的持续时间和在时间上的位置。所述方法基于所述第一帧和所述第二帧之间的间隙时间以及所述脉冲的持续时间和在时间上的位置，将线增益选择性地至少应用于所述第一帧的一部分和所述第二帧的一部分。
根据本发明的另一方面，提供一种用于检查声带的系统。所述系统包括：频闪摄影喉镜；麦克风；以及照相机控制单元(CCU)，所述照相机控制单元包括电子控制器，所述电子控制器通信地连接至所述频闪摄影喉镜和所述麦克风。显示装置通信地连接至所述CCU以向操作员显示视频。所述CCU的所述电子控制器能够操作以利用所述麦克风测量患者的发声并确定所述发声的基频。在所述患者的发声期间，所述CCU按基于所述发声的基频而选择的定时间隔控制与所述频闪摄影喉镜相关联的发光器的脉冲。所述CCU还控制根据卷帘快门方案从所述频闪摄影喉镜的图像传感器阵列读取图像数据的处理，包括：(a)在相邻的第一图像帧和第二图像帧期间创建两个或更多个发光器脉冲；(b)以时间偏移的方式从所述图像传感器阵列的线读取所述图像数据，使得所述两个或更多个发光器脉冲中的至少两个发光器脉冲各自同时在第一图像帧和第二图像帧两者中对传感器像素进行曝光；以及(c)从所述第一图像帧中选择所述图像数据的第一子集并且从所述第二图像帧中选择所述图像数据的第二子集，所述第二子集包括与所述第一子集不同的帧部分，所述第一子集和所述第二子集包括通过对所述第一图像帧和所述第二图像帧进行同时曝光得到的数据。所述CCU用于组合来自所述第一子集和所述第二子集的图像数据，以基于所述第一图像帧和所述第二图像帧创建组合图像帧以供显示。
一种医用检查镜系统，包括：频闪摄影喉镜；麦克风；照相机控制模块，其包括电子控制器，所述电子控制器通信地连接至所述频闪摄影喉镜和所述麦克风；以及显示装置，其通信地连接至所述照相机控制模块，其中，所述照相机控制模块的所述电子控制器能够操作，以进行：利用所述麦克风测量患者的发声并确定所述发声的基频；在所述患者的发声期间，使所述频闪摄影喉镜的发光器按基于所述发声的基频而选择的定时间隔进行脉冲；根据卷帘快门过程从所述频闪摄影喉镜的图像传感器阵列读取图像数据，包括：(a)在相邻的第一图像帧和第二图像帧期间创建两个或更多个发光器脉冲；(b)以时间偏移的方式从所述图像传感器阵列的线读取所述图像数据，使得所述两个或更多个发光器脉冲中的至少两个发光器脉冲各自同时在所述第一图像帧和所述第二图像帧两者中对传感器像素进行曝光；以及(c)从所述第一图像帧中选择所述图像数据的第一子集并且从所述第二图像帧中选择所述图像数据的第二子集，所述第二子集包括与所述第一子集不同的帧部分，所述第一子集和所述第二子集包括通过对所述第一图像帧和所述第二图像帧进行同时曝光得到的数据；组合来自所述第一子集和所述第二子集的图像数据，以基于所述第一图像帧和所述第二图像帧创建组合图像帧。
在其它特征中，所述照相机控制器模块还能够操作以将第二数字增益值应用于所述组合图像帧，从而补偿由于光的脉冲的定时间隔而造成的曝光变化。
本发明还可被体现为有形的非暂时性计算机可读介质，诸如携载有程序代码的闪存驱动器或硬盘驱动器等，所述程序代码能够由CCU的电子处理器执行以进行本文的步骤。
在本发明的各方面的一些实现中，所述第一子集仅包括读取所述第一图像帧的后半周期中扫描到的数据，并且所述第二子集仅包括读取所述第二图像帧的前半周期中扫描到的数据。
在本发明的各方面的一些实现中，所述功能或处理包括：将数字增益应用于所述第一子集和所述第二子集中的一条或多条线的值，从而补偿所述卷帘快门过程中由于所述第一图像帧和所述第二图像帧之间的间隙时间而产生的曝光丢失。
在各方面的一些实现中，所述功能或处理包括：针对在所述第一图像帧和所述第二图像帧之后的后续图像帧对而重复(a)～(c)，并且将来自后续的第一子集和第二子集的图像数据组合成后续的组合图像帧。还可以包括：创建针对后续图像帧的、根据作为所述发声的基频的倒数的时间周期的整数倍与所述第一图像帧和所述第二图像帧的脉冲在时间上间隔开的后续两个或更多个发光器脉。
在各方面的一些实现中，所述功能或处理包括：按如下序列创建所述两个或更多个发光器脉冲，其中在该序列中，所述发光器脉冲按作为所述发声的基频的倒数的时间周期间隔开，并且在该序列中发生间隙以使得至少一个脉冲部分或完全丢失，从而对图像传感器阵列线进行完全曝光以产生两个子集。这得到以下事实：图像传感器阵列的特定部分与完全曝光的其他部分相比受到较少的曝光。
通过连同附图一起考虑的以下对优选实施例的说明，本发明的这些和其它特征将显而易见。
附图说明
通过本文给出的详细说明和附图，将更全面地理解本发明，并且所述附图仅通过例示方式给出因而并非对本发明做出限制，其中：
图1是示出医用频闪摄影检查系统的设置的图。
图2和图3示出使光源频闪并利用卷帘快门读取图像传感器阵列的处理的时序图。
图4示出用于控制频闪摄影检查系统并处理来自该系统的数据的过程的流程图。
图5是包括医用检查镜、照相机控制模块和电子显示器的示例系统的硬件框图。
图6示出在门控时间期间利用各种示例光脉冲设置使光源频闪的处理的时序图。
图7是图5所示的医用检查镜、照相机控制模块和电子显示器的示例子系统的硬件框图。
图8示出用于控制频闪摄影检查系统并处理来自该系统的数据的另一过程的流程图。
具体实施方式
本发明提供用于频闪摄影喉镜的系统、方法、检查镜装置和照相机控制模块装置，以实现能够利用卷帘快门型图像传感器操作的检查镜。通过对频闪灯进行选择性脉冲，选择来自相邻的卷帘快门帧的子集图像数据并将该子集图像数据组合成新的单个视频帧。
图1是示出根据示例实施例的医用频闪摄影检查系统的设置的图。为了进行检查，患者15优选具有附接至其喉部附近的颈前部或者安装在适合位置的麦克风12，以在检查期间检测患者的发声，例如按照检查者的要求说话和唱出某些音调等。该图示出经过患者的鼻子以沿着颈前部指向喉部和声带的柔性频闪摄影检查喉镜100。作为替代，可以使刚性或柔性检查镜经过嘴以实现相似的视角。检查镜100和麦克风12都通过线缆(通常是数字数据传输线缆)连接至照相机控制单元(CCU)70，该线缆也可以提供电力。CCU 70将控制命令发送至检查镜，并且接收来自检查镜的图像数据以及来自麦克风的音频数据或信号通知。
CCU具有检测声带的基频以生成LED光源的频率的能力，其中该LED光源的频率与声带的音频频率同相。照相机可以是用于内窥镜检查的医疗目的的、具有卷帘快门传感器的近头刚性内窥镜或柔性视频内窥镜。CCU也可以由子模块构成，其中例如显示器或光源是分离的模块。CCU的数据通信链路功能可以分到与检查镜装置进行通信的链路模块中，而图像处理功能可以包括在CCU的照相机控制模块中。
图2和图3示出使光源频闪并利用卷帘快门读取图像传感器阵列的处理的时序图。根据示例实施例，系统根据如图所示的卷帘快门概念生成视频帧。图2的时序图示出检查镜发光器LED的脉冲p0～p4(LED_pulse时间轴)，同时这与根据卷帘快门方案读取传感器阵列线L0～L10有关。线的数量取决于图像传感器的竖直分辨率并且不限于10条线。例如，全HD传感器包括1080条线并且4K传感器包括2160条线。该图示出利用LED脉冲p0～p4进行曝光的两个帧f0和f1。这些脉冲对在所描述的两个帧f0和f1中正在扫描的线进行曝光，因为根据卷帘快门方案在不同的时间开始扫描这些线。以下进一步说明对所扫描到的数据的使用。
如图2和图3所示，这些图包括两个帧f0和f1，然而在选通(strobe)模式中，针对所有帧重复该方案。在对这些帧中的最多一个帧进行曝光的情况下，如图所示存在将这两个帧分离的小间隙，在该间隙处，根据针对各传感器均不同的传感器的具体配置，不对帧进行曝光。如在这些图中示出为两次的，该非曝光区域在线曝光的结束时发生。从一条线到另一条线的移位是由于卷帘快门的结构而发生的，其中在各条帧线曝光时，在这些线彼此之后具有小的移位，并如此地在整个帧上进行滚动。基于患者的声带的音频频率来对底部示出的LED脉冲定时，以对声带进行曝光。通常，如关于以下所述的处理进一步论述的，以所测量到的基频的倒数为时间间隔对脉冲进行选通。
将参考图4的处理来进一步说明图3的图，其中图4示出用于操作频闪摄影检查镜系统的方法的流程图。在处理方框402处，设置如下过程：将麦克风附接至患者的喉部附近的颈前部，或者将麦克风设置在用以检测发声的另一合适位置。将检查镜插入患者的颈前部或鼻子以查看喉部，并且过程开始。
接着，在方框404处，该处理利用麦克风测量患者在检查技师或医生的指导下进行的发声。检查通常包括患者唱出各种音调并进行其它发声。在方框406处，CCU分析音频数据以确定发声的基频。这通常利用对该结果的数字快速傅里叶变换(FFT)和频域分析(例如以找到具有最大功率水平或局部最大值的频率)或者其它合适的频域分析来进行。在方框408处，该处理基于发声的基频来选择用于对检查镜的频闪灯进行脉冲的选通频率或时间序列。通常，选通定时是直接根据基频f确定的，以按1/f进行选通，但这并非限制性的，并且不同的过程除可以分析基频外还可以分析其它特性，并且相应地选择适当的选通序列。
在方框410处，该处理在患者的发声期间利用频闪摄影喉镜观察患者的声带的同时，以连续的方式按基于发声的基频所选择的时间间隔对频闪摄影喉镜的发光器进行脉冲。这样的脉冲请参见图2，其中按基频的倒数对脉冲p0～p4定时(这些脉冲的分离时间为1/f，其中f是测量基频)。如方框410所示，选择脉冲序列，使得利用至少两个脉冲对两个相邻帧进行曝光。通常例如按30fps的帧频使用比所描述的四个更多的脉冲，其中通常成人语音的最低基频或基础频率，对于男性而言为85～180Hz并且对于女性而言为165～255Hz，并且随着发声音调升高，基频变得更高，在较高的基频处，在各帧中将发生多个脉冲。这种选通脉冲的时间周期的占空比可以小于100％。
接着，在方框412处，该处理包括根据卷帘快门处理从频闪摄影喉镜的图像传感器阵列读取图像数据。在图2的所描述的版本中，卷帘快门处理从图像传感器阵列的线读取图像数据，其中帧f0和f1的各线在时间上偏移，使得两个或更多个发光器脉冲中的至少两个发光器脉冲各自同时在相邻的第一帧和第二帧两者中对传感器像素进行曝光。
图3示出使用数据来构造新的组合帧。这在图4的处理方框414中进行，其中该处理从第一帧选择图像传感器数据的第一子集并且从第二帧选择图像传感器数据的第二子集。如方框416所示，选择子集，其中第二子集包括与第一子集不同的帧部分，第一子集和第二子集包括通过对第一帧和第二帧的同时曝光所产生的数据。在图3中示出该情况的示例，其中来自帧f0的第一子集的数据被示出标记为A1，在该版本中其包括来自阵列的后半部分的数据。第二子集A2被示出是从第二帧f1中选择的，其中第二子集的数据来自于阵列的前半部分。
优选地，将图像传感器设置成一帧的最大曝光减去其不能曝光的间隙。由于CCU具有对光源的控制，因此在A1和A2的时间窗外禁止光脉冲，如在图3中可以看出，针对所描述的两个帧，将脉冲p0和p4从规则脉冲序列中省略(如所描述的脉冲上的×所示)。未对线进行曝光的间隙时间导致对帧中的线的不相等曝光。例如，p2的定时使得线5的扫描(f0,l5和f1,l5)未被脉冲p2曝光，因此该处理包括向线5的数据应用增益调整。类似地，脉冲p3可能落在线8的间隙中，并且可以应用调整。为了实现这样的调整，CCU一直跟踪帧线未被曝光的时间(例如，在间隙期间)，并且LED针对各帧线在特定时间段内创建光脉冲。在方框418处组合两个帧的情况下，CCU优选通过向各帧线添加特定数字增益(即，线增益CLINE)来补偿这种曝光丢失。如果没有进行该操作，则将在帧中看见具有更少和更多曝光的线的图样。
如在图2和图3的图上可以看出，卷帘快门型阵列存在以下缺点：各帧中的单个选通无法向单个帧的要曝光并读取的所有线提供足够的曝光。在所描述的处理中，为了具有比仅一个帧减去曝光间隙更长的曝光，将来自两个帧的子集相加到一起。这样提供了虚拟更长的曝光以及从图像传感器得到的真实帧频的一半的新的虚拟帧频。再次参考图4，在方框418处，该处理将来自第一子集A1和第二子集A2的图像传感器数据组合，以基于第一帧和第二帧创建组合帧。CCU将该组合帧作为视频馈送的一部分馈送至显示器，并且还可以将该视频馈送记录至非暂时性存储器。
然后，该处理返回至方框406，在方框406中连续地更新在确定选通速率时采用的基频并继续处理视频流的图像的下一帧。如在图3中可以看出，可以从一个接一个的连续的一系列帧中选择第一子集图像数据A1和第二子集图像数据A2。在优选版本中，利用所描述的脉冲对如图所示的两个相邻帧f0和f1进行曝光，其中提取并组合这些子集数据以形成单个帧，并且剩余数据(在该版本中，不在A1和A2的阴影区域内的所描绘的数据)被丢弃。这针对来自图像传感器的每两个扫描帧产生一个显示帧，从而有效地使来自该传感器的帧频减半。例如，60fps的传感器利用这种方法将产生30fps的视频流。通常，CCU仍将以显示器的刷新速率驱动显示器，该显示器的刷新速率可能高于图像传感器的帧频的一半。图3的系列中的下一帧将是基于f2和f3而不是f1和f2的组合，这是因为帧频将必须均匀地对齐以利用两个半帧再次构建全帧，而不会对帧f0和f1的先前序列产生影响或曝光。注意，该处理仅在对两个帧进行处理以实现组合之后才调整基频，使得在按相同频率选通的状态下对组合帧进行照明。
如可以理解，对于后续的帧，该处理包括：创建针对后续图像帧的、根据作为所述发声的基频的倒数的时间周期的整数倍与所述第一图像帧和所述第二图像帧的脉冲在时间上间隔开的后续两个或更多个发光器脉冲。该处理还可以包括：考虑到后续帧内的脉冲的相对位置将随时间而改变，基于在对后续帧中的卷帘快门读出的各特定线进行曝光时使用的光脉冲的数量来调整应用于图像数据的数字增益。如果发声的基频随时间的经过而改变，则时间周期被调整为新频率的倒数，但仅应用于两个帧的连续对。
如在图3的示例版本中可以看出，第一子集A1仅包括在读取第一帧的后半周期中扫描到的数据，并且第二子集A2仅包括在读取第二帧的前半周期中扫描到的数据。应当理解，在不同帧中，这些半周期的部分可以共享边界图像传感器阵列线，例如从中读取两个子集的数据的所描绘的线L5等。
在一对的两个连续组合帧之间，可以对脉冲的时间间隔进行略微偏移或相位延迟，以允许声带位置在一对帧之间略微偏移，这导致帧序列看起来像是喉频闪摄影检查特有的慢动作运动。
如可以理解，代替局限于全局曝光型快门配置，所描述的处理使得能够利用卷帘快门型图像阵列进行频率同步的声带频闪摄影检查分析。假定摄像头或视频内窥镜在该频闪摄影检查模式期间不移动，这是因为移动将会导致图像的拖尾。
由于数字照相机和频闪装置以及用于信号捕获和处理的相关电路是众所周知的，因此本说明书将特别涉及形成根据本发明的方法和设备的一部分或者更直接地与该方法和设备协作的元件。本文中未具体示出或说明的元件是从本领域内已知的元件中选择的。要说明的实施例的特定方面是以软件形式提供的。考虑到以下资料中的如根据本发明所示并说明的系统，用于本发明的实现的、本文中未具体示出、说明或建议的软件是传统的并且在本领域的普通技术范围内。
参考图5，示出如下示例系统的系统硬件框图，该系统包括医用检查镜100、照相机控制模块70和包含一个或多个显示器的用户接口60，其中该系统是可以实现本文所述的喉频闪摄影检查技术的一个示例硬件设计。该系统中的医用检查镜100是具有连续光模式和选通光模式的双模式频闪摄影喉镜；然而，这并非限制性的，并且本文的特征和技术可以与其它频闪摄影内窥镜一起使用。在所描述的方框中，检查镜100包括光学组件11以及摄像头和手柄28(“摄像头”、“手柄”)，该摄像头和手柄28可以是从检查镜杆可拆卸的，或者如图1的检查镜那样可以是与杆集成的。在其它示例中，检查镜100可以包括具有在杆的远端而不是在摄像头或手柄中的成像器的视频内窥镜。检查镜还可以包括光源8，优选为位于检查镜杆的端部的LED光源，使得该光源8在如图1那样被插入到位时对声带进行照明。
光源8(通常是LED发射器)对对象场景9进行照明。光源8可以包括被配置为在整个期望谱内提供光的单个或多个发光元件。此外，光源8可以包括穿过检查镜的主体的光纤、或者位于检查镜的前方处或附近的其它发光配置(诸如LED或激光二极管等)。光源也可以是外部光源或CCU 70的一部分，该光源为刚性内窥镜提供光。如图所示，从对象场景反射的光10被传递到光学组件11，在该光学组件11中使光向着图像传感器组件汇聚以在固态图像传感器21处形成图像。光学组件11包括至少一个透镜，该至少一个透镜可以是广角透镜元件，使得光学组件11令表示宽视场的光汇聚。光学组件的一部分可以体现在摄像头28中，而其它部分在内窥镜杆中。在本发明的一些实施例中，检查镜手柄28包含控制电子装置，但图像传感器位于检查镜杆本身中且通常向着杆的远端。光学组件11可以包含在具有图像传感器组件的单个成像装置中。图像传感器21通过针对各图片元素(像素)对电荷进行积分来将入射光转换成电气信号。图像传感器21可以是互补金属氧化物半导体有源像素传感器(CMOS APS)或电荷耦合装置(CCD)、或者其它合适的图像传感器。
定时发生器26产生各种时钟信号以选择行和像素，并且根据以上关于图2～图4所述的定时使图像传感器21、模拟信号处理器22和A/D转换器24的操作同步。图像传感器组件通常包括图像传感器21、模拟信号处理器22、A/D转换器24和定时发生器26。如针对CMOS图像传感器的通常做法那样，图像传感器组件的功能元件可被制造为单个集成电路，或者这些功能元件可以是分别制造的集成电路。
通过光源8的强度、光学组件11的孔径、图像传感器21对电荷进行积分的时间以及取决于频闪摄影检查模式中的声带基频的选通脉冲的数量来调节到达图像传感器21的光10的总量。在数字化信号的强度和空间分布与汇聚在图像传感器21上的光的强度和空间分布相对应的情况下，曝光控制器40对场景中可用的光量进行响应。
来自图像传感器21的模拟信号由模拟信号处理器22进行处理并被应用于模数(A/D)转换器24，以对模拟传感器信号进行数字化。将各自表示基于该数据的图像流或图像表示的数字化信号作为图像信号27馈送至图像处理电路30。
图像处理电路30包括用于如根据图4的处理所述地、提取图像数据子集并且组合图像数据子集以创建组合图像帧的电路。这可以在可编程硬件中或者在利用合适的固件(模块)编程的一个或多个数字信号处理内核中进行。图像处理电路30优选包括增益处理模块，该增益处理模块根据本文所述的处理，将数字线增益应用于第一子集和第二子集中的一条或多条线的值，以补偿由于相邻的第一帧和第二帧之间的时间间隙而产生的曝光丢失。如在本领域内已知的，图像处理电路30还包括进行数字图像处理功能以对所接收到的图像进行处理和滤波的电路。
音频处理电路31从在使用时位于患者上或附近的麦克风12接收音频信号。麦克风可以包括A/D转换器以对音频信号进行数字化，或者这种转换可以由CCU的音频处理电路31进行。通常，音频处理电路以DSP或FPGA/协处理器配置实现，并且进行数字快速傅里叶变换(FFT)和频域分析，以测量音频信号中的各频率处的音频功率水平并确定患者发声的基频。这种电路在频闪摄影喉镜的领域内是已知的，并且将不进行进一步说明。通常，在与图像处理电路30相同的装置上实现音频处理电路31。
系统控制器50基于程序存储器54中所存储的软件程序来控制图像捕获装置的整体操作。该存储器还可用于存储用户设置选择以及在关闭照相机时要保存的其它数据。系统控制器50通过指示曝光控制器40设置光源8的强度来控制数据捕获序列，控制光源8在选通模式下的脉冲，控制光学组件11的孔径，并且控制光学组件11中的各种滤波器和获得图像流可能需要的定时。数据总线52包括用于地址、数据和控制信号的通路。
将处理后的图像数据连续发送至视频编码器80，以存储数据供用户稍后回顾该过程用。处理后的图像数据还由显示器控制器82格式化并呈现在图像显示器88上。该显示器通常是利用发光二极管提供背光的液晶显示器(LED LCD)，但是也使用其它类型的显示器。处理后的图像数据也可以存储在系统存储器56或其它的内部或外部存储装置中。
包括全部的图像显示器88、用户输入件64和状况显示器62或其任何组合的用户接口60由在系统控制器50上执行的软件程序的组合控制，从而接收来自用户输入件64和来自位于检查镜手柄28上的按钮的输入。用户输入件64通常包括打字键盘、计算机指点装置、按钮、摇杆开关、操纵杆、旋转拨盘或触摸屏的一些组合。系统控制器50管理在一个或多个显示器上(例如，在图像显示器88上)呈现的图形用户接口(GUI)。特别地，系统控制器50通常具有模式切换用户输入件(通常通过内窥镜或摄像头本身上的可配置按钮实现，但也可能通过GUI接口实现)，并且作为响应，发送命令以基于系统存储器中所存储的预定设置来调整图像处理电路30。优选地，与本文的任何装置设计一起使用的系统提供用以在至少两个模式(连续光模式和选通模式)之间切换的能力。
除系统控制器50和曝光控制器40外，图像处理电路30也是本实施例中的三个可编程逻辑装置、处理器或控制器其中之一。图像处理电路30、控制器50、曝光控制器40、系统存储器56和程序存储器54、视频编码器80以及显示器控制器82可以容纳在照相机控制单元(CCU)70内。
CCU 70可以负责对光源8、图像传感器组件和/或光学组件11进行供电和控制，并且可以从检查镜100上的按钮直接地供电和接收信号，或者在这些按钮经由摄像头中的控制器(诸如模拟信号处理器等)传递信号的情况下间接供电和接收信号。这种电源和控制连接没有单独进行说明，但通常将包含在具有数据连接27的单个柔性线缆中。
返回参考图2和图3并且现在还参考图6，在包含A1和A2部分的时间窗期间从LED脉冲(p0～p3)发射的光的总量可能根据相位而改变。如图6所示，该时间窗形成门控时间202。理想地，完整脉冲将落在该门控时间202内。然而，在一些情形中，部分脉冲是可能的，这可能导致与先前或随后的帧相比，整个组合帧将曝光不足或过曝光。以下说明具有部分脉冲的光脉冲序列的示例。
仅为了说明目的而示出如利用箭头指针206～212示出的不同的四组LED脉冲。仅出于说明目的，各组LED脉冲包括三至四个脉冲，各脉冲具有相等的持续时间。各组表示根据卷帘快门读出在帧序列中的跨相邻帧的任一特定门控202期间可能发生的可能LED脉冲序列。尽管脉冲组是以堆叠形式示出为如与关联于组合帧f0+f1的特定门控时间对齐，但脉冲实际上是连续的，并且将被定时成在整个频闪摄影过程中在诸如针对组合帧f2+f3和f4+f5等的后续门控时间(未示出)期间发生。
LED脉冲被示出为方形边迹，其表示在频闪摄影检查过程期间LED光源共通的近瞬时“接通”和“断开”循环。在门控时间202内发生的第一脉冲组206可以包括在门控时间202内发生的持续时间相同的三个完整脉冲和不是在门控时间202内发生的前导脉冲。在门控时间202内发生的第二脉冲组208可以包括持续时间相同的三个完整脉冲，以及包括落入门控时间202内的部分脉冲的前导脉冲。在门控时间202内发生的第三脉冲组210可以包括持续时间相同的四个完整脉冲。在门控时间202内发生的第四脉冲组212可以包括三个完整脉冲、之后是包括落在门控时间202内的部分脉冲的最终脉冲。在发生部分脉冲的情况下，较少的光可用于对传感器像素进行曝光，这可能导致较暗的组合帧。
从LED光源投射光的总持续时间针对不同的四组LED脉冲中的各组而改变。例如，组合帧f0+f1可以包括第一脉冲组204，而后续的组合帧f(n)+f(n+1)(未示出)可以包括在定时方面与第二脉冲组208或者部分脉冲和完整脉冲的任何其它组合相似的脉冲。可选地，LED脉冲组204～210中任一组或者(具有更少或更多脉冲的)未示出的其它脉冲组可以在之后的任何组合帧期间发生。由于在门控时间内脉冲为“开启”的时间量不断改变，因而这可能导致在被作为视频输出查看时图像流中产生不希望的“闪烁”。例如，第三脉冲组210可以产生“最亮的”组合帧，而第一脉冲组206可以产生“最暗的”组合帧。
该问题的一个解决方案包括基于成像器在门控时间202期间从脉冲捕获到的实际光量以及期望光量来向输出帧应用总体增益。例如，可以将光脉冲的持续时间TLED设置为来自发声的音频信号的周期的一部分F。在一个应用中，该部分F可被设置为0.07，这将意味着LED在音频信号周期的7％内“开启”。由于音频信号的定相，因此来自在时间窗或门控时间TGATE期间“开启”的LED脉冲的总光量可以随时间而改变。值得注意的是，这可能在发声基于医师对患者的指示而改变频率时发生。帧与帧之间的不断变化的光量可以表现为输出到显示器88的最终视频的强度或亮度的闪烁。
针对门控时间内的发声的任何给定的期望音频频率，可以落在门控时间TGATE内的LED“开启”时间的最大量可被固定为TGATE*F。例如，这可以是用户预设的。然后，可以通过将总体帧增益应用于输出帧来补偿视频的强度。帧增益将是用以调整给定输出帧中的每个像素的亮度的乘数。例如，帧增益可以包括通过将TGATE*F除以门控时间TGATE内的LED脉冲为“开启”的实际时间量TPULSE而计算出的增益补偿因子CFRAME。即，CFRAME＝TGATE*F/TPULSE。
在一些示例中，TPULSE可能超过TGATE*F。在这种情况下，在TPULSE接近或等于TGATE*F时，可以提前关闭门控时间TGATE。这将确保增益补偿因子CFRAME始终大于或等于1.0。小于1.0的增益可能会引起插入镜头剪切(interscene clipping)伪影。
现在参考图7，示例性图像处理电路30可以确定针对线增益CLINE和帧增益CFRAME两者的适当增益。例如，增益处理模块300可以包括线增益模块302和帧增益模块304。线增益模块302可以确定由于帧f0和f1的组合部分A1和A2之间的间隙而要应用于各线L0～L10的线增益。例如，线增益模块302可以基于间隙时间和脉冲在时间上的位置来确定线增益值。帧增益模块304可以确定由于在组合帧的门控202期间出现的各LED脉冲的量而要应用于由部分A1和A2组成的各组合帧的总体帧增益。例如，帧增益模块304可以基于增益补偿因子CFRAME来确定组合帧增益值。线增益模块302可以将线校正后的部分A1和A2(如图3所示)输出至帧组合模块306，该帧组合模块306将部分A1和A2组合成组合帧。该组合帧可被输出到输出帧模块308，该输出帧模块308随后将总体帧增益应用于组合帧以减少闪烁并产生最终的处理后的帧。然后，该最终的处理后的帧可以以无闪烁的状态出现。
在图8中，在步骤420处，可以自图4的示例性方法的步骤418起进行附加步骤。在步骤422中，增益处理模块300可以确定要应用于组合帧的组合帧增益值，以补偿在门控期间生成的LED脉冲光的量的变化。例如，如前面所述，帧增益模块304可以基于门控时间TGATE、期望的光量或门控时间TGATE的部分F、以及捕获的光的实际时间量TPULSE，来确定帧增益补偿因子CFRAME。
在步骤424中，输出帧模块308可以将组合帧增益值应用于组合视频帧。例如，具有来自A1和A2的部分的组合视频帧的各像素可以在亮度方面增加、在亮度方面降低或者保持基本相同。在步骤426中，输出帧模块308可以基于组合帧增益值和组合视频帧来生成输出视频帧，并且将该输出视频帧发送至系统控制器50，以由显示器控制器82最终显示在显示器88上。该方法继续进行步骤406，以完成该环路并再次确定发声的基频。
尽管多个可编程逻辑装置、处理器和控制器之间的摄像装置功能控制的这种分布是典型的，但在不会影响摄像装置的功能操作和本发明的应用的情况下，这些可编程逻辑装置、处理器或控制器可以是以各种方式可组合的。这些可编程逻辑装置、处理器或控制器可以包括一个或多个可编程逻辑装置、数字信号处理器装置、微控制器或其它数字逻辑电路。尽管已经说明了这种可编程逻辑装置、处理器或控制器的组合，但应当显而易见，可以指定一个可编程逻辑装置、数字信号处理器、微控制器、微处理器或其它数字逻辑电路来进行所有的所需功能。所有这些变形可以进行相同的功能并且落入本发明的范围内。
如本文所使用的，术语“包括”、“包含”、“携带”、“具有”、“含有”和“涉及”等应被理解为开放式的，即意味着包括但不限于。权利要求中的用以修改权利要求要素的诸如“第一”、“第二”、“第三”等的序数词的任何使用本身不意味着一个权利要求要素相对于另一个权利要求要素的任何优先权、优先序或顺序、或者进行方法的动作的时间顺序。相反，除非另外具体说明，否则这些序数词仅用作用以将具有特定名称的一个权利要求要素与具有相同名称(但针对序数词的使用)的另一要素区分开。
前面已经相当广泛地概述了本发明的特征和技术优点，以便可以更好地理解随后的本发明的详细说明。本领域技术人员应该理解，所公开的概念和具体实施例可被容易地用作用于修改或设计用于实现本发明的相同目的的其它结构的基础。本领域技术人员还应当认识到，这种等效构造没有脱离如在所附权利要求中阐述的本发明的范围。
尽管已经详细说明了本发明及其优点，但应当理解，在没有背离由所附权利要求书定义的本发明的范围的情况下，可以在本文中进行各种改变、替换和变更。本文所述的特征的组合不应被解释为限制性的，并且本文的特征可以用于根据本发明的任何工作组合或子组合。因此，该说明应被解释为根据美国专利法和任何相关的外国专利法提供对本文的特征的任何工作组合或一些子组合的书面支持。
此外，本申请的范围并不意图局限于说明书中所述的处理、机器、制造、以及物质组成、部件、方法和步骤的特定实施例。如本领域普通技术人员从本发明的公开内容将容易理解，可以根据本发明利用目前存在的或者稍后开发的、进行与本文所述的相应实施例基本相同的功能或者实现与这些实施例基本相同的结果的处理、机器、制造、物质组成、部件、方法或步骤。因此，所附权利要求书旨在将这样的处理、机器、制造、物质组成、部件、方法或步骤包括在权利要求书的范围内。

Claims (19)

1.一种视频喉镜系统，包括：
成像器，用于使用卷帘快门生成多个视频帧中的第一帧和第二帧；
音频处理电路，用于基于音频信号来确定发声的基频；
光源，用于基于所述基频来生成光的脉冲；
曝光控制器，用于在所述第一帧和所述第二帧期间基于所述基频来调整所述脉冲的持续时间和在时间上的位置；以及
线增益模块，用于基于所述第一帧和所述第二帧之间的间隙时间以及所述脉冲的持续时间和在时间上的位置，将线增益选择性地至少应用于所述第一帧的一部分和所述第二帧的一部分。
2.根据权利要求1所述的视频喉镜系统，还包括帧增益模块，所述帧增益模块用于基于所述脉冲的持续时间和所述脉冲的期望持续时间，将帧增益选择性地应用于根据所述第一帧的所述部分和所述第二帧的所述部分而生成的组合帧。
3.根据权利要求1所述的视频喉镜系统，其中，所述光源用于在所述第一帧和所述第二帧期间生成两个或更多个光的脉冲。
4.根据权利要求1所述的视频喉镜系统，其中，所述第一帧和所述第二帧是相邻帧。
5.根据权利要求2所述的视频喉镜系统，还包括帧组合模块，所述帧组合模块用于在应用所述线增益之后组合所述第一帧的一部分和所述第二帧的一部分以形成所述组合帧。
6.根据权利要求5所述的视频喉镜系统，还包括输出帧模块，所述输出帧模块用于基于所述帧增益和所述组合帧来生成输出帧。
7.一种操作视频喉镜系统的方法，包括：
使用卷帘快门生成多个视频帧中的第一帧和第二帧；
基于音频信号来确定发声的基频；
基于所述基频来生成光的脉冲；
在所述第一帧和所述第二帧期间基于所述基频来调整所述脉冲的持续时间和在时间上的位置；以及
基于所述第一帧和所述第二帧之间的间隙时间以及所述脉冲的持续时间和在时间上的位置，将线增益选择性地至少应用于所述第一帧的一部分和所述第二帧的一部分。
8.根据权利要求7所述的方法，还包括帧增益模块，所述帧增益模块用于基于所述脉冲的持续时间和所述脉冲的期望持续时间，将帧增益选择性地应用于根据所述第一帧的所述部分和所述第二帧的所述部分而生成的组合帧。
9.根据权利要求7所述的方法，其中，光源用于在所述第一帧和所述第二帧期间生成两个或更多个光的脉冲。
10.根据权利要求7所述的方法，其中，所述第一帧和所述第二帧是相邻帧。
11.根据权利要求8所述的方法，还包括帧组合模块，所述帧组合模块用于在应用所述线增益之后组合所述第一帧的一部分和所述第二帧的一部分以形成所述组合帧。
12.根据权利要求11所述的方法，还包括输出帧模块，所述输出帧模块用于基于所述帧增益和所述组合帧来生成输出帧。
13.一种医用检查镜系统，包括：
频闪摄影喉镜；
麦克风；
照相机控制模块，其包括电子控制器，所述电子控制器通信地连接至所述频闪摄影喉镜和所述麦克风；以及
显示装置，其通信地连接至所述照相机控制模块，
其中，所述照相机控制模块的所述电子控制器能够操作，以进行：
利用所述麦克风测量患者的发声并确定所述发声的基频；
在所述患者的发声期间，使所述频闪摄影喉镜的发光器按基于所述发声的基频而选择的定时间隔进行脉冲；
根据卷帘快门过程从所述频闪摄影喉镜的图像传感器阵列读取图像数据，包括：(a)在相邻的第一图像帧和第二图像帧期间创建两个或更多个发光器脉冲；(b)以时间偏移的方式从所述图像传感器阵列的线读取所述图像数据，使得所述两个或更多个发光器脉冲中的至少两个发光器脉冲各自同时在所述第一图像帧和所述第二图像帧两者中对传感器像素进行曝光；以及(c)从所述第一图像帧中选择所述图像数据的第一子集并且从所述第二图像帧中选择所述图像数据的第二子集，所述第二子集包括与所述第一子集不同的帧部分，所述第一子集和所述第二子集包括通过对所述第一图像帧和所述第二图像帧进行同时曝光得到的数据；
组合来自所述第一子集和所述第二子集的图像数据，以基于所述第一图像帧和所述第二图像帧创建组合图像帧。
14.根据权利要求13所述的医用检查镜系统，其中，所述第一子集仅包括读取所述第一图像帧的后半周期中扫描到的数据，并且所述第二子集仅包括读取所述第二图像帧的前半周期中扫描到的数据。
15.根据权利要求13所述的医用检查镜系统，其中，所述照相机控制模块还能够操作，以将数字增益应用于所述第一子集和所述第二子集中的一条或多条线的值，从而补偿所述卷帘快门过程中由于所述第一图像帧和所述第二图像帧之间的间隙时间而产生的曝光丢失。
16.根据权利要求13所述的医用检查镜系统，其中，所述照相机控制模块还能够操作，以针对在所述第一图像帧和所述第二图像帧之后的后续图像帧对而重复(a)～(c)，并且将来自后续的第一子集和第二子集的图像数据组合成后续的组合图像帧。
17.根据权利要求16所述的医用检查镜系统，其中，所述照相机控制模块还能够操作，以创建针对后续图像帧的、根据作为所述发声的基频的倒数的时间周期的整数倍与所述第一图像帧和所述第二图像帧的脉冲在时间上间隔开的后续两个或更多个发光器脉冲。
18.根据权利要求13所述的医用检查镜系统，其中，所述照相机控制模块还能够操作，以按如下序列创建所述两个或更多个发光器脉冲，其中在该序列中，所述发光器脉冲按作为所述发声的基频的倒数的时间周期间隔开，并且在该序列中发生间隙以使得至少一个脉冲丢失。
19.根据权利要求16所述的医用检查镜系统，其中，所述照相机控制模块还能够操作以将第二数字增益值应用于所述组合图像帧，从而补偿由于光的脉冲的定时间隔而造成的曝光变化。
CN201811368146.6A 2017-11-16 2018-11-16 改进的声带频闪摄影检查 Active CN109793486B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US15/814,779 US10499803B2 (en) 2017-11-16 2017-11-16 Vocal cord stroboscopy
US15/814779 2017-11-16
US16/019,020 US10835116B2 (en) 2017-11-16 2018-06-26 Vocal cord stroboscopy
US16/019020 2018-06-26

Publications (2)

Publication Number Publication Date
CN109793486A true CN109793486A (zh) 2019-05-24
CN109793486B CN109793486B (zh) 2023-08-04

Family

ID=64331896

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811368146.6A Active CN109793486B (zh) 2017-11-16 2018-11-16 改进的声带频闪摄影检查

Country Status (3)

Country Link
US (3) US10835116B2 (zh)
EP (1) EP3494864B1 (zh)
CN (1) CN109793486B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291620A (zh) * 2020-01-14 2020-06-16 北京小马智行科技有限公司 识别光源的方法、装置和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
JP6945660B2 (ja) * 2018-02-09 2021-10-06 オリンパス株式会社 撮像システムおよび処理装置
US11291358B2 (en) 2019-06-20 2022-04-05 Cilag Gmbh International Fluorescence videostroboscopy of vocal cords
JP7394547B2 (ja) * 2019-06-28 2023-12-08 ソニー・オリンパスメディカルソリューションズ株式会社 制御装置、医療用観察システム、制御方法およびプログラム
JP7235608B2 (ja) * 2019-06-28 2023-03-08 ソニー・オリンパスメディカルソリューションズ株式会社 光源制御装置、医療用観察システム、光源制御方法およびプログラム
EP4319613A1 (en) * 2021-04-07 2024-02-14 Pentax of America, Inc. Laryngeal stroboscope utilizing solid state light sources

Citations (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217453A (en) * 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
US6734893B1 (en) * 1998-12-04 2004-05-11 Olympus Winter & Ibe Gmbh Endoscopy illumination system for stroboscopy
CN1864632A (zh) * 2005-05-17 2006-11-22 西门子公司 用于最小化图像伪影的方法以及医疗成像系统
US20090149705A1 (en) * 2007-12-05 2009-06-11 Hoya Corporation Imaging-device driving unit, electronic endoscope, and endoscope system
US20110074943A1 (en) * 2009-09-30 2011-03-31 Mark Modell System and method for imaging during a medical procedure
CN102334972A (zh) * 2010-07-15 2012-02-01 富士胶片株式会社 内窥镜系统
CN102753084A (zh) * 2009-12-22 2012-10-24 艾克松有限责任公司 用于重复过程的频闪探测的方法及实施该方法的装置
US20130044126A1 (en) * 2011-08-16 2013-02-21 Fujifilm Corporation Image display method and apparatus
CN103732119A (zh) * 2011-12-27 2014-04-16 奥林巴斯医疗株式会社 摄像装置
CN103841881A (zh) * 2012-05-25 2014-06-04 奥林巴斯医疗株式会社 摄像系统
US20140161369A1 (en) * 2011-08-18 2014-06-12 Olympus Corporation Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method
JP2014113313A (ja) * 2012-12-10 2014-06-26 Hoya Corp 電子内視鏡システム
JP2014124331A (ja) * 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
WO2014134501A2 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
US20150124124A1 (en) * 2013-11-07 2015-05-07 Sony Corporation Image processing circuit, image processing method, and display device
CN104871454A (zh) * 2012-12-27 2015-08-26 松下电器（美国）知识产权公司 信息通信方法
US20160073865A1 (en) * 2013-07-09 2016-03-17 Olympus Corporation Image pickup system and control method of image pickup system
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
CN106031158A (zh) * 2014-07-07 2016-10-12 奥林巴斯株式会社 摄像装置
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置
CN106256123A (zh) * 2014-06-18 2016-12-21 奥林巴斯株式会社 处理装置、摄像装置以及内窥镜系统
WO2017022889A1 (ko) * 2015-08-05 2017-02-09 왕용진 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
CN106413522A (zh) * 2014-01-24 2017-02-15 数字内镜检查股份有限公司 实时跟踪声音信号的基本频率
CN106873440A (zh) * 2015-12-14 2017-06-20 富士施乐株式会社 诊断设备、诊断系统、设备、和诊断方法
CN107105999A (zh) * 2015-04-15 2017-08-29 奥林巴斯株式会社 内窥镜系统
WO2017150836A1 (ko) * 2016-03-02 2017-09-08 왕용진 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5544231B2 (ja) 2010-07-15 2014-07-09 富士フイルム株式会社 内視鏡光源装置及び内視鏡システム
JP6270359B2 (ja) 2013-07-10 2018-01-31 Hoya株式会社 電子内視鏡
JP6161445B2 (ja) 2013-07-16 2017-07-12 Hoya株式会社 ストロボスコープおよび喉頭電子内視鏡
JP6196105B2 (ja) 2013-09-13 2017-09-13 Hoya株式会社 撮像装置および電子内視鏡装置
US10835116B2 (en) * 2017-11-16 2020-11-17 Karl Storz Imaging, Inc. Vocal cord stroboscopy
US10499803B2 (en) * 2017-11-16 2019-12-10 Karl Storz Imaging, Inc. Vocal cord stroboscopy

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5217453A (en) * 1991-03-18 1993-06-08 Wilk Peter J Automated surgical system and apparatus
US6734893B1 (en) * 1998-12-04 2004-05-11 Olympus Winter & Ibe Gmbh Endoscopy illumination system for stroboscopy
CN1864632A (zh) * 2005-05-17 2006-11-22 西门子公司 用于最小化图像伪影的方法以及医疗成像系统
US20090149705A1 (en) * 2007-12-05 2009-06-11 Hoya Corporation Imaging-device driving unit, electronic endoscope, and endoscope system
US20110074943A1 (en) * 2009-09-30 2011-03-31 Mark Modell System and method for imaging during a medical procedure
CN102753084A (zh) * 2009-12-22 2012-10-24 艾克松有限责任公司 用于重复过程的频闪探测的方法及实施该方法的装置
CN102334972A (zh) * 2010-07-15 2012-02-01 富士胶片株式会社 内窥镜系统
US20130044126A1 (en) * 2011-08-16 2013-02-21 Fujifilm Corporation Image display method and apparatus
US20140161369A1 (en) * 2011-08-18 2014-06-12 Olympus Corporation Fluoroscopy apparatus, fluoroscopy system, and fluorescence-image processing method
CN103732119A (zh) * 2011-12-27 2014-04-16 奥林巴斯医疗株式会社 摄像装置
CN103841881A (zh) * 2012-05-25 2014-06-04 奥林巴斯医疗株式会社 摄像系统
JP2014113313A (ja) * 2012-12-10 2014-06-26 Hoya Corp 電子内視鏡システム
JP2014124331A (ja) * 2012-12-26 2014-07-07 Hoya Corp 電子内視鏡システム
CN104871454A (zh) * 2012-12-27 2015-08-26 松下电器（美国）知识产权公司 信息通信方法
US20140316196A1 (en) * 2013-02-28 2014-10-23 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
WO2014134501A2 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
US20160073865A1 (en) * 2013-07-09 2016-03-17 Olympus Corporation Image pickup system and control method of image pickup system
US20150124124A1 (en) * 2013-11-07 2015-05-07 Sony Corporation Image processing circuit, image processing method, and display device
CN106413522A (zh) * 2014-01-24 2017-02-15 数字内镜检查股份有限公司 实时跟踪声音信号的基本频率
CN106256123A (zh) * 2014-06-18 2016-12-21 奥林巴斯株式会社 处理装置、摄像装置以及内窥镜系统
CN106031158A (zh) * 2014-07-07 2016-10-12 奥林巴斯株式会社 摄像装置
JP2016052453A (ja) * 2014-09-04 2016-04-14 オリンパス株式会社 撮像システムおよび処理装置
CN107105999A (zh) * 2015-04-15 2017-08-29 奥林巴斯株式会社 内窥镜系统
US20170281045A1 (en) * 2015-04-15 2017-10-05 Olympus Corporation Endoscope system
JP2016202380A (ja) * 2015-04-17 2016-12-08 Hoya株式会社 画像処理装置および内視鏡装置
WO2017022889A1 (ko) * 2015-08-05 2017-02-09 왕용진 평면 스캔 비디오 카이모그라피와 후두 스트로보스코피 기능이 있는 비디오 후두 내시경 시스템
CN106873440A (zh) * 2015-12-14 2017-06-20 富士施乐株式会社 诊断设备、诊断系统、设备、和诊断方法
WO2017150836A1 (ko) * 2016-03-02 2017-09-08 왕용진 실시간 후두스트로보스코피, 고속 후두내시경 검사, 및 평면 스캔 디지털 카이모그래피를 위한 영상 생성 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111291620A (zh) * 2020-01-14 2020-06-16 北京小马智行科技有限公司 识别光源的方法、装置和系统

Also Published As

Publication number Publication date
US20210038066A1 (en) 2021-02-11
US20190142265A1 (en) 2019-05-16
EP3494864A2 (en) 2019-06-12
US20230255466A1 (en) 2023-08-17
US10835116B2 (en) 2020-11-17
EP3494864A3 (en) 2019-10-09
CN109793486B (zh) 2023-08-04
EP3494864B1 (en) 2021-02-17
US11666209B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
CN109793486A (zh) 改进的声带频闪摄影检查
JP5259882B2 (ja) 撮像装置
WO2019123796A1 (ja) 内視鏡システム
TWI316852B (en) Living body observation apparatus
KR890001908B1 (ko) Tv식 내시경 장치의 광 펄스 조사장치
WO2012033200A1 (ja) 撮像装置
US10499803B2 (en) Vocal cord stroboscopy
JP5948512B2 (ja) 処理装置、撮像装置および内視鏡システム
JP2011045525A (ja) 内視鏡
JP4744279B2 (ja) 電子内視鏡装置
JP5636177B2 (ja) 内視鏡システム、および内視鏡
JP4589521B2 (ja) 電子内視鏡光源装置
JP2009240531A (ja) 撮影装置
JP6945660B2 (ja) 撮像システムおよび処理装置
JP2007006343A (ja) 撮像システム
JP4024536B2 (ja) 電子内視鏡装置および電子内視鏡システムおよびシャッタ機構
JP4027612B2 (ja) ストロボ画像同時取り込み電子内視鏡装置
JP4495560B2 (ja) 内視鏡用光源装置
JP7213245B2 (ja) 内視鏡用光源装置、内視鏡用光源の制御方法および内視鏡システム
JP2004097442A (ja) 電子内視鏡システム
JP2004097443A (ja) 電子スコープ用プロセッサおよび電子内視鏡システム
JP2003190089A (ja) 電子内視鏡装置および電子内視鏡システムおよびシャッタ部材
JP2021126153A (ja) 医療用画像処理装置および医療用観察システム
JP2005204906A (ja) 電子内視鏡システム
JP2002272678A (ja) 電子スコープ用プロセッサ

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant