CN111757016A - 用于使光源与图像传感器同步的方法和系统 - Google Patents

用于使光源与图像传感器同步的方法和系统 Download PDF

Info

Publication number
CN111757016A
CN111757016A CN202010229025.4A CN202010229025A CN111757016A CN 111757016 A CN111757016 A CN 111757016A CN 202010229025 A CN202010229025 A CN 202010229025A CN 111757016 A CN111757016 A CN 111757016A
Authority
CN
China
Prior art keywords
light source
image sensor
imaging system
light
timing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010229025.4A
Other languages
English (en)
Inventor
E·M·莫丽瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karl Storz Imaging Inc
Original Assignee
Karl Storz Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Karl Storz Imaging Inc filed Critical Karl Storz Imaging Inc
Publication of CN111757016A publication Critical patent/CN111757016A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00064—Constructional details of the endoscope body
    • A61B1/00071—Insertion part of the endoscope body
    • A61B1/0008—Insertion part of the endoscope body characterised by distal tip features
    • A61B1/00097—Sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0638—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements providing two or more wavelengths
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
    • A61B1/0655—Control therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

用于使光源与图像传感器同步的方法和系统。系统和方法包括用于使光源与图像传感器同步的操作和步骤。成像系统包括具有图像传感器、光检测器单元和同步单元的照相机单元。光检测器单元检测致动光源的实际时间以确定在白光和有色光之间何时发生切换。照相机控制器单元利用图像传感器的定时来处理实际时间，以检测切换光源的实际时间和图像传感器的定时之间的差。照相机控制器单元被配置为在所述切换发生在帧形成期间的消隐区内的预定时间段外的情况下致动同步单元以使光源与图像传感器同步。

Description

用于使光源与图像传感器同步的方法和系统
技术领域
本发明涉及用于使光源切换同步的系统和方法。
背景技术
内窥镜常用于医疗领域，以通过降低侵入性的方式提供对体腔的访问。 刚性内窥镜包括刚性插入管，而柔性内窥镜通常包括柔性插入管。从手持件 或控制部分延伸的插入管被配置成插入到体腔中。插入管的远端尖端包括用 于提供各种功能的外围设备的阵列。例如，远端尖端可以包括用于对体腔进 行照明的光照、用于输送空气或冲洗液的一个或多个端口、用于从体腔移除 碎片的吸引端口、医疗装置或工具、以及用于向内窥镜的操作者提供体腔视 图的光学器件。
内窥镜系统可以包括一个或多个图像传感器，以向外科医生提供过程的 视频图像。在一些情况下，图像传感器可被配置为处理可见光谱和红外光谱 中的电磁辐射，以提供白光视频和/或荧光视频。在这种系统中，互补金属氧 化物半导体(CMOS)传感器由于其能够提供减少的读出时间和更快的帧速率， 因而通常用于内窥镜中。例如，CMOS每秒可以捕获多达60帧。
图像传感器包括以具有X个行和Y个列的矩阵布置的多个像素。图像传 感器连续扫描各行中收集到的电磁辐射，以产生图像帧。在到达最后一行后， 图像传感器扫描第一行，以开始产生另一图像帧的处理。图像传感器扫描像 素矩阵以产生帧的速度通常已知并且在这里被引用为“帧速率”。图像传感 器以预定速率工作。
然后，照相机控制单元编译使用可见光谱中的电磁辐射处理的各图像帧， 以生成白光视频图像。使用红外光谱中的电磁辐射处理的各图像帧也被编译 以生成荧光视频图像。
通过适当地对光源的切换进行定时以使得：当白光图像帧曝光时，利用 可见光谱中的电磁辐射对图像进行照明，而当荧光图像帧曝光时，利用红外 光谱中的电磁辐射对图像进行照明，可以在连续或交替的帧中捕获白光图像 和红外图像。在白光图像帧或荧光图像帧曝光期间，不一致或误定时的切换 可能导致光不足、光不正确或者光发生不期望的混合。
诸如热量等的环境因素可能影响光源的操作，这可能导致光源切换的定 时发生相移。例如，可以在图像传感器开始对像素矩阵进行新的扫描之后开 启光源，并且只有第三行或第四行能够收集电磁辐射以用于图像处理。正因 如此，在相应帧内，图像可能不会完全曝光或不会以正确的光谱均匀曝光。 这些帧可能在视频编译中被丢弃，这可能导致视频图像不完美。
然而，并非在所有情况下都需要使光源与图像传感器的操作同步。例如， 成像系统可以以图像传感器和光源彼此同步开始。在一时间段后，光源的相 位可能由于定时漂移或者因温度引起的电路延迟的变化而延迟。
同步单元的致动可能增加成像系统的处理需求。成像系统进行其它也会 增加处理需求的计算功能，正因如此，处理需求可能使成像系统的计算能力 过载。例如，成像系统进行图像处理、数据记录和存储、以及数据处理等， 这可能影响成像系统的性能。
因此，仍然需要具有成像系统，其中光源和图像传感器之间的同步是可 调节的，以减少使光源和图像传感器同步所需的处理需求。
发明内容
提供了被配置为提供视频图像的成像系统。成像系统包括具有图像传感 器和光检测器单元的照相机单元。图像传感器包括多个像素，这多个像素提 供了被处理以形成图像帧的图像数据。各图像帧包括像素的消隐(blank)的区 域，以定义消隐区。
光源被配置为提供可见光谱(白光，这里也被引用为“WL”)和近红外光 谱(有色光，这里也被引用为“CL”)中的电磁辐射。因此，光源可操作地在 WL和CL之间进行切换。照相机控制器单元对致动图像传感器的时间以及光 检测器单元检测电磁辐射的时间进行处理，以计算光源的致动和图像传感器 的致动之间的差。将该差与消隐区进行比较以判断切换是否在预定时间段内 进行。
系统还包括同步单元。照相机控制器单元被配置为在切换在预定时间 段外进行的情况下致动同步单元以随着图像传感器的操作来调节光源的操 作。
在一方面，照相机控制器单元被配置为处理该差、确定成像系统的处 理需求、并且在处理需求低于预定阈值并且光源和图像传感器彼此不同步的 情况下致动同步单元。在一方面，照相机控制器单元被配置为处理该差并且 在切换在预定时间段外进行的情况下致动同步单元。
在一个实施例中，系统包括至少两个光源，其中，一个光源被配置为 提供发送WL，并且另一光源被配置为发送CL。光检测器被配置为从波长的 范围和发射电磁辐射的时间这两方面检测电磁辐射。
在一个实施例中，光检测器被配置为检测来自第一光源和第二光源的光， 其中，照相机控制器单元计算第一光源的致动和第二光源的致动之间的时间 差，并且在切换在预定时间段外进行的情况下使第一光源的致动和第二光源 的致动同步。
在一方面，照相机控制器单元被配置为：处理第一光源和第二光源相对 于图像传感器的差，确定成像系统的处理需求，并且即使切换在预定时间段 内进行，也在处理需求低于预定阈值的情况下致动同步单元。
附图说明
图1是根据本发明的原理的成像系统的第一实施例的示意图。
图2是示出根据本发明的原理的图像传感器的操作的图。
图3A和3B是示出根据本发明的原理的使用全局快门模式工作的图像传 感器的操作的时序图。
图4A和4B是示出根据本发明的原理的使用具有全分辨率和有效降低的 帧速率的第一卷帘快门(rolling shutter)模式工作的图像传感器的操作的时序 图。
图5A和5B是示出根据本发明的原理的使用具有降低的分辨率以及伴随 着降低的曝光时间的全帧速率的第二卷帘快门模式工作的图像传感器的操 作的时序图。
图6是示出根据本发明的原理的使光源与图像传感器同步的方法的流程 图。
具体实施方式
现在参考图1，提供了被配置为生成视频图像12的成像系统10。成像系 统10包括具有图像传感器16和光检测器单元18的照相机单元14。成像系统10 还包括同步单元20。成像系统10还包括光源22，该光源22被配置为生成用于 照射外科手术部位的一种或多种类型的照明。在一个方面，光源22被配置成 生成WL和CL这两者。这可以通过使用被配置为生成第一照明类型和第二照 明类型的单个光源22、或使用两个光源22来实现。图像传感器16可被配置为 接收根据照明的类型从外科手术部位反射或发射的光。光检测器单元18检测从WL到CL的照明变化，以用于确定光源22切换的实际时间。光检测器单元 18可以将切换的实际时间发送至照相机控制器单元24。同步单元20可以是光 源22或照相机控制器单元24的一部分。
照相机控制器单元24对图像传感器16的定时与检测到光的实际时间进 行处理，以检测致动光源22的实际时间和图像传感器16的定时之间的差。照 相机控制器单元24被配置为在致动光源的实际时间和图像传感器16的定时 之间的差超过预定时间段或成像系统10的处理需求低于预定阈值的情况下 将该差值通信至光源22，以使光源22与图像传感器16同步。正因如此，相对 于在光源22和图像传感器16彼此不同步的情况下自动使光源22与图像传感 器16同步的系统，处理需求降低。
图像传感器16可被配置为以每秒50或60帧(“fps”)的频率致动，并且光 源22也可以以与图像传感器16相同或相似的频率致动。频率甚至可能由于这 些因素而略微不同。尽管图像传感器16和光源22以相同或相似的频率工作， 但由于以独立的内部时钟工作，图像传感器16和光源22可能异相或变得异相， 这可能受热量、组件老化、制造公差和其它因素影响。成像系统10还包括图 像处理器26，该图像处理器26被配置为处理图像传感器16所收集到的图像数 据以生成图像帧。图像传感器16通过使像素曝光来工作，从而视情况获得与WL或CL相关的图像数据。在帧形成期间，某些像素将在同一时间段内消隐， 形成消隐区。消隐区允许从曝光的像素中清除图像数据，并允许由有效像素 (例如，曝光并指定用于图像处理的像素)生成图像帧。光源22被配置为在图 像帧形成期间的消隐区的时间段期间在WL和CL之间进行切换。然而，由于 相移以及时钟频率的微小差异，切换的定时可能发生漂移，从而导致对视频 质量的破坏。
为了例示性目的，在内窥镜系统的上下文内提供成像系统10的描述。然 而，应当理解，成像系统10可用于其它应用，例示性地包括外视镜、管道镜 以及具有两种或更多种照明类型以及一个或多个图像传感器的其它成像系 统。现在参考图1，照相机单元14通过包括多个透镜的光学器件耦接至内窥 镜100。照相机头25通过电缆或无线连接来与照相机控制器单元24进行通信。 在其它示例中，内窥镜100和照相机头25可以形成本领域已知的一体化单元 以形成视像镜。在其它示例中，照相机头25和照相机控制器单元24可以形成一体化单元。不管具体配置如何，本发明的原理适用于如上文所述的视频成 像系统的各种示例。
如图1所示，内窥镜100与照相机单元14的照相机头25耦接。照相机控制 器单元24控制照相机单元14的各种处理功能。照相机控制器单元24可以向照 相机头25提供定时信号。备选地，照相机头25可以独立于照相机控制器单元 24而生成定时信号。照相机控制器单元24和光源22的单元彼此独立工作。光 源22可以包括在内窥镜100的工作端附近的照明光的光出口，其中内窥镜100 可与该光源22进行通信。光源22可以由外部光源壳体内的一个或多个发光二 极管(LED)形成，其中该一个或多个LED提供如本领域已知的经由连接至内 窥镜100的光纤发送的“冷光”。光源22可被配置为生成可见光谱中的电磁辐 射(通常称为“白光”或“WL”)，和/或可见光谱外的电磁辐射，例如用于 包括ICG的荧光成像应用的NIR等(通常称为“有色光”或“CL”)。光源22 包括被配置为控制光源22的操作的第一定时器28。在一个示例中，第一定时 器28是诸如通过自由运行可编程频率缩放器进行馈送的石英振荡器信号等 的通用定时器(GPT)，其生成具有与视频帧速率(16.67ms，60fps)相同的速 率的信号，该信号通过时钟延迟电路馈送以允许选择帧速率的相移版本；然 而，应当理解，第一定时器可以是当前已知或后来开发的任何其它定时器， 例示性地包括通过FPGA馈送的石英振荡器，其中该FPGA包含可被编程或配 置为实现任何期望的缩放、倍频、分频和相位调节的锁相环或延迟锁定环。 对光源22的操作的引用在此被描述为包括光源22被致动的时间段和光源22 被关闭的时间段的光相位。
图像传感器16可以在印刷电路板上。图像传感器16可以形成为固态，并 且包括被配置为致动图像传感器16以进行曝光以及将图像传感器16的来自 收集到的光的任何电荷的清除的电气组件。电气组件还可以包括数字定时控 制电路30、放大器(未示出)、滤波器(未示出)和模数转换器等。数字定时控 制电路30控制图像传感器16的曝光时长。对图像传感器16的操作的引用在这 里被描述为曝光相位，该曝光相位包括图像传感器16曝光的时间段以及图像 传感器16被清除信息的时间段。
图像传感器16被配置为向内窥镜100的操作者提供体腔的图像，从而允 许内窥镜100的操作者定位处置区域并监视医疗过程。图像传感器16与照相 机控制器单元24进行通信，以向显示装置200提供处置区域的数字显示。图 像传感器16可以是互补金属氧化物半导体(CMOS)或电荷耦合器件(CCD)。应 当理解，可以对当前已知或后来开发的任何像素化图像传感器进行修改和适 配，以供在这里使用。在一个实施例中，图像传感器16被配置为接收与特定 视场(例如，处置区域)相关联的可见范围(例如，约400nm至800nm)和/或近 红外范围(例如，约800nm至1200nm)内的电磁辐射。如以下更详细描述的， 图像传感器16将传感器数据递送到照相机控制器单元24，该照相机控制器单 元24处理传感器数据、并将数据输出到显示控制单元202以进一步格式化成 用于一个或多个显示装置200的视频。显示装置200可以包括被配置为控制显 示装置200的视觉内容的显示控制单元202，并且照相机控制器单元24可以是 一体化的。照相机控制器单元24和照相机头25可以是一体化的。
图像传感器16和光源22被配置为彼此配合，其中光源22所发射的电磁辐 射从组织反射回来，或者被吸收到组织中并再发射回来，使得电磁辐射由图 像传感器16收集并处理成图像帧。然而，如上所述，图像传感器16和光源22 的定时彼此独立。特别地，图像传感器16由具有多行和多列的像素阵列形成。 例如，随着图像传感器的分辨率在本次提交时继续增加至高达4K和8K分辨 率，传感器可被配置为具有1280行和1024列、1920行和1080列、或更多。关 于图2中的图像传感器16，示出通常与图像传感器的行和列相关联的帧定时 特征。
光检测器单元18被定位成检测从光源22发送的电磁辐射的存在。如图1 中一般所描绘的，光检测器单元18可以一体化到图像传感器16中、或可以是 安装至印刷电路板的独立电子组件。被配置为检测可见光谱或有色光谱中的 光的任何光检测器单元18可以适配以供在这里使用，该光检测器单元18例示 性地包括光电二极管。光检测器单元18可被配置为检测视觉光谱中的光、或 者诸如红外光等的有色光。光检测器单元18与照相机控制器单元24进行通信。 光检测器单元18可以例如位于内窥镜100的光入口(电磁辐射最初通过内窥 镜100处)的附近，或者位于图像传感器16的旁边(光检测器单元18直接或通过 反射在图像传感器处曝光)。
照相机控制器单元24包括非暂时性存储器，图像处理器26可以向该非暂 时性存储器进行写入以生成图像帧。在一些示例中，照相机控制器单元24被 配置为一体化在外视镜中的本地装置，或者可以是硬连线或无线连接到外视 镜的独立计算机。然而，在一些示例中，照相机控制器单元24可被配置为在 具有数据处理硬件和存储器硬件的服务器上工作。
照相机控制器单元24的非暂时性存储器可以包括用于暂时性地或永久 地存储程序(例如，指令序列等)或数据(例如，程序状态信息、图像数据等) 以供计算装置使用的物理装置。非暂时性存储器可以是易失性和/或非易失性 可寻址半导体存储器。非易失性存储器的示例包括但不限于闪速存储器和只 读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器 (EPROM)和电子可擦除可编程只读存储器(EEPROM)(例如，通常用于固件， 诸如引导程序等)。易失性存储器的示例包括但不限于随机存取存储器(RAM)、 动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、相变存储器 (PCM)以及磁盘或磁带。还应当理解，在照相机控制器单元24内或者在随后 的单元中可能发生进一步的图像处理，以处理图像从而向用户呈现。例如， 显示控制单元202可以将控制菜单覆盖添加到所显示图像，并且显示控制单 元202可以在照相机控制单元24和光源22之间的通信路径中。
同步单元20可以由电气组件形成，该电气组件被配置为致动光源22并调 节光源22的持续时间、开始时间和停止时间以使光源22的操作与图像传感器 16的操作同步。在一方面，当在WL和CL之间的切换发生在以下进一步详细 讨论的图像帧生成的消隐区999期间的预定时间段以外的情况下，照相机控 制器单元24致动同步单元20。
在成像系统10的另一方面，在成像系统10的处理需求低于预定阈值的情 况下，照相机控制器单元24致动同步单元20。在这样的实施例中，照相机控 制器单元24被配置为确定成像系统10的处理需求。例如，照相机控制器单元 24可以对成像系统10的只读存储器单元进行读取以确定数据处理需求，其中 即使切换在预定时间段内进行，照相机控制器单元24也在处理需求低于预定 阈值的情况下致动同步单元20以使光源22与图像传感器16同步。正因如此， 成像系统10被配置为基于成像系统10的处理需求(诸如图像处理功能、数据存储和数据记录等)而使光源22与图像传感器16的同步优先。
成像系统10可以使用照相机单元14、光源22和显示控制单元202之间的 消息传送来进行通信。例如，由有线或无线连接发送的消息分组50可以包括 照相机单元14基于相对于预定时间段和预定阈值何时发生从WL到CL的切 换而生成的误差消息。切换的预定时间段可以包括基于一个或多个预定阈值 的区段。照相机单元14中的电路和软件检测WL到CL转变及其相对于期望的 “理想”CL转变的定时误差。软件将相对于定时区段对相对定时进行反应。
例如，可以存在定时窗口或区段。例如，第一定时窗口(例如，理想区 段)中的WL到CL转变将不会产生任何误差消息。该理想区段可以允许某些定 时误差。第一定时窗口外(例如，早区段中)的WL到CL转变将导致向光源22 发送“小误差”消息，但是图像不会被破坏。该早区段基于第一预定阈值而 允许一定量的早切换定时误差。第一定时窗口之外(例如，较晚区段中)的WL 到CL转变也将导致向光源22发送“小误差”消息，但是图像不会被破。该较 晚区段可以基于第二预定阈值而允许一定量的晚切换定时误差。第二预定阈 值可以具有与第一预定阈值相同的绝对值。第三定时窗口外(例如，窗口外 区段中)的WL到CL转变将导致发送“大误差”消息，并且图像发生破坏。该 窗口外区段可能需要立即的同步。
当CL转变发生在理想定时窗口外时，照相机单元14向光源22发送消息， 以向光源22通知转变误差。对于在早区段或晚区段发生的WL到CL转变，可 能期望但无需立即同步。如果处理需求足够低，则可以命令同步。然而，同 步可能延迟，直到定时误差增加为止。在接收到光转变误差消息时，光源22 以期望“误差”量对其帧基准定时和WL-CL转变进行校正。在校正了定时后， 光源22发送回指示已经进行期望校正的消息。照相机单元14将在发送额外的 校正请求消息之前等待来自光源22的校正进行确认消息，或等待消息期满超时。消息期满值需要大于装置系统所预期的最坏情况的消息延迟。对于不保 证消息递送的装置系统，即在装置之间采用无线通信的系统中，消息期满值 可能是恢复所必需的。
参考图2～6进一步描述成像系统10的操作。现在参考图2，图像传感器16 的输出是一行像素以及与帧形成、定时和视频信号相关联的各种其它数据。 图像传感器16可以是具有有效像素区域302中的3840列×2160行像素、以及本 领域已知的附加行和列的4k传感器。例如，每个帧的开始和结束通常包括多 个垂直消隐行(V消隐)304，该多个垂直消隐行304对应于帧(诸如“帧1”)的 最后一行结束和下一帧(诸如“帧2”)的第一行开始之间的时间。与V消隐相 关联的行数可以如本领域已知地、通过禁用或以其它方式忽略有效像素区域 的行中的某些行来调整。例如，图像传感器16可以在帧的顶部包括13个V消 隐行304，并且在帧的底部包括额外数量的V消隐行304(诸如18个V消隐行304)。水平消隐(H消隐)306是图像处理中在各行结束时发生的另一时间延迟。 来自图像传感器的视频信号包括垂直消隐间隔和水平消隐间隔这两者。垂直 消隐间隔发生在连续两帧之间，而水平消隐间隔发生在两行之间。在消隐时 间段期间，通过使电压降低到等于或低于黑色电平的电平来使视频信号“消 隐”。“光学黑色”行308可被包括作为用于确定黑色电平的基准点。“忽略” 行310可能是用于缓冲相邻像素污染的空行。“边距”行312或“边距”像素 314可用于描绘有效像素的第一行以用于帧形成。图像传感器活动的这些各 种“不活动时间段”可以共同对应于消隐区999。
图3A～5B示出针对图像传感器16的不同工作模式的用于在白光(WL)和 有色光(CL)之间进行切换的定时序列。图3A和3B示出全局快门模式；图4A 和4B示出具有丢弃帧的第一卷帘快门模式；以及图5A和5B示出具有曝光控 制和丢弃行的第二卷帘快门模式。仅出于例示性目的，图像传感器的输出仅 使用图像传感器的有效像素区域中的10行像素(行00～09)来示出。根据已知的 方法或传感器输出的消隐区999的一部分，可以合并(bin)一些额外的行。帧 F1～F4由行00～09在时间T0至T4所指示的不同时间段形成。标记为“R”的块指示行在何时发生重置，例如，行在何时开始。
在各图中，光源22相对于图像传感器16的定时、在不同时间提供WL和 CL这两者。对于四个不同的光定时序列，使用“开启”或“关闭”的信号线 来指示WL和CL各自的开启和关闭的定时。T(理想)指示在图像数据被破坏的 可能性最小的情况下开启或关闭光的理想时间。T(早)或T(晚)分别指示开启 或关闭光、但是图像数据不被破坏的早时间或晚时间。T(边缘)指示开启或关 闭光、否则图像数据发生破坏的绝对截止时间。T(同步)表示开启或关闭光的 过早时间或过晚时间，并且光的开启和关闭将需要立即同步。
全局快门模式
现在参考图3A和3B，成像系统10被配置为以“全局快门模式”操作图 像传感器16。在全局快门模式下，视频帧F1～F4由各行00～09中的像素曝光形 成。各行在同一时间T0开始曝光，并且在同一时间T1结束曝光。在时间T1 和T2之间，像素数据可被读出并通过A/D转换器处理成数字形式(行的阴影区 域)，然后进行复位(R)以准备行00～09的再次曝光。第一帧F1可以由行00～09 的从时间T0至T2的像素数据形成。以与针对第一帧F1相似的方式，各行在同 一时间T2开始曝光，并且在同一时间T3结束曝光。在时间T3和T4之间，像 素数据可被读出并通过A/D转换器处理成数字形式(行的阴影区域)，然后进 行复位(R)以准备行的再次曝光，等等。第二帧F2可以由行00～09的从时间T2 至T4的像素数据形成。帧F3和F4遵循相同的模式。
图像传感器时序图进一步示出图像传感器的全局快门模式定时可以如 何与白光(WL)和有色光(CL)之间的切换定时同步或不同步。如图3A和3B所 示，光源22可以在第一时间同时地关闭WL并且开启CL，随后在比第一时间 晚的第二时间同时地开启WL并且关闭CL。这种开启/关闭可以以与图像传感 器帧形成的频率相对应的光定时频率发生。然而，如光定时序列302～308所 示，WL和CL的开启/关闭可能与图像传感器定时不同步。
现在参考图3A，理想光定时302示出光源22在WL和CL之间进行切换的 理想时间T(理想)。T(理想)可以例如是T1和T2之间约一半，即T1+(T2-T1)/2。 当在T(理想)处检测到WL与CL之间的切换时，无需同步，因此不发送同步或 误差消息。T(理想)的中心可以在T(早)和T(晚)之间的理想窗口内。在理想时 间窗口期间将光源从WL切换到CL或从CL切换到WL将使得图像帧不会被破 坏并且不会向光源22发送误差消息50。理想时间窗口可以是行00～09中的像 素数据被读出并复位、并且发生消隐的时间。
继续图3A，早光源定时304A示出光源22在WL和CL之间进行切换的早 时间T(早)。T(早)可以例如大于T1且小于T(理想)。T(早)的中心可以在T(理想) 和T(边缘)之间的早窗口内。在早时间窗口期间将光源从WL切换到CL或者反 之亦然将使得图像帧不会被破坏并且向光源22发送小误差消息50。如果成像 系统10的资源低于预定阈值，则该成像系统10可以强制校正光定时。然而， 行00～09都不会受到影响，这是因为行00～09都没有曝光。
还继续图3A，边缘光源定时306A示出光源22在WL和CL之间进行切换 的边缘时间T(边缘)。T(边缘)可以例如大于T1且小于T(早)。T(边缘)可以等于 T1。当光源22在时间T(边缘)或更早时间切换时，将发生图像破坏。例如， 如果切换定时在如同步光源定时308A所示的T(同步)处，则行00～09将接收包 括WL和CL这两者的混合光。因此，如果光源切换发生在T(边缘)或更早时间， 则可以向光源22发送大误差消息50。不管成像系统10的资源如何，该成像系 统10都可以强制校正光定时。
现在参考图3B，再次示出理想光定时302以供参考。晚光源定时304B示 出光源22在WL和CL之间进行切换的晚时间T(晚)。T(晚)可以例如大于T(理 想)且小于T2。T(晚)的中心可以在T(理想)和T(边缘)之间的晚窗口内。在晚时 间窗口期间将光源从WL切换到CL或者从CL切换到WL将使得图像帧不会被 破坏并且向光源22发送小误差消息50。如果成像系统10的资源低于预定阈值， 则该成像系统10可以强制校正光定时。然而，行00～09都不会受到影响，这 是因为行00～09都没有曝光。
还继续图3B，边缘光源定时306B示出光源22在WL和CL之间进行切换的 边缘时间T(边缘)。T(边缘)可以例如大于T(晚)且小于T2。T(边缘)可以等于 T2。当光源22在时间T(边缘)或更晚时间切换时，将发生图像破坏。例如， 如果切换定时在如同步光源定时308B所示的T(同步)处，则行00～09将接收包 括WL和CL这两者的混合光。因此，如果光源切换发生在T(边缘)或更晚时间， 则可向光源22发送大误差消息50。不管成像系统10的资源如何，该成像系统 10都可以强制校正光定时。
卷帘快门模式1
现在参考图4A和4B，成像系统10被配置为在第一“卷帘快门模式”下 以降低的有效帧速率操作图像传感器16。在第一卷帘快门模式中，视频帧 F1～F4由各行00～09中的像素曝光形成。与全局快门模式相比，各行按顺序在 不同时间开始曝光，其中行00在时间T0开始曝光，行09在时间T1结束曝光。 像素数据可以在各行曝光完成后读出。同样，在各行被读出之后，随后发生 复位，其中在时间T2处，行09完成读出并复位。第一帧F1可以由行00～09的 从时间T0至时间T1的像素数据形成。然而，在该示例中，很难在不破坏来自 第二帧F2的一些图像数据行的情况下对光源切换进行定时。因此，在帧F2 内的一部分时间期间和/或在第一帧F1的一些行的消隐区期间，光源22可以 如下所述进行切换。由于在行00～09中的至少一些行的曝光期间使用WL和 CL的混合，因此第二帧F2可被丢弃。帧F3和F4遵循相同的模式。
图像传感器时序图进一步示出图像传感器的第一卷帘快门模式定时可 以如何与白光(WL)和有色光(CL)之间的切换定时同步或不同步。如图4A和 4B所示，光源22可以在第一时间同时地关闭WL并且开启CL，随后在比第一 时间晚的第二时间同时地开启WL并且关闭CL。这种开启/关闭可以以与图像 传感器帧形成的频率相对应的光定时频率发生。然而，如光定时序列402～408 所示，WL和CL的开启/关闭可以与图像传感器定时不同步。
现在参考图4A，理想光定时402示出光源22在WL和CL之间进行切换的 理想时间T(理想)。T(理想)可以例如是T1和T2之间约一半，即T1+(T2-T1)/2。 当在T(理想)处检测到WL与CL之间的切换时，无需同步，因此不发送同步或 误差消息。T(理想)的中心可以在T(早)和T(晚)之间的理想窗口内。在理想时 间窗口期间将光源从WL切换到CL或者从CL切换到WL将使得图像帧不会被 破坏并且不会向光源22发送误差消息50。行00～09可以正在T(理想)处或在理 想窗口期间曝光，并正在接收WL和CL的混合。然而，帧F2中的像素数据将被丢弃。
继续图4A，早光源定时404A示出光源22在WL和CL之间进行切换的早 时间T(早)。T(早)可以例如大于T1且小于T(理想)。T(早)的中心可以在T(理想) 和T(边缘)之间的早窗口内。在早窗口期间将光源从WL切换到CL或者从CL 切换到WL将使得图像帧不会被破坏并且向光源22发送小误差消息50。如果 成像系统10的资源低于预定阈值，则该成像系统10可以强制校正光定时。F1 中的行00～09都不会曝光于WL和CL的混合。
还继续图4A，边缘光源定时406A示出光源22在WL和CL之间进行切换 的边缘时间T(边缘)。T(边缘)可以例如大于T1且小于T(早)。T(边缘)可以等于 T1。当光源22在时间T(边缘)或更早时间切换时，将发生图像破坏。例如， 在T(边缘)处，行09可能开始接收WL和CL的混合。如果切换定时在如同步光 源定时408A所示的T(同步)处，则行09将接收包括WL和CL这两者的混合光。 因此，如果光源切换发生在T(边缘)或更早时间，则可以向光源22发送大误差 消息50。不管成像系统10的资源如何，该成像系统10都可以强制校正光定时。
现在参考图4B，再次示出理想光定时402以供参考。晚光源定时404B示 出光源22在WL和CL之间进行切换的晚时间T(晚)。T(晚)可以例如大于T(理 想)且小于T2。T(晚)的中心可以在T(理想)和T(边缘)之间的晚窗口内。在晚时 间窗口期间将光源从WL切换到CL或者从CL切换到WL将使得图像帧不会被 破坏并且向光源22发送小误差消息50。如果成像系统10的资源低于预定阈值， 则该成像系统10可以强制校正光定时。F3中的行00～09都不会曝光于WL和 CL的混合。
还继续图4B，边缘光源定时406B示出光源22在WL和CL之间进行切换的 边缘时间T(边缘)。T(边缘)可以例如大于T(晚)且小于T2。T(边缘)可以等于 T2。当光源22在时间T(边缘)或更晚时间切换时，将发生图像破坏。例如， 在T(边缘)处，行00可能开始接收WL和CL的混合。如果切换定时在如同步光 源定时408B所示的T(同步)处，则行00将接收包括WL和CL这两者的混合光。 因此，如果光源切换发生在T(边缘)或更晚时间，则可以向光源22发送大误差 消息50。不管成像系统10的资源如何，该成像系统10都可以强制校正光定时。
卷帘快门模式2
现在参考图5A和5B，成像系统10被配置为在第二“卷帘快门模式”下 以由于额外的合并和消隐而降低的有效分辨率操作图像传感器16。在第二卷 帘快门模式中，视频帧F1～F4由各行00～09中的像素曝光形成。与第一卷帘快 门模式类似，各行按顺序在不同时间开始曝光，其中行00在时间T0开始曝光， 行04在时间T1结束曝光。像素数据可以在各行曝光完成后读出。行05～09可 以通过垂直合并处理与行00～04组合。第一帧F1可以由行00～09的从时间T0 至时间T1的像素数据形成。然而，由于合并处理，在不破坏降低分辨率的图像数据的情况下，帧F1时间和帧F2时间的与曝光行05-09相关联的一部分可 能与光源切换的时间重叠。因此，在帧F1和帧F2内的一部分时间期间，光源 22可以如下所述进行切换。
图像传感器时序图进一步示出图像传感器的第二卷帘快门模式定时可 以如何与白光(WL)和有色光(CL)之间的切换定时同步或不同步。如图5A和 5B所示，光源22可以在第一时间同时地关闭WL并且开启CL，随后在比第一 时间晚的第二时间同时地开启WL并且关闭CL。这种开启/关闭可以发生在与 图像传感器帧形成的频率相对应的光定时频率处。然而，如光定时序列 502～508所示，WL和CL的开启/关闭可以与图像传感器定时不同步。
现在参考图5A，理想光定时502示出光源22在WL和CL之间进行切换的 理想时间T(理想)。T(理想)可以例如是T1和T2之间约一半处，即T1+(T2-T1) /2。当在T(理想)处检测到WL与CL之间的切换时，无需同步，因此不发送同 步或误差消息。T(理想)的中心可以在T(早)和T(晚)之间的理想窗口内。在理 想时间窗口期间将光源从WL切换到CL或者从CL切换到WL将使得图像帧不 会被破坏并且不会向光源22发送误差消息50。行00～04可以正在T(理想)处或 在理想窗口期间曝光，并接收WL和CL的混合。然而，像素数据将在行00～04 曝光以形成帧F2之前进行复位。
继续图5A，早光源定时504A示出光源22在WL和CL之间进行切换的早 时间T(早)。T(早)可以例如大于T1且小于T(理想)。T(早)的中心可以在T(理想) 和T(边缘)之间的早窗口内。在早时间窗口内将光源从WL切换到CL或者从 CL切换到WL将使得图像帧不会被破坏并且向光源22发送小误差消息50。如 果成像系统10的资源低于预定阈值，则该成像系统10可以强制校正光定时。 F1中的行00～04都不会曝光于WL和CL的混合。
还继续图5A，边缘光源定时506A示出光源22在WL和CL之间进行切换 的边缘时间T(边缘)。T(边缘)可以例如大于T1且小于T(早)。T(边缘)可以等于 T1。当光源22在时间T(边缘)或更早时间切换时，将发生图像破坏。例如， 在T(边缘)处，行04可以开始接收WL和CL的混合。如果切换定时在如同步光 源定时508A所示的T(同步)处，行04将接收包括WL和CL这两者的混合光。 因此，如果光源切换发生在T(边缘)或更早时间，则可以向光源22发送大误差 消息50。不管成像系统10的资源如何，该成像系统10都可以强制校正光定时。
现在参考图5B，再次示出理想光定时502以供参考。晚光源定时404B示 出光源22在WL和CL之间进行切换的晚时间T(晚)。T(晚)可以例如大于T(理 想)且小于T2。T(晚)的中心可以在T(理想)和T(边缘)之间的晚窗口内。在晚时 间窗口期间将光源从WL切换到CL或者从CL切换到WL将使得图像帧不会被 破坏并且向光源22发送小误差消息50。如果成像系统10的资源低于预定阈值， 则该成像系统10可以强制校正光定时。F2中的行00～04都不会曝光于WL和 CL的混合。
还继续图5B，边缘光源定时506B示出光源22在WL和CL之间进行切换的 边缘时间T(边缘)。T(边缘)可以例如大于T(晚)且小于T2。T(边缘)可以等于 T2。当光源22在时间T(边缘)或更晚时间切换时，将发生图像破坏。例如， 在T(边缘)处，行00可能开始接收WL和CL的混合。如果切换定时在如同步光 源定时508B所示的T(同步)处，则行00将接收包括WL和CL这两者的混合光。 因此，如果光源切换发生在T(边缘)或更晚时间，则可以向光源22发送大误差 消息50。不管成像系统10的资源如何，该成像系统10都可以强制校正光定时。
现在参考图6，提供了用于使光源22与图像传感器16同步的方法。该方 法是在成像系统10中执行的，其中该成像系统10包括具有图像传感器16和光 检测器单元18的照相机单元14。成像系统10包括同步单元20，该同步单元20 被配置为在光源22的定时与图像传感器16的定时之间的差超过预定阈值的 情况下致动光源22以使光源22的操作与图像传感器16的操作同步。光源22被 配置为从发送WL切换到发送CL。
在步骤602中，图像传感器16和光源22分别开始曝光和照明。在步骤604 中，成像系统10基于图像传感器16的定时来确定切换的理想时间。该方法可 以包括确定切换的理想时间窗口。该方法可以包括确定切换的早时间和切换 的晚时间。理想窗口可以包括早时间和晚时间之间的时间段。该方法可以包 括如上所述地确定切换的早时间窗口和切换的晚时间窗口。该方法可以包括 确定切换的边缘时间，包括早边缘时间和晚边缘时间。发生消隐区的时间段 可以在早边缘时间和晚边缘时间之间。
在步骤606中，该方法继续使用例如光检测器单元18来检测在WL和CL 之间进行切换的时间。在步骤608中，该方法继续判断切换是在理想窗口内 进行、在早窗口内进行、在晚窗口内进行、还是在边缘时间外进行的。如果 切换是在理想窗口内进行的，则处理返回602。如果切换是在理想窗口外进 行的(例如，在早窗口或晚窗口中进行的)，则处理可以返回602并发送小误差 消息。如果切换是在早边缘时间和晚边缘时间外进行的，则发送大误差消息 并在步骤610处使光源22与图像传感器16同步。
在该方法的一个方面，该方法可以包括在步骤612处确定成像系统10的 处理需求的步骤。在这种情况下，该方法包括判断处理需求是否超过预定阈 值(例如为高)的步骤。如果处理需求高并且切换发生在理想窗口外(例如，发 生在早窗口或晚窗口中)，则不致动同步单元20，并且图像传感器16和光源 22继续以其当前定时工作。然而，如果处理需求低(例如，低于针对处理需 求确立的预定阈值)，则致动同步单元20。
虽然这里例示并描述了具体实施例，但应当理解，在不偏离所要求保护 的主题的的精神和范围的情况下，可以进行各种其它改变和修改。此外，尽 管这里描述了所要求保护的主题的各个方面，但这些方面无需组合使用。因 此，所附权利要求书意在涵盖所要求保护的主题的范围内的所有这类改变和 修改。

Claims (15)

1.一种被配置为生成图像帧的成像系统，包括：
照相机单元，其具有图像传感器、光检测器单元和照相机控制器单元；
光源，其被配置为在发送白光和发送有色光之间进行切换，
其中，所述光检测器单元用于检测所述光源切换的实际时间，并将所述实际时间发送至所述照相机控制器单元，
其中，所述照相机控制器单元用于对要切换所述光源的理想时间以及所述光源切换的实际时间进行处理以确定误差量，所述理想时间与所述图像传感器的定时相对应；以及
同步单元，用于基于所述误差量不定期地使发送白光和发送有色光之间的切换同步。
2.根据权利要求1所述的成像系统，其中，所述理想时间包括在所述图像传感器的定时的消隐区期间的时间窗口。
3.根据权利要求1所述的成像系统，其中，所述同步单元在所述成像系统的处理需求小于预定处理阈值的情况下从所述照相机单元向所述光源发送同步消息以进行同步。
4.根据权利要求2所述的成像系统，其中，要切换所述光源的理想时间包括多个预定定时窗口。
5.根据权利要求4所述的成像系统，其中，在所述误差量在第一定时窗口内的情况下，所述同步单元不发送同步消息。
6.根据权利要求5所述的成像系统，其中，在所述误差量在所述第一定时窗口外并且所述成像系统的处理需求小于预定处理阈值的情况下，所述同步单元发送同步消息。
7.根据权利要求6所述的成像系统，其中，在所述误差量在比所述第一定时窗口大的第二定时窗口外的情况下，所述同步单元发送同步消息。
8.根据权利要求1所述的成像系统，其中，所述图像传感器使用卷帘快门读出来进行曝光。
9.根据权利要求8所述的成像系统，其中，所述图像传感器包括至少具有1920列和1080行的有效像素的矩阵。
10.根据权利要求1所述的成像系统，其中，所述光检测器单元被设置在所述照相机单元中。
11.根据权利要求1所述的成像系统，其中，所述光源是第一光源和第二光源。
12.根据权利要求11所述的成像系统，其中，所述第一光源包括白光源，以及所述第二光源包括近红外光源。
13.一种使成像系统中的光源与图像传感器同步的方法，所述方法包括：
提供具有所述图像传感器和光检测器单元的照相机单元；
提供被配置为致动所述光源的同步单元，所述光源在白光和有色光之间切换；
确定图像帧形成期间的消隐区；以及
检测切换是否在所述消隐区的预定时间段内进行，并且在所述切换发生在所述预定时间段外的情况下使所述光源与所述图像传感器同步。
14.根据权利要求13所述的方法，还包括确定所述成像系统的处理需求的步骤。
15.根据权利要求14所述的方法，还包括在所述切换发生在所述预定时间段内、并且所述成像系统的处理需求低于预定阈值的情况下使所述光源与所述图像传感器同步的步骤。
CN202010229025.4A 2019-03-28 2020-03-27 用于使光源与图像传感器同步的方法和系统 Pending CN111757016A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/368,514 US10742858B1 (en) 2019-03-28 2019-03-28 System and method for prioritizing the synchronization of a light source with image sensor
US16/368,514 2019-03-28

Publications (1)

Publication Number Publication Date
CN111757016A true CN111757016A (zh) 2020-10-09

Family

ID=69779874

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010229025.4A Pending CN111757016A (zh) 2019-03-28 2020-03-27 用于使光源与图像传感器同步的方法和系统

Country Status (3)

Country Link
US (2) US10742858B1 (zh)
EP (1) EP3714760B1 (zh)
CN (1) CN111757016A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261309B (zh) * 2020-10-22 2022-04-08 北京嘀嘀无限科技发展有限公司 基于ims摄像头和dms摄像头的拍摄方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2229870A1 (en) * 2009-03-18 2010-09-22 FUJIFILM Corporation Endoscope system, endoscope video processor and method of driving endoscope system
WO2011119134A1 (en) * 2010-03-24 2011-09-29 Stryker Corporation Method and apparatus for wirelessly synchronizing image shutter of image sensor and light source
JP5036402B2 (ja) * 2007-05-25 2012-09-26 オリンパス株式会社 内視鏡装置
US20160360948A1 (en) * 2014-07-07 2016-12-15 Olympus Corporation Endoscope system
JP2017086788A (ja) * 2015-11-17 2017-05-25 Hoya株式会社 光源装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3164609B2 (ja) 1990-10-31 2001-05-08 オリンパス光学工業株式会社 内視鏡装置
US5749830A (en) 1993-12-03 1998-05-12 Olympus Optical Co., Ltd. Fluorescent endoscope apparatus
US7179222B2 (en) 1996-11-20 2007-02-20 Olympus Corporation Fluorescent endoscope system enabling simultaneous achievement of normal light observation based on reflected light and fluorescence observation based on light with wavelengths in infrared spectrum
WO2005112737A1 (ja) 2004-05-24 2005-12-01 Olympus Corporation 内視鏡用光源装置
US8310530B2 (en) * 2006-05-19 2012-11-13 Avantis Medical Systems, Inc. Device and method for reducing effects of video artifacts
US7949249B2 (en) * 2007-11-28 2011-05-24 Bowei Gai Software based photoflash synchronization of camera equipped portable media device and external lighting apparatus
US9459415B2 (en) 2008-11-18 2016-10-04 Stryker Corporation Endoscopic LED light source having a feedback control system
JP5296930B2 (ja) * 2011-06-21 2013-09-25 オリンパスメディカルシステムズ株式会社 医療機器
CN104168815B (zh) * 2012-07-24 2016-08-24 奥林巴斯株式会社 控制装置和摄像系统
JP6234212B2 (ja) 2013-12-19 2017-11-22 富士フイルム株式会社 内視鏡用光源装置、およびこれを用いた内視鏡システム
US10609265B2 (en) * 2017-01-26 2020-03-31 Qualcomm Incorporated Methods and apparatus for synchronizing camera flash and sensor blanking
CN109474788B (zh) * 2017-09-08 2021-11-30 超威半导体公司 用于彩色和ir相机传感器的照明控制技术

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5036402B2 (ja) * 2007-05-25 2012-09-26 オリンパス株式会社 内視鏡装置
EP2229870A1 (en) * 2009-03-18 2010-09-22 FUJIFILM Corporation Endoscope system, endoscope video processor and method of driving endoscope system
WO2011119134A1 (en) * 2010-03-24 2011-09-29 Stryker Corporation Method and apparatus for wirelessly synchronizing image shutter of image sensor and light source
CN102939041A (zh) * 2010-03-24 2013-02-20 斯特赖克公司 用于使图像传感器的图像快门与光源无线地同步的方法和装置
US20160360948A1 (en) * 2014-07-07 2016-12-15 Olympus Corporation Endoscope system
JP2017086788A (ja) * 2015-11-17 2017-05-25 Hoya株式会社 光源装置

Also Published As

Publication number Publication date
US10742858B1 (en) 2020-08-11
EP3714760B1 (en) 2023-12-06
US11233927B2 (en) 2022-01-25
EP3714760A1 (en) 2020-09-30
US20200336634A1 (en) 2020-10-22

Similar Documents

Publication Publication Date Title
US9029755B2 (en) Imaging system with illumination controller to variably control illumination light
US7907170B2 (en) Electronic endoscope
EP2664268A1 (en) Medical device
EP2742849B1 (en) Endoscope apparatus and image pickup control method thereof
JPH04132390A (ja) 色ずれ補正装置
EP3100667B1 (en) Endoscope apparatus and image pickup control method thereof
US20210228067A1 (en) Medical imagaing system
CN111757016A (zh) 用于使光源与图像传感器同步的方法和系统
JP7230174B2 (ja) 内視鏡システム、画像処理装置および画像処理装置の制御方法
US9113045B2 (en) Electronic endoscopic apparatus and control method thereof
US20180064319A1 (en) Electronic endoscope system
US20190125174A1 (en) Electronic endoscope system
US10901199B2 (en) Endoscope system having variable focal length lens that switches between two or more values
US10542866B2 (en) Medical imaging device
JP2010233939A (ja) 標識試薬投与制御方法及び装置並びに蛍光画像撮影方法及び装置
JP2007144143A (ja) 撮像システムおよび電子内視鏡システム
JP5863439B2 (ja) 内視鏡装置
JPS62111225A (ja) 電子内視鏡装置における照明光供給方法
JP4439245B2 (ja) 電子内視鏡装置
JP2023139649A (ja) 内視鏡システム及びその作動方法
JP2011212382A (ja) 電子内視鏡システム
JP2000115760A (ja) 内視鏡装置
JP2014083375A (ja) 電子内視鏡用光源装置および電子内視鏡システム
JPH02283348A (ja) 電子内視鏡装置
JP2011036319A (ja) 内視鏡用光源装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination