CN114338970A - 图像传感装置以及图像传感方法 - Google Patents

图像传感装置以及图像传感方法 Download PDF

Info

Publication number
CN114338970A
CN114338970A CN202110682656.6A CN202110682656A CN114338970A CN 114338970 A CN114338970 A CN 114338970A CN 202110682656 A CN202110682656 A CN 202110682656A CN 114338970 A CN114338970 A CN 114338970A
Authority
CN
China
Prior art keywords
sensing
image
lights
reflected
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202110682656.6A
Other languages
English (en)
Inventor
印秉宏
王佳祥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Original Assignee
Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Tyrafos Semiconductor Technologies Co Ltd filed Critical Guangzhou Tyrafos Semiconductor Technologies Co Ltd
Publication of CN114338970A publication Critical patent/CN114338970A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/05—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances characterised by the image sensor, e.g. camera, being in the distal end portion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提出一种图像传感装置以及图像传感方法。图像传感装置适于操作在无环境光情境下传感目标物。图像传感装置包括调变光源、图像传感器以及处理电路。调变光源包括多个光源。图像传感器包括多个传感像素。图像传感器为无色彩滤光器传感器。在一个图框期间中，多个光源以不同时序发射多个传感光，并且多个传感像素以不同时序传感由多个传感光经由目标物反射的多个反射光。处理电路合成对应于多个反射光的一部分的多个第一图像，以产生一个完整传感图像。处理电路根据多个反射光的另一部分取得目标物的深度信息。本发明的图像传感装置以及图像传感方法可提供高解析度的图像及深度信息的传感结果。

Description

图像传感装置以及图像传感方法
技术领域
本发明涉及一种传感装置，尤其涉及一种图像传感装置以及图像传感方法。
背景技术
目前，RGB-D图像传感器的应用越来越广泛。然而，一般的RGB-D图像传感器具有图像解析度不佳的情况。从另一角度而言，一般的RGB-D图像传感器若要提升图像解析度，则必须增加传感像素的密度，进而会造成元件成本上升。并且，在另一方面，RGB-D图像传感器应用在医疗领域的无环境光情境下(例如手术内视镜)，也是面临图像解析度不佳以及元件成本过高的问题。有鉴于此，以下将提出几个实施例的解决方案。
发明内容
本发明针对一种图像传感装置以及图像传感方法，可提供高解析度的图像及深度信息的传感结果。
根据本发明的实施例，本发明的图像传感装置，适于操作在无环境光情境下传感目标物。图像传感装置包括调变光源、图像传感器以及处理电路。调变光源包括多个光源。图像传感器包括多个传感像素。图像传感器为无色彩滤光器传感器。处理电路耦接调变光源以及图像传感器，并且用以操作调变光源以及图像传感器。在一个图框期间中，多个光源以不同时序发射多个传感光，并且多个传感像素以不同时序传感由多个传感光经由目标物反射的多个反射光。处理电路合成对应于多个反射光的一部分的多个第一图像，以产生一个完整传感图像。处理电路根据多个反射光的另一部分取得目标物的深度信息。
根据本发明的实施例，本发明的图像传感方法适于图像传感装置操作在无环境光情境下传感目标物。图像传感装置包括调变光源以及图像传感器。图像传感方法包括：在一个图框期间中，通过调变光源的多个光源以不同时序发射多个传感光；在所述图框期间中，通过图像传感器的多个传感像素以不同时序传感由多个传感光经由目标物反射的多个反射光；以及合成对应于多个反射光的一部分的多个第一图像，以产生一个完整传感图像，并且根据多个反射光的另一部分取得目标物的深度信息。
基于上述，本发明的图像传感装置以及图像传感方法，可在一个图框期间中，通过无色彩滤光器的图像传感器取得具有高图像解析度的目标物的完整传感图像以及目标物的深度信息。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是依照本发明的一实施例的一种图像传感装置的电路示意图；
图2是依照本发明的一实施例的图像传感的情境示意图；
图3A、图3B及图3C是依照本发明的一实施例的多个传感图像的示意图；
图3D是依照本发明的一实施例的完整传感图像的示意图；
图3E是依照本发明的一实施例的深度信息的示意图；
图4是依照本发明的一实施例的一种图像传感方法的流程图；
图5是依照本发明的一实施例的操作时序图；
图6是依照本发明的另一实施例的操作时序图。
附图标记说明
100:电子装置；
110:处理电路；
120:图像传感器；
130:调变光源；
200:目标物；
SL:传感光；
RL:反射光；
301、302、303:传感图像；
301_1～301_N、302_1～302_N、303_1～303_N、P_1～P_N:像素；
304:完整传感图像；
304_1～304_3:子像素；
305:深度信息；
305_1～305_N:测距结果；
S410～S440:步骤；
FP:图框期间；
SL_R、SL_G、SL_B、SL_R’、SL_G’、SL_B’、SL_IR1、SL_IR2、SL_IR3:发光时序；
VP1、VP2、VP3、IP:子传感期间。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。
图1是依照本发明的一实施例的一种图像传感装置的电路示意图。参考图1，图像传感装置100包括处理电路110、图像传感器120以及调变光源130。处理电路110耦接图像传感器120以及调变光源130。处理电路110可为图像传感器的内部图像处理单元或是图像传感器外部的终端装置的处理单元，本发明并不加以限制。处理电路110可例如包括中央处理单元(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)或包括其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、可程序化逻辑装置(Programmable LogicDevice，PLD)、其他类似处理装置或这些装置的组合。处理电路110可用于产生驱动信号、进行信号处理以及执行相关运算功能。值得注意的是，本实施例的图像传感装置100适于进行图像传感以及测距操作，因此处理电路110可进行相关图像处理及参数运算，以实现例如生成传感图像、合成传感图像及取得深度信息(距离参数)的操作。
在本实施例中，图像传感器120可例如为一种RGB-D图像传感器，但本发明并不限于此。图像传感器120可包括传感阵列，并且传感阵列可包括阵列排列的N个传感像素，其中N为正整数。值得注意的是，图像传感器120为无色彩滤光器(Color filter-free)传感器。在本实施例中，调变光源130可包括多个光源，并且多个光源可分别对应于不同波长。多个光源可包括激光光源。多个光源可包括可见光(Visible light)光源以及不可见光光源(Invisible light)。可见光光源可例如包括红色(Red)光光源、绿色(Green)光光源以及蓝色(Blue)光光源，并且不可见光光源例如为红外光(Infrared)光源。然而，本发明并不限制可见光光源及不可见光光源的颜色类型或波长类型。另外，在本发明的一些实施例中，多个光源所提供的多个传感光的至少一部分可具有不同偏极化。调变光源130可依据不同传感或照明需求来调变多个传感光。
图2是依照本发明的一实施例的图像传感的情境示意图。参考图1以及图2，本实施例的图像传感装置100适于操作在无环境光情境下传感目标物200，例如可应用于手术内视镜。在本实施例中，处理电路110可控制调变光源130以不同时序朝目标物200发射多个传感光SL，并且可控制图像传感器120以不同时序传感由多个传感光SL经由目标物200的表面反射的多个反射光RL。值得注意的是，本实施例的多个反射光是指对应于图像传感器120在不同时间分别传感到的传感图像。本实施例的调变光源130可发射经调变的多个传感光SL，并且多个传感光SL可分别为不同颜色或具有不同波长的可见光。如此一来，多个反射光RL亦可分别为不同颜色或具有不同波长。处理电路110可依据多个反射光RL来生成多个传感图像，并且可接着将多个传感图像合成一个完整传感图像，其中多个传感图像的每一个的多个像素(pixel)可作为完整传感图像的多个像素中的多个子像素(sub-pixel)。因此，处理电路110可产生具有高图像解析度的完整传感图像。另外，多个传感光SL中的其中之一可为不可见光，并且处理电路110可将图像传感器120传感此多个传感光SL中的其中之一的传感结果作为距离传感结果，以取得具有高图像解析度的目标物200的深度信息。
图3A、图3B及图3C是依照本发明的一实施例的多个传感图像的示意图。图3D是依照本发明的一实施例的完整传感图像的示意图。图3E是依照本发明的一实施例的深度信息的示意图。先参考图1至图3C，举例而言，处理电路110可操作调变光源130中的红色光光源朝目标物200发射红色光，并且操作图像传感器120的N个传感像素(例如400×400)进行传感，以产生如图3A所示的传感图像301。对此，传感图像301同样具有N个像素，并且图像解析度可为400×400。由于在无环境光情境下，目标物200被照射以红色光，因此传感图像301的像素301_1～301_N的多个像素值可为全部对应于红色光的传感结果。接着，处理电路110可操作调变光源130中的绿色光光源朝目标物200发射绿色光，并且操作图像传感器120的N个传感像素(例如400×400)进行传感，以产生如图3B所示的传感图像302。对此，传感图像302同样具有N个像素，并且图像解析度可为400×400。由于在无环境光情境下，目标物200被照射以绿色光，因此传感图像302的像素302_1～302_N的多个像素值可为全部对应于绿色光的传感结果。接着，处理电路110可操作调变光源130中的蓝色光光源朝目标物200发射蓝色光，并且操作图像传感器120的N个传感像素(例如400×400)进行传感，以产生如图3C所示的传感图像303。对此，传感图像303同样具有N个像素，并且图像解析度可为400×400。由于在无环境光情境下，目标物200被照射以蓝色光，因此传感图像303的像素303_1～303_N的多个像素值可为全部对应于蓝色光的传感结果。
搭配参考图3D，在此范例中，处理电路110可将传感图像301～303(即多个第一图像)合成为如图3D所示的一个完整传感图像304。值得注意的是，完整传感图像304同样具有N个像素，并且图像解析度可为400×400。完整传感图像304的多个像素P_1～P_N的每一个可包括多个子像素304_1～304_3。对此，处理电路110可将传感图像301的像素301_1～301_N的多个像素值每一个作为完整传感图像304的多个像素P_1～P_N的每一个子像素304_1的像素值。处理电路110可将传感图像302的像素302_1～302_N的多个像素值每一个作为完整传感图像304的多个像素P_1～P_N的每一个子像素304_2的像素值。处理电路110可将传感图像303的像素303_1～303_N的多个像素值每一个作为完整传感图像304的多个像素P_1～P_N的每一个子像素304_3的像素值。因此，图像传感装置100可取得具有高图像解析度的完整传感图像304。
搭配参考图3E，在此范例中，处理电路110可操作调变光源130中的红外光光源朝目标物200发射红外光，并且操作图像传感器120的N个传感像素(例如400×400)进行传感，以产生如图3E所示的深度信息305。对此，深度信息305可对应于N个传感像素的测距结果，并且深度信息305的图像解析度可为400×400。由于在无环境光情境下，目标物200被照射以红外光，因此深度信息305可具有对应于N个传感像素的测距结果305_1～305_N。因此，图像传感装置100可取得具有高图像解析度的深度信息305。
值得注意的是，一般的具有色彩滤光器以及测距功能的图像传感器的传感阵列可例如具有400×400个传感像素。对此，一般的图像传感器的传感阵列中具有红色滤光器的传感像素为100×100个，具有绿色滤光器的传感像素为100×100个，具有蓝色滤光器的传感像素为100×100个，并且具有红外色滤光器的传感像素为100×100个。如此一来，经上述传感图像合成后，一般的图像传感器生成的一个完整传感图像的图像解析度为100×100，并且一般的图像传感器生成的深度信息的图像解析度为100×100。也就是说，相较于上述实施例说明，本发明的图像传感装置100，在图像传感器的传感阵列的传感像素密度不变的条件下，可取得具有较高图像解析度的完整传感图像及深度信息。并且，相较于上述实施例说明，本发明的图像传感装置100由于无需设置色彩滤光器，因此还可具有降低图像传感器的制程成本的优点。
图4是依照本发明的一实施例的一种图像传感方法的流程图。参考图1及图4，图1的图像传感装置100可执行以下步骤S410～S440，以实现如上述实施例说明的图像传感功能。在步骤S410，在一个图框期间中，图像传感装置100可通过调变光源130的多个光源以不同时序发射多个传感光。在步骤S420，在所述图框期间中，图像传感装置100可通过图像传感器的多个传感像素以不同时序传感由所述多个传感光经由目标物反射的多个反射光。在步骤S430，图像传感装置100可合成对应于所述多个反射光的一部分的多个第一图像，以产生一个完整传感图像。在步骤S440，图像传感装置100可根据所述多个反射光的另一部分取得所述目标物的深度信息。
图5是依照本发明的一实施例的操作时序图。参考图1、图2至图3D及图5，调变光源130的多个光源可包括多个可见光光源以及不可见光光源。在本实施例中，多个可见光光源包括红色光光源、绿色光光源以及蓝色光光源，并且不可见光光源为红外光光源。在本实施例中，传感图像301～303的子传感期间VP1～VP3与红色光光源、绿色光光源以及蓝色光光源同步操作。深度信息305的子传感期间IP与红外光光源同步操作。在本实施例中，一个图框期间FP包括可见光传感期间以及不可见光传感期间。可见光传感期间包括子传感期间VP1～VP3，并且不可见光传感期间包括子传感期间IP。调变光源130的多个可见光光源的每一个在子传感期间VP1～VP3的对应一个子传感期间中单独开启。
举例而言，如图5所示的发光时序SL_R，红色光光源在图像传感器120的子传感期间VP1单独开启，以使图像传感器120取得传感图像301。如图5所示的发光时序SL_G，绿色光光源在图像传感器120的子传感期间VP2单独开启，以使图像传感器120取得传感图像302。如图5所示的发光时序SL_B，蓝色光光源在图像传感器120的子传感期间VP3单独开启，以使图像传感器120取得传感图像303。
在本实施例中，图像传感装置100可采用间接飞时测距(Indirect Time ofFlight，I-ToF)传感技术。如图5所示的发光时序SL_IR1，调变光源130的红外光光源在图像传感器120的传感期间IP同步开启，其中红外光光源为间隔发光以依序发射多个脉冲光，以使图像传感器120取得深度信息305。在一实施例中，图像传感装置100可采用直接飞时测距(Direct Time of Flight，D-ToF)传感技术。如图5所示的发光时序SL_IR2，调变光源130的红外光光源在图像传感器120的传感期间IP同步开启，其中红外光光源发射一个脉冲光，以使图像传感器120取得深度信息305。在另一实施例中，图像传感装置100可采用结构光(Structured Light)测距传感技术。如图5所示的发光时序SL_IR3，调变光源130的红外光光源在图像传感器120的传感期间IP同步开启，其中红外光光源持续发射一个结构光，以使图像传感器120取得深度信息305。
在本实施例中，子传感期间VP1～VP3、IP之间未时序重叠。特别是，图像传感器120的多个传感像素在可见光传感期间中的子传感期间VP1～VP3分别传感多个反射光，其中子传感期间VP1～VP3之间未时序重叠。另外，本实施例的可见光传感期间的时间长度(例如子传感期间VP1～VP3的时间长度总合)可小于1/25秒，以使传感过程中的观看者可因视觉暂留效果而不会受到不同颜色光源的发光切换影响。
图6是依照本发明的另一实施例的操作时序图。参考图1及图6，在本发明的另一些实施例中，图像传感器120所取得的图像不限于RGB图像。在一些特殊应用情境中，例如内视镜拍摄特定人体器官或肿瘤等，使用者需要拍摄具有特定显影效果的图像时。调变光源130可发射不同颜色的传感光(照明光)，例如黄色光。因此，如图6所示的发光时序SL_R’以及发光时序SL_G’，红色光光源以及绿色光光源在图像传感器120的子传感期间VP1同时开启，以使图像传感器120取得对应于整体像素值为黄色像素值的传感图像。如图6所示的发光时序SL_G’，绿色光光源在图像传感器120的子传感期间VP2单独开启，以使图像传感器120取得对应于整体像素值为绿色像素值的传感图像。如图6所示的发光时序SL_B’，蓝色光光源在图像传感器120的子传感期间VP3单独开启，以使图像传感器120取得对应于整体为整体像素值为蓝色像素值的传感图像。因此，本实施例的处理电路110可合成具有黄色子像素、绿色子像素以及蓝色子像素的一个完整传感图像。然而，本发明的光源开启方式并不限于上述实施例。本发明的多个可见光光源的至少两个可在子传感期间VP1、VP2、VP3的其中之任一同时开启。
综上所述，本发明的图像传感装置以及图像传感方法，可通过无色彩滤光器的图像传感器在不同时间传感由目标物被不同颜色的多个传感光照射所反射的多个反射光。本发明的图像传感装置可将对应于多个反射光的图像传感结果的多个传感图像合成为具有高图像解析度的完整传感图像，并且依据多个反射光的距离传感结果来取得目标物的深度信息。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (20)

1.一种图像传感装置，其特征在于，适于操作在无环境光情境下传感目标物，所述图像传感装置包括：
调变光源，包括多个光源；
图像传感器，包括多个传感像素，其中所述图像传感器为无色彩滤光器传感器；以及
处理电路，耦接所述调变光源以及所述图像传感器，并且用以操作所述调变光源以及所述图像传感器，
其中在一个图框期间中，所述多个光源以不同时序发射多个传感光，并且所述多个传感像素以不同时序传感由所述多个传感光经由所述目标物反射的多个反射光，
其中所述处理电路合成对应于所述多个反射光的一部分的多个第一图像，以产生一个完整传感图像，并且所述处理电路根据所述多个反射光的另一部分取得所述目标物的深度信息。
2.根据权利要求1所述的图像传感装置，其特征在于，所述多个光源包括多个可见光光源以及不可见光光源，并且所述多个第一图像以及所述深度信息的多个传感期间与所述多个可见光光源以及所述不可见光光源同步操作。
3.根据权利要求2所述的图像传感装置，其特征在于，所述多个传感光包括多个可见光以及不可见光，并且所述多个传感像素在不同期间传感由所述多个可见光以及所述不可见光经由所述目标物反射的多个第一反射光以及第二反射光，
其中所述处理电路合成对应于所述多个第一反射光的所述多个第一图像，以产生所述完整传感图像，并且所述处理电路根据所述第二反射光取得所述目标物的所述深度信息。
4.根据权利要求2所述的图像传感装置，其特征在于，所述多个可见光光源包括红色光光源、绿色光光源以及蓝色光光源，并且所述不可见光光源为红外光光源。
5.根据权利要求2所述的图像传感装置，其特征在于，所述多个传感像素在所述图框期间中的个可见光传感期间传感所述多个第一反射光，并且所述多个传感像素在所述图框期间中的个不可见光传感期间传感第二反射光，其中所述可见光传感期间与所述不可见光传感期间未重叠。
6.根据权利要求5所述的图像传感装置，其特征在于，所述多个传感像素在所述可见光传感期间中的多个子传感期间分别传感所述多个第一反射光，其中所述多个子传感期间未重叠。
7.根据权利要求5所述的图像传感装置，其特征在于，所述可见光传感期间的时间长度小于1/25秒。
8.根据权利要求2所述的图像传感装置，其特征在于，所述多个可见光光源的每一个在多个子传感期间的对应一个子传感期间中单独开启。
9.根据权利要求2所述的图像传感装置，其特征在于，所述多个可见光光源的至少两个在多个子传感期间的其中之一同时开启。
10.根据权利要求1所述的图像传感装置，其特征在于，所述多个传感光分别对应于不同波长。
11.根据权利要求1所述的图像传感装置，其特征在于，所述多个传感光的至少一部分具有不同偏极化。
12.根据权利要求1所述的图像传感装置，其特征在于，所述处理电路根据所述多个反射光的所述另一部分进行直接飞时测距运算，以取得所述深度信息。
13.根据权利要求1所述的图像传感装置，其特征在于，所述处理电路根据所述多个反射光的所述另一部分进行间接飞时测距运算，以取得所述深度信息。
14.根据权利要求1所述的图像传感装置，其特征在于，所述多个反射光的另一部分为结构光。
15.一种图像传感方法，适于图像传感装置操作在无环境光情境下传感目标物，所述图像传感装置包括调变光源以及图像传感器，其特征在于，所述图像传感方法包括：
在一个图框期间中，通过所述调变光源的多个光源以不同时序发射多个传感光；
在所述图框期间中，通过所述图像传感器的多个传感像素以不同时序传感由所述多个传感光经由所述目标物反射的多个反射光；以及
合成对应于所述多个反射光的一部分的多个第一图像，以产生一个完整传感图像，并且根据所述多个反射光的另一部分取得所述目标物的深度信息。
16.根据权利要求15所述的图像传感方法，其特征在于，所述多个光源包括多个可见光光源以及不可见光光源，并且所述多个第一图像以及所述深度信息的多个传感期间与所述多个可见光光源以及所述不可见光光源同步操作。
17.根据权利要求16所述的图像传感方法，其特征在于，所述多个传感光包括多个可见光以及不可见光，并且所述多个传感像素在不同期间传感由所述多个可见光以及所述不可见光经由所述目标物反射的多个第一反射光以及第二反射光，
其中产生所述完整传感图像以及取得所述深度信息的步骤包括：
合成对应于所述多个第一反射光的所述多个第一图像，以产生所述完整传感图像；以及
根据所述第二反射光取得所述目标物的所述深度信息。
18.根据权利要求16所述的图像传感方法，其特征在于，所述多个传感像素在所述图框期间中的一个可见光传感期间传感所述多个第一反射光，并且所述多个传感像素在所述图框期间中的一个不可见光传感期间传感第二反射光，其中所述可见光传感期间与所述不可见光传感期间未重叠。
19.根据权利要求16所述的图像传感方法，其特征在于，所述多个可见光光源的每一个在多个子传感期间的对应一个子传感期间中单独开启。
20.根据权利要求16所述的图像传感方法，其特征在于，所述多个可见光光源的至少两个在多个子传感期间的其中之一同时开启。
CN202110682656.6A 2020-09-28 2021-06-18 图像传感装置以及图像传感方法 Withdrawn CN114338970A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063084010P 2020-09-28 2020-09-28
US63/084,010 2020-09-28

Publications (1)

Publication Number Publication Date
CN114338970A true CN114338970A (zh) 2022-04-12

Family

ID=80821903

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110682656.6A Withdrawn CN114338970A (zh) 2020-09-28 2021-06-18 图像传感装置以及图像传感方法
CN202110881956.7A Active CN114339090B (zh) 2020-09-28 2021-08-02 图像感测装置及图像感测方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110881956.7A Active CN114339090B (zh) 2020-09-28 2021-08-02 图像感测装置及图像感测方法

Country Status (3)

Country Link
US (2) US11463643B2 (zh)
CN (2) CN114338970A (zh)
TW (2) TW202213978A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI819631B (zh) * 2022-05-30 2023-10-21 友達光電股份有限公司 影像感測裝置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020209A1 (en) * 2008-07-25 2010-01-28 Samsung Electronics Co., Ltd. Imaging method and apparatus
CN102036599A (zh) * 2008-03-18 2011-04-27 诺瓦达克技术公司 用于组合的全色反射和近红外成像的成像系统
US20120220823A1 (en) * 2011-02-25 2012-08-30 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
WO2014032386A1 (zh) * 2012-09-03 2014-03-06 广州市盛光微电子有限公司 一种应用快速开关光源的高速摄像方法及应用装置
US20160022126A1 (en) * 2013-03-15 2016-01-28 Ajay RAMESH Endoscopic light source and imaging system
US20160134792A1 (en) * 2014-11-06 2016-05-12 Fujifilm Corporation Light source device for endoscope, endoscope system, and method for operating endoscope system
CN111208528A (zh) * 2018-11-16 2020-05-29 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8605177B2 (en) * 2009-09-16 2013-12-10 Altasens, Inc. Image sensor with wide dynamic range
CN102487436A (zh) * 2010-12-01 2012-06-06 英属开曼群岛商恒景科技股份有限公司 感测像素阵列及感测装置
KR101887988B1 (ko) * 2012-07-03 2018-08-14 삼성전자 주식회사 이미지 센서 칩, 이의 동작 방법, 및 이를 포함하는 시스템
US9036065B1 (en) * 2012-08-16 2015-05-19 Rambus Inc. Shared-counter image sensor
CN105706439B (zh) * 2013-09-16 2019-06-28 超龙凯姆公司 动态、单个光电二极管像素电路及其操作方法
US10419701B2 (en) * 2017-06-26 2019-09-17 Facebook Technologies, Llc Digital pixel image sensor
CN111713101B (zh) * 2017-12-11 2022-05-13 普罗菲西公司 基于事件的图像传感器及其操作方法
EP3518529A1 (en) * 2018-01-26 2019-07-31 Prophesee Method and apparatus of processing a signal from an event-based sensor
US11202006B2 (en) * 2018-05-18 2021-12-14 Samsung Electronics Co., Ltd. CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
TWI747052B (zh) * 2018-10-24 2021-11-21 大陸商廣州印芯半導體技術有限公司 具有加密功能的光學感測器及影像資料加密方法
US10827135B2 (en) * 2018-11-26 2020-11-03 Bae Systems Information And Electronic Systems Integration Inc. BDI based pixel for synchronous frame-based and asynchronous event-driven readouts
WO2020129435A1 (ja) * 2018-12-18 2020-06-25 ソニーセミコンダクタソリューションズ株式会社 イメージセンサ、記録装置、リセット方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102036599A (zh) * 2008-03-18 2011-04-27 诺瓦达克技术公司 用于组合的全色反射和近红外成像的成像系统
US20100020209A1 (en) * 2008-07-25 2010-01-28 Samsung Electronics Co., Ltd. Imaging method and apparatus
US20120220823A1 (en) * 2011-02-25 2012-08-30 Samsung Electronics Co., Ltd. Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
WO2014032386A1 (zh) * 2012-09-03 2014-03-06 广州市盛光微电子有限公司 一种应用快速开关光源的高速摄像方法及应用装置
US20160022126A1 (en) * 2013-03-15 2016-01-28 Ajay RAMESH Endoscopic light source and imaging system
US20160134792A1 (en) * 2014-11-06 2016-05-12 Fujifilm Corporation Light source device for endoscope, endoscope system, and method for operating endoscope system
CN111208528A (zh) * 2018-11-16 2020-05-29 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法

Also Published As

Publication number Publication date
TWI777685B (zh) 2022-09-11
US20220103767A1 (en) 2022-03-31
CN114339090A (zh) 2022-04-12
US11463643B2 (en) 2022-10-04
US20220103770A1 (en) 2022-03-31
TW202213979A (zh) 2022-04-01
CN114339090B (zh) 2023-09-26
TW202213978A (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
CN104486986B (zh) 光不足环境中的连续视频
US10419693B2 (en) Imaging apparatus, endoscope apparatus, and microscope apparatus
CN101523990B (zh) 一种用于环境或者普通照明系统的颜色转变的方法
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
US20160317003A1 (en) Endoscope system and light source control method
CN107405056B (zh) 活体观察系统
US9113814B2 (en) Endoscope apparatus capable of providing narrow band imaging and image processing method of the endoscope apparatus
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
TW200809766A (en) Character highlighting control apparatus, display apparatus, highlighting display control method, and computer readable recording medium
US20200260942A1 (en) Endoscope system and method of operating the same
JP2009131324A (ja) フィールドシーケンシャル撮像表示システム
US20190222737A1 (en) Endoscope system and method of operating same
US20200375439A1 (en) Endoscope system and operation method therefor
CN114338970A (zh) 图像传感装置以及图像传感方法
WO2019155816A1 (ja) 内視鏡システム
JP2000112429A (ja) フルカラー表示装置
US11559193B2 (en) Medical control device and endoscope system
JP7196016B2 (ja) 情報処理装置及びその作動方法並びに内視鏡システム及びその作動方法
US10158792B2 (en) Method for displaying image, image pickup system and endoscope apparatus including the same
CN106341614B (zh) 摄影影像调整方法
WO2022210508A1 (ja) プロセッサ装置、医療画像処理装置、及び医療画像処理システム、並びに内視鏡システム
JPS61103385A (ja) 固体撮像素子を用いた内視鏡のホワイトバランス回路
JP2019003032A (ja) 発光装置、表示装置、及び、制御方法
US20220400930A1 (en) Endoscope system and method of operating endoscope system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220412

WW01 Invention patent application withdrawn after publication