CN113766143A - 光检测芯片、图像处理装置及其运作方法 - Google Patents

光检测芯片、图像处理装置及其运作方法 Download PDF

Info

Publication number
CN113766143A
CN113766143A CN202110947523.7A CN202110947523A CN113766143A CN 113766143 A CN113766143 A CN 113766143A CN 202110947523 A CN202110947523 A CN 202110947523A CN 113766143 A CN113766143 A CN 113766143A
Authority
CN
China
Prior art keywords
image
light
exposure time
processor
light detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110947523.7A
Other languages
English (en)
Other versions
CN113766143B (zh
Inventor
王国振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixart Imaging Inc
Original Assignee
Pixart Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixart Imaging Inc filed Critical Pixart Imaging Inc
Priority to CN202110947523.7A priority Critical patent/CN113766143B/zh
Publication of CN113766143A publication Critical patent/CN113766143A/zh
Application granted granted Critical
Publication of CN113766143B publication Critical patent/CN113766143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种光检测芯片、图像处理装置及其运作方法。该光检测芯片包含：光检测组件，该光检测组件用于以第一曝光时间检测光并输出第一图像；以及处理器，该处理器电性连接所述光检测组件以接收所述第一图像，并用于根据所述第一图像相关的图像参数判断运作模式，其中当判断所述运作模式为强光模式时，所述处理器输出所述第一图像，及当判断所述运作模式为弱光模式时，控制所述光检测组件以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及使用预存的学习模型将所述第二图像转换为转换后图像，再输出所述转换后图像。

Description

光检测芯片、图像处理装置及其运作方法
本申请是申请号为201911011986.1、申请日为2019年10月23日、名称为“光检测芯片、图像处理装置及其运作方法”的中国发明专利申请的分案申请。
技术领域
本发明有关一种图像处理技术，更特别有关一种适用于低照度环境的图像处理装置及其运作方法。
背景技术
已知的图像获取装置具有可调的曝光时间。强环境光下，所述图像获取装置以短曝光获取图像。弱环境光下，所述图像获取装置以长曝光获取图像，藉以增加所获取图像中的图像特征以利正确进行物体判断。
然而，当这种图像获取装置应用于在弱环境光下获取移动物体的物体图像时，则会产生问题。由于曝光时间大幅延长了，在延长的曝光时间内移动物体与图像获取装置之间的相对移动会反映在所获取的图像中而产生模糊的物体影像，甚至在快速相对移动的情境下，有可能在某些图像中根本无法获取物体图像。
有鉴于此，一种即使在低照度环境下仍能够获取有效图像，以提高判断精确度的图像处理装置实为所需。
发明内容
本发明提供一种从强光到弱光环境不调整光检测组件的曝光时间的光检测芯片、图像处理装置及其运作方法。
本发明还提供一种使用机器学习模型将短曝光图像转换为拟长曝光(quasi-longexposure)图像以增加图像中图像特征的光检测芯片、图像处理装置及其运作方法，可有效提升操作精度。
本发明提供一种包含光检测组件以及处理器的光检测芯片。所述光检测组件用于以第一曝光时间检测光并输出第一图像。所述处理器电性连接所述光检测组件以接收所述第一图像，并用于根据所述第一图像相关的图像参数判断运作模式。当判断所述运作模式为强光模式时，所述处理器输出所述第一图像。当判断所述运作模式为弱光模式时，控制所述光检测组件以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及使用预存的学习模型将所述第二图像转换为转换后图像，再输出所述转换后图像。
本发明还提供一种包含光检测芯片以及电子装置的图像处理装置。所述光检测芯片用于以第一曝光时间检测光并输出第一图像。所述电子装置耦接所述光检测芯片，并包含处理器用于根据所述第一图像相关的图像参数判断运作模式。当判断所述运作模式为强光模式时，所述处理器使用所述第一图像进行物体判断。当判断所述运作模式为弱光模式时，控制所述光检测芯片以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及使用预存的学习模型将所述第二图像转换为转换后图像，再使用所述转换后图像进行物体判断。
本发明还提供一种图像处理装置的运作方法，该图像处理装置包含相互耦接的光检测组件及处理器。所述运作方法包含下列步骤：以所述光检测组件使用第一曝光时间检测光以输出第一图像；以所述处理器比较所述第一图像相关的图像参数与参数阈值；当所述图像参数超过所述参数阈值时，直接使用所述第一图像进行物体判断；以及当所述图像参数未超过所述参数阈值时，控制所述光检测组件以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及使用预存的学习模型将所述第二图像转换为转换后图像后，再使用所述转换后图像进行物体判断。
本发明的实施例中，当判断光检测组件的输出图像的亮度不足时(例如根据图像灰阶值、图像质量和/或光检测组件的增益值、曝光时间、自动曝光的收敛时间等)，所述输出图像不直接用于进行后处理，而是先转换为具有较多图像特征的拟长曝光图像后，再对该拟长曝光图像进行后处理。
本发明的实施例中，进行物体判断例如是进行手势判断、距离判断、速度判断、人脸辨识、建立深度图等。
为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，详细说明如下。此外，于本发明的说明中，相同的构件以相同的符号表示，于此合先述明。
附图说明
图1是本发明第一实施例的图像处理装置的方框图；
图2是本发明第二实施例的图像处理装置的方框图；
图3是本发明实施例的图像处理装置的运作方法的流程图；
图4是本发明某些实施例的图像处理装置的曝光时间的示意图；
图5是本发明实施例的图像处理装置的运作示意图。
附图标记说明
100 图像处理装置
11 光检测芯片
111 光检测组件
113 处理器
115 学习模型
13 电子装置
133 装置处理器
具体实施方式
本发明实施例的光检测芯片、图像处理装置及运作方法例如适用于，但不限于，清洁机器人、自驾车、空拍机、手势辨识系统、人脸辨识装置等与物体间具有相对移动的电子装置，通过在低照度环境下仍维持相同曝光时间或仅稍微延长曝光时间，以解决获取不适用(invalid)图像而造成错误的情形，其中所述不适用图像例如包含模糊物体图像或遗失物体图像的图像。
请参照图1所示，其为本发明第一实施例的图像处理装置100的方框图。图像处理装置100包含光检测芯片11以及电子装置13。一种实施方式中，光检测芯片11包含于电子装置13的内部，例如光检测芯片11是设置于电子装置13的壳体以获取外界环境的图像。另一种实施方式中，光检测芯片11是通过通信接口耦接电子装置13，以无线地将输出图像传送至电子装置13。如下所述，输出图像可以是原始图像(raw data image)、前处理图像(pre-processed image)或转换后图像(converted image)。
光检测芯片11包含光检测组件111以及处理器(或称为芯片处理器)113。例如，光检测组件111及处理器113配置于同一封装中。
光检测组件111例如是CCD图像传感器、CMOS图像传感器或其他光检测组件。光检测组件111包含多个阵列排列的像素，以固定或可调的曝光时间检测视野FOV内的光并输出图像帧，例如第一图像Im_raw。光检测组件111优选具有多个放大器(例如可程序化增益放大器，PGA)，以增益值放大像素阵列输出的原数据(raw data)。光检测组件111优选具有自动曝光(auto exposure)机制。
处理器113例如是数字处理器(DSP)或特殊功能集成电路(ASIC)。处理器113电性连接光检测组件111以接收第一图像Im_raw，其为原数据图像或放大后原数据图像。处理器113用于根据所述第一图像Im_raw相关的图像参数判断运作模式(或环境光强度)，其中所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中之一。所述图像参数是处理器113根据第一图像Im_raw所计算。
处理器113还包含内存，用于储存上述图像参数相关的阈值以供与目前图像参数相比较，目前图像参数是由处理器113根据目前第一图像所计算。处理器113根据目前图像参数与储存阈值的比较结果，判断环境光的强弱并决定运作模式。例如，当第一图像Im_raw的平均亮度大于亮度阈值、当用以放大第一图像Im_raw的增益值(模拟增益和/或数字增益)小于增益阈值、当第一图像Im_raw的图像质量大于质量阈值和/或自动曝光的收敛时间小于时间阈值，处理器113判断环境光足够强而进入强光模式；否则，则进入弱光模式。
本发明中，处理器113还内建或预存有学习模型115，以硬件电路和/或软件码实现。所述学习模型115是在图像处理装置100出厂前，以计算机装置和/或网络平台执行数据网络架构(例如包含类神经网络学习算法、深度学习学习算法，但并不限于此)所产生。所述数据网络架构使用光检测组件111基于第一曝光时间获取的原始图像学习产生真实图像(ground truth image)以产生所述学习模型115记录于图像处理装置100中。所述学习模型相对于不同光检测组件而不同。
例如参照图5，所述第一曝光时间是指在强光环境下光检测组件111所使用的曝光时间，例如此处称为短曝光。因此，如果在弱环境下也使用此短曝光，所获得的原始图像会具有较差的图像特征，如图5所示的原始图像。
此外，为了产生机器学习模型，在图像处理装置100出厂前，光检测组件111还在弱光环境下使用比所述第一曝光时间长的曝光时间，例如此处称为长曝光，获取所述真实图像(不包含活动物体的图像)。由于所述长曝光较所述短曝光的时间为长，因此真实图像比所述原始图像具有较佳的图像特征，如图5所示。长曝光的时间优选选择为使得真实图像具有高于特征阈值的图像特征，例如选择光检测组件111可使用的最长曝光时间。更详言之，真实图像所包含的图像特征足以进行正确的物体判断。图像特征例如包括图像质量、对比度、清晰度及其他已知特征。
如前所述，光检测组件111输出第一图像Im_raw后，处理器113根据其相关的图像参数判断运作模式。当判断所述运作模式为强光模式时，处理器113直接输出所述第一图像Im_raw至电子装置13。电子装置13的处理器133(或称为装置处理器，例如微处理器、中央处理器、图形处理器等)根据至少一个第一图像Im_raw进行后处理，例如判断手势、距离、移动速度、移动方向、人脸等。某些实施例中，处理器113先对第一图像Im_raw进行滤波、去噪和/或数字化等前处理以产生前处理图像Im_pre。
另一方面，当判断所述运作模式为弱光模式时，处理器113使用预存的学习模型115将所述第一图像Im_raw转换为转换后图像Im_adj，并输出所述转换后图像Im_adj至电子装置13。例如参照图5，所述转换后图像Im_adj的图像特征虽然显示不像真实图像如此清楚，但相较于第一图像Im_raw已明显具有较高的图像质量(image quality)、对比度(contrast)、清晰度(clarity)或具有较低的模糊度(blurring)而适于进行物体判断。
更详言之，第一实施例中，当环境光足够强时(即强光模式)，光检测芯片111直接输出第一图像Im_raw至电子装置13进行后处理。由于此时所获取的第一图像Im_raw具有足够的图像特征，故第一图像Im_raw无须经过学习模型115进行转换。然而，当环境光不够强时(即弱光模式)，光检测芯片111不输出第一图像Im_raw而是输出经过学习模型115处理过后的转换后图像Im_adj。藉此，可达成无需增加曝光时间仍能够获取适格图像(不包含模糊物体图像)且在低照度下维持高图框率。
请参照图4所示，第一实施例中，弱光模式下处理器113也可以选择控制光检测组件111以第二曝光时间ET2检测视野FOV内的光并输出第二图像，其中所述第二曝光时间ET2比所述第一曝光时间ET1长。但是为避免产生如传统取像装置的问题，当所述第二图像的模糊度高于预定模糊度阈值时，处理器113可控制所述光检测组件111缩短第二曝光时间，以避免获取模糊影像。同理，弱光模式下，处理器113使用所述预存的学习模型115将所述第二图像转换为另一转换后图像，并输出所述另一转换后图像。电子装置13的处理器133则根据至少一个另一转换后图像进行物体判断。
例如，当处理器133判断转换后图像Im_adj的图像特征低于预定特征阈值时，可通知光检测芯片11以较长的曝光时间获取图像帧，例如第二曝光时间ET2。
请参照图2所示，其为本发明第二实施例的图像处理装置200的方框图。图像处理装置200与第一实施例的图像处理装置100的差异在于，学习模型235是设置于电子装置23而并非设置于光检测芯片21中，其他部分则与第一实施例类似。
图像处理装置200包含光检测芯片21以及电子装置23。光检测芯片21同样可位于电子装置23之内或之外，其根据不同应用而决定。在光检测芯片21配置于电子装置23内的例子中，学习模型235是由光检测芯片21外部的处理器(例如处理器233)所执行。
光检测芯片21同样包含光检测组件211(与光检测组件111相同)以及处理器213(与处理器113相同)，仅处理器213不具有学习模型235。光检测芯片21的光检测组件211同样用于以第一曝光时间检测视野FOV内的光并输出第一图像Im_raw。根据不同实施例，处理器213可直接输出第一图像Im_raw，或针对第一图像Im_raw仅进行前处理(例如滤波、去噪和/或数字化等)以输出前处理图像Im_pre至电子装置23。
电子装置23耦接(有线或无线)光检测芯片21以接收第一图像Im_raw或前处理图像Im_pre。电子装置23还包含处理器233(或称装置处理器，例如为中央处理器、微处理器或图形处理器)用于根据所述第一图像Im_raw(或前处理图像Im_pre)相关的图像参数判断运作模式。如前所述，所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。判断运作模式的方式已说明于第一实施例，故于此不再赘述。
当判断所述运作模式为强光模式时，所述处理器233使用第一图像Im_raw(或前处理图像Im_pre)进行物体判断。当判断所述运作模式为弱光模式时，所述处理器233使用内建或预存的学习模型235将所述第一图像Im_raw(或前处理图像Im_pre)先转换为转换后图像Im_adj，并使用所述转换后图像Im_adj进行物体判断。必须说明的是，虽然图2显示学习模型235是位于处理器233之外，但其仅说明而并非用以限定本发明。学习模型235可以是包含于处理器233内并以硬件电路和/或软件码实现。
第二实施例中，转换后图像Im_adj的图像质量、对比度、清晰度高于第一图像Im_raw，或所述转换后图像Im_adj的模糊度低于所述第一图像Im_raw，以能够在低照度及短曝光时间下正确进行物体判断，此为传统取像装置所无法达成。
第二实施例中的学习模型235是在图像处理装置200出厂前，以计算机装置和/或网络平台执行数据网络架构所产生。所述数据网络架构使用光检测芯片21基于第一曝光时间获取的原始图像学习产生真实图像以生成所述学习模型235并记录于图像处理装置200中。如前所述，所述真实图像是所述光检测芯片21以比所述第一曝光时间长的曝光时间(例如选择光检测组件211的最长曝光时间)所获取，并具有高于特征阈值的图像特征，例如请参照图5所示。
更详言之，第二实施例中，光检测芯片21用以输出原始图像(即第一图像Im_raw)或前处理原始图像(即前处理图像Im_pre)。电子装置23在判断环境光的强弱后，才决定是直接根据原始图像进行物体判断，还是先将原始图像转换为转换后图像后，再使用转换后图像进行物体判断。亦即，弱光模式下处理器233不使用第一图像Im_raw进行物体判断。
同理，电子装置23的处理器233还可控制光检测芯片21以第二曝光时间(例如第一图像或转换后图像后的图像特征太差)检测光并输出第二图像。例如参照图4，其中所述第二曝光时间ET2比第一曝光时间ET1长。处理器233使用预存的所述学习模型235将所述第二图像转换为另一转换后图像，再使用所述另一转换后图像进行物体判断。
处理器233还可根据第二图像的模糊度与模糊度阈值的比较结果调整第二曝光时间，例如第二图像的模糊度高于模糊度阈值时缩短第二曝光时间。
请参照图3所示，其为本发明实施例的图像处理装置的运作方法的流程图，其适用于上述图1的第一实施例及图2的第二实施例的图像处理装置。本运作方法举例说明如下。
首先，以光检测组件(111或211)使用第一曝光时间检测光以输出第一图像Im_raw。一种实施例中，所述第一曝光时间为强照度下所使用的曝光时间，例如所述光检测组件的最短曝光时间。另一种实施例中，光检测组件只有单一固定的曝光时间。
接着，以处理器(113或233)比较所述第一图像Im_raw相关的图像参数与参数阈值，步骤S31。如前所述，图像参数是用以判断环境光强弱的适当参数，例如包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。图像参数则事先储存于装置的内存中。
当所述图像参数超过所述参数阈值时，则进入强光模式，步骤S32。例如，图像亮度及图像质量数值越大时，表示环境光越强；增益值及自动曝光的收敛时间数值越小时，表示环境光越强，可据此选择适当阈值。亦即，所述超过是指图像亮度或图像质量大于相关的阈值，增益值或收敛时间小于相关的阈值。此时，处理器(133或233)直接使用第一图像Im_raw进行物体判断，包括物体追踪、深度判断、人脸辨识等。
当所述图像参数未超过所述参数阈值时，则进入弱光模式，步骤S33。此时，处理器(133或233)使用预存的学习模型(115或235)将所述第一图像转换Im_raw为转换后图像Im_adj后，再使用所述转换后图像Im_adj进行物体判断等后处理，步骤S34。
学习模型的产生方式如前所述，例如参照图5，故于此不再赘述。由于转换后图像Im_adj是为了提升判断精度所产生的，故所述转换后图像Im_adj的图像质量、对比度、清晰度高于所述第一图像Im_raw，或者所述转换后图像Im_adj的模糊度低于所述第一图像Im_raw。更详言之，本实施例中，在弱环境光下，第一图像Im_raw被视为不具有足够的图像信息，故不使用所述第一图像Im_raw进行物体判断。
然而，当第一图像Im_raw的图像特征太低时(例如低于预定阈值)，还可控制光检测组件(111或211)以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，步骤S331-S332。处理器(113或233)使用所述预存的学习模型(115或235)将所述第二图像转换为另一转换后图像后，使用所述另一转换后图像进行物体判断。必须说明的是，步骤S331-S332并非一定要实施。
本发明实施例的功效如下。当使用固定曝光时间时，在低照度环境下，光检测组件输出图像帧的图框率不会降低，故即使是高速相对移动的情境下也能够正确操作。当应用于手势辨识装置时，例如当手势辨识装置在某些应用下连接至显示器以控制其上的光标移动。在低照度环境下，由于曝光时间不大幅延长，即使是高速相对移动的情境下，显示器上的也不会出现光标轨迹断线(因遗失物体图像所导致)的情形。当应用于人脸辨识装置时，例如在某些应用下当辨识出人脸图像时装置会发出致能信号以表示辨识出人脸图像。在低照度环境下，由于曝光时间不大幅延长，即使被辨识对象在移动，也不会出现无法产生致能信号的情形。
综上所述，已知图像获取装置在低照度环境下是通过延长曝光时间获取足够的图像特征以进行物体判断。然而，当用于侦测移动物体时，长曝光时间可能会产生物体图像模糊或无法获取物体图像等其他问题。因此，本发明另提供一种图像处理装置(例如图1至2)及其运作方法(例如图3)，其即使在低照度环境下仍维持相同的曝光时间以避免获取不适用图像帧的问题。同时通过使用机器学习算法将短曝光时间获取的图像进行转换以提升图像特征，以达到低照度环境下仍能够正确进行移动物体判断的功效。
虽然本发明已通过前述实例披露，但是其并非用以限定本发明，任何本发明所属技术领域中具有通常知识技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求所界定的范围为准。

Claims (17)

1.一种光检测芯片，该光检测芯片包含：
光检测组件，该光检测组件用于以第一曝光时间检测光并输出第一图像；以及
处理器，该处理器电性连接所述光检测组件以接收所述第一图像，并用于根据所述第一图像相关的图像参数判断运作模式，其中
当判断所述运作模式为强光模式时，所述处理器输出所述第一图像，及
当判断所述运作模式为弱光模式时，
控制所述光检测组件以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及
使用预存的学习模型将所述第二图像转换为转换后图像，再输出所述转换后图像。
2.根据权利要求1所述的光检测芯片，其中所述学习模型是使用所述光检测组件以比所述第一曝光时间长的曝光时间获取的原始图像通过数据网络架构学习产生真实图像所产生。
3.根据权利要求1所述的光检测芯片，其中
所述转换后图像的图像质量、对比度、清晰度高于所述第二图像，或
所述转换后图像的模糊度低于所述第二图像。
4.根据权利要求1所述的光检测芯片，其中所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。
5.根据权利要求1所述的光检测芯片，其中所述弱光模式下所述处理器不输出所述第一图像。
6.根据权利要求1所述的光检测芯片，其中当所述第二图像的模糊度高于模糊度阈值时，所述处理器还用于缩短所述第二曝光时间。
7.一种图像处理装置，该图像处理装置包含：
光检测芯片，该光检测芯片用于以第一曝光时间检测光并输出第一图像；以及
电子装置，该电子装置耦接所述光检测芯片，并包含处理器用于根据所述第一图像相关的图像参数判断运作模式，其中
当判断所述运作模式为强光模式时，所述处理器使用所述第一图像进行物体判断，及
当判断所述运作模式为弱光模式时，
控制所述光检测芯片以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及
使用预存的学习模型将所述第二图像转换为转换后图像，再使用所述转换后图像进行物体判断。
8.根据权利要求7所述的图像处理装置，其中所述学习模型是使用所述光检测芯片以比所述第一曝光时间长的曝光时间获取的原始图像通过数据网络架构学习产生真实图像所产生。
9.根据权利要求7所述的图像处理装置，其中
所述转换后图像的图像质量、对比度、清晰度高于所述第二图像，或
所述转换后图像的模糊度低于所述第二图像。
10.根据权利要求7所述的图像处理装置，其中所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中一者。
11.根据权利要求7所述的图像处理装置，其中所述弱光模式下所述处理器不使用所述第一图像进行所述物体判断。
12.根据权利要求7所述的图像处理装置，其中当所述第二图像的模糊度高于模糊度阈值时，所述处理器还用于缩短所述第二曝光时间。
13.一种图像处理装置的运作方法，该图像处理装置包含相互耦接的光检测组件及处理器，所述运作方法包含：
以所述光检测组件使用第一曝光时间检测光以输出第一图像；
以所述处理器比较所述第一图像相关的图像参数与参数阈值；
当所述图像参数超过所述参数阈值时，直接使用所述第一图像进行物体判断；以及
当所述图像参数未超过所述参数阈值时，
控制所述光检测组件以第二曝光时间检测光并输出第二图像，其中所述第二曝光时间比所述第一曝光时间长，及
使用预存的学习模型将所述第二图像转换为转换后图像后，再使用所述转换后图像进行物体判断。
14.根据权利要求13所述的运作方法，其中所述学习模型是使用所述光检测组件以比所述第一曝光时间长的曝光时间获取的原始图像通过数据网络架构学习产生真实图像所产生。
15.根据权利要求13所述的运作方法，其中
所述转换后图像的图像质量、对比度、清晰度高于所述第二图像，或
所述转换后图像的模糊度低于所述第二图像。
16.根据权利要求13所述的运作方法，其中所述图像参数包含图像亮度、增益值、自动曝光的收敛时间及图像质量至少其中之一。
17.根据权利要求13所述的运作方法，还包含：
当所述图像参数未超过所述参数阈值时，不使用所述第一图像进行所述物体判断。
CN202110947523.7A 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法 Active CN113766143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110947523.7A CN113766143B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US16/257,277 2019-01-25
US16/257,277 US10785419B2 (en) 2019-01-25 2019-01-25 Light sensor chip, image processing device and operating method thereof
CN201911011986.1A CN111491109B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法
CN202110947523.7A CN113766143B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201911011986.1A Division CN111491109B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法

Publications (2)

Publication Number Publication Date
CN113766143A true CN113766143A (zh) 2021-12-07
CN113766143B CN113766143B (zh) 2024-01-19

Family

ID=71731754

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110947523.7A Active CN113766143B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法
CN201911011986.1A Active CN111491109B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201911011986.1A Active CN111491109B (zh) 2019-01-25 2019-10-23 光检测芯片、图像处理装置及其运作方法

Country Status (2)

Country Link
US (4) US10785419B2 (zh)
CN (2) CN113766143B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof
US11165954B1 (en) * 2019-06-19 2021-11-02 Objectvideo Labs, Llc Scene-aware custom tuned video surveillance detection system
TW202143119A (zh) * 2020-05-07 2021-11-16 瑞典商安訊士有限公司 在具有光強度廣泛範圍的場景中利用神經網路之物件偵測
CN113824884B (zh) * 2021-10-20 2023-08-08 深圳市睿联技术股份有限公司 拍摄方法与装置、摄影设备及计算机可读存储介质

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032453A (ja) * 2001-07-12 2003-01-31 Canon Inc 画像処理装置
US20030222996A1 (en) * 2002-06-03 2003-12-04 Edward Jerzy Patej Digital image system and method for noise compensation
CN1691735A (zh) * 2004-04-30 2005-11-02 明基电通股份有限公司 应用预览扫描来提高扫描图像质量的方法与装置
CN1719328A (zh) * 2005-07-01 2006-01-11 北京中星微电子有限公司 一种用于自动曝光调节的方法及控制系统
CN201127061Y (zh) * 2007-12-19 2008-10-01 深圳市同洲电子股份有限公司 摄像装置及低照度条件下的影像处理设备
US20090160937A1 (en) * 2007-12-21 2009-06-25 Seung Nam Son Camera control method for vehicle entramce control system
CN101778220A (zh) * 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
CN102291538A (zh) * 2011-08-17 2011-12-21 浙江博视电子科技股份有限公司 摄像机的自动曝光方法及控制装置
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
CN103702015A (zh) * 2013-12-20 2014-04-02 华南理工大学 一种近红外条件下人脸图像采集系统的曝光控制方法
CN104052905A (zh) * 2013-03-12 2014-09-17 三星泰科威株式会社 用于处理图像的方法和设备
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN104202535A (zh) * 2014-06-30 2014-12-10 杭州光典医疗器械有限公司 一种自动曝光方法及装置
CN104954696A (zh) * 2014-03-27 2015-09-30 南京理工大学 一种emccd增益自动调节方法
CN105227853A (zh) * 2015-09-02 2016-01-06 广东欧珀移动通信有限公司 一种拍摄方法及终端
CN105389780A (zh) * 2015-10-28 2016-03-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN106534712A (zh) * 2016-10-24 2017-03-22 北京旷视科技有限公司 控制方法、图像处理单元、补光单元和摄像装置
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN107786867A (zh) * 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
CN108665417A (zh) * 2017-03-30 2018-10-16 杭州海康威视数字技术股份有限公司 一种车牌图像去模糊方法、装置及系统
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6891570B2 (en) * 2001-01-31 2005-05-10 Itt Manufacturing Enterprises Inc. Method and adaptively deriving exposure time and frame rate from image motion
US20050271280A1 (en) * 2003-07-23 2005-12-08 Farmer Michael E System or method for classifying images
JP4611069B2 (ja) * 2004-03-24 2011-01-12 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
WO2006129601A1 (ja) * 2005-06-03 2006-12-07 Nikon Corporation 画像処理装置、画像処理方法、画像処理プログラム製品、および撮像装置
US8237801B2 (en) * 2005-08-05 2012-08-07 The Innovation Science Fund I, LLC Image processing system and communication method
US20070041657A1 (en) * 2005-08-19 2007-02-22 Samsung Electronics Co., Ltd. Image processing device to determine image quality and method thereof
JP4783252B2 (ja) * 2006-04-18 2011-09-28 富士通株式会社 手ぶれ補正機能付き撮像装置、手ぶれ補正方法、手ぶれ補正処理の前処理プログラム、および、保存画像決定プログラム
US20070286596A1 (en) * 2006-06-08 2007-12-13 Lonn Fredrik A Method and system for adjusting camera settings in a camera equipped mobile radio terminal
JP4841582B2 (ja) * 2008-03-18 2011-12-21 富士通株式会社 画像補正プログラムおよび画像補正装置
US8416302B2 (en) * 2009-02-10 2013-04-09 Microsoft Corporation Low-light imaging augmented with non-intrusive lighting
US20120287031A1 (en) * 2011-05-12 2012-11-15 Apple Inc. Presence sensing
WO2012166840A2 (en) * 2011-06-01 2012-12-06 The Board Of Trustees Of The Leland Stanford Junior University Learning of image processing pipeline for digital imaging devices
US8582915B2 (en) * 2011-06-27 2013-11-12 Wuxi Jinnang Technology Development Ltd. Image enhancement for challenging lighting conditions
DE102013012810A1 (de) * 2013-08-01 2015-02-05 Connaught Electronics Ltd. Verfahren zum Aktivieren und Deaktivieren einer Bildkorrekturfunktion, Kamerasystem und Kraftfahrzeug
KR20150021838A (ko) * 2013-08-21 2015-03-03 삼성전자주식회사 Led 구동 장치 및 조명 장치
CN103716547A (zh) * 2014-01-15 2014-04-09 厦门美图之家科技有限公司 一种智能模式的拍照方法
US10460231B2 (en) * 2015-12-29 2019-10-29 Samsung Electronics Co., Ltd. Method and apparatus of neural network based image signal processor
CN108241821A (zh) * 2016-12-23 2018-07-03 北京三星通信技术研究有限公司 图像处理设备和方法
US10963676B2 (en) * 2016-12-23 2021-03-30 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN107463052B (zh) * 2017-08-30 2020-08-11 北京小米移动软件有限公司 拍摄曝光方法及装置
US10726525B2 (en) * 2017-09-26 2020-07-28 Samsung Electronics Co., Ltd. Image denoising neural network architecture and method of training the same
CN108881710A (zh) * 2017-12-28 2018-11-23 北京旷视科技有限公司 图像处理方法、装置和系统及存储介质
CN208172794U (zh) * 2018-01-04 2018-11-30 深圳阜时科技有限公司 电子设备
US10803565B2 (en) * 2018-07-10 2020-10-13 Intel Corporation Low-light imaging using trained convolutional neural networks
WO2020033524A1 (en) * 2018-08-07 2020-02-13 BlinkAI Technologies, Inc. Artificial intelligence techniques for image enhancement
CN109089053B (zh) * 2018-10-23 2021-03-05 Oppo广东移动通信有限公司 图像传输方法、装置、电子设备和存储介质
US11409986B2 (en) * 2018-11-15 2022-08-09 Intel Corporation Trainable vision scaler
US10785419B2 (en) * 2019-01-25 2020-09-22 Pixart Imaging Inc. Light sensor chip, image processing device and operating method thereof

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032453A (ja) * 2001-07-12 2003-01-31 Canon Inc 画像処理装置
US20030222996A1 (en) * 2002-06-03 2003-12-04 Edward Jerzy Patej Digital image system and method for noise compensation
CN1691735A (zh) * 2004-04-30 2005-11-02 明基电通股份有限公司 应用预览扫描来提高扫描图像质量的方法与装置
CN1719328A (zh) * 2005-07-01 2006-01-11 北京中星微电子有限公司 一种用于自动曝光调节的方法及控制系统
CN201127061Y (zh) * 2007-12-19 2008-10-01 深圳市同洲电子股份有限公司 摄像装置及低照度条件下的影像处理设备
US20090160937A1 (en) * 2007-12-21 2009-06-25 Seung Nam Son Camera control method for vehicle entramce control system
CN101778220A (zh) * 2010-03-01 2010-07-14 华为终端有限公司 一种自动切换夜景模式的方法和摄像设备
CN102291538A (zh) * 2011-08-17 2011-12-21 浙江博视电子科技股份有限公司 摄像机的自动曝光方法及控制装置
CN104052905A (zh) * 2013-03-12 2014-09-17 三星泰科威株式会社 用于处理图像的方法和设备
CN103347152A (zh) * 2013-07-08 2013-10-09 华为终端有限公司 一种图像处理方法、装置及终端
CN103702015A (zh) * 2013-12-20 2014-04-02 华南理工大学 一种近红外条件下人脸图像采集系统的曝光控制方法
CN104954696A (zh) * 2014-03-27 2015-09-30 南京理工大学 一种emccd增益自动调节方法
CN104202535A (zh) * 2014-06-30 2014-12-10 杭州光典医疗器械有限公司 一种自动曝光方法及装置
CN104184957A (zh) * 2014-09-17 2014-12-03 中国科学院光电技术研究所 一种适用于空间探测成像的基于自适应预期图像平均亮度的自动曝光控制方法
CN105227853A (zh) * 2015-09-02 2016-01-06 广东欧珀移动通信有限公司 一种拍摄方法及终端
CN105389780A (zh) * 2015-10-28 2016-03-09 维沃移动通信有限公司 一种图像处理方法及移动终端
CN107786867A (zh) * 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
CN106534712A (zh) * 2016-10-24 2017-03-22 北京旷视科技有限公司 控制方法、图像处理单元、补光单元和摄像装置
CN108665417A (zh) * 2017-03-30 2018-10-16 杭州海康威视数字技术股份有限公司 一种车牌图像去模糊方法、装置及系统
CN107491771A (zh) * 2017-09-21 2017-12-19 百度在线网络技术（北京）有限公司 人脸检测方法和装置
CN108965731A (zh) * 2018-08-22 2018-12-07 Oppo广东移动通信有限公司 一种暗光图像处理方法及装置、终端、存储介质

Also Published As

Publication number Publication date
US20220191380A1 (en) 2022-06-16
US20230199320A1 (en) 2023-06-22
CN111491109B (zh) 2021-09-03
US20200374446A1 (en) 2020-11-26
CN113766143B (zh) 2024-01-19
US10785419B2 (en) 2020-09-22
US11991455B2 (en) 2024-05-21
CN111491109A (zh) 2020-08-04
US11611710B2 (en) 2023-03-21
US20200244861A1 (en) 2020-07-30
US11303820B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN111491109B (zh) 光检测芯片、图像处理装置及其运作方法
US11431937B2 (en) Data rate control for event-based vision sensor
US10593055B2 (en) Method and apparatus for capturing images and associated 3D model based on a single image sensor and structured-light patterns in the visible spectrum
KR101373357B1 (ko) 카메라 및 장면 동작을 고려한 카메라 노출 최적화 기술
US20150379325A1 (en) Image sensor with integrated region of interest calculation for iris capture, autofocus, and gain control
US8878979B2 (en) Image pickup apparatus and focus control method which amplify an image in accordance with the luminance when the luminance variation exists and use the amplified image in focus control
US9589339B2 (en) Image processing apparatus and control method therefor
CN108605102A (zh) 动态框架速率控制的热成像系统和方法
US8873800B2 (en) Image processing apparatus and method, and program
US10628951B2 (en) Distance measurement system applicable to different reflecting surfaces and computer system
JP4668863B2 (ja) 撮像装置
JP4523629B2 (ja) 撮像装置
JP4586548B2 (ja) 物体検出装置および物体検出方法
CN108600606B (zh) 图像处理设备和图像处理设备的控制方法
CN112637511B (zh) 图像处理装置，图像处理方法以及记录介质
JP4340805B2 (ja) 光センサ用感度調節方法、光センサ用感度調節装置、ビジュアルトラッキング制御方法及びビジュアルトラッキング制御装置
JP4202871B2 (ja) 撮像装置
JPH05191707A (ja) スチルビデオカメラ
JP2019197945A (ja) 撮像装置
JP2011228855A (ja) 画像処理装置、画像ノイズ判定方法、およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant