CN118018853A - 使用图像传感器的环境光感测 - Google Patents

使用图像传感器的环境光感测 Download PDF

Info

Publication number
CN118018853A
CN118018853A CN202310626384.7A CN202310626384A CN118018853A CN 118018853 A CN118018853 A CN 118018853A CN 202310626384 A CN202310626384 A CN 202310626384A CN 118018853 A CN118018853 A CN 118018853A
Authority
CN
China
Prior art keywords
image sensor
image
code
setting condition
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310626384.7A
Other languages
English (en)
Inventor
韩知希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SK Hynix Inc
Original Assignee
SK Hynix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SK Hynix Inc filed Critical SK Hynix Inc
Publication of CN118018853A publication Critical patent/CN118018853A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一种装置使用图像传感器执行环境光感测。该装置包括图像传感器和被配置成从图像传感器接收图像数据的接收器。该装置还包括辉度计算器，其被配置成基于图像数据计算与图像数据的辉度值对应的代码。该装置还包括图像传感器控制器，其被配置成响应于具有代码能够采用的值中的最小值或最大值的代码而改变图像传感器的设置条件。该装置还包括亮度测量器，其被配置成输出使用改变的设置条件和代码识别的图像传感器附近的亮度值。

Description

使用图像传感器的环境光感测
相关申请的交叉引用
本申请要求于2022年11月8日提交至韩国知识产权局的韩国专利申请第10-2022-0147645号的优先权，其整体公开内容通过引用并入本文。
技术领域
本公开的多种实施方式涉及用于使用图像传感器测量该图像传感器附近的亮度的技术。
背景技术
最近，在移动装置领域已经开发了多种用于增大电池寿命的技术。特别地，由于具有背光的液晶显示器(LCD)是消耗大量功率的部件之一，因此移动装置根据环境亮度而最小化LCD和背光的驱动时间。这里，移动装置使用环境光传感器(或照度传感器)识别移动装置附近的亮度。
发明内容
当移动装置进一步包括被称为环境光传感器(或照度传感器)的用于测量环境亮度的硬件部件时，可能引起安装空间的问题和/或额外的功耗的问题。
本公开的多种实施方式涉及一种图像处理器。该图像处理器可以包括：接收器，被配置成从图像传感器接收图像数据；辉度计算器，被配置成基于图像数据计算与图像数据的辉度值对应的代码；图像传感器控制器，被配置成响应于具有代码能够采用的值中的最小值或最大值的代码而改变图像传感器的设置条件；以及亮度测量器，被配置成输出使用改变的设置条件和代码识别的图像传感器附近的亮度值。
本公开的一个实施方式可以提供一种装置。该装置可以包括图像传感器，其被配置成在图像处理器的控制下获取图像数据。图像处理器可以被配置成：基于从图像传感器接收到的第一图像数据来计算与第一图像数据的辉度值对应的第一代码，响应于具有第一代码能够采用的值中的最小值或最大值的第一代码而改变图像传感器的设置条件，以及输出使用改变的设置条件和第二代码识别的图像传感器附近的亮度值，第二代码对应于通过图像传感器根据改变的设置条件捕获的第二图像数据。
本公开的一个实施方式可以提供一种测量亮度的方法。该方法可以包括：计算与通过图像传感器捕获的第一图像数据的辉度值对应的第一代码；响应于具有第一代码能够采用的值中的最小值或最大值的第一代码而改变图像传感器的设置条件；以及使用改变的设置条件和第二代码识别图像传感器附近的亮度值，第二代码对应于通过图像传感器根据改变的设置条件捕获的第二图像数据。
附图说明
图1是根据本公开的实施方式的装置的示图。
图2A是示出图像传感器100的实施方式的示图。
图2B是示出图像处理器200的实施方式的示图。
图3是示出根据本公开的实施方式的用于测量装置附近的亮度的方法的流程图。
图4是更详细地示出根据本公开的实施方式的用于测量装置附近的亮度的方法的流程图。
图5是示出根据本公开的实施方式的由图像传感器提供给图像处理器的图像数据的示例的示图。
图6是示出根据本公开的实施方式的图像处理器基于图像数据计算代码的方法的示图。
图7是示出根据本公开的实施方式的图像处理器基于图像数据计算代码的另一种方法的示图。
图8是示出根据本公开的实施方式的基于图像数据的至少一部分来计算代码的示例的示图。
图9是示出根据本公开实施方式的基于设置条件和代码来识别环境亮度的方法的示图。
图10是示出根据本公开的实施方式的当指定事件发生时改变图像传感器的设置条件的方法的示图。
具体实施方式
本说明书或申请中介绍的本公开的实施方式中的具体结构或功能描述仅用于描述本公开的实施方式。这些描述不应被解释为限于说明书或申请中描述的实施方式。
在下文中，将参考附图描述本公开的实施方式以详细描述本公开，使得本公开所属技术领域的具有普通知识的人员能够实施本公开。
图1是示出根据本公开的实施方式的装置10的示图。
参照图1，装置10可以包括图像传感器100和图像处理器200。例如，装置10可以对应于数码相机(digital camera)、移动装置、智能手机、平板PC、个人数字助理(PDA)、企业数字助理(EDA)、数字静物相机(digital still camera)、数码摄像机、便携式多媒体播放器(PMP)、移动互联网装置(MID)、个人计算机(PC)、可穿戴装置或包括多用途相机的装置。替选地，图1的装置10可以对应于安装在其他电子装置中的部件或模块(例如，相机模块)。
图像传感器100可以被实现为电荷耦合器件(CCD)图像传感器或互补金属氧化物半导体(CMOS)图像传感器。图像传感器100可以针对通过透镜(未示出)入射的光生成图像数据。例如，图像传感器100可以将通过透镜入射的对象的光信息转换成电信号并且将该电信号提供给图像处理器200。透镜可以包括形成光学系统的至少一个透镜。
图像传感器100可以包括多个像素。图像传感器100可以通过多个像素生成与捕获的场景对应的图像数据。图像数据可以包括多个像素值DPXs。多个像素值DPXs中的每一个可以是数字像素值。图像传感器100可以将生成的图像数据传送到图像处理器200。也就是说，图像传感器100可以将包括通过多个像素获取的多个像素值DPXs的图像数据提供给图像处理器200。
图像处理器200可以对从图像传感器100接收到的图像数据执行图像处理。例如，图像处理器200可以执行插值、电子图像稳定(EIS)、色调校正(色度校正)、图像质量校正和图像数据的尺寸调整中的至少之一。根据本公开的图像处理器200可以基于图像数据识别装置10附近的亮度。图像处理器200可以被称为图像处理装置。
参照图1，图像处理器200可以被实现为独立于图像传感器100的芯片。在这种情况下，图像传感器100的芯片和图像处理器200的芯片可以被实现为单个封装，例如多芯片封装。然而，不限于此，根据本公开的另一实施方式，图像处理器200可以作为图像传感器100的一部分被包括在图像传感器100中以被实现为单个芯片。
图2A是示出图像传感器100的实施方式的示图。
参照图2A，图像传感器100可以包括像素阵列110、行解码器120、定时发生器130和信号变换器140。此外，图像传感器100还可以包括输出缓冲器150。
像素阵列110可以包括在行方向和列方向上排列的多个像素。相应的像素可以生成对应于入射到其的光的强度的像素信号VPXs。图像传感器100可以针对像素阵列110的每个行读出多个像素信号VPXs。多个像素信号VPXs中的每一个可以是模拟像素信号。
像素阵列110可以包括滤色器阵列111。多个像素中的每一个可以输出与穿过对应的滤色器阵列111的入射光对应的像素信号。
滤色器阵列111可以包括滤色器，其被配置成仅透射入射到每个像素的特定波长(例如，红色、绿色或蓝色)的光。由于滤色器阵列111，每个像素的像素信号可以表示对应于具有特定波长的光的强度的值。
像素阵列110可以包括光电转换层113，其包括形成在滤色器阵列111下面的多个光电转换元件。多个像素中的每一个可以生成与通过光电转换层113的入射光对应的光电荷。多个像素可以累积生成的光电荷并且生成与累积的光电荷对应的像素信号VPXs。
光电转换层113可以包括对应于相应的像素的光电转换元件。例如，光电转换元件可以是光电二极管、光电晶体管、光电门和钉扎光电二极管中的至少之一。多个像素可以生成与通过光电转换层113入射到相应的像素的光对应的光电荷，并且通过至少一个晶体管获取与光电荷对应的电信号。
行解码器120可以响应于从定时发生器130输出的地址和控制信号来选择像素阵列110中布置有多个像素的多个行中的一个。图像传感器100可以在行解码器120的控制下读出像素阵列110中包括的多个像素中的特定行中包括的像素。
信号变换器140可以将模拟像素信号VPXs转换成数字像素值DPXs。信号变换器140可以响应于从定时发生器130输出的控制信号对从像素阵列110输出的多个像素信号VPXs中的每一个执行相关双采样(CDS)，并且输出通过被执行CDS的相应的信号的模数转换获得的多个像素值DPXs。
信号变换器140可以包括相关双采样(CDS)块和模数转换器(ADC)块。CDS块可以顺次采样和保持包括从像素阵列110中包括的列线提供的图像信号和参考信号的集合。这里，参考信号可以对应于在像素阵列110中包括的像素重置之后读出的像素信号，并且图像信号可以对应于在像素曝光之后读出的像素信号。CDS块可以使用与每个列对应的参考信号的电平和与之对应的图像信号的电平之间的差来获取具有降低的读出噪声的信号。ADC块将从CDS块输出的每个列的模拟信号(例如，像素信号VPXs)转换成数字信号，从而输出数字信号(例如，像素值DPXs)。为此，ADC块可以包括对应于每个列的计数器和比较器。
输出缓冲器150可以被实现为多个缓冲器，其被配置成存储从信号变换器140输出的数字信号。具体地，输出缓冲器150可以锁存并输出从信号变换器140提供的每个列的像素值。输出缓冲器150可以暂时存储从信号变换器140输出的像素值并且在定时发生器130的控制下顺次输出像素值。顺次输出的像素值可以被理解为被包括在图像数据中。根据本公开的实施方式，输出缓冲器150可以省略。
图2B是示出图像处理器200的实施方式的示图。
参照图2B，图像处理器200可以包括接收器210、辉度计算器220、图像传感器控制器230和亮度测量器240。在一些实施方式中，接收器210、辉度计算器220、图像传感器控制器230和亮度测量器240可以是电子电路。
接收器210可以从图像传感器100接收图像数据。例如，图像处理器200可以接收由图像传感器100捕获和输出的图像数据。稍后将参照图5描述接收器210接收到的图像数据。
辉度计算器220可以基于图像数据计算与图像数据的辉度值对应的代码。例如，辉度计算器220可以计算图像数据的代表性辉度值。稍后将参照图6至图8描述辉度计算器220基于图像数据计算代码的具体方法。
图像传感器控制器230可以响应于具有能够通过代码表示的值中的最小值或最大值的代码而改变图像传感器100的设置条件。图像传感器100的设置条件可以包括图像传感器100的模拟增益和图像传感器100的曝光时间中的至少之一。例如，图像传感器控制器230可以通过选择指定数量的具有预设值的设置条件候选者中的任何一个来改变图像传感器100的设置条件。稍后将参照图10描述控制图像传感器100的设置条件的情况及其控制方法。
亮度测量器240可以使用图像传感器100的设置条件和代码来识别图像传感器100附近的亮度(或装置10附近的亮度)。亮度测量器240可以输出识别的亮度值。例如，亮度测量器240可以将亮度值提供给处理器(例如，应用处理器(AP))。
图3是示出根据本公开的实施方式的用于测量装置附近的亮度的方法的流程图。图3中说明的操作可以被理解为由图1的装置10或者图2B的图像处理器200执行。
在S312，图像处理器200(例如，辉度计算器220)可以计算与通过图像传感器100捕获的第一图像数据的辉度值对应的第一代码。例如，图像处理器200(例如，辉度计算器220)可以将第一图像数据分割成两个或更多个区域并且基于两个或更多个区域的相应的辉度值计算第一代码。稍后将参照图6至图8描述用于基于第一图像数据计算第一代码的具体方法。
在S314，图像处理器200(例如，图像传感器控制器230)可以响应于具有能够通过第一代码表示的值中的最小值或最大值的第一代码而改变图像传感器100的设置条件。例如，图像处理器200(例如，图像传感器控制器230)可以基于第一代码确定指定事件是否发生，并且可以响应于指定事件的发生改变图像传感器100的设置条件。指定事件可以是其中第一代码具有能够通过第一代码表示的值中的最小值或最大值的事件。例如，当第一代码具有8比特位时，能够通过第一代码表示的值的范围可以是0-255。因此，最小值可以是0，并且最大值可以是255。稍后将参照图10描述指定的事件。
图像处理器200(例如，图像传感器控制器230)在指定事件没有发生时可以保持图像传感器100的设置条件，而在指定事件发生时可以改变图像传感器100的设置条件。图像传感器100的设置条件可以包括图像传感器100的模拟增益和图像传感器100的曝光时间中的至少之一。稍后将参照图9和图10描述对图像传感器100的设置条件的控制。
在S316，图像处理器200(例如，亮度测量器240)可以输出使用改变的设置条件和第二代码识别的图像传感器100附近的亮度(或装置10附近的亮度)，第二代码对应于通过图像传感器100根据改变的设置条件捕获的第二图像数据。稍后将参照图9描述用于使用改变的设置条件和第二代码来识别环境亮度的具体方法。
在一个实施方式中，装置10还可以包括显示器和被配置成控制显示器的处理器。处理器可以从图像处理器200接收对应于装置10附近的亮度的亮度值，并且可以使用该亮度值来控制显示器。例如，当装置10附近的亮度小于阈值时(例如，当暗时)，处理器可以减小显示器的亮度或使显示器休眠(deactivate)。在另一示例中，当装置10附近的亮度等于或大于阈值时(例如，当亮时)，处理器可以激活显示器或增大显示器的亮度。此外，装置10可以以多种方式使用亮度值。
图4是更详细地示出根据本公开的实施方式的用于测量装置附近的亮度的方法的流程图。图4中描述的操作可以被理解为由图1和图2A所示的图像传感器100以及图1和图2B所示的图像处理器200执行。
在S412，图像传感器100可以捕获第一图像数据。在S414，图像传感器100可以输出第一图像数据。稍后将参照图5描述在S414由图像传感器100提供给图像处理器200的第一图像数据。
在S416，图像处理器200(例如，接收器210)可以从图像传感器100接收第一图像数据。在S418，图像处理器200(例如，辉度计算器220)可以基于第一图像数据计算第一代码。稍后将参照图6至图8描述在S418图像处理器200基于第一图像数据计算第一代码的方法。
在S420，图像处理器200(例如，亮度测量器240)可以基于第一代码识别第一亮度值，第一亮度值对应于在捕获第一图像数据时图像传感器100附近的亮度(或装置10附近的亮度)。图像处理器200(例如，亮度测量器240)可以使用先前存储的查找表来测量第一亮度值。稍后将参照图9描述识别第一亮度值。
在S422，图像处理器200(例如，图像传感器控制器230)可以基于在S418计算的第一代码来确定指定事件是否发生。例如，图像处理器200(例如，图像传感器控制器230)可以在第一代码的值是能够通过第一代码表示的值中的最小值或最大值时确定指定事件发生。
在S424，图像处理器200(例如，图像传感器控制器230)可以响应于关于第一代码的指定事件的发生来改变图像传感器100的设置条件。例如，图像传感器100的设置条件可以包括图像传感器100的模拟增益和图像传感器100的曝光时间中的至少之一。
图像处理器200(例如，图像传感器控制器230)可以响应于具有最小值的第一代码来增大图像传感器100的模拟增益和曝光时间。此外，图像处理器200(例如，图像传感器控制器230)可以响应于具有最大值的第一代码来减小图像传感器100的模拟增益和曝光时间。稍后将参照图10描述图像传感器100的设置条件的改变。
在S426，图像传感器100可以根据通过图像处理器200的控制改变的设置条件来捕获第二图像数据。在S428，图像传感器100可以输出第二图像数据。
在S430，图像处理器200(例如，接收器210)可以从图像传感器100接收第二图像数据。在S432，图像处理器200(例如，辉度计算器220)可以基于第二图像数据计算第二代码。稍后将参照图6至图8描述在S432图像处理器200基于第二图像数据计算第二代码的方法。
在S434，图像处理器200(例如，亮度测量器240)可以基于第二代码识别第二亮度值，第二亮度值对应于在捕获第二图像数据时图像传感器100附近的亮度(或装置10附近的亮度)。图像处理器200(例如，亮度测量器240)可以使用先前存储的查找表来测量第二亮度值。稍后将参照图9描述识别第二亮度值。
图5是示出根据本公开的实施方式的由图像传感器提供给图像处理器的图像数据的示例的示图。
参照图5，图像传感器100可以将通过像素阵列110捕获的原始图像510转换成辉度数据520并输出辉度数据520。原始图像510可以具有与像素阵列110中包括的像素的数量对应的像素数量。辉度数据520可以具有比原始图像510少的像素数量。例如，辉度数据520可以包括16×12个像素。
辉度数据520可以包括指定数量(例如，16×12)的辉度值。此外，辉度数据520中的包括每个辉度值可以具有固定数目(例如，8)的比特位。例如，图像传感器100可以输出包括16×12个8比特位辉度值的辉度数据520。
对于图像处理器200执行的环境光感测，图像传感器100可以输出通过转换原始图像510(例如，将其转换成辉度值和/或减小其像素的数量)获取的辉度数据520。图像处理器200(例如，接收器210)可以从图像传感器100接收辉度数据520。图像处理器200可以基于从图像传感器100接收到的辉度数据520计算辉度数据520的代表性辉度值(代表性Y值)。代表性Y值可以是具有指定数量(例如，8)的比特位的代码。
在本公开中，辉度数据520可以被称为图像数据(例如，第一图像数据或第二图像数据)，并且代表性Y值可以被称为代码(例如，第一代码或第二代码)。图3的S312和S316处的第一图像数据和第二图像数据中的每一个可以具有图5的辉度数据520的形式，并且图4的S412、S414、S416、S426、S428和S430处的第一图像数据和第二图像数据中的每一个也可以具有辉度数据520的形式。
图6是示出根据本公开的实施方式的图像处理器基于图像数据计算代码的方法的示图。图7是示出根据本公开的实施方式的图像处理器基于图像数据计算代码的另一种方法的示图。
参照图6和图7，描述了图3和图4中的操作中的用于基于第一图像数据(或第二图像数据)计算与第一图像数据(或第二图像数据)的辉度值对应的第一代码(或第二代码)的方法的两个示例。图6和图7的辉度数据520可以对应于图像数据(例如，第一图像数据或第二图像数据)，并且图6和图7的代表性Y值可对应于代码(例如，第一代码或第二代码)。
图像处理器200(例如，辉度计算器220)可将辉度数据520分割成两个或更多个区域，并且基于两个或更多个区域的相应辉度值计算代表性Y值。例如，图像处理器200将辉度数据520分割成多个感兴趣区域(ROI)，使用ROI中包括的至少一个辉度值来计算每个ROI的辉度值，并且将乘以施加到其的权重的感兴趣区域的相应的辉度值相加，从而计算辉度数据520的代表性Y值。也就是说，图像处理器200可将辉度数据520分割成多个区域并且通过加权和计算代表性Y值。
这里，作为图像处理器200将辉度数据520分割成两个或更多区域(例如，感兴趣区域(ROI))的方法，存在图6中描述的将辉度数据分割成相同尺寸的方法，以及图7中描述的将辉度数据分割成自适应尺寸的方法。
参照图6，图像处理器200可以将从图像传感器100接收到的辉度数据520分割成具有相同尺寸的区域ROI1和ROI2。例如，当辉度数据520具有16×12的尺寸时，图像处理器200可以将辉度数据520分割成区域ROI1和ROI2，每个区域具有4×6的尺寸。区域ROI1和ROI2中的每一个的水平像素的数量(sparse_x)可以是4，并且其竖直像素的数量(sparse_y)可以是6。当每个区域ROI1和ROI2的尺寸是4×6时，网格数量可以是8(网格数量＝(宽度/sparse_x)×(高度/sparse_y)＝(16/4)×(12/6)＝4×2＝8)。
例如，图像处理器200可以将辉度数据520分割成两个中心区域ROI1和六个边界区域ROI2。例如，图像处理器200可以将辉度数据520分割成在中心区域ROI1左侧的两个边界区域ROI2、在中心区域ROI1右侧的两个边界区域ROI2、以及位于中心区域ROI1上下两侧的辉度值被重新配置的两个边界区域。位于中心区域ROI1上下两侧的辉度值被重新配置的两个边界区域中的每一个可以是具有4×6尺寸的区域，包括具有4×3尺寸并且位于任何一个中心区域ROI1的上侧的区域以及具有4×3尺寸并且位于其下侧的区域。替选地，位于中心区域ROI1的上下两侧的辉度值被重新配置的两个边界区域中的每一个可以是具有8×3尺寸并且位于中心区域ROI1的上侧的区域或者具有8×3尺寸并且位于其下侧的区域。此外，图像处理器200可以以多种方式中的任何方式来分割辉度数据520。例如，图像处理器200可以替选地将辉度数据520分割成区域，每个区域具有4×3的尺寸。
参照图6，图像处理器200可以将不同的权重W1和W2施加到与辉度数据520的中心对应的中心区域ROI1和与辉度数据520的边界对应的边界区域ROI2。图像处理器200可以通过式(1)计算辉度数据520的代表性Y值：
代表性Y值＝W1×AVG(ROI1)+W2×AVG(ROI2)(1)
参照式(1)，图像处理器200将中心区域ROI1的相应的辉度值的平均值(AVG(ROI1))乘以权重W1，将边界区域ROI2的相应的辉度值的平均值(AVG(ROI2))乘以权重W2，并且将两个相乘结果相加，从而计算代表性Y值。
参照图7，图像处理器200可以替选地将从图像传感器100接收到的辉度数据520分割成具有自适应尺寸的区域ROI1、ROI2和ROI3。图像处理器200可以将辉度数据520从其中心到其边界分割成具有不同尺寸的区域ROI1、ROI2和ROI3。例如，当辉度数据520具有16×12的尺寸时，图像处理器200可以将辉度数据520在从辉度数据520的中心到其边界的方向上分割为每个尺寸为1×1的区域ROI1、每个尺寸为2×2的区域ROI2、以及每个尺寸为4×3的区域ROI3。
在对应于辉度数据520的中心的区域ROIl的情况下，水平像素的数量(sparse_xl)可以是1并且竖直像素的数量(sparse_yl)可以是1。在相对于对应于辉度数据520的中心的区域ROI1向外定位的区域ROI2的情况下，水平像素的数量(sparse_x2)可以是2并且竖直像素的数量(sparse_y2)可以是2。在对应于辉度数据520的边界的区域ROI3的情况下，水平像素的数量(sparse_x3)可以是4并且竖直像素的数量(sparse_y3)可以是3。当如图7所示分割辉度数据520时，网格数量可以是30，即分别为区域ROI1的数量、区域ROI2的数量和区域ROI3的数量的8、10、12之和。
参照图7，图像处理器200可以将不同的权重W1、W2和W3施加到通过分割辉度数据520获取的相应的区域ROI1、ROI2和ROI3。图像处理器200可以通过式(2)计算辉度数据520的代表性Y值：
代表性Y值＝W1×AVG(ROI1)+W2×AVG(ROI2)+W3×AVG(ROI3)(2)
参照图6的式(1)和图7的式(2)，图像处理器200可通过加权和获取代表性Y值，其根据辉度数据520中的位置(例如，中心或边界)乘以不同的权重。例如，图像处理器200可以根据中心区域(例如，图6的ROI1)的辉度值和边界区域(例如，图6的ROI2)的辉度值之间的差而使用不同的方法来计算代表性Y值。当中心区域的辉度值与边界区域的辉度值之间的差等于或大于阈值时，图像处理器200可以确定诸如物体或人的对象被包括在通过图像传感器100捕获的场景中，而可以使用不包括中心区域的边界区域的辉度值来计算代表性Y值。此外，当中心区域的辉度值与边界区域的辉度值之间的差小于阈值时，图像处理器200可以使用中心区域和边界区域两者来计算代表性Y值。
更详细地描述中心区域的辉度值与边界区域的辉度值之间的差等于或大于阈值的情况，图像处理器200可以计算整个边界区域的辉度值的标准偏差，并且当标准偏差低于特定水平时，可以使用边界区域中包括的所有辉度值来计算代表性Y值。当标准偏差等于或高于特定水平时，图像处理器200可以使用排除边界区域中包括的辉度值的顶部/底部N％的剩余的辉度值来计算代表性Y值。图像处理器200过滤掉辉度值的顶部/底部N％，从而最小化辉度数据520中可能包括的离群值的影响。
类似地，更详细地描述中心区域的辉度值与边界区域的辉度值之间的差小于阈值的情况，图像处理器200可以使用排除中心区域和边界区域二者的所有辉度值的顶部/底部N％的剩余的辉度值来计算代表性Y值。
图8是示出根据本公开的实施方式的基于图像数据的至少一部分来计算代码的示例的示图。图8所示的每一段辉度数据810、820、830可以对应于图5所示的辉度数据520。
参照图8，辉度数据520的一些区域可以包括离群值。离群值可以指示辉度数据520的特定区域的辉度值与辉度数据520的其他区域相比具有非常大的值或非常小的值。例如，当辉度数据520的仅仅一些区域由于像素饱和等原因具有非常大的辉度值时，可以理解为对应的区域包括离群值。
离群值可以包括空间变化和时间变化。
参照图8，在时间t1捕获的辉度数据810的区域可以包括离群值811。当辉度数据810的所有区域中的与离群值811对应的区域的辉度值落在特定范围之外时，离群值811可以对应于空间变化。当捕获的场景中包括局部光(例如，点光源)时，可以出现与空间变化对应的离群值。
此外，比较在时间tl捕获的辉度数据810、在时间t2捕获的辉度数据820和在时间t3捕获的辉度数据830，离群值811、821和831的位置可以不同。当在不同时间捕获的多段辉度数据810、820和830包括处在不同位置的离群值811、821和831时，离群值811、821和831可以是对应于时间变化的离群值。当捕获装置10(或图像传感器100)移动或摇动时，可以出现与时间变化对应的离群值。
图像处理器200可以使用排除离群值811、821和831的剩余区域来计算代表性Y值，以提高基于多段辉度数据810、820和830计算的代表性Y值的准确性。例如，图像处理器200可以基于多段辉度数据810、820和830的至少一部分来计算代表性Y值以提高代表性Y值的准确性。图像处理器200在排除离群值811、821和831之后计算代表性Y值，从而防止离群值811、821和831导致待计算的代表性Y值过度高于或低于实际场景的亮度。
例如，图像处理器200可以通过使用去除多段辉度数据810、820、830中包括的辉度值的顶部/底部N％的剩余的辉度值来计算代表性Y值，排除对应于空间变化的离群值和/或对应于时间变化的离群值。然而，这是示例，并且可以通过多种其他方法中的任何方法来计算代表性Y值。
参照图6至图8，图像处理器200(例如，辉度计算器220)可以使用从图像传感器100获取的辉度数据520来计算代表性Y值。这里，代表性Y值是具有指定数量的比特位(例如，8比特位)的代码，并且可以具有例如范围从0到255的值。在图9和图10中，描述了亮度测量器240使用计算的代表性Y值(即代码)识别装置10附近的亮度(或图像传感器100附近的亮度)的方法，以及图像传感器控制器230根据代码的值而改变图像传感器100的设置条件的方法。
图9是示出根据本公开实施方式的基于设置条件和代码来识别环境亮度的方法的示图。
根据图4的S420和S434，图像处理器200(例如，亮度测量器240)可以基于代表性Y值(例如，第一代码或第二代码)识别图像传感器100附近的亮度(或装置10附近的亮度)(例如，第一亮度值或第二亮度值)。在图9中，描述了图像处理器200(例如，亮度测量器240)基于代表性Y值(或代码)识别环境亮度的具体方法的示例。
在本公开中，图像传感器100的设置条件可以是从指定数量的具有预设值的设置条件候选者中选择的任何一个设置条件。例如，装置10可以预先设置并存储指定数量(例如，3)的设置条件候选者。参照图9，由装置10预先设置的设置条件候选者可以包括三个候选者。这里，第一设置条件候选者可以包括16的模拟增益(AG1)和90ms的曝光时间(Exp1)，第二设置条件候选者可以包括8的模拟增益(AG2)和50ms的曝光时间(Exp2)，并且第三设置条件候选者可以包括1的模拟增益(AG3)和10ms的曝光时间(Exp3)。图像处理器200在缺乏环境光的暗环境中选择第一设置条件候选者，在存在适量环境光的环境中选择第二设置条件候选者，并且在存在大量环境光的亮环境中选择第三设置条件候选者，从而控制图像传感器100。
图像处理器200(例如，亮度测量器240)可以使用先前存储的查找表来测量图像传感器100附近的亮度。查找表是给定操作的先前计算结果的集合或阵列，并且电子装置10可以以表格或关系表达式的形式将查找表存储在存储器中。参照图9的曲线图，在第一设置条件候选者中，如果min_lux是10且Hyst_th_H1是3000，则代码与亮度之间的关系表达式可以是12×(代码)+10。同样，在第二设置条件候选者中，如果Hyst_th_L1是2000且Hyst_th_H2是6000，则代码与亮度之间的关系表达式可以是16×(代码)+2000。同样，在第三设置条件候选者中，如果Hyst_th_L2是5000且max_lux是10000，则代码与亮度之间的关系表达式可以是20×(代码)+5000。图像处理器200可以基于在捕获图像数据(或辉度数据)时的图像传感器100的设置条件来选择三个关系表达式中的任何一个，并且可以通过将计算的代码(或代表性Y值)代入选择的关系表达式来识别环境亮度。
在本公开中，可以被设置为图像传感器100的设置条件(例如，模拟增益和曝光时间)的值可以限于一些固定对。也就是说，可以设置为图像传感器100的模拟增益和曝光时间的值可以是稀疏的(sparse)。
尽管图像传感器100的设置条件候选者被示为包括图9中的三个候选者，但是其是示例，并且本公开的实施方式不限于此。例如，当可测量的照度范围是10lux(勒克斯)到10,000lux并且当代码的比特位数量是8时，图9中的lux分辨率可以是13lux(9990lux/(255×3)＝13lux)。为了通过降低lux分辨率来提高亮度测量的精度，可以使用多种方法中的任何方法来设计装置10，诸如将图像传感器100的设置条件候选者的数量增大到四个或更多个候选者的方法、增大代码的比特位数量的方法、以及减小可测量的照度范围的方法等。
图10是示出根据本公开的实施方式的用于当指定事件发生时改变图像传感器的设置条件的方法的示图。
根据图3的S314和图4的S424，图像处理器200(例如，图像传感器控制器230)可以在指定事件(例如，第一代码具有最小值或最大值的情况)发生时改变图像传感器100的设置条件。在图10中，描述了指定事件的具体示例和改变设置条件的方法。
当在图像传感器100根据从设置条件候选者中选择的任何一个设置条件捕获辉度数据(或图像数据)时周围环境改变(例如，变亮或变暗)时，图像处理器200(例如，图像传感器控制器230)可以根据迟滞回线(hysteresis loop)改变图像传感器100的设置条件，如针对图10所述的那样。在本公开中，迟滞回线可以指示环形回线，其被配置成使得能够通过根据计算的代码的值改变图像传感器100的设置条件而使用具有有限数量的比特位的代码来识别大范围的外部亮度。
参照图10的(A)，当图像传感器100的设置条件对应于第二设置条件候选者并且当代表性Y值(或代码)为0时，图像处理器200(例如，图像传感器控制器230)可以将图像传感器100的用于捕获下一帧的图像(例如，图像数据或辉度数据)的设置条件改变为第一设置条件候选者。图像传感器100将在模拟增益为8并且曝光时间为50ms的状态下捕获的第一图像数据提供给图像处理器200，并且当图像处理器200(例如，辉度计算器220)基于第一图像数据计算的第一代码为0时，图像处理器200(例如图像传感器控制器230)可以改变图像传感器100的设置条件，使得模拟增益被设置为16并且曝光时间被设置为90ms。图像处理器200(例如，图像传感器控制器230)改变图像传感器100的设置条件，从而防止偏离于可以通过第一代码测量的照度。
参照图10的(B)，当图像传感器100的设置条件对应于第一设置条件候选者并且当代表性Y值(或代码)是255时，图像处理器200(例如，图像传感器控制器230)可以将图像传感器100的用于捕获下一帧的图像(例如，图像数据或亮度数据)的设置条件改变为第二设置条件候选者。图像传感器100将在模拟增益为16并且曝光时间为90ms的状态下捕获的第一图像数据提供给图像处理器200，并且当图像处理器200基于第一图像数据计算的第一代码为255时，图像处理器200(例如，图像传感器控制器230)可以改变图像传感器100的设置条件，使得模拟增益被设置为8并且曝光时间被设置为50ms。
参照图10的(C)，当图像传感器100的设置条件对应于第二设置条件候选者并且当代表性Y值(或代码)是255时，图像处理器200(例如，图像传感器控制器230)可以将图像传感器100的用于捕获下一帧的图像(例如，图像数据或亮度数据)的设置条件改变为第三设置条件候选者。图像传感器100将在模拟增益为8且曝光时间为50ms的状态下捕获的第一图像数据提供给图像处理器200，并且当图像处理器200基于第一图像数据计算的第一代码为255时，图像处理器200(例如，图像传感器控制器230)可以改变图像传感器100的设置条件，使得模拟增益被设置为1并且曝光时间被设置为10ms。
参照图10的(D)，当图像传感器100的设置条件对应于第三设置条件候选者并且当代表性Y值(或代码)是0时，图像处理器200(例如，图像传感器控制器230)可以将图像传感器100的用于捕获下一帧的图像(例如，图像数据或亮度数据)的设置条件改变为第二设置条件候选者。图像传感器100将在模拟增益为1且曝光时间为10ms的状态下捕获的第一图像数据提供给图像处理器200，并且当图像处理器200基于第一图像数据计算的第一代码为0，图像处理器200(例如，图像传感器控制器230)可以改变图像传感器100的设置条件，使得模拟增益被设置为8并且曝光时间被设置为50ms。
参照图10的(A)至(D)，图像处理器200(例如，图像传感器控制器230)可以响应于具有最小值(例如，0)的第一代码(或代表性Y值)增大图像传感器100的模拟增益和曝光时间。此外，图像处理器200(例如，图像传感器控制器230)可以响应于具有最大值(例如，255)的第一代码(或代表性Y值)减小图像传感器100的模拟增益和曝光时间。
在本公开中，代表性Y值是最小值(例如，0)的情况可以是因为图像传感器100的模拟增益太低或其曝光时间太短导致图像传感器100的像素中电荷生成很少的情况。当代表性Y值是最小值时，图像处理器200可以增大图像传感器100的模拟增益和曝光时间。另外，代表性Y值是最大值(例如，255)的情况可以是因为图像传感器100的模拟增益太高或者其曝光时间太长导致图像传感器100的所有像素均饱和的情况。当代表性Y值是最大值时，图像处理器200可以减小图像传感器100的模拟增益和曝光时间。
尽管在图10中能够通过第一代码表示的值被示出为范围从0到255，但是这是在第一代码被配置成具有八比特位的假设下设置的，并且本公开的范围不限于此。例如，当第一代码被配置成具有9比特位时，能够通过第一代码表示的值中的最小值和最大值可以分别为0和511。
根据本公开，因为可以使用图像传感器来测量环境亮度，所以图像传感器可以代替环境光传感器(或照度传感器)。

Claims (18)

1.一种图像处理器，包括：
接收器，其从图像传感器接收图像数据；
辉度计算器，其基于所述图像数据计算与所述图像数据的辉度值对应的代码；
图像传感器控制器，其响应于具有所述代码能够采用的值中的最小值或最大值的所述代码而改变所述图像传感器的设置条件；以及
亮度测量器，其输出使用改变的设置条件和所述代码识别的所述图像传感器附近的亮度值。
2.根据权利要求1所述的图像处理器，其中，所述辉度计算器将所述图像数据分割成两个或更多个区域并且基于所述两个或更多个区域的相应的辉度值来计算所述代码。
3.根据权利要求1所述的图像处理器，其中，所述设置条件包括所述图像传感器的模拟增益和所述图像传感器的曝光时间中的至少一个。
4.根据权利要求1所述的图像处理器，其中，所述设置条件是从指定数量的具有预设值的设置条件候选者中选择的任何一个设置条件。
5.根据权利要求4所述的图像处理器，其中，所述指定数量为3。
6.根据权利要求1所述的图像处理器，其中，当所述代码具有8比特位时，所述最小值和所述最大值分别为0和255。
7.根据权利要求1所述的图像处理器，其中，所述图像传感器控制器响应于具有所述最小值的所述代码而增大所述图像传感器的模拟增益和曝光时间。
8.根据权利要求1所述的图像处理器，其中，所述图像传感器控制器响应于具有所述最大值的所述代码而减小所述图像传感器的模拟增益和曝光时间。
9.根据权利要求1所述的图像处理器，其中，所述图像传感器控制器根据迟滞回线改变所述图像传感器的设置条件。
10.根据权利要求1所述的图像处理器，其中，所述亮度测量器使用与改变的设置条件和所述代码相关联的查找表来识别所述亮度值。
11.一种装置，包括：
图像传感器，其在图像处理器的控制下获取图像数据；以及
图像处理器，其：基于从所述图像传感器接收到的第一图像数据来计算与所述第一图像数据的辉度值对应的第一代码，响应于具有所述第一代码能够采用的值中的最小值或最大值的所述第一代码而改变所述图像传感器的设置条件，以及输出使用改变的设置条件和第二代码识别的所述图像传感器附近的亮度值，所述第二代码对应于通过所述图像传感器根据所述改变的设置条件捕获的第二图像数据。
12.根据权利要求11所述的装置，还包括：
显示器；以及
处理器，其基于输出的所述亮度值控制所述显示器。
13.一种测量亮度的方法，包括：
计算与通过图像传感器捕获的第一图像数据的辉度值对应的第一代码；
响应于具有所述第一代码能够采用的值中的最小值或最大值的所述第一代码而改变所述图像传感器的设置条件；以及
使用改变的设置条件和第二代码识别所述图像传感器附近的亮度，所述第二代码对应于通过所述图像传感器根据所述改变的设置条件捕获的第二图像数据。
14.根据权利要求13所述的方法，其中，计算与所述第一图像数据的辉度值对应的所述第一代码包括：
将所述第一图像数据分割成两个或更多个区域；以及
基于所述两个或更多个区域的相应的辉度值计算所述第一代码。
15.根据权利要求13所述的方法，其中，改变所述设置条件包括：
从指定数量的具有预设值的设置条件候选者中选择任何一个设置条件。
16.根据权利要求13所述的方法，其中，改变所述图像传感器的设置条件包括：
响应于具有所述最小值的所述第一代码，增大所述图像传感器的模拟增益和曝光时间。
17.根据权利要求13所述的方法，其中，改变所述图像传感器的设置条件包括：
响应于具有所述最大值的所述第一代码，减小所述图像传感器的模拟增益和曝光时间。
18.根据权利要求13所述的方法，其中，识别所述图像传感器附近的亮度包括：
使用与改变的设置条件和所述第二代码相关联的查找表来识别所述亮度。
CN202310626384.7A 2022-11-08 2023-05-30 使用图像传感器的环境光感测 Pending CN118018853A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0147645 2022-11-08
KR1020220147645A KR20240066632A (ko) 2022-11-08 2022-11-08 이미지 센서를 이용한 주변 광 감지

Publications (1)

Publication Number Publication Date
CN118018853A true CN118018853A (zh) 2024-05-10

Family

ID=90928415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310626384.7A Pending CN118018853A (zh) 2022-11-08 2023-05-30 使用图像传感器的环境光感测

Country Status (3)

Country Link
US (1) US20240155245A1 (zh)
KR (1) KR20240066632A (zh)
CN (1) CN118018853A (zh)

Also Published As

Publication number Publication date
KR20240066632A (ko) 2024-05-16
US20240155245A1 (en) 2024-05-09

Similar Documents

Publication Publication Date Title
TWI703865B (zh) 電子裝置以及取像方法
KR101464750B1 (ko) 고체 촬상 장치, 고체 촬상 장치의 신호 처리 장치 및 신호처리 방법과 촬상 장치
KR100864464B1 (ko) Ｘｙ 어드레스형 고체 촬상 장치의 플리커 노이즈 저감 방법
USRE44062E1 (en) Image sensor for detecting flicker noise and method thereof
US7821547B2 (en) Image sensing apparatus that use sensors capable of carrying out XY addressing type scanning and driving control method
JP2009212909A (ja) 固体撮像装置、固体撮像装置のフリッカ検出方法、制御プログラム、可読記録媒体および電子情報機器
KR101741499B1 (ko) 페데스탈 레벨 보상 방법 및 이를 수행할 수 있는 장치들
US7643069B2 (en) Device and method for adjusting exposure of image sensor
KR20140024707A (ko) 이미지 센서 및 이를 포함하는 전자 기기
KR20150145537A (ko) 이미지 센서 구동 방법, 이를 채용한 이미지 센서 및 이를 포함하는 휴대용 전자 기기
KR20140067408A (ko) 고체 촬상소자 및 그에 따른 동작 제어방법
TWI511557B (zh) 固態成像器件及其驅動方法，以及使用該固態成像器件之電子裝置
US20140204253A1 (en) Solid-state imaging device
US9350920B2 (en) Image generating apparatus and method
US11637963B2 (en) Image sensor and image processing system comprising the same
US20140218577A1 (en) Solid-state imaging device and camera module
US20170251135A1 (en) Imaging device and imaging method
JPWO2016147887A1 (ja) 固体撮像装置およびその制御方法、並びに電子機器
KR100975444B1 (ko) 리셋전압 보상부를 구비한 이미지센서
CN118018853A (zh) 使用图像传感器的环境光感测
KR20230000673A (ko) 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
CN118055330A (zh) 使用图像传感器的环境光感测
US20150029370A1 (en) Solid-state imaging device
US20230064794A1 (en) Photoelectric conversion device, image pickup apparatus, control method, and storage medium
JP2008011007A (ja) 撮像装置および露光時間制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination