CN114208162A - 用于表征环境照明的系统 - Google Patents
用于表征环境照明的系统 Download PDFInfo
- Publication number
- CN114208162A CN114208162A CN202080056094.8A CN202080056094A CN114208162A CN 114208162 A CN114208162 A CN 114208162A CN 202080056094 A CN202080056094 A CN 202080056094A CN 114208162 A CN114208162 A CN 114208162A
- Authority
- CN
- China
- Prior art keywords
- spectrum
- scene
- flash
- color
- illumination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 237
- 238000005286 illumination Methods 0.000 claims abstract description 98
- 238000000034 method Methods 0.000 claims description 65
- 239000011159 matrix material Substances 0.000 claims description 45
- 239000013598 vector Substances 0.000 claims description 45
- 238000012545 processing Methods 0.000 claims description 35
- 230000003595 spectral effect Effects 0.000 claims description 27
- 230000035945 sensitivity Effects 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 6
- 238000000985 reflectance spectrum Methods 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 5
- 238000005259 measurement Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 229910052736 halogen Inorganic materials 0.000 description 4
- 150000002367 halogens Chemical class 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000002310 reflectometry Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 2
- 229910052721 tungsten Inorganic materials 0.000 description 2
- 239000010937 tungsten Substances 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 229920000642 polymer Polymers 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
- G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
- G01J3/505—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour produced by lighting fixtures other than screens, monitors, displays or CRTs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/67—Circuits for processing colour signals for matrixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
Abstract
一种相机系统，其具有多光谱传感器，该多光谱传感器可组合闪光灯使用以确定环境照明的光谱而无需分开的测量。这接着可用来对在具有或没有闪光灯的情况下捕获的图像进行色彩校正。
Description
技术领域
本说明书是关于表征环境照明。
背景技术
由相机捕获的图像的外观受环境照明影响。例如，尽管人类色彩感知展现色彩恒定性，但白色对象在红光中将被相机视为红色。
了解环境照明的光谱将实现基于照明的色彩修改。这可能但无需涉及色彩校正，诸如白平衡。了解环境照明的光谱也可支持其他类型的图像后处理。
期望能够针对彩色环境照明对图像的影响而校正相机，但这很困难，因为问题欠约束。一种方法是假定色谱在成像场景(“灰色世界”)上平均化为灰色；另一方法是假定最亮像素是白色且因此捕获环境照明的光谱。然而，这两者在一些场景中失败。光谱仪可用来直接测量环境照明源的光谱，但这是不切实际的。可能要求用户手动地选择环境照明的类型，但这是麻烦的。
发明内容
本说明书大体上是关于用于表征环境照明，例如用于对由相机捕获的图像进行色彩校正的系统，例如相机系统。在实施方式中，使用多光谱传感器及相机闪光灯单元重构环境光的光谱。
在一个方面中，描述一种使用相机系统来表征环境照明的方法。该相机系统可包括用来捕获场景的视图的图像传感器、用来提供该场景的照明的照明器(例如相机闪光灯单元)及用来在多个波长通道中捕获来自该场景的光的光谱的多光谱传感器。该照明器及该多光谱传感器可为相机的一部分或与该相机相关联。该相机系统可例如为智能电话的一部分。
该方法可包括在除环境照明以外该闪光灯也操作以照明该场景时，使用该多光谱传感器捕获来自该场景的光的第一光谱。该方法可进一步包括在该闪光灯未操作且由该环境照明来照明该场景时，使用该多光谱传感器捕获来自该场景的光的第二光谱。捕获该第一光谱及该第二光谱的顺序是不相关的。
该方法可进一步包括确定表示场景闪光灯光谱的在该第一光谱与该第二光谱之间的差。该场景闪光灯光谱可表示在没有该环境照明的情况下由该闪光灯照明时的该场景的光谱。该方法可进一步包括使用该闪光灯照明的光谱补偿该场景闪光灯光谱以确定经色彩补偿的场景闪光灯光谱。该经色彩补偿的场景闪光灯光谱可表示当针对该闪光灯照明的该光谱进行补偿时的该场景的平均反射率光谱。例如，该经色彩补偿的场景闪光灯光谱可表示在白光下的图像像素的“真实”平均色彩。
该方法可进一步包括使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱。该环境照明的该光谱可由环境照明数据来定义，该环境照明数据定义在多个不同波长数据点处的该环境照明的光水平，例如光照度(illuminance)或辐射亮度(radiance)。
近似地，由该多光谱传感器在波长下看到的光水平可由在该波长下的照明水平与在该波长下的场景反射率的乘积来定义。因此，在一些实施方式中，使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱可包括将表示在一组相应波长点的每一个处的光的该第二光谱的一组值的每一个除以在该相应波长点处的该经色彩补偿的场景闪光灯光谱的对应值。
在一些实施方式中，使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱包括将光的该第二光谱的表示除以该经色彩补偿的场景闪光灯光谱。
在一些实施方式中，该方法可进一步包括针对该多光谱传感器的响应补偿该第一光谱及该第二光谱的每一个。
在一些实施方式中，该多光谱传感器具有n个波长通道。该第一光谱及第二光谱可由长度n的相应第一光谱向量及第二光谱向量(后文是DTFA；DTA)来表示。确定该第一光谱与该第二光谱之间的该差可包括将该第一光谱及该第二光谱向量的一个自另一个减去以确定场景闪光灯光谱向量(后文是DTF)。
在一些实施方式中，尽管并非本质上，但该闪光灯照明的该光谱由长度m的闪光灯照明向量(后文是E(λ))来表示，其中m表示由该光谱定义的(离散)波长点的数目。在每个波长通道的波长点处的该多光谱传感器的敏感度可由n×m的敏感度矩阵(后文是S(λ))来定义。使用该闪光灯照明的该光谱补偿该场景闪光灯光谱可包括将该场景闪光灯光谱向量乘以由该敏感度矩阵及该闪光灯照明向量的组合定义的(n×m)矩阵(后文是MTF)以获得表示该经色彩补偿的场景闪光灯光谱的经色彩补偿的场景闪光灯光谱向量(后文是RT(λ))。该矩阵可通过确定该敏感度矩阵与该闪光灯照明向量的乘积的逆矩阵来确定，或其可以另一方式，例如通过校准过程来确定。
在一些实施方式中，该方法可进一步包括将该第二光谱向量乘以该敏感度矩阵的逆矩阵以获得经传感器补偿的第二光谱向量(后文是RTA(λ))。该方法接着可进一步包括将该经传感器补偿的第二光谱向量除以该经色彩补偿的场景闪光灯光谱向量。
在一些实施方式中，该多光谱传感器具有至少四个波长通道。例如，该多光谱传感器可具有>6(例如6至8)个波长通道。该多光谱传感器可为非成像传感器。
该方法可进一步包括使用该环境照明的该经估计光谱来调适该相机的RGB(红绿蓝)至CIE(国际照明委员会)XYZ变换矩阵。例如，该标准(3x3)变换矩阵(自例如sRGB至CIE-XYZ)的元素的值可经修改以补偿该环境照明的色彩，例如用于色彩校正，诸如白平衡。
在一些应用中，该方法可包括使用该图像传感器来捕获图像。例如，可与该第一光谱或该第二光谱同时捕获该图像(因为已知该闪光灯照明的光谱，所以在这两个时间知道该照明的光谱)。接着可使用该环境照明的该经估计光谱来对该图像进行色彩校正，例如同时进行图像捕获。
此外或代替地，该方法可包括将表示该环境照明的该经估计光谱的数据与表示该经捕获图像的图像数据储存在一起，例如以供稍后在色彩校正中使用。例如，使未经校正图像及数据(该环境照明的该经估计光谱)可用可能是有用的，该未经校正图像及数据可用来在稍后阶段修改该图像中的色彩例如以尝试不同类型或程度的色彩校正。这种后处理可在该相机系统上和/或随后例如在分开的本地机器或远程服务器上执行。
在一些实施方式中，该方法用于智能电话或其他移动设备的相机系统。该方法接着可使用本地或远程处理器实施，或在本地处理器与远程处理器之间共享。
此外或代替地，该方法可包括处理该环境照明的该经估计光谱以将主环境照明分类至一组离散类别(例如荧光灯照明、LED照明、钨/白炽灯照明、日光照明等的一个或多个)中的一个。在一些应用中，可能仅存在两种此类别例如以识别是否已在“困难”或人工照明下或在自然照明或日光下捕获图像。该信息可用来控制图像的捕获(例如曝光时间)和/或控制经捕获图像的后续修改。
在实施方式中，将该主环境照明分类至一组离散类别中的一个可包括归一化该环境照明的该经估计光谱且比较该光谱与一个或多个参考光谱，例如以确定至该或每个参考光谱的距离度量。该经识别照明类别可为具有至其参考光谱的最小距离度量的照明类别。
该方法的一些实施方式可包括处理该环境照明的该经估计光谱以确定表征该环境照明的色彩(例如在CIE u’,v’色彩空间中)或色温(例如相关色温CCT)的照明数据。接着可将该照明数据与来自该图像传感器的图像数据储存在一起和/或使用该照明数据来对经捕获图像进行色彩校正。
在另一方面中，描述一种相机系统。该相机系统可包括以下项的一个或多个：用来捕获场景的视图的图像传感器、用来提供该场景的闪光灯照明的照明器(例如闪光灯单元)及用来在多个波长通道中捕获来自该场景的光的光谱的多光谱传感器。该相机系统也可包括图像处理子系统。
该图像处理子系统可经配置以在除环境照明以外该闪光灯也操作以照明该场景时，使用该多光谱传感器捕获来自该场景的光的第一光谱。该图像处理子系统可进一步经配置以在该闪光灯未操作且由该环境照明来照明该场景时，使用该多光谱传感器捕获来自该场景的光的第二光谱。该图像处理子系统可进一步经配置以确定表示场景闪光灯光谱的在该第一光谱与该第二光谱之间的差，其中该场景闪光灯光谱表示在没有该环境照明的情况下由该闪光灯照明时的该场景的光谱。该图像处理子系统可进一步经配置以使用该闪光灯照明的光谱补偿该场景闪光灯光谱以确定经色彩补偿的场景闪光灯光谱，其中该经色彩补偿的场景闪光灯光谱表示当针对该闪光灯照明的该光谱进行补偿时的该场景的平均反射率光谱。该图像处理子系统可进一步经配置以使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱。
在上文所描述的系统/方法的一些实施方式中，自该闪光灯输出的光的水平(例如光照度或辐射亮度)可大致与环境光的水平(例如光照度或辐射亮度)相同，例如在20倍以内(即，即一个不应比另一个大或小20倍以上)。
在另一方面中，提供一种使用相机系统的方法，该方法包括使用传感器捕获光谱，以及处理该经捕获光谱的至少一部分以产生与该经捕获光谱相关的数据。
在另一方面中，提供一种系统，例如相机系统，其包括：传感器，其经配置以捕获光谱；以及处理系统，其经配置以处理该经捕获光谱的至少一部分且产生与该经捕获光谱相关的数据。
该相机系统可经配置以由控制该系统的一个或多个处理器的软件或由可在一个或多个集成电路上或例如使用软件及硬件的组合的专用硬件(例如电子电路)来实施上文所描述的特征及方面。
因此，也提供经配置以实施如上文所描述的方法的(专用)硬件，例如电子电路。
进一步提供用来实施如上文所描述的系统及方法的处理器控制代码，即在由处理器(计算机)执行时致使该处理器实施如上文所描述的系统或执行如上文所描述的方法的处理器控制代码。可将该代码提供为通过网络或在一个或多个计算机可读介质(例如一个或多个物理数据载体，诸如磁盘或编程的存储器，诸如非易失性存储器(例如闪存)或只读存储器(固件))上传输的信号。用来实施该系统/方法的示例的代码和/或数据可包括以传统编程语言(解释或编译)(诸如C)的源代码、对象或可执行代码，或汇编代码，或用于硬件描述语言的代码。用来实施系统的代码和/或数据可分布于彼此进行通信的多个耦合组件之间。
上文所描述的方法及系统潜在地应用于除相机之外的其他电子设备中，尤其是没有诸如投影仪的图像传感器的电子设备。在这些情况中，该图像传感器可被省略且该相机系统可更恰当地称为环境照明表征系统。
下文仅以示例方式阐述该系统的这些及其他方面的细节。
附图说明
图1a及图1b展示用于表征环境照明的相机系统及该系统的多光谱传感器的响应。
图2展示用于表征环境照明的过程。
图3a至图3d展示示例环境光光谱及其对色彩的光谱的影响。
图4a至图4i绘示确定环境光光谱的步骤。
在附图中，相同附图标记指示相同元件。
具体实施方式
为了在彩色环境照明下恰当地捕获或表示色彩需要了解环境光光谱。例如，在偏红(reddish)环境照明下，白色表面将看似偏红，但在白光照明下，偏红表面也会如此。
本说明书描述一种具有多光谱传感器的相机系统，该多光谱传感器可组合闪光灯以确定环境照明的光谱而无需进行分开的测量。这接着可用来对在具有或没有闪光灯的情况下捕获的图像进行色彩校正，例如以执行自动白平衡。该相机系统可形成消费性电子设备(诸如相机、移动电话、平板计算机、膝上型计算机或其他设备)的一部分。然而，该系统的变型无需捕获图像，例如该系统的变型可在投影仪中用来投影经色彩校正的图像。
图1a展示相机系统100，其在此示例中是具有可选显示器104(尽管为了方便起见而单独展示)的移动设备102的一部分。相机系统100包括图像传感器106及多光谱传感器108。一般而言但不一定，这些指向类似方向，使得多光谱传感器108看到由该图像传感器捕获的光。多光谱传感器108可具备漫射器例如以增加其视场，或具备孔径例如以限制其视场。
在实施方式中，多光谱传感器108包括n通道传感器，其中n≥4(例如n＝6至8)定义该多光谱传感器的波长通道的数目。在本说明书中，自多光谱传感器108捕获的数据称为光谱，即使在一些实施方式中其可定义光谱的仅四个点。
图1b展示具有8个光学通道的合适示例多光谱传感器(ams AS7341)的光谱响应；以nm为单位的波长在x轴上。多光谱传感器108可覆盖整个可见光波长范围，例如自<450nm至>700nm，例如380nm至780nm；在一些实施方式中，其敏感度可扩展至紫外线(UV)或近红外线(NIR)。多光谱传感器108可为具有界定波长通道的光学滤光片的传感器，例如硅光电二极管传感器。滤光片可为例如聚合物、等离子体和/或干涉滤光片；它们可包括用以阻挡UV和/或NIR的一个或多个滤光片。
相机系统100也包括用以直接或间接照明由多光谱传感器108观看的场景的闪光灯110。闪光灯110可包括例如一个或多个LED(发光二极管)。
多光谱传感器108的视场(FOV)及闪光灯110的FOV(严格地讲，照明场)应重叠，且在实施方式中是类似的。多光谱传感器108、闪光灯110及图像传感器106可在移动设备102上彼此物理上邻近。
相机系统100包括图像处理子系统120。在实施方式中，此经配置以例如经由线126控制闪光灯110，以提供场景的闪光灯照明，且例如经由线124捕获来自多光谱传感器108的数据，该数据表示来自场景的光的光谱。图像处理子系统120也可与图像传感器106协作以例如经由线128捕获场景的图像，且可选地处理经捕获图像。在实施方式中，图像处理子系统120与相机系统100集成在一起(尽管在图1中单独展示)。
在实施方式中，图像处理子系统120经配置以控制闪光灯且捕获及处理来自多光谱传感器108的数据以便估计照明场景的环境光的光谱。图像处理子系统120具有在移动设备102内部的输出130。输出130及通常如本说明书中所描述的输出可包括例如图像处理子系统120的电连接或寄存器。
可将环境照明的光谱提供为图像处理子系统120的显式输出，即输出130可提供定义光谱的数据。此外或代替地，图像处理子系统120可进一步处理环境照明的光谱例如以将环境照明分类至一组离散类别中的一个，一组离散类别例如表示不同类型的照明，诸如以下项的一个或多个：荧光灯照明、LED照明、钨/白炽灯照明及日光照明。输出130接着可包括识别环境照明所分类至的类别的数据。
图像处理子系统120可实施为硬件、软件(如在此所使用其包括固件)或两个的组合。如图1中所绘示，非易失性存储器122储存处理器控制代码以控制图像处理子系统120的处理器以执行稍后所描述的操作以估计环境照明的光谱，且可选地执行其他任务，诸如对环境照明进行分类及对经捕获图像进行色彩补偿。
图2展示用于使用图1的相机系统100来确定定义环境照明的光谱的数据的过程。该过程开始于使用多光谱传感器108捕获两个光谱，其中一个具有且另一个没有照明场景的闪光灯，且接着处理这些光谱以确定环境照明的光谱。
因此，在步骤202，该过程控制，例如触发闪光灯以照明场景且在除环境照明以外闪光灯也操作以照明场景时使用多光谱传感器捕获来自场景的光的第一光谱。
一般而言，场景的色彩可由场景的反射率(即场景中的反射表面的色彩(“目标色彩”))与照明(即照明场景的光的色彩)的乘积来描述。
第一光谱可由尺寸n的第一光谱向量DTFA来表示，该向量的每个元素对应于n通道多光谱传感器的波长通道。在此，DTFA表示经检测的多光谱传感器信号。这包括场景照明、场景的环境光照明及场景的闪光灯照明的组合，通过场景的目标色彩修改(乘以场景的目标色彩)，其再乘以在闪光灯照明的每个波长分量下的场景的反射率(参见后文)。
在步骤204，该过程在闪光灯未操作且仅由环境照明来照明场景时使用多光谱传感器捕获来自场景的光的第二光谱。
第二光谱可由尺寸n的第二光谱向量DTA来表示，该向量的每个元素对应于n通道多光谱传感器的波长通道。在此，DTA表示经检测的多光谱传感器信号，该信号包括由场景的目标色彩修改(乘以)的场景的环境光照明。
步骤202及204可以任何顺序执行。
在步骤206，该过程确定第一光谱与第二光谱之间的差。这表示当由闪光灯在没有环境照明的情况下照明时如由多光谱传感器将检测到的场景的光谱，在此称为场景闪光灯光谱。场景闪光灯光谱可由n维场景闪光灯光谱向量DTF来表示，其中：
DTF＝DTFA-DTA
为了避免不精确性，该差不应过小。例如，闪光灯的辐射亮度可更大，例如比环境光的辐射亮度至少大5％左右。本文中所描述的技术的实施方式尤其适合于室内应用。
知道由闪光灯照明时的场景的光谱，即场景闪光灯光谱向量DTF，且知道闪光灯照明的光谱，可确定场景的(平均)目标色彩。目标色彩由当针对闪光灯照明的光谱进行补偿时的场景的平均反射率光谱来表示。
闪光灯照明的光谱可由m维闪光灯照明向量E(λ)来表示，其中m表示由光谱定义的波长点的数目，例如定义闪光灯在m个不同波长的每一个下的光学输出。在LED闪光灯包括其中每个处于不同波长的m个LED的情况下，例如白色LED闪光灯，闪光灯照明向量可定义在每个LED波长下的光学输出。光学输出可被定义为在每个波长下的辐射亮度，或可以任意单位定义。
因此，在步骤208，该过程可使用闪光灯照明的光谱补偿场景闪光灯光谱以确定经色彩补偿的场景闪光灯光谱。
一般而言，由于场景闪光灯光谱是闪光灯照明的光谱与目标色彩的乘积，因此可通过将场景闪光灯光谱除以闪光灯照明的光谱来恢复真实目标色彩。然而，在实践中，这可能涉及将场景闪光灯光谱向量乘以矩阵MTF，该矩阵MTF是自敏感度矩阵S(λ)(表示多光谱传感器108的波长相关的敏感度)与闪光灯照明向量的组合导出。
真实目标色彩(即经色彩补偿的场景闪光灯光谱)可由m维经色彩补偿的场景闪光灯光谱向量RT(λ)来表示，该向量RT(λ)定义在闪光灯照明向量的m个不同波长的每一个下的场景的真实色彩(平均反射率)。接着，例如
其中上标T表示矩阵转置。
一般而言(尽管不一定)，该传感器的n个波长通道可能与闪光灯照明的m个波长不一致。因此，可为多光谱传感器108定义n×m的敏感度矩阵S(λ)。该敏感度矩阵可定义在表示闪光灯照明的光谱的m个波长的每一个下的n个传感器波长通道的每一个的敏感度。该敏感度矩阵对于多光谱传感器108可为已知的或可通过校准来确定。
在一些实施方式中，矩阵MTF表示在闪光灯照明的光谱下测量的多光谱传感器的敏感度的逆矩阵。这可为自n×m的敏感度矩阵S(λ)及m维闪光灯照明向量E(λ)产生的矩阵的伪逆矩阵或维纳逆矩阵。自S(λ)及E(λ)产生的矩阵(其可称为STF)可通过将S(λ)的每个m维列逐元素乘以E(λ)来产生。例如，STF的第i列可具有元素Si,1·E1,…,Si,m·Em，其中i＝1…n。
替代地，矩阵MTF可通过校准来确定，例如通过在零环境光下以每个分开的波长m照明场景，例如白墙。
通过确定以下方程，可将矩阵MTF确定为伪逆矩阵：
通过确定以下方程，可将矩阵MTF确定为维纳逆矩阵：
其中Smooth是平滑矩阵，例如：
ρ～[0.9 ... 0.999]
与将MTF确定为伪逆矩阵相比，将MTF确定为维纳逆矩阵更具代表性。其他方法也可用来确定MTF。
接着，该过程可使用真实目标色彩(即经色彩补偿的场景闪光灯光谱向量RT(λ))来估计环境照明的光谱(步骤210)。这可使用当场景仅由环境照明来照明场景时获得的第二光谱，如由第二光谱向量DTA所表示。
在示例实施方式中，第二矩阵MTA表示传感器敏感度的逆矩阵。在此情况下，可将MTA确定为表征多光谱传感器108的光谱敏感度的n×m的敏感度矩阵S(λ)的伪逆矩阵或维纳逆矩阵。
因此，可将m维经传感器补偿的第二光谱向量RTA(λ)确定为：
其中上标T再次表示矩阵转置。在此，RTA(λ)表示针对多光谱传感器108的响应进行补偿的第二(仅环境光)光谱的测量。
环境照明的光谱可由具有针对m个波长的每一个的值的m维向量RA(λ)来表示。这可通过将经传感器补偿的第二光谱向量RTA(λ)逐元素除以经色彩补偿的场景闪光灯光谱向量RT(λ)来确定：
该过程可将环境照明的光谱提供为输出和/或该过程接着可对环境照明的类型(类别)进行分类(步骤212)。存在可完成此的诸多方式，例如确定一组模板或参考光谱的哪一个与经测量光谱最佳匹配。该分类可简单地旨在区分自然照明与人工照明或也可尝试确定人工照明的特定类型(类别)。
对环境照明进行分类的优点在于，这可允许更精确地确定环境光光谱：相对少的点可用于对环境光光谱进行分类但一旦已知环境照明的类型，便可应用更好的色彩补偿。
作为示例，在一种用来对环境照明的类型进行分类的方法中，首先归一化环境照明的经测量光谱，例如
RAn(λ)＝RA(A)/RA(mean)
其中RA(mean)是RA(λ)的元素的均值。一组i个参考光谱可被表示为i×m的矩阵RAref(λ,i)，其中i索引参考光谱且m索引波长。这些可以相同方式归一化以确定一组经归一化参考光谱RAn_ref(λ,i)：
RAn_ref(λ，i)＝RAref(λ，i)/RAref(mean，i)
其中RAref(mean,i)是参考光谱i的RAref(λ,i)的元素的均值。该组参考光谱可经储存于非易失性存储器122中。
接着可确定环境照明的经测量光谱与参考光谱的每一个之间的积分偏差d(i)，例如
d(i)＝sum(abs(RAn(λ)-RAn_ref(λ，i)))
其中abs(·)表示取绝对值且sum(·)表示对λ求和。接着可通过确定与参考光谱的最佳匹配来确定环境照明的类型，即
i的值最小化d(i)。
此外或代替地，可处理环境照明的经测量光谱以确定环境照明在色彩空间中(在色度图上)的位置，诸如在CIE u’,v’色彩空间中的位置。
此外或代替地，可处理环境照明的经测量光谱以确定环境照明的色温，例如相关色温CCT。
可将此信息提供为自系统输出的照明数据。
照明数据可与来自图像传感器的图像数据储存在一起，和/或用来对经捕获图像进行色彩校正，或以某一其他方式使用。例如，可处理在低CCT环境光下捕获的图像以便看似在其他(例如标准)照明(诸如D65日光)下被捕获。
此外或代替地，可将表征真实目标色彩(即独立于环境光)的数据提供为自系统输出的数据。例如，该系统可输出经色彩补偿的场景闪光灯光谱向量RT(λ)。这可用来例如确定目标(诸如墙上的油漆)的真实色彩，以克服色彩匹配时的同色异谱。
图3a展示D65日光300、低CCT卤素灯302、白色LED 304及荧光灯306的示例环境光光谱；以nm为单位的波长在x轴上。图3b至图3d分别展示在卤素、D65及LED照明下的相同“亮皮肤”色彩的光谱。该色彩在卤素照明下看似更偏红。额外影响源自该相机的RGB滤光片特性。
CIE 1931及CIE 1964色彩空间被设计成更佳匹配人类视觉且具有相关联色彩匹配功能。这些可被认为定义三个光检测器对于CIE三刺激值XYZ(近似蓝色、绿色及红色)的敏感度曲线。3×3矩阵定义特定图像传感器自RBG至XYZ的转换。如上文所描述，针对本文中所描述的系统的实施方式，这也可考虑环境照明的光谱(其可被视为对RGB传感器特性的修改)。
图4a至图4g展示使用上文所描述的方法确定环境光光谱且重构场景的真实(平均)色彩的步骤的示例绘图。图4a展示目标色彩(洋红)的光谱，图4b展示环境D65日光光谱，图4c展示在D65照明下的目标色彩的经检测光谱(DTA)，图4d展示白色LED闪光灯光谱，且图4e展示在闪光灯照明及D65环境照明下的目标色彩的经检测光谱(DTFA)。该示例计算DTF＝DTFA-DTA且接着确定在环境光下的目标色彩的经传感器补偿的光谱RTA(λ)，如图4f中所展示。图4g展示目标色彩(即真实色彩)的经重构光谱RTA(λ)——可见，图4g非常类似于图4a。在图4h中展示经重构环境光光谱
为了比较，在图4i中展示由同一多光谱传感器108对图4a的D65光谱的直接测量。可见该技术是非常精确的。
概括而言，已描述一种通过在具有及没有闪光灯的情况下测量图像场景来计算环境光的光谱的方法。该方法包括通过使用第一矩阵运算(为直接测量而优化)来重构在环境光下的场景的平均反射率色彩(A)；通过使用第二矩阵运算(为色彩测量且相对于闪光灯的已知光谱而优化)来重构场景的平均反射率色彩(B)；以及将环境光光谱计算为A与B之间的差。
可通过与针对典型光源的一组预期经重构数据进行比较来检测环境光源的类型，例如通过计算光谱偏差且找到具有最低偏差的参考光源光谱，例如使用最小平方法或光谱之间的绝对差的总和。
该方法可用于相机中的环境白平衡，和/或用于生成自例如(传感器)像素的RGB值至标准色彩空间(例如XYZ)的特定转换矩阵，和/或为图像捕获后处理提供额外图像信息。
附图标记列表
100 相机系统
102 移动设备
104 显示器
106 图像传感器
108 多光谱传感器
110 闪光灯
120 图像处理子系统
122 非易失性存储器
124 多光谱数据捕获线
126 闪光灯控制线
128 图像捕获线
130 输出
202 控制闪光灯以照明场景且捕获第一光谱
204 在环境照明下捕获来自场景的第二光谱
206 确定第一光谱与第二光谱之间的差DTF
208 进行色彩补偿以确定场景的真实平均色彩RT(λ)
210 使用真实彩色来估计环境照明的光谱RA(λ)
212 对环境照明的类型进行分类
300 D65日光光谱
302 低CCT卤素灯光谱
304 白色LED光谱
306 荧光灯光谱
本文已例如在实施例组合地描述或描绘的方法及系统的特征可单独或以子组合来实施。可组合来自不同实施例的特征。因此，本说明书中所公开或所阐释的每个特征可单独或与本文中所公开或所阐释的任何其他特征以任何适当组合并入本发明中。方法步骤不应被视为要求例如它们被描述或描绘的特定顺序，例如除非此被具体陈述。系统可经配置以通过提供处理器控制代码和/或专用或编程的硬件(例如，电子电路)以实施任务来执行该任务。
已依据实施例描述方法及系统的方面，但这些实施例仅是阐释性的且权利要求不限于那些实施例。
例如，该系统可用于电子设备中，诸如投影仪、膝上型计算机或智能型家用设备(诸如智能型扬声器)，在该情况下可省略成像传感器。在这些应用中，该系统仍可称为相机系统，这是因为其包括光传感器，即多光谱传感器，尽管不一定是成像传感器。在这些应用中，该系统可被使用来例如对经显示图像进行色彩校正。
鉴于本公开，本领域技术人员将能够做出被认为落入权利要求的范围内的修改及替换。
Claims (15)
1.一种使用相机系统来表征环境照明的方法，该相机系统具有用来捕获场景的视图的图像传感器、用来提供该场景的闪光灯照明的闪光灯及用来在多个波长通道中捕获来自该场景的光的光谱的多光谱传感器，该方法包括：
在除环境照明以外该闪光灯也操作以照明该场景时，使用该多光谱传感器捕获来自该场景的光的第一光谱(DTFA)；
在该闪光灯未操作且由该环境照明来照明该场景时，使用该多光谱传感器捕获来自该场景的光的第二光谱(DTA)；
确定表示场景闪光灯光谱(DTF)的在该第一光谱与该第二光谱之间的差，其中该场景闪光灯光谱表示在没有该环境照明的情况下由该闪光灯照明时的该场景的光谱；
使用该闪光灯照明的光谱(E(λ))补偿该场景闪光灯光谱以确定经色彩补偿的场景闪光灯光谱(RT(λ))，其中该经色彩补偿的场景闪光灯光谱表示当针对该闪光灯照明的该光谱进行补偿时的该场景的平均反射率光谱；以及
使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱(RA(λ))。
2.根据权利要求1所述的方法，其中使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱包括将表示在一组相应波长点的每一个处的光的该第二光谱的一组值(RTA(λ))的每一个除以在该相应波长点处的该经色彩补偿的场景闪光灯光谱(RT(λ))的对应值。
3.根据权利要求1或2所述的方法，其中使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱包括将光的该第二光谱(RTA(λ))的表示除以该经色彩补偿的场景闪光灯光谱(RT(λ))。
4.根据权利要求3所述的方法，其进一步包括针对该多光谱传感器的响应(MTF；MTA)补偿该第一光谱及该第二光谱的每一个。
5.根据任一前述权利要求所述的方法，其中该多光谱传感器具有n个波长通道，其中该第一光谱及该第二光谱由长度n的相应第一光谱向量及第二光谱向量(DTFA；DTA)来表示，且其中确定该第一光谱与该第二光谱之间的该差包括将该第一光谱向量及该第二光谱向量的一个自另一个减去以确定场景闪光灯光谱向量(DTF)。
6.根据权利要求5所述的方法，其中该闪光灯照明的该光谱由长度m的闪光灯照明向量(E(λ))来表示，其中m表示由该光谱定义的波长点的数目；其中在每个波长通道的波长点处的该多光谱传感器的敏感度由n×m的敏感度矩阵(S(λ))来定义；且其中使用该闪光灯照明的该光谱补偿该场景闪光灯光谱包括将该场景闪光灯光谱向量(DTF)乘以由该敏感度矩阵及该闪光灯照明向量的组合定义的矩阵(MTF)以获得表示该经色彩补偿的场景闪光灯光谱的经色彩补偿的场景闪光灯光谱向量(RT(λ))。
7.根据权利要求6所述的方法，其进一步包括将该第二光谱向量(DTA)乘以该敏感度矩阵(MTA)的逆矩阵以获得经传感器补偿的第二光谱向量(RTA(λ))，以及将经传感器补偿的第二光谱向量除以该经色彩补偿的场景闪光灯光谱向量(RT(λ))。
8.根据任一前述权利要求所述的方法，其中该多光谱传感器具有至少四个波长通道。
9.根据任一前述权利要求所述的方法，其进一步包括使用该环境照明的该经估计光谱来调适该相机的RGB至CIE XYZ变换矩阵。
10.根据权利要求1-8中任一项所述的方法，其进一步包括使用该图像传感器来捕获图像，以及i)使用该环境照明的该经估计光谱来对该图像进行色彩校正和/或ii)将表示该环境照明的该经估计光谱的数据与表示该经捕获图像的图像数据储存在一起。
11.根据权利要求1-10中任一项所述的方法，其进一步包括处理该环境照明的该经估计光谱以将该环境照明分类至一组离散类别中的一个，以及由该相机取决于该环境照明的该类别控制图像捕获及图像处理的中的一个或两个。
12.根据权利要求1-11中任一项所述的方法，其进一步包括处理该环境照明的该经估计光谱以确定表征该环境照明的色彩或色温的照明数据，以及i)使用该照明数据来对该图像进行色彩校正和/或ii)将该照明数据与来自该图像传感器的图像数据储存在一起。
13.根据权利要求1-12中任一项所述的方法，其进一步包括确定色彩变换矩阵，其中该色彩变换矩阵包括经调适以补偿该环境照明的该经估计光谱的自RGB变换为CIE XYZ色彩空间的矩阵。
14.一种处理器控制代码或一种或多种储存处理器控制代码的计算机可读介质，该处理器控制代码用来实施如权利要求1-13中任一项所述的方法。
15.一种相机系统(100)，包括：
图像传感器(106)，其用来捕获场景的视图；
闪光灯(110)，其用来提供该场景的闪光灯照明；
多光谱传感器(108)，其用来在多个波长通道中捕获来自该场景的光的光谱；
图像处理子系统(120)，其经配置以：
在除环境照明以外该闪光灯也操作以照明该场景时，使用该多光谱传感器捕获来自该场景的光的第一光谱(DTFA)；
在该闪光灯未操作且由该环境照明来照明该场景时，使用该多光谱传感器捕获来自该场景的光的第二光谱(DTA)；
确定表示场景闪光灯光谱(DTF)的在该第一光谱与该第二光谱之间的差，其中该场景闪光灯光谱表示在没有该环境照明的情况下由该闪光灯照明时的该场景的光谱；
使用该闪光灯照明的光谱(E(λ))补偿该场景闪光灯光谱以确定经色彩补偿的场景闪光灯光谱(RT(λ))，其中该经色彩补偿的场景闪光灯光谱表示当针对该闪光灯照明的该光谱进行补偿时的该场景的平均反射率光谱；以及
使用该经色彩补偿的场景闪光灯光谱处理来自该场景的光的该第二光谱以估计该环境照明的光谱(RA(λ))。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962892793P | 2019-08-28 | 2019-08-28 | |
| US62/892,793 | 2019-08-28 | ||
| GBGB2011144.9A GB202011144D0 (en) | 2019-08-28 | 2020-07-20 | Systems for characterizing ambient illumination |
| GB2011144.9 | 2020-07-20 | ||
| PCT/EP2020/073891 WO2021037934A1 (en) | 2019-08-28 | 2020-08-26 | Systems for characterizing ambient illumination |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114208162A true CN114208162A (zh) | 2022-03-18 |
Family
ID=72339036
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080056094.8A Pending CN114208162A (zh) | 2019-08-28 | 2020-08-26 | 用于表征环境照明的系统 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11863879B2 (zh) |
| EP (1) | EP4022890A1 (zh) |
| KR (1) | KR102621698B1 (zh) |
| CN (1) | CN114208162A (zh) |
| GB (1) | GB202011144D0 (zh) |
| TW (1) | TWI769509B (zh) |
| WO (1) | WO2021037934A1 (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115529420A (zh) * | 2021-06-26 | 2022-12-27 | 荣耀终端有限公司 | 一种动态调节光谱传感器曝光参数的方法及电子设备 |
| CN115701128A (zh) * | 2021-07-29 | 2023-02-07 | 华为技术有限公司 | 一种图像处理方法及相关设备 |
| CN115633260A (zh) * | 2021-08-12 | 2023-01-20 | 荣耀终端有限公司 | 一种色度信息的确定方法及相关电子设备 |
| CN113873117A (zh) * | 2021-09-22 | 2021-12-31 | Oppo广东移动通信有限公司 | 终端设备及色彩采集方法、存储介质 |
| KR20230045461A (ko) * | 2021-09-28 | 2023-04-04 | 삼성전자주식회사 | 화이트 밸런스를 수행하는 영상 획득 장치 및 이를 포함하는 전자 장치 |
| CN117425091A (zh) * | 2022-03-28 | 2024-01-19 | 荣耀终端有限公司 | 图像处理方法与电子设备 |
| US20240073538A1 (en) * | 2022-08-30 | 2024-02-29 | Ford Global Technologies, Llc | Image capture with varied illuminations |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030058447A1 (en) * | 2001-08-14 | 2003-03-27 | Nireco Corporation | Colorimeter apparatus for color printer ink |
| WO2003041390A2 (en) * | 2001-11-06 | 2003-05-15 | Rochester Institute Of Technology | Method and system for optimizing a selection of spectral sensitivities |
| US20040075762A1 (en) * | 2002-08-23 | 2004-04-22 | Toshiyuki Okubo | Color balance adjustment of image sensed upon emitting flash light |
| EP1615169A2 (en) * | 2004-07-06 | 2006-01-11 | Microsoft Corporation | Digital photography with flash/no flash extension |
| US7554586B1 (en) * | 1999-10-20 | 2009-06-30 | Rochester Institute Of Technology | System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture |
| US20100020193A1 (en) * | 2008-07-28 | 2010-01-28 | Texas Instruments Incorporated | Method and apparatus for white balance |
| EP2366326A2 (en) * | 2010-03-19 | 2011-09-21 | Fujifilm Corporation | Endoscope image correcting device and endoscope apparatus |
| US20120044380A1 (en) * | 2010-08-18 | 2012-02-23 | Canon Kabushiki Kaisha | Image capture with identification of illuminant |
| CN102365581A (zh) * | 2009-01-26 | 2012-02-29 | 飞利浦拉米尔德斯照明设备有限责任公司 | 使发光二极管闪光匹配至相机环境光的补偿算法 |
| CN103079076A (zh) * | 2013-01-22 | 2013-05-01 | 无锡鸿图微电子技术有限公司 | 自适应伽玛校正曲线的色彩校正矩阵的产生方法及装置 |
| CN103609102A (zh) * | 2011-06-15 | 2014-02-26 | 微软公司 | 高分辨率多光谱图像捕捉 |
| US20150382428A1 (en) * | 2013-02-28 | 2015-12-31 | Osram Opto Semiconductors Gmbh | Method for Illuminating an Environment, Illumination Device and Camera Comprising an Illumination Device |
| CN105574525A (zh) * | 2015-12-18 | 2016-05-11 | 天津中科智能识别产业技术研究院有限公司 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
| US20170085768A1 (en) * | 2014-05-20 | 2017-03-23 | Philips Lighting Holding B.V. | An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source |
| CN107079143A (zh) * | 2014-10-20 | 2017-08-18 | 微软技术许可有限责任公司 | 用于差异图像比较的场景曝光自动补偿 |
| US20190014638A1 (en) * | 2017-07-09 | 2019-01-10 | Lumenetix, Inc. | Full-spectrum flash for electronic devices |
| US20190068938A1 (en) * | 2017-08-23 | 2019-02-28 | Motorola Mobility Llc | Using a light color sensor to improve a representation of colors in captured image data |
| US20190114469A1 (en) * | 2017-10-17 | 2019-04-18 | Sony Corporation | Apparatus and method |
| US20190178711A1 (en) * | 2016-07-28 | 2019-06-13 | Philips Lighting Holding B.V. | Methods and systems for camera-based ambient light estimation |
| CN110007545A (zh) * | 2017-11-14 | 2019-07-12 | 佳能株式会社 | 照明设备和照明设备的控制方法 |
| CN110114646A (zh) * | 2016-12-27 | 2019-08-09 | 优鲁格斯股份有限公司 | 表观运动中的对象的动态超光谱成像 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3838243B2 (ja) | 2003-09-04 | 2006-10-25 | ソニー株式会社 | 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム |
| US7454136B2 (en) * | 2005-07-28 | 2008-11-18 | Mitsubishi Electric Research Laboratories, Inc. | Method and apparatus for acquiring HDR flash images |
| JP5196840B2 (ja) * | 2007-04-26 | 2013-05-15 | キヤノン株式会社 | 情報処理装置および方法 |
| US10267677B1 (en) | 2018-04-03 | 2019-04-23 | Microsoft Technology Licensing, Llc | Calibrated brightness estimation using ambient color sensors |
| US10648862B2 (en) * | 2018-04-03 | 2020-05-12 | Microsoft Technology Licensing, Llc | Color sensing ambient light sensor calibration |
| US20220412798A1 (en) * | 2019-11-27 | 2022-12-29 | ams Sensors Germany GmbH | Ambient light source classification |
-
2020
- 2020-07-20 GB GBGB2011144.9A patent/GB202011144D0/en not_active Ceased
- 2020-08-26 CN CN202080056094.8A patent/CN114208162A/zh active Pending
- 2020-08-26 KR KR1020227009302A patent/KR102621698B1/ko active IP Right Grant
- 2020-08-26 US US17/621,774 patent/US11863879B2/en active Active
- 2020-08-26 WO PCT/EP2020/073891 patent/WO2021037934A1/en unknown
- 2020-08-26 EP EP20764075.6A patent/EP4022890A1/en active Pending
- 2020-08-28 TW TW109129500A patent/TWI769509B/zh active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7554586B1 (en) * | 1999-10-20 | 2009-06-30 | Rochester Institute Of Technology | System and method for scene image acquisition and spectral estimation using a wide-band multi-channel image capture |
| US20030058447A1 (en) * | 2001-08-14 | 2003-03-27 | Nireco Corporation | Colorimeter apparatus for color printer ink |
| WO2003041390A2 (en) * | 2001-11-06 | 2003-05-15 | Rochester Institute Of Technology | Method and system for optimizing a selection of spectral sensitivities |
| US20040075762A1 (en) * | 2002-08-23 | 2004-04-22 | Toshiyuki Okubo | Color balance adjustment of image sensed upon emitting flash light |
| EP1615169A2 (en) * | 2004-07-06 | 2006-01-11 | Microsoft Corporation | Digital photography with flash/no flash extension |
| US20100020193A1 (en) * | 2008-07-28 | 2010-01-28 | Texas Instruments Incorporated | Method and apparatus for white balance |
| CN102365581A (zh) * | 2009-01-26 | 2012-02-29 | 飞利浦拉米尔德斯照明设备有限责任公司 | 使发光二极管闪光匹配至相机环境光的补偿算法 |
| EP2366326A2 (en) * | 2010-03-19 | 2011-09-21 | Fujifilm Corporation | Endoscope image correcting device and endoscope apparatus |
| US20120044380A1 (en) * | 2010-08-18 | 2012-02-23 | Canon Kabushiki Kaisha | Image capture with identification of illuminant |
| CN103609102A (zh) * | 2011-06-15 | 2014-02-26 | 微软公司 | 高分辨率多光谱图像捕捉 |
| CN103079076A (zh) * | 2013-01-22 | 2013-05-01 | 无锡鸿图微电子技术有限公司 | 自适应伽玛校正曲线的色彩校正矩阵的产生方法及装置 |
| US20150382428A1 (en) * | 2013-02-28 | 2015-12-31 | Osram Opto Semiconductors Gmbh | Method for Illuminating an Environment, Illumination Device and Camera Comprising an Illumination Device |
| US20170085768A1 (en) * | 2014-05-20 | 2017-03-23 | Philips Lighting Holding B.V. | An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source |
| CN107079143A (zh) * | 2014-10-20 | 2017-08-18 | 微软技术许可有限责任公司 | 用于差异图像比较的场景曝光自动补偿 |
| CN105574525A (zh) * | 2015-12-18 | 2016-05-11 | 天津中科智能识别产业技术研究院有限公司 | 一种复杂场景多模态生物特征图像获取方法及其装置 |
| US20190178711A1 (en) * | 2016-07-28 | 2019-06-13 | Philips Lighting Holding B.V. | Methods and systems for camera-based ambient light estimation |
| CN110114646A (zh) * | 2016-12-27 | 2019-08-09 | 优鲁格斯股份有限公司 | 表观运动中的对象的动态超光谱成像 |
| US20190014638A1 (en) * | 2017-07-09 | 2019-01-10 | Lumenetix, Inc. | Full-spectrum flash for electronic devices |
| US20190068938A1 (en) * | 2017-08-23 | 2019-02-28 | Motorola Mobility Llc | Using a light color sensor to improve a representation of colors in captured image data |
| US20190114469A1 (en) * | 2017-10-17 | 2019-04-18 | Sony Corporation | Apparatus and method |
| CN110007545A (zh) * | 2017-11-14 | 2019-07-12 | 佳能株式会社 | 照明设备和照明设备的控制方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220049582A (ko) | 2022-04-21 |
| US11863879B2 (en) | 2024-01-02 |
| TWI769509B (zh) | 2022-07-01 |
| EP4022890A1 (en) | 2022-07-06 |
| US20220360756A1 (en) | 2022-11-10 |
| WO2021037934A1 (en) | 2021-03-04 |
| KR102621698B1 (ko) | 2024-01-04 |
| GB202011144D0 (en) | 2020-09-02 |
| TW202123684A (zh) | 2021-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI769509B (zh) | 使用一相機系統來特徵化環境照明之方法，電腦可讀媒體，及相機系統 | |
| JP6974397B2 (ja) | 測定装置 | |
| Nguyen et al. | Training-based spectral reconstruction from a single RGB image | |
| JP5976676B2 (ja) | レンズ部の縦の色収差を利用したイメージングシステム及びその操作方法 | |
| US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
| JP4849818B2 (ja) | ホワイトバランス調整装置及び色識別装置 | |
| US20090002545A1 (en) | Method and system for color management in digital imaging | |
| EP3888345B1 (en) | Method for generating image data for machine learning based imaging algorithms | |
| JP2000138948A (ja) | カラ―映像処理装置及び方法 | |
| KR20220100057A (ko) | 주변 광원 분류 | |
| CN113194303B (zh) | 图像白平衡方法、装置、电子设备和计算机可读存储介质 | |
| Nguyen et al. | Raw-to-raw: Mapping between image sensor color responses | |
| US20070230774A1 (en) | Identifying optimal colors for calibration and color filter array design | |
| CN103108469A (zh) | 控制照明装置输出光的方法及装置、照明系统 | |
| JP2016194456A (ja) | 色忠実環境補正装置および色忠実環境補正方法 | |
| Zapryanov et al. | Automatic White Balance Algorithms forDigital StillCameras–a Comparative Study | |
| TW201436581A (zh) | 電子照相機之自動白平衡之自動化自我訓練之裝置及方法 | |
| US20070041064A1 (en) | Image sampling method for automatic white balance | |
| JP4692872B2 (ja) | 画像処理装置、及び、プログラム | |
| JP6774788B2 (ja) | 色調整装置および色調整システム | |
| US10154201B2 (en) | Method for adjusting photographic images to higher resolution | |
| WO2019167806A1 (en) | Method for setting colorimetric conversion parameters in a measuring device | |
| US20070052814A1 (en) | Method and Apparatus for white-balancing an image | |
| KR102556609B1 (ko) | 조도변화와 빛의 반사에 따라 적응적으로 촬영영상을 보정하는 감시용 카메라의 촬영영상 보정장치 및 그 촬영영상 보정방법 | |
| JP2010161453A (ja) | 赤外線照射式撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |