CN117897963A - 用于合成低光图像的系统和方法 - Google Patents
用于合成低光图像的系统和方法 Download PDFInfo
- Publication number
- CN117897963A CN117897963A CN202280058244.8A CN202280058244A CN117897963A CN 117897963 A CN117897963 A CN 117897963A CN 202280058244 A CN202280058244 A CN 202280058244A CN 117897963 A CN117897963 A CN 117897963A
- Authority
- CN
- China
- Prior art keywords
- image
- original image
- low
- certain amount
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000002194 synthesizing effect Effects 0.000 title description 3
- 238000005286 illumination Methods 0.000 claims description 43
- 238000003860 storage Methods 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 37
- 238000012545 processing Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 238000009826 distribution Methods 0.000 description 10
- 238000012549 training Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
提供了一种生成低光图像的方法。所述方法包括:接收原始图像,从原始图像中去除一定量的第一照度,对去除了一定量的第一照度的原始图像应用低曝光条件,以及对应用了所述低曝光条件的原始图像应用一定量的低光照度。
Description
技术领域
本公开涉及一种用于合成低光图像(诸如,夜间图像)的系统、方法和装置。
背景技术
由于较低的光子计数撞击相机传感器,在夜间和低光环境中捕捉图像是具有挑战性的。因为信号弱,必须(即,使用高ISO)获得图像,这进一步放大了传感器噪声。这对于智能电话相机特别麻烦,在智能电话相机中,传感器的小尺寸规格限制了每像素的光量,导致在低光和夜晚环境中的显著的噪声水平。当相机的图像信号处理器(ISP)处理噪声传感器图像时,噪声通常被放大,导致噪声以及在美学上不吸引人的最终的标准RGB(sRGB)输出图像。使用长曝光(例如,几秒)捕捉场景通常是不可行的,因为它需要将相机放置在三脚架上以避免相机抖动,并且场景需要保持静止以避免运动模糊。一些系统实现神经网络来处理噪声夜间图像以改善图像的质量。然而,需要大量训练对(例如,输入噪声图像和地面真值(ground-truth)图像),这是昂贵且耗时的。此外,输入噪声图像和地面真值图像因传感器而异,这意味着基于第一传感器训练的神经网络可能不一定在第二传感器上正确地进行操作。
发明内容
技术方案
根据本公开的一方面,一种生成低光图像的方法可包括:接收原始图像,从原始图像中去除一定量的第一照度,对去除了所述一定量的第一照度的原始图像应用低曝光条件,以及对应用了所述低曝光条件的原始图像应用一定量的低光照度。
根据本公开的一方面,一种用于生成低光图像的系统可包括:存储器,存储指令;以及处理器,被配置为执行指令以进行以下操作:接收原始图像,从原始图像中去除一定量的第一照度,对去除了所述一定量的第一照度的原始图像应用低曝光条件,以及对应用了所述低曝光条件的原始图像应用一定量的低光照度。
根据本发明的一方面,一种非暂时性计算机可读存储介质可存储指令,其中,所述指令在被执行时促使至少一个处理器进行以下操作:接收原始图像,从原始图像去除一定量的第一照度,对去除了所述一定量的第一照度的原始图像应用低曝光条件,并且对应用了所述低曝光条件的原始图像应用一定量的低光照度。
另外的方面将部分地在下面的描述中阐述,并且部分地将从描述中显而易见,或者可以通过实践本公开的所呈现的实施例来学习。
附图说明
本专利或申请文件包含至少一幅彩色附图。具有(一个或更多个)彩色附图的本专利或专利申请公开的副本将在请求和支付必要费用后由专利局提供。
通过以下结合附图的描述,本公开的实施例的上述和其他方面、特征和方面将更加明显,其中:
图1是根据实施例的系统的装置的示图;
图2是根据实施例的图1的装置的组件的示图;
图3是根据实施例的捕捉的图像的示图;
图4是根据实施例的对图像中的夜间打光和噪声进行模拟的示例的示图;
图5是根据实施例的用于生成夜间图像的方法的流程图;
图6是根据实施例的捕捉的日间图像的示图;
图7是根据实施例的日间原始图像的示图;
图8是根据实施例的归一化的日间原始图像的示图;
图9是根据实施例的去除了一定量的日间照度的日间原始图像的示图;
图10是根据实施例的应用了低曝光条件的日间原始图像的示图;
图11是示出根据实施例的平均强度分布的曲线图;
图12是根据实施例的应用了一定量的夜间照度的原始图像的示图;
图13是根据实施例的重打光(relighting)掩膜的示图;
图14是根据实施例的将打光掩膜应用于原始图像的示图;
图15是示出根据实施例的应用的打光掩膜的示例的示图;
图16是根据实施例的将打光掩膜应用于原始图像的示图;
图17是示出根据实施例的将夜间照度应用于图像的示例的示图;
图18是根据实施例的将噪声应用于图像的示图;以及
图19是根据实施例的用于生成低光图像的方法的流程图。
具体实施方式
示例实施例的以下详细描述参照附图。不同附图中的相同附图标记可标识相同或相似的元件。
图1是根据实施例的系统的示图。图1包括用户装置110、服务器装置120和网络130。用户装置110和服务器装置120可经由有线连接、无线连接或者有线连接与无线连接的组合互连。
用户装置110可包括计算装置(例如,桌上型计算机、膝上型计算机、平板计算机、手持式计算机、智能扬声器、服务器装置等)、移动电话(例如,智能电话、无线电话等)、相机装置、可穿戴装置(例如,一副智能眼镜或智能手表)或者类似的装置。
服务器装置120包括一个或更多个装置。例如,服务器装置120可以是服务器装置、计算装置等。
网络130包括一个或更多个有线和/或无线网络。例如,网络130可包括蜂窝网络(例如,第五代(5G)网络、长期演进(LTE)网络、第三代(3G)网络、码分多址(CDMA)网络等)、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、城域网(MAN)、电话网络(例如,公共交换电话网络(PSTN))、专用网络、自组织网络、内联网、互联网、基于光纤的网络等以及/或者这些或其他类型的网络的组合。
图1中所示出的装置和网络的数量和布置是作为示例提供的。在实践中,可存在与图1中所示出的装置和/或网络相比增加的装置和/或网络、更少的装置和/或网络、不同的装置和/或网络、或者不同布置的装置和/或网络。此外,图1中所示出的两个或更多个装置可在单个装置内实现,或者图1中所示出的单个装置可被实现为多个分布式装置。另外地或可选地,一组装置(例如,一个或更多个装置)可执行被描述为由另一组装置执行的一个或更多个功能。
图2是根据实施例的图1的一个或更多个装置的组件的示图。装置200可相应于用户装置110和/或服务器装置120。
如图2所示,装置200可包括总线210、处理器220、存储器230、存储组件240、输入组件250、输出组件260和通信接口270。
总线210包括允许装置200的组件之间的通信的组件。处理器220以硬件、固件或者硬件与软件的组合来实现。处理器220是中央处理器(CPU)、图形处理单元(GPU)、加速处理单元(APU)、微处理器、微控制器、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、专用集成电路(ASIC)或者另一类型的处理组件。处理器220包括能够被编程为执行功能的一个或更多个处理器。
存储器230包括随机存取存储器(RAM)、只读存储器(ROM)和/或存储供处理器220使用的信息和/或指令的另一类型的动态或静态存储装置(例如,闪存、磁存储器和/或光存储器)。
存储组件240存储与装置200的操作和使用相关的信息和/或软件。例如,存储组件240可包括硬盘(例如,磁盘、光盘、磁光盘和/或固态盘)、压缩盘(CD)、数字通用盘(DVD)、软盘、盒式磁带、磁带和/或另一种类型的非暂时性计算机可读介质以及相应的驱动器。
输入组件250包括允许装置200诸如经由用户输入接收信息的组件(例如,触摸屏显示器、键盘、小键盘、鼠标、按钮、开关和/或麦克风)。输入组件250可包括用于感测信息的传感器(例如,全球定位系统(GPS)组件、加速度计、陀螺仪和/或致动器)。
输出组件260包括提供来自装置200的输出信息的组件(例如,显示器、扬声器和/或一个或更多个发光二极管(LED))。
通信接口270包括类似收发器的组件(例如,收发器和/或单独的接收器和发送器),该组件使得装置200能够例如经由有线连接、无线连接或者有线连接与无线连接的组合与其他装置通信。通信接口270可允许装置200从另一装置接收信息和/或向另一装置提供信息。例如,通信接口270可包括以太网接口、光学接口、同轴接口、红外接口、射频(RF)接口、通用串行总线(USB)接口、Wi-Fi接口、蜂窝网络接口等。
装置200可执行本文中所描述的一或多个处理。装置200可基于处理器220执行由非暂时性计算机可读介质(例如,存储器230和/或存储组件240)存储的软件指令来执行操作。计算机可读介质在本文中被定义为非暂时性存储器装置。存储器装置包括单个物理存储装置内的存储器空间或跨多个物理存储装置分布的存储器空间。
软件指令可经由通信接口270从另一计算机可读介质或从另一装置读入存储器230和/或存储组件240中。存储在存储器230和/或存储组件240中的软件指令在被执行时可促使处理器220执行本文描述的一个或更多个处理。
另外地或可选地,可使用硬连线电路代替软件指令或与软件指令组合以执行本文描述的一个或更多个过程。因此,本文描述的实施例不限于硬件电路和软件的任何特定组合。
图3是根据实施例的捕捉的图像的示图。图像302是地面真值夜间图像的示例,并且图像304是由相机或传感器捕捉的夜间图像的示例。地面真值图像302可经由长曝光、由专用于夜间捕捉的相机等捕捉,而图像304可由非专用的普通相机(例如,便携式装置中的传感器)捕捉。因此,图像304包括不期望的噪声。
为了从例如图像304去除噪声,一种方法可包括实施神经网络并基于地面真值图像302和噪声图像304训练神经网络。然而,捕捉夜间地面真值图像需要大量时间和资源(即,长曝光捕捉、专用设备等)。此外,可从一种类型的传感器捕捉噪声图像304,并且基于噪声图像304执行的任意训练可能无法针对另一种类型的传感器(例如,不同便携式装置中的不同传感器)正确地进行操作。
本文提供一种用于从日间或其他高照度图像生成具有模拟的低光或夜间照度以及模拟的噪声的图像的系统和方法,该图像可用作训练网络以从捕捉的低光或夜间图像中去除噪声的对。虽然本公开中的某些示例涉及“夜间”图像和“日间”图像,但本公开预期本文公开的系统和方法通常可用于从高照度图像合成低光图像。
通过从捕捉的日间图像生成具有模拟的夜间照度的图像,由于可容易地捕捉高质量的日间图像(即,由于室外、自然光照,可用较便宜的设备捕捉足够质量的日间图像,并且捕捉处理不需要长曝光时间),因此显著减少了适当训练网络(例如,生成训练图像对)所需的资源。
图4是根据实施例的对图像中的夜间打光和噪声进行模拟的示例的示图。根据本公开的实施例,可捕捉日间图像402,并且可在图像402上模拟夜间照度,如图像404所示。另外,可在图像404上模拟噪声,如图像406所示。因此,图像404和图像406可用作训练对,其中,图像404充当地面真值图像。
图5是根据实施例的用于生成夜间图像的方法的流程图。图6是根据实施例的捕捉的日间图像的示图。图7是根据实施例的日间原始图像的示图。在操作502,系统接收日间原始图像。图像602是作为将显示在显示屏上的图像的捕捉的日间图像的示例。然而,图像702是图像602的原始日间图像的示例。原始图像可指在处理图像之前由传感器捕捉的图像(即,图像702可以是原始图像,并且图像602可以是经处理和显示的图像)。在实施例中,图像702可表示为其中,H和W表示以像素为单位的图像尺寸。出于可视化的目的,附图中的原始图像已经被去马赛克(demosiaced),并且伽马已经被应用。
图8是根据实施例的归一化的日间原始图像的示图。在操作504,系统对日间原始图像进行归一化。图像802是归一化的日间原始图像的示例。日间原始图像(例如,图像702)的每一个像素可具有在0和预定义的白色阶(white level)设定之间(例如,[0.white_level])的整数值,其中,white_level与传感器的最大读数值相应。因此,系统将日间原始图像归一化为浮点值0至1(即,值1替换white_level的值)。在实施例中,归一化的图像802可表示为其中,bl和wl表示由相机的元数据提供的黑色阶(black-level)和白色阶。
图9是根据实施例的去除了一定量的日间照度的日间原始图像的示图。在操作506,系统从归一化的日间原始图像中去除日光。系统可通过应用白平衡来从归一化的日间图像中去除日光。在一个实施例中,系统可基于捕捉原始图像的相机的自动白平衡(AWB)例程来去除日光。图像902是去除了一定量的日间照度(例如,对其应用白平衡操作)的图像的示例。白平衡的图像可表示为Iw=InLday,其中,In是归一化的图像,并且并且Lday是使用从相机的AWB函数估计的日间照明体来确定的。Lday中的绿色通道值g可被归一化为1。系统可将拍摄时中性色(as-shot neutral)应用于原始图像以对图像进行白平衡。拍摄时中性色可指如上所述由相机估计的日间照明体,并且可作为元数据与原始图像一起提供。
图10是根据实施例的应用了低曝光条件的日间原始图像的示图。图11是示出根据实施例的平均强度分布的曲线图。在操作508,系统对去除了日间照度的归一化的原始图像应用低曝光条件。图像1002是应用了低曝光条件的图像(例如,图像902)的示例。可基于夜间平均强度的样本来确定低曝光条件。曲线图1102示出针对采样的日间图像和夜间图像的集合的平均强度分布,并且可基于针对采样的夜间图像的集合的平均强度来确定低曝光条件。系统可通过将图像(即,图像的像素值)乘以全局比例因子来应用低曝光条件。可基于采样的夜间图像的集合的平均强度分布来确定全局比例因子。也可在平均强度分布的周围随机选择全局比例因子。应用低曝光条件使图像变暗,从而模拟没有夜间照度的夜间图像。得到的变暗图像可表示为Ie=Iw*d,其中,d与全局比例因子相应。
在操作510,系统对应用了低曝光的原始图像应用夜间照度。系统可将夜间照度应用为全局单个照明体(例如,应用于原始图像的单个照明体)。系统还可将夜间照度应用为一个或更多个局部照明体(例如,应用于原始图像的部分、区间或特定像素的照明体)。
图12是根据实施例的应用了一定量的夜间照度的原始图像的示图。图像1202是应用了全局单个照明体的图像的示例。系统可从夜间照明体的分布确定夜间照明体,然后用确定的夜间照明体对图像1202进行颜色投射。在一些实施例中,系统获取不同的夜间照度(例如,全夜间环境、具有局部打光和反射的夜间环境、低光环境等)下的灰卡的图像,以获得夜间照度的集合或组(例如,数据库)为了用全局单个照明体对场景重打光,系统可对夜间照明体进行随机采样。系统可在夜间照度的数据库/>周围拟合联合色度值(/>和/>)的二维高斯分布。然后,系统可从分布随机采样夜间照明体y,如等式(1)和等式(2)所示:
其中,μ和∑分别是中的归一化的色度值的均值和协方差,M是/>中的夜间照明体的数量,并且/>并且/>
另外地或可选地,系统可通过对一小组(例如,五个至七个)夜间照明体进行采样来将夜间照度应用为局部照明体。重打光的图像Ir可表示为等式(3):
其中其中i={1,...,N},表示夜间照度样本的集合。标量wi用于控制光源的强度。掩膜Mi可被建模为二维高斯函数/>系统可随机地定位中心为(xi,yi)的光源,该光源位于不包括例如边界百分比(例如,不包括图像在图像边缘附近的10%)的图像内。光源的扩展由/>调制,其可在图像尺寸的[0.5,1]之间随机选择。Ie表示应用了较低曝光条件的图像。相同的高斯核可应用于所有通道(即,/>其中,H、W表示以像素为单位的图像尺寸)。运算符⊙可表示逐元素乘法。照明体中的一个(例如,i=1)可被选择为环境光,在这种情况下,掩膜M1是全部为1的掩膜并且具有设置在其他照明体的5%和10%之间的弱强度w1。Ir可以通过白色阶被去归一化,以获得合成夜间图像Inight=Ir(wl-bl)+bl。
图13是根据实施例的重打光掩膜的示图。掩膜1302可包括照度区域1304,其中,照度区域1304在应用于图像时向图像提供局部照度。照度区域的数量可以是随机的和/或均匀的。照度区域1304的颜色可根据来自二维高斯分布的随机样本来确定。照度区域1304的位置可以是随机的和/或均匀的或者在掩膜1302上的预定位置处。可基于具有自动选择的sigma的二维高斯分布来确定照度区域1304的形状。照度区域1304的大小可以是随机的和/或均匀的,或可以是掩膜1302的预定部分百分比。照度区域1304的强度可被缩放到最大水平(例如,1.0)或处于低于最大水平的值。
可利用平均照明体(例如,)生成和渲染图像1416。
图15是示出根据实施例的应用的打光掩膜的示例的示图。图像1502是已经根据操作502至操作508处理的图像的示例。图像1504是多个局部照明体已被应用于图像1502的示例。
图16是根据实施例的将打光掩膜应用于原始图像的示图。可从原始传感器图像产生日间白平衡图像1602,并且原始传感器图像可被局部地重打光为图像1614。掩膜1604、掩膜1606、掩膜1608和掩膜1610可被组合以形成组合掩膜1612,并且组合掩膜1612可被应用以局部地形成重打光的图像1614。
图17是示出根据实施例的将一些量的夜间照度应用于图像的示例的示图。图像1702是从原始传感器图像渲染的日间白平衡图像的示例,并且图像1704是去除了日间照度的原始传感器图像的示例。系统可确定图像中的生成和/或反射光的光或窗或其他对象的位置,从而在对象活动时在图像内提供光源。在图像1706中,基于照度样本对原始图像进行重打光。图像1706可被渲染以产生夜间干净图像,如图像1708中所示。在图像1706和图像1708中,局部照明体被应用于灯(诸如,灯1710)的位置,以模拟夜间照度。
在操作512,系统可输出应用了夜间照度的干净原始图像。系统可将输出的干净原始图像设置为用于稍后训练神经网络的地面真值图像。
图18是根据实施例的将噪声应用于图像的示图。在操作514,系统可对应用了夜间照度的原始图像应用噪声。例如,图像1802是应用了夜间照度的干净图像,并且系统可将噪声应用于图像1802以产生图像1804。系统可基于来自目标传感器的噪声参数将噪声应用于图像1802。也就是说,噪声可以是信号相关的。通过将噪声应用于图像1802,可产生模拟在捕捉夜间图像时的传感器违规(infraction)的图像。
图像Inight可表示高质量的长曝光、低ISO夜间图像。向Inight添加噪声产生低质量、短曝光、高ISO夜间图像。可如等式(4)生成噪声原始图像:
其中,β1和β2分别是拍摄和读取的噪声参数。可基于测量真实噪声/干净夜间图像对的噪声,针对不同的ISO水平凭经验确定β1和β2。
在操作516,系统输出应用了噪声的原始图像。系统可将应用了噪声的图像设置为劣化的夜间图像,并且基于地面真值图像来训练神经网络,其中,地面真值图像是在操作512处输出的目标图像。
图19是根据实施例的用于生成低光图像的方法的流程图。在操作1902,系统接收原始图像。在操作1904,系统从原始图像中去除一定量的第一照度。在操作1906,系统对去除了一定量的第一照度的原始图像应用低曝光条件。在操作1908,系统对应用了低曝光条件的原始图像应用一定量的低光照度。
前述公开内容提供了说明和描述,但并不旨在穷举或将实施方式限制为所公开的精确形式。根据上述公开内容,修改和变化是可能的,或者可从实施方式的实践中获得。
一些实施例可涉及任何可能的技术细节集成级别的系统、方法和/或计算机可读介质。计算机可读介质可包括计算机可读非暂时性存储介质(或媒介),其中,计算机可读非暂时性存储介质(或媒介)在其上具有用于促使处理器执行操作的计算机可读程序指令。
计算机可读存储介质可以是有形装置,其可保留和存储由指令执行装置使用的指令。计算机可读存储介质可以是,例如但不限于,电子存储装置、磁存储装置、光存储装置、电磁存储装置、半导体存储装置或前述的任何合适的组合。计算机可读存储介质的更具体示例的非详尽列表包括以下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字通用盘(DVD)、记忆棒、软盘、机械编码装置(诸如,其上记录有指令的穿孔卡或凹槽中的凸起结构),以及前述的任何合适的组合。如本文所使用的,计算机可读存储介质不应被解释为暂时性信号本身,诸如,无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如,通过光纤电缆的光脉冲)或通过电线传输的电信号。
本文描述的计算机可读程序指令可从计算机可读存储介质下载到相应的计算/处理装置,或者经由网络(例如,互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储装置。网络可包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一个计算/处理装置中的网络适配器卡或网络接口从网络接收计算机可读程序指令,并转发计算机可读程序指令以存储在相应计算/处理装置内的计算机可读存储介质中。
用于执行操作的计算机可读程序代码/指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或者以一种或更多种编程语言的任何组合编写的源代码或目标代码,其中,一种或更多种编程语言包括面向对象的编程语言(诸如,Smalltalk、C++等)和过程编程语言(诸如“C”编程语言或类似编程语言)。计算机可读程序指令可完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立的软件包执行、部分地在用户的计算机上并且部分地在远程计算机上执行、或者完全在远程计算机或服务器上执行。在后一种情况下,远程计算机可通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机,或者可(例如,通过使用互联网服务提供商的互联网)连接到外部计算机。在一些实施例中,电子电路(包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA))可通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路,以便执行各方面或操作。
这些计算机可读程序指令可被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以产生机器,使得经由计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个或更多个框中指定的功能/动作的装置。这些计算机可读程序指令还可存储在计算机可读存储介质中,该计算机可读存储介质可指示计算机、可编程数据处理设备和/或以特定方式起作用的其他装置,使得其中存储有指令的计算机可读存储介质包括制品,该制品包括实现流程图和/或框图的一个或更多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可被加载到计算机、其他可编程数据处理设备或其他装置上,以使得在计算机、其他可编程设备或其他装置上执行一系列操作步骤以产生计算机实现的过程,使得在计算机、其他可编程设备或其他装置上执行的指令实现流程图和/或框图的一个或更多个框中指定的功能/动作。
附图中的流程图和框图示出根据各种实施例的系统、方法和计算机可读介质的可实现的架构、功能和操作。在这方面,流程图或框图中的每个框可表示模块、段或指令的一部分,其中,模块、段或指令的一部分包括用于实现(一个或更多个)指定的逻辑功能的一个或更多个可执行指令。方法、计算机系统和计算机可读介质可包括与附图中所描绘的那些框相比附加的框、更少的框、不同的框或不同布置的框。在一些可选实施方式中,框中指出的功能可以不按附图中指出的顺序发生。例如,连续示出的两个框实际上可同时或基本上同时执行,或者框有时可按照相反的顺序执行,这取决于所涉及的功能。还应注意,框图和/或流程图图示的每一个框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
显而易见的是,本文描述的系统和/或方法可以以不同形式的硬件、固件或硬件与软件的组合来实现。用于实现这些系统和/或方法的实际专用控制硬件或软件代码不限制实现方式。因此,本文描述了系统和/或方法的操作和行为,而不参考特定的软件代码,应当理解,软件和硬件可被设计为基于本文的描述来实现系统和/或方法。
除非明确描述如此,否则本文使用的元件、动作或指令不应被解释为关键或必要的。此外,如本文所使用的,术语“一”和“一个”旨在包括一个或更多个项,并且可与“一个或更多个”互换使用。此外,如本文所使用的,术语“集合”旨在包括一个或更多个项(例如,相关项、不相关项、相关项与不相关项的组合等),并且可与“一个或更多个”互换使用。在仅预期一个项的情况下,使用术语“一个”或类似语言。此外,如本文所使用的,术语“具有”等旨在是开放式术语。此外,除非另有明确说明,否则短语“基于”旨在表示“至少部分地基于”。
已经出于说明的目的呈现了对各方面和实施例的描述,但并不旨在穷举或限于所公开的实施例。即使在权利要求中记载和/或在说明书中公开了特征的组合,但这些组合并不旨在限制可能的实施方式的公开内容。事实上,这些特征中的许多可以以权利要求书中未具体叙述和/或说明书中未公开的方式组合。尽管下面列出的每个从属权利要求可直接从属于仅一个权利要求,但可能的实施方式的公开内容包括每个从属权利要求与权利要求集合中的每个其他权利要求的组合。在不脱离所描述的实施例的范围的情况下,许多修改和变化对于本领域普通技术人员而言将是显而易见的。选择本文使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进,或者使本领域其他普通技术人员能够理解本文公开的实施例。
Claims (15)
1.一种生成低光图像的方法,包括:
接收原始图像;
从原始图像中去除一定量的第一照度;
对去除了所述一定量的第一照度的原始图像应用低曝光条件;以及
对应用了所述低曝光条件的原始图像应用一定量的低光照度。
2.根据权利要求1所述的方法,还包括:对应用了所述一定量的低光照度的原始图像应用一定量的噪声。
3.根据权利要求1所述的方法,其中,所述一定量的低光照度包括一定量的夜间照度。
4.根据权利要求1所述的方法,其中,应用所述一定量的低光照度的步骤包括:对应用了所述低曝光条件的原始图像应用单个全局照明体。
5.根据权利要求1所述的方法,其中,应用所述一定量的低光照度的步骤包括:对应用了所述低曝光条件的原始图像应用多个局部照明体。
6.根据权利要求5所述的方法,还包括:检测原始图像中的光源的至少一个位置,
其中,将所述多个局部照明体中的至少一个应用于所述光源的检测的所述至少一个位置。
7.根据权利要求1所述的方法,其中,基于具有预定颜色和预定比例缩放的环境光掩膜来应用所述一定量的低光照度。
8.一种用于生成低光图像的系统,包括:
存储器,存储指令;以及
处理器,被配置为执行所述指令以进行以下操作:
接收原始图像;
从原始图像中去除一定量的第一照度;
对去除了所述一定量的第一照度的原始图像应用低曝光条件;以及
对应用了所述低曝光条件的原始图像应用一定量的低光照度。
9.根据权利要求8所述的系统,其中,所述处理器还被配置为执行所述指令以进行以下操作:对应用了所述一定量的低光照度的原始图像应用一定量的噪声。
10.根据权利要求8所述的系统,其中,所述一定量的低光照度包括一定量的夜间照度。
11.根据权利要求8所述的系统,其中,应用所述一定量的低光照度的步骤包括:对应用了所述低曝光条件的原始图像应用单个全局照明体。
12.根据权利要求8所述的系统,其中,应用所述一定量的低光照度的步骤包括:对应用了所述低曝光条件的原始图像应用多个局部照明体。
13.根据权利要求12所述的系统,其中,所述处理器还被配置为执行所述指令以进行以下操作:检测原始图像中的光源的至少一个位置,
其中,将所述多个局部照明体中的至少一个应用于所述光源的检测的所述至少一个位置。
14.根据权利要求8所述的系统,其中,基于具有预定颜色和预定比例缩放的环境光掩膜来应用所述一定量的低光照度。
15.一种非暂时性计算机可读存储介质,被配置为存储指令,其中,所述指令在被执行时促使至少一个处理器进行以下操作:
接收原始图像;
从原始图像中去除一定量的第一照度;
对去除了所述一定量的第一照度的原始图像应用低曝光条件;以及
对应用了所述低曝光条件的原始图像应用一定量的低光照度。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163280065P | 2021-11-16 | 2021-11-16 | |
US63/280,065 | 2021-11-16 | ||
US17/566,425 | 2021-12-30 | ||
US17/566,425 US12015855B2 (en) | 2021-11-16 | 2021-12-30 | System and method for synthesizing low-light images |
PCT/KR2022/016955 WO2023090695A1 (en) | 2021-11-16 | 2022-11-02 | System and method for synthesizing low-light images |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117897963A true CN117897963A (zh) | 2024-04-16 |
Family
ID=86323256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280058244.8A Pending CN117897963A (zh) | 2021-11-16 | 2022-11-02 | 用于合成低光图像的系统和方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US12015855B2 (zh) |
EP (1) | EP4331235A1 (zh) |
CN (1) | CN117897963A (zh) |
WO (1) | WO2023090695A1 (zh) |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5171434B2 (ja) | 2007-09-13 | 2013-03-27 | パナソニック株式会社 | 撮像装置、撮像方法、プログラム、および集積回路 |
JP2009276956A (ja) * | 2008-05-14 | 2009-11-26 | Fujifilm Corp | 画像処理装置および方法並びにプログラム |
CN103067661B (zh) | 2013-01-07 | 2017-12-05 | 华为终端有限公司 | 图像处理方法、装置和拍摄终端 |
KR101509992B1 (ko) | 2013-11-28 | 2015-04-08 | 창원대학교 산학협력단 | 고휘도 영역 선택 기반의 광원 보정 장치 및 방법 |
US20180247201A1 (en) | 2017-02-28 | 2018-08-30 | Nvidia Corporation | Systems and methods for image-to-image translation using variational autoencoders |
KR102410834B1 (ko) * | 2017-10-27 | 2022-06-20 | 삼성전자주식회사 | 반사 영역을 제거하는 방법, 사용자의 눈을 추적하는 방법 및 그 장치 |
EP3779872A4 (en) | 2018-04-05 | 2021-05-19 | Koito Manufacturing Co., Ltd. | WORK PROCESSING DEVICE, OBJECT IDENTIFICATION SYSTEM, LEARNING PROCEDURE, AUTOMOTIVE AND LIGHTING DEVICE FOR VEHICLE |
US11995800B2 (en) | 2018-08-07 | 2024-05-28 | Meta Platforms, Inc. | Artificial intelligence techniques for image enhancement |
KR102524982B1 (ko) | 2018-08-08 | 2023-04-24 | 삼성전자 주식회사 | 흐림 처리가 수행된 이미지에 노이즈 패턴을 반영하는 방법 및 장치 |
US11257237B2 (en) | 2019-08-29 | 2022-02-22 | Microsoft Technology Licensing, Llc | Optimized exposure control for improved depth mapping |
CN113052768B (zh) | 2019-12-27 | 2024-03-19 | 武汉Tcl集团工业研究院有限公司 | 一种处理图像的方法、终端及计算机可读存储介质 |
CN112991158B (zh) | 2021-03-31 | 2024-05-31 | 商汤集团有限公司 | 一种图像生成方法、装置、设备及存储介质 |
-
2021
- 2021-12-30 US US17/566,425 patent/US12015855B2/en active Active
-
2022
- 2022-11-02 WO PCT/KR2022/016955 patent/WO2023090695A1/en active Application Filing
- 2022-11-02 EP EP22895902.9A patent/EP4331235A1/en active Pending
- 2022-11-02 CN CN202280058244.8A patent/CN117897963A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230156342A1 (en) | 2023-05-18 |
WO2023090695A1 (en) | 2023-05-25 |
EP4331235A1 (en) | 2024-03-06 |
US12015855B2 (en) | 2024-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9979909B2 (en) | Automatic lens flare detection and correction for light-field images | |
US11315274B2 (en) | Depth determination for images captured with a moving camera and representing moving features | |
CN109983508B (zh) | 快速傅立叶颜色恒常性 | |
JP7333467B2 (ja) | 学習に基づくレンズフレア除去 | |
US20160301868A1 (en) | Automated generation of panning shots | |
US20140293079A1 (en) | Camera Obstruction Detection | |
Kumaragurubaran et al. | Hdrscope: high dynamic range image processing toolkit for lighting simulations and analysis | |
JP6579868B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
CN108810423B (zh) | 一种基于图像亮度梯度的光照角度调节方法及系统 | |
CN112333898A (zh) | 一种灯具亮度调节方法、装置、灯具和存储介质 | |
US20190014235A1 (en) | Method and device for adapting a display visibility | |
WO2013114803A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
JP6292968B2 (ja) | 疑似hdr画像推定装置及び方法 | |
KR20200064564A (ko) | 이미지 처리 방법 및 이를 지원하는 전자 장치 | |
US20140147052A1 (en) | Detecting Broken Lamps In a Public Lighting System Via Analyzation of Satellite Images | |
JP2010055546A (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN117897963A (zh) | 用于合成低光图像的系统和方法 | |
US20230343025A1 (en) | Method and device for light estimation | |
CN110555799A (zh) | 用于处理视频的方法和装置 | |
JP2004220553A (ja) | 画像処理装置および画像処理プログラム | |
CN114663299A (zh) | 适用于煤矿井下的图像去雾模型的训练方法及其装置 | |
WO2021089372A1 (en) | A system for performing image motion compensation | |
JP2012199804A (ja) | 画像処理装置および画像処理方法 | |
WO2013114802A1 (ja) | 画像処理装置及びその画像処理方法、並びにコンピュータ・プログラム、および画像処理システム | |
JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |