CN116670709A - 图像生成装置、图像生成方法和程序 - Google Patents

图像生成装置、图像生成方法和程序 Download PDF

Info

Publication number
CN116670709A
CN116670709A CN202180085041.3A CN202180085041A CN116670709A CN 116670709 A CN116670709 A CN 116670709A CN 202180085041 A CN202180085041 A CN 202180085041A CN 116670709 A CN116670709 A CN 116670709A
Authority
CN
China
Prior art keywords
image
image generation
unit
images
hdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085041.3A
Other languages
English (en)
Inventor
川又大典
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN116670709A publication Critical patent/CN116670709A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及使得能够正确地评估图像识别算法的识别性能的图像生成装置、图像生成方法和程序。图像生成单元基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像，并且HDR合成单元对多个模拟图像执行HDR合成。本技术能够应用于图像传感器模型。

Description

图像生成装置、图像生成方法和程序
技术领域
本公开涉及图像生成装置、图像生成方法和程序，并且更具体地，涉及能够实现正确评估图像识别算法的识别性能的图像生成装置、图像生成方法和程序。
背景技术
在自动驾驶系统的开发中，通过虚拟空间上的模拟来核实图像识别算法。在图像识别算法的此类核实中，使用图像传感器的传感器模型通过计算机图形(CG)合成技术来生成与实拍图像非常相似的输入图像。
专利文献1公开了三维相机的模拟系统，该系统被配置为在飞机的模拟环境中对于传感器模型再现噪声和饱和度。
引用列表
专利文献
专利文献1：JP 2013-117958 A
发明内容
本发明要解决的问题
近年来，高动态范围(HDR)图像传感器已经被用于针对汽车的自动驾驶系统和高级驾驶员辅助系统(ADAS)中。
然而，在针对汽车的模拟环境中，没有考虑在使用HDR图像传感器的情况下的噪声等的再现，并且有可能无法正确地评估图像识别算法的识别性能。
鉴于此类情况做出了本公开，并且本公开旨在正确地评估图像识别算法的识别性能。
问题的解决方案
本公开的图像生成装置是包括以下的图像生成装置：图像生成单元，所述图像生成单元基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及HDR合成单元，所述HDR合成单元对多个所述模拟图像执行HDR合成。
本公开的图像生成方法是其中图像生成装置执行以下处理的图像生成方法：基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及对多个所述模拟图像执行HDR合成。
本公开的程序是使计算机执行以下处理的程序：基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及对多个所述模拟图像执行HDR合成。
在本公开中，基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像，并且对多个所述模拟图像执行HDR合成。
附图说明
图1是图示SNR下降(Drop)的示例的图。
图2是图示根据本公开的模式的模拟系统的配置示例的图。
图3是图示根据第一模式的图像传感器模型的配置示例的框图。
图4是用于解释图像传感器模型的操作的流程图。
图5是用于解释模拟图像生成处理的流程图。
图6是图示根据第二模式的图像传感器模型的配置示例的框图。
图7是用于解释模拟图像生成处理的流程图。
图8是图示计算机的配置示例的框图。
具体实施方式
在下文中，将描述用于执行本公开的模式(在下文中称为模式)。注意，将按照以下次序给出描述。
1.现有技术的问题
2.模拟系统的配置示例
3.根据第一模式的图像传感器模型(多重曝光系统)
4.根据第二模式的图像传感器模型(DOL系统)
5.计算机的配置示例
<1.现有技术的问题>
在自动驾驶系统的开发中，通过虚拟空间上的模拟来核实图像识别算法。在图像识别算法的此类核实中，使用图像传感器的传感器模型通过CG合成技术来生成与实拍图像非常相似的输入图像。
近年来，HDR图像传感器已经被用于针对汽车的自动驾驶系统和ADAS中。在合成在不同累积时间捕获的多个图像的HDR图像传感器中，已知当累积时间改变时，发生SNR的降低，这被称为SNR下降。SNR下降恶化了图像识别算法的识别性能。SNR(信噪比)是噪声相对于信号的比率。
图1图示了在用三个不同的累积时间执行捕获的情况下的SNR下降的示例。在https://www.image-engineering.de/content/library/white_paper/P2020_white_paper.pdf中公开了图1中所示的SNR曲线的细节。https://www.image-engineering.de/content/library/white_paper/P2020_white_paper.pdf，图1图示了相对于照度(动态范围)的SNR，并且在HDR合成的边界处SNR大大降低。
然而，为了在针对汽车的模拟环境中评估图像识别算法的识别性能，有必要再现如图1中所示的SNR下降。
因此，在根据本公开的技术中，实现了在针对汽车的模拟环境中再现SNR下降。
<2.模拟系统的配置示例>
图2是图示根据本公开的模式的模拟系统的配置示例的图。
图2中的模拟系统1由硬件、软件或其组合构成。模拟系统1被配置为模拟针对汽车的自动驾驶系统或ADAS中的相机系统的操作。
模拟系统1包括三维渲染系统10、图像传感器模型20和模拟执行单元30。
三维渲染系统10生成用于模拟自动驾驶系统或ADAS中的相机系统的操作的输入图像的图像数据，并将该图像数据供给到图像传感器模型20。例如，输入图像包括道路、在道路上行驶的车辆等。
图像传感器模型20基于来自三维渲染系统10的图像数据来生成其中模拟由相机系统获得的三维图像的CG图像，并且将该CG图像供给到模拟执行单元30。
使用来自图像传感器模型20的CG图像，模拟执行单元30通过预先准备的图像识别算法来模拟相机系统的操作。基于模拟执行单元30所进行的模拟的结果来评估图像识别算法的识别性能。
下面描述构成模拟系统1的图像传感器模型20的模式。
<3.根据第一模式的图像传感器模型>
(图像传感器模型的配置示例)
图3是图示根据第一模式的图像传感器模型20的配置示例的框图。
图3中的图像传感器模型20包括图像生成单元51、HDR合成单元52和灰度压缩单元53。
图像生成单元51基于与施加到图像传感器(HDR图像传感器)的光对应的物理量(能量量)来生成其中再现了具有不同累积时间的多个图像的多个模拟图像。图像生成单元51基于与一个预定帧对应的物理量来生成多个模拟图像。
即，由图像生成单元51生成的模拟图像可以说是假定在不同曝光条件下同时捕获同一被摄体的多重曝光系统的HDR合成的图像数据。多个生成的模拟图像被供给到HDR合成单元52。
HDR合成单元52对从图像生成单元51供给的多个模拟图像执行HDR合成。通过HDR合成获得的HDR图像被供给到灰度压缩单元53。
灰度压缩单元53取决于来自HDR合成单元52的HDR图像的传输频带(图像传感器模型20和模拟执行单元30之间的传输路径的频带)而对HDR图像执行灰度压缩。具体地，灰度压缩单元53针对HDR图像的像素的每个亮度值改变压缩率。例如，因为高亮度像素数据的低位不包括重要信息，所以低位被压缩。经过灰度压缩的HDR图像的图像数据被供给到模拟执行单元30。
注意，虽然未示出，但假定在图像生成单元51和灰度压缩单元53之间包括执行诸如像素缺陷校正和降噪处理之类的信号处理的信号处理单元。
图像生成单元51包括光子数转换单元71、CF透射率乘法单元72-1至72-n、波长范围积分单元73-1至73-n、光电转换单元74-1至74-n、电压转换单元75-1至75-n以及A/D转换单元76-1至76-n。
对于输入到图像生成单元51的与一个预定帧对应的物理量，光子数转换单元71将与图像传感器的预定位置对应的物理量转换成光子数，并将该光子数供给到CF透射率乘法单元72-1至72-n中的每一个。
从CF透射率乘法单元72-1至72-n(72-1、72-2、…、72-n)开始及其之后的功能框针对每个累积时间(在下文中也称为累积#1、#2、...、#n等)提供。在假定一般HDR合成的情况下，n是例如3或4。在下文中，在不相互区分每个累积时间的功能框的情况下，将省略附图标记末尾的“-1”、“-2”和“-n”。
CF透射率乘法单元72针对每个累积时间将来自光子数转换单元71的光子数乘以与图像传感器的每个像素对应的滤色器(CF)的透射率。乘以CF的透射率的光子数被供给到波长范围积分单元73。
波长范围积分单元73针对每个累积时间对于预定波长范围对来自CF透射率乘法单元72的光子数进行积分。对于该波长范围进行积分的光子数被供给到光电转换单元74。
光电转换单元74针对每个累积时间将来自波长范围积分单元73的光子数转换成电荷量(光电转换)。使用光电转换单元74，针对每个累积时间计算出每个像素的电荷量。计算出的每个像素的电荷量被供给到电压转换单元75。
电压转换单元75针对每个累积时间将来自光电转换单元74的每个像素的电荷量转换成模拟电压值，并将该模拟电压值供给到A/D转换单元76。
A/D转换单元76针对每个累积时间将来自电压转换单元75的每个像素的电压值转换成数字值(A/D转换)，由此生成针对每个累积时间的模拟图像。每个模拟图像被供给到HDR合成单元52。
注意，在图3的示例中，图像生成单元51中的功能框包括按照此次序的CF透射率乘法单元72、波长范围积分单元73、光电转换单元74、电压转换单元75和A/D转换单元76，但是这些单元中的一些单元的次序可以反转。
(图像传感器模型的操作)
参照图4中的流程图，解释图3中的图像传感器模型20的操作。例如，每当与输入图像的各帧对应的物理量以诸如30fps之类的帧速率被输入到图像传感器模型20时，执行图4的处理。
在本模式中，光谱辐照度(spectral irradiance)E(λ)[W/m2/nm]作为物理量被输入。光谱辐照度E(λ)表示每单位面积的每个波长的照度。
在步骤S11中，图像生成单元51执行生成其中再现了具有不同累积时间的多个图像的多个模拟图像的模拟图像生成处理。
图5是用于解释步骤S11中的模拟图像生成处理的流程图。
在步骤S31中，光子数转换单元71将输入的光谱辐照度E(λ)除以光子能量hν＝hc/λ，由此将光谱辐照度E(λ)转换成光子数。这里，h表示普朗克常数，并且c表示光速。假定由E(λ)p＝hν表示，则每单位面积每单位时间的每个波长的光子数由以下表达式表达。
[数学表达式1]
E(λ)/E(λ)p[/m2/sec/nm]
在步骤S32中，光子数转换单元71针对每个累积时间分配转换后的光子数。具体地，光子数转换单元71将转换后的光子数供给到CF透射率乘法单元72-1、72-2、...、72-n中的每一个。
在步骤S33中，针对每个累积时间(累积#1、#2、...、#n)并行执行步骤S51至S55的处理。
在步骤S51中，CF透射率乘法单元72将由光子数转换单元71转换的光子数乘以CF的透射率。假定CF的透射率由Si(λ)表示，则乘以CF的透射率的光子数由以下表达式表达。
[数学表达式2]
E(λ)/E(λ)p·Si(λ)[/m2/sec/nm]
注意，i表示CF的子像素的每种颜色。
在步骤S52中，波长范围积分单元73在从λ1到λ2的波长范围中对乘以CF的透射率的光子数进行积分。例如，从λ1到λ2的波长范围是可见光的整个波长范围。在从λ1到λ2的波长范围中进行积分的光子数由以下表达式表达。
[数学表达式3]
在步骤S53中，光电转换单元74将在从λ1到λ2的波长范围中进行积分的光子数光电转换成电荷量。具体地，光电转换单元74将在从λ1到λ2的波长范围中进行积分的光子数乘以像素面积Ai[m2](子像素面积)、累积时间ti[sec]，并进一步乘以量子效率qi[e-]。这里，假定累积时间ti对于累积#1、#2、...、#n中的每一个具有不同的长度。通过这种布置，针对每个累积时间计算出由以下表达式表达的每个像素(子像素)的电荷量Ni。
[数学表达式4]
然而，在电荷量Ni超过像素饱和量FWCi[e-]的情况下，电荷量Ni被限幅为FWCi。
此外，如果有必要，则光电转换单元74将预定的噪声分量添加到对于每个像素(子像素)计算出的电荷量Ni。所添加的噪声分量的示例包括光散粒噪声、光响应非均匀性(PRNU)、暗信号非均匀性(DSNU)和暗白斑。通过这种布置，再现了像素异质性。
在步骤S54中，电压转换单元75将对于每个像素(子像素)计算出的电荷量转换成模拟电压值。具体地，电压转换单元75将每个像素的电荷量Ni乘以转换效率cei[mV/e-]。通过这种布置，针对每个累积时间计算出由以下表达式表达的每个像素(子像素)的电压值Vi。
[数学表达式5]
Vi＝ceiNi[mV]
然而，在电压值Vi超过饱和电压ui[mV]的情况下，电压值Vi被限幅为ui。
此外，如果有必要，则电压转换单元75将预定的噪声分量添加到对于每个像素(子像素)计算出的电压值Vi。所添加的噪声分量的示例包括随机噪声，诸如浮置扩散(FD)放大器噪声。通过这种布置，再现了像素异质性。
在步骤S55中，A/D转换单元76将对于每个像素(子像素)计算出的电压值转换成数字值。具体地，A/D转换单元76将每个像素的电压值Vi乘以转换系数dci[digit/mV]。使用转换系数dci，根据A/D转换单元76的位精度(分辨率)将电压值转换成数字值。例如，在位精度为12位的情况下，电压值通过转换系数dci被转换成取0到4095的范围中的值。转换后的数字值包括量化噪声。通过这种布置，针对每个累积时间计算出由以下表达式表达的每个像素(子像素)的数字值DNi。
[数学表达式6]
DNi＝dciVi[digit]
以这种方式，针对每个累积时间计算出的相应像素的每个数字值被供给到HDR合成单元52作为其中再现了具有不同累积时间的图像的模拟图像，并且过程返回到图4中的步骤S11。
在图4中的步骤S12中，HDR合成单元52基于针对每个累积时间计算出的每个像素的数字值来对每个模拟图像执行HDR合成。具体地，对于每个像素，HDR合成单元52对每个累积时间的数字值DNi执行阈值处理，由此获得HDR图像的每个像素的像素信号。
例如，在拜耳阵列中的R像素、G像素和B像素当中，在执行R像素的HDR合成的情况下，对各累积#1、#2、...、#n的数字值DNR1、DNR2、...、DNRn执行由以下表达式表示的阈值处理，从而获得HDR图像中的R像素的像素信号HDRR。
[数学表达式7]
HDRR＝iT DNR1＜thR1 then gR1·DNR1
else if DNR2＜thR2 then gR2·DNR2...(直到达到#n为止是类似的)
使用上述表达式，将具有最高灵敏度(最短累积时间)的数字值DNR1与阈值thR1进行比较，并且在数字值DNR1小于阈值thR1的情况下，将通过将数字值DNR1乘以增益gR1获得的值gR1·DNR1确定为像素信号HDRR。在数字值DNR1大于阈值thR1的情况下，将具有第二高灵敏度(第二短累积时间)的数字值DNR2与阈值thR2进行比较。在数字值DNR2小于阈值thR2的情况下，将通过将数字值DNR2乘以增益gR2获得的值gR2·DNR2确定为像素信号HDRR。类似地执行这种比较，直到达到具有最低灵敏度(最长累积时间)的数字值DNRn为止。
在步骤S13中，灰度压缩单元53取决于传输频带而对通过HDR合成获得的HDR图像的像素信号进行分层压缩。例如，在通过HDR合成获得的HDR图像的像素信号为24位的情况下，灰度压缩单元53通过诸如折线压缩或自适应灰度转换之类的方法来执行下采样到12位。注意，像素信号的分层压缩只需要在必要时执行。
此外，可以在步骤S11和S12之间或步骤S12和S13之间执行诸如像素的缺陷校正和降噪之类的数字信号处理。
使用以上处理，因为生成了其中再现具有不同累积时间的多个图像的多个模拟图像并且执行了HDR合成，所以可以与实际的HDR图像传感器类似地再现SNR下降。通过这种布置，可以正确地评估模拟执行单元30所进行的模拟中的图像识别算法的识别性能。
<4.根据第二模式的图像传感器模型>
(图像传感器模型的配置示例)
图6是图示根据第二模式的图像传感器模型20的配置示例的框图。
图6中的图像传感器模型20包括图像生成单元151、HDR合成单元52和灰度压缩单元53。因为HDR合成单元52和灰度压缩单元53的配置与图3中的图像传感器模型20具有的配置相似，所以该配置的描述将被省略。
图像生成单元151与图3中的图像生成单元51的相似之处在于图像生成单元151基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像。然而，图像生成单元151与图3中的图像生成单元51的不同之处在于图像生成单元151基于与不同定时处的各帧对应的物理量来生成多个模拟图像。
即，由图像生成单元151生成的模拟图像可以说是假定在不同曝光条件下在不同定时捕获同一被摄体的所谓数字重叠(digital overlap)(DOL)系统的HDR合成的图像数据。
图像生成单元151包括光子数转换单元71-1至71-n、CF透射率乘法单元72-1至72-n、波长范围积分单元73-1至73-n、光电转换单元74-1至74-n、电压转换单元75-1至75-n以及A/D转换单元76-1至76-n。
图像生成单元151与图3中的图像生成单元51的不同之处在于针对每个累积时间(累积#1、#2、#n)提供光子数转换单元71。即，对于与不同定时处的各帧对应的物理量，针对每个累积时间，光子数转换单元71将与图像传感器的预定位置对应的物理量转换成光子数，并将该光子数供给到CF透射率乘法单元72。
因为从CF透射率乘法单元72-1至72-n(72-1、72-2、...、72-n)开始及其之后的功能框的配置与图3中的图像生成单元51具有的配置相似，所以这些功能框的描述将被省略。
(图像传感器模型的操作)
图6中的图像传感器模型20的操作基本上与参照图4中的流程图描述的图3中的图像传感器模型20的操作相似。然而，图6中的图像传感器模型20执行图7中的流程图中所示的模拟图像生成处理作为图4中的步骤S11中的模拟图像生成处理。
针对每个累积时间并行执行图7的模拟图像生成处理。
即，在步骤S71中，光子数转换单元71针对每个累积时间将与不同定时处的帧对应输入的光谱辐照度E(λ)转换成光子数。步骤S72及后续步骤的处理以与图5中的流程图的步骤S33(步骤S51至S55)的处理相似的方式被执行。
使用以上处理，也可以在假定DOL系统的HDR合成的HDR图像传感器中与实际的HDR图像传感器类似地再现SNR下降。通过这种布置，可以正确地评估模拟执行单元30所进行的模拟中的图像识别算法的识别性能。
<5.计算机的配置示例>
上述的一系列处理可以由软件执行。在这种情况下，构成该软件的程序被安装在计算机中。这里，计算机的示例包括并入专用硬件中的计算机和例如能够在安装了各种程序时执行各种功能的通用个人计算机。注意，一系列处理可以由硬件执行。
图8是图示使用程序执行上述一系列处理的计算机的硬件的配置示例的框图。
在计算机中，CPU 301、只读存储器(ROM)302和随机存取存储器(RAM)303通过总线304相互连接。
此外，输入/输出接口305也连接到总线304。输入单元306、输出单元307、存储单元308、通信单元309和驱动器310连接到输入/输出接口305。
输入单元306包括键盘、鼠标、麦克风等。输出单元307包括显示器、扬声器等。存储单元308包括硬盘、非易失性存储器等。通信单元309包括网络接口等。驱动器310驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质311。
在如上所述配置的计算机中，CPU 301经由输入/输出接口305和总线304将例如存储在存储单元308中的程序加载到RAM 303中并执行该程序，由此执行上述的一系列处理。
例如，可以通过将计算机(CPU 301)所执行的程序记录在作为包装介质(packagemedium)等的可移除介质311中来提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。
在计算机中，可以通过将可移除介质311附接到驱动器310经由输入/输出接口305将程序安装在存储单元308中。此外，可以由通信单元309经由有线或无线传输介质来接收程序并将该程序安装在存储单元308中。此外，可以将程序预先安装在ROM 302或存储单元308中。
注意，计算机所执行的程序可以是其中按照本说明书中描述的次序按时间序列执行处理的程序，或者可以是其中并行执行或在必要的定时(诸如在进行调用时等)执行处理的程序。
注意，本公开的模式不限于上述模式，并且可以在不脱离本公开的要旨的范围内进行各种修改。
本说明书中描述的效果仅仅是示例而不是限制，并且可以提供其它效果。
此外，本公开还可以具有以下配置。
(1)
一种图像生成装置，包括：
图像生成单元，所述图像生成单元基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
HDR合成单元，所述HDR合成单元对多个所述模拟图像执行HDR合成。
(2)
根据(1)所述的图像生成装置，其中
所述图像生成单元基于与一个预定帧对应的所述物理量来生成多个所述模拟图像。
(3)
根据(1)所述的图像生成装置，其中
所述图像生成单元基于与不同定时处的各帧对应的所述物理量来生成多个所述模拟图像。
(4)
根据(1)至(3)中的任一项所述的图像生成装置，其中
所述物理量是光谱辐照度。
(5)
根据(1)至(4)中的任一项所述的图像生成装置，其中
所述图像生成单元包括转换单元，所述转换单元将与所述图像传感器的预定位置对应的所述物理量转换成光子数。
(6)
根据(5)所述的图像生成装置，其中
所述图像生成单元包括乘法单元，所述乘法单元针对所述累积时间中的每个累积时间，将所述光子数乘以与所述图像传感器的像素中的每个像素对应的滤色器的透射率。
(7)
根据(6)所述的图像生成装置，其中
所述图像生成单元包括波长范围积分单元，所述波长范围积分单元针对所述累积时间中的每个累积时间，对于预定波长范围对所述光子数进行积分。
(8)
根据(7)所述的图像生成装置，其中
所述图像生成单元包括光电转换单元，所述光电转换单元针对所述累积时间中的每个累积时间，将所述光子数转换成电荷量。
(9)
根据(8)所述的图像生成装置，其中
所述光电转换单元将对于像素面积和所述累积时间进行积分的所述光子数乘以量子效率，以针对所述累积时间中的每个累积时间计算出所述像素中的每个像素的所述电荷量。
(10)
根据(9)所述的图像生成装置，其中所述光电转换单元将预定的噪声分量添加到对于所述像素中的每个像素计算出的所述电荷量。
(11)
根据(9)或(10)所述的图像生成装置，其中
所述图像生成单元包括：
电压转换单元，所述电压转换单元针对所述累积时间中的每个累积时间，将所述像素中的每个像素的所述电荷量转换成电压值；以及
A/D转换单元，所述A/D转换单元针对所述累积时间中的每个累积时间，通过将所述像素中的每个像素的所述电压值转换成数字值来生成所述模拟图像。
(12)
根据(11)所述的图像生成装置，其中所述电压转换单元将预定的噪声分量添加到对于所述像素中的每个像素转换的所述电压值。
(13)
根据(1)至(12)中的任一项所述的图像生成装置，还包括
灰度压缩单元，所述灰度压缩单元取决于通过所述HDR合成获得的HDR图像的传输频带而对所述HDR图像执行灰度压缩。
(14)
一种图像生成方法，其中图像生成装置执行以下处理：
基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
对多个所述模拟图像执行HDR合成。
(15)
一种使计算机执行以下处理的程序：
基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
对多个所述模拟图像执行HDR合成。
附图标记列表
1 模拟系统
10 图像传感器模型
20 三维渲染系统
30 模拟执行单元
51 图像生成单元
52 HDR合成单元
53 灰度压缩单元
71 光子数转换单元
72 CF透射率乘法单元
73 波长范围积分单元
74 光电转换单元
75 电压转换单元
76A/D转换单元

Claims (15)

1.一种图像生成装置，包括：
图像生成单元，所述图像生成单元基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
HDR合成单元，所述HDR合成单元对多个所述模拟图像执行HDR合成。
2.根据权利要求1所述的图像生成装置，其中
所述图像生成单元基于与一个预定帧对应的所述物理量来生成多个所述模拟图像。
3.根据权利要求1所述的图像生成装置，其中
所述图像生成单元基于与不同定时处的各帧对应的所述物理量来生成多个所述模拟图像。
4.根据权利要求1所述的图像生成装置，其中
所述物理量是光谱辐照度。
5.根据权利要求1所述的图像生成装置，其中
所述图像生成单元包括转换单元，所述转换单元将与所述图像传感器的预定位置对应的所述物理量转换成光子数。
6.根据权利要求5所述的图像生成装置，其中
所述图像生成单元包括乘法单元，所述乘法单元针对所述累积时间中的每个累积时间，将所述光子数乘以与所述图像传感器的像素中的每个像素对应的滤色器的透射率。
7.根据权利要求6所述的图像生成装置，其中
所述图像生成单元包括波长范围积分单元，所述波长范围积分单元针对所述累积时间中的每个累积时间，对于预定波长范围对所述光子数进行积分。
8.根据权利要求7所述的图像生成装置，其中
所述图像生成单元包括光电转换单元，所述光电转换单元针对所述累积时间中的每个累积时间，将所述光子数转换成电荷量。
9.根据权利要求8所述的图像生成装置，其中
所述光电转换单元将对于像素面积和所述累积时间进行积分的所述光子数乘以量子效率，以针对所述累积时间中的每个累积时间计算出所述像素中的每个像素的所述电荷量。
10.根据权利要求9所述的图像生成装置，其中
所述光电转换单元将预定的噪声分量添加到对于所述像素中的每个像素计算出的所述电荷量。
11.根据权利要求9所述的图像生成装置，其中
所述图像生成单元包括：
电压转换单元，所述电压转换单元针对所述累积时间中的每个累积时间，将所述像素中的每个像素的所述电荷量转换成电压值；以及
A/D转换单元，所述A/D转换单元针对所述累积时间中的每个累积时间，通过将所述像素中的每个像素的所述电压值转换成数字值来生成所述模拟图像。
12.根据权利要求11所述的图像生成装置，其中所述电压转换单元将预定的噪声分量添加到对于所述像素中的每个像素转换的所述电压值。
13.根据权利要求1所述的图像生成装置，还包括
灰度压缩单元，所述灰度压缩单元取决于通过所述HDR合成获得的HDR图像的传输频带而对所述HDR图像执行灰度压缩。
14.一种图像生成方法，其中图像生成装置执行以下处理：
基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
对多个所述模拟图像执行HDR合成。
15.一种使计算机执行以下处理的程序：
基于与施加到图像传感器的光对应的物理量来生成再现了具有不同累积时间的多个图像的多个模拟图像；以及
对多个所述模拟图像执行HDR合成。
CN202180085041.3A 2020-12-23 2021-12-10 图像生成装置、图像生成方法和程序 Pending CN116670709A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020213546A JP2022099651A (ja) 2020-12-23 2020-12-23 画像生成装置、画像生成方法、およびプログラム
JP2020-213546 2020-12-23
PCT/JP2021/045488 WO2022138226A1 (ja) 2020-12-23 2021-12-10 画像生成装置、画像生成方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN116670709A true CN116670709A (zh) 2023-08-29

Family

ID=82159090

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085041.3A Pending CN116670709A (zh) 2020-12-23 2021-12-10 图像生成装置、图像生成方法和程序

Country Status (4)

Country Link
US (1) US20240031684A1 (zh)
JP (1) JP2022099651A (zh)
CN (1) CN116670709A (zh)
WO (1) WO2022138226A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9218690B2 (en) * 2012-08-29 2015-12-22 Ge Aviation Systems, Llc Method for simulating hyperspectral imagery
JP6604297B2 (ja) * 2016-10-03 2019-11-13 株式会社デンソー 撮影装置
JP6548691B2 (ja) * 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ 画像生成システム、プログラム及び方法並びにシミュレーションシステム、プログラム及び方法
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
JP2019022173A (ja) * 2017-07-21 2019-02-07 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子およびその制御方法、並びに電子機器

Also Published As

Publication number Publication date
WO2022138226A1 (ja) 2022-06-30
JP2022099651A (ja) 2022-07-05
US20240031684A1 (en) 2024-01-25

Similar Documents

Publication Publication Date Title
CN107534761B (zh) 成像装置、成像方法、图像处理装置
US7995115B2 (en) Image pickup device, image pickup system, image pickup method, and image processing device
US9041856B2 (en) Exposure control methods and apparatus for capturing an image with a moving subject region
JP5085140B2 (ja) 固体撮像装置
US9288399B2 (en) Image processing apparatus, image processing method, and program
US9305372B2 (en) Method and device for image processing
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
CN111669514B (zh) 高动态范围成像方法和装置
US9432589B2 (en) Systems and methods for generating high dynamic range images
CN111986084B (zh) 一种基于多任务融合的多相机低光照图像质量增强方法
US20110069200A1 (en) High dynamic range image generating apparatus and method
JP2011010108A (ja) 撮像制御装置、撮像装置及び撮像制御方法
US8749665B2 (en) Dynamic range extension for CMOS image sensors for mobile applications
CN103945145A (zh) 处理图像的设备和方法
CN102122388A (zh) 用于获得高动态范围图像的设备和方法
CN113962884B (zh) Hdr视频获取方法、装置、电子设备以及存储介质
JP2007201985A (ja) 広ダイナミックレンジ撮像装置
JP7253634B2 (ja) 結合前ノイズ除去による高ダイナミックレンジ画像生成
CN102883108A (zh) 摄像设备及其控制方法、图像处理设备和方法
CN111292282A (zh) 低比特位宽hdr图像的生成方法及装置、存储介质、终端
CN111885312A (zh) Hdr图像的成像方法、系统、电子设备及存储介质
US8599288B2 (en) Noise reduction apparatus, method and computer-readable recording medium
WO2022138226A1 (ja) 画像生成装置、画像生成方法、およびプログラム
JP2008294524A (ja) 画像処理装置および画像処理方法
JP6160139B2 (ja) 撮像装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination