CN103813105B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN103813105B
CN103813105B CN201310534609.2A CN201310534609A CN103813105B CN 103813105 B CN103813105 B CN 103813105B CN 201310534609 A CN201310534609 A CN 201310534609A CN 103813105 B CN103813105 B CN 103813105B
Authority
CN
China
Prior art keywords
image
images
high quality
time
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310534609.2A
Other languages
English (en)
Other versions
CN103813105A (zh
Inventor
塩谷浩之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201711333468.2A priority Critical patent/CN107819999A/zh
Publication of CN103813105A publication Critical patent/CN103813105A/zh
Application granted granted Critical
Publication of CN103813105B publication Critical patent/CN103813105B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像处理设备、方法和程序。提供一种图像处理设备，所述图像处理设备包括环境光图像获取部分，累积图像生成部分和高质量图像生成部分。所述环境光图像获取部分在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像。所述累积图像生成部分在第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间顺序拍摄的被摄物体的图像。所述高质量图像生成部分生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。

Description

图像处理设备和方法
相关申请的引用
本申请要求2012年11月8日提出的日本专利申请JP 2012-246537的优先权，该专利申请的整个内容在此引为参考。
技术领域
本技术涉及图像处理设备、方法和程序，更具体地，涉及易于在不利用多个照明装置的情况下，噪声低、阴影均衡并且质感增强地拍摄被摄物体图像的图像处理设备、方法和程序。
背景技术
专业的摄影工作室把多光源照明系统用于被摄物体的成像。借助多光源照明系统，通过利用多个照明装置，以来自各个方向的光产生的所希望的阴影使被摄物体成像。多光源照明系统的使用增强了被摄物体的质感，产生观赏价值高的图像。
利用多光源照明系统拍摄的被摄物体的图像看起来好于利用室内照明或者利用闪光灯拍摄的相同被摄物体的另一个图像。这是因为图像具有利用多光源照明系统形成的独特的阴影，并且具有由以足够的亮度照射的被摄物体产生的降噪效果。
最近，通过网络等的拍卖变得非常流行。就拍卖来说，根据用户拍摄的物品的图像，进行物品的买卖，其他用户不能检查物品本身。于是，供销售物品的图像看起来多好会影响中标价格。
从而在对摄影不是特别感兴趣的用户之中，利用多光源照明系统进行写实成像的需求不断增长。
这里的顾虑在于由于调整阴影平衡需要专业技能，因此利用多光源照明系统的成像不是十分有利于没有经验的用户。
鉴于此，提出一种使阴影平衡的调整变得容易的技术。例如，参见日本专利申请公开No.2007-281937(下面称为专利文献1)。
在专利文献1中，通过利用仿真图像进行检查，在对被摄物体成像之后，调整被摄物体的阴影平衡。即，通过逐一打开多个照明装置，对被摄物体成像，利用加权加法合成所得到的数字图像，以致获得仿真图像。这稍微减轻了在成像时，调整阴影平衡的复杂处理。
另外在专利文献1中，即使利用环境光和照明光同时照射被摄物体，通过环境光图像的减去，也能够防止所得到的合成图像变得比预期图像明亮的问题。
另外提出一种在诸如灯泡摄影(bulb imaging)之类的长时曝光摄影期间，随时显示拍摄的图像的技术。例如，参见日本专利申请公开 No.2005-117395(下面称为专利文献2)。
然而，就专利文献2的技术来说，利用长时曝光摄影拍摄的多个图像的重叠会导致本底噪声的叠加。于是，长时曝光摄影期间，单位时间的图像数目的增加会增大所得到的合成图像中的本底噪声。
鉴于此，提出一种通过减少待拍摄的图像的实际数目，降低合成图像中的本底噪声，而不利用线路的不常读取，降低显示帧速率的技术。例如，参见日本专利申请公开No.2012-80457(下面称为专利文献 3)。
发明内容
就专利文献1的设备来说，顾虑在于确实允许用户在完成成像之后，利用模拟调整来自照明装置的光的亮度，但是不允许用户利用模拟，调整照明装置的位置和方向。这意味对于被摄物体的阴影调整，该现有技术存在许多限制。
此外，为了利用专利文献1的技术，应使用多个计算机可控制的照明装置，以致设置所述照明装置的时间和费用是一种负担。
首先，对无专长的业余用户来说，多光源照明系统本身是一项大型工程。此外，就多光源照明系统来说，数目更多的照明装置确实产生更高的灵活性，但是会导致阴影控制更复杂。
此外，为了减小在图像上重叠诸如光源拍摄噪声之类的噪声而导致的影响，应该使用发出较强光的照明装置。从而对业余用户来说，不易将多光源照明系统用于成像。
另外在专利文献1中，没有采取防备环境光分量中的拍摄噪声的适当措施。从而存在在图像中的在对其进行减法处理之后，没有环境光分量的任何部分，尤其是较暗部分中产生强噪声的可能性。
这是因为作为像素值a和b之和的像素值a+b包括a+b的拍摄噪声的分散(variance)，并且类似于所述像素值加法，作为像素值a和b 之间的差的像素值a-b也包括a+b的拍摄噪声的分散。即，即使在像素值相减时，噪声也被加在一起，例如，即使就像素值a-a=0(即，黑色)来说，包含在其中的噪声也为a+a=2a，从而在任何较暗部分中导致强噪声。
专利文献2和3的技术未考虑暗电流噪声。
从而理想的是易于在不利用多个照明装置的情况下，噪声低、阴影均衡并且质感增强地拍摄被摄物体图像。
按照本技术的实施例，提供一种图像处理设备，包括环境光图像获取部分、累积图像生成部分和高质量图像生成部分。所述环境光图像获取部分被配置成在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像。所述累积图像生成部分被配置成在第一时间范围之后的第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像。所述高质量图像生成部分被配置成生成高质量图像，所述高质量图像是通过从标准化（normalized）图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
图像处理设备还包括关灯检测部分，所述关灯检测部分被配置成判定照明装置是否被关闭，所述照明装置是与为了照射被摄物体而最初发光的光源不同的光源。当照明装置被判定为关闭时，拍摄环境光图像。
在拍摄环境光图像之后的时间范围中的成像期间，照明装置被打开。
照明装置由用户拿着，并呈弧线地移动。
累积图像生成部分被配置成进行在第二时间范围中拍摄的被摄物体的图像的累加，所述累加是通过根据指定照明装置朝着哪些方向发光的信息，按方向对图像分类而进行的。高质量图像生成部分被配置成通过按预定比率，组合高质量图像，生成另一个高质量图像，所述高质量图像都是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值获得的，所述标准化图像是按方向分类，并根据曝光时间的总和标准化的各个累积图像。
图像处理设备还包括显示部分，所述显示部分被配置成产生图像显示。显示部分被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
累积图像生成部分被配置成把第二时间范围分成多个短时间范围，并被配置成通过按短时间范围对图像分类，进行在第二时间范围中拍摄的被摄物体的图像的累加。高质量图像生成部分被配置成通过按预定比率，组合高质量图像，生成另一个高质量图像，所述高质量图像都是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值获得的，所述标准化图像是按短时间范围分类，并根据曝光时间的总和标准化的各个累积图像。
图像处理设备还包括显示部分，所述显示部分被配置成产生图像显示。显示部分被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
图像处理设备还包括显示部分，所述显示部分被配置成产生图像显示。在第二时间范围中，高质量图像被顺序显示在显示部分上。
在第二时间范围中过去预定时间之前，增益逐渐增大，显示在显示部分上的高质量图像中的像素的亮度值被乘以所述增益。
在累积图像中的像素的最大亮度值达到预定值之前，增益逐渐增大，显示在显示部分上的高质量图像中的像素的亮度值被乘以所述增益。
在累积图像中，所述多个图像中的各个像素值被乘以加权系数，以防止图像中的每个图像的比例贡献小于预定值，所述图像是在第二时间范围中拍摄的。
根据累积图像中的像素值的变化，检测在被摄物体的表面上的镜面反射的发生，改变加权系数的值，以减小观察到镜面反射的图像的比例贡献。
利用对像素值进行的预定计算处理，改变照明颜色，以照射在第二时间范围中拍摄的图像中的被摄物体。
按照本技术的实施例，提供一种图像处理设备方法，所述方法包括利用环境光图像获取部分，在第一时间范围中获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像，利用累积图像生成部分，在第一时间范围之后的第二时间范围中生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像，和利用高质量图像生成部分生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
按照本技术的实施例，提供一种使计算机起图像处理设备作用的程序，所述设备包括环境光图像获取部分、累积图像生成部分和高质量图像生成部分。所述环境光图像获取部分被配置成在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像。所述累积图像生成部分被配置成在第一时间范围之后的第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像。所述高质量图像生成部分被配置成生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
按照本技术的第一实施例，在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像。在第一时间范围之后的第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像。通过从标准化图像中的对应像素值中，减去环境光图像中的像素值生成高质量图像，所述标准化图像是根据曝光时间的总和标准化的累积图像。
按照本技术的实施例，易于在不利用多个照明装置的情况下，噪声低、阴影均衡并且质感增强地拍摄被摄物体图像。
根据如在附图中图解说明的本公开的最佳实施例的以下详细说明，本公开的这些和其它目的、特征和优点将变得更明显。
附图说明
图1是表示按照本技术的实施例的成像系统的例证结构的示图；
图2A和2B都是图解说明图1的活动照明装置的外观的示图；
图3是表示图1的照相机及其活动照明装置的例证内部结构的方框图；
图4是表示诸如由图3的应用程序处理器运行的程序之类的软件的例证功能结构的方框图；
图5是详细图解说明利用诸如将由应用程序处理器运行的程序之类的软件的处理的示图；
图6是详细图解说明利用诸如将由应用程序处理器运行的程序之类的软件的处理的示图；
图7是图解说明高质量图像的图像数据的例证记录格式的示图；
图8是图解说明例证的成像处理的流程图；
图9是图解说明例证的高质量图像生成处理的流程图；
图10是图解说明随累积时间的变化的增益值的变化的示图；
图11是图解说明随最大亮度的变化的增益值的变化的示图；
图12是图解说明在成像期间，像素值如何变化的示图；
图13是图解说明阴影的种类的粗分类方式的示图；
图14是图解说明如何调整阴影地生成高质量图像的例子的示图；
图15是表示用于调整加权系数的例证GUI的示图；
图16是图解说明如何调整阴影地生成高质量图像的另一个例子的示图；
图17是表示用于调整加权系数的再一个例证GUI的示图；
图18是表示用于调整加权系数的另一个例证GUI的示图；
图19是表示个人计算机的例证结构的方框图。
具体实施方式
下面参考附图，说明本技术的实施例。
图1是表示按照本技术的实施例的成像系统的例证结构的示图。在图1中，成像系统10被配置成包括活动照明装置11、被摄物体12、照相机13、三角架15和环境光源16。照相机13具备显示器14。
图1的成像系统10被配置成即使是业余用户，也能够容易地拍摄象利用多光源照明系统拍摄的图像似的质感高的美观图像。
活动照明装置11易于由用户移动到任何希望的位置。在本例中，棒状活动照明装置11由用户拿着，并呈弧线地移动，如图中的虚线箭头所示。按照这种方式，仅仅通过拿着活动照明装置11，并呈弧线地移动活动照明装置11，用户就可从他/她希望的位置照射被摄物体12。注意尽管棒状的活动照明装置11易于把握，不过棒状并不是限制性的，任何其它的形状也是可能的。
被摄物体12是利用成像系统10成像的对象。
照相机13是能够对被摄物体12成像，从而连续获得多个图像的数字照相机。照相机13中包括照相机模块，利用照相机模块对被摄物体12成像。所述照相机模块是利用预先设定的曝光时间，获得图像，并在曝光时间过去之后，把被摄物体12的图像数据相继向外输出的装置。照相机13的详细结构将在后面说明。
注意在本例中，尽管利用三角架15固定照相机13，不过照相机 13也可不利用三角架15地对被摄物体12成像。
显示器14是在对图像进行后面说明的处理之后，向用户呈现利用照相机13拍摄的图像的显示装置。显示器14附着在照相机13的背面等，产生图像的实时显示，以显示时间。
在观察显示在显示器14上的图像的时候，当用户认为阴影合意时，用户可终止摄影，细节将在后面说明。此外，通过叠加触摸装置，构成显示器14。显示器14在上面显示诸如GUI(图形用户界面)之类的图像，并接受用户根据图像而作出的操作输入。
环境光源16推测起来是置于被摄物体12所在房间中的照明装置。环境光源16被认为是诸如荧光灯之类的普通光源，或者持续发光的任意光源。在图中，环境光源16被表示成一个照明装置，不过可由多个照明装置构成。如果不可避免地来自室外的任何灯进入室内，那么该光也被认为发射自环境光源16。
即，环境光源16共同意味除朝着被摄物体12发光的活动照明装置11之外的光源。
图2A和2B都是图解说明图1的活动照明装置11的外观的示图。图2A表示活动照明装置11的背面，图2B表示活动照明装置11的发光面(表面)。
活动照明装置11设置在具有发光窗22的表面上，所述发光窗22 是用来自内部光源的光照射的平面区域。
活动照明装置11设置在具有由用户操纵的按钮23-1～23-3的表面上。本例中，设置的是3个按钮23-1～23-3，不过，按钮的数目并不局限于3个。当按下任意按钮时，输出与分配给所按下按钮的操作对应的信号。
注意当不必特别识别这些按钮23-1～23-3时，这些按钮被简称为按钮23。
除发光窗22和按钮23之外的活动照明装置11被外壳覆盖，所述外壳是图中的阴影区。所述外壳由低反射率部件构成。这从而防止当用户弧线地移动活动照明装置11时，被摄物体12被任何多余光的反射所照射。
如后所述，活动照明装置11具备例如加速度传感器，以检测6个方向的加速度矢量，所述6个方向分别是X轴、Y轴和Z轴的正负方向。
图3是表示图1的照相机13及其活动照明装置11的例证内部结构的方框图。
在图3的例子中，照相机13被配置成包括应用程序处理器31、 NVRAM(非易失性随机存取存储器)32、DRAM(动态随机存取存储器)、可拆卸介质34、显示装置35和照相机模块50。活动照明装置11 包括发光装置41、按钮42和加速度传感器43。
图3的应用程序处理器31是装有CPU(中央处理器)、GPU(图形处理器)、外围接口等的移动装置中的核心器件。应用程序处理器31 运行包括控制照相机13的成像、图像处理等的程序的软件。
应用程序处理器31与用于把保存在NVRAM32中的软件和程序载入DRAM33中的各种外设连接。
照相机模块50是利用预置时间的曝光，获得被摄物体12的图像，并在所述曝光之后，向外相继输出图像的数据的装置。
就通过拍摄被摄物体12的光学图像而获得的图像数据来说，照相机模块50被配置成把图像数据传送给应用程序处理器31。
显示装置35是控制图1的显示器14上的图像显示的功能块。如上所述，显示器14具备触摸装置(未示出)，通过该显示装置，操作信号被提供给应用程序处理器31。响应用户利用手指在显示器14的表面上的触摸，输出所述操作信号。
就在应用程序处理器31的处理之后提供的图像数据而论，可拆卸介质34利用记录处理，以文件的形式保存图像数据。另一方面，可拆卸介质34可保存包括待安装在照相机13的程序的软件。
发光装置41是用LED(发光二极管)构成的发光体(光源)。如用图中的箭头所示，酌情向应用程序处理器31提供发光装置41是否正在发光的信息。
按钮42是图2B的按钮23的功能块，可响应用户的按压，输出预定信号。如用图中的箭头所示，从按钮42输出的信号被酌情提供给应用程序处理器31。
加速度传感器43检测加速度，例如，检测6个方向的加速度矢量，所述6个方向分别是X轴、Y轴和Z轴的正负方向。如用图中的箭头所示，利用加速度传感器43检测的加速度被酌情提供给应用程序处理器31。
在本例中，设置了加速度传感器43，不过作为对加速度传感器43 的替代，可以设置例如角速度传感器或者地磁传感器。
在图3中，照相机13和活动照明装置11之间的箭头可以用无线或有线通信实现。另一方面，响应通过操纵照相机13、显示器14的触摸装置等产生的用户输入，关于活动照明装置11的信息可被提供给应用程序处理器31。
活动照明装置11可具备微控制器，以使发光装置41、按钮42和加速度传感器43起外设的作用。
图4是表示包括将由图3的应用程序处理器31运行的程序的软件的例证功能结构的方框图。
在图4中，个别图像获取部分71控制照相机模块50，使照相机模块50拍摄被摄物体12的多个图像，从而获得图像的图像数据。图 4的个别图像获取部分71获得作为运动图像拍摄的被摄物体12的各个图像的帧图像。
这里，照相机模块50的摄影周期最好被设定成每秒10帧或者更高，以允许用户的交互式阴影调整。此外，照相机模块50的曝光时间最好被设定成即使用活动照明装置11照射被摄物体12，也不会导致像素值饱和。
个别图像获取部分71获得的图像包括在活动照明装置11被打开的情况下拍摄的图像，例如根据用户操作，确定利用个别图像获取部分71获得的图像的数目。这里注意当环境光图像获取部分78获得环境光图像时，也可使用个别图像获取部分71。
在利用个别图像获取部分71获得的每个图像中，加法部分72对每个对应像素进行像素值相加。这里，当环境光图像获取部分78获得环境光图像时，也可使用加法部分72。
就利用加法部分72，关于图像获得的像素值来说，标准化部分73 通过把每个像素值除以经历像素值相加的图像的总数(确切地说，曝光时间的总数)，使图像标准化。这里，当环境光图像获取部分78获得环境光图像时，也可使用标准化部分73。
从在标准化部分73的标准化处理之后的各个图像中的像素值中，减法部分74减去利用后面说明的环境光图像获取部分78获得的图像中的任意对应像素的像素值。借助所述减法，标准化处理之后的图像可没有源于环境光的反射、阴影等。
显示部分75向显示装置35提供在减法部分74的处理之后的图像的显示数据，从而使显示器14显示在减法部分74的处理之后的图像。
照明控制部分76控制打开或关闭活动照明装置11。只有当根据利用加速度传感器43检测的加速度，确定活动照明装置11移动时，照明控制部分76才控制打开活动照明装置11。
所述照明控制部分76不是必须设置，或者可以设置在活动照明装置11之内。此外，照明控制部分76可产生声音输出或者屏幕显示，以指示用户关闭活动照明装置11，或者允许用户打开活动照明装置 11。
关灯检测部分77检测活动照明装置11的关闭。关于活动照明装置11的关闭的所述检测可以利用通信进行，或者可以利用用户通过操作触摸装置，以便他/她确认活动照明装置11的关闭而作出的用户输入进行。
环境光图像获取部分78控制照相机模块50，使之在活动照明装置11被关闭的情况下拍摄被摄物体12的图像。环境光图像获取部分 78随后获得图像的图像数据。
环境光图像获取部分78获得的图像是在活动照明装置11被关闭的情况下拍摄的图像，即，只是在利用关灯检测部分77检测到活动照明装置11被关闭的状态下拍摄的那些图像。利用环境光图像获取部分 78获得的图像的数目可以是一个，或者利用个别图像获取部分71、加法部分72和标准化部分73，可以获得多个图像，并最终获得一个环境光图像。
记录部分79控制把图像数据记录在可拆卸介质34上。
参考图5和6，详细说明包括由应用程序处理器31运行的程序的软件的处理。
如上所述，个别图像获取部分71控制照相机模块50，使照相机模块50拍摄被摄物体12的多个图像，从而获得图像的图像数据。在图5中，左侧表示作为利用个别图像获取部分71获得的图像数据的图像的个别图像101-1～101-5。
在本例中，供成像的被摄物体是球形物体，在球形物体上方，显示活动照明装置11的棒状发光窗22。个别图像101-1～101-5是分别在时间T=1～T=5拍摄的那些图像。在成像期间，使活动照明装置11 从图中的左侧移动到右侧，而不使被摄物体移动。
在本例中，个别图像101-1～101-5都是在活动照明装置11被打开时拍摄的。另一方面，用户可酌情打开活动照明装置11。例如，在时间T=1、T=3和T=4，活动照明装置11可被打开，以便摄影，而在时间T=2和T=4，活动照明装置11可被关闭，以便摄影。
如上所述，加法部分72对利用个别图像获取部分71获得的每个图像中的每个对应像素，进行像素值相加。像素值相加之后的结果图像作为累积图像被保存在存储器中，所述存储器例如是DRAM33中的预定存储区。在图5中，右侧表示累积图像102-0～102-5。
累积图像102-0对应于存储器中的数据的初始值，在本例中，是全黑的图像。加法部分72把累积图像102-0和个别图像101-1加起来，从而生成累积图像102-1。加法部分72还把累积图像102-1和个别图像101-2加起来，从而生成累积图像102-2。
通过反复进行这种相加，生成累积图像102-5。在累积图像102-5 中，作为像素值的反复相加的结果，明亮地显示作为被摄物体的球形物体，并且宽平面似地显示活动照明装置11的最初棒状的发光窗22。
按照这种方式，通过累加在各个不同时间拍摄的个别图像，即使当使用的照明装置仅仅是活动照明装置11时，也可获得仿佛在空间中布置多个照明装置似的虚拟照明效果。于是，按照本技术的实施例，即使当用户是没有专门技能的业余用户时，待拍摄的图像从而也易于具有与利用多光源照明系统拍摄的图像类似的增强质感。
在本例中，为了简洁起见，举例说明了累加在时间T=1～T=5拍摄的个别图像的情况。不过，实际上，可以拍摄数十张到数百张个别图像，并把它们累加在一起。考虑到用户的交互式阴影调整，最好每秒10帧或者更高地更新显示器14的屏幕，并且最好利用与之相似的频度，拍摄个别图像。
另外，考虑到用户的交互式阴影调整，活动照明装置11应由用户拿着，并且呈弧线地移动数秒到十几秒，以形成阴影。如果情况是这样，那么个别图像的数目共计数十个到数百个。
当大量的个别图像被累加在一起时，始终叠加在个别图像上的诸如拍摄噪声之类的噪声分量被显著减小，以致改善作为所得到的图像的质量。此外，累加数百张个别图像产生极大的降噪效果。从而在不利用发出强光的照明装置的情况下，产生其中诸如光拍摄噪声之类的噪声的影响被显著降低的图像。即，按照本技术的实施例，间接地产生降噪效果。
此外，通过在减小摄影周期的同时减小曝光时间，防止因在例如利用多次曝光的摄影期间，常常发生的像素值饱和而导致摄影失败。
如上所述，对于利用加法部分72获得的图像中的像素值，标准化部分73通过把每个像素值除以经历像素值相加的图像的数目，使图像标准化。以累积图像102-5为例，该图像是累加5个个别图像的结果，从而通过把每个像素值除以5，使之标准化。
注意，实际上，在个别图像101-1～101-5的成像期间，曝光时间并不是始终固定的。鉴于此，最好把累积图像102-5中的每个像素值除以个别图像101-1～101-5的成像所用的总曝光时间。下面，总曝光时间被称为累积时间。
在图6的例子中，通过把累积图像102-5中的每个像素值除以累积时间，使累积图像102-5标准化。
如上所述，环境光图像获取部分78控制照相机模块50，使照相机模块50在活动照明装置11被关闭的状态下拍摄被摄物体12的图像，并获得图像的图像数据。图6的例子表示与利用环境光图像获取部分78获得的图像数据对应的环境光图像110。
环境光图像110是在活动照明装置11被关闭时拍摄的图像，图6 的例子表示光线暗淡的被摄物体的图像。环境光图像110可以是在特定时间拍摄的图像，或者可以是通过累加在各个不同时间拍摄的图像而生成的图像。
为了通过累加在各个不同时间拍摄的图像，生成环境光图像110，和上面参考图5说明的情况类似，加法部分72进行像素值相加，标准化部分73进行标准化。从而在环境光图像110中也产生降噪效果。即，借助通过累加多个图像而进行的标准化，任意数目的环境光图像可被累加起来，直到拍摄噪声(包括本底噪声)被降低到足够水平为止。
当环境光图像110是在特定时间拍摄的图像时，最好利用非常有效的消噪技术，比如双边滤波或者NL-MEANS滤波，实现降噪。
在图6的例子中，环境光图像110是通过累加在各个不同时间拍摄的图像而生成的图像，环境光图像110中的每个像素值被除以累积时间。
此外，如上所述，从在标准化部分73的标准化处理之后的每个图像中的像素值中，减法部分74减去利用环境光图像获取部分78获得的图像中的任意对应像素的像素值。即，由于累积图像始终包括环境光分量，因此通过除去环境光分量，作为结果的图像具有好像它是在暗室中拍摄似的阴影。
在图6的例子中，从累积图像102-5的标准化图像中的像素值中，减去环境光图像110的标准化图像中的像素值，以致生成高质量图像 111-5。如图中所示，高质量图像111-5没有在环境光图像110中，即，在作为被摄物体的球形物体的左侧观察到的阴影。
这样，所得到的图像具有与例如在没有环境光的暗室中，利用多光源照明系统拍摄的被摄物体图像相同的阴影。
另外按照这种方式，环境光分量中的拍摄噪声被减小，从而能够消除包含在环境光噪声和来自活动照明装置的光分量中的暗电流噪声。
随后通过利用显示部分75，把高质量图像111-5显示在显示器14 上，向用户呈现高质量图像111-5。注意每次获得个别图像时，更新高质量图像。于是，与显示运动图像的图像的情况类似，在用户对被摄物体成像的时候，更新的图像被不断显示在显示器上。用户一边看着显示器14上的高质量图像，一边移动活动照明装置11，当用户认为高质量图像具有他/她期望的阴影时，用户发出终止成像的命令。
如上所述，记录部分79控制把高质量图像的图像数据记录到可拆卸介质34上。在记录高质量图像的图像数据的时候，以如图7中所示的记录格式记录数据。
在图7的例子中，文件141的记录单元包括图像数据143和元数据142。在本例中，元数据142由高、宽和种类3个标签构成。元数据中的种类标签是用于判定图像是否是按照本技术的实施例的高质量图像的信息。
这种标签的使用允许容易地仅仅分离高质量图像，从而导致容易的图像搜索和显示。
这样，按照本技术的实施例，获得质量与在暗室中，借助多光源照明系统，利用写实成像拍摄的图像相似的图像。
下面参考图8的流程图，说明成像系统10的例证成像处理。
在步骤S21，照明控制部分76关闭活动照明装置11。此时，可利用无线或有线信号传输，关闭活动照明装置11，或者可在显示器14 上显示消息，以指示活动照明装置11的关闭。
在步骤S22，关灯检测部分77判定是否检测到活动照明装置11 的关闭。可以利用无线或有线通信进行活动照明装置11的关闭的检测，或者用户可通过操作触摸装置进行输入，以便他/她确认活动照明装置11的关闭。
在步骤S22，当判定未检测到灯的关闭时，程序返回步骤S21。此时，可在显示器14上显示错误消息，或者可用声音发出报警，以提示灯的关闭。
另一方面，当判定检测到照明装置的关闭时，程序进入步骤S23。
在步骤S23，环境光图像获取部分78控制照相机模块50，使照相机模块50拍摄被摄物体12的图像，从而获得图像的图像数据。
在步骤S24，照明控制部分76允许活动照明装置11的打开。此时，可以利用无线或有线信号传输，打开活动照明装置11，或者可以在显示器14上显示消息，以允许活动照明装置11的打开。
在步骤S25，进行下面将参考图9的流程图说明的高质量图像生成处理。借助该处理，生成高质量图像。
在步骤S26，显示部分75把利用减法部分74的处理获得的图像的显示数据提供给显示装置35。显示部分75随后使显示器14显示利用减法部分74的处理获得的图像。
在步骤S27，判定是否发出终止成像的命令。可通过按压照相机 13的按钮等发出所述命令，或者可通过按压活动照明装置11的任意按钮23发出所述命令。另一方面，当发现在步骤S25中生成的高质量图像保持几乎相同时，可自动发出该命令，以终止成像。
另一方面，当发现用户停止利用活动照明装置11照射被摄物体时，可临时停止高质量图像生成处理。这可避免在停止照射被摄物体和按压照相机13的按钮等之间的持续时间中拍摄的图像的累加。
这里，通过根据活动照明装置的按钮23的操作，或者当高质量图像中的像素值变化变得小于预定值时，可以通过检测灯光的关闭，作出用户是否停止照射被摄物体的检测。另一方面，图像识别可被用作检测关灯的基础。当个别图像与环境光图像之间的像素值差分落入预定范围内时，可以作出灯被关闭的检测。另一方面，声音检测可用作检测用户停止照射被摄物体的基础。当声音的大小变得高于预定值时，或者当确认预定声音时，可以作出用户停止照射被摄物体的检测。
当检测到预置的特定触发信号时，重新开始高质量图像生成处理。当根据按钮23的操作，检测到开灯时，或者当利用图像识别，检测到开灯时(当拍摄图像和环境光图像之间的像素值差分变成预定值或者更大时)，可以发出所述触发信号。另一方面，当检测到任意声音时，例如，当声音的大小变得高于预定值时，或者当识别出预定声音时，可以发出所述触发信号。
在步骤S27，当判定还未发出终止成像的命令时，程序返回步骤 S25，重复之后的处理。另一方面，在步骤S27，当判定发出了终止成像的命令时，程序进入步骤S28。
在步骤S28，记录部分79生成包括在步骤S25的处理中生成的高质量图像的图像数据的预定记录格式的文件。此时生成的是例如上面参考图7说明的文件。
随后在步骤S29，记录在步骤S28中生成的文件。
按照这种方式，进行成像处理。
下面参考图9的流程图，说明图8的步骤S25中的高质量图像生成处理的具体例子。
在步骤S41，个别图像获取部分71获得个别图像。此时，逐一获得图5的个别图像101-1～101-5。
在步骤S42，加法部分72累加由个别图像获取部分71获得的个别图像。此时，如上参考图5所述，使每个个别图像与前一代的累积图像相加，从而顺序生成累积图像102-1～102-5。
在步骤S43，通过把像素值除以累积时间，标准化部分73使利用步骤S42的处理获得的各个累积图像标准化。如图6中所示，累积图像102-5中的每个像素值被除以累积时间。
当通过累加在各个不同时间拍摄的图像，生成环境光图像时，还进行从步骤S41到S43的处理。
在步骤S44，从利用步骤S43的处理获得的每个图像的像素值中，减法部分74减去对应的环境光图像中的对应像素的像素值。此时，如图6中所示，从累积图像102-5的标准化图像中的像素值中，减去环境光图像110中的对应像素的像素值，以致生成高质量图像111-5。
按照这种方式，生成高质量图像。这里，举例说明的是首先进行步骤S23中的获得环境光图像的处理，随后进行步骤S25-S27中的与生成高质量图像相关的处理的情况。这不是限制性的，可以按照任何不同的顺序进行处理，例如，可以首先进行步骤S25-S27的处理，以通过以某种方式估计环境光图像，或者通过生成临时的环境光图像，生成高质量图像。如果情况是这样，那么可通过在进行生成高质量图像的各个步骤中的处理之后，拍摄环境光图像，随后用临时环境光图像替换该环境光图像，获得高质量图像。另一方面，通过在相同状态下，数次地交替重复步骤S23(获得环境光图像)和步骤S25-S27(生成高质量图像)的递增处理，可在周期短地更新临时环境光图像的同时，获得高质量图像。
就作为现有的长时曝光摄影的一部分的所谓灯泡摄影来说，首先，利用打开的机械快门曝光的图像被保存在存储器中，在曝光之后，机械快门被关闭，以累积暗电流分量。之后，从保存在存储器中的图像中，除去暗电流分量。通过逐一拍摄多个图像，以便累加，也类似地产生利用这种长时曝光产生的效果。
然而，就这种灯泡摄影来说，在机械快门被关闭的时候，累积暗电流分量。这不会像本技术的实施例那样除去环境光图像的分量。
还存在一种称为焰火模式的摄影模式，就该模式来说，逐一拍摄多个图像，以便累加。即使这种摄像模式，也没有考虑环境光分量的消除。
另一方面，按照本技术的实施例，首先利用打开的机械快门，拍摄环境光图像，在该成像之后，机械快门保持打开状态，以拍摄多个个别图像，以便累加。从作为结果的累积图像中，将除去环境光图像的分量。不用说，即使就不具备机械快门的廉价照相机来说，按照本技术的实施例的成像也是可能的。
于是，按照本技术的实施例，可以防止由长时曝光产生的暗电流分量引起的任何噪声叠加在图像上。此外，可以消除导致用户不需要的阴影等的环境光图像的分量。
如上所述，大量个别图像的累加显著减少始终叠加在个别图像上的诸如拍摄噪声之类的噪声的分量。然而，当用于累加的个别图像数目较少时，一些噪声分量继续存在。即，在开始摄影之后过去一定时间之前，高质量图像不会没有噪声。
因而，在开始摄影之后过去预定时间之前，可以低亮度等地在显示器14上显示图像，以便不增强噪声。
例如，包含每个像素的值的矢量被用于代表图像，如式1中所示地调整像素的亮度。
式1中，矢量I代表作为输入图像提供的高质量图像的亮度值，矢量I'代表显示在显示器14上的高质量图像的亮度值。另外在式1中，变量t表示累积时间，t0表示预定的恒定时间。另外在式1中，k是用于像素的亮度值的倍增的增益。
式1中的增益k如图10中所示地变化。在图10中，水平轴表示累积时间t，垂直轴表示增益k的值。增益k的值随累积时间的变化的变化用线条151表示。
如图10中所示，增益k的值逐渐增大，直到累积时间达到t0为止，在累积时间达到t0之后，增益k的值被固定为1。
借助利用如图10中所示的增益k的式1的计算处理，在开始摄影之后过去预定时间之前，亮度降低地在显示器14上显示图像，以便不增强噪声。
另一方面，通过注意高质量图像的亮度的最大值，可如式2所示地调整像素的亮度。
在式2中，矢量I代表作为输入图像提供的高质量图像的亮度值，矢量I'代表显示在显示器14上的高质量图像的亮度值。另外在式2中，矢量Y代表累积图像中的像素值，max(Y)表示累积图像中的最大像素值(最大亮度)。另外在式2中，Y0表示累积图像变得更亮的预定亮度，拍摄噪声分量被确定为相对于亮度信号较小。另外在式2中，k是用于像素的亮度值的倍增的增益。
式2中的增益k如图11中所示地变化。在图11中，水平轴表示最大亮度max(Y)，垂直轴表示增益k的值。与最大亮度的变化对应的增益k的值变化用线152表示。
如图11中所示，增益k的值逐渐增大，直到最大亮度达到Y0为止，在最大亮度达到Y0之后，增益k的值被固定为1。
借助利用如图11中所示的增益k的式2的计算处理，在预定数目的图像被累加在一起之前，亮度降低地在显示器14上显示图像，以便不增强噪声。
当在开始摄影之后过去足够长的时间时，如果累加的个别图像数目非常大，那么作为结果的高质量图像看起来几乎相同。这是因为当累加的个别图像的数目增大时，每个个别图像对高质量图像作出的贡献按比例地变得越来越小(下面，把这种贡献称为比例贡献)。
加法部分72的加法处理用式3表示。
在式3中，矢量Yk表示k个累加的个别图像的累积图像中的像素值，矢量Xk表示第k个个别图像中的像素值。另外在式3中，tk 表示当拍摄第k个个别图像时的总曝光时间(累积时间)，ek表示在第 k个个别图像的成像期间的曝光时间。表示累积图像中的初始像素值的矢量Y0是0矢量，此时的累积时间t0为0。
为了避免由累加的个别图像的数目增大引起的每个个别图像的比例贡献的降低，加法部分72可以进行如式4所示的加法处理。
在式4中，w是表示调整个别图像的比例贡献的权重的参数。式 4的计算处理可以是利用一种IIR滤波器的处理。
即，就式4来说，通过把权重参数w和(1-w)加入式3中，w的值可以决定每个个别图像对累积图像的最小比例贡献。参数w可以是预置的常数。
当适当地设定w的值时，即使当在开始摄影之后过去足够长的时间时，显示器14上的高质量图像的任何变化也会始终变得可察觉。
活动照明装置11的光源被假定为白色。理想地，所述光源根据被摄物体的特征、图像的用途等，发出各种不同颜色的光。在这种情况下，可以更换活动照明装置11的光源，不过如果图像处理实现各种颜色的照明效果，那么可进一步提高用户的便利性。
即，作为个别图像拍摄的图像中的像素值被分成R、G和B等3 个元素。这些元素都被应用以包括Wr、Wg和Wb的正系数的矩阵滤波器，作为结果的R'、G'和B'被用作各个图像的像素值。这从而实现利用颜色由Wr、Wg和Wb的系数确定的照明的成像。
即，个别图像获取部分71可以进行伴随如式5的计算的图像处理。
例如，利用基于显示在显示器14上的GUI的用户操作，实现借助这样的图像处理产生的各种不同颜色的照明效果。另一方面，便利的是响应活动照明装置11的按钮23的按压，输出控制信号，以产生期望颜色的照明效果。
上面，Wr、Wg和Wb都被描述成正系数。另一方面，Wr、Wg 和Wb可以是负系数，如果是这种情况，那么产生使过亮的颜色分量变暗的照明效果。
当光在作为被摄物体的物体的表面上反射时，发生镜面反射，即，与被摄物体的表面颜色无关的光源的光分量的反射。如果当移动活动照明装置11，以朝着被摄物体12发光时发生不必要的镜面反射，那么理想的是减少被镜面反射所反射的光分量。
图12是图解说明在成像期间，像素值如何变化的示图。即，图 12图解说明在高质量图像(或者累积图像)中的预定位置的像素的颜色分量如何由于其中R、G和B分量都是直轴的空间中的重复累加而显现变化。
例如，用在时间T=1的矢量C1表示的颜色被改变成用在时间T=2 的矢量C2表示的颜色。在这种情况下，借助光的照射，沿着保持被摄物体12的表面颜色的色调的直线La，使颜色变得更明亮。
另一方面，用在时间T=3的矢量C3表示的颜色被改变成用在时间T=4的矢量C4表示的颜色。即，从时间T3到T4，沿朝着代表活动照明装置11的光源的白色的(1,1,1)延伸的直线Lb，使颜色变得更明亮。
路径从直线La变成Lb的原因是当光在被摄物体12的表面反射时，发生镜面反射，即，与被摄物体的表面颜色无关的光源的光分量的反射。这里，与直线La相关的反射光是漫反射分量，与直线Lb相关的反射光是镜面反射分量。
为了减少这种镜面反射分量，例如在上面的式4中，可以动态改变参数w，以便减小当包含镜面反射分量时的比例贡献。
具体地，在加法部分72中，对个别图像进行像素值分析，并且对于累积图像中的像素的颜色分量，在其中R、G和B分量都是直轴的空间中，指定任意变化。在这种情况下，对于每个像素，获得上面参考图12说明的矢量。
可根据环境光图像，为每个像素预先确定图12中的直线La的方向。
与图12中的矢量C1和C2一样，当代表像素颜色的矢量沿着保持被摄物体12的表面颜色的色调的直线La移动时，加法部分72可把预定值的参数w用于式4的计算。另一方面，与图12中的矢量C3 和C4一样，当代表像素颜色的矢量沿朝着表示光源的白色的(1,1,1) 延伸的直线Lb移动时，在式4中，参数w可被设定成较小的值。
例如，对于每个像素，通过把角度作为评估值，借助内积计算等，计算直线La与每个颜色矢量C1～C4之间的方向差。随后通过计算累积图像中的每个像素的评价值，用强度定义镜面反射分量，从而把参数w设定成适合于镜面反射分量的强度。
按照这种方式，可以减少在高质量图像中观察到的镜面反射分量。
对利用多光源照明系统的实际摄影来说，多个照明装置被布置在被摄物体周围。在这种情况下，照明装置可在照明强度方面有变化，以拍摄具有特有阴影的图像。按照本技术的实施例，只使用活动照明装置11，不过，作为结果的高质量图像中的阴影类似于利用其中照明装置在照明强度方面有变化的多光源照明系统拍摄的图像中的阴影。
例如，为了生成累积图像，在个别图像的累加时，适合于阴影的状态(阴影的种类)的加权系数可被用于相乘。这从而产生阴影与利用在照明强度方面有变化的多个照明装置拍摄的图像中的阴影类似的高质量图像。
与图5的个别图像101-1～101-5一样，利用照相机13拍摄的被摄物体的图像具有取决于活动照明装置11的位置的不同阴影。这意味数目更多的个别图像导致种类数目更多的阴影，从而难以找出所需种类的阴影。于是，为了在生成累积图像时，把适合于阴影的种类的加权系数用于相乘，应该预先对阴影的种类进行粗略分类。
图13是图解说明对阴影的种类进行粗略分类的方式的示图。在这个例子中，在假定活动照明装置11的发光窗22的取向与被摄物体12 的阴影之间存在相关性的情况下，对阴影的种类分类。
如上所述，活动照明装置11配有加速度传感器43，加速度传感器43检测加速度，例如，检测6个方向的加速度矢量，所述6个方向分别是图2A和2B中的X轴、Y轴和Z轴的正负方向。
图13表示从活动照明装置11的局部坐标系的原点，沿着X、Y 和Z轴延伸的6个矢量的单位矢量(矢量Va、Vb、Vc、Vd、Ve和Vf)，和表示被摄物体12的方向的单位矢量(矢量S)。
为了检测表示朝向被摄物体12的方向的单位矢量S，例如利用加速度传感器43检测重力的方向。随后在活动照明装置11的局部坐标系上绘出重力的方向，重力的方向被用作朝向被摄物体12的方向。
检测表示朝向被摄物体12的方向的单位矢量S的方式并不局限于上面的方式，可以一起使用任何其它传感器，例如，陀螺传感器和地磁传感器。另一方面，可以利用附着在活动照明装置11上的照相机指定被摄物体的位置，或者可以使用3维位置传感器。
如下定义矢量之间的内积。
即，内积Va被定义成Pa=(Va,S)，内积Pb被定义成Pb=(Vb,S)。类似地，内积Pc～Pf分别被定义成Pc=(Vc,S)、Pd=(Vd,S)、Pe=(Ve,S) 和Pf=(Vf,S)。这里，利用在内积Pa～Pf之间进行的值的比较，找出具有最大内积的矢量，从而在沿着X轴、Y轴和Z轴延伸的6个矢量之中，识别出最接近朝向被摄物体的方向的矢量。最接近朝向被摄物体的方向的矢量被称为矢量Vx。即，矢量Vx是矢量Va、Vb、Vc、 Vd、Ve和Vf中的任意一个。
当加法部分72累加个别图像时，累积图像的图像数据被保存在分别为上面的6个矢量，即，矢量Va、Vb、Vc、Vd、Ve和Vf设置的不同存储器中。之后，为累加选择对应于矢量Vx的任意存储器，通过利用保存在各个存储器中的累积图像，生成6个高质量图像。
此外，可按任意比例把如上所述生成的6个高质量图像结合在一起，从而生成阴影调整的高质量图像。
图14是图解说明如何生成如上所述的阴影调整的高质量图像的例子的示图。在图14中，图像111Va～111Vf是如上所述，根据保存在为每个矢量设置的不同存储器中的累积图像生成的6个高质量图像。
如图14中所示，在累加之前，图像111Va～111Vf中的像素都被乘以加权系数(Wa、Wb、Wc、Wd、We或Wf)，以致阴影调整地获得高质量图像111。这里，加权系数可被设定成满足条件 Wa+Wb+Wc+Wd+We+Wf=1。
另一方面，通过根据对显示在显示器14上的图像111Va～111Vf 的用户操作，调整加权系数，可获得阴影调整的高质量图像111。
图15是表示用于调整加权系数Wa～Wf的例证GUI的示图。在被摄物体的成像期间或者之后，该GUI被显示在显示器14上。
在图15中，区域161用于显示根据保存在为每个矢量设置的不同存储器中的累积图像而生成的6个高质量图像。如图15中所示，在区域161中，显示图像111Va～111Vf。
在图15中，区域162用于显示指示相应的加权系数Wa～Wf的比率的饼图。图中的饼图显示Va、Vb、Vc等，Va、Vb、Vc等分别表示加权系数Wa、Wb、Wc等的比率。允许用户通过用手指触摸显示在区域162中的饼图，调整每个加权系数Wa～Wf的比率。
在图15中，区域163用于显示阴影调整的高质量图像111。高质量图像111是通过在把加权系数乘以图像111Va～111Vf中的像素之后累加图像111Va～111Vf获得的。加权系数是满足条件Wa+Wb+ Wc+Wd+We+Wf=1，并被设定成区域162中的饼图中的比率的加权系数。
按照这种方式，根据活动照明装置11的发光窗22的取向，对阴影的种类分类，按用户的优选比率把适合于每种阴影的图像结合在一起，以致获得高质量图像。按照这种方式，作为结果的高质量图像可具有与利用其中照明装置在照明强度方面有变化的多光源照明系统拍摄的图像中的阴影类似的阴影。
这里，可按照和上面所述不同的方式，调整阴影地获得高质量图像。
例如，可根据个别图像的成像时间，生成多个高质量图像，可按用户的优选比率结合这些高质量图像，以生成高质量图像。在这种情况下，在假定成像时间和被摄物体12的阴影之间存在相关性的情况下，对阴影的种类分类。即，在假定在短时间范围中拍摄的个别图像具有几乎相同的阴影的情况下，生成多个高质量图像。
例如，累积图像被保存在为每个预定的时间范围设置的不同存储器中，在包括其成像时间的时间范围中，个别图像被累加在一起。例如，设置与6个时间范围，即，时间T=0～T=9，时间T=10～T=19，时间T=20～T=29，时间T=30～T=39，时间T=40～T=49和时间 T=50～T=59对应的存储器。根据保存在这些存储器中的累积图像，生成6个高质量图像。通过按预定比率结合这些高质量图像，阴影调整地生成高质量图像。
图16是图解说明如何生成如上所述的阴影调整的高质量图像的例子的示图。在图16中，图像111(T=0..9)～111(T=50..59)是上面说明的6个高质量图像。图像111(T=0..9)是根据作为在从时间T=0～T=9 的时间范围中拍摄的10个个别图像的累加结果的累积图像生成的高质量图像，图像111(T=10..19)是根据作为在从时间T=10～T=19的时间范围中拍摄的10个个别图像的累加结果的累积图像生成的高质量图像。
如图16中所示，通过把加权系数乘以图像111(T=0..9)～111(T =50..59)中的各个像素，获得阴影调整的高质量图像111。加权系数是 W(T=0..9)、W(T=10..19)、W(T=20..29)、W(T=30..39)、W(T=40..49) 和W(T=50..59)。这些加权系数也可被设定成以致满足它们的总和为 1的条件。
另一方面，通过借助对显示在显示器14上的图像111(T=0..9)～ 111(T=50..59)的用户操作，调整加权系数，可阴影调整地获得高质量图像111。
图17是表示用于调整加权系数W(T=0..9)～W(T=50..59)的例证 GUI的示图。在被摄物体的成像期间或之后，在显示器14上显示GUI。
在图17中，区域171用于显示阴影调整的高质量图像111。另外在图17中，区域172用于显示图像111(T=0..9)～111(T=50..59)，在这些图像111(T=0..9)～111(T=50..59)下面，显示条棒173a和指示时间T 的刻度。条棒173a用作指定按什么比率，结合哪些图像的基础。
在图17的例子中，图像111(T=0..9)(或者加权系数W(T=0..9))的结合比率为0%，图像111(T=10..19)和111(T=50..59)的结合比率都为 12.5%，图像111(T=20..29)和111(T=40..49)的结合比率都为25%。
另一方面，图18的条棒173b-1和173b-2用作指定按什么比率，结合哪些图像的基础。在图18的例子中，图像111(T=10..19)和111 (T=50..59)的结合比率都为50%，剩余图像的结合比率都为0%。
这里，条棒173a和173b都是根据用户操作，显示在显示器上的 GUI的元素。
按照这种方式，通过结合基于时间范围生成的高质量图像，以获得阴影调整的高质量图像，即使就用户利用活动照明装置11，从错误方向照射被摄物体12而拍摄的任何图像来说，所得到的图像在阴影方面也不会受影响。即，即使在摄影过程中，用户因错误而感到“懊恼”，也可消除由此导致的影响。
对阴影的种类的粗略分类来说，利用如上所述的方向和时间不是限制性的，比较图像的相似度，以便分类也是一种可能性。对按方向的分类来说，利用6自由度的参数更可取，这样的参数代表刚性体在空间中的方向和位置。
在上述实施例中，图像处理可以消除活动照明装置的一部分，或者用户的手(用户身体的一部分)在视角中的任何意外出现。具体地，利用一般的运动物体识别技术，确定为运动物体的任何部分可用从环境光图像中提取的部分替代，以致可以校正个别图像，以便累加。另一方面，在最终的高质量图像中，利用运动图像识别技术确定为受影响的任何部分可用从环境光图像中提取的部分替代。
上述一系列处理可以利用硬件或软件进行。对进行上述一系列处理的软件来说，软件中的程序通过网络或者从记录介质被安装在专门为其设计的硬件中的计算机上，或者被安装在诸如图19中所示的通过安装各种程序，能够实现各种功能的通用个人计算机700上。
在图19中，CPU(中央处理器)701按照保存在ROM(只读存储器)702中的程序，或者从存储部分708载入RAM(随机存取存储器)703 的程序，进行各种处理。RAM703酌情保存供CPU701进行各种处理之用的数据。
CPU701、ROM702和RAM703通过总线704相互连接。总线 704还与输入/输出接口705连接。
输入/输出接口705与输入部分706、输出部分707、存储部分708 和通信单元709连接。输入部分706包括键盘、鼠标等，输出部分707 包括诸如LCD(液晶显示器)之类的显示器、扬声器等。存储部分708 包括例如硬盘，通信单元709包括调制解调器、诸如LNA(局域网)卡之类的网络接口卡等。通信单元709通过包括因特网在内的网络，进行通信处理。
输入/输出接口705酌情与驱动器710相连，从而酌情附加包括磁盘、光盘、磁光盘和半导体存储器的可拆卸介质711。从可拆卸介质 711读取的计算机程序酌情被安装在存储部分708上。
当利用软件进行上述一系列处理时，通过包括因特网在内的网络，或者从包括可拆卸介质711在内的记录介质，安装软件中的程序。
注意，所述记录介质并不局限于图19的与设备主体分开提供的可拆卸介质711，包括用于向用户分发程序的程序记录磁盘，例如，磁盘(包括软件(商标))、光盘(包括CD-ROM(光盘-只读存储器)、DVD(数字通用光盘))、磁光盘(包括MD(小型光盘)(商标))和半导体存储器。记录介质还可包括预先并入设备主体中，以便分发给用户的程序记录 ROM702、存储部分708中的硬盘等。
注意上面说明的一系列处理的确包括按照所述顺序，时序地进行的处理，而且包括不一定时序地，而是并行地或者单独地进行的处理。
本技术的实施例的以上说明只是例证性的，而不是对本技术的限制。显然可以作出众多的其它修改和变化，而不脱离本公开的范围。
本技术也可采用以下结构。
(1)一种图像处理设备，包括：
环境光图像获取部分，所述环境光图像获取部分被配置成在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像；
累积图像生成部分，所述累积图像生成部分被配置成在第一时间范围之后的第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像；和
高质量图像生成部分，所述高质量图像生成部分被配置成生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
(2)按照(1)所述的图像处理设备，还包括
关灯检测部分，所述关灯检测部分被配置成判定照明装置是否被关闭，所述照明装置是与为了照射被摄物体而最初发光的光源不同的光源，其中
当照明装置被判定为关闭时，拍摄环境光图像。
(3)按照(2)所述的图像处理设备，其中
在拍摄环境光图像之后的时间范围中的成像期间，照明装置被打开。
(4)按照(3)所述的图像处理设备，其中
照明装置由用户拿着，并呈弧线地移动。
(5)按照(3)所述的图像处理设备，其中
累积图像生成部分被配置成进行在第二时间范围中拍摄的被摄物体的图像的累加，所述累加是通过根据指定照明装置朝着哪些方向发光的信息，按方向把图像分类而进行的，
高质量图像生成部分被配置成通过按预定比率，组合高质量图像，生成另一个高质量图像，所述高质量图像都是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值获得的，所述标准化图像是按方向分类，并根据曝光时间的总和标准化的各个累积图像。
(6)按照(5)所述的图像处理设备，还包括
显示部分，所述显示部分被配置成产生图像显示，其中
显示部分被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
(7)按照(1)-(6)任意之一所述的图像处理设备，其中
累积图像生成部分被配置成把第二时间范围分成多个短时间范围，并通过按短时间范围把图像分类，进行在第二时间范围中拍摄的被摄物体的图像的累加，和
高质量图像生成部分被配置成通过按预定比率，组合高质量图像，生成另一个高质量图像，所述高质量图像都是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值获得的，所述标准化图像是按短时间范围分类，并根据曝光时间的总和标准化的各个累积图像。
(8)按照(7)所述的图像处理设备，还包括
显示部分，所述显示部分被配置成产生图像显示，其中
显示部分被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
(9)按照(1)-(8)任意之一所述的图像处理设备，还包括
显示部分，所述显示部分被配置成产生图像显示，其中
在第二时间范围中，高质量图像被顺序显示在显示部分上。
(10)按照(9)所述的图像处理设备，其中
在第二时间范围中过去预定时间之前，增益逐渐增大，显示在显示部分上的高质量图像中的像素的亮度值被乘以所述增益。
(11)按照(9)所述的图像处理设备，其中
在累积图像中的像素的最大亮度值达到预定值之前，增益逐渐增大，显示在显示部分上的高质量图像中的像素的亮度值被乘以所述增益。
(12)按照(1)-(11)任意之一所述的图像处理设备，其中
在累积图像中，所述多个图像中的各个像素值被乘以加权系数，以防止图像中的每个图像的比例贡献小于预定值，所述图像是在第二时间范围中拍摄的。
(13)按照(12)所述的图像处理设备，其中
根据累积图像中的像素值的变化，检测在被摄物体的表面上的镜面反射的发生，改变加权系数的值，以减小利用镜面反射观察的图像的比例贡献。
(14)按照(1)-(13)任意之一所述的图像处理设备，其中
利用对像素值进行的预定计算处理，改变照明颜色，以照射在第二时间范围中拍摄的图像中的被摄物体。
(15)一种图像处理方法，包括：
利用环境光图像获取部分，在第一时间范围中获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像；
利用累积图像生成部分，在第一时间范围之后的第二时间范围中生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像；和
利用高质量图像生成部分生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
(16)一种使计算机起图像处理设备作用的程序，所述设备包括：
环境光图像获取部分，所述环境光图像获取部分被配置成在第一时间范围中，获得环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄物体的图像；
累积图像生成部分，所述累积图像生成部分被配置成在第一时间范围之后的第二时间范围中，生成累积图像，所述累积图像是通过累加多个图像中的每个像素值获得的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄物体的图像；和
高质量图像生成部分，所述高质量图像生成部分被配置成生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值中，减去环境光图像中的像素值而获得的，所述标准化图像是根据曝光时间的总和标准化的累积图像。

Claims (16)

1.一种图像处理设备，包括：
环境光图像获取部件，所述环境光图像获取部件被配置成在第一时间范围中获取环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄对象的图像；
累积图像生成部件，所述累积图像生成部件被配置成在第一时间范围之后的第二时间范围中生成累积图像，所述累积图像是利用多个图像中的每个像素值的累加而获取的，所述多个图像是利用所述预定的曝光时间逐一拍摄的被摄对象的图像；以及
高质量图像生成部件，所述高质量图像生成部件被配置成生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值减去环境光图像中的像素值而获取的，所述标准化图像是根据曝光时间的总和标准化的累积图像。
2.按照权利要求1所述的图像处理设备，还包括
关灯检测部件，所述关灯检测部件被配置成判定照明装置是否被关闭，所述照明装置是与为了照射被摄对象而最初发光的光源不同的光源，其中
当照明装置被判定为关闭时，拍摄所述环境光图像。
3.按照权利要求2所述的图像处理设备，其中
在拍摄环境光图像之后的时间范围中的成像期间，所述照明装置被打开。
4.按照权利要求3所述的图像处理设备，其中
所述照明装置由用户拿着，并呈弧线地移动。
5.按照权利要求3所述的图像处理设备，其中
所述累积图像生成部件被配置成进行在第二时间范围中拍摄的被摄对象的图像的累加，所述累加是通过根据指定所述照明装置朝着哪些方向发光的信息按方向把图像分类而进行的，并且
所述高质量图像生成部件被配置成通过按预定比率组合多个高质量图像，生成另一个高质量图像，所述多个高质量图像都是通过从标准化图像中的对应像素值减去环境光图像中的像素值而获取的，所述标准化图像都是按方向分类并基于曝光时间的总和标准化的累积图像。
6.按照权利要求5所述的图像处理设备，还包括
显示部件，所述显示部件被配置成产生图像显示，其中
所述显示部件被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
7.按照权利要求1所述的图像处理设备，其中
所述累积图像生成部件被配置成把第二时间范围分成多个短时间范围，并通过按短时间范围把图像分类，进行在第二时间范围中拍摄的被摄对象的图像的累加，并且
所述高质量图像生成部件被配置成通过按预定比率组合多个高质量图像，生成另一个高质量图像，所述多个高质量图像都是通过从标准化图像中的对应像素值减去环境光图像中的像素值而获取的，所述标准化图像都是按短时间范围分类并基于曝光时间的总和标准化的累积图像。
8.按照权利要求7所述的图像处理设备，还包括
显示部件，所述显示部件被配置成产生图像显示，其中
所述显示部件被配置成显示GUI，所述GUI用于指定组合多个高质量图像的比率。
9.按照权利要求1所述的图像处理设备，还包括
显示部件，所述显示部件被配置成产生图像显示，其中
在第二时间范围中，所述高质量图像被顺序显示在所述显示部件上。
10.按照权利要求9所述的图像处理设备，其中
增益在第二时间范围中的预定时间的经过之前逐渐增大，显示在所述显示部件上的高质量图像中的像素的亮度值被乘以所述增益。
11.按照权利要求9所述的图像处理设备，其中
增益在累积图像中的像素的最大亮度值达到预定值之前逐渐增大，显示在所述显示部件上的高质量图像中的像素的亮度值被乘以所述增益。
12.按照权利要求1所述的图像处理设备，其中
在累积图像中，所述多个图像中的各个像素值被乘以加权系数，以防止图像中的每个图像的比例贡献小于预定值，所述图像是在第二时间范围中拍摄的。
13.按照权利要求12所述的图像处理设备，其中
根据累积图像中的像素值的变化，检测在被摄对象的表面上的镜面反射的发生，并改变所述加权系数的值，以减小观察到镜面反射的图像的比例贡献。
14.按照权利要求1所述的图像处理设备，其中
利用对像素值进行的预定计算处理，改变照明颜色，以照射在第二时间范围中拍摄的图像中的被摄对象。
15.一种图像处理方法，包括：
利用环境光图像获取部件，在第一时间范围中获取环境光图像，所述环境光图像是利用预定的曝光时间拍摄的被摄对象的图像；
利用累积图像生成部件，在第一时间范围之后的第二时间范围中生成累积图像，所述累积图像是利用多个图像中的每个像素值的累加而获取的，所述多个图像是利用所述预定的曝光时间逐一拍摄的被摄对象的图像；以及
利用高质量图像生成部件生成高质量图像，所述高质量图像是通过从标准化图像中的对应像素值减去环境光图像中的像素值而获取的，所述标准化图像是基于曝光时间的总和标准化的累积图像。
16.一种图像处理设备，包括：
用于在第一时间范围中获取环境光图像的装置，所述环境光图像是利用预定的曝光时间拍摄的被摄对象的图像；
用于在第一时间范围之后的第二时间范围中生成累积图像的装置，所述累积图像是利用多个图像中的每个像素值的累加获取的，所述多个图像是利用预定的曝光时间逐一拍摄的被摄对象的图像；以及
用于生成高质量图像的装置，所述高质量图像是通过从标准化图像中的对应像素值中减去环境光图像中的像素值而获取的，所述标准化图像是基于曝光时间的总和标准化的累积图像。
CN201310534609.2A 2012-11-08 2013-11-01 图像处理设备和方法 Active CN103813105B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711333468.2A CN107819999A (zh) 2012-11-08 2013-11-01 图像处理设备和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-246537 2012-11-08
JP2012246537A JP6152635B2 (ja) 2012-11-08 2012-11-08 画像処理装置および方法、並びに、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201711333468.2A Division CN107819999A (zh) 2012-11-08 2013-11-01 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN103813105A CN103813105A (zh) 2014-05-21
CN103813105B true CN103813105B (zh) 2018-02-09

Family

ID=50622458

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201711333468.2A Pending CN107819999A (zh) 2012-11-08 2013-11-01 图像处理设备和方法
CN201310534609.2A Active CN103813105B (zh) 2012-11-08 2013-11-01 图像处理设备和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201711333468.2A Pending CN107819999A (zh) 2012-11-08 2013-11-01 图像处理设备和方法

Country Status (3)

Country Link
US (3) US9286666B2 (zh)
JP (1) JP6152635B2 (zh)
CN (2) CN107819999A (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9007587B1 (en) * 2013-12-31 2015-04-14 Dmitry Kozko Determining true surface color from multiple camera images providing conflicting color information
DE102014113258A1 (de) * 2014-09-15 2016-03-17 Carl Zeiss Ag Verfahren zum Erzeugen eines Ergebnisbilds und optische Vorrichtung
CN104284091B (zh) * 2014-09-28 2018-03-23 联想(北京)有限公司 一种信息处理方法及电子设备
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
WO2017107075A1 (en) * 2015-12-22 2017-06-29 SZ DJI Technology Co., Ltd. System, method, and mobile platform for supporting bracketing imaging
WO2017206036A1 (zh) 2016-05-30 2017-12-07 深圳市大疆创新科技有限公司 可移动设备及其控制方法和装置、控制终端及拍摄设备
WO2018010149A1 (zh) * 2016-07-14 2018-01-18 广东虚拟现实科技有限公司 闪烁光源的识别方法以及装置
CN114449163A (zh) 2016-09-01 2022-05-06 迪尤莱特公司 基于焦点目标信息调整焦点的装置和方法
JP6900395B2 (ja) * 2016-11-30 2021-07-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体
US10079966B2 (en) * 2016-12-09 2018-09-18 Adobe Systems Incorporated Systems and techniques for capturing images for use in determining reflectance properties of physical objects
CN108305378A (zh) * 2017-01-11 2018-07-20 广州广电运通金融电子股份有限公司 一种图像处理方法、装置以及系统
DE102017201101A1 (de) * 2017-01-24 2018-07-26 Zf Friedrichshafen Ag Verfahren und Vorrichtung zum Betreiben eines Displays
CN111476834B (zh) * 2019-01-24 2023-08-11 北京地平线机器人技术研发有限公司 生成图像的方法、装置及电子设备
JP2020173128A (ja) * 2019-04-09 2020-10-22 ソニーセミコンダクタソリューションズ株式会社 測距センサ、信号処理方法、および、測距モジュール
FR3096542B1 (fr) * 2019-05-21 2021-04-23 Valeo Comfort & Driving Assistance Dispositif de capture d’images à expositions multiples et système de surveillance d’un conducteur associé
KR102695630B1 (ko) * 2019-09-10 2024-08-16 주식회사 케이티 영상에 대한 정규화를 수행하는 장치, 방법 및 컴퓨터 프로그램
CN111901529A (zh) * 2020-08-17 2020-11-06 珠海格力电器股份有限公司 目标对象拍摄方法及装置
US11892751B2 (en) * 2020-09-18 2024-02-06 Robert House System and method for product photography
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence
US11881129B2 (en) 2021-04-30 2024-01-23 Microsoft Technology Licensing, Llc Systems and methods for adding persistence to single photon avalanche diode imagery

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007281937A (ja) * 2006-04-07 2007-10-25 Fujifilm Corp 撮影システム、画像合成装置、および画像合成プログラム
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
CN101516001A (zh) * 2008-02-18 2009-08-26 三星Techwin株式会社 数字拍摄设备及其控制方法和记录介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2247649C (en) * 1998-02-02 2000-07-25 Steve Mann Covert camera viewfinder or display having appearance of ordinary eyeglasses
CA2261376A1 (en) * 1998-02-02 1999-08-02 Steve Mann Means and apparatus for acquiring, processing, and combining multiple exposures of the same scene or objects to different illuminations
JP2002310935A (ja) * 2001-04-19 2002-10-23 Murata Mfg Co Ltd 照明条件抽出方法、照明条件抽出装置、外観検査システム
US7103227B2 (en) * 2003-03-19 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Enhancing low quality images of naturally illuminated scenes
JP4661035B2 (ja) * 2003-08-08 2011-03-30 株式会社ニコン カメラシステムおよびカメラ
JP2005117395A (ja) 2003-10-08 2005-04-28 Konica Minolta Photo Imaging Inc 撮像装置
JP2005354166A (ja) * 2004-06-08 2005-12-22 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP4583965B2 (ja) * 2005-02-22 2010-11-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 画像合成システム、画像合成方法、及び画像合成プログラム
JP5261895B2 (ja) * 2006-07-27 2013-08-14 株式会社ニコン 外部装置およびカメラ
JP4747065B2 (ja) * 2006-09-29 2011-08-10 富士通株式会社 画像生成装置、画像生成方法および画像生成プログラム
JP4218723B2 (ja) * 2006-10-19 2009-02-04 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8212857B2 (en) * 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
WO2009035702A1 (en) * 2007-09-14 2009-03-19 Cypress Semiconductor Corporation Digital image capture device and method
JP5189377B2 (ja) * 2008-02-06 2013-04-24 オリンパスイメージング株式会社 フラッシュ装置
JP2012080457A (ja) 2010-10-05 2012-04-19 Olympus Imaging Corp 撮像装置
US8860843B2 (en) * 2011-03-11 2014-10-14 Nokia Corporation Method and apparatus for capturing an image of an illuminated area of interest
JP6152635B2 (ja) * 2012-11-08 2017-06-28 ソニー株式会社 画像処理装置および方法、並びに、プログラム
WO2014156253A1 (ja) * 2013-03-25 2014-10-02 オリンパスメディカルシステムズ株式会社 内視鏡装置
JP6533358B2 (ja) * 2013-08-06 2019-06-19 三菱電機エンジニアリング株式会社 撮像装置
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
US9483815B2 (en) * 2013-10-23 2016-11-01 Cornell University Systems and methods for computational lighting
US9416946B1 (en) * 2014-06-20 2016-08-16 Jason D Page Flashlight fitting for light painting photography

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP2007281937A (ja) * 2006-04-07 2007-10-25 Fujifilm Corp 撮影システム、画像合成装置、および画像合成プログラム
CN101262564A (zh) * 2007-03-09 2008-09-10 索尼株式会社 图像处理装置、成像装置、图像处理方法和计算机程序
CN101516001A (zh) * 2008-02-18 2009-08-26 三星Techwin株式会社 数字拍摄设备及其控制方法和记录介质

Also Published As

Publication number Publication date
US9286666B2 (en) 2016-03-15
JP6152635B2 (ja) 2017-06-28
US9800797B2 (en) 2017-10-24
US20160150147A1 (en) 2016-05-26
US20140126835A1 (en) 2014-05-08
JP2014096000A (ja) 2014-05-22
CN103813105A (zh) 2014-05-21
CN107819999A (zh) 2018-03-20
US20180035037A1 (en) 2018-02-01
US10182189B2 (en) 2019-01-15

Similar Documents

Publication Publication Date Title
CN103813105B (zh) 图像处理设备和方法
US10777016B2 (en) System and method of enhancing user's immersion in mixed reality mode of display apparatus
Stumpfel et al. Direct HDR capture of the sun and sky
CN105580051B (zh) 图像捕捉反馈
TWI336420B (en) Method and apparatus for generating binary matte signal
WO2021139471A1 (zh) 一种健康状态检测方法、设备和计算机存储介质
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
CN101383908A (zh) 图像处理方法、图像处理系统以及图像处理程序
CN108475180A (zh) 在多个显示区域之间分布视频
US20160112616A1 (en) Hair Consultation Tool Arrangement and Method
CN111696190B (zh) 来自发光的插入内容的照明效果
JPWO2015163030A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2023511530A (ja) 演色
CN108139876A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
CN107492143A (zh) 控制图像合成中的补块使用
US20230343025A1 (en) Method and device for light estimation
JP7304484B2 (ja) 赤外光を利用したポートレート再照明
US11544910B2 (en) System and method for positioning image elements in augmented reality system
CN112584127B (zh) 基于注视的曝光
JP6369153B2 (ja) 表示処理装置、表示処理方法、及びプログラム
US9058605B2 (en) Systems and methods for simulating accessory display on a subject
WO2024204011A1 (ja) 判定システム、塗布制御方法、コンピュータプログラム及び判定装置、情報処理システム、情報処理方法及びプログラム、並びにコーティング作業支援システム、情報処理装置及びプログラム
CN118304656B (zh) 一种脑血管病患者康复游戏参数修正方法及平台
CN117545123A (zh) 一种led光源的亮度补偿方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant