CN102065224B - 摄像装置和摄像方法 - Google Patents

摄像装置和摄像方法 Download PDF

Info

Publication number
CN102065224B
CN102065224B CN2010106238316A CN201010623831A CN102065224B CN 102065224 B CN102065224 B CN 102065224B CN 2010106238316 A CN2010106238316 A CN 2010106238316A CN 201010623831 A CN201010623831 A CN 201010623831A CN 102065224 B CN102065224 B CN 102065224B
Authority
CN
China
Prior art keywords
image
images
unit
timing
synthesized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2010106238316A
Other languages
English (en)
Other versions
CN102065224A (zh
Inventor
松永和久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN102065224A publication Critical patent/CN102065224A/zh
Application granted granted Critical
Publication of CN102065224B publication Critical patent/CN102065224B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一种摄像装置，其包括摄像单元；发光单元；第1摄像控制器，其按照在第1定时，拍摄多个图像的方式对上述摄像单元进行控制；第2摄像控制器，其按照下述方式对上述摄像组件进行控制，该方式为：在紧挨着上述第1定时的之前或之后的第2定时，在由上述发光单元照明的摄影环境下拍摄图像；加法运算合成部，其针对在上述第1摄像控制器的控制下拍摄的上述多个图像，进行对位，并进行加法运算合成，来生成合成图像；合成部，其将通过上述加法运算合成部形成的合成图像和在上述第2摄像控制器的控制下拍摄的上述图像予以合成。

Description

摄像装置和摄像方法
相关申请的交叉引用
本发明要求申请日为2009年11月11日，申请号为JP特願2009-257822号，和申请日为2010年2月24日，申请号为JP特願2010-038233号申请的优先权，在此通过引用并入其全文。
技术领域
本发明涉及摄像装置和摄像方法，以及存储摄像程序的计算机可读介质。
背景技术
在过去，人们提出有在对夜景和人物被拍摄体等的主要被拍摄体进行场景的摄影时，可记录夜景和主要被拍摄体这两者突出的图像的各种技术。比如，在日本国特许申请公报的特开2005-086488号文献中公开的技术中，连续地进行伴随闪光发光的启动闪光灯摄影，与不伴随闪光发光的关闭闪光灯摄影。此时，在关闭闪光灯摄影时，按照适当地对夜景曝光的方式，较高地设定摄影感光度。
由此，通过关闭闪光灯摄影获得的图像(非闪光图像)为即使在主要被拍摄体的亮度不适当的情况下，夜景的亮度仍适当的图像。另外，通过闪光灯摄影获得的图像(闪光图像)为即使在夜景的亮度不适合的情况下，主要被拍摄体的亮度为适合的图像。于是，通过将非闪光图像和闪光图像合成，可记录夜景和主要被拍摄体的双方的亮度适合，双方突出的图像。
在上述技术中，在关闭闪光灯摄影时，按照对夜景适当曝光的方式，较高地设定摄影感光度。由此，虽然在关闭闪光灯摄影时的图像，即，由夜景和主要被拍摄体形成的非闪光图像上，产生热噪声，但是，关于在主要被拍摄体上产生的热噪声，能够通过与闪光图像的合成，进行修正而消除。
然而，由于关于在主要被拍摄体区域以外产生的热噪声没有修正，故具有获得残留有热噪声的低品质的图像这一点没有改变的问题。
发明内容
本发明的第1方面提供一种摄像装置，其包括：摄像单元；发光单元；第1摄像控制器，其按照在第1定时拍摄多个图像的方式对上述摄像单元进行控制；第2摄像控制器，其按照在紧挨着上述第1定时的之前或之后的第2定时，在由上述发光单元照明的摄影环境下拍摄图像的方式对上述摄像单元进行控制；加法运算合成部，其针对在上述第1摄像控制器的控制下拍摄的上述多个图像，进行对位，来进行加法运算合成，由此生成合成图像；合成部，其将由上述加法运算合成部生成的合成图像和在上述第2摄像控制器的控制下拍摄的上述图像予以合成。
本发明的第2方面提供一种摄像方法，在该方法中，按照在第1定时拍摄多个图像的方式对摄像单元进行控制；按照在紧挨着上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境下拍摄图像的方式对上述摄像单元进行控制；针对在上述第1定时拍摄的上述多个图像，进行对位，来进行加法运算合成，由此生成合成图像；将上述合成图像与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的上述图像予以合成。
本发明的第3方面提供一种非临时计算机可读介质，其针对具有摄像单元和发光单元的摄像装置中包括的计算机，使其运行包括下述步骤的处理：按照在第1定时拍摄多个图像的方式对摄像单元进行控制；按照紧挨着在上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境下，拍摄图像的方式对上述摄像单元进行控制；针对在上述第1定时拍摄的上述多个图像，进行对位，来进行加法运算合成，由此形成合成图像；将上述合成图像，与在由上述发光单元照明的上述摄影环境下在上述第2定时拍摄的上述图像予以合成。
附图说明
参照附图，对实施本发明的各种特征的一般结构进行描述。提供附图和相关描述用于说明本发明的实施例，并不构成对本发明的范围的限定。
图1为本发明的各实施方式所共通的数字照相机的电路方框图；
图2为表示本发明的第1实施形式的处理步骤的流程图；
图3为表示本实施形式的摄影的定时的流程图；
图4为表示马赛克消除时的色调曲线设定的图；
图5为表示图像位置对准处理的处理步骤的流程图；
图6为表示加法运算平均图像的直方图的图；
图7为表示γ值计算处理的处理步骤的流程图；
图8为表示加法运算合成处理的处理步骤的流程图；
图9为表示本发明的第2实施形式的处理步骤的流程图；
图10为表示图像合成处理的处理步骤的流程图；
图11为表示本发明的第2实施形式的图像合成处理的处理步骤的流程图；
图12为表示图11的流程图的步骤G1的具体内容的流程图；
图13为表示UV加权α值的特性的图；
图14为表示脸框的变化的图。
具体实施方式
下面参照附图，对根据本发明的各实施例进行详细描述。要求发明的范围不应限于在下面描述的，在附图中给出的各示例。
下面根据附图，对本发明的一个实施形式进行说明。图1为表示本发明的各实施形式所共通的数字照相机100的电气结构的电路方框图。该数字照相机100具有AE(Auto Exposure)、AWB(Auto White Balance)、AF(Auto Focus)等的普通的功能。即，透镜部件1具有变焦透镜，图中未示出的聚焦透镜等的光学系统，与用于驱动光学系统的驱动机构。
在透镜部件1所具有的光轴上设置摄像部2，其由机械快门12和CMOS(Complementary Metal Oxide Semiconductor)成像元件构成。表示来自摄像部2的图像的模拟信号通过A/D转换部3，转换为数字信号，存储于由DRAM(Dynamic Random Access Memory)构成的工作存储器4中。
定制(custom)LSI7(Large Scale Integration)对存储于工作存储器4中的图像信号，进行消隐脉冲钳位(pedestal clamp)等的处理，将其变换为亮度(Y)信号和色差(UV)信号，并且进行用于自动白平衡、轮廓强调、像素内插等的画质提高的数字信号处理。在摄影模式，每当在工作存储器4中存储1帧量的数据(图像数据)时，便将其转换为数字信号，将其传送给液晶显示控制器5。液晶显示控制器5根据从工作存储器4传送来的视频信号，驱动液晶显示部8。由此，在液晶显示部8中，显示通过实时取景而逐次拍摄的图像。另外，在摄影模式，将快门按钮9的操作作为触发，将图像数据临时存储于工作存储器4中，该临时存储的图像数据通过定制LSI7而压缩，最终作为规定的格式的静止画文件，存储于外部存储介质11中。
定制LSI7包括CPU(Central Processing Unit)核心7a、闪光控制部7b、受光控制部7c、马赛克消除部7d、特征量运算部7e、SRAM(StaticRandom Access Memory)7f、块匹配部7g、图像变形合成加法运算部7h、程序ROM7i、与机械快门控制部7j。
CPU核心7a按照存储于程序ROM7i中的程序，一边将工作存储器4用作工作区域，一边进行各种处理，由此，控制构成定制LSI7的上述各部分。另外，闪光控制部7b按照来自CPU核心7a的指示，控制闪光发光部6的发光定时。受光控制部7c控制通过由CMOS成像元件构成的摄像部2和A/D转换部3的动作定时，作为电子快门发挥作用。
马赛克消除部7d进行RAW图像(非压缩图像)的马赛克消除处理。特征量运算部7e用于在从已拍摄的图像中，检测脸图像的场合，或针对已检测到的脸图像的瞬间的检测，具体为判断眼睛是否张开的场合。块匹配部7g将SRAM7f用作工作区域，实施在进行图像对位时所必需的图像之间的块匹配处理。图像变形合成加法运算部7h进行不伴随闪光发光部6的发光而拍摄的图像即非闪光图像，与伴随闪光发光部6的发光而拍摄的图像即闪光图像的合成加法运算处理等。机械快门控制部7j控制机械快门12。
另外，在定制LSI7的CPU核心7a上连接有快门按钮9、模式按钮10和外部存储介质11。快门按钮9由按扣式开关构成，其具有第1级的操作行程(半压)，与第2级的操作行程(完全按压)的2级的操作行程。模式按钮10对应于用户的操作，送出摄影模式、再生模式的切换指示信号。另外，还输出摄影模式中的“连拍合成的夜景和人物模式”等的具体摄影模式的指示信号。
外部存储介质11为SD卡等的可装卸的存储介质。在外部存储介质11中，存储按照普通的摄影模式，或“连拍合成的夜景和人物模式”等的摄影模式拍摄的图像的图像数据。另外，在再生时，从外部存储介质11读出的图像数据经由CPU核心7a，供给液晶显示控制器5，在液晶显示部8中显示再生图像。
此外，在程序ROM7i中还存储程序AE数据，该数据构成程序曲线图，该图表示与作为摄影时的合适的曝光值的合适曝光相对应的光圈值和快门速度(快门时间、曝光时间)的组合。
(第1实施方式)下面根据图2的流程图，对本发明的第1实施方式的动作进行说明。如果用户操作模式按钮10，设定摄影模式中的“夜景和人物模式”，则定制LSI7的CPU核心7a按照存储于程序ROM7i中的程序，开始处理。
首先，CPU核心7a控制液晶显示控制器5，通过实时取景，在液晶显示部8中显示逐次拍摄的图像(步骤A1)。接着，CPU核心7a判断是否对快门按钮9进行半压(步骤A2)，如果对快门按钮9进行半压，则进行测光处理和对焦处理，获得合适曝光值和对焦位置(步骤A3)。于是，通过该步骤A3的测光处理，对由光圈值和快门速度(与后述的快门时间和曝光时间同义)形成的合适曝光值进行运算。
接着，如果用户为了进行摄影，完全按压快门按钮9，则步骤A4的判断为“是”。于是，CPU核心7a从步骤A4，转到步骤A5而进行处理，来对闪光控制部7b进行指示，使闪光发光部6预备发光(步骤A5)。该预备发光基于调整闪光发光部6的发光量的目的，和防止构成主要被拍摄体的人物的眼睛的红眼的目的而进行，进行该步骤直至后述的步骤A7的伴随闪光的连拍的，比如，至少0.8秒前。
然后，在针对适合曝光值，将快门时间(曝光时间)下降2级(换算为曝光时间，与合适曝光值相对应的曝光时间的1/4)的摄影条件下，首先，在不进行闪光发光部6的发光的情况下，按照卷帘快门方式，连续8次地进行摄影(步骤A6)。
然后，通过闪光控制部7b的驱动，使闪光发光部6发光，以机械快门方式，连续3次地摄影(步骤A7)。为了避免在瞬间状态对被拍摄体人物摄影的瞬间图像的摄影，此时的机械快门12的间隔间隔开比如，0.1秒以上。
之后，对于上述步骤A7的摄影时的摄影条件，按照ISO感光度小于上述步骤A6的摄影的方式进行摄影。另外，机械快门控制部7j按照机械快门12在闪光发光部6发光的定时处于打开状态的方式进行控制，以便尽可能地不拍到远方的背景。
于是，通过上述步骤A6和步骤A7的处理，像图3所示的那样，在工作存储器4中存储8张RAW图像和3张RAW图像的共计11张RAW图像。
在步骤A8，针对该11张RAW图像，测定白平衡。接着，根据在步骤A8测定的白平衡，通过马赛克消除部7d，针对全部的11中RAW图像，进行马赛克消除处理(步骤A9)。此时，像图4(a)所示的那样，关于在步骤A7拍摄的3张RAW图像，根据直方图的伸展长度，确定γ曲线。另一方面，像图4(b)所示的那样，针对在步骤A6拍摄的RAW图像，对逆γ的色调曲线进行修正，以便抑制明亮部分层次失调而变白的发生。由此，可抑制闪光发光造成的明亮部分层次失调而变白的部分的亮度。
接着，通过特征量运算部7e的运算处理，以从进行了马赛克消除处理的11张图像中的与在步骤A7拍摄的图像相对应的3张图像中，检测被拍摄体的脸图像，且以已检测到的脸图像是否有偏差为基准，还以(在包括多个被拍摄体人物的场合)是否针对更多的脸图像，眼睛张开为基准，选择评价最高的图像(步骤A10)。在该步骤A10选择的图像像后述的那样，是在与在步骤A6拍摄的图像相对应的图像的对位处理中不一致的场合中使用的图像，或在与在步骤A6拍摄的图像相对应的图像的加法运算合成中使用的图像。
如果在步骤A10，图像的选择结束，则进行已选择的图像和与在步骤A6拍摄的图像相对应的8张图像的对位处理(步骤A11)。
图5为表示该图像对位处理(步骤A11)的处理步骤的流程图。在该图像的对位时，首先针对在步骤A6拍摄的8张RAW图像，与在步骤A7拍摄的3张RAW图像，在不改变尺寸的情况下，分别形成YUV图像，此外形成缩小为用于对位的VGA尺寸的缩小YUV图像(步骤B1)。在图像彼此之间的对位时，必须确定构成基准的图像即基准图像。于是，在本实施方式中，最初，针对与在步骤A6连续地拍摄的图像相对应的缩小YUV图像，将与在中间点拍摄的图像相对应的缩小YUV图像确定为基准图像(步骤B2)。比如，在本实施方式中，由于8次连续地拍摄，故将与在作为中间点的第4次拍摄的图像相对应的缩小YUV图像作为基准图像。
另外，基准图像的确定方法并不限于像这样在中间时间点拍摄的图像，也可在最先，或在步骤A7的拍摄紧前拍摄的图像(如果最终，以与在闪光发光时拍摄的图像合成为目的，则最好，将在步骤A7的拍摄紧前拍摄的图像选择为基准图像。)。
接着，进行在步骤B2确定的基准图像和其它的7张缩小YUV图像的对位(步骤B3)。该对位通过块匹配和/或RANSAC(RANdom SampleConsensus)法而进行。此时，如果在上述步骤A6的连拍时产生手抖动，则产生该连拍的图像不吻合，图像的对位不成功的情况。
于是，在接下来的步骤B4，判断是否与在步骤A68次连续拍摄的图像中的，最近拍摄的图像的缩小YUV图像的对位是否成功。在这里，图像的对位是否成功的判断在比如，块匹配中的块相对于基准图像，在90％以上的程度一致的场合，判定对位成功，在没有满足的场合，判定对位失败。即，判断图像是否基本一致。接着，在于步骤B4，对位成功的场合，从步骤B4，转到步骤B7，进行与在步骤A7拍摄的图像的对位。
此外，也可在块匹配中的块与基准图像完全一致(100％一致)的场合，判定对位成功，在其以外的场合，判定对位失败。
但是，在步骤B4，在对位不成功的场合，判断在步骤B2确定的基准图像是否为与连续地拍摄的8张中的最近，或从最近一次的前一次拍摄的图像相对应的缩小YUV图像(步骤B5)。在判定不是与最近，或从最近一次的前一次拍摄的图像相对应的缩小YUV图像的场合，删除与连续地拍摄的8张中的最近拍摄的图像相对应的缩小YUV图像，并且从剩余的多张缩小YUV图像中，确定新的基准图像(步骤B6)。同样在该步骤B6中，将剩余的多中缩小YUV图像中的，与在中间点拍摄的图像相对应的缩小YUV图像确定为新的基准图像。
于是，每当步骤B4的判断为“否”，对位不成功时，通过步骤B6的处理，删除缩小YUV图像，对位的缩小YUV图像的张数减少。另外，如果反复进行这样的处理，其结果是，针对所确定的基准图像，依次转移到最早拍摄的图像。接着，如果通过该处理的反复，在步骤B5，判断基准图像为与从最近一次的前一次拍摄的图像相对应的缩小YUV图像，则判定缩小YUV图像的对位失败，结束处理(步骤B9)。
此外，在步骤B5对位成功的场合，进行该基准图像和与在步骤A7拍摄的图像中的最早拍摄的图像相对应的缩小YUV图像的对位(步骤B7)，结束图像对位处理(步骤B8)。
像这样，在图2的步骤A11进行图像的对位，作为其结果，判断对位是否成功(步骤A12)。在于步骤B8对位成功的场合，从步骤A12进到步骤A14。接着，针对对位成功的图像张数(3～8张)，针对在步骤B1不改变尺寸而形成的YUV图像，分别进行对位，进行加法运算平均处理(步骤A14)。
即，针对通过块匹配而一致的每个块，进行加法运算平均处理，由此，形成对位成功的YUV图像的加法运算平均图像。
此外，在本实施方式中，使对位成功的张数的图像对位，进行加法运算平均处理，但是，也可使8张YUV图像对位，进行加法运算平均处理。
接着，进行加法运算平均图像的γ(修正)值计算处理(步骤A15)。进行该处理，以便抑制背景变暗的情况。即，在对在步骤A6拍摄的RAW图像，与在步骤A7拍摄的RAW图像进行平均加法运算处理的场合，如果在步骤A6所拍摄的RAW图像中像素值大的区域，与在步骤A7所拍摄的RAW图像中像素值大的区域被明确地分离，则可通过后级的直方图伸长，使增益返回。但是，在像图6所示的那样，对于两者，在像素值大的区域重合的场合，图像重合的部位越多，直方图中的高亮度侧越延伸。在这样的场合，直方图伸长的余地少，无法将增益返回，特别是，将未照到闪光的背景进行变暗的修正。由此，针对与在步骤A6拍摄的图像相对应的YUV图像，进行γ修正处理，抑制背景变暗的情况。
图7为表示加法运算平均图像的γ值计算处理(步骤A15)的处理步骤的流程图。首先，对加法运算平均图像和与在步骤A7拍摄的图像相对应的YUV图像进行加法运算平均处理(步骤C1)。接着，在步骤C1，制作已进行了加法运算平均处理的亮度值的直方图(步骤C2)。对制作的直方图(histogram map)进行积分运算，计算从亮度MAX(最大)侧起为0.5％的MAX侧点(Yhistmax)(步骤C3)。根据已计算的MAX侧点，按照下述的例举式，计算γ值(步骤C4)。
γ＝Kcoef(Yhistmax-Ythresh)
其中，
γ＝用于非闪光图像的γ修正的γ值
Kcoef：调整用系数
Yhistmax：单纯加法运算平均图像中的直方图MAX侧0.5％的点的亮度值
Ythresh：调整用阈值
接着，在图2的流程图中的紧接步骤A15的步骤A16，通过在步骤A15获得的γ值，对在上述步骤A14获得的加法运算平均图像进行修正。接着，对进行了该γ修正处理的加法运算平均图像，与在上述步骤A10选择的图像进行合成加法运算处理(步骤A17)。
由此，由于在于步骤A17，进行加法运算合成处理之前，在步骤A16，进行加法运算平均图像的γ修正处理，故可抑制背景(夜景)的亮度的降低。
图8为表示在该步骤A17进行的加法运算合成处理的具体内容的流程图。在该流程图中，在YUV成分中关于Y(亮度)成分，进行步骤D2～D7的处理，关于U(亮度和蓝色成分的差)成分，和V(亮度和红色成分的差)成分，仅仅进行步骤D1的处理。
即，对在上述步骤A16获得的γ修正后的加法运算平均图像，与在上述步骤A10选择的图像进行加法运算平均处理，生成加法运算合成图像(步骤D2)。另外，对通过该加法运算平均处理获得的图像，进行锐化滤波处理，强调图像的轮廓(步骤D3)。此外，制作Y的亮度值分布的直方图(步骤D4)。其中，如果对全部像素进行测定，由于直方图的制作处理要花费时间，故比如，每隔100个像素，进行测定。
接着，获得直方图伸长阈值(步骤D5)。即，求取构成高亮度侧的直方图面积的0.5％的点的亮度值。另外，制作色调曲线像素变换表，即，在步骤D5求取的高亮度侧的伸长点分别为255的直线变换的变换表(步骤D6)。根据该制作的变换表，使在步骤D2形成的加法运算合成图像的Y成分伸长。
此外，关于UV成分，通过Softmax处理，进行合成(步骤D1)。如果对U成分进行说明，则通过下述的例举式计算的输出值为U的Softmax输出值(USoftmax)。
Ucomp＝(Uave+Umax*Coef)/(1+Coef)
其中，
Ucomp：USoftmax输出值
Uave：U的平均值
Umax：U的绝对值和V的绝对值之和为最大的图像的U的值
Coef：调整系数
另外，在对V成分进行说明的场合，将下述例举式计算的输出值作为V的Softmax输出值(VSoftmax)。Vcomp＝(Vave+Vmax*Coef)/(1+Coef)，其中，Vcomp：VSoftmax输出值，Vave：V的平均值，Vmax：U的绝对值和V的绝对值之和为最大的图像的V的值，Coef：调整系数。
如果像这样，在图2的流程图中的步骤A17进行了γ修正处理的加法运算平均图像，与在步骤A10选择的图像的合成加法运算处理结束，则将进行了该合成加法运算处理的图像作为最终输出图像，保存于外部存储介质11中。
于是，最终输出图像为夜景和人物被拍摄体的两者突出的图像，并且可获得没有热噪声的高质量的图像。
而且，在本实施形式中，由于使闪光发光部6发光，来连续3次地进行拍摄，故选择在脸图像中模糊较小的评价高的图像(步骤A10)，用于加法运算合成。于是，还可记录作为主要被拍摄体的人物为高质量的图像。
另一方面，像前述那样，在步骤B9图像对位结束，对位失败的场合，从步骤A12进到步骤A13。接着，在该步骤A13，按照比如，用JPEG格式，仅仅对在上述步骤A10选择的1张图像进行显影，形成最终输出图像。此外，将该最终图像保存于外部存储介质11中。
在这里，在步骤A10选择的图像如前述的那样，为在已检测到的脸中模糊小，在多个人物被拍摄体中更多人物的眼睛张开的图像。于是，即使在非闪光图像的对位失败的摄影时的情况下，仍可记录在图像中的多个人物被拍摄体中没有模糊，更多的人物的眼睛张开的图像。
此外，在本实施方式中，在步骤A6的处理之后，进行步骤A7的处理，但是也可与此相反。
还有，在本实施方式中，将在步骤A10选择的图像用于加法运算合成。但是，也可在对位中图像基本一致而对位成功的场合，采用上述已选择的图像，在不是基本一致而对位失败的场合，将于步骤A6的处理后紧接着拍摄的图像用于加法运算合成。
如果像这样形成，即使在3次连续拍摄的图像中具有模糊的情况下，也可以将在与连续8次拍摄的图像的关系中一致性最高的图像用于加法运算合成。
还有，在本实施方式中，将在步骤A17中进行加法运算合成的最终输出图像照原样，保存于外部存储介质11中，但是，也可设置白平衡调整步骤(白平衡调整部)，在该步骤，使最终输出图像的白平衡与连续3次拍摄的图像的白平衡一致。由此，可将被拍摄体人物的白平衡合适的图像作为最终输出图像而记录。
(第2实施方式)图9为表示本发明的第2实施方式的处理步骤的流程图。在本实施方式中，其与第1实施形式的不同点在于合成的步骤，代替通过γ修正和直方图伸长而合成的方式，在加法运算平均处理后，通过YMax值，对像素的亮度进行增益调整。
在图9的流程图中，步骤E1～E14与图2所示的第1实施方式的流程图中的步骤A1～A14相同。于是，关于步骤E1～E14，省略对其的说明。在代替第1实施方式的步骤A15～A17而进行的步骤E15，进行图像合成处理。
图10为表示图像合成处理的处理步骤的流程图。对在步骤E10选择的图像，与加法运算平均图像进行加法运算平均处理(步骤F1)。
此外，生成由已选择的图像和加法运算平均图像的亮度的MAX值(最大值)构成的Ymax(步骤F2)。此外，在上述步骤F1，按照加法运算平均图像的亮度为Ymax/2的方式制作α图(步骤F3)。
即，针对各像素，计算在步骤F1获得的加法运算平均图像的亮度的平均值即Yave为Ymax/2的α。具体来说，进行α＝Ymax/(2*Yave)的运算。通过该运算，直方图分布必定为128以下(亮度为8比特的场合)。
接着，通过将在上述步骤F3获得的α图的各值与在步骤F1获得的加法运算平均图像相乘，使加法运算平均图像衰减(步骤F4)。此外，在该步骤F4的处理中进行了直方图压缩的图像通过乘以2倍的增益而复原(步骤F5)。
按照上述方式，结束图9的流程图中的步骤E15的合成处理，将在上述步骤F5获得的图像作为最终输出图像，保存于外部存储介质11中。
于是，按照本实施方式，可使合成处理比第1实施方式的场合更加简单。
(第3实施方式)图11为表示本发明的第3实施方式的，在图9的流程图中的步骤E15进行的图像合成处理的处理步骤的流程图。
即，第3实施方式的全部的处理与前述的第2实施方式相同，按照图9所示的流程图而进行。其中，在第2实施方式中，图像合成处理(步骤E15)按照图10所示的流程而进行，相对该情况，在第3实施方式中，图像合成处理(步骤E15)按照图11所示的流程而进行。
在图11的流程图中，步骤G2～G6与图10所示的第2实施方式的流程图中的步骤F1～F5相同。另外，在作为与上述图10的流程图中的步骤F1～F5相同的处理的步骤G2～G6，新添加步骤G1。在该添加的步骤G1中，对已选择的图像的亮度，加法运算平均图像的亮度，进行UV加权加法运算处理。
图12为表示UV加权加法运算处理(步骤G1)的处理步骤的流程图。首先，针对各像素，通过在步骤E10选择的图像的亮度YF，与加法运算平均图像的亮度YNF，制作UV合成用的α图(步骤H1)。UV加权α计算式如下表示：
αUVF(x，y)＝αF(YF(x，y))-αNF(Ynf(x，y))+0.5
(对右边超过0～1.0的范围的倍，进行裁剪(clip)处理。)
(其中，x，y表示像素的坐标)
上述函数αF(Y)、αNF(Y)也像图13所示的那样，具有下述的特性。
αF(Y)＝0：(Y≤128)
＝αF*(Y-128)：(Y＞128)
αNF(Y)＝0：(Y≤192)
＝αNF*(Y-192)：(Y＞192，αNF＞αF)
另外，在图13中，αUVNF(x，y)表示坐标(x，y)中的已选择的图像的UV合成比例，YF(x，y)表示已选择的图像的亮度值，YNF(x，y)表示平均加法运算图像的亮度值，“a”、“b”表示在已选择的图像和平均加法运算图像两者趋于饱和时，由于将平均加法运算图像的UV的权重设为1.0，故设定b-a＞0.5的点加函数(point-addition function)的斜率(aF，aNF)。
上述数学式和图13表明下述事项。
1.在仅仅已选择的图像的亮度接近饱和区域的场合，加大已选择的图像的UV的权重。
2.在仅仅加法运算平均图像的亮度接近饱和区域的场合，加大已选择的图像的UV的权重。
3.在已选择的图像、加法运算平均图像的两者的亮度接近饱和区域的场合，按照通过闪光灯以外的光源而直接拍摄的可能性高，加大加法运算平均图像的UV的权重，以便不粘贴WB有偏离的已选择的图像的UV。
4.在已选择的图像，加法运算平均图像的两者的亮度低于中间值的场合，按照1∶1进行加法运算平均处理。
5.在已选择的图像，加法运算平均图像的两者的亮度稍高于中间值的场合，加大已选择的图像的UV的加权。其目的在于不使脸等的闪光图像的亮度高的区域的色混合引起的变色醒目。
然后，对已选择的图像，进行脸图像检测(步骤H2)。在该步骤H2，在根据已选择的图像检测到脸图像时，像图14所示的那样，设定脸图像20中的围绕脸部分的脸框21，对该脸框21内的部分为脸图像20的情况进行指定。
接着，检测出脸图像，并按照指定该脸图像的脸框包括脸图像的下部的颈图像部分的方式使框沿纵向延长(步骤H3)。通过该步骤H3的处理，添加由图14中的虚线表示的延长部22、脸框21沿纵向延伸。另外，在脸框21内，不仅包括脸图像20，而且包括也是该脸图像20的下部部分的肤色区域的颈图像23。
此外，对于该延长的脸框21的内侧，进行随着距脸框21的距离的增加(即，接近脸框21的中心)，值增加的α值的点加处理(步骤H4)。然后，根据在上述步骤H1制作的UV合成用的α图，将已选择的图像和平均加法运算图像的UV合成(步骤H5)。
由此，图11的流程图中的步骤G1的处理结束。接着，在步骤G2～G6，进行与上述第2实施方式的图10的步骤F1～步骤F5相同的处理。
按照上述方式，结束图9的流程图中的步骤E15的合成处理，将在上述步骤G6获得的图像作为最终输出图像，保存在外部存储介质11中。
于是，按照本实施形式，可防止已选择的图像(闪光图像)和平均加法运算图像(非闪光图像)的合成造成的不自然的着色醒目的情况。
此外，在本实施形式中，由于对脸图像进行亮度调整，故可防止已选择的图像(闪光图像)和平均加法运算图像(非闪光图像)的合成造成的脸图像不自然的着色醒目的情况。
还有，由于不仅对脸图像，而且还对其下部的颈图像进行亮度调整，故可防止在包括人物被拍摄体的脸图像的肤色区域中，已选择的图像(闪光图像)和平均加法运算图像(非闪光图像)的合成造成的脸图像不自然的着色醒目的情况。
此外，在步骤G1，根据已选择的图像的亮度，平均加法运算图像的亮度这两者，进行UV加权加法运算处理，但是，也可根据任意一者的图像的亮度，进行UV加权加法运算处理。即使在这样的情况下，仍可使已选择的图像(闪光图像)和平均加法运算图像(非闪光图像)的合成造成的脸图像不自然的着色不会醒目。
另外，在平均加法运算图像(非闪光图像)的亮度接近饱和的程度高的场合，也可不减小已选择的图像(闪光图像)的加权，对应于闪光图像，对闪光图像的白平衡进行加法运算。
虽然在上面对本发明的实施例进行了描述，但是，本发明并不限于上述的实施例，其可按照各种方式改进。上述实施例中公开的部件可适当地组合而构成各种改进方案。比如，在上述实施例中公开的所有部件的一些可删除，或适当组合。
对于本领域的技术人员来说，容易得出其它的优点和改进方式。于是，更广义方面的本发明不限于在这里描述和示出的具体细节和代表性的实施例。于是，可在不脱离由后附的权利要求确定的一般的发明构思的精神或范围的情况下，作出各种改进方案。

Claims (6)

1.一种摄像装置，其包括：
摄像单元；
发光单元；
第1摄像控制器，其按照在第1定时拍摄多个图像的方式对上述摄像单元进行控制；
第2摄像控制器，其按照在紧挨着上述第1定时的之前或之后的第2定时，在由上述发光单元照明的摄影环境下拍摄多个图像的方式对上述摄像单元进行控制；
加法运算合成部，其针对在上述第1摄像控制器的控制下拍摄的上述多个图像，进行对位，并进行加法运算合成，由此生成合成图像；
选择器，其对在上述第2摄像控制器的控制下拍摄的上述多个图像中包括的脸图像进行评价，将评价最高的图像选择为选择图像；
判断部，其针对由上述选择器选择的选择图像和在上述第1摄像控制器的控制下拍摄的多个图像进行对位，判断图像是否基本一致；以及
合成部，在由上述判断部判断为基本一致的情况下，对由上述加法运算合成部进行加法运算合成而得到的合成图像和由上述选择器所选择的选择图像进行合成，另一方面，在由上述判断部判断为基本不一致的情况下，对由上述加法运算合成部进行加法运算合成而得到的合成图像和在上述第2摄像控制器的控制下拍摄的多个图像之中的在最接近上述第1定时的定时所拍摄的图像进行合成。
2.根据权利要求1所述的摄像装置，其中，
还包括白平衡调整部，其对上述合成图像的白平衡和上述第2摄像控制器的控制下拍摄的上述图像的白平衡中的至少一者进行调整，使两者一致。
3.根据权利要求1所述的摄像装置，其中，
还包括修正处理部，其在上述合成部所进行的合成之前，对上述合成图像，实施γ修正处理。
4.根据权利要求1所述的摄像装置，其中，
还包括亮度调整部，其在上述合成部所进行的合成之前，对上述合成图像和在上述第2摄像单元的控制下拍摄的上述图像中的至少一者的亮度进行调整。
5.根据权利要求4所述的摄像装置，其中，
还包括脸图像检测部，其对上述合成图像和在上述第2摄像单元的控制下拍摄的上述图像中的至少一者中所包含的脸图像进行检测；
上述亮度调整部根据包括由上述脸图像检测部所检测的上述脸图像的肌色区域，来调整亮度调整的程度。
6.一种摄像方法，在该方法中：
按照在第1定时拍摄多个图像的方式对摄像单元进行控制；
按照在紧挨着上述第1定时的之前或之后的第2定时，在由发光单元照明的摄影环境下拍摄多个图像的方式对上述摄像单元进行控制；
针对在上述第1定时拍摄的上述多个图像，进行对位，并进行加法运算合成，由此生成合成图像；
对在上述第2定时所拍摄的上述多个图像中包括的脸图像进行评价，将评价最高的图像选择为选择图像；
针对所选择的选择图像和在上述第1定时所拍摄的多个图像进行对位，判断图像是否基本一致；以及
在判断为基本一致的情况下，对进行加法运算合成而得到的合成图像和所选择的选择图像进行合成，另一方面，在判断为基本不一致的情况下，对进行加法运算合成而得到的合成图像和在上述第2定时所拍摄的多个图像之中的在最接近上述第1定时的定时所拍摄的图像进行合成。
CN2010106238316A 2009-11-11 2010-11-10 摄像装置和摄像方法 Expired - Fee Related CN102065224B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009257822 2009-11-11
JP2009-257822 2009-11-11
JP2010-038233 2010-02-24
JP2010038233A JP5115568B2 (ja) 2009-11-11 2010-02-24 撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
CN102065224A CN102065224A (zh) 2011-05-18
CN102065224B true CN102065224B (zh) 2013-05-22

Family

ID=43973904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010106238316A Expired - Fee Related CN102065224B (zh) 2009-11-11 2010-11-10 摄像装置和摄像方法

Country Status (6)

Country Link
US (1) US8493458B2 (zh)
JP (1) JP5115568B2 (zh)
KR (1) KR101357987B1 (zh)
CN (1) CN102065224B (zh)
HK (1) HK1153885A1 (zh)
TW (1) TWI448151B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10585344B1 (en) 2008-05-19 2020-03-10 Spatial Cam Llc Camera system with a plurality of image sensors
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
US11119396B1 (en) 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
JP5147903B2 (ja) * 2010-07-12 2013-02-20 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP5743696B2 (ja) * 2011-05-06 2015-07-01 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP5881350B2 (ja) * 2011-09-21 2016-03-09 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
JP6452355B2 (ja) * 2014-09-02 2019-01-16 キヤノン株式会社 撮影装置及びその制御方法、並びに、プログラム
JP6425571B2 (ja) * 2015-02-02 2018-11-21 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN107333056A (zh) * 2017-06-13 2017-11-07 努比亚技术有限公司 运动物体的图像处理方法、装置及计算机可读存储介质
US20190370942A1 (en) * 2018-06-01 2019-12-05 Apple Inc. Red-eye correction techniques
CN109194882B (zh) * 2018-08-22 2020-07-31 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1995035139A1 (fr) * 1994-06-17 1995-12-28 Namco Ltd. Simulateur 3d et procede de generation d'image
US6369817B1 (en) * 1998-05-25 2002-04-09 Japan Radio Co., Ltd. Image synthesis system
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
JP2000307941A (ja) * 1999-04-26 2000-11-02 Minolta Co Ltd デジタルカメラ
JP2004032171A (ja) 2002-06-24 2004-01-29 Fuji Photo Film Co Ltd 撮像装置
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
JP2004214836A (ja) * 2002-12-27 2004-07-29 Minolta Co Ltd 撮像装置
JP4136793B2 (ja) * 2003-05-29 2008-08-20 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2005039365A (ja) * 2003-07-16 2005-02-10 Fuji Photo Film Co Ltd ディジタル・カメラおよびその制御方法
JP3838243B2 (ja) * 2003-09-04 2006-10-25 ソニー株式会社 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP2005086488A (ja) 2003-09-09 2005-03-31 Nikon Corp 電子スチルカメラおよび画像処理プログラム
JP2005242567A (ja) * 2004-02-25 2005-09-08 Canon Inc 動作評価装置及び方法
JP2006050457A (ja) * 2004-08-06 2006-02-16 Canon Inc 撮像装置
JP4086166B2 (ja) * 2005-03-02 2008-05-14 船井電機株式会社 電子写真装置
EP1965348A4 (en) * 2005-12-21 2014-06-18 Nec Corp GRAY SCALE CORRECTION METHOD, GRAY SCALE CORRECTION DEVICE, GRAY SCALE CORRECTION PROGRAM, AND IMAGE DEVICE
US7590344B2 (en) * 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP4823743B2 (ja) * 2006-04-03 2011-11-24 三星電子株式会社 撮像装置，及び撮像方法
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
US7869664B2 (en) * 2007-06-21 2011-01-11 F. Hoffmann-La Roche Ag Systems and methods for alignment of objects in images
JP4860567B2 (ja) * 2007-07-20 2012-01-25 富士フイルム株式会社 撮影装置
JP2009124264A (ja) * 2007-11-12 2009-06-04 Ricoh Co Ltd 画像処理装置および画像処理方法
JP4561845B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置と画像処理プログラム
US20090244301A1 (en) * 2008-04-01 2009-10-01 Border John N Controlling multiple-image capture
US8111300B2 (en) * 2009-04-22 2012-02-07 Qualcomm Incorporated System and method to selectively combine video frame image data

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JP特开2004-214836A 2004.07.29
JP特开2004-357071A 2004.12.16
JP特开2007-288235A 2007.11.01

Also Published As

Publication number Publication date
US20110109767A1 (en) 2011-05-12
HK1153885A1 (en) 2012-04-05
TWI448151B (zh) 2014-08-01
KR20110052506A (ko) 2011-05-18
US8493458B2 (en) 2013-07-23
JP2011124967A (ja) 2011-06-23
TW201134207A (en) 2011-10-01
KR101357987B1 (ko) 2014-02-03
CN102065224A (zh) 2011-05-18
JP5115568B2 (ja) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102065224B (zh) 摄像装置和摄像方法
US7742081B2 (en) Imaging apparatus for imaging an image and image processor and method for performing color correction utilizing a number of linear matrix operations
KR101303410B1 (ko) 촬상장치 및 촬상방법
KR100819804B1 (ko) 촬상 장치
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
JP5141733B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5347707B2 (ja) 撮像装置および撮像方法
US8254675B2 (en) Image processing apparatus, imaging apparatus and image processing program
JP5660341B2 (ja) 撮像装置、撮像方法
JP2009003011A (ja) 画像表示装置、撮像装置、画像再生装置、及び画像表示方法
JP2017022610A (ja) 画像処理装置、画像処理方法
JP5223686B2 (ja) 撮像装置および撮像方法
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2007325145A (ja) 画像処理装置および方法並びにプログラム
JP2011228807A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
JP2008301371A (ja) 撮像装置および画像処理プログラム
JP2001268345A (ja) 画像合成装置
US8102446B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP5310331B2 (ja) 撮像装置および撮像方法
JP4954658B2 (ja) 画像処理装置
JP2010028363A (ja) 撮像装置および画像処理プログラム
JP2023154575A (ja) 撮像装置およびその制御方法、ならびに画像処理装置
US8106977B2 (en) Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal
JP5088272B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2009225252A (ja) 撮像装置および撮像方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1153885

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1153885

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130522

Termination date: 20211110

CF01 Termination of patent right due to non-payment of annual fee