CN102487431A - 摄影装置、摄影方法和程序 - Google Patents

摄影装置、摄影方法和程序 Download PDF

Info

Publication number
CN102487431A
CN102487431A CN2011103963144A CN201110396314A CN102487431A CN 102487431 A CN102487431 A CN 102487431A CN 2011103963144 A CN2011103963144 A CN 2011103963144A CN 201110396314 A CN201110396314 A CN 201110396314A CN 102487431 A CN102487431 A CN 102487431A
Authority
CN
China
Prior art keywords
scene
image
camera
pixel
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011103963144A
Other languages
English (en)
Inventor
佐藤秀彦
樱井顺三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AOF Imaging Technology Co Ltd
Original Assignee
AOF Imaging Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AOF Imaging Technology Co Ltd filed Critical AOF Imaging Technology Co Ltd
Publication of CN102487431A publication Critical patent/CN102487431A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Abstract

本发明提供一种摄影装置、摄影方法和程序，能够自动选择适应场景的摄影方法以拍摄出画质更好的图像。在摄影装置中，基于快门键按下之前拍摄的实时取景用的图像，进行拍摄场景的分类。在将拍摄场景分类为夜景场景时，连拍功能自动设定为ON，与用户按一次快门键相对应地连续进行多个图像的拍摄。而且，将连续拍摄的多个图像进行合成，其合成处理的内容例如在对明亮的动态焰火等进行摄影的情况和以明亮的动态焰火等为背景对人物进行摄影的情况之间进行切换。

Description

摄影装置、摄影方法和程序
技术领域
本发明涉及一种摄影装置、摄影方法和程序，特别是涉及能够自动选择适应场景的摄影方法以拍摄出画质更好的图像的摄影装置、摄影方法和程序。
背景技术
近年来销售的数码相机大多数装载有能够以人像模式、风景模式、夜景模式等适应拍摄场景的模式进行拍摄的功能。例如，在拍摄风景时，用户仅通过选择风景模式，就能够将光圈值设定为高值等设定最适于拍摄风景的值作为各种参数值。
而且，还提出了这样的数码相机，即，在选择了夜景模式时，每按一下快门键，拍摄多个图像，并将得到的多个图像进行合成。通过将多个图像进行合成，可以得到动态范围扩展了的适当曝光的图像。
例如，在专利文献1中公开了一种技术，即，在拍摄以夜景为背景的人物时，接连进行低灵敏度且闪光为ON的摄影和高灵敏度且闪光为OFF的摄影，从先拍摄得到的图像中提取人物区域，合成在后拍摄得到的图像的人物区域部分。
现有技术文献
专利文献
专利文献1：日本特开2005-86488号公报
发明内容
发明所要解决的课题
在专利文献1所公开的技术中，为了防止晃动，限制快门速度，有时尤其是作为背景的夜景部分不能适当曝光。一般，在将快门速度设为比1/焦距长的时间进行摄影时，发生晃动。而且，在以焰火等在黑暗中的明亮动态物体为背景进行摄影时，需要进行快门速度的设定等，但对于一般的用户来说难以进行设定。
本发明的目的是提供一种能够自动选择适应场景的摄影方法以拍摄出画质更好的图像的摄影装置、摄影方法和程序。
用于解决课题的方法
本发明的一个方面涉及一种摄影装置，其特征在于，其具备：摄影单元；场景分类单元，用于对在操作快门键之前通过上述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和控制单元，用于在经上述场景分类单元分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制上述摄影单元以在上述快门键被操作时连续进行多个图像的拍摄。
本发明的一个方面涉及一种具备摄影单元的摄影装置的摄影方法，其特征在于，该摄影方法包含下述步骤：场景分类步骤，对在操作快门键之前通过所述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和控制步骤，在经上述场景分类步骤的处理被分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制上述摄影单元以在上述快门键被操作时连续进行多个图像的摄影。
本发明的一个方面涉及一种使计算机执行摄影处理的程序，所述摄影处理是具备摄影单元的摄影装置的摄影处理，其特征在于，该程序使计算机执行包含下述步骤的处理：场景分类步骤，对在操作快门键之前通过所述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和控制步骤，在经上述场景分类步骤的处理被分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制上述摄影单元以在所述快门键被操作时连续进行多个图像的拍摄。
发明效果
根据本发明，能提供一种能够自动选择适应场景的摄影方法以拍摄出画质更好的图像的摄影装置、摄影方法和程序。
附图说明
图1是表示本实施方式所涉及的摄影装置的构成例的框图。
图2是对摄影装置的功能进行说明的图。
图3是表示摄影装置的功能构成例的框图。
图4是对判断摄影对象是否包含焰火的方法进行说明的图。
图5是对最大值合成进行说明的图。
图6是说明人物区域的提取流程的图。
图7是表示拍摄场景的例子的图。
图8是表示分离数据(mask data)的例子的图。
图9是表示分离数据的修正的例子的图。
图10是表示混合贴图(blend map)的例子的图。
图11是对摄影装置的摄影处理进行说明的流程图。
图12是对摄影装置的摄影处理进行说明的、续图11之后的流程图。
符号说明
1摄影装置
11CPU
12CMOS传感器
13存储器
14图像处理部
15输出部
16LCD
17闪光灯
18操作部
31场景分类部
32脸检出部
33摄影控制部
具体实施方式
[摄影装置的构成]
图1是表示本实施方式所涉及的摄影装置1的构成例的框图。摄影装置1是数码静物相机、数码摄像机、移动电话机等具有拍摄静止画面的功能的装置。
CPU(Central Processing Unit，中央处理器)11执行规定的程序，控制摄影装置1整体的工作。例如，如后所述，在快门键被按下之前，CPU11对用户所要拍摄的场景进行分类。拍摄场景的分类基于由CMOS(Complementary MetalOxide Semiconductor，互补金属氧化物半导体)传感器12获取的实时取景用图像来进行。在按下快门键后，CPU11控制CMOS传感器12连续进行拍摄或使闪光灯17发光，从而执行最适于预先分类的拍摄场景的摄影处理。
CMOS传感器12对由透镜获取的光进行光电转换，并对通过光电转换而得到的图像信号进行A/D(Analog/Digital，模拟/数字)转换。CMOS传感器12使通过A/D转换得到的图像数据存储在存储器13中。
图像处理部14将按下快门键之前由CMOS传感器12拍摄的、存储在存储器13中的图像作为实时取景图像从存储器13中读出，显示在LCD(LiquidCrystal Display，液晶显示器)16上。而且，在用户所要摄影的拍摄场景被CPU11分类为夜景场景时，图像处理部14对与按下快门键相对应地进行连续拍摄所得到的多个图像进行合成，并进行将1张合成图像输出到输出部15或LCD16的操作等。从CPU11对图像处理部14提供表示拍摄场景的分类结果的信息。进而，在用户所要摄影的拍摄场景被CPU11分类为室外等通常场景而不是夜景时，图像处理部14拍摄1张图像，并对拍摄图像实施白平衡处理、轮廓强调处理等各种图像处理。
输出部15使由图像处理部14生成的合成图像存储在相对摄影装置1可进行装卸的存储卡中或发送给外部的装置。LCD16显示从图像处理部14提供的实时取景用图像或合成图像。
闪光灯17根据CPU11的控制进行发光，将光照射于摄影对象。操作部18由快门键等各种按钮构成，在用户操作按钮时，将表示用户操作内容的信号输出给CPU11。
图2是示意性表示具有以上构成的摄影装置1的摄影处理的图。拍摄场景被分类为夜景场景时，连拍功能自动设定为ON，与用户按一次快门键相对应地如图2所示连续进行多个图像的拍摄。在图2的例子中，通过连拍功能得到2张图像。
而且，如上所述，连续拍摄的图像的合成在摄影装置1中进行，其合成处理的内容例如在如箭头#1的前端所示对明亮的动态焰火等进行拍摄的情况和如箭头#2的前端所示以明亮的动态的焰火等为背景对人物进行拍摄的情况之间切换。以下，针对相对背景明亮且移动的摄影对象为焰火的情况进行说明，在拍摄汽车前灯等其他摄影对象时也可以适用同样的处理。
图3是表示摄影装置1的功能构成例的框图，所述摄影装置1用于实现参照图2进行说明的摄影处理。图3所示的功能部之中的至少一部分通过图1的CPU11来执行规定的程序。
如图3所示，在摄影装置1中包括场景分类部31、脸检出部32和摄影控制部33。通过CMOS传感器12拍摄并存储在存储器13中的图像被输入场景分类部31和脸检出部32中。
场景分类部31对按下快门键之前作为实时取景用途而拍摄的图像进行解析，从人像场景、风景场景、夜景场景等预先设定的多个场景中将用户所要拍摄的场景分类。例如，在拍摄肤色像素数高于阈值的图像时，拍摄场景被分类为人像场景，在拍摄绿色或天蓝色像素数高于阈值的图像时，拍摄场景被分类为风景场景。在拍摄黑色像素数高于阈值、在黑色像素区域包含辉度值高的像素的图像时，拍摄场景被分类为夜景场景。
而且，场景分类部31在将拍摄场景分类为夜景场景时，基于拍摄的图像，判断摄影对象是否包含焰火。
图4是对判断摄影对象是否包含焰火的方法进行说明的图。图4的纵轴表示时刻，在左侧所示的4张图像分别为实时取景用图像。在图4中，以各图像的左上角为基准(0，0)，说明图像上的位置。
场景分类部31对在时刻t0拍摄的图像进行解析，检测出最亮的区块(像素的集合)的坐标在(5，5)附近，图像整体的平均亮度与其他图像比较相对稍亮。而且，场景分类部31对自时刻t0经过规定时间后的时刻t1时拍摄的图像进行解析，检测出最亮的区块的坐标不详，图像整体的平均亮度与其他图像比较相对较暗。在时刻t1时拍摄的图像中拍摄有刚上升后的焰火。
同样，场景分类部31对自时刻t1经过规定时间后的时刻t2时拍摄的图像进行解析，检测出最亮的区块的坐标在(9，6)附近或(21，13)附近，图像整体的平均亮度与其他图像相比相对明亮。场景分类部31对自时刻t2经过规定时间后的时刻t3时拍摄的图像进行解析，检测出最亮的区块的坐标在(14，5)附近，图像整体的平均亮度与其他图像相比相对稍亮。
例如，场景分类部31进行这样的解析，图像内最亮的区块的位置时刻发生变化，同时图像整体的亮度时刻发生变化，基于此判断摄影对象包含焰火。另外，摄影对象是否包含焰火的判断也可以基于图像内最亮的区块的位置时刻发生变化和图像整体的亮度时刻发生变化中的任意一种变化来进行。
而且，在摄影装置1上设置有麦克风的情况下，也可以通过场景分类部31对由麦克风集音的声音的音量进行解析，当图像整体的亮度与音量成比例时判断摄影对象包含焰火。认为，焰火的亮度越亮，观看者的欢呼声、噪音等声音的音量也越大。进而，在设置有用于检测摄影装置1的姿势的传感器的情况下，也可以当传感器检测出的摄影装置1的姿势相对于水平方向平行或朝上(天空侧)时判断摄影对象包含焰火。在拍摄焰火时，通常，用户将摄影装置1朝向水平方向的上方进行拍摄。
由此，例如能够容易地或准确地判断摄影对象是否包含焰火。
场景分类部31将如上所述进行分类后的拍摄场景的信息、和在拍摄场景分类为夜景场景时表示摄影对象是否包含焰火的信息输出给摄影控制部33和图像处理部14。
脸检出部32对按下快门键之前作为实时取景用途而拍摄的图像进行解析，从拍摄的图像中检出人脸。例如，脸检出部32通过将预先准备的脸的特征和拍摄的图像的各区域的特征进行匹配，来检出人脸。脸检出部32根据检出结果，将表示是否映现人脸的信息输出给摄影控制部33和图像处理部14。
摄影控制部33基于从场景分类部31和脸检出部32提供的信息设定摄影模式，在用户按下快门键后，根据设定的摄影模式控制CMOS传感器12和闪光灯17进行摄影。
例如，在场景分类部31将拍摄场景分类为夜景场景时，摄影控制部33将连拍设定为ON。在用户按下快门键后，摄影控制部33根据该设定控制CMOS传感器12，连续摄影多个图像。
而且，在拍摄场景被分类为夜景场景、并且由脸检出部32检出人脸的情况下，摄影控制部33根据用户按下快门键的操作连续拍摄多个图像时，在最初的拍摄时或最后的拍摄时的任一时刻使闪光灯17发光。闪光灯17的光照射人物，在有闪光灯17发光下拍摄的最初或最后的图像中明亮地映现出人物。
这样，在摄影装置1中，在拍摄场景被分类为夜景场景的情况下，设定摄影模式以进行连拍。而且，在拍摄场景被分类为夜景场景的情况下，当检出人脸时，设定拍摄模式以在连续进行的多次拍摄之中的最初摄影时或最后摄影时的任一时刻使闪光灯17发光。
[对于图像处理部14中的处理]
此处，对于图像处理部14所实施的处理的切换进行说明。在图像处理部14中，使用用户按下快门键后如上拍摄的图像进行的处理根据场景分类部31和脸检出部32的判断结果来切换。
<为夜景场景且拍摄焰火的情况下>
在拍摄场景为夜景场景且拍摄焰火的情况下，将通过连拍功能拍摄的多个图像提供给图像处理部14。
此时，图像处理部14通过最大值合成将连拍功能下拍摄的多个图像进行合成，生成1张合成图像。最大值合成是以连拍功能下拍摄的多个图像的对应像素(各图像上的相同坐标的像素)之中、像素值最高的像素的像素值为合成图像的各像素的像素值对多个图像进行合成的处理。在此，虽然对以像素值最高的像素的像素值为合成图像的各像素的像素值进行合成的情况进行说明，但也可以以辉度值最高的像素的像素值为合成图像的各像素的像素值进行合成。
图5是对最大值合成进行说明的图。在图5的左侧所示的图像P1～P3是通过连拍功能依次拍摄的图像，在右侧所示的图像是合成图像。对于求出合成图像的位于坐标(x1，y1)、(x2，y2)、(x3，y3)的位置的各像素的像素值的情况进行说明。
图像处理部14在求出合成图像的坐标(x1，y1)的像素的像素值时，将图像P1的坐标(x1，y1)的像素的像素值、图像P2的坐标(x1，y1)的像素的像素值和图像P3的坐标(x1，y1)的像素的像素值进行比较，选择像素值最大的像素的像素值作为合成图像的坐标(x1，y1)的像素的像素值。在图5的例子中，如箭头#11的前端所示，选择图像P1的坐标(x1，y1)的像素的像素值作为合成图像的坐标(x1，y1)的像素的像素值。
而且，图像处理部14在求出合成图像的坐标(x2，y2)的像素的像素值时，将图像P1的坐标(x2，y2)的像素的像素值、图像P2的坐标(x2，y2)的像素的像素值和图像P3的坐标(x2，y2)的像素的像素值进行比较，选择像素值最大的像素的像素值作为合成图像的坐标(x2，y2)的像素的像素值。在图5的例子中，如箭头#12的前端所示，选择图像P2的坐标(x2，y2)的像素的像素值作为合成图像的坐标(x2，y2)的像素的像素值。
同样，图像处理部14在求出合成图像的坐标(x3，y3)的像素的像素值时，将图像P1的坐标(x3，y3)的像素的像素值、图像P2的坐标(x3，y3)的像素的像素值和图像P3的坐标(x3，y3)的像素的像素值进行比较，选择像素值最大的像素的像素值作为合成图像的坐标(x3，y3)的像素的像素值。在图5的例子中，如箭头#13的前端所示，选择图像P3的坐标(x3，y3)的像素的像素值作为合成图像的坐标(x3，y3)的像素的像素值。
在拍摄场景为夜景场景且拍摄焰火时，图像处理部14通过这样的最大值合成将连拍功能下拍摄的多个图像进行合成，生成1张合成图像。各像素的像素值用例如以8比特表示、白用RGB＝(255，255，255)表示时，通过如此处理，即使是在各个单个图像中曝光不足的图像，也能够以聚集多个图像之中的明亮像素的方式进行合成，可以得到焰火部分被适当曝光的合成图像。即，在焰火拍摄中，由于曝光不足和残留闪光轨迹，通常通过长秒数曝光设定进行拍摄，但如果选择的秒数不合适，则导致过度曝光，易于失去细节和对比度。因此，通过使用以上那样的连拍和最大值合成，能够抑制过度曝光，并能够对焰火适当曝光。
<为夜景场景且不拍焰火的情况下>
在拍摄场景为夜景场景且不拍焰火的情况下，也与拍摄焰火时同样地将通过连拍功能拍摄的多个图像提供给图像处理部14。
此时，图像处理部14通过加法合成或平均合成将连拍功能下拍摄的多个图像进行合成，生成1张合成图像。加法合成将连拍功能下拍摄的多个图像的对应像素的像素值之和作为合成图像的各像素的像素值对多个图像进行合成的处理。另外，在进行加法合成时，加和的结果为像素值超过上限值(例如255)的值时，可以以最大值变成上限值的比例缩小图像整体的像素值。
另一方面，平均合成是以连拍功能下拍摄的多个图像的对应像素的像素值的平均值作为合成图像的各像素的像素值对多个图像进行合成的处理。例如在通过加法合成得到的合成图像中像素值饱和而产生飞白的像素的比例超过规定比例时，选择平均合成。
在拍摄场景为夜景场景且不拍焰火时，图像处理部14通过这样的加法合成或平均合成将连拍功能下拍摄的多个图像进行合成，生成1张合成图像。由此，可得到以适当曝光拍摄夜景的合成图像。另外，也可以对通过连拍功能拍摄的多个图像进行晃动补正，基于晃动补正后的图像进行加法合成或平均合成。
<在检出人脸的情况下>
在拍摄场景为夜景场景且拍摄人脸的情况下，将通过连拍功能拍摄的多个图像提供给图像处理部14。提供给图像处理部14的多个图像中、最初或最后拍摄的图像是在有闪光灯17发光下拍摄的图像。
图6是说明人物区域的提取的流程的图。图像处理部14如箭头#21的前端所示，求出通过连拍功能拍摄的多个图像中、在无闪光灯17发光下拍摄的图像与最初或最后在有闪光灯17发光下拍摄的图像之间的辉度值的差，生成分离数据。分离数据用于从在闪光灯17发光下拍摄的图像中提取人物区域。
以下，在适当的情况下，将在闪光灯17发光下拍摄的图像称为闪光灯ON图像，将无闪光灯17发光下拍摄的图像称为闪光灯OFF图像。
如图7所示，对以焰火为背景进行人物拍摄的情况进行说明。在有闪光灯17发光下进行拍摄时，通过该拍摄得到的图像中的人物区域的辉度值比背景区域的辉度值高。与此相对，在无闪光灯17发光下进行拍摄时，通过该拍摄得到的图像中的人物区域的辉度值与背景区域的辉度值同样变低。
图像处理部14求出闪光灯ON图像与闪光灯OFF图像的每个区域的辉度值的差，生成表示辉度值之差在阈值以上的区域的、如图8所示的分离数据。图8所示的分离数据中、附上斜线来表示的区域是闪光灯ON图像与闪光灯OFF图像的辉度值的差在阈值以上的区域，相当于人物区域。
在生成分离数据后，如图6的箭头#22的前端所示，图像处理部14进行分离数据的修正。分离数据的修正是对分离数据进行加工的处理，以使虽为人物的一部分但由于闪光灯17的光没有照到而在分离数据中没有作为人物区域被检出的部分(闪光灯ON图像与闪光灯OFF图像的辉度值之差没有在阈值以上的部分)包含在人物区域中。
例如，即使在有闪光灯17发光下进行拍摄，有时光也没有照到人头的上部。这种情况下，分离数据的人物区域中的头部的形状形成图9中用虚线圆围起来所示的凹陷形状。图像处理部14修正分离数据以使该凹陷形状形成图8所示不凹陷的形状。以脸检出部32所检出的脸的位置为基准，可以预测头整体位于哪个范围，图像处理部14例如预测头整体的范围，修正分离数据。
在进行分离数据的修正后，如图6的箭头#23和箭头#25的前端所示，图像处理部14使用分离数据从闪光灯ON图像中提取人物区域。在重叠分离数据时，与图8的斜线所表示的区域对应的图像上的区域成为被拍摄到闪光灯ON图像中的人物区域。
从闪光灯ON图像中提取人物区域后，如图6的箭头#24的前端所示，图像处理部14根据混合贴图将人物区域的图像合成在合成图像上。如上所述，成为人物区域的合成目的地的合成图像在拍摄场景为夜景场景且拍摄焰火时是通过最大值合成而生成的图像，在不拍摄焰火时是通过加法合成或平均合成而生成的图像。
图10是表示混合贴图的例子的图。图10的横轴表示闪光灯ON图像与闪光灯OFF图像的辉度值之差，纵轴表示从闪光灯ON图像中提取的人物区域的像素的像素值的合成比例。例如，合成比例为50％表示：将合成图像的像素的像素值和从闪光灯ON图像中提取的人物区域的像素的像素值各50％混合后得到的像素值作为最终得到的合成图像中的人物区域的像素的像素值。
在图10的例子中，闪光灯ON图像与闪光灯OFF图像的辉度值之差为阈值1以下时，从闪光灯ON图像中提取的人物区域的像素的像素值的合成比率设定为0％。而且，在辉度值之差为阈值1以上且不足阈值2时，从闪光灯ON图像中提取的人物区域的像素的像素值的合成比例与辉度值之差成比例，从0％线性增加至100％。进而，在辉度值之差为阈值2以上时，从闪光灯ON图像中提取的人物区域的像素的像素值的合成比率设定为100％。
对于图像处理部14，预先设定这种混合贴图的信息。在拍摄场景为夜景场景且拍摄人脸时，图像处理部14根据混合贴图将从闪光灯ON图像中提取的人物区域的图像合成在合成图像上。
由此，可得到背景和人物都适当曝光的合成图像。如上所述，对于背景，通过最大值合成、加法合成、平均合成等合成处理形成适当曝光。而且，对于人物，通过在闪光灯17发光下进行拍摄形成适当曝光。
[摄影装置1的动作]
下面参照图11和图12的流程图，对摄影装置1的摄影处理进行说明。
在步骤S 1中，摄影控制部33控制CMOS传感器12，拍摄实时取景用图像。拍摄的实时取景用图像存储在存储器13中后，提供给场景分类部31、脸检出部32，同时通过图像处理部14读出，显示在LCD16上。
在步骤S2中，场景分类部31对实时取景用图像进行解析，将拍摄场景分类。而且，场景分类部31在将拍摄场景分类为夜景场景时，也进行摄影对象是否包含焰火的检测
在步骤S3中，脸检出部32对实时取景用图像进行解析，进行脸的检出。
在步骤S4中，场景分类部31判断拍摄场景是否为夜景场景。在步骤S4中判断拍摄场景不是夜景场景时，程序进入步骤S5，摄影控制部33对应拍摄场景进行通常的摄影。即，摄影控制部33设定对应于人像场景或风景场景等拍摄场景的参数，与按下快门键相对应地进行摄影。通过图像处理部14将摄影图像实施各种图像处理后，提供给输出部15。输出部15使图像的数据记录在记录介质中，然后结束通常的摄影处理。
另一方面，在步骤S4中在判断拍摄场景为夜景场景时，程序进入步骤S6，摄影控制部33将连拍设定为ON。
在步骤S7中，摄影控制部33判断脸检出部32是否检测到人脸，在判断检测到人脸时，进入步骤S8，进行闪光灯17的设定以在最初的摄影时或最后的摄影时中的任一时刻使闪光灯17发光。
在步骤S9中，摄影控制部33基于由操作部18提供的信号判断是否按下快门键，在判断按下快门键之前待机。
在步骤S9中摄影控制部33判断按下了快门键时，程序进入步骤S10，控制CMOS传感器12，通过连拍功能拍摄多个图像。而且，摄影控制部33在最初的摄影时或最后的摄影时的任一时刻使闪光灯17发光。通过连拍功能拍摄的多个图像存储在存储器13中后，提供给图像处理部14。
在步骤S11中，图像处理部14如上所述基于闪光灯ON图像与闪光灯OFF图像的辉度值之差生成分离数据，适当修正后(图8、图9)，使用分离数据从闪光灯ON图像中提取人物区域的图像。
在步骤S12中，图像处理部14判断场景分类部31是否检测到焰火，在判断检测到焰火时，进入步骤S13，通过最大值合成来将多个图像合成，在所得到的合成图像上合成从闪光灯ON图像中提取的人物区域的图像。合成有从闪光灯ON图像中提取的人物区域的图像的合成图像的数据从图像处理部14提供给输出部15。
在步骤S14中，输出部15将通过图像处理部14生成的合成图像的数据记录在记录介质中，结束处理。
在步骤S12中判断没有检测到焰火时，进入步骤S15，图像处理部14通过加法合成或平均合成来将多个图像合成，在所得到的合成图像上合成从闪光灯ON图像中提取的人物区域的图像。其后，进入步骤S14，记录合成图像后，结束处理。
在步骤S7中摄影控制部33判断没有检测到人脸时，进入步骤S16(图12)，判断是否按下快门键，在按下快门键之前待机。
在步骤S16中摄影控制部33判断按下了快门键时，进入步骤S17，控制CMOS传感器12，通过连拍功能拍摄多个图像。由于没有检测到人脸，所以此处闪光灯17不发光。连拍功能下拍摄的多个图像存储在存储器13中后，提供给图像处理部14。
在步骤S18中，图像处理部14判断场景分类部31是否检测到焰火，在判断检测到焰火时，进入步骤S19，通过最大值合成来将多个图像合成。通过最大值合成而生成的合成图像的数据从图像处理部14提供给输出部15。
在步骤S20中，输出部15使通过图像处理部14生成的合成图像的数据记录在记录介质中，结束处理。
另一方面，在步骤S18中图像处理部14判断没有检测到焰火时，进入步骤S21，通过加法合成或平均合成来将所拍摄的多个图像合成。其后，在步骤S20中，记录合成图像后，结束处理。
[发明的实施方式的效果]
1.如上所述，由于在操作快门键之前对拍摄场景进行分类，所以在拍摄场景为包含夜景的场景时，可以容易地设定为进行连拍的摄影模式。
2.在夜景场景中拍摄焰火的情况下，以连拍功能下拍摄的多个图像的对应像素中、像素值或辉度值最高的像素的像素值作为合成图像的各像素的像素值的方式合成多个图像，因而，可以容易地拍摄焰火部分的曝光适当、画质良好的夜景。
3.在夜景场景中不拍摄焰火的情况下，以将连拍功能下拍摄的多个图像的对应像素的像素值之和作为合成图像的各像素的像素值的方式、或在多个图像的对应像素的像素值之和超过阈值的像素的比例超过规定比例时，以将多个图像的对应像素的像素值的平均值作为上述合成图像的各像素的像素值的方式，合成多个图像，因而可以容易地拍摄曝光适当、画质良好的夜景。
4.检测到人物的脸时，由于在多个图像中的最初图像的摄影时或最后图像的摄影时使闪光灯发光，而且，由于从最初图像或上述最后图像中提取受到闪光灯照射的区域，将提取的上述区域重叠到上述合成图像上进行合成，因而不仅可以容易地拍摄曝光适当、且不产生晃动的画质良好的夜景，而且可以以最好的画质拍摄人物。
上述的一系列处理既能够通过硬件执行，也能够通过软件执行。在通过软件执行一系列处理时，构成该软件的程序可从程序记录介质装入到内装有专用硬件的计算机、或通过装配各种程序可执行各种功能的、例如通用的个人计算机等中。
该发明不限于上述实施方式，在实施阶段通过在不脱离本发明要点的范围改变构成要件进行具体化，或将上述实施方式所公开的多个构成要件适当组合，能够形成各种发明。例如，也可以从实施方式所示的全部构成要件中去除几个构成要件。进而，也可以将不同实施方式所涉及的构成要件适当组合。

Claims (7)

1.一种摄影装置，其特征在于，其具备：
摄影单元；
场景分类单元，用于对在操作快门键之前通过所述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和
控制单元，用于在被所述场景分类单元分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制所述摄影单元以在所述快门键被操作时连续进行多个图像的摄影。
2.如权利要求1所述的摄影装置，其特征在于，
所述场景分类单元在将所拍摄的场景分类为所述夜景场景时，判断是否进行焰火的拍摄，
所述摄影装置进一步具备图像处理单元，在判断进行焰火的摄影时，所述图像处理单元以将操作所述快门键时拍摄的所述多个图像的对应像素中、像素值或辉度值最高的像素的像素值作为合成图像的各像素的像素值的方式将所述多个图像进行合成。
3.如权利要求2所述的摄影装置，其特征在于，在判断不进行焰火的摄影时，所述图像处理单元以将操作所述快门键时拍摄的经晃动补正后的所述多个图像的对应像素的像素值之和作为所述合成图像的各像素的像素值的方式、或在所述多个图像的对应像素的像素值之和超过阈值的像素的比例超过规定比例时以将所述多个图像的对应像素的像素值的平均值作为所述合成图像的各像素的像素值的方式，将所述多个图像进行合成。
4.如权利要求2或3所述的摄影装置，其特征在于，该摄影装置进一步具备：
脸检出单元，用于从所述摄影单元拍摄的图像中检出人物的脸；和
发光单元，用于使闪光灯发光，
在通过所述脸检出单元从所述快门键被操作之前拍摄的图像中检测到人物的脸时，所述控制单元控制所述发光单元以在拍摄所述多个图像之中的最初图像时、或拍摄最后图像时使闪光灯发光，
所述图像处理单元从所述最初图像或所述最后图像中提取闪光灯所照射的区域，将提取的所述区域重叠在所述合成图像上进行合成。
5.如权利要求1所述的摄影装置，其特征在于，该摄影装置进一步具备：
脸检出单元，用于从所述摄影单元拍摄的图像中检出人物的脸；和
发光单元，用于使闪光灯发光
在通过所述脸检出单元从所述快门键被操作之前拍摄的图像中检测到人物的脸时，所述控制单元控制所述发光单元以在摄影所述多个图像之中的最初图像时、或摄影最后图像时使闪光灯发光。
6.一种具备摄影单元的摄影装置的摄影方法，其特征在于，该摄影方法包含下述步骤：
场景分类步骤，对在操作快门键之前通过所述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和
控制步骤，在经所述场景分类步骤的处理被分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制所述摄影单元以在所述快门键被操作时连续进行多个图像的拍摄。
7.一种使计算机执行摄影处理的程序，所述摄影处理是具备摄影单元的摄影装置的摄影处理，其特征在于，该程序使计算机执行包含下述步骤的处理：
场景分类步骤，对在操作快门键之前通过所述摄影单元拍摄的图像进行解析，对所拍摄的场景进行分类；和
控制步骤，在经所述场景分类步骤的处理被分类的场景为包含夜景作为摄影对象的场景即夜景场景时，控制所述摄影单元以在所述快门键被操作时连续进行多个图像的拍摄。
CN2011103963144A 2010-11-30 2011-11-28 摄影装置、摄影方法和程序 Pending CN102487431A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010266733A JP2012119858A (ja) 2010-11-30 2010-11-30 撮影装置、撮影方法、およびプログラム
JP2010-266733 2010-11-30

Publications (1)

Publication Number Publication Date
CN102487431A true CN102487431A (zh) 2012-06-06

Family

ID=46126380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011103963144A Pending CN102487431A (zh) 2010-11-30 2011-11-28 摄影装置、摄影方法和程序

Country Status (3)

Country Link
US (1) US20120133797A1 (zh)
JP (1) JP2012119858A (zh)
CN (1) CN102487431A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104349057A (zh) * 2013-08-06 2015-02-11 卡西欧计算机株式会社 摄像装置以及摄像方法
CN105072350A (zh) * 2015-06-30 2015-11-18 华为技术有限公司 一种拍照方法及装置
CN108810413A (zh) * 2018-06-15 2018-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109547691A (zh) * 2012-07-30 2019-03-29 三星电子株式会社 图像拍摄方法和图像拍摄装置
CN112492216A (zh) * 2020-12-14 2021-03-12 维沃移动通信有限公司 拍摄控制方法和拍摄控制装置

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
JP5765945B2 (ja) * 2011-01-14 2015-08-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9870066B2 (en) 2012-03-02 2018-01-16 Microsoft Technology Licensing, Llc Method of manufacturing an input device
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9158383B2 (en) 2012-03-02 2015-10-13 Microsoft Technology Licensing, Llc Force concentrator
JP5917258B2 (ja) * 2012-04-20 2016-05-11 キヤノン株式会社 画像処理装置及び画像処理方法
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
JP6012333B2 (ja) * 2012-08-10 2016-10-25 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8964379B2 (en) 2012-08-20 2015-02-24 Microsoft Corporation Switchable magnetic lock
EP2902841B1 (en) * 2012-09-25 2017-01-11 Nissan Motor Co., Ltd. Image capture device and image capture method
US8786767B2 (en) 2012-11-02 2014-07-22 Microsoft Corporation Rapid synchronized lighting and shuttering
KR101930460B1 (ko) * 2012-11-19 2018-12-17 삼성전자주식회사 촬영 장치 및 제어 방법
JP6214229B2 (ja) * 2013-06-10 2017-10-18 キヤノン株式会社 撮像装置、撮像装置の制御方法、画像処理装置および画像処理方法
JP6257200B2 (ja) * 2013-07-22 2018-01-10 キヤノン株式会社 撮像装置、撮像システム、撮像装置の制御方法、プログラム、および、記憶媒体
JP6218496B2 (ja) * 2013-08-21 2017-10-25 キヤノン株式会社 撮像装置、および、撮像方法
CN104519263B (zh) * 2013-09-27 2018-07-06 联想(北京)有限公司 一种图像获取的方法及电子设备
JP6245992B2 (ja) * 2014-01-07 2017-12-13 オリンパス株式会社 画像処理装置、画像処理方法
JP6235919B2 (ja) * 2014-01-30 2017-11-22 キヤノン株式会社 画像処理装置、撮像装置及びそれらの制御方法、プログラム、並びに記憶媒体
US10120420B2 (en) 2014-03-21 2018-11-06 Microsoft Technology Licensing, Llc Lockable display and techniques enabling use of lockable displays
KR101481798B1 (ko) * 2014-07-18 2015-01-13 주식회사 모리아타운 B셔터 이미지 생성 방법 및 장치
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US9979890B2 (en) 2015-04-23 2018-05-22 Apple Inc. Digital viewfinder user interface for multiple cameras
US20170053378A1 (en) * 2015-08-20 2017-02-23 Oregon Health & Science University Methods of enhancing digital images
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
JP6284604B2 (ja) * 2016-10-28 2018-02-28 オリンパス株式会社 画像処理装置、画像処理方法、およびプログラム
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
JP6924901B2 (ja) * 2017-10-14 2021-08-25 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 写真撮影方法および電子装置
US11112964B2 (en) 2018-02-09 2021-09-07 Apple Inc. Media capture lock affordance for graphical user interface
CN110166703B (zh) * 2018-03-27 2020-05-19 华为技术有限公司 拍照方法、拍照装置和移动终端
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US10375313B1 (en) 2018-05-07 2019-08-06 Apple Inc. Creative camera
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
US10645294B1 (en) 2019-05-06 2020-05-05 Apple Inc. User interfaces for capturing and managing visual media
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US10701279B2 (en) * 2018-10-02 2020-06-30 Adobe Inc. Utilizing alignment models and motion vector path blending to generate a long exposure digital image from a sequence of short exposure digital images
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN111901475A (zh) * 2019-05-06 2020-11-06 苹果公司 用于捕获和管理视觉媒体的用户界面
CN110166711B (zh) * 2019-06-13 2021-07-13 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备以及存储介质
CN111242860B (zh) * 2020-01-07 2024-02-27 影石创新科技股份有限公司 超级夜景图像的生成方法、装置、电子设备及存储介质
JP7447648B2 (ja) 2020-04-06 2024-03-12 大日本印刷株式会社 撮影システム
JP7476644B2 (ja) 2020-04-23 2024-05-01 大日本印刷株式会社 撮影システム
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
CN112785535A (zh) * 2020-12-30 2021-05-11 北京迈格威科技有限公司 一种获取夜景光轨图像的方法、装置以及可手持终端
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
CN113259594A (zh) * 2021-06-22 2021-08-13 展讯通信（上海）有限公司 图像处理方法及装置、计算机可读存储介质、终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936685A (zh) * 2005-09-21 2007-03-28 索尼株式会社 摄影设备、处理信息的方法和程序
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
CN101557468A (zh) * 2008-04-07 2009-10-14 索尼株式会社 图像处理装置、图像处理方法和程序
JP2010114566A (ja) * 2008-11-05 2010-05-20 Casio Computer Co Ltd 撮像装置、撮像方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101137012B (zh) * 2006-07-25 2010-09-08 富士胶片株式会社 拍摄装置和方法
KR101341095B1 (ko) * 2007-08-23 2013-12-13 삼성전기주식회사 야경 환경에서 최적의 화질을 갖는 영상 획득 장치 및 방법
JP5281495B2 (ja) * 2009-06-18 2013-09-04 キヤノン株式会社 画像処理装置およびその方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1936685A (zh) * 2005-09-21 2007-03-28 索尼株式会社 摄影设备、处理信息的方法和程序
JP2007288235A (ja) * 2006-04-12 2007-11-01 Sony Corp 撮像装置および撮像方法
CN101557468A (zh) * 2008-04-07 2009-10-14 索尼株式会社 图像处理装置、图像处理方法和程序
JP2010114566A (ja) * 2008-11-05 2010-05-20 Casio Computer Co Ltd 撮像装置、撮像方法及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109547691A (zh) * 2012-07-30 2019-03-29 三星电子株式会社 图像拍摄方法和图像拍摄装置
CN109547691B (zh) * 2012-07-30 2021-09-07 三星电子株式会社 图像拍摄方法和图像拍摄装置
CN104349057A (zh) * 2013-08-06 2015-02-11 卡西欧计算机株式会社 摄像装置以及摄像方法
CN105072350A (zh) * 2015-06-30 2015-11-18 华为技术有限公司 一种拍照方法及装置
US10326946B2 (en) 2015-06-30 2019-06-18 Huawei Technologies Co., Ltd. Photographing method and apparatus
CN105072350B (zh) * 2015-06-30 2019-09-27 华为技术有限公司 一种拍照方法及装置
US10897579B2 (en) 2015-06-30 2021-01-19 Huawei Technologies Co., Ltd. Photographing method and apparatus
CN108810413A (zh) * 2018-06-15 2018-11-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112492216A (zh) * 2020-12-14 2021-03-12 维沃移动通信有限公司 拍摄控制方法和拍摄控制装置

Also Published As

Publication number Publication date
JP2012119858A (ja) 2012-06-21
US20120133797A1 (en) 2012-05-31

Similar Documents

Publication Publication Date Title
CN102487431A (zh) 摄影装置、摄影方法和程序
CN110072052B (zh) 基于多帧图像的图像处理方法、装置、电子设备
JP4115467B2 (ja) 撮影装置
JP4432054B2 (ja) 撮像装置及び方法
US20100225785A1 (en) Image processor and recording medium
JP6685188B2 (ja) 撮像装置、画像処理装置及びそれらの制御方法、プログラム
CN102348056A (zh) 图像合成装置和图像合成方法
JP2009089084A (ja) 画像処理装置、撮像装置及び画像処理方法
CN102572286A (zh) 摄影装置、摄影方法和程序
WO2016008359A1 (zh) 物体运动轨迹图像的合成方法、装置及计算机存储介质
JP5156991B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP2004134950A (ja) 画像合成方法および画像合成装置
US11838648B2 (en) Image processing device, imaging apparatus, image processing method, and program for determining a condition for high dynamic range processing
JP4982567B2 (ja) フラッシュを用いて撮影された画像のアーチファクト除去
US20200236299A1 (en) Image capturing apparatus, image compositing method, and recording medium having recorded therein image compositing program to be executed by computer of image capturing apparatus
JP2008104187A (ja) 画像形成方法、集積回路、及び画像形成装置
JP2010087599A (ja) 撮像装置、方法およびプログラム
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6214229B2 (ja) 撮像装置、撮像装置の制御方法、画像処理装置および画像処理方法
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
JP2009218689A (ja) 測光装置、及び撮像装置
JP5321308B2 (ja) 画像処理装置および画像処理プログラム
JP2012050121A (ja) 撮像装置、撮像方法および撮像プログラム
JP2006270752A (ja) 電子ファインダー及びそれを用いた電子カメラ
JP4885079B2 (ja) デジタルカメラ、撮影方法及び撮影プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120606