CN105531990B - 摄像设备及其控制方法 - Google Patents

摄像设备及其控制方法 Download PDF

Info

Publication number
CN105531990B
CN105531990B CN201480050201.0A CN201480050201A CN105531990B CN 105531990 B CN105531990 B CN 105531990B CN 201480050201 A CN201480050201 A CN 201480050201A CN 105531990 B CN105531990 B CN 105531990B
Authority
CN
China
Prior art keywords
hdr
frame
static image
static
video frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480050201.0A
Other languages
English (en)
Other versions
CN105531990A (zh
Inventor
池田平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN105531990A publication Critical patent/CN105531990A/zh
Application granted granted Critical
Publication of CN105531990B publication Critical patent/CN105531990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

提供一种能够在HDR视频记录期间拍摄静止图像的情况下记录适当的HDR静止图像的摄像设备。通过根据曝光条件不同的帧生成视频帧并将这些视频帧合成来生成具有高动态范围的HDR视频帧，并且将该HDR视频帧作为HDR视频记录在记录介质中。在HDR视频帧的生成期间接受到静止图像拍摄指示的情况下，通过在HDR视频帧的生成期间生成曝光条件不同的静止图像帧并且将这些静止图像帧合成来生成具有高动态范围的HDR静止图像帧，并且将该HDR静止图像帧作为HDR静止图像记录在记录介质中。

Description

摄像设备及其控制方法
技术领域
本发明涉及一种摄像设备及其控制方法。
背景技术
近来的诸如数字照相机等的许多摄像设备不仅能够进行静止图像拍摄，而且还能够进行具有声音的视频的拍摄和记录。可以利用一台数字相机来进行各种模式下的拍摄。最近，还存在能够在拍摄具有声音的视频的同时拍摄静止图像的摄像设备、以及能够通过将连续拍摄到的多个图像合成来记录以前无法实现的场景的摄像设备。
日本特开2005-57378所公开的摄像设备将通过以逐行扫描模式驱动图像传感器所获得的一系列图像间隔剔除成视频记录像素计数，并且将该图像数据作为视频进行处理并记录。如果用户在视频拍摄期间指示拍摄静止图像，则在无需进行间隔剔除的情况下将该图像数据作为静止图像来进行处理并记录。根据该技术，可以在视频拍摄期间在不会使视频拍摄中断的情况下拍摄到高质量的静止图像，并且还可以在不会使帧频降低的情况下拍摄到视频。
日本特开平7-97841公开了能够通过对通过定期改变曝光时间而在不同的曝光量下所拍摄到的多个图像进行合成来获得具有宽动态范围的视频的摄像设备。根据该技术，在使曝光时间交替地改变为长的持续时间和短的持续时间的同时连续拍摄图像并且对这些图像进行合成，由此生成高动态范围的视频(以下称为“HDR视频”)。
然而，传统上，尚未研究出针对在HDR视频记录期间输入静止图像拍摄指示以记录HDR静止图像的情况的详细处理方法。静止图像拍摄输入的时刻与视频记录所用的连续图像拍摄处理是异步的。由于该原因，关于要使用哪个帧来生成HDR视频或HDR静止图像，可以根据所需的性能来考虑各种变化。
发明内容
本发明提供能够在通过对曝光不同的多个图像进行合成来扩大动态范围的HDR视频记录期间拍摄静止图像的情况下、记录适当的HDR静止图像的摄像设备。
根据本发明的一个方面，一种摄像设备，包括：第一记录控制部件，用于进行如下处理：通过根据曝光条件不同的多个帧生成多个视频帧并对所述视频帧进行合成来生成具有高动态范围的HDR视频帧，并且将所述HDR视频帧作为HDR视频记录在记录介质中；接受部件，用于在所述第一记录控制部件进行所述处理期间接受静止图像拍摄指示；以及第二记录控制部件，用于在所述接受部件在所述第一记录控制部件进行所述处理期间接受到所述静止图像拍摄指示的情况下，通过在所述第一记录控制部件进行所述处理期间生成曝光条件不同的多个静止图像帧并对所述静止图像帧进行合成来生成具有高动态范围的HDR静止图像帧，并且将所述HDR静止图像帧作为HDR静止图像记录在记录介质中。
通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
附图说明
图1是示出根据实施例的摄像设备的外观的图；
图2是示出根据实施例的摄像设备的示意结构的框图；
图3是根据实施例的摄像设备的操作时序图；
图4是根据该实施例的摄像设备的操作流程图；
图5是根据另一实施例的摄像设备的操作时序图；
图6A～6B是根据该实施例的摄像设备的操作流程图；
图7是根据又一实施例的摄像设备的操作时序图；
图8A～8B是根据该实施例的摄像设备的操作流程图；
图9是根据还一实施例的摄像设备的操作时序图；以及
图10是根据该实施例的摄像设备的操作流程图。
具体实施方式
以下将参考附图来详细说明本发明的各种典型实施例、特征和方面。
现在将参考附图来详细说明本发明的优选实施例。注意，以下实施例并不意图限制本发明，而是仅示出对于实现本发明而言有利的详细示例。另外，并非以下实施例所述的特征的所有组合对于本发明的解决方式而言都是必须的。
图1是示出根据本实施例的摄像设备10的外观的图。图2是示出其示意结构的框图。连接器112使连接线缆和摄像设备10相连接。记录介质20是诸如存储卡或硬盘等的记录介质。记录介质槽201是被配置为容纳记录介质20的槽。记录介质槽201中所容纳的记录介质20可以与摄像设备10进行通信。盖203是记录介质槽201的盖。
CPU(中央处理单元)11控制(后面要说明的)各处理单元和数据流程。ROM 12存储与CPU 11的处理过程有关的程序(固件)以及各种信息。显示单元13包括彩色液晶显示器等，并且用于显示图像和图形用户界面。显示单元13还具有向诸如TV等的外部显示装置输出视频信号的端子。操作单元14包括接受来自用户的指示的释放开关SW1/SW2、视频记录按钮、各种按钮、4方向选择器、控制轮和拨盘开关等。
DRAM 15用作CPU 11的工作区域，并且具有临时存储图像数据、显示数据和图像解压缩之后的数据等的缓冲器功能。与DRAM的数据写入/读取通常是经由这里未示出的存储器控制器来进行的。尽管未示出，但在DRAM 15和各处理单元之间设置有用于在不会干预读取/写入的情况下针对CPU 11进行DMA传送的DMA控制器。
记录介质接口16根据来自CPU 11的指示与记录介质20进行图像数据写入/读取。记录介质20包括诸如存储卡、光盘或硬盘等的随机可访问的记录介质，并且可移除地安装至摄像设备10。摄像单元17包括透镜、光圈、快门以及诸如CCD传感器或CMOS传感器等的图像传感器，并且对被摄体进行摄像。图像处理电路18通过对从摄像单元17输入的图像数据进行图像处理来生成YUV数据，将该YUV数据调整大小为任意大小，并且进行旋转和颜色转换。图像处理电路18还可以对从摄像单元17输入的多个图像数据或YUV数据进行合成并且生成一个图像数据或YUV数据。视频压缩电路19将YUV数据压缩编码成H.264或H.265格式等的视频数据。静止图像压缩电路21将YUV数据压缩成JPEG格式等的静止图像。CPU 11、ROM12、显示单元13、操作单元14、DRAM 15、记录介质I/F 16、摄像单元17、图像处理电路18、视频压缩电路19和静止图像压缩电路21经由内部总线30进行通信。
第一实施例
摄像设备10可以通过对通过在改变曝光条件(例如，曝光时间)的情况下连续进行摄像所获得的多个图像帧进行合成来生成并记录高动态范围的视频(以下称为“HDR视频”)。在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示时，摄像设备10还可以通过对在改变曝光时间的情况下连续拍摄到的多个图像帧进行合成并且继续HDR视频记录，来拍摄高动态范围的静止图像(以下称为“HDR静止图像”)。
图3示出摄像设备10的操作定时的示例。摄像单元17在交替地改变曝光条件(例如，曝光时间)的情况下进行摄像。图像处理电路18重复地生成在第一曝光条件下所拍摄到的过曝光视频帧301和在第二曝光条件下所拍摄到的曝光不足视频帧302。在获得了一组过曝光视频帧和曝光不足视频帧的情况下，图像处理电路18对该过曝光视频帧和曝光不足视频帧进行合成并且生成具有高动态范围的HDR视频帧303。视频压缩电路19对连续的HDR视频帧进行压缩编码并且将其作为HDR视频记录在记录介质20中。
在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示304时，图像处理电路18进行以下处理。也就是说，图像处理电路18在生成视频帧的同时，生成从静止图像拍摄指示304起的最近的一组过曝光静止图像帧305和曝光不足静止图像帧306。在获得了一组过曝光静止图像帧和曝光不足静止图像帧的情况下，图像处理电路18对该过曝光静止图像帧和曝光不足静止图像帧进行合成并且生成扩大了动态范围的HDR静止图像帧307。静止图像压缩电路21对该HDR静止图像帧进行压缩编码并且将其作为HDR静止图像记录在记录介质20中。
图4示出摄像设备100的操作流程图。CPU 11控制各单元以实现图4所示的操作。在通过按下操作单元14的视频记录按钮而输入了HDR视频记录开始指示的情况下，图4所示的序列开始。在步骤S101中，CPU 11判断是否用户在HDR视频记录期间通过对操作单元14的释放开关SW2进行操作而输入了静止图像拍摄指示。在判断为没有输入静止图像拍摄指示时，处理直接进入步骤S103。在判断为输入了静止图像拍摄指示时，在步骤S102中，CPU 11将静止图像处理标志设置为TRUE(真)(例如，1)并且将其存储在DRAM 15中。该静止图像处理标志用于判断在后续序列中是否进行静止图像处理。在步骤S103中，CPU 11使摄像单元17拍摄与适当曝光相比的过曝光图像。在步骤S104中，CPU 11使用图像处理电路18来针对步骤S103中所拍摄到的过曝光图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成过曝光视频帧，并且将该过曝光视频帧存储在DRAM 15中。
在步骤S105中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S107。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S106。在步骤S106中，CPU 11使用图像处理电路18来针对步骤S103中所拍摄到的过曝光图像进行向YUV数据的转换处理等，生成过曝光静止图像帧，并且将该过曝光静止图像帧存储在DRAM 15中。
在步骤S107中，CPU 11使摄像单元17拍摄与适当曝光相比的曝光不足图像。在步骤S108中，CPU 11使用图像处理电路18来针对步骤S107中所拍摄到的曝光不足图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成曝光不足视频帧，并且将该曝光不足视频帧存储在DRAM 15中。
在步骤S109中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S111。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S110。在步骤S110中，CPU 11使用图像处理电路18对步骤S107中所拍摄到的曝光不足图像进行向YUV数据的转换处理等，生成曝光不足静止图像帧，并且将该曝光不足静止图像帧存储在DRAM 15中。
在步骤S111中，CPU 11读出在步骤S104和S108中存储在DRAM 15中的过曝光视频帧和曝光不足视频帧并且使用图像处理电路18对这两者进行合成，由此生成具有高动态范围的HDR视频帧。在步骤S112中，CPU 11使用视频压缩电路19将步骤S111中所生成的HDR视频帧压缩编码成H.264格式等的视频数据。在步骤S113中，CPU 11将在步骤S112中压缩编码后的视频数据经由记录介质接口16记录在记录介质20中。在步骤S114中，CPU 11使用图像处理电路18来针对步骤S111中所生成的HDR视频帧进行对显示大小的调整大小处理等，并且生成电子取景器显示用数据。在步骤S115中，CPU 11使显示单元13显示步骤S114中所生成的显示用数据。也就是说，更新显示单元13上的实时取景图像。
在步骤S116中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S121。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S117。在步骤S117中，CPU 11读取在步骤S106和S110中存储在DRAM 15中的过曝光静止图像帧和曝光不足静止图像帧并且使用图像处理电路18对这两者进行合成，由此生成具有高动态范围的HDR静止图像帧。在步骤S118中，CPU11使用静止图像压缩电路21将步骤S117中所生成的HDR静止图像帧压缩编码成JPEG格式的静止图像数据。在步骤S119中，CPU 11将在步骤S118中压缩编码后的静止图像数据经由记录介质接口16记录在记录介质20中。在步骤S120中，由于根据步骤S101中的静止图像拍摄指示的一系列静止图像处理结束，因此CPU 11将静止图像处理标志设置为FALSE(假)(例如，0)并将其存储在DRAM 15中。
在步骤S121中，CPU 11判断是否通过对操作单元14的视频记录按钮进行操作而输入了视频记录停止指示。在判断为没有输入视频记录停止指示时，CPU 11返回至步骤S101以继续下一视频帧的处理。在判断为输入了视频记录停止指示时，CPU 11结束HDR视频记录。
将给出上述处理的概述。在本实施例中，CPU 11进行如下处理：通过生成并合成曝光条件不同的多个视频帧来生成具有高动态范围的HDR视频帧，并且将该HDR视频帧作为HDR视频记录在记录介质中。摄像设备10可以在HDR视频处理期间接受静止图像拍摄指示。根据接受到静止图像拍摄指示，CPU 11在HDR视频处理期间生成HDR静止图像帧并且将该HDR静止图像帧作为HDR静止图像记录在记录介质中。在本实施例中，CPU 11根据包括在第一曝光条件下所拍摄到的帧和在第二曝光条件下所拍摄到的后续帧的多个帧来生成多个视频帧。另外，CPU 11根据包括在接受到静止图像拍摄指示之后首先获得的第一曝光条件下所拍摄到的帧和在第二曝光条件下所拍摄到的后续帧的多个帧来生成多个静止图像帧。在HDR视频记录期间接受到静止图像拍摄指示的情况下，如此可以在继续HDR视频记录的同时，记录根据与为了生成HDR视频帧而使用的图像相同的一组过曝光图像和曝光不足图像而生成的HDR静止图像。
在本实施例中，说明了将过曝光图像和曝光不足图像转换成YUV数据、然后进行合成以生成HDR图像的示例。然而，可以对从摄像单元输出的原始数据格式的过曝光图像和曝光不足图像进行合成，然后转换成YUV数据。
在本实施例中，说明了对过曝光图像和曝光不足图像这两个图像进行合成以生成HDR图像的示例。然而，可以增加要合成的图像的数量，并且例如，可以对过曝光图像、曝光不足图像和适当曝光图像这三个图像进行合成以生成HDR图像。
第二实施例
摄像设备10可以通过对在改变曝光时间的情况下连续拍摄到的多个图像进行合成来生成并记录HDR视频。摄像设备10还可以在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示，并且在继续HDR视频记录的同时拍摄HDR静止图像。可以缩短此时的拍摄时滞。
图5示出摄像设备10的操作定时的示例。摄像单元17在交替地改变曝光时间的情况下进行摄像。图像处理电路18重复地生成过曝光视频帧401和曝光不足视频帧402。在获得了一组过曝光视频帧和曝光不足视频帧的情况下，图像处理电路18对该过曝光视频帧和曝光不足视频帧进行合成并且生成扩大了动态范围的HDR视频帧403。视频压缩电路19对连续的HDR视频帧进行压缩编码并且将其作为HDR视频记录在记录介质20中。
在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示404时，图像处理电路18进行以下处理。也就是说，图像处理电路18在生成视频帧的同时，根据接受到静止图像拍摄指示404的帧的下一个帧来生成曝光不足静止图像帧405或过曝光静止图像帧406。图像处理电路18还根据该下一个帧之后的帧来生成过曝光静止图像帧406或曝光不足静止图像帧405。在获得了一组过曝光静止图像帧和曝光不足静止图像帧的情况下，图像处理电路18对该过曝光静止图像帧和曝光不足静止图像帧进行合成并且生成扩大了动态范围的HDR静止图像帧407。静止图像压缩电路21对该HDR静止图像帧进行压缩编码并且将其作为HDR静止图像记录在记录介质20中。
如此通过对接受到静止图像拍摄指示的帧的下一个第一帧和第二帧进行合成来生成HDR静止图像帧并进行记录。尽管未必使用与为了生成HDR视频帧而使用的组相同的组，但这样可以缩短拍摄时滞。
图6A～6B示出摄像设备10的操作流程图。CPU 11控制各单元以实现图6A～6B所示的操作。在通过按下操作单元14的视频记录按钮而输入了HDR视频记录开始指示的情况下，图6A～6B所示的序列开始。在步骤S201中，CPU11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。该曝光设置用于判断在后续序列中是拍摄过曝光图像还是拍摄曝光不足图像。在步骤S202中，CPU 11判断是否用户通过对操作单元14的释放开关SW2进行操作而输入了静止图像拍摄指示。在判断为没有输入静止图像拍摄指示时，处理进入步骤S204。在判断为输入了静止图像拍摄指示时，在步骤S203中，CPU 11将静止图像处理标志设置为TRUE(例如，1)并将其存储在DRAM 15中。该静止图像处理标志用于判断在后续序列中是否进行静止图像处理。
在步骤S204中，CPU 11判断DRAM 15中所存储的曝光设置是过曝光设置还是曝光不足设置。在判断为该曝光设置是过曝光设置时，处理进入步骤S205。在判断为该曝光设置是曝光不足设置时，处理进入步骤S210。在步骤S205中，CPU 11使摄像单元17拍摄与适当曝光相比的过曝光图像。在步骤S206中，CPU 11使用图像处理电路18来针对步骤S205中所拍摄到的过曝光图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成过曝光视频帧，并且将该过曝光视频帧存储在DRAM 15中。在步骤S207中，CPU 11判断DRAM15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S209。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S208。在步骤S208中，CPU 11使用图像处理电路18来针对步骤S205中所拍摄到的过曝光图像进行向YUV数据的转换处理等，生成过曝光静止图像帧，并且将该过曝光静止图像帧存储在DRAM 15中。在步骤S209中，CPU 11将下一帧的曝光设置为曝光不足并且将该设置存储在DRAM 15中。之后，处理进入步骤S215。
在步骤S210中，CPU 11使摄像单元17拍摄与适当曝光相比的曝光不足图像。在步骤S211中，CPU 11使用图像处理电路18来针对步骤S210中所拍摄到的曝光不足图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成曝光不足视频帧，并且将该曝光不足视频帧存储在DRAM 15中。在步骤S212中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S214。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S213。在步骤S213中，CPU 11使用图像处理电路18来针对步骤S210中所拍摄到的曝光不足图像进行向YUV数据的转换处理等，生成曝光不足静止图像帧，并且将该曝光不足静止图像帧存储在DRAM 15中。在步骤S214中，CPU 11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。之后，处理进入步骤S215。
在步骤S215中，CPU 11判断在步骤S206和S211中是否将过曝光视频帧和曝光不足视频帧存储在了DRAM 15中、并且是否存在完整的一组过曝光视频帧和曝光不足视频帧。在判断为不存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S221。在判断为存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S216。
在步骤S216中，CPU 11读出在步骤S206和S211中存储在DRAM 15中的一组过曝光视频帧和曝光不足视频帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR视频帧。在步骤S217中，CPU 11使用视频压缩电路19将步骤S216中所生成的HDR视频帧压缩编码成H.264格式等的视频数据。在步骤S218中，CPU 11将在步骤S217中压缩编码后的视频数据经由记录介质接口16记录在记录介质20中。在步骤S219中，CPU 11使用图像处理电路18来针对步骤S216中所生成的HDR视频帧进行对显示大小的调整大小处理等，并且生成电子取景器显示用数据。在步骤S220中，CPU 11使显示单元13显示步骤S219中所生成的显示用数据。也就是说，更新显示单元13上的实时取景图像。
在步骤S221中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S227。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S222。在步骤S222中，CPU 11判断在步骤S208和S213中是否将过曝光静止图像帧和曝光不足静止图像帧存储在了DRAM 15中、并且是否存在完整的一组过曝光静止图像帧和曝光不足静止图像帧。在判断为不存在完整的一组过曝光静止图像帧和曝光不足静止图像帧时，处理进入步骤S227。在判断为存在完整的一组过曝光静止图像帧和曝光不足静止图像帧时，处理进入步骤S223。
在步骤S223中，CPU 11读出在步骤S208和S213中存储在DRAM 15中的过曝光静止图像帧和曝光不足静止图像帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR静止图像帧。在步骤S224中，CPU 11使用静止图像压缩电路21将步骤S223中所生成的HDR静止图像帧压缩编码成JPEG格式的静止图像数据。在步骤S225中，CPU 11将在步骤S224中压缩编码后的静止图像数据经由记录介质接口16记录在记录介质20中。在步骤S226中，由于根据步骤S202中的静止图像拍摄指示的一系列静止图像处理结束，因此CPU11将静止图像处理标志设置为FALSE(例如，0)并且将其存储在DRAM 15中。
在步骤S227中，CPU 11判断是否通过对操作单元14的视频记录按钮进行操作而输入了视频记录停止指示。在判断为没有输入视频记录停止指示时，CPU 11返回至步骤S202以继续下一视频帧的处理。在判断为输入了视频记录停止指示时，CPU 11结束HDR视频记录。
如上所述，在本实施例中，CPU 11根据包括在第一曝光条件下所拍摄到的帧和在第二曝光条件下所拍摄到的后续帧的多个帧来生成多个视频帧。另外，CPU 11根据包括紧接着接受到静止图像拍摄指示之后的帧和后续帧的多个帧来生成多个静止图像帧。这样与第一实施例的控制处理相比，可以缩短HDR静止图像帧的拍摄时滞。
在本实施例中，说明了将过曝光图像和曝光不足图像转换成YUV数据、然后进行合成以生成HDR图像的示例。然而，可以对从摄像单元输出的原始数据格式的过曝光图像和曝光不足图像进行合成，然后转换成YUV数据。
在本实施例中，说明了对过曝光图像和曝光不足图像这两个图像进行合成以生成HDR图像的示例。然而，可以增加要合成的图像的数量，并且例如可以对过曝光图像、曝光不足图像和适当曝光图像这三个图像进行合成以生成HDR图像。
第三实施例
摄像设备10可以通过对在改变曝光时间的情况下连续拍摄到的多个图像进行合成来生成并记录HDR视频。摄像设备10还可以在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示，并且在继续HDR视频记录的同时拍摄HDR静止图像。可以缩短此时的拍摄时滞。
图7示出摄像设备10的操作定时的示例。摄像单元17在交替地改变曝光时间的情况下进行摄像。图像处理电路18重复地生成过曝光视频帧501和曝光不足视频帧502。在获得了一组过曝光视频帧和曝光不足视频帧的情况下，图像处理电路18对该过曝光视频帧和曝光不足视频帧进行合成并且生成扩大了动态范围的HDR视频帧503。视频压缩电路19对连续的HDR视频帧进行压缩编码并且将其作为HDR视频记录在记录介质20中。
此时，与视频帧的生成同时，还重复地生成过曝光静止图像帧505和曝光不足静止图像帧506并且存储在DRAM 15的缓冲器中。此时，在DRAM 15中分配针对合成处理所需的至少两个图像的缓冲器容量，以分别存储所生成的一个过曝光静止图像帧和所生成的一个曝光不足静止图像帧。在新生成了过曝光静止图像帧或曝光不足静止图像帧的情况下，先前存储的过曝光静止图像帧或曝光不足静止图像帧被覆盖。
在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示504时，图像处理电路18进行以下处理。也就是说，图像处理电路18等待接受到静止图像拍摄指示的帧的过曝光静止图像帧或曝光不足静止图像帧的生成、以及一组静止图像帧的获得。在获得了一组过曝光静止图像帧和曝光不足静止图像帧的情况下，图像处理电路18对该一组过曝光静止图像帧和曝光不足静止图像帧进行合成并且生成扩大了动态范围的HDR静止图像帧507。静止图像压缩电路21对该HDR静止图像帧进行压缩编码并将其作为HDR静止图像记录在记录介质20中。
在与视频帧的生成同时、还如此重复地生成静止图像帧并存储在缓冲器中的情况下，可以通过对接受到静止图像拍摄指示的帧与缓冲器中所存储的紧前帧进行合成来生成HDR静止图像帧并进行记录。尽管由于始终生成静止图像帧、因此处理负荷和电力消耗增加，但这样可以缩短拍摄时滞。
图8A～8B示出摄像设备10的操作流程图。CPU 11控制各单元以实现图8A～8B所示的操作。在通过按下操作单元14的视频记录按钮而输入了HDR视频记录开始指示的情况下，图8A～8B所示的序列开始。在步骤S301中，CPU11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。该曝光设置用于判断在后续序列中是拍摄过曝光图像还是拍摄曝光不足图像。在步骤S302中，CPU 11判断是否用户通过对操作单元14的释放开关SW2进行操作而输入了静止图像拍摄指示。在判断为没有输入静止图像拍摄指示时，处理进入步骤S304。在判断为输入了静止图像拍摄指示时，在步骤S303中，CPU 11将静止图像处理标志设置为TRUE(例如，1)并将其存储在DRAM 15中。该静止图像处理标志用于判断在后续序列中是否进行静止图像处理。在步骤S304中，CPU 11判断DRAM 15中所存储的曝光设置是过曝光设置还是曝光不足设置。在判断为该曝光设置是过曝光设置时，处理进入步骤S305。在判断为该曝光设置是曝光不足设置时，处理进入步骤S309。在步骤S305中，CPU 11使摄像单元17拍摄与适当曝光相比的过曝光图像。在步骤S306中，CPU 11使用图像处理电路18来针对步骤S305中所拍摄到的过曝光图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成过曝光视频帧，并且将该过曝光视频帧存储在DRAM 15中。在步骤S307中，CPU 11使用图像处理电路18来针对步骤S305中所拍摄到的过曝光图像进行向YUV数据的转换处理等，生成过曝光静止图像帧，并且将该过曝光静止图像帧存储在DRAM 15的缓冲器中。在步骤S308中，CPU 11将下一帧的曝光设置为曝光不足并且将该设置存储在DRAM 15中。之后，处理进入步骤S313。
在步骤S309中，CPU 11使摄像单元17拍摄与适当曝光相比的曝光不足图像。在步骤S310中，CPU 11使用图像处理电路18来针对步骤S309中所拍摄到的曝光不足图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成曝光不足视频帧，并且将该曝光不足视频帧存储在DRAM 15中。在步骤S311中，CPU 11使用图像处理电路18来针对步骤步骤S309中所拍摄到的曝光不足图像进行向YUV数据的转换处理等，生成曝光不足静止图像帧，并且将该曝光不足静止图像帧存储在DRAM 15的缓冲器中。在步骤S312中，CPU 11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。之后，处理进入步骤S313。
在步骤S313中，CPU 11判断在步骤S306和S310中是否将过曝光视频帧和曝光不足视频帧存储在了DRAM 15中、并且是否存在完整的一组过曝光视频帧和曝光不足视频帧。在判断为不存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S319。在判断为存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S314。在步骤S314中，CPU 11读出在步骤S306和S310中存储在DRAM 15中的一组过曝光视频帧和曝光不足视频帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR视频帧。在步骤S315中，CPU 11使用视频压缩电路19将步骤S314中所生成的HDR视频帧压缩编码成H.264格式等的视频数据。在步骤S316中，CPU 11将在步骤S315中压缩编码后的视频数据经由记录介质接口16记录在记录介质20中。在步骤S317中，CPU 11使用图像处理电路18来针对步骤S315中所生成的HDR视频帧进行对显示大小的调整大小处理等，并且生成电子取景器显示用数据。在步骤S318中，CPU 11使显示单元13显示步骤S317中所生成的显示用数据。也就是说，更新显示单元13上的实时取景图像。
在步骤S319中，CPU 11判断DRAM 15中所存储的静止图像处理标志是否被设置为TRUE。在判断为静止图像处理标志没有被设置为TRUE时，处理进入步骤S324。在判断为静止图像处理标志被设置为TRUE时，处理进入步骤S320。在步骤S320中，CPU 11读出在步骤S307和S311中存储在DRAM 15的缓冲器中的过曝光静止图像帧和曝光不足静止图像帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR静止图像帧。此时，使用接受到静止图像拍摄指示的帧和缓冲器中所存储的紧前帧来进行合成。在步骤S321中，CPU 11使用静止图像压缩电路21将步骤S320中所生成的HDR静止图像帧压缩编码成JPEG格式的静止图像数据。在步骤S322中，CPU11将在步骤S321中压缩编码后的静止图像数据经由记录介质接口16记录在记录介质20中。在步骤S323中，由于根据步骤S302中的静止图像拍摄指示的一系列静止图像处理结束，因此CPU 11将静止图像处理标志设置为FALSE(例如，0)并且将其存储在DRAM 15中。
在步骤S324中，CPU 11判断是否通过对操作单元14的视频记录按钮进行操作而输入了视频记录停止指示。在判断为没有输入视频记录停止指示时，CPU 11返回至步骤S302以继续下一视频帧的处理。在判断为输入了视频记录停止指示时，CPU 11结束HDR视频记录。
如上所述，在本实施例中，每次生成多个视频帧时，CPU 11生成相应的多个静止图像帧。缓冲器临时存储所生成的多个静止图像帧。在接受到静止图像拍摄指示时，CPU 11使用当前帧中所生成的静止图像帧和从缓冲器读出的紧前帧的静止图像帧。尽管处理负荷和电力消耗增加，但这样可以缩短此时的拍摄时滞。
在本实施例中，说明了将过曝光图像和曝光不足图像转换成YUV数据、然后进行合成以生成HDR图像的示例。然而，可以对从摄像单元输出的原始数据格式的过曝光图像和曝光不足图像进行合成，然后转换成YUV数据。
在本实施例中，说明了对过曝光图像和曝光不足图像这两个图像进行合成以生成HDR图像的示例。然而，可以增加要合成的图像的数量，并且例如可以对过曝光图像、曝光不足图像和适当曝光图像这三个图像进行合成以生成HDR图像。
第四实施例
摄像设备10可以通过对在改变曝光时间的情况下连续拍摄到的多个图像进行合成来生成并记录HDR视频。摄像设备10还可以在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示，并且在继续HDR视频记录的同时拍摄HDR静止图像。可以消除此时的拍摄时滞。
图9示出摄像设备10的操作定时的示例。摄像单元17在交替地改变曝光时间的情况下进行摄像。图像处理电路18重复地生成过曝光视频帧601和曝光不足视频帧602。在获得了一组过曝光视频帧和曝光不足视频帧的情况下，图像处理电路18对该过曝光视频帧和曝光不足视频帧进行合成并且生成扩大了动态范围的HDR视频帧603。视频压缩电路19对连续的HDR视频帧进行压缩编码并且将其作为HDR视频记录在记录介质20中。此时，与视频帧的生成同时，还重复地生成过曝光静止图像帧605和曝光不足静止图像帧606并且存储在DRAM 15的缓冲器中。此时，在DRAM 15中分配能够存储多达如下帧的缓冲器区域：为了在输入静止图像拍摄指示时生成显示单元13上所显示的HDR合成图像而使用的一组过曝光静止图像帧和曝光不足静止图像帧。在更新显示单元13上的实时取景显示的情况下，为了生成所显示的HDR合成图像而使用的一组过曝光静止图像帧和曝光不足静止图像帧变得不需要，因此可以被新生成的过曝光静止图像帧和曝光不足静止图像帧覆盖。
在HDR视频记录期间通过操作单元14的操作而接受到静止图像拍摄指示604时，图像处理电路18对一组过曝光静止图像帧和曝光不足静止图像帧进行合成并且生成扩大了动态范围的HDR静止图像帧507。此时，使用为了生成显示单元13上所显示的HDR合成图像而使用的并且存储在缓冲器中的一组过曝光静止图像帧和曝光不足静止图像帧来进行该合成。静止图像压缩电路21对该HDR静止图像帧进行压缩编码并将其作为HDR静止图像记录在记录介质20中。
与视频帧的生成同时，还如此重复地生成静止图像帧并且存储在缓冲器中。这样使得可以通过对与为了在接受到静止图像拍摄指示时生成所显示的HDR合成图像而使用的组相同的一组过曝光静止图像帧和曝光不足静止图像帧进行合成，来生成并记录HDR静止图像帧。尽管由于始终生成静止图像帧因此处理负荷和电力消耗增加、并且存储与为了生成正显示的HDR合成图像而使用的帧相同的帧所需的缓冲器容量也增加，但这样可以消除拍摄时滞。
图10示出摄像设备10的操作流程图。CPU 11控制各单元以实现图10所示的操作。在通过按下操作单元14的视频记录按钮而输入了HDR视频记录开始指示的情况下，图10所示的序列开始。在步骤S401中，CPU 11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。该曝光设置用于判断在后续序列中是拍摄过曝光图像还是拍摄曝光不足图像。在步骤S402中，CPU 11判断DRAM 15中所存储的曝光设置是过曝光设置还是曝光不足设置。在判断为该曝光设置是过曝光设置时，处理进入步骤S403。在判断为该曝光设置是曝光不足设置时，处理进入步骤S407。在步骤S403中，CPU 11使摄像单元17拍摄与适当曝光相比的过曝光图像。在步骤S404中，CPU 11使用图像处理电路18来针对步骤S403中所拍摄到的过曝光图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成过曝光视频帧，并且将该过曝光视频帧存储在DRAM 15中。在步骤S405中，CPU 11使用图像处理电路18来针对步骤S403中所拍摄到的过曝光图像进行向YUV数据的转换处理等，生成过曝光静止图像帧，并且将该过曝光静止图像帧存储在DRAM 15的缓冲器中。在步骤S406中，CPU 11将下一帧的曝光设置为曝光不足并且将该设置存储在DRAM 15中。之后，处理进入步骤S411。
在步骤S407中，CPU 11使摄像单元17拍摄与适当曝光相比的曝光不足图像。在步骤S408中，CPU 11使用图像处理电路18来针对步骤S407中所拍摄到的曝光不足图像进行向YUV数据的转换处理和对视频记录大小的调整大小处理等，生成曝光不足视频帧，并且将该曝光不足视频帧存储在DRAM 15中。在步骤S409中，CPU 11使用图像处理电路18来针对步骤S407中所拍摄到的曝光不足图像进行向YUV数据的转换处理等，生成曝光不足静止图像帧，并且将该曝光不足静止图像帧存储在DRAM 15的缓冲器中。在步骤S410中，CPU 11将下一帧的曝光设置为过曝光并且将该设置存储在DRAM 15中。之后，处理进入步骤S411。
在步骤S411中，CPU 11判断在步骤S404和S408中是否将过曝光视频帧和曝光不足视频帧存储在了DRAM 15中、并且是否存在完整的一组过曝光视频帧和曝光不足视频帧。在判断为不存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S417。在判断为存在完整的一组过曝光视频帧和曝光不足视频帧时，处理进入步骤S412。在步骤S412中，CPU 11读出在步骤S404和S408中存储在DRAM 15中的一组过曝光视频帧和曝光不足视频帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR视频帧。在步骤S413中，CPU 11使用视频压缩电路19将步骤S412中所生成的HDR视频帧压缩编码成H.264格式等的视频数据。在步骤S414中，CPU 11将在步骤S413中压缩编码后的视频数据经由记录介质接口16记录在记录介质20中。在步骤S415中，CPU 11使用图像处理电路18来针对步骤S412中所生成的HDR视频帧进行对显示大小的调整大小处理等，并且生成电子取景器显示用数据。在步骤S416中，CPU 11使显示单元13显示步骤S415中所生成的显示用数据。也就是说，更新显示单元13上的实时取景图像。
在步骤S417中，CPU 11判断是否用户通过对操作单元14的释放开关SW2进行操作而输入了静止图像拍摄指示。在判断为没有输入静止图像拍摄指示时，处理进入步骤S421。在判断为输入了静止图像拍摄指示时，处理进入步骤S418。在步骤S418中，CPU 11读出在步骤S405和S409中存储在DRAM 15的缓冲器中的过曝光静止图像帧和曝光不足静止图像帧并且使用图像处理电路18对这两者进行合成，由此生成扩大了动态范围的HDR静止图像帧。此时，使用与为了在接受到静止图像拍摄指示时生成显示单元13上所显示的HDR合成图像而使用的帧相同的一组过曝光静止图像帧和曝光不足静止图像帧。在步骤S419中，CPU 11使用静止图像压缩电路21将步骤S418中所生成的HDR静止图像帧压缩编码成JPEG格式的静止图像数据。在步骤S420中，CPU 11将在步骤S419中压缩编码后的静止图像数据经由记录介质接口16记录在记录介质20中。
在步骤S421中，CPU 11判断是否通过对操作单元14的视频记录按钮进行操作而输入了视频记录停止指示。在判断为没有输入视频记录停止指示时，CPU 11返回至步骤S402以继续下一视频帧的处理。在判断为输入了视频记录停止指示时，CPU 11结束HDR视频记录。
如上所述，在本实施例中，从缓冲器读出与作为在接受到静止图像拍摄指示的时间点时显示单元上所显示的HDR视频的基础的多个视频帧相对应的多个静止图像帧，并且进行合成，由此生成HDR静止图像帧。这样使得可以通过对与为了在接受到静止图像拍摄指示时生成显示单元13上所显示的HDR合成图像而使用的帧相同的一组过曝光静止图像帧和曝光不足静止图像帧进行合成，来生成并记录HDR静止图像帧。在HDR视频记录期间接受到静止图像拍摄指示的情况下，可以在继续HDR视频记录的同时记录HDR静止图像。另外，尽管处理负荷和电力消耗增加、并且所需的缓冲器容量也增加，但这样可以消除此时的拍摄时滞。
在本实施例中，说明了将过曝光图像和曝光不足图像转换成YUV数据、然后进行合成以生成HDR图像的示例。然而，可以对从摄像单元输出的原始数据格式的过曝光图像和曝光不足图像进行合成，然后转换成YUV数据。
在本实施例中，说明了对过曝光图像和曝光不足图像这两个图像进行合成以生成HDR图像的示例。然而，可以增加要合成的图像的数量，并且例如可以对过曝光图像、曝光不足图像和适当曝光图像这三个图像进行合成以生成HDR图像。
在上述的第一实施例至第四实施例中，在相对于HDR视频的生成的不同时刻生成HDR静止图像。由于所需的缓冲器容量、计算负荷和从HDR静止图像拍摄指示起直到HDR静止图像生成为止的时滞存在权衡关系，因此可选择根据实施例的处理其中之一。
其它实施例
还可以通过读出并执行记录在存储介质(例如，非瞬态计算机可读存储介质)上的计算机可执行指令以进行本发明的上述实施例中的一个或多个的功能的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能来进行上述方法。该计算机可以包括中央处理单元(CPU)、微处理单元(MPU)或其它电路中的一个或多个，并且可以包括单独计算机或单独计算机处理器的网络。例如可以从网络或存储介质将这些计算机可执行指令提供至计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算机系统的存储器、光盘(诸如致密盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM等)、闪速存储装置和存储卡等中的一个或多个。
尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。
本申请要求2013年9月12日提交的日本专利申请2013-189847的优先权，在此通过引用包含其全部内容。

Claims (9)

1.一种摄像设备，包括：
第一记录控制部件，用于进行如下处理：通过根据曝光条件不同的多个帧生成多个视频帧并对所述视频帧进行合成来生成具有高动态范围的HDR视频帧，并且将所述HDR视频帧作为HDR视频记录在记录介质中；
接受部件，用于在所述第一记录控制部件进行所述处理期间接受静止图像拍摄指示；以及
第二记录控制部件，用于在所述接受部件在所述第一记录控制部件进行所述处理期间接受到所述静止图像拍摄指示的情况下，通过在所述第一记录控制部件进行所述处理期间生成曝光条件不同的多个静止图像帧并对所述静止图像帧进行合成来生成具有高动态范围的HDR静止图像帧，并且将所述HDR静止图像帧作为HDR静止图像记录在记录介质中，
其特征在于，所述摄像设备具有如下模式，其中在该模式中：
所述第一记录控制部件根据包括第一曝光条件下所拍摄到的帧和第二曝光条件下所拍摄到的后续帧的多个帧来生成所述多个视频帧，以及
根据接受到所述静止图像拍摄指示，所述第二记录控制部件独立于为了生成所述HDR视频帧而使用的视频帧的组合，根据多个帧来生成所述多个静止图像帧。
2.根据权利要求1所述的摄像设备，其中，所述第一记录控制部件利用视频编码方法来对所述HDR视频进行编码，并且将所述HDR视频记录在所述记录介质中。
3.根据权利要求2所述的摄像设备，其中，所述视频编码方法是符合H.264的编码方法。
4.根据权利要求2所述的摄像设备，其中，所述视频编码方法是符合H.265的编码方法。
5.根据权利要求1所述的摄像设备，其中，所述第二记录控制部件利用静止图像编码方法来对所述HDR静止图像进行编码，并且将所述HDR静止图像记录在所述记录介质中。
6.根据权利要求5所述的摄像设备，其中，所述静止图像编码方法是符合JPEG的编码方法。
7.根据权利要求1所述的摄像设备，其中，与所述HDR视频相比，在所述HDR静止图像中，每帧的像素数更大。
8.根据权利要求1所述的摄像设备，其中，所述摄像设备具有所述第二记录控制部件进行不同的操作的多个模式，并且能够选择要使用所述多个模式中的哪一个模式来进行操作。
9.一种摄像设备的控制方法，包括以下步骤：
进行如下处理：通过根据曝光条件不同的多个帧生成多个视频帧并对所述视频帧进行合成来生成具有高动态范围的HDR视频帧，并且将所述HDR视频帧作为HDR视频记录在记录介质中；
在执行所述HDR视频的生成和记录期间接受静止图像拍摄指示；以及
在执行所述HDR视频的生成和记录期间接受到所述静止图像拍摄指示的情况下，通过在执行所述HDR视频的生成和记录期间生成曝光条件不同的多个静止图像帧并对所述静止图像帧进行合成来生成具有高动态范围的HDR静止图像帧，并且将所述HDR静止图像帧作为HDR静止图像记录在记录介质中，
其特征在于，生成所述HDR视频帧包括：根据包括第一曝光条件下所拍摄到的帧和第二曝光条件下所拍摄到的后续帧的多个帧来生成所述多个视频帧，以及
其中，生成所述HDR静止图像帧包括：根据接受到所述静止图像拍摄指示，独立于为了生成所述HDR视频帧而使用的视频帧的组合，根据多个帧来生成所述多个静止图像帧。
CN201480050201.0A 2013-09-12 2014-09-10 摄像设备及其控制方法 Active CN105531990B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013189847A JP6306845B2 (ja) 2013-09-12 2013-09-12 撮像装置及びその制御方法
JP2013-189847 2013-09-12
PCT/JP2014/074609 WO2015037742A1 (en) 2013-09-12 2014-09-10 Image capturing apparatus and method of controlling the same

Publications (2)

Publication Number Publication Date
CN105531990A CN105531990A (zh) 2016-04-27
CN105531990B true CN105531990B (zh) 2018-09-14

Family

ID=52665836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480050201.0A Active CN105531990B (zh) 2013-09-12 2014-09-10 摄像设备及其控制方法

Country Status (8)

Country Link
US (1) US10082723B2 (zh)
EP (1) EP3044949A4 (zh)
JP (1) JP6306845B2 (zh)
KR (1) KR101771408B1 (zh)
CN (1) CN105531990B (zh)
BR (1) BR112016002540A2 (zh)
RU (1) RU2642109C2 (zh)
WO (1) WO2015037742A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744711B2 (ja) * 2015-12-15 2020-08-19 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体
CN106034209B (zh) * 2016-04-08 2019-02-22 奇瑞汽车股份有限公司 获取视频的方法及装置
US11184596B2 (en) 2016-07-27 2021-11-23 Panasonic Intellectual Property Management Co., Ltd. Image processing device, reproduction device, image processing method, and reproduction method
WO2018021261A1 (ja) 2016-07-27 2018-02-01 パナソニックＩｐマネジメント株式会社 画像処理装置、再生装置、画像処理方法、および、再生方法
JP2018042200A (ja) * 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
JP2018042198A (ja) * 2016-09-09 2018-03-15 オリンパス株式会社 撮像装置及び撮像方法
CN109983754B (zh) 2016-11-17 2021-03-19 松下知识产权经营株式会社 图像处理装置、图像处理方法以及记录介质
CN107395967A (zh) * 2017-07-20 2017-11-24 深圳市欧唯科技有限公司 基于多曝光融合与回溯算法的图像处理方法及其系统
KR102650217B1 (ko) * 2017-12-07 2024-03-21 삼성전자주식회사 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP2019110471A (ja) * 2017-12-19 2019-07-04 キヤノン株式会社 撮像装置
JP2019193198A (ja) * 2018-04-27 2019-10-31 キヤノン株式会社 撮像装置
US11683464B2 (en) * 2018-12-28 2023-06-20 Canon Kabushiki Kaisha Electronic device, control method, and non-transitorycomputer readable medium
CN110012227B (zh) * 2019-04-09 2021-06-29 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN112166618B (zh) * 2019-04-29 2022-07-12 百度时代网络技术（北京）有限公司 自动驾驶系统、自动驾驶系统的传感器单元、用于操作自动驾驶车辆的计算机实现的方法
US11423224B2 (en) 2019-06-14 2022-08-23 Kyocera Document Solutions Inc. Image-to-text recognition for a sequence of images
JP7346094B2 (ja) * 2019-06-21 2023-09-19 キヤノン株式会社 撮像装置およびその制御方法
CN110996016A (zh) * 2019-12-11 2020-04-10 苏州新光维医疗科技有限公司 一种内窥镜图像色彩调整方法
CN111263079B (zh) * 2020-02-18 2021-06-15 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
KR20210140945A (ko) 2020-05-14 2021-11-23 삼성전자주식회사 멀티 카메라를 이용하여 화질 개선하는 전자 장치 및 방법
CN115776532B (zh) * 2021-09-07 2023-10-20 荣耀终端有限公司 一种录像中抓拍图像的方法及电子设备
US11785266B2 (en) 2022-01-07 2023-10-10 Getac Technology Corporation Incident category selection optimization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902581A (zh) * 2009-03-31 2010-12-01 索尼株式会社 用于产生高动态范围图像和视频帧的方法和单元
CN101990067A (zh) * 2009-07-30 2011-03-23 奥林巴斯映像株式会社 照相机和照相机的控制方法
CN102724400A (zh) * 2011-03-28 2012-10-10 佳能株式会社 图像处理设备及其控制方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0797841B2 (ja) 1987-06-09 1995-10-18 キヤノン株式会社 撮像装置
JP3992659B2 (ja) 2003-08-08 2007-10-17 三洋電機株式会社 撮像装置
KR100790160B1 (ko) * 2006-10-09 2008-01-02 삼성전자주식회사 동영상 녹화 중에 정지영상 촬영 방법 및 장치
JP5224955B2 (ja) 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
JP5432799B2 (ja) * 2010-03-30 2014-03-05 オリンパスイメージング株式会社 撮像装置、撮像システム、撮像方法
US8446484B2 (en) 2010-04-21 2013-05-21 Nokia Corporation Image processing architecture with pre-scaler
JP2012050073A (ja) * 2010-07-30 2012-03-08 Nikon Corp 撮像装置及び画像合成プログラム
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
JP5355664B2 (ja) * 2011-11-14 2013-11-27 キヤノン株式会社 デジタルカメラ及びその制御方法
KR101905621B1 (ko) 2012-02-16 2018-10-11 삼성전자 주식회사 카메라의 프레임 이미지 전송 장치 및 방법
JP5854984B2 (ja) * 2012-02-20 2016-02-09 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
KR101193414B1 (ko) * 2012-03-23 2012-10-24 뉴비전엔지니어링(주) 지피에스 및 아이엔에스 정보가 적용된 수치지도의 부분 수정 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101902581A (zh) * 2009-03-31 2010-12-01 索尼株式会社 用于产生高动态范围图像和视频帧的方法和单元
CN101990067A (zh) * 2009-07-30 2011-03-23 奥林巴斯映像株式会社 照相机和照相机的控制方法
CN102724400A (zh) * 2011-03-28 2012-10-10 佳能株式会社 图像处理设备及其控制方法

Also Published As

Publication number Publication date
US10082723B2 (en) 2018-09-25
CN105531990A (zh) 2016-04-27
EP3044949A1 (en) 2016-07-20
US20160227092A1 (en) 2016-08-04
KR20160053987A (ko) 2016-05-13
RU2642109C2 (ru) 2018-01-24
JP6306845B2 (ja) 2018-04-04
KR101771408B1 (ko) 2017-08-25
JP2015056807A (ja) 2015-03-23
EP3044949A4 (en) 2017-04-26
WO2015037742A1 (en) 2015-03-19
BR112016002540A2 (pt) 2017-08-01
RU2016113690A (ru) 2017-10-17

Similar Documents

Publication Publication Date Title
CN105531990B (zh) 摄像设备及其控制方法
CN101841651B (zh) 图像处理装置、摄像装置以及图像处理方法
JP4154400B2 (ja) 撮像装置及びその制御方法及びプログラム
CN102984462B (zh) 摄像装置
CN110381263A (zh) 图像处理方法、装置、存储介质及电子设备
CN102131056A (zh) 摄像装置和摄像方法
JP2006067464A (ja) デジタルカメラ
CN101742336B (zh) 图像处理装置以及图像处理方法
JP2010074634A (ja) 撮像装置及び撮像方法
JP2000261715A (ja) 画像合成装置
CN111953871B (zh) 电子设备、电子设备的控制方法和计算机可读介质
JP2010124412A (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
JP2003345340A (ja) 画像表示制御装置
JP4647518B2 (ja) 撮影装置
JP2007188157A (ja) バーコード及び撮像装置
CN105794193B (zh) 摄像设备及其控制方法
JP2010119051A (ja) 撮像装置及び撮像方法
JP2006180366A (ja) 立体視画像生成装置および方法並びにプログラム
JP5191941B2 (ja) 撮像装置、画像処理装置、画像処理方法、および、画像処理プログラム
JP2006254278A (ja) 撮影装置
JP5111023B2 (ja) 撮像装置及びその制御方法
JP4819859B2 (ja) 撮像装置及び画像処理方法
JP4757828B2 (ja) 画像合成装置、撮影装置、画像合成方法及び画像合成プログラム
JP2010114708A (ja) カメラ装置、及び撮影方法、撮影制御プログラム
JP2008197763A (ja) 撮影装置および方法並びにプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant