CN109417592B - 拍摄装置、拍摄方法及拍摄程序 - Google Patents

拍摄装置、拍摄方法及拍摄程序 Download PDF

Info

Publication number
CN109417592B
CN109417592B CN201680087151.2A CN201680087151A CN109417592B CN 109417592 B CN109417592 B CN 109417592B CN 201680087151 A CN201680087151 A CN 201680087151A CN 109417592 B CN109417592 B CN 109417592B
Authority
CN
China
Prior art keywords
image
resolution
subject
unit
causes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680087151.2A
Other languages
English (en)
Other versions
CN109417592A (zh
Inventor
清水宏
石山明
吉泽和彦
桥本康宣
铃木基之
渡边光信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Priority to CN202011400624.4A priority Critical patent/CN112565622B/zh
Publication of CN109417592A publication Critical patent/CN109417592A/zh
Application granted granted Critical
Publication of CN109417592B publication Critical patent/CN109417592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10144—Varying exposure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Cameras In General (AREA)

Abstract

一种拍摄装置，包括：影像输入部，其拍摄被摄体，并生成被摄体的图像信号；影像信号处理部，其基于图像信号来生成被摄体的拍摄图像；以及控制部，其基于图像信号来检测被摄体的运动信息，基于运动信息使影像输入部改变曝光量来多次拍摄被摄体，使影像信号处理部基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。

Description

拍摄装置、拍摄方法及拍摄程序
技术领域
本发明涉及一种拍摄装置、拍摄控制方法及拍摄程序，尤其涉及将通过改变多个照相机的曝光量而拍摄的图像合成来生成HDR(High Dynamic Range，高动态范围)合成图像的拍摄装置、拍摄控制方法及拍摄程序。
背景技术
利用例如CCD(Charge Coupled Device，电荷耦合器件)等的电子器件将被摄体像转换为电信号，并将转换成的电信号记录在存储器中的数字照相机急剧普及。此外，最近搭载有数字照相机的便携式电话、智能手机、平板终端等的信息终端机器也广泛普及。
由于数字照相机等所使用的拍摄元件与胶片相比动态范围非常狭窄，因此根据拍摄条件的不同，存在产生所谓暗部缺失、高光溢出，从而图像质量显著劣化的情况。为了消除这样的缺点，HDR合成功能受到关注，该HDR合成功能是如下功能：通过在改变曝光的同时拍摄多张图像，在将这些图像合成时，从曝光时间长的图像中提取暗部，并从曝光时间短的图像中提取亮部，从而获得高光溢出、暗部缺失得到抑制的、宽广的动态范围。
例如专利文献1公开了一种影像生成装置，该影像生成装置具有2个拍摄元件，其中一个拍摄元件以高分辨率拍摄曝光量小的图像，另一个拍摄元件以低分辨率通过缩短曝光时间来拍摄曝光量大的图像，由此制成减少了因手抖动等而引起的噪声的HDR合成图像。
现有技术文献
专利文献
专利文献1：日本特开2007－336561号公报
发明内容
然而，专利文献1所记载的技术的目的在于通过缩短拍摄曝光量多的图像时的曝光时间，来减少手抖动等的噪声，但其并未考虑用于获得与被摄体的运动、亮度、手抖动等的拍摄环境相适应的、更好的图像质量的HDR合成方法。此外，也未谈及有效地利用2个拍摄元件的方法。
于是，本发明的目的在于提供生成与拍摄环境相对应的高品质的HDR合成图像的拍摄装置、拍摄控制方法及程序。
用于解决问题的手段
以下是对在本申请中公开的发明之中的代表性的发明的概况的简单说明。
本发明的代表性的实施方式中的拍摄装置包括：影像输入部，其拍摄被摄体，并生成被摄体的图像信号；影像信号处理部，其基于图像信号来生成被摄体的拍摄图像；以及控制部，其基于图像信号来检测被摄体的运动信息，基于运动信息使影像输入部改变曝光量来多次拍摄被摄体，使影像信号处理部基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。
发明的效果
以下是对在本申请中公开的发明之中的代表性的发明所获得的效果的简单说明。
即，根据本发明的代表性的实施方式，能够提供生成与拍摄环境相对应的高品质的HDR合成图像的拍摄装置、拍摄控制方法及程序。
附图说明
图1是示出本发明的实施方式1所涉及的拍摄装置100的一例的外观图。
图2是示出本发明的实施方式1所涉及的拍摄装置的结构的一例的框图。
图3是示出本发明的实施方式1所涉及的拍摄装置的结构的一例的框图。
图4是示出本发明的实施方式1所涉及的影像信号处理部和影像输入部的结构的一例的框图。
图5是本发明的实施方式1的拍摄方法所涉及的流程图。
图6是示出本发明的实施方式1所涉及的运动信息检测步骤、拍摄步骤、拍摄图像生成步骤等中的处理的一例的流程图。
图7是示出本发明的实施方式1所涉及的运动信息检测步骤、拍摄步骤、拍摄图像生成步骤等中的处理的一例的流程图。
图8是示出与本发明的实施方式1所涉及的拍摄相关的时序图的图。
图9是示意性示出本发明的实施方式1所涉及的HDR合成处理的图。
图10是示意性示出本发明的实施方式1所涉及的HDR合成处理的图。
图11是示意性示出本发明的实施方式1所涉及的HDR合成处理的图。
图12是示出本发明的实施方式2所涉及的拍摄装置的结构的一例的框图。
图13是示出本发明的实施方式2所涉及的拍摄装置的结构的一例的框图。
图14是本发明的实施方式2的拍摄方法所涉及的流程图。
图15是本发明的实施方式2的拍摄方法所涉及的流程图。
图16是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。
图17是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。
图18是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。
附图标记的说明
100：拍摄装置；101：主控制部；104a：基本动作执行部；104b：照相机功能执行部；110a：基本动作程序存储区域；110b：照相机功能程序存储区域；120：影像输入部；123：第1影像输入部；123b：第1拍摄元件；124：第2影像输入部；124b：第2拍摄元件；165：光量传感器；224：第2影像输入部；224b：第2拍摄元件；228：分辨率转换部
具体实施方式
以下使用附图来说明本发明的实施方式的示例。另外，以下说明的实施方式是用于实现本发明的一例，可以根据适用本发明的装置的结构或各种条件而适当地修正或变更，本发明不限于以下的实施方式。此外，也可以将后述的各实施方式的一部分适当地组合来构成。
(实施方式1)
图1是示出本发明的实施方式1所涉及的拍摄装置的外观的一例的图，图1(A)是拍摄装置的俯视图，图1(B)是拍摄装置100的后视图。图2是示出本发明的实施方式1所涉及的拍摄装置的结构的一例的框图。图3是示出本发明的实施方式1所涉及的拍摄装置的软件结构的一例的图。
虽然图1例示了搭载在智能手机中的拍摄装置，但除此之外，拍摄装置也可以搭载在例如便携式电话、平板终端等的PDA(Personal digital assistans，个人数字助理)、笔记本式PC(Personal Computer，个人计算机)等的信息处理装置上。此外，拍摄装置也可以由数字静止照相机(digital still camera)构成。
如图1、图2所示，拍摄装置100包括主控制部(控制部)101、系统总线102、存储器部104、储存器部110、影像处理部120、声音处理部130、操作部140、通信处理部150、传感器部160、扩展接口部170、显示部121等。
系统总线102是将拍摄装置100的各结构要素相连的数据通信路径。在主控制部101与拍摄装置100内的各部分之间，借由系统总线102来实施数据的输出输入。
储存器部110例如由闪速ROM(Read Only Memory，只读存储器)、SSD(Solid StateDrive，固态驱动)、HDD(Hard Disc Drive，硬盘驱动)等非易失性存储器构成，即使在拍摄装置100未通电的状态下也能够存储信息。
例如如图3所示，储存器部110包括基本动作程序存储区域100a、照相机功能程序存储区域110b、声音辨识程序存储区域110c、时间通知程序存储区域110d、其他程序存储区域110e以及各种信息/数据存储区域110f等，所述基本动作程序存储区域100a存储使得执行拍摄装置100的基本动作的基本动作程序，所述照相机功能程序存储区域110b存储使得实现照相机功能的照相机功能程序，所述声音辨识程序存储区域110c存储使得实现声音辨识功能的声音辨识程序，所述时间通知程序存储区域110d存储使得实现时间通知功能的时间通知程序，所述其他程序存储区域110e存储其他程序等，所述各种信息/数据存储区域110f存储拍摄装置100的动作设定值、用户信息等各种信息。
此外，储存器部110将拍摄装置100所拍摄的拍摄图像、运动图像、后述的HDR合成图像、它们的缩略图等存储在例如各种信息/数据存储区域110f中。此外，储存器部110将从因特网上的应用服务器下载的新的应用程序存储在例如其他程序存储区域110e中。
此外，储存器部110存储作为用于判定后述的被摄体的运动时的基准的第1运动阈值、比第1运动阈值大的第2运动阈值。这些运动阈值通过例如实验等而适当地设定。
在存储器部104中展开储存器部110的各部分所存储的各种程序。若各种程序被主控制部101执行，则在存储器部104中构成实现各个程序的功能的各种执行部。例如若基本动作程序存储区域100a所存储的基本动作程序展开在存储器部104中，则在存储器部104中构成实现拍摄装置100的基本动作的基本动作执行部104a。此外，若照相机功能程序存储区域100b所存储的照相机功能程序展开在存储器部104中，则在存储器部104中构成实现照相机功能的照相机功能执行部104b。此外，若声音辨识功能程序存储区域100c所存储的声音辨识功能程序展开在存储器部104中，则在存储器部104中构成实现声音辨识功能的声音辨识功能执行部104c。此外，若时间通知功能程序存储区域100b所存储的时间通知功能程序展开在存储器部104中，则在存储器部104中构成实现时间通知功能的时间通知功能执行部104d。此外，根据需要，存储器部104可以具有临时存储数据的临时存储区域105e等。
另外，基本动作执行部104a、照相机功能执行部104b、声音辨识功能执行部104c、时间通知功能执行部104d等各部分可以由具有与这些各部分相同的功能的硬件构成。此外，存储器部104可以与主控制部101一体地构成。
如图1(A)所示，显示部121设置于设置有第3影像输入部125的拍摄装置100的表面100a。显示部121为例如液晶面板、有机EL(Electro Luminescence，电致发光)面板等显示器件，显示由影像信号处理部122处理的后述的HDR合成图像、合成前的拍摄图像、运动图像、缩略图等。
声音处理部130包括声音输出部131、声音信号处理部132、声音输入部133。声音输出部131为扬声器，例如如图1(A)所示，设置于拍摄装置100的表面100a的显示部121的周边部。声音输出部131基于声音信号处理部132所处理的声音信号来发出声音。声音输入部133为麦克风，例如如图1(A)、图1(B)所示，设置于作为拍摄装置100的侧面的、相对于显示部121而与声音输出部131相反的一侧。声音输入部133接受拍摄装置100的用户等的声音的输入，并将输入的声音转换为声音信号。声音输入部133将输入的声音信号输出到声音信号处理部132。另外，声音输入部133也可以与拍摄装置100分立构成，在这种情况下，声音输入部133与拍摄装置100也可以通过有线通信或无线通信相连。
操作部140是对拍摄装置100输入操作指示的指示输入部。在本实施方式中，例如如图1(A)、图1(B)所示，包括与显示部121重叠配置的触摸面板140a、设置于拍摄装置100的侧面的操作键140b、设置于拍摄装置100的表面100a的显示部121的附近的操作键140c。但是，并非必须包括所有这些，而是只要包括它们中的任意一者即可。此外，触摸面板140a也可以与显示部121一体地构成。此外，操作部140也可以由与后述的扩展接口部170相连的未图示的键盘等构成。此外，操作部140也可以由借由有线通信或无线通信而连接的分立的信息终端机器构成。
通信处理部150例如包括LAN(Local Area Network，局域网)通信部151、移动电话网络通信部152、近距离无线通信部153。LAN通信部151例如借由经由因特网的无线通信用接入点而连接的无线通信来进行数据的发送接收。移动电话网络通信部152与移动电话通信网络的基站相连，借由经由基站的无线通信来进行电话通信(通话)和数据的发送接收。近距离无线通信部153与和近距离无线相对应的读取器/写入器之间进行数据的发送接收。LAN通信部151、移动电话网络通信部152、近距离无线通信部153包括例如未图示的编码电路、解码电路、天线等各种装置。此外，通信处理部150也可以包括实施红外线通信的红外线通信部等。
传感器部160是检测拍摄装置100的状态的传感器组。在本实施方式中，传感器部160例如包括GPS(Global Positioning System，全球定位系统)接收部161、加速度传感器162、陀螺仪传感器163、地磁传感器164、光量传感器165、近距离传感器166。另外，传感器部160也可以包括除此之外的传感器。
GPS接收部161接收利用GPS从多个卫星发送的GPS信号。GPS接收部161所接收的GPS信号输出到例如主控制部101，在主控制部101中，基于GPS信号来检测拍摄装置100的位置。
加速度传感器162测量施加到拍摄装置100的加速度(例如重力加速度)的大小、方向。加速度传感器部133所测量的加速度的大小、方向的测量值被作为加速度信息输出到主控制部101，在主控制部101中，基于加速度信息来检测施加到拍摄装置100的加速度。
陀螺仪传感器163测量在使用者移动了拍摄装置100的情况下等产生的拍摄装置100的角速度。陀螺仪传感器部163所测量的角速度例如被作为角速度信息输出到主控制部101。在主控制部101中，基于角速度信息来检测拍摄装置100的角速度。
地磁传感器164测量施加到拍摄装置100的地磁的大小、方向。地磁传感器164所测量的地磁的大小、方向的测量值被作为地磁信息输出到主控制部101。在主控制部101中，基于地磁信息来检测施加到拍摄装置100的地磁。
光量传感器165测量拍摄装置100的周围的亮度。例如在拍摄被摄体时，光量传感器165测量被摄体周边的光量。光量传感器165所测量的光量的测量值被作为光量信息输出到主控制部101。在主控制部101中，基于光量信息来检测拍摄装置100的周围的光量。
近距离传感器166测量拍摄装置100与周围的物体的近距离状况。近距离传感器166例如测量拍摄装置100与周围的物体之间的距离、方向。近距离传感器166所检测的近距离状况的测量值被作为近距离状况信息输出到主控制部101。在主控制部101中，基于近距离状况信息，来检测拍摄装置100与周围的物体的近距离状况。
扩展接口部170是用于扩展拍摄装置100的功能的接口组。扩展接口部170例如包括影像/声音接口171、USB(Universal Serial Bus，通用串行总线)接口172、存储器接口173。
影像/声音接口171与外部的影像/声音输出机器相连，接受从影像/声音输出机器输出的影像信号/声音信号的输入。此外，影像/声音接口171进行对影像/声音输入机器的影像信号/声音信号的输出等。USB接口172与键盘等USB机器相连，与USB机器之间进行信息的输入输出。存储器接口173与存储卡等存储介质相连，与存储介质之间进行数据的输入输出。
接下来，对影像输入部120、影像信号处理部122进行说明。图4是示出本发明的实施方式1所涉及的影像输入部和影像信号处理部的结构的一例的框图。另外，在图4中，省略了第3影像输入部125。
例如如图2、图4所示，影像输入部120包括第1影像输入部123、第2影像输入部124、第3影像输入部125、曝光控制部126。例如如图1(B)所示，第1影像输入部123和第2影像输入部124并排设置在拍摄装置100的背面100b。如图1(A)所示，第3影像输入部125设置在拍摄装置100的表面100a的显示部121的附近。
另外，虽然在图1(B)中第1影像输入部123和第2影像输入部124设置在拍摄装置100的背面100b，但是也可以设置在例如拍摄装置100的表面100a。此外，第1影像输入部123和第2影像输入部124也可以一体地构成。
例如如图4所示，第1影像输入部123包括第1拍摄光学系统123a和第1拍摄元件123b。例如如图4所示，第2影像输入部124包括第2拍摄光学系统124a和第2拍摄元件124b。
第1拍摄光学系统123a和第2拍摄光学系统124a例如包括将来自被摄体的入射光集光的多个透镜、光圈(可变光圈(Iris diaphragm)等)、机械式或电子式的快门等。第1拍摄元件123b和第2拍摄元件124b例如由CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等构成。
第1影像输入部123和第2影像输入部124拍摄被摄体并生成被摄体的图像信号。具体而言，在第1拍摄元件123b的各个像素中，通过将来自第1拍摄光学系统123a的光作为电荷积累起来，来将输入光转换为电信号。此外，在第2拍摄元件124b的各个像素中，也通过将来自第2拍摄光学系统124a的光作为电荷积累起来，来将输入光转换为电信号。由此，在第1拍摄元件123和第2拍摄元件124中，生成作为图像信号的电信号。
在本实施方式中，第1拍摄元件123b是第1分辨率(高分辨率)的拍摄元件，第2拍摄元件124b是分辨率为比第1拍摄元件123b低的第2分辨率(低分辨率)的拍摄元件。
曝光控制部126基于来自主控制部101的指示，设定第1拍摄光学系统123a和第2拍摄光学系统124a的光圈、快门速度，并控制输入到第1拍摄元件123b和第2拍摄元件124b的曝光量。
影像信号处理部122基于图像信号来生成被摄体的拍摄图像。例如如图4所示，影像信号处理部122包括第1图像处理部122a、第2图像处理部122b、图像合成部122c、图像输出部122d。
第1图像处理部122a与第1拍摄元件123b相连，将从第1拍摄元件123b输出的电信号(图像信号)转换为具有规定的比特位(bit)的灰阶宽度的数字图像数据。然后，第1图像处理部122a对数字图像数据进行图像处理，从而生成适于HDR图像合成的中间图像数据。第1图像处理部122a将生成的中间图像数据输出到图像合成部122c。此外，第1图像处理部122a将合成前的拍摄图像输出到储存器部110。
第2图像处理部122b与第2拍摄元件124b相连，将从第2拍摄元件124b输出的电信号(图像信号)转换为具有规定的比特位的灰阶宽度的数字图像数据。然后，第2图像处理部122b对数字图像数据进行图像处理，从而生成适于HDR图像合成的中间图像数据。第2图像处理部122b将生成的中间图像数据输出到图像合成部122c。此外，第2图像处理部122b将合成前的拍摄图像输出到储存器部110。
图像合成部122c将从第1图像处理部122a和第2图像处理部122b输入的中间图像数据合成，来生成作为拍摄图像的HDR合成图像。图像合成部122c将生成的HDR合成图像输出到储存器部110。
图像输出部122d将图像合成部122c所生成的HDR合成图像、合成前的拍摄图像、运动图像、它们的缩略图等输出到显示部121并使显示部121显示。
例如如图1(B)所示，闪光部129与拍摄装置100的背面100b的第1影像输入部123、第2影像输入部124相邻地设置。闪光部129例如在第1影像输入部123、第2影像输入部124进行拍摄时，向被摄体照射闪光。
主控制部(控制部)101由微处理器单元等计算机构成。主控制部101通过执行在存储器部104中构成的各执行部100a～100d，来实现各程序的功能，从而使拍摄装置100的各结构要素动作。
主控制部101基于影像输入部120所生成的图像信号来检测被摄体的运动信息。此外，主控制部101基于运动信息，使影像输入部120改变曝光量来多次拍摄被摄体。具体而言，主控制部101将运动信息与第1运动阈值和第2运动阈值相比较，基于其结果来切换到后述的各拍摄模式从而使得拍摄被摄体。此外，主控制部101基于图像信号或拍摄图像，来生成与第1影像输入部123和第2影像输入部124相关的曝光量、快门速度、光圈等曝光信息。主控制部101输出到影像输入部120。此外，主控制部101使影像信号处理部122基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。
接下来，对本实施方式所涉及的拍摄方法进行说明。在本实施方式中，例如如图3所示的照相机功能程序110b等各种程序被展开在存储器部104中，主控制部101通过执行照相机功能执行部104b等各执行部，来实施拍摄所涉及的动作。
图5是本发明的实施方式1所涉及的拍摄方法的流程图。如图5所示，在拍摄时，实施影像输入步骤S10、运动信息检测步骤S20、拍摄步骤S30、HDR合成图像生成步骤S40。
若从操作部140发出了拍摄的指示，则开始被摄体的拍摄所涉及的动作。在影像输入步骤S10中，影像输入部120拍摄被摄体，并生成被摄体的图像信号。第1影像输入部123和第2影像输入部124拍摄被摄体，在第1拍摄元件123b和第2拍摄元件124b中生成作为图像信号的电信号。第1拍摄元件123b将生成的电信号输出到影像信号处理部122的第1图像处理部122a，第2拍摄元件124b将生成的电信号输出到影像信号处理部122的第2图像处理部122b。另外，在此说明了第1影像输入部123和第2影像输入部124两者拍摄被摄体的情况，但也可以仅由任意一个影像输入部来拍摄被摄体。然后，转移到运动信息检测步骤S20。
图6和图7是示出本发明的实施方式1所涉及的运动信息检测步骤、拍摄步骤、拍摄图像生成步骤等中的处理的一例的流程图。在运动信息检测步骤S20中，主控制部101基于图像信号来检测被摄体的运动信息。具体而言，影像信号处理部122的第1图像处理部122a将从第1拍摄元件123b输出的电信号输出到主控制部101。影像信号处理部122的第2图像处理部122b将从第2拍摄元件124b输出的电信号输出到主控制部101。另外，第1图像处理部122a、第2图像处理部122b也可以基于电信号来生成拍摄图像，并将生成的拍摄图像输出到主控制部101。
主控制部101基于输入的这些电信号(图像信号)来检测被摄体的运动信息(例如运动矢量)。主控制部101针对这些图像信号，使用公知的块匹配法(Block matchingmethod)等来检测被摄体的运动矢量。另外，主控制部101也可以基于输入的拍摄图像来检测被摄体的运动信息。然后，转移到拍摄步骤S30。
在拍摄步骤S30中，影像输入部120基于在运动信息检测步骤S20中检测的运动信息，改变曝光量来多次拍摄被摄体。在拍摄步骤S30中，首先实施步骤S102。在步骤S102中，基于运动信息来判定被摄体的运动。具体而言，主控制部101通过将在运动信息检测步骤S20中检测的运动矢量与第1运动阈值和第2运动阈值相比较，来判定被摄体的运动。详细来说，主控制部101将在储存器部110中存储的第1运动阈值和第2运动阈值读出到存储器104，将运动矢量与第1运动阈值和第2运动阈值相比较。
[静止图像拍摄模式]
在步骤S102中，主控制部101在判定为运动矢量小于第1运动阈值的情况下，实施步骤S113。即，主控制部101判断为被摄体基本不动，并切换到静止图像拍摄模式。
图8是示出与本发明的实施方式1所涉及的拍摄相关的时序图的图。图9是示意性示出本发明的实施方式1所涉及的HDR合成处理的图。在步骤S113中，例如如图8(A)所示，第1影像输入部123改变曝光量来连续地拍摄被摄体。具体而言，主控制部101基于从第1拍摄元件123b或第2拍摄元件124b输出的电信号(图像信号)，决定各个拍摄中的曝光量(例如快门速度、光圈值等)。例如如图8(A)所示，主控制部101将第1次拍摄中的曝光量设定为低照度侧的暗的部分不会发生暗部缺失的曝光量LA0，并将第2次拍摄中的曝光量设定为例如高照度侧的亮的部分不会发生高光溢出的、比LA0少的曝光量LA1(LA0>LA1)。主控制部101将与决定的曝光量相关的信息作为曝光信息输出到影像输入部120。在影像输入部120中，基于输入的曝光信息，第1影像输入部123在第1次拍摄中以1曝光量LA0来拍摄被摄体，在第2次拍摄中以曝光量LA1来拍摄被摄体。
第1拍摄元件123b在每次拍摄被摄体时，生成与例如如图9所示的拍摄图像相关的电信号。第1拍摄元件123b在每次拍摄被摄体时，生成例如如图9所示的曝光量LA0的电信号(A0)、曝光量LA1的电信号(A1)，将生成的电信号(A0、A1)输出到影像信号处理部122的第1图像处理部122a。另外，在此，列举了改变曝光量并两次拍摄被摄体的情况，但也可以例如3次或更多次拍摄被摄体。
另一方面，第2影像输入部124例如拍摄被摄体的运动图像(Bm)。此外，第2影像输入部124例如也可以通过变更光圈值来改变景深，拍摄被摄体。第2拍摄元件124b将与运动图像等相关的图像信号输出到影像信号处理部122的第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，实施步骤S114。在步骤S114中，基于在步骤S113中生成的、曝光量不同的多个图像信号(A0、A1)，来生成第1分辨率的HDR合成图像。具体而言，影像信号处理部122的第1图像处理部122a将从第1拍摄元件123b输入的电信号(A0、A1)的各个转换成具有规定的比特位的灰阶宽度的数字图像数据。然后，第1图像处理部122a对各个数字图像数据进行图像处理，从而生成适于HDR图像合成的各个中间图像数据。然后，第1图像处理部122a将各个中间图像数据输出到图像合成部122c。此外，第1图像处理部122a基于电信号(A0、A1)，来生成各个合成前的拍摄图像。此外，第1图像处理部122a生成与合成前的拍摄图像中的各个相对应的缩略图。
第2图像处理部122b基于从第2影像输入部124输入的图像信号来生成运动图像，或者，生成改变了景深的拍摄图像。此外，第2图像处理部122b生成与生成的运动图像、拍摄图像中的各个相对应的缩略图。
图像合成部122c通过将从第1图像处理部122a输入的各个中间图像数据加权合成，来生成例如如图9所示的第1分辨率(高分辨率)的HDR合成图像(拍摄图像)(A0+A1)。这样生成的HDR合成图像(A0+A1)消除了暗的部分的暗部缺失或亮的部分的高光溢出，成为了与用户通过肉眼看到的景色相近的图像。此外，图像合成部122c生成与生成的HDR合成图像相对应的缩略图。
另外，也可以由第1图像处理部122a和第2图像处理部122b将高分辨率的图像信号转换为低分辨率的图像信号，由图像合成部122c生成低分辨率的HDR合成图像。然后，转移到步骤S115。
在步骤S115中，将在步骤S114中生成的HDR合成图像、合成前的拍摄图像、运动图像、缩略图等存储在储存器部110中。具体而言，图像合成部122c将生成的HDR合成图像(A0+A1)、缩略图输出到储存器部110，储存器部110存储输入的HDR合成图像(A0+A1)、缩略图。此外，第1图像处理部122a、第2图像处理部122b将合成前的拍摄图像、运动图像、缩略图输出到储存器部110，储存器部110存储输入的合成前的拍摄图像、运动图像、缩略图。若实施了这些处理，则结束HDR合成图像生成步骤S40的处理，并转移到步骤S104。后文描述步骤S104。
[微动拍摄模式]
图10、图11是示意性示出本发明的实施方式1所涉及的HDR合成处理的图。在拍摄步骤S30的步骤S102中，主控制部101在判定为运动矢量大于或等于第1运动阈值的情况下，实施步骤S123或步骤S133。详细来说，主控制部101在判定为运动矢量大于或等于第1运动阈值且小于或等于第2运动阈值的情况下，实施步骤S123。即，主控制部101判断为虽然被摄体与静止图像拍摄模式相比运动较大，但与后述的运动物体拍摄模式相比运动较小，切换到微动拍摄模式。
在步骤S123中，主控制部101使第1影像输入部123和第2影像输入部124改变曝光量来同时拍摄被摄体，然后使第2影像输入部124改变曝光量来拍摄被摄体。具体而言，例如如图8(B)所示，主控制部101将第1影像输入部123的拍摄中的曝光量设定为低照度侧的暗的被摄体不会发生暗部缺失的曝光量LA0。换言之，第1影像输入部123以适当的曝光来拍摄被摄体。另外，在此所说的适当的曝光是指以充足的曝光量来拍摄低照度侧的暗的被摄体。此外，主控制部101将第2影像输入部124进行的第1次拍摄中的曝光量设定为例如低照度侧发生暗部缺失曝光量与高照度侧发生高光溢出的曝光量之间的曝光量LB0，将第2影像输入部124进行的第2次拍摄中的曝光量设定为例如亮的部分不会发生高光溢出的、比LB0少的曝光量LA1(LA0>LB0>LB1)。
此外，由于第2拍摄元件124b的分辨率比第1拍摄元件123b低，因此第2影像输入部124即使用比第1影像输入部123短的拍摄时间(快的快门速度)也能够获得相同的曝光量。据此，第2影像输入部124中的拍摄间隔(时间差)能够比第1影像输入部123更短，因此能够将在进行了HDR合成处理时由被摄体的微动而引起的噪声的发生抑制得更低。
主控制部101将与决定的曝光量相关的信息作为曝光信息输出到影像输入部120。在影像输入部120中，基于输入的曝光信息，第1影像输入部123以曝光量LA0来拍摄被摄体，第2影像输入部124在第1次拍摄中以曝光量LB0来拍摄被摄体，在第2次拍摄中以曝光量LB1来拍摄被摄体。
第1拍摄元件123b生成例如如图10(A)所示的曝光量LA0的电信号(A0)，将生成的电信号(A0)输出到影像信号处理部122的第1图像处理部122a。
第2拍摄元件124b在每次拍摄被摄体时，生成例如如图10(A)所示的曝光量LB0的电信号(B0)、曝光量LB1的电信号(B1)，将生成的电信号(B0、B1)输出到影像信号处理部122的第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，首先实施步骤S124。在步骤S124中，转换在步骤S123中生成的电信号的拍摄图像的分辨率。具体而言，主控制部101使影像信号处理部122将第1影像输入部123所生成的图像信号的分辨率转换为第2分辨率，将第2影像输入部124所生成的图像信号的分辨率转换为第1分辨率。
详细来说，主控制部101使第1图像处理部122a将第1拍摄元件123b所生成的电信号(A0)的分辨率从第1分辨率转换为第2分辨率，使第2图像处理部122b将第2拍摄元件124b所生成的电信号(B0)的分辨率从第2分辨率转换为第1分辨率。更详细来说，第1图像处理部122a对第1分辨率的电信号(A0)实施分辨率转换，生成如图10(B)所示的第2分辨率的电信号(A0d)。第2图像处理部122b通过对第2分辨率的电信号(B0)实施分辨率转换，例如实施插值处理等处理，来生成如图10(A)所示的第1分辨率的电信号(B0u)。然后，转移到步骤S125。
在步骤S125中，基于在步骤S124中生成的多个图像信号(A0、B0、B1、A0d、B0u)，来生成第1分辨率的HDR合成图像、第2分辨率的HDR合成图像。具体而言，第1图像处理部122a将第1分辨率的电信号(A0)、第2分辨率的电信号(A0d)中的各个转换为具有规定的比特位的灰阶宽度的数字图像数据。然后，第1图像处理部122a对各个数字图像数据进行图像处理，生成适于HDR图像合成的各个中间图像数据。然后，第1图像处理部122a将各个中间图像数据输出到图像合成部122c。此外，第1图像处理部122a基于电信号(A0、A0d)，来生成各个合成前的拍摄图像。此外，第1图像处理部122a生成与合成前的拍摄图像中的各个相对应的缩略图。
第2图像处理部122b将第2分辨率的电信号(B0、B1)、第1分辨率的电信号(B0u)中的各个转换为具有规定的比特位的灰阶宽度的数字图像数据。然后，第2图像处理部122b对各个数字图像数据进行图像处理，生成适于HDR图像合成的各个中间图像数据。然后，第2图像处理部122b将各个中间图像数据输出到图像合成部122c。此外，第2图像处理部122b基于电信号(B0、B1、B0u)，来生成各个合成前的拍摄图像。此外，第2图像处理部122b生成与生成的合成前的拍摄图像中的各个相对应的缩略图。
图像合成部122c通过将从第1图像处理部122a输出的各个中间图像数据与从第2图像处理部122b输出的各个中间图像数据加权合成，来生成第1分辨率的HDR合成图像、第2分辨率的HDR合成图像。
具体而言，图像合成部122c基于电信号(A0)的中间图像数据和电信号(B0u)的中间图像数据，来生成例如如图10(A)所示的第1分辨率的HDR合成图像(A0+B0u)。此外，图像合成部122c基于电信号(A0d)的中间图像数据和电信号(B0)的中间图像数据，来生成例如如图10(B)所示的第2分辨率的HDR合成图像(A0d+B0)。此外，图像合成部122c基于电信号(B0)的中间图像数据和电信号(B1)的中间图像数据，来生成例如如图11(A)所示的第2分辨率的HDR合成图像(B0+B1)。此外，图像合成部122c基于电信号(A0d)的中间图像数据和电信号(B0、B1)的中间图像数据，来生成例如如图11(B)所示的第2分辨率的HDR合成图像(A0d+B0+B1)。此外，图像合成部122c生成与生成的HDR合成图像相对应的缩略图。
另外，也可以为用户在之后阅览HDR合成图像时，用户从这些图像中选择通过目视判断为最好的图像，作为实施了HDR合成处理的最终处理结果的图像来处置。然后，转移到步骤S126。
在步骤S126中，将在步骤S125中生成的HDR合成图像、合成前的拍摄图像、缩略图等存储在储存器部110中。具体而言，图像合成部122c将生成的HDR合成图像(A0+B0u)、(A0d+B0)、(B0+B1)、(A0d+B0+B1)、缩略图输出到储存器部110，储存器部110存储输入的HDR合成图像(A0+B0u)、(A0d+B0)、(B0+B1)、(A0d+B0+B1)、缩略图。此外，第1图像处理部122a、第2图像处理部122b将合成前的拍摄图像、缩略图输出到储存器部110，储存器部110存储输入的合成前的拍摄图像、缩略图。若实施了这些处理，则结束HDR合成图像生成步骤S40中的处理，转移到步骤S104。后文描述步骤S104。
[运动物体拍摄模式]
在拍摄步骤S30的步骤S102中，主控制部101在判定为运动矢量大于第2运动阈值的情况下，实施步骤S133。即，主控制部101判断为被摄体与微动拍摄模式相比运动较大，并切换到运动物体拍摄模式。
在步骤S133中，实施与步骤S123同样的处理。即，在步骤S123中，主控制部101使第1影像输入部123和第2影像输入部124改变曝光量来同时拍摄被摄体。第1影像输入部123以曝光量LA0来拍摄被摄体，生成与例如如图10(A)、图10(B)所示的第1分辨率的拍摄图像相关的电信号(A0)。第2影像输入部124以曝光量LB0来拍摄被摄体，生成与例如如图10(A)、图10(B)所示的第2分辨率的拍摄图像相关的电信号(B0)。另外，在运动物体拍摄模式下，第2影像输入部124不会像在微动拍摄模式下那样隔开时间差来拍摄被摄体。这是因为被摄体的运动大，若隔开时间差来拍摄，则生成的HDR合成图像中的被摄体抖动变得显著。
第1拍摄元件123b将曝光量LA0的电信号(A0)输出到第1图像处理部122a。第2拍摄元件124b将曝光量LB0的电信号(B0)输出到第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，首先实施步骤S134。在步骤S134中，实施与前述的步骤S124同样的处理。即，在步骤S134中，第1图像处理部122a对第1分辨率的电信号(A0)实施分辨率转换，生成例如如图10(B)所示的第2分辨率的电信号(A0d)。第2图像处理部122b对第2分辨率的电信号(B0)实施分辨率转换，生成如图10(A)所示的第1分辨率的电信号(B0u)。然后，转移到步骤S135。
在步骤S135中，实施与前述的步骤S125几乎同样的处理。即，在步骤S135中，基于在步骤S134中生成的多个图像信号(A0、B0、A0d、B0u)，来生成第1分辨率的HDR合成图像、第2分辨率的HDR合成图像。具体而言，图像合成部122c生成如图10(B)所示的第1分辨率的HDR合成图像(A0+B0u)和如图10(A)所示的第2分辨率的HDR合成图像(A0d+B0)。此外，第1图像处理部122a、第2图像处理部122b生成合成前的拍摄图像、与合成前的拍摄图像中的各个相对应的缩略图。
另外，也可以为用户在之后阅览HDR合成图像时，用户从这些图像中选择通过目视判断为最好的图像，作为实施了HDR合成处理的最终处理结果的图像来处置。然后，转移到步骤S126。
在步骤S126中，将在步骤S135中生成的HDR合成图像、合成前的拍摄图像、缩略图等存储在储存器部110中。具体而言，图像合成部122c将生成的HDR合成图像(A0+B0u)、(A0d+B0)、缩略图输出到储存器部110，储存器部110存储输入的HDR合成图像(A0+B0u)、(A0d+B0)、缩略图。此外，第1图像处理部122a、第2图像处理部122b将合成前的拍摄图像、缩略图输出到储存器部110，储存器部110存储输入的合成前的拍摄图像、缩略图。若实施了这些处理，则结束HDR合成图像生成步骤S40的处理，并转移到步骤S104。
在步骤S104中，选择要使显示部121显示的图像等。具体而言，从在各个拍摄模式的各步骤S114、S125、S135中生成、并存储在储存器部110中的图像等(HDR合成图像、合成前的拍摄图像、运动图像)之中，选择要使显示部121显示的图像等。
例如，储存器部110将与存储的图像等相关的信息(例如缩略图)输出到图像输出部122d。图像输出部122d将输入的缩略图输出到显示部121，显示部121显示输入的缩略图。用户从所显示的缩略图之中，选择要使显示部121显示的图像等。然后，转移到步骤S105。
在步骤S105中，显示与所选择的缩略图相对应的图像等。具体而言，图像输出部122d例如将与用户选择的缩略图相对应的图像等从储存器部110输出。图像输出部122d将读出的图像等输出到显示部121。显示部121显示输入的图像等。
另外，用户既可以任意地选择要使显示部121显示的图像等，也可以事先将进行显示的优先顺序登记在拍摄装置100中，使得按该顺序来依次显示图像等。
此外，要在显示部121上显示的图像等可以配合显示部121的分辨率而适当地放大或缩小。此时，既可以以相同的尺寸来显示多个图像等，也可以配合所选择的图像等的分辨率而将多个图像等分别以不同的尺寸来显示。
另外，本实施方式所涉及的拍摄装置100不限于图2所示的结构。例如，拍摄装置100也可以不包括例如通信处理部150、传感器部160等，也可以包括数字电视广播接收功能、电子货币结算功能等各种功能。
根据本实施方式，基于被摄体的运动矢量，主控制部101使影像输入部120改变曝光量来多次拍摄被摄体，并使影像信号处理部基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。
根据该结构，能够选择与被摄体的运动相适应的合适的拍摄模式，因此能够生成与被摄体的运动、手抖动等拍摄环境相对应的高品质的HDR合成图像。
此外，根据本实施方式，主控制部101在判定为运动矢量小于第1运动阈值的情况下，切换到静止图像拍摄模式，使具有高分辨率的第1分辨率的第1拍摄元件123b的第1影像输入部123改变曝光量来连续地拍摄被摄体，并使影像信号处理部122基于曝光量不同的多个图像信号(A0、A1)来生成第1分辨率的HDR合成图像。
根据该结构，由于在静止图像拍摄模式下被摄体基本不动，因此即使隔开时间差来拍摄被摄体，也能够抑制HDR合成图像中的因被摄体的运动而引起的抖动噪声的发生。由此，能够仅使用高分辨率的拍摄元件来连续地拍摄被摄体，从而生成高品质的HDR合成图像。
此外，根据该结构，将以充足的曝光量拍摄低照度侧的暗的被摄体而生成的电信号(A0)与抑制曝光量来拍摄高照度侧的亮的被摄体而生成的电信号(A1)合成，从而生成扩大了动态范围的高品质的HDR合成图像。
此外，根据本实施方式，主控制部101在判定为运动矢量大于或等于第1运动阈值的情况下，切换到微动拍摄模式或运动物体拍摄模式，使第1影像输入部123和第2影像输入部124改变曝光量来同时拍摄被摄体，使图像信号处理部122将第1分辨率的图像信号转换为第2分辨率的图像信号，将第2分辨率的图像信号转换为第1分辨率的图像信号，来生成第1分辨率的HDR合成图像和第2分辨率的HDR合成图像。
根据该结构，即使在被摄体正在运动的情况下，也能基于同时拍摄的多个图像信号来生成HDR合成图像，因此能够抑制因被摄体的运动、手抖动而引起的噪声的影响，生成扩大了动态范围的高品质的HDR合成图像。
此外，根据该结构，能够生成分辨率不同的多个HDR图像，因此能够提供与用户的用途相适应的HDR图像。
此外，根据本实施方式，控制部101在判定为运动矢量大于或等于第1运动阈值且小于或等于第2运动阈值的情况下，切换到微动拍摄模式，使第1影像输入部123和第2影像输入部124改变曝光量来同时拍摄被摄体，然后使第2影像输入部124改变曝光量来拍摄被摄体。
根据该结构，能够基于曝光量不同的至少3种图像信号来进行HDR合成处理，因此能够生成更高品质的HDR合成图像。
此外，根据本实施方式，第2拍摄元件124b的分辨率比第1拍摄元件123b的分辨率低。
根据该结构，第2影像输入部124即使用比第1影像输入部123短的拍摄时间也能够获得相同的曝光量。由此，即使第2影像输入部124隔开时间差来拍摄被摄体，也能够抑制因被摄体的运动而引起的噪声的发生，所以能够抑制HDR合成图像中的因被摄体的运动而引起的噪声的发生。
此外，根据该结构，能够抑制第2拍摄元件124的成本，因此能够抑制拍摄装置100的制造成本。
此外，根据本实施方式，显示部121显示HDR合成图像等的缩略图，若缩略图被选择，则显示与被选择的缩略图相对应的HDR合成图像。
根据该结构，用户能够容易地识别在储存器部110中存储的HDR合成图像等，因此能够减少在选择要使显示部121显示的HDR图像等时的负担。
此外，根据本实施方式，具有影像输入步骤S10、运动信息检测步骤S20、拍摄步骤S30和HDR合成图像生成步骤S40，其中，在所述影像输入步骤S10中，影像输入部120拍摄被摄体并生成被摄体的图像信号；在所述运动信息检测步骤S20中，主控制部101基于图像信号来检测被摄体的运动信息；在所述拍摄步骤S30中，主控制部101基于运动信息使影像输入部120改变曝光量来多次拍摄被摄体；在所述HDR合成图像生成步骤S40中，影像信号处理部122基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。
根据该结构，能够选择与被摄体的运动相适应的合适的拍摄模式来拍摄被摄体，因此能够提供生成与拍摄环境相对应的高品质的HDR合成图像的拍摄方法。
此外，根据本实施方式，使作为计算机的主控制部101执行影像输入步骤S10、运动信息检测步骤S20、拍摄步骤S30和HDR合成图像生成步骤S40，其中，在所述影像输入步骤S10中，使影像输入部120拍摄被摄体，来生成被摄体的图像信号；在所述运动信息检测步骤S20中，基于图像信号来检测被摄体的运动信息；在所述拍摄步骤S30中，基于运动信息，使影像输入部改变曝光量来多次拍摄被摄体；在所述HDR合成图像生成步骤S40中，使影像信号处理部122基于曝光量不同的多个图像信号来生成被摄体的HDR合成图像。
根据该结构，能够选择与被摄体的运动相适应的合适的拍摄模式来拍摄被摄体，因此能够提供能够生成与拍摄环境相对应的高品质的HDR合成图像的拍摄程序。
(实施方式2)
接下来，对实施方式2进行说明。在本实施方式中，对基于被摄体的运动和光量来切换拍摄模式的情况进行说明。另外，在下文中存在适当地省略对与上述实施方式1重复的部分的详细说明的情况。
图12、图13是示出本发明的实施方式2所涉及的拍摄装置的结构的一例的框图。如图12所示，拍摄装置200包括影像输入部220等。
如图12、图13所示，影像输入部220包括第2影像输入部224、分辨率转换部228等。第2影像输入部224包括第2拍摄元件224b。与第1拍摄元件123b同样，第2拍摄元件224b也是第1分辨率(高分辨率)的拍摄元件。第1拍摄元件123b和第2拍摄元件224b被构成为分辨率能够适当地转换。
光量传感器165测量拍摄装置200周边、被摄体附近的光量。然后，光量传感器165将测量的光量信息输出到曝光控制部126、主控制部101。
曝光控制部126例如基于从光量传感器165输出的光量信息、来自主控制部101的指示，来设定第1影像输入部123和第2影像输入部224进行拍摄时的曝光量。
主控制部101基于由光量传感器165测量的光量和被摄体的运动矢量的检测结果来切换拍摄模式。此外，主控制部101通过使分辨率转换部228将多个像素分组，来将第1拍摄元件123b和第2拍摄元件224b的分辨率从第1分辨率(高分辨率)转换为第2分辨率(低分辨率)。此外，主控制部101通过使分辨率转换部228解除多个图像的分组，来将第1拍摄元件123b和第2拍摄元件224b的分辨率从第2分辨率(低分辨率)转换为第1分辨率(高分辨率)。
例如、主控制部101根据拍摄模式，将使得转换第1拍摄元件123b和第2拍摄元件224b的分辨率的分辨率转换信息输出到分辨率转换部228。分辨率转换部228基于分辨率转换信息，来转换第1拍摄元件123b和第2拍摄元件224b的分辨率。在被转换为低分辨率的拍摄元件中，被分组的多个像素被视作1个像素。由此，在分组后的1个像素中，与分组前的1个像素相比曝光量增加，因此能够缩短用于获得相同的曝光量的曝光时间(快门速度)。
光量传感器165例如测量从被摄体的高光度的区域到低光度的区域为止的光量。在图12、图13中，例示了独立设置光量传感器165的情况，但不限于这样的结构，例如第1拍摄元件123b或第2拍摄元件224b也可以兼具光量传感器165的功能。
接下来，对本实施方式所涉及的拍摄方法进行说明。图14、图15是本发明的实施方式2的拍摄方法所涉及的流程图。在本实施方式中，也实施如图5所示的影像输入步骤S10、运动信息检测步骤S20、拍摄步骤S30和HDR合成图像生成步骤S40。影像输入步骤S10、运动信息检测步骤S20与上述的实施方式1相同。
在拍摄步骤S30中，首先实施步骤S202。在步骤S202中，基于运动信息来判定被摄体的运动。具体而言，主控制部101通过将在运动信息检测步骤S20中检测的运动矢量与第3运动阈值相比较，来判定被摄体的运动。详细来说，主控制部101将在储存器部110中存储的第3运动阈值读出到存储器104，并将运动矢量与第3运动阈值相比较。第3运动阈值通过例如实验等来适当地设定。
[静止图像拍摄模式]
在步骤S202中，主控制部101在判定为运动矢量小于第3运动阈值的情况下，实施步骤S214。即，主控制部101判断为被摄体基本不动，并切换到静止图像拍摄模式。
在步骤S214中，实施与实施方式1中的步骤S113同样的处理。即，第1影像输入部123改变曝光量来连续地拍摄被摄体。第1影像输入部123在第1次拍摄中以例如曝光量LA0来拍摄被摄体，在第2次拍摄中以比LA0少的曝光量LA1来拍摄(LA0>LA1)。第1拍摄元件123b生成与例如如图9所示的高分辨率的拍摄图像相关的电信号(A0、A1)，并将生成的电信号(A0、A1)输出到第1图像处理部122a。另外，在此说明了对曝光量不同的2种图像信号进行合成处理的情况，但也可以例如对3种或更多的图像信号进行合成处理。
另一方面，第2影像输入部224可以拍摄例如被摄体的运动图像(Bm)，也可以改变景深来拍摄被摄体。此外，第2影像输入部224的第2拍摄元件224b也是高分辨率的，因此也可以例如改变曝光量(例如LA1等)并与第1影像输入部123同时拍摄被摄体。第2拍摄元件224b生成曝光量LA0的电信号(A0)、曝光量LA1的电信号(A1)，并将生成的电信号(A0、A1)输出到第1图像处理部122a。第2拍摄元件224b将与运动图像等相关的图像信号输出到影像信号处理部122的第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，实施步骤S215。在步骤S215中，实施与实施方式1中的步骤S114同样的处理。即，图像合成部122c基于在步骤S214中生成的、曝光量不同的多个图像信号(A0、A1)，来生成第1分辨率的HDR合成图像(A0+A1)。此外，图像合成部122c也可以基于由第1拍摄元件123b和第2拍摄元件生成的电信号来生成HDR合成图像。此外，图像合成部122c生成与HDR合成图像相对应的缩略图。第1图像处理部122a、第2图像处理部122b生成与合成前的拍摄图像、运动图像和与这些图像相对应的缩略图。
另外，也可以是第1图像处理部122a和第2图像处理部122b将高分辨率的图像信号转换为低分辨率的图像信号，图像合成部122c生成低分辨率的HDR合成图像。然后，转移到步骤S216。
在步骤S216中，实施与实施方式1中的步骤S115同样的处理。即，将在步骤S215中生成的HDR合成图像、合成前的拍摄图像、运动图像、缩略图等存储在储存器部110中。
[运动物体拍摄模式]
图16是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。在拍摄步骤S30的步骤S202中，主控制部101在判定为运动矢量大于或等于第3运动阈值的情况下，判断为被摄体的运动大，并切换到运动物体拍摄模式。若切换到运动物体拍摄模式，则转移到步骤S203。
在步骤S203中，基于由光量传感器165测量的光量，来切换拍摄模式。具体而言，光量传感器165测量拍摄装置200周边的光量，并将与测量的光量相关的信息作为光量信息输出到主控制部101。主控制部101基于输入的光量信息，将测量的光量与第1光量阈值和比第1光量阈值大的第2光量阈值相比较。详细来说，主控制部101将在储存器部110中存储的第1光量阈值和第2光量阈值读出到存储器104，将光量与第1光量阈值和第2光量阈值相比较。第1光量阈值和第2光量阈值通过例如实验等来适当地设定。
<高光量运动物体拍摄模式>
主控制部101在判定为光量大于第2光量阈值的情况下，转移到步骤S224。即，主控制部101判断为光量高，并切换到高光量运动物体拍摄模式。
在步骤S224中，主控制部101使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体。此时，主控制部101将第1拍摄元件123b和第2拍摄元件224b的分辨率设定为作为高分辨率的第1分辨率。
例如，如果第1拍摄元件123b或第2拍摄元件224b的分辨率已被设定为低分辨率，则主控制部101将使得转换相应的拍摄元件的分辨率的分辨率转换信息输出到分辨率转换部228。分辨率转换部228基于输入的分辨率转换信息，将相应的拍摄元件的分辨率从低分辨率转换为高分辨率。
若这样设定了拍摄元件的分辨率，则第1影像输入部123以曝光量LA0来拍摄被摄体，并生成与例如如图16所示的高分辨率的拍摄图像相关的电信号(A0)。第2影像输入部124以比LA0少的曝光量LB0来拍摄被摄体(LA0>LB0)，并生成与例如如图16所示的高分辨率的拍摄图像相关的电信号(B0)。
第1拍摄元件123b将曝光量LA0的电信号(A0)输出到第1图像处理部122a。第2拍摄元件124b将曝光量LB0的电信号(B0)输出到第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，实施步骤S225。在步骤S225中，图像合成部122c基于在步骤S224中生成的多个图像信号(A0、B0)，生成例如如图16所示的高分辨率的HDR合成图像(A0+B0)。此外，图像合成部122c生成与HDR合成图像相对应的缩略图。第1图像处理部122a、第2图像处理部122b生成合成前的拍摄图像、运动图像和与这些图像相对应的缩略图。
另外，也可以是第1图像处理部122a和第2图像处理部122b将高分辨率的图像信号转换为低分辨率的图像信号，图像合成部122c生成低分辨率的HDR合成图像。然后，转移到步骤S237。
在步骤S237中，实施与实施方式1中的步骤S126同样的处理。即，将在步骤S225中生成的HDR合成图像、合成前的拍摄图像、运动图像和缩略图等存储在储存器部110中。然后，转移到步骤S204。后文描述步骤S204。
<中光量运动物体拍摄模式>
图17是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。主控制部101在判定为光量大于或等于第1光量阈值且小于或等于第2光量阈值的情况下，转移到步骤S234。即，主控制部101判断为光量比高光量运动物体拍摄模式时更少，并切换到中光量运动物体拍摄模式。
在步骤S234中，主控制部101使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体。此时，主控制部101使分辨率转换部228将第1拍摄元件123b的分辨率转换为第1分辨率，将第2拍摄元件224b的分辨率转换为第2分辨率。
例如，如果第1拍摄元件123b的分辨率已被设定为低分辨率，则主控制部101将使得转换第1拍摄元件123b的分辨率的分辨率转换信息输出到分辨率转换部228。分辨率转换部228基于输入的分辨率转换信息，将第1拍摄元件123b的分辨率从低分辨率转换为高分辨率。此外，如果第2拍摄元件224b的分辨率已被设定为高分辨率，则主控制部101将使得转换第2拍摄元件224b的分辨率的分辨率转换信息输出到分辨率转换部228。分辨率转换部228基于输入的分辨率转换信息，将第2拍摄元件224b的分辨率从高分辨率转换为低分辨率。
若这样设定了拍摄元件的分辨率，则第1影像输入部123以曝光量LA0来拍摄被摄体，并生成与例如如图17(A)、图17(B)所示的高分辨率的拍摄图像相关的电信号(A0)。第2影像输入部124以比LA0少的曝光量Lb0来拍摄被摄体(LA0>Lb0)，并生成与例如如图17(A)、图17(B)所示的低分辨率的拍摄图像相关的电信号(B0)。另外，由于第2影像输入部224的分辨率比第1影像输入部123小，因此能够适当地设定用于扩大HDR合成图像中的动态范围的曝光量。
第1拍摄元件123b将曝光量LA0的电信号(A0)输出到第1图像处理部122a。第2拍摄元件124b将曝光量Lb0的电信号(b0)输出到第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，首先实施步骤S235。在步骤S235中实施与例如实施方式1中的步骤S124同样的处理。即，在步骤S235中，转换在步骤S234中生成的电信号的分辨率。具体而言，第1图像处理部122a针对高分辨率的电信号(A0)实施分辨率转换，生成例如如图17(B)所示的低分辨率的电信号(A0d)。第2图像处理部122b针对低分辨率的电信号(b0)实施分辨率转换，生成例如如图17(A)所示的高分辨率的电信号(b0u)。然后，转移到步骤S236。
在步骤S236中，图像合成部122c基于在步骤S235中生成的多个电信号(A0、b0、A0d、b0u)，生成例如如图17(A)所示的高分辨率的HDR合成图像(A0+b0u)、例如如图17(B)所示的低分辨率的HDR合成图像(A0d+b0)。此外，图像合成部122c生成与HDR合成图像相对应的缩略图。第1图像处理部122a、第2图像处理部122b生成合成前的拍摄图像、运动图像和与这些图像相对应的缩略图。然后，转移到步骤S237。
在步骤S237中，将在步骤S236中生成的HDR合成图像、合成前的拍摄图像、运动图像、缩略图等存储在储存器部110中。然后，转移到步骤S204。后文描述步骤S204。
<低光量运动物体拍摄模式>
图18是示意性示出本发明的实施方式2所涉及的HDR合成处理的图。主控制部101在判定为光量小于第1光量阈值的情况下，转移到步骤S244。即，主控制部101判断为光量比中光量拍摄模式时低，并切换到低光量运动物体拍摄模式。
在步骤S224中，主控制部101使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体。此时，主控制部101使分辨率转换部228将第1拍摄元件123b和第2拍摄元件224b的分辨率转换为作为低分辨率的第2分辨率。
例如，如果第1拍摄元件123b或第2拍摄元件224b的分辨率已被设定为高分辨率，则主控制部101将使得转换相应的拍摄元件的分辨率的分辨率转换信息输出到分辨率转换部228。分辨率转换部228基于输入的分辨率转换信息，将相应的拍摄元件的分辨率从高分辨率转换为低分辨率。
若这样设定了拍摄元件的分辨率，则第1影像输入部123以曝光量La0来拍摄被摄体，并生成与例如如图18所示的低分辨率的拍摄图像相关的电信号(a0)。第2影像输入部124以比La0少的曝光量Lb0来拍摄被摄体，并生成与例如如图18所示的低分辨率的拍摄图像相关的电信号(b0)。另外，由于第1影像输入部123和第2影像输入部224的分辨率被设定为低分辨率，因此能够适当地设定用于扩大HDR合成图像中的动态范围的曝光量。
第1拍摄元件123b将曝光量La0的电信号(a0)输出到第1图像处理部122a。第2拍摄元件124b将曝光量Lb0的电信号(b0)输出到第2图像处理部122b。然后，转移到HDR合成图像生成步骤S40。
在HDR合成图像生成步骤S40中，实施步骤S225。在步骤S225中，基于在步骤S224中生成的多个图像信号(a0、b0)，图像合成部122c生成例如如图18所示的低分辨率的HDR合成图像(a0+b0)。此外，图像合成部122c生成与HDR合成图像相对应的缩略图。第1图像处理部122a、第2图像处理部122b生成合成前的拍摄图像、运动图像和与这些图像相对应的缩略图。然后，转移到步骤S237。
在步骤S237中，将在步骤S225中生成的HDR合成图像、合成前的拍摄图像、运动图像和缩略图等存储在储存器部110中。
另外，也可以是第1图像处理部122a和第2图像处理部122b将低分辨率的图像信号转换为高分辨率的图像信号，图像合成部122c生成高分辨率的HDR合成图像。然后，转移到步骤S204。
在步骤S204中，实施与实施方式1中的步骤S104同样的处理，选择要使显示部121显示的图像等。然后，转移到步骤S205。
在步骤S205中，实施与实施方式1中的步骤S105同样的处理，使显示部121显示用户在步骤S204中选择的图像。
根据本实施方式，包括测量光量的光量传感器165，主控制部101基于运动矢量和光量，使影像输入部220改变曝光量来多次拍摄被摄体。
根据该结构，由于能够选择与被摄体的运动、周边的光量相适应的、更合适的拍摄模式，因此能够生成与拍摄环境相对应的高品质的HDR合成图像。
此外，根据本实施方式，主控制部101将运动矢量与第3运动阈值相比较，在判定为运动信息小于第3运动阈值的情况下，切换到静止图像拍摄模式，使第1影像输入部123改变曝光量来连续地拍摄被摄体，并使影像信号处理部122生成第1分辨率的HDR合成图像。
根据该结构，由于被摄体基本不动，因此即使隔开时间差来拍摄被摄体，也能够抑制因被摄体的运动而引起的噪声的发生。由此，仅使用第1影像输入部123，能够生成与拍摄环境相对应的高品质的HDR合成图像。此外，由此，能够在运动图像拍摄等中使用第2影像输入部224，从而提供易用性好的拍摄装置200。
此外，根据本实施方式，主控制部101在判定为运动矢量大于或等于第3运动阈值而光量大于第2光量阈值的情况下，切换到高光量运动物体拍摄模式，使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体，并使影像信号处理部122生成高分辨率的HDR合成图像。
根据该结构，由于能够抑制因被摄体的运动而引起的噪声的发生，因此能够生成被摄体的运动大的、高品质的高分辨率的HDR合成图像(A0+B0)。
此外，根据本实施方式，主控制部101在判定为运动矢量大于或等于第3运动阈值而光量大于或等于第1光量阈值且小于或等于第2光量阈值的情况下，切换到中光量运动物体拍摄模式，使分辨率转换部228将第2拍摄元件224的分辨率转换到第2分辨率，并使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体。然后，主控制部101将由第1影像输入部123生成的图像信号的分辨率转换为第2分辨率，将由第2影像输入部224生成的图像信号的分辨率转换为第1分辨率，并使影像信号处理部122生成第1分辨率的HDR合成图像和第2分辨率的HDR合成图像。
根据该结构，由于通过将第2拍摄元件224b的分辨率转换为低分辨率，增大了分辨率转换后的像素的面积，因此各个像素的灵敏度提高。由此，由于能够缩短第2影像输入部224的拍摄时间(曝光时间)，因此即使在光量少的状况下，也能够抑制因被摄体的运动而引起的噪声的发生，生成与拍摄环境相对应的高品质的HDR合成图像(A0+b0u、A0d+b0)。
此外，根据该结构，由于能够生成分辨率不同的多个HDR合成图像，因此能够提供易用性好的拍摄装置200。
此外，根据本实施方式，主控制部101在判定为运动矢量大于或等于第3运动阈值而光量小于第1光量阈值的情况下，切换到低光量运动物体拍摄模式，使分辨率转换部228将第1拍摄元件123b和第2拍摄元件224b的分辨率转换为第2分辨率，并使第1影像输入部123和第2影像输入部224改变曝光量来同时拍摄被摄体，并使影像信号处理部122生成第2分辨率的HDR合成图像。
根据该结构，在第1拍摄元件123b和第2拍摄元件224b中，由于通过将分辨率转换为低分辨率，分辨率转换后的像素的面积增大，因此各个像素的灵敏度提高。由此，能够缩短第1影像输入部123和第2影像输入部224这两者的拍摄时间，因此即使在光量更少的状况下，也能够抑制因被摄体的运动而引起的噪声的发生，生成与拍摄环境相对应的高品质的HDR合成图像(a0+b0)。
此外，根据本实施方式，主控制部101通过使分辨率转换部228将多个像素分组，来将第1拍摄元件123b和第2拍摄元件224b的分辨率从高分辨率转换为低分辨率，通过使分辨率转换部228解除多个图像的分组，来将第1拍摄元件123b和第2拍摄元件224b的分辨率从低分辨率转换为高分辨率。
根据该结构，由于不用准备针对各个分辨率中的每个的拍摄元件，因此能够将拍摄装置小型化。此外，由此，能够抑制拍摄装置的制造成本的增大。
(其他实施方式)
在到此为止说明的实施方式1、2中，主控制部101基于由第1拍摄元件123b或第2拍摄元件124b(224b)生成的图像信号来检测被摄体的运动信息(例如运动矢量)。但是，除此之外，例如也可以基于影像输入部120的焦距来检测被摄体的运动信息。具体而言，在影像输入部120的焦距短的情况下手抖动的影响小，而在焦距长的情况下手抖动的影响变大。即，主控制部101在焦距短的情况下检测到被摄体的运动小的运动信息，而在焦距长的情况下检测到被摄体的运动大的运动信息。于是，主控制部101将影像输入部120的焦距与第1焦距阈值、比第1焦距阈值大的第2焦距阈值相比较。然后，主控制部101在判定为影像输入部120的焦距小于第1焦距阈值的情况下，切换到静止图像拍摄模式。此外，主控制部101在判定为影像输入部120的焦距大于或等于第1焦距阈值且小于或等于第2焦距的情况下，切换到微动拍摄模式。此外，主控制部101在判定为影像输入部120的焦距大于第2焦距阈值的情况下，切换到运动物体拍摄模式。由此，即使基于影像输入部120的焦距来切换拍摄模式，也能够获得上述的效果。
进一步地，在实施方式1、2中，对第1影像输入部123、第2影像输入部124(224)这2台照相机拍摄被摄体并生成HDR合成图像的情况进行了说明，但也可以使用例如3台或更多的照相机拍摄被摄体并生成HDR合成图像。
以上，对本发明的实施方式进行了说明，但用于实现本发明的技术的结构不限于这些实施方式，这是不言而喻的。此外，文中或图中出现的数值等归根结底只是一个例子，即使使用不同的数值等也无损于本发明的效果。
上述的本发明的功能等的一部分或者全部例如可以通过集成电路进行设计而以硬件来实现，也可以通过微处理器单元等计算机解释并执行用于实现各个功能等的程序而以软件来实现，还可以通过并用硬件和软件来实现。
此外，图中所示的控制线、信息线示出了为了说明而必要的内容，未必示出了产品上的所有控制线、信息线。也可以认为实际上几乎所有的结构都相互连接。

Claims (8)

1.一种拍摄装置，包括：
影像输入部，其拍摄被摄体，并生成所述被摄体的图像信号；
影像信号处理部，其基于所述图像信号来生成所述被摄体的拍摄图像；以及
控制部，其基于所述图像信号来检测所述被摄体的运动信息，基于所述运动信息使所述影像输入部改变曝光量来多次拍摄所述被摄体，使所述影像信号处理部基于曝光量不同的多个所述图像信号来生成所述被摄体的HDR合成图像，
所述影像输入部包括第1影像输入部和第2影像输入部，所述第1影像输入部具有第1分辨率的第1拍摄元件，所述第2影像输入部具有分辨率为比所述第1分辨率低的第2分辨率的第2拍摄元件，
所述控制部将所述运动信息与第1运动阈值相比较，在判定为所述运动信息小于所述第1运动阈值的情况下，使所述第1影像输入部改变曝光量来连续地拍摄所述被摄体，并使所述影像信号处理部生成所述第1分辨率的所述HDR合成图像，
所述控制部在判定为所述运动信息大于或等于所述第1运动阈值的情况下，使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，使影像信号处理部将所述第1影像输入部所生成的所述图像信号的分辨率转换为所述第2分辨率、将所述第2影像输入部所生成的所述图像信号的分辨率转换为所述第1分辨率，并使所述影像信号处理部生成所述第1分辨率和所述第2分辨率的所述HDR合成图像。
2.根据权利要求1所述的拍摄装置，其中，
所述控制部将所述运动信息与所述第1运动阈值和比所述第1运动阈值大的第2运动阈值相比较，在判定为所述运动信息大于或等于所述第1运动阈值且小于或等于所述第2运动阈值的情况下，使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，然后使所述第2影像输入部改变曝光量来再次拍摄所述被摄体，并使所述影像信号处理部基于再次拍摄所生成的所述图像信号来生成所述第2分辨率的所述HDR合成图像。
3.根据权利要求1所述的拍摄装置，其中，
所述控制部基于所述影像输入部的焦距来检测所述被摄体的运动信息。
4.根据权利要求1所述的拍摄装置，还包括显示部，
所述显示部显示所述HDR合成图像的缩略图，在所述缩略图被选择了时，显示与所选择的所述缩略图相对应的所述HDR合成图像。
5.一种拍摄装置，包括：
影像输入部，其拍摄被摄体，并生成所述被摄体的图像信号；
影像信号处理部，其基于所述图像信号来生成所述被摄体的拍摄图像；
控制部，其基于所述图像信号来检测所述被摄体的运动信息，基于所述运动信息使所述影像输入部改变曝光量来多次拍摄所述被摄体，使所述影像信号处理部基于曝光量不同的多个所述图像信号来生成所述被摄体的HDR合成图像；以及
测量周边的光量的光量传感器，
所述控制部基于所述运动信息和所述光量，使所述影像输入部改变曝光量来多次拍摄所述被摄体，
所述影像输入部包括第1影像输入部、第2影像输入部以及分辨率转换部，所述第1影像输入部具有第1分辨率的第1拍摄元件，所述第2影像输入部具有所述第1分辨率的第2拍摄元件，所述分辨率转换部转换所述第1拍摄元件和所述第2拍摄元件的分辨率，
所述控制部将所述运动信息与第3运动阈值相比较，
所述控制部在判定为所述运动信息小于所述第3运动阈值的情况下，使所述第1影像输入部改变曝光量来连续拍摄所述被摄体，并使所述影像信号处理部生成所述第1分辨率的所述HDR合成图像，
所述控制部在判定为所述运动信息大于或等于所述第3运动阈值的情况下，将所述光量与第1光量阈值和比所述第1光量阈值大的第2光量阈值相比较，
所述控制部在判定为所述光量大于所述第2光量阈值的情况下，使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，并使影像信号处理部生成所述第1分辨率的所述HDR合成图像，
所述控制部在判定为所述光量大于或等于所述第1光量阈值且小于或等于所述第2光量阈值的情况下，使所述分辨率转换部将所述第2拍摄元件的分辨率转换为第2分辨率，并使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，将所述第1影像输入部所生成的所述图像信号的分辨率转换为所述第2分辨率，将所述第2影像输入部所生成的所述图像信号的分辨率转换为所述第1分辨率，并使所述影像信号处理部生成所述第1分辨率的所述HDR合成图像和所述第2分辨率的所述HDR合成图像，
所述控制部在判定为所述光量小于所述第1光量阈值的情况下，使所述分辨率转换部将所述第1拍摄元件和所述第2拍摄元件的分辨率转换为所述第2分辨率，并使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，并使所述影像信号处理部生成所述第2分辨率的所述HDR合成图像。
6.根据权利要求5所述的拍摄装置，其中，
所述控制部通过将多个像素分组来将所述第1拍摄元件和所述第2拍摄元件的分辨率从所述第1分辨率转换为所述第2分辨率，通过解除所述多个像素的所述分组来将所述第1拍摄元件和所述第2拍摄元件的分辨率从所述第2分辨率转换为所述第1分辨率。
7.一种拍摄方法，其用于具有影像输入部、影像信号处理部以及控制部的拍摄装置，所述拍摄方法具有：
影像输入步骤，所述影像输入部拍摄被摄体并生成所述被摄体的图像信号；
运动信息检测步骤，所述控制部基于所述图像信号检测所述被摄体的运动信息；
拍摄步骤，所述控制部基于所述运动信息使所述影像输入部改变曝光量来多次拍摄所述被摄体；以及
HDR合成图像生成步骤，所述影像信号处理部基于曝光量不同的多个所述图像信号来生成所述被摄体的HDR合成图像，
所述影像输入部包括第1影像输入部和第2影像输入部，所述第1影像输入部具有第1分辨率的第1拍摄元件，所述第2影像输入部具有分辨率为比所述第1分辨率低的第2分辨率的第2拍摄元件，
所述控制部将所述运动信息与第1运动阈值相比较，在判定为所述运动信息小于所述第1运动阈值的情况下，使所述第1影像输入部改变曝光量来连续地拍摄所述被摄体，并使所述影像信号处理部生成所述第1分辨率的所述HDR合成图像，
所述控制部在判定为所述运动信息大于或等于所述第1运动阈值的情况下，使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，使影像信号处理部将所述第1影像输入部所生成的所述图像信号的分辨率转换为所述第2分辨率、将所述第2影像输入部所生成的所述图像信号的分辨率转换为所述第1分辨率，并使所述影像信号处理部生成所述第1分辨率和所述第2分辨率的所述HDR合成图像。
8.一种计算机可读取的记录介质，存储有拍摄程序，该拍摄程序被处理器执行时实现如下步骤：
影像输入步骤，使影像输入部拍摄被摄体并生成所述被摄体的图像信号；
运动信息检测步骤，使控制部基于所述图像信号来检测所述被摄体的运动信息；
拍摄步骤，使所述控制部基于所述运动信息使所述影像输入部改变曝光量来多次拍摄所述被摄体；以及
HDR合成图像生成步骤，使影像信号处理部基于曝光量不同的多个所述图像信号来生成所述被摄体的HDR合成图像，
所述影像输入部包括第1影像输入部和第2影像输入部，所述第1影像输入部具有第1分辨率的第1拍摄元件，所述第2影像输入部具有分辨率为比所述第1分辨率低的第2分辨率的第2拍摄元件，
所述控制部将所述运动信息与第1运动阈值相比较，在判定为所述运动信息小于所述第1运动阈值的情况下，使所述第1影像输入部改变曝光量来连续地拍摄所述被摄体，并使所述影像信号处理部生成所述第1分辨率的所述HDR合成图像，
所述控制部在判定为所述运动信息大于或等于所述第1运动阈值的情况下，使所述第1影像输入部和所述第2影像输入部改变曝光量来同时拍摄所述被摄体，使影像信号处理部将所述第1影像输入部所生成的所述图像信号的分辨率转换为所述第2分辨率、将所述第2影像输入部所生成的所述图像信号的分辨率转换为所述第1分辨率，并使所述影像信号处理部生成所述第1分辨率和所述第2分辨率的所述HDR合成图像。
CN201680087151.2A 2016-07-01 2016-07-01 拍摄装置、拍摄方法及拍摄程序 Active CN109417592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400624.4A CN112565622B (zh) 2016-07-01 2016-07-01 拍摄装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/069710 WO2018003124A1 (ja) 2016-07-01 2016-07-01 撮像装置、撮像方法及び撮像プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011400624.4A Division CN112565622B (zh) 2016-07-01 2016-07-01 拍摄装置

Publications (2)

Publication Number Publication Date
CN109417592A CN109417592A (zh) 2019-03-01
CN109417592B true CN109417592B (zh) 2020-12-29

Family

ID=60787265

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201680087151.2A Active CN109417592B (zh) 2016-07-01 2016-07-01 拍摄装置、拍摄方法及拍摄程序
CN202011400624.4A Active CN112565622B (zh) 2016-07-01 2016-07-01 拍摄装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011400624.4A Active CN112565622B (zh) 2016-07-01 2016-07-01 拍摄装置

Country Status (4)

Country Link
US (4) US10757344B2 (zh)
JP (1) JP6791962B2 (zh)
CN (2) CN109417592B (zh)
WO (1) WO2018003124A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417592B (zh) * 2016-07-01 2020-12-29 麦克赛尔株式会社 拍摄装置、拍摄方法及拍摄程序
JP7286294B2 (ja) * 2017-10-27 2023-06-05 キヤノン株式会社 撮像装置、撮像装置の制御方法、および、プログラム
CN109547699A (zh) * 2018-12-24 2019-03-29 成都西纬科技有限公司 一种拍照的方法及装置
WO2020174978A1 (ja) * 2019-02-27 2020-09-03 富士フイルム株式会社 撮像装置、撮像装置の画像データ処理方法、及びプログラム
US11308310B2 (en) 2019-03-21 2022-04-19 Samsung Electronics Co., Ltd. Electronic device including image sensor and method of operating the same
CN109996009B (zh) * 2019-04-09 2021-03-02 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
IL268612A (en) * 2019-08-08 2021-03-01 HYATT Yonatan Using an HDR image in a visual inspection process
KR20210098292A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 카메라를 포함하는 전자 장치 및 그 동작 방법
CN111479072B (zh) * 2020-04-14 2021-12-17 深圳市道通智能航空技术股份有限公司 高动态范围图像合成方法、装置、图像处理芯片及航拍相机
US11671715B2 (en) * 2021-01-14 2023-06-06 Qualcomm Incorporated High dynamic range technique selection for image processing

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3546853B2 (ja) 2001-03-23 2004-07-28 ミノルタ株式会社 撮像装置及び画像再生システム
JP5002931B2 (ja) * 2005-09-16 2012-08-15 カシオ計算機株式会社 撮像装置及びそのプログラム
KR100809345B1 (ko) * 2006-06-16 2008-03-05 삼성전자주식회사 영상 생성 장치 및 방법
WO2008047664A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image
US8242426B2 (en) 2006-12-12 2012-08-14 Dolby Laboratories Licensing Corporation Electronic camera having multiple sensors for capturing high dynamic range images and related methods
JP2010239169A (ja) * 2007-08-08 2010-10-21 Panasonic Corp 撮像装置
KR101442153B1 (ko) * 2008-01-15 2014-09-25 삼성전자 주식회사 저조도 영상 처리 방법 및 시스템
JP2010072092A (ja) 2008-09-16 2010-04-02 Sanyo Electric Co Ltd 画像表示装置及び撮像装置
JP5302058B2 (ja) * 2009-03-17 2013-10-02 富士フイルム株式会社 撮像装置および撮像方法
ES2383318T3 (es) * 2009-03-31 2012-06-20 Sony Corporation Método y unidad para generar una trama de vídeo e imagen de vídeo con alta gama dinámica
US8248481B2 (en) * 2009-04-08 2012-08-21 Aptina Imaging Corporation Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
JP5458865B2 (ja) * 2009-09-18 2014-04-02 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US8493454B1 (en) * 2010-02-17 2013-07-23 Ambarella, Inc. System for camera motion compensation
US8760537B2 (en) * 2010-07-05 2014-06-24 Apple Inc. Capturing and rendering high dynamic range images
US8462221B2 (en) * 2010-11-03 2013-06-11 Eastman Kodak Company Method for producing high dynamic range images
US8428308B2 (en) * 2011-02-04 2013-04-23 Apple Inc. Estimating subject motion for capture setting determination
US8379934B2 (en) * 2011-02-04 2013-02-19 Eastman Kodak Company Estimating subject motion between image frames
JP2012239076A (ja) * 2011-05-12 2012-12-06 Nikon Corp 撮像装置及び方法
JP5333522B2 (ja) * 2011-06-06 2013-11-06 カシオ計算機株式会社 動画生成装置、動画生成方法、および、プログラム
JP5701707B2 (ja) 2011-07-25 2015-04-15 株式会社ソニー・コンピュータエンタテインメント 動画像撮影装置、情報処理システム、情報処理装置、および画像データ処理方法
KR101699919B1 (ko) * 2011-07-28 2017-01-26 삼성전자주식회사 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법
CN103168462B (zh) * 2011-10-14 2016-09-28 株式会社摩如富 图像合成装置和图像合成方法
JP5898466B2 (ja) * 2011-11-11 2016-04-06 キヤノン株式会社 撮像装置、その制御方法、及びプログラム
JP5858754B2 (ja) * 2011-11-29 2016-02-10 キヤノン株式会社 撮影装置、表示方法及びプログラム
CN103546673B (zh) * 2012-07-09 2018-02-27 联想(北京)有限公司 在运动场景下生成高动态图像的方法及装置
US20140071245A1 (en) * 2012-09-10 2014-03-13 Nvidia Corporation System and method for enhanced stereo imaging
US9578224B2 (en) * 2012-09-10 2017-02-21 Nvidia Corporation System and method for enhanced monoimaging
WO2014099320A1 (en) * 2012-12-17 2014-06-26 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for high dynamic range imaging
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
KR20150024098A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 디지털 카메라에서 사진 합성 방법 및 장치
CN107211100B (zh) * 2014-12-29 2020-05-19 诺基亚技术有限公司 用于图像的运动去模糊的方法及装置
JP6629454B2 (ja) * 2015-12-28 2020-01-15 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． 画像フュージョン方法と装置、および端末装置
CN109417592B (zh) * 2016-07-01 2020-12-29 麦克赛尔株式会社 拍摄装置、拍摄方法及拍摄程序
US9883119B1 (en) * 2016-09-22 2018-01-30 Qualcomm Incorporated Method and system for hardware-based motion sensitive HDR image processing

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103053163A (zh) * 2010-12-16 2013-04-17 松下电器产业株式会社 图像生成装置、图像生成系统、方法及程序

Also Published As

Publication number Publication date
WO2018003124A1 (ja) 2018-01-04
US20200007733A1 (en) 2020-01-02
US11653081B2 (en) 2023-05-16
US20200351431A1 (en) 2020-11-05
JP6791962B2 (ja) 2020-11-25
US10757344B2 (en) 2020-08-25
JPWO2018003124A1 (ja) 2019-05-16
CN112565622A (zh) 2021-03-26
CN112565622B (zh) 2022-10-28
US20220191371A1 (en) 2022-06-16
US20230247277A1 (en) 2023-08-03
CN109417592A (zh) 2019-03-01
US11303794B2 (en) 2022-04-12

Similar Documents

Publication Publication Date Title
CN109417592B (zh) 拍摄装置、拍摄方法及拍摄程序
CN104205804B (zh) 图像处理装置、拍摄装置以及图像处理方法
JP5948492B2 (ja) 撮像装置及び合焦制御方法
JP6251851B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP2017168982A (ja) 撮像装置、撮像装置の制御方法及びプログラム
US11438521B2 (en) Image capturing device, image capturing method, and program
JPWO2020158069A1 (ja) 撮像装置、撮像方法、及びプログラム
JP5768193B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム
WO2017208702A1 (ja) 撮像素子及び撮像装置
JP6569015B2 (ja) 撮像装置、撮像方法、及び、撮像プログラム
JP7231598B2 (ja) 撮像装置
JP6236580B2 (ja) 合焦制御装置、合焦制御方法、合焦制御プログラム、レンズ装置、撮像装置
JP6622945B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5541956B2 (ja) 画像合成方法、画像合成プログラムおよび画像合成装置
WO2015052959A1 (ja) 撮像装置、撮像システム、撮像方法、及び撮像プログラム
WO2019193889A1 (ja) 画像位置合わせ補助装置、方法及びプログラム並びに撮像装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

CP01 Change in the name or title of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20220617

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Patentee before: MAXELL, Ltd.

TR01 Transfer of patent right