CN107566714A - 摄像装置和摄像方法 - Google Patents

摄像装置和摄像方法 Download PDF

Info

Publication number
CN107566714A
CN107566714A CN201710498206.5A CN201710498206A CN107566714A CN 107566714 A CN107566714 A CN 107566714A CN 201710498206 A CN201710498206 A CN 201710498206A CN 107566714 A CN107566714 A CN 107566714A
Authority
CN
China
Prior art keywords
highlighted
mentioned
signal
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710498206.5A
Other languages
English (en)
Inventor
松永拓也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN107566714A publication Critical patent/CN107566714A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • H04N5/205Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/743Bracketing, i.e. taking a series of images with varying exposure conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

摄像装置和摄像方法。摄像装置具有:焦点位置变更部(3),其移动对焦位置;摄像部(1),其对被摄体像进行摄像,取得图像数据;强调显示信号生成部(5),其根据取得的图像数据生成强调显示信号;强调显示信号合成部(7),其对多个强调显示信号进行合成,生成合成强调显示信号;显示用图像生成部(9),其在图像数据上叠加合成强调显示信号,来生成显示用图像数据;以及控制部(15),其进行以下指示,使对焦位置移动到不同的焦点位置,通过摄像部取得图像数据,针对该图像数据生成强调显示信号,对第1强调显示信号和第2强调显示信号进行合成而生成合成强调显示信号,在第2图像数据上叠加合成强调显示信号而生成显示用图像数据。

Description

摄像装置和摄像方法
技术领域
本发明涉及一边变更对焦位置一边取得多个图像数据、并对该多个图像数据进行合成的摄像装置和摄像方法。
背景技术
很难拍摄在全部焦点位置处合焦的照片。因此,在通过拍摄而取得图像数据后,使焦点位置移动,再次进行拍摄而取得图像数据,通过反复进行该处理,取得多个图像数据。而且,提出了如下方案:通过对该多个图像数据进行合成,提供以宽范围的被摄体距离合焦的图像数据(例如参照日本公开特许2001-298755号公报(以下称为“专利文献1”))。另外,将该合成处理称为深度合成处理。
并且,公知有用于显示拍摄图像中合焦的部分的强调显示处理(Highlight)(也称为“峰值对焦(focus peaking)处理”或“轮廓显示(subject outline)处理”)(例如参照日本公开特许2001-136429号公报(以下称为“专利文献2”))。该强调显示处理是如下处理:针对图像信号,相对于低频成分的信号,对高频成分的信号进行强调,容易观察图像的对比度较高的部分。
发明内容
发明要解决的课题
关于通过深度合成处理而生成的合成图像,通过实施强调显示处理,能够简单地确认图像的对比度较高的部分、即合焦的部分。特别是在实时取景显示时,通过确认实施了强调显示处理的深度合成图像,能够容易地确认合焦范围。但是,在取得多个图像数据后进行深度合成处理,而且需要复杂的图像处理,所以,从为了进行深度合成而开始拍摄到实际生成实施了强调显示处理的图像为止,花费相当多的时间。
本发明是鉴于这种情况而完成的,其目的在于,提供在进行深度合成的情况下高速且容易地进行深度扩大效果的确认的摄像装置和摄像方法。
用于解决课题的手段
本发明的第1方式的摄像装置具有:焦点位置变更部,其移动对焦位置;摄像部,其对被摄体像进行摄像,取得图像数据;强调显示信号生成部,其根据上述取得的图像数据生成强调显示信号;强调显示信号合成部,其对多个上述强调显示信号进行合成,生成合成强调显示信号;显示用图像生成部,其在图像数据上叠加上述合成强调显示信号,来生成显示用图像数据;以及控制部,其进行以下指示,通过上述焦点位置变更部使上述对焦位置移动到不同的焦点位置,通过上述摄像部取得第1图像数据、第2图像数据,通过上述强调显示信号生成部针对上述第1图像数据、第2图像数据生成第1强调显示信号、第2强调显示信号,通过上述强调显示信号合成部对上述第1强调显示信号和上述第2强调显示信号进行合成而生成合成强调显示信号,通过上述显示用图像生成部在上述第2图像数据上叠加上述合成强调显示信号而生成显示用图像数据。
本发明的第2方式的摄像方法用于摄像装置,该摄像装置具有对被摄体像进行摄像而取得图像数据的摄像部,其中,所述摄像方法进行如下步骤:使对焦位置移动到第1焦点位置,通过上述摄像部取得第1图像数据,使上述对焦位置移动到第2焦点位置,通过上述摄像部取得第2图像数据,使用上述第1图像数据生成第1强调显示信号,使用上述第2图像数据生成第2强调显示信号,对上述第1强调显示信号和上述第2强调显示信号进行合成而生成合成强调显示信号,在上述第2图像数据上叠加上述合成强调显示信号。
发明效果
根据本发明,能够提供在进行深度合成的情况下高速且容易地进行深度扩大效果的确认的摄像装置和摄像方法。
附图说明
图1是示出本发明一个实施方式的照相机的主要电气结构的框图。
图2是示出本发明一个实施方式的照相机的更加详细的电气结构的框图。
图3是示出本发明一个实施方式的照相机的深度合成的动作的流程图。
图4是示出本发明一个实施方式的照相机的深度合成的动作的流程图。
图5是示出本发明一个实施方式的照相机的LV显示图像生成的动作的流程图。
图6是示出本发明一个实施方式的照相机的强调显示信号存储的动作的流程图。
图7是示出本发明一个实施方式的照相机中、焦点位置的移动顺序的图。
图8是示出本发明一个实施方式的照相机中、焦点位置分割数与强调显示强度的关系的曲线图。
图9是示出本发明一个实施方式的照相机中、实施了强调显示处理的图像的生成过程的图。
图10是示出本发明一个实施方式的照相机的深度合成的变形例的动作的流程图。
具体实施方式
下面,作为本发明一个实施方式,对应用于数字照相机的例子进行说明。该照相机具有摄像部,通过该摄像部将被摄体像转换为图像数据,根据该转换后的图像数据,在配置于主体的显示部中实时取景显示被摄体像。拍摄者通过观察实时取景显示,决定构图和快门时机。在释放操作时,在记录介质中记录图像数据。当选择再现模式后,能够在显示部中再现显示记录介质中记录的图像数据。
并且,在实时取景显示中设定了深度合成模式的情况下,使摄影镜头的对焦位置依次移动,每当为了进行深度合成而取得图像数据时,实施强调显示处理,在实时取景图像上叠加实施了强调显示处理的图像来进行显示(参照图4的S35、图5的S63~S77、图9)。
图1是示出本发明一个实施方式的照相机的概略的主要电气结构的框图。摄像部1具有摄影镜头和摄像元件,对被摄体像进行光电转换而输出图像数据。该摄像部1作为对被摄体像进行摄像而取得图像数据的摄像部发挥功能。
焦点位置变更部3具有摄影镜头驱动用马达和马达驱动电路等驱动器,使摄影镜头中的对焦透镜(对焦用透镜)的焦点位置移动。该焦点位置变更部3作为移动对焦用透镜的焦点位置的焦点位置变更部发挥功能。该焦点位置变更部使实时取景显示时对焦点位置移动的控制与静态图像拍摄时对焦点位置移动的控制不同(例如参照图7)。
并且,焦点位置变更部进行控制,使得实时取景显示时的对焦位置从无限远侧和至近侧中的离移动范围的中心的焦点位置更远的一方焦点位置向另一方焦点位置移动(例如参照图7的LV1、LV2)。并且,在实时取景显示的情况下,相对于静态图像记录的情况,焦点位置变更部扩大焦点位置的间隔。在固定焦点位置的摄像装置、例如数字显微镜那样不具有使焦点位置变化的对焦用透镜的情况下,通过使固定被摄体的载物台上下移动,对摄影镜头与被摄体的距离进行调节,使对焦位置移动。
强调显示信号生成部5具有强调显示信号生成电路,对由摄像部1取得的图像数据实施强调显示处理,生成强调显示信号。每当通过焦点位置变更部3使对焦透镜移动时,取得图像数据,在取得该图像数据后,强调显示信号生成部5进行强调显示处理。因此,生成与各个焦点位置对应的强调显示信号。通过检测图像数据的高频成分(边缘)并进行放大,从而生成强调显示信号。强调显示信号生成部5作为根据所取得的图像数据生成强调显示信号的强调显示信号生成部发挥功能。
强调显示信号合成部7具有强调显示信号合成电路,进行由强调显示信号生成部5生成的强调显示信号的合成。如上所述,生成与各个焦点位置对应的强调显示信号,所以,对该多个强调显示信号进行合成。合成后的强调显示信号是对各焦点位置处的边缘进行相加后的信号,对应于在各焦点位置处合焦的部分。强调显示信号合成部7作为对多个上述强调显示信号进行合成而生成合成强调显示信号的强调显示信号合成部发挥功能。
显示用图像生成部9具有显示用图像生成电路,生成在由摄像部1取得的图像数据上叠加了由强调显示信号合成部7合成的合成强调显示信号而成的图像。即,显示用图像生成部9在最新的实时取景图像上叠加基于多个焦点位置处的强调显示信号的合成强调显示信号的图像。该叠加图像表示通过深度合成而生成的图像中合焦的部分。显示图像生成部9作为在图像数据上叠加合成强调显示信号而生成显示用图像数据的显示用图像生成部发挥功能。
显示部11将液晶面板或有机EL面板等设置在照相机主体的外装部上,显示实时取景图像等图像。该显示部11还能够显示由显示用图像生成部9生成的叠加了基于合成强调显示信号的图像的实时取景图像。另外,除了照相机主体的外装部以外,显示部11也可以是电子取景器(EVF)那样通过目镜部进行观察的类型。显示部11作为对显示用图像进行显示的显示部发挥功能。
控制部15具有CPU(Central Processing Unit:中央处理单元)及其周边电路、存储器等。控制部15与上述摄像部1、焦点位置变更部3、强调显示信号生成部5、强调显示信号合成部7、显示用图像生成部9、显示部11连接。控制部15的CPU根据存储器中存储的程序对各部进行控制,由此进行照相机的整体控制。
并且,控制部15作为如下的控制部发挥功能:其进行以下指示,通过焦点位置变更部使对焦透镜移动到不同的焦点位置,通过摄像部取得第1图像数据、第2图像数据,通过强调显示信号生成部针对第1图像数据、第2图像数据生成第1强调显示信号、第2强调显示信号,通过强调显示信号合成部对第1强调显示信号和第2强调显示信号进行合成而生成合成强调显示信号,通过显示用图像生成部在第2图像上叠加合成强调显示信号而生成显示用图像数据。该控制部进行使显示部显示由显示用图像生成部生成的显示用图像的指示。
并且,上述控制部反复进行如下指示:通过焦点位置变更部使对焦用透镜移动到第1焦点位置(例如图5的S65),通过摄像部取得第1图像(例如图5的S67),通过强调显示信号生成部生成第1强调显示信号(例如图5的S71),通过焦点位置变更部使对焦用透镜移动到与第1焦点位置不同的第2焦点位置(例如返回后的图5的S65),通过摄像部取得第2图像(例如返回后的图5的S67),通过强调显示信号生成部生成第2强调显示信号(例如返回后的S71),通过强调显示信号合成部对第1强调显示信号和第2强调显示信号进行合成而生成合成强调显示信号(例如返回后的图5的S75),使显示部显示通过显示用图像生成部在第2图像上叠加合成强调显示信号而生成的显示用图像(例如图4的S35)。
接着,使用图2对本实施方式的照相机的电气结构的详细情况进行说明。该照相机由照相机主体100和能够相对于该照相机主体100进行拆装的更换式镜头200构成。另外,在本实施方式中,摄影镜头是更换镜头式,但是不限于此,当然也可以是摄影镜头固定在照相机主体上的类型的数字照相机。
更换式镜头200由摄影镜头201、光圈203、驱动器205、微计算机207、闪存209构成,在与后述照相机主体100之间具有接口(以后称为I/F)199。
摄影镜头201由用于形成被摄体像的多个光学透镜(包含焦点调节用的对焦透镜(对焦用透镜))构成,是单焦点镜头或变焦镜头。在该摄影镜头201的光轴的后方配置有光圈203,光圈203的开口直径可变,对穿过了摄影镜头201的被摄体光束的光量进行控制。
并且,摄影镜头201能够通过驱动器205而在光轴方向上移动,根据来自微计算机207的控制信号使摄影镜头201内的对焦透镜移动,由此对对焦位置进行控制,在变焦镜头的情况下,还对焦距进行控制。驱动器205具有马达和马达驱动电路等,以使摄影镜头201移动。驱动器205具有图1的焦点位置变更部3的功能。并且,驱动器205还进行光圈203的开口直径的控制。摄影镜头201、驱动器205和焦点位置控制部129相当于图1中的焦点位置变更部3。
与驱动器205连接的微计算机207与I/F199和闪存209连接。微计算机207根据闪存209中存储的程序进行动作,与后述照相机主体100内的微计算机131进行通信,根据来自微计算机131的控制信号进行更换式镜头200的控制。
微计算机207从对焦位置检测部(未图示)取得对焦透镜的对焦位置,并且从变焦位置检测部(未图示)取得变焦镜头的变焦位置。向照相机主体100内的微计算机131发送该取得的对焦位置和变焦位置。
在闪存209中,除了所述程序以外,还存储更换式镜头200的光学的特性和调整值等各种信息。微计算机207向照相机主体100内的微计算机131发送这些各种信息。I/F199是用于进行更换式镜头200内的微计算机207与照相机主体100内的微计算机131的相互间的通信的接口。
在照相机主体100内,在摄影镜头201的光轴上配置有机械快门101。该机械快门101对被摄体光束的穿过时间进行控制,采用公知的焦面式快门等。在该机械快门101的后方,在通过摄影镜头201形成被摄体像的位置配置有摄像元件103。
摄像元件103以二维矩阵状配置有构成各像素的光电二极管,各光电二极管产生与受光量对应的光电转换电流,该光电转换电流通过与各光电二极管连接的电容器进行电荷蓄积。在各像素的前表面配置有拜耳排列的RGB滤色器。并且,摄像元件103具有电子快门。电子快门对从摄像元件103的电荷蓄积到电荷读出的时间进行控制,由此进行曝光时间的控制。另外,摄像元件103不限于拜耳排列,当然也可以是例如Foveon(注册商标)那样的层叠形式。摄像元件103相当于图1中的摄像部。
摄像元件103与模拟处理部105连接,该模拟处理部105具有模拟处理电路,针对从摄像元件103读出的光电转换信号(模拟图像信号),在降低复位噪声等之后进行波形整形,进而,进行增益放大以成为适当的亮度。
模拟处理部105与A/D转换部107连接,该A/D转换部107具有A/D转换电路,对模拟图像信号进行模拟-数字转换,将数字图像信号(以后称为图像数据)输出到总线110。另外,在本说明书中,将在图像处理部121中进行图像处理之前的图像数据称为RAW数据。
总线110是用于在照相机主体100的内部传输在照相机主体100的内部读出或生成的各种数据的传输路。在总线110上,除了所述A/D转换部107以外,还连接有AE(AutoExposure)处理部111、AF(Auto Focus)处理部113、强调显示信号生成部115、强调显示信号合成部117、强调显示信号存储部118、强调显示强度控制部119、图像处理部121、图像合成部123、图像压缩部125、图像解压缩部127、微计算机131、闪存135、SDRAM137、存储器接口(以后称为存储器I/F)139、显示驱动器143。
AE处理部111具有AE处理电路,根据经由总线110输入的图像数据测定被摄体亮度,经由总线110将该被摄体亮度信息输出到微计算机131。也可以设置专用的测光传感器以进行被摄体亮度的测定,但是,在本实施方式中,根据图像数据计算被摄体亮度。
AF处理部113具有AF处理电路,从图像数据中提取高频成分的信号,通过累积处理取得合焦评价值,经由总线110输出到微计算机131。在本实施方式中,通过所谓的对比度法进行摄影镜头201的对焦。在该实施方式中,以基于对比度法的AF控制为例进行了说明,但是,也可以对被摄体光束进行分割,在其光路上设置相位差传感器,或者在摄像元件上设置相位差传感器,通过基于相位差AF的AF控制进行对焦。
强调显示信号生成部115具有强调显示信号生成电路,根据来自摄像元件103的图像数据生成强调显示信号。强调显示信号生成部115检测图像数据的高频成分(边缘)并进行放大,由此生成强调显示信号。由强调显示信号生成部115生成的强调显示信号被存储在强调显示信号存储部118中。强调显示信号生成部115相当于图1的强调显示信号生成部5。
强调显示信号存储部118具有能够电改写的易失性存储器或能够电改写的非易失性存储器,后述SDRAM137也可以兼具强调显示信号存储部118的功能。强调显示信号存储部118在深度合成的第1张的拍摄时,存储由强调显示信号生成部115生成的强调显示信号。在第2张以后,存储由强调显示信号合成部117合成的强调显示信号(参照图5的S79)。
并且,强调显示信号存储部118仅在满足规定条件的情况下,存储由强调显示信号生成部115生成的强调显示信号或由强调显示信号合成部117生成的合成后的强调显示信号,另一方面,在不满足规定条件的情况下,删除强调显示信号。规定条件使用图6所示的流程图在后面叙述。
强调显示信号存储部118作为存储强调显示信号的强调显示信号存储部发挥功能。强调显示信号存储部在手抖量、摄像面上的被摄体的移动量、焦距、光圈值的全部值小于预先设定的阈值的情况下,存储强调显示信号,另一方面,在手抖量、摄像面上的被摄体的移动量、焦距、光圈值中的至少一个值变动为预先设定的阈值以上的情况下,不记录强调显示信号(参照图5的S79、图6)
强调显示信号合成部117具有强调显示信号合成电路,读出强调显示信号存储部118中存储的强调显示信号,对该读出的强调显示信号和由强调显示信号生成部115生成的强调显示信号进行合成。因此,每当从摄像元件103读出图像数据、利用强调显示信号生成部115生成强调显示信号时,对强调显示信号进行更新。强调显示信号合成部117进行所谓的单纯相加合成,所以,每当反复进行合成时,生成各图像数据中的边缘部分残留的合成图像数据。强调显示信号合成部117相当于图1的强调显示信号合成部7。
强调显示强度控制部119具有强调显示强度控制电路,通过对检测到的边缘的强调度进行变更,改变强调显示的观察方式。关于边缘的强调度的变更,可以在强调显示信号生成部115进行生成时进行变更,并且,也可以在强调显示信号合成部117进行合成时进行变更。并且,作为边缘的强调度的表现方式,也可以对边缘的粗细、边缘的透明度、边缘的颜色等进行变更,并且,不限于实线,也可以对虚线、点划线、单点划线、双点划线等线型进行变更。任意情况下,只要是表示边缘的线等属性的变更即可,通过该边缘可知强调显示的强度。
强调显示强度控制部119作为对强调显示信号的强度进行变更的强调显示强度变更部发挥功能。该强调显示强度控制部也可以根据多个焦点位置的间隔对强调显示信号的强度进行变更(例如参照图8)。多个焦点位置的间隔越宽,则强调显示强度变更部使强调显示信号的强度越强(例如参照图8)。
图像处理部121具有图像处理电路,对来自摄像元件103的RAW数据进行光学黑体(OB)减法处理、白平衡(WB)校正、在拜耳数据的情况下进行的同步化处理、颜色再现处理、伽马校正处理、颜色矩阵运算、噪声降低(NR)处理、边缘强调处理等。在一张拍摄中、并且未设定深度合成等特殊效果等的情况下,仅通过该图像处理部121的处理,图像处理完成。
图像合成部123具有图像合成电路,根据所设定的合成模式等进行各种图像合成。图像合成部123使用焦点位置等、不同状态下取得的多个图像数据进行图像数据的合成。在本实施方式中,能够设定加深景深的深度合成等合成模式。在设定了深度合成模式的情况下,图像合成部123对以多个对焦位置拍摄的多个图像数据进行位置对齐,提取图像的锐度(对比度)较高的区域,对锐度较高的区域进行合成,由此,与单拍相比,生成较深的景深的图像数据。
并且,图像合成部123生成在来自摄像元件103的实时取景图像的图像数据上叠加了基于由强调显示信号合成部117合成的强调显示信号的图像数据后的图像数据。在实时取景显示中,经由显示驱动器143使显示部145显示该图像数据(例如参照图3的S15、图9)。图像合成部123相当于图1的显示用图像生成部9。
图像压缩部125具有图像压缩电路,在向记录介质141记录图像数据时,在静态图像的情况下,按JPEG压缩方式等各种压缩方式对从SDRAM137读出的图像数据进行压缩,并且,在动态图像的情况下,按MPEG等各种压缩方式对从SDRAM137读出的图像数据进行压缩。
并且,图像解压缩部127具有图像压缩电路,还进行JPEG图像数据或MPEG图像数据的解压缩,以用于进行图像再现显示。在解压缩时,读出记录介质141中记录的文件,在图像解压缩部中实施解压缩处理后,将解压缩后的图像数据暂时存储在SDRAM137中。
另外,在本实施方式中,作为图像压缩方式,采用JPEG压缩方式和MPEG压缩方式,但是,压缩方式不限于此,当然也可以是TIFF、H.264等其他压缩方式。并且,压缩方式可以是可逆压缩,也可以是不可逆压缩。
焦点位置控制部129决定下一次拍摄的焦点位置,以在不同焦点位置进行拍摄。向镜头侧的微计算机207发送所决定的信息,镜头201的驱动器205进行焦点位置的变更。另外,焦点位置控制部129也可以通过微计算机131内的CPU来实现其功能。
微计算机131具有CPU(Central Processing Unit)及其周边电路、存储器等。微计算机发挥作为该照相机整体的控制部的功能,根据闪存135中存储的程序,对照相机的各种步骤进行总括控制。在微计算机131上,除了所述I/F199以外,还连接有操作部133。
操作部133具有电源按钮、释放按钮、动态图像按钮、再现按钮、菜单按钮、十字键、OK按钮等各种输入按钮和各种输入键等操作部件,检测这些操作部件的操作状态,将检测结果输出到微计算机131。微计算机131根据来自操作部133的操作部件的检测结果,执行与用户的操作对应的各种步骤。电源按钮是用于指示该数字照相机的电源的接通/断开的操作部件。当按下电源按钮后,该数字照相机的电源接通,当再次按下电源按钮后,该数字照相机的电源断开。
释放按钮由通过半按而接通的第一释放开关和从半按起进一步推入全按时接通的第二释放开关构成。微计算机131在第一释放开关接通后,执行AE动作和AF动作等拍摄准备步骤。并且,在第二释放开关接通后,对机械快门101等进行控制,从摄像元件103等取得基于被摄体图像的图像数据,执行将该图像数据记录在记录介质141中的一连串拍摄步骤,进行拍摄。
动态图像按钮是用于指示动态图像拍摄的开始和结束的操作按钮,最初操作动态图像按钮后,开始进行动态图像拍摄,再次操作后,结束动态图像拍摄。再现按钮是用于进行再现模式的设定和解除的操作按钮,当设定再现模式后,从记录介质141读出拍摄图像的图像数据,在显示面板145中再现显示拍摄图像。
菜单按钮是用于使显示面板145显示菜单画面的操作按钮。能够在菜单画面上进行各种照相机设定。作为照相机设定,例如存在深度合成等合成模式,作为合成模式,除此以外,也可以具有HDR合成、超清合成等模式。并且,在深度合成模式设定时,还能够设定用于进行强调显示处理并确认合焦的范围的景深调整模式。
操作部133作为操作部发挥功能,该操作部检测用于供拍摄者指示照相机动作的显示指示部件的操作状态。在该操作部检测到操作状态的情况下,在显示部中实时取景显示叠加了合成强调显示信号的图像(例如参照图3、图4)。在操作部133中包含指示动作的开始和结束的电源开关;指示拍摄准备的拍摄准备开关;指示拍摄的拍摄指示开关,所谓拍摄准备是指开始进行焦点调节、适当曝光量调节、图像处理的调节等。
多数情况下,照相机特有的指示拍摄准备的开关和指示拍摄开始的开关由双阶段开关构成,在第1段(1st)成为拍摄准备指示开关接通的半按状态,在第2段(2nd)成为拍摄开始指示开关接通的全按状态,但是,在不具有这些开关的其他摄像装置中,能够通过设置分别进行指示的开关来代替。操作部133的一部分还包含叠加在显示部145的显示面板上的触摸面板。并且,在操作部检测到操作状态的解除的情况下,显示未叠加强调显示信号的图像作为实时取景图像(例如参照图3、图4)。
闪存135存储用于执行微计算机131的各种步骤的程序。微计算机131根据该程序进行照相机整体的控制。
SDRAM137是图像数据等的暂时存储用的能够电改写的易失性存储器。该SDRAM137暂时存储从A/D转换部107输出的图像数据、在图像处理部121和图像合成部123等中进行处理后的图像数据。
存储器I/F139与记录介质141连接,进行相对于记录介质141写入和读出图像数据和图像数据中附加的标题等数据的控制。记录介质141例如是相对于照相机主体100拆装自如的存储卡等记录介质,但是不限于此,也可以是内置于照相机主体100中的硬盘等。记录介质141作为记录合成图像数据的图像记录部发挥功能。
显示驱动器143与显示部145连接,根据从SDRAM137或记录介质141读出并被图像解压缩部127解压缩后的图像数据,在显示部145中显示图像。
显示部145具有显示面板,配置在照相机主体100的背面等上,进行图像显示。显示部145在背面等照相机主体的外装部上配置显示面,因此,是容易受到外光影响的显示部,但是,能够设定大型的显示面板。另外,作为显示部145,能够采用液晶显示面板(LCD、TFT)、有机EL等各种显示面板。并且,也可以是如电子取景器(EVF)那样通过目镜部进行观察的类型。显示部145相当于图1的显示部11。
作为显示部145中的图像显示,包含在短时间内显示刚刚拍摄之后记录的图像数据的记录浏览显示、记录介质141中记录的静态图像和动态图像的图像文件的再现显示、以及实时取景显示等动态图像显示。在实时取景显示时设定了深度合成模式的情况下,显示深度合成后的图像,进而,在设定了景深调整模式的情况下,在实时取景图像上叠加被进行了强调显示处理后的图像来进行显示。
接着,使用图3~图6所示的流程图对本实施方式中的照相机的处理、特别是深度合成模式处理进行说明。另外,微计算机131根据闪存135中存储的程序对各部进行控制,执行图3~图6所示的流程图(后述图10所示的流程图也同样)。
关于图3所示的流程,在通过用户对操作部133进行操作而使电源开关接通时,开始进行动作。另外,不限于电源开关接通时,例如,也可以在指示照相机的拍摄准备的释放按钮的半按、对伴有触摸面板的显示部145进行了触摸操作时等其他时机,开始图3的流程。并且,也可以通过用户对操作部133进行操作而使图3的流程停止。
当图3所示的流程开始后,首先,判定是否是景深调整模式(深度合成模式)(S1)。用户能够在菜单画面中设定深度合成模式。在该步骤中,判定是否设定了深度合成模式。
在步骤S1中的判定结果为未设定景深调整模式的情况下,判定表示拍摄指示的开关是否接通(是否是2nd按下)(S3)。在用户进行正式拍摄以用于记录静态图像的情况下,全按操作部133的拍摄指示(释放)按钮。
在步骤S3中的判定结果为表示拍摄指示的开关未接通(2nd按下)的情况下,在步骤S5~S15中不进行深度合成处理,进行通常的实时取景显示。首先,进行拍摄(S5)。这里的拍摄是指取得1帧的图像数据以用于进行实时取景显示。具体而言,在敞开快门101的状态下,通过摄像元件103的电子快门在规定时间内进行曝光,当经过曝光时间后,读出图像数据。曝光时间使用由AE处理部111计算出的时间。在从摄像元件103读出图像数据时,也可以进行间疏处理。
在步骤S5中进行拍摄后,接着,进行图像处理(S7)。这里,针对步骤S5中取得的图像数据,在图像处理部121等中实施基本图像处理和实时取景显示用的图像处理。作为基本图像处理,进行一般的去马赛克、白平衡校正、颜色矩阵、伽马校正、边缘强调、噪声降低等。
进行图像处理后,接着,判定强调显示是否有效(S9)。用户能够在菜单画面等中进行强调显示处理的设定。在该步骤中,判定是否进行了该设定。另外,当强调显示设定为有效后,对图像数据实施强调显示处理,在显示部145中强调显示对比度较高的边缘部分,所以,能够确认合焦的范围。
在步骤S9中的判定结果为强调显示有效(设定)的情况下,生成强调显示信号(S11)。这里,强调显示信号生成部115使用步骤S7中被进行图像处理后的图像数据生成强调显示信号。关于强调显示信号生成,提取图像处理后的图像的边缘,对其进行强调处理。在深度合成中也提取图像的锐度(对比度)较高的区域,所以,能够设为同样的处理。也可以对强调显示用的深度合成的处理进行简化,并且,也可以对用于提取锐度较高的区域的阈值进行变更。只要能够生成强调显示信号即可,可以使用图像处理前的图像,也可以使用被摄体提取等边缘提取以外的方法。
生成强调显示信号后,接着,进行叠加处理(S13)。这里,在步骤S7中被进行图像处理后的实时取景显示用的图像数据上叠加基于步骤S11中生成的强调显示信号的图像数据。关于叠加处理,例如在图像处理后的图像数据中单纯加上基于强调显示信号的图像数据即可。
在步骤S13中进行叠加处理后、或步骤S9中的判定结果为强调显示无效的情况下,接着,进行实时取景(LV)显示(S15)。在强调显示有效(设定)的情况下,在显示部145中显示在实时取景图像中强调了对比度较高的部分的图像。另一方面,在强调显示无效(未设定)的情况下,在显示部145中仅显示实时取景图像。
返回步骤S3,在该步骤中的判定结果为表示拍摄指示的开关接通(2nd按下)的情况下,进行静态图像拍摄用的正式拍摄(S21)。这里,进行控制,使得光圈203的光圈值成为由AE处理部111计算出的光圈值。并且,在暂时闭合快门101后,在由AE处理部111计算出的曝光时间内打开快门101,在经过曝光时间后,闭合快门101。然后,从摄像元件103读出图像数据。
在步骤S21中进行拍摄后,接着,进行图像处理(S23)。这里,针对步骤S21中取得的图像数据,在图像处理部121等中实施记录用的图像处理,并且,图像压缩部125实施图像数据的压缩处理。实施了该压缩处理后的图像数据经由存储器I/F139记录在记录介质141中。
在步骤S23中进行图像处理后,进行记录浏览显示(S25)。这里,使用步骤S23中实施了图像处理后的图像数据,在显示部145中进行规定时间的记录浏览显示。通过该显示,用户能够确认记录用的所拍摄的图像。在确认结果为不是满意的拍摄的情况下,能够进行再次拍摄。
返回步骤S1,在该步骤的判定结果为设定了景深调整模式(深度合成模式)的情况下,接着,判定表示拍摄指示的开关是否接通(是否是2nd按下)(S31)。如上所述,在用户进行正式拍摄以用于记录静态图像的情况下,全按操作部133的释放按钮。
在步骤S31中的判定结果为表示拍摄指示的开关未接通(2nd按下)的情况下,在步骤S33、S35中进行通常的实时取景显示,并且进行强调显示处理而进行叠加显示。首先,进行实时取景显示图像生成(S33)。在强调显示无效的情况下,进行通常的实时取景显示。
另一方面,在设定了强调显示的情况下,使对焦透镜移动到预先决定的焦点位置,在该位置取得图像数据。然后,使其移动到下一个焦点位置,在该位置取得图像数据。通过反复进行对焦透镜的移动和图像数据的取得,取得多个图像数据。每当在预先决定的焦点位置取得图像数据时,实施强调显示处理,取得强调显示信号。并且,对此前取得的强调显示信号进行合成,在为了进行实时取景显示而取得的图像数据上叠加基于合成后的强调显示信号的图像数据,生成基于叠加处理的图像数据。该实时取景显示图像生成的详细动作使用图5在后面叙述。
在步骤S33中进行实时取景显示图像生成后,接着,进行实时取景显示(S35)。在步骤S33中,在预先决定的焦点位置取得图像数据以用于进行深度合成,所以,每当取得图像数据时,在显示部145中进行实时取景显示。并且,在步骤S33的实时取景显示图像生成中,在强调显示有效的情况下,还叠加被强调显示处理后的图像来进行实时取景显示。
返回步骤S31,在该步骤中的判定结果为表示拍摄指示的开关接通(2nd按下)的情况下,在步骤S41以后,进行深度合成用的拍摄和合成处理等。首先,设定N次反复(S41),进行焦点位置的移动(S43)。这里,使对焦透镜移动到预先决定的焦点位置,在该位置停止。
进行焦点位置移动后,进行拍摄(S45)。这里,在移动后的位置取得图像数据,将该图像数据暂时存储在SDRAM137中。进行拍摄后,判定是否反复了N次(S47)。在该判定结果为N次反复未结束的情况下,移动到下一个焦点位置,在该位置取得图像数据并暂时存储。通过反复进行N次对焦透镜的移动和图像数据的取得,取得N个图像数据。
当进行N次反复后,接着,进行图像处理(S49)。这里,图像处理部121对步骤S45中取得并暂时存储的N个图像数据实施图像处理。实施图像处理后,接着,进行图像合成(S51)。这里,图像合成部123使用N个图像数据进行深度合成。在该深度合成中,针对N个图像数据进行位置对齐,提取图像的锐度(对比度)较高的区域,对提取出的锐度较高的区域进行合成,生成合成图像的图像数据。该生成的合成图像的图像数据被记录在记录介质141中。
进行图像合成后,接着,进行记录浏览显示(S53)。这里,使用步骤S51中进行合成处理后的图像数据,在显示部145中进行规定时间的记录浏览显示。通过该显示,用户能够确认记录用的深度合成图像。在确认结果为不是满意的合成图像的情况下,进行再次拍摄。
在步骤S5中进行记录浏览显示后、或步骤S35中进行实时取景显示后、或步骤S25中进行记录浏览显示后、或步骤S15中进行实时取景显示后,接着,判断电源是否断开(S17)。这里,判定是否操作电源按钮而使电源断开。在该判定结果为电源接通的情况下,返回步骤S1,执行所述动作。另一方面,在电源断开的情况下,结束该流程。
这样,在本流程中,在未设定深度合成模式(景深调整模式)的情况下,在未全按释放按钮的情况下,进行通常的实时取景显示(S1→S3→S5→S7→S9“否”→S15)。并且,在此时设定了强调显示的情况下,显示在通常的实时取景显示上叠加了强调显示的实时取景图像(S1→S3→S5→S7→S9“是”→S11→S13→S15)。
并且,在设定了深度合成模式(景深调整模式)的情况下,在未全按释放按钮的情况下,进行实时取景显示(S1“是”→S31“否”→S33→S35)。此时的实时取景显示使用图5在后面叙述。在设定了深度合成模式(景深调整模式)的情况下,当全按释放按钮后,在预先决定的焦点位置依次进行拍摄,使用通过该拍摄而取得的多个图像数据实施深度合成处理,进行显示(S1“是”→S31“是”→S41~S53)。
另外,该流程图还能够进行静态图像拍摄。但是,也可以不能进行静态图像拍摄,该情况下,省略S3、S21~S25、S31、S41~S43即可。并且,也可以代替静态图像拍摄或与静态图像拍摄一起进行动态图像拍摄。
接着,使用图5所示的流程图对实时取景显示图像生成(图4的S33)的详细动作进行说明。
进入实时取景显示图像生成的流程后,首先,与步骤9同样,判定强调显示是否有效(设定)(S61)。在该判定结果为强调显示有效的情况下,接着,判定焦点位置移动是否结束(S63)。在深度合成模式的情况下,以手动或自动的方式预先决定进行拍摄的对焦透镜的焦点位置。在该步骤中,判定是否移动到预先决定的焦点位置。
在步骤S63中的判定结果为未移动到焦点位置的情况下,进行焦点位置移动(S65)。这里,在预先决定的位置,按照所决定的顺序进行对焦透镜的移动。焦点位置和移动的顺序使用图7在后面叙述。
在步骤S65中移动到焦点位置后,进行拍摄(S67)。与步骤S5同样,这里的拍摄是指取得1帧的图像数据以用于进行实时取景显示。
进行拍摄后,接着,进行图像处理(S69)。这里,与步骤S7同样,针对步骤S67中取得的图像数据,在图像处理部121等中实施实时取景显示用的图像处理。
进行图像处理后,接着,进行强调显示信号生成(S71)。这里,与步骤S11同样,强调显示信号生成部115使用步骤S69中被进行图像处理后的图像数据生成强调显示信号。
生成强调显示信号后,接着,进行强调显示信号的读入(S73)。合成后的强调显示信号在后述步骤S79中存储在强调显示信号存储部118中。在该步骤中,读出该存储的强调显示信号。
进行强调显示信号的读入后,接着,进行强调显示信号的合成(S75)。这里,对步骤S73中生成的强调显示信号和步骤S73中读出的合成强调显示信号进行合成。关于合成,对两个信号进行单纯相加即可。另外,开始进行深度合成,在第一次拍摄时,不进行强调显示信号合成,在步骤S79中,将根据第一次拍摄时取得的图像数据生成的强调显示信号存储在强调显示信号存储部118中。
进行强调显示信号的合成后,接着,进行叠加处理(S75)。这里,在步骤S67中取得的实时取景用的图像数据上叠加基于步骤S75中合成后的强调显示信号的图像数据。这里,根据所生成的图像数据,在步骤S35(参照图4)中进行实时取景显示。另外,除了每次使用步骤S67中取得的最新的图像数据作为叠加用的图像数据以外,例如,也可以最初在作为基本的焦点位置取得图像数据来进行存储,每次读出该存储图像来进行使用。
返回步骤S63,在该步骤中的判定结果为焦点位置移动结束的情况下,与步骤S67同样,进行拍摄(S81)。这里,移动到焦点位置,不重复进行强调显示处理,仅进行用于进行实时取景显示的拍摄。进行拍摄后,与步骤S69同样,进行图像处理(S83)。这里,对步骤S81中取得的图像数据进行图像处理。
进行图像处理后,进行强调显示信号读入(S85)。这里,读出步骤S71中生成并存储在强调显示信号存储部118中的强调显示信号。进行强调显示信号的读入后,进行叠加处理(S87)。这里,在步骤S81中取得的图像数据上叠加基于步骤S85中读出的强调显示信号的图像数据。
在步骤S77或S87中进行叠加处理后,接着,进行强调显示信号存储(S79)。将步骤S75中合成后的强调显示信号存储在强调显示信号存储部118中。另外,在第一次拍摄的情况下,存储步骤S71中生成的强调显示信号。在进行强调显示处理的过程中或改变焦点位置的拍摄的期间内,当被摄体大幅移动或产生手抖等时,通过强调显示处理而提取出的图像的边缘不连续。因此,在成为图像的边缘不连续的状态的情况下,删除强调显示信号存储部118中存储的强调显示信号。该强调显示信号存储的详细动作使用图6在后面叙述。
返回步骤S61,在该步骤中的判定结果为强调显示无效的情况下,进行拍摄(S91)。由于是未设定强调显示的情况,所以,在步骤S91和S93中进行用于进行通常的实时取景显示的处理。在步骤S91中,这里的拍摄是指取得1帧的图像数据以用于进行实时取景显示。
进行拍摄后,接着,进行图像处理(S93)。这里,针对步骤S91中取得的图像数据,在图像处理部121等中实施基本图像处理和实时取景显示用的图像处理。
在步骤S93中进行图像处理后、或在步骤S79中进行强调显示信号存储后,结束实时取景显示图像生成的流程,返回原来的流程。根据该实时取景显示图像生成的流程中生成的图像数据,在步骤S35(图4)中进行实时取景显示。
这样,在实时取景显示图像生成的流程中,在第一次拍摄中,使对焦透镜移动到预先决定的焦点位置(S65),在该位置进行拍摄、图像处理(S67、S69)。根据这里生成的图像数据生成强调显示信号(S71),在图像数据上叠加强调显示信号(S77),存储强调显示信号(S79)。
并且,在第二次拍摄以后,使对焦透镜移动到预先决定的焦点位置(S65),在该位置进行拍摄、图像处理(S67、S69),根据所生成的图像数据生成强调显示信号(S71)。然后,读出所存储的强调显示信号(S73),对该强调显示信号和步骤S71中生成的强调显示信号进行合成。进行合成强调显示信号和步骤S67中取得的图像数据的叠加处理(S77),存储该合成强调显示信号(S79)。根据该叠加处理后的图像数据进行实时取景显示(图4的S35)。
接着,使用图6所示的流程图对强调显示信号存储(图5的S79)的详细动作进行说明。这里,在成为图像的边缘不连续的状态的情况下,删除强调显示信号存储部118中存储的强调显示信号,另一方面,在边缘没有不连续的情况下,存储强调显示信号。并且,在拍摄者有意结束了强调显示处理的情况下,删除强调显示信号。
进入强调显示信号存储的流程后,首先,判定是否产生了手抖(S101)。在照相机主体100上搭载了陀螺仪、加速度传感器、角速度传感器等检测施加给照相机主体的运动的手抖传感器的情况下,根据该手抖传感器的输出进行判定。并且,也可以根据图像数据来检测手抖。
在步骤S101中的判定结果为未产生手抖的情况下,接着,判定被摄体的运动是否较大(S103)。这里,根据当前和规定时间前的图像数据,根据摄像面上的被摄体的移动量是否变动了预先设定的阈值以上来进行判定。
在步骤S103中的判定结果为被摄体的运动不大的情况下,接着,判定焦距是否变更(S105)。这里,从更换镜头200取得与当前设定的焦距有关的信息,判定焦距是否变动了预先决定的值以上。这是因为,当焦距变化时,视场角变化,通过强调显示处理而得到的边缘不连续。
在步骤S105中的判定结果为焦距未变化的情况下,接着,判定光圈值是否变更(S107)。这里,从更换镜头200取得与当前设定的光圈值有关的信息,判定光圈值是否变动了预先决定的值以上。这是因为,当光圈值变化时,景深变化。另外,也可以根据从照相机主体100对更换镜头200指示的光圈值进行判定。并且,在光圈值与被摄体亮度联动地变化的情况下,也可以根据被摄体亮度进行判定。
在步骤S107中的判定结果为光圈值未变更的情况下,接着,判定是否存在复位指示(S109)。拍摄者在希望结束强调显示处理的情况下进行该复位指示。关于复位指示,拍摄者也可以通过进行规定动作而向照相机主体进行指示。例如,通过操作按钮(释放按钮等)的按下、触摸面板上的触摸操作、对焦环的高速旋转、使焦点位置移动规定量以上等各种动作来进行指示。
在步骤S109中的判定结果为不存在复位指示的情况下,存储强调显示信号(S111)。在不符合步骤S101~S109所示的任意条件的情况下,存储进行合成或读入的强调显示信号,以在下次的实时取景显示图像生成时使用强调显示信号。
另一方面,在步骤S101~S109中的判定结果为“是”的情况下,删除所存储的强调显示信号(S113)。该情况是符合步骤S101~S109中的任意条件的情况,该情况下,从生成所存储的强调显示信号的状况起发生变化,所以,丢弃所存储的强调显示信号。
这样,在强调显示信号存储的流程中,当满足用于中止的规定条件后,删除强调显示信号,能够中止强调显示处理。并且,在不满足用于中止的规定条件的情况下,存储强调显示信号,能够继续进行强调显示处理。
接着,使用图7对所述步骤S43(图4)、S65(图5)中的焦点位置移动控制进行说明。在图7所示的例子中,设深度合成用的拍摄张数为5张,但是,拍摄张数也可以多于5张,并且还可以少于5张。
在图7中,位置Lr是基准焦点位置,是进行深度合成时的焦点位置中心,并且是作为合成中心的焦点位置(被摄体距离)。并且,位置L1~L4是从至近侧到无限远侧之间的焦点位置(被摄体距离)。在图7中,作为拍摄顺序,在静态图像的情况下,示出静态图像1和静态图像2这2个例子。在图4的步骤S43中执行该例子。
关于静态图像1,首先,在基准焦点位置Lr进行拍摄,然后,按照L2、L3、L1、L4的顺序进行拍摄。在该方法中,能够减少焦点位置接近基准焦点位置Lr的时间,容易进行深度合成处理时的位置对齐,在画质方面是有利的。关于静态图像2,从至近侧到无限远侧,在L1、L2、Lr、L3、L4依次进行拍摄。在该方法中,能够考虑焦点位置移动的移动速度和焦点位置的停止位置的偏差。并且,能够使合计的移动时间成为最小限度。
并且,在图7中,作为实时取景(LV)显示的情况下的拍摄顺序的例子,示出LV1和LV2这2个例子。在图5的步骤S65中执行该例子。关于LV1,从离基准焦点位置最远的焦点位置起依次进行拍摄,以能够尽早确认深度扩大幅度。在拍摄到L3之后,保护在Lr的位置即可。在复位处理后或拍摄准备指示开关接通(1st释放按下)后,再次从最初起进行拍摄。并且,关于LV2,仅在3点即L1、Lr、L4进行拍摄,以能够迅速确认深度扩大幅度。
另外,在图7中,在静态图像拍摄时和实时取景显示时成为相同分割数。但是,在实时取景显示的情况下,与静态图像的情况相比,也可以使焦点位置间隔稀疏,从而减少拍摄张数。即,在实时取景显示的情况下,焦点位置变更部3也可以相对于静态图像存储的情况扩大焦点位置的间隔。通过减少拍摄张数,能够在短时间内确认深度扩大幅度。
接着,使用图8对焦点位置的分割数和强调显示的强度之间的关系进行说明。在显示部145中显示实施了强调显示处理的图像时,也可以根据焦点位置的分割数对强调显示的参数进行变更。在图8中,横轴表示焦点位置的分割数,纵轴表示强调显示的强度。
在增多分割数、细化焦点位置的间隔的情况下,减弱强调显示的强度。在分割数较多的情况下,能够在画面内较宽地取得强调显示信号,所以,当增强强调显示的强度时,很难观察被摄体。另一方面,在减少分割数的情况下(焦点位置的间隔较宽),增强强调显示的强度。在分割数较少的情况下,多数情况下能够取得强调显示信号的是图像的一部分,所以,增强强调显示的强度,容易观察强调显示信号。
强调显示强度控制部119在进行步骤S71(图5)中的强调显示信号生成时,一并执行该强调显示信号的强度的变更。即,针对步骤S71中生成的强调显示信号,强调显示强度控制部119对强调显示的强度进行变更即可。这样,也可以根据多个焦点位置的间隔对强调显示信号的强度进行变更,进而,也可以是多个焦点位置的间隔越宽,则强调显示信号的强度越强。
接着,使用图9对本实施方式中的拍摄图像和带强调显示信号的拍摄图像的例子进行说明。图9所示的例子与图7的LV2的例子相似,拍摄次数是在时刻T1、T2、T3进行的3次,按照焦点位置为Lr、L1、L4的顺序进行拍摄。
拍摄图像Ph1是在时刻T1、焦点位置Lr拍摄到的图像。在Fon的范围内合焦。并且,带强调显示信号的拍摄图像PPh1是使用拍摄图像Ph1的图像数据进行步骤S71~S77(图5)的强调显示处理而生成的图像。通过进行强调显示处理,在实时取景图像中还叠加图像的边缘Lp1来进行显示。
拍摄图像Ph2是在时刻T2、焦点位置L1拍摄到的图像。在Fon的范围内合焦。并且,带强调显示信号的拍摄图像PPh2是使用拍摄图像Ph2的图像数据进行步骤S71~S77(图5)的强调显示处理而生成的图像。变更为焦点位置L1,所以,显示图像的边缘Lp2。并且,在强调显示处理时,进行了强调显示信号的合成,所以,除了图像的边缘Lp1以外,还显示边缘Lp2。因此,在实时取景图像上叠加图像的边缘Lp1、Lp2来进行显示。
拍摄图像Ph3是在时刻T3、焦点位置L2拍摄到的图像。在Fon的范围内合焦。并且,带强调显示信号的拍摄图像PPh3是使用拍摄图像Ph3的图像数据进行步骤S71~S77(图5)的强调显示处理而生成的图像。变更为焦点位置L2,所以,显示图像的边缘Lp3。并且,在强调显示处理时,进行了强调显示信号的合成,所以,除了图像的边缘Lp1、Lp2以外,还显示边缘Lp3。因此,在实时取景图像上叠加图像的边缘Lp1、Lp2、Lp3来进行显示。通过确认边缘Lp1~Lp3,简单地得知对比度较高且合焦的部分。
这样,在本实施方式中,在实时取景显示时,进行深度合成模式和强调显示设定后,在正式拍摄时(2nd按下时),能够预测通过深度合成处理而生成的深度合成图像的合焦的范围。在未成为满意的景深的情况下,对焦点位置间隔、焦距、光圈值等各种拍摄条件进行变更,再次通过实时取景显示进行确认即可。
接着,使用图10所示的流程图对本实施方式的深度合成的控制流程的变形例进行说明。在本发明一个实施方式的图3和图4所示的流程图中,在通过用户对操作部133进行操作而使处理开始后,反复执行处理,直到通过用户再次对操作部133进行操作而使处理停止为止。与此相对,在本变形例中,仅在释放按钮的半按操作中执行强调显示处理,当解除半按后,也解除强调显示处理。
本变形例的不同之处在于,在图3和图4中追加步骤S30(图10),其他处理与图3和图4的流程图相同。因此,以不同之处为中心进行说明,对执行相同处理的步骤标注相同步骤编号并省略详细说明。
进入图10所示的流程后,判定是否是深度合成模式(景深调整模式)(S1)。在该判定结果为设定了深度合成模式的情况下,判定拍摄准备指示开关是否被进行了接通(1st按下、即释放按钮的半按)操作(S30)。
在步骤S30中的判定结果为拍摄准备指示开关未接通(1st按下)的情况下,进入步骤S5,进行拍摄。以后与图3所示的处理相同。另一方面,在拍摄准备指示开关接通(1st按下)的情况下,进入步骤S31(图4),判定表示拍摄指示的开关是否接通(2nd按下)。因此,在拍摄准备指示开关接通(1st按下)、且表示拍摄指示的开关未接通(2nd按下)的情况下,即,在持续进行拍摄准备指示(释放按钮的半按)操作的期间内,在步骤S33、S34中进行深度合成时的带强调显示信号的实时取景显示。并且,在解除了释放按钮的半按操作的情况下,进行通常的实时取景显示(S5、S15),在设定了强调显示的情况下,每当进行一张拍摄时,进行带强调显示信号的实时取景显示(S9“是”、S11~S15)。
另外,在图10所示的流程图中,在拍摄准备指示(释放按钮的半按)操作中,进行带强调显示信号的实时取景显示。但是,作为指示带强调显示信号的实时取景显示的操作部件,不限于释放按钮,也可以是其他操作部件、例如功能按钮、触摸面板等。
这样,在本变形例中,具有检测显示指示部件的操作状态的操作部(例如操作部133),该显示指示部件用于供拍摄者指示照相机动作,在操作部检测到操作状态的情况下,在显示部中实时取景显示叠加了合成强调显示信号的图像(例如图10的S30“是”→图4的S33)。并且,在操作部检测到操作状态的解除的情况下,显示未叠加强调显示信号的图像作为实时取景图像(例如图10的S30“否”→S5)。因此,能够仅在拍摄者需要时进行强调显示处理。
如以上说明的那样,在本发明一个实施方式和变形例中,进行以下指示,通过焦点位置变更部使对焦透镜移动到不同的焦点位置(例如参照图5的S65),通过摄像部取得第1图像数据、第2图像数据(例如参照图5的S67),通过强调显示信号生成部针对第1图像数据、第2图像数据生成第1强调显示信号、第2强调显示信号(例如参照图5的S71),通过强调显示信号合成部对第1强调显示信号和第2强调显示信号进行合成而生成合成强调显示信号(例如参照图5的S75),通过显示用图像生成部在第2图像上叠加合成强调显示信号而生成显示用图像数据(例如参照图5的S77)。
因此,能够高速且容易地进行深度扩大效果的确认。即,在本发明一个实施方式和变形例中,每当从摄像部取得图像数据时进行强调显示信号的生成,并且,每当取得图像数据时进行强调显示信号的合成。因此,与在进行深度合成处理后生成强调显示信号相比,能够在短时间内进行处理,能够容易地确认深度扩大效果。
另外,在本发明一个实施方式和变形例中,AE处理部111、AF处理部113、强调显示信号生成部115、强调显示信号合成部117、强调显示强度控制部119、图像处理部121、图像合成部123、焦点位置控制部129等与微计算机131分开构成。但是,不限于此,各部的全部或一部分也可以利用软件构成,还可以通过微计算机131内的CPU实现这些各部的全部或一部分。并且,上述各部的全部或一部分可以是根据由Verilog记述的程序语言生成的门电路等硬件结构,并且,可以利用使用了DSP(Digital Signal Processor)等软件的硬件结构。这些当然可以适当组合。并且,也可以通过硬件电路、Verilog、DSP等实现通过微计算机131内的CPU以软件方式实现的功能。
并且,在本实施方式中,作为拍摄用的设备,使用数字照相机进行了说明,但是,作为照相机,可以是数字单反照相机,也可以是无反照相机,还可以是小型数字照相机,还可以是摄像机、摄影机这样的动态图像用的照相机,进而,还可以是内置于便携电话、智能手机、便携信息终端、个人计算机(PC)、平板型计算机、游戏设备等中的照相机、医疗用照相机、显微镜等科学设备用的照相机、车搭照相机、监视用照相机。只要是进行强调显示处理的设备,都能够应用本发明。
并且,关于本说明书中说明的技术中主要利用流程图说明的控制,多数情况下进行研究而能够利用程序进行设定,有时也收纳在记录介质或记录部中。关于记录在该记录介质、记录部中的记录方法,可以在产品出厂时进行记录,也可以利用发布的记录介质,还可以经由因特网进行下载。
并且,关于权利要求书、说明书和附图中的动作流程,为了简便而使用“首先”、“接着”等表现顺序的词语进行了说明,在没有特别说明的部位,不是必须按照该顺序进行实施。
本发明不限于上述实施方式,能够在实施阶段在不脱离其主旨的范围内对结构要素进行变形而具体化。并且,通过上述实施方式所公开的多个结构要素的适当组合,能够形成各种发明。例如,也可以删除实施方式所示的全部结构要素中的若干个结构要素。进而,还可以适当组合不同实施方式中的结构要素。

Claims (14)

1.一种摄像装置,其具有:
焦点位置变更部,其移动对焦位置;
摄像部,其对被摄体像进行摄像,取得图像数据;
强调显示信号生成部,其根据上述取得的图像数据生成强调显示信号;
强调显示信号合成部,其对多个上述强调显示信号进行合成,生成合成强调显示信号;
显示用图像生成部,其在图像数据上叠加上述合成强调显示信号,来生成显示用图像数据;以及
控制部,其进行以下指示:通过上述焦点位置变更部使上述对焦位置移动到不同的焦点位置,通过上述摄像部取得第1图像数据、第2图像数据,通过上述强调显示信号生成部针对上述第1图像数据、第2图像数据生成第1强调显示信号、第2强调显示信号,通过上述强调显示信号合成部对上述第1强调显示信号和上述第2强调显示信号进行合成而生成合成强调显示信号,通过上述显示用图像生成部在上述第2图像数据上叠加上述合成强调显示信号而生成显示用图像数据。
2.根据权利要求1所述的摄像装置,其中,
上述摄像装置还具有对显示用图像进行显示的显示部,
上述控制部进行使上述显示部显示由上述显示用图像生成部生成的上述显示用图像的指示。
3.根据权利要求2所述的摄像装置,其中,
上述控制部反复进行如下指示:
通过上述焦点位置变更部使对焦位置移动到第1焦点位置,通过上述摄像部取得第1图像,通过上述强调显示信号生成部生成第1强调显示信号,
通过上述焦点位置变更部使对焦位置移动到与上述第1焦点位置不同的第2焦点位置,通过上述摄像部取得第2图像,通过上述强调显示信号生成部生成第2强调显示信号,
通过上述强调显示信号合成部对上述第1强调显示信号和上述第2强调显示信号进行合成而生成合成强调显示信号,
使上述显示部显示由上述显示用图像生成部在上述第2图像上叠加上述合成强调显示信号而生成的显示用图像。
4.根据权利要求1所述的摄像装置,其中,
上述摄像装置还具有存储上述强调显示信号的强调显示信号存储部,
上述强调显示信号存储部在手抖量、摄像面上的被摄体的移动量、焦距、光圈值这所有的值都小于预先设定的阈值的情况下,存储上述强调显示信号,另一方面,在手抖量、摄像面上的被摄体的移动量、焦距、光圈值中的至少一个值变动为预先设定的阈值以上的情况下,不记录强调显示信号。
5.根据权利要求3或4所述的摄像装置,其中,
上述焦点位置变更部使实时取景显示时的焦点位置移动的控制与静态图像拍摄时的焦点位置移动的控制不同。
6.根据权利要求5所述的摄像装置,其中,
上述焦点位置变更部进行控制,使得实时取景显示时的对焦位置从无限远侧和至近侧中的离移动范围的中心的焦点位置更远的一方焦点位置向另一方焦点位置移动。
7.根据权利要求5所述的摄像装置,其中,
在实时取景显示的情况下,相对于静态图像拍摄的情况,上述焦点位置变更部扩大焦点位置的间隔。
8.根据权利要求7所述的摄像装置,其中,
上述摄像装置还具有对强调显示信号的强度进行变更的强调显示强度变更部,
根据多个上述焦点位置的间隔对强调显示信号的强度进行变更。
9.根据权利要求8所述的摄像装置,其中,
上述多个焦点位置的间隔越宽,则上述强调显示强度变更部使强调显示信号的强度越强。
10.根据权利要求2所述的摄像装置,其中,
上述摄像装置还具有操作部,该操作部检测用于供拍摄者指示照相机动作的显示指示部件的操作状态,
在上述操作部检测到上述操作状态的情况下,在上述显示部中对叠加了上述合成强调显示信号的图像进行实时取景显示。
11.根据权利要求10所述的摄像装置,其中,
在上述操作部检测到上述操作状态的解除的情况下,显示未叠加强调显示信号的图像作为实时取景图像。
12.一种摄像装置中的摄像方法,该摄像装置具有对被摄体像进行摄像而取得图像数据的摄像部,其中,所述摄像方法进行如下步骤:
使对焦位置移动到第1焦点位置,通过上述摄像部取得第1图像数据,使上述对焦位置移动到第2焦点位置,通过上述摄像部取得第2图像数据,
使用上述第1图像数据生成第1强调显示信号,使用上述第2图像数据生成第2强调显示信号,
对上述第1强调显示信号和上述第2强调显示信号进行合成而生成合成强调显示信号,
在上述第2图像数据上叠加上述合成强调显示信号。
13.根据权利要求12所述的摄像方法,其中,
上述摄像装置还具有对显示用图像进行显示的显示部,
在所述摄像方法中,使上述显示部显示通过在上述第2图像数据上叠加上述合成强调显示信号而生成的显示用图像。
14.根据权利要求13所述的摄像方法,其中,
上述摄像装置还具有存储上述强调显示信号的强调显示信号存储部,
上述强调显示信号存储部在手抖量、摄像面上的被摄体的移动量、焦距、光圈值这所有的值都小于预先设定的阈值的情况下,存储上述强调显示信号,另一方面,在手抖量、摄像面上的被摄体的移动量、焦距、光圈值中的至少一个值变动为预先设定的阈值以上的情况下,不记录强调显示信号。
CN201710498206.5A 2016-07-01 2017-06-27 摄像装置和摄像方法 Pending CN107566714A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016131556A JP6717690B2 (ja) 2016-07-01 2016-07-01 撮像装置、撮像方法、およびプログラム
JP2016-131556 2016-07-01

Publications (1)

Publication Number Publication Date
CN107566714A true CN107566714A (zh) 2018-01-09

Family

ID=60808064

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710498206.5A Pending CN107566714A (zh) 2016-07-01 2017-06-27 摄像装置和摄像方法

Country Status (3)

Country Link
US (1) US10298862B2 (zh)
JP (1) JP6717690B2 (zh)
CN (1) CN107566714A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7173841B2 (ja) 2018-11-14 2022-11-16 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
JP7198055B2 (ja) * 2018-11-16 2022-12-28 キヤノン株式会社 画像処理装置およびその制御方法ならびにプログラム
WO2021184353A1 (zh) * 2020-03-20 2021-09-23 华为技术有限公司 一种摄像装置
WO2023195216A1 (ja) * 2022-04-07 2023-10-12 株式会社島津製作所 データ処理方法、プログラム、画像処理装置、および、走査型プローブ顕微鏡

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109310A1 (en) * 2007-10-26 2009-04-30 Seiji Kobayashi Imaging device, imaging method, display control device, display control method, and program
CN103227900A (zh) * 2012-01-30 2013-07-31 宾得理光映像有限公司 数字照相机
CN103262523A (zh) * 2011-12-12 2013-08-21 松下电器产业株式会社 摄像装置、摄像系统、撮像方法以及图像处理方法
JP2015046787A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 撮像装置
CN105191284A (zh) * 2013-04-22 2015-12-23 奥林巴斯株式会社 摄像装置及其控制方法
CN105282429A (zh) * 2014-06-03 2016-01-27 奥林巴斯株式会社 摄像装置和摄像装置的控制方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060033831A1 (en) 1999-09-14 2006-02-16 Nikon Corporation Electronic still camera
JP3501359B2 (ja) * 2000-04-11 2004-03-02 株式会社デンソー 全焦点撮像方法および立体表示方法
JP2009147853A (ja) * 2007-12-18 2009-07-02 Fujifilm Corp 撮影装置および撮影方法
US9712688B2 (en) * 2013-03-15 2017-07-18 Cam Ranger LLC Wireless adapter and method for communication with digital camera
JP2016092785A (ja) * 2014-11-11 2016-05-23 キヤノン株式会社 撮像装置
JP6865395B2 (ja) * 2016-03-10 2021-04-28 パナソニックIpマネジメント株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090109310A1 (en) * 2007-10-26 2009-04-30 Seiji Kobayashi Imaging device, imaging method, display control device, display control method, and program
CN103262523A (zh) * 2011-12-12 2013-08-21 松下电器产业株式会社 摄像装置、摄像系统、撮像方法以及图像处理方法
CN103227900A (zh) * 2012-01-30 2013-07-31 宾得理光映像有限公司 数字照相机
CN105191284A (zh) * 2013-04-22 2015-12-23 奥林巴斯株式会社 摄像装置及其控制方法
JP2015046787A (ja) * 2013-08-28 2015-03-12 株式会社ニコン 撮像装置
CN105282429A (zh) * 2014-06-03 2016-01-27 奥林巴斯株式会社 摄像装置和摄像装置的控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115277985A (zh) * 2022-06-24 2022-11-01 江苏济远医疗科技有限公司 一种多功能内窥镜图像处理装置

Also Published As

Publication number Publication date
JP6717690B2 (ja) 2020-07-01
US20180007290A1 (en) 2018-01-04
US10298862B2 (en) 2019-05-21
JP2018007016A (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
CN105100594B (zh) 摄像装置和摄像方法
CN107566714A (zh) 摄像装置和摄像方法
CN105282429B (zh) 摄像装置和摄像装置的控制方法
CN104883480B (zh) 摄像装置和摄像方法
CN103888665B (zh) 拍摄装置和拍摄方法
CN103384998B (zh) 摄像装置、及摄像方法
CN102957864B (zh) 影像设备及控制方法
CN109155815A (zh) 摄像装置及其设定画面
JP2017220892A (ja) 画像処理装置及び画像処理方法
CN105072315B (zh) 电子摄像机以及摄像控制方法
CN105847666B (zh) 摄像设备及其控制方法
CN104796600B (zh) 图像合成装置和图像合成方法
CN103685928B (zh) 图像处理装置以及图像处理方法
CN106998424A (zh) 摄像装置和摄像方法
CN107547795A (zh) 摄像装置、摄像方法
JP2012194568A (ja) 撮像装置及びプログラム
CN105594196B (zh) 摄像装置和摄像方法
JP2013090095A (ja) 撮像装置、撮像方法、およびプログラム
CN104144286B (zh) 拍摄装置和拍摄方法
CN107306326A (zh) 摄像装置和摄像方法
CN107734247A (zh) 摄像装置、摄像方法和存储有摄像程序的存储介质
CN103685969A (zh) 摄像装置
CN106101521A (zh) 摄像装置以及摄像装置的控制方法
JP4717840B2 (ja) 撮像装置およびその制御方法
CN106101495A (zh) 摄像装置以及摄像装置的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180109

WD01 Invention patent application deemed withdrawn after publication